JP2020519990A - リアルタイムコメント表示方法及び電子機器 - Google Patents

リアルタイムコメント表示方法及び電子機器 Download PDF

Info

Publication number
JP2020519990A
JP2020519990A JP2019558457A JP2019558457A JP2020519990A JP 2020519990 A JP2020519990 A JP 2020519990A JP 2019558457 A JP2019558457 A JP 2019558457A JP 2019558457 A JP2019558457 A JP 2019558457A JP 2020519990 A JP2020519990 A JP 2020519990A
Authority
JP
Japan
Prior art keywords
display
real
time comment
target
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558457A
Other languages
English (en)
Other versions
JP6984840B2 (ja
Inventor
リ、ルイ
ジョウ、ズ
フアン、シュエヤン
フー、ジアリー
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2020519990A publication Critical patent/JP2020519990A/ja
Application granted granted Critical
Publication of JP6984840B2 publication Critical patent/JP6984840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本願の実施形態が、リアルタイムコメント表示方法及び電子機器を提供し、またマルチメディア技術の分野に関し、リアルタイムコメント内容がユーザへの干渉を生じさせるという従来技術の問題を解決することにより、ユーザ体験を向上させる。本方法は、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階であって、目標表示対象物は対象物表示領域に位置している、段階と、対象物表示領域に基づいてリアルタイムコメント表示領域を決定する段階であって、リアルタイムコメント表示領域及び対象物表示領域には共通部分がない、段階と、リアルタイムコメント内容をリアルタイムコメント表示領域に表示する段階とを含む。

Description

本願は、２０１７年４月２８日に中国特許庁に出願された「リアルタイムコメント表示方法及び電子機器（ＢＵＬＬＥＴ ＳＣＲＥＥＮ ＤＩＳＰＬＡＹ ＭＥＴＨＯＤ ＡＮＤ ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ）」と題する中国特許出願第２０１７１０２９７５１６．０号に基づく優先権を主張し、当該中国特許出願はその全体が参照により本明細書に組み込まれる。
本願は、マルチメディア技術の分野に関し、特に、リアルタイムコメント（ｂｕｌｌｅｔ ｓｃｒｅｅｎ）表示方法及び電子機器に関する。
ビデオ再生過程において、サブタイトル形式で同時に表示される大量のコメントが、リアルタイムコメントと呼ばれている。全てのリアルタイムコメントは、通常、画面の上部又は下部に表示される。例えば、リアルタイムコメントは、タイムラインに基づいて画面の上側から一定の速度で移動しても、ある期間だけ画面の下部に表示された後に消えてもよい。しかしながら、リアルタイムコメントは、画面の上部又は下部に表示されている場合、通常、ビデオ再生過程でビデオ画像の一部を遮る。比較的密集したリアルタイムコメントが多数ある場合、これらのリアルタイムコメントは通常、ビデオ画像の大部分を遮る。したがって、ビデオを見る際に、ユーザに干渉が生じる。さらに、密集した大量のリアルタイムコメントは読むのが容易でないために、ユーザ体験が低下する。
本願の実施形態が、リアルタイムコメント表示方法及び電子機器を提供して、リアルタイムコメント内容がユーザへの干渉を生じさせるという従来技術の問題を解決することにより、ユーザ体験を向上させる。
前述の目的を達成するために、以下の技術的解決手段が本願の実施形態に用いられる。
第１の態様によれば、リアルタイムコメント表示方法が提供される。本方法は、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階であって、目標表示対象物は対象物表示領域に位置している、段階と、対象物表示領域に基づいてリアルタイムコメント表示領域を決定する段階であって、リアルタイムコメント表示領域及び対象物表示領域には共通部分がない、段階と、リアルタイムコメント内容をリアルタイムコメント表示領域に表示する段階とを含む。前述の技術的解決手段において決定されるリアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉を回避することができ、これにより、ユーザ体験を向上させることができる。
第１の態様に関連して、第１の態様の第１の実行可能な実装例では、本方法はさらに、目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定する段階を含む。前述の実行可能な実装例では、目標表示対象物の位置が移動した場合、例えば、表示画像内の人物が画面の中央部から画面の端部に移動した場合、それに応じてリアルタイムコメント内容が目標表示対象物の移動軌跡に沿って移動するように、リアルタイムコメント表示領域を調整することができるので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容が表示画像内の目標表示対象物の表示に影響しないようにすることができる。
第１の態様又は第１の態様の第１の実行可能な実装例に関連して、第１の態様の第２の実行可能な実装例では、リアルタイムコメント内容の表示位置が固定されている、又はリアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する、又はリアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。前述の実行可能な実装例では、リアルタイムコメント内容を表示するいくつかの実行可能な方式が提供されている。具体的には、リアルタイムコメント内容は、表示位置が固定されている方式及び／又はスクロール方式で表示されてよい。
第１の態様から第１の態様の第２の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第３の実行可能な実装例では、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階は、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することにより取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する段階、又は目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することにより取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する段階を含む。前述の実行可能な実装例。
第１の態様から第１の態様の第３の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第４の実行可能な実装例では、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階の前に、本方法はさらに、表示画像に含まれる少なくとも１つの表示対象物を認識する段階と、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階であって、表示パラメータは表示位置又は表示サイズを含む、段階とを含む。前述の実行可能な実装例では、目標表示対象物は、表示パラメータに基づいて、認識された少なくとも１つの表示対象物から選択され、表示画像内の重要な表示対象物がリアルタイムコメント内容によって遮られないようにすることができ、表示画像及びリアルタイムコメント内容が同時に表示される場合に、表示画像内の重要な内容に対するユーザの認識が影響を受けないので、ユーザへの干渉を回避することができる。
第１の態様の第４の実行可能な実装例に関連して、第１の態様の第５の実行可能な実装例では、表示パラメータは表示位置を含み、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階は、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物を、表示画像内の目標表示対象物として決定する段階を含む、又は表示パラメータは表示サイズを含み、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階は、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、表示画像内の目標表示対象物として決定する段階を含む。前述の実行可能な実装例では、目標表示対象物を決定する２つの実行可能な方法が提供される。目標表示対象物が、前述の方法を用いて迅速に且つ効果的に決定され、少なくとも１つの表示対象物から目標表示対象物を決定する際の効率を向上させることができる。
第１の態様から第１の態様の第５の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第６の実行可能な実装例では、本方法はさらに、事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示する段階を含み、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、及び表示画像が変化したことのうちの一方の条件を含む。前述の実行可能な実装例では、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しい場合、又は表示画像が変化した場合、新たなリアルタイムコメント表示領域が再決定され、リアルタイムコメント内容が新たなリアルタイムコメント表示領域に表示される。リアルタイムコメント表示領域をリアルタイムに決定する場合と比較すると、リアルタイムコメント表示領域を決定する精度が保証され、デバイスのワークロードを低下させることができ、使用時間を拡大することができる。
第２の態様によれば、電子機器が提供される。本電子機器は、表示画像内の目標表示対象物に基づいて対象物表示領域を決定するように構成された決定ユニットであって、目標表示対象物は対象物表示領域に位置しており、決定ユニットはさらに、対象物表示領域に基づいてリアルタイムコメント表示領域を決定するように構成され、リアルタイムコメント表示領域及び対象物表示領域には共通部分がない、決定ユニットと、リアルタイムコメント表示領域にリアルタイムコメント内容を表示するように構成された表示ユニットとを含む。
第２の態様に関連して、第２の態様の第１の実行可能な実装例では、決定ユニットはさらに、目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定するように構成される。
第２の態様又は第２の態様の第１の実行可能な実装例に関連して、第２の態様の第２の実行可能な実装例では、リアルタイムコメント内容の表示位置が固定されている、又はリアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する、又はリアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。
第２の態様から第２の態様の第２の実行可能な実装例までのうちのいずれか１つに関連して、第２の態様の第３の実行可能な実装例では、決定ユニットは、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する、又は目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定するように構成される。
第２の態様から第２の態様の第３の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第４の実行可能な実装例では、本電子機器はさらに、表示画像に含まれる少なくとも１つの表示対象物を認識するように構成された認識ユニットを含み、決定ユニットはさらに、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定するように構成され、表示パラメータは表示位置又は表示サイズを含む。
第２の態様の第４の実行可能な実装例に関連して、第２の態様の第５の実行可能な実装例では、表示パラメータは表示位置を含み、決定ユニットは、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物を、表示画像内の目標表示対象物として決定するように構成される、又は、表示パラメータは表示サイズを含み、決定ユニットは、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、表示画像内の目標表示対象物として決定するように構成される。
第２の態様から第２の態様の第５の実行可能な実装例までのうちのいずれか１つに関連して、第２の態様の第６の実行可能な実装例では、決定ユニットはさらに、事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示するように構成され、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、及び表示画像が変化したことのうちの一方の条件を含む。
第３の態様によれば、電子機器が提供される。本電子機器は、メモリ、プロセッサ、ディスプレイ、通信インタフェース、及びバスを含み、メモリはコード及びデータを格納し、プロセッサ、メモリ、ディスプレイ、及び通信インタフェースはバスを用いて接続され、プロセッサがメモリ内のコードを起動すると、電子機器は、第１の態様から第１の態様の第６の実行可能な実装例までのうちのいずれか１つによるリアルタイムコメント表示方法を実行する。
第４の態様によれば、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、コンピュータ実行命令を格納する。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令を実行すると、当該デバイスは、第１の態様又は第１の態様の実行可能な実装例のうちのいずれか１つによるリアルタイムコメント表示方法を実行する。
第５の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品はコンピュータ実行命令を含み、コンピュータ実行命令はコンピュータ可読記憶媒体に格納される。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令をコンピュータ可読記憶媒体から読み出し得る場合、少なくとも１つのプロセッサはコンピュータ実行命令を実行するので、当該デバイスは、第１の態様又は第１の態様の実行可能な実装例のうちのいずれか１つによるリアルタイムコメント表示方法を実施する。
リアルタイムコメント表示方法を実行する電子機器、コンピュータ記憶媒体、又は上記に提供されたコンピュータプログラム製品のうちのいずれか１つが、上記に提供された対応する方法を実行するように構成されることが理解されるであろう。したがって、これらの達成され得る有益な効果については、上記に提供された対応する方法の有益な効果を参照されたい。詳細は、ここで再度説明しない。
本願の一実施形態によるリアルタイムコメント表示システムの概略構造図である。
本願の一実施形態によるコンテンツサーバの概略構造図である。
本願の一実施形態による電子機器の概略構造図である。
本願の一実施形態によるリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態による対象物表示領域の概略図である。
本願の一実施形態による別の対象物表示領域の概略図である。
本願の一実施形態によるさらに別の対象物表示領域の概略図である。
本願の一実施形態に従って第１のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第２のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第３のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第４のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態による別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って第５のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態によるさらに別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って表示対象物を認識することについての概略図である。
本願の一実施形態に従って対象物表示領域を決定することについての概略図である。
本願の一実施形態によるさらに別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って第６のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第７のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第８のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態による電子機器の概略構造図である。
本願の一実施形態による別の電子機器の概略構造図である。
図１は、本願の一実施形態によるリアルタイムコメント表示システムのシステムアーキテクチャについての図である。図１を参照すると、本システムは、コンテンツサーバ１０１と電子機器１０２とを含む。コンテンツサーバ１０１及び電子機器１０２は、ネットワークを用いて互いと通信することができる。
コンテンツサーバ１０１は、サーバ機能などを有するコンピュータであってよく、電子機器１０２にネットワークリソースを、例えばマルチメディアリソースを提供するように構成される。図２を参照すると、コンテンツサーバ１０１は、メモリ１０１１、プロセッサ１０１２、システムバス１０１３、電源コンポーネント１０１４、入力／出力インタフェース１０１５、及び通信コンポーネント１０１６などを含む。メモリ１０１１は、データ、ソフトウェアプログラム、及びモジュールを格納するように構成され、主にプログラム記憶領域及びデータ記憶領域を含んでよい。プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能によって必要とされるアプリケーションプログラムなどを格納することができる。データ記憶領域は、コンテンツサーバ１０１を使用する際に作成されたデータなどを格納することができる。プロセッサ１０１２は、メモリ１０１１に格納されているソフトウェアプログラム及び／又はモジュールを起動又は実行し、メモリ１０１１に格納されたデータを呼び出すことで、コンテンツサーバ１０１の様々な機能及びデータ処理を実行する。システムバス１０１３は、アドレスバス、データバス、及びコントロールバスを含み、データ及び命令を送信するように構成される。電源コンポーネント１０１４は、コンテンツサーバ１０１の各構成要素に電力を供給するように構成される。入力／出力インタフェース１０１５は、プロセッサ１０１２と周辺機器インタフェースモジュールとの間のインタフェースを提供する。通信コンポーネント１０１６は、コンテンツサーバ１０１と別のデバイスとの間で、有線方式又は無線方式で通信を実行するように構成される。本システムでは、コンテンツサーバ１０１は、データの保管、転送、及び送出などの主要タスクを担当し、クライアント／サーバ（Ｃ／Ｓ）モード又はブラウザ／サーバ（Ｂ／Ｓ）モードに基づいた様々なネットワークの不可欠な部分である。
電子機器１０２は、マルチメディアリソースなどのコンテンツをユーザに提示するように構成され、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、及びポータブルデバイスなどであってよい。図３を参照すると、電子機器１０２は、データインタフェースユニット１０２１、メモリ１０２２、プロセッサ１０２３、入力ユニット１０２４、及びディスプレイ１０２５などの構成要素を含んでよい。データインタフェースユニット１０２１は、通信インタフェースとも呼ばれることがあり、データをネットワークから取得し、当該データをメモリ１０２２及びプロセッサ１０２３に送信するように構成される。メモリ１０２２は、データインタフェースユニット１０２１により取得されたデータの一部を格納し、格納されたデータをプロセッサ１０２３に提供してよい。プロセッサ１０２３は、データインタフェースユニット１０２１、メモリ１０２２、及び入力ユニット１０２４からのデータを処理し、当該データをディスプレイ１０２５に送信するように構成されてよい。入力ユニット１０２４は、入力装置により送信されるデータを受信するように構成されてよく、入力装置は、遠隔制御装置、キーボード、又はタッチパネルなどであってよい。ディスプレイ１０２５は、プロセッサ１０２３からのデータを表示し、当該データをユーザに提示するように構成される。例えば、ディスプレイ１０２５は、液晶ディスプレイなどであってよい。
図４は、本願の一実施形態によるリアルタイムコメント表示方法のフローチャートである。本方法は、電子機器に適用される。図４を参照すると、本方法は、以下に挙げる段階を含む。
段階２０１：表示画像内の目標表示対象物に基づいて対象物表示領域を決定する。目標表示対象物は対象物表示領域に位置している。
表示画像は、ビデオ再生過程の画像であってもよく、ある歌のＭＶの画像であってもよく、ウェブ閲覧での画像であってもよい。例えば、表示画像は、オンラインショッピングの商品画像、ＷｅＣｈａｔモーメンツの画像、電子アルバムの画像、又は電子書籍の表紙画像などであってもよい。
さらに、目標表示対象物は、１つ又は複数の表示対象物を含んでよく、表示画像内の主な表示対象物であってもよい。主な表示対象物は、表示画像内にあり、ある区画の中ではっきりと注目される又は際立つ部分、例えば、風景画像の中の人物であってよい。具体的には、目標表示対象物は通常、表示位置の観点から他の表示対象物の前にあり、フォアグラウンドとも呼ばれることがある。目標表示対象物は通常、カバレッジ属性の観点から、リアルタイムコメント内容によって遮られない表示対象物である。目標表示対象物が遮られている場合、表示画像のコンテンツを動かす効果が影響を受ける。対象物表示領域とは、目標表示対象物を表示するのに用いられる領域である。対象物表示領域は、目標表示対象物の全てのコンテンツを表示するのに用いられてもよく、目標表示対象物の一部のコンテンツを表示するのに用いられてもよい。
具体的には、対象物表示領域は、表示画像の目標表示対象物に基づいて、以下に挙げる３つの異なる方法で決定されてよい。詳細は、以下のとおりである。
第１の方法：図５に示すように、目標表示対象物により占有される領域が、対象物表示領域として直接的に決定される。
目標表示対象物により占有される領域が対象物表示領域として直接的に決定されるので、目標表示対象物の全てのコンテンツを対象物表示領域に表示することができる。対象物表示領域は、本方法を用いて、簡単に且つ迅速に決定することができる。
第２の方法：図６に示すように、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域が、目標表示対象物の輪郭に基づく対象物表示領域として決定される。
目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域は、目標表示対象物の輪郭に基づく対象物表示領域として決定されるので、目標表示対象物の全てのコンテンツを対象物表示領域に表示することができ、目標表示対象物は、表示画像の他のコンテンツから効果的に分離されて、ユーザが表示画像のメインコンテンツを効果的にキャプチャするのに役立つ。それにより、他のコンテンツによりユーザに生じる干渉を減少させることができる。
第３の方法：図７に示すように、目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域が、目標表示対象物の輪郭に基づく対象物表示領域として決定される。
目標表示対象物により占有される領域が比較的大きく、また目標表示対象物の端部のコンテンツが目標表示対象物のメインコンテンツではない場合、目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域は、目標表示対象物の輪郭に基づく対象物表示領域として決定されてよい。本方法を用いて決定される対象物表示領域は、目標表示対象物のメインコンテンツを表示するのに用いられてよい。さらに、表示画像内の目標表示対象物によって占有される表示領域を減少させることができるので、リアルタイムコメント内容を表示するのに用いられる領域を増やすことができる。
事前設定閾値は事前設定されてよく、第２の方法で目標表示対象物の輪郭を外側に拡大する際の事前設定閾値と、第３の方法で目標表示対象物の輪郭を内側に縮小する際の事前設定閾値とは、同じであっても異なっていてもよいことに留意されたい。これは、本願の本実施形態において限定されるものではない。
段階２０２：対象物表示領域に基づいてリアルタイムコメント表示領域を決定する。リアルタイムコメント表示領域及び対象物表示領域には共通部分がない。
具体的には、対象物表示領域を決定した後に、表示画像内の対象物表示領域以外の領域が、リアルタイムコメント表示領域として決定されてよいので、リアルタイムコメント表示領域及び対象物表示領域には共通部分がなく、言い換えれば、リアルタイムコメント表示領域は対象物表示領域と重ならない。
任意選択で、リアルタイムコメント表示領域は少なくとも１つの領域を含んでよく、少なくとも１つの領域のそれぞれは、連続していても不連続であってもよい。各領域は、１つのリアルタイムコメント内容を表示するのに用いられてよい。さらに、これらの領域の形状が同じであっても異なっていてもよく、これらの領域の形状は一定であっても不定であってもよい。例えば、形状は正多角形（例えば、三角形又は四辺形）、円形、扇型、又は楕円形などであってもよく、不規則な多角形、気泡形状、又は雲形形状などであってもよい。これは、本願の本実施形態において限定されるものではない。
段階２０３：リアルタイムコメント内容をリアルタイムコメント表示領域に表示する。
リアルタイムコメント内容は、１つ又は複数のリアルタイムコメントを含んでよく、リアルタイムコメント内容は、複数のユーザが表示画像又は表示画像に関連するマルチメディアリソースを見たときに作成されるコメントであってよい。リアルタイムコメント表示領域が決定された後に、リアルタイムコメント内容がリアルタイムコメント表示領域に表示され得るため、表示されるリアルタイムコメント内容は、表示画像内の対象物表示領域と重ならず、リアルタイムコメント内容と目標表示対象物との間の相互干渉を回避でき、これにより、ユーザ体験を向上させることができる。例えば、リアルタイムコメント内容が、図８に示すリアルタイムコメント表示領域に表示される。図８のリアルタイムコメント表示領域の形状は単なる一例にすぎず、この形状が本願の本実施形態に制限を設けることはない。
具体的には、リアルタイムコメント表示領域内のリアルタイムコメント内容の表示位置が固定されてよい。あるいは、リアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する。あるいは、リアルタイムコメント内容は、第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。
リアルタイムコメント内容がスクロール方式で表示される場合、それは、リアルタイムコメント内容が、リアルタイムコメント表示領域の一端から現れてよく、水平方向に沿って一定速度で連続的に移動し、リアルタイムコメント表示領域のもう一方の端でリアルタイムコメント内容が消えるまで表示されることを意味する。移動方向は、右端から左端への移動であっても、左端から右端への移動であってもよい。
例えば、リアルタイムコメント表示領域は複数の長方形領域を含み、１つのリアルタイムコメント内容が１つの長方形領域に表示される。図９に示すように、リアルタイムコメント内容の表示位置が固定されている場合、リアルタイムコメント内容は長方形領域内をスクロールしない。リアルタイムコメント内容の長さが長方形領域の長さを超えている場合、リアルタイムコメント内容は新たな行に表示されてよい。図１０に示すように、リアルタイムコメント内容がスクロール方式で表示される場合、リアルタイムコメント内容は、長方形領域内を水平方向に沿って移動してよく、また１行で表示されてよい。
さらに、リアルタイムコメント表示領域は、連続であっても不連続であってもよい。リアルタイムコメント表示領域が不連続である場合、１つのリアルタイムコメント内容が、不連続な領域に表示されてよい。図１１に示すように、リアルタイムコメント表示領域が対象物表示領域によって分離されている場合、１つのリアルタイムコメント内容が表示のために分離されてよい。具体的には、リアルタイムコメント内容が対象物表示領域の端部に移動した場合、リアルタイムコメント内容は表示を停止する。対象物表示領域の水平方向の停止位置が決定され、分離されたリアルタイムコメント内容は当該停止位置に引き続き表示される。
本願の本実施形態では、リアルタイムコメント表示領域が表示画像に表示されてもよく、又は表示画像に表示されなくてもよい。さらに、複数のリアルタイムコメントのすてきなリアルタイムコメント内容がさらに、異なるリアルタイムコメント表示時間、リアルタイムコメント表示領域の形状、及びリアルタイムコメント表示方式などを用いて認識されてよい。例えば、すてきなリアルタイムコメント内容の表示時間が延長されてもよく、すてきなリアルタイムコメント内容が気泡形状又は雲形形状などの特殊な形状でリアルタイムコメント表示領域に表示されてもよく、すてきなリアルタイムコメント内容がスクロール方式で表示されてもよく、また一般的なリアルタイムコメント内容が固定位置に表示されることで、すてきなリアルタイムコメントの視認性を向上させてもよく、これにより、ユーザ体験を向上させることができる。
さらに、図１２を参照すると、段階２０３の後に、本方法はさらに段階２０４を含む。
段階２０４：目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定する。
通常、ビデオ再生過程では、表示対象物の位置が移動した場合、例えば、表示画像内の人物が画面の中央部から画面の端部に移動した場合、リアルタイムコメント表示領域が調整され得るので、それに応じて、リアルタイムコメント内容は目標表示対象物の移動軌跡に沿って移動し、これにより、目標表示対象物の位置が変化した場合でも、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容が、表示画像内の目標表示対象物の表示に影響しないようにすることができる。
具体的には、表示画像内の目標表示対象物の位置が検出されてよい。目標表示対象物の位置の変化が検出された場合、それに応じて、対象物表示領域の位置が調整されてよく、新たなリアルタイムコメント表示領域が決定され、リアルタイムコメント内容を表示するのに用いられる。任意選択で、目標表示対象物の位置は、固定時間間隔に基づいて検出されてよい。目標表示対象物の位置の変化値が事前設定された位置の閾値に達した場合、新たなリアルタイムコメント表示領域が決定される。それに応じて、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容も、ある程度調整され得るので、リアルタイムコメント内容は、リアルタイムコメント表示領域の変化に適応する。
例えば、図８に示す対象物表示領域の位置が中央部から右端に移動した場合、決定された新たなリアルタイムコメント表示領域の位置が図１３に示されてよく、それに応じて、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容も調整される。図１３で決定された新たなリアルタイムコメント表示領域の位置、及びリアルタイムコメント内容に対する調整は単なる例であり、本願の本実施形態に対して制限を設けることはない。
段階２０１から段階２０３において提供されるリアルタイムコメント表示方法は、リアルタイムで実行されてもよく、事前設定期間に基づいて実行されてもよい。リアルタイムコメントが前述の方法を用いてリアルタイムで表示される場合、段階２０４を実行せずに、新たなリアルタイムコメント表示領域が決定される。リアルタイムコメントが前述の方法を用いて事前設定期間に基づいて表示される場合、新たなリアルタイムコメント表示領域は、段階２０４で目標表示対象物の位置の変化に基づいて決定されてよい。
さらに、図１４を参照すると、段階２０１の前に、本方法はさらに段階２００ａ及び段階２００ｂを含む。
段階２００ａ：表示画像に含まれる少なくとも１つの表示対象物を認識する。
少なくとも１つの表示対象物は１つ又は複数の表示対象物を含んでよく、表示対象物は、人物、動物、又は別の対象物などであってよい。例えば、表示画像は、１人若しくは複数の人物を含んでもよく、又は１つ若しくは複数の他の対象物を含んでもよいなどである。
具体的には、表示画像に含まれる少なくとも１つの表示対象物が認識された場合、表示画像は、フォアグラウンド及びバックグラウンドの画像分割技術を用いて、類似した固有色と類似したテクスチャ類似性とを有するスーパーピクセルブロックに分割されてよい。それぞれのスーパーピクセルブロックは、３つの分類区域を含んでよい。つまり、ある分類区域は完全にフォアグラウンドであり、ある分類区域は完全にバックグラウンドあり、ある分類区域はフォアグラウンドの部分とバックグラウンドの部分とを含む。次に、フォアグラウンドとバックグラウンドとが分類され、スーパーピクセルブロックに基づいて認識されて、それぞれのスーパー過速度ブロックがフォアグラウンドであるか又はバックグラウンドであるかを判定する。例えば、スーパーピクセルブロックは、フォアグラウンド及びバックグラウンドトレーニングを通じて取得される分類器を用いて、分類され認識されてよい。最後に、時空間ＣＲＦモジュールが表示画像の時空間局所情報を基準にして確立され、また表示画像のフォアグラウンド及びバックグラウンドの正確なピクセルレベルの分割が、グラフカット最適化分解によって実施され、分割を通じて最後に取得される少なくとも１つの表示対象物が取得される。
例えば、図１５の（ｂ）は、図１５の（ａ）に示す表示画像を分割し且つ分類器が認識した後に取得された結果を示し、次いで図１５の（ｃ）は、ＣＲＦ最適化を表示画像に対して実行した後に取得された結果を示し、図１５の（ｄ）は、表示画像を図１５の（ｃ）に示す領域に基づいて正確に分割した後に取得された少なくとも１つの表示対象物を示す。
フォアグラウンド及びバックグラウンドを分類して認識する認識装置は、分割後に取得される結果に基づいてタイムリーに更新され得るので、この認識装置は、フォアグラウンド及びバックグラウンドの変化に適応することに留意されたい。さらに、表示画像に含まれる少なくとも１つの表示対象物を認識するための前述の具体的な方法については、関連する技術を参照されたい。詳細は、本願の本実施形態において説明しない。
段階２００ｂ：少なくとも１つの表示対象物の表示パラメータに基づいて、表示画像内の目標表示対象物を決定する。表示パラメータは、表示位置又は表示サイズを含む。
目標表示対象物は、少なくとも１つの表示対象物のうちの１つ又は複数である。本願の本実施形態では、目標表示対象物は、少なくとも１つの表示対象物のそれぞれの表示パラメータに基づいて、少なくとも１つの表示対象物から選択されてよい。表示パラメータは、表示位置又は表示サイズなどであってよい。表示対象物の表示位置が、表示画像内の表示対象物の位置であり、表示対象物の表示サイズが、表示画像内の表示対象物により占有される領域のサイズであってよい。目標表示対象物は、各表示対象物の表示位置又は表示サイズを用いて迅速に且つ効果的に決定することができ、少なくとも１つの表示対象物から目標表示対象物を決定する効率が向上し、表示画像内の重要な表示対象物がリアルタイムコメント内容によって遮られないようにすることができるので、表示画像内の重要な内容に対するユーザの認識が影響を受けない。
具体的には、表示パラメータが表示位置を含む場合、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物が、表示画像内の目標表示対象物として決定されてよい。図１６に示すように、主な表示対象物が通常、表示画像内の中央領域に位置している。したがって、指定領域は、表示画像内の水平方向の中央領域であっても、鉛直方向の中央領域であってもよい。指定領域の長さ及び幅が事前設定されてよい（例えば、指定領域の長さは表示画像の長さの１／３であってよく、指定領域の幅は表示画像の幅の１／３であってよい。あるいは、指定領域はユーザによって設定される。ユーザは、タッチパネル、マウス、キーボード、遠隔制御装置、又はエアマウスのフォーカスなどの入力装置を用いて指定領域を決定してよい。例えば、ユーザは、これらの入力装置を用いて、指定領域の境界線又は境界点などを決定して、指定領域を設定してよい。
あるいは、表示パラメータが表示サイズを含む場合、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物が、表示画像内の目標表示対象物として決定される。主な表示対象物に対応する表示サイズは、通常、比較的大きい。したがって、各表示対象物の表示サイズは、事前設定された第１の閾値と比較され、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物が、目標表示対象物として少なくとも１つの表示対象物から選択される。第１の閾値は固定値に設定されてよく、例えば、ピクセルサイズが４００×３００である。あるいは、第１の閾値は、表示画像のサイズに基づいて決定されてもよい。例えば、第１の閾値は、表示画像の長さの１／３、且つ表示画像の幅の１／３であってよい。あるいは、第１の閾値は、ユーザなどにより設定されてもよい。これは、本願の本実施形態において限定されるものではない。
さらに、図１７を参照すると、本方法はさらに段階２０５を含む。段階２０５と段階２０１から段階２０３までとの間に順序はない。段階２０５が段階２０３の後に実行される一例が、説明のために図１７に用いられている。
段階２０５：事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定して、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示する。事前設定条件は、以下の条件のうちの１つを含んでよい。つまり、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、また表示画像が変化したことである。
具体的には、ビデオ又は別の表示画像を再生して表示する過程において、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しい場合、又は表示画像が変化した場合、リアルタイムコメント表示領域は再決定されてよく、リアルタイムコメント内容は、決定された新たなリアルタイムコメント表示領域に表示される。事前設定時間は事前設定されてもよく、表示画像を再生して表示する過程においてユーザが設定してもよい。これは、本願の本実施形態において限定されるものではない。
例えば、ビデオ再生過程では、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいことであってよく、その結果、リアルタイムコメント表示領域は事前設定時間の間隔で一度再決定されてよく、それに応じてリアルタイムコメント内容は、再決定されたリアルタイムコメント表示領域に表示される。したがって、リアルタイムコメント表示領域は、ビデオの表示画像と共に変化し、リアルタイムコメント内容と表示画像内の目標表示対象物との間の干渉が回避される。
別の例では、ユーザが歌を再生する、オンラインで買い物をする、本を読む、又はニュース、ＷｅＣｈａｔモーメンツ、若しくは電子アルバムなどのインターネット情報を閲覧（例えば、閲覧）する過程において、事前設定条件は、表示画像が変化したことであってよい。具体的には、図１８に示すように、ユーザが歌を再生するときに、現在の歌が終わり、次の歌に切り替える場合、対応する歌に対応する表示画像が変わり、新たなリアルタイムコメント表示領域を再決定することで、リアルタイムコメント内容が表示される。その結果、ユーザは、再生された歌に関する別のユーザのコメント又は意見を閲覧することができる。図１９に示すように、ユーザがオンラインで買い物をするときに、ユーザが異なる商品、モデル、スタイル、又は異なる部分の詳細を見るために選択した場合、ユーザ操作に対応する画像が表示され、新たなリアルタイムコメント表示領域を再決定することで、リアルタイムコメント内容が表示される。その結果、ユーザは別のユーザの商品コメントを見て、自身の選択に役立てることができる。図２０に示すように、ユーザが本を読み異なる本を切り替え、表紙の表示画像が変化すると、対応するリアルタイムコメント内容が、新たなリアルタイムコメント表示領域を再決定することで表示されてよい。その結果、ユーザは、現在の表示画像上で別のユーザのコメントを見ることができるので、ユーザ体験が向上する。
本願の本実施形態では、目標表示対象物を表示するのに用いられる対象物表示領域が、表示画像内の目標表示対象物に基づいて決定され、次いで、リアルタイムコメント表示領域が対象物表示領域に基づいて決定される。リアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉が回避され、それによって、ユーザ体験が向上する。
前述したことは、本願の実施形態において提供される解決手段を、主にデバイスの観点から説明している。前述の機能を実装するために、電子機器などのデバイスは、対応するハードウェア構造及び／又はソフトウェアモジュールを各機能の実行のために含むことが理解されるであろう。当業者であれば、本明細書に開示した実施形態を参照して説明した例に含まれるデバイス、アルゴリズム、及び段階が、本願の実施形態におけるハードウェア又はハードウェアとコンピュータソフトウェアとの組み合わせによって実装され得ることを容易に認識するはずである。ある機能がハードウェアによって実行されるのか、又はコンピュータソフトウェアで動くハードウェアによって実行されるのかは、技術的解決手段の特定の用途及び設計上の制約条件で決まる。当業者であれば、異なる方法を用いて、説明された機能を特定の用途ごとに実装するかもしれないが、そのような実装が本願の範囲を超えるものとみなされるべきではない。
本願の実施形態では、電子機器は、前述の方法の例に基づいて、複数の機能モジュールに分割されてよい。例えば、各機能モジュールは、それぞれの対応する機能に基づく計算によって取得されてよく、２つ又はそれより多くの機能が１つの処理モジュールに統合されてもよい。統合されたモジュールはハードウェアの形態で実装されてもよく、又はソフトウェア機能モジュールの形態で実装されてもよい。本願の実施形態では、モジュールの分割は一例であって、単なる論理的機能の分割であることに留意されたい。実際の実装では、別の分割方式があってもよい。
各機能モジュールがそれぞれの対応する機能に基づく計算によって取得される場合、図２１は、前述の実施形態における電子機器の実行可能な概略構造図である。電子機器３００は、決定ユニット３０１と表示ユニット３０２と含む。決定ユニット３０１は、図４の段階２０１及び段階２０２、図１２の段階２０１、段階２０２、及び段階２０４、図１４の段階２００ｂ、段階２０２、及び段階２０４、並びに図１７の段階２０１、段階２０２、及び段階２０５を実行するように構成される。表示ユニット３０２は、図４、図１２、図１４、及び図１７の段階２０３を実行するように構成される。また、電子機器３００はさらに認識ユニット３０３を含んでよい。認識ユニット３０３は、図１４の段階２００ａを実行するように構成される。前述の方法の実施形態の各段階の全ての関連内容は、対応する機能モジュールの機能説明に述べられているであろう。詳細は、ここで再度説明しない。
ハードウェア実装において、決定ユニット３０１及び認識ユニット３０３はプロセッサであってよく、表示ユニット３０２はディスプレイであってよい。
図２２は、本願の一実施形態による、前述の実施形態における電子機器３１０の論理的構造についての実行可能な概略図である。電子機器３１０は、メモリ３１１、プロセッサ３１２、通信インタフェース３１３、ディスプレイ３１４、及びバス３１５を含む。メモリ３１１、プロセッサ３１２、通信インタフェース３１３、及びディスプレイ３１４は、バス３１５を用いて互いに接続されている。本願の本実施形態では、プロセッサ３１２は電子機器３１０の動作を制御し管理するように構成される。例えば、プロセッサ３１２は、図４の段階２０１及び段階２０２、図１２の段階２０１、段階２０２、及び段階２０４、図１４の段階２００ａ、段階２０２、及び段階２０４、並びに図１７の段階２０１、段階２０２、及び段階２０５を実行するように構成され、且つ／又は、本明細書で説明された技術の別の工程を実行するように構成される。通信インタフェース３１３は、通信を実行する際に、電子機器３１０をサポートするように構成される。メモリ３１１は、電子機器３１０のプログラムコード及びデータを格納するように構成される。ディスプレイ３１４は、表示機能を実装する際に、電子機器をサポートするように構成される。
プロセッサ３１２は、中央演算処理装置、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ若しくは別のプログラム可能型論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント、又はこれらの任意の組み合わせであってよい。プロセッサ３１２は、本願に開示された内容を参照して説明された様々な例示的な論理ブロック、モジュール、及び回路を実装又は実行してよい。プロセッサは代替的に、コンピュータ処理機能を実装する組み合わせ、例えば、１つ又は複数のマイクロプロセッサの組み合わせ、又はデジタル信号プロセッサとマイクロプロセッサとの組み合わせであってよい。バス３１５は、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス、又は拡張型業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってよい。バスは、アドレスバス、データバス、及びコントロールバスなどに分類されてよい。表現しやすいように、バス３１５が１本の太線だけを用いて図２２に表されているが、これによって、１本のバスしか存在しないことを意味するものでも、１つの種類のバスしか存在しないことを意味するものでもない。
本願の別の実施形態では、コンピュータ可読記憶媒体がさらに提供される。コンピュータ可読記憶媒体は、コンピュータ実行命令を格納する。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令を実行する場合、このデバイスは、図４、図１２、図１４、又は図１７において提供されるリアルタイムコメント表示方法を実行する。
本願の別の実施形態では、コンピュータプログラム製品がさらに提供される。コンピュータプログラム製品はコンピュータ実行命令を含み、コンピュータ実行命令はコンピュータ可読記憶媒体に格納される。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令をコンピュータ可読記憶媒体から読み出し得る場合、少なくとも１つのプロセッサはコンピュータ実行命令を実行するので、このデバイスは、図４、図１２、図１４、又は図１７において提供されるリアルタイムコメント表示方法を実装する。
本願の実施形態では、目標表示対象物を表示するのに用いられる対象物表示領域が、表示画像内の目標表示対象物に基づいて決定され、次いで、リアルタイムコメント表示領域が、対象物表示領域に基づいて決定される。リアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉が回避され、それによって、ユーザ体験が向上する。
最後に、前述の説明は本願の単なる特定の実装例にすぎず、本願の保護範囲を限定する意図はないことに留意されたい。本願に開示された技術範囲内のあらゆる変形例又は置換例は、本願の保護範囲に含まれることになる。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うことになる。
本願は、マルチメディア技術の分野に関し、特に、リアルタイムコメント（ｂｕｌｌｅｔ ｓｃｒｅｅｎ）表示方法及び電子機器に関する。
ビデオ再生過程において、サブタイトル形式で同時に表示される大量のコメントが、リアルタイムコメントと呼ばれている。全てのリアルタイムコメントは、通常、画面の上部又は下部に表示される。例えば、リアルタイムコメントは、タイムラインに基づいて画面の上側から一定の速度で移動しても、ある期間だけ画面の下部に表示された後に消えてもよい。しかしながら、リアルタイムコメントは、画面の上部又は下部に表示されている場合、通常、ビデオ再生過程でビデオ画像の一部を遮る。比較的密集したリアルタイムコメントが多数ある場合、これらのリアルタイムコメントは通常、ビデオ画像の大部分を遮る。したがって、ビデオを見る際に、ユーザに干渉が生じる。さらに、密集した大量のリアルタイムコメントは読むのが容易でないために、ユーザ体験が低下する。
本願の実施形態が、リアルタイムコメント表示方法及び電子機器を提供して、リアルタイムコメント内容がユーザへの干渉を生じさせるという従来技術の問題を解決することにより、ユーザ体験を向上させる。
前述の目的を達成するために、以下の技術的解決手段が本願の実施形態に用いられる。
第１の態様によれば、リアルタイムコメント表示方法が提供される。本方法は、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階であって、目標表示対象物は対象物表示領域に位置している、段階と、対象物表示領域に基づいてリアルタイムコメント表示領域を決定する段階であって、リアルタイムコメント表示領域及び対象物表示領域には共通部分がない、段階と、リアルタイムコメント内容をリアルタイムコメント表示領域に表示する段階とを含む。前述の技術的解決手段において決定されるリアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉を回避することができ、これにより、ユーザ体験を向上させることができる。
第１の態様に関連して、第１の態様の第１の実行可能な実装例では、本方法はさらに、目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定する段階を含む。前述の実行可能な実装例では、目標表示対象物の位置が移動した場合、例えば、表示画像内の人物が画面の中央部から画面の端部に移動した場合、それに応じてリアルタイムコメント内容が目標表示対象物の移動軌跡に沿って移動するように、リアルタイムコメント表示領域を調整することができるので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容が表示画像内の目標表示対象物の表示に影響しないようにすることができる。
第１の態様又は第１の態様の第１の実行可能な実装例に関連して、第１の態様の第２の実行可能な実装例では、リアルタイムコメント内容の表示位置が固定されている、又はリアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する、又はリアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。前述の実行可能な実装例では、リアルタイムコメント内容を表示するいくつかの実行可能な方式が提供されている。具体的には、リアルタイムコメント内容は、表示位置が固定されている方式及び／又はスクロール方式で表示されてよい。
第１の態様から第１の態様の第２の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第３の実行可能な実装例では、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階は、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することにより取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する段階、又は目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することにより取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する段階を含む。
第１の態様から第１の態様の第３の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第４の実行可能な実装例では、表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階の前に、本方法はさらに、表示画像に含まれる少なくとも１つの表示対象物を認識する段階と、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階であって、表示パラメータは表示位置又は表示サイズを含む、段階とを含む。前述の実行可能な実装例では、目標表示対象物は、表示パラメータに基づいて、認識された少なくとも１つの表示対象物から選択され、表示画像内の重要な表示対象物がリアルタイムコメント内容によって遮られないようにすることができ、表示画像及びリアルタイムコメント内容が同時に表示される場合に、表示画像内の重要な内容に対するユーザの認識が影響を受けないので、ユーザへの干渉を回避することができる。
第１の態様の第４の実行可能な実装例に関連して、第１の態様の第５の実行可能な実装例では、表示パラメータは表示位置を含み、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階は、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物を、表示画像内の目標表示対象物として決定する段階を含む、又は表示パラメータは表示サイズを含み、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定する段階は、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、表示画像内の目標表示対象物として決定する段階を含む。前述の実行可能な実装例では、目標表示対象物を決定する２つの実行可能な方法が提供される。目標表示対象物が、前述の方法を用いて迅速に且つ効果的に決定され、少なくとも１つの表示対象物から目標表示対象物を決定する際の効率を向上させることができる。
第１の態様から第１の態様の第５の実行可能な実装例までのうちのいずれか１つに関連して、第１の態様の第６の実行可能な実装例では、本方法はさらに、事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示する段階を含み、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、及び表示画像が変化したことのうちの一方の条件を含む。前述の実行可能な実装例では、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しい場合、又は表示画像が変化した場合、新たなリアルタイムコメント表示領域が再決定され、リアルタイムコメント内容が新たなリアルタイムコメント表示領域に表示される。リアルタイムコメント表示領域をリアルタイムに決定する場合と比較すると、リアルタイムコメント表示領域を決定する精度が保証され、デバイスのワークロードを低下させることができ、使用時間を拡大することができる。
第２の態様によれば、電子機器が提供される。本電子機器は、表示画像内の目標表示対象物に基づいて対象物表示領域を決定するように構成された決定ユニットであって、目標表示対象物は対象物表示領域に位置しており、決定ユニットはさらに、対象物表示領域に基づいてリアルタイムコメント表示領域を決定するように構成され、リアルタイムコメント表示領域及び対象物表示領域には共通部分がない、決定ユニットと、リアルタイムコメント表示領域にリアルタイムコメント内容を表示するように構成された表示ユニットとを含む。
第２の態様に関連して、第２の態様の第１の実行可能な実装例では、決定ユニットはさらに、目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定するように構成される。
第２の態様又は第２の態様の第１の実行可能な実装例に関連して、第２の態様の第２の実行可能な実装例では、リアルタイムコメント内容の表示位置が固定されている、又はリアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する、又はリアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。
第２の態様から第２の態様の第２の実行可能な実装例までのうちのいずれか１つに関連して、第２の態様の第３の実行可能な実装例では、決定ユニットは、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定する、又は目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域を、目標表示対象物の輪郭に基づく対象物表示領域として決定するように構成される。
第２の態様から第２の態様の第３の実行可能な実装例までのうちのいずれか１つに関連して、第２の態様の第４の実行可能な実装例では、本電子機器はさらに、表示画像に含まれる少なくとも１つの表示対象物を認識するように構成された認識ユニットを含み、決定ユニットはさらに、少なくとも１つの表示対象物の表示パラメータに基づいて、少なくとも１つの表示対象物から目標表示対象物を決定するように構成され、表示パラメータは表示位置又は表示サイズを含む。
第２の態様の第４の実行可能な実装例に関連して、第２の態様の第５の実行可能な実装例では、表示パラメータは表示位置を含み、決定ユニットは、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物を、表示画像内の目標表示対象物として決定するように構成される、又は、表示パラメータは表示サイズを含み、決定ユニットは、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、表示画像内の目標表示対象物として決定するように構成される。
第２の態様から第２の態様の第５の実行可能な実装例までのうちのいずれか１つに関連して、第２の態様の第６の実行可能な実装例では、決定ユニットはさらに、事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示するように構成され、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、及び表示画像が変化したことのうちの一方の条件を含む。
第３の態様によれば、電子機器が提供される。本電子機器は、メモリ、プロセッサ、ディスプレイ、通信インタフェース、及びバスを含み、メモリはコード及びデータを格納し、プロセッサ、メモリ、ディスプレイ、及び通信インタフェースはバスを用いて接続され、プロセッサがメモリ内のコードを起動すると、電子機器は、第１の態様から第１の態様の第６の実行可能な実装例までのうちのいずれか１つによるリアルタイムコメント表示方法を実行する。
第４の態様によれば、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、コンピュータ実行命令を格納する。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令を実行すると、当該デバイスは、第１の態様又は第１の態様の実行可能な実装例のうちのいずれか１つによるリアルタイムコメント表示方法を実行する。
第５の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品はコンピュータ実行命令を含み、コンピュータ実行命令はコンピュータ可読記憶媒体に格納される。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令をコンピュータ可読記憶媒体から読み出し得る場合、少なくとも１つのプロセッサはコンピュータ実行命令を実行するので、当該デバイスは、第１の態様又は第１の態様の実行可能な実装例のうちのいずれか１つによるリアルタイムコメント表示方法を実施する。
リアルタイムコメント表示方法を実行する電子機器、コンピュータ記憶媒体、又は上記に提供されたコンピュータプログラム製品のうちのいずれか１つが、上記に提供された対応する方法を実行するように構成されることが理解されるであろう。したがって、これらの達成され得る有益な効果については、上記に提供された対応する方法の有益な効果を参照されたい。詳細は、ここで再度説明しない。
本願の一実施形態によるリアルタイムコメント表示システムの概略構造図である。
本願の一実施形態によるコンテンツサーバの概略構造図である。
本願の一実施形態による電子機器の概略構造図である。
本願の一実施形態によるリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態による対象物表示領域の概略図である。
本願の一実施形態による別の対象物表示領域の概略図である。
本願の一実施形態によるさらに別の対象物表示領域の概略図である。
本願の一実施形態に従って第１のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第２のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第３のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第４のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態による別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って第５のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態によるさらに別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って表示対象物を認識することについての概略図である。
本願の一実施形態に従って対象物表示領域を決定することについての概略図である。
本願の一実施形態によるさらに別のリアルタイムコメント表示方法のフローチャートである。
本願の一実施形態に従って第６のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第７のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態に従って第８のリアルタイムコメント内容を表示することについての概略図である。
本願の一実施形態による電子機器の概略構造図である。
本願の一実施形態による別の電子機器の概略構造図である。
図１は、本願の一実施形態によるリアルタイムコメント表示システムのシステムアーキテクチャについての図である。図１を参照すると、本システムは、コンテンツサーバ１０１と電子機器１０２とを含む。コンテンツサーバ１０１及び電子機器１０２は、ネットワークを用いて互いと通信することができる。
コンテンツサーバ１０１は、サーバ機能などを有するコンピュータであってよく、電子機器１０２にネットワークリソースを、例えばマルチメディアリソースを提供するように構成される。図２を参照すると、コンテンツサーバ１０１は、メモリ１０１１、プロセッサ１０１２、システムバス１０１３、電源コンポーネント１０１４、入力／出力インタフェース１０１５、及び通信コンポーネント１０１６などを含む。メモリ１０１１は、データ、ソフトウェアプログラム、及びモジュールを格納するように構成され、主にプログラム記憶領域及びデータ記憶領域を含んでよい。プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能によって必要とされるアプリケーションプログラムなどを格納することができる。データ記憶領域は、コンテンツサーバ１０１を使用する際に作成されたデータなどを格納することができる。プロセッサ１０１２は、メモリ１０１１に格納されているソフトウェアプログラム及び／又はモジュールを起動又は実行し、メモリ１０１１に格納されたデータを呼び出すことで、コンテンツサーバ１０１の様々な機能及びデータ処理を実行する。システムバス１０１３は、アドレスバス、データバス、及びコントロールバスを含み、データ及び命令を送信するように構成される。電源コンポーネント１０１４は、コンテンツサーバ１０１の各構成要素に電力を供給するように構成される。入力／出力インタフェース１０１５は、プロセッサ１０１２と周辺機器インタフェースモジュールとの間のインタフェースを提供する。通信コンポーネント１０１６は、コンテンツサーバ１０１と別のデバイスとの間で、有線方式又は無線方式で通信を実行するように構成される。本システムでは、コンテンツサーバ１０１は、データの保管、転送、及び送出などの主要タスクを担当し、クライアント／サーバ（Ｃ／Ｓ）モード又はブラウザ／サーバ（Ｂ／Ｓ）モードに基づいた様々なネットワークの不可欠な部分である。
電子機器１０２は、マルチメディアリソースなどのコンテンツをユーザに提示するように構成され、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、及びポータブルデバイスなどであってよい。図３を参照すると、電子機器１０２は、データインタフェースユニット１０２１、メモリ１０２２、プロセッサ１０２３、入力ユニット１０２４、及びディスプレイ１０２５などの構成要素を含んでよい。データインタフェースユニット１０２１は、通信インタフェースとも呼ばれることがあり、データをネットワークから取得し、当該データをメモリ１０２２及びプロセッサ１０２３に送信するように構成される。メモリ１０２２は、データインタフェースユニット１０２１により取得されたデータの一部を格納し、格納されたデータをプロセッサ１０２３に提供してよい。プロセッサ１０２３は、データインタフェースユニット１０２１、メモリ１０２２、及び入力ユニット１０２４からのデータを処理し、当該データをディスプレイ１０２５に送信するように構成されてよい。入力ユニット１０２４は、入力装置により送信されるデータを受信するように構成されてよく、入力装置は、遠隔制御装置、キーボード、又はタッチパネルなどであってよい。ディスプレイ１０２５は、プロセッサ１０２３からのデータを表示し、当該データをユーザに提示するように構成される。例えば、ディスプレイ１０２５は、液晶ディスプレイなどであってよい。
図４は、本願の一実施形態によるリアルタイムコメント表示方法のフローチャートである。本方法は、電子機器に適用される。図４を参照すると、本方法は、以下に挙げる段階を含む。
段階２０１：表示画像内の目標表示対象物に基づいて対象物表示領域を決定する。目標表示対象物は対象物表示領域に位置している。
表示画像は、ビデオ再生過程の画像であってもよく、ある歌のＭＶの画像であってもよく、ウェブ閲覧での画像であってもよい。例えば、表示画像は、オンラインショッピングの商品画像、ＷｅＣｈａｔモーメンツの画像、電子アルバムの画像、又は電子書籍の表紙画像などであってもよい。
さらに、目標表示対象物は、１つ又は複数の表示対象物を含んでよく、表示画像内の主な表示対象物であってもよい。主な表示対象物は、表示画像内にあり、ある区画の中ではっきりと注目される又は際立つ部分、例えば、風景画像の中の人物であってよい。具体的には、目標表示対象物は通常、表示位置の観点から他の表示対象物の前にあり、フォアグラウンドとも呼ばれることがある。目標表示対象物は通常、カバレッジ属性の観点から、リアルタイムコメント内容によって遮られない表示対象物である。目標表示対象物が遮られている場合、表示画像のコンテンツを動かす効果が影響を受ける。対象物表示領域とは、目標表示対象物を表示するのに用いられる領域である。対象物表示領域は、目標表示対象物の全てのコンテンツを表示するのに用いられてもよく、目標表示対象物の一部のコンテンツを表示するのに用いられてもよい。
具体的には、対象物表示領域は、表示画像の目標表示対象物に基づいて、以下に挙げる３つの異なる方法で決定されてよい。詳細は、以下のとおりである。
第１の方法：図５に示すように、目標表示対象物により占有される領域が、対象物表示領域として直接的に決定される。
目標表示対象物により占有される領域が対象物表示領域として直接的に決定されるので、目標表示対象物の全てのコンテンツを対象物表示領域に表示することができる。対象物表示領域は、本方法を用いて、簡単に且つ迅速に決定することができる。
第２の方法：図６に示すように、目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域が、目標表示対象物の輪郭に基づく対象物表示領域として決定される。
目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域は、目標表示対象物の輪郭に基づく対象物表示領域として決定されるので、目標表示対象物の全てのコンテンツを対象物表示領域に表示することができ、目標表示対象物は、表示画像の他のコンテンツから効果的に分離されて、ユーザが表示画像のメインコンテンツを効果的にキャプチャするのに役立つ。それにより、他のコンテンツによりユーザに生じる干渉を減少させることができる。
第３の方法：図７に示すように、目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域が、目標表示対象物の輪郭に基づく対象物表示領域として決定される。
目標表示対象物により占有される領域が比較的大きく、また目標表示対象物の端部のコンテンツが目標表示対象物のメインコンテンツではない場合、目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域は、目標表示対象物の輪郭に基づく対象物表示領域として決定されてよい。本方法を用いて決定される対象物表示領域は、目標表示対象物のメインコンテンツを表示するのに用いられてよい。さらに、表示画像内の目標表示対象物によって占有される表示領域を減少させることができるので、リアルタイムコメント内容を表示するのに用いられる領域を増やすことができる。
事前設定閾値は事前設定されてよく、第２の方法で目標表示対象物の輪郭を外側に拡大する際の事前設定閾値と、第３の方法で目標表示対象物の輪郭を内側に縮小する際の事前設定閾値とは、同じであっても異なっていてもよいことに留意されたい。これは、本願の本実施形態において限定されるものではない。
段階２０２：対象物表示領域に基づいてリアルタイムコメント表示領域を決定する。リアルタイムコメント表示領域及び対象物表示領域には共通部分がない。
具体的には、対象物表示領域を決定した後に、表示画像内の対象物表示領域以外の領域が、リアルタイムコメント表示領域として決定されてよいので、リアルタイムコメント表示領域及び対象物表示領域には共通部分がなく、言い換えれば、リアルタイムコメント表示領域は対象物表示領域と重ならない。
任意選択で、リアルタイムコメント表示領域は少なくとも１つの領域を含んでよく、少なくとも１つの領域のそれぞれは、連続していても不連続であってもよい。各領域は、１つのリアルタイムコメント内容を表示するのに用いられてよい。さらに、これらの領域の形状が同じであっても異なっていてもよく、これらの領域の形状は一定であっても不定であってもよい。例えば、形状は正多角形（例えば、三角形又は四辺形）、円形、扇型、又は楕円形などであってもよく、不規則な多角形、気泡形状、又は雲形形状などであってもよい。これは、本願の本実施形態において限定されるものではない。
段階２０３：リアルタイムコメント内容をリアルタイムコメント表示領域に表示する。
リアルタイムコメント内容は、１つ又は複数のリアルタイムコメントを含んでよく、リアルタイムコメント内容は、複数のユーザが表示画像又は表示画像に関連するマルチメディアリソースを見たときに作成されるコメントであってよい。リアルタイムコメント表示領域が決定された後に、リアルタイムコメント内容がリアルタイムコメント表示領域に表示され得るため、表示されるリアルタイムコメント内容は、表示画像内の対象物表示領域と重ならず、リアルタイムコメント内容と目標表示対象物との間の相互干渉を回避でき、これにより、ユーザ体験を向上させることができる。例えば、リアルタイムコメント内容が、図８に示すリアルタイムコメント表示領域に表示される。図８のリアルタイムコメント表示領域の形状は単なる一例にすぎず、この形状が本願の本実施形態に制限を設けることはない。
具体的には、リアルタイムコメント表示領域内のリアルタイムコメント内容の表示位置が固定されてよい。あるいは、リアルタイムコメント内容の表示位置がリアルタイムコメント表示領域内をスクロール方式で移動する。あるいは、リアルタイムコメント内容は、第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、第１のリアルタイムコメント内容の表示位置が固定されており、第２のリアルタイムコメント内容がリアルタイムコメント表示領域内をスクロール方式で移動する。
リアルタイムコメント内容がスクロール方式で表示される場合、それは、リアルタイムコメント内容が、リアルタイムコメント表示領域の一端から現れてよく、水平方向に沿って一定速度で連続的に移動し、リアルタイムコメント表示領域のもう一方の端でリアルタイムコメント内容が消えるまで表示されることを意味する。移動方向は、右端から左端への移動であっても、左端から右端への移動であってもよい。
例えば、リアルタイムコメント表示領域は複数の長方形領域を含み、１つのリアルタイムコメント内容が１つの長方形領域に表示される。図９に示すように、リアルタイムコメント内容の表示位置が固定されている場合、リアルタイムコメント内容は長方形領域内をスクロールしない。リアルタイムコメント内容の長さが長方形領域の長さを超えている場合、リアルタイムコメント内容は新たな行に表示されてよい。図１０に示すように、リアルタイムコメント内容がスクロール方式で表示される場合、リアルタイムコメント内容は、長方形領域内を水平方向に沿って移動してよく、また１行で表示されてよい。
さらに、リアルタイムコメント表示領域は、連続であっても不連続であってもよい。リアルタイムコメント表示領域が不連続である場合、１つのリアルタイムコメント内容が、不連続な領域に表示されてよい。図１１に示すように、リアルタイムコメント表示領域が対象物表示領域によって分離されている場合、１つのリアルタイムコメント内容が表示のために分離されてよい。具体的には、リアルタイムコメント内容が対象物表示領域の端部に移動した場合、リアルタイムコメント内容は表示を停止する。対象物表示領域の水平方向の停止位置が決定され、分離されたリアルタイムコメント内容は当該停止位置に引き続き表示される。
本願の本実施形態では、リアルタイムコメント表示領域が表示画像に表示されてもよく、又は表示画像に表示されなくてもよい。さらに、複数のリアルタイムコメントのすてきなリアルタイムコメント内容がさらに、異なるリアルタイムコメント表示時間、リアルタイムコメント表示領域の形状、及びリアルタイムコメント表示方式などを用いて認識されてよい。例えば、すてきなリアルタイムコメント内容の表示時間が延長されてもよく、すてきなリアルタイムコメント内容が気泡形状又は雲形形状などの特殊な形状でリアルタイムコメント表示領域に表示されてもよく、すてきなリアルタイムコメント内容がスクロール方式で表示されてもよく、また一般的なリアルタイムコメント内容が固定位置に表示されることで、すてきなリアルタイムコメントの視認性を向上させてもよく、これにより、ユーザ体験を向上させることができる。
さらに、図１２を参照すると、段階２０３の後に、本方法はさらに段階２０４を含む。
段階２０４：目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定する。
通常、ビデオ再生過程では、表示対象物の位置が移動した場合、例えば、表示画像内の人物が画面の中央部から画面の端部に移動した場合、リアルタイムコメント表示領域が調整され得るので、それに応じて、リアルタイムコメント内容は目標表示対象物の移動軌跡に沿って移動し、これにより、目標表示対象物の位置が変化した場合でも、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容が、表示画像内の目標表示対象物の表示に影響しないようにすることができる。
具体的には、表示画像内の目標表示対象物の位置が検出されてよい。目標表示対象物の位置の変化が検出された場合、それに応じて、対象物表示領域の位置が調整されてよく、新たなリアルタイムコメント表示領域が決定され、リアルタイムコメント内容を表示するのに用いられる。任意選択で、目標表示対象物の位置は、固定時間間隔に基づいて検出されてよい。目標表示対象物の位置の変化値が事前設定された位置の閾値に達した場合、新たなリアルタイムコメント表示領域が決定される。それに応じて、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容も、ある程度調整され得るので、リアルタイムコメント内容は、リアルタイムコメント表示領域の変化に適応する。
例えば、図８に示す対象物表示領域の位置が中央部から右端に移動した場合、決定された新たなリアルタイムコメント表示領域の位置が図１３に示されてよく、それに応じて、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容も調整される。図１３で決定された新たなリアルタイムコメント表示領域の位置、及びリアルタイムコメント内容に対する調整は単なる例であり、本願の本実施形態に対して制限を設けることはない。
段階２０１から段階２０３において提供されるリアルタイムコメント表示方法は、リアルタイムで実行されてもよく、事前設定期間に基づいて実行されてもよい。リアルタイムコメントが前述の方法を用いてリアルタイムで表示される場合、段階２０４を実行せずに、新たなリアルタイムコメント表示領域が決定される。リアルタイムコメントが前述の方法を用いて事前設定期間に基づいて表示される場合、新たなリアルタイムコメント表示領域は、段階２０４で目標表示対象物の位置の変化に基づいて決定されてよい。
さらに、図１４を参照すると、段階２０１の前に、本方法はさらに段階２００ａ及び段階２００ｂを含む。
段階２００ａ：表示画像に含まれる少なくとも１つの表示対象物を認識する。
少なくとも１つの表示対象物は１つ又は複数の表示対象物を含んでよく、表示対象物は、人物、動物、又は別の対象物などであってよい。例えば、表示画像は、１人若しくは複数の人物を含んでもよく、又は１つ若しくは複数の他の対象物を含んでもよいなどである。
具体的には、表示画像に含まれる少なくとも１つの表示対象物が認識された場合、表示画像は、フォアグラウンド及びバックグラウンドの画像分割技術を用いて、類似した固有色と類似したテクスチャ類似性とを有するスーパーピクセルブロックに分割されてよい。それぞれのスーパーピクセルブロックは、３つの分類区域を含んでよい。つまり、ある分類区域は完全にフォアグラウンドであり、ある分類区域は完全にバックグラウンドあり、ある分類区域はフォアグラウンドの部分とバックグラウンドの部分とを含む。次に、フォアグラウンドとバックグラウンドとが分類され、スーパーピクセルブロックに基づいて認識されて、それぞれのスーパーピクセルブロックがフォアグラウンドであるか又はバックグラウンドであるかを判定する。例えば、スーパーピクセルブロックは、フォアグラウンド及びバックグラウンドトレーニングを通じて取得される分類器を用いて、分類され認識されてよい。最後に、時空間ＣＲＦモジュールが表示画像の時空間局所情報を基準にして確立され、また表示画像のフォアグラウンド及びバックグラウンドの正確なピクセルレベルの分割が、グラフカット最適化分解によって実施され、分割を通じて最後に取得される少なくとも１つの表示対象物が取得される。
例えば、図１５の（ｂ）は、図１５の（ａ）に示す表示画像を分割し且つ分類器が認識した後に取得された結果を示し、次いで図１５の（ｃ）は、ＣＲＦ最適化を表示画像に対して実行した後に取得された結果を示し、図１５の（ｄ）は、表示画像を図１５の（ｃ）に示す領域に基づいて正確に分割した後に取得された少なくとも１つの表示対象物を示す。
フォアグラウンド及びバックグラウンドを分類して認識する認識装置は、分割後に取得される結果に基づいてタイムリーに更新され得るので、この認識装置は、フォアグラウンド及びバックグラウンドの変化に適応することに留意されたい。さらに、表示画像に含まれる少なくとも１つの表示対象物を認識するための前述の具体的な方法については、関連する技術を参照されたい。詳細は、本願の本実施形態において説明しない。
段階２００ｂ：少なくとも１つの表示対象物の表示パラメータに基づいて、表示画像内の目標表示対象物を決定する。表示パラメータは、表示位置又は表示サイズを含む。
目標表示対象物は、少なくとも１つの表示対象物のうちの１つ又は複数である。本願の本実施形態では、目標表示対象物は、少なくとも１つの表示対象物のそれぞれの表示パラメータに基づいて、少なくとも１つの表示対象物から選択されてよい。表示パラメータは、表示位置又は表示サイズなどであってよい。表示対象物の表示位置が、表示画像内の表示対象物の位置であり、表示対象物の表示サイズが、表示画像内の表示対象物により占有される領域のサイズであってよい。目標表示対象物は、各表示対象物の表示位置又は表示サイズを用いて迅速に且つ効果的に決定することができ、少なくとも１つの表示対象物から目標表示対象物を決定する効率が向上し、表示画像内の重要な表示対象物がリアルタイムコメント内容によって遮られないようにすることができるので、表示画像内の重要な内容に対するユーザの認識が影響を受けない。
具体的には、表示パラメータが表示位置を含む場合、少なくとも１つの表示対象物のうちの、表示画像内の指定領域に位置する表示対象物が、表示画像内の目標表示対象物として決定されてよい。図１６に示すように、主な表示対象物が通常、表示画像内の中央領域に位置している。したがって、指定領域は、表示画像内の水平方向の中央領域であっても、鉛直方向の中央領域であってもよい。指定領域の長さ及び幅が事前設定されてよい（例えば、指定領域の長さは表示画像の長さの１／３であってよく、指定領域の幅は表示画像の幅の１／３であってよい。あるいは、指定領域はユーザによって設定される。ユーザは、タッチパネル、マウス、キーボード、遠隔制御装置、又はエアマウスのフォーカスなどの入力装置を用いて指定領域を決定してよい。例えば、ユーザは、これらの入力装置を用いて、指定領域の境界線又は境界点などを決定して、指定領域を設定してよい。
あるいは、表示パラメータが表示サイズを含む場合、少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物が、表示画像内の目標表示対象物として決定される。主な表示対象物に対応する表示サイズは、通常、比較的大きい。したがって、各表示対象物の表示サイズは、事前設定された第１の閾値と比較され、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物が、目標表示対象物として少なくとも１つの表示対象物から選択される。第１の閾値は固定値に設定されてよく、例えば、ピクセルサイズが４００×３００である。あるいは、第１の閾値は、表示画像のサイズに基づいて決定されてもよい。例えば、第１の閾値は、表示画像の長さの１／３、且つ表示画像の幅の１／３であってよい。あるいは、第１の閾値は、ユーザなどにより設定されてもよい。これは、本願の本実施形態において限定されるものではない。
さらに、図１７を参照すると、本方法はさらに段階２０５を含む。段階２０５と段階２０１から段階２０３までとの間に順序はない。段階２０５が段階２０３の後に実行される一例が、説明のために図１７に用いられている。
段階２０５：事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定して、新たなリアルタイムコメント表示領域にリアルタイムコメント内容を表示する。事前設定条件は、以下の条件のうちの１つを含んでよい。つまり、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいこと、また表示画像が変化したことである。
具体的には、ビデオ又は別の表示画像を再生して表示する過程において、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しい場合、又は表示画像が変化した場合、リアルタイムコメント表示領域は再決定されてよく、リアルタイムコメント内容は、決定された新たなリアルタイムコメント表示領域に表示される。事前設定時間は事前設定されてもよく、表示画像を再生して表示する過程においてユーザが設定してもよい。これは、本願の本実施形態において限定されるものではない。
例えば、ビデオ再生過程では、事前設定条件は、リアルタイムコメント内容が表示される期間が事前設定時間より長い又はこれに等しいことであってよく、その結果、リアルタイムコメント表示領域は事前設定時間の間隔で一度再決定されてよく、それに応じてリアルタイムコメント内容は、再決定されたリアルタイムコメント表示領域に表示される。したがって、リアルタイムコメント表示領域は、ビデオの表示画像と共に変化し、リアルタイムコメント内容と表示画像内の目標表示対象物との間の干渉が回避される。
別の例では、ユーザが歌を再生する、オンラインで買い物をする、本を読む、又はニュース、ＷｅＣｈａｔモーメンツ、若しくは電子アルバムなどのインターネット情報を閲覧（例えば、閲覧）する過程において、事前設定条件は、表示画像が変化したことであってよい。具体的には、図１８に示すように、ユーザが歌を再生するときに、現在の歌が終わり、次の歌に切り替える場合、対応する歌に対応する表示画像が変わり、新たなリアルタイムコメント表示領域を再決定することで、リアルタイムコメント内容が表示される。その結果、ユーザは、再生された歌に関する別のユーザのコメント又は意見を閲覧することができる。図１９に示すように、ユーザがオンラインで買い物をするときに、ユーザが異なる商品、モデル、スタイル、又は異なる部分の詳細を見るために選択した場合、ユーザ操作に対応する画像が表示され、新たなリアルタイムコメント表示領域を再決定することで、リアルタイムコメント内容が表示される。その結果、ユーザは別のユーザの商品コメントを見て、自身の選択に役立てることができる。図２０に示すように、ユーザが本を読み異なる本を切り替え、表紙の表示画像が変化すると、対応するリアルタイムコメント内容が、新たなリアルタイムコメント表示領域を再決定することで表示されてよい。その結果、ユーザは、現在の表示画像上で別のユーザのコメントを見ることができるので、ユーザ体験が向上する。
本願の本実施形態では、目標表示対象物を表示するのに用いられる対象物表示領域が、表示画像内の目標表示対象物に基づいて決定され、次いで、リアルタイムコメント表示領域が対象物表示領域に基づいて決定される。リアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉が回避され、それによって、ユーザ体験が向上する。
前述したことは、本願の実施形態において提供される解決手段を、主にデバイスの観点から説明している。前述の機能を実装するために、電子機器などのデバイスは、対応するハードウェア構造及び／又はソフトウェアモジュールを各機能の実行のために含むことが理解されるであろう。当業者であれば、本明細書に開示した実施形態を参照して説明した例に含まれるデバイス、アルゴリズム、及び段階が、本願の実施形態におけるハードウェア又はハードウェアとコンピュータソフトウェアとの組み合わせによって実装され得ることを容易に認識するはずである。ある機能がハードウェアによって実行されるのか、又はコンピュータソフトウェアで動くハードウェアによって実行されるのかは、技術的解決手段の特定の用途及び設計上の制約条件で決まる。当業者であれば、異なる方法を用いて、説明された機能を特定の用途ごとに実装するかもしれないが、そのような実装が本願の範囲を超えるものとみなされるべきではない。
本願の実施形態では、電子機器は、前述の方法の例に基づいて、複数の機能モジュールに分割されてよい。例えば、各機能モジュールは、それぞれの対応する機能に基づく計算によって取得されてよく、２つ又はそれより多くの機能が１つの処理モジュールに統合されてもよい。統合されたモジュールはハードウェアの形態で実装されてもよく、又はソフトウェア機能モジュールの形態で実装されてもよい。本願の実施形態では、モジュールの分割は一例であって、単なる論理的機能の分割であることに留意されたい。実際の実装では、別の分割方式があってもよい。
各機能モジュールがそれぞれの対応する機能に基づく計算によって取得される場合、図２１は、前述の実施形態における電子機器の実行可能な概略構造図である。電子機器３００は、決定ユニット３０１と表示ユニット３０２と含む。決定ユニット３０１は、図４の段階２０１及び段階２０２、図１２の段階２０１、段階２０２、及び段階２０４、図１４の段階２００ｂ、段階２０２、及び段階２０４、並びに図１７の段階２０１、段階２０２、及び段階２０５を実行するように構成される。表示ユニット３０２は、図４、図１２、図１４、及び図１７の段階２０３を実行するように構成される。また、電子機器３００はさらに認識ユニット３０３を含んでよい。認識ユニット３０３は、図１４の段階２００ａを実行するように構成される。前述の方法の実施形態の各段階の全ての関連内容は、対応する機能モジュールの機能説明に述べられているであろう。詳細は、ここで再度説明しない。
ハードウェア実装において、決定ユニット３０１及び認識ユニット３０３はプロセッサであってよく、表示ユニット３０２はディスプレイであってよい。
図２２は、本願の一実施形態による、前述の実施形態における電子機器３１０の論理的構造についての実行可能な概略図である。電子機器３１０は、メモリ３１１、プロセッサ３１２、通信インタフェース３１３、ディスプレイ３１４、及びバス３１５を含む。メモリ３１１、プロセッサ３１２、通信インタフェース３１３、及びディスプレイ３１４は、バス３１５を用いて互いに接続されている。本願の本実施形態では、プロセッサ３１２は電子機器３１０の動作を制御し管理するように構成される。例えば、プロセッサ３１２は、図４の段階２０１及び段階２０２、図１２の段階２０１、段階２０２、及び段階２０４、図１４の段階２００ａ、段階２０２、及び段階２０４、並びに図１７の段階２０１、段階２０２、及び段階２０５を実行するように構成され、且つ／又は、本明細書で説明された技術の別の工程を実行するように構成される。通信インタフェース３１３は、通信を実行する際に、電子機器３１０をサポートするように構成される。メモリ３１１は、電子機器３１０のプログラムコード及びデータを格納するように構成される。ディスプレイ３１４は、表示機能を実装する際に、電子機器をサポートするように構成される。
プロセッサ３１２は、中央演算処理装置、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ若しくは別のプログラム可能型論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント、又はこれらの任意の組み合わせであってよい。プロセッサ３１２は、本願に開示された内容を参照して説明された様々な例示的な論理ブロック、モジュール、及び回路を実装又は実行してよい。プロセッサは代替的に、コンピュータ処理機能を実装する組み合わせ、例えば、１つ又は複数のマイクロプロセッサの組み合わせ、又はデジタル信号プロセッサとマイクロプロセッサとの組み合わせであってよい。バス３１５は、ペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス、又は拡張型業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってよい。バスは、アドレスバス、データバス、及びコントロールバスなどに分類されてよい。表現しやすいように、バス３１５が１本の太線だけを用いて図２２に表されているが、これによって、１本のバスしか存在しないことを意味するものでも、１つの種類のバスしか存在しないことを意味するものでもない。
本願の別の実施形態では、コンピュータ可読記憶媒体がさらに提供される。コンピュータ可読記憶媒体は、コンピュータ実行命令を格納する。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令を実行する場合、このデバイスは、図４、図１２、図１４、又は図１７において提供されるリアルタイムコメント表示方法を実行する。
本願の別の実施形態では、コンピュータプログラム製品がさらに提供される。コンピュータプログラム製品はコンピュータ実行命令を含み、コンピュータ実行命令はコンピュータ可読記憶媒体に格納される。あるデバイスの少なくとも１つのプロセッサがコンピュータ実行命令をコンピュータ可読記憶媒体から読み出し得る場合、少なくとも１つのプロセッサはコンピュータ実行命令を実行するので、このデバイスは、図４、図１２、図１４、又は図１７において提供されるリアルタイムコメント表示方法を実装する。
本願の実施形態では、目標表示対象物を表示するのに用いられる対象物表示領域が、表示画像内の目標表示対象物に基づいて決定され、次いで、リアルタイムコメント表示領域が、対象物表示領域に基づいて決定される。リアルタイムコメント表示領域及び対象物表示領域には共通部分がないので、リアルタイムコメント表示領域に表示されるリアルタイムコメント内容は、表示画像内の目標表示対象物と重ならず、リアルタイムコメント内容によって生じるユーザへの干渉が回避され、それによって、ユーザ体験が向上する。
最後に、前述の説明は本願の単なる特定の実装例にすぎず、本願の保護範囲を限定する意図はないことに留意されたい。本願に開示された技術範囲内のあらゆる変形例又は置換例は、本願の保護範囲に含まれることになる。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うことになる。

Claims (15)

  1. リアルタイムコメント表示方法であって、
    表示画像内の目標表示対象物に基づいて対象物表示領域を決定する段階であって、前記目標表示対象物は前記対象物表示領域に位置している、段階と、
    前記対象物表示領域に基づいてリアルタイムコメント表示領域を決定する段階であって、前記リアルタイムコメント表示領域及び前記対象物表示領域には共通部分がない、段階と、
    前記リアルタイムコメント表示領域にリアルタイムコメント内容を表示する段階と
    を備える、方法。
  2. 前記方法はさらに、
    前記目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定する段階を備える、請求項１に記載の方法。
  3. 前記リアルタイムコメント内容の表示位置が固定されている、又は前記リアルタイムコメント内容の表示位置が前記リアルタイムコメント表示領域内をスクロール方式で移動する、又は前記リアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、前記第１のリアルタイムコメント内容の表示位置が固定されており、前記第２のリアルタイムコメント内容が前記リアルタイムコメント表示領域内をスクロール方式で移動する、請求項１又は２に記載の方法。
  4. 表示画像内の目標表示対象物に基づいて対象物表示領域を前記決定する段階は、
    前記目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域を、前記目標表示対象物の前記輪郭に基づく前記対象物表示領域として決定する段階、又は
    前記目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域を、前記目標表示対象物の前記輪郭に基づく前記対象物表示領域として決定する段階
    を有する、請求項１から３のいずれか一項に記載の方法。
  5. 表示画像内の目標表示対象物に基づいて対象物表示領域を前記決定する段階の前に、前記方法はさらに、
    前記表示画像内に含まれる少なくとも１つの表示対象物を認識する段階と、
    前記少なくとも１つの表示対象物の表示パラメータに基づいて、前記少なくとも１つの表示対象物から前記目標表示対象物を決定する段階であって、前記表示パラメータは表示位置又は表示サイズを含む、段階と
    を備える、請求項１から４のいずれか一項に記載の方法。
  6. 前記表示パラメータは前記表示位置を含み、前記少なくとも１つの表示対象物の表示パラメータに基づいて、前記少なくとも１つの表示対象物から前記目標表示対象物を前記決定する段階は、
    前記少なくとも１つの表示対象物のうちの、前記表示画像内の指定領域に位置している表示対象物を、前記表示画像内の前記目標表示対象物として決定する段階を有する、又は、
    前記表示パラメータは前記表示サイズを含み、前記少なくとも１つの表示対象物の表示パラメータに基づいて、前記少なくとも１つの表示対象物から前記目標表示対象物を前記決定する段階は、
    前記少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、前記表示画像内の前記目標表示対象物として決定する段階を有する、請求項５に記載の方法。
  7. 前記方法はさらに、
    事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、前記新たなリアルタイムコメント表示領域に前記リアルタイムコメント内容を表示する段階であって、前記事前設定条件は前記表示画像が変化したことを含む、段階を備える、請求項１から６のいずれか一項に記載の方法。
  8. 電子機器であって、
    表示画像内の目標表示対象物に基づいて対象物表示領域を決定するように構成された決定ユニットであって、前記目標表示対象物は前記対象物表示領域に位置しており、前記決定ユニットはさらに、前記対象物表示領域に基づいてリアルタイムコメント表示領域を決定するように構成され、前記リアルタイムコメント表示領域及び前記対象物表示領域には共通部分がない、決定ユニットと、
    前記リアルタイムコメント表示領域にリアルタイムコメント内容を表示するように構成された表示ユニットと
    を備える、電子機器。
  9. 前記決定ユニットはさらに、
    前記目標表示対象物の位置の変化が検出された場合、新たなリアルタイムコメント表示領域を決定するように構成される、請求項８に記載の電子機器。
  10. 前記リアルタイムコメント内容の表示位置が固定されている、又は前記リアルタイムコメント内容の表示位置が前記リアルタイムコメント表示領域内をスクロール方式で移動する、又は前記リアルタイムコメント内容が第１のリアルタイムコメント内容及び第２のリアルタイムコメント内容を含み、前記第１のリアルタイムコメント内容の表示位置が固定されており、前記第２のリアルタイムコメント内容が前記リアルタイムコメント表示領域内をスクロール方式で移動する、請求項８又は９に記載の電子機器。
  11. 前記決定ユニットは、
    前記目標表示対象物の輪郭を事前設定閾値だけ外側に拡大することで取得される領域を、前記目標表示対象物の前記輪郭に基づく前記対象物表示領域として決定する、又は、
    前記目標表示対象物の輪郭を事前設定閾値だけ内側に縮小することで取得される領域を、前記目標表示対象物の前記輪郭に基づく前記対象物表示領域として決定する
    ように構成される、請求項８から１０のいずれか一項に記載の電子機器。
  12. 前記電子機器はさらに、前記表示画像に含まれる少なくとも１つの表示対象物を認識するように構成された認識ユニットを備え、
    前記決定ユニットはさらに、前記少なくとも１つの表示対象物の表示パラメータに基づいて、前記少なくとも１つの表示対象物から前記目標表示対象物を決定するように構成され、前記表示パラメータは表示位置又は表示サイズを含む、請求項８から１１のいずれか一項に記載の電子機器。
  13. 前記表示パラメータは前記表示位置を含み、前記決定ユニットは、
    前記少なくとも１つの表示対象物のうちの、前記表示画像内の指定領域に位置する表示対象物を、前記表示画像内の前記目標表示対象物として決定するように構成される、又は、
    前記表示パラメータは前記表示サイズを含み、前記決定ユニットは、
    前記少なくとも１つの表示対象物のうちの、表示サイズが第１の閾値より大きい又はこれに等しい表示対象物を、前記表示画像内の前記目標表示対象物として決定するように構成される、請求項１２に記載の電子機器。
  14. 前記決定ユニットはさらに、
    事前設定条件が満たされている場合、新たなリアルタイムコメント表示領域を再決定し、前記新たなリアルタイムコメント表示領域に前記リアルタイムコメント内容を表示するように構成され、前記事前設定条件は前記表示画像が変化したことを含む、請求項８から１３のいずれか一項に記載の電子機器。
  15. 電子機器であって、前記電子機器はメモリ、プロセッサ、ディスプレイ、バス、及び通信インタフェースを備え、前記メモリはコード及びデータを格納し、前記プロセッサ、前記メモリ、前記ディスプレイ、及び前記通信インタフェースは前記バスを用いて接続されており、前記プロセッサが前記メモリ内の前記コードを起動すると、前記電子機器は、請求項１から７のいずれか一項に記載のリアルタイムコメント表示方法を実行する、電子機器。
JP2019558457A 2017-04-28 2018-01-29 リアルタイムコメント表示方法及び電子機器 Active JP6984840B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710297516.0 2017-04-28
CN201710297516.0A CN107181976B (zh) 2017-04-28 2017-04-28 一种弹幕显示方法及电子设备
PCT/CN2018/074483 WO2018196457A1 (zh) 2017-04-28 2018-01-29 一种弹幕显示方法及电子设备

Publications (2)

Publication Number Publication Date
JP2020519990A true JP2020519990A (ja) 2020-07-02
JP6984840B2 JP6984840B2 (ja) 2021-12-22

Family

ID=59832010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558457A Active JP6984840B2 (ja) 2017-04-28 2018-01-29 リアルタイムコメント表示方法及び電子機器

Country Status (6)

Country Link
US (1) US20200058270A1 (ja)
EP (1) EP3606081A4 (ja)
JP (1) JP6984840B2 (ja)
KR (1) KR20190136085A (ja)
CN (1) CN107181976B (ja)
WO (1) WO2018196457A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181976B (zh) * 2017-04-28 2021-01-29 华为技术有限公司 一种弹幕显示方法及电子设备
CN107645684A (zh) * 2017-09-30 2018-01-30 咪咕动漫有限公司 一种弹幕调节方法、装置及存储介质
CN107809658A (zh) * 2017-10-18 2018-03-16 维沃移动通信有限公司 一种弹幕内容显示方法和终端
CN108401177B (zh) 2018-02-27 2021-04-27 上海哔哩哔哩科技有限公司 视频播放方法、服务器及视频播放系统
CN108347657B (zh) * 2018-03-07 2021-04-20 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109089170A (zh) * 2018-09-11 2018-12-25 传线网络科技（上海）有限公司 弹幕显示方法及装置
CN109302619A (zh) * 2018-09-18 2019-02-01 北京奇艺世纪科技有限公司 一种信息处理方法及装置
CN110971952B (zh) * 2018-09-29 2022-03-15 阿里巴巴（中国）有限公司 弹幕展示方法及装置
CN111107381A (zh) * 2018-10-25 2020-05-05 武汉斗鱼网络科技有限公司 直播间弹幕显示方法、存储介质、设备及系统
CN109547833B (zh) * 2018-11-15 2022-11-18 平安科技（深圳）有限公司 弹幕显示控制方法、装置、设备及计算机可读存储介质
CN109600654B (zh) * 2018-11-27 2021-03-12 Oppo广东移动通信有限公司 弹幕处理方法、装置以及电子设备
CN111385665A (zh) * 2018-12-29 2020-07-07 百度在线网络技术（北京）有限公司 弹幕信息的处理方法、装置、设备及存储介质
CN111526421B (zh) 2019-02-01 2021-10-22 网宿科技股份有限公司 视频掩码信息的生成、弹幕防遮挡方法、服务器及客户端
CN111954052B (zh) * 2019-05-17 2022-04-05 上海哔哩哔哩科技有限公司 显示弹幕信息的方法、计算机设备及可读存储介质
CN111954053B (zh) * 2019-05-17 2023-09-05 上海哔哩哔哩科技有限公司 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN110351593A (zh) * 2019-06-28 2019-10-18 维沃移动通信有限公司 信息处理方法、装置、终端设备及计算机可读存储介质
CN110300118B (zh) * 2019-07-09 2020-09-25 联想(北京)有限公司 流媒体处理方法、装置及存储介质
CN111078078B (zh) * 2019-11-29 2021-06-15 深圳市镜玩科技有限公司 视频播放控制方法、装置、终端及计算机可读存储介质
CN111078070B (zh) * 2019-11-29 2021-06-15 深圳市镜玩科技有限公司 Ppt视频弹幕的播放控制方法、装置、终端及介质
CN112995740A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 弹幕展示方法、设备、系统及存储介质
CN113315924A (zh) * 2020-02-27 2021-08-27 北京字节跳动网络技术有限公司 图像特效处理方法及装置
CN111432263B (zh) * 2020-03-10 2023-08-01 上海盛付通电子支付服务有限公司 弹幕信息显示、处理、发布方法、电子设备及介质
CN111427504A (zh) * 2020-04-02 2020-07-17 北京达佳互联信息技术有限公司 内容获取方法、装置、电子设备及存储介质
CN111757188A (zh) * 2020-06-24 2020-10-09 浙江炬光电气有限公司 一种基于商品信息的弹幕显示方法及系统
WO2022016306A1 (en) * 2020-07-20 2022-01-27 Arris Enterprises Llc Method and system for displaying an electronic program guide in a bullet screen format
CN113761317A (zh) * 2020-07-28 2021-12-07 北京沃东天骏信息技术有限公司 一种基于弹幕的数据处理方法和装置
CN112423110A (zh) * 2020-08-04 2021-02-26 上海哔哩哔哩科技有限公司 直播视频数据生成方法、装置及直播视频播放方法、装置
CN112312190A (zh) * 2020-10-10 2021-02-02 游艺星际(北京)科技有限公司 视频画面的展示方法、装置、电子设备和存储介质
CN112423026B (zh) * 2020-10-19 2023-04-07 广州市百果园网络科技有限公司 评论处理方法及装置
CN114449326A (zh) * 2020-11-06 2022-05-06 上海哔哩哔哩科技有限公司 视频标注方法、客户端、服务器及系统
CN114584824A (zh) * 2020-12-01 2022-06-03 阿里巴巴集团控股有限公司 数据处理方法、系统、电子设备、服务端及客户端设备
CN113709544B (zh) * 2021-03-31 2024-04-05 腾讯科技（深圳）有限公司 视频的播放方法、装置、设备及计算机可读存储介质
CN113110814B (zh) * 2021-03-31 2024-03-12 北京达佳互联信息技术有限公司 一种屏幕显示数据处理的方法、装置及存储介质
CN113360053A (zh) * 2021-05-28 2021-09-07 富途网络科技(深圳)有限公司 显示的控制方法、电子设备以及存储介质
CN113542898B (zh) * 2021-07-09 2023-09-05 北京爱奇艺科技有限公司 一种弹幕轨迹生成、弹幕显示方法及装置
CN115834923A (zh) * 2021-09-16 2023-03-21 艾锐势企业有限责任公司 用于视频内容处理的网络设备、系统和方法
CN113763919B (zh) * 2021-09-29 2023-09-05 北京字跳网络技术有限公司 一种视频展示方法、装置、计算机设备及存储介质
CN114915832B (zh) * 2022-05-13 2024-02-23 咪咕文化科技有限公司 一种弹幕显示方法、装置及计算机可读存储介质
CN115243093B (zh) * 2022-07-04 2023-08-22 网易（杭州）网络有限公司 视频弹幕的处理方法、装置、存储介质和电子装置
CN115361577B (zh) * 2022-08-26 2024-03-05 维沃移动通信有限公司 弹幕信息显示方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053942A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2013026878A (ja) * 2011-07-22 2013-02-04 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014225808A (ja) * 2013-05-16 2014-12-04 パナソニック株式会社 コメント情報生成装置およびコメント表示装置
JP2015100039A (ja) * 2013-11-19 2015-05-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
CN106303731A (zh) * 2016-08-01 2017-01-04 北京奇虎科技有限公司 弹幕的显示方法及装置
US20180041796A1 (en) * 2015-11-06 2018-02-08 Tencent Technology (Shenzhen) Company Limited Method and device for displaying information on video image

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8320357D0 (en) * 1983-07-28 1983-09-01 Quantel Ltd Video graphic simulator systems
DE19847261A1 (de) * 1998-10-05 2000-04-06 Dcs Dialog Communication Syste Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung
US20040068758A1 (en) * 2002-10-02 2004-04-08 Mike Daily Dynamic video annotation
US7817836B2 (en) * 2006-06-05 2010-10-19 Varian Medical Systems, Inc. Methods for volumetric contouring with expert guidance
US7961952B2 (en) * 2007-09-27 2011-06-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting and tracking objects in images
EP2242253B1 (en) * 2008-02-06 2019-04-03 Panasonic Intellectual Property Corporation of America Electronic camera and image processing method
KR101114744B1 (ko) * 2009-02-12 2012-03-05 전남대학교산학협력단 영상으로부터 텍스트를 인식하는 방법
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
CN102438122B (zh) * 2010-09-29 2016-05-11 鸿富锦精密工业（深圳）有限公司 摄影机装置及利用其动态侦测监控对象的方法
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
JP5960409B2 (ja) * 2011-10-28 2016-08-02 任天堂株式会社 ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム
US9872655B2 (en) * 2012-03-30 2018-01-23 Siemens Aktiengesellschaft PAE treatment for BPH
KR101552138B1 (ko) * 2012-12-26 2015-09-10 국립암센터 신규한 암 병변 표지용 조성물
KR101599786B1 (ko) * 2014-01-24 2016-03-09 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
WO2016004859A1 (zh) * 2014-07-07 2016-01-14 乐视网信息技术（北京）股份有限公司 视频的弹幕显示方法及装置
JP6024728B2 (ja) * 2014-08-08 2016-11-16 カシオ計算機株式会社 検出装置、検出方法及びプログラム
US10674139B2 (en) * 2015-06-03 2020-06-02 University Of Connecticut Methods and systems for human action recognition using 3D integral imaging
CN105635848A (zh) * 2015-12-24 2016-06-01 深圳市金立通信设备有限公司 一种弹幕显示方法及终端
JP6441843B2 (ja) * 2016-02-24 2018-12-19 株式会社カプコン ゲームプログラムおよびゲームシステム
CN105847940B (zh) * 2016-05-24 2019-03-15 武汉斗鱼网络科技有限公司 一种弹幕显示控制方法及装置
CN106101805B (zh) * 2016-06-28 2019-03-15 武汉斗鱼网络科技有限公司 一种个性化弹幕发送方法及装置
CN106331877B (zh) * 2016-09-22 2019-10-11 广州华多网络科技有限公司 弹幕播放方法及装置
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
CN107181976B (zh) * 2017-04-28 2021-01-29 华为技术有限公司 一种弹幕显示方法及电子设备
JP6972756B2 (ja) * 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053942A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2013026878A (ja) * 2011-07-22 2013-02-04 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2014225808A (ja) * 2013-05-16 2014-12-04 パナソニック株式会社 コメント情報生成装置およびコメント表示装置
JP2015100039A (ja) * 2013-11-19 2015-05-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US20180041796A1 (en) * 2015-11-06 2018-02-08 Tencent Technology (Shenzhen) Company Limited Method and device for displaying information on video image
CN106303731A (zh) * 2016-08-01 2017-01-04 北京奇虎科技有限公司 弹幕的显示方法及装置

Also Published As

Publication number Publication date
US20200058270A1 (en) 2020-02-20
KR20190136085A (ko) 2019-12-09
CN107181976A (zh) 2017-09-19
EP3606081A1 (en) 2020-02-05
WO2018196457A1 (zh) 2018-11-01
CN107181976B (zh) 2021-01-29
EP3606081A4 (en) 2020-02-05
JP6984840B2 (ja) 2021-12-22

Similar Documents

Publication Publication Date Title
JP6984840B2 (ja) リアルタイムコメント表示方法及び電子機器
CN107430629B (zh) 计算机呈现中的视觉内容的分优先级显示
WO2020151547A1 (zh) 展示页面的交互控制方法及装置
JP6275879B2 (ja) 双方向性サブタイトルデータの管理
US9934823B1 (en) Direction indicators for panoramic images
WO2016082586A1 (zh) 网页更新方法及装置
CN102930852B (zh) 通过动态调节屏幕刷新率来提高移动终端系统性能的方法
CN111615682B (zh) 用于基于视角来选择呈现模式的方法和装置
US10990226B2 (en) Inputting information using a virtual canvas
KR20140076632A (ko) 얼굴 검출을 이용한 이미지 재구성
US9824723B1 (en) Direction indicators for panoramic images
US10991393B2 (en) Electronic device and method of managing a playback rate of a plurality of images
JP6708734B2 (ja) ナビゲーション画像の描画方法、装置及び記憶媒体
CN111953924B (zh) 基于图像处理的视频窗口调整方法、装置、介质及系统
CN106921883B (zh) 一种视频播放处理的方法及装置
US20190102060A1 (en) Information processing apparatus, display control method, and storage medium
US20220292755A1 (en) Synchronizing Display of Multiple Animations
JP2023513382A (ja) 画像カッティング方法、装置、設備及び記憶媒体
CN110647640B (zh) 计算机系统、操作计算装置的方法及操作计算装置的系统
US20230405460A1 (en) In-game display controlling method, device and electronic equipment
CN108008894B (zh) 一种内容显示方法、装置和终端设备
WO2020001015A1 (zh) 场景操控的方法、装置及电子设备
EP2911115B1 (en) Electronic device and method for color extraction
AU2015268735A1 (en) Method, system and apparatus for spatially arranging a plurality of video frames for display
US20230057963A1 (en) Video playing method, apparatus and device, storage medium, and program product

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211112

R150 Certificate of patent or registration of utility model

Ref document number: 6984840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150