JP2017098957A - 複数のビデオを提示するユーザインターフェイスを生成する方法 - Google Patents
複数のビデオを提示するユーザインターフェイスを生成する方法 Download PDFInfo
- Publication number
- JP2017098957A JP2017098957A JP2016222134A JP2016222134A JP2017098957A JP 2017098957 A JP2017098957 A JP 2017098957A JP 2016222134 A JP2016222134 A JP 2016222134A JP 2016222134 A JP2016222134 A JP 2016222134A JP 2017098957 A JP2017098957 A JP 2017098957A
- Authority
- JP
- Japan
- Prior art keywords
- video
- videos
- value representing
- units
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
【課題】表示デバイスのために複数の時間的に同期されたビデオを提示するユーザインターフェイスを生成する方法が開示される。【解決手段】ユーザインターフェイスは、ビデオを供給する複数のビデオグラフィカルユニットを有する。方法は、複数のビデオの各ビデオからビデオ品質を表す値を得ることと、ビデオユニットの夫々での表示のために複数のビデオの中からビデオ品質を表す値が最も高いビデオを選択することとを有する。他の特徴に従って、ビデオは、既に表示されているビデオとのビデオ類似性を表す値に、又はビデオコントリビュータフレームを表す値に応じて、選択される。また、方法は、その変形例のいずれかにおいて、ユーザインターフェイスを生成する方法を実装するグラフィクス処理ユニット及びコンピュータ可読媒体にも関係がある。【選択図】図3
Description
本原理は、同じイベントに関する複数のビデオからのビデオの提示の分野に概して関係がある。より具体的には、本原理は、表示デバイスにおいて複数の同期されたビデオを提示するユーザインターフェイスを生成する方法及びその方法を実装するデバイスに関係がある。
本項目は、以下で記載及び/又は請求される本原理の様々な態様に関係があり得る、当該技術の様々な態様を読者に紹介することを目的とする。この議論は、本原理の様々な態様のより良い理解を助ける背景情報を読者に提供するのに有益であると信じられる。然るに、そのような記述は、先行技術の承認としてではなく、この観点で読まれるべきであることが理解されるべきである。
今日、ますます多くのデジタルデバイスの利用可能性により、ますます多くのビデオフィルムが人々によって捕捉されている。ソーシャルネットワークでのビデオ共有のこの急増に加えて、多数のユーザは、同じイベントの膨大化する可能性を秘めているビデオを提供する。ビデオコンテンツの全てのそれらの断片は、生のビデオ素材が多数であるデータベースを構成する。よって、クラウドメディア作成によって生じたビデオコンテンツのそれらの断片を提示することは、表示デバイスでビデオを見るユーザの能力が限られていることから、難問である。
ビデオを提示するための第1の技術は、表示画面がビデオソースと同じ数のユニットに分けられているモザイクを生成することである。しかし、この技術は、提示及びユーザによる異なるビデオソースへの切り替えを容易にするために、限られた数のビデオに適応される。サムネイル画像表示から着想されたこの技術は、データベースのサイズが大きくなる場合に大規模に実現可能でない。これは、ユーザが膨大なデータベースを徹底的に調べるべきであり、且つ、表示画面が拡張可能でないからである。
ビデオを提示するための第2の技術は、ビデオ合成インターフェイスで通常使用されている技術であって、同時に捕捉されたビデオが表示されるフィルムストリップを生成することである。そのために、絶対時間スタンプが定義される。これはイベントの開始であってよい。そして、ビデオは、この時間スタンプに沿って同期される。第2の技術における表示されるビデオの数は、よって、第1の技術と比較して低減される。同じ時点であるが視点が異なる同じ場面を捕捉するビデオのみが、表示される。しかし、決定された時間スタンプについてのビデオの数は動的に変動し、依然として非常に多数であり得る。
本原理は、多数の寄与が処理される場合及び実際の複数の視点が最良のビューイング経験を確かにするようユーザに提示されるべき場合に同時の同期されたビデオのレンダリングの問題を解消する傾向がある。
本原理は、表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオを提示するユーザインターフェイスを提供する。ユーザインターフェイスは、ビデオがそれらの品質に応じて配置されている増減可能な数のビデオユニットを有する。そのために、表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成する、処理デバイスによって実行される方法であって、前記ユーザインターフェイスは増減可能な数のビデオユニットを有する方法が開示される。方法は、
前記複数のビデオの夫々からビデオ品質を表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択するステップと
を有する。
前記複数のビデオの夫々からビデオ品質を表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択するステップと
を有する。
有利なことに、品質ランクに基づく動的な同期されたビデオウォール(video wall)は、最良のビューイング経験を提供する。
単独で又は組み合わせて取られる様々な特徴に従って、
ビデオユニットは、それらのサイズに応じてソートされ、ビデオ品質を表す値が最も高いビデオは、最大サイズのビデオユニットで表示され、
ビデオは、ビデオコントリビュータ(contributor)フレームを表す最も高い値に従って更に選択され、
ビデオは、表示されているビデオ間のビデオ類似性を表す最も低い値に従って更に選択され、
ビデオユニットの夫々でのビデオ品質を表す値が最も高いビデオの選択は、第1のビデオユニットで表示すべき新しいリファレンスビデオのユーザ選択時に、又はリファレンスビデオの終わりに、又はいずれかの表示されているビデオの終わりに、更新される。
ビデオユニットは、それらのサイズに応じてソートされ、ビデオ品質を表す値が最も高いビデオは、最大サイズのビデオユニットで表示され、
ビデオは、ビデオコントリビュータ(contributor)フレームを表す最も高い値に従って更に選択され、
ビデオは、表示されているビデオ間のビデオ類似性を表す最も低い値に従って更に選択され、
ビデオユニットの夫々でのビデオ品質を表す値が最も高いビデオの選択は、第1のビデオユニットで表示すべき新しいリファレンスビデオのユーザ選択時に、又はリファレンスビデオの終わりに、又はいずれかの表示されているビデオの終わりに、更新される。
有利なことに、複数のビデオユニットは、第1(又はメイン)のビデオユニット及び第2のビデオユニットを有する。複数のビデオの中でビデオ品質を表す値が最も高いビデオであるリファレンスビデオ、又はユーザによって選択されたビデオは、第1のビデオユニットで表示され、例えば、ビデオの時間アライメントのための及びコンテンツ類似度のための基準となる。次いで、第2(又は補助)のビデオは、それらの品質、コントリビュータフレーム、類似度に応じて、第2のビデオユニットで表示される。有利なことに、1つのメインビデオウィンドウ及び補助ビデオ(又は静止画)ウィンドウのおかげで、そのような実施形態は、より容易なコンテンツ閲覧を可能にする。
第2の態様に従って、表示デバイスのためにビデオ提示ユーザインターフェイス(UI;user interface)を生成するよう構成されるプロセッサを有するデバイスが開示される。
変形例において、デバイスは、
表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成する手段であり、前記ユーザインターフェイスは増減可能な数のビデオユニットを有する手段と、
前記複数のビデオの夫々からビデオ品質を表す値を得る解析モジュールと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する手段と
を有する。
表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成する手段であり、前記ユーザインターフェイスは増減可能な数のビデオユニットを有する手段と、
前記複数のビデオの夫々からビデオ品質を表す値を得る解析モジュールと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する手段と
を有する。
具体的な実施形態に従って、デバイスは、
モバイルデバイス
通信デバイス、
ゲーム機、
タブレット(又はタブレットコンピュータ)、
ラップトップ、
静止画カメラ、
ビデオカメラ、
ビデオサーバ(例えば、ウェブサーバ)、及び
ビデオ共有プラットフォーム
を有する組に属する。
モバイルデバイス
通信デバイス、
ゲーム機、
タブレット(又はタブレットコンピュータ)、
ラップトップ、
静止画カメラ、
ビデオカメラ、
ビデオサーバ(例えば、ウェブサーバ)、及び
ビデオ共有プラットフォーム
を有する組に属する。
他の態様に従って、本原理は、上記の方法を実施するコード命令を実行する手段を有するグラフィクス処理ユニットを対象とする。
第3の態様に従って、コンピュータで実行される場合にUI生成方法のステップをその変形例のいずれかにおいて実行するプログラムコード命令を有するコンピュータプログラム製品が開示される。
第4の態様に従って、プロセッサに、表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成し、前記ユーザインターフェイスは複数のビデオユニットを有し、前記複数のビデオの各ビデオについてビデオ品質を表す値を得、前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択することを少なくとも実行させる命令を記憶しているプロセッサ可読媒体が開示される。
第5の態様に従って、少なくとも、表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成し、前記ユーザインターフェイスは複数のビデオユニットを有し、前記複数のビデオの各ビデオについてビデオ品質を表す値を得、前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する方法を実施するようコンピュータによって実行可能な命令のプログラムを有形に具現する、コンピュータによって読み取り可能な非一時的なプログラム記憶デバイスが開示される。
明示的には記載されていないが、本実施形態は、如何なる組み合わせ又は部分組み合わせにおいても使用されてよい。例えば、本実施形態は、ビデオユニットの記載されている配置に制限されない。
その上、UI生成方法について記載されている如何なる特徴又は実施形態も、開示されている方法を処理するよう意図されたデバイスに、及びプログラム命令を記憶しているコンピュータ可読記憶媒体に適合する。
本原理の好適な特徴は、これより、制限されない例として、添付の図面を参照して記載される。
本原理の具体的な且つ制限されない実施形態に従って、複数の時間的に同期されたビデオを提示するユーザインターフェイスを生成する処理デバイスを表す。
具体的な且つ制限されない実施形態に従って、図1の処理デバイスのアーキテクチャの例を表す。
本原理の具体的な且つ制限されない実施形態に従って、複数の同期されたビデオを提示するユーザインターフェイスを生成する方法のフローチャートを表す。
本原理に従って、データベースDの同期されたビデオを表す。
本原理の具体的な実施形態に従って、複数の同期されたビデオを表示するユーザインターフェイスを表す。
本原理の主たる考えは、ビデオウォールにおいて時間的に同期されたビデオのサブセットを提示することであり、サブセットは、光、動き又は顕著性(saliency)のようなビデオパラメータに関してビデオ品質を表す情報に従って選択される。
図1は、本原理の具体的な且つ制限されない実施形態に従って、空間的及び時間的な接続性に関して複数のビデオを表示する処理デバイス1を表す。処理デバイス1は、例えば遠隔のデータベースに記憶されているビデオの集合から複数のビデオを受けるよう構成される入力部10を有する。ビデオの集合の中のビデオは、ソースから取得されてよい。本原理の別の実施形態に従って、ソースは、
ローカルメモリ、例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク;
記憶インターフェイス、例えば、大容量記憶装置、ROM、光ディスク又は磁気担体とのインターフェイス;
通信インターフェイス、例えば、サーバに接続されている有線インターフェイス(例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス)又は無線インターフェイス(例えば、IEEE802.11インターフェイス若しくはBluetooth(登録商標)インターフェイス);及び
ピクチャ捕捉回路(例えば、CCD(すなわち、電荷結合デバイス(Charge-Coupled Device))又はCMOS(すなわち、相補型金属酸化膜半導体(Complementary Metal-Oxide-Semiconductor)))
を有する組に属する。
ローカルメモリ、例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク;
記憶インターフェイス、例えば、大容量記憶装置、ROM、光ディスク又は磁気担体とのインターフェイス;
通信インターフェイス、例えば、サーバに接続されている有線インターフェイス(例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス)又は無線インターフェイス(例えば、IEEE802.11インターフェイス若しくはBluetooth(登録商標)インターフェイス);及び
ピクチャ捕捉回路(例えば、CCD(すなわち、電荷結合デバイス(Charge-Coupled Device))又はCMOS(すなわち、相補型金属酸化膜半導体(Complementary Metal-Oxide-Semiconductor)))
を有する組に属する。
入力部10は、ビデオユニットでの表示のためにビデオを復号するよう構成される少なくとも1つのビデオ復号器12へ接続されている。入力部10は、各ビデオについての時間情報とともに、品質情報、類似性情報又はコントリビュータフレームを計算するために使用されるパラメータを取得するよう構成される解析モジュール14へ更に接続されている。解析モジュール14は、後述されるように、品質情報、類似性情報、コントリビュータフレーム又はそれらの組み合わせのいずれかを表す値をビデオパラメータから計算するよう更に構成される。変形例に従って、解析モジュール14は処理デバイス1の外部にあり、ビデオパラメータ又は代表値は、入力部10を通じて処理デバイスへ入力される。モジュール14の出力は、複数のビデオユニットを有するユーザインターフェイスを生成するよう、且つ、夫々の時間的に同期されたビデオの品質情報に従って表示のためのビデオを選択するよう構成されるモジュール16へ接続されている。また、モジュール16は、選択されたビデオを復号するために少なくとも1つのビデオ復号器12へも接続されている。ビデオ復号器12及びモジュール16は、グラフィカル情報を表示デバイスへ送るために、出力部20へ接続されている。制限されない変形例では、表示デバイスはデバイス1の部分であるか、あるいは、デバイス1の外部にある。
図2は、本原理の具体的な且つ制限されない実施形態に従って、処理デバイス1のアーキテクチャの例を表す。処理デバイス1は、内部メモリ120(例えば、RAM、ROM、EPROM)とともに、1つ以上のプロセッサ110を有する。プロセッサ110は、例えば、CPU、GPU及び/又はDSP(Digital Signal Processor(デジタル信号プロセッサ)の英語の頭文字)である。処理デバイス1は、出力情報を表示するよう、且つ/あるいは、ユーザがコマンド及び/又はデータを入力することを可能にするよう構成される1つ又は複数の入力/出力インターフェイス130(例えば、キーボード、マウス、タッチパッド、ウェブカム、ディスプレイ)と、処理デバイス1の外部であってよい電源140とを有する。処理デバイス1はネットワークインターフェイス(図示せず。)を更に有してよい。
本原理の例となる制限されない実施形態に従って、処理デバイス1は、メモリ120に記憶されているコンピュータプログラムを更に有する。コンピュータプログラムは、処理デバイス1によって、特にプロセッサ110によって、実行される場合に、図3を参照して記載される処理方法を処理デバイス1に実施させる命令を有する。変形例に従って、コンピュータプログラムは、処理デバイス1の外部で、非一時的なデジタルデータ担体において、例えば、HDD、CD−ROM、DVD、リードオンリー及び/又はDVDドライブ及び/又はDVDリード/ライトドライブ(全て当該技術で知られている。)のような外部記憶媒体において、記憶されている。よって、処理デバイス1は、コンピュータプログラムを読み出すインターフェイスを有する。更に、処理デバイス1は、対応するUSBポート(図示せず。)を通じて1つ以上のユニバーサルシリアルバス(USB;Universal Serial Bus)タイプの記憶デバイス(例えば、“メモリスティック”)にアクセスしてよい。
例となる制限されない実施形態に従って、処理デバイス1は、
モバイルデバイス、
通信デバイス、
ゲーム機、
タブレット(又はタブレットコンピュータ)、
ラップトップ、
静止画カメラ、
ビデオカメラ、
ビデオサーバ(例えば、ウェブサーバ)、及び
ビデオ共有プラットフォーム
を有する組に属するデバイスである。
モバイルデバイス、
通信デバイス、
ゲーム機、
タブレット(又はタブレットコンピュータ)、
ラップトップ、
静止画カメラ、
ビデオカメラ、
ビデオサーバ(例えば、ウェブサーバ)、及び
ビデオ共有プラットフォーム
を有する組に属するデバイスである。
当業者に明らかなように、好適な実施形態において記載されている本原理は、例えば、復号器に又はビデオパラメータを得ることに関して、グラフィクス処理ボード上のグラフィクス処理ユニット(GPU;graphics processing unit)を用いて有利に計算される。
図3は、本原理の具体的な且つ制限されない実施形態に従って、表示デバイスのために複数の時間的に同期されたビデオを表示するユーザインターフェイスを生成する方法のフローチャートを表す。
記載されている方法は、有利なことに、同じイベントの様々なビデオの取り込みを可能にするシステム又はサービスにうまく適応する。上述されたように、ビデオは、複数の視点を有する多数のビデオの場合でさえ最良のビューイング経験を確かにするために、ユーザにディスプレイ上で同時にレンダリングされる。
本原理に従って、表示のためのビデオは時間的に同期される。図4は、本原理に従って、データベースDの同期されたビデオを表す。例えば、第1のビデオ捕捉デバイスGoPro1は、セグメントGoPro1_1及びGoPro1_2によって夫々表される2つのビデオを捕捉した。第1のセグメントGoPro1_1は、時間基準0に対して時間0からおよそ時間1600までにアライメントされ、第2のセグメントGoPro1_2は、時間基準0に対して時間1600から時間1700までにアライメントされる。その上、同じイベントの、第2のデバイスGoPro2によって捕捉されたビデオを表すセグメントGoPro2_1、GoPro2_2、及び第3のデバイスGoPro3によって捕捉されたビデオを表すセグメントGoPro3_1、GoPro3_2も、時間基準0に対して時間的にアライメントされる。絶対捕捉時間(すなわち、時間基準0)に対する時間アライメントのような、ビデオ同期化情報は、図3では表されていない予備的な同期化ステップから得られるか、あるいは、ビデオとともに入力される。絶対捕捉開始時間を表す値及び絶対捕捉終了時間を表す値は、図4で示されるように、複数のビデオの各ビデオにおいて得られる。例えば、そのような絶対捕捉時間は、時間スタンプとも呼ばれ、ビデオ捕捉デバイスが同じ内部クロック(例えば、通信ネットワークによってアライメントされる。)を有する場合において、ビデオ捕捉デバイスGoPro1、GoPro2、GoPro3でのビデオの生成時に取得される。例えば、国際公開第2014/082812号で開示されている変形例では、同じビデオイベントの絶対捕捉時間は、捕捉されたビデオに関連するオーディオの顕著なメル周波数ケプストラム(mel-frequency cepstrum)係数を解析するによって取得される。更なる他の変形例では、時間レジストレーションは、リファレンスビデオのフレームに対してビデオの最初のフレームについて計算された空間フィンガープリントの解析に基づく。図4で表されるようなセグメントによるビデオの表現の変形例では、夫々のビデオGoPro1_1、GoPro1_2、GoPro2_1、GoPro2_2、GoPro3_1、GoPro3_2は、それらの絶対捕捉時間、又は時間スタンプ及び何らかの他の情報(例えば、ソース)とともに、テーブルにおいて記憶される。テーブルの入力は、例えば:
GoPro1_1 GoPro1 Start_TS=0 Stop_TS=1600
である。
GoPro1_1 GoPro1 Start_TS=0 Stop_TS=1600
である。
更なる他の変形例では、ビデオは、等しい時間長さの時間的にアライメントされたチャンクに分けられ、時間スタンプ(例えば、0、200、400)は、ビデオを表す各セグメントについて得られる。以下で、ビデオの如何なる細分も、ビデオとして扱われる。例えば、時間長さ200のチャンクを考えると、ビデオGoPro1_1は:
GoPro1_1_1 GoPro1 Start_TS=0 Stop_TS=200
GoPro1_1_2 GoPro1 Start_TS=200 Stop_TS=400
GoPro1_1_3 GoPro1 Start_TS=400 Stop_TS=600
・・・
GoPro1_1_8 GoPro1 Start_TS=1400 Stop_TS=1600
GoPro1_2 GoPro1 Start_TS=1600 Stop_TS=1800
に分けられる。
GoPro1_1_1 GoPro1 Start_TS=0 Stop_TS=200
GoPro1_1_2 GoPro1 Start_TS=200 Stop_TS=400
GoPro1_1_3 GoPro1 Start_TS=400 Stop_TS=600
・・・
GoPro1_1_8 GoPro1 Start_TS=1400 Stop_TS=1600
GoPro1_2 GoPro1 Start_TS=1600 Stop_TS=1800
に分けられる。
第1のステップS10で、ビデオ品質を表す値は、複数のビデオの各ビデオから得られる。そのために、データベースDの各ビデオは、複数のビデオパラメータを抽出するよう処理される。例となる制限されない実施形態に従って、パラメータは、
・光;
・安定化;
・動き又はアクション(動きメトリクスの抽出は、Viola, Jones & Snowによって“Detecting pedestrians using patterns of motion and appearance”(International Journal of Computer Vision 2005,pp.153-161)において又はCedras, C., & Shah, M.によって“Motion-based recognition a survey”(Image and Vision Computing 2005,pp.129-155)において記載されている。);
・顕著性(saliency)(Cerf, Harel, Einhauser & Kochによって“Predicting human gaze using low-level saliency combined with face detection”(Advances in neural information processing systems 2008,pp.241-248)において又はJudd, Ehinger, Durand & Torralbaによって“Learning to predict where humans look”(IEEE 12th international conference on Computer Vision,2009,pp.2106-2113)において記載されている。);
・ブラー(blur)(ブラー測定は、例えば、Fang, Shen, Guo, Jacquemin, Zhou & Huangによって“A consistent pixel-wise blur measure for partially blurred images”(IEEE International Conference on Image Processing,2014,pp.496-500)において開示されている。);
・コントラスト(コントラスト測定は、例えば、Arici, Dikbas & Altunbasakによって“A histogram modification framework and its application for image contrast enhancement”(IEEE Transactions on Image processing 2009 vol18,pp.1921-1935)において開示されている。);
・顔のようなセマンティックオブジェクトの存在(そのような情報は自動的に又はユーザによって定義される。);
・空間分解能;
・色ボリューム(色域(color gamut)マッピングは、例えば、Stone, Cowan & Beattyによって“Color gamut mapping and the printing of digital color images”(ACM Transactions on Graphics 1998 vol7,pp.249-292)において記載されている。);
・彩度(colorfulness)(Hasler, D., & Suesstrunk, S. E.によって“Measuring colorfulness in natural images”(Electronic Imaging 2003,pp.87-95)において記載されている。)
を有する組に属する。
・光;
・安定化;
・動き又はアクション(動きメトリクスの抽出は、Viola, Jones & Snowによって“Detecting pedestrians using patterns of motion and appearance”(International Journal of Computer Vision 2005,pp.153-161)において又はCedras, C., & Shah, M.によって“Motion-based recognition a survey”(Image and Vision Computing 2005,pp.129-155)において記載されている。);
・顕著性(saliency)(Cerf, Harel, Einhauser & Kochによって“Predicting human gaze using low-level saliency combined with face detection”(Advances in neural information processing systems 2008,pp.241-248)において又はJudd, Ehinger, Durand & Torralbaによって“Learning to predict where humans look”(IEEE 12th international conference on Computer Vision,2009,pp.2106-2113)において記載されている。);
・ブラー(blur)(ブラー測定は、例えば、Fang, Shen, Guo, Jacquemin, Zhou & Huangによって“A consistent pixel-wise blur measure for partially blurred images”(IEEE International Conference on Image Processing,2014,pp.496-500)において開示されている。);
・コントラスト(コントラスト測定は、例えば、Arici, Dikbas & Altunbasakによって“A histogram modification framework and its application for image contrast enhancement”(IEEE Transactions on Image processing 2009 vol18,pp.1921-1935)において開示されている。);
・顔のようなセマンティックオブジェクトの存在(そのような情報は自動的に又はユーザによって定義される。);
・空間分解能;
・色ボリューム(色域(color gamut)マッピングは、例えば、Stone, Cowan & Beattyによって“Color gamut mapping and the printing of digital color images”(ACM Transactions on Graphics 1998 vol7,pp.249-292)において記載されている。);
・彩度(colorfulness)(Hasler, D., & Suesstrunk, S. E.によって“Measuring colorfulness in natural images”(Electronic Imaging 2003,pp.87-95)において記載されている。)
を有する組に属する。
異なるパラメータに従って、パラメータ値は、ビデオのフレームについて(例えば、ブラー)、あるいは、ビデオシーケンスについて全体的に(例えば、捕捉のために設定される空間分解能又は動き)、取得される。よって、制限されない例では、パラメータは、ビデオ、又はビデオの各フレーム、又はビデオの規則的なフレームインターバル、又はビデオを表すフレーム(最初のフレーム又はキーフレームである。)、のいずれかについて決定される。他の例では、顕著性のような所与のパラメータについて、値の組は、ビデオ全体について規則的な時間インターバルで定義される。有利なことに、所与のビデオパラメータについての広域値は、その場合に、例えば、ビデオの時間長さに沿った各値の平均値を用いて求められる。言い換えれば、(1つの)値は、オンザフライでN個のフレームの夫々について求められ、(複数の)値は、P/N個のフレームについての平均パラメータを計算することによってビデオ全体のP個のフレームについて積分される。
制限されない上記の例で開示されているようなパラメータ抽出の詳細な動作は、本原理の適用範囲外である。その上、当業者に明らかなように、そのようなパラメータ値は、オフラインで予め処理され、ビデオ及び時間情報とともにデータベースDにおいて記憶されてよい。
特に有利な特徴に従って、ビデオ品質を表す値は、いくつかのビデオパラメータの値を積分する加重平均値である。異なるパラメータの値として、ビデオ品質値は、ビデオ全体について(又はビデオの各時間チャンクについて)定義される。変形例に従って、ビデオ品質値を生成するための異なるビデオパラメータの重み付けは、システム値として定義される。他の変形例では、重み付けは、プリファレンス(preference)設定を通じてユーザによって定義される。好適な変形例では、品質が高ければ高いほど、定義されたパラメータ及び重みに対してビデオの品質はますます高くなる。
他の特定の特徴に従って、ビデオコントリビュータフレームを表す値は、複数のビデオの各ビデオについて得られる。ビデオに付随する代替又は補足情報は、コントリビュータの名称及びそのフレームであることができる。彼のフレームが回復されたシステム情報であると言うことは、ユーザフィードバック又はソーシャルネットワークデータをサービングするようにお願いする。その場合に、最良のビデオは、最も有名なコントリビュータによってアップロードされたものと見なされる。他の変形例では、フレームはユーザによってローカルで定義される。ユーザがリファレンスとしてビデオを選択するたびに、コントリビュータローカルフレーム値はインクリメントされる。好適な変形例では、コントリビュータフレーム値が高ければ高いほど、ビデオが表示のために選択される可能性はますます高くなる。
他の特定の特徴に従って、ビデオ類似性を表す値は、複数のビデオの中の2つのビデオから得られる。この場合の目標は、非常に類似した視点を有するビデオから成るウォールを有することを回避することである。これは、以降に記載されるように、ユーザが様々な視点の豊かさを利用したいと望み得るからである。有利なことに、ビデオ類似性の値は、第1のビデオのフレームと第2のビデオの対応するフレームとの間の幾何学的変換を決定することによって得られる。このとき、2つの対応するフレームは、時間基準に対して時間的にアライメントされる。当業者に知られるように、幾何学的変換は、両方のフレームにおいて関心のある点を抽出し、SIFT(Lowe, D. G.によって“Distinctive image features from scale-invariant keypoints”(International journal of computer vision 2004,vol60,pp.91-110)において記載されている。)のような画像記述子を計算し、Ransac回帰(regression)を通じてフレーム間の幾何学的ホモグラフィを推定することによって、古典的に決定される。ホモグラフィは、通常、3×3行列によって表される。ビデオiのフレームXiとビデオjのフレームXjとの間の変換を表す行列HはHijと記される。フレームXjの点xjに対応するフレームXiの点xiは、次の式
xi=Hij×xj
によって表される。次いで、ホモグラフィが推定される場合において、類似性メトリックの値は、例えば、変換行列のフロベニウスノルム(frobenius norm)の逆数として定義される。なお、本原理は、行列に適用される如何なる他のノルムとも適合する。変換が大きければ大きいほど、類似性の値はますます低くなるということである。ホモグラフィが推定され得ないほどフレームが相異なる場合において、類似性の値はゼロに設定される。特定の変形例に従って、変換行列は、規則的なインターバルで第1及び第2のビデオのフレームについて得られ、類似性の値は、ビデオ全体についての類似性の値を(品質パラメータに関して)積分することによって得られる。
xi=Hij×xj
によって表される。次いで、ホモグラフィが推定される場合において、類似性メトリックの値は、例えば、変換行列のフロベニウスノルム(frobenius norm)の逆数として定義される。なお、本原理は、行列に適用される如何なる他のノルムとも適合する。変換が大きければ大きいほど、類似性の値はますます低くなるということである。ホモグラフィが推定され得ないほどフレームが相異なる場合において、類似性の値はゼロに設定される。特定の変形例に従って、変換行列は、規則的なインターバルで第1及び第2のビデオのフレームについて得られ、類似性の値は、ビデオ全体についての類似性の値を(品質パラメータに関して)積分することによって得られる。
以下で、このメトリックは、幾何学的相似メトリック又は類似性メトリックと呼ばれる。このメトリックは、類似性テーブルにおいて実際に格納される。例えば、類似性テーブルは、行及び列においてビデオGoPro1_1、GoPro1_2、GoPro2_1、GoPro2_2、GoPro3_1、GoPro3_2を有し、時間的に同期している対GoPro1_2、GoPro1_1の類似性の値は(GoPro1_2,GoPro1_1)でテーブルにおいて格納される。有利なことに、アライメントされていないビデオの又は同じビデオについての類似性の値は0に設定される。変形例において、アライメントされていないビデオの又は同じビデオについての類似性の値は負の値(例えば、−1)に設定される。
このとき、Hwx−yzは、考えられているビデオの間の類似性の値を表す。H21−11=H11−21、すなわち、類似性は可換であるから、有利なことに、テーブルの半分は上述されたように満たされる。
有利なことに、ビデオは、記載された値(品質、類似性、コントリビュータフレーム)を得るよう予め処理され、値は、データベースDにおいてビデオとともに記憶される。
第2のステップS20で、ユーザインターフェイスは生成される。ユーザインターフェイスは、表示デバイス上で複数のビデオを提示するために設計される。ユーザインターフェイスは、図5で提示されるように、増減可能な数のビデオユニットを有する。そのようなユーザインターフェイスは、ウォール・オブ・ディスプレイ(wall of display)又はビデオウォールと呼ばれる。
ビデオユニットの数、サイズ、アスペクト比及び位置は、表示デバイス上で最大限のビューイング経験を確かにするようレンダリングデバイスの能力に応じて定義される。好適な特徴に従って、ビデオウォールのレンダリングは、図5で表されるように、1つのメインユニット1及び一連のより小さいビデオユニット2〜18から成る。ビデオユニットは、それらのサイズ及び位置に応じて、最も魅力的なユニットである数1から始まってN(Nは、ビデオユニットの数を表す整数である。すなわち、図5で表されるようにN=18。)まで昇順に番号付けされる。第1の特徴に従って、最も魅力的なビデオグラフィカルユニットは、最大サイズのビデオグラフィカルユニットであり、よって、ビデオユニットは、それらのサイズに応じてソートされ、大きい順に番号付けされる。他の特徴において、グラフィカルユニットは、ユーザの読み込みの自然な順序に応じて番号付けされ、よって、ユーザインターフェイスの左上にある1つのグラフィカルユニットは、4〜9の番号を付されたユニットについて示されるように、ユーザにとって当然に最も魅力的なものとして、より低い番号を与えられる(よって、より高い品質のビデオを表示する。)。
変形例において、ウォールのビデオユニットは、全てがビデオを供給される。他の変形例では、より低い番号(図5における1〜17)を有するビデオユニットはビデオを供給され、一方、より大きい番号(図5における18)を有するユニットに対応する最後のビデオユニットは静止画しか表示しない。静止画は、例えば、ビデオを代表するキーフレーム又はビデオの最初のフレームである。有利なことに、そのような変形例は、ユーザインターフェイス提示するのに必要とされるデコーダの数及び処理パワーを削減する。更なる他の変形例では、最後のビデオユニットは、全ての表示されていない同期したビデオから抽出された一連のキーフレームを表示する。このビデオユニットは、システムによって又はプリファレンス設定を通じてユーザによって定義された周波数で連続的にリフレッシュされる。
第3のステップS30で、複数のビデオの中で最も高い品質値を有するビデオは、ビデオユニットの夫々での表示のために選択される。基準時間に対する所与の時間スタンプでの品質値は、降順に順位付けされる。
品質及びコントリビュータフレームメトリクスが組み合わされる変形例では、選択は、所与の時間スタンプでの利用可能なビデオの組の中から、ビデオ品質を表す値が最も高く且つビデオコントリビュータフレームを表す値が最も高いビデオを選択することによって、実施される。加重線形結合(weighted linear combination)は、ビデオ品質を表す値及びビデオコントリビュータフレームを表す値から計算される。例えば、ビデオGoPro1_1、GoPro1_2、GoPro2_1、GoPro2_2、GoPro3_1、GoPro3_2の中でVideoCurrentiについて
Scorei=QalityMetric(VideoCurrenti)+αFrameMetric(VideoCurrenti)
このとき、αは、システムによって又はプリファレンス設定インターフェイスを通じてユーザによって定義された重みである。この重みは、ウォールの最終的な構成において品質に対するコントリビュータの重要性を明示的に制御する。変形例において、同じコントリビュータのアップロードをより容易に追うことを可能にするために、同じビデオユニット内でコントリビュータの継続を考えることが有利である。よって、例えば、同じデバイス(ここでは、あるコントリビュータに関連する。)によって捕捉されたGoPro1_1、GoPro1_2は、同じビデオユニット(例えば、ビデオユニット1)で提示されるべきである。
Scorei=QalityMetric(VideoCurrenti)+αFrameMetric(VideoCurrenti)
このとき、αは、システムによって又はプリファレンス設定インターフェイスを通じてユーザによって定義された重みである。この重みは、ウォールの最終的な構成において品質に対するコントリビュータの重要性を明示的に制御する。変形例において、同じコントリビュータのアップロードをより容易に追うことを可能にするために、同じビデオユニット内でコントリビュータの継続を考えることが有利である。よって、例えば、同じデバイス(ここでは、あるコントリビュータに関連する。)によって捕捉されたGoPro1_1、GoPro1_2は、同じビデオユニット(例えば、ビデオユニット1)で提示されるべきである。
品質及び類似性メトリクスが組み合わされる他の変形例では、選択は、ビデオが時間的に同期しているので、所与の時間スタンプでの利用可能なビデオの組の中から、同じシーンの異なる視点を選択するように、それほど似ていない最も高い品質のビデオを選択することによって実施される。それら2つの因子の加重線形結合は、以下の反復過程により、決定するために使用され得る:
a)最も高い品質のビデオが最初に選択され、VideoCurrent0と表される。
b)ビデオの数NがN個のビデオユニットの夫々のために選択されるまで、iの繰り返しについて反復的に実施する:
VideoCurrentiと名付けられた夫々の残りのビデオについて、スコアが計算され、
として定義される。このとき、βは、システムによって又はプリファレンス設定インターフェイスを通じてユーザによって定義された重みである。この重みは、システム/ユーザがウォールの最終の構成において期待する品質基準に対する類似性基準の重要性を明示的に制御する。言い換えれば、視点が既に表示されているビデオと似ている場合に、ビデオの品質メトリックに不利な条件が適用される。
a)最も高い品質のビデオが最初に選択され、VideoCurrent0と表される。
b)ビデオの数NがN個のビデオユニットの夫々のために選択されるまで、iの繰り返しについて反復的に実施する:
VideoCurrentiと名付けられた夫々の残りのビデオについて、スコアが計算され、
次いで、ビデオVideoCurrentiは表示のために選択される。ビデオVideoCurrentiは、表示のために未だ選択されていないビデオの中で最も高いスコアを有する。
当然、このメカニズムは、他のメトリクス組み合わせが例えばコントリビュータフレームにより考えられる場合に当てはまる。固有品質メトリック、フレームメトリック及び場合により類似性メトリックを組み合わせるスコアにおいてコントリビュータフレームを制御する他の重みが定義される。
表示すべきビデオがS30で選択されると、任意のレンダリングステップ(図示せず。)で、テクニカラービデオリフレーミング技術は、ビデオを自動的に適応させ、ビデオウォールのサイズ及びアスペクト比にクロッピングするために、適用される。
その上、ステップS30は、ビデオウォールの動的なレンダリングのために繰り返される。
第1の変形例に従って、レンダリングは、リファレンスビデオが変化するたびに更新される。実際に、メインビデオユニット1で表示されるリファレンスビデオは、それが終了するまで、又はユーザが上述されたようにウォール内で1つのビデオを選択するまで、変化しない。リファレンスビデオが変化する場合に、ステップS30のビデオ選択プロセス全体は繰り返され、表示すべき、リファレンスビデオを含むビデオの新しい分配が定義され、ユーザインターフェイスを通じて提示される。その上、固定存続期間のチャンクによる変形例では、レンダリングは、リファレンスビデオGoPro1_1の新しいチャンクGoPro1_1_1に達するたびに更新される。リファレンスビデオのセグメント周波数は補助的なユニットの更新を制御する。これは、同期した補助的なビデオのメトリクスが変化して、表示すべき新しいビデオ分配を生成し得るからである。有利なことに、上述されたように、同じコントリビュータのビデオアップロードのモニタリングを増強するために、同じビデオユニット内でのコントリビュータの継続を考えることができる。最後のビデオユニットが一連の静止キーフレームを表示する場合に、そのユニットは、システムによって定義された周波数(通常は、セグメント長さ)で、又はプリファレンスパラメータを通じてユーザによって定義された周波数で、連続的にリフレッシュされる。
動的なレンダリングの第2の変形例に従って、レンダリングは、補助的なビデオが終了するたびに更新される。1つの補助的なビデオが終了する場合に、分配全体は、リファレンスビデオを除いて更新される。先と同じく、同じビデオユニット内でのコントリビュータの継続は、補助的なビデオが終了したユニットの更新のみが起こるようにする興味深い変形例を構成する。
動的レンダリングの第3の変形例に従って、ユーザインターフェイスは、ユーザが補助的なビデオの中からリファレンスビデオを選択することができるように構成される。レンダリングは、その場合に、ユーザがリファレンスビデオを変更するたびに更新される。
第4のステップS40で、生成されたユーザインターフェイス及び選択されたビデオは、ユーザへのレンダリングのために表示デバイスへ出力又は送出される。
図5は、本原理の具体的な実施形態に従って、ビデオ品質メトリックに基づき複数のビデオを表示するユーザインターフェイスを表す。図5は、1〜18と番号付けされた18個のビデオユニットを示す。夫々のビデオユニットは、ビデオを表示するよう適応される。図5で表されているビデオに関して、ビデオデバイスGoPro1、GoPro2、GoPro3によって捕捉された同じシーンの3つの異なったビューは、1、2及び3と番号付けされたビデオユニットで提示されている。有利なことに、提示されている3つのビデオはGoPro1_1、GoPro2_1、GoPro3_1である。当然に、本原理は、大規模なビデオデータベースにうまく適応し、3つのデバイス及び6つのビデオを有する記載された例は、説明の目的で与えられており、決して限定ではない。
本願で記載されている実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装されてよい。単一の実施形態に関してしか論じられていない(例えば、方法又はデバイスとしてしか論じられていない)としても、論じられている特徴の実施は他の形態(例えば、プログラム)でも実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてよい。方法は、例えば、処理デバイス全般を指すプロセッサのような装置において実装されてよい。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル/パーソナルデジタルアシスタント(“PDA”)、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスも含む。
本願で記載されている様々なプロセス及び特徴の実施は、多種多様な機器又は用途、特に、例えば機器又は用途、において具現されてよい。そのような機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器へ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、PDA、及び他の通信デバイスを含む。当然ながら、機器は、モバイルであってよく、移動車両に設置されてさえよい。
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令(及び/又は実施によって生成されたデータ値)は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス(例えば、ハードディスク、コンパクトディスケット(“CD”)、光ディスク(例えば、デジタルバーサタイルディスク若しくはデジタルビデオディスクとしばしば呼ばれるDVD)、ランダムアクセスメモリ(“RAM”)、又はリードオンリーメモリ(“ROM”))のようなプロセッサ可読媒体に記憶されてよい。命令は、プロセッサ可読媒体において実体的に具現されたアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせにおいて見られ得る。プロセッサは、従って、例えば、プロセスを実行するよう構成されたデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体(例えば、記憶デバイス)を含むデバイス、の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマット化された様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載されている実施のうちの1つによって生成されたデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込む又は読み込むための規則をデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれた実際のシンタックス値をデータとして運ぶよう、フォーマット化されてよい。そのような信号は、例えば、電磁波(例えば、スペクトルの無線周波数部分を使用する。)として、あるいは、バースバンド信号として、フォーマット化されてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるだろう。例えば、異なる実施の要素は、他の実施を生成するよう組み合わされ、置換され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスは、開示されている構造及びプロセスに取って替えられてよく、結果として現れる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法において、少なくとも実質的に同じ機能を実行すると理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。
1 処理デバイス
10 入力部
12 ビデオ復号器
14 解析モジュール
16 モジュール
20 出力部
110 プロセッサ
D データベース
10 入力部
12 ビデオ復号器
14 解析モジュール
16 モジュール
20 出力部
110 プロセッサ
D データベース
Claims (15)
- 表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成する、処理デバイスによって実行される方法であって、前記ユーザインターフェイスは複数のビデオユニットを有する方法において、
前記複数のビデオの各ビデオについてビデオ品質を表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択するステップと、
前記表示デバイスへの出力のために、前記ビデオユニットの夫々で前記選択されたビデオを同時にレンダリングする前記ユーザインターフェイスを生成するステップと
を有する、ことを特徴とする方法。 - ビデオユニットは、それらのサイズに応じてソートされ、
ビデオ品質を表す値が最も高いビデオは、最大サイズのビデオユニットで表示される、
請求項1に記載の方法。 - 前記複数のビデオの各ビデオからビデオコントリビュータフレームを表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高く且つビデオコントリビュータフレームを表す値が最も高いビデオを選択するステップと
を更に有する請求項1又は2に記載の方法。 - 前記複数のビデオの中の一対のビデオ間のビデオ類似性を表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、ビデオ品質を表す値が最も高く且つ対を成す表示されているビデオ間のビデオ類似性を表す値が最も低いビデオを選択するステップと
を更に有する請求項1乃至3のうちいずれか一項に記載の方法。 - 前記ビデオユニットの夫々での表示のためにビデオ品質を表す値が最も高いビデオを選択する前記ステップは、第1のビデオユニットで表示すべきリファレンスビデオのユーザ選択に従って更新される、
請求項1乃至4のうちいずれか一項に記載の方法。 - 前記ビデオユニットの夫々での表示のためにビデオ品質を表す値が最も高いビデオを選択する前記ステップは、第1のビデオユニットで表示されているリファレンスビデオの終わりに更新される、
請求項1乃至5のうちいずれか一項に記載の方法。 - 前記ビデオユニットの夫々での表示のためにビデオ品質を表す値が最も高いビデオを選択する前記ステップは、表示されているビデオの終わりに更新される、
請求項1乃至6のうちいずれか一項に記載の方法。 - 表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成するデバイスであって、前記ユーザインターフェイスは複数のビデオユニットを有するデバイスにおいて、
前記複数のビデオの各ビデオについてビデオ品質を表す値を得る解析モジュールと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する手段と、
前記表示デバイスへの出力のために、前記ビデオユニットの夫々で前記選択されたビデオを同時にレンダリングする前記ユーザインターフェイスを生成する手段と
を有するデバイス。 - ビデオユニットは、それらのサイズに応じてソートされ、
ビデオ品質を表す値が最も高いビデオは、最大サイズのビデオユニットで表示される、
請求項8に記載のデバイス。 - 前記複数のビデオの各ビデオからビデオコントリビュータフレームを表す値を得る手段と、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高く且つビデオコントリビュータフレームを表す値が最も高いビデオを選択する手段と
を更に有する請求項8又は9に記載のデバイス。 - 前記ビデオユニットの夫々での表示のためにビデオ品質を表す値が最も高いビデオを選択する前記手段は、第1のビデオユニットで表示すべきリファレンスビデオのユーザ選択に従って前記選択を更新する手段を更に有する、
請求項8乃至10のうちいずれか一項に記載のデバイス。 - 前記ビデオユニットの夫々での表示のためにビデオ品質を表す値が最も高いビデオを選択する前記手段は、第1のビデオユニットで表示されているリファレンスビデオの終わりに前記選択を更新する手段を更に有する、
請求項8乃至11のうちいずれか一項に記載のデバイス。 - 表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成し、前記ユーザインターフェイスは複数のビデオユニットを有し、
前記複数のビデオの各ビデオについてビデオ品質を表す値を得、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する
方法を実施するコード命令を実行する手段を有するグラフィクス処理ユニット。 - 表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成するステップであり、前記ユーザインターフェイスは複数のビデオユニットを有する前記ステップと、
前記複数のビデオの各ビデオについてビデオ品質を表す値を得るステップと、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択するステップと
を実行するプログラムコード命令を有するコンピュータプログラム製品。 - プロセッサに、少なくとも、
表示デバイスにおいて同じイベントの複数の時間的に同期されたビデオをレンダリングするユーザインターフェイスを生成し、前記ユーザインターフェイスは複数のビデオユニットを有し、
前記複数のビデオの各ビデオについてビデオ品質を表す値を得、
前記ビデオユニットの夫々での表示のために、前記複数のビデオの中から、ビデオ品質を表す値が最も高いビデオを選択する
ことを実行させる命令を記憶している、開示されているプロセッサ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306839.0 | 2015-11-19 | ||
EP15306839.0A EP3171599A1 (en) | 2015-11-19 | 2015-11-19 | Method for generating a user interface presenting a plurality of videos |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017098957A true JP2017098957A (ja) | 2017-06-01 |
Family
ID=54782637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016222134A Pending JP2017098957A (ja) | 2015-11-19 | 2016-11-15 | 複数のビデオを提示するユーザインターフェイスを生成する方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170147170A1 (ja) |
EP (2) | EP3171599A1 (ja) |
JP (1) | JP2017098957A (ja) |
KR (1) | KR20170066227A (ja) |
CN (1) | CN107018439A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10542298B2 (en) * | 2017-03-02 | 2020-01-21 | Cisco Technology, Inc. | Autonomously generated video channels |
US10735742B2 (en) * | 2018-11-28 | 2020-08-04 | At&T Intellectual Property I, L.P. | Adaptive bitrate video testing |
CN111385521B (zh) * | 2018-12-27 | 2021-11-16 | 浙江宇视科技有限公司 | 一种用户界面分布式显示的方法及解码设备 |
US10791301B1 (en) * | 2019-06-13 | 2020-09-29 | Verb Surgical Inc. | Method and system for synchronizing procedure videos for comparative learning |
CN111565298B (zh) * | 2020-04-30 | 2024-03-22 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、设备及计算机可读存储介质 |
CN111629224B (zh) * | 2020-06-15 | 2022-04-29 | 网易(杭州)网络有限公司 | 直播信息处理方法及装置、计算机存储介质、电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004514304A (ja) * | 1999-12-03 | 2004-05-13 | アワワールド ライヴ インコーポレイテッド | コンシューマアクセスシステムおよびその提供方法 |
US20070204238A1 (en) * | 2006-02-27 | 2007-08-30 | Microsoft Corporation | Smart Video Presentation |
KR100890643B1 (ko) * | 2007-09-20 | 2009-03-27 | 주식회사 알티캐스트 | 프로그램 가이드 서비스 제공 방법 및 시스템 |
EP2545466A2 (en) * | 2010-03-12 | 2013-01-16 | AOL Inc. | Systems and methods for organizing and displaying electronic media content |
EP2479684B1 (en) * | 2011-01-21 | 2013-09-25 | NTT DoCoMo, Inc. | Method and evaluation server for evaluating a plurality of videos |
JPWO2012137404A1 (ja) * | 2011-04-08 | 2014-07-28 | パナソニック株式会社 | 動画サムネイル表示装置及び動画サムネイル表示方法 |
WO2014082812A1 (en) | 2012-11-30 | 2014-06-05 | Thomson Licensing | Clustering and synchronizing multimedia contents |
US10141022B2 (en) * | 2013-07-10 | 2018-11-27 | Htc Corporation | Method and electronic device for generating multiple point of view video |
-
2015
- 2015-11-19 EP EP15306839.0A patent/EP3171599A1/en not_active Withdrawn
-
2016
- 2016-11-09 EP EP16197871.3A patent/EP3171600A1/en not_active Withdrawn
- 2016-11-15 JP JP2016222134A patent/JP2017098957A/ja active Pending
- 2016-11-17 KR KR1020160153354A patent/KR20170066227A/ko unknown
- 2016-11-18 US US15/356,492 patent/US20170147170A1/en not_active Abandoned
- 2016-11-21 CN CN201611028415.5A patent/CN107018439A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN107018439A (zh) | 2017-08-04 |
KR20170066227A (ko) | 2017-06-14 |
EP3171599A1 (en) | 2017-05-24 |
US20170147170A1 (en) | 2017-05-25 |
EP3171600A1 (en) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017098957A (ja) | 複数のビデオを提示するユーザインターフェイスを生成する方法 | |
US10242265B2 (en) | Actor/person centric auto thumbnail | |
CN111954053B (zh) | 获取蒙版帧数据的方法、计算机设备及可读存储介质 | |
CN110503703B (zh) | 用于生成图像的方法和装置 | |
JP6735927B2 (ja) | ビデオコンテンツの要約処理 | |
TWI543610B (zh) | 電子裝置及其影像選擇方法 | |
CN109302619A (zh) | 一种信息处理方法及装置 | |
WO2015127865A1 (en) | Information pushing method, terminal and server | |
US10580143B2 (en) | High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models | |
CN111954060B (zh) | 弹幕蒙版的渲染方法、计算机设备及可读存储介质 | |
US20220188357A1 (en) | Video generating method and device | |
US11871086B2 (en) | Method of displaying comment information, computing device, and readable storage medium | |
US20180068188A1 (en) | Video analyzing method and video processing apparatus thereof | |
JP2018514118A (ja) | ビデオプログラムのセグメントの検出 | |
WO2017084306A1 (zh) | 一种在移动设备浏览器中视频播放关键信息的方法及装置 | |
CN110516598B (zh) | 用于生成图像的方法和装置 | |
CN111491208A (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
US11836847B2 (en) | Systems and methods for creating and displaying interactive 3D representations of real objects | |
US10789769B2 (en) | Systems and methods for image style transfer utilizing image mask pre-processing | |
CN105245817A (zh) | 录像回放方法及其装置 | |
CN111954082B (zh) | 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质 | |
US11823434B1 (en) | Techniques for adaptive frame-based clip matching and fingerprinting | |
WO2024072835A1 (en) | Removing distortion from real-time video using a masked frame | |
KR102507669B1 (ko) | 전자 장치 및 그의 제어방법 | |
Wang et al. | A hybrid domain enhanced framework for video retargeting with spatial–temporal importance and 3D grid optimization |