JP2018139102A - 没入型コンテンツ内の関心地点を決定する方法及び装置 - Google Patents
没入型コンテンツ内の関心地点を決定する方法及び装置 Download PDFInfo
- Publication number
- JP2018139102A JP2018139102A JP2017230882A JP2017230882A JP2018139102A JP 2018139102 A JP2018139102 A JP 2018139102A JP 2017230882 A JP2017230882 A JP 2017230882A JP 2017230882 A JP2017230882 A JP 2017230882A JP 2018139102 A JP2018139102 A JP 2018139102A
- Authority
- JP
- Japan
- Prior art keywords
- information
- content
- wide
- wide field
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
【課題】広視野コンテンツの関心地点を表す第1の情報を決定する方法及び装置を提供する。【解決手段】広視野コンテンツ10の関心地点を表す第1の情報を決定する方法及び装置では、広視野コンテンツ10の少なくとも一部分に関連する少なくとも視線方向110を表す第2の情報が得られ、広視野コンテンツ内の関心を表す第3の情報が得られ、得られた第2の情報及び第3の情報から第1の情報が決定される。ここで、第3の情報は、広視野コンテンツを消費するのに費やされた時間を表す情報、広視野コンテンツに関連する評価を表す情報、広視野コンテンツに関連するコメントの意味解析の結果を表す情報、広視野コンテンツがレンダリングされた回数を表す情報、及びネットワーク上での広視野コンテンツの配信を表す情報の少なくとも1つに対応する情報である。【選択図】図1A
Description
本開示は、没入型画像/ビデオコンテンツ(広視野コンテンツとも呼ばれる)の領域に関する。本開示は、没入型画像又はビデオ内に含まれる関心地点若しくは関心領域の決定、及び/又は例えば関心地点若しくは関心領域に従った没入型画像又はビデオの処理に関連しても理解される。
この節は、以下に記載の及び/又は特許請求の範囲に記載の本開示の様々な態様に関係し得る技術の様々な態様を読者に紹介することを目的とする。この解説は、本発明の様々な態様のより良い理解を促進するための背景情報を読者に与えるのに有用であると考えられる。従って、これらの記述は従来技術の承認としてではなく、上記の観点から読まれるべきことを理解すべきである。
ヘッドマウントディスプレイ(HMD)又はCAVEシステム等の最近の広視野ディスプレイ装置及び仮想現実システムにより、新たな視聴覚体験が提供されている。かかる構成では、ユーザは自らの頭及び体を動かして360°のシーンを(4パイステラジアンの視野まで)探索することができ、強い没入感をもたらす。これに関連して、この技術を活用するために新たな視聴覚コンテンツが作成される。専用3Dエンジン(コンピュータ生成画像(CGI))又は広視野を有する実際のカメラにより、360°ムービー等の広視野コンテンツが制作される。
かかるコンテンツの重要な問題は、広視野コンテンツを見ているユーザがカメラを制御し、それにより、関心のある事象/関心地点を見逃す可能性があることである。この問題に取り組むため、簡単な解決策は、関心地点が常にユーザに確実に向くように広視野コンテンツを「回転」させることである。しかし、この技法は乗り物酔いの効果を引き起こすことが多く、そのためユーザエクスペリエンスを低下させる。
補足的な問題は、広視野コンテンツ内の関心地点に対してユーザの注意を引くためには、その関心地点が知られている必要があることである。プロの映画監督は、撮影段階中に関心地点がユーザの前に留まることを確実にすることにより、この問題をかろうじて解決することができる。しかし、この問題は、特定の演出なしに事象を捕捉するために360°カメラが使用されているアマチュアのビデオ内で特に見受けられる。かかる広視野コンテンツは、今や現行のストリーミングプラットフォーム上に多く存在し、かかる広視野コンテンツを消費するユーザは、関心地点を見逃さないために支援を必要とし得る。
本明細書での「一実施形態」、「ある実施形態」、「一実施形態例」、「特定の実施形態」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まない場合があることを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、ある実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されているかいないかに関わらず、他の実施形態に関連してかかる特徴、構造、又は特性を実施することは当業者の知識の範囲内にあると考えられる。
本開示は、広視野コンテンツの関心地点を表す第1の情報を決定する方法に関し、この方法は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を得ること、
− 広視野コンテンツ内の関心を表す第3の情報を得ること、
− 第2の情報及び第3の情報から第1の情報を決定すること
を含む。
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を得ること、
− 広視野コンテンツ内の関心を表す第3の情報を得ること、
− 第2の情報及び第3の情報から第1の情報を決定すること
を含む。
本開示は、広視野コンテンツの関心地点を表す第1の情報を決定するように構成された装置にも関し、この装置は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を取得し、
− 広視野コンテンツ内の関心を表す第3の情報を取得し、
− 第2の情報及び第3の情報から第1の情報を決定する
ように構成されたプロセッサに関連するメモリを含む。
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を取得し、
− 広視野コンテンツ内の関心を表す第3の情報を取得し、
− 第2の情報及び第3の情報から第1の情報を決定する
ように構成されたプロセッサに関連するメモリを含む。
本開示は、広視野コンテンツの関心地点を表す第1の情報を決定するように構成された装置にも関し、この装置は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を得る手段、
− 広視野コンテンツ内の関心を表す第3の情報を得る手段、
− 第2の情報及び第3の情報から第1の情報を決定する手段
を含む。
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第2の情報を得る手段、
− 広視野コンテンツ内の関心を表す第3の情報を得る手段、
− 第2の情報及び第3の情報から第1の情報を決定する手段
を含む。
特定の特性によれば、第3の情報は、
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリングされた回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
を含む情報群に属する。
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリングされた回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
を含む情報群に属する。
特定の特性によれば、第1の重み付け値が第3の情報から決定され、第2の情報は、第1の情報を決定するために第1の重み付け値で重み付けされる。
特定の特性によれば、前記広視野コンテンツを消費するユーザのプロファイルを表す第4の情報が得られ、第1の情報は、第4の情報から更に決定される。
別の特性によれば、第2の重み付け値が第4の情報から決定され、第2の情報は、第1の情報を決定するために第2の重み付け値で重み付けされる。
特定の特性によれば、広視野コンテンツが第1の情報に従って処理され、及び処理済みの広視野コンテンツが伝送される。
本開示は、コンピュータ上で実行されるときに上記の方法のステップを実行するプログラムコード命令を含む、コンピュータプログラム製品にも関する。
本開示は、(非一時的)プロセッサ可読媒体であって、その中に少なくとも上記の方法をプロセッサに実行させるための命令を記憶している、(非一時的)プロセッサ可読媒体にも関する。
付属図面を参照する以下の説明を読むことで本原理がより良く理解され、他の特定の特徴及び利点が明らかになる。
次に、図面に関して主題が説明され、図面では全体を通して同様の要素を指すために同様の参照番号が使用される。以下の説明では、主題の詳細な理解を与えるために多数の具体的詳細を説明目的で記載する。但し、主題の実施形態は、それらの具体的詳細なしに実践できることが明白な場合がある。
広視野コンテンツ又は広視野コンテンツの一部分に含まれる1つ又は複数の関心地点を表す第1の情報を決定する方法の特定の実施形態に関して本原理を説明する。この方法は、広視野コンテンツ、即ち広視野コンテンツの表示時に見られる広視野コンテンツの一部分に関連する1つ又は複数の視線方向を表す第2の情報を得ることを含む。この方法は、広視野コンテンツ内の関心を表す第3の情報、即ち広視野コンテンツを見た又は見ている1人又は複数のユーザが広視野コンテンツ内で抱く関心を表す第3の情報を得ることを更に含む。得られた第2の情報及び得られた第3の情報から、広視野コンテンツの関心地点を表す第1の情報が決定される。
広視野コンテンツは、とりわけ現実シーンを表す没入型ビデオ、例えば三次元コンピュータグラフィック画像シーン(3D CGIシーン)、点群、明視野であり得る。かかる没入型ビデオを設計するために多くの用語、例えば仮想現実(VR)、360、パノラマ、4πステラジアン、没入型、全方向性、又は広視野を使用する場合がある。広視野コンテンツは、2D(2次元)コンテンツ又は3D(3次元)コンテンツとすることができる。
広視野の関心地点を決定することは、広視野コンテンツを見ているユーザが関心地点を見逃さないようにするのを補助すること、及び/又は例えば広視野コンテンツを処理することにより、場合により広視野コンテンツを見ているユーザが決定済みの関心地点に関連する方向にある広視野コンテンツを見ることを促すことを可能にする。
図1Aは、本原理の特定の且つ非限定的な実施形態による、没入型コンテンツとも呼ばれる広視野ビデオコンテンツ10、例えば4πステラジアンビデオコンテンツ(又は球面ビデオコンテンツ)内に没入しているユーザ11を示す。
図1Aは、広視野コンテンツの3D表現の一例を示す。広視野コンテンツ10は、例えば1台又は複数台のカメラを使って取得される現実シーン又は3Dエンジンを使用することによって統合される仮想シーンに対応する。改変形態によれば、広視野コンテンツ10は、仮想オブジェクトを含む現実シーンの表現、即ち現実シーンと仮想シーンとの混合に対応する。広視野コンテンツ10は、例えば1台若しくは複数台のカメラを使って取得される現実シーン、又は1台若しくは複数台のカメラを使ってそれぞれ取得される現実シーンの様々な要素の組合せ/合成に対応する。図1Aに示すように、ユーザ11は視線方向110に従って広視野コンテンツの一部分を見ており、視線方向110はユーザ11の主な注視方向に対応する。視野111は、視線方向110に関連し、広視野コンテンツ10の一部分にのみ対応する。ユーザ11の注視方向が変わるとき、その結果としてユーザが見る(且つ視野に対応する)広視野コンテンツの一部分が変わる。ユーザ11は、例えば自らの頭(又は自らの体又は体の一部)を左から右に(又はその逆に)且つ/又は上から下に(又はその逆に)動かすことにより、広視野コンテンツ内で自らの注視を自由に動かすことができる。
図1Bは、本原理の特定の且つ非限定的な実施形態による、4πステラジアンビデオコンテンツの非限定的な例示的形態内の広視野コンテンツ10の一例を示す。図1Bは、広視野コンテンツ10の平面図に対応する。広視野コンテンツ10の一部分12は、例えば没入型コンテンツを視覚化するように適合された没入型ディスプレイ装置上に表示される広視野コンテンツの一部分に対応し、この一部分12の大きさは、例えば没入型ディスプレイ装置によって提供される視野に等しい。以下では、没入型ディスプレイ装置上で表示される部分を画像と呼ぶ場合がある。
広視野コンテンツ10を視覚化するために使用される没入型ディスプレイ装置は、例えばユーザの頭に着用される又はヘルメットの一部として着用されるHMD(ヘッドマウントディスプレイ)である。HMDは、有利には、1つ又は複数の表示画面(例えば、LCD(液晶ディスプレイ)、OLED(有機発光ダイオード)、LCOS(液晶オンシリコン))、及び現実世界の1軸、2軸、又は3軸(ピッチ軸、ヨー軸、及び/又はロール軸)に従ってHMDの位置変化を測定するように構成されたセンサ、例えばジャイロスコープ又はIMU(慣性計測装置)を含む。HMDの測定位置に対応する広視野コンテンツ10の一部分12は、有利には、現実世界内のHMDに関連する視点と広視野コンテンツ10に関連する仮想カメラの視点との間の関係を確立する特定の関数によって決定される。HMDの測定位置に応じてHMDの表示画面上に表示されるビデオコンテンツの一部分(即ち画像)12を制御することは、HMDを着用しているユーザが、HMDの表示画面に関連する視野よりも大きい広視野コンテンツ内を見て回ることを可能にする。例えば、HMDによって提供される視野が(例えば、ヨー軸の周りの)110°に等しい場合、且つ広視野コンテンツが180°のコンテンツを提供する場合、HMDを着用しているユーザは、自らの頭を右又は左に回転させて、HMDによって提供される視野外のビデオコンテンツ部分を見ることができる。別の例によれば、没入型システムがCAVE(Cave自動仮想環境)システムであり、広視野コンテンツが部屋の壁に投影される。CAVEの壁は、例えば背面映写スクリーン又はフラットパネルディスプレイで作られる。従って、ユーザは、部屋の様々な壁上の自らの注視を見て回ることができる。CAVEシステムは、有利には、ユーザの画像を取得して、それらの画像をビデオ処理することによってユーザの注視方向を決定するカメラを備える。改変形態によれば、ユーザの注視又は姿勢が追跡システム、例えば赤外線追跡システムによって決定され、ユーザは赤外線センサを着用している。別の改変形態によれば、没入型システムは、触覚表示画面を有するタブレット又はスマートフォンであり、ユーザはタブレット/スマートフォンを動かすことによってコンテンツ内を見て回り、表示されるコンテンツはタブレット/スマートフォンの位置変化に従って変わる。
広視野コンテンツ10及び一部分12は、現実オブジェクト及び仮想オブジェクトを含むことができ、即ち広視野コンテンツ10によって表現されるシーンは、現実要素と仮想要素とを混合する拡張現実シーンである。現実オブジェクトは、画像取得装置(例えば、カメラ)を使って取得される現実シーンの一部分であり、仮想オブジェクトは、コンピュータ生成画像(CGI)から得ることができる。
広視野コンテンツ10及び一部分12は、前景オブジェクト及び背景オブジェクトを含み得る。背景オブジェクトは、例えば、広視野コンテンツ10の背景を表す第1のビデオから得ることができる。前景オブジェクトは、例えば、前景オブジェクトの1つ又は複数をそれぞれ表す1つ又は複数の第2のビデオから得ることができ、広視野コンテンツは、第1のビデオを第2のビデオと合成することによって得られる。かかる合成は、例えば、平面ビデオから視差を有する広視野コンテンツを得るために使用することができる。
別の例によれば、没入型ディスプレイ装置上でレンダリング及び表示される広視野コンテンツは、例えば、没入型ディスプレイ装置のカメラを使って実時間で取得される現実シーンの画像上に、没入型コンテンツに属する1つ又は複数の仮想オブジェクトをオーバレイすることによって得られる。この例によれば、没入型ディスプレイ装置はタブレットとすることができ、1つ又は複数の仮想オブジェクトがオーバレイされる現実シーンの画像は、タブレットのリアカメラを使って取得される。リアカメラを使って取得される画像がタブレットの画面上に表示され、没入型コンテンツの一部分がその画像上にオーバレイされるか、又はその画像と合成されて拡張現実(AR)画像が得られる。タブレットを保持するユーザは、幾つかの視点に従って現実シーンの幾つかの画像を取得することができ、現実シーンのそれらの画像の視点に従い、没入型コンテンツの仮想オブジェクトがそれらの画像に追加される。
更なる例によれば、没入型ディスプレイ装置上でレンダリング及び表示される広視野コンテンツは、カメラを使って取得される現実シーンの画像に対して広視野仮想コンテンツ(広視野CGIコンテンツとも呼ばれる)を混合することによって得られる。現実シーンの画像を取得するために使用されるカメラの姿勢は、例えば、拡張現実(又は拡張仮想)広視野コンテンツを生成する目的で、仮想カメラの対応する姿勢を決定して現実シーンの画像に対応する広視野仮想コンテンツシーンの一部分を選択するために使用される。
上記の例の一部では、没入型ディスプレイ装置上でレンダリング及び/又は表示される広視野は、標準的なカメラを使って取得される1つ又は複数の画像、即ち非没入型画像に対して没入型コンテンツの一部分を混合することによって得られる。
当然ながら、広視野コンテンツ10は4πステラジアンビデオコンテンツに限定されず、視野12よりも大きいサイズを有する任意のビデオコンテンツ(又は視聴覚コンテンツ)に及ぶ。広視野コンテンツは、例えば2π、2.5π、3πステラジアンコンテンツ等とすることができる。
ビデオ又はビデオコンテンツでは、1つ又は複数の静止画像を含む一連の連続静止画像と理解される。その結果、広視野コンテンツは1つ又は複数の連続画像を含む。
没入型ビデオとは、「通常の」ビデオ等、画素(即ち色情報の要素)の二次元配列である少なくとも1つの矩形画像上に符号化されるビデオである。レンダリングされるために、画像がマッピング面(例えば、球、立方体、角錐)とも呼ばれる凸面ボリュームの内面上にまずマッピングされ、第2に、そのボリュームの一部分が仮想カメラによって捕捉される。仮想カメラによって捕捉される画像は、没入型ディスプレイ装置(例えば、HMD)の画面上にレンダリングされる。立体ビデオは1つ又は2つの矩形画像上に符号化され、装置の特性に従って2つの仮想カメラによって捕捉されるために組み合わせられる2つのマッピング面上に投影される。画像内のマッピング関数に従って画素が符号化される。マッピング関数は、マッピング面に依存する。同じマッピング面に関して、幾つかのマッピング関数があり得る。例えば、画像面内の様々なレイアウトに従って立方体の面を構築することができる。球は、例えば、エクイレクタングラー投影又はグノモニック投影に従ってマッピングすることができる。
図2及び図3は、かかるマッピング関数の非限定的な例を示す。
図2は、エクイレクタングラーマッピング関数の一例を示す。没入型ビデオの画像シーケンスは、球面マッピング面22上にマッピングされるように意図される矩形画像21上に符号化される。マッピング関数23は、画像21の各画素とマッピング面22上の点との間の(及びその逆の)マッピングを確立する。図2上では、マッピング関数23がエクイレクタングラー投影(正距円筒図法とも呼ばれる)に基づいている。画像21上の画像は歪められる。距離は赤道において守られ、極において引き伸ばされる。直線はもはや直線状ではなく、全体像が歪められる。改変形態では、マッピング関数23は、例えば、正距円錐図法に基づく。ヘッドマウントディスプレイ装置(HMD)、タブレット、又はスマートフォンの場合のように画面24が矩形の場合、マッピング面22の一部分が選択される。投影関数25は、球の中心に位置するカメラによって見られるマッピング面22の一部分を選択することを含み、カメラは、画面24に直接フィットする画像を作るために視野及び分解能の観点から構成されている。選択される視野は、没入型ディスプレイ装置の特性に依存する。例えば、HMDでは、約120°である人間の立体視野に視野角が近い。カメラの向く方向はユーザが見ている方向に対応し、カメラの向く方向を修正するために没入型ビデオレンダリング装置の仮想カメラコントローラが使用される。改変形態では、図2のビデオが立体である。かかる改変形態では、画像21は、2つの別個のマッピング面22上にマッピングされる2つの別個の画像を含む。マッピング面は、立体効果をレンダリングするために画面の種類に応じて組み合わせられる。
図3は、立方体マッピング関数のレイアウトの一例を示す。画像シーケンスは、立方体マッピング面32上にマッピングされるように意図される矩形(又は正方形)画像31上に符号化される。マッピング関数33は、画像31内の正方形と立方体32の面との間の対応関係を確立する。その逆も同様に、マッピング関数は、立方体32の面がどのように画像31の面内に編成されるかを決定する。各面上の画像は歪められない。しかし、画像31の全画像内で線は区分的に直線状であり、全体像が壊される。画像は、(図3の例では白色である既定の又は無作為の色情報で埋められる)空の正方形を含み得る。投影関数は、図2の投影関数として機能する。カメラが立方体32の中心に配置され、没入型レンダリング装置の画面にフィットする画像を捕捉する。
改変形態では、他のマッピング面及び/又は例えば円柱若しくは角錐上にビデオ画像をマッピングするマッピング関数が使用される。
図4は、本原理の非限定的な実施形態による、広視野コンテンツ10内に含まれる視点を表す第1の情報を決定するプロセス、及び視点を決定するように構成されたシステム4を示す。
システム4は、没入型ディスプレイ装置41、42、43から得られる情報を処理するように構成された機器40に接続される没入型ディスプレイ装置41、42、43を含む。図4の非限定的な例によれば、没入型ディスプレイ装置41〜43は、第1のHMD41上に表示される広視野コンテンツ10を見る第1のユーザによって着用される第1のHMD41、第2のHMD42上に表示される同じ広視野コンテンツ10を見る第2のユーザによって着用される第2のHMD42、及びタブレット43上に表示される同じ広視野コンテンツ10を見る第3のユーザによって保持されるタブレット43を含む。第1のユーザ、第2のユーザ、及び第3のユーザは、様々な場所、例えば同じ街又は1つの国若しくは異なる国内の様々な街の様々な家に位置し得る。改変形態によれば、第1のユーザ、第2のユーザ、及び第3のユーザの2人以上が同じ場所、例えば同じ家に位置する。没入型ディスプレイ装置41〜43は、広視野コンテンツ10の視線方向を表す第1の情報を1つ又は複数の通信ネットワーク経由で機器に伝送するように構成されてもよく、例えば、各没入型ディスプレイ装置41〜43は、インターネットに(例えば、ゲートウェイ経由で)接続されるLAN(ローカルエリアネットワーク)に接続され、機器40はインターネットに接続される。第1のユーザ、第2のユーザ、及び第3のユーザは、(HMDでは)頭を又は(タブレットでは)腕を回転させることによって広視野コンテンツの様々な部分を見ることができる。その結果、第1のユーザ、第2のユーザ、及び第3のユーザによって見られる広視野の部分に関連する視線方向は異なり得る。改変形態によれば、視線方向の一部は、第1のユーザ、第2のユーザ、及び/又は第3のユーザについて同じであり得る。例えば、第1のユーザ、第2のユーザ、及び/又は第3のユーザが所与の時点において及び/又は異なる時点において広視野コンテンツ10の同じ部分を見る可能性があり、機器40に伝送される関連する視線方向が同じである場合がある。没入型ディスプレイ装置の数は3に限定されず、任意の数、例えば1、2、4、10、100、1000、10000、100000、又はそれを超える没入型ディスプレイ装置に及ぶ。没入型ディスプレイ装置の種類はHMD又はタブレットの何れかに限定されず、広視野コンテンツを視覚化するように適合された任意の種類の没入型ディスプレイ装置、例えばスマートフォン、マウス及び画面に関連するコンピュータ、シースルーグラス等に及ぶ。
機器40は、広視野コンテンツの視線方向を表す第2の情報、即ち没入型ディスプレイ装置41〜43を着用/保持/使用しているユーザによって見られる広視野コンテンツ10の部分(例えば、画素又は画素ブロック)を表す第2の情報を1つ又は複数の没入型ディスプレイ装置41〜43から得る。第2の情報は、例えば没入型ディスプレイ装置によって伝送され、没入型ディスプレイ装置41〜43と機器40とを接続する1つ又は複数の通信ネットワークを介して機器によって受信され得る。改変形態によれば、第2の情報は、記憶装置、例えば機器40に関連するメモリ又は遠隔記憶設備(例えば、クラウドやサーバ)から得られる。この改変形態によれば、第2の情報は、没入型ディスプレイ装置41〜43によって(直接又は没入型ディスプレイ装置41〜43に関連するコントローラ装置を介しての何れかで)記録/記憶目的で記憶装置に伝送される。
第2の情報は様々な形態を取ることができ、又は様々な構文若しくは構造によって表され得る。例えば、ユーザが広視野コンテンツの一部分をそれに従って見る方向は、球座標、即ち(1に設定して、従って無視することができる)半径方向距離の値「r」、並びに2つの角度値「θ」及び「ψ」、方位の「θ」及び傾斜の「ψ」によって表すことができる。別の例によれば、ユーザが広視野コンテンツの一部分をそれに従って見る方向は、画素座標「x」及び「y」によって表すことができ、即ち「x」は画素が属する列数であり、「y」は画素が属する行数である。実際に、図1A、図1B、図2、及び図3に関して説明したように、広視野コンテンツは、矩形画像(即ち列及び行によって構成される画素行列)内で表現若しくは符号化するか、又は例えば球面若しくは円柱面上にマップすることができる。
広視野コンテンツを見ているユーザは、広視野コンテンツを同じ方向に従って短期間又は一定期間、例えば数ミリ秒又は数秒にわたって見る場合がある。広視野コンテンツがビデオ(即ち画像又はフレームのシーケンス)に対応する場合、広視野コンテンツは、同じ視線方向に従って複数回(例えば、ビデオの幾つかの画像にわたって)見られる可能性がある(視線方向が合う回数は、この同じ視線方向に従ってユーザが見た画像/フレーム数に対応する)。改変形態によれば、第2の情報は、同じ視線方向が検出若しくは測定される回数、及び/又は同じ視線方向が検出若しくは測定される時間を含み得る。この改変形態によれば、第2の情報は、視線方向に関連する座標及び各視線方向に従ってユーザがコンテンツを見る回数(又は各視線方向に従ってコンテンツを見るのに費やされた時間)を含む。
第2の情報は、例えば、図5に示すようなヒートマップの形態を取り得る。ヒートマップは、例えば、広視野コンテンツと同数の画素の列及び行を有する画像(即ち画素行列)に対応し得る。1つのヒートマップは、広視野コンテンツの1つの画像/フレームに関連し得る。改変形態によれば、1つのヒートマップは、広視野コンテンツの複数の画像/フレーム、即ち一時的な視点における複数の連続画像(即ち画像シーケンス)に関連し得る。例えば、1つのヒートマップは、広視野コンテンツの各シーン(カット又はシーケンスとも呼ばれる)に関連し得る。別の改変形態によれば、1つのヒートマップは、全コンテンツについて生成することができ、即ち全広視野コンテンツに関連し得る。色情報は、ヒートマップの画素に関連付けられてもよく、各画素は、1つの異なる視線方向に対応する。所与の画素に関連する色は、所与の画素に関連する視線方向に従って広い領域を見るのに費やされた時間に従って(又は所与の画素に関連する視線方向に従ってコンテンツが見られた回数/画像数に従って)、決定され得る。例えば、ヒートマップはグレースケール画像であってもよく、グレースケール値が各画素に関連付けられており、例えば、その値は、見られていない画素(即ち広視野コンテンツを見るときに合わない視線方向)のための1(即ち白色)と、最も見られている画素(即ち広視野コンテンツを見るときに最も合う視線方向)のための0(即ち黒色)との間に含まれる。ヒートマップの画素に関連するこれらの値は、グレースケール値を符号化するのに使用されるビット数に応じて、0及び255又は0及び1024で構成され得る。第2の情報を表すために他の表現、例えばヒストグラム、フラクタルマップ、ツリーマップを使用してもよい。
視線方向を表す第2の情報は、例えば、没入型ディスプレイ装置41〜43によって生成される。例えば、視線方向を表すパラメータは、没入型ディスプレイ装置のジャイロスコープ等の慣性センサから、又はIMU(慣性計測装置)から得られ得る。改変形態によれば、視線方向を表す第2の情報は、外部追跡システム、例えば没入型ディスプレイ装置内に埋め込まれる又は没入型ディスプレイ装置上の赤外線放射体を追跡する外部の赤外線カメラによって得られ得る。この改変形態によれば、外部追跡システムは、ユーザの基準フレーム内の没入型ディスプレイ装置の位置(場所)を得ることを可能にする。次いで、第2の情報は、ユーザの基準フレームから広視野の基準フレームへと渡すことを可能にする伝達関数によって得られ得る。別の改変形態によれば、ユーザの基準フレーム内の没入型ディスプレイ装置の位置(場所)を表す情報は、コンピュータビジョン技法を使用することにより、即ち没入型ディスプレイ装置を着用/保持しているユーザの環境の画像を解析することにより得ることができる。この改変形態によれば、視線方向を得るためにユーザの注視方向を検出することができる。ユーザの注視は、幾何モデルベースのアルゴリズム又は外観ベースのアルゴリズムを実装することによって決定され得る。例えばE.D. Guestrin and M. Eizenman,“General theory of remote gaze estimation using the pupil center and corneal reflections”IEEE Trans. Biomed. Eng., vol.53, no.6, pp.1124-1133, Jun. 2006に記載されているように、幾何モデルベースのアルゴリズムは、目の3D幾何モデルを使用して注視を推定する。注視点は、3D注視方向(即ち視軸)と画面平面との間の交点として決定される。ほとんどのモデルベースのアルゴリズムは、目を照らす追加の光源(即ち赤外光、IR)及び目の輝きを捕捉するIRカメラを必要とする角膜反射技法を使用する。基本的な考えは、瞳孔中心と、目の輝き、即ち反射による目の最も明るい光点との間の相対位置から注視を推定することである。対照的に、外観ベースのアルゴリズムは、目の特徴と画面上の注視位置との間の2Dマッピング問題として注視推定を考える。マッピング関数は、例えば、多層ニューラルネットワーク若しくは回帰モデルを訓練することにより、又は単純に(2D空間内の)注視点と次元縮小を施した後の目の外観との間の線形補間により見出すことができる。
機器40は、1つ又は複数の没入型ディスプレイ装置41〜43又は遠隔記憶装置から、広視野コンテンツ内の関心を表す第3の情報も得る。第3の情報は、以下の情報の何れか1つ又は以下の情報の2つ以上の組合せに対応し得る。
− 広視野コンテンツを消費するのに費やされた時間を表す情報、例えば、広視野コンテンツが視覚化される持続時間又はユーザによって見られているコンテンツのパーセンテージ。かかる情報は、広視野コンテンツ内の広視野コンテンツを見ているユーザの関心の表れを示す。コンテンツを視覚化するのに長時間費やすユーザ又は全コンテンツを(1回又は複数回)視覚化するユーザは、そのコンテンツに非常に関心があると見なすことができる。対照的に、コンテンツのごく一部のみを見るユーザ又はコンテンツを見るのに数秒のみを費やすユーザは、そのコンテンツにあまり関心がない。
− 広視野コンテンツに関連する評価を表す情報、例えば、広視野コンテンツに関連する「良い」又は「良くない」の数。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。広視野コンテンツについて1人又は複数のユーザが書いたコメントを意味的に解析して、コンテンツ内のユーザの関心、例えば、ユーザが、広視野コンテンツに対して肯定的な意見又は否定的な意見をコメントが有するようにしているかを明らかにすることができる。
− 広視野コンテンツがレンダリングされた回数を表す情報。広視野コンテンツが視覚化された回数が多いほど、コンテンツに対するユーザの関心が高いと見なすことができる。
− ネットワーク上での広視野コンテンツの配信を表す情報、例えば、広視野コンテンツ又はその一部が例えばFacebook(登録商標)又はTwitter(登録商標)等のソーシャルネットワークプラットフォーム上で共有又は配信された回数。
− 広視野コンテンツを消費するのに費やされた時間を表す情報、例えば、広視野コンテンツが視覚化される持続時間又はユーザによって見られているコンテンツのパーセンテージ。かかる情報は、広視野コンテンツ内の広視野コンテンツを見ているユーザの関心の表れを示す。コンテンツを視覚化するのに長時間費やすユーザ又は全コンテンツを(1回又は複数回)視覚化するユーザは、そのコンテンツに非常に関心があると見なすことができる。対照的に、コンテンツのごく一部のみを見るユーザ又はコンテンツを見るのに数秒のみを費やすユーザは、そのコンテンツにあまり関心がない。
− 広視野コンテンツに関連する評価を表す情報、例えば、広視野コンテンツに関連する「良い」又は「良くない」の数。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。広視野コンテンツについて1人又は複数のユーザが書いたコメントを意味的に解析して、コンテンツ内のユーザの関心、例えば、ユーザが、広視野コンテンツに対して肯定的な意見又は否定的な意見をコメントが有するようにしているかを明らかにすることができる。
− 広視野コンテンツがレンダリングされた回数を表す情報。広視野コンテンツが視覚化された回数が多いほど、コンテンツに対するユーザの関心が高いと見なすことができる。
− ネットワーク上での広視野コンテンツの配信を表す情報、例えば、広視野コンテンツ又はその一部が例えばFacebook(登録商標)又はTwitter(登録商標)等のソーシャルネットワークプラットフォーム上で共有又は配信された回数。
第3の情報は、例えば、第2の情報に重み付けして、広視野コンテンツ10の関心地点に関する第1の情報を得るために使用することができる。その目的を達成するために、及び非限定的な例によれば広視野コンテンツを見ている又は見たユーザの体験に従い、ヒートマップの各画素に第1の重みを関連付けて、ヒートマップの(即ち集められた視線方向の)重要度を修正することができる。
例えば、以下に挙げる各情報から下位重みを得ることができる。
− 広視野コンテンツを消費するのに費やされた時間を表す情報。即ち、例えば、0〜1(コンテンツの0%が見られている0から、コンテンツの100%が見られている1まで)に含まれる持続時間に関係する下位重み「d」。広視野コンテンツに割り当てられる大域的下位重み「d」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連する評価を表す情報。即ち、例えば、0.8〜1.2(良くないは0.8、良いは1.2、評価なしは1)に含まれる評価に関係する下位重み「r」。広視野コンテンツに割り当てられる大域的下位重み「r」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。即ち、例えば、0.8〜1.2(否定的なコメントは0.8、肯定的なコメントは1.2、コメントなし又は肯定的とも否定的とも分類されないコメントは1)に含まれるコメントに関係する下位重み「c」。広視野コンテンツに割り当てられる大域的下位重み「c」は、全ての下位重みの平均に対応する。
− 広視野コンテンツがレンダリングされた回数を表す情報。即ち、等式v=1+Nviews/I(ここで、Nviewsは、所与のユーザによってコンテンツが見られた回数に対応し、Iは、決定済みの回数の上限、例えば100である)によって得られる、例えば1〜2に含まれるビュー数に関係する下位重み「v」。広視野コンテンツに割り当てられる大域的下位重み「v」は、様々なユーザから得られる全ての下位重み「v」の平均に対応する。
− ネットワーク上での広視野コンテンツの配信を表す情報。即ち、等式s=1+Ndistribution/I(ここで、Ndistributionは、所与のユーザによってコンテンツが配信又は共有された回数に対応し、Iは、決定済みの回数の上限、例えば100である)によって得られる、例えば1〜2に含まれる配信に関係する下位重み「s」。広視野コンテンツに割り当てられる大域的下位重み「s」は、様々なユーザから得られる全ての下位重み「s」の平均に対応する。
− 広視野コンテンツを消費するのに費やされた時間を表す情報。即ち、例えば、0〜1(コンテンツの0%が見られている0から、コンテンツの100%が見られている1まで)に含まれる持続時間に関係する下位重み「d」。広視野コンテンツに割り当てられる大域的下位重み「d」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連する評価を表す情報。即ち、例えば、0.8〜1.2(良くないは0.8、良いは1.2、評価なしは1)に含まれる評価に関係する下位重み「r」。広視野コンテンツに割り当てられる大域的下位重み「r」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。即ち、例えば、0.8〜1.2(否定的なコメントは0.8、肯定的なコメントは1.2、コメントなし又は肯定的とも否定的とも分類されないコメントは1)に含まれるコメントに関係する下位重み「c」。広視野コンテンツに割り当てられる大域的下位重み「c」は、全ての下位重みの平均に対応する。
− 広視野コンテンツがレンダリングされた回数を表す情報。即ち、等式v=1+Nviews/I(ここで、Nviewsは、所与のユーザによってコンテンツが見られた回数に対応し、Iは、決定済みの回数の上限、例えば100である)によって得られる、例えば1〜2に含まれるビュー数に関係する下位重み「v」。広視野コンテンツに割り当てられる大域的下位重み「v」は、様々なユーザから得られる全ての下位重み「v」の平均に対応する。
− ネットワーク上での広視野コンテンツの配信を表す情報。即ち、等式s=1+Ndistribution/I(ここで、Ndistributionは、所与のユーザによってコンテンツが配信又は共有された回数に対応し、Iは、決定済みの回数の上限、例えば100である)によって得られる、例えば1〜2に含まれる配信に関係する下位重み「s」。広視野コンテンツに割り当てられる大域的下位重み「s」は、様々なユーザから得られる全ての下位重み「s」の平均に対応する。
第1の情報を得るために第2の情報に適用される第1の重みは、考慮される下位重みに依存する。1つの下位重みのみを考慮することができ、又は幾つかの若しくは全ての下位重みの組合せを考慮してもよい。第2の情報に重み付けするために全ての情報が使用される場合、即ち第1の重みを得るために全ての下位重みが使用される場合、第1の重み「W1」が以下の等式:
から得られ、5.76は(d×l×c×v×s)の最大値に対応する。
から得られ、5.76は(d×l×c×v×s)の最大値に対応する。
当然ながら、「W1」を得るための等式は、第1の重みを得るために使用又は考慮される下位重みに応じて変わる。
ヒートマップの値Pi,jを有する画素ごとの重み付けW(i及びjは、画素Pが属する行及び列にそれぞれ対応する)を以下の等式によって得ることができる。
W(Pi,j)=Pi,j×w1,W∈[0;1] 等式2
W(Pi,j)=Pi,j×w1,W∈[0;1] 等式2
機器40は、例えば、各没入型ディスプレイ装置41〜43から第2の情報及び第3の情報を取得し、関心地点を表す第1の情報を決定する。例えば、機器40は、没入型ディスプレイ装置ごとにヒートマップを生成し、対応する第1の重みを用いてヒートマップに重み付けし(即ち考慮される没入型ディスプレイ装置から受信される第3の情報から得られる第1の重みは、考慮される没入型ディスプレイ装置から得られるヒートマップに対応する)、例えば、重み付けされた全てのヒートマップの組合せに対応する最終的なヒートマップを生成し、即ち最終的なヒートマップは、例えば、取得済みの重み付けされた全てのヒートマップの平均に対応する。その一例を図5によって示す。
図5は、広視野コンテンツ10の関心地点を表す第1の情報に関する表現の一例を示す。第1の情報は、広視野コンテンツの矩形表現と同じサイズ(同じ画素数)を有するグレースケール画像に対応するヒートマップ53によって表される。ヒートマップ53は、例えば、広視野コンテンツのフレーム(即ち所与の瞬間における広視野の画像)、又は連続フレーム、例えば10、20、又は100フレームの群に関連する。ヒートマップ53は、第1のヒートマップ51及び第2のヒートマップ52から得られる。第1のヒートマップ51は、例えば、第1の没入型ディスプレイ装置41から得られる第1の情報から生成される。ヒートマップ51の最も暗い画素は、第1の没入型ディスプレイ装置41を使用するユーザによって最も見られている広視野コンテンツの画素を表し、白色画素は、より見られていない又は全く見られていない画素を表す。第2のヒートマップ52は、例えば、第2の没入型ディスプレイ装置42から得られる第1の情報から生成される。ヒートマップ52の最も暗い画素は、第2の没入型ディスプレイ装置42を使用するユーザによって最も見られている広視野コンテンツの画素を表し、白色画素は、より見られていない又は全く見られていない画素を表す。ヒートマップ53は、第1のヒートマップ51と第2のヒートマップ52とを組み合わせることによって生成される。ヒートマップ53は、例えば、重み付けされた第1のヒートマップと重み付けされた第2のヒートマップとの平均に対応する。重み付けされた第1のヒートマップは、第1の没入型ディスプレイ装置41から得られる第3の情報から得られる第1の重みが適用される第1のヒートマップ51に対応する。重み付けされた第2のヒートマップは、図4に関して説明したように、第2の没入型ディスプレイ装置42から得られる第3の情報から得られる第1の重みが適用される第2のヒートマップ52に対応する。広視野の関心地点又は関心領域は、最も見られている画素、即ち最も暗い画素であるものとしてヒートマップ53(図5によって示す実施形態による第1の情報に対応する)から決定される。ヒートマップ53は、ヒートマップ53と同じ画素数(同じ行及び列数)を有する広視野コンテンツの1つ又は複数の画像に関連付けられているので、1つ又は複数の画像内に含まれる関心地点は、最も暗い画素が関連ヒートマップ53上で現れる場所にある。
第1のヒートマップ51及び第2のヒートマップ52は、機器40により、又は各没入型ディスプレイ装置41及び42(又は没入型ディスプレイ装置に関連するコントローラ)により生成することができ、そこから第2の、即ちユーザ側の情報が得られる。
任意選択的な改変形態によれば、第1の重みの他に第2の重みを第2の情報(例えば、ヒートマップ)に加えて、関心地点を表す第1の情報を得ることができる。第2の重みは、第2の情報を得るために使用される没入型ディスプレイ装置を用いて、広視野コンテンツ10を消費するユーザのプロファイルを表す第4の情報から得ることができる。換言すれば、各没入型ディスプレイ装置に関連する又は各没入型ディスプレイ装置から得られる第2の情報(ヒートマップ)に更に重み付けするために、没入型ディスプレイ装置ごとに第2の重みを得ることができる。第4の情報は、例えば、ユーザの経験の度合いに対応し、即ちユーザが広視野コンテンツの初心者であるか又は専門家であるかの情報を与える。第4の情報は、例えば、ユーザが消費するコンテンツの種類を解析することによって得ることができ、消費された広視野コンテンツの総数が決定済みの数(例えば、100、1000、又はそれを超える)を上回るとき、ユーザは専門家と見なされる。例えば、1〜2に含まれる下位重み「p」を得ることができる。第2の重みを考慮に入れる場合、他の下位重みと同じ方法で下位重み「p」を等式1に追加することができ、等式1の分母の値はそれに応じて適合される。
更なる任意選択的な改変形態によれば、第1の重みの他に(且つ任意選択的に第2の重みの他に)第3の重みを第2の情報(例えば、ヒートマップ)に加えて、関心地点を表す第1の情報を得ることができる。第3の重みは、第2の情報を得るために使用される没入型ディスプレイ装置を用いて、広視野コンテンツ10を消費するユーザの挙動を表す第5の情報から得ることができる。換言すれば、各没入型ディスプレイ装置に関連する又は各没入型ディスプレイ装置から得られる第2の情報(ヒートマップ)に更に重み付けするために、没入型ディスプレイ装置ごとに第3の重みを得ることができる。例えば、広視野コンテンツを見ているときのユーザの挙動を解析して、即ち、例えば、広視野ディスプレイの表示中に没入型ディスプレイ装置が動くかどうかを解析することによって第5の情報を得ることができる。例えば、コンテンツを見ているときにユーザが全く動かない又は速く動き過ぎる(即ち没入型ディスプレイ装置の変位速度が決定済みの速度限界を上回る)場合、ユーザはそのコンテンツを見ていないと見なすことができる。例えば、0〜1に含まれる下位重み「b」を得ることができ、0はコンテンツを見ていない場合であり、1は高い集中力でコンテンツを見ている場合である。第3の重みを考慮に入れる場合、他の下位重みと同じ方法で下位重み「b」を等式1に追加することができ、等式1の分母の値はそれに応じて適合される。
機器40は、第1の情報に従って、即ち決定される視点に従って広視野コンテンツを処理するように構成されている。機器40は、処理済みの広視野コンテンツを1つ又は複数の没入型ディスプレイ装置44に伝送するようにも構成されている。処理済みの広視野コンテンツは、第2の情報及び第3の情報を伝送した没入型ディスプレイ装置41〜43にも伝送され得る。広視野コンテンツ10の処理は、以下の操作の1つ又は以下の操作の組合せを含む。
− メタデータを広視野コンテンツに関連させること。メタデータは、1つ又は複数の決定済みの関心地点の場所に関する情報を含む。メタデータは、没入型ディスプレイ装置を用いて広視野コンテンツを見ているユーザが関心地点を見逃さないように導くために、広視野コンテンツをレンダリングするときに没入型ディスプレイ装置によって使用され得る。
− 例えば、広視野コンテンツの表示が、決定済みの関心地点を含む広視野コンテンツの一部分から始まるように、決定済みの関心地点(又は3つ以上の関心地点が決定されている場合、それらの1つ、例えば集められた第2の情報及び第3の情報から最も見られていると判定される関心地点)を中心に広視野コンテンツを中央揃えすることにより、関心地点を含まない広視野コンテンツの領域をぼかすことにより、且つ/又は関心地点が何れにあるかを示すためにコンテンツ(例えば、音声情報又はグラフィカル情報)を追加することにより、広視野コンテンツを修正すること。
− メタデータを広視野コンテンツに関連させること。メタデータは、1つ又は複数の決定済みの関心地点の場所に関する情報を含む。メタデータは、没入型ディスプレイ装置を用いて広視野コンテンツを見ているユーザが関心地点を見逃さないように導くために、広視野コンテンツをレンダリングするときに没入型ディスプレイ装置によって使用され得る。
− 例えば、広視野コンテンツの表示が、決定済みの関心地点を含む広視野コンテンツの一部分から始まるように、決定済みの関心地点(又は3つ以上の関心地点が決定されている場合、それらの1つ、例えば集められた第2の情報及び第3の情報から最も見られていると判定される関心地点)を中心に広視野コンテンツを中央揃えすることにより、関心地点を含まない広視野コンテンツの領域をぼかすことにより、且つ/又は関心地点が何れにあるかを示すためにコンテンツ(例えば、音声情報又はグラフィカル情報)を追加することにより、広視野コンテンツを修正すること。
広視野コンテンツに適用される処理によれば、没入型ディスプレイ装置44は、広視野コンテンツを更に適合させてもさせなくてもよい。例えば、広視野が既に修正されている(即ち上記で説明したように中央揃えされるか又はぼかされている)場合、没入型ディスプレイ装置44は、広視野コンテンツを更に処理する必要がない。関心地点をユーザに見せるには、機器40によって既に処理されている広視野コンテンツを表示すれば十分である。広視野コンテンツ内の関心地点の場所をメタデータが示す場合、没入型ディスプレイ装置(又は没入型ディスプレイ装置に関連するコントローラ)は、関心地点を含む広視野コンテンツの領域を見るようにユーザを促すために、広視野コンテンツを更に処理することができる。図6は、広視野コンテンツのそうした更なる処理の一例を示す。
図6は、本原理の特定の且つ非限定的な実施形態による、広視野コンテンツの決定済みの関心地点を見るようにユーザを促すように構成されたプロセスを示す。このプロセスは、例えば、広視野コンテンツを受信する没入型ディスプレイ装置44(又は没入型ディスプレイ装置に関連するコントローラ)によって実装される。
没入型ディスプレイ装置44は、関心地点を表すデータ61、例えば広視野コンテンツ10内の関心地点の座標又は関心地点を含む広視野コンテンツの空間的部分の限界を表す座標と共に、広視野コンテンツ10を表すデータ(例えば、広視野コンテンツの画素ごとの赤色、緑色、及び青色(RGB)データ)を機器40から(LAN、インターネット、WAN(広域ネットワーク)等の1つ又は複数の通信ネットワークを介して)受信する。広視野コンテンツを表すデータ10は、関心地点を表すデータ61と共にレンダリングモジュール(ハードウェア又はソフトウェア)63に提供/伝送される。レンダリングモジュールは、没入型ディスプレイ装置44内に又は没入型ディスプレイ装置44上で表示されるコンテンツをレンダリングするコントローラ内に埋め込まれ得る。レンダリングモジュール63は、没入型ディスプレイ装置44の姿勢を表す情報62、例えば、没入型ディスプレイ装置44がHMDである場合、IMUから得られる視線方向も受信する。この姿勢情報62及びデータ61に従って、広視野コンテンツのレンダリングが行われる。例えば、ユーザの注視が関心地点から離れることを姿勢情報62が示す場合、関心地点から離れるときにユーザの頭/注視の動きに対する抵抗があるかのように、レンダリング及び表示される広視野部分が姿勢情報に対応しない。このような効果は、例えば、没入型ディスプレイ装置の検出済みの姿勢が関心地点を含む又は含まない広視野コンテンツの領域に対応するかどうかに応じて異なる挙動を有するマッピング関数によって得ることができる(マッピング関数は、没入型ディスプレイ装置の姿勢と没入型ディスプレイ装置上に表示される広視野コンテンツの一部分の視点との間の関係を表す)。例えば、没入型ディスプレイ装置の姿勢が、関心地点を含む広視野コンテンツの一部分に対応する値の範囲内に留まる場合、没入型ディスプレイ部分のレンダリング/表示される部分が没入型ディスプレイ装置の姿勢の変化をたどる。没入型ディスプレイ装置の姿勢が、関心地点を含む広視野コンテンツの一部分に対応する値の範囲外にある場合、例えば、関心地点から離れるときに広視野の視点の変化が姿勢の変化よりも遅くなるかのように、関心地点から離れるとき抵抗があったかのように、没入型ディスプレイ部分のレンダリング/表示される部分が没入型ディスプレイ装置の姿勢の変化をたどらない。かかる実装形態については、2015年12月22日に欧州特許庁に出願された欧州特許出願欧州特許出願公開第15307094.1号に記載されている。
図7は、広視野ビデオコンテンツ10を表示及び/又はレンダリングするように構成された没入型ディスプレイ装置7のハードウェアの実施形態を図面によって示し、広視野ビデオコンテンツ10のコンテンツは、没入型ディスプレイ装置7の位置に応じて少なくとも部分的に変化する。没入型ディスプレイ装置7は、例えば、HMDに対応する。没入型ディスプレイ装置7は、少なくとも1つの慣性センサ71、少なくとも1つの表示ユニット(例えば、LCD(液晶ディスプレイ)、OLED(有機発光ダイオード)、又はLCOS(液晶オンシリコン))72、及び伝送ユニット73を含む。慣性センサ71は、例えば、ジャイロスコープに対応し、没入型ディスプレイ装置7は、例えば、3つのジャイロスコープ(ピッチに1つ、ロールに1つ、及びヨーに1つ)を含む。別の例によれば、慣性センサ71がIMU(慣性計測装置)に対応する。慣性センサにはコントローラを関連付けることができ、コントローラは、慣性センサによって取得される装置の位置変化を表すデータを処理し、そのデータを第1のバス経由で伝送ユニット73に伝送するように構成されている。伝送ユニット73は、例えば、無線インタフェースであり、慣性センサ71から受信されるデータを無線リンク経由で(例えば、Wi-Fi(登録商標)又はBluetooth(登録商標)に従って)外部装置(不図示)に伝送するように構成されている。外部装置は、例えば、セットトップボックス(STB)、コンピュータ、又はビデオコンテンツを記憶、構成、及び/若しくは復号するように適合された任意の装置である。伝送ユニット73は、ディスプレイユニット72上に表示されるビデオコンテンツの画像10を表すデータを例えば外部装置から無線リンク経由で受信するように更に構成され得る。次いで、表示される画像10を表すデータが第2のバス経由でディスプレイユニット72に伝送される。改変形態によれば、伝送ユニットは、例えば、USB規格又はHDMI(登録商標)規格に従い、有線リンクによってデータを送信/受信するように構成されたインタフェースである。外部装置は、HMDの測定位置に対応するビデオコンテンツの一部分をHMDに伝送することができる。HMDの測定位置に対応するビデオコンテンツの一部分は、例えば、現実世界内のHMDに関連する視点とビデオコンテンツに関連する仮想カメラの視点との間の関係を確立する特定の関数によって決定される。没入型ディスプレイ装置の測定位置に応じて没入型ディスプレイ装置の表示画面上に表示されるビデオコンテンツの一部分を制御することは、とりわけビデオコンテンツが没入型ディスプレイ装置の表示画面に関連する視野よりも大きい場合、没入型ディスプレイ装置を着用しているユーザがビデオコンテンツ内を見て回ることを可能にする。例えば、没入型ディスプレイ装置、即ちHMDによって提供される視野が(例えば、ヨー軸の周りの)110°に等しい場合、且つビデオコンテンツが180°のコンテンツを提供する場合、HMDを着用しているユーザは、自らの頭を右又は左に回転させて、HMDによって提供される視野外のビデオコンテンツ部分を見ることができる。
図8は、広視野コンテンツの関心地点を決定し、広視野コンテンツを処理し、及び/又は広視野コンテンツが処理されているかいないかに関わらず、広視野コンテンツをレンダリングするように構成された機器8のハードウェアの実施形態を図面によって示す。機器8は、1つ又は幾つかの画像の表示信号を作成するようにも構成されている。機器8は、例えば、タブレット、スマートフォン、ゲーム機、コンピュータ、ラップトップ、セットトップボックスに対応し、且つ/又は没入型ディスプレイ装置7のコンポーネントであり得る。
機器8は、クロック信号も搬送するアドレス及びデータのバス85によって互いに接続される以下の要素、即ち、
− マイクロプロセッサ81(又はCPU)、
− グラフィックスカード82であって、
・幾つかのグラフィックス処理装置(又はGPU)820、
・グラフィカルランダムアクセスメモリ(GRAM)821
を含むグラフィックスカード82、
− ROM(読取専用メモリ)型の不揮発性メモリ86、
− ランダムアクセスメモリ又はRAM87、
− 画像を表すデータを伝送するように構成された送信機88、
− 没入型ディスプレイ装置から(例えば、視線方向を表す第2の情報)、及び/又は他の機器から(例えば、第3の情報、第4の情報、及び/又は第5の情報)、取得装置から(例えば、広視野コンテンツを表すデータ)、及び/又は(コンテンツ、第1の情報、第2の情報、第3の情報、第4の情報、及び/又は第5の情報を表すデータを記憶する)記憶装置からデータを受信するように構成された受信機89、
− 例えば、触覚インタフェース、マウス、ウェブカメラ等の1つ又は幾つかのI/O(入力/出力)装置84、及び
− 電源89
を含む。
− マイクロプロセッサ81(又はCPU)、
− グラフィックスカード82であって、
・幾つかのグラフィックス処理装置(又はGPU)820、
・グラフィカルランダムアクセスメモリ(GRAM)821
を含むグラフィックスカード82、
− ROM(読取専用メモリ)型の不揮発性メモリ86、
− ランダムアクセスメモリ又はRAM87、
− 画像を表すデータを伝送するように構成された送信機88、
− 没入型ディスプレイ装置から(例えば、視線方向を表す第2の情報)、及び/又は他の機器から(例えば、第3の情報、第4の情報、及び/又は第5の情報)、取得装置から(例えば、広視野コンテンツを表すデータ)、及び/又は(コンテンツ、第1の情報、第2の情報、第3の情報、第4の情報、及び/又は第5の情報を表すデータを記憶する)記憶装置からデータを受信するように構成された受信機89、
− 例えば、触覚インタフェース、マウス、ウェブカメラ等の1つ又は幾つかのI/O(入力/出力)装置84、及び
− 電源89
を含む。
機器8は、グラフィックスカード内で計算される画像を例えば生で表示するためにグラフィックスカード82に直接接続される、表示画面型の1つ又は複数のディスプレイ装置83も含み得る。ディスプレイ装置83をグラフィックスカード82に接続するために専用バスを使用することは、はるかに大きいデータ伝送ビットレートを有する、従ってグラフィックスカードによって構成された画像を表示するための待ち時間を短縮する利点をもたらす。改変形態によれば、ディスプレイ装置が機器8の外部にあり、表示信号を伝送するためにケーブルによって又は無線で機器8に接続される。機器8、例えばグラフィックスカード82は、例えば、第1のディスプレイ装置(例えば、HMD)、LCD、プラズマ画面、ビデオプロジェクタ等の外部の表示手段に表示信号を伝送するように適合された伝送又は接続用インタフェース(図8には不図示)を含む。
言及するメモリのそれぞれにおいて、メモリ821、86、及び87の説明で使用する「レジスタ」という用語は、小容量のメモリゾーン(多少のバイナリデータ)並びに(全プログラム、又は計算されたデータ若しくは表示されるデータを表すデータの全て若しくは一部の記憶を可能にする)大容量のメモリゾーンの両方を指すことを指摘しておく。
オンにされると、マイクロプロセッサ81は、RAM87内に含まれるプログラムの命令をロード及び実行する。
ランダムアクセスメモリ87は、とりわけ、
− レジスタ870内の、機器8をオンにする役割を果たすマイクロプロセッサ81の動作プログラム、
− 広視野コンテンツを表すデータ871(例えば、RGBデータ)、
− 第1の情報872、
− 第2の情報873、
− 第3の情報874
を含む。
− レジスタ870内の、機器8をオンにする役割を果たすマイクロプロセッサ81の動作プログラム、
− 広視野コンテンツを表すデータ871(例えば、RGBデータ)、
− 第1の情報872、
− 第2の情報873、
− 第3の情報874
を含む。
本開示に固有の方法(例えば、第1の画像を伝送する方法及び/又は第1の画像を合成する方法)のステップを実装するアルゴリズムは、それらのステップを実装する機器8に関連するグラフィックスカード82のメモリGRAM821内に記憶される。オンにされ、データ871及び情報873、874がRAM87内にロードされると、グラフィックスカード82のグラフィックプロセッサ820がそれらのパラメータをGRAM821内にロードし、例えば、HLSL(上位レベルシェーダー言語)言語又はGLSL(OpenGLシェーディング言語)を使用する「シェーダー」型のマイクロプログラムの形態を取るそれらのアルゴリズムの命令を実行する。
ランダムアクセスメモリGRAM821は、とりわけ、
− レジスタ内の、画像を表すデータ、
− レジスタ内の、第1の情報、第2の情報、及び第3の情報を表すデータ
を含む。
− レジスタ内の、画像を表すデータ、
− レジスタ内の、第1の情報、第2の情報、及び第3の情報を表すデータ
を含む。
別の改変形態によれば、GRAM821内で利用できるメモリ記憶空間が不足する場合、識別情報及び距離を記憶するためにRAM87の一部がCPU81によって割り当てられる。しかし、この改変形態は、GPU内に含まれるマイクロプログラムから構成された環境の表現を含む画像構成において長い待ち時間を引き起こし、その理由は、グラフィックスカードからランダムアクセスメモリ87にバス85を通過するデータを伝送する必要があるからであり、GPUからGRAMに又はその逆にデータを伝送するためにグラフィックスカード内で利用可能な伝送容量に比べ、バス85では伝送容量が概して劣る。
別の改変形態によれば、電源89が機器8の外部にある。
代替的実施形態では、機器8は、いかなるROMも含まず、RAMのみを含み、本開示に固有の及び図9に関して説明する方法のステップを実装するアルゴリズムはRAM内に記憶される。別の改変形態によれば、機器8は、ROM及び/又はRAMの代わりにSSD(ソリッドステートドライブ)メモリを含む。
図9は、本原理の非限定的な実施形態による、広視野コンテンツの1つ又は複数の関心地点を表す第1の情報を決定する方法を示す。この方法は、例えば、機器8又は没入型ディスプレイ装置7によって実装される。
ステップ90では、機器8の様々なパラメータを更新する。具体的には、視線方向及び/又は広視野コンテンツ内の関心を表すパラメータを任意の方法で初期設定する。
ステップ91では、1つ又は複数の視線方向を表す第2の情報を取得し、各視線方向は、(広視野コンテンツを表示するために使用される)没入型ディスプレイ装置を着用又は保持するユーザが広視野コンテンツ又はその一部分を見る方向に対応する。視線方向は、広視野コンテンツの何れの部分が没入型ディスプレイ装置の画面上に表示されるかを決定できるようにする。第2の情報は、(1つ又は複数の有線ネットワーク又は無線ネットワークによって第2の情報を伝送し得る)没入型ディスプレイ装置により、(例えば、測定された視線方向に従って没入型ディスプレイ装置の画面上に表示するための広視野コンテンツの一部分をレンダリングする)没入型ディスプレイ装置を制御するコントローラにより、又は外部追跡システム、例えば注視追跡システム等の視線方向を決定するように構成されたシステムにより直接得られ、即ち測定又は決定される。別の例によれば、第2の情報は、機器8の記憶装置、例えば、ローカルメモリ装置、例えばRAM、GRAM、及び/又はSSDから、又はサーバ若しくはクラウド等の遠隔メモリ装置/エンティティから得られ、即ち受信される。
ステップ92では、広視野コンテンツ内の関心を表す第3の情報を取得し、即ち例えば決定又は受信する。第3の情報は、例えば、
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリング及び/又は表示された回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
の1つであるか、又はかかる情報の任意の組合せである。
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリング及び/又は表示された回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
の1つであるか、又はかかる情報の任意の組合せである。
第3の情報は、例えば、没入型ディスプレイ装置から、没入型ディスプレイ装置に関連するコントローラから、広視野コンテンツが記憶され得るサーバ等の遠隔記憶装置から受信される。改変形態によれば、第3の情報は、機器8の記憶装置、例えば、ローカルメモリ装置、例えばRAM、GRAM、SSDから、又はサーバ又はクラウド等の遠隔メモリ装置/エンティティから得られ、即ち受信される。
ステップ93では、第1の情報を第2の情報及び第3の情報から決定する。広視野コンテンツ内の関心地点の場所は、例えば、最も見られている広視野コンテンツの空間領域として決定されてもよく、第2の情報は、第3の情報又は第3の情報に関連する値が決定済みの値以上である(例えば、広視野コンテンツを消費するのに費やされた時間が決定済みの時間を上回る場合、及び/又は広視野コンテンツが決定済みの回数よりも多くレンダリングされている場合)にのみ考慮される。広視野コンテンツの空間的部分及び/又は広視野コンテンツの時間的部分について、1つの視点を表す第1の情報を決定することができる。広視野コンテンツの時間的部分は、例えば、広視野コンテンツがビデオの場合、連続フレームの持続時間又は数に対応する。当然ながら、視点は時間と共に変化する可能性があり、即ち視点は所与の瞬間におけるオブジェクト及びその所与の瞬間よりも後の別の瞬間における別のオブジェクトであり得る。同様に、同じ瞬間において、例えば広視野コンテンツの同じ画像/フレーム内で複数の関心地点を決定することができる。
当然ながら、本開示は先に記載した実施形態に限定されない。
具体的には、本開示は視点を表す第1の情報を決定する方法及び装置に限定されず、第1の情報に従って広視野コンテンツを処理する方法、及び/又は処理済みの広視野コンテンツをレンダリング及び/又は表示する方法、それらの方法を実装する任意の装置、並びにとりわけ少なくとも1個のCPU及び/又は少なくとも1個のGPUを含む任意の装置にも及ぶ。
本開示は、決定済みの関心地点にユーザの関心を集中させる広視野コンテンツの画像を得る/生成する方法(及びそのように構成された装置)にも関する。
本開示は、処理済みの広視野コンテンツを表すデータ、例えば機器8から没入型ディスプレイ装置7によって受信されるデータを受信する方法(及びそのように構成された装置)にも関する。
本明細書に記載した実装形態は、例えば、方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態に関連してのみ論じられる場合でも(例えば、方法又は装置としてのみ論じられる場合でも)、論じられた特徴の実装形態は、他の形式(例えば、プログラム)で実装することができる。機器は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は、例えば、プロセッサ等の機器によって実装することができ、プロセッサは、概して、例えば、コンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置を指す。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、エンドユーザ間の情報の通信を補助する他の装置等の通信装置も含む。
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び/又は深度情報の他の処理に関連する機器又はアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法は、プロセッサによって実行される命令によって実装されてもよく、かかる命令(及び/又は実装形態によって作り出されるデータ値)は、例えば、ハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えば、多くの場合にデジタル多用途ディスク又はデジタルビデオディスクと呼ばれるDVD等)、ランダムアクセスメモリ(「RAM」)、読取専用メモリ(「ROM」)等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せの中に入れられてもよい。命令は、例えばオペレーティングシステム、別個のアプリケーション、又は両者の組合せの中に存在してもよい。従って、プロセッサは、例えば、プロセスを実行するように構成された装置及びプロセスを実行する命令を有するプロセッサ可読媒体(記憶装置等)を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装形態は、例えば、記憶又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば、方法を実行する命令又は記載した実装形態の1つによって作り出されるデータを含み得る。例えば、信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装形態を記載してきた。それでもなお、様々な修正形態がなされ得ることが理解されるであろう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスで置換してもよく、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じ方法で実行することを当業者は理解するであろう。従って、これらの及び他の実装形態も本願によって予期される。
Claims (13)
- 広視野コンテンツ(10)の関心地点を表す第1の情報を決定する方法であって、前記広視野コンテンツ(10)の少なくとも一部分に関連する少なくとも視線方向(110)を表す第2の情報、及び前記広視野コンテンツ内の関心を表す第3の情報から前記第1の情報を決定すること(93)を含む、方法。
- 前記第3の情報は、
前記広視野コンテンツを消費するのに費やされた時間を表す情報、
前記広視野コンテンツに関連する評価を表す情報、
前記広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
前記広視野コンテンツがレンダリングされた回数を表す情報、及び
ネットワーク上での前記広視野コンテンツの配信を表す情報
の少なくとも1つに対応する、請求項1に記載の方法。 - 前記第3の情報から第1の重み付け値を決定することを更に含み、前記第2の情報は、前記第1の情報を決定するために前記第1の重み付け値で重み付けされる、請求項1又は2に記載の方法。
- 前記広視野コンテンツを消費するユーザのプロファイルを表す第4の情報を得ることを更に含み、前記第1の情報は、前記第4の情報から更に決定される、請求項1〜3の何れか一項に記載の方法。
- 前記第4の情報から第2の重み付け値を決定することを更に含み、前記第2の情報は、前記第1の情報を決定するために前記第2の重み付け値で重み付けされる、請求項4に記載の方法。
- 前記広視野コンテンツを前記第1の情報に従って処理し、且つ前記処理済みの広視野コンテンツを伝送することを更に含む、請求項1〜5の何れか一項に記載の方法。
- 広視野コンテンツの関心地点を表す第1の情報を決定するように構成された装置(8)であって、前記広視野コンテンツ(10)の少なくとも一部分に関連する少なくとも視線方向(110)を表す第2の情報、及び前記広視野コンテンツ内の関心を表す第3の情報から前記第1の情報を決定するように構成されたプロセッサ(81)に関連するメモリ(87)を含む、装置(8)。
- 前記第3の情報は、
前記広視野コンテンツを消費するのに費やされた時間を表す情報、
前記広視野コンテンツに関連する評価を表す情報、
前記広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
前記広視野コンテンツがレンダリングされた回数を表す情報、及び
ネットワーク上での前記広視野コンテンツの配信を表す情報
の少なくとも1つに対応する、請求項7に記載の装置。 - 前記プロセッサは、前記第3の情報から第1の重み付け値を決定するように更に構成されており、前記第2の情報は、前記第1の情報を決定するために前記第1の重み付け値で重み付けされる、請求項7又は8に記載の装置。
- 前記プロセッサは、前記広視野コンテンツを消費するユーザのプロファイルを表す第4の情報を得るように更に構成されており、前記第1の情報は、前記第4の情報から更に決定される、請求項7〜9の何れか一項に記載の装置。
- 前記プロセッサは、前記第4の情報から第2の重み付け値を決定するように更に構成されており、前記第2の情報は、前記第1の情報を決定するために前記第2の重み付け値で重み付けされる、請求項10に記載の装置。
- 前記プロセッサは、前記広視野コンテンツを前記第1の情報に従って処理し、且つ前記処理済みの広視野コンテンツを伝送するように更に構成されている、請求項7〜11の何れか一項に記載の装置。
- 非一時的プロセッサ可読媒体であって、その中に少なくとも請求項1〜6の何れか一項に記載の方法のステップをプロセッサに実行させるための命令を記憶している、非一時的プロセッサ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306678.0A EP3337154A1 (en) | 2016-12-14 | 2016-12-14 | Method and device for determining points of interest in an immersive content |
EP16306678.0 | 2016-12-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018139102A true JP2018139102A (ja) | 2018-09-06 |
Family
ID=57755110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017230882A Pending JP2018139102A (ja) | 2016-12-14 | 2017-11-30 | 没入型コンテンツ内の関心地点を決定する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180165830A1 (ja) |
EP (2) | EP3337154A1 (ja) |
JP (1) | JP2018139102A (ja) |
KR (1) | KR20180068874A (ja) |
CN (1) | CN108227916A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203167A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2021161774A1 (ja) * | 2020-02-10 | 2021-08-19 | ソニーグループ株式会社 | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180113109A (ko) * | 2017-04-05 | 2018-10-15 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 화면 표시 방법 |
US10818087B2 (en) * | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
KR102486421B1 (ko) * | 2017-10-16 | 2023-01-10 | 삼성디스플레이 주식회사 | 헤드 마운트 디스플레이 장치 및 이의 동작 방법 |
CN115842907A (zh) * | 2018-03-27 | 2023-03-24 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
JP7168969B2 (ja) * | 2018-06-06 | 2022-11-10 | 株式会社アルファコード | ヒートマップ提示装置およびヒートマップ提示用プログラム |
US10747760B2 (en) * | 2018-06-08 | 2020-08-18 | Capital One Services, Llc | Method and system for tracking virtual reality experiences |
US11366514B2 (en) * | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
US11137875B2 (en) * | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Mixed reality intelligent tether for dynamic attention direction |
CN111757089A (zh) * | 2019-03-29 | 2020-10-09 | 托比股份公司 | 利用眼睛的瞳孔增强调节来渲染图像的方法和系统 |
CN112150603B (zh) | 2019-06-28 | 2023-03-28 | 上海交通大学 | 基于三维点云的初始视角控制和呈现方法及系统 |
WO2021062278A1 (en) | 2019-09-27 | 2021-04-01 | Apple Inc. | Environment for remote communication |
US11023729B1 (en) * | 2019-11-08 | 2021-06-01 | Msg Entertainment Group, Llc | Providing visual guidance for presenting visual content in a venue |
KR102261544B1 (ko) * | 2019-11-13 | 2021-06-07 | 한국광기술원 | 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법 |
US11589033B1 (en) * | 2021-02-28 | 2023-02-21 | Robert Edwin Douglas | Immersive viewing experience |
EP4327552A1 (en) * | 2021-04-22 | 2024-02-28 | Douglas, Robert, Edwin | Immersive viewing experience |
US12086301B2 (en) | 2022-06-01 | 2024-09-10 | Sphere Entertainment Group, Llc | System for multi-user collaboration within a virtual reality environment |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677979B1 (en) * | 2001-06-12 | 2004-01-13 | Cisco Technology, Inc. | Method and apparatus for dual image video teleconferencing |
US20110216059A1 (en) * | 2010-03-03 | 2011-09-08 | Raytheon Company | Systems and methods for generating real-time three-dimensional graphics in an area of interest |
US9025810B1 (en) * | 2010-04-05 | 2015-05-05 | Google Inc. | Interactive geo-referenced source imagery viewing system and method |
US9087412B2 (en) * | 2011-09-26 | 2015-07-21 | Nokia Technologies Oy | Method and apparatus for grouping and de-overlapping items in a user interface |
DE112011105941B4 (de) * | 2011-12-12 | 2022-10-20 | Intel Corporation | Scoring der Interessantheit von interessanten Bereichen in einem Anzeigeelement |
US9230367B2 (en) * | 2011-12-13 | 2016-01-05 | Here Global B.V. | Augmented reality personalization |
JP6007600B2 (ja) * | 2012-06-07 | 2016-10-12 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9886795B2 (en) * | 2012-09-05 | 2018-02-06 | Here Global B.V. | Method and apparatus for transitioning from a partial map view to an augmented reality view |
CN103310477B (zh) * | 2013-06-27 | 2016-05-11 | 北京青青树动漫科技有限公司 | 一种三维影像生成方法 |
US9652893B2 (en) * | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
US9984505B2 (en) * | 2014-09-30 | 2018-05-29 | Sony Interactive Entertainment Inc. | Display of text information on a head-mounted display |
GB2536650A (en) * | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US10440407B2 (en) * | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
EP3099030A1 (en) * | 2015-05-26 | 2016-11-30 | Thomson Licensing | Method and device for encoding/decoding a packet comprising data representative of a haptic effect |
EP3098752A1 (en) * | 2015-05-29 | 2016-11-30 | Thomson Licensing | Method and device for generating an image representative of a cluster of images |
US9589358B1 (en) * | 2015-09-29 | 2017-03-07 | International Business Machines Corporation | Determination of point of interest views from selected vantage points |
EP3285216A1 (en) * | 2016-08-19 | 2018-02-21 | Nokia Technologies Oy | Association of comments to points of interest in virtual reality |
US10645376B2 (en) * | 2017-04-16 | 2020-05-05 | Facebook, Inc. | Systems and methods for presenting content |
-
2016
- 2016-12-14 EP EP16306678.0A patent/EP3337154A1/en not_active Withdrawn
-
2017
- 2017-11-30 JP JP2017230882A patent/JP2018139102A/ja active Pending
- 2017-12-05 EP EP17205333.2A patent/EP3337158A1/en not_active Withdrawn
- 2017-12-12 KR KR1020170170541A patent/KR20180068874A/ko not_active Application Discontinuation
- 2017-12-14 US US15/841,522 patent/US20180165830A1/en not_active Abandoned
- 2017-12-14 CN CN201711345890.XA patent/CN108227916A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203167A1 (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
EP3952304A4 (en) * | 2019-03-29 | 2022-05-04 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
JP7544034B2 (ja) | 2019-03-29 | 2024-09-03 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2021161774A1 (ja) * | 2020-02-10 | 2021-08-19 | ソニーグループ株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3337158A1 (en) | 2018-06-20 |
KR20180068874A (ko) | 2018-06-22 |
EP3337154A1 (en) | 2018-06-20 |
US20180165830A1 (en) | 2018-06-14 |
CN108227916A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018139102A (ja) | 没入型コンテンツ内の関心地点を決定する方法及び装置 | |
JP7504953B2 (ja) | 画像を合成するための方法及び装置 | |
JP2018010622A (ja) | 没入型ビデオ・フォーマットのための方法、装置、およびストリーム | |
CN106331687B (zh) | 根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备 | |
US20190251735A1 (en) | Method, apparatus and stream for immersive video format | |
US11317072B2 (en) | Display apparatus and server, and control methods thereof | |
WO2015185537A1 (en) | Method and device for reconstruction the face of a user wearing a head mounted display | |
US20190295324A1 (en) | Optimized content sharing interaction using a mixed reality environment | |
EP3236423A1 (en) | Method and device for compositing an image | |
WO2018086960A1 (en) | Method and device for transmitting data representative of an image | |
JP7447266B2 (ja) | ボリュメトリック画像データに関するビューの符号化及び復号 | |
WO2018069215A1 (en) | Method, apparatus and stream for coding transparency and shadow information of immersive video format | |
EP3330839A1 (en) | Method and device for adapting an immersive content to the field of view of a user | |
EP3310053A1 (en) | Method and apparatus for coding transparency information of immersive video format | |
EP3310052A1 (en) | Method, apparatus and stream for immersive video format | |
EP3310057A1 (en) | Method, apparatus and stream for coding transparency and shadow information of immersive video format | |
EP3564905A1 (en) | Conversion of a volumetric object in a 3d scene into a simpler representation model | |
EP3598271A1 (en) | Method and device for disconnecting user's attention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |