JP2018139102A - 没入型コンテンツ内の関心地点を決定する方法及び装置 - Google Patents

没入型コンテンツ内の関心地点を決定する方法及び装置 Download PDF

Info

Publication number
JP2018139102A
JP2018139102A JP2017230882A JP2017230882A JP2018139102A JP 2018139102 A JP2018139102 A JP 2018139102A JP 2017230882 A JP2017230882 A JP 2017230882A JP 2017230882 A JP2017230882 A JP 2017230882A JP 2018139102 A JP2018139102 A JP 2018139102A
Authority
JP
Japan
Prior art keywords
information
content
wide
wide field
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017230882A
Other languages
English (en)
Inventor
ダニエー，ファビアン
Danieau Fabien
ギジョ，アントワーヌ
Guillo Antoine
ドレ，ルノー
Renaud Dore
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018139102A publication Critical patent/JP2018139102A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Abstract

【課題】広視野コンテンツの関心地点を表す第１の情報を決定する方法及び装置を提供する。【解決手段】広視野コンテンツ１０の関心地点を表す第１の情報を決定する方法及び装置では、広視野コンテンツ１０の少なくとも一部分に関連する少なくとも視線方向１１０を表す第２の情報が得られ、広視野コンテンツ内の関心を表す第３の情報が得られ、得られた第２の情報及び第３の情報から第１の情報が決定される。ここで、第３の情報は、広視野コンテンツを消費するのに費やされた時間を表す情報、広視野コンテンツに関連する評価を表す情報、広視野コンテンツに関連するコメントの意味解析の結果を表す情報、広視野コンテンツがレンダリングされた回数を表す情報、及びネットワーク上での広視野コンテンツの配信を表す情報の少なくとも１つに対応する情報である。【選択図】図１Ａ

Description

本開示は、没入型画像／ビデオコンテンツ（広視野コンテンツとも呼ばれる）の領域に関する。本開示は、没入型画像又はビデオ内に含まれる関心地点若しくは関心領域の決定、及び／又は例えば関心地点若しくは関心領域に従った没入型画像又はビデオの処理に関連しても理解される。
この節は、以下に記載の及び／又は特許請求の範囲に記載の本開示の様々な態様に関係し得る技術の様々な態様を読者に紹介することを目的とする。この解説は、本発明の様々な態様のより良い理解を促進するための背景情報を読者に与えるのに有用であると考えられる。従って、これらの記述は従来技術の承認としてではなく、上記の観点から読まれるべきことを理解すべきである。
ヘッドマウントディスプレイ（ＨＭＤ）又はＣＡＶＥシステム等の最近の広視野ディスプレイ装置及び仮想現実システムにより、新たな視聴覚体験が提供されている。かかる構成では、ユーザは自らの頭及び体を動かして３６０°のシーンを（４パイステラジアンの視野まで）探索することができ、強い没入感をもたらす。これに関連して、この技術を活用するために新たな視聴覚コンテンツが作成される。専用３Ｄエンジン（コンピュータ生成画像（ＣＧＩ））又は広視野を有する実際のカメラにより、３６０°ムービー等の広視野コンテンツが制作される。
かかるコンテンツの重要な問題は、広視野コンテンツを見ているユーザがカメラを制御し、それにより、関心のある事象／関心地点を見逃す可能性があることである。この問題に取り組むため、簡単な解決策は、関心地点が常にユーザに確実に向くように広視野コンテンツを「回転」させることである。しかし、この技法は乗り物酔いの効果を引き起こすことが多く、そのためユーザエクスペリエンスを低下させる。
補足的な問題は、広視野コンテンツ内の関心地点に対してユーザの注意を引くためには、その関心地点が知られている必要があることである。プロの映画監督は、撮影段階中に関心地点がユーザの前に留まることを確実にすることにより、この問題をかろうじて解決することができる。しかし、この問題は、特定の演出なしに事象を捕捉するために３６０°カメラが使用されているアマチュアのビデオ内で特に見受けられる。かかる広視野コンテンツは、今や現行のストリーミングプラットフォーム上に多く存在し、かかる広視野コンテンツを消費するユーザは、関心地点を見逃さないために支援を必要とし得る。
本明細書での「一実施形態」、「ある実施形態」、「一実施形態例」、「特定の実施形態」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まない場合があることを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、ある実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されているかいないかに関わらず、他の実施形態に関連してかかる特徴、構造、又は特性を実施することは当業者の知識の範囲内にあると考えられる。
本開示は、広視野コンテンツの関心地点を表す第１の情報を決定する方法に関し、この方法は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第２の情報を得ること、
− 広視野コンテンツ内の関心を表す第３の情報を得ること、
− 第２の情報及び第３の情報から第１の情報を決定すること
を含む。
本開示は、広視野コンテンツの関心地点を表す第１の情報を決定するように構成された装置にも関し、この装置は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第２の情報を取得し、
− 広視野コンテンツ内の関心を表す第３の情報を取得し、
− 第２の情報及び第３の情報から第１の情報を決定する
ように構成されたプロセッサに関連するメモリを含む。
本開示は、広視野コンテンツの関心地点を表す第１の情報を決定するように構成された装置にも関し、この装置は、
− 広視野コンテンツの少なくとも一部分に関連する少なくとも視線方向を表す第２の情報を得る手段、
− 広視野コンテンツ内の関心を表す第３の情報を得る手段、
− 第２の情報及び第３の情報から第１の情報を決定する手段
を含む。
特定の特性によれば、第３の情報は、
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリングされた回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
を含む情報群に属する。
特定の特性によれば、第１の重み付け値が第３の情報から決定され、第２の情報は、第１の情報を決定するために第１の重み付け値で重み付けされる。
特定の特性によれば、前記広視野コンテンツを消費するユーザのプロファイルを表す第４の情報が得られ、第１の情報は、第４の情報から更に決定される。
別の特性によれば、第２の重み付け値が第４の情報から決定され、第２の情報は、第１の情報を決定するために第２の重み付け値で重み付けされる。
特定の特性によれば、広視野コンテンツが第１の情報に従って処理され、及び処理済みの広視野コンテンツが伝送される。
本開示は、コンピュータ上で実行されるときに上記の方法のステップを実行するプログラムコード命令を含む、コンピュータプログラム製品にも関する。
本開示は、（非一時的）プロセッサ可読媒体であって、その中に少なくとも上記の方法をプロセッサに実行させるための命令を記憶している、（非一時的）プロセッサ可読媒体にも関する。
付属図面を参照する以下の説明を読むことで本原理がより良く理解され、他の特定の特徴及び利点が明らかになる。
本原理の一例による広視野コンテンツを示す。 本原理の一例による広視野コンテンツを示す。 本原理の例による、図１Ａ及び／又は図１Ｂの広視野コンテンツに関連するエクイレクタングラーマッピング関数を示す。 本原理の例による、図１Ａ及び／又は図１Ｂの広視野コンテンツに関連する立方体マッピング関数のレイアウトを示す。 本原理の一例による、図１Ａ及び／又は図１Ｂの広視野コンテンツの関心地点を決定するプロセスを示す。 本原理の一例による、図４のプロセスによって決定された関心地点を表す情報の表現を示す。 本原理の一例による、図１Ａ及び／又は図１Ｂの広視野コンテンツの決定済みの関心地点を見るようにユーザを促すように構成されたシステムを示す。 本原理の一例による、図１Ａ及び／又は図１Ｂの広視野コンテンツを表示するように適合された機器の構造を示す。 本原理の一例による、図４のプロセス及び／又は図９の方法を実装するように適合された機器の構造を示す。 本原理の特定の実施形態による、図１Ａ及び／又は図１Ｂの広視野コンテンツの関心地点を表す情報を決定する方法を示す。
次に、図面に関して主題が説明され、図面では全体を通して同様の要素を指すために同様の参照番号が使用される。以下の説明では、主題の詳細な理解を与えるために多数の具体的詳細を説明目的で記載する。但し、主題の実施形態は、それらの具体的詳細なしに実践できることが明白な場合がある。
広視野コンテンツ又は広視野コンテンツの一部分に含まれる１つ又は複数の関心地点を表す第１の情報を決定する方法の特定の実施形態に関して本原理を説明する。この方法は、広視野コンテンツ、即ち広視野コンテンツの表示時に見られる広視野コンテンツの一部分に関連する１つ又は複数の視線方向を表す第２の情報を得ることを含む。この方法は、広視野コンテンツ内の関心を表す第３の情報、即ち広視野コンテンツを見た又は見ている１人又は複数のユーザが広視野コンテンツ内で抱く関心を表す第３の情報を得ることを更に含む。得られた第２の情報及び得られた第３の情報から、広視野コンテンツの関心地点を表す第１の情報が決定される。
広視野コンテンツは、とりわけ現実シーンを表す没入型ビデオ、例えば三次元コンピュータグラフィック画像シーン（３Ｄ ＣＧＩシーン）、点群、明視野であり得る。かかる没入型ビデオを設計するために多くの用語、例えば仮想現実（ＶＲ）、３６０、パノラマ、４πステラジアン、没入型、全方向性、又は広視野を使用する場合がある。広視野コンテンツは、２Ｄ（２次元）コンテンツ又は３Ｄ（３次元）コンテンツとすることができる。
広視野の関心地点を決定することは、広視野コンテンツを見ているユーザが関心地点を見逃さないようにするのを補助すること、及び／又は例えば広視野コンテンツを処理することにより、場合により広視野コンテンツを見ているユーザが決定済みの関心地点に関連する方向にある広視野コンテンツを見ることを促すことを可能にする。
図１Ａは、本原理の特定の且つ非限定的な実施形態による、没入型コンテンツとも呼ばれる広視野ビデオコンテンツ１０、例えば４πステラジアンビデオコンテンツ（又は球面ビデオコンテンツ）内に没入しているユーザ１１を示す。
図１Ａは、広視野コンテンツの３Ｄ表現の一例を示す。広視野コンテンツ１０は、例えば１台又は複数台のカメラを使って取得される現実シーン又は３Ｄエンジンを使用することによって統合される仮想シーンに対応する。改変形態によれば、広視野コンテンツ１０は、仮想オブジェクトを含む現実シーンの表現、即ち現実シーンと仮想シーンとの混合に対応する。広視野コンテンツ１０は、例えば１台若しくは複数台のカメラを使って取得される現実シーン、又は１台若しくは複数台のカメラを使ってそれぞれ取得される現実シーンの様々な要素の組合せ／合成に対応する。図１Ａに示すように、ユーザ１１は視線方向１１０に従って広視野コンテンツの一部分を見ており、視線方向１１０はユーザ１１の主な注視方向に対応する。視野１１１は、視線方向１１０に関連し、広視野コンテンツ１０の一部分にのみ対応する。ユーザ１１の注視方向が変わるとき、その結果としてユーザが見る（且つ視野に対応する）広視野コンテンツの一部分が変わる。ユーザ１１は、例えば自らの頭（又は自らの体又は体の一部）を左から右に（又はその逆に）且つ／又は上から下に（又はその逆に）動かすことにより、広視野コンテンツ内で自らの注視を自由に動かすことができる。
図１Ｂは、本原理の特定の且つ非限定的な実施形態による、４πステラジアンビデオコンテンツの非限定的な例示的形態内の広視野コンテンツ１０の一例を示す。図１Ｂは、広視野コンテンツ１０の平面図に対応する。広視野コンテンツ１０の一部分１２は、例えば没入型コンテンツを視覚化するように適合された没入型ディスプレイ装置上に表示される広視野コンテンツの一部分に対応し、この一部分１２の大きさは、例えば没入型ディスプレイ装置によって提供される視野に等しい。以下では、没入型ディスプレイ装置上で表示される部分を画像と呼ぶ場合がある。
広視野コンテンツ１０を視覚化するために使用される没入型ディスプレイ装置は、例えばユーザの頭に着用される又はヘルメットの一部として着用されるＨＭＤ（ヘッドマウントディスプレイ）である。ＨＭＤは、有利には、１つ又は複数の表示画面（例えば、ＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、ＬＣＯＳ（液晶オンシリコン））、及び現実世界の１軸、２軸、又は３軸（ピッチ軸、ヨー軸、及び／又はロール軸）に従ってＨＭＤの位置変化を測定するように構成されたセンサ、例えばジャイロスコープ又はＩＭＵ（慣性計測装置）を含む。ＨＭＤの測定位置に対応する広視野コンテンツ１０の一部分１２は、有利には、現実世界内のＨＭＤに関連する視点と広視野コンテンツ１０に関連する仮想カメラの視点との間の関係を確立する特定の関数によって決定される。ＨＭＤの測定位置に応じてＨＭＤの表示画面上に表示されるビデオコンテンツの一部分（即ち画像）１２を制御することは、ＨＭＤを着用しているユーザが、ＨＭＤの表示画面に関連する視野よりも大きい広視野コンテンツ内を見て回ることを可能にする。例えば、ＨＭＤによって提供される視野が（例えば、ヨー軸の周りの）１１０°に等しい場合、且つ広視野コンテンツが１８０°のコンテンツを提供する場合、ＨＭＤを着用しているユーザは、自らの頭を右又は左に回転させて、ＨＭＤによって提供される視野外のビデオコンテンツ部分を見ることができる。別の例によれば、没入型システムがＣＡＶＥ（Cave自動仮想環境）システムであり、広視野コンテンツが部屋の壁に投影される。ＣＡＶＥの壁は、例えば背面映写スクリーン又はフラットパネルディスプレイで作られる。従って、ユーザは、部屋の様々な壁上の自らの注視を見て回ることができる。ＣＡＶＥシステムは、有利には、ユーザの画像を取得して、それらの画像をビデオ処理することによってユーザの注視方向を決定するカメラを備える。改変形態によれば、ユーザの注視又は姿勢が追跡システム、例えば赤外線追跡システムによって決定され、ユーザは赤外線センサを着用している。別の改変形態によれば、没入型システムは、触覚表示画面を有するタブレット又はスマートフォンであり、ユーザはタブレット／スマートフォンを動かすことによってコンテンツ内を見て回り、表示されるコンテンツはタブレット／スマートフォンの位置変化に従って変わる。
広視野コンテンツ１０及び一部分１２は、現実オブジェクト及び仮想オブジェクトを含むことができ、即ち広視野コンテンツ１０によって表現されるシーンは、現実要素と仮想要素とを混合する拡張現実シーンである。現実オブジェクトは、画像取得装置（例えば、カメラ）を使って取得される現実シーンの一部分であり、仮想オブジェクトは、コンピュータ生成画像（ＣＧＩ）から得ることができる。
広視野コンテンツ１０及び一部分１２は、前景オブジェクト及び背景オブジェクトを含み得る。背景オブジェクトは、例えば、広視野コンテンツ１０の背景を表す第１のビデオから得ることができる。前景オブジェクトは、例えば、前景オブジェクトの１つ又は複数をそれぞれ表す１つ又は複数の第２のビデオから得ることができ、広視野コンテンツは、第１のビデオを第２のビデオと合成することによって得られる。かかる合成は、例えば、平面ビデオから視差を有する広視野コンテンツを得るために使用することができる。
別の例によれば、没入型ディスプレイ装置上でレンダリング及び表示される広視野コンテンツは、例えば、没入型ディスプレイ装置のカメラを使って実時間で取得される現実シーンの画像上に、没入型コンテンツに属する１つ又は複数の仮想オブジェクトをオーバレイすることによって得られる。この例によれば、没入型ディスプレイ装置はタブレットとすることができ、１つ又は複数の仮想オブジェクトがオーバレイされる現実シーンの画像は、タブレットのリアカメラを使って取得される。リアカメラを使って取得される画像がタブレットの画面上に表示され、没入型コンテンツの一部分がその画像上にオーバレイされるか、又はその画像と合成されて拡張現実（ＡＲ）画像が得られる。タブレットを保持するユーザは、幾つかの視点に従って現実シーンの幾つかの画像を取得することができ、現実シーンのそれらの画像の視点に従い、没入型コンテンツの仮想オブジェクトがそれらの画像に追加される。
更なる例によれば、没入型ディスプレイ装置上でレンダリング及び表示される広視野コンテンツは、カメラを使って取得される現実シーンの画像に対して広視野仮想コンテンツ（広視野ＣＧＩコンテンツとも呼ばれる）を混合することによって得られる。現実シーンの画像を取得するために使用されるカメラの姿勢は、例えば、拡張現実（又は拡張仮想）広視野コンテンツを生成する目的で、仮想カメラの対応する姿勢を決定して現実シーンの画像に対応する広視野仮想コンテンツシーンの一部分を選択するために使用される。
上記の例の一部では、没入型ディスプレイ装置上でレンダリング及び／又は表示される広視野は、標準的なカメラを使って取得される１つ又は複数の画像、即ち非没入型画像に対して没入型コンテンツの一部分を混合することによって得られる。
当然ながら、広視野コンテンツ１０は４πステラジアンビデオコンテンツに限定されず、視野１２よりも大きいサイズを有する任意のビデオコンテンツ（又は視聴覚コンテンツ）に及ぶ。広視野コンテンツは、例えば２π、２．５π、３πステラジアンコンテンツ等とすることができる。
ビデオ又はビデオコンテンツでは、１つ又は複数の静止画像を含む一連の連続静止画像と理解される。その結果、広視野コンテンツは１つ又は複数の連続画像を含む。
没入型ビデオとは、「通常の」ビデオ等、画素（即ち色情報の要素）の二次元配列である少なくとも１つの矩形画像上に符号化されるビデオである。レンダリングされるために、画像がマッピング面（例えば、球、立方体、角錐）とも呼ばれる凸面ボリュームの内面上にまずマッピングされ、第２に、そのボリュームの一部分が仮想カメラによって捕捉される。仮想カメラによって捕捉される画像は、没入型ディスプレイ装置（例えば、ＨＭＤ）の画面上にレンダリングされる。立体ビデオは１つ又は２つの矩形画像上に符号化され、装置の特性に従って２つの仮想カメラによって捕捉されるために組み合わせられる２つのマッピング面上に投影される。画像内のマッピング関数に従って画素が符号化される。マッピング関数は、マッピング面に依存する。同じマッピング面に関して、幾つかのマッピング関数があり得る。例えば、画像面内の様々なレイアウトに従って立方体の面を構築することができる。球は、例えば、エクイレクタングラー投影又はグノモニック投影に従ってマッピングすることができる。
図２及び図３は、かかるマッピング関数の非限定的な例を示す。
図２は、エクイレクタングラーマッピング関数の一例を示す。没入型ビデオの画像シーケンスは、球面マッピング面２２上にマッピングされるように意図される矩形画像２１上に符号化される。マッピング関数２３は、画像２１の各画素とマッピング面２２上の点との間の（及びその逆の）マッピングを確立する。図２上では、マッピング関数２３がエクイレクタングラー投影（正距円筒図法とも呼ばれる）に基づいている。画像２１上の画像は歪められる。距離は赤道において守られ、極において引き伸ばされる。直線はもはや直線状ではなく、全体像が歪められる。改変形態では、マッピング関数２３は、例えば、正距円錐図法に基づく。ヘッドマウントディスプレイ装置（ＨＭＤ）、タブレット、又はスマートフォンの場合のように画面２４が矩形の場合、マッピング面２２の一部分が選択される。投影関数２５は、球の中心に位置するカメラによって見られるマッピング面２２の一部分を選択することを含み、カメラは、画面２４に直接フィットする画像を作るために視野及び分解能の観点から構成されている。選択される視野は、没入型ディスプレイ装置の特性に依存する。例えば、ＨＭＤでは、約１２０°である人間の立体視野に視野角が近い。カメラの向く方向はユーザが見ている方向に対応し、カメラの向く方向を修正するために没入型ビデオレンダリング装置の仮想カメラコントローラが使用される。改変形態では、図２のビデオが立体である。かかる改変形態では、画像２１は、２つの別個のマッピング面２２上にマッピングされる２つの別個の画像を含む。マッピング面は、立体効果をレンダリングするために画面の種類に応じて組み合わせられる。
図３は、立方体マッピング関数のレイアウトの一例を示す。画像シーケンスは、立方体マッピング面３２上にマッピングされるように意図される矩形（又は正方形）画像３１上に符号化される。マッピング関数３３は、画像３１内の正方形と立方体３２の面との間の対応関係を確立する。その逆も同様に、マッピング関数は、立方体３２の面がどのように画像３１の面内に編成されるかを決定する。各面上の画像は歪められない。しかし、画像３１の全画像内で線は区分的に直線状であり、全体像が壊される。画像は、（図３の例では白色である既定の又は無作為の色情報で埋められる）空の正方形を含み得る。投影関数は、図２の投影関数として機能する。カメラが立方体３２の中心に配置され、没入型レンダリング装置の画面にフィットする画像を捕捉する。
改変形態では、他のマッピング面及び／又は例えば円柱若しくは角錐上にビデオ画像をマッピングするマッピング関数が使用される。
図４は、本原理の非限定的な実施形態による、広視野コンテンツ１０内に含まれる視点を表す第１の情報を決定するプロセス、及び視点を決定するように構成されたシステム４を示す。
システム４は、没入型ディスプレイ装置４１、４２、４３から得られる情報を処理するように構成された機器４０に接続される没入型ディスプレイ装置４１、４２、４３を含む。図４の非限定的な例によれば、没入型ディスプレイ装置４１〜４３は、第１のＨＭＤ４１上に表示される広視野コンテンツ１０を見る第１のユーザによって着用される第１のＨＭＤ４１、第２のＨＭＤ４２上に表示される同じ広視野コンテンツ１０を見る第２のユーザによって着用される第２のＨＭＤ４２、及びタブレット４３上に表示される同じ広視野コンテンツ１０を見る第３のユーザによって保持されるタブレット４３を含む。第１のユーザ、第２のユーザ、及び第３のユーザは、様々な場所、例えば同じ街又は１つの国若しくは異なる国内の様々な街の様々な家に位置し得る。改変形態によれば、第１のユーザ、第２のユーザ、及び第３のユーザの２人以上が同じ場所、例えば同じ家に位置する。没入型ディスプレイ装置４１〜４３は、広視野コンテンツ１０の視線方向を表す第１の情報を１つ又は複数の通信ネットワーク経由で機器に伝送するように構成されてもよく、例えば、各没入型ディスプレイ装置４１〜４３は、インターネットに（例えば、ゲートウェイ経由で）接続されるＬＡＮ（ローカルエリアネットワーク）に接続され、機器４０はインターネットに接続される。第１のユーザ、第２のユーザ、及び第３のユーザは、（ＨＭＤでは）頭を又は（タブレットでは）腕を回転させることによって広視野コンテンツの様々な部分を見ることができる。その結果、第１のユーザ、第２のユーザ、及び第３のユーザによって見られる広視野の部分に関連する視線方向は異なり得る。改変形態によれば、視線方向の一部は、第１のユーザ、第２のユーザ、及び／又は第３のユーザについて同じであり得る。例えば、第１のユーザ、第２のユーザ、及び／又は第３のユーザが所与の時点において及び／又は異なる時点において広視野コンテンツ１０の同じ部分を見る可能性があり、機器４０に伝送される関連する視線方向が同じである場合がある。没入型ディスプレイ装置の数は３に限定されず、任意の数、例えば１、２、４、１０、１００、１０００、１００００、１０００００、又はそれを超える没入型ディスプレイ装置に及ぶ。没入型ディスプレイ装置の種類はＨＭＤ又はタブレットの何れかに限定されず、広視野コンテンツを視覚化するように適合された任意の種類の没入型ディスプレイ装置、例えばスマートフォン、マウス及び画面に関連するコンピュータ、シースルーグラス等に及ぶ。
機器４０は、広視野コンテンツの視線方向を表す第２の情報、即ち没入型ディスプレイ装置４１〜４３を着用／保持／使用しているユーザによって見られる広視野コンテンツ１０の部分（例えば、画素又は画素ブロック）を表す第２の情報を１つ又は複数の没入型ディスプレイ装置４１〜４３から得る。第２の情報は、例えば没入型ディスプレイ装置によって伝送され、没入型ディスプレイ装置４１〜４３と機器４０とを接続する１つ又は複数の通信ネットワークを介して機器によって受信され得る。改変形態によれば、第２の情報は、記憶装置、例えば機器４０に関連するメモリ又は遠隔記憶設備（例えば、クラウドやサーバ）から得られる。この改変形態によれば、第２の情報は、没入型ディスプレイ装置４１〜４３によって（直接又は没入型ディスプレイ装置４１〜４３に関連するコントローラ装置を介しての何れかで）記録／記憶目的で記憶装置に伝送される。
第２の情報は様々な形態を取ることができ、又は様々な構文若しくは構造によって表され得る。例えば、ユーザが広視野コンテンツの一部分をそれに従って見る方向は、球座標、即ち（１に設定して、従って無視することができる）半径方向距離の値「ｒ」、並びに２つの角度値「θ」及び「ψ」、方位の「θ」及び傾斜の「ψ」によって表すことができる。別の例によれば、ユーザが広視野コンテンツの一部分をそれに従って見る方向は、画素座標「ｘ」及び「ｙ」によって表すことができ、即ち「ｘ」は画素が属する列数であり、「ｙ」は画素が属する行数である。実際に、図１Ａ、図１Ｂ、図２、及び図３に関して説明したように、広視野コンテンツは、矩形画像（即ち列及び行によって構成される画素行列）内で表現若しくは符号化するか、又は例えば球面若しくは円柱面上にマップすることができる。
広視野コンテンツを見ているユーザは、広視野コンテンツを同じ方向に従って短期間又は一定期間、例えば数ミリ秒又は数秒にわたって見る場合がある。広視野コンテンツがビデオ（即ち画像又はフレームのシーケンス）に対応する場合、広視野コンテンツは、同じ視線方向に従って複数回（例えば、ビデオの幾つかの画像にわたって）見られる可能性がある（視線方向が合う回数は、この同じ視線方向に従ってユーザが見た画像／フレーム数に対応する）。改変形態によれば、第２の情報は、同じ視線方向が検出若しくは測定される回数、及び／又は同じ視線方向が検出若しくは測定される時間を含み得る。この改変形態によれば、第２の情報は、視線方向に関連する座標及び各視線方向に従ってユーザがコンテンツを見る回数（又は各視線方向に従ってコンテンツを見るのに費やされた時間）を含む。
第２の情報は、例えば、図５に示すようなヒートマップの形態を取り得る。ヒートマップは、例えば、広視野コンテンツと同数の画素の列及び行を有する画像（即ち画素行列）に対応し得る。１つのヒートマップは、広視野コンテンツの１つの画像／フレームに関連し得る。改変形態によれば、１つのヒートマップは、広視野コンテンツの複数の画像／フレーム、即ち一時的な視点における複数の連続画像（即ち画像シーケンス）に関連し得る。例えば、１つのヒートマップは、広視野コンテンツの各シーン（カット又はシーケンスとも呼ばれる）に関連し得る。別の改変形態によれば、１つのヒートマップは、全コンテンツについて生成することができ、即ち全広視野コンテンツに関連し得る。色情報は、ヒートマップの画素に関連付けられてもよく、各画素は、１つの異なる視線方向に対応する。所与の画素に関連する色は、所与の画素に関連する視線方向に従って広い領域を見るのに費やされた時間に従って（又は所与の画素に関連する視線方向に従ってコンテンツが見られた回数／画像数に従って）、決定され得る。例えば、ヒートマップはグレースケール画像であってもよく、グレースケール値が各画素に関連付けられており、例えば、その値は、見られていない画素（即ち広視野コンテンツを見るときに合わない視線方向）のための１（即ち白色）と、最も見られている画素（即ち広視野コンテンツを見るときに最も合う視線方向）のための０（即ち黒色）との間に含まれる。ヒートマップの画素に関連するこれらの値は、グレースケール値を符号化するのに使用されるビット数に応じて、０及び２５５又は０及び１０２４で構成され得る。第２の情報を表すために他の表現、例えばヒストグラム、フラクタルマップ、ツリーマップを使用してもよい。
視線方向を表す第２の情報は、例えば、没入型ディスプレイ装置４１〜４３によって生成される。例えば、視線方向を表すパラメータは、没入型ディスプレイ装置のジャイロスコープ等の慣性センサから、又はＩＭＵ（慣性計測装置）から得られ得る。改変形態によれば、視線方向を表す第２の情報は、外部追跡システム、例えば没入型ディスプレイ装置内に埋め込まれる又は没入型ディスプレイ装置上の赤外線放射体を追跡する外部の赤外線カメラによって得られ得る。この改変形態によれば、外部追跡システムは、ユーザの基準フレーム内の没入型ディスプレイ装置の位置（場所）を得ることを可能にする。次いで、第２の情報は、ユーザの基準フレームから広視野の基準フレームへと渡すことを可能にする伝達関数によって得られ得る。別の改変形態によれば、ユーザの基準フレーム内の没入型ディスプレイ装置の位置（場所）を表す情報は、コンピュータビジョン技法を使用することにより、即ち没入型ディスプレイ装置を着用／保持しているユーザの環境の画像を解析することにより得ることができる。この改変形態によれば、視線方向を得るためにユーザの注視方向を検出することができる。ユーザの注視は、幾何モデルベースのアルゴリズム又は外観ベースのアルゴリズムを実装することによって決定され得る。例えばE.D. Guestrin and M. Eizenman,“General theory of remote gaze estimation using the pupil center and corneal reflections”IEEE Trans. Biomed. Eng., vol.53, no.6, pp.1124-1133, Jun. 2006に記載されているように、幾何モデルベースのアルゴリズムは、目の３Ｄ幾何モデルを使用して注視を推定する。注視点は、３Ｄ注視方向（即ち視軸）と画面平面との間の交点として決定される。ほとんどのモデルベースのアルゴリズムは、目を照らす追加の光源（即ち赤外光、ＩＲ）及び目の輝きを捕捉するＩＲカメラを必要とする角膜反射技法を使用する。基本的な考えは、瞳孔中心と、目の輝き、即ち反射による目の最も明るい光点との間の相対位置から注視を推定することである。対照的に、外観ベースのアルゴリズムは、目の特徴と画面上の注視位置との間の２Ｄマッピング問題として注視推定を考える。マッピング関数は、例えば、多層ニューラルネットワーク若しくは回帰モデルを訓練することにより、又は単純に（２Ｄ空間内の）注視点と次元縮小を施した後の目の外観との間の線形補間により見出すことができる。
機器４０は、１つ又は複数の没入型ディスプレイ装置４１〜４３又は遠隔記憶装置から、広視野コンテンツ内の関心を表す第３の情報も得る。第３の情報は、以下の情報の何れか１つ又は以下の情報の２つ以上の組合せに対応し得る。
− 広視野コンテンツを消費するのに費やされた時間を表す情報、例えば、広視野コンテンツが視覚化される持続時間又はユーザによって見られているコンテンツのパーセンテージ。かかる情報は、広視野コンテンツ内の広視野コンテンツを見ているユーザの関心の表れを示す。コンテンツを視覚化するのに長時間費やすユーザ又は全コンテンツを（１回又は複数回）視覚化するユーザは、そのコンテンツに非常に関心があると見なすことができる。対照的に、コンテンツのごく一部のみを見るユーザ又はコンテンツを見るのに数秒のみを費やすユーザは、そのコンテンツにあまり関心がない。
− 広視野コンテンツに関連する評価を表す情報、例えば、広視野コンテンツに関連する「良い」又は「良くない」の数。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。広視野コンテンツについて１人又は複数のユーザが書いたコメントを意味的に解析して、コンテンツ内のユーザの関心、例えば、ユーザが、広視野コンテンツに対して肯定的な意見又は否定的な意見をコメントが有するようにしているかを明らかにすることができる。
− 広視野コンテンツがレンダリングされた回数を表す情報。広視野コンテンツが視覚化された回数が多いほど、コンテンツに対するユーザの関心が高いと見なすことができる。
− ネットワーク上での広視野コンテンツの配信を表す情報、例えば、広視野コンテンツ又はその一部が例えばFacebook（登録商標）又はTwitter（登録商標）等のソーシャルネットワークプラットフォーム上で共有又は配信された回数。
第３の情報は、例えば、第２の情報に重み付けして、広視野コンテンツ１０の関心地点に関する第１の情報を得るために使用することができる。その目的を達成するために、及び非限定的な例によれば広視野コンテンツを見ている又は見たユーザの体験に従い、ヒートマップの各画素に第１の重みを関連付けて、ヒートマップの（即ち集められた視線方向の）重要度を修正することができる。
例えば、以下に挙げる各情報から下位重みを得ることができる。
− 広視野コンテンツを消費するのに費やされた時間を表す情報。即ち、例えば、０〜１（コンテンツの０％が見られている０から、コンテンツの１００％が見られている１まで）に含まれる持続時間に関係する下位重み「ｄ」。広視野コンテンツに割り当てられる大域的下位重み「ｄ」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連する評価を表す情報。即ち、例えば、０．８〜１．２（良くないは０．８、良いは１．２、評価なしは１）に含まれる評価に関係する下位重み「ｒ」。広視野コンテンツに割り当てられる大域的下位重み「ｒ」は、全ての下位重みの平均に対応する。
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報。即ち、例えば、０．８〜１．２（否定的なコメントは０．８、肯定的なコメントは１．２、コメントなし又は肯定的とも否定的とも分類されないコメントは１）に含まれるコメントに関係する下位重み「ｃ」。広視野コンテンツに割り当てられる大域的下位重み「ｃ」は、全ての下位重みの平均に対応する。
− 広視野コンテンツがレンダリングされた回数を表す情報。即ち、等式ｖ＝１＋Ｎｖｉｅｗｓ／Ｉ（ここで、Ｎｖｉｅｗｓは、所与のユーザによってコンテンツが見られた回数に対応し、Ｉは、決定済みの回数の上限、例えば１００である）によって得られる、例えば１〜２に含まれるビュー数に関係する下位重み「ｖ」。広視野コンテンツに割り当てられる大域的下位重み「ｖ」は、様々なユーザから得られる全ての下位重み「ｖ」の平均に対応する。
− ネットワーク上での広視野コンテンツの配信を表す情報。即ち、等式ｓ＝１＋Ｎｄｉｓｔｒｉｂｕｔｉｏｎ／Ｉ（ここで、Ｎｄｉｓｔｒｉｂｕｔｉｏｎは、所与のユーザによってコンテンツが配信又は共有された回数に対応し、Ｉは、決定済みの回数の上限、例えば１００である）によって得られる、例えば１〜２に含まれる配信に関係する下位重み「ｓ」。広視野コンテンツに割り当てられる大域的下位重み「ｓ」は、様々なユーザから得られる全ての下位重み「ｓ」の平均に対応する。
第１の情報を得るために第２の情報に適用される第１の重みは、考慮される下位重みに依存する。１つの下位重みのみを考慮することができ、又は幾つかの若しくは全ての下位重みの組合せを考慮してもよい。第２の情報に重み付けするために全ての情報が使用される場合、即ち第１の重みを得るために全ての下位重みが使用される場合、第１の重み「Ｗ１」が以下の等式：

から得られ、５．７６は（ｄ×ｌ×ｃ×ｖ×ｓ）の最大値に対応する。
当然ながら、「Ｗ１」を得るための等式は、第１の重みを得るために使用又は考慮される下位重みに応じて変わる。
ヒートマップの値Ｐｉ，ｊを有する画素ごとの重み付けＷ（ｉ及びｊは、画素Ｐが属する行及び列にそれぞれ対応する）を以下の等式によって得ることができる。
Ｗ（Ｐｉ，ｊ）＝Ｐｉ，ｊ×ｗ１，Ｗ∈［０；１］ 等式２
機器４０は、例えば、各没入型ディスプレイ装置４１〜４３から第２の情報及び第３の情報を取得し、関心地点を表す第１の情報を決定する。例えば、機器４０は、没入型ディスプレイ装置ごとにヒートマップを生成し、対応する第１の重みを用いてヒートマップに重み付けし（即ち考慮される没入型ディスプレイ装置から受信される第３の情報から得られる第１の重みは、考慮される没入型ディスプレイ装置から得られるヒートマップに対応する）、例えば、重み付けされた全てのヒートマップの組合せに対応する最終的なヒートマップを生成し、即ち最終的なヒートマップは、例えば、取得済みの重み付けされた全てのヒートマップの平均に対応する。その一例を図５によって示す。
図５は、広視野コンテンツ１０の関心地点を表す第１の情報に関する表現の一例を示す。第１の情報は、広視野コンテンツの矩形表現と同じサイズ（同じ画素数）を有するグレースケール画像に対応するヒートマップ５３によって表される。ヒートマップ５３は、例えば、広視野コンテンツのフレーム（即ち所与の瞬間における広視野の画像）、又は連続フレーム、例えば１０、２０、又は１００フレームの群に関連する。ヒートマップ５３は、第１のヒートマップ５１及び第２のヒートマップ５２から得られる。第１のヒートマップ５１は、例えば、第１の没入型ディスプレイ装置４１から得られる第１の情報から生成される。ヒートマップ５１の最も暗い画素は、第１の没入型ディスプレイ装置４１を使用するユーザによって最も見られている広視野コンテンツの画素を表し、白色画素は、より見られていない又は全く見られていない画素を表す。第２のヒートマップ５２は、例えば、第２の没入型ディスプレイ装置４２から得られる第１の情報から生成される。ヒートマップ５２の最も暗い画素は、第２の没入型ディスプレイ装置４２を使用するユーザによって最も見られている広視野コンテンツの画素を表し、白色画素は、より見られていない又は全く見られていない画素を表す。ヒートマップ５３は、第１のヒートマップ５１と第２のヒートマップ５２とを組み合わせることによって生成される。ヒートマップ５３は、例えば、重み付けされた第１のヒートマップと重み付けされた第２のヒートマップとの平均に対応する。重み付けされた第１のヒートマップは、第１の没入型ディスプレイ装置４１から得られる第３の情報から得られる第１の重みが適用される第１のヒートマップ５１に対応する。重み付けされた第２のヒートマップは、図４に関して説明したように、第２の没入型ディスプレイ装置４２から得られる第３の情報から得られる第１の重みが適用される第２のヒートマップ５２に対応する。広視野の関心地点又は関心領域は、最も見られている画素、即ち最も暗い画素であるものとしてヒートマップ５３（図５によって示す実施形態による第１の情報に対応する）から決定される。ヒートマップ５３は、ヒートマップ５３と同じ画素数（同じ行及び列数）を有する広視野コンテンツの１つ又は複数の画像に関連付けられているので、１つ又は複数の画像内に含まれる関心地点は、最も暗い画素が関連ヒートマップ５３上で現れる場所にある。
第１のヒートマップ５１及び第２のヒートマップ５２は、機器４０により、又は各没入型ディスプレイ装置４１及び４２（又は没入型ディスプレイ装置に関連するコントローラ）により生成することができ、そこから第２の、即ちユーザ側の情報が得られる。
任意選択的な改変形態によれば、第１の重みの他に第２の重みを第２の情報（例えば、ヒートマップ）に加えて、関心地点を表す第１の情報を得ることができる。第２の重みは、第２の情報を得るために使用される没入型ディスプレイ装置を用いて、広視野コンテンツ１０を消費するユーザのプロファイルを表す第４の情報から得ることができる。換言すれば、各没入型ディスプレイ装置に関連する又は各没入型ディスプレイ装置から得られる第２の情報（ヒートマップ）に更に重み付けするために、没入型ディスプレイ装置ごとに第２の重みを得ることができる。第４の情報は、例えば、ユーザの経験の度合いに対応し、即ちユーザが広視野コンテンツの初心者であるか又は専門家であるかの情報を与える。第４の情報は、例えば、ユーザが消費するコンテンツの種類を解析することによって得ることができ、消費された広視野コンテンツの総数が決定済みの数（例えば、１００、１０００、又はそれを超える）を上回るとき、ユーザは専門家と見なされる。例えば、１〜２に含まれる下位重み「ｐ」を得ることができる。第２の重みを考慮に入れる場合、他の下位重みと同じ方法で下位重み「ｐ」を等式１に追加することができ、等式１の分母の値はそれに応じて適合される。
更なる任意選択的な改変形態によれば、第１の重みの他に（且つ任意選択的に第２の重みの他に）第３の重みを第２の情報（例えば、ヒートマップ）に加えて、関心地点を表す第１の情報を得ることができる。第３の重みは、第２の情報を得るために使用される没入型ディスプレイ装置を用いて、広視野コンテンツ１０を消費するユーザの挙動を表す第５の情報から得ることができる。換言すれば、各没入型ディスプレイ装置に関連する又は各没入型ディスプレイ装置から得られる第２の情報（ヒートマップ）に更に重み付けするために、没入型ディスプレイ装置ごとに第３の重みを得ることができる。例えば、広視野コンテンツを見ているときのユーザの挙動を解析して、即ち、例えば、広視野ディスプレイの表示中に没入型ディスプレイ装置が動くかどうかを解析することによって第５の情報を得ることができる。例えば、コンテンツを見ているときにユーザが全く動かない又は速く動き過ぎる（即ち没入型ディスプレイ装置の変位速度が決定済みの速度限界を上回る）場合、ユーザはそのコンテンツを見ていないと見なすことができる。例えば、０〜１に含まれる下位重み「ｂ」を得ることができ、０はコンテンツを見ていない場合であり、１は高い集中力でコンテンツを見ている場合である。第３の重みを考慮に入れる場合、他の下位重みと同じ方法で下位重み「ｂ」を等式１に追加することができ、等式１の分母の値はそれに応じて適合される。
機器４０は、第１の情報に従って、即ち決定される視点に従って広視野コンテンツを処理するように構成されている。機器４０は、処理済みの広視野コンテンツを１つ又は複数の没入型ディスプレイ装置４４に伝送するようにも構成されている。処理済みの広視野コンテンツは、第２の情報及び第３の情報を伝送した没入型ディスプレイ装置４１〜４３にも伝送され得る。広視野コンテンツ１０の処理は、以下の操作の１つ又は以下の操作の組合せを含む。
− メタデータを広視野コンテンツに関連させること。メタデータは、１つ又は複数の決定済みの関心地点の場所に関する情報を含む。メタデータは、没入型ディスプレイ装置を用いて広視野コンテンツを見ているユーザが関心地点を見逃さないように導くために、広視野コンテンツをレンダリングするときに没入型ディスプレイ装置によって使用され得る。
− 例えば、広視野コンテンツの表示が、決定済みの関心地点を含む広視野コンテンツの一部分から始まるように、決定済みの関心地点（又は３つ以上の関心地点が決定されている場合、それらの１つ、例えば集められた第２の情報及び第３の情報から最も見られていると判定される関心地点）を中心に広視野コンテンツを中央揃えすることにより、関心地点を含まない広視野コンテンツの領域をぼかすことにより、且つ／又は関心地点が何れにあるかを示すためにコンテンツ（例えば、音声情報又はグラフィカル情報）を追加することにより、広視野コンテンツを修正すること。
広視野コンテンツに適用される処理によれば、没入型ディスプレイ装置４４は、広視野コンテンツを更に適合させてもさせなくてもよい。例えば、広視野が既に修正されている（即ち上記で説明したように中央揃えされるか又はぼかされている）場合、没入型ディスプレイ装置４４は、広視野コンテンツを更に処理する必要がない。関心地点をユーザに見せるには、機器４０によって既に処理されている広視野コンテンツを表示すれば十分である。広視野コンテンツ内の関心地点の場所をメタデータが示す場合、没入型ディスプレイ装置（又は没入型ディスプレイ装置に関連するコントローラ）は、関心地点を含む広視野コンテンツの領域を見るようにユーザを促すために、広視野コンテンツを更に処理することができる。図６は、広視野コンテンツのそうした更なる処理の一例を示す。
図６は、本原理の特定の且つ非限定的な実施形態による、広視野コンテンツの決定済みの関心地点を見るようにユーザを促すように構成されたプロセスを示す。このプロセスは、例えば、広視野コンテンツを受信する没入型ディスプレイ装置４４（又は没入型ディスプレイ装置に関連するコントローラ）によって実装される。
没入型ディスプレイ装置４４は、関心地点を表すデータ６１、例えば広視野コンテンツ１０内の関心地点の座標又は関心地点を含む広視野コンテンツの空間的部分の限界を表す座標と共に、広視野コンテンツ１０を表すデータ（例えば、広視野コンテンツの画素ごとの赤色、緑色、及び青色（ＲＧＢ）データ）を機器４０から（ＬＡＮ、インターネット、ＷＡＮ（広域ネットワーク）等の１つ又は複数の通信ネットワークを介して）受信する。広視野コンテンツを表すデータ１０は、関心地点を表すデータ６１と共にレンダリングモジュール（ハードウェア又はソフトウェア）６３に提供／伝送される。レンダリングモジュールは、没入型ディスプレイ装置４４内に又は没入型ディスプレイ装置４４上で表示されるコンテンツをレンダリングするコントローラ内に埋め込まれ得る。レンダリングモジュール６３は、没入型ディスプレイ装置４４の姿勢を表す情報６２、例えば、没入型ディスプレイ装置４４がＨＭＤである場合、ＩＭＵから得られる視線方向も受信する。この姿勢情報６２及びデータ６１に従って、広視野コンテンツのレンダリングが行われる。例えば、ユーザの注視が関心地点から離れることを姿勢情報６２が示す場合、関心地点から離れるときにユーザの頭／注視の動きに対する抵抗があるかのように、レンダリング及び表示される広視野部分が姿勢情報に対応しない。このような効果は、例えば、没入型ディスプレイ装置の検出済みの姿勢が関心地点を含む又は含まない広視野コンテンツの領域に対応するかどうかに応じて異なる挙動を有するマッピング関数によって得ることができる（マッピング関数は、没入型ディスプレイ装置の姿勢と没入型ディスプレイ装置上に表示される広視野コンテンツの一部分の視点との間の関係を表す）。例えば、没入型ディスプレイ装置の姿勢が、関心地点を含む広視野コンテンツの一部分に対応する値の範囲内に留まる場合、没入型ディスプレイ部分のレンダリング／表示される部分が没入型ディスプレイ装置の姿勢の変化をたどる。没入型ディスプレイ装置の姿勢が、関心地点を含む広視野コンテンツの一部分に対応する値の範囲外にある場合、例えば、関心地点から離れるときに広視野の視点の変化が姿勢の変化よりも遅くなるかのように、関心地点から離れるとき抵抗があったかのように、没入型ディスプレイ部分のレンダリング／表示される部分が没入型ディスプレイ装置の姿勢の変化をたどらない。かかる実装形態については、２０１５年１２月２２日に欧州特許庁に出願された欧州特許出願欧州特許出願公開第１５３０７０９４．１号に記載されている。
図７は、広視野ビデオコンテンツ１０を表示及び／又はレンダリングするように構成された没入型ディスプレイ装置７のハードウェアの実施形態を図面によって示し、広視野ビデオコンテンツ１０のコンテンツは、没入型ディスプレイ装置７の位置に応じて少なくとも部分的に変化する。没入型ディスプレイ装置７は、例えば、ＨＭＤに対応する。没入型ディスプレイ装置７は、少なくとも１つの慣性センサ７１、少なくとも１つの表示ユニット（例えば、ＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、又はＬＣＯＳ（液晶オンシリコン））７２、及び伝送ユニット７３を含む。慣性センサ７１は、例えば、ジャイロスコープに対応し、没入型ディスプレイ装置７は、例えば、３つのジャイロスコープ（ピッチに１つ、ロールに１つ、及びヨーに１つ）を含む。別の例によれば、慣性センサ７１がＩＭＵ（慣性計測装置）に対応する。慣性センサにはコントローラを関連付けることができ、コントローラは、慣性センサによって取得される装置の位置変化を表すデータを処理し、そのデータを第１のバス経由で伝送ユニット７３に伝送するように構成されている。伝送ユニット７３は、例えば、無線インタフェースであり、慣性センサ７１から受信されるデータを無線リンク経由で（例えば、Wi-Fi（登録商標）又はBluetooth（登録商標）に従って）外部装置（不図示）に伝送するように構成されている。外部装置は、例えば、セットトップボックス（ＳＴＢ）、コンピュータ、又はビデオコンテンツを記憶、構成、及び／若しくは復号するように適合された任意の装置である。伝送ユニット７３は、ディスプレイユニット７２上に表示されるビデオコンテンツの画像１０を表すデータを例えば外部装置から無線リンク経由で受信するように更に構成され得る。次いで、表示される画像１０を表すデータが第２のバス経由でディスプレイユニット７２に伝送される。改変形態によれば、伝送ユニットは、例えば、ＵＳＢ規格又はＨＤＭＩ（登録商標）規格に従い、有線リンクによってデータを送信／受信するように構成されたインタフェースである。外部装置は、ＨＭＤの測定位置に対応するビデオコンテンツの一部分をＨＭＤに伝送することができる。ＨＭＤの測定位置に対応するビデオコンテンツの一部分は、例えば、現実世界内のＨＭＤに関連する視点とビデオコンテンツに関連する仮想カメラの視点との間の関係を確立する特定の関数によって決定される。没入型ディスプレイ装置の測定位置に応じて没入型ディスプレイ装置の表示画面上に表示されるビデオコンテンツの一部分を制御することは、とりわけビデオコンテンツが没入型ディスプレイ装置の表示画面に関連する視野よりも大きい場合、没入型ディスプレイ装置を着用しているユーザがビデオコンテンツ内を見て回ることを可能にする。例えば、没入型ディスプレイ装置、即ちＨＭＤによって提供される視野が（例えば、ヨー軸の周りの）１１０°に等しい場合、且つビデオコンテンツが１８０°のコンテンツを提供する場合、ＨＭＤを着用しているユーザは、自らの頭を右又は左に回転させて、ＨＭＤによって提供される視野外のビデオコンテンツ部分を見ることができる。
図８は、広視野コンテンツの関心地点を決定し、広視野コンテンツを処理し、及び／又は広視野コンテンツが処理されているかいないかに関わらず、広視野コンテンツをレンダリングするように構成された機器８のハードウェアの実施形態を図面によって示す。機器８は、１つ又は幾つかの画像の表示信号を作成するようにも構成されている。機器８は、例えば、タブレット、スマートフォン、ゲーム機、コンピュータ、ラップトップ、セットトップボックスに対応し、且つ／又は没入型ディスプレイ装置７のコンポーネントであり得る。
機器８は、クロック信号も搬送するアドレス及びデータのバス８５によって互いに接続される以下の要素、即ち、
− マイクロプロセッサ８１（又はＣＰＵ）、
− グラフィックスカード８２であって、
・幾つかのグラフィックス処理装置（又はＧＰＵ）８２０、
・グラフィカルランダムアクセスメモリ（ＧＲＡＭ）８２１
を含むグラフィックスカード８２、
− ＲＯＭ（読取専用メモリ）型の不揮発性メモリ８６、
− ランダムアクセスメモリ又はＲＡＭ８７、
− 画像を表すデータを伝送するように構成された送信機８８、
− 没入型ディスプレイ装置から（例えば、視線方向を表す第２の情報）、及び／又は他の機器から（例えば、第３の情報、第４の情報、及び／又は第５の情報）、取得装置から（例えば、広視野コンテンツを表すデータ）、及び／又は（コンテンツ、第１の情報、第２の情報、第３の情報、第４の情報、及び／又は第５の情報を表すデータを記憶する）記憶装置からデータを受信するように構成された受信機８９、
− 例えば、触覚インタフェース、マウス、ウェブカメラ等の１つ又は幾つかのＩ／Ｏ（入力／出力）装置８４、及び
− 電源８９
を含む。
機器８は、グラフィックスカード内で計算される画像を例えば生で表示するためにグラフィックスカード８２に直接接続される、表示画面型の１つ又は複数のディスプレイ装置８３も含み得る。ディスプレイ装置８３をグラフィックスカード８２に接続するために専用バスを使用することは、はるかに大きいデータ伝送ビットレートを有する、従ってグラフィックスカードによって構成された画像を表示するための待ち時間を短縮する利点をもたらす。改変形態によれば、ディスプレイ装置が機器８の外部にあり、表示信号を伝送するためにケーブルによって又は無線で機器８に接続される。機器８、例えばグラフィックスカード８２は、例えば、第１のディスプレイ装置（例えば、ＨＭＤ）、ＬＣＤ、プラズマ画面、ビデオプロジェクタ等の外部の表示手段に表示信号を伝送するように適合された伝送又は接続用インタフェース（図８には不図示）を含む。
言及するメモリのそれぞれにおいて、メモリ８２１、８６、及び８７の説明で使用する「レジスタ」という用語は、小容量のメモリゾーン（多少のバイナリデータ）並びに（全プログラム、又は計算されたデータ若しくは表示されるデータを表すデータの全て若しくは一部の記憶を可能にする）大容量のメモリゾーンの両方を指すことを指摘しておく。
オンにされると、マイクロプロセッサ８１は、ＲＡＭ８７内に含まれるプログラムの命令をロード及び実行する。
ランダムアクセスメモリ８７は、とりわけ、
− レジスタ８７０内の、機器８をオンにする役割を果たすマイクロプロセッサ８１の動作プログラム、
− 広視野コンテンツを表すデータ８７１（例えば、ＲＧＢデータ）、
− 第１の情報８７２、
− 第２の情報８７３、
− 第３の情報８７４
を含む。
本開示に固有の方法（例えば、第１の画像を伝送する方法及び／又は第１の画像を合成する方法）のステップを実装するアルゴリズムは、それらのステップを実装する機器８に関連するグラフィックスカード８２のメモリＧＲＡＭ８２１内に記憶される。オンにされ、データ８７１及び情報８７３、８７４がＲＡＭ８７内にロードされると、グラフィックスカード８２のグラフィックプロセッサ８２０がそれらのパラメータをＧＲＡＭ８２１内にロードし、例えば、ＨＬＳＬ（上位レベルシェーダー言語）言語又はＧＬＳＬ（OpenGLシェーディング言語）を使用する「シェーダー」型のマイクロプログラムの形態を取るそれらのアルゴリズムの命令を実行する。
ランダムアクセスメモリＧＲＡＭ８２１は、とりわけ、
− レジスタ内の、画像を表すデータ、
− レジスタ内の、第１の情報、第２の情報、及び第３の情報を表すデータ
を含む。
別の改変形態によれば、ＧＲＡＭ８２１内で利用できるメモリ記憶空間が不足する場合、識別情報及び距離を記憶するためにＲＡＭ８７の一部がＣＰＵ８１によって割り当てられる。しかし、この改変形態は、ＧＰＵ内に含まれるマイクロプログラムから構成された環境の表現を含む画像構成において長い待ち時間を引き起こし、その理由は、グラフィックスカードからランダムアクセスメモリ８７にバス８５を通過するデータを伝送する必要があるからであり、ＧＰＵからＧＲＡＭに又はその逆にデータを伝送するためにグラフィックスカード内で利用可能な伝送容量に比べ、バス８５では伝送容量が概して劣る。
別の改変形態によれば、電源８９が機器８の外部にある。
代替的実施形態では、機器８は、いかなるＲＯＭも含まず、ＲＡＭのみを含み、本開示に固有の及び図９に関して説明する方法のステップを実装するアルゴリズムはＲＡＭ内に記憶される。別の改変形態によれば、機器８は、ＲＯＭ及び／又はＲＡＭの代わりにＳＳＤ（ソリッドステートドライブ）メモリを含む。
図９は、本原理の非限定的な実施形態による、広視野コンテンツの１つ又は複数の関心地点を表す第１の情報を決定する方法を示す。この方法は、例えば、機器８又は没入型ディスプレイ装置７によって実装される。
ステップ９０では、機器８の様々なパラメータを更新する。具体的には、視線方向及び／又は広視野コンテンツ内の関心を表すパラメータを任意の方法で初期設定する。
ステップ９１では、１つ又は複数の視線方向を表す第２の情報を取得し、各視線方向は、（広視野コンテンツを表示するために使用される）没入型ディスプレイ装置を着用又は保持するユーザが広視野コンテンツ又はその一部分を見る方向に対応する。視線方向は、広視野コンテンツの何れの部分が没入型ディスプレイ装置の画面上に表示されるかを決定できるようにする。第２の情報は、（１つ又は複数の有線ネットワーク又は無線ネットワークによって第２の情報を伝送し得る）没入型ディスプレイ装置により、（例えば、測定された視線方向に従って没入型ディスプレイ装置の画面上に表示するための広視野コンテンツの一部分をレンダリングする）没入型ディスプレイ装置を制御するコントローラにより、又は外部追跡システム、例えば注視追跡システム等の視線方向を決定するように構成されたシステムにより直接得られ、即ち測定又は決定される。別の例によれば、第２の情報は、機器８の記憶装置、例えば、ローカルメモリ装置、例えばＲＡＭ、ＧＲＡＭ、及び／又はＳＳＤから、又はサーバ若しくはクラウド等の遠隔メモリ装置／エンティティから得られ、即ち受信される。
ステップ９２では、広視野コンテンツ内の関心を表す第３の情報を取得し、即ち例えば決定又は受信する。第３の情報は、例えば、
− 広視野コンテンツを消費するのに費やされた時間を表す情報、
− 広視野コンテンツに関連する評価を表す情報、
− 広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
− 広視野コンテンツがレンダリング及び／又は表示された回数を表す情報、及び
− ネットワーク上での広視野コンテンツの配信を表す情報
の１つであるか、又はかかる情報の任意の組合せである。
第３の情報は、例えば、没入型ディスプレイ装置から、没入型ディスプレイ装置に関連するコントローラから、広視野コンテンツが記憶され得るサーバ等の遠隔記憶装置から受信される。改変形態によれば、第３の情報は、機器８の記憶装置、例えば、ローカルメモリ装置、例えばＲＡＭ、ＧＲＡＭ、ＳＳＤから、又はサーバ又はクラウド等の遠隔メモリ装置／エンティティから得られ、即ち受信される。
ステップ９３では、第１の情報を第２の情報及び第３の情報から決定する。広視野コンテンツ内の関心地点の場所は、例えば、最も見られている広視野コンテンツの空間領域として決定されてもよく、第２の情報は、第３の情報又は第３の情報に関連する値が決定済みの値以上である（例えば、広視野コンテンツを消費するのに費やされた時間が決定済みの時間を上回る場合、及び／又は広視野コンテンツが決定済みの回数よりも多くレンダリングされている場合）にのみ考慮される。広視野コンテンツの空間的部分及び／又は広視野コンテンツの時間的部分について、１つの視点を表す第１の情報を決定することができる。広視野コンテンツの時間的部分は、例えば、広視野コンテンツがビデオの場合、連続フレームの持続時間又は数に対応する。当然ながら、視点は時間と共に変化する可能性があり、即ち視点は所与の瞬間におけるオブジェクト及びその所与の瞬間よりも後の別の瞬間における別のオブジェクトであり得る。同様に、同じ瞬間において、例えば広視野コンテンツの同じ画像／フレーム内で複数の関心地点を決定することができる。
当然ながら、本開示は先に記載した実施形態に限定されない。
具体的には、本開示は視点を表す第１の情報を決定する方法及び装置に限定されず、第１の情報に従って広視野コンテンツを処理する方法、及び／又は処理済みの広視野コンテンツをレンダリング及び／又は表示する方法、それらの方法を実装する任意の装置、並びにとりわけ少なくとも１個のＣＰＵ及び／又は少なくとも１個のＧＰＵを含む任意の装置にも及ぶ。
本開示は、決定済みの関心地点にユーザの関心を集中させる広視野コンテンツの画像を得る／生成する方法（及びそのように構成された装置）にも関する。
本開示は、処理済みの広視野コンテンツを表すデータ、例えば機器８から没入型ディスプレイ装置７によって受信されるデータを受信する方法（及びそのように構成された装置）にも関する。
本明細書に記載した実装形態は、例えば、方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態に関連してのみ論じられる場合でも（例えば、方法又は装置としてのみ論じられる場合でも）、論じられた特徴の実装形態は、他の形式（例えば、プログラム）で実装することができる。機器は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は、例えば、プロセッサ等の機器によって実装することができ、プロセッサは、概して、例えば、コンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置を指す。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、エンドユーザ間の情報の通信を補助する他の装置等の通信装置も含む。
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び／又は深度情報の他の処理に関連する機器又はアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法は、プロセッサによって実行される命令によって実装されてもよく、かかる命令（及び／又は実装形態によって作り出されるデータ値）は、例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、多くの場合にデジタル多用途ディスク又はデジタルビデオディスクと呼ばれるＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、読取専用メモリ（「ＲＯＭ」）等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せの中に入れられてもよい。命令は、例えばオペレーティングシステム、別個のアプリケーション、又は両者の組合せの中に存在してもよい。従って、プロセッサは、例えば、プロセスを実行するように構成された装置及びプロセスを実行する命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更に、プロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装形態は、例えば、記憶又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば、方法を実行する命令又は記載した実装形態の１つによって作り出されるデータを含み得る。例えば、信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装形態を記載してきた。それでもなお、様々な修正形態がなされ得ることが理解されるであろう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスで置換してもよく、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じ方法で実行することを当業者は理解するであろう。従って、これらの及び他の実装形態も本願によって予期される。

Claims (13)

  1. 広視野コンテンツ（１０）の関心地点を表す第１の情報を決定する方法であって、前記広視野コンテンツ（１０）の少なくとも一部分に関連する少なくとも視線方向（１１０）を表す第２の情報、及び前記広視野コンテンツ内の関心を表す第３の情報から前記第１の情報を決定すること（９３）を含む、方法。
  2. 前記第３の情報は、
    前記広視野コンテンツを消費するのに費やされた時間を表す情報、
    前記広視野コンテンツに関連する評価を表す情報、
    前記広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
    前記広視野コンテンツがレンダリングされた回数を表す情報、及び
    ネットワーク上での前記広視野コンテンツの配信を表す情報
    の少なくとも１つに対応する、請求項１に記載の方法。
  3. 前記第３の情報から第１の重み付け値を決定することを更に含み、前記第２の情報は、前記第１の情報を決定するために前記第１の重み付け値で重み付けされる、請求項１又は２に記載の方法。
  4. 前記広視野コンテンツを消費するユーザのプロファイルを表す第４の情報を得ることを更に含み、前記第１の情報は、前記第４の情報から更に決定される、請求項１〜３の何れか一項に記載の方法。
  5. 前記第４の情報から第２の重み付け値を決定することを更に含み、前記第２の情報は、前記第１の情報を決定するために前記第２の重み付け値で重み付けされる、請求項４に記載の方法。
  6. 前記広視野コンテンツを前記第１の情報に従って処理し、且つ前記処理済みの広視野コンテンツを伝送することを更に含む、請求項１〜５の何れか一項に記載の方法。
  7. 広視野コンテンツの関心地点を表す第１の情報を決定するように構成された装置（８）であって、前記広視野コンテンツ（１０）の少なくとも一部分に関連する少なくとも視線方向（１１０）を表す第２の情報、及び前記広視野コンテンツ内の関心を表す第３の情報から前記第１の情報を決定するように構成されたプロセッサ（８１）に関連するメモリ（８７）を含む、装置（８）。
  8. 前記第３の情報は、
    前記広視野コンテンツを消費するのに費やされた時間を表す情報、
    前記広視野コンテンツに関連する評価を表す情報、
    前記広視野コンテンツに関連するコメントの意味解析の結果を表す情報、
    前記広視野コンテンツがレンダリングされた回数を表す情報、及び
    ネットワーク上での前記広視野コンテンツの配信を表す情報
    の少なくとも１つに対応する、請求項７に記載の装置。
  9. 前記プロセッサは、前記第３の情報から第１の重み付け値を決定するように更に構成されており、前記第２の情報は、前記第１の情報を決定するために前記第１の重み付け値で重み付けされる、請求項７又は８に記載の装置。
  10. 前記プロセッサは、前記広視野コンテンツを消費するユーザのプロファイルを表す第４の情報を得るように更に構成されており、前記第１の情報は、前記第４の情報から更に決定される、請求項７〜９の何れか一項に記載の装置。
  11. 前記プロセッサは、前記第４の情報から第２の重み付け値を決定するように更に構成されており、前記第２の情報は、前記第１の情報を決定するために前記第２の重み付け値で重み付けされる、請求項１０に記載の装置。
  12. 前記プロセッサは、前記広視野コンテンツを前記第１の情報に従って処理し、且つ前記処理済みの広視野コンテンツを伝送するように更に構成されている、請求項７〜１１の何れか一項に記載の装置。
  13. 非一時的プロセッサ可読媒体であって、その中に少なくとも請求項１〜６の何れか一項に記載の方法のステップをプロセッサに実行させるための命令を記憶している、非一時的プロセッサ可読媒体。
JP2017230882A 2016-12-14 2017-11-30 没入型コンテンツ内の関心地点を決定する方法及び装置 Pending JP2018139102A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306678.0 2016-12-14
EP16306678.0A EP3337154A1 (en) 2016-12-14 2016-12-14 Method and device for determining points of interest in an immersive content

Publications (1)

Publication Number Publication Date
JP2018139102A true JP2018139102A (ja) 2018-09-06

Family

ID=57755110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017230882A Pending JP2018139102A (ja) 2016-12-14 2017-11-30 没入型コンテンツ内の関心地点を決定する方法及び装置

Country Status (5)

Country Link
US (1) US20180165830A1 (ja)
EP (2) EP3337154A1 (ja)
JP (1) JP2018139102A (ja)
KR (1) KR20180068874A (ja)
CN (1) CN108227916A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203167A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2021161774A1 (ja) * 2020-02-10 2021-08-19 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
KR102486421B1 (ko) * 2017-10-16 2023-01-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
JP7168969B2 (ja) * 2018-06-06 2022-11-10 株式会社アルファコード ヒートマップ提示装置およびヒートマップ提示用プログラム
US10747760B2 (en) * 2018-06-08 2020-08-18 Capital One Services, Llc Method and system for tracking virtual reality experiences
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11137875B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN117635815A (zh) 2019-06-28 2024-03-01 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
KR102261544B1 (ko) * 2019-11-13 2021-06-07 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
US11589033B1 (en) * 2021-02-28 2023-02-21 Robert Edwin Douglas Immersive viewing experience
JP2024518243A (ja) * 2021-04-22 2024-05-01 ダグラス，ロバート，エドウィン 没入型視聴体験

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677979B1 (en) * 2001-06-12 2004-01-13 Cisco Technology, Inc. Method and apparatus for dual image video teleconferencing
US20110216059A1 (en) * 2010-03-03 2011-09-08 Raytheon Company Systems and methods for generating real-time three-dimensional graphics in an area of interest
US9025810B1 (en) * 2010-04-05 2015-05-05 Google Inc. Interactive geo-referenced source imagery viewing system and method
US9087412B2 (en) * 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
DE112011105941B4 (de) * 2011-12-12 2022-10-20 Intel Corporation Scoring der Interessantheit von interessanten Bereichen in einem Anzeigeelement
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
CN103310477B (zh) * 2013-06-27 2016-05-11 北京青青树动漫科技有限公司 一种三维影像生成方法
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10440407B2 (en) * 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3098752A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and device for generating an image representative of a cluster of images
US9589358B1 (en) * 2015-09-29 2017-03-07 International Business Machines Corporation Determination of point of interest views from selected vantage points
EP3285216A1 (en) * 2016-08-19 2018-02-21 Nokia Technologies Oy Association of comments to points of interest in virtual reality
US10645376B2 (en) * 2017-04-16 2020-05-05 Facebook, Inc. Systems and methods for presenting content

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203167A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP3952304A4 (en) * 2019-03-29 2022-05-04 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
WO2021161774A1 (ja) * 2020-02-10 2021-08-19 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
CN108227916A (zh) 2018-06-29
EP3337158A1 (en) 2018-06-20
KR20180068874A (ko) 2018-06-22
EP3337154A1 (en) 2018-06-20
US20180165830A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP2018139102A (ja) 没入型コンテンツ内の関心地点を決定する方法及び装置
US11568606B2 (en) Method and device for compositing an image
JP2018010622A (ja) 没入型ビデオ・フォーマットのための方法、装置、およびストリーム
CN106331687B (zh) 根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备
US20190251735A1 (en) Method, apparatus and stream for immersive video format
US11317072B2 (en) Display apparatus and server, and control methods thereof
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
EP3236423A1 (en) Method and device for compositing an image
WO2015185537A1 (en) Method and device for reconstruction the face of a user wearing a head mounted display
WO2018086960A1 (en) Method and device for transmitting data representative of an image
JP7447266B2 (ja) ボリュメトリック画像データに関するビューの符号化及び復号
WO2018069215A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
EP3310053A1 (en) Method and apparatus for coding transparency information of immersive video format
EP3310052A1 (en) Method, apparatus and stream for immersive video format
EP3310057A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
EP3598271A1 (en) Method and device for disconnecting user's attention

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111