JP2018022470A - 実物体及び実物体の仮想複製を含むシーンの画像をレンダリングするための方法及び装置 - Google Patents
実物体及び実物体の仮想複製を含むシーンの画像をレンダリングするための方法及び装置 Download PDFInfo
- Publication number
- JP2018022470A JP2018022470A JP2017095474A JP2017095474A JP2018022470A JP 2018022470 A JP2018022470 A JP 2018022470A JP 2017095474 A JP2017095474 A JP 2017095474A JP 2017095474 A JP2017095474 A JP 2017095474A JP 2018022470 A JP2018022470 A JP 2018022470A
- Authority
- JP
- Japan
- Prior art keywords
- real object
- texture
- information
- real
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】1つ又は複数の実物体を含むシーンをレンダリングするための方法及び装置を提供する。
【解決手段】仮想物体が、各実物体40に関連付けられ、実物体に関連する仮想物体は、この実物体の仮想複製に対応する。仮想複製は、例えば仮想物体によって衝突された場合に実物体に適用され得る変換をレンダリングするために用いられる。次に仮想物体は、シーン内の対応する実物体に取って代わる。シーンにリアリズムをもたらすために、実物体の画像から取得されたテクスチャ情報が、変換されたる仮想物体の可視部分をテクスチャリングするために用いられる。テクスチャ情報は、変換された仮想物体の可視部分に対応する実物体における部分の可視性に関する情報を用いることによって、画像において選択される。
【選択図】図4A
【解決手段】仮想物体が、各実物体40に関連付けられ、実物体に関連する仮想物体は、この実物体の仮想複製に対応する。仮想複製は、例えば仮想物体によって衝突された場合に実物体に適用され得る変換をレンダリングするために用いられる。次に仮想物体は、シーン内の対応する実物体に取って代わる。シーンにリアリズムをもたらすために、実物体の画像から取得されたテクスチャ情報が、変換されたる仮想物体の可視部分をテクスチャリングするために用いられる。テクスチャ情報は、変換された仮想物体の可視部分に対応する実物体における部分の可視性に関する情報を用いることによって、画像において選択される。
【選択図】図4A
Description
本開示は、例えばヘッドマウントディスプレイ(HMD)、タブレット又はスマートフォンなど、例えば、モバイル装置上で消費される拡張現実感ビデオコンテンツの文脈における画像処理の領域に関する。
拡張現実感(AR)は、例えばヘッドマウントディスプレイ(HMD)、タブレット、スマートフォン又はテレビ表示画面などの表示装置に表示された1つ又は複数の画像に表され得る拡張現実感シーンにおいて、仮想物体を実世界の物体と例えば実時間において混合できるようにする技術である。この技術はまた、複合現実感とも呼ばれる。
例えば、仮想物体が、ARシーンにおいて移動し、1つ又は複数の実物体に当たった場合に、ARシーンの実及び仮想物体間の相互作用が発生し得る。例えば、実シーンが、テーブル上に置かれたカードボックスから構成され、且つテーブル上で回転する仮想球で拡張される場合で、球がボックスと衝突した場合に、球の軌道が修正され得るだけでなく、ボックスもまた、(物体の重量及び速度に依存して、幾つかのわずかな振動から強い投出まで)移動する可能性があることが予想される。Leaoらは、“Geometric modifications applied to real elements in augmented reality”(2011 XIII Symposium on Virtual Reality)において、実及び仮想物体間における相互作用の現実的な手段を提供することを目指して、実物体における修正を実時間で実行できるARシステムを説明している。
図1Aは、LeaoらのARシステムにおいて用いられる実シーンを表す画像10の例を示し、シーンは実物体を含み、その中には実物体100も含まれる。実物体100は、立方体、例えばカードボックスに対応する。マーカ101は、実物体100の面に適用され、マーカ101は、仮想物体の適切な挿入のために、実物体に対する実世界のカメラ位置を取得するために用いられる。図1Bは、画像11を示し、そこにおいて、実物体100は、実物体100の仮想複製110と取り替えられ、仮想複製110にはデフォルメが適用される。仮想複製110は、例えば、実物体100の3Dモデルを用いることによって取得される。仮想複製110は、実物体100の画像10から取得された動的テクスチャを用いることによってテクスチャリングされる。オリジナルシーン10において、実物体100の天面は、実物体100自体によって見えなくされ、画像11のARシーンにおいて、上面112は、不正確なテクスチャで表示される。マーカ101を含む実物体100の可視面のテクスチャは、画像10から検索され、画像11のリアリズムに関する問題につながる、仮想複製110の正面111及び上面112用のテクスチャ情報として再利用される。
「一実施形態」、「実施形態」、「例示的な実施形態」、「特定の実施形態」への本明細書における言及は、説明される実施形態が、特定の特徴、構造又は特性を含み得るが、しかし全ての実施形態が、特定の特徴、構造又は特性を必ずしも含み得るわけではないことを示す。更に、かかる句は、必ずしも同じ実施形態を指しているわけではない。更に、特定の特徴、構造又は特性が、実施形態に関連して説明されている場合には、明示的に記載されていてもいなくても、他の実施形態に関連するかかる特徴、構造又は特性に影響を及ぼすことが、当業者の知るところであることが提示されている。
本開示は、少なくとも1つの実物体を含むシーンをレンダリングする方法であって、
− シーンを表す少なくとも1つの画像を受信することと、
− 少なくとも1つの実物体の仮想複製に対応する仮想物体に変換を適用することと、
− 少なくとも1つの画像における実物体に関連するテクスチャ情報を用いることによって、変換された仮想物体の少なくとも1つの第1の部分を少なくとも1つの画像においてレンダリングすることであって、テクスチャ情報が、変換された仮想物体の前記少なくとも1つの第1の部分に対応する実物体の少なくとも1つの第2の部分に関連する少なくとも1つの画像における可視性を表す情報に従って選択されることと、
を含む方法に関する。
− シーンを表す少なくとも1つの画像を受信することと、
− 少なくとも1つの実物体の仮想複製に対応する仮想物体に変換を適用することと、
− 少なくとも1つの画像における実物体に関連するテクスチャ情報を用いることによって、変換された仮想物体の少なくとも1つの第1の部分を少なくとも1つの画像においてレンダリングすることであって、テクスチャ情報が、変換された仮想物体の前記少なくとも1つの第1の部分に対応する実物体の少なくとも1つの第2の部分に関連する少なくとも1つの画像における可視性を表す情報に従って選択されることと、
を含む方法に関する。
特定の特徴によれば、レンダリングは、
− 少なくとも1つの第2の部分が、少なくとも1つの画像において視認可能な場合に、実物体の少なくとも1つの第2の部分に関連するテクスチャ情報を選択することと、
− 少なくとも1つの第2の部分が、少なくとも1つの画像において視認可能でない場合に、実物体の少なくとも1つの第3の部分に関連するテクスチャ情報を選択することと、
を含む。
− 少なくとも1つの第2の部分が、少なくとも1つの画像において視認可能な場合に、実物体の少なくとも1つの第2の部分に関連するテクスチャ情報を選択することと、
− 少なくとも1つの第2の部分が、少なくとも1つの画像において視認可能でない場合に、実物体の少なくとも1つの第3の部分に関連するテクスチャ情報を選択することと、
を含む。
特定の特徴によれば、仮想物体は、メッシュでモデル化され、少なくとも1つの第3の部分は、少なくとも1つの第3の部分に関連するメッシュの一部における少なくとも1つの頂点と、少なくとも1つの第2の部分に関連するメッシュの一部における少なくとも1つの頂点との間の関係を用いることによって取得される。
別の特徴によれば、関係は、メッシュの頂点に関連する法線に基づいて確立される。
特定の特徴によれば、関係は、メッシュのメッシュ要素に関連する色情報で確立される。
特定の特徴によれば、テクスチャ情報は、シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから取得され、タイムスタンプが、テクスチャデータに関連付けられ、タイムスタンプは、テクスチャマップを更新するために用いられる複数の画像における画像に従属する。
特定の特徴によれば、テクスチャマップの更新は、以下の情報の少なくとも1つに依存する。
− テクスチャデータに関連する少なくとも1つの第1の部分に関連する法線と、
− テクスチャデータに関連するタイムスタンプ情報と、
− 少なくとも1つの実物体に対する取得装置の位置と、
である。
− テクスチャデータに関連する少なくとも1つの第1の部分に関連する法線と、
− テクスチャデータに関連するタイムスタンプ情報と、
− 少なくとも1つの実物体に対する取得装置の位置と、
である。
本開示はまた、少なくとも1つの実物体を含むシーンをレンダリングするように構成された装置であって、メモリと、少なくとも1つの実物体を含むシーンをレンダリングする上記の方法の動作を実行するように構成された少なくとも1つのプロセッサと、を含む装置に関する。
本開示はまた、少なくとも1つの実物体を含むシーンをレンダリングするように構成されたマルチメディア/通信端末に関する。
本開示はまた、プログラムがコンピュータ上で実行される場合に、少なくとも1つの実物体を含むシーンをレンダリングする上記の方法を少なくとも1つのプロセッサによって実行のためのプログラムコードの命令を含むコンピュータプログラムプロダクトに関する。
本開示はまた、少なくとも1つの実物体を含むシーンをレンダリングする少なくとも上記の方法をプロセッサに実行させるための命令を格納した(非一時的な)プロセッサ可読媒体に関する。
図のリスト
以下の説明を読むことで、本開示は、よりよく理解され、他の特定の特徴及び利点が、明らかになろう。説明は、添付された図面を参照する。
以下の説明を読むことで、本開示は、よりよく理解され、他の特定の特徴及び利点が、明らかになろう。説明は、添付された図面を参照する。
実施形態の詳細な説明
ここで主題が、図面に関連して説明され、図面において同様の参照数字は、全体を通して同様の要素を指すために用いられる。以下の記載において、説明のために、多くの特定の詳細が、主題の完全な理解を提供するように明らかにされる。しかしながら、主題の実施形態が、これらの特定の詳細なしに実施され得ることが明らかになり得る。
ここで主題が、図面に関連して説明され、図面において同様の参照数字は、全体を通して同様の要素を指すために用いられる。以下の記載において、説明のために、多くの特定の詳細が、主題の完全な理解を提供するように明らかにされる。しかしながら、主題の実施形態が、これらの特定の詳細なしに実施され得ることが明らかになり得る。
本原理は、1つ又は複数の実物体を含むシーンをレンダリングする方法の特定の実施形態に関連して説明される。仮想物体は、各実物体に関連付けられ、実物体に関連する仮想物体は、この実物体の仮想複製に対応する。仮想複製は、例えば仮想物体によって衝突された場合に実物体に適用され得る変換(即ち、平行移動、回転及び/又はスケーリング)をレンダリングするために用いられ、次に、仮想物体は、シーン内の対応する実物体に取って代わる。シーンにリアリズムをもたらすために、実物体の画像から取得されたテクスチャ情報は、変換された仮想物体の可視部分をテクスチャリングするために用いられる。テクスチャ情報は、変換された仮想物体の可視部分に対応する実物体における部分の可視性に関する情報を用いることによって、画像において選択される。
図2は、本原理の特定の非限定的な実施形態に従って、実シーンの実物体20を示す。図2の例において、実物体20は、直方体の一般的な形状を有するチューインガムのパックである。当然、実物体20は、チューインガムのパックの例にも、直方体の一般的な形状を有する物体にも制限されず、任意の形状、例えば球、平板、ピラミッドの任意の実物体に及ぶ。
実シーンの1つ又は複数の画像が、実世界に位置する取得装置200、例えばカメラ又はウェブカメラで取得される。例えば、取得装置200の姿勢は、例えば実物体上又は実物体の近くに位置する実シーン基準マーカを画像において追跡することにより、画像処理によって決定される。かかる方法は、例えば、Fakhr-eddine Ababsaらによって、 in “Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems” in ACM SIGGRAPH VRCAI, 2004, pp. 2226-2229に説明されている通りである。姿勢は、実シーンの空間における、即ち実世界における取得装置の位置(例えば座標)及び向きを含む。基準マーカのボードと組み合わされたOpenCVにおけるArUcoソフトウェアが、取得装置200の姿勢を決定するために用いられ得る。別の例によれば、ARToolKitライブラリを用いるマーカが、取得装置200の姿勢を決定するために用いられ得る。別の例によれば、実物体のグラフィカルな特性が、マーカ、例えば実物体20のテクスチャの特定の要素として用いられてもよい(例えば、チューインガムのピース全体の「chlorophylle」という単語又はグラフィカルな表現)。
図3は、本原理の特定の非限定的な実施形態に従って、実物体20の仮想複製に対応する仮想物体30を示す。仮想物体30は、例えば、実物体20の形状に対応する3Dモデルを3Dモデルのライブラリから検索することによって取得される。その目的に達するために、実物体の一般的な形状は、例えば、取得装置200で取得された実物体を含む実シーンの1つ又は複数の画像を解析することによって決定される。実物体の一般的な形状は、例えば、マーカに基づくか(例えば、実物体の決定されたポイント、例えば隅に位置する目標物を検出することによって)又はマーカのない(エッジ検出又若しくはテクスチャ検出に基づいた目標物など)いずれか周知の追跡技術も用いることによって決定される。変形によれば、仮想物体は、例えば多角形モデル化、即ち、モデルが、多角形セット(メッシュ要素)と同化され、各多角形が、頂上(即ち頂点)及びそれを構成するエッジのリストにより画定される多角形モデル化によってか、モデルが制御頂点を介して作成された曲線セットによって画定されるNURBS(非一様有理Bスプライン)型曲線モデル化によって、又は表面の細分によるモデル化によって手動で生成される。図3の非限定的な例によれば、仮想物体30は、メッシュ要素及び頂点(即ち三角形300〜30n)を含むメッシュでモデル化され、各三角形は、ツリーの頂点に関連付けられる。例えば、頂点3001、3002及び3003は、メッシュ要素(三角形)300に関連付けられる。
本原理の特定の非限定的な実施形態に従って、図4Aは、実物体40を示し、図4Bは、実物体40の仮想複製に対応する仮想物体41を示す。実物体40は、例えば実物体20に対応し、且つ単純化された方法で、例えば直方体の形状で表される。面の幾つかは、図4Aにおける参照番号、即ち、左側面400、正面401、底面402(同様に十字で強調される)、及び上面403で識別される。図4Aの例によれば、実物体40を含む実シーンの1つ又は複数の画像を取得する取得装置(図示せず)の視点から見える面は、左側面400、正面401及び上面403である。
取得装置で取得された実物体の画像における実物体の検討される面の可視性は、検討される面の法線
をベクトル
と比較することによって決定されてもよく、ベクトル
は、取得装置の方へ向けられ、
は、検討される面におけるポイント(例えば検討される面の中心)からスタートし、取得装置で終了する。検討される面の中心及び法線は、例えば、実物体40の3Dモデルから決定され、3Dモデルは、実物体40をシーンと一致させるために、実物体40上に投射される。変形によれば、検討される面の中心及び法線は、画像を処理することによって、即ち検討される面の形状を決定することによって(例えば、マーカに基づくか又はマーカがないいずれか周知のトラッキング方法も用いることによって)決定される。検討される面の可視性を決定するために、ベクトル
のドット積(スカラー積とも呼ばれる)が計算される。ドット積の結果が、厳密に0より大きい(即ち、厳密に正である)である場合に、検討される面は、目に見える。ドット積の結果が、0以下(即ち負)である場合に、検討される面は、目に見えない。
をベクトル
と比較することによって決定されてもよく、ベクトル
は、取得装置の方へ向けられ、
は、検討される面におけるポイント(例えば検討される面の中心)からスタートし、取得装置で終了する。検討される面の中心及び法線は、例えば、実物体40の3Dモデルから決定され、3Dモデルは、実物体40をシーンと一致させるために、実物体40上に投射される。変形によれば、検討される面の中心及び法線は、画像を処理することによって、即ち検討される面の形状を決定することによって(例えば、マーカに基づくか又はマーカがないいずれか周知のトラッキング方法も用いることによって)決定される。検討される面の可視性を決定するために、ベクトル
のドット積(スカラー積とも呼ばれる)が計算される。ドット積の結果が、厳密に0より大きい(即ち、厳密に正である)である場合に、検討される面は、目に見える。ドット積の結果が、0以下(即ち負)である場合に、検討される面は、目に見えない。
図4Bは、実物体40の仮想複製に対応する仮想物体41を示す。仮想物体41は、実物体40の3Dモデル、例えば図3の3Dモデル30を用いることによって、且つ取得装置で取得された実物体40の画像から検索されたテクスチャ情報を用いることによって取得される。図4Bに示されているような、即ち実物体40の正面401の反対側の面に対応する面上に置かれている仮想物体41を取得するために、変換が、3Dモデルに適用される。3Dモデルに適用された変換は、実物体40をその裏面上に揺り動かすことを再現し、底面402を現れさせることができるようにする。仮想物体41は、例えば実物体40の代わりに実シーンに挿入される。実物体40を含む実シーンの画像を取得するために用いられる取得装置の視点によれば、目に見える仮想物体41の面は、(実物体40の正面401に対応する)面411と、(実物体40の左側面400に対応する)左側面410と、(実物体40の底面402に対応する)十字で識別される面412と、である。仮想物体41にリアリズムをもたらすために、仮想物体の可視面上にマッピングされるテクスチャは、実物体40の画像から検索される。面411上にマッピングされるテクスチャは、実物体の正面401のテクスチャ情報に対応する。何故なら、面411は、実物体40の画像において目に見える実際の面401に対応する仮想面であるからである。面410上にマッピングされるテクスチャは、実物体40の左側面400のテクスチャ情報に対応する。何故なら、面410は、実物体40の画像において目に見える実際の面400に対応する仮想面であるからである。面402が、実物体40の画像において目に見えないので、実際の面402に対応する仮想面412上にマッピングされるテクスチャは、実際の面402のテクスチャとすることができない。代わりに、実際の面403のテクスチャが、仮想面412上にマッピングされるために用いられる。何故なら、実際の面403は、実物体40の画像において目に見えるからである。仮想物体41の3Dモデルの可視面上にマッピングされるために用いられるテクスチャ情報は、実物体の面における可視性を表す情報に従って、仮想物体41に対応する実物体40の画像において選択される。可視性情報は、例えば、0又は1の値を取る、各面に関連する1ビットの情報であり、値の1つは、関連する面が目に見えることを示し、もう一方の値は、関連する面が目に見えないことを示す。
実物体のテクスチャのどの部分が、仮想物体の仮想部分にマッピングされるために用いられるかを決定するために、実物体に関連する3Dモデルの相異なる部分間のマッピングが用いられてもよい。マッピング情報は、例えば、LUT(ルックアップテーブル)の形を取ってもよい。3Dモデルの各部分は、例えば、一意のインデックスで識別される。部分は、例えば、物体の全面(例えば形状が単純な場合に平行六面体)に、メッシュ要素に、又は頂点(例えば、形態がより複雑な場合に、球、円筒又は円錐)に対応する。マッピングテーブルは、3Dモデルの各部分に、3Dモデルの1つ又は複数の他の部分を割り当てることを含む。3Dモデルの2つの相異なる部分は、両方の部分が、実物体自体によって同時に見えなくされるというリスクを最小化するような方法で、互いに割り当てられる。共通の凸形状(例えば、ボックス、球、円錐、円筒)に対して、単純な解決法は、反対のファセットに属する相異なる部分を割り当てることであってもよい。幾つかの相異なる部分が、検討される部分に割り当てられる場合に、優先基準が、相異なる部分に関連付けられてもよい。第1の好ましい部分が、目に見えない場合に、第2の好ましい部分が用いられる。第2の好ましい部分もまた目に見えない場合に、第3の好ましい部分が用いられる等である。
マッピングテーブルは、前処理ステップとして手動できっぱりと生成されてもよい。変形によれば、マッピングテーブルは、例えば3Dモデルの各部分に関連する法線情報を用いることによって、自動で生成されてもよい。例えば、3Dモデルの検討される部分に関し、検討される部分に割り当てられる他の部分は、その法線と検討される部分の法線との間の絶対差を最大限にする部分であってもよい。
マッピングテーブルは、次のように用いられる。仮想物体の仮想部分をテクスチャリングする場合に、実物体の対応する部分が目に見えるかどうかが最初にチェックされる。yes(即ち、実物体が目に見える)の場合に、対応する実部分のテクスチャが、仮想部分上にマッピングされるために用いられる。no(即ち、実物体が目に見えない)の場合に、対応する実部分のテクスチャは、マッピングテーブルにおける実部分に割り当てられる第1の他の部分から検索される。この割り当てられる第1の他の部分が目に見える場合に、この第1の他の部分に関連する実物体のテクスチャ情報が、仮想部分上にマッピングされるために用いられる。この割り当てられる第1の他の部分が目に見えない場合に、第2の他の部分が、マッピングテーブルから検索され(この第2の他の部分が存在する場合に)、この第2の他の部分に関連する実物体のテクスチャ情報が、(目に見える場合に)仮想部分上にマッピングされるために用いられる。このプロセスは、実物体の画像において目に見える実物体の対応する部分を備えた割り当てられる部分を見つけるまで反復される。
変形によれば、実物体の全ての部分のテクスチャが周知の場合に(例えば、前画像から、又は多くの相異なる物体のテクスチャのライブラリに格納された同じ実物体のテクスチャを検索する機械学習技術を用いることによって取得される場合に)、マッピングテーブルは、このテクスチャ情報を用いることによって生成されてもよい。例えば、実物体の3Dモデルの検討される部分用に、検討される部分に割り当てられる他の部分は、検討される部分に関連する平均色値と候補の他の部分の平均色値との間の差を最小化する部分であってもよい。別の変形によれば、マッピングテーブルは、法線(上記で説明されたような)及びテクスチャに関連する情報を用いることによって生成される。
本原理の特定の非限定的な実施形態に従って、図5Aは、実物体50を示し、図5Bは、実物体50の仮想複製に対応する仮想物体51を示す。実物体50は、例えば実物体20に対応し、且つ単純化された方法で、例えば直方体の形で表されている。面の幾つかは、図5Aにおける参照番号、即ち、上面501、正面502及び右側面503(同様に十字で強調される)で識別される。図5Aの例によれば、実物体50を含む実シーンの1つ又は複数の画像を取得する取得装置(図示せず)の視点に従って目に見える面は、上面501、正面502及び右側面503である。
図5Bは、実物体50の仮想複製に対応する仮想物体51を示す。仮想物体51は、実物体50の3Dモデル、例えば図3の3Dモデル30を用いることによって、且つ取得装置で取得された実物体50の画像から検索されたテクスチャ情報を用いることによって取得される。図5Bに示されているような、即ち実物体50の右横503の反対側の面に対応する面上に置かれている仮想物体51を取得するために、変換が、3Dモデルに適用される。3Dモデルに適用された変換は、実物体50を左に揺り動かすことを再現し、左側面を底面にし、且つ右側面503を上面にすることができるようにする。仮想物体51は、実シーンに挿入されて、実シーンを拡張現実感シーンにする。実物体50を含む実シーンの画像を取得するために用いられる取得装置の視点に従って目に見える仮想物体51の面は、(実物体50の上面501に対応する)面511と、(実物体50の正面502に対応する)正面512と、(実物体50の右側面503に対応する)十字で識別される面513と、である。正面512上にマッピングされるために用いられるテクスチャは、面502がはっきり目に見えるので、実物体50を表す画像から取得される実物体50の正面502のテクスチャ情報である。左側面511上にマッピングされるために用いられるテクスチャは、面501がはっきり目に見えるので、面511に対応する実物体50の上面501のテクスチャ情報である。上面513上にマッピングされるために用いられるテクスチャは、実物体の対応する面503のテクスチャではない。たとえ目に見えても、面503は、そのテクスチャを面513上にマッピングするために必要になり得る補間がアーチファクト及び貧弱な結果を生成する可能性があるような方法で配向されている。かかる場合に、非限定的な例によれば、面513上にマッピングされるために用いられるテクスチャは、実際の面501、即ち仮想面513の法線に最も近い法線を有する実物体の面のテクスチャ情報である。変形によれば、仮想面513上にマッピングされるテクスチャ情報は、実物体50の画像を解析する場合に見つかる第1の可視面のテクスチャである。別の変形によれば、仮想面513上にマッピングされるテクスチャ情報は、例えば、実物体50の相異なる可視面の法線を比較することによって決定された、実物体50の最も正面と平行な面のテクスチャである。更なる変形によれば、仮想面513上にマッピングされるテクスチャ情報は、光源への方向が、仮想面513の光源への方向に最も近い実物体の可視面のテクスチャである。別の変形によれば、仮想面513上にマッピングされるテクスチャ情報は、面503に空間的に最も近い実物体50の可視面のテクスチャである。
実施形態によれば、拡張現実感シーンを表す現在のフレーム(又は画像)用の仮想面513をテクスチャリングするために用いられる実物体の面は、(時間的に言うと)それが十分に目に見えている限り(例えば、可視性のレベルは、実際の面に関連する法線ベクトル
を、実際の面からスタートして取得装置の位置で終了するベクトル
と比較することによって決定される)、次のフレーム用に用いられる。
図6は、本原理の特定の非限定的な実施形態に従って、変換された仮想物体41又は51をテクスチャリングするために用いられるテクスチャマップ6を示す。マップ6は、仮想物体の3Dモデルの平面表現であり、3Dモデルの各面は、キューブマッピング技術に従って、テクスチャマップ6の対応する部分61〜66を取得するために平面上に投射される。テクスチャマップの各部分61〜66は、テクスチャ要素に細分され、各テクスチャ要素は、テクスチャマップ6において、その座標(u、v)で識別される。テクスチャ要素に関連するテクスチャ情報は、実物体の相異なる画像から取得され、テクスチャマップ6は、面(及びそのテクスチャ情報)が実物体の画像内で目に見える場合に更新される。初期化時に、テクスチャマップは空であり、テクスチャマップ6は、テクスチャマップ6のテクスチャ要素に対応する実物体における部分の可視性に従って、フレームからフレームへの(即ち実物体の画像から画像への)テクスチャ情報で満たされる。タイムスタンプ2、3、4又は5の値は、テクスチャマップ6の相異なる部分61〜66に関連付けられてもよい。例示的な値2、3、4又は5は、例えば、テクスチャ情報が取得される基となるフレーム番号を識別する。例えば、部分61のテクスチャ情報は、(フレーム番号0で始まる連続フレームシーケンス内の)フレーム番号5から取得された。部分62のテクスチャ情報は、フレーム番号2から取得された。部分63のテクスチャ情報は、フレーム番号5から取得された。部分64のテクスチャ情報は、フレーム番号3から取得された。部分65のテクスチャ情報は、フレーム番号4から取得された。部分66のテクスチャ情報は、フレーム番号3から取得された。
(図4A及び4Bに関連して説明されたように)マッピングテーブルが用いられる場合に、部分及びテクスチャマップ6のその対応する部分は、マッピングテーブルに含まれるマッピング情報に従って同時に更新されてもよい。テクスチャマップの更新は、例えば、情報の以下のグループに属する1つ又は複数の情報に依存する。
− 実物体の可視部分に関連する法線:法線に従って、実物体の検討される部分の可視性は、テクスチャマップの対応する部分を更新するために用いられた前のフレームにおける同じ検討される部分の可視性よりよいと考えられてもよい。
− テクスチャマップの検討される部分に関連するタイムスタンプの値:実物体の一部が現在のフレームにおいて目に見える場合に、テクスチャマップ6の対応する部分の更新は、テクスチャマップのこの対応する部分に関連するタイムスタンプに従って実行されてもよい。テクスチャ情報が古すぎると見なされる場合に、例えば、現在のフレームのタイムスタンプとテクスチャマップの対応する部分に関連するタイムスタンプとの間の差が閾値より大きい、例えば3、4、5又は10フレームより大きい場合に、現在のフレームから取得されるテクスチャ情報は、テクスチャマップ6の対応する部分の既存のテクスチャ情報に取って代わるために用いられてもよい。
− 実物体の検討される可視部分に対する取得装置の位置:取得装置が、実物体の検討される部分に十分に近く(即ち、取得装置の位置と、例えば検討される部分中心又は一頂点との間の距離が、決定された値未満である)、検討される部分のテクスチャの分解能が、許容できる品質レベルを有することを意味する場合に、テクスチャマップの対応する部分が更新される。
− 実物体の可視部分に関連する法線:法線に従って、実物体の検討される部分の可視性は、テクスチャマップの対応する部分を更新するために用いられた前のフレームにおける同じ検討される部分の可視性よりよいと考えられてもよい。
− テクスチャマップの検討される部分に関連するタイムスタンプの値:実物体の一部が現在のフレームにおいて目に見える場合に、テクスチャマップ6の対応する部分の更新は、テクスチャマップのこの対応する部分に関連するタイムスタンプに従って実行されてもよい。テクスチャ情報が古すぎると見なされる場合に、例えば、現在のフレームのタイムスタンプとテクスチャマップの対応する部分に関連するタイムスタンプとの間の差が閾値より大きい、例えば3、4、5又は10フレームより大きい場合に、現在のフレームから取得されるテクスチャ情報は、テクスチャマップ6の対応する部分の既存のテクスチャ情報に取って代わるために用いられてもよい。
− 実物体の検討される可視部分に対する取得装置の位置:取得装置が、実物体の検討される部分に十分に近く(即ち、取得装置の位置と、例えば検討される部分中心又は一頂点との間の距離が、決定された値未満である)、検討される部分のテクスチャの分解能が、許容できる品質レベルを有することを意味する場合に、テクスチャマップの対応する部分が更新される。
テクスチャマップ6のテクスチャ情報は、周知のテクスチャマッピング技術を用いることによって、前に変換された仮想物体の可視部分をテクスチャリングするために用いられる。
例えば、Leaoらによって説明されているように、実物体に対応する変換されていないメッシュの各頂点は、実物体自体の画像から実時間において取得された動的テクスチャを用いるために、投射及びモデルビューマトリックスを用いて画像上に投射される。間隔[0,1]に正確にマッピングされた後で、画像/スクリーン座標が、テクスチャ座標として用いられる。
図7は、本原理の特定の非限定的な実施形態に従って、1つ又は複数の実物体を含むシーンをレンダリングする方法を示す。レンダリング方法は、例えば装置8において実行される。
初期化ステップ70の間に、装置8の相異なるパラメータが、更新される。特に、3Dモデルのパラメータは、何らかの方法で初期化される。
ステップ71において、実物体を含むシーンの1つ又は複数の画像が受信される。画像は、例えば、取得装置から受信される。変形によれば、1つ又は複数の画像は、記憶装置、例えば遠隔記憶装置から、又は装置8のローカルメモリから受信される。
ステップ72において、変換が、実物体の仮想複製に対応する仮想物体に適用される。変換は、仮想物体の平行移動に、仮想物体の回転に、且つ/又は仮想物体のスケーリングに対応する。変換は、例えば、1つ又は複数のマトリックスの形で表現されてもよい。変換は、仮想物体の一部だけに、即ち、例えば仮想物体のこの部分にデフォルメを適用する場合に、仮想物体の一部だけに適用されてもよい。仮想物体が、多角形のメッシュからモデル化される場合に、変換は、多角形(若しくはそれらの一部)に、又は多角形の頂点(若しくはそれらの一部)に適用される。
ステップ73において、変換された仮想物体の1つ又は複数の第1の可視部分は、ステップ71で受信された実物体の1つ又は複数の画像から取得されたテクスチャ情報を用いることによってレンダリングされる。1つ又は複数の受信された画像から取得されるテクスチャ情報は、仮想物体(仮想物体は、実物体の仮想複製である)の1つ又は複数の第1の部分に対応する実物体の1つ又は複数の第2の部分から選択されてもよい。選択は、1つ又は複数の第2の部分の可視性を表す情報、即ち第2の部分が目に見えるか否かを確認する情報に基づいて実行されてもよい。
任意選択のステップにおいて、仮想物体のレンダリングされた第1の部分で拡張されたシーンの1つ又は複数の画像は、表示のために表示装置に送信される。
図8は、拡張現実感シーンの1つ又は複数の画像をレンダリング、構成及び/又は送信するように構成された装置8の例示的なハードウェア実施形態を図表で示す。装置8はまた、1つ又は複数の画像の表示信号の生成のために構成されてもよい。装置8は、例えば、タブレット、スマートフォン、ゲームコンソール、コンピュータ、ラップトップ又はセットトップボックスに対応してもよい。
装置8は、一般的な計算装置であり、クロック信号もまた搬送するアドレス及びデータのバス85によって互いに接続された次の要素を含んでもよい。
− マイクロプロセッサ81(又はCPU)と、
− グラフィックカード82であって、
・ 幾つかのグラフィカルプロセッサユニット(又はGPU)820と、
・ グラフィカルランダムアクセスメモリ(GRAM)821と、
を含むグラフィックカード82と、
− ROM(読み出し専用メモリ)型の不揮発性メモリ86と、
− ランダムアクセスメモリ又はRAM87と、
− 1つ又は複数の画像を表すデータを送信するように構成された送信機88と、
− 1つ又は複数の実物体を含む実シーンの1つ又は複数の画像を取得する取得装置からデータを受信するように構成された受信機89と、
− 例えば触覚インターフェース、マウス、ウェブカメラなどの1つ又は幾つかのI/O(入力/出力)装置84と、
− 電源89と、
を含んでもよい。
− マイクロプロセッサ81(又はCPU)と、
− グラフィックカード82であって、
・ 幾つかのグラフィカルプロセッサユニット(又はGPU)820と、
・ グラフィカルランダムアクセスメモリ(GRAM)821と、
を含むグラフィックカード82と、
− ROM(読み出し専用メモリ)型の不揮発性メモリ86と、
− ランダムアクセスメモリ又はRAM87と、
− 1つ又は複数の画像を表すデータを送信するように構成された送信機88と、
− 1つ又は複数の実物体を含む実シーンの1つ又は複数の画像を取得する取得装置からデータを受信するように構成された受信機89と、
− 例えば触覚インターフェース、マウス、ウェブカメラなどの1つ又は幾つかのI/O(入力/出力)装置84と、
− 電源89と、
を含んでもよい。
装置8はまた、グラフィックカードにおいて計算された画像を例えばライブで表示するために、グラフィックカード82に直接接続された表示画面型の1つ又は複数の表示装置83を含んでもよい。グラフィックカード82に表示装置83を接続する専用バスの使用は、はるかに大きなデータ伝送ビットレートを有するという、且つ従ってグラフィックカードによって構成される画像の表示用の待ち時間を縮小するという利点を提供する。変形によれば、表示装置は、装置8の外部にあり、且つ表示信号を送信するために、ケーブルによって又は無線で装置8に接続される。装置8、例えばグラフィックカード82は、例えば第1の表示装置(例えばHMD)、LCD若しくはプラズマスクリーン又はビデオプロジェクタなどの外部表示手段に表示信号を送信するように適合された、送信又は接続用のインターフェース(図8には図示せず)を含む。
メモリ821、86及び87の説明において用いられる「レジスタ」という単語は、言及されるメモリのそれぞれにおいて、低容量(幾つかの2進データ)のメモリゾーンと同様に大容量(プログラム全体、又は計算されるデータを表すデータの全て若しくは一部を格納又は表示できるようにする)のメモリゾーンの両方を示す。
オンにされると、マイクロプロセッサ81は、RAM87に含まれるプログラムの命令をロードし実行する。
ランダムアクセスメモリ87は、次のものを特に含む。
− レジスタ870における、装置8をオンにする責任があるマイクロプロセッサ81の動作プログラムと、
− 実物体を表す画像を表すデータ871(例えば、テクスチャ情報、例えばRGBデータ)と、
− 実物体の画像を取得する取得装置の姿勢を表す情報872と、
− 仮想物体を表すデータ873(例えば3Dモデル)と、
− 任意選択的な、マッピングテーブルを表すデータと、
を特に含む。
− レジスタ870における、装置8をオンにする責任があるマイクロプロセッサ81の動作プログラムと、
− 実物体を表す画像を表すデータ871(例えば、テクスチャ情報、例えばRGBデータ)と、
− 実物体の画像を取得する取得装置の姿勢を表す情報872と、
− 仮想物体を表すデータ873(例えば3Dモデル)と、
− 任意選択的な、マッピングテーブルを表すデータと、
を特に含む。
本開示に特有の方法(例えば、シーンをレンダリングする方法及び/又は変換された仮想物体で拡張されたシーンを表すデータ送信する方法)のステップを実行するアルゴリズムは、これらのステップを実行する装置8に関連するグラフィックカード82のメモリGRAM821に格納される。オンにされ且つデータ581及び情報872がRAM87にロードされると、グラフィックカード82のグラフィックプロセッサ820は、これらのパラメータをGRAM821にロードし、且つ例えばHLSL(高レベルシェーディング言語)言語又はGLSL(OpenGLシェーディング言語)を用いる「シェーダ」型のマイクロプログラムの形で、これらのアルゴリズムの命令を実行する。
ランダムアクセスメモリGRAM821は、次のものを特に含む。
− レジスタにおける、実物体を含む実シーンの画像を表すデータと、
− レジスタにおける、変換された仮想物体で拡張された実シーンの画像を表すデータと、
− レジスタにおける、姿勢情報を表すデータと、
− レジスタにおける、変換された仮想物体を表すデータと、
− 任意選択的な、レジスタにおけるマッピングテーブルを表すデータと、
を特に含む。
− レジスタにおける、実物体を含む実シーンの画像を表すデータと、
− レジスタにおける、変換された仮想物体で拡張された実シーンの画像を表すデータと、
− レジスタにおける、姿勢情報を表すデータと、
− レジスタにおける、変換された仮想物体を表すデータと、
− 任意選択的な、レジスタにおけるマッピングテーブルを表すデータと、
を特に含む。
変形によれば、電源89は、装置8の外部にある。
代替実施形態において、装置8は、ROMを少しも含まず、RAMだけを含み、本開示に特有の、且つ図4、5、6又は7に関連して説明された方法のステップを実行するアルゴリズムは、RAMに格納される。別の変形によれば、装置8は、ROM及び/又はRAMの代わりに、SSD(ソリッドステートドライブ)メモリを含む。
当然、本開示は、前に説明された実施形態に限定されない。
特に、本開示は、シーンをレンダリングする方法に限定されず、変換された仮想物体で拡張された実シーンを表すデータを送信する方法(及びその方法を実行するように構成された装置)又は拡張されたシーンの画像を表示する方法(及び対応する装置)にもまた及ぶ。
本明細書で説明される実装形態は、例えば方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム又は信号において実施されてもよい。たとえ実装形態の単一の形態の文脈で説明された(例えば、方法又は装置としてのみ説明された)だけであっても、説明された特徴の実装形態はまた、他の形態(例えばプログラム)で実施されてもよい。装置は、例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現されてもよい。方法は、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理装置を含む、処理装置を一般に指す例えばプロセッサなどの例えば装置において実行されてもよい。プロセッサはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、携帯情報端末(「PDA」)、及びエンドユーザ間の情報の通信を容易にする他の装置などの通信装置を含む。
本明細書で説明された様々なプロセス及び特徴の実装形態は、様々な相異なる機器又はアプリケーション、特に例えばデータ符号化、データ復号化、ビュー作成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び/又は奥行き情報の他の処理に関連する機器又はアプリケーションにおいて具体化されてもよい。かかる機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を供給するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、及び他の通信装置を含む。明らかなはずだが、機器は、可動であってもよく、たとえ移動車両に設置されてもよい。
加えて、方法は、プロセッサによって実行される命令によって実行されてもよく、かかる命令(及び/又は実装形態によって生成されるデータ値)は、例えば集積回路、ソフトウェアキャリア又は他の記憶装置などのプロセッサ可読媒体に格納されてもよく、これらの他の記憶装置には、例えばハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えば、デジタル多用途ディスク又はデジタルビデオディスクと呼ばれることが多いDVDなど)、ランダムアクセスメモリ(「RAM」)、又は読み取り専用メモリ(「ROM」)などがある。命令は、プロセッサ可読媒体上に実体的に具体化されるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又は組み合わせにあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら2つの組み合わせにおいて見い出されてもよい。従って、プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行するための命令を有するプロセッサ可読媒体(記憶装置など)を含む装置の両方として特徴付けられてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態によって生成されたデータ値を格納してもよい。
当業者には明らかであろうように、実装形態は、例えば格納又は送信され得る情報を担持するようにフォーマットされた様々な信号を生成してもよい。情報は、例えば、方法を実行するための命令、又は説明された実装形態の1つによって生成されたデータを含んでもよい。例えば、信号は、説明された実施形態のシンタックスを書き込むか若しくは読み出すための規則をデータとして担持するように、又は説明された実施形態によって書き込まれた実際のシンタックス値をデータとして担持するようにフォーマットされてもよい。かかる信号は、例えば電磁波(例えば、スペクトルの無線周波数部分を用いて)として、又はベースバンド信号としてフォーマットされてもよい。フォーマッティングは、例えば、データストリームの符号化、及び符号化されたデータストリームでキャリアを変調することを含んでもよい。信号が担持する情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は、様々な相異なる有線又は無線リンクを通じて伝送されてもよい。信号は、プロセッサ可読媒体上に格納されてもよい。
多くの実装形態が説明された。しかしながら、様々な修正を行い得ることが理解されよう。例えば、相異なる実装形態の要素は、組み合わされるか、補足されるか、修正されるか、又は他の実装形態を生成するために除去されてもよいことが理解されよう。加えて、当業者は、他の構造及びプロセスが、開示された構造及びプロセスの代わりに代用されてもよいこと、及び結果としての実装形態が、開示された実装形態と少なくともほぼ同じ結果を達成するために、少なくともほぼ同じ方法で、少なくともほぼ同じ機能を実行することを理解されよう。
2、3、4、5 タイムスタンプの値
6 テクスチャマップ
8 装置
10、11 画像
20、40、50、100 実物体
30、41、51 仮想物体
110 仮想複製
61〜66 テクスチャマップにおける部分
81 マイクロプロセッサ
82 グラフィックカード
83 表示装置
84 入力/出力装置
85 バス
86 不揮発性メモリ
87 ランダムアクセスメモリ
88 送信機
89 受信機
101 マーカ
111、401、502 正面
112、403、501、513 上面
200 取得装置
300 メッシュ要素
400、410、511 左側面
402 底面
411 面
503 右側面
412 513 仮想面
581 871、873 データ
820 グラフィカルプロセッサユニット
821 グラフィカルランダムアクセスメモリ
870 レジスタ
871、873 データ
872 情報
3001、3002、3003 頂点
6 テクスチャマップ
8 装置
10、11 画像
20、40、50、100 実物体
30、41、51 仮想物体
110 仮想複製
61〜66 テクスチャマップにおける部分
81 マイクロプロセッサ
82 グラフィックカード
83 表示装置
84 入力/出力装置
85 バス
86 不揮発性メモリ
87 ランダムアクセスメモリ
88 送信機
89 受信機
101 マーカ
111、401、502 正面
112、403、501、513 上面
200 取得装置
300 メッシュ要素
400、410、511 左側面
402 底面
411 面
503 右側面
412 513 仮想面
581 871、873 データ
820 グラフィカルプロセッサユニット
821 グラフィカルランダムアクセスメモリ
870 レジスタ
871、873 データ
872 情報
3001、3002、3003 頂点
Claims (15)
- 少なくとも1つの実物体(40)を含むシーンをレンダリングする方法であって、
− 前記シーンを表す少なくとも1つの画像を受信すること(71)と、
− 前記実物体(40)に対応する仮想物体(41)に変換を適用すること(72)と、
− 前記少なくとも1つの画像における前記実物体(40)に関連するテクスチャ情報を用いることによって、前記変換された仮想物体(41)の少なくとも一部を前記少なくとも1つの画像においてレンダリングすること(73)であって、前記テクスチャ情報が、前記変換された仮想物体(41)の前記少なくとも一部に対応する前記実物体(40)の少なくとも一部に関連する、前記少なくとも1つの画像における可視性を表す情報に従って選択され、
・ 前記実物体(40)の前記少なくとも一部が視認可能な場合に、レンダリング用に用いられるテクスチャ情報が、前記実物体(40)の前記少なくとも一部のテクスチャ情報に対応し、
・ 前記実物体(40)の前記少なくとも一部が、視認可能でない場合に、レンダリング用に用いられるテクスチャ情報が、前記実物体の3Dモデルの相異なる部分を互いに関連付けるマッピング情報に従って選択される前記実物体における部分に対応する、
レンダリングすること(73)と、
を含む方法。 - 前記マッピング情報が、マッピングテーブルに含まれ、前記3Dモデルの各第1の部分が、前記第1の部分と相異なる前記3Dモデルの少なくとも1つの第2の部分に関連付けられる、請求項1に記載の方法。
- 前記第1の部分が、前記3Dモデルの複数の第2の部分に関連付けられ、優先度を表すインデックスが、各第2の部分に関連付けられ、前記第1の部分が視認可能でない場合に前記複数の第2の部分における第2の部分が、前記第2の部分に関連する可視性を表す情報に従って、且つ前記第2の部分に関連する前記インデックスに従って選択される、請求項2に記載の方法。
- 前記マッピング情報が、前記3Dモデルの前記相異なる部分に関連する法線に基づいて確立される、請求項1〜3のいずれか一項に記載の方法。
- 前記マッピング情報が、前記3Dモデルの前記相異なる部分に関連する色情報に基づいて確立される、請求項1〜4のいずれか一項に記載の方法。
- 前記テクスチャ情報が、前記シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから取得され、タイムスタンプが、前記テクスチャデータに関連付けられ、前記タイムスタンプが、前記テクスチャマップを更新するために用いられる前記複数の画像における前記画像に従属する、請求項1〜5のいずれか一項に記載の方法。
- 前記テクスチャマップの前記更新が、以下の情報、即ち、
− 前記テクスチャデータに関連する前記変換された仮想物体(41)の少なくとも一部に関連する法線と、
− 前記テクスチャデータに関連するタイムスタンプ情報と、
− 前記少なくとも1つの実物体に対する取得装置の位置と、
の少なくとも1つに依存する、請求項6に記載の方法。 - 少なくとも1つの実物体を含むシーンをレンダリングするように構成された装置(8)であって、前記装置が、メモリ(87、821)と、少なくとも1つのプロセッサ(81、820)であって、
− 前記シーンを表す少なくとも1つの画像を受信するように、
− 実物体に対応する仮想物体に変換を適用するように、
− 前記少なくとも1つの画像における前記実物体(40)に関連するテクスチャ情報を用いることによって、前記変換された仮想物体(41)の少なくとも一部を前記少なくとも1つの画像においてレンダリングすることであって、前記テクスチャ情報が、前記変換された仮想物体(41)の前記少なくとも一部に対応する前記実物体(40)の少なくとも一部に関連する、前記少なくとも1つの画像における可視性を表す情報に従って選択され、
・ 前記実物体(40)の前記少なくとも一部が視認可能な場合に、レンダリング用に用いられる前記テクスチャ情報が、前記実物体(40)の前記少なくとも一部の前記テクスチャ情報に対応し、
・ 前記実物体(40)の前記少なくとも一部が、視認可能でない場合に、レンダリング用に用いられる前記テクスチャ情報が、前記実物体の3Dモデルの相異なる部分を互いに関連付けるマッピング情報に従って選択される前記実物体における部分に対応するように構成された少なくとも1つのプロセッサ(81、820)と、
を含む装置(8)。 - 前記マッピング情報が、マッピングテーブルに含まれ、前記3Dモデルの各第1の部分が、前記第1の部分と相異なる前記3Dモデルの少なくとも1つの第2の部分に関連付けられる、請求項8に記載の装置。
- 前記第1の部分が、前記3Dモデルの複数の第2の部分に関連付けられ、優先度を表すインデックスが、各第2の部分に関連付けられ、前記第1の部分が視認可能でない場合に前記複数の第2の部分における第2の部分が、前記第2の部分に関連する可視性を表す情報に従って、且つ前記第2の部分に関連する前記インデックスに従って選択される、請求項9に記載の装置。
- 前記マッピング情報が、前記3Dモデルの前記相異なる部分に関連する法線に基づいて確立される、請求項8〜10のいずれか一項に記載の装置。
- 前記マッピング情報が、前記3Dモデルの前記相異なる部分に関連する色情報に基づいて確立される、請求項8〜11のいずれか一項に記載の装置。
- 前記少なくとも1つのプロセッサが、前記シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから前記テクスチャ情報を取得するように構成され、タイムスタンプが、前記テクスチャデータに関連付けられ、前記タイムスタンプが、前記テクスチャマップを更新するために用いられる前記複数の画像における前記画像に従属する、請求項8〜12のいずれか一項に記載の装置。
- 前記テクスチャマップの前記更新が、以下の情報、即ち、
− 前記テクスチャデータに関連する前記少なくとも一部に関連する法線と、
− 前記テクスチャデータに関連するタイムスタンプと、
− 前記少なくとも1つの実物体に対する取得装置の位置と、
の少なくとも1つに依存する、請求項13に記載の装置。 - 請求項1〜7のいずれか一項に記載の少なくとも前記方法をプロセッサに実行させるための命令を格納した非一時的なプロセッサ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16305579.1A EP3246879A1 (en) | 2016-05-20 | 2016-05-20 | Method and device for rendering an image of a scene comprising a real object and a virtual replica of the real object |
EP16305579.1 | 2016-05-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018022470A true JP2018022470A (ja) | 2018-02-08 |
Family
ID=56087215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017095474A Pending JP2018022470A (ja) | 2016-05-20 | 2017-05-12 | 実物体及び実物体の仮想複製を含むシーンの画像をレンダリングするための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10055893B2 (ja) |
EP (2) | EP3246879A1 (ja) |
JP (1) | JP2018022470A (ja) |
KR (1) | KR20170131246A (ja) |
CN (1) | CN107403462A (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767768B2 (en) * | 2012-12-20 | 2017-09-19 | Arris Enterprises, Inc. | Automated object selection and placement for augmented reality |
US10416769B2 (en) * | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
US10380803B1 (en) * | 2018-03-26 | 2019-08-13 | Verizon Patent And Licensing Inc. | Methods and systems for virtualizing a target object within a mixed reality presentation |
CN108919951B (zh) * | 2018-06-28 | 2020-11-20 | 联想(北京)有限公司 | 一种信息交互方法及装置 |
CN109190536B (zh) * | 2018-08-23 | 2023-12-26 | 百度在线网络技术(北京)有限公司 | 人脸图像处理方法、装置及设备 |
US10834413B2 (en) * | 2018-08-24 | 2020-11-10 | Disney Enterprises, Inc. | Fast and accurate block matching for computer generated content |
CN109800695A (zh) * | 2019-01-09 | 2019-05-24 | 中德(珠海)人工智能研究院有限公司 | 一种用于在虚拟模拟环境中定位虚拟对象的方法和系统 |
US11010961B2 (en) * | 2019-01-11 | 2021-05-18 | Microsoft Technology Licensing, Llc | Object permanence in surface reconstruction |
US11024096B2 (en) * | 2019-04-29 | 2021-06-01 | The Board Of Trustees Of The Leland Stanford Junior University | 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device |
US11132845B2 (en) | 2019-05-22 | 2021-09-28 | Microsoft Technology Licensing, Llc | Real-world object recognition for computing device |
CN110969682B (zh) * | 2019-11-27 | 2021-03-02 | 深圳追一科技有限公司 | 虚拟形象切换方法、装置、电子设备及存储介质 |
CN112070910B (zh) * | 2020-11-13 | 2021-03-05 | 蚂蚁智信(杭州)信息技术有限公司 | 数据处理方法及装置 |
CN112494941B (zh) * | 2020-12-14 | 2023-11-28 | 网易(杭州)网络有限公司 | 虚拟对象的显示控制方法及装置、存储介质、电子设备 |
CN113470092B (zh) * | 2021-06-30 | 2022-05-10 | 完美世界(北京)软件科技发展有限公司 | 地形的渲染方法和装置、电子设备和存储介质 |
US20230386143A1 (en) * | 2022-05-25 | 2023-11-30 | Adobe Inc. | System and methods for providing invisible augmented reality markers |
US20240087224A1 (en) * | 2022-09-12 | 2024-03-14 | Htc Corporation | Remote-control system, remote-controller, and remote-control method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6525731B1 (en) * | 1999-11-09 | 2003-02-25 | Ibm Corporation | Dynamic view-dependent texture mapping |
US6887157B2 (en) * | 2001-08-09 | 2005-05-03 | Igt | Virtual cameras and 3-D gaming environments in a gaming machine |
US7159866B2 (en) * | 2003-04-07 | 2007-01-09 | Charles Tyler Selph | Hidden element puzzle |
US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
EP2546806B1 (en) * | 2011-07-11 | 2019-05-08 | Deutsche Telekom AG | Image based rendering for ar - enabling user generation of 3d content |
US9183676B2 (en) | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
WO2014139019A1 (en) | 2013-03-15 | 2014-09-18 | Synaptive Medical (Barbados) Inc. | System and method for dynamic validation, correction of registration for surgical navigation |
WO2015022100A1 (en) * | 2013-08-13 | 2015-02-19 | Brainlab Ag | Moiré marker device for medical navigation |
US9786101B2 (en) * | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
-
2016
- 2016-05-20 EP EP16305579.1A patent/EP3246879A1/en not_active Withdrawn
-
2017
- 2017-05-08 US US15/588,875 patent/US10055893B2/en not_active Expired - Fee Related
- 2017-05-12 JP JP2017095474A patent/JP2018022470A/ja active Pending
- 2017-05-12 EP EP17170803.5A patent/EP3246880A1/en not_active Withdrawn
- 2017-05-17 KR KR1020170061039A patent/KR20170131246A/ko unknown
- 2017-05-19 CN CN201710355722.2A patent/CN107403462A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3246879A1 (en) | 2017-11-22 |
EP3246880A1 (en) | 2017-11-22 |
KR20170131246A (ko) | 2017-11-29 |
US20170337741A1 (en) | 2017-11-23 |
US10055893B2 (en) | 2018-08-21 |
CN107403462A (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018022470A (ja) | 実物体及び実物体の仮想複製を含むシーンの画像をレンダリングするための方法及び装置 | |
US8243061B2 (en) | Image processing apparatus and method of controlling operation of same | |
US8154544B1 (en) | User specified contact deformations for computer graphics | |
US20180122129A1 (en) | Generation, transmission and rendering of virtual reality multimedia | |
US10510179B2 (en) | Method and device for enriching the content of a depth map | |
KR102555214B1 (ko) | 혼합 현실에서 동적 가상 콘텐츠들을 생성하기 위한 디바이스 및 방법 | |
US20180144212A1 (en) | Method and device for generating an image representative of a cluster of images | |
CN107464286B (zh) | 三维城市模型中的孔洞修复方法及装置、设备及可读介质 | |
US20170358127A1 (en) | Rendering based generation of occlusion culling models | |
US10074211B2 (en) | Method and device for establishing the frontier between objects of a scene in a depth map | |
CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
EP2929512A1 (en) | Method for forming an optimized polygon based shell mesh | |
US10825231B2 (en) | Methods of and apparatus for rendering frames for display using ray tracing | |
WO2022143367A1 (zh) | 一种图像渲染方法及其相关设备 | |
JP5916764B2 (ja) | 仮想環境における隠蔽の推定方法 | |
US6346939B1 (en) | View dependent layer ordering method and system | |
JP2008305347A (ja) | 干渉判定情報の生成方法及び装置 | |
WO2018202435A1 (en) | Method and device for determining lighting information of a 3d scene | |
US20190005736A1 (en) | Method and apparatus for calculating a 3d density map associated with a 3d scene | |
CN115803782A (zh) | 具有实时深度图的感受几何结构的增强现实效果 | |
EP2801955A1 (en) | Method and device for visualizing contact(s) between objects of a virtual scene | |
CN117351134A (zh) | 一种图像渲染方法及其相关设备 | |
Smit | A programmable display-layer architecture for virtual-reality applications | |
Oh et al. | An efficient method for dynamic shadow texture generation |