JP2018022470A - 実物体及び実物体の仮想複製を含むシーンの画像をレンダリングするための方法及び装置 - Google Patents

Abstract

【課題】１つ又は複数の実物体を含むシーンをレンダリングするための方法及び装置を提供する。
【解決手段】仮想物体が、各実物体４０に関連付けられ、実物体に関連する仮想物体は、この実物体の仮想複製に対応する。仮想複製は、例えば仮想物体によって衝突された場合に実物体に適用され得る変換をレンダリングするために用いられる。次に仮想物体は、シーン内の対応する実物体に取って代わる。シーンにリアリズムをもたらすために、実物体の画像から取得されたテクスチャ情報が、変換されたる仮想物体の可視部分をテクスチャリングするために用いられる。テクスチャ情報は、変換された仮想物体の可視部分に対応する実物体における部分の可視性に関する情報を用いることによって、画像において選択される。
【選択図】図４Ａ

Description

本開示は、例えばヘッドマウントディスプレイ（ＨＭＤ）、タブレット又はスマートフォンなど、例えば、モバイル装置上で消費される拡張現実感ビデオコンテンツの文脈における画像処理の領域に関する。

拡張現実感（ＡＲ）は、例えばヘッドマウントディスプレイ（ＨＭＤ）、タブレット、スマートフォン又はテレビ表示画面などの表示装置に表示された１つ又は複数の画像に表され得る拡張現実感シーンにおいて、仮想物体を実世界の物体と例えば実時間において混合できるようにする技術である。この技術はまた、複合現実感とも呼ばれる。

例えば、仮想物体が、ＡＲシーンにおいて移動し、１つ又は複数の実物体に当たった場合に、ＡＲシーンの実及び仮想物体間の相互作用が発生し得る。例えば、実シーンが、テーブル上に置かれたカードボックスから構成され、且つテーブル上で回転する仮想球で拡張される場合で、球がボックスと衝突した場合に、球の軌道が修正され得るだけでなく、ボックスもまた、（物体の重量及び速度に依存して、幾つかのわずかな振動から強い投出まで）移動する可能性があることが予想される。Leaoらは、“Geometric modifications applied to real elements in augmented reality”(2011 XIII Symposium on Virtual Reality)において、実及び仮想物体間における相互作用の現実的な手段を提供することを目指して、実物体における修正を実時間で実行できるＡＲシステムを説明している。

図１Ａは、LeaoらのＡＲシステムにおいて用いられる実シーンを表す画像１０の例を示し、シーンは実物体を含み、その中には実物体１００も含まれる。実物体１００は、立方体、例えばカードボックスに対応する。マーカ１０１は、実物体１００の面に適用され、マーカ１０１は、仮想物体の適切な挿入のために、実物体に対する実世界のカメラ位置を取得するために用いられる。図１Ｂは、画像１１を示し、そこにおいて、実物体１００は、実物体１００の仮想複製１１０と取り替えられ、仮想複製１１０にはデフォルメが適用される。仮想複製１１０は、例えば、実物体１００の３Ｄモデルを用いることによって取得される。仮想複製１１０は、実物体１００の画像１０から取得された動的テクスチャを用いることによってテクスチャリングされる。オリジナルシーン１０において、実物体１００の天面は、実物体１００自体によって見えなくされ、画像１１のＡＲシーンにおいて、上面１１２は、不正確なテクスチャで表示される。マーカ１０１を含む実物体１００の可視面のテクスチャは、画像１０から検索され、画像１１のリアリズムに関する問題につながる、仮想複製１１０の正面１１１及び上面１１２用のテクスチャ情報として再利用される。

「一実施形態」、「実施形態」、「例示的な実施形態」、「特定の実施形態」への本明細書における言及は、説明される実施形態が、特定の特徴、構造又は特性を含み得るが、しかし全ての実施形態が、特定の特徴、構造又は特性を必ずしも含み得るわけではないことを示す。更に、かかる句は、必ずしも同じ実施形態を指しているわけではない。更に、特定の特徴、構造又は特性が、実施形態に関連して説明されている場合には、明示的に記載されていてもいなくても、他の実施形態に関連するかかる特徴、構造又は特性に影響を及ぼすことが、当業者の知るところであることが提示されている。

本開示は、少なくとも１つの実物体を含むシーンをレンダリングする方法であって、
− シーンを表す少なくとも１つの画像を受信することと、
− 少なくとも１つの実物体の仮想複製に対応する仮想物体に変換を適用することと、
− 少なくとも１つの画像における実物体に関連するテクスチャ情報を用いることによって、変換された仮想物体の少なくとも１つの第１の部分を少なくとも１つの画像においてレンダリングすることであって、テクスチャ情報が、変換された仮想物体の前記少なくとも１つの第１の部分に対応する実物体の少なくとも１つの第２の部分に関連する少なくとも１つの画像における可視性を表す情報に従って選択されることと、
を含む方法に関する。

特定の特徴によれば、レンダリングは、
− 少なくとも１つの第２の部分が、少なくとも１つの画像において視認可能な場合に、実物体の少なくとも１つの第２の部分に関連するテクスチャ情報を選択することと、
− 少なくとも１つの第２の部分が、少なくとも１つの画像において視認可能でない場合に、実物体の少なくとも１つの第３の部分に関連するテクスチャ情報を選択することと、
を含む。

特定の特徴によれば、仮想物体は、メッシュでモデル化され、少なくとも１つの第３の部分は、少なくとも１つの第３の部分に関連するメッシュの一部における少なくとも１つの頂点と、少なくとも１つの第２の部分に関連するメッシュの一部における少なくとも１つの頂点との間の関係を用いることによって取得される。

別の特徴によれば、関係は、メッシュの頂点に関連する法線に基づいて確立される。

特定の特徴によれば、関係は、メッシュのメッシュ要素に関連する色情報で確立される。

特定の特徴によれば、テクスチャ情報は、シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから取得され、タイムスタンプが、テクスチャデータに関連付けられ、タイムスタンプは、テクスチャマップを更新するために用いられる複数の画像における画像に従属する。

特定の特徴によれば、テクスチャマップの更新は、以下の情報の少なくとも１つに依存する。
− テクスチャデータに関連する少なくとも１つの第１の部分に関連する法線と、
− テクスチャデータに関連するタイムスタンプ情報と、
− 少なくとも１つの実物体に対する取得装置の位置と、
である。

本開示はまた、少なくとも１つの実物体を含むシーンをレンダリングするように構成された装置であって、メモリと、少なくとも１つの実物体を含むシーンをレンダリングする上記の方法の動作を実行するように構成された少なくとも１つのプロセッサと、を含む装置に関する。

本開示はまた、少なくとも１つの実物体を含むシーンをレンダリングするように構成されたマルチメディア／通信端末に関する。

本開示はまた、プログラムがコンピュータ上で実行される場合に、少なくとも１つの実物体を含むシーンをレンダリングする上記の方法を少なくとも１つのプロセッサによって実行のためのプログラムコードの命令を含むコンピュータプログラムプロダクトに関する。

本開示はまた、少なくとも１つの実物体を含むシーンをレンダリングする少なくとも上記の方法をプロセッサに実行させるための命令を格納した（非一時的な）プロセッサ可読媒体に関する。

図のリスト
以下の説明を読むことで、本開示は、よりよく理解され、他の特定の特徴及び利点が、明らかになろう。説明は、添付された図面を参照する。

実物体を含む実シーンの画像を示す。 背景に従って、図１Ａの実物体に対応する仮想物体を含む拡張現実感シーンの画像を示す。 本原理の例示的な実施形態に従って、実物体の画像を示す。 本原理の例示的な実施形態に従って、図２の実物体に対応する仮想物体の表現を示す。 本原理の例示的な実施形態に従って、図３の仮想物体に適用された変換を示す。 本原理の例示的な実施形態に従って、図３の仮想物体に適用された変換を示す。 本原理の例示的な実施形態に従って、図３の仮想物体に適用された変換を示す。 本原理の例示的な実施形態に従って、図３の仮想物体に適用された変換を示す。 本原理の例示的な実施形態に従って、図４Ｂ及び５Ｂの変換された仮想物体をテクスチャリングするために用いられるテクスチャマップを示す。 本原理の例示的な実施形態に従って、図２の実物体の変換された表現を含むシーンをレンダリングする方法を示す。 本原理の例示的な実施形態に従って、図７の方法を実行するように構成された例示的な装置の構造を図表で示す。

実施形態の詳細な説明
ここで主題が、図面に関連して説明され、図面において同様の参照数字は、全体を通して同様の要素を指すために用いられる。以下の記載において、説明のために、多くの特定の詳細が、主題の完全な理解を提供するように明らかにされる。しかしながら、主題の実施形態が、これらの特定の詳細なしに実施され得ることが明らかになり得る。

本原理は、１つ又は複数の実物体を含むシーンをレンダリングする方法の特定の実施形態に関連して説明される。仮想物体は、各実物体に関連付けられ、実物体に関連する仮想物体は、この実物体の仮想複製に対応する。仮想複製は、例えば仮想物体によって衝突された場合に実物体に適用され得る変換（即ち、平行移動、回転及び／又はスケーリング）をレンダリングするために用いられ、次に、仮想物体は、シーン内の対応する実物体に取って代わる。シーンにリアリズムをもたらすために、実物体の画像から取得されたテクスチャ情報は、変換された仮想物体の可視部分をテクスチャリングするために用いられる。テクスチャ情報は、変換された仮想物体の可視部分に対応する実物体における部分の可視性に関する情報を用いることによって、画像において選択される。

図２は、本原理の特定の非限定的な実施形態に従って、実シーンの実物体２０を示す。図２の例において、実物体２０は、直方体の一般的な形状を有するチューインガムのパックである。当然、実物体２０は、チューインガムのパックの例にも、直方体の一般的な形状を有する物体にも制限されず、任意の形状、例えば球、平板、ピラミッドの任意の実物体に及ぶ。

実シーンの１つ又は複数の画像が、実世界に位置する取得装置２００、例えばカメラ又はウェブカメラで取得される。例えば、取得装置２００の姿勢は、例えば実物体上又は実物体の近くに位置する実シーン基準マーカを画像において追跡することにより、画像処理によって決定される。かかる方法は、例えば、Fakhr-eddine Ababsaらによって、 in “Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems” in ACM SIGGRAPH VRCAI, 2004, pp. 2226-2229に説明されている通りである。姿勢は、実シーンの空間における、即ち実世界における取得装置の位置（例えば座標）及び向きを含む。基準マーカのボードと組み合わされたＯｐｅｎＣＶにおけるＡｒＵｃｏソフトウェアが、取得装置２００の姿勢を決定するために用いられ得る。別の例によれば、ＡＲＴｏｏｌＫｉｔライブラリを用いるマーカが、取得装置２００の姿勢を決定するために用いられ得る。別の例によれば、実物体のグラフィカルな特性が、マーカ、例えば実物体２０のテクスチャの特定の要素として用いられてもよい（例えば、チューインガムのピース全体の「chlorophylle」という単語又はグラフィカルな表現）。

図３は、本原理の特定の非限定的な実施形態に従って、実物体２０の仮想複製に対応する仮想物体３０を示す。仮想物体３０は、例えば、実物体２０の形状に対応する３Ｄモデルを３Ｄモデルのライブラリから検索することによって取得される。その目的に達するために、実物体の一般的な形状は、例えば、取得装置２００で取得された実物体を含む実シーンの１つ又は複数の画像を解析することによって決定される。実物体の一般的な形状は、例えば、マーカに基づくか（例えば、実物体の決定されたポイント、例えば隅に位置する目標物を検出することによって）又はマーカのない（エッジ検出又若しくはテクスチャ検出に基づいた目標物など）いずれか周知の追跡技術も用いることによって決定される。変形によれば、仮想物体は、例えば多角形モデル化、即ち、モデルが、多角形セット（メッシュ要素）と同化され、各多角形が、頂上（即ち頂点）及びそれを構成するエッジのリストにより画定される多角形モデル化によってか、モデルが制御頂点を介して作成された曲線セットによって画定されるＮＵＲＢＳ（非一様有理Ｂスプライン）型曲線モデル化によって、又は表面の細分によるモデル化によって手動で生成される。図３の非限定的な例によれば、仮想物体３０は、メッシュ要素及び頂点（即ち三角形３００〜３０ｎ）を含むメッシュでモデル化され、各三角形は、ツリーの頂点に関連付けられる。例えば、頂点３００１、３００２及び３００３は、メッシュ要素（三角形）３００に関連付けられる。

本原理の特定の非限定的な実施形態に従って、図４Ａは、実物体４０を示し、図４Ｂは、実物体４０の仮想複製に対応する仮想物体４１を示す。実物体４０は、例えば実物体２０に対応し、且つ単純化された方法で、例えば直方体の形状で表される。面の幾つかは、図４Ａにおける参照番号、即ち、左側面４００、正面４０１、底面４０２（同様に十字で強調される）、及び上面４０３で識別される。図４Ａの例によれば、実物体４０を含む実シーンの１つ又は複数の画像を取得する取得装置（図示せず）の視点から見える面は、左側面４００、正面４０１及び上面４０３である。

取得装置で取得された実物体の画像における実物体の検討される面の可視性は、検討される面の法線

をベクトル

と比較することによって決定されてもよく、ベクトル

は、取得装置の方へ向けられ、

は、検討される面におけるポイント（例えば検討される面の中心）からスタートし、取得装置で終了する。検討される面の中心及び法線は、例えば、実物体４０の３Ｄモデルから決定され、３Ｄモデルは、実物体４０をシーンと一致させるために、実物体４０上に投射される。変形によれば、検討される面の中心及び法線は、画像を処理することによって、即ち検討される面の形状を決定することによって（例えば、マーカに基づくか又はマーカがないいずれか周知のトラッキング方法も用いることによって）決定される。検討される面の可視性を決定するために、ベクトル

のドット積（スカラー積とも呼ばれる）が計算される。ドット積の結果が、厳密に０より大きい（即ち、厳密に正である）である場合に、検討される面は、目に見える。ドット積の結果が、０以下（即ち負）である場合に、検討される面は、目に見えない。

図４Ｂは、実物体４０の仮想複製に対応する仮想物体４１を示す。仮想物体４１は、実物体４０の３Ｄモデル、例えば図３の３Ｄモデル３０を用いることによって、且つ取得装置で取得された実物体４０の画像から検索されたテクスチャ情報を用いることによって取得される。図４Ｂに示されているような、即ち実物体４０の正面４０１の反対側の面に対応する面上に置かれている仮想物体４１を取得するために、変換が、３Ｄモデルに適用される。３Ｄモデルに適用された変換は、実物体４０をその裏面上に揺り動かすことを再現し、底面４０２を現れさせることができるようにする。仮想物体４１は、例えば実物体４０の代わりに実シーンに挿入される。実物体４０を含む実シーンの画像を取得するために用いられる取得装置の視点によれば、目に見える仮想物体４１の面は、（実物体４０の正面４０１に対応する）面４１１と、（実物体４０の左側面４００に対応する）左側面４１０と、（実物体４０の底面４０２に対応する）十字で識別される面４１２と、である。仮想物体４１にリアリズムをもたらすために、仮想物体の可視面上にマッピングされるテクスチャは、実物体４０の画像から検索される。面４１１上にマッピングされるテクスチャは、実物体の正面４０１のテクスチャ情報に対応する。何故なら、面４１１は、実物体４０の画像において目に見える実際の面４０１に対応する仮想面であるからである。面４１０上にマッピングされるテクスチャは、実物体４０の左側面４００のテクスチャ情報に対応する。何故なら、面４１０は、実物体４０の画像において目に見える実際の面４００に対応する仮想面であるからである。面４０２が、実物体４０の画像において目に見えないので、実際の面４０２に対応する仮想面４１２上にマッピングされるテクスチャは、実際の面４０２のテクスチャとすることができない。代わりに、実際の面４０３のテクスチャが、仮想面４１２上にマッピングされるために用いられる。何故なら、実際の面４０３は、実物体４０の画像において目に見えるからである。仮想物体４１の３Ｄモデルの可視面上にマッピングされるために用いられるテクスチャ情報は、実物体の面における可視性を表す情報に従って、仮想物体４１に対応する実物体４０の画像において選択される。可視性情報は、例えば、０又は１の値を取る、各面に関連する１ビットの情報であり、値の１つは、関連する面が目に見えることを示し、もう一方の値は、関連する面が目に見えないことを示す。

実物体のテクスチャのどの部分が、仮想物体の仮想部分にマッピングされるために用いられるかを決定するために、実物体に関連する３Ｄモデルの相異なる部分間のマッピングが用いられてもよい。マッピング情報は、例えば、ＬＵＴ（ルックアップテーブル）の形を取ってもよい。３Ｄモデルの各部分は、例えば、一意のインデックスで識別される。部分は、例えば、物体の全面（例えば形状が単純な場合に平行六面体）に、メッシュ要素に、又は頂点（例えば、形態がより複雑な場合に、球、円筒又は円錐）に対応する。マッピングテーブルは、３Ｄモデルの各部分に、３Ｄモデルの１つ又は複数の他の部分を割り当てることを含む。３Ｄモデルの２つの相異なる部分は、両方の部分が、実物体自体によって同時に見えなくされるというリスクを最小化するような方法で、互いに割り当てられる。共通の凸形状（例えば、ボックス、球、円錐、円筒）に対して、単純な解決法は、反対のファセットに属する相異なる部分を割り当てることであってもよい。幾つかの相異なる部分が、検討される部分に割り当てられる場合に、優先基準が、相異なる部分に関連付けられてもよい。第１の好ましい部分が、目に見えない場合に、第２の好ましい部分が用いられる。第２の好ましい部分もまた目に見えない場合に、第３の好ましい部分が用いられる等である。

マッピングテーブルは、前処理ステップとして手動できっぱりと生成されてもよい。変形によれば、マッピングテーブルは、例えば３Ｄモデルの各部分に関連する法線情報を用いることによって、自動で生成されてもよい。例えば、３Ｄモデルの検討される部分に関し、検討される部分に割り当てられる他の部分は、その法線と検討される部分の法線との間の絶対差を最大限にする部分であってもよい。

マッピングテーブルは、次のように用いられる。仮想物体の仮想部分をテクスチャリングする場合に、実物体の対応する部分が目に見えるかどうかが最初にチェックされる。ｙｅｓ（即ち、実物体が目に見える）の場合に、対応する実部分のテクスチャが、仮想部分上にマッピングされるために用いられる。ｎｏ（即ち、実物体が目に見えない）の場合に、対応する実部分のテクスチャは、マッピングテーブルにおける実部分に割り当てられる第１の他の部分から検索される。この割り当てられる第１の他の部分が目に見える場合に、この第１の他の部分に関連する実物体のテクスチャ情報が、仮想部分上にマッピングされるために用いられる。この割り当てられる第１の他の部分が目に見えない場合に、第２の他の部分が、マッピングテーブルから検索され（この第２の他の部分が存在する場合に）、この第２の他の部分に関連する実物体のテクスチャ情報が、（目に見える場合に）仮想部分上にマッピングされるために用いられる。このプロセスは、実物体の画像において目に見える実物体の対応する部分を備えた割り当てられる部分を見つけるまで反復される。

変形によれば、実物体の全ての部分のテクスチャが周知の場合に（例えば、前画像から、又は多くの相異なる物体のテクスチャのライブラリに格納された同じ実物体のテクスチャを検索する機械学習技術を用いることによって取得される場合に）、マッピングテーブルは、このテクスチャ情報を用いることによって生成されてもよい。例えば、実物体の３Ｄモデルの検討される部分用に、検討される部分に割り当てられる他の部分は、検討される部分に関連する平均色値と候補の他の部分の平均色値との間の差を最小化する部分であってもよい。別の変形によれば、マッピングテーブルは、法線（上記で説明されたような）及びテクスチャに関連する情報を用いることによって生成される。

本原理の特定の非限定的な実施形態に従って、図５Ａは、実物体５０を示し、図５Ｂは、実物体５０の仮想複製に対応する仮想物体５１を示す。実物体５０は、例えば実物体２０に対応し、且つ単純化された方法で、例えば直方体の形で表されている。面の幾つかは、図５Ａにおける参照番号、即ち、上面５０１、正面５０２及び右側面５０３（同様に十字で強調される）で識別される。図５Ａの例によれば、実物体５０を含む実シーンの１つ又は複数の画像を取得する取得装置（図示せず）の視点に従って目に見える面は、上面５０１、正面５０２及び右側面５０３である。

図５Ｂは、実物体５０の仮想複製に対応する仮想物体５１を示す。仮想物体５１は、実物体５０の３Ｄモデル、例えば図３の３Ｄモデル３０を用いることによって、且つ取得装置で取得された実物体５０の画像から検索されたテクスチャ情報を用いることによって取得される。図５Ｂに示されているような、即ち実物体５０の右横５０３の反対側の面に対応する面上に置かれている仮想物体５１を取得するために、変換が、３Ｄモデルに適用される。３Ｄモデルに適用された変換は、実物体５０を左に揺り動かすことを再現し、左側面を底面にし、且つ右側面５０３を上面にすることができるようにする。仮想物体５１は、実シーンに挿入されて、実シーンを拡張現実感シーンにする。実物体５０を含む実シーンの画像を取得するために用いられる取得装置の視点に従って目に見える仮想物体５１の面は、（実物体５０の上面５０１に対応する）面５１１と、（実物体５０の正面５０２に対応する）正面５１２と、（実物体５０の右側面５０３に対応する）十字で識別される面５１３と、である。正面５１２上にマッピングされるために用いられるテクスチャは、面５０２がはっきり目に見えるので、実物体５０を表す画像から取得される実物体５０の正面５０２のテクスチャ情報である。左側面５１１上にマッピングされるために用いられるテクスチャは、面５０１がはっきり目に見えるので、面５１１に対応する実物体５０の上面５０１のテクスチャ情報である。上面５１３上にマッピングされるために用いられるテクスチャは、実物体の対応する面５０３のテクスチャではない。たとえ目に見えても、面５０３は、そのテクスチャを面５１３上にマッピングするために必要になり得る補間がアーチファクト及び貧弱な結果を生成する可能性があるような方法で配向されている。かかる場合に、非限定的な例によれば、面５１３上にマッピングされるために用いられるテクスチャは、実際の面５０１、即ち仮想面５１３の法線に最も近い法線を有する実物体の面のテクスチャ情報である。変形によれば、仮想面５１３上にマッピングされるテクスチャ情報は、実物体５０の画像を解析する場合に見つかる第１の可視面のテクスチャである。別の変形によれば、仮想面５１３上にマッピングされるテクスチャ情報は、例えば、実物体５０の相異なる可視面の法線を比較することによって決定された、実物体５０の最も正面と平行な面のテクスチャである。更なる変形によれば、仮想面５１３上にマッピングされるテクスチャ情報は、光源への方向が、仮想面５１３の光源への方向に最も近い実物体の可視面のテクスチャである。別の変形によれば、仮想面５１３上にマッピングされるテクスチャ情報は、面５０３に空間的に最も近い実物体５０の可視面のテクスチャである。

実施形態によれば、拡張現実感シーンを表す現在のフレーム（又は画像）用の仮想面５１３をテクスチャリングするために用いられる実物体の面は、（時間的に言うと）それが十分に目に見えている限り（例えば、可視性のレベルは、実際の面に関連する法線ベクトル
を、実際の面からスタートして取得装置の位置で終了するベクトル
と比較することによって決定される）、次のフレーム用に用いられる。

図６は、本原理の特定の非限定的な実施形態に従って、変換された仮想物体４１又は５１をテクスチャリングするために用いられるテクスチャマップ６を示す。マップ６は、仮想物体の３Ｄモデルの平面表現であり、３Ｄモデルの各面は、キューブマッピング技術に従って、テクスチャマップ６の対応する部分６１〜６６を取得するために平面上に投射される。テクスチャマップの各部分６１〜６６は、テクスチャ要素に細分され、各テクスチャ要素は、テクスチャマップ６において、その座標（ｕ、ｖ）で識別される。テクスチャ要素に関連するテクスチャ情報は、実物体の相異なる画像から取得され、テクスチャマップ６は、面（及びそのテクスチャ情報）が実物体の画像内で目に見える場合に更新される。初期化時に、テクスチャマップは空であり、テクスチャマップ６は、テクスチャマップ６のテクスチャ要素に対応する実物体における部分の可視性に従って、フレームからフレームへの（即ち実物体の画像から画像への）テクスチャ情報で満たされる。タイムスタンプ２、３、４又は５の値は、テクスチャマップ６の相異なる部分６１〜６６に関連付けられてもよい。例示的な値２、３、４又は５は、例えば、テクスチャ情報が取得される基となるフレーム番号を識別する。例えば、部分６１のテクスチャ情報は、（フレーム番号０で始まる連続フレームシーケンス内の）フレーム番号５から取得された。部分６２のテクスチャ情報は、フレーム番号２から取得された。部分６３のテクスチャ情報は、フレーム番号５から取得された。部分６４のテクスチャ情報は、フレーム番号３から取得された。部分６５のテクスチャ情報は、フレーム番号４から取得された。部分６６のテクスチャ情報は、フレーム番号３から取得された。

（図４Ａ及び４Ｂに関連して説明されたように）マッピングテーブルが用いられる場合に、部分及びテクスチャマップ６のその対応する部分は、マッピングテーブルに含まれるマッピング情報に従って同時に更新されてもよい。テクスチャマップの更新は、例えば、情報の以下のグループに属する１つ又は複数の情報に依存する。
− 実物体の可視部分に関連する法線：法線に従って、実物体の検討される部分の可視性は、テクスチャマップの対応する部分を更新するために用いられた前のフレームにおける同じ検討される部分の可視性よりよいと考えられてもよい。
− テクスチャマップの検討される部分に関連するタイムスタンプの値：実物体の一部が現在のフレームにおいて目に見える場合に、テクスチャマップ６の対応する部分の更新は、テクスチャマップのこの対応する部分に関連するタイムスタンプに従って実行されてもよい。テクスチャ情報が古すぎると見なされる場合に、例えば、現在のフレームのタイムスタンプとテクスチャマップの対応する部分に関連するタイムスタンプとの間の差が閾値より大きい、例えば３、４、５又は１０フレームより大きい場合に、現在のフレームから取得されるテクスチャ情報は、テクスチャマップ６の対応する部分の既存のテクスチャ情報に取って代わるために用いられてもよい。
− 実物体の検討される可視部分に対する取得装置の位置：取得装置が、実物体の検討される部分に十分に近く（即ち、取得装置の位置と、例えば検討される部分中心又は一頂点との間の距離が、決定された値未満である）、検討される部分のテクスチャの分解能が、許容できる品質レベルを有することを意味する場合に、テクスチャマップの対応する部分が更新される。

テクスチャマップ６のテクスチャ情報は、周知のテクスチャマッピング技術を用いることによって、前に変換された仮想物体の可視部分をテクスチャリングするために用いられる。

例えば、Leaoらによって説明されているように、実物体に対応する変換されていないメッシュの各頂点は、実物体自体の画像から実時間において取得された動的テクスチャを用いるために、投射及びモデルビューマトリックスを用いて画像上に投射される。間隔［０，１］に正確にマッピングされた後で、画像／スクリーン座標が、テクスチャ座標として用いられる。

図７は、本原理の特定の非限定的な実施形態に従って、１つ又は複数の実物体を含むシーンをレンダリングする方法を示す。レンダリング方法は、例えば装置８において実行される。

初期化ステップ７０の間に、装置８の相異なるパラメータが、更新される。特に、３Ｄモデルのパラメータは、何らかの方法で初期化される。

ステップ７１において、実物体を含むシーンの１つ又は複数の画像が受信される。画像は、例えば、取得装置から受信される。変形によれば、１つ又は複数の画像は、記憶装置、例えば遠隔記憶装置から、又は装置８のローカルメモリから受信される。

ステップ７２において、変換が、実物体の仮想複製に対応する仮想物体に適用される。変換は、仮想物体の平行移動に、仮想物体の回転に、且つ／又は仮想物体のスケーリングに対応する。変換は、例えば、１つ又は複数のマトリックスの形で表現されてもよい。変換は、仮想物体の一部だけに、即ち、例えば仮想物体のこの部分にデフォルメを適用する場合に、仮想物体の一部だけに適用されてもよい。仮想物体が、多角形のメッシュからモデル化される場合に、変換は、多角形（若しくはそれらの一部）に、又は多角形の頂点（若しくはそれらの一部）に適用される。

ステップ７３において、変換された仮想物体の１つ又は複数の第１の可視部分は、ステップ７１で受信された実物体の１つ又は複数の画像から取得されたテクスチャ情報を用いることによってレンダリングされる。１つ又は複数の受信された画像から取得されるテクスチャ情報は、仮想物体（仮想物体は、実物体の仮想複製である）の１つ又は複数の第１の部分に対応する実物体の１つ又は複数の第２の部分から選択されてもよい。選択は、１つ又は複数の第２の部分の可視性を表す情報、即ち第２の部分が目に見えるか否かを確認する情報に基づいて実行されてもよい。

任意選択のステップにおいて、仮想物体のレンダリングされた第１の部分で拡張されたシーンの１つ又は複数の画像は、表示のために表示装置に送信される。

図８は、拡張現実感シーンの１つ又は複数の画像をレンダリング、構成及び／又は送信するように構成された装置８の例示的なハードウェア実施形態を図表で示す。装置８はまた、１つ又は複数の画像の表示信号の生成のために構成されてもよい。装置８は、例えば、タブレット、スマートフォン、ゲームコンソール、コンピュータ、ラップトップ又はセットトップボックスに対応してもよい。

装置８は、一般的な計算装置であり、クロック信号もまた搬送するアドレス及びデータのバス８５によって互いに接続された次の要素を含んでもよい。
− マイクロプロセッサ８１（又はＣＰＵ）と、
− グラフィックカード８２であって、
・ 幾つかのグラフィカルプロセッサユニット（又はＧＰＵ）８２０と、
・ グラフィカルランダムアクセスメモリ（ＧＲＡＭ）８２１と、
を含むグラフィックカード８２と、
− ＲＯＭ（読み出し専用メモリ）型の不揮発性メモリ８６と、
− ランダムアクセスメモリ又はＲＡＭ８７と、
− １つ又は複数の画像を表すデータを送信するように構成された送信機８８と、
− １つ又は複数の実物体を含む実シーンの１つ又は複数の画像を取得する取得装置からデータを受信するように構成された受信機８９と、
− 例えば触覚インターフェース、マウス、ウェブカメラなどの１つ又は幾つかのＩ／Ｏ（入力／出力）装置８４と、
− 電源８９と、
を含んでもよい。

装置８はまた、グラフィックカードにおいて計算された画像を例えばライブで表示するために、グラフィックカード８２に直接接続された表示画面型の１つ又は複数の表示装置８３を含んでもよい。グラフィックカード８２に表示装置８３を接続する専用バスの使用は、はるかに大きなデータ伝送ビットレートを有するという、且つ従ってグラフィックカードによって構成される画像の表示用の待ち時間を縮小するという利点を提供する。変形によれば、表示装置は、装置８の外部にあり、且つ表示信号を送信するために、ケーブルによって又は無線で装置８に接続される。装置８、例えばグラフィックカード８２は、例えば第１の表示装置（例えばＨＭＤ）、ＬＣＤ若しくはプラズマスクリーン又はビデオプロジェクタなどの外部表示手段に表示信号を送信するように適合された、送信又は接続用のインターフェース（図８には図示せず）を含む。

メモリ８２１、８６及び８７の説明において用いられる「レジスタ」という単語は、言及されるメモリのそれぞれにおいて、低容量（幾つかの２進データ）のメモリゾーンと同様に大容量（プログラム全体、又は計算されるデータを表すデータの全て若しくは一部を格納又は表示できるようにする）のメモリゾーンの両方を示す。

オンにされると、マイクロプロセッサ８１は、ＲＡＭ８７に含まれるプログラムの命令をロードし実行する。

ランダムアクセスメモリ８７は、次のものを特に含む。
− レジスタ８７０における、装置８をオンにする責任があるマイクロプロセッサ８１の動作プログラムと、
− 実物体を表す画像を表すデータ８７１（例えば、テクスチャ情報、例えばＲＧＢデータ）と、
− 実物体の画像を取得する取得装置の姿勢を表す情報８７２と、
− 仮想物体を表すデータ８７３（例えば３Ｄモデル）と、
− 任意選択的な、マッピングテーブルを表すデータと、
を特に含む。

本開示に特有の方法（例えば、シーンをレンダリングする方法及び／又は変換された仮想物体で拡張されたシーンを表すデータ送信する方法）のステップを実行するアルゴリズムは、これらのステップを実行する装置８に関連するグラフィックカード８２のメモリＧＲＡＭ８２１に格納される。オンにされ且つデータ５８１及び情報８７２がＲＡＭ８７にロードされると、グラフィックカード８２のグラフィックプロセッサ８２０は、これらのパラメータをＧＲＡＭ８２１にロードし、且つ例えばＨＬＳＬ（高レベルシェーディング言語）言語又はＧＬＳＬ（ＯｐｅｎＧＬシェーディング言語）を用いる「シェーダ」型のマイクロプログラムの形で、これらのアルゴリズムの命令を実行する。

ランダムアクセスメモリＧＲＡＭ８２１は、次のものを特に含む。
− レジスタにおける、実物体を含む実シーンの画像を表すデータと、
− レジスタにおける、変換された仮想物体で拡張された実シーンの画像を表すデータと、
− レジスタにおける、姿勢情報を表すデータと、
− レジスタにおける、変換された仮想物体を表すデータと、
− 任意選択的な、レジスタにおけるマッピングテーブルを表すデータと、
を特に含む。

変形によれば、電源８９は、装置８の外部にある。

代替実施形態において、装置８は、ＲＯＭを少しも含まず、ＲＡＭだけを含み、本開示に特有の、且つ図４、５、６又は７に関連して説明された方法のステップを実行するアルゴリズムは、ＲＡＭに格納される。別の変形によれば、装置８は、ＲＯＭ及び／又はＲＡＭの代わりに、ＳＳＤ（ソリッドステートドライブ）メモリを含む。

当然、本開示は、前に説明された実施形態に限定されない。

特に、本開示は、シーンをレンダリングする方法に限定されず、変換された仮想物体で拡張された実シーンを表すデータを送信する方法（及びその方法を実行するように構成された装置）又は拡張されたシーンの画像を表示する方法（及び対応する装置）にもまた及ぶ。

本明細書で説明される実装形態は、例えば方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム又は信号において実施されてもよい。たとえ実装形態の単一の形態の文脈で説明された（例えば、方法又は装置としてのみ説明された）だけであっても、説明された特徴の実装形態はまた、他の形態（例えばプログラム）で実施されてもよい。装置は、例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現されてもよい。方法は、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理装置を含む、処理装置を一般に指す例えばプロセッサなどの例えば装置において実行されてもよい。プロセッサはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を容易にする他の装置などの通信装置を含む。

本明細書で説明された様々なプロセス及び特徴の実装形態は、様々な相異なる機器又はアプリケーション、特に例えばデータ符号化、データ復号化、ビュー作成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び／又は奥行き情報の他の処理に関連する機器又はアプリケーションにおいて具体化されてもよい。かかる機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を供給するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明らかなはずだが、機器は、可動であってもよく、たとえ移動車両に設置されてもよい。

加えて、方法は、プロセッサによって実行される命令によって実行されてもよく、かかる命令（及び／又は実装形態によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア又は他の記憶装置などのプロセッサ可読媒体に格納されてもよく、これらの他の記憶装置には、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスク又はデジタルビデオディスクと呼ばれることが多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、又は読み取り専用メモリ（「ＲＯＭ」）などがある。命令は、プロセッサ可読媒体上に実体的に具体化されるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又は組み合わせにあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら２つの組み合わせにおいて見い出されてもよい。従って、プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含む装置の両方として特徴付けられてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装形態によって生成されたデータ値を格納してもよい。

当業者には明らかであろうように、実装形態は、例えば格納又は送信され得る情報を担持するようにフォーマットされた様々な信号を生成してもよい。情報は、例えば、方法を実行するための命令、又は説明された実装形態の１つによって生成されたデータを含んでもよい。例えば、信号は、説明された実施形態のシンタックスを書き込むか若しくは読み出すための規則をデータとして担持するように、又は説明された実施形態によって書き込まれた実際のシンタックス値をデータとして担持するようにフォーマットされてもよい。かかる信号は、例えば電磁波（例えば、スペクトルの無線周波数部分を用いて）として、又はベースバンド信号としてフォーマットされてもよい。フォーマッティングは、例えば、データストリームの符号化、及び符号化されたデータストリームでキャリアを変調することを含んでもよい。信号が担持する情報は、例えばアナログ又はデジタル情報であってもよい。周知のように、信号は、様々な相異なる有線又は無線リンクを通じて伝送されてもよい。信号は、プロセッサ可読媒体上に格納されてもよい。

多くの実装形態が説明された。しかしながら、様々な修正を行い得ることが理解されよう。例えば、相異なる実装形態の要素は、組み合わされるか、補足されるか、修正されるか、又は他の実装形態を生成するために除去されてもよいことが理解されよう。加えて、当業者は、他の構造及びプロセスが、開示された構造及びプロセスの代わりに代用されてもよいこと、及び結果としての実装形態が、開示された実装形態と少なくともほぼ同じ結果を達成するために、少なくともほぼ同じ方法で、少なくともほぼ同じ機能を実行することを理解されよう。

２、３、４、５ タイムスタンプの値
６ テクスチャマップ
８ 装置
１０、１１ 画像
２０、４０、５０、１００ 実物体
３０、４１、５１ 仮想物体
１１０ 仮想複製
６１〜６６ テクスチャマップにおける部分
８１ マイクロプロセッサ
８２ グラフィックカード
８３ 表示装置
８４ 入力／出力装置
８５ バス
８６ 不揮発性メモリ
８７ ランダムアクセスメモリ
８８ 送信機
８９ 受信機
１０１ マーカ
１１１、４０１、５０２ 正面
１１２、４０３、５０１、５１３ 上面
２００ 取得装置
３００ メッシュ要素
４００、４１０、５１１ 左側面
４０２ 底面
４１１ 面
５０３ 右側面
４１２ ５１３ 仮想面
５８１ ８７１、８７３ データ
８２０ グラフィカルプロセッサユニット
８２１ グラフィカルランダムアクセスメモリ
８７０ レジスタ
８７１、８７３ データ
８７２ 情報
３００１、３００２、３００３ 頂点

Claims (15)

1. 少なくとも１つの実物体（４０）を含むシーンをレンダリングする方法であって、
   − 前記シーンを表す少なくとも１つの画像を受信すること（７１）と、
   − 前記実物体（４０）に対応する仮想物体（４１）に変換を適用すること（７２）と、
   − 前記少なくとも１つの画像における前記実物体（４０）に関連するテクスチャ情報を用いることによって、前記変換された仮想物体（４１）の少なくとも一部を前記少なくとも１つの画像においてレンダリングすること（７３）であって、前記テクスチャ情報が、前記変換された仮想物体（４１）の前記少なくとも一部に対応する前記実物体（４０）の少なくとも一部に関連する、前記少なくとも１つの画像における可視性を表す情報に従って選択され、
   ・ 前記実物体（４０）の前記少なくとも一部が視認可能な場合に、レンダリング用に用いられるテクスチャ情報が、前記実物体（４０）の前記少なくとも一部のテクスチャ情報に対応し、
   ・ 前記実物体（４０）の前記少なくとも一部が、視認可能でない場合に、レンダリング用に用いられるテクスチャ情報が、前記実物体の３Ｄモデルの相異なる部分を互いに関連付けるマッピング情報に従って選択される前記実物体における部分に対応する、
   レンダリングすること（７３）と、
   を含む方法。
2. 前記マッピング情報が、マッピングテーブルに含まれ、前記３Ｄモデルの各第１の部分が、前記第１の部分と相異なる前記３Ｄモデルの少なくとも１つの第２の部分に関連付けられる、請求項１に記載の方法。
3. 前記第１の部分が、前記３Ｄモデルの複数の第２の部分に関連付けられ、優先度を表すインデックスが、各第２の部分に関連付けられ、前記第１の部分が視認可能でない場合に前記複数の第２の部分における第２の部分が、前記第２の部分に関連する可視性を表す情報に従って、且つ前記第２の部分に関連する前記インデックスに従って選択される、請求項２に記載の方法。
4. 前記マッピング情報が、前記３Ｄモデルの前記相異なる部分に関連する法線に基づいて確立される、請求項１〜３のいずれか一項に記載の方法。
5. 前記マッピング情報が、前記３Ｄモデルの前記相異なる部分に関連する色情報に基づいて確立される、請求項１〜４のいずれか一項に記載の方法。
6. 前記テクスチャ情報が、前記シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから取得され、タイムスタンプが、前記テクスチャデータに関連付けられ、前記タイムスタンプが、前記テクスチャマップを更新するために用いられる前記複数の画像における前記画像に従属する、請求項１〜５のいずれか一項に記載の方法。
7. 前記テクスチャマップの前記更新が、以下の情報、即ち、
   − 前記テクスチャデータに関連する前記変換された仮想物体（４１）の少なくとも一部に関連する法線と、
   − 前記テクスチャデータに関連するタイムスタンプ情報と、
   − 前記少なくとも１つの実物体に対する取得装置の位置と、
   の少なくとも１つに依存する、請求項６に記載の方法。
8. 少なくとも１つの実物体を含むシーンをレンダリングするように構成された装置（８）であって、前記装置が、メモリ（８７、８２１）と、少なくとも１つのプロセッサ（８１、８２０）であって、
   − 前記シーンを表す少なくとも１つの画像を受信するように、
   − 実物体に対応する仮想物体に変換を適用するように、
   − 前記少なくとも１つの画像における前記実物体（４０）に関連するテクスチャ情報を用いることによって、前記変換された仮想物体（４１）の少なくとも一部を前記少なくとも１つの画像においてレンダリングすることであって、前記テクスチャ情報が、前記変換された仮想物体（４１）の前記少なくとも一部に対応する前記実物体（４０）の少なくとも一部に関連する、前記少なくとも１つの画像における可視性を表す情報に従って選択され、
   ・ 前記実物体（４０）の前記少なくとも一部が視認可能な場合に、レンダリング用に用いられる前記テクスチャ情報が、前記実物体（４０）の前記少なくとも一部の前記テクスチャ情報に対応し、
   ・ 前記実物体（４０）の前記少なくとも一部が、視認可能でない場合に、レンダリング用に用いられる前記テクスチャ情報が、前記実物体の３Ｄモデルの相異なる部分を互いに関連付けるマッピング情報に従って選択される前記実物体における部分に対応するように構成された少なくとも１つのプロセッサ（８１、８２０）と、
   を含む装置（８）。
9. 前記マッピング情報が、マッピングテーブルに含まれ、前記３Ｄモデルの各第１の部分が、前記第１の部分と相異なる前記３Ｄモデルの少なくとも１つの第２の部分に関連付けられる、請求項８に記載の装置。
10. 前記第１の部分が、前記３Ｄモデルの複数の第２の部分に関連付けられ、優先度を表すインデックスが、各第２の部分に関連付けられ、前記第１の部分が視認可能でない場合に前記複数の第２の部分における第２の部分が、前記第２の部分に関連する可視性を表す情報に従って、且つ前記第２の部分に関連する前記インデックスに従って選択される、請求項９に記載の装置。
11. 前記マッピング情報が、前記３Ｄモデルの前記相異なる部分に関連する法線に基づいて確立される、請求項８〜１０のいずれか一項に記載の装置。
12. 前記マッピング情報が、前記３Ｄモデルの前記相異なる部分に関連する色情報に基づいて確立される、請求項８〜１１のいずれか一項に記載の装置。
13. 前記少なくとも１つのプロセッサが、前記シーンを表す複数の画像のテクスチャデータで更新されるテクスチャマップから前記テクスチャ情報を取得するように構成され、タイムスタンプが、前記テクスチャデータに関連付けられ、前記タイムスタンプが、前記テクスチャマップを更新するために用いられる前記複数の画像における前記画像に従属する、請求項８〜１２のいずれか一項に記載の装置。
14. 前記テクスチャマップの前記更新が、以下の情報、即ち、
    − 前記テクスチャデータに関連する前記少なくとも一部に関連する法線と、
    − 前記テクスチャデータに関連するタイムスタンプと、
    − 前記少なくとも１つの実物体に対する取得装置の位置と、
    の少なくとも１つに依存する、請求項１３に記載の装置。
15. 請求項１〜７のいずれか一項に記載の少なくとも前記方法をプロセッサに実行させるための命令を格納した非一時的なプロセッサ可読媒体。