JP2013513172A - イメージベースドビジュアルハルにおける凹状表面のモデリング - Google Patents

Abstract

本明細書で開示される装置および方法は、オブジェクトの凹領域全体をキャプチャするためにカメラから取得された１組の参照画像および視点から取得された参照画像と、オブジェクトの凹領域のシルエット画像を取得するためのシルエット処理モジュールと、このシルエット処理モジュールに接続され、計算されたシルエット画像から凹領域の仮想逆転画像を合成し、凹領域を有するオブジェクトのビジュアルハルを生成するための仮想画像合成モジュールとを提供する。

Description

イメージベースドレンダリング（ＩＢＲ）は、１組の参照画像から新規な光景（ｓｃｅｎｅ）を生成する方法である。この参照画像はオブジェクトの実写像（ａｃｔｕａｌ ｐｉｃｔｕｒｅ）であり、色は、参照画像内のピクセルから計算されることができる。したがって、ＩＢＲは、フォトリアリズムを達成するための方法である。イメージベースドビジュアルハル（ＩＢＶＨ）は、オブジェクトの参照画像のグループから３次元（３Ｄ）モデルを再構成するために使用できるイメージベースドレンダリングの一種である。従来のＩＢＶＨ技法は、像のグループを入力として受け取って対象オブジェクトの凸包を生成する３Ｄ再構成方法を必要とする。

従来のＩＢＶＨ技法では、参照画像中のオブジェクトのシルエットを使用して幾何情報を復元する。しかし、この従来の技法に関する問題は、シルエットからオブジェクトの表面の凹領域（すなわち、凹状オブジェクトと呼ばれる）の情報が明らかにできないことである。したがって、凹状オブジェクトを再構成することは難しい。特に、従来のＩＢＶＨ技法では、突き出す不具合が生じ、続いてフォトリアリズムが低下することがある。突き出す不具合を有する再構成されたオブジェクトの一例が図２に示されている。突き出す不具合が発生する理由は、１つには凹領域が常にオブジェクトの残りの部分によって取り囲まれているからである。したがって、従来のＩＢＶＨ技法は、参照画像を用いて凹状オブジェクトの幾何を得る上で問題を有する。

方法およびコンピュータが実行可能なプログラムを記憶するコンピュータ可読媒体が、本開示において説明されている。この方法は、１つの凹領域または複数の凹領域を有するオブジェクトの複数の参照画像を取得すること、およびこの参照画像に基づいて凹領域（複数可）に対する仮想逆転画像（ｖｉｒｔｕａｌ ｉｎｓｉｄｅ−ｏｕｔ ｉｍａｇｅ）を生成することを含む。

あるいは、装置が本開示において説明されている。この装置は、凹領域を有するオブジェクトに対するカメラから取得された複数の参照画像およびこのオブジェクトの凹領域をキャプチャする視点から取得された参照画像を記憶するためのストレージと、各参照画像に対するシルエットを取得するためのシルエット処理モジュールと、凹領域の仮想逆転画像を取得し、オブジェクトのビジュアルハル（ｖｉｓｕａｌ ｈｕｌｌ）を合成する仮想画像合成モジュールとを含む。

あるいは、装置が本開示において説明されている。この装置は、カメラから取得されたオブジェクトの複数の参照画像およびこのオブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、各参照画像および凹領域の境界に対するシルエットを取得するためのシルエット処理モジュールと、このシルエット処理モジュールに接続され、凹領域の仮想逆転画像を取得し、この仮想逆転画像に基づいて凹領域を有するオブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールとを含む。

あるいは、方法が本開示において説明されている。この方法は、凹領域を有するオブジェクトの複数の参照画像を取得すること、この参照画像に基づいて凹領域に対する仮想逆転画像を生成すること、およびこの生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得することを含む。

上記は概要であり、したがって必然的に簡略化、一般化、および細部の省略を含む。したがって、この概要は例示的なものにすぎず、いかなる形であれ限定を意図するものではないことが当業者には理解されよう。本明細書において説明するデバイスおよび／または処理および／または他の主題の他の態様、特徴、および利点は、本明細書に記載する教示で明らかになろう。概要は、以下の「発明を実施するための形態」でさらに説明する一連の概念を簡略化された形で紹介するために提供するものである。この概要は、特許請求の範囲に記載された主題の重要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求の範囲に記載された主題の範囲を判断する際の補助として使用されることを意図するものでもない。

例示的な一実施形態による方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。 ＩＢＶＨを使用した、凹状オブジェクトの突き出した形状の歪みを有するレンダリングの結果である。 図３ａは、開示する方法による処理を行う前の画像である。図３ｂは、例示的な一実施形態による凹状オブジェクトモデリング方法を使用したレンダリングの結果である。 例示的な一実施形態による、図１のコンピューティングデバイスで実行されるモジュールを示すブロック図である。 例示的な一実施形態によりオブジェクトの凹領域に対するビジュアルシルエットコーンを生成する方法を示す流れ図である。 図５の３Ｄ座標を決定する方法の手順を示す流れ図である。 参照画像から取得されるビジュアルハルを示す概念図である。 例示的な一実施形態により凹領域の仮想逆転画像を取得するための仮想カメラの概念を示す図である。 ３Ｄから２Ｄへの透視投影によって取得される凹領域の投影された逆転画像である。 図１０ａは、例示的な一実施形態による、真上から撮影されたオブジェクトの参照画像である。図１０ｂは、例示的な一実施形態による、画像セグメンテーションを使用して得られる中間結果である。図１０ｃは、例示的な一実施形態による、合成された仮想画像である。 凹領域の投影された逆転画像を参照画像として使用してビジュアルハルを決定する方法を示す流れ図である。 凹領域の投影された逆転画像を参照画像として使用して取得されたビジュアルハルを示す図である。

以下の詳細な説明では、本発明の一部を形成する添付の図面を参照する。図面においては、文脈上特に指示しない限り、同じ符号は典型的には同じ構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載する例示的な実施形態は限定を意図したものではない。本明細書で示す主題の趣旨または範囲から逸脱することなく、他の実施形態が利用可能であり、また他の変更を加えることができる。本明細書において一般的に説明され、かつ図に示される本開示の態様は、多種多様の異なる構成での配置、置き換え、組み合わせ、および設計が可能であり、これらはいずれも明示的に企図され、本開示の一部を構成することは容易に理解されよう。

本開示は、特に、オブジェクトの画像の再構成に関連する方法、装置、コンピュータプログラム、およびシステムを対象とする。

例えば図３ａおよび図３ｂから分かるように、従来の処理方法のレンダリングの結果（図３ａ）と比較して、開示する凹状オブジェクトモデリングの手法では、対象凹状オブジェクトの形状およびテクスチャを正確に再構成し、高品質のフォトリアリスティックな結果（図３ｂ）を生成する。

本開示の例示的な一実施形態によれば、仮想カメラおよび画像は、凹状オブジェクトの幾何情報を特徴付けるビジュアルシルエットコーン（ｖｉｓｕａｌ ｓｉｌｈｏｕｅｔｔｅ ｃｏｎｅ）を提供するために採用され、テクスチャ情報は、凹状オブジェクトの真上から撮影された画像によって与えられる。

図１は、この方法に従って表示画像を再構成するように構成されたコンピューティングデバイスの構成の一例を示すブロック図である。

図１は、前処理モジュール、仮想画像合成モジュール、および点再配置（ｐｏｉｎｔ ｒｅｌｏｃａｔｉｏｎ）モジュールを実施するための例示的なコンピューティングデバイス１００を示すブロック図である。基本構成１０１において、コンピューティングデバイス１００は、典型的には、１つまたは複数のプロセッサ１１０と、システムメモリ１２０とを含む。プロセッサ１１０とシステムメモリ１２０の間での通信にメモリバス１３０を使用してもよい。

プロセッサ１１０は、所望の構成に応じて、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。プロセッサ１１０は、１次キャッシュ１１１および２次キャッシュ１１２などの１より多いレベルのキャッシングと、プロセッサコア１１３と、レジスタ１１４とを含んでもよい。プロセッサコア１１３は、算術論理演算装置（ＡＬＵ）、浮動小数点演算装置（ＦＰＵ）、デジタルシグナルプロセッサコア（ＤＳＰコア）、またはこれらの任意の組み合わせを含んでよい。メモリコントローラ１１５は、プロセッサ１１０と共に使用されてもよいし、またはいくつかの実装形態では、メモリコントローラ１１５は、プロセッサ１１０の内部部品であってもよい。

システムメモリ１２０は、所望の構成に応じて、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。システムメモリ１２０は、典型的には、オペレーティングシステム１２１と、１つまたは複数のアプリケーション１２２と、プログラムデータ１２４とを含む。アプリケーション１２２は、オブジェクトを捕捉してレンダリングするように構成された凹状オブジェクトモデリング処理アプリケーション１２３を含む。以下でさらに説明するように、プログラムデータ１２４は、参照画像データ１２５を含む。いくつかの実施形態では、アプリケーション１２２は、オペレーティングシステム１２１上でプログラムデータ１２４を用いて演算を行うように構成されることができる。説明したこの基本構成は、図１において破線１０１の内部にあるこれらの構成要素によって示されている。

コンピューティングデバイス１００は、追加の特徴または機能と、基本構成１０１と任意の必要なデバイスおよびインターフェースとの間の通信を容易にするための追加のインターフェースとを有してもよい。例えば、ストレージインターフェースバス１４１を介した、基本構成１０１と１つまたは複数のデータストレージデバイス１５０との間の通信を容易にするために、バス／インターフェース制御装置１４０が使用されてもよい。データストレージデバイス１５０は、リムーバブルストレージデバイス１５１、ノンリムーバブルストレージデバイス１５２、またはこれらの組み合わせであってよい。リムーバブルストレージデバイスおよびノンリムーバブルストレージデバイスの例としていくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブがある。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術として実施される、揮発性および不揮発性の、リムーバブルおよびノンリムーバブルな媒体が含まれ得る。

システムメモリ１２０、リムーバブルストレージ１５１、およびノンリムーバブルストレージ１５２はいずれもコンピュータ記憶媒体の例である。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または所望の情報を記憶するために使用可能でかつコンピューティングデバイス１００によりアクセス可能な他の任意の媒体があるが、これらに限定されない。このような任意のコンピュータ記憶媒体は、デバイス１００の一部であってもよい。

コンピューティングデバイス１００は、バス／インターフェース制御装置１４０を介した、種々のインターフェースデバイス（例えば、出力インターフェース、周辺装置インターフェース、および通信インターフェース）から基本構成１０１への通信を容易にするためのインターフェースバス１４１も含んでよい。例示的な出力デバイス１６０は、グラフィックス処理ユニット１６１と、音声処理ユニット１６２とを含み、これらは、１つまたは複数のＡ／Ｖポート１６３を介してディスプレイまたはスピーカなどの種々の外部デバイスに通信するように構成されてもよい。例示的な周辺装置インターフェース１７０は、シリアルインターフェースコントローラ１７１またはパラレルインターフェースコントローラ１７２を含み、これらは、入力デバイス（例えば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）または他の周辺機器（例えば、プリンタ、スキャナなど）などの外部デバイスと１つまたは複数のＩ／Ｏポート１７３を介して通信するように構成されてもよい。例示的な通信デバイス１８０は、ネットワークコントローラ１８１を含み、これは、１つまたは複数の通信ポート１８２を介したネットワーク通信による１つまたは複数の他のコンピューティングデバイス１９０との通信を容易にするように構成されてもよい。通信接続は通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構など、変調データ信号内の他のデータによって実施でき、任意の情報配信媒体を含む。「変調データ信号」は、信号内で情報を符号化するようにその特性のうちの１つまたは複数を設定または変更させた信号であってよい。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接有線接続（ｄｉｒｅｃｔ−ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線（ＩＲ）、および他の無線媒体などの無線媒体が含まれ得る。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことができる。

コンピューティングデバイス１００は、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤーデバイス、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型フォームファクタポータブル（またはモバイル）電子デバイスの一部分として実施されてもよい。コンピューティングデバイス１００は、ラップトップコンピュータ構成とラップトップではないコンピュータ構成の両方を含むパーソナルコンピュータとして実施されてもよい。

図４に示すように、凹状オブジェクトモデリング処理アプリケーション１２３は、シルエット処理モジュール４０２と仮想画像合成モジュール４０４という２つの部品を含んでよい。シルエット処理モジュール４０２は、オブジェクトの画像をキャプチャするかまたはこれにアクセスして、このオブジェクトのシルエットを抽出する。仮想画像合成モジュール４０４は、凹状オブジェクトの底辺に仮想カメラを設定し、シルエットを仮想カメラの画像領域にマッピングし、仮想画像を合成して、ビジュアルハルを形成する。

凹状オブジェクトモデリング処理アプリケーション１２３は、ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ法による３Ｄ再構成（ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）に基づくＩＢＶＨ技法を必要とする。一般に、ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ法による３Ｄ再構成によって、シルエットコーンと呼ばれる幾何エンティティが作成される。ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ法による３Ｄ再構成では、原画像は、シルエット画像と呼ばれる前景／背景２値画像（ｆｏｒｅｇｒｏｕｎｄ／ｂａｃｋｇｒｏｕｎｄ ｂｉｎａｒｙ ｉｍａｇｅ）を生成するために、しきい値処理に供される。シルエットとして知られる前景マスクは、対応する３Ｄ前景オブジェクトの２Ｄ投影である。シルエットは、カメラのビューイングパラメータと共に、３Ｄオブジェクトを囲む逆投影された一般化円錐（ｂａｃｋ−ｐｒｏｊｅｃｔｅｄ ｇｅｎｅｒａｌｉｚｅｄ ｃｏｎｅ）を画定する。この一般化円錐がシルエットコーンである。

イメージベースドビジュアルハル（ＩＢＶＨ）処理は、一般化円錐の共通部分（ｉｎｔｅｒｓｅｃｔｉｏｎ）からビジュアルハルを生成する。一般に、ＩＢＶＨ処理は、写真のグループを入力として受け取り、対象オブジェクトの凸包を生成する。この凸包が、オブジェクトに対するビジュアルハルである。この処理では、各参照画像が前景と背景に分離される。前景マスクすなわちシルエットは、カメラのキャリブレーション情報と共に、３Ｄ空間において対象オブジェクトを含む逆投影された円錐を画定する。カメラのキャリブレーション情報は、焦点距離およびカメラの位置を含む。すべてのシルエットコーンの共通部分がオブジェクトの凸包を形成する。ビジュアルハルの例示的な図が図７に示されている。

図５および図６は、オブジェクトに対するビジュアルハルから突き出した形状の歪みをなくす方法を示す。図７におけるビジュアルハルは、方法の手順で説明する要素を示す。図５に示すように、手順５０２では、凹領域を有するオブジェクトに対するビジュアルハル７０４は、一組の参照画像７０２のような写真のグループから取得される。参照画像７０２は、オブジェクトの外側の視点から撮影される。図５において、手順５０４では、ビジュアルハル上での凹領域境界の３Ｄ座標が計算される。図１０ａは、凹領域の真上から撮影された例示的な凹領域参照画像を示す。

図６は、ビジュアルハル上での凹領域の境界の３Ｄ座標を決定する手順５０４を実行する手順を示す。

図６において、手順６０２では、２Ｄ参照像７０６上の凹領域境界７０８が、手動による対話（ｍａｎｕａｌ ｉｎｔｅｒａｃｔｉｏｎ）または画像セグメンテーション法によって決定される。

画像セグメンテーションの技法は、一般に、デジタル画像を複数のセグメント（複数組のピクセル、スーパーピクセルとしても知られる）に分割する処理を指す。画像セグメンテーションの目的は、画像の表示をより有意義で分析しやすいものに単純化および／または変更することである。特に、画像セグメンテーションでは、同じラベルを有するピクセルが特定の視覚的特性を共有するように、ラベルを画像のすべてのピクセルに割り当てることが必要である。画像セグメンテーションは、画像内のオブジェクトおよび境界（線、曲線など）の位置を特定するために使用される。手順６０２の場合、画像セグメンテーションは、凹領域の境界の位置を特定するために使用されることができる。

画像セグメンテーションの結果が、画像全体を集団で包含する１組のセグメントまたは画像から抽出された１組の輪郭である。領域内のピクセルのそれぞれは、色、強度、またはテクスチャなどの何らかの特性または算定される性質に関して類似している。隣接する領域は、同じ特性（複数可）に関して著しく異なる。

図１０ｂは、画像セグメンテーションを使用して得られた中間結果の一例を示しており、凹領域の境界が識別される。

図６において、手順６０４では、ビジュアルハル７０４上での凹領域境界７１０の３Ｄ座標が、手順６０２で決定された２Ｄ参照像７０６上の凹領域境界７０８を使用して、２Ｄ参照像上の位置を３Ｄ空間に逆に投影することによって決定される。２Ｄ参照像上の位置の３Ｄ空間への逆の投影を実行する手順がＩＢＶＨ処理手順である。

図５に示す方法を続けると、手順５０６では、凹領域内部の仮想カメラの位置が選択される。凹領域の内部から外部に向けてのオブジェクトの観察に相当する仮想カメラの位置が選択される。例えば図８に示す一実施形態では、仮想カメラが凹領域の底辺の中央にある位置が選択可能である。あるいは、凹領域の底辺の端にある位置などの他の位置も選択可能である。選択された位置を利用して、完全な凹領域境界を含むようにそのような位置における仮想逆転画像を生成することが可能である。その後、複数の仮想逆転画像が完全な凹領域境界を全体として包含する限り、いくつかの位置が選択可能である。

手順５０８では、この選択された位置に基づいて、仮想カメラのカメラパラメータが決定される。

仮想カメラの中心が設定されると、カメラの外部パラメータの変換ベクトルが決定される。外部パラメータの回転行列に関しては、仮想カメラの向きが上向きかつオブジェクトの底面に垂直を保つように、α＝０、β＝９０、γ＝０のように通常３つの回転角度が設定され、これにより凹状オブジェクトの真下にある底辺からのキャプチャリングのシミュレーションが可能になる。内部パラメータに関しては、焦点距離ｆのみが修正の必要があり、他の要因は、参照画像を撮像する実際のカメラの対応する要因と一致した状態を保つ。通常、仮想カメラの焦点距離は、凹状オブジェクトの奥行きに比例して決まる。仮想画像の焦点距離ｆの値は、凹領域境界の領域全体が、仮想カメラにより撮像される仮想画像の内部にあるように、参照画像を撮像するカメラの既知のパラメータに基づいて設定されてよい。

カメラパラメータは、これらのカメラパラメータに基づいて仮想カメラによって撮影された複数の仮想逆転画像が完全な凹領域境界を全体として包含するように選択される。

手順５１０では、凹領域のシルエットおよびテクスチャの画像が、例えば凹領域の外部かつ真上から、凹領域参照画像としてキャプチャされ、これには、完全な凹領域境界が含まれる。あるいは、完全な凹領域境界がいくつかの画像によって全体として包含され得る限り、いくつかの画像が撮影されることができる。

手順５１２では、仮想逆転画像が、手順５０４で生成された凹領域境界の３Ｄ座標、手順５０８で生成されたカメラパラメータ、および手順５１０で取得された凹領域参照画像に基づいて、従来の３Ｄから２Ｄへの斜視投影技法を使用して生成される。

３Ｄから２Ｄへの斜視投影を行う手順５１２は、図９に示されている。手順５１２における３Ｄから２Ｄへの斜視投影は、２Ｄ平面にある凹領域参照画像９０２が３Ｄ空間９０４に投影される方法である。３Ｄ空間に含まれる凹領域境界９０６は、２Ｄ平面にある仮想逆転画像９０８に投影される。

１つまたはいくつかの仮想逆転画像（仮想カメラ位置が異なる）は、このような１つまたはいくつかの仮想逆転画像が完全な凹領域境界を包含できる限り、生成されることができる。

図１０ｃは、仮想カメラによって撮影された仮想逆転画像の一例を示す。

３Ｄから２Ｄへの斜視投影の処理は、イメージベースドビジュアルハル（ＩＢＶＨ）処理を使用して生成されたビジュアルハルを使用して実行されることができる。

そのうえ、凹状オブジェクトの修正されたビジュアルハルは、１つまたはいくつかの仮想逆転画像と共に、元の参照画像を追加の参照画像として使用して生成されることができる。１つまたはいくつかの仮想逆転画像は参照画像（複数可）として使用され、仮想逆転画像の共通部分間のセグメントは、（論理差のブーリアン演算により）ビューレイ（ｖｉｅｗ ｒａｙ）から取り去られる。また、いくつかの仮想逆転画像が参照画像として使用される場合、それらのセグメントは全体として取り去られる。

具体的には、凹状オブジェクトに対する修正されたビジュアルハルを生成するにあたり、仮想カメラに基づいて生成された仮想逆転画像からマップされたセグメントに対して論理差のブーリアン演算が行われ、他の参照像からマップされたセグメントに対して論理積のブーリアン演算が行われる。

凹領域に対する修正されたビジュアルハルを計算する手順を示す一例が図１２に示されており、図１１に示される以下の手順を必要とする。

図１１において、手順１１０２では、新規なカメラ（「新規な」カメラとは、図１２のすべての他の参照画像１２０４のビューイング方向とは異なる新規なビューからオブジェクトを撮像している実際のカメラを意味する）によって撮像された新規なビュー画像（図１２の１２０２）のピクセルに対して、新規なカメラの中心から放射されかつ新規なビュー画像のピクセルを通過するビューレイが計算される。参照画像１２０４上のこのビューレイの投影すなわち投影されたビューレイは、新規なカメラの位置情報を使用することによって決定されることができる。

同様に、投影されたビューレイは、仮想参照画像のような仮想逆転画像１２０８に対しても決定される。

図１１において、手順１１０４では、投影されたビューレイが参照画像１２０４上で２Ｄシルエットと交差する点が参照画像上の１組の２Ｄ間隔となる。

図１１において、手順１１０６では、参照画像上の２Ｄ間隔が、ビューレイ上の対応する３Ｄセグメントが取得されるように、３Ｄ空間１２０６に逆に投影される。

図１１において、手順１１０８では、参照画像１２０４のすべてからのすべての投影された３Ｄラインセグメント上への１Ｄブーリアン論理積演算が行われ、その結果、すなわちすべての参照画像１２０４からのすべての３Ｄセグメントの共通部分は、新規なビュー画像のピクセルに対するビジュアルハル境界を示す。

図１１において、手順１１１０では、１つまたは複数の仮想逆転画像１２０８上の２Ｄ間隔が３Ｄ空間１２０６に逆に投影され、ビューレイ上の対応するセグメント（複数可）を取得する。次に、仮想逆転画像およびビューレイからマップされたセグメントに対して論理差のブーリアン演算が実行され、凹領域を有するオブジェクトに対するビジュアルハルを取得する。

本明細書で開示される方法、コンピュータ可読記憶媒体、および装置によれば、オブジェクトの１つの凹領域または複数の凹領域の仮想逆転画像が生成されることができる。この仮想逆転画像によって、従来のイメージベースドビジュアルハル技法を使用して取得できないオブジェクトの図が可能になる。さらに、仮想逆転画像は、凹領域を有するオブジェクトの改良されたビジュアルハルを生成する際に使用でき、このビジュアルハルは、オブジェクトの幾何を正確に描出する。さらに、改良されたビジュアルハルは、突き出す不具合のないオブジェクトのフォトリアリスティックな画像を取得するために使用されることができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。

本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む発明に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、通常、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、通常、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、通常、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

本明細書において種々の態様および実施形態を開示してきたが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示される種々の態様および実施形態は例示を目的としており、限定を意図するものではない。真の範囲および趣旨は、以下の特許請求の範囲によって示される。

Claims (16)

1. 凹領域を有するオブジェクトの複数の参照画像を取得すること、
   前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
   を含む方法。
2. 前記生成することが、
   前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
   前記ビジュアルハル上の前記凹領域の前記境界の３Ｄ座標を決定すること、
   前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
   前記選択された位置に対する画像パラメータを決定すること、
   前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
   前記決定された３Ｄ座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて３Ｄから２Ｄへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
   をさらに含む、請求項１に記載の方法。
3. 前記３Ｄ座標を決定することが、
   画像セグメンテーションによって２Ｄ参照像内の前記凹領域の境界を決定すること、
   前記ビジュアルハル上の前記凹領域の前記境界の対応する３Ｄ座標を決定すること
   を含む、請求項２に記載の方法。
4. 前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
   をさらに含む、請求項２に記載の方法。
5. いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項４に記載の方法。
6. コンピュータによって実行されると、
   凹領域を有するオブジェクトの複数の参照画像を取得すること、
   前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること
   を実行する前記コンピュータが実行可能なプログラムコードを記憶するコンピュータ可読記憶媒体。
7. 前記生成することが、
   前記複数の参照画像に基づいて前記オブジェクトの前記外側境界に対するビジュアルハルを取得することと、
   前記ビジュアルハル上の前記凹領域の前記境界の３Ｄ座標を決定すること、
   前記凹領域の仮想逆転画像を計算するための前記凹領域内部の位置を選択すること、
   前記選択された位置に対する画像パラメータを決定すること、
   前記凹領域の完全な境界を包含する画像を凹領域参照画像としてキャプチャすること、
   前記決定された３Ｄ座標、前記画像パラメータ、および前記キャプチャされた凹領域参照画像に基づいて３Ｄから２Ｄへの斜視投影を実行することによって、前記凹領域に対する前記仮想逆転画像を生成すること
   をさらに含む、請求項６に記載のコンピュータ可読記憶媒体。
8. 画像セグメンテーションによって２Ｄ参照像内の前記凹領域の境界を決定すること、
   前記ビジュアルハル上の前記凹領域の前記境界の対応する３Ｄ座標を決定すること
   を含む、請求項７に記載のコンピュータ可読記憶媒体。
9. 前記生成された仮想逆転画像を仮想参照画像として使用し、前記複数の参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、修正されたビジュアルハルを取得すること
   をさらに含む、請求項７に記載のコンピュータ可読記憶媒体。
10. いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項９に記載のコンピュータ可読記憶媒体。
11. カメラから取得されたオブジェクトの複数の参照画像および前記オブジェクトの凹領域の境界全体をキャプチャした視点から取得された参照画像を記憶するためのストレージと、
    各参照画像および前記凹領域の前記境界に対するシルエットを取得するためのシルエット処理モジュールと、
    前記シルエット処理モジュールに接続され、前記凹領域の仮想逆転画像を取得し、前記仮想逆転画像に基づいて前記凹領域を有する前記オブジェクトに対するビジュアルハルを合成するための仮想画像合成モジュールと
    を備える装置。
12. 前記シルエット処理モジュールが、前記凹領域を前記背景から分離し、前記凹領域の前記シルエットを計算する、請求項１１に記載の装置。
13. 前記仮想画像合成モジュールが、焦点距離を含めて仮想カメラのパラメータを決定し、前記仮想カメラが前記オブジェクトの前記凹領域の内部にあり、
    前記決定されたパラメータおよび前記凹領域の前記境界領域全体を包含する前記参照画像に基づいて前記仮想逆転画像を生成することを目的とする、請求項１１に記載の装置。
14. 前記仮想カメラが、前記オブジェクトの前記凹領域の底辺にある、請求項１３に記載の装置。
15. 凹領域を有するオブジェクトの複数の参照画像を取得すること、
    前記参照画像に基づいて前記凹領域に対する仮想逆転画像を生成すること、
    前記生成された仮想逆転画像を仮想参照画像として使用し、前記参照画像と共に、前記仮想参照画像からマップされた対応するセグメントに対して論理差のブーリアン演算を実行し、前記参照画像からマップされた対応するセグメントに対して論理積のブーリアン演算を実行することによって、ビジュアルハルを取得すること
    を含む方法。
16. いくつかの仮想逆転画像が、前記凹領域を有する前記オブジェクトに対して生成され、前記いくつかの仮想逆転画像が仮想参照画像として使用され、前記ブーリアン論理差演算を実行する際に前記仮想逆転画像の共通部分を結ぶ前記セグメントが全体として減算される、請求項１５に記載の方法。

Images