JP2015504640A - ２次元の画像から３次元のメッシュを生成するための方法、システム、及びコンピュータプログラム製品 - Google Patents

Abstract

２次元画像から３次元（３Ｄ）メッシュを取得するための方法が提供される。当該方法は、カメラアレイを使用して一連の２Ｄ画像を取得することと、取得された一連の２Ｄ画像を使用して深度マップを計算することと、計算された深度マップのうち、追加の詳細が必要な部分を識別することと、深度マップの追加の詳細を取得するために、計算された深度マップの識別された部分に対しテクスチャベースのアルゴリズムを適用することと、より正確な３Ｄメッシュを提供するために、計算された深度マップを取得された追加の詳細と結合することと、を含む。関連するシステム及びコンピュータプログラム製品もまた、提供される。【選択図】図４

Description

［優先権主張］
２０１１年１２月２日に出願された米国仮出願第６１／５６６１４５号（代理人整理番号９３４２−５３４ＰＲ）から、本出願の優先権を主張する。当該開示は、その全体が記載されているかのように参照によりここに取り入れられる。

本発明は、一般に画像化に関し、特に、２Ｄの画像の３次元（３Ｄ）メッシュを生成する方法、システム、及びコンピュータプログラム製品に関する。

単眼の２次元（２Ｄ）画像から３次元（３Ｄ）モデルを生成することには、難しい問題がある。コンピュータ支援の画像は、コンピュータの処理及びデータハンドリングのケイパビリティの支援を受けて、２以上のデジタル化された２Ｄ画像から端末画面又はグラフィカルユーザインタフェース上にオブジェクト又はシーン（以下、総称して「オブジェクト」）の新たな２Ｄ及び３Ｄ画像をレンダリングする処理である。２Ｄ画像から３Ｄモデルを構築することは、例えば、ＣＡＤ（computer-aided design）、３Ｄテレショッピング、及びバーチャルリアリティシステムにおいて利用されうる。それらにおける処理のゴールは、もともと２Ｄ画像の有限数によってのみ表現されたシーンのグラフィカル３Ｄモデルである。３Ｄモデルが構築されたものからの２Ｄ画像は、オブジェクトのビューを、オブジェクトの周囲の異なるビューや位置から把握されるものとして表す。画像は、オブジェクトやシーンの周りに配置された複数のカメラ、オブジェクトやシーンの周りで動いている単一のカメラ、カメラアレイなどを使用して得ることができる。２Ｄ画像内の情報は、合成された、コンピュータベースのグラフィカルな３Ｄモデルを製作するために組み合され、対比される。

複数の２Ｄイメージを使用して、シーンのグラフィカル３Ｄモデルを再構築する現在の１つの方法が、深度マップである。深度マップは、空間内のサーフェスを数学的に表現するための値の２Ｄ配列であり、当該配列の行及び列は、サーフェスのｘ及びｙ位置情報に対応し、配列要素は、所与の点又はカメラ位置からサーフェスまでの深度又は距離測定値である。深度マップは、オブジェクトの表面（サーフェス）上の各点における明度及び色情報、又はピクセルを置き換える深度の情報を有する、オブジェクトのグレースケール画像として見ることができる。オブジェクトのグラフィカルな表現は、深度マップによって評価されうる（estimated）。しかしながら、深度マップの精度は、オブジェクトへの距離が増加するにつれて、低下する。

２Ｄ画像からより正確な３Ｄモデルを生成するために、他のアルゴリズムが開発されてきた。例えば、テクスチャベースのアルゴリズムは、静止した２Ｄ画像を３Ｄモデルに変換するのに使用されうる。これらの製品のうちの１つが、スタンフォード大学の教授によって開発されたＭａｋｅ３Ｄである。しかしながら、得られた３Ｄモデルの精度は、依然として一定の距離を経ると悪化する。

本発明の概念のいくつかの実施形態は、２次元画像から３次元（３Ｄ）メッシュを取得するための方法を提供する。当該方法は、カメラアレイを使用して一連の２Ｄ画像を取得することと、取得された一連の２Ｄ画像を使用して深度マップを計算することと、計算された深度マップのうち、追加の詳細が必要な部分を識別することと、深度マップの追加の詳細を取得するために、計算された深度マップの識別された部分に対しテクスチャベースのアルゴリズムを適用することと、より正確な３Ｄメッシュを提供するために、計算された深度マップを、取得された追加の詳細と結合することと、を含み、取得すること、計算すること、識別すること、適用すること、及び結合することのうち少なくとも１つは、少なくとも１つのプロセッサによって実行される。

さらなる実施形態では、カメラアレイは、４×４マトリックスのカメラ及び４×５マトリックスのカメラのうちの１つであってもよい。

さらなる実施形態では、カメラアレイは、無線通信装置のコンピュテーショナルカメラに含まれてもよい。

いくつかの実施形態では、計算された深度マップの部分を識別することは、ｄより大きい距離を有する深度マップ内の領域をマークすることを含むことができる。ｄは、追加の詳細が必要とされる場合を定義する、深度マップへの距離である。

さらなる実施形態では、テクスチャベースのアルゴリズムを適用することは、マークされた領域についての改良されたメッシュを取得するために、マークされた領域に対しテクスチャベースのアルゴリズムを適用することを含むことができる。

さらなる実施形態では、結合することは、より正確な３Ｄメッシュを取得するために、計算された深度マップと、マークされた領域についての改良されたメッシュとを結合することをさらに含むことができる。

いくつかの実施形態では、結合することに先行して、ｄより大きい距離を有する領域についての深度マップのマークされた領域について改良されたメッシュに対し、より高い重みを割り当て、ｄより小さい距離を有する深度マップの領域について計算された深度マップに対し、より高い重みを割り当てることができる。

本発明の概念のさらなる実施形態は、２次元（２Ｄ）画像の３次元（３Ｄ）メッシュを取得するためのシステムを提供する。当該システムは、カメラアレイを使用して一連の２Ｄ画像を取得するように構成されるカメラと、プロセッサとを含む。当該プロセッサは、前記取得された一連の２Ｄ画像を使用して深度マップを計算するように構成される深度マップモジュールと、計算された深度マップのうち、追加の詳細が必要な部分を識別するように構成される改良モジュールと、追加の詳細を取得するために、計算された深度マップの識別された部分に対しテクスチャベースのアルゴリズムを適用するように構成されるテクスチャベース取得モジュールと、を含み、改良モジュールは、さらに、取得された一連の２Ｄ画像のより正確な３Ｄメッシュを提供するために、計算された深度マップを取得された追加の詳細と結合するように構成される。

本発明の概念のさらなる実施形態は、２次元の画像から３次元（３Ｄ）メッシュを取得するためのコンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、その中に具現化されたコンピュータ読み取り可能なプログラムコードを含む、非一時的コンピュータ読み取り可能な記憶媒体を含む。当該コンピュータ読み取り可能なプログラムコードは、カメラアレイを使用して一連の２Ｄ画像を取得するように構成されるコンピュータ読み取り可能なプログラムコードと、取得された一連の２Ｄ画像を使用して深度マップを計算するように構成されるコンピュータ読み取り可能なプログラムコードと、計算された深度マップのうち、追加の詳細を必要とする部分を識別するように構成されるコンピュータ読み取り可能なプログラムコードと、深度マップ内の追加の詳細を取得するために、計算された深度マップの識別された部分に対しテクスチャベースのアルゴリズムを適用するように構成されるコンピュータ読み取り可能なプログラムコードと、より正確な３Ｄメッシュを提供するために、計算された深度マップを取得された追加の詳細と結合するように構成されるコンピュータ読み取り可能なプログラムコードと、を含む。

発明の概念の実施形態によれば、他の方法、システム及び／又はコンピュータプログラム製品は、以下の図面及び詳細な説明を検討すれば、当業者に明らかになるであろう。
全てのそのような追加の方法、システム及び／又はコンピュータプログラム製品は、この説明に含まれ、本発明の概念の範囲内にあり、添付の特許請求の範囲によって保護されることが意図されている。また、ここに開示される全ての実施形態は、任意の方法及び／又は組み合わせで、分離して実装し又は組み合わせることができることが意図されている。

発明の概念の更なる理解を提供するために含まれ、本明細書に組み込まれ、本出願の一部を構成する添付図面は、発明の概念の特定の実施形態を示す。
本発明の概念のいくつかの実施形態に係るカメラアレイを含むシステムの簡易的なブロック図である。 本発明の概念のいくつかの実施形態に係るモジュールを含むデータ処理システムのより詳細なブロック図である。 本発明の概念のいくつかの実施形態に係る無線通信端末の、コンピュテーショナルカメラを含む、いくつかの電子コンポーネントのブロック図である。 本発明の概念の様々な実施形態に係る動作を示すフローチャートである。

以下の詳細な説明において、本発明の概念の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明の概念は、これらの特定の詳細なしに実施できることが当業者には理解されるであろう。他の例では、本発明の概念を不明瞭にしないように、周知の方法、手続き、コンポーネント及び回路については詳細に説明されていない。

上述したように、単眼の２次元（２Ｄ）画像から３次元（３Ｄ）モデルを生成することには、難しい問題がある。既存のテクスチャベースのアルゴリズム、例えば、Ｍａｋｅ３Ｄ、及びアレイカメラからの深度マップは、適切な解決策を提供しない。例えば、アレイカメラからの深度マップの精度は、オブジェクトへの距離が増加するにつれて低下する。これは、カメラ間の長さが限られており、カメラ間の長さがオブジェクトまでの距離を判定するのに可能な解像度にセットされるという事実が原因である。人間の心は、ずっと遠くのオブジェクトを認識し、テクスチャ、色などの特徴（features）によって形状や３Ｄプロパティを解釈するように訓練されている。

従来の方法についての問題に対処するため、本発明の概念のいくつかの実施形態は、改良された３Ｄメッシュを提供するために、深度マップの方法及びテクスチャベースのアルゴリズムの特徴を組み合わせる。特に、本発明の概念のいくつかの実施形態は、以下図１から４を参照してここでさらに述べるように、コンピュテーショナルカメラによって生成される深度マップを使用してより詳細が必要な３Ｄ画像内の領域を識別し、その後、テクスチャベースのアルゴリズムを使用してこれらの領域を埋める。

まず図１を参照して、本発明の概念のいくつかの実施形態に係るシステム１００は、例えばカメラアレイを含むコンピュテーショナルカメラであるカメラ１２４と、プロセッサ１２７を含む通信装置１１０と、改良された３Ｄメッシュ１６０とを含む。カメラ１２４及び通信装置１１０を囲む点線１３５によって示されるように、いくつかの実施形態では、これらの要素は、例えば、図３を参照して以下でさらに述べる無線通信装置のように単一の装置内に全て含まれてもよい。

例えばカメラアレイであるカメラ１２４は、通信装置１１０のプロセッサ１２７に供給されうる一連の２Ｄ画像を取得するために使用されることができる。カメラ１２４は、本発明の概念の範囲から逸脱することなく、例えば４×４又は４×５マトリックスのカメラでありうる。

プロセッサ１２７は、２Ｄ画像からより大きな画像を生成するように構成され、当該より大きな画像から深度マップが生成されることができる。深度マップの生成方法は、当業者に既知である。本発明の概念の範囲から逸脱することなく、任意の方法が使用されることができる。

プロセッサ１２７はさらに、より詳細が必要であるかもしれない３Ｄメッシュの部分を識別するように構成されうる。上述したように、ある距離、例えば、２．０〜３．０メートルを経ると、深度マップを使用して生成された３Ｄ画像の精度が低下する。したがって、いくつかの実施形態では、より詳細が必要であるとして識別される領域をマークするために、閾値関数が使用されることができる。例えば、２．０メートル以上の距離を有する３Ｄメッシュ内のものはいずれも、より詳細が必要であるとして“マーク”されうる。画像が低下する距離は、使用されているアレイカメラの物理的寸法に関係することを理解されたい。その結果、より小さなカメラはより小さな距離の閾値を有し、同様に、より大きなカメラは、より大きな距離の閾値を有し得る。

本発明の概念のいくつかの実施形態は、追加の詳細を要することなく、多少の品質の低下を許容することができる。例えば、３Ｄメッシュの精度が９０〜９５パーセントの間であれば、これは許容されうる。しかしながら、９０パーセントより小さい精度のものはいずれも、より詳細が必要であるとしてマークされうる。したがって、いくつかの実施形態では、閾値関数は、距離ｄ＞Ｔｄで、領域をマークするのに使用される。Ｔｄは、深度マップの精度によって決まる。

プロセッサ１２７はさらに、テクスチャベースのアルゴリズム、例えばＭａｋｅ３Ｄを使用して、より詳細が必要であるとしてマークされた領域内の詳細を提供するように構成されうる。言い換えると、テクスチャベースのアルゴリズムは、欠落している深度マップの詳細を埋めるために使用されうる。本発明の概念の実施形態は、Ｍａｋｅ３Ｄの使用について論じるが、実施形態はこの構成に限定されない。いかなるテクスチャベースのアルゴリズムも、本発明の概念の範囲から逸脱することなく使用されうる。

最後に、プロセッサ１２７は、オブジェクト又はシーンの改良された３Ｄメッシュ１６０を製作するために、深度マップのメッシュとテクスチャベースのメッシュとを結合するように構成されうる。いくつかの実施形態では、２つのメッシュには、計算されたメッシュの精度によって決まる重みが加えられてもよい。例えば、ｄより大きい距離についてのテクスチャベースのメッシュにより高い重みを割り当て、ｄより小さい距離についての深度マップ（カメラアレイ）のメッシュにより高い重みを割り当てる。上述したように、距離ｄは、精度が９０パーセントより小さくなるところの距離として定義される。画像が低下するところの距離は、使用されているアレイカメラの物理的な寸法に関係することを理解されたい。その結果、より小さなカメラは、より小さな距離の閾値を有し、同様に、より大きなカメラはより大きな距離の閾値を有しうる。

ここで、図２を参照して、いくつかの実施形態に係る、より詳細なデータ処理システムについて説明する。図２に示すように、本発明の概念のいくつかの実施形態に係る、図１を参照して上述した計算を実行するために使用されうる例としてのデータ処理システムについて説明する。図示したように、データ処理システムは、ディスプレイ２４５、プロセッサ２２７、メモリ２９５及び入力／出力回路２４６を含む。データ処理システムは、例えば、無線通信装置、パーソナルコンピュータ、サーバ、ルータ又は同種のものに組み込まれてもよい。プロセッサ２２７は、アドレス／データバス２４８を介してメモリ２９５と通信し、アドレス／データバス２４９を介して入力／出力回路２４６と通信し、接続２４７を介してディスプレイと通信する。入力／出力回路２４６は、メモリ２９５と他のコンピュータシステム、又は例えばインターネットプロトコル（ＩＰ）接続を使用するネットワークとの間で、情報を移動するために使用されることができる。これらのコンポーネントは、多くの従来のデータ処理システムにおいて使用されるもののような従来のコンポーネントであることができ、ここに記載されるように動作するように構成されることができる。

特に、プロセッサ２２７は、任意の商業的に入手することができるものであることができ、又は、カスタムマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ若しくは同種のものであることができる。メモリ２９５は、本発明の概念の実施形態に係り使用される機能的回路又はモジュールを実装するために使用されるソフトウェア及びデータを含む、任意のメモリ装置を含むことができる。メモリ２９５は、以下の種類の装置を含むことができるが、限定されるものではない：キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＳＲＡＭ、ＤＲＡＭ及び磁気ディスク。本発明の概念のいくつかの実施形態では、メモリ２９５は、連想メモリ（ＣＡＭ；content addressable memory）であってもよい。

さらに図２に示されるように、メモリ２９５は、データ処理システムで使用される数種類のソフトウェア及びデータ：オペレーティングシステム２８０、アプリケーションプログラム２５７、入力／出力デバイスドライバ２９０、及びデータ２７０を含むことができる。当業者によって理解されるように、オペレーティングシステム２８０は、データ処理システムとともに使用するのに適した任意のオペレーティングシステム、例えば、アイビーエム（International Business Machines Corporation，Armonk，NY）のＯＳ／２、ＡＩＸ若しくはｚＯＳ、マイクロソフト（Microsoft Corporation，Redmond，WA）のWindows95、Windows98、Windows2000若しくはWindowsXP、Unix、Linux又は任意のAndroidオペレーティングシステムとすることができる。入力／出力デバイスドライバ２９０は、典型的には、入力／出力回路２４６及び特定のメモリ２９５のコンポーネントなどのデバイスと通信するために、アプリケーションプログラム２５７によってオペレーティングシステム２８０を介してアクセスされるソフトウェアルーチンを含む。アプリケーションプログラム２５７は、本発明の概念のいくつかの実施形態による回路及びモジュールの様々な特徴を実装するプログラムを例示するものである。最後に、データ２７０は、アプリケーションプログラム２５７、オペレーティングシステム２８０、入力／出力デバイスドライバ２９０、及びメモリ２９５内に常駐しうるその他のソフトウェアプログラムによって使用される静的及び動的データを表す。図２に示すように、データ２７０は、上述したような本発明の概念のいくつかの実施形態によるアプリケーションプログラム２５７の回路及びモジュールにより使用されるための２Ｄ画像２６１、深度マップデータ２６３、テクスチャベースデータ２６５及び改良された３Ｄメッシュ２６７を含むことができるが、限定されるものではない。

さらに図２に示すように、アプリケーションプログラム２５７は、深度マップモジュール２５３、テクスチャベース取得モジュール２５４、及び改良モジュール２５５を含む。本発明の概念は、図２のアプリケーションプログラムである深度マップモジュール２５３、テクスチャベース取得モジュール２５４及び改良モジュール２５５を参照して示されるが、当業者によって理解されるように、他の構成も本発明の概念の範囲内に収まる。例えば、深度マップモジュール２５３、テクスチャベース取得モジュール２５４及び改良モジュール２５５は、アプリケーションプログラム２５７であるよりもむしろ、オペレーティングシステム２８０又はダイナミックリンクライブラリコード等の、データ処理システムの他のそのような論理部分に組み込まれることもできる。さらに、深度マップモジュール２５３、テクスチャベース取得モジュール２５４及び改良モジュール２５５は、単一のデータ処理システム内に示されているが、当業者によって理解されるように、そのような機能が１又は複数のデータ処理システムに分散されてもよい。したがって、本発明の概念は、図２に示される構成に限定されるものと解釈されるべきではないが、データ処理システム間の機能の他の配置及び／又は分割によって提供されてもよい。例えば、図２は、複数のモジュールを有するものとして示されているが、モジュールは、本発明の概念の範囲を逸脱することなく追加されうる、３又はそれより少ない又は多いモジュールに結合されてもよい。

特に、深度マップモジュール２５３は、カメラアレイ（図１の１２４）を使用して取得される一連の２Ｄ画像からより大きな画像を取得し、当該より大きな画像から深度マップを生成するように構成される。上述したように、深度マップの計算は、当業者に既知である。改良モジュール２５５は、計算された深度マップの、追加の詳細が必要な部分を識別するように構成される。テクスチャベース取得モジュール２５４は、追加の詳細を取得するために、計算された深度マップの識別された部分に対しテクスチャベースアルゴリズムを適用するように構成される。追加の詳細が取得されると、改良モジュール２５５は、取得された一連の２Ｄ画像のより正確な３Ｄメッシュを提供するために、計算された深度マップを取得された追加の詳細と結合する。

いくつかの実施形態では、改良モジュール２５５は、距離ｄよりも大きい距離を有する、深度マップ内の領域をマークするように構成される。距離ｄは、追加の詳細が必要とされる場合を定義する、深度マップへの距離である。上述したように、いくつかの実施形態では、この距離は約２．０から約３．０メートルである。これは、いくつかの実施形態で、精度が９０パーセントより低下するときの距離でありうる。

さらなる実施形態では、改良モジュール２５５は、ｄより大きい距離を有する領域についての深度マップのマークされた領域について、改良されたメッシュに対しより高い重みを割り当て、ｄより小さい距離を有する深度マップの領域について、計算された深度マップに対しより高い重みを割り当てるようにさらに構成されてもよい。

ここで図３を参照して、上述したように、本発明の概念のいくつかの実施形態では、データ処理システムは、無線通信装置内に含まれてもよい。図３に示すように、本発明の概念のいくつかの実施形態に係るコンピュテーショナルカメラ３２４及びプロセッサ３２７を含む、無線通信端末３５０のブロック図について説明する。図３に示すように、端末３５０は、アンテナシステム３００、トランシーバ３４０、プロセッサ３２７を含み、標準的なディスプレイ３０８、キーパッド３０２、スピーカ３０４、大容量メモリ３２８、マイクロフォン３０６、及び／又はコンピュテーショナルカメラ３２４をさらに含むことができ、そのうちの１又は複数は、アンテナ３００と同一のグランドプレーンに電気的に接地されうる。

トランシーバ３４０は、アンテナシステム３００の異なる放射エレメントに対し各々のＲＰフィードを介してＲＰ信号を供給／受信するための別々の通信パスを提供する、送信／受信回路（ＴＸ／ＲＸ）を含むことができる。

プロセッサ３２７と動作上協力関係にあるトランシーバ３４０は、２以上の周波数レンジで、少なくとも１つの無線アクセス技術にしたがって通信するように構成されうる。少なくとも１つの無線アクセス技術は、ＷＬＡＮ（例えば、802.11）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、TransferJet、３ＧＰＰ ＬＴＥ（3rd Generation Partnership Project Long Term Evolution）、ＵＭＴＳ（Universal Mobile Telecommunications System）、ＧＳＭ（Global Standard for Mobile）通信、ＧＰＲＳ（General Packet Radio Service）、ＥＤＧＥ（enhanced data rates for GSM evolution）、ＤＣＳ、ＰＤＣ、ＰＣＳ、ＣＤＭＡ（code division multiple access）、ｗｉｄｅｂａｎｄ−ＣＤＭＡ、及び／又はＣＤＭＡ２０００を含むことができるが、これに限定されるものではない。他の無線アクセス技術及び／又は周波数帯域もまた、発明の概念に係る実施形態において使用されることができる。

ここで、図４のフローチャートを参照して、様々な実施形態に係る、２次元画像から３次元メッシュを取得するための動作について述べる。図４に示されるように、動作は、ブロック４００において、カメラアレイを使用して一連の２Ｄ画像を取得することにより開始する。いくつかの実施形態では、カメラアレイは、４×４マトリックスのカメラ及び４×５マトリックスのカメラのうちの１つである。上述したように、いくつかの実施形態では、カメラアレイは、無線通信装置のコンピュテーショナルカメラに含まれてもよい。

深度マップは、取得された一連の２Ｄ画像を使用して計算される（ブロック４１０）。特に、一連の２Ｄ画像は、より大きな画像を生成するために使用され、深度マップは、より大きな画像から生成される。計算された深度マップのうち追加の詳細が必要な部分が識別される（ブロック４２０）。いくつかの実施形態では、ｄより大きな距離を有する深度マップの領域をマークすることにより、計算された深度マップの部分が識別されうる。ｄは、追加の詳細が必要とされる場合を定義する、深度マップへの距離である。テクスチャベースのアルゴリズムが、追加の詳細を取得するために、計算された深度マップの識別された部分に適用される（ブロック４３０）。取得された一連の２Ｄ画像のより正確な３Ｄメッシュを提供するために、計算された深度マップは、取得された追加の詳細と結合される（ブロック４４０）。

いくつかの実施形態では、より高い重みが、ｄより大きい距離を有する領域についての深度マップのマークされた領域について、改良されたメッシュに対し割り当てられてもよく、より高い重みが、ｄより小さい距離を有する深度マップ内の領域について、計算された深度マップに対し割り当てられてもよい。

発明の概念の実施形態が示された添付の図面を参照して、ここで様々な実施形態について述べた。しかしながら、本発明の概念は、多くの異なる形式で具現化することができ、ここに記載された実施形態に限定されると解釈されるべきではない。むしろ、この開示が徹底的かつ完全となり、当業者に本発明の概念の範囲を十分に伝えることとなるように、これらの実施形態が提供される。

要素が別の要素に“接続される（connected）”、“連結される（coupled）”、“対応する（responsive）”又はこれらの変形で言及されるとき、それは、他の要素に直接的に接続され、連結され、又は対応することができ、又は介在要素が存在してもよいことが理解されるであろう。対照的に、要素が別の要素に“直接接続される（directly connected）”、“直接連結される（directly coupled）”、“直接対応する（directly responsive）”又はこれらの変形で言及されるとき、介在要素は存在しない。さらに、ここで使用されるものとして“連結される（coupled）”、“接続される（connected）”、“対応する（responsive）”又はこれらの変形は、無線で連結され、接続され、又は対応することを含むことができる。同様の数字は、全体を通して同様の要素を指す。ここで使用される用語は、特定の実施形態を説明する目的のためであり、本発明の概念を限定することを意図するものではない。ここで使用する場合、単数形の“a”、“an”及び“the”は、文脈が明確にそうでないことを示さない限り、複数形も含むことを意図している。周知の機能又は構造は、簡潔及び／又は明瞭のため詳細には説明されないことがある。

第１、第２等の用語は、様々な要素を説明するためにここで使用され得るが、これらの要素は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、ある要素を別の要素から区別するために使用される。本発明の概念の範囲から逸脱することなく、例えば、第１の要素は、第２の要素と呼ぶことができ、同様に、第２の要素は、第１の要素と呼ぶことができる。さらに、ここで使用される場合、“及び／又は（and/or）”の用語は、列挙された関連項目の１又は複数のあらゆる組合せを含む。

特に定義しない限り、ここで使用される（技術用語及び科学用語を含む）全ての用語は、本発明の概念が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。さらに、一般に使用される辞書で定義されるもののような用語は、本明細書及び関連技術の文脈における意味と一致する意味を有するものとして解釈されるべきであり、ここで明示的に定義された、理想化された又は過度に形式的な意味に解釈されることはないと理解されるべきである。

ここで使用される場合、“comprise”、“comprising”、“comprises”、“include”、“including”、“includes”、“have”、“has”、“having”の用語又はこれらの変形は、無制限であり、１又は複数の述べられた特徴、整数、要素、ステップ、コンポーネント又は機能を含むが、１又は複数の他の特徴、整数、要素、ステップ、コンポーネント、機能又はそれらのグループの存在又は追加を排除するものではない。さらに、ここで使用される場合、ラテン語のフレーズ、例を挙げると（exempli gratia）に由来する共通の略語“例えば（e.g.）”は、一般的な例又は前述の項目の例を導入又は指定するために使用されることができ、そのような項目を限定することを意図するものではない。ここで使用される場合、ラテン語のフレーズ、すなわち（id est）に由来する共通の略語“すなわち（i.e.）”は、より一般的な列挙から特定の項目を指定するために使用されてもよい。

例示的な実施形態は、コンピュータ実装方法、装置（システム及び／又はデバイス）、及び／又はコンピュータプログラム製品のブロック図及び／又はフローチャート図を参照してここに記載された。なお、ブロック図及び／又はフローチャート図のブロック、及びブロック図及び／又はフローチャート図におけるブロックの組み合わせは、１又は複数のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができると理解される。ブロック図及び／又はフローチャートのブロックで指定された機能／動作を実装し、それによってブロック図及び／又はフローチャートのブロックで指定された機能／動作を実装するための手段（機能）及び／又は構造を生成するために、トランジスタ、記憶位置に格納された値、及びそのような回路内の他のハードウェアコンポーネントをコンピュータ及び／又は他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が変換及び制御するような機械を製造するために、これらのコンピュータプログラム命令は、汎用コンピュータ回路、デジタルプロセッサなどの専用コンピュータ回路、及び／又は他のプログラム可能なデータ処理回路に提供されることができる。これらのコンピュータプログラム命令はまた、コンピュータ読み取り可能な媒体に格納された命令がブロック図及び／又はフローチャートのブロックで指定された機能／動作を実装する命令を含む製品を製造するような、特定の方法で機能するようにコンピュータ又は他のプログラム可能なデータ処理装置に指示することができる、コンピュータ読み取り可能な媒体に格納されることができる。

有形の非一時的コンピュータ読み取り可能な媒体は、電子、磁気、光学、電磁気、又は半導体データ記憶システム、装置、又はデバイスを含むことができる。コンピュータ読み取り可能な媒体のより具体的な例としては、以下のものが含まれる：ポータブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）回路、読み取り専用メモリ（ＲＯＭ）回路、消去可能プログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、及びポータブルデジタルビデオディスク読み取り専用メモリ（ＤＶＤ／ＢｌｕｅＲａｙ）。

コンピュータ又は他のプログラム可能な装置上で実行される命令が、ブロック図及び／又はフローチャートのブロックで指定された機能／動作を実装するためのステップを提供するような、コンピュータで実装されたプロセスを生産するために、コンピュータプログラム命令はまた、一連の動作ステップがコンピュータ及び／又は他のプログラム可能な装置上で実行されるようにするためにコンピュータ及び／又は他のプログラム可能なデータ処理装置上にロードされることができる。

したがって、本発明の概念の実施形態は、“回路（circuitry）”、“モジュール（module）”又はこれらの変形で総称されうる、ハードウェア及び／又はデジタル信号プロセッサ等のプロセッサ上で実行されるソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）において具現化されうる。

いくつかの代替的な実装においては、ブロックで記述された機能／動作は、フローチャートで記述された順序と違う順序で起こりうることにも留意すべきである。例えば、連続して示された２つのブロックは、実際には実質的に同時に実行されてもよく、あるいは、ブロックは、関連する機能／動作に応じて時には逆の順序で実行されてもよい。さらに、
フローチャート及び／又はブロック図の所与のブロックの機能が、複数のブロックに分割されてもよく、及び／又はフローチャート及び／又はブロック図の２以上のブロックの機能が少なくとも部分的に統合されてもよい。最後に、図示されているブロックの間に他のブロックが追加／挿入されてもよい。また、図のいくつかは、通信の主要な方向を示す通信経路上の矢印を含むが、描かれた矢印と反対方向に通信が生じ得ることが理解されるべきである。

多くの異なる実施形態は、以下の説明及び図面と関連して、ここに開示された。それはこれらの実施形態の全ての組み合わせ及びサブコンビネーションを文字通り説明し、例示することが過度の繰り返し及び曖昧化であろうということが理解されるであろう。したがって、図面を含む本明細書が、ここに記載された実施形態の全ての組み合わせ及びサブコンビネーション、並びにそれらを作り使用する方法及びプロセスの、完全な明細書を構成するものと解釈すべきであり、任意のこのような組み合わせ又はサブコンビネーションの特許請求の範囲をサポートすべきである。

例示及び説明のみの目的のために、本発明の概念の様々な実施形態は、セルラ通信（例えば、セルラ音声及び／又はデータ通信）を行うように構成されるユーザ機器（例えば、“無線ユーザ端末”、“無線通信端末”、“無線端末”、“端末”、“ユーザ端末”、等）との関連においてここに記述された。しかしながら、本発明の概念は、そのような実施形態に限定されず、１又は複数のＲＡＴに従って送信及び受信するように構成されている任意の無線通信端末において、一般的に具現化されうることが理解されるであろう。さらに、“ユーザ機器”は、ユーザ機器の１又は複数の部分を指すためにここで使用される。頭字語“ＵＥ”及び“ＵＥｓ”が、それぞれ、ユーザ装置の単一の部分及びユーザ装置の複数の部分を示すために使用されてもよい。

ここで使用されるように、“ユーザ機器”の用語は、マルチラインディスプレイを有する又は有しないセルラ及び／又は衛星無線電話、データ処理、ファクシミリ及び／又はデータ通信ケイパビリティを組み合わせることができるＰＣＳ（Personal Communications System）端末、無線周波数トランシーバ及びページャ、インターネット／イントラネットアクセス、ウェブブラウザ、オーガナイザ、カレンダ及び／又はＧＰＳ（global positioning system）受信機を含むことができるＰＤＡ（Personal Digital Assistant(s)）又はスマートフォン、及び／又は従来型のラップトップ（ノートブック）及び／又はパームトップ（ネットブック）コンピュータ又は無線周波数トランシーバを含む他の電化製品を含む。ここで使用されるように、“ユーザ機器”の用語は、また、時間変動又は固定された地理的座標を有してもよく、及び／又は携帯型で、可搬型で、（航空、海上又は陸上の）乗り物に設置され、及び／又はローカルに、及び／又は１又は複数の地球上及び／又は地球外の場所を超えた分散型方法で動作するように位置し及び／又は構成されてもよい。最後に、“ノード”又は“基地局”の用語は、１又は複数のユーザ機器及びコアネットワークと通信するように構成される、任意の固定の、携帯型の及び／又は可搬型のデバイスを含み、例えば、地上波セルラ基地局（マイクロセル、ピコセル、無線アクセスポイント及び／又はアドホック通信アクセスポイント）及び衛星を含む。衛星は、地球上に位置してもよく、及び／又は任意の高度で地球の上空に軌道を持っていてもよい。

図面及び明細書において、本発明の概念の実施形態が開示されており、特定の用語が採用されているが、それらは限定の目的のためではなく、汎用的かつ説明的な意味で使用されているだけであり、本発明の概念の範囲は、以下の特許請求の範囲に記載されている。

Claims (20)

1. ２次元の画像から３次元（３Ｄ）メッシュを取得するための方法であって、
   カメラアレイを使用して一連の２Ｄ画像を取得することと、
   前記取得された一連の２Ｄ画像を使用して深度マップを計算することと、
   前記計算された深度マップのうち、追加の詳細が必要な部分を識別することと、
   前記深度マップの前記追加の詳細を取得するために、前記計算された深度マップの前記識別された部分に対しテクスチャベースのアルゴリズムを適用することと、
   より正確な３Ｄメッシュを提供するために、前記計算された深度マップを前記取得された追加の詳細と結合することと、
   を含み、
   取得すること、計算すること、識別すること、適用すること、及び結合することのうち少なくとも１つは、少なくとも１つのプロセッサによって実行される方法。
2. 前記カメラアレイは、４×４マトリックスのカメラ及び４×５マトリックスのカメラのうちの１つである、請求項１の方法。
3. 前記カメラアレイは、無線通信装置のコンピュテーショナルカメラに含まれる、請求項１の方法。
4. 前記計算された深度マップの部分を識別することは、ｄより大きい距離を有する前記深度マップ内の領域をマークすることを含み、ｄは、前記追加の詳細が必要とされる場合を定義する、前記深度マップへの前記距離である、請求項１の方法。
5. テクスチャベースのアルゴリズムを適用することは、前記マークされた領域についての改良されたメッシュを取得するために、前記マークされた領域に対しテクスチャベースのアルゴリズムを適用することを含む、請求項４の方法。
6. 結合することは、前記より正確な３Ｄメッシュを取得するために、前記計算された深度マップと、前記マークされた領域についての前記改良されたメッシュとを結合することをさらに含む、請求項５の方法。
7. 結合することに先行して、
   ｄより大きい距離を有する領域についての前記深度マップの前記マークされた領域について前記改良されたメッシュに対し、より高い重みを割り当てることと、
   ｄより小さい距離を有する前記深度マップの領域について前記計算された深度マップに対し、より高い重みを割り当てることと、
   をさらに含む、請求項５の方法。
8. ２次元（２Ｄ）画像の３次元（３Ｄ）メッシュを取得するためのシステムであって、
   カメラアレイを使用して一連の２Ｄ画像を取得するように構成されるカメラと、
   プロセッサとを含み、
   前記プロセッサは、
   前記取得された一連の２Ｄ画像を使用して深度マップを計算するように構成される深度マップモジュールと、
   前記計算された深度マップのうち、前記深度マップ内で追加の詳細が必要な部分を識別するように構成される改良モジュールと、
   前記追加の詳細を取得するために前記計算された深度マップの前記識別された部分に対しテクスチャベースアルゴリズムを適用するように構成されるテクスチャベース取得モジュールと、を含み、
   前記改良モジュールは、より正確な３Ｄメッシュを提供するために、前記計算された深度マップを前記取得された追加の詳細と結合するようにさらに構成される、システム。
9. 前記システムは、無線通信装置に含まれる、請求項８のシステム。
10. 前記カメラは、無線通信装置に含まれる、請求項８のシステム。
11. 前記改良モジュールは、
    ｄより大きい距離を有する前記深度マップ内の領域をマークするようにさらに構成され、
    ｄは、前記追加の詳細が必要とされる場合を定義する、前記深度マップへの前記距離である、請求項８のシステム。
12. 前記テクスチャベース取得モジュールは、前記マークされた領域についての改良されたメッシュを取得するために、前記マークされた領域に対しテクスチャベースのアルゴリズムを適用するようにさらに構成される、請求項１１のシステム。
13. 前記改良モジュールは、前記より正確な３Ｄメッシュを取得するために、前記計算された深度マップと前記マークされた領域についての前記改良されたメッシュとを結合するようにさらに構成される、請求項１２のシステム。
14. 前記改良モジュールは、ｄより大きい距離を有する領域についての前記深度マップの前記マークされた領域についての前記改良されたメッシュに対し、より高い重みを割り当て、
    ｄより小さい距離を有する前記深度マップ内の領域についての計算された深度マップに対し、より高い重みを割り当てるようにさらに構成される、請求項１２のシステム。
15. ２次元の画像から３次元（３Ｄ）メッシュを取得するためのコンピュータプログラム製品であって、
    具現化されたコンピュータ読み取り可能なプログラムコードを含む非一時的コンピュータ読み取り可能な記憶媒体を含み、
    前記コンピュータ読み取り可能なプログラムコードは、
    カメラアレイを使用して一連の２Ｄ画像を取得するように構成されるコンピュータ読み取り可能なプログラムコードと、
    前記取得された一連の２Ｄ画像を使用して深度マップを計算するように構成されるコンピュータ読み取り可能なプログラムコードと、
    前記計算された深度マップのうち、追加の詳細を必要とする部分を識別するように構成されるコンピュータ読み取り可能なプログラムコードと、
    前記深度マップ内の前記追加の詳細を取得するために、前記計算された深度マップの前記識別された部分に対しテクスチャベースのアルゴリズムを適用するように構成されるコンピュータ読み取り可能なプログラムコードと、
    より正確な３Ｄメッシュを提供するために、前記計算された深度マップを前記取得された追加の詳細と結合するように構成されるコンピュータ読み取り可能なプログラムコードと、
    を含む、コンピュータプログラム製品。
16. 前記計算された深度マップの部分を識別するように構成される前記コンピュータ読み取り可能なプログラムコードは、ｄより大きい距離を有する前記深度マップ内の領域をマークするように構成されるコンピュータ読み取り可能なプログラムコードを含み、
    ｄは、前記追加の詳細が必要とされる場合を定義する前記深度マップへの前記距離である、請求項１５のコンピュータプログラム製品。
17. テクスチャベースのアルゴリズムを適用するように構成される前記コンピュータ読み取り可能なプログラムコードは、前記マークされた領域についての改良されたメッシュを取得するために、前記マークされた領域に対しテクスチャベースのアルゴリズムを適用するように構成されるコンピュータ読み取り可能なプログラムコードを含む、請求項１６のコンピュータプログラム製品。
18. 結合するように構成される前記コンピュータ読み取り可能なプログラムコードは、前記より正確な３Ｄメッシュを取得するために、前記計算された深度マップと、前記マークされた領域についての前記改良されたメッシュとを結合するように構成されるコンピュータ読み取り可能なプログラムコードをさらに含む、請求項１６のコンピュータプログラム製品。
19. ｄより大きい距離を有する領域についての前記深度マップの前記マークされた領域についての前記改良されたメッシュに対し、より高い重みを割り当てるように構成されるコンピュータ読み取り可能なプログラムコードと、
    ｄより小さい距離を有する前記深度マップの領域についての計算された深度マップに対し、より高い重みを割り当てるように構成されるコンピュータ読み取り可能なプログラムコードと、
    をさらに含む、請求項１６のコンピュータプログラム製品。
20. 前記コンピュータプログラム製品が実行される場合に、無線通信装置のプロセッサにより実行される、請求項１５のコンピュータプログラム製品。
    

Images