JP2017223667A - 複数の焦点面画像に基づく深度マップ - Google Patents

Abstract

【課題】画像取込みセンサにより、３次元（３Ｄ）シーンにおける対象物の深度マップを作成するシステムを提供する。
【解決手段】３次元（３Ｄ）シーンにおける対象物の深度マップを作成するシステム１００には画像取込みセンサ１１０及びプロセッサ１６０が含まれる。画像取込みセンサ１１０は異なる複数の焦点面において対象物の複数の画像を取込むように構成される。プロセッサ１６０は画像取込みセンサ１１０によって取込まれた各画像の複数の画像位置に対して複数の分散値を算出するように構成される。プロセッサ１６０は、異なる複数の焦点面において対象物の複数の画像のそれぞれの同じ画像位置に関して算出された分散値に基づいて複数の画像位置に対してピークの分散値を決定するように構成される。プロセッサ１６０は、各画像位置及び異なる複数の焦点面に対して決定されたピークの分散値に基づいて対象物の深度マップを作成するように構成されている。
【選択図】図１

Description

３次元（３Ｄ）コンピュータ・グラフィックスにおいて、深度マップとは、観測者のような所定の視点から対象物の１以上の表面までの距離に関する情報を含む画像のことである。これらの深度マップを作成するために、複数のカメラが必要となることがある。例えば、デプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）、ＴＯＦカメラ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ ｃａｍｅｒａ）及びカラーカメラが、対象物のモデルを決定するために組合わせて用いられてもよい。同様に、三角測量方式のレーザーカメラも深度マップを作成するために使われる。

深度マップを作成するこれらの周知の方法は複数のカメラ、又は構造化光源（ｓｔｒｕｃｔｕｒｅｄ liｇｈｔ ｓｏｕｒｃｅ）を必要とする。複数のカメラ、又は構造化光源の使用が実用的ではなく、好まれない場合がある。

上記を考慮して、本発明の３次元（３Ｄ）シーンにおける対象物の深度マップを作成するシステムには、画像取込みセンサとプロセッサが含まれる。画像取込みセンサは、異なる複数の焦点面において、対象物の複数の画像を取込むように構成されている。プロセッサは、画像取込みセンサによって取込まれた各画像の複数の画像位置に対して複数の分散値を算出するように構成されている。プロセッサはまた、異なる複数の焦点面において対象物の複数の画像のそれぞれの同じ画像位置に関して算出された分散値に基づいて複数の画像位置に対してピークの分散値を決定するように構成されている。プロセッサはまた、各画像位置及び異なる複数の焦点面に対して決定されたピークの分散値に基づいて対象物の深度マップを作成するように構成されている。

本発明の３次元（３Ｄ）シーンにおける対象物の深度マップを作成するための方法には、異なる複数の焦点面において、画像取込みセンサで、複数の対象物の画像を取込むことが含まれる。複数の画像の各画像はピクセルのマトリクスで構成されている。方法にはまた、異なる複数の焦点面において対象物の複数の画像の各画像の複数の画像位置に対して複数の分散値を算出することが含まれる。方法にはさらに、異なる焦点面において対象物の複数の画像の各画像の同じ画像位置に関して算出された分散値に基づいて複数の画像位置の各画像位置のピークの分散値を決定することが含まれる。方法にはさらに、複数の画像位置の各画像位置に対して決定されたピークの分散値に基づいて複数の画像位置の各画像位置の深度の値を決定し、複数の画像位置の各画像位置に対して決定された深度の値に基づいて対象物の深度マップを作成することが含まれる。

図１は対象物の複数の焦点面の画像から対象物の深度マップを作成するためのシステムの図。

図２は複数のピクセルで構成され、画像位置に対しての分散値を決定する画像の例を示す。

図３は深度マップを作成するための方法のフロー図。

図４は対象物の複数の焦点面の画像のうちの１つのシリーズからなる対象物の画像。

図５は対象物の複数の焦点面の画像のうちの１つのシリーズからなる対象物の他の画像。

図６は特定の画像位置に関する分散値のグラフ。

図７は図４及び５で示されている対象物の深度マップのグラフ表示の例。

図面に示された実施形態又は例は、特定の用語を用いて以下に示されている。しかしながら、これによって、実施形態又は実施例が制限されないことを理解されたい。当業者が普通に思いつくような、本発明の実施形態の改変及び変更、並びに本明細書で示された原理のさらなる適用も考えられる。

図１は複数の焦点面の画像から深度マップを作成するためのシステム１００の例である。システム１００は画像取込センサ１１０とレンズ１１２を有するカメラ１０８を具えてもよい。システム１００はさらにロボットアーム１２０、ディスプレイ１３０、プロジェクタ１４０、並びにプロセッサ、すなわち、処理装置ユニット１６０及びメモリ１７０を有する計算機器１５０を具えてもよい。

画像取込みセンサ１１０は、（対象物が存在するであろう領域の推定範囲において）１以上の異なる焦点面に関する複数の画像を取込むように構成されており、それによって対象物の複数の焦点面の画像のセットが集められる。画像取込みセンサ１１０はＣＣＤアレイであってもよく、レンズ１１２は焦点面を変えるために画像取込みセンサ１１０と関連付けられてもよい。レンズ１１２は、レンズ１１２の焦点距離を変えるための印加電圧に対して非常に速い応答時間を有するリキッドレンズであってもよい。

システム１００は３次元シーンにおける対象物の深度マップを作成するのに有益である。図１を参照して、対象物１０２、１０４、及び１０６は画像取込みセンサ１１０の視界に入っている。この例では、画像取込みセンサ１１０は、異なる複数の焦点面において対象物１０２の複数の画像を取込み、すなわち、撮り、これによって、異なる焦点距離における画像の、異なる「スライス」が取込まれる。このようにして、対象物１０２の表面上の異なる位置が、異なる画像で焦点が合って現れるであろう。複数の焦点面の画像の各画像、又は複数の画像は、画像取込みセンサ１１０から対応する焦点面まで、すなわち、焦点距離と関係がある。以下で説明される算出された分散値とともに、この情報は深度マップの作成を容易にするために後段階で利用される。作業は作成された深度マップに基づいて対象物１０２上で行なわれ得る。例えば、摘む、又は掴む位置が深度マップに基づいて決定されてもよいが、しかしながら、深度マップは他の環境で役立てられてもよい。

各画像は画素のマトリクスを有し、座標系の特定の位置で単一のピクセルとなり得る画像位置、及び複数のピクセルを有するカーネルのような、異なる任意の領域に分解、すなわち、分割される。図２には複数のピクセル１２４からなる画像１２２が示されており、ピクセル１２４からなるカーネル１２６は、特定の画像位置１２８の分散値を算出するために用いられる。例えば、カーネル１２６はピクセル１２４からなる３×３の正方形である。分散値が決定されつつある特定の画像位置１２８はカーネル１２６の中心であってもよい。計算機器１５０又はその処理装置ユニット１６０は、計算機器１５０で利用可能な計算能力、ハードウェア、又はメモリ１７０に基づいてカーネルのサイズを決定してもよい。他の要素として、対象物に対して推定される焦点面の範囲、及び３次元シーンにおける対象物の表面の質感（テクスチャー）又はコントラストが含まれる。分散値は重畳積分による分散計算方式を用いて計算されてもよい。

図３は複数の焦点面の画像から深度マップを作成するための方法２００の流れの一例を示す図である。方法２００には、２０２において、異なる複数の焦点面における対象物の複数の画像を取込むことが含まれる。このような画像の例が図４と図５に示されている。図４は、図１の画像取込みセンサ１１０から第一焦点距離で撮られた対象物の画像である。図４と同様に、図５は第二焦点距離で撮られた対象物の画像である。両方の画像は、以下により詳細に説明される特定の画像の位置を定めることを容易にするために画像上にグリッドを有するが、これらの画像の位置は、発明の特定の概念を説明するために任意に選ばれたものである。図４の画像位置「４Ａ」及び「４ＡＡ」についてはより詳細に後述する。また、これらは、図５の「５Ａ」及び「５ＡＡ」に対応する。

２０４では、複数の画像位置に対して複数の分散値が算出される。プロセッサ又は図１の処理装置ユニット１６０は、画像取込みセンサ１１０によって取込まれた全ての画像に共通の座標系における特定の位置の個別のピクセルと同じぐらい小さくなりうる１以上又は全ての画像位置の分散値を算出する。上述したとおり、画像は、例えばピクセルからなる３×３の正方形である複数のカーネルに分割されてもよい。各画像位置の分散値は、重畳積分による分散計算方式、又は分散を計算するための他の周知の方法を使って計算されてもよい。図４と図５は異なる２つの焦点面における異なる２つの画像を単に示しているが、例えば、画像取込みセンサ１１０が異なる２０の焦点距離、すなわち、焦点面において異なる２０の画像を取込む場合、それらの２０の画像のひとつひとつは、（例えば、図４及び５上のグリッドと同様に）同じ座標系を用いて画像位置に分割され、処理装置ユニット１６０が２０の画像のひとつひとつにおいて対応する画像位置のひとつひとつに対して分散値を算出する。これにより、処理装置ユニット１６０は複数の画像のそれぞれの画像についてそれぞれの画像位置の複数の分散値を算出することができる。

２０６では、同じ画像位置に関する分散値に基づいてそれぞれの画像位置のピークの分散値が決定される。処理装置ユニット１６０はその同じ画像位置に関して取込まれた全ての画像から得られた一組の分散値を使ってそれぞれの画像位置のピークの分散値を決定するように構成される。例えば、図４、５及び６を参照して、各画像の分散値は、図６のグラフに曲線６１０Ａ及び６１０ＡＡで示されている。曲線６１０Ａは、図４の４Ａ及び図５の５Ａとして示される画像位置Ａに対応し、曲線６１０ＡＡは、図４の４ＡＡ及び図５の５ＡＡとして示される画像位置ＡＡに対応する。図６の横軸は画像番号で、各画像は異なる焦点面を有する。図６の縦軸は特定の画像位置の分散値である。図６に示されるように、異なる２０の焦点面を有する異なる２０の画像が取込まれた。異なる焦点面において、より少ない又はより多い数の画像が取込まれてもよい。各画像位置の分散値が各画像に対してプロットされてもよい。処理装置ユニット１６０は、異なる焦点面における異なる画像全てに亘る同じグリッド位置に関してその一組の分散値を補間することによって、ピークの分散値を決定する。ここで、処理装置ユニット１６０は、図６のグラフと同様に、画像番号に対して、１つ以上の分散値をプロットするように構成されてもよい。さらに、ピークの分散値を決定すべく、処理装置ユニット１６０は、異なる統計学的又は数学的手法を用いて、これらの分散値のピーク、すなわち、適する曲線を推測、すなわち、補間する。

複数の焦点面の画像の分散値は、どの画像（及び対応する焦点面）が提供された画像位置に対して最も焦点が合っているかを決定するのに利用されてもよい。なぜなら、分散値（例えば、又はカーネル内のピクセルに関するコントラスト）が大きい程、それぞれの画像位置の焦点が合うようになるからである。これは、図４と図５を比較すると分かることで、図４においては、図４の４Ａ及び図５の５Ａとして示される画像位置Ａの方が図４の４ＡＡ及び図５の５ＡＡとして示される画像位置ＡＡよりもより焦点が合っていて、図５においては、図４の４ＡＡ及び図５の５ＡＡとして示される画像位置ＡＡの方が図４の４Ａ及び図５の５Ａとして示される画像位置Ａよりもより焦点が合っている。

２０８では、深度の値が各画像位置に対して決定される。画像取込みセンサ１１０によって取込まれた各映像の焦点面距離は既知であるか、又は決定され得る。例えば、図６の画像番号１の焦点面が画像取込みセンサ１１０から１１０ｍｍ、画像番号２の焦点面が１２０ｍｍ、画像番号３の焦点面が１３０ｍｍ等となるように、レンズ１１２に与えられる電圧が変更されても、制御されてもよい。画像の間の距離の差は変更可能で、一定である必要はない。ピークの分散値を決定するために上記のような推測と補間に類似する方法を用いると、深度の値は各画像位置に対して決定され得る。例えば、図４の４Ａ及び図５の５Ａとして示される画像位置Ａに対して、ピークの分散値は、画像取込みセンサ１１０から１７０ｍｍ離れた画像焦点面を有する画像番号７と１８０ｍｍ離れた画像焦点面を有する画像番号８の間に現れる。同様に、図４の４ＡＡ及び図５の５ＡＡとして示される画像位置ＡＡに対して、ピークの分散値は、画像取込みセンサ１１０から２８０ｍｍ離れた画像焦点面を有する画像番号１８と２９０ｍｍ離れた画像焦点面を有する画像番号１９の間に現れる。この特定の例では、ピークの分散値を決定するために上記の推測と補間方法を用いて、画像位置Ａの深度の値は１７０ｍｍと１８０ｍｍの間の１７３ｍｍと決定され、画像位置ＡAの深度の値は２８７ｍｍと決定され得る。

２１０では、各画像位置に対するピークの分散値及び深度の値に基づいて深度マップが作り出される。このようにして、深度マップに対する深度マップ値は、異なる焦点面に関して異なる複数の画像の全てに亘る画像位置に関する深度の値とともに「まとめ」あげられる。図７は図５及び６に示されている対象物の深度マップのグラフ表示の例である。深度マップは各画像位置の最大、すなわち、ピークの分散値に基づいて作成される。画像の焦点が合うと、分散が最も大きいと考えられるので、その画像位置における複数の焦点の画像全てに亘る一組の分散値から得られるピークの分散値に基づいて、深度マップ上の各位置が集められる、すなわち、作成され得る。さらに、集められた複数の焦点の画像から選ばれた各画像は、周知の焦点面、又は決定された（例えば、補間された）画像取込みセンサ１１０から焦点距離と関係があるので、深度マップには各画像位置の焦点距離、又は焦点面を示す深度マップ値が含まれる。換言すれば、深度マップの作成には、各画像位置に対して対象物の表面から画像取込みセンサまでの距離を示す深度マップ値を割り当てることが含まれる。深度マップ値はグレースケール値又は色値であってもよい。１つ以上の実施形態において、深度マップは段階付けられてもよい（例えば、０-１００又は０-２５５）。

分散値の算出に先立って、１つ以上の複数の焦点の画像に対して１つ以上のフィルタが処理装置ユニット１６０に用いられてもよい。例えば、ガウシアンフィルタのラプラシアンフィルタが用いられてもよい。１次微分フィルタのような、他のフィルタが用いられてもよい。このようにして、分散を計算、すなわち、算出する前に、画像処理機能は生の「スライス」、すなわち、画像に用いられ、このことによってピーク、すなわち、最大分散値が分かるとノイズの少ない深度測定が可能となる。これは分散値が変光(light variation)の影響を受けるためである。そのため、このようなフィルタの使用によって、より安定した深度測定となる。

特定の画像位置に対するピークの分散値の画像は焦点面、すなわち、画像取込みセンサ１１０からの焦点距離と関係があるため、複数の焦点面の画像の中からピークの分散値を求めることによって、処理装置ユニット１６０による、深度マップの作成が可能となる。この焦点距離を用いて、処理装置ユニット１６０は、表、チャート、又はマップの対応するセクション（例えば、図５及び６で示されているグリッドと同様な座標系上の画像位置）に、その画像位置のピークの分散値に関連して取られた画像の焦点距離を配置する（例えば、深度マップ値としてその碁盤の目の位置に対して割り当てられる。）。さらに、深度マップは（０-１００）又は（０-２５５）のように、適宜、段階付けられてもよい。

ここに記載された手法を用いて幾つもの複数の焦点の画像が取込まれ、分析され得るということが理解されるであろう。いずれにしても、異なる焦点面の複数の画像全てに亘って同じ画像位置に関して一組の分散値に基づいた各画像位置のピークの分散値を決定することによって、処理装置ユニット１６０は、それに応じてピークの分散値を決定する。ディスプレイ１３０は対象物の深度マップに基づいて３次元シーンにおける対象物を映像化する。例えば、ディスプレイは特定の画像位置の深度の値に基づいた色、明るさ、コントラスト等の明暗、すなわち、濃淡の違いで深度マップを映し出す。

対象物に質感(texture)がない場合、すなわち、分散が１つ以上の画像の一部に亘ってしきい値を下回るような場合に、プロジェクタ１４０は、画像処理を容易にするために対象物にパターンを投影する。すなわち、対象物に質感がない場合には、画像取込みセンサ１１０が対象物１０２の複数の画像を取込む間、パターンがプロジェクタ１４０によって投影されていてもよく、対象物１０２に投影された質感の「助け」により、深度マップは作成される。

１つ以上の実施形態において、ロボットアーム１２０はその対象物のために作り出された深度マップに基づいて対象物１０２を掴むことができる。

発明の対象について構造的な特徴又は方法論的な行為に特化して言葉で説明してきたが、添付の特許請求の対象が必ずしも上記の構造的な特徴又は方法論的な行為に限定されるものではないとういことが理解されるべきである。上記の特定の特徴及び行為は実施例として開示されているに過ぎない。実施形態における様々な操作がここに示されている。記載された１以上又は全ての操作の順番は、これらの操作が必ず順番に左右されるという意味に解釈されるべきではない。本明細書に基づき、他の順番もあり得る。さらに、ここで示された各実施形態に、必ずしも全ての形態が存在しているわけではない。

様々な上記の記載、その他の特徴及び機能、又はそれらの代替若しくは変更が、望ましく組み合わされて、多くの他の異なるシステム又はアプリケーションになり得るということが理解されるべきである。また、現時点では予期せぬ、又は、想定外の種々の代替、変更、変形又は改良が当業者によって後になされるであろうが、それらもまた、次の請求項に含まれるものと意図されている。

１００ システム
１０２、１０４、１０６ 対象物
１０８ カメラ
１１０ 画像取込みセンサ
１１２ レンズ
１２０ ロボットアーム
１２２ 画像
１２４ ピクセル
１２６ カーネル
１３０ ディスプレイ
１４０ プロジェクタ
１５０ 計算機器
１６０ 処理装置ユニット（プロセッサ）
１７０ メモリ

Claims (20)

1. ３次元（３Ｄ）シーンにおける対象物の深度マップを作成するためのシステムであって、
   異なる複数の焦点面において前記対象物の複数の画像を取込むように構成されている画像取込みセンサと、
   該画像取込みセンサによって取込まれた各画像の複数の画像位置に対して複数の分散値を算出するように構成され、前記異なる複数の焦点面において前記対象物の前記複数の画像のそれぞれの同じ前記画像位置に関して算出された前記分散値に基づいて前記複数の画像位置に対してピークの分散値を決定するように構成され、前記各画像位置及び前記異なる複数の焦点面に対して決定された前記ピークの分散値に基づいて前記対象物の前記深度マップを作成するように構成されているプロセッサとを含む、
   システム。
2. 前記画像取込みセンサが推定焦点面範囲に基づいて前記複数の画像を取込む、請求項１のシステム。
3. 前記画像取込みセンサによって取込まれた前記各画像の焦点面を変えるために前記画像取込みセンサと関連付けられているリキッドレンズを具える、請求項１のシステム。
4. 前記プロセッサが前記リキッドレンズに印加される電圧に基づいて前記対象物の前記複数の画像の各画像に対して前記焦点面を決定し、前記各画像に対して決定された前記焦点面を前記各画像に対して算出された前記分散と関連づけるように構成されている、請求項３のシステム。
5. 前記プロセッサが前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の同じ画像位置に関して算出された前記分散値を補間することによって各画像位置に対して前記ピークの分散値を決定するように構成されている、請求項１のシステム。
6. 前記プロセッサが前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の同じ画像位置に関して算出された前記分散値を補間することに基づいて各画像に位置に対して深度の値を決定するように構成されている、請求項１のシステム。
7. 前記各画像位置が前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の座標系における位置の個別のピクセルに対応する、請求項６のシステム。
8. 前記画像取込みセンサが前記対象物の前記複数の画像を取込んでいる間、前記対象物にパターンを投影するように構成されたプロジェクタを具える、請求項１のシステム。
9. 前記複数の分散値の算出に先立って、前記プロセッサが前記複数の画像の各画像にフィルタを施す、請求項１のシステム。
10. 前記フィルタがガウシアンフィルタのラプラシアンフィルタである、請求項９のシステム。
11. ３次元（３Ｄ）シーンにおける対象物の深度マップを作成するための方法であって、
    異なる複数の焦点面において各画像がピクセルのマトリクスからなる前記対象物の複数の画像を画像取込みセンサで取込み、
    前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の複数の画像位置に対して複数の分散値を算出し、
    前記異なる焦点面において前記対象物の前記複数の画像の各画像の同じ画像位置に関して算出された前記分散値に基づいて前記複数の画像位置の各画像位置に対してピークの分散値を決定し、
    前記複数の画像位置の各画像位置に対して決定された前記ピークの分散値に基づいて前記複数の画像位置の各画像位置に対して深度の値を決定し
    前記複数の画像位置の各画像位置に対して決定された前記深度の値に基づいて前記対象物に対して深度マップを作成することを含む、
    方法。
12. 前記画像取込みセンサによって取込まれた各画像に対して前記画像取込みセンサと関連付けられているリキッドレンズの焦点面を変えることを含む、請求項１１の方法。
13. 前記リキッドレンズに印加される電圧に基づいて前記対象物の前記複数の画像の各画像に対して前記焦点面を決定することを含む、請求項１２の方法。
14. 前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の同じ画像位置に関して算出された前記分散値を補間することによって各画像位置に対して前記ピークの分散値を決定する、請求項１１の方法。
15. 前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の同じ画像位置に関して算出された前記分散値の補間に基づいて各画像位置に対して前記深度の値を決定する、請求項１１の方法。
16. 前記各画像位置が前記異なる複数の焦点面において前記対象物の前記複数の画像の各画像の座標系における位置の個別のピクセルに対応する、請求項１１の方法。
17. 前記対象物の前記複数の画像を取込んでいる間、プロジェクタによって前記対象物にパターンを投影することを含む、請求項１１の方法。
18. 前記複数の分散値の算出に先立って、前記複数の画像の各画像にフィルタを施すことを含む、請求項１１の方法。
19. 前記フィルタがガウシアンフィルタのラプラシアンフィルタである、請求項１８の方法。
20. 前記深度マップの作成が前記深度の値に基づく深度マップ値を割り当てることを含み、前記深度マップ値が前記対象物の表面から各画像位置に対する画像取込みセンサまでの距離を示す、請求項１１の方法。