JP2018508850A - ３ｄ撮像によりシーンの物体を識別および同定する方法 - Google Patents

Abstract

本発明は、３Ｄ撮像により、複雑なシーン内の物体を識別および同定する方法に関する。本方法は、− 複雑なシーンの３Ｄボクセル空間であって、オペレータにより、投影面からのＭＩＰ方式の反復的処理および各反復時にオペレータにより決定される強度閾値を使用して視覚化される３Ｄボクセル空間から、物体の一連の２Ｄ ＭＩＰ画像を生成するステップと、− 一連の画像から、一連の画像に対応する縮小空間の座標を自動的に抽出するステップと、− 反復中に使用される強度閾値のうちの１つを選択するステップと、− 複雑なシーンの３Ｄ空間、座標、および選択された強度閾値から、物体を含む縮小３Ｄ空間を自動的に抽出するステップと、− 縮小空間から、強度閾値最適化により、最適化された強度閾値および最適化されたボクセル空間を自動的に生成するステップであって、色が各強度に関連付けられる、ステップと、− 視覚化により物体を同定するステップとを含む。

Description

本発明の分野は、図４に示すような複雑なシーンで隠れている可能性がある任意の物体を識別および同定する分野である。これらの物体は互いを覆っている場合があり、物体の同定および識別が特に困難になる。

異なる種類の三次元視覚化がある。いくつかの視覚化は、深度画像または２．５Ｄ画像を提供する。これらの技術は、必ずしも全ての三次元ボクセル（「容積ピクセル」）を復元可能にするものではなく、２つの画像の異なる点間における光または電磁線の進行の差異の最適化に関連付けられた立体視技術に基づいている。この進行の差異は、物体が撮像システムから近い範囲にあれば計算できる。従って、同定は短い距離に限定される。

いくつかの撮像技術は、レーザービームまたは光によるシーン全体の走査を必要とし、一連の測定から３Ｄ点群が得られる。三次元情報を得るために異なる視野角で数回の走査を必要とするが、走査システムを含む担体の相対運動により点群毎に歪みが生じ、再整列は複雑であり解像度および同定度が低下する。

いわゆるシルエット技術は、複数のビューから得られたシルエットから、殆ど細部が不明な外部エンベロープを得るものである。物体が影領域を含むか、または物体が別の物体の影に位置する場合、エンベロープの大部分が失われ、そのため２つの物体の同定および識別は不可能である。

スピン画像方式の技術はデータベースを必要とし、先験的な知識なしに複雑なシーンに隠された物体に適用することができない。

等密度面再構成に関連付けられたボクセルグループ化技術により、物体の外面を得ることができるものの、物体に含まれる内部情報は失われる。

知識ベース最適化および弱い信号の抽出に関連付けられた三次元再構成技術の一例が文献「Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｙｎｔｈｅｔｉｃ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｏｂｊｅｃｔｓ ｅｘｐｏｓｅｄ ｔｏ ａｎ ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ａｎｄ／ｏｒ ｅｌａｓｔｉｃ ｗａｖｅ」（欧州特許第２９２９４２１号明細書または米国特許第８３４５９６０号明細書）に示されており、この技術はデータベースを必要とし、最良の三次元再構成を得るには最適化されなければならない。知識ベースは、多くの場合、ファセットによりモデル化できる三次元外面の組のみを使用して物体を表す。透明な構造（ウインドウ等）は十分に考慮されないため、３Ｄでの物体の完全な表示が大いに損なわれる。これらの技術は知識ベースの利用可能性にも依存する。

ＭＩＰ（最大強度投影）技術により三次元データの２Ｄ視覚化が可能になる。この技術は、ボクセルを投影面に投影する。ボクセルは、投影面に観察点で当たる、強度閾値が設定されたビームにより決定される。２Ｄの結果から深さおよび距離の値を得ることはできない。回転の錯視および深さの概念を生じさせて、３Ｄレンダリングを向上させるために、連続する観察角度を有するいくつかの投影面を生成する。

ボクセル強度レンダリング技術は、観察されたシーンの異なる隣接間の識別が困難である、ノイズが多い三次元視覚化を許容する。

ボクセルのカルテシアン座標系への配置により直接得られた３Ｄ点群では、弱い識別のみを行うことができ、偽警報を伴うアーチファクトが生じる。

表面補完技術の一例が文献「Ｍｅｔｈｏｄ ｆｏｒ ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ａｎ ｏｂｊｅｃｔ ｏｆ ａ ｓｃｅｎｅ」（米国特許出願公開第２０１３／０１００１３１号明細書）に示されており、この技術は外部データベースに依存することなく、物体の完成したデータの組を得る三次元表面生成により不完全な領域を満たすことが可能になる。これらは、表面に不連続箇所がない物体の完全な外面を与えるものであり、透明な物体（例えばウインドウ）の背後にある内部データは再構成されることなく同定処理から排除される。２つの近い物体を識別する処理の実現は、表面の生成が数学的に複雑であり得るためにより困難である。

欧州特許第２，９２９，４２１号明細書 米国特許第８，３４５，９６０号明細書 米国特許出願公開第２０１３／０１００１３１号明細書

本発明の目的は、これらの短所を緩和することである。

より具体的には、本発明の主題は、３Ｄ撮像により、複雑なシーン内の物体を識別および同定する方法である。本方法は、主に、
− 複雑なシーンの３Ｄボクセル空間であって、オペレータにより、予め決定され、かつ投影面からのＭＩＰ方式の反復的処理および各反復時にオペレータにより決定される強度閾値を使用して視覚化される３Ｄボクセル空間から、物体の２Ｄ ＭＩＰ画像と呼ばれる一連の画像を生成するステップと、
− 一連の２Ｄ ＭＩＰ画像から、一連の２Ｄ ＭＩＰ画像に対応する縮小空間の座標を自動的に抽出するステップと、
− ＭＩＰ方式の処理を反復中に使用される強度閾値のうちの１つを選択するステップと、
− 複雑なシーンの３Ｄボクセル空間、座標、および選択された強度閾値から、物体を含む縮小３Ｄボクセル空間を自動的に抽出するステップと、
− 縮小空間から、強度閾値最適化により、最適化された強度閾値および最適化されたボクセル空間を自動的に生成するステップであって、色が各強度に関連付けられる、ステップと、
− 視覚化により物体を同定するステップと
を含むことを特徴とする。

本方法は、任意選択的に、縮小３Ｄボクセル空間および／または最適化されたボクセル空間を視覚化するステップを含む。

本発明の特徴によれば、本発明は、一連の２Ｄ ＭＩＰ画像、座標、および選択された強度閾値から、物体の３Ｄ点群（８）を生成するステップを更に含む。

本発明の別の特徴によれば、以下のステップ：
− 複雑なシーンの３Ｄ空間および選択された強度閾値から、複雑なシーンの未処理３Ｄ点群を生成するステップと、
− 最適化された３Ｄ空間および最適化された強度閾値から、物体の最適化された３Ｄ点群を生成するステップと、
− シーンの未処理３Ｄ点群と、物体の最適化された３Ｄ点群と、場合により物体の３Ｄ点群との重ね合わせから、複雑なシーンに含まれる物体の最適化された大域的３Ｄ点群を生成するステップと、
− 最適化された大域的３Ｄ点群を視覚化するステップと
を更に含む。

これらの点群もオペレータにより視覚化できる。

本発明による方法は、物体の識別と、同定と、場合により位置決めとを可能にする。点群の高密度化により物体の細部の正確な表現が可能になり、シーンの物体の同定性を向上させることも可能になる。点の三次元点群により、シーンの異なる物体の分離および識別が可能になり、同定される物体をシーンの他の要素から識別することが可能になる。物体に関連付けられた点群の組は絶対デカルト基準座標系に配置されているため、物体の位置および物体とシーンの他の要素との様々な距離を簡単に計算することが可能になる。物体は、その動作状況に応じて再配置される。

提供する解決策は、既存の各視覚化技術の個々の短所を補う。データ（特に、シーンの他の要素により被覆されているデータ）は暗黙的に存在するため、補完する必要がない。

本発明の他の特徴および利点は、非限定的な例として挙げる以下の詳細な説明を精査すると共に添付図面を参照することで明らかになるであろう。

３Ｄ再構成により得られた、異なるボクセルに対応してメッシュ化された３Ｄ空間の例を概略的に表す。 本発明による方法の異なるステップのシーケンス決定の例に示す。 ３Ｄ再構成により得られた、複雑なシーンのメッシュ化されていない３Ｄボクセル空間の３Ｄ視覚化の一例を示す。 複雑なシーンの２Ｄ画像の一例を示す。 同定される物体の２Ｄ ＭＩＰ画像のシーケンスの一例を示す。 同定される物体の縮小３Ｄ空間の３Ｄ視覚化の一例を示す。 同定される物体の最適化された３Ｄ空間の３Ｄ視覚化の一例を示す。 同定される物体の点の３Ｄ ＭＩＰ点群の３Ｄ視覚化の一例を示す。 複雑なシーンの未処理３Ｄ点群の３Ｄ視覚化の一例を示す。 同定される物体の最適化された３Ｄ点群の３Ｄ視覚化の一例を示す。 物体として１台の自動車を有する、複雑なシーン内の物体の最適化された大域的３Ｄ点群の３Ｄ視覚化の一例を示す。 物体として２台の自動車を有する、複雑なシーン内の物体の最適化された大域的３Ｄ点群の３Ｄ視覚化の一例を示す。

各図において、同一の要素は同一の参照符号により識別される。

本発明による方法は、複雑なシーンの３Ｄボクセル空間に適用される。このシーンは、従って、３Ｄ撮像により既にこの３Ｄ空間（１）に変換されており、その一例を図１に示す。

上述の三次元空間は、透過による、または蛍光（光学投影断層撮影、放射線撮像もしくはＸ線コンピュータ断層撮影）による、または反射（レーザー波の反射もしくは可視帯域（０．４μｍ〜０．７μｍ）または近赤外（０．７μｍ〜１μｍもしくは１μｍ〜３μｍのＳＷＩＲ）の場合には太陽光反射による反射）による、または物体の熱放射（３μｍ〜５μｍおよび８μｍ〜１２μｍの熱撮像）を考慮することによる再構成の方法を使用して得られ、この三次元再構成処理は、特許「Ｏｐｔｒｏｎｉｃ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｃｒｅａｔｉｎｇ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｍａｇｅｓ」（米国特許第８，８３６，７６２号明細書、欧州特許第２３３３４８１号明細書）に記述されている。

三次元再構成から得られた全てのボクセルは、付随する強度と合わせて使用され、この再構成は好ましくは反射により得られる。

本発明による識別および同定方法は、図２に示す以下のステップを含む。物体とは、シーンの１つ以上の要素を指す。物体は、図２〜１１ａの例に示す１台の自動車もしくは図１１ｂの例に示す２台の自動車、またはリム等の自動車部品であってよい。

以下のステップのうちのいくつかは、スクリーン上の視覚化からオペレータの介在を要求し、他は自動的に実行される。

Ａ）複雑なシーンの３Ｄボクセル空間（１）（図２、３にメッシュ化されていないボクセルで示す）から、オペレータがＭＩＰ技術を使用して、例えば（異なる観察角度に対応する）異なる投影面に応じて、およびオペレータの試行錯誤により決定された強度閾値に応じて複雑なシーンをその画面上においてリアルタイムで視覚化し、図４に一例を示すこれらの異なる視覚化を行う間、識別および／または同定しようとする物体を含む解析される空間を粗く分解する。この反復的なＭＩＰ方式の処理の終了時点で、同定される物体の一連の２Ｄ ＭＩＰ画像（２）が生成されており、同定される物体を含む縮小３Ｄ空間に視覚的に対応しているが、この段階では、この縮小空間は依然として決定されていない。このような一連の３つの２Ｄ ＭＩＰ画像（２）の一例を図２、５に示す。

Ｂ１）この一連の２Ｄ ＭＩＰ画像（２）から、同定される物体を含むこの縮小空間の座標（３）を自動的に抽出する。

Ｂ２）ステップＡ）のＭＩＰ処理で使用された強度閾値（４）のうちの１つを決定する。この閾値はオペレータの試行錯誤により決定される。

Ｃ）複雑なシーンの３Ｄボクセル空間（１）から、座標（３）および強度閾値（４）を使用して、同定される物体に対応するボクセル空間（５）を自動的に抽出する（換言すれば、この縮小３Ｄ空間は座標（３）の関数として決定され、強度に関するそのボクセルは強度閾値（４）の関数として閾値が設定される）。これは、ステップＡ）の縮小空間に関する。オペレータは、オペレータが望む場合、この縮小空間（５）を図２、６に示すように視覚化することができる。この視覚化により、オペレータは物体を同定できる。

Ｄ）ボクセル空間（５）から、各強度が色に関連付けられる強度閾値最適化処理により、
− 最適化閾値（７）と、
− 次いで、この最適化閾値を使用して、同定される物体の最適化された３Ｄボクセル空間（６）と
を自動的に生成する。

オペレータが図２、７に示すように視覚化して同定できる縮小空間は、従って、閾値による仕分け後に彩色されて得られる。元の３Ｄ空間よりもはるかに多くの細部を視覚的に示す３Ｄボクセル空間が得られる。

上述のステップＡ〜Ｃ中、オペレータはより高い確率で物体を同定することができる。ステップＤの終了時点で、オペレータは最も高い確率で物体を同定することができるようになっている。

同定される物体自体を部分物体に分割することができる。自動車の部分物体は、例えば車輪、トランクの蓋等である。次いで上述のステップが各部分物体に適用される。各部分物体に対して、一連の２Ｄ ＭＩＰ画像（２）、縮小３Ｄ空間座標（３）、選択された強度閾値（４）、縮小３Ｄボクセル空間（５）、最適化閾値（７）、および最適化された３Ｄ空間（６）が得られる。

ステップＤの終了時点で、オペレータが注目するいくつかの要素または部分物体をこの物体が含む場合、これらは識別可能になっている。

以下のステップは、同定された物体の再配置を意図している。

Ｅ）任意選択的に、座標（３）および強度閾値（４）を使用して、一連の２Ｄ ＭＩＰ画像（２）から、図２、８に示すようにオペレータが任意選択的に視覚化できる同定される物体の３Ｄ点群（８）を自動的に生成する。

Ｆ１）一連の２Ｄ ＭＩＰ画像（２）から、強度閾値（４）を使用して、図２、９に示すようにオペレータが任意選択的に視覚化できる、従って同定される物体を含む、複雑なシーンの点の未処理３Ｄ点群（９）を自動的に生成する。

Ｆ２）最適化された３Ｄボクセル空間（６）から、強度閾値（７）を使用して、図２、１０に示すようにオペレータが任意選択的に視覚化できる同定される物体の最適化された３Ｄ点群（１０）を自動的に生成するステップ。

Ｇ）
− 複雑なシーンの未処理３Ｄ点群（９）と、
− 物体を同定可能にする、その細部レベルで高密度を示す物体の最適化された３Ｄ点群（１０）と、
− 生成されている場合には物体の３Ｄ点群（８）と
の重ね合わせにより、複雑なシーンに含まれる物体の最適化された大域的３Ｄ点群（１１）を自動的に生成する。この点群により、絶対座標を考慮することにより物体を動作状況に応じて配置し、物体を識別し、オペレータが高い確率で同定できるようする。実際、オペレータがこの最適化された大域的点群（１１）を視覚化し、図２、１１ａに１台の自動車を表す物体、または図１１ｂに２台の自動車を表す物体の一例を示す。これにより同定された物体をその動作状況に応じて視覚化することができる。

点群を各種の抽出により、アーチファクトおよびノイズを減らすことができる。

物体に関連付けられた点群の組は絶対デカルト基準座標系に配置されているため、物体の位置および物体とシーンの他の要素との様々な距離を簡単に計算することが可能になる。物体は、その動作状況に応じて再配置される。

部分物体が同定されると、各部分物体から得られた各々の点群を重ね合わせることにより、これらの再配置ステップが適用される。

結果が不満足であるとオペレータが考えた場合、これらの細部を最適に高密度化するために上述のステップＡ〜Ｇを繰り返すことができる。

ステップＧの終了時点で、物体が互いに識別された複数の要素または部分物体を含む場合、これらは各々の状況に応じて再配置され、互いに相対的な位置をデカルト座標により測定することができる。

本方法により、観察されているシーンの各種の要素をリアルタイムに視覚化することが特に容易である。

本発明によれば、点の三次元点群の高密度化によりシーンの物体の同定性が向上する。

上述の識別および同定方法は、特に、目標の正確な同定および位置特定を要するセキュリティ分野、ならびに腫瘍の同定および位置特定を要する医療分野に応用できる。

本発明は、ハードウェアおよび／またはソフトウェア要素により実装可能である。本発明は、コンピュータ可読媒体上のコンピュータプログラム製品として利用可能であり、このコンピュータプログラムは、識別および同定方法のステップを実行することを可能にするコード命令を含む。媒体は、電子、磁気、光、電磁気、または赤外伝送媒体であってよい。このような媒体は、例えば半導体メモリ（ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、テープ、ディスケット、または磁気もしくは光ディスク（コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク読み書き（ＣＤ−Ｒ／Ｗ）、およびＤＶＤ））である。

本発明について特定の実施形態に関して記述してきたが、本発明はこれらに決して限定されるものではなく、上述の手段のあらゆる技術的均等物およびその組合せを、それらが本発明の範囲内に含まれる限り包含することは明らかである。

Claims (9)

1. ３Ｄ撮像により、複雑なシーン内の物体を識別および同定する方法において、
   − 前記複雑なシーンの３Ｄボクセル空間であって、オペレータにより、予め決定（１）され、かつ投影面からの「最大強度投影」方式の反復的処理および各反復時に前記オペレータにより決定される強度閾値を使用して視覚化される３Ｄボクセル空間から、前記物体の２Ｄ ＭＩＰ画像と呼ばれる一連の画像（２）を生成するステップ（Ａ）と、
   − 前記一連の２Ｄ ＭＩＰ画像から、前記一連の２Ｄ ＭＩＰ画像（２）に対応する縮小空間の座標（３）を自動的に抽出するステップ（Ｂ１）と、
   − 前記ステップＡ）の反復中に使用される前記強度閾値のうちの１つ（４）を選択するステップ（Ｂ２）であって、前記選択が前記オペレータにより行われる、ステップ（Ｂ２）と、
   − 前記複雑なシーンの前記３Ｄボクセル空間（１）、前記座標（３）、および前記選択された強度閾値（４）から、前記物体を含む縮小３Ｄボクセル空間（５）を自動的に抽出するステップ（Ｃ）と、
   − 前記縮小空間（５）から、強度閾値最適化により、最適化された強度閾値（７）および最適化されたボクセル空間（６）を自動的に生成するステップ（Ｄ）であって、色が各強度に関連付けられる、ステップ（Ｄ）と、
   − 視覚化により前記物体を同定するステップと
   を含むことを特徴とする方法。
2. 前記縮小３Ｄボクセル空間（５）を視覚化するステップを含むことを特徴とする、請求項１に記載の複雑なシーン内の物体を識別および同定する方法。
3. 前記最適化されたボクセル空間（６）を視覚化するステップを含むことを特徴とする、請求項１または２に記載の複雑なシーン内の物体を識別および同定する方法。
4. 前記一連の２Ｄ ＭＩＰ画像（２）、前記座標（３）、および前記選択された強度閾値（４）から、前記物体の３Ｄ点群（８）を生成するステップ（Ｅ）を更に含むことを特徴とする、請求項１〜３のいずれか一項に記載の複雑なシーン内の物体を識別および同定する方法。
5. − 前記複雑なシーンの前記３Ｄ空間（１）および前記選択された強度閾値（４）から、前記複雑なシーンの未処理３Ｄ点群（９）を生成するステップ（Ｆ１）と、
   − 前記最適化された３Ｄ空間（６）および前記最適化された強度閾値（７）から、前記物体の最適化された３Ｄ点群（１０）を生成するステップ（Ｆ２）と、
   − 前記シーンの前記未処理３Ｄ点群（９）と、前記物体の前記最適化された３Ｄ点群（１０）との重ね合わせから、前記複雑なシーンに含まれる前記物体の最適化された大域的３Ｄ点群（１１）を生成するステップ（Ｇ）と、
   − 前記最適化された大域的３Ｄ点群を視覚化するステップと
   を更に含むことを特徴とする、請求項１〜４のいずれか一項に記載の複雑なシーン内の物体を識別および同定する方法。
6. 前記最適化された大域的点群（１１）が、前記シーンの前記未処理３Ｄ点群（９）と、前記物体の前記最適化された３Ｄ点群（１０）と、前記物体の前記３Ｄ点群（８）との重ね合わせから生成されることを特徴とする、請求項４または５に記載の複雑なシーン内の物体を識別および同定する方法。
7. 前記物体の前記３Ｄ点群（８）および／または前記シーンの前記３Ｄ点群（９）および／または前記物体の前記最適化された３Ｄ点群（１０）が前記オペレータにより表示されることを特徴とする、請求項４または５に記載の方法。
8. 前記３Ｄボクセル空間（１）が、前記複雑なシーン上での可視もしくは赤外光波の反射または前記物体からの熱放射により得られることを特徴とする、請求項１〜７のいずれか一項に記載の方法。
9. コンピュータプログラム製品であって、コンピュータプログラムが、前記プログラムがコンピュータ上で動作されると、請求項１〜８のいずれか一項に記載の方法のステップを実行することを可能にするコード命令を含む、コンピュータプログラム製品。

Images