JP2013101113A - シーン内の対象物を3d再構成するための方法 - Google Patents

シーン内の対象物を3d再構成するための方法 Download PDF

Info

Publication number
JP2013101113A
JP2013101113A JP2012231878A JP2012231878A JP2013101113A JP 2013101113 A JP2013101113 A JP 2013101113A JP 2012231878 A JP2012231878 A JP 2012231878A JP 2012231878 A JP2012231878 A JP 2012231878A JP 2013101113 A JP2013101113 A JP 2013101113A
Authority
JP
Japan
Prior art keywords
data
identification
reconstruction
steps
successful
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012231878A
Other languages
English (en)
Other versions
JP6207144B2 (ja
Inventor
Ion Berchet
ベレシェ、イオン
Gerard Berginc
ベルジンク、ジェラール
Stefan Berchet
ベレシェ、ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Sispia SARL
Original Assignee
Thales SA
Sispia SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA, Sispia SARL filed Critical Thales SA
Publication of JP2013101113A publication Critical patent/JP2013101113A/ja
Application granted granted Critical
Publication of JP6207144B2 publication Critical patent/JP6207144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】シーン内の対象物を3D再構成するための方法を提供する。
【解決手段】ステップ1)検知された信号から、その後方散乱の強度がそれぞれ割り当てられる3Dポイントを生成し、更に3Dポイントが、再構成されたデータのセットAを形成するステップ。ステップ2)Aから開始して、対象物を含む空間内にそのポイントが配置されたデータのセットBを、空間特性F2に応じて抽出するステップ。ステップ3)Bから開始して、データのセットCを、抽出基準に応じて抽出するステップ。ステップ4)Cに基づいて、3次元表面を生成して対象物の完成データのセットDを得ることにより、喪失部分をもつ領域を埋めるステップ。ステップ5)Dに基づいて対象物を識別するステップ。ステップ5)の識別に成功しなかったとき、ステップ3)、4)および5)を新規の基準F1で繰り返す。
【選択図】図3

Description

本発明の分野は、能動的もしくは受動的な3次元の電磁イメージングまたは音響イメージングの分野であり、観察面が何であれ対象物の3次元での情報を全て含む、対象物の3次元の画像が再構成される。
レーザ・イメージングの構成では、任意の障害物(図の木々)によって部分的に隠された対象物10を含むシーン1をLadar(レーザ・レーダ)が照明して、図1に示すように、レーザ波の一部が通過できるようにする。したがって、この波は、対象物10によって逆反射され、Ladarシステムによって信号が分析される。Ladarの様々な位置によって、3D画像を再構成できるようになる。
受動イメージングの構成では、対象物への外部光源(太陽、月、背景の空など)の反射、および/または対象物自体の熱放射を使用することによって3D画像が再構成される。
この3Dイメージング(受動または能動)の分野では、対象物に関する1組の測定値を得て、可変の角度観察パラメータに応じて再構成しなければならず、この1組のデータにより、逆再構成の技法を適用することによって空間を再構成できるようになる。数学的な視点から、この技法は直接測定法を使用する。次いで、直接測定の結果を使用し、逆モデルを使用して対象物の3次元特性を復元する。
木々または他の任意の障害物によって部分的に隠された対象物を含むシーンの画像をイメージング・システムが形成するとき、複雑なオプトエレクトロニクスのシーンに存在する対象物の3D画像の作成は不完全であり、または各部分が欠落することになる。
3D Ladarイメージングには、反射トモグラフィおよび反射プロフィロメトリの主要な2つのタイプがある。
トモグラフィは、可変の角度に応じて2次元のレーザ画像を使用する。すなわち、ラドン変換タイプの技法を使用することにより、一連の画像の全てに共通なシーン全体の再構成が実行される。
レーザ波の伝搬時間の測定値に基づくプロフィロメトリは、レーザ波の伝搬時間を決定することにより、またこのレーザ・ビームの位置を知ることによって、3次元空間において分類されたシーンの対象物から後方散乱する様々なポイントの位置を使用する。これらのプロフィロメトリ・システムは、(ナノ秒オーダーの)短いパルスを使用して、同じ目標ラインにわたって様々なエコーを区別する。次いで、これにより、目標ラインにわたってエコーのプロファイルが生成される。
広帯域検出器を使用して、エコーのプロファイルを再生できる。すなわち、1.5μm帯では、PINタイプ(P層−真性層−N層)またはAPD(アバランシェ・フォトダイオード)タイプのInGaAs検出器がある。次いで、システムのいくつかのポイントに対応する1組のポイントの集団を連結するだけでよい。このデータの全てを処理して、システムの位置を特定する際の誤りを補償することがしばしば必要である。この方法は、検出システムおよびレーザ・ビームを走査することによって実行してもよい。
他の技法では、検出器を「ゲーティング」して、高パルスレートのレーザによって、ポイントの集団の各セクションを再構成できるようにするための技法を使用する。次いで、一群のレーザ・パルスによってシーンが照明され、精密な時間窓または数百ピコ秒の「ゲート」を有する画素の行列により、シーン内の対象物の様々な深度に従ってこのレーザ・パルスの後方散乱が収集される。次いで、深度にリンクした大きさの画像が得られる。3D画像を得るには、様々な視角が必要になる。
考えられる様々な状況(無人飛行機であるUAV、ヘリコプタ、または飛行機に搭載されるセンサ)では、対象物が隠されているときには再構成がしばしば不完全であり、対象物によって後方散乱される信号により、対象物に関連する情報の全てをもはや得ることができなくなる。次いで、これにより情報が不完全になって欠落し、部分反転のプロセスに至って、不完全な3D画像が得られることになる。ポイントの集団を連結するプロセスが、反転のプロセスと考えられる。部分反転のプロセスの一例が図2に示してあり、そこでは3次元画像が不完全であり、データの完成が必要な領域を識別できる。
3次元画像を完成するのに通常使用される技法は、既存のデータベース、たとえばCADデータベースを使用する。次いで、再構成された対象物が、このデータベースの各要素と比較される。初期の3D対象物との相関が得られると、データベースから、テクスチャ・データまたは他のデータを用いて3次元画像が完成する。これらの完成アルゴリズムは、データベース内のCADモデルの豊富さに依存し、このことは、このデータベースにおいて対象物が知られていない場合には使用不能であるという大きな欠点になる。
本発明の目的は、これらの欠点を克服することである。
本発明の1つの主題は、シーンによって後方散乱され検知された信号に基づいて、光波に曝されたこのシーンにおける対象物を3D再構成するための方法であり、以下のステップを含む。
−ステップ1)検知された信号から、このシーンによる信号の後方散乱の強度がそれぞれ割り当てられる1組の3Dポイントを生成するステップであって、これらの3Dポイントが、再構成されたデータのセットAで示される信号の強度と関連するステップ。
−ステップ2)再構成されたデータのこのセットAから開始して、対象物を含む空間内にそのポイントが配置されたデータのセットBを、空間特性F2に応じて抽出するステップ。
−ステップ3)セットBから開始して、喪失部分をもつ領域を有する対象物の外面を特徴付けるデータのセットCを、抽出基準F1に応じて抽出するステップ。
−ステップ4)Cのデータに基づいて、外部データベースを使用する必要もなく、3次元表面を生成して対象物の完成データのセットDを得ることにより、喪失部分をもつこの領域を埋めるステップ。
−ステップ5)セットDに基づいて対象物を識別するステップ。
これは主に、ステップ5)の識別に成功しなかったとき、ステップ3)、4)および5)が新規の基準F1で繰り返されることを特徴とする。
この方法は、CADタイプのモデルを含む外部データベースと無関係であり、再構成によって利用可能になったデータを使用する技法により、喪失部分を有する3次元画像を完成できるようになり、したがって、完全な3次元画像によって、より良好に識別できるようになる。
ステップ5)の識別が依然として成功しなかったとき、対象物を含む空間(12)の新規の特性F2で、ステップ2)、3)、4)および5)を繰り返す。
本発明の一特性によれば、ステップ5)の識別に成功しなかったときに、以下のステップを含む。
−不変量を検索するためのモジュール(9)により、Dのデータ内の不変量F3を抽出するステップ。
−これらの不変量F3を用いて、対象物の外面を特徴付けるデータのセットCを完成するステップ。
−これらの不変量F3を不変量のデータベース(8)に送るステップ。
−この新規のセットCに基づいて、ステップ4)および5)を繰り返すステップ。
喪失部分を有する領域を埋めるためのステップ4)は、以下のサブステップを含むこともできる。
−ステップ41)外面を特徴付けるCのデータを正規化して、Cの正規化データのセットD12を得るステップ。
−ステップ42)D12のデータに基づいて、抽出および重み付けの基準F75に応じて、アトラクタで示される関連データを抽出し、それらを重み付けして、重み付けされたアトラクタのセットD34を得るステップ。
−ステップ43)セットD34のデータから、選択閾値F74に応じて、重要なアトラクタを選択するステップ。
−ステップ44)Cの空間的に近いデータに応じて、重要なアトラクタの重み付けを強化して、強化された重要なアトラクタのセットD56を得るステップ。
−ステップ45)D12およびD56のデータに基づいて、3次元表面Dを生成するステップ。
本発明の一特性によれば、喪失部分を有する領域を満たすためのステップ4)は、ステップ42)に先立って、不変量を正規化し、したがって正規化された不変量のセットD23を得るためのサブステップ41b)を含み、ステップ42)は、D12およびD23のデータに基づいて実行される。
ステップ5)の識別に成功しなかったとき、新規の選択閾値F74で、ステップ43)、44)、45)および5)を繰り返す。
やはりまた、ステップ5)の識別に成功しなかったとき、新規の抽出および重み付けの基準F75で、ステップ42)、43)、44)、45)および5)を繰り返す。
ステップ5)の識別が依然として成功しなかったとき、ステップ42)、43)、44)、45)および5)を繰り返し、不変量を抽出するためのステップが実行される場合、これは、Dのデータに基づいており、不変量(8)のデータベース内にある。
この識別は、ユーザまたは自動識別システムによって実行できる。
各信号は、可視領域またはIR領域内で、能動または受動イメージング・システムによって検知される。
本発明の他の特性および利点は、添付の図面を参照しながら、限定しない例として示した以下の詳細な説明を読むことによって明らかになろう。
イメージ・センサによって得られるような、部分的に隠された対象物を有するシーンの画像を示す図である。 データCの図の一例を示す図である。すなわち、このデータは3D空間において識別される1組のポイントであり、その強度(この図では、各ポイントの強度は同じである)は、図1の対象物の様々な表面を特徴付け、これは、対象物を含む空間、この場合には長方形の平行六面体とともに再構成のプロセスによって得られる。 本発明による方法の各ステップの一連の流れを示す図である。 喪失部分を有する領域を埋めるためのステップ4の、サブステップの一連の流れを示す図である。 3D表面生成のためのステップ45の、サブステップの一連の流れを示す図である。
各図を通して、同じ要素は、同じ参照符号で識別される。
図3を参照すると、本発明による、対象物の3次元再構成用のデータを完成するための方法の一例が説明してある。この一例は、以下に記載のステップをこの順で含む。
1)シーン1によって後方散乱された信号に基づいて、シーンによる後方散乱の強度が割り当てられる、3次元空間に配置された1組のポイントを生成し、これは再構成されたデータ・セットで示される。この再構成されたデータ・セットは、トモグラフィ3次元再構成またはプロフィロメトリ3次元再構成の方法、すなわちレーザ波の伝搬時間を考慮する方法など、当業者が知っている冒頭で述べたような方法を使用することによって生成できる。好ましくは、これらの再構成されたデータの雑音を低減させて、有用な再構成データ・セットを得る。有用または有用でないこの再構成されたデータ・セットは、Aで示される。
2)セットAの再構成されたデータから開始して、これらのデータから、対象物(その一例を図2に示す)を含む空間12内に含まれるセットBを抽出する。これは、たとえば長方形の平行六面体であり、その抽出は、たとえば、対象物に関連するデータを含む空間再分割[(Xmin Xmax);(Ymin,Ymax);(Zmin;Zmax)]に基づいている。この空間の特性F2は、その特性を制御するために、ユーザもしくはモジュール7によって事前定義または定義してもよく、たとえば、この方法の第1の繰返し時にユーザによって定義され、また任意の潜在的な後続の繰返し時に、この制御モジュールによって定義される。この制御モジュール7は、たとえば、対応表での検索、またはKohonenタイプの結合グリッド、または管理されるか、もしくは管理されない適応学習によって生成される知識ベースに基づき、あるいはAのデータにズームすることによりユーザによって測位される。
3)データBのセットから開始して、3D空間に配置され、その強度に関連したポイントのセットCを抽出し、対象物の外面を特徴付け、この表面は、特に隠されることによって喪失部分をもつ領域を有する。セットCの一例11が、図2に示してある。この抽出は、たとえば、強度の閾値処理および/または以下のものを有する等値面タイプの関数に基づく。
a.強度の閾値処理および/または、
b.小平面(三角、もしくは長方形、もしくは六角形)のメッシュ処理、および/または、
c.各頂点に関連する法線、この法線に基づいて各ポイントを選択するための基準(たとえば、スカラ積および重心)、ならびに、小平面の外側および/または内側の各ポイントの抽出とともに、小平面の頂点を抽出する処理。
これらの抽出基準の値F1は、その抽出基準を制御するために、ユーザもしくはモジュール6によって事前定義または定義してもよく、これは、たとえば、対応表での検索、またはKohonenタイプの結合グリッド、または管理されるか、もしくは管理されない適応学習によって生成される知識ベースに基づく。
4)対象物の完成した3次元表面Dを生成することにより、セットCの喪失部分を有する領域を満たす。表面生成の例を以下に挙げる。CADモデル、または、たとえば再構成および識別を実行するための方法以外から得られる幾何学的属性などの外部データベースからの他のモデルを使用する必要なく、このステップが実行される。
5)対象物の完成したデータDに基づいて、対象物を識別する。タッチ・スクリーンおよび/またはスクリーンとキーボードおよび/または音声認識を使用し、場合によりユーザが3次元データにズームし、対象物の識別に成功したかどうか判定できるようにするインターフェースなど、専用のユーザ・インターフェースによって、この識別をユーザが実行できる。この識別はまた、自動識別のシステム、たとえば形状認識に基づくシステムによって実行できる。識別に成功すると、この方法は停止する。
次に、喪失部分を有する表面を埋めるためのステップ4を、より詳細に説明する。このステップは、たとえば、図4を参照して説明する以下のサブステップをこの順で含む。
41)対象物の外面を特徴付けるCのデータに、正規化のプロセスを適用する。この正規化のプロセスにより、Cのデータのセットを拡大縮小することができ、曲線、表面、主空間などの主要構成要素を使用して、その分析を実行できるようになる。Cの正規化されたデータが、セットD12を形成する。
42)以下で分かるように、C D12の正規化されたデータから、また潜在的には同様に正規化された不変量D23から開始して、「対象物にリンクした3次元情報のアトラクタ」を抽出し、ポイントの所定の閾値数に関連したトポロジ領域内に配置され、3次元空間にリンクしたメトリック(たとえば、ユークリッド距離)によって規定されたポイントの数に対して、それらを重み付けし、これらの重み付けされたアトラクタがセットD34を形成する。これらは、抽出および重み付けの基準F75に応じて抽出され、重み付けされる。これらの基準は、その基準F75を制御するために、ユーザもしくはモジュール46によって事前決定または決定してもよい。アトラクタは、ポイント、ライン、曲線、空間など、セットAから生じる関連した幾何学的データであり、Aのデータを表す。この抽出/重み付けは、たとえば、内部ポイント・アルゴリズム、および/または、たとえばホップフィールド・ネットワーク、もしくはボルツマン・ネットワーク、もしくは焼きなまし法に基づく確率的最適化を使用することもできる制約条件をもつ最適化を有する決定論的タイプである。
43)セットD34から、選択閾値F74に対して重要なアトラクタを選択し、これらの重要なアトラクタがセットD45を形成する。選択閾値F74は、ユーザまたはやはりこの重み付け閾値を制御できるモジュール46によって事前決定または決定してもよく、たとえば、これらのステップの第1の繰返し時にはユーザによって決定され、任意の後続の繰返し時にはこの制御モジュール46によって決定される。この制御モジュール46は、この選択43とともに、たとえば、Kohonenタイプの結合グリッド、または管理されるか、もしくは管理されない適応学習によって生成される知識ベース、ならびに/または、連想記憶装置および/もしくは分類木に基づく。
44)この重要なアトラクタD45を組み合わせる。すなわち、その重みを、データD12から抽出されたその近くのポイントの重みで強化し、これら強化されたアトラクタが、セットD56を形成する。このステップは、たとえば、Kohonenタイプの結合グリッド、または管理されるか、もしくは管理されない適応学習によって生成される知識ベース、またはデータを結合するための他の任意の方法に基づく。
45)データD12および強化されたアトラクタD56に基づいて3次元表面を生成し、この表面のデータがセットDを形成する。
図5を参照して説明する3次元表面Dを生成するためのステップ45は、たとえば、以下のステップをこの順で含む。
−表面生成のプロセスを制御するためのモジュール100により、喪失部分(=セットD56)を有する3次元データに含まれるデータを、3D表面生成のためのプロセス(類型1、...、類型k、...、類型N)に送出する。データD56に応じて、制御モジュール100は、1つまたは複数の(またはその全ての)3D表面生成のプロセスを選択し、データD56は、マルチプレクサ200を介して選択された各プロセスに送られる。この制御モジュールは、たとえば、対応表での検索、Kohonenタイプの結合グリッド、適応学習(管理されるか、もしくは管理されない)によって生成される知識ベース、ならびに/または、連想記憶装置および/もしくは分類木に基づく。
−選択された各方法は、完成したデータD1、D2、...Dk、...DNのセットを提供する。使用されている3D表面生成のプロセスの中で、以下のアルゴリズムに言及してもよい。すなわち、データD56に関連する最小エネルギー探索タイプ(たとえば、各ポイントのポテンシャル・エネルギー)のアルゴリズム、または確率緩和タイプ(たとえば、ホップフィールド、ボルツマン、焼きなまし法)のアルゴリズム、またはベイズ正則化タイプ(直接伝搬および/または逆伝搬)のアルゴリズム、またはウェーブレット解析タイプ(直交ウェーブレット、連続ウェーブレット、離散ウェーブレット、多重解像度解析)のアルゴリズム、または一般回帰タイプ(線形および/または非線形)による近似のアルゴリズム、または制約を伴う最適化タイプ(たとえば、ニュートン最適化、Levenberg−Marquardt最適化)のアルゴリズム、または放射基底関数タイプ(一般回帰ネットワーク、確率的ニューラル・ネットワーク)のアルゴリズム、またはこれらのアルゴリズム手法の複合化である。
−結合器300により、完成したデータD1、...、DNを(たとえば、異常ポイントの追加フィルタリングで)結合して、Dを得る。この結合は、D1、...、DNから得られる最良の結果を単に選択することにある。この結合は、たとえば、対応表、または自己編成形Kohonenチャート、または適応学習(管理されるか、もしくは管理されない)によって生成される知識ベース、ならびに/または、連想記憶装置および/もしくは分類木、および/もしくはデータを結合するための任意の方法に基づく。
次に、図3を参照する。ステップ5の後に、対象物の識別に成功しなかった場合(→第1のNO)、新規の表面抽出基準が定義され、対象物の外面を特徴付ける新規のセットCが抽出される(ステップ3)。たとえば、この新規の抽出基準は、その抽出基準を制御するためにモジュール6に送られる要求E1を介して定義され、これにより、この新規の基準F1は、以前示されたものとして、またはたとえば事前に決められた規則に従って増加させることによって確立される。一代替選択肢によれば、この基準は、ユーザがそのインターフェースを介して定義できる。次いで、この基準F1は、ステップ3の抽出モジュールに送られ、このモジュールがCの新規データを送達する。
次いで、この新規のセットCを使用してステップ4が繰り返されて、対象物の完成したデータの新規のセットDを生成し、それに続いて識別ステップ5に移る。
対象物の識別に成功しなかった場合(→第2のNO)、対象物を含む新規の空間の特性F2が、この対象物による後方散乱の強度が割り当てられるこの新規の空間内に配置された各ポイントの新規のセットBとともに定義される。たとえば、この新規の空間は、その新規の空間の特性を定義するための、これらの特性を制御するモジュール7に送られる要求E2を介して定義され、これにより、F2は、以前示されたものとして、またはたとえば事前に決められた規則に従って増加させることによって決定される。一代替選択肢によれば、これらは、ユーザがそのインターフェースを介して定義できる。次いで、この新規の空間を使用して、ステップ2、3、4および5が実行される。
潜在的に、対象物の識別に成功しなかった場合(→第3のNO)、
−不変量を探索するために、不変量E3を求める要求をモジュール9に送る。
−対応表、および/または適応学習(管理されるか、もしくは管理されない)によって生成される知識ベース、ならびに/または、連想記憶装置および/もしくは分類木に基づいて、Dのある種の要素(たとえば、円柱の一部、寸法の範囲など)に応じて、モジュール9によって目標となる幾何学的不変量F3を探索する。これらの幾何学的不変量は、この方法の外のデータベースから生じるデータを使用する必要なく、3次元再構成のプロセス中に作成される。次いで、これら目標となる不変量が、不変量のデータベース8に導かれ(G)、このデータベースは、認められた各要素(たとえば、車輪、ボンネット、シャーシなど)を含み、これらはそれぞれ、以下のタイプ、すなわち再構成された大域オブジェクト、対象物の寸法、対象物の寸法比などの幾何学的不変量に関連している。これらの不変量は、必ずしも幾何学的のみでなくてもよく、色、テクスチャ、または他の属性についての情報を含んでもよい。したがって、このデータベース8には、この方法の繰返しが実行されるときの情報が提供される。
−これら目標となる幾何学的不変量F3、および目標の外面を特徴付けるセットCに基づいて、喪失部分を有する表面を埋めるためのステップ4を実行して、完成したデータの新規のセットDを生成する。図4を参照する。次いで、ステップ4のサブステップは、サブステップ42の前に、追加のサブステップ41bを含む。すなわち、
・正規化のプロセスを、目標となる不変量F3に加える。この正規化のプロセスにより、これらの不変量F3を拡大縮小することができ、主要構成要素としてのその分析を実行できる。F3の正規化されたデータが、セットD23を形成する。
・次いで、D12およびD23に基づいて、サブセット42が実行される。
−次いで、ステップ43、44、45および5に進む。
対象物の識別に成功しなかった場合(→第4のNO)、選択閾値を制御するためのモジュール46によって、重要なアトラクタF74のための新規の選択閾値が決定され、この新規の閾値とセットD34に基づいて選択ステップ43が繰り返され、新規の重要なアトラクタD45を送達する。ステップ44および45が繰り返され、ステップ5の実行中に識別するために、完成した新規データDが生成される。
前のステップの最後で目標の識別に成功しなかった場合(→第5のNO)、抽出および重み付けの基準を制御するためのモジュール46により、アトラクタのための抽出および重み付けの基準F75を修正することによってステップ42を繰り返して、新規のセットD34を得る。次いで、これら新規のデータD34に基づいて、ステップ43、44、45および5に進む。
目標の識別が成功しなかった場合、前に示したように、ステップ2、3、4および5へと手順を繰り返す。幾何学的不変量の探索を実行する場合、幾何学的不変量8のデータベース内にあるDのデータに基づいてこれが実行されることになる。
目標の識別が成功しなかった場合、この方法は、前述のように各ステップを繰り返すことによって継続でき、ユーザは、いつでも処理法を停止する可能性がある。
識別が成功しなかった場合での前述の繰返し処理の例では、各ステップの順序を変更してもよい。第3のNOに続く各ステップは、第1のNOに続くステップと交換してもよく、また逆の場合も同じである。同様に、第2のNOに続く各ステップは、第4のNOに続くステップと交換してもよく、また逆の場合も同じである。
これらの技法は、中距離(数百メートル〜数キロメートル)において「識別困難」と称される目標の識別のための、オプトエレクトロニクス機器に集積することができる。この機器は、低高度偵察用のUAVシステム、ヘリコプタ、または飛行機に搭載してもよい。
これらの3Dレーザ・イメージング技法は、生物医学の分野で、特に皮下疾患の識別に適用可能である。
1 シーン
6 モジュール
7 モジュール
8 データベース
9 モジュール
10 対象物
11 セットCの一例
12 空間
46 モジュール
100 モジュール
200 マルチプレクサ
300 結合器

Claims (10)

  1. シーン(1)によって後方散乱され検知された信号に基づいて、光波に曝された前記シーンにおける対象物(10)を3D再構成するための方法であって、
    −ステップ1)前記検知された信号から、前記シーンによるその後方散乱の強度がそれぞれ割り当てられる1組の3Dポイントを生成するステップであって、これらの前記3Dポイントが、再構成されたデータのセットAで示されるその強度と関連するステップと、
    −ステップ2)前記再構成されたデータのセットAから開始して、前記対象物を含む空間(12)内にそのポイントが配置されたデータのセットBを、空間特性F2に応じて抽出するステップと、
    −ステップ3)前記セットBから開始して、喪失部分をもつ領域を有する前記対象物の外面を特徴付けるデータのセットCを、抽出基準F1に応じて抽出するステップと、
    −ステップ4)Cのデータに基づいて、外部データベースを使用する必要もなく、3次元表面を生成して前記対象物の完成データのセットDを得ることにより、喪失部分をもつ前記領域を埋めるステップと、
    −ステップ5)前記セットDに基づいて前記対象物を識別するステップを含み、
    前記ステップ5)の前記識別に成功しなかったとき、前記ステップ3)、4)および5)を新規の基準F1で繰り返すことを特徴とする方法。
  2. 前記ステップ5)の前記識別に成功しなかったとき、前記対象物を含む前記空間(12)の新規の特性F2で、前記ステップ2)、3)、4)および5)を繰り返すことを特徴とする、請求項1に記載の対象物を3D再構成するための方法。
  3. 前記ステップ5)の前記識別が成功しなかったときに、
    −不変量を探索するためのモジュール(9)により、Dの前記データ内の不変量F3抽出するステップと、
    −これらの不変量F3を用いて、前記対象物の前記外面を特徴付けるデータの前記セットCを完成するステップと、
    −これらの不変量F3を不変量のデータベース(8)に送るステップと、
    −この新規のセットCに基づいて、前記ステップ4)および5)を繰り返すステップを含むことを特徴とする、請求項1または2に記載の対象物を3D再構成するための方法。
  4. 喪失部分を有する領域を満たすための前記ステップ4が、以下のサブステップ、すなわち、
    −ステップ41)前記外面を特徴付けるCの前記データを正規化して、Cの正規化データのセットD12を得るステップと、
    −ステップ42)前記D12のデータに基づいて、抽出および重み付けの基準F75に応じて、アトラクタで示される関連データを抽出し、それらを重み付けして、重み付けされたアトラクタのセットD34を得るステップと、
    −ステップ43)前記セットD34のデータから、選択閾値F74に応じて、重要なアトラクタを選択するステップと、
    −ステップ44)Cの空間的に近いデータに応じて、前記重要なアトラクタの重み付けを強化して、強化された重要なアトラクタのセットD56を得るステップと、
    −ステップ45)D12の前記データおよびD56のデータに基づいて、3次元表面Dを生成するステップを含むことを特徴とする、請求項1〜3のいずれか一項に記載の対象物を3D再構成するための方法。
  5. 喪失部分を有する領域を満たすための前記ステップ4)が、前記ステップ42)に先立って、前記不変量を正規化し、したがって正規化された不変量のセットD23を得るためのサブステップ41b)を含み、前記ステップ42)が、D12およびD23の前記データに基づいて実行されることを特徴とする、請求項3または4に記載の対象物を3D再構成するための方法。
  6. 前記ステップ5)の前記識別が成功しなかったとき、新規の選択閾値F74で、前記ステップ43)、44)、45)および5)を繰り返すことを特徴とする、請求項4または5のいずれかに記載の対象物を3D再構成するための方法。
  7. 前記ステップ5)の前記識別が成功しなかったとき、新規の抽出および重み付けの基準F75で、前記ステップ42)、43)、44)、45)および5)を繰り返すことを特徴とする、請求項1〜6のいずれか一項に記載の対象物を3D再構成するための方法。
  8. 前記ステップ5)の前記識別が成功しなかったとき、ステップ42)、43)、44)、45)および5)を繰り返し、不変量を抽出するためのステップが実行される場合、これが、Dの前記データに基づいており、不変量(8)の前記データベース内にあることを特徴とする、請求項1〜7のいずれか一項に記載の対象物を3D再構成するための方法。
  9. 前記識別が、ユーザまたは自動識別システムによって実行されることを特徴とする、請求項1〜8のいずれか一項に記載の方法。
  10. 前記信号が、可視領域またはIR領域内で、能動または受動イメージング・システムによって検知されることを特徴とする、請求項1〜9のいずれか一項に記載の方法。
JP2012231878A 2011-10-21 2012-10-19 シーン内の対象物を3d再構成するための方法 Active JP6207144B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1103229 2011-10-21
FR1103229A FR2981772B1 (fr) 2011-10-21 2011-10-21 Procede de reconstruction 3d d'un objet d'une scene

Publications (2)

Publication Number Publication Date
JP2013101113A true JP2013101113A (ja) 2013-05-23
JP6207144B2 JP6207144B2 (ja) 2017-10-04

Family

ID=47008422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012231878A Active JP6207144B2 (ja) 2011-10-21 2012-10-19 シーン内の対象物を3d再構成するための方法

Country Status (5)

Country Link
US (1) US9135747B2 (ja)
EP (1) EP2584533A1 (ja)
JP (1) JP6207144B2 (ja)
CA (1) CA2789226C (ja)
FR (1) FR2981772B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020537140A (ja) * 2017-10-10 2020-12-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法
US11208087B2 (en) 2016-09-07 2021-12-28 Robert Bosch Gmbh Control device and method for increasing at least a brake pressure in at least one wheel-brake cylinder of a brake system of a vehicle

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
FR2991072B1 (fr) * 2012-05-28 2014-06-20 Snecma Systeme et methode de traitement d'informations pour la surveillance d'un systeme complexe
US9262853B2 (en) * 2013-03-15 2016-02-16 Disney Enterprises, Inc. Virtual scene generation based on imagery
CN103489218B (zh) 2013-09-17 2016-06-29 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
FR3030847B1 (fr) 2014-12-19 2017-12-22 Thales Sa Procede de discrimination et d'identification par imagerie 3d d'objets d'une scene
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
FR3094532B1 (fr) 2019-03-28 2021-09-10 Sispia Procédé et système d'identification d'objets à partir d'images labellisées desdits objets
CN110599592B (zh) * 2019-09-12 2023-01-06 北京工商大学 一种基于文本的三维室内场景重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
JP2004272459A (ja) * 2003-03-06 2004-09-30 Cad Center:Kk 三次元形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
US20050243323A1 (en) * 2003-04-18 2005-11-03 Hsu Stephen C Method and apparatus for automatic registration and visualization of occluded targets using ladar data
JP2008046047A (ja) * 2006-08-18 2008-02-28 Fujifilm Corp 距離画像作成方法及び距離画像センサ、及び撮影装置
JP2011123060A (ja) * 2009-11-27 2011-06-23 Thales 三次元画像を形成するための識別専用オプトロニックシステムおよび方法
JP2011521204A (ja) * 2008-03-25 2011-07-21 テールズ 電磁波及び/又は弾性波にさらされたオブジェクトの三次元合成再構成の方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278798B1 (en) * 1993-08-09 2001-08-21 Texas Instruments Incorporated Image object recognition system and method
US7085401B2 (en) * 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
EP1694821B1 (en) * 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
JP5120926B2 (ja) * 2007-07-27 2013-01-16 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
US8953906B2 (en) * 2009-09-03 2015-02-10 National Ict Australia Limited Illumination spectrum recovery
US8611674B1 (en) * 2010-01-18 2013-12-17 Disney Enterprises, Inc. System and method for invariant-based normal estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
JP2004272459A (ja) * 2003-03-06 2004-09-30 Cad Center:Kk 三次元形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
US20050243323A1 (en) * 2003-04-18 2005-11-03 Hsu Stephen C Method and apparatus for automatic registration and visualization of occluded targets using ladar data
JP2008046047A (ja) * 2006-08-18 2008-02-28 Fujifilm Corp 距離画像作成方法及び距離画像センサ、及び撮影装置
JP2011521204A (ja) * 2008-03-25 2011-07-21 テールズ 電磁波及び/又は弾性波にさらされたオブジェクトの三次元合成再構成の方法
JP2011123060A (ja) * 2009-11-27 2011-06-23 Thales 三次元画像を形成するための識別専用オプトロニックシステムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11208087B2 (en) 2016-09-07 2021-12-28 Robert Bosch Gmbh Control device and method for increasing at least a brake pressure in at least one wheel-brake cylinder of a brake system of a vehicle
JP2020537140A (ja) * 2017-10-10 2020-12-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法
JP7042905B2 (ja) 2017-10-10 2022-03-28 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法

Also Published As

Publication number Publication date
EP2584533A1 (fr) 2013-04-24
FR2981772A1 (fr) 2013-04-26
JP6207144B2 (ja) 2017-10-04
US9135747B2 (en) 2015-09-15
CA2789226A1 (en) 2013-04-21
CA2789226C (en) 2019-11-26
US20130100131A1 (en) 2013-04-25
FR2981772B1 (fr) 2017-12-22

Similar Documents

Publication Publication Date Title
JP6207144B2 (ja) シーン内の対象物を3d再構成するための方法
EP3407292B1 (en) Neural network point cloud generation system
US11049267B2 (en) Apparatus, method, and system for alignment of 3D datasets
CN110555811A (zh) 一种sar图像数据增强方法、装置及存储介质
Bellocchio et al. 3D surface reconstruction: multi-scale hierarchical approaches
US8294712B2 (en) Scalable method for rapidly detecting potential ground vehicle under cover using visualization of total occlusion footprint in point cloud population
Miled et al. A convex optimization approach for depth estimation under illumination variation
Flores-Fuentes et al. 3D spatial measurement for model reconstruction: A review
Sun et al. Large-scale building height estimation from single VHR SAR image using fully convolutional network and GIS building footprints
Wang et al. Buried target detection method for ground penetrating radar based on deep learning
Coiras et al. Supervised target detection and classification by training on augmented reality data
Sung et al. Sonar image translation using generative adversarial network for underwater object recognition
CN105204010A (zh) 低信杂比合成孔径雷达图像的地物目标检测方法
Morell et al. 3d maps representation using gng
JP7197003B2 (ja) 深度推定装置、深度推定方法、及び深度推定プログラム
Al-Temeemy et al. Laser radar invariant spatial chromatic image descriptor
Majgaonkar et al. Assessing LiDAR training data quantities for classification models
Barrois et al. Resolving stereo matching errors due to repetitive structures using model information
Lin et al. Point Cloud Registration Using Intensity Features
Chen et al. Robust speckle-autocorrelation non-line-of-sight imaging with generative adversarial networks
Mallet et al. Lidar waveform modeling using a marked point process
Goutsias Toward a unifying optimal approach to mine detection problems
Lisitsyn et al. Detection of Cylindrical and Spherical Surfaces and Determining Their Parameters in Segmentation of Range Images
Nietiedt et al. Occlusion handling in spatio-temporal object-based image sequence matching
Lee et al. Learning-Based Reflection-Aware Virtual Point Removal for Large-Scale 3D Point Clouds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170905

R150 Certificate of patent or registration of utility model

Ref document number: 6207144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250