JP2014096152A - ポイントクラウド内の埋め戻しポイント - Google Patents

Abstract

【課題】ポイントクラウド内のポイントを増やすための装置、システム、及び方法を提供する。
【解決手段】シーン１１０の２次元画像１２１及びシーン１１０のポイントクラウド１３２が受信される。ポイントクラウド１３２内のポイントの少なくとも一部は、２次元画像１２１にマッピングされて変換ポイント１４６を形成する。融合データアレイ１５０は、２次元画像１２１及び変換ポイント１４６を使用して作成される。ポイントクラウド１３２に対する新しいポイント１６４は融合データアレイ１５０を使用して特定される。新しいポイント１６４はポイントクラウド１３２に追加されて、新しいポイントクラウド１６２を形成する。
【選択図】図１

Description

本開示は概してポイントクラウドに関し、具体的にはポイントクラウドの解像度向上に関する。さらに具体的には、本開示はポイントクラウドの解像度を高めるため、ポイントクラウド内のポイントの数を増やすためのシステム及び方法に関する。

ポイントクラウドは、三次元シーンを記述する３次元座標系内のポイントの集合である。典型的には、ポイントクラウド内のポイントは対象物の外表面を表す。光検出及び測距（ＬＩＤＡＲ）システムは、ポイントクラウドを生成することができる種類のセンサーシステムの一例である。ポイントクラウドは、例えば、ステレオカメラシステム、モバイルレーザーイメージングシステム、及び他の種類のセンサーシステムを使用して生成することができる。

ポイントクラウドは、例えば、対象物の識別、対象物の分類、シーンの可視化、セグメント化、２次元画像データの強調などの様々な操作、及び／又は他の種類の操作を実施するために使用される。ポイントクラウドを使用して実施されるこれらの操作の性能レベルは、ポイントクラウドの解像度に依存することがある。

本明細書で使用されているように、ポイントクラウドの「解像度」は、ポイントクラウドによって捕捉されるシーンの特徴がポイントクラウド内で識別される際の詳細度となることがある。ポイントクラウドの解像度はポイントクラウド内のポイントの数、及び／又はポイントクラウドの一又は複数の部分のポイントのポイント密度に依存する。本明細書で使用しているように、「ポイント密度」は単位容積あたりのポイントの数の測定値である。ポイントクラウド内の別の部分よりも高い密度を有するポイントクラウドの部分は、他の部分よりも希薄になることはない。

幾つかの状況では、希薄なポイントクラウドを用いた対象物の識別、対象物の分類、セグメント化、及び／又はシーンの可視化は不正確な結果を生むことがある。例えば、ポイントクラウドは対象物を正確に識別又は分類するには密度が十分でないことがある。

ポイントクラウド内のポイントの数を増やすために現在利用可能な幾つかの解決策には、シーン内の対象物に関する推測を行うことが含まれる。例えば、推測はシーン内の対象物の形状に関して行われることがあり、新しいポイントはこれらの推測に基づいてポイントクラウドに追加されることがある。しかしながら、このような種類の解決策では、新しいポイントが追加される３次元基準座標系の位置は所望よりも正確でなくなることがある。

さらに、幾つかの現在利用可能な解決策は、シーン内の実在の孔又は間隙を考慮することができないことがある。例えば、幾つかの現在利用可能な解決策では、新しいポイントはシーン内の実在の孔又は間隙を表わす位置で、ポイントクラウドに追加されることがある。なおさらに、幾つかの現在利用可能な解決策は、例えば、樹木の最上端と地上のように、シーン内で結合されていない対象物を結合するポイントをポイントクラウドに追加することがある。したがって、少なくとも上述の問題点の幾つかと、起こりうる他の問題点を考慮する方法及び装置を有することが望ましいであろう。

１つの例示的な実施形態では、装置は１つの画像処理システムを備えている。画像処理システムは、シーンのポイントクラウド内の少なくとも一部をシーンの２次元画像にマッピングして変換ポイントを形成するように構成される。画像処理システムは、２次元画像及び変換ポイントを使用して融合データアレイを作成するように構成されている。さらに、画像処理システムは、融合データアレイを使用してポイントクラウドに対して新しいポイントを特定し、ポイントクラウドに新しいポイントを追加して新しいポイントクラウドを形成するように構成されている。

別の例示的な実施形態では、画像処理システムは融合マネージャ、深度値生成器、及びポイントクラウドマネージャを備える。融合マネージャは、シーンのポイントクラウドの少なくとも一部をシーンの２次元画像にマッピングして変換ポイントを形成するように構成されており、且つ２次元画像及び変換ポイントを使用して融合データを作成するように構成されている。融合データアレイは、非ゼロ深度値を含む埋込データベクトルに関連付けられた一致エレメント、及びゼロ深度値を含む非埋込データベクトルに関連付けられた非一致エレメントを含む。深度値生成器は、新しい深度値を特定して、ゼロ深度値の少なくとも一部を置き換えるように構成されている。ポイントクラウドマネージャは、新しい深度値を使用してポイントクラウドに対して新しいポイントを特定し、ポイントクラウドに新しいポイントを追加して新しいポイントクラウドを形成するように構成されている。

さらに別の例示的な実施形態では、ポイントクラウド内のポイントの数を増やすためのコンピュータ実装方法が提供される。シーンの２次元画像及びシーンのポイントクラウドが受信される。ポイントクラウド内のポイントの少なくとも一部は、２次元画像にマッピングされて変換ポイントを形成する。融合データアレイは、２次元画像及び変換ポイントを使用して作成される。ポイントクラウドに対する新しいポイントは融合データアレイを使用して特定される。新しいポイントはポイントクラウドに追加されて、新しいポイントクラウドを形成する。

本明細書に記載されている前述の任意の実施形態は、下記の項で記載されているように、以下のコンピュータ実装方法を想定することもできる。

第１２項 ポイントクラウド（１３２）内のポイントの数を増やすためのコンピュータ実装方法であって、前記コンピュータ実装方法は、
シーン（１１０）の２次元画像（１２１）及び前記シーン（１１０）の前記ポイントクラウド（１３２）を受信すること；
前記ポイントクラウド（１３２）内のポイントの少なくとも一部を前記２次元画像（１２１）にマッピングして変換ポイント（１４６）を形成すること；
前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して融合データアレイ（１５０）を作成すること；
前記融合データアレイ（１５０）を使用して前記ポイントクラウド（１３２）に対して新しいポイント（１６４）を特定すること；及び
前記ポイントクラウド（１３２）に前記新しいポイント（１６４）を追加して新しいポイントクラウド（１６２）を形成すること
を含む、コンピュータ実装方法。

第１３項 前記ポイントクラウド（１３２）内の前記ポイントの前記少なくとも一部を前記２次元画像（１２１）にマッピングして前記変換ポイント（１４６）を形成することは、
カメラシステムの姿勢情報を特定すること；
前記ポイントクラウド（１３２）内の前記ポイントに対してカメラ中心座標を特定する前記姿勢情報を使用して、前記ポイントクラウド（１３２）に対する３次元基準座標系を３次元カメラ中心座標系に変換すること；及び
前記カメラ中心座標を有する前記ポイントクラウド（１３２）内の前記ポイントの少なくとも一部を前記２次元画像（１２１）内のピクセル位置（１２４）にマッピングすること
を含む、第１２項に記載のコンピュータ実装方法。

第１４項 前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して前記融合データアレイ（１５０）を作成することは、
前記２次元画像（１２１）内のピクセルに１対１の対応を有するエレメント（１５２）からなる前記融合データアレイ（１５０）を形成すること；及び
前記融合データアレイ（１５０）内の前記エレメント（１５２）に、非ヌル深度値を含む埋込データベクトル（１５４）及びヌル深度値を含む非埋込データベクトル（１５４）を含むデータベクトル（１５４）を関連付けること
を含む、第１２項に記載のコンピュータ実装方法。

第１５項 前記融合データアレイ（１５０）を使用して前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定することは、
新しい深度値（１５８）を生成して前記ヌル深度値の少なくとも一部を置き換えること；及び
前記新しい深度値（１５８）を使用して前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定すること
を含む、第１４項に記載のコンピュータ実装方法。

第１６項 前記新しい深度値（１５８）を生成して前記ヌル深度値の少なくとも一部を置き換えることは、
前記融合データアレイ（１５０）内のエレメントであって、ヌル深度値を含む非埋込データベクトル（１５４）に関連付けられているエレメントの位置でウィンドウを中心に配置すること；
前記ウィンドウによって重ね合わされた前記融合アレイ（１５０）の一部に支持エレメント（５００）を特定すること；及び
前記支持エレメント（５００）及び線形推定アルゴリズムを使用して新しい深度値（１５６）を生成して前記ヌル深度値を置き換えること
を含む、第１５項に記載のコンピュータ実装方法。

第１７項 前記ウィンドウによって重ね合わされた前記融合データアレイ（１５０）の一部の中の前記支持エレメント（５００）を特定することは、
前記ウィンドウによって重ね合わされた前記融合データアレイ（１５０）の一部の中の一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）が選択された基準を満たすかどうかを決定すること；
前記選択された基準を満たす前記一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）に応答して、良好度スコアによって前記一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）の各々を採点すること；
前記良好度スコアによって前記一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）をソートすること；
前記一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）の一部を前記支持エレメント（５００）として選択すること
を含む、第１６項に記載のコンピュータ実装方法。

第１８項 前記融合データアレイ（１５０）の中の前記エレメントの前記位置で前記ウィンドウを中心に配置する前記ステップを反復すること、前記ウィンドウによって重ね合わされた前記融合データアレイ（１５０）の一部の中の前記支持エレメント（５００）を特定すること、及び前記融合データアレイ（１５０）の各位置に対して前記支持エレメント（５００）及び前記線形推定アルゴリズムを使用し、前記新しい深度値（１５６）を生成して前記ヌル深度値を置き換えること
をさらに含む、第１６項に記載のコンピュータ実装方法。

第１９項 前記新しい深度値（１５８）を使用して前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定することは、
前記新しい深度値（１５８）を使用して前記新しいポイント（１６４）に対して３次元カメラ中心座標系内のカメラ中心座標を特定すること；及び
前記カメラ中心座標を前記ポイントクラウド（１３２）に対する３次元基準座標系内のポイント位置に変換して前記新しいポイント（１６４）を形成すること
を含む、第１５項に記載のコンピュータ実装方法。

第２０項 前記新しい深度値（１５８）を生成して前記ヌル深度値の少なくとも一部を置き換えることは、
ウィンドウを使用して前記融合データアレイ（１５０）を処理して前記新しい深度値（１５８）を生成すること
を含む、第１５項に記載のコンピュータ実装方法。

特徴及び機能は、本開示の様々な実施形態で独立に実現することが可能であるか、以下の説明及び図面を参照してさらなる詳細が理解されうる、さらに別の実施形態で組み合わせることが可能である。

例示的な実施形態の特徴と考えられる新規の機能は、添付の特許請求の範囲に明記される。しかしながら、例示的な実施形態と、好ましい使用モードと、さらにはその目的及び特徴とは、添付図面を参照して本開示の例示的な実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。

例示的な実施形態による、画像処理システムが画像及びポイントクラウドの処理に使用される環境をブロック図の形式で示した実施例である。 例示的な実施形態による融合データアレイが示されている。 例示的な実施形態による、ウィンドウによって重ね合わされた融合データアレイの一部の図解である。 例示的な実施形態による、一致エレメント群の各々に対してスコアを生成するためのプロセスの図解である。 例示的な実施形態による支持エレメントの選択の図解である。 例示的な実施形態による新しい深度値の生成の図解である。 例示的な実施形態による融合画像の図解である。 例示的な実施形態による２つの融合画像間の比較の図解である。 例示的な実施形態による最終融合画像の比較の図解である。 例示的な実施形態による最終融合画像の表の図解である。 例示的な実施形態による、ポイントクラウド内のポイントの数を増やすためのプロセスのフロー図の形式による図解である。 例示的な実施形態による、ポイントクラウド内のポイントを２次元画像にマッピングして変換ポイントを形成するためのプロセスのフロー図の形式による図解である。 例示的な実施形態による、融合データアレイを作成するためのプロセスのフロー図の形式による図解である。 例示的な実施形態による、新しい深度値を生成するためのプロセスのフロー図の形式による図解である。 例示的な実施形態による、新しいポイントを生成するためのプロセスのフロー図の形式による図解である。 例示的な実施形態による、データ処理システムのブロック図の形式よる図解である。

種々の例示的な実施形態は、種々の検討事項を認識し且つ考慮している。例えば、例示的な実施形態は、所望のレベルの精度を有するポイントクラウドに対して３次元基準座標系の位置に新しいポイントを追加することによって、ポイントクラウド内のポイントの数を増やすための方法を有することが望ましいことを認識し且つ考慮している。

さらに、例示的な実施形態は、ポイントクラウドによって捕捉された同一シーンの２次元画像がポイントクラウド内のポイントの数を増やすために使用されうることを認識し且つ考慮している。しかしながら、例示的な実施形態は、シーン及び／又は２次元画像に捕捉されたシーン内の対象物の形状に関する推測を行うことなく、ポイントクラウド内のポイントの数を増やすように２次元画像を処理することが望ましいことを認識し且つ考慮している。

したがって、例示的な実施形態は、シーンの２次元画像を使用して、シーンのポイントクラウド内のポイントの数を増やすためのシステム及び方法を提供する。さらに、このシステム及び方法は、シーンに関する推測を行うことなく、ポイントクラウド内のポイントの数を増やすことができる。

ここで図１を参照すると、例示的な実施形態による画像処理環境がブロック図の形式で図解されている。図１では、画像処理環境１００は、画像及びポイントクラウドを処理するために画像処理システム１０２が使用される環境の実施例である。

図解のとおり、画像処理システム１０２は、コンピュータシステム１０４内で実装できる。コンピュータシステム１０４は、一又は複数のコンピュータ及び／又は他の種類のハードウェアから成ってもよい。コンピュータシステム１０４内に一又は複数のコンピュータが存在する場合には、これらのコンピュータは相互に通信することができる。

画像処理システム１０２は、第１センサーシステム１０６及び第２センサーシステム１０８からデータを受信するように構成されてもよい。第１センサーシステム１０６及び第２センサーシステム１０８は、シーン１１０に関するデータを生成するように構成されている。シーン１１０は特徴１１１を含んでもよい。特徴１１１は、例えば、限定しないが、対象物１１２を含むことがある。対象物１１２は、例えば、限定しないが、任意の数のビークル、建物、人工的構造物、人、動物、景観の特徴、及び／又は他の種類の対象物を含んでもよい。さらに、特徴１１１はまた、例えば、シーン１１０の背景を含むことがある。

このような例示的な実施例において、第１センサーシステム１０６は第１画像化システム１１４の形態をとることがある。第１画像化システム１１４は、画像データ１１６を生成するように構成された任意のシステムであってもよい。１つの例示的な実施例では、第１画像化システム１１４はカメラシステム１１８の形態をとる。さらに、カメラシステム１１８は電気光学カメラシステムの形態をとってもよい。

画像化データ１１６は、例えば、限定しないが、画像１２０を含むことがある。具体的には、画像１２０は２次元画像１２１であってもよい。電気光学カメラシステムによって生成される場合には、画像１２０は電気光学画像として参照される。

図示されているように、画像１２０はピクセル１２２から成る。ピクセル１２２は行及び列から成る２次元配列に配置されてもよい。この例示的な実施例では、ピクセル位置１２４はピクセル１２２の位置を特定することができる。１つの例示的な実施例として、ピクセル位置１２４の各々は、対応するピクセルに対して行及び列を特定することができる。

さらに、各ピクセル１２２はピクセルデータに関連付けられてもよい。１つのピクセルに対するピクセルデータは、例えば、限定しないが、任意の値の明度、強度、及び／又は他の値を含んでもよい。任意の値の明度は、例えば、ＲＧＢカラーモデルに基づく赤の値、緑の値、及び青の値を含んでもよい。

このような例示的な実施例において、第２センサーシステム１０８は第２画像化システム１２６の形態をとることがある。第２画像化システム１２６は、シーン１１０のポイントデータ１２８を生成するように構成された任意のシステムであってもよい。１つの例示的な実施例では、第２画像化システム１２６は光検出及び測距システム１３０の形態をとる。

ポイントデータ１２８はポイントクラウド１３２を含んでもよい。ポイントクラウド１３２は、これらの例示的な実施例で３次元ポイントクラウド１３３の形態をとることがある。シーン１１０のポイントクラウド１３２は、幾つかの例示的な実施例でシーン１１０の画像１２０とは異なる視点から生成されてもよい。

ポイントクラウド１３２は、３次元基準座標系のポイント１３４を含む。これらの例示的な実施例では、各々のポイント位置１３６は、この３次元基準座標系で対応するポイントに対して座標を特定してもよい。１つの例示的な実施例では、基準座標系は、例えば地理座標系などの現実の座標系であってもよい。

ポイントクラウド１３２の解像度１４０は、シーン１１０の特徴１１１がポイントクラウド１３２によって捕捉される詳細度を特定することである。幾つかの場合には、ポイントクラウド１３２の解像度１４０は、ポイントクラウド１３２内のポイント１３４の数１３８に依存することがある。例えば、ポイントクラウド１３２内のポイント１３４の数１３８が増えると、ポイントクラウド１３２の解像度１４０も上がる。

画像処理システム１０２は、カメラシステム１１８によって生成される画像１２０、並びに光検出及びを測距システム１３０によって生成されるポイントクラウド１３２を受信するように構成されている。画像処理システム１０２は画像１２０を使用してポイントクラウド１３２の数１３８を増やし、それによってポイントクラウド１３２の解像度１４０を上げる。より具体的には、画像処理システム１０２はポイントクラウド１３２に追加されうる新しいポイントを生成するように構成されてもよい。

図示されているように、画像処理システム１０２は融合マネージャ１４２、深度値生成器１４４、及びポイントクラウドマネージャ１４５を含んでもよい。融合マネージャ１４２は、ポイントクラウド１３２内のポイント１３４の少なくとも一部を画像１２０にマッピングして変換ポイントを形成するように構成されている。より具体的には、融合マネージャ１４２は、ポイントクラウド１３２内のポイント１３４の少なくとも一部に対するポイント位置を、画像１２０の画像平面内のピクセル位置にマッピングするように構成されている。画像１２０の画像平面は、ピクセル１２２の２次元配列内に存在する平面であってもよい。

変換ポイント１４６は、例えば、変換アルゴリズム１４８を使用して形成されてもよい。変換アルゴリズム１４８は、ポイント１３４の少なくとも一部を画像１２０の画像平面内のピクセル位置にマッピングするための、任意の数のプロセス、方程式、及び／又はアルゴリズムを含んでもよい。例示的な実施例では、変換アルゴリズム１４８は、例えば、実効ｎ点透視（ＥＰｎＰ）カメラ姿勢推定アルゴリズムなどの、カメラ姿勢推定アルゴリズムを含むことがある。

カメラ姿勢推定アルゴリズムは、カメラシステム１１８の姿勢に対する姿勢情報を提供することができる。カメラシステム１１８の姿勢は、カメラシステム１１８の方向及び位置のうちの少なくとも１つを含むことがある。

融合マネージャ１４２は変換アルゴリズム１４８を使用して、ポイントクラウド１３２に対して、３次元基準座標系を３次元カメラ中心座標系に変換する。具体的には、融合マネージャ１４２は、カメラ姿勢推定アルゴリズムによって提供されるカメラシステム１１８の姿勢情報を使用して、３次元基準座標系を３次元カメラ中心座標系に変換することができる。

この変換により、３次元基準座標系の原点は、カメラシステム１１８の位置に移動される。融合マネージャ１４２は次に、３次元カメラ中心座標系内で、ポイント１２４に対するカメラ中心座標を特定する。

したがって、融合マネージャ１４２は、ポイント１３４に対するカメラ中心座標を、画像１２０の画像平面内の対応するピクセル位置にマッピングして変換ポイント１４６を形成するように構成されている。このように、ポイントクラウド１３２内のポイントに対するカメラ中心座標は、画像１２０と同一の画像平面内であるが画像１２０の内部又は画像１２０の外部に位置するピクセル位置にマッピングされてもよい。変換ポイント１４６は、画像１２０内のピクセル位置にマッピングされるこれらのポイントのみを含むことがある。

融合マネージャ１４２は、画像１２０及び変換ポイント１４６を使用して、融合データアレイ１５０を作成するように構成されている。融合データアレイ１５０は、画像１２０及びポイントクラウド１３２に基づいて一体に融合されたデータを含む。

図示されているように、融合データアレイ１５０はエレメント１５２を含むことがある。エレメント１５２の各々は画像１２０内のピクセル１２２の１つに対応してもよく、ピクセル１２２の各々はエレメント１５２の１つに対応してもよい。具体的には、エレメント１５２は画像１２０内のピクセル１２２への１対１対応を有してもよい。このように、融合データアレイ１５０は、画像１２０内のピクセル１２２の配列と同一のサイズを有することがある。

さらに、変換ポイント１４６の各々は画像１２０内のピクセルに対応するため、変換ポイント１４６の各々はまた、当該ピクセルに対応する融合データアレイ１５０内のエレメントに対応してもよい。変換ポイント１４６の各々は、エレメント１５２の対応する１つへのマッピングとして記述されてもよい。

例えば、変換ポイント１４６は、エレメント１５２の第１の部分に位置してもよい。このエレメントの第１の部分は一致エレメントと呼ばれることがある。しかしながら、エレメント１５２の第２の部分は、これらのエレメントをマッピングする任意の変換ポイントを有していないことがある。エレメントの第２の部分は非一致エレメントと呼ばれることがある。

これらの例示的な実施例では、エレメント１５２の各々は、例えば、データベクトル１５４などのデータベクトルと関連付けられることがある。図示されているように、データベクトル１５４は深度値１５６を含むことがある。深度値１５６は、データベクトル１５４に関連付けられたエレメントに対応する変換ポイントと３次元カメラ中心座標系内のカメラシステム１１１との間の距離となることがある。

データベクトル１５４に関連付けられたエレメントが非一致エレメントである場合には、深度値１５６はヌル又はゼロの値となることがある。データベクトル１５４に関連付けられたエレメントが一致エレメントである場合には、深度値１５６は非ヌル又は非ゼロの値となることがある。データベクトル１５４は、深度値１５６がヌル又はゼロの値の場合には、非埋込データベクトルと呼ばれることがあり、深度値１５６が非ヌル又は非ゼロの値の場合には、埋込データベクトルと呼ばれることがある。このように、融合データアレイ１５０内の非一致エレメントは非埋込データベクトルに関連付けられることがあり、融合データアレイ１５０内の一致エレメントは埋込データベクトルに関連付けられることがある。

加えて、実装によっては、データベクトル１５４は、例えば、ピクセル位置１５７、元のピクセルデータ１５９などの他のデータ、及び／又は他の種類のデータを含むことがある。ピクセル位置１５７は、データベクトル１５４に関連付けられたエレメントに対応するピクセルに対するピクセル位置であってもよい。元のピクセルデータ１５９は、データベクトル１５４に関連付けられたエレメントに対応するピクセルに対する画像１２０内のピクセルデータであってもよい。

これらの例示的な実施例では、深度値生成器１４４は、融合データアレイ１５０内の非一致エレメントに関連付けられた非埋込データベクトルの少なくとも一部に対して新しい深度値を生成するように構成されている。このように、深度値生成器１４４は、新しい深度値１５８を特定して、ヌル深度値の少なくとも一部を置き換えてもよい。非埋込データベクトルは、修正された融合データアレイ１６０を形成するため、融合マネージャ１４２によって新しい深度値１５８で埋め込まれてもよい。

新しい深度値１５８は修正された融合データアレイ１６０を使用して生成されてもよい。具体的には、深度値生成器１４４は、融合データアレイ１５０を走査して処理するため、選択されたサイズのウィンドウを使用してもよい。さらに、線形推定技術などの推定技術は、新しい深度値１５８を生成するために使用されてもよい。新しい深度値１５８を生成するプロセスのための１つの実装の実施例は、図２〜６に図解されている。

ポイントクラウドマネージャ１４５は、修正された融合データアレイ１６０を使用して、新しいポイントクラウド１６２を作成するように構成されている。具体的には、ポイントクラウドマネージャ１４５は、新しい深度値１５８が埋め込まれたデータベクトルを有する融合データアレイ１５０内のエレメントの一部を使用してもよい。

１つの例示的な実施例では、ポイントクラウド１４５は、新しい深度値１５８を埋め込まれたデータベクトルを有する融合データアレイ１５０内のエレメントの一部に対応するピクセルに対するピクセル位置の各々を、３次元カメラ中心座標系のカメラ中心座標にマッピングしてもよい。これらのカメラ中心座標は次に、元のポイントクラウドであるポイントクラウド１３２に対する３次元基準座標系に変換されて、新しいポイントを形成する。この変換は、例えば、限定しないが、逆変換アルゴリズム１６６を使用して実施されることがある。逆変換アルゴリズム１６６は、融合マネージャ１４２によって使用される変換アルゴリズム１４８の逆関数となることがある。

ポイントクラウドマネージャ１４５はポイントクラウド１３２に新しいポイント１６４を追加して、新しいポイントクラウドを形成する。ポイントクラウド１３２に新しいポイント１６４を追加するこのプロセスは、ポイントクラウド１３２の「埋め戻し」と呼ばれることがある。新しいポイントクラウド１６２は、ポイントクラウド１３２内のポイント１３４の数１３８よりも多くのポイントを有することがある。新しいポイント１６４は、ポイントクラウド１３２の解像度１４０と比較して、高い解像度を新しいポイントクラウド１６２に提供する。新しいポイント１６４は、所望の精度レベルでシーン１１０の特徴１１１を捕捉することができる。

その結果、新しいポイントクラウド１６２は、任意の数の操作を実施するためポイントクラウド１３２の代わりに使用されることがある。例えば、限定しないが、新しいポイント１６４は、ポイントクラウド１３２と比較して、新しいポイントクラウド１６２内のシーン１１０の可視化を強化することができる。さらに、新しいポイント１６４により、シーン１１０内の一又は複数の対象物１１２は、ポイントクラウド１３２を使用する場合と比較してより高い精度レベルを有する新しいポイントクラウド１６２を使用して、特定され及び／又は分類される。

例えば、初期融合画像１６８は、画像１２０及びポイントクラウド１３２を使用して、融合マネージャ１４２によって生成される。ポイントクラウド１３２内のポイントの少なくとも一部は、画像１２０内のピクセル位置にマッピングされ、画像１２０上に重ね合わされて、初期融合画像１６８を形成する。最終融合画像１７０は、画像１２０及びポイントクラウド１６２を使用して、融合マネージャ１４２によって生成される。ポイントクラウド１６２内のポイントの少なくとも一部は、画像１２０内のピクセル位置にマッピングされ、画像１２０上に重ね合わされて、最終融合画像１７０を形成する。

最終融合画像１７０内のシーン１１０の可視化は、初期融合画像１６８内のシーン１１０の可視化と比較して強化される。具体的には、初期融合画像１６８と比較して、最終融合画像１７０内のより多くのポイントは、最終融合画像１７０内のシーン１１０の可視化を強化することができる。

図１の画像処理環境１００の図解は、例示的な実施形態が実装される方法に対する物理的又は構造的な制限を示唆することを意図していない。図示したコンポーネントに加えて又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは任意選択になることがある。また、幾つかの機能コンポーネントを図解するためにブロックが表示されている。例示的な実施形態において実装される場合、これらのブロックの一又は複数を、異なるブロックに統合、分割、或いは統合且つ分割することができる。

例えば、幾つかの例示的な実施例では、深度値生成器１１４は融合マネージャ１４２の一部とみなされることがある。他の例示的な実施例では、融合マネージャ１４２及び／又は深度値生成器１４４は、ポイントクラウドマネージャ１４５の一部とみなされることがある。

他の例示的な実施例では、画像処理システム１０２内の幾つかの他のモジュールは、初期融合画像１６８及び／又は最終融合画像１７０を形成するために使用されることがある。さらに他の場合には、幾つかの他のデータ処理システム又はプロセッサユニットは、画像１２０及び新しいポイントクラウド１６２を処理して最終融合画像１７０を形成するように構成されてもよい。

ここで図２〜６を参照すると、融合データアレイ内の非一致エレメントに関連付けられた非埋込データベクトルに対して新しい深度値を生成するためのプロセスの図解が、例示的な実施形態に従って描かれている。図２〜６に図解されたプロセスは、図１の新しい深度値１５８が生成される方法の一実施例であってもよい。さらに、このプロセスは、例えば、図１の深度値生成器１４４を使用して実施されてもよい。

ここで図２を参照すると、例示的な実施形態に従って、融合データアレイが図解されている。この例示的な実施例では、融合データアレイ２００は、図１の融合データアレイ１５０の実装の一例であってもよい。

図２では、融合データアレイ２００は、画像２０２及び変換ポイント２０６の融合となることがある。画像２０２は、例えば、カメラシステム２０４によって生成される画像であってもよい。変換ポイント２０６は、画像２０２内のピクセル位置にマッピングされたポイントクラウド内のポイントの一部、及びその結果融合データアレイ２００内のエレメントを含むことがある。融合データアレイ２００は、例えば、図１の融合マネージャ１４２によって生成されてもよい。

図示されているように、深度値生成器１４４は、融合データアレイ２００に沿ってウィンドウ２０８を矢印２１０及び矢印２１２の方向に移動して、融合データアレイ２００を処理してもよい。例えば、ウィンドウ２０８は、融合データアレイ２００内の各エレメントの位置に移動可能である。この例示的な実施例では、ウィンドウ２０８は選択されたサイズ群の１つを有してもよい。本明細書で使用されているように、アイテム「群」は、一又は複数のアイテムを含みうる。このように、選択されたサイズ群は、一又は複数の選択されたサイズを含むことができる。

融合データアレイ２００は、選択されたサイズ群内の各サイズを有するウィンドウを使用して、完全に走査及び処理される。ウィンドウ２０８を融合データアレイ２００内のエレメントの位置に移動することは、この例示的な実施例の当該エレメントでウィンドウ２０８を中心に配置することを意味する。ウィンドウ２０８が中心に配置されるエレメントが非一致エレメントの場合、ウィンドウ２０８によって重ね合わされた融合データアレイ２００の一部は、この非一致エレメントに関連付けられた非埋込データベクトルに対して新しい深度値を特定するため、深度値生成器１４４によって処理されてもよい。

ここで図３を参照すると、例示的な実施形態に従って、図２のウィンドウ２０８によって重ね合わされた融合データアレイ２００の一部が図解されている。この例示的な実施例では、図２の融合データアレイ２００の部分３００がウィンドウ２０８によって重ね合わされている。

図３では、一致エレメント群３０２は、図２の変換ポイント２０６の一部がマッピングされている融合データアレイ２００の部分３００の中のエレメントを特定する。融合データアレイ２００の部分３００の中の他のすべてのエレメント（このビューには図示せず）は、変換ポイントがマッピングされていない非一致エレメントであってもよい。図示されているように、一致エレメント群３０２は一致エレメント３０４、３０６、３０８、３１０、３１２、３１４及び３１６を含む。

深度値生成器１４４は最初に、ウィンドウ２０８が中心に配置されるエレメントに関連付けられたデータベクトル内の深度値がヌル深度値であることを確認する。深度値が非ヌル深度値である場合には、深度値生成器１４４はウィンドウ２０８を別の場所に移動する。深度値がヌル深度値である場合には、深度値生成器１４４は融合データアレイ２００の部分３００の処理を継続する。

この例示的な実施例では、融合データアレイ２００の部分３００は、象限３２０、３２２、３２４、及び３２６に分割されているように描かれている。深度値生成器１４４は、融合データアレイ２００の部分３００の中に十分な数の一致エレメントが存在することを確認するように構成されている。さらに、深度値生成器１４４は、象限３２０、３２２、３２４、及び３２６の各々に少なくとも１つの一致エレメントが存在することを確認するように構成されている。

深度生成器１４４が、融合データアレイ２００の部分３００の中に十分な数の一致エレメントが存在すること、及び象限３２０、３２２、３２４、及び３２６の各々に少なくとも１つの一致エレメントが存在することを確認すると、深度生成器１４４は融合データアレイ２００の部分３００の処理を継続してもよい。部分３００の中に十分な数の一致エレメントが存在しない場合、又は象限３２０、３２２、３２４、及び３２６の１つが一致エレメントを含まない場合には、深度値生成器１４４はウィンドウ２０８を融合データアレイ２００に沿って次の位置に移動してもよい。

次に図４を参照すると、図３の一致エレメント群３０２の各々に対してスコアを生成するためのプロセスが、例示的な実施形態に従って描かれている。図４では、深度値生成器１４４は、一致エレメント群３０２内の各一致エレメントに対してスコアを生成するように構成されている。一致エレメントに対するスコアは、一致エレメントに関連付けられた埋込データベクトル内の深度値、及び一致エレメント群３０２内の他の一致エレメントに対する一致エレメントの類似性に基づいていてもよい。

一致エレメントに関連付けられた埋込データベクトル内の深度値は、カメラシステム２０４と変換ポイントとの間の距離となることがあり、これは３次元カメラ中心座標系内で、一致エレメントにマッピングされている。一致エレメント群３０２に対する深度値は、一致エレメント３０４、３０６、３０８、３１０、３１２、３１４、及び３１６のそれぞれとカメラシステム２０４との間の距離４０２、４０４、４０６、４０８、４１０、４１２、及び４１４になることがある。

一致エレメント群３０２内の他の一致エレメントに対する一致エレメントの類似性は、任意の数の特徴に基づいていてもよい。これらの特徴は、例えば、限定しないが、ピクセル位置、色、強度、及び／又はデータベクトル内の他の種類の特徴或いはデータを含んでもよい。この例示的な実施例では、他の一致エレメントに対する一致エレメントの類似性は、一致エレメントに関連付けられたデータベクトル内で特定されるピクセル位置と理想的なピクセル位置４００との間の距離に基づいていてもよい。ピクセル位置は、融合データアレイ２００内の一致エレメントに対する位置と同一であってもよい。

ここで図５を参照すると、例示的な実施形態による支持エレメントの選択が図解されている。この例示的な実施例では、一致エレメント群３０２に対して生成されるスコアは、図４に記載されているように、ソート又は順序付けされてもよい。

所望の数の支持エレメントは、この例示的な実施例では５個の支持エレメントであってもよい。最も低い５つのスコアを有する５個の一致エレメントが支持エレメントとして選択される。支持エレメント５００は一致エレメント３０６、３０８、３１０、３１２、及び３１４を含む。

この例示的な実施例では、支持エレメント５００は、画像２０２によって捕捉されているシーン内の実在の孔及び／又は間隙に対して作成される新しいポイントの数が削減されるように選択されてもよい。さらに、支持エレメント５００は、作成された新しいポイントが対象物の外表面に実際に存在するように選択されてもよい。

次に図６を参照すると、例示的な実施形態による、新しい深度値の生成が図解されている。この例示的な実施例では、図５の支持エレメント５００は、ウィンドウ２０８が中心に配置されたエレメント６００に対して新しい深度値を生成するように使用されてもよい。エレメント６００は、融合データアレイ２００の部分３００の中心位置になりうる、融合データアレイ２００内で位置６０２に配置される。

エレメント６００に対する新しい深度値は、例えば、線形推定を使用して生成可能である。具体的には、線形推定アルゴリズムは、支持エレメント５００の各々に関連付けられた埋込データベクトル内の深度値を使用して、エレメント６００に対して新しい深度値を推定することができる。この新しい深度値は、エレメント６００に関連付けられたデータベクトルを埋めるために使用されてもよい。

図３〜６に記載されているプロセスは、図２のウィンドウ２０８が移動される融合データアレイ２００内の各位置に対して反復されてもよい。さらに、図２〜６に記載されているプロセス全体は、異なる選択サイズのウィンドウを使用して反復されてもよい。

このように、融合データアレイ全体は、選択サイズ群内の各サイズのウィンドウを用いて走査及び処理されてもよい。なおさらに、選択サイズ群を有するウィンドウを使用するプロセス全体は、融合データアレイ２００内の非一致エレメントに関連付けられた非埋込データベクトルの少なくとも一部を埋めるまで、任意の回数反復されてもよい。

図２〜６の図解は、例示的な実施形態が実装される方法に対する物理的又は構造的な限界を示唆することを意図していない。これらの図解は、抽象的な方法で新しい深度値を生成することの概念を説明するために提示されている。

ここで図７を参照すると、例示的な実施形態による融合画像が図解されている。融合画像７００は、図１の融合データアレイ１５０の実装の一例であってもよい。融合画像７００は画像７０２と変換ポイント７０４の組合せであってもよい。この例示的な実施例では、融合画像７００の各々は、例えば、図１のデータベクトル１５４などのデータベクトルと関連付けられることがある。

ここで図８を参照すると、例示的な実施形態による２つの融合画像間の比較が図解されている。この例示的な実施例では、初期融合画像８００は、図１の初期融合画像１６８の実装の一例である。さらに、最終融合画像８０２は、図１の最終融合画像１７０の実装の一例である。

図示されているように、初期融合画像８００は画像８０４と変換ポイント８０６の融合である。変換ポイント８０６は、例えば、図１のポイントクラウド３３２などの元のポイントクラウドからマッピングされたポイントを含んでもよい。最終融合画像８０２は、同一画像８０４と変換ポイント８０８の融合である。変換ポイント８０８は、例えば、図１の新しいポイントクラウド１６２などの新しいポイントクラウドからマッピングされたポイントを含んでもよい。画像８０４内で捕捉されたシーンは、初期融合画像８００内の変換ポイント８０６と比較して、最終融合画像８０２内の変換ポイント８０８でよりよく実現される。

ここで図９を参照すると、支持エレメントが使用される場合に生成される最終融合画像と、支持エレメントが使用されない場合に生成される最終融合画像との比較が、例示的な実施形態に従って図解されている。この例示的な実施例では、最終融合画像９００と最終融合画像９０２との比較が図解されている。これらの最終融合画像は、図１の最終融合画像１７０に対する実装の一例である。

最終融合画像９００は、画像９０４と変換ポイント９０６との融合である。最終融合画像９０２は、同一画像９０４と変換ポイント９０８の融合である。変換ポイント９０６及び変換ポイント９０８は共に、新しいポイントが追加された対応する新しいポイントクラウドからマッピングされたポイントを含む。

しかしながら、変換ポイント９０６は、支持エレメントを使用することなく、生成された新しいポイントクラウドからのポイントを含むことがある。変換ポイント９０８は、支持エレメントを使用して生成された新しいポイントクラウドからのポイントを含むことがある。図示されているように、最終融合画像９００の部分９１２に描かれている建物の最上部の表面及び形状は、最終融合画像９０２の部分９１４に描かれている建物の最上部の表面及び形状よりも特徴が不明瞭で精度が劣ることがある。

ここで図１０を参照すると、例示的な実施形態による最終融合画像の表が図解されている。図１０では、表１０００は列１００２、列１００４、行１００６、行１００８を含む。

列１００２は、融合データアレイ全体にわたって選択されたサイズのグループを有するスキャニングウィンドウの２回反復を用いて生成された、最終融合画像１０１０及び最終融合画像１０１４を含む。列１００４は、融合データアレイ全体にわたって選択されたサイズのグループを有するスキャニングウィンドウの１０回反復を用いて生成された、最終融合画像１０１２及び最終融合画像１０１６を含む。

行１００６は、反復ごとに８個の大きさのウィンドウを使用して生成された、最終融合画像１０１０及び最終融合画像１０１２を含む。さらに、行１００８は、反復ごとに１６個の大きさのウィンドウを使用して生成された、最終融合画像１０１４及び最終融合画像１０１６を含む。

図示されているように、最終融合画像に含まれるポイントの数は、反復回数及び反復ごとのウィンドウの大きさの数が増すにつれて増大する。最終融合画像中のポイントの数が増すにつれて、最終融合画像内でのシーンの可視化は改善される。

図７〜１０の融合画像の図解は、例示的な実施形態が実装される方法に対する物理的又は構造的な限界を示唆することを意図していない。これらの融合画像は、図１の初期融合画像１６８及び最終融合画像１７０などの融合画像が実装される方法の実施例である。

次に図１１を参照すると、例示的な実施形態によるポイントクラウド内のポイントの数を増やすプロセスがフロー図の形式で図解されている。図１１に図解されたプロセスは、図１の画像処理システム１０２を使用して実装可能である。

プロセスは、第１センサーシステムからの２次元画像及び第２センサーシステムからのポイントクラウドを受信することによって開始される（操作１１００）。操作１１００では、２次元画像は、図１のカメラシステム１１８など、カメラシステムの形態の第１センサーシステムから受信可能である。この例示的な実施例では、２次元画像はカラー画像であってもよい。さらに、ポイントクラウドは、図１の光検出及び測距システム１３０など、光検出及び測距システムの形態の第２センサーシステムから受信可能である。

２次元画像及びポイントクラウドは共に、同一シーンからのものであってもよい。しかしながら、実装によっては、２次元画像及びポイントクラウドは、同一シーンを同一の視点又は異なる視点から捕捉することがある。

次に、ポイントクラウド内のポイントの少なくとも一部は、２次元画像にマッピングされて変換ポイントを形成する（操作１１０２）。次に、融合データアレイは、２次元画像及び変換ポイントを使用して作成される（操作１１０４）。

次いで、ポイントクラウドに対する新しいポイントは、融合データアレイを使用して特定される（操作１１０６）。新しいポイントはポイントクラウドに追加されて、新しいポイントクラウドを形成し（操作１１０８）、その後プロセスは終了する。元のポイントクラウドと比較して新しいポイントクラウド内のポイントの数の増加により、元のポイントクラウドと比較して解像度の高い新しいポイントクラウドを提供することができる。

言い換えるならば、新しいポイントクラウドは、シーン内の特徴を元のポイントクラウドよりも高い精度で捕捉することができる。新しいポイントクラウドは、例えば、限定しないが、対象物の特定、対象物の分類、セグメント化、シーンの可視化などの任意の数の種々の操作、及び／又は他の種類の操作を実施するように使用される。

ここで図１２を参照すると、ポイントクラウド内のポイントを２次元画像にマッピングして変換ポイントを形成するためのプロセスが、例示的な実施形態によるフロー図の形式により図解されている。図１２に図解したプロセスは、図１１の操作１１０２を実装するのに使用可能である。さらに、このプロセスは、図１の画像処理システム１０２内の融合マネージャ１４２を使用して実施される。

プロセスは、ポイントクラウド内のポイントに対してカメラ中心座標を特定するため、ポイントクラウドに対する３次元基準座標系を３次元カメラ中心座標系に変換することによって開始される（操作１２００）。３次元基準座標系は、例えば、地理座標系、又は他の何らかの種類の現実の座標系であってもよい。３次元カメラ中心座標系の原点は、２次元画像を生成したカメラシステムの位置である。

例えば、３次元基準座標系で所定の位置Ｘ^ｐ、Ｙ^ｐ、Ｚ^ｐにある各点は、カメラ中心座標で次のように特定される。

ここで、Ｘ^ｐ、Ｙ^ｐ、Ｚ^ｐは３次元基準座標系によるポイントの座標で、Ｘ^ｃ、Ｙ^ｃ、Ｚ^ｃは３次元カメラ中心座標系での当該ポイントに対するカメラ中心座標で、Ｒは回転、Ｔは並進を表わす。

回転Ｒ、及び並進Ｔは、実効ｎ点透視カメラ姿勢推定アルゴリズムなどの、カメラ姿勢推定アルゴリズムを含む変換アルゴリズムを使用して特定可能である。この実効ｎ点透視カメラ姿勢推定アルゴリズムは、２次元画像を生成したカメラシステムの姿勢に関する姿勢情報を特定する。カメラシステムの姿勢は、カメラシステムの方向及び位置のうちの少なくとも１つを含むことがある。変換アルゴリズムはカメラシステムの姿勢情報を使用して、ポイントに対するカメラ中心座標を生成する。

次に、カメラ中心座標を有するポイントは、２次元画像に関する画像平面内のピクセル位置にマッピングされて、初期変換ポイントを形成する（操作１２０２）。初期変換ポイントの各々は、２次元画像の画像平面内の特定のピクセル位置でのピクセルに対応するポイントであってもよい。例えば、各ポイントはピクセル位置ｕ、ｖに次のようにマッピングされてもよい。

ここで、ｕはピクセル位置の行で、ｖはピクセル位置の列である。

したがって、初期変換ポイントの一部は選択された基準に基づいて選択され、変換ポイントを形成し（操作１２０４）、その後プロセスは終了する。操作１２０４では、選択された初期変換ポイントの一部は、ゼロよりも大きく２次元画像の最大行数以下である行ｕを有し、ゼロよりも大きく２次元画像の最大列数以下である列ｖを有するポイントを含んでもよい。このように、変換ポイントは２次元画像の内側にあり、２次元画像の外側にないピクセル位置のみを含んでもよい。

次に図１３を参照すると、融合データアレイ作成のためのプロセスが、例示的な実施形態によるフロー図の形式で図解されている。図１３に図解したプロセスは、図１１の操作１１０４を実装するのに使用されてもよい。

プロセスは、変換ポイントの各々の距離を特定することにより開始される（操作１３００）。この距離は、変換ポイントに対するカメラ中心座標とカメラシステムとの間の距離であってもよい。距離は以下のように特定される。

ここで、ｄ^ｃは距離である。

その後、任意の変換ポイントが同一のピクセル位置にマッピングされているかどうかが決定される（操作１３０２）。任意の変換ポイントが同一のピクセル位置にマッピングされている場合には、複数の変換ポイントがマッピングされている各ピクセル位置に対して、カメラシステムに最も近い変換ポイントが保持され、他の変換ポイントは破棄される（操作１３０４）。

次に、プロセスは残存する変換ポイントの各々に対して深度値を正規化し、正規化された深度値を形成する（操作１３０６）。例えば、各残存変換ポイントｉに対して、正規化された距離が以下のように特定される。

ここで、

は変換ポイントに対して正規化された距離で、

は操作１３００の変換ポイントに対して特定された距離である。

は所定の最小距離で、

は所定の最大距離である。所定の最小距離及び所定の最大距離は、例えば、コンピュータシステムを使用して、自動的に計算されてもよい。

その後、融合データアレイは、融合データアレイの各エレメントがピクセル位置、深度値、及び元のピクセルデータを含むデータベクトルに関連付けられるように作成される（操作１３０８）。融合データアレイのエレメントは、２次元画像のピクセルに１対１の対応を有していてもよい。融合データアレイ内のエレメントに関連付けられたデータベクトル内のピクセル位置は、エレメントに対応するピクセルの行及び列を含んでもよい。エレメントに関連付けられたデータベクトル内の深度値は、エレメントに対応するピクセルにマッピングされた変換ポイントに対して特定された正規化された距離となることがある。変換ポイントがエレメントに対応するピクセルにマッピングされていない場合には、深度値はヌルとなることがある。エレメントに関連付けられたデータベクトル内の元のピクセルデータは、例えば、エレメントに対応するピクセルの赤の値、緑の値、及び青の値を含んでもよい。

このように、融合データアレイ内のエレメントに関連付けられたデータベクトルは、次のように表わされることがある。

ここで、ｑ_ｉは融合データアレイ内のｉ番目のエレメントに関連付けられたデータベクトルである。ｕ_ｉはｉ番目のエレメントに対応するピクセルの行である。はｖ_ｉはｉ番目のエレメントに対応するピクセルの列である。

はｉ番目のエレメントに対応するピクセルにマッピングされた変換ポイントに対する深度値である。また、ｒ_ｉ，ｇ_ｉ，ｂ_ｉ はｉ番目のエレメントに対応するピクセルの赤の値、緑の値、及び青の値である。変換ポイントが融合データアレイ内のエレメントに対応するピクセルにマッピングされていない場合には、エレメントに関連付けられたデータベクトルは次のように表わされることがある。

次に、融合データアレイ内のエレメントの各々は、エレメントの各々が一意的に参照可能なようにインデックス付けされ（操作１３１０）、その後プロセスは終了する。例えば、各エレメントは次のようにインデックス付けされる。

ここでｌはエレメントに対するインデックスで、Ｃ_ｌは２次元画像の列の数である。

変換ポイントがマッピングされたピクセルに対応する融合データアレイ内のエレメントは、一致エレメントである。変換ポイントがマッピングされていないピクセルに対応する融合データアレイ内のエレメントは、非一致エレメントである。

操作１３０２を再度参照して、変換ポイントが１つも同一ピクセル位置にマッピングされていない場合には、プロセスは上述のように操作１３０６へ進む。このように、図１３に記載されているプロセスは、図１の融合データアレイ１５０などの融合データアレイの作成に使用されることがある。

次に図１４を参照すると、新しい深度値を生成するためのプロセスが、例示的な実施形態によるフロー図の形式で図解されている。図１４に図解したプロセスは、図１１の操作１１０６を実装するのに使用可能である。

プロセスは、融合データアレイの処理に対する最大反復数を特定することによって開始される（操作１４００）。次に、ウィンドウ用に選択されたサイズ群が特定されて、融合データアレイの処理に使用される（操作１４０２）。その後、選択されたサイズ群からウィンドウ用のサイズが選択される（操作１４０４）。選択されたサイズ群中の各サイズは、ｎ×ｎのサイズであってもよい。このように、各ウィンドウは等しい幅と長さを有していてもよい。この例示的な実施例では、各ｎは奇数となることがある。

ウィンドウは融合データアレイ内のエレメントの位置に移動される（操作１４０６）。エレメントが一致エレメントであるか非一致エレメントであるかの判定が行われる（操作１４０８）。一致エレメントは非ヌル深度値のデータベクトルを有する。非一致エレメントはヌル深度値のデータベクトルを有する。エレメントが一致エレメントの場合、融合データアレイ内に未処理の位置が存在するかどうかについての判定が行われる（操作１４１０）。

融合データアレイ内に未処理の位置が存在する場合には、プロセスは上述のように操作１４０６に戻る。そうでない場合には、ウィンドウに対して選択されたサイズ群中の任意のサイズがまだ存在するかどうかについての判定が行われる（操作１４１２）。ウィンドウに対して選択されたサイズ群中の任意のサイズがまだ存在する場合には、プロセスは上述のように操作１４０４に戻る。そうでない場合には、１回の反復が完了したものとみなされ、最大反復数に達したかどうかについての判定が行われる。最大反復数に達していない場合には、プロセスは上述のように操作１４０２に戻る。そうでない場合には、融合データアレイ内の非一致エレメントの少なくとも一部に対して生成された新しい深度値を使用して、プロセスはポイントクラウドに対して新しいポイントを作成し、その後プロセスは終了する。

再び操作１４０８を参照すると、エレメントが非一致エレメントの場合、ウィンドウによって重ね合わされた融合データアレイの一部の中の一致エレメントが選択された基準を満たすかどうかの判定が行われる（操作１４１８）。一致エレメントの数が選択された閾値よりも大きく、少なくとも１つの一致エレメントがウィンドウによって重ね合わされた融合データアレイの一部の各象限内に存在する場合には、ウィンドウによって重ね合わされた融合データアレイの一部の中の一致エレメントは選択された基準を満たす。

一致エレメントが選択された基準を満たさない場合には、プロセスは上述のように操作１４１０へ進む。そうでない場合には、ウィンドウによって重ね合わされた融合データアレイの一部の中の一致エレメントの各々に対して生成される（操作１４２０）。例えば、スコアは一致エレメントに対する良好度スコアとなることがある。良好度スコアは、エレメントに対応するピクセルにマッピングされた変換ポイントのカメラシステムからの距離並びに他の一致エレメントに対する一致エレメントの相違点との組合せに基づいていてもよい。

ウィンドウによって重ね合わされた融合データアレイの一部の中の一致エレメントにより、良好度スコアは次のように生成されてもよい。

ここで、Ｇ_ｉはｉ番目の一致エレメントの良好度スコアである。Ｍ_ｉはｉ番目の一致エレメントに対する相違度スコアである。Δ_ｉはｉ番目の一致エレメントに対する距離の測定値である。ｊはｎ個の一致エレメントに対するインデックスである。Ｆは特徴に対する応答である。ｍは特徴の数である。

はｉ番目の一致エレメントに関連付けられたデータベクトルの深度値である。また、γは正規化定数である。特徴応答と深度値の両方が０〜１の間で正規化される場合、正規化定数γは

のように設定されることがある。

この例示的な実施例では、特徴は、例えば、ピクセル位置、強度、色、又は他の種類の特徴であってもよい。当該特徴に対する応答は、当該特徴に対する値であってもよい。

次に、事前選択数の最低スコアを有する一致エレメントは支持エレメントとして選択される（操作１４２２）。例えば、数は所望の数の支持エレメントに対して事前選択されてもよい。この事前選択数は４、５、８、１０、又は他の何らかの数であってもよい。操作１４２２では、操作１４２０で生成されたスコアがソートされる。事前選択数が５の場合、５つの最低スコアを有する一致エレメントは、支持エレメントとして選択される。

支持エレメントが各象限内に存在するか否かについて、判定が行われる（操作１４２４）。支持エレメントが各象限に存在しない場合には、プロセスは上述のように操作１４１０へ進む。そうでない場合には、新しい深度値は、線形推定アルゴリズム及び支持エレメントを使用してウィンドウが中心に配置されるエレメントに対して生成される。

操作１４２６では、新しい深度値は、例えば、次のような線形システムを使用して特定されてもよい。

ここで、

は新しい深度値で、ω_０、ω_１、及びω_２はウェイトである。言うまでもなく、支持エレメントの深度値を使用して新しい深度値に対する解を得るために、任意の種類の多項式近似アルゴリズムが使用されてもよい。

その後、新しい深度値が選択された範囲内にあるかどうかについて、判定が行われる（操作１４２８）。次の場合には、新しい深度値は選択された範囲内にあってもよい。

ここで、

で、

は支持エレメントに対応するピクセルにマッピングされた変換ポイントのカメラシステムからの最小距離である。Ｗ^Ｘはウィンドウの幅であり、αは奥行き調整ウェイト定数である。

新しい深度値が選択された範囲内にない場合には、プロセスは上述のように操作１４１０へ進む。このように、新しい深度値は、ウィンドウが中心に配置されるエレメントに対応するデータベクトルに追加されない。より正確に言うならば、このデータベクトル内の深度値はヌルのまま残る。しかしながら、新しい深度値が選択された範囲内にある場合には、新しい深度値はウィンドウが中心に配置されるエレメントに関連付けられたデータベクトルに追加される。プロセスは次に、上述のように操作１４１０へ進む。

次に図１５を参照すると、ポイントクラウドに対してポイントを生成するプロセスが例示的な実施例によるフロー図の形式で図解されている。図１５に図解されたプロセスは、図１４の操作１４１６を実装するように使用されてもよい。

プロセスは、融合データアレイ内の非一致エレメントの少なくとも一部に対して生成される新しい深度値を非正規化することにより開始される。これらの新しい深度値の各々は、ポイントクラウドに対して新しいポイントを作成するように使用される。新しい深度値は、次のように非正規化されてもよい。

ここで、

は非正規化された深度値である。

カメラ中心座標は、新しい深度値が生成されたデータベクトル内で非正規化された深度値及びピクセル位置を使用して、ポイントクラウドの新しいポイントに対して生成される。カメラ中心座標は次のように生成される。

その後、カメラ中心座標を使用して、元のポイントクラウドの３次元基準座標系での新しいポイントのポイント位置が特定され、その後プロセスは終了する。３次元基準座標系でのポイント位置は、操作１２００で使用される変換アルゴリズムの逆変換を使用して特定される。例えば、ポイント位置は次のようにして特定される。

ここで、Ｘ^ｐ、Ｙ^ｐ、Ｚ^ｐは３次元基準座標系に追加される新しいポイントに対する座標で、Ｘ^ｃ、Ｙ^ｃ、Ｚ^ｃは３次元カメラ中心座標系内の新しいポイントに対するカメラ中心座標である。

図示した異なる実施形態でのフロー図は、例示的な実施形態で実装可能なシステム及び方法の構造、機能、及び操作を示している。これに関し、フロー図の各ブロックは、１つの操作又はステップの１つのモジュール、セグメント、機能及び／又は部分を表わすことができる。例えば、一又は複数のブロックは、ソフトウェア、ハードウェア、又は両者の組合せとして実装可能である。ハードウェアは、例えば、フロー図の一又は複数の操作を実施するように製造又は構成された集積回路の形態をとることができる。

例示的な一実施形態の幾つかの代替的な実装態様では、ブロックに記載された一又は複数の機能は、図中に記載の順序を逸脱して現れることがある。例えば、場合によっては、２つのブロックがほぼ同時に実行されること、又は具体的な実装によっては逆順に実行されることもある。また、フロー図に描かれているブロックに他のブロックが追加されることもある。

ここで図１６を参照すると、例示的な実施形態によりデータ処理システムがブロック図の形式で図示されている。データ処理システム１６００を使用して、図１のコンピュータシステム１０４に含まれる一又は複数のコンピュータを実装することができる。さらに、図１の融合マネージャ１４２、深度値生成器１４４、及び／又はポイントクラウドマネージャ１４５が、データ処理システム１６００を使用して実装されることがある。なおさらに、データ処理システム１６００に類似したデータ処理システムは、図１の第１センサーシステム１０６及び／又は第２センサーシステム１０８内に実装されてもよい。

図示されているように、データ処理システム１６００は、通信フレームワーク１６０２を含み、これによってプロセッサユニット１６０４、記憶デバイス１６０６、通信ユニット１６０８、入出力ユニット１６１０、及びディスプレイ１６１２の間で通信を提供する。場合によっては、通信フレームワーク１６０２はバスシステムとして実装されてもよい。

プロセッサユニット１６０４は、任意の数の操作を実施するソフトウェアのための命令を実行するように構成されている。プロセッサユニット１６０４は、実装に応じて、任意の数のプロセッサ、マルチプロセッサコア、及び／又は他の種類のプロセッサであってもよい。場合によっては、プロセッサユニット１６０４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイスなどのハードウェアユニット、又は他の好適な種類のハードウェアユニットの形態をとってもよい。

オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は、記憶デバイス１６０６上に配置される。記憶デバイス１６０６は、通信フレームワーク１６０２を介してプロセッサユニット１６０４と通信を行ってもよい。本明細書で使用しているように、記憶デバイスはまた、コンピュータ可読記憶媒体と呼ばれることもあり、一時的に及び／又は永続的に情報を記憶することができるハードウェアの一部である。この情報は、限定するものではないが、データ、プログラムコード、及び／又は他の情報を含むことができる。

メモリ１８１４及び固定記憶域１６１６は、記憶デバイス１６０６の例である。メモリ１６１４は、例えば、ランダムアクセスメモリ又は幾つかの種類の揮発性または不揮発性の記憶デバイスであってもよい。固定記憶域１６１６は任意の数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１６１６は、ハードドライブ、フラッシュメモリ、書換え型光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであってもよい。固定記憶域１６１６によって使用される媒体は着脱式であってもよく、着脱式でなくてもよい。

通信ユニット１６０８により、データ処理システム１６００は、他のデータ処理システム及び／又はデバイスと通信することができる。通信ユニット１６０８は、物理的な及び／又は無線の通信リンクを使用して通信することができる。

入出力ユニット１６１０は、データ処理システム１６００に接続される他のデバイスとのデータの入出力を可能にする。例えば、入出力ユニット１６１０は、キーボード、マウス、及び／又は他のなんらかの種類の入力デバイスを介してユーザー入力を受け取ることができる。別の実施例として、入出力ユニット１６１０は、データ処理システム１６００に接続されたプリンタに出力を送信することができる。

ディスプレイ１６１２はユーザーに情報を表示するように構成されている。ディスプレイ１６１２は、例えば、限定しないが、モニタ、タッチスクリーン、レーザーディスプレイ、ホログラフィックディスプレイ、仮想表示デバイス、及び／又は他の種類のディスプレイデバイスを含みうる。

異なる実施形態のプロセスは、コンピュータに実装される命令を使用してプロセッサユニット１６０４によって実施されてもよい。これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータ可読プログラムコードと呼ばれ、プロセッサ装置１６０４内の一又は複数のプロセッサによって読取及び実行される。

これらの実施例では、プログラムコード１６１８は、選択的に着脱可能でコンピュータ可読媒体１６２０上に機能的な形態で配置され、プロセッサユニット１６０４での実行用のデータ処理システム１６００に読込み又は転送することができる。プログラムコード１６１８及びコンピュータ可読媒体１６２０は、コンピュータプログラム製品１６２２を形成する。この例示的な実施例では、コンピュータ可読媒体１６２０は、コンピュータ可読記憶媒体１６２４又はコンピュータ可読信号媒体１６２６であってもよい。

コンピュータ可読記憶媒体１６２４は、プログラムコード１６１８を伝搬又は転送する媒体というよりはむしろプログラムコード１６１８を保存するために使用される物理的な又は有形の記憶デバイスである。コンピュータ可読記憶媒体１６２４は、例えば、限定しないが、データ処理システム１６００に接続される光又は磁気ディスク或いは固定記憶デバイスの形態をとりうる。

代替的に、プログラムコード１６１８はコンピュータ可読信号媒体１６２６を用いてデータ処理シスム１６００に転送可能である。コンピュータ可読信号媒体１６２６は、例えば、プログラムコード１６１８を含む伝播データ信号であってもよい。このデータ信号は、物理的及び／又は無線の通信リンクを介して伝送されうる、電磁信号、光信号、及び／又は他の何らかの好適な種類の信号であってもよい。

図１６のデータ処理システム１６００の図解は、例示的な実施形態が実装される方法に対する物理的又は構造的な制限を示唆することを意図していない。種々の例示的な実施形態は、データ処理システム１６００に対して図解されているコンポーネントに対して追加的又は代替的なコンポーネントを含むデータ処理システム内に実装される。さらに、図１６に示したコンポーネントは、例示的な実施例と異なることがある。

種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを使用して実装することができる。１つの例示的な実施例として、データ処理システムは無機コンポーネントと一体化した有機コンポーネントを含むことができ、及び／又は人間を除く有機コンポーネントを完全に含むことができる。例えば、記憶デバイスは、有機半導体で構成することができる。

したがって、例示的な実施形態は、ポイントクラウド内のポイントの数を増やすためのシステム及び方法を提供する。１つの例示的な実施形態では、同一シーンの２次元画像及びポイントクラウドが受信される。ポイントクラウド内のポイントの少なくとも一部は、２次元画像にマッピングされて変換ポイントを形成する。融合データアレイは、２次元画像及び変換ポイントを使用して作成される。ポイントクラウドに対する新しいポイントは融合データアレイを使用して特定される。新しいポイントはポイントクラウドに追加されて、新しいポイントクラウドを形成する。

例示的な実施形態によって説明されている画像処理システムを使用して形成された新しいポイントクラウドにより、元のポイントクラウドと比較して、より高いレベルの精度及び／又は効率で、任意の数の操作を実施することができる。例えば、対象物の特定、対象物の分類、セグメント化、及び／又は他の画像処理操作は、元のポイントクラウドと比較して、より正確に実施されうる。

さらに、新しいポイントクラウド内の新しいポイントの数が増えることにより、元のポイントクラウドと比較して、シーンの可視化を改善することができる。なおさらに、新しいポイントクラウドは、元のポイントクラウドと比較して、２次元画像を強化するように使用される。

種々の例示的な実施形態によって記述されている画像処理システムにより、新しいポイントクラウドは、シーン内の対象物の種類、シーン内の対象物の形状、及び／又はシーンの背景に関する推測を行うことなく、形成されるポイントの数を増やすことができる。このように、例示的な実施形態によって提供されるプロセスは、ポイントクラウド内のポイントの数を増やすため、シーンに関する推測を行うプロセスと比較して、シーンをより正確に示す新しいポイントクラウドを形成することができる。

種々の例示的な実施形態の説明は、例示及び説明を目的として提供されているものであり、網羅的な説明であること、又は開示された形態に実施形態を限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、異なる実施形態は、他の例示的な実施形態とは異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。

２００ 融合データアレイ
２０２ 画像
２０４ カメラシステム
２０６ 変換ポイント
２０８ ウィンドウ
２１０、２１２ 矢印
３００ 融合データアレイの部分
３０２ 一致エレメント群
３０４、３０６、３０８、３１０、３１２、３１４、３１６ 一致エレメント
３２０、３２２、３２４、３２６ 象限
４００ 理想的なピクセル位置
４０２、４０４、４０６、４０８、４１０、４１２、４１４ カメラシステムとの距離
５００ 支持エレメント
６００ エレメント
６０２ 位置
７００ 融合画像
７０２ 画像
７０４ 変換ポイント
８００ 初期融合画像
８０２ 最終融合画像
８０４ 画像
８０６、８０８ 変換ポイント
９００、９０２ 最終融合画像
９０４ 画像
９０６、９０８ 変換ポイント
９１２、９１４ 最終融合画像の部分
１０００ 表
１００２、１００４ 列
１００６、１００８ 行
１０１０、１０１２、１０１４、１０１６ 最終融合画像

Claims (15)

1. シーン（１１０）のポイントクラウド（１３２）内のポイント（１３４）の少なくとも一部を前記シーン（１１０）の２次元画像（１２１）にマッピングして変換ポイント（１４６）を形成し；前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して融合データアレイ（１５０）を作成し；前記融合データアレイ（１５０）を使用して前記ポイントクラウド（１３２）に対して新しいポイント（１６４）を特定し；さらに前記ポイントクラウド（１３２）に前記新しいポイント（１６４）を追加して新しいポイントクラウド（１６２）を形成するように構成された画像処理システム（１０２）を含む装置。
2. 前記画像処理システム（１０２）は、
   前記ポイントクラウド（１３２）内の前記ポイントの少なくとも一部を前記２次元画像（１２１）にマッピングして前記変換ポイント（１４６）を形成するように構成されており、且つ前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して前記融合データアレイ（１５０）を作成するように構成されている融合マネージャ（１４２）を含む、請求項１に記載の装置。
3. 前記融合データアレイ（１５０）は、非ヌル深度値を含む埋込データベクトル（１５４）に関連付けられた一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）、及びヌル深度値を含む非埋込データベクトル（１５４）に関連付けられた非一致エレメントを含む、請求項２に記載の装置。
4. 前記画像処理システム（１０２）は、
   新しい深度値（１５８）を特定して、前記ヌル深度値の少なくとも一部を置き換えるように構成されている深度値生成器（１４４）をさらに含む、請求項３に記載の装置。
5. 前記画像処理システム（１０２）は、
   前記新しい深度値（１５８）を使用して、前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定するように構成されているポイントクラウドマネージャ（１４５）をさらに含む、請求項４に記載の装置。
6. 前記ポイントクラウドマネージャ（１４５）は、前記ポイントクラウド（１３２）に前記新しい点（１６４）を追加して、前記新しいポイントクラウド（１６２）を形成するようにさらに構成されている、請求項５に記載の装置。
7. 前記融合データアレイ（１５０）はエレメント（１５２）を含み、前記エレメント（１５２）の各々は、ピクセル位置（１５７）、深度値、及び元のピクセルデータ（１５９）のうちの少なくとも１つを含むデータベクトル（１５４）に関連付けられている、請求項１に記載の装置。
8. 前記２次元画像（１２１）を生成するように構成されている第１センサーシステム、及び
   前記ポイントクラウド（１３２）を生成するように構成されている第２センサーシステム
   をさらに含む、請求項１に記載の装置。
9. 前記第１センサーシステムはカメラシステムであり、前記第２センサーシステムは光検出及び測距システムである、請求項８に記載の装置。
10. 前記画像処理システム（１０２）は、前記カメラシステムの姿勢情報を使用して、前記ポイントクラウド（１３２）内の前記ポイントの少なくとも一部を前記２次元画像（１２１）にマッピングするように構成されている、請求項９に記載の装置。
11. 画像処理システム（１０２）であって、
    シーン（１１０）のポイントクラウド（１３２）内のポイント（１３４）の少なくとも一部を前記シーン（１１０）の２次元画像（１２１）にマッピングして変換ポイント（１４６）を形成するように構成され、且つ前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して融合データアレイ（１５０）を作成するように構成されている融合マネージャ（１４２）であって、前記融合データアレイ（１５０）は、非ヌル深度値を含む埋込データベクトル（１５４）に関連付けられた一致エレメント（３０４、３０６、３０８、３１０、３１２、３１４、３１６）、及びヌル深度値を含む非埋込データベクトル（１５４）に関連付けられた非一致エレメントを含む、融合マネージャ（１４２）；
    新しい深度値（１５８）を特定して前記ヌル深度値の少なくとも一部を置き換えるように構成された深度値生成器（１４４）；並びに
    前記新しい深度値（１５８）を使用して前記ポイントクラウド（１３２）に対して新しいポイント（１６４）を特定し、前記新しいポイント（１６４）を前記ポイントクラウド（１３２）に追加して新しいポイントクラウド（１６２）を形成するように構成されているポイントクラウドマネージャ（１４５）
    を備える画像処理システム（１０２）。
12. ポイントクラウド（１３２）内のポイントの数を増やすためのコンピュータ実装方法であって、
    シーン（１１０）の２次元画像（１２１）及び前記シーン（１１０）の前記ポイントクラウド（１３２）を受信すること；
    前記ポイントクラウド（１３２）内のポイントの少なくとも一部を前記２次元画像（１２１）にマッピングして変換ポイント（１４６）を形成すること；
    前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して融合データアレイ（１５０）を作成すること；
    前記融合データアレイ（１５０）を使用して前記ポイントクラウド（１３２）に対して新しいポイント（１６４）を特定すること；及び
    前記ポイントクラウド（１３２）に前記新しいポイント（１６４）を追加して新しいポイントクラウド（１６２）を形成すること
    を含むコンピュータ実装方法。
13. 前記ポイントクラウド（１３２）内の前記ポイントの前記少なくとも一部を前記２次元画像（１２１）にマッピングして前記変換ポイント（１４６）を形成することは、
    カメラシステムの姿勢情報を特定すること；
    前記ポイントクラウド（１３２）内の前記ポイントに対してカメラ中心座標を特定する前記姿勢情報を使用して、前記ポイントクラウド（１３２）に対する３次元基準座標系を３次元カメラ中心座標系に変換すること；及び
    前記カメラ中心座標を有する前記ポイントクラウド（１３２）内の前記ポイントの前記少なくとも一部を前記２次元画像（１２１）内のピクセル位置（１２４）にマッピングすること
    を含む、請求項１２に記載のコンピュータ実装方法。
14. 前記２次元画像（１２１）及び前記変換ポイント（１４６）を使用して前記融合データアレイ（１５０）を作成することは、
    前記２次元画像（１２１）内のピクセルに１対１の対応を有するエレメント（１５２）から成る前記融合データアレイ（１５０）を形成すること；及び
    前記融合データアレイ（１５０）内の前記エレメント（１５２）に、非ヌル深度値を含む埋込データベクトル（１５４）とヌル深度値を含む非埋込データベクトル（１５４）とを含むデータベクトル（１５４）を関連付けること
    を含む、請求項１２に記載のコンピュータ実装方法。
15. 前記融合データアレイ（１５０）を使用して前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定することは、
    新しい深度値（１５８）を生成して前記ヌル深度値の少なくとも一部を置き換えること；及び
    前記新しい深度値（１５８）を使用して前記ポイントクラウド（１３２）に対して前記新しいポイント（１６４）を特定すること
    を含む、請求項１４に記載のコンピュータ実装方法。