JP2023124840A - ３ｄ撮像によって提供された３ｄ仮想物体の点のセットから誤った点を除去するための方法および装置 - Google Patents

Abstract

【課題】画像センサーをもつカメラを用いて、対応する実世界物体の3D撮像によって提供された3次元、3D仮想物体の点のセットから、誤った点を除去する方法及び装置を提供する。【解決手段】方法は、3次元、3D仮想物体の点のセットから取得するそれぞれの点について、セット内で競合する点が特定し、セットから特定に基づいて、競合に関与するセットの他の点よりも多くの回数で競合に関与した、セットの1つまたは複数の点を除去する。セットのそれぞれの点は、それぞれの点についてセット内で競合する点が特定される度および/またはそれぞれの点自体がセットの他の点に対する競合する点として特定される度に、競合に関与すると見なされる。【選択図】図４

Description

本明細書の実施形態は、画像センサーをもつカメラを用いて、対応する実世界物体の3D撮像によって提供された、3次元、3D仮想物体の点のセットから、誤った点を除去するための方法および装置に関する。

ファクトリーおよびロジスティックオートメーションのための産業用視覚カメラおよびシステムは、シーンおよび/または物体の3D画像がキャプチャされる3次元(3D)機械視覚に基づくものであり得る。3D画像によって、従来の画像の場合のような2次元(2D)のみにおけるピクセルに関する情報、たとえば、強度および/または色ではなく、または少なくともそれのみでなく、「高さ」または「深度」情報も備える画像のことが指される。すなわち、画像の各ピクセルは、ピクセルの位置に関連付けられ、かつ撮像されたもの、たとえば、物体の位置にマッピングする情報を備え得る。次いで、3D画像から物体の特性、すなわち、物体の3D特性についての情報を抽出し、たとえば、様々な3D画像フォーマットに変換するために、処理が適用され得る。高さについてのそのような情報は、範囲データと呼ばれることがあり、そこで、範囲データは、したがって、撮像されている物体の高さ測定値からの、または言い換えれば、物体の範囲もしくは距離測定値からのデータに対応し得る。代替または追加として、ピクセルは、たとえば、撮像されるエリア内の光の散乱、または光の特定の波長の反射などに関する、材料特性についての情報を備え得る。

したがって、ピクセル値は、たとえば、ピクセルの強度、および/または範囲データ、および/または材料特性に関し得る。

たとえば、画像データを一度に1本のピクセル線ずつ検知および提供するように構成されたセンサーをもつカメラによって、画像の画像データが一度に1本の線ずつ走査または提供されるとき、ライン走査画像データが生じる。ライン走査画像の特殊な場合は、いわゆる「光のシート(sheet of light)」、たとえば、レーザー線、3D三角測量によって提供される画像データである。レーザーは、好ましいことが多いが、「光のシート」を提供することができる他の光源、たとえば、集束し続け、あまり広がらない光、または言い換えれば、「構造化」される光、たとえば、レーザーもしくは発光ダイオード(LED)によって提供される光を提供することができる光源も使用され得る。

3D機械視覚システムは、光三角測量のそのようなシートに基づくことが多い。そのようなシステムでは、たとえば、物体上に光またはレーザー線を生じ、かつそれに沿って、物体の輪郭に対応する物体の線3D特性がキャプチャされ得る、特定の光パターンとしての光のシートなど、特定の光パターンを用いて物体を照明する光源がある。線および/または物体の移動を伴う、そのような線を用いて物体を走査すること、すなわち、ライン走査を実行することによって、物体全体の3D特性が、複数の輪郭に対応してキャプチャされ得る。

三角測量のための光のシートを使用する3D機械視覚システムまたはデバイスは、光もしくは光のシート、三角測量、またはレーザー光が使用されるときは単にレーザー三角測量に基づく、3D撮像のためのシステムまたはデバイスと呼ばれることがある。

典型的には、光三角測量に基づいて、3D画像を作り出すために、撮像されることになる物体からの反射光が、カメラの画像センサーによってキャプチャされ、強度ピークが画像データ内で検出される。ピークは、物体から反射された、たとえば、レーザー線に対応する、入射光がある、撮像された物体上のロケーションに対応する位置において発生する。検出されたピークの画像内の位置は、ピークを生じる光がそこから反射された物体上の位置にマッピングすることになる。

レーザー三角測量カメラシステム、すなわち、光三角測量に基づく撮像システムは、物体上にレーザー線を投影して、対象物体の表面からの高さ曲線を作成する。関与するカメラおよび光源に対して物体を移動させることによって、物体の異なる部分からの高さ曲線についての情報が画像によってキャプチャされ、次いで、システムの関連するジオメトリの知識とともに組み合わせられ、使用されて、物体の3次元表現が作り出され得、すなわち、3D画像データが提供される。この技法は、光、典型的にはレーザー線が物体上に投影され、物体によって反射されるときの、光、典型的にはレーザー線の画像の獲得、および次いで、画像内の、反射されたレーザー線の位置の抽出として説明されることがある。このことは、たとえば、従来のピーク発見アルゴリズムを使用して、画像フレーム内で強度ピークの位置を特定することによって、正常に達成される。必要ではないが、典型的には、撮像システムは、強度ピークがセンサーの列ごとに探索され得、かつ列内の位置が高さまたは深度にマッピングするように、セットアップされる。

上述された3D機械視覚システムなどの3D撮像システムを含むいかなる測定システムも、外れ値を作り出し得る。外れ値は、一般に、使用される測定技法に基づいて異なり、したがって、使用される3D撮像システムに依存し、同じシステム内で外れ値のためのいくつかの異なる原因があり得る。外れ値は、定義上は求められていないものであり、産業用測定適用例では、検査タスクをより困難にし、不可能にすることもあり得る。

外れ値は、撮像された実世界物体の実際の点を正しく表さない、かつ/またはそれに対応しない画像データに対応し得る。

3D撮像システムが、撮像された実世界物体の3D仮想物体を作り出すために使用されるとき、典型的には、3D仮想物体の表面点に対応する点群、すなわち、点のセットが提供される。実世界物体が実世界座標系x、y、zにおけるものである場合、3D仮想物体は、対応する仮想座標系x'、y'、z'におけるものであり得る。外れ値は、実世界物体の表面上の実際の現実の点に対応しない点として、点群内で現れることがあり、すなわち、外れ値は、誤った点に対応し、たとえば、仮想物体が点群に基づいて描かれる場合、仮想物体上の「スパイク」として見られ得る。

外れ値は、3D撮像中に異なるステップにおいて生成され、ならびに除去および/または低減もされ得る。上記で説明されたようなレーザー三角測量の場合、いくつかの外れ値は、たとえば、強度ピーク発見中に低減され得る。以前のステップによって除去されない外れ値は、最後に、誤った点として「点群」内に存在することになる。

US2020340800A1は、特に光三角測量のための解決策を開示しており、そこで、誤った検出値は、それにおいて高さを測定することが不可能である盲点領域内に輪郭が存在するか否かに基づいて決定される。その場合、誤った検出値として決定された輪郭の一部は、削除される。

US2020340800A1

上記に鑑みて、目的は、対応する実世界物体の3D撮像によって提供された3D仮想物体の点群内、すなわち、点のセット内の外れ値に対応する誤った点からの悪影響の低減に関する改善を提供することなど、従来技術の1つまたは複数の改善または代替物を提供することである。

本明細書の実施形態の第1の態様によれば、この目的は、画像センサーをもつカメラを用いて、対応する実世界物体の3D撮像によって提供された、3次元、3D仮想物体の点のセットから、誤った点を除去するための方法によって達成される。前記点のセットが取得される。次いで、それぞれの点について、セット内で、もしあれば、競合する点(conflicting point)が特定される。競合する点は、あらかじめ定義された1つまたは複数の基準に従って、それぞれの点と有効に共存することができない、セットの点である。その後、セットから、セットのそれぞれの点についての前記特定に基づいて、競合に関与するセットの他の点よりも多くの回数で競合に関与した、セットの1つまたは複数の点が除去される。セットのそれぞれの点は、それぞれの点についてセット内で競合する点が特定されるたびに、および/またはそれぞれの点自体がセットの他の点に対する競合する点として特定されるたびに、競合に関与すると見なされる。

本明細書の実施形態の第2の態様によれば、この目的は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のデバイスに、第1の態様による方法を実行させる命令を備える、コンピュータプログラムによって達成される。

本明細書の実施形態の第3の態様によれば、この目的は、第2の態様によるコンピュータプログラムを備えるキャリアによって達成される。

本明細書の実施形態の第4の態様によれば、この目的は、画像センサーをもつカメラを用いて、対応する実世界物体の3D撮像によって提供された、3次元、3D仮想物体の点のセットから、誤った点を除去するための1つまたは複数のデバイスによって達成される。前記デバイスは、前記点のセットを取得するように構成される。前記デバイスは、それぞれの点について、セット内で、もしあれば、競合する点を特定するようにさらに構成される。競合する点は、あらかじめ定義された1つまたは複数の基準に従って、それぞれの点と有効に共存することができない、セットの点である。さらに、デバイスは、セットから、セットのそれぞれの点についての前記特定に基づいて、競合に関与するセットの他の点よりも多くの回数で競合に関与した、セットの1つまたは複数の点を除去するように構成される。セットのそれぞれの点は、それぞれの点についてセット内で競合する点が特定されるたびに、および/またはそれぞれの点自体がセットの他の点に対する競合する点として特定されるたびに、競合に関与すると見なされる。

本明細書の実施形態は、多くの状況では、正しい点も競合の場合に除去されることを生じる、競合する点が特定されるたびの削除または除去と比較して、改善を提供する。本明細書の実施形態では、より多くの正しい点が残ることができるが、依然として、実世界物体上の撮像された現実のロケーションに対応する位置にない、真に正しくない点、すなわち、外れ値に対応する点は、除去され得る。本明細書の実施形態は、統計的手法、および/または「コンセンサス投票(consensus voting)」に基づくと見なされ得、背景技術において述べられた解決策と比較され得、そこで、除去のための判定は、競合が特定されていることに基づくが、合計の点を考慮しておらず、それぞれの点がいくつの競合に関与したかに基づくのではない。

本明細書の実施形態の例については、以下で簡単に説明される添付の概略図を参照しながら、より詳細に説明される。

光三角測量に基づき、ならびに本明細書の実施形態も使用することができ、かつ/またはそれに基づき得る、従来技術の3D撮像システムの一例を概略的に示す図である。 従来技術における点群が、図1の場合のような3D撮像システムを用いてどのように生成され得るかの簡略化された例を概略的に示す図である。 本明細書の実施形態を行うように構成され得る、撮像システム、および測定物体の一例を概略的に示す図である。 図3Aに示された撮像システムおよび測定物体の一部の3Dビューを概略的に示す図である。 図3A～図3Bに示された撮像システムおよび測定物体の一部の側面図を概略的に示す図である。 点群の点を概略的に示し、図3Cに示された測定物体側面図の仮想ビューに対応する図である。 点群の点を概略的に示し、図3Cに示された測定物体側面図の仮想ビューに対応する図である。 点群の点を概略的に示し、図3Cに示された測定物体側面図の仮想ビューに対応する図である。 本明細書の実施形態による方法の実施形態を概略的に示すためのフローチャートである。 本明細書の実施形態の適用なしの測定物体の仮想3D物体画像を示す図である。 本明細書の実施形態の適用ありの測定物体の仮想3D物体画像を示す図である。 図４に関して説明された方法およびアクションを実行するように、1つまたは複数のデバイスがどのように構成され得るかの実施形態を示すための概略ブロック図である。 図４に関して説明された方法およびアクションをデバイスに実行させるためのコンピュータプログラムおよびそのキャリアに関する、いくつかの実施形態を示す概略図である。

本明細書の実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互排他的であるとは限らないことに留意されたい。ある実施形態からの構成要素は、他の実施形態において存在することが暗に仮定されることがあり、それらの構成要素が他の例示的な実施形態においてどのように使用され得るかは、当業者には明らかになる。

図1は、背景技術において述べられたようなタイプの撮像システムの一例、すなわち、測定物体の3D特性についての情報をキャプチャするために光三角測量に基づく、3D機械視覚のための撮像システム105を概略的に示す。システムは、以下でさらに説明される本明細書の実施形態がそれにおいて動作することができる、表面点のセット、すなわち、点群の形態の3D画像を提供するために使用され得る。システム105は、図では、通常動作の状況において、すなわち、典型的には較正が実行された後に示されており、したがって、システムが較正されている。システム105は、ここでは、背景技術において述べられたように光三角測量のシートの形態で、光三角測量を実行するように構成される。システム105は、図では光のシートとして例示および図示された、特定の光パターン111を用いて撮像されることになる測定物体を照明するための光源110、たとえば、レーザーをさらに備える。光はレーザー光であり得るが、そうである必要はない。示された例では、対象物体は、車の形態における第1の測定物体120、および歯車構造の形態における第2の測定物体121によって例示される。特定の光パターン111が物体上に入射するとき、これは、特定の光パターン111が物体と交差するときに見られ得る、物体上の特定の光パターン111の投影に対応する。たとえば、示された例では、光のシートとして例示された特定の光パターン111は、第1の測定物体120上の光線112を生じる。特定の光パターン111は、物体によって、より具体的には、交差部における、すなわち、示された例では光線112における物体の部分によって反射される。システム105は、画像センサー(図1には示されていない)を備えるカメラ130をさらに備える。カメラおよび画像センサーは、特定の光パターンが物体によって反射されると、画像センサー上で入射光になるように、光源110および撮像されることになる物体に対して配置される。画像センサーは、入射光を画像データに変換するための、典型的にはチップとして実装される、装置である。反射によって画像センサー上で前記入射光を引き起こす、物体の前記部分は、それによってカメラ130および画像センサーによってキャプチャされ得、対応する画像データが作り出され、さらなる使用のために提供され得る。たとえば、示された例では、特定の光パターン111は、第1の測定物体120の車の屋根の部分上の光線112において、カメラ130および画像センサーに向かって反射されるようになり、カメラ130および画像センサーは、それによって画像データを作り出し、車の屋根の前記部分についての情報とともに提供し得る。システム105のジオメトリ、たとえば、画像センサー座標がどのように、撮像されている物体およびそのコンテキストに関連する座標系123の座標、たとえば、デカルトなどの実世界座標に関係するかを含む、セットアップの知識を用いて、画像データは、好適なフォーマットにおいて、撮像されている物体の3D特性、たとえば、3D形状または輪郭についての情報に変換され得る。前記3D特性、たとえば、前記3D形状または輪郭についての情報は、任意の好適なフォーマットにおいて3D特性を表すデータを備え得る。

たとえば、物体の複数の部分が照明され、かつ実際には、典型的には物体を走査することによって、画像センサー上に反射光を引き起こすように、光源110、および/または第1の測定物体120もしくは第2の物体121など、撮像されることになる物体を移動させることによって、物体のより完全な3D形状を記述する画像データが作り出され得、たとえば、第1の測定物体120の示されている輪郭画像141-1～141-Nなど、物体の複数の連続する輪郭に対応するものであり、そこで、各輪郭画像は、カメラユニット130の画像センサーが、輪郭画像を生じる光を検知したとき、特定の光パターン111が反射されたところの、第1の物体120の外形を示す。図に示されているように、コンベヤベルト122または同様のものが、特定の光パターン111を通して、物体を移動させるために使用され得、光源110およびカメラユニット130が典型的には固定であるか、あるいは特定の光パターン111および/またはカメラ130が、物体上で移動され得るので、物体のすべての部分、または少なくとも光源110に面するすべての部分が照明されるようになり、カメラは、撮像することが望ましい物体の異なる部分から反射された光を受信できるようになる。

以上のことから理解されるように、たとえば、第1の測定物体120の、カメラ130およびその画像センサーによって提供された画像フレームは、輪郭画像141-1～141-Nのうちのいずれか1つに対応し得る。背景技術において述べられたように、輪郭画像141-1～141-Nのうちのいずれかにおいて示された第1の物体の外形の各位置は、典型的には、画像センサーによってキャプチャされた画像データ内の強度ピークの特定、およびこれらの強度ピークの位置を発見することに基づいて決定される。システム105および従来のピーク発見アルゴリズムは、典型的には、各画像フレーム内で、ピクセル列ごとに強度ピークを探索するように構成される。センサー座標がu、vであり、たとえば、uが、図に示されているように、画像センサー内の行に沿ったピクセル位置に対応し、vが、列に沿ったピクセル位置に対応する場合、各位置について、vに沿ってピーク位置について探索された画像フレームのuがあり、画像フレーム内の特定されたピークが、図に示されているような1つの輪郭画像141-1～141-Nを生じ得る。輪郭画像は、センサーベースの座標系143、u、v、tにおける画像点によって形成される。画像フレームおよび輪郭画像の全体が、第1の物体120の3D画像を作成するために使用され得る。

図2は、以下でさらに説明される本明細書の実施形態についての理解を容易にするために、従来技術の場合のような点群、すなわち、3D仮想物体の表面点のセットが、図1の場合のような3D撮像システムを用いてどのように生成され得るかの簡略化された例を概略的に示す。

くさび形の測定物体220が、この例において使用される。測定物体を除いて、画像システム105は、図1の場合のようであり得る。画像が、図に示されているように、測定物体220上に位置する光線212において、カメラ130の画像センサーによってキャプチャされ、強度ピークが特定されたとき、結果は、図に示されているように、画像センサー座標u、vにおける点であり得る。この例では、点は、測定物体220の表面のサンプルに対応し、すなわち、点は、表面点に対応する。図1における輪郭画像141-1..141-Nの場合のように、点を接続する線の代わりに、ここでは点が描かれていることに留意されたい。各点は、強度ピーク位置にある。システム105のジオメトリおよび使用されるセットアップ、u、vにおける画像センサー座標、および画像がセンサーによってキャプチャされた時間tが、どのように実世界座標x、y、zに関係するかの前記知識を使用して、点、またはむしろ、センサーベースの座標系143などにおける、座標u、v、tにおける点の位置は、3D仮想座標系x'、y'、z'におけるそれぞれの位置に変換され得る。完全な測定物体220が光線212によって走査されたとき、結果は、したがって、図に示されているような点のセット、すなわち、点群260であり得る。示された例では、点のセット260は、測定物体220の表面のサンプルに対応し、したがって、たとえば、対応する仮想物体を描くために使用され得る。点のセット260が測定物体220に対応することの理解を容易にするために、仮想物体の外形は、図では点線261によって示されている。

図3Aは、本明細書の実施形態を行うように構成され得る、すなわち、本明細書の実施形態を実装するためのものである、撮像システム305の簡略化された第1の例を概略的に示す。撮像システム305は、1つまたは複数の測定物体の2Dおよび3D特性についての情報をキャプチャするために、光三角測量に基づく。

示されたシステムは、基本構成に対応し、以下を備える。測定物体220の3D撮像のための光三角測量の一部として、光311、典型的にはレーザー光を用いて、測定物体320を照明するための光源310。3D撮像のための前記光三角測量の一部として、測定物体320からの反射された光を検知するために配置された、画像センサー331をもつカメラ330。

カメラ330、画像センサー331、および光源310は、光三角測量のために互いに対して構成および配置される。システム305は、光三角測量の目的のために、図1におけるシステム105に対応し得るが、以下でさらに説明されるように、本明細書の実施形態に従って実行するように、さらに構成され得る。

したがって、測定物体320は、第1の測定物体120、または測定物体220に対応し得、少なくとも部分的にカメラ330の視野332内に配置されるように示される。光源310は、典型的には、測定物体320によって反射される、特定の光パターン、たとえば、光のシート、および/またはレーザーなどの光線など、構造化光(structured light)の形態における、光311を用いて、測定物体320を照明するように構成され、反射された第1の光が、カメラ330および画像センサー331によってキャプチャされる。第1の光として使用され得る構造化光の他の例は、光エッジ、すなわち、照明があるエリアまたは部分のエッジである。照明は、この例では垂直方向、すなわち、z軸に実質的に平行である。しかしながら、以下から了解されるように、照明の他の1つまたは複数の方向は、もちろん、本明細書の実施形態とともに使用することが可能であり、たとえば、カメラの視野角に対応するが、反対側からの「鏡面的な」入射角で測定物体を実質的にポイントする光源、たとえば、レーザーを用いる、いわゆる「鏡面的」な構成が含まれる。

測定物体320は、このようにして照明され得、画像は、従来の光三角測量の場合のようにキャプチャされ得る。そのようなものとしての前記光三角測量は、したがって、従来技術の場合のようであり、互いに対する光源310および/または測定物体320の移動を伴い得るので、異なる連続する時刻において、測定物体320の異なる連続する部分が、光源310および光211によって照明されるようになる。測定物体320からの反射後の光311は、画像センサー331によって検知される。光三角測量では、典型的には、必要ではないが、カメラ330および第1の光源310は、互いに対して固定され、測定物体320は、これらに対して移動する。画像センサー331による前記検知を通して、それぞれの画像フレームは、画像フレームが検知された、すなわち、キャプチャされたときのそれぞれの時刻に、およびそこから画像センサー331がそれぞれの時刻において反射された第1の光311を検知した、測定物体320のそれぞれの部分に、関連付けられる。

カメラ330および画像センサー331によって提供された画像フレーム、および/または画像フレームから導出された情報、たとえば、強度ピーク位置は、カメラ330の外部のさらなる処理のために、たとえば、コンピュータまたは同様のものなどのコンピューティングデバイス333に転送され得る。そのようなさらなる処理は、追加または代替として、別個のコンピューティングユニットまたはデバイス(図示されていない)、たとえば、画像センサー331とは別個であるが、依然としてカメラ330、またはカメラ330を備えるユニット内に含まれる、たとえば、それと統合されるものによって実行され得る。コンピューティングデバイス333、たとえば、コンピュータまたは他のデバイス(図示されていない)は、光三角測量に関与するデバイスを制御するように構成され得るので、光三角測量および関連するアクションが実行されるようになる。さらに、前記コンピューティングデバイス333、たとえば、コンピュータまたは他のデバイス(図示されていない)は、たとえば、カメラ330および画像センサー331によって提供された前記画像フレーム、および/または画像フレームから導出された情報に基づいて、図2に関連して上記で説明されたように実行するように構成され得る。前記コンピューティングデバイス333、たとえば、コンピュータまたは前記他のデバイス(図示されていない)は、それによって、測定物体320に対応する3D仮想物体の点のセット、すなわち、点群を提供し得る。いくつかの実施形態では、前記コンピューティングデバイス333、たとえば、コンピュータまたは他のデバイス(図示されていない)は、以下でさらに説明される本明細書の実施形態に関するアクションを実行するようにさらに構成される。

測定物体、たとえば、測定物体320が、表面を通した物体の少なくともいくつかの他の部分および点への接続なしの「空中に浮いている」表面部分または点がない、連続する表面を有するという、妥当で実際的な仮定を考えられたく、すなわち、この仮定は、すべての表面点が1つまたは複数の隣接する表面点に接続されるということである。これは、正しくなり、原理上は、すべての点のための実際の状況に対応するようになる仮定である。特殊な状況、たとえば、特殊なセットアップおよび/または物体のために、これが完全にまたは部分的に当てはまらない場合に使用される撮像システムおよび/または測定物体がある場合、そのような状況は、典型的には、事前に特定され、特殊な場合として扱われ得る。したがって、この仮定は、好ましくない実際的な結果を有さないか、または無視できるそのような結果を有する。同じことは、そのような測定物体の3D撮像に基づく点群の表面点にも当てはまるべきである。それは、点群のすべての表面点が、コヒーレントな表面によって最も近い近隣の表面点と接続されること、および表面点の間にもコヒーレントな表面があることである。このことはまた、典型的には、テッセレーションが、点群に基づいて3D仮想物体を視覚化するために使用されるとき、通常の仮定であり、そのようなものとしての表面点に加えて、線および線間の表面が実際の測定物体のコヒーレントおよび不透明な表面に対応する、すなわち、カメラがそれを通して見ることができる表面点間の表面における孔または透明なエリアがないという仮定とともに、すべての表面点が直線によってそれらの最も近い近隣の表面点に接続されることに対応する。

図3Bは、3Dビューにおいて、および座標x、y、zにおける、実世界座標系323において示された測定物体320を概略的に示す。カメラ330は、ここでは、そのカメラ光学中心C、330b、および視野に対応する仮想錐台330aによって表される。カメラ330および画像センサー331によって撮像されることになるものは、したがって、仮想錐台330aに入射する光線である。3つのそのような光線332は、図において、単に例として、カメラ330に対して測定物体320の上および最も遠隔のエッジのすぐ上からの光線に対応するように描かれている。また、この例についてのみ、2つのダミー物体321a～bが図に示されている。カメラがこの例の場合のように配置されると、ダミー物体321aに対応する物理的物体は、測定物体320によって遮蔽されるか、または「シャドーイング」されるために、カメラ330によって撮像され得ないことを了解されたい。このことは、ダミー物体321aが光線332の下に位置することに対応する。一方、ダミー物体321bは撮像され得、その理由は、ダミー物体321bが、カメラ330から見られるように、測定物体320によって遮蔽されず、ダミー物体321bからの光線がカメラ330に到達し、カメラ330によって撮像され得るように位置するからである。

点群260などの点群の表面点は、この表面点がそれに基づく画像を撮影するときに使用されたカメラ、たとえば、カメラ130、またはビューの方向に対して評価され得る。画像が撮影されるとき、上記の妥当な仮定に基づいて、測定物体、たとえば、測定物体220または320の他の部分によって遮蔽される部分があり得る。同じ原理は、点群の表面点の評価のために利用され得る。しかしながら、その場合、対応するカメラ方向は、点群の3D仮想座標系x'、y'、z'、たとえば、点群260の場合の3D仮想座標系253におけるものであるべきである。すなわち、実世界座標系x、y、z、たとえば、実世界座標系123または323における、たとえば、測定物体220または320の実世界物体表面点の点を撮像するときのカメラ方向は、3D仮想座標系x'、y'、z'、たとえば、3D仮想座標系253における対応する、すなわち、仮想のカメラ方向に変換され得る。代替として、点群の点のために使用されることになる対応するカメラ方向は、たとえば、その種類の3D撮像システムが使用されるときに光三角測量のために使用されるような、たとえば、3D撮像システムおよび使用されるセットアップのための設定および関係によって与えられるような、関与する座標系の間の既知の関係に基づいて、3D仮想座標系において、すなわち、x'、y'、z'において直接決定され得る。

上記を利用する1つの方法は、点群の、たとえば、点群260の各表面点について、点群の1つまたは複数の競合する点を特定することである。すなわち、各点について、たとえば、それらのうちの少なくとも1つが他のものによって遮蔽されるために、調査の点と同時に有効に存在することができない、いずれかの他の1つまたは複数の点があるか否かを特定および/または調査する。2つの表面点は、それらの点のうちの一方が他方のまたは互いの「邪魔になって」いる場合、競合していると見なされ得、したがって、カメラがそれらの両方を同時に見ることは不可能になる。言い換えれば、それが当てはまる場合、競合している点のうちの1つ、または少なくとも1つは誤りであるか、または正しくないはずである。その場合、不良点が使用されないことを確実にするために、両方の点が点群から除去され得る。しかしながら、次いで、多くの正しい点も除去されることになり、それは、いくつかの状況では望ましくないか、または重大でさえあることを了解されたい。いくつかの状況において妥当であり得る、すなわち、競合の場合に正しいものは、常に、カメラに最も近い点であるという、いくつかのさらなる仮定を用いると、正しい点の除去なしに、または少なくともより少ない除去とともに、ある改善が達成され得る。しかしながら、この方法も、正しい点が除去されることを生じるとき、すなわち、正しいものがカメラに最も近い点ではないときの状況がある。これは、たとえば、不良点が雑音または反射によるものである場合、起こることがあり、それによって、正しい点に対してカメラにより近い、および/またはカメラからさらに離れる誤り点を生じ得る。その場合、カメラに最も近い点を常に除去することは、悪化する影響さえあり得、その理由は、正しい点が除去され得、誤り点が保たれ得るからである。

本明細書の実施形態は、上記に関する改善を提供する。要するに、本明細書の実施形態については、統計的手法および/またはコンセンサス投票に基づくものとして説明され得る。点群のすべてまたは多数の点は、グループの他の点との競合についてチェックされ得るが、互いと競合している点のみを考慮し、次いで、競合している点のうちのすべてまたはいくつかを除去するのではなく、各点は、他の点との競合に関与するとして特定されるたびに、スコアをアトリビュート(attribute)され得る。すなわち、点群の点が競合に関与するとき、そのスコアが増加され、このことは、点群のすべての点について行われる。結果として、各点の総スコアは、その点が合計で関与した競合の数を示し、それに比例さえするようになる。したがって、点が競合に関与するか否かのみでなく、点の総スコア、すなわち、点が関与する競合の総数によって、点を比較および評価することが可能である。次いで、しきい値に対応する、あるスコアを上回る、競合に関与するすべての点は、除去され得る。言い換えれば、そのようなものとしての競合の単なる特定に基づくいかなる除去判定も行うことなしに、最も多くの競合に関与する点が、この手法を用いて除去される。真に正しくない点、すなわち、実世界測定物体、たとえば、測定物体220または320上の撮像された現実の表面ロケーションに対応する位置にない点は、典型的には、少なくとも平均において、他の点よりも多い競合に関与し、したがって、本明細書の実施形態による手法を用いて、より大きい程度まで除去されることになる。

前記しきい値は、あらかじめ決定され得るが、柔軟な方法で決定され得る。たとえば、しきい値を変更するスライダーバーが実装され得、結果は、点群の残っている表面点に基づいて描かれた仮想3D物体において直接的に視覚化され得る。これによって、ユーザが、所与のセットアップについて、3D物体が点群の残っている表面点に基づいて描かれるとき、そうでなければアーティファクトを生じる点を除去する、好適なしきい値レベルを発見することが可能になる。典型的なアーティファクトは、3D仮想物体が描かれるとき、3D仮想物体において発生するスパイクである。同時に、ユーザは、低すぎるしきい値、すなわち、保つことが望ましい実際の物体詳細の除去を生じるしきい値が使用されていないことを確実にすることができる。

図3Cは、図3Bに示されているような測定物体320の側面図である。この図では、測定物体320を支持しており、測定物体320がその上に存在する、図3Bでは除外された、例示する表面325も示されている。表面325は、たとえば、上述のように光三角測量中に使用され得るような、たとえば、コンベヤバンドまたは同様のものの一部であり得るか、または固定されている、たとえば、テーブルまたは同様のものの一部である表面であり得る。後者の場合および光三角測量では、カメラおよび光源は、測定物体320の走査を達成するために移動し得る。表面325は、撮像される必要がなく、たとえば、視野の外側であるか、または点群内で除外され得ることに留意されたい。いくつかの実施形態では、たとえば、測定物体があるロケーション、向きにとどまる、かつ/または3D撮像中に望ましい方法で移動されることを確実にするために、測定物体320の下ではなく、たとえば、側面または上に位置し、測定物体がそれに接続される、表面または他の構造があり得る。

図3Dは、図3Cにおける実世界ビューに対応する仮想ビューである。図3Dは、x、y、zにおける実世界座標系323の仮想バージョンに対応する、x'、y'、z'における3D仮想座標系353における点群のいくつかの表面点P1～P15(いくつかの表面点のみが明示的にマークされている)を概略的に示す。したがって、点群は、ここでは、測定物体320に対応する仮想物体の表面点を備える。測定物体、およびその側面図が完全にモデル化された場合にどのように見えるようになるかが、図3Dにおける薄い点線の外形線361によって示されており、これは参照のためにのみ示されている。

3D仮想座標系253における、すなわち、x'、y'、z'における点群260が、実世界座標系323における、すなわち、x、y、zにおける測定物体320の、この例では光三角測量およびライン走査による3D撮像によって、どのように形成され得るかに関して、たとえば、図3C～図3Dを、上記で説明された図2に例示された状況と比較されたい。したがって、図3Dにおける表面点P1～P15は、測定物体320の3D撮像から生じる、たとえば、撮像システム305を使用する光三角測量およびライン走査から生じる、点群のものであり得る。

表面点がそれらの最も近い近隣の表面点に接続されると仮定される、上述された状況を例示するために、表面点P1～P15は、互いに接続されるように示されている。このことは、次に説明される競合する点に関する理解を容易にするために、図において視覚化されている。接続される点は、概して、テッセレーションまたは同様のものが、上述のように、点から3D仮想物体を生成するために適用されることになった場合、接続されたであろう点であり得る。

図3D、およびまた、以下でさらに説明される図3E～図3Fは、どの表面点が互いに競合しているか、およびどれがそうでないかの特定などに関する、本明細書の実施形態の背後にある原理を概略的に示し、説明および例示するために以下で使用される。したがって、これらの図は、図3Aの場合のようなセットアップが使用されたときの場合を例示するためのものである。

図3Dは、調査中の点、すなわち、Piに関する競合を特定するための点が点P4である、すなわち、この例では、Pi=P4であるときの一例を例示するためのものである。図3Eは、対応する状況についてのものであるが、Pi=P12であり、図3Fは、Pi=P13のときである。上述のように、点についての競合をチェックすることは、もしあれば、どの他の点が、前記点と競合しているか、または言い換えれば、もしあれば、どの他の点が、調査されている点、すなわち、それについての競合が特定されている点と同時に有効に存在することができないかを特定することである。

図3D～図3Fでは、点C'(i)は、3D仮想座標系353における、すなわち、点群の点、ここではP1～P15と同じ座標系における、点Piのためのカメラのロケーションに対応する。C'のロケーションは、仮想カメラロケーションと呼ばれることがある。カメラのロケーションは、カメラ中心Cに好適に対応し、かつ/またはそれによって表され得る。当業者は、カメラのタイプおよび使用されるセットアップが与えられると、または、たとえば、以下でさらに説明されるように、カメラ位置の他の表現がより好適である場合、カメラ中心位置を決定することが可能である。

測定物体320の3D撮像、すなわち、点群の表面点がそれに基づく画像を生じる撮像のために使用された3D撮像システムおよびセットアップに応じて、3D仮想座標系x'、y'、z'におけるカメラロケーションC'は、表面点によって異なり得ることに留意されたい。ライン走査を用いる光三角測量の場合、カメラロケーションC'は、測定物体を照明する光線に対して同じであり、したがって、たとえば、各輪郭画像に対して同じ、たとえば、各輪郭画像141-1..141-Nに対して同じである。しかしながら、時間次元、すなわち、それぞれの画像フレームがキャプチャされるときの時間が、3D仮想座標系のための第3の次元について、より詳細には、本明細書で示された例ではy'についての情報を提供するために利用されるので、カメラ位置C'がy'における位置によって異なることを了解されたい。これらの例では、iは、y'に沿った位置を示しており、このことは、カメラ位置C'がiに依存する、すなわち、C'(i)であることを意味する。言い換えれば、x'、y'、z'におけるカメラ位置C'は、同じy'およびiでは同じである。しかしながら、たとえば、P3～P12と比較されたP13の場合のように、z'が点Pについて変化する場合、C'(i)は、依然として、P13がP3～P12と同じz'に位置するようになるかのように、同じ位置であり、このことは、カメラ方向が、P13では異なるようになることを意味する。これらの例では、このことが図3Fにおいて見られ得る。カメラ方向、すなわち、表面点Piからその表面点Piのためのカメラ位置C'へのx'、y'、z'における方向は、この例では、C'およびPiに依存する仮想光線352、dによって表され得、したがって、d(C',Pi)として表され得る。dおよびカメラ方向は、3D仮想座標系、ここでは、3D仮想座標系353における、すなわち、x'、y'、z'、353におけるものであるので、そのようなカメラ方向は、仮想カメラ方向と呼ばれることがある。

C'がPの位置に依存することは、すべての関連する3D撮像システム、すなわち、点群がそれに基づき得、次いで本明細書の実施形態によって改善され得る、画像データを提供するために使用され得る3D撮像システムに、常に当てはまる必要があるとは限らないことに留意されたい。また、本明細書の例以外の他の依存性も、もちろん可能である。

本明細書の実施形態は、概して、画像、すなわち、点群がそれに基づく画像がどのように提供されるかとは無関係に、点群の表面点に適用され得るが、現実の測定物体から、カメラおよび画像センサーを介した、点群の点への、およびそれによってまた、点群に基づく仮想3D物体へのあらかじめ定義されたマッピングがあるべきである。

場合によっては、カメラロケーションC'は、それにおいて本明細書の実施形態が適用される点群または点群の部分の、すべての表面点Pについて同じであるか、または同じであるように近似され得る。しかしながら、一般に、すべての可能な状況をカバーするために、表面点PのためのカメラロケーションC'は、点群における表面点Pの位置に依存する、すなわち、C'(x',y',z')と見なされ得るが、カメラ位置C'は、少なくとも、カメラによってキャプチャされた1つの同じ画像フレームに基づく点群の表面点について、同じであると予想される。3D仮想座標系におけるカメラ位置C'は、本明細書の実施形態が点群の表面点において適用されるとき、あらかじめ定義されるか、またはさらには、あらかじめ決定されると見なされ得る。カメラ位置C'は、点群の表面点がそこから導出される画像をキャプチャするときに使用された3D撮像システムおよびセットアップによって与えられるか、またはあらかじめ決定されると見なされ得る。

図3D～図3Fは、1つの側面図、すなわち、あるx'のための、y'に沿った「スライス」または平面、すなわち、z'-y'平面のみを示しているが、C'は、もちろん、同じ平面に位置する必要はないことに留意されたいが、このことは、スコアが各表面点Pについてどのように計算され得るかの背後にある一般的原理を例示することについての後続する例において、簡単のために仮定され得る。実際には、点Pからカメラ位置C'への仮想光線dは、典型的には、y'、z'のみにおけるのではなく、3D空間における、すなわち、すべての次元x'、y'、z'における線である。

同様のことは、もちろん、この例の点P1～P15のような、単一のz'-y'平面に位置するのみでない、セットの点にも当てはまり、その理由は、これらの点は、3D仮想物体のものであり、したがって、たとえば、x'、y'、z'のすべてにおける、3D仮想座標系353のすべての3つの座標において異なる位置における点を備える。

本明細書の実施形態が、たとえば、カメラ位置C'が、実際のカメラ位置がその平面において投影されるところに位置するという近似とともに、いくつかの異なるそのような平面のうちのz'-y'平面ごとの表面点Pにおいて動作するときでも、表面点の除去による、本明細書の実施形態に基づく改善は、点群のすべての表面点を保つ場合と比較して観測された。しかしながら、実際の、またはより正確なカメラ位置C'を使用することによって、さらなる改善が可能になる。

上記ですでに示されたように、カメラ中心以外のカメラ位置C'の他の表現も可能である。たとえば、正投影カメラ(orthographic camera)が使用される、たとえば、カメラ330が、テレセントリックレンズをもつカメラなど、正投影である場合、または使用されるカメラが、正投影カメラ、すなわち、カメラ中心からではなく、平行光線をもつカメラによって近似される場合、図3D～図3Fの例における結果は、すべてのカメラ方向が、x'およびz'に無関係に、各点Pからの同じ、すなわち、平行な仮想光線であることになる。したがって、P13からの仮想光線は、その場合、P12から、およびP4からのような角度になる。真に正投影カメラが使用されなかったが、カメラ方向が、このことが当てはまるかのように近似されたときでも、本明細書の実施形態の適用からの改善が観測された。

カメラおよびカメラ位置C'がさらに離れて配置される場合、仮想座標系x'、y'、z'におけるカメラ方向における、すなわち、表面点Pからカメラに向かう仮想光線dにおける効果は、正投影カメラの効果、すなわち、すべての表面点Pのためのカメラ方向が、1つの同じ方向に接近することと同様になる。

実際には、たとえば、実際的な実装を容易にする、かつ/または簡略化するために、カメラ位置C'および/またはカメラ方向に関する近似が考慮される場合、たとえば、シミュレーションを伴う日常的な試験および実験は、たとえば、満たされるべき要件に鑑みて、近似が十分であるか否かについての情報をもたらすことができる。たとえば、当業者は、試験および実験において、真のカメラ位置C'の使用と、所望の近似を使用するときの両方で本明細書の実施形態を適用し、次いで、結果を比較し、たとえば、実際のカメラ位置C'が使用されたときの表面点に基づく3D仮想物体を、近似されたカメラ位置C'が代わりに使用されたときの表面点に基づく他の3D仮想物体と比較し得る。

次に、図3D～図3Fを参照しながら、スコアが各表面点Piについてどのように計算され得るかの背後にある一般的原理について説明するための例が続く。

図3D～図3Fでは、P13を除く表面点P1～P15が、十分に、少なくとも、この例の場合のような表面点密度とともに予想され得るのと同じくらい十分に、外形線361をたどっていることが見られ得る。したがって、点P13は、正しくない表面点、すなわち、実世界測定物体320上の現実の表面点に対応していないものの一例として理解されるべきである。

すでに上述されたように、図3Dの例は、具体的には、表面点P4と競合している表面点の特定、または調査について説明するためのものである。この図は、点Pi=P4のための2つの「シャドーイング」またはオクルージョンエリアAおよびBを示している。この図に示されたカメラ位置C'、ならびに測定物体320が「空中にぶらさがっている」部分、およびしたがって表面点を有していないという、上述された仮定を用いると、以下のような結論が出され得ることを了解されたい。エリアA内にいずれかの他の表面点Pがある場合、P4は、カメラによって見えるところから遮蔽され、すなわち、隠されるようになる。したがって、エリアA内のいかなる点も、P4と競合する点であり、すなわち、P4と有効に共存することができないが、見られ得るように、この例にはない。「シャドーイング」された、すなわち、遮蔽された点がある状況は、図3Cに関して上記で説明された「実世界」における同様の状況と比較され得、そこで、例示的なダミー物体321aは、測定物体320によって「シャドーイング」され、カメラによって見られ得ないが、例示的なダミー物体321bはそうではない。

エリアAの場合のような対応する状況は、図3DのエリアB内で発生する。P4は、エリアB内のいかなる点も遮蔽しているようになり、したがって、エリアB内の各点もまた、P4との競合点(conflict point)になる。この例において見られ得るように、P13のみがエリアB内にあり、したがって、P4に対する競合点である。したがって、P4とP13の両方が、それぞれのスコア1を一時的に与えられ得るか、またはこれらの点のための任意の既存のスコアが、1だけ増加され得る。たとえば、P4およびP13が0で開始しており、これが最初の特定された競合であった場合、P4およびP13は、両方とも、P4に対する競合する点の調査から生じるスコア1を有し得る。この原理に基づいて、P1～P3は、示された例では競合に関与しないことが了解され得る。

エリアAおよびBはまた、当業者によって認識されるように、使用された照明の方向によっても影響を受けることがあり、本明細書の例では、図3Aの場合のような照明とともに示されていることに留意されたい。仮想照明方向354が図3Dにおいて示されており、カメラの場合と同様に、x'、y'、z'における位置に依存する仮想光源位置があり得ることを了解されたい。しかしながら、示された例では、それぞれの点Pからの仮想照明方向は、常に垂直、すなわち、z'に沿ったものである。エリアAおよびBは、他の場合にそのようなまたは対応するものが適用される場合、したがって、これらの場合のために使用された撮像システムおよびセットアップに応じて異なり得る。概して、点Pについて、そのエリアAは、カメラに向かう方向におけるエリア内であり、そのエリアBは、カメラから離れるエリアである。両方のエリアは、セットのいずれかの他の点がそのエリア内に位置する場合、これらが競合する点、すなわち、点Pと有効に共存することができない点であるようになる。有効に共存することができない点がどこに位置するかは、3D撮像のために使用された撮像システムおよびセットアップに依存する。このこと、およびそれによって、どのような対応するエリアAおよび/またはBを適用するべきかは、特定の場合に使用されている撮像システムおよびセットアップに基づいて、当業者によって決定可能である。

図3Eは、図3Dの場合のような対応する例示的な状況を示すが、エリアAおよびBは、Pi=P12、すなわち、i=12について示されている。ここでも、P13のみが、P12のためのB内の競合点である。言い換えれば、P12およびP13は、両方が他の点との競合に関与するので、それらのスコアが1だけ増加され得る。さらに、すべての点P1～P12が対応して調査されたであろう場合、P12を含めて、P12までについて、競合する点が特定され、スコアが増加された後の結果は、以下のようになることが了解され得る。

図3Fは、Pi=13、すなわち、i=13のためのエリアAおよびBがある、また他の例示的な状況を示す。ここで、点P9～P12は、エリアA内にあり、したがって、P13についての競合する点である。この図から、P14～P15は、互いとの、またはこの例の他の点P1～P13のいずれかとのいかなる競合にも関与しないことがさらに了解され得る。したがって、示された例では、示された点P1～P15のすべてについて競合する点を調査および特定した後に生じるスコアは、以下のようになる。

言い換えれば、範囲3～13におけるしきい値を使用すること、およびこのしきい値以上のスコアをもつすべての点を除去することによって、点群P1～P15からの点P13の除去が生じることになる。したがって、正しくない点P13が除去されることになる。P13なしの新しく生じた点群は、外形線361により良く適合するようになり、したがって、P13が依然として点群の一部になる場合よりも、実世界物体のより良い表現になることも了解されたい。

この例では、エリアAとBの両方、すなわち、カメラに向かうものとカメラから離れるものの両方における競合点を探すことは、典型的には必要とされない。実装上の理由のために、それぞれの点Pについて、たとえば、カメラ位置C'に向かうかまたはそれから離れる一方向、すなわち、エリアAまたはBのいずれかの中のみを見ることが好ましくなり得る。エリアB内のみをチェックする場合、示された例における結果は、以下のようになる。

この場合も、P13が最も多くの競合に関与することを了解されたい。したがって、この原理は、それぞれの表面点について、エリアAまたはBのいずれかにおいて競合する点を探す場合、機能する。しかしながら、実際の正しくない点は、典型的には、両方のエリアが使用される場合により高いスコアを得ることになり、したがって、いくつかの状況では、より多くの正しくない点がしきい値によって除去され得る。

各表面点について、点群の終わりまでに及ぶエリアAおよび/またはエリアBを使用することは、必要でないことがある。代わりに、カメラ方向に沿って、すなわち、各表面点の仮想光線dに沿って、カメラに向かう、および/またはカメラから離れる、ある距離をチェックすることのみで十分であり得る。たとえば、図3D～図3Fにおいて示された例を参照しながら、エリアB内の5つの最も近い連続するy'位置のみがチェックされると仮定されたい。すなわち、i=4であるP4について、点P5～P9が、競合について、すなわち、y'に沿ってP4からP9までに及ぶエリアAを使用してチェックされる。このことをすべての点P1～P15に対して、およびそれ以外の場合は上記と同じ原理を適用すると、結果は、以下のようになる。

したがって、この状況および例でも、たとえば、好適なしきい値を使用することによって、P13を除去されるべき点として特定することが可能になる。

図4は、本明細書の実施形態による方法の実施形態を概略的に示すためのフローチャートである。以下のアクションは、方法を形成し得るものであり、背景技術において述べられたような外れ値に対応する、誤った、または誤った可能性のある点を、点のセット、たとえば、点Pによって例示されたセット355-1..355-15から、すなわち、点群から除去するためのものである。実際には、本明細書の実施形態を適用するための当該の点群は、もちろん、上記の簡略化された例の場合のような15個のみよりもはるかに大きい。セットの点の数は、単にある例を挙げると、何百万もの点の大きさであり得る。前記点は、画像センサーをもつカメラ、たとえば、カメラ330および画像センサー331を用いて、対応する実世界物体の、たとえば、測定物体320の3D撮像によって提供された、3D仮想物体の点である。

さらに、セットの前記点は、典型的には、3D仮想物体の表面点である。それは、典型的には、撮像される実世界物体の表面であるが、たとえば、部分的に透明な物体では、実際の最も外側の表面を通る画像であり得、したがって、仮想物体および前記点のセットは、場合によっては、実世界物体の内表面に対応し得る。

いくつかの実施形態では、前記3D撮像は、光源、たとえば、光源310による、実世界物体の、たとえば、測定物体320の照明を備える光三角測量に基づき、ここにおいて、前記光放出は、前記照明から生じる実世界物体の表面からの反射光である。

以下の、図4に示されている方法および/またはアクションは、デバイス、すなわち、カメラ330および/またはコンピューティングデバイス333などの1つまたは複数のデバイスによって、あるいは撮像システム305、および/またはその、もしくはそれに接続された好適なデバイスによって実行され得る。方法およびそのアクションを実行するためのデバイスについては、以下でさらに説明される。

以下のアクションは、任意の好適な順序において取られ、かつ/またはこれが可能および好適である時間に、完全にもしくは部分的に重複して行われ得ることに留意されたい。

アクション401
前記点のセットが取得される。前記点のセットは、たとえば、本方法を実行することに関与する同じ1つもしくは複数のデバイスによって完全にもしくは部分的に、3D撮像システムによる測定および計算から取得され、かつ/または、3D撮像システムの一部であり得る他のデバイスもしくはユニットから受信されることによって取得され得るが、代替的に、点のセットを記憶している他の、たとえば、外部デバイスまたはユニットから受信され得る。さらに、点のセットは、点群に対応し得、完全な実世界物体に、または部分的にそれに対応する、すなわち、それをカバーする点であり得、すなわち、点は、実世界物体の部分的な3Dビューのみに対応する3D仮想物体のものであり得る。

アクション402
それぞれの点について、たとえば、点355-1..355-15の各々1つについて、たとえば、カメラ方向352に対応する、それぞれのカメラ方向が取得され得る。それぞれのカメラ方向は、その光放出が前記3D撮像中に画像センサーによって検知された、カメラに向かう実世界物体の対応する点からの光放出の方向に対応する。上記の仮想光線352は、そのようなカメラ方向の例である。上述のように、取得されたカメラ方向は、仮想カメラ方向と呼ばれることがあり、その理由は、それらのカメラ方向が、セットの点のための、およびしたがって、セットのために使用された3D仮想座標系の座標に関する方向であるからである。競合する点は、少なくともそのカメラ方向に基づいて、それぞれの点と有効に共存することができない、セットの点であり得る。

カメラ方向は、点がそれに基づく画像が検知されたときに使用された3D撮像システムおよびセットアップの知識に基づいて、計算および/または推定されるなど、上記で示されたように決定されることによって取得され得る。点のセットは、典型的には、3D撮像システムおよび実世界物体、たとえば、撮像システム305および測定物体320がそれにおいて位置する実世界座標系、たとえば、x、y、zにおける位置が、仮想物体および前記点のセットがそれにおけるものである、対応する3D仮想座標系、x'、y'、z'の座標にどのように関係するかの、あらかじめ定義されたマッピングに関連付けられる。マッピングは、典型的には、3D撮像のために使用される各3D撮像システムおよびセットアップのために実行される較正によって提供され、したがって、典型的には、本明細書の実施形態が実行されるとき、あらかじめ決定され、少なくともマッピングは、前記画像が検知されたときに使用された3D撮像システムおよびセットアップによって、あらかじめ定義されるかまたは与えられると見なされ得る。したがって、x、y、zにおけるカメラ位置の知識によって、x'、y'、z'における対応する位置が決定され得、これから、点のためのカメラ方向も決定され得る。

カメラ方向は、使用される撮像システムおよびセットアップについて、たとえば、x'、y'、z'における様々な位置についてあらかじめ決定されていることがあり、次いで、あらかじめ決定されたカメラ方向が、前記点のセットの点のためのカメラ位置を決定するために使用され得る。

いくつかの実施形態では、あらかじめ決定されたカメラ方向、または前記点のセットのためのカメラ方向さえもが、他のデバイスまたはユニット、たとえば、カメラ方向を計算するなど、決定したものから、完全にまたは部分的に受信されることによって、取得され得る。

上記で示されたように、点が競合する点であるか否か、すなわち、点がそれぞれの点と有効に共存することができるか否かの決定はまた、点のための仮想光方向、すなわち、実世界物体上の、たとえば、光源310からの入射光の方向に対応する、入射光の仮想方向も考慮に入れてもよく、その入射光は、光三角測量の場合など、実世界物体によって反射され、カメラおよび画像センサーによって検知される光になる。上記で説明された例示的な仮想照明方向354は、そのような仮想光方向に対応する。

したがって、いくつかの実施形態では、本アクションは、それぞれの点について、実世界物体上の対応する点上の、たとえば、光源からの入射光の方向に対応する、それぞれの仮想光方向を取得することをさらに含む。これらの実施形態では、競合する点は、その仮想光方向にさらに基づいて、それぞれの点と有効に共存することができない、セットの点であり得る。

アクション403
それぞれの点について、たとえば、点355-1..355-15の各々1つについて、もしあれば、セットの競合する点が特定される。競合する点は、あらかじめ定義された1つまたは複数の基準に従って、それぞれの点と有効に共存することができない、セットの点である。1つのそのような基準は、アクション402の下で上述されたように、点のために取得されたカメラ方向に基づき得る。前記1つまたは複数の基準は、使用される3D撮像システムおよびセットアップについて、何が同時に見られ、かつ撮像され得るか、および何がそうされ得ないかを決定するために使用され得る、原理上はいかなるものにもさらに基づき得ることを了解されたい。たとえば、光三角測量の場合に、および上記で例示されたように、たとえば、関与する光方向があるとき、1つまたは複数の基準は、たとえば、上記の例の場合のように、エリアAおよび/もしくはB、または同様のものを決定するために、仮想光方向にさらに基づき得る。光がある点に到達することができない場合、このことは、点がカメラによって見られ得ない追加の理由であり得、したがって、仮想光方向が、たとえば、適用するための改善されたあらかじめ定義された基準を達成するために、他の点と有効に存在することができない点を特定するために、仮想カメラ方向とともに使用され得る。しかしながら、ある光が、実世界物体の正しい撮像によってカメラに到達していなければならないことは、暗黙的であるので、カメラ方向に基づく基準、および照明がすべての点に到達したという仮定は、十分であり得る。

いくつかの実施形態では、競合する点は、セットの点、たとえば、点355-1..355-15が、コヒーレントな表面によってそれらの最も近い近隣の表面点、またはそれらの最も近い近隣の表面点のうちの少なくともいくつかと接続され、そのコヒーレントな表面が、光、たとえば、アクション402の下で述べられたような光放出を遮断することになるという仮定に基づいて、それぞれの点と有効に共存することができない、セットの点である。それぞれの点がコヒーレントな表面によって接続される先の点は、たとえば、テッセレーションによって、および/または点群から3D仮想物体を生成するための任意の従来技術の方法に従って、点から3D仮想物体を生成するために、それぞれの点が接続されることになった、または接続されることになる先の点に対応し得る。

さらに、いくつかの実施形態では、それぞれの点についての競合する点の特定は、それぞれの点からある距離内に存在する、セットの点に限定される。このことは、図3D～図3Fに関連して、上記である程度詳細に例示および説明されており、複雑な実世界物体および/または点の大量のセットに対して適用するために特に重要であり得、そこで、それぞれの点について、競合する点を特定するために、点群全体を通して探索することは、望ましくない、および/または実際的ではない。たとえば、もしあれば、競合する可能性のある点がある、最も近い近隣の点位置、たとえば、ピクセル、またはむしろ3Dであるのでボクセル位置を含む距離内にある、競合する点を特定することは、十分であり得る。前記ある距離は、あらかじめ定義またはあらかじめ決定されてもよく、特定の適用例では、当該の適用例のために好適および/または受け入れ可能な距離を発見するための、日常的な実験および試験に基づき得る。

ある距離にわたる特定に限定することによって、処理が低減され、より高速に実行することができる実装形態が可能になる。

さらに、遠く離れて位置する競合する点は、発生する可能性が低いことがあり、もしあれば、極めて遠隔の競合点を特定することに、リソースを費やすことは、効率的ではないことがある。また、遠隔の競合する点が存在する場合、そのようなものは、そのような点により近い点について競合が特定されるとき、いずれにせよ多くの競合をもつ点として特定される可能性があるようになる。

たとえば、より大きい点のセットを分割するか、または本明細書の実施形態を、仮想物体の完全なセットのうちの部分的なセット、たとえば、ライン走査および光三角測量中に出力される部分的なセットにおいて適用することによって、ある距離にわたるような限定と同様の効果が達成され得る。

たとえば、本明細書の実施形態がそれに適用される点群の各点に対する、それぞれの点について特定された競合の数は、たとえば、上述のように各点のためのスコアを増加させることによって、カウントされ続け得る。

それぞれの点についての特定された競合のカウントなどの情報は、記憶され得る。セットの点について、たとえば、セットの各点についての競合する点が特定された後、それらの点は、様々な数の競合に関与しており、点ごとに、その点が関与した特定された競合の総数を識別するかまたは示す、値および/または識別子が記憶され得る。

アクション404
それぞれの点についての前記特定に基づいて、すなわち、アクション403に基づいて、競合に関与するセットの他の点よりも多くの回数で競合に関与した、セットの1つまたは複数の点が、セットから除去される。セットのそれぞれの点、たとえば、点355-1..355-15のうちのいずれか1つである点355は、それぞれの点についてセット内で競合する点が特定されるたびに、すなわち、そのとき、および/またはそれぞれの点自体がセットの他の点に対する競合する点として特定されるたびに、競合に関与すると見なされる。このことは、図3D～図3Fに関連して、上記である程度詳細に例示および説明された。

いくつかの実施形態では、あらかじめ定義されたしきい値を超える複数回で競合に関与する点は、セットから除去される。あらかじめ定義されたしきい値、典型的には、しきい値または数は、上記で説明されたようであり得、いくつかの実施形態では、あらかじめ決定され得る。

いくつかの実施形態では、前記1つまたは複数のあらかじめ定義された基準は、カメラ、たとえば、カメラ330が、仮想的に、すなわち、理論的に、前記点のセットの座標系、すなわち、セットの点の位置のために使用された座標系、たとえば、仮想座標系353におけるその対応する位置から何を見ることができるかに基づく。カメラのための対応する位置は、上述のように、測定物体の実世界座標系、たとえば、x、y、zと、仮想物体および点のセットの仮想座標系、たとえば、x'、y'、z'との間の、あらかじめ定義またはあらかじめ決定されたマッピングから発見され得る。カメラ位置は、同じく上述のように、カメラ中心によって、または他の表現によって表され得る。

したがって、カメラが仮想的に、すなわち、理論的に何を見ることができるかは、前記点のセットと同じ座標系における、たとえば、x'、y'、z'における、点のセットおよびカメラ位置に基づき得る。これは、カメラが実世界において何を実際に見ることができたかとは異なり得ることに留意されたい。カメラが理論的に、すなわち、仮想的に何を見ることができる、またはできたかを活用する利点は、カメラが何を実際に見ることができたかが決定される必要があった場合、いかなる追加の、およびしばしば複雑な実世界測定、ならびに次いでx'、y'、z'へのさらなるマッピングの必要もなしに、すべての計算が、点のセットを含む、典型的にはすでに利用可能な情報およびデータを使用して、x'、y'、z'において行われ得ることである。

すでに上述されたように、本明細書の実施形態は、多くの状況では、正しい点も競合の場合に除去されることを生じる、競合する点が特定されるたびの削除または除去と比較して、改善を提供する。本明細書の実施形態では、より多くの正しい点が残ることができるが、依然として、真に正しくない点、すなわち、実世界物体、たとえば、測定物体220または320上の撮像された現実のロケーションに対応する位置にない点は、除去され得る。

本明細書の実施形態は、上記で説明されたように、背景技術において述べられた従来技術の場合のような解決策と比較され得、そこで、輪郭の一部の削除、すなわち、除去のための判定は、輪郭のための盲点領域の存在に基づいて、すなわち、競合があるという事実に基づいて行われ、したがって、その削除は、すべての特定された競合について行われる。言い換えれば、従来技術では、除去は、点がいくつの競合に関与したかに基づくのではなく、競合が特定されていることに基づく。

さらに、本明細書の実施形態は、雑音または反射によって引き起こされた誤った点を除去するために効率的であり得る。光三角測量に基づく3D撮像の場合、反射は、強度ピーク発見の一部として低減または除去され得るが、本明細書の実施形態では、反射による誤った点は、追加または代替として、点群から除去され得る。

図5A～図5Bは、それぞれ、本明細書の実施形態の適用なしおよびありの測定物体の仮想3D物体画像を示す。

図5Aは、本明細書の実施形態の適用なしで、取得された点のセット、すなわち、点群に基づく3D仮想物体の画像を示す。点群は、ここでは、従来技術の光三角測量から、従来のように提供されている。点群は、アクション401において取得され、本明細書の実施形態がそれにおいて動作するようなものに対応し得る。見られ得るように、点群は、画像内で示された物体上の「スパイク」として可視のひずみを引き起こす、外れ値、すなわち、正しくない点を備える。

図5Bは、同じ取得された点のセットに基づくが、本明細書の実施形態の適用後、すなわち、あるしきい値を上回る競合に関与する点の除去後の、対応する3D仮想物体の他の画像を示す。示された例では、本明細書の実施形態は、約30000個の点のセットに適用されており、それぞれの点について、25ピクセル離れた距離内で、もしあれば、競合する点が特定された。それぞれの点のためのスコアは、最初に0であり、各特定された競合が、1だけスコアの増加を生じた。3の総スコアしきい値が使用され、このしきい値を上回る総スコアをもつすべての点が、セットから除去された。その結果は、1804個の点の除去であった。改善は、明確に見られ得るものであり、前記「スパイク」は、示された画像上にもはや存在しない。

図6は、図4に関して上記で説明された方法および/またはアクションを実行するためなど、本明細書の実施形態を実行するためにすでに上述されたデバイスに対応し得る、1つまたは複数のデバイス600、すなわち、デバイス600の実施形態を示すための概略ブロック図である。したがって、デバイス600は、たとえば、画像センサー331をもつカメラ330を用いる、測定物体320の3D撮像によって提供されるような、画像センサーをもつカメラを用いて、対応する実世界物体の3D撮像によって提供された、3D仮想物体の点のセットから、誤った点を除去するためのものである。デバイス600は、たとえば、コンピューティングデバイス333および/もしくはカメラ330、または、カメラおよび画像センサーを備える3D撮像システム、たとえば、撮像システム305に含まれる、かつ/もしくはそれを形成する好適なデバイスに対応し得るか、あるいは、点のセットを提供する3D撮像システムの外部にあるデバイス、たとえば、コンピュータであり得る。

概略ブロック図は、デバイス600が、図4に関して上記で説明された方法およびアクションを実行するように、どのように構成され得るかに関する実施形態を示すためのものである。

デバイス600は、処理手段、たとえば、プロセッサなどの1つもしくは複数の処理回路、回路構成を含む、1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくはアクションを実行するための1つもしくは複数のソフトウェアモジュールなど、処理モジュール601を備え得る。

デバイス600は、コンピュータプログラム603を含むかまたは記憶するなど、備え得る、メモリ602をさらに備え得る。コンピュータプログラム603は、前記方法および/またはアクションを実行するために、デバイス600によって直接または間接的に実行可能な「命令」または「コード」を備える。メモリ602は、1つまたは複数のメモリユニットを備え得、本明細書の実施形態の機能およびアクションを実行することに関与するか、またはそれらを実行するための構成、データ、および/または値など、データを記憶するためにさらに配置され得る。

さらに、デバイス600は、例示するハードウェアモジュールとして、データを処理すること、および、たとえば、符号化することに関与する処理回路構成604を備え得、1つまたは複数のプロセッサまたは処理回路を備えるか、またはそれに対応し得る。処理モジュール601は、処理回路構成604を備え、たとえば、「その形態で具現化される」か、または「それによって実現され」得る。これらの実施形態では、メモリ602は、処理回路構成604によって実行可能なコンピュータプログラム603を備え得、それによって、デバイス600は、前記方法および/またはそのアクションを実行するために動作可能であるか、または構成される。

典型的には、デバイス600、たとえば、処理モジュール601は、他のデバイスに情報を送信すること、および/または他のデバイスから情報を受信することなど、他のユニットおよび/またはデバイスへおよび/またはそれからの任意の通信に、たとえば、それを実行することによって関与するように構成された、入力/出力(I/O)モジュール605を備える。I/Oモジュール605は、適用可能であるとき、取得モジュール、たとえば、受信モジュール、および/または提供モジュール、たとえば、送信モジュールによって例示され得る。

さらに、いくつかの実施形態では、デバイス600、たとえば、処理モジュール601は、本明細書の実施形態のアクションを行うための例示するハードウェアおよび/またはソフトウェアモジュールとして、取得モジュール、特定モジュール、除去モジュールのうちの1つまたは複数を備える。これらのモジュールは、処理回路構成604によって完全にまたは部分的に実装され得る。

したがって、以下のようになる。

デバイス600、および/または処理モジュール601、および/または処理回路構成604、および/またはI/Oモジュール605、および/または取得モジュールは、前記点のセットを取得するように動作可能であるか、または構成される。

デバイス600、および/または処理モジュール601、および/または処理回路構成604、および/またはI/Oモジュール605、および/または取得モジュールは、前記それぞれの点について、前記それぞれのカメラ方向を取得するように動作可能であるか、または構成され得る。

デバイス600、および/または処理モジュール601、および/または処理回路構成604、および/または特定モジュールは、前記それぞれの点について、前記競合する点を特定するように動作可能であるか、または構成される。

デバイス600、および/または処理モジュール601、および/または処理回路構成604、および/または除去モジュールは、前記セットから、セットの前記それぞれの点についての前記特定に基づいて、競合に関与するセットの他の点よりも多くの回数で競合に関与した、セットの前記1つまたは複数の点を除去するように動作可能であるか、または構成される。

図7は、前記方法およびアクションを上記で説明された前記デバイス600に実行させるためのコンピュータプログラムおよびそのキャリアに関する、いくつかの実施形態を示す概略図である。

コンピュータプログラムは、コンピュータプログラム603であり得、処理回路構成604および/または処理モジュール601によって実行されると、上記で説明されたようにデバイス600に実行させる命令を備える。いくつかの実施形態では、コンピュータプログラムを備えるキャリア、またはより具体的にはデータキャリア、たとえば、コンピュータプログラム製品が提供される。キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体、たとえば、図に概略的に示されているようなコンピュータ可読記憶媒体701のうちの1つであり得る。したがって、コンピュータプログラム603は、コンピュータ可読記憶媒体701上に記憶され得る。キャリアによって、一時的な伝搬信号が除外されることがあり、データキャリアは、対応して非一時的データキャリアと称されることがある。コンピュータ可読記憶媒体であるデータキャリアの非限定的な例は、メモリカードもしくはメモリスティック、CDもしくはDVDなどのディスク記憶媒体、または典型的にはハードドライブもしくはソリッドステートドライブ(SSD)に基づく大容量記憶デバイスである。コンピュータ可読記憶媒体701は、コンピュータネットワーク702、たとえば、インターネットまたはローカルエリアネットワーク(LAN)上でアクセス可能なデータを記憶するために使用され得る。コンピュータプログラム603は、純粋なコンピュータプログラムとしてさらに提供されるか、または1つもしくは複数のファイル内に含まれ得る。1つまたは複数のファイルは、コンピュータ可読記憶媒体701上で記憶され、たとえば、サーバを介して、たとえば、図に示されているようなコンピュータネットワーク702上で、たとえば、ダウンロードを通して利用可能であり得る。サーバは、たとえば、ウェブまたはファイル転送プロトコル(FTP)サーバであり得る。1つまたは複数のファイルは、たとえば、処理回路構成604による実行によって、上記で説明されたように前記デバイスに実行させるために、前記デバイスへの直接的または間接的なダウンロード、および前記デバイス上の実行のための、たとえば、実行可能ファイルであり得る。1つまたは複数のファイルはまた、または代替的に、同じまたは他のプロセッサが、さらなるダウンロードおよび実行前にファイルを実行可能にするために、上記で説明されたように前記デバイス600に実行させることを伴う、中間ダウンロードおよびコンパイルのためのものであり得る。

上記で述べられた任意の処理モジュールおよび回路は、ソフトウェアおよび/もしくはハードウェアモジュールとして、たとえば、既存のハードウェアにおいて、ならびに/または特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などとして実装され得ることに留意されたい。また、上記で述べられた任意のハードウェアモジュールおよび/または回路は、たとえば、単一のASICもしくはFPGA中に含まれ得るか、または個々にパッケージ化されるか、システムオンチップ(SoC)にアセンブルされるかにかかわらず、いくつかの別個のハードウェア構成要素の間で分散され得ることにも留意されたい。

本明細書で説明されたモジュールおよび回路構成は、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または、1つもしくは複数のプロセッサによって実行されると、デバイス、センサーなどが上記で説明された方法およびアクションを実行するように構成されるように、および/もしくはそれを実行するようにさせ得る、たとえば、メモリ内に記憶された、ソフトウェアおよび/もしくはファームウェアとともに構成された、1つもしくは複数のプロセッサの組合せを指すことがあることも、当業者は諒解されよう。

本明細書での任意の識別子による識別は、暗黙的または明示的であり得る。識別は、たとえば、あるコンピュータプログラムまたはプログラムプロバイダのための、あるコンテキストにおいて一意であり得る。

本明細書で使用されるとき、「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、典型的には、ハードディスク、磁気ストレージ、媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指すことがある。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。

また、第1のデバイス、第2のデバイス、第1の表面、第2の表面などの任意の列挙する用語は、そのようなものとして非限定的であると見なされるべきであり、その用語は、そのようなものとして、ある階層的関係を暗示しないことにも留意されたい。反対に、いかなる明示的な情報もない場合、列挙による命名は、異なる名称を達成する方法にすぎないと見なされるべきである。

本明細書で使用されるとき、「するように構成される」という表現は、処理回路が、ソフトウェアまたはハードウェア構成を用いて、本明細書で説明されるアクションのうちの1つまたは複数を実行するように構成または適合されることを意味し得る。

本明細書で使用されるとき、「数」または「値」という用語は、2進数、実数、虚数、または有理数など、任意の種類の数字を指すことがある。さらに、「数」または「値」は、文字(letter)または文字列(string of letters)など、1つまたは複数の文字(character)であり得る。また、「数」または「値」は、ビット列によって表され得る。

本明細書で使用されるとき、「あり得る(may)」および「いくつかの実施形態では」という表現は、典型的には、説明される特徴が、本明細書で開示される任意の他の実施形態と組み合わせられ得ることを示すために使用されている。

図面では、いくつかの実施形態のみにおいて存在し得る特徴は、典型的には、点線または破線を使用して描かれている。

「備える(comprise)」または「備える(comprising)」という語を使用するとき、その語は、非限定的である、すなわち、「少なくとも～からなる(consist at least of)」を意味するものと解釈されるべきである。

本明細書の実施形態は、上記で説明された実施形態に限定されない。様々な代替形態、変更形態、および均等物が使用され得る。したがって、上記の実施形態は、添付の特許請求の範囲によって定義される、本開示の範囲を限定するものとして解釈されるべきではない。

105 撮像システム、システム
110 光源
111 特定の光パターン
112 光線
120 第1の測定物体、第1の物体
121 第2の測定物体、第2の物体
122 コンベヤベルト
123 座標系、実世界座標系
130 カメラ、カメラユニット
141-1～141-N 輪郭画像
143 センサーベースの座標系
211 第1の光
212 光線
220 くさび形の測定物体、測定物体
253 3D仮想座標系
260 点群、点のセット
261 点線
305 撮像システム、システム
310 第1の光源、光源
311 第1の光、反射された第1の光、光
320 測定物体、実世界測定物体、対応する実世界物体、実世界物体
321a、321b ダミー物体、例示的なダミー物体
323 実世界座標系
325 例示する表面、表面
330 カメラ、デバイス
330a 仮想錐台
330b カメラ光学中心C
331 画像センサー
332 視野、光線
333 コンピューティングデバイス
352 仮想光線、カメラ方向、それぞれのカメラ方向
353 3D仮想座標系、x'、y'、z'、仮想座標系、座標系
354 仮想照明方向
355 点、それぞれの点、それぞれの点自体
355-1..355-15 点のセット、セットの点
361 薄い点線の外形線、外形線
600 デバイス
601 処理モジュール
602 メモリ
603 コンピュータプログラム
604 処理回路構成、プロセッサ
605 入力/出力(I/O)モジュール、I/Oモジュール
701 コンピュータ可読記憶媒体

Claims (10)

1. 画像センサー(331)をもつカメラ(330)を用いて、対応する実世界物体(320)の3D撮像によって提供された、3次元、3D仮想物体の点のセット(355-1..355-15)から、誤った点を除去するための方法であって、前記方法は、
   - 前記点のセット(355-1..355-15)を取得するステップ(401)と、
   - それぞれの点(355)について、前記セット内で、もしあれば、競合する点を特定するステップ(403)であって、競合する点は、あらかじめ定義された1つまたは複数の基準に従って、前記それぞれの点(355)と有効に共存することができない、前記セットの点である、ステップと、
   - 前記セットのそれぞれの点(355)についての前記特定に基づいて、競合に関与する前記セットの他の点よりも多くの回数で競合に関与した、前記セットの1つまたは複数の点を、前記セットから除去するステップ(404)であって、前記セットのそれぞれの点(355)は、前記それぞれの点について前記セット内で競合する点が特定されるたびに、および/または前記それぞれの点自体(355)が前記セットの他の点に対する競合する点として特定されるたびに、競合に関与すると見なされる、ステップと
   を含む、方法。
2. あらかじめ定義されたしきい値を超える複数回で競合に関与する点は、前記セットから除去される、請求項1に記載の方法。
3. 前記1つまたは複数のあらかじめ定義された基準は、前記カメラ(330)が、仮想的に、前記点のセット(355-1..355-15)の座標系(353)におけるその対応する位置から何を見ることができるかに少なくとも基づく、請求項1または2に記載の方法。
4. 前記方法は、
   - それぞれの点(355)について、その光放出が前記3D撮像中に前記画像センサー(331)によって検知された、前記カメラ(330)に向かう前記実世界物体(320)の対応する点からの光放出の方向に対応する、それぞれのカメラ方向(352)を取得するステップ(402)
   をさらに含み、
   競合する点は、少なくともそのカメラ方向(352)に基づいて、前記それぞれの点(355)と有効に共存することができない、前記セットの点である、請求項1から3のいずれか一項に記載の方法。
5. 競合する点は、前記セットの前記点(355-1..355-15)がコヒーレントな表面によって最も近い近隣の表面点と接続され、そのコヒーレントな表面が光を遮断することになるという仮定に基づいて、前記それぞれの点(355)と有効に共存することができない、前記セットの点である、請求項1から4のいずれか一項に記載の方法。
6. それぞれの点についての競合する点の前記特定は、前記それぞれの点からある距離内に存在する、前記セットの点に限定される、請求項1から5のいずれか一項に記載の方法。
7. 前記3D撮像は、光源(310)による、前記実世界物体(320)の照明を備える光三角測量に基づき、前記光放出は、前記照明から生じる前記実世界物体(320)の表面からの反射光である、請求項4に記載の方法。
8. 1つまたは複数のプロセッサ(604)によって実行されると、1つまたは複数のデバイス(600)に、請求項1から7のいずれか一項に記載の方法を実行させる命令を備える、コンピュータプログラム(603)。
9. 請求項8に記載のコンピュータプログラム(603)を備えるキャリアであって、前記キャリアは、電子信号、光信号、無線信号、またはコンピュータ可読記憶媒体(701)のうちの1つである、キャリア。
10. 画像センサー(331)をもつカメラ(330)を用いて、対応する実世界物体(320)の3D撮像によって提供された、3次元、3D仮想物体の点のセット(355-1..355-15)から、誤った点を除去するための1つまたは複数のデバイス(600)であって、前記1つまたは複数のデバイスは、
    前記点のセット(355-1..355-15)を取得すること(401)、
    それぞれの点(355)について、前記セット内で、もしあれば、競合する点を特定すること(403)であって、競合する点は、あらかじめ定義された1つまたは複数の基準に従って、前記それぞれの点(355)と有効に共存することができない、前記セットの点である、特定すること、ならびに
    前記セットのそれぞれの点(355)についての前記特定に基づいて、競合に関与する前記セットの他の点よりも多くの回数で競合に関与した、前記セットの1つまたは複数の点を、前記セットから除去すること(404)であって、前記セットのそれぞれの点(355)は、前記それぞれの点について前記セット内で競合する点が特定されるたびに、および/または前記それぞれの点自体(355)が前記セットの他の点に対する競合する点として特定されるたびに、競合に関与すると見なされる、除去すること
    を行うように構成される、1つまたは複数のデバイス(600)。