JP2021110758A

JP2021110758A - 校正対象物体を有するイメージングシステム

Info

Publication number: JP2021110758A
Application number: JP2021004084A
Authority: JP
Inventors: ダニエル・リュドストレーム; Rydstroem Daniel
Original assignee: Sick IVP AB
Current assignee: Sick IVP AB
Priority date: 2020-01-15
Filing date: 2021-01-14
Publication date: 2021-08-02
Anticipated expiration: 2041-01-14
Also published as: EP3851789A1; US20210215475A1; JP7132369B2; CN113124771B; CA3101516A1; EP3851789B1; US11692815B2; CN113124771A

Abstract

【課題】物体の3次元特性に関する情報を1つまたは複数のカメラを用いて取得するための光三角測量に基づくイメージングシステムを提供する。【解決手段】校正対象物体2000aは、1つまたは複数の正直角錐凹部および1つまたは複数の正直角錐を備え、それらのそれぞれの底面が同じ平面にあり、かつそれらのそれぞれの頂点422a〜cがその同じ平面から同じ直交距離である、校正対象物体2000aの表面構造から反射される光をカメラが検出することができるように上記カメラのそれぞれの視野内である。上記正直角錐凹部の少なくとも1つの底面が上記正直角錐の少なくとも1つの底面と少なくとも1つの辺を共有し、その結果辺を共有する各対の側面423a-3が共通の平面に設けられる。【選択図】図4A

Description

本明細書における実施形態は、光三角測量に基づくイメージングシステムであって、イメージングシステムの校正のための校正対象物体を備えるシステムに関する。

ファクトリおよびロジスティックオートメーションのための産業用ビジョンカメラおよびシステムが3次元(3D)マシンビジョンに基づき得るが、そこでは場面および/または物体の3D画像が取得される。3D画像によって、従来の画像におけるように2次元(2D)にだけ画素に関する情報、例えば強度および/または色でなく、または少なくともそれだけでなく、「高さ」または「奥行き」情報も備える画像が言及される。すなわち、画像の各画素は、画像における画素の位置と関連し、かつ撮像されたもの、例えば物体の位置にマッピングするそのような情報を備え得る。次いで、3D画像から物体の特性に関する情報、すなわち物体の3D特性を抽出し、そして例えば様々な3D画像フォーマットに変換する処理が適用され得る。そのような高さに関する情報はレンジデータと称され得るが、そこではレンジデータは、したがって撮像されている物体の高さ測定からの、または言い換えれば物体のレンジもしくは距離測定からのデータに相当し得る。代替的または追加的に、画素は、例えば撮像領域における光の散乱または特定の光の波長の反射に関するなどの物質の性質に関する情報を備え得る。

それ故、画素値は、例えば画素の強度におよび/またはレンジデータにおよび/または物質の性質に関し得る。

例えば画像データを一度に1行の画素だけ感知および提供するように構成されるセンサを有するカメラによって、画像の画像データが一度に1行だけ走査または提供されると、ライン走査画像データが生じる。ライン走査画像の特例が、例えばレーザ線などによる、いわゆる「光のシート」3D三角測量によって提供される画像データである。レーザがしばしば好まれるが、「光のシート」を提供することができる他の光源、例えば発光ダイオード(LED)によって提供される光など、集束を保ちそれほど発散しない光を提供することができる光源も使用できる。

3Dマシンビジョンシステムは、しばしばそのような光のシート三角測量に基づく。そのようなシステムでは、特定の光パターンで物体を照らす光源があり、特定の光パターンとしては光のシートなど、例えば物体上に光線またはレーザ線をもたらし、その線に沿って、物体の外形に対応して、物体の3D特性が取得できる。使用される光は時に構造化光と称される。そのような線で物体を走査する、すなわちライン走査を行うことによって、複数外形に対応して、物体全体の3D特性が取得できる。

三角測量のために光のシートを使用する3Dマシンビジョンシステムまたはデバイスは、光もしくは光のシート三角測量、またはレーザ光が使用されるときは単にレーザ三角測量に基づく3Dイメージングのためのシステムまたはデバイスと称され得る。

典型的には、光三角測量に基づいて3D画像を生成するために、撮像されることになる物体からの反射光がカメラのイメージセンサによって取得され、そして画像データにおいて強度ピークが検出される。ピークは、物体から反射された、例えばレーザ線に対応する入射光を有する撮像された物体上の場所に対応する位置において発生する。検出されたピークの画像における位置は、ピークをもたらす光が反射された物体上の位置にマッピングすることになる。

レーザ三角測量カメラシステム、すなわち光三角測量に基づくイメージングシステムが対象物体上へレーザ線を投影して、対象物体の表面から高さ曲線を作成する。関与するカメラおよび光源に対して対象物体を移動させることによって、対象物体の異なる部分からの高さ曲線に関する情報が画像によって取得され、次いで対象物体の3次元表現を生成するために組み合わされて使用できる。

従来は、レーザ平面内の測定誤差を補正して、例えばレンズ歪みおよび透視効果(perspective effect)を含め、イメージセンサ校正が行われる。これらの誤差が補正されると、例えば光源の配置によってもたらされるスキュー歪みも同様に補正され得る。座標系も典型的には校正中に或る基準に位置合せされる。

光三角測量に基づくイメージングシステムの校正は、例えば、イメージセンサ座標におけるイメージセンサデータを実世界座標に変換することができる関係を見出すことを含む。言い換えれば、校正は、例えばセンサメトリックおよび座標と、実世界メトリック、例えば標準メートル系単位、および実世界座標との間の関係を提供しようとする。

カメラおよび光源が設定または変更、例えば互いに対する位置の変更、視野の変更などをされるたびに、典型的には校正からの関係が確立される必要がある。言い換えれば、校正は、イメージングシステムの設定の後にまたはそれに関連して、かつそれが通常動作に使用される前になされる。

校正中に、所定かつ既知の性質、例えば幾何形状および寸法を持つ校正対象物体が撮像されて上記関係を確立するために活用される。確立された関係は次いで使用される、例えば対象物体が通常動作中にイメージングシステムによって撮像されると、物体のより良好かつより正確な3D表現が可能にされて提供でき、かつそれが物体の現実の実寸法通りであるように、イメージングシステムを構成するために使用される。

校正の最初の部分は、例えば、走査において、すなわち校正対象物体の画像データにおいてどこに平面表面が出現するかが見出される物体識別である。これらの表面および平面に対する平面方程式が既知の寸法および幾何形状を持つ校正対象物体のモデルに合致されると推定される。

イメージングシステムが使用できる全てまたは可能な限り多くの校正措置および状況に対して単一の校正物体を使用することができるのが好まれる。例えば、可能な限り多くの異なる設定、例えばカメラおよび光源構成および関係に対してならびに各々に対して、例えばスキュー歪みを算出するおよび/または基準座標系への位置合せを達成することができる。

上記のまたは上記と同様の目的で異なる種類の校正物体が先行技術に提案されてきた。

米国特許出願公開第20180012052(A1)号が、対向カメラ位置合せ、すなわち2つのカメラが互いに対向して2つの反対方向から物体を撮像する設定のために使用できる方法および校正物体を開示している。

上記に鑑みて、目的は、先行技術の1つまたは複数の改善または代替を提供することであって、対象物体の3D特性に関する情報を取得するための光三角測量に基づくイメージングシステムであり、イメージングシステムの校正を促進および/またはサポートする、改善されたまたは代替の校正物体を有するイメージングシステムを提供することなどである。

同目的は、対象物体の3次元特性に関する情報を、上記対象物体から反射される光を検出するための第1の1つまたは複数の位置に配置される1つまたは複数のカメラを用いて取得するための光三角測量に基づくイメージングシステムによって達成される。イメージングシステムは、上記第1の位置における上記1つまたは複数のカメラ、および校正対象物体であり、カメラが校正対象物体の1つまたは複数の表面構造から反射される光を検出することができるように上記カメラのそれぞれの視野内にある、校正対象物体を備える。上記1つまたは複数の表面構造は、1つまたは複数の正直角錐凹部および1つまたは複数の正直角錐を備え、それらのそれぞれの底面が同じ平面にあり、かつそれらのそれぞれの頂点がその同じ平面から同じ直交距離である、第1の表面構造を有する。それぞれの正直角錐の側面は正直角錐凹部の側面に対応する。少なくとも3つの正直角錐または少なくとも3つの正直角錐凹部があり、ここでは上記正直角錐凹部の少なくとも1つの底面が上記正直角錐の少なくとも1つの底面と少なくとも1つの辺を共有し、その結果辺を共有する各対の側面が共通の平面に設けられる。

辺を共有する各対の側面は、したがって共通の平面に単一の表面として現れることになり、そして同表面は、一端において正直角錐凹部の頂点へ収束し、かつ他方の反対端において正直角錐の頂点へ収束する。したがって、比較的大きく、検出しやすく、かつ2つの頂点を見つけるために使用できる単一の表面があることになる。イメージングシステムの校正がそれによって促進され、そして効率的な校正が可能にされる。それ故、光三角測量に基づくイメージングシステムであり、イメージングシステムの校正を促進および/またはサポートする校正対象物体を有するイメージングシステムが提供された。

本明細書における実施形態の例が、以下に簡単に説明される添付の略図を参照しつつより詳細に記載される。

先行技術イメージングシステムの一例を概略的に例示する図である。本明細書における一部の実施形態に係る例証的なイメージングシステムを概略的に例示する図である。本明細書における一部の更なる実施形態に係るイメージングシステムを概略的に例証する図である。本明細書における一部の更なる実施形態に係るイメージングシステムを概略的に例証する図である。本明細書における一部の更なる実施形態に係るイメージングシステムを概略的に例証する図である。本明細書における一部の更なる実施形態に係るイメージングシステムを概略的に例証する図である。本明細書における一部の実施形態に備えられる校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。異なる追加の、第2の表面構造を持つ、本明細書における一部の実施形態に備えられる異なる校正対象物体の図のうちの1つである。異なる追加の、第2の表面構造を持つ、本明細書における一部の実施形態に備えられる異なる校正対象物体の図のうちの1つである。本明細書における一部の実施形態に備えられる更なる校正対象物体、およびその表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる更なる校正対象物体、およびその表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる更に別の校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる更に別の校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。本明細書における一部の実施形態に備えられる更に別の校正対象物体、およびその第1の表面構造の異なる図のうちの1つである。

本明細書における実施形態は例証的な実施形態である。これらの実施形態が必ずしも相互に排他的であるわけではないことが留意されるべきである。一実施形態からの構成要素が別の実施形態に存在すると黙示的に想定され得るが、それらの構成要素がその他の例証的な実施形態においてどのように使用され得るかは当業者にとって明らかであろう。

図1は、対象物体の3D特性に関する情報を取得するための光三角測量に基づく、3Dマシンビジョンのための、背景技術で述べたような種類のイメージングシステムの一例、すなわちイメージングシステム100を概略的に例示する。システム100は、図において通常動作の状況において、すなわち典型的には校正が行われた後で、したがってシステムが校正されている状況において図示される。システム100は、ここでは背景技術で述べたような光のシート三角測量の形態で光三角測量を行うように構成される。システム100は、図において光のシートとして例証および例示される、特定の光パターン111で撮像されることになる物体を照らすための光源110、例えばレーザを更に備える。光はレーザ光でよいが、必ずしもそうである必要はない。図示の例では、対象物体は、車の形態の第1の対象物体120および歯車構造の形態の第2の対象物体121によって例証される。特定の光パターン111が物体に入射すると、これは、物体への特定の光パターン111の投影に相当しており、特定の光パターン111が物体と交差するので、見ることができる。例えば、図示の例では、光のシートとして例証される特定の光パターン111は、第1の物体120上に光線112をもたらす。特定の光パターン111は、物体によって、より詳細には交差における、すなわち図示の例では光線112における物体の部分によって反射される。測定システム100は、イメージセンサ(図1に図示せず)を備えるカメラ130を更に備える。カメラおよびイメージセンサは、光源110および撮像されることになる物体に関して、特定の光パターンが、物体によって反射されると、イメージセンサへの入射光になるように配置される。イメージセンサは、入射光を画像データに変換するための、典型的にはチップとして実装される装置である。物体の上記部分は、反射によってイメージセンサへの上記入射光を生じるが、それによってカメラ130およびイメージセンサによって取得され得、そして対応する画像データが生成されて更なる使用のために提供され得る。例えば、図示の例では、特定の光パターン111は、第1の物体120の車の屋根の一部分上の光線112において、カメラ130およびイメージセンサに向けて反射されることになり、それによって車の屋根の上記一部分についての情報を持
つ画像データを生成および提供し得る。測定システム100の幾何形状についての、例えばイメージセンサ座標が、撮像されている物体およびそのコンテキストに関連する座標系123、例えばデカルトの座標などの世界座標にどのように関係するかについての知識により、画像データは、適切なフォーマットで撮像されている物体の3D特性に関する情報、例えば3D形状または外形に変換され得る。この知識は、背景技術で述べたように典型的には校正から得られる。上記3D特性に関する情報、例えば上記3D形状または外形は、任意の適切なフォーマットで3D特性を描くデータから成り得る。

例えば光源110および/または、第1の物体120もしくは第2の物体121などの、撮像されることになる物体を、物体の複数部分が照らされてイメージセンサへの反射光を生じるように、移動させることによって、実際に典型的には物体を走査することによって、例えば、第1の物体120の図示される外形画像140-1〜140-Nなどの、物体の複数の連続した外形に対応して、物体のより完全な3D形状を描く画像データが生成され得るが、ここで各外形画像は、カメラユニット130のイメージセンサが外形画像をもたらす光を感知したときに特定の光パターン111が反射された第1の物体120の輪郭を図示する。図に示すように、光源110およびカメラユニット130を典型的には固定したまま特定の光パターン111を通して物体を移動させるために、コンベアベルト122もしくは類似物が使用され得る、または特定の光パターン111および/もしくはカメラ130が物体の上方を移動され得、その結果、物体の全ての部分、または少なくとも光源110に面する全ての部分が照らされ、そしてカメラユニットは、撮像が所望される物体の全ての部分から反射される光を受光する。

上記から理解されるように、例えば第1の物体120の、カメラユニット130およびイメージセンサによって提供される画像は外形画像140-1〜140-Nのいずれか1つに対応し得る。外形画像140-1〜140-Nのいずれかに図示される第1の物体の輪郭の各位置は、典型的には、イメージセンサによって取得される画像データにおける強度ピークの識別に、およびこれらの強度ピークの位置を見つけることに基づいて決定される。

図2は、本明細書における一部の実施形態に係る、1つまたは複数の対象物体の3D特性に関する情報を取得するための光三角測量に基づく例証的なイメージングシステム200を概略的に例示する。図示のシステムは、それぞれ或る位置に配置される1つの光源210および1つのカメラ230を有する基本構成に相当する。システム200は、図1におけるシステム100に対応し得るが、通常動作のためよりむしろ校正のための状態にある。通常動作中のシステムが対象としている、すなわち撮像している、図1における物体120、121などの対象物体でなく、代わりに図2においてシステム200の校正のための校正対象物体2000がある。校正中、イメージングシステム200によって対象とされる、すなわち撮像されるのは、したがって代わりに校正対象物体2000である。校正対象物体2000と、その好まれる性質および変化が以下に更に詳細に記載されることになる。校正対象物体は、カメラ230の視野231内に少なくとも部分的に設けられる。光源210は、特定の光パターンの形態の光211、例えば光のシートおよび/またはレーザ線で校正物体を照らし、校正対象物体によって反射され、反射光はカメラ230によって取得される。典型的には、例えば校正対象物体2000がコンベアベルトを用いて移動し、それによって光源からの光によって完全に照らされ得る、図1におけるような場合などの通常動作中に対象物体が照らされるのと同様のまたは同じ方式で、校正対象物体は照らされるべきであり、画像が取得される。光源210およびカメラ230は、同じ位置に配置されるなど、それらが通常動作中であるのと同じように配置されるべきである。校正対象物体2000は、理解されるように、少なくとも校正に使用されかつそれに関連する或る特徴に関して、既定かつ/または所定の寸法および性質を有する。上記寸法および性質は、例えば或る世界または実座標系により、例えばメートル系単位による。

図3A〜図3Dは、それぞれ、本明細書における一部の更なる実施形態に係るイメージングシステム200a〜dを概略的に例証する。図示のシステムは、対象物体の3D特性に関する情報を取得するための光三角測量に基づくイメージングシステムの異なる更なる構成および/または設定を、ならびにこれらのイメージングシステムの校正のための校正対象物体の3D特性に関する情報を取得するための異なる更なる構成および/または設定も表すとみなされ得る。認識されるはずであるようにかつ図に例示されるように、1つの同じ校正対象物体が、イメージングシステムの動作のために使用される異なる構成および/または設定の校正をサポートでき、かつそれに使用できるとすれば、それは望ましい。

図のイメージングシステムは、カメラ230、または一部の図では2つのカメラ、それぞれ視野231a、bを有する第1および第2のカメラ230a、bを備え、かつ光源210、または一部の図では2つの光源、第1の光源210aおよび第2の光源210bを備える異なる更なる構成および/または設定を図示する。

図3Aは、カメラ、ここでは物体から、例えば校正物体2000から反射される光を取得するために横並びに配置される2つのカメラ230a、bの「横並び」設定を有する構成の一例である。物体は単一の光源、ここではカメラによって見られる側の光源210によって照らされる。

図3Bは、カメラ、ここでは物体、ここでは校正物体2000の反対側を見るように配置され、かつ物体のそれぞれの側から反射される光を取得する2つのカメラ230a、bの「上/下」設定を有する構成の一例である。物体の上記反対側の各々は、それぞれの光源、ここでは210a、bによって照らされる。

図3Cは、カメラ、ここでは物体の同じ側であるが、物体、ここでは校正物体2000の反対方向から、例えば後および前方向から見るように配置される2つのカメラ230a、bの「後/前」設定を有する構成の一例である。物体の上記側は単一の光源、ここでは光源210によって照らされる。

図3Dは、物体が設けられる箱225または容器内をカメラが見るように配置される「箱内」設定を有する構成の一例である。2つの光源、ここでは210a、bが、異なる、例えば反対方向から箱225の内部および物体を照らすように配置される。

図2、図3A〜図3Dは、イメージングシステムの校正のための状態にあるイメージングシステム、例えば200、200a〜dの例を図示しており、同校正は校正対象物体2000、または単に校正物体、例えば後述する図4〜図6に図示されるような2000a〜eのいずれか1つに基づく。各イメージングシステムは、したがって、1つまたは複数の対象物体の3D特性に関する情報を、上記1つまたは複数の対象物体から反射される光を検出するための第1の1つまたは複数の位置に配置される1つまたは複数のカメラ、例えば230、230a〜bを用いて取得するための光三角測量に基づくものである。認識されるはずであるように、そのような画像システムが、上記光、すなわちやがて反射されてカメラによって検出される光での上記1つまたは複数の対象物体の照明のために、それぞれ或る1つまたは複数の第2の位置に配置される1つまたは複数の光源、例えば210、210a〜bも備えることが意味される。イメージングシステムは、通常動作中に、上記対象物体を対象とする、すなわち撮像すると意図され、したがってこの目的で設定されている。

校正対象物体2000は、少なくとも部分的に、上記カメラ、例えば230のそれぞれの視野、例えば231内に設けられ、その結果カメラは、校正対象物体2000の1つまたは複数の表面構造から反射される光を検出することができる。校正対象物体2000は、したがって、それが、通常動作中に使用されると意図されるのと同じイメージングシステムの設定を使用して、例えば同じ位置における、かつ/または上記対象物体が撮像される通常動作中と同じ仕方で動作されるように構成される上記カメラおよび/または光源で、撮像できるように位置決めされる。先に説明したように、光三角測量に基づいて3Dイメージングシステムを校正する従来のかつ典型的に必要とされる仕方は、通常動作中に撮像されると意図される対象物体でなく校正対象物体が撮像されることを例外として、通常動作中と同じ設定を使用して校正することである。

図4A〜図4Dは、本明細書における一部の実施形態に備えられる校正対象物体2000a、およびその第1の表面構造の異なる図を示す。校正対象物体2000aは前述の校正対象物体2000であり得る。図4A〜図4Bは、校正対象物体2000aの同じ斜視図を示す。図4Cは、校正対象物体2000aの上面図を、そして図4Dは、図4Cにおける大矢印によって示される視点からの、その側面図を示す。

校正対象物体2000aの第1の表面構造は、1つの正直角錐凹部410および3つの正直角錐420a〜cを備える。角錐凹部410および角錐420a〜cは、それらのそれぞれの底面を同じ平面に有し、これは底面平面430と称されてよく、そしてそれらのそれぞれの頂点412、422a〜cをその同じ平面から同じ直交距離に有する。これは図4Dに最もよく例示され得、角錐420a〜cの頂点422a〜cが第1の頂点平面431にあり、そして角錐凹部410の頂点412が第2の頂点平面432にあり、両方とも底面平面430から同じ距離であることが見て取れる。

図示の例では、角錐凹部410および角錐420a〜cは、各々4つの辺を持つ正方形底面を、ならびにそれによって角錐凹部および角錐ごとに4つの側面も有する。一部の側面、例えば角錐420a、420bの側面423a-3、423b-1、423b-2および角錐凹部410の側面413-1、413-2、413-3、413-4が図に示される。図に見られるように、それぞれの正直角錐420a〜cの側面は正直角錐凹部410の側面に対応する。

校正対象物体2000aおよび第1の表面構造は、3つの正直角錐および1つの正直角錐凹部を有する。しかしながら、一般に本明細書における実施形態のために、1つまたは複数の正直角錐および1つまたは複数の正直角錐凹部、ならびに少なくとも3つの正直角錐または少なくとも3つの正直角錐凹部があるものとする。言い換えれば、角錐か角錐凹部かの少なくとも3つがあるべきである。更に、一般に本明細書における実施形態のために、上記正直角錐凹部の少なくとも1つの底面は上記正直角錐の少なくとも1つの底面と少なくとも1つの辺を共有するべきであり、その結果辺を共有する各対の側面が共通の平面に設けられる。辺を共有する各対の側面は、したがって共通の平面に単一の表面として現れることになり、そして同表面は、一端において正直角錐凹部の頂点へ収束し、かつ他方の反対端において正直角錐の頂点へ収束する。例えば、側面413-1および423a-3は共通の平面にあり、かつ頂点422aおよび412に収束する表面を形成する。したがって、比較的大きく、検出しやすく、かつ2つの頂点を見つけるために使用できる単一の表面があることになる。イメージングシステムの校正がそれによって促進され、そして効率的な校正が可能にされる。例えば、同様のイメージングシステムの校正に使用される一部の先行技術の校正対象物体と比較して、頂点の位置を見つけるために効果的かつ有用である表面がより多くある。効率的かつ小型の校正対象物体が可能にされ、そしてそれがイメージングシステムの多くの異なる設定と使用できる。

図4Aにおいて、角錐凹部410は、全ての3つの角錐420a〜cとその底面の辺を共有する。底面の辺が図4Aおよび図4Cにおいて一点鎖線によって示されることに留意されたい。例えば、角錐凹部410の底面の辺411-1が角錐420aと共有される、すなわち角錐420の底面の辺421a-3がここで角錐凹部410の底面の辺411-1と同じである。

角錐および角錐凹部の底面の一部の更なる辺、例えば角錐420aの底面の辺421a-1、421a-2および421a-4、ならびにそれぞれ角錐420bおよび角錐凹部410の底面の共有辺421b-2および411-4、が図に示される。

前に説明したように、校正中に、校正対象物体の、所定のなど、既知の性質、特徴および寸法が活用される。したがって、校正対象物体からの画像データにおける、すなわち校正対象物体を撮像するために使用されたときにイメージングシステムから生じる画像データにおける特徴の識別を促進することが望ましい。平面表面が、側面によって形成されるものとして、比較的検出および識別しやすく、そしてそれが既知の性質を有する、例えばそれが平面でありかつ角錐および角錐凹部の側面によって形成されていること、ならびにそれが2つの頂点に収束することが知られている場合、頂点の位置が決定できる。更に、少なくとも3つの角錐または角錐凹部があるので、同じ平面における3つの頂点の位置が決定でき、それによって頂点平面、例えば第1の頂点平面431も決定できる。たとえ1つの頂点だけが別の頂点平面、例えば第2の頂点平面432にあっても、それが第1の頂点平面431と平行であると知られているので、この平面も決定できる。例えば上記頂点および平面が画像データにおいておよびイメージセンサ座標において識別されると、校正対象物体の既知の性質、特徴および寸法ならびに実世界座標における対応する位置が校正のために活用できることが認識される。

校正対象物体からの画像データにおいて実際に頂点を直接それとして識別する必要はないことに留意されたい。頂点の位置は、頂点に収束すると知られている表面およびその端が識別されたときに、計算によって高精度で決定され得る。言い換えれば、角錐および角錐凹部は、物理的頂点を有する必要はなく、したがって物理的校正対象物体の頂点が破損しても問題ではない。実際、角錐および角錐凹部「切欠き」の1つまたは複数を持つ、本明細書における一部の実施形態に備えられる校正対象物体があり得、すなわち直角錐台および/または直角錐台凹部の形態であり得る。しかしながら、側面は、もちろん依然上記した底面辺などを共有するべきである。とは言え、それでも物理的頂点を持つ本明細書における実施形態に係る校正対象物体の角錐および角錐凹部を形成するのが好まれるが、これが、検出に利用可能な表面がより多くあることを意味するからである。

たとえ上記したように辺を共有する、すなわち共通の平面に単一の表面として現れ、かつ表面の反対端において頂点に収束する単一対の側面により既に有益であっても、例えば校正対象物体2000aの場合のように、そのような表面がより多くあれば効果が改善される。好ましくは、同じ平面に少なくとも3つの頂点があるべきであり、それぞれの単一の表面の各部分が表面の反対端においても頂点に収束する。

それ故、一部の実施形態において、正直角錐凹部の少なくとも1つ、例えば410の底面が正直角錐の少なくとも2つ、例えば420a〜cの2つの底面と少なくとも2つの辺を共有し、その結果辺を共有する各対の側面、例えば413-1および423a-3が共通の平面に設けられる。一部の実施形態において、例えば図4A〜図4Dに図示されるものに反転される表面構造に相当し得るが、正直角錐の少なくとも1つの底面が正直角錐凹部の少なくとも2つの底面と少なくとも2つの辺を共有し、その結果辺を共有する各対の側面が共通の平面に設けられる。

更には、一部の実施形態において、上記正直角錐凹部の少なくとも1つ、例えば410の底面が上記正直角錐の少なくとも3つ、例えば420a〜cの底面と少なくとも3つの辺を共有し、その結果辺を共有する各対の側面が共通の平面に設けられる。一部の実施形態において、ここでも図4A〜図4Dに図示されるものに反転される表面構造に相当し得るが、正直角錐の少なくとも1つの底面が正直角錐凹部の少なくとも3つの底面と少なくとも3つの辺を共有し、その結果辺を共有する各対の側面が共通の平面に設けられる。

上述した校正対象物体2000a〜cの正直角錐および正直角錐凹部は正方形底面を有しており、幾つかの理由で有利である。例えば、そのような校正対象物体は生産しやすくなり得、それは、多くの有用な表面を持つ高密度かつ効果的な校正対象物体を可能にし、多くの異なるイメージングシステム設定の校正を可能にして促進し、それは識別のための比較的大きな表面を提供し、辺間の単純な90度関係を提供し、そして例えば画像データによって十分に取得されないなど、角錐または角錐凹部の1つの側面がなくとも、依然として交点およびしたがって頂点を見つけるために使用され得る3つの他の表面がある。それ故、ここでは、一般に正方形底面が校正を促進する。

しかしながら、他の底面、例えば三角形底面も可能であり、これは、頂点をもたらすことができる角錐の最小の可能な底面幾何形状である。そのような角錐および角錐凹部も、検出のための比較的大きいが少ない表面を持つ高密度校正物体を可能にする。最小の可能な校正物体も、三角形底面を持つ角錐および角錐凹部に基づき得る。

それ故、一部の実施形態において、校正対象物体は、三角形底面または正方形底面を有する、1つまたは複数の正直角錐凹部および1つまたは複数の正直角錐を有する。

単純な関係を保ちかつ可能な限り多くの有用な表面を持つ高密度校正物体を提供することができるようにするために、単一の校正物体の各表面構造および例えば全ての表面構造が同じ種類の、更に好ましくは、例えば図示の例におけるように、同じサイズの角錐底面に基づくべきである。しかしながら、典型的に一部の欠点と関連するとはいえ、混合表面構造は本明細書における実施形態に対して全般的には除外されない。

その上、正方形および三角形以外の底面幾何形状、例えば六角形も可能であり、それらも例えば角錐凹部の底面の全辺が角錐と共有され得る高密度表面構造を可能にする。一部の他の幾何形状は、これを可能にしない。しかしながら、一般に、5つ以上の辺を持つ角錐底面は、不必要な多くの側面を持つ望ましくなく複雑な校正物体をもたらしかねず、ここで各側面の表面が辺の数と共に次第に小さくなる。また、同じ角錐または角錐凹部の側面間の角度差が小さいほど、画像データにおいてそれらを別々のものとして識別することが困難になりかねず、そして角度差は角錐底面の辺の数と共に減少する。

一部の実施形態において、例えば正方形底面の場合かつ図4A〜図4Dに関して、角錐および角錐凹部が鈍角であること、正直角錐凹部、例えば410および正直角錐、例えば420a〜cのそれぞれの頂点、例えば412、422a〜cが少なくとも90度の頂角を有することが好まれ得る。本明細書で使用される場合、正方形底面を持つ角錐の場合、頂角は反対側面の平面間の交角である。一部の状況およびイメージングシステム設定に対して、鈍角の角錐および角錐凹部が閉塞の危険性を軽減し、撮像および検出されることになる表面が遮断もしくは隠蔽され、または光が望ましくない方向に反射される。しかしながら、例えば或る画像システム設定に対して、鋭角の角錐および角錐凹部が望ましい一部の状況があり得る。より小さな頂角が、角錐頂点と角錐凹部頂点との間のより高い分解能など、時に望ましい幾つかの便益を有し、そしてそのより小さな校正対象物体が達成できる。

一部の実施形態において、物体の反対側になど、例えば図4A〜図4Dに図示されるものに加えて、1つまたは複数の追加の表面構造があり、その結果、物体は更に多くの異なるイメージングシステム設定と使用できる。

それ故、一部の実施形態において、上述したような第1の表面構造に加えて、第1の表面構造の場所と比較して校正対象物体の反対側に設けられる追加の、第2の表面構造を有する校正対象物体がある。上記第2の表面構造も、1つもしくは複数の正直角錐凹部および/または1つもしくは複数の正直角錐を備え、それらのそれぞれの底面が同じ平面にあり、かつそれらのそれぞれの頂点がその同じ平面から同じ直交距離である。少なくとも3つの正直角錐または少なくとも3つの正直角錐凹部があるべきである。以下に説明するように、これは、単一側表面構造で可能であるより多くのイメージングシステム設定に対する校正、および校正対象物体のより柔軟な使用法を可能にする。

図4E〜図4Fは、異なる追加の、第2の表面構造を持つ、本明細書における一部の実施形態に備えられる2つの異なる校正対象物体の図を示す。図示された第2の表面構造の各々は、校正対象物体2000aに対して図4A〜図4Dに図示されたようであり得る第1の側および表面構造を持つ校正対象物体の別の、好ましくは反対側に設けられ得る。

図4Eは、校正対象物体2000bおよびその第2の表面構造の斜視図を示す。他方の図示されない側に、校正対象物体2000aに対して図4A〜図4Dに図示されたような表面構造があり得る。図4Eにおける図示された第2の表面構造が図4A〜図4Dに図示された第1の表面構造の反転形であり、例えば各角錐が角錐凹部に対応し、逆も同じであることが留意され得る。または、言い換えれば、第1および第2の表面構造は互いのミラー化である。例えば、第1の表面構造の頂点412を持つ角錐凹部410は、図4Eにおける第2の表面構造の頂点472を持つ正直角錐470に対応する。それぞれ頂点462a〜cを持つ正角錐凹部460a〜cもある。そのような反転表面構造は、物質的な効率的な校正対象物体の提供およびその製造の汎用性を可能にする。それ故、一部の実施形態において、上記第2の表面構造は上記第1の表面構造のミラー化であり、逆も同じであり、その結果、各正直角錐凹部、例えば460a〜cはそれぞれの正直角錐、例えば420a〜cに対向しており、逆も同じである。

図4Fは、校正対象物体2000cおよびその第2の表面構造の斜視図を示す。他方の図示されない側に、校正対象物体2000aに対して図4A〜図4Dに図示されたような第1の表面構造があり得る。図4Fにおける図示された第2の表面構造が正直角錐凹部480a〜cだけを有し角錐を有しないことが留意され得る。凹部の他は、図示された表面構造は、角錐凹部の底面の平面に平坦または平面表面490a〜cを有する。したがってここでは2つの頂点に収束する側面表面がないが、他方の側が図4A〜図4Dにおけるような第1の表面構造を有する場合、依然好まれ、より平面の第2の表面構造の一種のトレードオフであり得る。これにより、図4Eに図示されるより平面の表面構造のために、最も多いケースであるが、図4Dに図示されるなどの第1の表面構造だけが使用されることになるときに、校正対象物体のより安定した配置を許容する。校正対象物体2000cは、平面表面を持つ第2の表面構造が存在するので汎用性を提供し、そして複数カメラを有する一部の設定に対してなど、別の状況において望ましいまたは必要とされれば、校正のために使用できる。そのような状況において、校正対象物体は、両表面構造がFOV内であり撮像できるように、横向きに置かれ得る。

図5A〜図5Bは、本明細書における一部の実施形態に備えられる校正対象物体2000d、およびその第1の表面構造の異なる図を示す。図5Aにおいて上面図が、そして図5Bにおいて図5Aにおける大矢印によって示される視点からの側面図が示される。第1の表面構造は図5Aに図示され、そして図4A〜図4Dに図示されてそれに関連して前述した校正対象物体2000aの第1の表面構造と同様であり得るが、ここでは表面構造は幾分延長され、校正対象物体2000dの形状は3x3の交互の角錐および角錐凹部を持つ正方形である。例えば、正直角錐520a〜cおよび正直角錐凹部510a〜bがある。図示された正直角錐は頂点522a〜eを有し、そして正直角錐凹部は頂点512a〜dを有する。一部の側面、例えば角錐凹部510bの側面513b-2および角錐520cの側面523c-2も図に示され、これらは底面の辺を共有し、辺511b-2が辺521c-4と同じである。校正対象物体は、図5Bに見られるように、反対側に第2の表面構造も有し、ここでは前に説明したように上記第1の表面構造のミラー化である。

校正対象物体2000aと比較して更なる相違点は、校正対象物体2000dの端においてそれを通り抜ける三角形状凹部590があるということである。凹部は、非対称形状の特徴の一例であり、かつ校正対象物体2000dの反対側から見える。

一部の実施形態、特に、他は対称的である校正対象物体を用いた実施形態において、校正対象物体には非対称の特徴、例えば三角凹部590が設けられ、その結果それは、校正対象物体、例えば2000dの画像データに基づいて、校正対象物体の識別される向きであることができ、しかも校正対象物体の画像がミラー化されるか否かに関係ない。非対称の特徴は、校正対象物体の端においてそれを通り抜ける非対称形状凹部であることが可能であり、その結果非対称形状凹部は校正対象物体の反対側から見える。非対称の特徴は、例えば図に図示されたものなど、直角三角形形状の貫通孔である。そのような特徴は達成および識別しやすく、加えて、表面構造の残り、例えば検出のための側面および表面との干渉が生じないまたは少ないように提供可能である。

しかしながら、実現される、他の非対称の特徴も可能であるが、凹部も単純で、丈夫で、達成しやすい。いずれの場合も、非対称の特徴は、少なくとも第1の表面構造がカメラによって撮像されるときに見えるべきであり、したがって典型的には少なくとも校正対象物体の第1の表面構造と同じ側に設けられ、好ましくは第2の表面構造が存在するとき同構造の側でも見えるべきである。たとえ校正対象物体および上記表面構造が対称的にされても、上記特徴は校正対象物体の向きの識別を可能にし、しかも校正対象物体の画像がミラー化されるか否かに関係ない。非対称の特徴を除けば、カメラのFOV内に校正対象物体を適切に配置するのを容易にし得る、他は対称的である校正対象物体に関しては有利であり得る。

図6A〜図6Cは、校正対象物体の一例である校正対象物体2000e、および図4A〜図4Dに関して上記したのと同様であるが正方形底面の代わりに三角形底面を持つ表面構造を図示する。

図6Aは、校正対象物体2000eの上面図を、そして図6Bは、図6Aにおける大矢印によって示される視点からの、その側面図を示す。図6Cは、図4Aにおけるような校正対象物体2000eの図であるが、少ない他の参照数字で示す。

校正対象物体2000eの図示された表面構造は、1つの正直角錐凹部610および3つの正直角錐620a〜cを備える。角錐凹部610および角錐620a〜cは、それらのそれぞれの底面を同じ平面、すなわち底面平面630に、そしてそれらのそれぞれの頂点612、622a〜cをその平面から同じ直交距離に有する。

図示の例では、角錐凹部610および角錐620a〜cは、各々3つの辺を持つ三角形底面を、ならびにそれによって角錐凹部および角錐ごとに3つの側面も有する。一部の側面、例えば角錐620aの側面623a-1、623a-2、623a-3、角錐凹部610の側面613-1、613-2、613-3、および角錐620cの側面623c-1も図に示される。図に見られるように、それぞれの正直角錐620a〜cの側面は正直角錐凹部610の側面に対応する。

校正対象物体2000e、特にその表面構造は、3つの正直角錐および1つの正直角錐凹部を有する。正直角錐凹部610の底面は正直角錐620a〜cの底面とそれぞれの辺を共有し、その結果辺を共有する各対の側面が共通の平面に設けられる。例えば、凹部610は、角錐620aの底面辺621a-2とその底面辺611-1を共有し、そして側面613-1および623a-2は共通の平面にある。これらの側面は、したがって共通の平面に単一の表面として現れ、そして同表面は、一端において頂点612へ収束し、かつ他方の反対端において頂点622aへ収束する。

本明細書における実施形態における校正対象物体が作られる材料は、例えば、異材の別の表面層、例えばコーティングの有無にかかわらず、同様のまたは同じ使用のための校正対象物体のために使用されるいかなる従来材でもよい。材料および/または表面層は、したがって典型的に拡散反射をもたらすような材料であるべきであり、そして暗色表面上に光を使用するのが一般に好まれる。耐久材料および、例えば物体の落下の場合に容易に損傷しないものが好ましくは使用され得る。例えば、多くの他の材料に加えて、塑性材料および/またはアルミニウムなどの金属が使用され得る。製造方法は、例えば鋳造、成形、ミリング、3D印刷を含み得る。

本明細書で使用される、第1の、第2のなどといった、いかなる列挙用語も、それ自体は非限定的であるとみなされるべきであり、そして用語それ自体は特定の階層関係を暗示しないことが留意されるべきである。反対する一切の明示的な情報なしでも、列挙による指定は、単に異なる名前を与える手段とみなされるべきである。

本明細書で使用される場合、表現「〜するように構成される」は、何かが、1つまたは複数の措置を行うように、例えばソフトウェアまたはハードウェア構成を用いて構成されるまたは適合されることを意味し得る。

本明細書で使用される場合、用語「数」または「値」は、2進数、実数、虚数または有理数などといった、いずれの種類の数字も指し得る。その上、「数」または「値」は、文字または文字列などの、1つまたは複数の記号であり得る。また、「数」または「値」はビット列によって表され得る。

本明細書で使用される場合、表現「〜し得る」および「一部の実施形態において」は、典型的に、記載される特徴が、本明細書に開示されるいずれの他の実施形態とも組み合わされ得ることを示すために使用された。

語「〜を備える」または「〜を備えている」を使用するとき、それは、非限定的と、すなわち「〜から少なくとも成る」を意味すると解釈されるものとする。

本明細書における実施形態は上記した実施形態に限定されない。様々な代替例、変形例および均等物が使用され得る。したがって、上記の実施形態は、添付の請求項によって定められる、本開示の範囲を限定するとはとられるべきでない。

100 イメージングシステム
110 光源
111 特定の光パターン
112 光線
120 第1の対象物体
121 第2の対象物体
122 コンベアベルト
123 座標系
130 カメラ
140-1〜N 断面画像
200 イメージングシステム
200a〜d イメージングシステム
210 光源
210a 第1の光源
210b 第2の光源
211 光
225 箱
230 カメラ
230a 第1のカメラ
230b 第2のカメラ
231 視野
231a〜b 視野
410 正直角錐凹部
411-1 辺
411-4 辺
412 頂点
413-1〜4 側面
420a〜c 正直角錐
421a-1〜4 辺
421b-2 辺
422a〜c 頂点
423a-3 側面
423b-1〜2 側面
430 底面平面
431 第1の頂点平面
432 第2の頂点平面
460a〜c 正角錐凹部
462a〜c 頂点
470 正直角錐
472 頂点
480a〜c 正直角錐凹部
482a〜c 頂点
490a〜c 平面表面
510a〜b 正直角錐凹部
511b-1〜4 辺
512a〜d 頂点
513b-2 側面
520a〜c 正直角錐
521c-4 辺
522a〜e 頂点
523c-2 側面
572a〜d 頂点
590 三角形状凹部
610 正直角錐凹部
611-1 底面辺
612 頂点
613-1〜3 側面
620a〜c 正直角錐
621a-2 底面辺
622a〜c 頂点
623a-1〜3 側面
623c-1 側面
630 底面平面
2000 校正対象物体
2000a 校正対象物体
2000b 校正対象物体
2000c 校正対象物体
2000d 校正対象物体
2000e 校正対象物体

Claims

対象物体の3次元特性に関する情報を、前記対象物体から反射される光を検出するための1つまたは複数の第1の位置に配置される1つまたは複数のカメラ(230)を用いて取得するための光三角測量に基づくイメージングシステム(200)であって、前記第1の位置における前記1つまたは複数のカメラ(230)、および校正対象物体(2000)を備え、前記カメラ(230)が前記校正対象物体(2000)の1つまたは複数の表面構造から反射される光を検出することができるように前記校正対象物体(2000)が前記カメラ(230)のそれぞれの視野(231)内にあり、前記1つまたは複数の表面構造が、1つまたは複数の正直角錐凹部(410、510a〜b、610)および1つまたは複数の正直角錐(420a〜c、520a〜c、620a〜c)を備える第1の表面構造を有し、前記1つまたは複数の正直角錐凹部および前記1つまたは複数の正直角錐のそれぞれの底面が同じ平面にあり、かつ前記1つまたは複数の正直角錐凹部および前記1つまたは複数の正直角錐のそれぞれの頂点(412、422a〜c、512a〜b、522a〜c、612、622a〜c)が前記同じ平面から同じ直交距離であり、それぞれの正直角錐(420a〜c、520a〜c、620a〜c)の側面(423、523、623)が前記正直角錐凹部(410、510a〜b、610)の側面(413、513、613)に対応し、少なくとも3つの正直角錐(420a〜c、520a〜c、620a〜c)または少なくとも3つの正直角錐凹部(410、510a〜b、610)があり、前記正直角錐凹部(410、510a〜b、610)の少なくとも1つの底面が前記正直角錐(420a〜c、520a〜c、620a〜c)の少なくとも1つの底面と少なくとも1つの辺を共有し、辺を共有する各対の側面(413-1、423a-3、513b-2、523c-2、613-1、623a-2)が共通の平面に設けられる、イメージングシステム。
前記正直角錐凹部(410、510a〜b、610)の少なくとも1つの底面が前記正直角錐(420a〜c、520a〜c、620a〜c)の少なくとも2つの底面と少なくとも2つの辺を共有し、または前記正直角錐(420a〜c、520a〜c、620a〜c)の少なくとも1つの底面が前記正直角錐凹部(410、510a〜b、610)の少なくとも2つの底面と少なくとも2つの辺を共有し、辺を共有する各対の側面(413-1、423a-3、513b-2、523c-2、613-1、623a-2)が共通の平面に設けられる、請求項1に記載のイメージングシステム。
前記正直角錐凹部(410、510a〜b、610)の少なくとも1つの底面が前記正直角錐(420a〜c、520a〜c、620a〜c)の少なくとも3つの底面と少なくとも3つの辺を共有し、または前記正直角錐(420a〜c、520a〜c、620a〜c)の少なくとも1つの底面が前記正直角錐凹部(410、510a〜b、610)の少なくとも3つの底面と少なくとも3つの辺を共有し、辺を共有する各対の側面(413-1、423a-3、513b-2、523c-2、613-1、623a-2)が共通の平面に設けられる、請求項1に記載のイメージングシステム。
前記1つまたは複数の正直角錐凹部(410、510a〜b、610)および前記1つまたは複数の正直角錐(420a〜c、520a〜c、620a〜c)が三角形底面または正方形底面を有する、請求項1から3のいずれか一項に記載のイメージングシステム。
前記1つまたは複数の表面構造が、前記第1の表面構造の場所と比較して前記校正対象物体(2000)の反対側に設けられる追加の第2の表面構造を有し、前記第2の表面構造も1つまたは複数の正直角錐凹部(460a〜c、480a〜c)および/または1つまたは複数の正直角錐(470)を備え、前記1つまたは複数の正直角錐凹部および/または前記1つまたは複数の正直角錐のそれぞれの底面が同じ平面にあり、かつ前記1つまたは複数の正直角錐凹部および/または前記1つまたは複数の正直角錐のそれぞれの頂点が前記同じ平面から同じ直交距離であり、少なくとも3つの正直角錐(470)または少なくとも3つの正直角錐凹部(460a〜c、480a〜c)がある、請求項1から4のいずれか一項に記載のイメージングシステム。
前記第2の表面構造が前記第1の表面構造のミラー化であり、逆も同じであり、各正直角錐凹部(460a〜c)がそれぞれの正直角錐(420a〜c)に対向しており、逆も同じである、請求項5に記載のイメージングシステム。
前記校正対象物体(2000)には非対称の特徴(590)が設けられ、前記非対称の特徴は、前記カメラ(230)のいずれか1つによって取得される前記校正対象物体(2000)の画像データに基づいて、前記校正対象物体(2000)の識別される向きであることが可能であり、前記校正対象物体(2000)の画像がミラー化されるか否かに関係ない、請求項1から6のいずれか一項に記載のイメージングシステム。
前記非対称の特徴(590)が、前記校正対象物体(2000)の端においてそれを通り抜ける非対称形状凹部であり、前記非対称形状凹部(590)が前記校正対象物体(2000)の反対側から見える、請求項7に記載のイメージングシステム。