JP2014112043A

JP2014112043A - 立体形状認識装置及び立体形状認識装置の光源位置推定方法

Info

Publication number: JP2014112043A
Application number: JP2012266133A
Authority: JP
Inventors: Kenichiro Machida; 賢一郎町田; Harutaka Imoto; 治孝井本; Tadayuki Tanabe; 忠幸田邉
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2012-12-05
Filing date: 2012-12-05
Publication date: 2014-06-19

Abstract

【課題】照度差ステレオ法で被計測物の立体形状を認識する際に、光源の位置を簡単且つ正確に推定し得る立体形状認識装置及びその光源位置推定方法を提供する。
【解決手段】被測定物Ｗに異なる方向から光を照射する複数の光源Ｌｎと、複数の光源Ｌｎから順次光を照射する毎に被測定物Ｗを撮像するＣＣＤカメラ４と、取得される複数の撮像画像のデータ及び各光の照射方向に基づいて撮像画像の画素毎の法線ベクトルｎを算出する演算部５を備え、ベース１１上に高さ寸法が既知の複数の計測ピンＰ１〜Ｐ９を配置して成る光源測定用治具１０が備えられ、光源測定用治具１０は被測定物Ｗの形状認識を行う前の段階で、複数の光源Ｌｎから光が順次照射される毎にＣＣＤカメラ４により撮像され、演算部５は、光源測定用治具１０の撮像画像の計測ピンＰ１〜Ｐ９及びその影Ｓ１〜Ｓ９の各位置情報に基づいて複数の光源Ｌｎの各３次元位置を推定する。
【選択図】図１

Description

本発明は、照度差ステレオ法により被計測物の立体形状を取得するのに用いられる立体形状認識装置及び立体形状認識装置の光源位置推定方法に関するものである。

上記した照度差ステレオ法を用いて被計測物の立体形状を取得する立体形状認識装置としては、例えば、特許文献１に記載されたものがある。
この立体形状認識装置は、被計測物に対して異なる方向から個別に光を照射する複数の光源と、被計測物を定まった位置から撮像する撮像手段を備えており、この立体形状認識装置では、複数の光源から順次光を照射して、その都度撮像手段による被計測物の撮像を行い、この撮像で取得した複数の画像中における被計測物の各輝度情報に基づいて、画像を構成する画素毎に法線ベクトルを算出することで、被計測物表面の勾配を得るようにしている。

この照度差ステレオ法を用いた立体形状認識装置により、被計測物表面の勾配（画素毎の法線ベクトル）を精度よく算出するためには、複数の光源の各位置を正確に知ることが求められる。

従来において、光源の位置を推定する手法としては、例えば、被計測物載置部に２個の球体を置いて、これらの球体に推定しようとする光源から光を照射して撮像手段により撮像し、この撮像で取得した２個の球体の各法線と撮像手段の各光軸とから光源の方位ベクトルを推定すると共に、２個の球体から取得される方位ベクトル同士の交点から光源の位置を推定する方法が知られている（例えば、非特許文献１参照。）。

特開2012-122870号公報

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.23, No.9, SEPTEMBER 2001

しかしながら、上記した球体を使った光源の位置推定手法では、画像中でハイライト部位を特定すると共に、球体の中心位置を求める必要があるが、画像中において、ハイライト部位をはっきりさせようとすると、球体の中心位置を求めるための輪郭がクリアにならず、これとは逆に、球体の輪郭をクリアにすると、ハイライト部位がぼやけてしまい、その結果、ハイライト部位及び球体の輪郭の双方をいずれも明瞭に捉えることが困難である。

また、上記した球体を使った光源の位置推定手法では、球体に径の小さいものを用いると、光源との位置関係によってはハイライト部位を特定するのが難しい場合があり、一方、球体に径の大きいものを用いると、撮像手段の被写界深度の影響で画像が明瞭にならない場合がある。

したがって、従来の球体を使った光源の位置推定手法にあっては、複数の光源の各位置を正確に把握することができるとは言い難く、これを解決することが従来の課題となっていた。

本発明は、上記した従来の課題に着目してなされたもので、照度差ステレオ法を用いて被計測物の立体形状を認識する場合において、複数の光源の各位置を簡単且つ正確に推定することができ、その結果、被計測物の立体形状を高精度に測定することが可能である立体形状認識装置及び立体形状認識装置の光源位置推定方法を提供することを目的としている。

本発明の請求項１に係る発明は、被測定物に対して互いに異なる方向から個別に光を照射する複数の光源と、前記複数の光源から順次光を照射する毎に前記被測定物を撮像する撮像手段と、照度差ステレオ法を用いて前記撮像手段で取得される光の照射方向が互いに異なる複数の撮像画像のデータ（輝度情報）及び各光の照射方向に基づいて、前記撮像画像を構成する画素毎の法線ベクトルを算出する演算部を備えた立体形状認識装置において、平板状のベース上に高さ寸法が既知の複数の計測ピンを配置して成る光源測定用治具が備えられ、前記光源測定用治具は、前記被測定物の形状認識を行う前の段階で、前記撮像手段の撮像範囲内に配置されて、前記複数の光源から光が順次照射される毎に前記撮像手段により撮像され、前記演算部は、前記撮像手段により得られる撮像画像中における前記光源測定用治具の前記計測ピン及び該計測ピンの影の各先端同士を結ぶ直線を少なくとも２本以上算出すると共に、算出した２本以上の直線同士の交点を前記光源の３次元位置として推定する構成としたことを特徴としており、この構成の立体形状認識装置を前述した従来の課題を解決するための手段としている。

本発明の請求項２に係る立体形状認識装置は、前記撮像手段として、テレセントリックレンズを有するカメラを用いている構成としている。

本発明の請求項３に係る立体形状認識装置の光源位置推定方法は、被測定物に対して互いに異なる方向から個別に光を照射する複数の光源と、前記複数の光源から順次光を照射する毎に前記被測定物を撮像する撮像手段を備え、照度差ステレオ法を用いて前記撮像手段で取得される光の照射方向が互いに異なる複数の撮像画像のデータ及び各光の照射方向に基づいて、前記撮像画像を構成する画素毎の法線ベクトルを算出する立体形状認識装置の光源位置推定方法であって、平板状のベース上に高さ寸法が既知の複数の計測ピンを配置して成る光源測定用治具を用い、前記被測定物の形状認識を行う前の段階で、前記撮像手段の撮像範囲内に配置した前記光源測定用治具に、前記複数の光源から光を順次照射すると共に、光を照射する毎に前記撮像手段により撮像し、前記撮像手段により得られる撮像画像中における前記光源測定用治具の前記計測ピン及び該計測ピンの影の各先端同士を結ぶ直線を少なくとも２本以上算出すると共に、算出した２本以上の直線同士の交点を前記光源の３次元位置として推定する構成としている。

本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法において、光源には、ＬＥＤ照明や白熱照明を用いることができ、より点光源に近いものを用いることが望ましい。

また、本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法において、上記したように、一つのレンズで奥行方向の寸法を計測可能なテレセントリックレンズを有するＣＣＤカメラを撮像手段として用いることが望ましいが、これに限定されない。

さらに、本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法において、光源測定用治具の平板状のベース及び計測ピンの各寸法や材質は特に限定しない。
計測ピンの数は、１本あれば光源の方位を知ることができ、少なくとも２本あれば光源の位置を知ることができる。この際、推定しようとする光源の位置によっては、複数の計測ピンの中で、計測に使うことのできない計測ピンが生じる可能性があることから、４〜９本の計測ピンを配置することが望ましく、光源の３次元位置の算出を容易化するうえで、互いの影が干渉しない距離をもって互いに等間隔に、例えば、２×２，３×３で配置することが望ましい。なお、複数の計測ピンは、互いに平行でなくてもよく、また、各々の高さ寸法も必ずしも同じでなくてもよい。

本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法では、その光源位置を推定するに際して、まず、被測定物の形状認識を行う前の段階において、例えば、被測定物の載置場所に、平板状のベース上に複数の計測ピンを配置して成る光源測定用治具を置く。

この際、光源測定用治具の計測ピンの高さ寸法及び配置部位は既知であるものとし、望ましくはこれらの計測ピンが撮像手段の光軸に沿うように光源測定用治具をセットする。

次いで、被測定物の載置場所にセットした光源測定用治具に対して複数の光源から光を順次照射すると共に、光を照射する毎に撮像手段により撮像する。

続いて、この撮像手段により得られる撮像画像上の複数の計測ピン及び各々の影のうちの例えば２本の計測ピンを選択して、これらの計測ピンの各先端と、各々の影の各先端の位置を画像処理により算出する。

次に、２本の計測ピンの各先端間実寸距離と、撮像画像上における２本の計測ピンの各先端間画素数とから、画素単位（ピクセル）を実寸単位（ｍｍ）に変換する係数を求め、この変換係数を用いて撮像画像上における計測ピンの先端及びこの計測ピンの影の先端の各３次元座標を実寸単位（ｍｍ）で算出する。

そして、このようにして求めた２本の計測ピンの各先端及び影の各先端同士をそれぞれ結んで２本の直線を算出した後、これらの算出した２本の直線同士の交点を光源の３次元位置として推定し、以降、同様にして他の光源の３次元位置を推定する。

したがって、本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法では、光源の位置推定にあたって、如何なる部位にある光源の位置をも簡単且つ正確に推定し得ることとなり、その結果、被計測物の立体形状を高精度に測定し得ることとなる。

本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法では、照度差ステレオ法を用いて被計測物の立体形状を認識するに際して、複数の光源の各位置を簡単且つ正確に推定することが可能であり、したがって、被計測物の立体形状を高精度に測定することができるという非常に優れた効果がもたらされる。

本発明の一実施例に係る立体形状認識装置を示す概略構成説明図である。図１に示した立体形状認識装置において光源の位置を推定する際に用いる光源測定用治具の拡大斜視説明図である。図２の光源測定用治具を用いて光源の位置を推定する際の状況説明図である。

以下、本発明を図面に基づいて説明する。
図１〜図３は本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法の一実施例を示している。

図１に示すように、この立体形状認識装置１は、照度差ステレオ法を用いて被計測物Ｗの立体形状を認識する装置であって、ドーム形状を成すフレーム２に取り付けられて被計測物Ｗに対して異なる方向から個別に光を照射する複数の光源（この実施例では６０個のＬＥＤ照明）Ｌ１〜Ｌｎと、ドーム形状のフレーム２の中心付近に位置する被測定物載置用台座３と、フレーム２の頂点付近に固定されて被計測物Ｗを定まった位置から撮像する撮像手段としてのＣＣＤカメラ（この実施例ではテレセントリックレンズを有するＣＣＤカメラ）４を備えている。

また、この立体形状認識装置１は、ＣＣＤカメラ４で取得した撮像画像を処理する演算部５を備えており、具体的には、この演算部５において、ＣＣＤカメラ４で取得される光の照射方向が互いに異なる複数の撮像画像のデータ（点Ｗｐにおける輝度情報）及び各光の照射方向Ｌｌ₁〜Ｌｌｎ（図１ではＬｌ₁〜Ｌｌ₄）に基づいて、撮像画像を構成する画素毎の法線ベクトルｎを算出することで、被計測物Ｗの表面Ｗａの勾配を得るようになっている。

この場合、立体形状認識装置１には、図２にも示すように、平板状のベース１１上に９本の計測ピンＰ１〜Ｐ９を互いに平行で且つ互いに高さ寸法を同じくして配置して成る光源測定用治具１０が備えられており、９本の計測ピンＰ１〜Ｐ９は、互いに等間隔に３×３で配置されている。なお、計測ピンＰ１〜Ｐ９は、互いに平行でなくてもよく、また、高さ寸法も必ずしも同じに設定する必要はない。

この光源測定用治具１０は、複数の光源Ｌ１〜Ｌｎの各位置を正確に知るための治具であり、被測定物Ｗの形状認識を行う前の段階で、ＣＣＤカメラ４の撮像範囲内である被測定物載置用台座３上に配置されて、複数の光源Ｌ１〜Ｌｎから光が順次照射される毎にＣＣＤカメラ４により撮像されるようになっている。

そして、演算部５では、ＣＣＤカメラ４により得られる撮像画像中における光源測定用治具１０の計測ピンＰ１〜Ｐ９及び該計測ピンＰ１〜Ｐ９の影Ｓ１〜Ｓ９の各先端同士を結ぶ直線を少なくとも２本以上算出すると共に、算出した２本以上の直線同士の交点を光源Ｌｎの３次元位置として推定するようになっている。

そこで、この実施例に係る立体形状認識装置１の光源位置推定方法を具体的に説明する。
まず、被測定物Ｗの形状認識を行うのに先立って、被測定物載置用台座３に光源測定用治具１０を置く。この際、光源測定用治具１０の計測ピンＰ１〜Ｐ９の各高さ寸法及び配置部位は既知であり、望ましくは計測ピンＰ１〜Ｐ９がＣＣＤカメラ４の光軸ｖに沿うように光源測定用治具１０をセットする。

次いで、被測定物載置用台座３にセットした光源測定用治具１０に対して複数の光源Ｌ１〜Ｌｎから光を順次照射すると共に、光を照射する毎にＣＣＤカメラ４により撮像する。

続いて、このＣＣＤカメラ４により得られる撮像画像上において、複数の計測ピンＰ１〜Ｐ９のうちの例えば２本の計測ピンＰ１，Ｐ２を選択して、これらの計測ピンＰ１，Ｐ２の各先端と、これらの計測ピンＰ１，Ｐ２に光を当てることで生じた影Ｓ１，Ｓ２の各先端の位置を画像処理により算出する。

次に、図３に示すように、２本の計測ピンＰ１，Ｐ２の各先端間実寸距離ｄと、撮像画像上における２本の計測ピンＰ１，Ｐ２の各先端ｐ１１，ｐ２１間画素数とから、画素単位（ピクセル）を実寸単位（ｍｍ）に変換する係数を求め、この変換係数を用いて計測ピンＰ１，Ｐ２の先端ｐ１１，ｐ２１の各３次元座標（ｘ１１，ｙ１１，ｌ₁），（ｘ２１，ｙ２１，ｌ₂）及び影Ｓ１，Ｓ２の先端ｐ１２，ｐ２２の各３次元座標（ｘ１２，ｙ１２，０），（ｘ２２，ｙ２２，０）を実寸単位（ｍｍ）で算出する。

そして、このようにして求めた計測ピンＰ１，Ｐ２の各先端ｐ１１，ｐ２１及び影Ｓ１，Ｓ２の各先端ｐ１２，ｐ２２同士をそれぞれ結んで２本の直線を算出した後、これらの算出した２本の直線同士の交点を光源Ｌｎの３次元位置（Ｘｎ，Ｙｎ，Ｚｎ）として推定し、以降、同様にしてすべての光源の３次元位置を推定する。

なお、光源の３次元位置の推定精度を高めるために、撮像画像中における光源測定用治具１０の計測ピンＰ１〜Ｐ９及び該計測ピンＰ１〜Ｐ９の影Ｓ１〜Ｓ９の各先端同士を結ぶ直線を３本以上算出することが望ましいが、この場合には、光源Ｌｎが点光源に成り得ないため、算出した３本以上の直線が１点で交わることはなく、したがって、３本以上の直線が最も近づく位置を光源の３次元位置として推定する。

このように、この実施例に係る立体形状認識装置１及びその光源位置推定方法では、光源Ｌ１〜Ｌｎの位置推定にあたって、如何なる部位にある光源Ｌｎの位置をも簡単且つ正確に推定し得ることとなり、その結果、被計測物Ｗの立体形状を高精度に測定し得ることとなる。

また、この実施例に係る立体形状認識装置１では、撮像手段としてテレセントリックレンズを有するＣＣＤカメラ４を用いているので、一つのレンズで奥行方向の寸法を計測し得ることとなる。

本発明に係る立体形状認識装置及び立体形状認識装置の光源位置推定方法の構成は、上記した実施例の構成に限定されるものではなく、例えば、光源測定用治具１０の計測ピンＰ１〜Ｐ９の本数や各高さ寸法やレイアウトは適宜変更可能である。

１立体形状認識装置
４ＣＣＤカメラ（撮像手段）
５演算部
１０光源測定用治具
Ｌ１〜Ｌｎ光源
Ｌｌ₁〜Ｌｌｎ光の照射方向
ｎ法線ベクトル
Ｐ１〜Ｐ９計測ピン
Ｓ１〜Ｓ９計測ピンの影
Ｗ被測定物

Claims

被測定物に対して互いに異なる方向から個別に光を照射する複数の光源と、
前記複数の光源から順次光を照射する毎に前記被測定物を撮像する撮像手段と、
照度差ステレオ法を用いて前記撮像手段で取得される光の照射方向が互いに異なる複数の撮像画像のデータ及び各光の照射方向に基づいて、前記撮像画像を構成する画素毎の法線ベクトルを算出する演算部を備えた立体形状認識装置において、
平板状のベース上に高さ寸法が既知の複数の計測ピンを配置して成る光源測定用治具が備えられ、
前記光源測定用治具は、前記被測定物の形状認識を行う前の段階で、前記撮像手段の撮像範囲内に配置されて、前記複数の光源から光が順次照射される毎に前記撮像手段により撮像され、
前記演算部は、前記撮像手段により得られる撮像画像中における前記光源測定用治具の前記計測ピン及び該計測ピンの影の各先端同士を結ぶ直線を少なくとも２本以上算出すると共に、算出した２本以上の直線同士の交点を前記光源の３次元位置として推定する
ことを特徴とする立体形状認識装置。
前記撮像手段として、テレセントリックレンズを有するカメラを用いている請求項１に記載の立体形状認識装置。
被測定物に対して互いに異なる方向から個別に光を照射する複数の光源と、
前記複数の光源から順次光を照射する毎に前記被測定物を撮像する撮像手段を備え、
照度差ステレオ法を用いて前記撮像手段で取得される光の照射方向が互いに異なる複数の撮像画像のデータ及び各光の照射方向に基づいて、前記撮像画像を構成する画素毎の法線ベクトルを算出する立体形状認識装置の光源位置推定方法であって、
平板状のベース上に高さ寸法が既知の複数の計測ピンを配置して成る光源測定用治具を用い、
前記被測定物の形状認識を行う前の段階で、前記撮像手段の撮像範囲内に配置した前記光源測定用治具に、前記複数の光源から光を順次照射すると共に、光を照射する毎に前記撮像手段により撮像し、
前記撮像手段により得られる撮像画像中における前記光源測定用治具の前記計測ピン及び該計測ピンの影の各先端同士を結ぶ直線を少なくとも２本以上算出すると共に、算出した２本以上の直線同士の交点を前記光源の３次元位置として推定する
ことを特徴とする立体形状認識装置の光源位置推定方法。