JP2010122158A - 物体表面法線ベクトルマップ作成方法 - Google Patents

Abstract

【課題】少ない演算回数で精度の高い物体表面法線ベクトルマップを作成できるようにする。
【解決手段】同一の固定カメラ１２により、同一の対象物１０を光源１〜４を個別使用して、対応する４つの原画像を取得し、各原画像の対応する画素毎に、Ｌａｍｂｅｒｔの余弦則に基づいて各光源毎に拡散反射光の輝度式を求め、各光源毎に求められた４以上の輝度式の各３式を連立させ、各光源毎の仮の物体表面法線ベクトルを求め、求められた４以上の仮の物体表面法線ベクトルに基づいて、当該画素の真の物体表面法線ベクトルを決定すると共に、以上の処理を対象とする各画素について実行し、前記対象物を撮像した画像における物体表面法線ベクトルマップを作成する。
【選択図】図１

Description

本発明は、物体表面法線ベクトルマップ作成方法、特に照度差ステレオ法を改善した物体表面法線ベクトルマップ作成方法に関する。

従来から、所定位置の同一カメラにより同一対象物を異なる位置に配した複数の光源を順次点灯し、照射方向を変えて撮像することにより、複数の原画像を取得し、取得された複数の原画像から被写体の表面勾配等の３次元情報を求める、いわゆる照度差ステレオ法が提案されている。

その一つとして、例えば特許文献１には、複数の異なる方向から照明を照射した時の対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明の照射方向から対象物体の表面勾配を計測するに当り、表面反射モデルから導かれる画像の輝度と表面勾配の関係を表すＸ個の連立方程式を作成し、作成された連立方程式を輝度比をとる形のＸ−１個の連立方程式に変換し、このＸ−１個の連立方程式の最小２乗誤差が最小になる様に対象物体の表面勾配を計算する技術が開示されている。

この特許文献１では、方程式の数が未知数の数より多い優決定系の連立方程式を最小２乗法を用いて解いて物体表面法線ベクトルを各画素毎に求めることにより物体表面法線ベクトルマップを作成することができる。

特開２００４−２７９１８７号公報

しかしながら、前記特許文献１に開示されている技術では、優決定系の連立方程式を最小２乗法を用いて解くことにより、物体表面法線ベクトルマップを作成することになるために演算回数が必然的に多くなることから、これを検査装置等で実現するためには演算速度の高速化が必要になるという問題があった。

本発明は、簡単な計算で、従って少ない演算回数で精度の高い物体表面法線ベクトルを求めて画像上にマップを作成することができる物体表面法線ベクトルマップ作成方法を提供することを課題とする。

本発明は、同一の固定カメラにより、同一の対象物を４以上の光源を個別使用して、対応する４以上の原画像を取得し、各原画像の対応する画素毎に、Ｌａｍｂｅｒｔの余弦則に基づいて各光源毎に拡散反射光の輝度式を求め、各光源毎に求められた４以上の輝度式の各３式を連立させ、各光源毎の仮の物体表面法線ベクトルを求め、求められた４以上の仮の物体表面法線ベクトルに基づいて、当該画素の真の物体表面法線ベクトルを決定すると共に、以上の処理を対象とする各画素について実行し、前記対象物を撮像した画像における物体表面法線ベクトルマップを作成することにより、前記課題を解決したものである。

本発明においては、任意の画素について求められる４以上の仮の物体表面法線ベクトルの差異が所定の閾値以内に収まる場合は、各物体表面法線ベクトルの平均値を当該画素の真の物体表面法線ベクトルと決定することができる。

本発明においては、又、４つの光源を個別使用して求められた４つの仮の物体表面法線ベクトルの値を比較し、他の３つの仮の物体表面法線ベクトルと大きく異なる１つを真の物体表面法線ベクトルと決定することができる。その際、４つの仮の物体表面法線ベクトルから１つを真の物体表面法線ベクトルと決定する際、該４つの物体表面法線ベクトルを平均した平均ベクトルと、各個別の物体表面法線ベクトルとの内積を求め、内積が最小の物体表面法線ベクトルを選択するようにしてもよい。

本発明によれば、４以上の光源を順次点灯して同一対象物を撮像して取得した４以上の原画像の対応する各画素毎に、Ｌａｍｂｅｒｔの余弦則に基づいて４以上の輝度式を求め、その中の３式の組合せをそれぞれ連立させてそれぞれ複数の仮の物体表面法線ベクトルを算出し、算出された仮の物体表面法線ベクトルを比較して真の物体表面法線ベクトルを決定するようにしたので、少ない演算回数で精度の高い表面勾配を表す物体表面法線ベクトルを求めることができ、従って正確な物体表面法線ベクトルマップを容易に作成することができる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図１には、本発明に係る一実施形態の物体表面法線ベクトルマップ作成方法に適用される撮像システムの要部を模式的に示す。

本実施形態においては、所定位置に位置決めされた測定対象物１０を、上方に配設された１つのカメラ１２により、異なる４つの光源１〜４による照明の下で撮像することが可能になっている。

４つの光源１〜４は、測定対象物１０に対して実質上同一高さの異なる位置から、同一の照明強度で斜光照明が可能に配置されている。

本実施形態では、図２にイメージを示すような物体表面を対象として撮像し、撮像画像の各画素毎に物体表面法線ベクトルを求め、その物体の凹凸の状態がわかるような物体表面法線ベクトルの分布、即ち物体表面法線ベクトルマップを簡単にできるようにする。

一般に、反射光は拡散反射光（いわゆるＬａｍｂｅｒｔの余弦則モデルに従う反射）と鏡面反射光（Ｐｈｏｎｇモデル等、正反射方向を中心として分布する反射）の各成分からなる。

従って、反射光の強度（輝度）をＩ、拡散反射光の強度をＩｄ、鏡面反射光の強度をＩｓとすると、反射光の強度Ｉは、次の（１）式で表される。

Ｉ＝Ｉｄ＋Ｉｓ ・・・（１）

反射光が拡散反射のみであれば、カメラ１台、光源を３個用意して、光源毎にそれぞれ撮像した３つの画像を解析することにより、物体表面法線ベクトルを求めることができる。これを以下に説明する。

拡散反射光（輝度）Ｉｄは、物体の拡散反射率ρ、光源の強度Ｉｏとすると、Ｌａｍｂｅｒｔの余弦則により、次の（２）式として表される。

ここで、３個の光源１〜３の強度は全て等しい（Ｉｏ）とし、各光源下で撮像した画像の輝度をＩ₁、Ｉ₂、Ｉ₃とすると、それぞれ以下の（３）式〜（５）式が成り立つようになる。

その結果、（３）式〜（５）式は、それぞれ次の（６）式〜（８）式からなる輝度式で表すことができる。

Ｉ₁＝Ｌ₁ｘＮｘ＋Ｌ₁ｙＮｙ＋Ｌ₁ｚＮｚ ・・・（６）
Ｉ₂＝Ｌ₂ｘＮｘ＋Ｌ₂ｙＮｙ＋Ｌ₂ｚＮｚ ・・・（７）
Ｉ₃＝Ｌ₃ｘＮｘ＋Ｌ₃ｙＮｙ＋Ｌ₃ｚＮｚ ・・・（８）

これを、行列を使って記述すると、次の（９）式となる。

ここで、（１０）式のように置き、この行列Ａの逆行列を（９）式の両辺に左から掛けて（１１）式とすることにより、物体表面法線ベクトルを求めることができる。

以上のように、反射光が拡散反射光Ｉｄのみからなる場合は、３つの光源をそれぞれ個別使用して撮像した原画像からＬａｍｂｅｒｔの余弦則に基づいて前記（６）式〜（８）式の３つの輝度式を連立させることにより、対応する各画素毎の物体表面法線ベクトルを求めることができる。

しかしながら、反射光に鏡面反射光成分Ｉｓが含まれる場合は、この方法では正しい物体表面法線ベクトルを求めることはできない。そこで、本実施形態では以下のようにしてこの方法を改良する。

前記図１に示したように、同じ強度の４つの光源１〜４を用意して、それぞれ別々に点灯して同一カメラ１２で同一対象物から４つの原画像を撮像する。そして、先の（６）式〜（８）式と同様にして、次の４つの（１２）式〜（１５）式を立てる。

Ｉ₁＝Ｌ₁ｘＮｘ＋Ｌ₁ｙＮｙ＋Ｌ₁ｚＮｚ ・・・（１２）
Ｉ₂＝Ｌ₂ｘＮｘ＋Ｌ₂ｙＮｙ＋Ｌ₂ｚＮｚ ・・・（１３）
Ｉ₃＝Ｌ₃ｘＮｘ＋Ｌ₃ｙＮｙ＋Ｌ₃ｚＮｚ ・・・（１４）
Ｉ₄＝Ｌ₄ｘＮｘ＋Ｌ₄ｙＮｙ＋Ｌ₄ｚＮｚ ・・・（１５）

撮像対象の物体１０からカメラ１２への反射光の中に鏡面反射光が成分として含まれていたとすると、この（１２）式〜（１５）式の中のどれか１つのみの左辺に、鏡面反射成分Ｉｓが入ったものになる。

仮に（１２）式の左辺にＩ₁にその成分Ｉｓが入っていたとした場合は次の（１６）式となるため、カメラ１２に入射した画像の輝度Ｉ₁は、拡散反射成分Ｉ₁’からＩｓだけずれた値となる。

Ｉ₁＝Ｉ₁’＋Ｉｓ ・・・（１６）

この状態で、（１２）式〜（１４）式を用いて連立方程式を解き、物体表面法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を求めると、拡散反射成分のみの場合について解いた解からずれを生じることになる。

同様に、（１２）、（１３）、（１５）の各式を用いて解いたものや、（１２）、（１４）、（１５）の各式を用いて解いたものも、拡散反射成分のみの場合について解いた解からずれることになる。

唯一、（１３）、（１４）、（１５）の各式を用いて解いた解が正しい（真の）物体表面法線ベクトルとなる。

このように、４つの式から３つの式を選んで物体表面法線ベクトルを求めるという作業を４回行ない、４つの仮の物体表面法線ベクトルを求め、その中から正しい物体表面法線ベクトルを選択し、決定する。

具体的には、全ての反射光の中に鏡面反射成分が含まれていない場合は、（１２）式〜（１５）式のどの３つを連立させて解いて仮の物体表面法線ベクトルを求めたとしても、原理的には同じ物体表面法線ベクトルとなる。実際には、図３にイメージを示すように、ある測定誤差範囲（閾値）内でばらつくことになるので、例えばその平均をとって対象としている画素における真の物体表面法線ベクトルと決定して求めることができる。

反射光の中に鏡面反射成分が含まれる場合は、図４にイメージを示すように、４つの解のうち、鏡面反射成分が含まれない３つの（１３）、（１４）、（１５）式を連立させて解いて求めた物体表面法線ベクトルが特異な解となり、鏡面反射成分が含まれる他の３つの組合せの解とは乖離したものになる。

そこで、例えば、４個の仮の物体表面法線ベクトルの平均ベクトルを求め、その平均ベクトルと各々の物体表面法線ベクトルとの内積を求め、その内積が最小の物体表面法線ベクトルを選択することにより、鏡面反射成分が含まれない正しい（真の）物体表面法線ベクトルを求めることができる。このような方法を用いることにより、鏡面反射成分が含まれていたとしても、簡易的に正しい物体表面法線ベクトルを求めることができる。

図５、図６のフローチャートに、以上説明した本実施形態による処理手順をまとめて示す。但し、図では物体表面法線ベクトルを法線ベクトルと略記してある。

図５には、以上の処理の前半を示す。ステップ１０１〜ステップ１０４において、光源１〜４のいずれか１つのみをそれぞれ点灯して前記（１２）式〜（１５）式の各輝度式に対応する画像１〜４を撮像する。ステップ１０５〜ステップ１０８において、それら４つの画像の内、各ステップに示した３つの画像の組合せからなる連立方程式を解き、仮の物体表面法線ベクトル１〜４を求める。

次いで、図６に示すステップ１０９において、ある画素における４つの物体表面法線ベクトル値を比較する。４つの仮の物体表面法線ベクトル値に閾値を超える差異が無い場合は、ステップ１１０において、それらの平均値を求め、ステップ１１３において、その値をその画素における真の物体表面法線ベクトル値と決定する。

一方、ステップ１０９において、１つだけ他の３つの値と乖離している物体表面法線ベクトルが存在する場合には、その乖離した値が正しい物体表面法線ベクトルと判断されるので、ステップ１１２において、１つだけ他の３つと乖離した物体表面法線ベクトルを選択し、ステップ１１３において、その画素における真の物体表面法線ベクトルとする。ステップ１１４において、全画素について以上の処理が行われた場合には、本実施形態の処理を終了する。

次に、本実施形態を適用した具体例である実施例を示す。

例えば、図７（Ａ）に示したようなプリント基板上のハンダを認識したい時に、コントラストの低い１枚の撮像画像だけではハンダを認識しにくい場合がある。ここで、ハンダ部分は同図（Ｂ）のように基板上で盛り上がっているはずなので、本実施形態を用いてハンダ周辺の物体表面法線ベクトルマップを作成して物体表面法線ベクトルの変化量を求めることにより、同図（Ｃ）にイメージを示すようにハンダの境界を認識することが可能である。その際、撮像画像に鏡面反射成分が含まれていても、本実施形態によれば精度良く、認識することが可能である。

または、図８（Ａ）に示したキャリアテープのベースであるエンボステープの窪み（キャビティ）を認識したい時に、コントラストの低い１枚の撮像画像だけでは認識しにくい場合がある。そこで本実施形態を用いて物体表面法線ベクトルマップを作成すると、同図（Ｂ）のようにエンボステープの窪み（キャビティ）の物体表面法線ベクトルの変化量を求められるので、同図（Ｃ）にイメージを示すようにエンボステープの窪み（キャビティ）を認識することが可能である。その際、撮像画像に鏡面反射成分が含まれていても、同様に精度良く、認識することが可能である。

以上詳述した本実施形態によれば、以下の効果を得ることができる。

（１）４つの光源を配置し、各々の光源を用いて４つの画像を撮像し、対応する各画素について４つの物体表面法線ベクトルを求めた後、各物体表面法線ベクトルを比較分類するか、または内積を取る等の演算を施すことにより、１つの真の物体表面法線ベクトルを求めて、物体表面法線ベクトルマップを作成することができる。

（２）反射光が拡散反射成分に限られる場合には、４つの物体表面法線ベクトルの差異はある測定誤差範囲（閾値）以内に収まる程度に小さくなるため、それらの平均値を求めて、その画素の真の物体表面法線ベクトルとすることができる。

（３）ある画像の対応する画素に鏡面反射成分が含まれている場合は、４つの光源の内のただ１つからの反射光に限られるので、各３つの輝度式を連立させる４通りの方法で求めた仮の物体表面法線ベクトルの値を比較分類するか、または演算を施すことにより、１つだけ他の３つの物体表面法線ベクトルと異なって得られる現象を利用し、その物体表面法線ベクトルが鏡面反射成分による誤差が混入していない正しい物体表面法線ベクトルであると判断することができるため、拡散反射成分のみによる物体表面法線ベクトルマップを確実に作成することができる。

（４）４つの仮の物体表面法線ベクトルから１つの真の物体表面法線ベクトルを選択する方法として、まず、４つの物体表面法線ベクトルの平均ベクトルを求め、その平均ベクトルと各物体表面法線ベクトルとの内積をそれぞれ求め、内積が最小の物体表面法線ベクトルを選択することにより、簡易的に正しい物体表面法線ベクトルを求めることができる。

尚、本発明は、使用する光源を４つに限るものではなく、５個以上を使用する場合でも同様のアルゴリズムにより実現可能である。また、使用する光源の全ての強度が同等である場合に限定されるものではなく、異なっている場合でも、同等になるように光量補正を行うことにより、同様に実現可能である。

本発明に係る一実施形態に適用される撮像システムのイメージを示す模式図 対象物と単位物体表面法線ベクトルとの関係のイメージを示す説明図 反射光に鏡面反射成分が含まれていない場合の物体表面法線ベクトルを示すイメージ図 反射光に鏡面反射成分が含まれている場合の物体表面法線ベクトルを示すイメージ図 本実施形態の作用を示す前半のフローチャート 本実施形態の作用を示す後半のフローチャート 本実施形態をプリント基板上の半田認識に適用した場合のイメージを示す説明図 本実施形態をエンボステープのキャビティ認識に適用した場合のイメージを示す説明図

符号の説明

１０…測定対象物
１２…カメラ

Claims (4)

1. 同一の固定カメラにより、同一の対象物を４以上の光源を個別使用して、対応する４以上の原画像を取得し、各原画像の対応する画素毎に、Ｌａｍｂｅｒｔの余弦則に基づいて各光源毎に拡散反射光の輝度式を求め、
   各光源毎に求められた４以上の輝度式の各３式を連立させ、各光源毎の仮の物体表面法線ベクトルを求め、
   求められた４以上の仮の物体表面法線ベクトルに基づいて、当該画素の真の物体表面法線ベクトルを決定すると共に、
   以上の処理を対象とする各画素について実行し、前記対象物を撮像した画像における物体表面法線ベクトルマップを作成することを特徴とする物体表面法線ベクトルマップ作成方法。
2. 任意の画素について求められる４以上の仮の物体表面法線ベクトルの差異が所定の閾値以内に収まる場合は、各物体表面法線ベクトルの平均値を当該画素の真の物体表面法線ベクトルと決定することを特徴とする請求項１に記載の物体表面法線ベクトルマップ作成方法。
3. ４つの光源を個別使用して求められた４つの仮の物体表面法線ベクトルの値を比較し、他の３つの仮の物体表面法線ベクトルと大きく異なる１つを真の物体表面法線ベクトルと決定することを特徴とする請求項１に記載の物体表面法線ベクトルマップ作成方法。
4. ４つの仮の物体表面法線ベクトルから１つを真の物体表面法線ベクトルと決定する際、該４つの物体表面法線ベクトルを平均した平均ベクトルと、各個別の物体表面法線ベクトルとの内積を求め、内積が最小の物体表面法線ベクトルを選択することを特徴とする請求項３に記載の物体表面法線ベクトルマップ作成方法。