JP2007114168A - 画像処理方法および装置、並びにプログラム - Google Patents

Abstract

【課題】３次元物体の形状をステレオ相関法で計測する際に、光沢の影響を受けずに正確に計測する。
【解決手段】まず画像中で輝度情報から光沢領域を判定し、次にステレオカメラ対におけるの類似度や距離画像の不連続性から光沢領域を判定し、最後に三対以上のステレオ画像対の結果を平面上に投影して同じ位置に投影された点の中からを類似度および輝度を使って光沢領域による結果を判定し、光沢領域を取り除いたデータを合成して結果を得る。
【選択図】図１

Description

本発明は、ステレオ相関法において、正反射像を含む可能性のある対象物の正反射部分を判定する画像処理方法およびシステム、並びにプログラムに関する。本発明は、物品検査、ロボットの視覚、個人認証、監視カメラ、衛星画像解析、医療画像解析、顕微鏡画像解析などに利用できる。

ステレオ法は、輝度画像から物体の形状を計測する簡便な三次元計測手法である。基本的な原理は、二つのカメラから対象物体上の同一点を探し、画像中の二次元座標から各カメラからの方向ベクトルを得て三角測量の原理で三次元座標を計算する。計算に用いるカメラの位置と画像中の二次元位置から方向ベクトルに変換する変換式および式のパラメータは、あらかじめキャリブレーションを行って計測しておく。

ステレオ相関法においては、第一のカメラ画像の各画素内に一点を選び、その周囲に近傍の微小領域（以下近傍領域という）のウィンドウを設ける。多くの場合、近傍領域は注目点を中心と刷る矩形である。次に、第二のカメラにおいても同様に対応点の候補となる点の周辺に同じ形状のウィンドウを設ける。以下では，便宜的に第一のカメラを基準カメラ，第二のカメラを参照カメラと呼ぶ。これらのウィンドウ間で輝度分布の類似度を計算する。類似度の評価方法にはさまざまな方法がある。一例として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる方法では相対的位置が等しい画素同士の輝度の差の絶対値のウィンドウ全体における総和を計算する。この場合、計算結果が小さいものほど類似度は高くなる。図２に示すように、対応点の候補を複数探索するようすを示す。図３では実際にＳＡＤによって対応する点においてＳＡＤが最小となり、類似度が最高となるようすを示す。

対応点が決定すれば，図４に示すように、二つのカメラからそれぞれの画像上の点への方向ベクトルが決まり，対象物体上の点の三次元座標値が計算できる。

カメラ画像上に現れる輝度が乱反射面による散乱光であれば以上の原理で対象物体までの距離が計算できるが、表面に光沢がある場合には，鏡面反射による正反射光が画像上に現れる（図５）。正確には、ここで観測されているのは光源の像である。物体の表面の反射特性によって、正反射光と乱反射光は混在して観測されうる。

正反射像は図５に示すように、物体上の同一点に観測されることは稀で，一般に異なる位置に現れたり，片方の画像にしか存在しなかったりする。両方の画像に存在する場合，これらの正反射光像同士が誤って対応点とみなされてしまう。これは、乱反射のみの点に対して正反射を含む点は輝度が高いため，ウィンドウ内の輝度の差分をとると正反射光像間の輝度の差分は、本来の対応点である正反射像と乱反射面の輝度の差分より小さくなってしまうためである。この結果，誤って対応付けられた点から計算された三次元座標値は，物体よりも遠い点になってしまい、正しい計算ができなくなる。正反射像が片方の画像にしか存在しない場合も、正反射像に対応する輝度をもつ点が画像内にないために正しい対応がとれなくなる。

従って，光沢をもった物体を含む対象物体に対して、ステレオ相関法を正しく行うためには，対象物体表面に現れる正反射像による誤った対応を検出し，さらに可能であれば補正する必要がある。

従来の二眼のステレオ視においては、正反射像を判定することができないため、この誤差を誤差としては抽出できない。

既存の正反射像を判定する方法は偏光を利用する方法（特許文献４）、照明の向きを変える方法（特許文献２、３）などがあるが、特殊な光源やカメラのフィルターを必要とするため、光源を用いる必要がないというステレオ相関法の利点が失われてしまう。特許文献１は特殊な装置をもたずに正反射部分を特定しているが、補間は行っていない。
特許２９６１１４０ 特開平５−２９６７４４ 特開２００２−２６００１７ 特開平４−２５２９１５

本発明は、ステレオ相関法を用いて光沢をもつ物体の三次元形状を計測する際に問題となる画像中に観測される正反射成分の判定および補間を行う。

本発明の画像処理及びシステム、並びにプログラムは、あらかじめ校正された三台以上のカメラを用い、その画像から対象物体の三次元データを合成する過程において、いくつかの判定方法で正反射部分の判定を行い、複数の三次元データを比較して最も正反射部分でないデータを残すことで三次元データの補間を行う。

第一に、カメラで撮影された画像の中で閾値より明るい点を正反射部分とする。

第二に、ステレオ相関法における対応点の差分が大きい点を正反射部分とする。

第三に、ステレオ相関法の結果得られた距離画像中で局所的に不連続な点を正反射部分とする。

第四に、異なるステレオカメラ対から得られた三次元点を一つの平面上に投影し、同一の位置に複数の点がある場合に、それぞれの三次元点に対応する画像中の輝度が明るい方を、正反射部分を含む画像から計算された点とする。

第五に、異なるステレオカメラ対から得られた三次元点を一つの平面上に投影し、同一の位置に複数の点がある場合に、それぞれの三次元点に対応する差分値が大きい方を、正反射部分を含む画像から計算された点とする。

第一から第三までの方法で、個々のステレオカメラ対から計算された三次元データ内の正反射部分を判定し排除した上で、第四から第五の方法で三次元データ相互の比較を行って最も適したデータのみを残す。

本発明では、個々の画像やステレオカメラ対においても正反射の点を判定しているが、三次元データ相互の比較を行うことで精度よく正反射部分の判定が可能になっている。

第一から第三の方法では、閾値を与えてその条件を満たしたものを正反射部分とするが、閾値は画像の性質などで条件が変わるために設定が難しい。正反射でないデータをなるべく残そうとすると非常にゆるい条件になってしまう。それに対して三眼のカメラからのデータを使う第四、第五の方法においては、ステレオカメラ対同士の相対的な値（輝度や類似度）を比較するため、物体表面のテクスチャの輝度などに影響されないという効果がある。

本発明では、三台以上のカメラで同時に対象物体を撮影し、三対以上のステレオ対を用意し、それぞれのステレオ対ごとに距離画像を計算する。まず個々の画像について正反射の可能性を排し、ついでステレオ対において正反射の可能性を排し、最後に距離画像同士を比較し、相対的な比較によってより正反射の可能性が低いデータを採用する。

図７では、個々の画像において輝度の高い部分を正反射成分としてマスクしている。正反射成分とみなす輝度を与えて、それ以上の輝度を持つ部分を正反射領域とする。通常のカメラにおいては画像素子に入射する光量を積算し、その値をＡ／Ｄ変換によって整数値に変換し画像フォーマットの形式で保持するが、Ａ／Ｄ変換あるいは画像フォーマットの制限により、この際に画素で表現可能な輝度の最大値が存在する。たとえば輝度を８ｂｉｔで表現する画像フォーマットであれば、最大値は２５５となる。したがって、そのようなカメラの使用においては、輝度閾値を２５５に近い値にすることによって高輝度の点の正反射領域を検出できる。

図８では、基準画像内の対象点と参照画像内の対応点（以降、この二点をステレオ対応とよぶ）を対応付けた際の類似度によって正反射部分を排除する方法を示している。この図では、基準画像には正反射領域があるが、参照画像には正反射領域が存在しない。こういった場合、正反射領域を含む近傍領域に対して参照画像の探索範囲内で近傍領域を動かしながら類似度が最も高くなる点を探すと、どの近傍領域においても類似度は低くなり、類似度が最高になる近傍領域においても通常の正反射部分を含まない場合のステレオ対応よりは低い値をとる。したがって、探索範囲内における類似度の最高値が閾値よりも低いかどうかを判定して正反射領域であるかどうかの判定を行うことができる。

図９では、ステレオ対応において計算された距離画像の連続性を利用して正反射部分を排除する方法を示している。この図では、基準画像と参照画像の両方に正反射領域がある。このとき、正反射領域を含む基準画像内の近傍領域に対して参照画像内で近傍領域を探索すると、最も類似度が高くなる場所はやはり正反射領域を含む参照画像内の近傍領域になる。しかし、正反射領域が観測される場所は物体の位置には関係しないため、このステレオ対応からは正しい距離が計算されず、図６に示すように正しい距離よりも大きくなる。その結果、距離画像の正反射領域付近では局所的に距離の大きい領域ができるようになる。距離の不連続性を判定するための閾値と局所性を判定するための閾値（面積など）によって局所的に遠くにある領域を検出することで正反射領域を判定することができる。

図１０では、３台のカメラの組み合わせによって形成される３対のステレオカメラ対を用いて正反射部分を排除する方法を示している。この図では、画像０，１，２を入力とし、ステレオカメラ対（０１）、（１２）、（２０）を構成し、それぞれにおいて距離画像を計算する。その後、それぞれのステレオカメラ対によって計算された距離画像０１、距離画像１２、距離画像２０を平面に投影し、同一画素に投影された点同士を比較する。この例では、画像０の左側および画像１の右側に正反射が存在する。画像２には正反射が存在しない。対照物体の左側の点についてはステレオカメラ対（１２）によって計算される距離画像１２の距離が正しく、他の距離画像にある同じ点の距離は誤っている。また、同様に右側の点についてはステレオカメラ対（２０）によって計算される距離画像２０の距離が正しい。距離画像１２にある正しい点と距離画像０１にある、誤った点が投影された平面の同じ点に投影されると、誤った点は正しい点よりも輝度が高かったり対応時の最小差分値が大きかったりする。これを利用して３つの距離画像から投影される点を比較し、もっとも精度が高いと認定される点を残すことができる。

産業上の利用の可能性

ガラス、金属、プラスチックなど、表面が滑らかで正反射特性をもつ物質が特に工業製品に多くある。これらの製品をロボット等の自動機械で取り扱おうとする場合、正反射がある物体の計測や認識を自動的に行う必要がある。従来の二次元あるいは三次元の画像による物体の３次元計測および認識技術では、画像中に正反射像があると、それは物体の形状に依存しないため計測が著しく困難になる。そのため、生産ラインの自動化は光沢がない対象物に限られていた。

本発明により光沢のある物体の位置姿勢を計測できるようになれば、生産ラインにおいて対象を選ばない自動化が可能になる。これは、生産コストの削減と同時に、従来法では自動化が難しかったため労働条件が悪くても人間による作業が必要だった分野においても作業を機械化できることで、労働者を悪条件から解放する効果がある。

本発明を具体化する画像処理システムを説明する図である。 ステレオ相関法における類似度および近傍領域の探索を例示する図である。 ステレオ相関法における対応点付近の類似度の変化を例示する図である。ここでは例示のために類似度としてＳＡＤを計算している。 ステレオ相関法における対応点から３次元座標を計算する幾何学的配置を例示する図である。 正反射像と光源の関係を例示した図である。 正反射がある場合に対象物体よりも奥に３次元座標が計算される幾何学的配置を例示する図である。 単一の画像中から正反射部分を検出する方法を例示する図である。 ステレオカメラ対において基準画像の対象ウィンドウ内に正反射がある場合に類似度の最高値が閾値より低いことで正反射部分を判定する方法を例示する図である。 ステレオカメラ対において基準画像の対象ウィンドウ内および参照画像の対応付けられたウィンドウ内に正反射があり誤った３次元座標値が計算された場合に奥行きの不連続性によって正反射部分を判定する方法を例示する図である。 三台のカメラの画像から三対のステレオカメラ対を用いて、それぞれに計算された距離画像が正反射の影響による誤差を含むようすを例示する図である。

符号の説明

１ 基準画像
２ 参照画像
３ 対象物体像
４ ウィンドウ
５ 探索ウィンドウ
６ 対応点
７ 対応ウィンドウ
８ 基準カメラ
９ 参照カメラ
１０ 対象物体
１１ 対象点
１２ 基準カメラの視線ベクトル
１３ 参照カメラの視線ベクトル
１４ 光源
１５ 正反射地点
１６ 正反射像
１７ 偽の光源
１８ 物体の距離画像
１９ 正反射像による誤差
２０ 画像０
２１ 画像１
２２ 画像２
２３ 距離画像０１
２４ 距離画像１２
２５ 距離画像２０
２６ 正確な距離画像
２７ 平面上の同一点で比較される部分
２８ カメラ０
２９ カメラ１
３０ カメラ２
３１ 輝度による正反射判定部
３２ ステレオ対相関値および距離の不連続性による正反射判定部
３３ 平面への投影部
３４ ３個の距離画像を用いた正反射判定部
３５ 出力部

Claims (8)

1. 同一の対象物を二つもしくは三つ以上のカメラによって撮影した画像の一つを基本画像、他を参照画像とし、基本画像の中の一点を対象点とし、前記対象点に対してカメラの幾何学的な配置から定まる参照画像中の直線上の一点を候補点とし、前記対象点と候補点の近傍に微小領域を設け、微小領域内の輝度分布の類似度が最高となる候補点を対応点として選び、対象点と対応点のカメラからの方向により三角測量の原理で対象点の三次元座標を計算するステレオ相関法において、
   濃淡あるいはカラー画像中において閾値の輝度よりも明るい部分を抽出して光源の正反射像と判定する画像処理方法。
2. 前記類似度が閾値よりも低いことをもって光源の正反射像と判定する画像処理方法。
3. 前記ステレオ相関法において、画像全体の対象点から計算された三次元点を前記対象点の位置に配した距離画像において、周囲の連続的な曲面から局所的に遠方に不連続になることをもって光源の正反射像と判定する画像処理方法。
4. 三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点のもととなった基準画像中の点の輝度または前期点の近傍の平均輝度が高い方の点をもって光源の正反射像と判定する画像処理方法。
5. 三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点を計算する際の類似度が低いことをもって光源の正反射像と判定する画像処理方法。
6. 三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対にいうて前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ画素に投影される三次元点がある場合に、前記請求項１から請求項５までの光源の正反射像と判定する画像処理方法によって光源として判定される三次元点を排除し、当該画素の正反射像を含まない三次元点のみからなる距離画像を合成する画像処理方法。
7. 同一の対象物を二つもしくは三つ以上のカメラによって撮影した画像の一つを基本画像、他を参照画像とし、基本画像の中の一点を対象点とし、前記対象点に対してカメラの幾何学的な配置から定まる参照画像中の直線上の一点を候補点とし、前記対象点と候補点の近傍に微小領域を設け、微小領域内の輝度分布の類似度が最高となる候補点を対応点として選び、対象点と対応点のカメラからの方向により三角測量の原理で対象点の三次元座標を計算するステレオ相関法において、
   濃淡あるいはカラー画像中において閾値の輝度よりも明るい部分を抽出して光源の正反射像と判定する手段と、
   前記類似度が閾値よりも低いことをもって光源の正反射像と判定する手段と、
   前記ステレオ相関法において、画像全体の対象点から計算された三次元点を前記対象点の位置に配した距離画像において、周囲の連続的な曲面から局所的に遠方に不連続になることをもって光源の正反射像と判定する手段と、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点のもととなった基準画像中の点の輝度または前期点の近傍の平均輝度が高い方の点をもって光源の正反射像と判定する手段と、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点を計算する際の類似度が低いことをもって光源の正反射像と判定する手段と、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対にいうて前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、前記判定手段によって光源として判定される三次元点を排除し、当該画素の正反射像を含まない三次元点のみからなる距離画像を合成する手段と、
   とから成る画像処理システム。
8. 同一の対象物を二つもしくは三つ以上のカメラによって撮影した画像の一つを基本画像、他を参照画像とし、基本画像の中の一点を対象点とし、前記対象点に対してカメラの幾何学的な配置から定まる参照画像中の直線上の一点を候補点とし、前記対象点と候補点の近傍に微小領域を設け、微小領域内の輝度分布の類似度が最高となる候補点を対応点として選び、対象点と対応点のカメラからの方向により三角測量の原理で対象点の三次元座標を計算するステレオ相関法において、
   濃淡あるいはカラー画像中において閾値の輝度よりも明るい部分を抽出して光源の正反射像と判定し、
   前記類似度が閾値よりも低いことをもって光源の正反射像と判定し、
   前記ステレオ相関法において、画像全体の対象点から計算された三次元点を前記対象点の位置に配した距離画像において、周囲の連続的な曲面から局所的に遠方に不連続になることをもって光源の正反射像と判定し、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点のもととなった基準画像中の点の輝度または前期点の近傍の平均輝度が高い方の点をもって光源の正反射像と判定し、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対において、前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、それぞれの三次元点を計算する際の類似度が低いことをもって光源の正反射像と判定し、
   三台以上のカメラを用いて、二組以上のステレオカメラ対を組み合わせ、それぞれのステレオカメラ対にいうて前記ステレオ相関法によって得られた距離画像を同一の平面上に投影し、同じ位置に投影される三次元点がある場合に、前記判定手順によって光源として判定される三次元点を排除し、当該画素の正反射像を含まない三次元点のみからなる距離画像を合成する、
   各手順を実行することから成る画像処理プログラム。

Images