JP2009054098A - 画像処理方法、装置およびプログラム - Google Patents

Abstract

【課題】ステレオ相関法よって３次元計測を行う際に、画像中のテクスチャの弱い部分では対応点があいまいになり精度が落ちやすい。
【解決手段】ステレオ相関法における基準画像から作成した等輝度線画像を用いてテクスチャの強度を評価することで、ウィンドウの大きさを調節し、テクスチャの弱い部分でも安定した距離計測を可能にする。その際、テクスチャの評価手段として、等輝度線までの距離や、ウィンドウ内の等輝度線の画素数などを評価値とする。
【選択図】図５

Description

本発明は、複数の画像から対象の三次元形状を計測するステレオ相関法において三次元の距離精度を安定させる画像処理方法、装置およびプログラムに関する。

非接触に三次元形状を計測する簡便な方法としてステレオ相関法というよく知られた方法がある。この方法では、図１に示すように、測定対象に対して複数の画像を撮影し、基準画像中のある対象点に対する参照画像中の対応点を探索し、それらの画像中の位置から三角測量の原理で対象点の三次元座標値を計算する。

対象点に対する対応点を決定する際には、参照画像中の対応点候補点と対応点のそれぞれの近傍範囲（ウィンドウ）の輝度のパターンを比較し、最もよく合うものを対応点とする。一般的にはウィンドウは対象点および対応候補点を中心とする同じ大きさの正方形であり、比較はウィンドウを重ね合わせたときのそれぞれの画素の差の絶対値の和や二乗和などを用いる。

ウィンドウの大きさを小さくすると処理が高速になり、局所的な形状を計測可能だが、小さな範囲だけでは輝度パターンのバリエーションが減るために一意性が低下し、誤対応を起こしやすいという問題がある。また、ウィンドウを大きくすると、処理が遅くなり、近傍範囲内の対象点から離れた点の輝度パターンに影響される結果、形状の忠実性が損なわれるが、一意性が向上するために小さなウィンドウの場合のような似たパターンによる誤対応の問題は起きにくくなる。図２の例に示すように、小さなサイズのウィンドウの内部は対応点と誤対応点のどちらでも見分けがつかないが、大きなサイズのウィンドウで比較すると違いははっきりする。

本明細書で使用されている「等輝度線」は、画像の輝度を高度にみたてたときの等高線にあたるもので、特徴点の乏しい場合のステレオ対応などに用いられてきた（非特許文献１）。

図３に等輝度線の例を示す。図３(a)の濃淡画像に対して輝度レベルの間隔が１０の等輝度線を作成したものが、図３(b)における黒点である。等輝度線となる画素の条件は、座標(i,j)における輝度値をI(i,j)、等輝度線のピッチをpとすると、
I(i,j-1)/p < I(i,j)/p or I(i-1)/p < I(i,j)/p or I(i+1,j)/p < I(I,j)/p or I(i,j+1)/p< I(I,j)/p
である。ただし、ここにおける除算は切り捨てを行った整数値を意味している。

隣接する二つの画素の輝度が、複数の等輝度線レベルをまたがっている場合には同じ画素に複数の等輝度線が重複して存在することになる。たとえば、等輝度線までの距離を計測する場合や、画素の数を利用する場合には重複を考慮しない二値画像で十分であるが、重複した等輝度線を評価に要する場合には重複個数を値にした濃淡画像になる。
図３(a)の輝度画像に対して重複を考慮した等輝度線画像を作成すると図３(c)のようになる。

等輝度線の性質として、輝度の変化が複雑な場所では密集するという性質がある。特許文献１では、テクスチャが非常に疎な部分をステレオ相関法の対象からはずすために等輝度線を使って輝度変化が非常に平坦な領域を抽出している。

非特許文献２において金出らは、ウィンドウ中の微分値を使ってテクスチャ強度を評価した。これは大変複雑な計算を各点について計算する方法であった。

特許文献２では、隣接する３次元データの位置合わせを行う際にデータの中からテクスチャの強い部分を選んで対応付けを行い、その際にテクスチャ強度の評価に近傍の画素の輝度の最大最小値の差（コントラスト）を用いている。近傍のコントラストも簡便なテクスチャ強度を与えるが、空間的な密度は評価の対象になりにくい。この例では多数の対応付けから一つの座標変換行列をもとめているのでおおまかに対応付けが確からしい部分を選べればよく、厳密なテクスチャ強度の評価が必要でない。ステレオ相関法では、一点一点の対応点が求められるので、応用できない。

距離変換は、図３(b)のような線画に対して、線が存在しない点から最も近い線の画素までのマンハッタン距離を計算するもので、たとえば図３(b)の線画に対しては、図４のような距離変換画像が得られる。
大上、藤村、河井、富田、「等輝度線ステレオによる顔の三次元復元」、PRMU, Vol.103,No.737(20040311) pp. 139-144 Kanade, T., Okutomi, M., "A stereo matchingalgorithm with an adaptive window: theory and experiment", Proc. 1991 IEEEInternational Conference on Robotics and Automation, Vol.2, pp. 1088-1095. 特開2006-127336号公報 特開2003-50110号公報

本発明が解決しようとする問題点は、ステレオ相関法において対応点探索の際に、一定の大きさのウィンドウサイズで探索するとテクスチャの強度が弱い部分において距離計測が不安定になる点である。

そこで、本発明は、ステレオ相関法において、対応点探索を行う際に等輝度線密度を使ってテクスチャ強度を評価して適切なウィンドウサイズを選択することで一意性の低下を防ぎ安定した対応点を得て正確な距離を計測することを目的としている。また、上記等輝度線密度の評価方法として、対象点から等輝度線までの距離を指標とする方法、対象点の近傍に評価用のウィンドウを設けてその内部に存在する等輝度線上の点の数を係数したものを指標とする方法、上記計数時に重複した等輝度線に重みづけたものを指標とする方法を提供する。

本発明の画像処理方法、装置及びプログラムは、測定対象を撮影した複数の画像を用いて、基準画像中の対象点に対する参照画像中の対応点を探索し、対象点に対する対応点を決定する際には、参照画像中の対応点候補点と対応点のそれぞれの近傍範囲であるウィンドウの局所的な輝度パターンの類似性から対応点をさがしてその視差から三角測量法により距離を求めるステレオ相関法を用いる。本発明は、基準画像に対して等輝度線画像を作成し、等輝度線画像の密度を利用して輝度パターン内の一意性を評価して前記ウィンドウのサイズを決定する。

この輝度パターン内の一意性の評価は、対象点から最寄りの等輝度線までの距離を評価値とする。また、輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数えたものを評価値とする。また、輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数え、さらに同一画素に複数の等輝度線が重なっている場合はその重みづけをしたものを評価値とする。

本発明の画像処理方法は、テクスチャ強度の弱い部分において対応点の一意性が安定しない場合に、ウィンドウサイズを自動的に決定し、正しい対応点を探索し、その結果としてステレオ相関法の出力である距離画像の精度を高める効果がある。

本発明を実施するためには、以下の例のようなアルゴリズムを持つコンピュータで動作するプログラムあるいは同じアルゴリズムで動作するハードウェアで画像処理を行うことが望ましい。

図５は、本発明の実施方法を示す手順の一例である。まず、基準画像と参照画像を入力する。なお、入力する画像はあらかじめ校正されたカメラパラメータによって基準画像中の任意の対象点の対応点候補が参照画像中で水平線上に並ぶように座標変換されているものとする。

次に、基準画像に対して等輝度線画像を作成する。さらに、等輝度線画像から、等輝度線画像密度評価処理をして、等輝度線密度評価画像を得る。この等輝度線密度評価画像の各画素における値が各画素におけるテクスチャ密度の評価値になっている。この過程では、距離変換による密度評価であってもよいし、重複を考慮しないウィンドウ中の等輝度線画素数による密度評価であってもよいし、重複を考慮した密度評価であってもよいし、さらに本明細書で言及されていない等輝度線画像の情報を用いる密度評価であってもよい。

次に、基準画像内で対象点をラスター走査する。この時点で、対象点の座標値iにより等輝度線密度評価画像を参照した等輝度線密度値に基づき一意性の評価が低くなる場合に大きくするように適したウィンドウサイズを決定する。

次に、対象点および参照画像中の対応候補点すべてに対するウィンドウをとりだし、それらに対する相関値を、ステレオ相関法処理により計算する。相関値には、SAD(sum of absolute differences)やSSD(sum of squared differences)などのさまざまな手法があるが、どの方式を採用するかは問わない。その結果をもとにもっとも類似度の高い対応点を探索し、対象点と対応点の位置関係から３次元座標値を計算し、距離画像に蓄積する。

なお、この例では等輝度線密度評価を相関法を行うループの前に行っているが、ループ内で同時に行うことも可能である。

実施例１においては、等輝度線密度評価画像から決定されたウィンドウサイズで各画素ごとに対応点探索を行っているが、あらかじめ複数のウィンドウサイズを用いてステレオ相関法を行い、その結果の距離画像を保存しておき、あらためてラスタースキャンを行い、対象点の座標値によって、等輝度線画像から計算された等輝度線密度値に従って対象点ごとに一意性の評価が低くなる場合に大きくするように適したウィンドウサイズを決定し、保存されている複数の距離画像の対象点に相当するデータのうちの一つを採用することもできる。

この例のアルゴリズムでは無駄になる計算結果が多く出るが、画像全体で同じ大きさのウィンドウサイズで連続的に距離画像を計算するコストが、対象点ごとに異なるサイズのウィンドウサイズで距離画像を計算するコストよりもはるかに小さい場合には有効な実施例となる。

図６は本発明に係る、対象点から最寄りの等輝度線までの距離を評価値とする等輝度線密度評価画像作成の例である。実施例１と同様にして、基準画像に対して等輝度線画像を作成する。この等輝度線画像に対して距離変換をおこない、各画素から最寄りの等輝度線までの距離をもった等輝度線距離変換画像を作成する。

その後、等輝度線距離変換画像の各画素値から、密度評価をして等輝度線密度評価画像を作成し、その値を評価値として、実施例１と同様にして、ウィンドウサイズを決定する。通常は、等輝度線距離変換画像の画素値とウィンドウサイズの間には正の相関の関係がある。すなわち、等輝度線距離変換画像の値が大きい、すなわち等輝度線までの距離が大きい点においては一意性が低いと評価されてウィンドウサイズは大きくなり、逆の場合には小さくなる。

図７は本発明に係る、評価用のウィンドウ内の等輝度線画像の画素値の積算値を評価値とする積算する等輝度線密度評価画像作成の例である。その後、評価値に応じて定まる相関法用のウィンドウサイズを出力する。等輝度線画像が二値画像である場合には単純な画素数となり、重複をふくめた濃淡画像である場合には重複重みをつけた画素数となる。
ウィンドウ内の等輝度線画素数の積算処理は、再帰相関法などに用いられている隣接したウィンドウ間の差分行列をつくる方法で、処理を高速化することができる。通常、相関法用のウィンドウサイズと積算値の間には負の相関がある。すなわち、積算値の大きい点においては一意性が高いと評価されてウィンドウサイズは小さくなり、逆の場合には大きくなる。

ステレオ相関法による三次元計測は、さまざまなテクスチャを持つ対象物の自動計測・認識を可能にし、その安定化は現在自動化ができず人間の監視に頼っている分野、特に工業製品でない自然物を対象としたシステムの自動化に有益である。本発明の技術によりテクスチャの弱い部分で発生する誤差を軽減して計測全体を安定化することで３次元による計測、環境認識の分野の利用が可能である。

ステレオ相関法の原理を示した説明図である。 ステレオ相関法におけるウィンドウサイズと誤対応の関係を示した図である。 輝度画像と等輝度線画像および重み付き等輝度線画像の関係を例示した図である。 等輝度線距離変換画像を例示した図である。 本発明の実施方法を示した説明図である。（実施例１） 本発明の実施方法を示した説明図である。（実施例３） 本発明の実施方法を示した説明図である。（実施例４）

Claims (12)

1. 測定対象を撮影した複数の画像を用いて、基準画像中の対象点に対する参照画像中の対応点を探索し、対象点に対する対応点を決定する際には、参照画像中の対応点候補点と対応点のそれぞれの近傍範囲であるウィンドウの局所的な輝度パターンの類似性から対応点をさがしてその視差から三角測量法により距離を求めるステレオ相関法を用いた画像処理方法において、
   基準画像に対して等輝度線画像を作成し、
   等輝度線画像の密度を利用して輝度パターン内の一意性を評価して前記ウィンドウのサイズを決定する画像処理方法。
2. 前記輝度パターン内の一意性の評価は、対象点から最寄りの等輝度線までの距離を評価値とする請求項１に記載の画像処理方法。
3. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数えたものを評価値とする請求項１に記載の画像処理方法。
4. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数え、さらに同一画素に複数の等輝度線が重なっている場合はその重みづけをしたものを評価値とする請求項１に記載の画像処理方法。
5. 測定対象を撮影した複数の画像を用いて、基準画像中の対象点に対する参照画像中の対応点を探索し、対象点に対する対応点を決定する際には、参照画像中の対応点候補点と対応点のそれぞれの近傍範囲であるウィンドウの局所的な輝度パターンの類似性から対応点をさがしてその視差から三角測量法により距離を求めるステレオ相関法を用いた画像処理装置において、
   基準画像に対して等輝度線画像を作成する手段と、
   等輝度線画像の密度を利用して輝度パターン内の一意性を評価して前記ウィンドウのサイズを決定する手段とからなる画像処理装置。
6. 前記輝度パターン内の一意性の評価は、対象点から最寄りの等輝度線までの距離を評価値とする請求項５に記載の画像処理装置。
7. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数えたものを評価値とする請求項５に記載の画像処理装置。
8. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数え、さらに同一画素に複数の等輝度線が重なっている場合はその重みづけをしたものを評価値とする請求項５に記載の画像処理装置。
9. 測定対象を撮影した複数の画像を用いて、基準画像中の対象点に対する参照画像中の対応点を探索し、対象点に対する対応点を決定する際には、参照画像中の対応点候補点と対応点のそれぞれの近傍範囲であるウィンドウの局所的な輝度パターンの類似性から対応点をさがしてその視差から三角測量法により距離を求めるステレオ相関法を用いた画像処理プログラムにおいて、
   基準画像に対して等輝度線画像を作成し、
   等輝度線画像の密度を利用して輝度パターン内の一意性を評価して前記ウィンドウのサイズを決定する画像処理プログラム。
10. 前記輝度パターン内の一意性の評価は、対象点から最寄りの等輝度線までの距離を評価値とする請求項９に記載の画像処理プログラム。
11. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数えたものを評価値とする請求項９に記載の画像処理プログラム。
12. 前記輝度パターン内の一意性の評価は、評価用ウィンドウ内に存在する等輝度線の画素数を数え、さらに同一画素に複数の等輝度線が重なっている場合はその重みづけをしたものを評価値とする請求項９に記載の画像処理プログラム。