JP2012103815A - 画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置 - Google Patents

Abstract

【課題】基準画像と参照画像との間における輝度差が大きい場合等であっても、処理速度を落とすことなく適切に対応点探索処理を行うことのできる画像処理方法等を提供することを課題とする。
【解決手段】基準画像Ａ及び参照画像Ｂを取得するステップと、基準画像Ａ及び参照画像Ｂにおける各画素の輝度をそれぞれ正規化処理する正規化処理ステップと、正規化処理された基準画像Ａ上に設定された基準ウィンドウＷ１内の各画素と、正規化処理された参照画像Ｂ上に設定された参照ウィンドウＷ２内の各画素との相関を算出することで基準画像Ａと参照画像Ｂとの対応点を探索する対応点探索処理ステップと、を含む。
【選択図】図２

Description

本発明は、画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置に関するものである。

ＦＡ分野などにおいて、画像認識技術が普及している。この画像認識技術の一つとしてステレオビジョン法がある。ステレオビジョン法は、複数のカメラからによって撮像された視点の異なる画像を利用して３次元情報を復元する技術であり、計測対象物の３次元形状や寸法、位置姿勢を高精度に計測可能という、他の画像認識技術では実現できない機能を有している。このため、ランダムに積載された部品群を対象とするロボットアームピッキングなどに利用されるなど産業界での応用例は幅広く、また、画像情報を異なる視点から取得するだけでよいために特殊なハードウェアを必要とせずに低コストで実現できる技術であることからも、ステレオビジョン法による位置姿勢計測は実用化が強く期待されている技術である。

このステレオビジョン法では、三角測量を用いて３次元の位置を計算しているが、この３次元の位置を計算するためには、ある空間点が２つの画像上に投影された点の位置を特定する必要がある。具体的には、一方の画像を基準画像、もう一方の画像を参照画像とし、基準画像中の特定の位置の画素に対して、参照画像中から同じ点を探索する必要がある。この基準画像の特定の位置の画素に対応する参照画像中の対応点を探索するためには、例えば以下の数式１で示される差分絶対値和（SAD：Sum of Absolute Difference)や差分二乗和（SSD：Sum of Squared Difference）を用いて対応点探索処理が実行される。

なお、画像の大きさをM×N、一方の画像の位置（ｉ，ｊ）における画素値をＴ（ｉ，ｊ）、もう一方の画像の位置（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）とする。
これらSADやSSDの値が最も小さくなるような２次元位置を、基準画像に対する参照画像の対応点としている。そして、非特許文献１に開示されているように、再帰相関法を用いることによって、その計算量を大幅に低減することができ、ひいては、処理時間を短縮することが可能である。

岡田慧、加賀美聡、稲葉雅幸、井上博允、再帰相関法とマルチメディア命令による高速オプティカルフロー計算法、コンピュータヴィジョンとイメージメディア、１１５−１７、ｐｐ．１２７−１３２、１９９９年３月

しかしながら、上述した差分絶対値和や差分二乗和を用いた対応点探索処理では、基準画像と参照画像との間における輝度差が大きい場合や、基準画像又は参照画像内におけるコントラストが低い場合には誤対応が多発するために、正常に距離計測が行えなくなるという問題が発生する。このため、基準画像と参照画像との間における輝度差が大きい場合や、基準画像又は参照画像内のコントラストが低い場合には、数式２に示される正規化相互相関（NCC：Normalized Cross-Correlation）を用いて対応点探索処理をする必要があった。

しかし、このNCCを用いた対応点探索処理は、SADなどを用いた対応点探索処理のように再帰相関法を使用することができないため、計算量が多く、処理速度が遅くなるという問題があった。

そこで、本発明は、基準画像と参照画像との間における輝度差が大きい場合や、基準画像や参照画像内のコントラストが低い場合であっても処理速度を落とすことなく適切に対応点探索処理を行うことのできる画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置を提供することを課題とする。

本発明に係る画像処理方法は、異なる視点から撮像された対象物の２枚の画像を基準画像及び参照画像として取得するステップと、前記基準画像及び参照画像における各画素の輝度をそれぞれ正規化処理する正規化処理ステップと、前記正規化処理された基準画像上に設定された基準ウィンドウ内の各画素と、前記正規化処理された参照画像上に設定され前記基準ウィンドウと同一サイズの参照ウィンドウ内の各画素との相関を算出することにより、前記基準画像上の注目点に対応する前記参照画像上の対応点を探索する対応点探索処理ステップと、を含み、前記正規化処理ステップは、前記基準画像及び参照画像上のそれぞれに設定された正規化処理ウィンドウ内の中央に位置する画素の輝度Ｉを、前記正規化処理ウィンドウ内における各画素の輝度の平均値μで減算したものを、前記正規化処理ウィンドウ内における各画素の輝度の標準偏差σで除算することにより正規化処理し、この正規化処理を前記基準画像及び参照画像の全画素毎に行う。

この画像処理方法は、対応点探査処理ステップの前に、基準画像及び参照画像における各画素の輝度をそれぞれ上述した方法で正規化処理している。このため、基準画像と参照画像との間における輝度差が大きい場合や、基準画像や参照画像内のコントラストが低い場合に、対応点探索処理ステップとしてＳＡＤやＳＳＤを利用しても、誤対応が発生せず、適切に距離計測を行うことができる。なお、オクルージョンの問題を軽減するために、上記対象物の画像を３枚以上とすることもできる。また、上記正規化処理の式は、（Ｉ−μ）／σとなる。

なお、上記正規化処理ウィンドウは、基準ウィンドウと同一サイズに設定することが好ましい。

また、上記対応点探索処理ステップは、基準画像上に設定された基準ウィンドウ内の各画素の画素値と、参照画像上に設定された参照ウィンドウ内の各画素の画素値との差分絶対値和（SAD：Sum of Absolute Difference）を再帰相関法を用いて算出することで行うことが、迅速な画像処理を実現する観点から好ましい。その他にも、上記対応点探索処理ステップは、基準ウィンドウ内の各画素の画素値と、参照画像上に設定された参照ウィンドウ内の各画素の画素値との差分二乗和（SSD：Sum of Squared Difference）を再帰相関法を用いて算出することで行うこともできる。

また、上記対応点探索処理ステップは、エピポーラ線上に沿って参照画像内における対応点を探索することにより、探索範囲をエピポーラ線上に絞って探索することができ、対応点探索に要する計算量を少なくすることが可能となる。

また、本発明に係る画像処理プログラムは、上記いずれかに記載のステップをコンピュータに実行させるものである。

また、本発明に係るコンピュータ読み取り可能な記憶媒体は、上記画像処理プログラムを記憶したものである。

また、本発明に係る画像処理装置は、撮影対象物を異なる視点から２枚の画像を基準画像及び参照画像として撮像する撮像部と、前記撮像部によって撮像された前記基準画像及び前記参照画像を画像処理する演算処理部と、を備え、前記演算処理部は、前記基準画像及び参照画像上のそれぞれに設定された正規化処理ウィンドウ内の中央に位置する画素の輝度Ｉを、前記正規化処理ウィンドウ内における各画素の輝度の平均値μで減算したものを、前記正規化処理ウィンドウ内における各画素の輝度の標準偏差σで除算することにより正規化処理し、この正規化処理を前記基準画像及び参照画像の全画素毎に行い、前記正規化処理された基準画像上に設定された基準ウィンドウ内の各画素と、前記正規化処理された参照画像上に設定され前記基準ウィンドウと同一サイズの参照ウィンドウ内の各画素との相関を算出することにより、前記基準画像上の注目点に対応する前記参照画像上の対応点を探索するように構成されている。

この画像処理装置によれば、演算処理部が、まず、上述したように基準画像及び参照画像における各画素の輝度をそれぞれ正規化処理し、その後、対応点探索処理を行うため、基準画像と参照画像との間における輝度差が大きい場合や、基準画像や参照画像内のコントラストが低い場合に、対応点探索処理ステップとしてＳＡＤやＳＳＤを利用しても、誤対応が発生せず、適切に距離計測を行うことができる。なお、上記正規化処理ウィンドウは、基準ウィンドウと同一サイズであることが好ましい。

本発明によれば、基準画像と参照画像との間における輝度差が大きい場合や、基準画像や参照画像内のコントラストが低い場合であっても処理速度を落とすことなく適切に対応点探索処理を行うことができる。

図１は本実施形態に係る画像処理装置の概略構成を示すブロック図である。 図２は本実施形態に係る画像処理方法を示すフローチャートである。 図３は本実施形態に係る正規化処理ステップの概略を示す説明図である 図４は本実施形態に係る対応点探索処理ステップを示す説明図である。 図５は本実施形態に係る対応点探索処理ステップにおける再帰相関法の概略を示す説明図である。 図６は実施例における基準画像（ａ）と参照画像（ｂ）を示す画像である。 図７は実施例１における３次元復元を行った結果を示すグラフである。 図８は比較例１における３次元復元を行った結果を示すグラフである。

以下、本発明に係る実施形態について図面を参照しつつ説明する。

図１は、本発明の一実施形態によるステレオビジョン画像処理装置１の基本構成を示している。本装置１は、演算処理部（以下、ＣＰＵと記す）２、データを記録する記録部３、記憶部（以下、メモリと記す）４、インターフェース部５、及びこれら各部の間でデータ（制御信号を含む）を交換するための内部バス６から構成された本体部１０を備えている。また、この本体部１０に、インターフェース部５を介して、操作部７、表示部８、第１及び第２撮像部Ｃ１、Ｃ２が接続されている。

ＣＰＵ２は、記録部３から所定のプログラムをメモリ４に読み出し、メモリ４の一部をワークエリアとして使用して、所定のデータ処理を実行するものであり、例えば、インターフェース部５を介して操作部７からの指示やデータの入力を受け、入力されたデータを記録部３に記録しつつ指示された処理を実行するなど、それらに応じた処理を実行する。また、ＣＰＵ２は、実行途中の演算結果や、処理完了後の最終結果を適宜、記録部３に記録したり、インターフェース部５を介して所定の情報を表示部８に表示したりする。例えば、操作部７からの入力を受け付けるためのグラフィカルなユーザーインターフェース画像を表示部８に表示する。本装置は、コンピュータで実現することができ、その場合は、例えば、操作部７としてコンピュータ用のキーボードやマウスを使用し、表示部８としてＣＲＴディスプレイや液晶ディスプレイ等を使用することができる。

第１及び第２撮像部Ｃ１、Ｃ２は、所定の間隔で所定の位置に配置され、撮像の対象物Ｔを撮像し、撮像された画像データを本体部１０に伝送する。本体部１０では、インターフェース部５を介して取得した各撮像部Ｃ１，Ｃ２からの画像データを、区別可能に、例えば、各撮像部Ｃ１、Ｃ２に対応する異なるファイル名を付けて、第１撮像部Ｃ１によって撮像された画像を基準画像、第２撮像部Ｃ２によって撮像された画像を参照画像として記録部３に記録する。なお、第１撮像部Ｃ１によって撮像された画像を参照画像、第２撮像部Ｃ２によって撮像された画像を基準画像としてもよい。

第１及び第２撮像部Ｃ１、Ｃ２からの出力信号がアナログ信号の場合、本体部１０はＡＤ（アナログデジタル）変換部（図示省略）を設け、所定の時間間隔で入力されるアナログ信号をサンプリングしてデジタルデータに変換する。なお、第１及び第２撮像部Ｃ１、Ｃ２からの出力信号がデジタルデータであればＡＤ変換部は不要である。また、第１及び第２撮像部Ｃ１、Ｃ２は、少なくとも静止画像を撮像できる装置であればよく、例えば、デジタルカメラや、デジタル又はアナログのビデオカメラなどを使用することができる。

以下、本装置１が行う処理について、図２のフローチャートに基づいて説明する。なお、以下においては、特に断らない限り、ＣＰＵ２が行う処理、すなわちＣＰＵ２が各部を制御して行う処理として記載する。また、第１及び第２撮像部Ｃ１、Ｃ２は、測定対象物Ｔを撮像可能なように、所定位置に所定方向を向けて配置されており、その位置及び撮像方向の情報は記録部３に記録されている。また、第１及び第２撮像部Ｃ１、Ｃ２の内部及び外部パラメータは、予め校正実験によって求められ、記録部３に記録されている。

まず、ステップＳ１において、初期設定を行う。この初期設定は、ステップＳ２以降の処理を行うために必要な処理であり、例えば、第１及び第２撮像部Ｃ１、Ｃ２とのデータ伝送経路や制御プロトコルを確立し、第１及び第２撮像部Ｃ１、Ｃ２を制御可能とする。

次に、ステップＳ２において、第１及び第２撮像部Ｃ１、Ｃ２で対象物Ｔを撮像し、基準画像及び参照画像を取得する。なお、第１及び第２撮像部Ｃ１，Ｃ２によって撮像された画像は、本体部１０に伝送されて、所定のファイル名で記録部３に記録される。これによって、記録部３には、それぞれ異なる位置、異なる方向から撮像された２枚の２次元画像データが基準画像、参照画像として記録される。なお、２枚の２次元画像データのうち、どちらを基準画像にしてもよい。

続いて、ステップＳ３として、この基準画像及び参照画像に対して正規化処理をする。基準画像を正規化処理する方法について詳細に説明すると、図３（ａ）に示すように、基準画像Ａ上のある特定の位置に、後述する基準ウィンドウＷ１と同一サイズの正規化処理ウィンドウＷ３を設定する。そして、この位置における正規化処理ウィンドウＷ３内の各画素の輝度の平均値μ_１及び標準偏差σ_１を算出する。そして、この位置における正規化処理ウィンドウＷ３内の画素の輝度の平均値μ_１及び標準偏差σ_１を用いて、正規化処理ウィンドウＷ３の中央に位置する画素Ｃ_１の輝度Ｉ_１を以下の式に基づき正規化する。なお、図３中において、正規化処理された画素を斜線で示す。
（Ｉ_１−μ_１）／σ_１
次に、図３（ｂ）に示すように、正規化処理ウィンドウＷ３を右に一画素分だけずらし、この位置での正規化処理ウィンドウＷ３内における各画素の輝度の平均値μ_２及び標準偏差σ_２を算出し、上記同様に、この位置での正規化処理ウィンドウＷ３の中央に位置する画素Ｃ_２の輝度Ｉ_２を以下の式に基づき正規化する。
（Ｉ_２−μ_２）／σ_２
以上の作業を繰り返すよう、正規化処理ウィンドウＷ３を基準画像Ａ上において走査させることで、基準画像Ａを構成する全画素に対して正規化処理を実行する。なお、参照画像Ｂについても同様の方法で全画素に対して正規化処理を行う。

以上のように正規化処理された基準画像Ａと参照画像Ｂとの間で、対応点探索処理を行う（ステップＳ４）。図４を参照しつつ詳細に説明すると、まず、基準画像Ａのある画素を注目点Ｐとして設定し、この注目点Ｐを中心として基準画像Ａ上に基準ウィンドウＷ１を設定する。なお、基準ウィンドウＷ１がラスタ走査されることによって、基準画像Ａ上の全画素、若しくは、一定の間隔をあけて複数の画素が、注目点Ｐとして順次設定される。また、参照画像Ｂ上にも同様に、ある画素を中心とした参照ウィンドウＷ２を設定する。この参照ウィンドウＷ２は、基準ウィンドウＷ１と同一サイズであり、参照画像Ｂ上を走査しながら基準画像Ａに設定した基準ウィンドウＷ１との類似度が最も高い領域を探索する。ここで、マッチングの際の誤りや計算量を軽減する観点から、参照ウィンドウＷ２を参照画像Ｂ上の対応するエピポーラ線上に設定し、参照ウィンドウＷ２をエピポーラ線上で走査しながら、基準画像Ａに設定した基準ウィンドウＷ１との類似度が最も高い領域を探索することが好ましい。この探索の結果、参照画像Ｂ内において類似度が最も高い位置を、基準画像Ａの注目点Ｐの対応点として特定する。なお、この基準ウィンドウＷ１や参照ウィンドウＷ２の大きさは特に限定されるものではなく，対象物の大きさや濃度変化および画像密度により決定される。

上述した対応点探索の際には、基準画像Ａ上に設定された基準ウィンドウＷ１内における各画素値と、参照画像Ｂ上に設定された参照ウィンドウＷ２内における各画素値との差分絶対値和（SAD： Sum of Absolute Difference）や、基準画像Ａ上に設定された基準ウィンドウＷ１内における各画素値と、参照画像Ｂ上に設定された参照ウィンドウＷ２内における各画素値との差分二乗和（SSD：Sum of Squared Difference）を用いて、類似度を評価することができる。また、これら差分絶対値和や、差分二乗和の計算量を低減させるために、再帰相関法を用いることが好ましい。そして、上記差分絶対値和や差分二乗和が最も小さくなる点を最も類似度が高い点として対応点を特定する。

なお、再帰相関法について図５を参照しつつ説明する。

とすると、
以下のＳＡＤの式

（ただし、画素（ｘ、ｙ）での輝度値をI₁(x、y)、I₂(x、y)とし、ｘ、ｙの領域を０≦ｘ、ｙ＜Ｎとする。また、相関演算のウィンドウサイズをＷ×Ｗとし、その値域を０≦ｉ，ｊ＜Wとする。さらに、探索範囲ｋ、ｌの値域を０≦ｋ、ｌ＜Ｄとする。）
の相関演算は、

と書ける。ここで、

とすると、

と再帰的に計算することができる。さらにQ1(x、y、k、l)やQ2(x、y、k、l)も再帰的に計算することができる。

以上のようにして、対応点が特定されると、三角測量の原理により距離画像が生成される。上述したように探索した対応点に基づいて距離画像を生成する（ステップＳ５）。

そして、上記ステップＳ５で生成した距離画像を記録部３に記録し（ステップＳ６）、画像処理を終了する。

図２に示したブロック図中の各ステップは、所定のプログラムをコンピュータに実行させることにより実現することができる。このプログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して配布することも可能であるが、インターネット等を通じて配信することも可能である。

以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、上記実施形態では、２枚の画像で距離画像を生成しているが、これを３枚以上の画像から距離画像を生成することができる。この場合は、撮像部をその分増やして、基準画像Ａを一枚、参照画像Ｂを複数枚とし、基準画像Ａの注目点Ｐに対応する対応点を各参照画像Ｂから上記実施形態と同様の方法で探索する。

以下に実施例及び比較例を示して、本発明をさらに具体的に説明する。なお、本発明は、下記実施例に限定されるものではない。

２台のデジタルカメラを用いて、対象物Ｔである半解凍状態のタラの半身を異なる視点から撮像し、基準画像（図６（ａ））と参照画像（図６（ｂ））を取得した。条件としては、基準カメラが対象物Ｔの設置面より６１０mm上方に設置されており、参照カメラが基準カメラから150ｍｍ右に離れた位置に設置されている。また、画像サイズは６４０×４８０pixelであり、画像取り込みレートは１５ｆｐｓ、照明は4本の２０Ｗ直流蛍光灯である。なお、基準カメラとは基準画像を撮像するカメラであり、参照カメラとは参照画像を撮像するカメラである。

以上の２つの画像に対して、１５×１５pixelの正規化処理ウィンドウＷ３で上述したように各画素の輝度を正規化処理し、その後、１５×１５pixelの基準ウィンドウW1及び参照ウィンドウW2で再帰相関法を用いたＳＡＤを利用して対応点探索処理を行い、３次元復元した結果が図７に示したグラフである（実施例１）。また、正規化処理を行わずに、単に基準画像と参照画像とを再帰相関法を用いたＳＡＤを利用して対応点探索処理を行い、３次元復元した結果が図８のグラフである（比較例１）。なお、各グラフのX、Y軸の値は、基準画像の画素座標（ピクセル）を示し、Z軸の値は視差を示している。

図７及び図８のグラフから分かるように、比較例１では、誤対応によって、実際には存在しない線状のノイズや、距離測定が不能となった穴が多発しているが（図８参照）、実施例１では、そのような誤対応がほとんど発生していないことが分かる（図７参照）。

１ 画像処理装置
２ ＣＰＵ（演算処理部）
Ａ 基準画像
Ｂ 参照画像
Ｐ 注目点
Ｔ 対象物
Ｗ１ 正規化処理ウィンドウ
Ｗ２ 基準ウィンドウ
Ｗ３ 参照ウィンドウ

Claims (8)

1. 異なる視点から撮像された対象物の２枚の画像を基準画像及び参照画像として取得するステップと、
   前記基準画像及び参照画像における各画素の輝度をそれぞれ正規化処理する正規化処理ステップと、
   前記正規化処理された基準画像上に設定された基準ウィンドウ内の各画素と、前記正規化処理された参照画像上に設定され前記基準ウィンドウと同一サイズの参照ウィンドウ内の各画素との相関を算出することにより、前記基準画像上の注目点に対応する前記参照画像上の対応点を探索する対応点探索処理ステップと、
   を含み、
   前記正規化処理ステップは、前記基準画像及び参照画像上のそれぞれに設定された正規化処理ウィンドウ内の中央に位置する画素の輝度Ｉを、前記正規化処理ウィンドウ内における各画素の輝度の平均値μで減算したものを、前記正規化処理ウィンドウ内における各画素の輝度の標準偏差σで除算することにより正規化処理し、この正規化処理を前記基準画像及び参照画像の全画素毎に行う、画像処理方法。
2. 前記正規化処理ウィンドウは、前記基準ウィンドウと同一サイズに設定されている、請求項１に記載の画像処理方法。
3. 前記対応点探索処理ステップは、前記基準画像上に設定された基準ウィンドウ内の各画素の画素値と、前記参照画像上に設定された参照ウィンドウ内の各画素の画素値との差分絶対値和（SAD：Sum of Absolute Difference）を再帰相関法を用いて算出することで行う、請求項１又は２に記載の画像処理方法。
4. 前記対応点探索処理ステップは、エピポーラ線上に沿って前記参照画像内における対応点を探索する、請求項１〜３のいずれかに記載の画像処理方法。
5. 請求項１〜４のいずれかに記載のステップをコンピュータに実行させるための画像処理プログラム。
6. 請求項５に記載の画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
7. 撮影対象物を異なる視点から２枚の画像を基準画像及び参照画像として撮像する撮像部と、
   前記撮像部によって撮像された前記基準画像及び前記参照画像を画像処理する演算処理部と、を備え、
   前記演算処理部は、
   前記基準画像及び参照画像上のそれぞれに設定された正規化処理ウィンドウ内の中央に位置する画素の輝度Ｉを、前記正規化処理ウィンドウ内における各画素の輝度の平均値μで減算したものを、前記正規化処理ウィンドウ内における各画素の輝度の標準偏差σで除算することにより正規化処理し、この正規化処理を前記基準画像及び参照画像の全画素毎に行い、
   前記正規化処理された基準画像上に設定された基準ウィンドウ内の各画素と、前記正規化処理された参照画像上に設定され前記基準ウィンドウと同一サイズの参照ウィンドウ内の各画素との相関を算出することにより、前記基準画像上の注目点に対応する前記参照画像上の対応点を探索する、画像処理装置。
8. 前記正規化処理ウィンドウは、前記基準ウィンドウと同一サイズに設定されている、請求項７に記載の画像処理装置。

Images