JP2004326448A

JP2004326448A - ステレオ画像処理装置

Info

Publication number: JP2004326448A
Application number: JP2003120369A
Authority: JP
Inventors: Katsuyuki Kise; 勝之喜瀬
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2003-04-24
Filing date: 2003-04-24
Publication date: 2004-11-18
Anticipated expiration: 2023-04-24
Also published as: JP4265927B2

Abstract

【課題】誤検出された距離情報を適切に補正するとともに、検出されなかった小領域の距離情報を適切に補完し、良質な距離画像を得ることのできるステレオ画像処理装置を提供する。
【解決手段】多数決フィルタ４０で、距離画像メモリ３５にストアした距離情報から、注目する小領域を中心とした３×３の小領域群を抽出し、各小領域のアドレス及び視差に応じて度数を加算したヒストグラムを作成するに際し、各アドレスの視差Ｄ（ｄｎ）に対応するヒストグラム上の場所Ｄに加え、その前後の場所Ｄ−１，Ｄ＋１にも所定の度数を加算する。作成したヒストグラムから最大度数視差を抽出し、抽出した最大度数視差と注目する小領域の視差との比較結果が設定条件を満たしたとき、注目する小領域の視差を最大度数視差で補正する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、距離画像のステレオマッチングが適正に行われずにミスマッチングした小領域に対して特異点除去を行うことのできるステレオ画像処理装置に関する。
【０００２】
【従来の技術】
近年、一対の撮像装置によって対象物を撮像し、この撮像されたステレオ画像を用いて三角測量の原理で対象物までの距離を計測し、物体の監視、障害物の検出等を行うステレオ画像処理装置について多くの提案がなされている。
【０００３】
この技術によれば、撮像されたメイン画像とサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いに相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元距離情報（距離画像）を取得する。
【０００４】
この種のステレオ画像処理装置において、誤検出された小領域の視差（すなわち対象物までの距離情報に対応）の補正や検出できなかった小領域の視差の補完を行うため技術として、例えば本出願人による特許文献１には、取得した距離情報から、注目する小領域を中心とした小領域群（例えば３×３の小領域群）を抽出し、各小領域のアドレス及び視差に応じて度数を加算したヒストグラムを作成し、このヒストグラムから最大度数視差を抽出するとともに、抽出した最大度数視差と注目する小領域の視差を比較し、これらが予め設定した条件を満たしたとき、注目する小領域の視差を最大度数視差で補正する技術が開示されている。
【０００５】
また、このヒストグラムの作成方法の一例として、上記特許文献１には、小領域の視差Ｄに応じてヒストグラムに度数を加算する際に、当該視差Ｄに対応する場所に加え、視差Ｄ＋１、及び視差Ｄ＋２に対応する場所にも同様の度数を加算する技術が開示されている。
【０００６】
【特許文献１】
特開平１１−２４８４４６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に開示されたヒストグラムの作成方法では、例えば、小領域群の中に複数種類の近似する視差が混在する場合等に、注目する小領域の視差を最も好ましい視差で補正することが困難な場合がある。
【０００８】
すなわち、例えば、図８（ａ）に示すように視差１２の小領域と視差１３の小領域とが混在する小領域群して特許文献１の技術に基づいてヒストグラムを作成した場合、作成されるヒストグラムは図８（ｃ）に示すものとなり、注目する小領域の周囲に視差１２の小領域が圧倒的に多く存在するにも拘わらず最大度数視差１３が抽出されて注目する小領域が視差１３で補正される場合がある（図８（ｂ）参照）。
【０００９】
本発明は上記事情に鑑みてなされたもので、誤検出された距離情報を適切に補正するとともに、検出されなかった小領域の距離情報を適切に補完し、良質な距離画像を得ることのできるステレオ画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、異なる視点でステレオ撮像した２枚の画像のステレオマッチングを行い対象物までの視差情報を小領域毎に数値化した３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、この小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に上記加算度数を加算処理することで最大度数視差を抽出し、該最大度数視差に応じて上記注目する小領域の視差を補正する多数決フィルタ手段を備えたステレオ画像処理装置において、上記多数決フィルタ手段は、対応する上記視差及び当該視差を中心とした前後の視差に対して上記加算度数を加算処理することを特徴とする。
【００１１】
また、請求項２記載の発明によるステレオ画像処理装置は、請求項１記載の発明において、上記多数決フィルタ手段は、上記視差を中心とした前後に隣接した視差に対して上記加算度数を加算処理することを特徴とする。
【００１２】
また、請求項３記載の発明によるステレオ画像処理装置は、請求項１または２に記載の発明において、上記多数決フィルタ手段は、上記視差を中心とした前後の視差に対する加算度数を、上記視差に対する加算度数以下の値に設定することを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１はステレオ画像処理装置の要部を示す機能ブロック図、図２は多数決フィルタ処理ルーチンのフローチャート、図３は多数決フィルタ処理を行う際の対称となる視差情報のマトリクス、図４（ａ）はＤ（ｄｎ）＝０のときの自視差に対する加算度数を示すマトリクスであり（ｂ）はＤ（ｄｎ）＝０のときの自視差以外に対する加算度数を示すマトリクス、図５（ａ）はＤ（ｄｎ）≠０のときの自視差に対する加算度数を示すマトリクスであり（ｂ）はＤ（ｄｎ）≠０のときの自視差以外に対する加算度数を示すマトリクス、図６は図４，図５のマトリクスに従い包め処理を行う際の説明図、図７は多数決フィルタ処理の一例を示す説明図である。
【００１４】
図１は、２台１組のカメラから構成される撮像手段としてのステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部２０で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して距離分布情報（距離画像）を取得するステレオ処理手段としてのステレオ処理部３０、距離画像をストアする距離画像記憶手段としての距離画像メモリ３５、このストアされた距離画像をフィルタ処理する多数決フィルタ手段としての多数決フィルタ部４０、多数決フィルタ処理された距離画像をストアするフィルタ後距離画像メモリ４５等から構成されるステレオ画像処理装置の基本構成を示し、例えば、自動車やヘリコプタ等の移動体に搭載され、対象風景をステレオ撮像した１組の画像を処理して三次元の距離情報を求め、求めた距離の情報に基づいて自己位置認識を行なう装置等に使用される。
【００１５】
ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａがステレオ処理の際の基準画像を撮像するメインカメラとして設定され、他方のＣＣＤカメラ１０ｂがステレオ処理の際の比較画像を撮像するサブカメラとして設定されている。そして、これらのカメラ１０ａ，１０ｂは、移動体に搭載される際に、所定の基線長で互いの撮像面垂直軸が平行となるよう配置される。
【００１６】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの各アナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ、画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等を備え、ＣＣＤカメラ１０ａ，１０ｂからの撮像信号を、それぞれゲイン調整により信号バランスを揃えた後、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行い、所定の輝度階調のデジタル画像データに変換して元画像メモリ２５にストアする。
【００１７】
ステレオ処理部３０は、シティブロック距離計算回路、最小値・画素ズレ検出回路等を備えたものであり、元画像メモリ２５にストアされたメイン画像及びサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレから得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【００１８】
すなわち、ステレオ処理部３０は、シティブロック距離計算回路でメイン画像の一つの小領域に対し、対応するサブ画像の小領域との間のシティブロック距離を計算し、最小値・画素ズレ検出回路でシティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量（＝視差Ｄ）を、メイン画像の小領域に対応する距離情報として距離画像メモリ３５にストアする。
【００１９】
ここで、上記チェックは、予め設定したしきい値Ｈａ，Ｈｂに対し、シティブロック距離の最小値及び最大値が、
最小値≦Ｈａ
最大値−最小値≧Ｈｂ
を満たすか否かを調べることにより行われ、さらに、メイン画像の小領域内の横方向の隣接画素間の輝度差が、予め設定したしきい値Ｈｃよりも大きいか否かを調べることにより行われる。そして、チェック条件を満たしていない場合、ステレオ処理部３０は、画素ズレ量（＝視差Ｄ）＝”０”を出力する。
【００２０】
尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００２１】
多数決フィルタ部４０は、距離画像メモリ３５にストアされた視差Ｄの値を各小領域毎にそれぞれ多数決フィルタ処理して適切な値に補正し、フィルタ後距離画像メモリ４５に出力するものであり、この多数決フィルタ部４０は、例えばコンパレータ、ゲートアレイ等により論理設計されている。なお、この多数決フィルタ部４０は、通常のマイクロプロセッサで構成し、多数決フィルタ処理をソフト的に行っても良い。
【００２２】
すなわち、多数決フィルタ部４０は、各小領域毎の視差情報を、この小領域の視差情報と該小領域の周囲に存在する小領域の視差情報に基づきフィルタ処理するものであり、先ず、距離画像メモリ３５にストアされた情報の中から、注目する（フィルタ処理を施す）小領域の視差情報を中心とした３×３の小領域群を抽出し、図３に示すように、各小領域に順次ｄｎ（ｎ＝０〜８）のアドレスを設定する。ここで、注目する小領域のアドレスは、ｄ４となる。
【００２３】
多数決フィルタ部４０には、各アドレスｄｎ及び該アドレスｄｎに対応する視差Ｄ（ｄｎ）に応じて加算度数を決定するためのマトリクスが予め設定され格納されており、多数決フィルタ部４０では、決定された加算度数に基づき、横軸を視差Ｄ，縦軸を度数としたヒストグラムを作成し、このヒストグラムから最も度数の大きい視差Ｄ’を抽出し、この最大度数視差Ｄ’に応じて注目する小領域の視差Ｄ（ｄ４）を補正する。
【００２４】
ヒストグラムは、いわゆる包め処理により作成される。すなわち、このヒストグラムは、図６に示すように、アドレスｄｎにおける視差Ｄ（ｄｎ）に対応する場所Ｄに所定の度数を加算するとともに、視差小側に隣接する場所Ｄ−１と、視差大側に隣接する場所Ｄ＋１にも所定の度数を加算することによって作成される。
【００２５】
ここで、加算度数は、例えば、図４，５のマトリクスに示すように７通りの度数に分類されている。具体的には、アドレスｄｎ（ｎ≠４）の視差がＤ（ｄｎ）＝０のとき、ヒストグラム上の対応する場所Ｄ及びこの前後に隣接する場所Ｄ−１，Ｄ＋１に加算する度数は最も小さい値”１”となるよう設定されている。また、視差Ｄ（ｄ４）＝０のとき、ヒストグラム上の対応する場所Ｄに加算する度数は最も大きい値”１７”に設定され、この前後に隣接する場所Ｄ−１，Ｄ＋１に加算する度数は”１０”に設定されている。なお、Ｄ（ｄｎ）＝０である場合、視差Ｄ−１は、負値となり実際には意味を持たないので無視される。また、アドレスｄｎ（ｎ≠４）での視差がＤ（ｄｎ）≠０のとき、ヒストグラム上の対応する場所Ｄに加算する度数は”１”よりもやや大きい”３”に設定され、この前後に隣接する場所Ｄ−１，Ｄ＋１に加算する度数は”２”に設定されている。また、視差Ｄ（ｄ４）≠０のとき、ヒストグラム上の対応する場所Ｄに加算する度数は”３”よりも大きく”１７”よりも小さい”７”に設定され、この前後に隣接する場所Ｄ−１，Ｄ＋１に加算する度数は”５”に設定されている。
【００２６】
そして、これらに基づいて作成されたヒストグラムから、多数決フィルタ部４０は、最大度数視差Ｄ’を抽出し、この最大度数視差Ｄ’が視差Ｄ（ｄ４）に対して予め設定した条件を満たしているとき、視差Ｄ（ｄ４）の値をＤ’に補正する。ここで、最大度数視差値が複数存在した場合は、これらの中から値が最も小さいものをＤ’とするようになっている。
【００２７】
多数決フィルタ部４０による多数決フィルタ処理は、図２に示すフローチャートに従って行われる。
このルーチンでは、先ず、ステップ（以下”Ｓ”と略称）１０１で、前回作成されたヒストグラムをクリアした後、Ｓ１０２に進む。
【００２８】
Ｓ１０２〜Ｓ１１１までの処理は、距離画像メモリ３５にストアされている距離画像データの中から抽出した３×３（アドレスｄ０〜ｄ８）の小領域群に基づき、ヒストグラムを作成するためのものであり、Ｓ１０２では、ｎ＝０とし、これから処理を行う小領域のアドレスをｄ０に設定した後、Ｓ１０３に進む。
【００２９】
Ｓ１０３では、現在処理中の小領域のアドレスがｄ４であるか否かを調べ、アドレスがｄ４でない場合はＳ１０４に進む。
【００３０】
Ｓ１０４では、現在処理中のアドレスｄｎに対応する視差Ｄ（ｄｎ）が”０”であるか否かを調べ、視差Ｄ（ｄｎ）が”０”以外の場合はＳ１０５に進み、視差Ｄ（ｄｎ）が”０”の場合はＳ１０６に進む。
【００３１】
Ｓ１０５では、視差Ｄ（ｄｎ）に一致するヒストグラム上の場所Ｄに度数”３”を加算するとともに、その視差の小側に隣接する場所Ｄ−１と大側に隣接する場所Ｄ＋１に度数”２”を加算した後、Ｓ１１０に進む。
【００３２】
また、Ｓ１０６では、視差Ｄ（ｄｎ）に一致するヒストグラム上の場所Ｄに度数”１”を加算するとともに、その視差の小側に隣接する場所Ｄ−１と大側に隣接する場所Ｄ＋１に度数”１”を加算した後、Ｓ１１０に進む。
【００３３】
一方、Ｓ１０３で現在処理中の小領域のアドレスがｄ４であると判定し、Ｓ１０７に進むと、現在処理中のアドレスｄ４の小領域における視差Ｄ（ｄ４）が”０”であるか否かを調べ、視差Ｄ（ｄ４）が”０”以外の場合はＳ１０８に進み、視差Ｄ（ｄ４）が”０”の場合はＳ１０９に進む。
【００３４】
Ｓ１０８では、視差Ｄ（ｄ４）に一致するヒストグラム上の場所Ｄに度数”７”を加算するとともに、その視差の小側に隣接する場所Ｄ−１と大側に隣接する場所Ｄ＋１に度数”５”を加算した後、Ｓ１１０に進む。
【００３５】
また、Ｓ１０９では、視差Ｄ（ｄ４）に一致するヒストグラム上の場所Ｄに度数”１７”を加算するとともに、その視差の小側に隣接する場所Ｄ−１と大側に隣接する場所Ｄ＋１に度数”１０”を加算した後、Ｓ１１０に進む。
【００３６】
Ｓ１０５，Ｓ１０６，Ｓ１０８，或いはＳ１０９でヒストグラムへ度数を加算してＳ１１０に進むと、ｎ←ｎ＋１とし、処理を行う小領域のアドレスを次のアドレスにシフトさせた後、Ｓ１１１に進む。
【００３７】
Ｓ１１１では、ｎ＝９であるか否か、すなわちアドレスｄ０〜ｄ８の全ての視差Ｄ（ｄｎ）に対応する度数をヒストグラム上へ加算したか否かを調べ、ｎ≠９の場合はＳ１０３に戻り、ｎ＝９の場合はＳ１１２に進む。
【００３８】
Ｓ１１２〜Ｓ１１６までの処理は、作成したヒストグラム上の度数を順次調べ、最大度数視差Ｄ’を抽出するためのものであり、Ｓ１１２では、ｍ＝０、Ｄ’＝０、Ｈ＿ｍａｘ＝０とした後、Ｓ１１３に進む。
【００３９】
ここで、ｍは、ヒストグラム上での横軸のアドレスを表し、以下、ヒストグラム上の各々の視差をＤｍ（ｍ＝０，１，２…ｍａｘ）で表す。この場合、”Ｄ０ ”に対応する視差は”０”であり、”Ｄｍａｘ ”に対応する視差は”ステレオ画像処理部３０で検出可能な視差の最大値”である。
【００４０】
また、Ｈ＿ｍａｘは、ヒストグラム上の度数を順次調べる処理過程における最大度数を示す。
【００４１】
Ｓ１１３では、前処理までの最大度数Ｈ＿ｍａｘが、視差Ｄｍに対応する度数よりも小さいか否かを調べ、最大度数Ｈ＿ｍａｘが視差Ｄｍの度数よりも小さい場合はＳ１１４に進み、Ｄ’＝Ｄｍとするとともに、Ｈ＿ｍａｘの値を視差Ｄｍに対応する度数に更新した後、Ｓ１１５に進む。一方、最大度数Ｈ＿ｍａｘが視差Ｄｍの度数よりも大きい場合は、そのままＳ１１５に進む。
【００４２】
Ｓ１１５では、Ｄｍ ←Ｄｍ＋１とし、度数を調べる視差のアドレスをシフトさせた後、Ｓ１１６に進む。
【００４３】
Ｓ１１６では、Ｄｍ＝Ｄｍａｘであるか否かを調べ、Ｄｍ＝Ｄｍａｘである場合はＳ１１７に進み、Ｄｍ ≠Ｄｍａｘである場合はＳ１１３に戻る。
【００４４】
このようにして、ヒストグラム上で度数最大値Ｈ＿ｍａｘを示すときの視差、すなわち最大度数視差Ｄ’を決定し、Ｓ１１７に進むと、この最大度数視差Ｄ’が、Ｄ（ｄ４）−Ｓ≦Ｄ’≦Ｄ（ｄ４）＋Ｓを満たすか否かを調べる。すなわち、Ｓ１１７では、最大度数視差Ｄ’と視差Ｄ（ｄ４）とのズレが予め設定した許容ズレ視差値±Ｓ以内か否かを調べ、視差のズレが±Ｓ以上であればＳ１１８に進み、Ｄ’をフィルタ後距離画像メモリ４５に出力（Ｄ”＝Ｄ’）した後、ルーチンを抜ける。
【００４５】
一方、Ｓ１１７において、視差のズレが±Ｓ以内であればＳ１１９へ進みＤ（ｄ４）をフィルタ後距離画像メモリ４５へ出力（Ｄ”＝Ｄ（ｄ４））した後ルーチンを抜ける。
【００４６】
次に、上記多数決フィルタ部４０によるフィルタ処理の具体例について説明する。今、距離画像メモリ３５にストアされた距離情報から、図７（ａ）に示す３×３の小領域群が抽出されたとする。
【００４７】
この小領域群のアドレスｄ０，ｄ１における視差Ｄ（ｄｎ）は１２であり、これらはＤ（ｄｎ）≠０であるので、図５のマトリクスから、加算度数は”３”と”２”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１２に対応する場所に度数”３”を加算するとともに、Ｄ＝１１，１３に対応する場所にそれぞれ度数”２”を加算する。
【００４８】
また、アドレスｄ２における視差Ｄ（ｄｎ）は１３であり、Ｄ（ｄｎ）≠０であるので、図５のマトリクスから、加算度数は”３”と”２”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１３に対応する場所に度数”３”を加算するとともに、Ｄ＝１２，１４に対応する場所にそれぞれ度数”２”を加算する。
【００４９】
また、アドレスｄ３における視差Ｄ（ｄｎ）は１２であり、Ｄ（ｄｎ）≠０であるので、図５のマトリクスから、加算度数は”３”と”２”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１２に対応する場所に度数”３”を加算するとともに、Ｄ＝１１，１３に対応する場所にそれぞれ度数”２”を加算する。
【００５０】
また、アドレスｄ４における視差Ｄ（ｄｎ）は１６であり、Ｄ（ｄｎ）≠０であるので、図５のマトリクスから、加算度数は”７”と”５”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１６に対応する場所に度数”７”を加算するとともに、Ｄ＝１５，１７に対応する場所にそれぞれ度数”５”を加算する。
【００５１】
また、アドレスｄ５〜ｄ７における視差Ｄ（ｄｎ）は１２であり、これらはＤ（ｄｎ）≠０であるので、図５のマトリクスから、加算度数は”３”と”２”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１２に対応する場所に度数”３”を加算するとともに、Ｄ＝１１，１３に対応する場所にそれぞれ度数”２”を加算する。
【００５２】
さらに、アドレスｄ８における視差Ｄ（ｄｎ）は０であるので、図４のマトリクスから、加算度数は”１”である。そこでＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１，２に対応する場所に度数”１”を加算する。このようにして、図７（ｃ）に示すヒストグラムが完成する。
【００５３】
次いで、ヒストグラムから上述のＳ１１２〜Ｓ１１６の手順に従って度数最大となる視差Ｄ’を抽出する。ここで、図７（ｃ）に示すヒストグラムから明らかなように、視差Ｄｍ＝１２で度数が最大値２０となり、最大度数視差Ｄ’＝１２となる。なお、最大度数が複数存在する場合、上述のＳ１１２〜Ｓ１１６の処理によって、これらの中から最小の視差がＤ’となる。
【００５４】
次いで、決定した最大度数視差Ｄ’の値に基づき、上述のＳ１１７，Ｓ１１８の手順に従って視差Ｄ（ｄ４）の補正を行う。今回の場合、最大度数視差Ｄ’＝１２，視差Ｄ（ｄ４）＝１６であり、視差Ｄ（ｄ４）に対し最大度数視差Ｄ’が”−４”ズレていることになる。従って、上記Ｓ１１７における許容ズレ視差値Ｓの値が”４”以下に設定されている場合には、最大度数視差Ｄ’＝１２がフィルタ後距離画像メモリ４５の該当アドレスにストアされる。一方、許容ズレ視差値Ｓの値が”４”以上に設定されている場合には、アドレスｄ４の視差Ｄ（ｄ４）＝１６がそのまま、フィルタ後距離画像メモリ４５の該当アドレスにストアされる。
【００５５】
勿論、この多数決フィルタ処理は距離画像メモリ３５にストアされている距離画像全てに対して行われる。
【００５６】
このように、多数決フィルタ部４０は、注目する小領域の周囲に平面を推定することなく、該小領域の距離情報を補正（及び補完）することができるので、対象物が曲面の場合にも対応し、適切な補正を行うことができる。
【００５７】
また、ヒストグラムを作成する際の度数は、各アドレスｄｎ及び該アドレスｄｎの視差Ｄ（ｄｎ）に応じたものなので、注目する小領域の視差Ｄ（ｄ４）の値を尊重しつつ、適切な補正を行うことができる。すなわち、上記多数決フィルタ部４０では、注目する小領域のｄ４の加算度数を周囲の小領域の加算度数よりも大きくすることで、視差Ｄ（ｄ４）、或いは、該視差Ｄ（ｄ４）付近の視差値が最大度数視差Ｄ’となる可能性を大きくすることができる。
【００５８】
また、小領域の視差Ｄ（ｄｎ）に対応して度数を加算するに際し、ヒストグラム上で該当する場所（視差）Ｄを中心にその前後（Ｄ−１，Ｄ＋１）にも所定の度数を加算することにより、各小領域の視差Ｄ（ｄｎ）の前後の値の何れにも注目する小領域に対する補正の余地を残すことができる。その際、該当する視差Ｄを中心にその前後（Ｄ−１，Ｄ＋１）に加算する度数を、視差Ｄの度数以下に設定することにより、各小領域から直接的に得られる視差を尊重しつつ、適切な補正を行うことができる。従って、例えば図７に例示した小領域群のように、複数種類の近似する視差が混在する場合にも、最も好ましい視差で注目する小領域の視差を補正することができる。
【００５９】
さらに、最大度数視差Ｄ’に応じて視差Ｄ（ｄ４）の補正を行うか否かを判定する際の許容ズレ視差値±Ｓを適切に設定することで、実際の視差とは明らかに異なる値の補正を防止することができる。
【００６０】
なお、本実施の形態では、３×３の小領域群を抽出して注目する小領域の視差の補正を行ったが、本発明はこれに限るものではなく、例えば５×５の小領域群を抽出しても良いし、３×５の小領域群を抽出しても良い。すなわち、本発明は得ようとする視差（距離情報）の精度等に応じて、注目する小領域を中心とした任意の小領域群を設定可能なものである。
【００６１】
また、設定する加算度数も上記加算度数に限らず、得ようとする視差（距離情報）の精度等に応じて任意に設定可能である。
【００６２】
また、各小領域の視差Ｄ（ｄｎ）に対応するヒストグラム上の場所Ｄ以外に度数を加算する場所は、Ｄ−１，Ｄ＋１のみに限定されるものではなく、例えばＤ−２，Ｄ＋２にも所定の度数を加算してもよい。すなわち、視差Ｄよりも小及び大側に位置する複数の視差に対して所定の度数を加算してもよく、また、前後に隣接した視差に対して所定の度数を加算してもよい。
【００６３】
【発明の効果】
以上説明したように本発明によれば、誤検出された距離情報を適切に補正するとともに、検出されなかった小領域の距離情報を適切に補完し、良質な距離画像を得ることができる。
【図面の簡単な説明】
【図１】ステレオ画像処理装置の要部を示す機能ブロック図
【図２】多数決フィルタ処理ルーチンのフローチャート
【図３】多数決フィルタ処理を行う際の対称となる視差情報のマトリクス
【図４】（ａ）はＤ（ｄｎ）＝０のときの自視差に対する加算度数を示すマトリクスであり（ｂ）はＤ（ｄｎ）＝０のときの自視差以外に対する加算度数を示すマトリクス
【図５】（ａ）はＤ（ｄｎ）≠０のときの自視差に対する加算度数を示すマトリクスであり（ｂ）はＤ（ｄｎ）≠０のときの自視差以外に対する加算度数を示すマトリクス
【図６】図４，図５のマトリクスに従い包め処理を行う際の説明図
【図７】多数決フィルタ処理の一例を示す説明図
【図８】従来の多数決フィルタ処理の一例を示す説明図
【符号の説明】
４０ … 多数決フィルタ部（多数決フィルタ手段）
ｄｎ … 小領域のアドレス
Ｄ（ｄｎ） … 小領域の視差

Claims

異なる視点で撮像した２枚の画像のステレオマッチングを行い対象物までの視差情報を小領域毎に数値化した３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、この小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に上記加算度数を加算処理することで最大度数視差を抽出し、該最大度数視差に応じて上記注目する小領域の視差を補正する多数決フィルタ手段を備えたステレオ画像処理装置において、
上記多数決フィルタ手段は、対応する上記視差及び当該視差を中心とした前後の視差に対して上記加算度数を加算処理することを特徴とするステレオ画像処理装置。
上記多数決フィルタ手段は、上記視差を中心とした前後に隣接した視差に対して上記加算度数を加算処理することを特徴とする請求項１記載のステレオ画像処理装置。
上記多数決フィルタ手段は、上記視差を中心とした前後の視差に対する加算度数を、上記視差に対する加算度数以下の値に設定することを特徴とする請求項１または２に記載のステレオ画像処理装置。