JP2001184497A - ステレオ画像処理装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像間の誤対応を正確に認識することのでき
るステレオ画像装置を提供すること。 【解決手段】 対応候補視差抽出部１０４は、マッチン
グエラーの分布を基に、最小値Ｅｍ１のマッチングエラ
ー（１次ピークエラー）となった視差Ｄｐ＝ｍ１（第１
の対応候補視差）と、その次に小さい値Ｅｍ２のマッチ
ングエラー（２次ピークエラー）となった視差Ｄｐ＝ｍ
２（第２の対応候補視差）を抽出する。誤対応画素認識
部１０５は、第１の対応候補視差におけるエラーの値と
第２の対応候補視差におけるエラーの値との差「２次ピ
ークエラーの値と１次ピークエラーの値との差」）を求
め、この差の値が、予め設定される閾値Ｔｈと比較して
小さいものを誤対応の可能性が大きい画素と認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の認識装置に
関し、異なる位置に配置された複数の撮像手段による画
像情報から三角測量の原理を利用して認識対象物体まで
の距離情報を計測するステレオ画像処理装置及び記録媒
体に関する。

【０００２】

【従来の技術】従来より、撮像手段たる画像センサ（カ
メラ）の撮像結果に基づき認識対象物体までの距離を計
算する方法として、ステレオビジョン（ステレオ視）に
よる計測方法が広く知られている。

【０００３】この計測方法は２次元画像から、距離、深
度、奥行きといった３次元情報を得るために有用な方法
である。

【０００４】すなわち、２台の画像センサを例えば左右
に配置し、これら２台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で対
象物までの距離を測定するという方法である。このとき
左右に画像センサの対は、ステレオ対と呼ばれており、
２台で計測を行うことから２眼ステレオ視と呼ばれてい
る。

【０００５】図４５は、こうした２眼ステレオ視の原理
を示す。

【０００６】２眼ステレオ視では、左右の画像センサ
１、２の画像＃Ｃｈ１（撮像面１ａ上で得られる）、画
像＃Ｃｈ２（撮像面２ａ上で得られる）中の、対応する
Ｐ１、Ｐ２の位置の差である視差（ディスパリティ）Ｄ
ｐを計測する必要がある。

【０００７】一般に視差Ｄｐは、３次元空間中の５０ａ
（認識対象物体５０上の点）までの距離ｚとの間に、次
式で示す関係が成立する。

【０００８】 ｚ＝（Ｆ・Ｂ）／（Ａ・Ｄｐ） ・・・（１） ここに、Ｂは左右の画像センサ１、２間の距離（基線
長）であり、Ｆは画像センサ１のレンズ３１、画像セン
サ２のレンズ３２の焦点距離であり、Ａは画像センサ上
の画素の大きさ（ＣＣＤ画素の大きさ）である。通常、
基線長Ｂと焦点距離Ｆと画素の大きさＡは既知であるの
で、視差Ｄｐがわかれば、距離ｚは一義的に求められる
ことになる。

【０００９】この視差Ｄｐは、両画像＃ｃｈ１、＃ｃｈ
２間で、どの点がどの点に対応するかを逐一探索するこ
とにより算出することができる。このときの一方の画像
＃ｃｈ１上の点Ｐ１に対応する他方の画像＃ｃｈ２上の
点Ｐ２のことを「対応点」と以下呼ぶこととし、対応点
を探すことを、以下「対応点探索」と呼ぶこととする。
物体５０までの距離を仮定したとき、この仮定距離をも
って探索される一方の画像＃ｃｈ１上の点Ｐ１に対応す
る他方の画像＃ｃｈ２上の点のことを以下「対応候補
点」と呼ぶことにする。

【００１０】２眼ステレオ視による計測を行う場合、上
記対応点探索を行った結果、真の距離ｚに対応する真の
対応点Ｐ２を検出することができれば、真の視差Ｄｐを
算出することができたことになり、このとき対象物５０
上の点５０ａまでの真の距離ｚが計測できたと言える。

【００１１】次に、２台の撮像センサ（カメラ）を用い
て、認識対象物体（車）上の人を撮影した場合の例を図
４６に示す。

【００１２】なお、図４６においては、画像センサ１、
２において、レンズ３１、３２と反転された画像＃ｃｈ
１、＃ｃｈ２が示されているが、これらの画像は実際に
は、撮像面（ＣＣＤ画素）１ａ、２ａに投影されるもの
である。そこで以下、説明の都合上、撮像面（ＣＣＤ画
素）１ａ、２ａを省略し、ここに投影される画像を示す
ものとする。

【００１３】上述したように画像センサ（カメラ）１、
２にはレンズ３１、３２とその後ろに撮像面（ＣＣＤ画
素）１ａ、２ａがあるので、認識対象物体を撮影した場
合、該認識対象物体はレンズの中心を通る直線上のＣＣ
Ｄ画素に投影され、図４６に示すように反転した画像＃
ｃｈ１、＃ｃｈ２が得られる。

【００１４】これを逆に考えると、撮影した画像上の認
識対象物体は、対応するＣＣＤ画素とレンズの中心とを
結ぶ直線上に存在することが分かる。

【００１５】この場合、１台の画像センサによる画像情
報だけでは３次元的な位置を特定するこはできないが、
位置の異なる２台以上の画像センサ１、２による画像情
報を用いれば、三角測量の原理により、認識対象物体
（図４６中の点５０ａ＝人）までの距離が特定できる。
ここで、点５０ａまでの距離ｚは上記数式（１）で表さ
れる。

【００１６】上述した手順の中で、最も重要になるの
は、対応点の探索である。つまり、三角測量の原理で認
識対象物体までの距離を求めるには、左右の画像上で同
じ物体が選択されなければならない。

【００１７】すなわち、例えば基準画像＃ｃｈ１におけ
る位置座標（ｉ，ｊ）で特定される選択画素Ｐ１につい
ては、この位置座標（ｉ，ｊ）におけるＹ座標値（ｊ）
と同位置のＹ座標値で、Ｘ軸方向に１画素づつ移動させ
ながら、対応点を探索する必要がある。

【００１８】なお、ステレオ画像処理装置（認識装置）
においては、左右の画像上の物体の対応点を自動的に求
める必要がある。これについて、左右に配された撮像セ
ンサ１、２を用いる場合の例を示す図４７を参照して説
明する。

【００１９】この左右の画像上の物体の対応を求める従
来の方法（対応点探索の方法）としては、ブロックマッ
チングという手法がある。

【００２０】この手法は、基準とする撮像センサ（以
下、基準撮像センサという）１の基準画像＃ｃｈ１で、
計測対象の物体の近傍周囲の模様を含むウインドウを参
照ウインドウとして、他の撮像センサ（以下、対象撮像
センサという）の対象画像＃ｃｈ２上で視差を変化させ
て類似の模様を探し（つまり、ウインドウ内の模様を比
較して、マッチングエラーの分布を求め）、最も似た模
様を有する視差を見つける（つまり、マッチングエラー
が最も小さくなる視差を対応点とする）方法である。

【００２１】対応点の探索を開始する対象撮像センサの
対象画像＃ｃｈ２上の水平位置を基準撮像センサの参照
ウインドウの水平位置と同じ位置とし、１画素づつ横に
ずらしながら、マッチングエラーを計算し、マッチング
エラーの分布を求める。

【００２２】例えば図４７に示すように、例えば、位置
座標Ｐ２（ｉ，ｊ）、位置座標Ｐ２（ｉ−１，ｊ）、位
置座標Ｐ２（ｉ−ｍ，ｊ）、位置座標Ｐ２（ｉ−ｎ，
ｊ）のように１画素づつＸ方向（水平方向）に移動させ
ながら、当該各位置座標のそれぞれの画素におけるマッ
チングエラーを算出する。

【００２３】そしてＸ方向（水平方向）の全ての画素に
ついてマッチングエラーが算出されると、図４７に示す
ようなマッチングエラー分布が得られることになる。こ
のマッチングエラー分布において、マッチングエラーが
最も小さくなる視差が対応点ということになり、図４７
においては、視差Ｄｐ＝ｍつまり位置座標Ｐ２（ｉ−
ｍ，ｊ）に存在する画素が対応点に相当する。

【００２４】なお、位置座標Ｐ２（ｉ，ｊ）、位置座標
Ｐ２（ｉ−１，ｊ）、位置座標Ｐ２（ｉ−ｍ，ｊ）、お
よび位置座標Ｐ２（ｉ−ｎ，ｊ）のそれぞれの座標にお
ける視差Ｄｐは、Ｄｐ＝０、Ｄｐ＝１、Ｄｐ＝ｍ、およ
びＤｐ＝ｎになっているものとする。

【００２５】ところで、認識対象の物体に特有の模様が
ある場合には、正解の視差におけるマッチングエラーは
小さくなり、かつ、周辺のマッチングエラーに比べても
小さな値になるという特徴がある。

【００２６】この対応点探索のためのブロックマッチン
グの方法は、認識対象の物体に特有な模様がある場合に
は、例えば図４７に示す位置座標（ｉ−ｍ，ｊ）に存在
する画素のように、マッチングエラーの最小値を示す画
素が一つだけ見つかり正解の距離が求まる。

【００２７】しかし、認識対象の物体に模様がない場
合、あるいは模様が少ない場合には、対応点検索を失敗
し誤った距離が求まるという誤対応の問題が発生する。
この物体の誤対応について幾つかの具体例を挙げて説明
する。

【００２８】「誤対応１：模様がない場合」例えば、図
４８に示すように、基準画像＃ｃｈ１における参照ウイ
ンドＷＤ１内において、模様がない背景側の点までの距
離を求める場合に、この参照ウインドＷＤ１と、画像＃
ｃｈ２において設定されるウインドウＷＤ２−１、ＷＤ
２−２、ＷＤ２−３とのマッチングを実施した結果は、
図４８に示すようなマッチングエラーの分布となる。

【００２９】この分布では、マッチングエラーが「０」
となる領域が存在するものの、マッチングエラーの最小
値を示す視差が一意に求まらない。

【００３０】「誤対応２：模様が少ない場合」例えば、
図４９に示すように、基準画像＃ｃｈ１における参照ウ
インドＷＤ１内において、模様が少ない道路上の点まで
距離を計測する場合に、この参照ウインドＷＤ１と、画
像＃ｃｈ２において設定されるウインドウＷＤ２−１、
ＷＤ２−２、ＷＤ２−３とのマッチングを実施した結果
は、図４９に示すようなマッチングエラーの分布とな
る。

【００３１】この分布では、マッチングエラーが最小値
を示す視差が明確に求まらない。

【００３２】「誤対応３：繰り返し模様がある場合」例
えば、図５０に示すように、基準画像＃ｃｈ１における
参照ウインドＷＤ１内において、車の左側のタイヤまで
の距離を計測する場合に、この参照ウインドＷＤ１と、
画像＃ｃｈ２において設定されるウインドウＷＤ２−
１、ＷＤ２−２、ＷＤ２−３とのマッチングを実施した
結果は、図５０に示すようなマッチングエラーの分布と
なる。

【００３３】この分布では、参照ウインドウＷＤ１内の
模様と、ウインドウＷＤ２−１、ＷＤ２−３内の模様と
が類似しているので、視差Ｄｐ＝ｍ１、視差Ｄｐ＝ｍ２
において、マッチングエラーが最小となる視差が二つ存
在し、一意に求まらない。

【００３４】「誤対応４：オクルージョン（隠れ）があ
る場合」例えば、図５１に示すように、基準画像＃ｃｈ
１における参照ウインドＷＤ１内において、距離を計測
したい物体の前に別の物体が存在し、撮像センサによる
見え方が異なるというオクルージョン（隠れ）があるよ
うな場合に、この参照ウインドＷＤ１と、画像＃ｃｈ２
において設定されるウインドウＷＤ２−１、ＷＤ２−２
とのマッチングを実施した結果は、図５１に示すような
マッチングエラーの分布となる。

【００３５】この分布では、視差Ｄｐ＝ｍ１、視差Ｄｐ
＝ｍ２において、マッチングエラーが最小となる視差が
二つ存在し、一意に求まらない。

【００３６】これは、ウインドウＷＤ２−１内の模様つ
まり視差Ｄｐ＝ｍ１での模様が、図５１に示すように参
照ウインドウＷＤ１内の左側の模様（図中符号Ｌで示さ
れる部分）と似ており、また、ウインドウＷＤ２−２内
の模様つまり視差Ｄｐ＝ｍ２での模様が、図５１に示す
ように参照ウインドウＷＤ１内の右側の模様（図中符号
Ｒで示される部分）と似たために、マッチングエラーの
値が小さくなるためである。このように、オクルージョ
ンが発生するような場合には、画像間の誤対応が発生す
る可能性がある。

【００３７】上述したような誤対応１〜４の問題に対応
する方法として、求めた視差Ｄｐｍにおけるエラーの大
きさと信頼度の大きさを考慮する方法がある。

【００３８】「認識方法１：エラーの大きさを考慮する
方法」これは、図５２に示すようにエラーの最小値を示
す視差Ｄｐｍにおけるマッチングエラーの大きさをＥｍ
とし、このエラーの値Ｅｍが予め設定される閾値より大
きい場合に、誤対応とする方法である。

【００３９】（このエラーは、マッチングの悪さを示す
ものであり、この値Ｅｍが大きい程、誤対応の可能性が
高いと考えられる） 「認識方法２：信頼度を考慮する方法」これは、図５３
に示すように、エラーの最小値を示す視差Ｄｐｍ、及び
この視差の前後の視差におけるマッチングエラーの大き
さを各々Ｅｍ、Ｅｍ−１、Ｅｍ＋１として、信頼度を数
式（２）により求め、この求めた信頼度の値が予め設定
される閾値よりも小さい場合に、誤対応とする方法であ
る。

【００４０】 信頼度＝（Ｅｍ−１−Ｅｍ）＋（Ｅｍ＋１−Ｅｍ） ・・・（２） （この信頼度は、模様の特有性を示すものであり、この
値が小さい程、誤対応の可能性が大きいと考えられる） 「認識方法３：マッチングエラーと信頼度の両方を考慮
する方法」これは、上記認識方法１、２を組み合わせ
て、例えば、マッチングエラーが大きい、または、信頼
度が小さい場合は、誤対応とする方法である。

【００４１】「認識方法４：オクルージョンを考慮する
方法」上記認識方法１〜３では、基準撮像センサを左側
の撮像センサとし、左の撮像センサの画像上に参照ウイ
ンドウを設定して、右側の撮像センサの画像上で類似の
模様を探すという処理を行うようにしているが、この方
法は、上述した処理に加えて、逆に、右の撮像センサの
画像上に参照ウインドウを設定して、左側の撮像センサ
の画像上で類似の模様を探すという処理を行い、左右の
撮像センサの画像上にそれぞれ参照ウインドウを設定し
た場合における両者の視差が一致するかどうかのチェッ
クを行う方法である。

【００４２】また、従来においては、上述したようなブ
ロックマッチングを全画素について行った視差画像を基
に、任意の視点から見た画像を作成したり、着目した物
体のみを画像から切り出したりする画像処理を行い、所
望の画像を得るようにしたものもある。

【００４３】さらに、２眼ステレオ視の他に、多眼ステ
レオ視を用いたものもある。この多眼ステレオ視は、対
応点のあいまいさを低減できるため、格段に信頼性を向
上できるので最近良く用いられている。

【００４４】この多眼ステレオ視による物体認識装置で
は、一般に知られているように、複数の画像センサを、
２台の画像センサからステレオ対に分割し、それぞれの
ステレオ対に対し、上述した２眼ステレオ視の原理を繰
り返し適用する方式である。この場合、複数ある画像セ
ンサの中から基準となる画像センサを選択し、この基準
画像センサと他の画像センサとの間で、ステレオ対を構
成する。そして、各ステレオ対に対して２眼ステレオ視
の場合の処理を適用していく。この結果、基準センサか
ら基準画像センサの視野内に存在する認識物体まで距離
が計測されることになる。

【００４５】

【発明が解決しようとする課題】しかしながら、上記従
来の物体の誤対応の認識方法１〜４では、上述した誤対
応１〜４の全ての問題には対応できないという問題点が
あった。

【００４６】特に、上記誤対応４の場合（繰り返しの模
様がある場合）には、対応する方法が提案されていな
い。

【００４７】また、上記認識方法４（オクルージョンを
考慮する方法）では、ブロックマッチングを２回実施
（左右の撮像センサの画像上にそれぞれ参照ウインドウ
を設定した場合の視差を求める）する必要があり、高速
な計測が必要な場合には不利である。なお、この認識方
法４単独では、模様が無い、あるいは、模様が少ない場
合には対応できず、他の認識方法との併用になり、計算
コストが大きくなるという問題があった。

【００４８】そこで、本発明の第１の課題は、画像間の
誤対応を正確に認識することのできるステレオ画像装置
及び記録媒体を提供することにある。

【００４９】また従来においては、ブロックマッチング
による画像間の対応づけを行う方法では、画像の輝度差
で対応づけを行うため、求めようとするウインドウ中心
の画素の視差が、回りのコントラストの強い画素の視差
に置き換わってしまい、視差画像上で視差が不連続に変
化する位置と輝度画像上の物体境界の位置がずれてしま
う（境界の不一致）という問題が発生する。

【００５０】この境界の不一致について説明する。ここ
では、図５４（ａ）に示すように、基準撮像センサ１で
撮像して基準画像＃ｃｈ１、つまりコントラストの強い
物体７２が前にあり、コントラストの弱い物体７１が後
ろにある場合において、参照ウインドウＷＤ１内の画素
Ａ（後方物体７１を意味する）の視差をブロックマッチ
ングで求める場合を考える。

【００５１】この参照ウインドウＷＤ１（ブロック）は
ある程度の大きさ（例えば１５＊１５）が必要なため、
参照ウインドウＷＤ１内に前方物体７２（コントラスト
の強い物体）が一部含まれている。

【００５２】この状態で、撮像センサ２で撮像した画像
＃ｃｈ２において、図５４（ａ）中符号Ｅで示される探
索方向に設定されるウインドウＷＤ２内の画像と 参照
ウインドウＷＤ１内の画像とのマッチングを行うと、本
来の距離である座標位置「Ｂ」ではなく、前方物体が含
まれる座標位置「Ｃ」、すなわち前方物体の視差位置で
最もマッチング度合いが良くなってしまう。

【００５３】何故ならば、ウインドウＷＤ１内の画素Ａ
（後方物体７１）の対応候補点が座標位置「Ｃ」の画素
に来たとき、前方物体がウインドウＷＤ１と同様にウイ
ンドウＷＤ２内に一部含まれ、この位置すなわち前方物
体の視差位置で最もマッチング度合いが良くなるからで
ある。

【００５４】このため、ブロックマッチングを全画素に
ついて行った視差画像は、図５４（ｂ）に示すように、
前方物体の距離を示す画素が実際より膨らんでしまう。
これは視差画像と輝度画像の境界の不一致である。

【００５５】そして、このような境界の不一致が発生し
た場合に、その視差画像を用いて任意の視点から見た画
像を作成すると、物体の輪郭部が乱れたり、着目物体を
切り出す場合においては、物体と一緒に背景も切り出さ
れてしまうという問題が発生する。

【００５６】そして、従来より、このような境界の不一
致の問題を対処すべく方法または装置が要望されている
ものの、実現されていないのが実状である。

【００５７】なお、境界の不一致の問題を対処すべくも
のとしては、特開平９−２７９６９号公報（以下、公報
１という）および特開平１０−２８３４７号公報（以
下、公報２という）に記載されたものが知られている。

【００５８】上記公報１に記載されたものは、物体輪郭
付近に矩形領域を設定し、その領域内の視差の分散か
ら、距離が不連続に変化する位置と物体輪郭の位置とを
一致させるようにしている。

【００５９】しかしながら、この公報１のものでは、物
体輪郭を正しく見つけることが困難であるという問題
や、見つかったとしても形状が複雑な場合、うまく対応
できないといった問題がある。

【００６０】また、公報２に記載されたものは、ウイン
ドウを段階的に小さくしていき、オクルージョン部の精
度を上げるようにしている。

【００６１】しかしながら、この公報２のものでは、境
界部で小さなウインドウを用いても視差を正しく求めら
れるかどうかの記載はなく、また示唆もされておらず、
依然として境界付近に間違った視差を示す画素が残って
しまう。

【００６２】そこで、本発明の第２の課題は、画像間の
対応をブロックマッチングにより求めて視差を推定する
際に、視差画像の境界と輝度画像上の物体の境界を精度
良く一致させるこのできるステレオ画像処理装置及び記
録媒体を提供することにある。

【００６３】

【課題を解決するための手段、作用および効果】上記第
１の課題を達成するため、第１の発明では、異なる位置
に配置された複数の撮像手段で撮像された対象物体の画
像を用いて、該複数の撮像手段のうちの基準とする撮像
手段で撮像された前記対象物体の画像中の選択画素と、
他の撮像手段で撮像された前記対象物体の画像中の前記
選択画素に対応する対応候補点を示す画素との間の対応
をブロックマッチングにより求めて視差を推定するステ
レオ画像処理装置において、前記選択画素に対応する画
素として推定される複数の前記対応候補点のそれぞれに
対応する視差を変化させて得られるマッチングエラーと
視差との関係を表すマッチングエラー分布を基に、第１
の対応候補視差と第２の対応候補視差を求めると共に、
前記第１の対応候補視差におけるマッチングエラーの値
と前記第２の対応候補視差におけるマッチングエラーの
値との差を求め、この求めた差が予め設定される閾値以
下の場合は、前記選択画素は誤対応であると認識する認
識手段を備えたことを特徴とする。

【００６４】上記第１の発明について、図１及び図２を
参照して説明する。

【００６５】図２に示すように、対応候補視差抽出部１
０４（図１参照）は、マッチングエラーの分布におい
て、第１の対応候補視差と第２の対応候補視差を求め
る。ここでは、最小値Ｅｍ１のマッチングエラー（１次
ピークエラー）となった視差Ｄｐ＝ｍ１（第１の対応候
補視差）と、その次に小さい値Ｅｍ２のマッチングエラ
ー（２次ピークエラー）となった視差Ｄｐ＝ｍ２（第２
の対応候補視差）を抽出する。

【００６６】誤対応画素認識部１０５（図１参照）は、
第１の対応候補視差におけるエラーの値と第２の対応候
補視差におけるエラーの値との差（「２次ピークエラー
の値と１次ピークエラーの値との差」）を求め、この差
の値が、予め設定される閾値Ｔｈと比較して小さいもの
を誤対応の可能性が大きい画素と認識する。

【００６７】以上説明したように、第１の発明によれ
ば、第１の対応候補視差におけるマッチングエラーの値
と第２の対応候補視差におけるマッチングエラーの値と
の差が閾値以下の場合には、当該第１及び第２の対応候
補視差にそれぞれ対応する画素は誤対応であると認識す
るので、例えば、対象物体に繰り返し模様がある場合
や、対象物体にオクルージョンがある場合であっても、
画像間の誤対応を確実に認識することができる。

【００６８】また、上記第２の課題を達成するため、第
２の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記基準画像中の画素のエッジ強度を検出するエ
ッジ強度検出手段と、前記基準画像について所定サイズ
の領域を設定し、当該領域内の着目画素を含む全画素に
ついての前記エッジ強度検出手段により検出されたエッ
ジ強度の分布を求め、当該エッジ強度の分布が予め設定
されるエッジ強度の分布に適合する場合は、前記着目画
素を、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像の境界と前記対象物体に対応する輝度
画像の境界とが一致しない旨の境界不一致可能性を示す
画素として検出する画素検出手段とを備えたことを特徴
とする。

【００６９】第２の発明について、図３及び図４を参照
して説明する。

【００７０】図４に示すように、境界不一致可能性画素
検出部２０４（図３参照）は、基準画像＃ｃｈ１の画像
データを基に基準画像＃ｃｈ１について所定のエッジ強
度を計算する（ステップＳ１０１）。

【００７１】この検出処理は、図５４（ｂ）に示したよ
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。

【００７２】すなわち、上記エッジ強度の平均値ａ５が
予め設定される閾値ｔｈ１以上か否かを判断し（ステッ
プＳ１０２）、閾値ｔｈ１以上の場合には着目画素は境
界不一致可能性なしと判定し（ステップＳ１０３）、一
方、閾値ｔｈ１より小さい場合は、エッジ強度の平均値
ａ９が予め設定される閾値ｔｈ２以上か否か、あるいは
（平均値ｂ９５−平均値ａ５）の値が予め設定される閾
値ｔｈ３以上か否かを判断する（ステップＳ１０４）。

【００７３】平均値ａ９が閾値ｔｈ２以上あるいは（平
均値ｂ９５−平均値ａ５）の値が閾値ｔｈ３以上の場合
には、着目画素は境界不一致可能性ありと判定し（ステ
ップＳ１０５）、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
（ステップＳ１０６）。

【００７４】そして、境界不一致可能性ありと判定され
た画素（着目画素）については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。

【００７５】このような境界不一致可能性画素検出処理
は、基準画像＃ｃｈ１の全画素について（各画素がそれ
ぞれ着目画素として）実施される。

【００７６】以上説明したように、第２の発明によれ
ば、所定サイズの領域のエッジ強度の分布を考慮して境
界不一致の推定を行うので、ウインドウサイズを変更し
て再度視差計算を行ったり、物体の輪郭を抽出したりす
ることなく、視差画像と輝度画像の境界を精度良く簡単
に推定できる。

【００７７】また、上記第２の課題を達成するため、第
３の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像を生成する生成手段と、前記基準画像
中の画素のエッジ強度を検出するエッジ強度検出手段
と、前記基準画像について所定サイズの領域を設定し、
当該領域内の着目画素を含む全画素についての前記エッ
ジ強度検出手段により検出されたエッジ強度の分布を求
め、当該エッジ強度の分布が予め設定されるエッジ強度
の分布に適合する場合は、前記着目画素を、前記生成手
段により生成された視差画像の境界と前記対象物体に対
応する輝度画像の境界とが一致しない旨の境界不一致可
能性を示す画素として検出する画素検出手段と、前記生
成手段により生成された視差画像に対して、前記画素検
出手段により検出された前記境界不一致可能性を示す画
素に対応する画素を視差画像としない処理を施して、最
終的な視差画像を生成する視差画像生成手段とを備えた
ことを特徴とする。

【００７８】上記第３の発明について、図３、図１２及
び図１３を参照して説明する。

【００７９】図１２に示すように、初期視差推定部２０
３（図３参照）は、ブロックマッチングによる初期視差
を推定して、図１３に示すような視差画像２１１を作成
する（ステップＳ１１２）。

【００８０】視差画像２１１において、前方視差２１１
ａは前方物体２１０ａに対応するものであり、後方視差
２１１ｂは後方物体２１０ｂに対応するものである。し
かし、実際の前方物体２１０ａに対応する視差の境界
は、視差画像２１１においては実際の境界２１１ｃであ
る。

【００８１】境界不一致可能性画素検出部２０４（図３
参照）は、画像データ記憶部２０２に記憶されている基
準画像＃ｃｈ１及び参照画像＃ｃｈ２を基に、図４に示
した処理手順に従って境界不一致可能性画素を検出する
と共に、この境界不一致可能性画素を基に、図１３に示
すように境界不一致可能性画素を示す画像２１２を生成
する（ステップＳ１１３）。

【００８２】視差画像生成部２０５（図３参照）は、初
期視差推定部２０３により求められた視差画像におい
て、視差不連続画素を検出する。

【００８３】これは、ある画素ａの視差値ｄｐ（ａ）、
この画素ａの周り８近傍の画素が持つ視差値のうち、最
小のもの（撮像センサから最も離れていることを示すも
の）をｄｐ（ｂ）、一方、最大のもの（撮像センサに最
も近いことを示すもの）をｄｐ（ｃ）とした場合に、数
式（５）または数式（６）が成立するときの画素ａを、
視差不連続画素とする。

【００８４】 ｄｐ（ａ）−ｄｐ（ｂ）＞ｔｈ（ｄｐ） ・・・（５） ｄｐ（ａ）−ｄｐ（ｃ）＜−ｔｈ（ｄｐ） ・・・（６） 但し、ｔｈ（ｄｐ）は視差不連続とみなすための視差値
の差の閾値を表す。

【００８５】このようにして得られた視差不連続画素
は、図１３に示す画像２１３における視差不連続画素２
１３ａのように、実際の境界よりも膨らんだ境界を表現
している。

【００８６】そして、視差画像生成部２０５は、画像２
１３における視差不連続画素２１３ａが、画像２１２に
おける境界不一致可能性画素２１２ａの場合、その画素
の視差を、計測不能を示す「−１」にする。

【００８７】次に、画像２１２における境界不一致可能
性画素をラベリングし、このラベリングされた領域が、
視差「−１」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−１」にする。

【００８８】最後に、図１３に示すように、視差画像の
不連続位置（視差が不連続に変化する位置）が実際の物
体の不連続位置に一致する最終的な視差画像２１４を生
成する（ステップＳ１１４）。

【００８９】以上説明したように、第３の発明によれ
ば、生成手段により生成された視差画像に対して、画素
検出手段により検出された境界不一致可能性を示す画素
に対応する画素を視差画像としない処理を施して、最終
的な視差画像を生成するようにしているので、視差画像
の境界と輝度画像の境界とを精度良く一致させることが
できる。よって、膨らみのない視差画像を生成すること
ができる。

【００９０】さらに、上記第２の課題を達成するため、
第４の発明では、異なる位置に配置された複数の撮像手
段で撮像された対象物体の画像を用いて、該複数の撮像
手段のうちの基準とする撮像手段で撮像された前記対象
物体の画像を示す基準画像と、他の撮像手段で撮像され
た前記対象物体の画像との間の対応をブロックマッチン
グにより求めて視差を推定するステレオ画像処理装置に
おいて、前記ブロックマッチングによる画像間の対応付
けに基づく視差画像を生成する生成手段と、前記生成手
段により生成された視差画像中の画素のエッジ強度を検
出するエッジ強度検出手段と、前記生成手段により生成
された視差画像から、視差が不連続に変化する不連続境
界および前記対象物体に対応する輝度画像の境界を検出
すると共に、前記生成手段により生成された視差画像に
対して前記不連続境界を前記輝度画像の境界まで移動す
る境界移動手段と、前記境界移動手段による移動後の前
記不連続境界に基づく視差画像を生成する視差画像生成
手段とを備えたことを特徴とする。

【００９１】上記第４の発明について、図２９、図３０
及び図３１を参照して説明する。

【００９２】初期視差不連続境界検出部３１１（図２９
参照）は、初期視差推定部２０３によるブロックマッチ
ングにより求められた視差画像において視差不連続画素
を検出し、この検出した視差不連続画素を、計測不能を
示す「−１」にする（図３０のステップＳ１５３）。図
３１に示す画像４１１参照。

【００９３】エッジ検出部３１６（図２９参照）は、基
準画像のエッジ強度を例えばソーベルフィルタ（エッジ
強調フィルタ）により計算し、この計算結果（基準画像
のエッジ強度の値）を「ｅ」とし、このエッジ強度ｅが
閾値ｔｈ１以上の画素を「１」とし、それ以外の画素を
「０」とするエッジ画像（図３１エッジ画像４１２）を
作成する（図３０のステップＳ１５４）。

【００９４】境界移動部３１７（図２９参照）は、初期
視差推定部２０３により得られた視差画像（図３１に示
す視差画像４１１）の中で、視差値「−１」を持つ画素
に接してかつ視差値が「−１」でない画素を検出する。
図３１に示す視差画像４１１の前方視差４１１ａを示す
画素領域においては、視差不連続画素４１１ｄが計測不
能（「−１」）とされる。

【００９５】こうして検出した画素の周りにｗ１＊ｗ２
のウインドウを設定し、その後、数式（１５）を計算す
る。

【００９６】 ｄ＝Σ（ｅ（ｉ）＊ｍ（ｉ））／ｎ−ｅｅ （ｉ＝０〜ｗ１＊ｗ２） ・・・（１５） ただし、ｉはウインドウ内の画素の位置を表し、ｍは位
置ｉに存在する画素の視差値が「−１」なら０、それ以
外なら１を表し、ｅはエッジ強度を表し、ｅｅは検出し
た画素のエッジ強度を表し、ｎはｍ（ｉ）が１である数
を表す。

【００９７】数式（１５）を演算して得られた値ｄが予
め設定される閾値ｔｈ１以上なら、この検出した画素の
視差を計測不能を示す「−１」にする。

【００９８】この操作を１回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
（図３０のステップＳ１５５）。

【００９９】そして、視差画像生成部３１３（図２９参
照）は、輝度画像の境界と視差画像の境界が一致した視
差画像（図３１に示す視差画像４３２）を生成する（図
３０のステップＳ１５６）。

【０１００】以上説明したように、第４の発明によれ
ば、生成手段により生成された視差画像に対して不連続
境界を輝度画像の境界まで移動し、この移動後の不連続
境界に基づいて視差画像を生成するようにしているの
で、視差画像と輝度画像の境界を精度良く簡単に一致さ
せることができる。

【０１０１】また、上記第１の解決課題を達成するた
め、第５の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像中
の選択画素と他の撮像手段で撮像された前記対象物体の
画像中の前記選択画素に対応する画素として推定される
複数の対応候補点の画素との間のブロックマッチングに
より求められるマッチングエラーと、視差を変化させて
得られる各視差との対応関係を表すマッチングエラー分
布を基に、第１の対応候補視差および第２の対応候補視
差を求めるステップと、前記第１の対応候補視差におけ
るマッチングエラーの値と前記第２の対応候補視差にお
けるマッチングエラーの値との差を求め、この求めた差
が予め設定される閾値以下の場合は、前記選択画素は誤
対応であると認識するステップとをコンピュータに実行
させるためのプログラムを記録したことを特徴とする。

【０１０２】また、上記第２の解決課題を達成するた
め、第６の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像中の画素のエッジ強度を検出するエッジ強
度検出ステップと、前記基準画像について所定サイズの
領域を設定し、当該領域内の着目画素を含む全画素につ
いての前記エッジ強度検出ステップにより検出されたエ
ッジ強度の分布を求める求ステップと、前記求ステップ
により求められたエッジ強度の分布が予め設定されるエ
ッジ強度の分布に適合する場合は、前記着目画素を、前
記基準とする撮像手段とは異なる他の撮像手段で撮像さ
れた前記対象物体の画像と前記基準画像との間のブロッ
クマッチングによる対応付けに基づく視差画像の境界
と、前記対象物体に対応する輝度画像の境界とが一致し
ない旨の境界不一致可能性を示す画素として検出する画
素検出ステップとをコンピュータに実行させるためのプ
ログラムを記録したことを特徴とする。

【０１０３】また、上記第２の解決課題を達成するた
め、第７の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記基準画
像中の画素のエッジ強度を検出するエッジ強度検出ステ
ップと、前記基準画像について所定サイズの領域を設定
し、当該領域内の着目画素を含む全画素についての前記
エッジ強度検出ステップにより検出されたエッジ強度の
分布を求める求ステップと、前記求ステップにより求め
られたエッジ強度の分布が予め設定されるエッジ強度の
分布に適合する場合は、前記着目画素を、前記生成ステ
ップにより生成された視差画像の境界と前記対象物体に
対応する輝度画像の境界とが一致しない旨の境界不一致
可能性を示す画素として検出する画素検出ステップと、
前記生成ステップにより生成された視差画像に対して、
前記画素検出ステップにより検出された前記境界不一致
可能性を示す画素に対応する画素を視差画像としない処
理を施して、最終的な視差画像を生成する視差画像生成
ステップとをコンピュータに実行させるためのプログラ
ムを記録したことを特徴とする。

【０１０４】さらに、上記第２の解決課題を達成するた
め、第８の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記生成ス
テップにより生成された視差画像中の画素のエッジ強度
を検出するエッジ強度検出ステップと、前記生成ステッ
プにより生成された視差画像から、視差が不連続に変化
する不連続境界および前記対象物体に対応する輝度画像
の境界を検出すると共に、前記生成ステップにより生成
された視差画像に対して前記不連続境界を前記輝度画像
の境界まで移動する境界移動ステップと、前記境界移動
ステップにより移動された移動後の前記不連続境界に基
づく視差画像を生成する視差画像生成ステップとをコン
ピュータに実行させるためのプログラムを記録したこと
を特徴とする。

【０１０５】第５の発明は、第１の発明に係るステレオ
画像処理装置が実行すべき処理に基づく処理手順を示す
プログラムを記録したコンピュータ読み取り可能な記録
媒体として捉えたものである。この第５の発明によれ
ば、上記第１の発明と同様の作用効果を得ることができ
る。

【０１０６】また、第６の発明は第２の発明に係るステ
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第６の発明によ
れば、上記第２の発明と同様の作用効果を得ることがで
きる。

【０１０７】また、第７の発明は第３の発明に係るステ
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第７の発明によ
れば、上記第３の発明と同様の作用効果を得ることがで
きる。

【０１０８】さらに、第８の発明は第４の発明に係るス
テレオ画像処理装置が実行すべき処理に基づく処理手順
を示すプログラムを記録したコンピュータ読み取り可能
な記録媒体として捉えたものである。この第８の発明に
よれば、上記第４の発明と同様の作用効果を得ることが
できる。

【０１０９】

【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して説明する。

【０１１０】図１は、本実施形態の２眼ステレオ視によ
る物体認識装置１００の構成を示すブロック図である。

【０１１１】なお、本実施形態では、２眼ステレオ視を
行う撮像手段として図４５に示す配置関係の画像センサ
１、２を想定している。

【０１１２】同図に示すように、基準画像入力部１０１
には、視差Ｄｐ（距離ｚ）を算出する際に基準となる画
像センサ１で撮像された基準画像＃ｃｈ１が取り込まれ
る。一方、参照画像入力部１０２には、画像センサ２で
撮像された画像＃ｃｈ２が上記画像＃ｃｈ１と同一時刻
に取り込まれる。

【０１１３】対応点探索部１０３は、位置情報部１０３
Ａとマッチング部１０３Ｂとから構成されており、例え
ばブロックマッチングを行う。

【０１１４】位置情報部１０３Ａは、基準画像＃ｃｈ１
の各画素に対して、仮定した距離ｚｎ毎に、画像センサ
２の画像＃ｃｈ２の対応候補点の位置情報を記憶、格納
しており、これを読み出すことにより対応候補点の位置
座標を得る。

【０１１５】すなわち、位置情報部１０３Ａから対応点
の位置座標を読み出し、次に、基準画像センサ１の基準
画像＃ｃｈ１の中から所定位置（ｉ，ｊ）で特定される
選択画素Ｐ１が選択されると共に、認識対象物体までの
距離ｚが仮定される。

【０１１６】そして、この仮定距離ｚに対応する他方の
画像センサ２の画像＃ｃｈ２内の対応候補点Ｐ２の位置
座標（Ｘ２，Ｙ２）が読み出される。マッチング部１０
３Ｂは、基準画像＃ｃｈ１の選択画素Ｐ１の位置座標を
中心とするウインドウＷＤ１を切り出すと共に、画像セ
ンサ２の画像＃ｃｈ２の対応候補点Ｐ２の位置座標を中
心とするウインドウＷＤ２を切り出し、これらウインド
ウＷＤ１、ＷＤ２同士についてパターンマッチングを行
うことにより、マッチングエラーを算出する。

【０１１７】ここで、画像＃ｃｈ２において同一のＹ座
標値（座標（ｉ，ｊ）のｊ値）で、Ｘ方向に１画素ずつ
移動（座標（ｉ，ｊ）のｉ値が変更）させたときのウイ
ンドウＷＤ２と参照ウインドウＷＤ１とのパターンマッ
チングを実施した場合のマッチングエラーの分布例を図
２に示す。

【０１１８】このパターンマッチングは各視差Ｄｐ（仮
定距離ｚ）毎に行われる。そして同様のパターンマッチ
ングが、基準画像＃ｃｈ１の各画素毎に全画素について
行われる。

【０１１９】対応候補視差抽出部１０４は、マッチング
エラーの分布を基に、例えば図２に示すマッチングエラ
ーの分布において、第１の対応候補視差と第２の対応候
補視差を求める。ここでは、最小値Ｅｍ１のマッチング
エラー（１次ピークエラー）となった視差Ｄｐ＝ｍ１
（第１の対応候補視差）と、その次に小さい値Ｅｍ２の
マッチングエラー（２次ピークエラー）となった視差Ｄ
ｐ＝ｍ２（第２の対応候補視差）を抽出する。

【０１２０】これら第１および第２の対応候補視差が抽
出された場合には、画像センサ２で撮像された画像＃ｃ
ｈ２における対応候補点の画素を知ることができる。

【０１２１】誤対応画素認識部１０５は、第１の対応候
補視差におけるエラーの値と第２の対応候補視差におけ
るエラーの値との差（「２次ピークエラーの値と１次ピ
ークエラーの値との差」）を求め、この差の値が、予め
設定される閾値Ｔｈと比較して小さいものを誤対応の可
能性が大きい画素と認識する。

【０１２２】すなわち、「Ｅｍ２−Ｅｍ１」の値が閾値
Ｔｈよりも小さい場合には、１次ピークエラーを発生し
ている第１の対応候補視差（Ｄｐ＝ｍ１）に対応する対
応候補点の画素、および２次ピークエラーを発生してい
る第２の対応候補視差（Ｄｐ＝ｍ２）に対応する対応候
補点の画素は、それぞれ誤対応の画素であると認識され
る。またこのとき、基準画像＃ｃｈ１中の選択画素Ｐ１
も誤対応であると認識される。すなわち、第１及び第２
の対応候補視差にそれぞれ対応する画素と、選択画素Ｐ
１とは誤対応であると認識される。

【０１２３】なお、マッチングエラーのピーク（最小
値）が１つしか存在しない場合には、「Ｅｍ２−Ｅｍ
１」＝閾値Ｔｈよりも非常に大きい値（例えば∞）と定
義すればよく、この場合は、当該マッチングエラーのピ
ーク（最小値）を発生している対応候補視差に対応する
対応候補点の画素が、対応点として認識される。

【０１２４】上述したように、マッチングエラー分布を
基に、第１の対応候補視差と第２の対応候補視差を求め
ると共に、第１の対応候補視差におけるマッチングエラ
ーの値と第２の対応候補視差におけるマッチングエラー
の値との差を求め、この求めた差が予め設定される閾値
以下の場合は、第１及び第２の対応候補視差にそれぞれ
対応する画素、及び基準画像＃ｃｈ１中の選択画素につ
いては誤対応であると認識するようにしているので、上
述した従来技術の欄で述べた誤対応１（模様がない場
合）、誤対応２（模様が少ない場合）、誤対応３（繰り
返し模様がある場合）および誤対応４（オクルージョン
がある場合）全てを正確に認識することができる。

【０１２５】例えば、誤対応３（繰り返し模様がある場
合）の例では、図５０に示すマッチングエラー分布とな
り、また誤対応４（オクルージョンがある場合）の例で
は、図５１に示すマッチングエラー分布となるが、何れ
の場合も、視差Ｄｐ＝ｍ１及び視差Ｄｐ＝ｍ２でマッチ
ングエラーが最小となり、視差が一意に求まらず、画像
間の誤対応が発生している。

【０１２６】これに対し、本実施形態では、この場合に
は、第１の対応候補視差（視差Ｄｐ＝ｍ１）におけるマ
ッチングエラーの値と第２の対応候補視差（視差Ｄｐ＝
ｍ２）におけるマッチングエラーの値との差は、閾値以
下となるため、視差Ｄｐ＝ｍ１および視差Ｄｐ＝ｍ２に
それぞれ対応する画素は誤対応であると認識することが
できる。勿論、これらの画素に対応する基準画像＃ｃｈ
１中の選択画素Ｐ１も誤対応であると認識される。

【０１２７】なお、本実施形態では、誤対応画素認識部
１０５は、２次ピークエラーと１次ピークエラーとの差
が予め設定される閾値Ｔｈより小さい場合に、当該各ピ
ークエラーにそれぞれ対応する対応候補点の画素を誤対
応であると認識するようにしたが、これに限定されるこ
となく、次のようにして良い。

【０１２８】すなわち、誤対応画素認識部１０５は、探
索する視差を変えて得られるマッチングエラーの分布を
用いて求めた第１の対応候補視差と第２の対応候補視差
におけるマッチングエラーの大きさと信頼度の両方を比
較して、誤対応の可能性が大きい画素を認識するように
しても良い。

【０１２９】以上説明したように、第１の実施形態によ
れば、「２次ピークエラーの値と１次ピークエラーの値
との差」を指標とするだけで、画像間の誤対応を正確に
認識することができる。

【０１３０】また、２眼ステレオでなく、２台以上の画
像センサを用いる多眼ステレオにおいても同様に誤対応
認識をすることができる。この場合、マッチングエラー
分布は、全てのステレオペアのマッチングエラーを足し
た分布を用いても良いし、１つあるいは複数のステレオ
ペアを選択し、これらを足し合わせたマッチングエラー
分布を用いても良い。

【０１３１】［第２の実施の形態］図３は、第２の実施
形態に係るステレオ画像処理装置の構成を示すブロック
図である。

【０１３２】同図に示すように、ステレオ画像処理装置
は、画像データ入力部２０１、画像データ記憶部２０
２、初期視差推定部２０３、境界不一致可能性画素検出
部２０４、および視差画像生成部２０５から構成されて
いる。

【０１３３】画像データ入力部２０１には、視差Ｄｐ
（物体５０までの距離ｚ）を算出する際に基準となる画
像センサ１で撮像された基準画像＃ｃｈ１が取り込まれ
る。また、この基準画像＃ｃｈ１上の選択画素Ｐ１に対
応する対応点Ｐ２が存在する画像である画像センサ２の
参照画像＃ｃｈ２が取り込まれる。

【０１３４】画像データ記憶部２０２には、画像データ
入力部２０１に取り込まれた基準画像＃ｃｈ１及び参照
画像＃ｃｈ２が記憶される。

【０１３５】初期視差推定部２０３は、画像データ記憶
部２０２に記憶された画像データを基に、ブロックマッ
チングによる初期視差を推定する。

【０１３６】すなわち、設定したブロック（ブロックサ
イズ＝ｗ１＊ｗ２）毎に、数式（３−１）の演算を行い
ｓａｄが最小となる視差ｄを求める。

【０１３７】 ｓａｄ＝Σ│Ｇａ（ｘ＋ｉ）−Ｇｂ（ｘ＋ｉ＋ｄ）│ （ｉ＝１〜ｗ１＊ｗ２ ） ・・・（３−１） ただし、Ｇ（ｘ）は画像上の画素ｘにおける輝度値ある
いはＲ、Ｇ、Ｂの各値を表し、ｉは設定したブロック内
の位置を表し、ｄは視差を表している。

【０１３８】ここで、ｓａｄが最小となる視差ｄの代わ
りに、数式（３−２）の演算を行い、ｓｓｄが最小とな
る視差ｄを求めても良い。

【０１３９】 ｓｓｄ＝Σ｛Ｇａ（ｘ＋ｉ）−Ｇｂ（ｘ＋ｉ＋ｄ）｝＾２ ・・・（３−２） ただし、Ｇ（ｘ）は画像上の画素ｘにおける輝度値ある
いはＲ、Ｇ、Ｂの各値を表し、ｉは「１〜ｗ１＊ｗ２」
で、かつ設定したブロック内の位置を表し、ｄは視差を
表している。さらに、Ｇａ（ ）は基準画像に関するも
のであり、Ｇｂ（ ）は参照画像に関するものである。

【０１４０】なお、視差推定時のブロックマッチングの
ウインドウサイズを９＊９（ｗ１＊ｗ２）とする。

【０１４１】境界不一致可能性画素検出部２０４は、画
像データ記憶部２０２に記憶された画像データを基に、
詳細は後述する境界不一致可能性画素を検出する。

【０１４２】視差画像生成部２０５は、輝度画像の境界
と視差画像の境界とが一致した視差画像を生成する。

【０１４３】次に、境界不一致可能性画素検出部２０４
による境界不一致可能性画素検出処理について、図４を
参照して説明する。

【０１４４】境界不一致可能性画素検出部２０４は、基
準画像＃ｃｈ１の画像データを基に基準画像＃ｃｈ１に
ついて所定のエッジ強度を計算する（ステップＳ１０
１）。

【０１４５】すなわち基準画像＃ｃｈ１の各画素のエッ
ジ強度を例えばソーベルフィルタを用いて計算する。こ
の計算により得られた各画素のエッジ強度をａ１とす
る。

【０１４６】このソーベルフィルタは、着目画素の周り
８近傍の画素からなる３＊３画素の値を基に、数式
（４）を演算して着目画素のエッジ強度ｅを求めるエッ
ジ強調フィルタである。

【０１４７】 ｅ＝│Ａ＋２Ｂ＋Ｃ−Ｇ−２Ｈ−Ｉ│＋│Ａ＋２Ｄ＋Ｇ−Ｃ−２Ｆ−Ｉ│ ・・・（４） ここで、数式（４）におけるＡ〜Ｉは、図５に示す３＊
３の画素に付されている符号Ａ〜Ｉに対応し、その画素
における輝度値あるいはＲ（赤）、Ｇ（緑）、Ｂ（青）
の各値を表している。

【０１４８】なお、エッジ強調フィルタは、ソーベルフ
ィルタに限らず、他のフィルタでも良い。

【０１４９】次に、基準画像＃ｃｈ１について、図６に
示すように、自己の画素（着目画素）を中心とする５＊
５のウインドウＷＤ５および９＊９のウインドウＷＤ９
を設定し、ウインドウＷＤ５（５＊５）内に含まれる全
ての画素のエッジ強度の平均を計算するとともに（この
平均値をａ５とする）、ウインドウＷＤ９（９＊９）内
に含まれる全ての画素のエッジ強度の平均を計算する
（この平均値をａ９とする）。

【０１５０】また、ウインドウＷＤ９には含まれるがウ
インドウＷＤ５には含まれない全ての画素のエッジ強度
の平均を計算し、この平均値をｂ９５とする。

【０１５１】このようにしてエッジ強度ａ１、エッジ強
度の平均値ａ５、ａ９、ｂ９５を求めたならば、境界不
一致可能性画素検出部２０４は、境界不一致可能性画素
の検出処理を行う。

【０１５２】この検出処理は、図５４（ｂ）に示したよ
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。

【０１５３】この境界不一致を引き起こす可能性がある
のは、着目画素を中心として、ウインドウＷＤ９内の中
央付近のエッジ強度が弱く、かつウインドウＷＤ９内の
端付近のエッジ強度が強い画素であるので、そのような
画素を検出すれば良いことになる。

【０１５４】すなわち、上記エッジ強度の平均値ａ５が
予め設定される閾値ｔｈ１以上か否かを判断し（ステッ
プＳ１０２）、閾値ｔｈ１以上の場合には着目画素は境
界不一致可能性なしと判定し（ステップＳ１０３）、一
方、閾値ｔｈ１より小さい場合は、エッジ強度の平均値
ａ９が予め設定される閾値ｔｈ２以上か否か、あるいは
（平均値ｂ９５−平均値ａ５）の値が予め設定される閾
値ｔｈ３以上か否かを判断する（ステップＳ１０４）。

【０１５５】平均値ａ９が閾値ｔｈ２以上あるいは（平
均値ｂ９５−平均値ａ５）の値が閾値ｔｈ３以上の場合
には、着目画素は境界不一致可能性ありと判定し（ステ
ップＳ１０５）、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
（ステップＳ１０６）。

【０１５６】そして、境界不一致可能性ありと判定され
た画素（着目画素）については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。

【０１５７】このような境界不一致可能性画素検出処理
は、基準画像＃ｃｈ１の全画素について（各画素がそれ
ぞれ着目画素として）実施される。

【０１５８】次に、上述した境界不一致可能性画素検出
処理について、図７乃至図１１に示す具体例を挙げて説
明する。

【０１５９】ここでは、図５４（ａ）に示した基準画像
＃ｃｈ１について、参照ウインドウＷＤ１の設定位置の
近傍に、ウインドウＷＤ５（５＊５）およびのウインド
ウＷＤ９（９＊９）の２種類のウインドウを設定して処
理するものとする。

【０１６０】上記ステップＳ１０３で境界不一致可能性
なしと判定されるのは、２種類のウインドウの内容が例
えば図７に示すような内容の場合である。

【０１６１】図７において、矩形はウインドウ内の画素
を表し、記号が記載されている矩形は着目画素を表し、
斜線が施されている矩形は前方物体を示す画素を表し、
さらに白の矩形は後方物体を示す画素を表す。なお図８
乃至図１１においても同様とする。

【０１６２】また、上記ステップＳ１０６で境界不一致
可能性なしと判定されるのは、２種類のウインドウの内
容が例えば図８に示すような内容の場合である。

【０１６３】さらに、上記ステップＳ１０５で境界不一
致可能性ありと判定されるのは、２種類のウインドウの
内容が例えば図９あるいは図１０に示すような内容の場
合である。

【０１６４】そして、図９あるいは図１０の例におい
て、着目画素（ｉ，ｊ）が垂直方向（ｊ方向）に移動さ
れた場合も、同様に図９あるいは図１０に示すような着
目画素と前方物体を示す画素の配置関係にあるとした場
合には、図１１に示すように２列分の画素が境界不一致
可能性画素とされる。

【０１６５】上述したように、中心が一致し、サイズの
異なるウインドウを複数種類用意し、それらのウインド
ウ内のエッジ強度の分布を基に、境界不一致可能性画素
を検出することができる。

【０１６６】次に、このようにして得られる境界不一致
可能性画素を利用して、視差画像を生成する処理につい
て、図１２及び図１３を参照して説明する。

【０１６７】図１２は視差画像を生成する処理フローを
示し、図１３はその生成処理過程を説明するための図を
示している。

【０１６８】図１２に示すように、初期視差推定部２０
３は、画像データ記憶部２０２に記憶されている基準画
像＃ｃｈ１及び参照画像＃ｃｈ２を基に（ステップＳ１
１１）、ブロックマッチングによる初期視差を推定し
て、図１３に示すような視差画像２１１を作成する（ス
テップＳ１１２）。この視差画像２１１は基準画像＃ｃ
ｈ１である元画像２１０と参照画像＃ｃｈ２とのブロッ
クマッチングにより求められる。

【０１６９】視差画像２１１において、前方視差２１１
ａは前方物体２１０ａに対応するものであり、後方視差
２１１ｂは後方物体２１０ｂに対応するものである。し
かし、実際の前方物体２１０ａに対応する視差の境界
は、視差画像２１１においては実際の境界２１１ｃであ
る。この場合は、輝度画像と視差画像の境界に不一致が
発生していることになる。

【０１７０】境界不一致可能性画素検出部２０４は、画
像データ記憶部２０２に記憶されている基準画像＃ｃｈ
１及び参照画像＃ｃｈ２を基に、図４に示した処理手順
に従って境界不一致可能性画素を検出すると共に、この
境界不一致可能性画素を基に、図１３に示すように境界
不一致可能性画素を示す画像２１２を生成する（ステッ
プＳ１１３）。

【０１７１】視差画像生成部２０５は、初期視差推定部
２０３により求められた視差画像において、視差不連続
画素を検出する。

【０１７２】これは、ある画素ａの視差値ｄｐ（ａ）、
この画素ａの周り８近傍の画素が持つ視差値のうち、最
小のもの（撮像センサから最も離れていることを示すも
の）をｄｐ（ｂ）、一方、最大のもの（撮像センサに最
も近いことを示すもの）をｄｐ（ｃ）とした場合に、数
式（５）または数式（６）が成立するときの画素ａを、
視差不連続画素とする。

【０１７３】 ｄｐ（ａ）−ｄｐ（ｂ）＞ｔｈ（ｄｐ） ・・・（５） ｄｐ（ａ）−ｄｐ（ｃ）＜−ｔｈ（ｄｐ） ・・・（６） 但し、ｔｈ（ｄｐ）は視差不連続とみなすための視差値
の差の閾値を表す。

【０１７４】このようにして得られた視差不連続画素
は、図１３に示す画像２１３における視差不連続画素２
１３ａのように、実際の境界よりも膨らんだ境界を表現
している。

【０１７５】そして、視差画像生成部２０５は、画像２
１３における視差不連続画素２１３ａが、画像２１２に
おける境界不一致可能性画素２１２ａの場合、その画素
の視差を、計測不能を示す「−１」にする。

【０１７６】次に、画像２１２における境界不一致可能
性画素をラベリングし、このラベリングされた領域が、
視差「−１」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−１」にする。

【０１７７】最後に、図１３に示すように、視差画像の
不連続位置（視差が不連続に変化する位置）が実際の物
体の不連続位置に一致する最終的な視差画像２１４を生
成する（ステップＳ１１４）。

【０１７８】視差画像２１４においては、計測不能画素
２１４ａは、視差が計測不能を意味しているので、前方
視差２１１ａおよび後方視差２１１ｂでもない、所定の
処理に基づく画素となっている。

【０１７９】しかし計測不能画素２１４ａに囲まれてい
る視差画像は、前方視差２１１ａと一致している。つま
り視差画素の不連続位置と実際の物体の不連続位置とが
一致している。

【０１８０】この実施形態においては、視差画像生成部
２０５は、膨らみをなくす処理を行う際、背景側に計測
不能画素が広がらないような処理を行っても良い。

【０１８１】例えば、膨らみ可能性画素を除去する際、
膨らみ可能性画素のうち高い側の視差値（撮像センサか
ら距離が近いということ＝前方視差側）をもつ画素は除
去するが、低い側の視差値（撮像センサから距離が遠い
ということ＝後方視差側）を持つ画素は除去しないとい
う方法が考えられる。

【０１８２】すなわち、図１４（ａ）に示すように、視
差画像２１１の視差不連続位置２１１ｄから強いエッジ
の部分まで膨らみを無くす処理を実施するようにした場
合には、背景側つまり後方視差には強いエッジが存在し
ないので、最終的に得られる視差画像２１５の当該後方
視差（背景側）全てが計測不能画素２１５ａになってし
まう。

【０１８３】そこで、視差画像の視差不連続位置２１１
ｄから膨らみを無くす処理を実施する際には、視差不連
続位置２１１ｄを境にして、低い側の視差値（撮像セン
サから距離が遠いということ＝後方視差２１１ｂ側）を
持つ画素に対しては、膨らみを無くす処理を実施せず、
一方、高い側の視差値（撮像センサから距離が近いとい
うこと＝前方視差２１１ａ側）をもつ画素に対しては、
膨らみを無くす処理を実施するようにする。

【０１８４】このような膨らみを無くす処理を実施する
ことにより、図１４（ｂ）に示すように、実際に膨らん
でいる画素すなわち計測不能画素２１６ａのみが除去さ
れている視差画像２１６（最終的な視差画像）を得るこ
とができる。また、図１４（ｂ）に示す後方視差２１６
ｂは、図１４（ａ）に示す後方視差２１１ｂと同様のも
の、つまり膨らみを無くす処理を実施する前と同様の視
差となっている。

【０１８５】また、上述したような膨らみを無くす処理
は、例えば２重ウインドウを用いて膨らみ画素を検出し
て、膨らみを除去する際にも実施することができる。

【０１８６】なお、上記実施形態では、２眼ステレオ視
を実施すべく、画像データ入力部２０１では、基準画像
＃ｃｈ１と参照画像＃ｃｈ２の２つの画像を取り込むよ
うにしているが、これに限定されることなく、多眼ステ
レオ視を実施すべく、基準画像＃ｃｈ１と複数の参照画
像＃ｃｈ２の複数の画像（３以上の画像）を取り込むよ
うにしても良い。

【０１８７】また、初期視差推定部２０３による視差画
像の作成においては、ブロックマッチングを行う画像は
輝度画像だけでなく、何らかの前処理（エッジ強調処理
など）を施した画像でも良い。

【０１８８】また、初期視差推定部２０３は、図１５
（ａ）に示すように、何の処理も施していない視差画像
を視差画像２１１とするようにしているが、これに限定
されることなく、次のようにしても良い。

【０１８９】すなわち、図１５（ｂ）に示すように、視
差推定後に何らかの指標で誤対応の画素を除去した視差
画像を視差画像２１１としても良い。つまり、図１５
（ａ）に示す視差画像に対して、上述した第１の実施形
態で説明したように誤対応の画素を除去した視差画像を
視差画像２１１としても良い。

【０１９０】さらに、誤対応の画素を除去すると視差画
像上に小さな抜け領域が多少発生するので、図１５
（ｃ）に示すように、図１５（ｂ）に示す視差画像に対
して、平面とみなされる小領域を埋めた処理画像を視差
画像２１１としても良い。

【０１９１】例えば、抜け領域をラベリングし、大きさ
が所定の個数以下の領域を選ぶ。その各領域について、
その境界画素の視差を調べ、それらの最大値と最小値の
差が所定の値以下の場合は、抜け領域を平面領域とみな
し、その境界画素の視差の平均で抜け領域を埋める。

【０１９２】以上のことは、図１５（ａ）、（ｂ）及び
（ｃ）に示す視差画像のうち、いずれかの視差画像を、
視差画像２１４を生成するための初期視差画像（視差画
像２１１）として採用できることを意味する。

【０１９３】また、境界不一致可能性画素検出部２０４
により境界不一致可能性画素を検出する際に、２種類の
ウインドウの大きさを５＊５、９＊９に設定するように
したが、これに限定されることなく、次のようにしても
良い。

【０１９４】すなわち、３種類以上のウインドウを用い
たり、また、最大ウインドウサイズをブロックマッチン
グのウインドウサイズに合わせる必要はなく、数種類の
ウインドウを用いても良い。例えば、３＊３、５＊５、
９＊９、１３＊１３の４種類のウインドウを採用しても
良い。

【０１９５】また、視差画像生成部２０５による視差不
連続画素を算出する際に、着目する画素ａの周り８近傍
を採用するようにしたが、これに限定されることなく、
例えば４近傍を採用しても良い。

【０１９６】さらに、視差画像２１１にソーベルフィル
タのようなエッジ強調フィルタをかけ、強度の強いもの
を検出することにより得られる画素を視差不連続画素
（つまり画像２１３）としても良い。

【０１９７】以上説明したように、第２の実施形態によ
れば、ウインドウ内のエッジ強度の分布を考慮して境界
不一致の推定を行うので、ウインドウサイズを変更して
再度視差計算を行ったり、物体の輪郭を抽出したりする
ことなく、視差画像と輝度画像の境界を精度良く簡単に
推定できる。

【０１９８】［第３の実施の形態］図１６は、第３の実
施形態に係るステレオ画像処理装置による視差画像生成
処理を説明するための図を示したものである。

【０１９９】この第３の実施形態のステレオ画像処理装
置は、基本的には図３に示した第２の実施形態の構成と
同一であるが、視差画像生成部２０５による処理が少し
変更された構成になっている。

【０２００】この視差画像生成部２０５においては、図
１３に示した視差不連続画素を示す画像２１３を生成す
る処理は、第２の実施形態の構成と同一であり、最終的
な視差画像を生成する処理が異なっている。

【０２０１】したがって、図１６に示す画像２１０、２
１１、２１２、２１３は、第２の実施形態と同様の処理
により得られることになる。

【０２０２】ところで、図１６において、画像２１３の
視差不連続画素２１３ａが画像２１２の境界不一致可能
性画素２１２ａの場合には、その画素の視差は、計測不
能を示す「−１」で表されている。

【０２０３】そこで、この実施形態の視差画像生成部２
０５は、画像２１２の境界不一致可能性画素２１２ａを
ラベリングし、このラベリングされた領域中において、
視差「−１」の画素を含む領域を抽出する。

【０２０４】ここで、図１６において、画像２１２の境
界不一致可能性画素２１２ａには、画像２１３の視差不
連続画素が含まれているので、抽出された領域は画像２
１２の境界不一致可能性画素２１２ａに一致する。

【０２０５】この抽出された領域の境界画素が持つ初期
視差のうち最も小さい画素（その画素が撮像センサから
最も距離が遠いという意味であり、例えば後方物体＝背
景画像）の視差で、その領域を埋めて、図１６に示す最
終的な視差画像２１７を生成する。

【０２０６】すなわち、抽出された領域である境界不一
致可能性画素２１２ａに相当する領域は、視差画像にお
いて膨らんだ部分、つまり本来は後方視差２１１ｂであ
るので、抽出した領域を後方視差で埋める。

【０２０７】これにより、視差画像２１７のように、視
差画素の不連続位置が実際の物体の不連続位置に一致
し、しかも抜けのない視差画像が得られる。

【０２０８】なお、この実施形態では、視差画像生成部
２０５は、ラベリングされた領域中の視差「−１」の画
素を含む領域を埋めるのに、境界画素が持つ初期視差の
うち最も小さい画素の視差で埋めるようにしているが、
これに限定されることなく、境界画素が持つ初期視差の
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。

【０２０９】以上説明したように、第３の実施形態にお
いても、上記第２の実施形態の作用効果を期待すること
ができる。

【０２１０】［第４の実施の形態］図１７は、第４の実
施形態に係るステレオ画像処理装置における境界不一致
可能性画素検出部の処理手順を示すフローチャートであ
る。

【０２１１】この第４の実施形態のステレオ画像処理装
置は、基本的には図３に示した第２の実施形態の構成と
同一であるが、境界不一致可能性画素検出部２０４によ
る境界不一致可能性画素検出処理が少し変更された構成
になっている。

【０２１２】次に、この境界不一致可能性画素検出処理
について、図１７の処理手順を示すフローチャートを参
照して説明する。

【０２１３】この実施形態での境界不一致可能性画素検
出部２０４は、基準画像＃ｃｈ１の画像データを基に基
準画像＃ｃｈ１について所定のエッジ強度を計算する
（ステップＳ１２１）。

【０２１４】すなわち、最初に第２の実施形態で説明し
たように、基準画像＃ｃｈ１の各画素のエッジ強度を例
えばソーベルフィルタを用いて計算する。この計算によ
り得られた各画素のエッジ強度をａ１とする。

【０２１５】次に、図１８に示すように、自己の画素
（着目画素）を中心とする、１ブロックが３＊３のウイ
ンドウＷＤ３−３から構成されている９ブロック（３＊
３）のウインドウＷＤ３を設定し、そのウインドウＷＤ
３内に含まれる全ての画素のエッジ強度の平均を計算す
る。つまり、このウインドウＷＤ３は９＊９のウインド
ウが設定されたのと同じことになるので、８１の画素に
ついてのエッジ強度の平均値が求められる。

【０２１６】なお、図１８において、９ブロックに示さ
れている番号はブロック番号を意味する。

【０２１７】次に、ウインドウＷＤ３（３＊３）におけ
るブロック０内の各画素（９画素分）のエッジ強度の平
均を計算し、この平均値をａ０とすると共に、着目画素
の周り８ブロック（ブロック１〜８）のそれぞれについ
てウインドウＷＤ３−３内の各画素（９画素分）のエッ
ジ強度の平均を計算し、これらの平均値をそれぞれのブ
ロック（ブロック番号）に対応してｂ１〜ｂ８とする。

【０２１８】このようにしてエッジ強度ａ１、ａ０、ｂ
１〜ｂ８を求めたならば、境界不一致可能性画素検出部
２０４は、境界不一致可能性画素の検出処理を実行す
る。

【０２１９】この検出処理は、図５４（ｂ）に示したよ
うに実際の物体境界７３ｃと一致しない可能性、すなわ
ち膨らみ部分となる可能性を示す境界不一致を引き起こ
す可能性がある画素を検出するために行われる。

【０２２０】この境界不一致を引き起こす可能性がある
のは、ウインドウＷＤ３において、ブロック０である中
央のウインドウ内のエッジ強度が弱く、周りの８ブロッ
クのエッジ強度分布に偏りがある画素であるので、その
ような画素を検出すれば良いことになる。

【０２２１】すなわち、境界不一致可能性画素検出部２
０４は、上記エッジ強度の平均値ａ０が予め設定される
閾値ｔｈ５以上か否かを判断し（ステップＳ１２２）、
閾値ｔｈ５以上の場合には、着目画素は境界不一致可能
性なしと判定し（ステップＳ１２３）、一方、閾値ｔｈ
５より小さい場合は、後述する数式（５）〜（１２）の
うちの何れかの数式により示される条件が成立するか否
かを判断し（ステップＳ１２４）、その何れかの数式が
成立する場合には着目画素は境界不一致可能性ありと判
定し（ステップＳ１２５）、一方、何れの数式も不成立
の場合は着目画素は境界不一致可能性なしと判定する
（ステップＳ１２６）。

【０２２２】そして、境界不一致可能性ありと判定され
た画素（着目画素）については、境界不一致可能性画素
とする。その着目画素には、境界不一致可能性を示す旨
が付与される。

【０２２３】具体的には、ステップＳ１２５において
は、エッジ強度の平均値ａ０が閾値ｔｈ５より小さく、
しかもエッジ強度の平均値ｂ１〜ｂ８から計算される値
が閾値ｔｈ６以上の場合に、着目画素は、境界不一致可
能性画素とされる。

【０２２４】ここで、上記ステップＳ１２４の処理にお
いて判断基準となる条件（数式（７）〜（１４））を記
述する。

【０２２５】 （ｂ１＋ｂ２＋ｂ３）／３−（ｂ４＋ｂ５＋ｂ６＋ｂ７＋ｂ８）／５＞ｔｈ６ ・・・（７） （ｂ２＋ｂ３＋ｂ４）／３−（ｂ５＋ｂ６＋ｂ７＋ｂ８＋ｂ１）／５＞ｔｈ６ ・・・（８） （ｂ３＋ｂ４＋ｂ５）／３−（ｂ６＋ｂ７＋ｂ８＋ｂ１＋ｂ２）／５＞ｔｈ６ ・・・（９） （ｂ４＋ｂ５＋ｂ６）／３−（ｂ７＋ｂ８＋ｂ１＋ｂ２＋ｂ３）／５＞ｔｈ６ ・・・（１０） （ｂ５＋ｂ６＋ｂ７）／３−（ｂ８＋ｂ１＋ｂ２＋ｂ３＋ｂ４）／５＞ｔｈ６ ・・・（１１） （ｂ６＋ｂ７＋ｂ８）／３−（ｂ１＋ｂ２＋ｂ３＋ｂ４＋ｂ５）／５＞ｔｈ６ ・・・（１２） （ｂ７＋ｂ８＋ｂ１）／３−（ｂ２＋ｂ３＋ｂ４＋ｂ５＋ｂ６）／５＞ｔｈ６ ・・・（１３） （ｂ８＋ｂ１＋ｂ２）／３−（ｂ３＋ｂ４＋ｂ５＋ｂ６＋ｂ７）／５＞ｔｈ６ ・・・（１４） 因みに、これら数式（７）〜（１４）の条件が成立する
のは、ウインドウＷＤ３内のエッジ強度が、例えば図１
９に示すような分布となるときである。

【０２２６】この図１９において、ウインドウＷＤ１１
〜ＷＤ１８はそれぞれ上記数式（７）〜（１４）に対応
しており、また、これらウインドウＷＤ１１〜ＷＤ１８
内の各ブロックは、図１８に示したブロック番号に対応
している。さらにウインドウＷＤ１１〜ＷＤ１８におい
て、ブロック番号０に相当するブロックは、着目画素が
中心に位置しているブロックを表している。

【０２２７】ところで、図１９の例においては、黒の塗
りつぶしの矩形で示されるブロックのエッジ強度の平均
値が、白い部分の矩形のブロックのエッジ強度の平均値
よりも閾値ｔｈ６以上大きい場合に、エッジ強度の分布
に偏りがあると判定されて、着目画素は境界不一致可能
性画素とされる。

【０２２８】次に、上述した境界不一致可能性画素検出
処理について、図２０及び図２１に示す具体例を挙げて
説明する。

【０２２９】ここでは、図５４（ａ）に示した基準画像
＃ｃｈ１について、参照ウインドウＷＤ１の設定位置の
近傍に、１ブロックが３＊３のウインドウＷＤ３−３を
有するウインドウＷＤ３（３＊３ブロック）を設定して
処理するものとする。

【０２３０】上記ステップＳ１２６で境界不一致可能性
なしと判定されるのは、ウインドウＷＤ３の内容が例え
ば図２０に示すような内容の場合である。

【０２３１】ここで図２０及び図２１において、各矩形
は画素を表し、記号が記載されている矩形は着目画素を
表し、斜線が施されている矩形は前方物体を示す画素を
表す。

【０２３２】また、上記ステップＳ１２５で境界不一致
可能性ありと判定されるのは、ウインドウＷＤ３の内容
が例えば図２１に示すような内容の場合である。

【０２３３】上述したように、所定のウインドウサイズ
のウインドウにおいて、そのウインドウ中を小さなウイ
ンドウブロックに分割し、そのブロックのエッジ強度の
分布を基に、境界不一致可能性画素を検出することがで
きる。

【０２３４】なお、この実施形態では、第２の実施形態
における境界不一致可能性画素検出処理についての他の
処理方法としての代替案を説明してきたが、これに限定
されることなく、上述した第３の実施形態における境界
不一致可能性画素検出処理の代替の処理方法とすること
ができる。つまり第３の実施形態において、本実施形態
の処理方法を採用することができる。

【０２３５】また、上記実施形態では、ウインドウＷＤ
３−３の大きさを３＊３に設定しているが、これに限定
されることなく、例えばウインドウＷＤ３−３の大きさ
を５＊５に設定しても良い。また、ウインドウＷＤ３−
３の配置はタイル上でなくても一部重なっていても良
い。さらに、ウインドウＷＤ３のウインドウサイズを、
ブロックマッチングのウインドウサイズ（９＊９）に合
わせる必要はなく、大きくしたり、小さくしても良い。

【０２３６】また、着目画素が存在するブロック０の周
りのブロックのエッジ強度が偏っているかどうかの判断
について、８種類の計算を行っているが、これに限る必
要はなく、もっと組み合わせを複雑にして細かく判断し
ても良い。

【０２３７】以上説明したように、第４の実施形態によ
れば、所定のウインドウサイズのウインドウにおいて、
そのウインドウ中を小さなウインドウブロックに分割
し、そのブロックのエッジ強度の分布を基に、境界不一
致可能性画素を検出することができる。そして、この境
界不一致可能性画素を基に、視差画像の不連続位置と実
際の物体の不連続位置とを一致させることが可能とな
る。

【０２３８】［第５の実施の形態］図２２は、第５の実
施形態に係るステレオ画像処理装置における視差画像生
成部の処理を説明するための図を示したものである。

【０２３９】この第５の実施形態のステレオ画像処理装
置は、基本的には図３に示した第２の実施形態の構成と
同一であるが、視差画像生成部２０５による視差生成処
理が少し変更された構成になっている。

【０２４０】この視差画像生成部２０５は、第２の実施
形態における視差画像生成部の代替機能と、第３の実施
形態における視差画像生成部の代替機能とを有し、これ
らの機能が選択設定されて使用される。

【０２４１】このため本実施形態は、視差画像生成部２
０５において何れかの機能を選択することで、第２又は
第３の実施形態の他の実施形態として実施することがで
きる。

【０２４２】ところで、本実施形態の視差画像生成部２
０５は、第２の実施形態における境界不一致可能性画素
のラベリングの代わりに、「−１」を示す画素を起点と
して、その画素に接する境界不一致可能性画素のみを、
計測不能画素を示す「−１」にするという操作を複数回
行う。例えば図１１に示すように２列分の境界不一致可
能性画素が存在する場合（第２の実施形態参照）には、
これらの画素について、図２２に示すように、計測不能
画素を示す「−１」にするという操作が２回行われるこ
とになる。

【０２４３】これによって、視差画像の不連続位置を実
際の物体の不連続位置に一致させることができる。

【０２４４】また、視差画像生成部２０５は、第３の実
施形態における境界不一致可能性画素のラベリングの代
わりに、「−１」を示す画素を起点として、その画素に
接する境界不一致可能性画素のみを、計測不能画素を示
す「−１」にするという操作を複数回行う。

【０２４５】この場合も、上記同様に例えば図１１に示
すように２列分の境界不一致可能性画素が存在する場合
（第２の実施形態参照）には、これらの画素について、
図２２に示すように、計測不能画素を示す「−１」にす
るという操作が２回行われることになる。

【０２４６】次に、この「−１」が示されている計測不
能画素をラベリングし、このラベリングされた領域を、
該領域の境界画素が持つ初期視差のうち最も小さい画素
の視差（その画素が撮像センサから最も遠く離れている
ことを意味する）で埋める。

【０２４７】なおこの場合、境界画素が持つ初期視差の
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。

【０２４８】このようにラベリングされた領域を所定の
視差の画素で埋めることにより、視差画素の不連続位置
が実際の物体の不連続位置に一致し、しかも抜けのない
視差画像が得られる。

【０２４９】以上説明したように、第５の実施形態によ
れば、上記第２の実施形態の作用効果を期待することが
できる。

【０２５０】また、最終的に計測不能と判断された画素
を周りの視差で置き換えて境界が一致し、しかも抜けの
ない視差画像を生成することができる。

【０２５１】［第６の実施の形態］図２３は、第６の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。

【０２５２】この実施形態では、物体境界は輝度画像上
で所定のエッジ強度を持つという仮定の下に、最終的な
視差画像を生成するようにしている。

【０２５３】図２３に示すステレオ画像処理装置は、図
３に示した第２の実施形態の構成において、境界不一致
可能性画素検出部２０４および視差画像生成部２０５を
削除し、初期視差不連続境界検出部３１１、エッジ処理
部３１２および視差画像生成部３１３を追加した構成に
なっている。なお、同図において、図３に示した構成要
素と同一の機能を果たす部分には同一符号を付してい
る。

【０２５４】この実施形態においても、基本的には第２
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。

【０２５５】ここでは、概略の処理手順を示す図２４お
よび最終的な視差画像を生成するための処理過程を示す
図２５を参照しながら、この処理内容とともに新たに追
加された構成要素について説明する。

【０２５６】初期視差推定部２０３は、画像データ記憶
部２０２に記憶されている基準画像＃ｃｈ１及び参照画
像＃ｃｈ２を基に（図２４のステップＳ１３１）、ブロ
ックマッチングによる初期視差を推定して、図２５に示
すような視差画像４１１を作成する（図２４のステップ
Ｓ１３２）。この視差画像４１１は、基準画像＃ｃｈ１
である元画像４１０と参照画像＃ｃｈ２とのブロックマ
ッチングにより求められたものである。

【０２５７】初期視差不連続境界検出部３１１は、上記
境界不一致可能性画素検出部２０４と同様の機能を有す
るものであり、第２の実施形態で説明した初期視差推定
部２０３により求められた視差画像において視差不連続
画素を検出し、この検出した視差不連続画素を、計測不
能を示す「−１」にする（図２４のステップＳ１３
３）。 例えば図２５に示す視差画像４１１において、
前方視差４１１ａを示す画素領域の最も外側の画素（例
えば１画素分）、つまり後方視差を示す画素領域との境
界の画素が視差不連続画素４１１ｄであり、計測不能
（「−１」）とされる。従って、前方視差４１１ａを示
す画素領域において、視差不連続画素以外の画素は値は
「−１」ではない。

【０２５８】エッジ処理部３１２は、エッジ検出および
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度を第２の実施形態で説明したソーベルフィル
タ（エッジ強調フィルタ）により計算する。これにより
得られた基準画像のエッジ強度の値を「ｅ」とする。ま
た、このエッジ強度ｅが予め設定される閾値ｔｈ１以上
の値を有する画素を「１」とし、それ以外の画素を
「０」とするエッジ画像（図２５に示す画像４１２）を
作成する。輝度のエッジ４１２ａが値「１」に相当し、
それ以外の部分は値「０」に相当する。この輝度のエッ
ジ４１２ａは視差画像４１１の実際の境界４１１ｃに相
当する。

【０２５９】なお、このエッジ画像に対して膨張収縮処
理を複数回行い、エッジ画像を整えても良い。また各画
素のエッジ強度を計算するのにソーベルフィルタに限定
する必要はなく、他のエッジ強調フィルタを使用しても
良い。

【０２６０】視差画像生成部３１３は、視差画像４１１
の中で、初期視差不連続境界検出部３１１により検出さ
れた視差値「−１」を持つ画素に接して、かつ視差値が
「−１」でない画素を検出する。接し方は４近傍、８近
傍どちらでも良い。そしてその画素がエッジでないなら
（エッジ画像での値が０なら）偽の不連続境界としてそ
の画素の値を「−１」にする。そして、視差画像生成部
３１３は、上述した操作を複数回繰り返すことにより視
差画像の視差不連続境界を輝度画像の境界に一致させ、
図２５に示す最終的な視差画像４１４を生成する（図２
４のステップＳ１３５）。

【０２６１】すなわち、視差画像生成部３１３は、初期
視差画像の不連続境界を輝度画像のエッジ強度が所定値
以上の画素の位置に一致させる。

【０２６２】ここで、視差画像生成部３１３は、この実
施形態においては、背景側に計測不能画素が広がらない
ような処理を行っている。

【０２６３】これは、初期視差画像の不連続位置から強
いエッジ（エッジ画像で「１」を示す画像）のところま
で膨らみをなくす処理を単純に行うと、背景側にも計測
不能画素が広がってしまうためである。

【０２６４】例えば、図１４（ａ）に示したように、前
方物体２１０ａおよび後方物体２１０ｂからなる元画像
２１０からは、視差画像２１１が得られる。

【０２６５】この視差画像２１１が、図１４（ａ）に示
したように、前方視差２１１ａ、後方視差２１１ｂ、実
際の境界（強いエッジ）２１１ｃ、および視差不連続位
置２１１ｄなる関係がある場合に、初期視差画像（視差
画像２１１）の不連続位置（視差不連続位置２１１ｄ）
から強いエッジのところまで膨らみをなくす処理を行っ
た場合には、次のような問題が発生する。

【０２６６】すなわち、背景側（後方視差）には強いエ
ッジがないので、視差不連続位置２１１ｄから実際の境
界（強いエッジ）２１１ｃまで計測不能画素とされるこ
とは勿論のこと、視差不連続位置２１１ｄから後方視差
（背景側）２１１ｂ側へも計測不能画素とされる。要す
るに、視差画像２１５のように、実際の境界（強いエッ
ジ）２１１ｃから背景側全てが計測不能画素２２２ａと
なってしまう。

【０２６７】そこで、初期視差画像の視差不連続から膨
らみをなくす際には、不連続位置（視差不連続位置２１
１ｄ）を境にして低い視差を示す側（つまり後方視差
側）には膨らみをなくす処理を行わず、高い方（実際の
境界（強いエッジ）２１１ｃ側）のみ膨らみをなくす処
理を行うようにする。このようにすることで実際に膨ら
んでいる画素のみを除くことができる。

【０２６８】また、この実施形態においては、偽の不連
続境界を示す値「−１」を示す画素つまり領域４１３ｂ
についてはラベリングを行い、このラベリングされた各
領域内の画素の視差値を、その領域の境界画素の視差値
の平均あるいは最小値で補間しても良いし、境界からの
距離に従った内挿式から推定して補間しても良い。

【０２６９】以上説明したように、第６の実施形態によ
れば、視差画像の不連続部、あるいは切り出した視差画
像の境界を輝度画像のエッジ強度の強い部分に一致させ
ることにより、ウインドウサイズを変更して再度視差計
算を行ったり、物体の輪郭を抽出したりすることなく、
視差画像と輝度画像の境界を精度良く簡単に一致させる
ことができる。

【０２７０】［第７の実施の形態］図２６は、第７の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。

【０２７１】同図に示すステレオ画像処理装置は、図２
３に示した第６の実施形態の構成において、初期視差不
連続境界検出部３１１および視差画像生成部３１３を削
除し、画像切出部３１４および切出視差画像生成部３１
５を追加した構成になっている。なお、同図において、
図２３に示した構成要素と同一の機能を果たす部分には
同一符号を付している。

【０２７２】この実施形態においても、基本的には第６
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図２７および最終的な視差画像を生成する
ための処理過程を示す図２８を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。

【０２７３】初期視差推定部２０３は、画像データ記憶
部２０２に記憶されている基準画像＃ｃｈ１及び参照画
像＃ｃｈ２を基に（図２７のステップＳ１４１）、ブロ
ックマッチングによる初期視差を推定して視差画像４１
１（図２８に示す視差画像４１１）を作成する（図２７
のステップＳ１４２）。

【０２７４】画像切出部３１４は、初期視差推定部２０
３により求められた視差画像において着目物体の視差値
を持つ画素を抜き出すと共に、その画素値を「１」と
し、それ以外の画素の画素値を「−１」にした切り出し
画像（図２８に示す切り出し視差画像４２１）を作成す
る（図２７のステップＳ１４３）。

【０２７５】これは、着目物体が視差値「ａ」以上でか
つ視差値「ｂ」以下の値をもつものの場合、視差値ａ以
上でかつ視差値ｂ以下の値を持つ画素の値を「１」に
し、それ以外の画素の値を「−１」にすることに相当す
る。

【０２７６】具体的には、図２８に示す例において、視
差画像４１１の着目物体の視差値を持つ画素は前方視差
４１１ａを示す画素が相当するので、この前方視差４１
１ａを示す画素が画素値「１」とされ、また後方視差４
１１ｂを示す画素が画素値「−１」とされて切り出し画
像が作成される。結果的に、視差画像４１１の切り出し
画像は、画像４２１中の切り出し視差画像４２１ｂであ
り、この画像が画素値「１」であり、それ以外の画素
（図中白色部分）が画素値「−１」である。

【０２７７】エッジ処理部３１２は、エッジ検出および
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度をソーベルフィルタ（エッジ強調フィルタ）
により計算し、この計算結果である基準画像のエッジ強
度の値を「ｅ」とすると共に、該エッジ強度ｅが閾値ｔ
ｈ１以上の画素を「１」とし、それ以外の画素を「０」
とするエッジ画像（図２８に示すエッジ画像４１２）を
作成する（図２７のステップＳ１４４）。このエッジ画
像４１２においては、輝度のエッジ４１２ａは値「１」
であり、それ以外の画素は値「０」である。また、輝度
４１２ａは切り出し画像４２１中の輝度のエッジ４２１
ａに相当する。

【０２７８】そして、切出視差画像生成部３１５は、画
像切出部３１４により切り出された切り出し視差画像の
画素値「１」を持つ画素の中で、画素値「−１」を持つ
画素に接する画素を検出する。接し方は４近傍、８近傍
どちらでも良い。そしてその画素がエッジでないなら
（エッジ画像での値が０なら）偽の不連続境界としてそ
の画素の値を「−１」にする。

【０２７９】そして、切出視差画像生成部３１５は、上
述した操作を繰り返すことにより視差画像の視差不連続
境界を輝度画像の境界に一致させて、切り出し視差画像
（図２８に示す視差画像４２２）を生成する（図２７の
ステップＳ１４５）。

【０２８０】すなわち、切出視差画像生成部３１５は、
初期視差画像から、着目する物体の存在する視差値を持
つ画素を切り出した切り出し画像の境界を、輝度画像の
エッジ強度が所定値以上の画素の位置に一致させる。

【０２８１】なお、この実施形態では、図２８に示すよ
うに、画像４１２の輝度のエッジ４１２ａと、画像４２
１の切り出し視差画像４２１ｂとに基づいて、最終的な
切り出し視差画像４２２を生成するようにしているが、
これに限定されることなく、次のようにしても良い。

【０２８２】すなわち、第２の実施形態で説明した境界
不一致可能性画素と画像４２１の切り出し視差画像４２
１ｂとに基づいて、最終的な切り出し視差画像４２２を
生成するようにしても良い。

【０２８３】具体的には、図２６に示す構成において、
エッジ処理部３１２を削除し、第２の実施形態で説明し
た境界不一致可能性画素検出部２０４（図３参照）を追
加する。

【０２８４】境界不一致可能性画素検出部２０４は、図
１３に示したように、元画像２１０を基に、境界不一致
可能性画素を示す画像２１２を生成する。つまり、境界
不一致可能性画素２１２ａを検出する。その後の処理
は、図２８を用いて説明したのと同様に、初期視差推定
部２０３により視差画像４１１を生成し、画像切出部３
１４により画像４２１つまり切り出し視差画像４２１ｂ
を得る。

【０２８５】そして、切出視差画像生成部３１５によっ
て、境界不一致可能性画素２１２ａと、切り出し視差画
像４２１ｂとに基づいて、最終的な切り出し視差画像４
２２を生成する。

【０２８６】以上説明したように、第７の実施形態にお
いても、上記第６の実施形態の作用効果を期待すること
ができる。

【０２８７】［第８の実施の形態］図２９は、第８の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。

【０２８８】同図に示すステレオ画像処理装置は、図２
３に示した第６の実施形態の構成において、エッジ処理
部３１２を削除し、エッジ検出部３１６および境界移動
部３１７を追加した構成になっている。なお、同図にお
いて、図２３に示した構成要素と同一の機能を果たす部
分には同一符号を付している。

【０２８９】この実施形態においても、基本的には第６
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図３０および最終的な視差画像を生成する
ための処理過程を示す図３１を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。

【０２９０】初期視差推定部２０３は、画像データ記憶
部２０２に記憶されている基準画像＃ｃｈ１及び参照画
像＃ｃｈ２を基に（図３０のステップＳ１５１）、ブロ
ックマッチングによる初期視差を推定して視差画像（図
３１に示す視差画像４１１）を作成する（図３０のステ
ップＳ１５２）。

【０２９１】初期視差不連続境界検出部３１１は、初期
視差推定部２０３によるブロックマッチングにより求め
られた視差画像において視差不連続画素を検出し、この
検出した視差不連続画素を、計測不能を示す「−１」に
する（図３０のステップＳ１５３）。図３１に示す画像
４１１参照。

【０２９２】エッジ検出部３１６は、基本的には第６の
実施形態で説明したエッジ処理部３１２と同様の機能を
有するものの、エッジ膨張収縮処理については実施しな
い。

【０２９３】つまり、基準画像のエッジ強度を例えばソ
ーベルフィルタ（エッジ強調フィルタ）により計算し、
この計算結果（基準画像のエッジ強度の値）を「ｅ」と
し、このエッジ強度ｅが閾値ｔｈ１以上の画素を「１」
とし、それ以外の画素を「０」とするエッジ画像（図３
１エッジ画像４１２）を作成する（図３０のステップＳ
１５４）。

【０２９４】境界移動部３１７は、初期視差推定部２０
３により得られた視差画像（図３１に示す視差画像４１
１）の中で、視差値「−１」を持つ画素に接してかつ視
差値が「−１」でない画素を検出する。接し方は４近
傍、８近傍いずれでも良い。

【０２９５】ここに図２５を用いて説明したのと同様
に、図３１に示す視差画像４１１の前方視差４１１ａを
示す画素領域においては、視差不連続画素４１１ｄが計
測不能（「−１」）とされる。これ以外の画素の値は
「−１」ではない。

【０２９６】したがって、視差画像４１１の中で、視差
値「−１」を持つ画素に接してかつ視差値が「−１」で
ない画素を検出するということは、視差不連続画素４１
１ｄを境にして前方視差４１１ａ側または後方視差４１
１ｂ側の画素を検出することになる。

【０２９７】こうして検出した画素の周りにｗ１＊ｗ２
のウインドウを設定し、その後、数式（１５）を計算す
る。

【０２９８】 ｄ＝Σ（ｅ（ｉ）＊ｍ（ｉ））／ｎ−ｅｅ （ｉ＝０〜ｗ１＊ｗ２） ・・・（１５） ただし、ｉはウインドウ内の画素の位置を表し、ｍは位
置ｉに存在する画素の視差値が「−１」なら０、それ以
外なら１を表し、ｅはエッジ強度を表し、ｅｅは検出し
た画素のエッジ強度を表し、ｎはｍ（ｉ）が１である数
を表す。

【０２９９】数式（１５）を演算して得られた値ｄが予
め設定される閾値ｔｈ１以上なら、この検出した画素の
視差を計測不能を示す「−１」にする。

【０３００】この操作を１回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
（図３０のステップＳ１５５）。

【０３０１】すなわち、境界移動部３１７は、初期視差
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素についてウインドウを設定し、その画素
のエッジ強度が、ウインドウ内のエッジ強度の平均より
も、所定値以上小さい場合、当該画素を偽の不連続境界
とみなすという操作を１回あるいは複数回行うことによ
り視差画像の不連続境界を輝度画像の物体境界に一致さ
せる。

【０３０２】そして、視差画像生成部３１３は、輝度画
像の境界と視差画像の境界が一致した視差画像（図３１
に示す視差画像４３２）を生成する（図３０のステップ
Ｓ１５６）。

【０３０３】なお、この実施形態においては、上記の操
作で、「−１」（計測不能）を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。

【０３０４】また、最初に不連続画素を検出した際、そ
の画素は無条件で「−１」と設定したが、その画素につ
いても上記数式（１５）の演算を行い、この値ｄが、閾
値ｔｈ１以上なら「−１」とするようにしても良い。さ
らに、背景側に計測不能画素が広がらないような処理を
行っても良い。

【０３０５】以上説明したように、第８の実施形態によ
れば、視差画像の不連続部、あるいは切り出し視差画像
の境界付近のエッジ強度から偽の境界を検出することに
より、ウインドウサイズを変更して再度視差計算を行っ
たり、物体の輪郭を抽出したりすることなく、視差画像
と輝度画像の境界を精度良く簡単に一致させることがで
きる。

【０３０６】［第９の実施の形態］図３２は、第９の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。

【０３０７】同図に示すステレオ画像処理装置は、図２
３に示した第６の実施形態の構成において、視差画像生
成部３１３を削除し、境界移動部３１８および視差画像
生成部３１９を追加した構成になっている。なお、同図
において、図２３に示した構成要素と同一の機能を果た
す部分には同一符号を付している。

【０３０８】この実施形態においても、基本的には第６
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図３３、および最終的な視差画像を生成す
るための処理過程を示す図３４及び図３５を参照しなが
ら、この処理内容とともに新たに追加された構成要素に
ついて説明する。

【０３０９】初期視差推定部２０３は、画像データ記憶
部２０２に記憶されている基準画像＃ｃｈ１及び参照画
像＃ｃｈ２を基に（図３３のステップＳ１６１）、ブロ
ックマッチングによる初期視差を推定して視差画像（図
３５に示す視差画像４１１）を作成する（図３３のステ
ップＳ１６２）。

【０３１０】初期視差不連続境界検出部３１１は、初期
視差推定部２０３により求められた視差画像において視
差不連続画素を検出し、この検出した視差不連続画素
を、計測不能を示す「−１」にする（図３３のステップ
Ｓ１６３）。図３５に示す画像４１１参照。

【０３１１】エッジ処理部３１２は、基準画像のエッジ
強度および方向をソーベルフィルタにより計算する。

【０３１２】すなわち、エッジ強度ｅについては上述し
た数式（４）を演算することにより求め、エッジの方向
ｄｒは数式（１６）を演算して求める。

【０３１３】 ｄｒ＝ｔａｎ−１（（Ａ＋２Ｄ＋Ｇ−２Ｆ−Ｉ）／（Ａ＋２Ｂ＋Ｃ−Ｇ−２Ｈ −Ｉ）） ・・・（１６） なお、各画素のエッジ強度およびエッジ方向を計算する
のにソーベルフィルタに限定する必要はなく、他のエッ
ジ強調フィルタあるいは方向検出フィルタを使っても良
い。

【０３１４】そして、エッジ処理部３１２は、エッジ強
度ｅが閾値ｔｈ１以上の画素を「１」とし、それ以外の
画素を「０」とするエッジ画像（図３５に示すエッジ画
像４１２）を作成する（図３３のステップＳ１６４）。

【０３１５】境界移動部３１８は、初期視差推定部２０
３により生成された視差画像（図３５視差画像４１１参
照）の中で、視差値「−１」を持つ画素に接してかつ視
差値が「−１」でない画素を検出する。接し方は４近
傍、８近傍どちらでもよい。

【０３１６】検出した画素のエッジの所定方向（例えば
エッジの向きの法線方向）にある画素のエッジ強度が、
自己の画素のエッジ強度よりも予め設定される閾値ｔｈ
２以上大きい場合、自己の画素の視差を計測不能を示す
「−１」とする。

【０３１７】すなわち、初期視差画像の不連続位置から
エッジ強度が強いところまで膨らみをなくす処理におい
て、エッジ強度が所定値以下の場合に偽の物体境界とみ
なすのではなく、隣り合う画素とのエッジ強度の差から
偽の物体境界であると判断する。

【０３１８】例えば、図３４に示す画素中の画素４４０
ｂが偽の物体かどうかを画素４４０ｂのエッジ強度から
判断するのではなく、画素４４０ｂの周りの画素とのエ
ッジ強度の差から判断する。具体的には、画素４４０ｂ
の周り８近傍の画素を参照し、エッジ強度の差が所定の
閾値以上になる場合は、画素４４０ｂは偽の物体境界と
する。

【０３１９】勿論、画素４４０ｂやその周りの画素のエ
ッジ強度の絶対値も判断に加えても良い。なお、周りの
画素全てについて調べるのではなく、所定方向（例えば
エッジの向きの法線方向）に存在する画素との差のみ調
べても良い。

【０３２０】このような操作を１回あるいは複数回繰り
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向（例えばエッジの向きの法線方向）に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる（図３３のステップＳ１６５）。

【０３２１】すなわち、境界移動部３１８は、初期視差
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素の所定方向（例えばエッジの向きの法線
方向）の画素のエッジ強度が、自己の画素の強度よりも
所定値以上大きい場合、その自己の画素を偽の不連続境
界とみなすという操作を１回あるいは複数回行うことに
より、視差画像の不連続境界を輝度画像の物体境界に一
致させる。

【０３２２】そして、視差画像生成部３１９は、輝度画
像の境界と視差画像の境界が一致した視差画像（図３５
に示す視差画像４４２）を生成する（図３３のステップ
Ｓ１６６）。

【０３２３】なお、上記実施形態においては、上記の操
作で、「−１」（計測不能）を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。

【０３２４】また、最初に不連続画素を検出した際、そ
の画素は無条件で「−１」と設定したが、所定の向き
（例えばエッジの向きの法線方向）に存在する画素のエ
ッジ強度を調べ、そのエッジ強度の値が、自己の画素の
エッジ強度よりも閾値ｔｈ２以上大きい値の場合には、
自己の画素を「−１」とするようにしても良い。さら
に、背景側に計測不能画素が広がらないような処理を行
っても良い。

【０３２５】以上説明したように第９の実施形態におい
ても、上記第８の実施形態の作用効果を期待することが
できる。

【０３２６】［第１０の実施の形態］図３６は、第１０
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。

【０３２７】同図に示すステレオ画像処理装置は、図２
６に示した第７の実施形態の構成において、エッジ処理
部３１２および切出視差画像生成部３１５を削除し、境
界移動部３１８、切出視差画像生成部３２２およびエッ
ジ検出部３２０を追加した構成になっている。なお、同
図において、図２６に示した構成要素と同一の機能を果
たす部分には同一符号を付している。

【０３２８】この実施形態においても、基本的には第７
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図３７および最終的な視差画像を生成する
ための処理過程に示す図３８を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。

【０３２９】初期視差推定部２０３は、図２７のステッ
プＳ１４１、Ｓ１４２と同様の処理を行って視差画像４
１１（図３８に示す視差画像４１１）を作成する（図３
７のステップＳ１７１、１７２）。

【０３３０】画像切出部３１４は、図２７のステップＳ
１４３と同様の処理を行って切り出し画像（図３８に示
す切り出し画像４５１）を作成する（図３７のステップ
Ｓ１７３）。

【０３３１】この切り出し画像は、着目物体の視差値を
持つ画素の画素値が「１」で、それ以外の画素の画素値
が「−１」になっている。

【０３３２】エッジ検出部３２０は、図３０のステップ
Ｓ１５４と同様の処理を行ってエッジ画像（図３８に示
すエッジ画像４１２）を作成する（図３７のステップＳ
１７４）。

【０３３３】境界移動部３１８は、基本的には境界移動
部３１７と同様の機能を有しており、画像切出部３１４
により得られた切り出し画像（図３８に示す切り出し画
像４５１）の中で、視差値「−１」を持つ画素に接して
かつ視差値が「−１」でない画素を検出する。また、上
記数式（１５）を演算して得られた値ｄが閾値ｔｈ１以
上なら、この検出した画素の視差を計測不能を示す「−
１」にする。

【０３３４】この操作を１回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部（切り出し境界）を輝度画像の
境界（輝度エッジ）と一致させる（図３７のステップＳ
１７５）。

【０３３５】そして、切出視差画像生成部３２２は、輝
度画像の境界と視差画像の境界が一致した切り出し視差
画像（図３８に示す視差画像４５２）を生成する（図３
７のステップＳ１７６）。

【０３３６】以上説明したように第１０の実施形態にお
いても、上記第８の実施形態の作用効果を期待すること
ができる。

【０３３７】［第１１の実施の形態］図３９は、第１１
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。

【０３３８】同図に示すステレオ画像処理装置は、図３
６に示した第１０の実施形態の構成において、エッジ検
出部３２０を削除し、エッジ処理部３２１を追加した構
成になっている。なお、同図において、図２６に示した
構成要素と同一の機能を果たす部分には同一符号を付し
ている。

【０３３９】この実施形態においても、基本的には第７
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図４０および最終的な視差画像を生成する
ための処理過程に示す図４１を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。

【０３４０】初期視差推定部２０３は、図２７のステッ
プＳ１４１、Ｓ１４２と同様の処理を行って視差画像４
１１（図４１に示す視差画像４１１）を作成する（図４
０のステップＳ１８１、１８２）。

【０３４１】画像切出部３１４は、図２７のステップＳ
１４３と同様の処理を行って切り出し画像（図４１に示
す切り出し画像４６１）を作成する（図４０のステップ
Ｓ１８３）。

【０３４２】この切り出し画像は、着目物体の視差値を
持つ画素の画素値が「１」で、それ以外の画素の画素値
が「−１」になっている。

【０３４３】エッジ処理部３２１は、図３３のステップ
Ｓ１６４と同様の処理を行って、基準画像のエッジ強度
および方向をソーベルフィルタにより計算し、この計算
結果であるエッジ強度ｅが閾値ｔｈ１以上の画素を
「１」とし、それ以外の画素を「０」とするエッジ画像
（図４１に示すエッジ画像４１２）を作成する（図４０
のステップＳ１８４）。

【０３４４】境界移動部３１８は、図３３のステップＳ
１６５と同様の処理を行って、画像切出部３１４により
得られた切り出し画像（図４１に示す切り出し画像４６
１）の中で、視差値「−１」を持つ画素に接してかつ視
差値が「−１」でない画素を検出する。 この検出した
画素のエッジの所定方向（例えばエッジの向きの法線方
向）にある画素のエッジ強度が、自己の画素のエッジ強
度よりも予め設定される閾値ｔｈ２以上大きい場合、自
己の画素の視差を計測不能を示す「−１」とする。

【０３４５】このような操作を１回あるいは複数回繰り
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向（例えばエッジの向きの法線方向）に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる（図４０のステップＳ１８５）。

【０３４６】そして、切出視差画像生成部３２２は、輝
度画像の境界と視差画像の境界が一致した切り出し視差
画像（図４１に示す視差画像４６２）を生成する（図４
０のステップＳ１８６）。

【０３４７】以上説明したように第１１の実施形態にお
いても、上記第９の実施形態の作用効果を期待すること
ができる。

【０３４８】上述してきたように第１乃至第１１の実施
形態によれば、画像間の誤対応を正確に認識することが
でき、しかも認識視差画像と輝度画像の境界を精度良く
簡単に一致させることができる。

【０３４９】このように本発明においては、図４２に示
すように、元画像５１０を基に、視差画像５２０、エッ
ジ画像５３０および境界不一致可能性画像５４０を得る
と共に、これらの画像を基に最終的な視差画像５５０ま
たは切り出し視差画像５６０を得ることが出来る。視差
画像と輝度画像の境界を精度良く一致させることができ
る。

【０３５０】図４２において、画像５１０は例えば図２
５の元画像４１０に相当し、画像５２０は例えば図２５
の視差画像４１１に相当し、画像５３０は例えば図２５
のエッジ画像４１２に相当し、画像５４０は例えば図１
３の境界不一致可能性画素画像２１２に相当し、画像５
５０は例えば図２５の視差画像４１４に相当し、画像５
６０は例えば図１３の視差画像２１４に相当する。

【０３５１】これに対し、従来においては、図４２に示
すように、元画像５１０から得られた視差画像５７０
（視差画像５２０と同様の画像）を基に、最終的な視差
画像５８０を生成するようにしているので、視差画像と
輝度画像の境界が一致せず、着目物体に膨らみが発生し
ている。

【０３５２】すなわち、図４２を参照しても分かるよう
に、本発明によれば、最終的な視差画像は、視差画像５
５０あるいは視差画像５６０に示すように、視差画像と
輝度画像の境界を精度良く一致しているのに対し、従来
においては、視差画像５８０に示すように、輪郭に膨ら
みが発生している。

【０３５３】ところで、上述した第１乃至第１１の実施
形態において、上記第１の実施形態における誤対応認識
処理に基づく処理手順、及び上記第２乃至第１１の実施
形態における処理手順を示すフローチャート、処理過程
を説明するための図および処理手順を示す図に基づく処
理手順をそれぞれプログラム（ソフトウェア）として実
現してこのプログラムを記録媒体に記録しておき、コン
ピュータがこの記録媒体から当該プログラムを読み出し
て実行することにより、上述した第１乃至第１１の実施
形態に係る各処理を実行するようにしても良い。

【０３５４】図４３は、上述した第１乃至第１１の実施
形態に係る各処理を実行するコンピュータ６００の一実
施例の構成図を示している。

【０３５５】コンピュータ６００は、インタフェース６
１０、６２０と、プログラム記録媒体６３０と、記憶装
置６４０と、中央処理装置（以下、ＣＰＵという）６５
０とを有して構成されている。これらの構成要素はバス
６６０を介して各々接続されている。

【０３５６】インタフェース６１０は、例えば上述した
画像センサ１、２（図４５参照）との間のインタフェー
スを司るものである。このインタフェース６１０を介し
て前記画像センサ１、２で撮像された対象物体の各々の
画像を示す画像情報が取り込まれるようになっている。
前記各画像を示す画像情報のうち、基準とする撮像セン
サで撮像された画像は基準画像として用いられる。例え
ば、基準とする撮像センサとして撮像センサ１が設定さ
れている場合には、当該撮像センサ１により撮像された
画像が基準画像として用いられる。

【０３５７】インタフェース６２０は、ネットワークや
電話回線等の通信回線と接続され、該通信回線との間の
インタフェースを司るものである。このインタフェース
６２０を介して前記通信回線を経由して入力される例え
ば上記対象物体の各々の画像を示す画像情報が取り込ま
れるようになっている。この場合も、上記同様に、前記
各画像を示す画像情報のうち、基準とする撮像センサで
撮像された画像は基準画像として用いられる。

【０３５８】プログラム記録媒体６３０は、例えばＲＯ
Ｍ（読み出し専用メモリ）等の記録媒体から構成されて
おり、上述した第１乃至第１１の実施形態に係る各処理
のうち処理対象となる所定の実施形態に係る処理に対応
する処理手順を示すプログラムを記録する。

【０３５９】記憶装置６４０は、例えばハードディスク
やＲＡＭ（随時書き込み読み出しメモリ）等の記憶装置
から構成されており、インタフェース６１０あるいはイ
ンタフェース６２０を介して取り込まれる上記対象物体
の各々の画像を示す画像情報を記憶するための元画像記
憶領域６４１と、ＣＰＵ６５０がデータ処理を実施する
ときに必要となるワークエリア６３２と、プログラム記
録媒体６３０からローディングされたプログラムを記憶
するプログラム記憶領域６４３とが割り当てられてい
る。

【０３６０】ＣＰＵ６５０は、プログラム記録媒体６３
０から記憶装置６４０のプログラム記憶領域６４３へ処
理対象となる処理手順を示すプログラムをロードして当
該処理を実行すると共に、元画像記憶領域６４１に記憶
されている画像情報に対して当該プログラムの実行に基
づく処理（つまり第１乃至第１１の実施形態のうちの何
れかの実施形態に係る処理）を遂行する。

【０３６１】なお、コンピュータ６００による実行対象
のプログラムの実行に基づいて処理される基の画像情報
は、実行対象のプログラムがコンピュータ６００により
実行される直前にインタフェース６１０を介してリアル
タイムで取り込まれ、元画像記憶領域６４１に記憶され
た画像センサ１、２からの画像情報であっても良いし、
また、インタフェース６１０を介して取り込まれ、事前
に元画像記憶領域６４１に記憶されている画像センサ
１、２からの画像情報であっても良い。

【０３６２】ここで、上述した第１乃至第１１の実施形
態に係る装置の構成要素と図４３に示すコンピュータ６
００の構成要素との対応関係を示す。

【０３６３】基準画像入力部１０１、参照画像入力部１
０２、及び画像データ入力部２０１は、上記インタフェ
ース６１０あるいはインタフェース６２０に対応する。

【０３６４】また、画像データ記憶部２０２は、上記記
憶装置６４０の元画像記憶領域６４１に対応する。

【０３６５】さらに、対応点探索部１０３、対応候補視
差抽出部１０４、誤対応画素認識部１０５、初期視差推
定部２０３、境界不意一致可能性検出部２０４、視差画
像生成部２０５、３１３、３１９、初期視差不連続境界
検出部３１１、エッジ処理部３１２、３２１、エッジ検
出部３１６、３２０、画像切出部３１４、切出視差画像
生成部３１５、３２２および境界移動部３１７、３１８
は、ＣＰＵ６５０がプログラム記録媒体６３０から該当
するプログラムを読み出して実行することにより実現さ
れる。

【０３６６】次に、上述した第１の実施形態において、
誤対応認識処理の記述内容に基づく処理手順を、図４４
を参照して説明する。

【０３６７】ここでは、インタフェース６１０を介して
撮像センサ１、２からの画像情報を取得するものとし、
また撮像センサ１を基準とする撮像センサとする。

【０３６８】さて、ＣＰＵ６５０は、インタフェース６
１０を介して撮像センサ１、２からの同一の対象物体に
対応する画像情報を取得し、この取得した各画像情報を
記憶装置６４０の元画像記憶領域６４１に格納すると共
に（ステップＳ２０１）、基準とする撮像センサ１によ
り撮像された基準画像中の選択画素Ｐ１と、撮像センサ
２により撮像された画像中の前記選択画素Ｐ１に対応す
る対応候補点を示す画素との間の対応をブロックマッチ
ングにより求めて視差を推定する（ステップＳ２０
２）。

【０３６９】このステップＳ２０２は、第１の実施形態
の対応点探索部１０３の位置情報部１０３Ａによる対応
候補点の位置座標の取得、およびマッチング部１０３Ｂ
によるパターンマッチングおよびマッチングエラー算出
の処理に相当する。

【０３７０】次に、ＣＰＵ６５０は、選択画素Ｐ１に対
応する画素として推定される複数の対応候補点のそれぞ
れに対応する視差を変化させて得られるマッチングエラ
ーと視差との関係を表すマッチングエラー分布を基に、
第１の対応候補視差と第２の対応候補視差（図２参照）
を求める（ステップＳ２０３）。

【０３７１】このステップＳ２０３は、第１の実施形態
の対応候補視差抽出部１０４による視差Ｄｐ＝ｍ１およ
び視差Ｄｐ＝ｍ２を抽出する処理に相当する。

【０３７２】次いで、ＣＰＵ６５０は、第１の対応候補
視差（例えば視差Ｄｐ＝ｍ１）におけるマッチングエラ
ーの値と第２の対応候補視差（例えば視差Ｄｐ＝ｍ２）
におけるマッチングエラーの値との差を求め（ステップ
Ｓ２０４）、この求めた差が予め設定された閾値以下か
否かを判断し（ステップＳ２０５）、閾値以下であると
判断した場合には、第１及び第２の対応候補視差に対応
する各画素と選択画素Ｐ１とは誤対応であると認識し
（ステップＳ２０６）、一方、閾値を超えていると判断
した場合は、第１及び第２の対応候補視差に対応する各
画素と選択画素Ｐ１との対応は適合であると認識する
（ステップＳ２０７）。

【０３７３】ステップＳ２０４〜Ｓ２０７は、第１の実
施形態の誤対応画素認識部１０５による第１の対応候補
視差におけるエラー値と第２の対応候補視差におけるエ
ラー値との差「２次ピークエラー値と１次ピークエラー
値との差」を求め、さらにこの求めた差に応じた処理を
実施する処理に相当する。

【０３７４】そして、ＣＰＵ６５０は、基準画像の全画
素についてパターンマッチングが実施されたか否かを判
断し（ステップＳ２０８）、まだパターンマッチングす
べき画素が存在すると判断した場合には、上記ステップ
Ｓ２０２に戻り、一方、全画素についてパターンマッチ
ングが終了したと判断した場合は、この誤対応認識処理
を終了する。

【０３７５】このような処理手順に基づく処理を実行す
ることにより、第１の実施形態と同様に、基準画像にお
ける参照ウインドウ内において、模様がない場合、ある
いは模様が少ない場合、あるいは繰り返し模様がある場
合、あるいはオクルージョンがある場合に、第１及び第
２の対応候補視差に対応する各画素は誤対応であり、か
つこれら各画素と基準画像中の注目画素とは誤対応であ
ると認識することができる。

【０３７６】一方、第２乃至第１１の実施形態に係る処
理に対応する処理手順は、当該各実施形態における処理
手順を示すフローチャート、処理過程を説明するための
図および処理手順を示す図に基づく処理手順をそのまま
用いることができるので、ここではその処理手順につい
ての説明は省略する。

【０３７７】ところで、上述した図４３に示す例におい
ては画像センサ１、２はインタフェース６１０を介して
コンピュータ６００と接続されているが、本発明はこれ
に限定されることなく、画像センサ１、２は、コンピュ
ータ６００とはグローバル的に配置されていても良く、
例えばインタフェースを介して上記通信回線と接続さ
れ、この通信回線およびインタフェース６２０を介して
コンピュータ６００と接続されていても良い。

【０３７８】この場合は、画像センサ１、２からの画像
情報は、通信回線及びインタフェース６２０を介してコ
ンピュータ６００の記憶装置６４０の元画像記憶領域６
４１に記憶される。

【０３７９】また、画像センサ１、２は、インタフェー
スを介して撮像した画像情報を上記通信回線に接続され
るサーバ装置に転送するようにし、コンピュータ６００
は、前記サーバ装置に対して処理対象となる画像情報を
要求して、この要求に応答して転送されてきたサーバ装
置からの画像情報を、インタフェース６２０を介して取
り込んで記憶装置６４０の元画像記憶領域６４１に記憶
するようにしても良い。

【０３８０】また、図４３に示す例においては、上述し
た第１乃至第１１の実施形態に係る各処理のうち処理対
象となる所定の実施形態に係る処理に対応する処理手順
を示すプログラムを、プログラム記録媒体６３０として
のＲＯＭに記録するようにしているが、本発明はこれに
限定されることなく、次にようにしても良い。

【０３８１】すなわち、上記プログラムをハードディス
クに格納しておき、ＣＰＵ６５０が必要に応じて記憶装
置６４０のプログラム記憶領域６４３にローディングし
て実行するようにする。

【０３８２】また、上記プログラムをＤＶＤ−ＲＯＭ、
ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、フロッピー
（登録商標）ディスクなどのコンピュータ読み取り可能
な記録媒体に格納して配布するようにしても良い。この
場合、その記録媒体に記録されたプログラムをコンピュ
ータ６００にインストールした後、このプログラムをＣ
ＰＵ６５０が実行するようにする。プログラムのインス
トール先としては、ＲＡＭやＥＰＲＯＭ等のメモリやハ
ードディスクなどの記憶装置がある。そしてコンピュー
タ６００は、必要に応じてこの記憶装置に記憶されたプ
ログラムをプログラム記憶領域６４１にローディングし
て実行するようにする。

【０３８３】さらには、コンピュータ６００が接続され
る通信回線に接続されているサーバ装置あるいはホスト
コンピュータ等の装置からの上記プログラムをダウンロ
ードした後、このプログラムをＣＰＵ６５０が実行する
ようにしても良い。この場合、プログラムのダウンロー
ド先としては、ＲＡＭやＥＰＲＯＭ等のメモリやハード
ディスクなどの記憶装置がある。そしてコンピュータ６
００は、必要に応じてこの記憶装置に記憶されたプログ
ラムをプログラム記憶領域６４１にローディングして実
行するようにする。

【図面の簡単な説明】

【図１】図１は第１の実施形態に係る物体認識装置の構
成を示すブロック図である。

【図２】図２は誤対応の認識方法を説明するための図で
ある。

【図３】図３は第２の実施形態に係るステレオ画像処理
装置の構成を示すブロック図である。

【図４】図４は第２の実施形態における境界不一致可能
性画素検出処理の処理手順を示すフローチャートであ
る。

【図５】図５はソーベルフィルタを説明するための図で
ある。

【図６】図６は２種類のウインドウを説明するための図
である。

【図７】図７は第２の実施形態の処理過程を説明するた
めの図である。

【図８】図８は第２の実施形態の処理過程を説明するた
めの図である。

【図９】図９は第２の実施形態の処理過程を説明するた
めの図である。

【図１０】図１０は第２の実施形態の処理過程を説明す
るための図である。

【図１１】図１１は第２の実施形態の処理過程を説明す
るための図である。

【図１２】図１２は第２の実施形態の処理手順を示す図
である。

【図１３】図１３は第２の実施形態の処理過程を説明す
るための図である。

【図１４】図１４は第２の実施形態の処理過程を説明す
るための図である。

【図１５】図１５はスタートの視差画像を説明するため
の図である。

【図１６】図１６は第３の実施形態の処理過程を説明す
るための図である。

【図１７】図１７は第４の実施形態における境界不一致
可能性画素検出処理の処理手順を示すフローチャートで
ある。

【図１８】図１８は第４の実施形態の処理過程を説明す
るための図である。

【図１９】図１９は第４の実施形態の処理過程を説明す
るための図である。

【図２０】図２０は第４の実施形態の処理過程を説明す
るための図である。

【図２１】図２１は第４の実施形態の処理過程を説明す
るための図である。

【図２２】図２２は第５の実施形態の処理過程を説明す
るための図である。

【図２３】図２３は第６の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。

【図２４】図２４は第６の実施形態の処理手順を示す図
である。

【図２５】図２５は第６の実施形態の処理過程を説明す
るための図である。

【図２６】図２６は第７の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。

【図２７】図２７は第７の実施形態の処理手順を示す図
である。

【図２８】図２８は第７の実施形態の処理過程を説明す
るための図である。

【図２９】図２９は第８の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。

【図３０】図３０は第８の実施形態の処理手順を示す図
である。

【図３１】図３１は第８の実施形態の処理過程を説明す
るための図である。

【図３２】図３２は第９の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。

【図３３】図３３は第９の実施形態の処理手順を示す図
である。

【図３４】図３４は第９の実施形態の処理過程を説明す
るための図である。

【図３５】図３５は第９の実施形態の処理過程を説明す
るための図である。

【図３６】図３６は第１０の実施形態に係るステレオ画
像処理装置の構成を示すブロック図である。

【図３７】図３７は第１０の実施形態の処理手順を示す
図である。

【図３８】図３８は第１０の実施形態の処理過程を説明
するための図である。

【図３９】図３９は第１１の実施形態に係るステレオ画
像処理装置の構成を示すブロック図である。

【図４０】図４０は第１１の実施形態の処理手順を示す
図である。

【図４１】図４１は第１１の実施形態の処理過程を説明
するための図である。

【図４２】図４２は本発明の特徴を説明するための図で
ある。

【図４３】図４３は第１乃至第１１の実施形態での処理
を実行するコンピュータの構成を示すブロック図であ
る。

【図４４】図４４は第１の実施形態での処理に基づく処
理手順を示すフローチャートである。

【図４５】図４５は２眼ステレオの原理を説明するため
の図である。

【図４６】図４６は２眼ステレオによる距離計測を説明
するための図である。

【図４７】図４７はブロックマッチングの原理を説明す
るための図である。

【図４８】図４８は従来における画像間の誤対応の問題
点を説明するための図である。

【図４９】図４９は従来における画像間の誤対応の問題
点を説明するための図である。

【図５０】図５０は従来における画像間の誤対応の問題
点を説明するための図である。

【図５１】図５１は従来における画像間の誤対応の問題
点を説明するための図である。

【図５２】図５２は従来における画像間の誤対応の問題
点に対処する方法を説明するための図である。

【図５３】図５３は従来における画像間の誤対応の問題
点に対処する方法を説明するための図である。

【図５４】図５４は従来における視差画像と輝度画像の
境界の不一致を説明するための図である。

【符号の説明】

１、２ 画像センサ、１０１ 基準画像入力部、１０２
参照画像入力部、１０３ 対応点探索部、１０４ 対
応候補視差抽出部、１０５ 誤対応画素認識部、２０１
画像データ入力部、２０２ 画像データ記憶部、２０
３ 初期視差推定部、２０４ 境界不一致可能性画素検
出部、２０５ 視差画像生成部、３１１ 初期視差不連
続境界検出部、３１２、３２１ エッジ処理部、３１
３、３１９ 視差画像生成部、３１４ 画像切出部、３
１５、３２２ 切出視差画像生成部、３１６、３２０
エッジ検出部、３１７、３１８ 境界移動部、６００
コンピュータ、６１０、６２０ インタフェース、６３
０ プログラム記録媒体、６４０ 記憶装置、６５０
ＣＰＵ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 ３００Ｅ ３００ Ｇ０１Ｂ 11/24 Ｋ (72)発明者 三輪 浩史 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 (72)発明者 滝口 章広 神奈川県平塚市万田1200 株式会社小松製 作所研究所内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 異なる位置に配置された複数の撮像手段
   で撮像された対象物体の画像を用いて、該複数の撮像手
   段のうちの基準とする撮像手段で撮像された前記対象物
   体の画像中の選択画素と、他の撮像手段で撮像された前
   記対象物体の画像中の前記選択画素に対応する対応候補
   点を示す画素との間の対応をブロックマッチングにより
   求めて視差を推定するステレオ画像処理装置において、 前記選択画素に対応する画素として推定される複数の前
   記対応候補点のそれぞれに対応する視差を変化させて得
   られるマッチングエラーと視差との関係を表すマッチン
   グエラー分布を基に、第１の対応候補視差と第２の対応
   候補視差を求めると共に、前記第１の対応候補視差にお
   けるマッチングエラーの値と前記第２の対応候補視差に
   おけるマッチングエラーの値との差を求め、この求めた
   差が予め設定される閾値以下の場合は、前記選択画素は
   誤対応であると認識する認識手段を備えたことを特徴と
   するステレオ画像処理装置。
2. 【請求項２】 異なる位置に配置された複数の撮像手段
   で撮像された対象物体の画像を用いて、該複数の撮像手
   段のうちの基準とする撮像手段で撮像された前記対象物
   体の画像を示す基準画像と、他の撮像手段で撮像された
   前記対象物体の画像との間の対応をブロックマッチング
   により求めて視差を推定するステレオ画像処理装置にお
   いて、 前記基準画像中の画素のエッジ強度を検出するエッジ強
   度検出手段と、 前記基準画像について所定サイズの領域を設定し、当該
   領域内の着目画素を含む全画素についての前記エッジ強
   度検出手段により検出されたエッジ強度の分布を求め、
   当該エッジ強度の分布が予め設定されるエッジ強度の分
   布に適合する場合は、前記着目画素を、前記ブロックマ
   ッチングによる画像間の対応付けに基づく視差画像の境
   界と前記対象物体に対応する輝度画像の境界とが一致し
   ない旨の境界不一致可能性を示す画素として検出する画
   素検出手段とを備えたことを特徴とするステレオ画像処
   理装置。
3. 【請求項３】 異なる位置に配置された複数の撮像手段
   で撮像された対象物体の画像を用いて、該複数の撮像手
   段のうちの基準とする撮像手段で撮像された前記対象物
   体の画像を示す基準画像と、他の撮像手段で撮像された
   前記対象物体の画像との間の対応をブロックマッチング
   により求めて視差を推定するステレオ画像処理装置にお
   いて、 前記ブロックマッチングによる画像間の対応付けに基づ
   く視差画像を生成する生成手段と、 前記基準画像中の画素のエッジ強度を検出するエッジ強
   度検出手段と、 前記基準画像について所定サイズの領域を設定し、当該
   領域内の着目画素を含む全画素についての前記エッジ強
   度検出手段により検出されたエッジ強度の分布を求め、
   当該エッジ強度の分布が予め設定されるエッジ強度の分
   布に適合する場合は、前記着目画素を、前記生成手段に
   より生成された視差画像の境界と前記対象物体に対応す
   る輝度画像の境界とが一致しない旨の境界不一致可能性
   を示す画素として検出する画素検出手段と、 前記生成手段により生成された視差画像に対して、前記
   画素検出手段により検出された前記境界不一致可能性を
   示す画素に対応する画素を視差画像としない処理を施し
   て、最終的な視差画像を生成する視差画像生成手段とを
   備えたことを特徴とするステレオ画像処理装置。
4. 【請求項４】 異なる位置に配置された複数の撮像手段
   で撮像された対象物体の画像を用いて、該複数の撮像手
   段のうちの基準とする撮像手段で撮像された前記対象物
   体の画像を示す基準画像と、他の撮像手段で撮像された
   前記対象物体の画像との間の対応をブロックマッチング
   により求めて視差を推定するステレオ画像処理装置にお
   いて、 前記ブロックマッチングによる画像間の対応付けに基づ
   く視差画像を生成する生成手段と、 前記生成手段により生成された視差画像中の画素のエッ
   ジ強度を検出するエッジ強度検出手段と、 前記生成手段により生成された視差画像から、視差が不
   連続に変化する不連続境界および前記対象物体に対応す
   る輝度画像の境界を検出すると共に、前記生成手段によ
   り生成された視差画像に対して前記不連続境界を前記輝
   度画像の境界まで移動する境界移動手段と、 前記境界移動手段による移動後の前記不連続境界に基づ
   く視差画像を生成する視差画像生成手段とを備えたこと
   を特徴とするステレオ画像処理装置。
5. 【請求項５】 異なる位置に配置された複数の撮像手段
   のうちの基準とする撮像手段で撮像された対象物体の画
   像中の選択画素と他の撮像手段で撮像された前記対象物
   体の画像中の前記選択画素に対応する画素として推定さ
   れる複数の対応候補点の画素との間のブロックマッチン
   グにより求められるマッチングエラーと、視差を変化さ
   せて得られる各視差との対応関係を表すマッチングエラ
   ー分布を基に、第１の対応候補視差および第２の対応候
   補視差を求めるステップと、 前記第１の対応候補視差におけるマッチングエラーの値
   と前記第２の対応候補視差におけるマッチングエラーの
   値との差を求め、この求めた差が予め設定される閾値以
   下の場合は、前記選択画素は誤対応であると認識するス
   テップとをコンピュータに実行させるためのプログラム
   を記録したことを特徴とするコンピュータ読み取り可能
   な記録媒体。
6. 【請求項６】 異なる位置に配置された複数の撮像手段
   のうちの基準とする撮像手段で撮像された対象物体の画
   像を示す基準画像中の画素のエッジ強度を検出するエッ
   ジ強度検出ステップと、 前記基準画像について所定サイズの領域を設定し、当該
   領域内の着目画素を含む全画素についての前記エッジ強
   度検出ステップにより検出されたエッジ強度の分布を求
   める求ステップと、 前記求ステップにより求められたエッジ強度の分布が予
   め設定されるエッジ強度の分布に適合する場合は、前記
   着目画素を、前記基準とする撮像手段とは異なる他の撮
   像手段で撮像された前記対象物体の画像と前記基準画像
   との間のブロックマッチングによる対応付けに基づく視
   差画像の境界と、前記対象物体に対応する輝度画像の境
   界とが一致しない旨の境界不一致可能性を示す画素とし
   て検出する画素検出ステップとをコンピュータに実行さ
   せるためのプログラムを記録したことを特徴とするコン
   ピュータ読み取り可能な記録媒体。
7. 【請求項７】 異なる位置に配置された複数の撮像手段
   のうちの基準とする撮像手段で撮像された対象物体の画
   像を示す基準画像と他の撮像手段で撮像された前記対象
   物体の画像との間のブロックマッチングによる対応付け
   に基づく、視差画像を生成する生成ステップと、 前記基準画像中の画素のエッジ強度を検出するエッジ強
   度検出ステップと、 前記基準画像について所定サイズの領域を設定し、当該
   領域内の着目画素を含む全画素についての前記エッジ強
   度検出ステップにより検出されたエッジ強度の分布を求
   める求ステップと、 前記求ステップにより求められたエッジ強度の分布が予
   め設定されるエッジ強度の分布に適合する場合は、前記
   着目画素を、前記生成ステップにより生成された視差画
   像の境界と前記対象物体に対応する輝度画像の境界とが
   一致しない旨の境界不一致可能性を示す画素として検出
   する画素検出ステップと、 前記生成ステップにより生成された視差画像に対して、
   前記画素検出ステップにより検出された前記境界不一致
   可能性を示す画素に対応する画素を視差画像としない処
   理を施して、最終的な視差画像を生成する視差画像生成
   ステップとをコンピュータに実行させるためのプログラ
   ムを記録したことを特徴とするコンピュータ読み取り可
   能な記録媒体。
8. 【請求項８】 異なる位置に配置された複数の撮像手段
   のうちの基準とする撮像手段で撮像された対象物体の画
   像を示す基準画像と他の撮像手段で撮像された前記対象
   物体の画像との間のブロックマッチングによる対応付け
   に基づく、視差画像を生成する生成ステップと、 前記生成ステップにより生成された視差画像中の画素の
   エッジ強度を検出するエッジ強度検出ステップと、 前記生成ステップにより生成された視差画像から、視差
   が不連続に変化する不連続境界および前記対象物体に対
   応する輝度画像の境界を検出すると共に、前記生成ステ
   ップにより生成された視差画像に対して前記不連続境界
   を前記輝度画像の境界まで移動する境界移動ステップ
   と、 前記境界移動ステップにより移動された移動後の前記不
   連続境界に基づく視差画像を生成する視差画像生成ステ
   ップとをコンピュータに実行させるためのプログラムを
   記録したことを特徴とするコンピュータ読み取り可能な
   記録媒体。