JP2013250907A - 視差算出装置、視差算出方法及び視差算出用プログラム - Google Patents

Abstract

【課題】基準画像と比較画像との間でぼけ度合いが異なる場合でも、高い算出精度で視差を算出する。
【解決手段】一方の撮像部１１０Ａにより撮像して得られる基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他方の撮像部１１０Ｂにより撮像して得た比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出装置において、撮像部１１０Ａにより撮像した撮像画像の画素値が規定値以上変化する箇所を輝度画像エッジ抽出部１４５により輝度エッジ部として抽出し、抽出した輝度エッジ部を視差算出対象箇所とした当該視差算出対象箇所と対応箇所との視差値を算出する。
【選択図】図５

Description

本発明は、複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上の視差算出対象箇所と他の撮像画像である比較画像上の対応箇所との視差を算出する視差算出装置、視差算出方法及び視差算出用プログラムに関するものである。

この種の視差算出装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの測距処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種測距対象物（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。

特許文献１には、水平方向に同じ高さで車両に搭載された２台のカメラにより撮像し、一方のカメラで得た基準画像と他方のカメラで得た参照画像との間で測距対象物の視差を算出し、この視差に基づいて測距対象物までの距離を求めるステレオ測距装置が開示されている。このステレオ測距装置では、基準画像内の視差基準点（視差算出対象箇所）と参照画像（比較画像）内に設定した探索領域内の複数の探索点との画像輝度（画素値特徴量）を順次比較し、最も相違度の低い探索点、すなわち、視差基準点の画素値特徴量と一致又は近似範囲内に含まれる画像輝度（画素値特徴量）をもった探索点を、対応点として選択する。そして、選択した参照画像内の対応点と基準画像内の視差基準点との結像位置の差を視差値として算出し、その視差値から当該視差基準点が映し出す測距対象物までの距離を算出する。

上記特許文献１に記載のステレオ測距装置においては、基準画像及び参照画像の内で、ぼけ味の強い方の画像のぼけ味を、ぼけ味調整フィルタを用いてぼけ味の弱い方の画像のぼけ味に合わせる処理を行う。基準画像と参照画像との間でぼけ味（ぼけ度合い）が異なる場合、視差基準点（視差算出対象箇所）に対応する対応点（対応箇所）の特定精度が落ち、視差の算出精度が低下するためである。上記特許文献１に記載のステレオ測距装置によれば、基準画像と参照画像との間のぼけ味の調整を、レンズのピント調整機構ではなく、撮像画像に対する画像処理により行うことで、視差値の算出精度が向上するとしている。

ところが、上記特許文献１に記載のステレオ測距装置では、レンズに依存する係数であるＭＴＦ(Modulation Transfer Function)特性（光学伝達関数（ＯＴＦ：Optical Transfer Function）の絶対値）を用いて基準画像と参照画像（比較画像）との間のぼけ味の違いを調整する。そのため、経年変化や熱の影響によりレンズのＭＦＴ特性が変化した場合には、ぼけ味の違いを適切に調整できず、視差の算出精度を向上させることはできない。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、基準画像と比較画像との間でぼけ度合いが異なる場合に、ＭＦＴ特性を用いずに、高い算出精度で視差を算出できる視差算出装置、視差算出方法及び視差算出用プログラムを提供することである。

本発明は、複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出装置において、上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出手段を有し、上記エッジ抽出手段が抽出したエッジ箇所を上記視差算出対象箇所に設定し、当該視差算出対象箇所とその対応箇所との視差値を算出することを特徴とする。

本発明において、撮像画像の画素値が規定値以上変化するエッジ箇所は、公知の技術により、高い精度で抽出できる。この画素値は、例えば、撮像画像が輝度画像であれば輝度値に応じた値となり、撮像画像が偏光画像であれば対応する偏光成分に応じた値となり、撮像画像が分光画像であれば対応する波長成分（色成分）に応じた値となる。

本発明では、基準画像上の視差算出対象箇所に対応する比較画像内の対応箇所を特定する際、視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を比較画像内から特定するという処理を行う。画素値特徴量とは、対象となる箇所又はその周囲の画素値に関わる特徴を示す量である。よって、画素値が規定値以上変化するという特徴をもったエッジ箇所についての画素値特徴量は、エッジ箇所ではない箇所についての画素値特徴量とは大きく区別される量となる。したがって、エッジ箇所を視差算出対象箇所とした場合、エッジ箇所ではない箇所を視差算出対象箇所とする場合と比較して、比較画像内から対応箇所を特定する際の特定精度が高い。よって、エッジ箇所を視差算出対象箇所とした場合の視差算出対象箇所と対応箇所との視差値を算出することで、比較画像内から対応箇所ではない箇所が特定されることによって誤った視差値が算出されることを抑制することができる。

一般に、基準画像と比較画像とがいずれもピントが合ったものであれば、視差算出対象箇所に対応する対応箇所を比較画像内から高い精度で特定することができる。また、基準画像と比較画像とのいずれもぼけている場合でも、そのぼけ度合いが一致していれば、基準画像でも比較画像でも画素値の鈍り度合いが同じであるので、視差算出対象箇所とその対応箇所との間の画素値特徴量の関係は一致又は近似範囲内に含まれる。よって、この場合も、視差算出対象箇所に対応する対応箇所を比較画像内から高い精度で特定することができる。

しかしながら、基準画像と比較画像との間でぼけ度合いが異なる場合、基準画像と比較画像との間で画素値の鈍り度合いが異なるため、視差算出対象箇所とその対応箇所との間の画素値特徴量の関係は、近似範囲から外れるほど相違してしまうことがある。ただし、視差算出対象箇所がエッジ箇所である場合、その視差算出対象箇所についての画素値特徴量は、上述したように、エッジ箇所ではない箇所についての画素値特徴量とは大きく区別される量となる。そのため、基準画像と比較画像との間で画素値の鈍り度合いが多少異なっていても、視差算出対象箇所とその対応箇所との間の画素値特徴量の関係は近似範囲から外れるほど相違することはない。したがって、エッジ箇所を視差算出対象箇所とした場合の視差算出対象箇所と対応箇所との視差値を算出すれば、基準画像と比較画像との間でぼけ度合いが異なる場合でも、比較画像内から高い精度で対応箇所を特定でき、高い算出精度で視差を算出できる。

以上、本発明によれば、基準画像と比較画像との間でぼけ度合いが異なる場合に、ＭＦＴ特性を用いずに、高い算出精度で視差を算出できるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 実施形態の段差認識処理に関わる機能ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 （ａ）は、同撮像部で撮像した撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、視差ヒストグラム計算部により算出される行視差分布マップ（Ｖマップ）を直線近似したグラフである。 テストパターンを無限遠に設置し、これを２つの撮像部で撮像して視差値を算出する実験例の説明図である。 基準画像データのある行における画素値（輝度）のＸ軸方向分布を示す説明図である。 比較画像データの同一行における画素値（輝度）のＸ軸方向分布を示す説明図である。 同基準画像データ及び同比較画像データから算出される視差値のＸ軸方向分布を示す説明図である。 変形例における段差認識処理に関わる機能ブロック図である。

以下、本発明に係る視差算出装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る視差算出装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して認識対象物の認識結果に応じて各種車載機器の制御を行うものである。

本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線を検出したり、撮像領域内に存在する路面上の白線等の車線境界線や自車両の走行車線側部に存在する縁石や中央分離帯等の段差（以下「路側段差」という。）を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した車線境界線（本実施形態では白線を例に挙げて説明する。）や路側段差の検出結果に基づいて、走行可能領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、光学フィルタ１１２Ａ，１１２Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、赤色画像データ、輝度画像データ、視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差情報生成手段としての視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分（視差算出対象箇所）に対する比較画像上の画像部分（対応箇所）の位置ズレ量を、当該画像部分（視差算出対象箇所）の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分（視差算出対象箇所）に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される赤色画像データ、輝度画像データ、視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された赤色画像データ、輝度画像データ、視差画像データを用いて各種の認識処理を実行する。

図３は、光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１３ａを用いている。フォトダイオード１１３ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１３ａの集光効率を上げるために、各フォトダイオード１１３ａの入射側にはマイクロレンズ１１３ｂが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

画像センサ１１３Ａ，１１３Ｂのマイクロレンズ１１３ｂ側の面には、光学フィルタ１１２Ａ，１１２Ｂが近接配置されている。本実施形態の光学フィルタ１１２Ａ，１１２Ｂは、図３に示すように、透明なフィルタ基板１１２ａ上に分光フィルタ層１１２ｂを形成したものであるが、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層１１２ｂは、画像センサ１１３Ａ，１１３Ｂ上における１つのフォトダイオード１１３ａに対応するように領域分割されている。

光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとの間に空隙がある構成としてもよいが、光学フィルタ１１２Ａ，１１２Ｂを画像センサ１１３Ａ，１１３Ｂに密着させる構成とした方が、光学フィルタ１１２Ａ，１１２Ｂの各フィルタ領域の境界と画像センサ１１３Ａ，１１３Ｂ上のフォトダイオード１１３ａ間の境界とを一致させやすくなる。光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂは、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図４は、本実施形態に係る光学フィルタ１１２Ａ，１１２Ｂの領域分割パターンを示す説明図である。
光学フィルタ１１２Ａ，１１２Ｂは、第１領域及び第２領域という２種類の領域が、画像センサ１１３Ａ，１１３Ｂ上の１つのフォトダイオード１１３ａに対応して配置されたものである。これにより、画像センサ１１３Ａ，１１３Ｂ上の各フォトダイオード１１３ａによって受光される受光量は、受光する光が透過した分光フィルタ層１１２ｂの領域の種類に応じて、分光情報として取得することができる。

本実施形態における光学フィルタ１１２Ａ，１１２Ｂにおいて、第１領域は、赤色波長帯の光のみを選択して透過させる赤色分光領域１１２ｒであり、第２領域は、波長選択を行わずに光を透過させる非分光領域１１２ｃである。そして、光学フィルタ１１２Ａ，１１２Ｂは、図４に示すように、これらの第１領域１１２ｒ及び第２領域１１２ｃが市松模様状に分布したものを用いている。したがって、本実施形態においては、第１領域１１２ｒに対応する撮像画素の出力信号から赤色輝度画像が得られ、第２領域１１２ｃに対応する撮像画素の出力信号から非分光の輝度画像が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色輝度画像と非分光の輝度画像に対応した２種類の撮像画像データを得ることができる。これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。

このようにして得られる赤色輝度画像データは、例えば、赤色に発光するテールランプの検出に使用することができる。また、非分光の輝度画像データは、例えば、車線境界線である白線、縁石や中央分離帯等の路側段差、対向車両のヘッドランプの検出に使用することができる。

次に、本発明の特徴部分である視差算出処理を含む段差認識処理について説明する。
図５は、本実施形態の段差認識処理に関わる機能ブロック図である。
本実施形態の視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの撮像画像データを基準画像データとし、他方の撮像部１１０Ｂの撮像画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差演算部１２１は、まず、基準画像データのある行についての複数画素（本実施形態では７画素×１画素とする。）を視差算出対象箇所（視差算出対象画素）とする視差算出対象ブロックを定義する。一方、比較画像データにおける同じ行（画像上の上下方向位置）において、定義した基準画像データの視差算出対象ブロックと同じサイズの比較ブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、視差算出対象ブロックの画素値の特徴を示す画素値特徴量と各比較ブロックの画素値の特徴を示す画素値特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、各比較ブロックの中で最も視差算出対象ブロックと相関があった比較ブロックを対応ブロックとして選定し、選定した対応ブロックを構成する各画素を、視差算出対象ブロックを構成する各視差算出対象画素に対応する対応画素（対応箇所）として特定する。このように基準画像データの視差算出対象箇所に対応する対応箇所を比較画像データから特定する処理をマッチング処理という。

その後、基準画像データの視差算出対象ブロックの各視差算出対象画素と、マッチング処理で特定された比較画像データの対応ブロックの各対応画素との位置ズレ量を視差値として算出する。このような視差値を算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

本実施形態では、７画素×１画素の視差算出対象ブロックを、基準画像データの全域又は特定の一領域について１画素ずつずらしながら、マッチング処理と視差算出を行うため、基準画像データ内の１つの視差算出対象画素に対し、最大で７回のマッチング処理と視差算出が行われることになるので、１つの視差算出対象画素について最大で７つの視差値を算出することが可能である。１つの視差算出対象画素に対して行われるすべてのマッチング処理が適切に行われた場合には、算出されるすべての視差値は一致又はほぼ一致するので、例えば、算出される視差値の中から選んだ１つの視差値を当該視差算出対象画素の視差値として出力してもよいし、算出される視差値の平均値を当該視差算出対象画素の視差値として出力してもよい。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像データを取得した視差ヒストグラム計算部１４１は、視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図６（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部１４１は、図６（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得らえる各行の視差値頻度分布の情報から、例えば、縦方向に視差画像上の縦方向位置をとり、横方向に視差値をとった２次元平面上に、視差画像データ上の各画素を分布させた行視差分布マップ（Ｖマップ）を得ることができる。

図７（ａ）は、撮像部１１０Ａで撮像した撮像画像（輝度画像）の一例を模式的に表した画像例であり、図７（ｂ）は、視差ヒストグラム計算部１４１により算出される行ごとの視差値頻度分布から、行視差分布マップ（Ｖマップ）上の画素分布を直線近似したグラフである。
図７（ａ）に示す画像例は、中央分離帯を有する片側２車線の直線道路において自車両が左車線を走行している状況を撮像したものであり、図中符号ＣＬは中央分離帯を映し出す中央分離帯画像部であり、図中符号ＷＬは車線境界線である白線を映し出す白線画像部（車線境界線画像部）であり、図中符号ＥＬは路端に存在する縁石等の段差を映し出す路端段差画像部である。以下、路端段差画像部ＥＬ及び中央分離帯段差画像部ＣＬをまとめて段差画像部という。また、図中破線で囲まれた領域ＲＳは、中央分離帯と路側段差とによって区画される車両走行が可能な路面である。

本実施形態では、路面領域認識部１４２において、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布の情報から、路面領域ＲＳを認識する。具体的には、路面領域認識部１４２は、まず、視差ヒストグラム計算部１４１から各行の視差値頻度分布情報を取得し、その情報から特定される行視差分布マップ上の画素分布を最小二乗法やハフ変換処理などにより直線近似する処理を行う。これにより得られる図７（ｂ）に示す近似直線は、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上又はその近傍に分布する画素（視差画像上の画素）は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。

ここで、撮像部１１０Ａでは自車両前方領域を撮像するため、その視差画像の内容は、図７（ａ）に示すように、画像下部において路面領域ＲＳの占有率が最も高く、また、画像上方へ向かうほど路面領域ＲＳの視差値は小さくなる。また、同じ行（横ライン）内において、路面領域ＲＳを構成する画素はほぼ同じ視差値を持つことになる。したがって、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ（Ｖマップ）上の近似直線上又はその近傍に分布する画素は、路面領域ＲＳを構成する画素が持つ特徴に合致する。よって、図７（ｂ）に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域ＲＳを構成する画素であると推定できる。

このように、本実施形態の路面領域認識部１４２は、視差ヒストグラム計算部１４１から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ（Ｖマップ）上の直線近似を行い、その近似直線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域ＲＳとして認識する。なお、路面上には図７（ａ）に示すように白線も存在するが、路面領域認識部１４２では、白線画像部ＷＬも含めて路面領域ＲＳを認識する。路面領域認識部１４２の認識結果は、段差存在範囲推定部１４３に送られる。

段差存在範囲推定部１４３は、路面領域認識部１４２から路面領域ＲＳの情報を取得すると、路面領域ＲＳにおける左右両側の境界線を含む予め決められた一定範囲を、路側段差が存在し得る段差存在範囲として推定する。そして、その推定結果を段差関連視差エッジ抽出部１４６へ送る。

一方、視差演算部１２１から出力される視差画像データは、視差画像エッジ抽出部１４４にも送られる。視差画像データにおいて、一般に、基準画像と比較画像とがいずれもピントが合ったものであれば、視差算出対象画素に対応する対応画素を比較画像内から高い精度で特定でき、算出精度の高い（信頼性の高い）視差値が算出される。また、基準画像と比較画像とのいずれもぼけている場合でも、そのぼけ度合いが一致していれば、基準画像でも比較画像でも画素値の鈍り度合いが同じであるので、視差算出対象画素とその対応画素との間の画素値特徴量の関係は一致又は近似範囲内に含まれる。よって、この場合も、視差算出対象画素に対応する対応画素を比較画像内から高い精度で特定でき、算出精度の高い（信頼性の高い）視差値が算出される。

しかしながら、基準画像と比較画像との間でぼけ度合いが異なる場合、基準画像と比較画像との間で画素値の鈍り度合いが異なるため、視差算出対象画素とその対応画素との間の画素値特徴量の関係は、近似範囲から外れるほど相違してしまうことがある。この場合、視差算出対象画素に対応する対応画素を比較画像内から特定する精度が低く、誤った視差値が算出されてしまう場合がある。

図８は、テストパターン（左下半分が黒色で右上半分が白色であるモノクロパターン）を無限遠に設置し、これを２つの撮像部１１０Ａ，１１０Ｂで撮像して視差値を算出する実験例の説明図である。
図９は、撮像部１１０Ａで撮像された基準画像データのある行における画素値（輝度）のＸ軸方向分布を示す説明図である。
図１０は、撮像部１１０Ｂで撮像された比較画像データの同一行における画素値（輝度）のＸ軸方向分布を示す説明図である。
図１１は、これらの基準画像データ及び比較画像データから算出される視差値のＸ軸方向分布を示す説明図である。

本実験例において、基準画像データはピントがあったものであるため、図９に示すように、Ｘ軸座標が７である画素と８である画素との間を境に、黒色に対応する画素値（＝１０）と白色に対応する画素値（＝２５５）とに、明確に区分されている。これに対し、比較画像データはピントがあっていないため、ぼけており、図１０に示すように、Ｘ軸座標が４〜１１の間で画素値が鈍っている。

本来、図８に示すようにテストパターンを無限遠に設置した場合、その視差値はいずれの画素においてもゼロになる。しかしながら、本実験例では、図１１に示すように、Ｘ軸座標が６〜９の画素については視差値がゼロであり適切な視差値が算出できているのに対し、Ｘ軸座標が２〜５の画素及び１０〜１３の画素については視差値がゼロではなく、誤った視差値が算出されている。これは、基準画像データと比較画像データとの間でぼけ度合いが異なるため、視差算出対象ブロックと比較画像データの各ブロックとの相関値が、本来は対応ブロックとの相関値が最も小さくなるところ、別のブロックとの相関値が最も小さくなってしまい、適切なマッチング処理が行われなかったためである。

なお、Ｘ軸座標が０〜１の画素及び１４〜１５の画素については視差値自体が算出できない。これは、視差算出対象ブロックを構成する７つの画素の画素値がいずれも同じ値となる視差算出対象ブロックしか設定できないため、画素値の特徴がなく、適切なマッチング処理が行えないためである。

ここで、上述した路面領域認識部１４２の路面認識に用いられる視差画像データは、誤った視差値が含まれていても、視差ヒストグラム計算部１４１が行ごとの視差値頻度分布を計算する際に、誤った視差値の影響がほぼ排除されるので、誤った視差値が路面領域の誤認識を引き起こすことはほとんどない。しかしながら、算出精度の高い（信頼性の高い）視差値を利用する後処理では、誤った視差値を排除して、算出精度の高い視差値のみの視差画像データが望ましい。そこで、本実施形態では、視差画像エッジ抽出部１４４において、誤った視差値を含む視差画像データから、誤った視差値を排除した視差エッジ画像データを生成する処理を行う。

具体的には、視差画像エッジ抽出部１４４での処理に先立って、まず、基準画像を撮像する撮像部１１０Ａで撮像した輝度画像データが輝度画像エッジ抽出部１４５に送られ、輝度画像エッジ抽出部１４５が、その輝度画像の画素値（輝度）が規定値以上変化する箇所をエッジ部分として抽出し、その抽出結果から輝度エッジ画像データを生成する。この輝度エッジ画像データは、エッジ部分と非エッジ部分とを２値で表現した画像データである。エッジ抽出の方法は、公知のものを広く利用することができる。輝度画像エッジ抽出部１４５が生成した輝度エッジ画像データは、視差画像エッジ抽出部１４４と白線認識処理部１４９に送られる。

視差画像エッジ抽出部１４４は、視差演算部１２１から出力される視差画像データと、輝度画像エッジ抽出部１４５から出力される輝度エッジ画像データとを取得したら、視差画像データの中に含まれる視差値をもった画素の中から、輝度エッジ画像データのエッジ部に対応する画素を抽出し、これを視差エッジ部として抽出する処理を行う。このようにして視差画像データから抽出された画素によって視差エッジ画像データを生成する。この視差エッジ画像データは、輝度画像上のエッジ部分に対応した画素の視差値のみを含む。

エッジ箇所が視差算出対象画素である場合に算出される視差値は、算出精度の高い視差値である。これは、Ｘ軸座標が７である画素と８である画素とにエッジ部分が存在している上述した実験例においても、Ｘ軸座標が６〜９の画素についての視差値が適切に算出されている。エッジ箇所が視差算出対象画素である場合に視差値の算出精度が高い主な理由は、次のように考えられる。

エッジ箇所である視差算出対象画素やこれに対応する対応画素についての画素値特徴量は、エッジ箇所ではない箇所についての画素値特徴量と比較して大きく区別される量となる。そのため、基準画像と比較画像との間で画素値の鈍り度合いが多少異なっていても、視差算出対象画素とその対応画素との間の画素値特徴量の関係は近似範囲から外れるほど相違することはない。例えば、図９に示すように、ピントが合った画像（基準画像）上において、エッジ部分に関係するＸ軸座標が７である画素と８である画素を見ると、その画素値の差が２４５であり、他の隣接画素間の差はゼロである。一方、図１０に示すように、ピントがぼけた画像（比較画像）上においては、エッジ部分に関係するＸ軸座標が７である画素と８である画素との間の画素値の差は１３５であり、これに隣接するＸ軸座標が６である画素と７である画素との間の画素値の差は２０であり、Ｘ軸座標が８である画素と９である画素との間の画素値の差は３０であり、画素値が鈍っているが、隣接画素間の画素値の差が最大なのはやはりエッジ部分に関係するＸ軸座標が７である画素と８である画素との間である。したがって、基準画像と比較画像との間でぼけ度合いが異なる場合でも、視差算出対象画素がエッジ箇所であれば、比較画像内から高い精度で対応画素を特定することができる。したがって、エッジ箇所を視差算出対象箇所とした場合の視差値を抽出することで、算出精度の高い（信頼性の高い）視差値のみを抽出した視差画像データ（視差エッジ画像データ）を得ることができる。

このようにして視差エッジ画像データを生成した視差画像エッジ抽出部１４４は、その視差エッジ画像データを段差関連視差エッジ抽出部１４６へ送る。視差エッジ画像データを取得した段差関連視差エッジ抽出部１４６は、段差存在範囲推定部１４３から取得した段差存在範囲の推定結果に基づき、その推定に係る段差存在範囲内に属する視差エッジ部を、段差関連視差エッジ部として抽出する。そして、その抽出結果から、段差関連視差エッジ画像データを生成する。

このようにして生成される段差関連視差エッジ画像データは、視差エッジ画像データの視差エッジ部の中から、路面領域ＲＳにおける左右両側部に存在する視差エッジ部のみを抽出したものであるが、抽出したエッジ部の中には、いまだ、路側段差以外の箇所を映し出す視差エッジ部も含まれている可能性がある。そこで、本実施形態では、段差認識処理部１４８において、白線認識処理部１４９の白線認識結果を利用し、段差関連視差エッジ部の中から、最も路側段差を映し出す段差関連視差エッジ部である可能性が高いものを選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する。

白線認識処理部１４９は、輝度エッジ画像データに基づいて路面上の白線を映し出す白線画像部ＷＬを認識する処理を行う。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部ＷＬの輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の輝度差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部ＷＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。そこで、本実施形態の白線認識処理部１４９は、輝度画像エッジ抽出部１４５から取得した輝度エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部（路面上の白線を映し出す白線画像部ＷＬ）として認識する。白線認識処理部１４９による認識結果は、段差認識処理部１４８へ送られ、段差認識処理部１４８における路側段差の認識処理に利用される。

なお、白線認識処理において、上述した路面領域認識部１４２で認識した路面領域ＲＳの認識結果を用い、路面領域ＲＳ内の輝度エッジ部を対象に白線画像部ＷＬの認識処理を行えば、認識処理の負荷軽減、認識精度の向上を図ることができる。

段差認識処理部１４８では、まず、段差関連視差エッジ抽出部１４６から取得した段差関連視差エッジ画像データによって示される段差関連視差エッジ部の中から、ライン上に並ぶ段差関連視差エッジ部を抽出する。縁石や中央分離帯などの路側段差を映し出す段差画像部ＥＬ，ＣＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶ段差関連視差エッジ部を抽出することで、路側段差のエッジ部を高精度に認識することができる。ライン状に並ぶ段差関連視差エッジ部の抽出処理では、例えば、段差関連視差エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を路側段差のエッジ部（路側段差の画像候補部）として抽出する。

ここで、一般に、縁石や中央分離帯などの路側段差は、自車両１００の走行車線側部に存在する白線に対して自車両が走行する走行車線とは反対側に位置している。また、路側段差は、当該白線に対して平行に存在しており、自車両の前方領域を撮像する撮像画像上において、そのライン状の段差画像部ＥＬ，ＣＬは、ライン状の白線画像部ＷＬに対し、所定の角度範囲内の角度をもって延びている。したがって、段差画像部ＥＬ，ＣＬと白線画像部ＷＬとの相対位置関係は、通常、ある限られた範囲に限定される。

そこで、本実施形態では、上述したようにライン状の段差関連視差エッジ部（路側段差の画像候補部）を抽出したら、続いて、段差認識処理部１４８では、その路側段差の画像候補部の中から、白線認識処理部１４９が認識した白線画像部ＷＬとの相対位置関係が上述の限られた範囲内の関係となっている画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する処理を行う。

以上のような一連の処理を経て認識される段差画像部ＥＬ，ＣＬの情報は、後段の処理部に送られ、種々の処理に使用される。例えば、段差画像部ＥＬ，ＣＬの情報は、段差画像部ＥＬ，ＣＬで区画される領域を自車両１００が走行可能な走行可能領域として認識する処理に使用することができる。このとき、段差画像部ＥＬ，ＣＬに対応する視差値は、上述したように算出精度の高い（信頼性の高い）視差値であることから、自車両から段差画像部ＥＬ，ＣＬまでの距離を精度良く認識することができる。

〔変形例〕
次に、上記実施形態における段差認識処理の一変形例について説明する。
上述した実施形態の段差認識処理では、視差演算部１２１においてエッジ部と非エッジ部の両方を含んだ画像領域に対して視差値を算出した後に、輝度エッジ画像データに基づいてエッジ部に対応した視差値を抽出することで、算出精度の高い（信頼性の高い）視差値を得た。これに対し、本変形例は、視差演算部１２１においてエッジ部に対する視差値だけを算出するものである。

また、上述した実施形態の段差認識処理では、視差画像データに基づき、視差ヒストグラム計算部１４１、路面領域認識部１４２及び段差存在範囲推定部１４３により、リアルタイムで路側段差が存在し得る段差存在範囲を推定する処理を行っていた。これに対し、 本変形例では、予め推定しておいた段差存在範囲を用いる。

図１２は、本変形例における段差認識処理に関わる機能ブロック図である。
本変形例の視差演算部１２１は、輝度画像エッジ抽出部１４５から出力される輝度エッジ画像データを取得したら、基準画像データのある行について、輝度エッジ画像データのエッジ部に対応する画素を抽出し、その抽出画素を含む複数画素（７画素×１画素とする。）を視差算出対象箇所（視差算出対象画素）とする視差算出対象ブロックを定義する。ここで定義する視差算出対象ブロックは、抽出画素が視差算出対象ブロックの中央に近い位置に配置されるように定義するのが好ましい。また、ここで定義する視差算出対象ブロックは、１つの抽出画素について１つの視差算出対象ブロックだけを定義してもよいし、２以上の視差算出対象ブロックを定義してもよい。

その後、上述した実施形態と同様にマッチング処理を行い、輝度エッジ画像データのエッジ部に対応する画素（視差算出対象画素）の視差値を算出する。これにより得られる視差画像データは、上述した実施形態における視差エッジ画像データと実質的に同一のものである。そして、この視差エッジ画像データを取得した段差関連視差エッジ抽出部１４６は、段差存在範囲記憶部１４７から段差存在範囲の推定情報を取得し、この情報に係る段差存在範囲内に属する視差エッジ部を、段差関連視差エッジ部として抽出し、その抽出結果から段差関連視差エッジ画像データを生成する。

本変形例によれば、視差演算部１２１の視差値を算出する画素数が上述した実施形態と比べて大幅に減るため、視差演算部１２１の処理負荷が軽減し、これにより段差認識処理全体の処理負荷が軽減して段差認識処理の高速化を図ることができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
２つの撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出装置において、上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所を輝度エッジ部等のエッジ箇所として抽出する輝度画像エッジ抽出部１４５等のエッジ抽出手段を有し、上記エッジ抽出手段が抽出したエッジ箇所を上記視差算出対象箇所とした当該視差算出対象箇所と対応箇所との視差値を算出することを特徴とする。
これによれば、基準画像と比較画像との間でぼけ度合いが異なる場合でも、エッジ箇所である視差算出対象箇所の視差値が算出されるので、算出精度の高い（信頼性の高い）視差値で構成される視差画像データ（視差エッジ画像データ）を得ることができる。

（態様Ｂ）
上記態様Ａにおいて、基準画像上における所定の視差算出対象範囲の全域にわたって視差算出対象箇所を設定し、各視差算出対象箇所について特定された対応箇所と当該視差算出対象箇所との視差値を算出した後、算出された視差値の中から、上記エッジ抽出手段が抽出したエッジ箇所を視差算出対象箇所とした視差値を抽出することを特徴とする。
これによれば、上述した実施形態のように、エッジ箇所ではない箇所の視差値も使用する後処理（視差ヒストグラム計算部１４１、路面領域認識部１４２、段差存在範囲推定部１４３での処理）と、エッジ箇所の視差値だけを使用する後処理とを同じ視差画像データを用いて処理することができる。

（態様Ｃ）
上記態様Ａにおいて、基準画像上における所定の視差算出対象範囲内で上記エッジ抽出手段が抽出したエッジ箇所に対して所定の位置関係を有する箇所を抽出し、抽出した箇所を視差算出対象箇所として設定することを特徴とする。
これによれば、上述した変形例のように、エッジ箇所以外の箇所も含めて視差値を算出する場合と比較して、視差値を算出する画素数を大幅に減らすことができるため、視差演算処理負荷が軽減することができ、処理の高速化を図ることができる。

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記基準画像内の互いに隣接する複数画素を視差算出対象箇所として構成した一の視差算出対象ブロックを設定するとともに、該視差算出対象ブロックと同じ画素構成であって基線方向に対応する方向に沿って所定の画素数ずつずれた複数の比較ブロックを設定し、該視差算出対象ブロックの特徴を示す画素値特徴量と各比較ブロックの特徴を示す画素値特徴量との相関が最も高い比較ブロックを対応ブロックとして選定し、選定した対応ブロックを構成する各画素を、当該視差算出対象ブロックを構成する各視差算出対象箇所に対応する対応箇所として特定することを特徴とする。
これによれば、視差算出対象箇所に対応する対応箇所を高い精度で特定することが可能となる。

（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記複数の撮像手段を備えていることを特徴とする。
これによれば、視差算出装置を車両に設置する用途に使用することができる。

（態様Ｆ）
複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象物が映し出される視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出方法において、上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出工程を有し、上記エッジ抽出工程で抽出したエッジ箇所を上記視差算出対象箇所とした当該視差算出対象箇所と対応箇所との視差値を算出することを特徴とする。
これによれば、基準画像と比較画像との間でぼけ度合いが異なる場合でも、エッジ箇所である視差算出対象箇所の視差値が算出されるので、算出精度の高い（信頼性の高い）視差値で構成される視差画像データ（視差エッジ画像データ）を得ることができる。

（態様Ｇ）
複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象物が映し出される視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する工程を、コンピュータに実行させるための視差算出用プログラムにおいて、上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出工程を、上記コンピュータに実行させるものであって、上記エッジ抽出工程で抽出したエッジ箇所を上記視差算出対象箇所とした当該視差算出対象箇所と対応箇所との視差値を算出することを特徴とする。
これによれば、基準画像と比較画像との間でぼけ度合いが異なる場合でも、エッジ箇所である視差算出対象箇所の視差値が算出されるので、算出精度の高い（信頼性の高い）視差値で構成される視差画像データ（視差エッジ画像データ）を得ることができる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１３０ メモリ
１４１ 視差ヒストグラム計算部
１４２ 路面領域認識部
１４３ 段差存在範囲推定部
１４４ 視差画像エッジ抽出部
１４５ 輝度画像エッジ抽出部
１４６ 段差関連視差エッジ抽出部
１４７ 段差存在範囲記憶部
１４８ 段差認識処理部
１４９ 白線認識処理部

特開２０００−３３１１４８号公報

Claims (7)

1. 複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出装置において、
   上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出手段を有し、
   上記エッジ抽出手段が抽出したエッジ箇所を上記視差算出対象箇所に設定し、当該視差算出対象箇所とその対応箇所との視差値を算出することを特徴とする視差算出装置。
2. 請求項１の視差算出装置において、
   基準画像上における所定の視差算出対象範囲の全域にわたって視差算出対象箇所を設定し、各視差算出対象箇所について特定された対応箇所と当該視差算出対象箇所との視差値を算出した後、算出された視差値の中から、上記エッジ抽出手段が抽出したエッジ箇所を視差算出対象箇所とした視差値を抽出することを特徴とする視差算出装置。
3. 請求項１の視差算出装置において、
   基準画像上における所定の視差算出対象範囲内で上記エッジ抽出手段が抽出したエッジ箇所に対して所定の位置関係を有する箇所を抽出し、抽出した箇所を視差算出対象箇所として設定することを特徴とする視差算出装置。
4. 請求項１乃至３のいずれか１項に記載の視差算出装置において、
   上記基準画像内の互いに隣接する複数画素を視差算出対象箇所として構成した一の視差算出対象ブロックを設定するとともに、該視差算出対象ブロックと同じ画素構成であって基線方向に対応する方向に沿って所定の画素数ずつずれた複数の比較ブロックを設定し、該視差算出対象ブロックの特徴を示す画素値特徴量と各比較ブロックの特徴を示す画素値特徴量との相関が最も高い比較ブロックを対応ブロックとして選定し、選定した対応ブロックを構成する各画素を、当該視差算出対象ブロックを構成する各視差算出対象箇所に対応する対応箇所として特定することを特徴とする視差算出装置。
5. 請求項１乃至５のいずれか１項に記載の視差算出装置において、
   上記複数の撮像手段を備えていることを特徴とする視差算出装置。
6. 複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象物が映し出される視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する視差算出方法において、
   上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出工程を有し、
   上記エッジ抽出工程で抽出したエッジ箇所を上記視差算出対象箇所に設定し、当該視差算出対象箇所とその対応箇所との視差値を算出することを特徴とする視差算出方法。
7. 複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上で視差算出対象物が映し出される視差算出対象箇所を設定し、設定した視差算出対象箇所についての画素値特徴量と一致し又は所定の近似範囲内に含まれる画素値特徴量を有する対応箇所を、他の撮像画像である比較画像内から特定し、特定した対応箇所と当該視差算出対象箇所との視差値を算出する工程を、コンピュータに実行させるための視差算出用プログラムにおいて、
   上記基準画像を撮像する撮像手段により撮像した撮像画像の画素値が規定値以上変化する箇所をエッジ箇所として抽出するエッジ抽出工程を、上記コンピュータに実行させるものであって、
   上記エッジ抽出工程で抽出したエッジ箇所を上記視差算出対象箇所に設定し、当該視差算出対象箇所とその対応箇所との視差値を算出することを特徴とする視差算出用プログラム。

Images