JP2006172253A - 距離画像生成装置 - Google Patents

Abstract

【課題】 有効な視差量データを増大させることができ、ミスマッチングを低減できる距離画像生成装置を提供すること。
【解決手段】 車両の異なる２点から車外を撮像するステレオカメラ５と、撮像した画像を、撮像対象までの距離を示す距離画像に変換する距離画像生成部２３とを備える画像処理部２において、画像補正部２１は画像の輝度データを対数変換し、対数変換に用いる補正テーブルデータ２２は、データを３種類備え、画像補正部２１は、データを選択して用いるようにし、補正後のデータにより距離画像生成部２３が距離画像を生成した。
【選択図】 図１

Description

本発明は、車外を撮像した画像から立体物認識を行う際に、距離画像を生成する距離画像生成装置に関する。

従来の技術においては、ステレオカメラによる視差量検出の際、原理的にその領域内に輝度変化を必要とする。そのため、算出された視差量の有効性を、隣接画素間の輝度差によって評価している。輝度変化は、周囲の明るさ（光源）に依存するため、画像内の明るい部分と暗い部分で、評価の基準値を変える必要がある。これに対し、輝度データを対数変換し、輝度変化を物体の反射率のみに依存させることで、周囲の明るさの影響を除外し、評価の基準値が一定で対応できるようにしている（例えば、特許文献１参照）。
特開平７−１２０２５６号公報

先行車等の対象物とその周囲とのコントラストが低い状況では、輝度変化を生むことが難しい。特に輝度データを対数変換することにより、高い階調値は圧縮されるため、その階調の近辺に狙いとする対象物の輝度が当てはまった場合は、顕著に現れる。そのような状況時は、有効な視差量データは減ってしまう。また、得られた視差量データの中でも、コントラストが低い、特徴が少ないパターンでの一致度検索となるため、ミスマッチングを併発する等、信頼性の欠けたデータとなりやすいものであった。

本発明は、上記問題に着目してなされたもので、その目的とするところは、有効な視差量データを増大させることができ、ミスマッチングを低減できる距離画像生成装置を提供することにある。

上述の目的を達成するため、本発明に記載の距離画像生成装置では、車両の異なる２点から車外を撮像するステレオカメラと、撮像した画像を、撮像対象までの距離を示す距離画像に変換する変換手段とを備える距離画像生成装置において、画像の輝度データを対数変換する対数補正手段をそれぞれが異なる対数変換を行うよう複数種類設け、どの対数変換を行うかを選択する補正選択手段を設け、補正後のデータにより前記変換手段で距離画像を生成することを特徴とする。

本発明では、有効な視差量データを増大させることができ、ミスマッチングの低減を図ることができる。

以下に、本発明の距離画像生成装置を実現する実施の形態を、実施例に基づいて説明する。

まず構造を説明する。
図１は先行車認識装置のブロック図である。
先行車認識装置１は、画像処理部２、画像メモリ３、プロセッサ４を主な構成にし、ステレオカメラ５が接続されている。
画像処理部２は、画像補正部２１（対数補正手段及び補正選択手段に相当する）、補正テーブルデータ２２、距離画像生成部２３（変換手段に相当する）からなり、ステレオカメラ５の画像を入力処理し、距離画像を出力する。
画像補正部２１は、入力した画像の輝度データをテーブルデータにより、対数変換する。
補正テーブルデータ２２は、図４に示すように、画像のデータを対数変換するデータが複数保持されており、画像補正部２１により選択されたデータを画像補正部２１へ出力する。

距離画像生成部２３は、画像補正部２１で輝度データを補正した左右カメラの画像データから、左右の視差により距離を判定し、距離に応じて画像の明暗等を変更した距離画像を生成する。
画像メモリ３は、距離画像を一時的に記憶する。
プロセッサ４は、距離画像取り込み部４１と画像認識処理部４２からなり、距離画像を使用して、先行車までの距離を判断する。
距離画像取り込み部４１は、画像メモリ３に一時的に記憶した距離画像をプロセッサ４に取り込む。
画像認識処理部４２は、距離画像と右カメラの元画像データを読み込んで、道路の白線、先行車を検出し、自車から先行車までの距離を判断する。

作用を説明する。
[画像処理]
図２に示すのは、先行車認識装置１で実行する画像処理の流れを示すフローチャート図で、以下各ステップについて説明する。

なお、大きく分けると、ステップＳ３〜Ｓ１３までが距離データ出力処理、ステップＳ１４〜Ｓ２１が画像認識処理となる。

ステップＳ１では、左右カメラの映像信号を取り込む。

ステップＳ２では、取り込んだ映像信号をA/D変換して、デジタル画像データにする。

ステップＳ３では、デジタル画像データを処理しやすいようアフィン変換を行う。

ステップＳ４では、図４に示す対数補正、左右の感度差の補正、光が当たることを考慮するシェーディング補正を行う。

ステップＳ５では、補正した画像データを元画像データとして出力する。

ステップＳ６では、補正した画像データを元画像データとして読み込む。

ステップＳ７では、左右の小領域のマッチング演算を行う。

ステップＳ８では、最もマッチングした状態となる最小値を検出する。

ステップＳ９では、視差の算出を行う。

ステップＳ１０では、基準画像より画素間の輝度差を算出する。

ステップＳ１１では、画素間の輝度差が所定の閾値Ｃを超えているかどうかを判断し、視差データの有効性を評価する。閾値Ｃを超えているならばステップＳ１２へ進み、閾値Ｃ以下ならばステップＳ１３へ進む。

ステップＳ１２では、距離画像データを出力する。

ステップＳ１３では、距離画像データをクリアする。

ステップＳ１４では、距離画像データと右カメラの右元画像データを読み込む。

ステップＳ１５では、立体物認識処理を行う。

ステップＳ１６では、白線認識処理を行う。

ステップＳ１７では、先行車検出処理を行う。

ステップＳ１８では、コントラスト検出ウィンドウを設定する。

ステップＳ１９では、コントラストを検出する。

ステップＳ２０では、コントラストから感度補正で使用するデータの設定を行う。

ステップＳ２１では、その他付随する処理を行う。

[コントラストが低い場合の補正作用]
図５に示すのは、左右カメラの内、右カメラで撮像した自車前方の画像の例である。図３に示すのは、自車前方画像の説明図である。
実施例１では、先行車と周囲を判別し、自車から先行車までの距離を画像から判断する。この場合に、先行車周辺のコントラストが不足すると、この距離判断の信頼性が低下する。先行車周辺のコントラスト不足のケースとしては、昼間において晴天時等、先行車が銀色で道路面がグレー、夜間において雨等、先行車が黒色で道路面も黒の場合が挙げられる。

まず、コントラストの検出処理から説明する。
先行車認識処理結果より、先行車の位置座標を所得する。次に、先行車位置座標より、第１コントラスト検出ウィンドウを設定する。この際、Ｘ方向は先行車左端〜先行車右端で、Ｙ方向は先行車下端〜先行車下端＋ｍ画素とする。＋ｍ画素とするのは、リアウィンドウ等、大きく反射率が異なるものを除外するため、第１コントラスト検出ウィンドウの上端側は、下端＋ｍ画素としている。

次に、第１コントラスト検出ウィンドウ内の輝度データのヒストグラムを取得する(図６(a)参照)。ヒストグラムは画像データの２５６階調の1/4の６４階調とすることで、平均化し、得られたデータのピーク値を先行車の輝度とする。

次に、先行車位置座標より、第２コントラスト検出ウィンドウを設定する。この際、Ｘ方向は先行車左端−ｎ画素〜先行車下端＋ｎ画素とする。第２コントラスト検出ウィンドウは、先行車の領域が７〜８割程度になるようにｎ画素を定数設定する。Ｙ方向は先行車下端〜先行車下端＋ｍ画素とする。

次に、第２コントラスト検出ウィンドウ内の輝度データのヒストグラムを取得し(図６(b)参照)、第１コントラスト検出ウィンドウのヒストグラムと第２コントラスト検出ウィンドウのヒストグラムの差分を取る。この差分後に、残されたデータのピーク値を先行車周辺（路面等）の輝度とする。そして、先行車の輝度値−先行車周辺の輝度値より、コントラストを演算する。先行車の輝度分布域と得られたコントラストの大きさにより、感度補正テーブルを切換える。

ここで、先行車の輝度分布のみで補正テーブルデータを切換えると、必要以上に補正テーブルデータを切換えるため、先行車の輝度分布の対極の領域（先行車が明だとすると暗）のコントラストの特性が悪くなる。そのため、補正テーブルデータの切換判断には、上記で求めたコントラストの大きさも加え、必要かどうかを判断した方がよい。

補正テーブルデータは、図４に示すようにセンターの対数変換データに対し、さらに、低い輝度の感度を高くし、高い輝度の感度を低くしたものと、センターの対数変換データに対し、低い輝度の感度を低くし、高い輝度の感度を高くしたものを用意しておく。

言い換えて説明すると、先行車の幅で検出したヒストグラム（図６(a)）と先行車の幅より広く検出したヒストグラム(図６(b))の差であるコントラストは、先行車とその周囲のコントラストである。この差が大きければ、視差の確実な処理ができる。そのために、３パターン用意した補正テーブルデータから有効性が高くなるものを選択すればよい。
なお、有効性が高くなるかどうかは、ステップＳ１１の処理で画素間輝度差が閾値Ｃを超えるかどうかで判断される。

そうすると、先行車と周囲のコントラストが低い場合であっても、先行車と路面のコントラストの有効視差データは増えることになり、先行車と周囲が確実に判別されることからミスマッチングは低減される。
つまり、輝度データを切換えることにより、定めた領域内で有効なデータを増やすことは、輝度のダイナミックレンジを向上させることになる。

次に効果を説明する。
本実施の形態の距離画像生成装置にあっては、次に列挙する効果を得ることができる。
(1)車両の異なる２点から車外を撮像するステレオカメラ５と、撮像した画像を、撮像対象までの距離を示す距離画像に変換する距離画像生成部２３とを備える画像処理部２において、画像補正部２１は画像の輝度データを対数変換し、対数変換に用いる補正テーブルデータ２２は、データを３種類備え、画像補正部２１は、データを選択して用いるようにし、補正後のデータにより距離画像生成部２３が距離画像を生成するため、必要とされる領域において、有効な視差量のデータを増大させることができ、ミスマッチングの低減ができる。

(2)画像補正部２１は、画像のコントラストに応じて複数種類の補正テーブルデータ２２を選択するため、画像認識をしたい対象物とその周囲のコントラストが低い場合であっても、必要とされる領域の有効視差量のデータを増加させることができ、必要とされる領域のミスマッチングの低減を行うことができる。

（その他の実施の形態）
以上、本発明の実施の形態を実施例１に基づいて説明してきたが、本発明の具体的な構成は実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても、本発明に含まれる。

実施例１においては、輝度データを補正した距離画像データと、右元画像データを用いて、画像認識を行ったが、いずれか一方であってもよい。

実施例１の先行車認識装置のブロック図である。 実施例１の先行車認識装置で実行される画像処理の流れを示すフローチャート図である。 実施例１の自車前方画像の説明図である。 実施例１の補正テーブルデータの特性グラフである。 実施例１のステレオカメラの右カメラで撮像する自車前方画像の例である。 実施例１の第１、第２コントラスト検出ウィンドウ、及びその差分の輝度ヒストグラムである。

符号の説明

１ 先行車認識装置
２ 画像処理部
２１ 画像補正部
２２ 補正テーブルデータ
２３ 距離画像生成部
３ 画像メモリ
４ プロセッサ
４１ 距離画像取り込み部
４２ 画像認識処理部
５ ステレオカメラ
ｙ１〜ｙ３ 補正テーブルデータの特性
Ａ１ 第１コントラスト検出ウィンドウ
Ａ２ 第２コントラスト検出ウィンドウ

Claims (2)

1. 車両の異なる２点から車外を撮像するステレオカメラと、
   撮像した画像を、撮像対象までの距離を示す距離画像に変換する変換手段と、
   を備える距離画像生成装置において、
   画像の輝度データを対数変換する対数補正手段をそれぞれが異なる対数変換を行うよう複数種類設け、
   どの対数変換を行うかを選択する補正選択手段を設け、
   補正後のデータにより前記変換手段で距離画像を生成する、
   ことを特徴とする距離画像生成装置。
2. 請求項１に記載の距離画像生成装置において、
   前記補正選択手段は、
   画像のコントラストに応じて複数種類の対数補正手段を選択する、
   ことを特徴とする距離画像生成装置。