JP2015148887A - 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム - Google Patents

Abstract

【課題】コントラストの低い画像領域を部分的に含んだ撮像画像であっても、撮像画像全体に対して高い物体認識精度を得ることを課題とする。
【解決手段】１又は２以上の撮像手段１１０Ａ，１１０Ｂによって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識するための画像処理を実行する画像処理装置１２０において、前記撮像画像の一部を構成する画像領域に対して輝度補正処理を実行する輝度補正手段１２４を有する。撮像画像の他の部分を構成する画像領域に対しては、輝度補正処理とは異なる輝度補正処理を実行してもよいし、輝度補正処理を実行しなくてもよい。
【選択図】図２

Description

本発明は、１又は２以上の撮像手段によって撮像した撮像画像に基づいて撮像領域内に存在する物体を認識するための画像処理を実行する画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラムに関するものである。

従来、車両や鉄道、船舶、航空機などの移動体の前方を撮像手段により撮像した撮像画像に基づいて、障害物等の認識対象物を認識するための物体認識装置が知られている。この種の物体認識装置の中には、物体の認識精度を向上させるために、認識対象物の明るさに応じて車載カメラの露光制御を行う物体認識装置が開示されている（特許文献１）。特許文献１に開示の物体認識装置では、車載カメラの撮影画像における認識対象物の明るさを検出するための対象物用領域の画素値と、路面の明るさを検出するための路面用領域の画素値を抽出する。そして、これらの画素値から以後の撮像時における車載カメラの露光制御を行う。特許文献１によれば、認識対象物の移動、消失、出現等の変化に伴って急激に変化しやすい対象物用領域の画素値だけでなく、明るさが比較的安定している路面の画素値も用いて露光制御することにより、対象物用領域の画素値だけで露光制御する場合に比べて露光制御が安定化するとしている。

このような物体認識装置は、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。運転者支援システムは、障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。これらの機能を適切に実現するためには、様々な撮像シーンで撮像される自車両前方の撮像画像から、自車両周囲に存在する種々の認識対象物（例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など）を映し出す画像部分を精度よく認識することが重要である。

従来の物体認識装置では、撮像シーンに適した露光制御することで、様々な撮像シーンで高い物体認識精度を得られる撮像画像を撮像し、これにより様々な撮像シーンでの物体認識精度を高めるものであった。例えば、識別対象物とその周囲との間で高いコントラストが得られるように、様々な撮像シーンにそれぞれ適した露光制御を行う。

しかしながら、このような露光制御を行っても、画像全体に対して高い物体認識精度が得られる撮像画像を撮像することができない撮像シーンが多く存在する。例えば、雨で路面が濡れていて強い照り返しがあったり、逆光であったり、夜間であったり、トンネルの出入り口付近であったりするなど、撮像画像が明暗差の激しいハイダイナミックレンジな画像となりやすい撮像シーンである。このような撮像シーンでは、その撮像画像中に極端に暗い画像領域や極端に明るい画像領域が存在する。このような画像領域はコントラストが低いために、その画像領域内に映し出される物体については高い認識精度を得ることが困難である。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、コントラストの低い画像領域を部分的に含んだ撮像画像であっても、撮像画像全体に対して高い物体認識精度が得られる画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラムを提供することである。

前記目的を達成するために、本発明は、１又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識するための画像処理を実行する画像処理装置において、前記撮像画像の一部を構成する画像領域に対して輝度補正処理を実行する輝度補正手段を有することを特徴とする。

本発明によれば、コントラストの低い画像領域を部分的に含んだ撮像画像であっても、撮像画像全体に対して高い物体認識精度が得られるという優れた効果が奏される。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 実施形態の物体認識処理を説明するための処理ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図５の画像例に対応するＶマップを示す説明図である。 一方の撮像部で撮像される基準画像の一例を模式的に表した画像例である。 図７の画像例に対応するＵマップを示す説明図である。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したＵマップを示す説明図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す表である。 ガードレール検出処理の対象範囲について直線近似処理して得られる近似直線を示したＵマップを示す説明図である。 実施形態の輝度補正処理の流れを示すフローチャートである。 同輝度補正処理に用いることが可能な４種類の補正テーブルのパターン例を説明するための説明図である。 （ａ）は、トンネルの出口シーンにおいて撮像された撮像画像の一例を示す画像例である。（ｂ）は、画像中央部分に予め設定された特定画像領域に対し、図１４に示すパターン３の補正テーブルを用いて輝度補正処理を実行した後の画像例である。 街灯の少ない夜間の道路を走行中の撮像シーンにおいて撮像された撮像画像の一例を示す画像例である。 変形例における特定画像領域の設定処理の流れを示すフローチャートである。 トンネルの出口シーンにおいて撮像された撮像画像の一例を示す画像例である。 （ａ）は、図１８中符号Ｖ１０で示す縦１ラインに対応する輝度分布の例を示すグラフである。（ｂ）は、図１８中符号Ｖ１１で示す縦１ラインに対応する輝度分布の例を示すグラフである。 （ａ）は、トンネルの出口シーンにおいて撮像された撮像画像中に、設定される特定画像領域を示した画像例である。（ｂ）は、設定された特定画像領域に対し、図１４に示すパターン３の補正テーブルを用いて輝度補正処理を実行した後の画像例である。

以下、本発明に係る画像処理装置を備えた物体認識装置を、移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データから、自車両前方に存在する物体を認識し、その認識結果を利用して各種車載機器の制御を行う。

本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識し、その認識結果に基づいて、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラで構成されており、２つの撮像部１１０Ａ，１１０Ｂは同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、受光素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。画像データは、例えば、１画素あたり、１２ビットのデータ量のものであり、０〜４０９５階調（輝度値）をとる。

また、撮像ユニット１０１は、画像処理基板等からなる画像処理装置である処理ハードウェア部１２０を備えている。処理ハードウェア部１２０は、撮像画像データに対してリアルタイム性が要求される処理を主に実行するものである。具体的には、例えば、ガンマ補正等の輝度補正処理、２つの撮像部１１０Ａ，１１０Ｂの取り付け位置ズレなどに起因する撮像画像の歪みを補正する歪み補正処理（左右の撮像画像の平行化）、ブロックマッチングによる視差演算処理などが挙げられる。本実施形態の処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データの輝度補正処理を行う輝度補正処理部１２４、画像の歪みを補正する歪み補正処理部１２５、これらの補正処理後の輝度画像データから視差画像を得るために各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１などで構成される。なお、撮像画像データがカラー画像データである場合には、これをモノクロ画像データ（輝度画像データ）へ変換する処理も処理ハードウェア部１２０で行ってもよい。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データや視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３とを備えている。ＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および処理ハードウェア部１２０の全体的な制御を担うとともに、他車両やガードレールその他の各種オブジェクト（認識対象物）の認識処理を実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果を外部へと出力する。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

本実施形態においては、図２に示すように、処理ハードウェア部１２０と画像解析ユニット１０２とから、物体認識装置２００が構成されている。

次に、本実施形態における物体認識処理について説明する。
図３は、本実施形態の物体認識処理を説明するための処理ブロック図である。
ステレオカメラを構成する２つの撮像部１１０Ａ，１１０Ｂから出力される２つの輝度画像データは画像処理部１３１に出力される。この画像処理部１３１は、輝度画像データに対して輝度補正処理や歪み補正処理などの画像処理を実行するものであり、処理ハードウェア部１２０の輝度補正処理部１２４及び歪み補正処理部１２５によって構成される。

画像処理部１３１は、輝度画像データが入力されると、輝度補正処理部１２４による輝度補正処理を実行した後に、歪み補正処理部１２５による歪み補正処理を実行する。この歪み補正処理は、撮像部１１０Ａ，１１０Ｂにおける光学系の歪みや左右の撮像部１１０Ａ，１１０Ｂの相対的な位置関係から、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。

このようにして歪み補正処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの輝度画像データを基準画像データとし、他方の撮像部１１０Ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差画像生成部１３２は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして視差画像生成処理を行ったら、次に、Ｖマップ生成部１３３において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示されるところ、これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＶマップと呼ぶ。

具体的に説明すると、Ｖマップ生成部１３３は、視差画像生成部１３２で生成された視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図４（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３３は、図４（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとり、Ｘ軸に視差値をとった二次元直交座標系上に、頻度を分布させたＶマップを得ることができる。このＶマップは、頻度に応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

次に、本実施形態では、視差画像生成部１３２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３４において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理を実行する。
図５は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図６は、図５の画像例に対応するＶマップである。
図５に示す画像例では、自車両１００が走行している路面と、自車両１００の前方に存在する先行車両と、路外に存在する電柱が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の延長面に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる認識対象物を映し出した画素であると言える。

撮像部１１０Ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図５に示すように、画像上部に対して画像下部の方が路面の占有率が高く、また、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において高頻度の点が上述した略直線状に分布する画素は、路面を映し出す画素が持つ特徴に合致する。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。

路面形状検出部１３４では、このような路面に対応する視差値が示す特徴、すなわち、撮像画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、一本の直線で十分な精度の近似は難しい。したがって、本実施形態においては、Ｖマップの情報（視差ヒストグラム情報）を視差値に応じて２以上の視差値区画に区分けし、各視差値区画についてそれぞれ個別に直線近似を行う。

路面形状検出部１３４においてＶマップ上の近似直線の情報が得られたら、次に、路面高さテーブル算出部１３５において、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３４により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面はＶマップ上で直線（基準直線）により表される。路面形状検出部１３４から出力される近似直線を基準直線と比較することで、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３４から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３５では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。

次に、Ｕマップ生成部１３６について説明する。
Ｕマップ生成部１３３では、Ｕマップを生成するＵマップ生成処理を実行する。視差画像データに含まれる各画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これをＵマップと呼ぶ。本実施形態のＵマップ生成部１３３では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから５ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。なお、例えば、撮像画像の下側５／６の画像領域に対応する視差画像の点（ｘ，ｙ，ｄ）についてだけＵマップを作成するようにしてもよい。この場合、撮像画像の上側１／６は、ほとんどの場合、空が映し出されていて認識対象とする必要のある物体が映し出されていないためである。

図７は、撮像部１１０Ａで撮像される基準画像の一例を模式的に表した画像例である。
図８は、図７の画像例に対応するＵマップである。
図７に示す画像例では、路面の左右両側にガードレールが存在し、他車両としては、先行車両と対向車両がそれぞれ１台ずつ存在する。このとき、Ｕマップにおいては、図８に示すように、左右のガードレールに対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状に分布する。一方、他車両に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態で分布する。なお、先行車両の背面部分又は対向車両の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図８に示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

次に、孤立領域検出部１３７について説明する。
孤立領域検出部１３７では、Ｕマップ生成部１３６で生成されたＵマップの情報から、まず、Ｕマップの平滑化処理を行った後、二値化処理を行う。その後、値のある座標のラベリングを行い、孤立領域を検出する。以下、それぞれの処理について説明する。

視差値には計算誤差等もあって分散があり、視差値がすべての画素について計算されているわけではないので、実際のＵマップは、図８に示した模式図とは異なり、ノイズを含んでいる。そのため、ノイズを除去するためと、認識対象物（オブジェクト）を識別しやすくするため、Ｕマップを平滑化する処理を行う。この平滑化処理では、画像の平滑化と同様に、平滑化フィルタ（たとえば３×３画素の単純平均）を頻度値に対して適用する。これにより、ノイズと考えられるようなＵマップ上の地点の頻度が減少し、認識対象物（オブジェクト）の地点では頻度が周囲よりも高いグループとなる。その結果、後段の処理において孤立領域の検出を容易になる。

次に、このように平滑化されたＵマップの情報から、Ｕマップ上において頻度が周囲より高い孤立領域を検出する。この検出では、Ｕマップをまず二値化する処理を行う。この二値化処理には、例えば、特許第４０１８３１０号公報などに開示されている適応二値化方法を用いることができる。各認識対象物（オブジェクト）は、その高さ、形状、背景とのコントラスト差などに違いがあるので、各認識対象物にそれぞれ対応する孤立領域は、頻度値が大きいものもあれば小さいものもある。そのため、単一の閾値による二値化では適切に検出できない孤立領域が発生するおそれがある。これを防ぐためにも、上述した適応二値化方法を用いるのが好ましい。なお、二値化は、頻度の高い領域を「１」（黒）とし、頻度の低い領域を「０」（白）とする。

このように二値化処理で「１」の値（黒）をもつ地点（頻度値が二値化閾値より高い座標）をその連結性に基づいてラベリングし、同一ラベルが付いた領域を１つの孤立領域として検出する。

このようにして得られる各孤立領域について、その幅（Ｕマップ上のＸ軸方向長さ）と、その孤立領域内の最小視差値ｄから計算される当該孤立領域に映し出されている認識対象物（オブジェクト）と自車両との距離ｚとを用い、下記の式（３）より、当該孤立領域に対応する画像領域に映し出されている物体の幅Ｗを計算することができる。
Ｗ ＝ ｚ×（ｘｍａｘ−ｘｍｉｎ）／ｆ ・・・（３）
この物体の幅Ｗが、予め決められた範囲内にある孤立領域を、オブジェクト候補領域として決定する。

次に、視差画像の対応領域検出部１３８について説明する。
前記孤立領域検出部１３７によりオブジェクト候補領域として決定された孤立領域について、図９に示すように、当該孤立領域が内接する矩形領域を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する認識対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する認識対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する認識対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１３８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

具体的には、視差画像の対応領域検出部１３８は、孤立領域検出部１３７から出力される孤立領域の情報に基づき、当該孤立領域の幅すなわちＸ軸方向座標がｘｍｉｎからｘｍａｘまでの範囲（検出幅）について、視差画像を所定のＹ軸方向範囲について走査し、当該孤立領域に設定されたＵマップ上での矩形領域の高さすなわちＵマップＹ軸方向座標（視差値）がｄｍｉｎからｄｍａｘまでの範囲の値を視差値とする画素を候補画素として抽出する。このときの走査範囲（視差画像のＹ軸方向範囲）は、例えば、視差画像上端から視差画像１／６だけ下の位置から、視差画像下方に向けて、最大視差ｄｍａｘから得られる路面までの範囲とすることができる。

このようにして抽出した候補画素群の中で、前記検出幅に対して視差画像Ｘ軸方向に所定の数以上の候補画素が存在する横方向ラインを、オブジェクト候補ラインとして決定する。次に、縦方向走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上で存在している場合、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

オブジェクト領域抽出部１３９は、各孤立領域に対応する各検出幅について、このようにして判定されたオブジェクトラインを探索し、これにより検出されたオブジェクトライン群の外接矩形を、視差画像上のオブジェクト領域として決定する。

図１０は、視差画像の対応領域検出部１３８及びオブジェクト領域抽出部１３９で行われる処理の流れを示すフローチャートである。
まず、Ｕマップ上の各孤立領域（島）の幅から、視差画像のＸ軸方向における探索範囲を設定する（Ｓ４１）。また、各孤立領域（島）の最大視差ｄｍａｘと路面高さとの関係から、視差画像のＹ軸方向における最大探索値ｙｍａｘを設定する。なお、最小探索値ｙｍｉｎは所定の値（撮像画像の上端から１／６だけ下の位置）が決められている。このようにして設定した探索範囲内で視差画像を探索し、当該孤立領域（島）における最小視差値ｄｍｉｎと最大視差値ｄｍａｘの範囲内にある画素を抽出し、これをオブジェクト候補画素とする（Ｓ４４）。その後、オブジェクト候補画素が視差画像Ｘ軸方向に一定以上の数で存在する横方向ラインをオブジェクト候補ラインとして抽出する（Ｓ４５）。そして、オブジェクト候補ラインの密度を計算し、その密度が所定の値より大きい場合は、その横方向ラインをオブジェクトラインと決定する（Ｓ４６）。最後に、決定されたオブジェクトラインで構成されるオブジェクトライン群の外接矩形を設定し、この外接矩形を視差画像内のオブジェクト領域として検出する（Ｓ４７）。

次に、オブジェクトタイプ分類部１４０について説明する。
前記オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の高さ（ｙｏｍａｘ−ｙｏｍｉｎ）から、下記の式（４）より、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚｏ」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙｏｍａｘ−ｙｏｍｉｎ）の単位と同じ単位に変換した値である。
Ｈｏ ＝ ｚｏ×（ｙｏｍａｘ−ｙｏｍｉｎ）／ｆ ・・・（４）

同様に、オブジェクト領域抽出部１３９で抽出されるオブジェクト領域の幅（ｘｏｍａｘ−ｘｏｍｉｎ）から、下記の式（５）より、そのオブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の実際の幅Ｗｏを計算できる。
Ｗｏ ＝ ｚｏ×（ｘｏｍａｘ−ｘｏｍｉｎ）／ｆ ・・・（５）

また、当該オブジェクト領域に対応する画像領域に映し出されている認識対象物（オブジェクト）の奥行きＤｏは、当該オブジェクト領域に対応した孤立領域内の最大視差値ｄｍａｘと最小視差値ｄｍｉｎから、下記の式（６）より計算することができる。
Ｄｏ ＝ ＢＦ×（１／（ｄｍｉｎ−ｏｆｆｓｅｔ）−１／（ｄｍａｘ−ｏｆｆｓｅｔ）） ・・・（６）

オブジェクトタイプ分類部１４０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図１１に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する認識対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

次に、３次元位置決定部１４１について説明する。
検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。視差画像上のオブジェクト領域の中心座標を（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ，ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ）とし、視差画像の画像中心座標を（ｉｍａｇｅ＿ｃｅｎｔｅｒＸ，ｉｍｇａｅ＿ｃｅｎｔｅｒＹ）としたとき、認識対象物（オブジェクト）の撮像部１１０Ａ，１１０Ｂに対する相対的な横方向位置および高さ方向位置は、下記の式（７）及び式（８）より計算できる。
Ｘｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＸ−ｉｍａｇｅ＿ｃｅｎｔｅｒＸ）／ｆ ・・・（７）
Ｙｏ ＝ Ｚ×（ｒｅｇｉｏｎ＿ｃｅｎｔｅｒＹ−ｉｍａｇｅ＿ｃｅｎｔｅｒＹ）／ｆ ・・・（８）

次に、ガードレール検出部１４２について説明する。
路面の側方などに設置される側壁やガードレールは、一般に、路面から３０〜１００ｃｍの範囲内に存在するので、ガードレール検出処理の対象範囲として、この範囲に対応するＵマップ内の領域を選定する。その後、この対象範囲について、Ｕマップの頻度に重み付けを行い、Ｈｏｕｇｈ変換して、図１２に示すような近似直線Ｌ１，Ｌ２を検出する。この近似直線Ｌ１，Ｌ２の端点は、視差が大きい方の端点は画像の境界とし、視差が小さい方の端点は距離換算で例えば３０ｍの距離に相当する視差値とする。なお、Ｈｏｕｇｈ変換により直線が見つからなかった場合は、ガードレールは検出されない。

このような近似直線が得られたら、次に、近似直線上の座標位置を中心とした周囲の領域（たとえば５×５領域）について、頻度値の総和が所定の閾値を超えている座標位置を、ガードレール候補座標として検出する。このようにして検出されるガードレール候補座標の間隔が所定の距離以下である場合には、それらのガードレール候補座標をつないでガードレール線分として決定する。

その後、このようにして得られ得るガードレール線分の最小Ｘ座標ｘｇｍｉｎと最大Ｘ座標ｘｇｍａｘにそれぞれ対応する視差値ｄ１，ｄ２を、検出した近似直線の式から算出する。このとき、上述した路面形状検出部１３４で算出したｙとｄの近似直線より、該当する視差ｄ１，ｄ２における路面座標（ｙ１，ｙ２）が決定する。ガードレールは、路面の高さから３０ｃｍ以上１ｍ以下の範囲としているので、前記式（２）を利用し、視差画像上でのガードレールの高さ（３０ｃｍと１ｍ）として、ｙｇ１＿３０、ｙｇ１＿１００、ｙｇ２＿３０、ｙｇ２＿１００が決定される。

次に、本発明の特徴部分である、前記画像処理部１３１を構成する処理ハードウェア部１２０の輝度補正処理部１２４において行われる輝度補正処理について説明する。
本実施形態においては、認識対象物を認識するための画像として、上述したように視差画像データを用いる。そのため、認識対象物を高精度に認識するためには、その認識対象物を映し出す画像領域において、視差データが得られる画素の数を増やすことが重要である。視差データを算出するためには、上述したブロックマッチングにおいて、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分を特定できなければならない。ブロックマッチングでは基準画像内に設定されるブロックの輝度分布の特徴が合致するブロックを比較画像内から見つけだす必要があるところ、ブロックの輝度分布の特徴が少ないと（コントラストが小さいと）、比較画像内から同一地点を映し出している対応ブロックを見つけ出すことができない。この場合、そのブロックに対応する画素については視差値を算出することができない。そのため、認識対象物を映し出す画像領域において視差データが得られる画素の数を増やすには、その画像領域内のコントラストをできるだけ高めることが必要である。

本実施形態では、２つの撮像部１１０Ａ，１１０Ｂの露光制御を行って撮像画像全体にわたってコントラストが最大限大きくなるように撮像画像が撮像される。しかしながら、雨で路面が濡れていて強い照り返しがあったり、逆光であったり、夜間であったり、トンネルの出入り口付近であったりするなどの撮像シーンでは、撮像画像が明暗差の激しいハイダイナミックレンジな画像となりやすい。このような撮像画像は、明るい画像部分だけ又は暗い画像部分だけに着目したとき、その画像部分の輝度レンジは、撮像画像全体の輝度レンジに比べて狭いものとなる。よって、例えば、識別対象物の画像領域が明るい画像部分内に存在する場合、露光制御を適切に行ったとしても、その識別対象物の画像領域については輝度レンジが狭く、十分なコントラストが得られない。識別対象物の画像領域が暗い画像部分内に存在する場合も同様で、露光制御を適切に行ったとしても、その識別対象物の画像領域については輝度レンジが狭く、十分なコントラストが得られない。

そこで、本実施形態においては、撮像画像全体ではなく、撮像画像の一部分である特定画像領域に対して輝度補正処理を実行し、残りの部分の画像領域に対しては輝度補正処理を実行しない。輝度補正処理を実行する特定画像領域は、物体認識の重要度が高い画像領域や、物体認識精度が低い画像領域（相対的にコントラストが低い画像領域）などが選ばれる。本実施形態では、自車両１００の運転者へ警告を報知したり自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする車載機器制御を行うにあたって重要となる物体認識エリアを予め設定し、その物体認識エリアを特定画像領域とする。本実施形態の車載機器制御にあたっては、自車両１００の走行の妨げとなる物体を認識することが特に重要なので、自車両１００の走行領域前方を映し出す画像領域が特定画像領域として予め設定されている。

図１３は、本実施形態の輝度補正処理の流れを示すフローチャートである。
本実施形態の輝度補正処理では、まず、撮像画像（輝度画像データ）から、予め設定されている特定画像領域内の各画素値（輝度値）を抽出し（Ｓ１）、その特定画像領域内の平均輝度値を算出する（Ｓ２）。その後、算出した平均輝度値が所定の第１閾値以上であるか否かを判断する（Ｓ３）。この判断において、平均輝度値が所定の第１閾値以上であると判断された場合（Ｓ３のＹｅｓ）、その特定画像領域は、明るすぎる領域であると判断し、明るすぎる領域のコントラストを高めるための第１補正テーブルを選択する（Ｓ４）。

一方、平均輝度値が所定の第１閾値未満であると判断された場合（Ｓ３のＮｏ）、次に、算出した平均輝度値が所定の第２閾値以下であるか否かを判断する（Ｓ５）。この判断において、平均輝度値が所定の第２閾値以下であると判断された場合（Ｓ５のＹｅｓ）、その特定画像領域は、暗すぎる領域であると判断し、暗すぎる領域のコントラストを高めるための第２補正テーブルを選択する（Ｓ６）。

第１補正テーブル又は第２補正テーブルが選択された後は、選択した補正テーブルを用いて、特定画像領域だけを対象にガンマ補正による輝度補正処理を実行し、特定画像領域内の画素値（輝度値）を補正する（Ｓ７）。本実施形態の輝度補正処理では、一般的なガンマ補正を行うが、他の輝度補正処理であってもよい。輝度補正処理に用いる補正テーブルは、事前に複数用意しておく。例えば、図１４に示すパターン１〜４に対応する補正テーブルを用いることができる。なお、図１４に示すパターン１〜４は、横軸に補正前の輝度値をとり、縦軸に補正後の輝度値をとったものである。

平均輝度値が所定の第１閾値以上である特定画像領域に対して選択される第１補正テーブルとしては、補正前の輝度値を下げる図１４に示すパターン３やパターン４のような補正テーブルを用いる。逆に、平均輝度値が所定の第２閾値以下である特定画像領域に対して選択される第２補正テーブルとしては、補正前の輝度値を上げる図１４に示すパターン１やパターン２のような補正テーブルを用いる。

なお、平均輝度値が所定の第１閾値以上である特定画像領域に対し、更に第３の閾値を用いて異なる補正テーブルを用いるようにしてもよい。例えば、平均輝度値が所定の第１閾値以上であるが第３の閾値未満である場合には、比較的補正量の小さい図１４に示すパターン４に対応する補正テーブルを用い、第３の閾値以上である場合には、比較的補正量の大きい図１４に示すパターン３に対応する補正テーブルを用いる。

同様に、平均輝度値が所定の第２閾値以下である特定画像領域に対し、更に第４の閾値を用いて異なる補正テーブルを用いるようにしてもよい。例えば、平均輝度値が所定の第２閾値以下であるが第４の閾値よりも大きい場合には、比較的補正量の小さい図１４に示すパターン２に対応する補正テーブルを用い、第４の閾値以下である場合には、比較的補正量の大きい図１４に示すパターン１に対応する補正テーブルを用いる。

図１５（ａ）は、トンネルの出口シーンにおいて撮像された撮像画像の一例を示す画像例であり、図１５（ｂ）は、画像中央部分に予め設定された特定画像領域に対し、図１４に示すパターン３の補正テーブルを用いて輝度補正処理を実行した後の画像例である。
図１５（ａ）に示すように、輝度補正処理前の撮像画像では、トンネル出口の外光が逆行となった明るい領域内に識別対象物である先行車両Ａが存在し、先行車両Ａの画像及びその周囲の輝度値が全体的に高くてコントラストが低くなっている。そのため、この撮像画像をそのまま用いた場合、先行車両Ａの画像部分を構成する画素について適切な視差値を算出することは困難であり、先行車両Ａを精度よく認識できない。

このような撮像画像に対し、この先行車両Ａの画像及びその周囲を含む特定画像領域に対して輝度補正処理を実行した場合、特定画像領域内のコントラストが大きくなるように先行車両Ａの画像及びその周囲の輝度値が補正される。その結果、図１５（ｂ）に示すように、先行車両Ａの画像及びその周囲のコントラストが大きくなり、先行車両Ａの画像部分を構成する画素について適切な視差値を算出することは容易となって、先行車両Ａの認識精度が高まる。

以上の説明では、トンネル出口の外光が逆行となった明るい領域内に識別対象物である先行車両Ａが存在する撮像シーンにおいて、その先行車両Ａの認識精度を高める例について説明したが、認識対象物及びその周囲の画像部分のコントラストが低くて認識対象物の認識精度が低い撮像シーンには、同様に認識精度を高めることができる。

例えば、街灯の少ない夜間の道路を走行中は、図１６に示すように、ヘッドランプによって照らされている自車両に近い路面部分（撮像画像の下部約１／３）は明るいが、自車両から遠い路面部分（撮像画像の上部約２／３）は暗い。そのため、物体認識の重要度が高い撮像画像の中央部分（自車両１００の走行領域前方を映し出す画像領域）については、先行車両Ａの画像及びその周囲の輝度値が全体的に低くてコントラストが低くなっている。そのため、この撮像画像をそのまま用いた場合、先行車両Ａの画像部分を構成する画素について適切な視差値を算出することは困難であり、先行車両Ａを精度よく認識できない。

このような撮像画像に対しても、先行車両Ａの画像及びその周囲を含む特定画像領域に対して輝度補正処理を実行することにより、先行車両Ａの画像及びその周囲の輝度値が補正されて特定画像領域内のコントラストを大きくすることができる。よって、先行車両Ａの画像部分を構成する画素について適切な視差値を算出することは容易となって、先行車両Ａの認識精度が高まる。

本実施形態では、特定画像領域が１つである場合について説明したが、特定画像領域は複数設定してもよく、その場合、特定画像領域ごとにそれぞれ上述した輝度補正処理を実行する。このとき、一部の領域が互いに重複するように複数の特定画像領域を設定してもよい。したがって、例えば、トンネル出口の撮像シーンに適合した図１５に示す特定画像領域と、街灯の少ない夜間走行中の撮像シーンに適合した図１６に示す特定画像領域という２つの特定画像領域を設定し、それぞれの特定画像領域に対して上述した輝度補正処理を実行してもよい。

また、特定画像領域についての輝度補正処理は、毎撮像フレームについて実行してもよいし、所定の実行条件を満たした場合にだけ実行するようにしてもよい。例えば、時刻情報を利用して特定画像領域についての輝度補正処理を夜間だけ行うように実行条件を設定してもよい。また、位置情報を利用してトンネル内に入る直前やトンネルから出る直前の時期を把握し、その時期だけ特定画像領域の輝度補正処理を行うように実行条件を設定してもよい。

また、異なる撮像シーンに合わせてそれぞれの撮像シーンに適合した複数の特定画像領域を設定する場合、時間情報や位置情報あるいは以前の物体認識処理の結果などの情報を利用して現在の撮像シーンを特定し、特定した撮像シーンに対応する特定画像領域だけに輝度補正処理を実行してもよい。

なお、本実施形態では、特定画像領域以外の画像領域（非特定画像領域）については、輝度補正処理を実行しないが、必要に応じて、非特定画像領域に対して特定画像領域とは異なる輝度補正処理を実行してもよい。この場合、非特定画像領域内に存在する識別対象物についても、前記特定画像領域の場合と同様に、物体認識精度を高めることが可能となる。
また、視差値を用いずに輝度値を用いて物体認識処理を行う場合でも、本実施形態の輝度補正処理を行うことで、物体認識精度を高めることができる。

〔変形例〕
次に、本実施形態における輝度補正処理の一変形例について説明する。
前記した輝度補正処理では、輝度補正処理を実行する特定画像領域が撮像画像中の位置や大きさが予め決められた固定画像領域であった。これに対し、本変形例では、撮像画像の輝度分布に基づき所定の輝度補正必要条件に照らして輝度補正が必要であると判断される画像領域を、特定画像領域に設定する。すなわち、本変形例において設定される特定画像領域は、撮像画像あるいは撮像シーンに応じて動的に変更される変動画像領域である。

図１７は、本変形例における特定画像領域の設定処理の流れを示すフローチャートである。
輝度補正処理部１２４は、２つの撮像部１１０Ａ，１１０Ｂから出力される各撮像画像データを読み込み、画像の左端から縦１ラインの輝度分布を作成する（Ｓ１１）。例えば、図１８に示すようなトンネルの出口シーンで撮像された撮像画像であれば、図１８中符号Ｖ１０で示す縦１ライン（Ｖ１０ライン）に対応する輝度分布は図１９（ａ）に示すようなものとなり、図１８中符号Ｖ１１で示す縦１ライン（Ｖ１１ライン）に対応する輝度分布は図１９（ｂ）に示すようなものとなる。

このようにして縦１ラインの輝度分布を作成したら、次に、図１９（ａ）に示すＶ１０ラインの輝度分布のように、そのラインが所定の閾値（第５閾値）ＴＨ以上の輝度ピーク幅をもっているか否かを判断する（Ｓ１２）。ラインの中からどの部分がピークであるかを判定するには、例えば、各ラインで輝度値の偏差を求め、閾値以上のばらつきがある箇所（±２σ以上など）をピークとする。

輝度ピーク幅が第５閾値ＴＨ以上である場合（Ｓ１２のＹｅｓ）、特定画像領域の候補ラインとして、この縦ラインのライン番号と輝度分布を記録しておく（Ｓ１３）。その後、現在処理していたラインが画像の右端であるかどうかを、２つの撮像部１１０Ａ，１１０Ｂから出力される画像サイズ等の情報から判断する（Ｓ１４）。一方、輝度ピーク幅が第５閾値ＴＨ未満であるか、または、輝度ピークが存在しない場合（Ｓ１２のＮｏ）には、特定画像領域の候補ラインとしての記録を行わずに、現在処理していたラインが画像の右端であるかどうかを判断する（Ｓ１４）。

以上のような処理を繰り返し行って画像の右端まで処理を終えたら（Ｓ１４のＹｅｓ）、前記処理ステップＳ１２で記録しておいた候補ラインが、所定の第６閾値以上連続して存在するかを否かを確認する（Ｓ１５）。これにより、候補ラインの連続数が第６閾値以上である場合には（Ｓ１５のＹｅｓ）、輝度ピークが発生しているＹ座標とライン数（Ｘ座標）より、輝度ピークが存在する画像領域を算出し、その画像領域を含む所定の画像領域を特定画像領域として設定する（Ｓ１６）。このようにして設定された特定画像領域については、上述した輝度補正処理が実行される。なお、候補ラインの連続数が第６閾値未満である場合には（Ｓ１５のＮｏ）、特定画像領域の設定を行わずに処理を終了する。

本変形例によれば、図２０（ａ）に示すように、トンネル出口の外光が逆行となった明るい領域が特定画像領域として動的に設定される。そして、この特定画像領域に対して輝度補正処理を実行することにより、その特定画像領域内のコントラストが大きくなるように、その特定画像領域内における先行車両Ａの画像及びその周囲の輝度値が補正される。その結果、図２０（ｂ）に示すように、先行車両Ａの画像及びその周囲のコントラストが大きくなり、先行車両Ａの画像部分を構成する画素について適切な視差値を算出することは容易となって、先行車両Ａの認識精度が高まる。

なお、本変形例において、特定画像領域を設定する際、輝度ピークが存在する画像領域の座標位置が所定の条件を満たさない場合には、その画像領域については特定画像領域に設定しなくてもよい。例えば、画像の上部１／３内の位置に輝度値の高くなる輝度ピークが画像のほぼ横幅全域に存在する場合、この領域は空であるとして、特定画像領域に設定しなくてもよい。

なお、輝度値が高くなる輝度ピークを検索して、明るすぎる画像領域を特定画像領域として設定する例について説明したが、輝度値が低くなる輝度ピークを検索して、暗すぎる画像領域も特定画像領域として設定してよい。このような暗すぎる画像領域としては、トンネルの入口シーンなどが挙げられる。
また、明るすぎる画像領域や暗すぎる画像領域を抽出する方法としては、上述した方法のほか、例えば、画像の上端から下端まで横１ラインごとの輝度分布を作成し、ある一定以上の幅（ＴＨ）を持った輝度ピークをもつラインが一定数以上画像縦方向に連続するライン群を抽出するという方法が挙げられる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
１又は２以上の撮像部１１０Ａ，１１０Ｂ等の撮像手段によって撮像領域を撮像することにより得られる撮像画像（輝度画像）に基づいて該撮像領域内に存在する先行車両Ａ等の物体を認識するための画像処理を実行する処理ハードウェア部１２０等の画像処理装置において、前記撮像画像の一部を構成する特定画像領域に対して輝度補正処理を実行する輝度補正処理部１２４等の輝度補正手段を有することを特徴とする。
コントラストの低い画像領域を部分的に含んだ撮像画像に対し、当該画像領域内のコントラストが高まるように、撮像画像全体を輝度補正すると、当該画像領域とは異なる別の画像領域については、その輝度補正により逆にコントラストが低くなってしまうおそれがある。本態様によれば、撮像画像の一部を構成する画像領域（特定画像領域）に対して輝度補正処理を実行するため、その特定画像領域の輝度範囲に基づいて特定画像領域内の画素間の輝度差が大きくなるように輝度補正を行うことができる。これにより、特定画像領域とは異なる別の画像領域のコントラストを低くすることなく、特定画像領域内のコントラストを高めることができる。よって、コントラストの低い画像領域を部分的に含んだ撮像画像であっても、その画像領域に適した輝度補正処理をその画像領域に対してだけ実行することにより、撮像画像全体にわたって高いコントラストが得られる。その結果、撮像画像全体に対して高い物体認識精度が得られる。
なお、特定画像領域に対して大きな輝度補正処理を行うと、撮像画像全体としては、撮像領域を適切に映し出したものとは言えない状態になる。そのため、撮像領域を記録するという一般的な撮像画像の役割を考慮すれば、特定画像領域に対して実行する輝度補正処理では大きな輝度補正を行わないようにすべきである。しかしながら、本態様のように撮像領域内に存在する物体を認識するための画像処理である場合、撮像領域内に存在する物体の認識精度が高まるのであれば、全体の撮像画像が撮像領域を適切に映し出したものとは言えない状態になっても差し支えない。

（態様Ｂ）
前記態様Ａにおいて、前記輝度補正手段は、前記輝度補正処理が行われる特定画像領域に対し、パターン１〜４の補正テーブル等の複数の輝度補正条件の中から所定の選択条件に従って選択される輝度補正条件に従った輝度補正処理を実行することを特徴とする。
これによれば、簡易かつ迅速に輝度補正処理を実行することができる。

（態様Ｃ）
前記態様Ｂにおいて、前記所定の選択条件は、対応する画像領域の平均輝度値が所定の閾値よりも低いか否かの条件を含むことを特徴とする。
これによれば、対応する画像領域のコントラストを高める適切な輝度補正条件を選択することができる。

（態様Ｄ）
前記態様Ｃにおいて、前記所定の閾値が複数設定されていることを特徴とする。
これによれば、対応する画像領域のコントラストを高めるより適切な輝度補正条件を選択することができる。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記輝度補正処理が行われる特定画像領域には、前記撮像画像中に予め設定されている固定画像領域が含まれていることを特徴とする。
これによれば、特定画像領域の設定に関する処理が簡易であり、より迅速な輝度補正処理を実現することができる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記輝度補正処理が行われる画像領域には、所定の領域設定条件に従って前記撮像画像中に設定される変動画像領域が含まれていることを特徴とする。
これによれば、特定画像領域が固定画像領域である場合よりも、適切に特定画像領域を設定することができ、より高精度な物体認識を実現することができる。

（態様Ｇ）
前記態様Ｆにおいて、前記所定の領域設定条件は、前記撮像画像の輝度分布に基づき所定の輝度補正必要条件（例えば、輝度ピーク幅が第５閾値以上である縦ラインの連続数が第６閾値以上であるという条件）に照らして輝度補正が必要であると判断される該撮像画像中の画像領域を前記変動画像領域として設定する条件であることを特徴とする。
これによれば、簡易に特定画像領域を設定することができる。

（態様Ｈ）
１又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識する物体認識装置２００において、前記撮像画像に基づいて物体認識処理を実行する画像解析ユニット１０２等の物体認識処理手段と、前記物体認識処理手段が物体認識処理を実行する前に、前記撮像画像に対して画像処理を実行する処理ハードウェア部１２０等の画像処理手段とを有し、前記画像処理手段として、前記態様Ａ〜Ｇのいずれかの態様に係る画像処理装置を用いることを特徴とする。
これによれば、コントラストの低い画像領域を部分的に含んだ撮像画像であっても、撮像画像全体に対して高い物体認識精度が得られる。

（態様Ｉ）
自車両１００等の移動体の周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する先行車両Ａ等の認識対象物を認識する物体認識手段と、前記物体認識手段の識別結果に基づいて、前記移動体に搭載された所定の機器を制御する車両走行制御ユニット１０６等の移動体機器制御手段とを備えた車載機器制御システム等の移動体機器制御システムであって、前記物体認識手段として、前記態様Ｈに係る物体認識装置２００を用いることを特徴とする。
これによれば、コントラストの低い画像領域を部分的に含んだ撮像画像であっても撮像画像全体に対して高い物体認識精度が得られるので、より適切な移動体の機器制御が可能となる。

（態様Ｊ）
１又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識するための画像処理を実行する処理ハードウェア部１２０等の画像処理装置のコンピュータに実行させるための画像処理用プログラムであって、前記撮像画像の一部を構成する画像領域に対して輝度補正処理を実行する輝度補正手段として、前記コンピュータに実行させることを特徴とする。
これによれば、コントラストの低い画像領域を部分的に含んだ撮像画像であっても、撮像画像全体に対して高い物体認識精度が得られる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０６ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２ 記憶手段
１２３ ＣＰＵ
１２４ 輝度補正処理部
１２５ 補正処理部
１３１ 画像処理部
１３２ 視差画像生成部
１３３ マップ生成部
１３４ 路面形状検出部
１３５ テーブル算出部
１３６ マップ生成部
１３７ 孤立領域検出部
１３８ 対応領域検出部
１３９ オブジェクト領域抽出部
１４０ オブジェクトタイプ分類部
１４１ ３次元位置決定部
１４２ ガードレール検出部
２００ 物体認識装置

特開２００９−１５７０８６号公報

Claims (10)

1. １又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識するための画像処理を実行する画像処理装置において、
   前記撮像画像の一部を構成する画像領域に対して輝度補正処理を実行する輝度補正手段を有することを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   前記輝度補正手段は、前記輝度補正処理が行われる画像領域に対し、複数の輝度補正条件の中から所定の選択条件に従って選択される輝度補正条件に従った輝度補正処理を実行することを特徴とする画像処理装置。
3. 請求項２の画像処理装置において、
   前記所定の選択条件は、対応する画像領域の平均輝度値が所定の閾値よりも低いか否かの条件を含むことを特徴とする画像処理装置。
4. 請求項３の画像処理装置において、
   前記所定の閾値が複数設定されていることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか１項に記載の画像処理装置において、
   前記輝度補正処理が行われる画像領域には、前記撮像画像中に予め設定されている固定画像領域が含まれていることを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、
   前記輝度補正処理が行われる画像領域には、所定の領域設定条件に従って前記撮像画像中に設定される変動画像領域が含まれていることを特徴とする画像処理装置。
7. 請求項６の画像処理装置において、
   前記所定の領域設定条件は、前記撮像画像の輝度分布に基づき所定の輝度補正必要条件に照らして輝度補正が必要であると判断される該撮像画像中の画像領域を前記変動画像領域として設定する条件であることを特徴とする画像処理装置。
8. １又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識する物体認識装置において、
   前記撮像画像に基づいて物体認識処理を実行する物体認識処理手段と、
   前記物体認識処理手段が物体認識処理を実行する前に、前記撮像画像に対して画像処理を実行する画像処理手段とを有し、
   前記画像処理手段として、請求項１乃至７のいずれか１項に記載の画像処理装置を用いることを特徴とする物体認識装置。
9. 移動体周囲を撮像して得られる撮像画像に基づいて前記移動体の周囲に存在する認識対象物を認識する物体認識手段と、
   前記物体認識手段の識別結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムであって、
   前記物体認識手段として、請求項８の物体認識装置を用いることを特徴とする移動体機器制御システム。
10. １又は２以上の撮像手段によって撮像領域を撮像することにより得られる撮像画像に基づいて該撮像領域内に存在する物体を認識するための画像処理を実行する画像処理装置のコンピュータに実行させるための画像処理用プログラムであって、
    前記撮像画像の一部を構成する画像領域に対して輝度補正処理を実行する輝度補正手段として、前記コンピュータに実行させることを特徴とする画像処理用プログラム。