JP2004304303A

JP2004304303A - 対象物認識装置および対象物認識方法

Info

Publication number: JP2004304303A
Application number: JP2003092259A
Authority: JP
Inventors: Sanehiro Toda; 修弘遠田
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-28
Anticipated expiration: 2023-03-28
Also published as: JP4130601B2

Abstract

【課題】撮像画像の明るさを適切に設定することで、対象物を有効に認識する。
【解決手段】第１の撮像部１は、値が可変に設定される調整パラメータＰに応じて、明るさが調整された１フレーム分の撮像画像を時系列的に出力する。設定部１２は、複数フレームの期間内において、調整パラメータとして、所定の基準値と、基準値とは異なる可変値とを設定する。この設定部１２は、調整パラメータＰとして可変値が設定された場合に得られる撮像画像の輝度ヒストグラムにおいて、高輝度側と低輝度側とを除く所定の中間輝度領域の度数Ｆ２が所定のしきい値Ｆ２ｔｈ以上になるまで、可変値を更新する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物の認識を行う対象物認識装置および対象物認識方法に係り、特に、撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識手法に関する。
【０００２】
【従来の技術】
近年、単眼カメラ或いはステレオカメラによって撮像された撮像画像に基づき対象物の認識を行う対象物認識装置が注目・実用化されている。一般に、カメラのダイナミックレンジはそれほど広くないので、輝度差の大きな景色を撮像画像として忠実に表現できない可能性がある。例えば、車両前方の走行状況を認識する装置において、トンネル内を走行する車両から前方を眺めた場合、対向車のヘッドライトなどは明るいのに対して（明部）、道路は暗くなる（暗部）。このようなケースにおいて、明部の表現性を重視した画像の明るさ調節を行った場合、画像に写し出された暗部の黒詰まり（感度不足）が生じる。一方、暗部の表現性を重視した画像の明るさ調節を行った場合、画像に写し出された明部の白潰れ（輝度の飽和）が生じる。黒詰まりした或いは白潰れした領域では、情報量が著しく低下するため、対象物の認識精度の低下を招く虞がある。
【０００３】
特許文献１には、高階調（明部と暗部とが共存する）の被写体を認識可能に撮像する撮像装置が提案されている。この撮像装置は、予め段階的に設定されたカメラのシャッタースピード（またはレンズ絞り）を、周期的に変化させながら被写体を撮像する。そして、この撮像された複数の画像の中から、被写体が適切に写っている画像が選択されて、この選択された画像のみがオペレータに対して表示される。また、特許文献２では、高階調の被写体を単一の画像上で認識可能とするため、一フレーム相当の画像が、ゲインが相違する一対の増幅器に入力される。そして、これらの増幅器から出力される、明部が表現された画像と暗部が表現された画像とを合成することで、明暗の両方が写った画像が生成される。
【特許文献１】
特開平９−２６６５４５号公報
【特許文献２】
特開平６−７０２２２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載された技術において、選択されなかった撮像画像は情報として使用されないので、経時的に得られる情報量の低下を招くという不都合がある。また、情報量の低下を補うために検出間隔を狭めた場合、演算量が増加するため、装置に要求される処理能力が高くなる。一方、特許文献２に開示された明暗両方の画像を足し合わせる手法は、一フレーム相当の画像を生成するために、一対の増幅器を設ける必要があり、既存の装置と比較して、装置が複雑化するといった問題がある。
【０００５】
そこで、本発明の目的は、対象物の認識を行う新規な対象物認識装置を提供することである。
【０００６】
また、本発明の別な目的は、撮像画像の明るさを適切に設定することで、対象物の認識精度の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識を行う対象物認識装置において、値が可変に設定される調整パラメータに応じて、明るさが調整された１フレーム分の撮像画像を時系列的に出力する第１の撮像部と、複数のフレームを有する処理単位において、調整パラメータとして、所定の基準値と、基準値とは異なる可変値とを設定する設定部とを有する対象物認識装置を提供する。この設定部は、調整パラメータとして可変値が設定された場合に得られる撮像画像の輝度ヒストグラムにおいて、高輝度側と低輝度側とを除く所定の中間輝度領域の度数が所定のしきい値以上になるまで、可変値を更新する。
【０００８】
ここで、第１の発明において、設定部は、時系列的に出力される複数フレームの撮像画像を時分割して、基準値と可変値とを交互に設定することが好ましい。
【０００９】
また、第１の発明において、対象物認識装置は、撮像画像から得られる情報に基づいて対象物を認識する認識部をさらに有していてもよい。この場合、認識部は、少なくとも、基準値が設定された場合に得られる撮像画像と、可変値が設定された場合に得られる前記撮像画像とを処理単位とするとともに、一方の撮像画像から得られる情報から認識される対象物と、他方の撮像画像から得られる情報から認識される対象物とを合成することにより、対象物を認識することが望ましい。
【００１０】
また、第１の発明において、設定部は、値が段階的に変化するように、可変値を更新することが好ましい。
【００１１】
さらに、第１の発明において、対象物認識装置は、調整パラメータに応じて、明るさが調整された一フレーム分の撮像画像を時系列的に出力し、かつ、第１の撮像部と協働することによってステレオカメラとして機能する第２の撮像部と、第１の撮像部から出力された一フレーム分の撮像画像と、第２の撮像部から出力された一フレーム分の撮像画像とに基づき、ステレオマッチングによって、距離データを算出するステレオ処理部とをさらに有していてもよい。この場合、認識部は、距離データを用いて対象物の認識を行ってもよい。
【００１２】
また、第２の発明は、値が可変に設定される調整パラメータに応じて、明るさが調整された１フレーム分の撮像画像が時系列的に出力されているとともに、撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識を行う対象物認識方法を提供する。この対象物認識方法は、複数のフレームを有する処理単位において、調整パラメータとして、所定の基準値を設定する第１のステップと、この処理単位において、調整パラメータとして、基準値とは異なる可変値とを設定する第２のステップとを有し、第２のステップは、調整パラメータとして可変値が設定された場合に得られる撮像画像の輝度ヒストグラムにおいて、高輝度側と低輝度側とを除く所定の中間輝度領域の度数が所定のしきい値以上になるまで、可変値を更新するステップをさらに含む。
【００１３】
ここで、第２の発明において、第１のステップおよび第２のステップは、所定のフレーム間隔で交互に行われることが好ましい。
【００１４】
また、第２の発明において、対象物認識方法は、撮像画像から得られる情報に基づいて対象物を認識する第３のステップをさらに有していてもよい。この場合、第３のステップは、少なくとも、基準値が設定された場合に得られる撮像画像と、可変値が設定された場合に得られる撮像画像とを処理単位とするとともに、一方の撮像画像から得られる情報から認識される対象物と、他方の撮像画像から得られる情報から認識される対象物とを合成することにより、対象物を認識することが好ましい。
【００１５】
【発明の実施の形態】
図１は本実施形態にかかる対象物認識装置のブロック構成図であり、この対象物認識装置は一例として車両前方の走行状況を認識する。対象物認識装置は一対の撮像部１，２を有し、それぞれの撮像部１，２は自車両前方の景色を撮像する。そして、それぞれの撮像部１，２は、調整パラメータＰによって明るさが調整された一フレーム分の撮像画像（画像データ）を出力する。
【００１６】
撮像部１は、メインカメラ３と、その後段に接続されたＡ／Ｄコンバータ５とを有する。同様に、撮像部２は、サブカメラ４と、その後段に接続されたＡ／Ｄコンバータ６とを有する。これらのカメラ３，４は、例えば、車両のルームミラーの近傍に取り付けられており、互いに協働することによってステレオカメラとして機能する。それぞれのカメラ３，４には、例えば、ＣＣＤセンサやＣＭＯＳセンサといったイメージセンサが内蔵されている。メインカメラ３はステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ４は比較画像（左画像）を撮像する。
【００１７】
各カメラ３，４はシャッタースピード可変に構成されており、このシャッタースピードを変更することにより、出力される画像の明るさが調整される。カメラ３，４が用いるシャッタースピードの最適値（調整パラメータＰ）は、後段の設定部１２によって設定され、撮像部１，２に対してそれぞれ指示される。図２はシャッタースピードと調整パラメータＰとの対応関係を示す図である。同図には、７つのシャッタースピード（１／４０００〜１／５０（ｓ））と、これらのシャッタースピードに対応付けられた調整パラメータＰの指示値（０〜−６）との関係が示されている。ある調整パラメータＰが撮像部１，２に対して指示された場合、カメラ３，４のシャッタースピードは、指示された調整パラメータＰに対応付けられたシャッタースピードに設定される。
【００１８】
互いの同期が取れている状態において、カメラ３，４から出力された各アナログ画像は、Ａ／Ｄコンバータ５，６により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された一対の画像データは、画像補正部７において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ３，４の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１９】
このような画像処理を経て、撮像部１より基準画像データが得られ、撮像部２より比較画像データが得られる。これらの画像データは、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム相当のステレオ画像データは、後段のステレオ画像処理部８に出力されるとともに、画像データメモリ９に格納される。
【００２０】
ステレオ画像処理部８は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００２１】
図３は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、最大で画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出される。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ３，４に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２２】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ３，４から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部８は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２３】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２４】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部８のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ１０に格納される。
【００２５】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、設定部１２と、認識部１３とを有する。
【００２６】
設定部１２は、調整パラメータＰを設定するとともに、この調整パラメータＰを撮像部１，２に対して指示する。図２に示す７つのシャッタースピードのうち、シャッタースピード１／４０００（ｓ）は、日中の景色の表現性に優れた値であるため、通常は、このスピードに対応した値（基準値「０」）が調整パラメータＰとして設定されている。ただし、撮像環境によっては、設定部１２は、時系列的に出力される複数フレームの画像データを時分割することにより（本実施形態では、一フレーム間隔に時分割する）、基準値と、これとは異なる可変値（調整パラメータ「−１」〜「−６」のうちから選択される任意の値）とを交互に調整パラメータＰとして設定する。
【００２７】
認識部１３は、画像データメモリ９に格納された画像データや距離データメモリ１０に格納された距離データに基づき、自車両前方の対象物の認識を行う。対象物の認識には、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。本実施形態における、対象物とは、地面（道路および車線等）や立体物（走行車および障害物など）であり、具体的には、車線（白線）を含む道路面の三次元な形状が認識されるとともに、先行車および側壁（ガードレール等）を含む立体物も認識される。認識部１３は、通常、一フレームを処理単位として対象物の認識を行うが、撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位として対象物の認識を行う。なお、認識部１３は、対象物の認識結果に基づいて、ドライバーへの警報が必要と判定した場合には、モニタやスピーカ等の警報装置を動作させる。また、認識部１３は、必要に応じてアクチュエーター類を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。
【００２８】
以下、調整パラメータＰの決定手法を具体的に説明する。図４は、調整パラメータＰの決定過程を示す説明図である。同図には、時系列的に出力される画像データと、決定される調整パラメータＰとの関係が示されている。まず、調整パラメータＰを決定する前提として、設定部１２は、所定の間隔（例えば、１００ｍｓ）で、画像データメモリ９より画像データ（例えば、図４に示すフレーム「Ａ」）を読み込む。通常、調整パラメータＰは基準値（Ｐ＝０）に設定されているため、読み込まれた画像データは１／４０００（ｓ）のシャッタースピードで撮像されている。
【００２９】
図５，６は、調整パラメータＰとして基準値（Ｐ＝０）を設定した場合に出力される画像データの輝度ヒストグラムである。図５には、通常の走行状況（例えば、日中の走行）における輝度ヒストグラムが例示されている。通常の走行状況であれば、自車両前方の景色の明るさに対してシャッタースピードが適切となるため、多少のばらつきはあるものの、全ての輝度領域においてほぼ同じ程度の個数の度数（輝度）が分布する。一方、図６には、トンネル内を走行している状況での輝度ヒストグラムが例示されている。トンネル内では、対向車のヘッドライトやトンネル内の照明といった明部と、道路面などの暗部とが混在し、明部から暗部までの輝度差が大きい。基準値（Ｐ＝０）の設定時には、明部ではシャッタースピードが適切となるが、暗部ではシャッタースピードが不適切となり、暗部の露光量が不足する。その結果、撮像画像において、明部の表現性は良好であるものの、それ以外の部分（特に、暗部）の表現性が著しく低下する（黒詰まり）。そのため、明暗が混在するような状況では、図６に示すように、輝度ヒストグラムの低輝度側と高輝度側とに度数（輝度）が集中した分布となる。
【００３０】
撮像画像を用いて対象物の認識を行う場合、黒潰れとなる暗部に写し出された対象物を認識するのは困難である。なぜならば、暗部に対応する画像領域は、輝度特性が比較的単調であり、輝度のバラツキが少ないため、ステレオマッチングによる距離データが算出され難いからである。ステレオマッチングを行う際に、画素ブロックＰＢｉｊの輝度にバラツキが少ないと、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定することが困難となる。そのため、暗部に関する距離データが得られていない（或いは、距離データの信頼性が低い）ために、認識部１３が対象物の認識を正確に行えない可能性がある。
【００３１】
そこで、設定部１２は、明部から暗部までの輝度差が大きい場合には、次回のフレームの調整パラメータＰを可変値（Ｐ＝−１〜−６のうちのいずれか任意の値）に設定する。図２に示したように、調整パラメータＰを可変値に設定することにより、調整パラメータＰを基準値に設定した場合よりも、シャッタースピードは遅くなる。シャッタースピードを遅くすれば、明るさが調整され（露光増加）、暗部の像の表現性が良好となる。暗い領域であっても輝度にバラツキが生じるので、距離データが算出され易く、暗部の認識が可能となる。ただし、調整パラメータＰを可変値に設定し続けると、逆に、明部に対応する画像領域で白潰れが生じる得るため、明部の認識精度が低下する。そこで、設定部１２は、所定のフレーム間隔（本実施形態では、一フレーム間隔）で基準値（Ｐ＝０）と可変値（Ｐ＝−１〜−６のいずれか）とを交互に設定することで、この問題を解決する。これにより、明部と暗部とに注目した画像データが交互に出力されるため、連続した複数フレーム分（本実施形態では、少なくと２フレーム分）の画像データを処理単位とすることにより、対象物の認識を行うことができる。
【００３２】
設定部１２は、このような調整パラメータＰの切替えが必要な走行状況である否かを判断すべく、読み込んだ画像データに基づき、輝度ヒストグラムを算出する。この輝度ヒストグラムは、０〜２５５の輝度階調を、例えば１６輝度階調毎に１６個の領域に分類し、一フレームに相当する画像データ中の画素の輝度値を検索し、分類された輝度領域に応じた画素の個数をカウントすることにより、算出される。設定部１２は、この輝度ヒストグラムに基づき、低輝度側に設定された第１の輝度領域の度数（正確には、第１の輝度領域の各度数の加算値）Ｆ１が第１の判定値Ｆ１ｔｈ１以下であるか否かを判定する。図５，図６に示した輝度ヒストグラムでは、低輝度側の５つの領域にこの第１の輝度領域が設定されている。明部と暗部とが混在しているような状況では、図６に示すように、低輝度側の度数が多くなる。そのため、設定部１２は、低輝度側に設定された第１の輝度領域の度数Ｆ１の大小に基づき、調整パラメータＰの変更が必要か否かを判定する。
【００３３】
第１の判定値Ｆ１ｔｈ１は、調整パラメータＰの切替えが必要ないと認められるような第１の輝度領域の度数の最大値として、実験やシミュレーションを通じて予め設定されている。そのため、通常の走行状況において算出される輝度ヒストグラムでは（例えば、図５）、第１の輝度領域の度数Ｆ１は、第１の判定値Ｆ１ｔｈ１以下となる（Ｆ１≦Ｆ１ｔｈ）。この場合、設定部１２は、次回のフレーム（フレーム「Ｂ」）に関する調整パラメータＰを引き続き基準値（Ｐ＝０）に設定する。そして、続くフレーム「Ｂ」では、調整パラメータＰとして基準値が設定されるため、１／４０００（ｓ）のシャッタースピードで前方の景色が撮像される。
【００３４】
一方、図４に示すフレーム「Ｃ」のように、明部と暗部とが混在する走行状況において算出される輝度ヒストグラムでは（例えば、図６）、低輝度側の度数が多くなるため、第１の輝度領域の度数Ｆ１が第１の判定値Ｆ１ｔｈ１よりも大きくなる（Ｆ１＞Ｆ１ｔｈ）。そのため、度数Ｆ１が第１の判定値Ｆ１ｔｈ１よりも大きいと判定された場合には、次回のフレーム（フレーム「Ｄ」）に対する調整パラメータＰが可変値に設定される。この際、設定部１２は、現在のシャッタースピード（１／４０００（ｓ））よりも一段階だけ遅いシャッタースピード（１／２０００（ｓ））となるように、可変値（Ｐ＝−１）を設定する。
【００３５】
また、設定部１２は、度数Ｆ１が第１の判定値Ｆ１ｔｈ１よりも大きいと判定された場合には、暗部が写し出された領域（以下、単に「低輝度領域」という）を特定する。具体的には、まず、上述の第１の輝度領域に含まれる輝度階調を有する画素の座標が画像平面において特定される。そして、この特定された低輝度画素について、座標位置的に隣接する画素同士を同一のグループにまとめることにより（グループ化）、少なくとも一つ以上のグループの画素群が画像平面で特定される。そして、これらのグループ化された画素群のうち、明部が写し出された領域に孤立的に存在する画素群を排除すべく、所定の値以上の面積を有する画素群のみを選択する。これにより、選択されたグループに対応する画素群が、画像平面において低輝度領域として決定される。
【００３６】
フレーム「Ｃ」続くフレーム「Ｄ」では、調整パラメータＰとして可変値（Ｐ＝−１）が設定されているため、１／２０００（ｓ）のシャッタースピードで前方の景色が撮像される。フレーム「Ｃ」と比較してシャッタースピードが遅くなっているのため、このフレーム「Ｄ」では、暗部の表現性が良好となってくる。ただし、調整パラメータＰを基準値から可変値に切替えたとしても、実質的には、シャッタースピードが一段階だけ遅くなっただけなので、暗部の表現性に最も優れたシャッタースピードとは相違する可能性がある。そこで、設定部１２は、調整パラメータＰが可変値に設定されている場合には、この可変値の値が適切であるか否かを判断する。設定部１２は、このような判断を行う前提として、フレーム「Ｄ」の画像データに基づき、既に特定された低輝度領域を対象として、輝度ヒストグラムを算出する。
【００３７】
図７は、低輝度領域に関する輝度ヒストグラムの一例を示す図である。輝度ヒストグラムが算出されると、設定部１２は、低輝度側と高輝度側とを除く中間輝度領域に設定された第２の輝度領域の度数（正確には、第２の輝度領域に含まれる各度数の加算値）Ｆ２が第２の判定値Ｆ２ｔｈ以上であるか否かを判定する。図７に示した輝度ヒストグラムでは、低輝度側の５つの領域と、高輝度側の５つの領域とを除く６つの領域に第２の輝度領域が設定されている。カメラ３，４のシャッタースピードを遅くした場合、露光量が増えるので、第２の輝度領域（中間輝度）の度数Ｆ２は多くなる。そのため、第２の輝度領域の度数Ｆ２の程度から、適切なシャッタースピードであるか否かを判断することができる。
【００３８】
この第２の判定値Ｆ２ｔｈは、調整パラメータＰの可変値として適切な値が設定された場合の第２の輝度領域の度数の最大値として、実験やシミュレーションを通じて予め設定されている。そのため、第２の輝度領域の度数Ｆ２が第２の判定値以下の場合には（Ｆ２≦Ｆ２ｔｈ）、シャッタースピードを更に遅くするように、可変値が「−１」から「−２」に更新される。当然、可変値の現在値が「−２」、「−３」に設定されているようなケースでは、可変値は、これらの値よりも小さな「−３」、「−４」に更新される。そして、この更新された可変値（Ｐ＝−２）が、２つ先のフレーム（フレーム「Ｆ」）の調整パラメータＰとして暫定的に決定される。一方、度数Ｆ２が第２の判定値Ｆ２ｔｈより大きい場合には（Ｆ２＞Ｆ２ｔｈ）、可変値の値は「−１」のままにされる。そして、この可変値（Ｐ＝−１）が２つ先のフレーム「Ｆ」の調整パラメータＰとして暫定的に決定される。そして、現在のフレーム「Ｄ」において、調整パラメータＰが可変値（Ｐ＝−１）に設定されているため、続くフレーム「Ｅ」では、調整パラメータＰが基準値（Ｐ＝０）に設定される。
【００３９】
調整パラメータＰが基準値（Ｐ＝０）に設定されたフレーム「Ｅ」では、１／４０００（ｓ）のシャッタースピードを用いて前方の景色が撮像される。そして、このフレーム「Ｅ」では、前々回のフレーム「Ｃ」に示す処理と同様、輝度ヒストグラムを算出し、第１の輝度領域の度数Ｆ１と第１の判定値Ｆ１ｔｈとが比較される。このフレーム「Ｅ」において、車両がトンネル内といった明部と暗部と混在している状況が続く限り、度数Ｆ１は判定値Ｆ１ｔｈよりも大きくなる（Ｆ１＞Ｆ１ｔｈ）。そのため、続くフレーム「Ｆ」では、暗部に注目すべく、調整パラメータＰが、先のフレーム「Ｄ」の処理で暫定的に決定された可変値に設定される。すなわち、フレーム「Ｆ」に関する調整パラメータＰは、可変値（Ｐ＝−２またはＰ＝−１）に設定される。そして、続くフレーム「Ｆ」において、フレーム「Ｄ」で示した処理と同様、低輝度領域での輝度ヒストグラムを算出し、可変値を更新する必要があるか否かが判断される。そして、この判断に応じて、シャッタースピードが現在値を維持するように、或いは、シャッタースピードを更に遅くするように、可変値が設定される。そして、フレーム「Ｆ」に続く図示しないフレーム「Ｇ」では、明るい部分に注目すべく、調整パラメータＰとして基準値（Ｐ＝０）が設定される。このように、輝度ヒストグラムの第１の輝度領域の度数Ｆ１が判定値Ｆ１ｔｈ以下となるまで、調整パラメータＰが基準値と可変値とで交互に設定される。
【００４０】
一方、フレーム「Ｅ」において、車両がトンネルから抜けた場合には、度数Ｆ１が判定値Ｆ１ｔｈ以下となる（Ｆ１≦Ｆ１ｔｈ）。設定部１２は、フレーム「Ａ」に示した処理と同様、撮像部１，２に対して次回のフレーム（「フレームＦ」）の調整パラメータＰを基準値（Ｐ＝０）に指示する。そして、輝度ヒストグラムに基づき、第１の輝度領域の度数Ｆ１が判定値Ｆ１ｔｈよりも大きくなる（Ｆ１＞Ｆ１ｔｈ）フレームまで、一フレーム間隔で、調整パラメータＰに基準値（Ｐ＝０）を設定する。
【００４１】
このように、トンネル内といった明部と暗部とが混在している走行状況では、調整パラメータＰが、基準値（Ｐ＝０）と、可変値（Ｐ＝−１〜−６のいずれかの値）とが交互に設定される。これにより、撮像部１，２からは、基準値が設定された場合に得られる、明部の表現性が良好なステレオ画像データと、可変値が設定された場合に得られる、暗部の表現性が良好なステレオ画像データ（サブ調整パラメータ）とが交互に出力される。明部の表現性が良好なステレオ画像データを用いてステレオマッチングを行えは、明部の距離データを含む一フレーム相当の距離データが出力される。一方、暗部の表現性が良好なステレオ画像データを用いてステレオマッチングを行えば、暗部の距離データを含む一フレーム相当の距離データが出力される。そのため、認識部１３は、両者のステレオ画像データおよび距離データに基づき、対象物をそれぞれ認識し、これらの認識結果を合成することで、撮像画像内の全ての対象物を認識することができる。
【００４２】
つぎに、認識部１３の認識処理について説明する。地面および立体物の認識は、画像データおよび距離データに基づき、周知の道路検出処理と立体物検出処理によって行われる。これら認識した地面および立体物の情報（例えば、実空間上での位置など）は、例えば、マイクロコンピュータ１１のＲＡＭ領域に格納される。
【００４３】
道路検出処理では、画像データまたは距離データに基づき、道路モデルのパラメータを実際の道路形状に対応するよう修正・変更して道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の領域に分け、領域毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。
【００４４】
一方、立体物検出処理では、距離データが格子状に所定の間隔で区分され、区分毎に立体物のデータが抽出されてヒストグラムが作成される。このヒストグラムからは、各区分を代表する立体物の存在位置と、その距離が求められる。つぎに、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としての距離データの並び方向から個々のグループが立体物あるいは側壁に分類される。そして、立体物と分類されたグループについて、グループ内の距離データから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。
【００４５】
フレーム「Ａ」，「Ｂ」といった通常の走行状況では、一フレーム相当の画像データおよび距離データから対象物の認識が可能である。そのため、一フレーム分の撮像画像を処理単位として、上述の如く先行車や道路状況に関する認識が行われる。
【００４６】
一方、フレーム「Ｃ」，「Ｄ」といったように、調整パラメータＰが基準値と可変値とで交互に切替えられている場合、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識が行われる。具体的には、まず、基準値が設定された場合に得られる画像データ（或いは、この画像データに対応する距離データ）を用いて、自車両前方の明部に関する対象物の認識が行われる。同様に、可変値が設定された場合に得られる画像データ（或いは、この画像データに対応する距離データ）を用いて、暗部に関する対象物の認識が行われる。そして、それぞれ認識された対象物を合成することにより、撮像エリアに存在する全ての対象物の認識が行われる。この合成は、次ぎのように行う。まず、明部で認識された対象物について、自車両の車速および舵角などを考慮して、０．１秒（すなわち、画像データの読み出し間隔）後の対象物の位置を推定する。そして、暗部で認識された対象物の位置に、明るい部分で推定された対象物の位置が重ね合わせられる。これにより、自車両前方の明部および暗部に存在する対象物を認識することができる。なお、立体物が先行車であると認識された場合、その先行車の速度を加味すれば、さらに有効な認識を行うことができる。
【００４７】
以上説明したように、本実施形態の対象物認識装置によれば、認識部１３によって認識処理が行われるとともに、設定部１２によってこの認識に関する画像の明るさが調整される。この対象物認識装置は、自車両前方の景色に明暗の差がない場合には、調整パラメータＰに基準値（Ｐ＝０）を設定する。一方、輝度ヒストグラムから前方の景色に明暗が混在していると判断した場合には、１フレーム間隔で、調整パラメータＰが基準値と可変値とで切替えられる。基準値で調整された画像と、可変値で調整された画像とでは、写し出される領域が明るさに応じて互いに相違するので、時系列的に出力される画像平面上では、明部に存在する対象物と暗部に存在する対象物とが交互に認識可能となる。そして、認識された対象物を合成することにより、一フレームの画像だけでは認識漏れとなるような対象物をも有効に認識することができる。そのため、装置の信頼性の向上を図ることができる。また、従来のステレオ式対象物認識装置の既存の構成のまま実現可能であるため、装置の複雑化を防止することができる。
【００４８】
また、画像平面上での対象物の認識、或いは、距離データの算出において、これらの精度は、画像平面上の輝度特性に依存する。本実施形態では、画像の輝度特性を変えてしまうようなケース、例えば、調整パラメータＰの基準値と可変値との切替え判定、或いは、可変値の値を更新するか否かの判定において、輝度ヒストグラムが用いられる。輝度ヒストグラムには画像の輝度特性が反映されるので、これを用いることにより、対象物の認識（或いは距離データの算出）に適した輝度特性となるように、調整パラメータを設定することができる。
【００４９】
なお、上述した実施形態では、調整パラメータＰに設定される可変値を更新するか否かの判定を行う際、低輝度領域に関する輝度ヒストグラムを算出した。しかしながら、本発明ではこれ以外にも、画像データの全領域に関する輝度ヒストグラムを算出してもよい。この場合、明部に対応する画像平面上の輝度が輝度ヒストグラム中に含まれるため、図７に示す輝度ヒストグラムの高輝度側の度数が多くなる。ただし、中間輝度領域は、上述の低輝度領域に含まれる画素の輝度値に応じて変わるので、この全領域の輝度ヒストグラムを用いても、上述した実施形態と同様に可変値の更新に関する判定を行うことができる。
【００５０】
なお、本実施形態において、調整パラメータは、シャッタースピードに限定されず、カメラ３，４のレンズの絞り、または、カメラ３，４の出力信号の増幅のゲインのいずれかであってもよい。また、調整パラメータは、これらのパラメータを複数用いることもできる。また、本実施形態では、１フレーム間隔で時分割し、調整パラメータを切替えるものであるが、これ以外であってもよい。例えば、設定部１２は、調整パラメータを２フレーム間隔で時分割し、基準値と可変値とで切替えてもよい。この場合、連続した４フレーム分の撮像画像を処理単位とした対象物の認識が行われる。
【００５１】
また、夜間の走行では、撮像エリアが全体的に暗いため、最も遅いシャッタースピード（１／５０（ｓ））に対応付けられた調整パラメータＰ（Ｐ＝−６）を基準値に設定してもよい。この場合、可変値として機能するパラメータは、「−５」〜「０」が該当する。そして、上述した実施形態と同様に、通常、調整パラメータＰとして「−６」を設定する。一方、暗部と明部とが混在する場合には、基準値と可変値とを交互に切替え、かつ、シャッタースピードが段階的に早くなるように、可変値の値を「−５」から「０」に段階的に更新していけばよい。この場合、輝度ヒストグラムにおいて、調整パラメータＰの切替基準となる第１の輝度領域は、高輝度側に設定される。
【００５２】
また、本実施形態に示す手法では、基準値となる調整パラメータＰを固定値としたが、この基準値を可変に設定してもよい。この場合、基準値に対応する可変値は、基準値の値に応じその値が決定される。例えば、基準値を「０」と「−１」との間で可変とした場合、基準値が「０」である限り、これに対応する可変値は「−１」から「−６」のいずれか任意の値であり、基準値が「−１」となれば、これに対応する可変値は「−２」から「−６」のいずれか任意の値となる。基準値を可変に設定する手法としては、距離データにおける視差の算出数が所定の判定値以上となるように設定する手法が挙げられる。このような手法で基準値を可変に設定した場合、視差の算出数が所定値以上とするべく、明部の表現性が良好となるように、基準値が設定される。そのため、上述した実施形態に示した問題が生じ得るため、かかる手法であっても、本実施形態に示した認識手法が有効となる。
【００５３】
また、本実施形態では、調整パラメータＰの切替タイミングを、輝度ヒストグラムの低輝度側に設定された第１の輝度領域の度数から判定している。しかしながら、この判定は、中間輝度領域の度数の値が所定の判定値よりも小さいか否かにより行うこともできるし、上述した第１の輝度領域の判定に加え、中間輝度領域の度数を判定基準に加えてもよい。これにより、明暗の混在をより有効に認識することができる。また、第２の輝度領域も中間輝度領域に設定するのみならず、低輝度側に設定して良い。例えば、低輝度領域の度数と判定値とを比較して、度数が判定値以下となるまでは、シャッタースピードが遅くなるように、可変値を更新するといった如くである。
【００５４】
また、本実施形態に示す手法では、値が段階的に減少するように、可変値の値を更新している。しかしながら、可変値を更新する場合には、飛び級的に可変値の値を更新してもよい。ただし、かかる手法では、可変値の最適値を通り過ぎてしまう虞がある。そこで、このような問題を解決するために、飛び級的に可変値を設定する場合には、設定部１２は、第２の判定値Ｆ２ｔｈよりも値が大きな第３の判定値Ｆ３ｔｈを設定する。そして、第３の判定値Ｆ３ｔｈと第２の判定値Ｆ２ｔｈとの間に第２の輝度領域の度数Ｆ２が収束するように、一フレーム毎に可変値の値を上下させつつ、最適な可変値を設定すればよい。これにより、可変値の最適値を通り過ぎてしまうという事態の発生を抑制することができる。なお、第３の判定値Ｆ３ｔｈは、上述した実施形態に適用することもできる。この場合、この第３の判定値Ｆ３ｔｈにより、暗部の明るさが上下した場合に、可変値の値を最適値に収束させることができる。
【００５５】
【発明の効果】
このように、本発明によれば、連続した複数フレーム分の撮像画像において、調整パラメータとして、所定の基準値と、基準値とは異なる可変値とが設定される。基準値で調整された撮像画像と、可変値で調整された撮像画像とでは、明るさに応じて写し出される領域が互いに相違する。そのため、連続した複数フレーム分の撮像画像を処理単位とすることで、対象物の認識を行うことができる。また、可変値が設定された場合には、輝度ヒストグラムにおける中間輝度領域の度数が所定のしきい値以上になるまで、可変値が更新される。これにより、対象物の認識（或いは距離データの算出）に適した輝度特性となるように、可変値を設定することができる。これにより、装置の信頼性の向上を図ることができる。
【図面の簡単な説明】
【図１】本実施形態にかかる対象物認識装置のブロック構成図
【図２】シャッタースピードと調整パラメータとの対応関係を示す図
【図３】基準画像に設定される画素ブロックの説明図
【図４】調整パラメータＰの決定過程を示す説明図
【図５】基準値を指示した場合に出力される画像データの輝度ヒストグラム
【図６】基準値を指示した場合に出力される画像データの輝度ヒストグラム
【図７】低輝度領域に関する輝度ヒストグラムの一例を示す図
【符号の説明】
１撮像部
２撮像部
３メインカメラ
４サブカメラ
５Ａ／Ｄコンバータ
６Ａ／Ｄコンバータ
７画像補正部
８ステレオ画像処理部
９画像データメモリ
１０距離データメモリ
１１マイクロコンピュータ
１２設定部
１３認識部

Claims

撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識を行う対象物認識装置において、
値が可変に設定される調整パラメータに応じて、明るさが調整された１フレーム分の撮像画像を時系列的に出力する第１の撮像部と、
前記処理単位において、前記調整パラメータとして、所定の基準値と、当該基準値とは異なる可変値とを設定する設定部とを有し、
前記設定部は、前記調整パラメータとして前記可変値が設定された場合に得られる前記撮像画像の輝度ヒストグラムにおいて、高輝度側と低輝度側とを除く所定の中間輝度領域の度数が所定のしきい値以上になるまで、前記可変値を更新することを特徴とする対象物認識装置。
前記設定部は、時系列的に出力される前記複数フレームの撮像画像を時分割して、前記基準値と前記可変値とを交互に設定することを特徴とする請求項１に記載された対象物認識装置。
前記撮像画像から得られる情報に基づいて前記対象物を認識する認識部をさらに有し、
前記認識部は、少なくとも、前記基準値が設定された場合に得られる前記撮像画像と、前記可変値が設定された場合に得られる前記撮像画像とを前記処理単位とするとともに、一方の前記撮像画像から得られる情報から認識される対象物と、他方の前記撮像画像から得られる情報から認識される対象物とを合成することにより、前記対象物を認識することを特徴とする請求項１または２に記載された対象物認識装置。
前記設定部は、値が段階的に変化するように、前記可変値を更新することを特徴とする請求項１から３のいずれかに記載された対象物認識装置。
前記調整パラメータに応じて、明るさが調整された一フレーム分の撮像画像を時系列的に出力し、かつ、前記第１の撮像部と協働することによってステレオカメラとして機能する第２の撮像部と、
前記第１の撮像部から出力された一フレーム分の撮像画像と、前記第２の撮像部から出力された一フレーム分の撮像画像とに基づき、ステレオマッチングによって、距離データを算出するステレオ処理部とをさらに有し、
前記認識部は、前記距離データを用いて前記対象物の認識を行うことを特徴とする請求項１から４のいずれかに記載された対象物認識装置。
値が可変に設定される調整パラメータに応じて、明るさが調整された１フレーム分の撮像画像が時系列的に出力されており、撮像環境に応じて、連続した複数フレーム分の撮像画像を処理単位とした対象物の認識を行う対象物認識方法において、
前記処理単位において、前記調整パラメータとして、所定の基準値を設定する第１のステップと、
前記処理単位において、前記調整パラメータとして、前記基準値とは異なる可変値とを設定する第２のステップとを有し、
前記第２のステップは、前記調整パラメータとして前記可変値が設定された場合に得られる前記撮像画像の輝度ヒストグラムにおいて、高輝度側と低輝度側とを除く所定の中間輝度領域の度数が所定のしきい値以上になるまで、前記可変値を更新するステップをさらに含むことを特徴とする対象物認識方法。
前記第１のステップおよび前記第２のステップは、所定のフレーム間隔で交互に行われることを特徴とする請求項６に記載された対象物認識方法。
前記撮像画像から得られる情報に基づいて前記対象物を認識する第３のステップをさらに有し、
前記第３のステップは、少なくとも、前記基準値が設定された場合に得られる前記撮像画像と、前記可変値が設定された場合に得られる前記撮像画像とを処理単位とするとともに、一方の前記撮像画像から得られる情報から認識される対象物と、他方の前記撮像画像から得られる情報から認識される対象物とを合成することにより、前記対象物を認識することを特徴とする請求項６または７に記載された対象物認識方法。