JP2004048263A

JP2004048263A - Supervisory apparatus and supervisory method

Info

Publication number: JP2004048263A
Application number: JP2002201355A
Authority: JP
Inventors: Keiji Hanawa; 塙　圭二
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-07-10
Filing date: 2002-07-10
Publication date: 2004-02-12
Anticipated expiration: 2022-07-10
Also published as: JP4099011B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a supervisory apparatus that effectively recognizes a supervised area with a simple configuration even when a bright part and a dark part are present in the supervised area. <P>SOLUTION: A first imaging section 1a outputs image data with a prescribed luminance gradation whose lightness is adjusted by an adjustment parameter. A first calculation section 11a and a second calculation section 11b set first and second object areas in an image plane respectively and calculate the luminance distribution with respect to the first and second object area respectively. Then the adjustment parameter to correct a positional deviation of the most frequent luminance on the basis of a median of the luminance distribution made as the reference of the luminance distribution is calculated as first and second adjustment parameters respectively. An instruction section 12 decides the adjustment parameter by comparing the first adjustment parameter with the second adjustment parameter and outputs the adjustment parameter to the first imaging section 1a. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された画像を用いて、監視領域内の状況を監視する監視装置および監視方法に関する。
【０００２】
【従来の技術】
近年、単眼カメラまたはステレオカメラを用いて所定の監視領域を含む景色を撮影し、これにより得られた情報を用いて監視領域内の状況を監視する監視装置が注目・実用化されている。一般に、このような監視装置に用いられるカメラは、自然界の明暗の階調幅と比較して、表現可能なダイナミックレンジが小さいので、撮像した景色を画像平面上で有効に表現できないことがある。例えば、車両の走行状況を監視する装置において、トンネルの出口付近を走行する車両から前方を眺めた場合、自車両近傍の道路は暗くなる（暗部）のに対して、トンネルの外を走行する先行車は明るくなる（明部）。このような状態をカメラで撮像した場合、画像平面において、明部は白潰れ（輝度の飽和）を起こし、また、暗部は黒詰まり（感度不足）を起こしてしまい、対象物の認識精度の低下を招くおそれがある。
【０００３】
なお、特開平９−２６６５４５号公報には、高階調（明部と暗部が共存する）の被写体を認識可能に撮像する撮像装置が提案されている。この撮像装置は、予め設定したシャッタースピード（またはレンズ絞り）で、カメラを周期的に変化させながら被写体を撮像し、この撮像された複数の画像の中から、被写体が適切に写っている画像を選択する。そして、この選択された画像をオペレータに対して表示する。この他にも、高階調の被写体を単一の画像上で認識可能とするため、明部に対応した露光時間で撮像した画像と、暗部に対応した露光時間で撮像した画像とを合成することで、明暗両方が写った画像を生成する手法も提案されている。さらに、明部と暗部とに対応した露光時間で撮像された一対の画像を、明暗部毎にステレオ処理し、それぞれ生成される距離データを合成する手法も提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平９−２６６５４５号公報において、シャッタースピードは、周期的に変化するのみである。この監視装置では、不要な撮像画像が省かれるので、時系列的に得られる情報量の低下を招くという不都合がある。また、情報量の低下を検出間隔を狭めることで補おうとすると、演算量が増加するため、装置に高い処理能力が要求される。さらに、明暗両方の画像を足し合わせる手法は、時間的に遅延する画像同士をステレオ処理することができないので、三次元的な処理を行うのに必要となる距離データを得ることができないという問題がある。このような手法であっても時間的な一致を図ることは可能であるが、既存の装置と比較して、装置が複雑化するといった問題がある。また、距離データを合成して生成する方法においても、同様に、装置の複雑化を招くといった問題がある。
【０００５】
そこで、本発明の目的は、監視領域を監視する新規な監視装置を提供することである。
【０００６】
また、本発明の別な目的は、監視領域に明部と暗部とが存在する場合であっても、簡素な構成で監視領域を有効に認識可能な監視装置および監視方法を提案することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、撮像された画像を用いて、監視領域内の状況を監視する監視装置を提供する。この監視装置は、第１の撮像部と、第１の算出部と、第２の算出部と、指示部とを有する。ここで、第１の撮像部は、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。第１の算出部は、画像データによって規定される画像平面において、第１の対象エリアを設定し、第１の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する。第２の算出部は、画像データによって規定される画像平面において、第１の対象エリアとは異なる第２の対象エリアを設定し、第２の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータとして算出する。指示部は、第１の調整パラメータと第２の調整パラメータとを比較することによって、調整パラメータを決定し、調整パラメータを第１の撮像部に出力する。
【０００８】
ここで、上記第１の発明において、第１の算出部および第２の算出部は、算出された輝度分布において、最頻輝度の位置を特定することが好ましい。この場合、第１の算出部および第２の算出部は、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれから、その位置ずれを補正する調整パラメータを算出することが好ましい。
【０００９】
また、第１の発明において、指示部は、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値以下の場合、第１の調整パラメータと第２の調整パラメータとの平均値を、第１の撮像部に出力する調整パラメータとすることが好ましい。
【００１０】
また、第１の発明において、指示部は、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値よりも大きい場合、第１の調整パラメータと第２の調整パラメータとを所定のフレーム間隔で交互に切替えることが好ましい。この場合、指示部は、第１の調整パラメータまたは第２の調整パラメータのいずれか一方を、第１の撮像部に出力する調整パラメータとすることが好ましい。
【００１１】
また、第１の発明において、上述した構成に加えて、第２の撮像部と、ステレオ処理部と、対象物認識部とをさらに設けてもよい。第２の撮像部は、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力し、かつ、第１の撮像部と協働することによってステレオカメラとして機能する。ステレオ処理部は、第１の撮像部から出力された画像データと、第２の撮像部から出力された画像データとに基づき、ステレオマッチングによって、距離データを算出する。対象物認識部は、距離データを用いて、監視領域内の対象物を認識する。
【００１２】
また、第１の発明において、第１の対象エリアは、画像平面において、地面が写し出されるエリアに設定されることが好ましい。また、第２の対象エリアは、画像平面において、第１の対象エリアの設定位置よりも上方を含み、地面上に存在する立体物が写し出されるエリアに設定されているが好ましい。
【００１３】
さらに、第１の発明において、調整パラメータは、シャッタースピード、カメラレンズの絞り、または増幅ゲインのいずれかであることが望ましい。
【００１４】
第２の発明は、撮像された画像を用いて、監視領域内の状況を監視する監視方法を提供することであり、以下に示す１から４のステップを有する。ここで、第１のステップは、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。第２のステップは、画像データによって規定される画像平面において、第１の対象エリアを設定し、第１の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する。第３のステップは、画像データによって規定される画像平面において、第１の対象エリアとは異なる第２の対象エリアを設定し、第２の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータを算出する。第４のステップは、第１の調整パラメータと第２の調整パラメータとを比較することによって、調整パラメータを決定し、この調整パラメータをフィードバックすることにより、画像データの明るさを再調整する。
【００１５】
ここで、第２の発明において、第２のステップおよび第３のステップは、算出された輝度分布において、最頻輝度の位置を特定するステップと、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれから、調整パラメータを算出するステップとを含むことが好ましい。
【００１６】
また、第２の発明において、第４のステップは、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値以下の場合、第１の調整パラメータと第２の調整パラメータとの平均値を、調整パラメータとするステップを含むことが好ましい。
【００１７】
さらに、第２の発明において、第４のステップは、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値よりも大きい場合、第１の調整パラメータと第２の調整パラメータとを所定のフレーム間隔で交互に切替える。この場合、第４のステップは、第１の調整パラメータまたは第２の調整パラメータのいずれか一方を、調整パラメータとするステップを含むことが好ましい。
【００１８】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視装置のブロック構成図である。本実施形態にかかるステレオ式監視装置は、自車両前方の走行状況を監視する車外監視装置である。この装置は、一対の撮像部１ａ，１ｂを有し、それぞれの撮像部１ａ，１ｂは、自車両前方の景色を撮像する。これらの撮像部１ａ，１ｂは、互いに協働することによってステレオカメラとして機能する。そして、それぞれの撮像部１ａ，１ｂは、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。
【００１９】
撮像部１ａは、メインカメラ２と、その後段に接続されたＡ／Ｄコンバータ４とを有する。同様に、撮像部１ｂは、サブカメラ３と、その後段に接続されたＡ／Ｄコンバータ５とを有する。これらのカメラ２，３は、車両においてルームミラーの近傍に取り付けられており、それぞれのカメラ２，３には、例えば、ＣＣＤやＣＭＯＳセンサといったイメージセンサが内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、明るさに対応する所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２０】
撮像部１ａ，１ｂより出力された一対の画像データ（ステレオ画像データ）は、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、個々に設定された有効画像領域内に存在する各画素の輝度値（０〜２５５）の集合である。画像平面におけるｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一画像の最小表示単位である一フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、一フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックを算出単位として算出されるため、視差ｄと画素ブロックとは１対１の関係になる。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２４】
ある画素ブロックＰＢｉｊに関する視差ｄを算出する場合、この画素ブロックＰＢｉｊ（相関元）の輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊ対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に出力される。
【００２７】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、算出部１１、指示部１２、対象物認識部１３および制御部１４を有する。
【００２８】
算出部１１は、画像データメモリ８に格納された基準画像データ（以下、単に、「画像データ」という）によって規定される画像平面において、所定の対象エリアを設定し、この所定の対象エリアに関する輝度分布を算出する。つまり、輝度の評価対象となるエリアは、画像全体ではなく、その一部に限定される。そして、算出部１１は、輝度分布の中央を基準とした最頻輝度（出現頻度の最も高い輝度値）の位置ずれに基づいて、調整パラメータを算出する。この調整パラメータの値は、この限定された対象エリア（評価対象となるエリア）の明るさを好適に設定する値、換言すれば、このエリアに関して、輝度分布の中央における輝度値が最頻輝度になるような値である。なお、調整パラメータは、画像の明るさを調整可能なパラメータであればどのようなものであってもよいが、本実施形態では、カメラ２，３のシャッタースピードを用いる。
【００２９】
算出部１１は、対象物が写し出される画像平面上の位置の傾向を考慮して、複数の対象エリアを画像平面上に設定する。本実施形態において、算出部１１は、第１の算出部１１ａと、第２の算出部１１ｂとを有する。第１の算出部１１ａは、画像平面において、地面（道路面）が写し出されるエリアを第１の対象エリアとして設定する。そして、この第１の対象エリアに関して算出された輝度分布に基づいて、第１の調整パラメータθ１が算出される。一方、第２の算出部１１ｂは、画像平面において、第１の対象エリアの設定位置よりも上方を含み、地面上に存在する立体物（先行車等）が写し出されるエリアを第２の対象エリアとして設定する。そして、この第２の対象エリアに関して算出された輝度分布に基づいて、第２の調整パラメータθ２が算出される。なお、以下の説明において、第１の算出部１１ａ、第１の対象エリアおよび第１の調整パラメータを、それぞれ、地面パラメータ算出部１１ａ、地面エリアおよび地面パラメータと呼ぶ。同様に、第２の算出部１１ｂ、第２の対象エリアおよび第２の調整パラメータを、それぞれ、立体物パラメータ算出部１１ｂ、立体物エリアおよび立体物パラメータと呼ぶ。算出部１１ａ，１１ｂによって算出された地面パラメータθ１および立体物パラメータθ２は、指示部１２へ出力される。
【００３０】
指示部１２は、これらの地面パラメータθ１と立体物パラメータθ２とを比較することによって、調整パラメータθｃａｍを決定し、これを一対の撮像部１ａ，１ｂ側に指示する。本実施形態において、この指示は、それぞれの撮像部１ａ，１ｂに対して、調整パラメータθｃａｍに相当する信号を出力することによって行われる。
【００３１】
また、指示部１２は、調整パラメータθｃａｍの指示とともに、画像モードＭｐｉｃを、算出部１１および対象物認識部１３に出力する。画像モードＭｐｉｃは、処理対象とするフレームが、どのような調整パラメータθｃａｍによって明るさが調整されたものであるかを示す。すなわち、算出部１１および対象物認識部１３は、この出力された画像モードＭｐｉｃにより、処理対象とするフレームがどの対象エリアに注目して撮像されたものであるかを把握している。
【００３２】
なお、指示部１２は、初期モード、すなわち、１番目のフレーム相当の画像に関する調整パラメータθｃａｍを、地面エリアと立体物エリアとで共通で、所定の調整パラメータθｓとして取り扱う。
【００３３】
対象物認識部１３は、画像データメモリ８に格納された画像データ、または、距離データメモリ９に格納された距離データに基づき、監視領域内の対象物を認識する。ここで、対象物とは、地面（道路および車線等）や立体物（走行車および障害物など）であり、具体的には、車線（白線）を含む道路面の三次元な形状が認識されるとともに、先行車および側壁（ガードレール等）を含む立体物も認識される。また、対象物認識部１３は、これら認識した地面および立体物の情報（例えば、実空間上での位置など）を、例えば、マイクロコンピュータ１０のＲＡＭ領域に格納する。
【００３４】
制御部１４は、対象物認識部１３による認識結果に基づいて、ドライバーへの警報が必要と判定した場合、モニタやスピーカ等の警報装置を動作させる。また、制御部１４は、必要に応じてアクチュエーター類を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。
【００３５】
本実施形態では、調整パラメータθｃａｍとして、カメラ２，３のシャッタースピードを用いる。このシャッタースピードを変更することによって、出力画像データの明るさが調整される。シャッタースピードを速くすれば（露光量減少）、明るい物体を撮像した場合であっても、出力される画像データによって規定される画像平面は、白潰れすることなく鮮明な像を表現する。一方、シャッタースピードを遅くすれば（露光量増大）、暗い物体を撮像した場合であっても、画像平面は、黒詰まりすることなく鮮明な像を表現する。
【００３６】
図４は、調整パラメータθｃａｍの設定ルーチンのフローチャートである。本ルーチンは、所定の間隔（本実施形態では、０．１秒間隔）で呼び出され、マイクロコンピュータ１０によって実行される。
【００３７】
まず、ステップ１において、算出部１１は、画像データメモリ８より１フレーム相当の画像データを読み込む。
【００３８】
つぎに、ステップ２において、算出部１１は、対象エリア毎の調整パラメータを算出する。図５は、ステップ２における詳細な調整パラメータ算出に関する手順を示したフローチャート（調整パラメータ算出ルーチン）である。まず、ステップ２０において、地面パラメータ算出部１１ａは、画像平面上に、固定的または可変的に地面エリアを設定する。設定される地面エリアは、上述したように、画像平面において、地面が写し出される頻度が高いエリアであればよく、常時、地面と完全に一致するようなエリアである必要は必ずしもない。本実施形態において、地面パラメータ算出部１１ａは、画像の下側であって、地面、例えば、道路や白線が写し出される確率が高い領域（図３に示す台形領域）を、地面エリアとして設定する。
【００３９】
ステップ２１において、地面パラメータ算出部１１ａは、この設定された地面エリアに関する輝度分布（ヒストグラム）を算出する。この輝度分布は、例えば、０〜２５５の輝度階調を１６輝度階調毎の１６区分に分類し、地面エリアに相当する画素の輝度値に検索し、対応する区分をカウントすることにより、算出される。例えば、自車両がトンネルの出口付近を走行している場合、通常、画像平面の地面エリアに関する頻度分布は、図６に示すように、輝度の分布が暗側（左側）に偏った状態となっている（黒詰まりの状態）。
【００４０】
ステップ２２において、地面パラメータ算出部１１ａは、この算出された輝度分布に基づいて、輝度分布の中央Ｂｃを基準とした最頻輝度（区分Ｂｍａｘ）の位置ずれを補正する調整パラメータを、地面パラメータθ１として算出する。具体的には、まず、算出された輝度分布において、最頻輝度（区分Ｂｍａｘ）の位置が特定され、つぎに、中央Ｂｃに対する最頻輝度Ｂｍａｘの位置ずれが特定される。そして、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれ（図中の矢印）から、この位置ずれを補正する調整パラメータが、地面パラメータθ１として算出される。例えば、地面パラメータ算出部１１ａは、この対応関係を規定するテーブル、或いは、この対応関係を規定する計算式を保持しており、これを用いて、最頻輝度の位置ずれから調整パラメータを特定する。
【００４１】
図６に例示した輝度分布の場合、最頻輝度Ｂｍａｘの位置は、輝度分布の中央Ｂｃを基準として左に５区分ずれた位置（これを定量的に捉えて”−５”と表現する）になる。そして、テーブルを用いる場合には、位置ずれ”−５”に対応するパラメータ値が検索され、地面パラメータθ１が特定される。また、計算式を用いる場合には、この計算式に位置ずれ”−５”を代入することで、地面パラメータθ１が算出される。トンネルの出口付近を走行している状況において、地面エリアは暗いので、地面エリアより算出された地面パラメータθ１は、シャッタースピードを遅くする、すなわち、露光量を増大させる方向に作用する。
【００４２】
同様に、ステップ２３〜２５において、立体物パラメータ算出部１１ｂは、画像平面上に、固定的または可変的に立体物エリアを設定する。そして、立体物エリアに関する輝度分布が算出されるとともに、この輝度分布における最頻輝度の位置ずれに基づき、立体物パラメータθ２が算出される。ここで、立体物エリアは、地面エリアと同様、画像平面において、立体物が写し出される頻度が高いエリアであればよく、常時、立体物と完全に一致するようなエリアである必要は必ずしもない。本実施形態において、立体物パラメータ算出部１１ｂは、画像の上側であって、立体物（先行車や障害物）が写し出される確率が高い領域（図３に示す矩形領域）を、立体物エリアとして特定している。また、地面エリアと立体物エリアとは、画像平面上で異なるエリアとして設定されるが、図３に示すように部分的に重なるような状態であってもよい。例えば、自車両がトンネルの出口付近を走行し、かつ先行車がトンネル外に存在する走行状態では、通常、立体物エリアに関する頻度分布は、図７に示すように、輝度の分布が明側（右側）に偏った分布となる（白潰れの状態）。
【００４３】
図７に例示した輝度分布の場合、最頻輝度Ｂｍａｘの位置は、輝度分布の中央Ｂｃを基準として右に６区分ずれた位置（これを定量的に捉えて”＋６”と表現する）になる。立体物パラメータ算出部１１ｂは、地面パラメータ算出部１１ａと同様に、テーブルまたは計算式を用いて、位置ずれ”＋６”に対応する立体物パラメータθ２を算出する。トンネルの出口付近を走行している状況において、立体物エリアは明るいので、立体物エリアより算出された立体物パラメータθ２は、シャッタースピードを速くする、すなわち、露光量を減少させる方向に作用する。
【００４４】
つぎに、指示部１２は、地面パラメータθ１と立体物パラメータθ２とを比較することによって、調整パラメータθｃａｍを決定する。決定された調整パラメータθｃａｍは、撮像部１ａ，１ｂにフィードバックされ、画像データの明るさが再調整される。具体的には、ステップ２に続くステップ３において、地面パラメータθ１と立体物パラメータθ２との差の絶対値｜θ１−θ２｜が、所定のしきい値θｔｈ以下であるか否かが判定される。このステップで肯定判定された場合、すなわち、地面エリアと立体物エリアとの画像の明るさ（輝度分布）がほぼ同一であると判断された場合、指示部１２は、それぞれのエリアに写し出された対象物を同一画像より認識可能であると判断する。この場合、指示部１２は、調整パラメータθｃａｍをθ３にセットするとともに、画像モードＭｐｉｃをＭ３にセットし、本ルーチンを抜ける（ステップ４）。ここで、θ３は、地面パラメータθ１と立体物パラメータθ２との平均値である。また、Ｍ３は、この調整パラメータθｃａｍ（θ３）により撮像される画像が、地面エリアと立体物エリアとに注目して撮像されたことを示す。
【００４５】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ３に調整される。これにより、カメラ２，３は、地面エリアおよび立体物エリアの両エリアの明るさを好適に撮像するシャッタースピードとなり、これにより出力される画像平面では両エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、画像モードＭ３ベースで対象物の認識を行う。具体的には、対象物認識部１３は、この調整パラメータθ３に基づいて調整されたデータ（画像データおよび距離データを含む）を用いて、地面と立体物との両者を認識する。地面および立体物の認識は、画像データおよび距離データに基づき、周知の道路検出処理と立体物検出処理によって行われる。そして、特定された地面および立体物の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に随時格納される。
【００４６】
道路検出処理では、画像データまたは距離データに基づき、道路モデルのパラメータを実際の道路形状に対応するよう修正・変更して道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。
【００４７】
一方、立体物検出処理において、距離データが格子状に所定の間隔で区分され、区分毎に立体物のデータが抽出されてヒストグラムが作成される。このヒストグラムからは、各区分を代表する立体物の存在位置と、その距離が求められる。つぎに、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としての距離データの並び方向から個々のグループが立体物あるいは側壁に分類される。そして、立体物と分類されたグループについて、グループ内の距離データから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。
【００４８】
そして、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面および立体物エリアにおいて、明暗が分かれないとき、すなわち、明るさに差がないときには、地面パラメータθ１と立体物パラメータθ２との平均値を調整パラメータθｃａｍとして用いる。
【００４９】
これに対して、ステップ３で否定判定された場合、すなわち、地面エリアと立体物エリアとの明るさが異なると判断された場合（例えば、輝度分布が図６と図７に示すような状態）、指示部１２は、それぞれのエリアに写し出された対象物を同一画像より認識不可能であると判断する。この場合は、ステップ５に進み、現在の画像モードＭｐｉｃがＭ３であるか否かが判断される。このステップ５で肯定判定された場合、指示部１２は、地面エリアと立体物エリアとで、明るさの差が生じ始めたものと判断する（前フレームでは両エリアを共通のシャッタースピードで撮像可能であった）。この場合、指示部１２は、調整パラメータθｃａｍとして、例えば、地面パラメータθ１をセットするとともに、画像モードＭｐｉｃをＭ１にセットし、本ルーチンを抜ける（ステップ６）。ここで、Ｍ１は、この調整パラメータθｃａｍにより撮像される画像が、地面エリアのみに対応した調整パラメータで撮像された画像であることを示す。
【００５０】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ１に調整される。これにより、カメラ２，３は、地面エリアの明るさを好適に撮像するシャッタースピードとなり、これにより出力される画像平面では地面エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、Ｍ１の画像モードベースで対象物の実空間上の位置を算出する。
【００５１】
具体的には、対象物認識部１３は、この調整パラメータθ１が適用された出力データの地面エリアに注目し、地面のみの認識を行う。また、必要であれば、対象物認識部１３は、ＲＡＭ領域に格納されている立体物の情報を読み込み、現在の走行状況（速度、舵角など）を考慮した上で、立体物の状態を推定してもよい。なぜならば、この調整パラメータθ１が適用された出力データでは、立体物エリアに写し出された対象物は認識不可能となる（見えない）からである。例えば、この推定手法としては、読み出された立体物の位置を（三次元的に）特定し、自車両の車速および舵角などを考慮して、０．１秒（所定の間隔）後の立体物の位置を算出するといった如くである。立体物が先行車であると認識された場合、その先行車の速度を加味すれば、さらに有効な認識を行うことができる。そして、この特定された地面（或いは、推定された立体物）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納されて、更新される。
【００５２】
そして、制御部１４は、道路状況に基づき（さらには、推定された先行車の状態を加味することで）、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面および立体物エリアにおいて、明暗が分かれたときには、地面パラメータθ１または立体物パラメータθ２の一方を調整パラメータθｃａｍとして用いる。
【００５３】
これに対して、ステップ５で否定判定された場合には、地面エリアと立体物エリアとで、前フレームに引き続き明るさが異なっていると判断される。この場合は、ステップ７に進み、画像モードがＭ１であるか否かが判断される。このステップで肯定判定された場合、指示部１２は、前フレームの画像モードがＭ１、すなわち、地面エリア（暗部）に好適な状態で撮像されたものであると判断する。この場合、指示部１２は、立体物エリアに注目して撮像を行うべく、処理対象とするフレームの調整パラメータθｃａｍをθ２にセットするとともに、画像モードＭｐｉｃをＭ２にセットし、本ルーチンを抜ける（ステップ８）。換言すれば、地面パラメータθ１と立体物パラメータθ２との差が判定値θよりも大きい場合（さらには、これが連続して起こる場合）、指示部１２は、地面パラメータθ１と立体物パラメータθ２とを１フレーム間隔で交互に切り替える。ここで、Ｍ２は、この調整パラメータθｃａｍにより撮像される画像が、立体物エリアに対応した調整パラメータで撮像された画像であることを示している。
【００５４】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ２に調整される。これにより、カメラ２，３は、立体物エリアの明るさを好適に撮するシャッタースピードとなり、これにより出力される画像平面では立体物エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、Ｍ２の画像モードベースで対象物の実空間上の位置を算出する。
【００５５】
具体的には、対象物認識部１３は、この調整パラメータθ２が適用された出力データの立体物エリアに注目し、立体物のみの認識を行う。また、必要であれば、対象物認識部１３は、ＲＡＭ領域に格納されている地面の情報を読み込み、現在の走行情報を考慮した上で、地面の状態を推定してもよい。なぜならば、この調整パラメータθ２が適用された出力データでは、地面エリアに写し出された対象物は認識不可能となる（見えない）からである。例えば、この推定手法としては、読み出された地面の位置を特定し、車速および舵角を考慮して、０．１秒後の地面の位置を推定するといった如くである。特定された立体物（或いは、地面）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納される。
【００５６】
そして、制御部１４は、認識された立体物の情報に基づき（さらには、推定された地面状態を加味することで）、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面エリアおよび立体物エリアにおいて、明暗が連続して分かれているときには、１フレーム間隔で地面パラメータθ１または立体物パラメータθ２の一方を調整パラメータθｃａｍとしている。
【００５７】
これに対して、ステップ７で否定判定された場合、指示部１２は、前フレームの撮像モードがＭ２、すなわち、立体物エリア（明部）に好適な状態で撮像されたものであると判断する。この場合、指示部１２は、調整パラメータθｃａｍをθ１にセットするとともに、画像モードＭｐｉｃを、Ｍ１にセットし、本ルーチンを抜ける（ステップ９）。
【００５８】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ１に調整される。また、指示部１２から指示を受けて、対象物認識部１３は、先に述べた手法と同様、Ｍ１の画像モードベースで対象物の実空間上の位置を算出する。そして、対象物認識部１３は、距離データから認識された地面と、推定された立体物との情報を考慮することで、これを距離データに相当させて走行状況の認識を行う。特定された地面（或いは、立体物）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納される。そして、これら認識された情報に基づき、制御部１４によって、ドライバーに警報が与えられたり、車両制御が行われる。
【００５９】
なお、上述した説明において、算出部１１が画像データを読み込んだ際、このときの画像モードがＭ１であるならば、立体物パラメータ算出部１１ｂは、この画像からのパラメータ算出を行わず、前フレームの処理で算出された立体物パラメータθ２を再度出力する（ステップ２３〜２５までの処理がスキップされる）。一方、地面パラメータ算出部１１ａは、上述したように、読み込んだ画像データから、地面パラメータθ１を算出する。なぜならば、画像モードがＭ１である場合、処理対象とするフレームは、地面エリアの明るさが好適に設定された画像であり、立体物エリアの明るさを無視して調整パラメータが調節されているからである。このため、このとき立体物エリアの輝度分布より算出される立体物パラメータθ１は、無意味であり、画像の明るさを調整するにいたらないからである。
【００６０】
同様に、画像データが画像モードＭ２と判断された場合、地面パラメータ算出部１１ａは、この画像からのパラメータ算出を行わず、前フレームの処理で算出された地面パラメータθ１をもう一度出力する。一方、立体物パラメータ算出部１１ｂは、この度出力された画像データから、立体物パラメータθ２を算出する。なお、画像データがＭ３である場合は、上述したステップ２の通りとする。
【００６１】
以上説明したように、本実施形態のステレオ式監視装置によれば、対象物認識部１３によって監視制御が行われるとともに、指示部１２によってこの監視制御に関する画像の出力モードの決定がリアルタイム処理されている。このステレオ式監視装置は、地面および立体物エリアにおいて、明るさに差がないときには、地面パラメータθ１と立体物パラメータθ２との平均値を調整パラメータθｃａｍとして用いる。これにより、この調整パラメータθｃａｍにより明るさが調整された画像データでは、それぞれのエリアに写し出された対象物が認識可能となる。一方、地面および立体物エリアにおいて、明暗が分かれているときには、１フレーム間隔で地面パラメータθ１または立体物パラメータθ２の一方を調整パラメータθｃａｍとしている。これにより、この調整パラメータθｃａｍにより明るさが調整された画像データでは、出力される毎に、それぞれのエリアに写し出される対象物が交互に認識可能となる。これにより、画像平面全部において、認識不能となるような状態を防止することができるので、ステレオ式監視装置の信頼性の向上を図ることができる。また、従来のステレオ式監視装置の既存の構成のまま実現可能であるため、装置の複雑化を防止することができる。
【００６２】
なお、本実施形態において、調整パラメータは、シャッタースピードに限定されず、カメラ２，３のレンズの絞り、または、カメラ２，３の出力信号の増幅のゲインのいずれかであってもよい。また、調整パラメータは、これらのパラメータを複数用いることもできる。
【００６３】
さらに、画像上の対象エリアは、立体物と地面との二つに分けて、説明をおこなったが、これに限定されるものではなく、対象エリアをさらに細かく分けることもできる。ただし、画像の認識において、これを交互に切替えながら行うため、処理速度と認識精度との両立を図るように設定することが好ましい。
【００６４】
なお、本実施形態では、地面パラメータθ１と立体物パラメータθ２との差が所定のしきい値θｔｈよりも大きい場合、１フレーム間隔で、調整パラメータを切替えるものであるが、所定のフレーム間隔で切替えてもよい。例えば、指示部１２は、地面パラメータθ１と立体物パラメータθ２とを２フレーム間隔、あるいは、実用可能な範囲内のフレーム間隔で切替えるといった如くである。
【００６５】
【発明の効果】
このように、本発明によれば、画像平面上に設定されたエリアの輝度状態において、このエリアを切替えるように画像を取得する。これにより、同一画像上に輝度の飽和と不足を両立させず、対象物の明暗に拘わらず、有効な認識を行うことができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】基準画像に設定される対象エリアの説明図
【図４】調整パラメータθの設定ルーチンのフローチャート
【図５】パラメータ算出に関する手順を示したフローチャート
【図６】地面エリアの一例としての輝度分布図
【図７】立体物エリアの一例としての輝度分布図
【符号の説明】
１ａ　　　撮像部
１ｂ　　　撮像部
２　　　　メインカメラ
３　　　　サブカメラ
４　　　　Ａ／Ｄコンバータ
５　　　　Ａ／Ｄコンバータ
６　　　　画像補正部
７　　　　ステレオ画像処理部
８　　　　画像データメモリ
９　　　　距離データメモリ
１０　　　　マイクロコンピュータ
１１　　　　算出部
１１ａ　　　地面パラメータ算出部
１１ｂ　　　立体物パラメータ算出部
１２　　　　指示部
１３　　　　対象物認識部
１４　　　　制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a monitoring device and a monitoring method for monitoring a situation in a monitoring area using a captured image.
[0002]
[Prior art]
In recent years, a monitoring device that captures a scene including a predetermined monitoring area using a monocular camera or a stereo camera and monitors the situation in the monitoring area using information obtained thereby has been attracting attention and has been put to practical use. In general, a camera used in such a monitoring device has a small dynamic range that can be expressed as compared with light and dark gradation widths in the natural world, so that a captured scene may not be able to be effectively expressed on an image plane. For example, in a device that monitors the running condition of a vehicle, when a vehicle running near the exit of a tunnel looks ahead, the road near the host vehicle becomes dark (dark portion), whereas the road running outside the tunnel is dark. The car becomes brighter (Akebe). When such a state is picked up by a camera, in the image plane, bright portions are crushed by white (saturation of luminance), and dark portions are clogged with black (insufficient sensitivity), and the recognition accuracy of the object is reduced. May be caused.
[0003]
Note that Japanese Patent Application Laid-Open No. 9-266545 proposes an imaging apparatus for recognizing an image of an object having a high gradation (a bright part and a dark part coexist). This imaging device captures an image of a subject at a preset shutter speed (or lens aperture) while periodically changing the camera, and from among the plurality of captured images, an image in which the subject is appropriately captured. select. Then, the selected image is displayed to the operator. In addition, in order to enable a high-gradation subject to be recognized on a single image, an image captured with an exposure time corresponding to a bright part and an image captured with an exposure time corresponding to a dark part are combined. Thus, a method of generating an image in which both light and dark are captured has been proposed. Furthermore, a method has been proposed in which a pair of images captured at exposure times corresponding to the light and dark portions are stereo-processed for each light and dark portion, and the generated distance data is synthesized.
[0004]
[Problems to be solved by the invention]
However, in JP-A-9-266545, the shutter speed only changes periodically. In this monitoring device, since unnecessary captured images are omitted, there is a disadvantage that the amount of information obtained in a time series is reduced. Further, if an attempt is made to compensate for the decrease in the amount of information by narrowing the detection interval, the amount of calculation increases, and therefore, a high processing capacity is required for the apparatus. Furthermore, the method of adding both the light and dark images cannot perform stereo processing on images that are delayed in time, so that it is not possible to obtain distance data necessary for performing three-dimensional processing. is there. Even with such a method, it is possible to achieve temporal coincidence, but there is a problem that the device becomes complicated as compared with the existing device. In addition, the method of synthesizing and generating the distance data also has a problem that the device becomes complicated.
[0005]
Therefore, an object of the present invention is to provide a new monitoring device that monitors a monitoring area.
[0006]
Another object of the present invention is to propose a monitoring device and a monitoring method capable of effectively recognizing a monitoring area with a simple configuration even when a monitoring area includes a bright part and a dark part. .
[0007]
[Means for Solving the Problems]
In order to solve such a problem, a first invention provides a monitoring device that monitors a situation in a monitoring area by using a captured image. This monitoring device includes a first imaging unit, a first calculation unit, a second calculation unit, and an instruction unit. Here, the first imaging unit captures an image of a scene including the monitoring area, and outputs image data of a predetermined luminance gradation whose brightness is adjusted by the adjustment parameter. The first calculation unit sets a first target area in an image plane defined by the image data, calculates a luminance distribution for the first target area, and calculates a mode based on the center of the luminance distribution. A first adjustment parameter is calculated based on the luminance displacement. The second calculating unit sets a second target area different from the first target area on an image plane defined by the image data, calculates a luminance distribution for the second target area, and calculates the luminance distribution. Is calculated as the second adjustment parameter based on the position shift of the most frequent luminance with reference to the center of. The instruction unit determines an adjustment parameter by comparing the first adjustment parameter with the second adjustment parameter, and outputs the adjustment parameter to the first imaging unit.
[0008]
Here, in the first aspect, it is preferable that the first calculation unit and the second calculation unit specify the position of the most frequent luminance in the calculated luminance distribution. In this case, the first calculation unit and the second calculation unit correct the position deviation of the mode luminance from the position deviation of the mode luminance based on the correspondence between the position deviation of the mode luminance set in advance and the adjustment parameter. It is preferable to calculate the adjustment parameter to be used.
[0009]
Further, in the first invention, when the difference between the first adjustment parameter and the second adjustment parameter is equal to or smaller than a predetermined threshold, the instruction unit averages the first adjustment parameter and the second adjustment parameter. It is preferable that the value be an adjustment parameter output to the first imaging unit.
[0010]
Further, in the first invention, when the difference between the first adjustment parameter and the second adjustment parameter is larger than a predetermined threshold value, the instruction unit compares the first adjustment parameter and the second adjustment parameter with each other. It is preferable to alternately switch at predetermined frame intervals. In this case, it is preferable that the instruction unit sets one of the first adjustment parameter and the second adjustment parameter as an adjustment parameter to be output to the first imaging unit.
[0011]
Further, in the first invention, in addition to the above-described configuration, a second imaging unit, a stereo processing unit, and an object recognition unit may be further provided. The second imaging unit captures a scene including the monitoring area, outputs image data of a predetermined luminance gradation adjusted in brightness by the adjustment parameter, and cooperates with the first imaging unit. Functions as a stereo camera. The stereo processing unit calculates distance data by stereo matching based on the image data output from the first imaging unit and the image data output from the second imaging unit. The object recognition unit recognizes an object in the monitoring area using the distance data.
[0012]
In the first aspect, it is preferable that the first target area is set to an area where the ground is projected on the image plane. In addition, it is preferable that the second target area is set in an image plane, including an area higher than the set position of the first target area, and an area where a three-dimensional object existing on the ground is projected.
[0013]
Further, in the first aspect, it is preferable that the adjustment parameter is one of a shutter speed, a diaphragm of a camera lens, and an amplification gain.
[0014]
A second invention is to provide a monitoring method for monitoring a situation in a monitoring area using a captured image, and has the following steps 1 to 4. Here, in the first step, a scene including the monitoring area is imaged, and image data of a predetermined luminance gradation whose brightness is adjusted by the adjustment parameter is output. In the second step, a first target area is set in an image plane defined by the image data, a luminance distribution for the first target area is calculated, and a mode luminance based on the center of the luminance distribution is set as a reference. The first adjustment parameter is calculated on the basis of the positional deviation of. In the third step, a second target area different from the first target area is set on an image plane defined by the image data, a luminance distribution for the second target area is calculated, and the luminance distribution of the second target area is calculated. The second adjustment parameter is calculated based on the position shift of the most frequent luminance with respect to the center. In the fourth step, the adjustment parameter is determined by comparing the first adjustment parameter and the second adjustment parameter, and the brightness of the image data is readjusted by feeding back the adjustment parameter.
[0015]
Here, in the second invention, the second step and the third step are a step of specifying the position of the mode luminance in the calculated luminance distribution, and a step of adjusting the position of the mode luminance defined in advance. And calculating an adjustment parameter from the positional shift of the most frequent luminance based on the correspondence relationship with the parameter.
[0016]
Further, in the second invention, the fourth step includes the step of: if the difference between the first adjustment parameter and the second adjustment parameter is equal to or less than a predetermined threshold value, the first adjustment parameter and the second adjustment parameter It is preferable to include the step of setting the average value of
[0017]
Further, in the second invention, the fourth step includes, when a difference between the first adjustment parameter and the second adjustment parameter is larger than a predetermined threshold, the first adjustment parameter and the second adjustment parameter. Are alternately switched at predetermined frame intervals. In this case, it is preferable that the fourth step includes a step of setting one of the first adjustment parameter and the second adjustment parameter as an adjustment parameter.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram of the stereo monitoring apparatus according to the present embodiment. The stereo monitoring device according to the present embodiment is an external monitoring device that monitors a running situation in front of the host vehicle. This device has a pair of imaging units 1a and 1b, and each imaging unit 1a and 1b captures an image of a scene in front of the host vehicle. These imaging units 1a and 1b function as a stereo camera by cooperating with each other. Then, each of the imaging units 1a and 1b outputs image data of a predetermined luminance gradation whose brightness has been adjusted by the adjustment parameter.
[0019]
The imaging unit 1a has a main camera 2 and an A / D converter 4 connected to a subsequent stage. Similarly, the imaging unit 1b includes a sub camera 3 and an A / D converter 5 connected to a subsequent stage. These cameras 2 and 3 are mounted near a room mirror in a vehicle, and each of the cameras 2 and 3 has an image sensor such as a CCD or a CMOS sensor built therein. The main camera 2 captures a reference image (right image) necessary for performing stereo image processing, and the sub camera 3 captures a comparison image (left image). In a state where the respective analog images are synchronized with each other, the analog images output from the cameras 2 and 3 are converted into predetermined luminance gradations (for example, 256 gradation gray scales) corresponding to the brightness by the A / D converters 4 and 5. Scale) digital image.
[0020]
A pair of image data (stereo image data) output from the imaging units 1a and 1b are subjected to luminance correction, geometric conversion of the image, and the like in the image correction unit 6. Usually, since the mounting positions of the pair of cameras 2 and 3 have an error although varying in degree, a shift due to the error occurs in each of the left and right images. In order to correct this shift, geometric transformation such as rotation or translation of the image is performed using affine transformation or the like.
[0021]
Through such image processing, reference image data is obtained from the main camera 2 and comparison image data is obtained from the sub camera 3. These image data are a set of luminance values (0 to 255) of each pixel existing in the individually set effective image area. The ij coordinate system on the image plane uses the lower left corner of the image as the origin, the horizontal direction as the i coordinate axis, and the vertical direction as the j coordinate axis. Stereo image data corresponding to one frame, which is the minimum display unit of one image, is output to the subsequent stereo image processing unit 7 and stored in the image data memory 8.
[0022]
The stereo image processing unit 7 calculates distance data for a captured image corresponding to one frame based on the reference image data and the comparison image data. Here, “distance data” is a set of parallaxes d calculated from a captured image corresponding to one frame, and each parallax d is associated with a position (i, j) on an image plane. Since the parallax d is calculated using a pixel block having a predetermined area (for example, 4 × 4 pixels) constituting a part of the reference image as a calculation unit, the parallax d and the pixel block have a one-to-one relationship.
[0023]
FIG. 2 is an explanatory diagram of a pixel block set in the reference image. For example, when the reference image is composed of 200 × 512 pixels, a parallax group corresponding to the number of pixel blocks PBij (50 × 128) can be calculated from a captured image corresponding to one frame. As is well known, the parallax d is the amount of displacement in the horizontal direction with respect to the pixel block PBij, which is the unit of calculation, and has a large correlation with the distance to the object projected on the pixel block PBij. That is, the closer the object projected in the pixel block PBij is to the cameras 2 and 3, the larger the parallax d of the pixel block PBij becomes, and the farther the object is, the smaller the parallax d becomes. d becomes 0).
[0024]
When calculating the parallax d for a certain pixel block PBij, an area (correlation destination) having a correlation with the luminance characteristic of the pixel block PBij (correlation source) is specified in the comparison image. As described above, the distance from the cameras 2 and 3 to the object appears as a horizontal shift amount between the reference image and the comparison image. Therefore, when searching for the correlation destination in the comparison image, it is sufficient to search on the same horizontal line (epipolar line) as the j coordinate of the pixel block Pij that is the correlation source. The stereo image processing unit 7 determines the correlation between the correlation source and the correlation destination candidate while shifting the epipolar line by one pixel within a predetermined search range set based on the i coordinate of the correlation source. Evaluate sequentially (stereo matching). Then, in principle, the horizontal shift amount of the correlation destination (one of the correlation destination candidates) determined to have the highest correlation is set as the parallax d of the pixel block PBij.
[0025]
The correlation between two pixel blocks can be evaluated, for example, by calculating a city block distance CB. Equation 1 shows the basic form of the city block distance CB. In the equation, p1ij is the luminance value of the ij-th pixel of one pixel block, and p2ij is the ij-th luminance value of the other pixel block. The city block distance CB is a total sum of the difference (absolute value) between the pair of the luminance values p1ij and p2ij corresponding to the position in the entire pixel block. The smaller the difference, the larger the correlation between the two pixel blocks. I have.
(Equation 1)
CB = Σ | p1ij−p2ij |
[0026]
Basically, among the city block distances CB calculated for each pixel block existing on the epipolar line, the pixel block having the minimum value is determined as the correlation destination. The amount of deviation between the correlation destination and the correlation source specified in this way is the parallax d. The hardware configuration of the stereo image processing unit 7 for calculating the city block distance CB is disclosed in Japanese Patent Application Laid-Open No. H5-114099. The distance data calculated through such processing, that is, the set of parallaxes d associated with the position (i, j) on the image is output to the distance data memory 9.
[0027]
The microcomputer 10 includes a CPU, a ROM, a RAM, an input / output interface, and the like. When the microcomputer 10 is functionally grasped, the microcomputer 10 includes a calculation unit 11, an instruction unit 12, an object recognition unit 13, and a control unit 14. .
[0028]
The calculating unit 11 sets a predetermined target area on an image plane defined by reference image data (hereinafter, simply referred to as “image data”) stored in the image data memory 8, and sets a luminance for the predetermined target area. Calculate the distribution. That is, the area for which the luminance is to be evaluated is not limited to the entire image but to a part thereof. Then, the calculation unit 11 calculates the adjustment parameter based on the position shift of the most frequent luminance (the luminance value with the highest appearance frequency) with reference to the center of the luminance distribution. The value of this adjustment parameter is a value that suitably sets the brightness of this limited target area (area to be evaluated), in other words, the brightness value at the center of the brightness distribution for this area is the most frequent brightness. Value. The adjustment parameter may be any parameter that can adjust the brightness of the image. In the present embodiment, the shutter speeds of the cameras 2 and 3 are used.
[0029]
The calculation unit 11 sets a plurality of target areas on the image plane in consideration of the tendency of the position on the image plane where the target object is projected. In the present embodiment, the calculator 11 has a first calculator 11a and a second calculator 11b. The first calculation unit 11a sets an area where the ground (road surface) is projected on the image plane as a first target area. Then, the first adjustment parameter θ1 is calculated based on the luminance distribution calculated for the first target area. On the other hand, the second calculation unit 11b calculates, in the image plane, an area including a position above the set position of the first target area and in which a three-dimensional object (such as a preceding vehicle) existing on the ground is projected as a second target area. Set as Then, a second adjustment parameter θ2 is calculated based on the luminance distribution calculated for the second target area. In the following description, the first calculation unit 11a, the first target area, and the first adjustment parameter are referred to as a ground parameter calculation unit 11a, a ground area, and a ground parameter, respectively. Similarly, the second calculation unit 11b, the second target area, and the second adjustment parameter are referred to as a three-dimensional object parameter calculation unit 11b, a three-dimensional object area, and a three-dimensional object parameter, respectively. The ground parameter θ1 and the three-dimensional object parameter θ2 calculated by the calculation units 11a and 11b are output to the instruction unit 12.
[0030]
The instruction unit 12 determines the adjustment parameter θcam by comparing the ground parameter θ1 and the three-dimensional object parameter θ2, and instructs the adjustment parameter θcam to the pair of imaging units 1a and 1b. In the present embodiment, this instruction is performed by outputting a signal corresponding to the adjustment parameter θcam to each of the imaging units 1a and 1b.
[0031]
The instruction unit 12 outputs the image mode Mpic to the calculation unit 11 and the object recognition unit 13 together with the instruction of the adjustment parameter θcam. The image mode Mpic indicates what adjustment parameter θcam is used to adjust the brightness of the frame to be processed. In other words, the calculating unit 11 and the object recognizing unit 13 grasp which target area the frame to be processed is imaged by focusing on the output image mode Mpic.
[0032]
The instruction unit 12 handles the adjustment parameter θcam regarding the initial mode, that is, the image corresponding to the first frame, as a predetermined adjustment parameter θs that is common to the ground area and the three-dimensional object area.
[0033]
The object recognition unit 13 recognizes an object in the monitoring area based on the image data stored in the image data memory 8 or the distance data stored in the distance data memory 9. Here, the target object is a ground (a road and a lane, etc.) or a three-dimensional object (a traveling vehicle, an obstacle, etc.). Specifically, the three-dimensional shape of the road surface including the lane (white line) is recognized. In addition, a three-dimensional object including a preceding vehicle and side walls (guardrails and the like) is also recognized. In addition, the target object recognition unit 13 stores the recognized information of the ground and the three-dimensional object (for example, a position in a real space) in, for example, a RAM area of the microcomputer 10.
[0034]
The control unit 14 operates an alarm device such as a monitor or a speaker when it is determined based on the recognition result by the object recognition unit 13 that a warning to the driver is necessary. Further, the control unit 14 may control the actuators as necessary to perform vehicle control such as downshifting and brake control.
[0035]
In this embodiment, the shutter speeds of the cameras 2 and 3 are used as the adjustment parameter θcam. By changing the shutter speed, the brightness of the output image data is adjusted. When the shutter speed is increased (the exposure amount is reduced), even when a bright object is imaged, the image plane defined by the output image data expresses a clear image without whiteout. On the other hand, if the shutter speed is reduced (exposure amount is increased), even when a dark object is imaged, the image plane expresses a clear image without blackening.
[0036]
FIG. 4 is a flowchart of a routine for setting the adjustment parameter θcam. This routine is called at a predetermined interval (in this embodiment, at an interval of 0.1 second) and executed by the microcomputer 10.
[0037]
First, in step 1, the calculation unit 11 reads image data corresponding to one frame from the image data memory 8.
[0038]
Next, in Step 2, the calculation unit 11 calculates an adjustment parameter for each target area. FIG. 5 is a flowchart (adjustment parameter calculation routine) showing a procedure related to detailed adjustment parameter calculation in step 2. First, in step 20, the ground parameter calculation unit 11a fixedly or variably sets the ground area on the image plane. As described above, the ground area to be set may be an area in which the ground is frequently projected on the image plane, and need not always be an area that completely matches the ground. In the present embodiment, the ground parameter calculation unit 11a sets the ground (for example, a trapezoidal area shown in FIG. 3) on the lower side of the image, where the probability that a road or a white line is projected is high.
[0039]
In step 21, the ground parameter calculation unit 11a calculates a luminance distribution (histogram) for the set ground area. This luminance distribution is calculated by, for example, classifying luminance gradations of 0 to 255 into 16 divisions of 16 luminance gradations, searching for luminance values of pixels corresponding to the ground area, and counting the corresponding divisions. Is done. For example, when the own vehicle is traveling near the exit of the tunnel, the frequency distribution of the ground area on the image plane is usually such that the luminance distribution is biased to the dark side (left side) as shown in FIG. (Black clogged).
[0040]
In step 22, the ground parameter calculation unit 11 a uses the ground parameter θ 1 as an adjustment parameter for correcting the positional deviation of the most frequent luminance (section Bmax) based on the center Bc of the luminance distribution based on the calculated luminance distribution. Is calculated as Specifically, first, in the calculated luminance distribution, the position of the most frequent luminance (section Bmax) is specified, and then the displacement of the most frequent luminance Bmax with respect to the center Bc is specified. Then, based on the correspondence between the predetermined mode luminance shift and the adjustment parameter, the adjustment parameter for correcting the mode shift from the mode shift (arrow in the drawing) is the ground parameter θ1. Is calculated as For example, the ground parameter calculation unit 11a holds a table that defines this correspondence or a calculation formula that defines this correspondence, and uses this to specify the adjustment parameter from the mode shift of the most frequent luminance. .
[0041]
In the case of the luminance distribution illustrated in FIG. 6, the position of the mode luminance Bmax is shifted to the left by 5 divisions with respect to the center Bc of the luminance distribution (this is quantitatively expressed and expressed as “−5”). Become. When the table is used, the parameter value corresponding to the displacement “−5” is searched, and the ground parameter θ1 is specified. When a calculation formula is used, the ground parameter θ1 is calculated by substituting the displacement “−5” into the calculation formula. In the situation where the vehicle is traveling near the exit of the tunnel, since the ground area is dark, the ground parameter θ1 calculated from the ground area acts to decrease the shutter speed, that is, increase the exposure amount.
[0042]
Similarly, in steps 23 to 25, the three-dimensional object parameter calculation unit 11b fixedly or variably sets the three-dimensional object area on the image plane. Then, a luminance distribution for the three-dimensional object area is calculated, and a three-dimensional object parameter θ2 is calculated based on the position shift of the most frequent luminance in the luminance distribution. Here, the three-dimensional object area may be any area where the three-dimensional object is frequently displayed on the image plane, similarly to the ground area, and does not necessarily need to be an area that always completely matches the three-dimensional object. In the present embodiment, the three-dimensional object parameter calculation unit 11b sets, as a three-dimensional object area, an area (rectangular area shown in FIG. 3) on the upper side of the image where a three-dimensional object (preceding vehicle or obstacle) is likely to be projected. I have identified. Further, the ground area and the three-dimensional object area are set as different areas on the image plane, but may be in a state of partially overlapping as shown in FIG. For example, in a traveling state in which the own vehicle is traveling near the exit of the tunnel and the preceding vehicle is outside the tunnel, the frequency distribution of the three-dimensional object area usually has a luminance distribution on the light side (see FIG. 7). The distribution is biased to the right (right side) (white crushed state).
[0043]
In the case of the luminance distribution illustrated in FIG. 7, the position of the most frequent luminance Bmax is a position shifted six divisions to the right with respect to the center Bc of the luminance distribution (this is quantitatively expressed and expressed as “+6”). . The three-dimensional object parameter calculation unit 11b calculates the three-dimensional object parameter θ2 corresponding to the displacement “+6” using a table or a calculation formula, similarly to the ground parameter calculation unit 11a. In a situation where the vehicle is traveling near the exit of the tunnel, the three-dimensional object area is bright, and the three-dimensional object parameter θ2 calculated from the three-dimensional object area acts to increase the shutter speed, that is, decrease the exposure amount.
[0044]
Next, the instruction unit 12 determines the adjustment parameter θcam by comparing the ground parameter θ1 with the three-dimensional object parameter θ2. The determined adjustment parameter θcam is fed back to the imaging units 1a and 1b, and the brightness of the image data is readjusted. Specifically, in step 3 following step 2, it is determined whether or not the absolute value | θ1−θ2 | of the difference between the ground parameter θ1 and the three-dimensional object parameter θ2 is equal to or smaller than a predetermined threshold value θth. . When an affirmative determination is made in this step, that is, when it is determined that the brightness (luminance distribution) of the image in the ground area and the three-dimensional object area is substantially the same, the indicating unit 12 is displayed in each area. It is determined that the object can be recognized from the same image. In this case, the instruction unit 12 sets the adjustment parameter θcam to θ3, sets the image mode Mpic to M3, and exits this routine (step 4). Here, θ3 is an average value of the ground parameter θ1 and the three-dimensional object parameter θ2. M3 indicates that the image captured by the adjustment parameter θcam (θ3) is captured focusing on the ground area and the three-dimensional object area.
[0045]
In response to an instruction from the instruction unit 12, the shutter speeds of the cameras 2 and 3 constituting the imaging units 1a and 1b are adjusted to θ3. As a result, the cameras 2 and 3 have shutter speeds for appropriately capturing the brightness of both the ground area and the three-dimensional object area, and an object that can be recognized in both areas is displayed on the image plane output thereby. Further, in response to an instruction from the instruction unit 12, the object recognition unit 13 performs recognition of the object based on the image mode M3. Specifically, the object recognition unit 13 recognizes both the ground and the three-dimensional object using the data (including the image data and the distance data) adjusted based on the adjustment parameter θ3. The recognition of the ground and the three-dimensional object is performed by well-known road detection processing and three-dimensional object detection processing based on the image data and the distance data. Information including the specified ground and the position of the three-dimensional object is stored in the RAM area of the microcomputer 10 as needed.
[0046]
In the road detection processing, the road shape is specified by modifying and changing the parameters of the road model based on the image data or the distance data so as to correspond to the actual road shape. This road model is specified by a horizontal straight line formula and a vertical straight line formula in a real space coordinate system. This straight line formula can be calculated by dividing the own lane on the road into a plurality of sections according to the set distance, and connecting the white lines on the left and right for each section in a three-dimensional linear formula and connecting them in a polygonal line. It is.
[0047]
On the other hand, in the three-dimensional object detection processing, the distance data is divided at predetermined intervals in a grid pattern, and three-dimensional object data is extracted for each division to create a histogram. From this histogram, the position of the three-dimensional object representing each section and the distance thereof are obtained. Next, the distance of each section is sequentially compared from the left to the right of the image, and those having a short distance in the front-rear direction and the horizontal direction are grouped. Then, the arrangement direction of the data is checked for each group, and the group is divided at a portion where the arrangement direction greatly changes, and each group is classified into a three-dimensional object or a side wall based on the arrangement direction of the distance data as a whole group. You. Then, for the group classified as a three-dimensional object, the average distance, the position of the (left and right) end, and the like are calculated as parameters from the distance data in the group. On the other hand, for the group classified as the side wall, the arrangement direction, the position of the (front and rear) end, and the like are calculated as parameters.
[0048]
Then, the control unit 14 gives a warning to the driver or controls the vehicle based on the recognized distance from the preceding vehicle and the road condition. In this way, the stereoscopic monitoring device sets the average value of the ground parameter θ1 and the three-dimensional object parameter θ2 as the adjustment parameter θcam when the brightness and the darkness are not separated in the ground and the three-dimensional object area, that is, when there is no difference in brightness. Used.
[0049]
On the other hand, when a negative determination is made in step 3, that is, when it is determined that the brightness of the ground area is different from the brightness of the three-dimensional object area (for example, the brightness distribution is as shown in FIGS. 6 and 7) The instructing unit 12 determines that the object projected in each area cannot be recognized from the same image. In this case, the process proceeds to step 5, where it is determined whether or not the current image mode Mpic is M3. If an affirmative determination is made in step 5, the instruction unit 12 determines that a difference in brightness has begun to occur between the ground area and the three-dimensional object area (both areas can be imaged at the same shutter speed in the previous frame). Met). In this case, the instruction unit 12 sets, for example, the ground parameter θ1 as the adjustment parameter θcam, sets the image mode Mpic to M1, and exits this routine (step 6). Here, M1 indicates that the image captured using the adjustment parameter θcam is an image captured using the adjustment parameter corresponding to only the ground area.
[0050]
In response to an instruction from the instruction unit 12, the shutter speeds of the cameras 2 and 3 constituting the imaging units 1a and 1b are adjusted to θ1. As a result, the cameras 2 and 3 have shutter speeds for appropriately capturing the brightness of the ground area, and an object that can be recognized in the ground area is displayed on the image plane output thereby. Further, in response to the instruction from the instruction unit 12, the object recognition unit 13 calculates the position of the object in the real space based on the M1 image mode.
[0051]
Specifically, the target object recognizing unit 13 focuses on the ground area of the output data to which the adjustment parameter θ1 is applied, and recognizes only the ground. If necessary, the object recognition unit 13 reads the information of the three-dimensional object stored in the RAM area, and determines the state of the three-dimensional object in consideration of the current traveling state (speed, steering angle, and the like). It may be estimated. This is because, in the output data to which the adjustment parameter θ1 is applied, the target object projected on the three-dimensional object area becomes unrecognizable (not visible). For example, as the estimation method, the position of the read three-dimensional object is specified (three-dimensionally), and after 0.1 second (predetermined interval) in consideration of the vehicle speed and the steering angle of the own vehicle. For example, the position of a three-dimensional object is calculated. When the three-dimensional object is recognized as a preceding vehicle, more effective recognition can be performed by taking the speed of the preceding vehicle into consideration. The information including the position of the specified ground (or the estimated three-dimensional object) is stored in the RAM area of the microcomputer 10 and updated.
[0052]
Then, the control unit 14 gives a warning to the driver or controls the vehicle based on the road condition (and further taking into account the estimated state of the preceding vehicle). As described above, the stereo monitoring device uses one of the ground parameter θ1 and the three-dimensional object parameter θ2 as the adjustment parameter θcam when the brightness and the darkness are separated in the ground and the three-dimensional object area.
[0053]
On the other hand, if a negative determination is made in step 5, it is determined that the brightness differs between the ground area and the three-dimensional object area following the previous frame. In this case, the process proceeds to step 7, where it is determined whether the image mode is M1. If an affirmative determination is made in this step, the instruction unit 12 determines that the image mode of the previous frame is M1, that is, the image is captured in a state suitable for the ground area (dark area). In this case, the instruction unit 12 sets the adjustment parameter θcam of the frame to be processed to θ2, sets the image mode Mpic to M2, and exits this routine in order to focus on the three-dimensional object area and perform imaging (see FIG. Step 8). In other words, when the difference between the ground parameter θ1 and the three-dimensional object parameter θ2 is larger than the determination value θ (further, when this occurs continuously), the instruction unit 12 determines the ground parameter θ1 and the three-dimensional object parameter θ2. Switching is performed alternately at one-frame intervals. Here, M2 indicates that the image captured by the adjustment parameter θcam is an image captured by the adjustment parameter corresponding to the three-dimensional object area.
[0054]
In response to an instruction from the instruction unit 12, the shutter speeds of the cameras 2 and 3 constituting the imaging units 1a and 1b are adjusted to θ2. As a result, the cameras 2 and 3 have shutter speeds for appropriately photographing the brightness of the three-dimensional object area, and a recognizable target object is displayed in the three-dimensional object area on the image plane output thereby. Further, in response to the instruction from the instruction unit 12, the object recognition unit 13 calculates the position of the object in the real space based on the M2 image mode.
[0055]
Specifically, the target object recognition unit 13 focuses on the three-dimensional object area of the output data to which the adjustment parameter θ2 has been applied, and recognizes only the three-dimensional object. If necessary, the target object recognition unit 13 may read the ground information stored in the RAM area and estimate the state of the ground in consideration of the current traveling information. This is because, in the output data to which the adjustment parameter θ2 is applied, the target object projected on the ground area becomes unrecognizable (not visible). For example, as this estimation method, the read ground position is specified, and the ground position after 0.1 second is estimated in consideration of the vehicle speed and the steering angle. Information including the position of the specified three-dimensional object (or the ground) is stored in the RAM area of the microcomputer 10.
[0056]
Then, the control unit 14 gives a warning to the driver or controls the vehicle based on the information of the recognized three-dimensional object (and further, by taking into account the estimated ground state). As described above, the stereoscopic monitoring device sets one of the ground parameter θ1 and the three-dimensional object parameter θ2 as the adjustment parameter θcam at one-frame intervals when light and dark are continuously separated in the ground area and the three-dimensional object area.
[0057]
On the other hand, when a negative determination is made in step 7, the instruction unit 12 determines that the imaging mode of the previous frame is M2, that is, the image is captured in a state suitable for the three-dimensional object area (bright part). . In this case, the instruction unit 12 sets the adjustment parameter θcam to θ1, sets the image mode Mpic to M1, and exits this routine (step 9).
[0058]
In response to an instruction from the instruction unit 12, the shutter speeds of the cameras 2 and 3 constituting the imaging units 1a and 1b are adjusted to θ1. Further, in response to the instruction from the instruction unit 12, the object recognizing unit 13 calculates the position of the object in the real space based on the M1 image mode, as in the method described above. Then, the object recognition unit 13 recognizes the traveling state by considering the information of the ground recognized from the distance data and the estimated three-dimensional object, and makes this correspond to the distance data. Information including the position of the specified ground (or three-dimensional object) is stored in the RAM area of the microcomputer 10. Based on the recognized information, the control unit 14 gives a warning to the driver or controls the vehicle.
[0059]
In the above description, when the calculation unit 11 reads the image data and the image mode at this time is M1, the three-dimensional object parameter calculation unit 11b does not perform the parameter calculation from this image and returns to the previous frame. Is output again (the processing of steps 23 to 25 is skipped). On the other hand, the ground parameter calculation unit 11a calculates the ground parameter θ1 from the read image data as described above. Because, when the image mode is M1, the frame to be processed is an image in which the brightness of the ground area is appropriately set, and the adjustment parameter is adjusted ignoring the brightness of the three-dimensional object area. Because. Therefore, at this time, the three-dimensional object parameter θ1 calculated from the luminance distribution of the three-dimensional object area is meaningless, and it is not necessary to adjust the brightness of the image.
[0060]
Similarly, when the image data is determined to be in the image mode M2, the ground parameter calculation unit 11a does not perform the parameter calculation from this image, and outputs the ground parameter θ1 calculated in the processing of the previous frame again. On the other hand, the three-dimensional object parameter calculation unit 11b calculates a three-dimensional object parameter θ2 from the image data output this time. If the image data is M3, the process is performed as in step 2 described above.
[0061]
As described above, according to the stereoscopic monitoring apparatus of the present embodiment, the monitoring control is performed by the object recognition unit 13, and the determination of the image output mode related to the monitoring control is performed in real time by the instruction unit 12. I have. When there is no difference in brightness between the ground and the three-dimensional object area, the stereo monitoring device uses the average value of the ground parameter θ1 and the three-dimensional object parameter θ2 as the adjustment parameter θcam. As a result, in the image data whose brightness has been adjusted by the adjustment parameter θcam, it is possible to recognize the target object projected on each area. On the other hand, when light and shade are separated in the ground and the solid object area, one of the ground parameter θ1 or the solid object parameter θ2 is set as the adjustment parameter θcam at one frame interval. As a result, in the image data whose brightness has been adjusted by the adjustment parameter θcam, it is possible to alternately recognize the object projected on each area every time the image data is output. Thereby, it is possible to prevent a state in which recognition is not possible on the entire image plane, so that it is possible to improve the reliability of the stereo monitoring apparatus. In addition, since it can be realized with the existing configuration of the conventional stereo monitoring apparatus, it is possible to prevent the apparatus from becoming complicated.
[0062]
In the present embodiment, the adjustment parameter is not limited to the shutter speed, and may be any one of the apertures of the lenses of the cameras 2 and 3 or the gain of the amplification of the output signals of the cameras 2 and 3. Further, a plurality of these parameters can be used as the adjustment parameters.
[0063]
Further, the target area on the image has been described as being divided into two, that is, a three-dimensional object and the ground. However, the present invention is not limited to this, and the target area can be further divided. However, since the image recognition is performed while being alternately switched, it is preferable to set the processing speed and the recognition accuracy at the same time.
[0064]
In the present embodiment, when the difference between the ground parameter θ1 and the three-dimensional object parameter θ2 is larger than the predetermined threshold value θth, the adjustment parameter is switched at one frame interval. You may. For example, the instructing unit 12 switches the ground parameter θ1 and the three-dimensional object parameter θ2 at an interval of two frames or a frame interval within a practicable range.
[0065]
【The invention's effect】
As described above, according to the present invention, in the brightness state of an area set on the image plane, an image is acquired so as to switch the area. Thereby, it is possible to perform effective recognition regardless of the brightness of the target object, without making both saturation and lack of luminance compatible on the same image.
[Brief description of the drawings]
FIG. 1 is a block diagram of a stereo monitoring apparatus according to an embodiment;
FIG. 2 is an explanatory diagram of a pixel block set in a reference image.
FIG. 3 is an explanatory diagram of a target area set in a reference image.
FIG. 4 is a flowchart of a routine for setting an adjustment parameter θ;
FIG. 5 is a flowchart showing a procedure relating to parameter calculation.
FIG. 6 is a luminance distribution diagram as an example of a ground area.
FIG. 7 is a luminance distribution diagram as an example of a three-dimensional object area;
[Explanation of symbols]
1a Imaging unit
1b Imaging unit
2 Main camera
3 Sub camera
4 A / D converter
5 A / D converter
6 Image correction unit
7 Stereo image processing unit
8 Image data memory
9 Distance data memory
10. Microcomputer
11 Calculation unit
11a Ground parameter calculation unit
11b Three-dimensional object parameter calculation unit
12 Indicator
13 Object Recognition Unit
14 Control unit

Claims

Using a captured image, in a monitoring device for monitoring the situation in the monitoring area,
A first imaging unit that captures an image of a scene including the monitoring area and outputs image data of a predetermined luminance gradation whose brightness is adjusted by an adjustment parameter;
In the image plane defined by the image data, a first target area is set, a luminance distribution for the first target area is calculated, and a position shift of the most frequent luminance based on the center of the luminance distribution is performed. A first calculation unit for calculating a first adjustment parameter based on the first calculation parameter;
In an image plane defined by the image data, a second target area different from the first target area is set, a luminance distribution for the second target area is calculated, and a center of the luminance distribution is set as a reference. A second calculation unit that calculates a second adjustment parameter based on the mode deviation of the most frequent luminance,
An instruction unit configured to determine the adjustment parameter by comparing the first adjustment parameter and the second adjustment parameter, and to output the adjustment parameter to the first imaging unit. Monitoring device.

The first calculation unit and the second calculation unit specify a position of the mode luminance in the luminance distribution, and determine a correspondence relationship between a predetermined positional shift of the mode luminance and the adjustment parameter. The monitoring apparatus according to claim 1, wherein, based on the mode deviation of the mode luminance, the adjustment parameter for correcting the position deviation is calculated based on the mode deviation.

The instruction unit, when a difference between the first adjustment parameter and the second adjustment parameter is equal to or less than a predetermined threshold value, calculates an average value of the first adjustment parameter and the second adjustment parameter. The monitoring device according to claim 1, wherein the monitoring device is an adjustment parameter.

When the difference between the first adjustment parameter and the second adjustment parameter is larger than a predetermined threshold value, the instruction unit sets the first adjustment parameter and the second adjustment parameter in a predetermined frame. The monitoring device according to claim 1, wherein one of the first adjustment parameter and the second adjustment parameter is set as the adjustment parameter by alternately switching at intervals. 5. .

It functions as a stereo camera by imaging a scene including the monitoring area, outputting image data of a predetermined luminance gradation adjusted in brightness by the adjustment parameter, and cooperating with the first imaging unit. A second imaging unit to perform
A stereo processing unit that calculates distance data by stereo matching based on image data output from the first imaging unit and image data output from the second imaging unit;
The monitoring apparatus according to any one of claims 1 to 4, further comprising: an object recognition unit that recognizes an object in the monitoring area using the distance data.

The first target area is set in the image plane as an area where the ground is projected,
The second target area includes an area above the set position of the first target area on the image plane, and is set to an area where a three-dimensional object existing on the ground is projected. A monitoring device according to any one of claims 1 to 5.

7. The monitoring device according to claim 1, wherein the adjustment parameter is one of a shutter speed, a diaphragm of a camera lens, and an amplification gain.

In a monitoring method of monitoring a situation in a monitoring area using a captured image,
A first step of capturing an image of a scene including the monitoring area and outputting image data of a predetermined luminance gradation whose brightness is adjusted by an adjustment parameter;
In the image plane defined by the image data, a first target area is set, a luminance distribution for the first target area is calculated, and a position shift of the most frequent luminance based on the center of the luminance distribution is performed. A second step of calculating a first adjustment parameter based on:
In an image plane defined by the image data, a second target area different from the first target area is set, a luminance distribution for the second target area is calculated, and a center of the luminance distribution is set as a reference. A third step of calculating a second adjustment parameter based on the mode deviation of the most frequent luminance,
A fourth step of determining the adjustment parameter by comparing the first adjustment parameter with the second adjustment parameter, and re-adjusting the brightness of the image data by feeding back the adjustment parameter; And a monitoring method comprising:

The second step and the third step include:
Identifying the position of the most frequent luminance in the calculated luminance distribution;
Calculating the adjustment parameter for correcting the positional deviation from the positional deviation of the most frequent luminance based on the correspondence between the positional deviation of the mode luminance defined in advance and the adjustment parameter. 9. The monitoring method according to claim 8, wherein:

The fourth step includes, when a difference between the first adjustment parameter and the second adjustment parameter is equal to or less than a predetermined threshold, an average value of the first adjustment parameter and the second adjustment parameter. 10. The monitoring method according to claim 8, further comprising the step of setting the following as the adjustment parameter.

In the fourth step, when a difference between the first adjustment parameter and the second adjustment parameter is larger than a predetermined threshold value, the first adjustment parameter and the second adjustment parameter are set to a predetermined value. The method according to any one of claims 8 to 10, further comprising the step of setting one of the first adjustment parameter and the second adjustment parameter as the adjustment parameter by alternately switching the frame at the following frame interval. Monitoring method described in.