JP2007104171A - 前方監視装置 - Google Patents

Abstract

【課題】先行車両と道路敷設体とを区別し、道路敷設体によるデータを除去して先行車両の監視を行うことができる前方監視装置を提供する。
【解決手段】カメラ１により自車前方の画像を取得して逆投影画像を生成する（Ｓ１０１Ｓ１０２）。レーダ３により自車前方の物標を検知する（Ｓ１０３）。逆投影画像上に物標の測距点をマッピングする（Ｓ１０４）。各測距点に対して矩形領域を設定し（Ｓ１０５）、各矩形領域で輝度ヒストグラムを生成する（Ｓ１０６）。次に、輝度半値幅Ｗ１を算出し（Ｓ１０７）、該輝度半値幅Ｗ１が第１閾値Ｔｈ１よりも大きければ、この部分の平均輝度Ｂａｖを算出する（Ｓ１０８→Ｓ１０９）。この平均輝度Ｂａｖが第２閾値Ｔｈ２よりも大きければ、道路敷設体の測距点と判断し（Ｓ１１０→Ｓ１１１）、該当する測距点の相対位置データを使用しない。
【選択図】 図３

Description

この発明は、自動車の前方を監視する前方監視装置、特に、レーダ装置による探知結果とカメラ等の撮像装置による探知結果とを用いて前方監視を行う前方監視装置に関するものである。

従来、自動車の前方に存在する他車等の物標を監視する前方監視装置として、前方の所定領域に電波を送信して物標からの反射波を受信することで物標を探知するレーダ部と、カメラで撮影した前方領域の画像から所望物標を検出する物標画像検出部と、を搭載した装置が、例えば特許文献１〜４のように各種存在する。

特許文献１は、レーダで検知した物標の位置座標を、カメラにより撮像した画像に当てはめる。そして、特許文献１は、レーダで検知した物標の位置座標に対応した領域でのみ画像処理を行って、物標の検知を行う。

特許文献２は、カメラにより撮像した画像に対して所定の画像処理を行って道路上の白線を検出し、該白線の位置からレーダによるデリニエータの検知点を検出する。そして、特許文献２は、レーダによる検知点からデリニエータの検知点を除外し、残った検知点で物標の検知を行う。

特許文献３は、レーダにより自車の走行レーンの前方に存在する先行車両と隣接する走行レーンに存在する先行車両とを検出する。そして、特許文献３は、カメラにより撮像された画像に対して検出された先行車両に基づく部分的な領域を設定し、該領域内で道路上の白線を検出して、自車前方の走行環境を認識する。すなわち、特許文献３は、レーダにより検出される先行車両に基づき、先行車両を検出する領域と白線を検出する領域とを区分している。

特許文献４は、レーダにより自車の前方に存在する車両を検出し、該検出車両を含む所定領域で監視するとともに、検知車両により設定される所定の画像領域で白線を検出する。すなわち、特許文献４も、特許文献３と同様に、レーダにより検出される先行車両に基づき、先行車両を検出する領域と白線を検出する領域とを区分している。
特許３２６４０６０公報 特開２００２−３０３６７１公報 特許３６１９６２８公報 特開平９−２６４９５４号公報

前述の各特許文献は、レーダにより得られる先行車両の検知結果に基づき、探知領域の全体画像から部分画像領域に絞って先行車両の監視を行うものである。

しかしながら、特許文献１〜４は、自車の前方の物標の検知結果に基づいて先行車両と白線やデリニエータとを区別し、先行車両に準じた部分画像領域を設定するものであるが、先行車両の直後の路面上に進行方向矢印や最高速度表示等の道路敷設体が存在する場合には、これらを先行車両と誤認識してしまう可能性がある。

したがって、本発明の目的は、自車の走行車線上で先行車両付近に道路敷設体が存在しても、先行車両と道路敷設体とを区別し、道路敷設体によるデータを除去して先行車両の監視を行うことができる前方監視装置を提供することにある。

この発明の前方監視装置は、自車の前方を視野方向として前方の道路状況を撮像する撮像部と、自車の前方の所定領域に探知波を放射して該探知波による前方の物標からの反射波を受信することで、自車に対する物標の相対位置を検出するレーダ部と、該レーダ部で検出された物標の相対位置を撮像部で取得した画像にマッピングする物標マッピング部と、相対位置を基準として画像の局部画像領域を指定し、該局部画像領域の輝度分布を解析することで物標の種類を識別して、レーダ部で得られる物標の相対位置データの内、所望物標以外の相対位置データを除去する物標識別部と、所望物標以外を除去する処理を行った後の相対位置データを時系列に連続して取得し、該連続で取得された相対位置データに基づいて所望物標の監視を継続的に行う監視部と、を備えたことを特徴としている。

この構成では、レーダ部は自車前方の物標を検知するとともに物標までの相対距離を算出し、撮像部は自車前方の道路状況を画像として撮像する。物標マッピング部は、検知した相対距離に基づいて、撮像された画像に対して検知した物標検知点をマッピングする。

物標識別部は、物標検知点がマッピングされた画像に対して、物標検知点を基準として所定形状の局部画像領域を指定し、該局部画像領域の輝度分布を解析する。ここで、輝度とは、撮像部（カメラ）により得られる各物標の反射強度を意味するものであり、物標の種類が異なれば、輝度分布が異なる。物標識別部はこれを利用して物標の種類を識別する。例えば、先行車と路面上の矢印等の敷設体とを識別する。物標識別部は、物標の種類を識別すると、所望物標以外の物標の相対位置データを除去して出力する。例えば、敷設体の相対位置データを除去して、先行車の相対位置データのみを出力する。

監視部は、前述の処理により得られた所望物標の相対位置データに基づき、所望物標の監視（検知、追尾）を行う。

また、この発明の前方監視装置の物標マッピング部は、撮像部で取得した画像を自車の前方路面を平面視した画像に変換し、該変換画像に対して物標の相対位置をマッピングすることを特徴としている。

この構成では、物標マッピング部は、取得した画像に物標をマッピングする際に、自車前方を正面視した画像から道路を平面視した画像に変換する。この平面視した画像では、画像上の道路長とレーダ部で得られた相対距離とのが略同等となる。したがって、画像上の物標に対するレーダによる相対位置のマッピングが確実になる。

また、この発明の前方監視装置の物標識別部は、局部画像領域を自車の進行方向を縦方向とし道路の幅方向を横方向とする矩形領域で設定し、横方向の各点に対して縦方向の各点の輝度を積算してなる輝度ヒストグラムを生成し、輝度積算値が予め設定した基準輝度値を超える横方向の幅を検出して、該検出幅が予め設定した第１閾値より大きく、且つ該第１閾値より大きい検出幅部分に対応する輝度積算値の平均が第２閾値より大きい場合に、当該局部画像領域に対応する物標を除去することを特徴としている。

この構成では、具体的に、輝度分布から物標を識別する方法として、物標識別部は、局部画像領域を矩形領域で設定して輝度ヒストグラムを生成する。物標識別部は、輝度ヒストグラムを構成する道路幅方向の各点での輝度積算値を第１閾値と比較し、この第１閾値を超えた輝度積算値の平均を算出して第２閾値と比較する。そして、平均輝度が第２閾値を超える局部画像領域が存在すれば、これに対応する物標の情報を除去する。

また、この発明の前方監視装置は、道路の延びる方向に沿って平行に敷設された複数の白線を検知する白線検知部を備え、物標識別部が、白線検知部の検知した複数の白線の線間距離に準じて局部画像領域の横方向の幅および第１閾値を設定することを特徴としている。

この構成では、物標識別部は、白線検知部が検知した白線に基づいて、物標の相対距離から算出される道路位置の道路幅を算出し、該道路幅から局部画像領域の横方向（道路幅に平行な方向）の幅と第１閾値とを算出する。このような構成とすることで、道路の勾配が変化する等により、画像上に現れる道路幅が急に変わっても、局部画像領域内の輝度分布を一定の状態範囲内に収めることができる。

また、この発明の前方監視装置は、道路の延びる方向に沿って平行に敷設された複数の白線を検知する白線検知部を備え、物標マッピング部が、白線検知部の検知した複数の白線の線間距離の変化に準じて道路の勾配変化を検出するとともに、該勾配変化に基づいて物標の道路の延びる方向に沿った相対位置を補正して、変換画像にマッピングすることを特徴としている。

この構成では、物標マッピング部は、白線検知部が検知した白線を用いて白線間距離を算出し、自車から前方への白線間距離の変化を検知する。ここで、勾配に変化があれば、画像上に表れる線間距離の変化が一定でなくなるので、物標マッピング部は、この変化量に応じて道路の勾配を検出し、この勾配に基づいて、変換画像へのマッピング時の相対位置補正を行う。これにより、画像上の道路長とレーダ部で得られた相対距離とのが略同等となる。したがって、画像上の物標に対するレーダによる相対位置のマッピングがより確実になる。

この発明によれば、レーダにより取得した物標の相対位置データを、輝度分布に基づく画像処理により選別することができる。特に、従来識別できなかった自車の前方で略同方向に存在する先行車と路面上の矢印等の敷設体とを識別して、敷設体の相対位置データのみを除去することができる。これにより、所望物標の相対位置データのみを出力して、この所望物標のみを監視することができる。この結果、所望物標の監視処理が簡素化され、確実に且つ高速に所望物標の監視を行うことができる。

本発明の第１の実施形態に係る前方監視装置について図１〜図７を参照して説明する。
図１は本実施形態の前方監視装置の主要部を示すブロック図である。
図２は本実施形態の前方監視装置の前方監視状況概念を示す図、および、カメラ１で撮像した自車前方の画像を示す図である。
図３は本実施形態の監視処理を示すフローチャートである。

図４（Ａ）は、図２（Ｂ）に示した画像を逆投影した逆投影画像を示し、（Ｂ）はレーダ３で検知した測距点の分布を示し、（Ｃ）は（Ｂ）の測距点を（Ａ）の逆投影画像にマッピングしたマッピング画像を示す図である。

図５は、図４（Ｃ）に示したマッピング画像の各測距点に対して矩形領域を設定した状態を示す図である。

図６は矩形領域３１１の拡大画像および輝度ヒストグラムを示した図であり、図７は矩形領域３２１の拡大画像および輝度ヒストグラムを示した図である。

図１に示すように、本実施形態の前方監視装置は、カメラ１、画像処理部２、レーダ３、レーダ信号処理部４、監視処理部５を備える。画像処理部２は画像変換部２１、マッピング部２２、物標識別部２３を備える。

図２に示すように、カメラ１は、自車１０１のフロント側上部に設置されており、自車１０１の前方が視野範囲２０１となるように設定されている。これにより、カメラ１では、自車１０１の前方の道路状況が随時撮像される。レーダ３は、自車１０１のフロント下部（例えば、フロントバンパの直下）に設置されており、自車１０１の前方の所定方向が指向性の中心となる探知電波２０２を送信し、先行車１０２等の物標からの反射波を受信することで、自車１０１の前方を検知する。このようなレーダ３として、例えば、直進性、指向性の強いレーザレーダを用いる。そして、レーダ３は所定周期で方位角方向（水平方向）に探知電波を走査することで、水平方向の所定角範囲内の物標を探知する。この際、たとえ指向性が強いレーザレーダであっても探知電波に所定の広がりが存在するので、先行車１０２等の所望物標とともに、道路上に敷設された走行車線矢印等の道路敷設体１０３からの反射波を受信し、道路敷設体１０３をも検知する。

次に、図３のフローチャートに沿って図４〜図７を参照して、前方監視処理を具体的に説明する。

カメラ１は、自車１０１撮像した画像を順次画像処理部２の画像変換部２１に出力する（Ｓ１０１）。画像変換部２１は、入力された自車前方正面の画像を逆投影して、自車前方の道路を平面視した逆投影画像（図４（Ａ）参照）を生成する（Ｓ１０２）。このような逆投影画像は、道路を平面視し、自車１０１とそれぞれの物標との距離に応じた長さで、各物標が表示される。すなわち、自車１０１から物標Ａまでの実際の距離をＲＡ、自車１０１から物標Ｂまでの実際の距離をＲＢとしてＲＡ：ＲＢ＝ａ：ｂであれば、逆投影画像上に現れる自車１０１から物標Ａまでの距離ＲＡ’と逆投影画像上に現れる自車１０１から物標Ｂまでの距離ＲＢ’の比も、ａ：ｂとなる。

一方、レーダ３は前述のように探知電波を送信して、反射波を受信することで物標検知データを生成し、レーダ信号処理部４に与える。物標検知データは、探知電波の送信時刻と反射波の受信時刻との時間差データおよび方位角を含む。レーダ信号処理部４は物標検知データに基づき、物標検知点までの相対距離を算出して、この相対距離と方位とで設定される測距点データ（図４（Ｂ）参照）を生成して、マッピング部２２に与える（Ｓ１０３）。

このように、マッピング部２２には、カメラ１が撮像した画像に基づく逆投影画像と、レーダ探知結果に基づく、測距点データとが入力される。

マッピング部２２は、測距点データの相対距離および方位に基づき、図４（Ｃ）に示すように測距点２１１〜２１６，２２１〜２２３を逆投影画像にマッピングする（Ｓ１０４）。この際、逆投影画像を用いることにより、画像上に表される距離が、測距点データの相対距離に一致するので、各測距点２１１〜２１６，２２１〜２２３は、逆投影画像上に表示された先行車１０２や道路敷設体１０３の位置に一致する。具体的には、各測距点２１１〜２１６が先行車１０２の後部下の陰部分に対応し、各測距点２２１〜２２３が道路上に白色ペイントされた矢印である道路敷設体１０３上に一致する。なお、ここで、各測距点が既に先行車１０２や道路敷設体１０３を表すように説明しているが、これは説明の便宜上のことであり、この時点では、それぞれが先行車１０２や道路敷設体１０３であることはまだ認識されていない。

物標識別部２３は、逆投影画像上にマッピングされた各測距点２１１〜２１６，２２１〜２２３をそれぞれ中心にして、所定面積からなる矩形領域３１１〜３１６，３２１〜３２３を設定する（Ｓ１０５）。この際、物標識別部２３は、矩形領域の短手方向を道路の延びる方向とし、長手方向を道路の幅方向とする。矩形領域の短手方向長さおよび長手方向長さは、後述する除去を行う物標、具体的には、道路敷設体１０３の形状により予め設定されている。例えば、図５の場合であれば、長手方向長さを道路敷設体１０３の幅の２〜３倍程度に設定し、短手方向長さを道路敷設体１０３の長さの１／３〜１／４程度に設定する。

物標識別部２３は、各矩形領域３１１〜３１６，３２１〜３２３に対して輝度ヒストグラムを生成する（Ｓ１０６）。具体的には、各矩形領域３１１〜３１６，３２１〜３２３を、それぞれに長手方向にｎ列分割し、短手方向にｍ行分割して、ｎ×ｍの２次元配列されたドットパターンに設定する。次に、長手方向の各列位置に対して、ｍ行分割された短手方向のドット毎の輝度を算出して、これら算出した輝度を積算する。そして、各輝度積算値を長手方向の各列位置に対応させて輝度ヒストグラムを生成する。この際、全ての矩形領域３１１〜３１６，３２１〜３２３の各列の輝度積算値の内で最も高輝度の積算輝度値を１００％とし、最も低輝度の輝度積算値を０％として、各列の輝度積算値を正規化する。このような処理を行うことで、図６（Ｂ）や図７（Ｂ）に示すような輝度ヒストグラムが生成される。

次に、物標識別部２３は、輝度ヒストグラムに基づき、輝度積算値が５０％以上となる列方向の幅Ｗ１（以下、この幅を「半値幅」と称す。）を、各矩形領域３１１〜３１６，３２１〜３２３で算出する（Ｓ１０７）。ここで、この半値幅Ｗ１に対しては予め第１閾値Ｔｈ１が設定されており、物標識別部２３は各矩形領域３１１〜３１６，３２１〜３２３に対して半値幅Ｗ１と第１閾値Ｔｈ１とを比較する。そして、物標識別部２３は、半値幅Ｗ１が第１閾値Ｔｈ１よりも大きいことを検出すると、該当する矩形領域（第１回該当矩形領域）に対して半値幅Ｗ１に対応する各列の輝度積算値を合算して該当列数で除算することで、第１回該当矩形領域毎の平均輝度Ｂａｖを算出する（Ｓ１０８→Ｓ１０９）。一方、物標識別部２３は、半値幅Ｗ１が第１閾値Ｔｈ１以下であることを検出すると、該当する矩形領域に対応する物標を道路敷設体１０３以外のものであると判断する（Ｓ１０８→Ｓ１１２）。

物標識別部２３は、第１回該当矩形領域毎の平均輝度Ｂａｖを算出すると、予め設定した第２閾値Ｔｈ２と比較する。そして、物標識別部２３は、平均輝度Ｂａｖが第２閾値Ｔｈ２より大きいことを検出すると、該当する第１回該当矩形領域に対応する物標を道路敷設体１０３であると判断する（Ｓ１１０→Ｓ１１１）。一方、物標識別部２３は、平均輝度Ｂａｖが第２閾値Ｔｈ２以下であることを検出すると、該当する第１回該当矩形領域に対応する物標を道路敷設体１０３以外のものであると判断する（Ｓ１１０→Ｓ１１２）。

以上のような識別処理の第１閾値Ｔｈ１には、先行車１０２の後方に設置された反射板等や道路敷設体１０３は光の反射率が高く、画像化した場合の輝度が高くなることを利用している。また、第２閾値Ｔｈ２には、先行車１０２からの反射は輝度にムラが存在し、道路敷設体１０３からの反射は輝度にムラが殆ど存在しないことを利用している。

物標識別部２３は、このような物標の識別処理を各矩形領域３１１〜３１６，３２１〜３２３で順に行い、それぞれの矩形領域に対応する物標を道路敷設体１０３かそれ以外に判別する。ここで、図４〜図７に示す例では、前記識別処理により、矩形領域３１１〜３１６に対応する物標が道路敷設体１０３以外のものに識別され、矩形領域３２１〜３２３に対応する物標が道路敷設体１０３に識別される。そして、この物標識別処理が全ての矩形領域３１１〜３１６，３２１〜３２３で終了すれば、各矩形領域３１１〜３１６，３２１〜３２３に対する物標識別結果を、レーダ信号処理部４に出力する（Ｓ１１３→Ｓ１１４）。

レーダ信号処理部４は、入力された物標識別結果に応じて、各測距点２１１〜２１６，２２１〜２２３を、測距点グループ２１０，２２０としてグループ化し、道路敷設体１０３に対応する各測距点のデータを除去し、それ以外を出力する。

例えば、図４〜図７の例では、レーダ信号処理部４は、各矩形領域３１１〜３１６に対応する各測距点２１１〜２１６を測距点グループ２１０としてグループ化するとともに、これらは道路敷設体１０３ではないので、レーダ検知結果（相対位置データ）等を出力する。一方、レーダ信号処理部４は、各矩形領域３２１〜３２３に対応する各測距点２２１〜２２３を測距点グループ２２０とし、これらが道路敷設体１０３であることに基づいて除去し、レーダ検知結果を出力しない。

出力されたレーダ検知結果は監視処理部５に入力され、監視処理部５は、道路敷設体１０３に対応するデータが除去されたレーダ検知結果に基づき、既知の方法でレーダ検知結果を時系列で順次処理し、物標の追尾や相対速度検出等の監視を行う。

このような構成とすることで、道路敷設体等の所望物標（先行車）とは異なる物標のデータが監視処理部に入力されないので、先行車の追尾等の自車前方監視処理を高速化することができる。

次に、第２の実施形態に係る前方監視装置について図８〜図１３を参照して説明する。
図８は本実施形態の前方監視装置の主要部を示すブロック図である。
図９は本実施形態の監視処理を示すフローチャートである。
図１０（Ａ）はカメラ１で撮像した自車前方の画像を示し、（Ｂ）はレーダ３で検知した測距点の分布を示し、（Ｃ）は、勾配補正を行うことなく（Ｂ）の測距点を（Ａ）の逆投影画像にマッピングしたマッピング画像を示す図である。
図１１は勾配補正方法を説明するための説明図である。
図１２は勾配補正を行った状態における（Ｂ）の測距点を（Ａ）の逆投影画像にマッピングしたマッピング画像を示す図である。
図１３は、矩形領域設定方法を説明するための説明図である。

本実施形態の前方監視装置は、図８に示すように画像処理部２に白線検知部２４を備えるとともに、マッピング部２２、物標識別部２３での処理が異なるものであり、他の構成および処理方法は図１に示した第１の実施形態の前方監視装置と同じである。

白線検知部２４は、カメラ１で撮像された画像に対して、既知の方法で白線を検知する。この白線検知方法としては、例えば、「峯田，鵜浦，池田，「レーンキープアシストシステムにおける白線認識システムの開発」，ｐ１０１−ｐ１０８，Ｖｏｌ１２，Ｎｏ１，ＨＯＮＤＡ Ｒ＆Ｄ Ｔｅｃｈｎｉｃａｌ Ｒｅｖｉｅｗ（２０００）」等がある。白線検知部２４は、検知した白線の画像上の位置情報を前述の逆投影した位置情報に変換してマッピング部２２に与える。

マッピング部２２は、この白線検知結果に基づいてレーダ信号処理部４から得られる測距点の相対距離を勾配補正し、画像変換部２１から得られた逆投影画像上にマッピングする。物標識別部２３は、白線検知結果に基づいて道路幅Ｌを算出し、該道路幅Ｌに基づいて矩形領域の長手方向の幅Ｓを設定する。また、物標識別部２３は、この矩形領域の長手方向の幅Ｓに基づき、第１の実施形態に示した第１閾値Ｔｈ１を設定する。そして、物標識別部２３は、第１の実施形態に示したように、矩形領域毎に輝度ヒストグラムを算出して、第１閾値Ｔｈ１と比較し、物標の識別を行う。

次に、本実施形態の構成による具体的な前方監視処理について、図９のフローチャートに沿って図１０〜図１３を参照して説明する。なお、第１の実施形態と同じ処理については、適宜説明を省略する。

カメラ１は、自車１０１撮像した画像（図１０（Ａ））を順次画像処理部２の画像変換部２１および白線検知部２４に出力する（Ｓ２０１）。白線検知部２４は、前述のような方法を用いて白線を検知して、白線位置データをマッピング部２２および物標識別部２３に出力する。この際、白線位置データは、画像変換部２１で行われる逆投影により与えられる座標に変換されて出力される。

画像変換部２１は、入力された自車前方正面の画像を逆投影して、自車前方の道路を平面視した逆投影画像（図１０（Ｃ）参照）を生成する（Ｓ２０３）。

マッピング部２２は、白線検知部２４で得られた白線位置データに基づき、逆投影画像における道路の延びる方向沿った各位置での道路幅Ｌを算出する（Ｓ２０４）。

一方、レーダ３は前述のように探知電波を送信して、反射波を受信することで物標検知データを生成し、レーダ信号処理部４に与える。物標検知データは、探知電波の送信時刻と反射波の受信時刻との時間差データおよび方位角を含む。レーダ信号処理部４は物標検知データに基づき、物標検知点までの相対距離を算出して、この相対距離と方位とで設定される測距点データ（図１０（Ｂ）参照）を生成して、マッピング部２２に与える（Ｓ２０５）。

マッピング部２２は、測距点データの相対距離および方位に基づき、測距点２１１〜２１６，２２１〜２２３を逆投影画像にマッピングする（Ｓ２０８）。この際、相対距離の勾配補正を行わなければ、図１０（Ｃ）に示すように、逆投影画像上の物標位置と、レーダによる各測距点の位置とがずれてしまう。したがって、マッピング部２２は、各測距点２１１〜２１６，２２１〜２２３の相対位置と道路幅Ｌとを関連付けして（Ｓ２０６）、相対距離Ｄを勾配補正（相対距離Ｄ’）して（Ｓ２０７）、逆投影画像上にマッピングする。

具体的に、図１１を参照して説明すると、測距点２１１の勾配補正前の相対距離をＤとし、勾配補正後の逆投影画像上の相対距離をＤ’とし、自車１０１の位置の道路幅をＬ０とし、勾配補正前の測距点２１１の位置の道路幅をＬとすると、勾配補正後の逆投影画像上の相対距離Ｄ’は、
Ｄ’＝（Ｌ／Ｌ０）×Ｄ −（１）
で、算出することができる。なお、自車１０１位置の道路幅Ｌ０は、検知できる最も近い位置の道路幅を用いたり、図示しないナビゲーションシステム等を備えて該ナビゲーションシステムにより道路幅情報を抽出して用いても良い。

このような処理を行うことで、図１２に示すように、補正後の相対距離を用いた各測距点２１１ｃ〜２１６ｃ，２２１ｃ〜２２３ｃは、逆投影画像上に表示された先行車１０２や道路敷設体１０３の位置に一致する。具体的には、各測距点２１１ｃ〜２１６ｃが先行車１０２の後部下の陰部分に対応し、各測距点２２１ｃ〜２２３ｃが道路上に白色ペイントされた矢印である道路敷設体１０３上に一致する。

物標識別部２３は、逆投影画像上にマッピングされた各測距点２１１ｃ〜２１６ｃ，２２１ｃ〜２２３ｃをそれぞれ中心にして、所定面積からなる矩形領域３１１〜３１６，３２１〜３２３を設定する（Ｓ２１１）。

この際、物標識別部２３は、矩形領域の短手方向を道路の延びる方向とし、長手方向を道路の幅方向とする。物標識別部２３は、矩形領域の短手方向長さを、後述する除去を行う物標、具体的には道路敷設体１０３の形状により予め設定するとともに、矩形領域の長手方向長さ（幅Ｓ）を、勾配補正後の測距点２１１ｃ〜２１６ｃ，２２１ｃ〜２２３ｃの位置の道路幅Ｌにより設定する（Ｓ２０９）。例えば、図１３の場合であれば、短手方向長さを道路敷設体１０３の長さの１／３〜１／４程度に設定し、長手方向幅Ｓを道路幅Ｌの１／３程度に設定する。この長手方向幅Ｓは、該当する矩形領域（測距点）の位置の道路幅Ｌに依存するので、図１３の例に示すような矩形領域３００と矩形領域４００とを設定し、矩形領域３００の長手方向長さＳ１、その位置の道路幅Ｌ１、矩形領域４００の長手方向長さＳ２、その位置の道路幅Ｌ２とした場合、
（Ｓ１／Ｌ１）＝（Ｓ２／Ｌ２）
となる。

また、物標識別部２３は、第１の実施形態にも用いた後述する第１閾値Ｔｈ１を、勾配補正後の測距点２１１ｃ〜２１６ｃ，２２１ｃ〜２２３ｃの位置の道路幅Ｌに基づいて設定する（Ｓ２１０）。例えば、第１閾値Ｔｈ１を矩形領域の長手方向幅Ｓの１／２程度に設定する。

物標識別部２３は、第１の実施形態に示したように、各矩形領域３１１〜３１６，３２１〜３２３に対して輝度ヒストグラムを生成する（Ｓ２１２）。この際、全ての矩形領域３１１〜３１６，３２１〜３２３の各列の輝度積算値の内で最も高輝度の積算輝度値を１００％とし、最も低輝度の輝度積算値を０％として、各列の輝度積算値を正規化する。

次に、物標識別部２３は、輝度ヒストグラムに基づき、輝度積算値が５０％以上となる列方向の幅Ｗ１（以下、この幅を「半値幅」と称す。）を、各矩形領域３１１〜３１６，３２１〜３２３で算出する（Ｓ２１３）。物標識別部２３は各矩形領域３１１〜３１６，３２１〜３２３に対して半値幅Ｗ１と第１閾値Ｔｈ１とを比較する。そして、物標識別部２３は、半値幅Ｗ１が第１閾値Ｔｈ１よりも大きいことを検出すると、該当する矩形領域（第１回該当矩形領域）に対して半値幅Ｗ１に対応する各列の輝度積算値を合算して該当列数で除算することで、第１回該当矩形領域毎の平均輝度Ｂａｖを算出する（Ｓ２１４→Ｓ２１５）。一方、物標識別部２３は、半値幅Ｗ１が第１閾値Ｔｈ１以下であることを検出すると、該当する矩形領域に対応する物標を道路敷設体１０３以外のものであると判断する（Ｓ２１４→Ｓ２１８）。

物標識別部２３は、第１回該当矩形領域毎の平均輝度Ｂａｖを算出すると、予め設定した第２閾値Ｔｈ２と比較する。そして、物標識別部２３は、平均輝度Ｂａｖが第２閾値Ｔｈ２より大きいことを検出すると、該当する第１回該当矩形領域に対応する物標を道路敷設体１０３であると判断する（Ｓ２１６→Ｓ２１７）。一方、物標識別部２３は、平均輝度Ｂａｖが第２閾値Ｔｈ２以下であることを検出すると、該当する第１回該当矩形領域に対応する物標を道路敷設体１０３以外のものであると判断する（Ｓ２１６→Ｓ２１８）。

物標識別部２３は、このような物標の識別処理を各矩形領域３１１〜３１６，３２１〜３２３で順に行い、それぞれの矩形領域に対応する物標を道路敷設体１０３かそれ以外に判別する。そして、この物標識別処理が全ての矩形領域３１１〜３１６，３２１〜３２３で終了すれば、各矩形領域３１１〜３１６，３２１〜３２３、すなわち測距点２１１〜２１６，２２１〜２２３に対する物標識別結果を、レーダ信号処理部４に出力する（Ｓ２１９→Ｓ２２０）。

レーダ信号処理部４は、入力された物標識別結果に応じて、各測距点２１１〜２１６，２２１〜２２３を測距点グループ２１０，２２０としてグループ化し、道路敷設体１０３に対応する各測距点のデータを除去し、それ以外を出力する。

例えば、図１０、図１２の例では、レーダ信号処理部４は、各矩形領域３１１〜３１６に対応する各測距点２１１〜２１６を測距点グループ２１０としてグループ化するとともに、これらは道路敷設体１０３ではないので、レーダ検知結果（相対位置データ）等を出力する。一方、レーダ信号処理部４は、各矩形領域３２１〜３２３に対応する各測距点２２１〜２２３を測距点グループ２２０とし、これらが道路敷設体１０３であることに基づいて除去し、レーダ検知結果を出力しない。

出力されたレーダ検知結果は監視処理部５に入力され、監視処理部５は、道路敷設体１０３に対応するデータが除去されたレーダ検知結果に基づき、既知の方法でレーダ検知結果を時系列で順次処理し、物標の追尾や相対速度検出等の監視を行う。

このような構成とすることで、第１の実施形態に示したような監視処理の高速化とともに、自車と先行車との間に勾配の変化が存在しても相対距離の勾配補正を行うことで、レーダにより検知された測距点と画像上の物標の位置とが確実に合致して、誤検知の防止と物標検知の更なる高速化を実現することができる。

また、このような構成とすることで、矩形領域と物標識別の閾値となる幅に相当する第１閾値とが道路幅に応じて設定されるので、勾配の変化による道路敷設体の幅変化に影響されることなく、確実に道路敷設体を検知することができる。これにより、更なる誤検知の防止を実現することができる。

第１の実施形態の前方監視装置の主要部を示すブロック図である。 第１の実施形態の前方監視装置の前方監視状況概念を示す図、および、カメラ１で撮像した自車前方の画像を示す図である。 第１の実施形態の監視処理を示すフローチャートである。 図２（Ｂ）に示した画像を逆投影した逆投影画像を示す図、レーダ３で検知した測距点の分布を示す図、測距点を逆投影画像にマッピングしたマッピング画像を示す図である。 図４（Ｃ）に示したマッピング画像の各測距点に対して矩形領域を設定した状態を示す図である。 矩形領域３１１の拡大画像および輝度ヒストグラムを示した図である。 矩形領域３２１の拡大画像および輝度ヒストグラムを示した図である。 第２の実施形態の前方監視装置の主要部を示すブロック図である。 第２の実施形態の監視処理を示すフローチャートである。 カメラ１で撮像した自車前方の画像を示す図、レーダ３で検知した測距点の分布を示す図、勾配補正を行うことなくの測距点を逆投影画像にマッピングしたマッピング画像を示す図である。 勾配補正方法を説明するための説明図である。 勾配補正を行った状態における測距点を逆投影画像にマッピングしたマッピング画像を示す図である。 矩形領域設定方法を説明するための説明図である。

符号の説明

１−カメラ
２−画像処理部
２１−画像変換部
２２−マッピング部
２３−物標識別部
２４−白線検知部
３−レーダ
４−レーダ信号処理部
１０１−自車
１０２−先行車
１０３−道路敷設体
１０４Ａ，１０４Ｂ−白線
２１１〜２１６，２２１〜２２３−測距点
２２１ｃ〜２１６ｃ，２２１ｃ〜２２３ｃ−勾配補正後の測距点
２１０，２２０−測距点群
３１１〜３１６，３２１〜３２３，３００，４００−矩形領域

Claims (5)

1. 自車の前方を視野方向として前方の道路状況を撮像する撮像部と、
   自車の前方の所定領域に探知波を放射して該探知波による前方の物標からの反射波を受信することで、自車に対する前記物標の相対位置を検出するレーダ部と、
   該レーダ部で検出された物標の相対位置を前記撮像部で取得した画像にマッピングする物標マッピング部と、
   前記相対位置を基準として前記画像の局部画像領域を指定し、該局部画像領域の輝度分布を解析することで、前記物標の種類を識別して、前記レーダ部で得られる物標の相対位置データの内、所望物標以外の相対位置データを除去する物標識別部と、
   前記所望物標以外を除去する処理を行った後の相対位置データを時系列に連続して取得し、該連続で取得された相対位置データに基づいて所望物標の監視を継続的に行う監視部と、
   を備えたことを特徴とする前方監視装置。
2. 前記物標マッピング部は、
   前記撮像部で取得した画像を、自車の前方路面を平面視した画像に変換し、該変換画像に対して前記物標の相対位置をマッピングする請求項１に記載の前方監視装置。
3. 前記物標識別部は、
   前記局部画像領域を、自車の進行方向を縦方向とし道路の幅方向を横方向とする矩形領域で設定し、
   前記横方向の各点に対して前記縦方向の各点の輝度を積算してなる輝度ヒストグラムを生成し、
   輝度積算値が予め設定した基準輝度値を超える前記横方向の幅を検出して、
   該検出幅が予め設定した第１閾値より大きく、且つ該第１閾値より大きい検出幅部分に対応する輝度積算値の平均が第２閾値より大きい場合に、当該局部画像領域に対応する物標を除去する請求項１または請求項２に記載の前方監視装置。
4. 道路の延びる方向に沿って平行に敷設された複数の白線を検知する白線検知部を備え、
   前記物標識別部は、前記白線検知部が検知した複数の白線の線間距離に準じて前記局部画像領域の横方向の幅および前記第１閾値を設定する請求項３に記載の前方監視装置。
5. 道路の延びる方向に沿って平行に敷設された複数の白線を検知する白線検知部を備え、
   前記物標マッピング部は、前記白線検知部が検知した複数の白線の線間距離の変化に準じて前方道路の勾配変化を検出するとともに、該勾配変化に基づいて前記物標の前記道路の延びる方向に沿った相対位置を補正して、前記変換画像にマッピングする請求項２〜４のいずれかに記載の前方監視装置。

Images