JP2013206450A - 車両用外界認識装置とそれを用いた車両システム - Google Patents

Abstract

【課題】撮像された画像の中に写る車両の大きさによらずに、安定して車両を識別する。
【解決手段】カメラ１００（撮像部）で撮像された自車両１０の周辺の画像の中から、消失点位置取得部１６０が消失点の位置を取得して、車両左右端候補位置検出部２４０が車両候補の左右端位置を検出して、車両下端候補位置検出部２５０が車両候補の下端位置を検出して、特徴量算出部３００が車両候補の左右端位置と車両候補の下端位置と消失点の位置から、車両候補の左右端位置の幅Ｗに対する、消失点の位置から車両候補の下端位置までの高さＨの比率Ｒを含む特徴量を算出して、こうして算出された特徴量を用いて車両識別部４００が車両の識別を行う。
【選択図】図１

Description

本発明は、自車両の周辺に存在する車両を識別する車両用外界認識装置とそれを用いた車両システムに関する。

近年、交通事故による死傷者の低減を目指し、自車前方を監視して、衝突の危険性があるときに報知する衝突警報システムや、設定した速度の範囲内で車間距離を維持した走行を行うＡＣＣ（Adaptive Cruise Control：車間距離制御システム）が開発されている。

こうしたシステムには、自車両の周囲に存在する車両を識別して、その位置を特定する機能が必要である。その一例として、例えば、自車両に搭載した単眼カメラで撮影した自車両前方の画像の中から、車両の左右端を表す可能性が高い、画像の縦方向に沿って延びる縦エッジを検出して、その後、縦エッジ同士の間隔ｗと縦エッジ間の中心の位置ｘをｘｗ空間に投票することによって、車両の候補領域を抽出する技術が提案されている（特許文献１）。

特開２００５−１５６１９９号公報

しかしながら、この特許文献１に記載された車両検知装置によると、抽出する縦エッジ同士の間隔に制約を持たせていないため、画像の上下方向に亘って縦エッジが連続する、幅の狭い電柱や路肩にいる歩行者を、車両と誤って抽出してしまうという問題がある。さらに、抽出する縦エッジ同士の間隔に制約を持たせたとしても、自車両から車両までの距離に応じて、撮像される車両の大きさが変化するため、検出すべき車両の大きさを一意に設定するのは困難である。

本発明は上記事情に鑑みなされたもので、画像の中に写る車両の大きさによらずに、安定して車両を識別することができる車両用外界認識装置を提供することを目的とする。

本発明に係る車両用外界認識装置およびそれを用いた車両システムは、撮像した自車両周辺の画像の中にある消失点の位置と、車両候補の左右端位置と、車両候補の下端位置に基づいて車両を識別するものである。

すなわち、本発明の請求項１に係る車両用外界認識装置は、自車両に搭載され、前記自車両の周辺を撮像する撮像部と、前記撮像部で撮像された画像の中の消失点の位置を取得する消失点位置取得部と、前記画像の中の車両候補の左右端位置を検出する車両左右端候補位置検出部と、前記車両左右端候補位置検出部で検出した車両候補の左右端位置に挟まれた領域の中から、前記車両候補の下端位置を検出する車両下端候補位置検出部と、前記消失点位置取得部で取得した前記消失点の位置と前記車両左右端候補位置検出部で検出した前記車両候補の左右端位置と前記車両下端候補位置検出部で検出した前記車両候補の下端位置とに基づいて、前記車両候補の左右端位置の間隔に対する、前記消失点の位置と前記車両候補の下端位置との間隔の比率を含む特徴量を算出する特徴量算出部と、前記特徴量算出部で算出された前記特徴量を用いて前記車両の識別を行う車両識別部と、を有することを特徴とする。

このように構成された本発明の請求項１に係る車両用外界認識装置によれば、撮像部で撮像された自車両の周辺の画像の中から、消失点位置取得部が消失点の位置を取得して、車両左右端候補位置検出部が車両候補の左右端位置を検出して、車両下端候補位置検出部が車両左右端候補位置検出部で検出した車両候補の左右端位置に挟まれた領域の中から車両候補の下端位置を検出して、特徴量算出部がこうして得られた車両候補の左右端位置と車両候補の下端位置と消失点の位置から、車両候補の左右端位置の間隔（幅）に対する、消失点の位置と車両候補の下端位置との間隔（高さ）の比率を含む特徴量を算出して、こうして算出された特徴量を用いて車両識別部が車両の識別を行うため、幅に対する高さの比率という車両の大きさに依存しない特徴量を用いて識別を行うことができ、これによって、車両をその大きさによらずに安定して識別することができる車両用外界認識装置を提供することができる。

また、本発明の請求項４に係る車両用外界認識装置を用いた車両システムは、請求項１から３のいずれか１項に記載の車両用外界認識装置を用いた車両システムであって、前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、前記車両相対位置算出部の算出結果に基づいて、警報を出力する必要性を判断する警報出力判断部と、警報を出力する警報出力部と、を有することを特徴とする。

このように構成された本発明の請求項４に係る車両用外界認識装置を用いた車両システムによれば、車両用外界認識装置によって精度高く識別された車両の位置に基づいて、車両相対位置算出部が自車両と、識別された車両の相対位置関係を算出して、こうして算出された相対位置関係に基づいて、警報出力判断部が警報出力の必要性を判断して、警報出力部が警報を出力するため、精度の高い警報出力が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

さらに、本発明の請求項５に係る車両用外界認識装置を用いた車両システムは、請求項１から３のいずれか１項に記載の車両用外界認識装置を用いた車両システムであって、前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、前記車両相対位置算出部の算出結果に基づいて、前記自車両の挙動を制御する車両挙動制御部と、を有することを特徴とする。

このように構成された本発明の請求項５に係る車両用外界認識装置を用いた車両システムによれば、車両用外界認識装置によって精度高く識別された車両の位置に基づいて、車両相対位置算出部が自車両と、識別された車両の相対位置関係を算出して、こうして算出された相対位置関係に基づいて、車両挙動制御部が自車両の挙動を制御するため、精度の高い自車両の挙動制御が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

本発明に係る車両用外界認識装置によれば、撮像した自車両周辺の画像の中の消失点の位置と、車両候補の左右端位置と、車両候補の下端位置に基づいて車両を識別するため、画像の中に写る車両の大きさによらずに、安定して車両を識別することができる車両用外界認識装置を提供することができる。

さらに、本発明に係る車両用外界認識装置を用いた車両システムによれば、精度の高い警報出力や自車両の挙動制御が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

本発明の実施例１に係る車両用外界認識装置を用いた衝突警報装置の概略構成を示すブロック図である。 図１の特徴量算出部の内部構成を示すブロック図である。 本発明の実施例１における処理の流れを示す概略フローチャートである。 本発明の実施例１における車両候補の抽出処理の流れを示す概略フローチャートである。 本発明の実施例１における特徴算出処理の流れを示す概略フローチャートである。 （ａ）は本発明の実施例１において取得される画像の第１例を示す図である。（ｂ）は本発明の実施例１において取得される画像の第２例を示す図である。（ｃ）は図６（ａ）の画像における車両の幅と高さを説明する図である。（ｄ）は図６（ｂ）の画像における車両の幅と高さを説明する図である。 縦エッジを検出するオペレータを説明する図である。 （ａ）は生成されたｘｗ平面の例である。（ｂ）はｘｗ平面のピーク（ｘ，ｗ）が示す領域を画像Ｉ（ｘ，ｙ）上に設定した例である。（ｃ）は車両候補の下端位置を検出する処理について説明する図である。（ｄ）は設定された車両候補を含む領域の例を示す図である。 本発明の実施例２に係る車両用外界認識装置を用いた衝突警報装置の概略構成を示すブロック図である。 図９の車両識別部の内部構成を示すブロック図である。 本発明の実施例２における処理の流れを示す概略フローチャートである。 本発明の実施例２における車両識別処理の流れを示す概略フローチャートである。

以下、本発明に係る車両用外界認識装置を用いた車両システムの実施形態について、図面を参照して説明する。

本実施例１は、車載されたカメラで車両前方を監視して、自車両に接触する可能性のある車両が識別されたときに警報を出力する車両用外界認識装置を用いた衝突警報装置に関するものである。

まず、図１を用いて装置の構成を説明する。本実施例１に係る衝突警報装置５０は、図示しない自車両１０に設置され、自車両１０前方の画像を撮像するカメラ１００（撮像部）と、カメラ１００で撮像された画像の中から自車両１０以外の車両を識別する車両用外界認識装置６０と、車両が識別されたときに、自車両１０から、識別された車両までの方向と距離を算出する車両相対位置算出部７０と、衝突の可能性を判断する警報出力判断部８０と、衝突の可能性が所定値以上であるときに警報を出力する警報出力部９０を備えている。

ここで、車両用外界認識装置６０は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、具体的には、一定周期で、カメラ１００（撮像部）で撮像された画像を取り込む画像取得部１５０と、カメラ１００で撮像された画像の中から消失点の位置を取得する消失点位置取得部１６０と、カメラ１００で撮像された画像の中から車両候補を抽出する車両候補抽出部２００と、車両候補を含む領域の中から車両らしさを表す特徴量を算出する特徴量算出部３００と、車両候補が車両を表すか否かを識別する車両識別部４００を備えている。なお、車両用外界認識装置６０には、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

そして、車両候補抽出部２００は、さらに、撮像した画像の中から縦エッジを構成する画素の位置を検出する縦エッジ検出部２１０と、縦エッジ検出部２１０で検出した縦エッジを構成する画素の左右方向の間隔を算出する縦エッジ間隔算出部２２０と、縦エッジ間隔算出部２２０で算出された縦エッジの左右方向の間隔（ｗ）と、左右の縦エッジの中央の位置（ｘ）をｘｗ空間に投票して、この投票の結果、ピークを有する点（ｘ，ｗ）を検出して車両候補とするｘｗ空間生成部２３０と、ｘｗ空間生成部２３０で検出したピークを有する点（ｘ，ｗ）の位置に基づいて、車両候補の左右端位置を検出する車両左右端候補位置検出部２４０と、車両左右端候補位置検出部２４０で検出した車両候補の左右端位置に挟まれた領域の中から、車両候補の下端位置を検出する車両下端候補位置検出部２５０からなる。

また、特徴量算出部３００は、さらに、車両左右端候補位置検出部２４０で検出した車両候補の左右端の間隔（幅）に対する、消失点位置取得部１６０で取得したカメラ１００で撮像された画像の中の消失点の位置と車両下端候補位置検出部２５０で検出した車両候補の下端位置との間隔（高さ）の比率を算出する幅高さ比率算出部３１０と、カメラ１００で撮像された画像の中の車両候補を含む領域からヒストグラムに基づいた濃度勾配に関するＨＯＧ(Histogram of Oriented Gradients）特徴量を算出するＨＯＧ特徴量算出部３２０からなる。

なお、ＨＯＧ特徴量算出部３２０は、さらに、図２に示すように、画像の中の濃度勾配の大きさと方向を算出する勾配情報算出部３２２と、勾配情報算出部３２２で算出された濃度勾配の大きさと方向を用いて濃度勾配の方向のヒストグラムを作成する勾配ヒストグラム作成部３２４と、勾配ヒストグラム作成部３２４で作成された勾配ヒストグラムから、画像の中の濃度勾配に基づくＨＯＧ特徴量を算出する特徴量算出部３２６からなる。

そして、車両識別部４００は、予め収集した様々な条件下で撮像された識別対象（車両）の画像と、識別対象以外（背景など）の画像の中から、車両の幅に対する画像の中の消失点の位置と車両の下端位置との間隔（高さ）の比率と、画像の中の濃度勾配に基づくＨＯＧ特徴量を算出して、これらの特徴量を、学習アルゴリズムによって学習することによって設計された識別器から構成される。

以下、本実施形態に係る衝突警報装置５０の作用について、図３〜図５のフローチャート、および図６〜８を用いて説明する。

まず、図３のフローチャートに基づいて、衝突警報装置５０の作用を説明する。ステップＳ１００において、カメラ１００（撮像部）によって、自車両１０前方の画像を撮像する。撮像された画像をＩ（ｘ，ｙ）とし、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１とする。撮像された画像Ｉ（ｘ，ｙ）は、画像取得部１５０によって、車両用外界認識装置６０に取り込まれる。

ステップＳ１００によって、例えば、図６（ａ）、（ｂ）に示す画像が取得されて、車両用外界認識装置６０に取り込まれる。ここで、図６（ａ）は、幅に対して高さの比率が小さい小型車両が撮像された画像の例であり、図６（ｂ）は、幅に対して高さの比率が大きい大型車両が撮像された画像の例である。

なお、本実施例では、図６（ａ）、（ｂ）に示すように、車両の左右端、および下端がフレームアウトすることなく撮像された画像が使用されるものとする。ただし、図６（ｂ）に示すように、車両の上部がフレームアウトすることは許容される。

ここで、図６（ｃ）、（ｄ）に示すように、画像の中の消失点Ｖｐの位置と車両の下端位置との間隔を高さＨとして、車両の幅をＷとすると、幅Ｗに対する高さＨの比率（Ｈ／Ｗ）は、同一車両にあっては、自車両１０と車両との距離に拘わらず、ほぼ一定になる。

すなわち、自車両１０と車両の距離が大きくなると、車両の幅Ｗは小さくなり、同時に高さＨも小さくなる。一方、自車両１０と車両の距離が小さくなると、車両の幅Ｗは大きくなり、同時に高さＨも大きくなる。したがって、幅Ｗに対する高さＨの比率（Ｈ／Ｗ）は、ほぼ一定の値になる。

さらに、幅Ｗに対する高さＨの比率（Ｈ／Ｗ）がほぼ一定の値になることは、図６（ｂ）、（ｄ）のように車両の上部がフレームアウトしている場合であっても成り立つ。

そして、幅Ｗに対する高さＨの比率（Ｈ／Ｗ）がほぼ一定の値になるという特徴は、ステップＳ１５０において、車両の識別を行うために利用される。その内容については後述する。

次に、ステップＳ１１０において、消失点位置取得部１６０の作用によって、カメラ１００（撮像部）で撮像された画像の中の消失点Ｖｐの位置（ｘ_ｐ,ｙ_ｐ）が算出される。消失点Ｖｐの位置（ｘ_ｐ,ｙ_ｐ）は、例えば、カメラ１００で撮像された画像の中から、走行車線の左右端を示す左右のレーンマーカを検出して、検出した左右のレーンマーカの交点を求めることによって求められる。

あるいは、カメラ１００（撮像部）で撮像された画像を、衝突警報装置５０や車両用外界認識装置６０とは別の装置、例えば、自車両１０前方のレーンマーカの位置を検出して走行車線を特定し、走行車線から逸脱しないように自車両１０の操舵制御を行うレーンキープ装置にも利用している場合は、そのレーンキープ装置で検出した、画像の中の消失点の位置を、消失点位置取得部１６０で取得するようにしてもよい。

次に、ステップＳ１２０において、車両候補抽出部２００の作用によって、画像Ｉ（ｘ，ｙ）の中から、車両候補が抽出される。なお、ステップＳ１２０の中で行われる処理の詳細を図４に示すが、その内容については後述する。

さらに、ステップＳ１４０において、特徴量算出部３００の作用によって、ステップＳ１２０で抽出された車両候補の内部において、車両らしさを表す特徴量としてＨＯＧ特徴量が算出される。なお、ステップＳ１４０の中で行われる処理の詳細を図５に示すが、その内容については後述する。

その後、ステップＳ１５０において、車両識別部４００の作用によって、ステップＳ１４０で算出されたＨＯＧ特徴量を利用して、車両候補が車両を表すか否かが識別される。なお、ステップＳ１５０の中で行われる処理の詳細については後述する。

次に、ステップＳ１６０において、車両相対位置算出部７０の作用によって、自車両１０と、ステップＳ１５０で識別された車両の相対位置関係が算出される。具体的には、まず、画像Ｉ（ｘ，ｙ）の中の識別された車両の下端位置ｙ_０と、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、自車両１０から、識別された車両までのおおよその距離を求める。次に、画像Ｉ（ｘ，ｙ）の中の識別された車両の左右方向の位置ｘと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、識別された車両のおおよその方向を求める。そして、警報出力判断部８０の作用によって、識別された車両までの距離と方向、および自車両１０の速度と進行方向に基づいて、警報出力が必要か否かが判断される。

そして、警報出力が必要であると判定されると、ステップＳ１７０において、警報出力部９０から警報が出力される。

次に、図３のステップＳ１２０で行われる、車両候補を抽出する処理の詳細について、図４を用いて説明する。

まず、ステップＳ１２１において、画像Ｉ（ｘ，ｙ）の中から、縦方向に延びたエッジ（縦エッジ）の検出を行う。この処理は、縦エッジ検出部２１０において行われる。縦エッジの検出は、一般には、画像に対して所定のオペレータを重ね合わせて、対応する画素同士の積和演算を行い、その結果をオペレータの中心に対応する画素の位置におけるエッジ強度とすることによって実行される。本実施例の場合、図７に示す３×３のオペレータを作用させるものとする。このようにして得られた縦エッジの強度が格納された画像を、エッジ画像Ｊ（ｘ，ｙ）とする。なお、縦エッジを検出するオペレータは、図７に示したオペレータに限定されるものではなく、その他の係数を有するオペレータを用いてもよいし、図７と異なる大きさのオペレータを用いてもよい。

次に、ステップＳ１２２において、エッジ画像Ｊ（ｘ，ｙ）の中から縦エッジを構成する点を探すために、画像の中の位置を指し示すアドレスの値をｘ＝０、ｙ＝０にセットする。

そして、ステップＳ１２３において、エッジ画像Ｊ（ｘ，ｙ）の中から、水平方向に並んだ縦エッジのペアを探す処理を行う。この処理は、縦エッジ間隔算出部２２０において行われる。これは、車両の候補領域を抽出するために行う処理であり、水平方向に並んだ縦エッジのペアは、車両の左右端を構成する可能性が高いことを利用して行うものである。

なお、具体的には、エッジ画像Ｊ（ｘ，ｙ）の中を、左から右、上から下の順に走査して、まず、縦エッジ強度が所定値以上である画素を探索する。そして、条件に該当する画素Ｅ_１が見つかったら、その画素Ｅ_１（x_E１，ｙ_E１）を基準として、画素Ｅ_１（x_E１，ｙ_E１）の右方向で、予め設定された所定の幅ｗ_ｔｈの内部で、次に出現する縦エッジ強度が所定値以上である画素Ｅ_２を探索する。なお、このとき、ペアになる縦エッジ同士は、エッジの方向が約１８０°ずれたものになるような条件で探索される。これは、車両の左右端では約１８０°ずれた方向を有する縦エッジが検出されるため、車両の左右端に該当しない縦エッジペアを極力探索しないようにして、これによって、縦エッジペア探索の効率を向上させるためである。

ステップＳ１２３において、画素Ｅ_２（x_E２，ｙ_E１）が見つかったら、画素Ｅ_１と画素Ｅ_２の左右方向の間隔ｗを算出する。本実施例の場合、左右方向の間隔ｗは、ｗ＝x_E２−x_E１となる。

次に、ステップＳ１２４において、抽出された縦エッジペアの左右方向の間隔ｗが、予め設定された所定の幅ｗ_ｔｈの内部にあるか否かが判定される。そして、画素Ｅ_１（x_E１，ｙ_E１）に対して、１つ目の縦エッジペアとなる画素Ｅ_２（x_E２，ｙ_E１）が見つかった後も、所定の幅ｗ_ｔｈの内部で、更にｘ軸方向に縦エッジペアの探索が続行される。

そして、ステップＳ１２５において、算出された縦エッジの左右方向の間隔ｗと、左右の縦エッジ構成点の中央の位置ｘ＝（x_E１＋x_E２）／２が、ｘｗ空間生成部２３０において作成されるｘｗ空間の中の対応する点に対して投票（該当する画素の濃淡値を１インクリメントする）される。

ステップＳ１２３からステップＳ１２５の処理を、エッジ画像Ｊ（ｘ，ｙ）の左右方向の位置ｘをインクリメントしながら（ステップＳ１２６）、かつエッジ画像Ｊ（ｘ，ｙ）の上下方向の位置ｙをインクリメントしながら（ステップＳ１２７）繰り返す。

次に、ステップＳ１２８において、生成されたｘｗ空間の中から縦エッジペアを構成する縦エッジ構成点が多く存在することによって生じた、ピークを有する画素の抽出を行う。こうして抽出されたｘｗ空間の中の画素（ｘ，ｗ）が車両候補の位置を表す。なお、このピークを有する画素は、複数個出現する可能性もある。このようにして得られたｘｗ空間の例を図８（ａ）に示す。

そして、ステップＳ１２９において、車両左右端候補位置検出部２４０の作用によって、車両候補の左右端位置が設定される。具体的には、ｘｗ空間の中から抽出されたピークを有する画素（ｘ，ｗ）の位置に基づいて、その画素（ｘ，ｗ）に対応する領域の左右端位置を逆算して、こうして逆算された領域の左右端位置を、車両候補の左右端位置として、画像Ｉ（ｘ，ｙ）上に設定する。車両候補の左右端位置を逆算した例を図８（ｂ）に示す。

次に、ステップＳ１３０において、車両下端候補位置検出部２５０の作用によって、車両候補の下端位置ｙ_０が設定される。具体的には、車両の下部には、水平方向に延びるエッジ成分が多く含まれているため、ステップＳ１２９において設定された車両候補の左右端位置に挟まれた領域の中について、図８（ｃ）に示すように、水平方向に延びる水平エッジを検出する処理を行い、検出された水平エッジ点を画像Ｉ（ｘ，ｙ）の水平方向に投影して、このようにして生成された投影データを用いて、投影された頻度が所定値を超える位置を車両候補の下端位置ｙ_０として設定する。

そして、ステップＳ１２９で設定された車両候補の左右端位置と、ステップＳ１３０で設定された車両候補の下端位置ｙ_０と、図３のステップＳ１１０で取得された消失点Ｖｐの位置から、図８（ｄ）に示すように、車両候補を含む領域である車両候補領域Ｒｐが設定される。

なお、ステップＳ１２９、Ｓ１３０は、ｘｗ空間から検出したピークを有する画素の数だけ繰り返して実行される。

次に、図３のステップＳ１４０で行われる、車両らしさを表す特徴量を算出する処理の詳細について、図５を用いて説明する。

まず、ステップＳ１４１において、幅高さ比率算出部３１０の作用によって、ステップＳ１２９で設定された左右端位置から左右端の間隔ｗが算出され、こうして算出された左右端の間隔ｗと、ステップＳ１３０で設定された下端位置ｙ_０とステップＳ１１０で取得した消失点Ｖｐの位置（ｘ_ｐ,ｙ_ｐ）から、（式１）によって車両候補の幅に対する高さの比率Ｒが算出される。

Ｒ＝（ｙ_０−ｙ_ｐ）／ｗ （式１）

次に、ステップＳ１４２において、ＨＯＧ特徴量算出部３２０の作用によって、画像Ｉ（ｘ,ｙ）の中から、以下の手順によって勾配ヒストグラムＨ（ｄ）が作成される。

まず、勾配情報算出部３２２の作用によって、画像Ｉ（ｘ,ｙ）の中の、各々の車両候補領域Ｒｐに対して、縦方向画素数Ｍ、横方向画素数Ｎの部分領域（ブロック）が設定されて、さらに、設定されたブロックの内部が、それぞれ縦方向画素数ｐ、横方向画素数ｑのセルに分割されて、こうして設定された複数のセルの内部の濃度勾配の大きさと濃度勾配の方向が、それぞれ算出される。

ここで、画像Ｉ（ｘ,ｙ）の画素（ｘ,ｙ）における濃度勾配の大きさＧ（ｘ,ｙ）は（式２）で算出し、濃度勾配の方向ｄ（ｘ,ｙ）は（式３）で算出する。

Ｇ（ｘ,ｙ）＝（ｆ_ｘ（ｘ,ｙ）^２＋ｆ_ｙ（ｘ,ｙ）^２）^１／２ （式２）

ｄ（ｘ,ｙ）＝ tan^-1(ｆ_ｙ（ｘ,ｙ）／ｆ_ｘ（ｘ,ｙ）) （式３）
ただし、ｆ_ｘ（ｘ,ｙ）＝Ｉ（ｘ＋１,ｙ）−Ｉ（ｘ−１,ｙ） （式４）

ｆ_ｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ＋１）−Ｉ（ｘ,ｙ−１） （式５）

次に、ステップＳ１４２において、勾配ヒストグラム作成部３２４の作用によって、各ブロックに属する各々のセルに対して、（式３）で算出した濃度勾配の方向ｄ（ｘ,ｙ）のヒストグラムを作成する。

具体的には、濃度勾配の方向ｄ（ｘ,ｙ）は−１８０〜１８０度の範囲で算出されるが、これを０〜１８０度の範囲に調整し、さらに、これを２０度ずつに分割して、９方向のヒストグラムを作成する。なお、ヒストグラムの投票時には、各画素の濃度勾配の方向ｄ（ｘ,ｙ）に対応したヒストグラムの横軸の位置に、その画素の濃度勾配の大きさＧ（ｘ,ｙ）の値を投票することによって、ヒストグラムの縦軸に、濃度勾配の大きさＧ（ｘ,ｙ）に対応する値が格納された勾配ヒストグラムが作成される。これによって、各ブロックに対して、セルの数だけヒストグラムが作成される。あるブロックに属するあるセルから作成された勾配ヒストグラムをＨ（ｄ）（ｄは濃度勾配の方向）とする。

さらに、ステップＳ１４２において、車両候補領域Ｒｐの中に設定したブロックの位置を、セルのサイズ分ずつ縦横にずらしながら、その都度、ずらしたブロック位置に属する複数のセルに対して、勾配ヒストグラムＨ（ｄ）を作成する。

次に、ステップＳ１４３において、特徴量算出部３２６の作用により、ステップＳ１４２で作成された、車両候補領域Ｒｐのサイズとブロックのサイズ（Ｍ＊Ｎ）、セルのサイズ（ｐ＊ｑ）に応じた数の勾配ヒストグラムＨ（ｄ）を、勾配ヒストグラムの総面積で正規化して、車両候補領域Ｒｐのサイズ、ブロックのサイズ、セルのサイズ、および勾配ヒストグラムに格納する濃度勾配の方向数に応じた次元数を持つＨＯＧ特徴量を算出する。その後、図３のステップＳ１５０に進む。

次に、ステップＳ１５０で、車両識別部４００によって行われる車両識別処理の内容について説明する。

車両識別部４００は、先述したように、予め車両を識別できるように学習された識別器によって構成されている。そして、この車両識別部４００に対して、ステップＳ１４３で算出された、車両候補領域Ｒｐのサイズ、ブロックのサイズ、セルのサイズ、および勾配ヒストグラムに格納する濃度勾配の方向数に応じた次元数を持つＨＯＧ特徴量と、ステップＳ１４１で算出された車両候補の幅に対する高さの比率Ｒが入力される。

そして、車両識別部４００において、ＨＯＧ特徴量と比率Ｒで構成される次元数の特徴量に基づいて車両の識別が行われる。その後、同様の処理が、抽出された全ての車両候補領域Ｒｐに対して繰り返される。その後、図３のステップＳ１６０に進む。

以上説明したように、このように構成された本発明の車両用外界認識装置６０を用いた衝突警報装置５０によれば、カメラ１００（撮像部）で撮像された自車両１０の周辺の画像の中から、消失点位置取得部１６０が消失点Ｖｐの位置を取得して、車両左右端候補位置検出部２４０が車両候補の左右端位置を検出して、車両下端候補位置検出部２５０が、車両左右端候補位置検出部２４０で検出した車両候補の左右端位置に挟まれた領域の中から車両候補の下端位置ｙ_０を検出して、特徴量算出部３００が、こうして得られた車両候補の左右端位置と車両候補の下端位置ｙ_０と消失点Ｖｐの位置から、車両候補の左右端位置の間隔である幅Ｗに対する、消失点Ｖｐの位置と車両候補の下端位置ｙ_０との間隔である高さＨの比率Ｒを含む特徴量を算出して、こうして算出された特徴量を用いて車両識別部４００が車両の識別を行うため、幅に対する高さの比率Ｒという車両の大きさに依存しない特徴量を用いて識別を行うことができ、これによって、車両をその大きさによらずに安定して識別することができる車両用外界認識装置を提供することができる。

さらに、このように構成された本発明に係る車両用外界認識装置６０を用いた衝突警報装置５０によれば、車両用外界認識装置６０によって精度高く識別された車両の位置に基づいて、車両相対位置算出部７０が、自車両１０と、識別された車両との相対位置関係を算出して、こうして算出された相対位置関係に基づいて、警報出力判断部８０が警報出力の必要性を判断し、警報出力判断部８０が、警報出力が必要であると判断したときに警報出力部９０が警報を出力するため、精度の高い警報出力が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

なお、本実施例では、識別された車両の位置に基づいて、識別された車両に衝突する可能性があるときに警報を出力する衝突警報装置を例にあげて説明したが、これは、衝突警報装置に限らず、より積極的に自車両１０の挙動を制御するシステムにも適用することができる。

すなわち、図１の構成に、さらに自車両１０と先行車両の車間距離を測定する車間距離計測部（車両挙動制御部）を付加して、この車間距離計測部によって計測された自車両１０と先行車両の車間距離を維持するように自車両１０の車速を制御するＡＣＣシステムを実現することもできる。また、識別された車両の位置に基づいて、衝突の可能性がある場合に、自車両１０に制動をかける制動アクチュエータを作動させて、自車両１０を減速させる自動ブレーキシステムを実現することもできる。

また、本実施例では、カメラ１００（撮像部）は自車両１０前方の画像を撮像して車両の識別を行ったが、これは、自車両１０前方の画像に限定されるものではない。すなわち、カメラ１００（撮像部）で自車両１０の後方の画像を撮像して、自車両１０が後退する際に、自車両１０の後方にある車両を識別して、識別された車両と衝突する可能性があるときに警報を出力する構成とすることも可能である。さらに、カメラ１００（撮像部）で自車両１０の後側方の画像を撮像して、撮像された画像の中から車両を識別して、自車両１０が車線変更を行う際に、識別された車両と衝突する可能性があるときに、警報を出力する構成とすることも可能である。

なお、本実施例では、車両候補の幅に対する高さの比率Ｒの他に、特徴量としてＨＯＧ特徴量を利用したが、これは、ＨＯＧ特徴量に限定されるものではない。すなわち、撮像された画像Ｉ（ｘ,ｙ）の中の濃度勾配に基づく特徴量であれば、ＨＯＧ特徴量に代えて使用することができる。例えば、隣接する矩形領域間の輝度差を求めて、それを特徴量として用いるＨａａｒ ｌｉｋｅ特徴量や、近傍領域の輝度分布を濃度勾配として捉え、大きさや回転に不変な特徴を得ることができるＳＩＦＴ特徴量などを、比率Ｒとともに用いてもよい。

また、車両識別部４００の具体的な構成例は、特に限定されるものではなく、例えばニューラルネットワークを用いて実現してもよいし、サポートベクターマシン（ＳＶＭ）識別器、ＮＮ（ニアレストネイバー）識別器、ベイズ識別器などを用いて実現してもよい。

次に、本発明に係る車両用外界認識装置を用いた車両システムの第２の実施形態について、車載されたカメラで車両前方を監視して、自車両に接触する可能性のある車両が識別されたときに警報を出力する車両用外界認識装置を用いた衝突警報装置を例にあげて説明する。

まず、図９を用いて装置の構成を説明する。本実施例２に係る衝突警報装置５２は、図示しない自車両１０に設置され、自車両１０前方の画像を撮像するカメラ１００（撮像部）と、カメラ１００で撮像された画像の中から自車両１０以外の車両を識別する車両用外界認識装置６２と、車両が識別されたときに、自車両１０から、識別された車両までの方向と距離を算出する車両相対位置算出部７０と、衝突の可能性を判断する警報出力判断部８０と、衝突の可能性が所定値以上であるときに警報を出力する警報出力部９０と、を備えている。

ここで、車両用外界認識装置６２は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、具体的には、一定周期で、カメラ１００（撮像部）で撮像された画像を取り込む画像取得部１５０と、撮像した画像の中から車両の候補領域を検出する車両候補抽出部２００と、車両候補を含む領域の中から車両らしさを表す特徴量を算出する特徴量算出部３００と、車両候補が車両を表すか否かを判定する車両識別部４５０を備えている。なお、車両用外界認識装置６２には、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

ここで、車両候補抽出部２００と特徴量算出部３００は、それぞれ、実施例１で説明したのと同様の構成を有しているため、説明は省略する。

そして、車両識別部４５０は、さらに、図１０に示すように、幅高さ比率算出部３１０で算出された幅と高さの比率Ｒの大小を判定する識別器選択部４６０と、比率Ｒが所定値Ｒth以上である車両候補に対して車両の識別を行う第１車両識別部４７０と、比率Ｒが所定値Ｒthよりも小さい車両候補に対して車両の識別を行う第２車両識別部４８０からなる。

第１車両識別部４７０は、予め収集した様々な条件下で撮像された幅と高さの比率が所定値Ｒth以上である識別対象（車両）の画像と、識別対象以外（背景など）の画像の中から、車両の幅に対する画像の中の消失点の位置と車両の下端位置との間隔（高さ）の比率と、画像の中の濃度勾配に基づくＨＯＧ特徴量を算出して、これらの特徴量を、学習アルゴリズムによって学習することによって設計された識別器から構成される。

また、第２車両識別部４８０は、予め収集した様々な条件下で撮像された幅と高さの比率が所定値Ｒthよりも小さい識別対象（車両）の画像と、識別対象以外（背景など）の画像の中から、車両の幅に対する画像の中の消失点の位置と車両の下端位置との間隔（高さ）の比率と、画像の中の濃度勾配に基づくＨＯＧ特徴量を算出して、これらの特徴量を、学習アルゴリズムによって学習することによって設計された識別器から構成される。

以下、本実施形態に係る衝突警報装置５２の作用について、図１１のフローチャートを用いて説明する。

まず、ステップＳ２００において、カメラ１００（撮像部）によって、自車両１０前方の画像を撮像する。撮像された画像をＩ（ｘ，ｙ）とし、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１とする。撮像された画像Ｉ（ｘ，ｙ）は、画像取得部１５０によって、車両用外界認識装置６２に取り込まれる。

次に、ステップＳ２１０において、消失点位置取得部１６０の作用によって、カメラ１００（撮像部）で撮像された画像の中の消失点Ｖｐの位置（ｘ_ｐ,ｙ_ｐ）が算出される。消失点の位置（ｘ_ｐ,ｙ_ｐ）は、例えば、カメラ１００で撮像された画像の中から、走行車線の左右端を示す左右のレーンマーカを検出して、検出された左右のレーンマーカの交点を求めることによって求められる。

次に、ステップＳ２２０において、車両候補抽出部２００の作用によって、画像Ｉ（ｘ，ｙ）の中に、車両候補を含む領域である車両候補領域Ｒｐが設定される。なお、ステップＳ２２０の中で行われる処理は、実施例１において、図４に基づいて説明した通りであるため、説明は省略する。

さらに、ステップＳ２４０において、特徴量算出部３００の作用によって、ステップＳ２２０で設定された車両候補領域Ｒｐの内部において、ＨＯＧ特徴量が算出される。なお、ステップＳ２４０の中で行われる処理は、実施例１において、図５に基づいて説明した通りであるため、説明は省略する。

その後、ステップＳ２５０において、車両識別部４５０の作用によって、ステップＳ２４０で算出されたＨＯＧ特徴量を利用して、車両候補領域Ｒｐの内部に車両が存在するか否かが識別される。なお、ステップＳ２５０の中で行われる処理の詳細を図１２に示すが、その内容については後述する。

次に、ステップＳ２６０において、車両相対位置算出部７０の作用によって、自車両１０と、ステップＳ２５０で識別された車両との相対位置関係が算出される。具体的には、まず、画像Ｉ（ｘ，ｙ）の中の識別された車両の下端位置ｙ_０と、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、自車両１０から、識別された車両までのおおよその距離を求める。次に、画像Ｉ（ｘ，ｙ）の中の識別された車両の左右方向の位置ｘと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、識別された車両のおおよその方向を求める。そして、警報出力判断部８０の作用によって、識別された車両までの距離と方向、および自車両１０の速度と進行方向に基づいて、警報出力が必要か否かが判断される。

そして、警報出力が必要であると判定されると、ステップＳ２７０において、警報出力部９０から警報が出力される。

次に、図１１のステップＳ２５０で行われる車両を識別する処理の詳細について、図１２を用いて説明する。

まず、ステップＳ２５２において、識別器選択部４６０の作用によって、幅高さ比率算出部３１０で算出された幅と高さの比率Ｒと、予め決めておいた所定値Ｒthとの大小関係が比較される。そして、Ｒ≧ＲthのときはステップＳ２５３に進み、Ｒ＜ＲthのときはステップＳ２５４に進む。

ステップＳ２５３において、第１車両識別部４７０の作用によって、車両の識別が行われる。具体的には、第１車両識別部４７０に対して、ステップＳ２４０で算出された、車両候補領域Ｒｐのサイズ、ブロックのサイズ（Ｍ＊Ｎ）、セルのサイズ（ｐ＊ｑ）、および勾配ヒストグラムに格納する濃度勾配の方向数に応じた次元数を持つＨＯＧ特徴量が入力されて、このＨＯＧ特徴量で構成される次元数の特徴量に基づいて車両の識別が行われる。識別結果が算出されると、処理はステップＳ２６０に進む。

一方、ステップＳ２５４において、第２車両識別部４８０の作用によって、車両の識別が行われる。具体的には、第２車両識別部４８０に対して、ステップＳ２４０で算出された、車両候補領域Ｒｐのサイズ、ブロックのサイズ、セルのサイズ、および勾配ヒストグラムに格納する濃度勾配の方向数に応じた次元数を持つＨＯＧ特徴量が入力されて、このＨＯＧ特徴量で構成される次元数の特徴量に基づいて車両の識別が行われる。識別結果が算出されると、処理はステップＳ２６０に進む。

なお、車両候補抽出部２００において、複数の車両候補が抽出されたときは、抽出された各々の車両候補に対して、ステップＳ２４０とステップＳ２５０の処理が繰り返される。

以上説明したように、このように構成された本発明の車両用外界認識装置６２を用いた衝突警報装置５２によれば、カメラ１００（撮像部）で撮像された自車両１０の周辺の画像の中から、消失点位置取得部１６０が消失点Ｖｐの位置を取得して、車両左右端候補位置検出部２４０が車両候補の左右端位置を検出して、車両下端候補位置検出部２５０が、車両左右端候補位置検出部２４０で検出した車両候補の左右端位置に挟まれた領域の中から車両候補の下端位置ｙ_０を検出して、こうして得られた車両候補の左右端位置と車両候補の下端位置ｙ_０と消失点Ｖｐの位置に基づいて、幅高さ比率算出部３１０が車両候補の左右端位置の間隔である幅Ｗに対する、消失点の位置と車両候補の下端位置との間隔である高さＨの比率Ｒを算出して、ＨＯＧ特徴量算出部３２０が車両候補領域Ｒｐの中からＨＯＧ特徴量を算出して、識別器選択部４６０において、比率Ｒの大きさが所定値Ｒthと比較されて、比率Ｒが所定値Ｒth以上である車両候補（幅に対する高さの比率が所定値以上である車両候補）は第１車両識別部４７０で識別されて、比率Ｒが所定値Ｒthより小さい車両候補（幅に対する高さの比率が所定値よりも小さい車両候補）は第２車両識別部４８０で識別されるため、単一の識別器を用いて全ての車両を識別する場合と比べて、個々の識別器で、その識別器の識別条件に合致した車両を識別することができ、これによって全体の識別精度をより一層向上させることができる。

また、このように構成された本発明の車両用外界認識装置６２を用いた衝突警報装置５２によれば、第１車両識別部４７０が、少なくとも比率Ｒが所定値Ｒth以上である車両を含む画像を学習データとして使用して設計された識別器であり、第２車両識別部４８０が、少なくとも比率Ｒが所定値Ｒthよりも小さい車両を含む画像を学習データとして使用して設計された識別器であるため、個々の識別器の識別対象が限定されることによって、識別器の識別性能を、識別すべき車両の条件に合わせて細かく学習することができ、これによって、全体の識別精度をより一層向上させることができる。

さらに、このように構成された本発明に係る車両用外界認識装置６２を用いた衝突警報装置５２によれば、車両用外界認識装置６２によって精度高く識別された車両の位置に基づいて、車両相対位置算出部７０が、自車両１０と、識別された車両の相対位置関係を算出して、こうして算出された相対位置関係に基づいて、警報出力判断部８０が警報出力の必要性を判断し、警報出力判断部８０が、警報出力が必要であると判断したときに警報出力部９０が警報を出力するため、精度の高い警報出力が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

以上、本発明の実施例１、実施例２を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

５０ 衝突警報装置
６０ 車両用外界認識装置
７０ 車両相対位置算出部
８０ 警報出力判断部
９０ 警報出力部
１００ カメラ（撮像部）
１５０ 画像取得部
１６０ 消失点位置取得部
２００ 車両候補抽出部
２１０ 縦エッジ検出部
２２０ 縦エッジ間隔算出部
２３０ ｘｗ空間生成部
２４０ 車両左右端候補位置検出部
３００ 特徴量算出部
３１０ 幅高さ比率算出部
３２０ ＨＯＧ特徴量算出部
４００ 車両識別部

Claims (5)

1. 自車両に搭載され、前記自車両の周辺を撮像する撮像部と、
   前記撮像部で撮像された画像の中の消失点の位置を取得する消失点位置取得部と、
   前記画像の中の車両候補の左右端位置を検出する車両左右端候補位置検出部と、
   前記車両左右端候補位置検出部で検出した車両候補の左右端位置に挟まれた領域の中から、前記車両候補の下端位置を検出する車両下端候補位置検出部と、
   前記消失点位置取得部で取得した前記消失点の位置と前記車両左右端候補位置検出部で検出した前記車両候補の左右端位置と前記車両下端候補位置検出部で検出した前記車両候補の下端位置とに基づいて、前記車両候補の左右端位置の間隔に対する、前記消失点の位置と前記車両候補の下端位置との間隔の比率を含む特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出された前記特徴量を用いて前記車両の識別を行う車両識別部と、を有することを特徴とする車両用外界認識装置。
2. 前記車両識別部は、前記比率が所定値以上である車両を識別する第１車両識別部と、
   前記比率が前記所定値よりも小さい車両を識別する第２車両識別部と、からなることを特徴とする請求項１に記載の車両用外界認識装置。
3. 前記第１車両識別部は、少なくとも前記比率が所定値以上である車両を含む画像を学習データとして使用して生成された識別器を有し、前記第２車両識別部は、少なくとも前記比率が前記所定値よりも小さい車両を含む画像を学習データとして使用して生成された識別器を有することを特徴とする請求項２に記載の車両用外界認識装置。
4. 前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、
   前記車両相対位置算出部の算出結果に基づいて、警報を出力する必要性を判断する警報出力判断部と、
   警報を出力する警報出力部と、を有することを特徴とする請求項１から３のいずれか１項に記載の車両用外界認識装置を用いた車両システム。
5. 前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、
   前記車両相対位置算出部の算出結果に基づいて、前記自車両の挙動を制御する車両挙動制御部と、を有することを特徴とする請求項１から３のいずれか１項に記載の車両用外界認識装置を用いた車両システム。