JP2015179482A - 車載用画像処理装置およびそれを用いた車両システム - Google Patents

Abstract

【課題】白線等の対象物を検出する際に、影等の誤検出を防止することができる車載用画像処理装置を得ること。【解決手段】検出した対象物が路面パターンによる誤検出か否かを正しく判定する。車載用画像処理装置１０００は、画像を取得し、自車近傍領域の画像から路面状態を推定し、路面状態に応じた判定方法を設定し、該判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する。【選択図】図１

Description

本発明は、カメラ等の画像センサからの情報に基づいて対象物を検出し、検出結果に応じて警報や車両の挙動制御を実施する自動車のための車載用画像処理装置およびそれを用いた車両システムに関する。

近年、カメラ、ソナーといったセンサを用いて車両を制御し、運転者をサポートするシステムの開発が進められている。たとえば、レーンを検出し、自車が逸脱する可能性が生じたときには警報によって運転者に注意を促し、さらに逸脱が避けられない状況になったときはブレーキやステアリングの制御により逸脱を防止するシステムや、駐車枠を検出し、運転者の駐車操作の一部あるいはすべてを自動で実施する自律駐車システム等が実用化されている。

カメラを用いて駐車枠やレーンを構成する白線を検出する場合、ガードレールの影や電線の影が路面上に写り、白線と同程度の幅として見えるため白線と誤検知することがある。このような誤検知への対策として、たとえば、特許文献１には、車両に搭載されたカメラでレーンを検出する際に、基準領域を設定して路面輝度のヒストグラムを作成し、路面クラスタの輝度分布から外れているものを白線として検出する技術が記載されている。

特開２００６−２６８１９９号公報

しかしながら、例えば自車の後方から太陽光が射している場合は、基準領域の大半が自車の影がかかった路面となり、影による誤検知を除去することができない。また、雨天時は路面が濡れて遠方の情景が写りこむため、路面の輝度を正確にとらえることができない。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、白線等の対象物を検出する際に、路面の状態に応じた最適な基準に基づいて対象物の検出を実施する車載用画像処理装置およびそれを用いた車両システムを提供することである。

上記課題を解決する本発明の車載用画像処理装置は、路面上の対象物を検出する車載用画像認識装置であって、自車周囲を撮像した画像を取得する画像取得部と、該画像の自車近傍領域の輝度分布に基づいて自車周囲の路面状態を推定する路面状態推定部と、該路面状態に応じて対象物の判定方法を設定する判定方法設定部と、前記画像から前記対象物と推定される対象物候補を検出する対象物候補検出部と、前記判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する対象物判定部とを有することを特徴としている。

本発明によれば、路面の状態を推定し、その推定した路面状態に応じて設定された判定方法を用いて対象物の判定を行うので、路面の一部を対象物と誤って検出することを防ぐことができ、これに基づいて信頼度の高い制御を実施する車両システムを提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施の形態における車載用画像処理装置のブロック図。 第１実施の形態における画像取得部の処理の説明図。 第１実施の形態における自車近傍領域の説明図。 均一状態とその輝度ヒストグラムの一例を模式的に示す図。 日陰日向状態とその輝度ヒストグラムの一例を模式的に示す図。 その他の明暗分離状態とその輝度ヒストグラムの一例を模式的に示す図。 反射状態とその輝度ヒストグラムの一例を模式的に示す図。 複雑状態とその輝度ヒストグラムの一例を模式的に示す図。 第１実施の形態における路面状態推定部の処理を表すフローチャート。 均一状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 日陰日向状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 反射状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 複雑状態の輝度ヒストグラムと単一ガウス分布と両者の誤差を示す図。 均一状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 日陰日向状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 反射状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 複雑状態の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 第１実施の形態における路面状態推定部の処理の説明図。 第１実施の形態における白線候補検出部の処理を表すフローチャート。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 白線の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 日陰中の日向の輝度ヒストグラムと混合ガウス分布と両者の誤差を示す図。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 俯瞰画像において白線候補が放射線状か否かを説明する図。 第１実施の形態における白線判定部の処理の一部を表すフローチャート。 第１実施の形態における駐車枠認識部の処理を表すフローチャート。 第１実施の形態における駐車枠認識部の処理の説明図。 第１実施の形態の別形態のブロック図。 第１実施の形態における駐車補助制御部の処理を表すフローチャート。 第２実施の形態における車載用画像処理装置のブロック図。 第２実施の形態における汚れ検出部の処理を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における白線判定部の処理の一部を表すフローチャート。 第２実施の形態における駐車枠認識部の処理を表すフローチャート。 第２実施の形態における駐車補助制御部の処理を表すフローチャート。 第３実施の形態における車載用画像処理装置のブロック図。 第３実施の形態における障害物判定部の処理の一部を表すフローチャート。 第３実施の形態における障害物判定部の処理の一部を表すフローチャート。 第３実施の形態における障害物判定部の処理の説明図。 第３実施の形態における車両制御部の処理を表すフローチャート。

＜第一実施の形態＞
以下、本発明の第一実施の形態について図面を用いて詳細に説明する。

図１は、第一実施の形態における車載用画像処理装置１０００のブロック図である。
車載用画像処理装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１００１〜１００４で撮影した画像内から対象物を検出するためのものであり、本実施の形態では、自車周囲の路面に白線によって描かれた駐車枠を検出するように構成されている。複数のカメラ１００１〜１００４は、少なくとも路面を含むように自車周囲を全周に亘って撮像可能な位置に取り付けられており、本実施の形態では、車両の前部、左側部、右側部、後部にそれぞれ取り付けられている。なお、カメラの個数および取付位置は、自車周囲の日陰日向を検出可能とする必要があるので、最少で２個のカメラを互いに離反する方向に向かって撮像するように取り付けられていればよい。

車載用画像処理装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。車載用画像処理装置１０００は、図１に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、白線候補検出部（対象物候補検出部）１０５１と、白線判定部（対象物判定部）１０６１と、駐車枠認識部１０７１と、を有する。

画像取得部１０２１は、図２に示すように、複数のカメラ１００１〜１００４から、自車周囲を撮影した画像１０１１〜１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。なお、俯瞰画像１０１５は２次元配列であり、ＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ｘ、ｙはそれぞれ画像の座標を示す。

路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、自車周囲の路面状態が予め設定された複数の路面状態のいずれに属するのかを推定する。自車近傍領域１０３２は、俯瞰画像１０１５内で自車周囲の近傍に設定される領域であり、自車近傍領域１０３２には必ず自車周囲の路面が撮像されているとみなすことができる。輝度ヒストグラムＨＳＴ[ｂ]は１次元配列であり、ｂはヒストグラムのビンを表す。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類のうちのいずれに属するのかを推定する。

判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、路面状態が［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いた判定方法を設定し、路面状態が［複雑状態］の場合は画像のパターンを用いた判定方法を設定する。

白線候補検出部１０５１は、俯瞰画像１０１５から、白線候補ＬＣ［ｎ］を検出する。白線候補ＬＣ[ｎ]は、白線候補の座標等の情報を持つテーブルを要素とする１次元配列であり、ｎは複数検出した場合のＩＤを表す。

白線判定部１０６１は、白線候補ＬＣ［ｎ］に対して、判定方法設定部１０４１で設定した判定方法に基づき、白線又は路面のいずれであるかを判定し、白線ＬＮ［ｍ］を決定する。白線ＬＮ[ｍ]は、白線の座標等の情報を持つテーブルを要素とする１次元配列であり、ｍは複数検出した場合のＩＤを表す。

駐車枠認識部１０７１は、白線ＬＮ[ｍ]に基づいて、駐車枠ＰＳ［ｋ］を検出する。駐車枠ＰＳ［ｋ］は、駐車枠の座標等の情報を持つテーブルを要素とする１次元配列であり、ｋは複数検出した場合のＩＤを表す。

［路面状態推定部］
つぎに、図３−１から図３−６、図４−１から図４−９、図５を用いて、路面状態推定部１０３１における処理の内容について説明する。

図４−１は路面状態推定部１０３１の処理の流れを示したフローチャートであり、以下、処理の詳細について説明する。まず、ステップＳ４０１にて、自車近傍領域から輝度ヒストグラムを作成する。

図３−１は、自車近傍領域１０３２の説明図であり、図３−１（ａ）〜図３−１（ｃ）では、図面の上側が車両前方を示す。ここでは、図３−１（ａ）に示すように自車近傍領域１０３２を固定とする場合、および、図３−１（ｂ）、（ｃ）に示すように、自車挙動に応じて自車近傍領域１０３２を可変にする場合の両方について説明する。

図３−１（ａ）に示すように、自車近傍領域１０３２を固定とする場合は、俯瞰画像１０１５内の中心付近に設定する。自車近傍領域１０３２の内方に示される黒い部分は、カメラ１００１〜１００４で撮像できない部分であるため、この領域は自車近傍領域１０３２の対象外とする。図３−１（ｂ）、（ｃ）に示すように、自車挙動に応じて自車近傍領域１０３２を可変にする場合は、車両の変速機のシフトポジション情報を取得し、その情報に基づいて、自車が前進している場合は図３（ｂ）のように自車後方を大きく、自車が後進している場合は図３−１（ｃ）のように自車前方を大きく設定する。同様に、中心部分は対象外とする。

図３−１（ｄ）は、自車近傍領域１０３２から取得した輝度ヒストグラムＨＳＴ［ｂ］の例である。輝度ヒストグラムＨＳＴ［ｂ］は、画像の輝度の頻度を表し、横軸に輝度、縦軸に頻度を取った１次元グラフで表現される。

図３−２から図３−６は、各路面状態とその輝度ヒストグラムの例を模式的に示す図である。図３−２は、均一状態とその輝度ヒストグラムの例を模式的に示す図、図３−３は、日陰日向状態とその輝度ヒストグラムの例を模式的に示す図、図３−４は、その他の明暗分離状態とその輝度ヒストグラムの例を模式的に示す図、図３−５は、反射状態とその輝度ヒストグラムの例を模式的に示す図、図３−６は、複雑状態とその輝度ヒストグラムの例を模式的に示す図である。

図３−２に示す俯瞰画像１０１５の路面は、日陰日向や影がなく、ほぼ単一の輝度を有するとみなすことが可能な均一状態である。このように、路面状態が均一状態であるときの輝度ヒストグラムは、路面領域の分布が大勢を占めるものとなり、一つの大きなピークを有する単峰性となる。

図３−３（ａ）に示す俯瞰画像１０１５の路面は、日向に自車や建物の影が映り込んで路面の輝度が明暗に分かれている明暗分離状態の一種である日陰日向状態である。図３−４（ａ）に示す俯瞰画像１０１５の路面は、路面の輝度が道路工事等により明暗に分かれているその他の明暗分離状態である。図３−５（ａ）に示す俯瞰画像１０１５の路面は、雨等により濡れた路面に反射した構造物が映り込んでいる反射状態である。図３−６（ａ）に示す俯瞰画像１０１５の路面は、例えば複数の方向からの光や影が映り込み、輝度ヒストグラムを予め設定されている混合ガウス分布により近似することが困難な複雑状態である。

そのうち、図３−３（ｂ）、図３−４（ｂ）、図３−５（ｂ）に示す、日陰日向状態、その他の明暗分離状態、反射状態の各輝度ヒストグラムは、それぞれ形状は異なるが概ね二つの大きなピークを有する二峰性となる。そして、図３−６（ｂ）に示す複雑状態の輝度ヒストグラムには三つ以上の多くのピークが現れる。

つぎに、ステップＳ４０２にて、輝度ヒストグラムの分析を行う。分析は、輝度ヒストグラムＨＳＴ［ｂ］に対して１つのピークを有する単一ガウス分布もしくは２つのピークを有する混合ガウス分布による近似を行い、その誤差を求める。以下、分布数Ｇで表現される混合ガウス分布のパラメータである重みα＿｛１、２、・・・、Ｇ｝、平均μ＿｛１、２、・・・、Ｇ｝、分散σ＿｛１、２、・・・、Ｇ｝をテーブルＧＰＴＢＬ（Ｇ）として表現する。ある分布を混合ガウス分布ＧＰＴＢＬ（Ｇ）により近似する方法は、一般的にＥＭアルゴリズムが用いられる。この方法は公知であるため、ここでは説明を割愛する。

ＥＭアルゴリズムにより近似する場合、ガウス分布の数Ｇを指定する必要があるため、本実施例ではＧ＝１、２を用いることとし、Ｇ＝１の近似誤差をＥｒｒ（１）、Ｇ＝２の近似誤差をＥｒｒ（２）とする。輝度ヒストグラムＨＳＴ［ｂ］とガウス分布ＧＰＴＢＬ（Ｇ）の誤差は，以下の式により演算を行う。

Ｅｒｒ（Ｇ）＝Σ（ｂ＝０〜２５５）：ＭＩＮ（ＨＳＴＮＭＬ［ｂ］，ＨＳＴＭＬＤ（Ｇ）［ｂ］）／ＭＡＸ（ＨＳＴＮＭＬ［ｂ］，ＨＳＴＭＬＤ（Ｇ）［ｂ］）
ここで、ＨＳＴＮＭＬ［ｂ］は、輝度ヒストグラムＨＳＴ［ｂ］を、その合計値が１となるように正規化したものである。ＨＳＴＭＬＤ（Ｇ）［ｂ］は、テーブルＧＰＴＢＬ（Ｇ）より得られる分布であり、同様にその合計値が１となるように正規化したものである。

図３−２〜図３−５の例に対してＧ＝１で近似した場合の例を図４−２〜図４−５に示す。図４−２（ａ）〜（ｃ）は、図３−２に示す均一状態の路面に対してＧ＝１で近似した場合の例である。図４−２（ａ）の輝度ヒストグラムに対し、ＥＭアルゴリズムにより取得したＧ＝１のガウス分布の重みα＿１、平均μ＿１、分散σ＿１により表される分布が図４−２（ｂ）となる。図４−２（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４−２（ｃ）に黒く示された領域の面積となる。

同様に，図４−３（ａ）〜（ｃ）は、図３−３に示す日陰日向状態の路面に対してＧ＝１で近似した場合の例である。図４−３（ａ）の輝度ヒストグラムから算出したガウス分布が図４−３（ｂ）となり、図４−３（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４−３（ｃ）に黒く示された領域の面積となる。以下、同様に図４−４（ａ）〜（ｃ）は、図３−５に示す反射状態の路面に適用した例であり、図４−５（ａ）〜（ｃ）は、図３−６に示す複雑状態の路面に適用した例である。

次に、図３−２〜図３−５の例に対してＧ＝２で近似した場合の例を図４−６〜図４−９に示す。図４−６（ａ）〜（ｃ）は、図３−２に示す均一状態の路面に対してＧ＝２で近似した場合の例である。図４−６（ａ）の輝度ヒストグラムに対し、ＥＭアルゴリズムにより取得したＧ＝２のガウス分布の重みα＿１、α＿２、平均μ＿１、μ＿２、分散σ＿１、σ＿２により表される分布が図４−６（ｂ）に太線で示されたものとなる。図４−６（ａ）と（ｂ）の誤差Ｅｒｒ（２）は、図４−６（ｃ）にて黒く示された領域の面積となる。

同様に，図４−７（ａ）〜（ｃ）は、図３−３に示す日陰日向状態の路面に対してＧ＝２で近似した場合の例である。図４−７（ａ）の輝度ヒストグラムから算出したガウス分布が図４−７（ｂ）となり、図４−７（ａ）と（ｂ）の誤差Ｅｒｒ（１）は、図４−７（ｃ）に黒く示された領域の面積となる。以下、同様に図４−８（ａ）〜（ｃ）は、図３−５に示す反射状態の路面に適用した例であり、図４−９（ａ）〜（ｃ）は、図３−６に示す複雑状態の路面に適用した例である。

以上図示したように、均一状態の路面のように単峰性のヒストグラムは、Ｇ＝１の分布に対する誤差が小さくなる。一方、日陰日向状態の路面のように、二峰性のヒストグラムは、Ｇ＝２の分布に対する誤差が小さくなる。さらに，複雑状態の路面のように、そのどちらにも該当しないヒストグラムは、いずれの近似に対してもその誤差が大きくなる。

また、均一状態の路面のように単峰性のヒストグラムに対してＧ＝２の分布を適用すると、Ｇ＝１の誤差よりも小さくなる傾向がある。したがって、以下の判定では、先にＧ＝１での近似の誤差を判定し、誤差が大きい場合のみ、Ｇ＝２での近似の誤差を判定する構成としている。

なお、２つのヒストグラムを比較する方法は種々存在するため、誤差Ｅｒｒ（Ｇ）の演算に別な方法を用いても良い、例えば、Ｂｈａｔｔａｃｈａｒｙｙａ距離を適用する場合、以下の式にて算出する。
Ｅｒｒ（Ｇ）＝１−Σ（ｂ＝０〜２５５）：ＳＱＲＴ（ＨＳＴＮＭＬ［ｂ］・ＨＳＴＭＬＤ（Ｇ）［ｂ］）

つぎに、ステップＳ４０３において、輝度ヒストグラムＨＳＴ［ｂ］が単一のガウス分布ＧＰ（１）で近似可能であるかを判定する。ここでは、ＧＰ（１）の誤差Ｅｒｒ（１）が、閾値ＴＨ＿Ｅｒｒ１以下であれば近似可能と判定しステップＳ４０５へ、閾値より大きければ近似不可であったと判定しステップＳ４０４へ移動する。

つぎに、ステップＳ４０４において、輝度ヒストグラムＨＳＴ［ｂ］が混合ガウス分布ＧＰ（２）で近似可能であるかを判定する。ここでは、ＧＰ（２）の場合の誤差Ｅｒｒ（２）が、閾値ＴＨ＿Ｅｒｒ２以下であれば近似可能と判定して、路面パターンを分析するべくステップＳ４０６へ移動し、閾値より大きければ近似不可であったと判定し、ステップＳ４０９へ移動する。

なお、ステップＳ４０２における近似において、Ｇ＝２より大きい、Ｇ＝３、Ｇ＝４での近似を試みても良く、この場合、ステップＳ４０４ではＧ＝２、３、４における近似誤差のうち最小の近似誤差を選択し、その値が閾値以下であるか否かによって、近似可否を判定する。

ステップＳ４０３で輝度ヒストグラムＨＳＴ［ｂ］が単一のガウス分布ＧＰ（１）で近似可能であると判定された場合（ステップＳ４０３でＹＥＳ）、ステップＳ４０５で路面状態を［均一状態］と推定する。路面状態が［均一状態］であるとは、図３−２に示すように、路面に日陰日向や影がなく、ほぼ単一の輝度とみなすことができる状態をいう。なお、路面に駐車枠などの白線が存在する場合でも、画像内では白線の画素数よりも路面の画素数の方が圧倒的に多いので、単一のガウス分布に近似化できる。

ステップＳ４０４で輝度ヒストグラムＨＳＴ［ｂ］が混合ガウス分布ＧＰ（２）で近似可能であると判定された場合（ステップＳ４０４でＹＥＳ）、路面が明暗に分離された［明暗分離状態］であると推定し、その状態をさらに詳細に分析すべく、ステップＳ４０６以降の処理を実行する。ステップＳ４０６で路面パターン分析を実施する。路面パターン分析では、路面の明暗の形状を認識する処理が行われる。そして、ステップＳ４０６において認識された、路面の明暗の形状に基づき、ステップＳ４０７で［明暗分離状態］が［反射状態］であるか否かが判断される。

ステップＳ４０７で［反射状態］ではない（ＮＯ）と判断された場合には、ステップＳ４０８に移行して、路面状態を［日陰日向状態］もしくは［その他の明暗分離状態］のいずれかであると推定する。一方、ステップＳ４０７で［反射状態］である（ＹＥＳ）と判断された場合には、ステップＳ４０９に移行して、路面状態を［複雑状態（［反射状態］を含む］であると推定する。

図５は、路面状態の具体例を示す図であり、図５（ａ）は日陰日向状態を示し、図５（ｂ）はその他の明暗分離状態を示し、図５（ｃ）は反射状態を示している。路面状態が［日陰日向状態］であるとは、画像に自車の影が映り込んでいる状態をいう。そして、［その他の明暗分離状態］であるとは、例えば図５（ｂ）に示すように、ビルや壁などの自車以外の物体の影が映り込んでいる状態や、道路工事等により路面の輝度が部分的に異なっている状態をいう。そして、［反射状態］であるとは、例えば図５（ｃ）に示すように、雨等により濡れた路面に反射した構造物が映り込んでいる状態をいう。

路面パターン分析は、近似した混合ガウス分布パラメータＧＰ（２）を用いて、俯瞰画像１０１５を分析することにより行われる。以下、ＧＰ（２）の２つのガウス分布のうち、平均輝度が大きい分布をＧＰＨ、平均輝度が小さい分布をＧＰＬとする。

まず、俯瞰画像１０１５の各画素に対し、２つのガウス分布のうち、ＧＰＬに属している画素を抽出する。属しているか否かは、各画素の輝度をＧＰＬ、ＧＰＨに代入し、ＧＰＬの出力値がＧＰＨの出力値より大きいか否かによって判定可能である。

つぎに、俯瞰画像１０１５内でＧＰＬに属している画素のみを抽出した２値画像を生成し、形状を分析する。例えば図５（ａ）に示すように、平均輝度が小さいガウス分布に属している画素が、自車近傍領域内から一定方向に延びている場合は、路面状態が［日陰日向状態］であると判定する。路面状態が［日陰日向状態］と判定された場合、ＧＰＨ画素領域Ｓａが日向路面に相当し、ＧＰＬ画素領域Ｓｂが日陰路面に相当する。

例えば図５（ｂ）に示すように、ＧＰＬに属している画素が画像の半分に存在する等、自車近傍領域内がＧＰＬ画素領域ＳｂとＧＰＨ画素領域Ｓａに二分に区画される場合には、路面状態が［その他の明暗分離状態］であると判定する。図５（ｃ）に示すように雨等により濡れた路面に反射した構造物が映り込んでいる等により、ＧＰＬ画素領域Ｓｂが複雑な形状を有している場合は、［反射状態］であると判定する（ステップＳ４０７でＹＥＳ）。上記判定は、ＧＰＬに属している画素を抽出した２値画像に対し、ラベリング処理を行い、各ラベルの形状を見ることで判定することができる。

ステップＳ４０７において，路面状態が[反射状態]でなければステップＳ４０８へ移動し、［反射状態］であればステップＳ４０９へ移動する。ステップＳ４０８は，輝度ヒストグラムを予め設定されているガウス分布により近似することが可能であると判定し，路面状態を［日陰日向状態］もしくは［その他の明暗分離状態］であると推定する。ステップＳ４０９は、輝度ヒストグラムを予め設定されているガウス分布により近似することが困難、もしくは、形状が複雑であると判定し、路面状態を［複雑状態］であると推定する。［反射状態］は、［複雑状態］の部分集合として扱う。

以上説明したように、路面状態推定部１０３１では自車近傍領域のヒストグラムが単峰性、二峰性、その他のどのモデルにもっとも当てはまるか、さらにあてはめたモデルにおけるパラメータを推定する。

［判定方法設定部］
つぎに、判定方法設定部１０４１の処理の内容について説明する。
本実施例においては、路面状態が［複雑状態］と推定された場合とそれ以外の場合で大きく２種類の判定方法を用いる。路面状態が［複雑状態］以外と判定された場合は、路面状態推定部１０３１にて用いた混合ガウス分布モデルＧＰ（Ｇ）を用いた判定を行う。一方、路面状態が［複雑状態］と判定された場合は、輝度パターンを用いた判定を行う。輝度パターンについての詳細は、白線判定部１０６１にて説明する。

[白線候補検出部]
つぎに、図６を用いて、白線候補検出部１０５１における処理の内容について説明する。
図６は、白線候補検出部１０５１の処理の流れを示したフローチャートである。白線候補検出部１０５１は、俯瞰画像１０１５全体に対して実施しても良いし、処理領域を限定しても良い。本実施例では、シフトポジションに基づいて、自車が停車・前進している場合は俯瞰画像１０１５の上半分を、自車が後進している場合は下半分を処理領域として設定する。

まず、ステップＳ６０１にて、処理領域内の各ラインに対して画像の左側から右側に走査しながら、縦方向のエッジフィルタを適用する。以下、ステップＳ６０２、Ｓ６０３はライン毎に実施する。ステップＳ６０２にて、エッジフィルタの出力値がピークとなるエッジ点を検出する。ピークは、立ち上がりエッジ（輝度の暗から明への変化点）Ｅｕ［ｎｕ］立下りエッジ（輝度の明から暗への変化点）Ｅｄ［ｎｄ］を検出する。

路面上の白線は路面よりも輝度値が高いため、白線の左側には立ち上がりエッジが、右側には立下りエッジが存在する。その特徴を捉えるため、ステップＳ６０３にて、ステップＳ６０２で検出した立ち上がりエッジ点Ｅｕ［ｎｕ］、立下りエッジ点Ｅｄ［ｎｄ］のうち、立ち上がりエッジから画像右側の所定範囲（あらかじめ定義する、検出する白線の最大太さ）内に立下りエッジが存在するエッジペアＥｐ［ｎｐ］のみを残し、それ以外の単独エッジは消去する。上記Ｓ６０１〜Ｓ６０３を、処理領域内の各ラインに対して実行する。

つぎに、ステップＳ６０４にて、エッジペアＥｐ［ｎｐ］のうち、直線状に並んでいるものをグルーピングし、直線候補グループＬｇ［ｎｇ］を生成する。ここで、直線状でないエッジペアを除去する。直線上に並ぶ白線のグルーピングは、公知のハフ変換を用いることで可能である。つぎに、ステップＳ６０５にて、直線候補グループＬｇ［ｎｇ］の線のうち、所定長さ以下のものを除去する。そして、ステップＳ６０６にて、残ったグループの立ち上がり・立下りエッジの上端・下端の座標を、白線候補ＬＣ［ｎ］の要素として格納する。

[白線判定部]
つぎに、図７−１〜図７−３、図８−１、図８−２、図９を用いて、白線判定部１０６１における処理の内容について説明する。図７−１は、白線判定部１０６１の処理の流れを示したフローチャートである。

まず、ステップＳ７０１にて、路面状態推定部１０３１にて判定された路面状態が［複雑状態］であったか否かを確認する。［複雑状態］ではなかった場合はステップＳ７０１１へ移動し、［複雑状態］であった場合はステップＳ７０６へと移動する。ステップＳ７０１１では、路面状態推定部１０３１にて判定された路面状態が［日陰日向状態］であったか否かを確認する。［日陰日向状態］ではなかった場合はステップＳ７０２に移動し、［日陰日向状態］であった場合はステップＳ７０７へと移動する。以下、ステップＳ７０２からステップＳ７０５までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。

まず、ステップＳ７０２にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］を作成する。つぎに、ステップＳ７０３にて、白線候補輝度（白線候補の内側輝度ヒストグラム）が路面輝度基準に含まれるか否かを判断する。ここでは、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＬＮＧＰを算出し、閾値ＴＨ＿ＬＮＧＰと比較する。そして、誤差Ｅｒｒ＿ＬＮＧＰが閾値ＴＨ＿ＬＮＧＰよりも大きければ、白線候補の輝度が路面輝度基準に含まれない（ステップＳ７０３でＮＯ）と判定し、ステップＳ７０４へ移動し、誤差Ｅｒｒ＿ＬＮＧＰが閾値ＴＨ＿ＬＮＧＰ以下であれば路面輝度基準に含まれる（ステップＳ７０３でＹＥＳ）と判定し、ステップＳ７０５へ移動する。

ステップＳ７０４では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。一方、ステップＳ７０５では、白線候補は白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。ステップＳ７０６では、次で説明する［複雑状態］であると判定された場合の処理に入る。

上記した白線判定処理の具体例について図７−２、図７−３を用いて説明する。図７−２（ａ）は、自車前方の駐車枠線を白線候補ＬＣとして検知しているシーンである。ここでは左右の白線候補のうち、右側の白線候補ＬＣに対する処理について説明する（左側の白線候補に対する処理も同様である）。

図７−２（ｂ）は、白線候補ＬＣ［ｎ］の内側領域（図７−２（ａ）右側の点線矩形内）の輝度ヒストグラムＨＳＴＬＣ［ｎ］、図７−２（ｃ）は、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）のヒストグラム、図７−２（ｄ）は、図７−２（ｂ）と（ｃ）のヒストグラムの誤差を表示したものである。

白線候補ＬＣ［ｎ］の内側領域の輝度ヒストグラムＨＳＴＬＣ［ｎ］として図７−２（ｂ）に示す輝度ヒストグラムが得られ、判定方法設定部１０４１にて設定した混合ガウス分布モデルＧＰ（Ｇ）の輝度ヒストグラムが図７−２（ｃ）に示すものであった場合に、図７−２（ｂ）と（ｃ）のヒストグラムを比較すると、図７−２（ｄ）に示すように、互いに分布の位置が大きく異なっている。したがって、路面状態推定部１０３１にて述べた方法を用いて、これら２つのヒストグラムの誤差を求めると、閾値ＴＨ＿ＬＮＧＰを超える大きい値が得られ、白線として判定される．

一方、図７−３の例について説明する。図７−３（ａ）は、自車前方に影（ＧＰＬ画素領域Ｓｂ）が存在し、その影の間の日向部分（ＧＰＨ画素領域Ｓａ）を白線候補ＬＣとして検出しているシーンである。ここでは左右の白線候補のうち、右側の白線候補ＬＣに対する処理について説明する（左側の白線候補に対する処理も同様である）。

図７−３（ｂ）は、白線候補ＬＣ［ｎ］の内側領域（図７−３（ａ）右側の点線矩形内）の輝度ヒストグラムＨＳＴＬＣ［ｎ］、図７−３（ｃ）は、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）のヒストグラム、図７−３（ｄ）は、図７−３（ｂ）と（ｃ）のヒストグラムの誤差を表示したものである。

白線候補ＬＣ［ｎ］の内側領域の輝度ヒストグラムＨＳＴＬＣ［ｎ］として図７−３（ｂ）に示す輝度ヒストグラムが得られ、判定方法設定部１０４１にて設定した混合ガウス分布モデルＧＰ（Ｇ）の輝度ヒストグラムが図７−３（ｃ）に示すものであった場合に、図７−３（ｂ）と（ｃ）のヒストグラムを比較すると、図７−３（ｄ）に示すように、分布の位置がほぼ一致する。したがって、路面状態推定部１０３１にて述べた方法を用いて、これら２つのヒストグラムの誤差を求めると、小さい値が得られる。したがって、閾値ＴＨ＿ＬＮＧＰ以下の値となり、白線ではないと判定され、消去される。

ステップＳ７０６では、図８−１に記載された処理が実行される。図８−１は、路面が［複雑状態］であると判定された場合の処理である。ステップＳ８０１からステップＳ８０４までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。まず、ステップＳ８０１にて、白線候補周辺の輝度パターン、つまり俯瞰画像１０１５に対して白線候補を含む領域を設定する。つぎに、ステップＳ８０２にて、白線候補の輝度パターンが放射状であるか、つまり俯瞰画像１０１５に対して白線候補を含むよう設定された領域の形状が放射状であるかを判定する。図２を用いて説明したように、俯瞰画像１０１５は上空からの仮想視点の画像である。

雨などで濡れた路面に構造物が反射して映り込む路面反射等が存在すると、路面上に図５（ｃ）のようなパターンが現れる。このパターンは俯瞰画像１０１５上におけるカメラ設置位置から放射状に延びるため、白線候補を含むよう設定された領域内の画像がカメラ設置位置から放射状になっているか否かを判定することで、白線候補が路面反射によるものなのか、本当の白線なのかを見分けることができる。

本実施例では、放射状であるかを判定する方法として、以下の方法を用いる。まず、白線候補を含むよう設定された領域内の各画像からエッジ角度ＤＥ［ｘ］［ｙ］を算出する。つぎに、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］を算出する。そして、ＤＥ［ｘ］［ｙ］とＤＣ［ｘ］［ｙ］の差を求め、その値が閾値ＴＨ＿ＤＥＤＣ以内であるか否かを判定する。以上の処理を、白線候補を含むよう設定された領域内のすべての画素に実施し、閾値以内である画素数をカウントする。そして、カウントした画素数を領域の面積で割った値ＲＲを求め、その値が閾値ＴＨ＿ＲＲ以上であれば放射状であると判定し、そうでなければ放射状ではないと判定する。ここで，閾値ＴＨ＿ＤＥＤＣ、ＴＨ＿ＲＲはあらかじめ設定しておく。

ステップＳ８０２にて、白線候補の輝度パターンが放射状ではない（ステップＳ８０２でＮＯ）と判定されるとステップＳ８０３へ移動する。ステップＳ８０３では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。一方、ステップＳ８０２にて、白線候補の輝度パターンが放射状である（ステップＳ８０２でＹＥＳ）と判定されるとステップＳ８０４へ移動する。ステップＳ８０４では、白線候補を白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。

上記処理における放射状である白線候補の例と、放射状ではない白線候補の例について、図８−２を用いて説明する。図８−２は、俯瞰画像において白線候補が放射線状か否かを説明する図である。図８−２（ａ）には、俯瞰画像１０１５上におけるカメラ１００１〜１００４の各設置位置が示されている。路面への映り込みは、このカメラ位置から放射状に延びる方向となる。

図８−２（ｂ）は、放射状ではない白線候補ＬＣの例である。この場合、白線候補ＬＣのエッジの角度が放射状ではないため、カメラ１００１の位置を通らない。すなわち、白線候補ＬＣの延長線上にカメラ１００１が位置していない。よって、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と各画素とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差は大きくなる。

図８−２（ｃ）は、放射状である白線候補ＬＣの例である。この場合、白線候補ＬＣのエッジの角度が放射状であるため、カメラ１００１の位置を通る。すなわち、白線候補ＬＣの延長線上にカメラ１００１が位置している。よって、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と各画素とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差は小さくなる。

さらに、図９にて、路面状態が［日陰日向状態］であると判定された場合の処理を説明する。ステップＳ７０１１で路面状態が［日陰日向状態］であると判定されると、ステップＳ７０７に移動し、図９に記載された処理が実行される。図９は、路面が［日陰日向状態］であると判定された場合の処理である。

以下、ステップＳ９０１からステップＳ９０６までの処理は、白線候補ＬＣ［ｎ］の数だけ処理を繰り返す。

ステップＳ９０１にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］を取得する。つぎに、ステップＳ９０２にて、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｎ］を取得する。つぎに、ステップＳ９０３にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、日向路面の分布モデルＧＰＨとの誤差Ｅｒｒ＿ＬＮＧＰＨを算出し、閾値ＴＨ＿ＬＮＧＰＨと比較する。誤差Ｅｒｒ＿ＬＮＧＰＨが閾値ＴＨ＿ＬＮＧＰＨより大きければ日向路面輝度基準に含まれない（ステップＳ９０３でＮＯ）と判定しステップＳ９０６へ移動し、誤差Ｅｒｒ＿ＬＮＧＰＨが閾値ＴＨ＿ＬＮＧＰＨ以下であれば日向路面輝度基準に含まれる（ステップＳ９０３でＹＥＳ）と判定し、ステップＳ９０４へ移動する。

つぎに、ステップＳ９０４にて、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｎ］と、日陰路面の分布モデルＧＰＬとの誤差Ｅｒｒ＿ＬＮＧＰＬを算出し、閾値ＴＨ＿ＬＮＧＰＬと比較する。誤差Ｅｒｒ＿ＬＮＧＰＬが閾値ＴＨ＿ＬＮＧＰＬよりも大きければ日陰路面輝度基準に含まれない（ステップＳ９０４でＮＯ）と判定し、ステップＳ９０６へ移動し、誤差Ｅｒｒ＿ＬＮＧＰＬが閾値ＴＨ＿ＬＮＧＰＬ閾値以下であれば日陰路面輝度基準に含まれる（ステップＳ９０４でＹＥＳ）と判定し、ステップＳ９０５へ移動する。

ステップＳ９０６では、白線候補を白線と判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーする。ステップＳ９０５では、白線候補を白線ではないと判定し、白線候補ＬＣ［ｎ］の情報を白線ＬＮ［ｍ］へコピーせず、消去する。

以上、白線判定部１０６１において、白線候補ＬＣ［ｎ］の輝度と路面状態に応じた判定方法に基づいて、白線候補ＬＣ［ｎ］を白線ＬＮ［ｎ］に含めるか否かという処理を説明した。本実施例では、路面状態が［複雑状態］以外の状態であった場合には白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｂ］と混合ガウス分布近似モデルＧＰ（Ｇ）の誤差の大きさに基づいて判定する。また、路面状態が［複雑状態］であった場合には、白線候補ＬＣ［ｎ］を含む領域の輝度パターンが放射状の特徴を持つ度合いに基づいて判定する。

さらに、路面状態が［日陰日向状態］であった場合には、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｂ］と日向路面のガウス分布モデルＧＰＨとの誤差の大きさ、および、白線候補ＬＣ［ｎ］の外側の輝度ヒストグラムＨＳＴＬＣＥＸ［ｂ］と日陰路面のガウス分布モデルＧＰＬとの誤差の大きさに基づいて判定する。このような処理により、路面状態に応じた判定が可能となり、誤認識を防ぐことが可能となる。

［駐車枠認識部］
つぎに、図１０を用いて、駐車枠認識部１０７１における処理の内容について説明する。
図１０は駐車枠認識部１０７１の処理の流れを示したフローチャートである。

まず、ステップＳ１０１にて、白線ＬＮ［ｍ］から２本の線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］を選択する。つぎに、ステップＳ１０２において、ステップＳ１０１で選択した２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］の延在方向の角度差θが所定値（Ｔｈθｍａｘ）以下であるか否かを判断する。すなわち、ステップＳ１０２では、２本の白線が略平行であるか否かを判断する。ステップＳ１０２が肯定判断されるとステップＳ１０３へ進み、２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］の間隔Ｗが所定の範囲内（ＴｈＷｍｉｎ以上かつＴｈＷｍａｘ以下）であるか否かを判断する。すなわち、ステップＳ１０３では、駐車枠を構成する２本の白線として考えられる間隔で２本の白線が並んでいるか否かを判断する。

ステップＳ１０３が肯定判断されるとステップＳ１０４へ進み、２本の白線の下端のずれΔＢが所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断する。ここで、２本の白線の下端のずれについて、図１１を参照して説明する。図１１の左図（ａ）に示すように、駐車場の敷地における車両１の移動方向（図１１の紙面における上下方向および左右方向）に対して車両１を平行または直角に駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合、紙面における２本の白線の下端のずれΔＢは少ない。

しかし、図１１の右図（ｂ）に示すように、駐車場によっては、車両１０の移動方向（図１１の紙面における上下方向および左右方向）に対して車両１０を平行または直角ではなく斜めに駐車するように駐車枠２３が設けられ、この駐車枠２３に対応するように駐車枠線２３Ｌが描かれている場合がある。この場合、距離Ｂで示すように、駐車枠２３を構成する駐車枠線２３Ｌの下端位置がずれる。すなわち、２本の白線の下端のずれは大きい。これは、図示右側の駐車枠線２３Ｌが紙面下方の車両１が走行する領域に対してはみ出さないようにするために、駐車枠線２３Ｌの下端位置をずらしてあるからである。

たとえば、高速道路のサービスエリアやパーキングエリアでは、図１１の右図（ｂ）の左側の駐車枠線２３Ｌの下端から駐車枠線２３Ｌの延在方向に対して垂直な線分と、駐車枠線２３Ｌの下端同士を結ぶ線分との交差角度ρが０度、３０度、４５度のいずれかとすることが定められている。また、駐車枠２３の幅Ｗについても取り得る値の範囲が決まっている。そこで、本実施の形態では、上記交差角度θが、０度、３０度、４５度のいずれかの値であるときに取り得る距離Ｂの値があらかじめ不図示のメモリ等に記憶されている。

本実施の形態のステップＳ１０４では、選択したＬＮ［ｍＬ］、ＬＮ［ｍＲ］から算出される距離Ｂとを比較して、その差が上述した所定の範囲内（ＴｈＢｍｉｎ以上かつＴｈＢｍａｘ以下）であるか否かを判断することによって、２本の白線が１つの駐車枠２３を構成する白線（駐車枠線２３Ｌ）であるか否かを判断する。

ステップＳ１０４が肯定判断されるとステップＳ１０５へ進み、２本の白線ＬＮ［ｍＬ］、ＬＮ［ｍＲ］で構成される矩形の駐車枠２３の４隅の座標を１つの駐車枠２３についての位置の情報ＰＳ［ｋ］として登録する。ステップＳ１０５を実行するとステップＳ１０６へ進み、白線判定部１０６１から出力された情報に基づくすべての白線（駐車枠線）に関して、任意の２本の白線についての上述した処理を行ったか否かを確認する。ステップＳ１０６が肯定判断されると、上述した処理によって得られた結果を出力して、駐車枠認識部１０７１の処理を終了する。ステップＳ１０６が否定判断されるとステップＳ１０１へ戻る。

以上説明したように、路面状態に応じて白線の判定方法を切り替えて誤認識を抑制することができ、駐車枠認識の精度を向上させることができる。

なお、本実施例ではモノクロカメラについて説明したが、色情報（カラー情報）を用いても良い。色情報を用いる場合は、Ｒ、Ｇ、Ｂの３チャネルすべてについて、上記処理を実施することで実現可能である。

さらに、図１２は、本実施例にて検出した駐車枠認識結果ＰＳ［ｋ］を、同一の車両に搭載された別の制御装置へ送信し、駐車支援制御を実施する場合のブロック図である。ここでは、駐車支援制御部１０８１は、駐車枠認識結果ＰＳ［ｋ］の位置情報を取得し、駐車支援制御を実施する。

図１３は駐車支援制御部１０８１の処理の流れを示したフローチャートである。
まず、ステップＳ１３０１にて、駐車枠認識結果ＰＳ［ｋ］の位置情報を取得する。駐車枠認識結果ＰＳ［ｋ］は、車載用画像処理装置１０００の信号を制御装置へ直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。

つぎに、ステップＳ１３０２にて、駐車軌跡を算出する。駐車軌跡は、駐車枠認識結果ＰＳ［ｋ］の位置に基づいて生成する。つぎに、ステップＳ１３０３にて、駐車可否を判断する。車両の切り返しを数回実施しても駐車不可能である場合は、ステップＳ１３０５へ移動し、駐車支援を中止する。一方、駐車可能である場合は、ステップＳ１３０４へ移動し、ステアリング、アクセル、ブレーキの少なくともいずれか一つの制御を実施して、目標の駐車枠へ駐車する支援を実施する。

＜第二実施の形態＞
つぎに、本発明の車載用画像処理装置の第二実施の形態について、以下に図面を用いて説明する。

図１４は、第二実施の形態における車載用画像処理装置２０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用画像処理装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。

本実施の形態において特徴的なことは、汚れ検出部２０９１を有し、その情報を用いて白線判定部２０６１の処理を行うところである。

車載用画像処理装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から対象物を検知するためのものであり、本実施の形態では、自車の前方の障害物を検知するように構成されている。

車載用画像処理装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車載用画像処理装置２０００は、図１４に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、白線候補検出部１０５１と、汚れ検出部２０９１と、白線判定部２０６１と、駐車枠認識部２０７１と、さらに、駐車支援制御部２０８１と、を有する。

画像取得部１０２１は、図２に示すように、自車の周囲を撮像可能な位置に取り付けられたカメラ１００１〜１００４から、自車周囲を撮影した画像１０１１〜１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。

路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、路面状態を推定する。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類を推定する。

判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いた判定を行い、［複雑状態］の場合は画像のパターンを用いた判定を行う。

白線候補検出部１０５１は、俯瞰画像１０１５から、白線候補ＬＣ［ｎ］を検出する。汚れ検出部２０９１は、俯瞰画像１０１５から、カメラのレンズ汚れ位置を算出する。白線判定部２０６１は、白線候補ＬＣ［ｎ］に対して、判定方法設定部１０４１で設定した判定基準、および、汚れ検出部２０９１により検出した汚れ情報に基づき、白線の信頼度ＬＲＬＢ［ｎ］を算出する。駐車枠認識部２０７１は、白線候補ＬＣ[ｎ]および白線の信頼度ＬＲＬＢ［ｎ］に基づいて、駐車枠ＰＳ［ｋ］を検出する。

さらに、駐車支援制御部２０８１は、車載用画像処理装置２０００と同一の車両に搭載されている制御装置内に搭載され、車載用画像処理装置２０００から受信した駐車枠認識結果ＰＳ［ｋ］の位置情報および信頼度を用いて、自車との位置関係に応じて、最適な駐車軌跡を算出し、ステアリング、アクセル、ブレーキを制御して、目標の駐車枠へ駐車する。

［汚れ検出部］
図１５を用いて、汚れ検出部２０９１の一例に関する処理の内容について説明する。
図１５は本実施例における、汚れ検出部２０９１の処理の流れを示したフローチャートである。

ステップＳ１４０１では、俯瞰画像１０１５を複数の小領域に分割する。小領域の区切り方はあらかじめ設定されているものとする。ステップＳ１４０２では、各小領域でヒストグラムを作成する。ステップＳ１４０３では、ステップＳ１４０２で作成したヒストグラムを、図１４の処理を前回実行したときに作成したヒストグラムと比較する。

ステップＳ１４０４では、ステップＳ１４０３で行った比較に基づいて、各小領域の評価を行う。すなわち、ヒストグラムに変化がない領域についてスコアを上昇させる演算を行う。ステップＳ１４０５では、車載用画像処理装置２０００は、スコアが所定の閾値を超えた小領域を検出して、その小領域に関する情報（座標値）を異物認識部の認識結果ＳＲＤ［ｄ］として情報記憶部に記憶する。ここでＳＲＤは汚れた小領域の座標情報であり、ｄは複数検出した場合のＩＤである。

［白線判定部］
つぎに、図１６、図１７、図１８を用いて、白線判定部２０６１の一例に関する処理の内容について説明する。図１６は本実施例における白線判定部２０６１の処理の流れを示したフローチャートである。まず、ステップＳ１５０１にて、路面輝度基準を用いて白線候補ＬＣ［ｎ］の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。以下、第一の信頼度ＬＲＬＢ１［ｎ］の算出方法について述べる。

図１７、図１８は第一の信頼度ＬＲＬＢ１［ｎ］の算出の処理の流れを示したフローチャートである。各処理のうち、図７−１、図８−１に示した第一実施例における白線判定部１０６１と同様の箇所には同一の番号を付してその詳細な説明を省略する。

ステップＳ７０３２にて、白線候補ＬＣ［ｎ］の内側の輝度ヒストグラムＨＳＴＬＣ［ｎ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＬＮＧＰを算出する。

つぎに、ステップＳ７０４２にて、誤差Ｅｒｒ＿ＬＮＧＰに基づいて白線の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。本実施例では、誤差Ｅｒｒ＿ＬＮＧＰの閾値ＴＨ＿ＬＮＧＰ１、ＴＨ＿ＬＮＧＰ２を、ＴＨ＿ＬＮＧＰ１＜ＴＨ＿ＬＮＧＰ２となるように設定し、誤差Ｅｒｒ＿ＬＮＧＰ＜ＴＨ＿ＬＮＧＰ１であれば第一の信頼度ＬＲＬＢ１［ｎ］＝０．０、誤差Ｅｒｒ＿ＬＮＧＰ≧ＴＨ＿ＬＮＧＰ２であれば第一の信頼度ＬＲＬＢ１［ｎ］＝１．０、その間は０．０〜１．０を線形補間するように設定する。

図１８は、路面が［複雑状態］であると判定された場合の本実施例における処理である。ステップＳ７０１で路面が複雑状態であると判断されると、ステップＳ７０６２に移動し、図１８に示す処理が行われる。

まず、ステップＳ８０１で白線候補の内側の輝度パターンを取得する。そして、ステップＳ８０２２にて、白線候補の輝度パターン、つまり俯瞰画像１０１５に対して白線候補を含むよう設定された領域内の画像の放射状の度合いを算出する。本実施例では、白線候補を含むよう設定された領域内の画像からエッジ角度を算出し、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差が閾値ＴＨ＿ＤＥＤＣ以内である画素をカウントし、カウントした画素が領域の面積に占める割合ＲＲを算出する。

つぎに、ステップＳ８０３２にて、放射状エッジの割合ＲＲに基づいて白線の第一の信頼度ＬＲＬＢ１［ｎ］を算出する。本実施例では、放射状エッジの割合ＲＲの閾値ＴＨ＿ＲＲ１、ＴＨ＿ＲＲ２を、ＴＨ＿ＲＲ１＜ＴＨ＿ＲＲ２となるように設定し、放射状エッジの割合ＲＲ＜ＴＨ＿ＲＲ１であれば第一の信頼度ＬＲＬＢ１［ｎ］＝１．０、放射状エッジの割合ＲＲ＞ＴＨ＿ＲＲ２であれば第一の信頼度ＬＲＬＢ１［ｎ］＝０．０、その間は０．０〜１．０を線形補間するように設定する。以上の処理により、図１６のステップＳ１５０１にて第一の信頼度ＬＲＬＢ１［ｎ］が算出される。

つぎに、ステップＳ１５０２にて、汚れ検出部２０９１の結果を用いて、白線の第二の信頼度ＬＲＬＢ２［ｎ］を算出する。第二の信頼度ＬＲＬＢ２［ｎ］は、検出した白線候補ＬＣ[ｎ]と、汚れた小領域ＳＲＤ［ｄ］の位置関係より算出する。本実施例では、白線候補ＬＣ[ｎ]の位置に、汚れた小領域ＳＲＤ［ｄ］が存在すれば第二の信頼度ＬＲＬＢ２［ｎ］＝０とし、白線候補ＬＣ[ｎ]に最も近い汚れた小領域ＳＲＤ［ｄ］までの距離Ｄ＿ＬＣＤが閾値ＴＨ＿ＬＣＤより大きければ第二の信頼度ＬＲＬＢ２［ｎ］＝１．０とし、閾値ＴＨ＿ＬＣＤ以下の場合は距離に応じて０．０〜１．０を線形補間するように設定する。

つぎに、ステップＳ１５０３にて、第一の信頼度ＬＲＬＢ１［ｎ］、第二の信頼度ＬＲＬＢ２［ｎ］を用いて、白線の信頼度ＬＲＬＢ［ｎ］を算出する。本実施例においては、第一の信頼度ＬＲＬＢ１［ｎ］と第二の信頼度ＬＲＬＢ２［ｎ］の平均値を用いることとする。算出後、白線候補ＬＣ［ｎ］に付随する情報として白線の信頼度ＬＲＬＢ［ｎ］を出力し、白線判定部２０６１での処理を終了する。

［駐車枠認識部］
つぎに、図１９を用いて、駐車枠認識部２０７１の一例に関する処理の内容について説明する。

図１９は本実施例における駐車枠認識部２０７１の処理の流れを示したフローチャートである。各処理のうち、図１０に示した第一実施例における駐車枠認識部１０７１と同様の箇所には同一の番号を付してその詳細な説明を省略する。なお、第一実施例における駐車枠認識部１０７１では白線ＬＮ［ｍ］を対象としたが、本実施例では白線候補ＬＣ［ｎ］を対象とする。

ステップＳ１９０１、ステップＳ１９０２が、第二実施の形態にて追加された処理である。ステップＳ１９０１では、選択した２本の線ＬＣ［ｎＬ］、ＬＣ［ｎＲ］の信頼度ＬＲＬＢ［ｎＬ］、ＬＲＬＢ［ｎＲ］がいずれも閾値ＴｈＲＬＢ以上であるかを判定し、閾値以上であった場合はステップＳ１０２へ、閾値以下であった場合はステップＳ１０６へ移動する。

ステップＳ１９０２では、駐車枠ＰＳ［ｋ］に、枠の四隅の座標情報のみならず、白線の信頼度のうち値が小さいものを駐車枠の信頼度ＰＳＲＬＢ［ｋ］として登録する。信頼度は、後述の駐車支援制御部２０８１にて用いる。

つぎに、駐車支援制御部２０８１の処理について説明する。図２０は、駐車支援制御部２０８１の処理フローである。各処理のうち、図１３に示した第一実施例における駐車支援制御部１０８１と同様の箇所には同一の番号を付してその詳細な説明を省略する。ステップＳ２０１、Ｓ２０２、Ｓ２０３が、第二実施の形態にて追加された処理である。

ステップＳ２０１にて、取得した駐車枠ＰＳ［ｋ］の信頼度ＰＳＲＬＢ［ｋ］が閾値ＴＨ＿ＰＳＲＬＢ以上であるかを判定する。閾値ＴＨ＿ＰＳＲＬＢ以上である場合はステップＳ２０２へ移動し、閾値ＴＨ＿ＰＳＲＬＢよりも小さい場合はステップＳ２０３へ移動する。

ステップＳ２０２では、信頼度が高い駐車場に対して、強い制御を実施する。本実施例では、ステアリング、アクセル、ブレーキすべての制御を実施して、目標の駐車枠へ駐車する支援を実施する。ステップＳ２０３では、信頼度が低い駐車場に対して、弱い制御を実施する。本実施例では、ステアリング、アクセル、ブレーキいずれか一つの制御を実施して、目標の駐車枠へ駐車する支援を実施する。

以上説明したように、本発明による判定結果から信頼度を算出し、同様に汚れ判定という別の判定結果からも信頼度を算出し、これらを統合することにより、信頼度に応じて駐車支援の度合いを変えることができる。

＜第三実施の形態＞
つぎに、本発明の車載用画像処理装置の第三実施の形態について、以下に図面を用いて説明する。

図２１は、第三実施の形態における車載用画像処理装置３０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用画像処理装置１０００、第二実施の形態における車載用画像処理装置２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。

本実施の形態において特徴的なことは、障害物を検出対象としていることである。
車載用画像処理装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から対象物を検知するためのものであり、本実施の形態では、自車の前方の障害物を検知するように構成されている。

車載用画像処理装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車載用画像処理装置３０００は、図２１に示すように、画像取得部１０２１と、路面状態推定部１０３１と、判定方法設定部１０４１と、障害物候補検出部３０５１と、障害物判定部３０６１と、さらに、車両制御部３０８１と、を有する。

画像取得部１０２１は、図２に示すように、自車の周囲を撮像可能な位置に取り付けられたカメラ１００１〜１００４から、自車周囲を撮影した画像１０１１〜１０１４を取得し、幾何変換・合成することにより、上空の仮想視点から見下ろした俯瞰画像１０１５を生成し、ＲＡＭ上に記憶する。幾何変換・合成のパラメータは車両出荷時に行うキャリブレーションにより、あらかじめ設定されているものとする。

路面状態推定部１０３１は、俯瞰画像１０１５内の自車近傍領域１０３２から輝度ヒストグラムＨＳＴ[ｂ]を取得し、路面状態を推定する。本実施例では、路面状態として［均一状態］、［明暗分離状態］、［日陰日向状態］、［複雑状態］の４種類を推定する。

判定方法設定部１０４１は、路面状態推定部１０３１にて推定した路面状態に応じて、白線を判定するための判定方法を設定する。本実施例においては、［均一状態］、［明暗分離状態］、［日陰日向状態］の場合は輝度ヒストグラムから得られる輝度の範囲、もしくは輝度ヒストグラムのガウスモデルを用いて判定を行い、［複雑状態］の場合は画像のパターンを用いて判定を行う。

障害物候補検出部３０５１は、俯瞰画像１０１５から、障害物候補ＯＢＪＣ［ｉ］を検出する。障害物判定部３０６１は、障害物候補ＯＢＪＣ［ｉ］に対して、判定方法設定部１０４１で設定した判定基準に基づき、障害物ＯＢＪ［ｊ］を決定する。さらに、車両制御部３０８１は、車載用画像処理装置３０００と同一の車両に搭載されている制御装置内に搭載され、車載用画像処理装置３０００から受信した障害物ＯＢＪ［ｊ］の位置情報に基づいて、衝突を防止するための警報や、ブレーキ制御を実施する。

［障害物候補検出部］
障害物候補検出部３０５１の一例に関する処理の内容について説明する。
本実施例における障害物候補検出部３０５１は、画像以外のセンサを用いる場合と、俯瞰画像１０１５を用いる場合の２パターンが存在する。画像以外のセンサを用いる場合、例えばソナーセンサ等を用いて障害物を検出し、障害物の位置情報を取得する。つぎに、カメラ幾何情報を用いて、俯瞰画像１０１５上の位置を特定する。他に、例えば公知のパターンマッチ技術を用いて、画像から直接歩行者等の障害物を検出することもできる。この場合も、カメラ幾何情報を用いて、俯瞰画像１０１５上の位置を特定する。

[白線判定部]
つぎに、図２２、２３を用いて、障害物判定部３０６１における処理の内容について説明する。

図２２は、障害物判定部３０６１の処理の流れを示したフローチャートである。
まず、ステップＳ２２０１にて、路面状態推定部１０３１にて判定された路面が［複雑状態］であったかを確認する。複雑状態でなかった場合はステップＳ２２０２へ、複雑状態であった場合はステップＳ２２０６へと処理を移す。以下、ステップＳ２２０２からステップＳ２２０５までの処理は、障害物候補ＬＣ［ｉ］の数だけ処理を繰り返す。

まず、ステップＳ２２０２にて、障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｉ］を作成する。つぎに、ステップＳ７０３にて、障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｉ］と、判定方法設定部１０４１にて設定した、混合ガウス分布モデルＧＰ（Ｇ）との誤差Ｅｒｒ＿ＯＢＪＧＰを算出し、閾値ＴＨ＿ＢＯＪＧＰと比較する。誤差Ｅｒｒ＿ＯＢＪＧＰが閾値ＴＨ＿ＢＯＪＧＰより大きければ路面輝度基準に含まれないと判定し、ステップＳ２２０４へ移動し、誤差Ｅｒｒ＿ＯＢＪＧＰが閾値ＴＨ＿ＢＯＪＧＰ以下であれば路面輝度基準に含まれると判定し、ステップＳ２２０５へ移動する。

ステップＳ２２０４では、障害物候補を障害物と判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーする。ステップＳ２２０５では、障害物候補は障害物ではないと判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーせず、消去する。ステップＳ２２０６では、次で説明する複雑状態であると判定された場合の処理に入る。

図２３は、路面状態が［複雑状態］であると判定された場合の処理である。ステップＳ２３０１からステップＳ２３０４までの処理は、障害物候補ＯＢＪＣ［ｉ］の数だけ処理を繰り返す。

まず、ステップＳ２３０１にて、障害物候補周辺の輝度パターン、つまり俯瞰画像１０１５に対して障害物候補のみを含む領域を設定する。つぎに、ステップＳ２３０２にて、俯瞰画像１０１５に対して障害物候補のみを含むよう設定された領域内の画像が放射状であるかを判定する。図２を用いて説明したように、俯瞰画像１０１５は上空からの仮想視点の画像である。よって、歩行者２０が存在する場合、俯瞰変換前の画像では図２４（ａ）のように写っている歩行者２０が、図２４（ｂ）のように放射状に写りこむ。このパターンは俯瞰画像１０１５上におけるカメラ設置位置から放射状に延びるため、障害物候補のみを含むよう設定された領域内の画像がカメラ設置位置から放射状になっているか否かを判定することで、障害物候補が立体物か否かを見分けることができる。

本実施例では、放射状であるかを判定する方法として、障害物候補のみを含むよう設定された領域内の画像からエッジ角度を算出し、各画素のエッジ角度ＤＥ［ｘ］［ｙ］と、各画素の位置とカメラ設置位置が成す角度ＤＣ［ｘ］［ｙ］の誤差が閾値ＴＨ＿ＤＥＤＣ以内である画素をカウントし、カウントした画素が領域の面積に占める割合ＲＲＯＢＪが閾値ＴＨ＿ＲＲＯＢＪ以上か否かに応じて判定する。閾値ＴＨ＿ＤＥＤＣ、ＴＨ＿ＲＲＯＢＪはあらかじめ設定しておく。

ステップＳ２３０２にてＲＲＯＢＪが閾値ＴＨ＿ＲＲＯＢＪ以上であれば放射状でないと判定し、ステップＳ２３０４へ、閾値よりも小さければ放射状であると判定し、ステップＳ２３０３へ移動する。

ステップＳ２３０３では、障害物候補を障害物と判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーする。ステップＳ２３０４では、障害物候補は障害物ではないと判定し、障害物候補ＯＢＪＣ［ｉ］の情報を障害物ＯＢＪ［ｊ］へコピーせず、消去する。

以上、障害物判定部３０６１において、障害物候補ＯＢＪＣ［ｉ］の輝度と路面状態に応じた判定基準に基づいて、障害物候補ＯＢＪＣ［ｉ］を障害物ＯＢＪ［ｊ］に含めるか否かという処理を説明した。本実施例では、路面状態が［均一状態］、［多数色路面］であった場合には障害物候補ＯＢＪＣ［ｉ］の内側の輝度ヒストグラムＨＳＴＯＢＪＣ［ｂ］と混合ガウス分布近似モデルＧＰ（Ｇ）の誤差の大きさに基づいて障害物候補が障害物であるか否かを判定する。また、路面が［複雑状態］であった場合には、障害物候補ＯＢＪ［ｉ］のみを含む領域の輝度パターンが放射状の特徴を持つ度合いに基づいて判定する。このような処理により、路面状態に応じた判定が可能となり、障害物の誤認識を防ぐことが可能となる。

［車両制御部］
つぎに、図２５を用いて、車両制御部３０８１における処理の内容について説明する。
まず、ステップＳ２５０１にて、車載用画像処理装置３０００より障害物情報ＯＢＪ［ｊ］から、自車からの相対距離ＰＸ［ｊ］、ＰＹ［ｊ］を取得する。障害物情報ＯＢＪ［ｊ］は、車載用画像処理装置３０００からの信号を制御装置へ直接入力することによって取得してもよいし、ＬＡＮを用いた通信を行うことによって取得してもよい。

以下、ステップＳ２５０２からＳ２５０５は、障害物数分だけ繰り返し処理を実施する。ステップＳ２５０２にて、障害物の位置ＰＸ［ｊ］、ＰＹ［ｊ］と１周期前の障害物の位置ＰＸ＿ｚ１［ｊ］、ＰＹ＿ｚ１［ｊ］との差分近似により算出する障害物との相対速度ＶＸ［ｊ］、ＶＹ［ｊ］を算出する。

つぎに、ステップＳ２５０３にて、相対速度ＶＸ［ｊ］、ＶＹ［ｊ］が自車に向かってきているかを判定する。この判定は、例えば座標系として自車中心を原点とする座標系を考慮した場合に、障害物の位置ＰＸ［ｊ］、ＰＹ［ｊ］と自車の四隅を結ぶ直線の間に速度ベクトルの向きが入っているかを見ることで判定することができる。自車に向かってきている場合には、ステップＳ２５０４へ進み、向かってきていない場合は、ステップＳ２５０５へ進む。

ステップＳ２５０４では、衝突時間ＴＴＣ［ｊ］を算出する。ＴＴＣ［ｊ］は自車が障害物にあと何秒後に衝突するかを表すパラメータである。今回はステップＳ２５０３で自車方向へ向かってくる物体のみを扱うため、以下の式より求めることができる。
ＰＬ［ｊ］＝ＳＱＲＴ（ＰＸ［ｊ］×ＰＸ［ｊ］＋ＰＹ［ｊ］×ＰＹ［ｊ］）
ＶＬ［ｊ］＝ＳＱＲＴ（ＶＸ［ｊ］×ＶＸ［ｊ］＋ＶＹ［ｊ］×ＶＹ［ｊ］）
ＴＴＣ［ｊ］＝ＰＬ［ｊ］／ＶＬ［ｊ］

ここで、ＳＱＲＴ（）は平方根を算出する関数である。
ステップＳ２５０５では、衝突の危険がないため、衝突時間ＴＴＣ［ｊ］に十分大きな値を代入する。本実施例ではＴＴＣ［ｊ］＝１００００とする。

つぎに、ステップＳ２５０６にて、ＴＴＣ［ｊ］のうち最小衝突時間ＴＴＣＭＩＮを抽出する。つぎに、ステップＳ２５０７にて、最小衝突時間ＴＴＣＭＩＮと閾値ＴＨ＿ＴＴＣＢＲＫを比較する。最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＢＲＫ以下の場合はステップＳ２５０８へ移動し、車両のブレーキ制御を実行する。一方、最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＢＲＫより大きい場合はステップＳ２５０９へ移動する。

ステップＳ２５０９では、最小衝突時間ＴＴＣＭＩＮと閾値ＴＨ＿ＴＴＣＡＬＭを比較する。最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＡＬＭ以下の場合はステップＳ２５１０へ移動し、車両の警報装置を動作させ、運転者へ注意喚起を実施する。一方、最小衝突時間ＴＴＣＭＩＮが閾値ＴＨ＿ＴＴＣＡＬＭより大きい場合は車両制御部３０８１の処理を終了する。以上説明したように、車載用画像処理装置３０００にて検出した障害物情報に応じて、上記警報やブレーキ制御を発動させることができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０００ 車載用画像処理装置
１００１〜１００４ カメラ
１０２１ 画像取得部
１０３１ 路面状態推定部
１０４１ 判定方法設定部
１０５１ 白線候補検出部
１０６１ 白線判定部
１０７１ 駐車枠認識部
１０８１ 駐車補助制御部
２０００ 車載用画像処理装置
２０９１ 汚れ検出部
２０６１ 白線判定部
２０７１ 駐車枠認識部
２０８１ 駐車支援制御部
３０００ 車載用画像処理装置
３０５１ 障害物候補検出部
３０６１ 障害物判定部
３０８１ 車両制御部

Claims (15)

1. 路面上の対象物を検出する車載用画像認識装置であって、
   自車周囲を撮像した画像を取得する画像取得部と、
   該画像の自車近傍領域の輝度分布に基づいて自車周囲の路面状態が予め設定された複数の路面状態のいずれに属するのかを推定する路面状態推定部と、
   該推定された路面状態に応じて対象物の判定方法を設定する判定方法設定部と、
   前記画像から前記対象物と推定される対象物候補を検出する対象物候補検出部と、
   前記判定方法を用いて前記対象物候補が前記対象物であるか否かを判定する対象物判定部と、
   を有することを特徴とする車載用画像処理装置。
2. 前記路面状態推定部は、前記輝度分布が１または２のガウス分布にて近似できるか否かに基づいて前記路面状態が前記複数の路面状態のうちの複雑状態であるか否かを推定し、
   前記判定方法設定部は、前記路面状態推定部により前記路面状態が前記複雑状態であると推定された場合に、前記対象物候補の輝度パターンが放射状か否かに基づいて判定する判定方法を設定することを特徴とする請求項１に記載の車載用画像処理装置。
3. 前記路面状態推定部は、前記画像の輝度分布が１のピークを有する単一ガウス分布に近似可能な均一状態か否かを判定し、
   前記判定方法設定部は、前記路面状態が均一状態であると判定された場合に前記輝度分布から単一の輝度範囲を判定基準として前記対象物を判定する判定方法を設定することを特徴とする請求項２に記載の車載用画像処理装置。
4. 前記路面状態推定部は、前記画像の輝度分布が２のピークを有する混合ガウス分布に近似できるか否かを判定し、前記混合ガウス分布に近似できないと判定した場合に、前記路面状態が前記複雑状態であると推定することを特徴とする請求項３に記載の車載用画像処理装置。
5. 前記路面状態推定部は、前記画像の輝度分布が２のピークを有する混合ガウス分布に近似できる場合に、路面パターンに基づいて前記路面状態が反射状態と明暗分離状態のいずれであるかを判定し、
   前記判定方法設定部は、前記路面状態が前記反射状態であると判定された場合に前記対象物候補の輝度パターンが放射状か否かに基づいて判定する判定方法を設定することを特徴とする請求項４に記載の車載用画像処理装置。
6. 前記路面状態推定部は、前記混合ガウス分布のうちの平均輝度の低いガウス分布に属している画素を抽出した２値画像に対してラベリング処理を行い、各ラベルの形状を見ることで前記路面状態が反射状態と明暗分離状態のいずれであるかを判定することを特徴とする請求項５に記載の車載用画像処理装置。
7. 前記路面状態推定部は、前記路面状態が前記明暗分離状態であると判定した場合に、前記路面状態が前記画像に自車の影が映り込む日陰日向状態であるか否かを判定し、
   前記判定方法設定部は、前記日陰日向状態であると判定された場合に、予め設定された日向路面輝度基準と日陰路面輝度基準を判定基準として前記対象物を判定する判定方法を設定し、
   前記対象物判定部は、前記日陰日向状態であると判定された場合に、前記判定方法により、前記対象物候補の内側輝度分布が前記日向路面輝度基準に含まれており、かつ前記対象物候補の外側輝度分布が前記日陰路面輝度基準に含まれているときは前記対象物候補が前記対象物ではないと判定し、前記対象物候補の内側輝度分布が前記日向路面輝度基準に含まれていない、又は前記対象物候補の外側輝度分布が前記日陰路面輝度基準に含まれていないときは前記対象物候補が前記対象物であると判定することを特徴とする請求項６に記載の車載用画像処理装置。
8. 前記対象物候補の内側輝度分布と前記判定基準に基づいて前記対象物の第一の信頼度を算出する第一の信頼度算出部と、
   前記判定基準とは別の基準に基づいて前記対象物の第二の信頼度を算出する第二の信頼度算出部を有し、
   前記対象物判定部は、前記第一の信頼度および第二の信頼度に基づいて前記対象物候補が前記対象物であるか否かを判定することを特徴とする請求項１に記載の車載用画像処理装置。
9. カメラのレンズ汚れの位置を検出するレンズ汚れ検出部を有し、
   前記第二の信頼度算出部は、前記レンズ汚れ位置に基づいて前記第二の信頼度を算出することを特徴とする請求項８に記載の車載用画像処理装置。
10. 自車挙動を取得する自車挙動取得部を有し、
    前記自車近傍領域を前記自車挙動に応じて変化させることを特徴とする請求項１に記載の車載用画像処理装置。
11. 前記対象物は、白線、駐車枠、障害物のいずれかであることを特徴とする請求項１に記載の車載用画像処理装置。
12. 前記輝度にはカラー情報も含まれることを特徴とする請求項１に記載の車載用画像処理装置。
13. 請求項１に記載の車載用画像処理装置と、
    該車載用画像処理装置により検出した対象物の情報を取得し、前記対象物の位置に基づいて自車の挙動を変化させる制御を行う制御装置を有することを特徴とする車両システム。
14. 前記制御装置は、運転者に対する警報、アクセル、ステアリング、ブレーキの制御の少なくとも１つを実施することを特徴とする請求項１３に記載の車両システム。
15. 前記車載用画像処理装置から対象物の信頼度を出力し、前記制御装置は前記信頼度に応じて前記制御を実施することを特徴とする請求項１４に記載の車両システム。
    

Images