JP2011192226A - 車載用環境認識装置及び車載用環境認識システム - Google Patents

Abstract

【課題】車両旋回時や、対象物が自車から近距離で画像上移動量が大きい場合であっても、高精度且つ安定的なトラッキングが実現できる車載用環境認識装置を提供する。
【解決手段】車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、対象物候補の位置を出力する簡易パターンマッチング部１２０と、取得された画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、入力された対象物候補の位置と、に基づいて、抽出された対象物候補の変化量予測を計算し、対象物の予測位置を出力する領域別変化量予測部１６０と、入力された対象物の予測位置に基づいて対象物をトラッキングするトラッキング部１７０と、を有する。
【選択図】 図１

Description

本発明は、車載カメラによる自車両の環境認識装置及びそれを用いたシステムに関する。

近年、乗用車などの車両の周囲環境を認識するカメラの開発が進められている。これらの技術では２次元のセンシングが可能なカメラの特徴を活用し、物体の形状情報を利用した認識や、物体と背景の動き差分を利用した認識手法が開発されている。

特許文献１では、車載カメラで撮影された画像から対象物、例えば他車両を認識し、この他車両上にある特定点の動きを自車挙動に基づいて予測することで高精度なトラッキングを実現する。この手法は対象物体を認識することで、対象物体中に存在する特定点の高さを定義することで、画面上を動く特定点の予測を実施している。

特開平１１−３１７９３９号公報

配光制御を実施するための夜間車両検知を考慮すると、ヘッドライト、もしくはテールライトといった点光源の情報のみから車両検知を行う必要がある。また、ライト制御を安定的に実施するためには、安定的な車両の検知が重要となる。安定的に車両を検知するためには、誤検知要因の判定と、車両検知の判定も安定的に行う必要があるため、ノイズを含めた光源のトラッキングが重要な課題となる。

特許文献１では、昼間を想定しているため車両の形状情報などさまざまな情報が利用できるため、対象物体を認識後に特定点の高さを定義することで適切なトラッキングが実施できる。しかし、夜間に点光源のみから車両かどうかを判定することは困難である。２輪車や、道路の反射板，自販機などの光源，街灯などさまざまな誤検知要因が存在するため、これを点光源の形状情報のみから判定することは困難である。

よって、この従来構成では、トラッキング対象が何であるか判定しなければ、特定点の高さを定義できないため、自車挙動を利用した適切なトラッキングを実施することは困難であった。また、一般的な画像上でのトラッキング手法では、自車の近距離にある光源や旋回時などは、画像上の移動量が大きくなりトラッキングが困難である。

本発明の目的は、車両旋回時や、対象物が自車から近距離で画像上移動量が大きい場合であっても、高精度且つ安定的なトラッキングが実現できる車載用環境認識装置及び車載用環境認識システムを提供することである。

本発明の車載用環境認識装置及び車載用環境認識システムは、上記課題を解決するために、車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、対象物候補の位置を出力するパターンマッチング部と、取得された画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、入力された対象物候補の位置と、に基づいて、抽出された対象物候補の変化量予測を計算し、対象物の予測位置を出力する領域別変化量予測部と、入力された対象物の予測位置に基づいて対象物をトラッキングするトラッキング部と、を有する構成とする。

車両旋回時や、対象物が自車から近距離で画像上移動量が大きい場合にも、高精度かつ安定的なトラッキングを実現する車載用環境認識装置及び車載用環境認識システムを提供できる。

本発明に係る車載用環境認識装置の一構成例を示す図である。 本発明の車載用環境認識装置が搭載された車両構成を示す図である。 本発明の車両挙動情報部の一構成例を示す図である。 本発明の領域設定部及び領域別変化量予測部の一構成例を示す図である。 本発明の領域別変化量予測部の一構成例を示す図である。 本発明の低層，高層の領域別変化量予測部を説明する図である。 本発明の中層の領域別変化量予測部を説明する図である。 本発明のレーン認識結果に基づく動的領域変更を説明する図である。 本発明の道路構造に基づく動的領域変更を説明する図である。 本発明の車速を利用した直進移動量予測を説明する図である。 本発明の舵角に基づくヨーレート予測を説明する図である。 本発明の路面上静止物判定を説明する図である。 本発明に係る車載用環境認識装置の他の構成例を示す図である。

発明を実施するための形態について以下図面を用いて説明する。

＜実施例＞
本説明では、車両のヘッドライト制御に利用する車載カメラによる夜間車両検知を実施する車載環境認識装置の一例について説明する。特に本実施例では、先行車両のテールライトを検知する場合に絞って、そのノイズ要因削除の効果について説明するが、テールライトに限らず対向車両のヘッドライトでも同様の効果を示す。また、ライトに限らず、街灯や標識，信号機といった物体の認識にも同様に応用可能である。

図１に、本実施例の車載環境認識装置の構成を示す。車載用撮像装置である車載カメラ１００と、車両挙動情報部２５０の２つから構成される。車載カメラ１００は、画像取得部１１０と、簡易パターンマッチング部１２０と、領域設定部１３０と、領域別変化量予測部１６０と、トラッキング部１７０と、物体判定部１９０から構成される。

まず、画像取得部１１０において撮影した画像を取り込む。

次に、簡易パターンマッチング部１２０で、取得した画像上の点光源を見つけるために、着目画素と周囲の輝度値を比較し、着目画素が周囲の画素と比較し輝度値が閾値以上に高い場合に着目画素は点光源候補であると判定する。つまり、簡易パターンマッチング部１２０は、車載用撮像装置である車載カメラ１００から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、その対象物候補の位置を出力するパターンマッチング部である。

他手法としては、車載カメラ１００として設置されたカメラの焦点距離などの内部パラメータや、カメラ俯角，位置などが既知であれば、ある程度の認識対象の絞込みが可能である。例えば、自車両近距離領域である画像の端の部分に小さく存在する赤色高輝度領域は、ノイズである可能性が高い。このように高輝度領域の大きさと輝度，赤色の色相とに閾値を定めて車両テールライトを不検知としないような簡易パターンマッチングを実施してもよい。

次に、領域設定部１３０では、領域別変化量予測部１６０での計算手法別に領域を設定する。

本実施例では、路面付近の物体を対象とした低層と、消失点付近を左右で分割し車両，自動販売機などが対象となる中層左，中層右と、街灯や信号機，標識などを対象とした高層とに分割する。基本的に消失点を含む領域（第１の領域）と、それ以外の第１の領域とは異なる領域（第２の領域）と、に分割して複数の領域を設定できれば、どのように画像領域を分割しても良い。言い方を変えれば、領域設定部１３０で設定される複数の領域は、第１の領域を消失点を中心に２つに分割された中層左領域及び中層右領域と、第２の領域において第１の領域に対して垂直方向の一方側に設定された低層領域と、第２の領域において第１の領域に対して垂直方向の他方側に設定された高層領域と、である。簡易パターンマッチング部１２０の結果として得られた点光源候補に対して、各点光源候補が属する領域の領域フラグを各点光源候補に付加して出力する。

領域別変化量予測部１６０では、各点光源候補が属する領域フラグ別に変化量（光点の移動量）の予測計算を実施する。具体的には、領域別変化量予測部１６０は、車載カメラ１００で取得された画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、入力された対象物候補の位置と、に基づいて、抽出された対象物候補の変化量予測を計算し、対象物の予測位置を出力する。簡易パターンマッチング部１２０で抽出された画像位置から、カメラの高さや俯角を利用して３次元位置の推定計算を実施し、各点光源候補に予測位置を付加して出力する。この際に、カメラから３次元位置を推定するためには、３次元的な制約条件を付加する必要がある。

本実施例では、領域設定部１３０で設定された領域別にこの条件を変える。これにより低層では第一の計算手法、中層左では第二の計算手法、中層右では第三の計算手法、高層では第四の計算手法を実施し、画面全体で認識対象物体が何であるかの判別前から高精度なトラッキングを実施する。

トラッキング部１７０では、簡易パターンマッチング部１２０で得られた現周期の点光源候補と、領域別変化量予測部１６０で前周期の点光源候補から現周期を予測さした変化量を利用することでトラッキング、いわゆる追跡を実施する。つまり、トラッキング部１７０は、入力された前記対象物の予測位置に基づいて対象物をトラッキングする。また、連続して自車挙動と同様の動きをする物体については、この物体の高さを解析することが可能である。

物体判定部１９０では、上記低層と分類された物体において路面上の高さを仮定した場合における変化量予測計算の結果と毎フレームごとに類似した場所でトラッキングが成立する場合、その点光源候補は路上静止物体である可能性が高い。これは路上に置かれた赤く反射する三角板、もしくは、歩道のキャッツアイなど、誤検知要因である可能性が高いということに等しい。このため、物体判定部にて、非移動物体として、フラグを持たせる。

物体判定部１９０では、路上静止物体と判定されなかった物体に対して、ここでは車両のライトかどうかの判定を実施する。まず、上記路上静止物体の類似度が、予め定めた閾値thr１以下を候補として、ペアとなる候補が存在するかを検索する。車両のライトが水平にならんでいることから、トラッキングに成功し類似度を持った候補の、画像上の高さ方向の差分が小さいところで並んでいるかについてチェックする。また、左右ライトのラベリング結果の面積差分が小さいか、色相についてもチェックし、同一車両の左右ライトの組み合わせかどうかを判定する。同一車両と判定された場合には、４輪車両として判定する。反対に、ペアが存在しなかった候補に対しては、予め定めた閾値thr２より類似度が高ければ、路上静止物体と判定し、低い物体に対しては２輪車両のテールライトであると判定する。つまり、物体判定部１９０は、トラッキング部１７０にて対象物をトラッキングした結果に基づいて、対象物が路上静止物体か否か判定し、対象物が路上静止物体ではないと判定された場合、トラッキングした結果に基づいて、対象物が車両のテールライトか否かを判定する。

図２に、車両搭載の車載環境認識装置の配置図を示す。車載カメラ１００本体に画像処理機能を内蔵している場合の構成を示す。

また図３に示すように、車両挙動情報部２５０は、自車両の速度（車速）を計測する車速センサ２６１と、ハンドルの操舵角度を計測する操舵角センサ２６２と、車両の操舵に基づく回転速度を計測するヨーレートセンサ２６３と、これらの各センサから入力された車両挙動情報を基に車両挙動を制御する車両制御部である車両ＥＣＵ（車両エンジンコントロールユニット）２６０と、を有する。但し、車両挙動情報部２５０で取得した車両挙動情報は、自車両の速度，操舵角，ヨーレートの少なくとも１つであればよい。車両ＥＣＵ２６０は、入力された車両挙動情報を車載カメラ１００へ出力し、車載カメラ１００で環境認識を実施する。配光制御の実施例では、車両挙動情報を利用することで、高精度かつ安定的にトラッキングを実施し、夜間の車両のライトを検知する。車載カメラ１００で検知された結果を車両ＥＣＵ２６０へ出力し、車両ＥＣＵ２６０は、その結果に基づいて自車両のライトのハイビーム，ロービームを自動制御する信号を生成する。

図４に領域設定部１３０、及び領域別変化量予測部１６０の詳細を示す。

本実施例では、領域設定部１３０への入力は図１に示すように簡易パターンマッチング部１２０の結果の点光源候補のみであった。しかし、図４に示すように、車載カメラ１００で撮像した画像に基づいてレーン認識をする画像処理部内のレーン認識部２１０や、地図情報を取得するカーナビ部２２０や、上述した車両挙動情報部２５０からの情報を入力として、動的に処理領域を変更するような領域設定部１３０でも良い。これは、消失点を、取得した画像からレーン認識部２１０でレーン認識処理した結果に基づいて算出したり、カーナビ部２２０で取得した地図情報から算出したりもできる。

図４は図１の一部の構成を詳細に示している。領域設定部１３０では、簡易パターンマッチング部１２０より得られた点光源候補に対して、設定した複数の領域（本実施例では、低層１６０ａ，中層左１６０ｂ，中層右１６０ｃ，高層１６０ｄ）に対して、どの領域に属するか領域フラグを持たせて出力する。この領域フラグを持った点光源候補が、領域別変化量予測部１６０の入力となり、この領域フラグに応じて異なる計算手法により、領域別の光点の変化量予測を実施する。なお、動的処理領域の設定変更の詳細は、図８，図９にて後述する。

図４の領域設定は、図６（ａ）に示す画像例のように、画像上の消失点を基準として、垂直方向に３つに区分する。この場合、消失点を含み上下にマージ幅をもたせた領域を中層とし、その中層を真ん中に挟んで、垂直方向に低層１６０ａと高層１６０ｄに分割した。また、消失点を基準として左右に中層を分割して中層左１６０ｂと中層右１６０ｃとし、領域を４分割にした。本実施例では、固定４分割を想定しているが、カメラの設置角度によっては、そもそも消失点より上部がほぼ画面外であるなど、領域の分割方法が異なっても良い。また、分割領域が動的に変化しても良い。このように領域を分割し、その領域内で検知された点光源候補は、その領域の領域フラグを持って領域設定部１３０の出力とする。

領域別変化量予測部１６０は、上記領域設定部１３０から得られた点光源候補とその領域フラグの結果に応じて、領域別変化量予測計算を実施する。

図６（ａ）（ｂ）に示すように、低層１６０ａでは、路面から高さ５０cm以内に対象物体が存在すると仮定して、変化量予測を実施する。中層左１６０ｂ，中層右１６０ｃでは、道路に沿って垂直に壁があると仮定して変化量の予測計算を実施する。高層１６０ｄでは、高さ３ｍ〜５ｍに天井があると仮定して変化量の予測計算を実施する。これはそれぞれの領域別（低層１６０ａ，中層左１６０ｂ，中層右１６０ｃ，高層１６０ｄ）に、それぞれの構成要素（低層１６０ａは、領域別３次元位置推定部１６１ａ，領域別３次元位置予測部１６２ａ，領域別画像位置推定部１６３ａ）を持つ。

図５は、図４に示す領域別変化量予測部１６０の中の低層１６０ａに着目して、構成の詳細を記す。図５では、中層左１６０ｂ，中層右１６０ｃ，高層１６０ｄを省略しているが、詳細構成は図５の低層１６０ａの場合と同様である。

図５の領域別変化量予測部１６０の低層１６０ａでは、領域別３次元位置推定部１６１ａにおいて２次元画像座標における点光源候補画像位置から自車両重心を原点とした３次元の車両座標系における点光源候補の３次元位置を推定する。詳細には、領域別変化量予測部１６０は、低層１６０ａにおいて、簡易パターンマッチング部１２０から入力された２次元画像座標における対象物候補の画像位置から自車両重心を原点とした３次元の車両座標系における対象物候補の３次元位置を推定する領域別３次元位置推定部１６１ａと、自車両挙動情報と、領域別３次元位置推定部１６１ａにより得られた車両座標系における対象物候補の３次元位置の推定結果と、に基づいて、所定周期後の対象物の車両座標系における３次元位置を予測する領域別３次元位置予測部１６２ａと、その領域別３次元位置予測部１６２ａで予測された３次元位置の予測結果から画像座標に変換し、対象物の画像位置を算出する領域別画像位置予測部１６３ａと、を有する構成とする。

次に、車両挙動情報部２５０から車速，操舵角，ヨーレートの情報を入力として、車両挙動を予測する。

直進量予測部１６５では、車両の直進による移動成分を予測し、ヨーレート予測部１６６では、操舵によるヨーレートを算出する。直進量予測部１６５とヨーレート予測部１６６を別々に構成することにより、操舵角センサ２６２やヨーレートセンサ２６３など車両の旋回情報が得られないような車両の場合にも、直進時であれば直進量予測部１６５の結果のみを用いて対応可能な構成とする。

直進量予測部１６５とヨーレート予測部１６６により得られた車両挙動予測と、領域別３次元位置推定部１６１ａにより得られた車両座標系における点光源候補の３次元位置推定結果を利用して、Ｎ周期後の対象物体の車両座標系における位置を領域別３次元位置予測部１６２ａにて予測する。得られた３次元位置予測結果を、領域別画像位置予測部１６３ａにて再度画像座標に戻し、トラッキングの指標とする。

直進量予測部１６５とヨーレート予測部１６６は、処理領域に限らずすべて共通の構成とする。領域別の３次元位置推定部と３次元位置予測部，画像位置予測部については、後ほど詳細を示す。

変化量予測計算において、画像座標に戻さずにお互いに３次元座標に変換してトラッキングする方法もありうるが、車載カメラ１００が単眼カメラの場合には、遠方に行くほど距離の分解能が低下する。このため追跡対象かどうか判定する際に、１ｍ以内の誤差であれば追跡対象であると固定値で判定すると、遠方では予測と１pixでも差があれば追跡対象にならず、近傍では反対に５０pixずれていても追跡対象として判定する可能性があり、単純に固定距離閾値によって判定することは困難である。

実際に遠方では距離分解能が低下するため、遠方に行くほど距離推定誤差が大きくなる。このため予測３次元位置にも同様に、遠方に行くほど大きくなる誤差が存在する。追跡対象かどうかの判定に３次元位置を利用する場合には、誤差の大きさ変化も考慮した閾値とする必要がある。もしくは、本実施例の図６（ａ）（ｂ）に示すように、画像位置予測部１６３ａにて３次元予測位置を画像座標に再計算した結果を利用して画像座標上で判定する方が、遠方であるほど低下する距離の分解能を考慮した閾値を自然と設定できるために、遠方近傍で安定した類似度の評価を実施できる。

次に、図１０に示す車速を利用した直進移動量予測について説明する。

図１０に記載の式（１）に示すように、時刻ｔにおける、ある点光源候補の画像座標を（ｕｔ，ｖｔ，ｌ）で示し、３次元の車両座標系における位置を（Ｘｔ，Ｙｔ，Ｚｔ，ｌ）と示す。

車載カメラ１００のレンズ中心に原点を置いた３次元のカメラ座標系と画像座標系の関係をカメラ内部パラメータ行列によって表現する。カメラ内部パラメータ行列は、焦点距離，撮像素子の単位長，撮像素子のなす角度，画像中心から構成され、３次元のカメラ座標と画像座標の対応関係を記述することができる。

次に、カメラ座標系と車両座標系の変換をカメラ外部パラメータ行列に示す。カメラ外部パラメータ行列を算出するために、まず、路面からのカメラ高さ、更にカメラ俯角を画像上の消失点から算出し、カメラ外部パラメータを設定した。これらのカメラ内部パラメータとカメラ外部パラメータを利用することで、３次元の車両座標と、２次元画像座標の関係を式（１）に示す。

カメラ内部パラメータは設計値をベースに設定したが、予めキャリブレーションした結果を利用しても良い。また、カメラ外部パラメータについては設計値のカメラ高さと画像上の消失点の結果より算出した。レーン認識の結果を利用することで逐次的に消失点を更新することで、外部パラメータも更新させ、より高精度に３次元座標との変換を行っても良い。

上記より、図１０の式（１）に示すように車両座標系から画像座標系の変換が可能となる。ただし、式（１）のままでは、２次元の画像座標から３次元の車両座標系への変換を一意に算出することができない。そこで、３次元的な制約条件をつけることによって、この変換を一意に行う。この３次元的な制約条件のつけ方が、上記の領域設定部１３０で設定された領域ごとに異なる。

例えば、式（１）において画像上の物体は路面上に存在するとの制約条件を仮定すると、画像座標（ｕｔ，ｖｔ，ｌ）と、車両座標の高さ成分Ｙｔが既知の条件となり、式（１）において未知の変数はＸｔ，Ｚｔのみとなり、横位置Ｘｔ，奥行きＺｔを算出することが可能となる。算出した点光源候補の車両座標系における３次元位置（Ｘｔ，Ｙｔ，Ｚｔ，ｌ）に、自車の車速ＣarＳpeedで次周期に予想される移動量Ｖｍを加えて車両座標系における予測位置（Ｘｔ，Ｙｔ，Ｚｔ−Ｖｍ，ｌ）を設定する。これにカメラ外部，内部パラメータ行列を掛けることで現周期における画像座標（ｕｔ＋１，ｖｔ＋１，ｌ）を予測する（式（２）参照）。

次に、ヨーレート予測について、図１１に示す２輪モデルにおいて入力を舵角とした場合のヨーレート算出のための式（３）を以下に示す。本実施例では、操舵角δ，車速Ｖを入力としヨーレートを算出した。

なお、ｌｆは重心から前輪までの距離、ｌｒは重心から後輪までの距離、ｍは車両質量、Ｖは車速、Ｋｆは前輪のタイヤコーナリングパワー、Ｋｒは後輪のタイヤコーナリングパワー、δは前輪舵角、βは車体スリップ角、γはヨーレートである。

操舵角δを入力とし、右辺の変数はδ以外全て既知となるためヨーレートを算出することが可能となる。この算出されたヨーレートを基に、車両が曲がることによる画像上での点光源候補の移動量を算出する。これにはカメラの画角や画素数などカメラの仕様が既知であれば算出可能である。

ヨーレートセンサ２６３が搭載されている車両ではヨーレートを直接利用しても良いが、より精度が高く安定しているデータを利用する方がよい。車両のヨーレートが算出されれば、操舵時にカメラが横方向に動く回転角速度がわかるため、ここから予測する１周期後までに変化するヨー角分の画像移動量を予測することができる。

本実施例では、物体認識前のトラッキングに利用することも想定しているため、路面上に物体が存在するか不明な状態での移動予測にも利用したい。このため本実施例では、３次元的な制約条件に幅を持たせて画像上の予測位置を計算することで、幅を持った画像上の位置を予測し、その範囲内をトラッキングすることで安定的なトラッキングを実現する。

＜領域別トラッキング＞
次に、トラッキング部１７０における領域別のトラッキング手法について述べる。前述の通りの領域設定に対応させて説明する。

配光制御では、自車両ヘッドライトの制御のためにも、安定的な車両の検知が重要な要素となる。このため、ノイズ要因も含めて点光源候補を安定的にトラッキングすることで、点光源に対する認識結果が時系列にできる限り変化しないようにする。夜間車両検知では、形状特徴が非常に少ない点光源から車両を認識する必要があるが、簡易パターンマッチングのみで、車両かどうか判定することは困難である。

特に２輪車の検知をも対象とすると、点光源が左右に２つあるという条件の光源のみを対象とすることも困難となる。また、ノイズ要因含めてトラッキングすることを考慮すると、点光源候補が車両かどうか判定前にトラッキングすることが望ましい。点光源候補をトラッキングすることが可能となれば、一部の点光源は画像上での動きから点光源候補が移動体か静止物かの判定が可能となる。また、トラッキングできていれば、時系列の結果を利用した安定的な認識判定も可能となる。このため点光源の認識判定前にトラッキングできることが重要である。

まずは、図６（ａ）の低層１６０ａの場合について説明する。

車載カメラ１００で撮影された画像の消失点よりマージ幅をもった中層より下の領域を低層１６０ａの領域に設定している。この領域には、対向車や先行車のライト以外にも、三角板や反射板など背の低い光源が入ってくる。

低層１６０ａの場合の領域別変化量予測部１６０の変化量予測計算について詳細を説明する。

図６（ｂ）に示すように、車載カメラ１００の高さが路面より高さ１２０cmにあり、点光源が５０cm〜０cmの間に存在すると仮定し、変化量予測計算を実施する。まず、低層１６０ａに属する点光源候補の画像座標から、点光源候補が存在するであろう車両座標系における３次元位置を推定する。前述の、図１０の式のままでは２次元画像座標から３次元車両座標系を一意に定めることができないため、３次元的な制約条件を付加する。低層１６０ａでは、図６（ｂ）に示すように、画像上の低層１６０ａの領域に属する点光源は、５０cm〜０cmの間に存在するという仮定を利用する。静止物体の場合、３次元の車両座標系において自車速分移動距離だけ自車量搭載の車載カメラ１００に物体が接近することになる。この移動距離を図６（ｂ）の高さ５０cm，０cmに示す太矢印で示す。３次元的に同じ移動距離であっても車載カメラ１００から点光源候補が近距離の高さ５０cmにある場合が、画面上での移動量が大きくなり、離れた高さ０cmにある場合が画面上での移動量が小さくなる。そこで、高さ５０cmと仮定した場合の３次元位置と高さ０cmと仮定した場合の車両座標系における３次元位置を領域別３次元位置推定部１６１ａにて推定する。

図６（ａ）の低層領域において下三角▽は、前回値画像座標を示す。この前回値の点光源候補画像座標をベースに、領域別３次元位置推定部１６１ａにて推定された３次元位置を示す。自車挙動による１フレーム後の移動先を予測するため、予測移動量は、直進成分は直進量予測部１６５から回転成分はヨーレート予測部１６６から得る。図６（ａ）に高さ５０cmの場合の３次元予測位置を四角□で示し、高さ０cmの場合の３次元予測位置を丸○で示す。カメラから近距離の平面を仮定した方が、画像上の動きが大きいと予測され、車載カメラ１００から遠距離の平面を仮定した方が、画像上の動きが小さいと予測される。このため、路面上０cmから５０cmに存在するであろう追跡対象物は、図６上に示す路面仮定の画像上予測座標○と０.５ｍ仮定の画像上予測座標□の間に、存在すると考えることができる。

ただし、低層１６０ａでは静止物体のみではなく、移動体についてもトラッキング，追跡したいので、実際には、自車速移動距離に加えて、他車両の移動分を加算する必要がある。簡易パターンマッチング部１２０において、対象物の色を解析することで、赤色のテールライトか、ヘッドライトか解析することは可能である。つまり、簡易パターンマッチング部１２０は、車載カメラ１００で取得した画像から対象物の色を解析し、解析結果から、対象物が先行車か対向車かを判定することが可能である。このため、対象光源が赤色であれば先行車両と仮定し、対象光源が白色であれば対向車両であると仮定して、他車両の挙動の範囲を定義する。これにより赤色の光源であれば、自車車速４０kmで走行中であれば、先行車両は０〜６０kmのいずれかの速度で走行中であると仮定して、トラッキング検索範囲の予測計算を実施する。先行車両の速度がレーダーもしくは、毎回の画像処理結果などから得られている場合には、先行車両推定車速に範囲を持たせても良い。例えば先行車両車速が３５kmと推定されていた場合には、２５km〜４５kmの間であるとの仮定で予測計算を実施してもよい。

実際に画像上で、過去の点から動きうる範囲を予測計算において算出することで、トラッキング対象を探す領域を限定する。これにより計算負荷を軽減するだけでなく、誤トラッキングを抑制することに成功した。

高層１６０ｄは、信号機や街灯，看板などの背の高い光源を追跡したい。計算方法は、低層１６０ａとほぼ同様であり、車載カメラ１００よりも背の高い位置、３ｍから５ｍに同様に路面と水平な平面を仮定し、ここと交差する位置で予測計算を実施する。

次に中層左１６０ｂ，中層右１６０ｃについて説明する。

中層左１６０ｂと中層右１６０ｃは、処理が対称なので、ここでは図７（ａ）に示された右側だけを説明する。車載カメラ１００の高さと同じ高さにあるような光源や遠方にある光源は、中層左１６０ｂもしくは中層右１６０ｃの領域に撮像されている。この中で、特に画像中の端に近い部分には、自車両から近距離にいる光源が撮影されやすく、画面上の移動距離が大きくトラッキング困難である。

カメラ高さと同じような高さの物体は、低層１６０ａや高層１６０ｄの場合のように路面と水平な平面を仮定しても、中層では３次元位置推定計算の精度が悪くなる。そこで、第２の領域である中層左１６０ｂ、もしくは中層右１６０ｃでは、図７（ｂ）（ｃ）に示すように左右に道路に沿って垂直な壁があると仮定し、その平面との交点を計算することで３次元位置の予測推定計算を実施する（中層の変化量予測計算方法）。中層右１６０ｃの領域別３次元位置予測部１６２ｃでは、自車両右側の近距離１ｍと遠距離４ｍに垂直な壁があると仮定して、予測計算を行う。

図６（ａ）の予測結果に示すように、近距離１ｍに点光源が有る場合の方が画像上の移動量が大きく近距離１ｍ予測座標を○で示す。遠方にいるほど動きが小さくなり、遠距離４ｍの予測座標を四角□で示す。予測のための基となった点光源候補の前回値画像座標を下三角▽で示す。このように、前回値の点光源候補を基として、画像上の移動予測，遠距離□と近距離○の画像座標を算出し、これを探索範囲として、トラッキング探索時の絞込みに利用する。

つまり、領域別変化量予測部１６０は、対象物の変化量を予測する場合、対象物と車載撮像装置である車載カメラ１００の高さ、又は対象物の移動する範囲を制限して予測する。

更に、簡易パターンマッチング部１２０により判定されたトラッキング対象が先行車両か対向車かの結果に基づいて、自車挙動と他車挙動の速度範囲で画像上移動量の予測計算を実施する。このように、対象物体が未知の状態でも、認識対象をより精度良く、また効率的にトラッキングするための指標として、上記のような領域別に画像上における次フレームの画像位置を推定する。

＜動的な領域変更＞
次に、領域設定部１３０において分割された領域は、図４や図８に示すように、消失点の動きを動的に求める手法の一つとしてレーン認識部２１０のレーン認識結果を利用してもよい。レーン認識により求められた消失点位置が画面上下方向に動いた場合の領域の動的な変更を図８に示す。

消失点が画像上で上に移動すると、これに合わせて領域の分割も画面上に移動していることが確認できる。このように消失点位置の変化に基づいて、低層１６０ａ，中層左１６０ｂ，中層右１６０ｃ，高層１６０ｄ、の画像上高さ方向に領域を変更しても良い。

また、図９（ａ）に示すような道路の曲がり具合を車載カメラ１００によるレーン認識部２１０のレーン認識により検知可能な場合に、図９（ｂ）に示すように道路の曲がりぐらいに沿った道路に垂直な壁を定義することで中層左１６０ｂ、もしくは中層右１６０ｃの予測計算を実施しても良い。また、道路の曲がり具合に応じて、左右に定義した壁と交わる領域が変化するため、図９に示すように中層左１６０ｂ，中層右１６０ｃを図８の状態から動的に変化させても良い。

＜静止物判定＞
本実施例では、前述の計算手法を利用して路面上もしくは高さが既知である静止物体であれば、自車挙動のみによる相対位置姿勢の変化が起こることを利用して、点光源候補が領域別予測変化量とどの程度一致するかを判定し、一致する場合にはカメラとの高さが既知である平面上に存在する静止物体と判定する。

本実施例では、従来は難しかったパターンマッチングのみでは十分にノイズ除去ができないような単純形状、もしくは点光源のような物体を認識する場合に、画像上におけるパターンのみではなく、これを時系列に観測しトラッキングした場合に、その位置や面積の変化が静止物体だと予測した結果との類似性を観測することで、認識対象である静止物体かどうかの判定を行う。

前周期の点光源候補から、次周期ＦrmＴにおける画像上の位置を予測する。

図１２左側が点光源候補の前周期ＦrmＴ−１の画像座標を示し、右側が点光源候補から予測した現周期ＦrmＴにおける予測座標を示している。路面仮定の場合の予測座標を○で示し、０.５ｍ仮定の予測座標を□で示す。点光源候補が路面上に存在する静止物体であれば、路面仮定の予測座標○の近くでトラッキングが毎回成立することとなる。この性質を利用して、時間方向に観測することで静止物であるかどうかの判定を物体判定部１９０で実施する。

夜間テールライトの検知の場合に、路上静止物体と判定されると、それは路上にある反射板もしくは三角板である可能性が高いので、これは車両のテールライトでないと判定する。

このように４輪車両の左右ライトの組み合わせがなくとも、ノイズ要因となる路面静止物体の除去が可能となる。このため従来手法では、２輪車両に対応しようとすると、どうしても誤検知が増えるような状況であったが、本実施例を実施することでノイズ削減に大幅に成功し、２輪車両の検知も可能とした。

遠方にある検知候補などは、画像上の動きが小さくそもそも判定が困難な場合があるが、より長い時間の予測を利用することで小さな動きを大きな動きとして判定することが可能となり、静止物か否か判定が可能となる。ここでは、１周期過去のデータより現周期の予測を行っているが、これがｎ周期過去データや、１，２，４周期過去データのように複数データから予測を行って路上静止物体の動きと一致するかを確認してもよい。このようにトラッキングを高精度，高効率的に行うだけでなく、静止物体かどうかの判定に利用しても良い。

遠方では面積変化が認識できない程度であるのに対し、近傍のトラッキングの予測結果では、面積予測結果が画像上で増加していることが確認できる。面積変化の予測には、画像上の縦、もしくは横、もしくは両方の４隅、もしくは対角線など、候補領域を囲む２点以上を利用することで、その拡大率を算出してもよい。ここでは、面積と予測位置の両方を利用しているが、予測位置のみの判定でも良い。

＜移動体トラッキング最適化＞
また、点光源候補が移動体であってもトラッキングしたい。まずは、点光源候補が白色か赤色かの判別結果に応じて、移動体が対向車か先行車か判別する。この判別結果に応じて、対向車であれば、自車両に近づいてくる方向に車速が一般道であれば最大６０kmから０kmと仮定し、先行車であれば自車速と同方向に６０kmから０kmと仮定する。

図１２に白色光源であった場合の、トラッキングの例を示す。トラッキングの探索範囲は、画像上でもっとも動きが小さい場合と、大きい場合の間となる。点光源候補の動きが最も小さい場合は静止物体の場合であり車速０kmである。反対に最も動きが大きい場合とは、対向車車速が６０kmの場合である。ここで更に、路面上からの高さの仮定も考慮すると、最も動きが小さい場合とは路面仮定静止物体予測座標であり、最も動きが大きい場合とは高さ５０cm仮定、対向車速６０kmの予測座標である。

これが図１２に示す２点の予測座標であり、ここで予測された２点の間で、輝度や形状が似ている光源が存在しないかを探索する。このときに路面上静止物体であると仮定した予測位置周辺に毎フレームごとに認識対象が見つかる場合、路面上静止物であるとの判定を実施し、配光制御には利用しない、ノイズ要因であると判定する。

＜別ハード構成＞
図１３に、本発明の車載用環境認識装置の他の構成例を示す。

図１と比較し、画像取得部１１０を含む車載カメラ１００から画像処理部が外部のカーナビ部２２０へ出たハード構成である。基本的に、図１の構成の画像取得部１１０以外の画像処理がカーナビ部２２０へ移った構成、つまり上述しました簡易パターンマッチング部１２０，領域設定部１３０，領域別変化量予測部１６０，トラッキング部，物体判定部１９０を有する車載用環境認識装置を車載撮像装置である車載カメラ１００からカーナビ部２２０のＣＰＵに設けた構成であり、カーナビ部２２０に移った各画像処理は、図１のものと変わらない。以下簡単に説明する。

画像処理のための画像が常に車載カメラ１００の画像取得部１１０からカーナビ部２２０へ入力される。入力された画像を基に簡易パターンマッチング部１２０にて簡易パターンマッチングを実施し、点光源候補を抽出、次にこの点光源候補が属する領域を領域設定部１３０で領域フラグとして持たせる。この点光源候補及び領域フラグを入力とし、領域別変化量予測部１６０で領域別変化量予測を実施することでトラッキング探索範囲を決定する。車両挙動情報部２５０はカーナビ部２２０内の領域別変化量予測部１６０へ入力している。この結果、各点光源候補と予測位置を基にしてトラッキング部１７０にてトラッキングを実施する。このトラッキングの結果と、予測位置を基にして物体判定部１９０において物体判定を実施する。

＜配光制御実施例＞
これまで説明した車載用環境認識装置の出力を用いて配光制御を行う実施例について説明する。

これまで夜間の移動体検知を説明してきたが、上記説明より移動体の点光源と静止物体の点光源を分類し、移動体の点光源に応じて、自車両のライトを自動制御する。

つまり、物体判定部１９０から出力された物体判定結果に基づいて、自車両のライトの配光を制御させる。これにより、トラッキングを高精度かつ安定的に実現できるため、ライトの自動制御も安定的に行うことができる。

＜ＬＤＷ実施例＞
これまで説明した車載用環境認識装置の出力を用いてＬＤＷ（Lane Departure Warning：車線逸脱警報）制御を行う実施例について説明する。

これまで説明した配光制御用の夜間車両検知との差分について記す。ＬＤＷでは、北米ロサンゼルス近郊の道路に多く存在するボッツドッツと呼ばれる道路鋲によるレーンマークを精度良く検知するために応用した。

図１に示すようにシステム構成は同様であり、画像取得部１１０において取得した画像を利用し、簡易パターンマッチング部１２０にて中心の輝度が高い半径５cm程度の道路鋲を検知するためのパターンマッチングを実施する。次に、上記パターンマッチングの結果を、変化量予測部にて推測された結果に基づいてトラッキングする。変化量予測部では、路面上に存在するボッツドッツであれば、自車挙動に合わせて画面上でどの程度の位置と大きさが変化するかを予測し、逐次的に予測と一致するか解析することで、路面上静止物体であるかの判定を実施する。

自車挙動に基づいてトラッキングが成功している場合にのみ、路面上静止物体でありレーンマークの特徴量として認められる構造なので、太陽光による路面の反射のちらつき、周囲の移動体からの反射、例えば他車両のホイール部分の反射，トラックの金属部などのレーンマークと間違えやすい形状に画像上で見える物体などの誤検知要因を除去することが可能である。上記、誤検知例では、ちらつきはそもそもトラッキングできず、他は移動物体であれば、予測方向に移動しないため、トラッキングできずノイズとして削除される。レーン認識の場合には、物体判定部１９０において画面上に直線に並ぶレーンマークを抽出する処理が入るため、多少のノイズであれば残っていても大きな問題にならない。

＜街灯検知＞
配光制御のために街灯の有無を検知し、自車両が市街地を走行しているかを判定する。

市街地走行であれば、ハイビームをやめるなど自車両のライト制御に利用する。街灯は、撮像画面の高層領域に入ってくる可能性が高いが、その高さ自体は不明である。このため上層では、高さ３ｍから５ｍのように高さの範囲を定義し、この定義に基づいてトラッキングを実施する。遠方の街灯が中層に入ることはあるが、遠方にある街灯の場合のみであり、画像上の移動量が大きくないため中層左、もしくは中層右における３次元推定計算でも、トラッキングを実施するための指標になる。

信号検知の場合のトラッキングも同様に、自車挙動を利用した予測計算により、高精度，高安定、のトラッキングを可能とし、更に効率的に画像処理を実施することが可能である。

＜標識検知＞
標識検知の場合にも、簡易パターンマッチングとして、円のハフ変換を実施，検知された標識候補に対して、標識の高さの範囲を持たせて仮定しトラッキングを実施する。標識の高さは不確定である場合がほとんどであるので、配光制御や街灯検知の場合と同様に、高さの範囲を仮定することで、探索範囲を限定することが可能となるため誤トラッキングを抑制し、高精度，高安定的にトラッキングを実施する。また、探索範囲が限定的であるために、画像処理の計算負荷も減らすことが可能となる。

１００ 車載カメラ
１１０ 画像取得部
１２０ 簡易パターンマッチング部
１３０ 領域設定部
１６０ 領域別変化量予測部
１６５ 直進量予測部
１６６ ヨーレート予測部
１７０ トラッキング部
１９０ 物体判定部
２１０ レーン認識部
２２０ カーナビ部
２５０ 車両挙動情報部
２６０ 車両ＥＣＵ

Claims (17)

1. 車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、前記対象物候補の位置を出力するパターンマッチング部と、
   取得された前記画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、入力された前記対象物候補の位置と、に基づいて、抽出された前記対象物候補の変化量予測を計算し、対象物の予測位置を出力する領域別変化量予測部と、
   入力された前記対象物の予測位置に基づいて対象物をトラッキングするトラッキング部と、を有する車載用環境認識装置。
2. 請求項１記載の車載用環境認識装置において、
   前記自車両挙動情報は、自車両の速度，操舵角，ヨーレートの少なくとも１つである車載用環境認識装置。
3. 請求項１記載の車載用環境認識装置において、
   取得された前記画像に対して、消失点を含む第１の領域と、前記第１の領域とは異なる領域と、に領域を分割して、複数の領域を設定する領域設定部を有する車載用環境認識装置。
4. 請求項３記載の車載用環境認識装置において、
   前記領域設定部で設定される前記複数の領域は、前記第１の領域を消失点を中心に２つに分割された中層左領域及び中層右領域と、前記第２の領域において前記第１の領域に対して垂直方向の一方側に設定された低層領域と、前記第２の領域において前記第１の領域に対して垂直方向の他方側に設定された高層領域と、である車載用環境認識装置。
5. 請求項３記載の車載用環境認識装置において、
   前記消失点は、取得した前記画像からレーン認識処理した結果に基づいて算出される車載用環境認識装置。
6. 請求項５記載の車載用環境認識装置において、
   前記領域設定部で設定される前記第１の領域は、前記レーン認識した結果に基づいて算出された消失点に基づいて動的に設定変更される車載用環境認識装置。
7. 請求項３記載の車載用環境認識装置において、
   前記領域設定部で設定される前記第１の領域は、取得した地図情報に基づいて動的に設定変更される車載用環境認識装置。
8. 請求項１記載の車載用環境認識装置において、
   前記領域別変化量予測部は、
   前記パターンマッチング部から入力された２次元画像座標における対象物候補の画像位置から自車両重心を原点とした３次元の車両座標系における対象物候補の３次元位置を推定する領域別３次元位置推定部と、
   前記自車両挙動情報と、前記領域別３次元位置推定部により得られた車両座標系における対象物候補の３次元位置の推定結果と、に基づいて、所定周期後の対象物の車両座標系における３次元位置を予測する領域別３次元位置予測部と、
   前記領域別３次元位置予測部で予測された３次元位置の予測結果から画像座標に変換し、対象物の画像位置を算出する領域別画像位置予測部と、を有する車載用環境認識装置。
9. 請求項３記載の車載用環境認識装置において、
   予め定められた前記第１の領域における対象物の変化量予測計算方法は、車両が走行する道路に垂直な壁を仮定して予測計算する方法である車載用環境認識装置。
10. 請求項１記載の車載用環境認識装置において、
    前記領域別変化量予測部は、対象物の変化量を予測する場合、前記対象物と車載撮像装置の高さ、又は対象物の移動する範囲を制限して予測する車載用環境認識装置。
11. 請求項１記載の車載用環境認識装置において、
    前記トラッキング部にて対象物をトラッキングした結果に基づいて、対象物が路上静止物体か否か判定する物体判定部を有する車載用環境認識装置。
12. 請求項１１記載の車載用環境認識装置において、
    前記物体判定部は、前記対象物が路上静止物体ではないと判定された場合、トラッキングした結果に基づいて、前記対象物が車両のテールライトか否かを判定する車載用環境認識装置。
13. 請求項１記載の車載用環境認識装置において、
    前記パターンマッチング部は、取得した前記画像から対象物の色を解析し、解析結果から、前記対象物が先行車か対向車かを判定する車載用環境認識装置。
14. 請求項１記載の車載用環境認識装置において、
    車載用撮像装置から画像を取得する画像取得部を有する車載用環境認識装置。
15. 請求項１乃至１４記載の車載用環境認識装置において、
    前記対象物は、光点である車載用環境認識装置。
16. 画像を取得する画像取得部を有する車載用撮像装置と、
    前記車載用撮像素子から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、前記対象物候補の位置を出力するパターンマッチング部と、取得された前記画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、入力された前記対象物候補の位置と、に基づいて、抽出された前記対象物候補の変化量予測を計算し、対象物の予測位置を出力する領域別変化量予測部と、入力された前記対象物の予測位置に基づいて対象物をトラッキングするトラッキング部と、を有する車載用環境認識装置と、
    を有する車載用環境認識システム。
17. 請求項１６記載の車載用環境認識システムにおいて、
    前記対象物は、光点である車載用環境認識システム。

Images