JP2016038261A - 物体認識装置 - Google Patents

Abstract

【課題】移動体に搭載された物体検出手段の基準軸のずれが発生しているか否かを判定する処理において誤判定を抑制する。
【解決手段】移動体としての車両５０は、第１物体検出手段として撮像装置１１及び第２物体検出手段としてレーダ装置１２を搭載する。物体認識装置１０は、第１物体検出手段の基準軸Ｘ１の軸ずれ量を学習する軸ずれ学習手段と、第１物体検出手段及び第２物体検出手段の物体検出結果に基づいて、第２物体検出手段の基準軸において軸ずれが生じているか否かを判定する軸ずれ判定処理を実施する軸ずれ判定手段と、軸ずれ学習手段による軸ずれ量の学習結果に基づいて、軸ずれ判定処理によって取得した第２物体検出手段の軸ずれに関する情報を無効にする無効化手段と、を備える。
【選択図】図１

Description

本発明は、物体認識装置に関し、特に移動体に搭載される物体認識装置に関する。

従来、ミリ波レーダやレーザレーダ等の物体検出センサを車両に搭載し、先行車両や歩行者、障害物等の車両周辺に存在する物体を検出するとともに、その物体検出結果に基づいて、車両の走行安全性を向上させるための各種制御を行うことが提案されている。

車両に取り付けられた物体検出センサにおいて、基準軸のずれ（光軸ずれ）が発生した場合、物体検出センサによる物体検出領域が本来検出すべき領域からずれてしまい、物体の検出精度が低下することが考えられる。かかる場合、車両の走行安全性を向上させるための各種制御の精度が低下するおそれがある。

そこで従来、物体検出センサの軸ずれを検出するための技術が種々提案されている（例えば特許文献１参照）。特許文献１には、カメラ及びレーダ装置が搭載された車両において、車両走行中にカメラで撮影した画像に基づいて検出した消失点とレーザビームの送出方向とに基づいて、レーザビームの送出方向と車両直進方向との間の誤差を検出し、レーザビームの送出方向の補正を行うことが開示されている。

特開２００４−２０５３９８号公報

撮像装置で撮影した画像を用いてレーダ装置の軸ずれを検出する場合、その検出処理を撮像装置の基準軸（撮影軸）のずれが発生している状況下で実施すると、レーダ装置の軸ずれを精度良く検出できず、誤判定を招くことが懸念される。

本発明は、上記課題に鑑みなされたものであり、移動体に搭載された物体検出手段の基準軸のずれが発生しているか否かを判定する処理において誤判定を抑制することができる物体認識装置を提供することを一つの目的とする。

本発明は、上記課題を解決するために、以下の手段を採用した。

本発明は、所定の検出可能領域内に存在する物体を検出する物体検出手段として第１物体検出手段（１１）及び第２物体検出手段（１２）が搭載された移動体（５０）に適用される物体認識装置に関する。請求項１に記載の物体検出装置は、前記検出可能領域は各々に基準軸（Ｘ１、Ｘ２）を含み、前記第１物体検出手段の基準軸の軸ずれ量を学習する軸ずれ学習手段と、前記第１物体検出手段及び前記第２物体検出手段の物体検出結果に基づいて、前記第２物体検出手段の基準軸において軸ずれが生じているか否かを判定する軸ずれ判定処理を実施する軸ずれ判定手段と、前記軸ずれ学習手段による前記軸ずれ量の学習結果に基づいて、前記軸ずれ判定処理によって取得した前記第２物体検出手段の軸ずれに関する情報を無効にする無効化手段と、を備えることを特徴とする。

第１物体検出手段の物体検出結果を用いて、第２物体検出手段の基準軸のずれが生じているか否かを判定する場合、第１物体検出手段の軸ずれ量の学習結果に応じて、第２物体検出手段の軸ずれ判定の判定精度が変わると考えられる。例えば、第１物体検出手段の軸ずれ量の学習結果が、該学習の精度がさほど高くないことを示す結果であった場合、第２物体検出手段の軸ずれ判定にて誤判定を招くおそれがある。こうした点に着目し、上記構成では、第１物体検出手段の基準軸の軸ずれ量の学習結果に基づいて、それまでに取得した第２物体検出手段の基準軸のずれに関する情報を無効にする。この構成によれば、第２物体検出手段の基準軸のずれが発生しているか否かを判定する処理において、誤判定を抑制することができる。

物体認識装置の概略構成を示すブロック図。 撮像装置及びレーダ装置の配置を示す図。 撮像軸ずれが生じた場合の検出距離のずれを表す模式図。 レーダ軸ずれ判定処理の具体的態様を示すタイムチャート。 レーダ軸ずれ判定処理の処理手順を示すフローチャート。 リセット判定処理の処理手順を示すフローチャート。 消失点の学習状態に応じたカウンタリセットタイミングを示すタイムチャート。 他の実施形態の具体的態様を示すタイムチャート。

以下、移動体の物体認識装置を具体化した実施形態について、図面を参照しつつ説明する。本実施形態に係る物体認識装置１０は、移動体としての車両に搭載された車載装置であり、撮像装置１１及びレーダ装置１２によって、車両の前方を含む検出可能領域内に存在する物体を認識する。まずは、本実施形態の物体認識装置１０の概略構成について図１及び図２を用いて説明する。

撮像装置１１は車載カメラであり、ＣＣＤカメラやＣＭＯＳイメージセンサ、近赤外線カメラ等で構成されている。撮像装置１１は、自車両５０の走行道路を含む周辺環境を撮影し、その撮影した画像を表す画像データを生成して物体認識装置１０に逐次出力する。本実施形態の撮像装置１１は、自車両５０の例えばフロントガラスの上端付近に設置されており、撮像軸Ｘ１を中心に車両前方に向かって所定角度θ１の範囲で広がる領域６１を撮影する（図２参照）。なお、撮像装置１１は、単眼カメラであってもよく、ステレオカメラであってもよい。

レーダ装置１２は、送信波として電磁波を送信し、その反射波を受信することで物体を検出する装置であり、例えばミリ波レーダやレーザレーダ等で構成されている。レーダ装置１２は、自車両５０の前部に取り付けられており、光軸Ｘ２を中心に車両前方に向かって所定角度θ２（θ２＜θ１）の範囲に亘って広がる領域６２をレーダ信号により走査する。そして、車両前方に向けて電磁波を送信してから反射波を受信するまでの時間に基づき測距データを作成し、その作成した測距データを物体認識装置１０に逐次出力する。測距データには、物体が存在する方位、物体までの距離及び相対速度に関する情報が含まれている。

なお、撮像装置１１の基準軸である撮像軸Ｘ１と、レーダ装置１２の基準軸である光軸Ｘ２とが、自車両５０の走行路面に対して水平な方向と同一方向になるように、撮像装置１１及びレーダ装置１２が自車両５０に取り付けられている。また、撮像装置１１の検出可能領域６１とレーダ装置１２の検出可能領域６２とは、互いに少なくとも一部の領域が重複している。撮像装置１１が「第１物体検出手段」に相当し、レーダ装置１２が「第２物体検出手段」に相当する。

物体認識装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等を備えたコンピュータである。物体認識装置１０は、白線認識部１３、フロー演算部１４、消失点演算部２０及びレーダ軸ずれ検出部３０を備えており、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することでこれら各機能を実現する。

白線認識部１３は、撮像装置１１で撮影された画像を入力し、この画像に含まれている道路区画線としての白線を認識する。白線認識部１３では、例えば、画像の水平方向における輝度変化率等に基づいて、撮影画像データから白線の候補とするエッジ点を抽出し、その抽出したエッジ点を１フレームごとに順次記憶する。そして、記憶した白線のエッジ点の履歴に基づき白線を認識する。フロー演算部１４は、撮像装置１１で撮影された画像を入力し、その入力した画像データを用いて、画像中の各点における動きベクトルとしてオプティカルフローを演算する。フロー演算部１４では、例えば、空間的な輝度分布の変化に基づいて画素ごとに動きベクトルを演算する。

消失点演算部２０は、基準値推定部２１と、消失点学習部２２と、学習値記憶部２５とを備えている。基準値推定部２１は、白線認識部１３から白線の位置等に関する情報（白線情報）を入力するとともに、フロー演算部１４からオプティカルフローに関する情報（フロー情報）を入力し、それら入力データを用いて消失点（Focus of Expansion；ＦＯＥ）を求めるための各種処理を実行する。

基準値推定部２１は、撮像装置１１で撮影された画像データに基づいて消失点を算出する。具体的には、基準値推定部２１は、白線認識部１３から入力した白線情報や、フロー演算部１４から入力したフロー情報を用いて消失点を算出する。例えば白線情報を用いる場合、車両周辺に存在する一対の白線の交点を消失点と推定し、その値（基準消失点）をＲＯＭに記憶する。なお、車両出荷時では、消失点として初期値が予めＲＯＭに記憶されている。初期値は、例えば撮像装置１１の取付状態を表すパラメータ（例えば、取付高さ、撮像軸の俯角など）や、撮像装置１１の撮像機能に関するパラメータ（例えば、画素数、焦点距離など）に基づき設定されている。

消失点学習部２２は、撮像装置１１の取付高さや軸方向が変化することに伴う消失点の定常的なずれ量（撮像軸Ｘ１の軸ずれ量）を算出するための消失点学習を実行する。具体的には、消失点学習部２２は、白線情報から算出した消失点についての学習を実行する第１学習部２３と、フロー情報から算出した消失点についての学習を実行する第２学習部２４とを備える。第１学習部２３及び第２学習部２４のそれぞれの学習値（消失点学習値）は、学習の実行毎に学習値記憶部２５に都度記憶・更新される。

消失点学習部２２では、自車両５０の始動スイッチ（例えばイグニッションスイッチ等）がオンされたことに伴い消失点学習を開始する。また本実施形態では、車両の積載状態や走行状態によって撮像装置１１の取付高さや軸方向が変化し、それに伴い消失点の位置も変化することを考慮し、始動スイッチのオン後に消失点学習が一旦完了した後も、消失点学習を逐次実行している。

学習値記憶部２５は、例えば、電気的にデータの書き換えが可能な不揮発メモリ（ＥＥＰＲＯＭ等）によって構成されている。物体認識装置１０は、消失点を指標に画像データを解析することにより、例えば自車両５０の走行道路に対する走行状態や前方車両との位置関係等を推定したり歩行者を認識したりする。

ただし、画像に基づく白線認識は、オプティカルフローの演算よりも時間がかかる。そのため、自車両５０の始動スイッチのオン後では、白線認識による消失点学習が完了する時刻よりも、オプティカルフローによる消失点学習が完了する時刻の方が早くなる。一方、消失点学習の学習精度は、オプティカルフローを用いるよりも、白線認識を用いた方が精度が高い。そこで本実施形態では、自車両５０の始動スイッチのオン後、白線認識による消失点学習が完了するまでは、オプティカルフローにより算出した学習値を用いて画像データの解析処理を行い、白線認識による消失点学習が完了した後では、白線認識により算出した学習値を用いて画像データの解析処理を行うこととしている。

レーダ軸ずれ検出部３０は、カメラ物標検出部３１、レーダ物標検出部３２、軸ずれ情報演算部３３、軸ずれ判定部３４及びリセット判定部３５を備えている。

カメラ物標検出部３１は、撮像装置１１で撮影された画像を入力し、この画像に含まれている物標（カメラ物標）を検出する。レーダ物標検出部３２は、レーダ装置１２からの測距データを入力し、その入力データに含まれている物標（レーダ物標）を検出する。軸ずれ情報演算部３３は、カメラ物標検出部３１による検出結果と、レーダ物標検出部３２による検出結果とに基づいて、レーダ装置１２で光軸ずれが発生しているか否かを判定する。

具体的には、軸ずれ情報演算部３３は、カメラ物標検出部３１で検出したカメラ物標、及びレーダ物標検出部３２で検出したレーダ物標に関する情報をそれぞれ入力する。軸ずれ情報演算部３３では、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪの演算を行う。詳細には、自車両５０の前方に物体（例えば先行車両）が存在し、少なくともカメラ物標検出部３１によってその物体に対応する物標が検出されている場合に、カメラ物標検出カウンタＣＡを所定周期でインクリメントする。また、カメラ物標検出部３１で検出された物標と同一物体となり得る物標がレーダ物標検出部３２で検出されている場合に、軸ずれ判定カウンタＣＪをインクリメントする。なお、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪが「光軸ずれに関する情報」に相当する。

軸ずれ判定部３４では、軸ずれ情報演算部３３から入力したカメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪに基づいて、レーダ装置１２の光軸ずれが発生しているか否かを判定する。具体的には、カメラ物標検出カウンタＣＡに対する軸ずれ判定カウンタＣＪの比率を算出し、その比率ＣＪ／ＣＡと判定値ＴＨＡ２とを比較することによって行う。このとき、ＣＪ／ＣＡ＜ＴＨＡ２である場合に光軸ずれ有りと判定する。リセット判定部３５は、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪについて、それらデータを軸ずれ判定部３４に出力するか、それとも無効にするかを決定する。

以下、リセット判定部３５で実行されるカメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪのリセット判定処理について詳しく説明する。リセット判定部３５は、学習値記憶部２５から消失点学習値を入力し、その入力した消失点学習値に基づいて、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをリセットするか否かを決定する。

具体的には、リセット判定部３５は、学習値記憶部２５に記憶されている消失点学習値に基づいて、過去ＦＯＥ信用フラグＦｔｒに０か１を設定し、設定したフラグＦｔｒを軸ずれ情報演算部３３に出力する。この過去ＦＯＥ信用フラグＦｔｒは、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをリセットするか否かを示す情報である。軸ずれ情報演算部３３では、入力した過去ＦＯＥ信用フラグＦｔｒが１であれば、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪの計測値をそのまま保持する。一方、過去ＦＯＥ信用フラグＦｔｒが０であれば、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをゼロにリセットし、カウンタの計測を最初からやり直す。なお、軸ずれ情報演算部３３及びリセット判定部３５によって「無効化手段」が構成されている。

リセット判定処理を実行する理由は次の通りである。撮像軸Ｘ１に軸ずれが発生している場合、その軸ずれ角度の分だけ、画像認識による物体との距離を誤ってしまう。図３に、撮像軸Ｘ１の軸ずれに起因するカメラ物標の距離ずれを模式的に表す。なお、図３では光軸ずれが発生していない場合を想定している。

自車両５０から同一物体（図３では先行車両５５）までの検出距離について、撮像装置１１の検出結果とレーダ装置１２の検出結果を比較すると、撮像軸Ｘ１で軸ずれが発生していない状態では、検出距離の差はΔｄ１と比較的小さい。これに対し、撮像軸Ｘ１が、例えば走行路面に対して水平な位置よりも上向きに所定角度θ３だけずれている場合には、検出距離の差がΔｄ２と比較的大きくなる。この場合、撮像装置１１とレーダ装置１２で同一物体を検出しているにも関わらず、画像処理において２つの物標（カメラ物標とレーダ物標）が同一物体であると認識されないことが生じ得る。かかる場合、軸ずれ判定カウンタＣＪの計測値の信頼度が低くなり、レーダ軸ずれ判定処理において誤判定を招くことが懸念される。なお、こうした撮像軸ずれに起因する検出距離のずれは、消失点学習によって改善される（ＴＡ２→ＴＡ１）。

また、車両の運転開始時では、消失点の学習状態が、オプティカルフロー及び白線認識のいずれについても学習未完了である状態から、オプティカルフローによる学習完了状態へと移行し、その後、白線認識による学習完了状態へと変化する。また、こうした学習状態の変化に伴い、レーダ軸ずれ判定処理の開始後において消失点の学習結果の信頼度、つまり学習後の消失点の真値に対するずれ量が変化することが考えられる。例えば、白線認識による消失点学習が未だ完了していない状態と、白線認識による消失点学習が完了した状態とでは学習結果の信頼度が相違し、前者では後者よりも真値に対するずれ量が大きく、学習結果の信頼度が低くなる傾向にある。

そこで本実施形態では、消失点学習の学習結果に応じて、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪを無効化することとしている。具体的には、レーダ軸ずれ判定処理の開始後において、消失点の学習結果の信頼度が変わらなければ、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪのカウントアップをそのまま継続する。一方、レーダ軸ずれ判定処理の開始後において、消失点の学習結果の信頼度の変化が生じた場合には、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをリセットして、レーダ軸ずれ判定処理を最初からやり直す。

次に、消失点の学習結果に基づくカウンタＣＡ，ＣＪのリセット判定処理の具体的態様について、図４のタイムチャートを用いて説明する。図４中、（ａ）はイグニッションスイッチ（ＩＧスイッチ）のオン／オフの推移、（ｂ）はカメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪの値の推移、（ｃ）は消失点の学習状態の推移を示す。なお、図４では、ＩＧスイッチオンの時点で先行車両が存在している場合を想定している。

時刻ｔ１０でＩＧスイッチがオンされると、カメラ物標検出カウンタＣＡのカウントアップが開始される。また、カメラ物標と同一物体となり得るレーダ物標が検出されている場合には、その検出数（検出頻度）に対応する分だけ軸ずれ判定カウンタＣＪがカウントアップされる。図４では、レーダ装置１２の光軸ずれが生じているため、ＣＪ＜ＣＡとなっている。

ＩＧスイッチのオン直後では、オプティカルフローによる消失点学習及び白線認識による消失点学習が未だ完了しておらず、学習値記憶部２５には前回の車両走行終了時に記憶した学習値がそのまま記憶されている。したがって、オプティカルフローに基づく消失点学習が開始されるまでのｔ１０〜ｔ１１の期間では、前回学習値ＦＯＥ＿Ａを用いて画像処理が行われる。

ＩＧスイッチのオンから所定時間Ｔ１が経過した後の時刻ｔ１１では、オプティカルフローに基づく消失点学習を開始する旨の指令が出力される。なお、所定時間Ｔ１は、オプティカルフローの演算に必要な画像データを取得するための時間（例えば十数秒）が設定されている。

ここで、オプティカルフローに基づき算出した消失点が、前回学習値ＦＯＥ＿Ａに対して比較的大きくずれた場合、カメラ物標検出カウンタＣＡのカウントアップ開始後に消失点の学習結果の信頼度が変化したものと推定される。こうした場合、本実施形態では、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪがゼロにリセットされ、レーダ軸ずれ判定のためのカウントアップが最初からやり直される。特に本実施形態では、オプティカルフローに基づく消失点（ＦＯＥ＿Ｃ）が安定した時点ｔ１２で、前回学習値ＦＯＥ＿Ａとオプティカルフローによる消失点ＦＯＥ＿Ｃとのずれ量の絶対値ΔＦＯＥ（Ｃ−Ａ）を算出し、その算出したΔＦＯＥ（Ｃ−Ａ）により、消失点学習の学習結果の信頼度の変化があったものと判定される。

オプティカルフローによる消失点学習の開始指令から更に所定時間Ｔ２（例えば数分）が経過した時点ｔ１３で、白線認識による消失点学習が完了した場合にも同様である。具体的には、オプティカルフローによる消失点ＦＯＥ＿Ｃと、白線認識による消失点（ＦＯＥ＿Ｄ）とのずれ量の絶対値ΔＦＯＥ（Ｄ−Ｃ）から、消失点の学習結果の信頼度が変化したと判定されると、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪがゼロにリセットされ、レーダ軸ずれ判定のためのカウントアップが最初からやり直される。

次に、本実施形態のレーダ軸ずれ検出部で実行される処理の処理手順について図５及び図６のフローチャートを用いて説明する。これらの処理は、物体認識装置１０のＣＰＵにより所定周期毎に実行される。

まず、図５のレーダ軸ずれ判定処理について説明する。図５において、ステップＳ１０１では、過去ＦＯＥ信用フラグＦｔｒに０がセットされているか否かを判定する。Ｆｔｒ＝０であればステップＳ１０２へ進み、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪを０にリセットする。一方、Ｆｔｒ＝１であればステップＳ１０２の処理を実行せずにステップＳ１０３へ進む。

ステップＳ１０３では、撮像装置１１で撮影された画像を入力し、その入力した画像に物標（カメラ物標）が含まれているか否かを判定する。カメラ物標の検出無しの場合にはそのまま本ルーチンを終了し、カメラ物標の検出有りの場合にはステップＳ１０４へ進み、カメラ物標検出カウンタＣＡをインクリメントする。

続くステップＳ１０５では、カメラ物標と同一物体に属する物標がレーダ装置１２で検出されているか否かを判定する。検出有りの場合にはステップＳ１０６へ進み、軸ずれ判定カウンタＣＪをインクリメントする。一方、検出無しの場合にはステップＳ１０６の処理を実行せずにステップＳ１０７へ進む。

ステップＳ１０７では、カメラ物標検出カウンタＣＡが判定値ＴＨＡ１（例えば数千回）よりも大きいか否かを判定する。ＣＡ＞ＴＨＡ１であればステップＳ１０８へ進み、カメラ物標検出カウンタＣＡに対する軸ずれ判定カウンタＣＪの比率（ＣＪ／ＣＡ）が判定値ＴＨＡ２よりも小さいか否かを判定する。比率ＣＪ／ＣＡが判定値ＴＨＡ２以上であればステップＳ１１０へ進み、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをゼロにリセットする。一方、比率ＣＪ／ＣＡが判定値ＴＨＡ２よりも小さい場合には、ステップＳ１０９へ進み、レーダ装置１２の光軸ずれが発生しているものと判定し、その判定結果を記憶する。その後、ステップ１１０へ進み、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをゼロにリセットして、本ルーチンを終了する。

次に、図６のリセット判定処理について説明する。図６において、ステップＳ２０１では、白線認識による消失点学習が完了したか否かを判定する。白線認識による消失点学習が未だ完了していなければステップＳ２０２へ進み、オプティカルフローによる消失点学習が完了したか否かを判定する。ここでは、オプティカルフローにより算出した消失点が安定した値を示しているか否かを判定し、安定したと判定された場合にオプティカルフローに基づき消失点学習値（ＦＯＥ＿Ｃ）を算出する。オプティカルフローにより算出した消失点が安定した値を示しているか否かは、消失点の垂直面内での分散に基づき判定し、分散が所定値よりも小さい場合に肯定判定される。オプティカルフローにより算出した消失点が安定したと判定され、オプティカルフローに基づき消失点学習値（ＦＯＥ＿Ｃ）を算出した場合、ステップＳ２０３へ進み、初期値又は前回学習値（ＦＯＥ＿Ａ）とオプティカルフローによる消失点学習値ＦＯＥ＿Ｃとのずれ量の絶対値ΔＦＯＥ（Ｃ−Ａ）が判定値ＴＨＦ１よりも小さいか否かを判定する（信頼度判定手段）。そして、ΔＦＯＥ（Ｃ−Ａ）＜ＴＨＦ１であればステップＳ２０４へ進み、過去ＦＯＥ信用フラグＦｔｒに１をセットする。一方、ΔＦＯＥ（Ｃ−Ａ）＜ＴＨＦ１でなければステップＳ２０５へ進み、過去ＦＯＥ信用フラグＦｔｒに０をセットする。

なお、オプティカルフローによる消失点が安定する前、及びオプティカルフローによる消失点学習が未完了である場合には、ステップＳ２０２で否定判定されてステップＳ２０４へ進む。この場合、過去ＦＯＥ信用フラグＦｔｒには１がセットされるため、カウンタリセットは行われない。

さて、白線認識による消失点学習が完了すると、ステップＳ２０１で肯定判定されてステップＳ２０６へ進む。ステップＳ２０６では、オプティカルフローによる消失点学習値ＦＯＥ＿Ｃと、白線認識による消失点学習値ＦＯＥ＿Ｄとのずれ量の絶対値ΔＦＯＥ（Ｄ−Ｃ）が判定値ＴＨＦ２よりも小さいか否かを判定する（信頼度判定手段）。そして、ΔＦＯＥ（Ｄ−Ｃ）＜ＴＨＦ２であればステップＳ２０７へ進み、過去ＦＯＥ信用フラグＦｔｒに１をセットする。一方、ΔＦＯＥ（Ｄ−Ｃ）＜ＴＨＦ２でなければステップＳ２０８へ進み、過去ＦＯＥ信用フラグＦｔｒに０をセットする。

図７は、消失点の学習状態に応じたリセットタイミングを示すタイムチャートである。図中、（ａ）は初期値（又は前回学習値）が真値に対して正しく、オプティカルフローに基づく消失点が真値からずれている場合、（ｂ）は初期値（又は前回学習値）が真値からずれており、オプティカルフローに基づく消失点が真値に対して正しい場合、（ｃ）及び（ｄ）は初期値（又は前回学習値）及びオプティカルフローに基づく消失点が共に真値からずれている場合、をそれぞれ示している。なお、（ｃ）では（ｄ）よりもオプティカルフローに基づく消失点の真値からのずれ量が小さい場合を想定している。図７中、「Ａ」はＩＧスイッチのオンタイミング、「Ｂ」はオプティカルフローに基づく消失点学習の開始タイミング、「Ｃ」はオプティカルフローに基づく消失点が安定したタイミング、「Ｄ」は白線認識に基づく消失点学習の完了タイミングであり、それぞれ図４中のＡ〜Ｄに対応している。

カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪのリセットは、オプティカルフローにより算出した消失点が安定したタイミングＣ、及び白線認識による消失点学習の完了タイミングＤの少なくともいずれかで行われる。例えば（ａ）及び（ｃ）のシーンでは、前回学習値ＦＯＥ＿Ａと、オプティカルフローによる消失点学習値ＦＯＥ＿Ｃとのずれ量の絶対値ΔＦＯＥ（Ｃ−Ａ）が大きく、かつオプティカルフローによる消失点学習値ＦＯＥ＿Ｃと、白線認識による消失点学習値ＦＯＥ＿Ｄとのずれ量の絶対値ΔＦＯＥ（Ｄ−Ｃ）が大きい。この場合には、タイミングＣ及びタイミングＤでカウンタＣＡ，ＣＪがリセットされる。また、（ｂ）のシーンでは、タイミングＣのみでカウンタＣＡ，ＣＪがリセットされ、（ｄ）のシーンでは、タイミングＤのみでカウンタＣＡ，ＣＪがリセットされる。

以上詳述した本実施形態によれば、次の優れた効果が得られる。

撮像装置１１の撮像軸Ｘ１の軸ずれ量を学習する消失点学習の学習結果に基づいて、それまでに取得したレーダ装置１２の光軸Ｘ２のずれに関する情報を無効にすることとした。撮像装置１１の物体検出結果を用いて、レーダ装置１２の光軸ずれが生じているか否かを判定する場合、撮像装置１１の軸ずれ量の学習結果に応じてレーダ装置１２の光軸ずれ判定の判定精度が変わる。この点、上記構成によれば、レーダ装置１２の光軸ずれが発生しているか否かを判定する処理において誤判定を抑制することができる。

具体的には、レーダ軸ずれ判定処理の開始後において、真値に対する消失点学習の学習結果の信頼度の変化が生じたことが検出された場合に、光軸ずれに関する情報であるカウンタＣＡ，ＣＪを無効化する構成とした。レーダ軸ずれ判定処理の開始後に、消失点学習の学習結果において信頼度の変化が生じた場合、真値からのずれ量が大きい消失点に基づき画像処理が行われていると、レーダ軸ずれ判定の判定精度が低くなっており、誤判定を招くおそれがある。こうした点を考慮し、消失点学習の学習結果が疑わしい状況で取得した光軸ずれに関する情報を無効化する構成とすることで、レーダ軸ずれ判定の誤判定をできるだけ回避するようにすることができる。

白線認識による消失点学習は、学習結果の信頼度が高い反面、学習が完了するまでにある程度の時間（例えば数分〜十数分）を要する。そのため、白線認識に基づく消失点学習が完了までの期間では、前回の車両運転時の学習値を使用するか、あるいは白線認識に基づく消失点学習よりも信頼度が低い別の学習手段で得られた学習値、例えばオプティカルフローに基づく消失点学習値を用いて画像処理を行う必要がある。その一方で、本実施形態のレーダ軸ずれ判定処理では、撮像装置１１で撮影された画像データが用いられるため、学習した消失点が真値からずれている場合には誤判定を招くことが考えられる。その点に鑑み、車両の運転開始後において、白線認識による消失点学習が完了した時点で、消失点の学習結果、より具体的には消失点学習結果の信頼度に基づいて、光軸ずれに関する情報を無効にする構成とした。こうした構成によれば、レーダ軸ずれ判定処理において、適切なタイミングでカウンタＣＡ，ＣＪを無効化することができ、消失点学習の学習精度が十分に確保されていないことに起因する誤判定を好適に抑制することができる。また、消失点学習の学習精度が確保されている状況では、白線認識による消失点学習が完了する前にもレーダ軸ずれ判定処理を実施することができる。

オプティカルフローによる消失点学習では、車両の運転開始後のできるだけ早期に学習を完了させることが可能である反面、白線認識による消失点学習よりも学習精度が低く、真値に対してずれが生じる場合がある。本実施形態では、消失点学習結果の信頼度が十分に確保されていない状況で計測したカウンタＣＡ，ＣＪについては無効にすることから、白線認識による消失点学習が完了する前にレーダ軸ずれ判定処理を開始した場合にもレーダ軸ずれの誤判定を抑制することができる。

本実施形態では、物体検出手段として撮像装置１１及びレーダ装置１２を搭載する車両において、撮像装置１１及びレーダ装置１２の物体検出結果に基づいて、レーダ装置１２の軸ずれ判定を実施する構成とした。一般に、撮像装置１１とレーダ装置１２とでは物体の検出範囲や検出精度が異なることから、両装置を搭載して物体検出を行うことによって互いの弱点を補うことが可能になる。また、撮像装置１１とレーダ装置１２とを組み合わせることにより、撮像装置１１の画像データを用いてレーダ装置１２の光軸ずれを検出することが可能になる。

（他の実施形態）
本発明は上記実施形態に限定されず、例えば次のように実施してもよい。

・上記実施形態において、消失点学習の学習結果の信頼度の変化が生じたことに伴い光軸ずれに関する情報（カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪ）をリセットする場合に、リセット前のカウンタＣＡ，ＣＪを保持しておく。そして、カウンタＣＡ，ＣＪをリセットした後に、そのリセットしたカウンタの計測期間での消失点学習の学習結果の信頼度が所定以上確保されていたことが検出された場合に、リセット前の情報を用いてその後のレーダ軸ずれ判定処理を実施する構成とした。上記構成によれば、消失点学習の学習結果の信頼度が確保されている状況で取得したカウンタＣＡ，ＣＪを活用することによって、レーダ装置１２の軸ずれ発生を確定するまでの時間を短くことができる。

図８に、上記構成のリセット判定処理の具体的態様をタイムチャートで示す。図８中、（ａ）〜（ｃ）は図４と同じである。図８では、オプティカルフローにより算出した消失点が安定した時刻ｔ２２で、前回学習値ＦＯＥ＿Ａとオプティカルフローによる消失点学習値ＦＯＥ＿Ｃとのずれ量の絶対値ΔＦＯＥ（Ｃ−Ａ）が大きかった場合について考える。この場合、時刻ｔ２２では、現時点のカメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪを記憶する（情報記憶手段）。続いて、カメラ物標検出カウンタＣＡ及び軸ずれ判定カウンタＣＪをリセットする（無効化手段）。その後、時刻ｔ２３で、白線認識による消失点学習が完了した場合、時刻ｔ２２以前で実施した消失点学習の学習結果の信頼度が所定以上確保されていたことが検出されると、時刻ｔ２３で時刻ｔ２２でのカウンタを復帰させる。ここで、「時刻ｔ２２以前で実施した消失点学習の学習結果の信頼度が所定以上確保されていたこと」は、例えば消失点学習の学習結果に基づいて検出する。具体的には、オプティカルフローによる消失点学習値（ＦＯＥ＿Ｃ）と、白線認識による消失点学習値（ＦＯＥ＿Ｄ）とのずれ量の絶対値ΔＦＯＥ（Ｄ−Ｃ）が判定値ＴＨＦ２よりも大きく、かつ前回学習値ＦＯＥ＿Ａと白線認識による消失点学習値ＦＯＥ＿Ｄとのずれ量の絶対値ΔＦＯＥ（Ｄ−Ａ）が判定値ＴＨＦ３よりも小さい場合に、時刻ｔ２２以前での消失点学習の学習結果の信頼度が所定以上確保されていたものとする。この場合、白線認識による消失点学習が完了した時刻ｔ２３では、レーダ装置１２の軸ずれ判定を最初からやり直す必要はなく、よってレーダ装置１２の軸ずれが発生しているか否かをできるだけ早期に確定することができる。

・上記実施形態では、イグニッションスイッチがオンされてから白線認識による消失点学習が完了するまでの期間で実施するレーダ軸ずれ判定処理を一例に挙げて説明したが、白線認識による消失点学習が完了した後の期間で実施するレーダ軸ずれ判定処理に本発明を適用してもよい。白線認識による消失点学習は精度が高く、学習が一旦完了すると、その後は学習値の変化が比較的小さい。しかしながら、例えば車両の積載状態や走行状態の変化に伴い撮影軸Ｘ１の軸方向が変化し、消失点の位置が変化することは十分に考えられる。そこで、白線認識による消失点学習が一旦完了した後の期間で実施するレーダ軸ずれ判定処理でも、消失点学習の学習結果に基づいて、光軸ずれに関する情報（カウンタ）を無効化することにより、レーダ装置１２のレーダ軸ずれ判定処理に際し誤判定を抑制することができる。

・上記実施形態では、消失点学習として、オプティカルフローによる消失点学習と、白線認識による消失点学習とを実施する構成に適用する場合について説明したが、オプティカルフローによる消失点学習、及び白線認識による消失点学習のいずれかのみを実施する構成に適用してもよい。例えば、オプティカルフローによる消失点学習を実施しない構成の場合、図４では、白線認識による消失点学習が完了した時点（Ｄ）のみがカウンタリセットタイミングとなる。

・第２物体検出手段の軸ずれを判定する軸ずれ判定手段は、第１物体検出手段及び第２物体検出手段の物体検出結果に基づいて行うものであれば上記構成に限定しない。例えば、車両走行中に撮影した画像に基づいて検出した消失点と、レーダ装置１２から送出される信号の送出方向とに基づいて、信号の送出方向と車両の直進方向との誤差を検出することによってレーダ装置１２の軸ずれ判定を行う構成としてもよい。

・上記実施形態では、レーダ軸ずれ判定処理の開始後に消失点学習の学習結果の信頼度の変化が生じたことを検出する信頼度判定手段として、消失点学習値のレベルの変化を検出する構成を採用した。具体的には、前回学習値ＦＯＥ＿Ａとオプティカルフローによる消失点学習値ＦＯＥ＿Ｃとのずれ量の絶対値ΔＦＯＥ（Ｃ−Ａ）、及びオプティカルフローによる消失点学習値ＦＯＥ＿Ｃと白線認識による消失点学習値ＦＯＥ（ＦＯＥ＿Ｄ）とのずれ量の絶対値ΔＦＯＥ（Ｄ−Ｃ）と判定値とを比較することにより行った。信頼度判定手段の構成はこれに限定せず、例えば消失点学習値の変化の度合い（微分値）に基づき検出してもよい。

・上記実施形態において、比率ＣＪ／ＣＡに基づき光軸ずれ有りと判定された後に、消失点学習の学習結果に基づいて、比率ＣＪ／ＣＡに基づく軸ずれ判定結果、すなわち光軸ずれ有りの判定結果を無効とする構成としてもよい。つまり、この場合には、比率ＣＪ／ＣＡに基づく軸ずれ判定結果が「第２物体検出手段の軸ずれに関する情報」に相当する。

・上記実施形態では、第１物体検出手段が撮像装置１１であって、第２物体検出手段がレーダ装置１２である場合について説明したが、第１物体検出手段及び第２物体検出手段の組み合わせは上記に限定しない。例えば、第１物体検出手段及び第２物体検出手段として複数のレーダ装置（第１レーダ装置、第２レーダ装置）を備えるシステムに本発明を適用してもよい。具体的には、第１レーダ装置及び第２レーダ装置の物体検出結果に基づいて、第２レーダ装置の光軸において軸ずれが生じているかを判定する構成において、第１レーダ装置の光軸における軸ずれ量の学習結果に基づいて、第２レーダ装置の軸ずれに関する情報を無効にする構成とする。

・上記実施形態の図３では、撮像装置１１において垂直面内での軸ずれが発生した場合を一例に挙げて説明したが、垂直面内での軸ずれに限らず、水平面内での軸ずれが発生した場合にも本発明を適用することができる。

・第１物体検出手段及び第２物体検出手段の検出可能領域は車両前方に限らず、例えば車両の後方や側方であってもよい。また、第１物体検出手段及び第２物体検出手段の取付位置も特に制限されない。

・上記実施形態では、物体検出手段として撮像装置及びレーダ装置を用いたがこれらに限定されず、例えば送信波に超音波を用いて物体を検出するソナーを採用してもよい。

・上記実施形態では、車両に搭載された物体認識装置を一例に挙げて説明したが、例えば、鉄道車両、船舶、航空機等の移動体に搭載することもできる。

１０…物体認識装置、１１…撮像装置（第１物体検出手段）、１２…レーダ装置（第２物体検出手段）、１３…白線認識部、１４…フロー演算部、２０…消失点演算部、２２…消失点学習部、２３…第１学習部、２４…第２学習部、２５…学習値記憶部、３０…レーダ軸ずれ検出部、３１…カメラ物標検出部、３２…レーダ物標検出部、３３…軸ずれ情報演算部、３４…軸ずれ判定部、３５…リセット判定部、５０…自車両、Ｘ１…撮像軸（基準軸）、Ｘ２…光軸（基準軸）。

Claims (6)

1. 所定の検出可能領域内に存在する物体を検出する物体検出手段として第１物体検出手段（１１）及び第２物体検出手段（１２）が搭載された移動体（５０）に適用され、
   前記検出可能領域は各々に基準軸（Ｘ１、Ｘ２）を含み、
   前記第１物体検出手段の基準軸の軸ずれ量を学習する軸ずれ学習手段と、
   前記第１物体検出手段及び前記第２物体検出手段の物体検出結果に基づいて、前記第２物体検出手段の基準軸において軸ずれが生じているか否かを判定する軸ずれ判定処理を実施する軸ずれ判定手段と、
   前記軸ずれ学習手段による前記軸ずれ量の学習結果に基づいて、前記軸ずれ判定処理によって取得した前記第２物体検出手段の軸ずれに関する情報を無効にする無効化手段と、
   を備えることを特徴とする物体認識装置。
2. 前記軸ずれ学習手段による前記軸ずれ量の学習結果に基づいて、前記軸ずれ判定処理の開始後において真値に対する前記学習結果の信頼度の変化が生じたか否かを判定する信頼度判定手段を備え、
   前記無効化手段は、前記信頼度判定手段によって前記学習結果の信頼度の変化が生じたと判定された場合に、前記第２物体検出手段の基準軸のずれに関する情報を無効にする請求項１に記載の物体認識装置。
3. 前記無効化手段によって無効にされる前の前記第２物体検出手段の基準軸のずれに関する情報を保持する情報保持手段を備え、
   前記無効化手段によって前記第２物体検出手段の基準軸のずれに関する情報を無効にした後に、該無効にした情報を取得したときの前記真値に対する前記学習結果の信頼度が所定以上確保されていることが検出された場合に、前記情報保持手段に保持されている情報を用いて前記軸ずれ判定処理を実施する請求項２に記載の物体認識装置。
4. 前記第１物体検出手段は、道路を含む周辺環境を撮影する撮像装置であり、
   前記第１物体検出手段により撮影された画像に基づいて前記道路の区画線を認識する区画線認識手段を備え、
   前記軸ずれ学習手段は、前記区画線認識手段により認識した区画線に関する情報である区画線情報に基づいて、前記第１物体検出手段の基準軸の軸ずれ量を学習する手段を含み、
   前記無効化手段は、前記移動体の運転開始後において前記軸ずれ学習手段による前記区画線情報に基づく前記軸ずれ量の学習が完了した時点で、前記学習結果に基づいて前記第２物体検出手段の基準軸のずれに関する情報を無効にする請求項１〜３のいずれか一項に記載の物体認識装置。
5. 前記第１物体検出手段により撮影された画像に基づいてオプティカルフローを演算するフロー演算手段を備え、
   前記軸ずれ学習手段は、前記区画線情報に基づいて前記第１物体検出手段の基準軸の軸ずれ量を学習する第１学習手段と、前記フロー演算手段により演算したオプティカルフローに基づいて前記第１物体検出手段の基準軸の軸ずれ量を学習する第２学習手段とを含み、
   前記無効化手段は、前記移動体の運転開始後において前記軸ずれ学習手段による前記区画線情報に基づく前記軸ずれ量の学習が完了した時点及び前記区画線情報に基づく前記軸ずれ量の学習が完了するよりも前の期間で、前記学習結果に基づいて前記第２物体検出手段の基準軸のずれに関する情報を無効にする請求項４に記載の物体認識装置。
6. 前記第１物体検出手段は、道路を含む周辺環境を撮影する撮像装置であり、
   前記第２物体検出手段は、送信波を送出し、該送出した送信波を受信することで前記物体を検出する探知装置である請求項１〜５のいずれか一項に記載の物体認識装置。

Images