JP2019219719A - 異常検出装置および異常検出方法 - Google Patents
異常検出装置および異常検出方法 Download PDFInfo
- Publication number
- JP2019219719A JP2019219719A JP2018114415A JP2018114415A JP2019219719A JP 2019219719 A JP2019219719 A JP 2019219719A JP 2018114415 A JP2018114415 A JP 2018114415A JP 2018114415 A JP2018114415 A JP 2018114415A JP 2019219719 A JP2019219719 A JP 2019219719A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- value
- reliability
- camera
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】移動体に搭載されたカメラの異常の有無を誤って判断する可能性を低減できる技術を提供する。【解決手段】移動体に搭載されたカメラの取付け異常を検出する異常検出装置は、前記カメラから取得するフレーム画像ごとに、当該フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに基づいて前記移動体の移動情報の推定値を求める移動情報推定部と、前記推定値の信頼度を評価する信頼度評価部と、前記推定値と前記信頼度とに基づいて前記カメラの異常判定に関する処理を行う判定処理部と、を備える。【選択図】図1
Description
本発明は、異常検出装置および異常検出方法に関し、詳細には、移動体に搭載されたカメラの異常検出に関する。
従来、車両等の移動体に、駐車支援等に利用されカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
特許文献1に開示される車両用走行支援装置は、後方カメラで取得した画像を画像処理部で画像処理することで車両状態量によらずに車両の移動量を算出する第1の移動量算出手段と、車輪速センサと、操舵角センサの出力を基にして車両状態量に基づいて車両の移動量を算出する第2の移動量算出手段とを備える。例えば、第1の移動量算出手段は、後方カメラで取得した画像データからエッジ抽出等の手法により特徴点を抽出し、逆射影変換によって設定した特徴点の地表面上における位置を算出し、その位置の移動量を基にして車両の移動量を算出する。特許文献1には、求めた車両の移動量を比較して、偏差が大きい場合には、第1の移動量算出手段と第2の移動量算出手段との算出結果とのうちのいずれか一方に問題が生じている可能性があることが開示されている。
特徴点の追跡は、例えば路面種類、路面状況、又は、車両の走行環境等の影響を受けることがある。このために、特許文献1の構成では、第1の移動量算出手段を用いて算出される車両の移動量は、ばらつきが大きくなることが懸念される。すなわち、特許文献1の構成では、第1の移動量算出手段で求めた移動量と、第2の移動量算出手段で求めた移動量との比較結果は不正確な可能性があり、誤った判断を行う可能性がある。
本発明は、移動体に搭載されたカメラの異常の有無を誤って判断する可能性を低減できる技術を提供することを目的とする。
上記目的を達成するために本発明の異常検出装置は、移動体に搭載されたカメラの取付け異常を検出する異常検出装置であって、前記カメラから取得するフレーム画像ごとに、当該フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに基づいて前記移動体の移動情報の推定値を求める移動情報推定部と、前記推定値の信頼度を評価する信頼度評価部と、前記推定値と前記信頼度とに基づいて前記カメラの異常判定に関する処理を行う判定処理部と、を備える構成(第1の構成)になっている。
上記第1の構成の異常検出装置において、前記信頼度評価部は、予め設定された初期値と、所定の複数種類の評価項目ごとに求められる複数の評価値とを演算処理した結果に基づいて前記信頼度を決定する構成(第2の構成)であることが好ましい。
上記第2の構成の異常検出装置において、前記複数種類の評価項目には、前記推定値を得る処理過程で取得できる特定情報に基づいて設定される項目が含まれる構成(第3の構成)であることが好ましい。
上記第3の構成の異常検出装置において、前記特定情報は、複数の前記オプティカルフローに基づいて生成されるヒストグラム情報を含む構成(第4の構成)であってよい。
上記第3又は第4の構成の異常検出装置において、前記特定情報は、複数の前記オプティカルフローの中から所定の条件に該当する前記オプティカルフローを除去対象とする除去処理情報を含み、前記複数種類の評価項目には、除去対象とされた前記オプティカルフローの数に関する評価が含まれる構成(第5の構成)であってよい。
上記第3から第5のいずれかの構成の異常検出装置において、前記特定情報は、前記特徴点のコーナーらしさを示すコーナー度に関する情報を含み、前記複数種類の評価項目には、前記コーナー度が所定のコーナー度閾値より大きい前記特徴点の数に関する評価が含まれる構成(第6の構成)であってよい。
上記第3から第6のいずれかの構成の異常検出装置において、前記特徴点は、前記フレーム画像の所定の抽出領域内から抽出され、前記特定情報は、前記オプティカルフローと前記抽出領域の境界位置との関係情報を含み、前記複数種類の評価項目には、前記境界位置から所定距離内に端部が存在する前記オプティカルフローの数に関する評価が含まれる構成(第7の構成)であってよい。
上記第2から第7のいずれかの構成の異常検出装置において、前記複数種類の評価項目には、現在の前記フレーム画像に対して時間的に連続する過去の所定数の前記フレーム画像における前記信頼度の傾向と、現在の前記フレーム画像に対する暫定的信頼度との関係性評価が含まれ、前記暫定的信頼度は、前記複数種類の評価項目から前記関係性評価を除いた評価項目のうちの少なくとも1つの評価項目の評価結果に基づいて求められる構成(第8の構成)であってよい。
上記第2から第8のいずれかの構成の異常検出装置は、前記推定値との比較に用いる比較値を取得可能な比較情報取得部を更に備え、前記複数種類の評価項目には、前記信頼度が高いと評価された前記推定値とその前記比較値とに基づいて算出される評価用算出値の過去の傾向と、現在の前記フレーム画像の前記推定値とその前記比較値とに基づいて算出される前記評価用算出値との関係性評価が含まれる構成(第9の構成)であってよい。
上記第1から第9のいずれかの構成の異常検出装置において、前記判定処理部は、前記信頼度に基づいて前記推定値を前記カメラの異常判定に用いるか否かを判断する構成(第10の構成)であってよい。
上記第1から第10のいずれかの構成の異常検出装置は、前記推定値との比較に用いる比較値を取得可能な比較情報取得部を更に備え、前記判定処理部は、前記推定値と前記比較値とに基づいて前記カメラの異常の有無を判定する構成(第11の構成)であることが好ましい。
上記第11の構成の異常検出装置において、前記比較情報取得部は、前記移動体に設けられる前記カメラ以外のセンサから得られる情報に基づいて前記比較値を取得する構成(第12の構成)であることが好ましい。
上記第1から第12のいずれかの構成の異常検出装置において、前記取付け異常は、前記カメラの取付けのずれが生じた状態である構成(第13の構成)が好ましい。
上記目的を達成するために本発明の異常検出方法は、移動体に搭載されたカメラの取付け異常を検出する装置による異常検出方法であって、前記カメラから取得するフレーム画像ごとに、当該フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに基づいて前記移動体の移動情報の推定値を求める移動情報推定工程と、前記推定値の信頼度を評価する信頼度評価工程と、前記推定値と前記信頼度とに基づいて前記カメラの異常判定に関する処理を行う判定処理工程と、を備える構成(第14の構成)になっている。
本発明によると、移動体に搭載されたカメラの異常の有無を誤って判断する可能性を低減できる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが、移動体は車両に限定される趣旨ではない。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。車両以外の移動体として、例えば船舶や航空機等が挙げられる。
また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。
<1.異常検出システム>
図1は、本発明の実施形態に係る異常検出システムSYSの構成を示すブロック図である。本実施形態において、異常は、カメラの取付けのずれが生じた状態である。すなわち、異常検出システムSYSは、車両に搭載されたカメラの取付けのずれを検出するシステムである。詳細には、異常検出システムSYSは、例えば、車両の工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラのずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。図1に示すように、異常検出システムSYSは、異常検出装置1と、撮影部2と、入力部3と、センサ部4とを備える。
図1は、本発明の実施形態に係る異常検出システムSYSの構成を示すブロック図である。本実施形態において、異常は、カメラの取付けのずれが生じた状態である。すなわち、異常検出システムSYSは、車両に搭載されたカメラの取付けのずれを検出するシステムである。詳細には、異常検出システムSYSは、例えば、車両の工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラのずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。図1に示すように、異常検出システムSYSは、異常検出装置1と、撮影部2と、入力部3と、センサ部4とを備える。
異常検出装置1は、車両に搭載されたカメラの異常を検出する装置である。詳細には、異常検出装置1は、車両に搭載されたカメラのずれを検出する装置である。異常検出装置1を用いることによって、車両に搭載されたカメラのずれを迅速に検出することができ、例えば、カメラずれが生じた状態で運転支援等が行われることを防止できる。以下、車両に搭載されたカメラのことを「車載カメラ」と表現することがある。
異常検出装置1は、車載カメラを有する各車両に備えられる。異常検出装置1は、撮影部2に含まれる車載カメラ21〜24で撮影された撮影画像、および、当該装置1の外部に設けられるセンサ部4からの情報を処理して、車載カメラ21〜24のカメラずれを検出する。異常検出装置1の詳細については後述する。
なお、異常検出装置1は、不図示の表示装置や運転支援装置に処理情報を出力してよい。表示装置は、異常検出装置1から出力される情報に基づいて、適宜、警告等を画面に表示してよい。運転支援装置は、異常検出装置1から出力される情報に基づいて、適宜、運転支援機能を停止したり、撮影情報の補正を行って運転支援を行ったりしてよい。運転支援装置は、例えば自動運転を支援する装置、自動駐車を支援する装置、緊急ブレーキを支援する装置等であってよい。
撮影部2は、車両周辺の状況を監視する目的で車両に設けられる。本実施形態では、撮影部2は、4つの車載カメラ21〜24を備える。各車載カメラ21〜24は、有線または無線によって異常検出装置1に接続される。図2は、車載カメラ21〜24が車両7に配置される位置を例示する図である。図2は、車両7を上から見た図である。図2に例示する車両は自動車である。
車載カメラ21は車両7の前端に設けられる。このため、車載カメラ21をフロントカメラ21とも呼ぶ。フロントカメラ21の光軸21aは車両7の前後方向に沿っている。フロントカメラ21は車両7の前方向を撮影する。車載カメラ22は車両7の後端に設けられる。このため、車載カメラ22をバックカメラ22とも呼ぶ。バックカメラ22の光軸22aは車両7の前後方向に沿っている。バックカメラ22は車両7の後方向を撮影する。フロントカメラ21及びバックカメラ22の取付け位置は、車両7の左右方向の中央部であることが好ましいが、当該中央部から左右方向に多少ずれた位置であってもよい。
車載カメラ23は車両7の左側ドアミラー71に設けられる。このため、車載カメラ23を左サイドカメラ23とも呼ぶ。左サイドカメラ23の光軸23aは車両7の左右方向に沿っている。左サイドカメラ23は車両7の左方向を撮影する。車載カメラ24は車両7の右側ドアミラー72に設けられる。このため、車載カメラ24を右サイドカメラ24とも呼ぶ。右サイドカメラ24の光軸24aは車両7の左右方向に沿っている。右サイドカメラ24は車両7の右方向を撮影する。
各車載カメラ21〜24は魚眼レンズで構成され、水平方向の画角θは180°以上であることが好ましい。これにより、車載カメラ21〜24によって、車両7の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数は4つであるが、この数は適宜変更されてよく、複数でも単数でもよい。例えば、車両7がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、撮影部2が有する車載カメラは、バックカメラ22、左サイドカメラ23、右サイドカメラ24の3つで構成されてよい。
図1に戻って、入力部3は、異常検出装置1に対する指示を入力可能とする。入力部3は、例えば、タッチパネル、ボタン、レバー等で構成されてよい。入力部3は、有線または無線によって異常検出装置1に接続される。
センサ部4は、車載カメラ21〜24が搭載される車両7に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部4は、車速センサ41と舵角センサ42とを含む。車速センサ41は、車両7の速度を検出する。舵角センサ42は、車両7のステアリングホイール(ハンドル)の回転角を検出する。車速センサ41および舵角センサ42は、通信バス50を介して異常検出装置1と繋がる。すなわち、車速センサ41で取得された車両7の速度情報は、通信バス50を介して異常検出装置1に入力される。舵角センサ42で取得された車両7のステアリングホイールの回転角情報は、通信バス50を介して異常検出装置1に入力される。なお、通信バス50は、例えばCAN(Controller Area Network)バスであってよい。
<2.異常検出装置>
<2−1.異常検出装置の概要>
図1に示すように、異常検出装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
<2−1.異常検出装置の概要>
図1に示すように、異常検出装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
画像取得部11は、4つの車載カメラ21〜24のそれぞれから、撮影画像(フレーム画像)を所定周期(例えば1/60s等)で取得する。画像取得部11は、アナログの撮影画像をデジタルの撮影画像に変換するA/D変換機能などの基本的な画像処理機能を有する。画像取得部11は、取得した撮影画像に対して所定の画像処理を行い、処理後の撮影画像を制御部12に出力する。
制御部12は、例えばマイクロコンピュータであり、異常検出装置1の全体を統括的に制御する。制御部12は、CPU、RAMおよびROM等を備える。記憶部13は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部13は、ファームウェアとしてのプログラムや各種のデータを記憶する。
詳細には、制御部12は、移動情報推定部121と、比較情報取得部122と、信頼度評価部123と、判定処理部124とを備える。すなわち、異常検出装置1は、移動情報推定部121と、比較情報取得部122と、信頼度評価部123と、判定処理部124とを備える。制御部12が備えるこれら各部121〜124の機能は、例えば記憶部13に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される。
なお、制御部12が備える各部121〜124の少なくともいずれか1つは、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。また、制御部12が備える各部121〜124は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてよい。また、画像取得部11は、制御部12のCPUがプログラムに従って演算処理を行うことによって実現される構成でもよい。
移動情報推定部121は、カメラから所定周期で取得するフレーム画像ごとに、オプティカルフローに基づいて車両7の移動情報の推定値を求める。なお、本実施形態では、車両7が4つの車載カメラ21〜24を有するために、移動情報推定部121は、車載カメラ21〜24ごとに、車両7の移動情報の推定値を求める。移動情報は、本実施形態では車両7の移動距離である。ただし、移動情報は、移動距離以外であってもよく、例えば車両7の移動速度(車速)等であってよい。
詳細には、移動情報推定部121は、取得したフレーム画像ごとに、当該フレーム画像(現在フレーム画像)と前回フレーム画像との間における特徴点の動きを示すオプティカルフローを求める。前回フレーム画像は、移動情報の推定値を求める対象になっている現在フレーム画像より1周期前に取得したフレーム画像のことである。特徴点は、フレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利等である。特徴点は、通常、1つのフレーム画像の中に多数存在する。移動情報推定部121は、例えば、ハリスオペレータ等の公知の手法を用いてフレーム画像から特徴点を抽出する。
移動情報推定部121は、現在フレーム画像と前回フレーム画像との2つのフレーム画像を比較してフレーム画像上のオプティカルフローを求める。移動情報推定部121は、求めたオプティカルフローを座標変換して路面上のフロー(動きベクトル)に変換する。なお、本明細書では、路面上のフローも、現在フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに含む。以下、フレーム画像上の特徴点の動きを第1オプティカルフロー、路面上の特徴点の動きを第2オプティカルフローと表現することがある。また、第1オプティカルフローと第2オプティカルフローとを特に区別することなく、単にオプティカルフローと表現することもある。
なお、移動情報推定部121は、フレーム画像から抽出された各特徴点について、いきなり路面上の座標に変換し、第1オプティカルフローを求めることなく第2オプティカルフローを求めてもよい。
移動情報推定部121は、第2オプティカルフローを統計処理して車両7の移動情報の推定値を求める。本実施形態において、移動情報推定部121が行う統計処理は、ヒストグラムを用いた処理である。ヒストグラムによって推定値を求める処理の詳細については後述する。また、本実施形態では、移動情報推定部121は、求めた複数のオプティカルフローの中から所定の条件に該当するオプティカルフローを除去対象とする除去処理を行う。そして、移動情報推定部121は、複数のオプティカルフローから除去対象とされたオプティカルフローを除いた残りのオプティカルフローに基づいて推定値を求める。除去処理の詳細については後述する。除去処理は、場合によっては行われなくてもよい。
比較情報取得部122は、推定値との比較に用いる比較値を取得可能に設けられる。本実施形態では、比較情報取得部122は、車両7に設けられるカメラ21〜24以外のセンサから得られる情報に基づいて比較値を取得する。詳細には、比較情報取得部122は、センサ部4から得られる情報に基づいて比較値を取得する。本実施形態では、推定値が移動距離を表す数値であるために、推定値との比較に用いる比較値も移動距離を表す数値である。比較情報取得部122は、車速センサ41から得られる車速に所定の時間を乗じて移動距離を算出する。所定の時間は、例えば、推定値と比較値とを一対一で比較する場合には、オプティカルフローを求めるために利用する2つのフレーム画像のサンプリング間隔(上述の所定周期)と同じである。本実施形態によれば、車両7が通常備えるセンサを用いてカメラずれを検出することができるために、カメラずれを検出するために必要となる設備コストを抑制することができる。
なお、推定値が移動距離の代わりに移動速度を表す数値である場合には、比較値も移動速度を表す数値とすればよい。また、比較情報取得部122は、車速センサ41の代わりに、例えばGPS(Global Positioning System)受信機から取得される情報に基づいて比較値を取得してもよい。また、比較情報取得部122は、カメラずれの検出対象となる車載カメラ以外の少なくとも1つの車載カメラから得られる情報に基づいて比較値を取得してもよい。この場合、比較情報取得部122は、カメラずれの検出対象となる車載カメラ以外の車載カメラから得られるオプティカルフローに基づいて比較値を取得してよい。
信頼度評価部123は、推定値の信頼度を評価する。信頼度評価部123は、移動情報推定部121で得られる推定値ごとに信頼度を評価する。換言すると、信頼度評価部123は、フレーム画像ごとに推定値の信頼度を評価する。信頼度評価部123の詳細については後述する。
判定処理部124は、車両7の移動情報の推定値と、推定値の信頼度とに基づいてカメラ21〜24の異常判定に関する処理を行う。なお、本実施形態では、車両7が4つの車載カメラ21〜24を有するために、判定処理部124は、車載カメラ21〜24ごとに、カメラ21〜24に異常判定に関する処理を行う。
本実施形態では、判定処理部124は、信頼度に基づいて推定値をカメラの異常判定に用いるか否かを判断する。詳細には、判定処理部124は、信頼度に基づいて推定値をカメラずれの有無の判定に用いるか否かを判断する。例えば、判定処理部124は、推定値が高信頼度である場合にのみ、当該推定値をカメラずれの有無の判定に用いる。判定処理部124は、信頼度の低い推定値は、カメラずれの有無の判定に用いることなく、所定のタイミングで破棄する。これによれば、カメラずれの有無に関して、信頼度の低い判定結果が示される可能性を抑制することができ、カメラずれを的確に検出することができる。
なお、判定処理部124は、信頼度の高い低いに関係なく、カメラずれの有無の判定を行ってもよい。ただし、この場合には、信頼度の低い推定値を用いて行ったカメラずれの有無の判定結果は、外部に通知しないか、外部に通知する場合には、信頼度が低いことを併せて通知することが好ましい。
判定処理部124は、推定値と比較値とに基づいてカメラ21〜24の異常の有無を判定する。例えば、判定処理部124は、フレーム画像ごとに、推定値と比較値とを一対一で比較してカメラずれの有無を判定する。この場合、比較情報取得部122により取得された比較値が車両7の移動距離の正解値とされ、当該正解値に対して推定値のずれの大きさを判定する。当該ずれの大きさが所定の閾値を超える場合に、判定処理部124はカメラずれが発生していると判断する。
なお、判定処理部124は、フレーム画像ごとではなく、所定の複数のフレーム画像の推定値が蓄積された時点でカメラずれの有無を判定してもよい。例えば、判定処理部124は、高信頼度の推定値を所定フレーム数だけ累積して累積推定値を求める。また、判定処理部124は、比較情報取得部122からの情報により、累積推定値を求めるために利用した複数フレームに対応した累積比較値を取得する。判定処理部124は、累積推定値と累積比較値と比較して、カメラずれの有無を判定する。
本実施形態によれば、フレーム画像毎に求められる車両7の移動情報の推定値に対して信頼度の評価を行う。このために、例えば、信頼度の低い推定値を用いてカメラの異常判定を行うことを防止したり、判定結果の信頼度が低いことを通知したりすることができる。すなわち、本実施形態によれば、カメラの異常の有無を誤って判断する可能性を低減することができる。
図3は、異常検出装置1によるカメラずれの検出フローの一例を示すフローチャートである。なお、本実施形態では、4つの車載カメラ21〜24のそれぞれについて、図3に示すカメラずれの検出フローが実施される。重複説明を避けるために、ここでは、フロントカメラ21の場合を代表例として、カメラずれの検出フローを説明する。
図3に示すように、まず、制御部12は、フロントカメラ21を搭載する車両7が直進しているか否かを監視する(ステップS1)。車両7が直進しているか否かは、例えば、舵角センサ42から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロの時に車両7が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけでなく、回転角がプラス方向とマイナス方向の一定範囲内の回転である場合を含めて、車両7が直進していると判断してよい。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。
制御部12は、車両7の直進を検出するまで、ステップS1の監視を繰り返す。制御部12は、車両7が直進走行しない限り、カメラずれの有無を判定するための処理を進めない。これによれば、車両7の進行方向が曲がっている場合の情報を用いてカメラずれの有無の判定が行われないために、カメラずれの有無を判定するための情報処理が複雑になることを避けられる。
車両7が直進していると判断される場合(ステップS1でYes)、制御部12は、車両7の速度が所定速度範囲内であるか否かを確認する(ステップS2)。所定速度範囲は、例えば時速3km以上5km以下としてよい。本実施形態では、車両7の速度は車速センサ41によって取得することができる。なお、ステップS1とステップS2とは、順番が入れ替わってもよい。また、カメラずれの検出処理は、例えば、所定期間毎(1週間毎等)、所定走行距離毎(100km毎等)、エンジン起動毎(IGオン毎:数回毎でも可)に実行されてよい。
制御部12は、車両7の速度が所定速度範囲外である場合(ステップS2でNo)、ステップS1に戻って車両7の直進判断を行う。すなわち、制御部12は、車両7の速度が所定速度範囲内でない限り、カメラずれの有無を判定するための処理を進めない。例えば、車両7の速度が速すぎると、オプティカルフローを求めるにあたって誤差が生じやすくなる。一方で、車両7の速度が遅すぎると、車速センサ41から取得される車両7の速度の信頼性が低下する。この点、本実施形態の構成によれば、車両7の速度が速すぎる場合や遅すぎる場合を除いてカメラずれの判定を行うことができ、カメラずれの有無の判定精度を構造することができる。
なお、所定速度範囲は設定変更可能であることが好ましい。これによれば、所定速度範囲を各車両に適した値にすることができ、カメラずれの有無の判定精度を向上することができる。本実施形態では、所定速度範囲の設定は入力部3によって行うことができる。
車両7が所定速度範囲内で走行していると判断される場合(ステップS2でYes)、移動情報推定部121は、車両7が所定速度範囲内で走行している間に取得されたフレーム画像における特徴点の抽出処理を行う(ステップS3)。
図4は、特徴点FPを抽出する手法を説明するための図である。図4は、フロントカメラ21で撮影されたフレーム画像Pを模式的に示している。本実施形態では、特徴点FPは画像の路面RS部分から抽出されるように構成されている。図4においては、特徴点FPの数は2つとされているが、この数は便宜的なものであり、実際の数を示すものではない。通常、多数の特徴点が取得される。
図4に示すように、移動情報推定部121は、フレーム画像Pの所定の抽出領域(ROI(Region of Interest)と呼ばれることがある)ER内から特徴点FPを抽出する。換言すると、特徴点FPは、フレーム画像Pの所定の抽出領域ERから抽出される。所定の抽出領域ERは、例えば、フレーム画像Pの中心部Cを含む広範囲に設定される。これにより、特徴点FPの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点FPを抽出することができる。なお、所定の抽出領域ERは、例えば、車両7のボディBOが映る領域は避けて設定される。
特徴点FPが抽出されると、移動情報推定部121は、抽出した特徴点FPごとに第1オプティカルフローを取得する(ステップS4)。図5は、第1オプティカルフローOF1を取得する手法を説明するための図である。図5は、図4と同様に便宜的に示された模式図である。図5は、図4に示すフレーム画像(前回フレーム画像)Pの撮影後、所定周期が経過した後にフロントカメラ21で撮影されたフレーム画像(現在フレーム画像)P´である。図4に示すフレーム画像Pの撮影後、所定時間が経過するまでの間に、車両7は後退している。なお、車両7の速度は所定速度範囲内であり、車両7は直進している。図5に示す破線の丸印は、図4に示す前回フレーム画像Pにおいて抽出された特徴点FPの位置を示す。
図5に示すように、車両7が後退すると、車両7の前方に存在する特徴点FPは車両7から離れる。すなわち、特徴点FPは、現在フレーム画像P´と前回フレーム画像Pとで異なる位置に現れる。移動情報推定部121は、現在フレーム画像P´の特徴点FPと前回フレーム画像Pの特徴点FPとを、その近傍の画素値に基づいて対応付け、対応付けた特徴点FPのそれぞれの位置に基づいて第1オプティカルフローOF1を求める。
各特徴点FPの第1オプティカルフローOF1が取得されると、移動情報推定部121は、カメラ座標系で得られた各第1オプティカルフローOF1を、ワールド座標系に変換する座標変換を行う(ステップS5)。この座標変換によって第2オプティカルフローが得られる。
図6は、座標変換処理を説明するための図である。図6に示すように、移動情報推定部121は、フロントカメラ21の位置(視点VP1)から見た第1オプティカルフローOF1を、車両7が存在する路面RSの上方の視点VP2から見た第2オプティカルフローOF2に変換する。移動情報推定部121は、フレーム画像Pにおける各第1オプティカルフローOF1を、路面に相当する仮想平面RS_Vに投影することで、ワールド座標系の第2オプティカルフローOF2に変換する。第2オプティカルフローOF2は、車両7の路面RS上の動きベクトルであり、その大きさは車両7の路面RS上の移動量を示す。なお、本実施形態では、車載カメラ21〜24が魚眼レンズであるために座標変換には歪補正も含まれる。
次に、移動情報推定部121は、先に得られた複数の第2オプティカルフローOF2に基づいてヒストグラムを生成する(ステップS6)。本実施形態では、移動情報推定部121は、各第2オプティカルフローOF2を前後方向と左右方向との2成分に分けて、第1ヒストグラムと第2ヒストグラムとを生成する。図7は、移動情報推定部121によって生成された第1ヒストグラムHG1の一例を示す図である。図8は、移動情報推定部121によって生成された第2ヒストグラムHG2の一例を示す図である。図7および図8はカメラずれが発生していない場合に得られたヒストグラムを示す。
なお、本実施形態では、移動情報推定部121は、ヒストグラムHG1、HG2の生成の前後において、先に求められた全てのオプティカルフローの中から所定の条件に該当するオプティカルフローを除去対象とする除去処理を行う。除去処理によって除去対象となったオプティカルフローが除かれたヒストグラムHG1、HG2を用いて車両7の移動情報の推定値は求められる。なお、除去処理の詳細は後述する。
図7に示す第1ヒストグラムHG1は、各第2オプティカルフローOF2の前後方向成分に基づいて得られたヒストグラムである。第1ヒストグラムHG1は、第2オプティカルフローOF2の数を度数とし、前後方向への移動距離(第2オプティカルフローOF2の前後方向成分の長さ)を階級とするヒストグラムである。図8に示す第2ヒストグラムHG2は、第2オプティカルフローOF2の左右方向成分に基づいて得られたヒストグラムである。第2ヒストグラムHG2は、第2オプティカルフローOF2の数を度数とし、左右方向への移動距離(第2オプティカルフローOF2の左右方向成分の長さ)を階級とするヒストグラムである。
図7および図8は、カメラずれが発生しておらず、車両7が所定速度範囲内で後方に直進した場合に得られたヒストグラムである。第1ヒストグラムHG1は、後方側の特定の移動距離(階級)に偏って度数が多くなる正規分布形状になっている。一方、第2ヒストグラムHG2は、移動距離ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。
図9は、カメラずれが発生した場合のヒストグラムの変化を例示する図である。図9は、フロントカメラ21がチルト方向(鉛直方向)に回転してずれた場合を例示する。図9において、上段(a)はカメラずれが発生していない場合(正常時)の第1ヒストグラムHG1であり、下段(b)はカメラずれが発生した場合の第1ヒストグラムHG1である。フロントカメラ21のチルト方向の回転ずれは、主に第2オプティカルフローOF2の前後方向成分に影響を与える。図9に示す例では、フロントカメラ21のチルト方向の回転ずれによって、度数が大きくなる階級が正常時に比べて前方側にずれている。
なお、フロントカメラ21のチルト方向の回転ずれは、第2オプティカルフローOF2の左右方向成分に対する影響は小さい。このために、図示は省略するが、第2ヒストグラムHG2のカメラずれの発生前後の変化は、第1ヒストグラムHG1の場合に比べて小さい。ただし、これは、フロントカメラ21がチルト方向にずれた場合の話であり、フロントカメラ21が、例えばパン方向(水平方向)やロール方向(光軸を中心とする回転方向)等にずれを生じた場合には、異なったヒストグラム変化が発生する。
移動情報推定部121は、生成したヒストグラムHG1、HG2によって車両7の移動情報の推定値を求める(ステップS7)。本実施形態では、移動情報推定部121は、第1ヒストグラムHG1によって、車両7の前後方向の移動距離の推定値を求める。移動情報推定部121は、第2ヒストグラムHG2によって、車両7の左右方向の移動距離の推定値を求める。すなわち、移動情報推定部121は、車両7の前後方向および左右方向の移動距離の推定値を求める。これによれば、車両7の前後方向および左右方向の移動距離の推定値を用いてカメラずれの有無を判定できるために、カメラずれの検出精度を向上することができる。
本実施形態では、移動情報推定部121は、第1ヒストグラムHG1の中央値(メジアン)を前後方向の移動距離の推定値とする。移動情報推定部121は、第2ヒストグラムHG2の中央値を左右方向の移動距離の推定値とする。ただし、移動情報推定部121による推定値の決定方法は、これに限定されない。移動情報推定部121は、例えば、各ヒストグラムHG1、HG2の度数が最大となる階級の移動距離(ピーク値)を推定値としてもよい。また、移動情報推定部121は、例えば、各ヒストグラムHG1、HG2において、移動距離の平均値を推定値としてもよい。なお、中央値を推定値とする場合には、中央値は、ヒストグラムの異常値をノイズとして除外する処理を行った後に求められることが好ましい。異常値は、例えば、ヒストグラムの中央から異常に離れた値であり、ヒストグラムの端の方に単独(周囲に度数を有する他の階級が殆ど存在しない)で存在する階級の移動距離が該当する。
なお、図9に示す例では、一点鎖線はフロントカメラ21が正常である場合の前後方向の移動距離の推定値を示し、二点鎖線はカメラずれが発生した場合の前後方向の移動距離の推定値を示す。図9に示すように、カメラずれの発生によって、前後方向の移動距離の推定値に差Δが生じていることがわかる。
移動情報推定部121で車両7の移動情報の推定値が得られると、信頼度評価部123が各推定値の信頼度を評価する(ステップS8)。本実施形態では、前後方向の移動距離の推定値と、左右方向の移動距離の推定値が求められる。このために、各推定値に対して信頼度の評価が行われる。ただし、信頼度の評価は、前後方向の移動距離の推定値と、左右方向の移動距離の推定値とのいずれか一方のみに対して行われてよい。信頼度の評価をいずれか一方とする場合には、前後方向の移動距離の推定値に対して信頼度の評価を行うことが好ましい。信頼度の評価手法の詳細は後述する。
判定処理部124は、移動情報推定部121によって推定された推定値と、信頼度評価部123で求められた信頼度とに基づいて、フロントカメラ21のずれの有無を判定するずれ判定に関する処理を行う(ステップS9)。ずれ判定に関する処理には、ずれ判定と、その他の処理が含まれる。本実施形態では、判定処理部124は、推定値が高信頼度であると評価された場合に、当該推定値を用いたずれ判定を行うと判断する。一方、判定処理部124は、推定値が低信頼度であると評価された場合には、当該推定値を用いたずれ判定は行わないと判断する。
なお、本実施形態では、1つのフレーム画像から2つの推定値(前後方向の推定値および左右方向の推定値)が得られ、その両者について信頼度の評価を行う。この場合、2つの推定値の一方が高信頼度で、他方が低信頼度と評価される場合が生じ得る。このような事態が生じた場合には、当該フレーム画像を用いたずれ判定は行わないと判断されてよい。
判定処理部124は、ずれ判定を行う場合、移動情報推定部121で得られた推定値と、比較情報取得部122で取得された比較値とを比較してフロントカメラ21のずれの有無を判定する。
なお、移動情報推定部121は、センサ部4から取得される情報に基づいて車両7の前後方向および左右方向の移動距離の推定値を取得する。本実施形態では、車両7が前後方向に直進している場合に得られる画像に基づいて、カメラずれの有無の判定が行われる。このために、比較情報取得部122が取得する左右方向の移動距離は常にゼロとすることができる。
図10は、判定処理部124によって行われるずれ判定処理の一例を示すフローチャートである。なお、図10に示す処理は、図3のステップS9の詳細処理例である。まず、判定処理部124は、車両7の前後方向の移動距離について、移動情報推定部121によって得られた推定値と、比較情報取得部122によって得られた比較値との差の大きさが、閾値αより小さいか否かを確認する(ステップS11)。両者の差の大きさが閾値α以上である場合(ステップS11でNo)、判定処理部124は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが閾値αより小さい場合(ステップS11でYes)、判定処理部124は、車両7の前後方向の移動距離からは異常が検出されないと判定する。
車両7の前後方向の移動距離から異常が検出されない場合(ステップS11でYes)、判定処理部124は、車両7の左右方向の移動距離について、移動情報推定部121によって得られた推定値と、比較情報取得部122によって得られた比較値との差の大きさが、閾値βより小さいか否かを確認する(ステップS12)。両者の差の大きさが閾値β以上である場合(ステップS12でNo)、判定処理部124は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが閾値βより小さい場合(ステップS12でYes)、判定処理部124は、左右方向の移動距離からは異常が検出されないと判定する。
車両7の左右方向の移動距離からも異常が検出されない場合、判定処理部124は、車両7の前後方向および左右方向の移動距離に基づいて得られる特定値について、推定値から得られる値と、比較値から得られる値との差の大きさが、閾値γより小さいか否かを確認する(ステップS13)。本実施形態では、特定値は、車両7の前後方向の移動距離を二乗して得られる値と、左右方向の移動距離を二乗して得られる値との和の平方根値である。ただし、これは例示にすぎず、特定値は、例えば、車両7の前後方向の移動距離を二乗して得られる値と、左右方向の移動距離を二乗して得られる値との和であってもよい。
推定値から得られる特定値と、比較値から得られる特定値との差の大きさが閾値γ以上である場合(ステップS13でNo)、判定処理部124は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが閾値γより小さい場合(ステップS13でYes)、判定処理部124は、フロントカメラ21の取付け状態は正常であると判定する(ステップS14)。
本実施形態では、車両7の前後方向の移動距離、左右方向の移動距離、および、特定値のうち、いずれか1つでも、異常が認められると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、車両7の前後方向の移動距離、左右方向の移動距離、および、特定値の全てにおいて異常が認められる場合に限って、カメラずれが発生していると判定する構成としてもよい。カメラずれの有無の判定基準は、入力部3によって適宜変更することができる構成であってもよい。
本実施形態では、車両7の前後方向の移動距離、左右方向の移動距離、および、特定値について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動距離、左右方向の移動距離、および、特定値について、順番に比較を行う構成の場合、その順番は特に限定されず、図10に示す順番とは異なる順番で比較が行われてもよい。また、本実施形態では、車両7の前後方向の移動距離、左右方向の移動距離、および、特定値を用いてずれ判定を行う構成としたが、これは例示にすぎない。例えば、車両7の前後方向の移動距離、左右方向の移動距離、および、特定値のうちのいずれか1つ、或いは、いずれか2つを用いてずれ判定を行う構成としてもよい。
本実施形態では、判定処理部124によって、カメラずれが生じていると一度判定されただけで、カメラずれが発生しているとの判定を確定し、カメラずれを検出する構成としている。これに限らず、判定処理部124によってカメラずれが生じていると判定された場合に、少なくとも1回、再判定を行い、再判定によって更にカメラずれが生じていると判定された場合に、カメラずれが発生しているとの判定を確定してもよい。
なお、カメラずれが検出された場合、異常検出装置1は、そのことを運転者等に報知するための処理を行うことが好ましい。また、異常検出装置1は、車載カメラ21〜24からの情報を用いて運転支援を行う運転支援装置に、カメラずれが発生していることを通知する処理を行うことが好ましい。本実施形態では、4つの車載カメラ21〜24が存在するが、4つの車載カメラ21〜24のうちの1つでもカメラずれが発生した場合には、上記報知処理及び通知処理を行うことが好ましい。
<2−2.除去処理>
次に、移動情報推定部121によって実施される除去処理について説明する。なお、異常検出装置1は、4つの車載カメラ21〜24のそれぞれに対してカメラずれの検出処理を行い、各車載カメラ21〜24の処理に対して以下に説明する除去処理を行う。
次に、移動情報推定部121によって実施される除去処理について説明する。なお、異常検出装置1は、4つの車載カメラ21〜24のそれぞれに対してカメラずれの検出処理を行い、各車載カメラ21〜24の処理に対して以下に説明する除去処理を行う。
図11は、フロントカメラ21で撮影された撮影画像を用いて生成された第1ヒストグラムHG1を例示する図である。なお、図11は、除去対象となるオプティカルフローを除去することなく作成されたヒストグラムを示す。移動情報推定部121で求められるオプティカルフローは、路面状況等の影響を受け易く、車両7の動きを正確に反映していないオプティカルフロー(以下、「誤フロー」と記載する)を含むことがある。図11に示す例では、誤フローが多く、ヒストグラムの分布にばらつきが見られる。
図11に示すようなヒストグラムに基づいて求められた車両7の移動情報の推定値は、本来の値から大きくずれる可能性がある。このために、本実施形態では、所定の条件に基づいて誤フローと判断されるオプティカルフローを除去対象とする除去処理を行い、除去対象のオプティカルフローを除いた後に残ったオプティカルフローに基づき推定値を求める。なお、本実施形態の手法は、車載カメラ21〜24の大きなずれを検出するよりも、比較的小さなずれを検出するのに好適である。
本実施形態では、誤フローとの判断を行うための所定の条件が複数種類設定されている。すなわち、本実施形態では、複数種類の除去処理が実行される。複数種類の所定の条件として、以下に示す第1除去条件〜第5除去条件の5種類の条件が含まれる。ただし、所定の条件は、5種類である必要はなく、1種類であってもよいし、5種類以外の複数であってもよい。また、以下に示す5種類の除去条件は例示であり、他の条件が除去条件とされてもよい。
第1除去条件は、第2オプティカルフローOF2の前後方向および左右方向の長さに関する条件である。本実施形態では、オプティカルフローは、車両7が所定速度範囲で直進している場合に取得された画像を用いて求められる。このために、所定速度範囲から予想される前後方向の長さから大きくかけ離れた第2オプティカルフローOF2は誤フローの可能性が高い。このために、第2オプティカルフローOF2の前後方向の長さが所定の前後方向長さ閾値以上である場合には、当該第2オプティカルフローOF2は、誤フローである可能性が高いとして除去対象とする。
また、左右方向の長さがゼロから大きくかけ離れた第2オプティカルフローOF2は誤フローである可能性が高い。このために、第2オプティカルフローOF2の左右方向の長さが所定の左右方向の長さ閾値以上である場合には、当該第2オプティカルフローOF2は誤フローである可能性が高いとして除去対象とする。なお、本実施形態では、第1除去条件の判断に第2オプティカルフローOF2が用いられているが、場合によっては第1オプティカルフローOF1が用いられてもよい。
第2除去条件は、オプティカルフローの位置に関する条件である。本実施形態では、特徴点FPは、所定の抽出領域ER(図4参照)内から抽出される。このために、追跡元が抽出領域ERの外に位置したり、追跡元又は追跡先が抽出領域ERの境界位置に位置したりする第1オプティカルフローOF1は信頼性が疑わしい。このために、所定の抽出領域ERの内側と外側に跨がる第1オプティカルフローOF1、および、所定の抽出領域ERの境界上に先端又は根元が位置する第1オプティカルフローOF1は、除去対象とされる。
第3除去条件は、第2オプティカルフローOF2の前後方向と左右方向の長さの関係に関する条件である。上述のように、本実施形態では、オプティカルフローは、車両7が所定速度範囲で直進している場合に取得された画像を用いて求められる。そして、所定速度範囲は、一例として時速3km以上5km以下としている。このために、第2オプティカルフローOF2の左右方向の長さが前後方向の長さより大きくなった場合には、当該第2オプティカルフローOF2は誤フローである可能性が高い。このような第2オプティカルフローOF2は除去対象とされる。なお、本実施形態では、第3除去条件の判断に第2オプティカルフローOF2が用いられているが、場合によっては第1オプティカルフローOF1が用いられてもよい。
第4除去条件は、第2オプティカルフローOF2と、車両7の変速装置のシフトレバーの操作位置との関係に関する条件である。なお、シフトレバーの操作位置は、センサ部4に含まれる不図示のシフトセンサから取得することができる。シフトレバーが前進位置か後退位置かで第2オプティカルフローOF2が本来向く向きは決まる。フロントカメラ21においては、シフトレバーが前進位置である場合には、第2オプティカルフローOF2の向きは前方から後方に向かう向きになり、シフトレバーが後退位置である場合には、第2オプティカルフローOF2の向きは後方から前方に向かう向きになる。このために、シフトレバーの位置を確認して、当該シフトレバーの位置から予想される向きと反対方向に向く第2オプティカルフローOF2は誤フローである可能性が高い。このような第2オプティカルフローOF2は除去対象とされる。なお、本実施形態では、第4除去条件の判断に第2オプティカルフローOF2が用いられているが、場合によっては第1オプティカルフローOF1が用いられてもよい。
第5除去条件は、ヒストグラムHG1、HG2の度数に関する条件である。ヒストグラムHG1、HG2の度数が極端に小さい階級に属する第2オプティカルフローOF2は信頼性が疑わしい。このために、ヒストグラムHG1、HG2の度数が所定の度数閾値以下となる階級に属する第2オプティカルフローOF2は除去対象とされる。なお、第5除去条件による除去処理は、第1ヒストグラムHG1と第2ヒストグラムHG2との両方に対して実行され、第1ヒストグラムHG1を用いて除去されることに決定された第2オプティカルフローOF2は、第2ヒストグラムHG2でも除去されることが好ましい。逆に、第2ヒストグラムHG2を用いて除去されることに決定された第2オプティカルフローOF2は、第1ヒストグラムHG1でも除去されることが好ましい。
なお、複数の除去条件に応じて行われる各除去処理は、例えば順番に実施される。除去処理の順番は、特に限定されるものではない。ただし、各除去処理は並行して実施されてもよい。
<2−3.信頼度評価>
本実施形態の異常検出装置1には、カメラずれの有無を誤って判断する可能性を低減するために、信頼度評価部123が設けられている。上述のように、信頼度評価部123は、移動情報推定部121で求められた各推定値に対して信頼度の評価を行う。
本実施形態の異常検出装置1には、カメラずれの有無を誤って判断する可能性を低減するために、信頼度評価部123が設けられている。上述のように、信頼度評価部123は、移動情報推定部121で求められた各推定値に対して信頼度の評価を行う。
本実施形態では、信頼度評価部123は、予め設定された初期値と、所定の複数種類の評価項目ごとに求められる評価値とを演算処理した結果に基づいて信頼度を決定する。これによれば、複数種類の評価項目の評価結果を纏めて信頼度の評価を行うことができる。初期値は、特に限定されないが、例えば正の整数値(例えば初期値=10など)とされる。評価値は、例えば、加算値又は減算値であり、初期値に対して順次加減算される。信頼度評価部123は、評価値の加減算によって最終的に得られた演算結果に基づいて、推定値の信頼度が高いか低いかを判断する。本実施形態では、信頼度が高いか低いかのいずれかを判断する構成としているが、信頼度を3段階以上に分類して評価する構成としてもよい。
本実施形態では、複数種類の評価項目には、車両7の移動情報の推定値を求める処理過程で取得できる特定情報に基づいて設定される項目が含まれる。これによると、評価項目に対する評価結果を容易に得ることができるために、推定値の評価処理を効率良く行うことができる。特定情報は、ヒストグラム情報、除去処理情報、コーナー度に関する情報、および、オプティカルフローと抽出領域(ROI)ERの境界位置との関係情報を含む。
ヒストグラム情報は、複数のオプティカルフローに基づいて生成される。本実施形態では、ヒストグラム情報は複数の第2オプティカルフローを統計処理して得られる。ヒストグラム情報は、第1ヒストグラムHG1および第2ヒストグラムHG2を含む。推定値の信頼性は、オプティカルフローを求める処理の精度に大きく関係している。このために、求められたオプティカルフローを統計処理して得られるヒストグラム情報に基づいて推定値の信頼度を評価する評価項目を設定することによって、推定値の信頼度を正しく評価することができる。
なお、除去処理情報は、上述の除去処理に関する情報である。コーナー度は、特徴点FPのコーナーらしさを示す指標である。また、上述の特定情報は、ヒストグラム情報、除去処理情報、コーナー度に関する情報、および、オプティカルフローと抽出領域ERの境界位置との関係情報のうち、少なくともいずれか1つを含む構成であってもよい。更に、複数種類の評価項目には、上述の特定情報以外に基づいて設定される項目があってよい。本実施形態では、以下に説明するように、複数種類の評価項目には、上述の特定情報以外に基づいて設定される項目も含まれる。
図12は、信頼度評価部123による信頼度評価の手順例を示すフローチャートである。なお、図12の処理は、図3のステップS8の詳細処理例である。図12に示すように、信頼度評価部123は、ヒストグラム情報に基づいて設定される評価項目の評価(ヒストグラムに関する評価)を行う(ステップS21)。本実施形態では、ヒストグラムに関する評価の項目数は複数である。ただし、ヒストグラムに関する評価の項目数は1つであってもよい。評価によって得られた評価値は記憶部13に記憶される。この点は、評価値が取得される他のステップについても同様である。
図13は、ヒストグラムに関する評価を説明するための図である。図14は、ヒストグラムに関する評価を説明するためのヒストグラムHG1の一例である。なお、信頼度に関する評価を行うヒストグラムは、例えば、除去処理で除去対象とされたオプティカルフローが除かれる前の全ての第2オプティカルフローOF2を用いて生成されたものが使用される。ただし、信頼度に関する評価を行うヒストグラムは、除去対象となった第2オプティカルフローOF2が除かれた後の残りの第2オプティカルフローOF2を用いて生成されたものであってもよい。
図13に示すように、ヒストグラムに関する評価項目には、a)分散値評価、b)ピーク値と中央値との位置関係の評価、c)高度数階級の個数評価、および、d)低度数階級の個数評価が含まれる。なお、本実施形態では、第1ヒストグラムHG1と第2ヒストグラムHG2との2種類のヒストグラムが存在する。各ヒストグラムHG1、HG2に対して、4つの評価項目の評価が行われる。
a)分散値評価は、各ヒストグラムHG1、HG2の分散度合の評価である。分散値は、例えば、以下の式(1)で算出される。
n :第2オプティカルフローOF2の数
xi :各第2オプティカルフローOF2から得られる移動距離
m :各第2オプティカルフローOF2から得られる移動距離のn個の平均値
なお、第2オプティカルフローOF2の数nは、ヒストグラムHG1、HG2の作成に用いられた第2オプティカルフローOF2の数である。また、第2オプティカルフローOF2から得られる移動距離は、第1ヒストグラムHG1では第2オプティカルフローOF2の前後方向の大きさであり、第2ヒストグラムHG2では第2オプティカルフローOF2の左右方向の大きさである。
xi :各第2オプティカルフローOF2から得られる移動距離
m :各第2オプティカルフローOF2から得られる移動距離のn個の平均値
なお、第2オプティカルフローOF2の数nは、ヒストグラムHG1、HG2の作成に用いられた第2オプティカルフローOF2の数である。また、第2オプティカルフローOF2から得られる移動距離は、第1ヒストグラムHG1では第2オプティカルフローOF2の前後方向の大きさであり、第2ヒストグラムHG2では第2オプティカルフローOF2の左右方向の大きさである。
式(1)によって求まる分散値が、所定の分散閾値以下である場合には、ヒストグラムHG1、HG2を生成するために使用された第2オプティカルフローOF2のばらつきが小さいと判断されるために、評価値として加算値が与えられる。加算値は、例えば+1等の正の整数値である。一方、式(1)によって求まる分散値が、所定の分散閾値より大きい場合には、ヒストグラムHG1、HG2を生成するために使用された第2オプティカルフローOF2のばらつきが大きいと判断されるために、評価値として減算値が与えられる。減算値は、例えば−1等の負の整数値である。図14に示す例では、分散値が大きくなるために、減算値が与えられる。
なお、所定の分散閾値は、実験やシミュレーションによって決められる値であり、第1ヒストグラムHG1と第2ヒストグラムHG2とで同じ値でもよいし、異なる値であってもよい。また、加算値および減算値も実験やシミュレーションによって決められ、この点は以下でも同様である。加算値および減算値のそれぞれは、求めた分散値と所定の分散閾値との差の大きさに応じて複数種類準備されてよい。
b)ピーク値と中央値との位置関係の評価は、度数がピーク(最大)を示す階級の移動距離(ピーク値)と、中央値との差の評価である。車両7の移動情報の推定値の信頼性が高いほど、ピーク値と中央値とは近づく傾向がある。このために、ピーク値と中央値との差の絶対値が所定の差分閾値以下である場合には、評価値として加算値を与える。一方、ピーク値と中央値との差の絶対値が所定の差分閾値を超える場合には、評価値として減算値を与える。
なお、所定の差分閾値は、実験やシミュレーションによって決められる値であり、第1ヒストグラムHG1と第2ヒストグラムHG2とで同じ値でもよいし、異なる値であってもよい。また、加算値および減算値のそれぞれは、求めた差の絶対値と所定の差分閾値との差の大きさに応じて複数種類準備されてよい。
c)高度数階級の個数評価は、ヒストグラムHG1、HG2の度数が第1度数閾値(TH1)以上となる階級の個数評価である。例えば、第1度数閾値TH1は、ヒストグラムHG1、HG2における最大度数に所定割合(例えば80%等)を乗じて得られる。所定割合は、実験やシミュレーションによって適宜決められる。第1度数閾値TH1以上となる度数を有する階級が高度数階級である。図14において、破線の丸印で先端が囲まれている階級が高度数階級である。高度数階級の数は、車両7の移動情報の推定値の信頼性が高いほど減る傾向がある。このために、高度数階級の個数が所定の第1階級数閾値(好ましくは1つ)以下である場合には、評価値として加算値を与える。一方、高度数階級の個数が所定の第1階級数閾値より多い場合には、評価値として減算値を与える。
なお、所定の第1階級数閾値は、実験やシミュレーションによって決められる値であり、第1ヒストグラムHG1と第2ヒストグラムHG2とで同じ値でもよいし、異なる値であってもよい。また、加算値および減算値のそれぞれは、求めた高度数階級の数と所定の第1階級数閾値との差の大きさに応じて複数種類準備されてよい。
d)低度数階級の個数評価は、ヒストグラムHG1、HG2の度数が第2度数閾値(TH2)以下となる階級の個数評価である。第2度数閾値TH2は、実験やシミュレーションによって適宜決められる。本実施形態では、第2度数閾値TH2以下の度数を有する階級を低度数階級とする。ヒストグラムHG1、HG2において、車両7の移動情報の推定値の信頼性が低くなると、度数が極端に少ない低度数階級の個数が多くなる傾向がある。このために、低度数階級の個数が所定の第2階級数閾値より多い場合には、評価値として減算値を与える。一方、低度数階級の個数が所定の第2階級数閾値以下の場合は、評価値をゼロとして、減算も加算も行わない。
なお、所定の第2階級数閾値は、実験やシミュレーションによって決められる値であり、第1ヒストグラムHG1と第2ヒストグラムHG2とで同じ値でもよいし、異なる値であってもよい。また、減算値は、求めた低度数階級の数と所定の第2階級数閾値との差の大きさに応じて複数種類準備されてよい。
図12に戻って、信頼度評価部123は、ヒストグラムに関する評価が終わると、除去数に関する評価を行う(ステップS22)。すなわち、信頼度評価部123によって行われる複数種類の評価項目には、除去処理によって除去対象とされたオプティカルフローの数に関する評価が含まれる。例えば、車載カメラ21〜24のAGC(Auto Gain Control)機能によってゲインの調整値が大きく変動した直後等に、除去処理によって大量のオプティカルフローが除去対象とされることがある。このように大量のオプティカルフローが除去対象となった場合、除去後の残りのオプティカルフローによって求めた推定値の信頼性は低下する傾向がある。このために、除去対象とされたオプティカルフローの数に関する評価を行うことによって、車両7の移動情報の推定値の信頼性を評価することができる。
信頼性の評価に際しては、除去対象とされたオプティカルフローの数そのものを所定の除去数閾値と比較する構成としてよい。所定の除去数閾値は、実験やシミュレーションによって決められる。除去対象となるオプティカルフローの数が多いほど、推定値の信頼性が低下する傾向がある。このために、除去数が所定の除去数閾値以下である場合には、評価値として加算値を与える。一方、除去数が所定の除去数閾値より大きい場合には、評価値として減算値を与える。加算値および減算値のそれぞれは、求めた除去数と所定の除去数閾値との差の大きさに応じて複数種類準備されてよい。
なお、除去数そのものを用いて信頼性の評価を行う代わりに、例えば、フレーム画像の処理によって得られたオプティカルフローの全数に対する除去数の割合を用いて信頼性の評価を行ってもよい。また、本実施形態においては、除去処理は複数種類存在する。このために、除去処理ごとに、評価値を求める構成としてもよい。
図12に示すように、信頼度評価部123は、除去数に関する評価が終わると、コーナー度に関する評価を行う(ステップS23)。詳細には、信頼度評価部123は、オプティカルフローを求めるために抽出した各特徴点FPの中から、コーナーらしさを示すコーナー度が所定のコーナー度閾値より大きい特徴点FPを探し、当該特徴点FPの数に関する評価を行う。すなわち、信頼度評価部123によって行われる複数種類の評価項目には、コーナー度が所定のコーナー度閾値より大きい特徴点FPの数に関する評価が含まれる。コーナー度は、特徴点FPの抽出のし易さと関係が深いために、コーナー度を指標として推定値の信頼度を評価することによって、推定値の信頼度を適切に評価することができる。
なお、コーナー度は、例えばHarrisオペレータやKLT(Kanade-Lucas-Tomasi)トラッカー等の公知の検出手法を用いて求めることができる。また、コーナー度閾値は、実験やシミュレーションによって決められる値である。
コーナー度が高い特徴点FPは、安定して抽出できるために、その動きを追跡し易い。このために、コーナー度が高い特徴点FPの数が多いほど、推定値の信頼度が高くなる傾向がある。これに鑑みて、コーナー度が所定のコーナー度閾値を超える特徴点FPの数が、所定の特徴点数閾値以上である場合には、評価値として加算値を与える。一方、コーナー度が所定のコーナー度閾値を超える特徴点FPの数が、所定の特徴点数閾値より少ない場合には、評価値として減算値を与える。
なお、所定の特徴点数閾値は、実験やシミュレーションによって決められる。また、加算値および減算値のそれぞれは、コーナー度がコーナー度閾値より大きい特徴点FPの数と、所定の特徴点数閾値との差の大きさに応じて複数種類準備されてよい。また、コーナー度が高い特徴点FPの数そのものを用いて信頼性の評価を行う代わりに、例えば、フレーム画像の処理によって得られた特徴点FPの全数に対するコーナー度が高い特徴点FPの数の割合を用いて信頼性の評価を行ってもよい。
図12に示すように、信頼度評価部123は、コーナー度に関する評価が終わると、オプティカルフローと抽出領域(ROI)との位置関係評価を行う(ステップS24)。図15は、第1オプティカルフローOF1と抽出領域ERとの位置関係評価について説明するための図である。
信頼度評価部123は、推定値を求めるために取得した複数の第1オプティカルフローOF1について、端部が抽出領域ERの境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数に関する評価を行う。第1オプティカルフローOF1の端部には、追跡元となる特徴点位置と追跡先となる特徴点位置との両方が含まれる。図15に示す例では、3つの第1オプティカルフローOF1のうち、2つの第1オプティカルフローOF1が、境界位置BPから所定距離D内に端部が存在している。
特徴点FPを所定の抽出領域ERのみから抽出する構成とする場合、特徴点探索の都合上、抽出領域ERの境界位置BPの近傍において、求めたオプティカルフローの信頼性が低下する傾向がある。この点に鑑みて、端部が境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数が、所定のオプティカルフロー数閾値以下である場合には、評価値として加算値を与える。一方、端部が境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数が、所定のオプティカルフロー数閾値を超える場合には、評価値として減算値を与える。
以上からわかるように、信頼度評価部123によって行われる複数種類の評価項目には、境界位置BPから所定距離D内に端部が存在するオプティカルフローの数に関する評価が含まれる。これによれば、推定値を求めるために利用したオプティカルフローのうち、信頼性に不安があるオプティカルフローの数に関する評価を行って信頼度を求めることができる。このために、推定値の信頼度を適切に評価することができる。
なお、所定のオプティカルフロー数閾値は、実験やシミュレーションによって決められる。また、加算値および減算値のそれぞれは、端部が境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数と、所定のオプティカルフロー数閾値との差の大きさに応じて複数種類準備されてよい。また、端部が境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数そのものを用いて信頼性の評価を行う代わりに、例えば、フレーム画像の処理によって得られた第1オプティカルフローの全数に対する、端部が境界位置BPから所定距離D内に存在する第1オプティカルフローOF1の数の割合を用いて信頼性の評価を行ってもよい。
図12に戻って、信頼度評価部123は、オプティカルフローと抽出領域ERとの位置関係評価が終わると、推定値と比較値との関係性評価を行う(ステップS25)。推定値は、移動情報推定部121によって得られる推定値であり、比較値は、これとの比較のために比較情報取得部122で得られる比較値である。
詳細には、信頼度評価部123は、信頼度が高いと評価された推定値とその比較値とに基づいて算出される評価用算出値の過去の傾向と、現在のフレーム画像の推定値とその比較値とに基づいて算出される評価用算出値との関係性評価を行う。換言すると、信頼度評価部123によって行われる複数種類の評価項目には、信頼度が高いと評価された推定値とその比較値とに基づいて算出される評価用算出値の過去の傾向と、現在のフレーム画像の推定値とその比較値とに基づいて算出される評価用算出値との関係性評価が含まれる。これによれば、過去の信頼度の高い推定値との関係に基づいて推定値の信頼度を評価することができるために、推定値の信頼度を適切に評価することができる。
図16は、推定値と比較値との関係性評価について説明するための図である。図16に示すグラフにおいて、横軸は時刻、縦軸は上述の評価用算出値である。評価用算出値は、詳細には、推定値Reと比較値Rcとの差分を速度Vで割った値である。速度Vは、推定値Reを求めるために用いた2つのフレーム画像の撮影間隔における車両7の移動速度であり、車速センサ41によって得られる。推定値Reおよび比較値Rcを取得するに際して、車両7の速度Vは毎回同一とは限らない。このために、比較の基準を統一とするために、推定値Reと比較値Rcとの差分値を速度Vで割って規格化を行っている。また、図16において、tcは現在のフレーム画像の取得時刻を指す。図16において、黒丸は高信頼度の推定値を用いた算出結果、白丸は低信頼度の推定値を用いた算出結果を示す。
現在のフレーム画像から得られる評価用算出値が、信頼度が高いと評価された過去複数回の評価用算出値と同程度であれば、現在のフレーム画像の推定値は信頼性が高いと判断できる。一方、現在のフレーム画像から得られる評価用算出値が、信頼度が高いと評価された過去複数回の評価用算出値から離れた値である場合、現在のフレーム画像から得られた推定値の信頼度が高くない可能性がある。
ただし、評価用算出値は、車載カメラ21〜24にずれが生じた場合に、過去の値からずれるものであり、現在のフレーム画像から得られる評価用算出値が過去の評価用算出値の傾向から一度ずれたからといって、そのことのみで即座に信頼性が低いとは判断できない。そこで、評価用算出値が複数回(例えば3回等)連続して過去の信頼できる評価用算出値の傾向からずれ、ばらついていると判断される場合に、評価値として減算値を与えることにしている。なお、本評価は、複数のフレーム画像の推定値を累積した累積推定値を用いてカメラずれの判定を行う構成に好適である。
図16に示す例では、現在のフレーム画像から得られる評価用算出値は、3回連続して過去の信頼できる評価用算出値の傾向からずれたことになるために、評価値として減算値が与えられる。なお、ばらつきが所定回数連続して発生していない場合には、評価値はゼロとされる。また、ばらついているか否かの判断は、例えば、高信頼度の推定値を用いて算出された直近過去数回(この回数は実験等によって決められる)の評価用算出値の平均値と、現在のフレーム画像から得られる評価用算出値との差の大きさで判断すればよい。
また、本実施形態では、ステップS21〜ステップS25を順番に行う構成としているが、これに限らず、例えば、ステップS21〜ステップS25は同時に処理が進められてもよい。また、ステップS21〜ステップS25を順番に行う場合、その順番は、図12に示す順番に限らず、適宜順番を入れ替えてよい。
信頼度評価部123は、推定値と比較値との関係性評価(ステップS25)が終わると、第1演算処理を行う(ステップS26)。第1演算処理は、信頼度を算出するために予め設定された初期値と、ステップS21〜ステップS25で得た各評価値とを順次加減算する処理である。例えば、初期値が10であるとする。ステップS21では、4つ評価項目(a)〜(d)に対して、順に、+1、−1、−1、−1の評価値が得られたとする。ステップS22〜ステップS25の順に、評価値として、+1、−1、−1、0が得られたとする。この場合、第1演算処理によって得られる値は、(10+1−1−1−1+1−1−1+0)=7である。
なお、本実施形態では、各ステップS21〜S25で得た評価値を纏めて演算処理する構成としているが、各ステップS21〜S25において、取得した評価値を演算処理する構成としてもよい。
信頼度評価部123は、第1演算処理が終わると、暫定信頼度を決定する(ステップS27)。例えば、信頼度評価部123は、第1演算処理で算出した値と所定の信頼度閾値とを比較して暫定信頼度を決定する。信頼度評価部123は、第1演算処理で算出した値が所定の信頼度閾値以上である場合、暫定信頼度を高信頼度に決定する。信頼度評価部123は、第1演算処理で算出した値が所定の信頼度閾値より小さい場合、暫定信頼度を低信頼度に決定する。所定の信頼度閾値は、例えば実験又はシミュレーションによって決定される。
信頼度評価部123は、暫定信頼度を決定すると、暫定信頼度と過去信頼度との関係性評価を行う(ステップS28)。詳細には、信頼度評価部123は、現在のフレーム画像に対して時間的に連続する過去の所定数(この回数は実験等によって決められる)のフレーム画像における信頼度の傾向と、現在のフレーム画像に対する暫定的信頼度との関係性評価を行う。すなわち、信頼度評価部123によって行われる複数種類の評価項目には、現在のフレーム画像に対して時間的に連続する過去の所定数のフレーム画像における信頼度の傾向と、現在のフレーム画像に対する暫定的信頼度との関係性評価が含まれる。本実施形態によれば、過去の信頼度との関係性に基づいて推定値の信頼度を評価することができるために、推定値の信頼度評価の精度を向上することができる。
なお、本実施形態では、暫定的信頼度は、複数種類の評価項目から暫定信頼度と過去信頼度との関係性評価を除いた評価項目のうちの全ての評価項目の評価結果に基づいて求められる。しかし、これは例示であり、暫定的信頼度は、複数種類の評価項目から暫定信頼度と過去信頼度との関係性評価を除いた評価項目のうちの少なくとも1つの評価項目の評価結果に基づいて求められてよい。
図17は、暫定信頼度と過去信頼度との関係性評価について説明するための図である。図17において、(a)は、信頼度(暫定信頼度含む)が常に高い状態を示す。(b)は、信頼度(暫定信頼度含む)が常に低い状態を示す。(c)、(d)、および、(e)は、信頼度(暫定信頼度含む)が、常に高い状態でも低い状態でもなく、ばらついている状態を示す。信頼度が常に高い状態の場合((a)の場合)、評価値として加算値が与えられる。逆に信頼度が常に低い状態の場合((b)の場合)、評価値として減算値が与えられる。
信頼度がばらついている状態の場合((c)〜(e))においても、評価値として減算値が与えられる。ただし、ばらついた状態の場合には、ばらつきの状態に対して減算値の大きさを変更する。図17に示す例では、暫定信頼度が高信頼度である場合には、信頼度がばらついていると判断される場合でも、減算量を小さ目(微減算)とする。一方、暫定信頼度が低信頼度である場合には、信頼度がばらついていると判断されると、減算量を大き目とする。例えば、(a)の加算値は+1、(b)および(c)の減算値は−2、(d)および(e)の微減算値は−1とされる。(b)と(c)との減算量は異なる値であってもよい。
なお、図17に示す評価値の決定手法は例示にすぎない。例えば、常に信頼度が低い場合((b)の状態)の減算値と、信頼度がばらついている場合((c)〜(e)の状態)の減算値とは、異なる値としてよい。また、信頼度がばらついている場合のパターン分けについて、図17に示す以外の分け方とされてもよい。
信頼度評価部123は、暫定信頼度と過去信頼度との関係性評価が終わると、第2演算処理を行う(ステップS29)。第2演算処理は、ステップS28で得た評価値をステップS26の第1演算処理によって得られた演算結果に対して加算又は減算する処理である。
信頼度評価部123は、第2演算処理が終わると、信頼度を決定する(ステップS30)。例えば、信頼度評価部123は、第2演算処理で算出した値と所定の信頼度閾値とを比較して信頼度を決定する。所定の信頼度閾値は、暫定信頼度を決定する際に用いた閾値と同じでよいが、異なってもよい。信頼度評価部123は、第2演算処理で算出した値が所定の信頼度閾値以上である場合、推定値の信頼度を高信頼度に決定する。信頼度評価部123は、第2演算処理で算出した値が所定の信頼度閾値より小さい場合、推定値の信頼度を低信頼度に決定する。上述のように、信頼度評価部123における推定値の信頼度の評価結果は、判定処理部124における処理に使用される。
なお、信頼度評価部123が信頼度の評価に用いる複数の評価項目は、図12に示す例と異なってもよい。例えば、図12に示す複数種類の評価項目のうちの一部のみが推定値の信頼度の評価に用いられる構成としてもよい。
<3.留意事項>
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
以上においては、車載カメラ21〜24の異常検出に用いるデータは、車両7が直進走行している場合に収集される構成とした。ただし、これは例示であり、車載カメラ21〜24の異常検出に用いるデータは、車両7が直進走行していない場合に収集されてもよい。車速センサ41から得られる速度情報と舵角センサ42から得られる情報とを用いれば、車両7の前後方向および左右方向の比較値(推定値と比較する移動距離や速度)を正確に求めることができ、車両7が直進走行していない場合のデータを使ってもカメラの異常検出を行うことができる。
また、以上においては、本発明の信頼度評価方法がカメラの異常検出を行う装置に用いられる構成としたが、本発明の信頼度評価方法は、例えば、カメラ画像のオプティカルフローを用いて駐車支援等の運転支援を行う装置に適用されてもよい。図18は、本発明の信頼度評価装置100の構成を示すブロック図である。
信頼度評価装置100は、本発明の信頼度評価方法を実現する装置である。信頼度評価装置100は、制御部101と記憶部102とを備える。制御部101は、例えば、CPU、RAM、および、ROMを備えるマイクロコンピュータで構成できる。記憶部102は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部102は、ファームウェアとしてのプログラムや各種のデータを記憶する。
制御部101は、プログラムに従ってCPUが演算処理を行うことによって、オプティカルフローに基づいて求められた移動体の移動情報の推定値の信頼度を評価する。制御部101は、移動体の移動情報の推定値を求める移動情報推定装置121Aから、推定値の他に、推定値を求めるための行われた各種の処理結果を受け取る。制御部101が行う信頼度の評価処理は、上述の信頼度評価部123と同様の処理である。また、移動情報推定装置121Aは、上述の移動情報推定部121と同様に構成することができ、その機能も上述の移動情報推定部121と同様である。信頼度評価装置100と移動情報推定装置121Aとは、同一のマイクロコンピュータで構成してよい。信頼度評価装置100によれば、オプティカルフローに基づいて求められた移動情報の推定値の信頼度を適切に評価することができる。
1・・・異常検出装置
7・・・車両(移動体)
21・・・フロントカメラ(車載カメラ)
22・・・バックカメラ(車載カメラ)
23・・・左サイドカメラ(車載カメラ)
24・・・右サイドカメラ(車載カメラ)
121・・・移動情報推定部
122・・・比較情報取得部
123・・・信頼度評価部
124・・・判定処理部
FP・・・特徴点
OF1・・・第1オプティカルフロー
OF2・・・第2オプティカルフロー
7・・・車両(移動体)
21・・・フロントカメラ(車載カメラ)
22・・・バックカメラ(車載カメラ)
23・・・左サイドカメラ(車載カメラ)
24・・・右サイドカメラ(車載カメラ)
121・・・移動情報推定部
122・・・比較情報取得部
123・・・信頼度評価部
124・・・判定処理部
FP・・・特徴点
OF1・・・第1オプティカルフロー
OF2・・・第2オプティカルフロー
Claims (14)
- 移動体に搭載されたカメラの取付け異常を検出する異常検出装置であって、
前記カメラから取得するフレーム画像ごとに、当該フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに基づいて前記移動体の移動情報の推定値を求める移動情報推定部と、
前記推定値の信頼度を評価する信頼度評価部と、
前記推定値と前記信頼度とに基づいて前記カメラの異常判定に関する処理を行う判定処理部と、
を備える、異常検出装置。 - 前記信頼度評価部は、予め設定された初期値と、所定の複数種類の評価項目ごとに求められる複数の評価値とを演算処理した結果に基づいて前記信頼度を決定する、請求項1に記載の異常検出装置。
- 前記複数種類の評価項目には、前記推定値を得る処理過程で取得できる特定情報に基づいて設定される項目が含まれる、請求項2に記載の異常検出装置。
- 前記特定情報は、複数の前記オプティカルフローに基づいて生成されるヒストグラム情報を含む、請求項3に記載の異常検出装置。
- 前記特定情報は、複数の前記オプティカルフローの中から所定の条件に該当する前記オプティカルフローを除去対象とする除去処理情報を含み、
前記複数種類の評価項目には、除去対象とされた前記オプティカルフローの数に関する評価が含まれる、請求項3又は4に記載の異常検出装置。 - 前記特定情報は、前記特徴点のコーナーらしさを示すコーナー度に関する情報を含み、
前記複数種類の評価項目には、前記コーナー度が所定のコーナー度閾値より大きい前記特徴点の数に関する評価が含まれる、請求項3から5のいずれか1項に記載の異常検出装置。 - 前記特徴点は、前記フレーム画像の所定の抽出領域内から抽出され、
前記特定情報は、前記オプティカルフローと前記抽出領域の境界位置との関係情報を含み、
前記複数種類の評価項目には、前記境界位置から所定距離内に端部が存在する前記オプティカルフローの数に関する評価が含まれる、請求項3から6のいずれか1項に記載の異常検出装置。 - 前記複数種類の評価項目には、現在の前記フレーム画像に対して時間的に連続する過去の所定数の前記フレーム画像における前記信頼度の傾向と、現在の前記フレーム画像に対する暫定的信頼度との関係性評価が含まれ、
前記暫定的信頼度は、前記複数種類の評価項目から前記関係性評価を除いた評価項目のうちの少なくとも1つの評価項目の評価結果に基づいて求められる、請求項2から7のいずれか1項に記載の異常検出装置。 - 前記推定値との比較に用いる比較値を取得可能な比較情報取得部を更に備え、
前記複数種類の評価項目には、前記信頼度が高いと評価された前記推定値とその前記比較値とに基づいて算出される評価用算出値の過去の傾向と、現在の前記フレーム画像の前記推定値とその前記比較値とに基づいて算出される前記評価用算出値との関係性評価が含まれる、請求項2から8のいずれか1項に記載の異常検出装置。 - 前記判定処理部は、前記信頼度に基づいて前記推定値を前記カメラの異常判定に用いるか否かを判断する、請求項1から9のいずれか1項に記載の異常検出装置。
- 前記推定値との比較に用いる比較値を取得可能な比較情報取得部を更に備え、
前記判定処理部は、前記推定値と前記比較値とに基づいて前記カメラの異常の有無を判定する、請求項1から10のいずれか1項に記載の異常検出装置。 - 前記比較情報取得部は、前記移動体に設けられる前記カメラ以外のセンサから得られる情報に基づいて前記比較値を取得する、請求項11に記載の異常検出装置。
- 前記取付け異常は、前記カメラの取付けのずれが生じた状態である、請求項1から12のいずれか1項に記載の異常検出装置。
- 移動体に搭載されたカメラの取付け異常を検出する装置による異常検出方法であって、
前記カメラから取得するフレーム画像ごとに、当該フレーム画像と前回フレーム画像との間における特徴点の動きを示すオプティカルフローに基づいて前記移動体の移動情報の推定値を求める移動情報推定工程と、
前記推定値の信頼度を評価する信頼度評価工程と、
前記推定値と前記信頼度とに基づいて前記カメラの異常判定に関する処理を行う判定処理工程と、
を備える、異常検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018114415A JP2019219719A (ja) | 2018-06-15 | 2018-06-15 | 異常検出装置および異常検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018114415A JP2019219719A (ja) | 2018-06-15 | 2018-06-15 | 異常検出装置および異常検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019219719A true JP2019219719A (ja) | 2019-12-26 |
Family
ID=69096492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018114415A Pending JP2019219719A (ja) | 2018-06-15 | 2018-06-15 | 異常検出装置および異常検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019219719A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022023956A (ja) * | 2020-12-18 | 2022-02-08 | 阿波羅智聯(北京)科技有限公司 | 自動駐車に用いる異常データ収集方法、装置、記憶媒体及びコンピュータプログラム |
US11814082B2 (en) | 2020-03-31 | 2023-11-14 | Honda Motor Co., Ltd. | Mobile object control method, mobile object control device, and storage medium |
JP7444680B2 (ja) | 2020-03-31 | 2024-03-06 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP7448400B2 (ja) | 2020-03-31 | 2024-03-12 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
CN114715139B (zh) * | 2020-12-18 | 2024-04-16 | 北京百度网讯科技有限公司 | 自动泊车异常数据采集方法、装置、存储介质及产品 |
-
2018
- 2018-06-15 JP JP2018114415A patent/JP2019219719A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11814082B2 (en) | 2020-03-31 | 2023-11-14 | Honda Motor Co., Ltd. | Mobile object control method, mobile object control device, and storage medium |
JP7406432B2 (ja) | 2020-03-31 | 2023-12-27 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP7444680B2 (ja) | 2020-03-31 | 2024-03-06 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP7448400B2 (ja) | 2020-03-31 | 2024-03-12 | 本田技研工業株式会社 | 移動体制御装置、移動体制御方法、およびプログラム |
JP2022023956A (ja) * | 2020-12-18 | 2022-02-08 | 阿波羅智聯(北京)科技有限公司 | 自動駐車に用いる異常データ収集方法、装置、記憶媒体及びコンピュータプログラム |
CN114715139A (zh) * | 2020-12-18 | 2022-07-08 | 北京百度网讯科技有限公司 | 自动泊车异常数据采集方法、装置、存储介质及产品 |
JP7323591B2 (ja) | 2020-12-18 | 2023-08-08 | 阿波羅智聯(北京)科技有限公司 | 自動駐車に用いる異常データ収集方法、装置、記憶媒体及びコンピュータプログラム |
CN114715139B (zh) * | 2020-12-18 | 2024-04-16 | 北京百度网讯科技有限公司 | 自动泊车异常数据采集方法、装置、存储介质及产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5689907B2 (ja) | 車両において通行物体位置検出を向上する方法 | |
JP2019219719A (ja) | 異常検出装置および異常検出方法 | |
JP6364797B2 (ja) | 画像解析装置、および画像解析方法 | |
JP2019191806A (ja) | 異常検出装置および異常検出方法 | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
US9398227B2 (en) | System and method for estimating daytime visibility | |
WO2015125590A1 (ja) | 外界認識システム、車両、及びカメラの汚れ検出方法 | |
US10657654B2 (en) | Abnormality detection device and abnormality detection method | |
US20200090347A1 (en) | Apparatus for estimating movement information | |
JP2019191807A (ja) | 異常検出装置および異常検出方法 | |
US11165932B2 (en) | Imaging apparatus, imaging system, vehicle and foreign matter determination method | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP2020060531A (ja) | 異常検出装置、異常検出システム、および、異常検出方法 | |
EP3087532B1 (en) | Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle | |
JP2011159214A (ja) | 行動検出装置 | |
JP2019191808A (ja) | 異常検出装置および異常検出方法 | |
JP7009209B2 (ja) | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 | |
JP7183729B2 (ja) | 撮影異常診断装置 | |
JP6204844B2 (ja) | 車両のステレオカメラシステム | |
JP2013174998A (ja) | 車両検出装置及び車両検出方法 | |
JP6986962B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
JP2020042715A (ja) | 移動情報推定装置、異常検出装置、および、移動情報推定方法 | |
JP2005301892A (ja) | 複数のカメラによるレーン認識装置 | |
JP6808753B2 (ja) | 画像補正装置および画像補正方法 | |
EP3227827A1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector |