JP2020042716A - 異常検出装置および異常検出方法 - Google Patents

Abstract

【課題】移動体に搭載されたカメラの異常を精度良く安定して検出することができる技術を提供する。【解決手段】所定の面上を移動する移動体に搭載されるカメラの異常を検出する異常検出装置は、前記カメラで撮影されたフレーム画像から特徴点を抽出する特徴点抽出部と、所定の時間間隔をあけて撮影された２つの前記フレーム画像に基づき前記特徴点の前記所定の面上における動きを示す移動ベクトルを求める移動ベクトル算出部と、前記移動ベクトルから前記移動体の速度に依存しない速度非依存情報を導出する速度非依存情報導出部と、複数の前記速度非依存情報の分布に基づき前記カメラの異常の有無を判定する判定部と、を備える。【選択図】図１

Description

本発明は、異常検出装置および異常検出方法に関する。

従来、車両等の移動体には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。

特許文献１に開示される車両用走行支援装置は、後方カメラで取得した画像を画像処理部で画像処理することで車両状態量によらずに車両の移動量を算出する第１の移動量算出手段と、車輪速センサと、操舵角センサの出力を基にして車両状態量に基づいて車両の移動量を算出する第２の移動量算出手段とを備える。例えば、第１の移動量算出手段は、後方カメラで取得した画像データからエッジ抽出等の手法により特徴点を抽出し、逆射影変換によって設定した特徴点の地表面上における位置を算出し、その位置の移動量を基にして車両の移動量を算出する。特許文献１には、求めた車両の移動量を比較して、偏差が大きい場合には、第１の移動量算出手段と第２の移動量算出手段との算出結果とのうちのいずれか一方に問題が生じている可能性があることが開示されている。

特開２００４−３３８６３７号公報

カメラより入力されたフレーム画像から特徴点を抽出することができない場合が発生し得る。また、影又は立体物の映り込みや、照明環境の変動等によって、特徴点の追跡を適切に行うことができない場合がある。このために、カメラより入力されたフレーム画像毎に第１の移動量算出手段によって移動量を算出し、車輪速センサ等の出力に基づき第２の移動量算出手段により算出される移動量との比較を行おうとしても、適切な比較を行うことができないことが起り得る。

本発明は、移動体に搭載されたカメラの異常を精度良く安定して検出することができる技術を提供することを目的とする。

上記目的を達成するために本発明の異常検出装置は、所定の面上を移動する移動体に搭載されるカメラの異常を検出する異常検出装置であって、前記カメラで撮影されたフレーム画像から特徴点を抽出する特徴点抽出部と、所定の時間間隔をあけて撮影された２つの前記フレーム画像に基づき前記特徴点の前記所定の面上における動きを示す移動ベクトルを求める移動ベクトル算出部と、前記移動ベクトルから前記移動体の速度に依存しない速度非依存情報を導出する速度非依存情報導出部と、複数の前記速度非依存情報の分布に基づき前記カメラの異常の有無を判定する判定部と、を備える、構成（第１の構成）になっている。

上記第１の構成の異常検出装置において、前記速度非依存情報には、前記移動ベクトルと前記移動体の速度とに基づき導出された正規化情報が含まれる構成（第２の構成）であってよい。

上記第２の構成の異常検出装置において、前記正規化情報には、前記移動ベクトルの前後方向成分と前記移動体の速度とに基づき導出された第１正規化情報と、前記移動ベクトルの左右方向成分と前記移動体の速度とに基づき導出された第２正規化情報と、のうち少なくともいずれか一方が含まれる構成（第３の構成）であってよい。

上記第１から第３のいずれかの構成の異常検出装置において、前記速度非依存情報には、所定の方向に対する前記移動ベクトルのずれ角を示すずれ角情報が含まれる構成（第４の構成）であってよい。

上記第１から第４のいずれかの構成の異常検出装置において、前記判定部は、前記カメラの異常の有無に対する判定を、前記速度非依存情報の蓄積数が所定数以上になった場合に行う構成（第５の構成）であってよい。

上記第１から第５のいずれかの構成の異常検出装置において、前記特徴点抽出部は、コーナーらしさを示す特徴量が所定の閾値を超える画素を前記特徴点として抽出する構成（第６の構成）であることが好ましい。

上記第１から第６のいずれかの構成の異常検出装置は、前記移動ベクトル算出部で求めた前記移動ベクトルについて、前記速度非依存情報の導出対象から除外するか否かを判断する除外判断部を更に備える構成（第７の構成）であることが好ましい。

上記目的を達成するために本発明の異常検出方法は、装置によって、所定の面上を移動する移動体に搭載されるカメラの異常を検出する異常検出方法であって、前記カメラで撮影されたフレーム画像から特徴点を抽出する特徴点抽出工程と、所定の時間間隔をあけて撮影された２つの前記フレーム画像に基づき前記特徴点の前記所定の面上における動きを示す移動ベクトルを求める移動ベクトル算出工程と、前記移動ベクトルから前記移動体の速度に依存しない速度非依存情報を導出する速度非依存情報導出工程と、複数の前記速度非依存情報の分布に基づき前記カメラの異常の有無を判定する判定工程と、を備える構成（第８の構成）になっている。

本発明によると、移動体に搭載されたカメラの異常を精度良く安定して検出することができる。

異常検出システムの構成を示すブロック図 カメラずれの検出フローの一例を示すフローチャート 特徴点を抽出する手法を説明するための図 オプティカルフローを求める手法を説明するための図 座標変換処理を説明するための図 判定部によって生成されたヒストグラムの一例を示す図 カメラずれが生じている場合に作成したヒストグラムの一例を示す図 ずれ判定処理の一例を示すフローチャート カメラずれの検出フローの変形例を示すフローチャート 第３正規化情報およびずれ角情報について説明するための図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えばロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。

＜１．異常検出システム＞
図１は、本発明の実施形態に係る異常検出システムＳＹＳの構成を示すブロック図である。本実施形態において、異常は、車両に搭載するカメラの取付けのずれ（以下、「カメラずれ」と表現する）が生じた状態を指す。すなわち、異常検出システムＳＹＳは、車両に搭載されるカメラのカメラずれを検出するシステムである。詳細には、異常検出システムＳＹＳは、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。

図１に示すように、異常検出システムＳＹＳは、異常検出装置１と、撮影部２と、センサ部３とを備える。

撮影部２は、車両周辺の状況を監視する目的で車両に設けられる。撮影部２はカメラ２１を備える。カメラ２１は車載カメラである。カメラ２１は例えば魚眼レンズを用いて構成される。カメラ２１は、異常検出装置１に有線又は無線により接続され、撮影画像を異常検出装置１に出力する。

なお、本実施形態では、カメラ２１は車両の前方を撮影するフロントカメラである。ただし、カメラ２１は、例えば車両の後方、左方、又は、右方を撮影するカメラであってよい。また、撮影部２は、カメラ２１を複数備えてよく、例えば、フロントカメラに加えて、バックカメラ、左サイドカメラ、右サイドカメラを備えてよい。バックカメラは車両の後方を撮影する。左サイドカメラは車両の左方を撮影する。右サイドカメラは車両の右方を撮影する。

異常検出装置１は、所定の面上を移動する移動体に搭載されるカメラ２１の異常を検出する装置である。詳細には、異常検出装置１は、路面上を走行する車両に搭載されるカメラ２１の異常を検出する装置である。より詳細には、異常検出装置１は、路面上を走行する車両に搭載されたカメラ２１からの情報に基づき当該カメラ２１自身のカメラずれを検出する装置である。すなわち、異常検出装置１はカメラずれ検出装置である。異常検出装置１を用いることによってカメラずれを迅速に検出することができ、例えば、カメラずれが生じた状態で運転支援等が行われることを防止できる。

本実施形態では、異常検出装置１は、カメラずれの検出を行う対象となる車両自身に搭載される。以下、異常検出装置１を搭載する車両のことを自車両と呼ぶことがある。ただし、異常検出装置１は、カメラずれの検出を行う対象となる車両以外の場所に配置されてもよい。例えば、異常検出装置１は、カメラ２１を有する車両と通信可能なデータセンタ等に配置されてもよい。異常検出装置１は、撮影部２が複数のカメラ２１を有する場合には、カメラ２１毎にカメラずれの検出を行う。異常検出装置１の詳細については後述する。

なお、異常検出装置１は、不図示の表示装置や運転支援装置に処理情報を出力してよい。表示装置は、異常検出装置１から出力される情報に基づいて、適宜、カメラずれに関する警告等を画面に表示してよい。運転支援装置は、異常検出装置１から出力される情報に基づいて、適宜、運転支援機能を停止したり、カメラ２１による撮影情報の補正を行って運転支援を行ったりしてよい。運転支援装置は、例えば自動運転を支援する装置、自動駐車を支援する装置、緊急ブレーキを支援する装置等であってよい。

センサ部３は、カメラ２１が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部３は、車速センサ３１と舵角センサ３２とを含む。車速センサ３１は、車両の速度を検出する。舵角センサ３２は、車両のステアリングホイール（ハンドル）の回転角を検出する。車速センサ３１および舵角センサ３２は、通信バス４を介して異常検出装置１に接続される。すなわち、車速センサ３１で取得された車両の速度情報は、通信バス４を介して異常検出装置１に入力される。舵角センサ３２で取得された車両のステアリングホイールの回転角情報は、通信バス４を介して異常検出装置１に入力される。なお、通信バス４は、例えばＣＡＮ（Controller Area Network）バスであってよい。

＜２．異常検出装置＞
図１に示すように、異常検出装置１は、画像取得部１１と、制御部１２と、記憶部１３とを備える。

画像取得部１１は、自車両のカメラ２１からアナログ又はデジタルの撮影画像（フレーム画像）を所定周期（例えば１／６０ｓ等）で時間的に連続して取得する。そして、取得したフレーム画像がアナログの場合には、そのアナログのフレーム画像をデジタルのフレーム画像に変換（Ａ／Ｄ変換）する。画像取得部１１は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を制御部１２に出力する。

制御部１２は、例えばマイクロコンピュータであり、異常検出装置１の全体を統括的に制御する。制御部１２は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。

詳細には、制御部１２は、特徴点抽出部１２１と、移動ベクトル算出部１２２と、除外判断部１２３と、速度非依存情報導出部１２４と、判定部１２５とを備える。制御部１２が備えるこれら各部１２１〜１２５の機能は、例えば記憶部１３に記憶されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される。換言すると、異常検出装置１は、特徴点抽出部１２１と、移動ベクトル算出部１２２と、除外判断部１２３と、速度非依存情報導出部１２４と、判定部１２５とを備える。

なお、制御部１２が備える各部１２１〜１２５の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１２が備える各部１２１〜１２５は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。また、画像取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成でもよい。

特徴点抽出部１２１は、カメラ２１で撮影されたフレーム画像から特徴点を抽出する。特徴点抽出部１２１は、カメラ２１より入力されたフレーム画像ごとに特徴点の抽出処理を行う。特徴点抽出部１２１は、フレーム画像の所定領域（ＲＯＩ：Region of Interest）から特徴点を抽出する。特徴点は、フレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。

本実施形態では、特徴点抽出部１２１は、フレーム画像を構成する画素それぞれについて特徴量を算出し、特徴量が所定の閾値を超える画素を特徴点として抽出する。特徴量は、画素がどれだけ特徴的であるかの指標である。例えばいわゆるコーナーらしさを示すコーナー度である。すなわち、特徴点抽出部１２１は、コーナーらしさを示す特徴量が所定の閾値を超える画素を特徴点として抽出する。これによれば、所定の閾値を高く設定することにより、特徴量が大きくフレーム画像間における追跡を行い易い特徴点を抽出することができる。本実施形態では、所定の閾値を高く設定し、特徴量の大きなものに絞って特徴点の抽出を行っている。

本実施形態では、特徴量の算出には、ＫＬＴ法（Kanade-Lucus-Tomasi tracker）が用いられる。特徴量の算出にあたって、フレーム画像上にｘｙ座標系が規定され、各画素について、ソベルフィルタを用いて、以下の３つのパラメータＧ１１、Ｇ１２、Ｇ２２が求められる。

なお、Ｇ１１は、ｘ方向の微分結果の２乗値である。Ｇ１２は、ｘ方向の微分結果とｙ方向の微分結果の積である。Ｇ２２は、ｙ方向の微分結果の２乗値である。

ソベルフィルタを用いた処理により、各画素について以下の行列Ｍが得られる。

行列Ｍ（式（４））の固有値λは、Ｉを単位行列として、下記の式（５）から求められる。

式（５）の解は、２次方程式の解として下記の式（６）、（７）に示すλ１と、λ２として求められる。

本実施形態では、以下の式（８）を満たす画素を特徴点として抽出する。極小値となる固有値λ１を特徴量とする。式（８）において、Ｔは特徴点を検出するための所定の閾値である。

移動ベクトル算出部１２２は、所定の時間間隔をあけて撮影された２つのフレーム画像に基づき特徴点の所定の面（本実施形態では路面）上における動きを示す移動ベクトルを求める。本実施形態では、移動ベクトル算出部１２２は、まず、所定の時間間隔をあけて入力される２つのフレーム画像間における特徴点の動きを示すオプティカルフローを算出する。そして、移動ベクトル算出部１２２は、求めたオプティカルフローの座標を路面上の座標に変換する処理を行って移動ベクトルを得る。移動ベクトルは、原則として、特徴点抽出部１２１で抽出された特徴点の数と同じ数だけ求められる。例えば、特徴点抽出部１２１で抽出された特徴点の数が単数であれば、算出される移動ベクトルの数も単数であり、特徴点抽出部１２１で抽出された特徴点の数が複数であれば、算出される移動ベクトルの数も複数である。

本実施形態においては、所定の時間間隔は、画像取得部１１がフレーム画像を取得する時間間隔と同じである。移動ベクトル算出部１２２は、今回フレーム画像と、今回フレーム画像より１周期前に取得した前回フレーム画像とに基づき移動ベクトルを求める。移動ベクトル算出部１２２は、カメラ２１より入力されたフレーム画像ごとに移動ベクトルの算出処理を行う。ただし、移動ベクトル算出部１２２は、前回フレーム画像が存在しない場合には移動ベクトルの算出処理を行わない。また、移動ベクトル算出部１２２は、フレーム画像から抽出された各特徴点の座標について先に路面上の座標に変換し、オプティカルフローを求めることなく移動ベクトルを求めてもよい。

除外判断部１２３は、移動ベクトル算出部１２２で求めた移動ベクトルについて、速度非依存情報の導出対象から除外するか否かを判断する。移動ベクトル算出部１２２により求められる移動ベクトルには、例えば、自車両の実際の移動方向や速度から明らかに不適切な移動ベクトルが含まれることが有り得る。除外判断部１２３を設けることにより、明らかに不適切な移動ベクトルを用いてカメラずれの判断が行われることを抑制できる。すなわち、カメラずれの判断の信頼性を向上することができる。なお、除外判断部１２３は、必ずしも設けられなくてよい。

速度非依存情報導出部１２４は、移動ベクトルから車両の速度に依存しない速度非依存情報を導出する。本実施形態において、移動ベクトルの算出処理に用いられる２つのフレーム画像の撮影時間間隔は一定である。ただし、２つのフレーム画像の撮影時間間隔における自車両の速度は必ずしも一定ではない。自車両が同一方向に動く場合でも、２つのフレーム画像の撮影時間間隔における自車両の速度が変化すると、移動ベクトルは変化する。すなわち、移動ベクトルは、自車両の速度の影響を受けて変化する速度依存情報である。

速度非依存情報導出部１２４は、速度依存情報である移動ベクトルから速度に依存しない速度非依存情報を導出して、各フレーム画像から得られる情報を互いに比較できる関係とする役割を担う。例えば、速度非依存情報導出部１２４は、移動ベクトルと自車両の速度とに基づき正規化された情報を導出する。自車両の速度は、例えば車速センサ３１の測定値などから取得できる。自車両の速度は、例えばＧＰＳ（Global Positioning System）受信機等の他の車載センサから取得されてもよい。

速度非依存情報導出部１２４は、移動ベクトル算出部１２２で算出された移動ベクトルが複数であれば、各移動ベクトルから速度非依存情報を導出する。ただし、除外判断部１２３で除外された移動ベクトルに対しては速度非依存情報の導出は行われない。各移動ベクトルから導出される速度非依存情報は、１種類でもよいが、複数種類であってもよい。

判定部１２５は、複数のフレーム画像から得られた速度非依存情報の分布に基づきカメラ２１の異常の有無を判定する。本実施形態では、判定部１２５は、複数のフレーム画像から得られた速度非依存情報に基づきヒストグラムを作成し、ヒストグラムにおける速度非依存情報の分布に基づきカメラ２１の異常の有無を判定する。

フレーム画像ごとにカメラずれの判定を行う場合、フレーム画像から特徴点が検出されない場合にはカメラずれの判定を行うことができない。また、フレーム画像ごとにカメラずれの判定を行う場合には、一時的な外乱（例えば影や立体物の映り込み、照明環境の変動）の影響で誤ってカメラずれを検出する可能性が高くなる。この点、本実施形態では、複数のフレーム画像から得られる情報を蓄積し、蓄積した情報を利用してカメラずれの判定を行う。このために、本実施形態によれば、カメラずれを精度良く安定して検出することができる。

図２は、異常検出装置１によるカメラずれの検出フローの一例を示すフローチャートである。カメラずれの検出処理は、例えば、所定期間毎（１週間毎等）、所定走行距離毎（１００ｋｍ毎等）、エンジン起動毎（イグニッション（ＩＧ）オン毎）、エンジン起動が所定回数に達した時点毎等に実行されてよい。

本実施形態では、カメラずれの検出処理は、自車両が直進走行していること、および、自車両が所定の速度範囲内で走行していることを条件として開始される。当該条件を満たしている場合にカメラずれの検出処理を行うことによって、情報処理が複雑になることを避けつつ、カメラずれの検出精度を向上させることができる。当該条件が満たされていない場合には、カメラずれの検出処理は開始されない。また、当該条件がカメラずれの検出処理の途中で満たされなくなった場合には、カメラずれの検出処理は中止、或いは、中断される。

なお、直進には、前進方向の直進と、後進方向の直進とが含まれる。自車両が直進しているか否かは、例えば、舵角センサ３２から得られるステアリングホイールの回転角情報に基づいて判断することができる。所定速度範囲は、例えば時速３ｋｍ以上５ｋｍ以下等としてよい。自車両の速度は、例えば車速センサ３１によって取得することができる。

カメラずれの検出処理が開始されると、図２に示すように、特徴点抽出部１２１によって、フレーム画像から特徴点を抽出する処理が行われる（ステップＳ１）。図３は、特徴点ＦＰを抽出する手法を説明するための図である。図３は、カメラ２１（フロントカメラ）で撮影されたフレーム画像Ｐを模式的に示している。本実施形態では、特徴点ＦＰは画像の路面ＲＳ部分から抽出される。図３においては、特徴点ＦＰの数は２つとされているが、この数は便宜的なものであり、実際の数を示すものではない。特徴点ＦＰは、例えばアスファルト路面のように表面に凹凸が多い路面ＲＳでは多く抽出される。一方、コンクリート路面のような平滑な路面ＲＳでは特徴点ＦＰの数は少なくなる。路面ＲＳに白線等で描かれた路面表示が存在する場合には、路面標示のコーナーから特徴量の大きな特徴点ＦＰが抽出される。

図３に示すように、特徴点抽出部１２１は、フレーム画像Ｐの所定の抽出領域ＥＲ内から特徴点ＦＰを抽出する。所定の抽出領域ＥＲは、上述のＲＯＩに相当し、例えば、フレーム画像Ｐの中心部Ｃを含む広範囲に設定される。これにより、特徴点ＦＰの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点ＦＰを抽出することができる。なお、所定の抽出領域ＥＲは、例えば、車両のボディＢＯが映る領域は避けて設定される。本実施形態では、特徴点ＦＰを抽出するための所定の閾値が高い値に設定されており、コーナーらしさを示す特徴量が大きな特徴点が抽出される。

図２に戻って、特徴点ＦＰが抽出されると、移動ベクトル算出部１２２は、抽出した特徴点ＦＰごとにオプティカルフローＯＦを算出する（ステップＳ２）。図４は、オプティカルフローＯＦを求める手法を説明するための図である。図４は、図３と同様に便宜的に示された模式図である。図４は、図３に示すフレーム画像（前回フレーム画像）Ｐの撮影後、所定の撮影時間間隔（１周期）が経過した後にカメラ２１で撮影されたフレーム画像（今回フレーム画像）Ｐ´である。図３に示すフレーム画像Ｐの撮影後、所定時間間隔が経過するまでの間に、自車両は後退している。図４に示す破線の丸印は、図３に示す前回フレーム画像Ｐにおいて抽出された特徴点ＦＰの位置を示す。

図４に示すように、自車両が後退すると、自車両の前方に存在する特徴点ＦＰは自車両から離れる。すなわち、特徴点ＦＰは、今回フレーム画像Ｐ´と前回フレーム画像Ｐとで異なる位置に現れる。移動ベクトル算出部１２２は、今回フレーム画像Ｐ´の特徴点ＦＰと前回フレーム画像Ｐの特徴点ＦＰとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＦを求める。

図２に戻って、各特徴点ＦＰのオプティカルフローＯＦが取得されると、移動ベクトル算出部１２２は、カメラ座標系で得られた各オプティカルフローＯＦの座標変換を行って移動ベクトルＶを算出する（ステップＳ３）。座標変換は、カメラ座標系を路面上の座標系に変換する処理である。

図５は、座標変換処理を説明するための図である。図５に示すように、移動ベクトル算出部１２２は、カメラ２１の位置（視点ＶＰ１）から見たオプティカルフローＯＦを、自車両が存在する路面ＲＳの上方の視点ＶＰ２から見た移動ベクトルＶに変換する。移動ベクトル算出部１２２は、フレーム画像上の各オプティカルフローＯＦを、路面に相当する仮想平面ＲＳ_Ｖに投影することで移動ベクトルＶに変換する。移動ベクトルＶの大きさは、自車両の路面ＲＳ上の移動量（移動距離）を示す。なお、本実施形態では、カメラ２１が魚眼レンズであるために座標変換処理には歪補正が含まれることが好ましい。

図２に戻って、移動ベクトルＶが算出されると、除外判断部１２３による除外処理が行われる（ステップＳ４）。除外処理においては、移動ベクトル算出部１２２によって算出された移動ベクトルＶの中に、自車両の実際の移動方向や速度から明らかに不適切と判断される移動ベクトルＶが存在するか否かが判断される。そして、明らかに不適切と判断された移動ベクトルＶが除外される。除外された移動ベクトルＶは、その後の処理に使用されない。

本実施形態では、自車両は、所定速度範囲内で直進走行していることが前提になっている。移動ベクトルＶの前後方向および左右方向の長さのうち、少なくともいずれか一方が、自車両の走行前提条件から予想される長さからかけ離れている場合に、当該移動ベクトルＶは除外される。予想長さから大きくかけ離れているか否かは、例えば実験やシミュレーションから得られる閾値を用いて判断される。また、移動ベクトルＶの左右方向の長さ（期待値としてゼロが想定される）が前後方向の長さより大きくなった場合には、当該移動ベクトルＶは除外される。更に、シフトレバーの操作位置から予想される向きと反対方向の動きを示す移動ベクトルＶは除外される。なお、シフトレバーの操作位置は、センサ部３に含まれる不図示のシフトセンサから取得することができる。なお、以上に示した除外判断は例示であり、これらとは別の除外判断が行われてもよい。また、除外判断の基準は、上述の例のように複数存在してもよいが、１つであってもよい。

除外処理が完了すると、除外処理によって除外されることなく残った各移動ベクトルＶについて、速度非依存情報を導出する処理が行われる。本実施形態では、速度非依存情報には、移動ベクトルＶと車両の速度とに基づき導出された正規化情報が含まれる。例えば、移動ベクトルＶを車速センサ３１から得られる車速によって割ることにより、自車両の速度に依存しない正規化情報を得ることができる。

本実施形態では、詳細には、正規化情報には、第１正規化情報と第２正規化情報とが含まれる。換言すると、速度非依存情報には、第１正規化情報と第２正規化情報とが含まれる。このために、移動ベクトルＶから第１正規化情報を導出する処理（ステップＳ５）、移動ベクトルＶから第２正規化情報を導出する処理（ステップＳ６）が順次行われる。なお、第１正規化情報の導出と、第２正規化情報の導出とは、いずれが先に実行されてもよいし、他の例として同時に実行されてもよい。

第１正規化情報は、移動ベクトルＶの前後方向成分と車両の速度とに基づき導出される。つまり第１正規化情報とは特に、車両の進行方向に平行な方向に関する情報を有する速度非依存情報とも言える。車両の進行方向と平行な方向の成分を用いて正規化情報を算出することができ、計算処理が複雑になることを抑制できる。本実施形態では、第１正規化情報は、自車両の前後方向の移動距離の期待値をＥｙ、移動ベクトルＶの前後方向成分の大きさをＶｙとした場合に、以下の式（９）で求められる差分比率Ｄｙである。
Ｄｙ（％） ＝ （Ｅｙ−Ｖｙ）／Ｅｙ × １００ （９）

自車両の前後方向の移動距離の期待値Ｅｙは、前回フレーム画像の撮影タイミングから今回フレーム画像の撮影タイミングまでの間における自車両の前後方向の移動距離である。前回フレーム画像と今回フレーム画像との撮影時間間隔をＴｓ、当該撮影時間間隔における自車両の速度をＳとした場合、前後方向の移動距離の期待値Ｅｙは、自車両が直進走行をしているために以下の式（１０）で求められる。
Ｅｙ ＝ Ｓ × Ｔｓ （１０）
自車両の速度Ｓは、車速センサ３１から取得することができる。

なお、第１正規化情報は、式（９）で求められるもの以外であってもよい。例えば、第１正規化情報は、式（９）の差分値（Ｅｙ−Ｖｙ）を、移動ベクトルＶの前後方向成分の大きさＶｙに替えて求めた値であってもよい。また上記では移動距離に対して正規化したが、速度に対して正規化してもよい。その場合、移動ベクトルの大きさをＴｓで除するとよい。

第２正規化情報は、移動ベクトルＶの左右方向成分と車両の速度とに基づき導出される。つまり第１正規化情報とは特に、車両の進行方向に垂直な方向に関する情報を有する速度非依存情報とも言える。車両の進行方向と直交する方向の成分を用いて正規化情報を算出することができ、計算処理が複雑になることを抑制できる。本実施形態では、第２正規化情報は、自車両の左右方向の移動距離の期待値をＥｘ、移動ベクトルＶの左右方向成分の大きさをＶｘとした場合に、以下の式（１１）で求められる差分比率Ｄｘである。
Ｄｘ（％） ＝ （Ｅｘ−Ｖｘ）／Ｅｙ × １００ （１１）
ただし、本実施形態では、自車両は直進走行しているためにＥｘ＝０である。

なお、第２正規化情報は、式（１１）で求められるもの以外であってもよい。例えば、第２正規化情報は、式（１１）の差分値（Ｅｘ−Ｖｘ）を、移動ベクトルＶの左右方向成分の大きさＶｘに替えて求めた値であってもよい。また上記では移動距離に対して正規化したが、速度に対して正規化してもよい。その場合、移動ベクトルの大きさをＴｓで除するとよい。

１つのフレーム画像において、第１正規化情報（差分比率Ｄｙ）および第２正規化情報（差分比率Ｄｘ）は、それぞれ、複数、単数、或いは０個求められる。なお、１つのフレーム画像から得られる第１正規化情報の数と第２正規化情報の数とは同じである。

第１正規化情報と第２正規化情報とが求められると、判定部１２５は、２つの正規化情報それぞれに対してヒストグラムを作成する（ステップＳ７）。差分比率Ｄｙ、Ｄｘの算出が初回の場合には、ヒストグラムの作成が初回であり、ヒストグラムが一から作成される。差分比率Ｄｙ、Ｄｘの算出が２回目以降である場合には、先に作成したヒストグラムに値を追加することになる。以下、第１正規化情報（差分比率Ｄｙ）に基づき作成されるヒストグラムを第１ヒストグラム、第２正規化情報（差分比率Ｄｘ）に基づき作成されるヒストグラムを第２ヒストグラムと呼ぶ。

図６は、判定部１２５によって生成されたヒストグラムの一例を示す図である。図６は第１ヒストグラムを示す。図６に示すように、第１ヒストグラムは、第１正規化情報の数を度数とし、差分比率Ｄｙの値を階級とするヒストグラムである。なお、第２ヒストグラムの図示は省略するが、当該ヒストグラムは、第２正規化情報の数を度数とし、差分比率Ｄｘの値を階級とするヒストグラムである。

図６に示す第１ヒストグラムは、カメラずれが生じていない場合に作成したヒストグラムである。カメラずれが生じていない場合、理想的にはＶｙはＥｙと同じになる。すなわち、カメラずれが生じていない場合には、図６に示すように、第１ヒストグラムは、差分比率Ｄｙ＝０の近傍の階級に偏って度数が多くなる正規分布形状を示す。換言すると、度数が最も多くなるピークの位置（ピーク位置）がゼロ近傍になる。

なお、カメラずれが生じていない場合には、理想的にはＶｘはゼロになる。すなわち、カメラずれが生じていない場合には、第２ヒストグラムも、差分比率Ｄｘ＝０の近傍の階級に偏って度数が多くなる正規分布形状を示す。

図７は、カメラずれが生じている場合に作成したヒストグラムの一例を示す図である。なお、図７は、第１ヒストグラムを示す。カメラずれが発生すると、通常、ＥｙとＶｙとの差が大きくなる傾向にある。このために、図７に示すように、カメラずれが発生すると、度数が最も多くなる階級の位置はゼロからシフトする。すなわち、基準位置（Ｄｙ＝０）からのピーク位置のずれ量Δが大きくなる。なお、カメラずれが発生した場合のこの傾向は、第２ヒストグラムでも同様である。

図２に戻って、第１ヒストグラムおよび第２ヒストグラムを作成する処理を完了すると、判定部１２５は各ヒストグラムにおける正規化情報の蓄積数が所定数以上であるか否かを確認する（ステップＳ８）。なお、第１ヒストグラムと第２ヒストグラムとにおいて、正規化情報の蓄積数は同じである。

蓄積数が所定数より小さい場合（ステップＳ８でＮｏ）、ステップＳ１に戻って、次のフレーム画像を用いてステップＳ１からステップＳ８までの処理が繰り返される。一方、蓄積数が所定数以上である場合（ステップＳ８でＹｅｓ）、判定部１２５はずれ判定処理を行う（ステップＳ９）。すなわち、本実施形態では、判定部１２５は、速度非依存情報（詳細には第１正規化情報および第２正規化情報）の蓄積数が所定数以上になった場合にカメラ２１の異常の有無を判定する。これによれば、所定数を十分大きくすることによって、カメラずれの発生の有無を精度良く検出することが可能になる。所定数は、実験やシミュレーション等によって決めればよい。

なお、本実施形態では、蓄積数が予め一定の値として設定された判定数以上になった場合にカメラずれの判定処理を行う構成としているが、これは例示にすぎない。判定部１２５は、ヒストグラムの分布形状を監視し、分布形状に基づきリアルタイムに判定数を変更する構成としてもよい。

図８は、判定部１２５によって行われるずれ判定処理の一例を示すフローチャートである。なお、図８に示す処理は、図２のステップＳ９の詳細処理例である。

まず、判定部１２５は、第１ヒストグラムにおいて、ピーク位置の基準位置（Ｄｙ＝０）からのずれ量Δ（図７参照）が所定の第１ずれ閾値より小さいか否かを確認する（ステップＳ１１）。第１ヒストグラムにおいてずれ量Δが第１ずれ閾値以上である場合（ステップＳ１１でＮｏ）、判定部１２５は、カメラずれ有りと判定する（ステップＳ１４）。すなわち、判定部１２５は、カメラ２１の取付け状態の異常を検出する。

一方、第１ヒストグラムにおいてずれ量Δが第１ずれ閾値より小さい場合（ステップＳ１１でＹｅｓ）、判定部１２５は、第２ヒストグラムにおいて、ピーク位置の基準位置（Ｄｘ＝０）からのずれ量Δが所定の第２ずれ閾値より小さいか否かを確認する（ステップＳ１２）。第２ヒストグラムにおいてずれ量Δが第２ずれ閾値以上である場合（ステップＳ１２でＮｏ）、判定部１２５は、カメラずれ有りと判定する（ステップＳ１４）。すなわち、判定部１２５は、カメラ２１の取付け状態の異常を検出する。

一方、第２ヒストグラムにおいてずれ量Δが第２ずれ閾値より小さい場合（ステップＳ１２でＹｅｓ）、判定部１２５は、カメラ２１の取付け状態は正常であると判定する（ステップＳ１３）。すなわち、判定部１２５は、カメラずれを検出しない。なお、第１ずれ閾値と第２ずれ閾値とは、異なる値であることが好ましい。これらの閾値は、例えば実験やシミュレーションによって求められる。

本実施形態では、第１ヒストグラムと第２ヒストグラムとのうち、少なくともいずれか一方において異常が認められると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、第１ヒストグラムと第２ヒストグラムとの両方において異常が認められた場合に限って、カメラずれが発生していると判定する構成等としてもよい。

また、本実施形態では、第１ヒストグラム、第２ヒストグラムの順で閾値との比較処理を行う構成としたが、これも例示にすぎない。第２ヒストグラム、第１ヒストグラムの順で比較処理を行う構成としたり、両ヒストグラムの比較処理のタイミングを同じとしたりしてもよい。

また、本実施形態では、第１ヒストグラムと第２ヒストグラムとを作成して、両方の処理結果に基づいてずれ判定を行う構成としたが、これも例示にすぎない。例えば、第１ヒストグラムを作成し、第２ヒストグラムは作成せずにずれ判定を行う構成としてもよいし、その逆であってもよい。すなわち、速度非依存情報には、第１正規化情報と第２正規化情報とのうちのいずれか一方のみが含まれる構成であってもよい。

なお、カメラずれが検出された場合、異常検出装置１は、そのことを運転者等に報知するための処理を行うことが好ましい。また、異常検出装置１は、カメラ２１からの情報を用いて運転支援を行う運転支援装置に、カメラずれが発生していることを通知する処理を行うことが好ましい。自車両に複数のカメラ２１が搭載される場合、複数のカメラ２１のうちの１つでもカメラずれが発生した場合には、上述した運転者等への報知処理、および、運転支援装置等への通知処理を行うことが好ましい。

＜３．変形例＞
図９は、異常検出装置１によるカメラずれの検出フローの変形例を示すフローチャートである。図９に示すカメラずれの検出フローは、図２に示すカメラずれの検出フローと概ね同じである。ただし、図９に示す検出フローにおいては、図２の第１正規化情報の算出処理（ステップＳ５）が第３正規化情報の算出処理（ステップＳ５Ａ）になり、図２の第２正規化情報の算出処理（ステップＳ６）がずれ角情報の算出処理（ステップＳ６Ａ）になっている。

図１０は、第３正規化情報およびずれ角情報について説明するための図である。図１０において、ｘ軸は左右方向に平行であり、ｙ軸は前後方向に平行である。Ｖは移動ベクトルを示す。θは、ｙ軸（換言すると前後方向）に対する移動ベクトルＶのずれ角を示す。

第３正規化情報は、速度非依存情報であり、移動ベクトルＶと車両の速度とに基づき導出された正規化情報である。つまり第３正規化情報とは特に、車両の移動量に関する情報を有する速度非依存情報とも言える。具体的には、第３正規化情報は、自車両の移動距離の期待値をＥｘｙ、移動ベクトルＶの大きさをＶｘｙとした場合に、以下の式（１２）で求められる差分比率Ｄｘｙである。
Ｄｘｙ（％） ＝ （Ｅｘｙ−Ｖｘｙ）／Ｅｘｙ × １００ （１２）
ただし、本例では、自車両は直進走行しているために、Ｅｘｙ＝Ｅｙである。このため、式（１２）は以下の式（１３）と等価である。
Ｄｘｙ（％） ＝ （Ｅｙ−Ｖｘｙ）／Ｅｙ × １００ （１３）

なお、期待値Ｅｙは、上述の式（１０）で求められる。また、Ｖｘｙは、以下の式（１４）で求められる。
Ｖｘｙ ＝ （Ｖｙ^２＋Ｖｘ^２）^１／２ （１４）
上述のように、Ｖｙは移動ベクトルの前後方向成分の大きさであり、Ｖｘは移動ベクトルの左右方向成分の大きさであり、ＶｙおよびＶｘは、それぞれ以下の式（１５）、（１６）で求められる。
Ｖｙ ＝ ｙ２−ｙ１ （１５）
Ｖｘ ＝ ｘ２−ｘ１ （１６）

なお、第３正規化情報は、式（１２）で求められるもの以外であってもよい。例えば、第３正規化情報は、式（１２）の差分値（Ｅｘｙ−Ｖｘｙ）を、移動ベクトルＶの大きさＶｘｙに替えて求めた値であってもよい。

ずれ角情報は、速度非依存情報であり、所定の方向に対する移動ベクトルＶのずれ角θを示す。ここでは所定の方向とは特に、前後方向を想定する。つまりずれ角情報とは特に、車両の移動方向に関する情報を有する速度非依存情報とも言える。速度非依存情報にずれ角情報が含まれる構成とした場合、カメラ２１の軸が所定方向からずれた状態を適切に検出することができる。ずれ角θは、以下の式（１７）で求められる。
θ ＝ ａｒｃｔａｎ（Ｖｘ／Ｖｙ） （１７）

本変形例では、ヒストグラム作成処理（ステップＳ７）によって、第３正規化情報（差分比率Ｄｘｙ）に基づき作成される第３ヒストグラムと、ずれ角情報（ずれ角θ）に基づき作成される第４ヒストグラムとが得られる。第３ヒストグラムは、第３正規化情報の数を度数とし、差分比率Ｄｘｙの値を階級とするヒストグラムである。第４ヒストグラムは、ずれ角情報の数を度数とし、ずれ角θの値を階級とするヒストグラムである。

カメラずれが発生していない場合、理想的にはＶｘｙはＥｘｙ（＝Ｅｙ）と同じになる。このために、第３ヒストグラムは、差分比率Ｄｘｙ＝０の近傍の階級に偏って度数が多くなる正規分布形状を示す。換言すると、度数が最も多くなるピーク位置がゼロ近傍になる。一方、カメラずれが発生すると、通常、Ｅｘｙ（＝Ｅｙ）とＶｘｙとの差が大きくなる傾向にある。このために、カメラずれが発生すると、第３ヒストグラムにおいては、度数が最も多くなる階級の位置はゼロからシフトする。すなわち、基準位置（Ｄｘｙ＝０）からのピーク位置のずれ量Δが大きくなる。

カメラずれが発生していない場合、自車両が直進走行しているために、理想的にはずれ角θはゼロである。このために、第４ヒストグラムは、ずれ角θ＝０の近傍の階級に偏って度数が多くなる正規分布形状を示す。換言すると、度数が最も多くなるピーク位置がゼロ近傍になる。一方、カメラずれが発生すると、通常、ずれ角θとの差が大きくなる傾向にある。このために、カメラずれが発生すると、第４ヒストグラムにおいては、度数が最も多くなる階級の位置はゼロからシフトする。すなわち、基準位置（θ＝０）からのピーク位置のずれ量Δが大きくなる。

本変形例では、ずれ判定処理（ステップＳ９）において、第３ヒストグラムと第４ヒストグラムとの少なくともいずれか一方で、ずれ量Δの値が各ヒストグラムに対して設定される所定のずれ閾値より大きくなった場合に、カメラずれが検出される。ただし、これは例示である。例えば、第３ヒストグラムと第４ヒストグラムとの両方においてずれ量Δが所定のずれ閾値より大きくなった場合に限って、カメラずれが発生していると判定する構成等としてもよい。

本変形例においても、複数のフレーム画像から得られる情報を蓄積し、蓄積した情報を利用してカメラずれの判定を行う。このために、本変形例においても、カメラずれを精度良く安定して検出することができる。

本変形例では、速度非依存情報には、第３正規化情報とずれ角情報が含まれる。ただし、これは例示であり、速度非依存情報には、第３正規化情報とずれ角情報のいずれか一方が含まれる構成であってもよい。例えば、速度非依存情報に、第１正規化情報とずれ角情報とが含まれる構成として、ヒストグラムを用いたカメラずれの検出を行ってもよい。また、例えば、速度非依存情報に、第１正規化情報と、第２正規化情報と、ずれ角情報とが含まれる構成として、ヒストグラムを用いたカメラずれの検出を行ってもよい。また所定の方向について、前後方向を特に想定するとしたが、この限りではない。所定の方向は、移動ベクトルＶの角度を求める際の基準となる方向としての意味合いでしかない。例えば所定の方向を左右方向とすることもできる。この場合、第４ヒストグラムの基準位置をθ＝９０として、ピーク位置のずれ量Δを求めるとよい。

＜４．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

以上においては、カメラ２１の異常検出に用いるデータは、自車両が直進走行している場合に収集される構成とした。ただし、これは例示であり、カメラ２１の異常検出に用いるデータは、自車両が直進走行していない場合に収集されてもよい。

１・・・異常検出装置
２１・・・カメラ
１２１・・・特徴点抽出部
１２２・・・移動ベクトル算出部
１２３・・・除外判断部
１２４・・・速度非依存情報導出部
１２５・・・判定部
ＦＰ・・・特徴点
Ｖ・・・移動ベクトル

Claims (8)

1. 所定の面上を移動する移動体に搭載されるカメラの異常を検出する異常検出装置であって、
   前記カメラで撮影されたフレーム画像から特徴点を抽出する特徴点抽出部と、
   所定の時間間隔をあけて撮影された２つの前記フレーム画像に基づき前記特徴点の前記所定の面上における動きを示す移動ベクトルを求める移動ベクトル算出部と、
   前記移動ベクトルから前記移動体の速度に依存しない速度非依存情報を導出する速度非依存情報導出部と、
   複数の前記速度非依存情報の分布に基づき前記カメラの異常の有無を判定する判定部と、
   を備える、異常検出装置。
2. 前記速度非依存情報には、前記移動ベクトルと前記移動体の速度とに基づき導出された正規化情報が含まれる、請求項１に記載の異常検出装置。
3. 前記正規化情報には、
   前記移動ベクトルの前後方向成分と前記移動体の速度とに基づき導出された第１正規化情報と、
   前記移動ベクトルの左右方向成分と前記移動体の速度とに基づき導出された第２正規化情報と、
   のうち少なくともいずれか一方が含まれる、請求項２に記載の異常検出装置。
4. 前記速度非依存情報には、所定の方向に対する前記移動ベクトルのずれ角を示すずれ角情報が含まれる、請求項１から３のいずれか１項に記載の異常検出装置。
5. 前記判定部は、前記カメラの異常の有無に対する判定を、前記速度非依存情報の蓄積数が所定数以上になった場合に行う、請求項１から４のいずれか１項に記載の異常検出装置。
6. 前記特徴点抽出部は、コーナーらしさを示す特徴量が所定の閾値を超える画素を前記特徴点として抽出する、請求項１から５のいずれか１項に記載の異常検出装置。
7. 前記移動ベクトル算出部で求めた前記移動ベクトルについて、前記速度非依存情報の導出対象から除外するか否かを判断する除外判断部を更に備える、請求項１から６のいずれか１項に記載の異常検出装置。
8. 装置によって、所定の面上を移動する移動体に搭載されるカメラの異常を検出する異常検出方法であって、
   前記カメラで撮影されたフレーム画像から特徴点を抽出する特徴点抽出工程と、
   所定の時間間隔をあけて撮影された２つの前記フレーム画像に基づき前記特徴点の前記所定の面上における動きを示す移動ベクトルを求める移動ベクトル算出工程と、
   前記移動ベクトルから前記移動体の速度に依存しない速度非依存情報を導出する速度非依存情報導出工程と、
   複数の前記速度非依存情報の分布に基づき前記カメラの異常の有無を判定する判定工程と、
   を備える、異常検出方法。

Images