JP2019004329A - 異常検出装置及び車両システム - Google Patents

Abstract

【課題】画像に対する２種類の異常検出方法を処理負荷を抑制しつつ実現する。
【解決手段】異常検出装置１は、共通のアルゴリズムにより画像特徴を抽出する特徴抽出部２と、フロー算出部３と、第１の異常検出部４と、第２の異常検出部５とを有する。画像特徴の抽出範囲は、第１の画像の所定の第１の部分領域と、第２の画像の所定の第２の部分領域と、特徴点の移動先として予測される、前記第１の画像及び前記第２の画像内の位置の近傍領域である。また、第１の異常検出部４は、前記第１（第２）の部分領域内の特徴点についてのオプティカルフローに基づいて前記第１（第２）の画像の異常を検出する。また、第２の異常検出部５は、第１の重複領域内に設定された第１の重複抽出領域内の特徴点と第２の重複領域内に設定された第２の重複抽出領域内の特徴点とを用いて異常を検出する。
【選択図】図１

Description

本発明は異常検出装置及び車両システムに関する。

カメラの異常を検出する装置が知られている。例えば、特許文献１及び特許文献２に記載の技術では、複数台のカメラそれぞれにより撮像された画像の重複領域を指定又は抽出して、当該重複領域における画像の特徴を比較することによりカメラの異常を検出する。このような技術の場合、２台以上のカメラの撮影範囲が相互に重複している必要がある。このため、撮影範囲が他のカメラと重複しないカメラの異常を検出できない。

そのようなカメラの異常を検出するため、オプティカルフローの連続性を利用した異常検出方法が存在する。この方法では、所定のアルゴリズム（例えば、非特許文献１に記載のアルゴリズム）により画像内の特徴点を抽出し、この特徴点を時間的に連続する画像間において追跡する。そして、この特徴点の移動の連続性が維持されているか否かを判定することにより、撮影範囲が他のカメラと重複しないカメラの異常を検出することができる。

特開２０１６−１５６３８号公報 特開平１１−１７７９６４号公報

Jianbo Shi and Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition, 1994, pages 593-600

２台以上のカメラの撮影範囲が相互に重複している場合、これらのカメラについて、重複領域における画像の特徴に基づく異常検出も可能であり、上述のオプティカルフローによる１台毎の異常検出も可能である。しかしながら、これらの２種類の方法を両方とも用いて異常の検出を行うと、処理時間が長くなってしまう恐れがある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、異常検出装置は、共通の抽出アルゴリズムにより特徴点及び特徴量を抽出する特徴抽出部と、フロー算出部と、第１の異常検出部と、第２の異常検出部とを有する。ここで、前記特徴抽出部による前記特徴点及び前記特徴量の抽出範囲は、第１のカメラにより撮像された第１の画像の所定の第１の部分領域と、第２のカメラにより撮像された第２の画像の所定の第２の部分領域と、前記特徴点の移動先として予測される、前記第１の画像及び前記第２の画像内の位置の近傍領域である。また、前記第１の異常検出部は、前記第１の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第１の画像の異常を検出し、前記第２の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第２の画像の異常を検出する。また、前記第２の異常検出部は、第１の重複領域内に設定された第１の重複抽出領域内の前記特徴点と第２の重複領域内に設定された第２の重複抽出領域内の前記特徴点とを用いて異常を検出する。

前記一実施の形態によれば、２台以上のカメラの撮影範囲が相互に重複している場合に、第１の異常検出部による１台のカメラから取得された画像を用いた異常検出と、第２の異常検出部による２台以上のカメラのそれぞれから取得される画像の比較による異常検出との両方を、処理負荷を抑制しつつ実現することができる。

実施の形態の概要にかかる異常検出装置の構成の一例を示すブロック図である。 実施の形態１にかかる車両システムを構成する各要素の位置関係の一例を示す模式図である。 実施の形態１にかかる車両システムのハードウェア構成の一例を示すブロック図である。 実施の形態１にかかる車両システムにおける機能構成の一例を示すブロック図である。 撮影範囲、特徴抽出範囲、フロー追跡範囲、及び重複抽出領域の関係について示す模式図である。 カメラにより撮像された画像における各範囲の関係を示した模式図である。 実施の形態１にかかる車両システムによる異常判定処理の動作の一例を示すフローチャートである。 実施の形態２における比較領域について示す模式図である。 実施の形態３にかかる車両システムのハードウェア構成の一例を示すブロック図である。 実施の形態３にかかる車両システムにおける機能構成の一例を示すブロック図である。 実施の形態３にかかる車両システムによる異常判定処理の動作の一例を示すフローチャートである。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態の概要＞
実施の形態の詳細について説明する前に、まず、実施の形態の概要について説明する。図１は、実施の形態の概要にかかる異常検出装置１の構成の一例を示すブロック図である。異常検出装置１は、特徴抽出部２と、フロー算出部３と、第１の異常検出部４と、第２の異常検出部５とを有する。

特徴抽出部２には、第１のカメラにより撮像された第１の画像と、第２のカメラにより撮像された第２の画像とが入力され、画像特徴（より詳細には、特徴点及び特徴量）を抽出する。なお、第１のカメラと第２のカメラは、動画を撮影するカメラである。ここで、第１のカメラの撮影範囲と第２のカメラの撮影範囲とは、一部が相互に重複する。特徴抽出部２は、第１の画像の特徴点及び特徴量と、第２の画像の特徴点及び特徴量とを、予め定められた抽出アルゴリズムにより抽出する。すなわち、この予め定められた抽出アルゴリズムは、第１の異常検出部４により異常の検出が行われる場合と第２の異常検出部５により異常の検出が行われる場合とで共通に用いられるアルゴリズムである。言い換えると、第１の異常検出部４による異常検出に必要とされる特徴点及び特徴量の抽出アルゴリズムと、第２の異常検出部５による異常検出に必要とされる特徴点及び特徴量の抽出アルゴリズムとは同じである。

ここで、特徴抽出部２による特徴点及び特徴量の抽出範囲は、第１の画像の所定の部分領域である第１の部分領域と、第２の画像の所定の部分領域である第２の部分領域と、特徴点の移動先として予測される、第１の画像及び前記第２の画像内の位置の近傍領域である。

フロー算出部３は、特徴抽出部２が抽出した特徴点のオプティカルフローを該特徴点の特徴量に基づいて算出する。ここで、オプティカルフローとは、時間的に連続する時系列画像における特徴点の移動を示すベクトルである。すなわち、オプティカルフローは、特定のカメラにより撮影された動画の連続するフレーム間における特徴点の移動を示すベクトルである。例えば、カメラの被写体又はカメラが等速直線運動を行っている場合、被写体に対応する特徴点は、時間的に隣接する画像フレーム間で一定の方向に一定の速度で移動する。

第１の異常検出部４は、第１の画像に対しフロー算出部３が算出したオプティカルフローに基づいて第１の画像の異常を検出する。また、第１の異常検出部４は、第２の画像に対しフロー算出部３が算出したオプティカルフローに基づいて第２の画像の異常を検出する。詳細には、第１の異常検出部４は、上記第１の部分領域（すなわち、第１の画像において、特徴点及び特徴量の抽出が行われる領域）内の特徴点についてのオプティカルフローに基づいて第１の画像の異常を検出し、第２の部分領域（すなわち、第２の画像において、特徴点及び特徴量の抽出が行われる領域）内の特徴点についてのオプティカルフローに基づいて第２の画像の異常を検出する。より詳細には、第１の異常検出部４は、上記第１の部分領域内の特徴点を所定の領域内で追跡して得られるオプティカルフローに基づいて第１の画像の異常を検出し、第２の部分領域内の特徴点を所定の領域内で追跡して得られるオプティカルフローに基づいて第２の画像の異常を検出する。

ここで、画像の異常は、当該画像の撮像に用いられたカメラの異常（故障）によって発生したものであるかもしれないし、このカメラから出力された画像情報が特徴抽出部２に入力されるまでの間に行われる任意の処理の異常（すなわち当該処理を行う装置の故障）によって発生したものであるかもしれない。このように、第１の異常検出部４による異常の検出は、１台のカメラから取得された画像を用いて、このカメラの異常又はこのカメラから出力された画像情報に行われた所定の処理の異常を検出するものである。

第２の異常検出部５は、第１の画像における第１の重複領域内の特徴点についての第１の指標値と、第２の画像における第２の重複領域内の特徴点についての第２の指標値との比較結果に基づいて、第１の画像又は第２の画像の異常を検出する。ここで、第１の重複領域とは、第１の画像における第２の画像との撮影範囲の重複領域である。第２の重複領域とは、第２の画像における第１の画像との撮影範囲の重複領域である。よって、第１の重複領域と第２の重複領域には、同一の被写体が撮像されている。

より詳細には、第２の異常検出部５は、第１の重複領域内に設定された第１の重複抽出領域内の特徴点と第２の重複領域内に設定された第２の重複抽出領域内の特徴点とを用いて異常を検出する。ここで、第１の重複抽出領域は、第１の部分領域のうち、第２の部分領域と対応する領域である。なお、第１の重複抽出領域は、第１の部分領域のうち、第２の部分領域と重なる領域とも言える。また、第２の重複抽出領域は、第２の部分領域のうち、第１の部分領域と対応する領域である。なお、第２の重複抽出領域は、第２の部分領域のうち、第１の部分領域と重なる領域とも言える。すなわち、画像中の重複抽出領域に存在する被写体は、第１の画像及び第２の画像の両方で、特徴抽出の対象となっている。

なお、第２の異常検出部５により検出される画像の異常は、第１の異常検出部４と同様、当該画像の撮像に用いられたカメラの異常（故障）によって発生したものであるかもしれないし、このカメラから出力された画像情報が特徴抽出部２に入力されるまでの間に行われる任意の処理の異常（すなわち当該処理を行う装置の故障）によって発生したものであるかもしれない。

また、上記指標値は、一例としては、第１の重複領域内の特徴点を起点とする当該特徴点のオプティカルフローであるが、第１の重複領域内の特徴点の特徴量であってもよい。なお、図１において第２の異常検出部５に延びる破線の矢印は、指標値のこのような任意性を示している。すなわち、上記指標値がオプティカルフローである場合、フロー算出部３から第２の異常検出部５へと延びるパスが存在するが、特徴抽出部２から第２の異常検出部５へと延びるパスは存在しないかもしれない。また、上記指標値が特徴量である場合、フロー算出部３から第２の異常検出部５へと延びるパスが存在しないが、特徴抽出部２から第２の異常検出部５へと延びるパスが存在するかもしれない。

ただし、図１において、各要素間を接続する矢印は、理解を容易にするために各要素の処理の関係性の一例を示したに過ぎない。すなわち、異常検出装置１において、図１に示した要素間の関係性以外の関係性が実現されることを排除するわけではない。

異常検出装置１では、上述の通り、第１の異常検出部４により、１台のカメラから取得された画像を用いた異常検出が行われ、第２の異常検出部５により、２台以上のカメラのそれぞれから取得される画像の比較による異常検出が行われる。すなわち、異常検出装置１では、第１の異常検出部４による異常検出と第２の異常検出部５による異常検出の２種類の異常検出機能を備えているため、いずれか１種類の異常検出が行われる場合に比べ、異常検出の精度が向上する。
また、異常検出装置１では、第１の異常検出部４により異常の検出を行うために必要とされる画像特徴と、第２の異常検出部５により異常の検出を行うために必要とされる画像特徴とをそれぞれ別々の抽出アルゴリズムにより抽出する訳ではない。したがって、特徴抽出部２による抽出結果を、第１の異常検出部４による異常の検出にも第２の異常検出部５による異常の検出にも用いることができる。すなわち、抽出アルゴリズムを共通化することで、複雑な処理を行うことなく、画像特徴の抽出処理を実現することができる。そして、異常検出装置１では、画像の全体の領域を画像特徴の抽出範囲とするのではなく、部分領域を画像特徴の抽出範囲としている。このため、画像特徴の抽出処理にかかる負荷を抑制することができる。
以上のことから、異常検出装置１では、２台以上のカメラの撮影範囲が相互に重複している場合に、第１の異常検出部４による異常検出と、第２の異常検出部５による異常検出との両方を、処理負荷を抑制しつつ実現することができる。

＜実施の形態１＞
次に実施の形態の詳細について説明する。図２は、実施の形態１にかかる車両システム１０を構成する各要素の位置関係の一例を示す模式図である。車両システム１０は、車両１００に設置された情報入力装置としてのカメラ１０１Ａ〜１０１Ｄと、車両１００に設置された他の構成要素とを有している。なお、図２に示した例では、４台のカメラを図示しているが、車両システム１０は、２台以上のカメラを有すればよい。図２に示した例では、他の構成要素として、ブレーキ１０２、ステアリング１０３などの制御装置、及び警告表示装置１０４などの情報出力装置が示されている。また、車両システム１０は、ＥＣＵ（Electronic Control Unit）１０５を有する。

カメラ１０１Ａ〜１０１Ｄ、ブレーキ１０２、ステアリング１０３、及び警告表示装置１０４は、情報の認識、車両状態の判断、車両の制御、並びに通信を行うＥＣＵ１０５に接続されている。ＥＣＵ１０５は単独の部品であってもよいし、機能ごとに分割された複数の部品で構成されていてもよい。ＥＣＵ１０５が複数の部品で構成されている場合、それぞれの部品は相互に情報のやり取りができる形で接続される。

ここで、カメラ１０１Ａ〜１０１Ｄは、車両１００の周辺の動画を撮影するカメラである。カメラ１０１Ａは、車両１００の前方を主な撮影範囲とするよう車両１００の前側に設置されたカメラである。カメラ１０１Ｂは、車両１００の右方向を主な撮影範囲とするよう車両１００の右側に設置されたカメラである。カメラ１０１Ｃは、車両１００の後方を主な撮影範囲とするよう車両１００の後側に設置されたカメラである。カメラ１０１Ｄは、車両１００の左方向を主な撮影範囲とするよう車両１００の左側に設置されたカメラである。

ここで、カメラ１０１Ａは、カメラ１０１Ｂと撮影範囲が一部重複するとともに、カメラ１０１Ｄと撮影範囲が一部重複するよう車両１００に設置されている。カメラ１０１Ｂは、カメラ１０１Ａと撮影範囲が一部重複するとともに、カメラ１０１Ｃと撮影範囲が一部重複するよう車両１００に設置されている。カメラ１０１Ｃは、カメラ１０１Ｂと撮影範囲が一部重複するとともに、カメラ１０１Ｄと撮影範囲が一部重複するよう車両１００に設置されている。カメラ１０１Ｄは、カメラ１０１Ｃと撮影範囲が一部重複するとともに、カメラ１０１Ａと撮影範囲が一部重複するよう車両１００に設置されている。なお、カメラ間の重複範囲は時間経過に伴う変動がないものとする。

次に、図３を参照して、車両システム１０のより詳細な構成について説明する。図３は、車両システム１０のハードウェア構成の一例を示すブロック図である。図３に示すように、ＥＣＵ１０５は、認識用ＭＣＵ（Micro Controller Unit）１１０と、判断用ＭＣＵ１１１と、制御用ＭＣＵ１１２、１１３とを有する。なお、車両システム１０が、動画を撮影するために追加される拡張カメラ１０６の接続を許容する場合には、ＥＣＵ１０５は、さらに拡張カメラ用ＭＣＵ１１４を有する。なお、拡張カメラ１０６は、複数台であってもよい。なお、追加された拡張カメラ１０６は、他の拡張カメラ１０６又はカメラ１０１Ａ〜１０１Ｄのいずれかと撮影範囲が一部重複するよう車両１００に設置されてもよい。

認識用ＭＣＵ１１０は、カメラ１０１Ａ〜１０１Ｄにより撮像された画像及び拡張カメラ１０６により撮像された画像を認識するためのＭＣＵである。認識用ＭＣＵ１１０は、バス１２０Ａ〜１２０Ｄを介して、カメラ１０１Ａ〜１０１Ｄと接続している。
判断用ＭＣＵ１１１は、車両１００の状態を判断するためのＭＣＵである。判断用ＭＣＵ１１１は、バス１２１を介して警告表示装置１０４と接続されており、警告表示装置１０４の表示内容を制御する。

制御用ＭＣＵ１１２は、ステアリング１０３からの入力に従って車両１００を制御するためのＭＣＵであり、バス１２２を介してステアリング１０３と接続されている。制御用ＭＣＵ１１３は、ブレーキ１０２からの入力に従って車両１００を制御するためのＭＣＵであり、バス１２３を介してブレーキ１０２と接続されている。制御用ＭＣＵ１１２と制御用ＭＣＵ１１３は、別々のＭＣＵである必要はなく、１つのＭＣＵであってもよい。

拡張カメラ用ＭＣＵ１１４は、拡張カメラ１０６から入力された信号を処理するＭＣＵである。拡張カメラ用ＭＣＵ１１４は、例えば、後述するカメラＩ／Ｆ１４２Ａ〜１４２Ｄ及びキャプチャユニット１４３と同様の処理を行い、画像データを生成する。また、拡張カメラ用ＭＣＵ１１４は、車内ネットワーク１２５に出力するデータ量を抑制するために画像データを圧縮する。なお、拡張カメラ用ＭＣＵ１１４から出力された画像データは、車内ネットワーク１２５及び認識用ＭＣＵ１１０を介して外部メモリ１３０に格納される。拡張カメラ用ＭＣＵ１１４が設けられる場合には、バス１２４を介して拡張カメラ１０６が拡張カメラ用ＭＣＵ１１４と接続することとなる。
認識用ＭＣＵ１１０と、判断用ＭＣＵ１１１と、制御用ＭＣＵ１１２、１１３と、拡張カメラ用ＭＣＵ１１４は、車内ネットワーク１２５に接続されている。

また、ＥＣＵ１０５は、外部メモリ１３０を有する。外部メモリ１３０は、カメラ１０１Ａ〜１０１Ｄにより撮像された画像及び拡張カメラ１０６により撮像された画像が格納されるメモリである。

ここで、認識用ＭＣＵ１１０の構成の詳細について説明する。認識用ＭＣＵ１１０は、車内ネットワークＩ／Ｆ１４０と、外部メモリＩ／Ｆ１４１と、カメラＩ／Ｆ１４２Ａ〜１４２Ｄと、キャプチャユニット１４３と、画像処理プロセッサ１５０と、画像認識プロセッサ１６０と、ＣＰＵ（Central Processing Unit）１７０とを有する。

車内ネットワークＩ／Ｆ１４０は、車内ネットワーク１２５に対し情報を入出力するためのインタフェースである。外部メモリＩ／Ｆ１４１は、外部メモリ１３０に対し情報を入出力するためのインタフェースである。カメラＩ／Ｆ１４２Ａ〜１４２Ｄは、カメラ１０１Ａ〜１０１Ｄから取り込んだ信号を、キャプチャユニット１４３が受け付ける信号形式に変換するインタフェースである。例えば、カメラＩ／Ｆ１４２Ａ〜１４２Ｄは、入力されたシリアル信号を、パラレル信号に変換してキャプチャユニット１４３に出力するインタフェースである。

なお、これらのインタフェースは、専用のネットワークに接続されてもよいし、ＣＡＮ（Controller Area Network）やＥｔｈｅｒｎｅｔなどといった汎用のネットワークに接続されてもよい。また、同一のバスを時分割などの方法により切り替えることにより、汎用ネットワークへの接続を実現してもよい。

キャプチャユニット１４３は、カメラ１０１Ａ〜１０１Ｄから出力された信号に基づいて画像データを生成する回路である。キャプチャユニット１４３から出力された画像データは、外部メモリＩ／Ｆ１４１を介して、外部メモリ１３０に格納される。

画像処理プロセッサ１５０は、カメラ１０１Ａ〜１０１Ｄ及び拡張カメラ１０６により撮像された画像に対し、所定の画像処理を行う回路である。画像処理プロセッサ１５０は、外部メモリ１３０に格納された画像データを、外部メモリＩ／Ｆ１４１を介して読み出し、所定の画像処理を行った後、画像処理後の画像データを外部メモリＩ／Ｆ１４１を介して外部メモリ１３０に格納する。なお、画像処理プロセッサ１５０により行われる所定の画像処理としては、圧縮された画像データのデコード処理もしくは撮像された画像データの歪み補正などが挙げられるが、これらに限られない。

画像認識プロセッサ１６０は、画像認識処理を行う回路である。画像認識プロセッサ１６０は、画像処理プロセッサ１５０による処理が行われた画像に対し、画像認識処理を行う。画像認識プロセッサ１６０は、外部メモリ１３０に格納された画像データを外部メモリＩ／Ｆ１４１を介して読み出し、所定の画像認識処理を行った後、画像認識結果を外部メモリＩ／Ｆ１４１を介して外部メモリ１３０に格納する。画像認識プロセッサ１６０は、具体的には、画像認識処理として、画像特徴（より詳細には、特徴点及び特徴量）の抽出及びオプティカルフローの算出を行う。

ＣＰＵ１７０は、外部メモリ１３０又は他のメモリに格納されたプログラムを実行することにより、種々の処理を実現する。ＣＰＵ１７０は、画像認識プロセッサ１６０による画像認識結果に基づいて、画像の異常を検出する異常検出処理を実行する。

本実施の形態では、画像認識プロセッサ１６０及びＣＰＵ１７０が、図１の異常検出装置１に相当する。すなわち、画像認識プロセッサ１６０及びＣＰＵ１７０は、画像処理プロセッサ１５０により画像処理が行われた画像データに基づいて、異常検出処理を実行する。例えば、カメラ１０１Ａ〜１０１Ｄ、カメラＩ／Ｆ１４２Ａ〜１４２Ｄ、キャプチャユニット１４３、及び画像処理プロセッサ１５０のいずれかの回路の故障が発生した場合、画像認識プロセッサ１６０に入力される画像に異常が発生する。本実施の形態では、これらの回路に故障が発生した場合に生じる画像の異常に基づいて、カメラ１０１Ａ〜１０１Ｄ、カメラＩ／Ｆ１４２Ａ〜１４２Ｄ、キャプチャユニット１４３、及び画像処理プロセッサ１５０の故障を検出する。なお、拡張カメラ１０６が用いられている場合には、拡張カメラ１０６及び拡張カメラ用ＭＣＵ１１４も、故障検出の対象となる。

次に、異常検出処理に関する、車両システム１０の機能構成について説明する。図４は、車両システム１０における異常検出処理に関する機能構成の一例を示すブロック図である。図４に示すように、車両システム１０は、異常検出装置の構成として、特徴抽出部２００と、フロー算出部２０１と、第１の異常検出部２０２と、第２の異常検出部２０３と、総合判定部２０４とを有する。ここで、特徴抽出部２００及びフロー算出部２０１は、画像認識プロセッサ１６０により実現される。また、第１の異常検出部２０２、第２の異常検出部２０３、及び総合判定部２０４は、ＣＰＵ１７０により実現される。

特徴抽出部２００は、図１に示した特徴抽出部２に相当する。すなわち、特徴抽出部２００は、各カメラ（カメラ１０１Ａ〜１０１Ｄ、及び拡張カメラ１０６）により撮像された画像の画像特徴（すなわち、特徴点及び特徴量）を、予め定められた抽出アルゴリズムにより抽出する。なお、カメラ１０１Ａ〜１０１Ｄ、及び拡張カメラ１０６は動画を撮影するため、特徴抽出部２００は時間的に連続する画像フレームのそれぞれについて画像特徴を抽出する。本実施の形態では、特徴抽出部２００は、画像処理プロセッサ１５０による画像処理が行われた画像について、画像特徴を抽出する。

上記予め定められた抽出アルゴリズムとしては、例えば、ＨａｒｒｉｓやＧｏｏｄＦｅａｔｕｒｅｓＴｏＴｒａｃｋなどといった、学術論文により公知のアルゴリズムが挙げられる。特徴点としては、例えば、画像において、被写体の輪郭を取得でき、かつ、フレーム間での動きが追跡できる点が抽出される。そのような特徴点は、例えば、コーナーに存在するが、コーナーに限定されない。また、特徴抽出部２００は、抽出した特徴点に対し、上記予め定められた抽出アルゴリズムで特徴量を算出する。

特徴抽出部２００は、カメラ毎に予め設定された特徴抽出範囲（図５及び図６の特徴抽出範囲Ｒ１_Ａ、Ｒ１_Ｂ参照）内の領域と、特徴点の移動先として推定される位置の近傍領域に対し抽出処理を実行する。なお、特徴抽出範囲と、他の範囲との関係については、図５及び図６を参照して後述する。特徴点の移動先として推定される画像内の位置は、例えば、フロー算出部２０１により推定される。

フロー算出部２０１は、図１に示したフロー算出部３に相当する。フロー算出部２０１は、特徴抽出部２００が抽出した特徴点のオプティカルフローを特徴点の特徴量に基づいて算出する。具体的には、ｎ−１番目の画像フレームＩ_ｎ−１における特徴点を特徴点Ａ_ｎ−１とすると、フロー算出部２０１は、画像フレームＩ_ｎ−１の次の画像フレームであるｎ番目の画像フレームＩ_ｎで抽出された対応する特徴点Ａ_ｎがどの方向に移動したかを、特徴点の特徴量を照合することにより算出する。このようにして、フロー算出部２０１は、複数のフレーム間における特徴点の移動を示すベクトルを算出する。例えば、フロー算出部２０１は、学術論文により公知のアルゴリズム（ＯｐｔｉｃａｌＦｌｏｗＬＫ など）を用いて、オプティカルフローを算出する。ここで、フロー算出部２０１は、カメラ毎に予め設定されたフロー追跡範囲（図５及び図６のフロー追跡範囲Ｒ２_Ａ、Ｒ２_Ｂ参照）内で、特徴抽出部２００で抽出された特徴点を起点としたオプティカルフローを算出する。なお、フロー追跡範囲と、他の範囲との関係については後述する

また、フロー算出部２０１は、特徴点の移動先の位置を推定する。フロー算出部２０１は、ｎ番目までの画像フレームに基づいて既に算出されたオプティカルフローから、ｎ＋１番目の画像フレームＩ_ｎ＋１における特徴点Ａ_ｎ＋１の位置を推定する。例えば、フロー算出部２０１は、被写体又はカメラがほぼ等速直線運動をしていると仮定して、ｎ＋１番目の画像フレームＩ_ｎ＋１における特徴点Ａ_ｎ＋１の位置を推定する。これに対し、特徴抽出部２００は、フロー算出部２０１により推定された位置の近傍領域（例えば、推定された位置からの距離が所定の範囲内の画像領域）に対し、画像特徴の抽出処理を実行する。

第１の異常検出部２０２は、図１に示した第１の異常検出部４に相当する。すなわち、第１の異常検出部２０２は、カメラ１０１Ａからの画像に対しフロー算出部２０１が算出したオプティカルフローに基づいてカメラ１０１Ａからの画像の異常を検出する。また、第１の異常検出部２０２は、カメラ１０１Ｂからの画像に対しフロー算出部２０１が算出したオプティカルフローに基づいて、カメラ１０１Ｂからの画像の異常を検出する。また、第１の異常検出部２０２は、カメラ１０１Ｃからの画像に対しフロー算出部２０１が算出したオプティカルフローに基づいて、カメラ１０１Ｃからの画像の異常を検出する。また、第１の異常検出部２０２は、カメラ１０１Ｄからの画像に対しフロー算出部２０１が算出したオプティカルフローに基づいて、カメラ１０１Ｄからの画像の異常を検出する。また、拡張カメラ１０６が設けられている場合には、第１の異常検出部２０２は、拡張カメラ１０６からの画像に対するオプティカルフローに基づいて、拡張カメラ１０６からの画像の異常を検出する。このように、第１の異常検出部２０２は、１台のカメラからの画像を用いて、このカメラからの画像の異常を検出する。

第１の異常検出部２０２による異常検出についてさらに説明する。なお、ここでは、カメラ１０１Ａからの画像に対する異常検出を例に説明するが、他のカメラからの画像の異常検出も同様である。第１の異常検出部２０２は、特徴抽出範囲Ｒ１内の特徴点を起点とするオプティカルフローに基づいてカメラ１０１Ａからの画像の異常を検出する。第１の異常検出部２０２は、被写体又はカメラがほぼ等速直線運動を行っている際の動画がカメラにより取得されているという前提のもと、オプティカルフローの連続性を判定することにより画像の異常検出を行う。

以下、第１の異常検出部２０２による、オプティカルフローの連続性の判定について説明する。第１の異常検出部２０２は、カメラからの画像についてのオプティカルフローの移動方向及び移動量の時間的な変動が所定の範囲内に収まっている場合、カメラからの画像は正常であると判定する。これに対し、第１の異常検出部２０２は、カメラからの画像についてのオプティカルフローの移動方向及び移動量の時間的な変動が所定の範囲内に収まっていない場合など、移動方向及び移動量の時間的な変動が所定の範囲内に収まっているオプティカルフローを取得できない場合には、画像が異常であると判定する。

カメラ１０１Ａの被写体又はカメラ１０１Ａが等速直線運動を行っている場合、カメラ１０１Ａから所定のフレームレートで取得される画像フレームにおいては、時間的に隣接するフレーム間での特徴点の移動方向及び移動量は一定になる。したがって、第１の異常検出部２０２は、移動方向Ｐ_ｎと移動方向Ｐ_ｎ＋１との差分が許容範囲Ｐ_Ｒ内であるか否か、及び移動距離Ｑ_ｎと移動距離Ｑ_ｎ＋１との差分が許容範囲Ｑ_Ｒ内であるか否かを判定する。なお、移動方向Ｐ_ｎは、ｎ−１番目の画像フレームＩ_ｎ−１内の特徴点Ａ_ｎ−１に対応する、画像フレームＩ_ｎ内の特徴点Ａ_ｎの特徴点Ａ_ｎ−１からの移動方向である。移動方向Ｐ_ｎ＋１は、特徴点Ａ_ｎに対応する画像フレームＩ_ｎ＋１内の特徴点Ａ_ｎ＋１の特徴点Ａ_ｎからの移動方向である。また、移動距離Ｑ_ｎは、特徴点Ａ_ｎの特徴点Ａ_ｎ−１からの移動距離であり、移動距離Ｑ_ｎ＋１は、特徴点Ａ_ｎ＋１の特徴点Ａ_ｎからの移動距離である。

第１の異常検出部２０２は、移動方向Ｐ_ｎと移動方向Ｐ_ｎ＋１との差分が許容範囲Ｐ_Ｒ内であり、かつ、移動距離Ｑ_ｎと移動距離Ｑ_ｎ＋１との差分が許容範囲Ｑ_Ｒ内である場合、画像が正常であると判定し、それ以外の場合、異常であると判定する。例えば、カメラ１０１Ａから画像認識プロセッサ１６０までの間に存在する回路、もしくはカメラ１０１Ａ自身に何らかの故障が発生して、カメラ１０１Ａからの画像が一定間隔で入力されなくなった場合、移動方向及び移動量の時間的な変動が所定の範囲内に収まっているオプティカルフローが取得できなくなるため、第１の異常検出部２０２により画像の異常が検出される。なお、第１の異常検出部２０２による異常の検出は、被写体又はカメラが必ずしも完全な等速直線運動を行っている必要はない。すなわち、第１の異常検出部２０２による異常を検出するためには、被写体又はカメラが移動してさえすればよい。言い換えると、被写体又はカメラの移動方向及び移動速度が変動してもよい。これは、隣接する画像フレーム間の時間が十分に小さく、さらに、判定に際し上記許容範囲が設定されているためである。

第２の異常検出部２０３は、図１に示した第２の異常検出部５に相当する。すなわち、第２の異常検出部２０３は、複数のカメラの画像の重複領域内の特徴点のオプティカルフローを用いて画像の異常を検出する。第２の異常検出部２０３は、画像の異常を検出するために、撮影範囲が一部重複する少なくとも２台のカメラからの画像を必要とする。以下、第２の異常検出部２０３の詳細を、撮影範囲が互いに一部重複するカメラ１０１Ａ及びカメラ１０１Ｂに注目して説明するが、第２の異常検出部２０３は、撮影範囲が互いに一部重複するカメラの他の組み合わせについても、同様の処理を行う。

第２の異常検出部２０３は、カメラ１０１Ａからの画像における重複抽出領域（図５及び図６の重複抽出領域Ｒ３_Ａ参照。）の特徴点のオプティカルフローと、カメラ１０１Ｂからの画像における重複抽出領域（図５及び図６の重複抽出領域Ｒ３_Ｂ参照）の特徴点のオプティカルフローとの比較結果に基づいて、カメラ１０１Ａからの画像又はカメラ１０１Ｂからの画像の異常を検出する。ここで、カメラ１０１Ａからの画像における重複抽出領域は、上記第１の重複抽出領域に相当し、カメラ１０１Ａからの画像における特徴抽出範囲（図５及び図６の特徴抽出範囲Ｒ１_Ａ参照）のうち、カメラ１０１Ｂからの画像における特徴抽出範囲（図５及び図６の特徴抽出範囲Ｒ１_Ｂ参照）と対応する領域である。言い換えると、カメラ１０１Ｂからの画像における重複抽出領域は、上記第２の重複抽出領域に相当し、カメラ１０１Ｂからの画像における特徴抽出範囲（図５及び図６の特徴抽出範囲Ｒ１_Ｂ参照）のうち、カメラ１０１Ａからの画像における特徴抽出範囲（図５及び図６の特徴抽出範囲Ｒ１_Ａ参照）と対応する領域である。

ここで、撮影範囲、特徴抽出範囲、フロー追跡範囲、重複抽出領域の関係について図５及び図６を参照して説明する。図５は、撮影範囲、特徴抽出範囲、フロー追跡範囲、及び重複抽出領域の関係について示す模式図である。なお、図５は、車両１００の上部から見た場合の関係を図示している。図６は、カメラ１０１Ａにより撮像された画像における各範囲の関係（図６の左側の図）とカメラ１０１Ｂにより撮像された画像における各範囲の関係（図６の右側の図）を示した模式図である。なお、図６に示した画像は、カメラから取得した画像に対して画像処理プロセッサ１５０を用いてデコード処理もしくは歪み補正などといった所定の画像処理を行って得られた矩形画像である。特徴抽出部２００及びフロー算出部２０１は、このような矩形画像に対し、処理を行う。図５及び図６では、カメラ１０１Ａ及びカメラ１０１Ｂに関する範囲のみを示すが、他のカメラについても同様に、範囲が設定される。以下、図５及び図６を参照しつつ、各範囲の関係について説明する。

図５には、カメラ１０１Ａの撮影範囲Ｒ_Ａと、カメラ１０１Ｂの撮影範囲Ｒ_Ｂとが、太い実線で囲まれた範囲として示されている。図６では、撮影範囲Ｒ_Ａ、Ｒ_Ｂは、それぞれ一番外側の枠線で示される領域である。図５においては、撮影範囲Ｒ_Ａと撮影範囲Ｒ_Ｂとは互いに一部が重複している。特徴抽出範囲Ｒ１_Ａは、撮影範囲Ｒ_Ａの領域の一部の領域に予め設定される。同様に、特徴抽出範囲Ｒ１_Ｂは、撮影範囲Ｒ_Ｂの領域の一部の領域に予め設定される。特に、特徴抽出範囲Ｒ１_Ａは、その少なくとも一部が、他のカメラ１０１Ｂの撮影範囲Ｒ_Ｂと重複する領域に及んでいる。同様に、特徴抽出範囲Ｒ１_Ｂは、その少なくとも一部が、他のカメラ１０１Ａの撮影範囲Ｒ_Ａと重複する領域に及んでいる。言い換えると、他のカメラの撮影範囲と重複する領域の少なくとも一部には、特徴抽出範囲が設定されている。なお、図５及び図６において、特徴抽出範囲（Ｒ１_ＡおよびＲ１_Ｂ）は、細かなハッチングにより示されている。特徴抽出範囲Ｒ１_Ａは、第１の部分領域とも称し、特徴抽出範囲Ｒ１_Ｂは、第２の部分領域とも称する。

カメラ１０１Ａに対しては、撮影範囲Ｒ_Ａの両サイドにそれぞれ特徴抽出範囲Ｒ１_Ａが設定されている。一方の特徴抽出範囲Ｒ１_Ａは、カメラ１０１Ｂの撮影範囲Ｒ_Ｂと重なる領域の一部を含むように設定された特徴抽出範囲であり、他方の特徴抽出範囲Ｒ１_Ａは、カメラ１０１Ｄの撮影範囲（図示せず）と重なる領域の一部を含むように設定された特徴抽出範囲である。同様に、カメラ１０１Ｂに対しては、撮影範囲Ｒ_Ｂの両サイドにそれぞれ特徴抽出範囲Ｒ１_Ｂが設定されている。一方の特徴抽出範囲Ｒ１_Ｂは、カメラ１０１Ａの撮影範囲Ｒ_Ａと重なる領域の一部を含むように設定された特徴抽出範囲であり、他方の特徴抽出範囲Ｒ１_Ｂは、カメラ１０１Ｃの撮影範囲（図示せず）と重なる領域の一部を含むように設定された特徴抽出範囲である。なお、図５に示した例では、特徴抽出範囲は、両カメラの撮影範囲が重なる領域の一部に設定されているが、両カメラの撮影範囲が重なる領域の全体にわたって設定されてもよい。

図５及び図６において、フロー追跡範囲は、ドットで塗りつぶされた領域（Ｒ２_ＡおよびＲ２_Ｂ）として示されている。フロー追跡範囲は、特徴抽出範囲を包含するように設定される。言い換えると、フロー追跡範囲は、特徴抽出範囲よりも広く設定されている。具体的には、カメラ１０１Ａに対するフロー追跡範囲Ｒ２_Ａは、両サイドの特徴抽出範囲Ｒ１_Ａを両方とも包含するように設定されている。同様に、カメラ１０１Ｂに対するフロー追跡範囲Ｒ２_Ｂは、両サイドの特徴抽出範囲Ｒ１_Ｂを両方とも包含するように設定されている。したがって、特徴抽出範囲Ｒ１_Ａは、フロー追跡範囲Ｒ２_Ａでもある。また、特徴抽出範囲Ｒ１_Ｂは、フロー追跡範囲Ｒ２_Ｂでもある。なお、図５及び図６において、フロー追跡範囲は、カメラの撮影範囲の一部の領域に設定されているが、フロー追跡範囲は、カメラの撮影範囲の全体にわたって設定されてもよい。

図５及び図６において、重複抽出領域（Ｒ３_ＡおよびＲ３_Ｂ）は、粗いハッチングにより示された領域である。重複抽出領域は、一方のカメラによる画像の特徴抽出範囲と、他方のカメラによる画像の特徴抽出範囲とが互いに撮影範囲上で重複した部分である。カメラ１０１Ａに対する重複抽出領域Ｒ３_Ａは、特徴抽出範囲Ｒ１_Ａでもあり、フロー追跡範囲Ｒ２_Ａでもある。同様に、カメラ１０１Ｂに対する重複抽出領域Ｒ３_Ｂは、特徴抽出範囲Ｒ１_Ｂでもあり、フロー追跡範囲Ｒ２_Ｂでもある。

第２の異常検出部２０３は、カメラ１０１Ａの画像におけるカメラ１０１Ｂの画像との重複領域内の所定の領域をオプティカルフローの追跡範囲として得られたオプティカルフローと、カメラ１０１Ｂの画像におけるカメラ１０１Ａの画像との重複領域内の所定の領域をオプティカルフローの追跡範囲として得られたオプティカルフローと用いて、画像の異常を検出する。すなわち、第２の異常検出部２０３による異常検出処理のために、カメラ１０１Ａの画像における特徴点は、カメラ１０１Ａの画像の重複領域内の所定の領域内で追跡される。同様に、第２の異常検出部２０３による異常検出処理のために、カメラ１０１Ｂの画像における特徴点は、カメラ１０１Ｂの画像の重複領域内の所定の領域内で追跡される。以下の説明では、重複領域内のこの所定の領域を比較領域とも称する。なお、一方の画像の比較領域と他方の画像の比較領域は、撮影範囲が対応している。すなわち、一方の画像の比較領域に存在する被写体は、他方の画像の比較領域にも存在している。本実施の形態では、比較領域は、重複抽出領域Ｒ３_Ａ、Ｒ３_Ｂ内に設けられた矩形領域Ｒ４_Ａ、Ｒ４_Ｂ（図６参照）であるが、重複抽出領域Ｒ３_Ａ、Ｒ３_Ｂであってもよい。なお、矩形領域Ｒ４_Ａ及び矩形領域Ｒ４_Ｂの詳細については後述する。

これに対し、第１の異常検出部２０２は、第２の異常検出部２０３における追跡範囲よりも広い範囲を追跡範囲として得られたオプティカルフローを用いてカメラ１０１Ａからの画像及びカメラ１０１Ｂからの画像の異常を検出する。具体的には、第１の異常検出部２０２による異常検出処理のために、カメラ１０１Ａの画像における特徴点は、フロー追跡範囲Ｒ２_Ａ内で追跡される。同様に、第１の異常検出部２０２による異常検出処理のために、カメラ１０１Ｂの画像における特徴点は、フロー追跡範囲Ｒ２_Ｂ内で追跡される。

第２の異常検出部２０３による異常検出についてさらに詳細を説明する。第２の異常検出部２０３は、カメラ１０１Ａからの画像における比較領域内の特徴点のオプティカルフローについての方向毎の標本数（度数）である第１の度数分布と、カメラ１０１Ｂからの画像における比較領域内の特徴点のオプティカルフローについての方向毎の標本数（度数）である第２の度数分布とを比較することにより、異常を検出する。なお、本実施の形態では、上述の通り、この比較領域は、具体的には矩形領域Ｒ４_Ａ、Ｒ４_Ｂであるが、重複抽出領域Ｒ３_Ａ、Ｒ３_Ｂであってもよい。

例えば、第２の異常検出部２０３は、上記第１の度数分布として、比較領域内の特徴点のオプティカルフローに対し、移動方向のヒストグラムを作成する。また、第２の異常検出部２０３は、上記第２の度数分布として、比較領域内の特徴点のオプティカルフローに対し、移動方向のヒストグラムを作成する。そして、第２の異常検出部２０３は、両ヒストグラムの要素間の正規化相互相関を算出し、両ヒストグラムが類似しているか否かを判定する。両ヒストグラムが類似している場合、すなわち、第１の度数分布と第２の度数分布が類似していると判定した場合、第２の異常検出部２０３は、カメラ１０１Ａからの画像及びカメラ１０１Ｂからの画像は、いずれも正常であると判定する。両ヒストグラムが類似していない場合、すなわち、第１の度数分布と第２の度数分布が類似していないと判定した場合、第２の異常検出部２０３は、カメラ１０１Ａからの画像又はカメラ１０１Ｂからの画像のいずれかが異常であると判定する。なお、第２の異常検出部２０３は、比較により検出を行うため、カメラ１０１Ａの画像とカメラ１０１Ｂの画像のうち、いずれが異常であるかは特定できない。

なお、本実施の形態では、上述の通り、第２の異常検出部２０３は、重複抽出領域内の予め指定された矩形領域内の特徴点のオプティカルフローを用いて度数分布を作成する。すなわち、図６で、重複抽出領域Ｒ３_Ａ内において太い実線の枠で示される所定の比較領域である矩形領域Ｒ４_Ａ内の特徴点と、重複抽出領域Ｒ３_Ｂ内において太い実線の枠で示される所定の比較領域である矩形領域Ｒ４_Ｂ内の特徴点とを用いて判定処理を行う。このように、本実施の形態では、第２の異常検出部２０３の処理では、重複抽出領域に含まれる所定の矩形領域内の特徴点が用いられるが、重複抽出領域全体の特徴点が用いられてもよいし、重複抽出領域内の任意の所定の形状の領域内の特徴点が用いられてもよい。なお、重複抽出領域内に設けられる所定の形状の領域は、重複抽出領域をはみ出さないよう、例えば車両システム１０の設計段階において予め設定されている。

ところで、本実施の形態のようにカメラ１０１Ａとカメラ１０１Ｂの撮影方向が異なる場合には、同一の被写体に対するカメラ１０１Ａの画像上の移動方向とカメラ１０１Ｂの画像上の移動方向とは異なる。すなわち、ある被写体が空間上で方向Ｘに移動した場合、カメラ１０１Ａからの画像上では当該被写体の特徴点は例えば方向Ｘ_Ａに移動するのに対し、カメラ１０１Ｂからの画像上では当該被写体の特徴点は例えば方向Ｘ_Ｂに移動する。したがって、第２の異常検出部２０３は、カメラ１０１Ａとカメラ１０１Ｂの撮影方向が異なる場合には、移動方向が正規化されたオプティカルフローについてのヒストグラムを作成する。このため、方向Ｘ_Ａが方向Ｘに正規化されるようオプティカルフローの回転処理が行われ、方向Ｘ_Ｂが方向Ｘに正規化されるようオプティカルフローの回転処理が行われる。回転処理における回転角度は、カメラ毎に異なっており、カメラ毎の撮影方向に応じて、例えば車両システム１０の設計段階において予め設定されている。したがって、カメラ１０１Ａとカメラ１０１Ｂの撮影方向が異なる場合には、第２の異常検出部２０３は、例えば、カメラ１０１Ａの画像における特徴点についてフロー算出部２０１により算出された移動方向を、予め指定された第１の角度だけ回転させた上で度数分布を作成する。同様に、カメラ１０１Ｂの画像における特徴点についてフロー算出部２０１により算出された移動方向を、予め指定された第２の角度だけ回転させた上で度数分布を作成する。ただし、カメラ１０１Ａとカメラ１０１Ｂの撮影方向が同じである場合には、このような回転処理は必要ない。

次に総合判定部２０４について説明する。総合判定部２０４は、第１の異常検出部２０２による検出結果と第２の異常検出部２０３による検出結果とに基づいて、画像の異常の有無を最終判定する。したがって、第１の異常検出部２０２による異常の有無の判定及び第２の異常検出部２０３による異常の有無の判定は、最終判定の前段に位置付けられる仮判定といえる。

総合判定部２０４は、第１の異常検出部２０２による検出結果と第２の異常検出部２０３による検出結果とに基づいて、予め定められた最終判定規則にしたがって判定を行えばよい。最終判定規則としては、任意の規則を採用可能であるが、本実施の形態では総合判定部２０４は、一例として以下のような規則に従って最終判定を行う。

本実施の形態では、総合判定部２０４は、第２の異常検出部２０３による検出結果を第１の異常検出部２０２による検出結果よりも優先させて最終判定を行う。すなわち、あるカメラの画像に対して、第１の異常検出部２０２による検出結果と第２の異常検出部２０３による検出結果とが矛盾する場合、総合判定部２０４は、第２の異常検出部２０３による検出結果を採用して、このカメラの画像が異常であるか否かを最終判定する。これは、第１の異常検出部２０２による検出は、１台のカメラの画像だけを用いた異常判定であるのに対し、第２の異常検出部２０３による検出は、２台以上のカメラの画像の比較であるため、比較される両画像が同じような異常を含む可能性が低いことを鑑みると、第２の異常検出部２０３による検出の方が、判定精度が高いからである。

また、本実施の形態では、総合判定部２０４は、第２の異常検出部２０３の検出について、次のように扱う。なお、以下では、第２の異常検出部２０３における比較対象としてカメラ１０１Ａの画像及びカメラ１０１Ｂの画像に注目して説明するが、総合判定部２０４は、撮影範囲が互いに一部重複するカメラの他の組み合わせについても、同様の処理を行う。

総合判定部２０４は、カメラ１０１Ａの画像についての度数分布（ヒストグラム）の標本数（言い換えると、方向毎のオプティカルフローの数の総数）及びカメラ１０１Ｂの画像についての度数分布（ヒストグラム）の標本数（言い換えると、方向毎のオプティカルフローの数の総数）に基づいて、カメラ１０１Ａの画像及びカメラ１０１Ｂの画像についての第２の異常検出部２０３の検出結果を最終判定のために用いるか否かを決定する。

度数分布の標本数が予め定められた数未満である場合、当該度数分布を用いた比較結果の信頼性は低いと考えられる。このため、例えば、カメラ１０１Ａの画像についての度数分布の標本数及びカメラ１０１Ｂの画像についての度数分布の標本数がいずれも予め定められた数未満である場合、総合判定部２０４は、これらの度数分布に基づく第２の異常検出部２０３の検出結果を最終判定の際に用いない。なお、両度数分布の標本数が、いずれも予め定められた数未満である場合、第２の異常検出部２０３による比較処理が省略されてもよい。

これに対し、例えば、カメラ１０１Ａの画像についての度数分布の標本数及びカメラ１０１Ｂの画像についての度数分布の標本数がいずれも予め定められた数以上である場合、総合判定部２０４は、これらの度数分布に基づく第２の異常検出部２０３の検出結果を最終判定に用いる。すなわち、総合判定部２０４は、この場合、これらの度数分布に基づく第２の異常検出部２０３の検出結果を考慮して最終判定を行う。

なお、比較される一方の度数分布の標本数が予め定められた数未満であり、比較される他方の度数分布の標本数が予め定められた数以上である場合、総合判定部２０４は、例えば次のようにこれらの度数分布に基づく第２の異常検出部２０３の検出結果を扱う。この場合、第２の異常検出部２０３がカメラ１０１Ａの画像及びカメラ１０１Ｂの画像が正常であると判定したときは、総合判定部２０４は、これらの度数分布に基づく第２の異常検出部２０３の検出結果を最終判定の際に用いる。これに対し、第２の異常検出部２０３がカメラ１０１Ａの画像又はカメラ１０１Ｂの画像が異常であると判定したときは、総合判定部２０４は、これらの度数分布に基づく第２の異常検出部２０３の検出結果を最終判定に用いない。

なお、カメラ１０１Ａの画像の度数分布とカメラ１０１Ｂの画像の度数分布の比較による検出結果が総合判定部２０４に利用されないとしても、カメラ１０１Ａの画像の度数分布とカメラ１０１Ａと隣接する他のカメラであるカメラ１０１Ｄの画像の度数分布の比較による検出結果は総合判定部２０４に利用されうる。これは、カメラ１０１Ａについて、一方の比較領域内の特徴点のオプティカルフローの総数が少なくとも、他方の比較領域内の特徴点のオプティカルフローの総数が多い場合があるからである。同様に、カメラ１０１Ｂの画像の度数分布とカメラ１０１Ｂと隣接する他のカメラであるカメラ１０１Ｃの画像の度数分布の比較による検出結果は総合判定部２０４に利用されうる。

次に、本実施の形態にかかる車両システム１０による異常判定処理の動作について説明する。図７は、実施の形態１にかかる車両システム１０による異常判定処理の動作の一例を示すフローチャートである。以下、図７に示すフローチャートに沿って、車両システム１０による異常判定処理の動作について説明する。

ステップ１００（Ｓ１００）において、カメラ１０１Ａ〜１０１Ｄが撮影した動画の画像が画像認識プロセッサ１６０に入力される。なお、拡張カメラ１０６が設けられている場合には、拡張カメラ１０６が撮影した動画の画像も画像認識プロセッサ１６０に入力される。

次に、ステップ１０１（Ｓ１０１）において、特徴抽出部２００が、各カメラにより撮像された画像の画像特徴を抽出する。
次に、ステップ１０２（Ｓ１０１）において、フロー算出部２０１は、特徴抽出部２００が抽出した特徴点のオプティカルフローを算出する。

次に、ステップ１０３（Ｓ１０３）及びステップ１０４（Ｓ１０４）の処理が行われる。なお、ステップ１０３（Ｓ１０３）及びステップ１０４（Ｓ１０４）の処理は、図７に示すように並列に行われてもよいが、順番に行われてもよい。

ステップ１０３では、第１の異常検出部２０２がステップ１０２で得られたオプティカルフローを用いて異常検出処理を行う。また、ステップ１０４では、第２の異常検出部２０３がステップ１０２で得られたオプティカルフローを用いて異常検出処理を行う。すなわち、ステップ１０１及びステップ１０２による処理結果は、第１の異常検出部２０２及び第２の異常検出部２０３に共用される。

次に、ステップ１０５（Ｓ１０５）において、総合判定部２０４が第１の異常検出部２０２による検出結果と第２の異常検出部２０３による検出結果とに基づいて、画像の異常の有無を最終判定する。画像が異常であると総合判定部２０４に判定された場合（ステップ１０６（Ｓ１０６）においてＹｅｓ）、すなわち、故障が発生していると判定された場合、予め定められたフェイルセーフ処理が実施される（ステップ１０７（Ｓ１０７））。例えば、総合判定部２０４は、画像が異常であると最終判定した場合、判断用ＭＣＵ１１１に異常の発生を通知する。判断用ＭＣＵ１１１は、異常の発生の通知を受信すると、警告表示装置１０４への警告の表示及び認識用ＭＣＵ１１０のリセット処理などといったフェイルセーフ処理を実施する。画像が正常であると総合判定部２０４に判定された場合（ステップ１０６（Ｓ１０６）においてＮｏ）、通常動作が実施される（ステップ１０８（Ｓ１０８））。

以上、実施の形態１について説明した。車両システム１０では、第１の異常検出部２０２により、１台のカメラから取得された画像を用いた異常検出が行われ、第２の異常検出部２０３により、２台以上のカメラのそれぞれから取得される画像の比較による異常検出が行われる。このため、いずれか１種類の異常検出が行われる場合に比べ、異常検出の精度を向上することができる。また、第１の異常検出部２０２のための画像特徴と第２の異常検出部２０３のための画像特徴は、いずれも共通の抽出アルゴリズムにより抽出される。したがって、効率的に、画像特徴の抽出処理を実現することができる。そして、車両システム１０では、画像の全体の領域ではなく、部分領域をオプティカルフローの起点のための画像特徴の抽出範囲としている。このため、画像特徴の抽出処理にかかる負荷を抑制することができる。よって、車両システム１０では、第１の異常検出部２０２による異常検出と、第２の異常検出部２０３による異常検出との両方を、処理負荷を抑制しつつ実現することができる。

また、第１の異常検出部２０２は、１台のカメラの画像から得られるオプティカルフローの時間的な変動に基づいて画像の異常を検出する。このため、１台のカメラの画像を用いた異常検出を実現することが可能である。

また、第２の異常検出部２０３は、複数のカメラの画像の重複領域内の特徴点のオプティカルフローを用いて画像の異常を検出する。したがって、第１の異常検出部２０２も第２の異常検出部２０３も、オプティカルフローを用いて画像の異常を検出するため、オプティカルフローの算出処理結果を、第１の異常検出部２０２と第２の異常検出部２０３とで共用できる。すなわち、異常検出にかかる処理の負荷を抑制することができる。

また、第１の異常検出部２０２は、第２の異常検出部２０３における追跡範囲よりも広い範囲を追跡範囲として得られたオプティカルフローを用いて画像の異常を検出する。第２の異常検出部２０３の検出は、重複領域について、複数の画像間で比較することで行われる。このため、検出のために用いることが可能な領域は限定的である。これに対し、第１の異常検出部２０２の検出においては、重複領域のみならず、より広い領域を利用して異常の検出を行うことができる。オプティカルフローを確実に検出するためには、追跡範囲が広い方が好ましい。本実施の形態では、上述の通り、第１の異常検出部２０２は、第２の異常検出部２０３における追跡範囲よりも広い範囲を追跡範囲としているため、第２の異常検出部２０３における追跡範囲と同じ範囲を追跡範囲とする場合に比べ、より確実に第１の異常検出部２０２のためのオプティカルフローを検出することができる。言い換えると、第１の異常検出部２０２と第２の異常検出部２０３とで追跡範囲を同じにする場合と比べ、第１の異常検出部２０２における異常の検出精度を向上することができる。

また、第２の異常検出部２０３は、一方の画像のオプティカルフローについての度数分布と、他方の画像のオプティカルフローについての度数分布とを比較することにより、異常を検出する。このため、オプティカルフローを用いた画像の比較を行うことが可能となる。

また、総合判定部２０４は、度数分布の標本数に基づいて、第２の異常検出部２０３の異常検出結果を最終判定のために用いるか否かを決定する。このため、標本数が少ないことにより度数分布の信頼性が低い場合に、第２の異常検出部２０３の異常検出結果が最終判定に反映されることを防ぐことができる。

また、総合判定部２０４は、第２の異常検出部２０３による検出結果を第１の異常検出部２０２による検出結果よりも優先させて最終判定を行う。よって、２台以上のカメラの画像を比較する判定手法であるために１台のカメラ画像を用いた判定手法よりも信頼性が高い第２の異常検出部２０３による検出結果が優先される。したがって、より信頼性の高い最終判定を行うことができる。

＜実施の形態２＞
次に実施の形態２について説明する。実施の形態１では、比較領域の形状は矩形であった。すなわち、第２の異常検出部２０３は、重複抽出領域内の予め指定された矩形領域（矩形領域Ｒ４_Ａ、Ｒ４_Ｂ）内の特徴点のオプティカルフローを用いて度数分布を作成した。これに対し、実施の形態２では、比較領域の形状が円形である。すなわち、実施の形態２では、重複抽出領域内に予め指定された円形領域（図８の円形領域Ｒ５_Ａ、Ｒ５_Ｂ）内の特徴点のオプティカルフローを用いて度数分布が作成される。以下、実施の形態２について説明するが、実施の形態１と同様の構成及び動作については説明を省略する。

上述したとおり、比較対象の複数のカメラの撮影方向が異なる場合には、移動方向が正規化されたオプティカルフローについてのヒストグラムを作成する必要がある。すなわち、カメラ毎に所定の角度だけ回転処理を行った上で、ヒストグラムを作成する必要がある。そこで、本実施の形態では、カメラの画像に対する比較領域は、中心座標（ｘ，ｙ）、半径ｒ、及び回転角度θにより指定される。ここで、回転角度θは、移動方向の正規化のための角度であり、カメラの撮影方向に基づいてカメラ毎に予め定められた角度である。

図８は、実施の形態２における比較領域について示す模式図である。図８に示すように、実施の形態２にかかる第２の異常検出部２０３は、カメラ１０１Ａの画像に対しフロー算出部２０１が算出された特徴点のオプティカルフローのうち、中心座標（ｘ_Ａ，ｙ_Ａ）、半径ｒ_Ａで決まる範囲を角度θ_Ａだけ回転させた円形領域Ｒ５_Ａの特徴点のオプティカルフローを比較対象とすることで、オプティカルフローの移動方向を角度θ_Ａだけ回転させた度数分布を作成する。同様に、実施の形態２にかかる第２の異常検出部２０３は、カメラ１０１Ｂの画像に対しフロー算出部２０１が算出された特徴点のオプティカルフローのうち、中心座標（ｘ_Ｂ，ｙ_Ｂ）、半径ｒ_Ｂで決まる範囲を角度θ_Ｂだけ回転させた円形領域Ｒ５_Ｂの特徴点のオプティカルフローを比較対象とすることで、オプティカルフローの移動方向を角度θ_Ｂだけ回転させた度数分布を作成する。そして、第２の異常検出部２０３は、これらの度数分布を比較することで、画像の異常の検出を行う。ここで、本実施の形態では、比較領域は円形状であるため、角度θ_Ａ、θ_Ｂの回転を行っても比較領域の範囲は変わらない。

実施の形態１では、比較領域は矩形形状であった。この場合に、カメラの画像に対する比較領域を、例えば、矩形領域の左上の座標（ｘ，ｙ）、矩形の幅ｗ、矩形の高さｈ、及び回転角度θにより指定することを考える。又は、比較領域を、矩形領域の左上の座標（ｘ０，ｙ０）、右下の座標（ｘ１，ｙ１）、及び回転角度θにより指定することを考える。この場合、座標で指定された矩形範囲を回転角度θだけ回転させた領域は、座標で指定された矩形範囲とは異なる範囲となってしまう。したがって、設定した座標に基づく範囲と実際に比較される範囲が一致しなくなってしまう。その結果、カメラ１０１Ａの比較領域とカメラ１０１Ｂの比較領域が対応しない恐れがある。これに対し、本実施の形態では比較領域が円形状であり、回転させても範囲が変化しないため、カメラ１０１Ａの比較領域とカメラ１０１Ｂの比較領域を対応させることができ、より精度良く異常検出を行うことができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態１及び実施の形態２では、画像から得られた情報のみから画像の異常を判定した。これに対し、本実施の形態では、さらに、車両の移動情報に基づいて、カメラからの画像の異常を判定する。以下、実施の形態３について説明するが、実施の形態１及び実施の形態２と同様の構成及び動作については説明を省略する。

図９は、実施の形態３にかかる車両システム１１のハードウェア構成の一例を示すブロック図である。車両システム１１は、ＧＮＳＳ装置１０７及び測位用ＭＣＵ１１５をさらに有する点で、図３に示した車両システム１０と異なる。

ＧＮＳＳ装置１０７は、ＧＮＳＳ（Global Navigation Satellite System）信号に基づいて、車両１００の測位情報を取得する端末である。測位用ＭＣＵ１１５は、ＥＣＵ１０５に設けられている。測位用ＭＣＵ１１５は、バス１２６によりＧＮＳＳ装置１０７と接続されており、ＧＮＳＳ装置１０７により取得された測位情報から、車両１００の移動方向を示す方向情報及び移動速度を示す速度情報を演算する。また、測位用ＭＣＵ１１５は、車内ネットワーク１２５に接続されており、演算結果を認識用ＭＣＵ１１０に出力する。

図１０は、車両システム１１における異常検出処理に関する機能構成の一例を示すブロック図である。図１０に示すように、車両システム１１は、異常検出装置の構成として、特徴抽出部２００と、フロー算出部２０１と、情報取得部２０５と、第１の異常検出部２０２と、第２の異常検出部２０３と、第３の異常検出部２０６と、総合判定部２０４とを有する。すなわち、情報取得部２０５及び第３の異常検出部２０６が追加された点で、図４に示す構成と異なっている。情報取得部２０５及び第３の異常検出部２０６は、第１の異常検出部２０２、第２の異常検出部２０３、及び総合判定部２０４と同様、例えばＣＰＵ１７０により実現される。

情報取得部２０５は、車両１００の移動方向を示す方向情報と移動速度を示す速度情報とを取得する。具体的には、測位用ＭＣＵ１１５により計算された方向情報及び速度情報を取得する。なお、これに限らず、情報取得部２０５は、任意の他の装置から車両の方向情報及び速度情報を取得してもよい。例えば、情報取得部２０５は、ステアリング１０３が計測した操舵角に基づいて制御用ＭＣＵ１１２が算出した車両１００の方向情報を取得してもよいし、車速センサ（図示せず）から出力された速度情報を取得してもよい。

車両の移動速度及び移動方向と、カメラの撮影方向とがわかれば、当該カメラによる画像に含まれる特徴点の移動ベクトルが算出できるため、第３の異常検出部２０６は、情報取得部２０５が取得した情報及びカメラの予め定められた撮影方向から、このカメラの画像についてのオプティカルフローを推定する。そして、第３の異常検出部２０６は、推定されたオプティカルフローと、フロー算出部２０１により算出された、このカメラの画像についての実際のオプティカルフローとを比較して、このカメラの画像の異常を検出する。第３の異常検出部２０６は、カメラ毎に、画像の異常の検出処理を行う。

第３の異常検出部２０６は、特徴抽出範囲から抽出された特徴点のオプティカルフローについての方向毎の標本数（度数）を示す度数分布（ヒストグラム）と、情報取得部２０５からの情報から推定されるオプティカルフローについての方向毎の標本数（度数）を示す度数分布（ヒストグラム）とを比較することにより、画像の異常を検出する。具体的には、第３の異常検出部２０６は、両度数分布の要素間の正規化相互相関を算出し、両度数分布が類似しているか否かを判定する。両度数分布が類似している場合、第３の異常検出部２０６は、比較対象の画像は正常であると判定する。両度数分布が類似していない場合、第３の異常検出部２０６は、比較対象の画像が異常であると判定する。例えば、車両１００が移動中であるにもかかわらず、あるカメラの画像に含まれる特徴点が時間的に移動していないような場合、第３の異常検出部２０６は、このカメラの画像に異常が発生していることを検出できる。

なお、第２の異常検出部２０３による異常検出では、検出された異常が比較対象の画像のいずれに発生しているかは特定できないが、第３の異常検出部２０６による異常検出では、第１の異常検出部２０２による異常検出と同様、いずれのカメラの画像に異常が発生しているかを特定することができる。

本実施の形態の総合判定部２０４は、第１の異常検出部２０２による検出結果と、第２の異常検出部２０３による検出結果と、第３の異常検出部２０６による検出結果とに基づいて、画像の異常の有無を最終判定する。したがって、第１の異常検出部２０２による異常の有無の判定、第２の異常検出部２０３による異常の有無の判定、及び第３の異常検出部２０６による異常の有無の判定は、最終判定を行う前段に位置付けられる仮判定といえる。

総合判定部２０４は、第１の異常検出部２０２、第２の異常検出部２０３、及び第３の異常検出部２０６による検出結果に基づいて、予め定められた最終判定規則にしたがって判定を行えばよい。最終判定規則としては、任意の規則を採用可能である。

上述の通り、第２の異常検出部２０３による判定結果は、度数分布の標本数が予め定められた数未満である場合、第２の異常検出部２０３から信頼性のある判定結果は得られない。また、第１の異常検出部２０２による判定では、画像中の特徴点が移動する状況でないと正しい判定が得られない。したがって、例えば、総合判定部２０４は、第２の異常検出部２０３から信頼性のある判定結果が得られず、かつ、第１の異常検出部２０２からも判定結果が得られない場合、第３の異常検出部２０６による判定を最終判定としてもよい。

次に、本実施の形態にかかる車両システム１１による異常判定処理の動作について説明する。図１１は、実施の形態３にかかる車両システム１１による異常判定処理の動作の一例を示すフローチャートである。なお、図１１に示したフローチャートは、図７に示したフローチャートに、ステップ１５０（Ｓ１５０）及びステップ１５１（Ｓ１５１）を追加したものである。また、図１１に示したフローチャートは、図７に示したフローチャートに示したステップ１０５（Ｓ１０５）をステップ１５２（Ｓ１５２）に置き換えたものである。図１１に示したその他のステップについては、図７と同様である。以下、図７に示したフローチャートと異なる点について説明し、重複する説明を省略する。

車両システム１１による異常判定処理の動作では、ステップ１５０（Ｓ１５０）において、情報取得部２０５が、車両１００の移動方向を示す方向情報と移動速度を示す速度情報とを取得する。なお、図１１に示した例では、ステップ１５０は、ステップ１０２の後に実施されるが、ステップ１５０は、ステップ１５１における第３の異常検出部２０６の処理の前の任意のタイミングに実施されてもよい。

ステップ１５０の後、ステップ１５１（Ｓ１５１）において、第３の異常検出部２０６は、ステップ１５０で得られた情報からオプティカルフローを推定し、推定されたオプティカルフローと、ステップ１０２で算出されたオプティカルフローとを比較して、異常検出処理を行う。なお、第３の異常検出部２０６は、カメラ毎に異常検出処理を行う。

なお、ステップ１０３、ステップ１０４、及びステップ１５０の処理は、図１１に示すように並列に行われてもよいが、順番に行われてもよい。

次に、ステップ１５２（Ｓ１５２）において、総合判定部２０４が第１の異常検出部２０２、第２の異常検出部２０３、及び第３の異常検出部２０６による検出結果に基づいて、画像の異常の有無を最終判定する。

以上、実施の形態３について説明した。本実施の形態にかかる車両システム１１は、第１の異常検出部２０２及び第２の異常検出部２０３に加え、さらに第３の異常検出部２０６を有する。したがって、より確実に、画像の異常を検出することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。例えば、図１、図４、及び図１０に示した各構成要素は、一部又は全てがハードウェア回路により実現されてもよいし、ソフトウェアにより実現されてもよい。ソフトウェアにより実現される場合、例えば、メモリにロードされたプログラムをＣＰＵなどのプロセッサが実行することにより各構成要素が実現される。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄ カメラ
１ 異常検出装置
２、２００ 特徴抽出部
３、２０１ フロー算出部
４、２０２ 第１の異常検出部
５、２０３ 第２の異常検出部
１０、１１ 車両システム
１５０ 画像処理プロセッサ
１６０ 画像認識プロセッサ
１７０ ＣＰＵ
２０４ 総合判定部
２０５ 情報取得部
２０６ 第３の異常検出部
１１０ 認識用ＭＣＵ
Ｒ_Ａ、Ｒ_Ｂ 撮影範囲
Ｒ１_Ａ、Ｒ１_Ｂ 特徴抽出範囲
Ｒ２_Ａ、Ｒ２_Ｂ フロー追跡範囲
Ｒ３_Ａ、Ｒ３_Ｂ 重複抽出領域
Ｒ４_Ａ、Ｒ４_Ｂ 矩形領域
Ｒ５_Ａ、Ｒ５_Ｂ 円形領域

Claims (10)

1. 第１のカメラにより撮像された第１の画像の特徴点及び特徴量と、前記第１のカメラと撮影範囲が一部重複する第２のカメラにより撮像された第２の画像の特徴点及び特徴量とを、予め定められた抽出アルゴリズムにより抽出する特徴抽出部と、
   前記特徴抽出部が抽出した前記特徴点のオプティカルフローを該特徴点の特徴量に基づいて算出するフロー算出部と、
   前記第１の画像に対し前記フロー算出部が算出したオプティカルフローに基づいて前記第１の画像の異常を検出し、前記第２の画像に対し前記フロー算出部が算出したオプティカルフローに基づいて前記第２の画像の異常を検出する第１の異常検出部と、
   前記第１の画像における前記第２の画像との重複領域である第１の重複領域内の前記特徴点についての第１の指標値と、前記第２の画像における前記第１の画像との重複領域である第２の重複領域内の前記特徴点についての第２の指標値との比較結果に基づいて、前記第１の画像又は前記第２の画像の異常を検出する第２の異常検出部と、
   を有し、
   前記特徴抽出部による前記特徴点及び前記特徴量の抽出範囲は、前記第１の画像の所定の部分領域である第１の部分領域と、前記第２の画像の所定の部分領域である第２の部分領域と、前記特徴点の移動先として予測される、前記第１の画像及び前記第２の画像内の位置の近傍領域であり、
   前記第１の異常検出部は、前記第１の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第１の画像の異常を検出し、前記第２の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第２の画像の異常を検出し、
   前記第２の異常検出部は、前記第１の重複領域内に設定された第１の重複抽出領域内の前記特徴点と前記第２の重複領域内に設定された第２の重複抽出領域内の前記特徴点とを用いて異常を検出し、
   前記第１の重複抽出領域は、前記第１の部分領域のうち、前記第２の部分領域と対応する領域であり、前記第２の重複抽出領域は、前記第２の部分領域のうち、前記第１の部分領域と対応する領域であり、
   前記予め定められた抽出アルゴリズムは、前記第１の異常検出部により異常の検出が行われる場合と前記第２の異常検出部により異常の検出が行われる場合とで共通に用いられる
   異常検出装置。
2. 前記第１の指標値は、前記第１の重複抽出領域内の前記特徴点のオプティカルフローであり、
   前記第２の指標値は、前記第２の重複抽出領域内の前記特徴点のオプティカルフローである
   請求項１に記載の異常検出装置。
3. 前記第２の異常検出部は、前記第１の重複抽出領域内に指定された所定の円形領域における前記特徴点についてのオプティカルフローと、前記第２の重複領域内かつ前記第２の部分領域内に指定された所定の円形領域における前記特徴点についてのオプティカルフローとを比較する
   請求項２に記載の異常検出装置。
4. 前記第２の異常検出部は、前記第１の重複領域内の所定の領域をオプティカルフローの追跡範囲として得られたオプティカルフローと、前記第２の重複領域内の所定の領域をオプティカルフローの追跡範囲として得られたオプティカルフローと用い、
   前記第１の異常検出部は、前記第２の異常検出部における前記追跡範囲よりも広い範囲を追跡範囲として得られたオプティカルフローを用いて前記第１の画像及び前記第２の画像の異常を検出する
   請求項２に記載の異常検出装置。
5. 前記第２の異常検出部は、前記第１の重複抽出領域内の前記特徴点のオプティカルフローについての方向毎の標本数である第１の度数分布と、前記第２の重複抽出領域内の前記特徴点のオプティカルフローについての方向毎の標本数である第２の度数分布とを比較することにより、異常を検出する
   請求項２に記載の異常検出装置。
6. 前記第１の異常検出部による検出結果と前記第２の異常検出部による検出結果とに基づいて、前記第１の画像又は前記第２の画像の異常の有無を最終判定する総合判定部をさらに有し、
   前記総合判定部は、前記第１の度数分布の標本数及び前記第２の度数分布の標本数に基づいて、前記第２の異常検出部の検出結果を最終判定のために用いるか否かを決定する
   請求項５に記載の異常検出装置。
7. 前記第１の異常検出部による検出結果と前記第２の異常検出部による検出結果とに基づいて、前記第１の画像又は前記第２の画像の異常の有無を最終判定する総合判定部をさらに有し、
   前記総合判定部は、前記第２の異常検出部による検出結果を前記第１の異常検出部による検出結果よりも優先させて最終判定を行う
   請求項１に記載の異常検出装置。
8. 前記第１の異常検出部は、前記第１の画像についてのオプティカルフローの移動方向及び移動量の時間的な変動が所定の範囲内に収まっているか否かにより、前記第１の画像の異常を検出し、前記第２の画像についてのオプティカルフローの移動方向及び移動量の時間的な変動が所定の範囲内に収まっているか否かにより、前記第２の画像の異常を検出する
   請求項１に記載の異常検出装置。
9. 車両に設置され、前記車両の周辺を撮影する第１のカメラと、
   前記第１のカメラと撮影範囲が一部重複するよう前記車両に設置され、前記車両の周辺を撮影する第２のカメラと、
   前記第１のカメラにより撮像された第１の画像の特徴点及び特徴量と、前記第２のカメラにより撮像された第２の画像の特徴点及び特徴量とを、予め定められた抽出アルゴリズムにより抽出する特徴抽出部と、
   前記特徴抽出部が抽出した前記特徴点のオプティカルフローを該特徴点の特徴量に基づいて算出するフロー算出部と、
   前記第１の画像に対し前記フロー算出部が算出したオプティカルフローに基づいて前記第１の画像の異常を検出し、前記第２の画像に対し前記フロー算出部が算出したオプティカルフローに基づいて前記第２の画像の異常を検出する第１の異常検出部と、
   前記第１の画像における前記第２の画像との重複領域である第１の重複領域内の前記特徴点についての第１の指標値と、前記第２の画像における前記第１の画像との重複領域である第２の重複領域内の前記特徴点についての第２の指標値との比較結果に基づいて、前記第１の画像又は前記第２の画像の異常を検出する第２の異常検出部と、
   を有し、
   前記特徴抽出部による前記特徴点及び前記特徴量の抽出範囲は、前記第１の画像の所定の部分領域である第１の部分領域と、前記第２の画像の所定の部分領域である第２の部分領域と、前記特徴点の移動先として予測される、前記第１の画像及び前記第２の画像内の位置の近傍領域であり、
   前記第１の異常検出部は、前記第１の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第１の画像の異常を検出し、前記第２の部分領域内の前記特徴点についてのオプティカルフローに基づいて前記第２の画像の異常を検出し、
   前記第２の異常検出部は、前記第１の重複領域内に設定された第１の重複抽出領域内の前記特徴点と前記第２の重複領域内に設定された第２の重複抽出領域内の前記特徴点とを用いて異常を検出し、
   前記第１の重複抽出領域は、前記第１の部分領域のうち、前記第２の部分領域と対応する領域であり、前記第２の重複抽出領域は、前記第２の部分領域のうち、前記第１の部分領域と対応する領域であり、
   前記予め定められた抽出アルゴリズムは、前記第１の異常検出部により異常の検出が行われる場合と前記第２の異常検出部により異常の検出が行われる場合とで共通に用いられる
   車両システム。
10. 前記車両の移動方向を示す方向情報と移動速度を示す速度情報とを取得する情報取得部と、
    前記情報取得部が取得した情報及び前記第１のカメラの撮影方向から推定される前記第１の画像についてのオプティカルフローと前記フロー算出部により算出された前記第１の画像についてのオプティカルフローとを比較して、前記第１の画像の異常を検出し、前記情報取得部が取得した情報及び前記第２のカメラの撮影方向から推定される前記第２の画像についてのオプティカルフローと前記フロー算出部により算出された前記第２の画像についてのオプティカルフローとを比較して、前記第２の画像の異常を検出する第３の異常検出部と
    をさらに有する請求項９に記載の車両システム。

Images