JP2017161491A - 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両 - Google Patents

Abstract

【課題】複数の撮像部の内のいずれか１の撮像部で実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる、異常画像検出装置を提供する。【解決手段】異常画像検出装置２は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部２４と、信頼度判定部２４によって判定された低信頼度の画素の総数を算出する算出部２５と、算出部２５で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部２６とを有する。信頼度判定部２４は、原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素から作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部２４１を有する。【選択図】 図３

Description

本発明は、視差画像および視差画像作成に係る原画像の異常を検出する異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両に関する。

複数の撮像部を用いて写した画像から作成した視差画像に基づいて被写体までの距離を求めることができるステレオカメラを搭載した車両が提案されている。

車両に搭載されるステレオカメラの異常原因として、例えば、ステレオカメラ自体の故障（例えば、光学的、機械的、電気的故障）の他に、逆光や暗闇などの明暗の激しい条件で写した画像に基づいて作成した視差画像を用いたことで奥行距離を正確に算出できない等が挙げられる。

逆光や暗闇などの明暗の激しい条件に影響されることなく、ステレオカメラの異常状態を判別可能な異常診断装置が提案されている（例えば、特許文献１参照）。

特開２０１４−６２４３号公報

しかしながら、車両に搭載されるステレオカメラでは、左右のカメラで実質的に異なるシーンの画像が撮像される場合がある。例えば、いずれか一方のカメラにのみゴミ等が付着された状態で撮像した場合には、テクスチャが小さくなるためステレオマッチングをしても正しい視差値（視差画像）が得られない。また、ごみ等が付着する以外に、左右のカメラで異なるシーンを撮像する場合があり得る。

上記特許文献１の異常診断装置において、視差画像データの異常判断は、視差値分布や視差値分布の変化量（Ｎフレーム画像の視差値画像とＮ＋１フレーム画像の視差値画像との変化量）から判別している。具体的な判断方法は以下の（１）〜（４）であって、（１）視差が検出されないかを判断し、（２）最大視差値以上の視差があるかを判断し、（３）視差値のピーク数が閾値以上あるかを判断し、（４）前のフレームと視差値分布の類似度が低いかを判断する。しかしながら、これら（１）〜（４）の判断方法は、上述の「一方のカメラにのみごみ等が付着した条件」で撮像した画像に係る視差画像データが異常であるか否かを判断することは難しく、すべての判断結果が「ＮＯ」となり、視差画像データが正常であると判断される場合がある。

本発明は、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供することを目的とする。また、上記異常画像検出装置を備えた画像処理システムを提供することを目的とする。また、上記画像処理システムを搭載した車両を提供することを目的とする。

本発明は、複数の撮像部から得られ、かつ視差画像の作成に用いられる複数の原画像の内少なくとも１の原画像が異常であることを検出する異常画像検出装置であって、
前記視差画像の画素が低信頼度であるか否かを判定する信頼度判定部と、
前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、
前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断する異常判断部と、を有し、
前記信頼度判定部は、
前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する。

上記構成において、信頼度判定部は、視差画像作成に係る原画像の画素を用いて視差画像の画素の信頼度を判定する。エッジが弱い画素を信頼度の低い画素（低信頼度の画素）とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断する。これによって、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像（原画像）が撮像された場合でも、異常な視差画像を精度よく検出することができる。低信頼度の画素をそのまま用いた視差画像から奥行距離を算出すると精度が悪くなるため、障害物の検出精度が低下する。
前記エッジ強度判定部は、原画像の各画素のそれぞれについてエッジ強度を判定してもよい。エッジ強度が閾値よりも小さいまたは同じであると判定された画素（原画素の画素）に対応した視差画像中の画素が低信頼度の画素であると判定される。

原画像の各画素のエッジ強度を判定する場合に、各画素は、原画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

ここで「エッジ強度が少なくとも閾値より小さいまたは同じ」における「閾値」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用できる。例えば、テスト走行中に撮像した画像または視差画像のエッジ強度を求め、その平均値、最大値、最小値、標準偏差の指標から閾値を設定することができる。

上記発明の一実施形態として、前記信頼度判定部は、前記視差画像各画素の視差値が所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する。

この構成によれば、エッジ強度判定に加え、視差値が所定範囲内でない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定で異常検出できなかった場合でも、この視差値判定で異常な視差画像を判定することが可能になる。エッジ強度判定と視差値判定を含むことで、視差画像の異常判定をより確実に行える。

視差画像の各画素の視差値を判定する場合に、各画素は、視差画像の全領域の画素、一部の領域の画素、全領域から端領域を除いた中心側領域の画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

ここで「視差値が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよい。

上記発明の一実施形態として、前記視差画像は、前記複数の原画像の内、第１原画像（Ａ）を基準に作成される第１視差画像（Ａｂ）と、第２原画像（Ｂ）を基準に作成される第２視差画像（Ｂａ）を少なくとも含み、
前記信頼度判定部は、前記第１視差画像（Ａｂ）の第１画素（ｐＡ）の第１視差値（ｄ１）と、当該第１画素（ｐＡ）に対応する前記第２視差画像（Ｂａ）の第２画素（ｐＢ）の第２視差値（ｄ２）との差（ｄ１−ｄ２）が所定範囲内にない場合に、当該第１画素（ｐＡ）が低信頼度であると判定する視差値差判定部を有する。

この構成によれば、エッジ強度判定または、エッジ強度判定および視差値判定に加え、第１、第２視差値との差（ｄ１−ｄ２）が所定範囲内にない画素を低信頼度の画素とし、その画素の総数が所定値を超えた場合に視差画像が異常であると判断できる。エッジ強度判定または視差値判定で異常検出できなかった場合でも、この視差値差判定で異常な視差画像を判定することが可能になる。エッジ強度判定、視差値判定および視差値差判定を含むことで、視差画像の異常判定をさらに確実に行える。例えば、第１原画像（Ａ）が左原画像で、第２原画像（Ｂ）が右原画像でもよい。

第１画素（ｐＡ）は、第１視差画像（Ａｂ）の全領域の各画素、一部の領域の各画素、全領域から端領域を除いた中心側領域の各画素などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。

ここで「差（ｄ１−ｄ２）が所定範囲内」における「所定範囲」は、予め設定された値であり、例えば、経験的、実験的に求めた値を採用する。所定範囲は、上限と下限の閾値とで構成されるが、いずれか一方だけでもよく、例えば上限の閾値のみでもよい。

上記発明の一実施形態として、前記複数の撮像部は、例えば、左右配置の撮像部からなるステレオカメラ、上下配置の撮像部からなるステレオカメラ、正三角形の頂点に配置された３つの撮像部からなるステレオカメラ、３つ以上の撮像部を有するステレオカメラが挙げられる。

上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される１以上のデータを保存する記憶部をさらに有する。記憶部は、テンポラリー記憶部であってもよい。

上記発明の一実施形態として、異常画像検出装置は、前記原画像、前記原画像にエッジ強調処理を施したエッジ強調画像および前記視差画像から選択される１以上のデータを外部装置から取得する取得部をさらに有する。取得部は、例えば、通信手段（無線、有線）、記憶媒体の読取手段が挙げられる。

また、他の本発明は、複数の撮像部と、当該撮像部から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部と、当該視差画像作成部で作成された視差画像に基づいて奥行距離を算出する距離算出部を有する画像処理システムであって、上記に記載の異常画像検出装置と、前記異常画像検出装置が視差画像の異常を検出した場合に、異常情報を出力する出力部とを備える。また、一実施形態として、画像処理システムは、前記複数の原画像を補正処理する画像補正部をさらに有する。補正処理としては、例えばエッジを強調するエッジ強調処理が挙げられる。
また、一実施形態として、前記距離算出部は、前記視差画像作成部で作成された視差画像において、低信頼度の画素を除いた視差画像に基づいて奥行距離を算出してもよい。低信頼度の画素は、前記信頼度判定部で低信頼度であると判定された画素である。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。
また、一実施形態として、前記距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。

また、他の本発明は、上記画像処理システムを搭載する車両である。一実施形態として、前記車両は、撮像部の撮像方向前方にフロントウインドを備え、前記フロントウインドにワイパーを具備していない構成がある。

本発明によれば、複数の撮像部の内のいずれか１の撮像部で他の撮像部と実質的に異なるシーンの画像が撮像された場合に、信頼度の低い画素の総数に基づいて異常画像を検出することができる異常画像検出装置を提供することができる。また、この異常画像検出装置を備えた画像処理システムを提供することができる。また、この画像処理システムを搭載した車両を提供することができる。

実施形態１に係る車両の前面図である。 実施形態１に係る車両の機能ブロック図である。 実施形態１に係る画像処理システムの機能ブロック図である。 実施形態１に係る異常画像検出装置の機能ブロック図である。 左原画像および右原画像の一例である。 図４の原画像を用いて作成された視差画像の一例である。 エッジ強度判定部の信頼度判定のフローチャートである。 視差値判定部の信頼度判定のフローチャートである。 視差値差判定部の信頼度判定のフローチャートである。 視差値差を求めるための説明図である。 図４の左原画像をエッジ強調した画像の一例である。 ごみが付着していない状態の原画像の一例である。 図１１の原画像を用いて作成された視差画像の一例である。 図１２の視差画像の視差分布を示す図である。 図５の視差画像の視差分布を示す図である。 実施形態２に係る異常画像検出装置の機能ブロック図である。

（実施形態１）
実施形態１に係る異常画像検出装置を備える車両について、図面を参照しながら説明する。以下の説明において、車両として自律走行するゴルフカートを例に説明するが、ゴルフカートに制限されない。「前後」および「左右」は、車両の前進する方向を基準とする。本実施形態では、実質的に異なるシーンの画像として、ごみが付着した状態の画像を用いるが、これに制限されず、他の実質的に異なるシーンの画像でもよい。

（車両の概略構成）
図１Ａに示す車両１は、ゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両１には、撮像部５１と、撮像部５１から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部５２と、視差画像作成部５２で作成された視差画像に基づいて奥行距離を算出する距離算出部５３と、撮像部５１から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置２と、異常画像検出装置２が視差画像の異常を検出した場合に、異常情報を出力する出力部５４を有する画像処理システム５を搭載している。また、画像処理システム５は、車両１が走行する走路上の障害物を検出する障害物検出装置５５を有していてもよい。本実施形態１において、車両１は誘導線で誘導される自立走行可能な車両であるが、本発明はこれに制限されず、運転者による手動走行も可能であり、車両は誘導線のない走路も自由に走行可能である。

また、図１Ｂに示す車両１には、車両１が誘導線に沿って自律走行するのを制御する自律走行制御部６と、障害物検出装置５５が障害物を検出すると運転者および周囲に警告を発生する警告出力部７と、障害物の検出により減速または停止の制御をする走行速度制御部９と、車輪１２を駆動し、走行速度制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施形態１において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。

（画像処理システムの構成）
図２を参照しながら画像処理システム５を説明する。撮像部５１は、車両１のフロントガラスの上中央部に設けられている。撮像部５１は、左画像センサ５１１、右画像センサ５１２を有するステレオカメラである。別実施形態として、ステレオカメラは、２個以上の画像センサで構成されてもよい。左画像センサ５１１、右画像センサ５１２としては、例えば、可視光カメラが挙げられる。左画像センサ５１１および右画像センサ５１２は、それぞれ平行ステレオの位置関係で配置されている。本実施形態において特に明示しない限り、左画像センサ５１１を基準カメラとし、左画像センサ５１１で撮影された画像を基準画像とする。画像処理システム５は、マイクロプロセッサとメモリを有し、各構成部の機能を実現する構成である。

視差画像作成部５２は、左画像センサ５１１で撮影された画像を左原画像として、右画像センサ５１２で撮影された画像を右原画像として視差画像を作成する。図４（ａ）は左原画像、図４（ｂ）は右原画像の一例を示す。左原画像の中央部の黒塗りエリアｗｄは、左画像センサ５１１のレンズ前面にごみが付着している状態で撮像したことを意味している。

視差画像作成部５２は、左原画像を基準画像とした視差画像を作成する。視差画像は、全てのフレームについて作成されてもよく、任意のフレームを抽出して作成してもよいが、本実施形態では、所定間隔ごとのフレームを抽出して作成する。図５は図４の左原画像、右原画像を用いて作成された視差画像である。また、視差画像作成部５２は、視差値差判定部の信頼度判定で用いるために、右原画像を基準画像とした視差画像も作成する。視差画像は、例えばステレオマッチング等で作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施形態１において、視差は、基準画像である左原画像（または右原画像）に対する右原画像（左原画像）の画素のズレ量である。

距離算出部５３は、視差画像作成部５２で作成された視差画像に基づいて奥行距離を算出する。距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。すなわち、距離算出部５３は、正常であると判断された視差画像に低信頼度の画素が含まれている場合には、その低信頼度の画素を除いた視差画像を用い、異常であると判断された視差画像においては低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素を用いないことで、高精度の奥行距離を得られる。奥行距離は、障害物検出装置５５、走行速度制御部９などに提供される。

出力部５４は、異常画像検出装置２が視差画像の異常を検出した場合に、異常情報を出力する。出力としては、例えば、異常である旨の情報を表示手段に表示、スピーカーに音または音声で出力、点灯手段で出力、異常である旨の情報を外部装置に送信するなどが挙げられる。

（異常画像検出装置）
図３に示す異常画像検出装置２は、視差画像の画素が低信頼度であるか否かを判定する信頼度判定部２４と、信頼度判定部２４によって判定された低信頼度の画素の総数を算出する算出部２５と、算出部２５で得られた低信頼度の画素の総数が、所定値を超えた場合に、視差画像が異常であると判断する異常判断部２６を有する。

信頼度判定部２４は、エッジ強度判定部２４１と視差値判定部２４２と視差値差判定部２４３を有する。各判定部の判定について以下に詳述する。

エッジ強度判定部の判定方法について図６を参照しながら説明する。エッジ強度判定部２４１は、視差画像の第１領域ｗ内の画素における左原画像および右原画像のそれぞれの画素のエッジ強度が閾値以下であるか否かを判定する。以下において、左原画像の画素に対する判定と、右原画像の画素に対する判定を並行して行う方法について説明する。図５に示す視差画像は、図４（ａ）に示す左原画像および図４（ｂ）に示す右原画像をステレオマッチングして作成されている。エッジ強度判定部２４１は、視差画像の第１領域ｗ内の画素ｐ（ｕ，ｖ）における左原画像の画素のエッジ強度ｅＬ（ｕ，ｖ）を求める。同様にエッジ強度判定部２４１は、画素ｐ（ｕ，ｖ）における右原画像の画素のエッジ強度ｅＲ（ｕ，ｖ）を求める（Ｓ１）。エッジ強度は一般的なエッジ検出で求めることができる。

本実施形態では、第１領域ｗ内の画素ｐ（ｕ，ｖ）における左原画像の画素のエッジ強度ｅＬ（ｕ，ｖ）および右原画像の画素のエッジ強度ｅＲ（ｕ，ｖ）を求めているが、これに制限されず、別実施形態として、視差画像の領域ｗＬ内の画素ｐＬにおける左原画像の画素のエッジ強度ｅＬを求め、視差画像の領域ｗＲ（領域ｗＬと異なる領域）内の画素ｐＲにおける右原画像の画素のエッジ強度ｅＲを求めてもよい。

次いで、エッジ強度判定部２４１は、エッジ強度ｅＬが閾値ＥＬ１以下であるか否かを求める。同様にエッジ強度判定部２４１は、エッジ強度ｅＲが閾値ＥＲ１以下であるか否かを求める（Ｓ２）。ここで、閾値ＥＬ１と閾値ＥＲ１とは、同じ値でもよく、異なる値でもよい。

エッジ強度ｅＬが閾値ＥＬ１以下であった場合に、エッジ強度判定部２４１は、左原画像の画素が低信頼度の画素であると判定する。同様にエッジ強度ｅＲが閾値ＥＲ１以下であった場合に、エッジ強度判定部２４１は、右原画像の画素が低信頼度の画素であると判定する（Ｓ３−１）。算出部２５は、左原画像において低信頼度であると判定された画素の総数ＴＬ１をカウントする。同様に算出部２５は、右原画像において低信頼度であると判定された画素の総数ＴＲ１をカウントする（Ｓ４）。

一方、エッジ強度ｅＬが閾値ＥＬ１以下でなかった場合に、エッジ強度判定部２４１は、左原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する。同様に、エッジ強度ｅＲが閾値ＥＲ１以下でなかった場合に、エッジ強度判定部２４１は、右原画像の画素を低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ３−２）。低信頼度の画素に判定されなかった画素を高信頼度の画素と称する。第１領域ｗ内の画素における左原画像および右原画像の全ての画素に対しＳ２〜Ｓ４を繰り返す（Ｓ５）。

次いで、異常判断部２６は、低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えるか否かを判定する。同様に異常判断部２６は、総数ＴＲ１が所定値ＱＲ１を超えるか否かを判定する（Ｓ６）。所定値ＱＬ１、ＱＲ１は予め設定されている。所定値ＱＬ１と所定値ＱＲ１とは、同じ値でもよく、異なる値でもよい。異常判断部２６は、低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えた場合に左原画像が異常である（正常ではない）と判断する。同様に異常判断部２６は、総数ＴＲ１が所定値ＱＲ１を超えた場合に右原画像が異常である（正常ではない）と判断する（Ｓ７）。異常判断部２６は、少なくともいずれか一方の原画像が異常であると判断した場合、視差画像も異常であると判断する。前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数ＴＬ１が所定値ＱＬ１を超えず、かつ総数ＴＲ１が所定値ＱＲ１を超えなかった場合、視差値判定部２４２の判定が実行される。

視差値判定部の判定方法について図７を参照しながら説明する。本実施形態において、判定に係る視差画像の第１領域、第２領域、第３領域は同じ領域ｗとして説明するが、これに制限されず、別実施形態として、第１領域、第２領域、第３領域はそれぞれ異なる領域でもよい。

視差値判定部２４２は、視差画像の第２領域ｗの画素ｐ（ｕ，ｖ）の視差値ｄ（ｕ，ｖ）が所定範囲内でない場合に、当該画素ｐ（ｕ，ｖ）が低信頼度であると判定する。まず、視差値判定部２４２は、画素ｐ（ｕ，ｖ）の視差値ｄ（ｕ，ｖ）を求める（Ｓ１１）。視差値は従来の方法で求められる。

視差値判定部２４２は、視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下であるか否かを求める（Ｓ１２）。下限値Ｄ１，上限値Ｄ２は予め設定されている。視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下であった場合に、視差値判定部２４２は、低信頼度の画素であると判定する（Ｓ１３−１）。低信頼度の画素であると判定された場合、算出部２５は、その低信頼度の画素の総数Ｔ２をカウントする（Ｓ１４）。一方、視差値ｄ（ｕ，ｖ）が下限値Ｄ１以上で上限値Ｄ２以下でなかった場合に、視差値判定部２４２は、低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ１３−２）。第２領域ｗの画素の全てに対しＳ１２〜Ｓ１４を繰り返す（Ｓ１５）。

次いで、異常判断部２６は、低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えるか否かを判定する（Ｓ１６）。所定値Ｑ２は予め設定されている。異常判断部２６は、低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えた場合に視差画像および少なくともいずれか一方の原画像が異常である（正常ではない）と判断する（Ｓ１７）。異常であると判断された場合、前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数Ｔ２が所定値Ｑ２を超えなかった場合、視差値差判定部２４３の判定が実行される。

視差値差判定部の判定方法について図８を参照しながら説明する。視差値差判定部２４３は、例えば、左原画像基準の視差画像に第３領域ｗを設定し、この領域ｗ内の画素ｐＬ（ｕ，ｖ）の視差値ｄＬ（ｕ，ｖ）＝ｄとすると、当該画素ｐＬ（ｕ，ｖ）に対応する右原画像基準の視差画像の画素ｐＲ（ｕ−ｄ，ｖ）の視差値ｄＲ（ｕ−ｄ，ｖ）との差（ｄＬ−ｄＲ）が所定範囲内にない場合に、画素ｐＬ（ｕ，ｖ）を低信頼度であると判定する。なお、別実施形態として、右原画像基準の視差画像に第４領域ｗを設定し、画素ｐＲ（ｕ，ｖ）に対して信頼度を判定してもよい。かかる場合に、右原画像基準の視差画像の視差値ｄＲ（ｕ，ｖ）＝ｄに対応する左原画像基準の視差画像の視差値はｄＬ（ｕ＋ｄ，ｖ）であり，差（ｄＬ−ｄＲ）が所定範囲内にない場合に、画素ｐＲ（ｕ，ｖ）を低信頼度であると判定する。ここで、第３領域と第４領域とは、同じ領域でもよく、それぞれ異なる領域でもよい。左原画像基準の視差画像と右原画像基準の視差画像は、視差画像作成部５２で作成される。まず、視差値差判定部２４３は、視差値差（ｄＬ−ｄＲ）を求める（Ｓ２１）。

視差値差判定部２４３は、視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下であるか否かを求める（Ｓ２２）。下限値Ｄ３，上限値Ｄ４は予め設定されている。視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下であった場合に、視差値差判定部２４３は、画素ｐＬ（ｕ，ｖ）を低信頼度の画素であると判定する（Ｓ２３−１）。

図９を参照しながら、視差値差を求める一例を説明する。図９（ａ）は左原画像基準の視差画像の視差値、図９（ｂ）は右原画像基準の視差画像の視差値であり、それぞれ同じ座標を抜き出している。左原画像基準の視差画像と右原画像基準の視差画像とを比較する。左原画像基準の視差画像の枠内は、ｕ座標が１８で視差値が４である。ｕ座標の差（ズレ量）が４であるとして、右原画像基準の視差画像の同じｖ座標のｕ座標は１４（＝１８−４）であり、このｕ座標１４の視差値は９である。視差値差は「５（＝９−４）」である。Ｄ３＝０、Ｄ４＝１とした場合に、視差値差「５」はＤ４を超えるため、この座標の画素は低信頼度であると判定される。

低信頼度の画素であると判定された場合、算出部２５は、その低信頼度の画素の総数Ｔ３をカウントする（Ｓ２４）。一方、視差値差（ｄＬ−ｄＲ）が下限値Ｄ３以上で上限値Ｄ４以下でなかった場合に、視差値差判定部２４３は、画素ｐＬ（ｕ，ｖ）を低信頼度の画素ではなく高信頼度の画素であると判定する（Ｓ２３−２）。第３領域ｗの画素の全てに対しＳ２２〜Ｓ２４を繰り返す（Ｓ２５）。

次いで、異常判断部２６は、低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えるか否かを判定する（Ｓ２６）。所定値Ｑ３は予め設定されている。低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えた場合に異常判断部２６は、視差画像および少なくともいずれか一方の原画像が異常である（正常ではない）と判断する（Ｓ２７）。異常であると判断された場合、前述の出力部５４はその旨の情報、例えば異常な視差画像が検出された旨を出力することができる。また、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出する。低信頼度の画素の総数Ｔ３が所定値Ｑ３を超えていなかった場合、異常判断部２６は、視差画像および原画像が異常ではないと判断する。

（実施形態１の別構成例）
上記実施形態１において、エッジ強度判定部２４１は、エッジ強度が閾値以下であるか否かを判定したが、これに制限されず、エッジ強度が所定範囲にあるか否かを判定してもよい。

上記実施形態１において、エッジ強度は、例えば、ＳＯＢＥＬフィルター等のエッジ強調手段を施したあとの値（輝度値）としてもよい。図１０に図４の左原画像をエッジ強調した図の一例を示す。

上記実施形態１において、視差値判定部２４２は、視差値ｄ（ｕ，ｖ）が閾値以下の場合に、当該画素ｐ（ｕ，ｖ）が低信頼度であると判定してもよい。

上記実施形態１において、視差値差判定部２４２は視差値差（ｄＬ−ｄＲ）が閾値以下の場合に、低信頼度の画素であると判定してもよい。

上記実施形態１において、エッジ強度判定部２４１が左原画像と右原画像とに対する処理（Ｓ１〜Ｓ７）を並行して行っていたが、これに制限されず、いずれか一方の原画像に対する処理を行った後に、その他方の原画像に対する処理を実行してもよい。

上記実施形態１において、エッジ強度判定部２４１、視差値判定部２４２、視差値差判定部２４３の処理順序で実行していたが、これに制限されず、エッジ強度判定部２４１、視差値差判定部２４３、視差値判定部２４２の処理順序でもよい。

上記実施形態１において、異常画像検出装置２が、車両１に搭載されていない構成でもよく、この場合、画像処理システム５と異常画像検出装置２はネットワークを介して接続される。また、画像処理システム５が、車両１に搭載されていない構成でもよい。この場合、車両１に搭載された撮像部５１の撮影画像がネットワークを介して画像処理システム５へ送信される。

上記実施形態１において、視差画像作成部５２は、左画像センサ５１１、右画像センサ５１２で撮影された画像に種々の補正を施した画像から視差画像を作成してもよい。この場合、画像処理システム５は、各画像を各種補正処理する画像補正部（不図示）を有する。画像補正部で補正された各画像は、視差画像作成部５２へ出力される。画像の補正処理として、例えば、レンズの口径色等を原因とする複数の画像センサ間の輝度バラツキを補正する輝度補正処理や、各画像センサのレンズの歪みを補正する歪曲収差補正処理や、撮影した画像のエッジを強調するエッジ強調処理が挙げられる。画像補正として、これらの画像処理の少なくとも１つが実施される。画像補正として、左、右画像センサ５１１、５１２間の輝度を補正する処理、または、レンズ歪みを補正する処理、または、エッジを強調する処理のうち少なくとも１つの処理を実施することで、左、右画像センサ５１１、５、１２の固有特性に起因する画像の特性を平均化できる。左、右画像センサ５１１、５１２の個体差を低減することにより、撮影された各画像を基に作成する視差画像の精度を向上することができ、視差不連続部分を精度良く検出することができる。

上記実施形態１は、視差画像の所定領域（画素）の視差値の標準偏差（分散）の指標を算出する指標算出部をさらに有し、異常判断部が、指標算出部で算出された指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記視差画像が異常であると判断する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。ここで「視差画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。端領域は、複数の撮像部で互いに撮像エリアが異なるため予め除外することが好ましい。また「視差画像の所定領域」は、上記の「視差画像の第１領域」、「視差画像の第２領域」、「視差画像の第３領域」の内いずれかと同じ領域でもよく、異なる領域でもよい。
また、上記の「視差画像の第１領域」、「視差画像の第２領域」、「視差画像の第３領域」は、全領域から端領域を除いた中心側領域であったが、これに制限されず、全領域であってもよい。

上記実施形態１は、原画像のうち少なくとも２つの原画像の所定領域において、原画像で同じ座標の画素の画素値（輝度値）の差を計算する画素値差計算部と、画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される１つまたは１つ以上の指標を計算する指標計算部をさらに有し、異常判断部が、前記指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記２つの原画像の内少なくとも一方の原画像が異常であると判断する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。ここで「原画像の所定領域」は、例えば、全画素領域、全画素領域で端領域を除く中心領域などが挙げられる。

上記実施形態１の車両１は、撮像部の撮像方向前方にフロントウインドを設けた構成であったが、これに制限されず、例えば、撮像部が車両のフロント部に設けられていてもよい。

上記実施形態１において、距離算出部５３は、正常の視差画像と異常の視差画像のいずれにおいても、低信頼度の画素を除いた視差画像を用いて奥行距離を算出するものであったが、これに制限されず、以下の構成であってもよい。距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出してもよい。また、距離算出部は、異常が検出された視差画像を用いて奥行距離を算出する場合、低信頼度の画素を除いた視差画像を使用してもよい。

（実施形態２）
実施形態２に係る異常画像検出装置２は、画像処理システム５と別の装置として構成されている。図１５に示す異常画像検出装置２は、左原画像、右原画像および視差画像を外部装置から受信する通信部２１（取得部に相当する）と、通信部２１で受信した右原画像、左原画像および視差画像を保存する記憶部２２とをさらに有する構成である。通信部２１は、異常であると判断された原画像および視差画像に関する情報を上記外部装置または別の装置へ送信する機能を有する。通信部２１は、例えば原画像および視差画像の識別情報を上記外部装置または別の装置へ送信する。外部装置は、画像処理システム５であってもよく、異常画像検出装置２とネットワークを介して接続されるサーバまたは情報処理装置であってもよい。

ゴミが付着した状態とそうでない状態における視差画像を用い、上記実施形態１における信頼度判定と、上記特許文献１における視差分布を用いた信頼度判定を行った。図１１（ａ）にゴミが付着していない左原画像、図１１（ｂ）に右原画像を示し、その視差画像を図１２に示す。ごみが付着した視差画像は図５である。図１３に、図１２の視差画像の視差分布を示し、図１４に、図５の視差画像の視差分布を示す。視差分布は、横軸が視差値で縦軸がその頻度を示す。

上記実施形態１では、ごみが付着した左原画像を異常であると判断できた。一方、上記特許文献１に係る視差分布を用いた判定では、ごみが付着した場合の視差分布が、ごみが付着していないときの視差分布に対して、ある視差の頻度が小さくなる程度であった。このため、特許文献１の判断方法では、異常画像であることを正確に判断することは困難であった。

（別実施形態）
別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置であって、前記視差画像の所定領域（画素）の視差値の標準偏差（分散）の指標を算出する指標算出部と、前記指標算出部で算出された指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記視差画像が異常であると判断する異常判断部とを有する。この構成によれば、視差値のバラツキが大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態１または２に係る異常画像検出装置２の構成要素およびその機能をさらに有していてもよい。

他の別実施形態の異常画像検出装置は、
複数の撮像部から得られた複数の原画像に基づいて作成された視差画像および当該原画像の内少なくとも１の原画像が異常であるかを検出する異常画像検出装置であって、
前記原画像のうち少なくとも２つの原画像の所定領域において、原画像で同じ座標の画素の画素値（輝度値）の差を計算する画素値差計算部と、前記画素値差計算部で求められた前記画素値の差の、合計、平均、最大値、最小値および標準偏差の内から選択される１つまたは１つ以上の指標を計算する指標計算部と、前記指標が所定範囲内にない場合（または上限閾値を超える場合）に、前記２つの原画像の内少なくとも一方の原画像が異常であると判断する異常判断部とを有する。この構成によれば、輝度値の差が大きいことを判定することで、原画像が異常であることを判断できる。また、異常画像検出装置は、上記実施形態１または２に係る異常画像検出装置２の構成要素およびその機能をさらに有していてもよい。

なお、本願発明の「閾値」は、あらかじめ決められた固定値または固定値を環境状態または走行状態などに基づいて補正した補正値であってもよい。

なお、本願発明の「所定範囲内」は、所定の値をＡとし、所定の値をＢとし、ＡがＢより小さい場合、以下の条件すべてを含む。Ａより大きいかつＢより小さい場合、Ａより大きいかつＢより小さいまたは同じ場合、Ａより大きいまたは同じかつＢより小さいまたは同じ場合、または、Ａより大きいまたは同じかつＢより小さい場合。

なお、本願発明に係る車両は、ゴルフカーに限定されない。車両は、車輪の数に限定されない。車両は、鞍乗型車両であってもよい。鞍乗型車両は、スクータ以外の形式の自動二輪車を含む。また、鞍乗型車両は、ＡＴＶ（Ａｌｌ Ｔｅｒｒａｉｎ Ｖｅｈｉｃｌｅ）等の自動二輪車以外の車両であってもよい。なお、鞍乗型車両とは、乗員が跨って乗車する車両を意味する。

１ 車両
２ 異常画像検出装置
２１ 通信部
２２ 記憶部
２４ 信頼度判定部
２４１ エッジ強度判定部
２４２ 視差値判定部
２４３ 視差値差判定部
２５ 算出部
２６ 異常判断部
５ 画像処理システム
５１ 撮像部
５２ 視差画像作成部
５３ 距離算出部
５４ 出力部

Claims (8)

1. 複数の撮像部から得られ、かつ視差画像の作成に用いられる複数の原画像の内少なくとも１の原画像が異常であることを検出する異常画像検出装置であって、
   前記視差画像の画素が低信頼度であるか否かを判定する信頼度判定部と、
   前記信頼度判定部によって判定された低信頼度の画素の総数を算出する算出部と、
   前記算出部で算出された低信頼度の画素の総数が、所定値を超えた場合に、前記視差画像が異常であると判断する異常判断部と、を有し、
   前記信頼度判定部は、
   前記原画像の各画素のエッジ強度が少なくとも閾値よりも小さいまたは同じである場合に、当該画素に基づいて作成される視差画像中の画素を低信頼度の画素であると判定するエッジ強度判定部を有する、異常画像検出装置。
2. 前記信頼度判定部は、
   前記視差画像各画素の視差値が所定範囲内でない場合に、当該画素が低信頼度であると判定する視差値判定部を有する、請求項１に記載の異常画像検出装置。
3. 前記視差画像は、前記複数の原画像の内、第１原画像（Ａ）を基準に作成される第１視差画像（Ａｂ）と、第２原画像（Ｂ）を基準に作成される第２視差画像（Ｂａ）を少なくとも含み、
   前記信頼度判定部は、前記第１視差画像（Ａｂ）の第１画素（ｐＡ）の第１視差値（ｄ１）と、当該第１画素（ｐＡ）に対応する前記第２視差画像（Ｂａ）の第２画素（ｐＢ）の第２視差値（ｄ２）との差（ｄ１−ｄ２）が所定範囲内にない場合に、当該第１画素（ｐＡ）が低信頼度であると判定する視差値差判定部を有する、請求項１または２に記載の異常画像検出装置。
4. 複数の撮像部と、当該撮像部から得られた複数の原画像に基づいて視差画像を作成する視差画像作成部と、当該視差画像作成部で作成された視差画像に基づいて奥行距離を算出する距離算出部を有する画像処理システムであって、
   請求項１〜３のいずれか１項に記載の異常画像検出装置と、
   前記異常画像検出装置が原画像の異常を検出した場合に、異常情報を出力する出力部と、備える画像処理システム。
5. 前記距離算出部は、異常が検出された視差画像以外の視差画像に基づいて奥行距離を算出する請求項４に記載の画像処理システム。
6. 前記距離算出部は、前記視差画像作成部で作成された視差画像において、低信頼度の画素を除いた視差画像に基づいて奥行距離を算出する、請求項４に記載の画像処理システム。
7. 請求項４〜６のいずれか１項に記載の画像処理システムを搭載する車両。
8. 前記車両は、
   撮像部の撮像方向前方にフロントウインドを備え、
   前記フロントウインドにワイパーを具備していない、請求項７に記載の車両。