JP2014006243A - 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体 - Google Patents

Abstract

【課題】車載撮像装置などにおいて、外部環境（逆光、暗闇などの明暗の激しい条件、路面状態等）に影響されることなく、ステレオカメラの異常状態を判別できるようにする。
【解決手段】左右カメラ１１，１２で撮影されたステレオ画像データから視差画像データを生成する視差演算部３０、及び、視差画像データが正常か否か判別し、該視差画像データが正常ならば左右カメラ１１，１２は正常と判断し、該視差画像データが異常ならば左右カメラ１１，１２は異常と判断するカメラ異常検出処理部６０を備える。
【選択図】図１

Description

本発明は、ステレオカメラの異常診断装置、異常診断方法、異常診断装置を備えた撮像装置、移動体制御システム、及び、移動体制御システムを備えた移動体に関する。

従来から、ステレオカメラ方式の撮像装置を自動車などの移動体に搭載して、移動体前方等を撮影し、該撮影したステレオ画像を処理解析して、障害物を認識したり、障害物までの距離を計測したりして、衝突防止のために運転者に警告を行ったり、車間距離維持のためにブレーキ、ステアリングなどの制御を行ったりする移動体制御システムが知られている。

このような移動体制御システムに使用されるステレオカメラ方式の撮像装置では、ステレオカメラが正常に動作しないと、画像処理の信頼性が損なわれ、正しく障害物を認識したり、正しく障害物までの距離を計測することができない。そこで、画像処理や制御の信頼性と安全性を確保するためには、ステレオカメラの異常状態を監視し、異常状態時には画像処理や制御を一時的に中断させるなど、状態に応じた動作をさせる必要がある。

このため、例えば特許文献１では、ステレオカメラにおけるカメラ間の機械的位置ズレを自己診断して画像変換により機械的位置ずれを補正するに当たり、ステレオカメラで撮影した画像における輝度変化量の分散によりカメラの異常状態を検出し、輝度変化が少ない場合、位置ズレを算出しても信頼性が低下するとして、ズレ算出処理を中断するようにしている。しかしながら、輝度変化量の分散のみでは、カメラの異常要因がカメラ自体によるもの（左右カメラの位置ズレやレンズぼけなど）なのか外部環境（逆光、暗闇等の明暗の激しい条件）によるものかを判別できない。

また、例えば特許文献２では、距離データにより車外監視を行うに当たり、ステレオカメラで撮影した画像内の特定の領域における距離データのばらつきにより該距離データの信頼性を判定し、信頼性が低下している状況下では車外監視を中断するようにしている。しかしながら、外部環境（路面状況や景色）や左右カメラの取り付け位置ずれの状況によっては正しく判別できない場合がある。例えば、轍のない積雪した路面時には距離データのばらつきは大きくなり、異常と判断してしまうことが予想される。また、カメラが内向きにずれていた場合は距離データのばらつきが小さくなることが予想され、正しい距離計測ができない状態であるにも関わらず、正常と判断してしまう。

本発明は、ステレオカメラ方式の撮像装置において、外部環境（逆光、暗闇等の明暗の激しい条件、路面状態等）に影響されることなく、ステレオカメラの異常状態を判別可能とすることにある。

本発明は、ステレオカメラで撮影されたステレオ画像データから視差画像データを生成する視差演算手段と、前記視差画像データが正常か否か判別し、該視差画像データが正常ならば前記ステレオカメラは正常と判断し、該視差画像データが異常ならば前記ステレオカメラは異常と判断するカメラ異常検出処理手段とを有することを主要な特徴とする。

本発明によれば、視差画像データをもとにステレオカメラが異常であるか判断することで、外部環境に影響されることなく、ステレオカメラの異常状態を判別することが可能になる。

本発明の一実施形態に係る機能ブロック図である。 メモリ内の左右カメラ画像データ、視差画像データを示す図である。 被写体までの測距を説明する図である。 本発明の一実施形態に係るステレオカメラ異常診断処理の全体的フローチャートである。 視差画像データの正常異常判断処理の詳細フローチャートである。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 視差画像データの正常異常を説明する図である。 ステレオ画像データの正常異常判断処理の詳細フローチャートである。 ステレオ画像データの正常異常を説明する図である。 ステレオ画像データの正常異常を説明する図である。 ステレオ画像データの正常異常を説明する図である。 本発明の一実施形態に係る車両制御システムを搭載した車両の模式図である。

以下、図面を参照して本発明に係るステレオカメラの異常診断装置の一実施形態について説明する。なお、以下では、一実施形態として自動車等の車両制御システムへの適用例について説明するが、本発明は、これに限定されるものではない。自動車等の車両以外の航空機、船舶等も含む移動体に適用され得る。

図１は、本発明の一実施形態に係る異常診断装置を備えた撮像装置を含む車両制御システムの全体的機能ブロック図である。図１において、撮像装置は、右カメラ１１と左カメラ１２を有するステレオカメラ１０、歪み補正処理部２０、視差演算部３０、メモリ４０、ステレオカメラ処理部５０、カメラ異常検出処理部６０及び異常出力部７０などにより構成される。このうち、視差演算部３０、メモリ４０及びカメラ異常検出処理部６０が異常診断装置の機能を兼ねている。車両制御部８０は、車両（自動車等）の自動変速制御部、ブレーキ制御部、ステアリング制御部等の総称である。

なお、図１中のステレオカメラ１０及び車両制御部８０を除く各部は、一般にコンピュータ装置で構成される。具体的には、歪み補正処理部２０、視差演算部３０、ステレオカメラ処理部５０及びカメラ異常検出処理部６０は、ＣＰＵとプログラム等に基づいて各処理機能が実現される。メモリ４０はＲＯＭ，ＲＡＭ等の総称であり、ＣＰＵで実行されるプログラム、該ＣＰＵでの処理に必要なパラメータやテーブル、該ＣＰＵでの処理途中や処理結果のデータ等が格納される。異常出力部７０は表示装置や音声出力装置、アラームランプなどであり、後述するようにカメラ１１，１２の異常をユーザに通知する。他には操作入力部を備えるが、図１では省略してある。

右カメラ１１と左カメラ１２は、両者の光軸が平行に所定の間隔（基線長）で配置され、互いに同期して動作して、それぞれ異なる視点から被写体を撮影し、その光学像をアナログ電気信号に変換し、更にデジタル信号に変換して画像データを出力する。画像データは、例えば８ビット／画素からなり、０〜２５５階調（輝度値）をとる。

歪み補正処理部２０は、右カメラ１１及び左カメラ１２から出力された各画像データについて、カメラ１１，１２の取り付け位置ズレなどに起因する画像の歪みを補正する。歪み補正の手法としては、例えば、非特許文献１に記載の方法を用いることができる。なお、右カメラ１１及び左カメラ１２から出力される画像データがカラー画像データの場合は、歪み補正処理部２０では、各カラー画像データについて、モノクロ画像データ（輝度画像データ）に変換した後、画像の歪み補正を行うようにする。

視差演算部３０は、右カメラ１１及び左カメラ１２の歪み補正された２つの画像データ（ステレオ画像データ）を入力し、微小領域毎に視差を計算して視差画像データを生成する。視差計算には、周知のブロックマッチングという手法を利用する。すなわち、右カメラ１１及び左カメラ１２の２つの画像データについて、例えば、右カメラ１１の画像データ（輝度画像データ）から微小領域ａを切り出し、それに対応する領域を探索するために、左カメラ１２の画像データ（輝度画像データ）から同じく微小領域ｂを切り出し、微小領域ａの位置を基準に、微小領域ｂの位置を所定の範囲内で移動させて、対応点の位置を探索する。この探索された対応点の位置の差分が視差を示す。右カメラ１１及び左カメラ１２の２つの画像データについて、ブロックマッチング処理を繰り返すことにより、左右カメラ１１，１２のステレオ画像データ全体の微小領域毎の視差値、すなわち、視差画像データが得られる。

視差演算部３０で算出された視差画像データ、及び、左右カメラ１１，１２の各画像データ（輝度画像データ）は、メモリ４０に格納される。図２は、これを示した図である。なお、図２では省略したが、メモリ４０には、後述する視差値分布（視差ヒストグラム）のデータも格納される。

ステレオカメラ処理部５０は、メモリ４０から左右カメラ１１，１２の各画像データ（輝度画像データ）４１，４２、及び、視差画像データ４３を読み込み、障害物の画像認識処理や、障害物までの距離計算などを行う。これらの処理をステレオカメラ処理と称す。ここで、障害物（被写体）までの距離Ｚは、視差画像データ４３を用いて、三角測量の原理に基づき、次式により求めることができる。
Ｚ＝Ｂ×ｆ／ｄ …（１）
（１）式において、Ｂはカメラ１１，１２の光軸の距離（基線長）、ｆはカメラ１１，１２の焦点距離、ｄは視差である。図３にステレオカメラによる距離計測の概念図を示す。

車両制御部８０は、ステレオカメラ処理部５０の処理結果に応じて、車両の走行等の制御を実施する。例えば、車間距離維持のために自動変速やブレーキ、衝突回避のためにステアリングなどの制御を行う。

一方、カメラ異常検出処理部６０は、メモリ４０から左右カメラ１１，１２の各画像データ（輝度画像データ）４１，４２及び視差画像データ４３を読み込み、カメラ１１，１２の異常診断を行う。そして、カメラ１１，１２が異常だと判断されると、カメラ異常検出処理部６０は、ステレオカメラ処理部５０及び異常出力部７０へカメラ１１，１２の異常を通知する。

ステレオカメラ処理部５０は、カメラ異常検出処理部６０からカメラ１１，１２の異常を通知されると、ステレオカメラ処理を一時中断する。この結果、車両制御部８０の制御動作も一時中断する。また、異常出力部７０は、カメラ異常検出処理部６０からカメラ１１，１２の異常を通知されると、ユーザへカメラ異常を通知する。具体的には、カメラ異常等を表示したり、音声やブザーなどで通知する。これにより、ユーザ（運転者）は、車両制御部８０が機能していないことを認識する。

以下、カメラ異常検出処理部６０について詳述する。図４は、カメラ異常検出処理部６０の一実施形態に係る全体的処理フローチャートである。

カメラ異常検出処理部６０は、メモリ４０から左右カメラ１１，１２の各画像データすなわちステレオ画像データ、及び、視差画像データを読み込む（ステップ１０１）。そして、まず、視差画像データを解析して（ステップ１０２）、視差画像データが正常かどうか判別する（ステップ１０３）。視差画像データが正常かどうかは、視差画像データの視差値分布や視差値分布の変化量から判別する。そして、視差画像データが正常と判別した場合には（ステップ１０３でＹＥＳ）、カメラ１１，１２は正常と見做してリターンする。この場合、一定時間経過後、再びステップ１０１から処理を開始することになる。

図５に視差画像データを解析して正常異常を判断する詳細フローチャートを示す。また、図６Ａ乃至図６Ｇに、視差画像データが正常／異常の具体例を示す。ここで、図６ＡはＮフレームの視差値分布（視差ヒストグラム）、図６Ｂ乃至図６ＦはＮ＋１フレームの視差値分布（視差ヒストグラム）、図６ＧはＮ＋１フレーム，Ｎ＋２フレーム，…の視差値分布（視差ヒストグラム）を示している。

カメラ異常検出処理部６０は、視差画像データの視差値分布（視差ヒストグラム）を生成する（ステップ２０１）。生成した視差値分布のデータはメモリ４０に保持しておく。ただし、メモリ４０内の視差値分布のデータは、古いものから順次削除するようにする。カメラ異常検出処理部６０は、生成した視差値分布（視差ヒストグラム）のデータについて、ステップ２０２〜２０５を順次実行して、いずれかで“ＹＥＳ”が判定された場合には、視差画像データは異常と判断し、いずれも“ＮＯ”だった場合には、視差画像データは正常と判断する。なお、ステップ２０２〜２０５の実行順序は任意でよい。

ステップ２０２は、視差がほとんど検出されない場合に、視差画像データを異常とするものである。図６Ｃは、このケースである。これは、断線などにより、カメラ１１，１２の一方から画像データが出力されない場合である。

ステップ２０３は、カメラ１１，１２の構造上、取り得る最大視差値（最近点での視差値）以上の視差が検出された場合に、視差画像データを異常とするものである。図６Ｄは、このケースである。これは、例えばカメラ１１，１２の周囲温度が上昇して、カメラ１１，１２の基線長が伸びた場合である。

ステップ２０４は、視差値のピーク数が所定の閾値以上検出された場合に（視差値分布が激しくばらつく、または視差値分布が平均的に分布してする）、視差画像データを異常とするものである。図６Ｅは、このケースである。これは、例えばカメラ１１，１２の同期ずれが発生した場合である。

ステップ２０５は、現フレームの視差値分布と前フレームの視差値分布との相関（類似度）が一定以下（例えば、相関係数が０．７以下）の場合に、視差画像データを異常とするものである。すなわち、現フレームの視差値分布が、前フレームの視差値分布と比べて変化している場合に、視差画像データを異常とする。図６Ｆは、このケースであり、図６Ａの前フレーム（Ｎフレーム）の視差値分布に比べて、図６Ｆの現フレーム（Ｎ＋１フレーム）の視差値分布は大きく変化している。これは、露光制御が正常に働かない場合や、カメラ１１，１２の同期ずれが発生した場合である。一方、図６Ｂは、ＮフレームとＮ＋１フレームで視差値分布に大きな変化が見られない。つまり、２フレーム間での視差値分布の相関が一定以上（例えば、相関係数が０．７以上）となっている。この場合、視差画像データは正常と判断する。

なお、本撮像装置を搭載した車両が移動している場合、通常、視差値分布は時々刻々に変化するはずである。そこで、車両が移動中の場合、カメラ異常検出処理部６０では、図５のステップ２０２〜２０５の判定の他に、一定期間の視差値分布あるいは過去数１０から数１００フレームの視差値分布の変化を調べ、視差値分布に変化がない場合、視差画像データを異常と判断する。図６Ｇは、このケースである。これは、例えば、両方のカメラ１１，１２が故障して、画像データが出力されないため、メモリ４０内の画像データが更新されない場合である。

図４に戻り、カメラ異常検出処理部６０は、視差画像データが正常と判別した場合には（ステップ１０３でＹＥＳ）、カメラ１１，１２は正常と見做してリターンする。この場合、一定時間経過後、再びステップ１０１から処理を開始することになる。

一方、視差画像データが異常と判別した場合には（ステップ１０３でＮＯ）、カメラ異常検出処理部６０は、次に、左右カメラ１１，１２のステレオ画像データを解析し（ステップ１０４）、ステレオ画像データが正常かどうかを判別する（ステップ１０５）。ステレオ画像データが正常かどうかは、左右カメラ１１，１２の各画像データ（輝度画像データ）の輝度分布（輝度ヒストグラム）の状態から判断する。例えば、輝度の平均値又は中央値が閾値を超える場合は、異常（適正でない）と判断する。

図７に、ステレオ画像データを解析して正常異常を判断する詳細フローチャートを示す。また、図８Ａ乃至図８Ｃに、ステレオ画像データが正常／異常の具体例を示す。ここで、図８Ａ乃至図８Ｃは、左右カメラ１１，１２の画像データ（輝度画像データ）の輝度分布（輝度ヒストグラム）を示している。

カメラ異常検出処理部６０は、左右カメラ１１，１２の各画像データ（ステレオ画像データ）の輝度分布（輝度ヒストグラム）を生成する（ステップ３０１）。そして、カメラ異常検出処理部６０は、ステップ３０２，３０３を順次実行して、どちらかで“ＹＥＳ”が判定された場合には、ステレオ画像データは異常と判断し、いずれも“ＮＯ”だった場合には、ステレオ画像データは正常（適正）と判断する。ここで、閾値はＡ＜Ｂである。なお、ステップ３０２，３０３の実行順序は逆でもよい。

ステップ３０２は、左右カメラ１１，１２の各画像データの一方あるいは両方において、輝度の平均値又は中央値が閾値Ａ以下の場合、ステレオ画像データは異常（適正でない：暗すぎ）とするものである。図８Ｂは、このケースを示している。

ステップ３０３は、左右カメラ１１，１２の各画像データの一方あるいは両方において、輝度の平均値または中央値が閾値Ｂ以上の場合、ステレオ画像データは異常（適正でない：明るすぎ）とするものである。図８Ｃは、このケースを示している。

一方、図８Ａは、輝度の平均値または中央値が上下閾値Ａ，Ｂの範囲内に収まっており、この場合には、ステレオ画像データは正常（適当）と判断する。

図４に戻り、カメラ異常検出処理部６０は、視差画像データが異常で（ステップ１０３でＮＯ）、左右カメラ１１，１２のステレオ画像データが正常（ステップ１０５でＹＥＳ）だった場合、ステレオカメラ処理部５０及び異常出力部７０へカメラ１１，１２の異常を通知して（ステップ１０８）、リターンする。すなわち、視差画像テータが異常で、左右カメラ１１，１２の画像輝度が正常（適正）の場合には、視差画像データの異常（視差値異常）は、カメラの同期ズレ等、左右カメラ１１，１２自体の異常によると考えられるため、ステップ１０８へ進む。

一方、視差画像データが異常で（ステップ１０３でＮＯ）、左右カメラ１１，１２のステレオ画像データも異常（ステップ１０５でＮＯ）だった場合には、ステレオ画像データの異常状態（輝度異常状態）が継続する時間（異常継続時間）を計測する（ステップ１０６）。そして、輝度異常状態の継続時間が所定時間を超えるかチェックし（ステップ１０７）、超える場合には、ステップ１０８へ進むが、超えない場合には、そのままリターンする。すなわち、輝度異常状態が短時間（例えば、数秒）で終了した場合には、視差画像データの異常は、左右カメラ１１，１２の撮影環境（外部環境）の一時的要因（例えば、一時的な逆光、暗闇、路面状態等）によるものと考えられるため、とりあえず、そのままとする。

なお、ステレオ画像データの輝度異常状態が長時間継続する場合には、視差画像データの異常（視差値異常）も長時間継続するため、ステレオカメラ処理部５０での処理の信頼性が確保されず、その結果、車両制御部８０での制御の信頼性も保証されない。この場合、カメラ異常検出処理部６０がステレオカメラ処理部５０へカメラ異常を通知することで（ステップ１０８）、ステレオカメラ処理部５０では処理を一時中断し、車両制御部８０でも制御を一時中断することが可能になる。

図９は、本実施形態の異常診断装置が適用される車両制御システム（移動体制御システム）が搭載される車両（移動体）の模式図である。図９において、左右のカメラからなるステレオカメラ１０は、車両５００が走行する前方の画像を撮影できるように、車両５００の前面窓近辺に設置される。画像処理・診断ユニット５１０は、図１の歪み補正処理部２０、視差演算部３０、メモリ４０、ステレオカメラ処理部５０及びカメラ異常検出処理部６０等からなる。車両制御ユニット５２０は車両制御部（移動体制御手段）８０に対応し、異常出力ユニット５３０は異常出力部７０に対応する。

ステレオカメラ１０は、車両前方を撮影し、ステレオ画像データを出力する。画像処理・診断ユニット５１０は、ステレオカメラ１０が出力するステレオ画像データを処理して、障害物の画像認識処理や、障害物までの距離計算を行う。車両制御ユニット５２０は、画像処理・診断ユニット５１０の処理結果に応じて、車間距離維持や衝突回避のためにブレーキ、ステアリングなどの制御を行う。すなわち、移動体を制御する。また、画像処理・診断ユニット５１０は、ステレオカメラ１０が出力するステレオ画像データを処理・解析して、該ステレオカメラ１０の正常異常の診断を行う。そして、ステレオカメラ１０が異常の場合、異常出力ユニット５３０を通して運転者にカメラ異常を通知すると共に、車両制御ユニット５２０の制御動作を中断せしめる。

以上、本発明の一実施形態について説明したが、本発明は図示の構成・処理に限定されるものではない。カメラ異常検出処理部６０では、視差画像データのみで、ステレオカメラ１０としての左右カメラ１１，１２が異常かどうか判断することでもよい。すなわち、視差画像データが正常ならば左右カメラ１１，１２は正常と判断し、視差画像データが異常なら、左右カメラ１１，１２は異常と判断する。また、対象とするステレオカメラは車載用でなくてもよい。

１１ 右カメラ
１２ 左カメラ
２０ 歪み補正処理部
３０ 視差演算部
４０ メモリ
５０ ステレオカメラ処理部
６０ カメラ異常検出処理部
７０ 異常出力部
８０ 車両制御部

特許第４２８５６１８号 特許第３０９２１０５号

A flexible new technique for camera calibration"．IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11)：1330-1334，2000

Claims (11)

1. ステレオカメラの異常診断装置であって、
   前記ステレオカメラで撮影されたステレオ画像データから視差画像データを生成する視差演算手段と、
   前記視差画像データが正常か否か判別し、該視差画像データが正常ならば前記ステレオカメラは正常と判断し、該視差画像データが異常ならば前記ステレオカメラは異常と判断するカメラ異常検出処理手段と、
   を有することを特徴とする異常診断装置。
2. 前記カメラ異常検出処理手段は、前記視差画像データの視差値分布の状態から該視差画像データが正常か否か判別することを特徴とする請求項１記載の異常診断装置。
3. 前記カメラ異常検出処理手段は、前記視差画像データを異常と判別した場合は、さらに、前記ステレオ画像データが正常か否か判別し、該ステレオ画像データが正常の場合に前記ステレオカメラは異常と判断することを特徴とする請求項１もしくは２に記載の異常診断装置。
4. 前記カメラ異常検出処理手段は、前記ステレオ画像データの輝度分布の状態から該ステレオ画像データが正常か否か判別することを特徴とする請求項３に記載の異常診断装置。
5. 前記カメラ異常検出処理手段は、前記ステレオ画像データが異常の場合、異常継続時間を計算し、前記異常継続時間が所定時間以下ならばステレオカメラは正常とし、所定時間を超えたならばステレオカメラは異常とすることを特徴とする請求項３もしくは４に記載の異常診断装置。
6. ステレオカメラの異常診断方法であって、
   前記ステレオカメラで撮影されたステレオ画像データから視差画像データを生成するステップと、
   前記視差画像データが正常か否か判別し、該視差画像データが正常ならば前記ステレオカメラは正常と判断し、該視差画像データが異常ならば前記ステレオカメラは異常と判断するステップと、
   を有することを特徴とする異常診断方法。
7. ステレオカメラ、該ステレオカメラで撮影されたステレオ画像データを処理するステレオカメラ処理手段を有する撮像装置であって、
   請求項１乃至５のいずれか１項に記載の異常診断装置を備えていることを特徴とする撮像装置。
8. 請求項７記載の撮像装置において、
   前記異常診断装置の前記カメラ異常検出処理手段は、前記ステレオカメラを異常と判断した場合に該ステレオカメラの異常を前記ステレオカメラ処理手段に通知し、
   前記ステレオカメラ処理手段は、前記カメラ異常検出処理手段からステレオカメラの異常を通知されると処理を中断することを特徴とする撮像装置。
9. 請求項７もしくは８に記載の撮像装置において、異常出力手段を更に有し、
   前記異常診断装置の前記カメラ異常検出処理手段は、前記ステレオカメラを異常と判断した場合に該ステレオカメラの異常を前記異常出力手段に通知し、
   前記異常出力手段は、前記カメラ異常検出処理手段からステレオカメラの異常を通知されると、カメラ異常を出力することを特徴とする撮像装置。
10. 請求項７乃至９のいずれか１項に記載の撮像装置と、前記撮像装置のステレオカメラ処理手段の処理結果に応じて、移動体を制御する移動体制御手段とを有することを特徴とする移動体制御システム。
11. 請求項１０の移動体制御システムを搭載していることを特徴とする移動体。