JP2014187496A - 故障検出装置 - Google Patents

Abstract

【課題】移動体に搭載されたカメラの故障を、移動体の移動中であっても、速やかに検出する故障検出装置を提供する。
【解決手段】第１検出手段（Ｓ１５５）は、現サイクルで取得した画像データで表される撮像画面（現撮像画面）上の領域である第１参照領域に含まれる画素の画素値と、現撮像画面ついて設定された制御利得（現制御利得）から推定される第１参照領域の撮像対象の明るさを第１明るさとして検出する。第２検出手段（Ｓ１６０）は、現撮像画面において、前サイクルの第１参照領域に映っていた撮像対象と同じ撮像対象が映る領域を第２参照領域として特定し、第１検出手段と同様に、第２参照領域の撮像対象の明るさを第２明るさとして検出する。故障検出手段（Ｓ１６５）は、前サイクルの第１明るさと現サイクルの第２明るさとの差が予め定められた範囲内にあるか否かによってカメラ２０の故障を検出する。
【選択図】 図４

Description

本発明は、カメラの故障を検出する故障検出装置に関する。

近年、車両の前方を撮像する車載カメラを利用して、道路の白線や、他車両等の認識処理を行い、認識結果を用いて車両の走行制御を行う技術が提案されている。このような技術において、認識対象の認識精度を向上させるためには、撮像画像の明るさに応じて車載カメラの露出制御を適切に行うことが重要となる。仮に、何らかの要因により露出制御を適切に行うことが困難になる状況が生じた場合、この状況を故障として検出することが望まれる。このような車載カメラの故障を検出する機能を備えた画像処理装置として、車載カメラの絞りを全閉または全開にし、このときの露光量の増減に応じて撮像画面の輝度が増減したか否かによって、故障を判定するものが知られている。

特開平８−２４０８３３

しかしながら、上記従来装置では、故障検出のためにカメラの絞りを全閉及び全開状態にしなくてはならないため、故障検出を行うことができるタイミングは、カメラを利用した走行制御を不要とする運転状態のときに限られる。つまり、車両の走行中は故障を検出することができないという問題があった。

本発明はこのような問題に鑑みてなされたものであり、移動体に搭載されたカメラの故障を、移動体の移動中であっても、速やかに検出する故障検出装置を提供することを目的とする。

請求項１に記載の故障検出装置は、撮像手段の故障を検出する装置であって、この撮像手段は、移動体に搭載され、撮像素子により検出された画素毎の信号値を露出制御手段によって設定された制御利得で増幅して画素値に変換し、該画素値からなる画像データを出力するものである。故障検出装置では、画像取得手段が、予め設定されたサイクル毎に、前記移動体の移動方向における画像データを取得する。

また、第１検出手段が、現サイクルにて画像取得手段が取得した画像データで表される撮像画面を現撮像画面とし、該現撮像画面について設定された制御利得を現制御利得とし、現撮像画面に含まれる領域であって、移動体の移動方向において予め定められた領域を第１参照領域として、該第１参照領域に含まれる画素の画素値と、現制御利得とから推定される第１参照領域の撮像対象の明るさを第１明るさとして検出する。

また、第２検出手段が、現撮像画面に含まれる領域であって、前サイクルの第１参照領域に映っていた撮像対象と同じ撮像対象が映る領域を第２参照領域として設定し、該第２参照領域に含まれる画素の画素値と、現制御利得とから推定される第２参照領域の撮像対象の明るさを第２明るさとして検出する。

そして、故障検出手段が、前サイクルの第１明るさと、現サイクルの第２明るさとの差
が予め定められた範囲内にあるか否かによって、撮像手段の故障を検出する。
このような故障検出装置によると、従来装置のようにわざわざ絞りを全開閉すること無しに、露出制御中の制御利得、つまり露出制御中のカメラの絞りの状態を表す値と、この絞りの状態での画像検出結果である画素値を用いて故障を検出すため、移動体が移動中であっても速やかにカメラの故障を検出することができる。

故障検出装置の構成を示すブロック図である。 （ａ）は露出領域及び第１参照領域を示す説明図であり、（ｂ）は第２参照領域を示す説明図である。 ＣＰＵが実行する処理の処理手順を示すフローチャートである。 故障検出を行う処理手順を示すフローチャートである。

以下、本発明が適用された一実施形態について、図面を用いて説明する。
［１．全体構成］
図１に示すように、本実施形態の故障検出装置１０は、車両に搭載される車両制御システム１に適用される。

車両制御システム１は、撮像対象を撮像した画像データ（画素値）を出力する、車両に搭載されている車載カメラ（以下、単に「カメラ」という）２０と、カメラ２０より出力された画像データから認識対象（本実施形態では白線）を認識して認識結果を出力するとともに、該認識対象が適切に認識されるようにカメラ２０に露出制御を行わせるためのカメラ制御値を出力する故障検出装置１０とを備える。

また、車両制御システム１は、故障検出装置１０から出力された認識結果を用いて、白線の認識に基づき車両の車線逸脱を検出する車線逸脱処理、及び車線逸脱を警報部５１により報知する警報処理を行う車線逸脱警報ＥＣＵ５０を備える。

さらにまた、車両制御システム１は、車速を検出する車速センサ６０と、ヨーレートを検出するヨーレートセンサ７０とを備える。車速及びヨーレートの検出結果は、故障検出装置１０に出力される。以下では、故障検出装置１０及びカメラ２０を撮像システム２というものとする。

カメラ２０は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向（移動方向）前方を路面も含めて撮像するものである。なお、カメラ２０は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。

カメラ２０は、故障検出装置１０からカメラ制御値が入力され、撮像対象からの光量に応じた画素値を出力するように構成されている。ここでは、撮像対象からの光量を画素値に変換するときの利得を制御利得というものとする。なお、カメラ制御値としては、少なくとも、露光時間及び露光ゲインという、カメラ２０の露出を制御するための制御指示値が設定されている。

カメラ２０は、公知のＰＤ（Photo Diode）アレイからなるＣＭＯＳイメージセンサ２１、増幅部２２、及びＡＤ変換部２３を備える。ＣＭＯＳイメージセンサ２１では、カメラ制御値によって露光時間が制御されている。ＣＭＯＳイメージセンサ２１によって画像が撮像されると、増幅部２２は、ＣＭＯＳイメージセンサ２１から出力される、撮像画像
の各画素の輝度を示す信号値を、露光ゲインの制御指示値に従って増幅する。ＡＤ変換部２３は、増幅された信号値（アナログ値）をデジタル値に変換する。そして、カメラ２０は、デジタル値に変換した信号（画素値）を出力する。

つまり、上述の制御利得は、露光時間と露光ゲインとの積（以下では、露光利得というものとする）に比例する値であり、カメラ２０では、露光時間または露光ゲインの制御指示値を調整することにより、制御利得が設定されている。

故障検出装置１０は、ＣＰＵ１１、メモリ１２、カメラ２０の撮像画像を入力するための画像インタフェース１３、及び、車線逸脱警報ＥＣＵ５０、車速センサ６０、ヨーレートセンサ７０との通信を行うための通信インタフェース１４を備える。

画像インタフェース１３には、カメラ２０から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２０から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２０から出力される画像信号がメモリ１２に保存される。

また、ＣＰＵ１１は、白線認識制御として、カメラ２０から出力された画像信号を処理することで、認識対象（白線）の認識を行うとともに、その認識した白線の位置を車線逸脱警報ＥＣＵ５０へ出力する。

さらにまた、ＣＰＵ１１は、車両前方の予め定められた露出領域Ｒ（図２参照）において、本実施形態では、白線と白線を除く路面部分とのコントラストが適正になるように（白線が適切に認識されるように）露出制御を行う。具体的には、露出制御として、ＣＰＵ１１は、カメラ２０の露光時間（シャッタースピード）及び増幅部２２のゲインである露光ゲインを調整するため、少なくともこれらの調整指示値を含むカメラ制御値をカメラ２０へ出力する。また、ＣＰＵ１１は、これらのカメラ制御値（露光時間、露光ゲイン）を用いて、後述する故障検出を行う。

通信インタフェース１４は、ＣＰＵ１１と車線逸脱警報ＥＣＵ５０との間の通信を実行するものである。車線逸脱警報ＥＣＵ５０は、ＣＰＵ１１から送信された白線の位置に基づいて、自車が車線内から逸脱する危険性があるか否かを判定し、危険性があると判定した場合には、警報部５１に対して警報を発するように指示する。

［２．ＣＰＵでの処理］
はじめに、予め記憶されているプログラムに従いＣＰＵ１１が定期的に（例えば１００ｍｓ周期で）実行する処理について、図３のフローチャートを用いて説明する。

ＣＰＵ１１は、処理を開始すると、まずＳ１１で、カメラ２０から撮像画像を取り込む。
続いて、Ｓ１２で実行する露出制御では、Ｓ１１で取り込んだ撮像画像における露出領域Ｒ（図２）での各画素の輝度の平均値から、カメラ制御値として露光時間と露光ゲインを設定し、これらの制御指示値に従ってカメラ２０の露出制御を行う。設定された露光時間及び露光ゲインの制御指示値は、メモリ１２に記憶される。露出制御については種々の方法が周知であるため、ここでは説明を省略する。

次にＳ１３では、カメラ２０の故障を検出する故障検出の処理を実行する。続くＳ１４では、白線認識実行処理として撮像画像における白線を認識した結果を出力し、本処理を
終了する。

［３．故障検出］
続いて、Ｓ１３で実行する故障検出の処理について説明する。故障検出は、予め設定されたサイクル（測定周期。ここでは、上述の処理と同じ周期に設定されている）毎に行われる。故障検出では、露出領域Ｒが撮像されている撮像画面と同じ画面上の、ある領域を第１参照領域Ｂ１として設定する（図２（ａ）参照）。この第１参照領域は、相対的に明るさの変化が小さい撮像対象が映る画面上の領域に設定される。具体的には、第１参照領域は、車両前方の路面が映る、画面上の領域に設定されている。以下では、第１参照領域に映る画像を対象画像というものとする。対象画像は、車両の移動によって、撮像画面上を移動する。ここで、前サイクルの第１参照領域に映っていた対象画像が、現サイクルでの撮像画面（現撮像画面）上に映る領域を、第２参照領域Ｂ２というものとする（図２（ｂ）参照）。

なお、本実施形態では、露出領域Ｒが車両前方の路面を含む領域に設定されており、第１参照領域及び第２参照領域は、いずれも、露出領域Ｒ内の領域に設定されている。
故障検出の処理では、図４のフローチャートに示すように、まずＳ１１０にて、Ｓ１１で取得したものと同一の画像データを取得する。続いてＳ１１５にて、前サイクルでの第１参照領域の検出結果がメモリ１２に記憶されているか否かを判断する。ここで検出結果が記憶されている場合はＳ１４０に移行し、検出結果が記憶されていない場合はＳ１２０に移行する。

Ｓ１２０では、第１参照領域（図２のＢ１）内の画素の画素値の平均値（以下、第１平均画素値という）Ｐ１を算出する。次にＳ１２５では、このときの露光時間Ｔ１と露光ゲインＧ１との積を第１露光利得Ａ１として算出し、続くＳ１３０では、第１露光利得Ａ１とＳ１２０で検出した第１平均画素値Ｐ１とを第１参照領域の検出結果としてメモリ１２に記憶する。そして、本処理を終了する。

一方、Ｓ１１５にて前サイクルでの第１参照領域の検出結果が記憶されている場合に移行するＳ１４０では、車速センサ及びヨーレートセンサから、車両の速度とヨーレートを取得する。続くＳ１４５では、Ｓ１４０にて取得した車速及びヨーレートを用いて、第２画像参照領域（図２のＢ２）を特定する。そして、第２画像参照領域内の画素の画素値の平均値（以下、第２平均画素値という）Ｐ２を算出する。

続くＳ１５０では、現サイクルでの露光時間Ｔ２と露光ゲインＧ２との積を第２露光利得Ａ２として算出する。次にＳ１５５では、メモリ１２に記憶されている前サイクルでの第１画素平均値Ｐ１、及び第１露光利得Ａ１を読み出す。そして、第１平均画素値Ｐ１の第１露光利得Ａ１に対する値を第１算出値とし算出する。

続くＳ１６０では、第２平均画素値Ｐ２の第２露光利得Ａ２に対する値を第２算出値として算出する。そして、Ｓ１６５では、第１算出値と第２算出値との差が予め定められた範囲内にあるか否かを判断する。具体的には、式（１）に示すように、第２算出値が、第１算出値を中心として予め定められた範囲内であるか否かを判断する。なお、αは予め固定値（α≪１）に設定されている。

ここで、第１算出値と第２算出値との差が予め定められた範囲内にある場合、カメラ２０が故障していないと判断し、Ｓ１７５に移行する。一方、第１算出値と第２算出値との差が予め定められた範囲内を超えた場合、カメラ２０が故障していると判断してＳ１７０に移行する。

Ｓ１７０では、カメラ２０の故障を、図示しない画像表示装置等により運転者に報知し、Ｓ１７５に移行する。Ｓ１７５では、前サイクルでの第１参照領域の検出結果をクリアする。続くＳ１８０では、現サイクルにおいて、第１参照領域内における第１平均画素値Ｐ１を算出し、このときの露光利得（Ｓ１５０で算出した第２露光利得Ａ２）を第１露光利得Ａ１として設定する。そして、Ｓ１８５では、これら第１平均画素値Ｐ１及び第１露光利得Ａ１をメモリ１２に記憶する。その後、本処理を終了する。

つまり、露光利得は、故障検出の処理とは関係無く、露出制御処理で調整された露光時間及び露光ゲインの制御指示値により決定される値である。また、第１参照領域及び第２参照領域の撮像対象は路面の同じ領域に設定されており、この路面の明るさはほぼ一定であると見なせる。

従って、カメラ２０が正常に作動している場合（正常に露出制御の機能が実現されている場合）は、第１参照領域の平均画素値及び第２参照領域の平均画素値は、それぞれ第１露光利得及び第２露光利得に比例した値となる。

そこで、故障検出では、測定周期毎にこの比例関係が成り立つか否かを判断し、比例関係が成り立たない場合に、カメラ２０が正常に作動していないこと（故障）を検出している。

なお、画素値は撮像対象からの光量を露光利得に比例する値（制御利得）で変換したものであることから、第１算出値は第１参照領域の撮像対象からの光量（第１明るさという）に比例する値であり、第２算出値は、第２参照領域の撮像対象からの光量（第２明るさという）に比例する値である。つまり、本実施形態では、画素値から逆算される第１明るさと第２明るさとが、ほぼ同じであると見なせる場合に、カメラ２０が正常に作動していることを検出している、ということができる。

［４．効果］
以上説明したように、本実施形態の故障検出装置１０によれば、車両の走行に伴い第１参照領域（路面）の明るさがほぼ変化しないことを利用して、露出制御により設定される露光時間及び露光ゲイン（増幅部２２のゲイン）の変化に追従して、第１参照領域の画素値が変化するか否かによって、カメラ２０の故障を検出する。

このような故障検出装置１０によると、従来装置のようにわざわざ絞り（電子式絞り及び機械式絞りの両方を含む）を全開閉すること無しに、露出制御により設定された露光時間及び露光ゲインの状態、つまり絞りの状態を用いて故障を検出することができる。また、この露出制御は走行に必要な各種制御を行う中で実行される。つまり、故障検出装置１０では、車両の走行中であっても、走行に必要な各種制御を行う中で、速やかに故障を検出することができる。

なお、車両の走行中には、操舵、ブレーキ制御、危険報知等の迅速な判断が求められる各種制御が行われる。故障検出装置１０では、仮に故障が生じて露出制御を適切に行うことが困難になった場合には、その故障を速やかに検出できるため、走行中のこれらの制御についての信頼性を向上させることができる。

さらにまた、故障検出装置１０は、故障を検出するために新たに特別な装置を設ける事無く、簡易な構成で実現することができる。
また、故障検出装置１０では、露出領域Ｒ内に第１参照領域Ｂ１及び第２参照領域Ｂ２を設定している。これによると、故障検出における第１平均画素値Ｐ１及び第２平均画素値Ｐ２の算出に、Ｓ１２の露出制御で算出する露出領域Ｒ内の画素値を用いることができるため、処理負荷を軽減することができる。

［５．特許請求の範囲との対応］
本実施形態では、Ｓ１２０、Ｓ１７５の処理が第１検出手段としての処理に相当し、Ｓ１４５の処理が第２検出手段としての処理に相当し、Ｓ１６０の処理が故障検出手段としての処理に相当する。また、Ｓ１１０の処理が画像取得手段に相当し、Ｓ１２の処理が露出制御手段としての処理に相当する。また、カメラ２０が撮像手段に相当し、ＣＭＯＳイメージセンサ２１が撮像素子に相当する。さらにまた、Ｓ１３０にて算出する第１露光利得Ａ１に比例する値、及びＳ１５０にて算出する第２露光利得Ａ２に比例する値が、現制御利得に相当する。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲にて様々な態様で実施することが可能である。

（１）上記実施形態では、式（１）によって表される関係が成立するか否かによって故障を検出していたが、故障を検出する条件を表す式は、これに限るものではない。故障を検出する条件を表す式は、第１参照領域の平均画素値及び第２参照領域の平均画素値が、それぞれ第１露光利得及び第２露光利得に比例した値となることを表す他の式によって表されてもよい。

（２）上記実施形態では、第１参照領域を車両前方の路面が映る領域に設定していたが、第１参照領域は、撮像画面内の領域であればどこであってもよい。但し、第１参照領域の撮像対象からの光量（明るさ）の変化が極力少ない領域が望ましい。第１参照領域は、例えば高速道路における側壁等の路側物であってもよい。

（３）上記実施形態では、カメラ２０は、ＣＭＯＳイメージセンサ２１を備える構成であったが、これに代えてＣＣＤイメージセンサを備える構成としてもよい。また、上記実施形態では、カメラ２０は、イメージセンサを用いた電子式シャッタ方式のものであったが、本発明は、従来の機械式シャッタ方式のカメラに適用されてもよい。

（４）上記実施形態では、白線認識制御を実現するための画像処理（白線の認識）を用途とする場合の故障検出装置１０について説明したが、故障検出装置１０の用途（アプリケーション）はこれに限定されるものではない。この他に例えば、歩行者認識に基づく回避制御や、前方車両認識に基づく追従制御等、種々の用途に、本発明を適用するようにしてもよい。

（５）上記実施形態は、車両に適用された場合の故障検出装置１０について説明したが、これに限定されるものではない。本発明は、移動速度及び移動方向を検出することのできる種々の移動体に適用することができる。

（６）上記実施形態で例示した故障検出装置１０の構成要素は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアとの組み合わせで実現してもよい。例えば、上述した処理（プログラム）を実行するコンピュータ装置（
例えばマイコン）により故障検出装置１０の少なくとも一部を構成してもよい。また、これらの構成要素は機能概念的なものであり、その一部又は全部を、機能的又は物理的に分散又は統合してもよい。

（７）上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、画像処理装置、画像処理方法、画像処理装置としてコンピュータを機能させるためのプログラム、そのプログラムを記録した記録媒体、などの種々の形態で実現することができる。

１０・・・故障検出装置 ２０・・・カメラ １１・・・ＣＰＵ

Claims (5)

1. 移動体に搭載され、撮像素子により検出された画素毎の信号値を露出制御手段によって設定された制御利得で増幅して画素値に変換し、該画素値からなる画像データを出力する撮像手段、の故障を検出する故障検出装置であって、
   予め設定されたサイクル毎に、前記移動体の移動方向における画像データを取得する画像取得手段（Ｓ１１０）と、
   現サイクルにて前記画像取得手段が取得した画像データで表される撮像画面を現撮像画面とし、該現撮像画面について設定された前記制御利得を現制御利得とし、前記現撮像画面に含まれる領域であって、前記移動体の移動方向において予め定められた領域を第１参照領域として、該第１参照領域に含まれる画素の画素値と、前記現制御利得とから推定される前記第１参照領域の撮像対象の明るさを第１明るさとして検出する第１検出手段（Ｓ１５５）と、
   前記現撮像画面に含まれる領域であって、前サイクルの前記第１参照領域に映っていた撮像対象と同じ撮像対象が映る領域を第２参照領域として設定し、該第２参照領域に含まれる画素の画素値と、前記現制御利得とから推定される前記第２参照領域の撮像対象の明るさを第２明るさとして検出する第２検出手段（Ｓ１６０）と、
   前サイクルの前記第１明るさと、現サイクルの前記第２明るさとの差が予め定められた範囲内にあるか否かによって前記撮像手段の故障を検出する故障検出手段（Ｓ１６５）と、
   を備えることを特徴とする故障検出装置。
2. 前記露出制御手段は、前記現撮像画面に含まれる領域であって、前記移動体の移動方向の予め定められた領域を露出領域として、該露出領域の明るさが予め定められた明るさとなるように前記制御利得を制御し、
   前記第１検出手段における前記第１参照領域及び前記第２検出手段における前記第２参照領域のうち少なくともいずれか一方が、前記露出領域内に設定されること、を特徴とする請求項１に記載の故障検出装置。
3. 前記露出制御手段は、少なくとも露光時間からなるカメラ制御値を調整して、前記制御利得を設定することを特徴とする請求項１または２に記載の故障検出装置。
4. 前記第１検出手段は、前記第１参照領域を、前記移動体が移動する路面とすることを特徴とする請求項１から３のいずれか一項に記載の故障検出装置。
5. 請求項１から４のいずれか一項に記載の前記故障検出装置と、前記撮像手段とを備えることを特徴とする撮像システム。