JP2007251555A - 診断装置および方法、プログラム、並びに、記録媒体 - Google Patents

Abstract

【課題】撮像装置の異常を簡単かつ確実に検出する。
【解決手段】発光制御部３２は、撮像装置１１の画角内に入るように設置された発光装置１２が点滅する間隔を制御する制御信号を、発光装置１２、撮像装置診断部３３および発光装置診断部３４に供給する。撮像装置診断部３３は、撮像装置１１により撮像された入力画像における発光装置１２の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置１１の状態を診断する。発光装置診断部３４は、発光装置１１から入力される電圧または電流の変動が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、発光装置１１の状態を診断する。本発明は、画像処理装置に適用できる。
【選択図】図１

Description

本発明は、診断装置および方法、プログラム、並びに、記録媒体に関し、撮像装置の異常を簡単かつ確実に検出できるようにした診断装置および方法、プログラム、並びに、記録媒体に関する。

近年、車両に搭載した撮像装置により車両の周辺やドライバを撮像した画像を処理し、処理した結果を利用して、車両の走行の安全性を高める車載装置が種々開発されている。そのような装置の一例として、車両の車線からの逸脱を検知し、ドライバに注意を促す車線逸脱検知装置、車両の前方の人や動物などの飛出しを検知し、ドライバに注意を促す飛出し検知装置、左折時や右折時などに車両に巻き込まれる可能性のある人や動物などの存在を検知し、ドライバに注意を促す巻き込み検知装置、居眠りを検知し、ドライバに注意を促す居眠り検知装置、脇見運転を検知し、ドライバに注意を促す脇見運転検知装置などがある。

これらの車載装置において、何らかの原因により撮像装置に異常が発生した場合、例えば、画像信号は出力されているが、被写体の輝度の変化に応答できず、ほとんど同程度の輝度値しか出力されないなどの現象が発生する。画像信号に異常が発生した場合、正常に画像処理が行われないため、上述したような車載装置が正常に動作せずに、乗員の安全性を損なってしまう恐れがある。

従来、このような画像信号の異常を検出するために、画像のエッジ量を演算して、基準値と比較することにより、画像信号の異常を検出することが提案されている（例えば、特許文献１参照）。

また、画像信号のレベルが所定値以下、かつ、車速が所定値以上、かつ、自車のヘッドライトがオフされている状態が一定時間継続した場合、画像信号が異常であると判定することが提案されている（例えば、特許文献２参照）。

特開平９−１１３２１１号公報 特開２００１−２０４０１２号公報

しかしながら、特許文献１に記載の発明では、処理が複雑になってしまう問題がある。また、特許文献１に記載の発明では、例えば、夜間に路面が濡れた状態においては、街路灯やヘッドライトの光などが路面に反射され拡散され、画像の全体にわたって輝度値がほとんど同程度になる場合があり、画像信号の異常を正確に検出することが困難である。

また、特許文献２に記載の発明では、昼間に画像信号の異常を検出することが目的とされており、夜間においては、画像信号の異常を検出することが困難である。

本発明は、このような状況に鑑みてなされたものであり、撮像装置の異常を簡単かつ確実に検出できるようにするものである。

本発明の一側面の診断装置は、撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、発光装置が点滅する間隔を制御する発光制御手段と、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置の状態を診断する撮像装置診断手段とを備える。

本発明の一側面の診断装置においては、撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、発光装置が点滅する間隔が制御され、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置の状態が診断される。

従って、撮像装置の異常を簡単かつ確実に検出することができる。

この発光制御手段、撮像装置診断手段は、例えば、CPU（Central Processing Unit）により構成される。

この撮像装置診断手段には、入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期してない状態が所定の間継続した場合、撮像装置に異常が発生していると診断させることができる。

これにより、例えば、一時的に強い光が照射され、発光装置の点滅の確認が困難な状態になっても、撮像装置の異常を確実に検出することができる。

この発光制御手段には、さらに、入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期していない場合、発光装置が発する光の輝度が高くなるように発光装置を制御させ、撮像装置診断手段には、発光装置が発する光の輝度が高くされた後、さらに、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期していない場合、撮像装置に異常が発生していると診断させることができる。

これにより、発光装置１２の表面が雪や埃などで覆われ、撮像装置に入射する光量が落ちても、撮像装置の異常を確実に検出することができる。

この診断装置には、発光装置から入力される電圧または電流の変動が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、発光装置の状態を診断する発光装置診断手段をさらに設けることができる。

これにより、撮像装置と発光装置の異常を切り分けることができ、撮像装置の異常をより確実に検出することができる。

この入力画像は、撮像装置により、車両の内部からフロントガラス越しに車両の前方が撮像された画像とすることができ、この発光制御手段には、車両のワイパーが動作している場合、発光装置から撮像装置に入射する光が、ワイパーにより遮られないように、発光装置が点滅する間隔を制御させることができる。

これにより、車内から車両の前方を撮像する撮像装置の異常を簡単かつ確実に検出することができる。

この入力画像は、入射光量の対数にほぼ比例した輝度値を出力する撮像素子を有する撮像装置により撮像された画像とすることができる。

これにより、入射光量の対数にほぼ比例した輝度値を出力する撮像素子を有する撮像装置の異常を簡単かつ確実に検出することができる。

この発光装置には、近赤外光を発させることができる。

これにより、発光装置から撮像装置に入射する光が、雪、雨、埃などにより遮断されにくくすることができる。また、点灯または点滅する光が人には見えないため、ドライバなどに煩わしさを感じさせないようにすることができる。

本発明の一側面の診断方法、プログラム、または、記録媒体に記録されているプログラムは、撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、発光装置が点滅する間隔を制御する発光制御ステップと、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置の状態を診断する撮像装置診断ステップとを含む。

本発明の一側面の診断方法、プログラム、または、記録媒体に記録されているプログラムにおいては、撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、発光装置が点滅する間隔が制御され、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置の状態が診断される。

従って、撮像装置の異常を簡単かつ確実に検出することができる。

この発光制御ステップは、例えば、撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、発光装置が点滅する間隔をCPUにより制御する発光制御ステップにより構成され、この撮像装置診断ステップは、例えば、撮像装置により撮像された入力画像における発光装置の点滅が、制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置の状態をCPUにより診断する撮像装置診断ステップにより構成される。

以上のように、本発明の一側面によれば、撮像装置の状態を診断することができる。特に、本発明の一側面によれば、撮像装置の異常を簡単かつ確実に検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システム１の一実施の形態を示すブロック図である。画像処理システム１は、撮像装置１１、発光装置１２、および、画像処理装置１３を含むように構成される。また、画像処理装置１３は、画像メモリ２１、画像処理部２２、および、診断部２３を含むように構成される。さらに、診断部２３は、画像抽出部３１、発光制御部３２、撮像装置診断部３３、発光装置診断部３４、および、異常通知部３５を含むように構成される。

画像処理システム１は、画像処理システム１が設けられている車両の前方を撮像装置１１により撮像した画像（以下、入力画像と称する）に対して、所定の画像処理を施し、その結果得られた画像または情報を、車両の前方の人、動物、障害物などの存在を監視する前方監視装置、もしくは、車線逸脱監視装置など、車両の走行の安全性を高める図示せぬ車載装置、または、表示装置２などに供給する。

撮像装置１１は、例えば、図２を参照して後述するように、対数変換型の撮像素子を用いて非常に広いダイナミックレンジ（例えば、約170dB）で被写体を撮像する撮像装置により構成される。撮像装置１１により撮像される画像は、例えば、14bitの符号なし２進数のデジタルのデータであり、最も暗い０から最も明るい２¹⁴−１の範囲の１６３８４階調の輝度値が割り当てられる。

撮像装置１１は、図４を参照して後述するように、画角内に車両の前方の光景および発光装置１２を含むように設置され、撮像した画像である入力画像を、画像メモリ２１に供給し、記憶させる。

発光装置１２は、例えば、近赤外光を発するLED（Light Emitting Diode）により構成され、発光制御部３２の制御の基に、点灯または点滅する。発光装置１２から発する光を近赤外光とした場合、例えば、発光装置１２から撮像装置１１に入射する光が、雪、雨、埃などにより遮断されにくくなる。また、例えば、近赤外光は人には見えないため、点灯または点滅する光によりドライバなどに煩わしさを感じさせることが防止される。なお、発光装置１１から発する光の波長を、撮像装置１１が撮像できる範囲の波長内で近赤外光以外の波長とすることも可能である。

画像処理装置１３は、撮像装置１１により撮像された入力画像に対して、所定の画像処理を施す。また、画像処理装置１３は、撮像装置１１および発光装置１２の状態を診断することにより、撮像装置１１および発光装置１２の異常を検出する。

画像メモリ２１は、例えば、ハードディスク、フラッシュメモリなどの記憶装置により構成され、撮像装置１１により撮像された入力画像を記憶する。

画像処理部２２は、画像メモリ２１に記憶されている入力画像を読み出し、入力画像に対して、所定の画像処理を施す。画像処理部２２は、入力画像に基づいて、車両の前方の人、動物、障害物、車線、道路標識などを検出したり、入力画像の輝度または階調などを変換したり、入力画像から所定の被写体のみを抽出するなどの画像処理を行う。画像処理部２２は、画像処理の結果得られた画像や情報を、必要に応じて、表示装置２または外部の運転視線装置などに供給する。

診断部２３は、図５を参照して後述するように、撮像装置１１および発光装置１２の状態を診断する。

画像抽出部３１は、画像メモリ２１に記憶されている入力画像を読み出し、発光装置１２が写っている領域（以下、発光領域と称する）および発光領域の周辺の所定の範囲内の領域（以下、周辺領域と称する）からなる領域（以下、抽出領域と称する）の画像（以下、抽出画像と称する）を入力画像から抽出する。画像抽出部３１は、抽出画像を撮像装置診断部３３に供給する。なお、入力画像における発光領域および周辺領域の位置は、例えば、撮像装置１１および発光装置１２が設置されている位置に基づいて、画像抽出部３１に予め設定される。

発光制御部３２は、発光装置１２に制御信号を供給することにより、発光装置１２が点滅する間隔、発光装置１２が発する光の輝度などを制御する。また、発光制御部３２は、発光装置１２に供給する制御信号と同様の制御信号を撮像装置診断部３３および発光装置診断部３４に供給する。さらに、発光制御部３２は、画像処理システム１が設けられている車両の動作を制御する図示せぬ車両制御装置から、車両のワイパーの起動および停止、並びに、動作間隔などを示す情報を取得する。

撮像装置診断部３３は、図５を参照して後述するように、入力画像における発光装置１２の点滅が、発光制御部３２からの制御信号により指示される点滅のタイミングと同期しているかに基づいて、撮像装置１１の状態を診断する。撮像装置診断部３３は、撮像装置１１に異常が発生していると診断した場合、撮像装置１１の異常の発生を示す情報を画像処理部２２および異常通知部３５に供給する。また、撮像装置診断部３３は、必要に応じて、発光装置１２が発する光の輝度を通常より高くするように指示する情報を発光制御部３２に供給する。

発光装置診断部３４は、図５を参照して後述するように、発光装置１２から入力される電圧または電流の変動が、発光制御部３２からの制御信号により指示される点滅のタイミングと同期しているかに基づいて、発光装置１２の状態を診断する。発光装置診断部３４は、発光装置１２に異常が発生していると診断した場合、発光装置１２の異常の発生を示す情報を異常通知部３５に供給する。

異常通知部３５は、撮像装置１１または発光装置１２の異常の発生の通知を指示する情報を供給することにより、撮像装置１１または発光装置１２の異常の発生の通知を行うように表示装置２および音声出力装置３を制御する。

表示装置２は、例えば、LCD（Liquid Crystal Display）などにより構成され、画像処理部２２から供給される画像を表示する。また、表示装置２は、撮像装置１１または発光装置１２の異常の発生の通知を指示する情報が異常通知部３５から供給された場合、撮像装置１１または発光装置１２の異常の発生を通知する画像またはメッセージなどを表示する。

音声出力装置３は、例えば、スピーカ、サイレン、または、ブザーなどにより構成され、撮像装置１１または発光装置１２の異常の発生の通知を指示する情報が異常通知部３５から供給された場合、撮像装置１１または発光装置１２の異常の発生を通知する音声メッセージまたは警告音などを出力する。

図２は、図１の撮像装置１１の機能的構成を示すブロック図である。撮像装置１１は、レンズ１０１、および対数変換型撮像素子１０２を含むように構成される。対数変換型撮像素子１０２は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor）（登録商標））などの対数変換型の撮像素子とされ、光検出部１１１、対数変換部１１２、A/D変換部１１３、および撮像タイミング制御部１１４を含むように構成される。

撮像装置１１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１０１に入射し、対数変換型撮像素子１０２の光検出部１１１の図示せぬ光検出面に結像する。

光検出部１１１は、例えば、複数のフォトダイオードからなる受光素子などにより構成される。光検出部１１１は、レンズ１０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。

対数変換部１１２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を、各画素ごとに、電荷の数（電流の強さ）の対数、すなわち、被写体の光の光量の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１１２は、生成したアナログの電気信号をA/D変換部１１３に供給する。

A/D変換部１１３は、撮像タイミング制御部１１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データ（以下、単に画像とも称する）にA/D変換する。例えば、14bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの輝度値（あるいは画素値）は、最も暗い０から最も明るい２¹⁴−１の範囲の値をとる。A/D変換部１１３は、変換したデジタルの画像データを画像メモリ２１に供給する。

このように、撮像装置１１は、光検出部１１１に入射した被写体の光の明るさ、すなわち、入射光量の対数に比例した輝度値（あるいは画素値）からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

なお、対数変換型撮像素子１０２の光検出部１１１においては、変換した電荷を蓄積せずに、そのまま対数変換部１１２に供給させるようにすることも可能である。

図３は、対数変換型撮像素子１０２、CCD撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図３の横軸は、入射光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１５１は対数変換型撮像素子１０２の感度特性を示し、線１５２はCCD撮像素子の感度特性を示し、線１５３は銀塩フィルムの感度特性を示し、線１５４は人の目の感度特性を示している。

対数変換型撮像素子１０２は、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子１０２を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値（あるいは画素値）からなる画像を撮像することができる。なお、撮像装置１１に用いる対数変換型撮像素子１０２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

従って、対数変換型撮像素子１０２を用いた撮像装置１１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタースピードなどを調整して入射光量を調整する必要がない。すなわち、撮像装置１１は、入射光量を調整しなくても、被写体の詳細な輝度の分布を忠実に撮像することができる。

例えば、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、撮像装置１１は、入射光量を調整せずに、太陽と前方の道路の輝度の分布を忠実に再現した画像を撮像することができる。また、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、撮像装置１１は、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない領域までの輝度の分布を忠実に再現した画像を撮像することができる。

また、CCD撮像素子および銀塩フィルムでは、線１５２および線１５３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１０２では、感度特性が入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子１０２を用いた撮像装置１１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けない。従って、撮像装置１１により撮像された画像データの輝度値（あるいは画素値）は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。すなわち、フレーム間の画像データの差分をとった差分データの各画素の差分値は、被写体の輝度の変動および被写体の動きがほぼ忠実に反映された値となる。

次に、図４を参照して、発光装置１２を設置する位置の例を説明する。図４は、撮像装置１１により撮像された入力画像の例を模式的に示す図である。この例においては、撮像装置１１は、車両を運転するドライバと同様に、画像処理システム１が設けられている車両の内部からフロントガラス（または、ウインドシールドガラス）越しに見た車両の前方の光景を撮像できるように、車両の内部に設置されている。すなわち、図４は、画像処理システム１が設けられている車両の内部からフロントガラス越しに車両の前方が撮像された入力画像である。また、入力画像の下端付近の左よりの位置に、自車のボンネット２０１の一部が写り、ボンネット２０１の左右にはフェンダー２０２−１，２０２−２の一部が写っている。

発光装置１２は、入力画像における位置が、画像処理部２２による画像処理の影響が少ない位置となるように、例えば、フェンダー２０２−１の上面に設置され、図４の入力画像において、フェンダー２０２−１と重なる位置に写っている。すなわち、発光装置１２は、入力画像において常に同じものが写っている領域、つまり、フェンダー２０２−１が写っている領域内に位置する。

なお、発光装置１２を設置する位置は、この例に限定されるものではなく、入力画像における位置が、画像処理部２２による画像処理の影響が少ない位置であればよい。例えば、入力画像の４隅付近のいずれかに写るように発光装置１２を設置することが考えられる。

次に、図５のフローチャートを参照して、画像処理システム１により実行される画像処理を説明する。なお、この処理は、例えば、ユーザにより、画像処理システム１の図示せぬ操作部を介して、画像処理の開始の指令が入力されたとき開始される。

ステップＳ１において、撮像装置１１は、撮像を開始する。具体的には、撮像装置１１は、画像処理システム１が設けられている車両の前方の撮像を開始する。撮像装置１１は、撮像することにより得られた入力画像を順次画像メモリ２１に供給し、記憶させる。

ステップＳ２において、発光制御部３２は、発光装置１２の点滅を開始させる。具体的には、発光制御部３２は、発光装置１２の点滅を制御する制御信号の発光装置１２、撮像装置診断部３３、および、発光装置診断部３４への供給を開始するとともに、発光装置１２が所定の間隔で点滅するように制御信号の値を制御する。発光装置１２は、制御信号に基づいて、所定の間隔の点滅を開始する。また、発光装置診断部３４は、発光装置１２から入力される電圧または電流の計測を開始する。

ステップＳ３において、画像処理部２２は、画像処理を開始する。具体的には、画像処理部２２は、画像メモリ２１に記憶されている入力画像に対して、所定の画像処理を施し、その結果得られた画像または情報を、必要に応じて、図示せぬ車載装置または表示装置２に順次供給する。図示せぬ車載装置は、必要に応じて、画像処理部２２からの画像または情報に基づいて、所定の処理を開始し、表示装置２は、必要に応じて、画像処理部２２から供給される画像の表示を開始する。

ステップＳ４において、発光制御部３２は、ワイパーが起動されたかを判定する。発光制御部３２は、画像処理システム１が設けられている車両の動作を制御する図示せぬ車両制御装置から供給される情報に基づいて、車両に設けられているワイパーが起動したと判定した場合、処理はステップＳ５に進む。

ステップＳ５において、発光制御部３２は、発光装置１２からの光がワイパーに遮られないように、点滅間隔を調整する。例えば、発光制御部３２は、ワイパーが車両のボンネット側に倒れて、車両のフロントガラス上にない状態において、すなわち、発光装置１２から撮像装置１１に入射する光が、ワイパーにより遮られない状態において点灯し、ワイパーがフロントガラス上にある状態において消灯するように、制御信号の値を制御する。すなわち、発光制御部３２は、発光装置１２から撮像装置１１に入射する光が、ワイパーにより遮られないように、発光装置１２が点滅する間隔を制御する。発光装置１２は、制御信号に基づいて、点滅間隔を変更する。その後、処理はステップＳ６に進む。

ステップＳ４において、ワイパーが起動されていないと判定された場合、ステップＳ５の処理はスキップされ、発光装置１２の点滅間隔は変更されずに、処理はステップＳ６に進む。

ステップＳ６において、発光装置診断部３４は、発光装置１２が点滅しているかを判定する。具体的には、発光装置診断部３４は、発光装置１２から入力される電圧または電流の変動が、発光制御部３２からの制御信号により指示される発光装置１２の点滅のタイミングと同期している場合、または、発光装置１２から入力される電圧または電流の変動が、発光制御部３２からの制御信号により指示される点滅のタイミングと同期していない状態が、所定の第１の期間継続していない場合、発光装置１２が点滅していると判定し、処理はステップＳ７に進む。

ステップＳ７において、画像抽出部３１は、発光装置１２付近の画像を抽出する。具体的には、画像抽出部３１は、画像メモリ２１に記憶されている入力画像を読み出す。画像抽出部３１は、発光領域および周辺領域からなる抽出領域の画像、すなわち、抽出画像を入力画像から抽出する。画像抽出部３１は、抽出画像を撮像装置診断部３３に供給する。

ステップＳ８において、撮像装置診断部３３は、入力画像において、発光装置１２が点滅している間隔を検出する。具体的には、撮像装置診断部３３は、発光領域内の画素の輝度値の平均値と、周辺領域内の画素の輝度値の平均値とを比較して、発光領域内の画素の輝度値の平均値が、周辺領域内の画素の輝度値の平均値より所定の閾値以上高い場合、発光装置１２が点灯していると判定する。一方、撮像装置診断部３３は、発光領域内の画素の輝度値の平均値が、周辺領域内の画素の輝度値の平均値より所定の閾値以上高くない場合、発光装置１２が消灯していると判定する。撮像装置診断部３３は、所定の間、例えば、所定の第２の期間または所定の点滅回数の間における発光装置１２の点灯または消灯の判定結果に基づいて、入力画像において、発光装置１２が点滅している間隔を検出する。

ステップＳ９において、撮像装置診断部３３は、入力画像において、発光装置１２の点滅が制御信号と同期していない状態が所定の間継続したかを判定する。点滅制御部３３は、ステップＳ８の処理の結果に基づいて、入力画像における発光装置１２の点滅が、発光制御部３２からの制御信号により指示される点滅のタイミングと同期していない状態が所定の間継続していることを検出した場合、入力画像において、発光装置１２の点滅が制御信号と同期していない状態が所定の間継続したと判定し、処理はステップＳ１０に進む。

ステップＳ１０において、撮像装置診断部３３は、発光装置１２の輝度が通常より高く設定されているかを判定する。具体的には、撮像装置診断部３３は、発光制御部３２からの制御信号に基づいて、発光装置１２の輝度が通常より高く設定されていないと判定した場合、処理はステップＳ１１に進む。

ステップＳ１１において、発光制御部３２は、発光装置１２の輝度を通常より高く設定する。具体的には、撮像装置診断部３３は、発光装置１２の輝度を通常より高くするように指示する情報を発光制御部３２に供給する。発光制御部３２は、発光装置１２が発する光の輝度が通常より高くなるように、制御信号の値を制御する。発光装置１２は、制御信号に基づいて、発する光の輝度を高くする。その後、処理はステップＳ１２に進む。

例えば、発光装置１２の表面が雪や埃などで覆われ、入力画像において発光装置１２の点滅の確認が困難である場合、発光装置１２の輝度を高くすることにより、発光領域の輝度値の平均値と、周辺領域の輝度値の平均値との差が大きくなり、入力画像における発光装置１２の点滅の確認が容易になる。これにより、撮像装置１１の異常を誤検出することが防止される。

ステップＳ９において、入力画像において、発光装置１２の点滅が制御信号と同期していない状態が所定の間継続していないと判定された場合、ステップＳ１０およびＳ１１の処理はスキップされ、処理はステップＳ１２に進む。

ステップＳ１２において、画像処理システム１は、画像処理の停止が指令されたかを判定する。画像処理の停止が指令されていないと判定された場合、処理はステップＳ４に戻り、その後、ステップＳ６において、発光装置１２が点滅していないと判定されるか、ステップＳ１０において、発光装置１２の輝度が通常より高く設定されていると判定されるか、ステップＳ１２において、画像処理の停止が指令されたと判定されるまで、ステップＳ４乃至Ｓ１２の処理が繰り返し実行される。

ステップＳ１２において、例えば、ユーザにより、画像処理システム１の図示せぬ操作部を介して、画像処理の停止の指令が入力された場合、画像処理の停止が指令されたと判定され、画像処理は終了する。

ステップＳ１０において、発光装置１２の輝度が通常より高く設定されていると判定された場合、すなわち、発光装置１２から発する光の輝度が通常より高くされた後、さらに、入力画像において、発光装置１２の点滅が制御信号と同期していない状態が所定の間継続した場合、処理はステップＳ１３に進む。

ステップＳ１３において、異常通知部３５は、撮像装置１１の異常を通知させ、画像処理は終了する。具体的には、撮像装置診断部３３は、撮像装置１１の異常の発生を示す情報を画像処理部２２および異常通知部３５に供給する。異常通知部３５は、撮像装置１１の異常の発生の通知を指示する情報を表示装置２および音声出力装置３に供給する。表示装置２は、撮像装置１１の異常の発生を通知する画面またはメッセージなどを表示する。音声出力装置３は、撮像装置１１の異常の発生を通知する音声メッセージまたはアラームなどを出力する。画像処理部２２は、画像処理を停止する。

ステップＳ６において、発光装置診断部３４は、発光装置１２から入力される電圧または電流の変動が、発光制御部３２からの制御信号により指示される点滅のタイミングと同期していない状態が所定の第１の期間継続している場合、発光装置１２が点滅していないと判定し、処理はステップＳ１４に進む。

ステップＳ１３において、異常通知部３５は、発光装置１２の異常を通知させ、画像処理は終了する。具体的には、発光装置診断部３４は、発光装置１２の異常の発生を示す情報を異常通知部３５に供給する。異常通知部３５は、発光装置１２の異常の発生の通知を指示する情報を表示装置２および音声出力装置３に供給する。表示装置２は、発光装置１２の異常の発生を通知する画面またはメッセージなどを表示する。音声出力装置３は、発光装置１２の異常の発生を通知する音声メッセージまたはアラームなどを出力する。

以上のようにして、撮像装置１１の異常を、複雑な処理を行うことなく、簡単かつ確実に検出することができる。

また、対向車のヘッドライトなどの他の光源からの強い光が、発光装置１２から撮像装置１１への光軸を含むように車両の前方から照射され、発光領域の輝度値の変化が小さい場合においても、発光領域内の画素の輝度値の平均値と周辺領域内の画素の輝度値の平均値とを比較して、発光装置１２の点滅を検出するので、確実に発光装置１２の点滅を検出することができ、撮像装置１１の異常を誤検出することが防止される。

仮に、他の光源からの強い光により、入力画像において、発光装置１２の点滅の検出が困難な状態に一時的に陥った場合でも、発光装置に１２の点滅が検出できない状態が所定の間継続しなければ、撮像装置１１に異常が発生していると判定されず、また、走行中の車両においては、車両の同じ場所に同じ強い光が長時間継続して照射される可能性が低いため、撮像装置１１の異常を誤検出することが防止される。

なお、以上の説明では、発光装置１２を１つのみ設けるようにしたが、２つ以上設けるようにしてもよい。これにより、より確実に撮像装置１１の異常を検出することができる。

また、発光装置１２から撮像装置１１に入射する光がワイパーにより遮られる時間より、発光装置１２が点灯している時間の方が十分長く、入力画像における発光装置１２の点滅間隔を検出するのに支障がない場合、ワイパーの起動により発光装置１２の点滅間隔を調整する処理を省略することが可能である。

さらに、他の光源からの強い光が発光装置１２から撮像装置１１への光軸を含むように照射される可能性が低い場合、発光領域内の画素の輝度値の変化のみに基づいて、発光装置１２の点滅を検出するようにしてもよい。

また、以上の説明においては、車両の前方を撮像するように設置された撮像装置の異常を検出する例を示したが、本発明の実施の形態においては、入力画像における発光装置の位置が固定されていれば、撮像装置を設置する位置に関わらず、例えば、車両の他の方向または車内を撮像するように設置された撮像装置や車両以外の場所に設置された撮像装置の異常を検出することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３００の構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記録部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。

CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。

入出力インタフェース３０５に接続されている記録部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３０９を介してプログラムを取得し、記録部３０８に記憶してもよい。

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記録部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの一実施の形態を示すブロック図である。 図１の撮像装置の機能的構成を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 図１の発光装置を設置する位置の例を示す図である。 図１の画像処理システムにより実行される画像処理を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１ 画像処理システム
１１ 撮像装置
１２ 発光装置
１３ 画像処理装置
２２ 画像処理部
２３ 診断部
３１ 画像抽出部
３２ 発光制御部
３３ 撮像装置診断部
３４ 発光装置診断部
３５ 異常通知部
１０２ 対数変換型撮像素子

Claims (10)

1. 撮像装置の状態を診断する診断装置において、
   前記撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、前記発光装置が点滅する間隔を制御する発光制御手段と、
   前記撮像装置により撮像された入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期しているかに基づいて、前記撮像装置の状態を診断する撮像装置診断手段と
   を含む診断装置。
2. 前記撮像装置診断手段は、前記入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期してない状態が所定の間継続した場合、前記撮像装置に異常が発生していると診断する
   請求項１に記載の診断装置。
3. 前記発光制御手段は、さらに、前記入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期していない場合、前記発光装置が発する光の輝度が高くなるように前記発光装置を制御し、
   前記撮像装置診断手段は、前記発光装置が発する光の輝度が高くされた後、さらに、前記撮像装置により撮像された入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期していない場合、前記撮像装置に異常が発生していると診断する
   請求項１に記載の診断装置。
4. 前記発光装置から入力される電圧または電流の変動が、前記制御信号により指示される点滅のタイミングと同期しているかに基づいて、前記発光装置の状態を診断する発光装置診断手段を
   さらに含む請求項１に記載の診断装置。
5. 前記入力画像は、前記撮像装置により、車両の内部からフロントガラス越しに前記車両の前方が撮像された画像であり、
   前記発光制御手段は、前記車両のワイパーが動作している場合、前記発光装置から前記撮像装置に入射する光が、前記ワイパーにより遮られないように、前記発光装置が点滅する間隔を制御する
   請求項１に記載の診断装置。
6. 前記入力画像は、入射光量の対数にほぼ比例した輝度値を出力する撮像素子を有する前記撮像装置により撮像された画像である
   請求項１に記載の診断装置。
7. 前記発光装置は、近赤外光を発する
   請求項１に記載の診断装置。
8. 撮像装置の状態を診断する診断方法において、
   前記撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、前記発光装置が点滅する間隔を制御する発光制御ステップと、
   前記撮像装置により撮像された入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期しているかに基づいて、前記撮像装置の状態を診断する撮像装置診断ステップと
   を含む診断方法。
9. 撮像装置の状態を診断する診断処理を、コンピュータに実行させるプログラムにおいて、
   前記撮像装置の画角内に入るように設置された発光装置が点滅する間隔を制御する制御信号を供給することにより、前記発光装置が点滅する間隔を制御する発光制御ステップと、
   前記撮像装置により撮像された入力画像における前記発光装置の点滅が、前記制御信号により指示される点滅のタイミングと同期しているかに基づいて、前記撮像装置の状態を診断する撮像装置診断ステップと
   を含むプログラム。
10. 請求項９に記載のプログラムを記録した記録媒体。

Images