JP2005515733A - 画像撮影システムにおいて画像エラーを識別ないし表示するための方法と装置 - Google Patents

Abstract

画像撮影システムにおいてエラーを識別ないし表示する方法と装置が提案される。自己診断機能が設けられており、画像エラーを識別し、クラス分けする。画像撮影システムは、画像エラー及び画像エラーの種類を表すエラー信号を出力する。

Description

従来技術
本発明は、例えば自動車内の画像撮影システムにおいて画像エラーを識別ないし表示するための方法と装置に関する。

画像撮影システム、例えばビデオ監視システム用のカメラについての自己診断機能が公知であり、この自己診断機能は電子コンポーネントの故障を別個の回路装置を用いて検出するか、画像センサ自体の故障を記憶されている基準画像との比較によって識別する（例えば、ＪＰ １１−０２７７０４ Ａを参照されたい）。検出された画像を基礎として追従措置が導出される適用では、画像センサの故障が識別されるだけでなく、画像にエラーがあり、したがって場合によってはこの画像を基礎としてエラーがあるとする結論を導く可能性があるエラー状態も識別することができる。例えばそのような適用の対象は自動車の分野であり、この分野ではビデオを基礎とするドライバ補助システムと関連させて、ビデオ画像から導出される種々の措置、自動的な衝突回避制動を行うまでもの車線を離れた場合の警告、についての提案が公知である。

発明の利点
有利には画像撮影システムはエラーコード信号を介して画像エラーを示す。このエラーコード信号を基礎として、画像考察者または後続の評価システムが、伝送された画像は更なる処理に適しているか否かを判断する。

さらに有利には、拡張された検出可能性が提供される。ハードウェアコンポーネントの単なる故障の識別を大きく上回る多数の画像エラークラスが識別される。これによって、画像エラーの結果システム全体の重大な故障が生じることが効果的に回避される。識別されたエラーをクラス分けすることができ、エラークラスをエラーコード信号において通知することができる。

殊に有利には画像エラーの識別は、統計学及び画像処理の方法を使用する画像センサ（例えばビデオカメラ）の入力画像の分析からのみで行われる。したがって効果的に多数の画像エラーを検出して、クラス分けすることができる。殊に有利には、露光エラー、画像のノイズ、画像センサの遮蔽及び画像の不鮮明が識別され、相応に表示される。

殊に有利にはエラーの識別ないし表示を、自動車におけるビデオを基礎とするドライバ補助システムに使用することができる。このようにしてビデオを基礎とするドライバ補助システムは、識別された画像エラーに適切に反応することができる。

有利には、画像撮影システムはそのような画像エラーを付加的なコンポーネントを必要とせずに、この画像撮影システム自体で識別し、クラス分けし、後続の画像処理モジュールに転送する。

別の利点は実施例の以下の説明及び従属請求項から生じる。

図面
本発明を以下図面に示した実施形態に基づき詳細に説明する。唯一の図面は画像を基礎とする自己診断機能を備えた画像撮影システム、例えばカメラを示す。

実施例の説明
図１には画像センサ１０を備えた画像撮影システム、例えばＣＣＤカメラまたはＣＭＯＳカメラが示されており、この画像撮影システムは画像を評価ユニット１２に送信する。この評価ユニット１２は画像撮影システム１０の自己診断用のモジュールを包含する。検出されたエラーはインタフェース１４を介してエラーコード信号として（電気的、ディジタル、音響的及び／又は視覚的に）表示、情報提供及び／又は記憶のために後続のシステムに伝送される。この後続のシステムはエラーコードを評価し、例えばこれらのシステムが供給された画像を評価しない、機能障害を示す、または代替措置（エラーを有する画像からエラーは無いと推測できる情報のみの使用）が開始されることによって相応に反応する。

評価ユニット１２は、統計学及び／又は画像処理の方法を用いる画像センサの入力画像の分析を基礎として画像エラーを検出し、クラス分けするモジュールを包含する。ここで画像エラーとはカメラ画像の画像品質を損なわせる全てのものと解され、殊に後続の処理システム（例えば車線警告器、反衝突システム等）の機能を妨害する可能性のあるものである。殊に画像エラーは、光学的な結像における露光不足及び露光過度、画像の激しいノイズ、画像または画像の一部の遮蔽、または不鮮明と解される。これらの画像エラーは以下一例として説明するやり方を基礎として識別され、相応にして、それぞれの画像エラーを特徴付けるエラーコードが形成され、転送される。

評価ユニット１２は有利な実施例においては計算機から成り、この計算機では以下説明するエラー識別、エラーコード形成及びエラーコード出力のためのやり方が実施されるプログラムが実行される。実施例に応じて上記全てのエラーを識別する措置、または任意の組み合わせにおいてこれらのエラーを識別する措置の内の一部のみ、個々の事例ではエラーを識別する措置の内の１つだけが使用される。

露光エラーを識別及び確認するために、モジュール１６において画像センサ１０によって検知された画像のヒストグラムが作成される。ここでは画像のグレー値の度数が生じ得るグレー値にわたりプロットされる。ヒストグラムにおいてグレー値の集積（Haeufung）が値領域の最下部ないし最上部に示される場合には、露光不足ないし露光過度が存在する。この評価はモジュール１８において行われ、このモジュール１８では最下部または最上部におけるグレー値の度数が所定のグレー値を上回るか否かが検査される。別の可能性は、中間グレー値が設定され、所定の閾値との比較によって露光不足または露光過度が識別される。この評価の結果露光不足または露光過度が存在するのであれば、モジュール２２において相応のエラーコード信号が形成されて、出力される。

モジュール１６において形成されたヒストグラムから導出される別のエラー状態は、遮蔽エラーである。カメラが対象の手前において光を通さない物体、例えばふたや前に差し出された手によって直接覆われると、センサ画像においては大幅なコントラストの損失ないし比較的均一なグレー値配分が生じる。画像コントラストを例えばヒストグラムデータの標準偏差またはエントロピによって測定することができる。このことはモジュール２４において行われ、エラーが識別された場合にはモジュール２８において相応のエラーコードを有するエラー信号が形成されて、出力される。

このようにして遮蔽を識別する他に、ステレオカメラの場合には撮影された画像を比較することにより、例えば２つの画像のヒストグラムを比較することによりステレオカメラの一方が遮蔽されていることが求められる。ステレオカメラにおいて２つのカメラの内の１つが遮蔽されていることは、他の方法例えばピクセルなどを直接比較することにより識別される。詳細は同一の出願人により同時に出願された特許明細書に記載されている。ここでもまた、エラー信号を発生させるためには所定数のエラーが識別されなければならない。遮蔽エラーとしてクラス分けされる別のエラー状態は、カメラ画像が短時間部分的に遮蔽されること、例えば画像センサの前方をワイパが通過する場合である。この遮蔽状況は、最後の画像または少なくとも２つの先行の画像に基づき次の画像の露光状況を算定するモデルによって求められる。実際の露光状況が所定の割合だけ予想された露光状況と異なる場合には、画像が部分的に動的に遮蔽されているという結果になる。ここでは短時間だけ遮蔽されているため、エラーコード信号が即座に発生される。

別のエラークラスは画像のノイズである。このためにモジュール３０においては、画像の隣接するピクセルの相関が評価される。隣接するピクセルのグレー値は通常の画像では相互に大きく相関している。画像センサの画像にノイズがある場合には、この空間的な相関は失われる。すなわちこのエラーを検出するために、予め選択された画像領域におけるピクセルの空間的な相関が相関関数を算出することにより検出される。結果は通常の画像におけるグレー値の大きな相関、もしくはノイズ状況におけるグレー値の相関の欠如を示す。空間的な相関が欠如していれば、画像エラーが想定される。エラーを識別するために相関関数が、相関関数の許容値を表すグレー値と比較される。そのような画像エラーが識別されていると、モジュール３４においてエラーコード信号が形成されて、出力される。有利な実施例ではノイズエラーに関するエラーコード信号は、所定数のエラーが識別された場合にのみ形成される。何故ならば、大量のノイズエラーが識別されることは（画像のエラーではない）別のエラーを示唆するからである（閾値段３２）。

さらなる改善は、相関が時間的に、すなわち連続する画像を基礎として算出される場合に達成される。このことは付加的に、例えばカメラの同期問題のような別のエラーの検出も可能にする。この場合、連続する画像の所定の画像領域における個々のピクセルの相関関数が求められ、相応に処理される。

別のエラー状態、すなわち不鮮明はモジュール３６において検出される。不鮮明な画像が識別されると、エラーが検出される。この場合モジュール４０において、エラーコード「不鮮明」を有するエラー信号が形成されて、出力される。不鮮明自体は例えばコントラストスペクトルを用いて得られるか、フーリエスペクトルまたは自己相関関数から得られる。不鮮明の測定についての詳細は、同一の出願人によって同時に出願された明細書に記載されている。

さらに画像における検出可能なエラーは、例えば画像センサ前方のフロントガラスのガラス内の亀裂（例えば不鮮明から求められる）、物体とガラスとの間の基板における接着誤り、または上述したように、例えばステッカや汚れのような不透明な物体による部分的な遮蔽である。

上述のモジュールは実施形態に応じて並行して、または任意の構成で動作する。

したがって、画像センサの画像に所定のエラーが存在する場合には、所定の画像エラーを示唆する所定のエラーコードを有するエラー信号が出力される。例えば、センサによって撮られたシーンの照明が過度に強いまたは過度に弱い場合、対象の遮蔽またはデフォーカシングの場合、画像にノイズが示された場合には相応のエラーコードが求められ、出力される。

例えば遮蔽、露光エラー及び／又は不鮮明に関する上述のエラーは有利な実施例においては、画像エラーが所定の頻度で現れるか、または所定数のエラーが識別されたことが求められた場合（閾値２０、２６、３８によって示されている）に初めて表示される。これによって過度に頻繁なエラー通知は回避される。

別の実施形態においては識別された各エラーは、例えば後続のシステムに広範囲なエラー評価措置及びエラー反応措置が割り当てられている場合に表示される。

エラーの種類の他に、実施例においてはさらにエラーの程度、すなわち重大性が識別されて、伝送される。不鮮明の例では、このことは例えばコントラストの平均的な勾配に基づき行われ、ノイズの場合には相関関数の値に基づき行われる。エラーの重大性はエラー信号において符号化されるか、値として付加的に伝送される。そのような情報を基礎として後続のシステムは、エラーの重大性に依存して反応を制御することができる。

既述のやり方は自動車における画像撮影システムへの使用だけに制限されるのではなく、画像撮影システムと関連してエラーの種類の識別及び後続のシステムまたは観察者に対するエラーの種類に関する情報提供が重要な役割を担うあらゆるところで適用される。

画像に基づく自己診断機能を備えた画像撮影システムである。

Claims (11)

1. 画像センサによって画像を検知し、該画像を評価ユニットに供給する、画像撮影システムにおいて画像エラーを識別及び表示する方法において、
   前記評価ユニットは画像エラーが存在する場合、該画像エラーの種類を示すエラー信号を送出することを特徴とする、画像エラーを識別及び表示する方法。
2. さらに前記評価ユニットは画像エラーが存在する場合には、該画像エラーの程度を示すエラー信号を送出する、請求項１記載の方法。
3. エラー識別及びエラークラス分けを、前記画像センサから伝送された画像に基づいてのみ行う、請求項１または２記載の方法。
4. 以下の画像エラー、すなわち「露出不足」ないし「露出過度」、「遮蔽」、「ノイズ」及び／又は「不鮮明な画像」を示す、請求項１から３までのいずれか１項記載の方法。
5. 前記画像エラーを電気的な、有利にはディジタルのエラーコード信号及び／又は相応の視覚的及び／又は音響的な信号により表示する、請求項１から４までのいずれか１項記載の方法。
6. 露光エラーをグレー値のヒストグラムに基づき求める、請求項１から５までのいずれか１項記載の方法。
7. 遮蔽をセンサ画像のグレー値のヒストグラムから導出する、請求項１から６までのいずれか１項記載の方法。
8. ノイズエラーを画像のピクセルの空間的な相関を用いて検出する、請求項１から７までのいずれか１項記載の方法。
9. 不鮮明の測定値を、コントラストスペクトル、フーリエスペクトルまたは自己相関関数を用いて求める、請求項１から８までのいずれか１項記載の方法。
10. 前記画像撮影システムを自動車のドライバ補助システムと関連させて使用し、求められたエラー信号を評価のために後続の制御システムに伝送する、請求項１から９までのいずれか１項記載の方法。
11. 画像を生成する画像センサと、該画像を評価し、少なくとも１つのエラー信号を形成する評価ユニットとを備えた、画像エラーを識別及び表示する装置において、
    前記評価ユニットは、画像エラーが存在する場合に該画像エラーの種類を表すエラー信号を形成する手段を有することを特徴とする、画像エラーを識別及び表示する装置。

Images