JP2013530466A - ステレオカメラシステムの光学式自己診断 - Google Patents

Abstract

本発明は、カメラシステムを光学式に自己診断するための方法及び当該方法を実行するためのカメラシステムに関する。この方法は、少なくとも２つの部分画像（２，３）ごとから得られる立体画像を録画すること、１つの奥行き画像、すなわち計算された複数のディスパリティー値によって与えられる１つのディスパリティーマップ（５）を作成すること、このディスパリティーマップ（５）有効なディスパリティー値（６）の数を算定すること及びこれらの算定された有効なディスパリティー値に応じて警告信号を出力することを有する。当該方法を実行するための設備が、少なくとも２つのレンズ（７，８）と複数の画像センサと１つの評価装置と１つの表示装置とを有するステレオカメラ１を備える。

Description

本発明は、カメラシステムを光学式に自己診断するための方法及びこの方法を実行するためのカメラシステムに関する。

カメラシステム、特にステレオカメラシステムが、あらゆる種類の汚れに敏感に反応する。当該カメラシステムが、録画される画像を自動式に評価する監視システム、例えば人数計数システムの構成要素である場合、当該システムに起因する検出エラーが発生し且つ検出されないままである危険がある。画質の劣化と、これによって引き起こされた検出エラーを回避するため、それ故に当該システムが、自己検査機能を有し得る。当該自己検査機能は、光学系の汚れ又は遮蔽が存在するか否かを検査し、対応する警告信号を出力する。カメラシステムを光学式に自己診断するためにこれまで開発された多くの方法は、カメラによって直接に提供された濃淡画像に基づき、当該評価のために高い処理能力を必要とし、非常に大きい記憶容量を使用する。

カメラシステムを光学式に自己診断するための方法が、従来の技術から既に公知である。すなわち、レインセンサが、例えばドイツ連邦共和国特許出願公開第１０２００６０１６７７４号明細書に記載されている。このレインセンサの場合、画素強度の分散に基づいて、雨が、カメラ画像の遮蔽物として測定される。

既に説明したように、この解決手段には、画像を評価するためには、高い処理能力と高い記憶容量とが存在する必要があるという欠点がある。

ドイツ連邦共和国特許出願公開第１０２００６０１６７７４号明細書 ドイツ連邦共和国特許出願公開第１０２００８０４６５０５号明細書

本発明の課題は、カメラシステムを光学式に自己診断するための方法を改良することにある。この方法は、言及した欠点を回避する。当該方法によれば、確実な自己診断が、簡単なアルゴリズムによって可能である。

本発明によれば、この課題は、請求項１に記載の特徴を有するカメラシステムを光学式に自己診断するための方法及び請求項１０に記載のこの方法を実行するためのカメラシステムによって解決される。

少なくとも２つの部分画像ごとから得られる立体画像を録画するカメラシステムを光学式に自己診断するための当該方法は、以下のステップを有する：

最初に、１つの被写体空間の、少なくとも１つの第１部分画像とこの第１部分画像に相補する第２部分画像が、カメラシステムによって複数の異なる角度から録画される。相補とは、確かに両画像が同じ被写体を撮影するものの、この被写体が、異なる角度から撮影されることを、ここでは意味する。１つの立体画像をこれらの両部分画像から得ることができる。この場合、用語「立体画像」は、画像中に含まれている奥行き情報を有する当該画像と解しなければならない。当該方法のその次のステップでは、１つの奥行き画像（例えば、１つのディスパリティーマップ）が作成される。この奥行き画像が、第１部分画像と第２部分画像とからの、互いに対応する画素間の視差に基づいてこれらの画像から作成される。複数のディスパリティー値が、これらの視差に関する目安として決定される。

その後に、有効なディスパリティー値の数が算出される。この場合、１つの有効なディスパリティー値が、当該両部分画像の互いに割り当てられた２つの画素に対して算出されるディスパリティー値として定義されている。当該２つの画素は、一義的に又は少なくとも一定の確率で互いに一致しているとして確認される。２つの画素が、少なくとも一定の確率で互いに一致しているか否かを確定するため、任意の信頼性尺度が使用され得る。警告信号が、所定のディスパリティー値の数に応じて最終的に出力され得る。

当該方法は、処理すべきデータ量がその奥行き画像を計算することによって著しく減少され得、したがってデータがより速く処理され得るという利点を奏する。１つのディスパリティーマップの使用時に、当該マップが、奥行き画像として、ステレオカメラによって一般に常に自動式に計算される点が、特に有益である。光学系の、汚れ、埃、悪化した光条件及び遮蔽が、この奥行き画像から確実に推測され得る。それ故に、個々の部分画像の画像内容の込み入った評価は不要である。

当該方法の好適なその他の構成は、従属請求項に記載されている。

奥行き画像は、上述したように、いわゆる「マッチング法」によって作成されるディスパリティーマップでもよい。当該方法の場合、第１画像部分の画素を第２部分画像の対応する画素に割り当てることによって、ディスパリティー値が、両部分画像の対応する画素間の視差に対する目安として決定される。このようなマッチング法は、従来の技術から公知であり、例えばドイツ連邦共和国特許出願公開第１０２００８０４６５０５号明細書に記されている。最終的には、マッチング法によって得られる複数のディスパリティー値が、１つのディスパリティーマップ内に表示される。マッチング法を１回実施した場合、１つの有効なディスパリティー値が、この方法によって一義的に又は少なくとも一定の確率で互いに一致する画素として定義される。

好適な方法では、警告信号が、有効なディスパリティー値の数を既定の閾値と比較することによって出力される。この場合、当該既定の閾値を下回ったときに、この警告信号が出力される。

好適なその他の構成では、インストールフェーズが設けられていることを提唱する。カメラシステムを自己診断するために使用されたパラメータが、このインストールフェーズ内で補正される。有効なディスパリティー値の平均数が、１つの試験被写体に基づいて算出されるように、当該補正が実行され得る。この場合、閾値が、有効なディスパリティー値の、こうして算出された数を用いて計算される。このようなカメラシステムは、多くの場合に様々な環境で使用されるので、１つの特定の閾値が、当該環境に対して常に適合され得ない。それ故に、インストールフェーズは、マッチング法が様々な環境に対して適合可能であり、したがってカメラシステムが様々な環境で確実に使用可能であるという利点を奏する。

特に好適な方法では、閾値が、インストールフェーズ内で算出された有効なディスパリティー値の平均数の数を０より大きい係数で乗算することによって計算され得る。このことは、例えば様々な光条件のような様々な環境条件に適合させることを著しく少ない経費で可能にする。

好ましくは、被写体空間の少なくとも２つの部分画像が、異なる角度から同時に録画され得る。したがって、被写体空間の経時変化が、録画の品質を劣化させることが排除される。

その他の好適な構成では、マッチング法が、フーリエ変換を有する。好ましくは２次元で実行される当該フーリエ変換と当該空間周波数の評価とによって、邪魔な局所の鮮明さ及びコントラストの変化が、当該評価時に考慮され得る。

特に好適なその他の構成では、複数のディスパリティーマップが、特定の或る期間にわたって計算され、互いに比較される。この場合、計算されたディスパリティー値の特定の数が、有効なディスパリティー値の既定の閾値を下回るときにだけ、警告信号が出力される。したがって、被写体空間の経時変化が監視され得る一方で、レンズの、例えば起こりうる短期間だけ有効な遮蔽のような一時的な妨害は考慮されない。

これに応じて、当該方法を実施するために適したカメラシステムが有益である。このカメラシステムは、少なくとも２つのレンズと、少なくとも２つの部分画像を録画するための複数の画像センサと、マッチング法を実行してディスパリティー値を計算するための１つの評価装置と、警告信号を出力するための出力装置とを有するステレオカメラを備える。この場合、当該評価装置は、例えばステレオカメラ内に組み込まれた電気回路でもよい。当該出力装置は、例えばディスプレイ又はその他の表示装置によって構成され得る。音響式に出力可能な警告信号の場合には、スピーカが使用され得る。評価装置及び出力装置は、コンピュータによって実現されてもよい。

本発明の利点は、特にカメラシステムが自動式画像評価装置を有する監視システム、例えば人数係数システムであるときに効力を発揮する。

以下に、本発明の１つの実施の形態を図１及び２に基づいて説明する。

ステレオカメラを有するカメラシステムを自己診断するための方法の概略的なフローチャートを示す。 使用されたステレオカメラとカメラシステムの出力チャートとを概略的に示す。

図１には、方法の概略的な機能シーケンスが示されている。カメラシステムが、その機能性に対して自動的に検査され得る。このカメラシステムは、ナンバリングシステムである。このカメラシステムの１つのステレオカメラ１が、異なる角度から被写体の右側の部分画像２と左側の部分画像３とを同時に録画する。最初に、これらの両部分画像２，３が、アルゴリズムによって調整、すなわち補正され、あたかも当該両画像２，３が、理想的に平行に整合されたステレオカメラシステムによって録画されたように変換される。右側の部分画像２と左側の部分画像３とが、マッチング法４で走査線ごとに互いに比較される。複数の両部分画像２及び３内の互いに対応する複数の画素が決定される。１つのディスパリティー値が、これらの画素の各々に割り当てられる。このディスパリティー値は、当該両部分画像２及び３内の互いに対応する画素の位置間の水平視差として定義されている。奥行き画像、すなわちこの場合にはディスパリティーマップ５が、当該ディスパリティー値から決定される。

別のステップ６では、有効なディスパリティー値の数が、このディスパリティーマップ５から算出される。この場合、有効なディスパリティー値とは、十分に高い確率で互いに一致しているとしてマッチング法４によって割り当てられる両部分画像２及び３に由来する２つの画素に対して決定される全てのディスパリティー値である。したがって、例えば、ステレオカメラ１のレンズが遮蔽されているか又は汚れていると仮定した場合、有効なディスパリティー値が、この部分画像の少なくとも１つの領域内で検出されない。何故なら、他方の部分画像内の対応するそれぞれの画素が、この領域内の画素に対して見つけ出され得ないからである。それ故に、有効でないディスパリティー値の数は少ない。ディスパリティー値「０」が、有効でないディスパリティー値に該当する画素に割り当てられることが提唱され得る。その結果、有効なディスパリティー値の全てが、ディスパリティーマップ５に由来する「０」と異なるディスパリティー値である。１つの部分画像の、局所に限定されて損なわれている鮮明さ及びコントラストを考慮するため、フーリエ変換が、このマッチング法４中に実行され得る。このマッチング法４が、このフーリエ変換から得られるデータによって続行される。

有効なディスパリティー値の数が、閾値と比較される結果、十分な数の有効なディスパリティー値が存在するか否かが判定される。当該判定は、現在の画像情報が依然として良好であるか否かを推測することを可能にする。

同時に、最初の録画に由来する有効なディスパリティー値の通常の数が、例えば０．４の係数で乗算されることによって、閾値が、カメラシステムを補正するインストールフェーズ内で同様に得られるディスパリティーマップ５から決定される。決定された有効なディスパリティー値をこの閾値と比較した後に、光学式自己診断のスタータス（ＯＳＤステータス）、つまり劣化が存在しないというメッセージ又はエラーメッセージが出力される。この場合、当該エラーメッセージは、光学式及び／又は音響式に出力されてもよく、例えばテキストメッセージとしてディスプレイ上に出力されてもよいし又は警告音として出力されてもよい。

短期間だけ有効な個々の障害が、警告信号を発しないように、計算されたディスパリティー値の特定の数が、有効なディスパリティー値の既定の閾値を下回るときにだけ、警告信号が出力されなければならない。このため、複数の時点に対して計算された複数のディスパリティー値が互いに比較される。遮蔽、すなわち有効なディスパリティー値の非常に少ない数が、ただ１つのディスパリティーマップ５内だけで確認可能である一方で、有効なディスパリティー値の数が、評価されたその他の全てのデータ内で十分である場合は、警告信号が出力されない。

図２は、右側レンズ７と左側レンズ８とを有する使用されたステレオカメラ１、及び光学式自己診断のステータスメッセージの出力図を概略的に示す。このステレオカメラ１が、当該レンズ７及び８並びに画像センサによって観察すべき被写体空間の２つの部分画像２及び３を録画する。これらの部分画像２，３が、１つの立体画像に合成しなげればならない。このため、立体画像が、ステレオカメラ１内にあるマッチング法を実行し且つディスパリティー値を計算するための評価装置によって作成される。警告信号が、同様にステレオカメラシステム内にある表示装置によって表示される。

録画時に起こり得るエラーが、図２の下側の部分内に示されている。第１の場合には、両レンズ、すなわち右側レンズ７及び左側レンズ８が、汚れていない、つまり遮蔽されていなく、且つ、照明が十分である。この場合には、光学式自己診断のステータスとして、エラーメッセージが出力されない。第２の場合には、当該レンズ７又は８のうちの一方のレンズが、遮蔽されている。この場合には、既に上述したように、本発明の方法が、有効なディスパリティー値の必要な数を算出しない。その結果、光学式自己診断が、ステータス表示としてエラーメッセージを出力する。図示された第３の場合には、両レンズ７及び８が遮蔽されている。その結果、この場合にも、エラーメッセージが出力される。図示された第４の場合には、レンズ８が汚れている。したがって、この場合にも、エラーメッセージが出力される。何故なら、マッチング法４が、当該汚れのために十分に多くの画素を互いに一致するとして認識できないからである。これと同じことは、両レンズ７及び８が汚れている図示されなかった場合にも起こる。

広域エラー（例えば、完全な遮蔽、及び、悪化した光条件に起因する画像エラー）と狭域エラー（例えば、一部の遮蔽）とが、ディスパリティーマップ５に基づいて区別され得る。これらのエラーが、その特徴に関して識別され得る、すなわち遮蔽による、輝度エラーが存在するのかどうか又はセンサエラーが存在するのかが識別され得る。

有効でない複数のディスパリティー値の分布及び頻度が、広域エラーと狭域エラーとの発生に関する目安として利用され得る。有効でない多数のディスパリティー値が、１つの空間領域内に集中している場合は、例えば１つのレンズの一部の遮蔽に起因する狭域エラーが、この空間領域内に存在する。しかし、有効でない複数のディスパリティー値の数が多い場合は、例えば完全な遮蔽のような広域エラーが、当該画像内に均質に分布する。

ステレオカメラ１の機能が、上述したように損なわれていると、これらの機能が停止され、これによって自由になる処理能力が、診断に使用され得る。当該診断の場合、例えば遮蔽されている部分の位置、例えば汚れているレンズの位置が、個々の部分画像２，３及び／又は立体画像に基づいて特定され得る。

計算された複数のディスパリティー値のほかに、複数の画素が確率によって互いに割り当てられ得る当該確率も記憶され得る。例えば不十分な照明又は非常に弱いコントラストに相当する低い確率の回数が多いときの、複数の画素の正しい割り当てを困難にする広域エラー又は狭域エラーが、これらの確率に基づいて同様に推測され得る。

次いで、確定されたエラーを排除するため、設定値が変更されるように、カメラシステムが、自己診断中に得られる情報に基づいて適合され得る。このとき、これらの変更は、自動式の輝度制御、新しい補正若しくは自動式洗浄システムの起動でもよいし又は立体画像機能の停止及び単画像の録画でもよい。当該設定の変更の代わりに、説明した自己診断方法によって確定されたエラーの存在が、別の検査方法を開始するために必要な基準としてその他の情報と併せて使用されてもよい。また、警告信号が、別の検査方法を起動させてもよい。これらの別の検査方法は、例えば単画像に基づく従来の自己診断方法を包含してもよい。

１ ステレオカメラ
２ 右側画像
３ 左側画像
４ マッチング
５ ディスパリティーマップ
６ 有効なディスパリティー値の数の決定
７ 右側レンズ
８ 左側レンズ
９ 表示装置

Claims (11)

1. 少なくとも２つの部分画像（２，３）ごとから得られる立体画像を録画するカメラシステムを光学式に自己診断するための方法において、
   当該方法は、以下の、
   ａ）１つの被写体空間の、少なくとも１つの第１部分画像（２）とこの第１部分画像（２）に相補する第２部分画像（３）を、前記カメラシステムによって複数の異なる角度から録画するステップと、
   ｂ）複数の前記部分画像からの、互いに対応する画素間の複数の視差に基づいて、前記第１部分画像（２）と前記第２部分画像（３）とから１つの奥行き画像を作成する結果、複数のディスパリティー値が、前記複数の視差に関する目安として決定されるステップと、
   ｃ）前記奥行き画像の有効なディスパリティー値（６）の数を算定する結果、１つの有効なディスパリティー値が、当該複数の部分画像（２，３）の互いに割り当てられた２つの画素に対して算出されるディスパリティー値として定義されていて、当該２つの画素は、一義的に又は少なくとも一定の確率で互いに一致しているとして確認されるステップと、
   ｄ）警告信号を、所定のディスパリティー値の数に応じて出力するステップとを有する当該方法。
2. 前記奥行き画像は、マッチング法を実行することによって作成される１つのディスパリティーマップであり、当該方法の場合、前記第１画像部分（２）の複数の画素を前記第２部分画像（３）の対応する複数の画素に割り当てることによって、複数の前記ディスパリティー値が、両部分画像（２，３）の対応する複数の画素間の複数の視差に対する目安として決定されることを特徴とする請求項１に記載の方法。
3. 有効なディスパリティー値の数が、既定の１つの閾値と比較され、この既定の閾値を下回ったときに、警告信号が出力されることを特徴とする請求項１に記載の方法。
4. インストールフェーズが設けられていて、前記カメラシステムを自己診断するために使用されたパラメータが、このインストールフェーズ内で補正されることを特徴とする請求項１〜３のいずれか１項に記載の方法。
5. 有効なディスパリティー値の平均数が、１つの試験被写体に基づいて算出されるように、当該補正が実行される結果、前記閾値が、有効なディスパリティー値の、こうして算出された数を用いて計算されることを特徴とする請求項４に記載の方法。
6. 前記閾値は、前記インストールフェーズ内で算出された有効なディスパリティー値の平均数の数を０より大きい係数で乗算することによって計算されることを特徴とする請求項５に記載の方法。
7. 前記被写体空間の少なくとも２つの前記部分画像（２，３）は、異なる角度から同時に録画されることを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 前記マッチング法（４）は、フーリエ変換を有することを特徴とする請求項１〜７のいずれか１項に記載の方法。
9. 複数のディスパリティーマップ（５）が、特定の或る期間にわたって計算され、互いに比較される結果、計算されたディスパリティー値の特定の数が、有効なディスパリティー値の既定の閾値を下回るときにだけ、警告信号が出力されることを特徴とする請求項１〜８のいずれか１項に記載の方法。
10. 請求項１〜９のいずれか１項に記載の方法を実行するためのカメラシステムにおいて、
    このカメラシステムは、少なくとも２つのレンズ（７，８）と、少なくとも２つの部分画像（２，３）を録画するための複数の画像センサと、１つの奥行き画像を作成して複数のディスパリティー値を計算するための評価装置と、警告信号を出力するための出力装置とを有するステレオカメラ（１）を備える当該カメラシステム。
11. 前記カメラシステムは、人数係数システム又は自動式画像評価装置を有する別の監視システムであることを特徴とする請求項１０に記載のカメラシステム。

Images