JP2015162902A - カメラの露出を制御するための方法および制御ユニット - Google Patents

Abstract

【課題】カメラの露出を制御するための方法および制御ユニットを提供すること。【解決手段】カメラの露出を制御する方法が開示される。この方法は、映像シーケンスの第１の画像に対して暗レベルおよび飽和レベルを計算する（Ｓ０４、Ｓ０６）ことを含む。飽和レベルが第１の限界を超えている場合、カメラによって取り込まれる画像の画素の平均強度値の目標値が、暗レベルの増加関数である量だけ減少される（Ｓ１０）。減少された目標値を使用して、後続の画像の画素の平均強度値が、減少された目標値に近づくように、映像シーケンスの第１の画像の後に続く画像のためのカメラの露出が制御される（Ｓ１６）。【選択図】図６

Description

本発明は露出制御の分野に関する。特に、本発明は、カメラの露出制御のための方法、制御ユニット、およびシステムに関する。

カメラは、一般に、監視ツールとして、または様々な状況で人を支援するためのツールとして使用される。例えば、カメラは交通監視または交通支援目的に使用することができる。カメラは、例えば、運転者を支援し、または入力を自動操縦装置もしくは安全システムに供給するために、自動車にも列車にも装着されることがある。

夜間に、強力な光源が情景に入る場合、カメラによって取り込まれる画像内の画素の飽和に関する問題が生じることがある。飽和は、カメラセンサの画素の動態が限定的であることにより、光強度の全範囲を取り込むことができないという事実に起因する。その結果として、例えば、交通信号および鉄道信号などの信号の色を夜間に見ることが困難となる可能性がある。ナンバープレートによって反射された光が画像に飽和を引き起こすことがあるのでナンバープレートの数字を識別することが困難となる可能性もある。

したがって、上記で例示した監視目的では、夜間に画像のいかなる部分も飽和させないことが重要である。同時に、太陽がしばしば画像内で飽和を引き起こし、したがって情景の最も明るく輝く部分が、通常、監視の観点からあまり重要でない空である昼間に画像の一部が飽和させられても問題ない。

米国特許第７，４７４，８４７Ｂ２号による特許は、画像フレームからの強度ヒストグラムに基づくカメラの露出制御を開示している。より詳細には、平均値、下限、および上限などの特性値がヒストグラムから抽出される。次に、ヒストグラムの特性値がいくつかの事前定義された目標レベルに達するまでカメラの露出パラメータが調節される。暗いときに目標レベルが減少するように周辺光レベルに従って目標レベルを変えることができる。その結果として、暗いときに取り込まれた画像のヒストグラムは強度範囲のより暗い端部の方にシフトされ、それによって、おそらくは画像の飽和画素の数を減少させることになろう。このシフトにより、画像は露出不足のように見えることになる。しかしながら、この方法の欠点は、画像に飽和があるかどうかにかかわらず暗いときに画像が常に露出不足であることになることである。例えば、画像は、交通信号が夜間に情景中にない場合でさえ露出不足であることになる。したがって、改善の余地がある。

米国特許第７，４７４，８４７Ｂ２号

したがって、上述に鑑みて、本発明の目的は、暗い照明条件の間、画像の飽和を減少させ、一方、同時に、明るい照明条件または暗い照明条件の間、飽和がないとき適正露出された画像を生成するカメラの露出制御の改善された方法を提供することである。

本発明の第１の態様によれば、上述の目的がカメラの露出を制御する方法によって達成され、この方法は、
映像シーケンスの第１の画像を取り込むときにカメラによって使用される露出時間およびゲインを決定するステップと、
第１の画像に対する暗レベルを少なくとも露出時間とゲインとの積として計算するステップと、
第１の画像に対する飽和レベルを、第１の画像における飽和画素の数と完全に暗い画素の数との比として計算するステップと、
飽和レベルが第１の限界を超えている場合、カメラによって取り込まれる画像の画素の平均強度値の目標値を、暗レベルの増加関数である量だけ減少させるステップと、
映像シーケンスの第１の画像の後に続く画像のためのカメラの露出を、後続の画像の画素の平均強度値が、減少させた目標値に近づくように制御するステップと、
を含む。

上述の方法によれば、カメラによって取り込まれる画像の画素の平均強度値の目標値は、飽和に関する問題を軽減するために減少する。より詳細には、カメラの制御に使用される平均強度値の目標値を減少させることにより、後続の画像の強度値のヒストグラムは、強度目盛りの下方にシフトされる。結果として、飽和画素の数は減少する。

平均強度値の目標値は、暗レベルの増加関数に従って減少する。例えば、暗値の増加関数は、目標値の減少の量を、現在の目標値に対する百分率として与えることができる。すなわち、暗いほど、目標値の減少は大きくなる。これが意味するところは、飽和画素の減少は、飽和画素の数を減少させることがそれほど重要でないときのそれほど暗くない照明条件、または、さらに、明るい照明条件と比較して、上記で例示したような監視の観点から飽和画素の数を減少させることが重要であるときの暗い照明条件の間、より大きいということである。この構成によって、明るい照明条件の間、適正露出された画像を生成できると同時に、暗いときの飽和に関する問題を軽減することができる。

さらに、現在の暗レベルにかかわらず、現在の画像に飽和に関する問題がある場合、すなわち、飽和レベルが第１の限界を超えている場合、目標値は単に減少することに留意することが重要である。このようにして、飽和が存在しない場合は、適正露出された画像は暗い照明条件の間に生成される。

例えば、自動車の前方を見るために装着されたカメラを考えよう。夜間（暗いとき）、状況は以下の通りである。情景に交通信号または反射性ナンバープレートなどの明るく輝く光がない限り、カメラの画像は適正露出されることになる（すなわち、目標値は減少しない）。これは、高い視認性がほとんどの情景で達成されるように、すなわち、画像における明るい部分と暗い部分との間のバランスが達成されるように、平均強度の目標値が設定されていることを意味する。自動車が交通信号に近づく場合などの明るく輝く光が情景に入る場合、画像の飽和に関する問題が生じることがある。しかしながら、この状況において、目標値が減少し、それによって、飽和問題が軽減されることになる。その結果、画像において交通信号の色を見ること、またはナンバープレートの文字を読むことが可能になる。昼間（明るいとき）、状況は以下の通りである。画像に明るく輝く光があるかどうかにかかわらず、画像は適正露出されることになる（すなわち、目標値は減少しない）。夕暮れなどの、「暗闇」と「日中」との間の照明条件では、上述の２つの状況の間の混合が生じる。より正確には、現在の画像に飽和がある場合、目標値は、暗レベルによって決まる量だけ調節される。

第１の画像の画素は、画素の強度値が可能な強度値の範囲の上端で事前定義された値を超える場合、飽和画素であると見なされる。

同様に、第１の画像の画素は、画素の強度値が可能な強度値の範囲の下端で事前定義された値より下である場合、完全に暗い画素であると見なされる。

「飽和画素」および「完全に暗い画素」という用語は、第１の画像の強度値のヒストグラムを参照してさらに説明することができる。ヒストグラムにおいて、強度値は、可能な強度値の範囲に対応するいくつかのビンに分割される。例えば、０と２５５との間の可能な強度値の範囲に対応してヒストグラムに２５６ビンがありうる。この情況において、飽和画素は、最も高い可能な強度値のうちの１つに対応するビンに入る強度値を有する画素として定義することができる。ある場合には、最も高い強度値（この例では強度値２５５）に対応するビンのみが飽和画素を定義するために使用される。他の場合には、２つまたは３つの最も高い強度値に対応するビンなどの少数のビンが使用される。同様に、完全に暗い画素は、最も低い可能な強度値のうちの１つに対応するビンに入る強度値を有する画素として定義することができる。

次に、例えば、カメラが装着された自動車が交通信号に近づいたので、夜間に飽和を減少させるために目標レベルが減少した状況を考えよう。自動車が交通信号を通過したとき、明るく輝く光は情景から消え、このために、いかなる潜在的な飽和問題ももはや存在しない。しかしながら、目標レベルが減少したので、カメラによって取り込まれる画像は、依然として、露出不足のように見えることになる。この状況に適応するために、この方法は、
飽和レベルが、第１の限界以下である第２の限界より下である場合、カメラによって取り込まれる画像の画素の平均強度値の目標値を増加させるステップと、
映像シーケンスの第１の画像の後に続く画像のためのカメラの露出を、後続の画像の画素の平均強度値が、増加された目標値に近づくように制御するステップと、
をさらに含むことができる。

言い換えれば、飽和に関する問題がもはや存在しない（飽和レベルが第２の限界より下である）ことが分かった場合、目標値は再び増加させることができる。このようにして、この方法は、最初に、明るく輝く光が情景に入ると目標値を減少させ、次に、明るく輝く光が情景からなくなると再び目標値を増加させることができる。したがって、この方法は、照明および飽和に対して現在の状態に適応することができる。

例えば、平均強度値の目標値は、暗レベルとともに減少する量だけ増加させることができる。すなわち、暗いほど、目標値が増加する量が少ない。これは、目標レベルの増加が、明るいとき（新しい飽和問題に行き当たる危険が重大事でないとき）大きいステップでなされ、暗い（新しい飽和問題に行き当たる危険が重大である）とき小さいステップでなされうるという点で有利である。

暗レベルに伴う減少は厳密な減少である必要がない。言い換えれば、目標レベルの増加は、暗レベルにかかわらず一定のステップでなされる場合も含まれる。

上述のように、平均強度値の目標値は、暗レベルの増加関数である量だけ減少する。暗レベルの増加関数は、目標値が第１の閾値より下の暗レベルでは減少しないように、第１の閾値より下の暗レベルでは値０をとることができる。

言い換えれば、目標値の減少が行われない明るい照明条件を、飽和の場合には目標値が減少する暗い照明条件と識別する第１の閾値が存在することができる。それゆえに、現在、明るい照明条件であることが見いだされている場合、飽和が存在する場合でさえ目標レベルは減少しない。これは、明るい照明条件であるとき、飽和の存在が監視の観点から見て重要ではなく、少なくとも本明細書で述べる用途では重要でないので有利である。

暗い照明条件を定義する暗レベルに対する第２の閾値がさらに存在することができる。より正確には、暗レベルの増加関数は、第１の閾値より下の暗レベルでは第１の値を、および第１の閾値よりも大きい第２の閾値より上の暗レベルでは第２の値をとることができ、第１の閾値と第２の閾値との間の暗レベルでは、関数は第１の値から第２の値まで滑らかに増加する。

言い換えれば、第１の閾値より下の暗レベルでは（すなわち、明るい照明条件であるとき）、目標レベルは、最小ステップサイズに対応する第１の値だけ減少する。第２の閾値より上の暗レベルでは（すなわち、暗い照明条件であるとき）、目標レベルは、最大ステップサイズに対応する第２の値だけ減少する。第１の閾値と第２の閾値との間（すなわち、明と暗との間にあるとき）の暗レベルでは、目標値の減少は、暗レベルの増加とともに最小ステップサイズから最大ステップサイズまで滑らかに増加する。

これは、暗い照明条件と明るい照明条件との間の滑らかな移行が達成されるという点で有利である。

一般に、関数の形状は、第１の閾値と第２の閾値との間で任意の増加形態をとることができる。例えば、関数は、第１の値から第２の値まで直線的に増加することができる。これは、実施することが容易な簡単なモデルを提供すると同時に、暗い照明条件と明るい照明条件との間に良好な移行を与えることが見いだされた。

この方法は、第１の閾値の値に関するユーザ入力を受け取ることをさらに含むことができる。これは、明るい照明条件が意味するものを定義する閾値をユーザが設定できるという点で有利である。

この方法は、第１の限界および／または第２の限界の値に関するユーザ入力を受け取り、該当する場合、飽和レベルがそれらと比較されることをさらに含むことができる。これは、飽和が存在しているかどうかを定義する限界をユーザが設定できるという点で有利である。限界は、例えば、交通信号またはナンバープレートのサイズに応じて設定することができる。

映像シーケンスの第１の画像の後に続く画像のためのカメラの露出は、誤差に基づいて制御することができる。特に、この方法は、後続の画像の画素の平均強度値と、減少した目標値、または、該当する場合、増加した目標値とから計算された誤差に基づいて、カメラのための制御信号を発生させることをさらに含むことができる。制御信号は、誤差に比例する項（Ｐコントローラ）と、オプションとして、誤差の積分に比例する項（ＰＩコントローラ）と、オプションとして、さらに、誤差の微分に比例する項（ＰＩＤコントローラ）とを含むことができる。代替として、任意の他の標準制御方法を使用することができる。

しかしながら、好ましくは、別の手法、すなわち、制御信号が、計算された誤差と、平均強度値が減少した目標値、または、該当する場合、増加した目標値に等しい場合、誤差がとることになる値との間の距離とともに増加する微分係数を有する関数に従って誤差によって決まることが採用される。このようにして、制御は、誤差が大きいとき、すなわち、目標値と平均強度値とが等しいことから遠いとき、誤差の変化に対してより敏感であり、目標値と平均強度値とがほとんど等しいとき、誤差の変化にそれほど敏感でない。異なる言い方では、制御は、平均強度値が目標値から遠いとき速くなり、平均強度値が目標値に近いとき遅くなることになる。しかしながら、注目すべきことには、関数は連続的であるので、速い制御が使用されるときと、遅い制御が使用されるときとの間に定まった限界は存在しない。

この手法は、誤差が小さくなると平均強度値が目標値に滑らかに近づくので目標値と平均強度値とがほとんど等しいときに制御がロバストであると同時に、目標値と平均強度値とが等しいことから遠いときに速い制御が達成されるという点で有利である。特に、平均強度値が目標値に近づくときの発振などのＰ、ＰＩまたはＰＩＤコントローラに関する問題を回避することができる。この制御方法に関する別の利点は、この制御方法が定常誤差を与えず、制御にオーバーシュートを生じさせることなく調整することが容易であることである。好ましい実施形態では、誤差は、減少した目標値、または、該当する場合、増加した目標値と、後続の画像の画素の平均強度値との比として計算される。別の実施形態では、誤差は、後続の画像の画素の平均強度値と、減少した目標値、または、該当する場合、増加した目標値との間の差として計算される。

増加する微分係数を有する関数は、例えば、逆シグモイド関数とすることができ、それは、逆シグモイド関数が特に速くかつロバストな制御を与えることが見いだされているからである。

本発明の第２の態様によれば、上述の目的は、カメラの露出を制御するための制御ユニットによって達成され、制御ユニットは、
映像シーケンスの第１の画像を取り込むときにカメラによって使用される露出時間およびゲインを決定し、
第１の画像に対する暗レベルを少なくとも露出時間とゲインとの積として計算し、
第１の画像に対する飽和レベルを、第１の画像における飽和画素の数と完全に暗い画素の数との比として計算し、
飽和レベルが第１の限界を超えている場合、カメラによって取り込まれる画像の画素の平均強度値の目標値を暗レベルの増加関数である量だけ減少させ、
映像シーケンスの第１の画像の後に続く画像のためのカメラの露出を、後続の画像の画素の平均強度値が減少させた目標値に近づくように制御する
ように構成される。

本発明の第３の態様によれば、上述の目的は、少なくとも１つのカメラと、少なくとも１つのカメラの露出を制御するための第２の態様による制御ユニットとを含む監視システムによって達成される。監視システムは交通監視システムとすることができる。システムは、例えば、暗闇における有色光信号またはナンバープレートの確認を可能にする。

本発明の第４の態様によれば、上述の目的は、処理能力を有するデバイスによって実行されるとき、第１の態様による方法を行うように構成されたコンピュータコード命令を含むコンピュータ可読媒体によって達成される。

第２、第３、および第４の態様は、一般に、第１の態様と同じ特徴および利点を有することができる。本発明は、別段明確に記述されない限り、特徴のあらゆる可能な組合せに関連することにさらに留意されたい。

一般に、特許請求の範囲で使用されるすべての用語は、本明細書において別段明確に定義されない限り、当技術分野における普通の意味に従って解釈されるべきである。「１つの／１つの／その（ａ／ａｎ／ｔｈｅ）（制御ユニット、カメラ、ステップなど）」へのすべての参照は、別段明確に記述されない限り、前記制御ユニット、カメラ、ステップなどの少なくとも１つの例を参照すると率直に解釈されるべきである。本明細書で開示するいかなる方法のステップも、明確に記述されない限り、開示する正確な順序で行う必要はない。

本発明の上述ならびに追加の目的、特徴、および利点は、同じ参照番号が同様の要素に使用されることになる添付図面に関連する本発明の好ましい実施形態の以下の例示的で非限定の詳細な説明によって一層よく理解されるであろう。

実施形態によるカメラと制御ユニットとを含む監視システムを概略的に示す図である。 図１のカメラによって取り込まれる画像を概略的に示す図である。 図１のカメラによって取り込まれる画像を概略的に示す図である。 図１のカメラによって取り込まれる画像を概略的に示す図である。 図１のカメラによって取り込まれる画像を概略的に示す図である。 図２ａに示された画像の強度ヒストグラムを概略的に示す図である。 図３ａに示された画像の強度ヒストグラムを概略的に示す図である。 図４ａに示された画像の強度ヒストグラムを概略的に示す図である。 図５ａに示された画像の強度ヒストグラムを概略的に示す図である。 実施形態によるカメラの露出を制御する方法の流れ図である。 増加関数を概略的に示す図であり、それによれば、平均強度レベルの目標値は暗レベルに応じて減少しうる。 制御信号値のために平均強度値の誤差をマッピングする関数を概略的に示す図である。

次に、本発明の現在好ましい実施形態を呈示する添付図面を参照して本発明を以下でより完全に説明する。しかしながら、本発明は多くの異なる形態で具現することができ、本明細書に記載する実施形態に限定されると解釈されるべきでなく、むしろ、これらの実施形態は、徹底的および完全のために、および当業者に本発明の範囲を完全に伝えるために提供される。本明細書で開示する動作中のシステムおよびデバイスについて説明する。

図１は、カメラ１０２と制御ユニット１０４とを含む監視システム１００を示す。カメラ１０２は、画像の映像シーケンスを取り込むように構成され、例えば、デジタル監視カメラとすることができる。制御ユニット１０４は、カメラ１０２に含まれてもよく、またはカメラ１０２に動作可能に接続された別個の部分として設けられてもよい。代替として、制御ユニット１０４の第１の部分をカメラ１０２に配置することができ、制御ユニット１０４の第２の部分をカメラ１０２の外に配置することができ、その結果、本明細書で開示する方法ステップのうちのいくつかがカメラ１０２で実施され、いくつかがカメラ１０２の外で実施される。システム１００は複数のカメラ１００をさらに含むことができる。単一の制御ユニット１０４が複数のカメラ１００を制御することができる。監視システムは、例えば、交通モニタリング用途で使用することができる。このことから、監視システム１００は交通監視システムとすることができる。

制御ユニット１０４は、本明細書で開示する実施形態に従ってカメラ１０２の露出を制御する方法を実施するように構成される。この目的のために、制御ユニット１０４は、例えばメモリ１１０に記憶されうるコンピュータコード命令を実行するように構成された中央処理装置などの処理ユニット１０６を含むことができる。したがって、メモリ１１０は、そのようなコンピュータコード命令を記憶するための（非一時的）コンピュータ可読媒体を形成することができる。処理ユニット１０６は、代替として、特定用途向け集積回路、フィールドプログラマブルゲートアレイなどのような、本明細書で開示する実施形態の方法を実施するように特別に設計されたハードウェア構成要素の形態とすることができる。

制御ユニット１０４は送信器／受信器などの通信インタフェース１０８をさらに含むことができ、それを介して制御ユニット１０４はデータをカメラ１０２から受け取り、データをカメラ１０２に送ることができる。受け取るデータは、例えば、カメラ１０２によって取り込まれた画像と、画像を取り込んだときにカメラ１０２によって使用された露出設定とを含むことができる。送られるデータは、例えば、カメラ１０２の露出を制御するための制御信号を含むことができる。

次に、図１、２ａ〜ｂ、３ａ〜ｂ、４ａ〜ｂ、５ａ〜ｂ、７、８、および図６の流れ図を参照して、システム１００の動作を開示する。特に、カメラ１０２の露出を制御するための制御ユニット１０４によって実施される方法を開示する。

ステップＳ０２において、制御ユニット１０４は、画像の映像シーケンスの第１の画像を取り込むときにカメラ１０２によって使用される露出時間およびゲインを決定する。露出時間およびゲインはカメラ１０２の露出設定の例である。露出時間およびゲインを、例えば、制御ユニット１０４がカメラ１０２から受け取ることができる。ステップＳ０２においてさらに決定することができる別の露出設定は、カメラの開口、すなわち、絞りのサイズである。

露出時間およびゲインは照明条件を示す２つのパラメータである。これは開口のサイズにも当てはまる。露出時間は、カメラセンサに入る光の量を支配し、一般に、暗い照明条件の間、十分な光をカメラセンサに入れるために長い露出時間が設定される。したがって、長い露出時間は暗い照明条件を示す。さらに、暗い照明条件の間、センサに入る光の量は、一般に、明るい照明条件の間よりも低い。それゆえに、感知した信号の増幅の必要性が、暗い照明条件の間、より大きい。したがって、増幅で使用されるゲインの高い値は、やはり、暗い照明条件を示す。言い換えれば、露出時間およびゲイン、ならびに特にそれらの積を使用して、現在の暗レベルの指標を得ることができる。

ステップＳ０４において、制御ユニット１０４は、少なくとも決定された露出時間およびゲインに基づいて映像シーケンスの第１の画像に対して暗レベルを計算する。制御ユニット１０４は、暗レベルを露出時間とゲインとの積として計算することが好ましい。しかしながら、実施形態によっては、制御ユニット１０４は、暗レベルを露出時間と、ゲインと、開口のサイズとの積として計算することができる。したがって、上述に鑑みて、暗レベルは情景の暗さの尺度である。

図２ａは、映像シーケンスの第１の画像２００を示す。図示の例では、カメラ１０２は、第１の軌道２０２を走る列車が前方を見るために装着されている。第１の軌道２０２と平行に延びる第２の軌道２０４もある。列車は、第１の軌道２０２に関連する第１の光信号２０６および第２の軌道２０４に関連する第２の光信号２０８に近づいているが、まだそれらからかなり遠く離れている。この例では、戸外は比較的暗く、その結果、制御ユニット１０４は、ステップＳ０４において、第１の画像２００について比較的大きい暗レベルを計算すると仮定されている。

その次に、ステップＳ０６において、制御ユニット１０４は第１の画像２００に対する飽和レベルを計算する。飽和レベルは、第１の画像２００におけるいくつかの飽和画素の数と完全に暗い画素の数との比として計算される。

図２ｂは、第１の画像２００の画素の強度値のヒストグラム２１０を示す。ヒストグラム２１０において、可能な強度値の範囲が、ここでは、０…ｎ−１によって指標づけされている複数のビンに分割されている。例えば、２５６ビンがありうる。飽和画素の数は、一般に、強度範囲の上部端部にあるｎ−１によって指標づけされたビン中の画素の数に対応することができる。代替として、飽和画素の数は、強度範囲の上部端部にある２つまたは３つなどのいくつかのビン中の画素の数に対応することができる。例えば、飽和画素の数は、ｎ−１およびｎ−２によって指標づけされたビン中の画素の数に対応することができる。完全に暗い画素の数は、０によって指標づけされた第１のビン中の画素の数、またはヒストグラムの最初の２つまたは３つのビン中などの最初のいくつかのビン中の画素の数として同様に計算することができる。

第１の画像２００は、赤−緑−青（ＲＧＢ）画像などのカラー画像とすることができることに留意されたい。その場合、飽和画素の数および完全に暗い画素の数は、輝度（ＹＣｂＣｒ表示を有するカラー画像のＹ成分など）のヒストグラムから、またはすべての色が表される未処理画素データから導き出すことができる。

図２ｂの図示の例において、０によって指標づけされた最も下のビンと比較してｎ−１によって指標づけされた最も上のビンにはかなり多数の画素がある。言い換えれば、計算された飽和レベルはかなり高くなることになる。この場合、飽和は、普通なら暗い環境に第１および第２の光信号２０６および２０８があることによって引き起こされている。光信号２０６、２０８と環境との間にそのような大きい差異があるために、光信号２０６、２０８は、図２ｂのヒストグラムから見て分かるように画像２００において飽和状態になっている。飽和の結果、光信号２０６および２０８は画像２００において白いように見え、したがって、光信号２０６、２０８の色を画像２００から導き出すことができない。

ステップＳ０８において、制御ユニット１０４は、飽和レベルが第１の限界を超えているかどうかを検査する。第１の限界は事前定義されたパラメータであり、それは、例として、値１０^−３をとることができる。第１の限界はユーザ入力に従うことができる。次に、検査に基づいて、制御ユニット１０４は、カメラ１０２によって取り込まれる画像の画素の平均強度値の目標レベルを調節する。

特に、飽和レベルが第１の限界を超えていることを制御ユニット１０４が見いだした場合、制御ユニット１０４はステップＳ１０に進み、目標値が減少する。図２ａおよび図２ｂの図示の例では、飽和レベルが第１の限界を超えており、それゆえに、目標値が現在の値Ｔ_ｏｌｄから新しい値Ｔ_ｎｅｗに減少すると仮定される。

調節の量、すなわち、Ｔ_ｏｌｄ−Ｔ_ｎｅｗは、暗レベルの増加関数である関数により決定される。この目的のために使用できる関数の一例が図７に呈示される。図示の関数７００は、第１の閾値Ｌ_１より下の暗レベルでは第１の値Ｖ_１をとり、第２の閾値Ｌ_２より上の暗レベルでは第２の値Ｖ_２をとる。Ｌ_１とＬ_２との間の暗レベルでは、関数７００は、第１の値Ｖ_１から第２の値Ｖ_２まで滑らかに、この場合には直線的に、増加する。値Ｖ_１およびＶ_２は、例えば、現在の目標値に対する百分率で与えられる。例えば、Ｖ_１は０％に対応することができ、Ｖ_２は５０％に対応することができる。したがって、場合によっては、第１の閾値Ｌ_１より下の暗レベルでは目標値の減少がなされない。第１の閾値Ｌ_１より上で第２の閾値Ｌ_２より下の暗レベルでは、目標値の減少の量は暗レベルとともに直線的に増加する。第２の閾値Ｌ_２より上の暗レベルでは、目標レベルの減少の量は一定のままである。明るい照明条件と暗い照明条件とを識別する閾値と解釈することができる少なくとも下側閾値値Ｌ_１は、ユーザ入力に従うことができる。

いくつかの実施形態では、第２の閾値Ｌ_２は第１の閾値Ｌ_１と等しくなるように設定することができ、したがって、関数７００は、第１の閾値Ｌ_１より下の暗レベルでは値Ｖ_１を、および第１の閾値Ｌ_１以上の暗レベルでは値Ｖ_２をとる階段関数になる。

その次に、制御ユニット１０４は、ステップＳ１４において、露出、すなわち、カメラ１０２の露出時間、ゲイン、および開口サイズなどの露出設定を制御する。カメラ１０２の制御は、図３ａの画像３００などの、第１の画像２００の後に続く画像に影響を与える。露出設定の制御は、後続の画像の画素の平均強度値が調節済み目標値Ｔ_ｎｅｗに近づくようになされる。制御ユニット１０４は、一般に、制御の基礎を誤差に置く。ある実施形態によれば、誤差は、後続の画像の画素の平均強度値と調節済み目標値Ｔ_ｎｅｗとの間の差として計算される。別の実施形態によれば、誤差は、調節済み目標値と平均強度値との比として計算される。制御の結果、後続の画像の強度ヒストグラムは、平均強度値が調節済み目標値Ｔ_ｎｅｗに等しくなるかまたはそれに近くなるようにシフトされることになる。

これが、図３ａの後続の画像３００の強度ヒストグラム３１０を呈示する図３ｂにさらに示される。注目すべきことには、ヒストグラム３１０は、図２ａのヒストグラム２１０と比較して強度目盛りにおいて下方にシフトされている。それゆえに、後続の画像３００は第１の画像２００よりも暗く見える。しかしながら、より重要なことには、ヒストグラム３１０の下方へのシフトの結果、後続の画像３００にいかなる飽和画素ももはや存在しない。これは、光信号２０８および２０６の色を後続の画像３００で見ることができるという点で有利な効果を有する。例えば、後続の画像３００は、今では、第１の光信号２０６が緑色および白色光を含み、第２の光信号２０８が赤色光を含むことを見せることができる。

上記で論じたように、制御ユニット１０４は、平均強度値と調節済み目標値Ｔ_ｎｅｗとから計算された誤差に制御の基礎を置くことができる。特に、制御ユニット１０４は、誤差に基づく制御信号を発生させることができる。

誤差が後続の画像の画素の平均強度値と調節済み目標値Ｔ_ｎｅｗとの間の差として計算される１つの実施形態によれば、制御信号は、誤差に比例する項（Ｐコントローラ）と、オプションとして、誤差の積分に比例する項（ＰＩコントローラ）と、オプションとして、さらに、誤差の微分に比例する項（ＰＩＤコントローラ）とを含む。誤差の関数としての制御信号の値は、そのような制御方策が選ばれた場合には、図８の破線の曲線８０２によって示される。

別の実施形態によれば、制御信号は、関数に従って誤差によって決まる。関数は、一般に、平均強度値が目標値に等しいことに対応する誤差の値では値０をとる。したがって、誤差が平均強度値と目標値との間の差として計算される場合には、平均強度値が目標値に等しいことに対応する誤差の値は値０である。したがって、誤差が目標値と平均強度値との比として計算される場合には、平均強度値が目標値に等しいことに対応する誤差の値は値１である。

さらに、関数は、誤差と、平均強度値が目標値に等しい場合に誤差がとることになる値との間の距離とともに増加する微分係数を有する。

この制御方策は、誤差が平均強度値と目標値との間の差として計算される場合、図８の実線の曲線８０４によって示される。実線の曲線８０４によって示される関数は、例えば、逆シグモイド関数の形態とすることができる。他のオプションは、３次関数などのベキ関数（奇数ベキによる）、または誤差の正の値では指数関数的成長を有し、誤差の負の値では指数関数的減少を有する関数である。上記でさらに論じたように、この制御方策は、誤差が小さくなると平均強度値が滑らかに目標値に近づくと同時に、目標値への速い収束を与える制御が達成されるという点で有利である。好ましい実施形態では、誤差は目標値と平均強度値との比として計算される。そのような実施形態では、図示の関数８０４は、誤差が１に等しいときに値０をとるように変更する必要がある。例えば、図示の関数８０４は、適切な量だけ右にシフトすることができる。

開示した方法は、反復性であり、実時間で実施され、これが意味するところは、カメラ１０２の露出が、カメラ１０２によって取り込まれる画像の照明および飽和に対して現在の状態に適合されたままであるように、方法の上述の開示したステップが繰り返されることであることが理解されるべきである。

列車に装着されたカメラ１０２の例に戻って、列車が光信号２０６および２０８を通過したときの状況を考えよう。これが図４ａの画像４００にさらに示され、光信号は情景に存在しない。画像４００は、以前に情景に含まれていた光信号２０６および２０８に対する飽和を減少させるために目標値が減少されたので暗く見える。これは、画素強度が利用可能な強度範囲のより低い部分に集められている図４ａの対応する強度ヒストグラム４１０からも見て分かる。

制御ユニット１０４は、「第１の画像」としての画像４００に関して上記で開示したようなステップＳ０２、Ｓ０４、Ｓ０６、およびＳ０８を繰り返す。この場合、制御ユニット１０４は、ステップＳ０８において、飽和画素が画像４００にないという理由で、飽和レベルが第１の限界を超えていないことに気づく。

それゆえに、制御ユニット１０４は、飽和レベルが第１の限界よりも（厳密に）低い第２の限界より下にあるかどうかを検査するステップＳ１２に進むことができる。第２の限界は、第１の限界と同様に、ユーザ入力に従うことができる。制御ユニット１０４が、ステップＳ１２において、飽和レベルが第２の限界より下でないことを見いだした場合、目標値の調節は行われない。しかしながら、図４ａおよび４ｂの例示の画像４００では、飽和レベルは第２の限界より下であることになり、制御ユニット１０４は、平均強度値の目標値を増加させるステップＳ１４に進む。これが図４ｂにさらに示され、目標値は古い（現在の）目標値Ｔ_ｏｌｄから新しい目標値Ｔ_ｎｅｗに増加される。

増加の量、すなわち、Ｔ_ｎｅｗ−Ｔ_ｏｌｄは、事前定義された一定の量の形態とすることができる。増加の量は暗レベルに依存するように設定することもでき、その結果、その量は暗レベルとともに減少する。後者の場合には、明るい照明条件のときと比較して暗い照明条件のとき、目標値のより控えめな変化を適用することができる。

次に、制御ユニット１０４は、ステップＳ１６に進み、後続の画像のためのカメラ１０２の露出、すなわち、露出に関連するパラメータを、調節済み目標値Ｔ_ｎｅｗに基づいて、上記で開示したものに従って制御する。特に、後続の画像の平均強度値が調節済み目標値に近づくように、露出時間およびゲインなどのカメラ１０２の露出が制御される。

これが、それぞれ、後続の画像５００および対応する強度ヒストグラム５１０を呈示する図５ａおよび５ｂに示される。図４ｂの強度ヒストグラム４１０と比較して、強度ヒストグラム５１０はより高い強度値の方にシフトされている。依然として、情景に光信号などの強力な光がないので、飽和に関する問題はない。それゆえに、画像５００は図４ａの画像４００と比較してより明るいように見え、画像５００の暗い部分において一層の細部を識別することができる。

当業者は上述の実施形態を多くの方法で変更し、上述の実施形態で呈示したような本発明の利点を依然として使用できることが理解されよう。例えば、上記では、信号光を列車からモニタすることに関連して本発明を説明した。しかしながら、開示した方法は、夜間にまたは別の場合の暗い状態の間、画像の任意の部分を飽和させないことが重要である任意の用途に適用可能である。これは、例えば、暗闇でナンバープレートをモニタすること、または外が暗く、窓の内側が明るいときに外から窓の内側を見ることを含むことができる。したがって、本発明は、呈示した実施形態に限定されるべきでなく、添付の特許請求の範囲によってのみ規定されるべきである。加えて、当業者が理解するように、呈示した実施形態は組み合わせることができる。

１００ 監視システム
１０２ カメラ
１０４ 制御ユニット
１０６ 処理ユニット
１０８ 通信インタフェース
１１０ メモリ
２００ 第１の画像
２０２ 第１の軌道
２０４ 第２の軌道
２０６ 第１の光信号
２０８ 第２の光信号
２１０ 第１の画像の画素の強度値のヒストグラム
３００ 後続の画像
３１０ 後続の画像の強度ヒストグラム
４００ 画像
４１０ 強度ヒストグラム
５００ 後続の画像
５１０ 強度ヒストグラム
７００ 関数
８０２ 曲線
８０４ 曲線、関数

Claims (15)

1. カメラ（１０２）の露出を制御する方法であって、
   映像シーケンスの第１の画像（２００）を取り込むときに前記カメラによって使用される露出時間およびゲインを決定するステップ（Ｓ０２）と、
   前記第１の画像（２００、４００）に対する暗レベルを少なくとも前記露出時間と前記ゲインとの積として計算するステップ（Ｓ０４）と、
   前記第１の画像（２００、４００）に対する飽和レベルを、前記第１の画像（２００）における飽和画素の数と完全に暗い画素の数との比として計算するステップ（Ｓ０６）と、
   前記飽和レベルが第１の限界を超えている場合、前記カメラ（１０２）によって取り込まれる画像の画素の平均強度値の目標値（Ｔ_ｏｌｄ）を前記暗レベルの増加関数（７００）である量だけ減少させるステップ（Ｓ１０）と、
   前記映像シーケンスの前記第１の画像（２００）の後に続く画像（３００）のために前記カメラ（１０２）の露出を、前記後続の画像（３００）の画素の前記平均強度値が前記減少させた目標値（Ｔ_ｎｅｗ）に近づくように制御するステップ（Ｓ１６）と、
   を含む方法。
2. 前記飽和レベルが、前記第１の限界以下である第２の限界より下である場合、前記カメラ（１０２）によって取り込まれる画像の画素の前記平均強度値の前記目標値（Ｔ_ｏｌｄ）を増加させるステップ（Ｓ１４）と、
   前記映像シーケンスの前記第１の画像（４００）の後に続く画像（５００）のための前記カメラ（１０２）の露出を、前記後続の画像の画素の前記平均強度値が前記増加した目標値（Ｔ_ｎｅｗ）に近づくように制御するステップ（Ｓ１６）と、
   をさらに含む、請求項１に記載の方法。
3. 前記飽和レベルが前記第２の限界より下である場合、前記平均強度値の前記目標値（Ｔ_ｏｌｄ）が、前記暗レベルとともに減少する量だけ増加される、請求項２に記載の方法。
4. 前記目標値（Ｔ_ｏｌｄ）が、第１の閾値（Ｌ_１）より下の暗レベルでは減少しないように、前記暗レベルの前記増加関数（７００）が、前記第１の閾値（Ｌ_１）より下の暗レベルでは値０をとる、請求項１ないし３のいずれか一項に記載の方法。
5. 前記暗レベルの前記増加関数（７００）が、前記第１の閾値（Ｌ_１）より下の暗レベルでは第１の値（Ｖ_１）をとり、前記第１の閾値（Ｌ_１）よりも大きい第２の閾値（Ｌ_２）より上の暗レベルでは第２の値（Ｖ_２）をとり、前記第１の閾値（Ｌ_１）と前記第２の閾値（Ｌ_２）との間の暗レベルでは、前記関数（７００）が前記第１の値（Ｖ_１）から前記第２の値（Ｖ_２）まで滑らかに増加する、請求項１ないし４のいずれか一項に記載の方法。
6. 前記関数（７００）が前記第１の値（Ｖ_１）から前記第２の値（Ｖ_２）まで直線的に増加する、請求項５に記載の方法。
7. 前記第１の閾値（Ｌ_１）の値に関するユーザ入力を受け取ることをさらに含む、請求項４ないし６のいずれか一項に記載の方法。
8. 前記第１の限界および／または前記第２の限界の前記値に関するユーザ入力を受け取り、該当する場合、前記飽和レベルがそれらと比較されることをさらに含む、請求項１ないし７のいずれか一項に記載の方法。
9. 前記第１の画像（２００、４００）の画素は、前記画素の前記強度値が可能な強度値の範囲の上端で事前定義された値を超える場合、飽和画素であると見なされ、前記第１の画像（２００、４００）の画素は、前記画素の前記強度値が前記可能な強度値の範囲の下端で事前定義された値より下である場合、完全に暗い画素であると見なされる、請求項１ないし８のいずれか一項に記載の方法。
10. 前記後続の画像（３００、５００）の画素の前記平均強度値と、前記減少した目標値（Ｔ_ｎｅｗ）、または、該当する場合、前記増加した目標値（Ｔ_ｎｅｗ）とから計算された誤差に基づいて、前記カメラ（１０２）のための制御信号を発生させることであって、前記制御信号は、前記計算された誤差と、前記平均強度値が前記減少した目標値（Ｔ_ｎｅｗ）、または、該当する場合、前記増加した目標値（Ｔ_ｎｅｗ）に等しい場合、前記誤差がとることになる値との間の距離とともに増加する微分係数を有する関数（８０４）に従って、誤差によって決まる、制御信号を発生させることをさらに含む、請求項１ないし９のいずれか一項に記載の方法。
11. 前記誤差が、前記減少した目標値（Ｔ_ｎｅｗ）、または、該当する場合、前記増加した目標値（Ｔ_ｎｅｗ）と、前記後続の画像（３００、５００）の画素の前記平均強度値との比として計算される、請求項１０に記載の方法。
12. 増加する微分係数を有する前記関数（８０４）が逆シグモイド関数である、請求項１０または１１に記載の方法。
13. カメラの露出を制御するための制御ユニット（１０４）であって、
    映像シーケンスの第１の画像（２００、４００）を取り込むときに前記カメラ（１０２）によって使用される露出時間およびゲインを決定し、
    前記第１の画像（２００、４００）に対する暗レベルを少なくとも前記露出時間と前記ゲインとの積として計算し、
    前記第１の画像（２００、４００）に対する飽和レベルを、前記第１の画像（２００、４００）における飽和画素の数と完全に暗い画素の数との比として計算し、
    前記飽和レベルが第１の限界を超えている場合、前記カメラによって取り込まれる画像の画素の平均強度値の目標値（Ｔ_ｏｌｄ）を前記暗レベルの増加関数（７００）である量だけ減少させ、
    前記映像シーケンスの前記第１の画像（２００）の後に続く画像のための前記カメラ（１０２）の露出を、前記後続の画像（３００）の画素の前記平均強度値が前記減少させた目標値（Ｔ_ｎｅｗ）に近づくように制御する、
    ように構成される、制御ユニット（１０４）。
14. 少なくとも１つのカメラ（１０２）と、前記少なくとも１つのカメラ（１０２）の露出を制御するための、請求項１３に記載の制御ユニット（１０４）とを含む、監視システム（１００）。
15. 処理能力を有するデバイスによって実行されるとき、請求項１ないし１２のいずれか一項に記載の方法を行うように構成されたコンピュータコード命令を含む、コンピュータ可読媒体（１１０）。

Images