JP2005124039A - 露出制御装置および露出制御方法 - Google Patents

Abstract

【課題】 撮影画像から目的となる情報を検出するための撮像装置において、適切な露出制御を行うこと。
【解決手段】 露出制御装置１は、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得の補正量を、露出誤差の大きさに応じて変化させながら、露出誤差が露出許容範囲に収まるように調整する。また、露出制御装置１は、マイクロコントローラ３０から入力される制御感度に応じて、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得の補正量を所定の異なる変化率で変化させる。また、露出制御装置１は、露出誤差が露出許容範囲内に収束した後、フリッカ現象が発生している場合には、制御感度を低く設定する。したがって、本発明に係る露出制御装置１によれば、撮影画像から目的となる情報を検出するために、適切な露出制御を行うことが可能となる。
【選択図】 図１

Description

本発明は、撮影された画像から目的となる情報を検出可能な撮像装置を制御するための露出制御装置および露出制御方法に関する。

従来、医療用カメラあるいは製造ライン用カメラ等、特定の対象を計測するために用いられる撮像装置においては、その対象（被写体）の撮影画像から、色合い、輝度レベル（反射率）等、目的となる情報が検出されている。
具体的には、撮影画像から色あるいは輝度等を数値化して取得することにより、対象物の状態が認識される。

ところで、撮像装置においては、一般に、撮影画像の明るさを一定範囲に収めるために露出制御が行われている。
通常、露出制御を行う場合、撮影画像の明るさを測定して数値化し、明るさの評価値とする。そして、その評価値を、外部から設定された明るさの基準値（露出目標値）と比較し、両者がほぼ一致するように、撮像装置の電子シャッタ速度やアンプの利得を制御する。その結果、光源の明るさの変動等によらず、撮影画像全体の明るさが、露出目標値とほぼ一致する値となる。

このような露出制御については、従来、種々の技術が提案されている。
例えば、特開平６−１４１３２８号公報には、シャッタ速度、利得およびアイリスを複合的に制御することにより、撮像装置の感度を調整する技術が開示されている。
特開平６−１４１３２８号公報

しかしながら、本号公報に記載された技術を含め、従来の技術においては、撮影された画像（スチル画像や動画像等）を人間が鑑賞することを想定している。そのため、フリッカ現象を防止するために、露出制御における感度は低いレベルに設定されている。
即ち、露出制御における感度を高いレベルに設定した場合には、光源や被写体の僅かな変化に対し、撮像装置が敏感に反応して露出制御を行い、撮影画像の輝度レベルが頻繁に変動する現象（フリッカ現象）が発生することとなる。したがって、露出制御系の応答速度が遅く（露出制御の感度が低く）設定されている。例えば、露出制御の感度は、１／２ＥＶ（Exposure Value）あるいは１／３ＥＶ程度に設定されている。

一方、計測のために用いられる撮像装置の場合、被写体の正確な輝度レベルや色合いを検出する必要があるため、光源の輝度変化等に対して、迅速且つ高精度に応答し、撮影画像が光源の輝度変化等に影響されることがないように制御する必要がある。
したがって、撮影画像の輝度が、高速に、精度良く露出目標値に収束するよう露出制御を行う必要があるものの、上述のように、露出制御系の感度を高くすれば、フリッカ現象が起こることとなる。特に、フレーム間の相関を検出する場合等においては、シャッタ速度あるいはアンプの利得が頻繁に変化することは望ましくないものである。

本発明の課題は、撮影画像から目的となる情報を検出するための撮像装置において、適切な露出制御を行うことである。

以上の課題を解決するため、本発明は、
電子シャッタを備えるイメージセンサ（例えば、図１のイメージセンサ１１）と、該イメージセンサの出力信号を所定利得で増幅する増幅手段（例えば、図１のＰＧＡ１２）とを含み、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを変化させることにより、撮影された画像の明るさ（例えば、輝度評価値として表される明るさ）を、明るさの基準となる露出目標値に調整する露出制御を行う露出制御装置であって、前記露出制御の制御状態（例えば、“画像の明るさが露出目標値から大幅に離れている状態”あるいは“露出目標値に近いがフリッカ現象が発生している状態”等）に応じて、前記画像の明るさの変化に対する露出制御の応答感度（例えば、図１の制御感度）を変更する感度変更手段（例えば、図１の露出制御ブロック２０およびマイクロコントローラ３０）を含むことを特徴としている。

このような構成により、露出制御状態に応じた応答感度を設定できるため、状況に応じた制御感度に柔軟に設定することが可能となる。即ち、画像の明るさを露出目標値に合わせる際には応答感度を高感度とし、より高精度に露出目標値と一致するように調整したり、フリッカ現象の発生を防ぎたい場合には、応答感度を低感度とするといったことが可能となる。

また、撮影された画像の明るさを、明るさの基準となる露出目標値に調整する際に、該画像の明るさと、前記露出目標値との差が大きいほど、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを大きく変化させる調整手段をさらに含むことを特徴としている。
なお、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを変化させる態様としては、連続的に変化させることや、段階的に変化させることのいずれも可能である。

このような構成により、画像の明るさを露出目標値に、迅速に収束させることが可能となる。
また、フリッカ現象が発生しているか否かを判定するフリッカ判定手段（例えば、図２のフリッカ検出器２５）をさらに含み、前記感度変更手段は、フリッカ判定手段によって、フリッカ現象が発生していると判定された場合に、前記応答感度をより低く設定することを特徴としている。

このような構成により、可能な限り高感度で露出制御を行いつつ、フリッカ現象が発生した場合にも、適切に対応することが可能となる。
また、撮影された画像の明るさを、明るさの基準となる露出目標値に調整する際に、前記応答感度を最高値に設定して調整を開始し、前記画像の明るさが露出目標値に収束した後、前記フリッカ判定手段によって、フリッカ現象が発生していると判定された場合に、前記感度変更手段が、前記応答感度をより低く設定することを特徴としている。

このような構成により、画像の明るさを露出目標値に収束させる際には、精度の高さを優先しつつ、収束後には、フリッカ現象の発生を抑えることを優先させて、露出制御を行うことが可能となる。
また、本発明は、電子シャッタを備えるイメージセンサと、該イメージセンサの出力信号を所定利得で増幅する増幅手段とを含み、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを変化させることにより、撮影された画像の明るさを、明るさの基準となる露出目標値に調整する露出制御を行う露出制御装置のための露出制御方法であって、前記露出制御の制御状態に応じて、前記画像の明るさの変化に対する露出制御の応答感度を変更する感度変更ステップを含むことを特徴としている。

このように、本発明によれば、撮影画像から目的となる情報を検出するための撮像装置において、適切な露出制御を行うことが可能となる。

以下、図を参照して本発明に係る露出制御装置の実施の形態を説明する。
まず、構成を説明する。
図１は、本実施の形態に係る露出制御装置１の機能構成を示す図である。
図１において、露出制御装置１は、アナログ・デジタル映像信号本線部（以下、「本線部」と言う。）１０と、露出制御ブロック２０と、マイクロコントローラ３０とを含んで構成される。

本線部１０は、イメージセンサ１１と、プログラマブルゲインアンプ（PGA:ProgrammableGain Amp）１２と、ＡＤＣ（Analog to Digital Converter）１３とをさらに含んで構成される。
イメージセンサ１１は、電子シャッタを備えており、露出制御ブロック２０によって設定されるシャッタ速度で、レンズから入力される光を受光する。また、イメージセンサ１１は、受光した光（レンズの結像）を光電変換して、被写体の画像を表す信号を出力する。

ＰＧＡ１２は、露出制御ブロック２０によって設定される利得で、イメージセンサの出力信号を増幅する。
ＡＤＣ１３は、ＰＧＡ１２の出力信号をデジタル信号に変換し、本線映像信号として出力する。
次に、露出制御ブロック２０について説明する。

図２は、露出制御ブロック２０の機能構成を示す図である。
露出制御ブロック２０は、輝度測光ブロック２１と、露出誤差検出器２２と、補正量算出／利得設定部２３と、露出誤差判定器２４と、フリッカ検出器２５とを含んで構成される。
輝度測光ブロック２１は、ＡＤＣ１３から本線映像信号が入力されると、１画面分の画像について、各画素の輝度を積分し、積分結果を輝度評価値とする。そして、輝度測光ブロック２１は、輝度評価値を露出誤差検出器２２およびフリッカ検出器２５に出力する。

なお、輝度測光ブロック２１における輝度評価値を生成するロジックは、輝度測光ロジックと呼ばれる。輝度測光ロジックとして、１画面に含まれる画素の輝度を単純に積分する方法の他、画面の中央付近に被写体が存在することを想定し、中央付近の画素を重み付けして積分する方法や、画面を所定のパターンで分割して重み付けを行い、積分する方法等を用いることも可能である。

露出誤差検出器２２は、輝度測光ブロック２１から入力される輝度評価値と、マイクロコントローラ３０から入力される露出目標値との差を算出し、その差分値（以下、「露出誤差」と言う。）を補正量算出／利得設定部２３および露出誤差判定器２４に出力する。
補正量算出／利得設定部２３は、露出誤差検出器２２から入力される露出誤差に基づいて、露出誤差が所定範囲（以下、「露出許容範囲」と言う。）に収まるように、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得を調整し、イメージセンサ１１およびＰＧＡ１２の総合的な利得を補正する。この露出許容範囲は、制御感度が高いほど狭く、制御感度が低いほど広く設定されている（図４〜図６参照）。

また、補正量算出／利得設定部２３は、マイクロコントローラ３０から入力される制御感度に応じて、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得を補正する際の補正量の変化率を異なるものとする。
即ち、補正量算出／利得設定部２３は、露出誤差が大きいほど、露出誤差が高速に変化して露出許容範囲内となるように、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得を補正すると共に、制御感度が高いほど、露出誤差の小さな変動に対応してイメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得を補正するものである。

図３は、補正量算出／利得設定部２３の機能構成を示す図である。
図３において、補正量算出／利得設定部２３は、補正量算出部２３ａと、加算部２３ｂと、セレクタ２３ｃと、レジスタ２３ｄとを含んで構成される。
補正量算出部２３ａは、図４〜図６に示すように、露出誤差とその補正量との関係を示すテーブル形式のデータを記憶しており、露出誤差検出器２２から入力される露出誤差と、マイクロコントローラ３０によって設定される制御感度とが入力されると、そのテーブルを参照して、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得の補正量を算出し、加算部２３ｂに出力する。

なお、露出誤差を補正するためには、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得のいずれか一方、あるいは両方を変更することが可能であり、その変更量の組み合わせは任意である。
加算部２３ｂは、補正量算出部２３ａから入力された補正量を、レジスタ２３ｄから入力されている現在の利得に加算して、総合的な利得を更新し、セレクタ２３ｃに出力する。なお、ここで算出される総合的な利得は、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得をパラメータとして表される２次元データである。

セレクタ２３ｃは、マイクロコントローラ３０あるいは露出制御ブロック２０内部において発生される初期化信号に応じて、加算部２３ｂから入力される更新後の利得と、利得の初期値とのいずれかを選択し、レジスタ２３ｄに出力する。
レジスタ２３ｄは、セレクタ２３ｃから入力される更新後の利得あるいは利得の初期値を、更新タイミング信号に同期して記憶する。この更新タイミング信号は、イメージセンサ１１のシャッタ速度やＰＧＡ１２の利得を変更するタイミングで発生され、通常、フレームレートの整数倍の周期で発生される。また、レジスタ２３ｄは、記憶している利得を示すパラメータとして、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得を出力する。

ここで、露出誤差とその補正量との関係について説明する。
図４〜図６は、露出誤差の大きさと、補正量算出／利得設定部２３の補正量との関係を示す図であり、図４は制御感度が最大の場合、図５は制御感度が中間の場合、図６は制御感度が最小の場合の例を示している。なお、図４〜図６においては、露出目標値を“Ｔ”、輝度評価値を“ｌｅｖｅｌ”として表し、露出目標値Ｔに対する輝度評価値ｌｅｖｅｌの誤差範囲に応じた補正量が一覧として示されている。

図４において、制御感度が最大の条件の下では、露出誤差が±６％の場合（露出目標値が輝度評価値に対して±６％以内の比である場合）には、補正を行わず、露出誤差が小レベルで段階的に拡大していくごとに、０．５、１．０、２．０、２．５、３．０、６．０、１２．０［ｄｂ］の各ステップで補正量が拡大している。
また、図５において、制御感度が中間の条件の下では、露出誤差が±１２％の場合（露出目標値が輝度評価値に対して±１２％以内の比である場合）には、補正を行わず、露出誤差が中レベルで段階的に拡大していくごとに、１．０、２．０、３．０、６．０、１２．０［ｄｂ］の各ステップで補正量が拡大している。

さらに、図６において、制御感度が最小の条件の下では、露出誤差が±２０％の場合（露出目標値が輝度評価値に対して±２０％以内の比である場合）には、補正を行わず、露出誤差が大レベルで段階的に拡大していくごとに、０．５、１．５、３．０［ｄｂ］の各ステップで補正量が拡大している。
このように、露出誤差が大きいほど補正量のステップが大きくなるように設定されているため、輝度評価値を露出目標値に高速に収束させることが可能となる。

また、制御感度が高いほど、露出誤差の小さな変動に対して補正が行われるため、制御感度を高く設定すると、輝度評価値を露出目標値に高速かつ高精度に収束させることが可能となる。
さらに、制御感度が低いほど露出許容範囲が広く設定されているため、露出誤差が露出許容範囲にある場合に制御感度を低く設定すると、フリッカ現象を抑えることが可能となる。

図２に戻り、露出誤差判定器２４は、露出誤差検出器２２から入力される露出誤差を所定のしきい値と比較し、その比較結果を示す信号（以下、「露出誤差判定結果」と言う。）を出力する。なお、このしきい値は、補正量算出／利得設定部２３による露出制御が収束したか否かを判定するための値であり、具体的には、制御感度に対応して、図４〜図６における補正が行われない露出誤差の境界値（例えば、図４においては露出誤差が±６％の値）を示している。

フリッカ検出器２５は、輝度測光ブロック２１から入力される輝度評価値に基づいて、フリッカ現象が発生しているか否かを判定し、その判定結果（以下、「フリッカ検出結果」と言う。）を出力する。
即ち、フリッカ検出器２５は、連続する数フレーム分の輝度評価値を、隣接するフレーム相互について比較し、その差分値が一定のしきい値以内に収まっているか否かに応じて、フリッカ現象が発生しているか否かを判定する。

なお、フリッカ現象が発生しているか否かを判定するためのしきい値は、カメラ（露出制御装置１）が設置される環境や、カメラの特性（Ｓ／Ｎ比等）に依存するため、予め実験的に求めることが望ましい。
マイクロコントローラ３０は、露出制御ブロック２０から入力されるフリッカ検出結果および露出誤差判定結果に基づいて、後述する露出制御処理を実行する。また、マイクロコントローラ３０は、ユーザの入力操作（ユーザイベント）あるいは露出制御処理を実行することによって露出制御ブロック２０の制御感度および露出目標値を設定したり、各種初期設定を行ったりする。

次に、動作を説明する。
図７は、露出制御装置１のマイクロコントローラ３０が実行する露出制御処理を示すフローチャートである。露出制御処理は、露出制御装置１の電源投入と共に開始される。
図７において、露出制御処理が開始されると、マイクロコントローラ３０は、露出制御ブロック２０に対し、各種の初期設定を行い（ステップＳ１）、さらに、制御感度を最大に設定する（ステップＳ２）。ここで、制御感度を最大に設定するのは、露出誤差を高速に露出許容範囲内に収束させ、応答性の高い露出制御を行うためである。

そして、マイクロコントローラ３０は、露出制御ブロック２０を起動することにより露出制御を開始し（ステップＳ３）、露出誤差が露出許容範囲内にあるか否かの判定を行う（ステップＳ４）。
ステップＳ４において、露出誤差が露出許容範囲内でないと判定した場合、マイクロコントローラ３０は、ステップＳ４の処理を繰り返して、露出制御ブロック２０によって露出誤差が補正されるのを待ち、露出誤差が露出許容範囲内であると判定した場合、フリッカ現象が発生しているか否かの判定を行う（ステップＳ５）。

ステップＳ５において、フリッカ現象が発生していると判定した場合、マイクロコントローラ３０は、フリッカ現象を抑えるために制御感度を１段階低い状態に設定し（ステップＳ６）、フリッカ現象が発生していないと判定した場合、露出制御の停止条件が成立しているか否かの判定を行う（ステップＳ７）。
ここで、露出制御の停止条件としては、シーンチェンジが行われたり、極端に光源の輝度が変化したりする等、著しい露出誤差が発生した場合や、ユーザやホストコンピュータによって、露出制御の停止が指示された場合等が該当する。

ステップＳ７において、露出制御の停止条件が成立していないと判定した場合、マイクロコントローラ３０は、ステップＳ７の処理を繰り返し、露出制御の停止条件が成立していると判定した場合、露出制御ブロック２０の動作を停止させることにより、露出制御を停止する（ステップＳ８）。
なお、ステップＳ８の後、マイクロコントローラ３０は、ステップＳ１の処理に移行する。

以上のように、本実施の形態に係る露出制御装置１は、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得の補正量を、露出誤差の大きさに応じて変化させながら、露出誤差が露出許容範囲に収まるように調整する。また、露出制御装置１は、マイクロコントローラ３０から入力される制御感度に応じて、イメージセンサ１１のシャッタ速度およびＰＧＡ１２の利得の補正量を所定の異なる変化率で変化させる。

したがって、高速に、かつ、精度良く、露出誤差を露出許容範囲に収束させることが可能となる。
また、露出制御装置１は、露出誤差が露出許容範囲内に収束した後、フリッカ現象が発生している場合には、制御感度を低く設定する。
したがって、露出誤差を露出目標値に高精度に収束させつつ、フリッカ現象が発生することを抑制することが可能となる。

即ち、本発明に係る露出制御装置１によれば、撮影画像から目的となる情報を検出するために、適切な露出制御を行うことが可能となる。

本実施の形態に係る露出制御装置１の機能構成を示す図である。 露出制御ブロック２０の機能構成を示す図である。 補正量算出／利得設定部２３の機能構成を示す図である。 制御感度が最大の場合の、露出誤差の大きさと、補正量算出／利得設定部２３の補正量との関係を示す図である。 制御感度が中間の場合の、露出誤差の大きさと、補正量算出／利得設定部２３の補正量との関係を示す図である。 制御感度が最小の場合の、露出誤差の大きさと、補正量算出／利得設定部２３の補正量との関係を示す図である。 露出制御装置１のマイクロコントローラ３０が実行する露出制御処理を示すフローチャートである。

符号の説明

１ 露出制御装置、１０ アナログ・デジタル映像信号本線部、１１ イメージセンサ、１２ ＰＧＡ、１３ ＡＤＣ、２０ 露出制御ブロック、２１ 輝度測光ブロック、２２ 露出誤差検出器、２３ 補正量算出／利得設定部、２３ａ 補正量算出部、２３ｂ 加算部、２３ｃ セレクタ、２３ｄ レジスタ、２４ 露出誤差判定器、２５ フリッカ検出器、３０ マイクロコントローラ

Claims (5)

1. 電子シャッタを備えるイメージセンサと、該イメージセンサの出力信号を所定利得で増幅する増幅手段とを含み、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを変化させることにより、撮影された画像の明るさを、明るさの基準となる露出目標値に調整する露出制御を行う露出制御装置であって、
   前記露出制御の制御状態に応じて、前記画像の明るさの変化に対する露出制御の応答感度を変更する感度変更手段を含むことを特徴とする露出制御装置。
2. 撮影された画像の明るさを、明るさの基準となる露出目標値に調整する際に、該画像の明るさと、前記露出目標値との差が大きいほど、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを大きく変化させる調整手段をさらに含むことを特徴とする請求項１記載の露出制御装置。
3. フリッカ現象が発生しているか否かを判定するフリッカ判定手段をさらに含み、
   前記感度変更手段は、フリッカ判定手段によって、フリッカ現象が発生していると判定された場合に、前記応答感度をより低く設定することを特徴とする請求項１または２記載の露出制御装置。
4. 撮影された画像の明るさを、明るさの基準となる露出目標値に調整する際に、前記応答感度を最高値に設定して調整を開始し、前記画像の明るさが露出目標値に収束した後、前記フリッカ判定手段によって、フリッカ現象が発生していると判定された場合に、前記感度変更手段が、前記応答感度をより低く設定することを特徴とする請求項３記載の露出制御装置。
5. 電子シャッタを備えるイメージセンサと、該イメージセンサの出力信号を所定利得で増幅する増幅手段とを含み、前記イメージセンサの電子シャッタ速度と前記増幅手段の利得との少なくともいずれかを変化させることにより、撮影された画像の明るさを、明るさの基準となる露出目標値に調整する露出制御を行う露出制御装置のための露出制御方法であって、
   前記露出制御の制御状態に応じて、前記画像の明るさの変化に対する露出制御の応答感度を変更する感度変更ステップを含むことを特徴とする露出制御方法。

Images