JP2007288490A - 撮像装置および撮像装置の露光制御方法 - Google Patents

Abstract

【課題】自動露光におけるレベルダイヤグラムの基準色を決定して、標準照度領域の解像度、ダイナミックレンジを改善し、低照度領域の高感度化を可能とする。
【解決手段】有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置であって、前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、前記センサのゲインが最大値となる低照度領域では前記高感度画素を基準色（例えばホワイト基準領域）とし、前記センサのゲインが最小値となる標準照度領域では前記有彩色画素のグリーン画素を基準色（グリーン基準領域）とする。
【選択図】図１

Description

本発明は、高Ｓ／Ｎを得るゲイン設定がなされた撮像装置および撮像装置の露光制御方法に関する。

イメージセンサにおいて、ホワイト（グレー）画素を使用したコーディングが提案されている。イメージセンサの信号処理におけるホワイトバランスは、通常グリーン画素にあわせる。ただし、色コーディングにホワイト（グレー）画素を含む場合は、他の色フィルタに比較し最初に飽和するために、以下の様な問題がある。一つの問題点は、信号処理後の線形性（リニアリィティ）の低下を招くことである。ホワイト画素の信号の相関により、色信号、輝度信号を生成する場合、飽和領域で色信号、輝度信号が破綻する。もう一つの問題点は、ホワイト画素は輝度信号成分として寄与するが、他の色画素より先に飽和することで、解像度低下やダイナミックレンジの低下を招くことである。また、イメージセンサの感度を向上させるために、ホワイト（グレー）画素を含めた色コーディングの提案がなされている（例えば、特許文献１参照。）。

再公表特許ＷＯ２００２／０５６６０３号公報

解決しようとする問題点は、ホワイト画素が他の色画素より先に飽和することで、解像度低下やダイナミックレンジの低下を招くことである。

本発明は、レベルダイヤグラムの基準色を適応的に決定して、標準照度領域では解像度、ダイナミック（Ｄ）レンジを改善し、低照度領域では感度を向上させることを課題とする。

撮像装置に係る発明は、有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置であって、前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、前記センサのゲインが最大値となる低照度領域では前記高感度画素を基準色とし、前記センサのゲインが最小値となる標準照度領域では前記有彩色画素のグリーン画素を基準色とすることを特徴とする。

上記撮像装置に係る発明では、有彩色画素よりも感度の高い高感度画素を用いるので、高感度な撮像装置となる。特に、低照度領域では、感度の高い高感度画素を基準色としているので高感度となる。また標準照度領域ではグリーン画素を基準色としているので、標準照度領域で高解像度となり、広ダイナミックレンジとなる。

撮像装置の露光制御方法に係る発明は、有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置の露光制御方法であって、前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、前記センサのゲインが最大値になる低照度領域では基準色に前記高感度画素を用い、前記センサのゲインが最小値になる標準照度領域では基準色に前記有彩色画素のグリーン画素を用いることを特徴とする。

撮像装置の露光制御方法に係る発明では、有彩色画素よりも感度の高い高感度画素を用いることで感度が高くなる。特に、低照度領域で、感度の高い高感度画素を基準色に用いるので、低照度領域の感度が高められる。また標準照度領域ではグリーン画素を基準色としているので、標準照度領域での解像度が高められ、ダイナミックレンジが広くなる。

撮像装置に係る発明によれば、高感度化が図れ、特に低照度領域での感度を高めることができるので、暗い撮像環境もしくは暗部を有する撮像環境であっても、高感度な画像を得ることができる。また標準照度領域では解像度を高めることができ、またダイナミックレンジを広くすることができるので、鮮明な画像を得ることができる。

撮像装置の露光制御方法に係る発明によれば、撮像装置の高感度化が図れ、特に低照度領域での感度を高めることができるので、暗い撮像環境もしくは暗部を有する撮像環境であっても、高感度な画像が得られるようにできる。また標準照度領域では解像度を高めることができ、またダイナミックレンジを広くすることができるので、鮮明な画像が得られるようにできる。

本発明の撮像装置および撮像装置の露光制御方法の一実施の形態を、図１〜図８によって説明する。

まず、撮像装置を図２のブロック図によって説明する。図２に示すように、撮像装置１は、レンズ光学系２、センサ３、信号処理（Signal process）４の３つのブロックで構成され、出力として汎用のＹＣ信号（輝度信号/色信号）を出力する。

上記レンズ光学系２は、レンズ２１と絞り２２で構成され、絞り２２は例えばソレノイド２３に電流を流すことで羽根絞りを開閉する機構を持つ。

上記センサ３は、主に、光を電荷信号に変換するセンサブロック３１、センサブロック３１の電荷を読み出すためのクロック信号を生成するスキャナー３２、電荷を電圧に変換し、電荷が小さいときに信号を増幅する機能を有するゲインアンプ３３、信号電圧をデジタルデータに変換するアナログデジタル（Ａ／Ｄ）変換器３４の４ブロックから構成される。

上記センサブロック３１は、図３の画素出力と波長との関係図および図４の画素出力と照度との関係図に示すように、色フィルタ（例えばＲ／Ｇ／Ｂのような各色フィルタ）を有する有彩色画素と比較して、ホワイト画素（Ｗ画素）またはグレー画素のような高感度画素（図面ではホワイト画素を示す）は、入射光に対する感度の高いという特徴があり、そのため、特に低照度の環境において感度特性を向上できるという特徴がある。本発明では、この特徴を利用している。

また上記信号処理４は、主に、アナログデジタル（Ａ／Ｄ）変換器３４から出力されたデジタルデータを積分し、信号全体の平均値を算出し、その算出結果を露光制御のための入力情報として使用する検波回路４１、上記センサブロック３１のホワイト（White）画素、ＲＧＢ各画素の感度ばらつきを補正して、色が正しく再現されるように各チャンネルのゲインを制御するホワイトバランスゲイン（White balance gain）４２、検波回路４１の情報を入力として、上記絞り２２の制御値、上記スキャナー３２の電子シャッタの制御値、上記ゲインアンプ３３の制御値、ホワイトバランスゲイン４２の制御値を計算するマイクロコンピュータ４３、補間回路（Interpolation）/非線形処理（γcorrection）/ＲＧＢ信号補正回路（color matrix RGB）４４の４ブロックから構成される。

上記補間回路/非線形処理/ＲＧＢ信号補正回路４４は、各色画素上で空間的に３つのＲＧＢ情報を補間するための回路、表示ディスプレイの入出力特性を補正する非線形処理、センサの分光特性のばらつきを補正し理想的な色再現が得られるようＲＧＢ信号を補正する回路で構成されている。

ビデオカメラ等ではカメラが撮像できる最も暗い環境の照度を最低被写体照度と定義している。例えば図５に示す条件３のように、ホワイト画素を基準にホワイトバランスをとる場合、この最低被写体照度を低く設定することが可能となる。すなわち、ＧＲＢの各画素のゲインを上げてホワイト画素に合わせる。ただし、ホワイト画素の欠点として、図５に示す条件１のような明るい環境下では、他の色画素（例えばＲＧＢ画素）と比較し、飽和しやすいという欠点がある。このような場合には、グリーン（Ｇ）を基準にホワイトバランスをとり、ホワイト画素については電子シャッタを動作させて切る。

また、上記信号処理４において、レベルダイヤグラムを決定する場合、色配列で最も感度の大きい色画素の信号を基準にする。したがってホワイト画素を使用した場合、ホワイト画素を基準にレベルダイヤグラムを決定する。しかし、ホワイト画素は他の色画素に比較し、感度が高いために、飽和しやすいという欠点を持っている。したがって、本発明の撮像装置は、低照度領域では、高感度画素（例えばホワイト画素）の信号を基準にして、レベルダイヤグラムを決定することで、ホワイト画素の高感度を有効に利用する。また標準照度領域では、有彩色画素のグリーン画素の信号を基準にして、ホワイト画素のみ露光制御を行い、感度を低く設定することで、解像度やダイナミックレンジの向上を図ることを特徴としている。なお、以下の説明では、高感度画素にホワイト画素を一例として用い、また有彩色画素にＲ（レッド）Ｇ（グリーン）Ｂ（ブルー）の各画素を一例として用いて説明する。なお、有彩色画素についてはＲＧＢの補色を用いることも可能である。

次に、本発明の要部である、レベルダイヤグラムの基準色を適応的に決定するアルゴリズムの一例を、図１によって説明する。

図１に示すように、撮像装置１は、撮像環境の照度に応じて、自ら露光制御を行う自動露出（AE：Auto Exposure）機能を持つ。照度はセンサの出力信号を検波することで測定できる。ホワイトを使用したセンサの場合、例えば４種類の制御領域が設定可能である。

照度の明るい状態から露光制御を分類すると、絞り制御領域、ＲＧＢ各画素の電子シャッタ制御領域、ＡＧＣ（Auto Gain Control）ゲイン制御領域、ホワイト画素の電子シャッタ制御領域の４種類となる。

絞り制御領域は、機械的な光量調整である絞りにより制御を行う。絞りが開放側に到達した時点で、電子シャッタ制御領域に移行する。

ＲＧＢ各画素の電子シャッタ制御領域では、電子シャッタにより露光量を調整する。次にさらに暗くなり、電子シャッタの露光時間が上限に張り付いた時点で、ＡＧＣゲイン制御領域に移行する。このように電子シャッタにより露光量を調整することにより、飽和レべル達しているホワイト画素の信号を切ることができる。

ＡＧＣゲイン制御領域は、アナログもしくはデジタルのゲイン制御により撮像装置の出力信号が一定レベルになるように、センサ出力信号を増幅する機能を有する。

上記絞り制御領域、ＲＧＢ各画素の電子シャッタ制御領域およびＡＧＣゲイン制御領域では、グリーンを基準にレベルダイヤグラムの設定を行い、ホワイト画素については飽和しないように、他の色画素に対して独立に電子シャッタ制御を行う。

そして撮像環境の照度がグリーン画素の最低被写体照度を下回り始めた時点で、ホワイト画素の電子シャッタ制御領域は、ホワイト画素の露光制御量を徐々に小さくしていく。最終的にホワイト画素の露光制御量がグリーン画素の露光制御量と等しくなった時点で最低被写体照度に達する。これによって、低照度領域での感度向上が図れる。

また、ホワイト画素を基準色とするのは、上記標準照度領域から上記低照度領域に移行する過程から行うことも可能である。また、標準照度領域においてグリーン画素を基準色として用いるだけでも、標準照度領域での解像度が高められ、ダイナミックレンジが広くなるという効果が得られる。

次に、上記アルゴリズムの具体的な実施方法を、図６のフローチャートによって説明する。

図６に示すように、まず、「初期動作設定」Ｓ１０を行う。この「初期動作設定」Ｓ１０では、絞りの初期設定として、絞りを閉じた状態に設定し、センサに対して光を遮光した状態にする。またスキャナーの初期設定を行う。このスキャナーは、シャッタスピード（もしくは露光時間）を決定する電子シャッタの制御機能を有する。この電子シャッタの制御は、ホワイト（White）画素用の制御とＲＧＢ画素用の制御を独立に設定しておく。まず、ホワイト画素の電子シャッタを回路で実現できる最小露光時間に設定する。これをＡ（秒）とする。次に、ＲＧＢ画素の電子シャッタを以下の関係式を満たすＢ（秒）に設定する。

Ｂ＝Ａ・a（秒）（aはホワイト（White）画素出力（ｗ）とグリーン（Green）画素出力（g）の比、ａ＝ｗ／ｇ）

上記式を満たすことで、ホワイト画素が他のＲＧＢ各画素よりも早く飽和しないような露光条件に設定することが可能となる。またゲインアンプは回路で設定可能な最小ゲインに設定する。

以上の初期化動作を設定した後、自動露光（ＡＥ：Auto Exposure）を開始する。

まず、「絞りのＦ値は最小」Ｓ１１の判断を行う。「絞りのＦ値は最少」Ｓ１１で「Ｎｏ」の場合には、「絞りを１ステップ開く」Ｓ１２を行う。この「絞りを１ステップ開く」Ｓ１２では、絞りを制御し、絞りを１ステップ開く。開いた結果、「検波回路で信号を積分」Ｓ１３で、入力信号を積分する。これによって検波回路の信号は増大する。そして「信号（Ｓ）が目標値の範囲内」Ｓ１４の判断を行う。「信号（Ｓ）が目標値の範囲内」Ｓ１４で、目標値（最大（Max）、最小（Min））に達しているか、否かの判断を行い、目標値に達している場合、すなわち、「Ｙｅｓ」の場合には、その時点で制御を終了する。そして、そのときの状態を保持する「状態を保持」Ｓ１５に移行する。

一方、「信号（Ｓ）が目標値の範囲内」Ｓ１４で「Ｎｏ」の場合、すなわち絞りを最大に開いた状態で目標値に達しない場合は、再び「絞りのＦ値は最小」Ｓ１１を行い、絞りのＦ値が最小かどうかを判断し、「Ｎｏ」の場合には、再び絞りを制御し、前記ステップを繰り返し行う。このように、絞りを１ステップずつ開いていく、絞り制御を行う。

上記「絞りのＦ値は最小」Ｓ１１で「Ｙｅｓ」の場合には、すなわち、絞りが最小であれば、次のＲＧＢ各画素の電子シャッタ制御領域へ移行する。

次に、「ＲＧＢ電子シャッタは最大」Ｓ２１で、ＲＧＢ電子シャッタ（露光時間）が最大か否かの判断を行い、「Ｎｏ」の場合には、「ＲＧＢ電子シャッタ（露光時間）を１ステップ伸ばす」Ｓ２２を行う。この「ＲＧＢ電子シャッタ（露光時間）を１ステップ伸ばす」Ｓ２２では、ＲＧＢ電子シャッタ（露光時間）を制御し、ＲＧＢ電子シャッタ（露光時間）を１ステップ伸ばす。伸ばした結果、「検波回路で信号を積分」Ｓ２３で、入力信号を積分する。「検波回路で信号を積分」Ｓ２３は「検波回路で信号を積分」Ｓ１３と共通とすることができる。

すなわち、「検波回路で信号を積分」Ｓ２３での入力信号の積分によって、検波回路の信号は増大する。そして「信号（Ｓ）が目標値の範囲内」Ｓ２４を行う。「信号（Ｓ）が目標値の範囲内」Ｓ２４で、目標値（最大（Max）、最小（Min））に達しているか、否かの判断を行い、目標値に達している場合、すなわち、「Ｙｅｓ」の場合には、その時点で制御を終了する。そして、そのときの状態を保持する「状態を保持」Ｓ１５に移行する。「信号（Ｓ）が目標値の範囲内」Ｓ２４は「信号（Ｓ）が目標値の範囲内か否かの判断」Ｓ１４と共通とすることができる。

一方、「信号（Ｓ）が目標値の範囲内」Ｓ２４で「Ｎｏ」の場合、すなわちＲＧＢ電子シャッタの露光時間を最大に設定した状態で目標値に達しない場合は、再び「ＲＧＢ電子シャッタは最大」Ｓ２１で、ＲＧＢ電子シャッタ（露光時間）が最大か否かの判断を行い、上記ステップを繰り返す。

一方、上記「ＲＧＢ電子シャッタは最大」Ｓ２１で「Ｙｅｓ」の場合には、ＡＧＣゲイン制御領域へ移行する。

次に、「ゲインアンプは最大」Ｓ３１で、ゲインアンプが最大か否かの判断を行い、「Ｎｏ」の場合には、「ゲインを１ステップ上げる」Ｓ３２を行う。この「ゲインを１ステップ伸ばす」Ｓ３２では、ゲインアンプを制御し、ゲインを１ステップ上げる。上げた結果、「検波回路で信号を積分」Ｓ３３で、入力信号を積分する。「検波回路で信号を積分」Ｓ３３は「検波回路で信号を積分」Ｓ１３と共通とすることができる。

すなわち、「検波回路で信号を積分」Ｓ３３で入力信号を積分することによって、検波回路の信号は増大する。そして「信号（Ｓ）が目標値の範囲内」Ｓ３４を行う。「信号（Ｓ）が目標値の範囲内」Ｓ３４で、目標値（最大（Max）、最小（Min））に達しているか、否かの判断を行い、目標値に達している場合、すなわち、「Ｙｅｓ」の場合には、その時点で制御を終了する。そして、そのときの状態を保持する「状態を保持」Ｓ１５に移行する。「信号（Ｓ）が目標値の範囲内」Ｓ３４は「信号（Ｓ）が目標値の範囲内」Ｓ１４と共通とすることができる。
一方、「信号（Ｓ）が目標値の範囲内」Ｓ３２で「Ｎｏ」の場合、すなわちゲインアンプを最大に設定した状態で目標値に達しない場合は、再び「ゲインアンプは最大」Ｓ３１で、ゲインアンプが最大か否かの判断を行い、上記ステップを繰り返す。

一方、この「ゲインアンプは最大」Ｓ３１で「Ｙｅｓ」の場合には、すなわち、ゲインが最大であれば、次のホワイト画素の電子シャッタ制御領域へ移行する。

次に、「ホワイト画素の電子シャッタは最大」Ｓ４１で、ホワイト画素の電子シャッタ（露光時間）が最大か否かの判断を行い、「Ｎｏ」の場合には、「ホワイト画素の電子シャッタ（露光時間）を１ステップ伸ばす」Ｓ４２を行う。この「ホワイト画素の電子シャッタ（露光時間）を１ステップ伸ばす」Ｓ４２では、White画素の電子シャッタ（露光時間）を制御し、ホワイト画素の電子シャッタ（露光時間）を１ステップ伸ばす。伸ばした結果、「検波回路で信号を積分」Ｓ４３で、入力信号を積分する。「検波回路で信号を積分」Ｓ４３は「検波回路で信号を積分」Ｓ１３と共通とすることができる。

すなわち、「検波回路で信号を積分」Ｓ４３での入力信号の積分によって、検波回路の信号は増大する。そして「信号（Ｓ）が目標値の範囲内」Ｓ４４を行う。「信号（Ｓ）が目標値の範囲内」Ｓ４４で、目標値（最大（Max）、最小（Min））に達しているか、否かの判断を行い、目標値に達している場合、すなわち、「Ｙｅｓ」の場合には、その時点で制御を終了する。そして、そのときの状態を保持する「状態を保持」Ｓ１５に移行する。「信号（Ｓ）が目標値の範囲内」Ｓ４４は「信号（Ｓ）が目標値の範囲内か否かの判断」Ｓ１４と共通とすることができる。

一方、「信号（Ｓ）が目標値の範囲内」Ｓ４４で「Ｎｏ」の場合、すなわちＲＧＢ電子シャッタの露光時間を最大に設定した状態で目標値に達しない場合は、再び「ホワイト画素の電子シャッタは最大」Ｓ４１で、ＲＧＢ電子シャッタ（露光時間）が最大か否かの判断を行い、上記ステップを繰り返す。

次に、ホワイト画素のみ露光制御する原理を、図７によって説明する。

図７に示すように、ホワイト画素の市松方式のジグザグ（ZigZag）配列の場合、ホワイト画素は同じ行にホワイト画素のみが並ぶ配列となる。この場合、ホワイト画素行のみを独立に露光信号のリセットを行うことが可能となる。

次に、前記図７によって説明した露光制御を行った場合のホワイトバランスの制御について説明する。

図８（１）に示すように、ホワイト画素を用いない信号処理の場合、通常最も出力の大きい信号（例えばＧ画素の信号レベル）に他の色の画素（例えば、Ｒ画素、Ｂ画素）のレベルを合わせるために、ホワイトバランス（増幅）を行う。増幅した結果は実線で示されている。ところが、図８（２）に示すように、ホワイト画素が色配列に含まれる場合は、ホワイト画素の出力が最も大きいので、ホワイト画素を基準にして他の色画素（例えば、点線で示したＲ画素、Ｇ画素、Ｂ画素）のレベルを合わせこむ。合わせこんだ結果は実線で示されている。このホワイト画素方式のホワイトバランスの原理では、ＲＧＢ画素の露光時間に対してホワイト画素の露光時間を半分に設定した例を示した。これにより、明るい撮像環境においても、ホワイトが飽和せずに信号処理を行うことが可能になるとともに、感度の最大化が可能となる。

上記説明したように、本実施の形態によれば、高感度化が図れ、特に低照度領域での感度を高めることができる。これによって、暗い撮像環境もしくは暗部を有する撮像環境であっても、高感度な画像を得ることができるようになる。また標準照度領域では解像度を高めることができ、またダイナミックレンジを広くすることができる。これによって、鮮明な画像を得ることができるようになる。

上記の説明においては高感度画素の例として「ホワイト（白色）画素」を用いて説明したが、厳密な意味での（理想的な）白色や透明な画素に限定されるわけではなく、従来の色再現用の各色成分を得るための原色画素や補色画素に比べて感度の高い画素であればよく、例えば理想的な白色や透明の状態に光を通さない成分が少し混ざったグレーフィルタが設けられた画素や、少量の色素成分が混ざっているフィルタが設けられた画素であってもよい。但し、特定の色素成分が偏って混ざったフィルタである場合よりも、グレーフィルタなどのように透過する光の色成分のバランスがよいフィルタの方が、信号処理を行うという観点では好ましい。

本発明の要部を示したレベルダイヤグラムの基準色を決定するアルゴリズムである。 本発明の撮像装置を示したブロック図である。 各画素の分光特性図である。 ホワイトコーディングの特徴を示したセンサ出力と照度との関係図である。 レベルダイヤグラムの基準色を決定するアルゴリズムである。 本発明の要部を示したフローチャートである。 ホワイト画素のみ露光制御する原理の説明図である。 従来技術と本発明に係るホワイトバランスの原理の説明図である。

符号の説明

１…撮像装置、３…センサ、ＡＧ…グリーン基準領域、ＡＷ…ホワイト基準領域

Claims (6)

1. 有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、
   撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置であって、
   前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、
   前記センサのゲインが最大値となる低照度領域では前記高感度画素を基準色とし、
   前記センサのゲインが最小値となる標準照度領域では前記有彩色画素のグリーン画素を基準色とする
   ことを特徴とする撮像装置。
2. 有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、
   撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置であって、
   前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、
   前記センサのゲインが最小値となる標準照度領域では前記有彩色画素のグリーン画素を基準色とする
   することを特徴とする撮像装置。
3. 前記標準照度領域では前記高感度画素のみ露光制御されるように電子シャッタ制御を行う
   ことを特徴とする請求項１記載の撮像装置。
4. 前記低照度領域では前記高感度画素のレベルに合わせるホワイトバランスを行う
   ことを特徴とする請求項１記載の撮像装置。
5. 前記標準照度領域から前記低照度領域に移行する過程から前記高感度画素を基準色とする
   ことを特徴とする請求項１記載の撮像装置。
6. 有彩色画素に比べ入射光に対する感度の高い高感度画素を色コーディングに用いたセンサを有するとともに、
   撮像環境の照度に応じて自ら露光制御を行う自動露出機能を有する撮像装置の露光制御方法であって、
   前記自動露出機能における、照度に応じてレベルダイヤグラムの基準色を決定するアルゴリズムは、
   前記センサのゲインが最大値になる低照度領域では基準色に前記高感度画素を用い、
   前記センサのゲインが最小値になる標準照度領域では基準色に前記有彩色画素のグリーン画素を用いる
   ことを特徴とする撮像装置の露光制御方法。
   

Images