JP2007096582A - 撮像装置、露出制御装置、方法およびプログラム - Google Patents

Abstract

【課題】撮像画像信号に対する色補正の状態に関係なく、常に適正に露出を制御できるようにする。
【解決手段】撮像により得られた画像信号を色成分ごとに補正する信号補正手段としてのリニアマトリクス演算部５１ａおよび５１ｂ、ホワイトバランス調整部５２ａおよび５２ｂと、ホワイトバランス調整部５２ａおよび５２ｂからの出力画像信号を合成する合成部５３と、リニアマトリクス演算部５１ａおよび５１ｂの前段（Ａ点）および後段（Ｂ点およびＣ点）、合成部５３の後段（Ｄ点）のそれぞれの画像信号から輝度情報を検出する輝度検出部５５とを備え、輝度検出部５５により各点から検出された輝度情報に基づいて露出調整機構を制御する。
【選択図】図２

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、その撮像時に露出調整機構を制御する露出制御装置、方法およびプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、一般に、露出制御を始めとする各種の撮影動作制御のために輝度情報の検出が行われていた。例えば、撮像画像信号から複数エリアごとに輝度レベルを検出して、優先エリアの輝度レベルに基づく露出調整を行うとともに、エリアごとのコントラストに基づく補正用ガンマ値を変化させて、非優先エリアでの露出過多および不足を低減するようにした撮像装置があった（例えば、特許文献１参照）。

また、このような従来の撮像装置では、撮像画像信号に対して、ホワイトバランス調整などのデジタル演算による各種画質補正処理が施されていた。特に最近では、色再現性の向上を目的としたリニアマトリクス演算処理が注目されている。

ところで、従来の撮像装置では、例えば、リニアマトリクス演算部の後段やホワイトバランス調整部の後段など、信号処理経路上の特定の１カ所において輝度情報を検出し、その情報を撮影動作制御などに用いていた。しかし、１カ所で検出した輝度情報に基づく露出制御では、以下で説明するように、適正な露出制御が困難な場合があることが問題となっていた。

図５は、撮像素子からの出力信号における光量と色レベルおよび輝度レベルとの関係を示す図である。
一般的に、露出制御は、撮像画像信号から検出した輝度情報と、各種露出設定などに基づく露出制御値とを基に輝度情報の制御目標値を決定し、この制御目標値と輝度情報とが一致するように、絞りやＡＧＣ（Auto Gain Control）などの露光調整機能に対してフィードバック制御を行うことで実現される。制御目標値に対して輝度情報が大きい値を示す場合は、絞りを閉めるなどの制御を行い、受光部への光量を減らして露出オーバーの状態を防ぐ。また、制御目標値に対して輝度情報が小さい場合には、絞りを開ける制御やゲインを上げる制御を行い、受光部への光量を増やして露出アンダーの状態を防ぐ。

このような露出制御は、受光部への光量が増加すると、輝度情報が示す値も増加するという関係が成り立つことを前提として行われている。しかし、一般的に、被写体からの入射光をＲＧＢ信号に変換する受光装置では、入射した光量と受光部の出力信号の関係が例えば図５のようになり、一定以上の光が入射されると出力信号は飽和してしまう。また、色フィルタの透過率や受光素子の感度特性により、ＲＧＢの各色で出力が飽和する光量は異なる。

一般的に、露光制御のための輝度情報としては、ＲＧＢの各信号値に対して加重平均をとった値が用いられており、図５に示すように、受光部の各色の出力信号レベル（色レベル）が飽和していくと輝度信号のレベル（輝度レベル）も飽和する。受光部の出力信号が飽和してしまうような光量が入射されている場合、露光調整機能を制御しても受光部の出力は変化しないため、結果的に輝度情報も変化せず、適正な露出調整が行われない。

このような問題を回避するため、輝度レベルが一定値を越えた場合、あるいは変化しなくなった場合には、光量が制御範囲外であるとみなして上記のフィードバック制御を停止し、光量が制御範囲内に戻るのを待つように制御していた。また、輝度レベルが非常に小さい場合には、光量が制御範囲外まで低下したとみなして上記のフィードバック処理を停止し、光量が制御範囲内に戻るのを待つように制御していた。

しかし、実際に画面に表示される画像は、受光部の出力画像信号に対してリニアマトリクス演算やホワイトバランス調整などの信号処理を行った後の信号に基づくものである。このような信号処理により色情報を調整した場合、色情報から生成される輝度信号も受光部からの輝度信号とは異なる値になる。特に、リニアマトリクス演算やホワイトバランス調整により大きく信号を変化させた場合には、受光部の出力画像では適正露出になっていても、表示される（あるいは記録される）画像では露出が合っていないことがある。このように、信号処理部の前段のみで輝度情報を検出するシステムでは、適正な露出制御が行われない場合があることが問題であった。

また、図６は、負のパラメータを設定してリニアマトリクス演算を施した後の画像信号における光量と色レベルおよび輝度レベルとの関係を示す図である。
リニアマトリクス演算では、色再現性を高めるために演算パラメータ（マトリクス係数）に負の数を設定することがある。負のパラメータの影響が大きい場合、リニアマトリクス演算後のＲＧＢの各信号レベルおよび輝度レベルは図６に示すようになり、ある光量の範囲では光量の増加に伴って輝度レベルが低下する現象が現れる。従って、このような場合にリニアマトリクス演算後の画像信号から輝度情報を検出して上記と同様の露出制御を行ったときには、光量の増加に伴って輝度レベルが低下する領域では、本来ならば受光部への光量を制限すべき状況であるにもかかわらず、受光部の光量を増加させる制御を行ってしまい、適正な露出制御が行われない。また、光量が制御範囲外にあるかどうかの判断にも失敗する。

さらに、ホワイトバランス調整後の画像信号から輝度情報を検出して露出制御を行ったときは、受光部への光量が変化しない状況下で適正露出の状態となっている場合でも、ホワイトバランスゲインが変更されてしまうと輝度情報が変化し、適正露出状態からはずれるように制御してしまうことがあった。すなわち、リニアマトリクス演算やホワイトバランス調整などを施した後の画像信号から輝度情報を検出した場合でも、適正な露出制御を行うことができない場合があった。
特許第２６４５８５９号公報（第７頁−第８頁、図６）

上述したように、従来の撮像装置では、リニアマトリクス演算やホワイトバランス調整などの信号処理部の前段または後段の１カ所のみから輝度情報を検出し、その輝度情報を用いて露出制御を行う場合には、信号処理が及ぼす輝度情報の変化を考慮できないことから、適正な露出制御が行われないことがあることが問題であった。

本発明はこのような点に鑑みてなされたものであり、撮像画像信号に対する色補正の状態に関係なく、常に適正な露出制御を行うことが可能な撮像装置、露出制御装置、方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像により得られた画像信号を色成分ごとに補正する１つ以上の信号補正手段と、少なくとも１つの前記信号補正手段の前段および後段における画像信号から輝度情報を検出する輝度検出手段と、前記輝度検出手段により検出された輝度情報に基づいて露出調整機構を制御する露出制御手段とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、少なくとも１つの信号補正手段の前段および後段における画像信号から、輝度検出手段により輝度情報が検出され、それらの輝度情報に基づいて露出制御手段により露出調整機構が制御されるので、信号補正手段での補正の状態に関係なく、常に適正な露出制御が行われるようになる。

本発明の撮像装置によれば、少なくとも１つの信号補正手段の前段および後段における画像信号から、輝度検出手段により輝度情報が検出され、それらの輝度情報に基づいて露出制御手段により露出調整機構が制御されるので、信号補正手段での補正の状態に関係なく、常に適正な露出制御を行うことが可能となり、高品質な画像を得ることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１、撮像素子２、Ａ／Ｄ（アナログ／デジタル）変換回路３、ＡＧＣ回路４、カメラ信号処理回路５、マイクロコントローラ６、入力部７を具備する。また、この撮像装置には、光学ブロック１内の絞り１１などの機構を駆動するためのドライバ１２、撮像素子２を駆動するためのタイミングジェネレータ（ＴＧ）１３などが設けられている。

光学ブロック１は、被写体からの光を撮像素子２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞り１１などを具備している。ドライバ１２は、マイクロコントローラ６からの制御信号に応じて、光学ブロック１内の機構の駆動を制御する。

撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１３は、マイクロコントローラ６の制御の下でタイミング信号を出力する。

Ａ／Ｄ変換回路３は、撮像素子２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。ＡＧＣ回路４は、マイクロコントローラ６の制御の下で、Ａ／Ｄ変換回路３からのデジタル画像信号に対してゲインアップ処理を施す。なお、ＡＧＣ処理については、Ａ／Ｄ変換回路３によるＡ／Ｄ変換前のアナログ画像信号に対して施すようにしてもよい。

カメラ信号処理回路５は、ＡＧＣ回路４からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では、カメラ信号処理回路５には、入力画像信号の各色成分に対してマトリクス演算を施すリニアマトリクス（ＬＭ）演算部５１と、各色成分に対するゲインを調整するホワイトバランス（ＷＢ）調整部５２とが設けられている。

マイクロコントローラ６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部７は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をマイクロコントローラ６に出力する。

この撮像装置では、撮像素子２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換回路３に供給されてデジタル信号に変換され、さらにＡＧＣ回路４によりゲイン調整される。カメラ信号処理回路５は、ＡＧＣ回路４から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号と色差信号とに変換して出力する。

カメラ信号処理回路５から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これにより図示しないモニタにカメラスルー画像が表示される。また、入力部７からのユーザの入力操作などによりマイクロコントローラ６に対して画像の記録が指示されると、カメラ信号処理回路５からの画像データは図示しないＣＯＤＥＣ（enCOder,DECoder）に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路５からは１フレーム分の画像データがＣＯＤＥＣに供給され、動画像の記録の際には、処理された画像データがＣＯＤＥＣに連続的に供給される。

図２は、カメラ信号処理回路５の要部構成を示すブロック図である。
カメラ信号処理回路５は、図２に示すように、リニアマトリクス演算部５１ａおよび５１ｂ、ホワイトバランス調整部５２ａおよび５２ｂ、合成部５３、その他の処理部５４、輝度検出部５５を具備する。

このカメラ信号処理回路５には、リニアマトリクス演算部５１ａおよびホワイトバランス調整部５２ａからなる第１の信号処理系と、リニアマトリクス演算部５１ｂおよびホワイトバランス調整部５２ｂからなる第２の信号処理系とが設けられている。そして、各信号処理系により画質補正処理が施された画像信号は、合成部５３において所定の比率で合成された後、その他の処理部５４に入力される。

カメラ信号処理回路５では、ＡＧＣ回路４からの画像信号に対して、黒レベルを合わせるデジタルクランプ処理、撮像素子２における欠陥画素の信号補正処理、レンズの周辺光量落ちを補正するシェーディング処理などが施され、さらにデモザイク処理が施される。このような処理後の画像信号（Ｒ，Ｇ，Ｂ）に対して、リニアマトリクス演算部５１ａおよび５２ａは、それぞれ次の式（１）、式（２）の演算を実行する。なお、係数ａ〜ｉ，ｊ〜ｒは、それぞれマイクロコントローラ６により設定される。

ホワイトバランス調整部５２ａは、リニアマトリクス演算部５１ａから算出された画像信号（Ｒ_LM1，Ｇ_LM1，Ｂ_LM1）に対して、次の式（３）の演算を実行する。また、ホワイトバランス調整部５２ｂは、リニアマトリクス演算部５１ｂから算出された画像信号（Ｒ_LM2，Ｇ_LM2，Ｂ_LM2）に対して、次の式（４）の演算を実行する。なお、ゲイン制御値Ｒｇａｉｎ１，Ｇｇａｉｎ１，Ｂｇａｉｎ１，Ｒｇａｉｎ２，Ｇｇａｉｎ２，Ｂｇａｉｎ２は、それぞれマイクロコントローラ６により設定される。マイクロコントローラ６は、例えば、各ホワイトバランス調整部５２ａおよび５２ｂに入力される画像信号に基づき、白い被写体に対してＲＧＢの各成分が等しくなるようなゲイン制御値を算出し、ホワイトバランス調整部５２ａおよび５２ｂに対して設定する。

ここで、リニアマトリクス演算部５１ａおよびホワイトバランス調整部５２ａからなる第１の信号処理系では、色再現性を高めるように演算パラメータ（マトリクス演算の係数）が設定される。例えば、ＲＧＢの分光特性を人間の視感度特性に近づけるように係数が設定される。このとき、係数の非対角成分（ｂ，ｃ，ｄ，ｆ，ｇ，ｈ）が負の数になることもある。一方、リニアマトリクス演算部５１ｂおよびホワイトバランス調整部５２ｂからなる第２の信号処理系では、ノイズが目立たなくなるように演算パラメータ（マトリクス演算の係数）が設定される。例えば、画像信号（Ｒ，Ｇ，Ｂ）に乗算する行列が単位行列になるように係数が設定される。

そして、合成部５３は、第１の信号処理系から出力された画像信号（Ｒ_WB1，Ｇ_WB1，Ｂ_WB1）と、第２の信号処理系から出力された画像信号画像信号（Ｒ_WB2，Ｇ_WB2，Ｂ_WB2）とを、次の式（５）に従って混合する。なお、混合比率ｋは、マイクロコントローラ６から設定される。また、本実施の形態では例として、０≦ｋ≦１とする。

合成部５３から出力された画像信号（Ｒ_MIX，Ｇ_MIX，Ｂ_MIX）は、その他の処理部５４に入力される。その他の処理部５４は、例えば、γ補正処理、色空間変換処理（輝度信号、色差信号の生成処理）などを実行する。

輝度検出部５５は、リニアマトリクス演算部５１ａおよび５１ｂの入力段のＡ点、リニアマトリクス演算部５１ａおよび５１ｂのそれぞれの出力段のＢ点およびＣ点、合成部５３の出力段のＤ点の、それぞれにおける画像信号から輝度情報を検出し、それらの検出結果をマイクロコントローラ６に通知する。輝度情報は、例えば、画像中の所定領域における輝度信号の積分値として算出される。

ここで、上記のＡ点〜Ｄ点で検出される輝度情報は、以下のような意味合いを持つ。Ａ点では、受光部（撮像素子２）での撮像画像信号をＡＧＣ回路４によりゲインアップした信号に基づく輝度情報が検出される。すなわち、受光部での輝度情報に近い値が得られることになる。Ｂ点では、リニアマトリクス演算部５１ａによる色再現性補正後の信号に基づく輝度情報が得られ、Ｃ点では、リニアマトリクス演算部５１ｂによるノイズ低減補正後の信号に基づく輝度情報が得られる。Ｄ点では、各信号処理系による出力画像信号を合成部５３で合成した後の信号に基づく輝度情報が得られる。

このように、リニアマトリクス演算、ホワイトバランス調整などの処理ブロックの前段や後段などの複数の地点において輝度情報を検出し、これらの輝度情報を基にしてマイクロコントローラ６が露光制御を行うようにすることで、各処理ブロックによる色信号の調整状態に関係なく、常に適正な露出制御を実行できるようになる。

次に、各点での輝度情報を用いた露出制御の具体例について説明する。図３および図４は、マイクロコントローラ６による露出制御処理の流れを示すフローチャートである。
まず、マイクロコントローラ６は、Ａ点から検出された輝度情報Ｙａを取り込み（ステップＳ１１）、この輝度情報Ｙａを基に合成部５３での信号の混合比率ｋを決定する。通常の露出制御においては、混合比率ｋを“１”とし、第１の信号処理系によって色再現性を高められた画像信号のみを使用する。第２の信号処理系によりノイズが低減された画像信号を使用する条件は、現在の状態が、絞りが開放されてこれ以上光学的に光量を増やせない状態であり、かつ、ＡＧＣ回路４でのゲインがあらかじめ決められたしきい値を超えている場合とする。

本実施の形態では、この条件を満たすときの輝度情報Ｙａのしきい値をＹｍｉｎとしてあらかじめ設定しておき、輝度情報Ｙａとしきい値Ｙｍｉｎとを比較して（ステップＳ１２）、その結果に応じて混合比率ｋを決定する。輝度情報Ｙａがしきい値Ｙｍｉｎより小さいとき、以下の式（６）に従い、混合比率ｋを“１”に設定する（ステップＳ１３）。また、輝度情報Ｙａがしきい値Ｙｍｉｎ以上のとき、以下の式（７）の演算により混合比率ｋを設定する（ステップＳ１４）。
Ｙａ＜Ｙｍｉｎの場合：ｋ＝１−（Ｙｍｉｎ−Ｙａ）／Ｙｍｉｎ ……（６）
Ｙａ≧Ｙｍｉｎの場合：ｋ＝１ ……（７）
このような条件で混合比率ｋを設定することにより、低照度の被写体が撮像され、ノイズ成分が多く発生している状態の場合に、第２の信号処理系によってノイズ成分を低減するように画質補正された画像信号が、第１の信号処理系による画像信号に対してより多く合成されるようになり、ノイズが低減された高画質な画像を得ることが可能となる。

次に、マイクロコントローラ６は、輝度情報Ｙａを基に、受光部（撮像素子２）において飽和状態または光量不足が発生しているか否かを判定する（ステップＳ１５）。まず、輝度情報Ｙａと所定のしきい値（上限値）とを比較し、入射光量のレベルが高すぎて入力信号がダイナミックレンジに対して飽和しているか否かを判定する（ステップＳ１６）。

飽和している場合、マイクロコントローラ６は、そのときの露出調整機構に対する露出制御値に基づき、現在の状態が露出制御の可能な範囲か否か、すなわち、光量を減らすように露出制御値を変えれば飽和状態を回避できる状態であるか否かを判定する（ステップＳ１７）。なお、露出制御値は、絞り１１の開度やＡＧＣ回路４のゲインを制御する量を数値化したものであり、光量を減らすためには増量され、光量を増やすためには減量される。

ステップＳ１７で露出制御可能範囲内と判定した場合、マイクロコントローラ６は、露出制御増分値としてあらかじめ決められた正の値を設定する（ステップＳ１８）。なお、露出制御増分値は、現在の露出制御値に対する変化量を示す値であり、目標輝度値を下げたい、すなわち光量を減少させたいときには増量され、目標輝度値を上げたい、すなわち光量を増加させたいときには減量される。この後、ステップＳ３０に進み、前回の露出制御値に対して露出制御増分値を加算することで、最終的な露出制御値を決定する。そして、ステップＳ３１に進み、決定された露出制御値に基づいて、絞り１１の開度やＡＧＣ回路４でのゲインを設定する。これにより、露出調整機構に対するフィードバック制御が実行され、ステップＳ１１に戻る。

また、輝度情報Ｙａから光量不足と判定した場合には（ステップＳ１９）、マイクロコントローラ６は、そのときの露出制御値に基づき、現在の状態が露出制御の可能な範囲か否かを判定する（ステップＳ２０）。露出制御可能範囲内であれば、露出制御増分値としてあらかじめ決められた負の値を設定し（ステップＳ２１）、ステップＳ３０に進んで、露出制御増分値を適用した最終的な露出制御値を決定した後、ステップＳ３１に進み、決定された露出制御値に基づいて、絞り１１の開度やＡＧＣ回路４でのゲインを設定する。これにより、露出調整機構に対するフィードバック制御が実行され、ステップＳ１１に戻る。

また、ステップＳ１７およびＳ２０の判定で露出制御可能範囲外と判定した場合には、ステップＳ３０に進む。ステップＳ１７から移行した場合、露出制御値は最大の値（すなわち、光量を最小にする値）に設定され、露出制御増分値は設定されていないので、露出制御値が最大に設定された状態でステップＳ３１に移行し、その露出制御値に基づいて、絞り１１の開度およびＡＧＣ回路４のゲインが設定され、ステップＳ１１に戻る。また、ステップＳ２０から移行した場合、露出制御値は最小の値（すなわち、光量を最大にする値）に設定されており、ステップＳ３０で前回と同じ最小値が露出制御値として設定された後、ステップＳ３１において絞り１１の開度およびＡＧＣ回路４のゲインが設定され、ステップＳ１１に戻る。

従って、ステップＳ１７およびＳ２０の判定で露出制御可能範囲外と判定した場合には、そのときの露出制御値を固定した状態で露出調整機構に対するフィードバック制御が一旦停止され、その後のステップＳ１６の判定で飽和状態が解消されたとき、あるいはステップＳ１９の判定で光量不足が解消されたときに、ステップＳ２２以降の処理に進んで上記のフィードバック制御が再開されることになる。

ステップＳ１６およびＳ１９の判定により、入力信号の飽和や入射光量不足が生じていない場合には、他の地点での検出信号に基づく露出制御を実行する。混合比率ｋが１であるとき（ステップＳ２２）、すなわち第１の信号処理系の信号のみ使用しているとき、マイクロコントローラ６は、Ｂ点で検出された輝度情報Ｙｂを取り込み、この輝度情報Ｙｂと、現在の露出制御値とから、露出制御増分値を算出する（ステップＳ２３）。例えば、輝度情報Ｙｂが目標輝度値に達していない場合には、入射光量が上がるように露出制御増分値を下げ、逆に目標輝度値を超えている場合には、入射光量が下がるように露出制御増分値を上げる。

また、混合比率ｋが１でないとき（ステップＳ２２）、すなわち第２の信号処理系の信号も使用しているとき、マイクロコントローラ６は、Ｂ点で検出された輝度情報Ｙｂと、Ｃ点で検出された輝度情報Ｙｃとを取り込み、これらの輝度情報ＹｂおよびＹｃを現在の混合比率ｋで混合した混合輝度情報を算出する。そして、算出した混合輝度情報と現在の露出制御値とから、露出制御増分値を算出する（ステップＳ２４）。

次に、マイクロコントローラ６は、Ｄ点で検出された輝度情報Ｙｄを取り込み（ステップＳ２５）、あらかじめ決められた上限値Ｙｄｍａｘおよび下限値Ｙｄｍｉｎと比較する。輝度情報Ｙｄが上限値Ｙｄｍａｘを超えている場合（ステップＳ２６）、露出制御増分値を一定量だけ増加させる（ステップＳ２７）。また、輝度情報Ｙｄが下限値Ｙｄｍｉｎより低い場合（ステップＳ２８）、露出制御増分値を一定量だけ減少させる（ステップＳ２９）。

その後、前回の露出制御値に、上記処理で設定された露出制御増分値を加算して、最終的な露出制御値を決定する（ステップＳ３０）。そして、決定された露出制御値に基づいて、絞り１１の開度およびＡＧＣ回路４のゲインの制御値を算出し、各機能に対して設定する（ステップＳ３１）。この後、ステップＳ１１に戻って、再び輝度情報Ｙａに基づく制御を実行する。

以上の処理によれば、まず、ステップＳ１５〜Ｓ２１の処理により、受光部の出力信号に最も近いＡ点での輝度情報Ｙａに基づいて、画像信号の飽和や極端な光量不足の状態を判定することで、これらの状態を正確に判定できる。

次に、ステップＳ２３およびＳ２４の処理により、リニアマトリクス演算を施した後の画像信号から検出した輝度情報に基づいて、露出制御値の補正が行われる。これにより、演算前の画像信号では適正露出となっても、演算後の画像信号では適正露出とならない場合に、そのときの露出状態を補正することができる。特に、リニアマトリクスの演算パラメータとして負の係数が設定されるなどして、光量の増加に対して、ＲＧＢの各成分の信号のすべてが単純増加にならない場合でも、露出状態を適正化することが可能となる。

さらに、ステップＳ２５〜Ｓ２９の処理により、各信号処理系の出力信号を合成した後の信号から検出した輝度情報Ｙｄに基づいて、露出制御値の補正が行われる。これにより、ホワイトバランス調整による輝度情報の変化によって、その調整後の画像が適正な露出状態とならなくなった場合にも、その露出状態を補正することができる。また、各信号処理系の出力信号の混合比率ｋの変化に関係なく、常に適正な露出制御を行うことができる。

従って、上記処理により、リニアマトリクス演算やホワイトバランス調整による画質補正効果を損なうことなく、これらの機能による色信号の調整状態に関係なく常に適正な露出補正を行って、高画質な画像を得ることが可能となる。

なお、上記の露出制御の例では、説明を簡単にするために、シャッタスピードの制御については省略した。また例えば、シャッタスピードを固定にする設定とした場合には、上記と同様の制御手順が適用できる。シャッタスピードが可変である場合には、例えば、検出した輝度情報が目標輝度値を超えているときにシャッタスピードを早くし、目標輝度値に達していないときには、シャッタスピードを遅くし、シャッタスピードの低速化と絞り１１の開放によっても低照度状態が解消されない場合に、ＡＧＣ回路４のゲインを高めるようにすればよい。

また、カメラ信号処理回路５内の各信号処理系には、上記実施の形態のようなリニアマトリクス演算やホワイトバランス調整に限らず、色信号成分を個別に調整可能な他の画質補正機能が設けられてもよい。そして、このような機能の前段および後段でそれぞれ検出した輝度情報を用いることで、常に適正な露出制御を行うことができる。

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。また、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。

さらに、上記の露出制御の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（マイクロコントローラ６による露出制御機能など）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 カメラ信号処理回路の要部構成を示すブロック図である。 マイクロコントローラによる露出制御処理の流れを示す第１のフローチャートである。 マイクロコントローラによる露出制御処理の流れを示す第２のフローチャートである。 撮像素子からの出力信号における光量と色レベルおよび輝度レベルとの関係を示す図である。 負のパラメータを設定してリニアマトリクス演算を施した後の画像信号における光量と色レベルおよび輝度レベルとの関係を示す図である。

符号の説明

１……光学ブロック、２……撮像素子、３……Ａ／Ｄ変換回路、４……ＡＧＣ回路、５……カメラ信号処理回路、６……マイクロコントローラ、７……入力部、１１……絞り、１２……ドライバ、１３……タイミングジェネレータ（ＴＧ）、５１，５１ａ，５１ｂ……リニアマトリクス演算部、５２，５２ａ，５２ｂ……ホワイトバランス調整部、５３……合成部、５４……その他の処理部、５５……輝度検出部

Claims (14)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   撮像により得られた画像信号を色成分ごとに補正する１つ以上の信号補正手段と、
   少なくとも１つの前記信号補正手段の前段および後段における画像信号から輝度情報を検出する輝度検出手段と、
   前記輝度検出手段により検出された輝度情報に基づいて露出調整機構を制御する露出制御手段と、
   を有することを特徴とする撮像装置。
2. 前記露出制御手段は、前記信号補正手段の前段で検出された輝度情報に基づいて前記露出調整機構の制御量を決定した後、当該信号補正手段の後段で検出された輝度情報に基づいて前記制御量を補正することを特徴とする請求項１記載の撮像装置。
3. 前記露出制御手段は、前記信号補正手段の前段で検出された輝度情報に基づいて、画像信号のレベルが飽和しているか否かを判定し、飽和している場合には、光量を最も小さくするように前記露出調整機構を制御して、飽和状態が解消するまで待機し、飽和状態が解消されると、当該信号補正手段の後段で検出された輝度情報に基づいて前記露出調整機構の制御量を決定することを特徴とする請求項１記載の撮像装置。
4. 前記露出制御手段は、前記信号補正手段の前段で検出された輝度情報に基づいて、前記固体撮像素子に対する入射光量を判定し、光量不足と判定した場合には、光量を最も大きくするように前記露出調整機構を制御して、光量不足状態が解消するまで待機し、光量不足状態が解消されると、当該信号補正手段の後段で検出された輝度情報に基づいて前記露出調整機構の制御量を決定することを特徴とする請求項１記載の撮像装置。
5. 前記信号補正手段として、入力画像信号の色成分をマトリクス変換するリニアマトリクス演算手段を備えたことを特徴とする請求項１記載の撮像装置。
6. 前記信号補正手段として、前記リニアマトリクス演算手段の出力信号のホワイトバランスを調整するホワイトバランス調整手段をさらに備え、
   前記輝度検出手段は、前記リニアマトリクス演算手段の入力信号、前記ホワイトバランス調整手段の入力信号および出力信号から、それぞれ輝度情報を検出する、
   ことを特徴とする請求項５記載の撮像装置。
7. 前記露出制御手段は、前記リニアマトリクス演算手段の入力信号から検出された輝度情報に基づいて、画像信号のレベルが飽和しているか否かを判定し、飽和している場合には、光量を最も小さくするように前記露出調整機構を制御して、飽和状態が解消するまで待機し、飽和状態が解消されると、前記ホワイトバランス調整手段の入力信号から検出された輝度情報に基づいて前記露出調整機構の制御量を決定した後、さらに当該ホワイトバランス調整手段の出力信号から検出された輝度情報に基づいて前記制御量を補正することを特徴とする請求項６記載の撮像装置。
8. 前記露出制御手段は、前記リニアマトリクス演算手段の入力信号から検出された輝度情報に基づいて、前記固体撮像素子に対する入射光量を判定し、光量不足と判定した場合には、光量を最も大きくするように前記露出調整機構を制御して、光量不足状態が解消するまで待機し、光量不足状態が解消されると、前記ホワイトバランス調整手段の入力信号から検出された輝度情報に基づいて前記露出調整機構の制御量を決定した後、さらに当該ホワイトバランス調整手段の出力信号から検出された輝度情報に基づいて前記制御量を補正することを特徴とする請求項６記載の撮像装置。
9. 前記信号補正手段として、入力画像信号のホワイトバランスを調整するホワイトバランス調整手段を備えたことを特徴とする請求項１記載の撮像装置。
10. 前記信号補正手段として、入力画像信号の色成分をそれぞれ異なる係数を用いてマトリクス変換する複数のリニアマトリクス演算手段を備え、
    さらに、前記各リニアマトリクス演算手段の出力信号を所定の割合で合成する信号合成手段を備え、
    前記輝度検出手段は、前記各リニアマトリクス演算手段の入力信号と、前記信号合成手段の出力信号とからそれぞれ輝度情報を検出する、
    ことを特徴とする請求項１記載の撮像装置。
11. 前記各リニアマトリクス演算手段の出力信号のホワイトバランスを調整して前記信号合成手段に出力する複数のホワイトバランス調整手段をさらに備え、
    前記輝度検出手段は、前記各リニアマトリクス演算手段の入力信号と、前記各ホワイトバランス調整手段の入力信号と、前記信号合成手段の出力信号とからそれぞれ輝度情報を検出する、
    ことを特徴とする請求項１０記載の撮像装置。
12. 固体撮像素子による撮像画像信号を基に露出調整機構を制御する露出制御装置において、
    撮像により得られた画像信号を色成分ごとに補正する少なくとも１つの信号補正部の前段および後段における画像信号から検出された輝度情報を取り込む輝度取り込み手段と、
    前記輝度取り込み手段により検出された輝度情報に基づいて前記露出調整機構の制御量を算出する制御量算出手段と、
    を有することを特徴とする露出制御装置。
13. 固体撮像素子による撮像画像信号を基に露出調整機構を制御するための露出制御方法において、
    輝度取り込み手段が、撮像により得られた画像信号を色成分ごとに補正する少なくとも１つの信号補正部の前段および後段における画像信号から検出された輝度情報を取り込むステップと、
    制御量算出手段が、前記輝度取り込み手段により検出された輝度情報に基づいて前記露出調整機構の制御量を算出するステップと、
    を含むことを特徴とする露出制御方法。
14. 固体撮像素子による撮像画像信号を基に露出調整機構を制御する処理をコンピュータに実行させる露出制御プログラムにおいて、
    撮像により得られた画像信号を色成分ごとに補正する少なくとも１つの信号補正部の前段および後段における画像信号から検出された輝度情報を取り込む輝度取り込み手段、
    前記輝度取り込み手段により検出された輝度情報に基づいて前記露出調整機構の制御量を算出する制御量算出手段、
    として前記コンピュータを機能させることを特徴とする露出制御プログラム。
    

Images