JP2015050733A - 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】 明暗のある撮影シーンなどにおいても画質が低下することがないようにする。
【解決手段】 撮像素子２で得られた画像において被写体を示す露出領域の各々について露出の設定を行う際、操作部１４から露出領域の各々に関して所定の露出が得られていない不適切な露出領域が不適切露出領域として指定されると、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は不適切露出領域と不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出し、ＣＰＵは当該特徴量に応じて画像に対する露光量を算出する。そして、ＣＰＵ１９の制御下で、画素感度算出回路１７は画像に対する露光量に基づいて不適切露出領域および適正露出領域に対する感度（つまり、ゲイン）をアンプ４に設定する。
【選択図】図１

Description

本発明は、露出制御装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、明暗のある撮影シーンにおいて画角全体の露出を最適に制御することのできる露出制御装置に関する。

一般に、固体撮像素子を用いたデジタルカメラなどの撮像装置では、ダイナミックレンジが狭いので正確に露出制御を行う必要があるものの、どのように露出制御を正確に行なったとしてもダイナミックレンジが狭いという事実を払拭することは困難である。つまり、画像の一部において適正露出が得られたとしても、画像の他の部分においては露出オーバーによる所謂白とび又は露出アンダーによる所謂黒つぶれが生じることを回避できないことがある。

このような白とび又は黒つぶれを回避するため、固体撮像素子の出力である画像を複数のエリアに分割してエリア毎に感度設定を行い、当該感度設定に応じてエリア毎にゲイン調整（つまり、感度調整）を行うようにした撮像装置がある（特許文献１参照）。

特許文献１に記載の手法を用いると、画像のエリア毎に適正な感度を設定して撮像を行うことができるので、撮像の結果得られた画像に部分的な露出オーバー又は露出アンダーが生じることを回避して、画像全体を適正露出範囲に納めることができる。

特開２００１−１７７７５９号公報

ところが、特許文献１に記載の手法においては、エリア毎に感度設定を行って画像全体を適正な露出範囲に収めているので、明暗のあるシーンなどでは感度が高いエリアと感度が低いエリアとのノイズ差が顕著となってしまい、画質が低下してしまう。

さらに、特許文献１に記載の手法においては、例えば、エリア毎に感度設定をした後、画角内に新たに被写体が進入すると、当該被写体について、再度感度設定をやり直さなければならない煩わしさがある。

加えて、エリア毎に感度設定をした後、画角内に新たに進入した被写体が、互いに異なる感度設定が異なるエリアに跨ると、当該被写体に係る感度設定が部分的に異なることになってしまう。この結果、適正な画像を撮影することが困難となってしまう。

また、所謂セルフタイマ撮影を行う際、エリア毎に感度設定を行ってタイマ撮影を開始し、構図内に撮影者が被写体として進入すると、当該被写体、つまり、撮影者に関して感度設定を変更することが困難となってしまう。

従って、本発明の目的は、明暗のある撮影シーンなどにおいても画質の低下することのない露出制御装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

また、本発明の他の目的は、画角内に新たに被写体が進入しても適正な露出を維持することのできる露出制御装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による露出制御装置は、撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置であって、前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定手段と、前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出手段と、前記特徴量に応じて前記画像に対する露光量を算出する露光量算出手段と、前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定手段と、を有することを特徴とする。

本発明による撮像装置は、光学像に応じた画像を得る撮像素子と、上記の露出制御装置と、前記撮像素子で得られた画像を表示する表示手段と、を有することを特徴とする。

本発明による制御方法は、撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置の制御方法であって、前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定ステッップと、前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出ステップと、前記特徴量に応じて前記画像に対する露光量を算出する露光量算出ステップと、前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置で用いられる制御プログラムであって、前記露出制御装置が備えるコンピュータに、前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定ステッップと、前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出ステップと、前記特徴量に応じて前記画像に対する露光量を算出する露光量算出ステップと、前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定ステップと、を実行させることを特徴とする。

本発明によれば、明暗のある撮影シーンなどにおいても画質が低下することがなく、さらには、画角内に新たに被写体が進入しても適正な露出を維持することができる。

本発明の第１の実施形態による露出制御装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおける撮影動作の一例を説明するためのフローチャートである。 図１に示すＬＣＤに表示されるスルー画像を説明するための図であり、（ａ）はユーザ操作による露出領域が適切でない場合のスルー画像の一例を示す図、（ｂ）はユーザ操作によって適切でない露出領域が指定された後のスルー画像の一例を示す図、（ｃ）は適切でない露出領域の指定に応じて補正した後のスルー画像の一例を示す図である。 本発明の第２の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。 本発明の第２の実施形態によるカメラにおいてＬＣＤ１５に表示されるスルー画像を説明するための図である。 本発明の第３の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。 本発明の第３の実施形態によるカメラにおいてＬＣＤ１５に表示されるスルー画像を説明するための図であり、（ａ）は明暗のある撮影シーンにおけるスルー画像の一例を示す図、（ｂ）は画像全体の露出を適切にした状態のスルー画像を示す図、（ｃ）は（ｂ）に示す状態において画角内に新たに被写体が進入した際のスルー画像を示す図、（ｄ）は１つの露出領域における感度設定値に他の露出領域における感度設定値を選択した場合のスルー画像を示す図である。 本発明の第４の実施形態に係るカメラの一例についてその構成を示すブロック図である。 本発明の第４の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。 図９に示すカメラにおいてＬＣＤに表示されるスルー画像を説明するための図であり、（ａ）は明暗のある撮影シーンにおけるスルー画像の一例を示す図、（ｂ）は画像全体の露出を適切にした状態のスルー画像を示す図、（ｃ）は（ｂ）に示す状態において画角内に新たに被写体が進入した際のスルー画像を示す図、（ｄ）は１つの露出領域における感度設定値に他の露出領域における感度設定値を選択した場合のスルー画像を示す図である。

以下、本発明の実施の形態による露出制御装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による露出制御装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラは光学ユニット１を備えている。光学ユニット１には、ズームレンズ、フォーカスレンズ、および絞りが備えられるとともに、これらズームレンズ、フォーカスレンズ、および絞りを駆動するドライバ回路を有するモータおよびアクチュエータが備えられている。光学ユニット１を介して撮像素子２の受光面には被写体像（光学像ともいう）が結像される。そして、撮像素子２は、撮像ドライバ３によって駆動されて光電変換によって得られたアナログ画像信号を出力する。

このアナログ画像信号は可変増幅アンプ４に与えられて、当該アンプ４はアナログ画像信号について相関二重サンプリング処理によってノイズ除去を行った後増幅する。アンプ４の出力である増幅画像信号はＡ／Ｄコンバータ５に与えられて、Ａ／Ｄコンバータ５は増幅画像信号をデジタル変換して画像データを出力する。

画像データ処理回路６は、上記の画像データに対して、例えば、マトリックス演算処理、ホワイトバランス調整、およびガンマ処理などの画像処理を施す。そして、画像処理が施された画像データはフレームメモリ７に一時的に格納される。

圧縮伸長回路８はフレームメモリ７から画像データを読み出して、当該画像データを圧縮処理して画像ファイルを生成する。リード／ライト（Ｒ／Ｗ）回路１０は当該画像ファイルをメモリカード９に書き込む。また、Ｒ／Ｗ回路１０はメモリカード９から画像ファイルを読み出して、圧縮伸長回路８に送る。圧縮伸長回路８は画像ファイルを伸長処理して画像データとし、当該画像データをフレームメモリ７に格納する。

オートフォーカス（ＡＦ）回路１１は、ＣＰＵ１９からフレームメモリ７に記憶された画像データを受けて当該画像データ基づいて焦点距離を検出する。オートエクスポージャー（ＡＥ）回路１２は、ＣＰＵ１９からフレームメモリ７に記憶された画像データを受け手、当該画像データに応じて基づいて被写体輝度を測定する。そして、ＡＥ回路１２は、得られた測光値に応じて絞り値、露出時間、およびストロボ（図示せず）を発光させるか否かの露出条件を求める。

オートホワイトバランス（ＡＷＢ）回路１３は撮影の際にホワイトバランスを自動調整する。ＣＰＵ１９に接続された操作部１４には、電源ボタン、レリーズボタン、およびモード切替ダイヤルなどが備えられており、ＬＣＤ１５には再生モードの際に再生画像が表示されるとともに、撮影モードの際には被写体確認用のスルー画像が表示されて電子ビューファインダとして機能する。そして、ＬＣＤ１５にはタッチパネルが備えられている。

画像特徴抽出回路１６は、ＣＰＵ１９の制御下で画像データにおける特徴量を抽出する。画素感度算出回路１７は、ＣＰＵ１９の制御下で撮像素子２から出力される画像信号について、例えば、画素毎の感度（ゲイン）を算出して、アンプ４を制御する。ＣＰＵ１９に接続された設定値記録メモリ１８には、絞り値、シャッタースピード、および画素毎の感度などの露出制御に関する設定値が露出設定値として記録される。なお、ＣＰＵ１９はカメラ全体の制御を司る。

図２は、図１に示すカメラにおける撮影動作の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、ＣＰＵ１９の制御下で行われる。操作部１４の電源ボタンが押下されると、カメラが起動する。ここで、ユーザがモード切替ダイヤルによって静止画撮影モードをセットしたとする（ステップＳ１）。これによって、ＣＰＵ１９はＬＣＤ１５にスルー画像を表示する（ステップＳ２）。当該スルー画像は次のようにして処理された画像をいう。

図１に示す撮像素子２は、複数の受光素子が２次元マトリックス状に配列されて光電面（受光面ともいう）が形成されている。そして、撮像素子２は光学ユニット１で集光された被写体像を光電変換する。撮像素子２は撮像ドライバ３によって駆動され、撮像素子２における電荷蓄積時間（露出時間）は撮像ドライバ３から送られる電子シャッタ駆動信号に応じて決定される。

撮像ドライバ３から送られる垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷が１ラインずつシリアルに画像信号として撮像素子２から出力される。撮像素子２から出力された画像信号は、前述のように、アンプ４によって相関二重サンプリング処理によってノイズが除去されるとともに増幅された後、Ａ／Ｄコンバータ５に入力される。

Ａ／Ｄコンバータ５は画像信号をデジタル変換して画像データを生成して、画像データを順次に画像データ処理回路６に入力する。画像データ処理回路６は、前述のように画像処理を施して、画像処理済みの画像データをフレームメモリ７に一時的に記憶する。ＣＰＵ１９はフレームメモリ７に記憶された画像データを読み出してＬＣＤ１５にスルー画像として表示する。

ユーザが操作部１４からフォーカス操作（例えば、露出領域の設定操作）を入力すると（ステップＳ３）、ＣＰＵ１９の制御下で、前述したようにＡＦ回路１１、ＡＥ回路１２、およびＡＷＢ回路１３は焦点距離、絞り値、および露出時間などの撮影条件を求める（ステップＳ４）。撮影条件の全てを得ると、ＣＰＵ１９は当該撮影条件に基づいてカメラの設定を行って、ＬＣＤ１５には撮影条件に応じてスルー画像を表示する（ステップＳ５：撮影条件の反映）。

図３は、図１に示すＬＣＤ１５に表示されるスルー画像を説明するための図である。そして、図３（ａ）はユーザ操作による露出領域が適切でない場合のスルー画像の一例を示す図であり、図３（ｂ）にユーザ操作によって適切でない露出領域が指定された後のスルー画像の一例を示す図である。また、図３（ｃ）は適切でない露出領域の指定に応じて補正した後のスルー画像の一例を示す図である。

図３（ａ）に示すスルー画像は、スルー画像は日中にビルの影に人物が立つ明暗のあるシーンを撮像されている。ここでは、領域Ａが太陽光の影響を受ける明るい輝度領域であり、領域Ｂがビルの影による暗い輝度領域である。さらに、図３（ａ）に示す例では、撮影者（ユーザ）が画角内の人物にフォーカスを合わせた状態で、ＡＦ回路１１、ＡＥ回路１２、およびＡＷＢ回路１３が焦点距離、絞り値、および露出時間などの撮影条件を求めている。このため、画角内の人物については適正な露出となるが、領域Ａが若干白とび気味の画像となってしまう。

図３（ａ）に示すスルー画像をＬＣＤ１５に表示した後、ＣＰＵ１９は現状の露出（つまり、撮影条件）で適切か否かについて撮影者に確認を行う（ステップＳ６）。ここでは、ＣＰＵ１９は、撮影条件が適切でない場合には、スルー画像について適切でない露出領域を入力する旨の表示をＬＣＤ１５に行う。

ＣＰＵ１９は、予め定められた時間以内に撮影者がタッチパネルにおいて適切でない露出領域を入力したか否かを判定する（ステップＳ７）。適切でない露出領域（つまり、不適切露出領域）を指定する入力がないと（ステップＳ７において、ＮＯ）、ＣＰＵ１９は操作部１４によるレリーズ操作を受けて撮影条件に基づいて撮影処理を実行して（ステップＳ８）、前述のようにしてメモリカード９に画像ファイルを記録する。

撮影者がスルー画像に適切でない露出領域（不適切露出領域）があるとして、適切でない露出領域を指定すると（ステップＳ７において、ＹＥＳ）、ＣＰＵ１９は現在カメラに設定されている光学ユニット１の絞り値およびシャッタースピードと撮像素子２の画素毎の感度および輝度値を設定撮影条件として設定値記録メモリ１８に記録する（ステップＳ９）。なお、撮影者は、適切でないと判断した露出領域について指でなぞるなどの方法で、適正でない露出領域を指定する。

撮影者が適切でない露出領域を指定すると、ＣＰＵ１９の制御下で、例えば、図３（ｂ）に示すスルー画像がＬＣＤ１５に表示される。ここでは、図３（ｂ）において、撮影者は露出領域Ｃ（図３（ａ）に示す露出領域Ａに対応する）を露出が適切でない領域であるとして、露出領域Ｃの点線上を指でなぞったものとする。

設定値記録メモリ１８に設定撮影条件を記録すると、ＣＰＵ１９は画像特徴抽出回路１６によって、適切であるとされた露出領域（ここでは、不適切露出領域以外の適正露出領域）Ｄ（図３（ａ）に示す露出領域Ｂに対応する）と適切でないとされた露出領域Ｃとの境界近傍の被写体輝度値を比較する。そして、ＣＰＵ１９は当該比較結果に応じて露出領域Ｃを補正して（ステップＳ１０）、スルー画像をＬＣＤ１５に表示する。

図３（ｃ）に示す例では、撮影者の指定に応じた露出領域補正後のスルー画像が示されている。ここでは、図３（ｂ）に示す露出領域Ｃにおける空の部分と露出領域Ｄにおける空の部分とが同一輝度であるとされて、適切でない露出領域Ｃが露出領域Ｅに補正される。なお、図３（ｃ）において、露出領域Ｆは図３（ｂ）に示す露出領域Ｄに対応する。

続いて、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は露出領域Ｅの平均輝度値（つまり、特徴量である）と撮影者が適切であるとした露出領域Ｆの平均輝度値とを算出する。そして、画像特徴抽出回路１６は露出領域Ｅおよび領域Ｆの平均輝度値を比較して、露出領域Ｅが適正な露出領域Ｆに対してオーバー露出又はアンダー露出であるか否かを判定する判別する（ステップＳ１１）。

次に、ＣＰＵ１９の制御下で、ＡＥ回路１２は画角全体の平均輝度値が露出領域Ｅの平均輝度値と露出領域Ｆの平均輝度値との中間となる絞り値（Ａｖ値）およびシャッタースピード（Ｔｖ値）を求める。そして、当該Ａｖ値およびＴｖ値を光学ユニット１に設定する（ステップＳ１２）。

続いて、ＣＰＵ１９の制御下で、画素感度算出回路１７は露出領域Ｆの感度設定を前述のステップＳ１２で設定されたＡｖ値およびＴｖ値の撮影条件下で行う（ステップＳ１３）。ここでは、画素感度算出回路１７は露出領域Ｆにおける画素毎の輝度値が設定値記録メモリ１８に記録された露出領域Ｆにおける画素毎の輝度値と同一となる感度を、露出領域Ｆにおける画素毎に算出する。そして、画素感度算出回路１７は当該画素毎の感度に応じたゲインをアンプ４に設定する。

さらに、画素感度算出回路１７は露出領域Ａ（つまり、露出領域Ｅ）の感度を前述のステップＳ１１で設定されたＡｖ値およびＴｖ値の撮影条件下で求める（ステップＳ１４）。ここでは、画素感度算出回路１７は露出領域Ｅにおける画素毎の輝度値が設定値記録メモリ１８に記録された露出領域Ｅにおける画素毎の輝度値と同一となる感度を、露出領域Ｆにおける画素毎に算出する。

続いて、画素感度算出回路１７は上述のようにして求めた露出領域Ｅの感度を基準として、露出領域Ｆの輝度値に近づく方向に予め定められたステップ幅で段階的に感度を変更して、当該感度をアンプ４のゲインとして設定する（ステップＳ１５）。

露出領域Ｅの感度を設定すると、ＣＰＵ１９は、ＬＣＤ１５に所定のメッセージを表示して撮影者に所望の露出が得られたかを確認する（ステップＳ１６）。所望の露出が得られた旨の入力があるか又は所定の時間が経過しても入力がないと（ステップＳ１６において、ＹＥＳ）、ＣＰＵ１９はステップＳ８の処理に進み、操作部１４によるレリーズ操作を受けて撮影条件に基づいて撮影処理を実行して、メモリカード９に画像ファイルを記録する。

一方、所望の露出ではない旨の入力があると（ステップＳ１６において、ＮＯ）、ＣＰＵの制御下で、画素感度算出回路１７はステップＳ１５の処理に戻って段階的に感度を変更して、当該感度をアンプ４のゲインとして設定する。

上述のようにして、露出領域ＥおよびＦにおける感度を画素毎に設定および変更して、当該処理を繰り返すことによって撮影者が画像全体に対して満足する露出で撮影を行うことができる。

なお、図２で説明したステップＳ１２においては、光学ユニット１のＡｖ値およびＴｖ値を算出する際、画像特徴抽出回路１６によって求められた露出領域Ａの平均輝度値と露出領域Ｂの平均輝度値との中間となるＡｖ値およびＴｖ値を求めるようにした。一方、感度アップに起因する画像ノイズの悪化を考慮して、例えば、露出領域Ｅの平均輝度値および露出領域Ｆの平均輝度値の間の輝度値において、露出領域Ｆにおける感度アップ量が低くなるようにＡｖ値およびＴｖ値を設定するようにしてもよい。

このように、本発明の第１の実施形態では、画角全体の平均輝度値が適切な露出領域における平均輝度値と不適切な露出領域における平均輝度値との中間輝度値となる絞り値およびとシャッタースピードの設定を行う。その後、適切な露出領域および不適切な露出領域の感度の設定を行う。従って、被写体の輝度値が高い露出領域については感度アップ量が抑えられノイズ量が低くなり、一方、被写体の輝度値が低い露出領域については感度ダウンとなるので、ダイナミックレンジが狭くなることなく、ノイズ量を低減することができる。この結果、撮影者は画像全体における露出に満足して撮影を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による露出制御装置を備えるカメラについて説明する。なお、第２の実施形態におけるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。

図４は、本発明の第２の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。なお、図４に示すフローチャートにおいて、図２に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

図２で説明したステップＳ７において、撮影者がスルー画像に適切でない露出領域があるとして、適切でない露出領域を指定すると、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は指定された露出領域と当該指定された露出領域以外の画像を解析して、露出領域の補正を行う（ステップＳ２１）。

図５は、本発明の第２の実施形態によるカメラにおいてＬＣＤ１５に表示されるスルー画像を説明するための図である。

いま、図５に示すスルー画像においては、露出領域Ｋ、Ｌ、およびＭがあるものとする。そして、撮影者はスルー画像において適切でない露出領域をタッチ入力したものとする。図５におけるスルー画像において、その撮影シーンは前述の図３（ａ）に示すスルー画像における撮影シーンと同一である。ここでは、撮影者は露出領域Ｋを適切でない露出領域として指定したものとする。

図２で説明したように、ステップＳ６において、ＣＰＵ１９はスルー画像に適切でない露出領域がある場合にその露出領域を指定する旨の表示をＬＣＤ１４に行う。ここでは、当該表示に応じて、撮影者は、図５に示す露出領域Ｋ（点線で示された範囲）をタッチパネル上をなぞって囲って適切でない露出領域として指定する。

露出領域Ｋの補正を行う際には、まず、画像特徴抽出回路１６は露出領域Ｋにある被写体を抽出する。そして、画像特徴抽出回路１６は露出領域Ｋと露出領域Ｋ以外の露出領域との境界近傍における被写体の輝度値を比較する。当該比較結果に応じて、画像特徴抽出回路１６は露出領域Ｋにおける被写体の連続性を判別して露出領域の補正を行う。図５においては露出領域Ｌで補正が行われたとする。

上述のようにして、露出領域Ｌの補正を行うと、ＣＰＵ１９は露出領域Ｌに対して同一の輝度値としたい露出領域がないか尋ねるメッセージＬＣＤ１５に表示して撮影者に確認する。つまり、ＣＰＵ１９はスルー画像に露出領域と同一の輝度値としたい露出領域がある場合には目標露出領域を入力する旨の指示をＬＣＤ１５に表示する（ステップＳ２２）。

続いて、ＣＰＵ１９は、予め定められた時間以内に目標露出領域を指示する入力があったか否かを判定する（ステップＳ２３）。予め定められた時間以内に目標露出領域を指示する入力がないと（ステップＳ２３において、ＮＯ）、ＣＰＵ１９は、図２で説明したステップＳ９に進んで、撮影条件を設定値記録メモリ１８に記録する。その後、ＣＰＵ１９の制御下で、画像特徴抽出回路１６および画素感度算出回路１７は露出領域ＫおよびＬに関して、図２で説明したステップＳ１１〜Ｓ１６の処理を行って、露出領域ＫおよびＬについてアンプ４のゲインを設定する。

予め定められた時間以内に目標露出領域を指示する入力があると（ステップＳ２３において、ＹＥＳ）、ステップＳ２４に進む。そして、ＣＰＵ１９の制御下で、画素感度算出回路１７は露出領域Ｍの輝度値と露出領域Ｌの輝度値との差分に応じて、露出領域Ｌの輝度値が露出領域Ｍの輝度値と同一となる露出領域Ｌの感度を算出する。さらに、画素感度算出回路１７は当該感度に応じたゲインをアンプ４に設定する（ステップＳ２４）。その後、ＣＰＵ１９はステップＳ６の処理に戻る。

このように、本発明の第２の実施形態では、撮影者が適切でない露出領域を指定すると自動的に露出領域の補正が行われるので、撮影者であるユーザにとっては使いやすさが向上するばかりでなく、ＬＣＤ１５に表示されたスルー画像において目標露出領域を選択できることができるので、撮影者は満足のいく撮影を行うことができる。

［第３の実施形態］
次に、本発明の第３の実施形態による露出制御装置を備えるカメラの一例について説明する。なお、第３の実施形態におけるカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。

図６は、本発明の第３の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。なお、図６に示すフローチャートにおいて、図２に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

図２で説明したステップＳ７において、撮影者がスルー画像に適切でない露出領域があるとして、適切でない露出領域を指定すると、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は、ステップＳ１１で露出領域の平均輝度値（つまり、特徴量である）を算出する。

図７は、本発明の第３の実施形態によるカメラにおいてＬＣＤ１５に表示されるスルー画像を説明するための図である。そして、図７（ａ）は明暗のある撮影シーンにおけるスルー画像の一例を示す図であり、図７（ｂ）は画像全体の露出を適切にした状態のスルー画像を示す図である。また、図７（ｃ）は図７（ｂ）に示す状態において画角内に新たに被写体が進入した際のスルー画像を示す図であり、図７（ｄ）は１つの露出領域における感度設定値に他の露出領域における感度設定値を選択した場合のスルー画像を示す図である。

図７（ａ）に示すスルー画像は、日中の逆光下においてビルの影に立つ人物を明暗のある撮影シーンで撮像した結果得られたものであり、露出領域Ａが太陽光の影響を受ける明るい露出領域である。そして、露出領域Ｂがビルの影が影響する暗い露出領域である。

図７（ａ）に示すスルー画像について、第１の実施形態で説明したようにして、スルー画像全体の露出が適切となる（つまり、満足する）ように感度設定を行うと、図７（ｂ）に示すスルー画像が得られる。

ここで、図７（ｂ）に示すスルー画像を得る際の処理ついて説明する。図２で説明したように、ステップＳ４において、画角内の人物にフォーカスを合わせた状態で焦点距離、絞り値、および露出時間などの撮影条件が求められる。そして、撮影者が図７（ａ）に示すスルー画像において露出領域Ａが適切でないとして、当該露出領域Ａを指定すると、図２で説明したステップＳ９において、絞り値およびシャッタースピードと画素毎の感度および輝度値とが設定値記録メモリ１８に記録される。

その後、ステップＳ１０およびＳ１１において、露出領域Ａがオーバー又はアンダー露出であるか否かの判定、露出領域Ａの平均輝度値および露出領域Ｂの平均輝度値の中間となる絞り値およびシャッタースピードの設定が行われる。

続いて、ステップＳ１２およびＳ１３において、露出領域Ｂについて感度の算出および設定（アンプ４のゲインを設定）が行われる。そして、ステップＳ１４およびＳ１５において、露出領域Ａについて感度の算出および設定が行われる。これによって、図７（ｂ）に示すスルー画像が得られることになる。

ステップＳ１４およびＳ１５の処理に続いて、ＣＰＵ１９は画角内に新たに被写体が進入したか否かを判定する。ここでは、ＣＰＵ１９は画像特徴抽出回路１６によって画角内に新たな露出領域が抽出されたか否かを判定する（ステップＳ３１）。画角内に新たな露出領域が抽出されないと（ステップＳ３１において、ＮＯ）、ＣＰＵ１９はステップＳ６の処理に戻る。

いま、図７（ｂ）に示す状態において、図７（ｃ）に示すように、画角内に新たに被写体が進入したものとする。つまり、画像特徴抽出回路１６によって画角内に、図７（ｃ）に示す露出領域Ｃが抽出されたものとする。画像特徴抽出回路１６は少なくとも２つのフレームにおける画像データを比較して、例えば、輪郭および輝度値・色度の差分に応じて露出領域Ｃを抽出する。

例えば、画像特徴抽出回路１６は、所謂顔検出機能を備えている。ＣＰＵ１９の制御下で、画像特徴抽出回路１６は画像データに対して水平方向バンドパスフィルタ処理を行う。そして、画像特徴抽出回路１６は水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタ処理を行う。水平および垂直方向バンドパスフィルタ処理によって、画像データにおいてエッジ成分が検出される。

その後、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は当該エッジ成分に対してパターンマッチング処理を行って、目、鼻、口、および耳の候補群を抽出する。そして、画像特徴抽出回路１６は、例えば、抽出された目の候補群の中から予め設定された条件（例えば、２つの目の距離および傾き等）を満たすものを、目の対と判定して、目の対があるもののみ目の候補群として絞り込む。

続いて、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、さらに予め設定した非顔条件フィルタ処理を行って、顔領域を検出する。ここでは、この顔領域を含む被写体領域が露出領域Ｃとされる。

このようにして、スルー画像（つまり、ライブビュー表示）を画像解析して、画像特徴抽出回路１６は画像データにおいて顔領域を特徴量として抽出して被写体領域を示す被写体情報を出力する。

画角内に新たな露出領域Ｃが抽出されると（ステップＳ３１において、ＹＥＳ）、ＣＰＵ１９は露出領域Ｃに関するアンプ４の感度（つまり、ゲイン）を算出する（ステップＳ３２）。ここでは、ＣＰＵ１９は、ステップＳ１２で設定したＡｖ値とＴｖ値の撮影条件下において露出領域Ｃの平均輝度値を算出する。そして、ＣＰＵ１９は、設定値記録メモリ１８を参照して、露出領域ＡおよびＢのうち露出領域Ｃの平均輝度値に近似する平均輝度値を有する露出領域に係る感度設定値を露出領域Ｃの感度設定値とする。

なお、露出領域Ｃの感度設定値を求める際に、露出領域Ｃが人物を示す領域であるとされた場合には、露出領域ＡおよびＢのうち人物が検出された領域における感度設定値を露出領域Ｃの感度設定値とするようにしてもよい。さらには、露出領域Ｃにおける画素毎の輝度値が露出領域ＡおよびＢの画素毎の輝度値と同一となるように、露出領域Ｃの感度設定値を算出するようにしてもよい。

ＣＰＵ１９の制御下で、画素感度算出回路１７は露出領域Ｃの感度設定値から露出領域Ｂおよび露出領域Ａの輝度値に近づく方向に予め定められたステップ幅で段階的に感度を変更してアンプ４のゲインを算出する。そして、画素感度算出回路１７は当該ゲインを露出領域Ｃにおける感度設定値としてアンプ４に設定する（ステップＳ３３）。

続いて、ＣＰＵ１９は撮影者に対して所望の露出が得られたか否かを確認する。ここでは、ＣＰＵ１９は露出領域Ｃについて所望の露出が得られたか否かを入力（指示）すべき旨の表示をＬＣＤ１５に行う。そして、ＣＰＵ１９は、予め定められた時間以内に露出領域Ｃについて所望の露出であること指示する入力があったか否かを判定する（ステップＳ３４）。

予め定められた時間以内に露出領域Ｃについて所望の露出であること指示する入力がないと（ステップＳ３４において、ＮＯ）、ＣＰＵ１９はステップＳ３３の処理に戻って、再度露出領域Ｃの感度設定を行う。一方、予め定められた時間以内に露出領域Ｃについて所望の露出であること指示する入力があると（ステップＳ３４において、ＹＥＳ）、ＣＰＵ１９はステップＳ３３の処理に戻る。

このような処理によって、画角内に新たな被写体が進入したとしても、撮影者が画像全体ついて満足する露出の画像を撮影することができる。

図７（ｄ）は、新たな被写体が画角内に進入した際に、上記の処理によって得られるスルー画像を示している。図７（ｄ）において、露出領域Ｃは逆光条件下で影になる領域であって、同様に、ビルの影に影響される露出領域Ｂも影になる領域である。このため、前述のように、露出領域Ｃの感度設定値については、露出領域Ｂの感度設定値が選択される。つまり、露出領域Ａは明るい領域であるので、適正露出とするための感度設定値は露出領域Ｂの感度設定値に比べて低い。よって、露出領域Ｃに対して露出領域Ａの感度設定値を選択すると、露出領域Ｃは露出アンダーとなってしまう。従って、露出領域Ｃの感度設定値については、露出領域Ｂの感度設定値が選択される。

このように、本発明の第３の実施形態では、撮影者が画像全体について露出が満足するように露出領域を設定した後、画角内に新たな被写体が新入しても、当該被写体に係る領域の感度設定値を自動的で設定することができる。この結果、ユーザが再露出度領域の設定をし直すという煩わしさを解消することができる。

さらに、新たな被写体が互いに感度が異なる露出領域に跨って進入した場合においても、当該露出領域について感度設定値が自動的に設定されるので、同一の被写体が部分的に異なる感度設定で撮影されることがなくなる。

［第４の実施形態］
次に、本発明の第４の実施形態による露出制御装置を備えるカメラの一例について説明する。

図８は、本発明の第４の実施形態に係るカメラの一例についてその構成を示すブロック図である。

図８に示すカメラにおいて、図１に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。ここでは、図示のカメラは、さらにセルフタイマ撮影を行うためのタイマ２０を備えている。

図９は、本発明の第４の実施形態によるカメラにおける撮影動作の一例を説明するためのフローチャートである。なお、図９に示すフローチャートにおいて、図２および図６に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

図２で説明したステップＳ７において、撮影者がスルー画像に適切でない露出領域があるとして、適切でない露出領域を指定すると、ステップＳ９およびＳ１０の処理が行われる。その後、ＣＰＵ１９の制御下で、画像特徴抽出回路１６は、ステップＳ１１で露出領域の平均輝度値（つまり、特徴量）を算出する。

図１０は、本発明の第４の実施形態によるカメラにおいてＬＣＤ１５に表示されるスルー画像を説明するための図である。そして、図１０（ａ）は明暗のある撮影シーンにおけるスルー画像の一例を示す図であり、図１０（ｂ）は画像全体の露出を適切にした状態のスルー画像を示す図である。また、図１０（ｃ）は図１０（ｂ）に示す状態において画角内に新たに被写体が進入した際のスルー画像を示す図であり、図１０（ｄ）は１つの露出領域における感度設定値に他の露出領域における感度設定値を選択した場合のスルー画像を示す図である。

図１０（ａ）に示すスルー画像は、日中の逆光下においてビルの影に立つ人物を明暗のある撮影シーンで撮像した結果得られたものであり、露出領域Ａが太陽光の影響を受ける明るい露出領域である。そして、露出領域Ｂがビルの影が影響する暗い露出領域である。

図１０（ａ）に示すスルー画像について、第１又は第３の実施形態で説明したようにして、ステップＳ１２〜Ｓ１５の処理が行われて、スルー画像全体の露出が適切となる（つまり、満足する）ように感度設定を行うと、図１０（ｂ）に示すスルー画像が得られる。

ステップＳ１４およびＳ１５の処理に続いて、ＣＰＵ１９は撮影者によってセルフタイマ撮影が開始されたか否かを判定する（ステップＳ４１）。セルフタイマ撮影が開始されないと（ステップＳ４１において、ＮＯ）、ＣＰＵ１９はステップＳ６の処理に戻る。

一方、セルフタイマ撮影が開始されると（ステップＳ４１において、ＹＥＳ）、ＣＰＵ１９はタイマ２０をスタート（つまり、所定の時間のカウントの開始）させる（ステップＳ４２）。そして、ＣＰＵ１９は、ステップＳ３１において、画像特徴抽出回路１６によって画角内に新たな露出領域が抽出されたか否かを判定する。

いま、図１０（ｂ）に示す状態において、図１０（ｃ）に示すように、画角内に新たに被写体が進入したものとする。つまり、画像特徴抽出回路１６によって画角内に、図１０（ｃ）に示す露出領域Ｃが抽出されたものとする。画像特徴抽出回路１６は、前述のように、少なくとも２つのフレームにおける画像データを比較して、例えば、輪郭および輝度値・色度の差分に応じて露出領域Ｃを抽出する。

ステップＳ３１において、画角内に新たな露出領域Ｃが抽出されると、ＣＰＵ１９は、前述のステップＳ３２およびＳ３３の処理を行った後、タイマ２０において所定の時間が経過したか否かを判定する（ステップＳ４３）。そして、所定の時間が経過すると（ステップＳ４３において、ＹＥＳ）、ＣＰＵ１９はステップＳ８の処理に進んで、撮影を行う。一方、所定の時間が経過しないと（つまり、タイムアップ前：ステップＳ４３において、ＮＯ）、ＣＰＵ１９は、ステップＳ３１に戻って、再度新たに別の露出領域が抽出されたか否かを判定する。

なお、ステップＳ３１において、画角内に新たな露出領域Ｃが抽出されないと、ＣＰＵ１９は、ステップＳ４３の進んで、タイマ２０において所定の時間が経過したか否かを判定する。

このような処理によって、セルフタイマ撮影において、画角内に新たな被写体が進入したとしても、撮影者が画像全体ついて満足する露出の画像を撮影することができる。

図１０（ｄ）は、セルフタイマ撮影の際に新たな被写体が画角内に進入した際に、上記の処理によって得られるスルー画像を示している。図１０（ｄ）において、露出領域Ｃは逆光条件下で影になる領域であって、同様に、ビルの影に影響される露出領域Ｂも影になる領域である。このため、前述のように、露出領域Ｃの感度設定値については、露出領域Ｂの感度設定値が選択される。つまり、露出領域Ａは明るい領域であるので、適正露出とするための感度設定値は露出領域Ｂの感度設定値に比べて低い。よって、露出領域Ｃに対して露出領域Ａの感度設定値を選択すると、露出領域Ｃは露出アンダーとなってしまう。従って、露出領域Ｃの感度設定値については、露出領域Ｂの感度設定値が選択される。

このように、本発明の第４の実施形態では、セルフタイマ撮影の際に、画像全体の露出が満足するように領域設定した後、タイマ計時が開始されて画角内に新たな被写体が新入しても、当該被写体に係る領域の感度設定値を自動的で設定することができる。この結果、ユーザが再露出度領域の設定をし直してセルフタイマ撮影をおこなうという煩わしさを解消することができる。

上述の説明から明らかなように、図１に示す例では、操作部１４、ＬＣＤ（表示手段）１５、およびＣＰＵ１９が指定手段として機能する。また、画像特徴抽出回路１６およびＣ｀Ｕ１９は特徴量抽出手段として機能し、ＣＰＵ１９、画素感度算出回路１７、およびアンプ１４は露光量算出手段および感度設定手段として機能する。

なお、図１に示す例では、少なくもアンプ４、操作部１４、ＬＣＤ１５、画像特徴抽出回路１６、画素感度算出回路１７、設定値記録メモリ１８、およびＣＰＵ１９が露出制御装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を露出制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを露出制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも指定ステッップ、特徴抽出ステップ、露光量算出ステップ、および感度設定ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２ 撮像素子
４ アンプ
１１ オートフォーカス（ＡＦ）回路
１２ オートエクスポージャー（ＡＥ）回路
１３ ＡＷＢ回路
１６ 画像特徴抽出回路
１７ 画素感度算出回路
１８ 設定値記録メモリ
１９ ＣＰＵ
２０ タイマ

Claims (16)

1. 撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置であって、
   前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定手段と、
   前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出手段と、
   前記特徴量に応じて前記画像に対する露光量を算出する露光量算出手段と、
   前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定手段と、
   を有することを特徴とする露出制御装置。
2. 前記露光量算出手段は、前記特徴量に応じて撮影の際における絞り値およびシャッタースピードを前記露光量として算出することを特徴とする請求項１に記載の露出制御装置。
3. 前記特徴量抽出手段は、前記特徴量としてそれぞれ前記不適切露出領域および前記適正露出領域における平均輝度値を抽出しており、
   前記露光量算出手段は、前記不適切露出領域における平均輝度値と前記適正露出領域における平均輝度値との中間輝度値が得られる絞り値およびシャッタースピードを算出することを特徴とする請求項２に記載の露出制御装置。
4. 前記特徴量抽出手段は、前記特徴量としてそれぞれ前記不適切露出領域および前記適正露出領域における平均輝度値を抽出しており、
   前記露光量算出手段は、前記不適切露出領域における平均輝度値と前記適正露出領域における平均輝度値との間で、前記適正露出領域における感度を低くする絞り値およびシャッタースピードを算出することを特徴とする請求項２に記載の露出制御装置。
5. 前記露光量算出手段は、前記特徴量に応じて撮影の際における絞り値およびシャッタースピードを前記露光量として算出し、
   前記感度設定手段は、前記露光量算出手段によって求められた絞り値およびシャッタースピードの条件で得られた画像について、前記不適切露出領域および前記適正露出領域における感度を同一の感度に設定することを特徴とする請求項１に記載の露出制御装置。
6. 前記不適切露出領域と前記適正露出領域とのおける輝度値を同一とする指示があると、前記感度設定手段は、前記不適切露出領域および前記適正露出領域における感度を同一の感度に設定することを特徴とする請求項５に記載の露出制御装置。
7. 前記感度設定手段は、前記不適切露出領域および前記適正露出領域における輝度値の差分に応じて同一となる感度を求めることを特徴とする請求項５又は６に記載の露出制御装置。
8. 前記不適切露出領域における特徴量を抽出するに当たって、前記特徴量抽出手段は、前記不適切露出領域と前記適正露出領域との境界における被写体の輝度値を比較し、当該比較結果に応じて、前記不適切露出領域における被写体の連続性を判別して前記不適切露出領域および前記適正露出領域の少なくとも一方について補正を行うことを特徴とする請求項２〜７のいずれか１項に記載の露出制御装置。
9. 前記感度設定手段は、前記不適切露出領域および前記適正露出領域に対する感度を設定する際、画素毎に感度設定を行うことを特徴とする請求項２〜８のいずれか１項に記載の露出制御装置。
10. 前記絞り値および前記シャッタースピードに基づいて前記不適切露出領域および前記適正露出領域について感度を設定した後、前記特徴量抽出手段で新たな露出領域が抽出されると、前記感度設定手段は、前記不適切露出領域および前記適正露出領域の平均輝度値に応じて前記新たな露出領域における感度を設定することを特徴とする請求項２〜９のいずれか１項に記載の露出制御装置。
11. 前記感度設定手段は、前記新たな露出領域における平均輝度値に近い平均輝度値を有する前記不適切露出領域および前記適正露出領域のいずれかにおける感度を前記新たな露出領域における感度として設定することを特徴とする請求項１０に記載の露出制御装置。
12. 前記感度設定手段は、前記不適切露出領域および前記適正露出領域のうち被写体として人物が検出された露出領域の感度を新たな露出領域における感度として設定することを特徴とする請求項１０に記載の露出制御装置。
13. セルフタイマ撮影が行われる際、前記感度設定手段は、タイムアップ前に前記新たな露出領域が抽出されると、前記感度設定手段は、前記不適切露出領域および前記適正露出領域の平均輝度値に応じて前記新たな露出領域における感度を設定することを特徴とする請求項１０〜１２のいずれか１項に記載の露出制御装置。
14. 光学像に応じた画像を得る撮像素子と、
    請求項１〜１３のいずれか１項に記載の露出制御装置と、
    前記撮像素子で得られた画像を表示する表示手段と、
    を有することを特徴とする撮像装置。
15. 撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置の制御方法であって、
    前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定ステッップと、
    前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に応じて前記画像に対する露光量を算出する露光量算出ステップと、
    前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定ステップと、
    を有することを特徴とする制御方法。
16. 撮像素子で得られた画像において被写体を示す露出領域の各々について露出の設定を行う露出制御装置で用いられる制御プログラムであって、
    前記露出制御装置が備えるコンピュータに、
    前記露出領域の各々に関して所定の露出が得られていない不適切な露出領域を不適切露出領域として指定する指定ステッップと、
    前記不適切露出領域と前記不適切露出領域以外の適正露出領域とにおいてそれぞれその特徴量を抽出する特徴量抽出ステップと、
    前記特徴量に応じて前記画像に対する露光量を算出する露光量算出ステップと、
    前記画像に対する露光量に基づいて前記不適切露出領域および前記適正露出領域に対する感度を設定する感度設定ステップと、
    を実行させることを特徴とする制御プログラム。

Images