JP2008070562A - 撮像装置および露出制御方法 - Google Patents

Abstract

【課題】 主被写体の検出結果に基づいて自動露出制御を行う場合に、背景が露出オーバーになるのを抑えること。
【解決手段】 撮像素子により撮像して得られた画像データから、予め設定された条件を満たす被写体を検出し（Ｓ３３）、前記画像データ全体について測光を行い、測光結果である全体測光値を取得し（Ｓ３１）、検出した被写体の領域について測光を行い、測光結果である被写体測光値を取得し（Ｓ３５）、前記全体測光値及び被写体測光値に基づいて露出値を決定し（Ｓ３７、Ｓ３８）、決定された露出値に基づいて、撮像時の露出を制御する。
【選択図】 図３

Description

本発明は撮像装置および露出制御方法に関し、更に詳しくは、撮影した画像から被写体を検出することのできる撮像装置と、その露出制御方法に関する。

従来、デジタルカメラにおいて、撮影して得られた画像データに基づいて自動的に露出を決定する自動露出制御機能を備えた撮像装置がある。自動露出制御の為に行われる測光方式として、例えば、画面全体を考慮して行う測光や、画面内の測光領域を複数のブロックに分割し、各ブロックの測光を行う多分割測光がある。他にも、画面の中央部に重点を置いて測光を行う中央重点測光や、画面の中央部の任意の範囲のみ測光するスポット測光などがある。

また、主被写体の輝度が適正になるようにするために、ユーザーに主被写体が存在するエリアを指示させ、指示されたエリアの輝度に合わせて露出を調節するものがある。更に、撮影して得られた画像データの中から形状解析等の手法によって主被写体として例えば顔を自動的に検出し、検出された顔が適正な露出になるように、露出制御を行うカメラが提案されている（例えば、特許文献１を参照）。このカメラでは、画面全体の輝度が適正でも、顔がアンダーであれば場合は画面全体を明るくし、顔がオーバーな場合は画面全体を暗くする（図７参照）。このように、どのようなシーンにおいても、主被写体の輝度が適正になるように撮影を行うことができる。

特開２００３−１０７５５５号公報

しかしながら、上記特許文献１に開示されている方法では、検出した顔の輝度が適正になるように露出を制御するため、顔の輝度は適正になっても、背景の露出がオーバーまたはアンダーになってしまうことがある（図８参照）。そのような場合、画像全体として見た場合には失敗画像となってしまうといった問題があった。

そのような失敗画像に画像処理を行って明るさを調節することも従来行われているが、一般的に、露出オーバーの場合の方がアンダーの場合よりも処理後の画像のコントラストが悪くなり、ぼやけた印象の画像になってしまうことが多い。

本発明は上記問題に鑑みてなされたものであり、主被写体の検出結果に基づいて自動露出制御を行う場合に、背景が露出オーバーになるのを抑えることを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像素子により撮像して得られた画像データから、予め設定された条件を満たす被写体を検出する検出手段と、前記画像データ全体について測光を行い、測光結果である全体測光値を取得する第１測光手段と、前記検出手段により検出した被写体の領域について測光を行い、測光結果である被写体測光値を取得する第２測光手段と、前記全体測光値及び被写体測光値に基づいて、露出値を決定する決定手段と、前記決定手段により決定された露出値に基づいて、撮像時の露出を制御する露出制御手段とを有する。

また、撮像装置における本発明の露出制御方法は、撮像素子により撮像して得られた画像データから、予め設定された条件を満たす被写体を検出する検出工程と、前記画像データ全体について測光を行い、測光結果である全体測光値を取得する第１測光工程と、前記検出手段により検出した被写体の領域について測光を行い、測光結果である被写体測光値を取得する第２測光工程と、前記全体測光値及び被写体測光値に基づいて、露出値を決定する決定工程と、前記決定工程で決定された露出値に基づいて、撮像時の露出を制御する露出制御工程とを有する。

本発明によれば、主被写体の検出結果に基づいて自動露出制御を行う場合に、背景が露出オーバーになるのを抑えることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

本実施形態では、撮像装置としてデジタルカメラを用いた場合について説明する。図１は、本実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

１０１は操作部であり、デジタルカメラ１００の操作者が各種指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１にはシャッタースイッチも含まれており、このシャッタースイッチが半押しされた状態では、撮影準備を指示するＳＷ１がＯＮとなり、操作部１０１から制御部１０２に通知される。また、シャッタースイッチが全押しされるとＳＷ２がＯＮとなり、操作部１０１から制御部１０２に通知される。

１０２は制御部であり、図１に示すデジタルカメラ１００の各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。

１０３はＣＣＤやＣＭＯＳセンサに代表される撮像素子、１０８ａはレンズである。図１では便宜上１枚のレンズにより表しているが、実際には、フォーカスレンズを含む複数のレンズから構成されている。また、１０９ａは露出機構で、メカニカルシャッターを含む。撮像素子１０３はレンズ１０８ａ及び露出機構１０９ａを介して入射する光を受け、その光量に応じた電荷を出力する。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号を出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたデジタル画像信号をＹＵＶ画像信号に変換して出力する。

１０６は顔検出部、１０８はレンズ１０８ａのフォーカスレンズを制御することにより焦点調節を行うＡＦ処理部、１０９は露出機構１０９ａを制御することにより露出を制御するＡＥ処理部である。

顔検出部１０６は、画像処理部１０５から出力されたデジタル画像信号が示す画像から主被写体として人の顔の領域を検出し、この領域に係る情報を制御部１０２に通知する。制御部１０２はこの情報を受けると、画像において検出された人の顔の領域に測距枠が位置するようにＡＦ処理部１０８に指示すると共に、この人の顔の領域の露出が適正となるようにＡＥ処理部１０９に指示する。制御部１０２からの指示に基づいて、ＡＦ処理部１０８はレンズ１０８ａに含まれるフォーカスレンズの位置などを制御すると共に、ＡＥ処理部１０９は露出機構１０９ａを制御する。

また、制御部１０２がフラッシュが必要と判断した場合には、ＥＦ処理部１１０に、フラッシュオンを指示する。ＥＦ処理部１１０は、フラッシュオンの指示を受けると、フラッシュ部１１１を制御し、発光させる。

表示部１０７は、小型液晶画面などにより構成されており、画像処理部１０５による処理済みの画像データに従った画像を表示する。

記録形式変換部１１２は、画像処理部１０５から出力されたデジタル画像信号（画像データ）の記録形式をＪＰＥＧなどの記録形式に変換し、画像記録部１１３に出力するものである。画像記録部１１３は、記録形式変換部１１２から受けた記録形式変換済みの画像データを、デジタルカメラ１００内の不図示のメモリや、デジタルカメラ１００に挿入されている外部メモリなどに記録する処理を行う。

外部接続部１１４は、デジタルカメラ１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースとして機能する。

次に、上記構成を有するデジタルカメラ１００の動作について説明する。

図２は本実施形態のデジタルカメラ１００の撮像モードにおける主ルーチンのフローチャートであり、操作部１０１に含まれる電源スイッチがＯＮされ、撮像モードが選択されている場合に実行される。

電源スイッチがＯＮの状態では、デジタルカメラ１００を構成する各部に電源が供給されると露出機構１０９ａに含まれるシャッターが開き、撮像素子１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入射する。この状態で、ステップＳ１１において撮像処理を行う。ここでは先ず、撮像素子１０３を露光して、電子シャッター制御により所定時間蓄積した電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として画像処理部１０５に出力する。画像処理部１０５はこのデジタル画像信号に対して各種の画像処理を行う。画像処理されたデジタル画像信号は不図示のメモリに一時的に格納される。

次に、ステップＳ１２において、メモリに記憶されたデジタル画像信号を読み出して表示部１０７に表示する（スルー表示）。このように、得られた画像信号を逐次表示部１０７に表示することで、電子ファインダ（ＥＶＦ）機能を実現することができる。

ステップＳ１３において測光処理を行う。ここで、本実施形態で行われる測光処理について、図３を参照して詳しく説明する。

先ず、ステップＳ１１において不図示のメモリに格納されたデジタル画像信号を読み出し、画面全体の輝度を算出する（ステップＳ３１）。

そして、ステップＳ３２で顔検出を行うかどうかの判定を行う。本実施形態では、予め操作部１０１により顔検出を行うか否かの設定をしておくことができる。顔検出を行わない（顔検出オフ）と設定されている場合にはステップＳ３８に進み、ステップＳ３１で得た画面全体の輝度に基づいて、輝度が適正となるように露出値の演算を制御部１０２で行う。制御部１０２は、演算した露出値を不図示のメモリに格納する。

一方、顔検出処理を行う（顔検出オン）と設定されている場合には（ステップＳ３２でＹＥＳ）、ステップＳ３３に進んで顔検出を行う。ここでは、顔検出部１０６は、ステップＳ１１で得られたデジタル画像信号が示す画像から人の顔の領域を検出し、検出した領域の位置やサイズなど、この領域に係る情報（顔情報）を制御部１０２に通知する。顔検出方法は特に限るものではなく、公知の方法を用いればよい。代表的な顔検出方法としては、ニューラルネットワークに代表される学習を用いた手法、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法が挙げられる。また、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、これらの手法を複数組み合わせて顔認識するのが一般的である。具体的には特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。なお、制御部１０２は、顔情報を受け取ると、画像中の人の顔の領域に後述する焦点調節処理用の測距枠が位置するようにＡＦ処理部１０８に指示する。ＡＦ処理部１０８はこの指示に基づいてレンズ１０８ａの位置などを制御する。

次にステップＳ３４において、ステップＳ３３における顔検出処理の結果、顔が検出されたかどうかを判断する。画像中に顔が無かったり、顔の検出に失敗した（即ち、顔情報が得られなかった）場合にはステップＳ３８に進み、上述した処理を行う。一方、画像中に顔があり、顔の検出に成功した（即ち、顔情報が得られた）場合にはステップＳ３５に進む。

ステップＳ３５において、制御部１０２は、ステップＳ１１で得られたデジタル画像信号から、ステップＳ３３で検出した顔領域の輝度を算出する。

なお、制御部１０２は顔領域の輝度を求めるために「顔重み」を作成する。顔重み算出に関して、図６を参照して以下に説明する。

まず顔領域の始点を（X0,Y0）、終点を（X1,Y1）とする。ここから顔領域の４つの格子点が測光枠のどの領域にあるかを判定する。判定したのち、顔領域の面積比率に応じて各ブロックごとに顔重みを求める。例えば、図６では９個の測光枠に顔領域がまたがっているが、その右下ブロックの重みWは、以下の式で求められる。
W = DefaultWei×(b/blockWidth×c/blockHeight
DefaultWei＝基準顔重み

制御部１０２は、このようにして求められた顔重みを用いて顔領域の輝度を算出する。
次に、ステップＳ３６において、ステップＳ３１で算出した画面全体の輝度と、ステップＳ３５で算出した顔領域の輝度とを比較する。顔領域の輝度の方が高い場合には、顔領域の輝度が予め設定しておいた顔の輝度目標値に近づくように露出値の設定を行う（ステップＳ３７）。例えば、顔領域の輝度が目標値よりも高ければ、露出値を低くし、低ければ露出値を高くする。また画面全体の輝度が高い場合には画面全体の輝度を予め設定しておいた目標値に近づけるように露出値の設定を行う（ステップＳ３８）。制御部１０２は、ステップＳ３７またはＳ３８で設定した露出値を不図示のメモリに格納する。

このように、顔検出を行った場合には、画面全体の輝度と顔領域の輝度の内、いずれか高い方の輝度が目標値に近づくように露出の制御を行うため、露出オーバーになることを防ぐことが可能となる。なお、輝度の目標値は、顔領域と画面全体で同じ値に設定しても、異なる値に設定しても構わない。

図３に示す測光処理を終えると、図２のステップＳ１４に進む。

ステップＳ１４では、ステップＳ１３の測光処理中に顔検出が成されていれば、制御部１０２は、レンズ１０８ａのフォーカスレンズの焦点が検出された顔に合うように焦点調節を行い、検出されていなければ、公知の焦点調節を行う。

次に、ステップＳ１５において、操作部１０１に含まれるシャッタスイッチの状態を調べる。シャッタスイッチが押されておらず、ＳＷ１がＯＦＦであれば、ステップＳ１１に戻って上記処理を繰り返す。なお、繰り返しの際のステップＳ１１における撮像処理では、ステップＳ１３で求めた露出値を用いて撮像を行う。制御部１０２はメモリから露出値を読み出し、読み出した露出値に基づいてＡＥ処理部１０９を制御する。ＡＥ処理部１０９は、この制御部１０２からの指示に基づいて露出機構１０９ａを制御する。

一方、ＳＷ１がＯＮであればステップＳ１６に進み、本撮影の準備を行う。ステップＳ１６〜Ｓ１９では、上述したステップＳ１１〜Ｓ１４と同様の処理を行うが、ステップＳ１６における撮像処理では、先ず、ステップＳ１３で求めた露出値を用いて撮像を行う。また、ステップＳ１８における測光処理の結果、必要であればフラッシュ・フラグをセットし、フラッシュの設定も行う。なお、フラッシュを発光するか否かの判断は、測光の結果に基づいて行わなくても良く、例えば、操作部１０１を用いて予め設定するようにしても良い。また周囲の暗さを検知して自動的に判断するようにしても良い。

ステップＳ１９の焦点調節処理を終えると、ステップＳ２０に進んでＳＷ２の状態を判断し、ＳＷ２がＯＦＦであればステップＳ１５に戻り、ここでＳＷ１がＯＮであればステップＳ１６〜Ｓ１９の上記処理を繰り返す。なお、ＳＷ１がＯＮ時の２回目以降のルーチンでは、ステップＳ１８で求めた露出値を用いてステップＳ１６の撮像を行う。ステップＳ１５でさらにＳＷ１もＯＦＦと判断されると、ステップＳ１１に戻る。一方、ＳＷ２がＯＮであれば（ステップＳ２０でＹＥＳ）、ステップＳ２１に進む。

ステップＳ２１では、本撮影処理を実行する。この本撮影処理では、撮像素子１０３、Ａ／Ｄ変換部１０４、画像処理部１０５を介して、不図示のメモリに撮影した画像データを書き込む。なお、このステップＳ２１における本撮影処理の詳細は図４を用いて後述する。

本撮影処理が終了するとステップＳ２２に進み、制御部１０２は、メモリに書き込まれた画像データを読み出して、各種画像処理を行う現像処理を実行する。更に、記録形式変換部１１２により所定の記録形式に変換した後、画像記録部１１３により、不図示の記録媒体或いはメモリへ画像データの書き込みを行う記録処理を実行する（ステップＳ２２）。このステップＳ２２における記録処理の詳細は図５を用いて後述する。

記録処理（ステップＳ２２）が終了すると、制御部１０２はＳＷ２の状態を判断する（ステップＳ２３）。ＳＷ２がＯＮであれば、制御部１０２は制御部１０２の不図示のメモリに記憶される連写フラグの状態を判断する（ステップＳ２４）。連写フラグが設定されていたならば、連続して本撮影を行うためにステップＳ２１に戻り、次の本撮影を行う。連写フラグが設定されていないならば（ステップＳ２４でＮＯ）、ステップＳ２３に戻ってＳＷ２がＯＦＦとなるのを待ち、ＯＦＦになるとステップＳ１５に戻る。

図４は、図２のステップＳ２１で行われる本撮影の詳細なフローチャートを示す。

制御部１０２は、ステップＳ１８で取得し、不図示のメモリに格納された露出値を読み出し、ＡＥ処理部１０９により、露出機構１０９ａの絞りを読み出した露出値に対応する絞り値に応じてシャッターを開放する（ステップＳ４１）。そして、撮像素子１０３の露光を開始する（ステップＳ４２）。なお、シャッターの開放の直前または直後に撮像素子１０３のリセットを行って、不要電荷を掃き捨てる。

ステップＳ４３で、フラッシュ・フラグがセットされているかをチェックしてフラッシュが必要か否かを判断する。フラッシュの発光を行う場合には、制御部１０２はＥＦ処理部１１０を制御し、フラッシュ部１１１にプリ発光を行わせ、発光量の算出、ＥＦ枠の重み付けなどの処理を行う。そして、プリ発光により計算された本発光量でフラッシュ部１１１を発光させる（ステップＳ４４）。

次に、制御部１０２は、露出値に従って撮像素子１０３の露光終了を待ち（ステップＳ４５）、ＡＥ処理部１０９を制御して露出機構１０９ａのシャッターを閉じる（ステップＳ４６）。そして、撮像素子１０３から蓄積された電荷信号を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する（ステップＳ４６）。撮像素子１０３から読み出したアナログ画像信号に対して、Ａ／Ｄ変換部１０４はサンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。次に画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を不図示のメモリに書き込む（ステップＳ４８）。一連の処理を終えると、本撮影ルーチン（ステップＳ２１）を終了する。

図５は、図２のステップＳ２２における記録処理の詳細なフローチャートを示す。

ステップＳ５１において、画像処理が施された処理済みのデジタル画像信号に対して、記録形式変換部１１２によりＪＰＥＧなどの記録形式に変換し、画像記録部１１３へ出力する。そして、画像記録部１１３は、メモリカードやコンパクトフラッシュ（登録商標）カード等の不図示の外部記録媒体や内部記録媒体へ、記録形式変換された画像データの書き込みを行う（ステップＳ５２）。記録媒体への書き込みが終わったならば、記録処理ルーチン（ステップＳ２２）を終了する。

また、本実施形態では、あらかじめ操作部１０１にて設定してある測光方式、焦点調節方式が設定され、実行される。ただし、測光方式、焦点調整方式がオートモードに設定されている場合は、画像内の顔の有無や数、顔領域、顔位置、顔方向や画像全体の輝度情報、撮影情報に基づき自動的に測光方式、焦点調節方式が設定され、実行される。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

なお、上記実施形態では、主被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用することが可能である。

また、上記実施形態では、１つの被写体（顔）が検出された場合について説明したが、複数の被写体が検出された場合、予め設定された条件に基づいて各被写体の領域に対して重み付けを行い、重み付けの結果に基づいて輝度を算出するようにしても良い。予め設定された条件としては、例えば、画面中央からの距離、大きさ、被写体検出の信頼性、予め登録された人物か否か等が考えられる。勿論、これら以外の条件に基づいて重み付けを行うようにしても勿論構わないし、重み付けを行わなくても構わない。

本発明の実施形態におけるデジタルカメラの概略構成を示すブロック図である。 本発明の実施形態におけるデジタルカメラの撮影モードにおけるメインルーチンを示すフローチャートである。 本発明の実施形態における測光処理を示すフローチャートである。 本発明の実施形態における撮影ルーチンのフローチャートである。 本発明の実施形態における記録ルーチンのフローチャートである。 本発明の実施形態における顔重みを説明する図である。 従来の顔検出を利用した露出制御を説明するための概念図である。 従来の顔検出を利用した露出制御の問題点を説明するための概念図である。

符号の説明

１００ デジタルカメラ
１０１ 操作部
１０２ 制御部
１０３ 撮像素子
１０４ Ａ／Ｄ変換部
１０５ 画像処理部
１０６ 顔検出部
１０７ 表示部
１０８ ＡＦ処理部
１０８ａ レンズ
１０９ ＡＥ処理部
１０９ａ 露出機構
１１０ ＥＦ処理部
１１１ フラッシュ部
１１２ 記録形式変換部
１１３ 画像記録部
１１４ 外部接続部

Claims (12)

1. 撮像素子により撮像して得られた画像データから、予め設定された条件を満たす被写体を検出する検出手段と、
   前記画像データ全体について測光を行い、測光結果である全体測光値を取得する第１測光手段と、
   前記検出手段により検出した被写体の領域について測光を行い、測光結果である被写体測光値を取得する第２測光手段と、
   前記全体測光値及び被写体測光値に基づいて、露出値を決定する決定手段と、
   前記決定手段により決定された露出値に基づいて、撮像時の露出を制御する露出制御手段と
   を有することを特徴とする撮像装置。
2. 前記決定手段は、前記全体測光値と被写体測光値とを比較し、高い方の測光値が予め設定された値に近づく露出値を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記予め設定された値は、前記全体測光値用と、前記被写体測光値用にそれぞれ設定されていることを特徴とする請求項２に記載の撮像装置。
4. 前記第２測光手段は、検出した被写体領域を分割し、各領域に予め設定された条件に基づいて重み付けをしながら被写体測光値を算出することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記検出手段により複数の被写体が検出された場合に、前記第２測光手段は、各被写体の被写体領域に予め設定された条件に基づいて重み付けを行い、該重み付けの結果に基づいて被写体測光値を算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記決定手段により決定された露出値に応じて調光を行う調光手段を更に有することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 撮像素子により撮像して得られた画像データから、予め設定された条件を満たす被写体を検出する検出工程と、
   前記画像データ全体について測光を行い、測光結果である全体測光値を取得する第１測光工程と、
   前記検出工程で検出した被写体の領域について測光を行い、測光結果である被写体測光値を取得する第２測光工程と、
   前記全体測光値及び被写体測光値に基づいて、露出値を決定する決定工程と、
   前記決定工程で決定された露出値に基づいて、撮像時の露出を制御する露出制御工程と
   を有することを特徴とする撮像装置における露出制御方法。
8. 前記決定工程では、前記全体測光値と被写体測光値とを比較し、高い方の測光値が予め設定された値に近づく露出値を決定することを特徴とする請求項７に記載の露出制御方法。
9. 前記予め設定された値は、前記全体測光値用と、前記被写体測光値用にそれぞれ設定されていることを特徴とする請求項８に記載の露出制御方法。
10. 前記第２測光工程では、検出した被写体領域を分割し、各領域に予め設定された条件に基づいて重み付けをしながら被写体測光値を算出することを特徴とする請求項７乃至９のいずれかに記載の露出制御方法。
11. 前記検出工程において複数の被写体が検出された場合に、前記第２測光工程では、各被写体の被写体領域に予め設定された条件に基づいて重み付けを行い、該重み付けの結果に基づいて被写体測光値を算出することを特徴とする請求項７乃至１０のいずれかに記載の露出制御方法。
12. 前記決定工程において決定された露出値に応じて調光を行う調光工程を更に有することを特徴とする請求項７乃至１１のいずれかに記載の露出制御方法。

Images