JP2014179920A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】被写体の明暗差が大きいシーンを撮影する場合であっても、適切な露光条件を決定し、表示用の画像も適切な明るさに調整することができる画像撮影技術を実現する。
【解決手段】撮像装置は、画像を撮像する撮像手段と、撮像された画像から複数の被写体領域を判定する判定手段と、前記被写体領域毎に測光値を取得する取得手段と、前記被写体領域毎の測光値から露光条件を決定する決定手段と、前記露光条件に基づいて、撮像された画像の階調を変換する階調変換手段と、を有する。
【選択図】図２

Description

本発明は、被写体領域毎に測光値を算出し露光条件を決定する画像撮影技術に関するものである。

デジタルカメラなどの撮像装置では、リアルタイムに画像を撮像して表示装置にスルー表示させることで、被写体を画面上で確認しながら構図を決定することが可能である。その際、表示用に撮像した画像から測光値を算出し、測光値のレベルが目標レベルとなるような露光条件を決定することで、被写体に応じて表示画像の明るさを随時調整可能となる。また、シャッターボタンが押された場合、表示用に撮像された画像の測光値を用いて記録用の画像の露光条件を決定することも可能である。

特許第４１０５９３３号

しかしながら、被写体の明暗差が大きいシーンを撮影する場合、例えば、明るい空を背景に人物を逆光で撮影する場合において、測光が正しく行えない場合がある。例えば、人物の明るさが適正レベルになるよう露光したとすると、空の信号レベルが撮像素子のダイナミックレンジを超えて信号が飽和してしまう場合がある。信号が飽和している領域からは正しい測光値を得ることはできない。反対に、空を優先して空の信号レベルが飽和しないように露光した場合には、人物が適正レベルよりもアンダーで撮影されるため、表示される人物が暗くなってしまう。

また、被写体の明暗差が大きいシーンにおいて、画面内の相対的に明るい領域と相対的に暗い領域からそれぞれ露光条件を決定して２枚の画像を撮影し合成する方法が知られている（例えば、特許文献１参照）。しかしながら、特許文献１の方法によっても、明るい領域の信号が飽和している場合には適切な露光条件を決定することができない。

また、明るさの異なる複数枚の画像を撮影し各画像を合成することで明るさを調整する方法も提案されているが、１枚の画像を撮影する場合あるいは表示用の画像の明るさについては特に考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体の明暗差が大きいシーンを撮影する場合であっても、適切な露光条件を決定し、表示用の画像も適切な明るさに調整することができる画像撮影技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、画像を撮像する撮像手段と、撮像された画像から複数の被写体領域を判定する判定手段と、前記被写体領域毎に測光値を取得する取得手段と、前記被写体領域毎の測光値から露光条件を決定する決定手段と、前記露光条件に基づいて、撮像された画像の階調を変換する階調変換手段と、を有する。

本発明によれば、被写体の明暗差が大きいシーンを撮影する場合であっても、適切な露光条件を決定し、表示用の画像も適切な明るさに調整することができる。

本発明に係る実施形態の装置構成を示す図。 実施形態１のスルー画像表示時において測光値を算出し露光条件を決定する処理を示すフローチャート。 撮影する被写体を例示する図（ａ）、画面の分割方法を説明する図（ｂ）、および、領域判定結果を例示する図（ｃ）。 階調変換特性を例示する図。 図２の領域判定処理を示すフローチャート。 顔領域および顔近傍領域の設定方法を例示する図。 実施形態２のスルー画像表示時において測光値を算出し露光条件を決定する処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明を、例えば、静止画や動画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。なお、本発明は、撮像された画像に対して画像処理を施すことができる装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り、および、シャッターを備える。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率や合焦位置、あるいは、光量を調整する。撮像素子１０２は、ＣＣＤやＣＭＯＳ等の光電変換素子からなるイメージセンサであり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。また、撮像素子１０２にはベイヤー配列のカラーフィルタが配置される。

前置処理回路１０３は、ＣＤＳ（Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路や増幅回路を備える。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力されたアナログ画像信号をデジタル信号に変換する。

画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力されるデジタル画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを施し、輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体の合焦状態を示す焦点情報も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。

制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラの動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部１１０から出力される操作信号に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダー（ＥＶＦ）として機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度などの文字情報、画像処理回路１０５で得られた輝度分布を示すグラフ等も表示可能である。

記録媒体１０９はメモリカードやハードディスクなどであり、カメラ本体に着脱可能なものであっても、カメラに内蔵されたものであってもよい。

操作部１１０は、ユーザがデジタルカメラを操作し指示を送るためのスイッチ、ボタン、タッチパネルなどの操作部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号や制御信号を授受するための伝送路である。

＜スルー画像表示時の動作＞次に、図２乃至図６を参照して、本実施形態のデジタルカメラのスルー画像表示時の画像撮影処理について説明する。

撮像素子１０２で生成され、前置処理回路１０３、Ａ／Ｄ変換器１０４、および、画像処理回路１０５によって処理された画像信号は、表示メモリ１０７を介して、表示装置１０８に表示される。ここで、上述したＥＶＦ機能によって、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像がリアルタイムで更新されて表示される。そして、ユーザが操作部１１０に含まれるシャッターボタンを操作するまで、スルー画像表示処理が繰り返され、ユーザがシャッターボタンを操作すると、記録媒体１０９に画像処理回路１０５から出力された画像信号が記録される。

図２は、本実施形態のスルー画像表示時において測光値を算出し露光条件を決定する処理を示している。なお、図２の処理は、ユーザによって操作部１１０が操作され、スルー画像表示を開始する指示が入力されると、制御回路１０６が入力信号やプログラムに従って、カメラ１００の各部を制御することにより実現される。

ステップＳ２０１では、制御回路１０６は、スルー画像を撮像する。以下、図３（ａ）に示す被写体を撮影した場合について説明する。図３（ａ）の被写体は逆光シーンであり、空、背景、人物の順に明るさが暗くなっている。

ステップＳ２０２では、制御回路１０６は、ステップＳ２０１で露光した画像から人物および空の領域が画面上のどこに存在するかの判定を行う。判定方法としては、図３（ｂ）のように画像を複数の領域に分割し、各領域について被写体が人物であるか、空であるか、あるいは、人物でも空でもない（以下、その他領域）かを特定するための判定を行う。判定結果の一例を図３（ｃ）に示す。なお、人物や空の判定方法の詳細については後述する。

ステップＳ２０３では、制御回路１０６は、ステップＳ２０２での判定結果を用いて被写体領域毎の測光値を算出する。具体的には、人物と判定されたブロック領域すべてを用いて輝度の平均値を算出し、人物の領域の測光値Ｙｈとする。また、空と判定されたブロック領域すべてを用いて輝度の平均値を算出し、空の測光値Ｙｓとする。

ステップＳ２０４では、制御回路１０６は、人物の測光値Ｙｈおよび空の測光値Ｙｓを用いて人物を適正露光で撮影した場合に空が飽和するか否かを判定する。センサのＤレンジを０〜Ｓｍａｘとする。また、人物を適正露光で撮影した場合の目標信号レベルをＳｈとすると、ＹｈおよびＹｓが、
Ｓｍａｘ−Ｓｈ＜Ｙｓ−Ｙｈ・・・（１）
となる場合に、人物を適正露光で撮影した場合に空が飽和すると判定し、式（１）を満たさない場合空が飽和しないと判定する。

空が飽和しないと判定した場合、ステップＳ２０５では、制御回路１０６は、人物が適正露光となるよう露光条件を決定する。例えば、今回の露光のＥｖ値がＥｖ１で撮影されていたとすると、
Ｅｖ＝Ｅｖ１＋ｌｏｇ₂（Ｙｈ／Ｓｈ）・・・（２）
となるように露光条件を決定すればよい。このように、式（２）を用いて人物は適正露光で撮影され、空も飽和しないような露光条件を決定する。

また、ステップＳ２０４で人物を適正露光で撮影した場合に空が飽和すると判定した場合には、ステップＳ２０６において、制御回路１０６は空が飽和しないように露光条件を決定する。例えば、空の目標信号レベルをＳｓとすると、
Ｅｖ＝Ｅｖ１＋ｌｏｇ₂（Ｙｓ／Ｓｓ）・・・（３）
となるように露光条件を決定する。なお、空の輝度Ｙｓと人物の輝度Ｙｈの差が極端に大きい場合には、式（３）に従って露光条件を決定すると人物の輝度Ｙｈが人物の適正レベルＳｈに比べて極端に暗くなってしまう場合がある。そのような場合には人物が暗くなりすぎないよう露光条件に制約を設けてもよい。例えばリミット値ΔＥｖ＿ｌｉｍｉｔとして、
ΔＥｖ＿ｌｉｍｉｔ＝ｌｏｇ₂（Ｙｈ／（Ｓｈ−ΔＳ））
とし、ｌｏｇ₂（Ｙｓ／Ｓｓ）＞ΔＥｖ＿ｌｉｍｉｔの場合に、式（３）を、Ｅｖ＝Ｅｖ１＋ΔＥｖ＿ｌｉｍｉｔ、とすればよい。

ただし、ΔＳは予め設定する値である。なお、式（３）において空の輝度Ｙｓが飽和している場合には決定された露光条件で撮影しても、必ずしも空が目標レベルで撮影できないが、ステップＳ２０１〜Ｓ２０６を順次繰り返すことで徐々に目標レベルに近づいていく。

一方、表示用の画像を生成するため、ステップＳ２０７では、画像処理回路１０５は、人物を主要被写体として人物が適切な明るさで表示されるような階調変換特性を設定し階調変換を行う。具体的には、ステップＳ２０５で決定した露光条件、すなわち、人物が適正露光となる露光条件で撮像された場合には、図４の標準的な階調変換特性が用いられる。ただし、人物を適正露光で撮影した場合の出力目標レベルをＳ’ｈとしている。

ステップＳ２０６で決定した露光条件、すなわち、空が適正レベルとなる露光条件で撮影された場合には、画像処理回路１０５は、人物の輝度レベルがＹｈのときに出力信号がＳ’ｈを通るような階調変換特性を用いて階調変換を行う。このような階調変換特性を用いることで人物を適正レベルで表示できると共に、空の階調も残した階調表現とすることが可能である。なお、ここでは人物領域を主要被写体領域と判定したが、人物以外の特定の物体を主要被写体と判定するように構成しても良い。

ステップＳ２０８では、制御回路１０６は、ステップＳ２０７で階調変換された画像を表示装置１０８に表示する。

以上の処理を繰り返すことで、露出を制御しつつ画像の表示を行うことができる。

＜被写体判定方法＞次に、図５を参照して、図２のステップＳ２０２における領域毎の被写体の判定方法について説明する。

図５において、ステップＳ５０１では、制御回路１０６は、画像が露光された画面全体から人物の顔を検出する。人物の顔については一般的に知られている顔検出方法を用いて顔の存在する領域を判定すればよい。図３（ａ）の被写体に対して顔検出を行った結果の一例を図６の破線枠６０１に示す。

ステップＳ５０２では、制御回路１０６は、図３（ｂ）に示すように画面を複数の領域に分割し、領域毎の輝度の平均値を算出する。図３（ｂ）の例では、画面を８×８の領域に分割し、各領域の輝度の平均値を算出する。

ステップＳ５０３では、制御回路１０６は、ステップＳ５０１の顔検出結果を用いて上記分割した領域における顔が存在する領域を顔領域に設定する。

ステップＳ５０４では、制御回路１０６は、顔領域の周辺および顔向きおよび顔の大きさより体の存在する位置を推定し顔近傍領域を設定する。図６の例では、顔検出結果の破線枠６０１が存在する領域を顔領域６０２とし、顔領域６０２の周辺の領域および顔より下側の領域を矩形で選択して顔近傍領域６０３に設定している。

ステップＳ５０５では、制御回路１０６は、ステップＳ５０４で設定した顔領域の輝度の平均値を算出し、算出した平均値と顔近傍領域内の各領域の輝度の平均値とを比較して差が所定の範囲内である領域を人物の領域と判定する。

ステップＳ５０６では、制御回路１０６は、人物と判定されていない領域が空であるか判定するためエッジ量を算出する。例えば、分割領域のＧ信号に対し水平および垂直方向に順次係数［−１ ０ ２ ０ −１］のデジタルフィルタを適用し、さらに絶対値を求めてから領域内で積分しエッジ量Ｅを算出する。これを人物と判定されていない分割領域すべてについて算出する。

ステップＳ５０７では、制御回路１０６は、輝度Ｙおよびエッジ量Ｅから、
Ｙ≧ＴＨ＿Ｙｓ
Ｅ＜ＴＨ＿Ｅ
をいずれも満たす分割領域を空と判定する。すなわち、輝度が所定値以上、エッジ量が所定値以下である明るくエッジが存在しないところを空と判定する。

ステップＳ５０８では、制御回路１０６は、ステップＳ５０７で人物とも空とも判定されていない領域をその他の領域と判定する。

以上のように、本実施形態によれば、明暗差の大きいシーンを撮影する場合であっても人物および空の領域を適切に判定し測光値を得ることが可能となる。また、スルー画像表示時においても人物を適切な明るさに調整して表示することが可能となる。

［実施形態２］次に、実施形態２のスルー画像表示時の画像撮影処理について説明する。

本実施形態は、実施形態１において得られた測光値と露出条件に基づいて明るさの異なる複数枚の画像を生成し、各画像を合成して表示する場合であり、装置構成や基本動作は実施形態１と同様である。このような画像合成処理は、明暗差の大きいシーンにおいて有効であり、適正な露光レベルに対して露光条件を変えた画像を複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成できる。

図７は、本実施形態のＨＤＲ撮影時において測光値を算出し露光条件を決定する処理を示している。なお、図７の処理は、上述したスルー画像表示中に、ユーザが操作部１１０に含まれるシャッターボタンを操作すると開始される。

図７において、ステップＳ７０１では、制御回路１０６は、図５のステップＳ２０１〜Ｓ２０３と同様に、直前のスルー画像から人物領域、空領域、その他領域の測光値を取得する。

ステップＳ７０２では、制御回路１０６は、ＨＤＲ合成に必要な画像の枚数および露光条件を決定し撮影を行う。画像の撮影枚数および露光条件は、人物領域の明るさＹｈと空領域の明るさＹｓとその他領域の明るさＹｂに基づいて決定する。説明を簡単にするため、図３（ａ）のようなシーン、すなわち、Ｙｓ＞Ｙｂ＞Ｙｈの場合について説明する。

Ｙｓ−Ｙｈ＜ＴＨ１を満たす場合には、空と人物の明暗差が小さいため撮影枚数を１枚とし、露光条件としては直前のスルー画像の露光条件をＥｖ１とすると、空の目標レベルをＳｓとして、Ｅｖ＝Ｅｖ１＋ｌｏｇ₂（Ｙｓ／Ｓｓ）、とする。すなわち、空が最も明るいため空が飽和しないような露光条件とする。

また、式（４）を満たさない場合については、空と人物の明暗差が大きいため撮影枚数を３枚とし、それぞれの露光条件を、
Ｅｖ＿ｓ＝Ｅｖ１＋ｌｏｇ₂（Ｙｓ／Ｓｓ）
Ｅｖ＿ｂ＝Ｅｖ１＋ｌｏｇ₂（Ｙｂ／Ｓｂ）
Ｅｖ＿ｈ＝Ｅｖ１＋ｌｏｇ₂（Ｙｈ／Ｓｈ）
とする。ただし、Ｙｂは背景領域の輝度レベルであり、Ｓｂはその他領域の目標レベル、Ｓｈは人物領域の目標レベルとする。

ステップＳ７０３では、制御回路１０６は、撮影した画像から人物領域、空領域、その他領域を判定する。判定方法は実施形態１におけるスルー画像に適用した方法、すなわち、図５の処理に従えば良い。異なる点はより領域分割精度を高めるため画像の分割数をより細かく設定し、例えば、５１２×５１２の領域に分割する。

ステップＳ７０４では、画像処理回路１０５は、人物領域用、空領域用、その他領域用それぞれについて画像を生成する。撮影枚数が３枚の場合は、各領域用の画像が適正な露光レベルで撮影されているため。図４の標準的な階調変換特性を用いてそれぞれ処理をすればよい。撮影枚数が１枚の場合には、画像処理回路１０５は明るさの異なる３枚の画像を出力する。空領域用の画像は空が適正レベルとなるよう撮影されているため、上記と同様に処理をする。また、人物領域用およびその他領域用の画像については、適正レベルよりもアンダーで撮影されているため適正レベルになるようなゲインをＡ／Ｄ変換器１０４の出力画像にかけてから同様に処理を行う。こうすることで人物領域用、空領域用、その他領域用それぞれについて適正レベルにゲイン調整された画像を得ることができる。

ステップＳ７０５では、画像処理回路１０５は、上記のように生成された３枚の画像について、ステップＳ７０３で決定した分割領域単位で人物領域と判定された領域には人物領域用の画像、空領域と判定された領域には空領域用の画像、背景領域と判定された領域には背景領域用の画像を採用して合成する。

ステップＳ７０６では、制御回路１０６は、ステップＳ７０５で合成された画像を表示装置１０８に表示する。

以上のように、本実施形態によれば、人物、空、背景領域それぞれについて適切な明るさに調整した画像を表示することが可能となる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (10)

1. 画像を撮像する撮像手段と、
   撮像された画像から複数の被写体領域を判定する判定手段と、
   前記被写体領域毎に測光値を取得する取得手段と、
   前記被写体領域毎の測光値から露光条件を決定する決定手段と、
   前記露光条件に基づいて、撮像された画像の階調を変換する階調変換手段と、を有することを特徴とする撮像装置。
2. 前記決定手段により決定された露光条件から画像の階調変換特性を設定する設定手段を更に有し、
   前記階調変換手段は、前記設定された階調変換特性を用いて撮像された画像の階調を変換することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記複数の被写体領域から主要被写体領域を判定し、
   前記設定手段は、前記判定手段により判定された主要被写体領域の明るさが所定の範囲内になるように前記階調変換特性を設定することを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は、前記複数の被写体領域の少なくとも１つの領域を選択し、選択した領域から得られる信号レベルが飽和しないように露光条件を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は、前記主要被写体領域から得られる信号レベルが所定値以下になる場合には、他の被写体領域から得られる露光条件にかかわらず主要被写体領域から得られる信号レベルが所定値以上になるように露光条件を決定することを特徴とする請求項４に記載の撮像装置。
6. 前記決定手段により決定された露光条件で撮像された画像を用いて被写体領域毎に明るさの異なる画像を生成し合成する画像合成手段を更に有することを特徴とする請求項１ないし５のいずれか１項に撮像装置。
7. 撮像された画像をリアルタイムで表示する表示手段を更に有することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 画像を撮像する撮像装置の制御方法であって、
   撮像された画像から複数の被写体領域を判定する判定工程と、
   前記被写体領域毎に測光値を取得する取得工程と、
   前記被写体領域毎の測光値から露光条件を決定する決定工程と、
   前記露光条件に基づいて、撮像された画像の階調を変換する階調変換工程と、を有することを特徴とする制御方法。
9. コンピュータを、請求項１ないし７のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
10. コンピュータを、請求項１ないし７のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。