JP2012109900A - 撮影装置、撮影方法、およびプログラム - Google Patents

Abstract

【課題】ダイナミックレンジを拡大する場合において、被写体が異なる複数の光源で照射されていても、それぞれの光源に適切なホワイトバランスを施すことが可能な撮影装置を提供する。
【解決手段】被写体輝度判定部３３は、被写体の輝度レベルを判定する。ダイナミックレンジ合成判定部３４は、ライブビュー画像のヒストグラム情報から、明るいところと暗いところに分布がある画像か否かを判定する。光源判定部３５は、ライブビュー画像の色温度から、太陽の直接光と照り返しによる散乱光を含む画像か否かを判定する。撮影制御部３６は、被写体輝度判定部３３、ダイナミックレンジ合成判定部３４、および光源判定部３５の判定結果から、ダイナミックレンジ拡大とマルチホワイトバランス合成を行うモードに設定した場合、異なる露出で２枚の画像を撮影し、撮影された２枚の画像をそれぞれホワイトバランス処理して合成するように画像処理部１４を制御する。
【選択図】図２

Description

本発明は、撮影装置、撮影方法、およびプログラムに関し、特に、ダイナミックレンジを拡大する場合において、被写体が異なる複数の光源で照射されていても、それぞれの光源に適切なホワイトバランスを施すことが可能な撮影装置、撮影方法、およびプログラムに関する。

近年、被写体を撮像した画像信号をデジタル信号として取り扱うデジタルスチルカメラ等のデジタル式の撮像装置が実用化されている。一般に、デジタル式の撮像装置においては、CCD（Charge Coupled Device Image Sensor）型やCMOS（Complementary Metal Oxide Semiconductor）型の撮像素子が用いられているが、そのダイナミックレンジは銀塩写真フィルムに比べ極めて狭い。ダイナミックレンジとは、撮像装置が撮像する画像の範囲内に明るい部分と暗い部分が同時に存在する場合に、何倍の過大光線が入っても破綻なく画像信号が得られるかのレベルである。

例えば、撮影対象の輝度が所定範囲内に収まるときは、露光量を調節することで輝度差を良好に反映した画像を撮影することができる。一方、撮影対象の輝度差が所定範囲を超えると、露光量を調節しても、比較的低輝度の部分が真黒になる「黒つぶれ（あるいは黒とび）」か、比較的高輝度の部分が真白になる「白とび（あるいは白つぶれ）」の発生を避けることができなくなる。

そこで、同一の被写体を異なる露出（シャッタスピード）で複数撮影して得られた画像を合成することにより、ダイナミックレンジを拡大する技術が各種提案されている。

例えば、特許文献１では、１枚の画像を撮影してヒストグラムを生成し、飽和していない（白とびしていない）画素が一定以下であれば２枚目以降が撮影される。そして、撮影された画素のＲＧＢ値に基づいて、１枚目の画像と、２枚目以降の画像のいずれかを使って、撮像素子のダイナミックレンジを超える最終画像を生成する技術が開示されている。

また例えば、特許文献２には、適正露出と露出アンダーで撮影し、それぞれの露出で撮影された画像にホワイトバランスを施し、適正露出で撮影された画像の飽和した部分を、露出アンダーで撮影された画像と置き換える技術が開示されている。

特開２００２−２９０８２４号公報 特開２０００−３５０２２０号公報

複数の光源があった場合、どちらか一方の光源に対して適切なホワイトバランスゲインがかかるが、他の光源に対しては相応しないホワイトバランスゲインがかかる。ダイナミックレンジを拡大しない場合、通常、相応しないホワイトバランスゲインがかけられた領域は、とても明るく写るか、またはとても暗く写るので、最終画像を目視しても、ホワイトバランスのズレは特に問題とはならない。しかしながら、特許文献１のように、ダイナミックレンジを拡大すると、明るいところも暗いところも適当な露出が再現されるので、ホワイトバランスのズレが無視できなくなる。

これに対し、特許文献２の技術によれば、低輝度エリアと高輝度エリアについて、それぞれホワイトバランスを施すことができるようになされているが、実際には、ユーザが、撮影する風景を見て、複数のホワイトバランス調整が必要か否かを予測しなければならない課題があった。人の目は、明るいところと暗いところがあっても、見やすいように目が順応してしまうので、ユーザが風景を見て、複数のホワイトバランス調整が必要な状況であるか否かを判断することは容易ではない。

本発明の目的は、ダイナミックレンジを拡大する場合において、被写体が異なる複数の光源で照射されていても、それぞれの光源に適切なホワイトバランスを施すことが可能な撮影装置、撮影方法、およびプログラムを提供することである。

本発明の一側面は、撮影装置において、撮影素子と、前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定手段と、前記判定手段により、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御手段と、露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成手段とを備えることを特徴とする。

本発明の一側面は、撮影素子を備える撮影装置の撮影方法において、前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定ステップと、前記判定ステップにより、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御ステップと、露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成ステップとを含むことを特徴とする。

本発明の一側面は、撮影素子を備える撮影装置の撮影処理をコンピュータに実行させるプログラムにおいて、前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定ステップと、前記判定ステップにより、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御ステップと、露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明によれば、例えば、ダイナミックレンジを拡大する場合において、被写体が異なる複数の光源で照射されていても、それぞれの光源に適切なホワイトバランスを施すことが可能な撮影装置、撮影方法、およびプログラムを提供することができる。

本実施形態に係る撮影装置の構成例を示すブロック図である。 撮影装置の機能構成例を示すブロック図である 孤立ブロックの検出の例を説明する図である。 ヒストグラムの例を示す図である。 ダイナミックレンジ拡大とマルチホワイトバランス合成の具体例について説明する図である。 撮影条件判定処理を説明するフローチャートである。

［本発明の実施の形態］
図１は、本実施形態に係る撮影装置１の構成例を示すブロック図である。撮影装置１は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機などの、静止画の撮影機能を有する装置である。

CPU(Central Processing Unit)１１は、所定のプログラムを実行し、撮影装置１の全体の動作を制御する。CPU１１は、たとえば、後述するように、ユーザが撮影しようとしているシーンをシャッタボタンが押される前に検出する。撮影シーンの検出は、CMOS（Complementary Metal Oxide Semiconductor）センサ１２により取り込まれたライブビュー用の画像に基づいて行われる。CPU１１は、検出したシーンが、ダイナミックレンジ拡大が必要で、かつ、ホワイトバランスの不整合が起きるシーンか否か、ダイナミックレンジ拡大が必要で、かつ、ホワイトバランスの不整合が起きないシーンか否か、あるいは、ダイナミックレンジ拡大が必要でないシーンか否かを判定する（以下、この処理を、シーン判定処理と称する）。そして、CPU１１は、判定の結果に応じた最適な方法で撮影を行う。

CMOSセンサ１２は、レンズにより取り込まれた光の光電変換を行い、光電変換によって得られた画像信号のA/D（Analog/Digital）変換を行う。CMOSセンサ１２は、A/D変換によって得られた画像データをメモリ１３に記憶させる。

画像処理部１４は、シャッタボタンが押される前にCMOSセンサ１２により撮影され、メモリ１３に記憶された画像をライブビュー画像としてメモリ１３から読み出し、LCD（Liquid Crystal Display）１６に表示させる。また、画像処理部１４は、ユーザの撮影しようとしている撮影シーンの検出結果に応じて、撮像の結果得られた画像に対してダイナミックレンジ拡大処理、ホワイトバランス処理、輪郭強調処理などの各種の画像処理を施す。画像処理部１４は、各種の画像処理を施した画像を出力部１５またはLCD１６に出力する。CPU１１から画像処理部１４に対しては、撮影シーンの検出結果を表す情報が供給される。

出力部１５は、画像処理部１４から供給された撮影画像を、撮影装置１に対して着脱可能なメモリカードに記憶させたり、外部の装置に送信したりする。LCD１６は、画像処理部１４から供給されたライブビュー画像または撮影画像を表示する。

ストロボ１７は、CPU１１による制御に従って発光し、被写体に光を照射する。操作部１８は、シャッタボタンなどの各種のボタンにより構成され、ボタンが操作されたとき、ユーザの操作の内容を表す信号をCPU１１に出力する。

図２は、シーン判定処理を行い、その判定結果に応じた方法で撮像を行う場合の撮影装置１の機能構成例を示すブロック図である。図２に示す機能部のうちの少なくとも一部は、図１のCPU１１により所定のプログラムが実行されることによって実現される。

図２に示すように、撮影装置１においては、プレビュー画像取得部３１、ＡＥ制御部３２、被写体輝度判定部３３、ダイナミックレンジ合成判定部３４、光源判定部３５、および撮影制御部３６が実現される。

プレビュー画像取得部３１は、シャッタボタンが押される前にメモリ１３に記憶されている画像データをライブビュー用画像として取得し、取得したライブビュー画像をＡＥ制御部３２に供給する。

ＡＥ制御部３２は、ライブビュー画像を複数のブロックに分割し、各ブロックのＲ、Ｇ、Ｂの平均値をそれぞれ計算し、計算したＲ、Ｇ、Ｂの平均値を被写体輝度判定部３３およびと光源判定部３５に供給する。ブロックとは、複数の画素の集まりからなる分割領域のことであり、たとえば、１つのライブビュー画像を１２ブロック×８ブロックに分割したものである。

ＡＥ制御部３２はまた、計算したＲ、Ｇ、Ｂの平均値を元に輝度値Ｙに変換する。ＡＥ制御部３２は、画像の輝度値Ｙが第１の閾値以下である画素の数（黒つぶれ量）を求めるとともに、画像の輝度値Ｙが第１の閾値よりも大きい第２の閾値以上である画素の数（白とび量）を求め、黒つぶれ量あるいは白とび量が第３の閾値以上であるブロックには、フラグを１にセットし、黒つぶれ量あるいは白とび量が第３の閾値未満であるブロックには、フラグを０にセットする。これにより、例えば、図３（Ａ）に示すように、各ブロックに０または１のフラグがセットされる。

ＡＥ制御部３２は、各ブロックにフラグをセットした後、孤立ブロックの検出を行う。孤立ブロックの検出とは、注目するブロックのフラグが、当該ブロックに隣接する８個のブロックのフラグのいずれとも一致しない場合（当該ブロックに隣接する８個のブロックのフラグとは孤立している場合）には、そのブロックを除去（フラグを反転）することである。孤立ブロックの検出により、例えば、図３（Ｂ）に示すように、図３（Ａ）で丸印で囲まれたブロックが除去される。なお画像の端または角にあるブロックの場合、隣接する５個または３個のブロックのフラグのいずれとも一致しない場合、孤立していると判定される。

ＡＥ制御部３２はさらに、孤立ブロックの検出を行った後、各ブロックの輝度値Ｙと適正露出値からＥＶ単位に変換し、ブロック毎に輝度値ＹをＥＶ単位で算出した後、これら１２×８個＝９６個のデータでヒストグラムを生成する。これにより、例えば、図４に示すようなヒストグラムが生成される。図４において、横軸は、露出補正量（適正露出からのずれ量）を示し、縦軸は、度数を示す。ここで、露出補正量のプラスは、適正露出値に対する露出オーバーを意味し、露出補正量のマイナスは、適正露出値に対する露出アンダーを意味する。

ＡＥ制御部３２は、生成したヒストグラム情報をダイナミックレンジ合成判定部３４に供給する。

被写体輝度判定部３３は、ＡＥ制御部３２から供給されたＲ、Ｇ、Ｂの平均値を元に被写体の輝度レベルを取得（抽出）し、所定の閾値以上の輝度レベルであるか否かを判定する。被写体輝度判定部３３は、被写体の輝度が所定の閾値以上の輝度レベルであると判定した場合、判定結果をダイナミックレンジ合成判定部３４に供給し、被写体の輝度が所定の閾値未満であると判定した場合、判定結果を撮影制御部３６に供給する。

ダイナミックレンジ合成判定部３４は、ＡＥ制御部３２から供給されたヒストグラム情報から、露出補正量が所定値（例えば＋１．５）より大きい非孤立ブロック（白とびしている領域）が所定数以上あるか否か、また、露出補正量が所定値（例えば−１．５）より小さい非孤立ブロック（黒つぶれしている領域）が所定数以上あるか否か、さらに、露出補正量が所定範囲内（適正露出値付近）のブロックが所定数以下であるか否かを判定する。これらの判定により、明るいところと暗いところに分布がある画像であるか否かがわかる。

ダイナミックレンジ合成判定部３４は、上述した３つの判定条件のうち、全てを満たす場合には、その判定結果を光源判定部３５に供給し、いずれか１つでも満たさない場合には、その判定結果を撮影制御部３６に供給する。

光源判定部３５は、ＡＥ制御部３２から供給されたＲ、Ｇ、Ｂの平均値を元に各ブロックの色温度を抽出して、色温度が所定の範囲内（例えば４５００Ｋ〜６０００Ｋ）にある非孤立ブロックが所定数以上あるか否か、また、色温度が所定の範囲内（例えば７０００Ｋ〜９０００Ｋ）にあり、かつ、輝度値Ｙが所定値（例えば１００）未満である非孤立ブロックが所定数以上あるか否かを判定する。これらの判定により、太陽の直接光と照り返しによる散乱光を含む画像であるか否かがわかる。すなわち異なる光源からの光で照らされた領域が存在するか否かがわかる。

光源判定部３５は、上述した２つの判定条件の判定結果を、撮影制御部３６に供給する。

撮影制御部３６は、被写体輝度判定部３３から供給された判定結果、ダイナミックレンジ合成判定部３４から供給された判定結果、および光源判定部３５から供給された判定結果に基づいて撮影モードを設定し、ユーザによりシャッタボタンが押されたとき、設定した撮影モードに従ってCMOSセンサ１２とストロボ１７を制御して撮影を行う。

例えば、撮影制御部３６は、ダイナミックレンジ拡大とマルチホワイトバランス合成を行うモードに設定した場合、CMOSセンサ１２を制御し、異なる露出で２枚の画像を撮影し、撮影された２枚の画像をそれぞれホワイトバランス処理して合成するように画像処理部１４を制御する。

また例えば、撮影制御部３６は、ダイナミックレンジ拡大のみを行うモードに設定した場合、CMOSセンサ１２を制御し、異なる露出で２枚の画像を撮影し、撮影された２枚の画像を合成するように画像処理部１４を制御する。

さらに例えば、撮影制御部３６は、ダイナミックレンジ拡大を行わない通常モードに設定した場合、CMOSセンサ１２を制御し、１枚の画像を撮影する。

このように、撮影装置１においては、ダイナミックレンジ拡大とマルチホワイトバランス合成を行うモードに設定された場合、異なる露出で複数の画像が撮影され、撮影された複数の画像それぞれに適切なホワイトバランスを施した後で合成される。

［画像処理部１４の処理の切り替えについて］
次に、画像処理部１４による処理の切り替えについて説明する。画像処理部１４においては、被写体輝度判定部３３、ダイナミックレンジ合成判定部３４、および光源判定部３５による判定結果に応じて切り替えられる。

＜ダイナミックレンジ拡大とマルチホワイトバランス合成を行う場合＞
異なる露出で２枚の画像が撮影され、撮影された２枚の画像が画像処理部１４に供給される。画像処理部１４は、たとえば、屋外で建物を撮影する場合を例とすると、露出オーバーで撮影された画像の物体が存在する部分にホワイトバランスを施し、露出アンダーで撮影された画像の青空の部分にホワイトバランスを施し、露出オーバーで撮影されホワイトバランスが施された物体が存在する部分の画像と、露出アンダーで撮影されホワイトバランスが施された青空の部分の画像とを合成し、１枚の合成画像を生成する。

図５は、ダイナミックレンジ拡大とマルチホワイトバランス合成の具体例について説明する図である。図５に示す画像Ｐ１は、露出アンダー（露出補正量ΔＥｖ＝−２Ｅｖ）で撮影された画像であり、画像Ｐ２は、露出オーバー（露出補正量ΔＥｖ＝２Ｅｖ）で撮影された画像である。

露出アンダーで撮影された画像Ｐ１は、矢印＃１の先に示すように、伸張し（この処理はA-Lawで圧縮されていた場合に行われるが、圧縮されていない場合には不要）、矢印＃２の先に示すように、ホワイトバランスが施される。そして、矢印＃３の先に示すように露出アンダーで撮影されホワイトバランスが施された画像が、適正露出になるように露出オーバー側に補正される。すなわち、適正露出値に対してΔＥｖ＝−ΔＥｖ（＝２Ｅｖ＝−（−２Ｅｖ（露出補正量）））だけ露出オーバー値に設定される。適正露出に補正された画像は、矢印＃４の先に示すように乗算器に供給される。

一方、露出オーバーで撮影された画像Ｐ２は、矢印＃５の先に示すように、伸張し（この処理はA-Lawで圧縮されていた場合に行われるが、圧縮されていない場合には不要）、矢印＃６の先に示すように、ホワイトバランスが施される。なおここでは、飽和してない領域（あるレベルより値が低い画素の領域）に適したホワイトバランスが施される。そして、矢印＃７の先に示すように露出オーバーで撮影されホワイトバランスが施された画像が、適正露出になるように露出アンダー側に補正される。すなわち、適正露出値に対してΔＥｖ＝−ΔＥｖ（＝−２Ｅｖ＝−（２Ｅｖ（露出補正量）））だけ露出アンダー値に設定される。適正露出に補正された画像は、矢印＃８の先に示すように乗算器に供給される。

また、矢印＃９の先に示すように、露出オーバーで撮影されホワイトバランスが施された画像の画素値が所定の閾値（例えば、１０ビット画像において画素値７００）より大きい画素とそうでない画素とからマスクデータＭが生成される。生成されたマスクデータＭは、矢印＃１０の先に示すように、メジアンフィルタによりノイズが除去され、矢印＃１１の先に示すように、反転される。反転されたマスクデータＭ´は矢印＃１２の先に示すように、乗算器に供給される。この乗算器は、ホワイトバランスが施され適正露出に補正された画像Ｐ１とマスクデータＭ´とから、青空の部分の画像を抽出し、矢印＃１３の先に示すように、加算器に供給する。

メジアンフィルタによりノイズが除去されたマスクデータＭは、矢印＃１４の先に示すように、乗算器に供給される。この乗算器は、ホワイトバランスが施され適正露出に補正された画像Ｐ２とマスクデータＭとから、物体が存在する部分の画像を抽出し、矢印＃１５の先に示すように、加算器に供給する。

これにより、加算器は、露出アンダーで撮影されホワイトバランスが施された青空の部分の画像と、露出オーバーで撮影されホワイトバランスが施された物体が存在する部分の画像とを合成し、１枚の合成画像Ｐ３を生成する。そして、画像処理部１４は、合成画像Ｐ３に対して各種の画像処理を施す。

＜ダイナミックレンジ拡大のみを行う場合＞
異なる露出で複数の画像が撮影され、撮影された複数の画像が画像処理部１４に供給される。画像処理部１４は、露出オーバーで撮影された物体が存在する部分の画像と、露出アンダーで撮影された青空の部分の画像とを合成し、１枚の合成画像を生成する。そして、画像処理部１４は、合成画像に対して各種の画像処理を施す。

＜ダイナミックレンジ拡大を行わない場合＞
適正露出で１枚の画像が撮影され、画像処理部１４に供給される。画像処理部１４は、１枚の画像に対して各種の画像処理を施す。

次に、図６のフローチャートを参照して、撮影装置１が実行する撮影条件判定処理について説明する。

まず、撮影制御部３６は、CMOSセンサ１２を制御してライブビュー画像を撮影する。撮影されたライブビュー画像は、メモリ１３に記憶された後、ライブビュー画像取得部３１に供給されるとともに、画像処理部１４により読み出され、LCD１６に表示される。

ステップＳ１において、ライブビュー画像取得部３１は、ライブビュー画像を取得し、取得したライブビュー用画像をＡＥ制御部３２に供給する。ＡＥ制御部３２は、ライブビュー画像を複数のブロックに分割し、各ブロックのＲ、Ｇ、Ｂの平均値をそれぞれ計算し、計算した各ブロックのＲ、Ｇ、Ｂの平均値を被写体輝度判定部３３と光源判定部３５に供給する。またＡＥ制御部３２は、図３（Ａ）、（Ｂ）および図４（Ａ）を参照して説明したようにして、ライブビュー用画像のヒストグラム情報を生成し、ダイナミックレンジ合成判定部３４に供給する。

ステップＳ２において、被写体輝度判定部３３は、ＡＥ制御部３２から供給された各ブロックのＲ、Ｇ、Ｂの平均値を元に被写体の輝度レベルを取得し、それが１２Ｌｖ（ライトビュー）以上であるか否かを判定する。なお晴れた日の明るさは、１４Ｌｖ程度となる。被写体輝度レベルが１２Ｌｖ以上である場合には、昼間の屋外で撮影された画像であると判断することができる。

ステップＳ２において、被写体の輝度レベルが１２Ｌｖ以上であると判定された場合、ステップＳ３に進み、ダイナミックレンジ合成判定部３４は、ＡＥ制御部３２から供給されたヒストグラム情報から、露出補正量が＋１．５より大きい非孤立ブロックが１５個以上あるか否かを判定する。つまり、一定以上の大きさの明るいところ（領域）を含む画像であるか否かが判定される。

ステップＳ３において、露出補正量が＋１．５より大きい非孤立ブロックが１５個以上あると判定された場合、ステップＳ４に進み、ダイナミックレンジ合成判定部３４は、露出補正量が−１．５より小さい非孤立ブロックが５個以上あるか否かを判定する。つまり、一定以上の大きさの暗いところ（領域）を含む画像であるか否かを判定する。

ステップＳ４において、露出補正量が−１．５より小さい非孤立ブロックが５個以上あると判定された場合、ステップＳ５に進む。すなわちステップＳ２〜ステップＳ４の処理により、撮影シーンが、明るいところと暗いところがあるシーンであり、ダイナミックレンジを拡大した方がよいシーンであるか否かが判定される。

ステップＳ５において、ダイナミックレンジ合成判定部３４は、露出補正量が−０．１より大きく＋０．１より小さいブロックが１０個以下であるか否かを判定する。つまり、適正露出値付近の分布が少ない画像、すなわち明るいか暗いかがはっきりしていないところがあまりない画像であるか否かが判定される。

ステップＳ５において、露出補正量が−０．１より大きく＋０．１より小さいブロックが１０個以下であると判定された場合、ステップＳ６に進み、光源判定部３５は、各ブロックのＲ、Ｇ、Ｂの平均値を元に各ブロックの色温度を抽出し、色温度が４５００Ｋ〜６０００Ｋの非孤立ブロックが５個以上あるか否かを判定する。つまり、太陽光で照らされた領域（図５の画像Ｐ１，Ｐ２では、青空の部分）を含む画像か否かが判定される。

ステップＳ６において、色温度が４５００Ｋ〜６０００Ｋの非孤立ブロックが５個以上あると判定された場合、ステップＳ７に進み、光源判定部３５は、色温度が７０００Ｋ〜９０００Ｋで、かつ、輝度値Ｙが１００より小さい非孤立ブロックが５個以上あるか否かを判定する。つまり、照り返しによる散乱光で照らされた部分（図５の画像Ｐ１，Ｐ２では、建物や道路等の部分）を含む画像か否かが判定される。

ステップＳ７において、色温度が７０００Ｋ〜９０００Ｋで、かつ、輝度値Ｙが１００より小さい非孤立ブロックが５個以上あると判定された場合、すなわち、撮影シーンが、明るいところと暗いところがあるシーンであり、ダイナミックレンジを拡大した方がよいシーンであり（ステップＳ２〜Ｓ４でＹＥＳ）、かつ、異なる光源で照らされている領域があるシーンである（ステップＳ６，Ｓ７でＹＥＳ）と判定された場合、ステップＳ８に進み、撮影制御部３６は、光源判定部３５による判定結果に基づいて、「２枚撮り、マルチホワイトバランス合成」の撮影条件と判断する。そして、撮影制御部３６は、「２枚撮り、マルチホワイトバランス合成」を行うモードに従って、CMOSセンサ１２とストロボ１７、および画像処理部１４を制御する。これにより、露出アンダーと露出オーバーの２枚の画像が撮影され、撮影された２枚の画像がそれぞれホワイトバランス処理され、露出アンダーで撮影されホワイトバランスが施された青空の部分の画像と、露出オーバーで撮影されホワイトバランスが施された物体が存在する部分の画像とが合成され、合成画像に各種の画像処理が施される。

一方、ステップＳ７において、色温度が７０００Ｋ〜９０００Ｋで、かつ、輝度値Ｙが１００より小さい非孤立ブロックが５個以上あるという条件を満たせないと判定された場合、および、ステップＳ６において、色温度が４５００Ｋ〜６０００Ｋの非孤立ブロックが５個以上あるという条件を満たせないと判定された場合、すなわち、撮影シーンが、明るいところと暗いところがあるシーンであり、ダイナミックレンジを拡大した方がよいシーンであるが（ステップＳ２〜Ｓ４でＹＥＳ）、異なる光源で照らされている領域がないシーンである（ステップＳ６，Ｓ７でＮＯ）と判定された場合、ステップＳ９に進む。

ステップＳ９において、撮影制御部３６は、光源判定部３５による判定結果に基づいて、「２枚撮り、ダイナミックレンジ合成」の撮影条件と判断する。そして、撮影制御部３６は、「２枚撮り、ダイナミックレンジ合成」を行うモードに従って、CMOSセンサ１２とストロボ１７、および画像処理部１４を制御する。これにより、露出アンダーと露出オーバーの２枚の画像が撮影され、露出アンダーで撮影された明るい部分の画像と、露出オーバーで撮影された暗い部分の画像とが合成され、合成画像に各種の画像処理が施される。

また、ステップＳ２において、被写体の輝度レベルが１２Ｌｖ以上ではないと判定された場合、ステップＳ３において、露出補正量が＋１．５より大きい非孤立ブロックが１５個以上ないと判定された場合、ステップＳ４において、露出補正量が−１．５より小さい非孤立ブロックが５個以上ないと判定された場合、ステップＳ５において、露出補正量が−０．１より大きく＋０．１より小さいブロックが１０個以下ではないと判定された場合、すなわち、撮影シーンが、明るいところと暗いところがあるシーンであり、ダイナミックレンジを拡大した方がよいシーンではないと判定された場合（ステップＳ２〜Ｓ４でＮＯ）、ステップＳ１０に進む。すなわち、ステップＳ２乃至Ｓ５の判定条件のうちのいずれか１つでも満たさない場合には、ステップＳ１０に進む。

ステップＳ１０において、撮影制御部３６は、光源判定部３５による判定結果に基づいて、「１枚撮り、合成なし」の撮影条件と判断する。そして、撮影制御部３６は、「１枚撮り、合成なし」を行うモードに従って、CMOSセンサ１２とストロボ１７、および画像処理部１４を制御する。これにより、１枚の画像が撮影され、撮影画像に各種の画像処理が施される。

［発明の実施の形態における効果］
以上のように、撮影シーンが、明るいところと暗いところがあるシーンであり、ダイナミックレンジを拡大した方がよいシーンであるか否かを判定し（ステップＳ２〜Ｓ４でＹＥＳ）、また異なる光源で照らされている領域があるシーンであるか否かを判定し（ステップＳ６，Ｓ７でＹＥＳ）、それらの判定結果に基づいて、ダイナミックレンジ拡大とマルチホワイトバランス合成を行ったり（ステップＳ８）、ダイナミックレンジ拡大のみを行ったり（ステップＳ９）等の処理を行うようにしたので、ユーザは、簡単に、適切ダイナミックレンジとホワイトバランスの画像を得ることができる。またそれぞれの光源に適切なホワイトバランスを施すことが可能となり、明るいところと暗いところでそれぞれホワイトバランスが適正で、かつ、再現性のよい画像を得ることが可能となる。

また以上のように、明るいところと暗いところの分布量（各ブロックの内容）に応じて、ダイナミックレンジ拡大が必要か否かを判定するようにしたので（図６のステップＳ３，Ｓ４）、ダイナミックレンジ拡大の必要性を適切に判定することができる。

また、さらに、画像の色温度に応じて、マルチホワイトバランス合成するか否かを判定するようにしたので（図６のステップ６，Ｓ７）、ダイナミックレンジ拡大を行った場合にホワイトバランスの不整合が起こるか否かを、適切に判定することができる。

また以上においては、明るいか暗いかがはっきりしていないところがあまりない画像であるか否かを判定し（図６のステップＳ５）、そのような画像ではないと判定された場合、ダイナミックレンジ合成は行われない。明るいか暗いかがはっきりしていないところが多い画像では、通常、ダイナミックレンジ合成してもその効果を得ることができないので、そのような画像の場合、ダイナミックレンジ合成を行わない。すなわち効率的に画像処理を行うことができる。

また以上においては、撮影前のプレビュー画像を利用して（図６のステップＳ１）、撮影方法の判定を行うようにしたので、撮影を適切に行うことができる。

［変形例］
なお図５に示したダイナミックレンジ拡大とマルチホワイトバランス合成方法では、露出アンダーで撮影された画像Ｐ１から、明るい領域（この例の場合、空の領域）を抽出し、露出オーバーで撮影された画像Ｐ２から、暗い部分を抽出し（この例の場合、建物や道路等の領域）、それらを合成するようにした。これに対して、露出オーバーで撮影された画像Ｐ２に、画像Ｐ１から抽出した明るい領域を合成して（すなわち、画像Ｐ２の飽和している領域を画像Ｐ１の明るい領域に置き換えて）、最終画像を生成することもできる。暗い方が画像の情報量が多いと言われている。そこで、このようにすれば、暗い画像Ｐ１をそのまま維持することができる。

以上においては、ダイナミックレンジ拡大とマルチホワイトバランス合成する処理がデジタルカメラにおいて行われるものとしたが、デジタルカメラにて異なる露出で撮影された２枚の画像を取り込んだ情報処理装置（パーソナルコンピュータなど）において、ダイナミックレンジ拡大とマルチホワイトバランス合成する上述した処理が行われるようにしてもよい。

また、以上においては、明るいところと暗いところの分布量を判定した後、色温度を判定するようにしたが、先に色温度を判定し、明るいところと暗いところの分布量の閾値を決定し、決定した閾値に基づいて、明るいところと暗いところの分布量を判定することも可能である。このようにすることにより、ダイナミックレンジ合成の判断をより適切に行うことができる。

また、以上においては、屋外の撮影を前提として説明したが、異なる光源で照らされた領域であって、明るさがことなる領域が含まれる画像が得られる場合であれば、他の状況でもよく、その状況によって、図６に示される条件の数値（たとえば、輝度値、ブロックの数、露出等）は適宜変更される。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせたりすることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。

１ 撮影装置
１１ CPU
３１ ライブビュー画像取得部
３２ ＡＥ制御部
３３ 被写体輝度判定部
３４ ダイナミックレンジ合成判定部
３５ 光源判定部
３６ 撮影制御部

Claims (5)

1. 撮影装置において、
   撮影素子と、
   前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定手段と、
   前記判定手段により、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御手段と、
   露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成手段と
   を備えることを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記判定手段は、撮像前の画像のヒストグラム情報から、白とびしている領域の大きさと黒つぶれしている領域の大きさに応じて、前記異なる露出で２枚の画像を撮影し合成するか否かを判定する
   ことを特徴とする撮影装置。
3. 請求項１または請求項２に記載の撮影装置において、
   前記判定手段は、前記撮像前の画像の色温度を抽出し、色温度が所定範囲内にある領域の大きさに応じて合成するか否かをさらに判定する
   ことを特徴とする撮影装置。
4. 撮影素子を備える撮影装置の撮影方法において、
   前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定ステップと、
   前記判定ステップにより、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御ステップと、
   露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成ステップと
   を含むことを特徴とする撮影方法。
5. 撮影素子を備える撮影装置の撮影処理をコンピュータに実行させるプログラムにおいて、
   前記撮像素子を介して入力される撮像前の画像の被写体輝度、および色温度に基づいて、その画像に、異なる光源で照らされた領域であって、明るさが異なる領域が含まれているか否かを判定する判定ステップと、
   前記判定ステップにより、異なる光源で照らされた領域であって、明るさが異なる領域が含まれていると判定された場合、異なる露出で２枚の画像を撮影する撮影制御ステップと、
   露出オーバーで撮影された画像にホワイトバランスを施すとともに、露出アンダーで撮影された画像にホワイトバランスを施し、前記露出オーバーで撮影されホワイトバランスが施された画像の暗い領域と、前記露出アンダーで撮影されホワイトバランスが施された画像の明るい領域を合成する合成ステップと
   を含む処理をコンピュータに実行させるプログラム。