JP2015119288A - 撮像装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影時の様々な状況を考慮して撮影方式を決定する。
【解決手段】撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出手段と、撮影画面内の被写体が動いているか否かを判定する判定手段と、輝度差が第１の閾値未満で被写体が動いている場合には第１の撮影方式を、輝度差が第１の閾値未満で被写体が動いていない場合には第２の撮影方式を、輝度差が第１の閾値以上の場合には第３の撮影方式を選択する選択手段と、第１の撮影方式では低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を、第２の撮影方式では複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、第１または第２の撮影方式では第１または第２の処理画像を出力し、第３の撮影方式では所定の露出で撮像された画像を出力する出力手段と、を備える。
【選択図】図４

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。

従来の撮像装置には、高輝度側の輝度レンジがダイナミックレンジに収まるような露出と、低輝度側の輝度レンジがダイナミックレンジに収まるような露出とで、複数枚の画像を撮影するものがある（特許文献１参照）。また、異なる露光で複数回の撮影を行い、得られた複数の画像を合成処理することで１つのダイナミックレンジ拡大画像を生成する技術も知られている（特許文献２参照）。特許文献２は、ダイナミックレンジの拡大量に基づいた段数でアンダー露光にして撮影を行い、画像処理部でゲイン補正することで１つのダイナミックレンジ拡大画像を生成する技術も開示している。

特開２００８−１０４００９号公報 特開２０１０−０７４６１８号公報

上述の各技術は、特に撮影画面内に輝度差があるシーンで有効であるが、撮影時の状況によっては、好ましくない結果をもたらす場合がある。例えば、被写体位置が頻繁に変化する状況では、複数回の撮影により得られた複数の画像中の被写体位置が異なるため、これら複数の画像の合成処理は失敗する可能性がある。また、例えば、撮影画面内の輝度差が大きなシーンではダイナミックレンジの拡大量が大きくなり、ゲイン補正によるノイズの増加が目立ってしまう。

本発明はこのような状況に鑑みてなされたものであり、撮影時の様々な状況を考慮して撮影方式を決定する技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出手段と、前記撮影画面内の被写体が動いているか否かを判定する判定手段と、前記輝度差が第１の閾値未満で前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記輝度差が前記第１の閾値未満で前記被写体が動いていないと判定された場合、第２の撮影方式を選択し、前記輝度差が前記第１の閾値以上の場合、第３の撮影方式を選択する選択手段と、前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力し、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力する出力手段と、を備えることを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、撮影時の様々な状況を考慮して撮影方式を決定することが可能となる。

第１の実施形態に係る撮像装置１００の構成を示す図。 撮像装置１００による静止画記録処理を示すフローチャート。 Ｓ２０９のブラケット撮影処理の詳細を示すフローチャート。 Ｓ３０２のＡＥＢ種別決定処理の詳細を示すフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１に、第１の実施形態に係る撮像装置１００の構成を示す。撮像部１０は、光を受光し、Ａ／Ｄ変換によってデジタル化された画像信号を出力する。撮像部１０が受光する光は、フォーカスレンズを含むレンズ群、シャッター、及び絞りを通過したものである。シャッター及び絞りは露出制御部２０によって、フォーカスレンズはフォーカス制御部３０によって、それぞれ制御することが可能である。また、ストロボ制御部３５によってストロボ（フラッシュ）を発光させることもできる。

撮像部１０から出力された画像データは、画像処理回路６０へ入力すると共に、メモリ５０に記憶することができる。メモリ５０に一旦記憶した画像データは、再度読み出すことができ、システム制御部４０から画像データを参照したり、読み出した画像データを画像処理回路６０に入力したりすることが可能である。更に、画像処理回路６０で画像処理した画像データをメモリ５０に書き戻したり、システム制御部４０から任意のデータをメモリ５０に書き込んだりすることも可能である。

画像処理回路６０は、以下のような機能を有している。
・入力画像にガンマをかける。
・メモリ５０から読み出した複数の画像を合成する。
・入力画像の特徴を抽出することで顔などの被写体を検出する。
・複数の入力画像の輝度差分を算出する。特に、連続する２フレームの画像の輝度差分を出力することで、被写体に変化があるか否かを判定することができる。
・入力画像の輝度ヒストグラムを出力する。

表示部７０は、画像処理回路６０で画像処理されメモリ５０に記憶されたデジタル画像データをＤ／Ａ変換して、液晶ディスプレイのような表示装置に画像を表示することができる。また、表示部７０は、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示したりすることも可能である。

記録部８０は、撮影した画像データをメディアに記憶することができる。操作部９０は、特に、撮影指示を行うためのシャッタースイッチＳＷ１ ９２、及びＳＷ２ ９４を含む。シャッタースイッチＳＷ１ ９２は、シャッターボタン（不図示）の操作途中でＯＮとなり、露出やピントの自動制御等の撮影準備動作の開始を指示する。シャッタースイッチＳＷ２ ９４は、シャッターボタン（不図示）の操作完了でＯＮとなり、静止画撮影の指示を行う。操作部９０は、他にも、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えるモード切替スイッチや、カメラ設定を変更可能なパラメータ選択スイッチなどを含む。

図２は、撮像装置１００による静止画記録処理を示すフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部４０が撮像装置１００の各ブロックを適宜用いて実現される。撮像装置１００のカメラ動作モードが静止画撮影モードに設定されると、本フローチャートの処理が開始する。本実施形態では、シャッタースイッチＳＷ１ ９２、及びＳＷ２ ９４によって撮影動作が指示されると、撮像装置１００は、シーンに応じたブラケット撮影を選択し、３枚の静止画を出力する。

Ｓ２０１で、システム制御部４０は、シャッタースイッチＳＷ１ ９２がＯＮであるか否かを判定する。ＯＮであれば、処理はＳ２０２に進む。Ｓ２０２で、システム制御部４０は測光処理を行い、被写体の輝度値を算出する。被写体の輝度値は、撮像部１０から出力される画像データの輝度信号値と、その画像が露光された時点の露出条件とから算出される。また、システム制御部４０は、画像データの輝度信号値や画像処理回路６０から出力される輝度ヒストグラムを参照し、画像の低輝度領域と高輝度領域の輝度値についても別途求めておく。

Ｓ２０３で、システム制御部４０は、被写体が動いているか否かを判定する。ここでの判定結果は、後で、ＨＤＲ合成処理を行うか否かを判定するために使用される。詳細は後述するが、被写体が動いている場合は、連続して撮影した複数の画像の合成に失敗する可能性が高いため、撮像装置１００はＨＤＲ合成処理を行わない。被写体が動いているか否かの判定には、画像処理回路６０から出力される連続する２フレームの画像の輝度差分や、画像処理回路６０から出力される顔座標の時間変化量や、測光により得られる輝度値の時間変化量などが用いられる。また、被写体が静止していても撮像装置１００が動いている場合には、被写体に相対的な動きが生じる。そのため、撮像装置１００に搭載されているジャイロセンサ（不図示）から出力される角速度情報などを用いて撮像装置１００が動いているか否かを判定することにより、被写体が動いているか否かを判定してもよい。これらの輝度差分、顔座標の時間変化量、輝度値の時間変化量、角速度情報などの大きさが閾値以上の場合に、システム制御部４０は、被写体に動きがあると判定する。

Ｓ２０４で、システム制御部４０は、距離マップを取得する。距離マップは、画角中の小領域ごとの距離情報を示す。まず、システム制御部４０は、画角に対してＭ×Ｎの測距領域を設定する。そして、システム制御部４０は、フォーカス制御部３０によってフォーカスレンズを移動させながら、撮像部１０から出力される画像データのコントラストを示すＡＦ評価値を各測距領域に対して求めていく。ＡＦ評価値は、画像処理回路６０から出力される。或いは、システム制御部４０は、画像データもしくは画像処理回路６０の出力から演算によりＡＦ評価値を求めてもよい。各フォーカスレンズ位置に対して求まった各測距領域のＡＦ評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置（以下、ピークポジション）が求まり、これが領域ごとの距離情報に相当する。即ち、距離マップは、Ｍ×Ｎのピークポジション情報である。なお、撮像部１０に含まれる撮像素子が複数の測距領域ごとにデフォーカス量を求められる構成であれば、各測距領域のデフォーカス量に基づいて距離マップを取得してもよい。

Ｓ２０５で、システム制御部４０は、Ｓ２０４で得られた距離マップ、及びＳ２０２で得られた測光結果を参照して、ブラケット撮影の種類を決定する。まず、システム制御部４０は、距離マップを参照して撮影画面内に距離差のある被写体が混在するか否かを判定する。距離差のある被写体が混在する場合、システム制御部４０は、フォーカスブラケットを選択する。即ち、撮像装置１００は、フォーカスレンズの位置を変えて複数回の撮影を行うことになる。撮影画面内の距離差が小さい場合は、システム制御部４０は、Ｓ２０２で得られた低輝度領域の輝度値と高輝度領域の輝度値との差分（輝度差）を算出し、輝度差が所定の閾値（第３の閾値）以上か否かを判定する。輝度差が所定の閾値以上である場合は、システム制御部４０は、ＡＥブラケット（以下、ＡＥＢ）を選択する。即ち、撮像装置１００は、露出を変えて複数回の撮影を行うことになる。輝度差が所定の閾値未満の場合は、システム制御部４０は、連写を選択する。即ち、撮像装置１００は、同じフォーカス位置、同じ露出で３枚連続撮影することになる。この場合、撮像装置１００は、図４を参照して後述するＡＥＢ種別（撮影方式）の選択は行わない。なお、Ｓ２０５における輝度差に関する所定の閾値（第３の閾値）は、後述するＳ４０４における所定の閾値（第１の閾値）よりも小さい。

Ｓ２０６で、システム制御部４０は、被写体にピントを合わせるためにフォーカスレンズを合焦位置に移動させる。合焦位置は、Ｓ２０４で得られた距離マップをもとに算出される。

Ｓ２０７で、システム制御部４０は、シャッタースイッチＳＷ２ ９４がＯＮであるか否かを判定する。ＯＦＦの場合、処理はＳ２０８に進み、ＯＮの場合、処理はＳ２０９に進む。

Ｓ２０８で、システム制御部４０は、シャッタースイッチＳＷ１ ９２がＯＮであるか否かを判定する。ＯＮの場合、処理はＳ２０７に戻り、ＯＦＦの場合、処理はＳ２０１に戻る。シャッタースイッチＳＷ１ ９２がＯＮ、シャッタースイッチＳＷ２ ９４がＯＦＦの間は、Ｓ２０７〜Ｓ２０８の処理が繰り返される。

Ｓ２０９で、システム制御部４０は、Ｓ２０５で決定したブラケット種別に基づきブラケット撮影を行う。Ｓ２０９のブラケット撮影処理については、図３を用いて後述する。

Ｓ２１０で、システム制御部４０は、ブラケット撮影により得られた最終的な３枚の出力画像データを、記録部８０を通じてメディアに記録する。

図３は、Ｓ２０９のブラケット撮影処理の詳細を示すフローチャートである。Ｓ３０１で、システム制御部４０は、Ｓ２０５で決定したブラケット種別を参照し、ブラケット種別がＡＥＢであれば処理をＳ３０２に進める。

Ｓ３０２で、システム制御部４０は、ＡＥＢ種別（撮影方式）を決定する。決定されるＡＥＢ種別は「発光」（第４の撮影方式）、「ＨＤＲ」（第２の撮影方式）、「Ｄ＋」（第１の撮影方式）、「ＡＥＢ（通常）」（第３の撮影方式）のいずれかである。「発光」は、ストロボ発光を伴う撮影方式を指す。「ＨＤＲ」は、適正、アンダー、オーバーという露出の異なる３枚の画像の合成によりダイナミックレンジを拡大する処理を伴う撮影方式を指す。「Ｄ＋」は、露出アンダーの画像をダイナミックレンジ拡大用のガンマで持ち上げる処理を伴う撮影方式を指す。「ＡＥＢ（通常）」は、適正、アンダー、オーバーという露出の異なる３枚の画像を出力する撮影方式を指す。「ＡＥＢ（通常）」の場合、複数の画像の合成処理や、ダイナミックレンジを拡大するガンマ処理は行われない。また、「ＨＤＲ」のための合成処理、及び「Ｄ＋」のためのガンマ処理は、画像処理回路６０で行われる。Ｓ３０２のＡＥＢ種別決定処理については、図４を用いて後述する。

Ｓ３０２にて決定されたＡＥＢ種別が「発光」の場合、システム制御部４０は、処理をＳ３０３からＳ３０４へ進める。Ｓ３０４で、システム制御部４０は、ストロボ制御部３５を用いてストロボ（フラッシュ）を発光させ、１枚目の画像をアンダー露出で撮影する。Ｓ３０５で、システム制御部４０は、２枚目の画像を適正露出で撮影する、Ｓ３０６で、システム制御部４０は、３枚目の画像をオーバー露出で撮影する。Ｓ３０５及びＳ３０６では、ストロボの発光は行われない。適正露出、アンダー露出、オーバー露出については、システム制御部４０は、Ｓ２０２の測光処理で求めた被写体輝度、高輝度領域の輝度値、低輝度領域の輝度値に基づいて算出する。適正露出で撮影すると撮影画面全体が平均的に、アンダー露出で撮影すると高輝度領域が、オーバー露出で撮影すると低輝度領域が、それぞれ適正露出になるように露出が計算される。

Ｓ３０７で、システム制御部４０は、Ｓ３０４で撮影した発光画像、Ｓ３０５で撮影した適正画像、Ｓ３０６で撮影したオーバー画像を現像して出力する。

なお、Ｓ３０４からＳ３０６においては、システム制御部４０は少なくとも１枚の発光画像を撮影すればよく、これ以外の撮影や撮影条件は上で説明したものと異なっていてもよい。例えば、システム制御部４０は、Ｓ３０５及びＳ３０６の処理を省略してもよい。この場合、Ｓ３０７で、システム制御部４０は、Ｓ３０４で撮影された発光画像（フラッシュの発光時に撮像された画像）のみを出力する。

Ｓ３０２にて決定されたＡＥＢ種別が「発光」でない場合は、システム制御部４０は、処理をＳ３０３からＳ３０８へ進める。Ｓ３０８で、システム制御部４０は、１枚目の画像を適正露出で撮影する。Ｓ３０９で、システム制御部４０は、２枚目の画像をアンダー露出で撮影する。Ｓ３１０で、システム制御部４０は、３枚目の画像をオーバー露出で撮影する。Ｓ３０８〜Ｓ３１０では、ストロボの発光は行われない。

Ｓ３１１で、システム制御部４０は、Ｓ３０２にて決定されたＡＥＢ種別が「ＨＤＲ」であるか否かを判定する。「ＨＤＲ」の場合、処理はＳ３１２に進み、「ＨＤＲ」でない場合、処理はＳ３１５に進む。

Ｓ３１２で、システム制御部４０は、Ｓ３０８で撮影した適正画像、Ｓ３０９で撮影したアンダー画像、Ｓ３１０で撮影したオーバー画像を合成してＨＤＲ画像を生成する。

Ｓ３１３で、システム制御部４０は、合成が成功したか否かを判定する。合成処理は、被写体などの動きに弱い。後述する通り、「ＨＤＲ」が選択されるのは被写体の動きが比較的小さい場合であるが、そのような場合でも、Ｓ３１２で合成処理をした結果、合成する画像の位置合わせなどに失敗し、合成が失敗する場合がある。システム制御部４０は、例えば、位置合わせのための動きベクトルが検出できなかった場合や、検出された動きベクトルが大き過ぎる場合などに、合成が失敗したと判定することができる。合成が成功した場合、処理はＳ３１４に進み、合成が失敗した場合、処理はＳ３１６に進む。

Ｓ３１４で、システム制御部４０は、Ｓ３０８で撮影した適正画像、及びＳ３１０で撮影したオーバー画像を現像し、Ｓ３１２で生成したＨＤＲ合成画像（第２の処理画像）と併せて出力する。

なお、Ｓ３１４においては、システム制御部４０は少なくともＨＤＲ合成画像を出力すればよく、これ以外の画像は出力しなくてもよい。また、本実施形態では、ＨＤＲ合成画像は３枚の画像（適正画像、アンダー画像、オーバー画像）から生成されるものとしたが、合成枚数は３枚に限定されない。例えば、システム制御部４０は、アンダー画像及びオーバー画像からＨＤＲ合成画像を生成してもよい。この場合、システム制御部４０は、Ｓ３０８における適正画像の撮影を省略してもよい。

処理がＳ３１１からＳ３１５へ進んだ場合（Ｓ３０２にて決定されたＡＥＢ種別が「ＨＤＲ」でない場合）、システム制御部４０は、Ｓ３０２にて決定されたＡＥＢ種別が「Ｄ＋」であるか否かを判定する。「Ｄ＋」の場合、処理はＳ３１６に進み、「Ｄ＋」でない場合、処理はＳ３１８に進む。

処理がＳ３１３又はＳ３１５からＳ３１６へ進んだ場合、システム制御部４０は、Ｓ３０９で撮影したアンダー画像に対し、画像処理回路６０を用いてガンマ処理を施す。そして、Ｄ＋画像（合成処理ではなくガンマ処理による処理画像：第１の処理画像）を生成する。

Ｓ３１７で、システム制御部４０は、Ｓ３０８で撮影した適正画像、及びＳ３１０で撮影したオーバー画像を現像し、Ｓ３１６で生成したＤ＋画像と併せて出力する。

なお、Ｓ３１７においては、システム制御部４０は少なくともＤ＋画像を出力すればよく、これ以外の画像は出力しなくてもよい。システム制御部４０がＤ＋画像しか出力しない場合、システム制御部４０は、Ｓ３０８における適正画像の撮影やＳ３１０におけるオーバー画像の撮影を省略してもよい。

処理がＳ３１５からＳ３１８へ進んだ場合（Ｓ３０２にて決定されたＡＥＢ種別が「Ｄ＋」でない場合）、システム制御部４０は、Ｓ３０８で撮影した適正画像、Ｓ３０９で撮影したアンダー画像、及びＳ３１０で撮影したオーバー画像を現像して出力する。

なお、Ｓ３１８においては、システム制御部４０は所定の露出で撮像された少なくとも１つの画像を出力すればよく、上述の３つの画像全てを出力することは必須ではない。例えば、システム制御部４０は適正露出で撮像された画像だけを出力してもよく、この場合、Ｓ３０９におけるアンダー画像の撮影やＳ３１０におけるオーバー画像の撮影を省略してもよい。

処理がＳ３０１からＳ３１９へ進んだ場合（Ｓ２０５で決定したブラケット種別がＡＥＢでない場合）、システム制御部は、ブラケット種別に応じて、フォーカスブラケット撮影もしくは連写を行う。フォーカスブラケット撮影の場合、システム制御部４０は、フォーカス制御部３０を用いてフォーカスレンズ位置を変えて３枚の画像を撮影する。連写の場合、システム制御部４０は、撮影条件を変えずに連続で３枚の画像を撮影する。Ｓ３２０で、システム制御部４０は、Ｓ３１９で撮影した３枚の画像を現像して出力する。

Ｓ３０７、Ｓ３１４、Ｓ３１７、Ｓ３１８、又はＳ３２０で３枚の画像が出力されると、Ｓ２０９のブラケット撮影処理は終了する。

図４は、Ｓ３０２のＡＥＢ種別決定処理の詳細を示すフローチャートである。Ｓ４０１で、システム制御部４０は、Ｓ２０４で得られた距離マップやＳ２０６で算出した合焦位置を参照することにより被写体までの距離（被写体距離）を検出し、被写体距離が遠距離であるか否かを判定する。例えば、システム制御部４０は、被写体距離を所定の閾値と比較し、被写体距離が閾値以上であれば遠距離であると判定する。遠距離の場合、処理はＳ４０４に進み、遠距離でない場合、処理はＳ４０２に進む。

Ｓ４０２で、システム制御部４０は、前述の被写体距離に基づき、被写体が至近に存在するか否かを判定する。例えば、システム制御部４０は、被写体距離を所定の閾値と比較し、被写体距離が閾値以下であれば被写体が至近に存在すると判定する。被写体が至近に存在する場合、処理はＳ４０４に進み、被写体が至近に存在しない場合、処理はＳ４０３に進む。

Ｓ４０３で、システム制御部４０は、ＡＥＢ種別を「発光」に決定する。ストロボ撮影を行う場合、撮影露出を高輝度領域に合わせて（即ち、アンダー露出で）ストロボ発光することで（Ｓ３０４参照）、高輝度領域と低輝度領域を同時に適正な明るさにできる。ストロボ撮影であれば、複数の画像を合成することによる合成失敗のリスクもなく、ダイナミックレンジ拡大用のガンマ処理でノイズが増加することもない。そのため、本実施形態では、被写体距離に問題がなければ、システム制御部４０はＡＥＢ種別として「発光」を選択する。Ｓ４０３の処理が行われるのは、被写体距離が遠距離でもなく（Ｓ４０１でＮＯ）、至近でもない（Ｓ４０２でＮＯ）場合、即ち、被写体距離が所定の範囲内であり問題がない場合である。

他方、被写体が遠距離に存在する場合は、ストロボ発光してもストロボ光が被写体に届かない可能性があり、逆に被写体が至近に存在する場合は、ストロボ発光してしまうとストロボ光が被写体に強く当たりすぎたりケラレが生じたりする可能性がある。そのため、被写体が遠距離に存在する場合（Ｓ４０１でＹＥＳ）や、被写体が至近に存在する場合（Ｓ４０２でＹＥＳ）には、システム制御部４０は処理をＳ４０４に進め、ストロボ発光しないようにする。

Ｓ４０４で、システム制御部４０は、Ｓ２０２で得られた低輝度領域の輝度値と高輝度領域の輝度値との差分（輝度差）が所定の閾値（第１の閾値）以上であるか否かを判定する。輝度差が大きい場合にＨＤＲ合成（Ｓ３１２参照）を行うと、合成画像が不自然になりやすい。また、輝度差が大きい場合にガンマ処理によるダイナミックレンジ拡大（Ｓ３１６参照）を行うと、ガンマ処理によりアンダー画像の輝度をより大きく持ち上げないとならないため、ノイズが増加する傾向にある。そのため、本実施形態では、輝度差が所定の閾値以上である場合には、システム制御部４０は「ＨＤＲ」や「Ｄ＋」を選択せず、「ＡＥＢ（通常）」を選択する。即ち、Ｓ４０４において輝度差が閾値以上の場合、処理はＳ４０８に進み、輝度差が閾値未満の場合、処理はＳ４０５に進む。

なお、Ｓ４０４においては、システム制御部４０は、輝度差を判定する代わりに、被写体の高輝度領域の適正露出と低輝度領域の適正露出を算出し、両者の露出差が所定の閾値以上であるか否かを判定してもよい。高輝度領域の適正露出は、Ｓ３０４及びＳ３０９のアンダー露出に相当し、低輝度領域の適正露出は、Ｓ３０６及びＳ３１０のオーバー露出に相当する。輝度差が大きい場合は露出差も大きくなる（換言すると、露出差が大きいということは輝度差が大きいということを意味する）ので、露出差を判定するということは、実質的には輝度差を判定するということと同じことである。

Ｓ４０５で、システム制御部４０は、Ｓ２０３における動き判定結果を参照することにより、被写体に動きがあるか否かを判定する。被写体に動きがある場合、処理はＳ４０６に進み、そうでない場合、処理はＳ４０７に進む。

被写体に動きがある場合、複数の撮影画像の合成に失敗する可能性が高い。そのため、Ｓ４０６で、システム制御部４０は、１枚の画像をガンマ処理することによりダイナミックレンジを拡大する「Ｄ＋」を選択する。逆に、被写体に動きがなければ、Ｓ４０７で、システム制御部４０は、複数の撮影画像を合成することによりダイナミックレンジを拡大する「ＨＤＲ」を選択する。

Ｓ４０４からＳ４０８へ進んだ場合（高輝度領域と低輝度領域の輝度差が大きい場合）、システム制御部４０は、非発光で露出を変えながら複数の画像を撮影する「ＡＥＢ（通常）」を選択する。「ＡＥＢ（通常）」の場合は、低輝度領域を適正露出にした撮影と、高輝度領域を適正露出にした撮影とを行うことができる。そして、合成失敗のリスクや、ガンマ処理によりノイズが増加するリスクもない。しかしながら、「ＡＥＢ（通常）」の場合、１枚の画像で低輝度領域と高輝度領域を同時に適正露出にすることはできない。そのため、例えば、Ｓ３１８において、システム制御部４０は、各画像から適正露出の領域のみを切り出して出力してもよい。

また、Ｓ３０７、Ｓ３１４、Ｓ３１７、及びＳ３１８におけるオーバー画像について、システム制御部４０は、オーバー画像のうち輝度が所定の閾値（第２の閾値）未満の領域を切り出して出力してもよい。これにより、オーバー画像のうち適正露出の領域のみが出力される。

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮影時の様々な状況（被写体距離、高輝度領域と低輝度領域の輝度差、及び被写体の動きなど）を考慮して撮影方式（ＡＥＢ種別）を決定する。これにより、最終的に得られる画像の画質を向上させることができる。

また、上記の実施形態では、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理の例として、露出アンダーの画像をダイナミックレンジ拡大用のガンマで持ち上げる処理（Ｄ＋）を説明した。しかしながら、上記のような階調補正処理はガンマで持ち上げる処理に限られるものではなく、例えば、特開２０１０−１９３０９８号公報に記載された暗部補正処理など、他の公知の階調補正処理を行ってもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出手段と、
   前記撮影画面内の被写体が動いているか否かを判定する判定手段と、
   前記輝度差が第１の閾値未満で前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記輝度差が前記第１の閾値未満で前記被写体が動いていないと判定された場合、第２の撮影方式を選択し、前記輝度差が前記第１の閾値以上の場合、第３の撮影方式を選択する選択手段と、
   前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成手段と、
   前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力し、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力する出力手段と、
   を備えることを特徴とする撮像装置。
2. 前記被写体までの距離を検出する検出手段を更に備え、
   前記選択手段は、前記距離が所定の範囲内の場合、第４の撮影方式を選択し、
   前記撮像装置は、前記第４の撮影方式が選択された場合、フラッシュを発光させる発光手段を更に備え、
   前記出力手段は、前記第４の撮影方式が選択された場合、前記フラッシュの発光時に撮像された画像を出力する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記出力手段は、前記第４の撮影方式が選択された場合、前記フラッシュの発光時にアンダー露出で撮像された画像と、前記フラッシュを発光させずに適正露出で撮像された画像と、前記フラッシュを発光させずにオーバー露出で撮像された画像と、を出力する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記出力手段は、前記第１の撮影方式が選択された場合、前記第１の処理画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を出力する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記生成手段は、前記第２の撮影方式が選択された場合、アンダー露出で撮像された画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を合成することにより前記第２の処理画像を生成し、
   前記出力手段は、前記第２の撮影方式が選択された場合、前記第２の処理画像と、当該適正露出で撮像された画像と、当該オーバー露出で撮像された画像と、を出力する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記出力手段は、前記第３の撮影方式が選択された場合、アンダー露出で撮像された画像と、適正露出で撮像された画像と、オーバー露出で撮像された画像と、を出力する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記出力手段は、前記オーバー露出で撮像された画像を出力する場合、当該画像のうち輝度が第２の閾値未満の領域を出力する
   ことを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の撮影方式が選択された場合に、前記生成手段による前記合成が失敗すると、前記生成手段は前記第１の処理画像を生成し、前記出力手段は前記第１の処理画像を出力する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記選択手段は、前記輝度差が前記第１の閾値よりも小さい第３の閾値以上である場合に、前記選択を行う
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 撮像装置の制御方法であって、
    前記撮像装置の算出手段が、撮影画面内の高輝度領域と低輝度領域の輝度差を算出する算出工程と、
    前記撮像装置の判定手段が、前記撮影画面内の被写体が動いているか否かを判定する判定工程と、
    前記撮像装置の選択手段が、前記輝度差が第１の閾値未満で前記被写体が動いていると判定された場合、第１の撮影方式を選択し、前記輝度差が前記第１の閾値未満で前記被写体が動いていないと判定された場合、第２の撮影方式を選択し、前記輝度差が前記第１の閾値以上の場合、第３の撮影方式を選択する選択工程と、
    前記撮像装置の生成手段が、前記第１の撮影方式が選択された場合、低輝度の入力値に対する増幅率を高輝度の入力値に対する増幅率よりも大きくする入出力特性を用いた階調補正処理により第１の処理画像を生成し、前記第２の撮影方式が選択された場合、複数の異なる露出条件で撮像された複数の画像を合成することにより第２の処理画像を生成する生成工程と、
    前記撮像装置の出力手段が、前記第１の撮影方式が選択された場合、前記第１の処理画像を出力し、前記第２の撮影方式が選択された場合、前記第２の処理画像を出力し、前記第３の撮影方式が選択された場合、所定の露出で撮像された画像を出力する出力工程と、
    を備えることを特徴とする制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images