JP2011024088A - 撮像装置および撮像制御方法 - Google Patents

Abstract

【課題】被写体の輝度差などを適切に反映した２回の撮像により撮像手段のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる撮像装置の技術を提供する。
【解決手段】撮像装置では、被写体の輝度差に係数ｋ(例えば０.５)を乗算して得られる露光段差を有した明部基準・暗部基準の露出制御値Ｂudr、Ｂovrに基づき、合成画像の生成に必要な２回の撮像で設定される各露出制御値を決定する。ここで、主被写体の適正露出値Ｂcnsが上記の露光段差内にあってシーン全体(撮像範囲全体)の適正露出値Ｂcntより大きい場合には、主被写体の適正露出値Ｂcnsと暗部基準の露出制御値Ｂovrとが２回の撮像で設定される。これにより、被写体の輝度差などを適切に反映した２回の撮像を行えるため、撮像素子のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる。
【選択図】図１０

Description

本発明は、撮像装置の技術に関する。

デジタルカメラなどの撮像装置において、明暗の差が大きいシーンの撮影（逆光撮影や屋内外同時撮影）を行う場合には、撮像素子のダイナミックレンジ不足に起因し、露出制御を行っても明るい部分が飽和して白トビが発生し、暗い部分で黒つぶれが生じることがある。

このような不具合を改善する技術として、異なる露光時間が設定された２回の撮像で得られる長時間露光画像と短時間露光画像とを合成しダイナミックレンジが拡張された合成画像を生成する撮像装置が例えば特許文献１に開示されている。この撮像装置では、合成画像の輝度ヒストグラムから白トビを検出し、この白トビが発生しないように短時間露光時間を決定することで白トビが抑えられるようになっている。

特開２００８−２７１３６８号公報

しかしながら、上記特許文献１の撮像装置においては、短時間露光時間の自動調整が行われるものの、撮影シーンにおける明暗の差や主被写体を適切に反映したものとも限らない。例えば、被写体の輝度差(最大輝度・最小輝度の差)を把握し、この輝度差に基づき異なる露光時間（露出制御値）を設定するようにすれば、撮像素子(撮像手段)のダイナミックレンジの有効活用が図れて良好な合成画像を生成できる可能性がある。また、人物の顔などの主被写体が撮影シーンに含まれる場合には、合成画像において主被写体の露出状態を良好するのが好ましい。

本発明は、上記課題に鑑みてなされたものであり、被写体の輝度差などを適切に反映した２回の撮像により撮像手段のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる撮像装置の技術を提供することを目的とする。

本発明の１つの側面は、撮像装置であって、被写体に係る撮像画像を生成する撮像手段と、所定の測光範囲を測光して前記被写体の輝度情報を取得する輝度情報取得手段と、前記輝度情報取得手段で取得される高輝度情報と低輝度情報とに基づき、前記被写体に係る輝度差を検出する検出手段と、前記検出手段で検出される輝度差に所定の係数ｋ(ただし０＜ｋ＜１)を乗算して得られた値に相当する段差を有した上側の露出制御値と下側の露出制御値とに基づき、第１露出制御値と前記第１露出制御値より小さい第２露出制御値とを決定し、前記撮像手段を用いて前記第１露出制御値と前記第２露出制御値とに設定された２回の撮像を行う撮像制御手段と、前記２回の撮像により前記撮像手段で得られた２の撮像画像から抽出される画像部分を合成し、合成画像を生成する画像合成手段とを備えており、前記２回の撮像が１回の撮像であった場合に当該１回の撮像で用いられる露出値として、撮像範囲全体に対する第１適正露出値と、主被写体に対する第２適正露出値との設定が可能であり、前記上側の露出制御値から前記下側の露出制御値までの露出範囲内には、前記第１適正露出値が含まれるとともに、前記撮像制御手段は、前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より大きい場合には、当該第２適正露出値を前記第１露出制御値に設定する第１制御手段と、前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より小さい場合には、当該第２適正露出値を前記第２露出制御値に設定する第２制御手段とを有する。

本発明によれば、被写体に係る輝度差を検出し、この輝度差に所定の係数ｋ(ただし０＜ｋ＜１)を乗算して得られた値に相当する段差を有した上側の露出制御値と下側の露出制御値とに基づき、第１露出制御値と第１露出制御値より小さい第２露出制御値とを決定する。そして、撮像手段を用いて第１露出制御値と第２露出制御値とに設定された２回の撮像を行い、この２回の撮像によって得られた２の撮像画像から抽出される画像部分を合成して合成画像を生成する。ここで、２回の撮像が１回の撮像であった場合に当該１回の撮像で用いられる露出値として撮像範囲全体に対する第１適正露出値と主被写体に対する第２適正露出値との設定が可能となっており、上側の露出制御値から下側の露出制御値までの露出範囲内には第１適正露出値が含まれるとともに、第２適正露出値が露出範囲内にあって第１適正露出値より大きい場合には、当該第２適正露出値を第１露出制御値に設定する一方、第２適正露出値が露出範囲内にあって第１適正露出値より小さい場合には、当該第２適正露出値を第２露出制御値に設定する。その結果、被写体の輝度差などを適切に反映した２回の撮像により撮像手段のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる。

本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 第１実施形態の撮像装置の外観構成を示す図である。 撮像装置の機能構成を示すブロック図である。 測光素子の構成を説明するための図である。 プログラム線図の一例を示す図である。 画像合成によるダイナミックレンジの拡張を説明するための図である。 異なる露出制御値の設定手法について説明するための図である。 主被写体を考慮した各露出制御値の設定手法について説明するための図である。 主被写体を考慮した各露出制御値の設定手法について説明するための図である。 主被写体を考慮した各露出制御値の設定手法について説明するための図である。 主被写体を考慮した各露出制御値の設定手法について説明するための図である。 撮像装置の基本的な動作を示すフローチャートである。 主被写体を指定する具体例を説明するための図である。 本発明の第２実施形態に係る撮像装置において主被写体を考慮した各露出制御値の設定手法について説明するための図である。 第２実施形態の撮像装置において主被写体を考慮した各露出制御値の設定手法について説明するための図である。 撮像装置の基本的な動作を示すフローチャートである。 本発明の変形例に係る主被写体の指定について説明するための図である。 本発明の変形例に係る主被写体の指定について説明するための図である。

＜第１実施形態＞
［撮像装置の要部構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの背面外観図である。この撮像装置１Ａは、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。

図１に示すように、撮像装置１Ａは、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニットである交換レンズ３が着脱可能である。

交換レンズ３は、主として、鏡胴３６ならびに鏡胴３６の内部に設けられるレンズ群３７(図３参照)及び絞り３８(図３参照)等によって構成される。このレンズ群３７には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、交換レンズ３が装着される円環状のマウント部Ｍｔを正面略中央に備え、交換レンズ３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部に露出モード設定ダイヤル８２を備え、その正面右上部に制御値設定ダイヤル８６を備えている。露出モード設定ダイヤル８２を操作することによって、後述する「プログラム露出モード」や「絞り優先モード」、「シャッタースピード優先モード」、「マニュアル露出モード」、「シーンセレクタ露出モード」などの選択を行うことが可能である。また、制御値設定ダイヤル８６を操作することによれば、露出モードなどにおける制御値を設定することが可能である。例えば制御値設定ダイアル８６により、ユーザの操作入力に基づいて絞り３８に係る絞り値や撮像素子５（図３参照）に係るシャッタースピード(露光時間)が指定できる。

また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられており、グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池などが収納され、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図３参照）が着脱可能に収納されるようになっている。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５(図３)を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

図２において、カメラ本体部２の背面略中央上部には、ファインダ窓(接眼窓)１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、交換レンズ３から導かれた被写体の光像を視認して構図決定を行うことができる。

図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ(ＬＣＤ)として構成され、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード９０に記録された撮影画像を再生表示したりすることができる。また、背面モニタ１２の表示画面１２ｆでは、撮像素子５で撮影される被写体をユーザが視認できるように、本撮影（画像記録用の撮影）前に撮像素子５で順次に生成される撮像画像に基づき被写体を動画的態様で表示するライブビュー表示（プレビュー表示）が可能となっている。このようなライブビュー表示を背面モニタ１２で実行させるライブビューモードは、全体制御部１０１Ａ（図３参照）で設定されることとなる。

背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。

背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とが、それぞれ検出されるようになっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出されるようになっている。

背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

つぎに、図３を参照しながら、撮像装置１Ａの機能の概要について説明する。図３は、撮像装置１Ａの機能構成を示すブロック図である。

図３に示すように、撮像装置１Ａは、操作部８０、全体制御部１０１Ａ、レンズ制御部１２１、絞り制御部１２２、シャッタ制御部１２３および画像処理部５０等を備える。

操作部８０は、レリーズボタン１１(図１参照)を含む各種ボタンおよびスイッチ等を備えて構成される。この操作部８０に対する操作者の入力操作に応答して、全体制御部１０１Ａが各種動作を実現する。

測光素子４４は、例えば光学ファインダの光路近傍に設けられており、交換レンズ３を通った光束を受光して被写体の輝度を検出するセンサである。この測光素子４４では、図４に示すように撮像素子５による撮像範囲Ｒｓ内にハニカム構造を有した複数の測光領域Ｅａからなる測光範囲Ｅｔが設定されており、各測光領域Ｅａで独立して被写体の輝度情報を検出できるようになっている。すなわち、測光素子４４により、測光範囲Ｅｔを測光して被写体の輝度情報が取得できる。

測光部４５は、測光素子４４からの輝度情報に基づき、被写体の測光データを生成する部位である。この測光部４５により、測光素子４４で取得される最大輝度情報（高輝度情報）と最小輝度情報（低輝度情報）とに基づき、後述のように被写体に係る輝度差が検出できる。そして、測光部４５で生成された測光データは、露出制御部１０２に入力され、被写体についての適正な露出制御値が算出されることとなる。

以上のような測光素子４４および測光部４５を用いて、撮像装置１Ａでは、３種類の測光モード、具体的には多分割測光モード、中央重点測光モードおよびスポット測光モードを選択できるようになっている。ここで、多分割測光モードとは、図４に示す測光範囲Ｅｔにおいて各測光領域Ｅａを独立に測光するモードである。この多分割測光モードでは、測光領域Ｅａに係る被写体の輝度情報に加え距離情報を用いて適正な輝度値を算出するようにしても良い。また、中央重点測光モードとは、図４に示す測光範囲Ｅｔにおいて、中央の測光領域Ｅａｏに向けて重み付けを増加させつつ撮像画面の中央部分を重点的に測光することで適正な輝度値を算出するモードである。一方、スポット測光モードとは、中央の測光領域Ｅａｏ(図４)のみをスポット的に測光して適正な輝度値を算出するモードである。すなわち、スポット測光モードでは、図４に示す測光範囲Ｅｔのうちの特定のスポット領域Ｅａｏが重点的に測光されることとなる。

全体制御部１０１Ａは、マイクロコンピュータとして構成されており、主にＣＰＵ、ＲＡＭおよびＲＯＭ等を備えている。

全体制御部１０１Ａは、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能をソフトウェア的に実現する。例えば全体制御部１０１Ａは、ソフトウェア的に実現される露出制御部１０２、ＡＦ制御部１０３および撮像制御部１０４を有している。

露出制御部１０２は、被写体光を受光した測光素子４４からの出力に基づき測光部４５で得られる測光データや露出モード等の設定情報から予め定められた露出演算により撮影時の露出制御値を決定する。そして、露出制御部１０２は、後述する画像合成に必要な複数回(２回)の撮影時における各露出制御値(シャッタースピードおよび絞り値)を決定する。

また、露出制御部１０２により、５種類の露出モード、具体的にはプログラム露出モード、シーンセレクタ露出モード、絞り優先モード、シャッタースピード優先モードおよびマニュアル露出モードを選択することが可能である。ここで、プログラム露出モード（いわゆるＰモード）とは、例えば図５に示されるようにシャッタースピードＴＶ(ＴＶ＝log₂(１/Ｔ)、ここでＴはシャッタースピード[sec]）および絞りＡＶの関係が定められたプログラム線図に基づき適正露出値を導き出す露出モードである。また、シーンセレクタ露出モードとは、予め定められた撮影シーン(主被写体)をユーザが選択できるようにしておき、この選択された撮影シーンに最適な露出を自動で設定する露出モードである。具体的には、シーンセレクタ露出モードでは、上記のプログラム露出モードと同様にシャッタースピードおよび絞りの両方が定められたプログラム線図(図５)を人物などの主被写体用に複数準備しておき、撮影シーンに適したプログラム線図から絞り値・シャッタースピードの組み合わせを決定することで適正露出が得られるようになっている。また、絞り優先モード（いわゆるＡモード）とは、ユーザによって設定される絞り値を基準に、その絞り値に応じたシャッタースピードが自動的に決定されることで適正露出を得る露出モードである。また、シャッタースピード優先モード（いわゆるＳモード）とは、ユーザによって設定されるシャッタースピードを基準に、そのシャッタースピードに応じた絞り値が自動的に決定されることで適正露出を得る露出モードである。また、マニュアル露出モードとは、シャッタースピードと絞り値とを任意の値に設定でき、ユーザが所望する露出値での撮影を可能とする露出モードである。

ＡＦ制御部１０３は、例えば被写体光を受光して位相差検出方式の焦点検出(位相差ＡＦ)を行うための位相差ＡＦモジュール(不図示)を用いて、被写体の撮影範囲に設定された複数のＡＦエリアそれぞれにおいて、２つの被写体像の間隔から像面における合焦位置へのずれ量(デフォーカス量)を検出する。そして、各ＡＦエリアのデフォーカス量のうち適切な１つを選択し、その合焦目標位置にフォーカスレンズが駆動される。

撮像制御部１０４は、明暗の差が比較的大きな撮影シーンなどを撮影する際に、合成画像の基礎となる複数枚の撮像画像を取得するため、異なる各露出制御値に設定された複数の撮像を行う部位である(後で詳述)。

レンズ制御部１２１は、全体制御部１０１Ａからの入力信号に基づき制御信号を生成しモータ等のアクチュエータを駆動制御することで、交換レンズ３のレンズ群３７に含まれるフォーカスレンズやズームレンズを移動させる。これにより、ＡＦ制御や焦点距離（ズーム倍率）の変更が可能となる。

絞り制御部１２２は、全体制御部１０１Ａからの入力信号に基づき制御信号を生成しモータ等のアクチュエータを駆動制御することで、絞り機構として働く絞り３８の絞り径を変更する。

シャッタ制御部１２３は、全体制御部１０１Ａからの入力信号に基づき制御信号を生成しモータ等のアクチュエータを駆動することで、シャッタ４の開閉を制御する。

撮像素子５は、例えばフォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置され、各画素の受光面に、それぞれ分光特性の異なる例えばＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のＣＭＯＳカラーエリアセンサ（ＣＭＯＳ型の撮像素子）が用いられる。このような構成の撮像素子５においては、光電変換作用により被写体の光像を電気的信号に変換し、本撮影画像に係る画像信号（画像記録用の画像信号）が生成される。すなわち、撮影光学系として働く交換レンズ３を通った被写体光を受光して被写体に係る撮像画像が生成されることとなる。

撮像素子５は、タイミング制御回路(不図示)を介して全体制御部１０１Ａから入力される駆動制御信号（蓄積開始信号および蓄積終了信号）に応答して、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。また、撮像素子５は、タイミング制御回路を介して全体制御部１０１Ａから入力される読出制御信号に応答し、当該画像信号をＡ／Ｄ変換部５１に出力する。

撮像素子５で取得されＡ／Ｄ変換部５１でデジタル信号に変換された画像信号は、画像処理部５０に入力される。

画像処理部５０は、Ａ／Ｄ変換部５１から入力される画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。この画像処理部５０は、黒レベル補正部５２、ホワイトバランス(ＷＢ)補正部５３、画像補間部５４、階調補正カーブ決定部５５、階調変換部５６および記録画像生成部５７とを備えている。

黒レベル補正部５２は、画像信号において最高となる濃度部を基準の黒レベルに補正する。

ＷＢ補正部５３は、撮影光源の分光による色バランスのずれを補正するためにＲＧＢ各色の画素データのレベル変換を行う。

画素補間部５４は、撮像素子５のカラーフィルタが上述したベイヤー配列であるために欠落する欠落色画素の補間を行う。

階調補正カーブ決定部５５および階調変換部５６は、撮影画像に最適な補正カーブ（γ特性の補正カーブ）を決定するとともに、この補正カーブによる画像データ(ＲＧＢデータ)の階調補正を行う。

記録画像生成部５７は、画像処理された画像データに対して例えばＪＰＥＧなどの圧縮処理を施し、記録用の画像データとして画像メモリ９１に保存する。

また、画像処理部５０は、位置合わせ部５８と画像合成部５９とを備えている。

位置合わせ部５８は、後述の画像合成のために撮像素子５で連続的に撮像されて画像メモリ９１に保存されている複数の撮像画像間の位置合わせを行う。この位置合わせ部５８では、例えば撮像装置１Ａのブレ情報等から画像間の位置ズレを検出し、この位置ズレに基づく位置合わせが実行される。

画像合成部５９は、合成画像のダイナミックレンジが適切に拡張されるように、位置合わせ部５８で位置合わせ処理が施された複数の画像を合成する処理が行われる。すなわち、画像合成部５９では、後述のように２回の撮像によって撮像素子５で得られた２枚の撮像画像から抽出される画像部分を合成し、白トビや黒つぶれが抑えられた合成画像が生成される。そして、生成された合成画像は全体制御部１０１Ａを介してメモリカード９０に記録される。

以上のような構成の撮像装置１Ａでは、輝度差が大きい被写体を撮影する際に、異なる露出制御値で連続的に撮像して得られる複数枚の画像を合成することにより、ダイナミックレンジが拡張された被写体画像を得ることが可能である。この異なる露出制御値での撮像について、以下で詳しく説明する。

［異なる露出制御値での撮像について］
本実施形態の撮像装置１Ａにおいては、異なる露出制御値に設定された２回の撮像によって２枚の画像を取得してから、これらの画像合成を行うことで、撮像素子５に対して相対的にダイナミックレンジが拡張された画像を生成できるようになっている。

撮影シーンにおいて明暗の差が大きい場合には、撮像素子５のダイナミックレンジではカバーできないため、１回の撮影では同一被写体に対しても図６(ａ)に示す画像Ｇａのように黒つぶれ部分Ｅａや、図６(ｂ)に示す画像Ｇｂのように白トビ部分Ｅｂが発生することがある。そこで、本実施形態の撮像装置１Ａでは、同一被写体に対してシャッタースピードを変更して(露出を変化させて)例えば２枚の画像Ｇａ、Ｇｂを撮像し、これらの画像Ｇａ、Ｇｂのうち黒つぶれ部分Ｅａや白トビ部分Ｅｂ以外の各画像部分Ｄａ、Ｄｂを合成することで、図６(ｃ)に示す合成画像Ｇｃのようにダイナミックレンジが擬似的に拡張された被写体画像を作成するようにしている。

詳しくは、同一の撮影シーンに対して被写体の明部を重視し、これを基準(以下では「明部基準」ともいう)とした露出制御値で撮像するとともに、被写体の暗部を重視し、これを基準(以下では「暗部基準」ともいう)とした露出制御値で撮像する。これにより、明部基準の露出で撮像された画像Ｇａ(図６(ａ))は、ハイライトの階調が適切に再現される画像部分Ｄａと黒つぶれ部分Ｅａとで構成され、暗部基準の露出で撮像された画像Ｇｂ(図６(ｂ))は、ハイライトが白トビした白トビ部分Ｅｂとシャドーの階調が適切に再現される画像部分Ｄｂとで構成されることとなる。これら２枚の画像Ｇａ、Ｇｂにおいて、明部基準の露出で生じた黒つぶれ部分Ｅａと暗部基準の露出で生じた白トビ部分Ｅｂとが、他方の画像から抽出される該当の画像部分Ｄａ、Ｄｂで補間されることにより、ハイライトおよびシャドーの階調が再現された各画像部分Ｄａ、Ｄｂからなる合成画像Ｇｃ(図６(ｃ))を生成でき、ダイナミックレンジの拡張が可能となる。

以上のように撮像装置１Ａでは、異なる露出制御値に設定して撮像素子５で順次に取得される２枚の画像を合成することによりダイナミックレンジの拡張が図られているが、以下では、この異なる露出制御値の設定手法について図７を参照して説明する。

図７は、異なる露出制御値の設定手法について説明するための図である。この図７の上部には、例えばライブビューモードで撮像素子５により取得された撮像画像の輝度分布を表した輝度ヒストグラム（以下では単に「ヒストグラム」とも称する）ＨＧが示されている。

まず、被写体の輝度情報が表されるヒストグラムＨＧにおいて、最大(最高)の輝度値Ｂmaxと最小(最低)の輝度値Ｂminとを検出する。すなわち、最大の輝度値Ｂmaxと最小の輝度値Ｂminとは、撮像素子５によって得られた画像に基づくヒストグラムＨＧから検出されることとなる。ここで、最大の輝度値Ｂmaxは、ヒストグラムＨＧにおいて輝度値が最も大きい画素から低輝度方向に所定数α(αは例えば数画素)の画素をカウントし、その画素が有する輝度値とする。同様に、最小の輝度値Ｂmaxは、ヒストグラムＨＧにおいて輝度値が最も小さい画素から高輝度方向に所定数α(αは例えば数画素)の画素をカウントし、その画素が有する輝度値とする。このように最大・最小の輝度値Ｂmax、Ｂminを設定すれば、例えば１つの画素だけで突発的に白トビや黒つぶれが生じても、これを誤差として排除することができ、適正な最大・最小の輝度値Ｂmax、Ｂminを得ることが可能となる。なお、最大・最小の輝度値Ｂmax、Ｂminについては、ライブビューモードで撮像素子５から得られる被写体画像に基づきヒストグラムＨＧを作成して検出するのは必須でなく、被写体光を受光する測光素子４４において各測光領域Ｅａ(図４)で得られる輝度値のうち最大値および最小値を検出するようにしても良い。

次に、ヒストグラムＨＧから得られる被写体の適正な輝度値に基づき、ユーザが設定した測光モードで通常撮影(撮影シーンに対する１回のみの撮影)を行う場合における、撮影シーン全体、つまり撮像素子５による撮像範囲全体に対しての適正な露出制御値(以下では「シーン適正露出値」ともいう)Ｂcntを算出する。

なお、シーン適正露出制御値Ｂcntに設定して撮像する場合には、撮像素子５のダイナミックレンジに相当する輝度範囲Ｒｄしかカバーできないため、１回の撮像では黒つぶれ部分Ｅａ(図６(ａ))や白トビ部分Ｅｂ(図６(ｂ))が発生する恐れがある。そこで、ヒストグラムＨＧの輝度特性を有する被写体が良好に再現されるように撮像装置１Ａでは、上述のように２回の撮像で得られた２枚の画像を合成することとする。この２回の撮像で設定される各露出制御値、具体的には明部基準の露出制御値Ｂudrおよび暗部基準の露出制御値Ｂovrについては、次の式(１)〜(４)を用いて算出する。

ΔＢｐ＝（Ｂmax−Ｂcnt)×ｋ ・・・・・・(１)：
ΔＢｑ＝（Ｂmin−Ｂcnt)×ｋ ・・・・・・(２)：
Ｂudr＝Ｂcnt＋ΔＢｐ ・・・・・・・・・(３)：
Ｂovr＝Ｂcnt＋ΔＢｑ ・・・・・・・・・(４)：
ここで、上式(１)、(２)中の「ｋ」は予め定められた係数であり、０〜１の範囲内の数値、例えば０.５が設定されている。

上記の式(１)〜(４)を用いて演算することにより、明部基準の露出制御値Ｂudrと暗部基準の露出制御値Ｂovrとが算出され、これらの露出制御値の間には、次の式(５)のように露光段差ΔＢが生じることとなる。

ΔＢ＝ΔＢｐ−ΔＢｑ ・・・・・・・・・(５)：
なお、露光段差ΔＢについては、上式(５)に上記の式(１)〜(２)を代入することにより、次の式(６)が得られる。

ΔＢ＝(Ｂmax−Ｂmin)×ｋ ・・・・・・・(６)：
このようにヒストグラムＨＧから検出される輝度差(Ｂmax−Ｂmin)に係数ｋを乗算して得られた値に相当する露光段差ΔＢを有した明部基準の露出制御値(上側の露出制御値)Ｂudrと暗部基準の露出制御値(下側の露出制御値)Ｂovrとに基づき、例えば、これらに設定された２回の撮像を行うことにより、撮像素子５のダイナミックレンジに相当する高輝度側と低輝度側との各輝度範囲Ｒｄｐ、Ｒｄｑ(図７)における被写体の階調再現が可能となる。この２回の撮像では、例えば絞り３８の絞り値(開度)を変化させず固定にして明部基準および暗部基準の露出制御値Ｂudr、Ｂovrに基づき異なるシャッタースピード(露光時間)が設定されることとなる。ここで、明部基準の露出制御値Ｂudrから暗部基準の露出制御値Ｂovrまでの露出範囲(露光段差ΔＢ)内には、本実施形態で実行される２回の撮像が１回の撮像（通常の撮影）であった場合に当該１回の撮像で設定されるシーン適正露出値Ｂcntが含まれている。その結果、撮像素子５のダイナミックレンジを超える輝度差(Ｂmax−Ｂmin)を有した被写体を画像合成により白トビや黒つぶれを発生させず適切に再現できる。すなわち、被写体における輝度差を適切に反映した２回の撮像により撮像素子５のダイナミックレンジの有効活用が図れて良好な合成画像を生成できることとなる。

以上のように露光段差ΔＢの両端に設定された明部基準および暗部基準の各露出制御値Ｂudr、Ｂovrによる２回の撮像を行うことにより、風景シーンなどの撮影においては、適切にダイナミックレンジが拡大された好適な合成画像を得ることができることとなる。ただし、人物や人物の顔などの主被写体が撮影シーンに含まれる場合には、明部基準の露出制御値Ｂudrまたは暗部基準の露出制御値Ｂovrが主被写体に対しての適正な露出制御値（以下では「主被写体適正露出値」ともいう）となっていなければ、２回の撮像で主被写体が最適な露出状態となる撮像画像が得られず、主被写体の露出が良好でない合成画像が生成される恐れがある。また、人物などの主被写体が明暗差の大きい環境にいる撮影シーンでは、明部基準・暗部基準の各露出制御値Ｂudr、Ｂovrの差が大きくなるため、合成画像において階調の圧縮度合いが高くなり、人物の顔などが軟調となった階調再現が行われる可能性がある。

そこで、撮像装置１Ａでは、人物の顔などの主被写体を撮像する場合には、主被写体が適正となる露出設定がなされた撮像を含ませるようにし、合成画像において人物の顔が良好な露出状態となるようにする。その具体的な手法を、図８〜９を参照して説明する。

図８および図９は、主被写体を考慮した各露出制御値の設定手法について説明するための図である。

上述のように風景シーンなどに対しては、露光段差ΔＢ(図７)の両端に設定される明部基準および暗部基準の各露出制御値Ｂudr、Ｂovrを、例えば絞り３８の開度(絞り値)を一定に保持しつつ２回の撮像を行う場合に設定される短時間露光時の露出制御値（以下では「短時間側の露出値」ともいう）および長時間露光時の露出制御値（以下では「長時間側の露出値」ともいう）とすれば、ダイナミックレンジが適切に拡張された合成画像の生成が可能である。一方、撮影シーンに人物などの主被写体が含まれる場合には、本実施形態で実行される２回の撮像が１回の撮像(通常の撮影)であった場合に当該１回の撮像で用いられる主被写体適正露出値Ｂcnsが２回の撮像のうちの１回において設定されるのが好ましい。なお、主被写体適正露出値Ｂcnsに設定される１回の撮像だけでは、図８や図９に示すように撮像素子５のダイナミックレンジに相当する輝度範囲Ｒｄｓしかカバーできず、白トビや黒つぶれが生じる可能性がある。

よって、本実施形態の撮像装置１Ａにおいては、主被写体適正露出値Ｂcnsが露光段差ΔＢの範囲内に入っている場合には、明部基準の露出制御値Ｂudrおよび暗部基準の露出制御値Ｂovrのいずれか一方を主被写体適正露出値Ｂcnsに補正するようにする。そして、この補正では、シーン適正露出値Ｂcntに対して主被写体適正露出値Ｂcnsが大きいか小さいかに応じて一方の露出制御値を主被写体適正露出値Ｂcnsに置換することとする。

具体的には、シーン適正露出値Ｂcntより主被写体適正露出値Ｂcnsが大きい場合には、図８に示すように明部基準の露出制御値Ｂudrを主被写体適正露出値Ｂcnsで補正する。一方、シーン適正露出値Ｂcntより主被写体適正露出値Ｂcnsが小さい場合には、図９に示すように暗部基準の露出制御値Ｂovrを主被写体適正露出値Ｂcnsで補正する。

このようにシーン適正露出値Ｂcntを基準とし、これに対する主被写体適正露出値Ｂcnsの大小に応じて、明部基準・暗部基準の露出制御値Ｂudr、Ｂovrのうちの一方を主被写体適正露出値Ｂcnsに補正すれば、主被写体の露出が最適な撮像画像が得られるため、合成画像において主被写体が良好な露出状態となる。また、２回の撮像で設定される短時間側・長時間側の各露出値Ｂsht、Ｂlngの間にシーン適正露出値Ｂcntが含まれることとなるため、２回の撮像では露出バランスの良い２枚の撮像画像を取得することが可能となる。

また、人物の顔などを撮像して合成画像を生成する場合、合成画像におけるダイナミックレンジの拡張を優先しすぎると撮影シーン全体における輝度差(階調)の圧縮率が高くなるため、顔などに関しての輝度差も高圧縮率で圧縮されることとなる。これでは、人物の顔が軟調となる合成画像が生成される可能性がある。そこで、本実施形態では、合成画像において人物の顔などの主被写体が軟調とならないような限界の露出制御値の差（以下では「限界露出差」という）ΔＢｓを規定し、この限界露出差ΔＢｓに２回の撮像で設定される短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとの露出差が収まるように制限することとする。

具体的には、図８のように短時間側の露出値Ｂshtに設定された主被写体適正露出値Ｂcnsと暗部基準の露出制御値Ｂovrとの差が限界露出差ΔＢｓより大きい場合には、この主被写体適正露出値Ｂcnsを基準とし、これから限界露出差ΔＢｓだけ小さい露出制御値に暗部基準の露出制御値Ｂovrを補正して長時間側の露出値Ｂlngに設定するようにする。これにより、シーン適正露出値Ｂcntに対して各露出量ΔＢｓｐ、ΔＢｓｑシフトした短時間側および長時間側の露出値Ｂsht、Ｂlngを設定できる。一方、図９のように長時間側の露出値Ｂlngに設定された主被写体適正露出値Ｂcnsと明部基準の露出制御値Ｂudrとの差が限界露出差ΔＢｓより大きい場合には、この主被写体適正露出値Ｂcnsを基準とし、これから限界露出差ΔＢｓだけ大きい露出制御値に明部基準の露出制御値Ｂudrを補正して短時間側の露出値Ｂshtに設定するようにする。これにより、シーン適正露出値Ｂcntに対して各露出量ΔＢｓｐ、ΔＢｓｑシフトした短時間側および長時間側の露出値Ｂsht、Ｂlngを設定できる。以上のように限界露光差ΔＢｓの範囲内に短時間側の露出値Ｂshtおよび長時間側の露出値Ｂlngを設定すれば、人物の顔などの主被写体が軟調となるのを防ぐことができる。

なお、図１０に示すように短時間側の露出値Ｂshtに設定される主被写体適正露出値Ｂcnsと暗部基準の露出制御値Ｂovrとの差が限界露出差ΔＢｓより小さい場合には、暗部基準の露出制御値Ｂovrをそのまま長時間側の露出値Ｂlngとして採用するようにする。また、図１１に示すように長時間側の露出値Ｂlngに設定される主被写体適正露出値Ｂcnsと明部基準の露出制御値Ｂudrとの差が限界露出差ΔＢｓより小さい場合には、明部基準の露出制御値Ｂudrをそのまま短時間側の露出値Ｂshtとして採用するようにする。このようにすれば、合成画像におけるダイナミックレンジの拡張と主被写体の軟調防止とをバランス良く行える。

以上のように主被写体適正露出値Ｂcnsが露光段差(露出範囲)ΔＢ内にあってシーン適正露出値Ｂcntより大きい場合には、図８や図１０のように明部基準の露出制御値Ｂudrに代えて主被写体適正露出値Ｂcnsを短時間側の露出値Ｂshtに設定する。一方、主被写体適正露出値Ｂcnsが露光段差(露出範囲)ΔＢ内にあってシーン適正露出値Ｂcntより小さい場合には、図９や図１１のように暗部基準の露出制御値Ｂovrに代えて主被写体適正露出値Ｂcnsを長時間側の露出値Ｂlngに設定する。その結果、被写体の輝度差や人物の顔などの主被写体を適切に反映した２回の撮像を行えるため、撮像素子５のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる。

以下では、具体例として、例えばＢmax＝8.0[BV]およびＢmin＝3.0[BV]の最大・最小輝度値を有した被写体においてシーン適正露出値Ｂcnt＝6.0[EV]、主被写体適正露出値Ｂcns＝6.5[EV]が設定されるとともに、限界露出差ΔＢｓ＝1.5[EV]が定められているケースについて、短時間側の露出値Ｂshtおよび長時間側の露出値Ｂlngの算出方法を説明する。

上記の式(１)〜(２)により、まず図７におけるΔＢｐ＝(8.0-6.0)×0.5＝+1.0[EV]、ΔＢｑ＝(3.0-6.0)×0.5＝-1.5[EV]を算出する。そして、この算出されたΔＢｐ、ΔＢｑを上記の式(３)〜(４)に代入することで、Ｂudr＝6.0+1.0＝7.0[EV]、Ｂovr＝6.0-1.5＝4.5[EV]を得る。

次に、シーン適正露出値Ｂcntより主被写体適正露出値Ｂcnsが大きいため、図８のように明部基準の露出制御値Ｂudrを主被写体適正露出値Ｂcnsで補正し、短時間側の露出値Ｂsht＝6.5[EV]に設定する。ここで、この短時間側の露出値Ｂshtと暗部基準の露出制御値Ｂovrとの差が2.0[EV](＝6.5-4.5)であり限界露出差ΔＢｓの1.5[EV]より大きいため、図８のように主被写体適正露出値Ｂcnsから限界露出差ΔＢｓだけ小さい露出制御値で暗部基準の露出制御値Ｂovrを補正し、長時間側の露出値Ｂlngを5.0[EV]に設定する。

以上のようにシーン適正露出値Ｂcntを挟んで設定される短時間側の露出値Ｂshtおよび長時間側の露出値Ｂlngでの２回の撮像で得られた２枚の画像を合成することにより、明暗の差が大きな撮影シーンに対しても階調再現が良好な被写体画像を生成することが可能となる。

以上のような撮像装置１Ａの具体的な動作について、以下で説明する。

[撮像装置１Ａの動作]
図１２は、撮像装置１Ａの基本的な動作を示すフローチャートである。この動作については、特に輝度差が比較的大きい撮影シーンに人物(の顔)などの主被写体が含まれる場合の露出制御動作を示しており、全体制御部１０１Ａによって実行される。

ステップＳＴ１では、シーン適正露出値Ｂcntを算出する。具体的には、測光部４５で得られた測光データに基づき、予め定められた露出演算により撮影シーン全体（撮像範囲全体）の露出状態が適正となる露出制御値Ｂcntを求める。

ステップＳＴ２では、明部基準の露出制御値Ｂudrを算出する。具体的には、測光部４５で得られた測光データに基づき被写体の輝度差を検出した後に、上記の式(１)、(３)を用いて明部基準の露出制御値Ｂudrを求める。

ステップＳＴ３では、暗部基準の露出制御値Ｂovrを算出する。具体的には、測光部４５で得られた測光データに基づき被写体の輝度差を検出した後に、上記の式(２)、(４)を用いて暗部基準の露出制御値Ｂovrを求める。

ステップＳＴ４では、主被写体適正露出値Ｂcnsを算出する。具体的には、測光部４５で得られた測光データに基づき、予め定められた露出演算により主被写体(人物の顔など)の露出状態がが適正となる露出制御値Ｂcnsを求める。

ここで、撮像素子５の撮像範囲において人物の顔を主被写体として指定する方法としては、例えば図１３(ａ)のようにライブビュー表示される背面モニタ１２の表示画面１２ｆにおいてリアルタイムで顔検出された３つの顔領域Ｆ１〜Ｆ３(破線部)のうちから、方向選択キー８４などの操作により図１３(ｂ)のように１つの顔領域Ｆ１(実線部)を選択して主被写体を指定する方法がある。このようにライブビュー表示(プレビュー表示)が行われる表示画面１２ｆで方向選択キー８４により指定される顔領域(表示画面１２ｆの部分領域)に対応した被写体部分を主被写体として設定すれば、ユーザが所望する主被写体を簡易に指定できることとなる。なお、上記の顔検出では、肌色情報や形状、輝度分布に基づいた検出を行っても良いし、顔のテンプレートを予め用意しておき、このテンプレートとの相関度を求めることで検出を行っても良い。このように顔検出され、ユーザによって選択された顔領域Ｆ１においては、その顔の平均輝度に基づき主被写体の適正な露出値(主被写体適正露出値)が算出されることとなる。ここで、複数の顔領域がユーザによって選択された場合には、各顔の平均輝度に基づき主被写体適正露出値を算出しても良いし、顔の大きさに応じた重み付け平均によって主被写体適正露出値を算出するようにしても良い。

ステップＳＴ５では、ステップＳＴ４で算出された主被写体適正露出値Ｂcnsが、ステップＳＴ１で算出されたシーン適正露出値Ｂcntより大きいかを判定する。ここで、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcntより大きい場合には、ステップＳＴ６に進み、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcnt以下である場合には、ステップＳＴ１０に進む。

ステップＳＴ６では、図８や図１０に示すように主被写体適正露出値Ｂcnsを短時間側の露出値Ｂshtに設定する。

ステップＳＴ７では、暗部基準の露出制御値Ｂovrを長時間側の露出値Ｂlngに設定する。

ステップＳＴ８では、ステップＳＴ６〜ＳＴ７で設定された短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとの差が限界露出差ΔＢｓ以上であるかを判定する。ここで、各露出値Ｂsht、Ｂlngの差が限界露出差ΔＢｓ以上である場合には、ステップＳＴ９に進み、限界露出差ΔＢｓ未満である場合には、本フローを抜ける。

ステップＳＴ９では、ステップＳＴ７で暗部基準の露出制御値Ｂovrが設定された長時間側の露出値Ｂlngを補正する。具体的には、図８に示すように主被写体適正露出値Ｂcnsが設定された短時間側の露出値Ｂshtを基準とし、これから限界露出差ΔＢｓだけ小さい露出制御値を長時間側の露出値Ｂlngに設定する。このように短時間側の露出値(第１露出制御値)Ｂshtと暗部基準の露出制御値(下側の露出制御値)Ｂovrとの差が、合成画像における主被写体の軟調防止用に規定された限界露出差ΔＢｓ以上である場合には、短時間側の露出値Ｂshtから限界露出差ΔＢｓだけ小さい値を長時間側の露出値(第２露出制御値)Ｂlngに設定すれば、合成画像において主被写体の輝度差が圧縮され過ぎず、軟調防止が図れることとなる。

ステップＳＴ１０では、明部基準の露出制御値Ｂudrを短時間側の露出値Ｂshtに設定する。

ステップＳＴ１１では、図９や図１１に示すように主被写体適正露出値Ｂcnsを長時間側の露出値Ｂlngに設定する。

ステップＳＴ１２では、上記のステップＳＴ８と同様に、ステップＳＴ１０〜ＳＴ１１で設定された短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとの差が限界露出差ΔＢｓ以上であるかを判定する。ここで、各露出値の差が限界露出差ΔＢｓ以上である場合には、ステップＳＴ１３に進み、限界露出差ΔＢｓ未満である場合には、本フローを抜ける。

ステップＳＴ１３では、ステップＳＴ１０で明部基準の露出制御値Ｂudrが設定された短時間側の露出値Ｂshtを補正する。具体的には、図９に示すように主被写体適正露出値Ｂcnsが設定された長時間側の露出値Ｂlngを基準とし、これから限界露出差ΔＢｓだけ大きい露出制御値を短時間側の露出値Ｂshtに設定する。このように長時間側の露出値(第２露出制御値)Ｂlngと明部基準の露出制御値(上側の露出制御値)Ｂudrとの差が、合成画像における主被写体の軟調防止用に規定された限界露出差ΔＢｓ以上である場合には、長時間側の露出値Ｂlngから限界露出差ΔＢｓだけ大きい値を短時間側の露出値(第１露出制御値)Ｂlngに設定すれば、合成画像において主被写体の輝度差が圧縮され過ぎず、軟調防止が図れることとなる。

以上のような撮像装置１Ａの動作により、２回の撮像で設定される短時間側・長時間側の各露出値Ｂsht、Ｂlngの決定では、まず被写体の輝度差を反映した露光段差ΔＢ(図７)が考慮され、次に露光段差ΔＢ内に主被写体適正露出値Ｂcnsが入っている場合には、この主被写体適正露出値Ｂcnsが優先的に考慮される。その結果、被写体の輝度差や人物の顔などの主被写体を適切に反映した２回の撮像を行えるため、撮像手段のダイナミックレンジの有効活用が図れて主被写体の露出状態が良好な合成画像を生成できる。

＜第２実施形態＞
本発明の第２実施形態に係る撮像装置１Ｂについては、図１〜３に示す第１実施形態の撮像装置１Ａと類似の構成を有しているが、全体制御部の構成が相違している。

すなわち、第２実施形態の全体制御部１０１Ｂは、そのＲＯＭに以下で説明する撮像装置１Ｂの動作を実行するプログラムが格納されている。

［異なる露出制御値での撮像について］
本実施形態の撮像装置１Ｂでは、図７に示す露光段差ΔＢの範囲内、つまり明部基準の露出制御値Ｂudrと暗部基準の露出制御値Ｂovrとの間に主被写体適正露出値Ｂcnsが設定される場合に対応した第１実施形態の動作(図１２のフローチャート参照)に加えて、上記の露光段差ΔＢの範囲外に主被写体適正露出値Ｂcnsが設定されるケースにも対応できるようになっている。以下では、このケースにおける撮像装置１Ｂの動作について図１４〜１５を参照して説明する。

図１４および図１５は、本発明の第２実施形態に係る撮像装置１Ｂにおいて主被写体を考慮した各露出制御値の設定手法について説明するための図である。

撮像装置１Ｂにおいては、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcntより一定レベル以上明るい場合や、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcntより一定レベル以上暗い場合には、第１実施形態と異なって主被写体適正露出値Ｂcnsを２回の撮像のいずれもで設定しないようにする。

具体的には、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcntより一定レベル以上明るい場合として、例えば図１４のように主被写体適正露出値Ｂcnsが明部基準の露出制御値Ｂudrより大きい場合には、短時間側の露出値Ｂshtに主被写体適正露出値Ｂcnsを設定せず、明部基準の露出制御値Ｂudrをそのまま採用するようにする。これは、露光段差ΔＢ(図７)の範囲外にある主被写体適正露出値Ｂcnsを撮像時に設定すれば、撮像素子５のダイナミックレンジに相当する輝度範囲Ｒdsのうち、被写体の最大輝度値Ｂmaxを超える輝度区間Ｂｖが活用されず無駄になって、撮像素子５のダイナミックレンジの有効活用が図れないためである。同様に、主被写体適正露出値Ｂcnsがシーン適正露出値Ｂcntより一定レベル以上暗い場合として、例えば図１５のように主被写体適正露出値Ｂcnsが暗部基準の露出制御値Ｂovrより小さい場合には、短時間側の露出値Ｂlngに主被写体適正露出値Ｂcnsを設定せず、暗部基準の露出制御値Ｂovrをそのまま採用することとする。

ここで、図１４のように短時間側の露出値Ｂshtに設定された明部基準の露出制御値Ｂudrと暗部基準の露出制御値Ｂovrとの差が限界露出差ΔＢｓより大きい場合には、この明部基準の露出制御値Ｂudrを基準とし、これから限界露出差ΔＢｓだけ小さい露出制御値に暗部基準の露出制御値Ｂovrを補正して長時間側の露出値Ｂlngに設定するようにする。このように限界露出差ΔＢｓの範囲内に短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとを設定すれば、合成画像において人物の顔などの主被写体が軟調となるのを防止できる。同様に、図１５のように長時間側の露出値Ｂlngに設定された暗部基準の露出制御値Ｂovrと明部基準の露出制御値Ｂudrとの差が限界露出差ΔＢｓより大きい場合には、この暗部基準の露出制御値Ｂovrを基準とし、これから限界露出差ΔＢｓだけ大きい露出制御値に明部基準の露出制御値Ｂudrを補正して短時間側の露出値Ｂshtに設定することとする。

以上のような撮像装置１Ｂの具体的な動作について、以下で説明する。

[撮像装置１Ｂの動作]
図１６は、撮像装置１Ｂの基本的な動作を示すフローチャートである。この動作については、特に主被写体適正露出値Ｂcnsが露光段差ΔＢ(図７)の範囲外にある場合の露出制御動作を示しており、全体制御部１０１Ｂによって実行される。なお、撮像装置１Ｂにおいて主被写体適正露出値Ｂcnsが露光段差ΔＢの範囲内に入っている場合には、第１実施形態と同様の露出制御動作が全体制御部１０１Ｂによって実行されることとなる。

ステップＳＴ２１〜ＳＴ２４では、図１２のフローチャートに示すステップＳＴ１〜ＳＴ４と同様の動作を行う。

ステップＳＴ２５では、主被写体適正露出値Ｂcnsが露光段差ΔＢの範囲外にあって露光段差ΔＢ内の各値より大きいかを判定する。具体的には、主被写体適正露出値Ｂcnsが露光段差ΔＢの上限値である明部基準の露出制御値Ｂudrより大きいか否かを判断する。ここで、主被写体適正露出値Ｂcnsが露光段差ΔＢ内の各値より大きい場合には、ステップＳＴ２６に進む。一方、主被写体適正露出値Ｂcnsが露光段差ΔＢ内の各値より小さい場合、具体的には、主被写体適正露出値Ｂcnsが露光段差ΔＢの下限値である暗部基準の露出制御値Ｂovrより小さい場合には、ステップＳＴ３０に進む。

ステップＳＴ２６では、明部基準の露出制御値Ｂudrを短時間側の露出値Ｂshtに設定する。ここでは、上述のように撮像素子５のダイナミックレンジの有効活用を図るため、主被写体適正露出値Ｂcnsが短時間側の露出値Ｂshtに設定されない。

ステップＳＴ２７では、暗部基準の露出制御値Ｂovrを長時間側の露出値Ｂlngに設定する。

ステップＳＴ２８では、ステップＳＴ２６〜ＳＴ２７で設定された短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとの差が限界露出差ΔＢｓ以上であるかを判定する。ここで、各露出値Ｂsht、Ｂlngの差が限界露出差ΔＢｓ以上である場合には、ステップＳＴ２９に進み、限界露出差ΔＢｓ未満である場合には、本フローを抜ける。

ステップＳＴ２９では、ステップＳＴ２７で暗部基準の露出制御値Ｂovrが設定された長時間側の露出値Ｂlngを補正する。具体的には、図１４に示すように明部基準の露出制御値Ｂudrが設定された短時間側の露出値Ｂshtを基準とし、これから限界露出差ΔＢｓだけ小さい露出制御値を長時間側の露出値Ｂlngに設定する。このように主被写体適正露出値(第２適正露出値)Ｂsnsが明部基準の露出制御値(上側の露出制御値)Ｂudrより大きく、露光段差(露出範囲)ΔＢの幅が、合成画像における主被写体の軟調防止用に規定された限界露出差ΔＢｓ以上である場合には、明部基準の露出制御値(上側の露出制御値)Ｂudrを短時間側の露出値(第１露出制御値)Ｂshtに設定するとともに、短時間側の露出値Ｂshtから限界露出差ΔＢｓだけ小さい値を長時間側の露出値(第２露出制御値)Ｂlngに設定する。これにより、合成画像において主被写体が軟調となるのを防止できる。

ステップＳＴ３０では、明部基準の露出制御値Ｂudrを短時間側の露出値Ｂlngに設定する。

ステップＳＴ３１では、暗部基準の露出制御値Ｂovrを長時間側の露出値Ｂlngに設定する。ここでは、上述のように撮像素子５のダイナミックレンジの有効活用を図るため、主被写体適正露出値Ｂcnsが長時間側の露出値Ｂlngに設定されない。

ステップＳＴ３２では、上記のステップＳＴ２８と同様に、ステップＳＴ３０〜ＳＴ３１で設定された短時間側の露出値Ｂshtと長時間側の露出値Ｂlngとの差が限界露出差ΔＢｓ以上であるかを判定する。ここで、各露出値Ｂsht、Ｂlngの差が限界露出差ΔＢｓ以上である場合には、ステップＳＴ３３に進み、限界露出差ΔＢｓ未満である場合には、本フローを抜ける。

ステップＳＴ３３では、ステップＳＴ３０で明部基準の露出制御値Ｂudrが設定された短時間側の露出値Ｂshtを補正する。具体的には、図１５に示すように暗部基準の露出制御値Ｂovrが設定された長時間側の露出値Ｂlngを基準とし、これから限界露出差ΔＢｓだけ大きい露出制御値を短時間側の露出値Ｂshtに設定する。このように主被写体適正露出値(第２適正露出値)Ｂsnsが暗部基準の露出制御値(下側の露出制御値)Ｂovrより小さく、露光段差(露出範囲)ΔＢの幅が、合成画像における主被写体の軟調防止用に規定された限界露出差ΔＢｓ以上である場合には、暗部基準の露出制御値(下側の露出制御値)Ｂovrを長時間側の露出値(第２露出制御値)Ｂlngに設定するとともに、長時間側の露出値Ｂlngから限界露出差ΔＢｓだけ大きい値を短時間側の露出値(第１露出制御値)Ｂshtに設定する。これにより、合成画像において主被写体が軟調となるのを防止できる。

以上のような撮像装置１Ｂの動作により、露光段差ΔＢの範囲内に主被写体適正露出値Ｂcnsが入らず、露光段差ΔＢが限界露出差ΔＢｓより拡い場合には、主被写体適正露出値Ｂcnsに近い方の明部基準または暗部基準の露出制御値を起点とした限界露出差ΔＢｓ内に２回の撮像で用いられる短時間側・長時間側の各露出値Ｂsht、Ｂlngを設定する。その結果、２回の撮像によって得られる合成画像において人物の顔などの主被写体が軟調となるのを防ぐことができる。

＜変形例＞
上記の各実施形態においては、図１３のように顔検出された複数の顔領域から１つの顔領域を選択することにより主被写体を指定するのは必須でなく、図１７(ａ)のようにライブビュー表示が行われる表示画面１２ｆを例えば３×４の矩形領域Ｆａに分割し、方向選択キー８４などの操作により図１７(ｂ)のように１つの分割領域Ｆｂを選択することで、主被写体(図１７では花)を指定しても良い。また、図１８(ａ)のようにライブビュー表示が行われる表示画面１２ｆに表わされる矩形領域Ｆｐ(破線部)を方向選択キー８４の操作に応じて上下左右に移動できるようにしておき、図１８(ｂ)のようにユーザが所望する主被写体に矩形領域Ｆｐを移動させて主被写体を指定するようにしても良い。

また、上述したシーンセレクタ露出モードにおいて撮影シーンに応じて設定される被写体の部位を主被写体として指定しても良い。このシーンセレクタ露出モードで選択可能なシーン(モード)としては、例えば通常よりも明るめの露出を行って料理をより美味しそうに仕上げる料理モードや、通常よりも明るめの露出を行って肌をより明るく綺麗に仕上げる美肌モード、通常よりも明るめの露出を行って雪をより見た目に近い明るさに仕上げるスノーモードがある。これらのシーン(モード)が選択された場合には、料理や肌、雪が主被写体として指定されることとなる。

このように料理や雪などの特定の被写体が含まれる撮影シーンを指定することにより特定の被写体に対しての適正露出値が設定されるシーンセレクタ露出モードにおいては、ユーザが指定した撮影シーンに含まれる特定の被写体が主被写体として設定される。その結果、ユーザが所望する主被写体を簡易に指定できることとなる。

上記の各実施形態においては、合成画像で人物の顔などが軟調になるのを防ぐための限界露出差ΔＢｓを予め定められた１つの固定値に設定するのは必須でなく、例えば複数の固定値を準備しておき撮影シーンに応じて１つの固定値を選択するようにしても良い。また、限界露出差ΔＢｓを撮影シーンに応じて変化させるようにしても良い。この場合には、例えば人物の顔領域の輝度差が大きいほど限界露出差ΔＢｓを小さくすれば、顔領域の明部と暗部とが過度に圧縮されるのを防止できる。

上記の各実施形態においては、測光部４５からの測光データに基づく露出演算によりシーン適正露出値を自動で設定するのは必須でなく、操作部８０に対してのユーザ操作によりシーン適正露出値を手動(マニュアル)で設定しても良い。同様に、主被写体適正露出値についても、ユーザによる手動設定を行うようにしても良い。

上記の各実施形態においては、上記の式(１)、(２)、(６)に表される係数ｋを例えば０.５に固定的に設定するのは必須でなく、被写体の輝度差や最大・最小の輝度値Ｂmax、Ｂminに応じて係数ｋを０〜１の範囲内で変化させるようにしても良い。

上記の各実施形態においては、最大の輝度値Ｂmaxと最小の輝度値Ｂminとの差を被写体の輝度差として検出するのは必須でなく、高輝度平均（例えば最大の輝度値Ｂmaxから低輝度方向への所定幅(全画素数のβ％)における平均値）と低輝度平均（例えば最小の輝度値Ｂminから高輝度方向への所定幅(全画素数のβ％)における平均値）との差を被写体の輝度差として検出するようにしても良い。

本発明は詳細に説明されたが、以上の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１Ａ、１Ｂ 撮像装置
２ カメラ本体部
３ 交換レンズ
５ 撮像素子
４４ 測光素子
４５ 測光部
５０ 画像処理部
５７ 記録画像生成部
５８ 位置合わせ部
５９ 画像合成部
１０１Ａ、１０１Ｂ 全体制御部
１０２ 露出制御部
１０３ ＡＦ制御部
１０４ 撮像制御部
Ｂcns 主被写体適正露出値
Ｂcnt シーン適正露出値
Ｂlng 長時間側の露出値
Ｂmin 最小の輝度値
Ｂmax 最大の輝度値
Ｂsht 短時間側の露出値
Ｂovr 暗部基準の露出制御値
Ｂudr 明部基準の露出制御値
Ｇｃ 合成画像
ΔＢ 露光段差
ΔＢｓ 限界露出差

Claims (7)

1. 被写体に係る撮像画像を生成する撮像手段と、
   所定の測光範囲を測光して前記被写体の輝度情報を取得する輝度情報取得手段と、
   前記輝度情報取得手段で取得される高輝度情報と低輝度情報とに基づき、前記被写体に係る輝度差を検出する検出手段と、
   前記検出手段で検出される輝度差に所定の係数ｋ(ただし０＜ｋ＜１)を乗算して得られた値に相当する段差を有した上側の露出制御値と下側の露出制御値とに基づき、第１露出制御値と前記第１露出制御値より小さい第２露出制御値とを決定し、前記撮像手段を用いて前記第１露出制御値と前記第２露出制御値とに設定された２回の撮像を行う撮像制御手段と、
   前記２回の撮像により前記撮像手段で得られた２の撮像画像から抽出される画像部分を合成し、合成画像を生成する画像合成手段と、
   を備えており、
   前記２回の撮像が１回の撮像であった場合に当該１回の撮像で用いられる露出値として、撮像範囲全体に対する第１適正露出値と、主被写体に対する第２適正露出値との設定が可能であり、
   前記上側の露出制御値から前記下側の露出制御値までの露出範囲内には、前記第１適正露出値が含まれるとともに、
   前記撮像制御手段は、
   前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より大きい場合には、当該第２適正露出値を前記第１露出制御値に設定する第１制御手段と、
   前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より小さい場合には、当該第２適正露出値を前記第２露出制御値に設定する第２制御手段と、
   を有する撮像装置。
2. 前記第１制御手段は、
   前記第１露出制御値と前記下側の露出制御値との差が、前記合成画像における前記主被写体の軟調防止用に規定される露出差以上である場合には、前記第１露出制御値から前記所定の露出差だけ小さい値を前記第２露出制御値に設定する手段、
   を有するとともに、
   前記第２制御手段は、
   前記第２露出制御値と前記上側の露出制御値との差が前記露出差以上である場合には、前記第２露出制御値から前記所定の露出差だけ大きい値を前記第１露出制御値に設定する手段、
   を有する請求項１記載の撮像装置。
3. 前記撮像制御手段は、
   前記第２適正露出値が前記上側の露出制御値より大きく、前記露出範囲が、前記合成画像における前記主被写体の軟調防止用に規定される露出差以上である場合には、前記上側の露出制御値を前記第１露出制御値に設定するとともに、前記上側の露出制御値から前記所定の露出差だけ小さい値を前記第２露出制御値に設定する手段と、
   前記第２適正露出値が前記下側の露出制御値より小さく、前記露出範囲が前記露出差以上である場合には、前記下側の露出制御値を前記第２露出制御値に設定するとともに、前記下側の露出制御値から前記所定の露出差だけ大きい値を前記第１露出制御値に設定する手段と、
   を有する請求項１記載の撮像装置。
4. 前記主被写体は、人物または人物の顔である請求項１記載の撮像装置。
5. 特定の被写体が含まれる所定の撮影シーンを指定することにより、前記特定の被写体に対しての適正露出値が設定される露出モードが設けられており、
   前記主被写体は、前記露出モードで指定される所定の撮影シーンに含まれる前記特定の被写体である請求項１記載の撮像装置。
6. 前記撮像手段で順次に生成される撮像画像に基づき、本撮影前に被写体のプレビュー表示を所定の表示画面で行わせる表示制御手段と、
   前記所定の表示画面における部分領域を指定する指定手段と、
   をさらに備え、
   前記主被写体は、前記プレビュー表示が行われる所定の表示画面で前記指定手段により指定される前記部分領域に対応した被写体部分である請求項１記載の撮像装置。
7. 所定の測光範囲を測光して被写体の輝度情報を取得する輝度情報取得手段で得られる高輝度情報と低輝度情報とに基づき、前記被写体に係る輝度差を検出する検出工程と、
   前記検出工程で検出される輝度差に所定の係数ｋ(ただし０＜ｋ＜１)を乗算して得られた値に相当する段差を有した上側の露出制御値と下側の露出制御値とに基づき、第１露出制御値と前記第１露出制御値より小さい第２露出制御値とを決定し、被写体に係る撮像画像を生成する撮像手段を用いて前記第１露出制御値と前記第２露出制御値とに設定された２回の撮像を行う撮像制御工程と、
   を備えており、
   前記２回の撮像により前記撮像手段で得られた２の撮像画像から抽出される画像部分を合成し、合成画像が生成されるとともに、
   前記２回の撮像が１回の撮像であった場合に当該１回の撮像で用いられる露出値として、撮像範囲全体に対する第１適正露出値と、主被写体に対する第２適正露出値との設定が可能となっており、
   前記上側の露出制御値から前記下側の露出制御値までの露出範囲内には、前記第１適正露出値が含まれるとともに、
   前記撮像制御工程は、
   前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より大きい場合には、当該第２適正露出値を前記第１露出制御値に設定する第１制御工程と、
   前記第２適正露出値が前記露出範囲内にあって前記第１適正露出値より小さい場合には、当該第２適正露出値を前記第２露出制御値に設定する第２制御工程と、
   を有する撮像制御方法。

Images