JP2013157904A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】被写体（撮影シーン）の輝度に応じて、白飛びや黒潰れを適度に解消しつつ、コントラストが適度に維持されたＨＤＲ画像を得られる露出制御技術を実現する。
【解決手段】露光量を変えて撮像される複数枚の画像を合成する撮像装置において、被写体の明るさを測光する測光手段と、前記測光手段により得られる測光値から前記複数枚の画像それぞれの露光量を決定する決定手段と、前記決定手段により決定された露光量で前記複数枚の画像を撮像する撮像手段と、前記複数枚の画像を合成して合成画像を生成する画像合成手段と、を備え、前記決定手段は、前記測光手段により得られる測光値から前記合成画像の輝度レンジを取得し、第１のしきい値より高輝度な測光値及び第２のしきい値より低輝度な測光値の評価に基づいて前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記複数枚の露光量を決定する。
【選択図】図１

Description

本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

近年、明暗差が大きいことに起因する明部の白飛びや暗部の黒潰れを低減する技術として、露出を変えつつ複数枚の画像を撮影し、これらを合成して幅広いダイナミックレンジを持つ画像を生成するハイダイナミックレンジ（ＨＤＲ）合成機能が注目されている。一般的に、ＣＭＯＳイメージセンサ等のダイナミックレンジ（最明部と最暗部との明暗の比）は、自然界のダイナミックレンジよりも狭いため、太陽などの飛び抜けて明るい部分は白く飛び、陰の部分は黒く潰れることがある。

この白飛びに対して、露出を低くして撮影すれば、全体的に暗くなるため白飛びは抑制できるが、暗部が黒く潰れてしまう。一方、黒潰れに対して、露出を高くすると、全体的に明るくなるため黒潰れは抑制できるが、明部に白飛びが発生してしまう。

ＨＤＲ合成では、同じ構図で高い露出と低い露出で複数枚の画像を撮影し、明るい領域（白飛び等）は、低露出画像に重みをかけ、暗い領域は、高露出画像に重みをかけて合成することにより、白飛びや暗部の黒潰れを改善できる。

ＨＤＲ合成では、被写体を明るく撮像する露光量と被写体を暗く撮像する露光量の差をどの程度にするかが、ＨＤＲ画像の出来を左右する重要な要因となっている。

例えば、特許文献１には、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを合成した画像の輝度情報に基づいて、露光量の少ない画像信号を取得する露出制御を行う技術が記載されている。また、特許文献２には、被写体を測光して輝度情報を取得し、高輝度情報と低輝度情報から得られる輝度差に１未満の重み係数を乗じて露出制御を行う技術が記載されている。

特許第４３４１６９１号明細書 特開２０１１−０１５３８０号公報

しかしながら、上記特許文献１，２では、撮像素子のダイナミックレンジと被写体の輝度差を適切に反映した（有効活用した）露出制御を目的としているが、出力画像を鑑賞したときに好ましい画質であるかは考慮されていない。一定のダイナミックレンジの出力装置で鑑賞する場合、より幅広いダイナミックレンジの被写体（撮影シーン）を出力装置のダイナミックレンジに収めるために、画像のコントラストが低下してしまいＨＤＲ画像の画質として好ましい結果を得られないことがある。被写体によっては、例えば黒い被写体などはＨＤＲ画像のコントラストが低下し画質として好ましくない場合がある。このように、被写体（撮影シーン）によっては、ＨＤＲ画像の白飛びや黒潰れを解消する効果よりも、ＨＤＲ画像のコントラストを維持したい場合もある。

本発明は、上記課題に鑑みてなされ、その目的は、被写体（撮影シーン）の輝度に応じて、白飛びや黒潰れを適度に解消しつつ、コントラストが適度に維持されたＨＤＲ画像を得られる露出制御技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、露光量を変えて撮像される複数枚の画像を合成する撮像装置において、被写体の明るさを測光する測光手段と、前記測光手段により得られる測光値から前記複数枚の画像それぞれの露光量を決定する決定手段と、前記決定手段により決定された露光量で前記複数枚の画像を撮像する撮像手段と、前記複数枚の画像を合成して合成画像を生成する画像合成手段と、を備え、前記決定手段は、前記測光手段により得られる測光値から前記合成画像の輝度レンジを取得し、第１のしきい値より高輝度な測光値及び第２のしきい値より低輝度な測光値の評価に基づいて前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記複数枚の露光量を決定する。

本発明によれば、被写体（撮影シーン）の輝度に応じて、白飛びや黒潰れを適度に解消しつつ、コントラストが適度に維持されたＨＤＲ画像を得ることができる。

本発明に係る実施形態の撮像装置のブロック図。 本実施形のＨＤＲ合成処理を示すフローチャート。 屋外シーンと屋内シーンにおける露光量差の決定処理を示すフローチャート。 屋外シーンと屋内シーンにおける補正輝度レンジの決定処理を示すフローチャート。 屋外評価関数と屋内評価関数を例示する図。 屋外シーンと屋内シーンを含むシーン（Ａ）、測光値のヒストグラム（Ｂ）、及び評価測光値のヒストグラム（Ｃ）をそれぞれ例示する図。 屋内シーンしか含まないシーン（Ａ）、測光値のヒストグラム（Ｂ）、及び評価測光値のヒストグラム（Ｃ）をそれぞれ例示する図。 ＨＤＲ合成における合成比率の輝度特性を例示する図。 夜景シーンにおける露光量差の決定処理を示すフローチャート。 夜景シーンにおける補正輝度レンジの決定処理を示すフローチャート。 夜景評価関数を例示する図。 夜景シーン（Ａ）、測光値のヒストグラム（Ｂ）、及び評価測光値のヒストグラム（Ｃ）をそれぞれ例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の撮像装置を、例えば、静止画や動画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞先ず、図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、本実施形態の撮像装置は、被写体の明るさを測定する測光光学系（レンズ）１０００を有し、測光光学系１０００を介して入射される被写体光はＣＣＤやＣＭＯＳ素子等からなる測光部１０１０で受光されて測光信号が生成される。測光部１０１０で生成された測光値は、測光値統計処理部１０２０へ出力される。

また、本実施形態の撮像装置は、撮像光学系（レンズ）１０４０を介して入射される被写体光を光電変換して画像信号を生成するＣＣＤやＣＭＯＳ等からなる撮像素子１０５０を有し、撮像素子１０５０からの出力信号はＡ／Ｄ変換部１０６０へ出力される。Ａ／Ｄ変換部１０６０は、撮像素子から出力されるアナログ画像信号をデジタル信号に変換し、第１画像処理部１０７０へ出力する。

露光制御部１０３０は、測光値統計処理部１０２０と制御部１１３０からの制御指令に基づいて、撮像素子１０５０での信号蓄積時間（露光時間）、入射光がレンズを通過する量（絞り値）、撮像信号のゲイン量の制御を行う。

第１画像処理部１０７０は、Ａ／Ｄ変換部１０６０から出力される画像データに対して画像処理を行い、ハイダイナミックレンジ（以下、ＨＤＲ）合成に適した中間画像データを生成する。

ＨＤＲ画像合成部１０８０は、第１画像処理部１０７０で生成された複数の中間画像データを合成してＨＤＲ画像を生成する。

第２画像処理部１０９０は、ＨＤＲ合成により生成されたＨＤＲ画像の画質を改善する処理として、例えば、コントラストを強調する処理や、明るさを調整する処理を行う。

ＨＤＲ画像はメモリ１１２０に蓄積されるか、圧縮部１１００でＪＰＥＧ等の方法で圧縮され、記録部１１１０にてフラッシュメモリ等の記録媒体に記録される。

メモリ１１２０には、上述した各部で処理される画像データや、撮影情報などのデータが格納され、制御部１１３０が各部を制御する。また、必要な場合はユーザ指示などの外部操作がインタフェース（Ｉ／Ｆ）１１４０を介して撮像装置へ入力される。また、演算処理や条件判定処理などは、必要に応じてメモリ１１２０に格納されている制御プログラムに従って制御部１１３０が処理を行う。

＜画像処理＞図２乃至図７を参照して、実施形態１による、明るい屋外シーンと暗い屋内シーンを検出して露光量差を決定する処理について説明する。

なお、図２乃至４の処理は、制御部１１３０が、ＲＯＭに格納された制御プログラムを、ＲＡＭのワークエリアに展開し、実行することで実現される。

まず図２を参照して、本実施形態の撮像装置によるＨＤＲ合成処理について説明する。

図２において、ステップＳ１００は、測光部１０１０が、測光光学系１０００を介して入射される被写体像の明るさを測光する処理である。測光部１０１０から出力される測光値は測光値統計処理部１０２０へ出力される。

具体的には、撮影光学系１０４０及び測光光学系１０００を介して被写体光を測光部１０１０と撮像素子１０５０に結像する。測光部１０１０は、被写体の高輝度な領域から低輝度な領域までの測光値を、撮像素子１０５０のダイナミックレンジに応じて１回もしくは複数回の撮像処理で取得する。撮像素子１０５０は、例えば、原色カラーフィルタを備える単板カラー撮像素子とする。本例では、測光部１０１０と撮像素子１０５０とを異なるブロックにしている。しかしながら、撮像素子１０５０で測光を行うなど、それぞれの機能を達成できるのであれば同じブロックにしてもよい。また、測光光学系（レンズ）１０００と撮像光学系（レンズ）１０４０を同じブロックにしてもよい。

ステップＳ２００は、撮影の基準となる露光量を決定もしくは選択する処理であり、ステップＳ３００は、撮影の基準となる露光量からの露光量差を決定する処理である。

具体的には、測光値統計処理部１０２０が、測光部１０１０から出力された測光値（被写体輝度・Ｂｖ値）に基づいて、測光値のヒストグラムを取得する。制御部１１３０は、このヒストグラムを用いて適正露出である基準となる露光量（Ｅｖ値）と、より被写体を明るく撮像する露光量（Ｅｖ値）、もしくはより被写体を暗く撮像する露光量（Ｅｖ値）、もしくはその両方の露光量（Ｅｖ値）を決定する。ここで、基準となるき露光量と、より被写体を明るく撮像する露光量、もしくはより被写体を暗く撮像する露光量の差を露光量差とする。基準となる露光量は、ユーザがＩ／Ｆ１１４０を介して指定してもよいが、測光値に基づいて公知の中央部重点測光やスポット測光や多分割測光により適切な露光量を算出する。下記式１に、ＡＰＥＸ規格における被写体輝度（Ｂｖ値）と露光量（Ｅｖ値）と撮像素子の露光時間（Ｔｖ値）と入射光がレンズを通過する量（Ａｖ値）と撮像信号のゲイン量（Ｓｖ値）の関係を示す。近年、Ｓｖ値がＩＳＯ１００の場合のＥｖ値（＝Ｅｖ１００）を被写体輝度として簡易的に扱うことが多いため、本実施形態ではＥｖ１００を用いて被写体輝度を表す。

Ｅｖ＝Ｓｖ＋Ｂｖ＝Ｔｖ＋Ａｖ・・・（１）
さらに、ステップＳ３００における、より被写体を明るく撮像する露光量、もしくは、より被写体を暗く撮像する露光量の差を決定する処理の詳細について説明する。

本実施形態では、ＨＤＲ合成が有効なシーンの一つとして、部屋の中（屋内）から窓越しに外の景観（明るい屋外）を撮影するシーンや、空（明るい屋外）と建物（屋内）を同時に撮影するシーンを想定している。このように、明るい屋外シーンと屋内シーンが共存しているようなシーンでは、撮像素子のダイナミックレンジ不足による白飛びや黒潰れが発生しやすい。このようなシーンでは、より大きく露光量の異なった露出で撮像することで、合成したＨＤＲ画像の白飛びや黒潰れを解消した効果が得られる。つまり、屋外シーンと屋内シーンを含むシーンではより大きな露光量差を算出したい一方、昼間の駐車場（明るい屋外）を撮影するシーンや室内（屋内）を撮影するシーンでも、蛍光灯や太陽など比較的高輝度な領域や黒い車など比較的低輝度な領域がある。このため、明るい屋外シーンと屋内シーンが含まれているようなシーンと同程度の測光値のダイナミックレンジが検出される場合がある。しかし、このようなシーンでは、撮像素子のダイナミックレンジ不足による白飛びや黒潰れを解消するよりも画像のコントラストを維持した方が、ユーザの印象が良い。つまり、屋外シーンと屋内シーンのどちらかしか含まないシーン、またはどちらも含まないシーンではより小さな露光量差を算出したい。以上の理由から、本実施形態では、明るい屋外シーンと屋内シーンを含むシーンとそれ以外のシーンを判別し、露光量の差をそれぞれのシーンで適切に決定する方法について説明する。

代表的な被写体（シーン）の輝度がどの程度の値（Ｅｖ１００換算）を示すかは経験的に知られている。本実施形態では、明るい屋外シーンを意味する第１のしきい値（Ｅｖ１００＝１２程度）と、屋内シーンを意味する第２のしきい値（Ｅｖ１００＝８程度）を用いて、被写体輝度から屋外シーンと屋内シーンを検出する。つまり、被写体（シーン）のうち第１のしきい値よりも明るい測光値を検出した領域は明るい屋外領域であると判定する。一方、被写体（シーン）のうち第２のしきい値よりも暗い測光値を検出した領域は屋内領域であると判定する。画像中の屋外領域と屋内領域の被写体（シーン）に占める割合が多い、つまりそれぞれの条件を満たす測光値のヒストグラムの累積頻度が所定数より多い場合には、それぞれ屋外シーンや屋内シーンを含むと判定する。また、測光値のばらつきで露光制御が急激に変わらないようにするために、図５で示すような測光値と評価値（重み）の関数である評価関数（屋外評価関数と屋内評価関数）を用いる。ある測光値から得られる評価値（重み）とその測光値の頻度を乗算した結果を用いて評価測光値のヒストグラムを算出し、それぞれ屋外シーンや屋内シーンを制御部１１３０が判定する。ここで、第１のしきい値よりも高輝度な評価測光値のヒストグラムの累積頻度を屋外評価値、第２のしきい値よりも低輝度な評価測光値のヒストグラムの累積頻度を屋内評価値とする。

＜露光量差を決定する処理＞以下に、図３を参照して、図２のＳ３００での処理について説明する。

図３において、ステップＳ３１０では、測光値統計処理部１０２０は、測光値のヒストグラムを測光部１０１０から出力された複数の測光値から取得する。

ステップＳ３２０では、測光値統計処理部１０２０は、測光値の輝度レンジを測光部１０１０から出力された複数の測光値から取得する。測光値の輝度レンジは、最大（最明）測光値と最小（最暗）測光値の差分から取得する。ただし、点光源などのはずれ値の影響を除去する場合は、最大（最明）測光値から大きい順に複数の測光値を平均した値と最小（最暗）測光値から小さい順に複数の測光値を平均した値の差分でもよい。また、適正露光量を考慮して輝度レンジを定めるために、最大（最明）測光値と適正露光量、最小（最暗）測光値と適正露光量、あるいは３つ全ての値に基づいて輝度レンジを求めてもよい。

ここで、ステップＳ３３０とＳ３４０における、本実施形態の屋外評価値と屋内評価値の算出方法について具体的に説明する。ＨＤＲ合成が有効なシーン（図６（Ａ））の測光部１０１０から出力された測光値のヒストグラムを図６（Ｂ）に示す。また、測光部１０１０から出力された測光値から、このシーンの輝度レンジを算出できる。次に、評価測光値のヒストグラムを図６（Ｃ）に示す。このシーンでは、第１のしきい値よりも高輝度な領域（屋外領域）と第２のしきい値よりも低輝度な領域（屋内領域）が共存している。この場合、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消を図るような露出制御を行う。一方、ＨＤＲ合成が有効でないシーン（図７（Ａ））の測光部１０１０から出力された測光値のヒストグラムを図７（Ｂ）に示す。また、測光部１０１０から出力された測光値から、このシーンの輝度レンジを算出でき、ＨＤＲ合成が有効なシーン（図６）と同程度の輝度レンジである。次に、評価測光値のヒストグラムを図７（Ｃ）に示す。このシーンでは、第１のしきい値よりも高輝度な領域（屋外領域）はほぼわずかであり、第２のしきい値よりも低輝度な領域（屋内領域）がほとんどである。この場合、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消を図るよりも、コントラストを維持するような露出制御を行う。

ステップＳ３５０における、測光値の輝度レンジと屋外評価値と屋内評価値を用いて、基準となる露光量からの露光量差を算出する方法について説明する。ＨＤＲ合成の主な目的は、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消にある。これを実現するためには測光値の輝度レンジは重要な情報であり、露光量差を求める場合にも測光値の輝度レンジが基本となる情報である。つまり、測光値の輝度レンジがより広い場合にはより大きな露光量差を算出し、測光値の輝度レンジがより狭い場合にはより小さな露光量差を算出する。さらに本実施形態では、測光の輝度レンジを屋外評価値と屋内評価値で補正し補正輝度レンジを算出することで、シーンに適切な露光量差を決定する。

＜補正輝度レンジを算出する処理＞以下に、図３のステップＳ３５０での処理について、ＨＤＲ合成が有効なシーン（図６）とＨＤＲ合成が有効でないシーン（図７）を例として、図４を参照しつつ説明する。

図４において、ステップＳ３５１とＳ３５２では、屋内評価値と屋外評価値がしきい値以上であるか否かを判定する。図６のシーンの測光値の輝度レンジはＸ５であり、屋内評価値はＹ５、屋外評価値はＺ５であったとする。また、図７のシーンの測光値の輝度レンジはＸ６（≒Ｘ５）であり、屋内評価値はＹ６、屋外評価値はＺ６（≒０）であったとする。屋内評価値Ｙや屋外評価値Ｚが取得できるかできないかによって露出制御がばらつくことを抑えるために、あるしきい値以下のシーン評価値は無視することが望ましい。シーン評価値のしきい値は、測光値のヒストグラムの累積頻度により任意の値を設定するとよく、画面の３分の１を占めるような値を設定するとよい。上記の条件から、図６のシーンの屋内評価値Ｙ５と屋外評価値Ｚ５は屋外シーンと屋内シーンとして十分な検出結果が得られている。図７のシーンの屋内評価値Ｙ６は屋内シーンとして十分な検出結果が得られているが屋外評価値Ｚ６はほぼゼロであり、無視することとする。

ステップＳ３５３とＳ３５４では、屋内評価値と屋外評価値の検出結果に基づいて露光量差（補正輝度レンジ）を拡大する方向もしくは縮小する方向に補正する補正値を取得する。ステップＳ３５５では、ステップＳ３５３またはＳ３５４で求めた補正値に基づいて補正輝度レンジを取得する。本実施形態では、屋外領域を意味する屋外評価値Ｙと屋内領域を意味する屋内評価値Ｚが共に検出されたシーンを、屋外シーンと屋内シーンを含むシーンとして検出する。それ以外の場合を、屋外シーンと屋内シーンがどちらかしか含まれていないシーン、またはどちらも含まないシーンとして検出する。つまり、図６のシーンは屋外シーンと屋内シーンを含むシーンであり、図７のシーンは屋外シーンと屋内シーンのどちらかしか含まないシーンと検出できる。以上の結果から、図６のシーンはより大きな露光量差を求めるために、測光値の輝度レンジから得られる露光量差を拡大するような補正を行う。例えば、測光値の輝度レンジに０より大の補正値を足し合わせたり、測光値の輝度レンジに１より大の補正係数をかけ合わせたりする。また、図７のシーンはより小さな露光量差を求めるために、測光値の輝度レンジから得られる露光量差を縮小するような補正を行う。例えば、測光値の輝度レンジに０以下の補正値を足し合わせたり、測光値の輝度レンジに１以下の補正係数をかけ合わせたりする。この補正した測光値の輝度レンジを補正輝度レンジとする。

図３に戻り、ステップＳ３６０では、ステップＳ３５０で算出した補正輝度レンジを用いて露光量差を決定する。この決定方法としては、補正輝度レンジが大きくなるほど、より被写体を明るくもしくは暗く撮像する露光量を求めるようなテーブルを予め用意しておくことができる。また、補正輝度レンジが大きくなるほど、より被写体を明るくもしくは暗くして撮像する露光量を求めるような増加関数を予め定義しておき、必要に応じて計算して求めることもできる。この場合、補正輝度レンジと露光量差の関係は、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消を目的としてより大きな露光量差を算出するような関係性であってもよい。また、画像のコントラストを維持するようなより小さな露光量差を算出するような関係性であってもよい。また、補正輝度レンジと露光量差の関係をユーザが指定することができてもよい。このように、本実施形態では基準の露光量の画像、基準の露光量より被写体を明るく撮像した画像及び基準の露光量より被写体を暗く撮像した画像の３枚を撮像し、それらを用いてＨＤＲ合成を行う。しかしこれに限らず、基準の露光量に対して明るく撮像した画像及び暗く撮像した画像の２枚を撮像し、ＨＤＲ合成を行う構成にするなど、枚数を問わず、再現したい輝度レンジを包含するように複数枚撮像し、ＨＤＲ合成を行うものであれば本発明は適用できる。

図２に戻り、ステップＳ４００は、Ｓ３００で決定された露光量で複数枚の画像を撮像する処理である。露光制御部１０３０は、ステップＳ３００で決定された露光量で撮像素子１０５０による撮像処理を複数回行う。ここで、露光制御部１０３０は、測光値統計処理部１０２０と制御部１１３０からの制御指令に基づいて、撮像素子１０５０による信号蓄積時間（露光時間）、入射光がレンズを通過する量（絞り値）、撮像信号のゲイン量の制御を行う。

ステップＳ５００は、撮像結果を取得する処理である。Ａ／Ｄ変換部１０６０では、撮像素子１０５０から出力されるアナログ画像信号を後述する画像処理に適するデジタル画像データへ変換する。第１画像処理部１０７０は、Ａ／Ｄ変換部１０６０から出力された画像データに対して画像処理を行い、ＨＤＲ合成に適した中間画像データを生成する。

ステップＳ６００は、ＨＤＲ合成処理である。ＨＤＲ画像合成部１０８０では、Ｓ５００で生成された複数の中間画像データを合成してＨＤＲ画像データを生成する。ＨＤＲ合成は、基準の露光量で撮像した画像において、明るい領域はより被写体を暗く撮像する露光量で撮像した画像と、暗い領域はより被写体を明るく撮像する露光量で撮像した画像とを、基準となる露光量で撮像した画像と合成する。本実施形態では、基準となる露光量で撮像した画像の輝度値を基準として図８に示すような特性で合成比率を決定し、合成を行う。図８は横軸に基準とする画像の各画素の輝度（あるいは複数画素を１つのグループとして平均輝度としても良い）、縦軸に各画像の合成比率を示している。すなわち、輝度の小さい領域では基準の露光量より明るく撮像したＬ１：露出オーバー画像の比率を大きくする。中間の輝度の領域では基準の露光量で撮像したＬ２：適正露出画像の比率を大きくする。そして輝度の大きい領域では基準の露光量より暗く撮像したＬ３：露出アンダー画像の比率を大きくする。第２画像処理部１０９０は、ＨＤＲ合成したＨＤＲ画像の画質を改善するために、例えば、コントラストを強調する処理や、明るさを調整する処理を行う。

ステップＳ７００は、ＨＤＲ画像を記録する処理である。ＨＤＲ画像はメモリ１１２０に格納されるか、圧縮部１１００でＪＰＥＧ等の方法で圧縮し、記録部１１１０にてフラッシュメモリ等の記録媒体に記録される。

本実施形態は、図２のステップＳ１００からＳ７００までの処理を撮像装置で行うが、例えば、ステップＳ５００にて撮影結果を外部記憶装置に記録して、ステップＳ６００とＳ７００を他の画像処理装置で行ってもよい。

以上のように、本実施形態では、測光部１０１０により得られる高輝度な測光値と低輝度な測光値との差から上記合成画像の輝度レンジを取得し、高輝度側の測光値及び低輝度側の測光値の評価に基づいて輝度レンジを補正し、補正された輝度レンジに基づいて複数枚の露光量を決定する。決定された露光量で撮像された複数枚の画像をＨＤＲ合成することにより、白飛びや黒潰れを適度に解消しつつ、コントラストが適度に維持されたＨＤＲ画像（合成画像）を得ることができる。

［実施形態２］以下、図９乃至図１２を参照して、実施形態２による、図２のステップＳ３００における夜景シーンを検出して露光量差を決定する方法について説明する。

本実施形態では、ＨＤＲ合成が有効なシーンの１つとして、部屋の中（屋内）から窓越しに外の景観（明るい屋外）を撮影するシーンや、空（明るい屋外）と建物（屋内）を同時に撮影するシーンを想定している。このように、明るい屋外シーンと屋内シーンが共存しているようなシーンでは、撮像素子のダイナミックレンジ不足による白飛びや黒潰れが発生しやすい。このようなシーンでは、より大きく露光量の異なった露出で撮像することで、合成したＨＤＲ画像の白飛びや黒潰れを解消した効果が得られる。つまり、屋外シーンと屋内シーンを含むシーンではより大きな露光量差を算出したい。一方、日没後に人工光源による景観を撮影するシーン（夜景）でも、蛍光灯やネオンなど比較的高輝度な領域があるため、明るい屋内シーンと屋外シーンが共存しているようなシーンと同程度の測光値のダイナミックレンジが検出される場合がある。しかし、このようなシーンでは、撮像素子のダイナミックレンジ不足による白飛びや黒潰れを解消するよりも画像のコントラストを維持した方が、ユーザの印象が良い。さらに、夜空などユーザに暗い印象のある部分の黒潰れが解消する（明るくなる）効果も、ユーザにとっては黒浮きとして良い印象を与えない。つまり、夜景シーンではより小さな露光量差を算出したい。以上の理由から、本実施形態では、夜景のシーンを判別し、露光量の差をそれぞれのシーンで適切に決定する方法について説明する。

代表的な被写体（シーン）の輝度がどの程度の値（Ｅｖ単位）を示すかは経験的に知られており、本実施形態では、夜景シーンを意味する第３のしきい値（Ｅｖ１００＝２程度）を用いて、被写体輝度から夜景シーンを検出する。つまり、被写体（シーン）のうち第３のしきい値よりも暗い測光値を検出した領域は夜景領域であると判定する。画像中で夜景領域の被写体（シーン）に占める割合が多い、つまりその条件を満たす測光部１０１０から取得した測光値のヒストグラムの累積頻度が所定数より多い場合には、夜景シーンを含むと判定する。また、測光値のばらつきで露光制御が急激に変わらないようにするために、図１０に示すように重みが変化する評価関数（夜景評価関数）の測光値から得られる重みと測光値の頻度を乗算した評価測光値のヒストグラムを算出し、夜景シーンを検出する。ここで、第３のしきい値よりも低輝度な評価測光値のヒストグラムの累積頻度を夜景評価値とする。

＜露光量差を決定する処理＞以下に、図９及び図１０を参照して、図２のＳ３００での処理について説明する。なお、図９のステップＳ８１０、Ｓ８２０、Ｓ８４０、Ｓ８５０での処理は、図３のステップＳ３１０、Ｓ３２０、Ｓ３５０、Ｓ３６０と同様であるので説明を省略する。

ここで、図９のステップＳ８３０における、本実施形態の夜景評価値の算出方法について具体例を用いて説明する。

夜景シーン（図１２（Ａ））の測光部１０１０から出力された測光値のヒストグラムを図１２（Ｂ）に示す。また、測光部１０１０から出力された測光値から、このシーンの輝度レンジが検出できる。次に、評価測光値のヒストグラムを図１２（Ｃ）に示す。このシーンでは、第３のしきい値よりも低輝度な領域（夜景領域）を含むと考えられる。この場合、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消を図るよりも、黒浮きせず、コントラストを維持するような露出制御を行う。また、測光評価値のヒストグラムではなく、平均測光値から得られる夜景評価関数の重みを夜景評価値としてもよい。

ステップＳ８４０では、測光値の輝度レンジと夜景評価値を用いて、基準となる露光量からの露光量差を算出する。ＨＤＲ合成の主な目的は、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消にある。これを実現するためには測光値の輝度レンジは重要な情報であり、露光量差を求める場合にも測光値の輝度レンジが基本となる情報である。つまり、測光値の輝度レンジがより広い場合にはより大きな露光量差を算出する。さらに本実施形態では、測光の輝度レンジを夜景評価値で補正し補正輝度レンジを算出することで、シーンに適切な撮影露出差を決定する。

＜補正輝度レンジを算出する処理＞以下に、夜景シーン（図１２）を例として、補正輝度レンジを算出する処理ついて図１０を参照しつつ説明する。

図１０において、ステップＳ８４１では、夜景評価値がしきい値以上か判定する。図１２のシーンの測光値の輝度レンジはＸ９であり、夜景評価値はＹ９であったとする。夜景評価値が検出できるかできないかによって露出制御がばらつくことを抑えるために、あるしきい値以下の夜景評価値は無視することが望ましい。夜景評価値のしきい値は、測光値のヒストグラムの累積頻度により任意の値を設定するとよく、画面の大半を占めるような値を設定する。以上の条件から、図１２のシーンの夜景評価値Ｙ９は夜景シーンとして十分な検出結果が得られている。

ステップＳ８４２では、夜景評価値の検出結果に基づいて補正値を取得する。さらに、 ステップＳ８４３では、補正値に基づいて補正輝度レンジを取得する。本実施形態では、屋外シーンと屋内シーンを含むシーンではより大きな露光量差を算出し、夜景シーンではより小さな露光量差を算出することを目的としている。図１２のシーンは夜景シーンであり、より小さな露光量差を求めるために、測光値の輝度レンジがより小さくなるような補正を行う。例えば、測光値の輝度レンジに０以下の補正値を足し合わせたり、測光値の輝度レンジに１以下の補正係数をかけ合わせたりする。この補正した測光値の輝度レンジを補正輝度レンジとする。

図９に戻り、ステップＳ８５０では、算出した補正輝度レンジを用いて露光量差を決定する。この決定方法としては、補正輝度レンジが大きくなるほど、より被写体を明るくもしくは暗く撮像する露光量を求めるようなテーブルを予め用意しておくことができる。また、補正輝度レンジが大きくなるほど、より被写体を明るくもしくは暗く撮像する露光量を求める増加関数を予め定義しておき、必要に応じて算出することもできる。この場合、補正輝度レンジと露光量差の関係は、撮像素子のダイナミックレンジ不足による白飛びや黒潰れの解消を目的としてより大きな露光量差を算出するような関係性であってもよい。また画像のコントラストを維持するようなより小さな露光量差を算出するような関係性であってもよい。補正輝度レンジと露光量差の関係をユーザが指定できるようにしてもよい。

以上のように、本実施形態では、測光部１０１０により得られる高輝度な測光値と低輝度な測光値との差から上記合成画像の輝度レンジを取得し、高輝度側の測光値及び低輝度側の測光値の評価に基づいて輝度レンジを補正し、補正された輝度レンジに基づいて複数枚の露光量を決定する。決定された露光量で撮像された複数枚の画像をＨＤＲ合成することにより、白飛びや黒潰れを適度に解消しつつ、コントラストが適度に維持されたＨＤＲ画像（合成画像）を得ることができる。

図２のステップＳ３００に関して、実施形態１においては屋内シーンと屋外シーンの検出、実施形態２においては夜景シーンの検出について述べたが、実施形態１と２を独立した機能としてもよく、実施形態１と２を１つの機能として並列に実施してもよい。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

1. 露光量を変えて撮像される複数枚の画像を合成する撮像装置において、
   被写体の明るさを測光する測光手段と、
   前記測光手段により得られる測光値から前記複数枚の画像それぞれの露光量を決定する決定手段と、
   前記決定手段により決定された露光量で前記複数枚の画像を撮像する撮像手段と、
   前記複数枚の画像を合成して合成画像を生成する画像合成手段と、を備え、
   前記決定手段は、前記測光手段により得られる測光値から前記合成画像の輝度レンジを取得し、第１のしきい値より高輝度な測光値及び第２のしきい値より低輝度な測光値の評価に基づいて前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記複数枚の露光量を決定することを特徴とする撮像装置。
2. 前記決定手段は、前記測光手段により得られる画像中の測光値の中で前記第１のしきい値より高輝度な測光値の数が所定数より多くかつ前記第２のしきい値より低輝度な測光値の数が所定数より多い場合、前記輝度レンジを拡大する方向に補正することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記測光手段により得られる画像中の測光値の中で前記第１のしきい値より高輝度な測光値の数が所定数より少ない、あるいは前記第２のしきい値より低輝度な測光値の数が所定数より少ない場合、前記輝度レンジを維持または縮小する方向に補正することを特徴とする請求項１に記載の撮像装置。
4. 前記露光量は、絞り値、露光時間、撮像信号のゲイン量のいずれかにより制御されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像合成手段は、前記複数枚の画像のうち基準となる画像の輝度に応じて領域ごとに合成比率を異ならせて合成を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 露光量を変えて撮像した複数枚の画像を合成する撮像装置において、
   被写体の明るさを測光する測光手段と、
   前記測光手段により得られた測光値から適正露出である基準の露光量を取得する取得手段と、
   前記基準の露光量に対して、被写体を明るく撮像する露光量と被写体を暗く撮像する露光量とを決定する決定手段と、
   前記決定手段により決定された露光量で複数枚の画像を撮像する撮像手段と、
   前記複数枚の画像を合成して合成画像を生成する画像合成手段と、を備え、
   前記決定手段は、前記測光手段により得られる測光値から前記合成画像の輝度レンジを取得し、高輝度な測光値と低輝度な測光値の評価値をそれぞれ求め、前記評価値それぞれとしきい値とを比較して前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記被写体を明るく撮像する露光量と前記被写体を暗く撮像する露光量とを決定することを特徴とする撮像装置。
7. 前記決定手段は、前記測光手段により得られた測光値に基づいて、測光値のヒストグラムを取得し、このヒストグラムを用いて適正露出である基準の露光量と、被写体を明るく撮像する露光量及び被写体を暗く撮像する露光量の少なくともいずれかを決定することを特徴とする請求項６に記載の撮像装置。
8. 前記決定手段は、第１のしきい値より高輝度な測光値と、第２のしきい値より低輝度な測光値とを取得した場合には、前記基準の露光量と被写体を明るく撮像する露光量との差、及び前記基準の露光量と被写体を暗く撮像する露光量との差を拡大する方向に前記輝度レンジを補正することを特徴とする請求項６または７に記載の撮像装置。
9. 前記決定手段は、第１のしきい値より高輝度な測光値のみを取得した場合、第２のしきい値より低輝度な測光値のみを取得した場合、もしくは、第１のしきい値より高輝度な測光値と第２のしきい値より低輝度な測光値をいずれも取得できなかった場合には、前記基準の露光量と被写体を明るく撮像する露光量との差、及び前記基準の露光量と被写体を暗く撮像する露光量との差を縮小する方向に前記輝度レンジを補正することを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 前記決定手段は、前記第２のしきい値より小さい第３のしきい値より低輝度な測光値を取得した場合には、前記基準の露光量と被写体を暗く撮像する露光量との差を縮小する方向に前記輝度レンジを補正することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 前記露光量は、絞り値、露光時間、撮像信号のゲイン量のいずれかにより制御されることを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
12. 前記画像合成手段は、前記基準の露光量で撮像した画像において、明るい領域はより被写体を暗く撮像する露光量で撮像した画像と、暗い領域はより被写体を明るく撮像する露光量で撮像した画像とを、前記基準の露光量で撮像した画像と合成することを特徴とする請求項６乃至１１のいずれか１項に記載の撮像装置。
13. 露光量を変えて撮像される複数枚の画像を合成する撮像装置の制御方法であって、
    被写体の明るさを測光する測光ステップと、
    前記測光ステップにより得られる測光値から前記複数枚の画像それぞれの露光量を決定する決定ステップと、
    前記決定ステップにより決定された露光量で前記複数枚の画像を撮像する撮像ステップと、
    前記複数枚の画像を合成して合成画像を生成する画像合成ステップと、を備え、
    前記決定ステップでは、前記測光ステップにより得られる測光値から前記合成画像の輝度レンジを取得し、第１のしきい値より高輝度な測光値及び第２のしきい値より低輝度な測光値の評価に基づいて前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記複数枚の露光量を決定することを特徴とする撮像装置の制御方法。
14. 露光量を変えて撮像した複数枚の画像を合成する撮像装置の制御方法であって、
    被写体の明るさを測光する測光ステップと、
    前記測光ステップにより得られた測光値から適正露出である基準の露光量を取得する取得ステップと、
    前記基準の露光量に対して、被写体を明るく撮像する露光量と被写体を暗く撮像する露光量とを決定する決定ステップと、
    前記決定ステップにより決定された露光量で複数枚の画像を撮像する撮像ステップと、
    前記複数枚の画像を合成して合成画像を生成する画像合成ステップと、を備え、
    前記決定ステップは、前記測光ステップにより得られる測光値から前記合成画像の輝度レンジを取得し、高輝度な測光値と低輝度な測光値の評価値をそれぞれ求め、前記評価値それぞれとしきい値とを比較して前記輝度レンジを補正し、当該補正された輝度レンジに基づいて前記被写体を明るく撮像する露光量と前記被写体を暗く撮像する露光量を決定することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載された撮像装置の各手段として機能させるプログラム。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。