JP2014179919A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】画像合成を行うことでダイナミックレンジを拡大する場合に、動体領域についても白飛びまたは黒潰れを改善する。
【解決手段】露出の異なる複数枚の撮像画像を撮像する撮像部と、撮像部の露出を制御する露出制御部と、撮像画像を複数のブロックに分割する分割部と、複数枚の撮像画像について、対応するブロックの信号の差分を算出し、その差分に基づいて基準露出領域と、基準露出領域以外の付随露出領域を決定する決定部とを備え、撮像部は、露出制御部により算出される基準露出領域に重みをおいた露出値で第１の画像を撮像し、露出制御部により算出される付随露出領域に重みをおいた露出値で第２の画像を撮像する。
【選択図】図２

Description

本発明は、画像合成によりダイナミックレンジを拡大する技術に関する。

近年、複数枚の画像を合成し、その合成画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、被写体の明るさが適正となる露出時間で撮像された適正露光画像よりも短い露光時間で撮像した低露光画像と長い露光時間で撮像した高露光画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれている。

特許文献１では、白飛びが発生しない低露光画像と黒潰れが発生しない高露光画像を撮像する露出値算出を行っている。特許文献２では、複数フレーム連続したＨＤＲ機能の画像を作成する場合に、低露光画像と高露光画像の合成時の情報が前後複数フレーム間で安定するようにしている。合成時の情報として、被写体の移動が検出された領域や明るさに応じて低露光画像と高露光画像のどちらを出力するかという制御を行っている。

特開２００８−２７１３６８号公報 特開２００４−２９７４０７号公報

しかし特許文献１のように、画面全体の輝度値を見て白飛びが発生しない低露光画像と黒潰れが発生しない高露光画像を撮像する露出値算出を行った場合、動体領域に関しては低露光画像もしくは高露光画像が出力されることになる。そのため動体領域のダイナミックレンジは拡大せず白飛びまたは黒潰れが発生してしまう。

また特許文献２のように、低露光画像と高露光画像の合成時の情報として過去フレームの合成情報を基にして合成しようとした場合でも、動体領域は低露光画像または高露光画像が出力されてしまう。そのため動体領域のダイナミックレンジの拡大はできない。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、画像合成を行うことでダイナミックレンジを拡大する場合に、動体領域についても白飛びまたは黒潰れを改善することである。

本発明に係わる撮像装置は、露出の異なる複数枚の撮像画像を撮像する撮像手段と、前記撮像手段の露出を制御する露出制御手段と、前記撮像画像を複数のブロックに分割する分割手段と、前記複数枚の撮像画像について、対応するブロックの信号の差分を算出し、該差分に基づいて基準露出領域と、前記基準露出領域以外の付随露出領域を決定する決定手段と、を備え、前記撮像手段は、前記露出制御手段により算出される前記基準露出領域に重みをおいた露出値で第１の画像を撮像し、前記露出制御手段により算出される前記付随露出領域に重みをおいた露出値で第２の画像を撮像することを特徴とする。

本発明によれば、画像合成を行うことでダイナミックレンジを拡大する場合に、動体領域についても白飛びまたは黒潰れを改善することが可能となる。

本発明の合成画像装置の第１の実施形態である撮像装置の内部構成を示すブロック図である。 第１の実施形態における合成処理全体のフロー図である。 第１の実施形態における合成難易度検出処理のフロー図である。 第１の実施形態における合成難易度検出処理の説明図である。 第１の実施形態における付随露出画像の露出制御のフロー図である。 第１の実施形態における付随露出画像の露出制御の説明図である。 第１の実施形態における画像合成処理の説明図である。 第１の実施形態における基準露出画像、付随露出画像、合成画像の説明図である。 第２の実施形態における合成全体の処理のフロー図である。 第２の実施形態における合成難易度検出処理のフロー図である。 第２の実施形態における合成難易度検出処理の重要設定領域検出による重み係数の説明図である。 第２の実施形態における合成難易度検出処理のテクスチャ領域検出による重み係数の説明図である。 第３の実施形態における付随露出画像の露出制御処理のフロー図である。 第３の実施形態における付随露出画像の露出制御処理の説明図である。

以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
以下、図１〜図８を参照して、本発明の第１の実施形態について説明する。第１の実施形態では、画像合成装置の一例として、画像合成を行うことが困難な動体領域を検出し、検出した領域とそれ以外の領域に対して、それぞれに適切な露出値で撮像した画像合成を行う（画像を合成してＨＤＲ画像（ハイダイナミックレンジ画像）を生成する）カメラ（撮像装置）について説明する。

図１はカメラ１００の構成を示すブロック図である。図１において１０１は各種の動作指示を入力するための操作部、１０２は電源スイッチ、１０３は電池の装着の有無、電池の種類、電池残量の検出を行う電源制御部、１０４は電源である。１０５は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。１０６は各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマー、１０７はシステム制御部１３０の動作用の定数、変数、不揮発性メモリ１０５から読みだしたプログラム等を展開するシステムメモリである。

１１０はレンズ、撮像素子等を含む撮像部である。撮像部１１０において、１１１はズームレンズ、フォーカスレンズを含むレンズ群である。１１２は絞りを調整するアイリスである。１１３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。１１４はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１１５は各種の画像補正を行う画像処理部である。

１１６は画像データを圧縮符号化・復号化するコーデック部である。１２０は画像データを蓄積するメモリ、１２１はメモリ制御部、１２２はＤ／Ａ変換器、１２３はＬＣＤ等の表示器上に画像表示を行う表示部である。１２４は、メモリカードやハードディスク等の記録媒体１２５との記録媒体インタフェースである。１２５は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。１２６は画像データを外部機器に対して出力する外部出力端子である。１３０はカメラ全体を制御するシステム制御部である。

次に、上記のように構成されたカメラ１００における被写体撮影時の基本動作について説明する。撮像素子１１３は、レンズ１１１及びアイリス１１２を介して入射した光を光電変換し、その信号を入力画像信号としてＡ／Ｄ変換器１１４へ出力する。Ａ／Ｄ変換器１１４は撮像素子１１３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１１５に出力する。

画像処理部１１５は、Ａ／Ｄ変換器１１４からの画像データ、又は、メモリ制御部１２１からの画像データに対し、ホワイトバランスなどの色変換処理、および所定の画素補間、縮小といったリサイズ処理を行う。また、画像処理部１１５では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１３０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（自動ホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１１５では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて露出差がある複数枚の画像データを合成し、ダイナミックレンジを拡大した合成画像データ作成処理も行っている。

画像処理部１１５から出力された画像データは、メモリ制御部１２１を介してメモリ１２０に書き込まれる。メモリ１２０は、撮像部１１０から出力された画像データや、表示部１２３に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１２２は、メモリ１２０に格納されている画像表示用のデータをアナログ信号に変換して表示部１２３に供給する。表示部１２３は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１２２からのアナログ信号に応じた表示を行う。コーデック部１１６は、撮像部１１０から出力された画像データをＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部１３０は符号化した画像データを記録インタフェース１２４を介して記録媒体１２５に格納する。以上、被写体撮影時の基本動作について説明した。

上記の基本動作以外に、システム制御部１３０は、前述した不揮発性メモリ１０５に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部１３０の動作用の定数、変数、不揮発性メモリ１０５から読み出したプログラム等をシステムメモリ１０７に展開する。また、システム制御部１３０はメモリ１２０、Ｄ／Ａ変換器１２２、表示部１２３等を制御することにより表示制御も行う。

電源制御部１０３は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１０３は、その検出結果及びシステム制御部１３０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２５を含む各部へ供給する。

（検出処理の説明）
上述したカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

顔検出機能について説明する。システム制御部１３０は顔検出対象の画像データを画像処理部１１５に送る。システム制御部１３０の制御下で画像処理部１１５は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部１３０の制御下で画像処理部１１５は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御部１３０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部１３０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部１３０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部１３０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ１２０に記憶する。

また、システム制御部１３０は、人体検出処理も顔検出処理と同様な処理で行っている。システム制御部１３０は、検出されたエッジ成分に関してパターンマッチングを行い、顔検出と同様な処理で人体の特徴となる顔、胴体や、足等人体を検出するために必要なパーツを対応付け、人体を検出する。このときシステム制御部１３０は、人体領域や人体の数などの特徴量をメモリ１２０に記憶する。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出（被写体検出）することが可能である。本実施形態では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

次に、撮影時にシステム制御部１３０が画像データの合成難易度検出を行い、露出の異なる複数の画像データを合成し、ハイダイナミックレンジ（ＨＤＲ）機能を実現する処理を図２〜８に基づき説明する。

まず、図２のフローでは、異なる複数枚の画像データを撮像し、合成する処理の全体処理について説明する。

図２において、ステップＳ２０１では、図１の撮像部１１０が画像データを撮像する際の初期露出値を算出する。露出値とは、シャッタースピード、絞りの大きさ、ＩＳＯ感度の設定を合わせた設定値である。ここでは、一般的なＡＥ制御を行い算出された露出値を初期露出値とする。

ステップＳ２０２では、ステップＳ２０１で設定した初期露出値を図１の撮像部１１０に設定する。ステップＳ２０３では、ステップＳ２０２で設定された図１の撮像部１１０の設定で少なくても２枚以上の画像データを撮像する。画像データの構図や図１の撮像部１１０に設定された設定値は同じもので撮像された画像データとなっている。撮像された画像データは撮影時間がずれた画像にはなる。そのため動体が撮像時に含まれていた場合、は撮影時刻Ｔｎに撮像された画像データと、その後時刻Ｔｎ＋１に撮像された画像データの動体領域の位置は異なる。

例えば、図４（ａ）は、時刻Ｔｎに撮像された画像データ、図４（ｂ）は、時刻Ｔｎ＋１に撮像された画像データとなっている。図４（ａ）、図４（ｂ）の画像データの濃淡は、明るさを表しており白くなるほど明るい画素値を示す。また、斜線が入っている領域は、白飛びをしている領域で画像データの画素値が飽和しており情報が無いことを示している。図４（ａ）、図４（ｂ）の明るさは同じであることを示している。

ステップＳ２０４では、後述の合成難易度検出を行い合成が困難な領域と、それ以外の合成が適している領域を検出する。今後合成が困難な領域に対して基準露出領域と呼び、基準露出領域以外の合成が適している領域を付随露出領域と呼ぶ。

ステップＳ２０５では、ステップＳ２０４で検出した基準露出領域に対して算出した露出値を基準画像の露出値とする。具体的な露出値制御は、基準露出領域を一般的なＡＥ（自動露出）処理を行うための露出値算出のポイントに設定し、ＡＥ処理によって露出変動値Ｕａｅを算出する。そして、目標ＡＥ値になるまで現在の露出値に露出変動値Ｕａｅで制御を行い、適切な露出値を決定し撮像する（第１の画像の撮像）。

ステップＳ２０６では、後述する付随露出領域の露出値を算出し、付随画像を撮像する（第２の画像の撮像）。ステップＳ２０７では、ステップＳ２０５で撮像された基準画像とＳ２０６で撮影された付随画像を後述するように合成する処理を行う。

ステップＳ２０８では、合成画像出力後さらに合成画像の撮影を継続させるかを判定する。撮影を終了しない場合には再度、ステップＳ２０１に戻る。撮影を終了する場合は図２のフローを終了する。

以上が、本発明の第１の実施形態における露出の異なる複数の画像データを合成し、ＨＤＲ機能を実現する処理の全体のフローについての説明である。

続いて合成難易度検出を行い、合成が困難な領域と、それ以外の合成が適している領域を検出する処理について図３、図４を用いて詳しく説明する。図３は、合成難易度検出を行い、合成が困難な領域と、それ以外の合成が適している領域を検出する処理を示すフロー図である。

ステップＳ３０１では画像データ（画像内）をブロック領域に分割し、分割したブロックに関してＳ３０２以降の処理を行う。図４の（ｃ）、（ｄ）はそれぞれ、ブロック分割した例として、時刻Ｔｎの画像をブロック分割した例、時刻Ｔｎ＋１の画像をブロック分割した例を表している。

ステップ３０２では、図４（ｃ）と図４（ｄ）の同じ画像位置のブロックを比較し画素値の差分を合成難易度の評価値として算出する。ステップ３０３では、合成難易度の評価値の大きさを比較する。評価値がある閾値以上の場合は、ステップＳ３０４に進む。逆に、評価値が閾値以下の場合は、ステップＳ３０５に進む。

ステップＳ３０４では、ブロックの位置を合成困難ブロック（第１のブロック）に設定する。ステップＳ３０５では、ブロックの位置を合成可能ブロック（第２のブロック）に設定する。ステップＳ３０６では、画像データを分割した全てのブロックの評価値を算出するまでステップＳ３０１に戻り、合成難易度の評価値を算出する処理を繰り返す。

ステップＳ３０７では、合成困難ブロック領域の内側を基準露出領域に設定する。ステップＳ３０８では、ステップＳ３０７で設定された基準露出領域外の領域を付随露出領域に設定する。

図４を用いて、ブロックの評価値から基準露出領域と付随露出領域を設定するまでの説明を行う。図４（ｅ）は、図４（ｃ）と図４（ｄ）の各ブロックごとの差分情報を色の濃淡で表している。白になるにつれて、図４（ｃ）と図４（ｄ）のブロック間での合成難易度の評価値（差分値）が大きくなっていることを示している。また、ブロック間での差分値が大きい程合成難易度が高くなる。ここでは、合成困難ブロックに設定するための閾値を４以上と設定しており、閾値以上の領域４０３に関しては、合成難易度が高い領域となり基準露出領域となる。また、閾値以下の領域４０２に関しては、合成難易度が低い領域となり付随露出領域となる。

以上が、合成難易度検出を行い、合成が困難な領域とそれ以外の合成が適している領域を検出する処理についての説明である。

続いて、付随画像の露出値を算出し付随画像を撮像する処理に関して図５、図６を用いて詳しく説明する。図５は、付随画像の露出値を算出し付随画像を撮像する処理のフロー図である。以下図５のフローに従い処理を説明する。

ステップＳ５０１では、図２のステップＳ２０３で撮像した複数枚の画像データのうち一枚の画像の基準露出領域と付随露出領域の明るさを画像データから算出する。どの画像データを選んでも構わない。それぞれ基準露出領域と付随露出領域の明るさは、例えば領域内の輝度値の平均値とする。

ステップＳ５０２では、基準露出領域よりも、付随露出領域が明るいかどうか判定する。付随露出領域の明るさが基準露出領域の明るさ以上である場合、はステップＳ５０３（ｂ）の処理を行う。逆に、付随露出領域の明るさが基準露出領域の明るさより暗い場合は、ステップＳ５０３（ａ）の処理を行う。ステップＳ５０３（ａ）では、付随露出領域のヒストグラムを算出する。ここでは画像データの輝度もしくは、ＲＧＢの各色の画素値のヒストグラムを算出する。ステップＳ５０４では、所定値以上の黒潰れ量があるかどうかを判定する。所定値以上の黒潰れ量が無い場合、適切な露出値と判断して露出値の算出処理を終了する。所定値以上の黒潰れ量がある場合、ステップＳ５０５の処理を行う。

ステップＳ５０５では、現在の露出値Ｖ（ｎ）に対して、次の撮像時の露出変動値Ｕを足し合わせ、次の露出値を算出する（Ｖ（ｎ＋１）＝Ｖ（ｎ）＋Ｕ）。ステップＳ５０６では、ステップＳ５０５で算出した露出値を図１の撮像部１１０に設定して撮像を行う。その後、再度ステップＳ５０３（ａ）の処理に戻り、所定値以上の黒潰れ量が無くなるまでステップＳ５０３（ａ）〜Ｓ５０６までの処理を繰り返す。

また、ステップＳ５０３（ｂ）では、Ｓ５０３（ａ）と同様の処理を行いヒストグラムを算出する。ステップＳ５０７では、所定値以上の白飛び量があるかどうかを判定する。所定値以上の白飛び量が無い場合、適切な露出値と判断し露出値の算出処理を終了する。指定値以上の白飛び量がある場合、ステップＳ５０８の処理を行う。ステップＳ５０８では、現在の露出値Ｖ（ｎ）に対して、次の撮像時の露出変動値Ｕを引いて、次の露出値を算出する（Ｖ（ｎ＋１）＝Ｖ（ｎ）−Ｕ）。ステップＳ５０９では、ステップＳ５０５で算出した露出値を図１の撮像部１１０に設定して撮像を行う。その後、再度ステップＳ５０３（ｂ）の処理に戻り、所定値以上の白飛び量が無くなるまでステップＳ５０３（ｂ）を行う。

図６を用いて、付随画像データに所定値以上の白飛び量、または黒潰れ量があるか否かの判定について詳しく説明する。図６のヒストグラムについては、横軸は、輝度の明るさを示しており、縦軸は画素数を表している。図６（ａ）は、所定値内の白飛び量である場合のヒストグラム、図６（ｃ）は所定値以上の白飛び量である場合のヒストグラム図６（ｂ）は所定値内の黒潰れ量のヒストグラム、図６（ｄ）は所定値以上の黒潰れ量のヒストグラムをそれぞれ示している。

まず、白飛び量が所定値以上かどうかの判定方法について説明する。判定方法としては、高輝度側から所定面積Ｘ１（例えば、全画素の１０％）の画素数をカウントした場合の面積を斜線で示した領域を見て判定を行う。図６（ａ）では、斜線領域の左端に当たる部分の輝度値がＡ１となり、図６（ｂ）では、Ａ３となっている。この場合、点線６０１の輝度値を所定値とし、輝度値Ａ１または、Ａ３が点線６０１よりも低い輝度となれば所定値内の白飛び量と判定する。

続いて黒潰れ量が所定値以上かどうかの判定方法について説明する。黒潰れ量を判定する場合は、白飛び量を判定する場合と対称となっており、低輝度側から所定面積Ｘ２（例えば、全画素の２０％）に対応する輝度値Ａ２または、Ａ４が点線６０２よりも高い輝度値になれば、所定内の黒潰れ量であると判定する。この白飛びまたは黒潰れの判定方法を用いることで、画像データ中のどのぐらいの画素が白飛びまたは黒潰れしているかを検出することができ、白飛びまたは黒潰れを軽減する最適な露出値の設定を行うことができる。

以上が、付随画像の露出値を算出し付随画像を撮像する処理についての説明である。また、本実施形態では、基準露出領域に基づく基準画像（第１の画像）撮影のための露出値と異なるもう１つの露出値（第２の画像のための露出値）を付随露出領域の明るさに基づいて行っている。しかし、これに限らず、第２の画像のための露出値は、基準露出領域も含めた画像全体の明るさに基づいて算出されても良い。このように露出制御を行うと、基準露出領域において第１の画像で解消できない黒つぶれや白飛びが発生している場合でも、第２の画像によって解消しやすくなる。

また、本実施形態では、基準露出領域に基づいて基準画像（第１の画像）撮影のための露出値、付随露出領域に基づいてもう１つの露出値（第２の画像のための露出値）をそれぞれ求めている。しかしこのとき、例えば両露出値が所定値以上の段差を持っている場合、両露出値による撮影がカバーするダイナミックレンジが重ならなかったり、中間的な階調に割り当てられる各画像のレンジがどちらも端の方で、ノイズ等の影響で良好でない可能性がある。従って、両露出値が所定値以上の段差を持つ値で算出されてしまう場合、付随露出領域に基づいて算出される露出値を、段差を小さくする方向に補正するようにして、所定値以内の段差で付随露出領域に基づくもう１つの露出値が算出されるようにしてもよい。

合成処理に関して、具体的に図７を用いて、露出値の異なった複数の撮像画像信号の信号レベル合わせ方法について説明する。

図７（ａ）,（ｂ）は、図１の撮像部１１０で画像データを撮像した際の撮像するシーンの被写体の明るさ（横軸）に対しての画像信号レベル（縦軸）を示した図である。また、実線は、基準画像の信号レベル、点線は付随画像の信号レベルを表す。またここでいう露出値とは、単純には、シャッタースピードの長さと考えることができ、露出値の高い画像ほど露光時間が長くなり、露光量が多い画像データとなる。露光時間と信号レベルは線形な関係があり、露光時間が倍になると、信号レベルも倍に変化する。

図７（ａ）は、基準画像の露出値が付随画像よりも高い場合を表しており、被写体の明るさＬｘ１に対して基準画像信号レベルは、付随画像信号レベルよりも高いことを示している。一方、図７（ｂ）は、基準画像の露出値が付随画像よりも低い場合を表しており、被写体の明るさＬｘ１に対して基準画像信号レベルは、付随画像信号レベルよりも低いことを示している。

図７（ａ）を用いて具体的に説明する。図７（ａ）の基準画像は被写体の明るさＬｘ１からＬｘ４の間で信号レベルが変化せず一定になっているが、これは、基準画像の信号が、表現できるレベルを超えて飽和しているため、Ｌｘ１以降の階調を表現できていないからである。この状態では、被写体の明るさをＬｘ１以降で表現できていないため、白飛び状態となっている。しかしながら、被写体の明るさＬｘ１までの明るさの区間では信号レベルが付随画像に比べて高いため、付随画像に比べて被写体の明るさが暗い部分でもノイズに信号レベルが潰されにくい。そのために、暗い部分では、ＳＮが良い画像データとなっている。

図７（ａ）の付随画像は、被写体の明るさＬｘ１を超えても信号レベルが線形に増加している。そのため、Ｌｘ１以降の被写体の明るさに関しても白飛びせず、画像データとして階調を残すことが出来ている。

つまり、被写体の明るさが暗い部分には基準画像の信号を、被写体の明るさがＬｘ１以降の信号の飽和部分には、付随画像の信号レベルにゲインを掛けて基準画像の信号のレベルに合わせて合成する。これにより、ダイナミックレンジを拡大した合成画像を作成することができる。

図７（ｂ）のように基準画像の露出値が付随画像よりも低い場合は、図７（ａ）の反対で、基準画像の信号レベルを付随画像の信号レベルに合わせて合成処理を行う。また、被写体の明るさがＬｘ１よりも少し低く信号レベルが飽和していない合成区間Ｂの被写体の明るさの区間で、基準画像と付随画像信号の合成割合を算出する。基準画像と付随画像信号を混ぜ合わせることで、基準画像と付随画像の信号のつなぎ目を滑らかにつなぐことができ、違和感の無いダイナミックレンジ拡大が実現できる。

以上が、画像合成を行うことが困難な動体領域を検出し、検出した領域とそれ以外の領域に対してそれぞれ適切な露出値で撮像した画像合成を行う処理時の図１のシステム制御部１３０の動作である。

図８を用いて基準画像、付随画像、そして合成画像について説明する。図８において（ａ）は基準画像、（ｂ）は付随画像、（ｃ）は合成画像を表している。図８（ａ）の基準画像では、図４（ｅ）の基準露出領域４０３に露出を合わせて撮像した画像となっているため、８０１の領域（斜線部分）は白飛びを起こしている画像となっている。図８（ｂ）の付随画像では、図４（ｅ）の付随露出領域４０２に露出を合わせて撮像した画像となっているため、８０２の領域は黒潰れを起こしている画像となっている。図８（ｃ）の合成画像では、図８（ａ）の基準画像と図８（ｂ）の付随画像のそれぞれ露出が合っている部分を合成することができるため、８０１、８０２の領域に関して白飛びまたは黒潰れを軽減した画像となる。

以上のように、第１の実施形態によれば合成難易度検出を行い、合成が困難な領域と、それ以外の合成が適している領域を検出し、合成が困難な領域とそれ以外の合成が適している領域に対しそれぞれ、適切な露出制御を行う構成とした。これにより、動体領域に対しても黒潰れや白飛びなどを軽減した適切なダイナミックレンジ表示を行える合成画像を作成することが可能となる。

（第２の実施形態）
次に、図９〜図１２を参照して、本発明の第２の実施形態による画像合成装置について説明する。第２の実施形態では、合成難易度の重みを撮像画面位置や画像データのエリアのテクスチャーの細かさの具合に応じて変える。

第２の実施形態におけるカメラの基本構成は第１の実施形態を示す図１と同様であるため、ここでの説明は省略する。本実施形態では、図１のシステム制御部１３０における合成難易度の算出処理が第１の実施形態と異なる。

第２の実施形態によるシステム制御部１３０の全体処理は、第１の実施形態の図２のフローと同様の処理であるため説明を省略する。以下、第２の実施形態のシステム制御部１３０が、図２のフローで合成難易度検出を行い基準露出領域と付随露出領域を設定する処理（Ｓ２０４）について、図９、図１０のフローを用いて説明する
図９のフローは、合成難易度検出を行い基準露出領域と付随露出領域を設定する処理の全体フローである。

図９のステップＳ３０１は、図３のステップＳ３０１と同様で、画像データを所定の画素値分のブロックに分割し、分割した全ブロック分の処理が終了するまで繰り返しループする。図９のステップＳ３０２は、図３のステップＳ３０２と同様で、同位置のブロックの画素差分値を算出する。

図９のステップＳ９０１では、図９のステップＳ３０２で算出したブロック差分値に、撮像画面内の位置の重み係数αとテクスチャー領域の重み係数βを以下の式で算出したｒａｔｉｏを算出する。

ｒａｔｉｏ＝重み係数α×重み係数β
その後、ブロックの画素差分にｒａｔｉｏを乗算し、重み付きブロックの画素差分（重み差分）を算出する。

図９のステップＳ９０２では、重み差分が所定の閾値以上かどうかを判定する。重み差分が所定の閾値以上の場合には、図９のステップＳ３０４の処理を行う。逆に、重み差分が所定の閾値未満の場合には、図９のステップＳ３０５の処理を行う。

図９のステップＳ３０４では、図３のステップＳ３０４と同様で、重み差分を算出したブロックを合成困難ブロックに設定する。図９のステップＳ３０５では、図３のステップＳ３０５と同様で、重み差分を算出したブロックを合成可能ブロックに設定する。

図９のステップＳ３０６では、図３のステップＳ３０６と同様で、画像データの全ブロック分の処理が完了すれば、図９のステップＳ３０７の処理に移る。逆に全ブロック分の処理が完了していない場合は、図９のステップＳ３０１に戻る。

図９のステップＳ３０７では、図３のステップＳ３０７と同様で、基準露出領域を設定する。図９のステップＳ３０８では、図３のステップＳ３０８と同様で、付随露出領域を設定する。以上が、合成難易度検出を行い基準露出領域と付随露出領域を設定する処理の全体フローについての説明である。

次に、図１０〜図１２を用いて、図９のフローのステップＳ９０１の処理について詳しく説明する。図１０は、図９のフローのステップＳ９０１の処理フローである。即ち、画素差分値に画面内の位置の重みとテクスチャー領域の重みを掛ける処理である。

図１０のステップＳ１００１では、図２のステップＳ２０３で撮像された画像データを用いて図１の表示部１２３に表示する撮像画面内の重要領域を設定する。重要領域とは、撮影者がカメラで撮像する際に注目する領域を示している。その領域に適切な露出値が設定されず撮像された場合、撮像された画像データでは、白飛びや黒潰れが発生してしまい、撮影者の画像データの観賞時に視覚的な不快感を与えてしまう。

それを改善するために、視覚的に注目する領域に対してできる限り適切な露出値で撮像を行うための重要領域を設定する。一般的に撮影者は、カメラで撮像する場合注目する被写体を撮像画面内の中央部の領域に入れて撮像することが多い。また、画像データを観賞する際に人物領域に注目する場合が多い。そのため、図１０のステップＳ１００１では、撮像画面内の中央領域、顔検出領域、人体検出領域を検出してその領域を重要領域に設定する。

図１０のステップＳ１００２では、図１０のステップＳ１００１で設定された撮像画面内の重要領域の中心からの距離に応じて重み係数αを算出する。重み係数αの算出処理について図１１を用いて詳しく説明する。

図１１（ａ）は撮像画面内の重要領域に設定された重要設定領域を枠で囲まれた四角の領域で表している。１１０１の領域は、撮像画面内の中央領域を表し、１１０２の領域は、顔と検出した領域を表し、１１０３の領域は、人体と検出した領域を表している。１１０１〜１１０３の領域が重要設定領域となっている。

図１１（ｂ）は、撮像画面内の図１１（ａ）で設定された１１０１〜１１０３のそれぞれの重要設定領域の中心からの距離に応じて重み係数αの値を色の濃淡で表している。白になるにつれて、重要設定領域の重み係数αの値が大きくなっていることを示している。そのため重み係数αの値は、１１０１〜１１０３の重要設定領域の中心から離れるに従って小さくなっていることが分かる。

図１１（ｃ）は、図１１（ａ）で示している重要設定領域の中心からの距離と重み係数αの関係を表した図である。横軸は撮像画面の画素位置を表しており、縦軸は重み係数αの大きさを表している。

具体的に図１１（ａ）、図１１（ｂ）の１１０１の重要設定領域を基にして説明する。図１１（ｃ）の画素位置の重要設定領域の中心画素位置（Ｃｅｎ）は、１１０１の重要設定領域を表している。その画素位置を中心として、左右画素距離Ｄ離れた位置の重み係数は、１１０４（左Ｄ画素離れた位置）と１１０５（右Ｄ画素離れた位置）である。図１１（ｃ）では、Ｃｅｎの画素位置から離れるに従って重み係数αが小さくなり最終的には、重み係数０になる。逆に、Ｃｅｎからの距離がある一定以内に近づいている画素位置は重み係数αが１．０となり重みが最大となる。

図１１で説明した重要設定領域の中心からの距離で重みをつけることで、撮影者が視覚的に注目する領域に対してできる限り適切な露出値で撮像を行うための重要領域を設定する。

続いて図１２を用いてテクスチャー領域の重みを算出する処理について説明する。図１２（ａ）は、撮像画像データにおけるテクスチャーが細かく密集している領域を枠で囲まれた四角１２０１〜１２０３で表している。テクスチャーが細かく密集している領域では、図９のステップＳ３０２で画像データの各ブロックごとの差分値を算出する際に正確な動きブロックを算出することが困難となる。例えばテクスチャーが細かく密集している例として草原に生える草や、木の葉が風等で動いた際、図９のステップＳ３０２で算出する比較ブロックの差分が大きく出る領域と、差分が小さくなる領域が発生する。そして、動きに関しての正しい比較ブロックの差分をとることがむずかしい。そのため、テクスチャーが細かい領域に関して合成難易度を下げるような処理を行う。

これらのテクスチャーが細かく密集しているかどうかを判定するために、システム制御部１３０の制御下で画像処理部１１５は画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジの強さを算出する。その後、所定の大きさのブロックごとにエッジの強さを積分し、ブロックごとのエッジ強度を算出する。図１２（ｂ）では、各ブロックごとに算出されたエッジ強度の重み係数βを示している。重み係数βの値を色の濃淡で表している。白になるにつれて、エッジ強度の重み係数βの値が大きくなっていることを示している。

図１２（ｃ）は、図１２（ｂ）で示したエッジ強度による重み係数βの関係を示した図である。図１２（ｃ）では、横軸がエッジ強度の大きさ、縦軸が重み係数βを表す。図１２（ｃ）では、エッジ強度が大きくなるほど、重み係数βの値が大きくなり、エッジ強度が１２０４の大きさ以降、重み係数βは１．０となっている。

以上が、合成難易度の重みを撮像画面位置や画像データのエリアのテクスチャーの細かさ具合に応じて変えて、検出した領域とそれ以外の領域に対してそれぞれ適切な露出値で撮像し画像合成を行う処理時のシステム制御部１３０の動作である。

以上のように、第２の実施形態によれば、合成難易度検出時に、撮影者が注目する領域に対して合成難易度の重みを付けて合成が困難な領域と合成が適している領域を検出する。そのため、より主観的に重要な領域に合った露出制御を行うことができる。これにより、主観的に目立つ動体領域に対して黒潰れや白飛びなどを軽減した適切なダイナミックレンジ表示を行える合成画像を作成することが可能となる。

（第３の実施形態）
次に、図１３、図１４を参照して、本発明の第３の実施形態による画像合成装置について説明する。第３の実施形態では、付随露出領域の面積に応じて付随画像の露出制御の制御量（露出変動値Ｕ）を変更し、露出制御を行う。

第３の実施形態におけるカメラの基本構成は第１の実施形態を示す図１と同様であるため、ここでの説明は省略する。本実施形態では、図１のシステム制御部１３０における付随画像の露出値を算出し、付随画像を撮像する処理が第１の実施形態と異なる。

第３の実施形態によるシステム制御部１３０の全体処理は、第１の実施形態の図２のフローと同様の処理のため説明を省略する。以下、第３の実施形態のシステム制御部１３０が、図２のフローで付随画像の露出値を算出し付随画像を撮像する処理（Ｓ２０６）について図１３のフローを用いて説明する。

図１３のステップＳ５０１は、図５のステップＳ５０１と同様で、基準露出領域と付随露出領域の明るさとヒストグラムを算出する。図１３のステップＳ５０２は、図５のステップＳ５０２と同様で、基準露出領域と付随露出領域の明るさを比較し、基準露出領域の明るさよりも付随露出領域の明るさが暗ければ、図１３のステップＳ５０３（ａ）の処理を行う。逆に、付随露出領域の明るさが基準露出領域の明るさ以上であれば、図１３のステップＳ５０３（ｂ）の処理を行う。

図１３のステップＳ５０３（ａ）は、図５のステップＳ５０３（ａ）と同様で、付随露出領域の黒潰れ検出を行う。図１３のステップＳ５０４は、図５のステップＳ５０４と同様で、図１３のステップＳ５０３（ａ）で算出した黒潰れ量が、所定値以上であるか判定する。閾値以上の黒潰れ量がある場合、図１３のＳ１３０１の処理を行う。逆に所定値以下の黒潰れの場合には、処理を終了する。

図１３のステップＳ１３０１では、付随露出領域の面積に応じて露出変動値Ｕｄを算出する。詳しい説明は後述する。図１３のステップＳ１３０２では、図５のステップＳ５０５と同様で、図１３のステップＳ１３０１で算出した露出変動値Ｕｄを現在の露出値Ｖ（ｎ）に加えたＶ（ｎ＋１）を次の付随画像の撮像のための露出値として算出する。図１３のステップＳ５０６は、図５のステップＳ５０６と同様で、露出値Ｖ（ｎ＋１）を図１の撮像部１１０に設定して撮像を行う。

続いて図１３のステップＳ５０３（ｂ）以降のフローについて説明する。図１３のステップＳ５０３（ｂ）は、図５のステップＳ５０３（ｂ）と同様で、付随露出領域の白飛び検出を行う。図１３のステップＳ５０７は、図５のステップＳ５０７と同様で、図１３のステップＳ５０３（ｂ）で算出した白飛び量が、所定値以上であるか判定する。所定値以上の白飛び量がある場合、図１３のＳ１３０３の処理を行う。逆に所定値以下の白飛び量の場合には、処理を終了する。

図１３のステップＳ１３０３では、付随露出領域の面積に応じて露出変動値Ｕｄを算出する。詳しい説明は後述する（Ｓ１３０１と同様の処理）。図１３のステップＳ１３０４では、図５のステップＳ５０８と同様で、図１３のステップＳ１３０３で算出した露出変動値Ｕｄを現在の露出値Ｖ（ｎ）から引いたＶ（ｎ＋１）を次の付随画像の撮像のための露出値として算出する。図１３のステップＳ５０９は、図５のステップＳ５０９と同様で、露出値Ｖ（ｎ＋１）を図１の撮像部１１０に設定して撮像を行う。

続いて図１４を用いて、図１３のステップＳ１３０１、Ｓ１３０３の付随露出領域の面積に応じて露出変動値Ｕｄを算出する処理について説明する。

図１４（ａ）は、付随露出領域の面積が小さい場合の例、図１４（ｂ）は付随露出領域の面積が大きい場合の例を示している。それぞれ１４０１、１４０２の領域が付随露出領域のブロックを表している。つまり、このブロックの個数が付随露出領域の面積となる。図１４（ｃ）は、付随露出領域の面積と露出変動値の関係を表した図となっている。縦軸は、露出変動値Ｕｄを表し、横軸は付随露出領域の面積を表している。付随露出領域の面積とは、図１４（ａ）、（ｂ）の付随露出領域のブロックの数と対応している。また、縦軸のＵaeは、基準露出領域のＡＥ処理で求めた露出変動値である。そして、Ｕｄは付随露出領域の露出変動値となっている。

図１４（ｃ）を見ると、付随露出領域の露出制御値Ｕｄは、最大値をとるとき、基準露出領域の露出変動値Ｕａｅとなり、基準露出領域の露出変動値Ｕａｅを超えない範囲で露出変動値Ｕｄを求めることを意味している。また、付随露出領域の面積が大きくなるにつれて付随露出領域の露出変動値Ｕｄが小さくなる。これは、付随露出領域のブロック面積が１４０１に示す値のとき、付随露出領域の露出変動値Ｕｄが最大値となり、逆にブロック面積が１４０２に示す値のとき最小値になるように制御する。

以上の制御を行うことで図１３のステップＳ１３０１、Ｓ１３０３の付随露出領域の面積に応じて露出変動値Ｕｄを算出する処理を行うことができる。付随露出領域と基準露出領域を分けて露出値を制御する処理を行っているため、基準露出領域の露出変動値Ｕaeと、付随露出領域の露出変動値Ｕｄの二つの露出変動値が存在する。露出変動値が大きい程、次の撮像画像データの露出値と前の撮像画像データの露出値の差が大きくなる。例えば、前の撮像画像データに比べ、次の撮像画像データの露出変動値が大きい場合、前の撮像画像データでは白飛びしていた空が次の撮像画像データでは、青空と雲がはっきり見える空となる。そのため、時系列的な空の階調の見え方が急激に変わり、視覚的な不自然差が残ってしまう。また、時系列的な階調の見え方が急激に変わっても、変化する面積が小さければ視覚的な不自然差は小さくなる。

そのため、基本的には注目する領域以外の領域はゆっくりと露出制御を行う（目的とする露出に近づける）ことが好ましく、本実施形態では注目する領域である基準露出領域の露出変動値Ｕaeに比べ、付随露出領域の露出変動値Ｕｄは小さな値にする。但し、付随領域の面積が小さい場合には露出制御値Ｕｄを大きく制御するように行うことで、付随露出領域の露出値をできる限り短い時間で最適な露出値に収束させることができる。

以上が、付随露出領域の面積に応じて付随画像の露出制御の制御量（露出変動値Ｕ）を変更し、露出制御を行い、適切な露出値で撮像して画像合成を行う処理時のシステム制御部１３０の動作である。

以上のように、第３の実施形態によれば、付随画像の露出制御時に、付随露出領域の面積に応じて付随画像の露出制御時の露出変動値Ｕｄを算出する。この処理によって、付随露出領域の露出値は、露出値変化が目立つ場合には視覚的な露出値の変化が気にならないように時間的にゆっくりと目標露出値に収束するように制御することができる。逆に、付随露出領域の露出値の変化が目立たない場合には、時間的に早く目標露出値に収束するように制御することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (12)

1. 露出の異なる複数枚の撮像画像を撮像する撮像手段と、
   前記撮像手段の露出を制御する露出制御手段と、
   前記撮像画像を複数のブロックに分割する分割手段と、
   前記複数枚の撮像画像について、対応するブロックの信号の差分を算出し、該差分に基づいて基準露出領域と、前記基準露出領域以外の付随露出領域を決定する決定手段と、を備え、
   前記撮像手段は、前記露出制御手段により算出される前記基準露出領域に重みをおいた露出値で第１の画像を撮像し、前記露出制御手段により算出される前記付随露出領域に重みをおいた露出値で第２の画像を撮像することを特徴とする撮像装置。
2. 前記決定手段は、前記基準露出領域に対応する第１のブロックを有し、当該第１のブロックの前記差分は、前記付随露出領域に対応する第２のブロックの前記差分よりも大きいことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、画像内の所定の領域または被写体検出手段により被写体が検出される領域については、前記第１の画像の撮像と前記第２の画像の撮像における露出値を決定する場合の重みを大きくすることを特徴とする請求項１に記載の撮像装置。
4. 前記撮像手段は、前記露出制御手段による露出制御にしたがって、前記第１の画像の撮像及び前記第２の画像の撮像を繰り返し行い、
   前記露出制御手段は、画像内の所定の領域または被写体検出手段により被写体が検出される領域については、前記第１の画像の撮像と前記第２の画像の撮像における露出値を、前記画像内の所定の領域または被写体検出手段により被写体が検出される領域以外の領域よりも早く目的とする値になるように決定することを特徴とする請求項１に記載の撮像装置。
5. 前記露出制御手段は、前記付随露出領域の白飛びまたは黒つぶれを検出し、その検出結果に基づいて、前記撮像手段は、前記第２の画像の撮像における露出値を決定することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像手段は、前記露出制御手段による露出制御にしたがって、前記第１の画像の撮像及び前記第２の画像の撮像を繰り返し行い、
   前記決定手段は前記付随露出領域の面積を検出し、前記撮像手段は、前記付随露出領域の面積が大きいほど、前記第２の画像の撮像における露出値を目的とする値に近づける速さを遅くすることを特徴とする請求項１に記載の撮像装置。
7. 前記決定手段は前記撮像画像のテクスチャー領域を検出し、
   前記露出制御手段は、前記テクスチャー領域については、前記第１の画像の撮像と前記第２の画像の撮像における露出値を決定する場合の重みを小さくすることを特徴とする請求項１に記載の撮像装置。
8. 前記露出制御手段は、前記撮像画像の中央部については、前記第１の画像の撮像と前記第２の画像の撮像における露出値を決定する場合の重みを大きくすることを特徴とする請求項１に記載の撮像装置。
9. 前記露出制御手段は、前記基準露出領域の明るさと前記付随露出領域の明るさの大きさの関係に基づいて、前記第１の画像の撮像と前記第２の画像の撮像における露出値を決定することを特徴とする請求項１に記載の撮像装置。
10. 前記第１の画像と前記第２の画像を合成してＨＤＲ画像を生成する合成手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記露出制御手段は、前記基準露出領域に重みを置いた露出値と前記付随露出領域に重みを置いた露出値との段差が所定値以内であるように、前記付随露出領域の重みを置いた露出値を算出することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 露出の異なる複数枚の撮像画像を撮像する撮像工程と、
    前記撮像工程での露出を制御する露出制御工程と、
    前記撮像画像を複数のブロックに分割する分割工程と、
    前記複数枚の撮像画像について、対応するブロックの信号の差分を算出し、該差分に基づいて基準露出領域と、付随露出領域を決定する決定工程と、
    前記基準露出領域に重みをおいた露出値で撮像した第１の画像と、前記付随露出領域に重みをおいた露出値で撮像した第２の画像とを合成する合成工程と、
    を備えることを特徴とする撮像方法。