JP2017038165A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】ＨＤＲによる合成の効果をユーザが確認する場合に、長い処理時間を要せず、拡大表示による細部確認を可能にすることを課題とする。【解決手段】画像処理部（１０３）は、ＨＤＲ合成のために異なる露出値で撮影された複数の撮影画像を縮小して複数の縮小画像を生成する。また、画像処理部（１０３）は、複数の撮影画像の少なくとも明るさに基づいて、複数の縮小画像をハイダイナミックレンジ合成する際の画素の合成割合を表す合成評価値を生成する。さらに、画像処理部（１０３）は、その合成評価値に基づいて、複数の縮小画像を合成して表示用のＨＤＲ画像を生成する。システム制御部（１０３）は、表示用のＨＤＲ画像に対する拡大指示が入力されたとき、拡大指示の入力位置と表示用のＨＤＲ画像を生成した際の合成評価値とに基づいて、縮小される前の撮影画像を切り替え選択して表示用の拡大画像とする。【選択図】図１

Description

本発明は、撮影画像に対する画像処理を行う画像処理装置、画像を撮像する撮像装置、画像処理方法及びプログラムに関する。

近年、複数枚の画像を合成し、その合成画像を記録可能なデジタルカメラなどの撮像装置が数多く製品化されている。これらの撮像装置の中には、被写体の明るさが適正となる露出画像を撮像するための適正露出時間よりも、短い露出時間で撮像した画像（低露出画像とする）と、長い露出時間で撮像した画像（高露出画像とする）を合成する機能を備えた装置がある。この機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれており、低露出画像と高露出画像を合成することで、いわゆる白飛びや暗部のノイズの改善が可能となる。以下、ＨＤＲによる合成画像をＨＤＲ画像と表記する。

一般的に、撮像素子のダイナミックレンジは、自然界における明るさのダイナミックレンジよりも狭く、このため、例えば逆光シーンで撮影すると、白飛びが発生してしまう場合がある。一方で、適正露出時間よりも短い露出時間で撮影を行った場合、全体的に暗く撮像されるため、白飛びを抑制し易くはなるが、暗部のノイズが増加して画質は低下してしまう。逆に、適正露出時間よりも長い露出時間で撮影を行った場合、全体的に明るく撮像されるため、暗部のノイズは改善されるようになるが、白飛びが発生し易くなってしまう。これに対し、ＨＤＲによれば、明るい領域（白飛び等が発生している領域）については低露出画像に重みを掛け、逆に、暗い領域については高露出画像に重みを掛けて合成することにより、白飛びの抑制と暗部のノイズの改善が可能となる。

また、特許文献１には、複数枚の撮像画像の中の画素等の輝度レベルを求めて評価値とし、その輝度レベルの評価値に基づいて、撮影画像とＨＤＲ画像の何れか一方を選択するような技術が開示されている。この特許文献１に記載の技術によれば、ＨＤＲによる合成によって白飛びや黒潰れの少ない画像を得る一方、画像の不自然さや擬似輪郭等を回避して、記録される画像の画質を改善可能となされている。

さらに、被写体等の画像の撮影がなされた場合、ユーザは、例えば撮影直後に撮影画像の写り具合等を確認することが多く、ＨＤＲ画像についても合成の効果等を確認することが多い。撮影画像やＨＤＲ画像の確認は、一般に、例えばサムネイル表示による確認やプレビュー表示により行われる。ただし、特に、ＨＤＲ画像は、前述したように低露出画像と高露出画像のような複数枚の画像の合成処理により生成されるため、処理が完了して表示されるようになるまでに非常に長い時間が掛かってしまう。特に、撮影直後にＨＤＲ画像が生成されて表示されるような場合、ユーザは、ＨＤＲによる画像合成の効果を確認できるようになるまでに、長い時間待たなければならない。このような場合の解決策としては、撮影された複数枚の画像からそれぞれ縮小画像を生成し、それら複数枚の縮小画像を合成して表示用のＨＤＲ画像を作成することで処理時間を短縮するような方法が考えられる。

特開２０１３−９３７８６号公報

ところで、前述したようなＨＤＲによる画像合成の効果を確認するような場合、その画像の全体だけでなく細部の確認も行われることが多く、細部の確認のためには表示画像を拡大する必要がある。ただし、前述のように縮小画像から生成した表示用のＨＤＲ画像を拡大表示した場合、元々の画像サイズが小さいために、拡大画像は荒く細部を確認できない。一方、縮小されていない画像から生成されたＨＤＲ画像であれば、拡大表示による細部確認は可能になるが、前述したように、縮小されていない画像からＨＤＲ画像を合成するには長い処理時間が必要になってしまう。

なお、前述の特許文献１に記載の技術の場合、輝度レベルの評価値に基づいて、ＨＤＲによる合成処理の効果が小さいか、又は合成処理すると不自然さ等が目立つと判定されたときには、撮影画像が一枚選択されるため、表示画像の生成は短時間に行える。しかしながら、ＨＤＲ画像が選択された場合には前述同様に長い処理時間が必要になってしまう。例えば処理時間の短縮のために縮小画像から表示用のＨＤＲ画像を生成することも考えられるが、この場合には前述同様に拡大表示による細部確認には対応できない。

本発明はこのような問題点に鑑みてなされたものであり、ＨＤＲによる合成の効果をユーザが確認する場合に、長い処理時間を要せず、拡大表示による細部確認を可能とする画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の画像処理装置は、ハイダイナミックレンジ合成のために異なる露出値で撮影された複数の撮影画像を縮小して複数の縮小画像を生成する縮小手段と、前記複数の撮影画像の少なくとも明るさに基づいて、前記複数の縮小画像をハイダイナミックレンジ合成する際の画素の合成割合を表す合成評価値を生成する生成手段と、前記合成評価値に基づいて、前記複数の縮小画像を合成して表示用の合成画像を生成する合成手段と、前記表示用の合成画像に対する拡大指示が入力されたとき、前記拡大指示の入力位置と前記表示用の合成画像を生成した際の合成評価値とに基づいて、前記縮小される前の撮影画像を切り替え選択して表示用の拡大画像とする選択手段とを有することを特徴とする。

本発明によれば、ＨＤＲによる合成の効果をユーザが確認する場合に、長い処理時間を要せず、また拡大表示による細部確認も可能となる。

実施形態のデジタルカメラの構成例を示す図である。 実施形態のデジタルカメラで実行される処理のフローチャートである。 露出の異なる二つの画像信号の明るさ合わせ処理の説明図である。 基準画像と非基準画像の明るさ比率マップの説明図である。 拡大用画像と中心座標の合成比率に基づく切り替え処理の説明図である。 非基準画像が二枚の場合の明るさ比率マップの説明図である。 移動領域の検出の説明図である。 過去フレームの明るさ比率マップを参照する場合の説明図である。

以下、実施形態の画像処理装置の一適用例として、撮像装置であるデジタルカメラを例に挙げて説明する。なお、本実施形態の画像処理装置は、デジタルカメラが撮影している撮影画像信号を例えばリアルタイムに受信し、その撮影画像信号に対して画像処理を行う、例えばタブレット端末やスマートフォン、パーソナルコンピュータ等の情報処理装置であってもよい。本実施形態の画像処理装置がそれら情報処理装置である場合、後述するような撮影画像信号に対する本実施形態に係る様々な画像処理は、情報処理装置内のＣＰＵ等が本実施形態に係る画像処理のコンピュータプログラムを実行することにより実現される。

＜第１の実施形態＞
以下、図１を参照して、第１の実施形態のデジタルカメラ１００の概略的な構成について説明する。図１のデジタルカメラ１００において、本実施形態に係る画像処理装置は、画像処理部１０３とシステム制御部１０１に対応する。システム制御部１０１は、例えばＣＰＵである。システム制御部１０１は、デジタルカメラ１００が備える各部の動作を制御し、また各種の信号処理を行う。具体的には、システム制御部１０１は、例えば不揮発性メモリ１０２に記憶されている動作制御用のプログラムを実行してデジタルカメラ１００が備える各部の動作を制御し、また信号処理用のプログラムを実行することで各種信号処理を実現する。不揮発性メモリ１０２は、例えばＥＥＰＲＯＭ等の電気的に消去・記録可能なメモリである。不揮発性メモリ１０２は、動作制御用のプログラムや信号処理用のプログラムに加え、各部の動作制御や信号処理において必要なパラメータ等も記憶している。

画像処理部１０３は、撮像ユニット１１０から出力された画像信号、又は、後述するメモリ１０４から読み出された画像信号に対し、種々の画像変換処理を行う。種々の画像変換処理には、所定の画素補間処理、画像縮小のためのリサイズ処理、色変換処理、ハイダイナミックレンジ合成（ＨＤＲ合成）処理、表示部１０５の画面に表示される画像信号の生成処理等が含まれる。また、画像処理部１０３は、撮像素子１１３で撮像されてＡ／Ｄ変換部１１４でデジタル化された画像信号を用いた演算処理を実行して、システム制御部１０１が露出制御や測距制御を行う際に用いられる情報を生成する。画像処理部１０３による演算処理結果の情報は、システム制御部１０１に送られる。

システム制御部１０１は、画像処理部１０３による演算結果の情報に基づいて、不図示の駆動系を介して撮影レンズ１１１及びシャッタ１１２を動作させ、露出制御や測距制御を行い、また、ＥＦ（フラッシュプリ発光）処理等の動作を制御する。その他にも、システム制御部１０１は、メモリ１０４に対し、Ａ／Ｄ変換部１１４から出力された画像信号、又は、画像処理部１０３による各種処理が行われた画像信号の書き込みと読み出しを制御する。

また、システム制御部１０１は、ＨＤＲ合成処理する画像を取得するために、適正露出時間による適正露出画像の撮像の直前又は直後に、撮像ユニット１１０を制御して、適正露出時間とは異なる露出時間による複数の画像を撮像させる。本実施形態の場合、システム制御部１０１は、撮像ユニット１１０を制御することにより、例えば適正露出時間より短い露出時間による低露出画像の撮像と、適正露出時間より長い露出時間による高露光画像の撮像とを行わせる。そして、画像処理部１０３は、それらの各露出時間で撮像された複数の画像を用いてＨＤＲ画像を生成する。ただし、詳細については後述するが、本実施形態のデジタルカメラ１００は、表示部１０５によるライブビュー表示やサムネイル表示のためにＨＤＲ画像を生成する場合には、表示部１０５の表示解像度に合うように縮小した画像を用いたＨＤＲ合成処理を行う。また、詳細については後述するが、本実施形態のデジタルカメラ１００は、不図示の着脱可能なメモリ等への記録や外部へ出力等されるＨＤＲ画像を生成する場合には、撮像ユニット１１０で撮像された画像（本撮影による撮像画像）を用いたＨＤＲ合成処理を行う。なお、本撮影による撮像画像を用いたＨＤＲ合成処理は、本撮影による撮像画像のサイズが大きく、或る程度長い処理時間が必要になるため、例えば画像撮影が終了した後に行われることが望ましい。

メモリ１０４は、デジタルカメラ１００の各部の動作制御用のプログラムや信号処理用のプログラムの展開領域として用いられるとともに、各部の動作や信号処理において生成された中間データ等を一時的に記憶する格納領域としても用いられる。また、メモリ１０４は、撮影された複数フレームの画像信号や表示用の画像信号に加え、撮影中の音声の情報も書き込まれるため、それら情報を格納するために十分な記憶容量を有するように設計されている。メモリ１０４に書き込まれた表示用の画像信号は、システム制御部１０１による制御の下、メモリ１０４から読み出されて表示部１０５に送られる。表示部１０５は、表示用の画像信号に基づく画像表示を行う。

また、本実施形態のデジタルカメラ１００は、表示部１０５の表示面上に、このカメラの使用者であるユーザの指やペン等による接触を検知可能なタッチパネル１０６が設けられている。システム制御部１０１は、タッチパネル１０６からの検知信号を受信することで、タッチパネル１０６に対する以下のユーザ操作等を検出できる。システム制御部１０１がタッチパネル１０６を介して検出可能なユーザ操作としては、例えば、タッチパネル１０６を指等で触れたときのタッチダウン操作、タッチパネル１０６を指等で触れている状態のタッチオン操作などが挙げられる。さらに、検出可能なユーザ操作としては、タッチパネルを指等で触れたまま移動するムーブ操作、タッチパネルに触れていた指等を離すタッチアップ操作、タッチパネルに何も触れていないタッチオフ操作などが挙げられる。

タッチパネル１０６は、これらの操作の検知信号と、タッチパネル１０６上に指等が触れている位置座標の情報を、システム制御部１０１に通知する。システム制御部１０１は、タッチパネル１０６から通知された情報に基づいて、タッチパネル１０６に対してどのような操作が行なわれたかを解析する。なお、システム制御部１０１は、ムーブ操作によりタッチパネル１０６上で移動する指等の移動方向については、（ｘ，ｙ）の位置座標の変化に基づいて、タッチパネル１０６上のｘ軸成分・ｙ軸成分毎に判定できる。また、タッチパネル１０６上でタッチダウン操作から一定のムーブ操作を経てタッチアップ操作がなされたとき、システム制御部１０１は、指等によりストロークが描かれたと判定する。なお、素早くストロークを描く操作はフリック操作と呼ばれている。フリック操作は、タッチパネル１０６上に指等を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１０６上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブ操作されたことが検出され、そのままタッチアップ操作が検出された場合、システム制御部１０１は、フリック操作が行なわれたと判定する。また、所定距離以上を、所定速度未満でムーブ操作されたことが検出された場合、システム制御部１０１は、ドラッグ操作が行なわれたと判定するものとする。

撮像ユニット１１０は、被写体等の光学像を撮像してデジタル画像信号を出力するユニットである。撮像ユニット１１０は、撮影レンズ１１１、シャッタ１１２、撮像素子１１３、及びＡ／Ｄ変換部１１４を有する。撮影レンズ１１１は、デジタルカメラ１００が備える撮影レンズ群であり、フォーカスレンズやズームレンズ、カラーフィルタ等を含んでいる。撮影レンズ１１１は、絞り、ＮＤフィルタ機能を備えるシャッタ１１２を介して、被写体等の光学像を撮像素子１１３に結像させる。撮像素子１１３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、撮影レンズ１１１を介して結像された光学像をアナログ画像信号に変換してＡ／Ｄ変換部１１４に出力する。Ａ／Ｄ変換部１１４は、撮像素子１１３から入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行って、デジタル画像信号（フレーム画像信号）を生成する。

上述したような構成を有するデジタルカメラ１００の各構成において、本実施形態に係る撮像と画像信号処理の流れを、図２のフローチャートを参照しながら具体的に説明する。なお、図２のフローチャートの処理は、例えばデジタルカメラ１００に対してユーザから撮影の指示がなされた際に開始される。

先ず、図２のステップＳ２００において、システム制御部１０１は、画像処理部１０３による前述した演算処理の結果を取得し、その演算処理結果に基づいて例えば適正な露出値とその適正露出値に対して異なる露出値とを決定する。露出値は、撮像ユニット１１０におけるシャッタスピード、絞りの開口量、及びＩＳＯ感度設定を含む、露出制御に係る制御量である。さらに、システム制御部１０１は、決定した露出値を撮像ユニット１１０に設定し、撮像ユニット１１０を制御することにより、時系列的に連続して露出値の異なる複数枚の画像を撮像させて画像信号を取得させる。ステップＳ２００において取得されて撮像ユニット１１０から出力された複数枚のデジタル画像信号は、システム制御部１０１による制御の下で、画像処理部１０３を介してメモリ１０４に記憶される。なお、撮像する画像の枚数は二枚以上であれば特に制限はない。ステップＳ２００の後、デジタルカメラ１００の処理はステップＳ２０１へ進む。

ステップＳ２０１において、画像処理部１０３は、ステップＳ２００で取得されてメモリ１０４に一旦記憶された複数枚のデジタル画像信号に対して、以下に説明するような明るさ合わせ処理を行う。例えば、画像処理部１０３は、それぞれ画像信号が取得された際の各露出値の比に応じて、ゲインやガンマを掛けて画像信号の明るさを合わせる処理を行う。そして、明るさ合わせがなれた後の画像信号は、メモリ１０４に記憶される。以下、露出値の比に応じて画像信号の明るさ合わせ処理について、図３を用いて詳しく説明する。

図３（ａ）〜図３（ｃ）において、横軸は被写体の照度、縦軸は撮像素子１１３の出力レベルを示す。図３（ａ）において、入出力特性３０１は、撮像素子１１３の露光量を多くして撮像が行われた場合の画像信号（長い露出時間で撮像された高露出画像信号）の入出力特性を示している。また、図３（ａ）の入出力特性３０２は、撮像素子１１３の露光量を少なくして撮像が行われた場合の画像信号（短い露出時間で撮像された低露出画像信号）の入出力特性を示している。図３（ａ）に示した低露出画像信号の入出力特性３０２の場合、撮像素子１１３の出力レベルは、被写体の照度が高くなるまで飽和せずに、低照度から高照度まで略々リニアに変化している。このため、高露出画像信号よりも低露出画像信号の方が、より明るい被写体の照度まで、撮像素子１１３の出力レベルで表現可能であると考えられる。一方、図３（ａ）に示した高露出画像信号の入出力特性３０１の場合、撮像素子１１３の出力レベルは被写体の照度が或る程度低い段階で飽和してしまっている。ただし、高露出画像信号は、被写体が低照度のときでも撮像素子１１３の露光量が多いため、低露出画像信号と比べて低照度域でのＳＮ比が良い。

このような入出力特性３０１，３０２を考慮して、本実施形態のデジタルカメラ１００は、高露出画像信号と低露出画像信号の明るさを合わせる際には、高露出画像信号の明るさを調整して、低露出画像信号の明るさに合わせるようにする。具体的には、画像処理部１０３は、それら高露出画像信号と低露出画像信号が取得された際の露出値の比に応じたゲインやガンマカーブを、それら画像信号に掛けることにより、それらの画像信号の明るさを合わせるようにする。

ここで、例えば、図３（ａ）において、或る基準となる被写体の照度をＬとする。図３（ａ）の例の場合、入出力特性３０１では、被写体の照度が１／８Ｌで撮像素子１１３の出力レベルが飽和し、入出力特性３０１では、被写体の照度が８Ｌで撮像素子１１３の出力レベルが飽和している。このことから、入出力特性３０１において被写体の照度が１／８Ｌの時と、入出力特性３０２において被写体の照度が８Ｌの時に、撮像素子１１３の出力レベルがそれぞれ同じになることが判る。

したがって、例えば露出値の比に応じたゲインにより高露出画像信号と低露出画像信号の明るさを合わせるような場合には、画像処理部１０３は、入出力特性３０１の高露出画像信号の信号レベルを６４で割るようにする。これにより、図３（ａ）に示した高露出画像信号の入出力特性３０１は、図３（ｂ）に示すような入出力特性３０３になる。この図３（ｂ）の高露出画像信号における入出力特性３０３は、１／８Ｌ以下の低輝度域において、低露出画像信号の入出力特性３０２と略々同じ特性となり、したがって、このときの高露出画像信号と低露出画像信号の明るさは略々合った状態となる。

また例えば、露出値の比に応じたガンマカーブにより高露出画像信号と低露出画像信号の明るさを合わせるような場合には、前述の１／８Ｌ以下の低輝度域において高露出画像信号と低露出画像信号の両入出力特性が略々同じようになるガンマカーブを設計する。そして、画像処理部１０３は、そのガンマカーブを用いて、図３（ａ）の入出力特性３０１の高露出画像信号と入出力特性３０２の低露出画像信号に対してそれぞれガンマ補正を行うことで明るさを調整する。これにより、図３（ａ）の入出力特性３０１は図３（ｃ）のような入出力特性３０５になり、また、図３（ａ）の入出力特性３０２は図３（ｃ）のような入出力特性３０６になる。この図３（ｃ）の入出力特性３０５と入出力特性３０６は、１／８Ｌ以下の低輝度域において、それぞれ略々同じ特性となり、したがって、この場合の高露出画像信号と低露出画像信号の明るさは略々合った状態となる。

本実施形態によれば、前述したような理由から、画像処理部１０３が、被写体の照度が１／８Ｌ以下の範囲において、高露出画像信号の明るさを低露出画像信号の明るさに合わせるようにしている。本実施形態では、低露出画像信号の方を明るさ合わせの基準にしているため、以下、明るさ合わせの基準となっている低露出画像を「基準画像」と呼び、一方、基準画像とは異なる露出で撮像された画像（この例では高露出画像）を「非基準画像」と呼ぶことにする。なお、本実施形態では、低露出画像信号の方に明るさを合わせる例を挙げているが、逆に、高露出画像信号の方に明るさを合わせるような場合には、高露出画像が基準画像となり、低露出画像が非基準画像となる。その他にも、例えば、低露出画像及び高露出画像とともに、前述した適正露出時間で撮像された適正露出画像が有り、その適正露出画像が基準画像として用いられるような場合には、低露出画像及び高露出画像が非基準画像となる。以下の実施形態の説明では、低露出画像が基準画像となり、高露出画像が非基準画像となった例のみを挙げることとする。

図２のフローチャートの説明に戻り、ステップＳ２０１の後、デジタルカメラ１００の処理はステップＳ２０２へ進む。ステップＳ２０２において、画像処理部１０３は、ステップＳ２０１にて明るさ合わせの処理が行われた後の複数枚の画像（明るさ合わせ処理後の基準画像と非基準画像）をそれぞれ縮小して、複数枚の縮小画像を生成する。縮小画像は、後述するようにＨＤＲ合成処理されて表示部１０５に表示されることになる。このため、画像処理部１０３は、表示部１０５の表示解像度にあわせた画像サイズへの縮小処理を行う。以下、それぞれ表示解像度に合わせて縮小された基準画像及び非基準画像を「表示用の基準画像及び非基準画像」と呼ぶことにする。ステップＳ２０２の後、デジタルカメラ１００の処理はステップＳ２０３へ進む。

ステップＳ２０３において、画像処理部１０３は、ステップＳ２０２でそれぞれ生成された表示用の基準画像と非基準画像を用いて、後述する合成評価値に基づいてＨＤＲの合成処理を行って、表示解像度に合ったＨＤＲ画像を生成する。このＨＤＲ合成処理の際、画像処理部１０３は、表示用の基準画像と非基準画像から、それぞれ黒潰れや白飛びが生じている画像領域を判定する。具体的には、画像処理部１０３は、前述のステップＳ２０１で用いた撮像素子１１３の出力レベルに基づいて画像の明るさを判断することにより、表示用の基準画像と非基準画像について、黒潰れしている暗い画像領域や白飛びしている明るい画像領域を判定する。なお、黒潰れとは、画像の暗い領域の階調が失われて略々黒一色になってしまう状態であり、白飛びとは、画像の明るい領域の階調が失われて略々白一色になってしまう状態である。このため、以下の説明では、黒潰れや白飛びが生じて階調が失われている画像領域を「失階調領域」と表記し、一方、黒潰れや白飛びが生じておらず階調が失われていない画像領域を「有階調領域」と表記することにする。

そして、画像処理部１０３は、表示用の基準画像に失階調領域があり、一方、非基準画像の中で、基準画像の失階調領域に対応した画像領域が有階調領域である場合、非基準画像の有階調領域により基準画像の失階調領域を置き換えるようなＨＤＲ合成処理を行う。具体的には、画像処理部１０３は、表示用の基準画像の失階調領域に対する合成割合を０％とし、一方、表示用の非基準画像の有階調領域に対する合成割合を１００％としてそれらを合成する。すなわちこの場合、表示用の基準画像の失階調領域の各画素が、表示用の非基準画像の有階調領域の各画素により置き換えられるようなＨＤＲ合成処理が行われる。

また、基準画像の失階調領域を非基準画像の有階調領域により置き換えた場合、置き換えが行われる画像領域と置き換えが行われていない画像領域との境界部分では、それら置き換えによる画像の切り替わりが目立ってしまう虞がある。このため、画像処理部１０３は、前述の境界部分では、その境界部分に係る画像領域の明るさに応じて、合成割合を変化させることにより、その境界部分での画像の切り替わりを目立たなくする。

前述したように、画像処理部１０３は、表示用の基準画像と非基準画像の明るさに応じた合成割合を合成評価値として用いてＨＤＲ合成処理を行うことにより、ダイナミックレンジの拡大が実現されたＨＤＲ合成画像を生成する。なお、以下の説明では、前述のように表示用の基準画像と非基準画像を明るさに応じた合成評価値でＨＤＲ合成して生成された、表示部１０５の表示解像度に合ったＨＤＲ画像を、特に「表示用のＨＤＲ画像」と表記することにする。

ここで、本実施形態において、前述のような表示用のＨＤＲ画像を生成する際の、画像領域の明るさに応じた合成評価値は、例えば図４（ａ）と図４（ｂ）に示すような明るさ比率マップに基づいて決められる。図４（ａ）と図４（ｂ）のマップは、基準画像と非基準画像の一方の画像信号を基に、画素の合成割合を表す合成評価値として合成比率を決定するためのものである。本実施形態では、基準画像を基に合成比率が決定される例を挙げて説明する。

前述したように、本実施形態では、図２のステップＳ２０１において基準画像と非基準画像の明るさ合わせ処理が行われている。このため、画像処理部１０３は、ステップＳ２０１における明るさ合わせ処理の際に、基準画像と非基準画像の明るさに応じて、図４（ａ）と図４（ｂ）の明るさ比率マップを生成しておく。そして、画像処理部１０３は、ステップＳ２０３において表示用のＨＤＲ画像を生成する際には、その明るさ比率マップから各画素について合成比率を参照し、その合成比率に基づいて基準画像と非基準画像を合成する。

図４（ａ）と図４（ｂ）に示した明るさ比率マップにおいて、横軸はＨＤＲ合成処理される画像信号のレベル（明るさ合わせ処理後の画像信号レベル）を示し、縦軸は合成比率を示している。図４（ａ）は、基準画像信号に対する明るさ比率マップを示しており、横軸方向のレベル領域４０７は黒潰れしている信号レベルの領域を表し、レベル領域４０８は黒潰れや白飛びしていない信号レベルの領域を表している。この図４（ａ）に例示した明るさ比率マップは、基準画像において黒潰れしている失階調領域を、非基準画像の黒潰れしていない有階調領域により置き換える際の明るさ比率マップとなっている。一方、図４（ｂ）は、非基準画像信号に対する明るさ比率マップを示しており、横軸方向のレベル領域４０９は黒潰れや白飛びしていない信号レベルの領域を表し、レベル領域４１０は白飛びしている信号レベルの領域を表している。この図４（ｂ）に例示した明るさ比率マップは、非基準画像において黒潰れ及び白飛びしていない有階調領域により、基準画像の黒潰れしている失階調領域を置き換える際の明るさ比率マップとなっている。

より具体的に説明すると、図４（ａ）に示すように、基準画像信号におけるレベル領域４０７の信号は、黒潰れしている失階調領域の画像信号である。このため、ＨＤＲ合成処理の際に、そのレベル領域４０７の画像信号が合成されるのを避けるために、図４（ａ）の明るさ比率マップでは、レベル領域４０７の合成比率４０１が０％となされている。一方、図４（ｂ）に示すように、非基準画像信号におけるレベル領域４０９の信号は、黒潰れも白飛びもしていない有階調領域の画像信号である。このため、ＨＤＲ合成処理の際に、そのレベル領域４０９の画像信号を合成に使用するために、図４（ｂ）の明るさ比率マップでは、レベル領域４０９の合成比率４０４が１００％となされている。このように、図４（ａ）のレベル領域４０７の合成比率４０１と図４（ｂ）のレベル領域４０９の合成比率４０４は、基準画像で黒潰れしている失階調領域を、非基準画像で黒潰れも白飛びもしていない有階調領域で置き換えるための明るさ比率マップである。

また、図４（ｂ）のレベル領域４１０は、非基準画像信号の画素値が飽和して白飛びが発生している失階調領域の画像信号のレベル領域である。このため、ＨＤＲ合成処理の際に、そのレベル領域４１０の画像信号が合成されるのを避けるために、図４（ｂ）の明るさ比率マップでは、レベル領域４１０の合成比率４０６が０％となされている。一方、図４（ａ）のレベル領域４０８は、基準画像信号において黒潰れも白飛びも発生していない有階調領域の画像信号のレベル領域である。このため、ＨＤＲ合成処理の際に、そのレベル領域４０８の画像信号が用いられるようにするために、図４（ａ）の明るさ比率マップでは、レベル領域４０８の合成比率４０３が１００％となされている。このように、図４（ａ）のレベル領域４０８の合成比率４０３と図４（ｂ）のレベル領域４１０の合成比率４０６は、基準画像で黒潰れも白飛びもしていない有階調領域を、非基準画像の画像領域で置き換えないようにするための明るさ比率マップとなっている。

また、図４（ａ）の合成比率４０２と図４（ｂ）の合成比率４０５は、基準画像と非基準画像の置き換えが行われるか又は行われないかが切り替わるような信号レベルの画像領域における合成比率である。このため、画像処理部１０３は、このような切り替わりの信号レベルの画像領域については、これら図４（ａ）の合成比率４０２と図４（ｂ）の合成比率４０５による合成比率に応じて、基準画像と非基準画像を合成する割合を変化させて合成処理を行う。

前述したように、本実施形態によれば、画像処理部１０３は、図４（ａ）と図４（ｂ）に示した明るさ比率マップを生成し、その明るさ比率マップを用いて、基準画像と非基準画像を合成することにより、ＨＤＲ画像を生成している。そして、画像処理部１０３によるＨＤＲ合成処理により生成された表示用のＨＤＲ画像は、図１のメモリ１０４に記憶される。

表示用のＨＤＲ画像がメモリ１０４に記憶された後、システム制御部１０１は、ステップＳ２０４において、メモリ１０４の読み出しを制御して、表示用のＨＤＲ画像信号を表示部１０５へ出力させる。これにより、表示部１０５には、表示用のＨＤＲ画像が表示される。このときの表示用のＨＤＲ画像は、表示部１０５にライブビュー表示又はサムネイル表示される。ステップＳ２０４の後、システム制御部１０１は、処理をステップＳ２０５へ進める。

ステップＳ２０５において、システム制御部１０１は、図１の表示部１０５に表示されている表示用のＨＤＲ画像に対して、例えばユーザから拡大表示の指示入力がなされたか否か判定する。例えば、ユーザによりタッチパネル１０６に対して拡大表示を指示するタッチ操作がなされた場合、システム制御部１０１は、タッチパネル１０６の出力信号から拡大表示の指示とその指示の入力位置に応じた拡大領域の中心位置を示す拡大指示信号を検出する。なお、ユーザが拡大表示の指示を入力するための手段は、拡大指示の入力とその入力位置（拡大領域の中心位置）等をシステム制御部１０１が検出できるのであれば、特にタッチパネル１０６に限定されない。システム制御部１０１は、ステップＳ２０５において、拡大指示入力がなされていないと判定した場合には、ステップＳ２００へ処理を戻して前述のように露出値の異なる複数枚の画像を撮像する処理を行わせる。一方、システム制御部１０１は、ステップＳ２０５において、拡大指示入力がなされたと判定した場合には、ステップＳ２０６へ処理を進める。

ステップＳ２０６において、システム制御部１０１は、拡大領域の中心位置と画像処理部１０３が表示用のＨＤＲ画像を生成する際に用いた合成評価値（明るさ比率マップ）とを基に、メモリ１０４から基準画像信号と非基準画像信号を切り替えて読み出す。そして、その読み出された画像信号が表示部１０５へ送られて表示される。このときメモリ１０４から切り替え選択されて読み出される基準画像信号又は非基準画像信号は、前述のステップＳ２０１において明るさ合わせ処理がなされた後の画像信号（低露出画像又は高露出画像の信号）である。以下の説明では、前述のステップＳ２０１で明るさ合わせ処理がなされた後の基準画像と非基準画像を、特に「本撮影の基準画像と非基準画像」と呼ぶことにする。

このように、ステップＳ２０６では、本撮影の基準画像と非基準画像が選択的に切り替えられて表示部１０５に表示されることになる。本撮影の基準画像と非基準画像は、撮像ユニット１１０で撮像されたサイズの大きい画像信号であるため、このときの表示部１０５には、サイズの大きい画像信号の一部分のみが表示、つまり拡大表示されることになる。具体的には、表示部１０５には、拡大表示の中心位置が表示部１０５の画面中心となり、前述の合成評価値の明るさ比率マップに応じて基準画像又は非基準画像が切り替え選択された画像の一部分のみが拡大表示されることになる。なお、以下の説明では、合成評価値の明るさ比率マップに応じて本撮影の基準画像と非基準画像が切り替え選択された表示用の拡大画像を、「拡大用画像」と呼ぶことにする。

このように、本実施形態において、拡大用画像は、表示用のＨＤＲ画像の生成の際に用いられた明るさ比率マップである合成評価値に基づいて、本撮影の基準画像と非基準画像が切り替え選択された画像となされている。このため、表示用のＨＤＲ画像と拡大用画像とは、少なくとも同じ傾向の明るさ比率マップに基づいて生成された画像であるといえる。一方、本実施形態において、不図示の着脱可能なメモリ等への記録や外部出力等されるＨＤＲ画像は、表示用のＨＤＲ画像の生成の際に用いた明るさ比率マップに基づいて、本撮影の基準画像と非基準画像をＨＤＲ合成処理することで生成される。なお、以下の説明では、着脱可能なメモリ等への記録や外部へ出力等されるＨＤＲ画像を、「本撮影のＨＤＲ画像」と呼ぶことにする。これらのことから、前述の拡大用画像は、本撮影のＨＤＲ画像に近いダイナミックレンジや暗部のノイズを有した画像であると考えてよい。したがって、例えばライブビュー表示において、前述の拡大用画像を表示部１０５に表示すれば、ユーザは、本撮影のＨＤＲ画像のダイナミックレンジや暗部のノイズがどのようになるか（どのような傾向を有するか）を確認することが可能となる。また、拡大用画像は、本撮影の基準画像と非基準画像を切り替えた画像であるため、その処理に要する時間は非常に短い。したがって、ユーザは、拡大指示を入力して拡大表示がなされるまでに長い時間待つ必要がない。このように、本実施形態によれば、ユーザは、後に生成される本撮影のＨＤＲ画像に近いダイナミックレンジや暗部のノイズを有した拡大用画像を、ライブビュー表示により見ることで、画像の細部確認が可能となる。

以下、前述の図４（ａ）や図４（ｂ）に示した明るさ比率マップを合成評価値とし、本撮影の基準画像と非基準画像の切り替え選択による拡大用画像の生成処理について、図５（ａ）〜図５（ｅ）を参照しながら説明する。なお、合成評価値としては、前述の図４（ａ）の明るさ比率マップと図４（ｂ）の明るさ比率マップの何れかを用いるが、ここでは図４（ａ）の明るさマップを用いた例を説明する。

図５（ａ）は、前述した表示用のＨＤＲ画像５１１の一例であり、その表示用のＨＤＲ画像に対してユーザにより拡大指示の入力がなされた画像領域が、例えば領域５０１である場合を示した図である。以下、拡大指示の入力がなされた画像領域５０１を「拡大指示領域５０１」と表記する。また、図５（ｂ）は表示用のＨＤＲ画像５１１に前述の図４（ａ）の明るさ比率マップが適用された画像例を示しており、図５（ｃ）は表示用のＨＤＲ画像５１１の拡大指示領域５０１のみを拡大して示した図である。図５（ｃ）の例では、拡大指示領域５０１の中心位置である中心座標５０３が示されている。

本実施形態において、システム制御部１０１は、表示用のＨＤＲ画像に対して拡大指示の入力がなされた場合、拡大指示領域５０１の中心座標５０３に対応した合成比率に基づいて、本撮影の基準画像又は非基準画像の何れかを選択して拡大用画像とする。具体的には、拡大指示領域５０１の中心座標５０３において、表示用のＨＤＲ画像が生成された際に用いられた合成比率が、例えば図４（ａ）の１００％の合成比率４０３であった場合、システム制御部１０１は、本撮影の基準画像を選択して拡大用画像とする。一方、拡大指示領域５０１の中心座標５０３において、表示用のＨＤＲ画像が生成された際に用いられた合成比率が、例えば図４（ａ）の０％の合成比率４０１であった場合、システム制御部１０１は、本撮影の非基準画像を選択して拡大用画像とする。

なお、拡大指示領域５０１に対して合成比率０％と１００％の両方が混在して適用されていたような場合、システム制御部１０１は、例えば本撮影の基準画像のみを選択するようにしてもよい。例えば、拡大指示領域５０１に対して合成比率０％と１００％の両方が混在しており、それら両方の合成比率に対応させて基準画像と非基準画像の両方を混在させて表示するようなことを行うと、非基準画像の画像領域には白飛びが発生することになる。したがって、システム制御部１０１は、拡大指示領域５０１に０％と１００％の合成比率が混在している場合、本撮影の基準画像のみを選択して拡大用表示とする。これにより、ユーザは、その拡大用表示を見ることで、白飛びを抑制するＨＤＲの効果を確認することが可能になると考えられる。

ただし、０％と１００％の合成比率が混在している場合に必ず本撮影の基準画像を選択したとすると、その選択は前述の明るさ比率マップ（合成評価値）に基づいた選択ではないため、拡大用画像のノイズは、本撮影のＨＤＲ画像のノイズとは多少異なる。したがって、システム制御部１０１は、具体的には以下のようにして、拡大指示領域５０１の中心座標５０３に対して適用された合成比率に基づいて、本撮影の基準画像と非基準画像の切り替え選択を行うようにしている。

図５（ｄ）と図５（ｅ）は、０％と１００％の合成比率が混在している場合の拡大指示領域５０１を更に拡大して示す図である。図５（ｄ）と図５（ｅ）において、領域５２０は表示用の基準画像を１００％（非基準画像を０％）とする合成比率が適用された領域であり、領域５２１は表示用の基準画像を０％（非基準画像を１００％）とする合成比率が適用された領域であるとする。本実施形態においては、図５（ｄ）に示したように、拡大指示領域５０１の中心座標５０３が領域５２０の中にある場合、システム制御部１０１は、前述した明るさあわせ処理後の本撮影の基準画像を拡大用画像とする。一方、図５（ｅ）に示したように、拡大指示領域５０１の中心座標５０３が領域５２１の中にある場合、システム制御部１０１は、前述した明るさ合わせ処理後の本撮影の非基準画像を拡大用画像とする。なお、例えば図５（ｅ）の場合、領域５２０では白飛びが発生している可能性はあるが、拡大用画像の中心座標５０３の周辺における画像のノイズ感は、本撮影のＨＤＲ画像のノイズ感と略々合ったものになると考えられる。したがって、ユーザは、この例の場合も、拡大用画像のライブビュー表示によりノイズを確認することが可能となる。なお、本実施形態のデジタルカメラ１００は、このようなライブビュー表示によるノイズ確認機能（ノイズプレビュー表示機能）と通常のライブビュー表示（通常のプレビュー表示機能）とを、ユーザの指示に応じて切り替え可能となされている。

前述したような図２のステップＳ２０６の後、システム制御部１０１は、処理をステップＳ２０７へ進める。ステップＳ２０７では、システム制御部１０１は、タッチパネル１０６を介してユーザから拡大用画像の表示を終了する指示が入力されたか否か判断し、拡大用画像の表示終了の指示が入力されていない場合には出力２０６へ処理を戻す。一方、ステップＳ２０７において拡大用画像の表示を終了する指示が入力されたと判断した場合、システム制御部１０１は、処理をステップＳ２０８へ進める。

ステップＳ２０８では、システム制御部１０１は、ライブビュー表示又はサムネイル表示として前述の表示用のＨＤＲ画像を表示する処理を終了する指示が、タッチパネル１０６を介してユーザから入力されたか否か判断する。そして、システム制御部１０１は、ステップＳ２０８において終了指示が入力されたと判断した場合にはこの図２のフローチャートの処理を終了し、一方、終了指示が入力されていない場合には処理をステップＳ２００へ戻す。

以上、第１の実施形態のデジタルカメラ１００においては、ライブビュー表示又はサムネイル表示として表示用のＨＤＲ画像を表示しており、さらに拡大指示が入力された場合には、合成評価値に基づいて本撮影の基準画像と非基準画像を切り替え表示している。したがって、第１の実施形態によれば、本撮影のＨＤＲ画像の生成に長い時間がかかる場合であっても、表示用のＨＤＲ画像や拡大用画像については待ち時間なく直ぐに表示できる。

＜第２の実施形態＞
第１の実施形態では、本撮影の基準画像と非基準画像の二枚の画像を用いて、表示用のＨＤＲ画像や拡大用画像を生成したが、表示用のＨＤＲ画像や拡大用画像は、基準画像を含めて三枚以上の露出の異なった画像から生成されてもよい。一例として、第２の実施形態では、本撮影の一枚の基準画像と二枚の非基準画像を切り替えて拡大用画像を生成する例について説明する。ここでは、説明を判り易くするために、最も短い露出時間で撮像された画像を基準画像とし、基準画像よりも長い露出時間で撮像された画像を第１の非基準画像とし、さらに第１の非基準画像よりも長い露出時間で撮像された画像を第２の非基準画像とする。

以下、前述した図２のフローチャートを参照しながら、第２の実施形態における処理の流れを説明する。なお、図２のフローチャートにおいて、第１の実施形態の場合と同じ処理が行われるステップについては、その説明を省略する。

第２の実施形態の場合、図２のフローチャートのステップＳ２０３で表示用のＨＤＲ画像を生成する際には、三枚の画像を合成するための明るさ比率マップが必要となる。図６（ａ）〜図６（ｃ）には、第２の実施形態で用いる明るさ比率マップの一例を示す。図６（ａ）は表示解像度に合わせて縮小した表示用の基準画像のための明るさ比率マップの一例を示し、以下同様に、図６（ｂ）は表示用の第１の非基準画像の明るさ比率マップ、図６（ｃ）は表示用の第２の非基準画像の明るさ比率マップを示している。なお、前述した図４（ａ）と図４（ｂ）の例と略々同様に、図６（ａ）〜図６（ｃ）の横軸はＨＤＲ合成処理される画像信号のレベル（明るさ合わせ処理後の画像信号レベル）を示し、縦軸は合成比率を示している。図６（ａ）のレベル領域６１１は黒潰れしている信号レベルの領域を表し、レベル領域６１２は黒潰れや白飛びしていない信号レベルの領域を表しており、合成比率６０４は０％となされ、合成比率６０１は１００％となされている。図６（ｂ）のレベル領域６１３は黒潰れしている信号レベルの領域を表し、レベル領域６１４は黒潰れ及び白飛びしていない信号レベルの領域、レベル領域６１５は白飛びしている信号レベルの領域を表し、合成比率６０２は１００％となされている。図６（ｃ）のレベル領域６１６は黒潰れ及び白飛びしていない信号レベルの領域を表し、レベル領域６１７は白飛びしている信号レベルの領域を表し、合成比率６０３は１００％となされている。

そして、第２の実施形態の場合、ステップＳ２０３において、画像処理部１０３は、これら図６（ａ）〜図６（ｃ）の明るさ比率マップに基づいて、前述の第１の実施形態の場合と同様にして表示用のＨＤＲ画像を生成する。

また、第２の実施形態の場合、ステップＳ２０６において、システム制御部１０１は、拡大用画像を生成する際には、前述の第１の実施形態と同様に、明るさ比率マップを合成評価値とし、本撮影の基準画像と第１，第２の非基準画像を切り替え選択する。すなわち、システム制御部１０１は、明るさ合わせ処理後の本撮影の基準画像と第１，第２の非基準画像のうち、拡大指示領域の中心座標における明るさ比率マップの合成比率をそれぞれ参照して切り替え選択を行う。具体的には、システム制御部１０１は、本撮影の基準画像についてはレベル領域６１２の１００％の合成比率６０１に基づいて選択し、一方、第１，第２の非基準画像についてはそれぞれ０％の合成比率に基づいて選択しない。同様に、システム制御部１０１は、第１の非基準画像についてはレベル領域６１４の１００％の合成比率６０２に基づいて選択し、第２の非基準画像についてはレベル領域６１６の１００％の合成比率６０３に基づいて選択する。

また、第２の実施形態において、拡大指示領域に対して合成比率の０％と１００％の両方が混在しているような場合にも第１の実施形態の場合と略々同様にして画像の切り替え選択が行われる。例えば、図６（ａ）〜図６（ｃ）のレベル６０７が、或る拡大指示領域の中心座標における画像信号レベル値であるする。この場合において、図６（ａ）ではレベル６０７の合成比率６０４が０％であるため基準画像は選択されない。一方、図６（ｂ）のレベル６０７と図６（ｃ）のレベル６０７は、それぞれ黒潰れ及び白飛びしていないレベル領域であるため、第１，第２の非基準画像の何れかが選択されることになる。この場合、システム制御部１０１は、表示用のＨＤＲ画像の生成に用いた明るさ比率マップの合成比率が高い方を選択する。図６（ｂ）と図６（ｃ）の例の場合、図６（ｂ）のレベル６０７における合成比率６０５と、図６（ｃ）のレベル６０７における合成比率６０６とでは、図６（ｃ）の合成比率６０６のほうが高い値となっている。したがって、この場合、システム制御部１０１は、第１，第２の非基準画像のうち、合成比率の値が高い方である図６（ｃ）に対応した第２の非基準画像を選択する。

以上のように、第２の実施形態によれば、基準画像と第１，第２の非基準画像が撮影された場合においても、表示用のＨＤＲ画像の生成と拡大用画像の生成が可能となされている。

また、第２の実施形態において、例えばライブビュー表示によりノイズを確認するノイズプレビュー表示を行うような場合には、拡大指示領域の中心座標を含む領域から以下のようにして算出した値に基づいて拡大用画像とする画像を選択してもよい。例えば、拡大指示領域の中で中心座標を含む１０％の画像領域の範囲において、明るさ比率マップの合成比率の平均値を算出し、その平均値を、基準画像と第１，第２の非基準画像の各合成比率と比較して、合成比率の高い方を拡大用画像として選択する。

＜第３の実施形態＞
次に、第３の実施形態として、基準画像と非基準画像が撮像された際に、被写体が移動したことで、その被写体の画像領域（以下、動体領域とする。）の位置が、基準画像と非基準画像で異なる場合の、表示用のＨＤＲ画像と拡大用画像の生成について説明する。第３の実施形態では、基準画像と非基準画像から動体領域を検出し、その動体領域に対して画素の合成割合を決める。そして、第３の実施形態では、この動体領域に対する合成割合と前述した明るさ比率マップとを合成評価値として用いて、表示用のＨＤＲ画像の生成と拡大用画像の生成を行う。

以下、前述した図２のフローチャートを参照しながら、第３の実施形態における処理の流れを説明する。なお、図２のフローチャートにおいて、第１の実施形態の場合と同じ処理が行われるステップについては、その説明を省略する。

第３の実施形態の場合、図２のフローチャートのステップＳ２０３で表示用のＨＤＲ画像を生成する処理について、前述の図４（ａ）と図４（ｂ）、及び図７（ａ）〜図７（ｃ）を参照して説明する。図７（ａ）は図２のステップＳ２０２までの処理で作成された表示用の基準画像７１０を示し、図７（ｂ）は同様に作成された表示用の非基準画像７１１を示している。これら図７（ａ）と図７（ｂ）の例では、被写体７０３が移動したことで、表示用の基準画像７１０と非基準画像７１１において被写体７０３の位置が異なっている。

第３の実施形態の場合、ステップＳ２０３において、画像処理部１０３は、図７（ａ）の表示用の基準画像７１０と図７（ｂ）の表示用の非基準画像７１１との間のフレーム間差分を求める。さらに、画像処理部１０３は、そのフレーム間差分と所定の閾値とを比較し、閾値よりも大きい差分量となっている領域を動体領域の検出結果として求める。なお、動体域の検出結果とは、基準画像と非基準画像のフレーム間差分量に基づく画像の特徴量である。図７（ｃ）には、表示用の基準画像７１０と非基準画像７１１のフレーム間差分を所定の閾値とを比較し、閾値よりも大きい差分量の領域を抽出した動体領域の検出結果７１２の一例を示す。図７（ｃ）では、図７（ａ）の表示用の基準画像７１０の被写体７０３に対応した動体領域７０２と、図７（ｂ）の表示用の非基準画像７１１の被写体７０３に対応した動体領域７０１とが、動体領域の検出結果７１２として得られている。

さらに、画像処理部１０３は、図４（ａ）と図４（ｂ）に示したような明るさ比率マップと図７（ｃ）の動体領域の検出結果７１２とを合成評価値として用い、表示用のＨＤＲ画像を生成する際の、表示用の基準画像７１０と非基準画像７１１の合成割合を決める。具体的には、画像処理部１０３は、表示用の基準画像７１０について明るさ比率マップの合成比率を求めた後、前述したフレーム間差分により図７（ｃ）のような動体領域７０１，７０２かどうかを確認する。そして、画像処理部１０３は、図７（ｃ）の動体領域７０１，７０２に含まれる画素については、明るさ比率マップの合成比率を参照した合成は行わず、代わりにそれらの画像領域については表示用の基準画像の合成割合を１００％にする。なお、動体領域７０１，７０２に含まれない画素については、前述同様に明るさ比率マップの合成比率に基づいた表示用のＨＤＲ画像が生成される。このように、画像処理部１０３は、動体領域７０１，７０２については表示用のＨＤＲ画像に置き換えた表示用のＨＤＲ画像を生成する。

また、第３の実施形態において、図２のステップＳ２０６で拡大用画像を生成する際には、システム制御部１０１は、明るさ比率マップと動体領域の検出結果７１２に基づいて、本撮影の基準画像と非基準画像のいずれを拡大用画像として選択するかを決定する。具体的には、システム制御部１０１は、拡大用画像を生成する場合、拡大指示領域の中心座標の画素（又は拡大指示領域の中心座標から決められた範囲内の画素）が、図７（ｃ）の動体領域７０１，７０２に含まれるか否か判断する。そして、システム制御部１０１は、拡大指示領域の中心座標の画素（中心座標から決められた範囲内の画素）が動体領域７０１，７０２に含まれると判断した場合には、本撮影の基準画像を拡大用画像として選択する。なお、拡大指示領域の中心座標の画素（又は中心座標を含む範囲内の画素）が動体領域７０１，７０２の中にない場合、システム制御部１０１は、前述同様に明るさ比率マップに基づく画像（本撮影の基準画像又は非基準画像）を拡大用画像として選択する。

以上のような処理を行うことにより、第３の実施形態においては、動体領域の検出結果を加味した表示用のＨＤＲ画像の生成と、拡大用画像の生成が可能となる。

＜第４の実施形態＞
例えばいわゆる手持ち撮影等により表示用のＨＤＲ画像や拡大用画像に手振れ等が生じてしまうような場合には、第４の実施形態として、以下に説明するような画像の位置あわせ処理を行うことも可能である。なお、位置合わせ処理とは、手振れ等により基準画像に対して非基準画像の位置がずれている場合に、その位置ズレを補正する処理である。以下、一例として、図２のステップＳ２０２の処理の後に位置合わせ処理を行う場合について説明する。

画像処理部１０３は、図２のステップＳＳ２０１の処理後の基準画像と非基準画像に対する位置合わせ処理を行う。この位置合わせ処理の際、画像処理部１０３は、基準画像と非基準画像との間で動きベクトルを求める。具体的には、画像処理部１０３は、基準画像から所定サイズのテンプレート画像を作成し、そのテンプレート画像と非基準画像との間の対応点を求めるテンプレートマッチングを行い、その対応点間の向きと大きさ（距離）を動きベクトルとして算出する。そして、画像処理部１０３は、その動きベクトルの向きと大きさを基に、変換係数を算出して、その変換係数に基づいて非基準画像を変形させる。このように動きベクトルに基づく変換係数により変形処理された非基準画像は、基準画像に対して位置ズレが補正された非基準画像、つまり基準画像に対して位置合わせ処理がなされた非基準画像となる。

その後、デジタルカメラ１００は、基準画像とその基準画像に対して位置合わせ処理がなされた非基準画像とを用いて、前述したような図２のステップＳ２０３以降の処理を行う。これにより、第４の実施形態のデジタルカメラ１００は、手持ち撮影により手振れ等が生じていた場合でも、ブレが補正された良好なライブビュー表示やサムネイル表示、拡大用画像の表示が可能となる。

＜第５の実施形態＞
前述した各実施形態では、図２のステップＳ２０１で基準画像と非基準画像から作成した明るさ比率マップの合成比率に基づいて、表示用のＨＤＲ画像や拡大用画像の生成が行われている。これに対し、第５の実施形態では、表示用のＨＤＲ画像や拡大用画像を生成する際に、それ以前の過去に生成された明るさ比率マップを参照して、表示用のＨＤＲ画像や拡大用画像を生成する例を挙げる。

第５の実施形態における表示用のＨＤＲ画像や拡大用画像の生成処理について、図８を参照しながら説明する。図８の横軸は各表示フレームＮ−３，Ｎ−２，Ｎ−１，Ｎ，Ｎ＋１，Ｎ＋２の時間順を表しており、横軸の右方向に進むにつれて時間的に新しくなっていることを表している。図８の縦軸は、表示用の基準画像の明るさ比率マップの合成比率を表わしている。また、図８中の入力８０８は、ユーザにより拡大指示の入力がなされたタイミングを表している。さらに、図８中の各丸印は、各表示フレームＮ−３，Ｎ−２，Ｎ−１，Ｎ，Ｎ＋１，Ｎ＋２における表示用の基準画像の各合成比率８０１〜８０７を表している。

ここで、デジタルカメラ１００は、ライブビュー表示を行っているとする。例えば拡大指示の入力８０８がなされたとすると、本実施形態のデジタルカメラ１００は、その拡大指示の入力８０８がなされた直後の現在の表示フレームＮにおいて、前述の図２のステップＳ２００〜Ｓ２０２の処理を行う。またこのとき、システム制御部１０１は、現在の表示フレームＮよりも所定フレーム数前の表示フレームで生成した過去の明るさ比率マップの合成比率をメモリ１０４に保持させている。第５の実施形態の場合、画像処理部１０３は、ステップＳ２０３において、表示フレームＮの明るさ比率マップの合成比率と過去の明るさ比率マップの合成比率とに大きな差異があるか否かを判定する。一例として、画像処理部１０３は、表示フレームＮの明るさ比率マップの合成比率と過去の明るさ比率マップの合成比率との差異が、例えば予め決めた閾値より大きいか否か判定する。そして、それらの合成比率の差異が閾値より大きい場合、画像処理部１０３は、表示フレームＮの合成比率を、所定フレーム数後の表示フレームの合成比率として設定する。またこのときの画像処理部１０３は、所定フレーム数前の表示フレームの合成比率を、表示フレームＮの合成比率とし、その合成比率により、表示フレームＮにおける表示用の基準画像と非基準画像から、表示用のＨＤＲ画像を生成する。

一例として、所定フレーム数が２フレーム分である場合、画像処理部１０３は、表示フレームＮにおける合成比率８０４と２フレーム前の表示フレームＮ−２で生成されて保持している合成比率８０２とを比較する。この例の場合、合成比率８０４と合成比率８０２との間には、閾値より大きな差異があり、したがって画像処理部１０３は、表示フレームＮで求めた合成比率８０４を、２フレーム後の表示フレームＮ＋２における合成比率８０７とする。また、このときの画像処理部１０３は、２フレーム前の表示フレームＮ−２の合成比率８０２を、表示フレームＮの合成比率８０５とする。同様に、画像処理部１０３は、表示フレームＮ−１の合成比率８０３を、表示フレームＮ＋１の合成比率８０６として設定する。これにより、画像処理部１０３は、表示フレームＮでは合成比率８０５を用い、表示フレームＮ＋１では合成比率８０６を用い、表示フレームＮ＋２では合成比率８０７を用いて表示用の基準画像と非基準画像から表示用のＨＤＲ画像を生成することになる。

また、このときのシステム制御部１０１は、拡大指示の入力８０８がなされているので、図２のステップＳ２０４〜Ｓ２０６の処理を行う。そして、図２のステップＳ２０６において、システム制御部１０１は、画像処理部１０３において参照された所定フレーム数前の明るさ比率マップの合成比率を基に、拡大用画像を生成する。前述したように所定フレーム数が２フレームである場合、システム制御部１０１は、表示フレームＮについては合成比率８０５に基づいて本撮影画像の基準画像と非基準画像を切り替え選択して拡大用画像を生成する。同様に、システム制御部１０１は、表示フレームＮ＋１では合成比率８０６に基づいて、また、表示フレームＮ＋２では合成比率８０７に基づいて、本撮影画像の基準画像と非基準画像を切り替え選択して拡大用画像を生成することになる。

第５の実施形態の場合、拡大指示の入力がなされた際に、例えば被写体等の明るさが急激に変わったような場合でも、明るさが急激に変化する前に生成された明るさ比率マップに基づいて表示用のＨＤＲ画像や拡大用画像が表示されることになる。したがって、第５の実施形態によれば、被写体等の明るさの急激な変化があった場合でも、明るさの急激な変化の発生が抑えられた違和感のない、表示用のＨＤＲ画像や拡大用画像を表示可能である。

＜第６の実施形態＞
第６の実施形態として、本撮影のＨＤＲ画像の生成処理が完了した場合、デジタルカメラ１００は、例えばサムネイル表示や拡大用画像を表示する際には、その本撮影のＨＤＲ画像を用いる。例えば、本撮影のＨＤＲ画像の生成が完了した後、表示部１０５にサムネイル表示が行われる場合には、画像処理部１０３は、その本撮影のＨＤＲ画像からサムネイル画像を生成し、システム制御部１０１は、そのサムネイル画像を表示部１０５に表示させる。また、本撮影のＨＤＲ画像から生成したサムネイル画像表示がなされている場合において、ユーザから拡大指示が入力されたときには、システム制御部１０１は、その拡大指示の入力に応じて、本撮影のＨＤＲ画像をそのまま拡大用画像として用いる。

また、例えば前述したような表示用のＨＤＲ画像の表示や拡大用画像の表示が行われている時に、本撮影のＨＤＲ画像の生成処理が完了した場合、画像処理部１０３は、システム制御部１０１に対して、本撮影のＨＤＲ画像の生成完了通知を出力する。例えば、システム制御部１０１は、表示用のＨＤＲ画像の表示が行われている時に、生成完了通知を受信した場合には、表示用のＨＤＲ画像を、本撮影のＨＤＲ画像を縮小したＨＤＲ画像に置き換えて表示させる。また例えば、システム制御部１０１は、前述した拡大用画像の表示が行われている時に、生成完了通知を受信した場合には、拡大用画像を本撮影のＨＤＲ画像に置き換えて表示させるようにする。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ デジタルカメラ、１０１ システム制御部、１０２ 不揮発性メモリ、１０３ 画像処理部、１０４ メモリ、１０６ タッチパネル、１１０ レンズユニット、１１１ 撮影レンズ、１１２ シャッタ、１１３ 撮像素子、１１４ Ａ／Ｄ変換部

Claims (12)

1. ハイダイナミックレンジ合成のために異なる露出値で撮影された複数の撮影画像を縮小して複数の縮小画像を生成する縮小手段と、
   前記複数の撮影画像の少なくとも明るさに基づいて、前記複数の縮小画像をハイダイナミックレンジ合成する際の画素の合成割合を表す合成評価値を生成する生成手段と、
   前記合成評価値に基づいて、前記複数の縮小画像を合成して表示用の合成画像を生成する合成手段と、
   前記表示用の合成画像に対する拡大指示が入力されたとき、前記拡大指示の入力位置と前記表示用の合成画像を生成した際の合成評価値とに基づいて、前記縮小される前の複数の撮影画像を切り替え選択して表示用の拡大画像とする選択手段と
   を有することを特徴とする画像処理装置。
2. 前記選択手段は、前記表示用の合成画像に対する拡大指示の入力位置において前記ハイダイナミックレンジ合成の際に用いられた合成評価値を参照し、前記合成評価値に基づいて前記合成された縮小画像が前記縮小される前の、前記複数の撮影画像を切り替え選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の撮影画像のうち一つの撮影画像を基準とし、前記基準の撮影画像の明るさに合わせるように、他の撮影画像の明るさを調整する調整手段を有し、
   前記縮小手段は、前記明るさを合わせた後の前記複数の撮影画像を縮小して前記複数の縮小画像を生成し、
   前記選択手段は、前記明るさを合わせた後の前記複数の撮影画像を前記切り替え選択して前記表示用の拡大画像とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合成手段は、前記複数の縮小画像の間の差分に基づいて動体の画像領域を検出し、前記動体の画像領域に対する前記合成評価値を決定して、前記縮小画像の中の前記動体の画像領域については前記決定した合成評価値に基づく合成を行い、
   前記選択手段は、前記表示用の合成画像に対する拡大指示の入力位置が前記動体の画像領域に含まれるとき、前記動体の画像領域に対して決定された合成評価値に基づいて、前記複数の撮影画像の切り替え選択を行うことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記複数の撮影画像のうち基準となされた一つの撮影画像を縮小した縮小画像のみを用いる合成割合を、前記動体の画像領域に対する前記合成評価値として決定し、
   前記選択手段は、前記表示用の合成画像に対する拡大指示の入力位置が前記動体の画像領域に含まれるとき、前記動体の画像領域に対して決定された合成評価値に基づいて、前記複数の撮影画像のうち基準となされた一つの撮影画像を選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の撮影画像の間の位置ズレを補正する補正手段を有し、
   前記縮小手段は前記位置ズレが補正された後の前記複数の撮影画像から前記複数の縮小画像を生成し、
   前記合成手段は、前記位置ズレが補正されて縮小された前記複数の縮小画像から前記表示用の合成画像を生成し、
   前記選択手段は、前記位置ズレが補正された後の複数の撮影画像を用いて前記切り替え選択を行うことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、前記合成評価値に基づいて前記複数の撮影画像をハイダイナミックレンジ合成する手段を含み、
   前記縮小手段は、前記合成手段による前記複数の撮影画像のハイダイナミックレンジ合成が完了したときには、前記複数の撮影画像がハイダイナミックレンジ合成された画像を縮小した縮小画像を生成し、
   前記合成手段は、前記複数の縮小画像を合成した表示用の合成画像を生成している際に、前記合成手段による前記複数の撮影画像のハイダイナミックレンジ合成が完了したときには、前記縮小手段による前記複数の撮影画像のハイダイナミックレンジ合成された画像の縮小画像を、前記表示用の合成画像に置き換え、
   前記選択手段は、前記縮小される前の撮影画像を前記表示用の拡大画像として切り替え選択している際に、前記合成手段による前記複数の撮影画像のハイダイナミックレンジ合成が完了したときには、前記複数の撮影画像がハイダイナミックレンジ合成された画像を、前記表示用の拡大画像として切り替え選択することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 現在の撮影画像に対して所定フレーム数前の過去に撮影された撮影画像から生成された合成評価値を保持させる制御手段を有し、
   前記生成手段は、前記表示用の合成画像に対する拡大指示が入力されたときに、現在の撮影画像から生成した合成評価値と前記保持されている合成評価値との間に差異がある場合には、前記所定フレーム数前の過去に撮影された撮影画像から生成した合成評価値を、前記現在の撮影画像の合成評価値として設定することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記表示用の合成画像に対する拡大指示が入力されたときに、現在の撮影画像から生成した合成評価値と前記保持されている合成評価値との間に差異がある場合には、現在の撮影画像から生成した合成評価値を、所定フレーム数後に撮影される撮影画像の合成評価値として設定することを特徴とする請求項８に記載の画像処理装置。
10. ハイダイナミックレンジ合成のために異なる露出値で複数の画像を撮像する撮像手段と、
    画像を表示するための表示手段と、
    使用者からの少なくとも拡大指示の入力位置を取得する取得手段と、
    請求項１〜９のいずれか１項に記載の画像処理装置の各手段と
    を有する撮像装置。
11. 縮小手段が、ハイダイナミックレンジ合成のために異なる露出値で撮影された複数の撮影画像を縮小して複数の縮小画像を生成するステップと、
    生成手段が、前記複数の撮影画像の少なくとも明るさに基づいて、前記複数の縮小画像をハイダイナミックレンジ合成する際の画素の合成割合を表す合成評価値を生成するステップと、
    合成手段が、前記合成評価値に基づいて、前記複数の縮小画像を合成して表示用の合成画像を生成するステップと、
    選択手段が、前記表示用の合成画像に対する拡大指示が入力されたとき、前記拡大指示の入力位置と前記表示用の合成画像を生成した際の合成評価値とに基づいて、前記縮小される前の撮影画像を切り替え選択して表示用の拡大画像とするステップと
    を含むことを特徴とする画像処理方法。
12. コンピュータを、請求項１〜９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images