JP2016007006A - 画像処理プログラム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像が見やすく、かつボケ味が異なる複数の画像を簡単に生成する静止画表示装置及びシステム並びに撮像装置を提供する。【解決手段】 混合比率決定部１９は、ぼけ判定値が基準値以上の場合に第１混合比率セットを選択し、ぼけ判定値が基準値より小さい場合に第２混合比率セットを選択する。第２混合比率セットは、第１混合比率セットのよりも合焦画像の混合比率が多く、非合焦画像の混合比率が少ない。混合画像生成部１７は、選択された混合比率セットに基づいて、合焦画像と非合焦画像とから、混合比率が徐々に変化した複数の混合画像を生成する。表示制御部１５は、複数の混合画像を、動画風にモニタ２５に順次表示する。【選択図】図１

Description

本発明は、静止画を動画風に表示する静止画表示装置及びシステム並びに撮像装置に関するものである。

デジタルカメラ、パソコン、携帯電話等は、静止画の再生表示機能を有し、メモリに保存されている静止画を読み出して、液晶ディスプレイに表示する。ここでは、静止画の再生表示機能を有するものを静止画表示装置と称している。

静止画表示装置では、コマ送りがされない限りは、同じ静止画が連続して表示されることが普通である。この静止画の連続表示では趣向に乏しいため、静止画の表示状態を変えて、動画のような臨場感を高めるようにする改良が行われている。例えば、特許文献１には、近景から遠景に向かって徐々に合焦位置が変化した静止画を表示する静止画表示装置が記載されている。この静止画表示装置では、同一被写体の近景側に焦点を合わせた近景合焦画像と、遠景側に焦点を合わせた遠景合焦画像とを用い、合焦からのずれによって生じるぼけの程度を示すぼけ関数を演算することにより、任意の合焦位置で被写体を撮像したときに得ることが可能な複数のぼけ味調整画像を生成する。これらの複数のぼけ味調整画像を順次表示することにより、近景から遠景に向かって徐々に合焦位置が変化した静止画を動画風に表示する。

特許第３６７８１６０号

特許文献１記載の静止画表示装置では、近景から遠景に向かって合焦位置が変化するため、ぼけ量の変化が大きく、画像が見にくいという問題がある。また、ぼけ関数を設定して、複数の合焦位置における画像を生成しているため、複雑な演算が必要である。

本発明は、画像が見やすく、かつボケ味が異なる複数の画像を簡単に生成することができる静止画表示装置及びシステム並びに撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の静止画表示装置は、記憶媒体と、読出部と、ぼけ判定値算出部と、ぼけ判定部と、混合比率決定部と、混合画像生成部と、表示部と、表示制御部とを備えている。記憶媒体は、同一被写体を撮像して得た合焦画像及び非合焦画像を記憶している。読出部は、記憶媒体から合焦画像及び非合焦画像を読み出す。ぼけ判定値算出部は、合焦画像及び非合焦画像に含まれる高周波成分に基づくぼけ判定値を算出する。ぼけ判定部は、ぼけ判定値と所定の基準値と比較して、合焦画像に対する非合焦画像のぼけの程度を判定する。混合比率決定部は、合焦画像と非合焦画像とを混合させるための混合比率が徐々に変化した１セットを第１混合比率セットとし、この第１混合比率セットよりも合焦画像の混合比率が多く、かつ非合焦画像の混合比率が少ない１セットを第２混合比率セットとしたときに、ぼけ判定値が基準値以上であると判定された場合には第１混合比率セットを選択し、ぼけ判定値が基準値未満であると判定された場合に第２混合比率セットを選択する。混合画像生成部は、記憶媒体から読み出した合焦画像と非合焦画像とから、選択された混合比率セットに基づいて、複数枚の混合画像を生成する。表示制御部は、複数枚の前記混合画像を表示部に順次表示させる。

表示制御部は、合焦画像の混合比率が低い値から高い値に順次変化する順方向、又は合焦画像の混合比率が高い値から低い値に順次変化する逆方向に、複数の混合画像を表示部に順次表示することが好ましい。また、順方向による表示と、逆方向による表示とを交互に繰り返すことが好ましい。

合焦画像及び非合焦画像の混合比率は、それぞれ０〜１００％の範囲で変化することが好ましい。合焦画像及び非合焦画像から高周波成分を解析する高周波成分解析部を備えていることが好ましい。高周波成分は、合焦画像及び非合焦画像に予め付加されていることが好ましい。

合焦画像に対する非合焦画像の位置合わせ処理を行う位置合わせ部を備えることが好ましい。この場合に、混合画像生成部は、位置合わせ部により位置合わせ処理を行った非合焦画像を使用する。表示制御部は、先の表示が徐々に消えていくともに、次の表示が徐々に表れてくるフェード処理で画像表示を切り換えることが好ましい。表示制御部は、合焦画像の混合比率が１００％の混合画像を表示するときは、他の混合画像よりも表示時間を長くすることが好ましい。

非合焦画像として、合焦画像が得られたときの合焦位置に対して、近距離側及び遠距離側に焦点をずらして得た前ピン画像及び後ピン画像の２種類を用いることが好ましい。混合画像生成部は、合焦画像と前ピン画像とから複数の前ピン混合画像を生成し、合焦画像と後ピン画像とから複数の後ピン混合画像を生成することが好ましい。この場合に、表示制御部は、複数の前ピン混合画像を順方向に表示部に表示してから、複数の後ピン混合画像を逆方向に表示する。合焦画像と前ピン画像の混合比率、又は合焦画像及と後ピン画像の混合比率は、それぞれ０〜１００％の範囲で変化することが好ましい。

本発明の撮像装置は、撮像光学系と、撮像部と、フォーカスレンズ駆動部と、焦点評価値演算部と、合焦位置検出部と、レンズ駆動制御部と、書込部とを備えている。撮像光学系は、光軸方向に移動可能なフォーカスレンズを含む。撮像部は、撮像光学系を介して、同一被写体の合焦画像及び非合焦画像を撮像する。フォーカスレンズ駆動部は、フォーカス調整中に、フォーカスレンズを光軸方向に移動する。焦点評価値演算部は、フォーカス調整中に、撮像部で撮像した画像内の高周波成分に基づいて、各フォーカスレンズ位置での焦点評価値を算出する。合焦位置検出部は、焦点評価値に基づいて合焦位置を検出する。レンズ駆動制御部は、撮像部で合焦画像及び非合焦画像を撮像するために、フォーカスレンズ駆動部を制御し、合焦位置とこれから所定の間隔を置いた非合焦位置とにフォーカスレンズをセットする。書込部は、合焦画像及び非合焦画像とともに、合焦画像及び非合焦画像の特定領域内の高周波成分を、付加情報として記憶媒体に書き込む。

特定領域は、合焦画像及び非合焦画像を撮像する際に、焦点評価値演算部が焦点評価値を得るための焦点評価エリアであることが好ましい。書込部は、焦点評価値として算出された高周波成分と、焦点評価エリアを付加情報として記憶媒体に書き込むことが好ましい。

被写体の明るさを検出する測光部と、撮像部が合焦画像及び非合焦画像を撮像するときに、測光部の測光結果に応じて適正露出が得られるように露出制御を行う露出制御部とを備えることが好ましい。この露出制御部は、撮像部が合焦画像を撮像するときに、所定の絞り値以下のもとで露出制御を行う。

露出制御部は、フォーカスレンズ位置に応じて所定の絞り値を変化させることが好ましい。撮像光学系は、像倍率を変化させるための変倍レンズを含んでいることが好ましい。この場合に、露出制御部は、像倍率に応じて所定の絞り値を変化させる。

書込部は、合焦画像及び非合焦画像を記憶媒体に書き込む際に、画面全体の圧縮画像と、特定領域の非圧縮画像とを書き込むことが好ましい。特定領域としては、画面の中央領域、又は前記焦点評価値演算部が焦点評価値を得るための焦点評価エリアが用いられる。

合焦画像及び非合焦画像の特定領域を非圧縮画像に置き換えた画像を、合焦画像及び非合焦画像として使用することが好ましい。

撮像装置に、静止画表示装置を組み込むことが好ましい。

本発明の静止画表示システムは、撮像装置と、静止画表示装置とを備えている。撮像装置は、撮像光学系と、撮像部と、フォーカスレンズ駆動部と、焦点評価値演算部と、合焦位置検出部と、レンズ駆動制御部と、書込部とを備えている。静止画表示装置は、読出部と、ぼけ判定値算出部と、ぼけ判定部と、混合比率決定部と、混合画像生成部と、表示部と、表示制御部とを備えている。

合焦画像及び非合焦画像内の特定領域を対象に位置合わせ処理を行う位置合わせ部を備えていることが好ましい。ぼけ判定値算出部は、合焦画像及び非合焦画像内の特定領域に含まれる高周波成分に基づき、ぼけ判定値を算出することが好ましい。

本発明では、ぼけ判定値に応じて、第１混合比率セットと第２混合比率セットの一方を選択し、記憶媒体から読み出した合焦画像と非合焦画像とから、選択された混合比率セットに基づいて、複数枚の混合画像を生成し、この複数の混合画像を順次表示するので、ぼけの変化が少なく、ユーザーが見やすい静止画を動画風に再生することができる。

静止画表示装置の一例を示す概略図である。 画像ファイルの構成を示す概略図である。 混合画像の高周波成分の波形を示すグラフである。 合焦画像と非合焦画像とから混合画像を生成する際に用いられる第１混合比率セットの混合比率を示すグラフである。 合焦画像と非合焦画像とから混合画像を生成する際に用いられる第２混合比率セットの混合比率を示すグラフである。 フェード処理の説明図である。 静止画の画像表示の処理手順を示すフローチャートである。 合焦画像を示す説明図である。 前ピン画像を示す説明図である。 後ピン画像を示す説明図である。 合焦画像、前ピン画像、後ピン画像を有する複合画像ファイルの構成を示す説明図である。 合焦画像、前ピン画像、後ピン画像から混合画像を生成する際に用いられる第１混合比率セットの混合比率を示すグラフである。 合焦画像、前ピン画像、後ピン画像から混合画像を生成する際に用いられる第２混合比率セットの混合比率を示すグラフである。 フェード処理を行うとともに、合焦画像を長い時間表示する表示制御を説明するための説明図である。 静止画表示装置の変形例の構成を示す概略図である。 デジタルカメラの正面側斜視図である。 デジタルカメラの背面側斜視図である。 第２実施形態の静止画表示装置及び撮像装置の構成を示す概略図である。 第２実施形態の撮像装置が特殊表示用撮像を行う処理手順を示すフローチャートである。 第３実施形態の静止画表示装置及び撮像装置の構成を示す概略図である。 複合画像ファイルの構成を示す説明図である。 第３実施形態の合焦画像の特定領域を非圧縮画像で置き換える場合を示す説明図である。 第３実施形態の前ピン画像の特定領域を非圧縮画像で置き換える場合を示す説明図である。 第３実施形態の後ピン画像の特定領域を非圧縮画像で置き換える場合を示す説明図である。 第３実施形態の撮像装置で特殊表示用撮像を行う際の処理手順を示すフローチャートである。 第３実施形態の静止画表示装置で画像表示を行う際の処理手順を示すフローチャートである。 デジタルカメラの変形例の構成を示す概略図である。

図１に示すように、静止画表示装置１０は、システムコントローラ１１と、各種プログラム等が格納され、プログラム実行時の作業領域となるメインメモリ１２と、画像等が格納されるストレージ１３と、表示用データを一時記憶する表示メモリ１４と、この表示メモリ１４からの画像データ、文字データ等により画像や文字等を表示するための表示制御を行う表示制御部１５とを備える。また、静止画表示装置１０には、画像読出部１６と、混合画像生成部１７と、ぼけ判定部１８と、ぼけ判定値算出部１８ａと、混合比率決定部１９と、画像位置合わせ部２０と、操作部２１と、画像入力Ｉ／Ｆ２２と、圧縮伸張処理部２３と、各構成要素を接続するバス２４とが設けられている。

システムコントローラ１１は、操作部２１からの制御信号に基づき、メインメモリ１２から読み出した各種プログラムやデータを逐次実行することで、立体画像表示装置１０の各部を統括的に制御する。表示制御部１５には、表示部としての液晶ディスプレイ等のモニタ２５が接続される。静止画表示装置１０は、メモリカード２７に記憶された画像ファイルを読み出し、画像をモニタ２５に表示する。この画像は、デジタルカメラ２６で撮影されて、メモリカード２７に記憶されているものである。操作部２１としては、キーボード及びマウスを有する。

図２に示すように、デジタルカメラ２６は、同一被写体に対して合焦画像（合焦画像フレーム）Ｐ１及び非合焦画像（非合焦画像フレーム）Ｐ２を撮像する。これら合焦画像Ｐ１及び非合焦画像Ｐ２と付加情報２８Ａとは、複合画像ファイル２８としてメモリカード２７に記憶される。または、同一被写体に対して合焦画像Ｐ１のみを撮像し、この合焦画像Ｐ１と付加情報２９Ａとは、通常画像ファイル２９としてメモリカード２７に記憶する。付加情報２８Ａ，２９Ａとしては、例えばＥｘｉｆ形式のデータを使用し、画像データのＥｘｉｆタグの領域に情報を書き込む。付加情報２８Ａ，２９Ａには、後述する静止画特殊表示オン／オフの情報、画像数、合焦画像Ｐ１及び非合焦画像Ｐ２を撮像する際にＡＦ処理で用いたＡＦ評価値、ＡＦ評価エリア、さらにＡＥ制御処理に用いた露出値（Ｆ値、シャッタ速度）、ズーム位置などが含まれる。

なお、本実施形態では、非合焦画像Ｐ２として、合焦画像に対して至近位置側に焦点を合わせることで得られた前ピンの非合焦画像（以下、前ピン画像という）を用いている。なお、これに限らず、非合焦画像Ｐ２として、無限遠位置側に焦点を合わせて得られた後ピンの非合焦画像（以下、後ピン画像という）を用いてもよい。

付加情報２８Ａ，２９Ａに含まれる静止画特殊表示オン／オフの情報は、静止画表示装置で静止画表示を行う際に、合焦画像Ｐ１及び非合焦画像Ｐ２から合成される複数の混合画像を順次表示する静止画特殊表示を行うかどうかに用いられる。静止画特殊表示の場合には静止画特殊表示オンの情報が記憶され、そして静止画特殊表示を行わない場合には静止画特殊表示オフの情報が記憶されている。この実施形態では、複合画像ファイル２８には静止画特殊表示オンの情報が記憶され、通常画像ファイル２９には静止画特殊表示オフの情報が記憶されている。

画像入力Ｉ／Ｆ２２は、メモリカード２７が接続されたとき、メモリカード２７に記憶された複合画像ファイル２８又は通常画像ファイル２９の入力を制御する。画像入力Ｉ／Ｆ２２は、メモリカード２７から読み出した複合画像ファイル２８又は通常画像ファイル２９を、バス１９を介してストレージ１３へ逐次送る。ストレージ１３は、入力された複合画像ファイル２８又は通常画像ファイル２９を記憶する。このストレージ１３としては、例えば、ハードディスク装置が使用される。

画像読出部１６は、ストレージ１３から複合画像ファイル２８又は通常画像ファイル２９を所定の順番で読み出す読出処理を行う。この読出しの順番は、例えば、ファイル名順（例えばＰＩＣ１、ＰＩＣ２、ＰＩＣ３、・・・）、撮像日時の古い順あるいは新しい順で行われる。画像読出部１６は、操作部２１で画像表示操作がなされたときに、第１番目の複合画像ファイル２８又は通常画像ファイル２９をストレージ１３から読み出して記憶する。また、画像読出部１６は、モニタ２５に画像が表示されている間に、次の複合画像ファイル２８又は通常画像ファイル２９をストレージ１３から読み出して、先に記憶した複合画像ファイル２８又は通常画像ファイル２９に上書きする。

なお、ストレージ１３に記憶された複合画像ファイル２８又は通常画像ファイル２９の合焦画像Ｐ１、非合焦画像Ｐ２が圧縮された形式（例えば、ＪＰＥＧ形式）の場合、圧縮伸張処理部２３で画像の伸張処理が行われる。

混合画像生成部１７は、ストレージ１３から画像読出部２５によって複合画像ファイル２８が読み出された場合に、この複合画像ファイル２８の合焦画像Ｐ１と非合焦画像Ｐ２とを、後述する混合比率決定部１９で決定された混合比率で混合して複数枚の混合画像を生成する。この場合、合焦画像Ｐ１を示す関数をｆ１（ｘ，ｙ）、非合焦画像Ｐ２を示す関数をｆ２（ｘ，ｙ）、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率をＫ１：Ｋ２とすると、混合画像を示す関数Ｇ（ｘ，ｙ）は、次式（１）で表される。
Ｇ（ｘ，ｙ）＝ｆ１（ｘ，ｙ）＊Ｋ１+ｆ２（ｘ，ｙ）＊Ｋ２・・・（１）
この式（１）に、合焦画像Ｐ１及び非合焦画像Ｐ２の各画素における画素値、及び混合比率決定部１９で決定された混合比率を代入することにより、混合画像の各画素における画素値が得られる。

図３は、合焦画像Ｐ１、非合焦画像Ｐ２、及び混合画像Ｍにおける高周波成分の一例を示すものであり、この混合画像Ｍの高周波成分は、合焦画像Ｐ１の高周波成分と、非合焦画像Ｐ２の高周波成分との中間の波形となる。したがって、式（１）における合焦画像Ｐ１の混合比率が増加すると、合焦画像Ｐ１の高周波成分の波形に近づき、また、非合焦画像Ｐ２の混合比率が増加すると、非合焦画像Ｐ２の高周波成分の波形に近づくようになる。したがって、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率を変化させることで混合画像Ｍのぼけの程度を調節することができる。

なお、混合画像生成部１７での混合画像生成処理は、混合画像の元となる合焦画像Ｐ１及び非合焦画像Ｐ２のデータがどのような種類のデータであるかによって適宜変更することができる。例えば、合焦画像Ｐ１及び非合焦画像Ｐ２のデータがＹ・Ｃｂ・Ｃｒの色空間で規定されるデータの場合、合焦画像Ｐ１及び非合焦画像Ｐ２の各画素における輝度Ｙ、色相Ｃｂ、及び彩度Ｃｒの値を上記式に代入して混合画像の各画素における輝度Ｙ、色相Ｃｂ、及び彩度Ｃｒの値を得てもよい。また、合焦画像Ｐ１及び非合焦画像Ｐ２のデータがＲＧＢの色空間で規定されたデータである場合に、合焦画像Ｐ１及び非合焦画像Ｐ２の各画素におけるＲ，Ｇ，Ｂの値を代入して、混合画像の各画素におけるＲ，Ｇ，Ｂの値を得てもよい。

ぼけ判定値算出部１８ａは、合焦画像Ｐ１及び合焦画像Ｐ２に含まれる高周波成分に基づいてぼけ判定値を算出する。ぼけ判定部１８は、ぼけ判定値を所定の基準値と比較して、合焦画像Ｐ１に対する非合焦画像Ｐ２のぼけの程度を判定する。本実施形態のぼけ判定値算出部１８ａは、複合画像ファイル２８の付加情報２８Ａに含まれる合焦画像Ｐ１及び非合焦画像Ｐ２の焦点評価値Ｈ１及びＨ２を読み出す。この焦点評価値Ｈ１及びＨ２を合焦画像Ｐ１及び合焦画像Ｐ２に含まれる高周波成分の値として使用して、ぼけ判定値ＨＳを算出する。なお、ぼけ判定値は、合焦画像Ｐ１及び合焦画像Ｐ２の画面全体に含まれる高周波成分から算出する他に、合焦画像Ｐ１及び非合焦画像Ｐ２の特定領域内の高周波成分でもよい。例えば、合焦画像を撮像するときのＡＦ評価エリア内に含まれる高周波成分でもよい。この場合、合焦画像Ｐ１及び非合焦画像Ｐ２の高周波成分は、同じ特定領域内から抽出される。

高周波成分に基づくぼけ判定値ＨＳとして、合焦画像Ｐ１の焦点評価値Ｈ１に対する非合焦画像Ｐ２の焦点評価値Ｈ２の割合（ぼけ判定値ＨＳ＝Ｈ２／Ｈ１）が用いられる。画像に含まれる高周波成分は、値が小さいほどピントのぼけが大きい。したがって、ぼけ判定値ＨＳが小さい程、合焦画像に対する非合焦画像のぼけの程度が大きく、ぼけ判定値ＨＳが大きい程、合焦画像に対する非合焦画像のぼけの程度が小さいことを示す。ぼけ判定部１８は、判定値ＨＳを予め設定された基準値ＨＫと比較する。ぼけ判定値ＨＳが基準値ＨＫ以上の場合には、合焦画像に対する非合焦画像のぼけの程度が小さいという判定結果を、混合比率決定部１９に送信する。ぼけ判定値ＨＳが基準値ＨＫ未満である場合には、合焦画像に対するぼけの程度が大きいという判定結果を混合比率決定部１９に送信する。

なお、ぼけ判定値とは上記のものに限らず、合焦画像Ｐ１及び非合焦画像Ｐ２に含まれる高周波成分に基づく値で、基準値ＨＫと比較して合焦画像Ｐ１に対する非合焦画像Ｐ２のぼけの程度が判定可能な値であればよい。例えば、合焦画像の焦点評価値Ｈ１と非合焦画像の焦点評価値Ｈ２との差（Ｈ１−Ｈ２）でもよい。

混合比率決定部１９は、合焦画像Ｐ１と非合焦画像Ｐ２とを混合する混合比率を定める２種類の第１及び第２混合比率セットの一方を、ぼけ判定結果に応じて選択する。各混合比率セットは、混合比率が徐々に変化した１セットである。

図４Ａに示すように、第１混合比率セットは、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２が７５：２５、５０：５０、２５：７５という組み合わせになっている。この第１混合比率セットでは、非合焦画像Ｐ２の混合比率が０％〜１００％の範囲内で使用可能である。また、第１混合比率セットでは、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２が均等に増減する組み合わせとなっており、本実施形態では２５％ずつ増減している。なお、この「均等」には、ほぼ均等に混合比率が増減する場合も含まれる。

一方、図４Ｂに示すように、第２混合比率セットは、第１混合比率セットよりも合焦画像Ｐ１の混合比率を多く、非合焦画像Ｐ２の混合比率を少なくしており、合焦画像：非合焦画像の混合比率Ｋ１：Ｋ２が８８：１２、７５：２５、６３：３７、５０：５０という組み合わせになっている。この第２混合比率セットでは、合焦画像に対するぼけの状態を少なくするために、非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２を０％〜５０％の範囲内に規制している。また、第２混合比率セットでは、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率が均等に増減する組み合わせとなっており、本実施形態では１２％または１３％ずつ増減している。

また、第１混合比率セットに基づいた混合画像では、１００％の非合焦画像Ｐ２を表示するが、第２混合比率セットに基づいた混合画像では、１００％の非合焦画像Ｐ２を表示しないため、第１混合比率セットでは、混合比率が３つであるのに対し、第２混合比率セットでは、第１混合比率セットよりも１つ多い４つとなっている。

混合画像生成部１７は、第１混合比率セットの３つの混合比率に基づいて３つの混合画像Ｍ１，Ｍ２，Ｍ３を生成する。第２混合比率セットに対しては、４つの混合比率に基づいて４つの混合画像Ｍ１，Ｍ２，Ｍ３，Ｍ４を生成する。混合画像生成部１７で生成された混合画像は、いったん表示メモリ１４に格納される。

画像位置合わせ部２０は、混合画像を生成する際に、元となる合焦画像Ｐ１及び非合焦画像Ｐ２の位置を合わせるための位置合わせ処理を行う。合焦画像Ｐ１と非合焦画像Ｐ２を得るために、時間的に異なるタイミングで二枚の画像を撮像する場合、この撮像タイミングの違いから二枚の画像間には、僅かな位置ずれ（光軸と直交する面内での位置ずれ、光軸方向での位置ずれ）が発生する。このため、二枚の画像を合成する際に、このような画像間の位置ずれを補正するために、画像合成の前に位置合わせ処理を行うことが好ましい。位置合わせ処理としては、例えば合焦画像Ｐ１中の特徴点に対応する非合焦画像Ｐ２中の対応点が検出され、合焦画像Ｐ１中の特徴点と非合焦画像Ｐ２中の対応点とを一致させるパラメータ（回転パラメータ，移動パラメータ，拡大／縮小パラメータ）が算出される。このパラメータを用いて非合焦画像Ｐ２を回転、移動、拡大／縮小して合焦画像Ｐ１と非合焦画像Ｐ２の位置合わせが行われる。また、位置合わせ処理を行う際、二枚の画像の周辺部には重ならない部分が発生する場合もあり、この場合、重ならない周辺部を除くように、合焦画像Ｐ１と非合焦画像Ｐ２のトリミングを行う。像の大きさに影響する光軸方向の位置ずれと、光軸と直交する面内での位置ずれとを検出するには、複数の特徴点が用いられる。

なお、画像位置合わせ部２０が位置合わせ処理を行う際、合焦画像Ｐ１及び非合焦画像Ｐ２の画面全体を対象にするのではなく、特定領域を対象として特徴点、対応点を検出して位置合わせを行ってもよい。この場合に、合焦画像Ｐ１と非合焦画像Ｐ２とは、同じ特定領域内を対象として特徴点、対応点が検出され、位置合わせが行われる。この特定領域としては、例えば、複合画像ファイル２８の付加情報に含まれるＡＦ評価エリアを用いてもよい。

表示制御部１５は、第１混合比率セット又は第２混合比率セットに基づいて混合画像生成部１７が複数の混合画像を生成した後、複数の混合画像をモニタ２５に順次表示させる。表示制御部１５は、複数の混合画像を表示させる際に、合焦画像の混合比率が徐々に多くなる順方向の表示、または合焦画像の混合比率が徐々に低くなる逆方向の表示のいずれかを行う。本実施形態では、順方向の表示順による表示と、逆方向の表示順による表示とを交互に繰り返す。

表示制御部１５は、第１混合比率セットに基づいて混合画像Ｍ１，Ｍ２，Ｍ３が生成された場合は、混合画像Ｍ１，Ｍ２，Ｍ３ととともに、合焦画像Ｐ１及び非合焦画像Ｐ２を表示に使用する。この場合、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２が、１００：０及び０：１００の混合画像として合焦画像Ｐ１及び非合焦画像Ｐ２がそれぞれ使用される。これにより、表示制御部１５は、順方向の表示順で混合画像を表示する場合に、合焦画像の混合比率が０％、２５％、５０％、７５％、１００％の混合画像を表示する。逆方向の表示順で混合画像を表示する場合、合焦画像の混合比率が１００％、７５％、５０％、２５％、０％の混合画像を順次表示する。

表示制御部１５は、第２混合比率セットに基づいて混合画像Ｍ１，Ｍ２，Ｍ３，Ｍ４が生成された場合は、混合画像Ｍ１，Ｍ２，Ｍ３，Ｍ４ととともに、合焦画像Ｐ１を表示に使用する。なお、非合焦画像Ｐ２は表示に使用しない。この場合、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２が、１００：０の混合画像として合焦画像Ｐ１が使用される。これにより、表示制御部１５は、順方向の表示順で混合画像を表示する場合に、合焦画像Ｐ１の混合比率が５０％、６３％、７５％、８８％、１００％の混合画像を順次表示する。逆方向の表示順で混合画像を表示する場合は、合焦画像Ｐ１の混合比率が１００％、８８％、７５％、６３％、５０％の混合画像を順次表示する。

また、表示制御部１５は、複数の混合画像を順次表示する際、先の表示が徐々に消えていくともに、次の表示が徐々に表れてくるフェード処理で画像表示を切り替える。図５はこのフェード処理を説明する説明図であり、点線は先に表示する画像の濃度であり、実線は次に表示する画像の濃度を示す。このフェード処理では、先に表示する画像の濃度が１００％のときは、次に表示する画像の表示濃度が０％である。そして、先に表示する画像の表示濃度が徐々に減少するとともに、次に表示する画像の表示濃度が徐々に増加して両者を足すと１００％になるように変化し、先に表示する画像の表示濃度が０％になったときは、次に表示する画像の表示濃度が１００％になる。また、表示制御部１５は、このフェード処理を行う際に、全ての画像について、全て同じ時間で先の表示が徐々に消えていくともに、この先の表示が消えていくのと同じ時間で次の表示が徐々に表れてくる。

次に、図６に示すフローチャートを用いて、静止画表示装置１０の処理手順について説明を行う。先ず、デジタルカメラ２６から取り出したメモリカード２７を画像入力Ｉ／Ｆ２２に接続する。メモリカード２７に記憶されていた複合画像ファイル２８または通常画像ファイル２９が読み出され、ストレージ１３に格納される。この格納処理後に、操作部２１で画像表示操作をすると（Ｓ１）、システムコントローラ１１は、画像読出部１６に対して読出し指令を発する。画像読出部１６は、ストレージ１３から最初の複合画像ファイル２８または通常画像ファイル２９を読み出す（Ｓ２）。

次いでシステムコントローラ１１は、複合画像ファイル２８または通常画像ファイル２９の付加情報２８Ａ，２９Ａのうち、静止画特殊表示オン／オフの情報を読み出しす（Ｓ３）。静止画特殊表示オンが記憶されている場合に（Ｓ４のＹＥＳ）、合焦画像Ｐ１及び非合焦画像Ｐ２を用いた静止画特殊表示を行うため、複合画像ファイル２８から合焦画像Ｐ１、非合焦画像Ｐ２の読み出しを行う（Ｓ５）。

一方、静止画特殊表示オフが記憶されている場合（Ｓ４のＮＯ）、通常画像ファイル２９から合焦画像Ｐ１のみを読み出し（Ｓ６）、通常表示を行う（Ｓ７）。操作部２１によって画像切替操作が行われた場合は（Ｓ８）、合焦画像Ｐ１の通常表示を終了して、次の複合画像ファイル２８または通常画像ファイル２９読み出しに進む（Ｓ２）。表示終了操作が行われた場合は、画像表示を終了する（Ｓ９）。

システムコントローラ１１は、複合画像ファイル２８から合焦画像Ｐ１、非合焦点画像Ｐ２の読み出しに続いて、付加情報２９Ａの焦点評価値Ｈ１，Ｈ２を読み出す（Ｓ１０）。システムコントローラ１１がぼけ判定指令を発生すると、ぼけ判定値算出部１８ａは、複合画像ファイル２８に付加された付加情報２９Ａのうち、合焦画像Ｐ１及び非合焦画像Ｐ２の焦点評価値Ｈ１、Ｈ２から、ぼけ判定値ＨＳ＝Ｈ２／Ｈ１を算出する（Ｓ１１）。ぼけ判定部１８は，ぼけ判定値ＨＳと基準値ＨＫとを比較してぼけ判定を行う（Ｓ１２）。

ぼけ判定部１８による判定で、ぼけ判定値ＨＳが基準値ＨＫ以上であると判定されたときには（Ｓ１２のＹＥＳ）、混合比率決定部１９は、第１混合比率セットを選択する。混合画像生成部１７は、第１混合比率セットに基づいて混合画像を生成する（Ｓ１３）。これにより、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率Ｋ１：Ｋ２が、７５：２５、５０：５０、２５：７５の混合画像Ｍ１，Ｍ２，Ｍ３が生成される。

第１混合比率セットに基づいて混合画像Ｍ１，Ｍ２，Ｍ３が生成された後、表示制御部１５は、合焦画像Ｐ１及び非合焦画像Ｐ２を含む複数の混合画像を順方向、及び逆方向にモニタ２５に順次表示する（Ｓ１４）。画像切替操作が行われず（Ｓ１５のＮＯ）、かつ表示終了の操作が行われない場合（Ｓ１６のＮＯ）、表示制御部１５は、順方向と逆方向の交互表示を継続して行う。また、画像切替操作が行われた場合（Ｓ１５のＹＥＳ）は、混合画像の表示を終了して、次の複合画像ファイル２８または通常画像ファイル２９の読み出しに進む（Ｓ２）。そして、表示終了操作が行われた場合は、画像表示を終了する（Ｓ１６のＹＥＳ）。

ぼけ判定部１８による判定で、ぼけ判定値ＨＳが基準値ＨＫ未満という判定結果が出された場合（Ｓ１２のＮＯ）、混合比率決定部１９は、第２混合比率セットを選択する。混合画像生成部１７は、第２混合比率セットに基づいて、合焦画像：非合焦画像の混合比率Ｋ１：Ｋ２が、８８：１２、７５：２５、６３：３７、５０：５０の混合画像Ｍ１，Ｍ２，Ｍ３，Ｍ４を生成する（Ｓ１７）。

混合画像Ｍ１，Ｍ２，Ｍ３，Ｍ４が生成された後、表示制御部１５は、合焦画像Ｐ１を含む複数の混合画像を順方向、及び逆方向の表示順でモニタ２５に順次表示する（Ｓ１８）。画像切替操作が行われず（Ｓ１９のＮＯ）、かつ表示終了の操作が行われない場合（Ｓ２０のＮＯ）、表示制御部１５は継続して混合画像を表示する。画像切替操作が行われた場合は（Ｓ１９のＹＥＳ）、混合画像の表示を終了して、次の複合画像ファイルまたは通常画像ファイルの読出しに進む（Ｓ２）。表示終了操作が行われた場合は、画像表示を終了する（Ｓ２０のＹＥＳ）。

以上のように、合焦画像Ｐ１及び非合焦画像Ｐ２の高周波成分に基づくぼけ判定値を用いてぼけ判定を行う。ぼけ判定値が基準値以上の場合は、第１混合比率セットで混合画像を生成する。ぼけ判定値が基準値未満の場合は、第１混合比率セットよりも合焦画像Ｐ１の混合比率が多く、非合焦画像Ｐ２の混合比率が少ない第２混合比率セットに基づいて混合画像を生成する。この第２混合比率セットでは、合焦画像Ｐ１に対してぼけの程度が少ない混合画像を生成することができる。これにより、静止画を動画風に表示しながら、ぼけの変化が少なくユーザーが見やすい静止画の再生を行うことができる。

第１実施形態の複合画像ファイル２８には、非合焦画像としての前ピン画像と、合焦画像とを用いて混合画像を生成しているが、前ピン画像と、後ピン画像と、合焦画像との３種類の画像を用いて混合画像を生成してもよい。

図７は、合焦画像Ｐ１と、前ピン及び後ピン画像Ｐ２，Ｐ３とを概念的に示す説明図であり、図７Ａに示す合焦画像Ｐ１は、奥行き方向に対して中間付近の被写体５１に焦点を合わせて得られたもの、図７Ｂに示す前ピン画像Ｐ２は、合焦画像Ｐ１よりも至近位置側の被写体５２に焦点を合わせて得られたもの、図７Ｃに示す後ピン画像Ｐ２は、合焦画像Ｐ１よりも無限遠位置側の被写体５３に焦点を合わせて得られたものである。

この変形例では、図８に示すように、メモリカード２７には、同一被写体に対して取得した合焦画像Ｐ１、前ピン画像Ｐ２、及び後ピン画像Ｐ３と、付加情報３１Ａとを１つにまとめた複合画像ファイル３１、あるいは第１実施形態と同様の通常画像ファイル２９が記憶されている。また、混合画像生成部１７は、合焦画像Ｐ１と前ピン画像Ｐ２とを混合して前ピン混合画像を、合焦画像Ｐ１と後ピン画像Ｐ３とを混合して後ピン混合画像をそれぞれ生成する。混合比率決定部１９は、第１実施形態と同様に、ぼけ判定部１８の判定結果に基づき、第１混合比率セット及び第２混合比率セットのうちいずれか一方を選択する。

図９Ａに示すように、第１混合比率セットは、合焦画像Ｐ１：前ピン画像Ｐ２の混合比率Ｋ１０：Ｋ２０が２５：７５、５０：５０、７５：２５という組み合わせと、合焦画像Ｐ１：後ピン画像Ｐ３の混合比率Ｋ１０：Ｋ３０が７５：２５、５０：５０、２５：７５という組み合わせを有する。この第１混合比率セットでは、前ピン画像Ｐ２の混合比率、及び後ピン画像Ｐ３の混合比率が０％〜１００％の範囲内で使用可能である。また、第１混合比率セットでは、第１実施形態と同様に、合焦画像Ｐ１：前ピンの非合焦画像Ｐ２の混合比率、及び合焦画像Ｐ１：後ピン画像Ｐ３の混合比率が均等に増減する組み合わせとなっており、この変形例では２５％ずつ増減している。

一方、図９Ｂに示すように、第２混合比率セットは、第１混合比率セットよりも合焦画像Ｐ１の混合比率が多く、かつ前ピン画像Ｐ２及び後ピン画像Ｐ３の混合比率が少ない。合焦画像Ｐ１：前ピン画像Ｐ２の混合比率Ｋ１０：Ｋ２０が、５０：５０、６３：３７、７５：２５、８８：１２という組み合わせと、合焦画像Ｐ１：後ピン画像Ｐ３の混合比率Ｋ１０：Ｋ３０が８８：１２、７５：２５、６３：３７、５０：５０という組み合わせがある。この第２混合比率セットでは、第１実施形態と同様に、合焦画像に対するぼけの状態を少なくするために、前ピン画像Ｐ２及び後ピン画像Ｐ３の混合比率を０％〜５０％の範囲内に規制している。また、第２混合比率セットでは、第１実施形態と同様に、合焦画像Ｐ１：非合焦画像Ｐ２の混合比率、及び合焦画像Ｐ１：後ピン画像Ｐ３が均等に増減する組み合わせとなっており、この変形例では１２％または１３％ずつ増減している。

ぼけ判定値ＨＳとして、合焦画像の焦点評価値Ｈ１に対する前ピン画像の焦点評価値Ｈ２の割合である前ピンのぼけ判定値ＨＳ１＝Ｈ２／Ｈ１と、合焦画像の焦点評価値Ｈ１に対する後ピン画像の焦点評価値Ｈ３の割合である後ピンのぼけ判定値ＨＳ２＝Ｈ３／Ｈ１とを使用する。ぼけ判定部１８は、ぼけ判定値ＨＳ１及びＨＳ２を予め設定された基準値ＨＫと比較し、ぼけ判定値ＨＳ１及びぼけ判定値ＨＳ２の両方が基準値ＨＫ以上であり、合焦画像に対する前ピン画像のぼけの程度、及び後ピン画像のぼけの程度がともに小さいという第１の判定結果と、ぼけ判定値ＨＳ１及びぼけ判定値ＨＳ２の少なくとも一方が基準値ＨＫ未満であり、合焦画像に対するぼけの程度が大きいという第２の判定結果の一方を出力する。混合比率決定部１９は、ぼけ判定部１８による判定で、第１の判定結果が出た場合に、第１混合比率セットを選択し、第２の判定結果が出た場合に、第２１混合比率セットを選択する。

混合画像生成部１７は、第１混合比率セットに基づいて、前ピンの混合画像（ＭＦ１，ＭＦ２，ＭＦ３）と、後ピンの混合画像（ＭＢ１，ＭＢ２，ＭＢ３）とを生成する。又は第２混合比率セットに基づいて、前ピンの混合画像（ＭＦ１，ＭＦ２，ＭＦ３，ＭＦ４）と、後ピンの混合画像（ＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４）とを生成する。混合画像生成部１７で生成された混合画像は、いったん表示メモリ１４に格納される。

表示制御部１５は、表示メモリ１４から読み出した複数の混合画像を順番に表示させる際に、合焦画像Ｐ１の混合比率が徐々に多くなる順方向に、複数の前ピン混合画像をモニタ２５に順次表示する。次に、合焦画像の混合比率が徐々に低くなる逆方向に、複数の後ピン混合画像をモニタに表示させる。

表示制御部１５は、第１混合比率セットに基づいて混合画像ＭＦ１，ＭＦ２，ＭＦ３，ＭＢ１，ＭＢ２，ＭＢ３が生成された場合は、これらとともに、合焦画像Ｐ１、前ピン画像Ｐ２、及び後ピン画像Ｐ３を表示に使用する。この場合に、合焦画像Ｐ１：前ピン画像Ｐ２の混合比率Ｋ１０：Ｋ２０が、１００：０及び０：１００の前ピン混合画像として、合焦画像Ｐ１及び前ピン画像Ｐ２がそれぞれ使用される。合焦画像Ｐ１：後ピン画像Ｐ３の混合比率Ｋ１０：Ｋ３０が、１００：０及び０：１００の後ピン混合画像として、合焦画像Ｐ１及び後ピン画像Ｐ３がそれぞれ使用される。これにより、表示制御部１５は、合焦画像の混合比率が０％、２５％、５０％、７５％、１００％となる前ピン混合画像を順方向に表示するとともに、合焦画像の混合比率が１００％、７５％、５０％、２５％、０％となる後ピン混合画像を逆方向に表示する。

表示制御部１５は、第２混合比率セットに基づいて混合画像ＭＦ１，ＭＦ２，ＭＦ３，ＭＦ４，ＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４が生成された場合は、これらとともに、合焦画像Ｐ１を表示に使用する。なお、前ピン画像Ｐ２、及び後ピン画像Ｐ３は表示に使用しない。この場合、合焦画像Ｐ１：前ピン画像Ｐ２の混合比率Ｋ１０：Ｋ２０が１００：０の混合画像として、又は合焦画像Ｐ１：後ピン画像Ｐ３の混合比率Ｋ１０：Ｋ３０が１００：０の混合画像として、合焦画像Ｐ１が使用される。これにより、表示制御部１５は、合焦画像の混合比率が５０％、６３％、７５％、８８％、１００％となる前ピン混合画像を順方向に表示するとともに、合焦画像の混合比率が１００％、８８％、７５％、６３％、５０％となる後ピン混合画像を逆方向に表示する。また、表示制御部１５は、第１実施形態と同様に、複数の混合画像を順次表示する際、先の表示が徐々に消えていくともに、次の表示が徐々に表れてくるフェード処理で画像表示を切り替える。

以上のように、合焦画像、及び合焦画像に対して至近位置側、無限遠位置側に焦点を合わせた前ピン及び後ピン画像から生成された前ピン及び後ピン混合画像を表示させているので、合焦位置が前後に移動する間隔をユーザーに与え、画像内における被写体の距離感を与えることが可能となるため、さらに臨場感のある表示を行うことができる。

なお、第１実施形態では、混合画像を表示させる場合に、全ての画像について、同じ時間で先の表示が徐々に消えていくともに、次の表示が徐々に表れてくるフェード処理を行っているが、合焦画像Ｐ１の表示時間を他の混合画像Ｍ１等よりも長く表示させるのがよい。この場合、図１０に示すように、画像表示を切り替えるときは、第１実施形態と同様に、先の表示が徐々に消えていくともに、次の表示が徐々に表れてくるフェード処理を行う。そして、合焦画像Ｐ１の表示濃度が１００％になったときは、この状態を維持し、合焦画像Ｐ１だけを所定時間表示するようにしてもよい。この合焦画像Ｐ１を表示する時間としては、例えば、フェード処理で表示が徐々に消えていく時間及び徐々に表れてくる時間を各１秒、合焦画像Ｐ１だけを表示する時間を３秒とすると、合焦画像Ｐ１は計５秒表示されるため、ユーザーが十分に観察することができる。

また、第１実施形態では、合焦画像及び非合焦画像に付加された付加情報に含まれるＡＦ評価値を高周波成分として、ぼけ判定値の算出に用いている。代わりに、図１１に示すように、静止画表示装置３５に高周波成分解析部３６を設け、複合画像ファイルの合焦画像及び非合焦画像を読み出したとき、高周波成分解析部３６が合焦画像及び非合焦画像の高周波成分を解析してもよい。この場合に、高周波成分解析部３６が解析した合焦画像及び非合焦画像の高周波成分から、ぼけ判定値算出部１８ａでぼけ判定値ＨＳを算出する。ぼけ判定部１８は、ぼけ判定値ＨＳと基準値ＨＫとを比較してぼけ判定を行う。

また、第１実施形態では、ＡＦ評価値を検出するＡＦ評価エリアを画像内の特定領域として、このＡＦ評価エリア内の高周波成分に基づくぼけ判定処理や、画像位置合わせ処理などを行っている。この他に、例えば、ＡＦ評価エリアに関係なく、画面の中央領域や、主要被写体の顔範囲を特定領域としてもよい。主要被写体の顔範囲を特定領域にする場合、図１１に示すように、静止画表示装置３５に顔検出部３７を設け、この顔検出部３７によって合焦画像Ｐ１から顔の範囲を検出する。そして、ぼけ判定値を算出する際には、高周波成分解析部３６は、顔検出部３７が検出した顔範囲から高周波成分を解析する。

静止画表示装置としては、例えば、静止画表示プログラムがインストールされたパーソナルコンピュータを用いることができる。また、第１実施形態では、静止画表示装置は、メモリカード２７を介して複合画像ファイル又は通常画像ファイルを取得しているが、例えば、ＵＳＢ（Universal Serial Bus）ケーブルなどを介して、デジタルカメラから直接画像ファイルを取得してもよい。

第１実施形態の静止画表示装置では、デジタルカメラ（撮像装置）により画像を取得し、この画像を記憶した画像ファイルをメモリカードまたはケーブルを介して取得しているが、第２実施形態ではデジタルカメラに静止画表示装置が組み込まれている。

図１２に示すように、デジタルカメラ１００は、ほぼ直方体状に形成されたカメラ本体１０１を有している。カメラ本体１０１の前面には、撮像光学系１０２を保持するレンズ鏡筒１０３と、被写体を照射するフラッシュ発光部１０４とが設けられている。カメラ本体１０１の上面には、撮像を指示するレリーズボタン１０５と、電源のＯＮ／ＯＦＦを切り替える電源ボタン１０６と、撮像光学系１０２をワイド側もしくはテレ側に変倍させるズーム操作を行うためのズームレバー１０７とが設けられている。

レリーズボタン１０５は、２段階押しのボタンであり、このレリーズボタン１０５が半押しされた時に、各種撮像準備処理が実行され、さらに押し込まれて全押しされた時に、撮像処理が実行される。

図１３に示すように、カメラ本体１０１の背面には、液晶ディスプレイ（表示部）１０８、モード選択ダイヤル１０９、メニューボタン１１０が設けられている。液晶ディスプレイ１０８は、撮像した画像の再生画像や、フレーミング中の観察画像いわゆるスルー画や、各種のメニュー画面などを表示する。デジタルカメラ１００は、静止画像を取得する静止画撮像モード、取得した各画像を液晶ディスプレイ１０８に再生表示する再生モードなどの複数の動作モードを有している。デジタルカメラ２の動作モードは、モード選択ダイヤル１０９の押下操作に応じて順次切り替えられる。メニューボタン１１０は、液晶ディスプレイ１０８に各種の設定メニューを表示させるものである。

デジタルカメラ１００では、撮像モード下では、通常画像ファイルをメモリカード１１１（図１４参照）に記憶する通常撮像モードと、静止画特殊表示に対応した複合画像ファイルをメモリカード１１１に記憶する特殊表示用撮像モードとのいずれかを選択可能である。この選択は、メニューボタン１１０を操作して液晶ディスプレイ１０８に設定メニューを表示させ、そのメニュー内にある通常撮像モード、及び特殊表示用撮像モードのいずれかを指定することで行われる。

また、液晶ディスプレイ１０８には、タッチパネル１１２（図１４参照）が重ねて設けられている。タッチパネル１１２は、その表面がカメラ本体１０１の背面とほぼ同一面となるように取り付けられている。タッチパネル１１２は、指や専用のペンなどで表面が押圧された際に、静電容量の変化などから位置を検出する。

このデジタルカメラ２では、液晶ディスプレイ１０８に表示されるアイコンや画像に合わせて、タッチパネル１１２の表面を指で押圧したり、押圧した状態のまま指を移動させたりすることにより、撮像機能の設定や、表示する画像の切り替えなどの入力操作を行うことができる。

図１４に示すように、デジタルカメラ１００のシステムコントローラ１１３は、レリーズボタン１０５、ズームレバー１０７、モード選択ダイヤル１０９、メニューボタン１１０、タッチパネル１１２を有する操作部からの制御信号に基づき、各種プログラムやデータを逐次実行して、デジタルカメラ１００の各部を統括的に制御する。

撮像光学系１０２には、変倍レンズ１１４、フォーカスレンズ１１５及び絞り１１６などが組み込まれている。変倍レンズ１１４は、変倍レンズ駆動機構１１７により駆動され、光軸Ｌに沿ってワイド端（広角端）とテレ端（望遠端）との間で前後移動される。これにより、撮像光学系１０２の像倍率が変化する。フォーカスレンズ１１５は、光軸Ｌに沿って無限遠に合焦する無限遠位置と至近に合焦する至近位置との間で移動可能である。ＡＦ（オートフォーカス）制御時には、フォーカスレンズ駆動機構１１８により駆動され、合焦位置にセットされる。絞り１１６は、絞り駆動機構１１９により駆動され、絞り値（Ｆ値）を変更する。これにより、撮像光学系を通過してＣＣＤ１２０に入射する光量が調節される。

撮像光学系１０２の背後には、撮像光学系１０２を通過した被写体光が結像される撮像面を持ち、この撮像面で受光した被写体光を光電変換するＣＣＤ１２０が配置されている。ＣＣＤ１２０は、タイミングジェネレータ（ＴＧ）１２１を介して、システムコントローラ１１３に接続されている。このＣＣＤは、撮像部の一例である。

撮像モードにおいては、システムコントローラ１１３は、ＴＧ１２１を制御してタイミング信号（クロックパルス）を発生させ、ＣＣＤ１２０は、ＴＧ１２１から入力されるタイミング信号（クロックパルス）によって駆動される。ＣＣＤ１２０は、ＴＧ１２１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。

ＣＣＤ１２０から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）１２２に入力され、ＣＣＤ１２０の各セルの蓄積電荷量に対応したＲ，Ｇ，Ｂの色信号として出力される。この色信号は、ＡＭＰ（増幅器）１２３で増幅され、Ａ／Ｄ変換器１２４によって、アナログ信号からデジタルな画像データに変換される。

画像入力コントローラ１２７は、バス１２６を介してシステムコントローラ１１３に接続されている。また、バス１２６には、ストレージ１２５が接続されており、このストレージ１２５としては、例えば、ＳＤＲＡＭが用いられる。システムコントローラ１１３は、画像入力コントローラ１２７を制御して、Ａ／Ｄ変換器１２４から出力された画像データをストレージ１２５に記憶させる。バス１２６には、画像入力コントローラ１２７及びストレージ１２５の他に、デジタル信号処理回路１２８、圧縮伸張処理回路１２９、液晶ドライバ１３０、メディアコントローラ１３１、ＡＥ検出回路１３２、ＡＦ検出回路１３３、ＹＣ変換処理回路１３４が接続されている。

デジタル信号処理回路１２８は、ストレージ１２５に記憶された画像データにアクセスして、階調変換、ホワイトバランス補正、γ補正処理等の各種画像処理を施す。また、ＹＣ変換処理回路１３４は、各種画像処理が施された画像データを輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換する。なお、スルー画を表示する場合には、撮像時よりも低解像度の画像データ（奇数フィールドと偶数フィールドの動画像データ）が、ストレージ１２５に記憶され、この低解像度の画像データに対して前述の信号処理が行われる。その後、システムコントローラ１１３の指示に従って、ストレージ１２５から低解像度の画像データが読み出される。この１フィールド分の読み出し中に、次の１フィールド分がストレージ１２５に書き込まれる。ストレージ１２５から読み出された画像データは、液晶ドライバ１３０を介して、スルー画として液晶ディスプレイ１０８に表示される。

ＡＦ検出回路１３３は、画像データの高周波成分を抽出し、この高周波成分を積算する積算回路である。このＡＦ検出回路１３３は、レリーズボタン１０５が半押しされたときに、フォーカスレンズ１１５を光軸方向に移動しながら、ストレージ１２５に記憶される画像データ中から、高周波成分の積算値であるＡＦ評価値を演算して、このＡＦ評価値をシステムコントローラ１１３に出力する。また、スルー画の表示中も、ＡＦ制御のために、ＡＦ検出回路１３３が所定時間例えば１秒ごとにＡＦ評価値を算出する。

システムコントローラ１１３は、ＡＦ検出回路１３３とともに合焦位置検出部を構成する。システムコントローラ１１３は、フォーカスレンズ駆動機構１１８を制御してフォーカスレンズ１１５を移動させるとともに、フォーカスレンズ１１５の各位置のＡＦ評価値を逐次取得し、このＡＦ評価値が最大（ピーク）となる位置を判定する判定部として機能する。すなわち、システムコントローラ１１３は、フォーカスレンズ１１５の移動中に、ＡＦ検出回路１３３からＡＦ評価値を逐次取得し、ＡＦ評価値が最大（ピーク）となるフォーカスレンズ１１５の位置を合焦位置と判定し、この合焦位置にフォーカスレンズ１１５をセットする。また、システムコントローラ１１３は、フォーカスレンズ駆動機構を構成するパルスモータのパルス数をカウントしたパルス数によって、フォーカスレンズ１１５の位置を検出する。例えば、フォーカスレンズ１１５を至近位置側に向けて移動させる時にはパルス数を加算し、無限遠位置側に向けて移動させる時にはパルス数を減算する。

デジタルカメラ１００では、特殊表示用撮像モードが選択されている場合、同一被写体に対して合焦位置、及び前ピン及び後ピンの非合焦位置で撮像を行うため、システムコントローラ１１３は、上述したようにＡＦ評価値が最大となる合焦位置にフォーカスレンズ１１５を移動させて撮像処理を実行させた後、パルス数をカウントながら、フォーカスレンズ１１５を、合焦位置から至近位置側に所定間隔を置いた前ピンの非合焦位置、及び無限遠位置側に所定間隔を置いた後ピンの非合焦位置に移動させて撮像処理をそれぞれ実行させる。

なお、ＡＦ検出回路１３３がＡＦ評価値を算出する領域は、画像の全画面範囲でも良いし、自動的に指定される特定領域でも良い。更には、撮影者によりマニュアル指定された領域でもよい。なお、ＡＦ評価値を算出するＡＦ評価エリアを特定領域とした場合に、合焦画像及び非合焦位置内の同じＡＦ評価エリアからＡＦ評価値を算出する。

デジタルカメラ１００のユーザーによってＡＦ評価値の算出領域を指定する場合は、例えば撮像モード下でスルー画が表示されているときに、ユーザーがタッチパネルの任意の位置をタッチすると、ユーザーが接触した位置を含む一定範囲が特定領域として指定される。

ＡＥ検出回路１３２は、レリーズボタン１０５が半押しされた時に、ストレージ１２５に記憶された画像データに基づいて、被写体輝度を測光する測光回路、及び被写体輝度に応じて露出値が最適となるＡＥ評価値を検出する検出回路などを有し、ＡＥ評価値をシステムコントローラ１１３に出力する。システムコントローラ１１３は、ＡＥ評価値に基づいて露出値（絞り１１６の絞り値、ＣＣＤ１２０の電子シャッタ速度）を設定する。

なお、デジタルカメラ１００では、特殊表示用撮像モードが選択されている場合に、システムコントローラ１１３は、非合焦位置で適正なぼけを得るために、絞り値を一定の基準絞り値ＦＫ以下にする制御を行う。この基準絞り値ＦＫは、撮像光学系の被写界深度を狭くする値である。本実施形態では、システムコントローラ１１３は、ＡＥ評価値に基づく絞り値ＦＳと基準絞り値ＦＫとを比較して、絞り値ＦＳが基準絞り値ＦＫ未満の場合に、ＡＥ評価値に基づく絞り値ＦＳ及び電子シャッタ速度をそのまま使用する。絞り値ＦＳが基準絞り値ＦＫよりも大きい場合は、基準絞り値ＦＫを絞り値として再設定するとともに、絞り値が小さくなった分、電子シャッタ速度を速い値に再設定する。

システムコントローラ１１３は、ズームレバー１０７がズーム操作されたときに、変倍レンズ駆動機構１１７を制御して、変倍レンズ１１４をテレ端側あるいはワイド端側に移動させる。システムコントローラ１１３は、変倍レンズ１１４のズーム位置を検出するズーム位置検出部として機能し、変倍レンズ駆動機構１１７を構成するパルスモータの駆動パルス数をカウントすることによってズーム位置を検出する。例えば、変倍レンズ１１４をテレ端に向けて移動させる時にはパルス数を加算し、ワイド端側に向けて移動させる時にはパルス数を減算する。

撮像モードでは、レリーズボタン１０５が、半押しされて１段目のスイッチがＯＮにされると、上述したＡＥ制御及びＡＦ制御等の撮像準備動作が行われる。また、撮像モードでは、通常撮像モード及び特殊表示用撮像モードのどちらかが選択されている。もし、特殊表示用撮像モードが選択されている場合に、レリーズボタン１０５が半押しされた状態から全押しされると、先ずＡＦ制御によりフォーカスレンズ１１５が合焦位置にセットされている状態で、かつＡＥ制御によって設定された露出値でＣＣＤ１２０が被写体を撮像して合焦画像を取得する。次に、フォーカスレンズ１１５が前ピンの非合焦位置に移動し、合焦画像と同じ露出値でＣＣＤ１２０が前ピン画像を取得する。さらに、フォーカスレンズ１１５が後ピンの非合焦位置に移動し、合焦画像と同じ露出値で後ピン画像を取得する。これらの合焦画像、前ピン画像、後ピン画像は、静止画のフレーム画像であるから、フィールド画のスルー画よりも高解像度である。

ストレージ１２５には、合焦画像Ｐ１、前ピン画像Ｐ２、及び後ピン画像Ｐ３が記憶される。これら画像Ｐ１，Ｐ２，Ｐ３に対して前述の信号処理が施されてから、圧縮伸張処理回路１２９によって所定の圧縮形式（例えば、ＪＰＥＧ形式）で圧縮される。圧縮処理後に、画像Ｐ１，Ｐ２，Ｐ３は、１つの複合画像ファイルにまとめられ、メディアコントローラ１３１を介してメモリカード１１１に記憶される。

また、システムコントローラ１１３はメモリカード１１１に複合画像ファイルを記憶する際に、ＡＦ評価値と、ＡＦ評価エリア、露出値、ズーム位置などを付加情報として付加する。

また、再生モード時には、メディアコントローラ１３１を介して画像ファイルがメモリカード１１１から一旦ストレージ１２５に読み出される。次に、圧縮伸張処理回路１２９によって伸張処理が施された後、液晶ドライバ１３０に出力され、ＬＣＤパネル２５に再生表示される。

また、システムコントローラ１１３には、バス１２６を介して表示メモリ１３５、表示制御部１３６などが接続されている。これら表示メモリ１３５及び表示制御部１３６は、第１実施形態で説明した表示メモリ１４及び表示制御部１５と同様に機能するため、説明を省略する。

再生モードが選択されると、図示しないメモリに格納された静止画表示プログラムが起動する。システムコントローラ１１３は、画像読出部１３７、混合画像生成部１３８、ぼけ判定部１３９、ぼけ判定値算出部１３９ａ、混合比率決定部１４０、画像位置合わせ部１４１として機能する。これらは、第１実施形態で説明した画像読出部１６、混合画像生成部１７、ぼけ判定部１８、ぼけ判定値算出部１８ａ、混合比率決定部１９、画像位置合わせ部２０と同様に機能するため、説明を省略する。

次に、図１５に示すフローチャートを用いて、デジタルカメラ１００の撮像処理について説明をする。デジタルカメラ１００の電源がＯＮにされ、撮像モードが選択されると（Ｓ１）、液晶ディスプレイ１０８にはスルー画が表示され、システムコントローラ１１３は、特殊表示用撮像モードが選択されているか否かを確認してから、撮像待機状態となる（Ｓ２のＹＥＳ）。

特殊表示用撮像モードが選択されていない場合は（Ｓ２のＮＯ）、通常撮像モードである（Ｓ３）。この通常撮像モード下では、一般的な静止画撮影と同様に、通常画像ファイルがメモリカード１１１に記憶される（Ｓ４）。また、このとき、付加情報として静止画特殊表示オフの情報も記憶される。

特殊表示用撮像モードが選択されている場合に、システムコントローラ１１３は、レリーズボタン１０５が半押しされているか否かを判定する（Ｓ５）。もし、半押しされていないと判定された場合、レリーズボタン１０５が半押しされるまで撮像待機状態を続行する。この撮像待機状態では、ＣＣＤ１２０がスルー画を撮像し、液晶ディスプレイ１０８に表示する。また、このスルー画の表示中には、ＡＦ検出回路１３３が所定時間毎にＡＦ制御をする。

レリーズボタン１０５が半押しされた場合（Ｓ５のＹＥＳ）、システムコントローラ１１３は、撮像準備動作を行う。この撮像準備動作では、システムコントローラ１１３は、先ずＡＥ検出回路１３２を制御して被写体輝度の測光処理する（Ｓ６）。この測光処理は、ストレージ１２５に記憶された画像データに基づいてＡＥ評価値を算出し、これをシステムコントローラ１１３に出力する。システムコントローラ１１３は、このＡＥ評価値に基づいて露出値を算出し、絞り１１６の絞り値ＦＳ、及びＣＣＤ１２０の電子シャッタ速度を決定する（Ｓ７）。

絞り１１６の絞り値及びＣＣＤ１２０の電子シャッタ速度の決定後に、システムコントローラ１１３は、絞り値ＦＳと基準絞り値ＦＫとを比較する（Ｓ８）。そして絞り値ＦＳが基準絞り値ＦＫ未満の場合は（Ｓ８のＮＯ）、絞り値ＦＳ及び電子シャッタ速度をそのまま使用する。絞り値ＦＳが基準絞り値ＦＫよりも大きい場合は（Ｓ８のＹＥＳ）、基準絞り値ＦＫを絞り値として再設定し、かつ電子シャッタ速度を速い値に再設定する（Ｓ９）。

絞り１１６の絞り値、及びＣＣＤ１２０の電子シャッタ速度が設定されると、この露出設定のもとで、ＣＣＤ１２０によって撮像が行われて、ストレージ１２５に画像データが取り込まれる。この時、システムコントローラ１１３は、フォーカスレンズ駆動機構１１８を制御してフォーカスレンズ１１５を無限遠位置と至近位置との間で移動させながら、ＡＦ検出回路１３３を制御してＡＦ処理を実行させる。ＡＦ検出回路１３３は、ストレージ１２５に入力される画像データに基づいて、ＡＦ評価値をフォーカスレンズ１１５の位置毎に算出し、このＡＦ評価値をシステムコントローラ１１３に逐次出力する。システムコントローラ１１３は、ＡＦ検出回路１３３からＡＦ評価値を逐次取得するとともに、このＡＦ評価値が最大（ピーク）となる合焦位置を検出する（Ｓ１０）。

その後、システムコントローラ１１３は、レリーズボタン１０５が全押しされたか否かを判定する（Ｓ１１）。全押しされていないと判定された場合、全押しされるまで待機状態となる。また、レリーズボタン１０５が全押しされた場合（Ｓ１１のＹＥＳ）、システムコントローラ１１３は、フォーカスレンズ１１５が合焦位置にある状態で、ＡＥ制御によって設定された露出値でＣＣＤ１２０が被写体光を撮像して合焦画像Ｐ１を取得する。また、合焦画像Ｐ１を取得したときのＡＦ評価値及びＡＦ評価エリアがストレージ１２５にいったん格納される（Ｓ１２）。

合焦画像Ｐ１、ＡＦ評価値及びＡＦ評価エリアが、ストレージ１２５に格納された後、システムコントローラ１１３は、至近位置側にフォーカスレンズ１１５を移動させながら、パルス数をカウントして、前ピンの非合焦位置にフォーカスレンズ１１５を移動させる（Ｓ１３）。そして、システムコントローラ１１３は、フォーカスレンズ１１５が前ピンの非合焦位置にあり、かつ合焦位置と同じ露出値でＣＣＤ１２０が被写体を撮像して前ピン画像Ｐ２を取得する。この前ピン画像Ｐ２を取得したときのＡＦ評価値がストレージ１２５に格納される（Ｓ１４）。

前ピン画像の撮影後に、システムコントローラ１１３は、無限遠位置側にフォーカスレンズ１１５を移動させながら、パルス数をカウントして、後ピンの非合焦位置にフォーカスレンズ１１５を移動させる（Ｓ１５）。そして、システムコントローラ１１３は、フォーカスレンズ１１５が後ピンの非合焦位置にあり、かつ合焦位置と同じ露出値で、ＣＣＤ１２０により後ピン画像Ｐ３を撮像する。この後ピン画像Ｐ３を取得したときのＡＦ評価値は、ストレージ１２５にいったん格納される（Ｓ１６）。その後、システムコントローラ１１３は、デジタル信号処理回路１２８を制御して、ストレージ１２５に記憶された合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３に対して各種信号処理を施すとともに、圧縮伸張処理回路１２９を制御して、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３に対して圧縮処理を施す。

システムコントローラ１１３は、メディアコントローラ１３１を制御することによって、圧縮処理が施された合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３、これらを取得したときのＡＦ評価値Ｈ１，Ｈ２，Ｈ３、及びＡＦ評価エリアを含む付加情報が、１つの複合画像ファイルにまとめてメモリカード１１１に書き込まれる（Ｓ１７）。また、このとき、付加情報として静止画特殊表示オンの情報も記憶される。

デジタルカメラ１００は、再生モードが選択された場合に、メモリカード１１１に記憶された複合画像ファイルを読み出して合焦画像及び非合焦画像を混合して複数の混合画像を生成して順次表示する静止画特殊表示、または通常画像ファイルを読み出して１つの合焦画像のみを表示する通常表示を選択的に行う。デジタルカメラ１００が再生モード下で画像表示を行うときは、第１実施形態のフローチャートに沿った処理手順と同様に行われる。

以上のように、デジタルカメラ１００では、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３、及びこれらを取得したときのＡＦ評価値、及びＡＦ評価エリア、静止画特殊表示オンを付加情報とする複合画像ファイルを生成している。この複合画像ファイルを用いて、デジタルカメラ１００の液晶ディスプレイ１０８で静止画特殊表示を行うことができる。また、メモリカード１１１を介して、デジタルカメラ１００とは別体の静止画表示装置１０（図１参照）で静止画特殊表示を行うこともできる。

静止画特殊表示に対応していない静止画表示装置の場合には、メモリカード１１１には合焦画像も記憶しているので、これを読み出すことで、通常の静止画表示を行うことができる。

また、デジタルカメラ１００では、露出調節を行う際に、絞り値を基準絞り値以下とする制御を行っているため、前ピン及び後ピン画像Ｐ２，Ｐ３を合焦画像Ｐ１に対して適度なぼけ状態にすることが可能となる。これにより、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３から前ピン混合画像、後ピン混合画像を生成する際、ぼけの変化量を小さくして違和感のない混合画像を得ることができるため、ユーザーが見やすい静止画特殊表示を行うことができる。また、ぼけ判定値は、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３内の同じ特定領域から抽出されたＡＦ評価値に基づいて算出されているため、精度良くぼけ判定を行うことができる。

なお、第２実施形態では、露出調節を行う際に、絞り値を常に一定の基準絞り値ＦＫ以下とする制御を行っているが、例えば、フォーカスレンズ１１５の位置を検出し、このフォーカスレンズ位置に応じて基準絞り値ＦＫを変化させてもよい。また、変倍レンズ１１４の位置を検出して、撮像光学系１０２の像倍率に応じて基準絞り値ＦＫを変化させてもよい。更に、合焦位置から非合焦位置にフォーカスレンズ１１５を移動する間隔についても一定間隔ではなく、撮像光学系１０２の像倍率に応じて変化させるようにしてもよい。

また、第２実施形態では、複合画像ファイルをメモリカード１１１に書き込む際に、付加情報として合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３、これらを取得したときのＡＦ評価値Ｈ１，Ｈ２，Ｈ３を保存している。この代わりに、ぼけ判定値Ｈ２／Ｈ１，Ｈ３／Ｈ１を予め算出し、ぼけ判定値を付加情報として記憶してもよい。この場合は、静止画特殊表示を行う際に、ぼけ判定値の算出が不要になり、ぼけ判定までの処理を短縮することができる。

また、第２実施形態の特殊表示用撮像モード下では、合焦画像Ｐ１と、前ピン及び後ピン画像Ｐ２，Ｐ３と、付加情報とを１つの複合画像ファイルにまとめてメモリカード１１１に記憶しているが、第１実施形態のように、合焦画像Ｐ１と、前ピン画像と後ピン画像の一方と、付加情報とを１つの複合画像ファイルにまとめてメモリカード１１１に記憶してもよい。

第２実施形態では、合焦画像Ｐ１と、前ピン及び後ピン画像Ｐ２，Ｐ３は、画面全体を圧縮処理してメモリカード１１１に記憶している。静止画特殊表示を行うときは、これら圧縮した合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３を伸張処理して混合画像を生成している。この代わりに、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３内の特定領域を非圧縮画像として記憶し、この非圧縮画像で特定領域を置き換えた画像から混合画像を生成してもよい。

図１６に示すように、第３実施形態のデジタルカメラ１５０では、システムコントローラ１５１が画像切抜き部１５２として機能する。また、このシステムコントローラ１５１は、第２実施形態のシステムコントローラ１１３と同様に、デジタルカメラ１５０の各部を統括的に制御するとともに、静止画表示プログラムが起動すると、画像読出部１３７、混合画像生成部１３８、ぼけ判定部１３９、ぼけ判定値算出部１３９ａ、混合比率決定部１４０、画像位置合わせ部１４１として機能する。なお、上記第２実施形態のデジタルカメラ１００と同じものには、同じ同符号を付してその説明を省略する。

システムコントローラ１５１は、高解像度の合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３を取得したとき、圧縮処理をしない状態（非圧縮状態）のまま、画像切抜き部１５２を制御して非圧縮状態の合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３の特定領域を切り抜きコピーする。なお、この場合、合焦画像Ｐ１と前ピン及び後ピンＰ２，Ｐ３とは、同じ特定領域の位置が切り抜きコピーされる。本実施形態では、特定領域として、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３を取得した際のＡＦ評価エリアを使用する。

システムコントローラ１５１は、コピーした非圧縮状態の合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３の特定領域を非圧縮画像としてストレージ１２５に格納させる。画像切抜き部１５２による切抜きコピーが終了すると、圧縮伸張処理回路１２９を制御して合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３が所定の形式で圧縮処理される。

図１７に示すように、システムコントローラ１５１は、メディアコントローラ１３１を制御することによって、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３の圧縮画像と、これらの非圧縮画像Ｎ１，Ｎ２，Ｎ３と、これらを取得したときの付加情報１５３Ａを１つの複合画像ファイル１５３としてメモリカード１１１に記憶させる。このとき、システムコントローラ１５１は、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３を取得したときのＡＦ評価エリアを特定領域の位置情報として付加情報に含めてメモリカード１１１に記憶させる。

システムコントローラ１５１は、メモリカード１１１から複合画像ファイル１５３を読み出す場合に、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３の圧縮画像を読み出し、伸張処理するとともに、非圧縮画像Ｎ１，Ｎ２，Ｎ３、及び特定領域の位置情報としてのＡＦ評価エリアの情報を読み出す。

図１８Ａ〜図１８Ｃに示すように、システムコントローラ１５１は、特定領域ＳＡの位置情報に基づき、伸張処理した合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３のフレーム中の特定領域ＳＡを、非圧縮画像Ｎ１，Ｎ２，Ｎ３で置き換える。そして、システムコントローラ１５１は、これらの特定領域を非圧縮画像Ｎ１，Ｎ２，Ｎ３で置き換えた合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３を、ぼけ判定、混合画像の生成、画像位置合わせ、及び静止画特殊表示に用いる。

図１９に示すフローチャートを参照して、デジタルカメラ１５０の撮像処理について説明する。なお、撮像モード開始（Ｓ１）から、特殊表示用撮像モード（Ｓ２）で撮像を行い、合焦画像Ｐ１、前ピン画像Ｐ２、後ピン画像Ｐ３を取得するまで（Ｓ５〜Ｓ７）、及び通常撮像モード（Ｓ３，Ｓ４）は、第２実施形態のデジタルカメラ１００と同じ処理手順のため説明を省略する。

後ピン画像Ｐ３を取得後（Ｓ７）、システムコントローラ１５１は、ストレージ１２５に記憶された合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３に対して各種信号処理を施す。この後で、システムコントローラ１５１は画像切抜き部１５２を制御して、非圧縮状態の合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３のＡＦ評価エリアを部分コピーして非圧縮画像としてストレージ１２５に保存する（Ｓ８）。

部分コピーの後、システムコントローラ１５１は、圧縮伸張処理回路１２９を制御して、合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３に対して圧縮処理を施す。圧縮処理後に、システムコントローラ１５１は、メディアコントローラ１３１を制御することによって、圧縮処理が施された１フレーム分の合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３と、これらの非圧縮画像Ｎ１，Ｎ２，Ｎ３と、これらを取得したときのＡＦ評価エリアを含む付加情報を１つの複合画像ファイル１５３としてメモリカード１１１に記憶させる。また、このとき、付加情報として静止画特殊表示オンの情報も記憶する。

図２０に示すフローチャートを用いて、画像表示について説明する。モード選択ダイヤル１０９で画像表示操作を行ない、再生モードを選択する（Ｓ１）。システムコントローラ１５１は、画像読出部１６に対して読出しを指示する。画像読出部１６は、メモリカード１１１から最初の複合画像ファイル１５３または通常画像ファイル２９を読み出す（Ｓ２）。

次いでシステムコントローラ１５１は、付加情報から静止画特殊表示オン／オフの情報を読み出す（Ｓ３）。静止画特殊表示オンが記憶されている場合は（Ｓ４のＹＥＳ）、静止画特殊表示を行うため、複合画像ファイル２８から合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３の読み出し及び伸張処理を行う（Ｓ５）。なお、静止画特殊表示オフが記憶されている場合（Ｓ４のＮＯ）は、第１実施形態と同様に通常表示が行われる（Ｓ６，Ｓ７）。

合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３の読み出し及び伸張処理後に（Ｓ５）、システムコントローラ１５１は、非圧縮画像Ｎ１，Ｎ２，Ｎ３の読出しと（Ｓ８）、特定領域の位置情報としてのＡＦ評価エリアの情報の読出しをする（Ｓ９）。システムコントローラ１５１は、位置情報に基づき、伸張処理した合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２、Ｐ３のフレーム内での特定領域を、非圧縮画像Ｎ１，Ｎ２，Ｎ３で置き換える（Ｓ１０）。以降は、第１実施形態と同様にぼけ判定を行い、混合画像を生成して（Ｓ１１）、静止画特殊表示を行う（Ｓ１２）。

以上のように合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３の特定領域が、非圧縮画像で置き換えられているため、特定領域内では圧縮処理により圧縮歪などの劣化が無い。これらから生成された混合画像についても劣化がなく、高精度な混合画像を得ることができる。また、混合画像生成処理の前に画像位置合わせ処理を行う際に、劣化の少ない非圧縮画像で置き換えられた特定領域から特徴点を抽出することができるため、画像位置合わせの精度も向上する。さらにまた、精度の高い位置合わせを行った合焦画像Ｐ１、前ピン及び後ピン画像Ｐ２，Ｐ３から混合画像が生成されるため、静止画特殊表示で混合画像を順次表示させる際、画素単位でのちらつきを抑制し、混合画像がスムーズに変化してユーザーにとって見やすい表示になる。

また、第２及び第３実施形態では、ＡＦ評価値を検出するＡＦ評価エリアを画像内の特定領域とし、このＡＦ評価エリア内の高周波成分に基づくぼけ判定処理や、画像位置合わせ処理、非圧縮画像の置き換えなどを行っているが、本発明はこれに限るものではない。例えば、ＡＦ評価エリアに関係なく、画面の中央領域でもよく、主要な写体の顔範囲でもよい。主要被写体の顔範囲を特定領域にする場合は、図２１に示すように、デジタルカメラ１６０に顔検出部１６１が設けられる。この顔検出部１６１により、合焦画像から検出した顔範囲を特定領域とし、上述したぼけ判定処理、画像位置合わせ処理、高周波成分の解析、非圧縮画像の置き換えに使用する。

上記実施例では、混合比率セットは２種類であるが、ぼけ程度のランクを３段階以上にする場合には、混合比率セットを３種類以上にしてもよい。

各実施形態では、ＰＣ、デジタルカメラを静止画表示装置として説明しているが、本発明はこれに限らず、携帯電話、スマートフォンなどに適用することもできる。また、第２及び第３実施形態では、デジタルカメラに静止画表示装置が組み込まれているが、デジタルカメラを撮像装置と静止画表示装置とに分離独立させて、静止画表示システムとしてもよい。

１０ 静止画表示装置
１６，１３７ 画像読出部
１７，１３８ 混合画像生成部
１８，１３９ ぼけ判定部
１８ａ，１３９ａ ぼけ判定値算出部
１９，１４０ 混合比率決定部
２０，１４１ 画像位置合わせ部
１００ デジタルカメラ
Ｐ１ 合焦画像
Ｐ２ 前ピン画像
Ｐ３ 後ピン画像

Claims (6)

1. 同一被写体を撮像して得られた合焦画像及び非合焦画像に基づいて、表示部に順次表示させるための複数枚の混合画像の生成をコントローラに実行させる画像処理プログラムにおいて、
   前記合焦画像及び前記非合焦画像に含まれる高周波成分に基づくぼけ判定値を算出するぼけ判定値算出ステップと、
   前記ぼけ判定値と所定の基準値と比較して、前記合焦画像に対する前記非合焦画像のぼけの程度を判定するぼけ判定ステップと、
   前記ぼけ判定ステップでの判定結果に応じて、前記合焦画像と前記非合焦画像とを混合させるための混合比率が変化した複数種類の混合比率セットから１つの混合比率セットを選択する際、前記合焦画像に対する前記非合焦画像のぼけの程度が大きい程、前記非合焦画像の混合比率が少ない混合比率セットを選択する混合比率決定ステップと、
   前記合焦画像と前記非合焦画像とに基づき、選択された混合比率セットに基づいて、複数枚の混合画像を生成する混合画像生成ステップと、
   を前記コントローラに実行させる画像処理プログラム。
2. 前記合焦画像及び前記非合焦画像から前記高周波成分を解析する高周波成分解析ステップを前記コントローラに実行させる請求項１に記載の画像処理プログラム。
3. 前記高周波成分は、前記合焦画像及び前記非合焦画像に予め付加されている請求項１に記載の画像処理プログラム。
4. 前記合焦画像に対する前記非合焦画像の位置合わせ処理を行う位置合わせステップを前記コントローラに実行させ、
   前記混合画像生成ステップでは、前記位置合わせステップにより位置合わせ処理を行った前記非合焦画像を使用する請求項１ないし３いずれか１項に記載の画像処理プログラム。
5. 同一被写体を撮像して得られた合焦画像及び非合焦画像に基づいて、表示部に順次表示させるための複数枚の混合画像を生成する画像処理装置において、
   前記合焦画像及び前記非合焦画像に含まれる高周波成分に基づくぼけ判定値を算出するぼけ判定値算出部と、
   前記ぼけ判定値と所定の基準値と比較して、前記合焦画像に対する前記非合焦画像のぼけの程度を判定するぼけ判定部と、
   前記ぼけ判定部での判定結果に応じて、前記合焦画像と前記非合焦画像とを混合させるための混合比率が変化した複数種類の混合比率セットから１つの混合比率セットを選択する際、前記合焦画像に対する前記非合焦画像のぼけの程度が大きい程、前記非合焦画像の混合比率が少ない混合比率セットを選択する混合比率決定部と、
   前記合焦画像と前記非合焦画像とに基づき、選択された混合比率セットに基づいて、複数枚の混合画像を生成する混合画像生成部と、
   を備える画像処理装置。
6. 同一被写体を撮像して得られた合焦画像及び非合焦画像に基づいて、表示部に順次表示させるための複数枚の混合画像を生成する画像処理方法において、
   前記合焦画像及び前記非合焦画像に含まれる高周波成分に基づくぼけ判定値を算出するぼけ判定値算出ステップと、
   前記ぼけ判定値と所定の基準値と比較して、前記合焦画像に対する前記非合焦画像のぼけの程度を判定するぼけ判定ステップと、
   前記ぼけ判定ステップでの判定結果に応じて、前記合焦画像と前記非合焦画像とを混合させるための混合比率が変化した複数種類の混合比率セットから１つの混合比率セットを選択する際、前記合焦画像に対する前記非合焦画像のぼけの程度が大きい程、前記非合焦画像の混合比率が少ない混合比率セットを選択する混合比率決定ステップと、
   前記合焦画像と前記非合焦画像とに基づき、選択された混合比率セットに基づいて、複数枚の混合画像を生成する混合画像生成ステップと、
   を備える画像処理方法。

Images