JP2019054461A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】フレーミングと被写界深度の拡大効果の確認を両立させるようにした撮像装置および撮像方法を提供する。【解決手段】、撮影条件の情報を取得し（Ｓ３）、この撮影条件の情報に基づいて、表示用画像と表示用合成画像のいずれかの画像を表示する表示画像にするかを決定し（Ｓ５）、この決定の結果、表示用画像を表示する場合には、被写体を撮像して画像を取得し、取得した画像から表示用画像を生成し（Ｓ１７）、一方、上述の決定の結果、表示用合成画像を表示する場合には、合焦位置を設定し、この設定した複数の異なる合焦位置のそれぞれで、取得した複数の合成用画像から表示用画像よりも被写界深度の深い表示用合成画像を生成し（Ｓ１１）、決定された表示画像を表示部に表示する。【選択図】 図２

Description

本発明は、フォーカス位置を変更しながら、複数の画像データを取得し、この複数の画像データを合成する撮像装置、撮像方法、およびプログラムに関する。

全焦点位置においてピントの合った写真を撮影することは困難である。そこで、撮影によって画像データを取得した後に、焦点位置を移動させて再度撮影を行って画像データを取得し、これを繰り返すことにより、複数の画像データを取得することができる。そして、この複数の画像データを合成することにより、広範囲の被写体距離についてピントの合った画像データを表示することが提案されている（例えば、特許文献１参照）。なお、この合成処理を、深度合成処理と称する。

特開２００１−２９８７５５号公報

上述の特許文献１において提案されている技術を用いることにより、被写界深度がどのくらい深くなっているかを確認することができる。しかし、深度合成処理に限らず、複数の画像を合成する場合には処理時間が長くなってしまうので、ライブビュー表示時に合成画像を表示しようとすると、更新間隔が長くなってしまい、フレーミング（構図設定）が困難になってしまう。深度合成処理された画像を表示できれば、ユーザは深度合成モードを設定することにより、ピントの合っている範囲を確認することができて、便利であるが、更新間隔が長くなると、フレーミングの変化に応じて観察用画像が追従できず使いにくくなってしまう。

本発明は、このような事情を鑑みてなされたものであり、フレーミングと被写界深度の拡大効果の確認を両立させるようにした撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像して画像を取得する撮像部と、上記撮像部で取得した画像から表示用画像を生成する画像生成部と、合焦位置を設定する合焦位置設定部と、上記合焦位置設定部で設定した複数の異なる合焦位置のそれぞれで、上記撮像部で取得した複数の合成用画像から上記表示用画像よりも被写界深度の深い表示用合成画像を生成する合成画像生成部と、撮影条件の情報を取得する撮影情報取得部と、上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部と、上記表示画像決定部で決定された表示画像を表示する表示部と、を具備し、上記表示画像決定部は、上記撮影情報取得部で取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、上記表示部に表示する上記表示画像を決定する。

第２の発明に係る撮像装置は、上記第１の発明において、上記表示画像決定部は、上記撮影情報取得部で取得した情報の、過去と現在の情報の変化量と閾値を比較して、上記表示部に表示する画像を決定する。
第３の発明に係る撮像装置は、上記第２の発明において、上記表示画像決定部は、撮影時の撮影倍率に応じて上記閾値を変える。
第４の発明に係る撮像装置は、上記第３の発明において、上記表示画像決定部は、上記情報の変化量が上記閾値を超えた情報の種類に応じて、上記表示画像を上記表示用画像から上記表示用合成画像に切り替えるタイミングを変える。

第５の発明に係る撮像装置は、上記第３の発明において、上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合成画像生成部が、上記合成用画像のうち少なくとも２枚の合成が完了していれば、合成途中の合成画像を上記表示画像に決定し、上記表示部で表示した後、上記表示用画像を上記表示画像に決定し、上記表示部で表示するように切り替える。

第６の発明に係る撮像装置は、上記第５の発明において、上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合成画像生成部が、上記合成用画像のうち合焦位置設定部で設定する両端の焦点位置の合成が完了していれば、合成途中の合成画像を上記表示画像に決定し、上記表示部で表示した後、上記表示用画像を上記表示画像に決定し、上記表示部で表示するように切り替える。
第７の発明に係る撮像装置は、上記第６の発明において、上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合焦位置設定部で設定する両端の焦点位置の相違量に応じて、上記表示用合成画像の生成に使用する画像枚数を決定する。

第８の発明に係る撮像装置は、上記第１の発明において、上記表示部に表示するフレームレートを制御するフレームレート制御部をさらに有し、上記フレームレート制御部は、撮影時の撮影倍率に応じて、上記表示用合成画像の最低フレームレートを変える。
第９の発明に係る撮像装置は、上記第８の発明において、上記フレームレート制御部は、上記撮影情報の変化がなければ、上記表示部に表示するフレームレートを上記最低フレームレートを限界値として、段階的に低下させる。
第１０の発明に係る撮像装置は、上記第９の発明において、上記表示部に表示するフレームレートの低下に伴い、上記合成画像生成部で合成する合成枚数を増やす。

第１１の発明に係る撮像装置は、被写体を撮像して画像を取得する撮像部と、上記撮像部で取得した画像から表示用画像を生成する画像生成部と、複数の焦点位置を設定する焦点位置設定部と、上記焦点位置設定部で設定した複数の異なる焦点位置のそれぞれで、上記撮像部で取得した複数の合成用画像を用いて、表示用合成画像を生成する合成画像生成部と、撮影条件の情報を取得する撮影情報取得部と、上記撮影情報取得部で取得した上記撮影条件に基づいて、上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部と、上記表示画像決定部で決定された表示画像を表示する表示部と、を具備する。

第１２の発明に係る撮像方法は、被写体を撮像して画像を取得し、取得した上記画像から表示用画像を生成し、合焦位置を設定し、上記設定した複数の異なる合焦位置のそれぞれで、取得した複数の合成用画像から上記表示用画像よりも被写界深度の深い表示用合成画像を生成し、撮影条件の情報を取得し、上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定し、上記決定された表示画像を表示部に表示し、上記表示画像の決定にあたっては、上記取得した撮影条件として取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、上記表示部に表示する上記表示画像を決定する。

本発明によれば、フレーミング状況を的確に判断し、状況に応じて被写界深度の拡大を行うことにより、フレーミングと被写界深度の拡大効果の確認を両立させるようにした撮像装置および撮像方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラのライブビュー（ＬＶ）の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、深度合成用の画像の撮影位置を示す図である。 本発明の一実施形態に係るカメラにおいて、撮影情報取得部で取得する情報と、表示画像判定部における判定を示す図表である。 本発明の一実施形態に係るカメラにおいて、撮影条件変化と表示画像の判定を示すグラフである。 本発明の一実施形態に係るカメラにおいて、深度合成画像の表示終了指示後の表示画像を示す図である。 本発明の一実施形態に係るカメラにおいて、深度合成画像の表示終了指示後の表示画像の変形例を示す図である。 本発明の一実施形態に係るカメラにおいて、フレームレートの制御を示すグラフである。

以下、本発明の実施形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、ライブビュー表示中に深度合成モードが設定され、かつ深度合成表示モードが設定されている場合には、撮影条件の情報に応じて、深度合成画像を表示するか非表示とするかを判定する（図２のＳ７参照）。この判定の結果、深度合成画像を表示する場合には、撮影レンズのフォーカス位置を順次移動させ、深度合成用に画像データを取得する（図２のＳ９、Ｓ１１）。一方、判定の結果、深度合成画像を表示しない場合には、１フレーム分の画像データを取得し、通常のライブビュー画像を表示する（図２のＳ１７参照）。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着できるような交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７を有しており、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズ（合焦用レンズ）を含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されている。この絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。

また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動できるようになっている。マイクロコンピュータ２０７からの制御信号に基づいて、ドライバ２０５は撮影レンズ２０１内のフォーカスレンズを移動させることができ、これによりフォーカス位置を制御し、またズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。ドライバ２０５は、撮影レンズ２０１の駆動用回路と、絞り２０３の駆動用回路を有する。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリに記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１３１と通信を行い、マイクロコンピュータ１３１からの制御信号に基づいて交換式レンズ２００の制御を行う。

マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置をフォーカス位置検出部（不図示）から取得し、またズームレンズのズーム位置をズーム位置検出部（不図示）から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１３１に送信する。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカニカルシャッタ１０１が配置されている。このメカニカルシャッタ１０１は、被写体光束の通過時間を制御し、例えば、公知のフォーカルプレーンシャッタ等が採用される。このメカニカルシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は、被写体を撮像して画像を取得する撮像部として機能する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、アナログ処理回路を有し、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されている。このＡ／Ｄ変換部１０７は、Ａ／Ｄ変換回路を有し、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、合焦位置設定部１１１、撮影情報取得部１１３、表示画像決定部１１５、画像生成部１１７、合成画像生成部１１９、フレームレート制御部１２１、マイクロコンピュータ１３１、フラッシュメモリ１３５、ＳＤＲＡＭ１３７、圧縮伸張部１３８、メモリインターフェース（以後、メモリＩ／Ｆという）１３９、表示部１４３が接続されている。

合焦位置設定部１１１は、深度合成モードが設定された場合に、深度合成用の画像を取得するために撮影レンズ２０１の複数の位置に順次、移動させる（例えば、図２のＳ１１参照）。この合焦位置は、記録用の画像を取得する場合と、表示用の画像を取得する場合で、位置を異ならせる。合焦位置設定部１１１による合焦位置の設定については、図３を用いて後述する。合焦位置設定部１１１は、合焦位置を設定する合焦位置設定部として機能する。また、合焦位置設定部１１１は、複数の焦点位置を設定する焦点位置設定部として機能する。

撮影情報取得部１１３は、ライブビュー表示時に、深度合成モードが設定され、かつ深度合成表示モードが設定されている場合に、深度合成された画像を表示するか、または通常のライブビュー表示を行うかを判定する際に使用される撮影情報（撮影条件の情報）を取得する（図２のＳ３参照）。撮影情報取得部１１３が取得する撮影情報としては、例えば、輝度、被写体色、光源色、被写体の動き、手ブレ、焦点位置、焦点距離、撮影者の指示など、各種撮影条件の情報がある。このうち、輝度、被写体色、光源色、被写体の動きは、画像データを解析して検出すればよい。手ブレ情報は、手ブレ検出センサの出力値を、また焦点位置と焦点距離はレンズの設定値を取得すればよい。撮影者の指示は操作部１３３を介して入力されるので、操作部１１３の情報を取得すればよい。撮影情報取得部１１３は、撮影条件の情報を取得する撮影情報取得部として機能する。

表示画像決定部１１５は、撮影情報取得部１１３で取得した過去の情報と現在の情報を用いて、画像生成部１１７で生成された通常のライブビュー画像と、合成画像生成部１１９で生成された深度合成画像のいずれかを表示部１４３に表示するかを判定する（図２のＳ５、Ｓ７参照）。この判定は、撮影情報取得部１１３で取得した過去の情報と現在の情報の差分情報と、予め設定された閾値を使用して行う（図４、図５等参照）。また、判定に使用する閾値は、撮影倍率に応じて変更してもよい。

表示画像決定部１１５は、表示用画像と表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部として機能する。この表示画像決定部は、撮影情報取得部で取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、表示部に表示する表示画像を決定する（例えば、図２のＳ５、Ｓ７参照）。また、表示画像決定部１１５は、撮影情報取得部で取得した撮影条件に基づいて、表示用画像と表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部として機能する（例えば、図２のＳ５、Ｓ７参照）。なお、撮影情報部で取得される撮影情報は、上述の輝度、光源色は例示であって、これ以外の撮影情報であってもよい。

また、上述の表示画像決定部は、撮影情報取得部で取得した情報の、過去と現在の情報の変化量と閾値を比較して、表示部に表示する画像を決定する（例えば、図４、図５参照）。また、表示画像決定部は、撮影時の撮影倍率に応じて閾値を変える（例えば、図３、４参照）。また、表示画像決定部は、情報の変化量が上記閾値を超えた情報の種類に応じて、表示画像を上記表示用画像から上記表示用合成画像に切り替えるタイミングを変える（例えば、図４参照）。

また、上述の表示画像決定部は、表示画像を表示用合成画像から表示用画像に切り替える場合、合成画像生成部が、合成用画像のうち少なくとも２枚の合成が完了していれば、合成途中の合成画像を表示画像に決定し、表示部で表示した後、表示用画像を表示画像に決定し、表示部で表示するように切り替える（例えば、図７（ｂ）参照）。

また、上述の表示画像決定部は、表示画像を表示用合成画像から表示用画像に切り替える場合、合成画像生成部が、合成用画像のうち合焦位置設定部で設定する両端の焦点位置の合成が完了していれば、合成途中の合成画像を表示画像に決定し、表示部で表示した後、表示用画像を表示画像に決定し、表示部で表示するように切り替える（例えば、図７（ａ）参照）。

また、上述の表示画像決定部は、表示画像を表示用合成画像から表示用画像に切り替える場合、合焦位置設定部で設定する両端の焦点位置の相違量に応じて、表示用合成画像の生成に使用する画像枚数を決定する（例えば、図７（ｃ）参照）。

画像生成部１１７は、画像処理回路を有し、撮像素子１０３によって取得された画像データに対してライブ表示用や記録用の画像処理を施し、画像データを生成する。通常のライブビュー表示用の画像データは、撮像素子１０３から１フレーム分の画像データを入力するたびに画像処理を施し、表示部１４３に出力する。また、記録用の画像データは、撮影指示（操作部１３３のレリーズ釦が全押し）された際に、取得された撮像素子１０３からの１フレーム分の画像データに対して、画像処理を施し、記録媒体１４１に記録する。画像生成部１１７は、撮像部で取得した画像から表示用画像を生成する画像生成部として機能する。

合成画像生成部１１９は、合成画像回路を有し、撮像素子１０３で取得した複数の画像を画像処理により合成し、表示あるいは記録に使用する画像データを生成する。深度合成モードが設定されている場合には、焦点位置の異なる複数の画像を合成することで、通常の単枚画像よりも被写界深度の深い画像を生成することができる。具体的には、合成画像生成部１１９は、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写よりも深い被写界深度の画像データを生成する。

合成画像生成部１１９は、合焦位置設定部で設定した複数の異なる合焦位置のそれぞれで、撮像部で取得した複数の合成用画像から表示用画像よりも被写界深度の深い表示用合成画像を生成する合成画像生成部として機能する。合成画像生成部１１９は、焦点位置設定部で設定した複数の異なる焦点位置のそれぞれで、撮像部で取得した複数の合成用画像を用いて、表示用合成画像を生成する合成画像生成部として機能する。

フレームレート制御部１２１は、表示部１４３に表示する画像のフレームレートを制御する（図２のＳ９参照）。合成画像生成部１１９で生成された合成画像を表示する場合には、合成しない場合と比較して、低いフレームレートを設定する（図８参照）。また、フレームレート制御部１２１は、制御するフレームレートの最低フレームレートを、撮影時の撮影倍率に応じて設定する。撮影倍率が大きい場合は、撮影倍率が小さい場合と比較して、最低フレームレートを低く設定する。フレームレート制御部１２１は、撮影情報取得部１１３で得た情報の時間的変化を監視し、情報が安定している場合に、フレームレートを低下させる（例えば、図８参照）。

フレームレート制御部１２１は、表示部に表示するフレームレートを制御するフレームレート制御部として機能する。このフレームレート制御部は、撮影時の撮影倍率に応じて、表示用合成画像の最低フレームレートを変える（例えば、図８（ａ）参照）。フレームレート制御部は、撮影情報の変化がなければ、表示部に表示するフレームレートを最低フレームレートを限界値として、段階的に低下させる（例えば、図８（ａ）参照）。フレームレート制御部は、表示部に表示するフレームレートの低下に伴い、合成画像生成部で合成する合成枚数を増やす（例えば、図８（ｂ）参照）。

マイクロコンピュータ１３１は、ＣＰＵ（Central Processing Unit）、その周辺回路、メモリ等を有する。マイクロコンピュータは、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１３５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１３１には、前述のＩ／Ｆ１９９以外にも操作部１３３が接続されている。

なお、前述の合焦位置設定部１１１、撮影情報取得部１１３、表示画像決定部１１５、フレームレート制御部１２１は、単独のハードウエア回路で実現してもよいが、マイクロコンピュータ１３１および周辺回路によってソフトウエア的に実現するようにしてもよい。

操作部１３３は、電源釦、撮影指示釦（レリーズ釦）、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等、およびタッチパネル等の操作部材を有し、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１３１に出力する。マイクロコンピュータ１３１は、操作部１３３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

撮影指示釦（レリーズ釦）は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる撮影を指示する釦である。マイクロコンピュータ１３１は、ファーストレリーズスイッチがオンとなると、撮影の準備を指示し、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、すなわち、撮影を指示し、メカニカルシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

メニュー釦は、メニュー画面を表示パネル１４５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ハイダイナミックレンジ合成処理（ＨＤＲ合成処理）、超解像合成等のモードを有してもよい。また、深度合成モード設定時に、ライブビュー表示時に、深度合成処理された画像を表示する深度合成表示モードを設定できるようにしてもよい。

フラッシュメモリ１３５は、マイクロコンピュータ１３１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１３１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１３７は、画像データ等の一時記憶用の電気的書き換えできる揮発性メモリである。このＳＤＲＡＭ１３７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像生成部１１７、合成画像生成部１１９等において処理された画像データを一時記憶する。

圧縮伸張部１３８は、画像圧縮回路および画像伸張回路を有する。圧縮伸張部１３８は、画像データの記録媒体１４１への記録時に、ＳＤＲＡＭ１３７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部１３８は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１４１に記録されているファイルを読み出し、伸張処理を施した上で画像データをＳＤＲＡＭ１３７に一時記憶する。

メモリＩ／Ｆ１３９は、記録媒体１４１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１４１に書き込みおよび読出しの制御を行う。記録媒体１４１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

表示部１４３は、表示パネルを有し、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネルとしては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。また、電子ビューファインダ（ＥＶＦ）のように、接眼部を通して観察するタイプであってもよい。

表示部１４３における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１４１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。また、表示部１４３には、メニュー画面も表示され、上述の深度合成モード、深度合成表示モードの設定を行うことができる。

ライブビュー表示時に、深度合成モードおよび深度合成表示モードが設定されている場合であって、表示画像決定部１１５によって、所定の撮影条件を満たすと判断された場合には、深度合成された画像が表示される（図２のＳ５、Ｓ７参照）。表示部１４３は、表示画像決定部で決定された表示画像を表示する表示部として機能する。

次に、図２に示すフローチャートを用いて、本実施形態におけるカメラの処理、特にライブビュー表示であって、深度合成モードが設定されている場合を中心に説明する。なお、図２に示すフローチャートは、フラッシュメモリ１３５に記憶されているプログラムに従ってマイクロコンピュータ１３１が各部を制御し実行する。

図２に示すフローは、ユーザが操作部１３３を操作することによって、パワースイッチがオンにされた際に動作をスタートする。なお、パワースイッチがオンとなった際に限らず、例えば、カメラの撮影準備を指示するレリーズ釦の半押しや、タッチパネルを伴う表示部１４３にタッチ操作された際等、他のタイミングで図２のフローをスタートさせるようにしてもよい。また、ユーザが操作部１３３を操作することによって、図２のフローを停止させるようにしてもよい。

図２に示すフローがスタートすると、まず、画像合成モードか否かを判定する（Ｓ１）。ユーザは、メニュー画面において深度合成モード等の画像合成モードを設定することができる。このステップでは、深度合成モードが設定されているか否かについて判定する。

ステップＳ１における判定の結果、画像合成モード（深度合成モード）が設定されていた場合には、撮影情報の取得を行う（Ｓ３）。ここでは、撮影情報取得部１１３が、輝度、被写体色、光源色、被写体の動き、手ブレ、焦点位置、焦点距離、撮影者の指示など、各種撮影情報を取得する。ここで取得した撮影情報は、次のフレームの画像データを取得した際の判定で使用するため、一時的に保存する。

撮影情報を取得すると、次に、表示画像の決定を行う（Ｓ５）。ここでは、表示画像決定部１１５が、ステップＳ３において取得した過去と現在の撮影情報を用いて、合成画像を表示するか、または合成しない画像を表示するかを決定する。この判定の詳細については、図４、５、８を用いて後述するが、概略、前回（例えば、１フレーム分前）取得した撮影情報と今回取得した撮影情報の差分を検出し、この差分が予め決められた閾値内の場合には、合成画像を生成して表示すると決定する。一方、検出された差分が閾値を超える場合には、合成画像を生成せずに、通常のライブビュー画像を生成して表示すると決定する。

表示画像の決定を行うと、次に、合成画像を表示するか否かについて判定する（Ｓ７）。ここでは、ステップＳ５における処理結果に基づいて判定する。なお、深度合成モードが設定されていても、深度合成を行った画像を表示するか否かを、ユーザが設定するようにしてもよい。この場合には、ステップＳ７における判定の際には、ユーザが深度合成表示を設定しているか否かについても検出して判定する。例えば、メニューで深度合成表示モードを設定しているかを判定してもよく、この他にも、所定の入力釦を押し下げ中に深度合成表示する場合、所定の入力釦が押し下げているかで判定するようにしてもよい。

ステップＳ７における判定の結果、合成画像表示を行う場合には、フレームレート制御を行う（Ｓ９）。ここでは、フレームレート制御部１２１が、表示部１４３に表示するフレームレートを制御する。フレームレート制御部１２１は、表示部１４３に合成画像を表示する場合は、通常のライブビュー画像を表示する場合より低い表示フレームレートを設定する。また、フレームレート制御部１２１は、撮影倍率が高い状況で、撮影情報取得部１１３において取得された撮影情報が、過去に取得された撮影情報と比較して安定していると判断されれば、より低い表示フレームレートを設定する。合成画像ではなく、通常のライブビュー画像を表示する場合は、画像合成モードでない場合と同じ表示フレームレートとする。詳しくは、図８を用いて後述する。

フレームレート制御を行うと、次に、合成画像の生成を行う（Ｓ１１）。ここでは、合焦位置設定部１１１が複数の異なる焦点位置に撮影レンズ２０１を順次移動させ、それぞれの焦点位置で撮影を行って複数の画像データを取得する。この合焦位置の設定については、図３を用いて後述する。複数の画像データを取得すると、合成画像生成部１１９が、これらの複数の画像データに合成処理を施す。被写界深度を拡大したような効果を得るための合成処理（深度合成処理）は、複数枚の画像の位置を合わせ、各画像の高周波成分を抽出し合成することで実現できる。

ステップＳ１における判定の結果、画像合成モードが設定されていない場合、またはステップＳ７における判定の結果、合成画像表示を行わない場合には、画像生成を行う（Ｓ１７）。ここでは、画像生成部１１７が表示用画像を撮影し、撮影された画像に画像処理を施す。ここでの画像処理は、ホワイトバランス、カラーマトリックス、エッジ強調、ガンマ変換、ノイズリダクションなどがある。

ステップＳ１１において合成画像を生成すると、またはステップＳ１７において画像生成を行うと、次に画像表示を行う（Ｓ１３）。ここでは、画像生成部１１７において生成された通常のライブビュー表示画像、または合成画像生成部１１９において生成された合成画像を表示部１４３に表示する。表示の際のフレームレートは、通常のライブビュー表示を行う場合には、撮像素子１０３における画像データの取得のフレームレートと同じであり、また合成画像を表示する場合には、ステップＳ９において設定された表示フレームレートである。

画像表示を行うと、次に、ライブビュー（ＬＶ）表示を終了するか否かを判定する（Ｓ１５）。ライブビュー表示は、操作部１３３の撮影指示釦（レリーズ釦）が撮影を指示した（全押しされた）場合、電源釦が操作され電源オフとなった場合、所定時間の間、操作が何らなされなかった場合等に、終了する。このステップでは、これらの操作に基づいて判定する。この判定の結果、ライブビュー終了でない場合には、ステップＳ１に戻り、ライブビューの処理を続行する。一方、ライブビュー終了の場合には、このフローを終了する。

このように、図２に示すライブビュー処理のフローでは、撮影情報を取得し（Ｓ３）、この取得した撮影情報に基づいて、合成画像を表示するか、通常のライブビュー画像を表示するかを決定している（Ｓ７）。すなわち、合成画像が適切に生成できないような状況の場合には、合成画像の生成を中止し、一方、合成画像が適切に生成できる状況の場合には、合成処理された画像を表示することができる。このため、不必要にライブビュー表示時の表示の更新間隔が長くなってしまうことを防止することができる。

次に、図３を用いて、合焦位置の設定について説明する。深度合成モードが設定された場合、被写界深度拡張の合成用画像生成に使用する複数枚の画像は、異なる焦点位置でそれぞれ撮影した画像である。図３は、異なる複数の画像を撮影する際の焦点位置の例を示す。

図３において、画像Ｒは記録用の画像を撮影する場合の撮影レンズ２０１の焦点位置を示している。記録用の画像Ｒは、図３に示す例では、焦点位置Ｐ１１〜Ｐ１９までの９カ所であり、９枚の画像を撮影する。合成画像生成部１１９は、この撮影した画像（図３の例では、９枚）を用いて、合成処理を行い、記録用の合成画像を生成する。

また、図３において、画像Ｄ１〜Ｄ３は表示用の画像を撮影する場合の撮影レンズ２０１の焦点位置の例を示している。画像Ｄ１では焦点位置はＰ２１〜Ｐ２５の５カ所であり、画像Ｄ２では焦点位置はＰ３１〜Ｐ３３の３カ所であり、画像Ｄ３では焦点位置はＰ４１〜Ｐ４８の８カ所である。

このように、表示画像用の画像枚数は、記録画像用の画像枚数より少なくしてよい。画像を少なくするには、記録画像用で撮影する焦点位置を、間引いた焦点位置を表示画像用として採用すればよい。ただし、記録画像用として撮影する複数の焦点位置の中で、最も無限側の焦点位置と最も至近側の焦点位置は間引かない。これらの焦点位置の画像を間引いてしまうと、記録画像の被写界深度範囲の確認が出来なくなるためである。なお、記録用の画像Ｒの斜線で塗りつぶした画像は、表示用の画像Ｄ１を撮影するにあたって間引いた画像を示す。

表示用の画像の間引きは、記録画像用と同じ枚数を撮影し、画像の合成時に間引いても、撮影時に間引いてもよいが、処理速度を考慮すると、撮影時に間引くほうが好ましい。間引く画像枚数は、表示フレームレートに応じて変更すればよい。表示のフレームレートを高くしたい場合には、合成に使用する撮影枚数を少なくすればよく、間引く画像を多くする。最少撮影枚数は、記録用の画象として撮影する複数の焦点位置の中で、最も無限側と最も至近側の焦点位置の画像のみである。しかし、多くの画像を間引くと、合成画像にムラが生じ、合成画像の品位が落ちる。品位を保つには、間引く画像の数は記録画像用の半分程度に留めることが望ましい。画像品位を最優先するならば、間引かずに記録画像用と同じ枚数を使用すればよい。

また、合成に使用する撮影枚数は、撮影倍率に応じて、増減させるようにしてもよい。例えば、撮影倍率が低く無限側の被写体の撮影を行う場合には、１枚の画像でも被写界深度が深いので、少ない合成枚数で、パンフォーカスの画像を生成することができる。一方で、撮影倍率が高く至近側の被写体の撮影を行う場合には、１枚の画像の被写界深度が大変浅くなり、被写界深度が拡大した効果を得るには、多くの画像を合成する必要がある。

次に、図４を用いて、撮影情報と表示画像の決定について説明する。図４は、撮影情報取得部１１３によって取得される撮影情報の例と、表示画像決定部１１５によって決定される画像合成の表示中止と開始の条件の例を一覧表で示す。

図４において、最左欄に撮影情報取得部１１３によって取得される撮影情報の例を示す。図４において真ん中の２つの欄は、合成画像が表示されている際に、表示画像決定部１１５によって合成画像の表示を停止（中止）する場合の条件を示す。

表示画像決定部１１５は、撮影情報取得部１１３によって取得された前回のフレームから取得された撮影情報と、今回のフレームから取得された撮影情報の変化量（差分）を検出し、いずれの情報も変化がない場合は、合成画像の表示を続ける。いずれかの撮影情報に変化が生じた場合、変化が生じた情報に応じた動作とする。

撮影情報が、輝度、光源色、被写体の動き、手ブレについては、撮影情報の変化量（差分）が小さい（閾値以下）の場合、表示画像決定部１１５は、合成画像表示の中止はせず、合成画像の表示を継続する。一方、撮影情報の変化量（差分）が大きい（閾値以上）の場合には、合成画像の表示を中止する。

また、撮影情報が、焦点位置、焦点距離、撮影者の指示（合成画像オン・オフ指示）については、撮影情報に変化があれば、情報の変化量に依らず合成画像の表示を中止する。この場合、閾値＝０と同義である。

合成画像の表示を中止するか否かの決定にあたって使用する閾値は、撮影条件に応じて変更するようにしてもよい。例えば、撮影時の撮影倍率の状態に応じて閾値を変更してもよい。なお、撮影倍率は、焦点距離をｆとし、撮影レンズから被写体までの距離をｓとし、撮影レンズから焦点面までの距離をｓ’とすると、−（１／ｆ）＋（１／ｓ’）＝−（１／ｓ）との関係が成立し、撮影倍率ｍは、ｍ＝−（ｓ’／ｓ）より算出することができる。

輝度、被写体の動き、手ブレの変動は、撮影倍率が高い場合は撮影倍率が低い場合と比較して大きくなる。このため、これらの撮影条件の閾値は、撮影倍率が高い場合には、撮影倍率が低い場合よりも、閾値を大きく設定する。

図４において、最右欄には、合成画像の表示が停止（中止）されている際に、表示画像決定部１１５によって合成画像の表示を再開する場合の条件の例を示す。撮影情報が、輝度、光源色、被写体の動き、手ブレについては、撮影情報の変化量が小さくなり、安定してから、合成画像の表示を再開する。安定したか否かの判定については、図５を用いて後述する。また、撮影情報が、焦点位置、焦点距離については、撮影情報の変化がなくなれば、撮影者の指示（合成画像オン・オフ指示）については、合成画像オン指示になれば、即時、合成画像の表示を再開する。

このように、本実施形態においては、撮影情報の種類に応じて、表示画像を表示用画像（通常のライブビュー画像）から表示用合成画像（深度合成画像）に切り替えるタイミングを変えている。すなわち、輝度、光源色等の撮影情報の場合には、変化量に応じたタイミングで切り替え、一方、焦点位置、焦点距離等の撮影情報の場合には、変化がなくなったタイミングで切り替えている。なお、タイミングの切り替えの対象となる撮影情報は、図４に例示した者に限らず、他の撮影情報を用いてもよく、また、撮影情報の種類は適宜、入れ替えてもよい。

次に、図５を用いて、撮影情報の変化と表示画像の決定について説明する。図５において、上段は縦軸に撮影情報を、横軸は時間の経過を示す。また、下段は縦軸に合成画像を表示するか、通常のライブビュー画像を表示するかを示す。上段の縦軸の撮影情報は、例えば、輝度、被写体色、光源色、被写体の動き、手ブレ、焦点位置、焦点距離、撮影者の指示等を示し、輝度の場合には輝度値であり、被写体色や光源色の場合には色度等の値であり、被写体の動きや手ブレの場合には動き量であり、焦点位置や焦点距離の場合にはそのものの値である。また、Ｔｈは閾値を示す。

図５において、最初（時刻ｔ０）、表示画像は合成画像であるとする。時刻ｔ１において、撮影情報の変化量が閾値Ｔｈを超え、表示画像は多少の遅延時間後に通常のライブビュー画像（通常画像）に切り替わる。そして、所定時間Ｔが経過した時刻ｔ２になると、撮影情報が安定したとみなされて、表示画像は合成画像に切り替えられる。

さらに、時刻ｔ３になると、再び撮影情報の変化量が閾値Ｔｈを超え、表示画像は多少の遅延時間後に通常のライブビュー画像（通常画像）に切り替わる。そして、所定時間Ｔが経過した時刻ｔ４になると、撮影情報が安定したとみなされて、表示画像は合成画像に切り替えられる。なお、合焦画像を表示していた際に、通常画像に切り替わる際の表示については、図６を用いて後述する。

このように、本実施形態においては、現在と過去の撮影情報の変化に応じて、合成画像を表示するか否かを決定している。合成画像表示中には（時刻ｔ０〜ｔ１、時刻ｔ２〜ｔ３）、撮影情報の変化がない、または変化量が小さく閾値内の場合は、合成画像表示を継続する。一方、撮影情報の変化が大きく、変化量が閾値を越える場合は（時刻ｔ１、ｔ３）、合成画像表示を中止する。また、通常画像表示中には（時刻ｔ１〜ｔ２、時刻ｔ２からｔ３）、撮影情報の変化量が小さいまま（閾値内）、所定時間Ｔが経過した場合に、安定したと判断し、合成画像表示を開始する。なお、前述したように、閾値は、撮影時の撮影倍率に応じて変えるようにしてもよい。

次に、図６を用いて、合成画像の表示終了を指示した後の表示部１４３に表示する画像の合成方法について説明する。図６に示す例は、焦点位置ａ〜ｅに順次移動させ、これらの位置で異なる５枚の画像を取得し、この５枚の画像を順次合成する。５つの焦点位置のうち、位置ｃは合焦位置とし、至近側に２枚、無限側に２枚の画像を取得する。図６に示す例では、至近側から無限側に順次撮影しているが、無限側から至近側でも、合成する順番に撮影しても構わない。

図６の上段に示される、１ａ、１ｂ、・・・７ｃ、８ｃは、撮影画像を示す。例えば、１ａは合成１周期目の最も至近側位置の撮影画像を示し、１ｂは合成１周期目の位置ｃの撮影画像を示し、２ｅは合成２周期目の最も無限側位置の撮影画像を示す。

図６の中段に示される、１ａ＋１ｃ、１ａｃ＋１ｅ、・・・は、撮影画像に施される画像処理を示す。１ａ＋ｃは、撮影画像１ａと撮影画像１ｃを用いて深度合成処理を行うことを示し、１ａｃ＋１ｅは、撮影画像１ａと撮影画像１ｃを用いて深度合成処理された合成画像１ａｃと撮影画像１ｅを用いて、深度合成処理を行うことを示す。

図６の下段に示される１ａｂｃｄｅ、２ａｂｃｄｅ、３ａｃｅ、・・・は、表示画像を示す。表示画像１ａｂｃｄｅは、合成１周期目において、焦点位置ａｂｃｄｅの異なる５枚の画像を合成することにより生成した画像である。図６に示す例では、合成処理中に次の周期の撮影を実施しており、１枚の撮影時間と１回の合成時間は簡単のため同じ時間としている。

前述したように、表示画像決定部１１５は、合成画像の表示の終了を不定期なタイミングで指示する（図２のＳ７、図５の時刻ｔ１、ｔ３等）。合成画像の表示終了の指示を受けてから、通常画像の表示までも幾分時間を要するため、合成画像の表示終了指示がなされたタイミングで、画像合成が途中まで行っていれば、その合成画像を表示する。

例えば、図６に示す例では、時刻Ｔｔ１において、合成画像表示終了指示がなされ、また、このタイミングで撮影画像４ａが取得されている。続いて時刻Ｔｔ２において、通常ライブビュー表示用の撮影画像５ｃが取得され、時刻Ｔｔ３において撮影画像５ｃに画像処理が施され、時刻Ｔｔ４において、通常のライブビュー画像５ｃの表示ができるようになる。そこで、焦点位置ａ、ｃ、ｅの画像合成が終了していれば、時刻Ｔｔ３において、合成途中の画像３ａｃｅを合成画像として表示する。

合成画像生成用の画像の内、至近側と無限側の合成が完了していれば、被写界深度拡大の効果を見ることもでき、また、次の通常画像の表示開始まで、前の周期の画像を表示し続けなくて良く、表示遅延を減らすことができる。

次に、図７を用いて、合成画像の表示終了を指示した後の表示部１４３に表示する画像の合成方法の変形例について説明する。図６を用いて説明した例では、撮影した複数の画像のうち、最も至近側で撮影した画像と最も無限側で撮影した画像、さらに合焦位置で撮影した３枚の画像を合成した段階で、合成途中画像を表示していた。図７は、さらに表示遅延を減らす場合の例である。図７では、焦点位置３ｅでの撮影以前の処理に違いはないため、焦点位置３ｅの撮影後の動作のみ図示している。

図７（ａ）に示すように、複数の画像のうち、最も至近側の位置ａと最も無限側の位置ｅで撮影した画像を合成した段階で、合成途中画像を表示するようにしても良い。この場合、表示遅延を減少しつつ、深度拡大後の効果を確認することができる。

具体的には、時刻Ｔｔ１１において、合成画像表示終了指示がなされ、このタイミングで最も至近側で撮影した画像３ａと最も無限側で撮影した画像３ｅを用いて合成画像３ａ＋３ｅが生成される。そこで、時刻Ｔｔ１２において、生成された合成画像３ａ＋３ｅを表示する。時刻Ｔｔ１４になると、時刻Ｔｔ１２で撮影した画像５ｃを用いて通常のライブビュー画像の表示を行うことができる。図６に示した例と比較すると、１フレーム分、通常画像を表示するタイミングを早くすることができ、また合成画像３ａ＋３ｅを表示することによって深度拡大の効果も確認することができる。

図７（ａ）に示す変形例以外にも、図７（ｂ）に示すように、中央の焦点位置ｃの画像と、他の焦点位置の画像（ここでは最も至近側の位置ａの画像）を合成した段階で、合成途中画像を表示するようにしても良い。この場合、表示遅延を減少しつつ、合焦位置の合焦状況と深度拡大効果の一部を確認することができる。

具体的には、時刻Ｔｔ２１において、合成画像表示終了指示がなされ、このタイミングで最も至近側の位置ａで撮影した画像３ａと合焦位置ｃで撮影した画像３ｃを用いて合成画像３ａ＋３ｃが生成される。そこで、時刻Ｔｔ２２において、生成された合成画像３ａ＋３ｃを表示する。時刻Ｔｔ２４になると、時刻Ｔｔ２２で撮影した画像５ｃを用いて通常のライブビュー画像の表示を行うことができる。図６に示した例と比較すると、図７（ａ）の場合と同様、１フレーム分、通常画像を表示するタイミングを早くすることができ、また合成画像３ａ＋３ｃを表示することによって深度拡大の効果を類推することができる。

ここで、図７に示したような２枚の撮影画像を用いた合成画像と、図６に示したような３枚の撮影画像を用いた合成画像のいずれかを合成途中画像として表示するかの選択は、最も至近側と最も無限側の焦点位置の画像の焦点位置の相違量に応じて決めても良い。

例えば、図７（ｃ）に示すように、最も至近側の焦点位置ａ３と最も無限側の焦点位置ｅ３が、所定の閾値以上、離れていれば、最も至近側の焦点位置ａ３と最も無限側の焦点位置ｅ３、合焦位置の焦点位置ｃ３の３枚の撮影画像を用いて合成処理し、この画像を合成途中画像として表示する。また、最も至近側の焦点位置ａ２と最も無限側の焦点位置ｅ２が、所定の閾値以内にあれば、最も至近側の焦点位置ａ２と最も無限側の焦点位置ｅ２、あるいは、これらいずれかと合焦位置の焦点位置ｃ２で撮影した２枚の撮影画像を用いて合成処理し、この画像を合成途中画像として表示する。

上述の焦点位置の相違量は、例えば被写界深度を基準としてもよい。被写界深度分の焦点位置の相違量を１Ｆとすると、例えば、相違量が例えば２０Ｆを超えるならば、３枚の撮影画像を合成し、超えなければ２枚の撮影画像を合成し、これを合成途中画像とする。図７（ｃ）に示す例において、上段は３枚の撮影画像を合成する場合を示し、下段は２枚の撮影画像を合成する場合を示す。図７（ｃ）では、上段では最も至近側と最も無限側で撮影された画像の焦点位置の相違量が２５Ｆあることから、最も至近側、最も無限側、および合焦位置で撮影された画像を用いて合成処理を施している。一方、下段では最も至近側と最も無限側で撮影された画像の焦点位置の相違量が１２Ｆであることから、最も至近側および最も無限側の焦点位置で撮影された画像を用いて合成処理を施している。

この２０Ｆという閾値は、表示部１４３における表示画像の解像度に応じて調整してもよい。解像度が小さくなるならば、見た目の被写界深度は深くなるので、２０Ｆより大きい数値を閾値に設定しても良い。また、例えば、最も無限側の焦点位置３ｅにおける撮影前に、合成画像表示終了指示を受け付けた場合、焦点位置３ａと３ｃの２枚の合成画像を合成途中画像として表示するようにしてもよい。

次に、図８を用いて、撮影倍率に応じた表示フレームレートの制御について説明する。本実施形態においては、合成画像の表示中に、各種撮影情報の変動が安定していくにつれて、１秒間に表示する表示コマ数、いわゆる表示フレームレートを調整する。すなわち、撮影情報の変化がなければ、表示部１４３に表示するフレームレートを最低フレームレートを限界値として、段階的に低下させる。合成を行っていない画像（通常ライブビュー（ＬＶ）画像）の表示フレームレート（コマ数／秒）は、例えば、１秒間に６０コマの画像を更新する。一方、合成画像を表示する際には、画像合成を行うのに時間を要し、１秒間に表示する画像のコマ数は少なく、例えば、１秒間に１０コマ程度になる。

また、本実施形態においては、表示フレームレート（コマ数／秒）の下限値は、撮影倍率に応じて設定する。撮影倍率が高い場合は、表示フレームレートの下限値をより低くし、撮影倍率が低い場合は表示フレームレートの下限値を高くする。表示フレームレートの下限値は、静止画撮影で合成する画像枚数分を合成するために必要な合成所要時間の逆数で算出する。画像枚数に対応した合成所要時間は予め保持しておけばよい。例えば、所要時間が０．５秒なら、２コマとなる。

合成画像の表示フレームレートは、撮影状態が継続して安定したかを示す安定経過時間と撮影倍率に応じて変更してもよい。すなわち、表示フレームレートをいきなり低下させずに、徐々に時間と共に低下させてもよい。図８（ａ）に示す例では、時刻Ｔｆ１から時刻Ｔｆ２の間、撮影倍率に応じて表示フレームレートを低下させている。そして、時刻Ｔｆ２が経過すると、表示フレームレートは、撮影倍率に応じた下限値で一定となる。この表示フレームレートの下限値は、上述したように、撮影倍率が高いほど、低速（小さい）にしている。なお、図８（ａ）に示す例では、撮影倍率に係りなく、時刻Ｔｆ２において、下限値に移行しているが、撮影倍率に応じて下限値に移行する時刻を異ならせてもよい。

このように、ライブビュー表示時に設定された合成モードで合成した合成画像を表示する場合に、撮影情報（撮影状態）が安定するにつれて、表示フレームレートを低下させ、より多く枚数の画像を合成することにより、より品位の高い画像を表示できる。図８（ｂ）に示す例は、横軸に表示フレームレートをとり、縦軸に合成可能枚数を示す。この図から、表示フレームレートが低下すると（横軸で左側方向に進む）、合成可能枚数が増加することが分かる。

特に、撮影倍率が高い場合は、撮影倍率が低い場合よりも、品位の高い画像を表示するには、表示フレームレートを低下させ、多くの画像を合成するようにすればよい。しかし、表示フレームレートを急峻に低下すると、フレーミングが困難になる。そこで、撮影情報（撮影条件）が安定するに従い、表示フレームレートを徐々に低下するのが好ましい。表示フレームレートを低下させた分、合成する合成枚数を増加し、合成画像の品位を高める。撮影情報（撮影条件）が安定するまで暫くの期間は撮影倍率に依らず同じ表示コマ数とする。

以上説明したように、本発明の一実施形態においては、撮影条件の情報を取得し（Ｓ３）、この撮影条件の情報に基づいて、表示用画像と表示用合成画像のいずれかの画像を表示する表示画像にするかを決定し（Ｓ５）、この決定の結果、表示用画像を表示する場合には、被写体を撮像して画像を取得し、取得した画像から表示用画像を生成し（Ｓ１７）、上述の決定の結果、表示用合成画像を表示する場合には、合焦位置を設定し、この設定した複数の異なる合焦位置のそれぞれで、取得した複数の合成用画像から表示用画像よりも被写界深度の深い表示用合成画像を生成し（Ｓ１１）、決定された表示画像を表示部に表示する。このため、撮影情報に基づいてフレーミング状況を的確に判断し、状況に応じて被写界深度の拡大を行うことにより、フレーミングと被写界深度の拡大効果の確認を両立させることができる。

また、本発明の一実施形態においては、表示画像の決定にあたっては、撮影条件として取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、表示部に表示する表示画像を決定する。このため、輝度等の撮影条件に応じて表示用画像を表示するか、表示用合成画像を表示することができる。

また、本発明の一実施形態においては、撮影条件の情報を取得する撮影情報取得部と、この撮影情報取得部で取得した撮影条件に基づいて、表示用画像と表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部を備えている。このため、撮影条件に基づいて、合成画像が適切に生成できないような場合には、撮像部で取得した画像から生成された表示用画像を表示することができ、合成画像が適切に生成できる場合には、表示用合成画像を表示することができる。この結果、フレーミング状況を的確に判断し、状況に応じて合成処理を行うことにより、フレーミングと合成画像の効果の確認を両立させることができる。

なお、本発明の一実施形態においては、合成処理として、深度合成処理を行う場合について説明したが、合成処理としては、これに限らず、超解像モード、ハイダイナミックレンジ（ＨＤＲ）モード、ノイズリダクションモード、電子手ブレ防止モード等の処理であってもよい。この場合、撮影情報取得部１１３は、ライブビュー表示を行っている際に、これらの合成処理を行った際に、更新間隔に影響する情報を取得するようにすればよい。

また、本発明の一実施形態においては、合焦位置設定部１１１、撮影情報取得部１１３、表示画像決定部１１５、フレームレート制御部１２１等を、マイクロコンピュータ１３１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１３１内のＣＰＵによって実行するようにしても勿論かまわない。また、ハードウエア回路や部品単体の他、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）を利用した回路で構成してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、自動車搭載用カメラ、監視用カメラ、デジタル顕微鏡等のように対物レンズと被写体の固定されたステージとの距離を調整して合焦位置を調整する構造の科学機器用のカメラでも構わない。いずれにしても、複数の画像を合成処理する撮影のための機器またはソフトウエア等であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカニカルシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１１０・・・バス、１１１・・・合焦位置設定部、１１３・・・撮影情報取得部、１１５・・・表示画像決定部、１１７・・・画像生成部、１１９・・・合成画像生成部、１２１・・・フレームレート制御部、１３１・・・マイクロコンピュータ、１３３・・・操作部、１３５・・・フラッシュメモリ、１３７・・・ＳＤＲＡＭ、１３８・・・圧縮伸張部、１３９・・・メモリＩ／Ｆ、１４１・・・記録媒体、１４３・・・表示部、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ

Claims (12)

1. 被写体を撮像して画像を取得する撮像部と、
   上記撮像部で取得した画像から表示用画像を生成する画像生成部と、
   合焦位置を設定する合焦位置設定部と、
   上記合焦位置設定部で設定した複数の異なる合焦位置のそれぞれで、上記撮像部で取得した複数の合成用画像から上記表示用画像よりも被写界深度の深い表示用合成画像を生成する合成画像生成部と、
   撮影条件の情報を取得する撮影情報取得部と、
   上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部と、
   上記表示画像決定部で決定された表示画像を表示する表示部と、
   を具備し、
   上記表示画像決定部は、上記撮影情報取得部で取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、上記表示部に表示する上記表示画像を決定することを特徴とする撮像装置。
2. 上記表示画像決定部は、上記撮影情報取得部で取得した情報の、過去と現在の情報の変化量と閾値を比較して、上記表示部に表示する画像を決定することを特徴とする、請求項１に記載の撮像装置。
3. 上記表示画像決定部は、撮影時の撮影倍率に応じて上記閾値を変えることを特徴とする、請求項２に記載の撮像装置。
4. 上記表示画像決定部は、上記情報の変化量が上記閾値を超えた情報の種類に応じて、上記表示画像を上記表示用画像から上記表示用合成画像に切り替えるタイミングを変えることを特徴とする、請求項３に記載の撮像装置。
5. 上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合成画像生成部が、上記合成用画像のうち少なくとも２枚の合成が完了していれば、合成途中の合成画像を上記表示画像に決定し、上記表示部で表示した後、上記表示用画像を上記表示画像に決定し、上記表示部で表示するように切り替えることを特徴とする、請求項３に記載の撮像装置。
6. 上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合成画像生成部が、上記合成用画像のうち合焦位置設定部で設定する両端の焦点位置の合成が完了していれば、合成途中の合成画像を上記表示画像に決定し、上記表示部で表示した後、上記表示用画像を上記表示画像に決定し、上記表示部で表示するように切り替えることを特徴とする、請求項５に記載の撮像装置。
7. 上記表示画像決定部は、上記表示画像を上記表示用合成画像から上記表示用画像に切り替える場合、上記合焦位置設定部で設定する両端の焦点位置の相違量に応じて、上記表示用合成画像の生成に使用する画像枚数を決定することを特徴とする、請求項６に記載の撮像装置。
8. 上記表示部に表示するフレームレートを制御するフレームレート制御部をさらに有し、
   上記フレームレート制御部は、撮影時の撮影倍率に応じて、上記表示用合成画像の最低フレームレートを変えることを特徴とする、請求項１に記載の撮像装置。
9. 上記フレームレート制御部は、上記撮影情報の変化がなければ、上記表示部に表示するフレームレートを上記最低フレームレートを限界値として、段階的に低下させることを特徴とする、請求項８に記載の撮像装置。
10. 上記表示部に表示するフレームレートの低下に伴い、上記合成画像生成部で合成する合成枚数を増やすことを特徴とする、請求項９に記載の撮像装置。
11. 被写体を撮像して画像を取得する撮像部と、
    上記撮像部で取得した画像から表示用画像を生成する画像生成部と、
    複数の焦点位置を設定する焦点位置設定部と、
    上記焦点位置設定部で設定した複数の異なる焦点位置のそれぞれで、上記撮像部で取得した複数の合成用画像を用いて、表示用合成画像を生成する合成画像生成部と、
    撮影条件の情報を取得する撮影情報取得部と、
    上記撮影情報取得部で取得した上記撮影条件に基づいて、上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定する表示画像決定部と、
    上記表示画像決定部で決定された表示画像を表示する表示部と、
    を具備したことを特徴とする撮像装置。
12. 被写体を撮像して画像を取得し、
    取得した上記画像から表示用画像を生成し、
    合焦位置を設定し、
    上記設定した複数の異なる合焦位置のそれぞれで、取得した複数の合成用画像から上記表示用画像よりも被写界深度の深い表示用合成画像を生成し、
    撮影条件の情報を取得し、
    上記表示用画像と上記表示用合成画像のいずれかの画像を表示する表示画像にするかを決定し、
    上記決定された表示画像を表示部に表示し、
    上記表示画像の決定にあたっては、上記取得した撮影条件として取得される輝度、光源色、被写体の動き、手ブレ量、焦点位置、焦点距離、撮影者の指示の内、少なくとも１つ以上の情報を用いて、上記表示部に表示する上記表示画像を決定する、
    ことを特徴とする撮像方法。

Images