JP2021158489A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】深度合成の画像のためのフォーカスブラケット撮影では、撮影の段階の前後において、異なる撮影の方法を行う撮像装置が求められる。【解決手段】上記課題を解決するため、本願発明は、撮像準備指示を受けると、第１の撮像の方法を行い、撮像指示を受けると、第２の撮像の方法を行う撮像手段と、前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像と、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像とに対して合成を行う合成手段と、を有し、前記撮像手段が、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする。【選択図】図３

Description

本発明は、撮像装置に関するものであり、特にピント位置の異なる画像を撮影する撮像装置に関するものである。

光軸方向でのピント位置が異なる複数の画像を撮影（フォーカスブラケット撮影）し、それぞれの画像の合焦している領域を抽出して、被写界深度を拡大した画像を合成する、いわゆる深度合成の技術が知られている。そして、ユーザの意図した深度合成画像が生成できるかどうかをより早く確認したい、という要望がある。

ユーザが意図する深度合成画像が生成できるかどうかの確認を早くするための１つの要素として、フォーカスブラケット撮影にかかる時間を短縮する、という点がある。

一方、特許文献１では、フォーカスブラケット撮影を行う際に、それぞれの画像を撮影するときフォーカスレンズの動きを短時間止めて撮影を複数回行う方法と、フォーカスレンズを止めずに撮影を複数回行う方法と、が開示されている。フォーカスレンズを止めずに撮影を複数回行う方法の方が、撮影時間を短縮することができる。

国際公開２０１７／０９０２３３号公報

しかしながら、深度合成の合成画像を得るために、合成に用いるすべての画像を撮影する必要があり、ユーザが撮影を始めてから深度合成が表示されるまでにかかる時間が長い。

特許文献１では、２種類のフォーカスブラケット撮影の方法が記載されているものの、表示との関係について想定されていない。

本発明は、前述した課題を鑑みてなされたものであり、撮像指示の前後において、異なる方法でフォーカスブラケット撮影を行う撮像機器を提供することを目的とする。

上記課題を解決するため、本願発明は、撮像指示を受ける指示手段と、前記指示手段が前記撮像指示を受ける前に、第１の撮像の方法を行い、前記指示手段が前記撮像指示を受けた後に、第２の撮像の方法を行う撮像手段と、前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像と、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像とに対して合成を行う合成手段と、を有し、前記撮像手段が、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする撮像装置を提供する。

本発明の構成によれば、フォーカスブラケット撮影のライブビュー画像の作成のフレームレートを向上させることができる。

本発明の実施形態における撮像装置としてのデジタルカメラ１００のハードウェア構成を説明するためのブロック図である。 第１の実施形態における深度合成画像をライブビューした際の表示部の表示画像を説明するための図である。 第１の実施形態における撮影動作を説明するための図である。 第１の実施形態における撮影動作を説明するためのフローチャートである。 第１の実施形態におけるドライビングレリーズによるフォーカスブラケット撮影の動作を説明するためのフローチャートである。 第１の実施形態における間欠駆動によるフォーカスブラケット撮影の動作を説明するためのフローチャートである。 第２の実施形態における撮影動作を説明するための図である。 第２の実施形態におけるライブビュー切り替え動作を説明するためのフローチャートである。 第３の実施形態における信号ＳＷ１が発生していない状態から信号ＳＷ１が発生している状態の動作について説明するための図である。 第３の実施形態における信号ＳＷ１が発生していない状態から信号ＳＷ１が発生している状態の動作について説明するための図である。 第３の実施形態における信号ＳＷ１が発生していない状態から信号ＳＷ１が発生している状態の動作について説明するための図である。 第３の実施形態における図９の撮影動作を説明するためのフローチャートである。 第３の実施形態における図１０の撮影動作を説明するためのフローチャートである。 第３の実施形態における図１１の撮影動作を説明するためのフローチャートである。 第４の実施形態における撮影動作を説明するための図である。 第４の実施形態におけるドライビングレリーズによるフォーカスブラケット撮影の動作を説明するためのフローチャートである。 第４の実施形態における深度合成の処理を説明するためのフローチャートである。 第４の実施形態における隣接するピント位置の画像を用いた被写体の動きの検知を説明するための図である。 第４の実施形態における同じピント位置の画像を用いた被写体の動きの検知を説明するための図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（第１の実施形態）
図１は、本実施形態における撮像装置としてのデジタルカメラ１００のハードウェア構成を説明するためのブロック図である。

図１において、デジタルカメラ１００は、シャッター１０１、バリア１０２、フォーカスレンズ１０３、撮像部２２を含む撮像系を備える。

シャッター１０１は、絞り機能を備えるシャッターである。

バリア１０２は、デジタルカメラ１００の撮像系を覆うことにより、撮像系の汚れや破損を防止する。

フォーカスレンズ１０３は、シャッター１０１及びバリア１０２の間に配置される不図示のレンズ群に含まれるレンズである。尚、前述するレンズ群には、ズームレンズ等、他のレンズも存在する。

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、及びＡ／Ｄ変換処理機能を備えている。撮像部２２の出力データ（撮像画像）は、画像処理部２４及びメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。後述するドライビングレリーズおよび間欠駆動によるフォーカスブラケット撮影の際には、設定枚数分の撮像画像が全てメモリ３２に書き込まれる。

デジタルカメラ１００は、更に、ＡＦ評価値検出部２３、ストロボ９０、画像処理部２４、深度合成部２５、動き検知部２６、状態検出部２７、メモリ３２、Ｄ／Ａ変換器１３、表示部２８、不揮発性メモリ５６、システム制御部５０、システムメモリ５２、及びシステムタイマー５３を備える。

ＡＦ評価値検出部２３は、撮像部２２の内部にあってデジタル画像信号から得られるコントラスト情報などからＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。

ストロボ９０は、撮影時に発光させることにより低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

深度合成部２５は、撮像部２２においてフォーカスブラケット撮影によって得られた複数枚の撮像画像を用いて、各画像内においてピントの合っている画素を出力することにより、被写界深度が拡大された画像を生成する。詳細は後述する。

動き検知部２６は、２枚の画像データを用い、注目領域とその周辺とでテンプレートマッチング処理を行い、画像を複数領域に分割した領域毎、もしくは、画素ごとに動きベクトルを算出する。算出した動きベクトルが閾値以上である場合、被写体に動きがあると検出し、システム制御部５０へ通知する。

状態検出部２７は、ジャイロセンサによる角速度や、三脚の着脱状態、操作部７０を介したユーザによる設定内容など、デジタルカメラ１００の状態検出を行う。検出した結果をシステム制御部５０へ通知する。

メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。

表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（以降、ライブビューと言う）を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述の第１ないし６の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。具体的には、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、被写体情報、被写体距離、および、画像のコントラスト情報に基づく後述の第１ないし６の実施形態におけるドライビングレリーズを用いたフォーカスブラケット撮影を実現する。すなわち、システム制御部５０は、かかる撮影の間、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、ピント位置が異なる複数の画像が順次撮像される。尚、かかる撮影処理で得られる隣接する撮像画像間のピント位置変化量（フォーカスステップ）は、ユーザが操作部７０を介し、あらかじめ設定された複数の値から選択することで設定される。

システムメモリ５２は、ＲＡＭ等により構成され、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

デジタルカメラ１００は、また、モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０、電源スイッチ７２からなる、システム制御部５０に各種の動作指示を入力するための操作手段を備える。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、撮影指示を行うための操作部である。

第１シャッタースイッチ６４は、シャッターボタン６１の操作途中、いわゆる半押しでＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。つまり、システム制御部５０の制御のもとで、撮影のためのパラメータを取得する。尚、ユーザは、信号ＳＷ１を受けて開始するＡＦ処理として中央１点ＡＦ処理や顔ＡＦ処理を選択することが可能である。ここで、中央１点ＡＦ処理とは撮影画面内の中央位置１点に対してＡＦを行う処理を指し、顔ＡＦ処理とは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行う処理を指す。

第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源スイッチ７２は、デジタルカメラ１００の電源オン、電源オフを切り替える。

デジタルカメラ１００は、更に、電源制御部８０、電源部４０、及び記録媒体Ｉ／Ｆ１８を備える。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、ドライビングレリーズおよび間欠駆動を用いたフォーカスブラケット撮影の概要について、図１を参照しながら説明する。

ドライビングレリーズを用いたフォーカスブラケット撮影とは、フォーカスレンズ１０３を駆動しながら撮像部２２の露光、読出しを実行する撮影をいう。よって、この撮影の間、システム制御部５０は、単位時間あたりのピント変化量（ピント変化速度）が一定の状態で駆動し続け、停止しないようにフォーカスレンズ１０３を制御する。

また、間欠駆動を用いたフォーカスブラケット撮影とは、フォーカスレンズ１０３を所望のピント位置に移動させてから停止させた状態で撮像部２２の露光、読出しを実行する撮影をいう。間欠駆動の場合、フォーカスレンズ１０３を停止させる際に静定するのを待つ必要があり、またフォーカスレンズ１０３を静止状態から駆動させる際は、所望の駆動速度で駆動するまで、徐々にフォーカスレンズ１０３の駆動を加速する必要がある。これに対してドライビングレリーズの場合は、フォーカスレンズ１０３を停止させないため、フォーカスレンズ１０３の静定待ち期間や、フォーカスレンズ１０３の静止状態から所定のピント変化量に到達するまでの加速期間が不要となり、高速にフォーカスブラケット撮影を行うことができる。

フォーカスブラケット撮影中のピント変化速度は、フォーカスレンズ１０３の性能と、撮像部２２の撮像素子の読出し時間に基づいて決定される。具体的には、読出し時間中のピント位置変化量が前記フォーカスステップで決定されたピント変化量を超えないようにピント変化速度を決定する。これにより、撮像画像内のピント変化量がフォーカスステップ範囲内であることを保証することができる。

次に、デジタルカメラ１００における深度合成処理の基本的な動作について、図面を用いて説明する。

図２は、本実施形態における深度合成画像をライブビューした際の表示部２８の表示画像を説明するための図である。位置２０１はＡＦ枠で明示されたフォーカスブラケット撮影の至近側ピント位置、位置２０２は無限遠側ピント位置、位置２０３は被写体（昆虫）である。表示部２８に表示されるのは、至近側ピント位置２０１を示すＡＦ枠および被写体２０３である。

ユーザが操作部７０を操作し、表示部２８に表示された画像上における基準ピント位置を指定する。図２においては、被写体２０３の最も至近側の箇所を基準ピント位置として指定されたものとする。これにより、システム制御部５０は、指定された基準ピント位置を、フォーカスブラケット撮影の至近側ピント位置２０１と認識し、その場所にＡＦ枠を表示する。至近側ピント位置２０１が決定されると、Ｚ軸方向（奥行き方向）に、フォーカスステップの設定に応じたフォーカス間隔、および、１枚の深度合成画像を生成するための撮影回数によって、フォーカスブラケット撮影が終了するピント位置、すなわち、無限遠側ピント位置２０２が決まる。図２においては、被写体２０３の全体が、至近側ピント位置２０１から無限遠側ピント位置２０２で示すフォーカス範囲に収まるものとする。また、１枚の深度合成画像を生成するための撮像回数は１０回として図示しており、深度合成部２５は１０枚の撮像画像を用いて深度合成処理を施すものとする。

ライブビュー時はドライビングレリーズを用いて、信号ＳＷ１または信号ＳＷ２発生時は間欠駆動を用いてフォーカスレンズを駆動する動作について、図３ないし図６を用いて説明する。

図３は、本実施形態における撮影動作を説明するための図である。

まず、図３（ａ）を用いて、横軸を時刻、縦軸をピント位置とし、フォーカスレンズ１０３および撮像部２２の動作シーケンスについて説明する。

時刻ｔ０においては、ユーザによりシャッターボタン６１が押されていない状態、すなわち、信号ＳＷ１および信号ＳＷ２が発生していない状態であり、ドライビングレリーズを用いたフォーカスブラケット撮影を行う。

時刻ｔ１において、システム制御部５０は、フォーカスレンズ１０３を駆動開始ピント位置に移動し、フォーカスレンズ１０３の駆動を開始する。なお、駆動開始ピント位置の決定方法は、特願２０１９−１２１８１１にて提案されている技術を用いている。この先行文献の技術は、フォーカスブラケット撮影をするすべてのピント位置においてフォーカスレンズ１０３の速度が一定となるように予め駆動開始ピント位置を計算し、至近側ピント位置２０１よりも至近側の位置から駆動を開始するものである。

時刻ｔ１から時刻ｔ２の期間において、撮像部２２は、至近側ピント位置２０１から無限遠側ピント位置２０２まで等間隔に、１枚の深度合成画像を生成するために必要な１０枚分の撮像を行う。また時刻ｔ１から時刻ｔ２の期間に、システム制御部５０は、撮像部２２の撮像速度に合わせて、フォーカスレンズ１０３の速度を調整し、所定のピント位置で露光できるようにする。

撮像部２２が１０枚分の撮像を行なった後、システム制御部５０は、フォーカスレンズ１０３を減速させて、時刻ｔ２において停止する。また同時に、深度合成部２５において１０枚の画像から深度合成画像を生成し、表示部２８に表示させる。

時刻ｔ２以降は、時刻ｔ１における動作と同様に、システム制御部５０は、フォーカスレンズ１０３の駆動を開始する。そして、撮像部２２は、無限遠側ピント位置２０２から至近側ピント位置２０１まで等間隔に１０枚分の撮像をした後、フォーカスレンズ１０３を停止させる。また同時に、深度合成部２５において１０枚の画像から１枚の深度合成画像を生成し、表示部２８に表示させる。

前述のように、時刻ｔ１から開始した往路の動作と、時刻ｔ２から開始した復路の動作を繰り返す。

時刻ｔ３において、ユーザによりシャッターボタン６１が半押しされることにより信号ＳＷ１が発生する。しかし、このとき復路の動作途中であり、１枚の深度合成画像を生成するために必要な１０枚すべての撮像が完了していないため、システム制御部５０は、至近側ピント位置２０１まで撮像を終えてからフォーカスレンズ１０３を停止させる。このとき時刻ｔ４となる。また同時に、深度合成部２５において１０枚の画像から１枚の深度合成画像を生成し、表示部２８に表示させる。

時刻ｔ４以降は、ユーザによりシャッターボタン６１が半押しされている状態、すなわち、信号ＳＷ１が発生している状態であり、この状態の時は、間欠駆動を用いたフォーカスブラケット撮影を行う。なお、ユーザによるシャッターボタン６１の半押しは、よりピント精度の高いプレビューを確認したい、という心理状態であると想定される。そのため、第１実施例においては、信号ＳＷ１の発生中は、ドライビングレリーズよりもピント精度の高い間欠駆動で制御するものとしている。

時刻ｔ４から時刻ｔ６の期間において、撮像部２２は、至近側ピント位置２０１から無限遠側ピント位置２０２まで等間隔に、１枚の深度合成画像を生成するために必要な１０枚分の撮像を行う。なお、フォーカスレンズ１０３の駆動方式がドライビングレリーズおよび間欠駆動の場合ともに、フォーカスステップの設定が共通のため、フォーカスブラケット撮影の露光タイミングが、同じピント位置になるように制御する。

時刻ｔ４から時刻ｔ５における、１枚目の撮影について説明する。時刻ｔ４において、フォーカスレンズ１０３を至近側ピント位置２０１に移動させて停止させる。フォーカスレンズ１０３を停止させる際の静定を待ってから、時刻ｔ５において、撮像部２２は露光、読出しを実行する。すなわち、時刻ｔ４から時刻ｔ５の期間が、フォーカスレンズ１０３の静定時間となる。

２枚目以降も同様に繰り返し、時刻ｔ６において１０枚分の撮像を行なった後、システム制御部５０は、深度合成部２５において１０枚の画像から深度合成画像を生成し、表示部２８に表示させる。

時刻ｔ６以降は、時刻ｔ４からの動作と同様に、撮像部２２は、無限遠側ピント位置２０２から至近側ピント位置２０１まで等間隔に１０枚分の撮像をした後、深度合成部２５において１０枚の画像から深度合成画像を生成し、表示部２８に表示させる。

前述のように、時刻ｔ４から開始した往路の動作と、時刻ｔ６から開始した復路の動作を繰り返す。

時刻ｔ７において、ユーザがシャッターボタン６１を全押しすることにより信号ＳＷ２が発生する。しかし、時刻ｔ７に、信号ＳＷ１発生期間における往路の動作途中であり、１枚の深度合成画像を生成するために必要な１０枚すべての撮像が完了していない。そのため、システム制御部５０は、無限遠側ピント位置２０２まで撮像し、さらに、深度合成部２５において１０枚の画像から１枚の深度合成画像を生成し、表示部２８に表示させる。

時刻ｔ８以降は、ユーザはシャッターボタン６１を全押ししている状態、すなわち、信号ＳＷ２が発生している状態であり、信号ＳＷ１が発生している状態の時と同様、間欠駆動を用いたフォーカスブラケット撮影を行う。

時刻ｔ８から時刻ｔ９の期間において、時刻ｔ６からの動作と同様に、撮像部２２は、無限遠側ピント位置２０２から至近側ピント位置２０１まで等間隔に１０枚分の撮像をした後、深度合成部２５において１０枚の画像から１枚の深度合成画像を生成する。信号ＳＷ２の発生時は、深度合成画像を記録媒体２００に記録する。

なお、本実施形態においては、信号ＳＷ１および信号ＳＷ２が発生した際に、往路であれば無限遠側ピント位置２０２、復路であれば至近側ピント位置２０１に到達した時刻で、フォーカスレンズ１０３の駆動を切り替えるものとしている。

次に、図３（ｂ）を用いて、ユーザによりシャッターボタン６１の半押しが解除された場合、すなわち、信号ＳＷ１が発生していた状態から解除される動作シーケンスについて説明する。

時刻ｔ１０においては、ユーザはシャッターボタン６１を半押ししている状態、すなわち、信号ＳＷ１が発生している状態であり、間欠駆動を用いたフォーカスブラケット撮影を行う。

時刻ｔ１１において、シャッターボタン６１の半押しが中断され、信号ＳＷ１の発生が解除されるが、信号ＳＷ１の発生期間における復路の動作途中であり、１枚の深度合成画像を生成するために必要な１０枚すべての撮像が完了していない。そのため、システム制御部５０は、至近側ピント位置２０１まで撮像し、さらに、深度合成部２５において１０枚の画像から１枚の深度合成画像を生成し、表示部２８に表示させる。

時刻ｔ１２以降は、図３（ａ）における時刻ｔ１以降の動作シーケンスと同様に、ドライビングレリーズによるフォーカスブラケット撮影を行う。

以上では、図３に示した撮影動作では、撮像部２２が撮像を複数回行い、深度合成に必要な画像を撮像することについて説明した。

次に、図４ないし図６を用いて、本実施形態における撮影動作の具体的なフローについて説明する。

図４ないし図６における各ステップは、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。

まずは、図４を用いて、本実施形態における全体的な動作フローについて説明する。図４は、本実施形態における撮影動作を説明するためのフローチャートである。

ユーザにより電源スイッチ７２やモード切替スイッチ６０を切り替えられることにより、システム制御部５０は、深度合成の撮影モードを開始する指示を受け付け、本実施形態における撮影動作の処理を開始する。

ステップＳ４０１でシステム制御部５０は、ドライビングレリーズによるフォーカスブラケット撮影を実行する。詳細の動作フローについては、後述する。

ステップＳ４０２でシステム制御部５０は、ステップＳ４０１においてフォーカスブラケット撮影で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を実行する。

ステップＳ４０３でシステム制御部５０は、ステップＳ４０２において得られた深度合成画像を、表示部２８に表示する。

ステップＳ４０４でシステム制御部５０は、ユーザによりシャッターボタン６１が半押されている状態、すなわち信号ＳＷ１が発生しているか否かを判定する。ステップＳ４０４において、信号ＳＷ１が発生していると判定した場合はステップＳ４０５に進み、発生していないと判定した場合はステップＳ４１２に進む。

ステップＳ４０５でシステム制御部５０は、間欠駆動によるフォーカスブラケット撮影を実行する。詳細の動作フローについては、後述する。

ステップＳ４０６はステップＳ４０２と同様の処理であり、システム制御部５０は、ステップＳ４０５においてフォーカスブラケット撮影で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を実行する。

ステップＳ４０７はステップＳ４０３と同様の処理であり、システム制御部５０は、ステップＳ４０６において得られた深度合成画像を、表示部２８に表示させる。

ステップＳ４０８でシステム制御部５０は、ユーザによりシャッターボタン６１が全押しされている状態、すなわちＳＷ２信号が発生しているか否かを判定する。ステップＳ４０８において、ＳＷ２信号が発生していると判定した場合はステップＳ４０９に進み、発生していないと判定した場合はステップＳ４０４に戻る。ユーザがシャッターボタン６１を全押しすることを撮像指示という。

ステップＳ４０９はステップＳ４０５と同様の処理であり、システム制御部５０は、間欠駆動によるフォーカスブラケット撮影を実行する。

ステップＳ４１０はステップＳ４０２およびステップＳ４０６と同様の処理であり、システム制御部５０は、ステップＳ４０９においてフォーカスブラケット撮影で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を行う。

ステップＳ４１１でシステム制御部５０は、ステップＳ４１０において得られた深度合成画像を記録媒体２００に記録する。

ステップＳ４１２でシステム制御部５０は、ユーザにより電源スイッチ７２やモード切替スイッチ６０が切り替えられることにより、深度合成の撮影モードを終了する指示を受けたか否かを判定する。深度合成の撮影モードの終了指示を受けていなければステップＳ４０１へ戻り、終了指示を受けた場合は本処理を終了する。

次に、図５を用いて、ステップＳ４０１のドライビングレリーズによるフォーカスブラケット撮影の動作フローについて説明する。図５は、本実施形態におけるドライビングレリーズによるフォーカスブラケット撮影の動作を説明するためのフローチャートである。

ステップＳ５０１でシステム制御部５０は、露光開始ピント位置を決定するための露光開始ピント位置決定処理を実行する。ステップＳ５０１で決定する露光開始ピント位置とは、往路であれば至近側ピント位置２０１を指し、復路であれば無限遠側ピント位置２０２を指す。

ステップＳ５０２でシステム制御部５０は、フォーカスレンズ１０３の駆動開始ピント位置を決定する。

ステップＳ５０３でシステム制御部５０は、フォーカスレンズ１０３を駆動開始ピント位置に移動させ、静止状態とした後、ステップＳ５０４で撮像部２２に対して垂直同期信号を発行すると同時に、フォーカスレンズ１０３の駆動を開始する。

ステップＳ５０５で撮像部２２は、垂直同期信号のタイミングに応じて、露光、読出しを行い、撮像画像を生成する。

ステップＳ５０６でシステム制御部５０は、１枚の深度合成画像を生成するために必要な枚数の撮影動作が完了しているか、すなわち、撮像素子の露光及び読出しを予め設定された回数だけ実施したか判定を行う。この判定の結果、完了していない場合は、ステップＳ５０５に戻る。一方、完了している場合、システム制御部５０は、ステップＳ５０７に進み、フォーカスレンズ１０３の駆動を停止させ、本処理を終了する。

次に、図６を用いて、ステップＳ４０５およびステップＳ４０９の間欠駆動によるフォーカスブラケット撮影の動作フローについて説明する。図６は、本実施形態における間欠駆動によるフォーカスブラケット撮影の動作を説明するためのフローチャートである。

ステップＳ６０１でシステム制御部５０は、フォーカスレンズ１０３をステップＳ５０１において決定した露光開始ピント位置に移動させる。

ステップＳ６０２でシステム制御部５０は、フォーカスレンズ１０３が静止状態になったことを判定すると、ステップＳ６０３で撮像部２２に対して垂直同期信号を発生させる。撮像部２２は、垂直同期信号のタイミングに応じて、露光、読出しを行い、撮像画像を生成する。

ステップＳ６０４でシステム制御部５０は、１枚の深度合成画像を生成するために必要な枚数の撮影動作が完了しているか、すなわち、撮像素子の露光及び読出しを予め設定された回数だけ実施したか判定を行う。この判定の結果、完了していない場合はステップＳ６０５に進み、完了している場合はフローを終了する。

本実施形態によれば、システム制御部５０が信号ＳＷ１を受けると、フォーカスレンズの往復運動を繰り返し、短時間で深度合成画像のライブビュー画像を作成し、かつ、深度合成画像のライブビューのフレームレートを向上させることができる。同時に、デジタルカメラ１００が撮像指示を受けると、間欠駆動によるフォーカスブラケット撮影を行い、記録媒体２００に記録する深度合成の画像の生成のための画像を撮影する。

（第２の実施形態）
第１の実施形態では、第１の実施形態と異なり、システム制御部５０が信号ＳＷ１を受け付けた場合は深度合成画像ライブビュー表示し、信号ＳＷ１が解除された場合はすぐに通常ライブビュー表示へ切り替える。以下では、第１の実施形態との違いを中心に本実施形態について説明する。

図７は、本実施形態における撮影動作を説明するための図である。

時刻ｔ０においては、ユーザはシャッターボタン６１を押していない状態、すなわち、信号ＳＷ１および信号ＳＷ２が発生していない状態であり、この状態の時は、フォーカスレンズ１０３を至近側の駆動開始ピント位置で固定した撮影を行う。また同時に、撮影した画像を表示部２８に表示させる。

時刻ｔ１において、ユーザがシャッターボタン６１を半押しすることにより信号ＳＷ１が発生すると、システム制御部５０は、フォーカスレンズ１０３の駆動を開始する。時刻ｔ１から時刻ｔ２の期間において、ドライビングレリーズにおけるフォーカスレンズ１０３の駆動は実施例１と同様である。

時刻ｔ３において、ユーザがシャッターボタン６１の半押しを解除することで信号ＳＷ１の発生が解除される。または、動き検知部２６でフレーム間での動きを検知する。このときＳＷ１発生期間における復路の動作途中であり、１枚の深度合成画像を生成するために必要な１０枚全ての撮像が完了していない。しかし、すぐにライブビュー表示に切り替えるため、システム制御部５０は、撮像を終了し、フォーカスレンズ１０３を至近側のピント位置２０１へ移動させて停止させる。また、ここで、フォーカスレンズ１０３を最も無限遠側のピント位置２０２に移動させてもよい。

時刻ｔ４において、フォーカスレンズ１０３が停止したら、システム制御部５０は、ピント位置を固定した撮影を行い、撮影した画像を表示部２８に表示させる。時刻ｔ３とｔ４との間のフォーカスレンズの動きは、時刻ｔ１とｔ２との間よりも速く設定してもよい。

図８は、本実施形態におけるライブビュー切り替え動作を説明するためのフローチャートである。

図８に示したフローチャートの各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。

ユーザにより電源スイッチ７２やモード切替スイッチ６０を切り替えられることにより、システム制御部５０は、深度合成の撮影モードを開始する指示を受け付け、図８に示したような処理を開始する。

ステップＳ８０１でシステム制御部５０は、フォーカスレンズ１０３を至近側ピント位置２０１に固定し、通常ライブビュー撮影を実行する。

ステップＳ８０２でシステム制御部５０は、ユーザによりシャッターボタン６１が半押しされ信号ＳＷ１が発生しているか否かを判定する。信号ＳＷ１が発生していると判定した場合はステップＳ８０３に進み、信号ＳＷ１が発生していないと判定した場合はステップＳ８１６に進む。

ステップＳ８０３でシステム制御部５０は、フォーカスレンズ１０３の露光開始ピント位置を決定する。露光開始ピント位置とは、往路であれば至近側ピント位置２０１を指し、復路であれば無限遠側ピント位置２０２を指す。

ステップＳ８０４でシステム制御部５０は、フォーカスレンズ１０３の駆動開始ピント位置を決定する。

ステップＳ８０５でシステム制御部５０は、フォーカスレンズ１０３を駆動開始ピント位置に移動させ停止させる。

ステップＳ８０６でシステム制御部５０は、撮像部２２に対して垂直同期信号を発行すると同時に、フォーカスレンズ１０３の駆動を開始する。

ステップＳ８０７で撮像部２２は、垂直同期信号のタイミングに応じて、露光、読出しを行い、撮像画像を生成する。

ステップＳ８０８でシステム制御部５０は、動き検知部２６が被写体の動きを検知したか否かを判定する。動きが検知された場合ステップＳ８１４に進み、動きが検知されなかった場合ステップＳ８０９へ進む。ステップＳ８０８での処理は、被写体が動いてしまう場合、品質の悪い深度合成画像ライブビュー画像が表示されてしまうことを防ぐための処理である。被写体が動いてしまう場合でも深度合成画像ライブビュー画像を表示したい場合、ステップＳ８０８の処理がなくてもよい。

ステップＳ８０９でシステム制御部５０は、ユーザによりシャッターボタン６１が半押しされ信号ＳＷ１が発生しているか否かを判定する。信号ＳＷ１が発生していると判定した場合はステップＳ８１０に進み、信号ＳＷ１が発生していないと判定した場合はステップＳ８１４に進む。

ステップＳ８１０でシステム制御部５０は、１枚の深度合成画像を生成するために必要な枚数の撮影動作が完了しているか否かを判定する。撮影動作が完了していると判定した場合ステップＳ８１１に進み、完了していないと判定した場合ステップＳ８０７に戻り、撮影動作を実行する。

ステップＳ８１１でシステム制御部５０は、フォーカスレンズ１０３を駆動停止位置で停止させる。駆動停止位置とは、往路であれば次の復路、復路であれば次の往路の駆動開始ピント位置のことを指す。

ステップＳ８１２でシステム制御部５０は、Ｓ８０７ないしＳ８１１の撮影で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を実行する。

ステップＳ８１３でシステム制御部５０は、ステップＳ８１２で得られた深度合成画像を表示部２８に表示する。深度合成画像を表示部２８に表示した後、ステップＳ８０２に戻り、信号ＳＷ１が発生しているか否かを判定する。

ステップＳ８１４でシステム制御部５０は、ステップＳ８０８で動き検知部２６で動きを検出した状態、またはステップＳ８０９で信号ＳＷ１が発生していない状態で、フォーカスレンズ１０３が駆動開始ピント位置であるか否かを判定する。駆動開始ピント位置である場合ステップＳ８１６に進み、駆動開始ピント位置でない場合ステップＳ８１５に進む。

ステップＳ８１５でシステム制御部５０は、フォーカスレンズ１０３を駆動開始ピント位置に移動させ停止させる。

ステップＳ８１６でシステム制御部５０は、ユーザにより電源スイッチ７２やモード切替スイッチ６０を切り替えられることにより、深度合成の撮影モードを終了する指示を受けたか否かを判定する。深度合成の撮影モードの終了指示を受けていなければステップＳ８０１へ戻りライブビュー動作を行い、終了指示を受けた場合は本処理を終了する。

本実施形態によれば、信号ＳＷ１を付けた場合は深度合成画像ライブビュー表示し、信号ＳＷ１が解除された場合はすぐに通常ライブビュー表示へ切り替えることにより、ユーザは所望の画像を確認することができる。また、動きを検出した場合は深度合成画像ライブビューから通常ライブビューに切り替え、静止画を表示することにより、すぐに被写体や構図を確認することが可能になる。

（第３の実施形態）
第３の実施形態は、第２の実施形態と異なり、第１のシャッタースイッチの押下が中止した場合、必ずしも駆動開始ピント位置でなく、より早くフォーカスレンズが停止できるように、他のピント位置でフォーカスレンズを停止する。具体的な処理は後述する。

以下では、第１および第２の実施形態との違いを中心に、本実施形態について説明する。

まず、図９ないし図１１を用いて、横軸を時刻、縦軸をピント位置とし、フォーカスレンズ１０３および撮像部２２の動作シーケンスについて説明する。

図９は、本実施形態におけるユーザによりシャッターボタン６１の半押しがされた状態、すなわち、信号ＳＷ１が発生していない状態から信号ＳＷ１が発生している状態の動作について説明するための図である。図９（ａ）は、より至近側でのピント位置で駆動を開始する例を示し、図９（ｂ）は、より無限遠側でのピント位置で駆動を開始する例を示す。図１０と図１１は、本実施形態における信号ＳＷ１が発生していない状態から信号ＳＷ１が発生している状態の動作の別の例について説明するため図である。

時刻ｔ０においては、ユーザはシャッターボタン６１を押していない状態、すなわち、信号ＳＷ１または信号ＳＷ２が発生していない状態であり、フォーカスレンズ１０３をフォーカス範囲内のいずれかのピント位置で固定した撮影を行う。また同時に、撮影した画像を表示部２８に表示させる。

時刻ｔ１において、ユーザがシャッターボタン６１を半押しすることにより信号ＳＷ１が発生すると、システム制御部５０は、フォーカスレンズ１０３を駆動開始ピント位置に移動する。駆動開始位置ピント位置は図９（ａ）と図９（ｂ）とで異なる。図９（ａ）のように時刻ｔ１におけるフォーカスレンズ１０３のピント位置がフォーカス範囲の至近側にある場合、駆動開始ピント位置を至近側に決定する。同様に図９（ｂ）のように時刻ｔ１におけるフォーカスレンズ１０３のピント位置がフォーカス範囲の無限遠側にある場合、駆動開始ピント位置を無限遠側に決定する。

時刻ｔ２において、システム制御部５０は、フォーカスレンズ１０３を時刻ｔ１で決まった駆動開始ピント位置に移動させる。駆動開始ピント位置は、第１の実施形態と同様に、至近側ピント位置２０１よりも至近側の位置とする。フォーカスレンズ１０３が停止したら、ドライビングレリーズの駆動を開始する。時刻ｔ２から時刻ｔ３の期間において、ドライビングレリーズにおけるフォーカスレンズ１０３の駆動は第１の実施形態と同様である。

次に、図９ないし図１１を用いて、ユーザによりシャッターボタン６１の半押しが解除された場合、すなわち、信号ＳＷ１が発生していた状態から解除される動作シーケンスについて説明する。図９ないし図１１はシャッターボタン６１の半押しされた状態の動作は共通であるが、シャッターボタン６１の半押しが解除された際のフォーカスレンズ１０３の駆動が異なる。

図９ないし図１１の時刻ｔ４において、ユーザがシャッターボタン６１の半押しを解除することで信号ＳＷ１の発生が解除される。１枚の深度合成画像を生成するために必要な１０枚全ての撮像が完了していないが、システム制御部５０は撮像を終了し、フォーカスレンズ１０３の駆動を切り替える。

図９の時刻ｔ４において、システム制御部５０は、フォーカスレンズ１０３を現在のピント位置に停止させる。

図１０の時刻ｔ４において、システム制御部５０は、フォーカスレンズ１０３の駆動を停止させる。次に、フォーカスレンズ１０３をフォーカス範囲の中間ピント位置に移動させる。時刻ｔ５において、フォーカスレンズ１０３が中間ピント位置に到達したら駆動を停止させる。

図１１の時刻ｔ４において、システム制御部５０は、フォーカスレンズ１０３をドライビングレリーズ駆動から切り替え、時刻ｔ１におけるピント位置に移動させる。時刻ｔ５において、フォーカスレンズ１０３が時刻ｔ１におけるピント位置に到達したら駆動を停止させる。

図９の時刻ｔ４、図１０の時刻ｔ５、図１１の時刻ｔ５以降、フォーカスレンズ１０３が停止したら、システム制御部５０は、ピント位置を固定した撮影を行い、撮影した画像を表示部２８に表示させる。

次に、図を用いて、図９ないし図１１のライブビュー切り替えの動作フローチャートについて説明する。図１２ないし図１４のそれぞれは、図９ないし図１１のそれぞれに示した撮影動作を説明するためのフローチャートである。

図１２ないし図１４における各ステップは、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。

まずは、図１２に示したフローチャートを用いて、図９に示した撮影動作のフローについて説明する。

ユーザにより電源スイッチ７２やモード切替スイッチ６０を切り替えられることにより、システム制御部５０は、深度合成の撮影モードを開始する指示を受け付け、図１２に示したフローチャートの処理を開始する。

ステップＳ１２０１でシステム制御部５０は、フォーカスレンズ１０３をフォーカス範囲内の任意のピント位置に固定し、通常ライブビュー撮影を実行する。

ステップＳ１２０２でシステム制御部５０は、ユーザによりシャッターボタン６１が半押しされ信号ＳＷ１が発生しているか否かを判定する。信号ＳＷ１が発生していると判定した場合はステップＳ１２０３に進み、信号ＳＷ１が発生していないと判定した場合はステップＳ１２１６に進む。

ステップＳ１２０３でシステム制御部５０は、フォーカスレンズ１０３の露光開始ピント位置を決定する。露光開始ピント位置とは、往路であれば至近側ピント位置２０１を指し、復路であれば無限遠側ピント位置２０２を指す。

ステップＳ１２０４でシステム制御部５０は、フォーカスレンズ１０３の駆動開始ピント位置を決定する。

ステップＳ１２０５でシステム制御部５０は、フォーカスレンズ１０３の現在のピント位置がフォーカス範囲内において至近側であるか無限遠側であるかを判定する。至近側であると判定された場合ステップＳ１２０６に進み、無限遠側であると判定された場合ステップＳ１２０７に進む。

ステップＳ１２０６でシステム制御部５０は、フォーカス範囲内の至近側に位置するフォーカスレンズ１０３を至近側の駆動開始ピント位置に移動させ停止させる。

ステップＳ１２０７でシステム制御部５０は、フォーカス範囲内の無限遠側に位置するフォーカスレンズ１０３を無限側の駆動開始ピント位置に移動させ停止させる。

ステップＳ１２０８でシステム制御部５０は、撮像部２２に対して垂直同期信号を発行すると同時に、フォーカスレンズ１０３の駆動を開始する。

ステップＳ１２０９で撮像部２２は、垂直同期信号のタイミングに応じて、露光、読出しを行い、撮像画像を生成する。

ステップＳ１２１０でシステム制御部５０は、ユーザによりシャッターボタン６１が半押しされ信号ＳＷ１が発生しているか否かを判定する。信号ＳＷ１が発生していると判定した場合はステップＳ１２１１に進み、信号ＳＷ１が発生していないと判定した場合はステップＳ１２１５に進む。

ステップＳ１２１１でシステム制御部５０は、１枚の深度合成画像を生成するために必要な枚数の撮影動作が完了しているか否かを判定する。撮影動作が完了していると判定した場合ステップＳ１２１２に進み、完了していないと判定した場合ステップＳ１２０９に戻り、撮影動作を実行する。

ステップＳ１２１２でシステム制御部５０は、フォーカスレンズ１０３を駆動停止位置で停止させる。駆動停止位置とは、往路であれば次の復路、復路であれば次の往路の駆動開始ピント位置のことを指す。

ステップＳ１２１３でシステム制御部５０は、ステップＳ１２０９ないしステップＳ１２１２の撮影で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を実行する。

ステップＳ１２１４でシステム制御部５０は、ステップＳ１２１３で得られた深度合成画像を表示部２８に表示する。深度合成画像を表示部２８に表示した後、ステップＳ１２０２に戻り、信号ＳＷ１が発生しているか否かを判定する。

ステップＳ１２１５でシステム制御部５０は、ステップＳ１２１０で信号ＳＷ１発生が解除されたと判定した場合、フォーカスレンズ１０３を現在のピント位置で停止させる。

ステップＳ１２１６でシステム制御部５０は、ユーザにより電源スイッチ７２やモード切替スイッチ６０を切り替えられることにより、深度合成の撮影モードを終了する指示を受けたか否かを判定する。深度合成の撮影モードの終了指示を受けていなければステップＳ１２０１へ戻りライブビュー動作を行い、終了指示を受けた場合は図１２に示したフローを終了する。

次に、図１３に示したフローチャートを用いて、図１０に示した撮影動作について説明する。

図１３の動作フローにおいてステップＳ１２０１ないしＳ１２１４およびＳ１２１６は、図１２の動作フローと同じ処理のため、説明を省略する。

ステップＳ１３０１でシステム制御部５０は、ステップＳ１３１０で信号ＳＷ１発生が解除されたと判定した場合、フォーカスレンズ１０３をフォーカス範囲の中間ピント位置に移動させる。

次に、図１４に示したフローチャートを用いて、図１１に示した撮影動作のフローについて説明する。

図１４の動作フローにおいてステップＳ１２０１ないしＳ１２１４およびＳ１２１６は、図１２の動作フローと同じ処理のため、説明を省略する。

ステップＳ１４０１でシステム制御部５０は、信号ＳＷ１が発生したときのフォーカスレンズ１０３のピント位置をシステムメモリ５２に保持する。

ステップＳ１４０２でシステム制御部５０は、ステップＳ１４１１で信号ＳＷ１発生が解除されたと判定した場合、フォーカスレンズ１０３をシステムメモリ５２に保持している信号ＳＷ１発生時のピント位置に移動させる。

本実施形態によれば、信号ＳＷ１が解除されたとき、ピント位置を制御することでユーザの望むライブビュー画像を表示できる。具体的には、図９の動作では、信号ＳＷ１が解除されたピント位置でフォーカスレンズ１０３の駆動を停止するため、より早くピント位置固定ライブビューに戻ることが可能である。図１０の動作では、フォーカス範囲の中間のピント位置でフォーカスレンズ１０３の駆動を停止するため、被写体２０３の全体に、比較的ピントの合っている画像をピント位置固定ライブビューで表示することが可能である。図１１の動作では、システム制御部５０が信号ＳＷ１を受けたピント位置を覚えておくため、ピント位置固定ライブビューの期間は、一定のピント位置を表示することが可能である。

（第４の実施形態）
第４の実施形態では、第１の実施形態と異なり、撮影中に被写体が動いてしまう場合を想定して深度合成の処理を行う。以下では、図を用いながら、第１の実施形態との違いを中心に、本実施形態について説明する。

図１５は、本実施形態における撮影動作を説明するための図である。

まず、図１５を用いて、横軸を時刻、縦軸をピント位置とし、フォーカスレンズ１０３および撮像部２２、深度合成部２５の動作について説明する。

時刻ｔ０から時刻ｔ２の期間おける動作は、第１の実施形態と同様である。

時刻ｔ２において、システム制御部５０は、深度合成部２５において深度合成処理を開始させる。

時刻ｔ２において、動き検知部２６は被写体の動きが発生したことを検知し、システム制御部５０に通知する。そして、システム制御部５０は、動き検知部２６からの通知を受けて、深度合成部２５の深度合成処理を中断させる。

時刻ｔ３から時刻ｔ４の期間において、動き検知部２６は被写体に動きがあることを検知し、システム制御部５０に通知する。そして、システム制御部５０は、動き検知部２６からの通知を受けて、深度合成部２５の深度合成処理をペンディングさせる。

被写体の動きが停止する時刻ｔ３の次の往路である時刻ｔ４から時刻ｔ５の期間において、システム制御部５０は、動き検知部２６の動き検知結果から被写体に動きがないことを判断する。これにより、１枚の深度合成画像を得るために、被写体に動きのない適切な１０枚の画像が撮像できたと判定されたことになる。

そして、時刻ｔ５において、システム制御部５０は、深度合成部２５に対し深度合成処理を開始させる。

時刻ｔ６において、深度合成部２５は、１０枚の画像から１枚の深度合成画像を生成したことをシステム制御部５０に通知する。

時刻ｔ７から時刻ｔ８の期間において、システム制御部５０は、動き検知部２６の動き検知結果から被写体に動きがないことを判断する。

そして、時刻ｔ８において、システム制御部５０は、深度合成部２５に対し深度合成処理を開始させる。

次に、図１６、図１７を用いて、本実施形態の撮影動作のフローについて説明する。図１６と図１７における各ステップは、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。また、図１６、図１７の動作フローは、システム制御部５０を介して並列に動作している。

図１６は、本実施形態におけるドライビングレリーズによるフォーカスブラケット撮影の動作を説明するためのフローチャートである。

ステップＳ１６０１ないしステップＳ１６０５は、前述したステップＳ５０１からステップＳ５０５と同様の処理であり、システム制御部５０は、フォーカスレンズの制御および撮像処理を実行する。

ステップＳ１６０６は、前述したステップＳ８０８と同様の処理であり、動き検知部２６は被写体の動き検知を行う。動きが検知された場合は、ステップＳ１６０７に進み、動きが検知されない場合は、ステップＳ１６０８に進む。

ステップＳ１６０７でシステム制御部５０は、動き検知部２６から動き検知の通知を受け取る。

ステップＳ１６０８でシステム制御部５０は、１枚の深度合成画像を生成するために必要な枚数の撮影動作が完了しているか否かを判定する。撮影動作が完了していると判定した場合ステップＳ１６０９に進み、完了していないと判定した場合ステップＳ１６０５に戻り、撮影動作を実行する。

ステップＳ１６０９でシステム制御部５０は、撮像部２２から撮影動作完了の通知を受け取る。

ステップＳ１６１０でシステム制御部５０は、フォーカスレンズ１０３を駆動停止位置で停止させる。駆動停止位置とは、往路であれば次の復路、次の往路の駆動開始ピント位置のことを指す。

ステップＳ１６１１でシステム制御部５０は、ユーザにより電源スイッチ７２やモード切替スイッチ６０が切り替えられることにより、ドライビングレリーズモードを終了する指示を受けたか否かを判定する。ドライビングレリーズモードの終了指示を受けていなければステップＳ１６０１へ戻り、終了指示を受けた場合は図１６に示したフローを終了する。

図１７は、本実施形態における深度合成の処理を説明するためのフローチャートである。

ステップＳ１７０１でシステム制御部５０は、ステップＳ１６０９において通知される撮像部２２の撮像完了を待つ。撮像完了の通知を受けるまでステップＳ１７０１に留まり、撮像完了の通知を受けるとステップＳ１７０２に進む。

ステップＳ１７０２でシステム制御部５０は、ステップＳ１６０７において通知される動き検知部２６の動き検知結果を受け、動きがなければステップＳ１７０４に進み、動きがあればステップＳ１７０３に進む。

ステップＳ１７０３でシステム制御部５０は、深度合成部２５に対し処理を中断させてステップＳ１７０６に進む。

ステップＳ１７０４でシステム制御部５０は、Ｓ１６０５からＳ１６１０の撮像処理で得られた複数枚の画像を用いて、深度合成部２５において深度合成処理を実行する。

ステップＳ１７０５でシステム制御部５０は、深度合成部２５が所定枚数の合成処理を実施したかを判断する。所定枚数の深度合成処理が完了していない場合は、ステップＳ１７０２へ戻り、所定枚数の深度合成処理が完了した場合は、ステップＳ１７０６に進む。

ステップＳ１７０６でシステム制御部５０は、ユーザにより電源スイッチ７２やモード切替スイッチ６０が切り替えられることにより、ドライビングレリーズモードを終了する指示を受けたか否かを判定する。ドライビングレリーズモードの終了指示を受けていなければステップＳ１７０１へ戻り、終了指示を受けた場合は本処理を終了する。

次に、本実施形態における被写体の動きの検知について簡単に説明する。

図１８は、本実施形態における隣接するピント位置の画像を用いた被写体の動きの検知を説明するための図である。

第１の実施形態と同様に、ドライビングレリーズを用いたフォーカスブラケット撮影は、時刻ｔ１から開始した往路の動作と、時刻ｔ２から開始した復路の動作を繰り返す。

動き検知部２６は、撮像された隣接するピント位置の画像を用いて被写体の動き検知を実施する。すなわち、時刻ｔ１からの往路においては、ピント位置の移動に従って、ピント位置Ｆ１で撮像した画像とピント位置Ｆ２で撮像した画像、ピント位置Ｆ２で撮像した画像とピント位置Ｆ３で撮像した画像で動き検知を実施する。さらに、引き続きピント位置Ｆ９で撮像した画像とピント位置Ｆ１０で撮像した画像まで同様の動き検知処理を繰り返す。時刻ｔ２からの復路においては、詳細説明は割愛するが、往路と同様に、動き検知部２６は、ピント位置の移動に従って、撮像された隣接するピント位置の画像を用いて被写体の動き検知処理を繰り返す。

以上の処理により、隣接するピント位置の画像を用いて動き検知を行うことで、高いフレームレートでの動き検知が可能となり、動き検知を用いた処理の応答性を高めることができる。

また、図１９は、本実施形態における同じピント位置の画像を用いた被写体の動きの検知を説明するための図である。ドライビングレリーズを用いたフォーカスブラケット撮影の動作は、図１８と同様である。

動き検知部２６は、撮像された同じピント位置の画像を用いて被写体の動き検知を実施する。ここで、往路同士の同じピント位置で撮像された画像を用いて動き検知を実施することを例として示す。すなわち、時刻ｔ１からの往路のＦ１で撮像した画像と時刻ｔ３からの往路のＦ１１で撮像した画像で動き検知を実施し、引き続きＦ１０で撮像した画像とＦ２０で撮像した画像まで同様の動き検知処理を繰り返す。

説明は省略するが、復路同士の同じピント位置で撮像された画像を用いても、往路と復路の同じピント位置で撮像された画像を用いても構わない。

以上の処理により、同じピント位置の画像を用いて動き検知を行うことで、ピントが合った画像間での動き検知が可能となり、生成される深度合成画像間の動き検知の精度を高めることができる。

なお、以上に説明した被写体の動きの検出方法は、第２の実施形態にも適用できる。

なお、以上の説明では、ドライビングレリーズでの撮影にて説明したが、間欠駆動によるフォーカスブラケット撮影でも構わない。つまり、間欠駆動によるフォーカスブラケット撮影中、被写体が動いてしまうと、同様に深度合成の処理をいったん停止してはよい。

本実施形態によれば、以上の処理により、ドライビングレリーズでの撮影中に被写体が動いた場合、深度合成画像の生成処理を中断することにより、不自然な合成画像を生成することを防ぐことができる。また、被写体の動きが止まると、深度合成画像の生成を再開することにより、深度合成画像のライブビュー表示の更新間隔が長くなることを防止することができる。

（そのほかの実施形態）
以上に記載の実施形態は本発明を実施するための例にすぎず、様々な変形をすることも可能である。

たとえば、第１の実施形態に記載の実施方法（以降、第１の表示モードという）と第２の実施形態に記載の実施方法（以降、第２の表示モードという）を撮影環境により使いわけることもできる。

具体的には、第１の表示モードは、例えばスタジオでの物撮りにおいて、撮像装置を三脚に立て、撮影者が撮像装置から離れており、モニタを見ながら被写体の位置調整をしているような場合に、深度合成画像のライブビューで素早く確認をすることができる。

また、第２の表示モードは、例えば手持ち撮影において、構図を決める間は深度合成しない通常ライブビュー画像で確認をし、構図が決まったら深度合成画像のライブビューで確認をすることができる。

たとえば、撮影を始める前に、状態検出部２７がデジタルカメラ１００の状態検出を行い、検出結果を取得する。ここで取得する検出結果とは、ジャイロセンサからの角速度情報、三脚の着脱状態検出による三脚取り付けの有無、撮像部２２にて撮像された複数枚の画像から求めた動きベクトルから算出した変位量のうち、１つ以上の情報を指す。あるいは、ユーザが操作部７０を操作して直接撮影方法を設定した場合は、状態検出部２７がそれを検出しても良い。システム制御部５０が状態検出部２７から通知された検出結果に基づいてデジタルカメラ１００の状態を判断する。角速度が閾値未満の場合や、三脚が取り付けられている場合、動きベクトルから算出した変位量が閾値未満の場合、第１の表示モードを設定する。また角速度が閾値以上の場合や、三脚が取り付けられていない場合、動きベクトルから算出した変位量が閾値以上の場合、第２の表示モードを設定する。

以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子を内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し作動させる処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ シャッター
１０２ バリア
１０３ フォーカスレンズ
１３ Ｄ／Ａ変換器
１５ メモリ制御部
１８ 記録媒体Ｉ／Ｆ
２２ 撮像部
２３ ＡＦ評価値検出部
２４ 画像処理部
２５ 深度合成部
２６ 動き検知部
２７ 状態検出部
２８ 表示部
３２ メモリ
４０ 電源部
５０ システム制御部
５２ システムメモリ
５３ システムタイマー
５６ 不揮発性メモリ
６０ モード切替スイッチ
６１ シャッターボタン
６２ 第２シャッタースイッチ
６４ 第１シャッタースイッチ
７０ 操作部
７２ 電源スイッチ
８０ 電源制御部
９０ ストロボ
２００ 記録媒体

Claims (37)

1. 撮像指示を受ける指示手段と、
   前記指示手段が前記撮像指示を受ける前に、第１の撮像の方法を行い、前記指示手段が前記撮像指示を受けた後に、第２の撮像の方法を行う撮像手段と、
   前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像と、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像とに対して合成を行う合成手段と、を有し、
   前記撮像手段が、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
   前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする撮像装置。
2. 前記合成手段は、前記第１の複数の画像を用いて第１の合成画像を生成し、前記第２の複数の画像を用いて第２の合成画像を生成し、
   前記第１の合成画像は、前記第１の複数の画像よりも被写界深度が深く、
   前記第２の合成画像は、前記第２の複数の画像よりも被写界深度が深いことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の合成画像を表示する表示手段を有することを特徴とする請求項２に記載の撮像装置。
4. 被写体の動きを検出する第１の検出手段を有し、
   前記第１の検出手段が前記被写体の動きを検出すると、前記表示手段が前記第１の合成画像を表示することを中止することを特徴とする請求項３に記載の撮像装置。
5. 前記表示手段が前記第１の合成画像を表示することを中止した後、前記撮像手段が撮像しているライブビューを表示することを請求項４に記載の撮像装置。
6. 被写体の動きを検出する第１の検出手段を有し、
   前記第１の検出手段が前記被写体の動きを検出すると、前記合成手段が前記合成を中止することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
7. 前記合成手段が前記合成を中止した後、前記撮像手段が撮像しているライブビューを表示することを請求項６に記載の撮像装置。
8. 前記第１の検出手段が、前記被写体の動きが止まることを検出すると、
   前記合成手段が、前記合成を再開することを特徴とする請求項６または７に記載の撮像装置。
9. 前記第１の検出手段は、前記第１の複数の画像のうち、隣り合う前記ピント位置の画像を比較することにより、前記被写体の動きを検出することを特徴とする請求項４ないし８のいずれか１項に記載の撮像装置。
10. 前記第１の検出手段は、前記第１の複数の画像のうち、同じ前記ピント位置の画像を比較することにより、前記被写体の動きを検出することを特徴とする請求項４ないし９のいずれか１項に記載の撮像装置。
11. 前記指示手段が前記撮像指示を受ける前に、前記撮像手段が繰り返し前記第１の撮像の方法で撮像を行い、前記合成手段が、繰り返して前記第１の撮像の方法で得られた最も新しい複数の画像を用いて合成を行い、前記第１の合成画像を更新することを特徴とする請求項３ないし１０のいずれか１項に記載の撮像装置。
12. 前記表示手段は、前記第２の合成画像も表示することを特徴とする請求項３ないし１０のいずれか１項に記載の撮像装置。
13. 記録手段を有し、
    前記記録手段は、前記第２の合成画像を記録し、前記第１の合成画像を記録しないことを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. 前記撮像手段は、前記第２の撮像の方法で、前記フォーカスレンズが停止し、静定になるのを待ってから、前記撮像素子の読出しを行うことを特徴とする請求項１ないし１３のいずれか１項に記載の撮像装置。
15. 前記撮像手段は、前記フォーカスレンズを往復させ、前記合成手段が１枚の合成画像を合成するために必要な画像を、往路と復路とでそれぞれ撮像することを特徴とする請求項１ないし１３のいずれか１項に記載の撮像装置。
16. 前記撮像手段が前記第１の撮像の方法を行っている途中、前記指示手段が前記撮像指示を受けると、前記ピント位置を所定の位置に移動させてから前記第２の撮像の方法を始めることを特徴とする請求項１ないし１５のいずれか１項に記載の撮像装置。
17. 前記撮像手段が前記第１の撮像の方法を行っている途中、前記指示手段が前記撮像指示を受けると、前記ピント位置を所定の位置までに移動させている間に、前記第１の撮像の方法での撮像を行わないことを特徴とする請求項１６に記載の撮像装置。
18. 前記撮像手段が前記第１の撮像の方法を行っている途中、前記指示手段が前記撮像指示を受けると、前記ピント位置を所定の位置までに移動させている間の前記フォーカスレンズの動きは、前記撮像手段が前記第１の撮像の方法を行っている間の前記フォーカスレンズの動きよりも速いことを特徴とする請求項１６に記載の撮像装置。
19. 前記撮像手段が前記第１の撮像の方法を行っている途中、前記指示手段が前記撮像指示を受けると、すぐに前記第２の撮像の方法を始めることを特徴とする請求項１６に記載の撮像装置。
20. 前記ピント位置を所定の位置に移動させてから前記撮像手段が前記第１の撮像の方法を始めることを特徴とする請求項１ないし１５のいずれか１項に記載の撮像装置。
21. 前記所定の位置は、前記第１の撮像の方法を開始するときの位置であることを特徴とする請求項１６ないし２０のいずれか１項に記載の撮像装置。
22. 前記所定の位置は、前記第１の撮像の方法での往復の中間の位置であることを特徴とする請求項１６ないし２０のいずれか１項に記載の撮像装置。
23. 前記所定の位置は、前記第１の撮像の方法での往復の往路を終了する位置であることを特徴とする請求項１６ないし２０のいずれか１項に記載の撮像装置。
24. 前記所定の位置は、前記第２の撮像の方法で得られる前記第２の複数の画像のいずれかの前記ピント位置であることを特徴とする請求項１６ないし２０のいずれか１項に記載の撮像装置。
25. ボタンを備える操作部を有し、
    前記ボタンが押下されることに基づいて、前記指示手段が前記撮像指示をうけたと判断することを特徴とする請求項１ないし２４のいずれか１項に記載の撮像装置。
26. 前記ボタンが押下されることは、前記ボタンが半押しされることを含めることを特徴とする請求項２５に記載の撮像装置。
27. 前記撮像指示は、前記第１の撮像の方法または第２の撮像の方法を行うための撮像パラメータを取得するための指示を含めることを特徴とする請求項１ないし２６のいずれか１項に記載の撮像装置。
28. 第２の検出手段と、
    前記第２の検出手段が検出した情報に基づいて、第１の撮像の方法または第２の撮像の方法を行う撮像手段と、
    前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像から第１の合成画像、または、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像から第２の合成画像を生成する合成手段と、
    前記第１の合成画像または前記第２の合成画像を表示する表示手段と、を有し、
    前記撮像手段が、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
    前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする撮像装置。
29. 前記第２の検出手段は、ユーザの操作を検出することを特徴とする請求項２８に記載の撮像装置。
30. 前記第２の検出手段は、角速度を検出することを特徴とする請求項２８に記載の撮像装置。
31. 前記第２の検出手段は、前記撮像装置に三脚が装着されているかどうかを検出することを特徴とする請求項２８に記載の撮像装置。
32. 前記第２の検出手段は、撮像手段が撮像した画像から動きベクトルを検出することを特徴とする請求項２８に記載の撮像装置。
33. 撮像指示を受ける指示ステップと、
    前記指示ステップにおいて前記撮像指示を受ける前に、第１の撮像の方法を行い、前記指示ステップにおいて前記撮像指示を受けた後に、第２の撮像の方法を行う撮像ステップと、
    前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像と、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像とに対して合成を行う合成ステップと、を有し、
    前記撮像ステップにおいては、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
    前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする撮像方法。
34. 第２の検出ステップと、
    前記第２の検出ステップにおいて検出した情報に基づいて、第１の撮像の方法または第２の撮像の方法を行う撮像ステップと、
    前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像から第１の合成画像、または、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像から第２の合成画像を生成する合成ステップと、
    前記第１の合成画像または前記第２の合成画像を表示する表示ステップと、を有し、
    前記撮像ステップにおいて、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
    前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とする撮像方法。
35. 撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
    撮像指示を受ける指示ステップと、
    前記指示ステップにおいて前記撮像指示を受ける前に、第１の撮像の方法を行い、前記指示ステップにおいて前記撮像指示を受けた後に、第２の撮像の方法を行う撮像ステップと、
    前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像と、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像とに対して合成を行う合成ステップと、を行わせ、
    前記撮像ステップにおいては、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
    前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とするプログラム。
36. 撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
    第２の検出ステップと、
    前記第２の検出ステップにおいて検出した情報に基づいて、第１の撮像の方法または第２の撮像の方法を行う撮像ステップと、
    前記第１の撮像の方法で得られたピント位置の異なる第１の複数の画像から第１の合成画像、または、前記第２の撮像の方法で得られたピント位置の異なる第２の複数の画像から第２の合成画像を生成する合成ステップと、
    前記第１の合成画像または前記第２の合成画像を表示する表示ステップと、を行わせ、
    前記撮像ステップにおいて、前記第１の撮像の方法で、フォーカスレンズを駆動し続けながら撮像素子の読出しを行い、前記第１の複数の画像を取得し、
    前記第２の撮像の方法で、前記フォーカスレンズを異なる位置に停止させ撮像素子の読出しを複数回行い、前記第２の複数の画像を取得することを特徴とするプログラム。
37. 請求項３５または３６に記載のプログラムを記録したコンピュータが読出し可能な記録媒体。

Images