JP2022010685A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】深度合成を行う場合、深度合成の画像の被写界深度が相当する絞り値などのパラメータを予め示したい。【解決手段】上記課題を解決するため、本願発明に係る撮像装置は、第１の絞り値を設定する設定手段と、前記設定手段が設定した絞り値に基づいて、撮像を行う撮像手段と、第２の絞り値を表示する表示手段と、制御手段と、を有し、前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像手段が、前記第１の絞り値で前記撮像を行い、前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御手段が、前記撮像手段がピント位置の異なる複数の画像を撮像し、前記複数の画像に対して合成を行う場合に生成する合成画像の絞り値を前記第２の絞り値として算出し、前記合成画像の絞り値が、前記予め定められた条件を満たすことを特徴とする。【選択図】図９

Description

本発明は、ピント位置の異なる複数の画像を撮像し、深度合成を行う画像装置に関するものである。

デジタルカメラなどからの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

また、特許文献２では、深度合成の画像と同じ被写界深度を有する画像を撮像するために必要な絞り値を算出し、深度合成の画像の付加情報として記録する方法が開示されている。

特開２０１５－２１６５３２号公報 特開２０１９－３６８８５号公報

しかしながら、特許文献２に記載の方法を用いては、深度合成の画像が生成されていなければ深度合成の画像の付加情報が得られない。

本発明は、上述した課題を鑑みてなされたものであり、深度合成の撮像を行うときに、深度合成の撮像のパラメータを用いて、深度合成の画像の被写界深度が相当する絞り値を示すことができる撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、第１の絞り値を設定する設定手段と、前記設定手段が設定した絞り値に基づいて、撮像を行う撮像手段と、第２の絞り値を表示する表示手段と、制御手段と、を有し、前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像手段が、前記第１の絞り値で前記撮像を行い、前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御手段が、前記撮像手段がピント位置の異なる複数の画像を撮像し、前記複数の画像に対して合成を行う場合に生成する合成画像の絞り値を前記第２の絞り値として算出し、前記合成画像の絞り値が、前記予め定められた条件を満たすことを特徴とする撮像装置を提供する。

本発明の構成によれば、深度合成の撮像を行うとき、予め深度合成の画像の被写界深度が相当する絞り値を算出することができる。

本発明の実施形態に係る撮像装置としてのデジタルカメラの外願を示す図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 第１の実施形態における合成画像の生成について説明するためのフローチャートである。 第１の実施形態における撮像について説明するためのフローチャートである。 第１の実施形態における位置合わせについて説明するためのフローチャートである。 第１の実施形態における合成について説明するためのフローチャートである。 第１の実施形態における被写体像が結像面に結像する様子を示す図である。 第１の実施形態における撮像モードの設定について説明するためのフローチャートである。 第１の実施形態における絞り値の設定を説明するための図である。 第１の実施形態における仮想Ｆ値の算出について説明するための図である。 第２の実施形態における撮像モードの設定について説明するためのフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（第１の実施形態）
図１は、本発明に係る撮像装置としてのデジタルカメラ１００の外観を示す図である。

図１において、デジタルカメラ１００は、表示部２８、モード切替スイッチ６０、シャッターボタン６１、操作部７０、電源スイッチ７２、コントローラホイール７３、コネクタ１１２、記録媒体２００、記録媒体スロット２０１、及び蓋２０２を備える。

表示部２８は、画像や各種情報を表示する表示部である。

モード切替スイッチ６０は、各種モードを切り替えるための操作部である。

シャッターボタン６１は、撮像指示を行うための操作部である。

操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。

電源スイッチ７２は、デジタルカメラ１００の電源オン、電源オフを切り替える。

コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。

コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。

記録媒体２００はメモリカードやハードディスク等の記録媒体である。

記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。

蓋２０２は記録媒体スロット２０１の蓋である。

図２は、図１のデジタルカメラ１００のハードウェア構成を示すブロック図である。

図２において、デジタルカメラ１００は、バリア１０２、フォーカスレンズ１０３、シャッター１０４、撮像部２２を含む撮像系を備える。

バリア１０２は、デジタルカメラ１００の撮像系を覆うことにより、撮像系の汚れや破損を防止する。

フォーカスレンズ１０３は、シャッター１０４及びバリア１０２の間に配置される不図示のレンズ群に含まれるレンズである。尚、このレンズ群には、ズームレンズ等、他のレンズも存在する。

シャッター１０４は、絞り機能を備えるシャッターである。

撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、及びＡ／Ｄ変換処理機能を備えている。撮像部２２の出力データ（撮像画像）は、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。後述するドライビングレリーズによるフォーカスブラケット撮像の際には、設定枚数分の撮像画像が全てメモリ３２に書き込まれる。

デジタルカメラ１００は、更に、ＡＦ評価値検出部２３、ストロボ９０、画像処理部２４、メモリ３２、Ｄ／Ａ変換器１３、表示部２８、不揮発性メモリ５６、システム制御部５０、及びシステムタイマー５３を備える。

ＡＦ評価値検出部２３は、撮像部２２の内部にあってデジタル画像信号から得られるコントラスト情報などからＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。

ストロボ９０は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。

表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述の実施例１，２にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。具体的には、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、被写体情報、被写体距離、および、画像のコントラスト情報に基づく後述の実施例１，２におけるドライビングレリーズを用いたフォーカスブラケット撮像を実現する。すなわち、システム制御部５０は、かかる撮像の間、フォーカスレンズ１０３やシャッター１０４の駆動制御を行うことで、ピント位置が異なる複数の画像が順次撮像される。尚、かかる撮像処理で得られる隣接する撮像画像間のピント位置変化量（フォーカスステップ）は、ユーザが操作部７０を介し、予め設定された複数の値から選択することで設定される。

システムメモリ５２は、ＲＡＭ等により構成され、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

デジタルカメラ１００は、また、モード切替スイッチ６０、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０からなる、システム制御部５０に各種の動作指示を入力するための操作手段を備える。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６４は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮像準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光）処理等の動作を開始する。尚、ユーザは、上記撮像準備指示により開始するＡＦ処理として中央１点ＡＦ処理や顔ＡＦ処理を選択することが可能である。ここで、中央１点ＡＦ処理とは撮像画面内の中央位置１点に対してＡＦを行う処理を指し、顔ＡＦ処理とは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行う処理を指す。

第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出する、いわゆる、タッチホイールであってもよい。

デジタルカメラ１００は、更に、電源制御部８０、電源部４０、及び記録媒体Ｉ／Ｆ１８を備える。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮像が可能である。中央１点ＡＦとは撮像画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行うことである。

本実施形態において、システム制御部５０は、被写体情報、被写体距離、および、画像のコントラスト情報に基づいて、フォーカスブラケット撮像時の撮像シーケンスを決定する。そしてシステム制御部５０は、決定した撮像シーケンスの条件に基づいて、撮像レンズ１０３や絞り・シャッター１０４を駆動して、ピント位置が異なる複数の画像を順次撮像する。隣接撮像画像間のピント位置の変化量（フォーカスステップ）は、ユーザが操作部７０を介し、予め設定された複数の値から選択することできる。

次に、深度合成処理について説明する。

図３は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ３０１では、撮像部２２は、ピント位置の異なる複数の画像を撮像する。ステップＳ３０２では、システム制御部５０は、ステップＳ８０１で撮像部２２が撮像した複数の画像に対して位置合わせを行う。ステップＳ３０３で、画像処理部２４は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

図４は、本実施形態におけるステップＳ３０１での撮像について説明するためのフローチャートである。

ステップＳ４０１で、システム制御部５０は、ピント位置の設定を行う。たとえば、ユーザは操作部７０に設けられるタッチパネルを通して合焦位置を指定し、指定した合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、システム制御部５０は、設定したピント位置において、距離順に撮像順番を決める。

ステップＳ４０２で、撮像部２２は、ステップＳ４０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

ステップＳ４０３で、システム制御部５０は、ステップＳ４０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図４に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ４０２に戻る。

図５は、本実施形態におけるステップＳ３０２での位置合わせについて説明するためのフローチャートである。

ステップＳ５０１では、システム制御部５０は、ステップＳ３０１で撮像部２２が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ５０２では、システム制御部５０は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ５０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。システム制御部５０は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ５０３では、システム制御部５０は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、システム制御部５０は、基準画像に、複数のブロックを設定する。システム制御部５０は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、システム制御部５０は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、システム制御部５０は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。システム制御部５０は、基準画像のブロックの中心と前述した対応点から、ステップＳ５０３でいう位置のずれをベクトルとして算出する。システム制御部５０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ５０４で、システム制御部５０で、基準画像と対象画像との位置のずれ量から変換係数を算出する。システム制御部５０は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ５０５で、画像処理部２４は、ステップＳ５０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、システム制御部５０は、式（１）に示した式を用いて変形を行うことができる。

式（１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ５０４でシステム制御部５０が算出した変形係数を示す。

ステップＳ５０６で、システム制御部５０は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、図５に示したフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ５０２に戻る。

図６は、本実施形態におけるステップＳ３０３での画像の合成について説明するためのフローチャートである。

ステップＳ６０１で、画像処理部２４は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部２４は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の式（２）を用いて輝度Ｙを算出する。

Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・式（２）
次に、３×３の画素の輝度Ｙの行列Ｌに、下記の式（３）乃至式（５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ６０２で、画像処理部２４は合成マップを生成する。合成マップの生成方法としては、画像処理部２４は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。

具体的な算出方法の一例を以下に示す。

合成マップの生成方法としては、画像処理部２４は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

（式６）では、Ｃｍ（ｘ，ｙ）はステップＳ６０１で算出したコントラスト値を表し、Ａｍ（ｘ，ｙ）は合成マップの比率を表し、を生成する。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。

ただし、ステップＳ６０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

ステップＳ６０３では、画像処理部２４は、ステップＳ６０２で生成した合成マップに従い、合成画像を生成する。

以上は、深度合成の合成画像の作成のための処理の説明であった。

以下では、深度合成の必要性を説明する。

図７は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図７（ａ）は、被写体７０１が光学レンズ７０２によって面７０３ａ上に像７０４として結像している様子を示している。すなわち、面７０３ａと撮像部１０４の撮像センサ面とが互いに一致すれば、被写体７０１は面７０３ａにて「点」として結像し、合焦画像として記録される。

図７（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面７０３ｂが図７Ａに示される面７０３ａとは異なる位置にある場合、光学レンズ７０２により結像される被写体７０１は、錯乱円７０５として撮像センサ面７０３ｂ上に写る。このとき、錯乱円７０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円７０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円７０５が許容錯乱円よりも大きい場合、撮像センサ面７０３ｂではぼけた画像が得られる。

図７（ｃ）は、上記の様子を側面から示した図である。ここで、焦点７１０にて被写体が結像し、面７１１ａの位置に撮像センサ面が存在する場合、錯乱円径７１２ａが得られる。このときの錯乱円径７１２ａは、撮像センサの許容錯乱円径７１３よりも小さい。このため、撮像センサにて記録される画像７１７は、ボケの無い合焦画像となる。一方、撮像センサ面が面７１４ａの位置に存在する場合、このときの錯乱円径７１５ａは、許容錯乱円径７１３よりも大きい。このため、撮像センサ面７１４ａ上の画像７１８ａは、ぼけた画像となる。錯乱円径７１２ａが許容錯乱円径７１３よりも小さくなる斜線で示される領域は被写界深度７１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図７（ｄ）は、図７（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、入射光の径が奥行きの違いとなるため、面７１１ｂに対しての錯乱円径７１２ｂ、面７１４ｂに対しての錯乱円径７１５ｂのようにそれぞれ変化する。このとき、図７（ｃ）の錯乱円径７１５ａと比較して、図７（ｄ）の錯乱円径７１５ｂは小さい。このため、そのときに得られる画像７１８ｂは、画像７１８ａよりもボケ量の少ない画像となる。また、そのときの被写界深度７１６ｂは、被写界深度７１６ａよりも深い。

しかしながら、絞りを絞ると被写界深度が深くなるが、撮像装置の光学系より限界がある。また、絞りを絞ると被写界深度が深くなるが、解像感が低くなる。そのため、撮像者が撮像を行うとき、撮像したいシーンにより絞りを制限したい場合もある。いずれの場合は、撮像で使える絞り値は上限があるとはいえる。絞り値が上限に達した場合の被写界深度よりも深い被写界深度の画像を取得したければ、被写界深度の機能が有用になる。

次に、本実施形態における撮像モードの設定について説明する。

図８は、本実施形態における撮像モードの設定について説明するためのフローチャートである。

まず、ステップＳ８０１で、撮像動作の前に、ユーザが絞り値を設定する。たとえば、ユーザが、コントローラホイール７３を回転操作しながら、絞り値を順次に変えながら、表示部２８にライブビュー表示された被写体像を見て、撮像に適する絞り値を決める。

次に、ステップＳ８０２で、システム制御部５０は、ステップＳ８０１で設定した絞り値に対応するＦ値を、閾値と比較し、撮像モードを決定する。ここでいう撮像モードは、深度合成のモード、もしくは、１枚の画像を撮像するモードである。

図９は、本実施形態における絞り値の設定を説明するための図である。図９（ａ）～（ｄ）の下の文字は、それぞれ撮像モード、シャッター速度、Ｆ値、ＩＳＯ感度を意味する。ユーザが、ＩＳＯ感度を１００に固定し、絞り値を変更しながら撮像していくとする。最初に、図９（ａ）では、ユーザが、Ｆ値をＦ１６と設定する。デジタルカメラ１００が自動的に、シャッター速度を１／１００に設定する。次に、図９（ｂ）では、ユーザが、Ｆ値をＦ２２と設定する。デジタルカメラ１００が自動的に、シャッター速度を１／５０に設定する。

ここで、デジタルカメラ１００のＦ値の上限（閾値）は２２とする。ここでのＦ値の上限（閾値）は、光学系の性能によるものでもよく、ユーザが解像感などのため予め設定したものとしてもよい。光学系の性能によるものというのは、レンズ１０３の絞りで実現可能な絞り値を閾値に設定すると想定しているが、異なる条件で閾値を定めてもよい。たとえば、小絞りにおける回折ボケを回避するために、回折ボケの影響が少ない段階の絞り値を閾値にしてもよい。レンズ交換式デジタルカメラであれば、交換レンズ自体に閾値の情報を保持させ、レンズから閾値を取得して設定する。またはＷｅｂサーバー上にレンズと閾値の条件を保存しておき、装着された交換レンズの情報をＷｅｂサーバーから取得して設定することも可能である。

ユーザが、Ｆ値がＦ２２の状態よりも絞った状態に設定しようとしても、１枚の画像を撮像するだけでＦ値がＦ２２の状態よりも絞った状態の画像が得られない。したがって、Ｆ値がＦ２２の状態よりも絞った状態の画像が取得したければ、ここで深度合成を行う必要がある。

図９（ｃ）は、ユーザが図９（ｂ）の状態よりもさらに絞りを絞ったときのライブビュー画像の表示を示している。撮像モードを示す文字がＤｅｐからＤｅｐ＋に変わり、深度合成のモードに入ったことを示している。また、Ｆ値を示す文字が、下線付きのＦ２７．６になり、計算で得られた仮想的なＦ値であることを示している。実際に撮像部２２が撮像するときのＦ値がＦ２７．６でない。図９（ｄ）は、図９（ｃ）よりもさらに絞りを絞ったときのライブビュー画像を示す。

図８に示したフローチャートにおいては、システム制御部５０は、ステップＳ８０１で設定したＦ値が閾値より大きければ、ステップＳ８０３に進み、仮想Ｆ値を算出し、そうでなければ、ステップＳ８０６に進む。ステップＳ８０６で、表示部２８が、ステップＳ８０１で設定したＦ値を表示し、ステップＳ８０７で、撮像部２２がステップＳ８０１で設定したＦ値で１枚の画像を撮像する。

図１０は、本実施形態における仮想Ｆ値の算出について説明するための図である。

図１０に示したシーンにおいて、下記の（式７）の関係が成り立つ。

ステップＳ８０１設定した絞り値に相当するＦ値を（式７）に代入すると、被写界深度を算出できる。ここで算出した被写界深度をＮ等分し、深度合成に用いる画像のＦ値を逆算する。ただし、ここでのＮは、深度合成に用いる画像のＦ値が閾値より小さくなるように設定しなければならない。撮像回数を減らすために、システム制御部５０は、深度合成に用いる画像のＦ値が閾値より小さくなるよう最小のＮを設定するのは好ましい。最後に、深度合成に用いる画像のＦ値を使って深度合成の合成画像のＦ値を算出する。ここでの深度合成の合成画像のＦ値を、「仮想Ｆ値」としてステップＳ８０４で表示部２８が表示する。

ステップＳ８０５で、システム制御部５０は、深度合成の処理を行う。深度合成の処理とは、前述した図３に示したフローの処理である。深度合成で生成した合成画像は、ステップＳ８０１で設定した絞り値で仮に撮像できた場合に得た画像と同じ被写界深度を有する。または、完全に被写界深度が同じになることが困難だとしても、合成画像の被写界深度が、設定した絞り値で仮に撮像できた場合に得た画像の被写界深度を含むことが望まれる。

しかしながら、上記の実施方法はあくまでも一例であり、さまざまな変形で実施することができる。たとえば、上記の説明では、深度合成に用いる画像はそれぞれ同じ被写界深度を有するが、これに限らない。例を挙げると、ユーザが、ステップＳ８０１で設定した絞り値がＦ２５に相当し、Ｆ値の閾値が２２とすると、デジタルカメラ１００が以下のように深度合成を行うことができる。まず、デジタルカメラ１００がＦ２２の画像を撮像する。つぎに、デジタルカメラ１００が、絞りを開けて、たとえば、Ｆ５．６で、もう１枚の画像を撮像する。次に、デジタルカメラ１００が、撮像した２枚の画像を合成し、Ｆ２７．６で撮像した場合と同じ被写界深度の合成画像を生成する。

本実施形態によれば、デジタルカメラ１００が、ユーザが設定した絞り値の画像を１回の撮像動作で得られないとき、自動的に深度合成のモードに入り、ユーザが設定した絞り値の合成画像を取得できる。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、シャッター速度まで考慮し、撮像モードの選択を行う。

一般にシャッター速度Ｔｖが、（１／焦点距離ｆ）よりも長くなると、手振れによる画質の低下が懸念される。被写界深度を大きくするために絞りを操作していくと、光量を維持するためにシャッター速度Ｔｖが伸び、結果として手振れの影響で撮像画像のコントラストが低下してしまう。本実施形態では、第１の実施形態に加え、さらに手振れの影響を考慮し、撮像モード切り替えの処理を行うことについて説明する。

図１１は、本実施形態における撮像モードの設定について説明するためのフローチャートである。

ステップＳ１１０１ないしステップＳ１１０７の処理は、第１の実施形態のステップＳ７０１ないしステップＳ７０７と同様である。

ステップＳ１１１０で、システム制御部５０は、シャッター速度と１／焦点距離ｆとを比較する。シャッター速度が１／焦点距離ｆ以上になる場合、システム制御部５０が深度合成に適すると判断し、ステップＳ１１０３に進む。逆に、シャッター速度が１／焦点距離ｆより小さい場合、たとえ設定したＦ値の値が閾値より大きくてもシステム制御部５０が深度合成のモードを設定しない。

本実施形態によれば、シャッター速度を考慮し、手振れによる画質の低下が予想される場合、深度合成のモードに設定しなく、無駄な撮像を行わせないことができる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したもの過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１５ メモリ制御部
１８ Ｉ／Ｆ
２２ 撮像部
２３ Ａ／Ｄ変換器
２４ 画像処理部
２８ 表示部
３０ 電源部
３２ メモリ
４０ 露光制御部
４２ フォーカス制御部
５０ システム制御部
５１ 演算部
５２ システムメモリ
５３ システムタイマー
５４ 画像合成部
５６ 不揮発性メモリ
７０ 操作部
８０ 電源制御部
１００ 撮像装置
１０１ シャッター
１０２ バリア
１０３ レンズ
２００ 記録媒体

Claims (16)

1. 第１の絞り値を設定する設定手段と、
   前記設定手段が設定した絞り値に基づいて、撮像を行う撮像手段と、
   第２の絞り値を表示する表示手段と、
   制御手段と、を有し、
   前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像手段が、前記第１の絞り値で前記撮像を行い、
   前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御手段が、前記撮像手段がピント位置の異なる複数の画像を撮像し、前記複数の画像に対して合成を行う場合に生成する合成画像の絞り値を前記第２の絞り値として算出し、
   前記合成画像の絞り値が、前記予め定められた条件を満たすことを特徴とする撮像装置。
2. 前記予め定められた条件を満たすとは、該絞り値が対応するＦ値の値が、前記撮像手段が撮像できる最も大きいＦ値の値よりも大きいことであることを特徴とする請求項１に記載の撮像装置。
3. 前記予め定められた条件を満たすとは、該絞り値が対応するＦ値の値が、予め定められた閾値よりも大きいことであることを特徴とする請求項１に記載の撮像装置。
4. 前記第１の絞り値が予め定められた条件を満たさない場合、前記表示手段が、前記第１の絞り値を前記第２の絞り値として表示することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記表示手段が、前記撮像手段が前記撮像を行う前に、前記第２の絞り値を表示することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記表示手段が、ライブビュー画像とともに、前記第２の絞り値を表示することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御手段が、前記撮像手段が所定枚数の前記複数の画像を撮像し、
   前記複数の画像に対して合成を行う場合に生成する合成画像が前記予め定められた条件を満たすような最も少ない枚数を前記所定枚数として設定することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記制御手段が、前記複数の画像から合焦している領域を抽出して前記合成画像を生成することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記合成画像は、前記第１の絞り値で撮像できた場合の被写界深度を有することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 前記合成画像の被写界深度は、前記第１の絞り値で撮像できた場合の被写界深度を含むことを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
11. 前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像手段が、前記第１の絞り値で１枚の画像を撮像することを特徴とする請求項１ないし１０のいずれか１項に記載の撮像装置。
12. 前記第１の絞り値が前記予め定められた条件を満たす場合でも、前記撮像手段が前記撮像を行うときのシャッター速度が所定の速度より遅いとき、
    前記撮像手段が、前記第１の絞り値で前記撮像を行うことを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 前記複数の画像は、光軸方向での前記ピント位置が異なることを特徴とする請求項１ないし１２のいずれか１項に記載の撮像装置。
14. 第１の絞り値を設定する設定ステップと、
    前記設定ステップにおいて設定した絞り値に基づいて、撮像を行う撮像ステップと、
    第２の絞り値を表示する表示ステップと、
    制御ステップと、を有し、
    前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像ステップにおいて、前記第１の絞り値で前記撮像を行い、
    前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御ステップにおいては、前記撮像ステップにおいてピント位置の異なる複数の画像を撮像し、前記複数の画像に対して合成を行う場合に生成する合成画像の絞り値を前記第２の絞り値として算出し、
    前記合成画像の絞り値が、前記予め定められた条件を満たすことを特徴とする撮像方法。
15. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    第１の絞り値を設定する設定ステップと、
    前記設定ステップにおいて設定した絞り値に基づいて、撮像を行う撮像ステップと、
    第２の絞り値を表示する表示ステップと、
    制御ステップと、を行わせ、
    前記第１の絞り値が予め定められた条件を満たさない場合、前記撮像ステップにおいて、前記第１の絞り値で前記撮像を行い、
    前記第１の絞り値が前記予め定められた条件を満たす場合、前記制御ステップにおいては、前記撮像ステップにおいてピント位置の異なる複数の画像を撮像し、前記複数の画像に対して合成を行う場合に生成する合成画像の絞り値を前記第２の絞り値として算出し、
    前記合成画像の絞り値が、前記予め定められた条件を満たすことを特徴とするプログラム。
16. 請求項１５に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。
    
    

Images