JP2015204470A

JP2015204470A - 撮像装置およびその制御方法ならびにプログラム

Info

Publication number: JP2015204470A
Application number: JP2014081437A
Authority: JP
Inventors: 太田　宏樹; Hiroki Ota; 宏樹太田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-04-10
Filing date: 2014-04-10
Publication date: 2015-11-16

Abstract

【課題】複数の画像を合成する際の処理負担を軽減しつつ主要被写体以外の被写体のボケを好適に強調することが可能な撮像装置を提供する。
【解決手段】予め定められた被写体が存在する距離範囲の少なくとも一部を被写界深度に含む第１の撮影条件と、第１の撮影条件よりも被写界深度が浅い第２の撮影条件とを決定する。また、第１の撮影条件と第２の撮影条件に従った撮影を行って画像データを取得する。そして、画像データを合成し、予め定められた被写体を強調した合成画像を生成する。このとき、撮像装置は、第１の撮影条件として距離範囲の全体を被写界深度に含む撮影条件が決定できない場合、第１の撮影条件として、それぞれの撮影条件における被写界深度の組み合わせが距離範囲を含むような、焦点位置の異なる複数の撮影条件を決定する。一方で、第２の撮影条件として、距離範囲よりも遠い位置に存在する被写体のボケ量が予め定められた値以上となる撮影条件を決定する。
【選択図】図２

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特に複数の画像を合成する技術に関する。

カメラからの距離が異なる複数の被写体にピントのあった画像を撮影したい場合、絞りの開口径を小さくして被写界深度を拡大することができる。しかし、複数の被写体全てが被写界深度内に入る絞り値が使用できるとは限らない。そのため、合焦距離の異なる複数の画像を撮影し、合成する構成が提案されている（特許文献１）。

また、フォーカスブラケット撮影を行い、注目被写体に合焦した画像以外の画像の鮮鋭度が最も高い画素は、鮮鋭度の低い他の画像の画素を選択することで画像合成して、注目被写体を強調した画像を生成する技術が知られている（特許文献２）。

特開平１０−１０８０５７号公報特開２０１０−２７９０５４号公報

注目被写体を強調するために、背景領域がボケた画像を撮影するには、絞りの開口径を大きくして被写界深度を浅くする必要がある。そのため、距離の異なる複数の被写体にピントがあっており、かつ背景領域がボケた画像を特許文献１に記載された合成技術で得るには、各被写体について被写界深度の浅い画像を取得する必要がある。従って、被写体の数が多いと撮影に時間がかかるほか、画像間における被写体位置が変化しやすくなる。

また、特許文献２では注目被写体より近い距離および遠い距離に合焦させて撮影した画像を用いて注目被写体以外の領域のボケを強調するが、注目被写体の距離が遠い場合、注目被写体の領域とボケた領域との境界が不自然になる場合があった。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、複数の画像を合成する際の処理負担を軽減しつつ主要被写体以外の被写体のボケを好適に強調することが可能な撮像装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、予め定められた被写体が存在する距離範囲の少なくとも一部を被写界深度に含む第１の撮影条件と、第１の撮影条件よりも被写界深度が浅い第２の撮影条件とを決定する決定手段と、第１の撮影条件と第２の撮影条件に従った撮影を行い、画像データを取得する取得手段と、画像データを合成し、予め定められた被写体を強調した合成画像を生成する合成手段と、を有し、決定手段は、第１の撮影条件として距離範囲の全体を被写界深度に含む撮影条件が決定できない場合、第１の撮影条件として、それぞれの撮影条件における被写界深度の組み合わせが距離範囲の全体を含むような、焦点位置の異なる複数の撮影条件を決定し、第２の撮影条件として、距離範囲よりも遠い位置に存在する被写体のボケ量が予め定められた値以上となる撮影条件を決定する、ことを特徴とする。

本発明によれば、複数の画像を合成する際の処理負担を軽減しつつ主要被写体以外の被写体のボケを好適に強調することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図本発明の実施形態に係るフォーカスブラケット撮影に適用される、合成画像の生成に必要な各画像の撮影条件を示す図図２に示す撮影条件で撮影された各画像を合成する処理を示す図本発明の実施形態に係るフォーカスブラケット撮影の一連の動作を示すフローチャート主要被写体、前景または背景の撮影条件を決定するフローチャートおよび画像合成処理を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、複数枚の画像を撮影可能であってこれらの合成が可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明はデジタルカメラに限らず、複数枚の画像を撮影可能であってこれらの合成が可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、タブレット端末、パーソナルコンピュータ、眼鏡型の情報端末などが含まれてよい。

（１デジタルカメラ１００の構成）
図１は、本発明の実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。撮影レンズ１０１は撮影光学系を形成し、レンズ群１０２〜１０４およびシャッタ１０５を有している。ズームレンズ１０２は焦点距離を調節することで光学的に画角を変更し、フォーカスレンズ１０３は焦点位置を調節する。防振レンズ１０４は手ぶれに起因する像振れを補正する補正用レンズであり、光量を調節する絞りおよびシャッタ１０５は露出制御に使用する。撮影レンズ１０１を通過した光は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子１０６にて受光され、光信号から電気信号へと変換される。電気信号は、画像処理回路１０７に入力されて、画素補間処理や色変換処理等が施された後、画像データとして内部メモリ１０８に送られる。内部メモリ１０８はＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等で構成される。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等で構成され、撮影した画像データとともに、撮影情報などを表示する。表示部１０９は画像データや撮影情報を表示するライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現する。内部メモリ１０８に保存されているデータは、画像フォーマットに応じて圧縮伸長処理部１１０にて圧縮伸長されて、デジタルカメラ１００に装着されるメモリカード等の外部記録媒体や、不揮発性メモリなどの記憶メモリ１１１に記録される。

撮影レンズ１０１が有するレンズ群１０２〜１０４およびシャッタ１０５は駆動部１１２〜１１５により制御される。絞りシャッタ駆動部１１２は、画像処理回路１０７における画像処理により得られた輝度情報に基づいて露出制御値（絞り値およびシャッタ速度）を算出し、算出結果に基づき絞りおよびシャッタ１０５を駆動して自動露出（ＡＥ）制御を行う。防振レンズ駆動部１１３は、ジャイロセンサ等の角速度センサ１３０や加速度センサ１３１の情報に基づいてデジタルカメラ１００に加わる振れ量を算出し、その振れを打ち消すように防振レンズ１０４を駆動する。ズームレンズ駆動部１１５はズーム操作指示に従ってズームレンズ１０２を駆動する。フォーカスレンズ駆動部１１４はフォーカスレンズ１０３を駆動する。例えば、コントラスト・オートフォーカス（ＡＦ）方式による制御が行われる場合、操作部１１６のレリーズスイッチ１１７が半押しされると、ズームレンズ駆動部１１５はフォーカスレンズ１０３を駆動させる。ズームレンズ駆動部１１５は、得られた画像データに対するコントラスト評価値が最も高くなる位置にフォーカスレンズ１０３を駆動させ、被写体に合焦させる。なお、焦点の制御方式はいずれの方式であってもよく、例えば位相差方式や他の方式と組み合わせた方式であってもよい。

システム制御部１２０は例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサであり、撮影者の操作に応じて各部に制御命令を送ることでカメラ全体を制御する。システム制御部１２０は、内部メモリ１０８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御等を行うためのプログラムを実行する。

図１には、システム制御部１２０がプログラムを実行することで実現する機能のうち、フォーカスブラケット撮影をして得る合成画像（フォーカスブラケット画像）の生成に関連する機能を、制御部１２１〜１２５として示している。なお、制御部１２１〜１２５の少なくとも一部はＡＳＩＣなどのハードウェアとして実現されてもよい。被写体検出部１２１は内部メモリ１０８から入力された画像データから予め定められた被写体の領域を検出する。被写体検出部１２１は、例えば顔情報を元に被写体として人物を検出する。ここで、被写体検出部１２１において検出対象となる被写体は人物に限らず、画像データの色情報、輝度情報、コントラストの評価値などを用いて、人物以外の被写体を検出してもよい。被写体検出部１２１は検出した被写体の領域について、大きさや位置を検出することができる。また、検出した被写体領域の動きベクトルを算出することにより、被写体の移動の有無や移動速度等を求めても良い。

被写体距離検出部１２３は、被写体検出部１２１により検出された被写体の距離を検出する。被写体距離検出部１２３は、例えばコントラスト評価値取得部１２２によって得られる、画像データに対するコントラストの評価値に基づいて被写体距離を算出する。なお、被写体検出部１２１で検出された被写体が複数であった場合、被写体距離検出部１２３は各被写体領域におけるコントラストの評価値を求め、各被写体についての被写体距離を検出する。なお、被写体距離の検出方法、例えば位相差方式を用いた被写体距離の検出方法をはじめ、公知の任意の検出方法を用いることができる。

フォーカスブラケット制御部１２４（以下、ＦＢ制御部）は、画像データから検出された被写体距離やコントラスト評価値に基づいてフォーカスブラケット撮影のための撮影条件を決定する。また、決定した条件に基づいてフォーカスレンズ１０３、絞りおよびシャッタ１０５を制御して撮影を行う。

画像合成処理部１２５では、フォーカスブラケット撮影により撮影された複数の画像データを各画像データのコントラストの評価値に基づいて合成し、一枚の合成画像を生成する。画像合成処理部１２５は、コントラスト評価値取得部１２２により求められた各画像のコントラストの評価値を比較し、予め定めた領域ごとに、最も鮮鋭度の高い画像を抽出する。画像合成処理部１２５は、抽出した画像領域を合成することにより、複数枚の画像データから、全ての被写体に合焦した１枚の合成画像を生成する。

生成された合成画像はシステム制御部１２０の指示により、圧縮伸長処理部１１０を介して適切な画像フォーマットに圧縮されて記憶メモリ１１１に記録される。

操作部１１６はレリーズスイッチ１１７の他、各種のメニュー操作を行うメニュー操作ボタン１１８や図示しないズームレバーや撮影モード切り替えスイッチなどを有する。

（２フォーカスブラケット撮影による合成画像の生成処理の概要）
次に、本実施形態に係る合成画像の生成処理の概要について説明する。

図２（ａ）〜（ｃ）は、デジタルカメラ１００に近い側から順に、合焦させたい主要被写体４１〜４３が異なる距離Ｄ１〜Ｄ３に位置しており、主要被写体４３より遠い距離Ｄ４にボカしたい被写体４４が存在している状態を模式的に示している。主要被写体４１〜４３のそれぞれに合焦し、被写体４４はボケた合成画像を得るためには、距離Ｄ１〜Ｄ３を、距離Ｄ１〜Ｄ３以下の被写界深度でカバーするように撮影する必要がある。

このような撮影を実現する方法として、図２（ａ）は、被写界深度が浅い撮影条件を設定し、焦点位置（合焦距離）をｄ１〜ｄ５およびＤ３に変化させたフォーカスブラケット撮影を示している。一方、図２（ｂ）は、最低限の撮影回数で済ませるため、図２（ａ）よりも被写界深度の深い撮影条件を設定して、焦点位置をｄ６とｄ７に変化させたフォーカスブラケット撮影を示している。４１１〜４１６および４２１〜４２２は、フォーカスブラケット撮影時の撮影条件に対応した被写界深度を模式的に示している。例えば被写界深度４１４に含まれる被写体４２は、この被写界深度で撮影された画像では合焦している。ここで、なお、４１７、４２３、１５５はそれぞれ、被写界深度４１６、４２２、１５４の撮影を行った際の被写体４４のボケ量を模式的に示しており、像面における錯乱円径の大きさに相当する。

図２（ａ）に示すフォーカスブラケット撮影は、被写界深度が浅い撮影条件（開放絞りに近い条件）を設定している。そのため、（被写界深度４１６の撮影で得られる）被写体４４に一番近い被写体４３に合焦した画像において、錯乱円径４１７の大きさで表される被写体４４のボケが大きく、主要被写体４１〜４３を効果的に強調した合成画像が生成できる。しかし、この場合では６回の撮影と６枚分の合成処理が必要となる。一方、図２（ｂ）に示すフォーカスブラケット撮影では、２回の撮影と２枚分の合成処理で済むが、被写界深度４２２が被写界深度４１６より深いため、錯乱円径４２３の大きさが図２（ａ）の場合より小さく、被写体４４のボケが小さくなる。

図２（ｃ）は、本実施形態に係るフォーカスブラケット撮影を示している。本実施形態では、図２（ｂ）に示したような、最小限の回数で距離範囲４０１をカバーするフォーカスブラケット撮影に加え、背景や前景のボケが大きい画像を得るために被写界深度の浅い設定でのフォーカスブラケット撮影とを組み合わせて実施する。被写界深度の浅い設定でのフォーカスブラケット撮影には、最も近い主要被写体４１の距離Ｄ１と、最も遠い主要被写体４３の距離Ｄ３とを焦点位置とした、フォーカスブラケット撮影を用いる。あるいは、最も遠い主要被写体４３の距離Ｄ３を焦点位置とした撮影だけであってもよい。

具体的にはまず、可能な限り絞りを絞ることで被写界深度を深くし、主要被写体４１〜４３の存在する距離範囲４０１を被写界深度１５１、１５２の撮影でカバーする。そして、背景となる被写体４４を大きくボカした画像を得るために、焦点位置をＤ３として、浅い被写界深度１５４となるような条件で撮影する。被写界深度１５４に対応する焦点深度を得るための絞りは、ボカしたい被写体４４のボケ量が予め定めたボケ量となるような錯乱円径１５５を実現するように設定される。さらに、最も近い主要被写体４１の前景をボカすために、焦点位置をＤ１として、浅い被写界深度１５３となるような条件で撮影する。絞り値は前景が予め定められたボケ量となるような絞り値に設定される。なお、前景のボケを表現するための画像は、被写界深度１５１を有する、最も近い被写体に合焦した画像を使用しても構わない。

図３は、図２に示す撮影条件で撮影された画像を合成する処理を示している。即ち、被写界深度が被写界深度１５１、１５２および１５４となるように撮影した画像２００ａ〜２００ｃを用いて合成画像が生成される処理を示している。画像２００ａは被写界深度が被写界深度１５１となるように撮影された画像であり、被写界深度１５１に含まれる主要被写体４１の像２０１ａに合焦し、他の被写体像２０２ａ、２０３ａ、２０４ｂはボケた画像となっている。同様に、画像２００ｂは被写界深度が被写界深度１５２となるように撮影された画像であり、被写界深度１５２に含まれる被写体４２，４３の像である被写体像２０２ｂ，２０３ｂに合焦した画像となっている。画像２００ｃは被写界深度が被写界深度１５４となるように撮影された画像であり、背景ボケ画像を得るためのものである。被写界深度１５４を得るための撮影では、最も遠い主要被写体である被写体４３に合焦させて撮影するため、得られる画像は像２０３ｃには合焦した画像となり、被写体とボケた領域が滑らかにつながった違和感の少ない合成画像が得られる。また、被写体４４に対して予め定めたボケ量となるように絞り値を決めて撮影するため、像２０４ｃのボケ量が意図したボケ具合となる画像が得られる。

本発明では上述の撮影条件によって撮影された画像を合成することで主要画像を生成する。画像２００ａおよび２００ｂの画像からは主要被写体４１〜４３の合焦画像を得ることを目的としているため、コントラスト評価値の高い各画像の画素を選択して合成することで鮮鋭度の高い画像２０５が得られる。さらに画像２０５の各画素においてコントラストの評価値が所定の値以上の画素領域を選択することで、画像２０５の中から主要被写体４１〜４３に合焦した画像２０６が得られる。得られた主要被写体の合焦画像２０６を、背景ボケ画像である画像２００ｃと合成することで、主要被写体４１〜４３の合焦と、背景の被写体４４の適切なボケ量とを実現した合成画像２０７が得られる。

（フォーカスブラケット画像の生成に係る一連の動作）
本実施形態におけるフォーカスブラケット画像の生成に係る一連の動作について、図４および図５に示すフローチャートを用いて説明する。

図４はフォーカスブラケット画像の生成に係る全体動作を示すフローチャートである。図５（ａ）はフォーカスブラケット撮影に係る撮影条件を決定する動作を、図５（ｂ）は背景および前景画像に係る撮影条件を決定する動作を、図５（ｃ）は合成画像を生成する動作をそれぞれ示す。

図４に示すフローチャートに対応する処理は、システム制御部１２０が、例えば記憶メモリ１１１に記憶されている処理プログラムを読み出し、内部メモリ１０８に展開して実行することにより実現することができる。本処理は、例えばデジタルカメラ１００が撮影モードに設定されている状態で、レリーズスイッチ１１７に対する操作を検出した場合に開始される。

Ｓ１０１においてシステム制御部１２０は、操作部１１６におけるレリーズスイッチ１１７から通知された操作が半押し操作であるかを判断する。システム制御部１２０は、通知された操作の情報からレリーズスイッチ１１７において半押しがなされたと判断した場合、処理をＳ１０２に進め、通知された操作が予め定められた半押し操作でないと判断した場合、本処理を終了させる。

Ｓ１０２においてシステム制御部１２０は、入力された画像データに対して被写体の検出を行う。具体的には、システム制御部１２０は被写体検出を行うための被写界深度の深い画像を取得するために絞りシャッタ駆動部１１２を制御するとともに適切な露光条件で撮像素子１０６を露光する。撮像素子１０６は露光により各受光素子で受光した光信号を電気信号へと変換して画像処理回路１０７に出力する。画像処理回路１０７が画素補間処理等の各種処理を施して生成した画像データを内部メモリ１０８に格納すると、この画像データはシステム制御部１２０の一部を構成する被写体検出部１２１に入力される。被写体検出部１２１は、入力された画像データから被写体を検出する。本実施形態では、公知の顔検出技術を用いて画像データから顔領域を検出する。顔領域の検出処理には、画像データ中に存在する顔領域を公知の任意のアルゴリズムを用いることができる。例えば被写体検出部１２１は、画像データ上の部分領域から特徴量を抽出して予め用意された顔の特徴量と比較し、双方の相関が一定以上認められるときは、処理対象の部分領域を顔領域と判定する。被写体検出部１２１は顔領域の判定を、例えば部分領域の大きさ、配置位置、配置角度の組み合わせを様々に変更して繰り返して、画像データ中に存在する様々な顔領域を検出する。さらに被写体検出部１２１は検出した顔領域に対する胴体領域の位置や比率などを用いて人物領域の検出を行う。被写体検出部１２１は、検出した被写体の個数、被写体領域の大きさおよび位置を被写体距離検出部１２３に出力する。なお、本実施形態では検出された人物の被写体を主要被写体として扱うものとするが、検出された被写体に対してユーザが操作部１１６を通じて指定した被写体のみを主要被写体とするようにしても良い。

Ｓ１０３においてシステム制御部１２０は、被写体検出部１２１において検出した各被写体に対して被写体距離を検出する。具体的には、まずシステム制御部１２０はフォーカスレンズ１０３の位置をフォーカスレンズの駆動が可能な全範囲で変更しながら順次画像データを取得する。そしてシステム制御部１２０の一部を構成するコントラスト評価値取得部１２２は、被写体検出部１２１により検出された被写体領域におけるコントラストの評価値の推移を求める。被写体距離検出部１２３は、被写体領域のコントラストの評価値の推移においてコントラストの最も高くなる画像データを特定し、被写体領域に対する被写体距離を検出する。被写体距離検出部１２３は、各被写体領域に対して同様の処理を行うことで複数の被写体の被写体距離を検出する。

Ｓ１０４において被写体距離検出部１２３は、画像データの各被写体領域に対して検出した各被写体の被写体距離に基づいて画像データ内の各領域における被写体距離の分布を生成する。

Ｓ１０５においてシステム制御部１２０はＳ１０２で得られた画像データを用いて被写体の輝度を測定する。輝度は画像データ全体の輝度を表す１つの値であってよく、例えば画像データにおける各画素の輝度値について画像全体の平均値を求めたものとする。

Ｓ１０６においてシステム制御部１２０の一部を構成するＦＢ制御部１２４は、フォーカスブラケット撮影のための主要被写体に対する撮影条件を決定する。ＦＢ制御部１２４は、図５（ａ）に示すＳ１２１へ処理を進める。Ｓ１２１においてＦＢ制御部１２４は、撮影を可能な限り少ない枚数で行うため、被写界深度の深い画像を得るための絞り値を決定する。ここで、被写体の輝度によっては過剰な絞り値が決定されると、シャッタスピードが低下して手ブレ等の発生原因となるため、被写体の輝度に応じて設定可能な範囲での絞り値を決定する必要がある。このためＦＢ制御部１２４は、Ｓ１０５において取得した輝度値に基づいて、許容される絞り値の上限を決定する。絞り値の決定には、輝度値に対して予め定めた選択可能な絞り値のデータを参照して、許容される絞り値のうち最も被写界深度が深くなる絞り値を決定する。このように絞り値を決定することで、合成画像の生成に必要な撮影回数を削減する一方で、シャッタスピードの低下による手ブレ等の画質低下を軽減することができる。

Ｓ１２２においてＦＢ制御部１２４は、焦点位置の送り量を算出する。具体的には、まず予め設定された許容錯乱円径（被写体が合焦して見える最大の錯乱円径）と決定した絞り値に応じて定まる被写界深度を求める。そして、求めた被写界深度で主要被写体の存在する距離範囲をカバーするために必要となる撮影回数を算出する。さらにＦＢ制御部１２４は、算出した撮影回数に基づいて一定量ずつ変化する主要被写体の撮影を行う際の焦点位置の送り量を算出する。

Ｓ１２３においてＦＢ制御部１２４は、Ｓ１２２において算出された焦点位置の送り量と主要被写体の被写体距離の分布から、主要被写体の撮影におけるフォーカスレンズの駆動範囲を決定する。ＦＢ制御部１２４はフォーカスレンズの駆動範囲を決定すると呼び出し元に処理を戻して処理をＳ１０７に進める。

Ｓ１０７においてＦＢ制御部１２４は、背景画像および前景画像の撮影条件を決定するため、図５（ｂ）に示すＳ１３１に処理を進める。Ｓ１３１においてＦＢ制御部１２４は、背景画像および前景画像に対する画像のボケ量について決定する。画像のボケ量については、例えばユーザがメニュー操作ボタン１１８を通じて段階的に設定されたボケの度合いを予め入力しておき、ＦＢ制御部１２４は予め入力されていた設定値を読み込んで対応するボケ量を設定する。なお、ボケ量はユーザによって設定される以外に、被写体輝度や画角に対しての主要被写体の比率などによって自動的に算出されるものでも構わない。

Ｓ１３２においてＦＢ制御部１２４は、Ｓ１３１で決定したボケ量を実現するための絞り値を決定する。絞り値の決定方法に特に制限はないが、例えばボケ量が錯乱円の大きさで表される場合には、撮影時に設定する焦点位置、ボカしたい被写体の距離、および撮影レンズの焦点距離によって絞り値を決定することができる。ここで、撮影時に設定する焦点位置は、主要被写体のうち最も近いものと遠いものの被写体距離であり、また、ボカしたい被写体の距離は、検出した距離でも、便宜上定めた距離でもよい。なお、ボケ量を特に設定せず、設定可能な最も小さな絞り値を設定したり、Ｓ１２１において決定された主要被写体を撮影するための絞り値よりも被写界深度の浅い絞り値のいずれかを設定したりといった、簡略的な方法を用いてもよい。また、上述したように、前景画像をボカすための画像は、最も近い主要被写体を深い被写界深度で撮影した画像を流用してもよい。

Ｓ１３３においてＦＢ制御部１２４は、背景画像を撮影するための焦点位置を主要被写体の最も遠い側の焦点位置に、前景画像を撮影するための焦点位置を主要被写体の最も近い側の焦点位置に決定する。ＦＢ制御部１２４は前景画像および背景画像に対する焦点位置を決定すると処理を呼び出し元に戻す。

Ｓ１０８においてシステム制御部１２０は、レリーズスイッチ１１７が半押しの状態から全押しの状態に変化したかを判断する。システム制御部１２０は、通知された操作の情報から全押し状態に変化したと判断した場合、撮影処理を開始させるとともに処理をＳ１０９に進め、変化していないと判断した場合は処理をＳ１０１に戻して再びユーザからの入力を待つ。なお、本実施形態では、撮影者に近い焦点位置から撮影が開始されるため、まず前景画像が撮影されるものとして説明を行う。しかし、撮影順序に関しては本実施形態と異なる順序でも構わない。

Ｓ１０９においてＦＢ制御部１２４は、Ｓ１３２において決定した前景画像用の絞り値を前景を撮影するための絞り値として設定し、絞りシャッタ駆動部１１２に指示を出して絞りを制御する。さらにＳ１１０においてＦＢ制御部１２４は、Ｓ１３３において決定した焦点位置を前景の撮影用の設定値として設定してフォーカスレンズ駆動部１１４を介して適切な焦点位置にフォーカスレンズを駆動させる。

Ｓ１１１においてＦＢ制御部１２４は、設定された撮影条件により適切な露光条件で撮像素子１０６を露光して得られた画像データを前景画像として内部メモリ１０８に記録させる。

Ｓ１１２においてＦＢ制御部１２４は、Ｓ１２１において決定した主要被写体の撮影のための絞り値を設定する。ＦＢ制御部１２４は絞りシャッタ駆動部１１２に指示を出して絞りを制御する。

Ｓ１１３においてＦＢ制御部１２４は、フォーカスレンズ駆動部に指示を出して主要被写体の撮影を開始する焦点位置にフォーカスレンズを駆動させる。このときＦＢ制御部１２４は、最も被写体距離の近い主要被写体から順に撮影を行うようにフォーカスレンズを駆動させる。Ｓ１１４においてＦＢ制御部１２４は、フォーカスレンズが所定の位置に置かれたら撮像素子１０６を露光して、得られる画像データを内部メモリ１０８に記録させる。

Ｓ１１５においてＦＢ制御部１２４は、このＳ１１３、Ｓ１１４の処理を全ての主要被写体に対して撮影が終わるまで順次撮影を繰り返す。ＦＢ制御部１２４は、Ｓ１２２で算出した主要被写体に対する撮影回数を取得して、取得した撮影回数分の撮影を終えたら、主要被写体の撮影を完了して処理をＳ１１６に進める。一方、撮影回数分の撮影を終えていない場合は、処理Ｓ１１３に戻してさらに撮影条件の設定および主要被写体の撮影を行う。

さらに背景画像の撮影も前景画像の撮影と同様に、Ｓ１２１〜Ｓ１２３において算出または決定した撮影条件を設定して撮影を行う。即ち、Ｓ１１６においてＦＢ制御部１２４は、Ｓ１３２において決定した背景画像用の絞り値を、背景画像を撮影するための絞り値として設定し、絞りシャッタ駆動部１１２に指示を出して絞りを制御する。さらにＳ１１７においてＦＢ制御部１２４は、Ｓ１３３において決定した焦点位置を背景画像の撮影用の設定値として設定してフォーカスレンズ駆動部１１４を介して適切な焦点位置にフォーカスレンズを駆動させる。Ｓ１１８においてＦＢ制御部１２４は、撮像素子１０６を露光して背景画像の撮影を行う。

Ｓ１１９においてシステム制御部１２０の一部を構成する画像合成処理部１２５は、Ｓ１１１、Ｓ１１４、Ｓ１１８の各ステップで得られた複数枚の画像データを合成し、被写界深度を拡大させた主要被写体に合焦する合成画像を生成する。図５（ｃ）は本実施形態における合成処理の流れを示すフローチャートである。ここでは画像の全画素ひとつひとつに対して、順に合成処理を行う。

Ｓ１４１において画像合成処理部１２５は、合成処理を施す処理対象となる画素位置を選択する。具体的には二次元上に配置された画像上の各画素について、先頭の行の画素から一画素づつ順次走査するように画素位置を選択し、先頭の行の全ての画素について処理を完了すると次の行の先頭に画素位置を進める。

Ｓ１４２において画像合成処理部１２５は、内部メモリ１０８に記録されている各主要被写体の画像から一枚の画像を選択する。選択される画像はどのような順番で選択されても良いが本実施形態では撮影された順に画像を選択するものとする。

Ｓ１４３において画像合成処理部１２５は、処理対象の画素位置についてのコントラストの評価値を算出する。具体的には画像合成処理部１２５はコントラスト評価値取得部１２２に選択した画像を入力して処理対象の画素位置に対するコントラストの評価値を算出させる。

Ｓ１４４において画像合成処理部１２５は、全ての主要被写体の画像に対するコントラストの評価値を得るため、同様の処理を全画像に対して行う。画像処理回路１０７は全ての画像に対するコントラストの評価値が算出された場合は処理をＳ１４５に進め、全ての画像に対する処理が行われていないときは処理をＳ１４２に戻して各画像に対するコントラストの評価値を算出させる。

次に画像合成処理部１２５は、コントラスト評価値取得部１２２により算出された処理対象の画素位置におけるコントラストの評価値に基づいて、この画素位置において合成に使用する画像を選択する処理を行う。Ｓ１４５において画像合成処理部１２５は、各画像におけるコントラストの評価値が予め定められた閾値より大きいか判定する。予め定められた閾値は、画像の鮮鋭度を判定する閾値であり、錯乱円径が許容錯乱円径の中に納まっているかどうかに対応し、コントラストの評価値が閾値より大きい場合には合焦している画像があると判定する。画像合成処理部１２５は対象位置におけるコントラストの評価値が閾値より大きい場合、合焦した画像の画素値を合成するために処理をＳ１４６に進める。一方、コントラストの評価値が閾値以下の場合には、各画像の鮮鋭度は低く、合焦している画像がないものとして処理をＳ１４７に進める。

Ｓ１４６において画像合成処理部１２５は、合焦画像の画素データを生成するために、コントラストの評価値が最も高い画像の画素値を処理対象となる画素位置の画素データとして選択する。一方、Ｓ１４７において画像合成処理部１２５は、Ｓ１０４にて求めた被写体距離分布に応じて処理対象となる画素位置において使用する画像を選択する。例えば、処理対象の画素位置に存在する被写体が主要被写体に合焦する被写体距離の範囲よりも近い距離の被写体であった場合には、処理をＳ１４８に進める。反対に被写体が当該被写体距離の範囲よりも遠い距離の被写体であった場合、画像処理回路１０７は処理をＳ１５０に進め、被写体が当該被写体距離の範囲内ではある場合には処理をＳ１４９に進める。

Ｓ１４８において画像合成処理部１２５は、処理対象の画素位置には前景画像が存在するものと判断して前景画像から対応する画素を選択して合成画像の画素データを生成する。反対に主要被写体に合焦する被写体距離の範囲よりも遠い被写体である場合には、Ｓ１５０において背景画像からの対応する画素を選択して合成画像の画素データを生成する。さらに、Ｓ１４９においては処理対象の画素位置はコントラストの低い画像となるが、画像合成処理部１２５は撮影された主要被写体を撮影した各画像のうちコントラストの評価値が最大となる画像から対応する画素を選択して合成画像の画素データを生成する。

Ｓ１５１において画像合成処理部１２５は、全ての合成画像の画素に対して合成に用いる画像を選択したかの判断を行い、全ての画素について処理を終了した場合は本処理を終えて処理をＳ１２０に進める。一方、全ての画素について処理を終了していない場合、処理をＳ１４１に戻して再び処理の行われていない画素に対して処理を行う。

Ｓ１２０において画像合成処理部１２５は、合成画像を生成する処理が完了すると、予め定められた形式で合成画像の画像データを記憶メモリ１１１に保存し、フォーカスブラケット画像の合成処理に係る一連の動作を終了する。

なお、本実施形態では、合焦させたい複数の主要被写体が異なる距離に位置する場合を例に説明したが、必ずしも主要被写体が複数である必要はなく、本発明は、例えば奥行きの大きな１つの主要被写体が存在する場合にも同様に適用可能である。

以上説明したように本実施形態では、主要被写体が存在する被写体距離の範囲については被写界深度を深く設定した撮影を行うことで撮影枚数を削減しつつ、背景や前景など、ボケを強調するための画像を、被写界深度の浅い撮影で取得するようにした。つまり、主要被写体に合焦した画像と、ボカす部分に用いる画像とを、被写界深度の異なる撮影を組み合わせて実施して取得するようにした。これにより、複数の画像を合成する際の処理負担を軽減しつつ主要被写体以外の被写体のボケを好適に強調することが可能になる。また、背景（あるいは前景）のボケを生成する画像を最も遠方（あるいは近辺）の被写体距離の被写体に合焦させて撮影することで、合焦した被写体と背景のボケとの境界部分の違和感を軽減させた合成画像を生成可能になる。さらに、画像を合成する処理においてコントラストが所定の閾値より小さい画素、即ちボカす領域となる画素については、検出した被写体距離に基づいて背景画像等の画像から画素を選択するようにした。これにより、ボカす領域の画素の合成に必要な画像を被写体の構成に応じて適切に選択することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３…フォーカスレンズ、１０５…シャッタ、１１２…絞りシャッタ駆動部、１１４…フォーカスレンズ駆動部、１２０…システム制御部、１２４…ＦＢ制御部、１２５…画像合成処理部

Claims

予め定められた被写体が存在する距離範囲の少なくとも一部を被写界深度に含む第１の撮影条件と、前記第１の撮影条件よりも被写界深度が浅い第２の撮影条件とを決定する決定手段と、
前記第１の撮影条件と前記第２の撮影条件に従った撮影を行い、画像データを取得する取得手段と、
前記画像データを合成し、前記予め定められた被写体を強調した合成画像を生成する合成手段と、を有し、
前記決定手段は、
前記第１の撮影条件として前記距離範囲の全体を被写界深度に含む撮影条件が決定できない場合、前記第１の撮影条件として、それぞれの撮影条件における被写界深度の組み合わせが前記距離範囲の全体を含むような、焦点位置の異なる複数の撮影条件を決定し、
前記第２の撮影条件として、前記距離範囲よりも遠い位置に存在する被写体のボケ量が予め定められた値以上となる撮影条件を決定する、ことを特徴とする撮像装置。
前記決定手段は、前記第１の撮影条件として、予め定められた選択可能な撮影条件のうち、最も被写界深度が深くなる撮影条件を決定することを特徴とする請求項１に記載の撮像装置。
前記被写体の輝度を測定する測定手段をさらに有し、
前記決定手段は、前記測定された輝度に対して選択可能な撮影条件のうちから前記第１の撮影条件を決定することを特徴とする請求項１または請求項２に記載の撮像装置。
前記決定手段は、被写界深度の少なくとも一部が前記距離範囲に含まれるように前記第２の撮影条件を決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記決定手段は、前記予め定められた被写体が複数である場合、前記予め定められた被写体のうち、最も被写体距離の大きな被写体を被写界深度に含むように前記第２の撮影条件を決定することを特徴とする請求項４に記載の撮像装置。
前記決定手段は、前記予め定められた被写体が複数である場合、前記予め定められた被写体のうち、最も被写体距離が小さな被写体を被写界深度に含むように前記第２の撮影条件を決定することを特徴とする請求項４または請求項５に記載の撮像装置。
前記合成手段は、前記合成画像の各画素位置において、前記複数の画像の各画素が予め定められた鮮鋭度より低い鮮鋭度の画素である場合、前記画素位置に対する被写体距離に基づいて、前記第１の撮影条件に従った撮影で得られた画像データと前記第２の撮影条件に従った撮影で得られた画像データのいずれかを選択して前記合成画像の前記画素位置の画素データを生成することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
前記合成手段は、前記画素位置に対する前記被写体距離が、前記距離範囲よりも遠い場合、前記第２の撮影条件に従った撮影で得られた画像データを選択して前記合成画像の前記画素位置の画素データを生成することを特徴とする請求項７に記載の撮像装置。
ユーザによる前記ボケ量の入力を取得する入力手段をさらに有し、
前記決定手段は前記入力されたボケ量に基づいて前記第２の撮影条件を決定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記決定手段は、前記第１の撮影条件および前記第２の撮影条件の少なくとも一方について、前記焦点位置が一定量ずつ変化する複数の撮影条件を決定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
決定手段が、予め定められた被写体が存在する距離範囲の少なくとも一部を被写界深度に含む第１の撮影条件と、前記第１の撮影条件よりも被写界深度が浅い第２の撮影条件とを決定する決定工程と、
取得手段が、前記第１の撮影条件と前記第２の撮影条件に従った撮影を行い、画像データを取得する取得工程と、
合成手段が、前記画像データを合成し、前記予め定められた被写体を強調した合成画像を生成する合成工程と、を有し、
前記決定手段は、前記決定工程において、
前記第１の撮影条件として前記距離範囲の全体を被写界深度に含む撮影条件が決定できない場合、前記第１の撮影条件として、それぞれの撮影条件における被写界深度の組み合わせが前記距離範囲の全体を含むような、焦点位置の異なる複数の撮影条件を決定し、
前記第２の撮影条件として、前記距離範囲よりも遠い位置に存在する被写体のボケ量が予め定められた値以上となる撮影条件を決定する、ことを特徴とする撮像装置の制御方法。
撮像装置が有するコンピュータを、請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。