JP2014175703A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザにとって好ましい、背景をぼかした画像データを提供する。
【解決手段】撮像装置は、主要被写体領域のフォーカスレンズの合焦位置を検出するとともに、主要被写体領域とは異なる領域の前記フォーカスレンズの合焦位置を検出する（Ｓ４０２、Ｓ４０３）。次に、撮像装置は、主要被写体領域に合焦させて第１の画像データを撮像する（Ｓ４０５、Ｓ４０８）。次に、主要被写体領域に対応する被写体距離と主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側又は近側のフォーカスレンズ位置で第２の画像データを取得する（Ｓ４０６、Ｓ４０９）。次に、撮像装置は、第１の画像データと第２の画像データとに基づいて、主要被写体領域と背景領域とを判定する。
【選択図】図４

Description

本発明は、背景をぼかした画像データを提供する技術に関するものである。

背景がぼけた画像データは、被写体を浮き立たせて印象付ける効果があるため、ポートレート写真等に広く利用されている。一般に、一眼レフカメラのように撮像素子が大きい撮像装置では許容錯乱円が十分大きい。そのため、被写界深度が浅い設定（絞りを大きく開く（絞り値を小さくする）、焦点距離を長くする（望遠）、被写体とカメラの間の距離を短くする）にすることで、合焦している被写体以外の背景をぼかした画像データを撮影することが比較的容易である。一方、コンパクトデジタルカメラ等の撮像素子が小さい撮像装置では、上述した一眼レフカメラの方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像データを撮影することが困難である。

これに対し、画像処理で疑似的に背景にぼかし効果を与える機能を持ったコンパクトデジタルカメラが数多く開発されている。例えば、特許文献１には、主要被写体にピントの合った画像と、背景がボケた画像とを取得して合成する技術が開示されている。また、特許文献２には、主要被写体にピントの合った画像と背景にピントの合った画像を用いて主要被写体領域と背景領域を判定し、２枚の画像の少なくとも一方に、主要被写体領域と背景領域とで異なる画像処理を施す技術が開示されている。

特開２００８−２４５０５４号公報 特開平１０−２３３９１９号公報

しかしながら、特許文献１に開示されるような、主要被写体に合焦した画像と、背景がボケた画像とを取得して合成する方法では、主要被写体と背景領域との繋ぎ目で、主要被写体領域と背景領域との二重像を発生させてしまう等の弊害が発生する。また、特許文献２に開示される技術においては、主要被写体までの第１の被写体距離と背景までの第２の被写体距離とが被写界深度では切り分けられないような関係にある場合、主要被写体領域と背景領域を判定することができず、背景をぼかす画像処理を施すことができない。

そこで、本発明の目的は、ユーザにとって好ましい、背景をぼかした画像データを提供することにある。

本発明の撮像装置は、主要被写体領域のフォーカスレンズの合焦位置と、前記主要被写体領域とは異なる領域の前記フォーカスレンズの合焦位置を検出する焦点検出手段と、前記主要被写体領域に合焦させて第１の画像データを取得するとともに、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側又は近側のフォーカスレンズ位置で第２の画像データを取得する撮像手段と、前記第１の画像データと前記第２の画像データとに基づいて、前記主要被写体領域と背景領域とを判定する判定手段とを有することを特徴とする。

本発明によれば、ユーザにとって好ましい、背景をぼかした画像データを提供することが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 背景ぼかし画像生成部の内部構成を示す図である。 本発明の実施形態に係る撮像装置における背景ぼかし処理を示すフローチャートである。 図３のステップＳ３０１における、主要被写体合焦画像データ及び背景画像データの取得処理の詳細を示すフローチャートである。 画面上に設定される複数のフォーカス検出枠のうちの主要被写体領域のフォーカス枠ａと背景領域のフォーカス枠ｂとを示す図である。 図５に示す主要被写体領域のフォーカス枠ａのコントラスト値及び背景領域のフォーカス枠ｂのコントラスト値と、被写体距離との関係を示す図である。 主要被写体合焦画像データと、遠側画像データ又は近側画像データとを用いて領域判定処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。撮像装置１００は、当該撮像装置１００全体の制御を司る制御部１１５を有する。制御部１１５は、ＣＰＵやＭＰＵ等により構成され、後述する各回路等の動作を制御する。図１において、撮像素子１０１は、ＣＣＤやＣＭＯＳ等から成り、その表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が撮像素子１０１上で結像されると、画像データ（画像信号）が生成され、生成された画像データはメモリ１０２に記憶される。

制御部１１５は、画像データ全体が適正露出になるようなシャッタ速度及び絞り値を算出するとともに、合焦領域内にある被写体に合焦するように、撮像レンズ１１６内の不図示のフォーカスレンズの駆動量を算出する。算出されたシャッタ速度、絞り値及びフォーカスレンズの駆動量は、制御部１１５から撮像制御回路１１４に入力される。撮像制御回路１１４は、制御部１１５から入力した各値に基づいて、シャッタ、絞り及びフォーカスレンズを制御する。撮像制御回路１１４は、制御部１１５からの信号に応じて、フォーカスレンズを光軸方向に移動させてピント合わせを行う不図示のレンズ駆動機構を制御する。レンズ駆動機構は、ステッピングモータやＤＣモータを駆動源として有している。なお、撮像レンズ１１６内のレンズとしてフォーカスレンズの他に変倍レンズや固定レンズが設けられ、これらを含めてレンズユニットが構成される。

色変換マトリックス（ＭＴＸ）回路１０３は、取得された画像データが最適な色で再現されるように、メモリ１０２から画像データを読み込み、当該画像データに色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０４は、色変換マトリックス回路１０３から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Chroma Supress）回路１０５は、ＬＰＦ回路１０４において帯域が制限された色差信号Ｒ−Ｙ、Ｂ−Ｙのうち、飽和部分の偽色信号を抑圧する。

輝度信号生成回路１０６は、メモリ１０２から画像データを読み込み、当該画像データから輝度信号Ｙを生成する。エッジ強調回路１０７は、生成された輝度信号Ｙに対してエッジ強調処理を施す。ＲＧＢ変換回路１０８は、ＣＳＵＰ回路１０５から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１０７から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ（γ）補正回路１０９は、ＲＧＢ変換回路１０８から出力されるＲＧＢ信号に対して階調補正を施す。色輝度変換回路１１０は、ガンマ補正回路１０９において階調補正が施されたＲＧＢ信号をＹＵＶ信号に変換する。

背景ぼかし画像生成部１１１は、色輝度変換回路１１０から出力されるＹＵＶ信号に対して背景ぼけ効果を与える画像処理を施す。背景ぼかし画像生成部１１１の詳細な構成については後述する。ＪＰＥＧ圧縮回路１１２は、背景ぼけ効果が与えられたＹＵＶ信号をＪＰＥＧ方式等により圧縮し、記録媒体１１３に記録する。なお、色変換マトリックス回路１０３、ＬＰＦ回路１０４、ＣＳＵＰ回路１０５、輝度信号生成回路１０６、エッジ強調回路１０７、ＲＧＢ変換回路１０８、ガンマ補正回路１０９、色輝度変換回路１１０、背景ぼかし画像生成部１１１、及び、ＪＰＥＧ圧縮回路１１２は、画像処理部１１７を構成する。なお、図１の例では、記録媒体１１３は、撮像装置１００内部に配置した構成としたが、撮像装置１００外部に配置した構成としてもよい。

図２は、背景ぼかし画像生成部１１１の内部構成を示す図である。図２に示すように、背景ぼかし画像生成部１１１は、エッジ検出部２０１、エッジ減算部２０２、エッジ積分値算出部２０３、エッジ積分値評価部２０４、領域マップ生成部２０５、ぼかし処理部２０６及び画像合成部２０７を備える。

エッジ検出部２０１は、主要被写体領域に合焦させて取得された画像データ（以下、主要被写体合焦画像データと称す）と、主要被写体合焦画像データを取得した際のフォーカスレンズ位置とは異なるフォーカスレンズ位置で取得された画像データ（以下、背景画像データと称す）とのそれぞれからエッジを抽出する。エッジ減算部２０２は、主要被写体合焦画像データから抽出されたエッジから、背景画像データから抽出されたエッジを減算することにより、エッジの差分をとった画像データ（以下、エッジ差分画像データと称す）を生成する。エッジ積分値算出部２０３は、エッジ差分画像データの各領域においてエッジ量を積分する。エッジ積分値評価部２０４は、エッジ積分値算出部２０３により算出された各領域のエッジ量に基づいて、各領域が主要被写体領域であるか背景領域であるかを判定する。領域マップ生成部２０５は、エッジ積分値評価部２０４の判定結果に基づいて、主要被写体領域と背景領域とを判別可能な切り出しマップを生成する。ぼかし処理部２０６は、切り出しマップに基づいて、ぼけ画像データを生成する。画像合成部２０７は、切り出しマップに基づいて、主要被写体合焦画像データとぼけ画像データとを合成する。これにより、背景領域がぼけた画像データ（以下、背景ぼかし画像データと称す）が生成される。なお、主要被写体合焦画像データは第１の画像データの例であり、背景画像データは第２の画像データの例である。

次に、図３を参照しながら、本実施形態に係る撮像装置１００における背景ぼかし処理について説明する。

ステップＳ３０１において、制御部１１５は、主要被写体に合焦する位置へフォーカスレンズを移動させて主要被写体合焦画像データを取得させる。そして、制御部１１５は、主要被写体合焦画像データを取得した際のフォーカスレンズ位置とは異なるフォーカスレンズ位置へフォーカスレンズを移動させて、背景画像データを取得させる。ステップＳ３０２において、エッジ検出部２０１は、主要被写体合焦画像データ及び背景画像データそれぞれのエッジを抽出する。エッジ抽出方法の一例として、画像データに対してバンドパスフィルタリングを行って絶対値をとり、それぞれの画像データのエッジを抽出する方法が挙げられる。なお、エッジ抽出方法は、この方法に限定されない。

ステップＳ３０３において、エッジ減算部２０２は、画素毎に、主要被写体合焦画像データから抽出されたエッジから、背景画像データから抽出されたエッジを減算することにより、エッジ差分画像データを生成する。ステップＳ３０４において、エッジ積分値算出部２０３は、ステップＳ３０３で生成されたエッジ差分画像データを複数の領域に分割し、各領域においてエッジ量を積分する。

ステップＳ３０５において、エッジ積分値評価部２０４は、分割された領域毎に、エッジ量の積分値に基づいて当該領域が主要被写体領域であるか背景領域であるかを判定する。なお、閾値は、予め定められた固定値でもよいし、画像データのエッジのヒストグラム分布から適応的に求められた値でもよい。

ステップＳ３０６において、領域マップ生成部２０５は、ステップＳ３０５における判定結果に基づいて、主要被写体領域と背景領域とを判別可能な切り出しマップを生成する。切り出しマップの例として、合成比率を画像データ自体の画素値で表したものが挙げられる。なお、主要被写体領域と背景領域との境界の段差を目立たなくさせるために、境界部分にローパスフィルタをかけてもよい。

ステップＳ３０７において、ぼかし処理部２０６は、切り出しマップに基づいて、背景合焦画像データの背景領域に対してぼかし処理を行うことにより、ぼけ画像データを生成する。ぼかし処理は、点像ぼかし関数の特性を用いた手法でもよいし、２次元ローパスフィルタを用いた手法でもよいし、画像データの拡大縮小処理を用いた手法でもよい。

ステップＳ３０８において、画像合成部２０７は、切り出しマップに基づいて、主要被写体合焦画像データとぼけ画像データとを合成することにより、背景ぼかし画像データを生成する。即ち、画像合成部２０７は、切り出しマップの画素値から求まるα（０≦α≦１）に基づき、主要被写体合焦画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成することにより、背景ぼかし画像データＢを生成する。このときの合成処理は、次の式１で表される。
Ｂ［ｉ，ｊ］＝ＩＭＧ１［ｉ，ｊ］＊α［ｉ，ｊ］＋ＩＭＧ２［ｉ，ｊ］＊（１−α）・・・式１
以上により、主要被写体領域付近の背景領域に対する被写体ぼけの影響を抑えた背景ぼかし画像データを生成することができる。

図４は、図３のステップＳ３０１における、主要被写体合焦画像データ及び背景画像データの取得処理の詳細を示すフローチャートである。なお、図４に示す処理は、ユーザにより撮影が指示されることに応じて開始される処理である。

ステップＳ４０１において、制御部１１５は、主要被写体領域を検出する。主要被写体領域の検出は、顔認識機能を利用したものであってもよいし、色やオートフォーカスによる焦点位置情報から算出したものでもよい。勿論、主要被写体領域の検出は、本撮影指示の前である、ライブビュー画像表示の際に行ってもよいことはいうまでもない。

ステップＳ４０２において、制御部１１５は、ステップＳ４０１で検出した主要被写体領域のフォーカスレンズの合焦位置を検出することで主要被写体距離を算出する。ステップＳ４０３において、制御部１１５は、背景領域のフォーカスレンズの合焦位置を検出することで背景領域距離を算出する。ステップＳ４０２における主要被写体距離の算出処理と、ステップＳ４０３における背景領域距離の算出処理とは、コンパクトデジタルカメラの代表的なオートフォーカスの制御方法であるコントラスト方式にて実行される。具体的には、フォーカスレンズを遠側から近側に移動させながら主要被写体領域に含まれる画像のコントラスト評価値を取得し、主要被写体領域におけるコントラスト評価値がピーク値をとるフォーカスレンズ位置である合焦位置を検出する。そして、その合焦位置、レンズ情報、絞り値及び焦点距離等に基づいて、主要被写体距離が算出される。背景領域距離の算出処理についても同様である。勿論、その際に深度情報も算出することができる。

図５は、主被写体領域と背景領域との画像のコントラスト評価値を取得するための画面上に設定される複数のフォーカス検出枠のうちの主要被写体領域のフォーカス枠ａと背景領域のフォーカス枠ｂとを示す図である。また、図６は、図５に示す主要被写体領域のフォーカス枠ａのコントラスト評価値及び背景領域のフォーカス枠ｂのコントラスト評価値と、被写体距離との関係を示す図である。一般的に、合焦位置と被写体距離とは、絞りやズームポジション毎に、予めフォーカスレンズ駆動用モータの制御情報と被写体距離とを測定する等して対応付けることが可能である。

ステップＳ４０４において、制御部１１５は、ステップＳ４０２で算出した主要被写体距離とステップＳ４０３で算出した背景領域距離とに基づいて、主要被写体領域に対応する被写体距離と背景領域に対応する被写体距離との距離が所定の深度以上離れているか否かを判定する。ここでいう所定の深度とは、所定の絞り、焦点距離及び主要被写体距離（被写体とカメラの間の距離）において、フォーカスレンズ位置を変化させたときのコントラスト評価値の低下量を予め測定しておき、主要被写体距離と背景領域距離とにおいて、コントラスト評価値の変動量が一定以上存在するかを判定することで得ることが可能である。

図６（ａ）の例においては、主要被写体距離が２５６０ｍｍであり、背景領域距離が５１２０ｍｍ以上の無限位置であることを示している。そして、主要被写体距離では、主要被写体領域のコントラスト評価値が１．０であり、背景領域のコントラスト評価値が０．６である。一方、背景領域距離では、主要被写体領域のコントラスト評価値が０．５であり、背景領域のコントラスト評価値が１．０である。つまり、主要被写体距離において、主要被写体領域のコントラスト評価値より背景領域のコントラスト評価値がある程度下がっている。従って、この例においては、主要被写体領域に対応する被写体距離と背景領域に対応する被写体距離との距離が所定の深度以上離れている。そのため、図３のステップＳ３０３において、主要被写体合焦画像データと背景画像データとの間でエッジ量の差分が生じさせることができ、図３のステップＳ３０６において、主要被写体領域と背景領域とを判別可能な切り出しマップを生成することが可能となる。この場合、処理はステップＳ４０４からＳ４０８に移行する。

ステップＳ４０８において、制御部１１５は、主要被写体合焦画像データを取得させる。例えば、主要被写体領域のフォーカス枠ａのコントラスト評価値がピークとなるフォーカスレンズ位置で画像データを取得させることで主要被写体合焦画像データを取得させる。ステップＳ４０９において、制御部１１５は、遠側画像データの取得、即ち、主要被写体領域よりも遠側のフォーカスレンズ位置で背景画像データを取得させる。主要被写体領域よりも遠側のフォーカスレンズ位置は、例えば背景領域に合焦するフォーカスレンズ位置（背景領域のフォーカス枠ｂのコントラスト評価値がピークとなるフォーカスレンズ位置）とすればよい。

図６（ｂ）の例においては、主要被写体距離が５１２０ｍｍであり、背景領域距離が５１２０ｍｍ以上の無限位置であることを示している。そして、主要被写体距離では、主要被写体領域のコントラスト評価値が１．０であり、背景領域のコントラスト評価値が０．９である。一方、背景領域距離では、主要被写体領域のコントラスト評価値が０．９であり、背景領域のコントラスト評価値が１．０である。つまり、主要被写体合焦画像データと背景画像データとの間でコントラスト差がほとんどなく、主要被写体領域に対応する被写体距離と背景領域に対応する被写体距離との距離が所定の深度未満である。従って、図３のステップＳ３０３において、主要被写体合焦画像データと背景画像データとの間でエッジ量の差分が生じさせることができず、図３のステップＳ３０６において、主要被写体領域と背景領域とを判別可能な切り出しマップを生成することもできなくなる。この場合、処理はステップＳ４０４からＳ４０５に移行する。

ステップＳ４０５において、制御部１１５は、主要被写体合焦画像データを取得させる。例えば、主要被写体領域のフォーカス枠ａのコントラスト評価値がピークとなるフォーカスレンズ位置で画像データを取得させることで主要被写体合焦画像データを取得させる。ステップＳ４０６において、制御部１１５は、近側画像データの取得、即ち、主要被写体領域よりも近側のフォーカスレンズ位置で背景画像データを取得させる。以下、ステップＳ４０６にて取得された背景画像データを、近側画像データと称す。図６（ｂ）の例では、２５６０ｍｍの被写体距離で画像データを取得することにより、主要被写体領域のコントラスト評価値が０．９となり、背景領域のコントラスト評価値が０．６となり、主要被写体領域と背景領域とのコントラスト差をつけることができる。従って、図３のステップＳ３０３において、主要被写体合焦画像データと背景画像データとの間でエッジ量の差分が生じさせることができ、図３のステップＳ３０６において、主要被写体領域と背景領域とを判別可能な切り出しマップを生成することが可能となる。

近側画像データの取得の際のフォーカスレンズ位置の算出方法は、上述したように、主要被写体領域と背景領域とのコントラスト値の差分に基づいて決定してもよいし、一律に所定の深度だけ主要被写体領域より近側のフォーカスレンズ位置で近側画像データを取得するようにしてもよい。また、例えば、主要被写体領域が無限位置に位置する場合、コントラスト値の差分に基づいて近側画像データの取得の際のフォーカスレンズ位置を算出せず、所定の深度だけ主要被写体領域より近側のフォーカスレンズ位置で近側画像データを取得するようにしてもよい。

図７（ａ）は、主要被写体合焦画像データと遠側画像データとを用いて領域判定処理を示すフローチャートである。即ち、図７（ａ）は、図４のステップＳ４０４からＳ４０８に処理が分岐した場合に実行される処理を示している。なお、図７（ａ）は、図３のステップＳ３０２〜Ｓ３０５をより詳細に示したものである。

ステップＳ７０１において、エッジ検出部２０１は、主要被写体合焦画像データを入力し、当該主要被写体合焦画像データからエッジを抽出する。ステップＳ７０２において、エッジ検出部２０１は、遠側画像データを入力し、当該遠側画像データからエッジを抽出する。ステップＳ７０１とステップＳ７０２とは同時に実行してもよいし、順次実行するようにしてもよい。なお、ステップＳ７０１及びＳ７０２は、図３のステップＳ３０２に対応する処理である。

ステップＳ７０３において、エッジ減算部２０２は、画素毎に、主要被写体合焦画像データから抽出されたエッジから、遠側画像データから抽出されたエッジを減算し、エッジ差分画像データを生成する。なお、ステップＳ７０３は、図３のステップＳ３０３に対応する処理である。

ステップＳ７０４において、エッジ積分値算出部２０３は、ステップＳ７０３で生成されたエッジ差分画像データを複数の領域に分割し、各領域においてエッジ量を積分する。そして、エッジ積分値評価部２０４は、分割された領域毎に、エッジ量の積分値が正の値か負の値であるかに応じて、主要被写体合焦画像データ側のエッジが強いか、遠側画像データ側のエッジが強いかを判定する。即ち、エッジ積分値評価部２０４は、エッジ量の積分値が正の値である場合、当該領域については主要被写体合焦画像データ側のエッジが強いと判定し、エッジ量の積分値が負の値である場合、当該領域については遠側画像データ側のエッジが強いと判定する。主要被写体合焦画像データ側のエッジが強い場合、処理はステップＳ７０５に移行する。一方、遠側画像データ側のエッジが強い場合、処理はステップＳ７０６に移行する。

ステップＳ７０５において、エッジ積分値評価部２０４は、当該領域を主要被写体領域として判定する。ステップＳ７０６において、エッジ積分値評価部２０４は、当該領域を背景領域として判定する。ステップＳ７０７において、エッジ積分値評価部２０４は、全ての領域についてステップＳ７０４の判定処理を実行したか否かを判定する。全ての領域についてステップＳ７０４の判定処理を実行した場合、処理は終了する。一方、全ての領域についてステップＳ７０４の判定処理を実行していない場合、処理はステップＳ７０４に戻り、新たな領域についてステップＳ７０４の判定処理が実行される。なお、ステップＳ７０４〜Ｓ７０６は、図３のステップＳ３０４及びＳ３０５に対応する処理である。

図７（ｂ）は、主要被写体合焦画像データと近側画像データとを用いて領域判定処理を示すフローチャートである。即ち、図７（ｂ）は、図４のステップＳ４０４からＳ４０５に処理が分岐した場合に実行される処理を示している。なお、図７（ｂ）は、図３のステップＳ３０２〜Ｓ３０５をより詳細に示したものである。また、図７（ｂ）のステップＳ７１１〜Ｓ７１３は、図７（ａ）のステップＳ７０１〜Ｓ７０３と同一の処理であるため、それらの説明は省略する。

ステップＳ７１４において、エッジ積分値算出部２０３は、ステップＳ７１３で生成されたエッジ差分画像データを複数の領域に分割し、各領域においてエッジ量を積分する。そして、エッジ積分値評価部２０４は、分割された領域毎に、エッジ量の積分値が所定の閾値以上であるか否かに応じて、主要被写体合焦画像データのエッジ量と近側画像データのエッジ量との差分が大きいか否かを判定する。エッジ量の積分値が所定の閾値以上である場合、即ち、当該領域における主要被写体合焦画像データのエッジ量と近側画像データのエッジ量との差分が大きい場合、処理はステップＳ７１５に移行する。一方、エッジ量の積分値が所定の閾値未満である場合、即ち、当該領域における主要被写体合焦画像データのエッジ量と近側画像データのエッジ量との差分が小さい場合、処理はステップＳ７１６に移行する。

ステップＳ７１５において、エッジ積分値評価部２０４は、当該領域を背景領域として判定する。ステップＳ７１６において、エッジ積分値評価部２０４は、当該領域を主要被写体領域として判定する。ステップＳ７１６において、エッジ積分値評価部２０４は、全ての領域についてステップＳ７１４の判定処理を実行したか否かを判定する。全ての領域についてステップＳ７１４の判定処理を実行した場合、処理は終了する。一方、全ての領域についてステップＳ７１４の判定処理を実行していない場合、処理はステップＳ７１４に戻り、新たな領域についてステップＳ７１４の判定処理が実行される。

本実施形態では、コントラスト方式を用いて説明したが、位相差方式による方法でも可能である。その場合、画面上の複数の位置に位相差検出枠を設定することにより、主要被写体距離及び背景領域距離を算出できることはいうまでもない。

以上のように、本実施形態によれば、主要被写体領域の被写体距離と背景領域の被写体距離とが深度的に近く、主要被写体領域と背景領域との切り分けが難しい場合においても、フォーカスレンズの位置を変化させて、主要被写体領域と背景領域との間でコントラスト差がとれるような画像取得を行う。これにより、主要被写体領域を適切に抽出することが可能となり、ユーザにとって好ましい背景ぼかし画像データを提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１１：背景ぼかし画像生成部、２０１：エッジ検出部、２０２：エッジ減算部、２０３：エッジ積分値算出部、２０４：エッジ積分値評価部、２０５：領域マップ生成部、２０６：ぼかし処理部、２０７：画像合成部

Claims (11)

1. 主要被写体領域のフォーカスレンズの合焦位置と、前記主要被写体領域とは異なる領域の前記フォーカスレンズの合焦位置を検出する焦点検出手段と、
   前記主要被写体領域に合焦させて第１の画像データを取得するとともに、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側又は近側のフォーカスレンズ位置で第２の画像データを取得する撮像手段と、
   前記第１の画像データと前記第２の画像データとに基づいて、前記主要被写体領域と背景領域とを判定する判定手段とを有することを特徴とする撮像装置。
2. 前記撮像手段は、前記主要被写体領域に対応する被写体距離と、前記主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離との距離差が所定の深度以上であるか否かを判定し、前記主要被写体領域と前記主要被写体領域とは異なる領域との距離差が前記所定の深度以上である場合に前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側のフォーカスレンズ位置で前記第２の画像データを取得し、前記主要被写体領域と前記主要被写体領域とは異なる領域との距離差が前記所定の深度未満である場合に前記主要被写体領域の前記フォーカスレンズの合焦位置よりも近側のフォーカスレンズ位置で前記第２の画像データを取得することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離との距離差が前記所定の深度以上である場合、前記第１の画像データと、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側のフォーカスレンズ位置で取得された前記第２の画像データとに基づいて、前記主要被写体領域と前記背景領域とを判定し、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離との距離差が前記所定の深度未満である場合、前記第１の画像データと、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも近側のフォーカスレンズ位置で取得された前記第２の画像データとに基づいて、前記主要被写体領域と前記背景領域とを判定することを特徴とする請求項２に記載の撮像装置。
4. 前記判定手段は、前記第１の画像データと、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側のフォーカスレンズ位置で取得された前記第２の画像データとに基づいて、前記主要被写体領域と前記背景領域とを判定する場合、前記第２の画像データから抽出されたエッジ量より前記第１の画像データから抽出されたエッジ量の方が高い領域を、前記主要被写体領域と判定し、前記第１の画像データから抽出されたエッジ量より前記第２の画像データから抽出されたエッジ量の方が高い領域を、前記背景領域と判定することを特徴とする請求項３に記載の撮像装置。
5. 前記判定手段は、前記第１の画像データと、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも近側のフォーカスレンズ位置で取得された前記第２の画像データとに基づいて、前記主要被写体領域と前記背景領域とを判定する場合、前記第１の画像データから抽出されたエッジ量と前記第２の画像データから抽出されたエッジ量との差分が所定の閾値より高い領域を、前記背景領域と判定し、前記第１の画像データから抽出されたエッジ量と前記第２の画像データから抽出されたエッジ量との差分が所定の閾値未満の領域を、前記主要被写体領域と判定することを特徴とする請求項３又は４に記載の撮像装置。
6. 前記撮像手段は、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも近側のフォーカスレンズ位置で前記第２の画像データを取得する際、前記主要被写体領域の画像データと前記背景領域の画像データとのコントラスト評価値の差分に基づいて当該フォーカスレンズ位置を決定することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記撮像手段は、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも近側のフォーカスレンズ位置で前記第２の画像データを取得する際、前記主要被写体領域より所定の深度だけ近側のフォーカスレンズ位置で前記第２の画像データを取得することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
8. 前記判定手段の判定結果に基づいて、ぼかし処理が施された画像データと前記第１の画像データとを合成する合成手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
9. 前記ぼかし処理は、点像ぼかし関数、ローパスフィルタ、又は、画像データの拡大縮小処理を用いた手法の処理であることを特徴とする請求項８に記載の撮像装置。
10. 撮像装置の制御方法であって、
    主要被写体領域のフォーカスレンズの合焦位置と、前記主要被写体領域とは異なる領域の前記フォーカスレンズの合焦位置とを検出する焦点検出ステップと、
    前記主要被写体領域に合焦させて第１の画像データを取得するとともに、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側又は近側のフォーカスレンズ位置で第２の画像データを取得する撮像ステップと、
    前記第１の画像データと前記第２の画像データとに基づいて、前記主要被写体領域と背景領域とを判定する判定ステップとを有することを特徴とする撮像装置の制御方法。
11. 主要被写体領域のフォーカスレンズの合焦位置と、前記主要被写体領域とは異なる領域の前記フォーカスレンズの合焦位置とを検出する焦点検出ステップと、
    前記主要被写体領域に合焦させて第１の画像データを取得するとともに、前記主要被写体領域に対応する被写体距離と前記主要被写体領域とは異なる領域に対応する被写体距離とに基づいて、前記主要被写体領域の前記フォーカスレンズの合焦位置よりも遠側又は近側のフォーカスレンズ位置で第２の画像データを取得する撮像ステップと、
    前記第１の画像データと前記第２の画像データとに基づいて、前記主要被写体領域と背景領域とを判定する判定ステップとをコンピュータに実行させるためのプログラム。

Images