JP2018054815A - 領域判別装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】背景領域などの被写体領域以外の他の領域を判別して特定するまでに要する時間を短縮する。【解決手段】フォーカスレンズ１０４を備える撮像光学系を介して撮像して得られた画像データにおいて特定の領域と当該特定の領域以外の他の領域を判別する際、ＣＰＵ１１３は画像データが示す画像に設定された複数の焦点検出領域の各々においてフォーカスレンズの焦点状態を検出して焦点検出結果を得て、ＣＰＵの制御下で画像処理部は特定の領域から無限端側に第１の距離だけ離れた第１の位置と合焦位置から無限端側に１の距離よりも大きい第２の距離だけ離れた第２の位置とに基づいて規定されたフォーカスレンズの探索範囲における焦点検出結果に応じて前記他の領域を判別する。【選択図】図４

Description

本発明は、領域判別装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、背景ぼかし処理の際の背景領域の判別処理に関する。

デジタルカメラ又はデジタルビデオカメラなどの撮像装置において、被写体以外の領域について画像処理を行う機能が備えられたものがある。当該機能の一つとして、例えば、撮像によって得られた画像データにおいて背景領域に対して、疑似的にぼかし効果を与える機能がある。

ところで、一眼レフカメラのように大きい撮像素子を備える撮像装置では、絞りを開いて焦点距離を長くすることで被写界深度が浅くなる。このため、合焦した被写体以外の背景をぼかした画像データを得ることは比較的容易である。一方、コンパクトデジタルカメラなどのように小さい撮像素子を備える撮像装置では、一眼レフカメラと同様の手法を用いたとしても、被写界深度が深くなる傾向にある。よって、背景をぼかした画像データを得ることは困難である。

このような問題に対処するため、撮像によって得られた画像データにおいて被写体領域と背景領域とを判別して、背景領域にフィルタリング処理を施して背景がぼけた画像データを得る撮像装置がある（特許文献１参照）。

一方、画像データにおいて被写体領域と背景領域とを判別するためには、撮像画面に複数の測距領域を規定して、当該測距領域から測距結果を得る必要がある。つまり、測距領域毎に測距結果である距離情報を有する領域マップを作成する必要がある。

特開２０１３−３７８７号公報

上述のように、特許文献１に記載の撮像装置においては、被写体領域と背景領域とを判別する際には、測距領域毎に測距結果である距離情報を有する領域マップを作成する必要がある。よって、背景領域を判別するまでに時間が掛かってしまうことになる。

従って、本発明の目的は、背景領域などの被写体領域以外の領域を判別して特定するまでに要する時間を短縮することのできる領域判別装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による領域判別装置は、フォーカスレンズを備える撮像光学系を介して撮像して得られた画像データにおいて特定の領域と当該特定の領域以外の他の領域を判別する領域判別装置であって、前記画像データが示す画像に設定された複数の焦点検出領域の各々において前記フォーカスレンズの焦点状態を検出して焦点検出結果を得る焦点検出手段と、前記特定の領域の合焦位置から無限端側に第１の距離だけ離れた第１の位置と前記合焦位置から無限端側に前記１の距離よりも大きい第２の距離だけ離れた第２の位置とに基づいて前記フォーカスレンズの探索範囲を規定し、前記探索範囲における前記焦点検出結果に応じて前記他の領域を判別する判別手段と、を有することを特徴とする。

本発明によれば、背景領域などの特定の領域以外の他の領域を判別して特定するまでに要する時間を短縮することができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示す画像処理部の構成についてその一例示すブロック図である。 図２に示す前記領域判別回路の構成についてその一例を示すブロック図である。 図１に示すカメラで行われる背景ぼかし撮影処理の一例を説明するためのフローチャートである。 図４に示す背景選択処理と焦点検出処理を説明するためのフローチャートである。 図５に示す比較基データの取得を説明するための図である。 図５に示す背景候補選択処理を説明するためのフローチャートである。 図１に示すカメラで選択された背景候補による合焦領域の一例を説明するための図である。 背景ぼかし撮影処理の際に図２に示す画像処理部で行われる領域判別処理を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮影レンズユニット（撮像光学系：以下単に撮影レンズと呼ぶ）１０１を有しており、撮影レンズ１０１にはズーム機構が含まれている。撮影レンズ１０１の後段には、光量を調節するための絞り及びシャッター１０２が配置され、さらに、フォーカスレンズ１０４が配置されている。フォーカスレンズ１０４は撮像素子１０７に光学像を結像するためのレンズである。つまり、フォーカスレンズ１０４は撮像素子１０７に焦点を合わせるためのレンズである。

ＡＥ処理部１０３は、システム制御部１１３の制御下で、後述する画像処理部１０９の出力に応じて絞り及びシャッター１０２を制御する。ＡＦ処理部１０６は、システム制御部１１３の制御下で、後述するようにモータ１０５を駆動制御してフォーカスレンズ１０４を光軸に沿って移動させる。

なお、図示の例では、フォーカスレンズ１０４が移動可能な移動範囲において、無限側のフォーカスレンズ１０４の位置を無限端、至近側のフォーカスレンズ１０４の位置を至近端と呼ぶ。また、所定のフォーカスレンズ１０４の位置を基準として無限端方向を遠側、至近端方向を近側と呼ぶ。

撮像素子１０７は、例えば、ＣＭＯＳイメージセンサであり、撮像面に結像した光学像（被写体像）に応じた電気信号（アナログ画像信号）を出力する。Ａ／Ｄ変換部１０８はアナログ画像信号を受けて、当該アナログ画像信号をＡ／Ｄ変換によって画像データに変換する。なお、Ａ／Ｄ変換部１０８には、撮像素子１０７の出力ノイズを除去するＣＤＳ回路および非線形増幅回路が含まれている。

画像処理部１０９は、Ａ／Ｄ変換部１０８出力である画像データに所定の画像処理を施す。そして、画像処理部１０９は画像データについてエッジ成分を用いた領域判別を行う。なお、領域判別に用いられる領域判別回路および領域判別の手法については後述する。さらに、画像処理部１０９は画像データついて、後述する背景ぼかし処理を行うとともに、ピントを合わせるべき被写体領域（例えば人物の顔など）を検出する。

フォーマット変換部１１０は画像処理部１０９の出力である画像データについて所定のフォーマット変換を行って、内蔵メモリ（例えば、ＤＲＡＭ）１１１に一旦記憶する。ＤＲＡＭ１１１は一時的に画像データを記憶する高速バッファとして用いられるとともに、画像データを圧縮伸張処理する際の作業用メモリとして用いられる。そして、ＤＲＡＭ１１１に記録された画像データは画像記録部１１２に保存される。なお、画像記録部１１２にはメモリーカードなどの記録媒体およびインターフェースが備えられている。

システム制御部（以下ＣＰＵと呼ぶ）１１３は撮影シーケンスなどを実行してカメラ全体の制御を行う。

ＤＲＡＭ１１１に記憶された画像データは画像表示用メモリ（ＶＲＡＭ）１１４に転送される。そして、ＣＰＵ１１３はＶＲＡＭ１１４に記録された画像データに応じた画像を画像表示部１１５に表示する。また、ＣＰＵ１１３は操作補助のための情報表示、カメラ状態の表示の他、撮影の際の撮影画面および焦点検出領域を画像表示部１１５に表示する。

操作部１１６はユーザによって操作され、各種指示をＣＰＵ１１３に送る。操作部１１６には、例えば、メニュースイッチ、ズームレバー、および動作モード切換スイッチが備えられている。メニュースイッチはカメラによる撮影および画像再生の設定などの各種設定を行う場合に用いられる。ズームレバーは撮影レンズ１０１をズーム動作させる際に用いられる。動作モード切換スイッチは撮影モード又は再生モードに切り換える際に用いられる。

撮影モードスイッチ（ＳＷ）１１７は、例えば、マクロモード、遠景モード、およびスポーツモードなどの撮影モードを選択する際に用いられる。そして、ＣＰＵ１１３は撮影モードスイッチ１１７によって選択された撮影モードに応じて焦点検出範囲および焦点検出動作などを変更する。

メインＳＷ１１８はカメラの電源を投入する際に用いられる。レリーズスイッチにはスイッチ１１９（ＳＷ１）およびスイッチ１２０（ＳＷ２）が備えられており、ＳＷ１はＡＥなどの撮影スタンバイ動作をＣＰＵ１１３に指示するためのスイッチである。ＳＷ２はＳＷ１の操作後に操作され、ＣＰＵ１１３に撮影を指示する撮影スイッチである。

前述のＡＦ処理部１０６は、モータ１０５を駆動制御してフォーカスレンズ１０４を光軸に沿って駆動し、後述する焦点検出領域において焦点検出を行う。焦点検出の際に用いられる手法として種々の手法が知られているが、ここでは、所謂コントラスト検出方式が用いられる。

ＡＦ処理部１０６では、画像データのコントラストに基づいて算出した焦点検出評価値を用いて撮影画面に設定された焦点検出領域における焦点状態の検出を行う。ここでは、焦点検出評価値が高い場合にはコントラストが高く、焦点検出評価値が低い場合にはコントラストが低い。そして、最もコントラストが高い、つまり、焦点検出評価値が最も高いフォーカスレンズ１０４の位置がピントの合っている状態となる。

なお、コントラスト検出方式の代わりに次の手法を用いるようにしてもよい。例えば、ＡＦ処理部１０６は、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）によって焦点検出を行うようにしてもよい。具体的には、特開２００６−３８０３号公報に記載の手法を用いて、焦点検出を行うようにしてもよい。

さらには、焦点検出方式として、例えば、撮像素子１０７の撮像面において位相差ＡＦ検出方式による焦点検出処理（撮像面位相差方式ＡＦ）を行うようにしてもよい。但し、撮像面位相差方式ＡＦを行うには、撮像素子１０７は、被写体像を形成する撮影光学系の射出瞳の全域を通過する光束を受光する複数の撮像用画像を備える必要がある。さらに、撮像素子１０７は撮影光学系の異なる射出瞳の領域を通過する光束を受光する複数の焦点検出用画素も備える必要がある。

ＡＦ処理部１０６は、撮影光学系の一対の瞳領域を通過する光束によって焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差方式ＡＦを行って、焦点検出を行う。撮像面位相差方式ＡＦについては、例えば、特開２００９−００３１２２号公報に記載されているので、ここでは詳細な説明を省略する。

図２は、図１に示す画像処理部１０９の構成についてその一例示すブロック図である。

色変換マトリックス（ＭＴＸ）回路２０１は、入力として撮影レンズ１０１を介して撮像して得られた画像データを受けて当該画像データに色ゲインを乗算して色差信号Ｒ−ＹおよびＢ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路２０２は、色差信号Ｒ−ＹおよびＢ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路２０３は、ＬＰＦ回路２０２で帯域制限された画像データにおいて飽和部分の偽色信号を抑圧する。

入力である画像データは輝度信号生成回路２０４にも送られる。輝度信号生成回路２０４は画像データから輝度信号Ｙを生成する。エッジ強調回路２０５は当該輝度信号Ｙにエッジ強調処理を行う。

ＲＧＢ変換回路２０６は、ＣＳＵＰ回路２０３の出力である色差信号Ｒ−ＹおよびＢ−Ｙとエッジ強調回路２０５の出力である輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正回路２０７はＲＧＢ信号に対して階調補正処理を行う。そして、色輝度変換回路２０８は階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。

領域判別回路２０９は、ＹＵＶ信号を用いて画像データにおける被写体領域と背景領域とを判別する。なお、被写体領域および背景領域については後述する。

図３は、図２に示す前記領域判別回路２０９の構成についてその一例を示すブロック図である。

領域判別回路２０９は、エッジ検出部３０１、エッジ減算部３０２、エッジ積分値算出部３０３、エッジ積分値評価部３０４、および領域マップ生成部３０５を有している。なお、これら各ブロックにおける処理については後述する。

＜背景ぼかし撮影処理＞
図４は、図１に示すカメラで行われる背景ぼかし撮影処理（背景ぼかし処理）の一例を説明するためのフローチャートである。

なお、図示のフローチャートに係る処理は、例えば、メニュースイッチなどによって背景ぼかしモードが設定されている際に、スイッチＳＷ１およびＳＷ２がオンされた場合に行われる。また、図示のフローチャートに係る処理は、ＣＰＵ１１３の制御下において画像処理部１０９などによって行われる。

背景ぼかしモードが設定されると、ＣＰＵ１１３は、スイッチＳＷ１がオンであるか否かを判定する（ステップＳ４０１）。スイッチＳＷ１がオフであると（ステップＳ４０１において、ＮＯ）、ＣＰＵ１１３は待機する。一方、スイッチＳＷ１がオンとなると（ステップＳ４０１において、ＹＥＳ）、ＣＰＵ１１３は、ＡＦ処理部１０６を制御して被写体となる焦点検出領域（被写体領域）の選択処理と焦点検出処理を行う（ステップＳ４０２）。

なお、被写体領域とは、焦点を合わせたい対象である被写体、例えば、人物の顔などの被写体が含まれている焦点検出領域のことをいう。但し、撮影画面には予め複数の焦点検出領域が規定されており、ＣＰＵ１１３は焦点検出領域毎に焦点検出処理を行うものとする。ここでは、撮影画面には、５行×６列の格子状に３０個の焦点検出領域が配置されている。

焦点検出処理の際には、ＣＰＵ１１３の制御下で、ＡＦ処理部１０６は至近端から焦点検出を開始する。そして、ＡＦ処理部１０６は所定の間隔でフォーカスレンズ１０４の位置を無限方向に変更し、停止の指示があるまで焦点検出を繰り返す。なお、焦点検出を高速化するため、至近端から焦点検出を開始せず、ステップＳ４０１の時点におけるフォーカスレンズ１０４の位置を焦点検出の開始位置とし、無限方向に焦点検出を繰り返すようにしてもよい。

画像処理部１０９によって人物の顔などの被写体が検出されないと、ＣＰＵ１１３は撮影画面の中央付近に配置された焦点検出領域から被写体領域とする焦点検出領域を選択する。例えば、撮影画面に５行×６列で３０個の焦点検出領域を配置している場合には、撮影画面の中央付近に配置された３行×４列の焦点検出領域を対象として焦点検出が行われる。そして、焦点検出結果に基づいて次のようにして焦点検出領域を選択する。

例えば、ＣＰＵ１１３は３行×４列の焦点検出領域のうち最も至近でピントが合う焦点検出結果を有する焦点検出領域を最至近焦点検出領域１とする。ここでは、最至近焦点検出領域１に係る焦点検出結果は最初に得られる。続いて、最至近焦点検出領域１に係る焦点検出結果を基準として、ＣＰＵ１１３は遠側に所定の深度内である焦点検出結果を有する焦点検出領域でかつ隣接した焦点検出領域が存在するか否かを、近側から遠側に向って順次判定する。

以下の説明では、所定の深度を第１の所定深度（第５の所定被写界深度）と呼び、第１の所定深度の値は、１Ｆδとする。なお、１Ｆδとは、絞り値をＦ、許容錯乱円をδとした際に、Ｆとδの積で求められる値であり、焦点が合っている範囲を示す深度の単位である。

ＣＰＵ１１３は、最初に焦点検出結果が得られたフォーカスレンズ１０４の位置から第１の所定深度まで進むと、一旦焦点検出を停止する。ここで、最至近焦点検出領域１に係る焦点検出結果を基準として第１の所定深度内（第１の所定被写界深度内）でかつ隣接した焦点検出領域があるとする。この場合には、ＣＰＵ１１３は最至近焦点検出領域１に係る焦点検出結果を含めて、第１の所定深度内に焦点検出結果を有する全ての焦点検出領域を被写体領域とする。

複数の焦点検出領域を被写体領域とした場合には、ＣＰＵ１１３は複数の焦点検出領域に係る焦点検出結果のうち最も近側の焦点検出結果、つまり、最至近焦点検出領域１に係る焦点検出結果を被写体領域の合焦位置として選択する。

一方、画像処理部１０９によって被写体が検出された場合には、ＣＰＵ１１３は検出された被写体領域と重なる焦点検出領域において次のようにして焦点検出を行う。

ＣＰＵ１１３は、検出された被写体領域と重なる焦点検出領域のうち最も至近でピントが合う焦点検出結果を有する焦点検出領域を最至近焦点検出領域２とする。ここでは、最至近焦点検出領域２に係る焦点検出結果は最初に得られる。続いて、最至近焦点検出領域２に係る焦点検出結果を基準として、ＣＰＵ１１３は遠側に所定の深度内である焦点検出結果を有する焦点検出領域でかつ隣接した焦点検出領域が存在するか否かを至近から遠側に向って順次判定する。

以下の説明では、この所定の深度を第２の所定深度と呼び、第２の所定深度の値を１Ｆδとする。ＣＰＵ１１３は、最初に焦点検出結果が得られたフォーカスレンズ１０４の位置から第２の所定深度まで進むと、一旦焦点検出を停止する。

ここで、最至近焦点検出領域２に係る焦点検出結果を基準として第２の所定深度内でかつ隣接した焦点検出領域があるとする。この場合には、ＣＰＵ１１３は最至近焦点検出領域２に係る焦点検出結果を含めて、第２の所定深度内に焦点検出結果を有する焦点検出領域を被写体領域とする。

複数の焦点検出領域を被写体領域とした場合には、ＣＰＵ１１３は複数の焦点検出領域に係る焦点検出結果のうち最も近側の焦点検出結果、つまり、最至近焦点検出領域２に係る焦点検出結果を被写体領域の合焦位置として選択する。

なお、上述の例では、第２の所定深度および第１の所定深度をともに１Ｆδとしたが、第２の所定深度および第１の所定深度は互いに異なるようにしてもよい。

続いて、ＣＰＵ１１３は被写体となる焦点検出領域（つまり、被写体領域）があるか否かを判定する（ステップＳ４０３）。被写体となる焦点検出領域があると（ステップＳ４０３において、ＹＥＳ）、ＣＰＵ１１３は、ＡＦ処理部１０６を制御して、後述するスキャン開始位置にフォーカスレンズ１０４を駆動する（ステップＳ４０４）。そして、ＣＰＵ１１３は、後述するようにして、背景選択処理と焦点検出処理を行う（ステップＳ４０５）。

ここでは、ＣＰＵ１１３は、撮影画面に焦点検出領域を配置して、ＡＦ処理部１０６を制御して焦点検出領域毎に焦点検出を行う。そして、ＣＰＵ１１３は画像処理部１０９を制御して、焦点検出結果に基づいて背景となる焦点検出領域を選択する処理を行う。

続いて、ＣＰＵ１１３はスイッチＳＷ２がオンであるか否かを判定する（ステップＳ４０６）。スイッチＳＷ２がオフであると（ステップＳ４０６において、ＮＯ）、ＣＰＵ１１３は待機する。一方、スイッチＳＷ２がオンとなると（ステップＳ４０６において、ＹＥＳ）、ＣＰＵ１１３は撮影を実行する。そして、ＣＰＵ１１３はぼかし処理が可能な背景領域が存在するか否かを判定する（ステップＳ４０７）。なお、背景領域とは、被写体領域を除く焦点検出領域のうちぼかし処理などの所定の処理を行う対象となる焦点検出領域をいう。また、ステップＳ４０７の処理は後述する背景選択フラグの設定内容に応じて行われる。

ぼかし処理が可能な背景領域が存在すると（ステップＳ４０７において、ＹＥＳ）、ＣＰＵ１１３は画像処理部１０９を制御して、後述する背景ぼかし撮影処理を行う（ステップＳ４０８）。そして、ＣＰＵ１１３は背景ぼかし処理を終了する。

ぼかし処理が可能な背景領域が存在しないと（ステップＳ４０７において、ＮＯ）、ＣＰＵ１１３は１画像撮影処理、つまり、通常の撮影処理を行う（ステップＳ４０９）。そして、ＣＰＵ１１３は背景ぼかし処理を終了する。なお、被写体となる焦点検出領域がないと（ステップＳ４０３において、ＮＯ）、ＣＰＵ１１３はステップＳ４０９の処理に進む。

＜背景選択処理と焦点検出処理＞
図５は、図４に示す背景選択処理と焦点検出処理を説明するためのフローチャートである。

ＣＰＵ１１３は、ＡＦ処理部１０６を制御して比較基データを取得する（ステップＳ５０１）。なお、比較基データとは、後述する背景領域探索デフォーカス範囲（探索範囲）において、最も遠い距離でピントが合う（合焦する）焦点検出結果をいう。

比較基データを取得するため、ＣＰＵ１１３は、ＡＦ処理部１０６を制御してスキャン開始位置から至近方向に向かってフォーカスレンズ１０４を駆動しつつ焦点検出を行って比較基データを取得する。

図６は、図５に示す比較基データの取得を説明するための図である。

図６においては、フォーカスレンズ１０４の位置が示されている。ＣＰＵ１１３は背景領域探索デフォーカス範囲において、フォーカスレンズ１０４をスキャン開始位置からスキャン終了位置まで無限端Ｍから至近端Ｓに向って駆動する。背景領域探索デフォーカス範囲は、被写体領域の合焦位置よりも無限端側に位置し、後縦する第１のデフォーカス量と第２のデフォーカス量とによって規定される。

比較基データを取得する際には、ＣＰＵ１１３は、ＡＦ処理部１０６を制御して背景領域探索デフォーカス範囲を設定する。背景領域探索デフォーカス範囲は、背景領域における合焦位置（つまり、フォーカスレンズ１０４の位置）を探索するために焦点検出を行う範囲をいう。

図６に示すように、ＣＰＵ１１３は、スキャン終了位置Ｌ２を、被写体領域の合焦位置Ｌ１から無限端Ｍ側に所定の第１のデフォーカス量だけ離れた位置に設定する。ここでは、第１のデフォーカス量は、例えば、５Ｆδである。また、ＣＰＵ１１３はスキャン開始位置Ｌ３を、被写体領域の合焦位置Ｌ１から無限端Ｍ側に所定の第２のデフォーカス量だけ離れた位置に設定する。ここでは、第２のデフォーカス量は、例えば、２０Ｆδである。

なお、スキャン開始位置Ｌ３はスキャン終了位置Ｌ２よりも無限端Ｍ側に位置し、第２のデフォーカス量は第１のデフォーカス量よりも大きい。

ＣＰＵ１１３は、被写体領域の合焦位置Ｌ１から無限端Ｍ側に第１のデフォーカス量だけ離れた位置から第２のデフォーカス量だけ離れた位置までの範囲を背景領域探索デフォーカス範囲とする。つまり、ＣＰＵ１１３は、背景領域探索デフォーカス範囲において無限端Ｍ側の位置をスキャン開始位置Ｌ３とし、至近端側の位置をスキャン終了位置Ｌ２とする。

図示の例では、被写体領域の合焦位置Ｌ１より無限端Ｍ側にピークが存在し、かつ深度が５Ｆδ以上で２０Ｆδ以下の範囲が背景領域探索デフォーカス範囲となる。

このように設定する理由は、深度が第１のデフォーカス量よりも小さい場合には、被写体にピントが合うフォーカスレンズ１０４の位置で撮影を行うと背景領域にもピントが合う。この場合には、画像におけるエッジ成分の差に応じて被写体と背景領域と区別ができないので、深度が第１のデフォーカス量よりも小さい範囲は背景領域とならない。よって、この範囲においては焦点検出を行う必要はない。

一方、深度が第２のデフォーカス量よりも大きい場合には、被写体にピントが合うフォーカスレンズ１０４の位置で撮影を行うと、深度が第２のデフォーカス量よりも大きい範囲については既に光学的に充分にボケている領域となる。よって、深度が第２のデフォーカス量よりも大きい範囲は背景領域とならない。

図６において、焦点検出動作はスキャン開始位置Ｌ３から至近端Ｓの方向に向かって行われる。ユーザが背景ぼかしモードを選択して撮影を行う際には、背景領域は被写体に対して無限側にあることが多い。よって、ＣＰＵ１１３は背景領域が無限端Ｍ側に存在するとして、スキャン開始位置Ｌ３を背景領域探索デフォーカス範囲において無限端Ｍ側に設定する。この結果、高速に背景領域となる焦点検出領域の合焦位置を得ることができる。

このようにして、背景領域の候補となる焦点検出領域について焦点検出動作を行う範囲を、背景領域探索デフォーカス範囲に限定することによって、高速に比較基データを得ることができる。また、スキャン開始位置から焦点検出動作を開始して、最初に焦点検出結果が得られるか又はスキャン終了位置にフォーカスレンズ１０４が到達するまで焦点検出動作が繰り返される。そして、最初に得られた焦点検出結果が比較基データとされる。

再び図５を参照して、ＣＰＵ１１３は比較基データが取得できたか否かを判定する（ステップＳ５０２）。比較基データを取得できると（ステップＳ５０２において、ＹＥＳ）、ＣＰＵ１１３はＡＦ処理部１０６を制御して焦点検出動作を継続して、比較基データの次に近い距離でピントが合う焦点検出結果を比較対象データとして取得する（ステップＳ５０３）。

続いて、ＣＰＵ１１３は、比較対象データが取得できたか否かを判定する（ステップＳ５０４）。比較対象データを取得できると（ステップＳ５０４において、ＹＥＳ）、ＣＰＵ１１３は、比較基データを基準として比較対象データが至近端Ｓ側に第３の所定深度以下（第３の所定深度内）であるか否かを判定する（ステップＳ５０５）。ここでは、第３の所定深度は、例えば、１Ｆδである。

比較対象データが第３の所定深度内であると（ステップＳ５０５において、ＹＥＳ）、ＣＰＵ１１３は内蔵する深度内カウンタをカウントアップ（インクリメント）する（ステップＳ５０６）。なお、深度内カウンタは、比較基データに対して付加される。

深度内カウンタは、比較基データを基準として第３の所定深度内の焦点検出結果を有する焦点検出領域の数をカウントするカウンタである。このカウント数が大きい程、比較基データを基準として第３の所定深度内の焦点検出結果を有する焦点検出領域が多いことになる。つまり、比較基データが示す焦点検出結果でピントを合わせると、撮影画面の広い範囲においてピントが合うことになる。

次に、ＣＰＵ１１３は、フォーカスレンズ１０４がスキャン終了位置に達したか否かを判定する（ステップＳ５０７）。スキャン終了位置に達しないと（ステップＳ５０７において、ＮＯ）、ＣＰＵ１１３はステップＳ５０３の処理に戻ってさらに比較対象データを取得する。ここでは、直前に取得した比較対象データの次に近い距離でピントが合う焦点検出結果を比較対象データとして取得することになる。

一方、スキャン終了位置に達すると（ステップＳ５０７において、ＹＥＳ）、ＣＰＵ１１３は深度内カウンタのカウント数に基づいて、所定の条件を満たす焦点検出領域から背景領域の候補を選択する背景候補選択処理を行う（ステップＳ５０８）。なお、背景候補選択処理については後述する。

続いて、ＣＰＵ１１３は第１の背景候補（背景候補１）が存在するか否かを判定する（ステップＳ５０９）。なお、背景候補１とは、背景候補選択処理において背景候補として選択される焦点検出領域の第１の候補である。

背景候補１が存在しないと（ステップＳ５０９において、ＮＯ）、ＣＰＵ１１３は第２の背景候補（背景候補２）が存在するか否かを判定する（ステップＳ５１０）。なお、背景候補２とは、背景候補選択処理において背景候補として選択される焦点検出領域の第２の候補である。

背景候補２が存在しないと（ステップＳ５１０において、ＮＯ）、ＣＰＵ１１３は背景選択フラグをクリアする（ステップＳ５１１）。ここでは、背景候補１および背景候補２が存在しない場合には、ＣＰＵ１１３はぼかし処理すべき背景領域が存在しないと判定して、背景選択フラグをクリアする。そして、ＣＰＵ１１３は背景選択処理と焦点検出処理を終了する。なお、背景選択フラグとは、背景領域候補が選択できたことを示すフラグである。

ステップＳ５０２において、比較基データを取得できないと（ステップＳ５０２において、ＮＯ）、ＣＰＵ１１３はステップＳ５１１の処理に進む。ここでは、比較基データが存在しないことは、ぼかし処理すべき背景領域がなく背景領域を選択することができないことであるので、ＣＰＵ１１３はステップＳ５１１の処理に進んで背景選択フラグをクリアする。例えば、撮影画面に背景が写っていない場合には、スキャン開始位置からスキャン終了位置の間において背景となる焦点検出領域では焦点検出結果が得られない。

背景候補２が存在すると（ステップＳ５１０において、ＹＥＳ）、ＣＰＵ１１３は背景とする焦点検出領域として背景候補２を選択して、背景選択フラグを設定する（ステップＳ５１２）。この際、ＣＰＵ１１３は比較基データが示す焦点検出結果を背景領域の合焦位置とする。そして、ＣＰＵ１１３は背景選択処理と焦点検出処理を終了する。

背景候補１が存在すると（ステップＳ５０９において、ＹＥＳ）、ＣＰＵ１１３はスキャン動作を停止する（ステップＳ５１３）。ここで、スキャン動作の停止とは、背景領域探索デフォーカス範囲において行う焦点検出動作の停止をいう。背景候補１が存在すると判定した時点でスキャン動作の停止を行うことによって、背景領域探索デフォーカス範囲の全範囲について焦点検出を行う場合に比べて、より高速に背景とする焦点検出領域を選択することができる。

続いて、ＣＰＵ１１３は、背景とする焦点検出領域として背景候補１を選択し、背景選択フラグを設定する（ステップＳ５１４）。この際、ＣＰＵ１１３は比較基データが示す焦点検出結果を背景領域の合焦位置とする。そして、ＣＰＵ１１３は背景選択処理と焦点検出処理を終了する。

なお、比較対象データを取得できないと（ステップＳ５０４において、ＮＯ）、ＣＰＵ１１３はステップＳ５０８の処理に進む。

比較対象データが第３の所定深度内でないと（ステップＳ５０５において、ＮＯ）、ＣＰＵ１１３は背景候補選択処理を行う（ステップＳ５１６）。そして、ＣＰＵ１１３は背景候補１が存在するか否かを判定する（ステップＳ５１７）。背景候補１が存在すると（ステップＳ５１７において、ＹＥＳ）、ＣＰＵ１１３はステップＳ５１３の処理に進んで、フォーカスレンズ１０４のスキャンを停止する。

背景候補１が存在しないと（ステップＳ５１７において、ＮＯ）、ＣＰＵ１１３は背景候補２が存在するか否かを判定する（ステップＳ５１８）。背景候補２が存在しないと（ステップＳ５１８において、ＮＯ）、ＣＰＵ１１３は比較対象データを比較基データとして設定する（ステップＳ５１５）。そして、ＣＰＵ１１３はステップＳ５０３の処理に進んで、さらに比較対象データを取得する。

背景候補２が存在すると（ステップＳ５１８において、ＹＥＳ）、ＣＰＵ１１３はフォーカスレンズ１０４がスキャン終了位置に達したか否かを判定する（ステップＳ５１９）。スキャン終了位置に達しないと（ステップＳ５１９において、ＮＯ）、ＣＰＵ１１３はステップＳ５１５の処理に進んで、比較対象データを比較基データに設定する。

スキャン終了位置に達すると（ステップＳ５１９において、ＹＥＳ）、ＣＰＵ１１３は背景とする焦点検出領域として背景候補２を選択して、背景選択フラグを設定する（ステップＳ５２０）。この際、ＣＰＵ１１３は比較基データが示す焦点検出結果を背景領域の合焦位置とする。そして、ＣＰＵ１１３は背景選択処理と焦点検出処理を終了する。

＜背景候補選択処理＞
図７は、図５に示す背景候補選択処理を説明するためのフローチャートである。

ＣＰＵ１１３は深度内カウンタのカウント値が第２の所定数以上であるか否かを判定する（ステップＳ６０１）。カウント値が第２の所定数以上であると（ステップＳ６０１において、ＹＥＳ）、ＣＰＵ１１３は深度内カウンタのカウント値が第１の所定数以上であるか否かを判定する（ステップＳ６０２）。なお、ここでは、第１の所定数＜第１の所定数であり、例えば、第２の所定数＝３、第１の所定数＝６である。

カウント値が第１の所定数以上であると（ステップＳ６０２において、ＹＥＳ）、ＣＰＵ１１３は背景候補１が既に設定されているか否かを判定する（ステップＳ６０３）。背景候補１が既に設定されていると（ステップＳ６０３において、ＹＥＳ）、ＣＰＵ１１３は深度内カウンタのカウント値が過去の最も大きいカウント値（後述の最大カウンタ値）よりも大きいか否かを判定する。つまり、ＣＰＵ１１３は深度内カウンタのカウント値が最大であるか否かを判定する（ステップＳ６０４）。

カウント値が最大であると（ステップＳ６０４において、ＹＥＳ）、ＣＰＵ１１３は比較基データが示す焦点検出結果を検出した焦点検出領域を背景候補１とする（ステップＳ６０５）。その後、ＣＰＵ１１３は当該深度内カウンタのカウント値を最大カウンタ値として設定する（ステップＳ６０６）。そして、ＣＰＵ１１３は背景候補選択処理を終了する。

なお、深度内カウンタのカウント値が第２の所定数未満であると（ステップＳ６０１において、ＮＯ）、ＣＰＵ１１３は背景候補選択処理を終了する。また、背景候補１が未だ設定されていないと（ステップＳ６０３において、ＮＯ）、ＣＰＵ１１３はステップＳ６０５の処理に進んで、比較基データが示す焦点検出結果を検出した焦点検出領域を背景候補１とする。深度内カウンタのカウント値が最大でないと（ステップＳ６０４において、ＮＯ）、ＣＰＵ１１３は背景候補選択処理を終了する。

深度内カウンタのカウント値が第１の所定数未満であると（ステップＳ６０２において、ＹＥＳ）、ＣＰＵ１１３は第３の所定深度内の比較対象データにおいて第３の所定数以上の塊りデータが存在するか否かを判定する（ステップＳ６０７）。なお、例えば、第３の所定数＝２である。

ここで、塊りデータとは、比較基データを基準として第３の所定深度内の焦点検出結果を有する焦点検出領域のうち互いに隣接する焦点検出領域を示すデータである。塊りデータの存在を判定することによって、例えば、誤った焦点検出の結果、１つのみ無限端Ｍ側にピントが合う焦点検出結果を有する焦点検出領域が存在する場合に、当該焦点検出領域が背景領域として選択されることを防止することができる。

塊りデータが存在しないと（ステップＳ６０７において、ＮＯ）、ＣＰＵ１１３は背景候補選択処理を終了する。一方、塊りデータが存在すると（ステップＳ６０７において、ＮＯ）、ＣＰＵ１１３は既に背景候補２が設定されているか否かを判定する（ステップＳ６０８）。背景候補２が設定されていると（ステップＳ６０８において、ＹＥＳ）、ＣＰＵ１１３は背景候補選択処理を終了する。

背景候補２が設定されていないと（ステップＳ６０８において、ＮＯ）、ＣＰＵ１１３は比較基データが示す焦点検出結果を有する焦点検出領域を背景候補２として設定する（ステップＳ６０９）。そして、ＣＰＵ１１３は背景候補選択処理を終了する。

図８は、図１に示すカメラで選択された背景候補による合焦領域の一例を説明するための図である。そして、図８（ａ）は背景候補１における焦点検出結果によってピント合わせ可能な領域を示す図であり、図８（ｂ）は背景候補２における焦点検出結果によってピント合わせ可能な領域を示す図である。

図８（ａ）において、背景候補１であるピント合わせ可能な焦点検出領域は領域８０３で示されている。当該領域８０３に被写体に係る焦点検出領域８０１は含まれていない。背景領域１を用いると、撮影画面においてピント合わせ可能な背景領域を広く選択することが可能となる。つまり、背景候補１を用いると、撮影画面においてピント合わせ可能な領域が広くなる。そして、最も遠い距離にピントが合う焦点検出結果を有する焦点検出領域８０２は、撮影画面に占める範囲が狭いので選択されない。

図８（ｂ）において、背景候補２であるピント合わせ可能な焦点検出領域は領域８０６で示されている。当該領域８０６に被写体に係る焦点検出領域８０４は含まれていない。背景候補１である領域８０５と被写体領域８０４との距離が近いと、画像データのエッジ成分に起因して領域マップを正しく作成することができない。

このような場合には、背景候補２として撮影画面において遠い距離にピントが合い、かつその焦点検出結果が信頼できる背景候補を選択する。そして、当該選択に係る情報は、例えば、前述のステップＳ５１５において設定される背景選択フラグに付加する。これによって、前述のステップＳ４０７においてぼかし処理可能な背景領域の有無を判定する際に、背景候補１又は背景候補２を選択することができる。

＜背景ぼかし撮影処理＞
図９は、背景ぼかし撮影処理の際に図２に示す画像処理部１０９で行われる領域判別処理を説明するためのフローチャートである。

ＣＰＵ１１３は被写体領域とする焦点検出領域における焦点検出結果に基づいてフォーカスレンズ１０４を制御して撮影を行い、画像データ（第１の画像データ）を得る。さらに、ＣＰＵ１１３は背景領域とする焦点検出領域における焦点検出結果に基づいてフォーカスレンズ１０４を制御して撮影を行い、画像データ（第２の画像データ）を得る（ステップＳ７０１）。そして、前述のように、第１および第２の画像データは画像処理部１０９によって所定の画像処理が施される。図２に関連して説明したように、色輝度変換回路２０８の出力であるＹＵＶ信号が領域判別回路２０９に送られるが、ここでは、説明の便宜上、色輝度変換回路２０８の出力も第１および第２の画像データと呼ぶ。

図３も参照して、エッジ検出部３０１は第１の画像データおよび第２の画像データについてそれぞれバンドパスフィルタリング処理を施す。そして、エッジ検出部３０１はバンドパスフィルタリング処理結果の絶対値を求めて、第１の画像データおよび第２の画像データのエッジ部（以下エッジ情報という）を検出する（ステップＳ７０２）。

エッジ減算部３０２は、第１の画像データに係るエッジ情報から第２の画像データに係るエッジ情報を画素毎に減算する。そして、エッジ減算部３０２はエッジ差分を有する画像データ（以下エッジ差分画像データと呼ぶ）を生成する（ステップＳ７０３）。

続いて、エッジ積分値算出部３０３はエッジ差分画像データを複数の領域に分割して領域毎にエッジ量を積分する（ステップＳ７０４）。そして、エッジ積分値評価部３０４は領域毎のエッジ量積分値と所定の閾値とを比較して、被写体領域および背景領域のいずれであるかを判定して判定結果を得る（ステップＳ７０５）。エッジ量積分値が所定の閾値以上であると、エッジ積分値評価部３０４はその領域を被写体領域と判定する。一方、エッジ量積分値が所定の閾値未満であると、エッジ積分値評価部３０４はその領域を背景領域と判定する。

なお、所定の閾値は予め設定された固定値であってもよく、画像データにおけるエッジのヒストグラム分布から適応的に閾値を求めるようにしてもよい。

続いて、領域マップ生成部３０５は、ステップＳ７０５で得られた判定結果に基づいて、被写体領域と背景領域とを判別するための領域マップを生成する（ステップＳ７０６）。そして、領域マップが生成されると、ＣＰＵ１１３は領域判別回路２０９による領域判別処理を終了する。

なお、領域マップにおいては、例えば、合成比率が画像データ自体の画素値で表されている。また、境界の段差を目立たなくするため、被写体領域と背景領域との境界にローパスフィルタ処理を施して領域マップを生成するようにしてもよい。

ここで、図１に示す画像処理部１０９で行われる背景領域のぼかし処理について説明する。

画像処理部１０９は、撮影によって得られた画像データに特殊フィルタ処理を施してぼけ画像データＩＭＧ２を生成する。ここで、特殊フィルタ処理を施す対象の画像データは、前述のステップＳ７０１で得られた画像データ（第２の画像データ）である。

特殊フィルタ処理においては、指定されたフィルタ形状に基づいて、撮影によって得られた画像データに対してフィルタリング処理が行われる。このフィルタリング処理では、所定の輝度値を有する画素に予め設定されたゲイン値Ｋを乗算して、飽和画素における輝度値の補間が行われる。

続いて、画像処理部１０９は領域マップに基づいて第１の画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成処理する。例えば、画像処理部１０９は領域マップの画素値から求められるα（０≦α≦１）に基づいて、第１の画像データＩＭＧ１とぼけ画像データＩＭＧ２とを合成して合成画像データＢを生成する。ここでは、画像処理部１０９は合成画像データＢの各画素Ｂ［ｉ，ｊ］を次の式（１）によって求める。

上記の処理によって得られた合成画像データＢは背景ぼかし画像データとして用いられる。

背景ぼかし画像データを得るための処理は上述の処理に限られない。例えば、領域マップに基づいて、第１の画像データにおける背景領域にのみ特殊フィルタ処理を施して、背景ぼかし画像データを取得するようにしてもよい。

また、撮影によって得られた画像データを縮小して、当該縮小した画像データを拡大して元の大きさに戻すことによってぼけ画像データＩＭＧ２を生成するようにしてもよい。さらには、撮影によって得られた画像データに対してローパスフィルタ処理を施してぼけ画像データＩＭＧ２を生成するようにしてもよい。

加えて、第１の画像データおよび第２の画像データを撮影する順は逆であってもよい。

このように、本発明の実施の形態では、背景領域探索デフォーカス範囲において無限側から至近側に焦点検出を行って、背景領域探索デフォーカス範囲において検出された複数の焦点検出結果から背景領域の合焦位置を選択する。これによって、被写体領域以外の背景領域を特定するまでに要する時間を短縮することができる。

さらには、背景領域とする焦点検出領域の選択の際に、撮影画面において広い領域にピントが合う焦点検出結果に係る焦点検出領域を背景領域とする。これによって、被写体領域以外の焦点検出領域において背景となりうる領域が複数ある場合でも、撮影画面の広い領域を背景領域として選択することができる。この結果、当該広い領域にぼかし処理を施せば、人の感覚に近い感覚で背景領域をぼかすことができる。

また、被写体領域と撮影画面の広い領域である背景領域との距離差が少ない場合には、遠い距離にピントが合う焦点検出結果を有する焦点検出領域が塊りで存在しているか否かを判定して、その判定結果に応じて背景領域を選択する。これによって、誤った焦点検出結果を有する焦点検出領域が背景領域として選択されることを防止することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ ＡＥ処理部
１０４ フォーカスレンズ
１０６ ＡＦ処理部
１０７ 撮像素子
１０９ 画像処理部
１１３ システム制御部（ＣＰＵ）
１１６ 操作部
１１７ 撮影モードスイッチ
２０９ 領域判別回路
３０５ 領域マップ生成部

Claims (11)

1. フォーカスレンズを備える撮像光学系を介して撮像して得られた画像データにおいて特定の領域と当該特定の領域以外の他の領域を判別する領域判別装置であって、
   前記画像データが示す画像に設定された複数の焦点検出領域の各々において前記フォーカスレンズの焦点状態を検出して焦点検出結果を得る焦点検出手段と、
   前記特定の領域の合焦位置から無限端側に第１の距離だけ離れた第１の位置と前記合焦位置から無限端側に前記１の距離よりも大きい第２の距離だけ離れた第２の位置とに基づいて前記フォーカスレンズの探索範囲を規定し、前記探索範囲における前記焦点検出結果に応じて前記他の領域を判別する判別手段と、
   を有することを特徴とする領域判別装置。
2. 前記判別手段は、前記探索範囲において前記焦点検出手段によって前記フォーカスレンズを無限端側から至近端側に移動させて得られた前記焦点検出結果に応じて前記他の領域を判別することを特徴とする請求項１に記載の領域判別装置。
3. 前記焦点検出手段は、前記判別手段により前記他の領域が判別された場合、前記フォーカスレンズが前記探索範囲の端まで達していなくても、前記焦点検出結果の取得を終了することを特徴とする請求項１又は２に記載の領域判別装置。
4. 前記第１の距離および前記第２の距離の各々は、絞り値および許容錯乱円に基づいて設定されることを特徴とする請求項１乃至３のいずれか１項に記載の領域判別装置。
5. 前記判別手段は、前記探索範囲において所定の焦点検出結果を基準として所定の被写界深度内の焦点検出結果の数に応じて前記他の領域を判別することを特徴とする請求項１乃至４のいずれか１項に記載の領域判別装置。
6. 前記判別手段は、前記探索範囲において所定の焦点検出結果を基準として所定の被写界深度内の焦点検出結果の数が所定の数以上である場合に、前記所定の被写界深度内の焦点検出結果を有する焦点検出領域を前記他の領域と判別することを特徴とする請求項５に記載の領域判別装置。
7. 前記特定の領域は被写体を示す被写体領域であり、前記他の領域は背景を示す背景領域であることを特徴とする請求項１乃至６のいずれか１項に記載の領域判別装置。
8. 請求項１乃至７のいずれか１項に記載の領域判別装置と、
   フォーカスレンズを備える撮像光学系を介して撮像を行う撮像手段と、
   前記撮像手段で得られた画像データについて前記他の領域をぼかすぼかし処理を行う処理手段と、
   を有することを特徴とする撮像装置。
9. 前記処理手段は前記領域判別装置で判別された前記他の領域にぼかし処理を施して得られたぼかし画像データと前記画像データとを合成処理することを特徴とする請求項８に記載の撮像装置。
10. フォーカスレンズを備える撮像光学系を介して撮像して得られた画像データにおいて特定の領域と当該特定の領域以外の他の領域を判別する領域判別装置の制御方法であって、
    前記画像データが示す画像に設定された複数の焦点検出領域の各々において前記フォーカスレンズの焦点状態を検出して焦点検出結果を得る焦点検出ステップと、
    前記特定の領域の合焦位置から無限端側に第１の距離だけ離れた第１の位置と前記合焦位置から無限端側に前記１の距離よりも大きい第２の距離だけ離れた第２の位置とに基づいて前記フォーカスレンズの探索範囲を規定し、前記探索範囲における前記焦点検出結果に応じて前記他の領域を判別する判別ステップと、
    を有することを特徴とする制御方法。
11. フォーカスレンズを備える撮像光学系を介して撮像して得られた画像データにおいて特定の領域と当該特定の領域以外の他の領域を判別する領域判別装置で用いられる制御プログラムであって、
    前記領域判別装置が備えるコンピュータに、
    前記画像データが示す画像に設定された複数の焦点検出領域の各々において前記フォーカスレンズの焦点状態を検出して焦点検出結果を得る焦点検出ステップと、
    前記特定の領域の合焦位置から無限端側に第１の距離だけ離れた第１の位置と前記合焦位置から無限端側に前記１の距離よりも大きい第２の距離だけ離れた第２の位置とに基づいて前記フォーカスレンズの探索範囲を規定し、前記探索範囲における前記焦点検出結果に応じて前記他の領域を判別する判別ステップと、
    を実行させることを特徴とする制御プログラム。