JP2014235224A - 撮像装置および制御プログラム - Google Patents

Abstract

【課題】 被写界を最適な合焦状態にして撮像することができる技術を提供することを目的とする。【解決手段】 時系列で連続して被写界を撮像し複数の画像を生成する撮像部と、被写界の合焦状態を調整する焦点調整部と、画像から複数の主要被写体を検出する被写体検出部と、検出された複数の主要被写体の特徴量または特徴量と異なる他の特徴量の少なくとも１つを取得し、特徴量および／または他の特徴量に基づいて、設定された被写界深度内に収まる主要被写体の数が最大となるように、焦点調整部に被写界の合焦状態を調整させる制御部と、を備える。【選択図】 図１

Description

本発明は、撮像装置および制御プログラムに関する。

従来、様々な距離に位置する複数の主要被写体からなる被写界を１つの画像で撮像するにあたり、デジタルカメラ等は、複数の主要被写体のいずれかに合焦しつつ被写界深度を調整して、全ての主要被写体を合焦状態にして撮像している（特許文献１等参照）。

特開２０１１−１３５１４号公報

従来技術では、被写界深度を調整することにより全ての主要被写体を合焦状態にするために、例えば、後方に立っている見知らぬ人物等、ユーザにとって重要度の低い主要被写体まで鮮明に撮像してしまう。

しかしながら、状況に応じて被写界深度を浅くしたり深くしたりして画像を撮像するには、ユーザに対しそれなりの知識が要求される。

上記従来技術が有する問題に鑑み、本発明の目的は、被写界を最適な合焦状態にして撮像することができる技術を提供することにある。

上記課題を解決するために、本発明を例示する撮像装置の一態様は、時系列で連続して被写界を撮像し複数の画像を生成する撮像部と、被写界の合焦状態を調整する焦点調整部と、画像から複数の主要被写体を検出する被写体検出部と、検出された複数の主要被写体の特徴量または特徴量と異なる他の特徴量の少なくとも１つを取得し、特徴量および／または他の特徴量に基づいて、設定された被写界深度内に収まる主要被写体の数が最大となるように、焦点調整部に被写界の合焦状態を調整させる制御部と、を備える。

また、制御部は、複数の主要被写体うちの１つの主要被写体に合焦させて、複数の主要被写体が設定された被写界深度内か否かを判定し、主要被写体が設定された被写界深度内でない場合に、特徴量または他の特徴量の少なくともいずれか一方に基づいて、設定された被写界深度内に収まる主要被写体の数が最大となるように、焦点調整部に合焦状態を調整させてもよい。

また、制御部は、特徴量または他の特徴量に基づいて主要被写体ごとに設定された被写界深度内に収めたい優先度を設定し、優先度に基づいて設定された被写界深度内に収まる主要被写体の数が最大となるように、焦点調整部に合焦状態を調整させてもよい。

また、制御部は、特徴量に基づいて複数の主要被写体を複数のグループに分類し、他の特徴量に基づいてグループごとに設定された被写界深度内に収めたい優先度を設定し、優先度に基づいて設定された被写界深度内に収まる主要被写体の数が最大となるように、焦点調整部に合焦状態を調整させてもよい。

また、制御部は、特徴量または他の特徴量とともに主要被写体の距離情報を取得し、撮像装置に最も近い主要被写体と最も遠い主要被写体とが設定された被写界深度外の場合、設定された被写界深度内に収まる主要被写体の数が最大となり、且つ最も近い主要被写体と最も遠い主要被写体との特徴量が等しくなるように、焦点調整部に合焦状態を調整させてもよい。

また、特徴量および他の特徴量は、主要被写体の画像領域の大きさ、主要被写体のデフォーカス量および主要被写体の画像中心からの距離のいずれかであってもよい。

本発明を例示する制御プログラムの一態様は、時系列で連続して被写界を撮像し複数の画像を生成する撮像手順、被写界の合焦状態を調整する焦点調整手順、画像から複数の主要被写体を検出する被写体検出手順、検出された複数の主要被写体の特徴量または特徴量と異なる他の特徴量の少なくとも１つを取得し、特徴量および／または他の特徴量に基づいて、設定された被写界深度内に収まる主要被写体の数が最大となるように、合焦状態を調整する制御手順、をコンピュータに実行させる。

本発明によれば、被写界を最適な合焦状態にして撮像することができる。

本発明の一の実施形態に係るデジタルカメラの構成を示す図 本発明の一の実施形態に係るデジタルカメラの撮像動作を示すフローチャート 被写界の構図の一例を示す図 主要被写体と合焦位置および設定された被写界深度との位置関係の一例を示す図 図４に示す合焦状態における各主要被写体の特徴量の一覧を示す図 主要被写体と合焦位置および設定された被写界深度との位置関係の別例を示す図

図面に基づいて、本発明の一の実施形態について説明する。

図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成を示す図である。なお、本実施形態のデジタルカメラ１００は、例えば、ミラーレスタイプのデジタルカメラであるとする。

図１に示すように、本実施形態のデジタルカメラ１００は、ＣＰＵ１０を備えている。ＣＰＵ１０には、不揮発性メモリ１１およびワークメモリ１２が接続されている。不揮発性メモリ１１には、ＣＰＵ１０が種々の制御を行う際に参照される制御プログラム等が格納されている。また、不揮発性メモリ１１は、後述する撮像素子１５の焦点検出用画素（ＡＦ画素）の位置座標を示すデータ等を記憶しているものとする。

ＣＰＵ１０は、不揮発性メモリ１１に格納されている制御プログラムに従い、ワークメモリ１２を一時記憶作業領域として利用して、デジタルカメラ１００を構成する各部の制御を行う。

撮像レンズ１３は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮影レンズ１３から入射する被写体光は、絞り１４、不図示のシャッタを介してＣＣＤやＣＭＯＳ等の撮像素子１５の受光面に結像する。なお、撮像レンズ１３のレンズ位置は、ＣＰＵ１０の制御指示に基づき合焦モータ２５によって光軸方向に調整される。また、絞り１４は、ＣＰＵ１０の制御指示に基づき絞り駆動部２７によって駆動される。ここでは、簡単のため、図１では撮像レンズ１３を１枚のレンズとして図示する。

撮像素子１５は、撮像素子駆動回路１６を介し、ＣＰＵ１０からの制御信号に基づいて駆動する。なお、本実施形態の撮像素子１５は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタがベイヤー配列型に設けられている。また、撮像素子１５は、受光面上の一部の領域に配置された複数のＡＦ画素を有する。それらのＡＦ画素には、原色透過フィルタが設置されていない。本実施形態のＡＦ画素は、撮像レンズ１３の光学系の瞳の左側または右側を通過する光束を受光する２種類存在し、瞳分割型位相差方式で被写界の合焦状態を検出する。撮像素子１５は、撮像素子駆動回路１６の指示に基づいて、撮像用画素群およびＡＦ画素群からの画素信号を出力する。

撮像素子１５の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ１７に入力される。ＡＦＥ１７は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１７は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１７の出力は、画像処理部１８に送られる。

画像処理部１８は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、および輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。なお、分離回路は、撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する回路である。また、画素補間回路は、１画素当たり１色のベイヤー配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。

画像処理部１８から出力される３色の画像データは、バス２６を通じてＳＤＲＡＭ１９に格納される。ＳＤＲＡＭ１９に格納された画像データは、ＣＰＵ１０の制御により読み出されて表示制御部２０ａに送られる。表示制御部２０ａは、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２０ｂに画像として出力する。

また、後述する操作部材２３のレリーズ釦操作に応答して取得された画像データは、ＳＤＲＡＭ１９から読み出され圧縮伸長処理部３０に送られる。圧縮伸長処理部３０は、その画像データに圧縮処理を施し、メディアコントローラ２１を介して記録媒体であるメモリカード２２に記録される。

ＣＰＵ１０には、ユーザから撮像指示等を受け付けるレリーズ釦や電源釦等からなる操作部材２３が接続されている。また、操作部材２３として、表示部２０ｂと同形状の透明のパネルで構成され表示部２０ｂの表面全体に積層配置されるタッチパネルが用いられてもよい。すなわち、タッチパネルが、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ１０に出力することでユーザからの指示入力を受け付けるようにしてもよい。

さらに、本実施形態のＣＰＵ１０は、不揮発性メモリ１１に格納されている制御プログラムに従い、被写体検出部２８およびＡＦ／ＡＥ検出部２９として動作する。

被写体検出部２８は、スルー画像や動画のフレームに対して被写体検出処理を施し、人物や動物の顔領域、および建物や自動車等の主要被写体の画像領域を検出する。この被写体検出処理は公知のアルゴリズムによって行われる。例えば、被写体検出部２８は、不揮発性メモリ１１に記憶された人物等の様々なパターンのテンプレートを用いて、スルー画像やフレーム画像に対しパターンマッチング処理等を施して主要被写体の画像領域を検出する。あるいは、被写体検出部２８は、特開２０１１−３４３１１号公報に開示されるように、例えば、画像データの色、エッジの方位、輝度等の特徴量に基づいて顕著性マップを求め、顕著度が所定値以上となる領域を主要被写体の画像領域として検出する。ＣＰＵ１０は、検出された各主要被写体の画像領域の大きさおよび位置等の特徴量を取得する。

ＡＦ／ＡＥ検出部２９は、撮像素子１５に撮像されたスルー画像におけるＡＦ画素の信号を用い、瞳分割型位相差検出方式により、被写体検出部２８により検出された各主要被写体のデフォーカス量およびデフォーカスの方向を検出する。ＣＰＵ１０は、ＡＦ／ＡＥ検出部２９で得られたデフォーカス量およびデフォーカスの方向に基づいて、ドライバ２４を制御して合焦モータ２５を駆動し撮影レンズ１３を光軸方向で進退させて焦点調整を行う。なお、本実施形態のＣＰＵ１０は、上記のようにして検出された主要被写体の画像領域のうちの１つの領域を、第１の主要被写体の領域として設定し、当該第１の主要被写体の領域に合焦するように焦点調整を行う。

上記の第１の主要被写体の領域は、検出された複数の主要被写体の領域のうち、面積が最大の領域、顕著度が最大の領域、撮影距離が最至近の領域、画面内の所定位置（例えば画面中央）からの距離が最も小さい領域などの基準によって、あるいは予め優先順位をつけて不図示のメモリに登録されている特定被写体から自動的に設定する構成としてもよいし、操作者が表示部２０ｂの画像を見て操作部材２３により手動で設定する構成としてもよい。

また、ＣＰＵ１０は、その焦点調整において、各主要被写体までの被写体距離を検出し、各主要被写体の画像領域の大きさや位置等とともに、デフォーカス量および被写体距離を取得しワークメモリ１２に記録する。ここで、各主要被写体の画像領域の大きさや位置、各主要被写体のデフォーカス量は、特徴量の一例である。

また、ＡＦ／ＡＥ検出部２９は、撮像用画素の信号に基づいて算出される測光輝度値と、ユーザが操作部材２３を用いて設定したＩＳＯ感度値とから光値を算出する。そして、ＣＰＵ１０は、露出値が求めた光値となるように、絞り値とシャッタ速度とを決定するＡＥ演算を行う。このＡＥ演算に基づいて、ＣＰＵ１０は、絞り駆動部２７を駆動させて、求めた絞り値となるように絞り１４の絞り径を調整する。また、ＣＰＵ１０は、求めたシャッタ速度でシャッタ（不図示）を開閉動作させるために設定する。

次に、図２に示すフローチャートを参照しつつ、デジタルカメラ１００による撮像動作について説明する。なお、本実施形態のデジタルカメラ１００により撮像される被写界４０は、図３に示すような構図であるとする。図３（ａ）は、被写界４０における主要被写体Ａ〜Ｆの各画像領域の大きさおよび位置関係を示し、図３（ｂ）は、デジタルカメラ１００の撮像素子１５の受光面から各主要被写体までの被写体距離を示す。また、撮像レンズ１３は、ユーザにより所定の焦点距離となるようにズームレンズが所定の位置に予め設定されているものとする。

ＣＰＵ１０は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラ１００の電源を投入する。ＣＰＵ１０は、不揮発性メモリ１１より制御プログラムを読み込んで実行し、デジタルカメラ１００を初期化する。ＣＰＵ１０は、撮像素子１５に被写界４０のスルー画像を所定のフレームレート（例えば、３０ｆｐｓ等）で撮像させる。ＣＰＵ１０は、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：被写体検出部２８は、撮像素子１５により撮像されたスルー画像を読み込み、被写界４０における主要被写体Ａ〜Ｆの画像領域を検出する。ＣＰＵ１０は、各主要被写体Ａ〜Ｆの画像領域の大きさおよび位置等を取得する。

ステップＳ１０２：ＡＦ／ＡＥ検出部２９は、スルー画像におけるＡＦ画素の信号を用い、瞳分割型位相差検出方式により主要被写体Ａ〜Ｆのデフォーカス量およびデフォーカスの方向を検出する。ＣＰＵ１０は、主要被写体Ａ〜Ｆのうち、例えば、上述のように、面積の一番大きい主要被写体、画面内の所定位置（例えば画面中央）に一番近い主要被写体、あるいは上述の顕著度の一番大きい主要被写体など所定の基準によって、優先して焦点を合わせる第１の主要被写体を設定し、この領域に対して合焦制御を行う。本実施形態では、第１の主要被写体として、図３（ａ）に示す主要被写体Ｃが設定される例について説明する。ＣＰＵ１０は、第１の主要被写体Ｃのデフォーカス量およびデフォーカスの方向に基づいて、ドライバ２４を制御して合焦モータ２５を駆動し、撮影レンズ１３を光軸方向で進退させて第１の主要被写体Ｃに合焦させる。なお、ＣＰＵ１０は、第１の主要被写体Ｃに合焦させるにあたり、デジタルカメラ１００が初期化された時の絞り１４の絞り値、または直近の静止画や動画撮像時の絞り値をそのまま用いるものとする。すなわち、本実施形態のＣＰＵ１０は、設定された被写界深度に固定して第１の主要被写体Ｃに合焦させる。

図４（ａ）は、第１の主要被写体Ｃの位置を合焦位置とした時の合焦位置（×印）および設定された被写界深度と主要被写体Ａ〜Ｆとの位置関係の一例を示す。また、図５は、図４（ａ）に示す場合のスルー画像における主要被写体Ａ〜Ｆの画像領域の大きさ、デフォーカス量および被写体距離の一覧を示す。図４（ａ）に示すように、主要被写体Ｂ〜Ｄは設定された被写界深度内であるが、主要被写体Ａ、Ｅ〜Ｆは被写界深度外となる。なお、図４（ａ）に示すように、合焦位置は、一般的にデジタルカメラ１００に近い被写界深度の前端側に偏って位置する。

ステップＳ１０３：ＣＰＵ１０は、主要被写体Ａ〜Ｆのデフォーカス量に基づいて、全ての主要被写体が設定された被写界深度内に収まっているか否かを判定する。ＣＰＵ１０は、収まっていない場合、ステップＳ１０４（ＮＯ側）へ移行する。一方、収まっている場合、ステップＳ１０５（ＹＥＳ側）へ移行する。

ステップＳ１０４：ＣＰＵ１０は、できるだけ多くの主要被写体が収まるように、次の焦点調整処理１〜５のいずれかに基づいて合焦位置および絞り値を調整する。絞り１４を絞り込むと、被写界深度が深くなる。なお、ＣＰＵ１０が、焦点調整処理１〜５のいずれを行うかは、例えば、ユーザにより予め選択設定されているものとする。また、ＡＥ演算のモードが、絞り優先モードに設定されている場合、ＣＰＵ１０は合焦位置のみを調整する。
［焦点調整処理１］
ＣＰＵ１０は、主要被写体Ａ〜Ｆを画像領域が大きい順に順位付けする。図３（ａ）に示す本実施形態の場合、図５の一覧に基づいて、ＣＰＵ１０は、主要被写体Ｃ＞主要被写体Ｄ＞主要被写体Ｅ＞主要被写体Ｂ＞主要被写体Ａ＞主要被写体Ｆと順位付けし、その順位を優先度とする。画像領域が小さい主要被写体はボケていても認識し辛いことから、ＣＰＵ１０は、その優先度に基づいて、設定された被写界深度内にできるだけ多く画像領域が大きい上位からの主要被写体が収まるように、合焦位置および絞り値を調整する。

つまり、ＡＦ／ＡＥ検出部２９は、撮像素子１５により順次撮像されるスルー画像における各主要被写体Ａ〜Ｆのデフォーカス量を検出する。ＣＰＵ１０は、順次検出される各主要被写体Ａ〜Ｆのデフォーカス量を参照しつつ、合焦モータ２５および絞り制御部２７を制御し、画像領域が大きい上位からの主要被写体ができるだけ多く設定された被写界深度内に収まるように、合焦位置および絞り値を調整する。ＣＰＵ１０は、例えば、設定された被写界深度内に収まる主要被写体の画像領域の面積和が最大となった場合、焦点調整処理１を終了する。

図４（ｂ）は、焦点調整処理１による調整後の主要被写体Ａ〜Ｆと、合焦位置および設定された被写界深度との位置関係を示す。図４（ｂ）に示すように、画像領域の大きさが上位の主要被写体Ｂ〜Ｅが設定された被写界深度に収まる。

焦点調整処理１のように調整することにより、当該調整前（図４（ａ））に比較して、被写界深度内に収まる主要被写体の数を増やすことができるとともに、被写界４０で目立つ主要被写体から優先して設定された被写界深度内に収めることができ、被写界４０をユーザにとって違和感のない合焦状態にすることができる。
［焦点調整処理２］
ＣＰＵ１０は、例えば、図４（ａ）に示す合焦状態において、合焦位置にある第１の主要被写体Ｃのデフォーカス量を基準にして、各主要被写体Ａ〜Ｆのデフォーカス量との差分の絶対値を算出する。ＣＰＵ１０は、主要被写体Ａ〜Ｆをその差分の絶対値が小さい、すなわち合焦状態にある主要被写体の順に順位付けする。図４（ａ）に示す本実施形態の場合、ＣＰＵ１０は、主要被写体Ｃ（０）＜主要被写体Ｄ（０．０３）＜主要被写体Ｂ（１．０）＜主要被写体Ｅ（１．３）＜主要被写体Ａ（１．５）＜主要被写体Ｆ（１．６）と順位付けし、その順位を優先度とする。なお、括弧内の数値は、第１の主要被写体Ｃのデフォーカス量を基準にして算出した各主要被写体Ａ〜Ｆのデフォーカス量の差分の絶対値である。

ＣＰＵ１０は、その優先度に基づいて、焦点調整処理１の場合と同様に、設定された被写界深度内にできるだけ多くデフォーカス量の差分の絶対値が小さい上位からの主要被写体が収まるように、合焦位置および絞り値を調整する。なお、焦点調整処理２による調整後の主要被写体Ａ〜Ｆと合焦位置および設定された被写界深度との位置関係は、例えば、焦点調整処理１の場合と同じ図４（ｂ）に示すようになる。つまり、デフォーカス量の差分の絶対値が小さい上位の主要被写体Ｂ〜Ｅが設定された被写界深度に収まる。

焦点調整処理２のように調整することにより、元々合焦状態にあった第１の主要被写体Ｃを設定された被写界深度内に収めつつ、合焦状態に近い他の主要被写体をできるだけ多く設定された被写界深度内に収めることができ、被写界４０をユーザにとって違和感のない合焦状態にすることができる。
［焦点調整処理３］
ＣＰＵ１０は、図４（ａ）に示す合焦状態における各主要被写体Ａ〜Ｆのデフォーカス量に基づいて、例えば、次式（１）に基づいて３つのグループに分類する。
グループ１： デフォーカス量≦−１．０
グループ２：−１．０＜デフォーカス量＜１．０ ・・・（１）
グループ３：デフォーカス量≧１．０
ＣＰＵ１０は、各グループに含まれる主要被写体の画像領域の面積和を算出し、その面積和に基づいて、各グループの順位付けを行う。図４（ａ）に示す本実施形態の場合、図５に示す一覧に基づいて、ＣＰＵ１０は、グループ２（主要被写体Ｃ、Ｄ；面積和３．５）＞グループ３（主要被写体Ｅ、Ｆ；面積和１．２）＞グループ１（主要被写体Ａ、Ｂ；面積和０．８）と順位付けし、その順位を優先度とする。なお、括弧内は、各グループに含まれる主要被写体およびそれらの面積和を示す。ＣＰＵ１０は、優先度に基づいて、できるだけ多く上位からのグループが設定された被写界深度内に収まるように、上記焦点調整処理１等の場合と同様に、合焦位置および絞り値を調整する。

図６（ａ）は、焦点調整処理３による調整後の主要被写体Ａ〜Ｆと合焦位置および設定された被写界深度との位置関係を示す。図６（ａ）に示すように、上位のグループ２およびグループ３に含まれる主要被写体Ｃ〜Ｆが設定された被写界深度内に収まる。

なお、本実施形態では、ＣＰＵ１０は、デフォーカス量に基づいて、各主要被写体Ａ〜Ｆを３つのグループに分類し、各グループを面積和に基づいて順位付けしたが、例えば、各グループの主要被写体の数に基づいて順位付けしてもよい。また、式（１）に示す分類されるグループ数および閾値は、一例であり、主要被写体の数、デフォーカス量や被写体距離等の分布に基づいて適宜決定されることが好ましい。

焦点調整処理３のように調整することにより、当該調整前（図４（ａ））に比較して、被写界深度内に収まる主要被写体の数を増やすことができるとともに、被写界４０で目立つ主要被写体から優先して設定された被写界深度内に収めることができ、被写界４０をユーザにとって違和感のない合焦状態にすることができる。
［焦点調整処理４］
図４（ａ）に示す合焦状態の場合、デジタルカメラ１００に最も近い主要被写体Ａと最も遠い主要被写体Ｆとは被写界深度外である。このような場合、本実施形態のＣＰＵ１０は、設定された被写界深度内にできるだけ多くの主要被写体が収まり、且つデジタルカメラ１００に最も近い主要被写体Ａと最も遠い主要被写体Ｆとのデフォーカス量の絶対値が等しくなるように、上記焦点調整処理１等と同様に、合焦位置および絞り値を調整する。

図６（ｂ）は、焦点調整処理４による調整後の主要被写体Ａ〜Ｆと合焦位置および設定された被写界深度との関係を示す。図６（ｂ）に示すように、合焦位置は被写界深度の前端側に偏って位置することから、ＣＰＵ１０は、主要被写体Ａと主要被写体Ｆとのデフォーカス量の絶対値が等しくするために、合焦位置を主要被写体Ａと主要被写体Ｆとの真ん中の２．５ｍよりも主要被写体Ｄよりの位置に移動させつつ、主要被写体Ｂ〜Ｅが設定された被写界深度内に収まるように調整する。

焦点調整処理４のように調整することにより、設定された被写界深度外の主要被写体が被写界深度内の他の主要被写体と比較して大きくボケてしまうという状況を回避することができ、被写界深度外の主要被写体（図６（ｂ）の場合、主要被写体Ａ，主要被写体Ｆ）のぼけ度合いを同程度とすることができるとともに、焦点調整前（図４（ａ））に比較して、被写界深度内に収まる主要被写体の数を増やすことができ、被写界４０をユーザにとって違和感のない合焦状態にすることができる。
［焦点調整処理５］
ＣＰＵ１０は、スルー画像の中心位置を基準にして、主要被写体Ａ〜Ｆをその中心位置に近い順に順位付けする。すなわち、図３（ａ）に示す本実施形態の場合、ＣＰＵ１０は、主要被写体Ｃ＞主要被写体Ｂ＞主要被写体Ｅ＞主要被写体Ｄ＞主要被写体Ａ＞主要被写体Ｆと順位付けする。

ＣＰＵ１０は、その順位付けに基づいて、画像の中心位置から離れている主要被写体はボケていてもそれほど気にならないことから、中心位置に近い上位の主要被写体ができるだけ多く設定された被写界深度内に収まるように、焦点調整処理１等の場合と同様に、合焦位置および絞り値を調整する。

図６（ｃ）は、焦点調整処理５による調整後の主要被写体Ａ〜Ｆと合焦位置および設定された被写界深度との関係を示す。図６（ｃ）に示すように、主要被写体Ａの方が主要被写体Ｆより画像中心に近いことから、合焦位置を主要被写体Ｃと主要被写体Ｄとの間に調整させる。

焦点調整処理５のように調整することで、焦点調整前（図４（ａ））に比較して、被写界深度内に収まる主要被写体の数を増やすことができるとともに、被写界４０の中心に近い目立つ主要被写体を優先して設定された被写界深度に収めることができ、被写界４０をユーザにとって違和感のない合焦状態にすることができる。

ステップＳ１０５：ＣＰＵ１０は、スルー画像を表示部２０ｂに表示するとともに、主要被写体Ａ〜Ｆの画像領域を示すＡＦ枠を重畳表示する。その際、ＣＰＵ１０は、合焦位置に最も近い主要被写体の画像領域を示すＡＦ枠を、他の主要被写体のＡＦ枠と異なる色で表示することが好ましい。あるいは、ＣＰＵ１０は、デフォーカス量に応じて各主要被写体Ａ〜ＦのＡＦ枠の色を変えて表示してもよい。

ステップＳ１０６：ＣＰＵ１０は、ユーザによる操作部材２３のレリーズ釦の全押し操作の撮像指示を受け付けたか否かを判定する。ＣＰＵ１０は、撮像指示を受け付けた場合、ステップＳ１０７（ＹＥＳ側）へ移行する。一方、ＣＰＵ１０は、撮像指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、撮像指示を受け付けるまでステップＳ１０１〜ステップＳ１０５の処理を行う。

ステップＳ１０７：ＣＰＵ１０は、ステップＳ１０４で調整された絞り値を用いてＡＥ演算を行い、得られた露光条件に基づいて、撮像素子駆動回路１６を介し撮像素子１５に被写界４０の静止画像や動画の本画像を撮像させる。

ステップＳ１０８：画像処理部１８は、撮像された本画像に対して各種画像処理を施す。本画像の画像データは、ＳＤＲＡＭ１９に格納される。ＣＰＵ１０は、ＳＤＲＡＭ１９に格納された本画像の画像データを読み出して、圧縮伸長処理部３０に送る。圧縮伸長処理部３０は、本画像の画像データに対し圧縮処理を施して画像ファイルを生成し、メディアコントローラ２１を介して記録媒体であるメモリカード２２に記録する。なお、圧縮伸長処理部３０は、画像ファイルの生成にあたり、撮像時の露出条件（焦点距離、絞り値、シャッタ速度、ＩＳＯ値等）とともに、各主要被写体Ａ〜Ｆのデフォーカス量や被写体距離を、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格等に準拠したメタデータを画像ファイルのヘッダ領域に付加することが好ましい。ＣＰＵ１０は、一連の処理を終了する。

上記実施形態で説明したように、図２のステップＳ１０２において、第１の主要被写体に焦点調整する際に用いる特徴量と、被写界深度内に収まる主要被写体の数を最大にする際に用いる特徴量とは、異なる種類であっても構わない。

このように、本実施形態では、合焦位置や絞り値を調整することにより、被写界４０を最適な合焦状態にして撮像することができる。
《実施形態の補足事項》
（１）本発明の撮像装置は、ミラーレスタイプのデジタルカメラ１００としたが、これに限定されず、コンパクトタイプや一眼レフタイプのデジタルカメラに対しても適用可能である。また、撮像部を有するスマートフォン等の電子機器を本発明に係る撮像装置として動作させる制御プログラムおよびそれを記録した媒体に対しても適用可能である。

（２）上記実施形態では、被写体検出部２８およびＡＦ／ＡＥ検出部２９の処理を、ＣＰＵ１０がソフトウエア的に実現する例を説明したが、ＡＳＩＣ等を用いてハードウエア的に実現してもよい。

（３）上記実施形態では、ＣＰＵ１０が、ステップＳ１０３およびステップＳ１０４において、主要被写体Ａ〜Ｆのデフォーカス量に基づいて、全ての主要被写体が設定された被写界深度内か否かを判定したり、合焦位置および絞り値を調整したりする例について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ１０は、各主要被写体Ａ〜Ｆの画像領域におけるエッジ量等の合計値を、ボケ度合いを示す指標として用い、その指標に基づいて主要被写体Ａ〜Ｆが設定された被写界深度内か否かを判定したり、合焦位置および絞り値を調整したりしてもよい。

なお、ボケ度合いを示す指標を算出するにあたり、ＣＰＵ１０は、少なくとも主要被写体Ａや主要被写体Ｆ等の小さな主要被写体の画像領域に対して、ハイパスフィルタ等を用い鮮鋭化処理を施すことが好ましい。

（４）上記実施形態では、焦点調整処理１において、ＣＰＵ１０は、設定された被写界深度内に収まる主要被写体の画像領域の面積和が最大となるように、合焦位置および絞り値を調整する例について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ１０は、ユーザによる操作部材２３の操作に基づいて、各主要被写体の重要度を予め設定して、設定された被写界深度内に収まる主要被写体の画像領域の面積と重要度との積和が最大となるように、合焦位置および絞り値を調整してもよい。また、各主要被写体毎に算出された上述の顕著度の大きい順に、優先して被写界深度内に収めるように、合焦位置、絞り値を調整する構成としてもよい。

（５）上記実施形態では、焦点調整処理２において、ＣＰＵ１０は、設定された被写界深度内にできるだけ多くの主要被写体が収まるように、合焦位置および絞り値を調整する例について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ１０は、デフォーカス量の差分の絶対値が最も小さい第１の主要被写体Ｃを合焦位置のままにしてもよい。

（６）上記実施形態では、ＣＰＵ１０が、全ての主要被写体Ａ〜Ｆが設定された被写界深度内に収まっていない場合に、ステップＳ１０４の焦点調整処理１〜５のいずれかを行う例について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ１０は、焦点調整処理１〜５の組み合わせで合焦位置および絞り値を調整してもよい。

また、例えば、上記の焦点調整処理１〜５に示されるような、複数の焦点調整処理を試行し、被写界深度内に含まれる主要被写体の数が最も大きくなる焦点調整処理を選択して実行する構成としてもよい。ここで、上記の複数の焦点調整処理の試行は、実際に合焦位置、絞りを変更するものであっても、合焦位置、絞りを変更したと仮定して計算上で試行するものであってもよい。

さらには、ＣＰＵ１０は、全ての主要被写体Ａ〜Ｆが設定された被写界深度内に収まっている場合でも、焦点調整処理１〜５のいずれかを行ってもよい。つまり、合焦位置からの距離に応じて各主要被写体のデフォーカス量やボケ度合いが異なることから、焦点調整処理１〜５のいずれかを行うことにより、被写界４０をユーザにとってより違和感のない合焦状態にすることができる。

（７）上記実施形態では、被写界深度内に含まれる主要被写体の数が最も大きくなるように、絞り、焦点を変更する例について説明したが、被写界深度内に含まれる主要被写体の画面内の面積の和、あるいは顕著度の和が最大となるように、絞り、焦点を変更する構成としてもよい。

（８）上記実施形態では、被写界深度内に含まれる主要被写体の数が最も大きくなるように、絞り、焦点を変更する例について説明したが、主要被写体の数が最も大きくなるように、絞り、焦点を変更すると、絞り、焦点の変更が大きくなってしまうような場合には、絞り、焦点の変更可能な範囲を設けて、その範囲の中で絞り、焦点を変更すればよい。この絞り、焦点の変更可能な範囲は、ユーザが適宜設定可能の構成としてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１０…ＣＰＵ、１３…撮像レンズ、１４…絞り、１５…撮像素子、１８…画像処理部、１９…ＳＤＲＡＭ、２８…被写体検出部、２９…ＡＦ／ＡＥ検出部、１００…デジタルカメラ

Claims (7)

1. 時系列で連続して被写界を撮像し複数の画像を生成する撮像部と、
   前記被写界の合焦状態を調整する焦点調整部と、
   前記画像から複数の主要被写体を検出する被写体検出部と、
   検出された前記複数の主要被写体の特徴量または前記特徴量と異なる他の特徴量の少なくとも１つを取得し、前記特徴量および／または前記他の特徴量に基づいて、設定された被写界深度内に収まる前記主要被写体の数が最大となるように、前記焦点調整部に前記被写界の合焦状態を調整させる制御部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記複数の主要被写体うちの１つの主要被写体に合焦させて、前記複数の主要被写体が前記設定された被写界深度内か否かを判定し、前記主要被写体が前記設定された被写界深度内でない場合に、前記特徴量または前記他の特徴量の少なくともいずれか一方に基づいて、前記設定された被写界深度内に収まる前記主要被写体の数が最大となるように、前記焦点調整部に前記合焦状態を調整させることを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記制御部は、前記特徴量または前記他の特徴量に基づいて前記主要被写体ごとに前記設定された被写界深度内に収めたい優先度を設定し、前記優先度に基づいて前記設定された被写界深度内に収まる前記主要被写体の数が最大となるように、前記焦点調整部に前記合焦状態を調整させることを特徴とする撮像装置。
4. 請求項１または請求項２に記載の撮像装置において、
   前記制御部は、前記特徴量に基づいて前記複数の主要被写体を複数のグループに分類し、前記他の特徴量に基づいて前記グループごとに前記設定された被写界深度内に収めたい優先度を設定し、前記優先度に基づいて前記設定された被写界深度内に収まる前記主要被写体の数が最大となるように、前記焦点調整部に前記合焦状態を調整させることを特徴とする撮像装置。
5. 請求項１または請求項２に記載の撮像装置において、
   前記制御部は、前記特徴量または前記他の特徴量とともに前記主要被写体の距離情報を取得し、前記撮像装置に最も近い前記主要被写体と最も遠い前記主要被写体とが前記設定された被写界深度外の場合、前記設定された被写界深度内に収まる前記主要被写体の数が最大となり、且つ前記最も近い主要被写体と最も遠い主要被写体との前記特徴量が等しくなるように、前記焦点調整部に前記合焦状態を調整させることを特徴とする撮像装置。
6. 請求項１ないし請求項５のいずれか１項に記載の撮像装置において、
   前記特徴量および前記他の特徴量は、前記主要被写体の画像領域の大きさ、前記主要被写体のデフォーカス量および前記主要被写体の前記画像中心からの距離のいずれかであることを特徴とする撮像装置。
7. 時系列で連続して被写界を撮像し複数の画像を生成する撮像手順、
   前記被写界の合焦状態を調整する焦点調整手順、
   前記画像から複数の主要被写体を検出する被写体検出手順、
   検出された前記複数の主要被写体の特徴量または前記特徴量と異なる他の特徴量の少なくとも１つを取得し、前記特徴量および／または前記他の特徴量に基づいて、設定された被写界深度内に収まる前記主要被写体の数が最大となるように、前記合焦状態を調整する制御手順、
   をコンピュータに実行させることを特徴とする制御プログラム。

Images