JP2016192593A - ズーム制御装置、ズーム制御装置の制御方法 - Google Patents

Abstract

【課題】 自分撮りの際に、適切な構図の撮影画像を得られるオートズーム制御を可能にする。【解決手段】 ズーム制御装置は、撮影者が自身を含む被写体の画像を視認しながら撮影を行うことが可能な特定の撮影状態であるか否かを判定する第１の判定手段と、画像から検出された被写体の情報に基づいて、画像が所定の構図条件を満たしていないと判定された場合、所定の構図条件を満たすようにズーム制御を行うズーム制御手段と、撮影の準備動作を指示するための所定の操作を受け付ける受け付け手段とを有する。ズーム制御手段は、受け付け手段により所定の操作が受け付けられていない第１の状態でズーム制御を行い、第１の判定手段により特定の撮影状態であることが判定されている場合、所定の操作が受け付けられている第２の状態においてもズーム制御を継続する。【選択図】 図７

Description

本発明は、画像から被写体像を検出してズーム倍率を制御する技術に関するものである。

従来、チルト可動式液晶モニター等を用いて、モニターを鏡筒レンズ方向に向けて撮影を行うことにより、撮影者が自身を撮る、所謂自分撮りを容易に行える機能を有する撮像装置が知られている。また、ズームレンズを駆動して光学的な変倍（光学ズーム）を行う機能、及び、撮影画像の一部を拡大して電子的な変倍（電子ズーム）を行う機能を有する撮像装置がある。さらに、被写体の検出情報に応じて自動でズーム倍率を変更するオートズーム機能を有する撮像装置が知られている。

特許文献１では、被写体の大きさを一定に維持するオートズーム機能を搭載するカメラの構成が開示されている。特許文献１では、オートズーム機能において「顔アップ」「バストアップ」「全身」といった複数の選択肢の中から撮影者が基準構図を選択し、基準構図毎に予め定められた基準の被写体サイズと略一致するサイズを維持するようにオートズーム制御を行っている。撮影者は設定した基準構図に合致した画角となったタイミングで、撮影を指示する操作を行うことで、所望の構図の撮影画像を得ることができる。

特開２０１２−９５０１９号公報

しかしながら、自分撮りを行う際には、上述の撮影方法では、必ずしも撮影者が所望する構図の撮影画像を得られない場合がある。図８は、自分撮りを行う際の様子を示した図である。図８（Ａ）のように、撮影者は、オートズーム制御により所望の構図に制御されているかどうかを表示部１０９で確認し、確認できたタイミングで撮影準備に移る。その際、視線がカメラ方向に合った画像を撮影したい場合は、構図確認のために表示部１０９を見ていた状態から、図８（Ｂ）のようにデジタルカメラ１００の方向（撮影光学系の方向）に視線を向けてから、撮影動作に入る必要がある。

しかしながら、この撮影準備から撮影までの間に、手振れ等により構図のズレが発生する恐れがある。さらに、視線がカメラ方向に合った画像を撮影するために撮影者がモニターから視線を外していると、構図のズレが発生したことに気付かないまま撮影が行われる恐れがある。その結果、撮影準備の時点で所望の構図となっていることを確認しているにも関わらず、被写体がフレームアウトしたり、画面内における被写体サイズが大きく変化するなど、所望の構図の撮影画像を得られない場合がある。

上記課題に鑑みて、本発明は、自分撮りのような特定の撮影状態において、適切な構図の撮影画像を得られるオートズーム制御を可能にすることを目的とする。

上記目的を達成するために、本発明は、撮影者が自身を含む被写体の画像を視認しながら撮影を行うことが可能な特定の撮影状態であるか否かを判定する第１の判定手段と、画像から検出された被写体の情報を取得する取得手段と、前記取得手段により取得された前記被写体の情報に基づいて、画像が所定の構図条件を満たしているか否かを判定する第２の判定手段と、前記第２の判定手段により画像が前記所定の構図条件を満たしていないと判定された場合、前記所定の構図条件を満たすようにズーム制御を行うズーム制御手段と、撮影の準備動作を指示するための所定の操作を受け付ける受け付け手段とを有するズーム制御装置であって、前記ズーム制御手段は、前記受け付け手段により前記所定の操作が受け付けられていない第１の状態で前記ズーム制御を行い、前記第１の判定手段により前記特定の撮影状態であることが判定されている場合、前記所定の操作が受け付けられている第２の状態においても前記ズーム制御を継続することを特徴とする。

本発明によれば、自分撮りのような特定の撮影状態において、適切な構図の撮影画像を得られるオートズーム制御が可能になる。

本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。 焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示した図である。 チルト可動式の表示部を備えたデジタルカメラの例を示す図である。 被写体（人物）の画面外へのフレームアウトを防止するための処理を説明する図である。 被写体（人物）の画面内でのサイズ変化を防止するための処理を説明する図である。 被写体が人物の場合の構図設定を説明する図である。 オートズーム機能の処理の流れを説明するフローチャートである。 自分撮りを行う際の様子を示した図である。 各種構図設定時の基準範囲内となる人物のサイズ設定の一例を示した図である。 被写体のサイズ、位置、および傾きを基準に行うオートズーム制御を説明する図である。 基準サイズの設定処理を説明するフローチャートである。 画面サイズの算出処理を説明するフローチャートである。 構図設定「オート」における自動構図判定を説明する遷移図である。 最周辺の被写体位置と画面サイズとを示す図である。 構図設定「オート」における基準サイズの算出処理を説明するフローチャートである。 被写体位置比率の算出処理を説明するフローチャートである。 被写体位置を推定する顔個数を示す表である。 オートズーム制御の処理を説明するフローチャートである。 ズーム動作を説明するフローチャートである。

以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。

＜装置の構成＞
図１は、本実施形態におけるズーム制御装置を備えた撮像装置の一例として、デジタルカメラ１００の構成例を示すブロック図である。図３は、本実施形態におけるデジタルカメラ１００の外観図である。デジタルカメラ１００は、オートズーム機能を実行可能に構成されている。

レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、レンズ鏡筒１０１の光軸方向に移動することで焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０３は、レンズ鏡筒１０１の光軸方向に移動することで焦点調節を行う。防振レンズ（像振れ補正用レンズ）１０４は、手ぶれに起因する像振れを補正する補正用レンズである。光量調節を行う絞り及びシャッタ１０５は、露出制御に用いられる。なお、本実施形態において、デジタルカメラ１００は、レンズ鏡筒１０１とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。

撮像素子１０６は、レンズ鏡筒１０１を通過した光を受光し、光電変換によって被写体像を電気信号に変換することで撮像信号を生成する。撮像素子１０６は、ＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等を備えて構成される。撮像信号は、画像処理回路１０７に入力されて、画素補間処理や色変換処理等の各種処理が行われる。各種処理後の画像データは画像メモリ１０８に記憶される。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えて構成される記憶手段である。

表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等を備えて構成され、撮影画像（画像データ）や、特定の情報（例えば、撮影情報等）を表示する。撮影画像に係るライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を実現している。また、表示部１０９は、図３に示すように、チルト可動式の構造になっており、上方向に約１８０度動かすことが可能である。自分撮りの際には、表示部１０９を上方向に動かしてレンズ鏡筒１０１の方向に向けることにより、撮影者が表示部１０９に表示された撮影画像を視認して画角合わせを行いながら、撮影者自身を撮影することが出来る。なお、撮影者が表示部１０９に表示された撮影画像を視認可能な構成であれば図３に示した構成に限定されず、表示部１０９を下方向へ動かせるようにしてもよいし、バリアングル式の構造にしてもよい。また、デジタルカメラ１００の正面（レンズ鏡筒１０１が設けられている面）に第２の表示部を設け、自分撮りの際に画像を表示するようにしてもよい。

絞りシャッタ駆動部１１０は、画像処理回路１０７での画像処理によって得られた輝度情報に基づいて露出制御値（絞り値及びシャッタ速度）を演算し、この演算結果に基づいて絞り及びシャッタ１０５を駆動する。これにより、自動露出（ＡＥ）制御が行われる。防振レンズ駆動部１１１は、ジャイロセンサ等の角速度センサによる振れ検出情報に基づいてデジタルカメラ１００に加わる振れ量を演算する。演算結果にしたがって、デジタルカメラ１００に加わる振れ量を打ち消す（低減する）ように防振レンズ１０４が駆動される。

フォーカスレンズ駆動部１１２は、フォーカスレンズ１０３を駆動する。本実施形態において、デジタルカメラ１００は、コントラスト方式で自動焦点調節制御（ＡＦ制御）を行う。つまりフォーカスレンズ駆動部１１２は、画像処理回路１０７での画像処理により得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体に焦点が合うようにフォーカスレンズ１０３を駆動する。ただし、これに限定されるものではなく、コントラスト方式以外のＡＦ制御として、位相差ＡＦ方式でもよいし、また、コントラスト方式と他の方式との組み合わせのように、複数の方式でＡＦ制御を行う構成でもよい。

ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１７は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備えて構成される。システム制御部１１４は、ズーム指示操作に用いるズーム操作部材の操作量及び操作方向を検知して、ズーム駆動速度やズーム駆動方向を演算し、演算結果に従ってズームレンズ１０２を光軸に沿って移動させる制御を行う。

撮影動作によって生成された画像データは、インターフェース部（Ｉ／Ｆ部）１１５を介して記録部１１６に送られて記録される。画像データは、デジタルカメラ１００に装着して使用されるメモリカード等の外部記録媒体またはデジタルカメラ１００に内蔵されている不揮発性のメモリ１１８、あるいはそれらの両方に記録される。メモリ１１８は、プログラムデータや画像データの他に、デジタルカメラ１００の設定情報や、後述するオートズーム機能におけるズームイン倍率等の情報を記憶する。

操作部１１７は、上述のズーム操作部材に加えて、撮影開始を指示するレリーズスイッチ、オートズーム機能の開始や終了を指示するオートズーム操作スイッチ等を含む。操作部１１７からの信号は、システム制御部１１４に送られる。

システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を備えて構成され、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ１００全体を制御する。システム制御部１１４は、メモリ１１８に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、ズーム制御（オートズーム処理を含む）等を行うためのプログラムを実行する。

光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒１０１がリアフォーカスタイプである場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御という。図２は、ズームレンズの焦点距離と被写体距離ごとのフォーカス位置との関係を例示する図である。図２では、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータテーブルとしてグラフ化して示している。本実施形態において、このテーブルをフォーカスカムテーブルと称する。図２において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示している。各グラフ線の横には、デジタルカメラ１００から被写体までの距離（被写体距離）を示している。

システム制御部１１４は、ＡＦ制御を行う際にフォーカスレンズ駆動部１１２を制御して、フォーカスレンズ１０３を所定の範囲において移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。そのときのズーム位置およびフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。

次に、システム制御部１１４におけるオートズーム機能に関連する制御について説明する。図１に示すように、システム制御部１１４は、ＣＺ制御部１１９、電子ズーム制御部１２０、オートズーム制御部１２２、被写体検出部１２３、自分撮り検出部１２６を備えて構成される。

本実施形態のデジタルカメラ１００は、光学ズーム機能及び電子ズーム機能を有する。ＣＺ制御部１１９及びズームレンズ駆動部１１３は、光学ズームを行う。ＣＺ制御部１１９は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０２のズーム位置を検出する。そしてＣＺ制御部１１９は、検出したズーム位置に応じたＡＦ制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０３を駆動させる制御を行う。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。

一方、電子ズーム制御部１２０及び画像メモリ１０８は、電子ズームを行う。電子ズーム制御部１２０は、画像メモリ１０８に転送された画像データから対象領域内のデータを切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部１２０は、撮像素子１０６に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部１０９に表示させることにより、滑らかな電子ズーム表示を実現する。なお、本実施形態におけるズーム動作は、光学ズームによるズームレンズの移動と、電子ズームによる画像データの切り出しの両方を用いるものとして説明するが、いずれか一方のみを用いてもよい。

被写体検出部１２３は、画像メモリ１０８に記憶された画像データから所望の被写体領域を検出する。被写体領域の検出方法に関しては後述する。また、被写体検出部１２３は、被写体情報とともに、ＣＺ制御部１１９で計測された被写体距離情報及びズームレンズ１０２の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを推定することができる。

姿勢検出部１２４は、加速度センサの情報に基づいて、デジタルカメラ１００の姿勢（正位置／グリップ上／グリップ下）を検出する。揺れ検出部１２５は、ジャイロセンサによる角速度情報等に基づいて、デジタルカメラ１００の振れ状態を検出する。揺れ検出部１２５は、ジャイロセンサ等に加わる振れ量が所定量以上である場合にはカメラが手持ち状態であると判定し、所定量未満である場合には三脚等に固定された状態であると判定する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサについては、防振レンズ駆動部１１１の制御情報を取得するための検出部のセンサと兼用する構成でもよい。

自分撮り検出部１２６は、表示部１０９から、表示部１０９がレンズ鏡筒１０１の方向に向いている（所定の位置まで動かされた）ことを示す信号を受信し、自分撮りであることを検出する。また、不図示の撮影モード選択部を介して、ユーザーが自分撮りを行う撮影モード（自分撮りモード）を選択することで、自分撮りであることを検出する構成でもよい。自分撮り検出部１２６は、自分撮り検出の結果をオートズーム制御部１２２に送信する。

撮影ＳＷ１２７は、２段階に押し下げることができる物理スイッチである。撮影ＳＷ１２７を半分量押し下げる、所謂半押しがされた場合、システム制御部１１４に対し、前述のＡＥ／ＡＦ制御といった撮影の準備動作が指示される。撮影準備を指示した後も半押し状態を保持した場合は、決定したＡＥ／ＡＦ制御の結果を維持し続ける。半押し状態から撮影ＳＷ１２７を開放した場合は、ＡＥ／ＡＦ制御を行う前の状態に戻る。撮影ＳＷ１２７を完全に押し下げた（全押し）場合は、半押し時に行った撮影準備に基づいて撮影を行う。

＜被写体領域の検出方法＞
次に、被写体領域の検出方法について説明する。本実施形態では、画像データから被写体（顔）を検出する場合の被写体検出処理（顔検出処理）方法について説明する。

顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２３は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部１２３は、両者の相関が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返すことにより、画像データ中に存在する種々の顔領域を検出することができる。

＜オートズーム機能概要＞
次に、オートズーム機能の概要と、オートズーム制御部１２２について説明する。本実施形態のデジタルカメラ１００は、オートズーム機能を有する。オートズーム機能を搭載していないカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、以下の操作が必要である。

まず撮影者は、ズーム操作部材の操作によりズームアウトを行ってから被写体を探索する。被写体の探索後、撮影者は再び所望の画角になるまでズーム操作を行って画角を調整する。また、被写体が動いて被写体像の大きさが変わった場合等においても、撮影者はズーム操作部材を操作して被写体の大きさを調整する必要がある。

一方、オートズーム機能を搭載しているカメラでは、撮影者がオートズーム機能を設定した後、タッチパネル等で被写体を指定する操作を行うことで、撮影したい被写体を指定しておけばよい。オートズーム機能が設定されると、指定された被写体を画像の中央付近で所定のサイズに収めるように、自動でズーム動作が行われる。なお、被写体の指定方法としては、タッチパネル操作以外に、撮影者が特定のボタンを押下したときに画面中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法などがある。

被写体検出部１２３は、画像メモリ１０８から指定された被写体領域の画像データ上での位置や大きさを算出する。この処理を、ライブビューとして画像表示する毎に、サンプリングの画像データに対して連続的に行うことにより、被写体の動きを追尾することが可能となる。追尾している被写体が後述するズームアウト領域で検出された場合や、検出した被写体が所定の大きさよりも大きくなった場合、オートズーム制御部１２２はズームアウト動作を開始する。すなわち、オートズーム制御部１２２はＣＺ制御部１１９または電子ズーム制御部１２０に対して、広角方向へのズームアウトの指示を行う。被写体をズームイン領域内に検出し、かつ、被写体像が所定の大きさの範囲内に収まった場合には、望遠側へズームイン動作が行われる。このような処理により、撮影者はズーム操作を気にせず、所望の被写体を画面内に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム倍率が変更されるため、より簡単に画角合わせを行うことができる。

次に、図４および図５を参照して、ズームアウト動作やズームイン動作の開始条件について説明する。図４は、被写体（人物）が画面外へフレームアウトすることを防止する処理を説明する図である。図５は、被写体（人物）の画面内におけるサイズを保つための処理を説明する図である。

図４において、枠４００ａ〜ｆは被写体（人物の顔）を追尾する顔追尾枠である。本実施形態において、顔追尾枠を被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部１０９のＥＶＦ（電子ビューファインダ）画面上にて被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報（及び色情報）に基づいて被写体検出部１２３が算出し、フレームレート周期で更新される。

図４（Ａ）の左図において、ＥＶＦで表示される画角全体（画面全体）に対して所定の比率よりも外側の領域をズームアウト領域ＺＯとして示している。例えば、画面の中心点を０％、画面全体を１００％とし、画面全体に対して８０％となる位置をズームアウト領域ＺＯの境界として設定する場合を想定する。この場合、画面全体における８０〜１００％の領域がズームアウト領域ＺＯとなる。画像内のズームアウト領域ＺＯに顔追尾枠４００ａの一部が進入すると、オートズーム制御部１２２は、ズームアウト動作を開始するよう制御する。また、オートズーム制御部１２２は、変更前のズーム倍率（ズームイン画角に相当）をメモリ１１８に記憶する。ズームアウト動作中の目標ズーム倍率やズーム速度は、被写体のサイズや移動速度に応じて予め設定される。また、目標ズーム倍率やズーム速度を被写体のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その目標ズーム倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。

図４（Ａ）の右図は、図４（Ａ）左図の画角から所定のズーム変化量分に相当するズームアウト動作が行われたときの画角を示している。図４（Ａ）の右図では、被写体探索状態においてＥＶＦで表示される画角全体（画面全体）に対して所定の比率よりも内側の領域をズームイン領域ＺＩとして示している。例えば、画面の中心点を０％、ズームイン画角を１００％とし、ズームイン画角に対して７０％となる位置をズームイン領域ＺＩの境界として設定する。この場合、ズームイン画角の全体における０〜７０％の領域がズームイン領域ＺＩとなる。撮影者が、ズームイン領域ＺＩの内部に顔追尾枠４００ｂが収まるようにカメラの向きを変更すると、オートズーム制御部１２２は、ズームイン動作を開始するよう制御する。

ここで、被写体の状態や性質に応じて、ズームアウト領域ＺＯ及びズームイン領域ＺＩの設定を任意に変更してもよい。例えば、手持ちで撮影している場合には、手ぶれ等の影響によって被写体がフレームアウトする可能性が高くなる。また、画面の上部にズームアウト領域ＺＯを設定した場合、人物を中央付近に配置して撮影するときにもズームアウト領域ＺＯに顔追尾枠が進入してしまい、意図せずズームアウトする場合がある。しかしながら、手ぶれによってフレームアウトした場合には、撮影者が被写体をフレームインさせようとする動作によってフレームインし直すことが可能である。また、被写体は人物であるので、移動する方向は水平方向が多いと予測できる。そこで、被写体が人物であり、かつ手持ち状態である場合には、撮影者のフレーミング操作を考慮して、画面の上部にはズームアウト領域ＺＯを設定しないこととしてもよい。

このように、本実施形態では、被写体検出部１２３で顔が検出された場合、姿勢検出部１２４により検出されたカメラの姿勢や揺れ検出部１２５による検出結果に応じて、ズームアウト領域ＺＯ及びズームイン領域ＺＩの領域を変更する。ここでの揺れ検出部１２５による検出結果とは、手持ち状態か否かの検出である。

図４（Ａ）は、手持ちでカメラを正位置に構えたときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。このような撮影シーンで、被写体が水平方向に移動してフレームアウトする場合、画面内での被写体の位置は正位置の画面に対して水平方向（長手方向）に移動する。そこで、図４（Ａ）に示すように、正位置の画面に対して垂直方向（短手方向）の縦帯状にズームアウト領域ＺＯ及びズームイン領域ＺＩを配置する。この場合、顔追尾枠４００ａがズームアウト領域ＺＯ内に進入すると、オートズーム制御部１２２は、ズームアウト開始を判定し、所定ズーム倍率分のズームアウト動作制御を行う。また、顔追尾枠４００ｂがズームイン領域ＺＩ内に包含されると、オートズーム制御部１２２は、ズームイン開始を判定し、ズーム戻り画角まで所定ズーム倍率分に対応するズームイン動作を行う。このようにズームアウト領域ＺＯ及びズームイン領域ＺＩを設定することで、フレームアウトを効果的に防止することができる。

図４（Ｂ）は、同様の撮影シーンにおいて、グリップ下もしくはグリップ上の縦位置状態にカメラを構えたときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。この場合、縦位置の画面に対して垂直方向（長手方向）の縦帯状にズームアウト領域ＺＯ及びズームイン領域ＺＩを配置する。この場合、顔追尾枠４００ｃがズームアウト領域ＺＯ内に進入すると、オートズーム制御部１２２は、ズームアウト開始を判定し、所定ズーム倍率分のズームアウト動作を行う。また、顔追尾枠４００ｄがズームイン領域ＺＩ内に包含されると、オートズーム制御部１２２は、ズームイン開始を判定し、ズーム戻り画角まで所定ズーム倍率分に対応するズームイン動作制御を行う。このようにズームアウト領域ＺＯ及びズームイン領域ＺＩを設定することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止することができる。

図４（Ｃ）は、揺れ検出部１２５での検出状態が固定状態のときに設定されるズームアウト領域ＺＯ及びズームイン領域ＺＩを示している。固定状態とは、三脚等によってカメラが固定されている状態であり、手ぶれによるフレームアウトの恐れがない。さらに、画面の中央付近に被写体がフレームインしていないときにズームインすると、その動作によってフレームアウトしてしまう恐れがある。そこで、画面の周辺部全体にズームアウト領域ＺＯを、ズームイン画角よりも内側にズームイン領域ＺＩを設定する。この場合、顔追尾枠４００ｅがズームアウト領域ＺＯ内に進入すると、オートズーム制御部１２２は、ズームアウト開始を判定し、所定ズーム倍率分のズームアウト動作制御を行う。また、顔追尾枠４００ｆがズームイン領域ＺＩ内に包含されると、オートズーム制御部１２２は、ズームイン開始を判定し、ズーム戻り画角まで所定ズーム倍率分のズームイン動作を行う。

このように、カメラの姿勢や撮影状態（手持ち状態／固定状態）の変化に応じてズームアウト領域ＺＯ及びズームイン領域ＺＩの各範囲を動的に変更する。これにより、手ぶれ等による誤作動を防止しながら、被写体のフレームアウトを効果的に防ぐことができる。なお、カメラの姿勢と撮影状態（手持ち状態／固定状態）のいずれか一方に応じてズームアウト領域ＺＯ又はズームイン領域ＺＩの領域を変更するようにしてもよい。また、ズームアウト領域ＺＯとズームイン領域ＺＩの領域のいずれか一方のみを変更するようにしてもよい。

次に、被写体が画面に占める割合を所定の範囲内に保つためのズーム動作について説明する。本実施形態では、検出された被写体のサイズが基準サイズの所定倍より大きく変化した場合に自動でズーム動作を行うことで、被写体のサイズを基準サイズから所定の範囲内に保つように制御が行われる。

まず、図６を参照して、追尾対象とする被写体を画面内に収める範囲（構図）の設定について説明する。図６は被写体が人物の場合の構図設定の説明図である。図６（Ａ）は、構図設定が「マニュアル」に設定されている場合の画面表示の例である。「マニュアル」設定時には、撮影者が画面内の人物を見ながらズームレバー操作でマニュアルズーム動作を行って追尾する顔の大きさを変更する。そのときの被写体サイズが基準サイズとしてメモリ１１８に記憶される。

図６（Ｂ）は構図設定が「顔」に設定されている場合の画面表示の例である。「顔」の構図設定時には、カメラの姿勢や顔の方向によって顔が画面に収まる大きさを基準サイズとして算出され、メモリ１１８に記憶される。同様に、図６（Ｃ）は構図設定が「上半身」に設定されている場合、図６（Ｄ）は構図設定が「全身」に設定されている場合の画面表示の例である。それぞれ画面上で設定された大きさとなるように基準サイズが算出されてメモリ１１８に記憶される。

図６（Ｅ）は構図設定が「オート」に設定されている場合の画面表示の例である。「オート」設定時には、オートズーム制御部１２２が、画面内での被写体位置や被写体サイズ、被写体数、カメラの姿勢等に基づき、適切な構図を判定する。さらに、オートズーム制御部１２２は、判定された構図となるように基準サイズを算出し、メモリ１１８に記憶する。基準サイズの算出方法については図１１を用いて後述する。

撮影者は撮影画面から操作部１１７の左右ボタン操作や設定メニュー上での選択によって構図設定を変更することができる。構図設定の変更操作が行われると、オートズーム制御部１２２は、メモリ１１８に記憶されている構図設定の情報を更新する。なお、図６では被写体が人物の場合に「マニュアル」、「顔」、「上半身」、「全身」、「オート」の各構図となるように構図を設定する例を示したが、構図の設定はこれに限定されるものではない。例示した５つの構図の一部のみを設定したり、他の構図を含んでもよい。また、被写体が物体の場合には、例えば「マニュアル」、「大」、「中」、「小」、「オート」のように構図を設定するようにしてもよい。

被写体が画面に占める割合を所定の範囲内に保つためのズーム動作について、構図設定が「マニュアル」の場合を例に説明する。図５（Ａ）〜（Ｃ）は、被写体である人物がカメラに近づいてきた場合に、被写体が画面に占める割合を所定の比率内に収めるようにカメラが自動的にズーム動作を行う例を示している。図５（Ａ）〜（Ｃ）では、顔追尾枠５００ａ〜ｆは、被写体である人物の特徴領域として顔領域を囲むように表示している。したがって、ここでは顔追尾枠の大きさ＝被写体サイズとして説明する。

図５（Ａ）は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠５００ａの大きさは、基準の被写体サイズ（基準サイズ）としてメモリ１１８に記憶される。

図５（Ｂ）は、図５（Ａ）の状態からズーム倍率を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠５００ａの大きさに対して１５０％となる大きさをズームアウト動作の開始サイズとする。顔追尾枠の関係が、顔追尾枠５００ｂ＞顔追尾枠５００ａ×１５０％となったとき（基準サイズに対して所定の変化量を超えて変化）、オートズーム制御部１２２は、ズームアウト動作の開始を判定する。

図５（Ｃ）は、図５（Ｂ）の画角５０１から所定ズーム倍率分ズームアウトした画角と、顔追尾枠５００ｃを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率（１５０％）を考慮して、所定ズーム倍率を１／１．５倍としている。この後、さらに被写体が近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体を所定の比率内に収め続けることができる。そのため、撮影者は、レリーズスイッチの操作だけに集中することが可能である。

一方、図５（Ｄ）〜（Ｆ）は、被写体である人物がカメラから遠ざかる場合に、被写体が画面に占める割合を所定の範囲内に収めるようにカメラが自動的にズーム動作を行う例を示している。図５（Ｄ）は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠５００ｄの大きさは、基準の被写体サイズとしてメモリ１１８に記憶される（構図設定が「マニュアル」の場合）。

図５（Ｅ）は、図５（Ｄ）の状態からズーム倍率を変更しない状態で、被写体がカメラから遠ざかったときの画角を示している。例えば、基準の被写体サイズである顔追尾枠５００ｄの大きさに対して５０％となる大きさをズームイン動作の開始サイズとする。顔追尾枠の関係が、顔追尾枠５００ｅ＜顔追尾枠５００ｄ×５０％となり（基準サイズに対して所定の変化量を超えて変化）、かつ、顔追尾枠５００ｅがズームイン領域ＺＩ内に包含されると、オートズーム制御部１２２はズームイン動作の開始を判定する。ここで、図５（Ｅ）の画角に対して所定のズーム倍率分ズームインした画角５０２よりも内側にズームイン領域ＺＩが設定される。

図５（Ｆ）は、図５（Ｅ）の画角から所定ズーム倍率分ズームインした画角（画角５０２に対応）と、顔追尾枠５００ｆを示している。ここでは、ズームイン動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化率（５０％）を考慮して、所定ズーム倍率を１／０．５倍としている。

図４では、被写体が人物である場合にフレームアウトを防止する処理について説明した。また、図５では、被写体が人物である場合に、画面に占める被写体の大きさの比率を所定の範囲内に収める処理について説明した。なお、追尾対象とする被写体が物体の場合においても、被写体が人物の場合と同様に、図５で示した被写体サイズ保持制御のためのズーム動作開始判定を行ってもよい。また、構図設定が「マニュアル」以外の場合においても、それぞれの基準サイズに応じて、図５と同様に自動的にズーム動作が行われる。

＜オートズーム機能処理例＞
次に、図７を用いて、オートズーム機能の処理について説明する。図７は、オートズーム機能の全体の処理の例を示すフローチャートである。図７のオートズーム機能は、特に記載がない限り、システム制御部１１４（オートズーム制御部１２２）の指令に基づいて行われるものとする。

まずステップＳ７００において、オートズーム制御部１２２は、操作部１１７のオートズーム操作スイッチが押下状態を判定する。オートズーム操作スイッチが押下された場合、ステップＳ７０１に進み、当該スイッチが押下されない場合にはステップＳ７００の判定処理が繰り返される。

オートズーム機能が開始された直後、または、操作部１１７の被写体探索ボタンが押下された場合（ステップＳ７０５でｙｅｓ）に、ステップＳ７０１の制御が実行される。ステップＳ７０１では、オートズーム制御部１２２は、焦点距離の初期値に向けてズーム制御を行う。

例えば、レンズ鏡筒１０１の最短焦点距離が短い広角レンズであり、ステップＳ７０１の時点でズーム位置が広角端である場合を想定する。自分撮りで撮影者の上半身が大きく写った構図で撮影したいときには、通常、撮影者自身がズームレバーを望遠側へ操作するか、デジタルカメラ１００を顔の近くまで近づける必要がある。しかしながら、撮影者自身がズームレバー操作を行うことは、撮影者にとって煩わしく感じる恐れがある。また、デジタルカメラ１００を顔に近づけると、表示部１０９を視認しながらの画角の設定がしづらくなる恐れがある。一方、ステップＳ７０１でオートズーム機能が開始された際、すでに焦点距離が望遠側に設定されていた場合、撮影者の顔が画角に収まらず、被写体検出部１２３における顔の検出が困難な状況である恐れがある。

そこで、ステップＳ７０１では、画角設定が行いやすく、被写体検出部１２３における顔の検出が行いやすい焦点距離の初期値を目標位置とするズーム制御を行う。また、自分撮り検出部１２６により自分撮りであることが判定されている場合には、自分撮り用の初期値に設定してもよい。例えば、撮影者が自然に手を前に伸ばしてデジタルカメラ１００を構えた際に、撮影者の上半身が収まるような焦点距離として、３５ｍｍ判換算で４０ｍｍを自分撮りの初期値として設定する。なお、焦点距離の初期値は、この値に限定されるものではない。

ステップＳ７０２では、オートズーム制御を行う対象となる主要な被写体の判定を行う。具体的には、まず、前述のとおり、被写体検出部１２３において画角内の顔を検出する。この時、顔は複数検出される場合がある。自分撮りの場合には、撮影者を主要な被写体と判定することが望ましいため、検出された顔の中から撮影者の顔を判定してもよい。撮影者の顔を判定する手段は、例えば、公知の顔認証技術によって、予め登録した撮影者自身の顔と特徴が似ている顔を探索する方法や、最も顔のサイズが大きい顔を撮影者と判断する方法を用いてもよい。なお、後述するようにオートズームの対象とする被写体を変更する操作が行われた場合は、主被写体を別の被写体に切り替える。

ステップＳ７０３では、追尾する被写体の大きさを基準サイズとして設定する。ここで、図１１乃至図１７を参照して、ステップＳ７０３における基準サイズ設定処理について説明する。

図１１は被写体が人物である場合の基準サイズの設定処理例を示すフローチャートである。まずステップＳ１１００で、オートズーム制御部１２２は、メモリ１１８に記憶されている構図設定が上述した「マニュアル」であるか否かの判定と、自分撮りで撮影ＳＷ１２７が半押しであるか否かの判定を行う。構図設定が「マニュアル」である場合、または、自分撮りで撮影ＳＷ１２７が半押しである場合にはステップＳ１１０１に進み、「マニュアル」以外、かつ、自分撮りで撮影ＳＷ１２７が半押しでない場合にはステップＳ１１０３に進む。

ステップＳ１１０１で、オートズーム制御部１２２は、被写体検出部１２３にて、顔が検出されるか否かを判定する。被写体が検出されるまでこの判定を繰り返し、検出された場合にはステップＳ１１０２に進む。

ステップＳ１１０２で、オートズーム制御部１２２は、検出した被写体の大きさを基準サイズとしてメモリ１１８に記憶して処理を終了する。この処理は、構図設定が「マニュアル」に設定された場合、または自分撮りで撮影ＳＷ１２７が半押し中となった場合の初回のみ実行される。

一方、ステップＳ１１０３で、オートズーム制御部１２２は、姿勢検出部１２４によって判定されたカメラの姿勢情報に基づいて画面サイズを算出する。この画面サイズは、後述のステップＳ１１１１、ステップＳ１６０４、ステップＳ１６０５、ステップＳ１６１２、ステップＳ１６１３にて基準サイズの算出に用いられる。

ここで、図１２を用いて、画面サイズの算出処理について説明する。本実施形態では、静止画の画面サイズを長辺×短辺＝６４０×４８０、動画の画面サイズを長辺×短辺＝６４０×３６０である場合の例を示すが、画面サイズはこれに限定されるものではない。

図１２は、画面サイズの算出処理例を示すフローチャートである。ステップＳ１２００では、姿勢検出部１２４による検出情報に基づいて、カメラが正位置に構えられているか縦位置に構えられているかを判定する。正位置に構えられていると判定された場合にはステップＳ１２０１に、縦位置に構えられていると判定された場合にはステップＳ１２０６に進む。

ステップＳ１２０１で、カメラが正位置に構えられている場合、オートズーム制御部１２２は、長辺サイズである６４０を水平方向の画面サイズに設定し、Ｓ１２０２へ進む。ステップＳ１２０２では、オートズーム制御部１２２は、静止画と動画とを同時に撮影できるモード（静止画／動画同時撮影モード）であるか否かを判定する。静止画／動画同時撮影モードとは、動画を撮影している間に操作部１１７のレリーズスイッチを押下することで静止画も同時に撮影可能で、静止画撮影直前のフレーミング操作の様子を動画として自動的に記録可能なモードのことである。ステップＳ１２０２で静止画／動画同時撮影モードであると判定された場合は、動画の短辺サイズと静止画の短辺サイズとを比較し、より小さいサイズを垂直画面サイズとする処理が行われる。これは、小さい画面サイズに合わせてオートズームを行うことで、静止画と動画のいずれの画角でも被写体が画面からフレームアウトすることを防止するためである。したがって、本実施形態では静止画／動画同時撮影モードである場合はステップＳ１２０４に進み、オートズーム制御部１２２は、動画の短辺サイズである３６０を垂直画面サイズとして設定する。

一方、ステップＳ１２０２で静止画／動画同時撮影モードでないと判定された場合は、ステップＳ１２０３へ進む。ステップＳ１２０３では、オートズーム制御部１２２は、動画記録中であるか静止画フレーミング中であるかを判定する。動画記録中であると判定された場合にはステップＳ１２０４に進み、オートズーム制御部１２２は、動画の短辺サイズである３６０を垂直画面サイズとして設定する。静止画フレーミング中であると判定された場合にはステップＳ１２０５に進み、オートズーム制御部１２２は、静止画の短辺サイズである４８０を垂直画面サイズとして設定する。

一方、ステップＳ１２００においてカメラが縦位置に構えられていると判定された場合には、ステップＳ１２０６に進む。ステップＳ１２０６乃至ステップＳ１２１０の処理は、ステップＳ１２０１乃至ステップＳ１２０５の処理に対して「水平画面サイズ」と「垂直画面サイズ」の設定を入れ替えた処理であるため、説明を省略する。本実施形態では静止画の画面サイズが４：３、静止画の画面サイズが１６：９の例を示したが、アスペクト比の設定に応じて画面サイズを変更してもよい。それによってアスペクト比に依らず、画面に対して人物が占める割合を一定とすることが可能である。また、静止画／動画同時撮影モードとして、静止画と動画で画面サイズが異なる例を示したが、異なる画面サイズの複数の静止画や動画を同時に撮影する形態であってもよい。

図１１のステップＳ１１０３にて画面サイズを決定すると、ステップＳ１１０４に進む。メモリ１１８に記憶されている構図設定が「顔」、「上半身」、「全身」のいずれかである場合、ステップＳ１１０４乃至Ｓ１１０９で、オートズーム制御部１２２は、構図設定に応じて画面に占める顔のサイズの比率（顔比率）を決定する。本実施形態の顔比率は、画面に対する顔追尾枠の垂直方向における長さの比率を示すが、水平方向における長さの比率や、面積比などで示してもよい。例えば、構図設定が「顔」である場合（ステップＳ１１０４がｙｅｓ）、顔比率が２７％に設定される（ステップＳ１１０７）。構図設定が「上半身」である場合（ステップＳ１１０５がｙｅｓ）、顔比率が１６％に設定される（ステップＳ１１０８）。構図設定が「全身」である場合（ステップＳ１１０６がｙｅｓ）、顔比率が７％に設定される（ステップＳ１１０９）。ステップＳ１１０４乃至Ｓ１１０９で顔比率が決定されると、ステップＳ１１１０に進む。

ステップＳ１１１０で、オートズーム制御部１２２は、ステップＳ１１０４乃至Ｓ１１０９で決定した顔比率と、ステップＳ１１０３で算出した垂直画面サイズとを積算することで基準サイズを算出する。これは、立っている人物の被写体を前提として、垂直方向の画面サイズに対する顔比率から基準サイズを算出する方法である。被写体検出部１２３により顔の方向が判定できる場合には、画面上での顔の上下方向に基づいて画面サイズの方向を決定してもよい。さらに、算出した基準サイズをメモリ１１８に記憶すると基準サイズ設定の処理を終了する。これによって、構図設定が「顔」、「上半身」、「全身」のいずれかである場合には、画面サイズに対して構図設定に応じた所定の顔比率となるサイズが基準サイズとして設定される。

ステップＳ１１０６にて構図設定が「全身」でない、すなわち、構図設定が「オート」であると判定された場合にはステップＳ１１１１に進む。ステップＳ１１１１で、オートズーム制御部１２２は、撮影状態や被写体の数、被写体の動き等に応じて適切な構図を自動で判定する。

図１３を参照して、ステップＳ１１１１の構図設定「オート」での自動構図判定処理について説明する。構図設定「オート」は、撮影シーンを判別して適切な構図をカメラが自動で選択することによって、構図合わせをさらに簡単に行うことができるモードである。

図１３は、本実施形態にて自動で選択される構図の遷移図を示している。本実施形態においては、上半身１３００、全身１３０１、顔１３０２、複数人１３０３、マニュアル１３０４の５種類の構図の中から、撮影シーンに応じて適切な構図を選択する処理が行われる。構図合わせの操作において、静止画撮影時には、撮影前に瞬時に被写体を適切な大きさとする必要がある。一方、動画撮影時には、動いている被写体を追い続けたり、静止した被写体に寄ったりする等、撮影している間は常に被写体を適切な大きさとする必要がある。また、動画撮影時には構図の変更によるズームイン動作時やズームアウト動作時の画像データも記録されるため、適切なタイミングで構図を変更することで効果的な映像を撮影することができる。このように、静止画と動画とで適切な構図が異なる。

そこで、本実施形態においては、静止画フレーミング中１３０５と動画記録中１３０６とで、動作状態によって選択する構図を変更する処理を行う。本実施形態においては、静止画フレーミング中１３０５には、上半身１３００、全身１３０１、複数人１３０３からいずれかの構図が選択される。また、動画記録中１３０６には、上半身１３００、全身１３０１、顔１３０２からいずれかの構図が選択される。つまり、上半身１３００、全身１３０１の各構図はいずれの撮影状態においても選択可能であって、複数人１３０３の構図は静止画フレーミング中１３０５のみ、顔１３０２の構図は動画記録中１３０６のみ選択可能である。なお、３以上の動作状態を設け、各動作状態に対応する構図の選択候補をそれぞれ設定してもよい。例えば、自分撮り検出部１２６によって自分撮りであることが検出されている場合に、静止画フレーミング中でも「顔」の構図を選択可能としたり、構図が遷移する条件を自分撮りでない場合と異ならせてもよい。

ここで、撮影シーンの判定条件と、各構図の遷移について説明する。構図設定「オート」の自動構図判定処理Ｓ１１１１が開始されると、初期状態の構図として上半身１３００が設定される。上半身１３００の構図は、静止画フレーミング中１３０５もしくは動画記録中１３０６に、静止している単数の被写体を撮影するシーンであると判定された場合に選択される構図である。このようなシーンでは、被写体の上半身を画面内に収める構図とすることで適度に被写体に寄った構図とすることができる。

上半身１３００の構図で、撮影対象の被写体の動きを検出した場合、または、カメラから被写体までの距離が所定距離Ｄ１よりも大きいと判定された場合には、構図が全身１３０１に変更される。全身１３０１の構図は、静止画フレーミング中１３０５もしくは動画記録中１３０６に、動いている被写体や遠くの被写体、すなわち、被写体が画面からフレームアウトしやすい被写体を撮影するシーンであると判定された場合に選択される構図である。このようなシーンでは、被写体の全身を収める構図で被写体を追うことで、できるだけ画面から被写体がフレームアウトしないようにする。さらに、全身１３０１の構図で、撮影対象の被写体が所定時間静止したことが検出され、かつ、カメラから被写体までの距離が所定距離Ｄ２よりも小さいと判定された場合には、構図を上半身１３００に戻す処理が行われる。所定時間とは予め設定される判定用の基準時間である。

ここで、被写体の動きや静止の判定方法について説明する。被写体検出部１２３が検出した被写体の位置やサイズの変化量、または、被写体を検出している状態で揺れ検出部１２５が検出した揺れ量のうち、少なくとも一つが所定量よりも大きい場合には、撮影対象の被写体が動いていると判定される。被写体検出部１２３が検出した被写体の位置やサイズの変化量、および、被写体を検出している状態で揺れ検出部１２５が検出した揺れ量の全てが所定量よりも小さい状態が所定時間以上続いた場合には、撮影対象の被写体が静止していると判定される。検出状態の継続時間については、計時用タイマで計測されるものとする。

さらに、カメラから被写体までの距離の算出方法について説明する。まず、基準とする焦点距離と、被写体サイズに対する被写体距離を予め計測しておき、メモリ１１８に記憶しておく。メモリ１１８に記憶された基準値に対して、被写体距離＝（基準被写体距離×焦点距離×基準被写体サイズ）／（基準焦点距離×検出サイズ）という演算を行うことで被写体距離が算出される。例えば、基準値が基準被写体距離２ｍ、基準焦点距離２４ｍｍ、基準被写体サイズ２０ｐｉｘ（ピクセル）である場合に、焦点距離１２０ｍｍで検出サイズ４０ｐｉｘの被写体を検出した場合を想定する。このときの被写体距離は、（２ｍ×１２０ｍｍ×２０ｐｉｘ）／（２４ｍｍ×４０ｐｉｘ）＝５ｍと推定される。

次に、画面内に複数人の被写体を検出した場合の構図について説明する。静止画フレーミング中１３０５の上半身１３００または全身１３０１の構図で、画面内に複数人の被写体が検出された場合には、構図を複数人１３０３に変更する処理が行われる。また、このとき検出された被写体の数は、メモリ１１８に記憶される。複数人１３０３の構図は、静止画フレーミング中１３０５に、複数の全ての被写体を所定の画角に収める集合写真の撮影シーンであると判定された場合に選択される構図である。複数人１３０３の構図の状態では、検出された被写体の数が変化したか否かの判定が行われる。検出された被写体の数が増加した場合には、新しい被写体が画面に入ってきたと考えられるため、即座にメモリ１１８に記憶した被写体の数が更新され、構図の変更が行われる。一方、検出された被写体の数が減少した場合には、被写体が横を向くなどして一時的に検出できない状態である可能性がある。そのため、即座に構図を変更すると検出できなくなった被写体がフレームアウトしてしまう恐れがある。そこで、被写体の数が減少した場合には、その状態が所定時間以上継続した場合に、メモリ１１８に記憶される被写体の数を更新し、構図が変更される。さらに、被写体が一人になった場合には、構図を上半身１３００に戻す処理が行われる。

動画記録中１３０６には、全ての被写体を画角に収めるような構図とすると、撮影対象以外の被写体が動きまわっている場合に、その被写体に反応してズームが誤作動してしまう恐れがある。そこで、動画記録中１３０６に複数人の被写体が検出された場合でも、主被写体のみを撮影対象として、構図を上半身１３００または全身１３０１のままに維持する。

動画記録中１３０６での上半身１３００の構図で、画面の中心付近にて顔が所定時間以上検出された場合には、構図を顔１３０２に変更する処理が行われる。顔１３０２の構図は、動画記録中１３０６に、撮影者が被写体の顔に注目しているシーンであると判定された場合に選択される構図である。このようなシーンでは、上半身よりもさらに顔に寄った構図とすることで、注目する被写体の顔をより大きなサイズで撮影することができる。また、この構図変更によるズームイン動作中に、ズーム速度を通常の速度よりも著しく低速もしくは高速にすることで、さらに効果的な映像を撮影することができる。さらに、顔１３０２の構図で、画面の周辺付近にて顔が所定時間以上検出された場合、または、撮影者がフレーミングを変更したと判定された場合には、構図を上半身１３００に戻す処理が行われる。フレーミング変更の判定方法としては、被写体検出部１２３が被写体を検出していない状態で揺れ検出部１２５にて検出された揺れ量が所定量よりも大きい場合に、フレーミングを変更したと判定される。

静止画フレーミング中１３０５に撮影者は、撮影対象の顔の向きや表情が所望の状態となるまで同じ構図でシャッタチャンスを待ち続ける場合がある。そのような場合に、顔に寄った構図とすると撮影者の意図とは違う構図となる可能性がある。したがって、静止画フレーミング中１３０５の上半身１３００の構図で、画面の中心付近にて顔が所定時間以上検出されたとしても、上半身１３００の構図が維持される。

次に、動画記録の開始／終了によって撮影状態を変更する場合の構図について説明する。上半身１３００および全身１３０１の各構図は、静止画フレーミング中１３０５や動画記録中１３０６のいずれの場合でも選択可能な構図である。したがって、それらの構図では撮影状態を変更しても元の構図が維持される。一方、複数人１３０３や顔１３０２の構図は、静止画フレーミング中１３０５や動画記録中１３０６のいずれかの場合にのみ選択される構図である。そこで、静止画フレーミング中１３０５に複数人１３０３の構図で動画記録が開始された場合や、動画記録中１３０６に顔１３０２の構図で動画記録が終了された場合に、共通の構図である上半身１３００に変更することが考えられる。しかしながら、この場合、動画記録の開始や終了と共にズームの動き出すことで、動画の始めにズーム動作中の画像が記録されたり、静止画のフレーミングで撮影者が煩わしく感じたりする恐れがある。そこで、そのような状態で撮影状態が変更された場合には、構図を一時的にマニュアル１３０４に変更する。マニュアル１３０４は、構図変更後に最初に検出した主被写体の大きさを基準サイズとする構図である。したがって、撮影状態を変更しただけでズーム動作が開始することがなく、撮影者に違和感を与えない。また、被写体が動き出した場合であっても、画面内における被写体の大きさを維持することができる。さらに、マニュアル１３０４の構図で所定時間が経過すると、構図を上半身１３００に戻す処理が行われる。

以上のように図１１のＳ１１１１では、構図設定が「オート」である場合に、オートズーム制御部１２２は、撮影状態や被写体の数、被写体の動き等に応じて適切な構図を自動で判定する。判定された構図がメモリ１１８に記憶されると、ステップＳ１１１２に進む。

ステップＳ１１１２では、オートズーム制御部１２２は、ステップＳ１１１１にて判定された構図が直前の構図に対して変更された（図１３で選択された構図が遷移した、または、複数人１３０３の状態で被写体数が変化した）か否かを判定する。構図が変更されている場合にはステップＳ１１１３に進み、オートズーム制御部１２２は、選択された構図がマニュアル１３０４であるか否かを判定する。選択された構図がマニュアル１３０４である場合には、ステップＳ１１０１に進み、オートズーム制御部１２２は、最初に検出された被写体の大きさを基準サイズとしてメモリ１１８に記憶する。選択された構図がマニュアル１３０４でない場合には、ステップＳ１１１５に進み、オートズーム制御部１２２は、構図設定「オート」における基準サイズを算出する。構図設定「オート」における基準サイズの算出方法の詳細については後述する。

ステップＳ１１１２で構図が変更されていないと判定された場合には、ステップＳ１１１４に進む。ステップＳ１１１４では、オートズーム制御部１２２は、被写体が画面内で移動したか否かを判定する。画面内での被写体の移動量の算出方法として、ステップＳ１１１５で基準サイズを設定した後、その基準サイズとなる画角までズーム動作を行った直後の顔追尾枠の中心位置をメモリ１１８に記憶する。そして、メモリ１１８に記憶された位置から、検出された顔追尾枠の中心位置までを移動量として算出する。また、所定の周期ごとに顔追尾枠の中心位置を加算して画面内での移動量を算出してもよい。算出された移動量が所定量以上となった場合に、被写体が移動したと判定される。ここでの所定量としては、検出された顔追尾枠のサイズで正規化する（顔追尾枠のサイズの所定倍とする）ことで、画面内での被写体の大きさに依らず実際の被写体の移動量を同程度とすることができる。ステップＳ１１１４で、被写体が画面内で移動していると判定された場合にはステップＳ１１１５に進み、構図設定「オート」における基準サイズを算出する。被写体が画面内で移動していないと判定された場合には、基準サイズを更新することなく、基準サイズの設定処理を終了する。

ここで、図１４乃至図１７を参照して、構図設定「オート」における基準サイズの算出処理について説明する。撮影者によって構図設定が「顔」、「上半身」、「全身」のいずれかに選択されている場合には、図１１のステップＳ１１１０において画面サイズに対して顔が一定の比率となるように、基準サイズが算出される。この方法では、画面上の被写体の位置によらず同じ基準サイズが算出される。そのため、被写体が画面の周辺にいる場合に被写体が大きくなる（ズームインする）ように構図を変更すると、被写体がフレームアウトしてしまう恐れがある。この方法で基準サイズを算出する場合には、撮影者が被写体を画面の中央付近にフレーミングしている必要がある。したがって、被写体を画面中央からずらして背景と一緒に撮影する場合等には適していない。また、被写体が複数である場合には別の方法で基準サイズを算出する必要がある。そこで、構図設定が「オート」の場合には、ステップＳ１１１１で判定された構図に基づいて被写体の大きさを決定するとともに、検出した被写体の位置によらず被写体が画面内に収まるように基準サイズを算出する処理が行われる。

図１４は、複数の被写体のうち最も画面周辺にいる被写体の位置と、画面サイズとの関係を示す図である。図１４（Ａ）および（Ｂ）は静止画フレーミング中の画面例を示し、図１４（Ｃ）は動画記録中の画面例を示しており、複数人の被写体を例示する。また、図１５は構図設定「オート」における基準サイズの算出処理の全体を示すフローチャートである。

まずステップＳ１５００にて、オートズーム制御部１２２は、水平方向の被写体位置比率Ｒｈを算出する。水平方向の被写体位置比率Ｒｈとは、水平方向の画面サイズの所定の割合に対して、画面中央から最も周辺にいる被写体の肩部付近の水平位置（以下、肩位置）Ｘｓｍａｘまでの距離×２が占める割合である。所定の割合は、後述するステップＳ１６０３で判定される水平方向の並び人数に応じて変更され、例えば水平方向の画面サイズの８０％または９０％に設定される。

ここで、水平方向の被写体位置比率Ｒｈの算出処理について説明する。図１６（Ａ）は、水平方向の被写体位置比率Ｒｈの算出処理を示すフローチャートである。

ステップＳ１６００では、オートズーム制御部１２２は、被写体の顔追尾枠の中心位置やサイズに基づき、被写体の肩位置Ｘｓを推定する。画面中央を原点（０，０）として、顔追尾枠の中心位置を（Ｘｃ，Ｙｃ）、顔追尾枠のサイズをＳとすると、Ｘｓ＝｜Ｘｃ｜＋Ｓ×Ｎｓにより、画面周辺側の肩位置Ｘｓを推定することができる。Ｎｓは、顔追尾枠の中心位置から肩位置までの距離に占める顔追尾枠の個数である。

図１７にＮｓの設定例を示す。Ｎｓの値は、ステップＳ１１１１で判定された構図にしたがって変更される。例えば、顔１３０２の構図の場合にはＮｓ＝１（この場合は肩位置ではなく耳付近の水平位置）が設定され、それ以外の構図の場合にはＮｓ＝２が設定される。被写体の肩位置Ｘｓが算出されるとステップＳ１６０１に進む。

ステップＳ１６０１では、オートズーム制御部１２２は、メモリ１１８に肩位置の最大値Ｘｓｍａｘが記憶されていない場合に、ステップＳ１６００で算出した肩位置Ｘｓを最大肩位置Ｘｓｍａｘとして記憶する。最大肩位置Ｘｓｍａｘが記憶されている場合には、ステップＳ１６００で算出した肩位置Ｘｓと最大肩位置Ｘｓｍａｘとを比較し、肩位置Ｘｓが最大肩位置Ｘｓｍａｘよりも大きい場合にはメモリ１１８の最大肩位置Ｘｓｍａｘを肩位置Ｘｓに更新する。最大肩位置を更新すると、ステップＳ１６０２に進む。

ステップＳ１６０２では、オートズーム制御部１２２は、全ての被写体に対して肩位置Ｘｓを算出して最大肩位置Ｘｓｍａｘの更新が終了されたか否かを判定する。最大肩位置Ｘｓｍａｘの更新が終了していない場合にはステップＳ１６００に戻り、全ての被写体に対して最大肩位置Ｘｓｍａｘの判定が終了するまで処理を繰り返す。全ての被写体に対して最大肩位置Ｘｓｍａｘの更新が終了した場合には、ステップＳ１６０３に進む。

ステップＳ１６０３では、オートズーム制御部１２２は、水平方向に被写体が並んでいる人数（水平並び人数）の判定を行う。これは、集合写真のように被写体が多い場合には、画面一杯に被写体が入る構図とし、被写体が少ない場合には、画面周辺に余白を残した構図とすることを目的とする。また、水平方向の並び人数のカウント方法としては、垂直方向（画面上下）に顔追尾枠が重なっている場合には、重なっている被写体を合わせて一人としてカウントする。例えば、画面内に４人の人物被写体が検出された場合でも、そのうちの２人の顔追尾枠が画面上下に重なっている場合には、３人としてカウントされる。ステップＳ１６０３にて水平方向の並び人数が２人以下と判定された場合にはステップＳ１６０４に進み、３人以上と判定された場合にはステップＳ１６０５に進む。

ステップＳ１６０４およびステップＳ１６０５では、オートズーム制御部１２２は、水平方向の被写体位置比率Ｒｈを算出する。水平方向の並び人数が２人以下の場合（ステップＳ１８０４）には、水平方向被写体位置比率Ｒｈは、水平画面サイズの８０％に対する最大肩位置Ｘｓｍａｘ×２の比率として算出される。また、水平方向の並び人数が３人以上の場合（ステップＳ１８０５）には、水平方向被写体位置比率Ｒｈは、水平画面サイズの９０％に対する最大肩位置Ｘｓｍａｘ×２の比率を算出として算出される。水平方向被写体位置比率Ｒｈが算出されると、処理を終了する。

図１５に戻り、ステップＳ１５０１にて、オートズーム制御部１２２は、垂直方向の被写体位置比率Ｒｖを算出する。垂直方向の被写体位置比率Ｒｖとは、垂直方向の画面サイズの所定の割合に対して、画面中央から最も周辺の被写体の頭部の垂直位置（頭位置）Ｙｈｍａｘ、または身体部の垂直位置（身体位置）Ｙｂｍｉｘまでの距離×２が占める割合である。所定の割合は、例えば垂直方向の画面サイズの９０％に設定される。

ここで、垂直方向の被写体位置比率Ｒｖの算出処理について説明する。図１６（Ｂ）は、垂直方向の被写体位置比率Ｒｖの算出処理を示すフローチャートである。

ステップＳ１６０６では、オートズーム制御部１２２は、被写体の顔追尾枠の中心位置やサイズに基づき、被写体の頭位置Ｙｈを推定する。Ｙｈ＝Ｙｃ＋Ｓ×Ｎｈにより、頭位置Ｙｈを推定することができる。Ｎｈは、顔追尾枠の中心位置から頭位置までの距離に占める顔追尾枠の個数である。図１７にＮｈの設定例を示す。Ｎｈの値については、ステップＳ１１１１で判定された構図によらず、Ｎｈ＝１．５が設定される。被写体の頭位置Ｙｈを算出するとステップＳ１６０７に進む。

ステップＳ１６０７では、オートズーム制御部１２２は、メモリ１１８に頭位置の最大値Ｙｈｍａｘが記憶されていない場合に、ステップＳ１６０６で算出した頭位置Ｙｈを最大頭位置Ｙｈｍａｘとして記憶する。最大頭位置Ｙｈｍａｘが記憶されている場合には、ステップＳ１６０６で算出した頭位置Ｙｈと最大頭位置Ｙｈｍａｘとを比較し、頭位置Ｙｈが最大頭位置Ｙｈｍａｘよりも大きい場合にはメモリ１１８の最大頭位置Ｙｈｍａｘを頭位置Ｙｈに更新する。最大肩位置を更新すると、ステップＳ１６０８に進む。

ステップＳ１６０８では、オートズーム制御部１２２は、被写体の顔追尾枠の中心位置やサイズに基づいて、被写体の身体位置Ｙｂを推定する。Ｙｂ＝Ｙｃ−Ｓ×Ｎｂにより、身体位置Ｙｂを推定することができる。Ｎｂは、顔追尾枠の中心位置から身体位置までの距離に占める顔追尾枠の個数である。図１７にＮｂの設定例を示す。Ｎｂの値は、ステップＳ１１１１で判定された構図によって変更される。図１７の例では、構図が顔１３０２の場合にはＮｂ＝１．５、上半身１３００の場合にはＮｂ＝５、全身１３０１の場合にはＮｂ＝１０、複数人１３０３の場合にはＮｂ＝３．５が設定される。この設定は、各構図において顔１３０２では胸、上半身１３００では腰下、全身１３０１では足、複数人１３０３では腰上付近の位置となる設定としている。被写体の身体位置Ｙｂを算出するとステップＳ１６０９に進む。

ステップＳ１６０９では、オートズーム制御部１２２は、メモリ１１８に身体位置の最小値Ｙｂｍｉｎが記憶されていない場合には、ステップＳ１６０８で算出した身体位置Ｙｂを最小身体位置Ｙｂｍｉｎとして記憶する。最小身体位置Ｙｂｍｉｎが記憶されている場合には、ステップＳ１６０８で算出した身体位置Ｙｂと最小身体位置Ｙｂｍａｘとを比較する。そして、身体位置Ｙｂが最小身体位置Ｙｂｍａｘよりも小さい場合にはメモリ１１８の最小身体位置Ｙｂｍｉｎを身体位置Ｙｂに更新する。最小身体位置を更新すると、ステップＳ１６１０に進む。

ステップＳ１６１０では、オートズーム制御部１２２は、全ての被写体に対して頭位置Ｙｈおよび身体位置Ｙｂを算出して最大頭位置Ｙｈｍａｘおよび最小身体位置Ｙｂｍｉｎの更新が終了されたか否かを判定する。最大頭位置Ｙｈｍａｘおよび最小身体位置Ｙｂｍｉｎの更新が終了していない場合にはステップＳ１６０６に戻り、全ての被写体に対して最大頭位置Ｙｈｍａｘおよび最小身体位置Ｙｂｍｉｎの判定が終了するまで処理を繰り返す。全ての被写体に対して最大頭位置Ｙｈｍａｘおよび最小身体位置Ｙｂｍｉｎの更新が終了した場合には、ステップＳ１６１１に進む。

ステップＳ１６１１では、オートズーム制御部１２２は、最大頭位置Ｙｈｍａｘと最小身体位置Ｙｂｍｉｎの絶対値を比較し、どちらがより画面周辺に位置するかを判定する。最大頭位置Ｙｈｍａｘの方がより画面周辺に位置すると判定された場合には、ステップＳ１６１２に進み、最小身体位置Ｙｂｍｉｎの方がより画面周辺に位置すると判定された場合には、ステップＳ１６１３に進む。

ステップＳ１６１２およびステップＳ１６１３では、オートズーム制御部１２２は、垂直方向の被写体位置比率Ｒｖを算出する。垂直方向被写体位置比率Ｒｖは、垂直画面サイズの９０％に対する最大頭位置Ｙｈｍａｘもしくは最小身体位置Ｙｂｍｉｎの絶対値×２の比率として算出される。垂直方向被写体位置比率Ｒｖが算出されると、処理を終了する。

続いて図１５のステップＳ１５０２にて、オートズーム制御部１２２は、水平方向の被写体位置比率Ｒｈと垂直方向の被写体位置比率Ｒｖとを比較する。これによって、各方向の画面サイズの所定比率に対して、画面中央から最大肩位置Ｘｓｍａｘ、最大頭位置Ｙｈｍａｘ、最小身体位置Ｙｂｍｉｎまでの距離の比率のうち、最も比率が大きい位置、すなわち、最も画面周辺となる位置を判定することができる。水平方向の被写体位置比率Ｒｈが垂直方向の被写体位置比率Ｒｖより大きい（水平方向の被写体位置比率Ｒｈの方が画面周辺に位置する）と判定された場合は、ステップＳ１５０３に進む。一方、水平方向の被写体位置比率Ｒｈが垂直方向の被写体位置比率Ｒｖ以下である（垂直方向の被写体位置比率Ｒｖの方が画面周辺に位置する）と判定された場合には、ステップＳ１５０４に進む。

ステップＳ１５０３およびステップＳ１５０４では、オートズーム制御部１２２は、主被写体の検出サイズと、ステップＳ１５０２で判定した最も画面周辺となる被写体位置の比率に基づいて、基準サイズを算出する。ステップＳ１５０３において、基準サイズは、検出サイズ／水平方向被写体位置比率Ｒｈによって算出される。また、ステップＳ１５０４において、基準サイズは、検出サイズ／垂直方向被写体位置比率Ｒｖによって算出される。すなわち、主被写体のサイズを１／水平方向被写体位置比率Ｒｈ倍、あるいは、１／垂直方向被写体位置比率Ｒｖ倍となるようにズーム動作が行われる。これにより、画面内の被写体をフレームアウトさせることなく、ステップＳ１１１１で判定された構図に基づく画角に設定することができる。

以上説明したように、図１１のステップＳ１１１５では、構図設定が「オート」の場合、ステップＳ１１１１で判定された構図に基づいて水平方向および垂直方向で最も画面周辺となる被写体位置を判定し、その位置が画面に収まるように基準サイズを算出する。これにより、被写体が画面内のどの位置であっても、フレームアウトさせることなく被写体を適切な画角に収めることが可能となる。また、被写体が一人であっても複数人であっても、同じ処理によって基準サイズを算出することが可能となる。本実施形態では、立っている人物を前提として、基準サイズを算出する画面サイズの方向を決定したが、被写体検出部１２３で顔の方向が判定できる場合には、画面上での顔の上下方向に基づいて画面サイズの方向を決定してもよい。また、上記の説明では、被写体が人物である場合の構図判定や基準サイズ算出の例を示したが、被写体が物体であってもよい。この場合、選択される構図は「顔」、「上半身」、「全身」、「複数人」の代わりに、「大」、「中」、「小」、「複数」とする。そして、それらに応じて被写体位置を推定するモノ追尾枠の個数（人物の場合のＮｓ、Ｎｈ、Ｎｂに相当）を設定してもよい。

図１１に示される基準サイズ設定処理を終了すると、図７のステップＳ７０４に進む。ステップＳ７０４では、オートズーム制御部１２２は、被写体検出部１２３で検出された被写体情報やメモリ１１８に記憶された基準サイズに基づいてオートズーム制御を行う。オートズーム制御については、図１８を用いて後述する。

オートズーム制御の処理が終了すると、ステップＳ７０５に進む。ステップＳ７０５では、オートズーム制御部１２２は、撮影者が操作部１１７の被写体探索ボタンが押下されたか否かを判定する。被写体探索ボタンが押下された場合には、ステップＳ７０１に戻り、被写体探索処理を行う。被写体探索ボタンが押下されてない場合には、ステップＳ７０６に進む。

ステップＳ７０６では、オートズーム制御部１２２は、操作部１１７のタッチパネルや被写体指定用スイッチ等の操作によってオートズームの対象とする被写体が変更されたか否かを判定する。被写体が変更された場合には、ステップＳ７０２に戻って主被写体判定処理を行う。被写体が変更されていない場合には、ステップＳ７０７に進む。

ステップＳ７０７では、オートズーム制御部１２２は、撮影画面から操作部１１７の左右ボタンの操作によって構図設定が変更されたか否かを判定する。構図設定が変更された場合には、オートズーム制御部１２２は、メモリ１１８に記憶されている構図設定を更新した後、ステップＳ７０３に戻って基準サイズ設定を行う。構図設定が変更されていない場合には、ステップＳ７０８に進む。

ステップＳ７０８では、オートズーム制御部１２２は、操作部１１７のオートズーム操作スイッチが押下されたか否かを判定する。オートズーム操作スイッチが押下されたと判定されると、オートズーム機能を終了する。一方、オートズーム操作スイッチが押下されていないと判定されると、ステップＳ７０９に進む。

ステップＳ７０９では、オートズーム制御部１２２は、撮影ＳＷ１２７が半押しされている最中であるかどうかを判定する。撮影ＳＷ１２７が半押し中であればステップＳ７１１に進み、半押し中でなければステップＳ７１０に進む。

ステップＳ７１０では、オートズーム制御部１２２は、メモリ１１８に記憶されている構図設定が「オート」であるか否かの判定を行う。構図設定が「オート」である場合には、ステップＳ７０３に戻って自動構図判定を含む基準サイズの設定処理を行う。構図設定が「オート」以外である場合には、ステップＳ７０４に戻ってオートズーム制御を継続する。

一方、ステップＳ７０９で撮影ＳＷ１２７が半押し中であると判定された場合は、ステップＳ７１１に進み、オートズーム制御部１２２は、自分撮り検出部１２６によって自分撮りであることが検出されているか否かを判定する。自分撮りでない場合にはステップＳ７０９へ進み、撮影ＳＷ１２７の半押しが解除されるまでオートズーム制御を行わないようにする。これは、撮影ＳＷ１２７の半押しに応じてＡＦやＡＥが行われるため、オートズーム（ここでは光学ズーム）によって適切なピントや露出が変化するのを防ぐためである。一方、ステップＳ７１１で自分撮りと判定された場合にはステップＳ７１２に進む。

ステップＳ７１２では、オートズーム制御部１２２は、自分撮りで撮影ＳＷ１２７が半押しされてから初回の処理であるか否かを判定する。初回の処理であればステップＳ７０３に戻り、基準サイズの設定が行われる。前述したように、本実施形態では、自分撮りの場合に撮影ＳＷ１２７の半押し直後に検出された被写体のサイズに基づいて、基準サイズが設定される。ステップＳ７１２で初回の処理でなければ、ステップＳ７０４に戻ってオートズーム制御を継続する。この場合、撮影ＳＷ１２７の半押し直後に決定された基準サイズに基づいたオートズーム制御が継続される。

ここで、自分撮りシーンにおいて前述したような処理を行う理由について説明する。図８を用いて前述したように、自分撮りの際には、撮影者の撮影準備が完了して撮影ＳＷ１２７が半押しされたときから撮影までの間に、手振れ等によって意図しない構図の変動が起きる可能性がある。また、視線がカメラ方向に合った画像を撮影するために、撮影者が表示部１０９から視線を外したまま撮影が行われることが想定される。このような場合に撮影ＳＷ１２７が半押しされた状態でオートズーム制御を停止させると、構図のズレに気付かないまま撮影が行われ、撮影者の所望の構図で撮影ができない恐れがある。

そこで、本実施形態では、図７で説明したように、自分撮りの場合には撮影ＳＷ１２７が半押しされている間もオートズーム制御を実行する。これにより、撮影ＳＷ１２７が半押しされてから撮影までの間に手振れ等が発生した場合の構図の変動を防ぐことができる。なお、撮影ＳＷ１２７が半押しされている間に光学ズームが行われた場合には、ＡＦやＡＥを再度行うことが好ましい。

また、自分撮りで撮影ＳＷ１２７の半押し中にオートズーム制御を行う際は、撮影ＳＷ１２７が半押しされたときに検出された被写体のサイズを基準サイズとする。これは、撮影者が所望の構図に調整したことを確認して撮影準備指示を行う（撮影ＳＷ１２７を半押しする）ことを考慮して、撮影ＳＷ１２７が半押しされた時点の構図を維持するためである。撮影ＳＷ１２７が半押しされた時点で検出される被写体サイズを基準サイズとすることで、撮影ＳＷ１２７の半押し中に実行されるオートズーム制御において、撮影者の意図した構図を維持することができる。

次に、図１８を参照して、図７のステップＳ７０４で実行されるオートズーム制御処理について説明する。図１８は、本実施形態におけるオートズーム制御処理を示すフローチャートである。

まず、ステップＳ１８００にてオートズーム制御部１２２は、被写体検出部１２３により被写体が検出されたか否かを判定する。ステップＳ１８００で被写体が検出されなかった場合にはオートズーム制御処理を終了する。ステップＳ１８００で被写体が検出された場合にはステップＳ１８０１へ進む。

ステップＳ１８０１〜Ｓ１８０３の判定は、図４で説明したように、被写体がフレームアウトすることを防止するための（フレームアウト防止制御の）オートズームの開始判定処理である。ステップＳ１８０１において、オートズーム制御部１２２は、追尾する被写体に係る被写体追尾枠がズームアウト領域ＺＯに進入したか否かを判定する。ここでのズームアウト領域ＺＯは、図４（Ａ）〜（Ｃ）で説明したズームアウト領域ＺＯに相当する。ステップＳ１８０１にて被写体追尾枠がズームアウト領域ＺＯに進入した場合、すなわち、被写体がフレームアウトする可能性が大きい場合、ステップＳ１８０４に進み、ズームアウト動作を開始する。ここでのズームアウト動作は、フレームアウト防止制御のズームアウト動作に相当する。ズームアウト動作の後、オートズーム制御を終了する。

一方、ステップＳ１８０１にて被写体追尾枠がズームアウト領域ＺＯに進入していない場合、すなわち、画面中央付近で被写体を捉えられている場合、ステップＳ１８０２に進む。ステップＳ１８０２では、オートズーム制御部１２２は、直前のズーム動作がステップＳ１８０１でズームアウト領域ＺＯに進入したことによるズームアウト動作、すなわち、フレームアウト防止制御のズームアウト動作であるか否かを判定する。フレームアウト防止制御のズームアウト動作後である場合には、ステップＳ１８０３に進む。

ステップＳ１８０３において、オートズーム制御部１２２は、追尾する被写体に係る被写体追尾枠がズームイン領域ＺＩの内部に収まっている（包含されている）か否かを判定する。ここでのズームイン領域ＺＩは、図４（Ａ）〜（Ｃ）で説明したズームイン領域ＺＩに相当する。ステップＳ１８０３にて被写体追尾枠（被写体）がズームイン領域ＺＩに収まっていない場合、オートズーム制御処理を終了する。一方、被写体追尾枠がズームイン領域ＺＩに収まっている場合、すなわち、画面中央付近でかつズーム戻り位置の画角内の被写体サイズとなるように被写体を捉えられている場合、ステップＳ１８０５に進み、ズームイン動作を開始する。ここでのズームイン動作は、フレームアウト防止制御のズームイン動作に相当する。ズームイン動作の後、オートズーム制御を終了する。

オートズームにおけるフレームアウト防止制御とサイズ保持制御を両立させるために、まずフレームアウト防止制御により被写体を画面中央付近に捉えたうえで、サイズ保持制御を実行可能にしている。そのため、フレームアウト防止制御のズームアウト動作後の状態では、以降で説明する被写体サイズを一定に維持する（サイズ保持制御の）オートズーム処理（ステップＳ１８０６〜Ｓ１８１４）を行わないようにしている。換言すると、フレームアウト防止制御を行った場合は、フレームアウト防止制御のズームイン動作が完了するまでサイズ保持制御が制限される。

ステップＳ１８０２でフレームアウト防止制御のズームアウト動作後でないと判断された場合、ステップＳ１８０６に進む。ステップＳ１８０６〜Ｓ１８０９では、自分撮り撮影で撮影ＳＷ１２７が半押しされている最中であるか否かに応じて、後述するサイズ保持制御のズームイン／アウト動作を行うか否かの判定に使用する所定の比率ＭとＮの設定を行う（Ｍ＞１、Ｎ＜１とする）。まず、ステップＳ１８０６にて、オートズーム制御部１２２は、自分撮り検出部１２６によって自分撮りであることが検出されているか否かを判定する。自分撮りの場合にはステップＳ１８０７へ進み、自分撮りでない場合にはステップＳ１８１０へ進む。

ステップＳ１８０７にて、オートズーム制御部１２２は、撮影ＳＷ１２７が半押しされている最中であるかどうかを判定する。撮影ＳＷ１２７が半押しされている最中でなければステップＳ１８０９に進み、オートズーム制御部１２２は、所定の比率Ｍに所定値Ｍ＿ＥＶＦを設定し、所定の比率Ｎに所定値Ｎ＿ＥＶＦを設定する。また、撮影ＳＷ１２７が半押しされている最中であれば、Ｓ１８０８に進み、所定の比率Ｍに所定値Ｍ＿ＳＷを設定し、所定の比率Ｎに、所定値Ｎ＿ＳＷを設定する。ここで、所定値Ｍ＿ＥＶＦは所定値Ｍ＿ＳＷよりも大きい値とし、所定値Ｎ＿ＥＶＦは所定値Ｎ＿ＳＷよりも小さい値とする。所定の比率ＭとＮが設定されると、ステップＳ１８１０へ進む。

ステップＳ１８１０において、オートズーム制御部１２２は、ステップＳ１１０２やＳ１１１０、Ｓ１１１５で設定される基準の被写体サイズ（基準サイズ）と、ステップＳ１８００にて検出された被写体サイズとの比較を行う。この処理は、画像が所定の構図条件（ここでは被写体のサイズに基づく条件）を満たすかどうかの判定に相当する。ステップＳ１８００にて検出された被写体のサイズが基準サイズに対して所定の比率Ｍ倍より大きい場合、ステップＳ１８１３に進む。なお、自分撮りでない場合の所定の比率Ｍは、所定値Ｍ＿ＥＶＦより小さい所定値に設定される。

ステップＳ１８１３において、オートズーム制御部１２２は、ズームアウト動作を開始する。ここでのズームアウト動作は、サイズ保持制御のズームアウト動作に相当する。ズームアウト動作の後、オートズーム制御を終了する。

一方、ステップＳ１８１０において、ステップＳ１８００にて検出された被写体のサイズが基準サイズに対してＭ倍以下であると判定された場合、ステップＳ１８１１に進む。ステップＳ１８１１において、オートズーム制御部１２２は、基準被写体サイズとステップＳ１８００にて検出された被写体のサイズとの比較を行う。この処理は、画像が所定の構図条件（ここでは被写体のサイズに基づく条件）を満たすかどうかの判定に相当する。検出された被写体のサイズが基準サイズに対して所定の比率Ｎ倍より小さい場合、ステップＳ１８１２に進む。なお、自分撮りでない場合の所定の比率Ｎは、所定値Ｎ＿ＥＶＦより大きい所定値に設定される。一方、検出された被写体のサイズが基準サイズに対してＮ倍以上である場合、オートズーム制御を終了する。

ステップＳ１８１２において、オートズーム制御部１２２は、追尾する被写体の被写体追尾枠がズームイン領域ＺＩの内部に収まっている（包含されている）か否かを判定する。これは、被写体が画面の周辺にいる場合にズームイン動作によってフレームアウトしてしまうことを防ぐためである。ここでのズームイン領域ＺＩは、図５（Ｅ）で説明したズームイン領域ＺＩに相当する。ステップＳ１８１２で被写体追尾枠がズームイン領域ＺＩに収まっていないと判定された場合、オートズーム制御処理を終了する。

一方、ステップＳ１８１２で被写体追尾枠がズームイン領域ＺＩに収まっていると判定された場合、ステップＳ１８１４に進む。ステップＳ１８１４において、オートズーム制御部１２２は、ズームイン動作を開始する。ここでのズームイン動作は、サイズ保持制御のズームイン動作に相当する。このように、本実施形態では、サイズ保持制御のズームイン動作においても被写体のフレームアウトを防ぐため、被写体がズームイン領域ＺＩの内部に収まってからズームイン動作を開始する。ズームイン動作の後、オートズーム制御の処理を終了する。

上記ステップＳ１８０６〜Ｓ１８０９で説明したように、自分撮りの場合は、撮影ＳＷ１２７が半押しされていない状態において、よりズーム動作が行われにくいように所定の比率ＭとＮが設定される。すなわち、被写体が表示部１０９を見ながら構図や画角を調整している状態（撮影ＳＷ１２７が半押しされていない状態）では、構図や画角が決定された後の状態（撮影ＳＷ１２７が半押し状態）と比較して、ズーム動作を制限するような条件が設定される。これにより、撮影者の意思を反映させた画角の調整を可能にしつつ、撮影準備完了後の意図しない画角変動を効果的に軽減することができる。

自分撮りの際は、撮影者は「上半身」などの既定の構図に厳密に合致した構図ではなく、撮影者の独自性のある構図を所望している可能性がある。そのため、撮影者が意図的にデジタルカメラ１００を動かして構図を調整しようとした際に、既定の構図に厳密に合致するようにオートズーム制御が行われると、撮影者が調整した構図が打ち消されてしまい、撮影者の意図通りの構図で撮影できない恐れがある。

そこで、本実施形態では、前述したとおり、ステップＳ１８０６〜Ｓ１８０９において、撮影ＳＷ１２７が半押しされていない撮影準備中の間は、オートズーム動作が行われにくくなるように（抑制するように）閾値を設定する。例えば、自分撮りで撮影ＳＷ１２７が半押しされていない状態では、図９に示すように、各構図における基準範囲を設定し、撮影ＳＷ１２７が半押しされている状態と比較して基準サイズに幅を持たせてもよい。これにより、予め定められた構図に基づくオートズーム制御においても、自分撮りの際には撮影者による意図的な構図調整を反映して、撮影者の所望の構図で撮影することが可能になる。

次に、図１９を参照して、本実施形態におけるズーム動作について説明する。図１９は、図１８のステップＳ１８０４、Ｓ１８０５、Ｓ１８１３、Ｓ１８１４におけるズームアウト動作もしくはズームイン動作を説明するフローチャートである。

まずステップＳ１９００において、オートズーム制御部１２２は、メモリ１１８からズーム倍率の変化量（光学ズームの場合はズーム駆動量）を取得する。フレームアウト防止制御のズームアウト動作の場合、ズームアウト量は検出された被写体情報に応じて設定される。具体的には、フレームアウト防止のズームアウト動作（図１８のステップＳ１８０４）においては、被写体のサイズが小さいほどズームアウト量は小さく設定される。これにより、ズームアウト動作によって被写体のサイズが小さくなりすぎるために被写体が検出できなくなるのを防ぐことができる。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにしてもよい。また、フレームアウト防止のズームイン動作では、ズームアウト動作開始前のズーム倍率（光学ズームの場合はズーム位置でもよい）をメモリ１１８に記憶しておき、ズームアウト開始前と同じズーム倍率となるようにズームイン量を設定する。

また、サイズ保持制御のズームアウト動作（図１８のステップＳ１８１３）においては、ステップＳ１８１０の判定に用いる所定の比率Ｍ倍に相当するズームアウト量（１／Ｍ倍）に設定する。これにより、被写体が検出できない場合でも、被写体のサイズが基準サイズとなるまでの最低限のズームアウト動作を行うことができる。サイズ保持制御のズームイン動作（図１８のステップＳ１８１４）の場合も同様に、ステップＳ１８１１の判定に用いる所定の比率Ｎ倍に相当するズームイン量（１／Ｎ倍）に設定する。

ステップＳ１９０１において、オートズーム制御部１２２は、ステップＳ１９００にて取得したズーム変化量をＣＺ制御部１１９もしくは電子ズーム制御部１２０に設定し、変倍処理を行うように指示する。

次にステップＳ１９０２にて、オートズーム制御部１２２は、フレームアウト防止制御とサイズ保持制御の何れのズーム動作中であるかの判定を行う。動作中のズームがフレームアウト防止制御のズーム動作である場合（図１８のステップＳ１８０４、Ｓ１８０５）はステップＳ１９０５に進む。サイズ保持制御のズーム動作である場合（図１８のステップＳ１８１３、Ｓ１８１４）はステップＳ１９０３に進む。

ステップＳ１９０３では、オートズーム制御部１２２は、被写体検出部１２３によって被写体が検出されているか否かの判定を行う。被写体が検出されている場合にはステップＳ１９０４に進み、被写体が検出されていない場合にはステップＳ１９０５に進む。

ステップＳ１９０４では、オートズーム制御部１２２は、基準サイズとステップＳ１９０３で検出された被写体のサイズとの比較を行う。比較の結果、ステップＳ１９０３にて検出された被写体のサイズと基準サイズとが所定比率の範囲内（所定の変化量以内）に収まらない場合には、再度、ステップＳ１９０２に進み、ズーム停止の判定を継続する。ズーム動作によってその比率が所定の範囲内となった場合、ステップＳ１９０６に進み、オートズーム制御部１２２は、ズーム動作を停止してズーム動作処理を終了する。

一方、ステップＳ１９０２でフレームアウト防止制御のズーム動作中と判定された場合、または、サイズ保持制御のズーム動作中で被写体が検出されない場合には、ステップＳ１９０５に進む。ステップＳ１９０５にて、オートズーム制御部１２２は、ステップＳ１９００で取得したズーム変化量に基づき、各ズーム動作に応じた所定量分のズーム変化量に相当する変倍処理を行ったか否かを判定する。所定のズーム変化量の変倍処理が行われていない場合には、再度ステップＳ１９０２に進み、ズーム停止の判定を継続する。所定のズーム変化量の変倍処理を行った場合には、ステップＳ１９０６に進み、オートズーム制御部１２２は、ズーム動作を停止してズーム動作処理を終了する。

以上のように、本実施形態では、基準サイズと検出された被写体のサイズとを比較することでオートズーム制御を行うことを例に説明したが、比較の基準としてサイズ以外の被写体の状態を示す値を使用してもよい。例えば、被写体の位置や光軸を基軸とした傾きを使用してもよい。この場合について、図１０を用いて説明する。

自分撮りの際に、図１０（Ａ）のようなシーンで撮影者により構図を確定し、撮影準備が整ったとして撮影ＳＷ１２７が半押されたとする。その後、図１０（Ｂ）のように、手振れによってデジタルカメラが傾き、画像内における被写体の位置やサイズが変化したとする。このような場合、図１１の基準サイズ設定および図１８のオートズーム制御において、以下のような処理を行う。

まず、撮影ＳＷ１２７が半押しされた際に、ステップＳ１１０２にて、オートズーム制御部１２２は、検出被写体の位置、サイズ、傾きを基準特徴値（基準値）として記憶する。その後、ステップＳ１８０６〜Ｓ１８１４において、現在検出されている被写体の位置、サイズ、傾きと、記憶されている基準特徴値との比較を行い、所定より大きい変化があった場合、ズームイン／アウト制御を行う。ズームイン／アウト制御を行うと判断された場合は、基準特徴値と合致するように、光学ズームまたは電子ズームによるズーム倍率の変更を行う。また、図１０（Ｂ）のように、被写体が基準特徴値と比較して傾いた場合は、電子ズームにより電子ズームにより範囲１０００を切り出し、撮影画像とする。

このように、画像の構図を判定するための条件（構図条件）として、被写体のサイズだけでなく、被写体の位置や傾きの情報を用いてもよい。これにより、撮影ＳＷ１２７の半押し中に手振れなどによって被写体の位置や傾きが変わった場合でも、撮影者の所望の構図を維持した撮影画像を取得することができる。

なお、本実施形態では、自分撮り以外の場合でもオートズーム制御を行うことが可能な撮像装置について説明したが、自分撮りの場合のみオートズーム制御を行う場合でも本発明を適用可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

＜他の実施形態＞
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「ズーム制御装置」は、ズーム機能を備えた任意の電子機器を包含することが意図されている。

１００ デジタルカメラ
１０２ ズームレンズ
１０９ 表示部
１１３ ズームレンズ駆動部
１１７ 操作部
１１８ メモリ
１１９ ＣＺ制御部
１２０ 電子ズーム制御部
１２２ オートズーム制御部
１２３ 被写体検出部
１２６ 自分撮り検出部
１２７ 撮影ＳＷ

Claims (13)

1. 撮影者が自身を含む被写体の画像を視認しながら撮影を行うことが可能な特定の撮影状態であるか否かを判定する第１の判定手段と、
   画像から検出された被写体の情報を取得する取得手段と、
   前記取得手段により取得された前記被写体の情報に基づいて、画像が所定の構図条件を満たしているか否かを判定する第２の判定手段と、
   前記第２の判定手段により画像が前記所定の構図条件を満たしていないと判定された場合、前記所定の構図条件を満たすようにズーム制御を行うズーム制御手段と、
   撮影の準備動作を指示するための所定の操作を受け付ける受け付け手段とを有し、
   前記ズーム制御手段は、前記受け付け手段により前記所定の操作が受け付けられていない第１の状態で前記ズーム制御を行い、前記第１の判定手段により前記特定の撮影状態であることが判定されている場合、前記所定の操作が受け付けられている第２の状態においても前記ズーム制御を継続することを特徴とするズーム制御装置。
2. 前記第１の判定手段により前記特定の撮影状態であることが判定されていない場合、前記ズーム制御手段は、前記第２の状態において前記ズーム制御を停止することを特徴とする請求項１に記載のズーム制御装置。
3. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第１の状態と前記第２の状態とで異なる前記所定の構図条件が設定されることを特徴とする請求項１または２に記載のズーム制御装置。
4. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第１の状態で設定される前記所定の構図条件は、前記第２の状態で設定される前記所定の構図条件よりも満たし難い条件であることを特徴とする請求項３に記載のズーム制御装置。
5. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記所定の構図条件は、前記第２の状態での前記ズーム制御と比較して、前記第１の状態での前記ズーム制御におけるズーム倍率の変更を制限するように設定されることを特徴とする請求項３または４に記載のズーム制御装置。
6. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第２の判定手段は、前記第１の状態から前記所定の操作が受け付けられたときに取得された前記被写体の情報に基づいて、前記第２の状態において画像が前記所定の構図条件を満たしているか否かを判定することを特徴とする請求項１乃至５のいずれか１項に記載のズーム制御装置。
7. 前記被写体の情報は、被写体のサイズ、位置、光軸を軸とした傾きのうち、少なくとも一つの特徴値の情報を含み、
   前記所定の構図条件は、前記特徴値が基準値から所定の範囲内であるか否かに基づいて判定されることを特徴とする請求項１乃至６のいずれか１項に記載のズーム制御装置。
8. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第１の状態における前記所定の範囲は、前記第２の状態における前記所定の範囲より広く設定されることを特徴とする請求項７に記載のズーム制御装置。
9. 前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第１の状態では、予め定められた構図の種類に応じた所定の値に前記基準値が設定され、前記第２の状態では、前記第１の状態から前記所定の操作が受け付けられたときに取得された前記特徴値に基づいて前記基準値が設定されることを特徴とする請求項７または８に記載のズーム制御装置。
10. 前記ズーム制御手段は、光学ズームと電子ズームの少なくともいずれかによりズーム倍率を変更することを特徴とする請求項１乃至９のいずれか１項に記載のズーム制御装置。
11. 前記所定の操作が受け付けられたときに焦点調節制御と露出制御を行う制御手段を有し、
    前記第１の判定手段により前記特定の撮影状態であることが判定されている場合に行われる前記ズーム制御において、前記第２の状態で光学ズームによりズーム倍率が変更された場合、前記制御手段は、焦点調節制御と露出制御を再度行うことを特徴とする請求項１乃至１０のいずれか１項に記載のズーム制御装置。
12. 前記第１の判定手段は、画像を表示する表示部の位置、あるいは撮影者により選択されている撮影モードによって、前記特定の撮影状態であるか否かを判定することを特徴とする請求項１乃至１１のいずれか１項に記載のズーム制御装置。
13. ズーム制御装置の制御方法であって、
    撮影者が自身を含む被写体の画像を視認しながら撮影を行うことが可能な特定の撮影状態であるか否かを判定する第１の判定ステップと、
    画像から検出された被写体の情報を取得する取得ステップと、
    前記取得ステップにより取得された前記被写体の情報に基づいて、画像が所定の構図条件を満たしているか否かを判定する第２の判定ステップと、
    前記第２の判定ステップにより画像が前記所定の構図条件を満たしていないと判定された場合、前記所定の構図条件を満たすようにズーム制御を行うズーム制御ステップと、
    撮影の準備動作を指示するための所定の操作を受け付ける受け付けステップとを有し、
    前記ズーム制御ステップにおいて、前記受け付けステップにより前記所定の操作が受け付けられていない第１の状態で前記ズーム制御を行い、前記第１の判定ステップにより前記特定の撮影状態であることが判定されている場合、前記所定の操作が受け付けられている第２の状態においても前記ズーム制御を継続することを特徴とするズーム制御装置の制御方法。

Images