以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。なお、本実施形態によって実現される機能は、ユーザによるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能(以下、FAズーム機能と略記する)と呼ぶこととする。
図1は、本実施形態に係る撮像装置の一例としての、デジタルカメラ100の構成例を示すブロック図である。デジタルカメラ100は、FAズーム機能を実行可能に構成されている。
レンズ鏡筒101は、その内部にレンズ群を保持している。ズームレンズ102は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更(ズーム位置を移動)する。フォーカスレンズ103は、光軸方向に移動することでピントを調節する。防振レンズ104は、手ぶれに起因する像振れを補正する補正用レンズである。絞り及びシャッタ105は、光量を調節可能に構成されており、露出制御に用いられる。なお、本実施形態において、デジタルカメラ100は、レンズ鏡筒101とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。
レンズ鏡筒101を通過した光は、CCD(電荷結合素子)またはCMOS(相補型金属酸化膜半導体)等を備えて構成される撮像素子106により受光される。撮像素子106は、光電変換によって被写体像を電気信号に変換することで、撮像信号を生成する。撮像信号は、画像処理回路107に入力される。画像処理回路107は、入力された撮像信号に対して画素補間処理や色変換処理等の各種処理を行い、画像データを画像メモリ108に出力する。画像メモリ108は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を備えて構成される記憶手段である。
表示部109は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)等を備えて構成され、撮影画像(画像データ)を表示する。また表示部109は、撮影画像とともに、特定の情報(例えば、撮影情報や後述するFAズーム枠等)を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ(EVF)機能を実現している。
絞りシャッタ駆動部110は、画像処理回路107での画像処理によって得られた輝度情報に基づいて露出制御値(絞り値及びシャッタ速度)を演算し、この演算結果に基づいて絞り及びシャッタ105を駆動する。これにより、AE(自動露出)制御が行われる。防振レンズ駆動部111は、ジャイロセンサ等の角速度センサの情報に基づいてデジタルカメラ100に加わる振れ量を演算し、振れを打ち消す(低減する)ように防振レンズ104を駆動する。
フォーカスレンズ駆動部112は、フォーカスレンズ103を駆動する。本実施形態において、デジタルカメラ100は、コントラスト方式でAF(オートフォーカス)制御を行う。このためフォーカスレンズ駆動部112は、画像処理回路107の画像処理により得られた撮影光学系の焦点調節情報(コントラスト評価値)に基づいて、被写体にピントが合うようにフォーカスレンズ103を駆動する。ただし、本実施形態はこれに限定されるものではなく、位相差AF方式等のコントラスト方式以外のAF制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたAF制御を行うように構成してもよい。
ズームレンズ駆動部113は、ズーム操作指示に従ってズームレンズ102を駆動する。操作部117は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備えて構成される。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部114によりズーム駆動速度や駆動方向が演算され、その演算結果に従ってズームレンズ102が光軸に沿って移動される。
撮影動作によって生成された画像データは、インターフェース部(以下I/F部と呼ぶ)115を介して記録部116に送られて記録される。画像データは、デジタルカメラ100に装着して使用されるメモリカード等の外部記録媒体またはデジタルカメラ100に内蔵されている不揮発性のメモリ118、あるいはそれらの両方に記録される。
操作部117は、前記ズーム操作部材に加えて、撮影開始を指示するレリーズスイッチ、FAズーム機能の開始や終了を指示するFAズーム操作スイッチ等を含む。操作部117からの信号は、後述のシステム制御部114に送られる。メモリ118は、プログラムデータや画像データの他に、デジタルカメラ100の設定情報や、後述するFAズーム機能におけるズームイン位置等の情報を記憶する。ここで、ズームイン位置とは、FAズームの終了時にズームインする際の目標となるズーム戻り位置であり、その詳細については後述する。
システム制御部114は、CPU(中央演算処理装置)等の演算装置を備えて構成され、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ100全体を制御する。システム制御部114は、メモリ118に記憶されている各種の制御プログラム、例えば撮像素子106の制御やAE/AF制御、ズーム制御(FAズーム処理を含む)等を行うためのプログラムを実行する。
次に、システム制御部114において、FAズーム機能に関連する制御について説明する。図1に示されるように、システム制御部114は、CZ制御部119、電子ズーム制御部120、FAズーム枠制御部121、FAズーム制御部122、および、被写体検出部123を備えて構成される。
光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒101のようなリアフォーカスタイプのレンズ鏡筒の場合、ズームレンズ102の位置に応じてフォーカスレンズ103を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム(CZ)制御という。図2は、ズームレンズの焦点距離と被写体距離毎のフォーカス位置との関係図である。図2では、ズームレンズの焦点距離とピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルをグラフ化している。本実施形態において、このテーブルはフォーカスカムテーブルと称する。図2において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示している。各グラフ線の横には、デジタルカメラ100から被写体までの距離(被写体距離)を示している。
システム制御部114は、AF制御を行う際にフォーカスレンズ駆動部112を制御して、フォーカスレンズ103を所定の範囲において移動させることによりスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。そのときのズーム位置とフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。
デジタルカメラ100は、光学ズーム機能及び電子ズーム機能を有する。CZ制御部119及びズームレンズ駆動部113は、光学ズーム駆動を行う。CZ制御部119は、ズーム動作時に、所定の制御周期ごとにズームレンズ102のズーム位置を検出する。そしてCZ制御部119は、そのズーム位置に応じたAF制御にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ103を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
一方、電子ズーム制御部120及び画像メモリ108は、電子ズームを行う。電子ズーム制御部120は、画像メモリ108に転送された画像データから対象領域を切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部120は、撮像素子106に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部109に表示させることにより、滑らかな電子ズーム表示を実現する。
被写体検出部123は、画像メモリ108に記憶された画像データから所望の被写体領域を検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体(顔または物体)を検出する被写体検出方法(顔検出処理、色検出処理)について説明する。
顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部123は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部123は、両者の相関が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返すことにより、画像データ中に存在する種々の顔領域を検出することができる。
色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は、検出対象の被写体が物体(人物以外の「モノ」)である場合に実行される。色情報としては、画像処理回路107からの出力信号であるRGBや輝度Y及び色差R−Y、B−Y等が用いられる。被写体検出時において、被写体検出部123は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部123は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この領域候補で隣り合う部分領域の塊を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。
被写体検出部123は、顔情報及び色情報とともに、CZ制御部119で計測された被写体距離情報及びズームレンズ102の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを推定することができる。
振れ検出部124は、ジャイロセンサ(角速度検出手段)等の情報に基づいて、デジタルカメラ100の振れ状態を検出する。振れ検出部124は、ジャイロセンサ等に加わる振れ量に応じて、カメラの振れ量を検出する。振れ検出に用いるジャイロセンサは、防振レンズ駆動部111の制御情報として用いるセンサと兼用する構成でもよい。また、加速度センサを用いて、カメラの振れ量を検出してもよい。
次に、FAズーム機能の概要と、FAズーム枠制御部121及びFAズーム制御部122について説明する。本実施形態のデジタルカメラ100は、FAズームを実行するモードとして、手動探索モードおよび自動追尾モードの二つのモードを備えている。これらの二つのモードは、被写体がフレームアウトしたときに撮影者がFAズーム操作スイッチを操作して被写体を捉え直すモードであるか、カメラが自動で被写体を検出して画角合わせを支援するモードであるかという点で異なる。以下、各モードの機能の概要について説明する。
FAズーム機能が非搭載のカメラでは、撮影者が望遠状態でフレーミングしてシャッターチャンスを待っている間に被写体が動いてフレームアウトした場合等において、撮影者は以下の操作が必要であった。すなわち、まず、ズーム操作部材の操作によりズームアウトを行ってから被写体を探索する。そして被写体を探索した後、再び所望の画角になるまでズーム操作を行って画角調整する。
一方、FAズーム機能の手動探索モードを有するデジタルカメラ100では、撮影前に画角合わせ等を行う状態(以下、撮影準備状態という)で被写体を見失ってしまった場合、撮影者はFAズーム操作スイッチを操作すればよい。このFAズーム操作スイッチは、FAズーム機能のために割り当てられたスイッチであり、ズーム操作部材とは別の部材である。FAズーム操作スイッチの押下により、FAズーム機能の開始をカメラに指示する。FAズーム制御部122は、FAズーム操作スイッチからのFAズーム開始指示により、電子ズーム及び光学ズームの各ズーム位置をメモリ118に記憶させる。またFAズーム制御部122は、後述の処理手順に従って、CZ制御部119または電子ズーム制御部120に対して広角方向にズームアウトの指示を行い、撮影準備状態よりも画角がズームアウトされた状態(以下、被写体探索状態という)にする。
続いて、図3を参照して、撮影準備状態および被写体探索状態のそれぞれの画角について説明する。図3は、被写体探索状態での画角および撮影準備状態での画角の説明図である。図3(A)及び図3(D)はズームイン状態(撮影準備状態)での画角を示し、図3(B)及び図3(C)はズームアウト状態(被写体探索状態)での画角を示している。
図3(A)に示されるように被写体がフレームアウトした(しそうな)場合、撮影者は被写体を探索するためにFAズーム操作スイッチを押下する。FAズーム操作スイッチの押下中、ズームアウト状態が保持されるとともに、ズームイン位置を示すFAズーム枠300が画像に重畳して表示部109に表示される。
図3(B)に示されるようにズームアウト状態(被写体探索状態)で所望の被写体を発見した場合、図3(C)に示されるようにFAズーム枠300の内側に被写体が収まるように撮影者がフレーミングを行う。その後、撮影者がFAズーム操作スイッチを開放することにより、FAズーム終了がFAズーム制御部122に指示される。このとき、FAズーム制御部122は、記憶された撮影準備状態のズーム位置(ズームイン位置)まで電子ズームまたは光学ズームによるズームイン動作を行う。これにより、図3(D)に示されるような最適なフレーミング状態が得られる。
FAズーム枠制御部121は、図3(B)及び図3(C)で示されるように、記憶された撮影準備状態での画角を示す大きさを算出し、表示部109のEVFの中心部にFAズーム枠300を表示させる。FAズーム枠300の大きさは、ズームアウトした時点でのズーム倍率をもとに計算される。例えば、撮影準備状態から2倍の電子ズーム倍率および3倍の光学ズーム倍率でズームアウトして被写体探索状態となった場合、被写体探索状態でEVFに表示される画角に対して、(1/2)×(1/3)=1/6倍の大きさのFAズーム枠が表示される。このような処理により、撮影者は簡単な操作で、フレームアウトした被写体を再度フレームインさせながら所望の画角で撮影することができる。
また、動いている被写体を撮影する場合など被写体がフレームアウトしやすいシーンを撮影する場合、カメラが自動的にズーム位置を変更する自動追尾モードにより、より簡単にフレームアウトを防止することができる。特に望遠状態での撮影においては、画角が狭いため、手ぶれ等に起因する微少なカメラの動きでも被写体がフレームアウトする場合がある。
本実施形態のデジタルカメラ100は、FAズーム機能の自動追尾モードを有する。このため、自動追尾モードを設定した後、タッチパネル等で被写体を指定する操作を実施することにより、撮影したい被写体を指定しておけばよい。被写体の指定方法としては、タッチパネル操作以外でも、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動的に主被写体を選択する方法などが考えられる。
被写体検出部123は、画像メモリ108から指定された被写体領域の画像データ上での位置や大きさを算出する。これをライブビューとして表示する各フレーム毎にサンプリングの画像データに対して連続的に行なうことにより、被写体の動きを追尾することが可能となる。追尾している被写体を後述するズームアウト領域で検出した場合、CZ制御部119または電子ズーム制御部120に対してFAズーム制御部122が広角方向にズームアウトの指示を行う。被写体をFAズーム枠300のズームイン領域内に検出した場合、FAズーム枠300が示す望遠側のズーム位置までズームイン動作を行う。このような処理により、撮影者はズーム操作を気にせず被写体を画面に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム位置が変更されるため、より簡単に画角合わせを行うことが可能となる。本実施形態は、このような自動追尾モードにおけるズームアウト動作及びズームイン動作を最適なタイミングで実施することにより、撮影者が容易にフレーミングすることが可能となる。
次に、図4を参照して、ズームアウト動作やズームイン動作の開始条件について説明する。図4は、被写体の画面外へのフレームアウトを防止する処理の説明図である。
図4において、400は被写体を追尾する被写体追尾枠を示している。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部109のEVF上に被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報や色情報に基づいて被写体検出部123により算出され、フレームレート周期で更新される。
図4(A)は、EVFで表示される画角全体(画面全体)に対して所定の比率よりも外側の周辺領域をズームアウト領域ZOとして示している。例えば、画面の中心点を0%、画面全体を100%とし、画面全体に対して80%となる位置をズームアウト領域ZOの境界として設定する場合、画面全体における80〜100%の領域がズームアウト領域ZOとなる。画像内のズームアウト領域ZOに追尾枠400aの一部が進入すると、ズームアウト動作を開始する。また、ズーム移動前のズーム位置(ズームイン画角)をメモリ118に記憶する。ズームアウト動作中のズーム倍率やズーム速度は、被写体のサイズや移動速度に応じて予め設定される。また、ズーム倍率やズーム速度を被写体のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。
図4(B)は、図4(A)の画角から所定のズーム駆動量分ズームアウトした画角を示している。図4(B)において、被写体探索状態においてFAズーム枠300で示されるズームイン画角に対して所定の比率よりも内側の領域をズームイン領域ZIとして示している。例えば、画面の中心点を0%、FAズーム枠300(ズームイン画角)を100%とし、ズームイン画角に対して70%となる位置をズームイン領域ZIの境界として設定する。この場合、FAズーム枠300の全体における0〜70%の領域がズームイン領域ZIとなる。このとき、ズームアウト倍率が例えば1/2倍である場合、FAズーム枠300は画面全体に対して50%の大きさとなる。したがって、ズームイン領域ZIは、画面全体に対して0〜35%(=70%×(1/2))の領域であるとも言える。撮影者が、ズームイン領域ZIの内部に追尾枠400bが収まるようにカメラの向きを変更すると、ズームイン動作が開始する。
次に図5を用いて、FAズーム機能の全体の処理について説明する。図5のFAズーム機能は、特に記載がない限りFAズーム制御部122の指令に基づいて行われるものとする。図5のフローチャートの処理は、カメラのメニュー設定画面や操作部117などを介して、撮影者によりFAズーム機能が有効になるよう設定された場合に開始される。
まずステップS500において、FAズーム制御部122は、操作部117のFAズーム操作スイッチが押下されたか否かを判定する。FAズーム操作スイッチが押下されると、ステップS501に進み、FAズーム制御部122は、FAズーム操作スイッチの押下時間を測定する。
ステップS501において、FAズーム制御部122は、FAズーム操作スイッチの押下された後、FAズーム操作スイッチが所定時間A内に開放されたか否かを判定する。すなわちFAズーム制御部122は、FAズーム操作スイッチの長押しまたは短押しの判定を行う。FAズーム操作スイッチが所定時間A内に開放されない場合、つまり長押しの場合は、ステップS502に進み、上述した手動探索モードを設定する。一方、FAズーム操作スイッチが所定時間A内に開放された場合、つまり短押しの場合は、ステップS507に進み、上述した自動追尾モードを設定する。
ステップS507に進んで自動追尾モードが設定された場合、ステップS508において追尾対象となる被写体を指定する処理を行う。ここでは、操作部117を構成する部材であるタッチパネルや十字キーなどを用いて撮影者により被写体を指定する方法や、検出された被写体のサイズや位置などに基づいてシステム制御部114が自動的に指定する方法でもよい。
ステップS509において、FAズーム制御部122は、追尾する被写体の被写体追尾枠が上述したズームアウト領域ZO(第1の所定領域)に進入したか否かを判定する。追尾枠がズームアウト領域ZOに進入した場合、すなわち、被写体がフレームアウトする可能性が高い場合、ステップS510に進み、自動FAズーム判定を行う。
ここで、ステップS510の自動FAズーム判定について、図6及び図7を用いて説明する。図6は、ステップS510の自動FAズーム判定処理を示すフローチャートである。
ステップS600において、FAズーム制御部122は、自動FAズーム判定用のタイマー(以下判定用タイマーと呼ぶ。)がカウント中か否かを判定する。タイマーカウント中の場合はステップS602に進み、タイマーカウント中でない場合はステップS601でタイマーカウントを開始してから、ステップS602に進む。
ステップS602において、FAズーム制御部122は、振れ検出部124から出力される信号に基づくカメラの動き量を取得する。そして、ステップS603において、FAズーム制御部122は、被写体検出部123により検出された追尾被写体の動き量を取得する。被写体の動き量を検出する手法としては、公知の動きベクトル技術、例えば現フレームの画像とその直前のフレームの画像とを、所定の代表点または画素毎に比較対照するマッチング法を用いて検出する方法がある。なお、被写体の動き量が検出できる手段であれば、マッチング法による動きベクトル技術以外の手段を用いてもよい。
ステップS604において、FAズーム制御部122は、ステップS602で取得したカメラの動き量が閾値X1より大きいか否かを判定する。カメラの動き量が閾値X1より大きい場合はステップS605に進み、閾値X1以下の場合はステップS609に進む。
ステップS605に進んだ場合、FAズーム制御部122は、ステップS603で取得した被写体動き量が閾値Y1より大きいか否かを判定する。被写体動き量が閾値Y1より大きい場合はステップS606に進み、閾値Y1以下の場合はステップS608に進む。
ステップS606において、FAズーム制御部122は、自動FAズームを「有効」に設定する。そしてステップS607に進み、前記判定用タイマーをリセットして処理を終了する。
一方、ステップS605の判定で被写体動き量が閾値Y1以下となってステップS608に進んだ場合、FAズーム制御部122は、前記判定用タイマーが所定時間Bを超えているか否かを判定する。前記判定用タイマーが所定時間Bを超えている場合、ステップS606に進み、上述のように自動FAズームを「有効」に設定する。一方、前記判定用タイマーが所定時間B内の場合、ステップS610に進む。ステップS610において、FAズーム制御部122は、自動FAズームを「無効」に設定し、処理を終了する。
一方、ステップS604でカメラ動き量が閾値X1以下となってステップS609に進んだ場合、FAズーム制御部122は、ステップS605と同様に、ステップS603で取得した被写体動き量が閾値Y1より大きいか否かを判定する。被写体動き量が閾値Y1より大きい場合はステップS608に進み、上述のように前記判定用タイマーが所定時間Bを超えているか否かの判定を行う。また、被写体動き量が閾値Y1以下の場合、ステップS610に進み、自動FAズームを「無効」に設定し、処理を終了する。
なお、図6では、被写体追尾枠がズームアウト領域ZOに進入してからの経過時間を判定に用いたが、被写体追尾枠がズームアウト領域ZOに進入したことを検出した回数を用いてもよい。この場合、タイマーの代わりに被写体追尾枠がズームアウト領域ZOに進入した回数をカウントし、ステップS608でカウントが所定回数を超えたか否かを判定する。
ここで、図7(A)〜(D)は、ステップS603で取得される被写体の動き量と、ステップS602で取得されるカメラの動き量について示す図である。つまり、被写体がどの程度動いているのか、カメラがどの程度動かされているのかを表している。
図7(A)は、被写体の動き量とカメラの動き量がともに小さい例(A領域)を示している。具体的には、カメラの動き量が閾値X1以下(第2の閾値以下)で、被写体の動き量が閾値Y1以下(第1の閾値以下)の場合に該当する。この場合は、被写体追尾枠がズームアウト領域に進入しても、すぐに画角からフレームアウトする可能性が低い(あるいは、撮影者により被写体を画角中央付近に容易に戻せる)。ここで自動ズームアウトを行うと、不要に画角変化が起こるため、撮影者にとって煩わしく感じるおそれがある。したがって、図7(A)の場合、自動FAズームを「無効」に設定する。
図7(B)は、被写体の動き量は小さいが、カメラの動き量が大きい例(B領域)を示している。具体的には、被写体の動き量が閾値Y1以下で、カメラの動き量が閾値X1より大きい場合に該当する。この場合は、撮影者の手振れ等により被写体が画角からフレームアウトするおそれがあるが、被写体の動きが小さいため、撮影者により被写体を画角中央付近に戻せる可能性が比較的高い。したがって、被写体追尾枠がズームアウト領域に進入しても、所定時間Bが経過するまでの間は自動FAズームを「無効」に設定し、自動ズームアウトを制限する。そして、所定時間Bが経過しても被写体追尾枠がズームアウト領域に進入している場合は、自動FAズームを「有効」に設定する。
図7(C)は、カメラの動き量は小さいが、被写体の動き量が大きい例(C領域)を示している。具体的には、カメラの動き量が閾値X1以下で、被写体の動き量が閾値Y1より大きい場合に該当する。この場合は、被写体の動きが大きいため被写体が画角からフレームアウトするおそれがあるが、手振れなどカメラの動きによる影響が小さく、撮影者により被写体を画角中央付近に戻せる可能性が比較的高い。したがって、前述した図7(B)と同様に、被写体追尾枠がズームアウト領域に進入しても、所定時間Bの間は自動FAズームを「無効」に設定し、自動ズームアウトを制限する。そして、所定時間Bが経過しても被写体追尾枠がズームアウト領域に進入している場合は、自動FAズームを「有効」に設定する。
図7(D)は、被写体の動き量とカメラの動き量がともに大きい例(D領域)を示している。具体的には、被写体の動き量が閾値Y1より大きく、かつカメラの動き量がX1より大きい場合に該当する。この場合は、被写体が画角からフレームアウトする可能性が高く、撮影者が被写体を画角中央付近に戻すことも困難になる。したがって、この場合は、自動FAズームを「有効」に設定する。
なお、図6のフローでは、カメラの動き量に閾値X1、被写体の動き量に閾値Y1を設定しているが、閾値の数はこれに限定されない。例えば、図7に示すように、さらにカメラの動き量に閾値X2(>X1)、被写体の動き量に閾値Y2(>Y1)を設けてもよい。この場合、カメラの動き量が閾値X2を超えるか、あるいは被写体の動き量が閾値Y2を超えたら、判定タイマーに関わらず自動FAズームを「有効」に設定するようにしてもよい。
図5の説明に戻る。ステップS510で上述した自動FAズーム判定を行うと、ステップS511に進む。ステップS511において、FAズーム制御部122は、ステップS510の自動FAズーム判定結果を参照する、自動FAズーム判定が有効の場合はステップS512に進み、無効の場合はステップS509に戻る。
ステップS512において、FAズーム制御部122は、FAズームアウト動作を行う。FAズームアウト動作の詳細については、図8を用いて後述する。FAズームアウト動作の後、ステップS513において、FAズーム制御部122は、FAズーム操作スイッチが押下されたか否かを判定する。押下された場合にはステップS514に進み、押下されない場合にはステップS509に戻る。
ステップS514において、FAズーム制御部は、ステップS513で押下されたFAズーム操作スイッチが所定時間A内に開放されたか否かを判定する。所定時間A内に開放された場合は、FAズーム処理を終了する。一方、所定時間A以上押下された場合、すなわちFAズーム操作スイッチが長押しされた場合には、ステップS502に進み、手動探索モードを設定する。
一方、ステップS509で被写体追尾枠がズームアウト領域ZOに進入していない場合、ステップS515に進む。ステップS515では、FAズーム制御部122は、上述した自動FAズーム判定用のタイマーをリセットする。
ステップS516において、FAズーム制御部122は、ステップS512における自動追尾モードのFAズームアウト動作を行った後の処理か否かを判定する。自動FAズームアウト動作の後であればステップS517に進み、そうでなければステップS513に進む。
ステップS517において、FAズーム制御部122は、被写体追尾枠が上述したズームイン領域ZI(第2の所定領域)内に包含されているか否かを判定する。被写体追尾枠がズームイン領域ZI内に包含されている場合はステップS518に進み、包含されていない場合はステップS513に進む。
ステップS518において、FAズーム制御部122は、FAズームイン動作を行う。FAズームイン動作の詳細については、図8を用いて後述する。FAズームイン動作の後、ステップS513に進む。
一方、ステップS502で手動探索モードを設定した場合、ステップS503に進み、FAズーム制御部122は、FAズームアウト動作を行う。FAズームアウト動作の詳細については、ステップS512と同様に図8を用いて後述する。
ステップS504において、FAズーム制御部122は、FAズーム枠制御部121を制御し、表示部109にFAズーム枠を表示させる。ここで表示するFAズーム枠は、図3で上述したFAズーム枠300に相当する。
ステップS505において、FAズーム制御部122は、長押しされていたFAズーム操作スイッチが開放されたか否かを判定する。FAズーム操作スイッチが開放されたら、ステップS506に進み、FAズーム制御部122は、FAズームイン動作を行う。FAズームイン動作の詳細については、ステップS518と同様に図8を用いて後述する。FAズームイン動作が完了すると、FAズーム処理を終了する。
次に、図8を参照して、FAズームアウト動作およびFAズームイン動作について説明する。図8(A)は、図5のステップS503およびS512で行われるFAズームアウト動作のフローチャートである。
まずステップS800において、FAズーム制御部122は、光学ズーム位置をCZ制御部119から取得し、電子ズーム位置を電子ズーム制御部120から取得する。またFAズーム制御部122は、光学ズーム位置および電子ズーム位置のデータをメモリ118に記憶する。光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表す。また、電子ズーム位置は、電子ズーム機能によって変更可能な画像拡大および縮小の倍率に相当する制御位置を表す。本実施形態では、ここで記憶したズーム位置が、FAズームイン動作時のズーム戻り位置に設定される。
続いてステップS801において、FAズーム制御部122は、ズームアウト駆動量を取得する。ズームアウト駆動量はメモリ118に記憶された所定の駆動量とする。また、この駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。
ステップS802において、FAズーム制御部122は、ズーム状態が電子ズーム状態であるか否かを判定する。本実施例のズーム操作では、操作部117のズームレバーが押下されると、光学ズーム位置がワイド端からテレ端の間である場合、CZ制御部119により光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合、電子ズーム制御部120が電子ズームを駆動させることで超望遠撮影が可能となる。ズームレバーの操作によるズーム動作とFAズーム動作との整合性を取るため、FAズーム動作においても、ズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。すなわち、メモリ118に記憶した時点のズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定される。本実施形態では電子ズームが優先されるため、ステップS802では、ズーム位置が電子ズーム領域にあるか否かが判定される。FAズーム開始時のズーム位置が電子ズーム領域にある場合、ステップS803に進み、電子ズーム領域にない(光学ズーム領域にある)場合、ステップS805に進む。
ステップS803において、FAズーム制御部122は、ステップS800にて取得された電子ズーム位置とステップS801にて取得されたズームアウト駆動量に基づいて電子ズームのズームアウト位置を算出し、電子ズーム制御部120に設定する。FAズーム制御部122は、電子ズーム制御部120に対して、設定された電子ズームのズームアウト位置まで変倍処理を行うように指示する。そして電子ズーム制御部120は、ステップS804で電子ズームによるズームアウト動作を開始する。ステップS804にて電子ズームのズームアウト動作が停止されると、ステップS805へ進む。
ステップS805において、FAズーム制御部122は、さらに光学ズームによるズームアウトが必要であるか否かを判定する。すなわち、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に十分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある。光学ズームによるズームアウトが必要と判定された場合、ステップS806に進み、不要と判定された場合、FAズームアウト動作を終了する。
ステップS806において、FAズーム制御部122は、光学ズーム位置およびズームアウト駆動量に基づいて光学ズームのズームアウト位置を算出し、CZ制御部119に設定する。FAズーム制御部122は、CZ制御部119に対して、設定された光学ズームのズームアウト位置までズーム駆動するように指示する。そしてCZ制御部119は、ステップS807においてズームレンズ駆動部113を制御し、光学ズームのズームアウト動作を開始する。光学ズームのズームアウト動作が終了すると、FAズームアウト動作を終了する。
次に、FAズームイン動作について説明する。図8(B)は、図5のステップS506およびS518で行われるFAズームイン動作のフローチャートである。
まず、ステップS808において、FAズーム制御部122は、ズームイン駆動量を取得する。ズームイン駆動量は、図8(A)のステップS800にてメモリ118に記憶したズーム戻り位置までズームインする駆動量とする。
続いてステップS809において、FAズーム制御部122は、ズーム位置が光学ズーム領域にあるか否かを判定する。ズーム位置が光学ズーム領域にある場合、光学ズームを優先してズームインを行うため、ステップS810に進む。一方、ズーム位置が光学ズーム領域にない(電子ズーム領域にある)場合、電子ズームのみでズームインを行うため、ステップS812に進む。
ステップS810において、FAズーム制御部122は、光学ズーム位置とステップS808にて取得されたズームイン駆動量に基づいて光学ズームのズームイン位置を算出し、CZ制御部119に設定する。FAズーム制御部122は、CZ制御部119に対して、設定された光学ズームのズームイン位置までズーム駆動するように指示する。そしてCZ制御部119は、ステップS813において、ズームレンズ駆動部113を制御し、光学ズームのズームイン動作を開始する。光学ズームのズームイン動作を停止すると、ステップS812に進む。
ステップS812において、FAズーム制御部122は、さらに電子ズームによるズームインが必要か否かを判定する。電子ズームによるズームインが必要な場合、ステップS813に進む。一方、電子ズームによるズームインが不要な場合には、FAズームイン動作を終了する。
ステップS813において、FAズーム制御部122は、ステップS808にて取得したズームイン駆動量に基づいて電子ズームのズームイン位置を算出し、電子ズーム制御部120に設定する。FAズーム制御部122は、電子ズーム制御部120に対して、設定された電子ズームのズームイン位置まで変倍処理を行うように指示する。そして電子ズーム制御部120は、ステップS814において、電子ズームによるズームイン動作を開始する。電子ズームのズームイン動作を停止すると、FAズームイン動作を終了する。
次に、図9を用いて、図8のステップS803およびS806で設定する電子ズームおよび光学ズームのズームアウト位置の算出方法について説明する。図9(A)は、ズームアウト駆動量をズーム倍率に基づく連続量で設定するときのズームアウト動作例を示す図である。本例では、光学ズームの焦点距離が24乃至840mmの範囲で光学ズーム倍率を最大35倍とし、電子ズーム倍率は最大4倍としており、ズームアウト駆動量はズーム倍率に換算して1/8倍とされている。なお、図中の「光学ワイド端」、「光学テレ端」は光学ズーム動作におけるワイド端(焦点距離24mm)、テレ端(焦点距離840mm)をそれぞれ示し、光学ズーム領域の境界を表す。「電子ワイド端」、「電子テレ端」は電子ズーム動作におけるワイド端(焦点距離840mm)、テレ端(焦点距離3340mm相当)をそれぞれ示し、電子ズーム領域の境界を表す。光学テレ端位置と電子ワイド端位置が一致している。
パターン1は、撮影準備状態でのズーム位置が、光学テレ端位置で焦点距離840mmのときのズームアウト位置を示している。撮影準備状態でのズーム状態は光学ズーム状態であるため、電子ズーム位置は電子ワイド端位置のままである。ズーム倍率1/8倍に対応するズームアウト駆動量で光学ズーム位置を変更した場合、840mm×(1/8倍)=105mmの焦点距離に対応する位置がズームアウト位置となる。
パターン2は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離192mm
のときのズームアウト位置を示している。このときの光学ズームのズームアウト位置は、192mm×(1/8倍)=24mmの焦点距離に対応する光学ワイド端位置がズームアウト位置となる。
パターン3は、撮影準備状態でのズーム位置が、光学ミドル位置で焦点距離72mmのときのズームアウト位置を示している。光学ズームのズームアウト位置の算出結果は、72mm×(1/8倍)=9mmとなり、光学ワイド端位置よりも広角側の位置となる。この場合、光学ワイド端位置をズームアウト位置とする。
パターン4は、撮影準備状態でのズーム位置が、電子テレ端位置のときのズームアウト位置を示している。電子ズーム倍率は最大4倍であるため、電子ズームのズームアウト位置は電子ワイド端位置とし、残りの2倍分については光学ズームでのズームアウト動作が行われる。したがって、光学ズームによるズームアウト位置は840mm×(1/2倍)=420mmの焦点距離に対応する位置となる。
ズーム位置に基づいてズームアウト駆動量を設定する場合、パターン3のようにズームアウト位置が光学ワイド端位置を超える場合を除いて、被写体探索状態でのFAズーム枠の大きさが一定になる。つまり、ズームアウトした画角が同じ倍率になるという利点が得られる。
図9(B)は、ズームアウト駆動量をズームステップ数に基づいて設定するときのズームアウト動作例を示す図である。ズームステップ数とは、段階的に決められたズーム位置にしか停止させないステップズーム機能における停止分割ズーム数のことであり、ズーム位置は離散量で表される。本例では、光学ズームのステップ数は光学W(ワイド)、光学M1乃至11、光学T(テレ)の13ステップとする。光学Wが光学M0に相当し、光学Tが光学M12に相当する。また電子ズームのステップ数は電子W(ワイド)、電子M1及びM2、電子T(テレ)の4ステップとする。電子Wが電子M0に相当し、電子Tが電子M3に相当する。ズームアウト駆動量は6ステップとする。
パターン5は、撮影準備状態でのズーム位置が、光学テレ端位置(=電子ワイド端位置)のときのズームアウト位置を示している。撮影準備状態でのズーム状態は光学ズーム状態であるため、電子ズームは電子ワイド端位置のままである。光学ズーム位置は光学T(M=12)であり、M12−6(ステップ)=M6の位置がズームアウト位置となる。
パターン6は、撮影準備状態でのズーム位置が、光学ミドル位置M6のときのズームアウト位置を示している。このときの光学ズームのズームアウト位置は、M6−6(ステップ)=M0であり、光学ワイド端(光学W)位置がズームアウト位置となる。
パターン7は、撮影準備状態でのズーム位置が、光学ミドル位置のときのズームアウト位置を示している。光学ズームのズームアウト位置を算出すると、M4−6(ステップ)=M(−2)となり、光学ワイド端位置よりも広角側の位置となる。この場合、光学ワイド端(光学W)位置をズームアウト位置とする。
パターン8は、撮影準備状態でのズーム位置が、電子テレ端位置(電子T)のときのズームアウト位置を示している。電子ズームステップ数は最大4ステップであるので、電子ズームのズームアウト位置は電子ワイド端位置とし、残りの2ステップ分については光学ズームでズームアウト動作が行われる。したがって、光学ズームのズームアウト位置は、M12−2(ステップ)=M10となる。
このようにズームステップ数に基づいてズームアウト駆動量を設定する場合、基本的には減算のみでズームアウト位置を算出できるため、演算処理が容易になるという利点がある。なお、図8のステップS810やS813で行われるズームイン位置の算出についても、光学ズームが優先されることを除いて上記と同様に行われるため、説明は省略する。
また、本実施形態では、自動追尾モードにおいて、図8のステップS801で設定するズームアウト駆動量(ズーム移動量)を、カメラの動き量と被写体の動き量に応じて設定してもよい。例えば、カメラの動き量と被写体の動き量の一方あるいは両方が大きくなるほど、ズームアウト駆動量を大きく設定してもよい。また、図7において上述したD領域の場合は、B領域やC領域の場合と比較して被写体がフレームアウトしやすい状態であるため、ズームアウト駆動量をB領域やC領域より大きく設定してもよい。また、ズーム倍率が高倍率になるほど、手振れなどによるカメラの動きが被写体の画角変化に与える影響が大きくなることを考慮して、撮影準備状態でのズーム倍率に応じてズームアウト駆動量を変更してもよい。例えば、ズーム倍率が高倍率になるほど、カメラ動き量が所定値より大きいB領域やD領域におけるズームアウト駆動量を大きく設定してもよい。
なお、本実施形態では、カメラの動き量や被写体の動き量を閾値と比較することで、自動FAズームアウトを許可するか否かを切り替える場合の例を示したが、これに限定されるものではない。上述した例以外に、カメラの動き量や被写体の動き量に応じて自動FAズームアウトを制限する程度を変えてもよい。この場合、カメラの動き量あるいは被写体の動き量が小さくなるほど、自動FAズームアウトを制限する程度を強くする。自動FAズームアウトを制限する方法としては、例えば上述の所定時間Bを長くする、ズームアウト領域ZOを狭くする(より画像周辺の領域に限定する)、などが想定される。
以上説明したように、本実施形態によれば、被写体が検出された位置に応じて自動でズームアウトする制御において、カメラの動き量と被写体の動き量に応じて自動ズームアウトの実行を制限する。このような構成とすることで、フレームアウトしそうな被写体に対して撮影者がカメラを動かすことで容易にフレーミング調整できる状況において、不要な画角変更を抑えることが可能になり、より快適な撮影動作を実現することができる。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。