JP2021100239A - 追尾装置及びその制御方法、及び撮像装置 - Google Patents

Abstract

【課題】 被写体を追尾している場合に、被写体の動きが分かる構図で撮影できるようにすること。【解決手段】 撮影光学系を介して入射する光を撮像素子により光電変換して得られた画像において、被写体を検出する検出手段と、予め決められた複数の方向について、被写体の追尾を行う追尾手段と、前記複数の方向のうち、前記被写体を追尾する追尾方向を判定する判定手段と、前記追尾方向の追尾を行うと共に、前記追尾方向と異なる方向の追尾を抑制するように前記追尾手段を制御する制御手段と、を有する。【選択図】 図３

Description

本発明は、追尾装置及びその制御方法、及び撮像装置に関する。

従来より、被写体のフレーミング操作をサポートするために、画像から検出した被写体のうちユーザが主被写体を指定し、指定した主被写体に画角を追従させる機能（被写体追尾機能）を有する撮像装置がある。このような被写体追尾機能を搭載した撮像装置において、ユーザが画面上に表示された被写体像をタッチパネルや操作スイッチ等で指定し、指定された被写体像の領域に追尾枠を表示する。更に、追尾枠の位置に応じて、防振レンズや画像の切り出し位置を変更することで追尾機能を実現する。

特許文献１には、検出した被写体像の位置が画角の中央からずれている場合に、被写体像の位置を画角中央に維持する防振機能を搭載したカメラの構成が開示されている。特許文献１では、被写体像の中心位置と画面中心位置とのずれ量を算出する。そして、手ぶれや被写体の移動によって、画角から被写体像がフレームアウトしそうになる場合には、画面中心から被写体像までのずれ量を０に近づけるように防振レンズを駆動させることで、フレームアウトを防止する。

特開２０１７−１１１４３０号公報

しかしながら、被写体の連続的な動きを記録したいシーンで連写や動画の撮影を行う場合、被写体追尾機能で追尾させる被写体位置を常に画面の中心位置とすると、被写体でなく、背景が動いているような構図の画像が撮影されてしまう場合がある。例えば、体操やフィギュアスケート等のスポーツを撮影する場合、選手が走っている方向では画面の中心位置に捉えつつ、ジャンプしている方向には選手の動きが分かるような構図で撮影できることが望まれる。しかしながら、特許文献１の構成では、被写体を画角の中心に捉えるため、図２（ａ）の中央の図に示すように被写体がジャンプした場合、背景である地面（床）等が下方向に動いているように見えてしまう。

本発明は上記問題点を鑑みてなされたものであり、被写体を追尾している場合に、被写体の動きが分かる構図で撮影できるようにすることを目的とする。

上記目的を達成するために、本発明の追尾装置は、撮影光学系を介して入射する光を撮像素子により光電変換して得られた画像において、被写体を検出する検出手段と、予め決められた複数の方向について、被写体の追尾を行う追尾手段と、前記複数の方向のうち、前記被写体を追尾する追尾方向を判定する判定手段と、前記追尾方向の追尾を行うと共に、前記追尾方向と異なる方向の追尾を抑制するように前記追尾手段を制御する制御手段と、を有する。

本発明によれば、被写体を追尾している場合に、被写体の動きが分かる構図で撮影できるようにすることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図。 被写体追尾機能によって追尾される被写体の画角内の位置の例を示す図。 第１の実施形態における処理を実施するための撮像装置における防振制御の機能構成を示すブロック図。 角速度ωと角度θの時間変化を示したグラフ。 第１の実施形態における被写体追尾機能の処理例を示すフローチャート。 第１の実施形態における被写体指定処理を説明するフローチャート。 第１の実施形態における被写体追尾の目標位置設定処理を説明するフローチャート。 第２の実施形態における処理を実施するための撮像装置における防振制御の機能構成を示すブロック図。 第２の実施形態における追尾制御判定処理を説明するフローチャート。 第３の実施形態における角速度と角度、及び画像平面内での振り方向を示したグラフ。 第３の実施形態における被写体位置及び目標位置を示した図。 第４の実施形態における被写体追尾の目標位置設定処理を説明するフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本実施形態における撮像装置の一例として、被写体追尾機能を有するデジタルカメラ１００の構成例を示すブロック図である。
レンズ鏡筒１０１は、その内部にズームレンズ１０２、フォーカスレンズ１０３、防振レンズ１０４を含むレンズ群と、絞り・シャッタ１０５（撮影光学系）を保持している。ズームレンズ１０２は、レンズ鏡筒１０１の光軸方向に移動することで焦点距離を調節し、光学的に画角を変更する。フォーカスレンズ１０３は、レンズ鏡筒１０１の光軸方向に移動することで焦点調節を行う。防振レンズ１０４は、手ぶれ等に起因する像ぶれを補正する（光学防振）。光量調節を行う絞り・シャッタ１０５は、露出制御に用いられる。

なお、本実施形態において、デジタルカメラ１００は、レンズ鏡筒１０１とカメラ本体部とが一体的に構成された撮像装置として説明するが、本発明はこれに限定されるものではない。カメラ本体部と、カメラ本体部に着脱可能な交換レンズとから構成される撮像システムにも適用可能である。

撮像素子１０６は、ＣＣＤ（電荷結合素子）型やＣＭＯＳ（相補型金属酸化膜半導体）型等のイメージセンサであり、レンズ鏡筒１０１を通過して入射した光を受光し、光電変換によって被写体像を電気信号に変換することで画像信号を生成する。なお、撮像素子１０６を保持するメカ機構を振れ量に応じて駆動させることで、像ぶれを補正することができる（撮像防振）。

撮像素子１０６により生成された画像信号は、画像処理部１０７に入力されて、画素補間処理や色変換処理等の各種処理が行われ、各種処理後の画像データは、画像メモリ１０８に記憶される。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶デバイスである。

上記のようにして画像メモリ１０８に記憶された画像データは、不揮発性のメモリ１１７、またはインターフェース（Ｉ／Ｆ）部１１５を介して記録部１１６に送られて着脱可能な外部記録媒体（不図示）に記録されたり、あるいはメモリ１１７と外部記録媒体の両方に記録される。外部記録媒体は、デジタルカメラ１００に装着して使用されるメモリカード等である。不揮発性のメモリ１１７は、デジタルカメラ１００に内蔵されている記憶媒体であり、プログラムデータや画像データの他に、デジタルカメラ１００の設定等の情報を記憶する。

表示部１０９は、例えば、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等を備えて構成され、撮影した画像（画像データ）や、特定の情報（例えば、撮影情報等）を表示する。また、周期的に撮影した画像を逐次表示するライブビュー等の情報表示により、ユーザが画角の調整に用いることができる電子ビューファインダ（ＥＶＦ）機能を提供することができる。

操作部１１８は、ズームレバーまたはズームボタン等のズーム操作部材や、撮影開始を指示するレリーズスイッチ、被写体の指定やデジタルカメラ１００の設定を行うタッチパネルや操作スイッチ等を含む。操作部１１８の操作信号は、システム制御部１５０に送られる。

システム制御部１５０は、ＣＰＵ（中央演算処理装置）等の演算装置を備え、ユーザの操作に応じて各部に制御命令を送ることによりデジタルカメラ１００全体を制御する。また、本実施形態において、システム制御部１５０は、カメラ制御部１２０、ズーム制御部１２１、ＡＦ制御部１２２、光学防振制御部１２３、ＡＥ制御部１２４、撮像防振制御部１２５、電子防振制御部１２６、被写体検出部１２７、枠表示部１２８を含む。そして、メモリ１１７に記憶されている各種の制御プログラムを実行することで、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、光学／電子／撮像防振制御、ズーム制御等を行う。

カメラ制御部１２０は、カメラ機能全般の制御の指示を行う。例えば、レリーズスイッチが半押しされるとＡＥ／ＡＦ等の撮影準備動作を行い、全押しされると静止画や動画の撮影動作を行うように指示を行う。また、後述する被写体追尾機能においては、光学防振や電子防振、撮像防振による被写体追尾の開始／停止もカメラ制御部１２０から指示される。

ズーム制御部１２１は、操作部１１８に備えられたズーム操作部材の操作量及び操作方向を検知して、ズーム駆動速度やズーム駆動方向を演算する。そして、演算結果に従ってズームレンズ駆動部１１０を駆動することにより、ズームレンズ１０２を光軸に沿って移動させる制御を行う。ズームレンズ駆動部１１０は、ズームレンズ１０２を駆動する直流（ＤＣ）モータ等のアクチュエータと、モータ位置を検出するロータリーエンコーダ等の位置検出センサ及びそれらを駆動する駆動回路によって構成される。また、ステッピングモータのように位置検出センサを要しない構成等、他の構成としてもよい。電源ＯＮの操作とともにレンズ鏡筒１０１がカメラから繰り出すような沈胴式の鏡筒では、鏡筒の繰り出し動作中に鏡筒が押さえられた場合にエラーを検出する必要があるため、前者の構成が採用されることが多い。また、レンズ鏡筒１０１の内部でズームレンズ１０２が駆動するインナー式の鏡筒では、静音化に有利な後者が採用されることが多い。本発明におけるズームレンズ駆動部１１０の構成としては、どちらの構成であってもよい。

オートフォーカス（ＡＦ）制御部１２２は、コントラスト方式や位相差方式等、公知の方式により得られた焦点調節情報に基づいて、被写体に焦点が合うようにフォーカスレンズ駆動部１１１を制御する自動焦点調節（ＡＦ）制御を行う。フォーカスレンズ駆動部１１１の構成としては、ボイスコイルモータ（ＶＣＭ）等のアクチュエータと、その位置をフィードバックするための位置検出センサ及びそれらを駆動する駆動回路によって構成され、フォーカスレンズ１０３を駆動する。また、ステッピングモータのように位置検出センサを要しない構成等、他の構成としてもよい。

自動露出（ＡＥ）制御部１２４は、画像処理部１０７での画像処理によって得られた測光値に基づいて露出制御値（絞り値及びシャッタ速度）を演算する。ＡＥ制御部１２４は、設定された測光方式に従って、画面内の任意の領域（測光枠）での輝度値（測光値）を算出する。測光方式としては、設定された特定の位置で測光するスポット測光やシーンに応じてカメラが自動で測光枠の位置を決める評価測光、画面中央部に重点を置いて画面全体で平均的に測光する中央部重点平均測光等の測光方式がある。そして、ＡＥ制御部１２４は、測光結果に基づいて絞りシャッタ駆動部１１３を制御する。絞りシャッタ駆動部１１３は、ステッピングモータや電磁プランジャ等のアクチュエータやそれらを駆動する駆動回路によって構成され、絞り・シャッタ１０５を駆動し、自動露出調整を実現する。

光学防振制御部１２３は、振れ検出部１１９のジャイロセンサ等の角速度センサによる振れ検出情報に基づいて、デジタルカメラ１００に加わる振れ量を演算する。そして、演算結果に従って、デジタルカメラ１００に加わる振れ量を打ち消す（または低減する）ように防振レンズ１０４を駆動することで光学防振を実現する。より具体的には、光学防振制御部１２３は、振れ量を元に所定の演算周期で防振レンズ１０４を制御する目標位置を演算し、防振レンズ駆動部１１２に駆動指示を出す。その指示に基づいて、防振レンズ駆動部１１２は防振レンズ１０４を駆動する。防振レンズ駆動部１１２は、ボイスコイルモータ（ＶＣＭ）等のアクチュエータや駆動回路及びホール素子等の位置検出センサによって構成される。光学防振制御部１２３は、防振レンズ駆動部１１２の位置検出センサで検出された防振レンズ１０４の位置をフィードバックし、防振レンズ１０４を目標位置に保持するようにフィードバック制御が実行される。

電子防振制御部１２６は、光学防振制御部１２３と同様に、振れ検出部１１９のジャイロセンサ等の角速度センサによる振れ検出情報に基づいて、所定の演算周期でデジタルカメラ１００に加わる振れ量を演算する。そして、演算結果に従って、デジタルカメラ１００に加わる振れ量を打ち消す（または低減する）ように、画像メモリ１０８に記憶されている画像の一部の範囲を読み出し、表示部１０９への表示もしくは記録部１１６に記録する画像の範囲をフレーム画像ごとに変更することで、電子防振を実現する。

撮像防振制御部１２５は、光学防振制御部１２３や電子防振制御部１２６と同様に、振れ検出部１１９のジャイロセンサ等の角速度センサによる振れ検出情報に基づいて、デジタルカメラ１００に加わる振れ量を演算する。そして、演算結果に従って、デジタルカメラ１００に加わる振れ量を打ち消す（または低減する）ように、撮像素子１０６を保持するメカ機構を駆動させることで撮像防振を実現する。より具体的には、撮像防振制御部１２５は、振れ量を元に所定の演算周期で撮像素子１０６を制御する目標位置を演算し、撮像素子駆動部１１４に駆動指示を出す。その指示に基づいて、撮像素子駆動部１１４は撮像素子１０６を駆動する。撮像素子駆動部１１４は、ボイスコイルモータ（ＶＣＭ）等のアクチュエータや駆動回路及びホール素子等の位置検出センサによって構成される。撮像防振制御部１２５は、撮像素子駆動部１１４の位置検出センサで検出された撮像素子１０６の位置をフィードバックし、撮像素子１０６を目標位置に保持するようにフィードバック制御が実行される。

被写体検出部１２７は、画像メモリ１０８に記憶された画像データから予め決められた被写体の被写体領域を検出する。
ここで、本実施形態における被写体検出処理について説明する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体（人物等の顔、または物体）を検出する被写体検出方法（顔検出処理、色検出処理）について説明する。

顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２７は、画像データ上での正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部１２７は、両者の相関値が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定処理は、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返されることにより、画像データ中に存在する種々の顔領域を検出することができる。

また、顔認証機能を有する場合には、予め登録されている顔画像の特徴量と、検出した顔領域の特徴量とで公知のアルゴリズムによりパターンマッチングを実行し、相関値が最も高い登録顔画像を検出している顔として認証する。また、全ての登録顔画像に対する相関値が所定値未満である場合には、検出した顔領域は登録されていない顔であると判定する。

色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する処理が実行される。色検出処理は、検出対象の被写体が物体である場合に行われる。色情報としては、画像処理部１０７からの出力信号であるＲＧＢ信号や輝度信号（Ｙ信号）及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号等が用いられる。被写体検出時に被写体検出部１２７は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部１２７は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。そして、この被写体領域の候補で隣り合う部分領域の一群を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。

被写体が物体の場合、物体によって被写体領域の形状が異なる可能性がある。そこで、同一色領域が全て包含される最小の四角形の領域を物体領域とする。したがって、物体領域は、水平方向と垂直方向の大きさが異なる長方形の領域となる場合もある。また、物体領域の位置としては、四角形の領域の中心位置とする。
枠表示部１２８は、被写体検出処理で検出した顔領域及び物体領域を、表示部１０９に枠（被写体検出枠）により表示する。

次に、被写体検出部１２７で検出した被写体検出枠の追尾処理について説明する。被写体検出枠の追尾処理は、連続するフレーム画像の間で移動する被写体領域を追い続ける処理である。被写体追尾機能が開始されると、後述の被写体指定方法に従って主被写体とする人物もしくは物体の領域が指定される。

指定された被写体が人物、すなわち顔である場合、フレーム画像中の全ての顔を検出する。同一の画像で複数の顔を検出した場合には、被写体検出部１２７によって、直前のフレーム画像における顔の位置に最も近い顔を追尾する人物と判定する。また、検出した顔が顔認証機能によって登録されている顔であった場合には、フレーム画像間の位置関係によらず、認証された顔を優先して追尾する人物と判定する。

指定された被写体が物体である場合、特徴色情報の比較処理を直前のフレーム画像の物体領域の位置から開始する。移動する物体の速度よりもフレームレートが十分に高い場合には、前後のフレーム画像間で近傍の領域に同一の物体が検出される可能性が高い。そこで、被写体検出部１２７によって直前の物体領域の位置を起点として左右上下に比較する部分領域をずらしながら同一色領域のマッチング処理を行うことで、移動する物体領域を追尾することが可能となる。
枠表示部１２８は、表示部１０９に被写体検出枠の追尾処理で追尾した顔領域及び物体領域を被写体追尾枠として表示する。

次に、図２から図４を参照して、本実施形態のカメラ制御部１２０における被写体追尾機能に関連する制御について説明する。
ユーザは、操作部１１８のタッチパネルや被写体指定用の操作スイッチを操作することで、主被写体を指定する。そして、指定された主被写体を画面内に設定された目標位置に追従するように被写体追尾機能が実行される。

図２は、被写体追尾機能によって追尾される被写体の位置を説明する図である。図２は、被写体が右から左に動きながらジャンプしている動作を、被写体追尾機能によって被写体を画面の所定範囲に捕らえて連続的に撮影した画像の例を示している。先に説明したように、図２（ａ）は、目標位置を常に画面中央付近に設定して画角を被写体に追尾させた場合の画像の一例である。これらの画像のうち、中央の画像では、垂直方向に被写体の動きがあるにも関わらず、常に画面中央付近に被写体が撮影されてしまうため、被写体ではなく、背景が動いたような構図になっている。一方、図２（ｂ）は、目標位置を水平方向には画面中央付近に、垂直方向には検出した被写体位置にした（すなわち、追尾制御を無効にした）場合に得られる画像の一例である。図２（ａ）と図２（ｂ）とを比較すると、図２（ｂ）の方が連続的な画像として見たときに、垂直方向にジャンプした被写体の動きが分かるような構図となっている。本実施形態の目的は、図２（ｂ）の構図となるような被写体追尾を行うことである。

図３は、第１の実施形態における撮像装置の防振制御の機能構成を示すブロック図である。モード選択部３００では、ユーザによる操作部１１８の操作に応じて、被写体追尾の目標位置を設定する設定モードを選択する。目標位置の設定モードとしては、ユーザが追尾させる目標位置を設定するマニュアルモードと、カメラがフレーミング操作を検出して自動で目標位置を設定するオートモードとを有する。マニュアルモードの例としては、垂直方向及び水平方向とも画面中央付近に追尾させる「中央」モード、垂直方向は中央付近に追尾させて水平方向は追尾を効かせない「垂直中央」モード、水平方向は中央付近に追尾させて垂直方向は追尾を効かせない「水平中央」モード等がある。図２で示したシーンにおいては、予めユーザが「水平中央」モードを選択しておくことによって、図２（ｂ）のような追尾効果を得ることができる。

一方、オートモードにおいては、目標位置設定部３０１がズーム制御部１２１から取得する画角、振れ検出部１１９から取得する振り角度、被写体検出部１２７から取得する被写体位置の情報に基づいて目標位置を自動で設定する。

カメラの画角は、ズーム制御部１２１によって制御するズームレンズ１０２の焦点距離と、撮像素子１０６のサイズとから算出することができる。焦点距離をｆ、撮像素子１０６の水平サイズをｈとすると、画角φはφ＝２×ａｔａｎ（ｈ／２ｆ）となる。また、垂直方向の画角についても同様の算出方法で求めることができる。

カメラの振り角度は、振れ検出部１１９のジャイロセンサ等の角速度センサによって検出された角速度を積分することで算出することができる。図４は、角速度ω（破線）と角度θ（実線）の時間変化を示したグラフである。このグラフは、約４ｓｅｃ間に水平方向もしくは垂直方向に最大約３．５ｄｅｇ／ｓｅｃで約４５ｄｅｇ、カメラをパンニングもしくはチルティングしたときのグラフを示している。振れ検出部１１９で検出する時刻ｎでの角速度をωｎ、サンプリング時間をＴとすると、サンプリング時間Ｔの間にカメラが動く角度θｎはθｎ＝ωｎ×Ｔとなる。さらに、角速度ωが所定の角速度を超えてカメラがパンニングもしくはチルティングされていることを検出すると、その間の角度θｎを加算する、すなわち、θ＝Σθｎによって振り角度θを算出することができる。

目標位置設定部３０１は、画角φと振り角度θとを比較して、振り角度θが画角φ（画角φに所定の係数をかけた値でもよい）を超える方向では、動いている被写体に対してカメラを振って追っている方向であると判断する。被写体を追っている方向では、目標位置を画面中央付近にして追尾制御を有効にする。振り角度θが画角φよりも小さい方向は、被写体を追っている方向ではないと判断し、目標位置を検出した被写体位置に設定して追尾制御を無効にする。すなわち、カメラを振って被写体を追っている方向は、追尾制御を有効にすることで被写体がフレームアウトすることを防止しつつ、被写体を追っていない方向は、構図に被写体の動きを残すことができる。図２（ｂ）においては、画角φと振り角度θとの検出結果から、水平方向のみ被写体の追尾が有効となるように自動で目標位置が設定される。

次に、防振制御部３０２について説明する。防振制御部３０２は、光学防振制御部１２３、撮像防振制御部１２５、電子防振制御部１２６によって構成される。被写体追尾制御では、目標位置設定部３０１によって設定された目標位置と被写体検出部１２７によって検出した被写体位置との偏差が０となるようにフィードバック制御を行う。なお、フィードバック制御による制御方法については、図５のＳ５０２の説明とともに後述する。各防振制御部は、被写体追尾制御のための上述した偏差と、防振制御のために振れ検出部１１９で検出した振れ量のいずれか、もしくは、両方に基づいて制御を行う。防振制御部３０２では、各防振制御部１２３、１２５、１２６に対して、被写体位置を補正する被写体追尾制御と振れを補正する防振制御とを、各防振制御部１２３、１２５、１２６の特長に応じて割り当てる。

光学防振及び撮像防振の特長としては、防振レンズ１０４や撮像素子１０６を駆動することで光学的に補正するため、画像の解像度の低下が少ない状態で補正することが可能である。光学防振では、望遠側で防振レンズ１０４の可動範囲が広いため、望遠で高い効果を得ることができる。一方、撮像防振では、望遠側では撮像素子１０６の駆動部の駆動範囲が限定されるが、広角側での分解能が高いため、広角〜中望遠で高い効果を得ることができる。

一方、電子防振の特長としては、表示部１０９及び記録部１１６への出力画像のサイズを小さくすることで電子防振として制御可能な範囲が大きくなり、防振効果を高くすることができる。しかしながら、出力画像サイズを小さくすると、画像の解像度が低下する。

上記特徴を鑑み、光学防振制御部１２３、撮像防振制御部１２５、電子防振制御部１２６での制御の割り当ての一例として、像ぶれ補正は光学防振及び撮像防振で行い、被写体追尾を電子防振で行う形態が考えられる。さらに、像ぶれ補正のうち、望遠側では光学防振による制御の比率を高めに設定し、広角側では撮像防振による制御の比率を高めに設定するという制御の割り当て方等が考えられる。また、静止画と動画によって割り当ての比率を変える等の形態でも良い。すなわち、本発明においては、被写体追尾制御と防振制御とを光学防振制御部１２３、撮像防振制御部１２５、電子防振制御部１２６のいずれの制御部で行う構成でも適用可能である。光学防振制御部１２３、撮像防振制御部１２５、電子防振制御部１２６による光学的、電子的な補正量を合わせた制御量が、最終的な撮影画像もしくはライブビュー画像に対する被写体追尾や防振の制御量として出力される。

次に、図５から図７を参照して、被写体追尾機能の処理について説明する。図５は、被写体追尾機能の全体の処理例を示すフローチャートである。以下の被写体追尾機能は、特に明示的な記載がない限り、カメラ制御部１２０の指令に基づいて行われるものとする。

被写体追尾機能の開始ボタンやメニュー等の操作で被写体追尾機能の開始が指示されると、Ｓ５００でカメラ制御部１２０は被写体指定の処理を行う。ここで図６を参照して、Ｓ５００における被写体指定処理について説明する。

図６（ａ）は、操作部１１８を構成するタッチパネルを用いてユーザが所望の被写体を指定する処理例を示すフローチャートである。この例では、ユーザが表示部１０９に表示された被写体像をタッチして指定する操作を行うものとする。Ｓ６００でカメラ制御部１２０は、タッチパネルが押下されたか否かを判定する。タッチパネルが押下された場合、Ｓ６０１に進み、タッチパネルが押下されない場合にはＳ６００の判定処理が繰り返される。

Ｓ６０１でカメラ制御部１２０は、ユーザがタッチした位置（タッチ位置）の情報を取得する。次のＳ６０２でカメラ制御部１２０は、タッチ位置を被写体検出部１２７に通知し、被写体検出部１２７はタッチ位置付近で顔検出を行う。Ｓ６０２でタッチ位置付近に顔が検出された場合、主被写体は人物であると判定されて、Ｓ６０３に進む。また、Ｓ６０２にてタッチ位置付近に顔が検出されなかった場合、主被写体は人物以外の物体であると判定されてＳ６０４に進む。

Ｓ６０３にてカメラ制御部１２０は、自動追尾の対象である人物の顔情報をメモリ１１７に記憶させる制御を行う。具体的な顔情報としては、被写体指定時の顔のサイズと顔の検出位置、顔の向き等の情報がある。また、顔認証機能を有するカメラにおいては、認証ＩＤ等の識別情報もメモリ１１７に記憶される。

一方、Ｓ６０４でカメラ制御部１２０は、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ１１７に記憶させる制御を行う。具体的な色情報としては、被写体指定時の特徴色とその輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等の情報がある。また、モノ認証機能を有するカメラにおいては、認証ＩＤ等の識別情報もメモリ１１７に記憶される。
なお、以下の説明では顔情報及び色情報を総称して、被写体情報（被写体サイズ、被写体検出位置等を含む）という。

Ｓ６０３またはＳ６０４にて被写体情報がメモリ１１７に記憶された後、Ｓ６０５に進み、被写体追尾枠が表示される。Ｓ６０５で枠表示部１２８は、被写体検出位置を中心として、被写体サイズに対応した大きさの被写体追尾枠を表示部１０９に表示させる制御を行う。これにより、被写体指定処理が終了する。

このようにシステム制御部１５０にて、被写体検出部１２７は、表示部１０９においてユーザにより指定された位置、または指定された位置の近傍で被写体を検出する。そして枠表示部１２８は、被写体追尾枠を表示部１０９に表示させる。図６（ａ）の処理例によれば、ユーザが追尾したい被写体を、直感的な方法で簡単に指定可能となる。

ただし、被写体の指定方法はこの方法に限定されない。図６（ｂ）を参照して別の方法を説明する。
図６（ｂ）は、操作部１１８を構成する操作部材として、被写体指定用スイッチを用いて、ユーザが被写体を指定する場合の処理例を示すフローチャートである。まずＳ６０６において枠表示部１２８は、表示部１０９の画面中央付近に被写体指定の目安となる枠を表示する。ユーザは、この枠を目安として追尾したい被写体の画像を画面中央付近に収めるようにカメラの向きを調整する。次のＳ６０７でカメラ制御部１２０は、操作部１１８の操作部材の１つである被写体指定用スイッチが押下されたか否かを判定する。被写体指定用スイッチが押下された場合、Ｓ６０８に進み、当該スイッチが押下されない場合には待ち状態でＳ６０７の判定処理が繰り返される。

Ｓ６０８で被写体検出部１２７は、画面中央付近で顔検出を行う。画面中央付近に顔が検出された場合、主被写体は人物であると判定され、Ｓ６０３に進む。一方、画面中央付近に顔が検出されなかった場合、主被写体は人物以外の物体であると判定され、Ｓ６０４に進む。なお、Ｓ６０３以降の処理は、図６（ａ）における処理と同様であるため、同じステップ番号を付して説明を省略する。

このように図６（ｂ）の処理例では、被写体検出部１２７が表示部１０９の画面中央位置または画面中央位置の近傍で被写体を検出する。そして枠表示部１２８は、被写体の位置を示す被写体追尾枠を表示部１０９に表示させる。この方法では、タッチパネル等の操作部材を搭載しないカメラにおいても、ユーザは被写体を簡単に指定することができる。

なお、被写体指定処理については、操作部１１８を構成するタッチパネルと被写体指定用スイッチの両方があるカメラの場合には、図６（ａ）の方法と図６（ｂ）の方法との両方を同時に適用してもよい。また、処理の流れに応じて適用する被写体指定処理を変更してもよい。

図５のＳ５００の被写体指定処理が終了すると、Ｓ５０１に進み、被写体追尾の目標位置を設定する。なお、被写体追尾機能を継続している間は、以下に説明するＳ５０１からＳ５０４の処理を繰り返す。Ｓ５０１からＳ５０４の処理を実行する周期としては、被写体追尾制御は画像から検出した被写体位置に基づいて制御を行うため、一例として、ライブビューや動画のフレームレート（例えば、３０ｆｐｓ）に同期した周期とする。

ここで図７を参照して、Ｓ５０１における被写体追尾の目標位置設定処理について説明する。被写体追尾の目標位置設定処理では、垂直方向及び水平方向ごとに振り角度や被写体位置を判定し、被写体追尾の目標位置の設定処理を実行する。

まず、Ｓ７００において、目標位置の設定モードが、オートモードかどうかを判断する。オートモードの場合にはＳ７０２に進む。一方、オートモードではない場合、すなわち、マニュアルモードの場合には、Ｓ７０１に進んで中央モードもしくは水平中央モードかどうか（すなわち、少なくとも水平方向が追尾方向かどうか）を判断し、いずれかの場合にはＳ７０５に進む。いずれでもない場合、すなわち垂直中央モードの場合にはＳ７０６に進む。

Ｓ７０２では、ズーム制御部１２１から画角を取得し、振れ検出部１１９から振り角度を取得して、水平方向について、画角に対する振り角度を判定する。振り角度が画角以下（閾値以下）の場合にはＳ７０３に進み、振り角度が画角よりも大きい（閾値よりも大きい）場合（すなわち水平方向が追尾方向）にはＳ７０５に進む。Ｓ７０５では、水平方向の目標位置を画面中央位置に設定する。

Ｓ７０３では、被写体検出部１２７から取得した被写体位置が、水平方向について、画面内の予め決められた範囲内に収まっているか否かを判定する。予め決められた範囲内に収まっていると判定された場合には、Ｓ７０４に進み、水平方向の目標位置を現在の水平方向の被写体位置とする。これにより、後述するＳ５０２の処理と合わせて、水平方向の被写体追尾を無効にすることができる。

一方、収まっていないと判定された場合にはＳ７０５に進んで、水平方向の目標位置を画面中央位置に設定することにより、被写体が画面からフレームアウトしてしまうことを防止する。なお、Ｓ７０３で判定に用いる範囲として、ここでは被写体のフレームアウトの防止を目的としているため、比較的広い範囲を設定しておく。この範囲が、水平方向の動きの許容範囲となり、例えば、垂直方向に被写体を追尾している際に、被写体の許容範囲内の水平方向の動きを表現することが可能になる。

次に、Ｓ７０６において、再度、目標位置の設定モードが、オートモードかどうかを判断し、オートモードの場合にはＳ７０８に進む。一方、オートモードではない場合、すなわち、マニュアルモードの場合には、Ｓ７０７に進んで中央モードもしくは垂直中央モードかどうか（すなわち、少なくとも垂直方向が追尾方向かどうか）を判断し、いずれかの場合にはＳ７１１に進む。いずれでもない場合、すなわち水平中央モードの場合には追尾目標位置の設定処理を終了する。

Ｓ７０８では、ズーム制御部１２１から取得した画角と、振れ検出部１１９から取得した振り角度に基づいて、垂直方向について、画角に対する振り角度を判定する。振り角度が画角以下（閾値以下）の場合にはＳ７０９に進み、振り角度が画角よりも大きい（閾値よりも大きい）場合（すなわち垂直方向が追尾方向）にはＳ７１１に進む。Ｓ７１１では、垂直方向の目標位置を画面中央位置に設定する。

Ｓ７０９では、被写体検出部１２７から取得した被写体位置が、垂直方向について、画面内の予め決められた範囲内に収まっているか否かを判定する。予め決められた範囲内に収まっていると判定された場合には、Ｓ７１０に進み、垂直方向の目標位置を現在の水平方向の被写体位置とする。これにより、後述するＳ５０２の処理と合わせて、垂直方向の被写体追尾を無効にすることができる。

一方、収まっていないと判定された場合にはＳ７１１に進んで、垂直方向の目標位置を画面中央位置に設定することにより、被写体が画面からフレームアウトしてしまうことを防止する。なお、Ｓ７０９で判定に用いる範囲として、Ｓ７０３と同様に被写体のフレームアウトの防止を目的としているため、比較的広い範囲を設定しておく。この範囲が、垂直方向の動きの許容範囲となり、例えば、水平方向に被写体を追尾している際に、被写体の許容範囲内の垂直方向の動きを表現することが可能になる。

なお、Ｓ７０２及びＳ７０８では、振り角度を画角と比較する場合について説明したが、本発明はこれに限られるものでは無い。例えば、画角の５０％等、画角に基づいて決められた閾値と比較してもよいし、画角の代わりに、予め決められた固定値と比較してもよい。

Ｓ５０１の追尾目標位置設定処理が終了すると、Ｓ５０２に進み、被写体追尾制御を実行する。Ｓ５０２の被写体追尾制御では、防振制御部３０２のうち、被写体追尾制御に割り当てられた制御部によって、制御対象とする防振レンズ１０４や撮像素子１０６の位置、画像メモリ１０８の記録範囲を制御する。そして、Ｓ５０１で設定された目標位置と被写体検出部１２７で検出した被写体位置との偏差が０になるようにフィードバック制御を行う。フィードバック制御の方式としては、ＰＩＤ制御等の制御方式が適用できる。ＰＩＤ制御の制御量ｕは、下記の式（１）によって算出される。

ｕ：制御量
ｅ：偏差
Ｋｐ：比例ゲイン
Ｋｉ：積分ゲイン
Ｋｄ：微分ゲイン

ＰＩＤ制御の制御量は、目標位置と被写体位置の偏差に対する比例要素、積分要素、微分要素の加算値によって算出される。比例要素は、偏差に比例した制御量であり、被写体位置が目標位置に近づくにつれて徐々に制御量が小さくなり、滑らかに被写体追尾させることができる。積分要素は、比例要素だけでは目標位置と被写体位置との誤差（定常偏差）が残るため、偏差を積分することで定常偏差を補正することができる。微分要素は、連続する画像フレーム間での被写体位置の微分値（差分値）であり、画面上での被写体位置の変化を予測する効果がある。したがって、微分要素によって、被写体追尾の応答性を向上させることができる。

制御ゲインＫｐ、Ｋｉ、Ｋｄは、被写体を画面中央までに追尾させる速度等を考慮して適切な値となるようにチューニングを行う。一般的にゲインを高くすると、追尾の応答性を向上させることができるが、画面上での被写体位置の移動が速すぎると、フレーミングしづらくなってしまう可能性がある。また、ゲインが高すぎる場合には、制御が発振する、すなわち、被写体が画面中央付近を行き来するハンチング現象が発生してしまう可能性もある。したがって、制御のステップ応答や周波数応答を測定することで、被写体追尾の応答性と制御の発振余裕を加味したパラメータを設定する必要がある。ＰＩＤ制御は、広く応用されている制御であり、比較的簡単な演算処理で応答性のよい制御を実現することができる。本実施形態では、ＰＩＤ制御の制御方式を説明したが、本発明はこの制御方式に限定されるものではない。被写体位置の追尾精度や応答性を高くする必要がなければ、Ｐ制御やＰＩ制御だけでもよいし、その他の各種フィルタを用いて実現する形態であってもよい。

Ｓ５０２で被写体追尾制御を実行すると、Ｓ５０３に進む。Ｓ５０３では、被写体検出部１２７で検出した被写体を継続して検出できているか否かを判定する。被写体を見失ってしまった場合には、Ｓ５００に戻って再度被写体指定処理を実行する。被写体を見失わずに検出できている場合には、Ｓ５０４へ進む。Ｓ５０４では、被写体追尾機能が終了したか否かを判定する。Ｓ５０４で被写体追尾機能の終了ボタンやメニュー等の操作によって被写体追尾機能が終了されたことを判定すると、被写体追尾機能を終了する。

上記の通り第１の実施形態によれば、目標位置設定部３０１は、垂直方向及び水平方向毎に振れ検出部１１９、ズーム制御部１２１及び被写体検出部１２７で検出した振り角度、画角及び被写体位置に基づいて、防振制御部３０２に被写体追尾の目標位置を設定する。これにより、本実施形態によれば、被写体を追尾している場合にも被写体の動きが分かる構図で撮影を行うことができると共に、動いている被写体が画面内からフレームアウトしてしまうことを防止することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図８は、第２の実施形態における処理を実施するための撮像装置の機能構成を示すブロック図である。なお、図８と、第１の実施形態で説明した図３との差は、目標位置設定部３０１の代わりに制御ゲイン設定部８００が備えられている点である。そのほかの構成は図３に示すものと同様であるため、同じ参照番号を付して説明を省略する。

第１の実施形態では、水平方向及び垂直方向それぞれについて、追尾制御の効果を有効にする場合には目標位置を画面中央とし、無効にする場合には目標位置を被写体位置とする形態について説明した。これに対し、第２の実施形態では、目標位置を常に画面中央として図５のＳ５０１の処理を行わず、Ｓ５０２において式（１）で示した制御量ｕを算出する制御ゲインを調整することによって追尾制御の効果を変更する。

図８の制御ゲイン設定部８００は、ズーム制御部１２１から取得する画角、振れ検出部１１９から取得する振り角度、被写体検出部１２７から取得する被写体位置の情報に基づいて制御ゲインを設定する。カメラの画角や振り角度は、第１の実施形態と同様の処理により算出する。

また、追尾制御を有効にするか否かは、図９に示す追尾制御判定処理によって行う。なお、図７に示す処理とは、Ｓ９０４、Ｓ９０５、Ｓ９１０、Ｓ９１１が異なる他は同じであるため、同じステップ番号を付して、説明を省略する。図９に示す処理では、図７のＳ７０４及びＳ７０５において水平方向の目標位置を設定したのに対し、Ｓ９０４において水平方向の追尾を無効にし、Ｓ９０５において水平方向の追尾を有効にする。同様に、Ｓ９１０において垂直方向の追尾を無効にし、Ｓ９１１において垂直方向の追尾を有効にする。

このようにしてカメラの振り角度及び被写体位置の判定によって追尾制御を有効にすると判定された場合、制御ゲイン設定部８００は、防振制御部３０２に対して予めチューニングされた被写体追尾が可能な制御ゲインを設定する。追尾制御を無効にすると判定された場合、制御ゲイン設定部８００は防振制御部３０２の制御ゲインを低いゲインに設定する。

式（１）において、制御ゲインＫｐ、Ｋｉ、Ｋｄを小さくすると制御量ｕが小さくなり、被写体追尾制御の効果を抑制することができる。すなわち、制御ゲインを低くすることで目標位置に設定した画面中央までの追尾速度を遅くしたり、意図的に定常偏差を残したりというように追尾性能を細かく調整することが可能になる。さらに、制御ゲインＫｐ、Ｋｉ、Ｋｄを０にすると制御量ｕが０となり、完全に追尾制御を無効にすることもできる。

以上のように第２の実施形態では、被写体追尾の目標位置を画面中央とし、振り角度、画角及び被写体位置に基づいて、制御ゲイン設定部８００は被写体追尾の制御ゲインを変更することにより、追尾速度等を微調整することができる。これにより、被写体を追尾している場合にも被写体の動きが分かる構図で撮影を行うことができると共に、動いている被写体が画面内からフレームアウトしてしまうことを防止することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第１の実施形態においては、水平方向及び垂直方向に対して被写体追尾の目標位置を画面中央位置もしくは被写体位置に設定することで、追尾を有効／無効にする例について説明した。これに対し、第３の実施形態では、水平方向の振り角度と垂直方向の振り角度の比率から光軸に対して直交する画像平面内での振り方向を算出し、振り方向に応じて目標位置を設定する形態について説明する。なお、第３の実施形態における撮像装置は、図３を参照して第１の実施形態で説明した機能構成を有するものを用いることができるため、ここでは説明を省略する。

図１０は、カメラを振りながら被写体を追ったときの角速度センサによって検出した角速度ωと角速度ωを積分した角度θ及び画像平面内での振り方向αを示したグラフである。図１０（ａ）は、角速度センサの水平方向の検出結果である角速度ωｐａｎと角度θｐａｎを示すグラフである。同様に、図１０（ｂ）は、垂直方向の検出結果である角速度ωｔｉｌｔと角度θｔｉｌｔを示すグラフである。いずれのグラフにおいても、横軸は時間ｔ、縦軸は角速度または角度を表し、角速度ωを破線で、角度θを実線で示している。

図１０（ｃ）は、横軸を図１０（ａ）で示した水平方向の角度θｐａｎ、縦軸を図１０（ｂ）で示した垂直方向の角度θｔｉｌｔとしたグラフである。画像平面内での振り方向αは、水平方向の角度θｐａｎと垂直方向の角度θｔｉｌｔとの比率に基づき、α＝ａｔａｎ（θｔｉｌｔ／θｐａｎ）によって算出することができる。このグラフは、約４ｓｅｃ間に水平左方向に最大約３．５ｄｅｇ／ｓｅｃで約４５ｄｅｇ、垂直上方向に最大約２．０ｄｅｇ／ｓｅｃで約２５ｄｅｇのカメラを振ったときのグラフを示している。すなわち、振り方向αは、α＝ａｔａｎ（２５ｄｅｇ／−４５ｄｅｇ）から水平右方向を基準として約１５０ｄｅｇの方向にカメラが振られていることが算出される。

次に図１１を用いて、本実施形態における被写体追尾の目標位置の設定方法について説明する。
本実施形態においては、振れ検出部１１９によって検出されたカメラの振り方向αと平行する方向には被写体追尾を有効とし、振り方向αと直交する方向には被写体追尾を無効とするように目標位置を設定する。カメラの振り方向に基づいて目標位置を設定することで、斜め方向に動いている被写体を追いながら撮影する場合についても本発明の方法を適用することが可能となる。

また、図１１では、光軸方向と直交する画像平面をｘ−ｙとして被写体位置Ｓと目標位置Ｔを示している。被写体位置Ｓは、被写体検出部１２７によって検出された位置であり、被写体位置Ｓの座標をＳ＝（ｘｓ，ｙｓ）とする。目標位置Ｔは、目標位置設定部３０１によって算出され、防振制御部３０２に設定される位置であり、目標位置Ｔの座標をＴ＝（ｘｔ，ｙｔ）とする。目標位置Ｔは、振り方向αと被写体位置Ｓから下記の式（２）によって算出することができる。

Ｔ：目標位置
Ｓ：被写体位置
α：振り方向
Ｒ：回転行列
Ｒ^-1：回転逆行列

Ｒは、振り方向αだけ座標を回転させる回転行列であり、Ｒ^-1は回転逆行列である。目標位置Ｔは、被写体位置Ｓを振り方向αだけ回転変換させた後、振り方向αと平行な方向に並進変換させることで算出することができる。

まず、目標位置設定部３０１は、振り方向αだけ回転させた画像平面ｘ’−ｙ’における被写体位置Ｓ’＝（ｘｓ’，ｙｓ’）を算出する。被写体位置Ｓの座標は、画像平面ｘ−ｙにおける座標であるため、回転させた被写体位置Ｓ’は、被写体位置Ｓを回転逆行列Ｒ^-1によって−αだけ回転変換する。次に、目標位置設定部３０１は、画像平面ｘ’−ｙ’において、振り方向αと平行方向であるｘ’方向については追尾を有効にし、ｙ’方向については追尾を無効となるように、被写体位置Ｓ’から目標位置Ｔ’を算出する。すなわち、画像平面ｘ’−ｙ’における目標位置Ｔ’の座標は、Ｔ’＝（０，ｙｓ’）として表すことができる。最後に、画像平面ｘ’−ｙ’での目標位置Ｔ’から画像平面ｘ−ｙでの座標に戻すため、目標位置Ｔ’に回転行列Ｒをかけることで、αだけ回転変換した目標位置Ｔを算出する。

以上のように第３の実施形態によれば、目標位置設定部３０１は、振れ検出部１１９で検出した振り角度から光軸に直交する画像平面での振り方向を算出し、振り方向に基づいて防振制御部３０２に被写体追尾の目標位置を設定する。これにより、画面内で斜め方向に動く被写体に対しても、被写体の動きが分かる構図で撮影を行うことができると共に、画面内からフレームアウトすることを防止することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１２は、第４の実施形態における被写体追尾の目標位置設定処理を説明するフローチャートである。なお、図１２において、図７に示す処理と同じ処理には、同じステップ番号を付して、説明を省略する。

第１の実施形態では、ユーザが追尾させる目標位置を設定するマニュアルモードと、カメラがフレーミング操作を検出して自動で目標位置を設定するオートモードとをユーザが選択する形態について説明した。これに対し、第４の実施形態では、被写体検出部１２７から取得した被写体情報などに基づいて撮影シーンを判定し、追尾する方向を選択する。

図７のＳ７００からＳ７０２において水平方向の設定モード及び水平振り角度を判定したのに対し、Ｓ１２００では撮影しているシーンが水平方向に移動する被写体を撮影するシーンか否かを判定する。例えば、フィギュアスケートや体操などのように水平方向に移動しながら演技を行う撮影シーンであると判定された場合には、水平方向は追尾を有効にし、垂直方向は追尾を無効にする。

同様に、図７のＳ７０６からＳ７０８において垂直方向の設定モード及び垂直振り角度を判定したのに対し、Ｓ１２０６では撮影しているシーンが垂直方向に移動する被写体を撮影するシーンか否かを判定する。例えば、ボルダリングのように左右に動きながら垂直方向に向かってゴールを目指す競技の撮影シーンであると判定された場合には、垂直方向は追尾を有効にし、水平方向は追尾を無効にする。

撮影シーンの判定方法としては、被写体検出部１２７で検出した被写体情報や被写体の動きベクトル検出結果、撮影場所、同じ場所で過去に撮影された画像、撮影時間などの情報をカメラ及びクラウド上から取得し、既知のシーン認識技術を利用することで推定することができる。

以上のように第４の実施形態では、撮影シーンを判定して追尾を有効にする方向を自動で選択することができる。これにより、目標位置の設定モードをユーザが選択することなく、撮影シーンに合った構図で被写体を追尾して撮影することができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
第１の実施形態においては、撮影時に被写体追尾の目標位置を設定する形態について説明した。これに対し、第５の実施形態では、撮影後のトリミング処理で追尾画像を生成する形態について説明する。広角の画角で撮影した連写画像や動画に対して、特定の範囲をトリミングすることで被写体の動きを残しつつ、被写体を拡大した画像を生成することができる。

本実施形態においては、第１の実施形態で、図７を用いて説明した被写体追尾の目標位置設定処理を、トリミングの中心位置の設定処理に適用する。

カメラ制御部１２０は、撮影時に振れ検出部１１９から取得する振り角度とその角度を取得した時間をメモリ１１７に記憶しておく。記録部１１６に記録された画像データを画像メモリ１０８に転送し、転送された画像に対して、被写体検出部１２７で画像上での被写体位置を検出する。これらの情報を用いて、図７の設定処理と同様の処理によって追尾の目標位置を算出する。

カメラ制御部１２０は、算出された目標位置を中心としてトリミング画像を生成し、再度記録部１１６に画像を記録する。振り角度は、予め撮影時にメモリ１１７に記憶しておく方法以外にも、動画や連写画像から動きベクトルを算出し、動きベクトルの情報を元に振り角度を推定する方法を適用してもよい。また、被写体追尾の目標位置設定処理は、図９や図１２の処理を適用してもよい。

以上のように第５の実施形態では、被写体追尾の目標設定処理を再生時のトリミング処理に適用することによって、撮影時と同様の効果となる画像を生成することができる。これにより、撮影した動画や連写画像から被写体を拡大した画像を生成できると共に、被写体の動きが分かる構図の画像を自動で生成することができる。

（他の実施形態）
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０４：防振レンズ、１０６：撮像素子、１０８：画像メモリ、１１０：ズーム制御部、１１２：防振レンズ駆動部、１１８：操作部、１１９：振れ検出部、１２０：カメラ制御部、１２３：光学防振制御部、１２５：撮像防振制御部、１２６：電子防振制御部、１２７：被写体検出部、１２８：枠表示部、３００：モード選択部、３０１：目標位置設定部、３０２：防振制御部、８００：制御ゲイン設定部

Claims (18)

1. 撮影光学系を介して入射する光を撮像素子により光電変換して得られた画像において、被写体を検出する検出手段と、
   予め決められた複数の方向について、被写体の追尾を行う追尾手段と、
   前記複数の方向のうち、前記被写体を追尾する追尾方向を判定する判定手段と、
   前記追尾方向の追尾を行うと共に、前記追尾方向と異なる方向の追尾を抑制するように前記追尾手段を制御する制御手段と、
   を有することを特徴とする追尾装置。
2. 前記複数の方向のうち、少なくとも１つの方向を前記追尾方向として指定するための操作手段を更に有し、
   前記判定手段は、前記操作手段により指定された追尾方向を判定することを特徴とする請求項１に記載の追尾装置。
3. 前記複数の方向は、第１の方向と、該第１の方向に垂直な第２の方向であることを特徴とする請求項２に記載の追尾装置。
4. 前記複数の方向それぞれについて、前記追尾装置の振れ量を検出する振れ検出手段を更に有し、
   前記判定手段は、
   前記複数の方向それぞれについて、前記振れ量に基づいて振れ角度を求め、
   前記振れ角度が、前記複数の方向それぞれについて予め決められた閾値よりも大きい場合に、対応する方向を前記追尾方向として検出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の追尾装置。
5. 前記判定手段は、
   前記撮影光学系の焦点距離に基づいて前記画像の画角を求め、
   前記画角に基づいて前記閾値を設定する
   ことを特徴とする請求項４に記載の追尾装置。
6. 前記制御手段は、更に、前記複数の方向それぞれについて、前記振れ角度が前記閾値以下であって、且つ、前記画像における前記被写体の位置が前記複数の方向それぞれについて予め決められた範囲を超えている場合に、対応する方向の追尾を有効にすることを特徴とする請求項４または５に記載の追尾装置。
7. 前記複数の方向それぞれについて、前記追尾装置の振れ量を検出する振れ検出手段を更に有し、
   前記判定手段は、
   前記複数の方向それぞれについて、前記振れ量に基づいて振れ角度を求め、
   前記複数の方向の振れ角度の比率に基づいて、前記追尾方向を検出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の追尾装置。
8. 前記制御手段は、前記複数の方向のうち、
   前記追尾方向に対する前記被写体の目標位置を、前記追尾方向における前記画像の中央とし、
   前記追尾方向ではない方向に対する前記被写体の目標位置を、前記画像における前記被写体の位置とする
   ことにより前記追尾手段を制御することを特徴とする請求項１乃至７のいずれか１項に記載の追尾装置。
9. 前記制御手段は、前記被写体の目標位置を前記画像における中央とし、前記追尾手段により前記被写体を前記目標位置に動かすための制御値を、前記追尾方向について大きくし、前記追尾方向ではない方向について小さくすることにより前記追尾手段を制御することを特徴とする請求項１乃至７のいずれか１項に記載の追尾装置。
10. 前記追尾手段は、
    前記撮影光学系に含まれる防振レンズを前記撮影光学系の光軸に対して直交する面上で移動させる手段と、
    前記撮像素子を前記撮影光学系の光軸に対して直交する面上で移動させる手段と
    の少なくともいずれかを有することを特徴とする請求項１乃至９のいずれか１項に記載の追尾装置。
11. 前記画像を記憶する記憶手段をさらに有し、
    前記追尾手段は、前記記憶手段から前記画像の一部を読み出すことにより、読み出した画像における前記被写体の位置を移動させることを特徴とする請求項１乃至１０のいずれか１項に記載の追尾装置。
12. 撮影シーンを検出するシーン検出手段を更に有し、
    前記判定手段は、前記シーン検出手段により検出された撮影シーンに応じて前記追尾方向を判定することを特徴とする請求項１に記載の追尾装置。
13. 前記追尾手段は、記録された前記画像の一部を拡大した画像を出力する画像処理により被写体の追尾を行い、
    前記制御手段は、拡大する画像の範囲を制御することで前記追尾手段を制御することを特徴とする請求項１に記載の追尾装置。
14. 撮影光学系を介して入射する光を光電変換して画像を出力する撮像素子と、
    請求項１乃至１３のいずれか１項に記載の追尾装置と、
    を有することを特徴とする撮像装置。
15. 前記撮影光学系を更に有することを特徴とする請求項１４に記載の撮像装置。
16. 予め決められた複数の方向について、被写体の追尾を行う追尾手段を有する追尾装置の制御方法であって、
    検出手段が、撮影光学系を介して入射する光を撮像素子により光電変換して得られた画像において、被写体を検出する検出工程と、
    判定手段が、前記複数の方向のうち、前記被写体を追尾する追尾方向を判定する判定工程と、
    制御手段が、前記追尾方向の追尾を行うと共に、前記追尾方向と異なる方向の追尾を抑制するように前記追尾手段を制御する制御工程と、
    を有することを特徴とする制御方法。
17. コンピュータに、請求項１６に記載の制御方法の各工程を実行させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images