JP2018146606A - 画像処理装置、撮像装置および制御方法 - Google Patents

Abstract

【課題】動きベクトルの検出領域に対する被写体の動きに応じた精度の良い動きベクトル検出を行う。【解決手段】撮像装置２００が、撮像装置の振れの検出結果と、撮像画像内の所定のベクトル検出領域からの動きベクトルの検出結果に基づいて、撮像画像に含まれる被写体の動きベクトルを検出する。撮像装置２００が、被写体の動きベクトルに基づいて、被写体のベクトル検出領域に対する動きを検出する。そして、撮像装置２００が、被写体の前記検出領域に対する動きの検出結果に基づいたズーム駆動によって、画角調整する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。

撮像装置による静止画の撮影技術の一つに、動的被写体を撮影する際に、動的被写体を撮像装置で追尾しながら通常よりも遅いシャッター速度で撮影する、流し撮りがある。流し撮りによれば、動的被写体が静止して撮像できるのに対して、背景が流れて撮像されるので、スピード感を出すことができる。しかし、流し撮りの際は、ユーザは、シャッター速度を遅くした設定で動的被写体を追尾しながら撮影するので、手振れ等により被写体が鮮明に撮影できない場合がある。撮像装置に搭載されている像ブレ補正機能を用いると、動的被写体を追尾する動きが撮像装置の手振れと判断されてしまい、補正の光学シフトレンズが駆動して、背景が流れない通常の撮影を行ってしまう。

特許文献１は、被写体の動きベクトルから得られる動的被写体の角速度と、撮像装置の動的被写体を追尾する角速度との差分に基づいて、像ブレを補正する機能（流し撮りアシスト機能）を有する撮像装置を開示している。また、特許文献２は、動的被写体の角速度と、撮像装置の動的被写体を追尾する角速度との出力タイミングを一致させることで、動的被写体に係る角速度の検出精度を高める撮像装置を開示している。

特開２００６―３１７８４８号公報 特開２０１５―１６１７３０号公報

流し撮りアシスト機能を用いた撮影時に正確な動きベクトル検出を行うためには、被写体を動きベクトルの検出領域に収める必要がある。流し撮り直前で被写体が検出領域から飛び出した場合、飛び出した被写体の部分は、動きベクトルの検出ができず、像ブレ補正制御に必要な補正量を算出することができない。本発明は、動きベクトルの検出領域に対する被写体の動きに応じた精度の良い動きベクトル検出を行うことを可能とする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、 撮像画像のベクトル検出領域から動きベクトルを検出する第１の検出手段と、画像処理装置に加わる振れに係る振れ検出信号と、前記第１の検出手段によって検出された動きベクトルとに基づいて、前記撮像画像に含まれる被写体の前記ベクトル検出領域に対する動きを検出する第２の検出手段と、前記被写体の前記ベクトル検出領域に対する動きの検出結果に基づいたズーム駆動によって、画角調整する制御手段とを備える。

本発明の画像処理装置によれば、動きベクトルの検出領域に対する被写体の動きに応じた精度の良い動きベクトル検出を行うことが可能となる。

本実施形態の撮像装置の構成を示す図である。 流し撮りアシスト機能を用いた撮影の際の動作処理を説明する図である。 テンプレート範囲と動的被写体の動きベクトル検出を説明する図である。 動的被写体のテンプレート範囲外への動きの検出を説明する図である。

図１は、本実施形態の撮像装置の構成を示す図である。
以下に示す実施形態は、本発明の一例であり、構成などを限定するものではない。本発明を適用可能な構成であれば、下記の構成である必要はない。
図１に示す撮像装置２００は、システム制御部２０１乃至電源制御部２１４を有する。システム制御部２０１は、露出制御部２０１ａ、測距制御部２０１ｂ、画像処理部２０１ｃ、速度制御部２０１ｄを有する。また、鏡筒部２０４は、ズームレンズ２０４ａ、フォーカスレンズ２０４ｂ、絞り２０４ｃ、シャッター２０４ｄ、像ブレ補正レンズ２０４ｅを有する。システム制御部２０１は、本実施形態の画像処理装置を実現する。

システム制御部２０１は、ＣＰＵ（中央演算処理装置）等を用いて、実装されているプログラムに基づいてシステム全体を制御する。また、システム制御部２０１は、露出制御部２０１ａ、測距制御部２０１ｂ、画像処理部２０１ｃ、速度制御部２０１ｄ、像ブレ補正制御部２０１ｅを用いて、状況に応じて適切な鏡筒制御および画像処理を行う。具体的には、露出制御部２０１ａおよび測距制御部２０１ｂは、撮像部２０５および撮像制御部２０６より得た画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて鏡筒駆動制御部２０２を介して鏡筒駆動部２０３へ駆動信号を伝達させる。

鏡筒部２０４は、鏡筒駆動部２０３から伝達された駆動信号に基づき、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理に関する動作を行う。画像処理部２０１ｃは、撮像制御部２０６、記録部２０９、外部記録部２１０からのデータに対して所望の画像データ処理を行う。具体的には、画像処理部２０１ｃは、画素補間や画像縮小等のリサイズ処理および色変換処理などを行う。

速度制御部２０１ｄは、図示していない光学検出センサなどを用いたエンコーダで検出された信号により、ズームレンズ２０４ａ及びフォーカスレンズ２０４ｂの位置及び速度を算出する。速度制御部２０１ｄは、各レンズの速度を取得し、目標速度との差分に基づいて、予め定められた目標速度になるように、鏡筒駆動制御部２０２へ制御信号を送る。

像ブレ補正制御部２０１ｅは、図示していない磁気センサ及び角速度センサにより検出された信号を元に、光軸に対して直交する方向に移動可能な像ブレ補正レンズ２０４ｅを用いて、入射する光学像を補正する。角速度センサは、撮像装置（カメラ）２００に加わる振れに係る角速度を検出して振れ検出信号として出力する。また、像ブレ補正制御部２０１ｅは、流し撮りアシスト機能の動作時は、撮像制御部２０６から所定の周期で読み出した画像データを用いて、動きベクトルを検出する。像ブレ補正制御部２０１ｅは、検出された動きベクトルの検出結果と、所定の処理を経て出力される角速度と、角速度センサで取得した撮像装置２００の角速度とから、像ブレ補正レンズ２０４の駆動量を算出する。そして、像ブレ補正制御部２０１ｅは、算出した駆動量で像ブレ補正レンズ２０４ｅを駆動することにより、入射する光学像を補正する。

鏡筒駆動制御部２０２は、主にドライバーＩＣなどで構成されている。鏡筒駆動制御部２０２は、システム制御部２０１からの制御信号および図示していない光学検出や磁気検出、傾斜検出などの各センサから得られた情報により、鏡筒駆動部２０３へ所望の駆動信号を伝達させる。また、鏡筒駆動制御部２０２は、各センサからの検出信号を速度制御部２０１ｄへ送る。鏡筒駆動部２０３は、鏡筒部２０４の各レンズ群および鏡筒機構を動かすための各種モータを有する。鏡筒駆動部２０３を構成しているＤＣモータやステッピングモータなどの各種モータは、ズームレンズ２０４ａ、フォーカスレンズ２０４ｂ、絞り２０４ｃ、シャッター２０４ｄ、像ブレ補正レンズ２０４ｅの機能を実現できる。各種モータは、鏡筒部２０４を鏡筒駆動制御部２０２からの駆動制御信号に基づいて動作させる。

撮像部２０５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。ＣＣＤは、Ｃｈａｅｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像素子は、鏡筒部２０４に組み込まれているレンズ群により、被写体光を受光し、撮像画像に係る電気信号に光電変換して出力する。電気信号は、撮像制御部２０６内の信号処理系回路で映像信号に変換される。表示制御部２０８は、映像信号に所定の加工処理を施し、映像表示が可能な信号を出力する。表示部２０７は、液晶モニタなどの表示部材を有する。表示部２０７は、表示制御部２０８から送られる表示用の画像データに対して、図示していないＤ／Ａ変換部を介して所望の画像を表示する。撮像部２０５および撮像信号処理部２０６からの画像データを逐次、表示制御部２０８を通して表示部２０７に表示させれば、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）機能を実現することが可能である。

記録部２０９は、撮影された映像情報、時間情報、設定情報等の様々なデータの記録や画像処理などの一時的な記録媒体として使用される。記録部２０９は、更に、システム制御部２０１により実行される各種プログラムなどを記憶するためのメモリ装置も有する。本実施形態で使用されるプログラムも記録部２０９に保持されている。外部記録部２１０は、各種メモリーカードなどの記録媒体である。外部記録部２１０は、定められた処理を完了した画像情報データを格納する。

ストロボ２１１は、ＡＦ補助光の投光機能、ストロボ調光機能を有しており、露出制御部２０１ａおよび測距制御部２０１ｂにより制御される。操作部２１２は、システムを操作するための操作手段である。操作部２１２は、装置本体の各種操作スイッチやレバー、表示部材に組み込まれているタッチパネルなどを有する。ユーザは、操作部２１２を用いて、任意のカメラ動作を行う。操作部２１２に設けられたレリーズボタンの半押し（ＳＷ１がＯＮ）で、ＡＦ処理、ＡＥ処理等の動作が開始する。レリーズボタンの全押し（ＳＷ２がＯＮ）で、露光が開始される。また、ズーム動作は、図示していない操作レバーを押している間は規定の範囲内で変倍動作を行い、操作レバーを離すと動作を終了する。

電源制御部２１４は、電源検出回路、ＤＣ−ＤＣコンバータ、渦電流検出回路、電池残量検出回路等を有する。電源制御部２１４は、電源部２１３から得た電力を所望の電圧にし、必要に応じて電力を供給する。電源部２１３は、アルカリ電池やリチウム電池等の一次電池やＬｉ電池等の二次電池、ＡＣアダプター等を有する。

図２は、流し撮りアシスト機能を用いた撮影の際の動作処理を説明するフローチャートである。図３は、テンプレート範囲と動的被写体の動きベクトル検出を説明する図である。図４は、動的被写体のテンプレート範囲外への動きを検出する方法を説明する図である。なお、以下の説明およびフローは、図１に示す撮像装置により実行される。

まず、流し撮りアシスト機能を用いた撮影時における像ブレ補正機能を用いた補正方法について説明する。流し撮り時における像ブレ補正機能を用いた補正方法は、特許文献１及び特許文献２に詳細が記載されているため、本明細書では簡単に説明する。
流し撮りアシスト機能を用いた撮影時に、手振れ等による像ブレを補正するために、システム制御部２０１は、以下の処理を実行する。システム制御部２０１は、被写体の角速度と、動的被写体を追尾するためにパンニング動作がされた際のカメラの角速度との差分を検出し、差分に相当するズレ量を像ブレ補正制御部２０１ｅ及び像ブレ補正レンズ２０４ｅを用いて補正する。システム制御部２０１は、被写体の角速度を、動画像すなわち繰り返し撮像される撮像画像のフレーム間で検出される被写体の動きベクトルに基づいて検出する。動きベクトル検出方法は、様々な方法が提案されており、公知の技術であるので説明は省略する。

システム制御部２０１は、被写体に対して、静的被写体（例えば背景など）と、動的被写体（例えば人、車、電車等）を判別し、判別結果を用いて、動的被写体の角速度を検出する。具体的には、システム制御部２０１は、動的被写体と静的被写体との、動きベクトル量の差異に基づいて、動的被写体を判別する。流し撮り撮影では、車などの主被写体となる動的被写体に対して、カメラを追尾させながら撮影を行う。したがって、動的被写体と背景となる静的被写体では、静的被写体の動きベクトルに対して、動的被写体の動きベクトルのほうが、カメラで追尾する分、小さなベクトルとなる。言い換えると、ユーザが動的被写体に対して、カメラを追尾させて撮像面に収め続けるように撮影するので、静的被写体はカメラを追尾させた分だけ大きな動きベクトルとなる。このように、検出される動きベクトルのベクトル量の差異から、動的被写体と静的被写体を判別することが可能となる。

システム制御部２０１の像ブレ補正制御部２０１ｅは、検出された動的被写体の角速度と、パンニング動作中のカメラの角速度の差分値を算出し、算出された差分値に基づいて、像ブレ補正レンズ２０４ｅの駆動量を算出する。システム制御部２０１が、算出した駆動量に基づき像ブレ補正レンズ２０４ｅを駆動することで、流し撮り撮影時におけるカメラのパンニング動作による像ブレを補正して、被写体の背景は流しつつ、動的被写体は補正により像ブレを極力無くすことができる。その結果、容易に躍動感のある画像を撮影することができる。

図２を参照して、動的被写体がテンプレート範囲内から範囲外への動きをする場合の撮像装置２００の動作を説明する。テンプレート範囲は、動きベクトルの検出領域（ベクトル検出領域）である。なお、以下の説明は、本発明の一例に過ぎず、本発明が適用される範囲においては、下記のフローチャートが示す処理に限定されない。

まず、Ｓ１０１において、像ブレ補正制御部２０１ｅが、角速度センサによる、撮像装置２００に加わる振れに係る角速度の検出を開始する。続いて、Ｓ１０２において、システム制御部２０１が、第１の検出手段として機能して、撮像部２０５から取り込んだ撮像画像のテンプレート範囲からの動きベクトルの検出を開始する。続いて、Ｓ１０３において、システム制御部２０１が、操作部２１２のレリーズボタンが半押し状態であるか（ＳＷ１がＯＮであるか）を判定する。ＳＷ１がＯＮでない場合は、処理がＳ１０１に戻る。ＳＷ１がＯＮである場合は、処理がＳ１０４に進む。

Ｓ１０４において、像ブレ補正制御部２０１ｅが、Ｓ１０２で検出された動きベクトルから被写体の角速度を検出する。続いて、Ｓ１０５において、像ブレ補正制御部２０１ｅが、第２の検出手段として機能する。すなわち、像ブレ補正制御部２０１ｅは、Ｓ１０４で検出された被写体の角速度と、Ｓ１０１から検出されている撮像装置２００の角速度とに基づいて、被写体に対して動的被写体と静的被写体の判別を行い、動的被写体の動きを検出する。具体的には、像ブレ補正制御部２０１ｅは、被写体のテンプレート範囲（ベクトル検出領域）に対する動きを検出する。

次に、Ｓ１０６において、像ブレ補正制御部２０１ｅが、動的被写体がテンプレート範囲内に入っているかを判定する。動的被写体がテンプレート範囲内に入っている場合は、処理がＳ１１０に進む。動的被写体がテンプレート範囲内に入ってない場合は、処理がＳ１０８に進む。Ｓ１０８において、システム制御部２０１が、Ｓ１０６で検出された動的被写体の位置に基づいて、動的被写体がテンプレート範囲内に入るように、画角調整のためのズーム移動距離を算出する（ズーム駆動に係る駆動量を算出する）。

ここで、動的被写体がテンプレート範囲内から範囲外への動きを検出する処理と、画角調整処理について、図３および図４を用いて説明する。動きベクトルから動的被写体を正確に検出するためには、撮像面上の被写体像に対して、動的被写体を撮像面上の動きベクトル検出領域であるテンプレート範囲内に収める必要がある。一般に、テンプレートは撮像面上の全域に配されているのではなく、ハード等の制約で撮像面上の所定領域に配されている。したがって、被写体の動きベクトルを検出するためには、所定領域に配されているテンプレート範囲内に検出対象となる被写体を入れることが必要となる。テンプレート範囲内から外れた被写体部分は、動きベクトルが検出できず、像ブレ補正対象から外れることになる。

流し撮りアシスト機能を用いた撮影では、撮影開始直前の動的被写体の角速度と、カメラの動的被写体を追尾する際の角速度との差分を検出し、差分となる角速度のズレ量を像ブレ補正機能により補正する。したがって、撮影開始直前の動的被写体の角速度算出精度はそのまま像ブレ補正の精度に現れる。このことから、動的被写体の角速度算出のための撮影開始直前の動きベクトル検出を正確に行うために、テンプレート内に検出対象となる被写体を入れることが重要となる。テンプレート面の配し方は様々であるが、流し撮りでは、一般に主被写体となる動的被写体を中心に配置することが多いので、テンプレートも中心に配置される。しかし、撮影対象の主被写体は動的被写体であり、動的被写体を追う形でカメラをパンニングさせるため、流し撮りを行いながらテンプレート内に被写体を収めることは困難である。さらに、テンプレートは、通常、ユーザが見える形にはなっておらず、ユーザからは、被写体がテンプレート内に収まっているかの判断ができない。このような状態でテンプレートから外れている動的被写体を流し撮り撮影の直前にユーザによるズーム操作にて画角調整を行い、テンプレート内に入れることは困難である。そこで本実施形態では、流し撮りアシスト撮影直前の動的被写体の動きの予測を行い、動的被写体がテンプレート範囲外への動きを予測した場合、撮影前に自動的にズーム動作にて動的被写体がテンプレート範囲内に収まるようにズームポイントを切り替える。これにより、流し撮り撮影中に動的被写体の動きベクトル検出が正確に行えるようになり、流し撮り撮影時の像ブレ補正精度が向上する。

図３は、撮影開始直前の動的被写体に対する動きベクトル検出の例を示す図である。
図３（Ａ）は、主被写体となる動的被写体が、テンプレート範囲外からテンプレート範囲内に入る動きをしている状態でのフレームを示す。図３（Ｂ）は、動的被写体がテンプレート範囲内からテンプレート範囲外に出る動きをしている状態でのフレームを示す。

図３中、画角枠３０１はカメラの画角枠、領域３０２はテンプレート範囲外の領域、領域３０３はテンプレート範囲内の領域である。領域３０３は、複数のテンプレートから構成されており、各テンプレートで独立して動きベクトルを検出可能である。領域３０４から領域３０９は、動的被写体の動きベクトルが検出された箇所である。

図３（Ａ）に示すフレーム１において、テンプレート範囲にある領域３０６に対応する動的被写体部分は、フレーム１からフレーム２にかけての動きベクトルが検出できるので、正確な像ブレ補正を行うことができる。しかし、テンプレート範囲外にある領域３０４および３０５に対応する動的被写体部分に関しては、動きベクトル検出ができない。したがって、フレーム１からフレーム２にかけての動きを補正に反映できない。その結果、フレーム１からフレーム２にかけての動きベクトル検出結果で像ブレ補正を行った場合、動きベクトル未検出範囲が補正し切れずに、振れ残りが起こる可能性がある。更にフレーム２からフレーム３にかけて見ると、領域３０４に対応する動的被写体部分は、動きベクトルが検出できるので像ブレ補正を行える。しかし、領域３０５に対応する動的被写体部分は、フレーム２からフレーム３にかけても動きベクトルが検出できないので、像ブレ補正を行えない。

次に、図３（Ｂ）に示すフレームでの動きベクトル検出について説明する。図３（Ｂ）のフレーム１からフレーム２にかけてテンプレート範囲にある領域３０７および３０９に対応する動的被写体部分は、動きベクトルを検出できる。しかし、テンプレート範囲外にある領域３０８に対応する動的被写体部分に対しては、動きベクトを検出できないので、フレーム１からフレーム２にかけての動きが補正に反映できない。この場合も像ブレ補正できずに振れ残りが起こる可能性がある。更にフレーム２からフレーム３にかけて見ると、領域３０９に対応する動的被写体部分は、フレーム２からフレーム３にかけても動きベクトルが検出できなくなるので、像ブレ補正を行えない。

動的被写体がテンプレート範囲外からテンプレート範囲内に入る動きや、逆に動的被写体がテンプレート範囲内からテンプレート範囲外に出る動きを検出しないまま流し撮りアシスト機能を用いた撮影を行うと、像ブレ補正を上手く出来ずに振れ残りが起こる。したがって、複数のテンプレートで構成されているテンプレート範囲内からテンプレート範囲外への動的被写体の動きを検出するために、本実施形態では、外周テンプレートが検出する動きベクトルに着目する。外周テンプレートは、テンプレート範囲外に接するテンプレートである。

図４は、図３（Ｂ）と同様に、動的被写体がテンプレート範囲内から範囲外に出て行く一連の動きをフレーム間で示す図である。
画角枠３０１、領域３０２、３０３、領域３０７乃至３０９は、図３の画角枠３０１、領域３０２、３０３、領域３０７乃至３０９と同様である。図４中、テンプレート４０１は、外周テンプレートの内側に配置されているテンプレート（以下、「内周テンプレート」と記述する）である。テンプレート４０２は、外周テンプレートである。外周テンプレート４０１はグレー色で示し、内周テンプレートは白色で示す。

図４のフレーム１からフレーム２にかけて、領域３０８に対応する動的被写体部分が、テンプレート範囲からテンプレート範囲外となる動きをする。この時の領域３０８に対応する動的被写体部分の動きベクトルは、フレーム１では外周テンプレートで検出されるが、フレーム２では未検出となる。また、領域３０９に対応する動的被写体部分は、フレーム１からフレーム２にかけて内周テンプレートから外周テンプレートへの動きベクトルを検出するが、フレーム２からフレーム３にかけての動きベクトルは、外周テンプレートから未検出となる。このように、本実施形態では、動的被写体と静的被写体を区別した上で、１フレーム間での動的被写体の動きベクトルにおいて、テンプレート範囲を内周テンプレートと外周テンプレートに分け、動きベクトルを追う。これにより、動的被写体がテンプレート外への動きをしているかが分かる。更に、外周テンプレートで検出されていた動きベクトルが未検出となった場合、テンプレート範囲外に出た可能性が高く、他の複数の動きベクトル情報を加味して判断すれば、動的被写体が範囲外に出たかが予測できる。更に、複数のテンプレートを細分化して、内周から外周へ何段階かに分けて区別することで、細かな動きにも対応できる。１つ１つのテンプレートの撮像面に対する配置を任意に設定できるようにしてもよい。上記はあくまで一例であり、動きベクトル検出のためのテンプレートの設定は様々考えられるので、適用システム構成で最も効果を発揮できる設定にすることが望ましい。

図３（Ａ）に示すような、動的被写体がテンプレート範囲外からテンプレート範囲内に入る動きについても同様に検出できる。外周テンプレートで動きベクトルを複数検出し、検出したテンプレートが密集している場合、動的被写体がテンプレート範囲外（ベクトル検出領域の領域外）から範囲内（ベクトル検出領域の領域内）への動きを見せていることを推測できる。この検出手法により、テンプレート範囲に対する被写体の動きが分かる。システム制御部２０１は、撮影開始直前の動的被写体がテンプレート範囲内からテンプレート範囲外となる動き、もしくは範囲外に出ていると予測できる動きを検出した場合、ズーム動作により画角調整を行う。また、システム制御部２０１は、撮影開始直前の動的被写体の、テンプレート範囲外からテンプレート範囲内となる動きを検出した場合、ズーム動作により画角調整を行う。これにより、動的被写体がテンプレート範囲内に入る。

ズーム駆動に係る駆動量を算出するに当たり重要となるのが、テンプレート範囲に対する動的被写体の大きさと位置である。システム制御部２０１は、動的被写体をテンプレート範囲内に収めるためにズーム動作にてワイド側に引いて画角調整を行うが、どの程度まで引くかを、テンプレート範囲に対する動的被写体の大きさまたは位置に基づいて決定する。つまり、システム制御部２０１は、ズーム駆動に係る駆動量を、テンプレート範囲に対する動的被写体の大きさまたは位置に基づいて変動させる。具体的には、システム制御部２０１は、１フレーム間での動的被写体の外周テンプレートにおける動きベクトル検出のテンプレート数と、外周テンプレートから未検出となった動きベクトルの検出数とに基づいて、ズーム駆動に係る駆動量を算出する。

各テンプレートにおける動的被写体の動きベクトル検出数により、動的被写体がテンプレートに対してどの程度の大きさであるかが分かり、更にテンプレート毎に外周テンプレートか内周テンプレートかを区別しておけば動的被写体の位置も把握できる。また、動的被写体が数フレームの間、外周テンプレートに留まることも考えられるので、動きベクトルを検出したフレーム数も考慮に入れてもよい。上記の駆動量の算出方法には、テンプレート構成や撮像仕様、ズーム性能（応答速度等）を考慮に入れる必要があるので、適用対象の撮像装置で最も効果が望まれる方法を用いることが望ましい。例えば、ある程度のテンプレート範囲における動的被写体の大きさは検出できるため、検出された各テンプレートの検出数に応じたズームパルス数を設定しておくことが考えられる。また、各テンプレートにおいて外周テンプレートと内周テンプレートで移動ズームパルス数への重み付けをすることで移動量を変え、より外周テンプレートが多く検出された場合に多くズーム移動量が算出されるようにするのも良い。上記事例以外にもテンプレート範囲に対する動的被写体の検出結果から適切にズーム駆動に係る駆動量を算出する方法であれば適用可能である。

図２の説明に戻る。Ｓ１０９において、システム制御部２０１が、鏡筒駆動部２０３に指示して、Ｓ１０８で算出されたズーム駆動に係る駆動量で、鏡筒部２０４に組み込まれているズームレンズ２０４ａを駆動することで、画角調整を行う。そして、処理がＳ１０４に戻る。
また、Ｓ１１０において、システム制御部２０１が、操作部２１２のレリーズボタンが全押し状態であるか（ＳＷ２がＯＮであるか）を判定する。ＳＷ２がＯＮでない場合は、処理がＳ１０４に戻る。ＳＷ２がＯＮである場合は、処理がＳ１１１に進む。Ｓ１１１において、像ブレ補正制御部２０１ｅが、Ｓ１０１で検出されたカメラ角速度と、Ｓ１０４で検出された被写体角速度と、Ｓ１０５での動的被写体の検出結果に基づいて、像ブレ補正レンズ２０４ｅの駆動量を算出する。そして、Ｓ１１２において、鏡筒駆動制御部２０２が、算出された駆動量に基づいて、鏡筒駆動部２０３により像ブレ補正レンズ２０４ｅを駆動させる。続いて、システム制御部２０１が、撮像制御部２０６に指示して、露光を開始させる。

次に、Ｓ１１４において、システム制御部２０１が、露光が終了したかを判定する。露光が終了していない場合は、処理がＳ１１４に戻る。露光が終了した場合は、処理がＳ１１５に進む。Ｓ１１５において、システム制御部２０１が、像ブレ補正レンズ２０４ｅの位置を補正前の初期位置に移動させる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。説明したように本発明によれば、流し撮りアシスト撮影直前に、動的被写体がテンプレート範囲に対しての動きベクトルを検出することで、テンプレート範囲内に入るようにズーム駆動を行い、流し撮り時の動的被写体の角速度検出精度を上げることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 撮像装置
２０１ システム制御部

Claims (10)

1. 撮像画像のベクトル検出領域から動きベクトルを検出する第１の検出手段と、
   画像処理装置に加わる振れに係る振れ検出信号と、前記第１の検出手段によって検出された動きベクトルとに基づいて、前記撮像画像に含まれる被写体の前記ベクトル検出領域に対する動きを検出する第２の検出手段と、
   前記被写体の前記ベクトル検出領域に対する動きの検出結果に基づいたズーム駆動によって、画角調整する制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記第２の検出手段は、繰り返し撮像される前記撮像画像のフレーム間で検出される前記被写体の動きベクトルに基づいて、前記被写体の前記ベクトル検出領域に対する動きを検出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記ベクトル検出領域の領域外から領域内への前記被写体の動き、または前記ベクトル検出領域の領域内から領域外への前記被写体の動きが検出された場合に、前記ズーム駆動によって、画角調整する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記制御手段は、前記被写体が前記ベクトル検出領域に収まるように画角調整する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記被写体の前記ベクトル検出領域に対する動きの検出結果に基づいて、前記ズーム駆動に係る駆動量を算出する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記ベクトル検出領域における前記被写体の位置に応じて、前記駆動量を変動させる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、前記ベクトル検出領域における前記被写体の大きさに応じて、前記駆動量を変動させる
   ことを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子とを備える
   ことを特徴とする撮像装置。
9. 前記制御手段は、鏡筒部に組み込まれているズームレンズを駆動させて画角調整することを特徴とする請求項８に記載の撮像装置。
10. 撮像画像のベクトル検出領域から動きベクトルを検出する第１の検出工程と、
    画像処理装置に加わる振れに係る振れ検出信号と、前記第１の検出工程によって検出された動きベクトルとに基づいて、前記撮像画像に含まれる被写体の前記ベクトル検出領域に対する動きを検出する第２の検出工程と、
    前記被写体の前記ベクトル検出領域に対する動きの検出結果に基づいたズーム駆動によって、画角調整する制御工程とを有する
    ことを特徴とする画像処理装置の制御方法。