JP2015162711A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】手持ち状態の撮像装置で動く主被写体を追い写しする際に、主被写体を撮影者の意図する画面内の位置に制御し、長時間にわたってその位置制御を可能とする。
【解決手段】撮像光学系１１５を通して結像された被写体像を撮像素子１１９によって画像に変換し、ＩＳ群１１４により画像の像ぶれを低減させる撮像装置１００において、撮像装置１００の角速度を検出し、画像に含まれる主被写体を検出すると共に主被写体の前画像内での動きベクトルを検出することによって撮像装置１００の位置に対する主被写体の角速度と撮像装置１００の角速度との差分を求め、求めた差分が所定の閾値以内に所定時間以上収まっている場合に、画像上の主被写体の位置を目標位置ＰＧに設定し、画像上で主被写体が設定した目標位置ＰＧに一致するようにＩＳ群１１４の像ぶれ補正量を調整する。
【選択図】図１

Description

本発明は、手ぶれ等による撮像画像の像ぶれを補正する機能を備えた撮像装置及びその制御方法に関する。

近年、被写体を認識して、画面の略中央に被写体が収まるように自動的に制御する撮像装置が知られている。例えば、特許文献１には、主被写体領域の中心座標が画面の中央に来るように制御する技術が記載されている。また、特許文献２には、リモコンによる遠隔操作が可能なビデオカメラにおいて、被撮影者がリモコンを操作すると、ビデオカメラの中心軸をリモコンの位置を中心に一致させる制御をモータの可動可能な角度範囲内で可能とする技術が記載されている。

特開２０１０−１４１７２２号公報 特開平１−１０９８７１号公報

しかしながら、上記特許文献１に記載された技術では、主被写体を自動的に画面の中心に配置する制御であるため、撮影者が画面隅に主被写体を配置して撮影したい場合等には、撮影者の意思を構図に反映させることができないという問題がある。また、一般的な撮像装置は、上記特許文献２に記載された撮像装置のように広い角度での回転が可能なモータを内蔵しておらず、また、内蔵している像ぶれ補正装置は、調整可能な角度が±数度程度である。そのため、一般的な撮像装置で撮影したい主被写体を画面中心に一致させる制御を行うと、調整可能な角度限界に早期に達してしまい、長時間に亘って主被写体を追跡して主被写体を画面中心に配置した映像を撮ることは難しい。

本発明は、手持ち状態の撮像装置で動く主被写体を追い写しする際に、主被写体を撮影者の意図する画面内の位置に制御し、長時間にわたってその位置制御を可能とする技術を提供することを目的とする。

本発明に係る撮像装置は、撮像光学系を通して結像された被写体像を撮像素子によって画像に変換する撮像装置であって、前記画像の像ぶれを低減させる像ぶれ補正手段と、前記画像に含まれる主被写体を検出する主被写体検出手段と、前記主被写体の前記画像での動きベクトルを検出する動きベクトル検出手段と、前記撮像装置の角速度を検出する角速度検出手段と、前記像ぶれ補正手段の補正量を検出する補正量検出手段と、前記撮像装置の位置に対する前記主被写体の角速度と前記撮像装置の角速度との差分を求める差分演算手段と、前記差分が所定の閾値以内に所定時間以上収まった場合に、前記画像での前記主被写体の位置を目標位置に設定し、前記画像において前記主被写体が前記目標位置に一致するように前記像ぶれ補正手段を制御する制御手段とを備えることを特徴とする。

本発明によれば、撮像装置の角速度と主被写体の角速度との差分に基づいて、主被写体が画面上に設定された目的位置に止まるように、像ぶれ補正手段の補正量を制御する。これにより、撮影者が撮像装置を手持ちした状態で動く主被写体を追い写しする際に、主被写体を撮影者の意図する画面内の位置に制御すると共に長時間にわたってその位置制御を可能とすることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像装置が備えるパンニング制御部が行う処理を説明するグラフである。 撮像装置が備えるフレーミングアシスト制御部が実行する処理の流れを示すフローチャートである。 各種の各角速度、画面上の主被写体位置及びＩＳ群の位置の時間による変化を示すグラフである。 撮影映像の画面上での主被写体像、目標点及び目標円の関係を示す第１の図である。 撮影映像の画面上での主被写体像、目標点及び目標円の関係を示す第２の図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。なお、撮像装置１００は、動画撮影機能を有する電子機器であり、具体的には、所謂、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き携帯型通信端末、カメラ付き携帯ゲーム機、カメラ付きタブレット端末等の携帯型コンピュータ等が挙げられる。

撮像装置１００は、マイクロコンピュータ１０１、ＩＳモータ駆動回路１１２、ＩＳモータ１１３、ＩＳ群１１４、撮像光学系１１５、ＩＳ位置検出センサ１１６及びズームエンコーダ１１８を備える。また、撮像装置１００は、撮像素子１１９、信号処理回路１２０、動きベクトル検出回路１２１、主被写体検出回路１９０、角速度センサ１０２、ＤＣカットフィルタ１０３及びアンプ１０４を備える。

マイクロコンピュータ１０１は、焦点距離補正部１０８、パルス幅変調回路１１１、制御フィルタ１１０、Ａ／Ｄ変換器１１７、動きベクトル処理部１２２、Ａ／Ｄ変換器１０５、パンニング判定部１２３及びＩＳモータ制御部１８０を備える。ＩＳモータ制御部１８０は、ＬＰＦ（ローパスフィルタ）１８１、角速度演算部１８２、角速度差分演算部１８３、閾半径設定部１８４、継続時間計測部１８５、フレーミングアシスト制御部１８６、ＨＰＦ（ハイパスフィルタ）１８７、積分器１８８及び加減算器１８９を有する。

撮像光学系１１５は、マイクロコンピュータ１０１による駆動機構（不図示）の動作によってズーミングやフォーカシング等の動作を行い、被写体像を撮像素子１１９に結像させる。撮像素子１１９は、撮像光学系１１５によって結像された被写体像を画像信号としての電気信号に変換し、信号処理回路１２０に供給する。信号処理回路１２０は、撮像素子１１９から取得した信号から、例えば、ＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して、主被写体検出回路１９０に供給する。

主被写体検出回路１９０は、取得した映像信号から、撮影映像の画面内の主被写体を判別（検出）する。主被写体の具体的な判別方法には、周知技術（例えば、特開２０１２−１３８６６５号公報）を用いることができ、その詳細についての説明は省略する。主被写体検出回路１９０は、撮影映像の画面内の主被写体の範囲の情報を付加したビデオ信号（映像信号）を動きベクトル検出回路１２１に供給する。

動きベクトル検出回路１２１は、主被写体検出回路１９０で求められた主被写体の範囲における、信号処理回路１２０からの映像信号に含まれる輝度信号に基づき、主被写体の動きベクトルを検出する。動きベクトル検出法としては、相関法やブロックマッチング法等があり、本実施形態では、ブロックマッチング法を用いるものとする。

ブロックマッチング法では、先ず、入力画像信号を複数の適当な大きさのブロック（例えば、８×８画素）に分割し、ブロック単位に前のフィールド又はフレームの一定範囲の画素との差を計算する。続いて、求めた差の絶対値の和が最小となる前のフィールド又はフレームのブロックを検索し、検索したブロックの相対的なずれをそのブロックの動きベクトルとして検出する。なお、ブロックマッチング法でのマッチング演算には、周知技術（例えば、尾上守男、“情報処理Ｖｏｌ．１７，Ｎｏ．７，ｐ６３４〜６４０，Ｊｕｌｙ １９７６”等）を用いることができ、その詳細についての説明は省略する。

動きベクトル検出回路１２１は、検出した動きベクトルを動きベクトル処理部１２２へ出力する。なお、後述するように、動きベクトル検出回路１２１は、画像の像ぶれを低減させる像ぶれ補正手段であるＩＳ群１１４による像ぶれ補正の結果生じた補正残りを、動きベクトルとして検出している。ＩＳ群１１４の補正残りを示す動きベクトル信号は、動きベクトル処理部１２２に供給される。

動きベクトル処理部１２２は、不図示のベクトルゲイン乗算部とベクトルフィルタとで構成される。ベクトルゲイン乗算部は、動きベクトル検出回路１２１から供給される信号に対して、所定のゲインを乗算し、ベクトルフィルタに供給する。ベクトルフィルタは、ベクトルゲイン乗算部から出力されたデータに対して、微分演算や積分演算等行う。動きベクトル処理部１２２は、動きベクトル検出回路１２１から取得した動きベクトルのデータに対してベクトルゲイン乗算部とベクトルフィルタとによるフィルタ演算等を行い、その結果を動きベクトルの変位データとして角速度演算部１８２と角速度差分演算部１８３へ供給する。

さて、撮像装置１００では、撮像装置１００に加わる角速度を検出する角速度検出手段である角速度センサ１０２が撮像装置１００に加わるぶれを角速度信号として検出し、検出した角速度信号をＤＣカットフィルタ１０３に供給する。ＤＣカットフィルタ１０３は、角速度センサ１０２から取得した角速度信号に含まれる直流（ＤＣ）成分を遮断して、角速度信号の交流成分（振動成分）のみをアンプ１０４に供給する。アンプ１０４は、ＤＣカットフィルタ１０３から取得した角速度信号を、最適な感度に増幅して、Ａ／Ｄ変換器１０５に供給する。Ａ／Ｄ変換器１０５は、アンプ１０４から取得した角速度信号をデジタル化し、角速度データとして、パンニング判定部１２３、角速度演算部１８２及びＨＰＦ１８７に供給する。パンニング判定部１２３、角速度演算部１８２及びＨＰＦ１８７の各機能については後述する。

ズームエンコーダ１１８は、撮像光学系１１５のズーム位置を検出し、検出したズーム位置を焦点距離補正部１０８へ出力する。焦点距離補正部１０８では、ズームエンコーダ１１８から取得したズーム位置に基づいて撮像光学系１１５の焦点距離を算出し、算出した焦点距離をフレーミングアシスト制御部１８６へ供給する。

ＩＳ群１１４は、例えば、シフトレンズであり、光軸と垂直な方向に移動されることにより光軸の向きを偏向することで光学的に像ぶれを補正する像ぶれ補正手段である。その結果、撮像装置１００のぶれ等により生じる撮像面上の被写体の移動が補正された像が、撮像素子１１９に結像される。撮像素子１１９の出力は、信号処理回路１２０で所定の信号処理が行われ、主被写体検出回路１９０を介して、動きベクトル検出回路１２１に供給されることになる。

ＩＳ位置検出センサ１１６は、像ぶれ補正量検出手段である。ＩＳ位置検出センサ１１６は、磁石とこれに対向する位置に備えられたホールセンサとからなり、ＩＳ群１１４の光軸と垂直な方向への移動量を検出する。ＩＳ位置検出センサ１１６は、ＩＳ群１１４の位置を検出し、検出したＩＳ群１１４の位置を示す出力は、Ａ／Ｄ変換器１１７へ出力され、Ａ／Ｄ変換器１１７においてＡ／Ｄ変換された後、ＬＰＦ１８１、角速度演算部１８２及び加減算器１８９へ供給される。

加減算器１８９は、積分器１８８から供給される角速度センサ１０２のデータとフレーミングアシスト制御部１８６から供給されるデータとを加算して、ＩＳ群１１４の駆動量としての最終補正データを算出する。なお、フレーミングアシスト制御部１８６から供給されるデータについては後述する。一方で、加減算器１８９は、ＩＳ位置検出センサ１１６からＡ／Ｄ変換器１１７を介して取得した出力（ＩＳ群１１４の位置を示すデジタル化されたデータ）を最終補正データから減算し、偏差データ算出する。

加減算器１８９は、算出した偏差データを制御フィルタ１１０へ出力する。制御フィルタ１１０は、取得した偏差データを所定のゲインで増幅する増幅器と位相補償フィルタとで構成されている。偏差データは、増幅器及び位相補償フィルタによって信号処理された後に、パルス幅変調回路１１１へ出力される。パルス幅変調回路１１１は、制御フィルタ１１０を通して取得したデータを、パルス波のデューティ比を変化させる波形（ＰＷＭ波形）に変調し、ＩＳモータ駆動回路１１２に供給する。

ＩＳモータ駆動回路１１２は、ＩＳ群１１４を駆動するボイスコイル型モータであるＩＳモータ１１３を駆動する。ＩＳモータ駆動回路１１２がＩＳモータ１１３を駆動することにより、ＩＳ群１１４が光軸と垂直な方向に移動される。よって、動きベクトル検出回路１２１は、像ぶれ補正手段であるＩＳ群１１４による像ぶれ補正の結果として生じた補正残りを動きベクトルとして検出していることになる。つまり、本実施形態では、最終補正データに対して、ＩＳ群１１４の光軸と垂直な方向への移動量を追従させるフィードバック制御系を構成している。

なお、動きベクトル検出回路１２１は、例えば、ＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）では、動きベクトル検出を６０Ｈｚ周期で行う。しかし、一般的に、フィードバック制御は、制御したい信号周波数よりも十分高いサンプリング周波数で処理を行う必要があり、６０Ｈｚ周期では、ＤＣ〜数Ｈｚ程度の低い周波数帯域の制御しか行うことができない。この問題に対処するために本実施形態では、角速度センサ１０２の検出信号に基づくジャイロ系補正データによって高周波数帯域のぶれ補正を行う。また、これと共に、ジャイロ系補正データでは検出精度が落ちるＤＣ〜数Ｈｚ程度の低周波数成分のぶれ補正やフレーミングアシスト制御を、動きベクトル処理部１２２の出力であるベクトル系補正データによって行うようにしている。

パンニング判定部１２３は、例えば、撮影者が撮像装置１００に対してパンニング動作を行ったときに、撮像装置１００がパンニングされている状態であるか否かの判定（パンニング判定）を行う。具体的には、パンニング判定部１２３は、Ａ／Ｄ変換器１０５から出力された角速度データに基づいて、撮像装置１００がパンニング状態であるか否かを判定し、その判定結果（パンニング判定結果）をフレーミングアシスト制御部１８６へ供給する。

ここで、パンニング判定部１２３によるパンニング判定及びパンニング制御について、図２を参照して説明する。図２は、パンニング判定部１２３が行う処理を説明するグラフである。図２（ａ）において、横軸は角速度データ（又は角変位データ）の大きさを示しており、縦軸はＨＰＦ１８７のカットオフ周波数を示している。図２（ｂ）において、横軸は角速度データ（又は角変位データ）の大きさを示しており、縦軸は積分器１８８の時定数を示している。

角速度データ（又は角変位データ）の絶対値が、図２（ａ）に示す閾値Ｐａｎ＿ｈｐｆ＿ｔｈ０より大きくなったとき、パンニング判定部１２３は撮像装置１００がパンニング状態であると判定する。パンニング判定部１２３は、パンニング状態であるという判定を行うと、角速度データ（又は角変位データ）の大きさに応じて、ＨＰＦ１８７のカットオフ周波数（遮断周波数）をパンニング状態でないときのカットオフ周波数Ｈｐｆ＿ｆｃ０よりも大きい値に設定する。

角速度データ（又は角変位データ）の絶対値が、図２（ｂ）に示している閾値Ｐａｎ＿ｉｎｔ＿_ｔｈ０より大きくなったとき、パンニング判定部１２３は撮像装置１００がパンニング状態であると判定する。パンニング判定部１２３は、パンニング状態であるという判定を行うと、角速度データ（又は角変位データ）の大きさに応じて、積分器１８８の時定数をパンニング状態でないときの時定数Ｉｎｔ＿ｔｈ０よりも小さい値に設定する。

本実施形態でのパンニング制御とは、ＨＰＦ１８７のカットオフ周波数をパンニング状態でないときのカットオフ周波数Ｈｐｆ＿ｆｃ０よりも大きい値に設定する制御、及び、積分器１８８の時定数をパンニング状態でないときの時定数Ｉｎｔ＿ｔｈ０よりも小さい値に設定する制御を指すものとする。このようなパンニング制御を行うことによって、低周波数帯域のぶれ補正効果を小さくし、撮影者のパンニング動作を妨げないようにすることができる。

次に、撮影者が撮像装置１００を手に持って地面に立ち、同じ地面を移動する被写体を追いかけながら（被写体に対して常に撮影光軸を向けながら）動画撮影を行っている状況を仮定して、ＩＳモータ制御部１８０を構成する各部の機能を説明する。

角速度演算部１８２へは、前述の通り、Ａ／Ｄ変換器１０５から角速度センサ１０２の信号を処理した角速度データが供給される。この角速度データは、地面に対する撮像装置１００の角速度データであり、撮像装置１００先端を上下させるピッチ方向の角速度データと、撮像装置１００先端を左右に振るヨー方向の角速度データとを含む。ここでの説明では、ヨー方向の角速度データについて説明するが、ピッチ方向の角速度データについても、同様の処理が行われる。以下の説明では、ヨー方向の角速度データを「撮像装置角速度ωｃ」と称呼することとする。

また、動きベクトル処理部１２２から角速度演算部１８２へ主被写体の動きベクトルの変位データが供給され、角速度演算部１８２において動きベクトルの変位データは撮像装置１００の角速度相当の角速度に変換される。以下、角速度演算部１８２が算出するこの角速度を「画面上主被写体の角速度ωａ」と称呼することとする。

更に、Ａ／Ｄ変換器１１７から角速度演算部１８２へＩＳ位置検出センサ１１６の信号を加工したデータが供給され、このデータは角速度演算部１８２において撮像装置１００を回転させたときに相当する角速度に変換される。以下、角速度演算部１８２が算出するこの角速度を「ＩＳ駆動による主被写体角速度ωｂ」と称呼することとする。

角速度演算部１８２は、撮像装置角速度ωｃに画面上主被写体の角速度ωａを加算した和からＩＳ駆動による主被写体角速度ωｂを減ずることにより、撮像装置１００の位置基準での主被写体角速度ωｄ（＝ωｃ＋ωａ−ωｂ）が求められる。つまり、撮像装置１００の位置基準での主被写体角速度ωｄとは、撮像装置１００の状態にかかわらず、撮像装置１００が位置する点から見た現物の主被写体の角速度である。角速度演算部１８２は、算出した撮像装置１００の位置基準での主被写体角速度ωｄを、閾半径設定部１８４に供給する。

閾半径設定部１８４は、撮像装置１００の位置基準での主被写体角速度ωｄが１０°／秒未満の場合、判定に用いる閾値である閾半径Ａを±１．５°／秒に設定する。また、閾半径設定部１８４は、撮像装置１００の位置基準での主被写体角速度ωｄが１０°／秒以上の場合、判定に用いる閾半径Ａを±３°／秒に設定する。閾半径設定部１８４は、設定した閾半径Ａを継続時間計測部１８５に供給する。

なお、撮像装置１００の位置基準での主被写体角速度ωｄの大きさに応じて閾半径Ａを切り替えることにより、後述するように、高速移動する主被写体に対しては手持ちによる追従精度が低くても、好ましい位置の推測が可能になる。一方、低速移動する主被写体に対しては、好ましい位置をより精度良く推測することができるようになる。

角速度差分演算部１８３は、角速度演算部１８２と同様に、動きベクトル処理部１２２から取得した動きベクトルの変位データから画面上主被写体の角速度ωａを生成する。また、角速度差分演算部１８３は、ＬＰＦ１８１で低周波域を透過したＩＳ位置検出センサ１１６からの出力値（データ）から、角速度演算部１８２と同様に、ＩＳ駆動による主被写体角速度ωｂ´を生成する。そして、角速度差分演算部１８３は、画面上主被写体の角速度ωａからＩＳ駆動による主被写体角速度ωｂ´を減じることによって角速度差分Δωを（＝ωａ−ωｂ´）を求め、継続時間計測部１８５とフレーミングアシスト制御部１８６へ供給する。

継続時間計測部１８５は、角速度差分演算部１８３から取得した角速度差分Δωが閾半径設定部１８４で設定された閾半径Ａ内に収まっている継続時間を計測し、その継続時間をフレーミングアシスト制御部１８６へ供給する。

フレーミングアシスト制御部１８６へは、パンニング判定部１２３からパンニング判定結果と、角速度差分演算部１８３から角速度差分Δω値と、継続時間計測部１８５から継続時間とが、逐次供給される。フレーミングアシスト制御部１８６は、パンニング判定結果がパンニング中である場合、角速度差分Δωが所定の閾値以内に所定時間以上収まった場合に、フレーミングアシストを開始する。本実施形態では、角速度差分Δωが、先に定めた閾値である閾半径Ａ内に、所定時間として定められた１．１秒以上収まった際に、フレーミングアシストを開始するものとする。一方、パンニング判定結果がパンニング中である場合でも、閾半径Ａ内に連続して角速度差分Δωが１．１秒以上収まらない場合はフレーミングアシスト制御は行わず、パンニング判定結果がパンニング中でない場合もフレーミングアシスト制御は行わない。フレーミングアシスト制御部１８６は、主被写体を画面の任意の位置に定まるように制御するためのデータが加減算器１８９へ供給する。

次に、フレーミングアシスト制御部１８６によるフレーミングアシスト制御について、図３乃至図６を参照して詳細に説明する。なお、フレーミングアシスト制御部１８６が実行するフレーミングアシスト制御は、動く被写体を撮像装置を手持ちで画面内に入るように追い写しする際の制御である。フレーミングアシスト制御部１８６は、撮影映像の画面内の主被写体を判別し、像ぶれ補正機能を利用して画面内の任意の位置に主被写体が位置するように制御する。以下の説明でも、撮影者は、撮像装置１００を手に持って地面に立ち、同じ地面を移動する被写体を追いかけながら動画撮影を行っているものとする。

図３は、フレーミングアシスト制御部１８６が実行する処理の流れを示すフローチャートである。フレーミングアシスト制御部１８６はマイクロコンピュータ１０１が実行する機能をブロックとして規定したものであり、よって、図３に示す各処理は、マイクロコンピュータ１０１が所定のプログラムを実行することによって実現される。動画撮影が開始されると、ステップＳ３０１において、フレーミングアシスト制御部１８６は、パンニング判定結果がパンニング中であるか否かを判定し、パンニング中でない場合（Ｓ３０１でＮＯ）、ステップＳ３０１の判定を繰り返す。フレーミングアシスト制御部１８６は、パンニング中である場合（Ｓ３０１でＹＥＳ）、処理をステップＳ３０２へ進める。

ステップＳ３０２において、フレーミングアシスト制御部１８６は、角速度差分Δωが閾半径Ａの範囲内に１．１秒以上収まったか否かを判定し、収まらない場合（Ｓ３０２でＮＯ）、処理をステップＳ３０１へ戻す。フレーミングアシスト制御部１８６は、角速度差分Δωが閾半径Ａの範囲内に１．１秒以上収まる場合（Ｓ３０２でＹＥＳ）、フレーミングアシスト制御部１８６は、処理をステップＳ３０３へ進める。

ステップＳ３０３において、フレーミングアシスト制御部１８６は、画面上で主被写体を配置するための目標位置である目標点ＰＧを設定する。続くステップＳ３０４において、フレーミングアシスト制御部１８６は、ＩＳ群１１４による目標点ＰＧへの補正を開始する。そして、ステップＳ３０５において、フレーミングアシスト制御部１８６は、ＩＳ群１１４の補正量が±４０％（第１の閾値）以上であるか否かを判定する。なお、ＩＳ群１１４の補正量は、ＩＳ群１１４の駆動限度である最大変位量（変位位置）を±１００％としたときのＩＳ群１１４の実際の変位量（変位位置）を示しており、中心位置（駆動されていない位置）では０％となる。フレーミングアシスト制御部１８６は、ＩＳ群１１４の補正量が±４０％以上である場合（Ｓ３０５でＹＥＳ）、処理をステップＳ３０６へ進め、ＩＳ群１１４の補正量が±４０％未満である場合（Ｓ３０５でＮＯ）、処理をステップＳ３０４へ戻す。

ステップＳ３０６において、フレーミングアシスト制御部１８６は、目標位置を目標点ＰＧから新たな目標点へ変更し、補正を継続する。ここで、新たな目標点は、目標源ＰＧを中心とする所定の半径Ｂの円（以下「目標円ＰＢ」という）の円周上の１点であり、その詳細は図５（ｅ）等を参照して説明する。続くステップＳ３０７において、フレーミングアシスト制御部１８６は、ステップＳ３０５と同様に、ＩＳ群１１４の補正量が±４０％以上であるか否かを判定する。フレーミングアシスト制御部１８６は、ＩＳ群１１４の補正量が±４０％以上である場合（Ｓ３０７でＹＥＳ）、処理をステップＳ３０８へ進め、ＩＳ群１１４の補正量が±４０％未満である場合（Ｓ３０７でＮＯ）、処理をステップＳ３０４へ戻す。

ステップＳ３０８において、フレーミングアシスト制御部１８６は、ＩＳ群１１４の補正量が±８０％（第２の閾値）以上であるか否かを判定する。フレーミングアシスト制御部１８６は、ＩＳ群１１４の補正量が±８０％以上である場合（Ｓ３０８でＹＥＳ）、本処理を終了させ、ＩＳ群１１４の補正量が±８０％未満である場合（Ｓ３０８でＮＯ）、処理をステップＳ３０６へ戻す。

上述した図３のフローチャートの制御を具体的に図４乃至図６を参照して説明する。図４は、ヨー方向の角速度、画面上での主被写体の位置、ＩＳ群１１４の位置の時間による変化を示すグラフである。ヨー方向は撮像装置１００の正面（撮像光学系１１５の光軸が向かう方向）を左右（水平方向）に振った際の回転方向と一致する。

図４（ａ）では、横軸に経過時間〔秒〕、縦軸に角速度〔°／秒〕が取られており、第１のグラフ４０１、第２のグラフ４０２及び第３のグラフ４０３が示されている。第１のグラフ４０１は、Ａ／Ｄ変換器１０５からの出力である撮像装置角速度ωｃの経時変化を示している。第２のグラフ４０２は、角速度演算部１８２が算出した主被写体角速度ωｄの経時変化を示している。第３のグラフ４０３は、角速度差分演算部１８３が算出した角速度差分Δωの経時変化を示している。

図４（ｂ）では、横軸に経過時間〔秒〕、縦軸に角速度〔°／秒〕が取られており、第４のグラフ４０４と第５のグラフ４０５が示されている。第４のグラフ４０４は、ＩＳ駆動速度を撮像装置に対して実際の被写体像が補正される角速度相当に変換したＩＳ駆動による主被写体角速度ωｂを示している。第５のグラフ４０５は、角速度演算部１８２が算出した画面上主被写体の角速度ωａを示している。

図４（ｃ）では、横軸に経過時間〔秒〕、縦軸に画面上の左右位置〔％〕が取られており、第６のグラフ４０６と第７のグラフ４０７が示されている。なお、縦軸に関して、後述する図５及び図６の画面内で主被写体である人物の重心がヨー方向に相当する左右方向の中心にあるときに０％、右端にあるときに＋１００％、左端にあるときに−１００％であると定義する。第６のグラフ４０６は、画面上主被写体位置Ｇを示しており、画面上主被写体位置Ｇは、ここでは、主被写体の重心位置として定義する。第７のグラフ４０７は、図３のステップＳ３０５で説明した、ＩＳ群１１４の実際の変位量（ＩＳ群１１４の実際の補正量、以下「ＩＳ群位置」という）を示している。

図４の時刻ｔ１（０秒）から時刻ｔ３（２．５秒）までの間は「目標位置推定期間：７０１」であり、この期間は手ぶれである高周波小振幅のぶれのみをＩＳ群１１４で補正している。時刻ｔ２（１．４秒）から時刻ｔ３（２．５秒）までの間は、第３のグラフ４０３（Δω）が±３°／秒以内に入っている１．１秒間の間である。時刻ｔ３で１点の目標位置である目標点ＰＧの決定（ステップＳ３０３）が行われ、時刻ｔ３移行はフレーミングアシスト制御部１８６によるフレーミングアシスト制御が実行される「フレーミングアシスト期間：７０２」となる。

時刻ｔ３（２．５秒）から時刻ｔ４（４．４秒）の間は、画面上の主被写体の重心が目標点ＰＧに一致するように制御する「目標点ＰＧでの制御期間：７０３」となる。時刻ｔ４（４．４秒）で、第７のグラフ４０７（ＩＳ群位置）が−４０％を越えている（ステップＳ３０５でＹＥＳ）。そのため、目標位置を目標円ＰＢ（目標点ＰＧを中心とする半径Ｂの円）の円周上の新たな目標点に変更し、新たな目標点に主被写体の重心が一致するようにステップＳ１０６の制御を行う「目標円ＰＢでの制御期間７０４」となる。時刻ｔ６（６．２秒）で第７のグラフ４０７（ＩＳ群位置）ＩＳ群１１４の位置が−４０％以内に入ったため、時刻ｔ６以降は、再度、画面上の主被写体の重心が目標点ＰＧに一致するように制御する「目標点ＰＧでの制御期間７０５」となっている。

図５は、撮影映像における主被写体の画面内での位置の変化の例を示す第１の図であり、図６は、撮影映像における主被写体の画面内での位置の変化の例を示す第２の図であり、これらは、撮影映像の画面内での主被写体、目標点及び目標円の関係を示している。図５及び図６の各図に示される画像は、撮像装置１００のビューファインダの画面や背面等に設けられる液晶ディスプレイ等の表示装置の表示領域に表示される。図５及び図６において、主被写体は、画面の左から右へ向かって走っている人物であり、撮影者は、撮像装置１００を手持ちした状態で、主被写体の人物が画面内に収まるようにパンニングしながら動画撮影を行っている。

図５（ａ）は、撮影映像での図４中の時刻ｔ１での画像を示している。図５（ａ）の画像から、主被写体検出回路１９０は、画面内の主被写体が左から右に向かって走っている人物であると認識し、その人物の面積の中心を主被写体の重心として検出する。

主被写体である人物の重心位置は、ヨー方向に相当する左右方向の中心にあるときに０％、右端にあるときに＋１００％、左端にあるときに−１００％であると表現する。すると、撮影が開始された時刻ｔ１において、撮像装置１００は角速度センサ１０２からの高周波ぶれ成分のみ補正している状態であり、主被写体（人物）の重心は、ヨー方向に６０％、ピッチ方向に−２２％位置にある。

前述の通り、図４（ｃ）の第６のグラフ４０６は、主被写体である人物の重心位置で示される画面上主被写体位置Ｇの経時変化を示しているため、図４（ｃ）の第４のグラフ４０６は、時刻ｔ１において＋６０％を示している。このとき、図４（ａ）の第１のグラフ４０１で示される撮像装置角速度ωｃは１４°／秒を示しているため、ステップＳ３０１でのパンニング判定部１２３による判定結果は、「パンニング中である」との判定、つまり、「ＹＥＳ」となる。

図５（ｂ）は、撮影映像での図４中の時刻ｔ２での画像を示している。時刻ｔ１から時刻ｔ２にかけては、撮影者が、撮像装置１００を右方向に主被写体よりも速い角速度でパンニングを行っている。そのため、図５（ａ）から図５（ｂ）への変化に示されるように、主被写体の重心は画面左側へ移動し、ヨー方向の画面上主被写体位置Ｇは＋６０％から−２０％へ変化している。よって、画面上主被写体位置Ｇを示す図４（ｃ）の第６のグラフ４０６も、揺らぎながら＋６０％から−２０％へ変化している。

時刻ｔ１から時刻ｔ２の間では、図４（ａ）の第２のグラフ４０２で示される撮像装置１００の位置基準での主被写体角速度ωｄは１０°／秒以上であるから、閾半径Ａは±３°／である。また、図４（ａ）の第３のグラフ４０３で示される角速度差分Δωが±３°以内である時間が１．１秒以上は続いていない。そのため、図３のステップＳ３０２の判定は「ＮＯ」となり、制御はステップＳ３０１へ戻っている。

図５（ｃ）は、撮影映像での図４中の時刻ｔ３での画像を示している。時間間隔が１．１秒である時刻ｔ２から時刻ｔ３にかけて、図５（ｂ）から図５（ｃ）への変化に示されるように、主被写体のヨー方向の画面上主被写体位置Ｇは−２０％から−３０％へ変化している。この間、図４（ａ）の第３のグラフ４０３で示される角速度差分Δωが±３°の範囲に収まっているので、図３のステップＳ３０２の判定は「ＹＥＳ」となり、制御はステップＳ３０３へ進む。

ステップＳ３０３では、画面上の目標点ＰＧの設定が行われ、ヨー方向については、時刻ｔ２からｔ３の１．１秒の間の画面上主被写体位置Ｇの平均値である−２７％に設定され、同様にして、ピッチ方向については＋５％に設定される。このように、本実施形態では、一定時間（１．１秒）にわたって画面内での画面上主被写体位置Ｇが安定している場合に、撮影者が画面のその位置に主被写体を配置する構図を考えていると推測し、その位置を目標点ＰＧに設定する。これにより、撮影者の望む構図を実現するフレーミングアシストが可能になる。

時刻ｔ３から、ステップＳ３０４のＩＳ群１１４による目標点ＰＧへの補正が開始され、フレーミングアシスト制御部１８６から加減算器１８９へ、目標点ＧＰに主被写体の重心が一致するようにデータが供給されて、ＩＳ群１１４が駆動される。

図５（ｄ）は、撮影映像での図４中の時刻ｔ４での画像を示している。時刻ｔ３から時刻ｔ４までは、図４（ｃ）の第７のグラフ４０７で示されるＩＳ群位置は±４０％以内であるため、ステップＳ３０５の判定は「ＮＯ」、制御はステップＳ３０４に戻される。これにより、画面上主被写体位置Ｇが目標点ＰＧに一致するようにＩＳ群１１４が制御され、図５（ｃ）及び図５（ｄ）に示されるように、画面内での主被写体の重心が上下左右にずれない構図での撮影が続けられることになる。しかし、時刻ｔ４において図４（ｃ）の第７のグラフ４０７で示されるＩＳ群位置が−４０％に到達したため、ステップＳ３０５の判定が「ＮＯ」となり、制御はステップＳ３０６へ進められる。そのため、目標位置が目標点ＰＧから半径Ｂの目標円ＰＢの円周上に変更され、補正が継続される。

図５（ｅ）は、撮影映像での図４中の時刻ｔ５での画像を示している。図５（ｅ）中の目標円ＰＢの半径上の１点を目標位置として、画面上主被写体位置Ｇが目標円ＰＢの外側に出そうになったときに、主被写体の重心が目標円ＰＢの円周上の一番近い点に一致するようにＩＳ群１１４は制御される。ここでは、目標円ＰＢは、目標点ＰＧを中心とし、半径Ｂが±１８％の円弧としている。

画面上の目標が、点である目標点ＰＧから目標円ＰＢの円周上に変更されたため、時刻ｔ４から時刻ｔ５の間は、撮像装置１００のパンニング角速度が、実際の主被写体の角速度より速い状態にある。そのため、画面上主被写体位置Ｇが目標円ＰＢ上に一致するまでは、ＩＳ群１１４の補正量は−４０％のままとなる。これにより、画面上主被写体位置Ｇは、図５（ｄ）の目標点ＰＧから図５（ｅ）の目標点ＰＧの左上の目標円ＰＢの円弧上までずれて行ってしまう。

このずれを撮影者が認識し、撮影者が自力で目標点ＰＧに一致するようにパンニング速度を調整（この場合は、やや遅くする）すれば、ＩＳ群１１４の位置は−４０％から０％に近づいて、ＩＳ群１１４の補正可能な角度が確保され、ＩＳ群１１４によるフレーミングアシストを続けることができる時間は長くなる。

図５（及び図４）の例では、時刻ｔ５において、図５（ｅ）に示されるように、画面上主被写体位置Ｇが目標点ＰＧ左上の目標円ＰＢの円弧上に到達している。本実施形態では、時刻ｔ５から時刻ｔ６の間も、撮像装置１００のパンニング角速度が、実際の主被写体の角速度より速いため、画面上主被写体位置Ｇは目標円ＰＢの円弧上の左外側へずれて行こうとする。よって、図４（ｃ）の第７のグラフ４０７で示されるＩＳ群位置は、時刻ｔ５以降では−４０％よりさらにマイナスの量だけ補正して、画面上主被写体位置Ｇが目標円ＰＢの円弧上に一致する様に調整される。

図６（ａ）は、撮影映像での図４中の時刻ｔ６での画像を示している。時刻ｔ５以降では、ＩＳ群位置が−４０％乃至−７０％の間にあるため、ステップＳ３０７の判定は「ＹＥＳ」となり、制御はステップＳ３０８へ進められる。ステップＳ３０８の判定は「ＮＯ」となるために、制御はステップＳ３０６へ戻されて、目標位置を目標円Ｂの円周上としてフレーミングアシストが続行される。よって、画面上主被写体位置Ｇは、図６（ａ）に示されるように、目標円ＰＢの円弧上を時計回りに移動する。

時刻ｔ５以降の時刻５．７秒以降から、撮影者が、自分の意図している目標点ＰＧからすれた位置に主被写体がいることを認識し、その補正のために撮像装置１００のパンニングの速度を実際の主被写体の速度より遅くしている。これにより、図４（ｃ）の第７のグラフ４０７で示されるＩＳ群位置は、−７０％から−４０％へと、その絶対値が小さくなっている。そして、図４（ｃ）の第７のグラフ４０７で示されるように、時刻ｔ６においてＩＳ群位置が−４０％未満になったために、ステップＳ３０７の判定が「ＮＯ」となり、制御はステップＳ３０４へ戻される。よって、ＩＳ群１１４による目標位置が目標点ＰＧに変更されて、フレーミングアシストが続行されることになる。

図６（ｂ）は、撮影映像での図４中の時刻ｔ６と時刻ｔ７の中間の時刻６．３秒のときの画像を示している。また、図６（ｃ）は、撮影映像での図４中の時刻ｔ７での画像を示している。時刻ｔ６から時刻ｔ７にかけて、画面上主被写体位置Ｇは、目標円ＰＢの周上から目標点ＰＧに移動していく。

図６（ｄ）は、撮影映像での図４中の時刻ｔ８での画像を示している。時刻ｔ７から時刻ｔ８へかけては、図４（ｃ）の第７のグラフ４０７で示されるようにＩＳ群位置が±４０％以内に入っているため、ステップＳ３０７の判定は「ＮＯ」となり、制御はステップＳ３０４に戻り、ＩＳ群１１４による画面上主被写体位置を目標点ＰＧに合わせる補正が続けられる。

なお、ステップＳ３０８での判定が「ＹＥＳ」となる場合には、フレーミングアシスト制御は終了となる。これにより、角速度センサ１０２からの手ぶれに起因する高周波小振幅のぶれのみをＩＳ群１１４で補正することとなり、手ぶれに起因するぶれ補正を更に長時間にわたって続けることが可能になる。

以上の説明の通り、本実施形態では、パンニング判定によって、パンニングしていない際は、フレーミングアシスト制御を行わない。一方、通常の手ぶれ補正のみを行ってＩＳ群１１４の可能な補正角度を手ぶれ補正に有効に利用して、パンニングを行っているときには、ＩＳ群１１４を用いてフレーミングアシストを行う。これにより、移動する被写体を画面内に収めやすくすることができる。

また、本実施形態では、画面上主被写体の角速度とＩＳ駆動による主被写体角速度との差分が、一定時間の間、一定値以内に収まった場合に、その時間内の画面内の主被写体の平均的な位置を撮影者が所望する主被写体の画面上の位置であると推測する。そして、その位置を目標位置として、画面上主被写体位置Ｇが目標位置に一致するようにフレーミングアシスト制御を行う。これにより、撮影者が所望する構図、移動する主被写体を撮影することができる。

なお、上記実施形態では、撮影者が所望する主被写体の画面上位置を推測する際に、撮像装置１００の位置基準での主被写体角速度応じて閾半径Ａを切り替えた。このように、高速移動する主被写体に対しては閾半径Ａを大きくすることで、手持ちによる追従精度が低くても、撮影者が所望する主被写体の画面上位置の推測を可能としている。また、逆に低速移動する主被写体に対しては閾半径Ａを小さくすることで、撮影者が所望する主被写体の画面上位置を高い精度で推測可能としている。

更に上記実施形態では、ＩＳ群１１４の可能な補正角の残量が少なくなったときに、目標位置を目標点ＰＧから、その外側の目標円ＰＢの円周上に変更する。こうして撮影者が所望する構図から少しずらした構図とすることで、撮影者に目標点ＰＧに手動で合わせる動作を促す、これにより、ＩＳ群１１４の補正可能な補正角を拡大して、フレーミングアシスト制御が可能な時間を延長することができ、よって、長い時間にわたって主被写体を所望の画面内位置に配置することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態で設定した各種の値は、主被写体の大きさや移動速度等に応じて変更が可能である。例えば、目標点ＰＧを目標円ＰＢの円周上へ変更するときの判定基準としてのＩＳ群１１４の補正量を±４０％に設定したが、これに限られず別の値（例えば、２０％〜５０％の範囲の任意の値）に設定してもよい。同様に、フレーミングアシスト制御の終了を判断するＩＳ群１１４の補正量を±８０％に設定したが、これを別の値に設定してもよい。更に、目標円ＰＢの半径Ｂも、画面（の広さ）に対する主被写体の大きさに応じて、主被写体が画面内に収まるように変更することができる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０１ マイクロコンピュータ
１０２ 角速度センサ
１１４ ＩＳ群
１１５ 撮像光学系
１１６ ＩＳ位置検出センサ
１１９ 撮像素子
１２１ 動きベクトル検出回路
１２３ パンニング判定部
１８２ 主被写体角速度演算部
１８３ 角速度差分演算部
１８４ 閾半径設定部
１８５ 継続時間計測部
１８６ フレーミングアシスト制御部
１９０ 主被写体検出回路

Claims (7)

1. 撮像光学系を通して結像された被写体像を撮像素子によって画像に変換する撮像装置であって、
   前記画像の像ぶれを低減させる像ぶれ補正手段と、
   前記画像に含まれる主被写体を検出する主被写体検出手段と、
   前記主被写体の前記画像での動きベクトルを検出する動きベクトル検出手段と、
   前記撮像装置の角速度を検出する角速度検出手段と、
   前記像ぶれ補正手段の補正量を検出する補正量検出手段と、
   前記撮像装置の位置に対する前記主被写体の角速度と前記撮像装置の角速度との差分を求める差分演算手段と、
   前記差分が所定の閾値以内に所定時間以上収まった場合に、前記画像での前記主被写体の位置を目標位置に設定し、前記画像において前記主被写体が前記目標位置に一致するように前記像ぶれ補正手段を制御する制御手段とを備えることを特徴とする撮像装置。
2. 前記制御手段は、前記補正量検出手段によって求められる前記像ぶれ補正手段の像ぶれ補正量に応じて、前記目標位置を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記像ぶれ補正手段による像ぶれ補正量が第１の閾値より小さい場合には、前記目標位置を１点に設定し、前記像ぶれ補正手段による像ぶれ補正量が前記第１の閾値より大きく第２の閾値より小さい場合には、前記目標位置を所定の半径の円周上に設定することを特徴とする請求項２に記載の撮像装置。
4. 前記差分演算手段は、前記動きベクトルの値と前記補正量検出手段の出力値とから前記差分を求めることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記所定の閾値は、前記主被写体の角速度に応じて設定されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記撮像装置がパンニングされているか否かを判定するパンニング判定手段を備え、
   前記制御手段は、前記撮像装置がパンニングされている場合に、前記画像において前記主被写体を前記目標位置に一致させる制御を行い、前記撮像装置がパンニングされていない場合には、前記主被写体を前記画像において前記目標位置に一致させる制御を行わないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 撮像光学系を通して結像された被写体像を撮像素子によって画像に変換し、像ぶれ補正手段によって前記画像の像ぶれを低減させる撮像装置の制御方法であって、
   前記撮像装置の角速度を検出するステップと、
   前記画像に含まれる主被写体を検出し、前記主被写体の前記画像での動きベクトルを検出することにより、前記撮像装置の位置に対する前記主被写体の角速度と前記撮像装置の角速度との差分を求めるステップと、
   前記差分が所定の閾値以内に所定時間以上収まった場合に、前記画像における前記主被写体の位置を目標位置に設定し、前記画像において前記主被写体が前記目標位置に一致するように、前記像ぶれ補正手段による像ぶれ補正量を調整するステップとを有することを特徴とする撮像装置の制御方法。

Images