JP2017090711A - 像振れ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】流し撮り撮影において、精度の高い像振れ補正を可能とする像振れ補正装置を提供する。【解決手段】撮像部により撮像された連続する少なくとも２つの画像を用いて画面上の複数の位置について被写体の動き量を検知する第１の検知部と、第１の検知部の検知結果に基づいて、画面上の被写体の範囲を決定する決定部と、被写体の範囲内の被写体位置の情報と、第１の検知部と装置の動きを検知する第２の検知部の検知結果に基づく被写体位置の動き量の情報とを組で保持する保持部と、保持部に保持された被写体位置の情報と被写体位置の動き量の情報とに基づいて、被写体位置における被写体像の振れを補正するように、被写体像の振れを補正する補正部の動作を制御する制御部とを具備する。【選択図】 図１

Description

本発明は、撮像装置において、流し撮りをする場合に発生する像振れを補正する技術に関するものである。

従来より、移動している被写体のスピード感を表現する撮影技術として、流し撮りという手法が知られている。この撮影技術では、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮り撮影においては撮影者が被写体の動きに合わせてカメラをパンニングする必要があるが、パンニング速度が速すぎたり遅すぎたりすると、被写体の移動速度とパンニング速度の間に差が発生し、被写体がブレた画像になることも多い。

そこで、特許文献１では、「露光前に算出した撮像装置に対する被写体の相対角速度」と「角速度センサから得た露光中の撮像装置の角速度」に基づいて、露光中のレンズの光学系の一部または撮像部を移動させて被写体のブレを補正する方法が提案されている。撮像装置に対する被写体の相対角速度は、「時間的に連続した画像から検出した被写体の像面上の移動量」と「角速度センサ」の出力とから算出される。

特開平４−１６３５３５号公報

しかしながら、上述の特許文献１に開示された従来技術では、比較的大きな被写体において撮影者の希望する位置でない位置のブレを補正してしまう可能性がある。図１７は撮影者から見て右から左へ動いている電車の模式図であるが、３つの点（Ａ，Ｂ，Ｃ）を撮影者からみた角速度はそれぞれ異なることが分かっている。図１８は、図１７の３つの点の角速度をある期間サンプリングした結果をグラフにした図であり、横軸が時間を示し、左から右へ時間が経過している。また、縦軸が角速度を示し、下から上へ角速度が増加している。図１８からわかるように、ある時刻に被写体のどの部分の角速度を算出するかによって、その被写体の角速度は異なってくる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、流し撮り撮影において、精度の高い像振れ補正を可能とする像振れ補正装置を提供することである。

本発明に係わる像振れ補正装置は、撮像手段により撮像された連続する少なくとも２つの画像を用いて画面上の複数の位置について被写体の動き量を検知する第１の検知手段と、前記第１の検知手段の検知結果に基づいて、画面上の被写体の範囲を決定する決定手段と、前記被写体の範囲内の被写体位置の情報と、前記第１の検知手段と装置の動きを検知する第２の検知手段の検知結果に基づく前記被写体位置の動き量の情報とを組で保持する保持手段と、前記保持手段に保持された前記被写体位置の情報と前記被写体位置の動き量の情報とに基づいて、前記被写体位置における被写体像の振れを補正するように、被写体像の振れを補正する補正手段の動作を制御する制御手段と、を具備することを特徴とする。

本発明によれば、流し撮り撮影において、精度の高い像振れ補正を可能とする像振れ補正装置を提供することができる。

本発明の像振れ補正装置を搭載した撮像装置の第１の実施形態であるカメラの構成を示すブロック図。 像振れ補正装置の構成を示すブロック図。 パンニング制御の動作の一例を示すフローチャート。 パンニングが行われている場合の横方向の角速度データと、所定値α、βの関係を示した図。 流し撮りアシストモードにおける像振れ補正装置の構成を示すブロック図。 流し撮りアシストモードにおける撮影動作を示すフローチャート。 動き量検出部の動作を示すフローチャート。 テンプレート枠の配置状態を示す図。 動き量のヒストグラムを示す図。 主被写体エリアを示す図。 テンプレート枠の配置状態を示す図。 第１の実施形態における被写体位置別の角速度のデータの例を示す図。 被写体角速度決定の動作を示すフローチャート。 第２の実施形態における被写体位置別の角速度のデータの例を示す図。 第２の実施形態における被写体の動き量取得動作を示すフローチャート。 手ブレ量を説明するための図。 被写体位置の違いによる角速度の違いを示した図。 大きな被写体の角速度の状態を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の像振れ補正装置を搭載した撮像装置の第１の実施形態であるカメラの構成を示すブロック図である。図１において、カメラ１００はカメラ本体にレンズが一体的に組み込まれている。ただし、本発明は、レンズとカメラ本体が一体的に構成されたカメラに限らず、カメラ本体に対してレンズが着脱可能に構成された一眼レフタイプのカメラに対しても適用可能である。

カメラ１００は、主撮影光学系１０２、焦点距離を変更可能なズームレンズ群１０３、カメラの振れに起因する光軸に対する像振れを光軸と直交する方向に移動することにより光学的に補正するシフトレンズ群１０４を有する撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、被写体像を後述する撮像素子１１２上に結像させる。また、撮影レンズユニット１０１は、ズームレンズ群１０３の位置を検出するズームエンコーダ１０５、シフトレンズ群１０４の位置を検出する位置センサ１０６、カメラの振れを検出する角速度センサ１０７を備える。さらに、角速度センサ１０７の出力を増幅するアンプ１０８、カメラ制御用マイクロコンピューター（以下マイコン）１３０、シフトレンズ群１０４を駆動するドライバ１０９、シフトレンズ群１０４の位置センサ１０６の出力を増幅するアンプ１１０を備える。

カメラ１００は、また、シャッター１１１、ＣＭＯＳセンサ等の撮像素子１１２、アナログ信号処理回路１１３、カメラ信号処理回路１１４、撮像素子１１２およびアナログ信号処理回路１１３の動作タイミングを設定するタイミングジェネレータ１１５を備える。また、電源スイッチ、レリーズスイッチ、流し撮りアシストモードの選択スイッチ等で構成されるカメラ操作スイッチ群１１６、シャッター駆動用モータ１１７、シャッター駆動用モータ１１７を駆動するドライバ１１８を備える。また、撮影した映像を記録するメモリカード１１９、カメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（以下ＬＣＤ）１２０を備える。ＬＣＤ１２０は、撮影した画像を連続して表示することによりライブビュー表示を行うことができる。また、ライブビュー表示の画面上に重ねるように枠（以下像振れ補正枠）が表示され、撮影者（ユーザ）は像振れ補正枠を動かすことにより像振れを抑える位置をカメラに指示することができる。また、像振れ補正枠は任意の位置に撮影者が変更可能である。図８には、像振れ補正枠１００３が示されている。

カメラ信号処理回路１１４は、動き量検出部１３５を備える。マイコン１３０は、像振れ補正制御を行う像振れ補正制御部１３１、流し撮りアシスト用の制御を行う流し撮り制御部１３２、シャッターを制御するシャッター制御部１３３、被写体の角速度を算出する被写体角速度算出部１３４を備える。マイコン１３０はその他にもフォーカスレンズ制御、絞り制御等も行うが、説明を分かりやすくするために、図１では省略している。また、像振れ補正のためには、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正を行うが、２つの軸について全く同じ構成であるため、ここでは１軸分のみについて記載している。図１において、操作スイッチ群１１６によりカメラの電源がＯＮされると、その状態変化をマイコン１３０が検出し、カメラ１００の各回路への電源供給および初期設定が行われる。

流し撮りアシストモードの設定が行われていない通常モードの状態では、角度速度センサ１０７が手ブレ等によるカメラ１００の振れを検出し、その検出結果を用いて像振れ補正制御部１３１により、シフトレンズ群１０４を駆動して像振れ補正動作が行われる。

ここで像振れ補正機能に関して説明する。図２は像振れ補正装置の構成を示すブロック図であり、図１と共通の構成については同じ符号を付し、説明を省略する。図２において、像振れ補正制御部１３１は、Ａ／Ｄ変換器４０１、フィルタ演算部４０２、積分器４０３、加算器４０４、ＰＷＭ出力部４０５、Ａ／Ｄ変換器４０６、パンニング制御部４０７を備える。Ａ／Ｄ変換器４０１は、角速度センサ１０７で検出された振れ信号をデジタル信号に変換する。角速度センサ１０７の出力データのサンプリングは１〜１０ｋＨｚ程度の周波数で行われる。ハイパスフィルタ（ＨＰＦ）等で構成されるフィルタ演算部４０２は、角速度センサ１０７の出力に含まれているオフセット成分の除去を行い、またカットオフ周波数を変更することによりパンニング対策を行う。積分器４０３は、シフトレンズの駆動目標データを生成するために角速度データを角変位データに変換する。Ａ／Ｄ変換器４０６は、シフトレンズ群１０４の位置を検出する位置センサ１０６の出力をデジタルデータに変換する。加算器４０４は、シフトレンズ群１０４の駆動目標値から現在のシフトレンズ位置を減算してシフトレンズ群１０４の実際の駆動量のデータを算出する。ＰＷＭ出力部４０５は、算出された駆動量のデータをシフトレンズ駆動用のドライバ１０９に出力する。パンニング制御部４０７は、角速度データの状態からカメラ１００がパンニングされているか否かを判定する。また、パンニングされていると判定された場合は、フィルタ演算部４０２のカットオフ周波数の変更制御、および積分器４０３の出力の調整を行う。

図３は、マイコン１３０内の像振れ補正制御部１３１によるパンニング制御の動作の一例を示すフローチャートである。以下、パンニング制御について、図３を用いて説明する。

図３において、Ｓ５０１では、Ａ／Ｄ変換器４０１でデジタル値に変換された角速度データの平均値（所定サンプリング回数分の平均値）が所定値αよりも大きいか否かが判定される。所定値α以下の場合はパンニングが行われていないと判断される。所定値αよりも大きい場合は、Ｓ５０２において、所定値βより大きいか否かが判定される。そして、所定値β以下の場合は、ゆっくりとしたパンニングが行われていると判断される。また、所定値βよりも大きい場合は、速いパンニングが行われていると判断し、Ｓ５０３でフィルタ演算部４０２内にあるＨＰＦのカットオフ周波数を最大値に設定し、Ｓ５０４で像振れ補正制御を強制的にＯＦＦとする。これは、ＨＰＦのカットオフ周波数を高くすることによりシフトレンズが徐々に停止するようにし、像振れ補正制御をＯＦＦしたときの違和感をなくすためである。また、速いパンニング時は手ブレの大きさに対してパンニングによる移動量が非常に大きくなるため、像振れ補正をＯＦＦすることで手ブレが残っても違和感はないためである。この設定を行わず、パンニングを大きな振れとして補正しようとすると、パンニング開始時には画像の振れが停止するが、その後シフトレンズ群１０４が補正端に到達した瞬間に突然画像が大きく動き、非常に不自然な動きとして見えてしまう。

その後、Ｓ５０５では、積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更することで、シフトレンズ群１０４を初期位置に動かすようにする。これは次に像振れ補正動作を再開する場合に、シフトレンズ群１０４の位置が駆動範囲の初期位置にあることが望ましいためである。

一方、Ｓ５０２で角速度データの平均値が所定値β以下であった場合（ゆっくりとしたパンニングが行われていると判断された場合）はＳ５０６へと進む。そして、角速度データの大きさに応じてＨＰＦのカットオフ周波数を設定する。これは、ゆっくりとしたパンニングが行われている場合は手ブレの影響を完全に無視することができないためであり、パンニング時の画像の追従性を不自然にならない程度に保ちながら、手ブレの補正を行うためである。

また、Ｓ５０１で角速度データの平均値が所定値α以下であった場合（パンニングが行われていないと判断された場合）は、Ｓ５０７でＨＰＦのカットオフ周波数を通常時の値に設定する。そして、速いパンニングでない場合は、Ｓ５０８において像振れ補正制御の強制ＯＦＦ設定を解除する。

図４はパンニングが行われている場合の横方向の角速度データと、所定値α、βの関係を示した図であり、角速度データ７０１の例が示されている。この例では、右方向にパンニングした場合に＋方向の出力、左方向にパンニングした場合に−方向の出力となる。図４の例では、右方向の急激なパンニングと、左右方向のゆっくりとしたパンニングが検出されている。図４からわかるように、パンニング中は角速度データが初期値（ここでは０）から大きく外れる。そのため、このデータを積分してシフトレンズの駆動目標値を算出した場合、ＤＣ的なオフセット成分により、積分器４０３の出力が非常に大きな値となり、制御不能状態になってしまう。そのため、パンニングが検出された場合は、ＨＰＦのカットオフ周波数を高く変更することにより、ＤＣ成分をカットすることが必要となる。急激なパンニングの場合は、特に顕著になるために、よりカットオフ周波数を上げることにより、積分器４０３の出力が増大しないようにする。また、パンニング速度が速い場合は、パンニング速度による画像の動きが手ブレに対して非常に大きくなるため、パンニング方向に関して像振れ補正機能をＯＦＦとしても特に違和感は生じない。以上のようにパンニング制御が行われることにより、パンニング中のライブビュー画像の表示において、違和感のない画像をモニタすることが可能となる。

次に、流し撮りアシストモードについて説明する。図１において、操作スイッチ群１１６により流し撮りアシストモードが設定されると、カメラ信号処理回路１１４内の動き量検出部１３５は、撮像した連続するフレームの映像から被写体の動き量を検出し出力する。そして、マイコン１３０は、この動き量と、角速度センサ１０７で検出された角速度データを受信する。

ここで、角速度データはカメラ１００の流し撮り速度に対応しているため、角速度データと、主被写体の像面上の移動量とレンズの現在の焦点距離から算出される角速度との差分を算出すると、それはカメラに対する主被写体の角速度となる。被写体角速度算出部１３４では、ライブビューのモニタ用の画像を処理するタイミングで、毎フレームにつき、この主被写体の角速度を算出している。また、被写体角速度算出部１３４は、算出した被写体の角速度と算出時の画像が生成された時刻の組み合わせ情報の過去数フレーム分を流し撮り制御部１３２へ送信する。

図５は流し撮りアシストモードにおける像振れ補正装置の構成を示すブロック図であり、図１、図２と共通の構成に対しては同じ符号を付している。図５において、流し撮り制御部１３２は、カメラ情報取得部６０１、角速度データ出力部６０２、被写体角速度決定部６０３、加算器６０４、第２の積分器６０５、設定変更部６０６を備える。カメラ情報取得部６０１は、特に、流し撮りアシストモードの設定情報、レリーズ情報を取得する。角速度データ出力部６０２は、所定のタイミングでカメラの角速度データをサンプリングし、被写体角速度算出部１３４へ出力する。被写体角速度決定部６０３は、被写体角速度算出部１３４で算出した被写体の角速度とその算出時の画像が生成された時刻の組み合わせ情報の過去数フレーム分と現状の時刻とから露光時の被写体の角速度を決定する。加算器６０４は、角速度センサの角速度と被写体の角速度との差分を算出する。第２の積分器６０５は、所定期間のみ積分動作を行う。設定変更部６０６は、カメラ情報取得部６０１が取得したモード情報に応じて、設定を変更する。

操作スイッチ群１１６の操作により流し撮りアシストモードが設定されると、その情報がカメラ情報取得部６０１で読み込まれ、設定変更部６０６に通知される。設定変更部６０６は、通知されたモード情報に従い、パンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくする変更であり、具体的には、前述のパンニング判定用の所定値βおよびαを変更する。また、加算器６０４は角速度センサにより検出された角速度と、主被写体の角速度の差を計算し、第２の積分器６０５へと送る。第２の積分器６０５は、カメラ情報取得部６０１で取得された露光期間中を示す信号により積分動作を開始し、その他の期間はシフトレンズの位置が中央となる値を出力する。ここで、露光期間以外はシフトレンズを中央位置に配置しようとした場合、露光期間終了時は現在のシフトレンズ位置から中央位置までシフトレンズが急峻に移動することになる。しかし、露光期間終了直後は撮像素子１１２からの画像信号の読み出しを行っているため、ＬＣＤ上では画像が消失する。そのため、シフトレンズの急峻な移動による画像の動きは問題とはならない。また、第２の積分器６０５の出力は、加算器４０４で、積分器４０３の出力、およびシフトレンズ群１０４の位置情報と共に加算され、シフトレンズ群１０４の駆動量が算出される。

流し撮りアシストモードが設定されている場合に、実際に撮影者により流し撮り動作が行われると、パンニング制御部４０７が即座に急なパンニング状態に対するパンニング制御を行う。それにより、振れ補正動作が禁止され、シフトレンズ群１０４は、カメラのパンニングの角速度と被写体の角速度の差分に対応した量を補正することになる。そのため流し撮り失敗の原因となる露光期間中のカメラのパンニング速度と被写体の速度の差分がシフトレンズの動作で相殺され、その結果として流し撮りが成功する（アシストされる）。

図６は、流し撮りアシストモードにおける撮影動作を示すフローチャートである。図６において、Ｓ２０１では、レリーズスイッチが半押し（スイッチＳＷ１がＯＮ）されたか否かが検出される。ＳＷ１がＯＮされると、Ｓ２０２へと進み、時間計測カウンタをインクリメントする。ＳＷ１がＯＮされていない場合は、Ｓ２０３において、時間計測カウンタをリセットする。

Ｓ２０４では、主被写体の角速度がすでに算出されているか否かを確認する。算出されている場合は、Ｓ２０５においてさらに時間計測カウンタが所定時間Ｔになっているか否かが確認される。主被写体の角速度がまだ算出されていない場合、およびすでに算出されていても一定時間が経過している場合は、Ｓ２０６において主被写体の角速度を算出する。ここで、主被写体の角速度を算出し直すのは、時間と共に主被写体の速度が変化する場合を考慮しての処置である。主被写体の角速度が算出されるたびに、流し撮り制御部１３２の被写体角速度決定部６０３へ通知が送られる。

Ｓ２０７では、被写体角速度算出部１３４から取得した過去数フレームの被写体角速度から角加速度を算出し、レリーズが切られてから露光開始までのタイムラグ分を加味して被写体角速度決定部６０３において露光時の被写体角速度を算出して決定する。Ｓ２０８では、レリーズスイッチが全押し（スイッチＳＷ２がＯＮ）されたか否かが検出される。ＳＷ２がＯＮされていなければ、Ｓ２０１へ戻る。Ｓ２０８においてＳＷ２がＯＮされると、Ｓ２０９において露光開始のためにシャッター制御部１３３によりシャッター制御が行われる。

Ｓ２１０では、流し撮り制御部１３２と像振れ補正制御部１３１が連動してシフトレンズ群１０４を動かし、被写体の像振れ補正を行う。Ｓ２１１では、露光完了か否かを判断し、露光完了であればＳ２１２に進み、未完了であればＳ２１０に進む。Ｓ２１２では、ＳＷ２がＯＮされたか否かが判定される。ＳＷ２がＯＮされていれば、Ｓ２０９へ戻り次の撮影を開始する。ＳＷ２がＯＮされていなければ、Ｓ２０１へ戻る。

図７は、動き量検出部１３５の動作を示すフローチャートである。Ｓ１０１では、１回目の撮像を行い比較元の画像を取得し、Ｓ１０２に進む。Ｓ１０２では、次の撮像の前に、被写体の動き量を取得する枠（動き量取得枠）を複数配置した枠（テンプレート枠）を画面に配置し、Ｓ１０３に進む。テンプレート枠によって、動き量を取得する位置を複数指定することができる。Ｓ１０２でのテンプレート枠の位置は、前述の像振れ補正枠１００３が中心になるように配置する。図８（ａ）において、画角１００１と動き量取得枠１００２とテンプレート枠１００４と像振れ補正枠１００３の例を示す。テンプレート枠１００４は、動き量取得枠１００２が横７つ縦５つ配置された７×５の大きな枠である。ライブビュー中には、動き量取得枠１００２およびテンプレート枠は表示されない。像振れ補正枠１００３が画角１００１の端に設定された場合は、図８（ｂ）に示すようにテンプレート枠１００４は端で止まるように配置される。

Ｓ１０３では、ライブビューのための撮像をしながらテンプレート枠１００４の配置に従って複数の動き量を検知してＳ１０４に進む。Ｓ１０４では、動き量の検知結果を取得してＳ１０５に進む。Ｓ１０５では、取得した動き量からヒストグラムを生成してＳ１０６に進む。

図９はヒストグラムの例を示した図であり、横軸が動き量を示し縦軸が度数を示している。Ｓ１０６では、ヒストグラムから主被写体のエリアを決定しＳ１０７に進む。ここで、ヒストグラムに示される動き量は、撮影者が撮影しようとしている主被写体に対応した動き量と、流れている背景に対応した動き量の２種類が含まれる。本実施形態では、流し撮りが目的であるため、検出された動き量のうち、動き量の小さいデータが主被写体の動き量となり、この動き量の値が主被写体の像面上の移動量となる。集合１１０１の方が動き量がより０に近いので、集合１１０１を主被写体、集合１１０２を背景と判断する。主被写体と判断された動き量に対応する動き量取得枠１００２の画角上の位置を主被写体エリアとして決定する。図１０は主被写体エリアのイメージ図であり、テンプレート枠１００４のうちグレーに塗られている部分が主被写体エリアである。

Ｓ１０７では、全ての動き量取得枠１００２（本実施形態では７×５個分）とテンプレート枠１００４の配置座標と、主被写体エリアの情報を被写体角速度算出部１３４へ送り、Ｓ１０８に進む。Ｓ１０８では、主被写体エリアの中から像振れ補正枠１００３の中心座標に最も近い動き量取得枠１００２の中心座標を注目点として１点決定し（注目点決定）、Ｓ１０９に進む。図１０では、注目点１２０１が示されている。注目点が既に決まっている場合は、基本的にそのまま継続する。しかし、注目点が像振れ補正枠１００３の中心から閾値以上離れた場合や動き量が正しく算出できずに注目点を見失った場合には、再度像振れ補正枠１００３の中心座標に最も近い動き量取得枠１００２の中心座標を注目点とする。

Ｓ１０９では、注目点と注目点を内包する動き量取得枠（注目枠）１００２の動き量と像振れ補正枠１００３の位置から次のテンプレート枠１００４の配置を決定して（枠位置決定）、Ｓ１０３へ戻る。配置の決定方法は、注目点から注目枠の動き量分ずれた位置にある動き量取得枠１００２の中心が注目点の動いた位置になるように配置を決定する。

図１１は次のテンプレート枠１００４の配置の例を示す図である。図１１（ａ）において、注目枠の動き量が矢印１３０１で示されており、前回のテンプレート枠１００４の配置が破線で示され、次のテンプレート枠１３０４の配置が実線で示されている。また、図１１（ｂ）では、注目枠の動き量が矢印１３０３で示されており、次のテンプレート枠１３０６の配置が実線で示されている。図１１（ａ）では、注目点の動き先（追跡した先）が注目枠内なので、次のテンプレート枠１３０４の配置においても、テンプレート枠１３０４の左上から右に５番目、下に３番目の動き量取得枠で動き量を検知することとなる。一方、図１１（ｂ）は、注目点の動き先が注目枠外なので、次のテンプレート枠１３０６の配置ではテンプレート枠１３０６の左上から右に４番目、下に３番目の位置の動き量取得枠で動き量を検知することとなる。これにより、注目枠の被写体は、次のフレームでも同じ被写体の位置で動き量を検知することが可能となる。

ここで、テンプレート枠の枠配置の調整を行わないと、被写体の異なる位置で動き量を検知することになり、露光時の被写体の角速度予測において誤差の要因となる。枠配置の調整は毎フレーム行うが、１００４にあたるテンプレート枠はＳ１０２で決定したテンプレート枠に固定し、動き量も毎フレームの動き量を積分して利用する。これにより像振れ補正枠１００３に対してテンプレート枠が大きくずれることがなくなる。これは、撮影者がレリーズ動作を行うまでは、被写体のどこの位置の像振れを止めればよいのかわからないため、常に像振れ補正枠１００３はテンプレート枠の中央近傍にあることが望まれるためである。

ここで、上記のＳ１０７についてもう少し詳しく説明する。Ｓ１０７で情報を渡された被写体角速度算出部１３４では、動き量検出部１３５から取得したすべての動き量（本実施形態では７×５個分）と、テンプレート枠１００４の配置座標と、主被写体エリア情報と、自身が持つ過去のフレームで蓄積した情報（図１２参照）とに基づいて被写体の角速度を決定する。図１２では、過去のフレームで蓄積した情報として、同じ被写体位置の最大５フレーム分の角速度情報と最新フレームの画角における座標とを１つのインデックスとして最大３５個分保持している。ここでの座標は、画角の左上を原点として右下に向かって大きくなる座標系である。また、座標に「空き」の表示がされているインデックスは、情報を保持していないインデックスを意味している。

図１３は、被写体角速度算出部１３４の動作を示すフローチャートである。本処理は動き量検出部１３５から動き量を取得すると開始される。Ｓ１５０１では、動き量検出部１３５から取得した３５個の動き量から主被写体エリアの動き量があれば１つ選択してＳ１５０２に進み、なければＳ１５０５に進む。Ｓ１５０１では、選択して処理を行った情報を保持しておき、Ｓ１５０２〜Ｓ１５０４の繰り返し処理で全ての主被写体エリアの動き量の処理を行う。

Ｓ１５０２では、動き量を焦点距離情報と画素ピッチに基づいて角速度へ変換し、加速度センサ１０７で取得した角速度を加味して被写体の角速度情報を算出し、Ｓ１５０３に進む。Ｓ１５０３では、動き量に対応する座標情報に一致するインデックスを検索し、あればそのインデックスを処理インデックスとして決定する。一致するインデックスがない場合は、空きインデックスを検索し、あればそのインデックスを処理インデックスとして決定する。空きインデックスもない場合は、像振れ補正枠１００３の中心から最も遠い座標のインデックスの情報を削除し、そのインデックスを処理インデックスとして決定する。

Ｓ１５０３の処理の後はＳ１５０４に進む。Ｓ１５０４では、処理インデックスの中で最も古いフレームの被写体の角速度情報を最も新しいフレームの情報で書き換え、座標情報も動き先の座標に変更しＳ１５０１へ戻る。図１２のように蓄積される情報は、Ｓ１５０２、Ｓ１５０３、Ｓ１５０４の繰り返しにより生成されることとなる。本実施形態では、蓄積する情報として被写体の角速度情報を保持しているが、被写体の角速度算出前の各種情報を保持してもよい。

Ｓ１５０５ではインデックスの中から像振れ補正枠１００３の中心に最も近い座標のインデックスを主被写体インデックスとして決定し、Ｓ１５０６に進む。Ｓ１５０６では、主被写体インデックスにおける複数フレームについて算出した被写体の角速度と、算出時の画像が生成された時刻を流し撮り制御部１３２へ送り処理を終了する。

本実施形態によれば、テンプレート枠を被写体の動きに応じて調整し、被写体の候補となる角速度を被写体位置別に保持しておくことにより、高精度に被写体の角速度を算出することができ、精度の高い流し撮りの像振れ補正を行うことができる。

（第２の実施形態）
以下、本発明の第２の実施形態に係わる撮像装置について説明する。図１４は、第２の実施形態における被写体角速度算出部１３４で生成された蓄積情報を示す図である。第２の実施形態では、被写体角速度算出部１３４の動作が第１の実施形態と異なる。第１の実施形態では、Ｓ１５０４において、角速度を毎フレーム保持して座標は最新のもののみを保持しているのに対して、第２の実施形態では毎フレームにつき角速度と座標の両方を保持する。

図１５は、第２の実施形態における動き量検出部１３５の動作を示すフローチャートである。第１の実施形態との動作の違いは、Ｓ１０７とＳ１０８の処理の間にＳ１１０の処理が挿入されている点である。Ｓ１０７において被写体角速度算出部１３４へ情報を送った後、Ｓ１１０では、最新フレームについて被写体角速度算出部１３４で処理した蓄積情報を取得し、その蓄積情報から手ブレ量（後述）を検知する。図１６（ａ）を参照して、撮像装置の手ブレ量の検知方法について説明する。図１６（ａ）では、注目点の軌跡１８０１〜１８０７を時系列に順番に並べている。説明を分かりやすくするために水平方向の動きのみについて説明する（垂直方向は水平方向と同様である）。左右の折り返しの間の距離（手ブレ幅）１８０８は、手ブレによる移動距離を意味している。手ブレ幅の中心が１８０９で示され、手ブレ幅の中心から最新位置までのずれ量（振れ量）が１８１０で示されている。図１６では、注目点が往復しているが、注目点が往復していない場合は、手ブレ量は検知できない。また、第２の実施形態におけるＳ１０８では、Ｓ１１０において手ブレ量が検知されると、像振れ補正枠１００３の中心座標から手ブレ量分ずらした点を注目点として更新する。図１８（ｂ）にイメージ図を示す。１８１１で示される点が、新たな注目点となる。

本実施形態によれば、撮影者が手ブレで被写体を正確に捉えられていない場合に、手ブレによるブレ分を補正した被写体位置で被写体の角速度を算出することで、良好な流し撮りの像振れ補正を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記の実施形態では、像振れを補正する構成として、撮影レンズユニットに光軸と直交する方向に移動するシフトレンズを備える場合について説明した。しかし、これに限定されず、チルトさせるなどの撮影レンズの光軸と異なる方向に移動することにより光路を変更する光学素子を用いてもよいし、可変頂角プリズムなどを用いて光路を変更してもよい。また、撮像素子をシフトさせることにより像振れ補正をするようにしてもよい。

また、上記の実施形態では、カメラ本体に配置された角速度センサによりカメラの振れを検出するように説明したが、角速度センサは撮影レンズ側に配置されていてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ、１０１：撮影レンズユニット、１０２：主撮影光学系、１０３：ズームレンズ群、１０４：シフトレンズ群、１０５：ズームエンコーダ、１０６：位置センサ、１０７：角速度センサ、１０９：ドライバ、１１１：シャッター、１１２：撮像素子、１１３：アナログ信号処理回路、１１４：カメラ信号処理回路

Claims (12)

1. 撮像手段により撮像された連続する少なくとも２つの画像を用いて画面上の複数の位置について被写体の動き量を検知する第１の検知手段と、
   前記第１の検知手段の検知結果に基づいて、画面上の被写体の範囲を決定する決定手段と、
   前記被写体の範囲内の被写体位置の情報と、前記第１の検知手段と装置の動きを検知する第２の検知手段の検知結果に基づく前記被写体位置の動き量の情報とを組で保持する保持手段と、
   前記保持手段に保持された前記被写体位置の情報と前記被写体位置の動き量の情報とに基づいて、前記被写体位置における被写体像の振れを補正するように、被写体像の振れを補正する補正手段の動作を制御する制御手段と、
   を具備することを特徴とする像振れ補正装置。
2. ユーザにより指定された画面上の位置と前記決定手段により決定された被写体の範囲とに基づいて注目点を決定する注目点決定手段と、前記注目点の画面上の動き量に基づいて、前記画面上の複数の位置について被写体の動き量を検知する枠を決定する枠位置決定手段とをさらに具備することを特徴とする請求項１に記載の像振れ補正装置。
3. 前記注目点を該注目点の動き量に基づいて追跡した後の注目点の位置と前記ユーザに指定された画面上の位置との差分が閾値よりも大きくなった場合に、前記注目点を変更する変更手段をさらに具備することを特徴とする請求項２に記載の像振れ補正装置。
4. 前記注目点の軌跡を用いて装置の振れ幅を算出し、該振れ幅と前記画面上の被写体の動き量の検知のタイミングとに基づいて、振れの中心からの前記注目点のずれ量を算出する算出手段と、前記ずれ量と前記ユーザにより指定された画面上の位置とに基づいて、前記注目点を変更する変更手段とをさらに具備することを特徴とする請求項２に記載の像振れ補正装置。
5. 前記決定手段は、前記画面上における動き量の少ない範囲を、前記被写体の範囲と決定することを特徴とする請求項１乃至４のいずれか１項に記載の像振れ補正装置。
6. 前記決定手段は、流し撮りを行う場合の、ブレの無い状態で撮影しようとする被写体の範囲を前記被写体の範囲として決定することを特徴とする請求項５に記載の像振れ補正装置。
7. 前記第２の検出手段は、装置の角速度を検出することを特徴とする請求項１乃至６のいずれか１項に記載の像振れ補正装置。
8. 前記補正手段は、撮影光学系の光軸と異なる方向に移動することにより被写体からの光の光路を変更することを特徴とする請求項１乃至７のいずれか１項に記載の像振れ補正装置。
9. 前記補正手段は、前記撮影光学系の光軸と直交する方向に移動することにより被写体からの光の光路を変更するシフトレンズであることを特徴とする請求項８に記載の像振れ補正装置。
10. 撮像手段により撮像された連続する少なくとも２つの画像を用いて画面上の複数の位置について被写体の動き量を第１の検知手段により検知する第１の検知工程と、
    前記第１の検知工程における検知結果に基づいて、画面上の被写体の範囲を決定する決定工程と、
    前記被写体の範囲内の被写体位置の情報と、前記第１の検知手段と装置の動きを検知する第２の検知手段の検知結果に基づく前記被写体位置の動き量の情報とを組で保持する保持工程と、
    前記保持工程において保持された前記被写体位置の情報と前記被写体位置の動き量の情報とに基づいて、前記被写体位置における被写体像の振れを補正するように、被写体像の振れを補正する補正手段の動作を制御する制御工程と、
    を有することを特徴とする像振れ補正装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images