JP2012058545A

JP2012058545A - 撮像装置

Info

Publication number: JP2012058545A
Application number: JP2010202410A
Authority: JP
Inventors: Takeshi Watanabe; 猛渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-09-09
Filing date: 2010-09-09
Publication date: 2012-03-22

Abstract

【課題】ブレ補正機能を有する撮像装置において、パン・チルト中の低周波成分を除去しつつ、揺り戻しを除去できるようにする。
【解決手段】被写体像を撮像して撮像画像を得るための撮像素子を有する撮像装置であって、撮像装置に加わる振れを検出する振れ検出部と、振れ検出部の出力に基づいて振れ補正量を算出する補正量算出部と、振れ検出部の出力に基づいてパンニング状態またはチルティング状態であるかを判定する判定部と、撮像画像から画像の動きを示す動きベクトルを検出するベクトル検出部と、画像の移動量を算出する移動量算出部と、振れ補正量及び画像の移動量に基づいて、撮像画像のブレを光学的に補正するブレ補正部とを備え、画像の移動量は、撮像装置がパンニング状態またはチルティング状態であるときは、パンニング状態またはチルティング状態が終了したときの画像の移動量に相当し、パンニング状態が終了した後は動きベクトルに基づいて決定される。
【選択図】図１

Description

本発明は、例えば、手振れ等による撮像画像のブレを光学的に補正する機能を備えた撮像装置に関するものである。

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置に加わる振れ等が撮影画像の品位を低下させる大きな原因となっている。この点に着目し、このような装置の振れ等により生じた撮像画像のブレを補正するブレ補正機能を備えた撮像装置が種々提案されている。

ブレ補正機能を備えた撮像装置では、撮像装置本体の振れを検出して振れに応じた補正処理が行われる。この振れを検出する手段として、角速度センサや加速度センサを用い、これらセンサの出力信号により撮像装置本体の振れを検出するものがある。

このようなセンサの出力信号には、振れによる信号以外の成分が含まれることが一般に知られている。この振れによる信号以外の成分としては、センサに振れが加えられていないときに定常的に出力される低周波数の揺らぎ成分や、センサの固体差による基準電圧のバラつきなどの直流成分等が含まれる。このように低周波成分が含まれる場合、センサの出力信号をそのまま用いてブレ補正を行うと、補正の精度が低下する恐れがある。そこで、ＤＣカットフィルタやハイパスフィルタを挿入し、センサの出力信号から低周波成分を除去して、ブレ信号を得ることが行われている。

また、パンニング或いはチルティングのように撮像装置を一方向に長時間移動させた場合、センサからの出力信号には低周波成分が多く含まれるので、ブレ補正を行うには何らかの手段で低周波成分を減衰させる必要がある。そこで、角速度及び角速度を積分した角変位データに基づいて、パンニング・チルティングの判定を行い、パンニング或いはチルティングに適した補正特性に切り換えることが行われている。すなわち、角速度が所定の閾値以上、或いは、角速度が所定の閾値に満たなくとも角変位データ（積分結果）が所定の閾値以上であるならば、パンニング状態或いはチルティング状態であると判定し、パンニング制御を行う。

このパンニング制御では、まずハイパスフィルタのカットオフ周波数を高域側に変移させる。これにより、低域の周波数に対しては、ブレ補正が応答しないようになる。また、角速度から角変位を求める際の積分演算に用いる積分器の時定数の値を短くなる方向に変移させる。これにより、ブレ補正位置が徐々に移動範囲中心へとセンタリングされ、角変位データの値が基準値（ブレがない状態においてとりうる値）に徐々に近づいていく。

上述した、パンニング・チルティングの制御は、例えば特許文献１等に開示されており、低域の周波数の応答を抑制しつつ、高域の周波数のブレ補正を行うことができ、パンニング状態或いはチルティング状態のブレ補正制御として有効である。

しかしながら、ハイパスフィルタを介することによって低周波成分を減衰させる構成では以下のような問題がある。パンニング・チルティングが継続して行われているときのように、センサからある一定以上の角速度が継続して出力されていると、角速度はハイパスフィルタによって減衰されるので徐々に基準値に近づいていく。そして、パンニング・チルティングが終了するとセンサからの角速度は急速に基準値に戻る。この急速な変化は、すなわち高い周波数成分であり、ハイパスフィルタを通過して出力信号は基準値から逆方向へ振れる。その後はハイパスフィルタの時定数に応じて徐々に基準値へと収束する。この基準値から逆方向への信号（以下、揺り戻しと呼ぶ）は実際の撮像装置本体の振れに対応する信号ではなく、この信号に基づいて補正を行うと手ブレ補正の精度が低下する恐れがある。

そこで、パイパスフィルタによる揺り戻しを除去する方法として、例えば特許文献２に開示される技術が提案されている。この技術では、ハイパスフィルタによる減衰特性を演算によって算出し、振れ信号に合成することで揺り戻しを除去する。

特開平１１−１８７３０８号公報特開２００５−１４２７３２号公報

しかしながら、特許文献２に示すような従来のブレ補正機能においては、次のような問題があった。この方法では、ハイパスフィルタの減衰特性を算出し振れ信号に合成することで、揺り戻しを除去している。換言すれば、ハイパスフィルタによって減衰された低周波成分を復元していることになる。これは、パン・チルト等によって生じる揺り戻しを除去するとともに、パン・チルト中に生じる低周波成分も同様に復元しており、特許文献１で示すように本来除去したいパン・チルト中の低周波成分を減衰できないことになる。パン・チルト制御を目的として、揺り戻し除去後にデジタルハイパスフィルタを挿入することも考えられるが、ハイパスフィルタを介する限りは必ず揺り戻しが生じるので、特許文献２の目的を達成することができない。このように、従来では、パン・チルト中の低周波成分を除去しつつ、揺り戻しを除去することが出来ないという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ブレ補正機能を有する撮像装置において、パン・チルト中の低周波成分を除去しつつ、揺り戻しを除去できるようにすることである。

本発明に係わる撮像装置は、被写体像を撮像して撮像画像を得るための撮像素子を有する撮像装置であって、前記撮像装置に加わる振れを検出する振れ検出手段と、前記振れ検出手段の出力に基づいて振れ補正量を算出する補正量算出手段と、前記振れ検出手段の出力に基づいてパンニング状態またはチルティング状態であるかを判定する判定手段と、前記撮像画像から画像の動きを示す動きベクトルを検出するベクトル検出手段と、画像の移動量を算出する移動量算出手段と、前記振れ補正量及び前記画像の移動量に基づいて、撮像画像のブレを光学的に補正するブレ補正手段とを備え、前記画像の移動量は、前記撮像装置が前記パンニング状態またはチルティング状態であるときは、前記パンニング状態またはチルティング状態が終了したときの画像の移動量に相当し、前記パンニング状態が終了した後は前記動きベクトルに基づいて決定されることを特徴とする。

本発明によれば、ブレ補正機能を有する撮像装置において、パン・チルト中の低周波成分を除去しつつ、揺り戻しを除去することが可能となる。

本発明の第１の実施形態の撮像装置の構成を示すブロック図。第１の実施形態の撮像装置に加えられた振れ信号、ＨＰＦ１０４の出力信号、積分器１０５の出力信号、動きベクトル処理部１１９によって算出された画像移動量、切出制御部１２１から出力される画像データの移動量を示したグラフ。動きベクトル検出部１１９の構成の一例を示すブロック図。第１の実施形態における動きベクトル処理部１２０内の演算を説明するフローチャート。本発明の第２の実施形態の撮像装置の構成を示すブロック図。第２の実施形態における動きベクトル処理部１２０内の演算を説明するフローチャート。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像画像のブレを補正可能な撮像装置の構成を示す図である。図１を参照して、本実施形態の撮像装置１００の各構成部とその動作について具体的に説明する。角速度センサ１０１は撮像装置１００に加わる振れの検出を行う。例えば、振動ジャイロの角速度センサを含み、手振れ等による撮像装置自体の振れを角速度信号として検出し、その角速度信号をアンプ１０２に供給する。アンプ１０２は、角速度センサ１０１からの角速度信号（振動成分）を、最適な感度に増幅して、Ａ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、アンプ１０２からの角速度信号をデジタル化して、角速度データとしてｕＣＯＭ１２３の内部のＨＰＦ１０４に供給する。

ｕＣＯＭ１２３の内部には、Ａ／Ｄ変換器１０３の出力が供給される基準値演算部１２２が備えられている。基準値演算部１２２は、例えばＡ／Ｄ変換器１０３を介して供給される角速度データの平均値を演算し、角速度の基準となる値（振れがない状態においてとりうる値）として出力する。基準値演算部１２２によって算出された基準値はＡ／Ｄ変換器１０３の出力から減算されＨＰＦ１０４に供給される。ＨＰＦ１０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波成分を遮断して高周波数帯域の信号を出力する。積分器１０５は、任意の周波数帯域でその特性を変更し得る機能を有しており、ＨＰＦ１０４から出力された角速度データを積分し、その積分結果を角変位データとして出力する。なお、パン・チルト検出部１０６の検出結果に応じて、ＨＰＦ１０４、積分器１０５の演算が変更されるが、詳細は後述する。

撮像光学系１１５は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１１７に結像させる。ズームエンコーダ１１６は、撮像光学系１１５のズーム位置を検出し、ｕＣＯＭ１２３の内部の焦点距離補正部１０７に出力する。焦点距離補正部１０７では、ズームエンコーダ１１６の出力より、撮像光学系１１５の焦点距離を算出し、その焦点距離と積分器１０５の出力とから、補正光学系１１４の駆動量を算出する（補正量算出）。補正光学系１１４は、撮像光学系１１５の光軸に対して垂直な方向に移動可能なレンズであり、移動することで光学像の像ブレを補正する。また、補正光学系１１４は撮像光学系１１５中のシフトレンズであっても良いし、撮像素子１１９が光軸に直交する方向に移動する構成であっても良い。

制御フィルタ１０８には、角変位データと、補正光学系１１４の位置を検出する位置検出センサ１１２の出力をＡ／Ｄ変換器１１３によってデジタル化した値（位置検出データ）との差分が入力される。パルス幅変調回路１０９は、制御フィルタ１０８の出力をＰＷＭ（ＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎ）信号に変換し出力する。モータ駆動部１１０は、パルス幅変調部１０９からのＰＷＭ出力に基づいて、補正光学系１１４を動かすためのモータ１１１を駆動し、撮像面への入射光の光軸を変えることで、撮像画像に生じるブレを光学的に補正する。

撮像素子１１７は、撮像光学系１１５によって結像された被写体像を電気信号に変換し、信号処理部１１８に供給する。信号処理部１１８は、撮像素子１１７により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像データとして出力すると同時に動きベクトル検出部１１９に供給する。また信号処理部から出力された画像データは、切出制御部１２１を介して出力される。

ここで、パンニング・チルティング時の制御について説明する。パン・チルト検出部１０６は、Ａ／Ｄ変換器１０３から出力された角速度データ及び積分器１０５から出力された角変位データに基づいて、パンニング・チルティングの判定を行い、パンニング制御を行う。すなわち、角速度データが所定の閾値以上、或いは、角速度データが所定の閾値に満たなくとも角変位データ（積分結果）が所定の閾値以上であるならば、パンニング状態或いはチルティング状態であると判定する。なお、パン・チルト検出に用いられる角速度データは、角速度センサ１０１からの出力に対してハイパスフィルタを介さずに供給されている。したがって、角速度データに揺り戻しが無い状態で供給されるので、パンニング・チルティングの開始あるいは終了を正確に検出することが可能となっている。パンニング状態或いはチルティング状態であると判定がなされた場合には、パンニング制御を行う。

このパンニング制御では、まず、ＨＰＦ１０４の低域カットオフ周波数を高域側に変移させる。これにより、低域の周波数に対してはブレ補正が応答しないようになる。また、積分器１０５での積分演算に用いる時定数の値を短くなる方向に変移させる。これにより、ブレ補正位置が徐々に移動範囲中心へとセンタリングされ、積分器１０５から出力される角変位データの値が基準値に徐々に近づいていく。

一方、そうでない場合には、パンニング状態或いはチルティング状態でないと判定し、ＨＰＦ１０４の低域カットオフ周波数を低域側に変移させ、また、積分器１０５での積分演算に用いる時定数の値も長くなる方向に変移させる。これにより、ＨＰＦ１０４の低域カットオフ周波数、及び積分器１０５での積分演算に用いる時定数の値が各々元の状態に戻され、パンニング制御を解除することになる。

ここで、ハイパスフィルタによって低周波数成分が除去される様子について図２を用いて説明する。ここではパンニング動作が行われた場合を想定して角速度センサ１０１からの出力信号を図２（Ａ）に示す矩形波としている。また、ＨＰＦ１０４を通した後の出力信号を図２（Ｂ）、積分器１０５の出力信号を図２（Ｃ）に示す。各図において、時間Ｔ１はパンニング開始時、時間Ｔ２はパンニング終了時の時刻を示している。

角速度センサ１０１の出力信号はハイパスフィルタを介することによって低周波成分が減衰されるので、時間Ｔ１から時間Ｔ２の区間では、図２（Ｂ）の曲線３０２に示すように徐々に減衰していく。曲線３０２の減衰率はＨＰＦ１０４の時定数によって決定される。時間Ｔ２において、パンニング動作の終了とともに角速度データが急速に基準値に変化する。これは、すなわち高い周波数成分を含む信号となっているため、ハイパスフィルタでは減衰されずに通過するのでマイナス方向に振れる。時間Ｔ２以降は曲線３０３で示すようにＨＰＦ１０４の時定数に応じて徐々に０に近づく。

補正光学系１１４は、図２（Ｂ）に示す波形を積分器１０５によって積分した出力結果に応じて駆動量が決定されるので、図２（Ｃ）の曲線３０４、３０５に示すようにブレ補正を行う。

このように、ハイパスフィルタを介することによって、パンニングの低周波成分が減衰されるが、パンニング終了時に逆方向に振れるので、実際にはパンニングによる撮像装置１００の移動が止まっているにもかかわらず、図２（Ｃ）の曲線３０５のような逆方向への移動を示す信号が出力される。

そこで、本実施形態の撮像装置では、動きベクトル検出部１１９、動きベクトル処理部１２０、切出制御部１２１を含んで構成されている。動きベクトル検出部１１９は、信号処理部１１８からの映像信号に含まれる輝度信号を基に、動きベクトルを検出する。動きベクトル検出法としては、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出部１１９に採用するものとする。

動きベクトル検出部１１９の構成例を図３に示す。フィルタ２０１は、画像信号の高空間周波数成分等を除去する目的を有するものであり、信号処理部１１８から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。２値化部２０２は、フィルタ２０１から出力された画像信号を所定のレベルを境に２値化して相関演算部２０３及び記憶部２０６に各々供給する。記憶部２０６は２値化部２０２の前回のサンプルデータを記憶し、２値化部２０２からの画像信号を、１フィールド期間遅延して相関演算部２０３に供給する。相関演算部２０３は２値化部２０２及び記憶部２０６の各出力の相関演算を行う。即ち、相関演算部２０３には、２値化部２０２からの画像信号（現フィールドの画像信号）と、記憶部２０６からの画像信号（前フィールドの画像信号）とが供給されることになる。そして相関演算部２０３は、上述したブロックマッチング法に従って、ブロック単位に現フィールドと前フィールドの相関演算を行い、その演算結果である相関値を動きベクトル検出部２０４に供給する。動きベクトル検出部２０４は相関演算部２０３からの相関値からブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとして検出する。動きベクトル決定部２０５は動きベクトル検出部２０４からのブロック単位の動きベクトルから全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値を全体の動きベクトルとして決定する。そして、動きベクトル決定部２０５の出力が、ｕＣＯＭ１２３の内部の動きベクトル処理部１２０に供給される。上述のような構成により、動きベクトル検出部１１９では、画素単位での垂直方向及び水平方向各々の移動量すなわち動きベクトルを得ることができる。

動きベクトル処理部１２０は、パン・チルト検出部１０６の出力結果および動きベクトル検出部１１９から出力された動きベクトルに応じて、画像移動量を算出（移動量算出）するものである。すなわち、パン・チルト検出部１０６によって、撮像装置がパンニング状態もしくはチルティング状態ではないと判定された場合は、動きベクトルをそのまま画像移動量として算出する。また、パン・チルト検出部１０６によって、撮像装置がパンニング状態もしくはチルティング状態であると判定された場合は、揺り戻しによる画像移動量を算出（移動量算出）する。言い換えれば、画像移動量は、撮像装置がパンニング状態またはチルティング状態であるときは、パンニング状態またはチルティング状態が終了したときの画像の移動量に相当する。切出制御部１２１は、画像移動量に応じて、その画像移動量を抑制するような方向に切出領域を移動した後に、その切出領域内の画像データを順次出力する。

次に、本実施形態の撮像装置１００の作用について図２および図４を用いて説明する。図２（Ｄ）は動きベクトル処理部１２０が出力する画像移動量、図２（Ｅ）は切出制御部１２１から出力される画像データにおける画像の動きを示している。また、図４に示すフローは所定の周期、例えばＮＴＳＣの規格に準拠したタイミングで処理が行われるとすると１／６０秒毎に実行される。

ステップＳ４０１では、パン・チルト検出部１０６によって出力されるパンニング検出結果がパンニング状態か否かが判断される。パンニング状態と判断されると、ステップＳ４０６へ進み、そうでないと判断されるとステップＳ４０２へ進む。

ステップＳ４０６では、Ａ／Ｄ変換器１０３から出力される角速度データの符号を判定する。正と判定されるとステップＳ４０７へ進み、負と判断されるとステップＳ４０８へ進む。ステップＳ４０７では前回の画像移動量に所定値を加算する。ステップＳ４０８では前回の画像移動量から所定値を減算する。ステップＳ４０９では画像移動量をメモリに記憶し、切出制御部１２１で切出領域の移動量として使用する。上述のステップＳ４０７及びＳ４０８はパンニング状態終了検出時に揺り戻しを抑制する方向に画像が移動するので、揺り戻しが収束した後の画像移動量が中心に近づくように予め逆方向に移動させるための処理であり、図２（Ｄ）の線分３０６を示している。

一方、ステップＳ４０１でパンニング状態ではないと判断されると、ステップＳ４０２へ進む。ステップＳ４０２では、最後にパンニング状態と判断されてから現在までの経過時間が所定時間Ｔｐを超えたか否かを判断する。これは、揺り戻しによって逆方向に振れる量が同じである場合、角速度データが０に収束する時間はＨＰＦ１０４の時定数によって決定されるので、時間Ｔｐはその時定数に応じて決定すればよい。時間Ｔｐを超えたと判断されると、ステップＳ４１０へ進む。時間Ｔｐを超えていないと判断されるとステップＳ４０３へ進み、揺り戻しの算出処理が行われる。

ステップＳ４０３では、動きベクトル検出部１１９によって検出された動きベクトルを取得する。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわちパンニング終了後においては、ＨＰＦ１０４によって生じた揺り戻しに基づいて補正を行った結果の画像の移動量を示すものである。ステップＳ４０４では、メモリに記憶されている画像移動量に動きベクトルを加算し、新たな画像移動量として算出する。ステップＳ４０５では画像移動量をメモリに記憶し、切出制御部１２１で切出領域の移動量として使用する。上記により、揺り戻しによる画像の動きを動きベクトルによって検出し、画像移動量として算出した結果が図２（Ｄ）の曲線３０７である。

ステップＳ４１０では、画像移動量に応じて、その画像移動量を抑制するような方向に切出領域を移動した後に、その切出領域内の画像データを順次出力する。このようにして図２（Ｅ）に示すように、動きベクトルによってパンニング後の揺り戻しを検出し、揺り戻しが抑制された画像データを得ることができる。

以上説明したように、角速度センサ１０１の出力に応じてパンニング・チルティングの判別を行い、パンニング・チルティング動作の終了を検出すると同時に動きベクトルを用いて画像の動きを補正する。これによって、パンニング或いはチルティング動作時には低周波成分を減衰させるとともに、パンニング終了後に生じる揺り戻しによる不快な画像の動きを除去することが可能となる。

なお、動きベクトル処理部１２０において、パンニング・チルティングと判断されている場合には、Ａ／Ｄ変換機１０３から出力される角速度データの符号に応じて画像移動量から所定値を加減算している。しかしながら、算出された画像移動量をメモリに記憶し、画像移動量を０（ゼロ）としてもよい。また、パンニング・チルティングと判断されている場合には、パンニング・チルティングと判断される直前の画像移動量を保持してもよい。

（第２の実施形態）
本実施形態は、角速度センサを用いて撮像装置本体の振れを検出するとともに、動きベクトルによって画像のブレを検出し、それぞれの検出結果を足し合わせて補正光学系の駆動量を算出し、ブレを補正する構成のビデオカメラに本発明を用いた場合の例を示す。図５において、上述の図１に示す第１の実施形態と同一構成部分については同一の符号を付し、詳細な説明は省略する。

図５において、特に第１の実施形態と異なるのは、動きベクトル検出部１１９より得られた動きベクトルに基づいて補正光学系１１４の移動量を算出する動きベクトル補正量演算部１２４を備え、手ブレ補正に用いられている角速度センサ１０１より得られる角変位データ（ジャイロ系補正データ）と加算することにある。

動きベクトル検出部１１９は、撮像装置１０００の撮像素子１１７により得られた撮像画像情報から、信号処理部１１８で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。動きベクトル補正量演算部１２４は、動きベクトル検出部１１９で検出された動きベクトルを補正光学系１１４の駆動量（ベクトル系補正データ）に変換する。具体的には、動きベクトル補正量演算部１２４は、動きベクトル検出部１１９から出力された動きベクトルのデータをローパスフィルタ（ＬＰＦ）を用いて積分処理し、その積分結果をベクトル系補正データとして算出する。このベクトル系補正データと、上述したジャイロ系補正データを加算したデータが、最終的な補正光学系１１４の駆動量（最終補正データ）となる。

上記動きベクトルは、角速度センサ１０１によって検出した角速度に基づいて補正光学系１１４を駆動しブレの補正を行った結果の映像に対する画像の動き量であり、すなわち、ジャイロ系補正データによるブレ補正の補正残りを示している。角速度センサによる補正の応答特性は、例えば手振れの主な周波数成分である１〜１０Ｈｚの振れに対して応答するようにＨＰＦ１０４の時定数が設定されているので、動きベクトルによって検出される振れの周波数は概ね１Ｈｚ以下の周波数帯域である。さらに、補正光学系１１４を介し一つのフィードバックループを形成しているため、揺り戻しのような低い周波数成分を補正するのに有効である。

次に、本実施形態の撮像装置１０００の動作について図６を用いて説明する。なお、このフローは所定の周期、例えばＮＴＳＣの規格に準拠したタイミングで処理が行われるとすると１／６０秒毎に実行される。

ステップＳ６０１では、パン・チルト検出部１０６によって出力されるパンニング検出結果がパンニング状態か否かが判断される。パンニング状態と判断されると、ステップＳ６０６へ進み、そうでないと判断されるとステップＳ６０２へ進む。

ステップＳ６０６ではＡ／Ｄ変換器１０３から出力される角速度データの符号を判定する。正と判定されるとステップＳ６０７へ進み、負と判断されるとステップＳ６０８へ進む。ステップＳ６０７では前回の画像移動量に所定値を加算する。ステップＳ６０８では前回の画像移動量から所定値を減算する。ステップＳ６０９ではベクトル系補正データをメモリに記憶する。

一方、ステップＳ６０１でパンニング状態ではないと判断されると、ステップＳ６０２へ進む。ステップＳ６０２では、最後にパンニング状態と判断されてから現在までの経過時間Ｔが時間Ｔｐを超えたか否かを判断する。時間Ｔｐ以上経過したと判断されると、ステップＳ６０３へ進む。時間Ｔｐを超えていないと判断されるとステップＳ６１０へ進み、揺り戻しの算出処理が行われる。

ステップＳ６０３では、動きベクトル検出部１１９によって検出された動きベクトルを取得する。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわちパンニング終了後においては、ＨＰＦ１０４によって生じた揺り戻しに基づいて補正を行った結果の画像の移動量を示すものである。ステップＳ６０４では、取得された動きベクトルを入力信号としてＬＰＦを介して積分し、ベクトル系補正データとして算出する。ステップＳ６０５では、ベクトル系補正データをメモリに記憶する。ステップＳ６１０ではベクトル系補正データとジャイロ系補正データを加算し、補正光学系１１４の最終駆動量として算出する。

このようにして動きベクトルによってパンニング後の揺り戻しを検出し、ジャイロ系補正データに加算した最終駆動量に基づいて補正光学系１１４を駆動することで、揺り戻しが抑制された画像データを得ることができる。

これにより、パンニング・チルティング動作中の低周波数の応答を抑制しつつ、高域の周波数のブレ補正を行うことができ、かつ、パンニング状態或いはチルティング終了後のブレ補正効果を向上させた撮像装置を提供することが可能となる。

なお、動きベクトル補正量演算部１２４において、パンニング・チルティングと判断されている場合には、Ａ／Ｄ変換器１０３から出力される角速度データの符号に応じてベクトル系補正データから所定値を加減算しているが、ベクトル系補正データを０としてもよい。また、パンニング・チルティングと判断されている場合には、パンニング・チルティングと判断される直前のベクトル系補正データを保持してもよい。

なお、ブレ補正を行う手段として、補正光学系１１４（例えばシフトレンズ）を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム（撮像光学系に垂直に配置された頂角の傾きが可変のプリズム：ＶＡＰ）や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。

Claims

被写体像を撮像して撮像画像を得るための撮像素子を有する撮像装置であって、
前記撮像装置に加わる振れを検出する振れ検出手段と、
前記振れ検出手段の出力に基づいて振れ補正量を算出する補正量算出手段と、
前記振れ検出手段の出力に基づいてパンニング状態またはチルティング状態であるかを判定する判定手段と、
前記撮像画像から画像の動きを示す動きベクトルを検出するベクトル検出手段と、
画像の移動量を算出する移動量算出手段と、
前記振れ補正量及び前記画像の移動量に基づいて、撮像画像のブレを光学的に補正するブレ補正手段とを備え、
前記画像の移動量は、前記撮像装置が前記パンニング状態またはチルティング状態であるときは、前記パンニング状態またはチルティング状態が終了したときの画像の移動量に相当し、前記パンニング状態が終了した後は前記動きベクトルに基づいて決定されることを特徴とする撮像装置。
前記移動量算出手段は、前記振れ検出手段によって検出された方向と同じ方向に所定の時間をかけて画像が移動するように画像の移動量を算出することを特徴とする請求項１に記載の撮像装置。
前記移動量算出手段は、前記判定手段が、前記撮像装置がパンニング状態またはチルティング状態であると判定している間は、パンニング状態またはチルティング状態であると判定される直前の画像の移動量を保持して出力し、パンニング状態またはチルティング状態が終了したと判定すると同時に、前記ベクトル検出手段の出力に基づいて前記画像の移動量を算出することを特徴とする請求項１に記載の撮像装置。
前記移動量算出手段は、前記判定手段が、前記撮像装置がパンニング状態またはチルティング状態であると判定している間は、ゼロを出力し、パンニング状態またはチルティング状態が終了したと判定すると同時に、前記ベクトル検出手段の出力に基づいて前記画像の移動量を算出することを特徴とする請求項１に記載の撮像装置。
前記ブレ補正手段は、撮像光学系の光軸に対して垂直な方向に移動可能なレンズであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記ブレ補正手段は、撮像光学系に垂直に配置された頂角の傾きが可変のプリズムであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。