JP2016157067A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】振動が大きい場合でも高精度に傾き補正が可能な制御装置を提供する。【解決手段】制御装置は、加速度検出手段により検出された加速度に基づいて第１角度を算出する第１角度算出手段と、加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析する解析手段と、角速度、第１角度、および、振動状態に基づいて、第２角度を算出する第２角度算出手段と、第２角度に基づいて傾き補正を行う補正手段とを有する。【選択図】図２

Description

本発明は、高精度な傾き補正が可能な撮像装置に関する。

従来から、加速度計などを用いて撮像装置の傾斜角度を高精度に検出し、撮像装置の傾きを自動的に補正することにより、撮影に不慣れなユーザでも撮像装置の重力方向と垂直な水平画像を簡単に撮影可能な撮像装置が提案されている。特許文献１には、撮像装置の傾きを検出して傾き補正を行うことにより、撮像素子の重力方向と垂直な水平面に対する光軸周りの傾きを補正する撮像装置が開示されている。

特開平７−９５４６６号公報

特許文献１のように傾き補正を行う傾き補正装置では、手振れが小さく加速度計からの出力信号において重力加速度の影響が支配的である場合、高精度な傾き補正が可能である。しかし、手振れが大きい場合、振れにより生じる加速度が重力加速度に加算されて加速度計から出力される。このため、振れによる加速度が重力加速度に加算された状態で加速度計の出力信号を用いて傾き補正を行うと、補正すべき傾きとは異なる傾きに補正が実行され、ユーザが意図しない画像が得られることになる。

そこで本発明は、振動が大きい場合でも高精度に傾き補正が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、加速度検出手段により検出された加速度に基づいて第１角度を算出する第１角度算出手段と、前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析する解析手段と、前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出する第２角度算出手段と、前記第２角度に基づいて傾き補正を行う補正手段とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して像信号を出力する撮像手段と、加速度を検出する加速度検出手段と、角速度を検出する角速度検出手段と、前記加速度に基づいて第１角度を算出する第１角度算出手段と、前記加速度または前記角速度の少なくとも一つに基づいて振動状態を解析する解析手段と、前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出する第２角度算出手段と、前記第２角度に基づいて傾き補正を行う補正手段とを有する。

本発明の他の側面としての制御方法は、加速度検出手段により検出された加速度に基づいて第１角度を算出するステップと、前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析するステップと、前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出するステップと、前記第２角度に基づいて傾き補正を行うステップとを有する。

本発明の他の側面としてのプログラムは、加速度検出手段により検出された加速度に基づいて第１角度を算出するステップと、前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析するステップと、前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出するステップと、前記第２角度に基づいて傾き補正を行うステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、振動が大きい場合でも高精度に傾き補正が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置の振れ方向の説明図である。 実施例１における撮像装置のブロック図である。 実施例１における画像切り出し処理の説明図である。 実施例１における撮像装置の角度波形の説明図である。 実施例１における制御部（傾き補正装置）のブロック図である。 実施例１における撮像装置による傾き補正処理を示すフローチャートである。 実施例１における撮像装置のブロック図である。 実施例２における撮像装置のブロック図である。 実施例２における撮像装置の角度波形の説明図である。 実施例２における撮像装置の角度波形の説明図である。 実施例２における撮像装置の可動範囲制限制御の説明図である。 実施例２における撮像装置の角速度波形の説明図である。 実施例２における撮像装置の角度波形の説明図である。 実施例２における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、本発明の実施例１における撮像装置１０１（カメラ）の振れ方向について説明する。図１は、撮像装置１０１の振れ方向の説明図である。本実施例の撮像装置１０１（傾き補正装置）は、傾き補正機能を有し、光軸１０２に対して、矢印１０３ｐ、１０３ｙ、１０３ｒとしてそれぞれ示されるピッチ方向（ピッチ角度）、ヨー方向（ヨー角度）、ロール方向（ロール角度）の補正が可能である。撮像装置１０１には、角速度検出手段（角速度計２１４）および加速度検出手段（加速度計２１３）が搭載されている。角速度計２１４は、矢印１０３ｐ、１０３ｙ、１０３ｒ（ピッチ軸回り、ヨー軸回り、ロール軸回り）のそれぞれの角速度を検出する。加速度計２１３は、矢印１０４ｘ、１０４ｙ、１０４ｚとしてそれぞれ示されるｘ軸、ｙ軸、ｚ軸方向の加速度を検出する。

次に、図２を参照して、撮像装置１０１の構成について説明する。図２は、撮像装置１０１のブロック図である。図２において、ズームユニット２０１は、変倍を行うズームレンズ、および、ズーム位置を検出するズーム位置検出手段を含む。絞り・シャッタユニット２０２は、絞り・シャッタを駆動する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。ズームユニット２０１、絞り・シャッタユニット２０２、および、フォーカスユニット２０３は、光学系（撮影光学系）を構成する。撮像部２０４（撮像手段）は、ＣＣＤやＣＭＯＳなどの撮像素子を備え、光学系を構成する各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして信号処理部２０５に出力する。すなわち撮像部２０４は、光学系を介して形成された光学像（被写体像）を光電変換して像信号（画像データ）を出力する。

信号処理部２０５は、撮像部２０４から出力された電気信号（アナログ画像データ）をデジタル画像データに変換する。画像処理部２０６（画像処理手段）は、信号処理部２０５から出力されたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理など、用途に応じた加工を行う。

表示部２０９は、例えば小型の液晶表示装置（ＬＣＤ）であり、画像処理部２０６から出力されたデジタル画像データを表示する。フォーマット変換部２０７は、画像処理部２０６から出力されたデジタル画像データを、ＪＰＥＧ形式などの記録用フォーマットに変換し、画像記録部２０８に出力する。画像記録部２０８は、フォーマット変換部２０７により変換されたデジタル画像データを、不揮発性メモリなどの記録媒体に記録する。

加速度計２１３（３軸加速計）は、図１中の矢印１０４ｘ、１０４ｙ１０４ｚとして示されるｘ軸、ｙ軸、ｚ軸のそれぞれの加速度を検出して出力する。角速度計２１４（３軸角速度計）は、図１中の矢印１０３ｐ、１０３ｙ、１０３ｒとして示されるピッチ軸回り、ヨー軸回り、ロール軸回りのそれぞれの角速度を検出して出力する。電源部２１０は、用途に応じて、撮像装置１０１の各部に電源を供給する。外部入出力端子部２１１は、外部装置との間で通信信号や映像信号（画像データ）を入出力する。操作部２１２は、撮像装置１０１を操作するための部位である。制御部２１５（制御装置）は、撮像装置１０１のシステム全体を制御する。制御部２１５は、角度算出部２１６（第１角度算出手段）、水平角度算出部２１７（第２角度算出手段）、あおり角度算出部２１８（第２角度算出手段）、および、画像切り出し設定部２１９（設定手段）を有する。

次に、図３を参照して、フレームごとに補正量に合わせて画像の一部を切り出して補正を行う電子式像振れ補正制御について説明する。図３は、本実施例における画像切り出し処理の説明図であり、制御部２１５（画像切り出し設定部２１９）および画像処理部２０６による電子式像振れ補正制御で補正された画像を示している。本実施例において、画像切り出し設定部２１９は、撮像装置１０１のロール方向における角度算出結果に基づいて、切り出し後画像が重力方向に対して垂直な水平方向を保つように回転補正を行うための補正量（傾き補正量）を算出する。

図３において、３０１は、画像処理部２０６に入力される撮影画像である。３０２は、傾き補正量に基づいて回転処理を行って得られた回転画像である。３０３は、電子式像振れ補正により、回転画像３０２に基づいて撮影画像３０１と同じアスペクトの内接部分を切り出して得られた出力画像である。制御部２１５は、このような出力画像３０３の切り出し処理を動画のフレームごとに行うことにより、電子像振れ補正による水平方向の傾き補正を行うことができる。また制御部２１５は、あおり方向の回転補正を行う際に、あおり角度算出結果とズーム位置情報に基づく焦点距離情報とに基づいて、あおり角度を補正するための画像シフト量を算出し、画像シフト量に合わせて画像切り出し処理を行う。制御部２１５は、このような切り出し処理を動画のフレームごとに行うことにより、電子像振れ補正によるあおり方向の傾き補正を行うことができる。

次に、制御部２１５による傾き補正制御について説明する。操作部２１２を介して傾き補正機能をオンにする指示がなされた場合、制御部２１５は、傾き補正処理の開始を指示する。この傾き補正処理は、操作部２１２を介して傾き機能をオフにする指示がなされるまで継続する。制御部２１５は、加速度計２１３の出力信号、および、角速度計２１４の出力信号に基づいて、撮像装置１０１の傾き角度を算出する。そして画像処理部２０６は、制御部２１５（画像切り出し設定部２１９）により設定された補正量（傾き補正量）に基づいて画像切り出しを行い、傾き補正を行う。

加速度計２１３の出力信号は、制御部２１５の角度算出部２１６に入力される。角度算出部２１６は、加速度計２１３の出力信号に基づいて、撮像装置１０１の傾き角度を算出する。加速度計２１３において、加速度センサは、その測定軸のＸ軸が撮像素子の水平方向に、測定軸のＹ軸が撮像素子の垂直方向に、撮像装置１０１の光軸方向がＺ軸にそれぞれ向くように配置されている。角度算出部２１６は、各軸の加速度の出力信号の関係に基づいて、矢印１０３ｐ、１０３ｙ、１０３ｒでそれぞれ示されるピッチ方向、ヨー方向、ロール方向における撮像装置１０１の傾き角度（ピッチ角度、ヨー角度、ロール角度としての絶対角度）を算出する。

画像処理部２０６は、角度算出部２１６により算出された撮像装置１０１の絶対角度に基づいて傾き補正を行うことが可能である。ただし、傾き角度を正確に算出することができるのは、撮像装置１０１が静止している状態で外部からの加速度の影響を受けない場合、すなわち加速度計２１３により検出される加速度に関して重力加速度が支配的である場合に限られる。例えば、撮影者が撮像装置１０１を手持ちで歩行しながらの撮影、撮影者の体の一部に撮像装置１０１を固定装着しての撮影、または、車やバイクなどの乗り物に撮像装置１０１を取り付けての撮影などでは、重力加速度以外の加速度（振動加速度）の影響が大きい。揺れが大きい条件で撮影する場合、振動加速度の影響を無視することができないため、傾き角度の誤算出により逆に像ブレが悪化してしまうことがある。

一方、角速度計２１４を用いて傾き角度を検出する方法が考えられる。しかし、角速度計２１４として主に用いられるジャイロセンサは、低周波ノイズや温度変化による出力オフセット変動が大きい。このため、角速度計２１４の出力信号をそのまま積分処理して、角度算出を行うことは困難である。また、角速度計２１４を振れ補正装置に用いる場合、ＨＰＦにより低周波ノイズをカットして、高周波成分の角度ブレを補正する振れ補正を行うが、低周波成分はカットされているため、傾き補正を行うことはできない。

図４は、撮像装置１０１の角度波形（角度信号）の説明図であり、実際の撮像装置１０１のロール角度と、加速度計２１３の出力信号に基づいて角度算出部２１６により算出されたロール角度との、ある振動条件下での時系列データを示している。図４において、波形４０１（破線）は角度算出部２１６により算出されたロール角度を示し、波形４０２（実線）は実際の撮像装置１０１のロール角度を示している。期間４０３は、撮像装置１０１の振動が小さい状態であり、手振れが生じないように撮影者が撮像装置１０１をしっかり構えているような状態である。期間４０４は、撮影者が歩行ながら撮影を行っているなど、撮像装置１０１の振動が大きい状態である。

期間４０３において、波形４０１と波形４０２との差分は大きくなく（両波形は類似しており）、角度算出部２１６は撮像装置１０１の絶対角度を比較的正確に算出することができる。一方、期間４０４において、波形４０１と波形４０２との差分は大きく（両波形は大きく異なり）、角度算出部２１６は撮像装置１０１の絶対角度を正確に算出することは難しい。すなわち、振動が比較的小さい状態（期間４０３）においては、加速度計２１３からの出力信号は重力加速度が支配的であるため、正確な角度の算出が可能である。一方、振動が大きな状態（期間４０４）においては、加速度計２１３からの出力信号は重力加速度に加えて振動加速度を含むため、角度を誤算出する可能性が高い。そこで本実施例において、制御部２１５は、加速度計２１３により検出された振動ノイズを含む加速度に基づいて算出された角度、および、角速度計２１４により検出された低周波ノイズを含む角速度に基づいて、傾き補正用の絶対角度を算出する。

次に、図５を参照して、加速度計２１３により検出された角度、および、角速度計２１４により検出された角速度に基づいて、カルマンフィルタを用いた撮像装置１０１の振動条件に応じた絶対角度の算出方法について説明する。図５は、制御部２１５（傾き補正装置）のブロック図であり、水平角度算出部２１７の内部を詳細に示している。図５に示されるように、水平角度算出部２１７は、振動状態解析部５０１、カルマンゲイン変更部５０２、および、カルマンフィルタ５０３を有する。

角度算出部２１６は、加速度計２１３により検出された加速度（加速度情報）に基づいて、ロール角度を算出する。角度算出部２１６により算出されたロール角度、および、角速度計２１４により検出されたロール角速度は、カルマンフィルタ５０３に入力される。

次に、カルマンフィルタ５０３を用いた絶対角度算出方法について説明する。ここで、状態変数をｘ＝［ａｎｇｌｅ Ｇｙｒｏｂｉａｓ］^Ｔ（ａｎｇｌｅ：絶対角度、Ｇｙｒｏｂｉａｓ：角速度計２１４のオフセットバイアス成分）、カルマンフィルタ５０３による算出のサンプリング周期をｄｔとする。また、出力ｙを角度算出部２１６から出力される絶対角度（ロール角度）、入力ｕを角速度計２１４から出力される角速度（ロール角速度）とする。このとき、以下の式（１）、（２）のような状態方程式で表すことができる。

式（１）、（２）において、ｗ_ｋはシステム雑音（角速度計２１４のノイズ）、ｖ_ｋは観測雑音（加速度計２１３を用いた角度算出の際のノイズであり、主に振動加速度によるノイズ）である。

また、式（１）、（２）より、以下の式（３）〜（７）で表されるように、カルマンゲインｇ_ｋおよび状態推定値ｘ＾_ｋが求められる。

（事前予測ステップ）

（フィルタリングステップ）

ここで、システム雑音の分散Ｑ＝σ_ｗ ^２と観測雑音の分散Ｒ＝σ_ｖ ^２は、以下のように設定される。システム雑音の分散Ｑの設定値は、入力端に加わるシステム雑音である角速度計２１４のセンサノイズから設定する。観測雑音の分散Ｒは、出力信号である角度算出部２１６の出力である角度に含まれるノイズ（加速度計２１３への振動加速度の影響によるノイズ）から設定する。

Ｑ、Ｒの大きさに応じて、カルマンゲインｇ_ｋは変化する。分散Ｑは、角速度計２１４の出力ノイズによるため、ある条件に応じて変化することはなく一定値として設定される。一方、分散Ｒは、加速度計２１３が受ける振動加速度ノイズの影響を受けるため、撮像装置１０１の振動条件に応じて変化する。撮像装置１０１をしっかり構えて撮影する場合や、三脚に固定しての撮影条件においては、ほとんど振動加速度は発生しないため、分散Ｒは小さく設定されることが好ましい。一方、撮像装置１０１を撮影者が手持ちで歩行しながらの撮影、体の一部に撮像装置１０１を固定装着しての撮影、車やバイクなどの乗り物に撮像装置１０１を取り付けての撮影などにおいては、振動加速度が大きいため、分散Ｒは大きく設定されることが好ましい。しかし、振動による加速度の大きさがそれぞれ異なることから、カルマンゲインｇ_ｋを一定値にして振動条件によらず絶対角度を算出することは困難である。

そこで、振動条件に合わせたカルマンゲインｇ_ｋを設定することができれば、簡単な構成で撮像装置１０１の振動条件に応じた最適な絶対角度の算出が可能となる。このため、加速度計２１３の出力と角速度計２１４の出力とを振動状態解析部５０１に入力し、各センサ情報から撮像装置の振動状態を検出する。カルマンゲイン変更部５０２は、検出された振動状態に応じて、振動状態ごとにカルマンゲインｇ_ｋを変更し、変更したカルマンゲインｇ_ｋをカルマンフィルタ５０３に反映させる。これにより、簡単な構成で振動状態に合わせた最適な絶対角度算出を行うことができる。

次に、振動状態解析部５０１による振動状態解析について説明する。まず、加速度計２１３の出力信号を用いた振動状態解析方法について説明する。角度算出部２１６の出力信号に加わる振動ノイズは、加速度計２１３から重力加速度に加えて出力される振動加速度の大きさに応じて決定される。そこで、加速度計２１３の出力信号から撮像装置１０１が受ける重力以外の加速度の大きさを検出することにより、振動状態を算出する。

ここで、加速度計２１３の出力信号から重力以外の加速度の影響を判定する方法の一例について説明する。撮像装置１０１が静止している状態で外部装置からの加速度の影響を受けない状態にある場合、加速度計２１３により検出される加速度は、重力加速度１Ｇ（＝９．８ｍ／ｓ^２）のみである。加速度計２１３は、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれが直交した関係を有し、それぞれの軸において加速度を検出可能な３軸加速度センサである。ここで、重力加速度以外の加速度を受けない状態であれば、３軸で検出した加速度を合成したときの加速度は重力加速度になる。

合成加速度をσ、Ｘ軸の加速度をαｘ、Ｙ軸の加速度をαｙ、Ｚ軸の加速度をαｚとすると、重力加速度以外の加速度を受けない状態であれば、以下の式（８）のように表わされる。

合成加速度σ＝√（αｘ^２＋αｙ^２＋αｚ^２）
＝重力加速度 … （８）
一方、重力加速度以外に加速度の影響を受けている場合、合成加速度σ≠重力加速度となる。このため、重力加速度以外に撮像装置１０１に加わる加速度成分を振れ加速度βとすると、振れ加速度βは、合成加速度から重力加速度を減算した成分により抽出可能である（振れ加速度β＝合成加速度σ−重力加速度）。ここで、振れ加速度βの絶対値がある時間範囲内で、所定閾値を超えた回数を所定閾値と比較し、所定閾値以下であれば揺れ小さい状態、所定閾値より大きければ揺れ大きい状態と判定する方法により、振動状態を検出することができる。また、他の方法として、振れ加速度βの信号の絶対値から移動平均やＬＰＦなどによって生成した信号を所定閾値と比較し、所定閾値以下であれば揺れ小さい状態、所定閾値より大きければ揺れ大きい状態と判定する方法により、振動状態を検出することもできる。

次に、角速度計２１４の出力信号を用いた振動状態解析方法について説明する。水平角度算出部２１７における振動状態解析部５０１による振動状態検出の際に、角速度計２１４から出力されたロール角速度が入力される。ここで、ロール角速度には、角速度計ノイズである低周波成分ノイズが含まれる。このため、ＨＰＦを通した後、絶対値変換を行う。そして、所定時間内で絶対値変換後のロール角速度が所定閾値を超えた回数を所定閾値と比較し、所定閾値以下であれば揺れ小さい状態、所定閾値より大きければ揺れ大きい状態と判定する方法により、振動状態を検出することができる。また、他の方法として、絶対値変換後のロール角速度の信号から移動平均やＬＰＦなどで生成した信号を所定閾値と比較し、所定閾値以下であれば揺れ小さい状態、所定閾値より大きければ揺れ大きい状態と判定する方法により、振動状態を検出することもできる。

前述のように角度算出部２１６により算出されたロール角度に対しては、角速度計２１４から出力されたロール角速度を用いて振動状態を検出する。また、あおり角度算出部２１８によるあおり方向検出において、あおり方向がピッチ方向の場合、角速度計２１４からピッチ角速度を用いて振動状態を検出し、あおり方向がヨー方向の場合、角速度計２１４からヨー角速度を用いて振動状態を検出する。または、ピッチ角速度とヨー角速度とロール角速度との加算値を用いて振動状態を検出してもよい。

前述の方法により、振動状態解析部５０１は、加速度計２１３の出力信号または角速度計２１４の出力信号のいずれを用いても振動状態を検出することは可能である。ここで、加速度計２１３の出力信号を用いた振動状態と、角速度計２１４の出力信号を用いた振動状態との両方の状態を用いることで、より正確な振動状態を検出することができる。すなわち、加速度計２１３と角速度計２１４のいずれか一方の出力信号を用いて振動が大きいと判定された場合、揺れ大きい状態と判定し、両方の振動が小さいと判定された場合、揺れ小さい状態と判定することができる。

振動状態解析部５０１により検出された振動状態は、カルマンゲイン変更部５０２に入力され、予め振動状態に合わせてパラメータ化されたカルマンゲインが選択される。選択されたカルマンゲインは、カルマンフィルタ５０３に入力され、カルマンフィルタ５０３内のカルマンゲインが設定され、振動状態に合わせた絶対角度が算出されて、画像切り出し設定部２１９へ送られる。このように、水平角度算出部２１７はロール絶対角度を算出することができる。また、あおり角度算出部２１８に関しても、角度算出部２１６から出力されるピッチ角度またはヨー角度、および、角速度計２１４の出力信号のピッチ角速度、ヨー角速度から、図５を参照して説明した方法と同様に算出を行うことが可能である。

次に、図６を参照して、本実施例における撮像装置１０１の傾き補正処理について説明する。図６は、撮像装置１０１の傾き補正処理を示すフローチャートである。図６のフローは、撮像装置１０１の電源がオンで操作部２１２を介して傾き補正機能オンの指示がなされた場合に開始し、所定のサンプリング周期で繰り返される。また図６の各ステップは、主に制御部２１５により実行される。

まずステップＳ６０１において、制御部２１５は、角速度計２１４からの出力信号（角速度計２１４により検出された角速度）を取り込む。そしてステップＳ６０２において、制御部２１５は、加速度計２１３からの出力信号（加速度計２１３により検出された加速度）を取り込む。続いてステップＳ６０３において、角度算出部２１６は、加速度計２１３の３軸加速度出力値からロール角度、ピッチ角度、および、ヨー角度を算出する。

続いてステップＳ６０４において、水平角度算出部２１７は、角度算出部２１６により算出されたロール角度を第１水平角度として設定する。そしてステップＳ６０５において、あおり角度算出部２１８は、角度算出部２１６により算出されたロール角度に基づいて、ピッチ角度とヨー角度のいずれか一方を第１あおり角度とするかを判定する。あおり角度算出部２１８は、その判定の結果、ピッチ角度またはヨー角度のいずれか一方を第１あおり角度として設定する。例えば、ロール角度が所定角度範囲内（例えば、撮像装置１０１の正位置０度を基準として±４５度以内の角度、１３５度〜１８０度の範囲の角度、または、−１３５度〜−１８０度の範囲の角度）であれば、ピッチ角度を第１あおり角度として設定する。一方、ロール角度が所定角度範囲外であれば、ヨー角度を第１あおり角度として設定する。

続いてステップＳ６０６において、振動状態解析部５０１は、振動解析を行い、撮像装置１０１の振動が大きい状態であるか小さい状態かを判定する。そしてステップＳ６０７において、あおり角度算出部２１８は、ステップＳ６０５にて算出された第１あおり角度が所定範囲（例えば、撮像装置１０１の正位置を基準として、±３０度）内であるか否かを判定する。第１あおり角度が所定範囲内である場合、ステップＳ６０８へ進む。一方、第１あおり角度が所定範囲外である場合、ステップＳ６１３へ進む。

ステップＳ６０８において、制御部２１５は、カウンタＡをインクリメントする。そしてステップＳ６０９において、制御部２１５は、カウンタＡが閾値Ｂ（所定の閾値）よりも大きいか否かを判定する。カウンタＡが閾値Ｂよりも大きい場合、ステップＳ６１０へ進む。そしてステップＳ６１０において、制御部２１５はカウンタＡに閾値Ｂを設定し、ステップＳ６１１へ進む。一方、ステップＳ６０９にてカウンタＡが閾値Ｂ以下である場合、ステップＳ６１１へ進み、カウンタＡが閾値Ｂより大きな値にならないように処理される。

ステップＳ６１１において、ステップＳ６０６にて判定された振動状態に基づいて、制御部２１５（振動状態解析部５０１）は、振動が小さい状態であるか否かを判定する。例えば制御部２１５は、振動が所定量よりも小さい場合には振動が小さい状態であると判定し、振動が所定量以上である場合には振動が大きい状態であると判定する。振動が小さい状態である場合、ステップＳ６１２へ進む。ステップＳ６１２において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧａを設定し、ステップＳ６１７へ進む。ここで、カルマンゲインＧａは、観測雑音の分散Ｒが小さくなるように設定されている。これは、振動が小さい状態である場合、加速度計２１３の出力の振動ノイズが小さく、加速度計２１３の出力から正確な水平角度を算出することができているためである。

一方、ステップＳ６１１にて振動が小さい状態ではないと判定された場合、ステップＳ６１６へ進む。ステップＳ６１６において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧｂを設定し、ステップＳ６１７へ進む。カルマンゲインＧｂは、振動が大きい状態のカルマンゲインとして設定される。カルマンゲインＧｂは、観測雑音の分散Ｒが大きくなるように設定されている。振動が大きい状態である場合、加速度計２１３の出力の振動ノイズが大きく、正確な水平角度を算出することは難しい。そこで角速度計２１４の出力で補正する重みを大きくすることにより、カルマンフィルタ５０３を用いて信頼の高い角度（絶対角度）を算出することができる。このように振動状態に合わせたカルマンゲインを設定することにより、カルマンフィルタ５０３から算出される絶対角度は、信頼の高い角度となる。

一方、ステップＳ６０７にて第１あおり角度が所定範囲外である場合、ステップＳ６１３において、制御部２１５はカウンタＡをデクリメントし、ステップ６１４へ進む。ステップＳ６１４において、制御部２１５は、カウンタＡが０よりも小さいか否かを判定する。カウンタＡが０よりも小さい場合、ステップ６１５において、制御部２１５はカウンタＡを０に設定し、ステップＳ６１６へ進む。一方、ステップＳ６１４にてカウンタＡが０以上である場合、ステップＳ６１６へ進み、カウンタＡが０よりも小さい値にならないように処理される。そしてステップＳ６１６において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧｂを設定し、ステップＳ６１７へ進む。ここで、カルマンゲインＧｂは、観測雑音の分散Ｒが大きくなるように設定されている。あおり傾き角度が大きい場合、水平傾き角度を算出する際の誤差が大きくなり、正確な水平傾き補正を行うことが難しくなるため、このような処理を行う。

続いてステップＳ６１７において、制御部２１５（角度算出部２１６、水平角度算出部２１７）は、ステップＳ６０４にて算出された第１水平角度にカウンタＡを乗算し、閾値Ｂで除算する。これにより、Ａ／Ｂの値は、０から１の間において設定され、第１あおり角度が所定範囲内である場合、Ａ／Ｂの値は１となり、第１水平角度の値がそのまま第１水平角度算出目標値に設定される。また、第１あおり角度が所定範囲外に所定時間設定されている場合、Ａ／Ｂの値は０になり、第１水平角度算出目標値は０に設定される。また、あおり角度の切り替わり期間は、ステップＳ６０７〜Ｓ６１７におけるカウンタＡの算出処理により、Ａ／Ｂの値は０から１の間で設定されており、切り替わりをなめらかにつなげることができるようにしている。このため、あおり角度が所定値で切り替わった瞬間から、所定時間かけて第１水平角度差出目標値を第１水平角度または０につなげることが可能である。ステップＳ６０７〜Ｓ６１７において、あおり傾き角度が大きく、正確な水平傾き補正を行うことが難しい場合、角速度計２１４の出力の重みを大きくして角度を算出することにより、大きな傾き角度の出力誤差を低減することができる。

続いてステップＳ６１８において、制御部２１５（水平角度算出部２１７）は、カルマンフィルタ５０３を用いて第２水平角度を算出する。第２水平角度は、ステップＳ６１７にて角度算出部２１６により算出された第１水平角度算出目標値、角速度計２１４からの出力信号でありステップＳ６０１にて取り込まれた角速度、および、設定されたカルマンゲインに基づいて算出される。

続いてステップＳ６１９において、制御部２１５（水平角度算出部２１７）は、第１水平角度が所定範囲（例えば±３０度）内であるか否かを判定する。第１水平角度が所定範囲内である場合、ステップＳ６２０へ進む。一方、第１水平角度が所定範囲外である場合、ステップＳ６２５へ進む。

ステップＳ６２０において、制御部２１５は、カウンタＣをインクリメントし、ステップＳ６２１に進む。続いてステップＳ６２１において、制御部２１５は、カウンタＣが閾値Ｄ（所定の閾値）よりも大きいか否かを判定する。カウンタＣが閾値Ｄよりも大きい場合、ステップＳ６２２において、制御部２１５はカウンタＣに閾値Ｄを設定し、ステップＳ６２３へ進む。一方、ステップＳ６２１にてカウンタＣが閾値Ｄ以下である場合、ステップＳ６２３へ進み、カウンタＣが閾値Ｄよりも大きな値にならないように処理される。

ステップＳ６２３において、ステップＳ６０６にて判定された振動状態の結果に基づいて、ステップＳ６０６にて判定された振動状態に基づいて、制御部２１５（振動状態解析部５０１）は、振動が小さい状態であるか否かを判定する。振動が小さい状態である場合、ステップＳ６２４へ進む。ステップＳ６２４において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧａを設定し、ステップＳ６２９へ進む。一方、ステップＳ６２３にて振動が小さい状態ではないと判定された場合、ステップＳ６２８において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧｂを設定し、ステップＳ６２９へ進む。振動状態に応じたカルマンゲインの変更による効果は、ステップＳ６１２、Ｓ６１６にて説明した効果と同様であり、振動状態に合わせた適切な絶対角度算出を行うことができる。

一方、ステップＳ６１９にて第１水平角度が所定範囲外である場合、ステップＳ６２５において、制御部２１５はカウンタＣをデクリメントし、ステップ６２６へ進む。ステップＳ６２６において、制御部２１５は、カウンタＣが０よりも小さいか否かを判定する。カウンタＣが０よりも小さい場合、ステップ６２７において、制御部２１５はカウンタＣを０に設定し、ステップＳ６２８へ進む。一方、ステップＳ６２６にてカウンタＣが０以上である場合、ステップＳ６２８へ進み、カウンタＣが０よりも小さい値にならないように処理される。そしてステップＳ６２８において、カルマンゲイン変更部５０２は、カルマンゲインとしてＧｂを設定し、ステップＳ６２９へ進む。これにより、ステップＳ６１６にて説明した効果と同様に、正確なあおり角度を算出することが難しい場合において、あおり角度の誤算出による制御性の劣化を低減することができる。

ステップＳ６２９において、制御部２１５（角度算出部２１６、あおり角度算出部２１８）は、ステップＳ６０５にて算出された第１あおり角度にカウンタＣを乗算し、閾値Ｄで除算する。これにより、Ｃ／Ｄの値は、０から１の間において設定され、第１水平角度が所定範囲内である場合、Ｃ／Ｄの値は１となり、第１あおり角度の値がそのまま第１あおり角度算出目標値に設定される。また、第１水平角度が所定範囲外に所定時間設定されている場合、Ｃ／Ｄの値は０になり、第１あおり角度算出目標値は０に設定される。また、水平角度の切り替わり期間は、ステップＳ６１９〜Ｓ６２７におけるカウンタＣの算出処理により、Ｃ／Ｄの値は０から１の間で設定されており、切り替わりをなめらかにつなげることができるようにしている。このため、水平角度が所定値で切り替わった瞬間から、所定時間かけて第１あおり角度差出目標値を第１あおり角度または０につなげることが可能である。ステップＳ６１９〜Ｓ６２９において、正確なあおり傾き補正を行うことが難しい水平角度の場合、角速度計２１４の出力の重みを大きくして角度を算出することにより、大きな傾き角度の出力誤差を低減することができる。

続いてステップＳ６３０において、制御部２１５（あおり角度算出部２１８）は、カルマンフィルタ５０３を用いて第２あおり角度を算出する。第２あおり角度は、ステップＳ６２９にて角度算出部２１６により算出された第１あおり角度算出目標値、角速度計２１４からの出力信号でありステップＳ６０１にて取り込まれた角速度、および、設定されたカルマンゲインに基づいて算出される。

続いてステップ６３１において、画像切り出し設定部２１９は、ステップＳ６１８にて算出された第２水平角度、および、ステップＳ６３０にて算出された第２あおり角度に基づいて、角度を補正するための画像切り出し領域を設定する。そして画像処理部２０６は、画像切り出し設定部２１９により設定された画像切り出し領域に従って画像を切り出し、角度補正を行う。これにより、図６に示される傾き補正ルーチンは終了する。角度補正処理は、所定のサンプリング周期で行われ、算出された第１水平角度および第２あおり角度に基づいて行われる。

以上のとおり、撮像装置１０１の角度に応じて、動画のフレームごとに撮影画像に回転処理を行って切り出し処理を行う。これにより、振動状態に左右されず、広い周波数帯域で撮像素子の重力方向と垂直な平面に対する傾き補正を高精度に行うことができる。また、動画撮影のみでなく静止画撮影の際においても、静止画撮影中の撮像装置の絶対角度を算出し、求められた絶対角度に基づいて撮影画像の回転処理を行うことにより、傾き補正を行うことが可能である。

また、算出された絶対角度に基づいて、光学レンズや撮像素子をシフトさせて光学式に補正する方法を用いて傾き補正を行うこともできる。また、撮像素子を光軸を中心とした回転動作をさせることにより補正してもよく、光学レンズと撮像素子が一体化された鏡筒を、絶対角度に基づいて回転させることにより補正してもよい。いずれの方法を用いても、振動状態に左右されず、広い周波数帯域で撮像素子の重力方向と垂直な平面に対する傾きを高精度に補正することができる。ただし、光学式に補正を行う場合、あおり方向の補正のみで水平方法の補正を行うことはできない。また、撮像素子を光軸を中心とした回転動作により補正する場合、水平方向の補正のみであおり方向の補正は行うことはできない。

次に、図７を参照して、本実施例におけるメカ駆動による傾き補正処理について説明する。図７は、撮像装置１０１ａのブロック図であり、レンズ（光学シフトレンズ）をシフト駆動する機構と、撮像素子を回転駆動する機構とを有する構成を示している。

水平角度算出部２１７およびあおり角度算出部２１８は、加速度計２１３および角速度計２１４の出力信号に基づいて、水平補正角度およびあおり補正角度を算出する。このときの処理は、図２を参照して説明した方法と同様である。図７に示されるように、あおり角度算出部２１８の出力信号は、補正レンズ駆動部７０１（駆動手段）に入力される。補正レンズ駆動部７０１は、ズームユニット２０１から得られたズーム位置情報により算出される焦点距離と、レンズ敏感度とに基づいて、あおり角度算出部２１８からの出力信号を増幅し、シフトレンズ目標値として設定する。これは、レンズの光学情報の変化によりシフトレンズの振れ補正ストロークに対する撮像装置１０１ａの像面での振れ補正敏感度の変化を補正するためである。補正レンズ駆動部７０１は、シフトレンズ目標値に応じて、シフトレンズ部７０３（補正レンズ）をシフト駆動する（光軸１０２と直交する方向に移動させる）ことにより、あおり角度補正を行う。

水平角度算出部２１７からの出力信号は、撮像素子回転駆動部７０２に入力される。撮像素子回転駆動部７０２（駆動手段）は、水平角度算出部２１７から得られた回転目標値に応じて、撮像素子回転部７０４を駆動することにより、水平角度補正を行う。以上の方法により、メカ駆動による傾き補正を行うことができる。なお本実施例において、駆動手段は、シフトレンズ部７０３と撮像部２０４（撮像素子）とが一体化した筐体を駆動するように構成してもよい。

次に、本発明の実施例２における撮像装置について説明する。実施例１では、振動状態に応じた絶対角度算出により傾き補正を行う方法を説明した。しかし実際には、傾き補正可能な範囲（可動範囲）は限られていることが多い。例えば、画像切り出しによる電子像振れ補正を行う場合、予め決められた画像を切り出す割合に応じて傾き補正可能な範囲は限定される。また、メカ機構を用いた角度補正においても、メカ機構の最大駆動可能量に応じて補正可能範囲は限定される。

このため、実施例１にて算出された絶対角度を用いて傾き補正を行った場合、可動範囲を超えると、最大補正角度に張りついてしまうため、高周波成分の振れ補正も効かなくなり、像揺れによる画像の乱れが目立つことがある。そこで本実施例では、限られた可動範囲の中で、傾き補正と振れ補正（高周波の角度補正）とを適切に行うことができる方法について説明する。

図８は、本実施例における撮像装置１０１ｂ（傾き補正装置）のブロック図であり、図５を参照して説明した実施例１の撮像装置１０１と同一部分には同一符号を付している。本実施例の撮像装置１０１ｂは、角速度計２１４の出力信号から低周波成分をカットして積分により角度を算出した低周波除去角度と、カルマンフィルタ５０３を用いて算出された絶対角度とを合成して、傾き補正の可動範囲内で傾き補正と振れ補正とを行う。この点で、本実施例の撮像装置１０１ｂは、カルマンフィルタ５０３を用いて算出した角度を画像切り出し設定部２１９に入力し、撮影画像に回転の切り出し処理を行って傾き補正を行う実施例１の撮像装置１０１とは異なる。

角速度計２１４の出力信号は、ＨＰＦ８０１（ハイパスフィルタ）に入力される。そして、この信号はＨＰＦ８０１においてそのＤＣ成分がカットされた後、可動範囲制限部８１０に入力され、設定された可動範囲内に低周波除去角度が収まるようにＨＰＦ付角速度が信号処理される。可動範囲制限部８１０による処理については後述する。可動範囲制限部８１０の出力信号である角速度は、積分器８０２にて積分処理され、低周波除去振れ補正角度が算出される。カルマンフィルタ５０３から出力された絶対角度、および、積分器８０２の出力信号は、減算器８０４に入力される。減算器８０４は、カルマンフィルタ５０３からの絶対角度から低周波除去振れ補正角度を減算する。

図９は、撮像装置１０１ｂの角度波形の説明図である。図９において、９０１はカルマンフィルタ５０３から出力された絶対角度、９０２は積分器８０２から出力された低周波除去振れ補正角度、９０３は減算器８０４の出力をそれぞれ示している。

減算器８０４の出力は ±４５度変換部８０３に入力される。±４５度変換部８０３は、減算器８０４からの入力信号を、±１８０度の角度値から±４５度の角度値に変換する。ここでは、撮像素子が重力方向に対して垂直な方向に位置しているときの撮像装置１０１ｂの傾きを０度（正位置）とする。そして、減算後の角度が＋４５より大きく、＋１３５以下の場合、±４５度変換部８０３は、撮像装置１０１ｂの角度から９０度を減算する。また、絶対角度が＋１３５度より大きく、＋１８０度以下の場合、±４５度変換部８０３は、撮像装置１０１ｂの角度から１８０度を減算する。また、絶対角度が−４５度以下で−１３５度より大きい場合、±４５度変換部８０３は、撮像装置１０１ｂの角度に９０度を加算する。また、絶対角度が−１３５度以下で−１８０度より大きい場合、±４５度変換部８０３は、撮像装置１０１ｂの角度に１８０度を加算する。このような処理により、撮像装置１０１ｂの角度が０度、９０度、−９０度、１８０度を中心とした±４５度範囲の角度に変換される。

これは、傾き補正を行う基準姿勢を決定するための処理である。基準姿勢は、撮像装置１０１ｂが横位置（正位置）で構えられているか、縦位置に構えられているかにより異なる。撮像装置１０１ｂが横位置で構えられている場合、撮像素子の左右方向軸が重力方向と垂直となっている姿勢を基準姿勢、そのときの角度を基準角度（０度）とし、基準角度に対して水平を保つように傾き補正を行う。撮像装置１０１ｂが縦位置で構えられている場合、撮像素子の上下方向が重力方向と垂直になっている姿勢を基準姿勢とするため、撮像装置１０１ｂの正位置から±９０度回転させた位置をそれぞれ基準角度（０度）として傾き補正を行う。

±４５度変換部８０３の出力信号は、可変ゲイン８０８に入力される。可変ゲイン８０８のゲインは、０から１の間で設定されており、可変ゲイン８０８の出力信号および積分器８０２の出力信号は、加算器８０９に入力され、ゲイン乗算後の信号（出力９０３をゲイン乗算した信号）と低周波除去振れ補正角度９０２とが加算される。

ここで、可変ゲイン８０８のゲインが１の場合、加算器８０９の出力は、カルマンフィルタ５０３の出力である絶対角度を±４５度変換した値と同じ値になる。また、可変ゲイン８０８のゲインが０の場合、加算器８０９の出力は、積分器８０２の出力である低周波除去振れ補正角度９０２と同じ値になる。可変ゲイン８０８のゲインが１から０の間の場合、そのゲインの大きさに応じて、絶対角度と低周波除去振れ補正角度との合成比率が変更される。加算器８０９の出力である補正角度は、画像切り出し設定部２１９に入力され、補正角度に基づいた画像切り出しにより傾き補正が行われる。

次に、可変ゲイン８０８のゲインの設定方法について説明する。±４５度変換部８０３の出力は、絶対値変換部８０５にも入力され、絶対値に変換される。絶対値変換部８０５の出力は、ゲインテーブル８０６に入力される。ここでゲインテーブル８０６は、例えば、絶対値変換後角度が所定の第１角度閾値以内である場合、ゲインを１に設定する。またゲインテーブル８０６は、絶対値変換後角度が所定の第２角度閾値以上である場合、ゲインを０に設定する。またゲインテーブル８０６は、絶対値変換後角度が所定の第１角度閾値と所定の第２角度閾値との間である場合、ゲインが１から０の間を線形補間するようなテーブルである。ここでは、２ポイントでテーブルを作成し、その間は線形補間するようにしているが、２ポイント以上のテーブルを作成することもできる。

図９において、減算器８０４の出力９０３が第１角度閾値に設定された範囲９０４内にある場合、ゲインは１に設定される。一方、出力９０３が範囲９０４外にある場合、ゲインは１から値が小さくなり、所定の第２角度閾値以上でゲインが０に設定される。

また、ゲインテーブル８０６には、振動状態解析部５０１の出力も入力されており、ゲインテーブル８０６は振動状態に応じて変更される。例えば、ゲインテーブル８０６の所定の第１角度閾値の大きさを、「振動状態小時」＞「振動状態中時」＞「振動状態大時」のように変化させる。これにより、振動が小さい場合には揺れによる像揺れが目立たないため、傾き補正を可動範囲内においてできるだけ大きな範囲を利用することにより、傾き補正の補正効果を優先する。一方、振動が大きい場合、低周波の傾き補正を可動範囲内において大きな範囲を利用すると、高周波の傾き補正で可動範囲を超え、振れ補正不能による像揺れが発生する可能性がある。このため、傾き補正を制限することにより、振れ補正の効果が得られる。

ゲインテーブル８０６から出力されるゲインは、Ｇａｉｎ変更部８０７に入力される。Ｇａｉｎ変更部８０７には、角度算出部２１６から出力されるあおり角度も同時に入力される。ここで、あおり角度が所定範囲内にある場合（例えば−３０度〜＋３０度）、Ｇａｉｎ変更部８０７は、角度算出部２１６により算出された水平角度が信頼の高い信号であると判定し、ゲインテーブル８０６の出力であるゲインをそのまま可変ゲイン８０８へ出力する。一方、あおり角度が所定範囲外である場合、Ｇａｉｎ変更部８０７は、角度算出部２１６により算出された水平角度が信頼性の低い信号であると判定し、ゲインテーブル８０６の出力であるゲインを所定時間かけて徐々に０になるように設定する。また、あおり角度が所定範囲内に遷移すると、Ｇａｉｎ変更部８０７は、所定時間かけて徐々にゲインテーブル８０６の出力であるゲイン値に設定し直す。このように、あおり角度が所定範囲外である場合、水平角度の誤算出による傾き補正の誤算出を回避するため、積分器８０２の出力である低周波除去振れ補正角度信号で角度補正を行う。その結果、傾き補正の誤作動による制御不具合を低減しつつ、振れ補正を行うことが可能となる。

図１０は、撮像装置１０１ｂの角度波形の説明図であり、加算器８０９の出力である補正角度の波形の一例を示している。１００１は加算器８０９の出力、１００２は傾き補正の可動範囲をそれぞれ示している。

加算器８０９の出力１００１は、できるだけ可動範囲１００２内に位置するように算出され、図９の範囲９０４内の場合には可変ゲインが１に設定されるため、加算器８０９の出力１００１と絶対角度９０１とは互いに一致する。一方、図９の範囲９０４外の場合、可変ゲインが１より小さい値に設定される。このため、可変ゲインの大きさに応じて、図９の絶対角度９０１と低周波除去振れ補正角度９０２との合成比率が変更され、最終的に可動範囲１００２内に位置するように算出された補正角度（出力１００１）を求めることができる。

本実施例の方法によれば、限られた可動範囲の中で、傾き補正の補正角度を算出することできる。このため、撮像装置１０１ｂの絶対角度が可動範囲を超えた場合でも、手ブレによる高周波成分の振れ補正制御の性能を損なうことなく、撮像装置１０１ｂの絶対角度が可動範囲を超えた場合においても可動範囲に近い角度では効果的に傾き補正を行うことができる。

次に、可動範囲制限部８１０について説明する。可動範囲制限部８１０は、ＨＰＦ８０１の出力を入力し、ＨＰＦ付角速度が所定可動範囲内に収まるように信号処理を行い、処理後の信号を積分器８０２へ出力する。可動範囲制限部８１０には、ＨＰＦ８０１の出力に加えて、積分器８０２の出力である低周波除去振れ補正角度と、±４５度変換部８０３の出力も入力される。

±４５度変換部８０３の出力である絶対角度９０１が、範囲１００２を超えたとき、積分器８０２の出力である低周波除去振れ補正角度で角度補正を行うが、低周波除去振れ補正角度も範囲１００２内で制御する必要がある。このため、低周波除去振れ補正角度が範囲１００２内に収まるように、可動範囲制限部８１０はＨＰＦ８０１からの出力を制限する。

図１１は、撮像装置１０１ｂの可動範囲制限制御の説明図であり、可動範囲制限部８１０および積分器８０２で処理される信号の時系列データを示している。図１１（ａ）中の１１０１は、ＨＰＦ８０１の出力であるＨＰＦ付角速度である。図１１（ｂ）中の１１０３は、ＨＰＦ付角速度１１０１を積分して角度算出した信号である。可動範囲に制限がない場合、補正角度は信号１１０３のようになる。

しかし、可動範囲には限りがあり、ここで防振可動範囲が図１１（ｂ）中の角度Ａ２と角度Ｂ２との間に制限される場合、信号１１０３の可動範囲（角度Ａ２、Ｂ２）を超えている期間においては、振れ補正ができない状態となる。そこで、積分器８０２の出力の角度（の制御周期の前回サンプリング値）を用いて、可動範囲を超えそうな場合、ＨＰＦ付角速度１１０１を減算させる信号処理を行い、減算処理後の角速度を積分する。これにより、防振可動範囲が図１１（ｂ）中の角度Ａ２とＢ２との間で補正角度を算出することが可能となる。

角速度減算量は、図１１（ｃ）、（ｄ）に示されるテーブルより算出される。図１１（ｃ）において、横軸は目標角度、縦軸はゲインαである。補正角度がＡ１以下の場合、ゲインαは１となる。一方、補正角度がＡ２以上の場合、ゲインαは０となる。また、補正角度がＡ１とＡ２の間の場合、ゲインαはＡ１−Ａ２間を線形補間した値となる。図１１（ｄ）についても同様の方法でゲインβを求める。図１１（ｄ）において、横軸は補正角度、縦軸はゲインβである。目標角度がＢ１以上の場合、ゲインαは１となる。一方、補正角度がＢ２以下の場合、ゲインβは０となる。また、補正角度がＢ１とＢ２の間にある場合、ゲインβはＢ１−Ｂ２間を線形補間した値となる。このように求めたゲインαおよびゲインβより、角速度制限ゲインを算出する。

可動範囲制限部８１０から出力される可動範囲制限角速度は、以下の式（９）、（１０）より算出され、角速度の符号によって乗算されるゲインは異なる。

角速度がプラス方向：可動範囲制限角速度＝角速度×α … （９）
角速度がマイナス方向：可動範囲制限角速度＝角速度×β … （１０）
ＨＰＦ８０１の出力であるＨＰＦ付角速度１１０１の符号がプラスの場合、角速度にゲインαを乗算する。一方、角速度の符号がマイナスの場合、角速度にゲインβを乗算する。

図１１（ａ）中の１１０２は、可動範囲制限部８１０から出力される、可動範囲制限角速度である。図１１（ｂ）中の１１０４は、可動範囲制限角速度１１０２を積分して角度算出した信号であり、可動範囲（角度Ａ２とＢ２）の間で補正角度が算出されている。前述の方法により、制限された可動範囲内に収まるように振れ補正制御を行うことが可能である。

可動範囲制限部８１０には、積分器８０２の出力値だけでなく、±４５度変換部８０３の出力も入力されている。ここで、±４５度変換部８０３の出力が、プラスの可動範囲（例えば＋５度）以上かつ所定の閾値Ｐ（例えば＋２０度）以下にある場合、低周波除去振れ補正角度がプラス側に遷移し難いように制限することが好ましい。このため、図１１（ｂ）中の閾値である角度Ｂ１、Ｂ２を通常より大きい値に変更する。また、±４５度変換部８０３の出力が、マイナスの可動範囲（例えば−５度）以下かつ所定の閾値Ｍ（例えば−２０度）以上にある場合、低周波除去振れ補正角度がマイナス側に遷移し難いように制限することが好ましい。このため、閾値である角度Ａ１、Ａ２を通常より小さい値に変更する。また、±４５度変換部８０３の出力が、可動範囲（±５度）以内、閾値Ｐよりも大きい、または、閾値Ｍより小さい場合、閾値である角度Ａ１、Ａ２、Ｂ１、Ｂ２は通常の閾値に設定する。

次に、図１２および図１３を参照して、絶対角度に基づく低周波除去振れ補正角度の可動範囲制限処理の効果について説明する。図１２は、撮像装置１０１ｂの角速度波形の説明図である。図１２において、１２０１は、撮像装置１０１ｂの角速度である。１２０２は、ＨＰＦ８０１の出力であるＨＰＦ付角速度である。１２０３は、可動範囲制限部８１０の出力である可動範囲制限角速度である。期間１２０４において、撮像装置１０１ｂの角度が大きく変化している。図１３は、撮像装置１０１ｂの角度波形の説明図である。図１３において、１３０１は撮像装置１０１ｂの角度である。１３０２は、ＨＰＦ８０１の出力であるＨＰＦ付角速度１２０２をそのまま積分処理した場合の信号である。１３０３は、可動範囲制限角速度１２０３を積分処理した信号である。

期間１２０４における撮像装置１０１ｂの角度変化動作の影響により、期間１２０４の前後において撮像装置１０１ｂの角度は大きく異なる。積分器８０２の出力である補正角度は、比較的高周波成分の角度を補正する振れ補正制御用信号であるため、できるだけ中心付近で制御されることが好ましい。しかし、可動範囲制限を行わない場合の信号１３０２は、期間１３０４において、撮像装置１０１ｂの角度１３０１とは符号が逆向きの角度として出力されている。これは、ＨＰＦ８０１の影響である。大きな揺れが生じた場合、大きな振幅の低周波成分も減衰され、その影響で大きな角度変化終了時には、実際の角度方向とは逆方向の信号（揺り戻し）が生じる。その後、この信号は、ゆっくりとゼロに収束していくが、この信号に基づいて補正を行った場合、実際の撮像装置１０１ｂの振れとは逆方向の信号に基づいて補正量を算出するため、高精度な補正が難しい。このように、振れ補正角度が期間１３０４のように中心付近でなく、角度１３０１（絶対角度）と逆符号の向きで算出されると、信号１３０２（振れ補正角度）と傾き補正角度とを合成した場合、期間１３０４における角度変化が合成角度に現れる可能性がある。この場合、補正が正しく行わないばかりか、揺り戻しにより、逆に像揺れが発生する。

可動範囲制限部８１０は、大きな角度変化があって±４５度変換部８０３の出力が所定範囲にある場合、角度閾値（角度Ａ１、Ａ２、Ｂ１、Ｂ２）を変更する。絶対角度と低周波除去振れ補正角度との差分が所定範囲でプラス側に位置する場合、角度閾値（角度Ｂ１、Ｂ２）を大きく設定し、低周波除去振れ補正角度がマイナス側に遷移しにくくする。また、絶対角度と低周波除去振れ補正角度との差分が所定範囲でマイナス側に位置する場合、角度閾値（角度Ａ１、Ｂ１）を小さく設定し、低周波除去振れ補正角度がプラス側に遷移しにくくする。これにより、可動範囲制限を用いた補正角度は、信号１３０３のように中心付近でもしくは絶対角度の符号の方向で求められることが可能になる。このため、絶対角度と低周波除去振れ補正角度の信号を合成した場合、傾き角度が可動範囲を超えても、補正角度が可動範囲近傍でできるだけ傾き補正効果がでるように補正することにより、傾き補正と振れ補正とを適切に行うことができる。

本実施例では、角度Ａ１、Ａ２、Ｂ１、Ｂ２（閾値）を変更するための可動範囲制限部８１０への入力信号として、カルマンフィルタ５０３の出力（絶対角度）から積分器８０２の出力（低周波除去振れ補正角度）を減算した後、±４５度変換した信号を用いる。ただし本実施例は、これに限定されるものではなく、カルマンフィルタ５０３からの信号をそのまま用いることができ、または、カルマンフィルタ５０３からの信号をＬＰＦなどで高周波成分をカットした信号を用いてもよい。

以上のように、本実施例の撮像装置１０１ｂは、絶対角度の大きさに基づいて、可動範囲を制限した低周波除去振れ補正角度を算出し、絶対角度と低周波除去振れ補正角度を合成し、傾き補正を行う。これにより、絶対角度が可動範囲を超える条件でも、高周波の手ブレ成分を補正しつつ、傾き補正は可動範囲近くでできるだけ補正効果がでるように補正できる。このため、傾き補正と振れ補正とを適切に行うことが可能となる。

図８に示される撮像装置１０１ｂの制御ブロックでは、カルマンフィルタ５０３からの出力である絶対角度から積分器８０２の出力である低周波除去振れ補正角度を減算した信号に基づいて可変ゲインを設定する。そして、絶対角度、低周波除去振れ補正角度、および、可変ゲインに基づいて補正角度を算出する。ただし、本実施例はこれに限定されるものではなく、カルマンフィルタ５０３からの出力である絶対角度に基づいて可変ゲインを設定し、補正角度を算出してもよい。

図１４を参照して、絶対角度に基づいて可変ゲインを設定し、絶対角度、低周波除去振れ補正角度、および、可変ゲインに基づいて補正角度を算出する方法について説明する。図１４は、本実施例における撮像装置１０１ｃのブロック図であり、図８を参照して説明した撮像装置１０１ｂと同一部分には同一符号を付している。

図１４の制御ブロックにおいて、可変ゲインの算出はカルマンフィルタ５０３の出力である絶対角度と積分器８０２の出力である低周波除去振れ補正角度との差分値から算出するのではなく、カルマンフィルタ５０３出力の絶対角度から算出される。カルマンフィルタ５０３の出力の絶対角度は、ＬＰＦ１４０１に入力されて信号の高周波成分をカットした後、±４５度変換部８０３に入力される。そして、図８に示される±４５度変換部８０３、絶対値変換部８０５、ゲインテーブル８０６、Ｇａｉｎ変更部８０７を用いた方法と同様に、可変ゲインが算出される。

また、カルマンフィルタ５０３の出力は、±４５度変換部１４０２にも入力され、±４５度変換部８０３と同様に、±１８０度から±４５度の信号に変換される。±４５度変換部１４０２の出力は、可変ゲイン１４０３に入力され、Ｇａｉｎ変更部８０７により算出された可変ゲインを乗算する。また、積分器８０２の出力である低周波除去振れ補正角度は、可変ゲイン１４０４に入力され、１からＧａｉｎ変更部８０７で算出された可変ゲインを減算した値で乗算される。可変ゲイン１４０３および可変ゲイン１４０４は、加算器１４０５に入力され、可変ゲインにより設定された合成比率に基づいて絶対角度と低周波除去振れ補正角度とを合成することにより、補正角度を算出する。そして、画像切り出し設定部２１９は、補正角度に基づいた画像切り出しにより傾き補正を行う。

撮像装置１０１ｃにおいても、図８を参照して説明した撮像装置１０１ｂと同等の補正角度を算出することができ、限られた可動範囲の中で、傾き補正の補正角度を算出することが可能である。このため、撮像装置１０１ｃの絶対角度が可動範囲を超えた場合でも、手ブレによる高周波成分の振れ補正制御の性能を損なうことない。また、撮像装置１０１ｃの絶対角度が可動範囲を超えた場合でも、可動範囲に近い角度では効果的に傾き補正を行うことができる。

以上のとおり、各実施例において、制御装置（制御部２１５）は、第１角度算出手段（角度算出部２１６）、解析手段（振動状態解析部５０１）、第２角度算出手段（水平角度算出部２１７、あおり角度算出部２１８）、および、補正手段を有する。第１角度算出手段は、加速度検出手段（加速度計２１３）により検出された加速度に基づいて第１角度（第１水平角度、第１あおり角度）を算出する。解析手段は、加速度または角速度検出手段（角速度計２１４）により検出された角速度の少なくとも一つに基づいて振動状態を解析する。第２角度算出手段は、角速度、第１角度、および、振動状態に基づいて、第２角度（第２水平角度、第２あおり角度）を算出する。補正手段（画像切り出し設定部２１９、画像処理部２０６、補正レンズ駆動部７０１、撮像素子回転駆動部７０２）は、第２角度に基づいて傾き補正を行う。

好ましくは、第２角度算出手段は、振動状態に応じて角速度と第１角度との相対的な重みを変更して、第２角度を算出する。更に好ましくは、第２角度算出手段は、振動状態が、振動が所定量以上であることを示す場合、角速度の重みを大きくする（Ｓ６１１、Ｓ６１６、Ｓ６２３、Ｓ６２８）。また第２角度算出手段は、振動状態が、振動が所定量よりも小さいことを示す場合、第１角度の重みを大きくする（Ｓ６１１、Ｓ６１２、Ｓ６２３、Ｓ６２４）。

好ましくは、第１角度算出手段は、第１角度として、あおり角度（第１あおり角度）を算出する。そして第２角度算出手段は、あおり角度に基づいて、第２角度としての水平角度（第２水平角度）を算出する。また好ましくは、第１角度算出手段は、第１角度として、水平角度（第１水平角度）を算出する。そして第２角度算出手段は、水平角度に基づいて、第２角度としてのあおり角度（第２あおり角度）を算出する。

好ましくは、第２角度算出手段は、カルマンゲインを変更可能なカルマンフィルタ５０３を用いて、第２角度を算出する。また好ましくは、補正手段は、第２角度に基づいて画像の傾き補正量（被写体像のズレ量、回転補正量）を設定する設定手段（画像切り出し設定部２１９）を有する。より好ましくは、補正手段は、傾き補正量に基づいて画像切り出しを行うことにより傾き補正を行う画像処理手段（画像処理部２０６）を有する。好ましくは、補正手段は、第２角度に基づいて撮像手段（撮像部２０４）、レンズ（シフトレンズ部７０３）、または、レンズと撮像素子とが一体化した筐体の少なくとも一つを駆動する駆動手段（補正レンズ駆動部７０１、撮像素子回転駆動部７０２）を有する。

好ましくは、制御装置は、第３角度算出手段（ＨＰＦ８０１、可動範囲制限部８１０、積分器８０２）、および、補正角度算出手段（ゲインテーブル８０６、Ｇａｉｎ変更部８０７、可変ゲイン８０８、加算器８０９、１４０５）を有する。第３角度算出手段は、角速度検出手段により検出された角速度から低周波成分を除去して第３角度を算出する。補正角度算出手段は、第２角度および第３角度に基づいて補正角度を算出する。補正手段は、補正角度に基づいて傾き補正を行う。より好ましくは、補正角度算出手段は、第２角度から前記第３角度を減算した信号に基づいて、または、第２角度に基づいて、ゲインを変更するゲイン変更手段（Ｇａｉｎ変更部８０７）を有する。そして補正角度算出手段は、第２角度、第３角度、および、ゲインに基づいて、補正角度を算出する。より好ましくは、ゲイン変更手段は、更に第１角度（第１あおり角度または第１水平角度）に基づいてゲインを変更する。また好ましくは、第３角度算出手段は、第２角度に基づいて第３角度の範囲を制限する制限手段（可動範囲制限部８１０）を有する。また好ましくは、制御装置は、補正角度に基づいて画像の傾き補正量を設定する設定手段（画像切り出し設定部２１９）を更に有する。

好ましくは、補正角度算出手段は、第２角度としてのあおり角度に基づいてゲインを変更するゲイン変更手段を有し、あおり角度、第３角度、および、ゲインに基づいて、補正角度としての水平補正角度を算出する。また好ましくは、補正角度算出手段は、第２角度としての水平角度に基づいてゲインを変更するゲイン変更手段を有し、水平角度、第３角度、および、ゲインに基づいて、補正角度としてのあおり補正角度を算出する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例の撮像装置によれば、振動が大きな条件においても、広い周波数帯域で撮像装置の絶対角度を算出し、得られた絶対角度に基づいて傾き補正を行うことができる。このため各実施例の撮像装置によれば、撮像装置の振動状態に左右されず、広い周波数帯域で撮像素子の重力方向と垂直な平面に対する傾きを高精度に補正することができる。従って、各実施例によれば、振動が大きい場合でも高精度に傾き補正が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、各実施例は、デジタル一眼レフやデジタルコンパクトカメラ、デジタルビデオカメラの傾き補正装置に限らず、監視カメラ、Ｗｅｂカメラ、携帯電話などの撮像装置にも適用可能である。

２０６ 画像処理部（補正手段）
２１５ 制御部（制御装置）
２１６ 角度算出部（第１角度算出手段）
２１７ 水平角度算出部（第２角度算出手段）
２１８ あおり角度算出部（第２角度算出手段）
２１９ 画像切り出し設定部（補正手段）
５０１ 振動状態解析部（解析手段）

Claims (21)

1. 加速度検出手段により検出された加速度に基づいて第１角度を算出する第１角度算出手段と、
   前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析する解析手段と、
   前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出する第２角度算出手段と、
   前記第２角度に基づいて傾き補正を行う補正手段と、を有することを特徴とする制御装置。
2. 前記第２角度算出手段は、前記振動状態に応じて前記角速度と前記第１角度との相対的な重みを変更して、前記第２角度を算出することを特徴とする請求項１に記載の制御装置。
3. 前記第２角度算出手段は、
   前記振動状態が、振動が所定量以上であることを示す場合、前記角速度の重みを大きくし、
   前記振動状態が、前記振動が前記所定量よりも小さいことを示す場合、前記第１角度の重みを大きくすることを特徴とする請求項２に記載の制御装置。
4. 前記第１角度算出手段は、前記第１角度として、あおり角度を算出し、
   前記第２角度算出手段は、前記あおり角度に基づいて、前記第２角度としての水平角度を算出することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記第１角度算出手段は、前記第１角度として、水平角度を算出し、
   前記第２角度算出手段は、前記水平角度に基づいて、前記第２角度としてのあおり角度を算出することを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
6. 前記第２角度算出手段は、カルマンゲインを変更可能なカルマンフィルタを用いて、前記第２角度を算出することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記補正手段は、前記第２角度に基づいて画像の傾き補正量を設定する設定手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記補正手段は、前記傾き補正量に基づいて画像切り出しを行うことにより前記傾き補正を行う画像処理手段を有することを特徴とする請求項７に記載の制御装置。
9. 前記補正手段は、前記第２角度に基づいて撮像素子、レンズ、または、該レンズと該撮像素子とが一体化した筐体の少なくとも一つを駆動する駆動手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
10. 前記角速度検出手段により検出された前記角速度から低周波成分を除去して第３角度を算出する第３角度算出手段と、
    前記第２角度および前記第３角度に基づいて補正角度を算出する補正角度算出手段と、を更に有し、
    前記補正手段は、前記補正角度に基づいて前記傾き補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
11. 前記補正角度算出手段は、
    前記第２角度から前記第３角度を減算した信号に基づいてゲインを変更するゲイン変更手段を有し、
    前記第２角度、前記第３角度、および、前記ゲインに基づいて、前記補正角度を算出することを特徴とする請求項１０に記載の制御装置。
12. 前記補正角度算出手段は、
    前記第２角度に基づいてゲインを変更するゲイン変更手段を有し、
    前記第２角度、前記第３角度、および、前記ゲインに基づいて、前記補正角度を算出することを特徴とする請求項１０に記載の制御装置。
13. 前記ゲイン変更手段は、更に前記第１角度に基づいて前記ゲインを変更することを特徴とする請求項１１または１２に記載の制御装置。
14. 前記第３角度算出手段は、前記第２角度に基づいて前記第３角度の範囲を制限する制限手段を有することを特徴とする請求項１０乃至１３のいずれか１項に記載の制御装置。
15. 前記補正角度に基づいて画像の傾き補正量を設定する設定手段を更に有することを特徴とする請求項１０乃至１４のいずれか１項に記載の制御装置。
16. 前記補正角度算出手段は、
    前記第２角度としてのあおり角度に基づいてゲインを変更するゲイン変更手段を有し、
    前記あおり角度、前記第３角度、および、前記ゲインに基づいて、前記補正角度としての水平補正角度を算出することを特徴とする請求項１０に記載の制御装置。
17. 前記補正角度算出手段は、
    前記第２角度としての水平角度に基づいてゲインを変更するゲイン変更手段を有し、
    前記水平角度、前記第３角度、および、前記ゲインに基づいて、前記補正角度としてのあおり補正角度を算出することを特徴とする請求項１０に記載の制御装置。
18. 光学系を介して形成された光学像を光電変換して像信号を出力する撮像手段と、
    加速度を検出する加速度検出手段と、
    角速度を検出する角速度検出手段と、
    前記加速度に基づいて第１角度を算出する第１角度算出手段と、
    前記加速度または前記角速度の少なくとも一つに基づいて振動状態を解析する解析手段と、
    前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出する第２角度算出手段と、
    前記第２角度に基づいて傾き補正を行う補正手段と、を有することを特徴とする撮像装置。
19. 加速度検出手段により検出された加速度に基づいて第１角度を算出するステップと、
    前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析するステップと、
    前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出するステップと、
    前記第２角度に基づいて傾き補正を行うステップと、を有することを特徴とする制御方法。
20. 加速度検出手段により検出された加速度に基づいて第１角度を算出するステップと、
    前記加速度または角速度検出手段により検出された角速度の少なくとも一つに基づいて振動状態を解析するステップと、
    前記角速度、前記第１角度、および、前記振動状態に基づいて、第２角度を算出するステップと、
    前記第２角度に基づいて傾き補正を行うステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
21. 請求項２０に記載のプログラムを記憶していることを特徴とする記憶媒体。