JP2014128017A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】パンニング時の動きを補正してしまうことを防止しつつ、良好な像振れ補正効果を得ることができる撮像装置を提供する。
【解決手段】撮像装置の振れを検出する振れ検出部と、振れ検出部の出力に対して、フィルタ演算を行う第１のフィルタと、振れ検出手段の出力に対して、第１のフィルタよりも高次のフィルタ演算を行う第２のフィルタと、第１及び第２のフィルタの演算結果のうち、いずれか一方の演算結果を選択する選択部と、選択された演算結果に基づいて、積分演算を含む振れ補正量演算を行う補正量演算部と、撮像装置の撮像方向を変更する動作が行われているか否かを判定する判定部と、撮像装置が撮像方向を変更する動作を行っていると判定されている状態から、撮像方向を変更する動作が終了したと判定される状態に遷移するとき、第２のフィルタの演算結果を選択している状態から、第１のフィルタの演算結果を選択している状態に切り替えるように制御する制御部とを備える。
【選択図】 図１

Description

本発明は、撮像装置の振れに起因する撮影画像の像振れを機械的、あるいは電子的に補正する技術に関する。

近年、撮像装置の小型化や光学系の高倍率化に伴い、撮像装置の振れ等が撮影画像の品位を低下させる大きな原因となっている。この点に着目し、このような装置の振れ等により生じた撮像画像の像振れを補正する像振れ補正機能が提案されている。

像振れ補正機能においては、撮影者が意図的に撮像装置の撮影範囲を変更させるパンニング操作による画像の動きまでも補正してしまうと、撮影者のパンニング操作の妨げとなってしまう。そのため、撮像装置がパンニング状態であることを検出して、パンニングの動きを補正しないようにする機能が種々提案されている。例えば特許文献１では、次のような像振れ補正装置が開示されている。即ち、次数の異なる複数のＨＰＦ（ハイパスフィルタ）を有し、パンニング時には高次のＨＰＦを選択し、パンニングで生じる低周波数帯域の振れ信号を減衰し、パンニング以外のときには、低次のＨＰＦを選択し、低周波数帯域の振れ信号まで補正する。

特開２００７−７２３１２号公報

しかしながら、上記従来例では以下のような問題点があった。即ち、上記従来例においては、像振れ補正装置を駆動する補正目標位置演算の最終段に、次数の異なるＨＰＦの出力の切替を行うスイッチが配置されている。このような構成を採用すると、ＨＰＦの切替時に、次数の異なるＨＰＦの出力同士の差分が画の動きとなって現れ、ピクツキが見えてしまうという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、パンニング時の動きを補正してしまうことを防止しつつ、良好な像振れ補正効果を得ることができる撮像装置を提供することである。

本発明に係わる撮像装置は、撮像画像の像振れを補正する機能を有する撮像装置であって、振れを検出する振れ検出手段と、前記振れ検出手段の出力に対して、周波数帯域制限をおこなう第１のフィルタと、前記振れ検出手段の出力に対して、前記第１のフィルタよりも高次のフィルタ演算を行う第２のハイパスフィルタと、前記第１のフィルタの演算結果と前記第２のフィルタの演算結果のうち、いずれか一方の演算結果を選択する選択手段と、前記選択手段によって選択された前記演算結果に基づいて、積分演算を含む振れ補正量演算を行う補正量演算手段と、前記撮像装置の撮像方向を変更する動作が行われているか否かを判定する判定手段と、前記判定手段により、前記撮像装置が撮像方向を変更する動作を行っていると判定されている状態から、前記撮像方向を変更する動作が終了したと判定される状態に遷移するとき、前記選択手段を、前記第２のフィルタの演算結果を選択している状態から、前記第１のフィルタの演算結果を選択している状態に切り替えるように制御する制御手段と、を備えることを特徴とする。

本発明によれば、パンニング時の動きを補正してしまうことを防止しつつ、良好な像振れ補正効果を得ることができる撮像装置を提供することが可能となる。

本発明の撮像装置の実施形態としてのビデオカメラの構成を示すブロック図である。 本発明の第１の実施形態における、パンニング制御部１０８の処理を示すフローチャートである。 速度が遅いパンニング動作が行われているときの、像振れ補正動作を説明するためのグラフである。 本発明の第１の実施形態における、ＨＰＦ１０６及びＨＰＦ１０７の周波数特性を示すボード線図である。 速度が速いパンニング動作が行われているときの、像振れ補正動作を説明するためのグラフである。 本発明の第２の実施形態における、パンニング制御部１０８の処理を示すフローチャートである。 本発明の第２の実施形態における、ＨＰＦ１０７の周波数特性を示すボード線図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の説明では、画像の横方向または縦方向のいずれか一方の像振れ補正制御に関して説明を行い、他方向の像振れ補正制御は同様の制御であるため、説明を省略する。

図１は、本発明の撮像装置の実施形態としてのビデオカメラの構成を示すブロック図である。図１の撮像装置１００の各構成部とその動作について具体的に説明する。

振れ検出手段としての角速度センサ１０２は、例えばジャイロセンサであり、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をアナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して、μＣＯＭ１０１内部の基準値演算部１０４及び減算器１０５に供給する（以下、角速度センサ信号とする）。

角速度センサ１０２からの角速度センサ信号は、加えられる振動がゼロのときの出力が環境によって変動するものとする。角速度センサ１０２が撮像装置１００の振れ量を検出した信号に、上記振動がゼロのときの出力変動が重畳された信号となっている。そこで基準値演算部１０４では、角速度センサ１０２に加えられる振動がゼロのときの角速度センサ信号、すなわち「基準値」を算出し、減算器１０５に供給する。ここで、基準値の演算には、角速度センサ信号の所定時間の平均値を用いる等、公知の方法を用いればよい。減算器１０５では、角速度センサ信号から基準値を減算した結果を、ＨＰＦ（ハイパスフィルタ）１０６、ＨＰＦ（ハイパスフィルタ）１０７、及びパンニング制御部１０８に供給する。減算器１０５の出力を、以下角速度信号とする。

周波数帯域制限を行うＨＰＦ１０６（第１のフィルタ）は、任意の周波数帯域でその特性を変更し得る機能を有しており、減算器１０５からの角速度信号に含まれる低周波数成分を遮断して高周波数帯域の信号を出力する（ハイパスフィルタ演算）。ＨＰＦ１０７（第２のフィルタ）は、ＨＰＦ１０６と同様、任意の周波数帯域でその特性を変更し得る機能を有しており、減算器１０５からの角速度信号に含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。ただし、ＨＰＦ１０７は、ＨＰＦ１０６よりも高次のＨＰＦを構成しており、同じカットオフ周波数であれば、カットオフ周波数以下の周波数帯域でのゲインは、ＨＰＦ１０７の方がＨＰＦ１０６よりも小さい。

ＨＰＦ選択部１０９は、パンニング制御部１０８の指示に従って、ＨＰＦ１０６の出力かＨＰＦ１０７の出力かのいずれか一方の信号を選択して、焦点距離演算部１１０に供給する。パンニング制御部１０８は、減算器１０５の出力、ＨＰＦ１０６の出力、ＨＰＦ１０７の出力から、撮像装置がパンニング状態（撮像方向を変更する動作状態）であるかどうかの判定を行う。そして、その判定結果に応じて、ＨＰＦ１０６やＨＰＦ１０７の特性を変更したり、ＨＰＦ選択部１０９の制御を変更する等の処理を行う。

補正光学系１１９は、例えば撮像光学系１２０の一部をなすシフトレンズであり、光軸に垂直方向に移動することによって光軸を偏向し、撮像画像のブレ像振れを光学的に補正する。撮像光学系１２０は、複数のレンズ群からなり、ズーミング、フォーカシング等の動作を行うことができる。撮像光学系１２０は、補正光学系１１９を通して、被写体像を撮像素子１２２に結像させる。ズームエンコーダ１２１は、撮像光学系１２０のズーム位置を検出し、μＣＯＭ１０１内部の焦点距離演算部１１０に出力する。焦点距離演算部１１０では、ズームエンコーダ１２１の出力より撮像光学系１２０の焦点距離を算出し、補正光学系１１９を駆動するのに最適なゲインを、ＨＰＦ選択部１０９の出力に対して乗算し、積分器１１１に供給する。積分器１１１は、ＨＰＦ１０６またはＨＰＦ１０７からの出力を積分し（積分演算）、補正光学系１１９の目標駆動位置に変換し、減算器１１２に供給する。

位置検出部１１７は、補正光学系１１９の位置を検出する。そしてＡ／Ｄ変換器１１８は、位置検出部１１７からのの出力をアナログ信号からデジタル信号へ変換（Ａ／Ｄ変換）する。減算器１１２は、Ａ／Ｄ変換器１１８にてデジタル化した補正光学系１１９の位置データを、積分器１１１の出力から減算し（補正量演算）、その結果である偏差データを制御フィルタ１１３に供給する。

制御フィルタ１１３は、偏差データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１１２から供給された偏差データは、制御フィルタ１１３に供給さる。制御フィルタ１１３は、減算器１１２から供給された偏差データに対して上記増幅器及び位相補償フィルタによる信号処理を行い、パルス幅変調部１１４に出力される。パルス幅変調部１１４は、制御フィルタ１１３を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１５に供給する。

モータ１１６は、補正光学系１１９の駆動用のボイス・コイル型モータである。モータ１１６は、モータ駆動部１１５から駆動制御されることにより、補正光学系１１９を光軸と垂直な方向に移動する。位置検出部１１７は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１１９の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１８を介して、上述した減算器１１２に供給する。これによって、積分器１１１の出力に対して補正光学系１１９の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。

補正光学系１１９は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する（結像位置を移動させる）、光学的に振れ補正可能な補正系である。その結果、装置の振れ等により生じる撮像面上の被写体の移動が補正された像が、撮像素子１２２に結像される。

撮像素子１２２は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２３に供給する。信号処理部１２３は、撮像素子１２２により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して、撮像装置の液晶モニタや外部モニタに映像を表示させるための出力端子等に出力する。

（第１の実施形態）
図２（ａ）は、本発明の第１の実施形態におけるパンニング制御部１０８の処理の流れを示したフローチャートである。以下、図２（ａ）のフローチャートを用いて、パンニング制御部１０８の処理について説明する。図２（ａ）のフローチャートの処理は、例えば６０分の１秒毎に繰り返し行われる。

パンニング制御部１０８は、ステップＳ１００において、ＨＰＦ１０６及びＨＰＦ１０７の入力信号である減算器１０５の出力から、ＨＰＦ１０６あるいはＨＰＦ１０７の出力信号を減算した結果を、変数ＨＰＦ＿ＤＩＦＦに格納する。

ステップＳ１００の後はステップＳ１０１の処理に移行し、パンニング判定結果を示すフラグであるＰＡＮ＿ＦＬＡＧが０か１のどちらであるかの判定を行う。ＰＡＮ＿ＦＬＡＧが１の場合は、パンニング中の判定が行われていることを示し、ＰＡＮ＿ＦＬＡＧが０の場合は、パンニング中でないという判定が行われていることを示す。ステップＳ１０１において、ＰＡＮ＿ＦＬＡＧが０と判定された場合は、ステップＳ１０２の処理に進む。

ステップＳ１０２及びステップＳ１０３は、上記ＨＰＦ＿ＤＩＦＦに格納された結果から、パンニングが開始されたかどうかの判定を行う。ステップＳ１０２において、パンニング制御部１０８は、上記ＨＰＦ＿ＤＩＦＦがパンニング開始を判定するための閾値ＰＡＮ＿ＳＴＡＲＴ＿ＴＨ（第２の閾値）よりも大きいかどうかの判定を行う。ステップＳ１０２において、ＨＰＦ＿ＤＩＦＦがＰＡＮ＿ＳＴＡＲＴ＿ＴＨ以下と判定されたときは、ステップＳ１０３に進む。ステップＳ１０３では、ＨＰＦ＿ＤＩＦＦが−ＰＡＮ＿ＳＴＡＲＴ＿ＴＨよりも小さいかどうかの判定つまり、ステップＳ１０２の判定とは逆方向のパンニングが開始されたかどうかの判定を行う。ステップＳ１０３において、ＨＰＦ＿ＤＩＦＦが−ＰＡＮ＿ＳＴＡＲＴ＿ＴＨ以上と判定されると、本処理は終了となる。

なお、ステップＳ１００で算出するＨＰＦ＿ＤＩＦＦは、ＨＰＦの入力と出力との差分、即ちＨＰＦで減衰された角速度信号の低周波数成分である。よって、ＨＰＦ＿ＤＩＦＦは、代替として、例えば角速度信号に対して、高周波数成分を減衰するＬＰＦ（ローパスフィルタ）演算を行った結果や、移動平均を演算した結果等を用いても、同様の判定を行うことができる。

ステップＳ１０２において、ＨＰＦ＿ＤＩＦＦがＰＡＮ＿ＳＴＡＲＴ＿ＴＨよりも大きいと判定されたときは、ステップＳ１０４の処理へ進みむ。ステップＳ１０２において、ＨＰＦ＿ＤＩＦＦが−ＰＡＮ＿ＳＴＡＲＴ＿ＴＨよりも小さいと判定されたときは、ステップＳ１０５の処理へ進む。ステップＳ１０４及びステップＳ１０５では、パンニング中であることを示すフラグＰＡＮ＿ＦＬＡＧに１を格納する。また、ステップＳ１０４では、パンニング方向を示すフラグＳＩＧＮ＿ＦＬＡＧに１を格納し、ステップＳ１０５ではＳＩＧＮ＿ＦＬＡＧに０を格納する。

ステップＳ１０４又はステップＳ１０５の後は、ステップＳ１０６の処理へ進む。ステップＳ１０６では、パンニング制御部１０８は、ＨＰＦ選択部１０９に対して、ＨＰＦ１０７の演算結果を選択するよう指示を送る。そして、ＨＰＦ選択部１０９は、次にパンニング制御部１０８の指示があるまでは、ＨＰＦ１０７の演算結果を選択し、焦点距離演算部１１０に供給する。ステップＳ１０６の処理の後、本処理は終了となる。

ステップＳ１０１において、ＰＡＮ＿ＦＬＡＧが１と判定された場合は、現在パンニング中であることを示しており、ステップＳ１０７の処理に進み、パンニングが終了したかどうか（パンニング終了状態に遷移したか否か）の判定を行う。図２（ｂ）のフローチャートは、ステップＳ１０７の処理の流れを示したフローチャートである。以下、図２（ｂ）のフローチャートを用いてステップＳ１０７の処理（パンニングが終了したかどうか判定）の説明を行う。

ステップＳ１１０において、パンニング制御部１０８は、ＨＰＦ＿ＤＩＦＦの絶対値がパンニング終了を判定するための閾値ＰＡＮ＿ＦＩＮＩＳＨ（第１の閾値）よりも小さいかどうかの判定を行う。ステップＳ１１０でＨＰＦ＿ＤＩＦＦの絶対値がＰＡＮ＿ＦＩＮＩＳＨよりも小さいと判定された場合は、パンニング制御部１０８はパンニングが終了したと判定し、ステップＳ１１３の処理に進む。

ステップＳ１１３では、パンニング制御部１０８はＰＡＮ＿ＦＬＡＧに０を格納し、ステップＳ１１４の処理に進む。ステップＳ１１４では、パンニング制御部１０８は、ＨＰＦ選択部１０９に対して、ＨＰＦ１０６の演算結果を選択するよう指示を送る。そして、ＨＰＦ選択部１０９は、次にパンニング制御部１０８の指示があるまでは、ＨＰＦ１０６の演算結果を選択し、焦点距離演算部１１０に供給する。ステップＳ１１４の処理の後、本処理は終了となる。

ここで、図３のグラフを用いて、ステップＳ１１０でパンニングが終了したと判定されたときの、像振れ補正動作について説明する。

図３は本実施形態の撮像装置１００において、パンニング動作を含む振れが撮像装置１００に加わった時の、角速度信号、ＨＰＦ１０６及びＨＰＦ１０７の出力、ステップＳ１００で演算するＨＰＦ＿ＤＩＦＦ、ＨＰＦ選択部１０９の出力、積分器１０６の出力の時間による変化を示したグラフである。時間０からＴ０１までは、固定点を撮影しているときの振れが撮像装置１００に加えられている状態である。固定点撮影とは、撮影者が撮像装置を持ち、特にテレ側で動きの少ない被写体を撮影することとする。時間Ｔ０１からＴ０２にかけては速度がゆっくりなパンニングが行われ、パンニング速度を徐々に遅くしながら、再度固定点の撮影に戻ろうとしている状態である。時間Ｔ０２以降は、時間０からＴ０１と同様、固定点を撮影しているときの振れが撮像装置１００に加えられている状態である。

図３（ａ）は、減算器１０５の出力である角速度信号の時間による変化を示したグラフである。時間Ｔ０１からＴ０２にかけては速度がゆっくりなパンニングが行われているため、角速度信号は時間Ｔ０１からゆっくりとプラス方向に変位し、時間Ｔ０２にかけてゆっくりとゼロ基準の信号に戻る。

図３（ｂ）では、実線のグラフはＨＰＦ１０６の出力を示し、点線のグラフはＨＰＦ１０７の出力を示し、これらの時間による変化を示したグラフである。ここで、ＨＰＦ１０６及びＨＰＦ１０７の周波数特性の一例を図４に示す。

図４（ａ）は周波数とゲインの関係を示し、図４（ｂ）は周波数と位相の関係を示すボード線図である。図４の実線はＨＰＦ１０６の周波数特性を示し、点線はＨＰＦ１０７の周波数特性を示す。図４（ａ）のｆｃ０１、ｆｃ０２は、ＨＰＦ１０６、ＨＰＦ１０７のカットオフ周波数を示している。ＨＰＦ１０７の低周波数帯域の減衰率を大きくするため、ｆｃ０１とｆｃ０２との関係は、ｆｃ０１≦ｆｃ０２とする。ＨＰＦ１０７は、ＨＰＦ１０６よりも高次のＨＰＦであるため、図４（ａ）に示すように、カットオフ周波数以下のゲインの下がり方は、ＨＰＦ１０６よりもＨＰＦ１０７の方が大きい。また、図４（ｂ）に示すように、カットオフ周波数付近の位相の進み方が、ＨＰＦ１０６よりもＨＰＦ１０７の方が大きい。なお、上記カットオフ周波数の一例としては、ｆｃ０１＝０．１Ｈｚ、ｆｃ０２＝０．５Ｈｚ、ＨＰＦの次数の一例としては、ＨＰＦ１０６が一次ＨＰＦ、ＨＰＦ１０７が二次ＨＰＦ等となる。

図３（ｂ）のＨＰＦ１０７の出力は、図４（ａ）で説明したように低周波数帯域のゲインの減衰率が大きいため、図３（ａ）で示したパンニングによる角速度信号の低周波数成分はほぼ除去される。また、ＨＰＦ１０７の出力は、図４（ｂ）で説明したように、位相が若干進んだ信号となる。一方図３（ｂ）のＨＰＦ１０６の出力は、ＨＰＦ１０７よりも低周波数帯域のゲインの減衰率が小さいため、ＨＰＦ１０７よりも、図３（ａ）で示したパンニングによる角速度信号の低周波数成分の減衰量は小さくなる。

図３（ｃ）は、ステップＳ１００で演算するＨＰＦ＿ＤＩＦＦの時間による変化を示したグラフである。図３（ｃ）では、ＨＰＦ１０７の入力からＨＰＦ１０７の出力を引いた結果をＨＰＦ＿ＤＩＦＦとしている。なお、ＨＰＦ＿ＤＩＦＦの演算には、ＨＰＦ１０６の入力と出力の差分を用いてもよい。

図３（ｄ）は、ＨＰＦ選択部１０９の出力の時間による変化を示したグラフである。図３（ｃ）のグラフにおいて、ＨＰＦ＿ＤＩＦＦの演算結果は、時間Ｔ０３において、パンニング開始を判定するための閾値ＰＡＮ＿ＳＴＡＲＴ＿ＴＨよりも大きくなる。そして、時間Ｔ０３で、図２（ａ）のフローチャートのステップＳ１０２の判定結果がＹＥＳとなり、パンニングが開始されたと判定される。よって、ステップＳ１０６の処理によって、ＨＰＦ選択部１０９は、時間Ｔ０３からＨＰＦ１０７の出力を選択する。その後、図３（ｃ）のグラフにおいて、ＨＰＦ＿ＤＩＦＦの演算結果は、時間Ｔ０４において、パンニング終了を判定するための閾値ＰＡＮ＿ＦＩＮＩＳＨ＿ＴＨよりも小さくなる。そして、時間Ｔ０４で、図２（ｂ）のフローチャートのステップＳ１１０の判定結果がＹＥＳとなり、パンニングが終了したと判定される。よって、ステップＳ１１４の処理によって、ＨＰＦ選択部１０９は、時間Ｔ０４からＨＰＦ１０６の出力を選択する。

図３（ｅ）は、積分器１１１の出力の時間による変化を示したグラフである。本実施形態においては、パンニングが行われている時間Ｔ０３と時間Ｔ０４との間は、角速度信号の低周波数成分の減衰率が大きいＨＰＦ１０７の出力を選択し、その結果を用いて、焦点距離演算部１１０及び積分器１１１の演算を行っている。そのため、パンニングによって発生する角速度信号の低周波数成分を積分して、積分器１１１の出力が増加し続け、パンニングの動きまで補正してしまうことを回避することができる。そして、パンニング終了判定が行われる時間Ｔ０４以降は、位相の進みが小さいＨＰＦ１０６の出力を選択することにより、固定点の撮影に最適な像振れ補正性能を実現することができる。

ここで、ＨＰＦ１０６の出力とＨＰＦ１０７の出力は、図４で説明したように周波数特性が異なる。よって、ＨＰＦ選択部１０９の出力は、ＨＰＦ１０６とＨＰＦ１０７の切替を行うときに、例えば図３（ｄ）の時間Ｔ４のように、大きく変化することがある。そこで、本実施形態においては、ＨＰＦ選択部１０９の後段に積分器１１１を配置した。これによって、積分の周波数特性は、周波数が高いほどゲインが小さくなる特性となっているため、図３（ｄ）の時間Ｔ４に示すようなＨＰＦ切替時の出力変化が生じたとしても、積分の周波数特性に従ってその変化が減衰される。そのため、ＨＰＦ切替時の映像の動きを微小に抑えることができる。

図２（ｂ）のフローチャートの説明に戻って、ステップＳ１１０において、ＨＰＦ＿ＤＩＦＦの絶対値がＰＡＮ＿ＦＩＮＩＳＨよりも小さいと判定されなかったときは、ステップＳ１１１の処理に進む。

ステップＳ１１１及びステップＳ１１２は、ＨＰＦ１０７の出力の大きさが、パンニング方向とは逆方向（逆符号）に所定値より大きくなったときに、パンニングの終了判定を行う処理である。パンニング制御部１０８は、ステップＳ１１１において、パンニング方向を示すフラグＳＩＧＮ＿ＦＬＡＧが１であり、かつＨＰＦ１０７の出力が、パンニング終了を判定するための閾値ＨＰＦ＿ＣＨＡＮＧＥ＿ＴＨよりも大きいかどうかの判定を行う。ステップＳ１１１でＮＯと判定された場合は、ステップＳ１１２の処理へ進み、ＳＩＧＮ＿ＦＬＡＧが０かつＨＰＦ１０７の出力が−ＨＰＦ＿ＣＨＡＮＧＥ＿ＴＨよりも小さいかどうかの判定を行う。ステップＳ１１２でＮＯと判定された場合は、本処理は終了となる。ステップＳ１１１又はステップＳ１１２でＹＥＳと判定された場合は、パンニングが終了したと判定され、上述したステップＳ１１３及びステップＳ１１４の処理を行った後、本処理は終了となる。

ここで、図５のグラフを用いて、ステップＳ１１１又はステップＳ１１２でパンニングが終了したと判定されたときの、像振れ補正動作について説明する。

図５は本実施形態における撮像装置１００において、パンニング動作を含む振れが撮像装置１００に加わった時の、角速度信号、ＨＰＦ１０６及びＨＰＦ１０７の出力、ステップＳ１００で演算するＨＰＦ＿ＤＩＦＦ、ＨＰＦ選択部の出力、積分器１０６の出力の時間による変化を示したグラフである。時間０からＴ１１までは、固定点を撮影しているときの振れが撮像装置１００に加えられている状態である。時間Ｔ１１からＴ１２にかけては速度が速いパンニングが行われ、パンニング動作を急峻に停止し、再度固定点の撮影に戻ろうとしている状態である。時間Ｔ１２以降は、時間０からＴ１１と同様、固定点を撮影しているときに振れが撮像装置１００に加えられている状態である。

図５（ａ）は、減算器１０５の出力である角速度信号の時間による変化を示したグラフである。時間Ｔ１１からＴ１２にかけては速度が速いパンニングが行われているため、角速度信号は時間Ｔ１１で急峻にプラス方向に変位し、時間Ｔ１２で急峻にゼロ基準の信号に戻る。

図５（ｂ）では、実線のグラフはＨＰＦ１０６の出力を示し、点線のグラフはＨＰＦ１０７の出力を示し、これらの時間による変化を示したグラフである。ＨＰＦ１０６及びＨＰＦ１０７の周波数特性は、図４と同様であるものとする。時間Ｔ１１におけるパンニング開始時の角速度信号の変動は、速度が速いパンニングの場合はその周波数が高くなる。よって、ＨＰＦ１０６、ＨＰＦ１０７どちらの出力も、図５（ｂ）に示すように、時間Ｔ１１における角速度信号の変動はほとんど減衰されない。その後、時間Ｔ１１とＴ１２の間でパンニングが継続しているときは、ＨＰＦ１０７の出力は、図４（ａ）のように低周波数帯域のゲインの減衰率が大きいため、角速度信号の低周波数成分は素早く減衰される。一方、図５（ｂ）のＨＰＦ１０６の出力は、ＨＰＦ１０７よりも低周波数帯域のゲインの減衰率が小さいため、ＨＰＦ１０７よりも、角速度信号の低周波数成分の減衰は緩やかとなる。そして、時間Ｔ１２におけるパンニング終了時の角速度信号の変動は、パンニング開始時と同様周波数が高いため、ＨＰＦ１０６、ＨＰＦ１０７ともに、ほとんど減衰されない。その後、時間Ｔ１２以降は、ＨＰＦ１０６の出力は緩やかに、ＨＰＦ１０７の出力は素早くゼロ基準の信号に戻っていく。

図５（ｃ）は、ステップＳ１００で演算するＨＰＦ＿ＤＩＦＦの時間による変化を示したグラフである。図５（ｃ）では、図３（ｃ）と同様ＨＰＦ１０７の入力からＨＰＦ１０７の出力を引いた結果をＨＰＦ＿ＤＩＦＦとしているが、ＨＰＦ＿ＤＩＦＦの演算には、ＨＰＦ１０６の入力と出力の差分を用いてもよい。

図５（ｄ）は、ＨＰＦ選択部１０９の出力の時間による変化を示したグラフである。図５（ｃ）のグラフにおいて、ＨＰＦ＿ＤＩＦＦの演算結果は、時間Ｔ１３において、パンニング開始を判定するための閾値ＰＡＮ＿ＳＴＡＲＴ＿ＴＨよりも大きくなる。そして、時間Ｔ１３で、図２（ａ）のフローチャートのステップＳ１０２の判定結果がＹＥＳとなり、パンニングが開始されたと判定される。よって、ステップＳ１０４の処理によって、ＳＩＧＮ＿ＦＬＡＧには０が格納され、ステップＳ１０６の処理によって、ＨＰＦ選択部１０９は、時間Ｔ１３からＨＰＦ１０７の出力を選択する。

その後、時間Ｔ１４において、先に説明した、ＨＰＦ＿ＤＩＦＦの演算結果がＰＡＮ＿ＦＩＮＩＳＨ＿ＴＨよりも小さくなる。しかし、図５（ｃ）の時間Ｔ１４にてパンニングが終了したと判定すると、以下のような問題点が生じる。即ち、ＨＰＦ１０７の出力は、時間Ｔ１２において、パンニングで変動した方向とは逆方向の符号の出力変動が生じる。時間Ｔ１４のタイミングは、その出力変動よりも後になる。これによって、パンニング終了後に、上記出力変動によって映像が勝手に動いてしまう、所謂揺り戻し現象が生じる。いわゆる揺り戻し現象の揺り戻し量は、パンニングの速度が速いほど大きくなる。

図２（ｂ）のフローチャートにおけるステップＳ１１１及びステップＳ１１２の処理は、その揺り戻し現象を最小限に抑えるための処理である。図５（ｂ）のグラフの時間Ｔ１５において、ＨＰＦ１０７の出力は−ＨＰＦ＿ＣＨＡＮＧＥ＿ＴＨよりも小さくなり、かつ上述したようにＳＩＧＮ＿ＦＬＡＧは０となっているため、ステップＳ１１２でＹＥＳと判定される。よって、ステップＳ１１４の処理によって、ＨＰＦ選択部１０９は、時間Ｔ１５からＨＰＦ１０６の出力を選択する。図５（ｂ）のグラフから分かるように、時間Ｔ１５のタイミングは、上記揺り戻し現象を引き起こす出力変動が生じるタイミングよりも早い。また、ＨＰＦ１０６の出力は、時間Ｔ１１から時間Ｔ１２までの間の、低周波数成分の減衰量が小さいため、パンニングで変動した方向と逆方向の符号の出力は、図５（ｂ）のグラフに示すように、ＨＰＦ１０７の出力よりも小さい。従って、図５（ｄ）に示すように、ＨＰＦ１０７の上記出力変動が生じる前の時間Ｔ１５に、ＨＰＦ選択部１０９の選択を、ＨＰＦ１０７からＨＰＦ１０６の出力に切り替えることによって、上記揺り戻し現象を最小限に抑えることが可能となる。

図５（ｅ）は、積分器１１１の出力の時間による変化を示したグラフである。本実施形態においては、パンニングが行われている時間Ｔ１３と時間Ｔ１５との間は、角速度信号の低周波数成分の減衰率が大きいＨＰＦ１０７の出力を選択し、その結果を用いて、焦点距離演算部１１０及び積分器１１１の演算を行っている。これによって、パンニングによって発生する角速度信号の低周波数成分を積分して、積分器１１１の出力が増加し続け、すぐに補正限界まで達してしまうことを回避することができる。そして、パンニング終了判定時に、ＨＰＦ１０７の出力がパンニングによって変動する方向とは逆方向に大きく変動する前のタイミングで、ＨＰＦ選択部１０９の選択をＨＰＦ１０６の出力に切り替える。これにより、図５（ｅ）に示すように、パンニング終了時の揺り戻しを最小限に抑えることが可能となる。

（第２の実施形態）
図６（ａ）は、本発明の第２の実施形態における、パンニング制御部１０８の処理の流れを示したフローチャートである。以下、図６（ａ）のフローチャートを用いて、パンニング制御部１０８の処理について説明する。図６（ａ）のフローチャートの処理は、例えば６０分の１秒毎に繰り返し行われる。なお、図６のフローチャートは、図２と同様の処理については、同じ符号を付しており、詳細な説明は省略する。

第１の実施形態においては、非パンニング時は、ＨＰＦ選択部１０９はＨＰＦ１０６の出力を選択し、パンニング時はＨＰＦ１０７の出力を選択する構成としていた。一方、第２の実施形態においては、非パンニング撮影時には、ＨＰＦ選択部１０９は、カットオフ周波数を低くくしたＨＰＦ１０７の出力を選択し、パンニング撮影時には、カットオフ周波数を固定点撮影時よりも高くしたＨＰＦ１０７の出力を選択する。そして、パンニング終了直後のみＨＰＦ１０６の出力を選択する構成としている。

図６（ａ）のフローチャートは、図２（ａ）のフローチャートに対して、ステップＳ１０６の処理がステップＳ２００に変更されている点と、ステップＳ１０７の処理の内容が変更されている点以外は同じ処理となっている。ステップＳ２００は、ステップＳ１０２又はステップＳ１０３でパンニングが開始されたと判定された後に行う処理であり、ＨＰＦ１０７のカットオフ周波数を、パンニングが行われていないと判定されているときよりも高くする。

ＨＰＦ１０７の周波数特性を図７に示す。図７（ａ）は周波数とゲインの関係を示し、図７（ｂ）は周波数と位相の関係を示すボード線図である。図７の実線はパンニングが行われていないと判定されているときのＨＰＦ１０７の周波数特性を示し、点線はパンニングが行われていると判定されているときのＨＰＦ１０７の周波数特性を示す。図７（ａ）のｆｃ１１、ｆｃ０２は、各々のカットオフ周波数を示している。パンニングが行われていると判定されているときのカットオフ周波数ｆｃ０２は、図４と同様であるものとし、ｆｃ１１とｆｃ０２との関係は、ｆｃ１１＜ｆｃ０２とする。

次に、ステップＳ１０７の処理について、図６（ｂ）のフローチャートを用いて説明を行う。図６（ｂ）のフローチャートは、図２（ｂ）のフローチャートに対して、ステップＳ１１３の処理がステップＳ２１０に変更されている点と、ステップＳ２１１乃至ステップＳ２１４の処理が追加されている点以外は同じ処理となっている。

ステップＳ２１１においては、パンニング制御部１０８は、パンニング終了後所定時間が経過したかどうかを判別するためのフラグＷＡＩＴ＿ＦＬＡＧの値を判定する。ＷＡＩＴ＿ＦＬＡＧが０の場合は、ステップＳ１１０乃至ステップＳ１１２の処理によって、上述したパンニングが終了したかどうかの判定を行う。ステップＳ１１０乃至ステップＳ１１２の処理によって、パンニングが終了したと判定されたときは、ステップＳ２１０の処理に進み、ＷＡＩＴ＿ＦＬＡＧに１を格納する。また、ステップＳ２１０の処理の後は、ステップＳ１１４の処理へ進み、ＨＰＦ選択部１０９は、次にパンニング制御部１０８の指示があるまでは、ＨＰＦ１０６の演算結果を選択し、焦点距離演算部１１０に供給する。ステップＳ１１４の処理の後、本処理は終了となる。

ステップＳ２１０でＷＡＩＴ＿ＦＬＡＧに１が格納された後は、ステップＳ２１１の後はステップＳ２１２の処理へと進む。ステップＳ２１２において、パンニング制御部１０８は、ＷＡＩＴ＿ＦＬＡＧが１になってからの時間をカウントし、所定時間経過していない場合は本処理は終了し、所定時間経過した場合はステップＳ２１３の処理に進む。なお、ステップＳ２１２の所定時間は、第１の実施形態にて図５（ｂ）を用いて説明した、ＨＰＦ１０７で発生する、パンニングで変動した方向とは逆方向の符号の出力変動が収束するまでの時間よりも長い時間に設定する（例えば、図５の時間Ｔ１５からＴ１４の期間等）。

ステップＳ２１３において、パンニング制御部１０８は、ＨＰＦ１０７のカットオフ周波数を図７（ｂ）の実線の特性に設定した後に、ＨＰＦ選択部１０９に対して、ＨＰＦ１０７の演算結果を選択するよう指示を送る。ＨＰＦ選択部１０９は、パンニング制御部１０８の指示に従って、ＨＰＦ１０７の演算結果を選択し、焦点距離演算部１１０に供給する。ステップＳ２１３の処理の後はステップＳ２１４の処理に進み、ＰＡＮ＿ＦＬＡＧ及びＷＡＩＴ＿ＦＬＡＧに０を格納し、本処理は終了となる。

本実施形態によれば、パンニングが行われていると判定されている期間は、角速度信号の低周波数成分の減衰率を大きくするために、カットオフ周波数を高くしたＨＰＦ１０７の出力を選択する。そして、その結果を用いて、焦点距離演算部１１０及び積分器１１１の演算を行っている。これによって、パンニングによって発生する角速度信号の低周波数成分を積分して、積分器１１１の出力が増加し続け、パンニングの動きまで補正してしまったり、すぐに補正限界まで達してしまうことを回避することができる。そして、パンニング終了判定時に、ＨＰＦ１０７の出力がパンニングによって変動する方向とは逆方向に大きく変動する前のタイミングで、ＨＰＦ選択部１０９の選択をＨＰＦ１０６の出力に切り替える。それを所定時間継続することにより、パンニング終了時の揺り戻しを最小限に抑えることが可能となる。

なお、本実施形態は、例えば補正光学系１１９の移動可能量が小さいときや、歩行時の振れ等大きな振れを補正すべきとき等に最適な構成である。即ち、人の振れは、周波数が低いほど大きくなり、映像の像振れは周波数が高い程見づらくなる。そのため、発生する振れを全て補正するだけの振れ補正量が確保できないときには、できるだけ低周波数帯域の振れ補正を行わず、高周波数帯域の振れ補正を行う方が、品位の高い振れ補正を実現することができる。本実施形態では、非パンニング時には、パンニング時よりもカットオフ周波数が低い高次のＨＰＦ１０７を使用することによって、これを実現している。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮像画像の像振れを補正する機能を有する撮像装置であって、
   振れを検出する振れ検出手段と、
   前記振れ検出手段の出力に対して、周波数帯域制限をおこなう第１のフィルタと、
   前記振れ検出手段の出力に対して、前記第１のフィルタよりも高次のフィルタ演算を行う第２のフィルタと、
   前記第１のフィルタの演算結果と前記第２のフィルタの演算結果のうち、いずれか一方の演算結果を選択する選択手段と、
   前記選択手段によって選択された前記演算結果に基づいて、積分演算を含む振れ補正量演算を行う補正量演算手段と、
   前記撮像装置の撮像方向を変更する動作が行われているか否かを判定する判定手段と、
   前記判定手段により、前記撮像装置が撮像方向を変更する動作を行っていると判定されている状態から、前記撮像方向を変更する動作が終了したと判定される状態に遷移するとき、前記選択手段を、前記第２のフィルタの演算結果を選択している状態から、前記第１のフィルタの演算結果を選択している状態に切り替えるように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記判定手段は、前記第２のフィルタの演算結果の絶対値が所定値より大きく、かつ、該演算結果が、前記撮像方向を変更する動作によって、前記振れ検出手段の出力が変動したときの符号とは逆符号であるとき、前記撮像装置の撮像方向を変更する動作が終了したと判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記第１のフィルタ又は前記第２のフィルタの入力と出力との差分が第１の閾値より小さいとき、前記撮像装置の撮像方向を変更する動作が終了したと判定することを特徴とする請求項１に記載の撮像装置。
4. 前記判定手段は、前記第１のフィルタ又は前記第２のフィルタの入力と出力との差分が第２の閾値より大きいとき、前記撮像装置が撮像方向を変更する動作を行っていると判定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像画像の像振れを補正する機能を有する撮像装置を制御する方法であって、
   振れを検出する振れ検出工程と、
   前記振れ検出工程の出力に対して、周波数帯域制限をおこなう第１のフィルタ工程と、
   前記振れ検出工程の出力に対して、前記第１のフィルタよりも高次のフィルタ演算を行う第２のフィルタ工程と、
   前記第１のフィルタ工程の演算結果と前記第２のフィルタ工程の演算結果のうち、いずれか一方の演算結果を選択する選択工程と、
   前記選択工程において選択された前記演算結果に基づいて、積分演算を含む振れ補正量演算を行う補正量演算工程と、
   前記撮像装置の撮像方向を変更する動作が行われているか否かを判定する判定工程と、
   前記判定工程において、前記撮像装置が撮像方向を変更する動作を行っていると判定されている状態から、前記撮像方向を変更する動作が終了したと判定される状態に遷移するとき、前記選択工程で、前記第２のフィルタの演算結果を選択している状態から、前記第１のフィルタの演算結果を選択している状態に切り替えるように制御する制御工程と、
   を備えることを特徴とする撮像装置の制御方法。
6. 請求項５に記載の制御方法をコンピュータに実行させるためのプログラム。
7. 請求項５に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images