JP2011022353A - ブレ補正装置 - Google Patents
ブレ補正装置 Download PDFInfo
- Publication number
- JP2011022353A JP2011022353A JP2009167269A JP2009167269A JP2011022353A JP 2011022353 A JP2011022353 A JP 2011022353A JP 2009167269 A JP2009167269 A JP 2009167269A JP 2009167269 A JP2009167269 A JP 2009167269A JP 2011022353 A JP2011022353 A JP 2011022353A
- Authority
- JP
- Japan
- Prior art keywords
- panning
- output
- data
- offset
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】 パンニング状態においてもブレ補正効果の低下を抑制可能なブレ補正装置を提供する。
【解決手段】 パンニング動作が開始されたことが検出されると、撮像装置のブレ量を表す高域通過フィルタ(HPF)15の出力に対して加減算器108でオフセット変更回路106からのオフセットを適用し、ブレ量を削減する。オフセットの値は、焦点距離演算回路17が出力するブレ補正データの大きさがブレ補正回路19の補正端に近いほど大きくする。パンニング動作が終了したことが検出されると、オフセット値をゼロに戻す。
【選択図】 図1
【解決手段】 パンニング動作が開始されたことが検出されると、撮像装置のブレ量を表す高域通過フィルタ(HPF)15の出力に対して加減算器108でオフセット変更回路106からのオフセットを適用し、ブレ量を削減する。オフセットの値は、焦点距離演算回路17が出力するブレ補正データの大きさがブレ補正回路19の補正端に近いほど大きくする。パンニング動作が終了したことが検出されると、オフセット値をゼロに戻す。
【選択図】 図1
Description
本発明は、撮像装置の動きによる撮像画像のブレを補正するブレ補正装置に関する。
近年、撮像装置の小型化やズームレンズの高倍率化に伴い、装置ブレや手ブレと呼ばれる露光中の撮像装置の動きが撮像画像の品質を低下させる大きな原因となっている。そのため、装置ブレが撮像画像に与える影響を軽減するブレ補正装置が提案されている。
一方、流し撮りなど、意図的に撮像装置を移動させながら撮像する撮像手法がある。このような意図的な撮像装置の移動と装置ブレとを区別せずにブレ補正を適用することは好ましくない。そのため、撮像装置が意図的に移動させられているのか、装置ブレなのかを判定し、判定結果に応じてブレ補正の感度を補正することが知られている。
例えば、特許文献1には、撮像装置がパンニングされていると判定された場合にはパンニングの周波数成分に対するブレ補正機能の応答性を抑制することが開示されている。
例えば、撮像装置に搭載されるブレ補正装置の例として、図19に示すような構成のものがある。ブレ補正装置10において、角速度センサ11は、図示しない撮像装置本体に取り付けられており、撮像装置のブレを角速度として検出する。DCカットフィルタ12は、角速度センサ11から出力される角速度信号の直流(DC)成分を遮断して、交流成分、すなわち振動成分のみを通過させる。アンプ13は、DCカットフィルタ12を通過して出力された角速度信号を増幅して出力する。A/D(アナログ/ディジタル)変換器14は、アンプ13で増幅された角速度信号をディジタル化して出力する。
例えば、撮像装置に搭載されるブレ補正装置の例として、図19に示すような構成のものがある。ブレ補正装置10において、角速度センサ11は、図示しない撮像装置本体に取り付けられており、撮像装置のブレを角速度として検出する。DCカットフィルタ12は、角速度センサ11から出力される角速度信号の直流(DC)成分を遮断して、交流成分、すなわち振動成分のみを通過させる。アンプ13は、DCカットフィルタ12を通過して出力された角速度信号を増幅して出力する。A/D(アナログ/ディジタル)変換器14は、アンプ13で増幅された角速度信号をディジタル化して出力する。
高域通過フィルタ(ハイパスフィルタ:HPF)15、積分器16、焦点距離演算回路17、パンニング制御回路18は、例えば、マイクロコンピュータ(マイコン)20が、図示しない不揮発性メモリに記憶されたソフトウェアを実行することによって実現される。
HPF15はA/D変換器14から出力されたディジタル角速度信号(角速度データ)周波数成分のうち、設定された低域カットオフ周波数以下の低周波成分を遮断し、低域カットオフ周波数を超える高周波成分を出力する。積分器16は、HPF15から出力された角速度データの高周波成分を積分して、積分結果を角変位データとして出力する。焦点距離演算回路17は、図示しない撮像装置が有するズームレンズの焦点距離を検出する。焦点距離演算回路17は例えば、撮像装置が有するズームレンズの現在のズーム位置を、ズームエンコーダから取得し、ズーム位置からズームレンズの焦点距離(画角)を算出することにより、焦点距離を検出する。そして、焦点距離演算回路17は、焦点距離と、上述した角変位データとから、撮像素子の光軸のブレを補正するためのブレ補正データを算出する。ブレ補正回路19は、ブレ補正データに応じて撮像装置の光軸ブレを補正する。
ブレ補正回路19は、補正レンズを光軸と垂直な方向に駆動して光軸を偏心させることでブレ補正を行う光学式ブレ補正回路であっても良いし、撮像素子から読み出す領域を移動させることでブレ補正を行う電子式ブレ補正回路であっても良い。あるいは、撮像素子を光軸に対して垂直な面内で移動させるセンサーシフト式ブレ補正回路であっても良い。
パンニング制御回路18は、A/D変換器14から出力された角速度データ及び積分器16から出力された角変位データに基づいて、撮像装置がパンニングされているかどうかの判定(パンニング判定)を行う。具体的には、例えば、角速度データが所定の閾値以上、或いは、角速度データが所定の閾値に満たなくとも角変位データ(積分結果)が所定の閾値以上であるならば、パンニング状態であると判定する。
そして、パンニング制御回路18は、パンニング判定の結果に従ってパンニング制御を行う。パンニング制御では、まず、HPF15の低域カットオフ周波数を徐々に高くさせて、ブレ補正が機能するブレの周波数領域を高域側に縮小する。また、積分器16での積分演算に用いる時定数の値を徐々に小さくさせる。これにより、ブレ補正位置が徐々に移動範囲中心へと移動し、積分器16から出力される角変位データの値が基準値(ブレがない状態においてとりうる値)に徐々に近づいていく。
一方、パンニング制御回路18は、パンニング状態でないと判定された場合には、HPF15の低域カットオフ周波数を徐々に低くさせ、積分器16での積分演算に用いる時定数の値を徐々に大きくさせる。これにより、HPF15の低域カットオフ周波数、及び積分器16での積分演算に用いる時定数の値が各々元の状態に戻され、パンニング制御が解除される。
例えば、特許文献1では、上述したパンニング時のHPF15及び積分器16の制御方法が開示されている。
例えば、特許文献1では、上述したパンニング時のHPF15及び積分器16の制御方法が開示されている。
しかしながら、パンニング動作の周波数帯域がDC〜1Hz程度、手ブレや身体の揺れの周波数帯域が1Hz〜10Hz程度と非常に近いため、特許文献1に開示された従来技術では、以下のような問題点がある。
すなわち、パンニング状態であると判定された際に、HPF15の低域カットオフ周波数や、積分器16での時定数の値を制御してパンニングの周波数成分の信号の減衰量を高めると、手ブレや、歩行時などの体の揺れの周波数成分の信号の減衰量も大きくなる。その結果、パンニング状態と判定された場合にはパンニング状態と判定されない場合よりも、ブレ補正効果が低下する。
すなわち、パンニング状態であると判定された際に、HPF15の低域カットオフ周波数や、積分器16での時定数の値を制御してパンニングの周波数成分の信号の減衰量を高めると、手ブレや、歩行時などの体の揺れの周波数成分の信号の減衰量も大きくなる。その結果、パンニング状態と判定された場合にはパンニング状態と判定されない場合よりも、ブレ補正効果が低下する。
本発明はこのような従来技術の課題に鑑みなされたものであり、パンニング状態においてもブレ補正効果の低下を抑制可能なブレ補正装置を提供することを目的とする。
上記目的を達成するために、本発明のブレ補正装置は、撮像装置に加わる振れの大きさを検出して出力する振れ検出手段と、設定された値を有する信号を出力する信号生成手段と、振れ検出手段の出力と、信号生成手段の出力との一方を選択して出力するスイッチ手段と、スイッチ手段によって選択された、振れ検出手段の出力若しくは信号生成手段の出力を積分して出力する積分手段と、積分手段の出力に基づいて、振れによる画像のブレを補正するためのブレ補正データを算出する補正データ演算手段と、撮像装置のパンニング動作を検出するとともに、信号生成手段及びスイッチ手段を制御するパンニング制御手段と、を有し、パンニング制御手段は、撮像装置のパンニング動作を検出すると、信号生成手段の出力を積分手段に出力するようにスイッチ手段を制御し、パンニング動作を検出し終えると、振れ検出手段の出力を積分手段に出力するようにスイッチ手段を制御することを特徴とする。
このような構成により、本発明によれば、パンニング状態においてもブレ補正効果の低下を抑制可能なブレ補正装置を提供することができる。
以下、図面を参照して、本発明の例示的な実施形態を詳細に説明する。
図1は、本発明の実施形態の全てを実施可能なブレ補正装置の構成例を示すブロック図であり、図19と同様の構成には同じ参照数字を付して説明を省略する。ただし、個々の実施形態において、図1に示す機能ブロックの全てが必須ではないことに留意されたい。そして、必須でない機能ブロックを有する実施形態に係る撮像装置は、必須でない機能ブロックを有さない構成であってよいことは言うまでもない。以下の実施形態においてはいずれも、ブレ補正装置が撮像装置に用いられる場合を想定している。ブレ補正装置に加わる振れを検出して振れ情報を出力する振れ検出(ブレ検出)センサ、本実施形態では例として角速度センサ11は、図示しない撮像装置本体に取り付けられており、装置に加わる振れを検出し、振れの大きさを角速度として検出する。そして、ブレ補正回路19は、装置に加わる振れによる画像のブレを補正する。
図1は、本発明の実施形態の全てを実施可能なブレ補正装置の構成例を示すブロック図であり、図19と同様の構成には同じ参照数字を付して説明を省略する。ただし、個々の実施形態において、図1に示す機能ブロックの全てが必須ではないことに留意されたい。そして、必須でない機能ブロックを有する実施形態に係る撮像装置は、必須でない機能ブロックを有さない構成であってよいことは言うまでもない。以下の実施形態においてはいずれも、ブレ補正装置が撮像装置に用いられる場合を想定している。ブレ補正装置に加わる振れを検出して振れ情報を出力する振れ検出(ブレ検出)センサ、本実施形態では例として角速度センサ11は、図示しない撮像装置本体に取り付けられており、装置に加わる振れを検出し、振れの大きさを角速度として検出する。そして、ブレ補正回路19は、装置に加わる振れによる画像のブレを補正する。
ブレ補正回路19は、ブレ補正データに応じて、図示しない撮像装置が備える撮像光学系(レンズ群)の一部である補正光学系の補正レンズを、光軸と垂直な方向に駆動して光軸を偏心させることで撮像画像のブレ補正を行う光学式ブレ補正回路であって良い。また、ブレ補正回路19は、ブレ補正データに応じて、撮像装置が有する撮像素子から読み出す領域を移動させることでブレ補正を行う電子式ブレ補正回路であっても良い。あるいは、ブレ補正回路19は、ブレ補正データに応じて撮像素子を光軸に対して垂直な面内で移動させるセンサーシフト式ブレ補正回路であっても良い。
図1において、マイクロコンピュータ120が実現する機能ブロックとして、オフセット変更回路106、信号置換回路107、加減算器108及びスイッチ109が追加されている点と、パンニング制御回路112の動作が変更されている点において、図19と異なる。
なお、マイクロコンピュータ120が図示しない不揮発性メモリに記憶されたプログラムを実行して実現する機能ブロックの少なくとも1つ以上をハードウェアによって実現してもよいことはいうまでもない。
オフセット変更回路106は、パンニング制御回路112の判定結果に応じて、ブレ補正データを補正中心位置に戻すための信号を生成し、加減算器108に出力する。オフセット変更回路106の動作の詳細は後述する。オフセット適用手段としての加減算器108は、低周波成分を遮断する高域通過フィルタ(HPF)15の出力信号にオフセット変更回路106が出力するオフセット値を適用した結果を、スイッチ109に供給する。本実施形態において、加減算器108は、HPF15の出力信号からオフセット値を減算することによりオフセット値を適用する。
信号生成手段としての信号置換回路107は、パンニング制御回路112の判定結果に応じて、所定の信号をスイッチ109に出力する。信号置換回路107の動作の詳細は後述する。スイッチ109は、パンニング制御回路112の判定結果に応じて、加減算器108の出力と信号置換回路107の出力のいずれか一方の信号を選択して積分器16に供給する。
積分器16は、HPF15から出力された角速度データを積分し、その積分結果を角変位データとして焦点距離演算回路に供給する。HPF15のDCカットオフ周波数と積分器16が積分演算に用いる時定数は、パンニング制御回路112の制御によって可変である。
パンニング制御回路112は、A/D変換器14から出力された角速度データ、積分器16から出力された角変位データ、ブレ補正データ演算手段として機能する焦点距離演算回路17から出力されたブレ補正データに基づいて、撮像装置がパンニング状態であるか否かを判定する。すなわち、パンニング制御回路112は、撮像装置の動きがユーザのパンニング動作によるものであるか否かを判定する。そして、パンニング制御回路112は、撮像装置がパンニング状態であると判断される場合、パンニング制御を行う。パンニング制御において、パンニング制御回路112は、HPF15、積分器16、オフセット変更回路106、信号置換回路107、スイッチ109の動作を制御する。
●(第1の実施形態)
以下、本発明の第1の実施形態におけるパンニング制御回路112の動作について説明する。なお、本実施形態において、信号置換回路107及びスイッチ109は必須でなく、加減算器108の出力が積分器16に直接入力されてもよい。
以下、本発明の第1の実施形態におけるパンニング制御回路112の動作について説明する。なお、本実施形態において、信号置換回路107及びスイッチ109は必須でなく、加減算器108の出力が積分器16に直接入力されてもよい。
図2(a)は、第1の実施形態においてパンニング制御回路112が行うパンニング制御処理を説明するためのフローチャートである。なお、図2(a)を参照して以下に説明する処理は、例えば垂直同期期間(60分の1秒)毎といったように、所定期間毎に繰り返し行われる。
S101においてパンニング制御回路112は、オフセット変更回路106の出力信号を決定するための変数OFFSET_DATAの値を算出する。なお、現在のパンニング制御処理におけるオフセット変更回路106の出力信号をOFFSET_NOWとし、1回前(1垂直同期期間前)の処理におけるオフセット変更回路106の出力信号をOFFSET_PASTと定義する。
S101における、オフセット変更回路106の出力信号を決定するための変数であるOFFSET_DATAの算出方法を、図3を参照して説明する。図3において、横軸は焦点距離演算回路17の出力信号であるブレ補正データ(CORRECT_DATA)、縦軸は変数OFFSET_DATAである。このように、パンニング制御回路112は、CORRECT_DATAの値に応じて変数OFFSET_DATAの値を算出する。
パンニング制御回路112は、CORRECT_DATAの絶対値がパンニング開始判定閾値IN_THRESH1を超えたときに、撮像装置がパンニング状態であると判定する。また、パンニング制御回路112は、CORRECT_DATAの絶対値がパンニング終了判定閾値OUT_THRESH1(第2の閾値)を下回ったときに、撮像装置がパンニング状態にないと判定する。ここで、パンニング終了判定閾値OUT_THRESH1はパンニング開始判定閾値IN_THRESH1より小さい値とする。
図3に示すように、パンニング制御回路112は、CORRECT_DATAの絶対値がパンニング開始判定閾値IN_THRESH1(第1の閾値)以下である場合、OFFSET_DATAの値をゼロとする。一方、パンニング制御回路112は、CORRECT_DATAの値がパンニング開始判定閾値IN_THRESH1より大きい場合は、CORRECT_DATAの値が大きくなるに従ってOFFSET_DATAの値も大きくなるようにOFFSET_DATAの値を算出する。また、パンニング制御回路112は、CORRECT_DATAの値がパンニング開始判定閾値 -IN_THRESH1より小さい場合は、CORRECT_DATAが小さくなるに従ってOFFSET_DATAの値も小さくなるように、OFFSET_DATAの値を算出する。このように、パンニング制御回路112は、ブレ補正データCORRECT_DATAの値が、ブレ補正回路19の動作範囲の限界(以下、補正端とする)に近付くことに応じて、OFFSET_DATAの絶対値が大きくなるようにOFFSET_DATAの値を算出する。
S101においてOFFSET_DATAの値を算出すると、パンニング制御回路112は、S102において、OFFSET_PASTがゼロか否か、即ち、1回前の処理でパンニング状態と判定されていなかったかどうかを判定する。OFFSET_PASTがゼロで、1回前の処理においてパンニング状態と判断されていなかった場合、パンニング制御回路112は処理をS103に移行する。なお、OFFSET_PASTの初期値はゼロとする。従って、最初の処理ではパンニング制御回路112はS103の処理を必ず行う。
S103においてパンニング制御回路112は、S101で算出したOFFSET_DATAがゼロ未満であるか否かを判定し、ゼロ以上の場合は符号フラグSIGN_FLAGをリセット(S104)し、ゼロ未満の場合は符号フラグSIGN_FLAGをセットする(S105)。S103〜S105の処理は、1回前の処理においてパンニング状態でないと判定された場合にのみ行われるため、一度パンニング状態であると判定された後は、パンニング状態でないと判定されるまで、符号フラグSIGN_FLAGの状態は保持される。パンニング制御回路112は、S104もしくはS105の処理の後、S111の処理に移行する。
S111においてパンニング制御回路112は、オフセット変更回路106の出力OFFSET_NOWに、S101で算出したOFFSET_DATAの値を設定する。図3を用いて説明したように、CORRECT_DATAの絶対値がパンニング開始判定閾値IN_THRESH1を超えた場合、パンニング制御回路112は撮像装置がパンニング状態であると判定する。そして、このときパンニング制御回路112は、オフセット変更回路106の出力OFFSET_NOWに、焦点距離演算回路17の出力CORRECT_DATAをゼロ(補正中心位置)に近付けるような値を設定する。
S102においてパンニング制御回路112は、OFFSET_PASTがゼロでなかった場合、即ち1回前の処理においてパンニング状態と判定されている場合、S106の処理に移行する。S106でパンニング制御回路112は、符号フラグSIGN_FLAGがセットされているか否かの判定、即ちパンニングの方向の判定を行う。
S106でSIGN_FLAGがセットされていると判定された場合、パンニング制御回路112は、S101で算出したOFFSET_DATAが、1回前の処理のオフセット変更回路106の出力OFFSET_PASTより小さいか否か判定する(S108)。また、S106でSIGN_FLAGがセットされていないと判定された場合、パンニング制御回路112は、S101で算出したOFFSET_DATAが、1回前の処理のオフセット変更回路106の出力OFFSET_PASTより大きいか否かを判定する(S107)。
このように、S106〜S108の処理において、パンニング制御回路112は、1回前の処理でパンニング状態であると判定されている場合に、現在の処理でブレ補正データCORRECT_DATAがブレ補正回路19の補正端に近付いているか否かを判定する。
S107においてOFFSET_DATAがOFFSET_PASTより大きいと判定された場合、及びS108においてOFFSET_DATAがOFFSET_PASTより小さいと判定された場合、パンニング制御回路112はS111の処理に移行する。そして、S111でパンニング制御回路112は、オフセット変更回路106の出力にS101で算出したOFFSET_DATAの値を設定する。即ち、既にパンニング状態であると判定されている際に、ブレ補正データの値がブレ補正回路19の補正端にさらに近付いた場合、パンニング制御回路112は、ブレ補正データをさらに大きくゼロに近付けるようにオフセット変更回路106の出力を制御する。
このように、本実施形態では、オフセット状態と判定されている状態でブレ補正データの値がブレ補正回路19の補正端に近づいた場合、HPF15の出力を小さくするようなオフセットを与える。これにより、HPF15の出力する角速度データに含まれるパンニング成分を、HPF15の低域カットオフ周波数を変更せずに除去することができる。そのため、パンニング状態と判定されても手ブレや身体の揺れに起因する撮像装置のブレの効果を低減させることがない。
S107においてOFFSET_DATAがOFFSET_PAST以下であると判定された場合、及びS108においてOFFSET_DATAがOFFSET_PAST以上であると判定された場合、パンニング制御回路112はS109の処理に移行する。即ち、既にパンニング状態であると判定されている際に、ブレ補正データの値がゼロに近付いた場合、パンニング制御回路112はS109の処理に移行する。
S109においてパンニング制御回路112は、ブレ補正データCORRECT_DATAの絶対値が、パンニング終了判定閾値OUT_THRESH1より小さくなったかどうかを判定する。S109において、CORRECT_DATAの絶対値がOUT_THRESH1より小さいと判定された場合、パンニング制御回路112はパンニング状態が終了したと判断し、S111の処理に移行する。図3に示したように、パンニング制御回路112は、CORRECT_DATAの絶対値がOUT_THRESH1より小さい場合は、OFFSET_DATAの値をゼロと決定する、そのため、S111の処理により、OFFSET_NOWの値はゼロに設定される。
一方、S109において、CORRECT_DATAの絶対値がOUT_THRESH1以上であると判定された場合、パンニング制御回路112は、オフセット変更回路106の出力OFFSET_NOWに、1回前の処理のオフセット変更回路106の出力OFFSET_PASTを設定する(S110)。このように、S109においてパンニング状態でない(パンニングが終了した)と判定されるまで、オフセット変更回路106の出力OFFSET_NOWは、更新されず、前の処理で設定した値に保持される。
S110又はS111の処理の後、パンニング制御回路112は、次周期の処理で用いるため、OFFSET_PASTをOFFSET_NOWの値で更新(S112)し、パンニング制御処理の1周期分を終了し、所定時間後に次周期の処理を開始する。
図4及び図5を用いて、本実施形態におけるパンニング制御の有効性について説明する。図4は、図19に示した従来のブレ補正装置が搭載された撮像装置にてパンニング動作が行われたときの、ブレ補正データ(CORRECT_DATA)、HPF15の低域カットオフ周波数、ブレ残り量の経時変化を示す図である。図5は、本実施形態におけるブレ補正装置が搭載された撮像装置にて図4と同様のパンニング動作が行われたときの、ブレ補正データ(CORRECT_DATA)、オフセット変更回路106の出力(OFFSET_NOW)、ブレ残り量の経時変化を示す図である。
図4(a)は、パンニング動作が時刻T1から開始され、時刻T4で終了した際の、図19の焦点距離演算回路17の出力であるブレ補正データの変化を示す。ブレ補正データは、高周波の手ブレ波形に低周波のパンニング成分が重畳された波形を有している。図4(b)は、上述したパンニング動作がなされた際の、HPF15の低域カットオフ周波数の経時変化を示す。図4(c)は、上述したパンニング動作を行った際の、実際のブレ量と、ブレ補正データとの差(ブレ残り量)の経時変化を示す。
また、図5(a)は、パンニング動作が時刻T1’から開始され、時刻T4’で終了した際の、図1の焦点距離演算回路17の出力であるブレ補正データの変化を示す。図5(b)は、上述したパンニング動作がなされた際の、オフセット変更回路106の出力の経時変化を示す。図5(c)は、上述したパンニング動作がなされた際の、実際のブレ量と、ブレ補正データとの差(ブレ残り量)の経時変化を示す。
図4に示す従来のパンニング制御では、パンニング制御回路18が、図4(a)においてブレ補正データの大きさがIN_THRESH1を超えた時刻T2に、パンニング状態であると判定する。そして図4(b)に示すように、パンニング制御回路18は、時刻T2からHPF15の低域カットオフ周波数を高くする。これによって図4(a)に示すように、時刻T3からブレ補正データが徐々にゼロに近付いていく。その後図4(a)においてブレ補正データの大きさがOUT_THRESH1を下回った時刻T4に、パンニング制御回路18はパンニング状態が終了したと判定する。そして図4(b)に示すように、パンニング制御回路18は時刻T4にHPF15の低域カットオフ周波数を低い状態に戻す。
以上のパンニング制御によるブレ残り量を図4(c)に示す。時刻T2からT4にかけて、ブレ残り量を一方向に増加させているのがパンニング成分である。パンニング状態と判定されるとHPF15の低域カットオフ周波数を高くすることで、パンニング成分をブレ補正データから除去している。しかし、上述のように、パンニング成分とブレ成分とは周波数帯域が近いため、HPF15の低域カットオフ周波数を高くすると、補正を行いたいブレ成分も減衰させることになる。その結果、図4(c)に示すように、パンニングが行われていない状態でのブレ残り量ERROR_NORMAL_OLDと比較して、パンニングが行われている状態でのパンニング成分を除いたブレ残り量ERROR_PAN_OLDは大きくなってしまう。
一方、本実施形態によれば、図5(a)においてブレ補正データの大きさがIN_THRESH1を超えた時刻T2´に、撮像装置がパンニング状態にあるとパンニング制御回路112が判定する。そして図5(b)に示すように、パンニング制御回路112は、時刻T2´からオフセット変更回路106の出力を大きくする(図2(a)、S111)。時刻T2´からT3´にかけて、図5(a)のブレ補正データが大きくなっているときは、オフセット変更回路106の出力も大きくしていく。その後、図5(a)においてブレ補正データの大きさがOUT_THRESH1を下回り、パンニング状態が終了したと判定される時刻T4´まで、パンニング制御回路112はオフセット変更回路106の出力を保持する。これによって図5(a)に示すように、時刻T3´からブレ補正データが徐々にゼロに近付いていく。これによって、光学式ブレ補正であれば補正レンズ若しくは撮像素子が光軸中心方向に移動し、電子式ブレ補正であれば、読み出す領域が撮像素子中心方向に移動する。そして図5(b)に示すように、パンニング制御回路112は時刻T4´にオフセット変更回路106の出力をゼロに戻す。
本実施形態におけるパンニング制御により、ブレ残り量は図5(c)に示すようになる。時刻T2’からT4’にかけて、ブレ残り量を増加させているのがパンニング成分であり、オフセット変更回路106の出力を大きくすることにより、パンニング成分を補正データから除去している。オフセット変更回路106の出力は時刻T3´からT4´まで一定値で保持しており、一定値を積分器16によって積分すると、一方向に単調増加もしくは単調減少する。これにより、補正を行いたいブレ成分をブレ補正データから減衰することなく、ブレ補正データを滑らかにゼロに近付けることができる。その結果、図5(c)に示すように、パンニングが行われていない状態でのブレ残り量ERROR_NORMAL_NEWと比較しても、パンニングが行われている状態でのパンニング成分を除いたブレ残り量ERROR_PAN_NEWは変化しない。つまり、パンニング中でもブレ補正効果が低減しない。
以上のように、本実施形態によれば、パンニング状態であると判定された場合に、HPF15の低域カットオフ周波数を高くする制御を行う代わりに、HPF15の出力をオフセット値で低減させることによりパンニング成分を除去する。これにより、ブレ補正効果を低減させずに、ブレ補正データに対するパンニング成分の影響を抑制することができる。
●(第2の実施形態)
次に、本発明の第2の実施形態を説明する。本実施形態では、撮像装置が有する焦点距離が可変のズームレンズの焦点距離(画角)に応じて、第1の実施形態において固定値であった、パンニング開始判定閾値IN_THRESH1とパンニング終了判定閾値OUT_THRESH1の値を変更することを特徴とする。
次に、本発明の第2の実施形態を説明する。本実施形態では、撮像装置が有する焦点距離が可変のズームレンズの焦点距離(画角)に応じて、第1の実施形態において固定値であった、パンニング開始判定閾値IN_THRESH1とパンニング終了判定閾値OUT_THRESH1の値を変更することを特徴とする。
図6(a)は、本実施形態におけるパンニング開始判定閾値IN_THRESH1とズームレンズの焦点距離との関係を示す。図6(a)に示すように、本実施形態におけるパンニング制御回路112は、パンニング開始判定閾値IN_THRESH1を、ズームレンズの焦点距離が大きく(画角が小さく)なるほど小さく設定する。
積分器16の出力である角変位データをθ、ズームレンズの焦点距離データをfとすると、焦点距離演算回路17の出力であるブレ補正データCORRECT_DATAは、CORRECT_DATA=ftanθとなる。つまり、ブレ補正装置100に同じ角速度のブレが生じたとき、ブレ補正データの変化量は、レンズの焦点距離が大きいほど大きくなる。レンズの焦点距離が大きいときにパンニングが行われると、焦点距離が小さいときと比較してブレ補正データがより速く補正端に近付く。つまり、ブレ補正回路19の補正限界に達しやすくなる。よって、本実施形態では、図6(a)に示すように、レンズの焦点距離が大きくなるほどパンニング開始判定閾値IN_THRESH1を小さくし、より早いタイミングでパンニング状態であると判定するようにする。これにより、望遠撮影時でのパンニング動作中のブレ補正効果の低減を抑制することができる。
一方、図6(b)は、本実施形態におけるパンニング終了判定閾値OUT_THRESH1とレンズの焦点距離との関係を示す。図6(b)に示すように、本実施形態におけるパンニング制御回路112は、パンニング終了判定閾値OUT_THRESH1を、レンズの焦点距離が大きく(画角が小さく)なるほど大きく設定する。
上述したように、ブレ補正装置100に同じ角速度のブレが生じたとき、ブレ補正データの変化量はレンズの焦点距離が大きいほど大きくなる。また、オフセット変更回路106の出力が同じ値であったとき、ブレ補正データがゼロに近付く速度もレンズの焦点距離が大きいほど大きくなる。そのため、レンズの焦点距離が大きいときにパンニング終了判定が遅れると、ブレ補正データがゼロを通り過ぎて逆側の補正端に近付いてしまう危険性がある。よって、レンズの焦点距離が大きくなることに応じて、図6(b)に示すようにパンニング終了判定閾値OUT_THRESH1の値を大きくし、より早いタイミングでパンニング終了判定を行うことで、ブレ補正データが逆側の補正端に向かうことを防止する。
以上のように、本実施形態によれば、レンズの焦点距離が変更された際にも、第1の実施形態と同様の効果を実現することができる。
●(第3の実施形態)
次に、本発明の第3の実施形態を説明する。本実施形態では、補正データの絶対値がパンニング終了判定閾値OUT_THRESH1未満であることに加え、角速角速度データ(GYRO_DATA)の絶対値の大きさが条件を満たした場合にパンニング状態が終了したと判断することを特徴とする。なお、本実施形態において、信号置換回路107及びスイッチ109は必須でなく、加減算器108の出力が積分器16に直接入力されてもよい。
次に、本発明の第3の実施形態を説明する。本実施形態では、補正データの絶対値がパンニング終了判定閾値OUT_THRESH1未満であることに加え、角速角速度データ(GYRO_DATA)の絶対値の大きさが条件を満たした場合にパンニング状態が終了したと判断することを特徴とする。なお、本実施形態において、信号置換回路107及びスイッチ109は必須でなく、加減算器108の出力が積分器16に直接入力されてもよい。
図2(b)は、第3の実施形態においてパンニング制御回路112が行うパンニング制御処理のうち、第1の実施形態と異なる動作を説明するためのフローチャートである。本実施形態のパンニング制御処理は、S109とS111の間に角速度データの判定処理(S210)が加わったことを除き、第1の実施形態と共通している。そのため、異なる処理のみを説明する。
S109においてパンニング制御回路112は、ブレ補正データCORRECT_DATAの絶対値が、パンニング終了判定閾値OUT_THRESH1より小さくなったかどうかを判定する。S109において、CORRECT_DATAの絶対値がOUT_THRESH1以上であると判定された場合、パンニング制御回路112は、オフセット変更回路106の出力OFFSET_NOWに、1回前の処理のオフセット変更回路106の出力OFFSET_PASTを設定する(S110)。
一方、S109において、CORRECT_DATAの絶対値がOUT_THRESH1より小さいと判定された場合、パンニング制御回路112はS210に移行する。S210でパンニング制御回路112は、A/D変換器14の出力である角速度データ(GYRO_DATA)の絶対値が、パンニング終了判定角速度閾値OUT_THRESH2より小さいかどうかを判定する。パンニング終了判定角速度閾値OUT_THRESH2は、第3の閾値に相当する。
S210において、GYRO_DATAの絶対値がパンニング終了判定角速度閾値OUT_THRESH2より小さいと判定された場合、パンニング制御回路112は、パンニング状態が終了したと判断し、S111の処理に移行する。
次に、S210の処理の技術的意味について、図7を用いて詳細に説明する。
図7はパンニング動作終了時(図5における時刻T4´付近)における、(a)角速度データ(GYRO_DATA)、(b)ブレ補正データ(CORRECT_DATA)、(c)オフセット変更回路106の出力(OFFSET_NOW)の経時変化を示す。また、図7(d)は、パンニング動作終了時の実際のブレ量と、焦点距離演算回路17の出力であるブレ補正データとの差(ブレ残り量)から、補正する必要のないパンニング成分を除去した値の経時変化を示す。
図7はパンニング動作終了時(図5における時刻T4´付近)における、(a)角速度データ(GYRO_DATA)、(b)ブレ補正データ(CORRECT_DATA)、(c)オフセット変更回路106の出力(OFFSET_NOW)の経時変化を示す。また、図7(d)は、パンニング動作終了時の実際のブレ量と、焦点距離演算回路17の出力であるブレ補正データとの差(ブレ残り量)から、補正する必要のないパンニング成分を除去した値の経時変化を示す。
第1の実施形態のように、ブレ補正データの絶対値がOUT_THRESH1を下回ったときに、パンニング状態が終了したと判断する場合、図7における時刻T11のタイミングでパンニングが終了したと判断される。そして、オフセット変更回路106の出力がゼロに戻される(S111)。
このとき、図7(a)に示すように、角速度データの絶対値が大きい(OUT_SHRESH2以上である)、即ち、ブレの速度が大きい状態であると、以下のような現象が生じる。ブレの速度が大きい、時刻T11のタイミングでは、角速度センサ11の検出誤差やその他演算誤差等の影響により、図7(d)に示すようにブレ残り量も大きくなる。このように、ブレ残り量が大きくなるタイミングでオフセット変更回路106の出力をゼロに戻すと、オフセット変更回路106の出力変更の影響により、ブレ残り量が更に大きくなってしまう。
そこで、本実施形態においては、ブレ補正データの絶対値がOUT_THRESH1を下回り、かつ角速度データの絶対値がパンニング終了判定角速度閾値OUT_THRESH2を下回ったときに、パンニング状態が終了したと判断することとした。
図7(a)に示す角速度データの絶対値がパンニング終了判定角速度閾値OUT_THRESH2を下回るのは時刻T12のタイミングである。時刻T12のタイミングでは、図7(a)の角速度データの絶対値が小さい、即ちブレの速度が小さい状態となっている。ブレの速度が小さい時刻T12のタイミングでは、図7(d)に示すようにブレ残り量も小さくなる。ブレ残り量が小さくなるタイミングでオフセット値OFFSET_NOWをゼロに戻す(S111)ことで、ブレ残り量が大きいタイミングで戻す場合に対し、オフセット値の変更がブレ残り量に与える影響を十分に抑制可能である。
以上のように、本実施形態によれば、ブレ補正データの絶対値が小さいだけでなく、角速度データが小さい状態でパンニング成分の除去を終了させることで、パンニング成分の除去終了がブレ残り量に与える影響を十分に抑制することができる。
●(第4の実施形態)
次に、本発明の第4の実施形態を説明する。本実施形態では、撮像装置が有する焦点距離が可変のズームレンズの焦点距離(画角)に応じて、第3の実施形態において固定値であった、パンニング終了判定角速度閾値OUT_THRESH2の値を変更することを特徴とする。
次に、本発明の第4の実施形態を説明する。本実施形態では、撮像装置が有する焦点距離が可変のズームレンズの焦点距離(画角)に応じて、第3の実施形態において固定値であった、パンニング終了判定角速度閾値OUT_THRESH2の値を変更することを特徴とする。
図6(c)は、本実施形態におけるパンニング終了判定角速度閾値OUT_THRESH2とレンズの焦点距離との関係を示す。図6(c)に示すように、本実施形態におけるパンニング制御回路112は、パンニング終了判定角速度閾値OUT_THRESH2を、レンズの焦点距離が大きく(画角が小さく)なるほど大きく設定する。
上述したように、ブレ補正装置100に同じ角速度のブレが生じたとき、ブレ補正データの変化量はレンズの焦点距離が大きいほど大きくなる。また、オフセット変更回路106の出力が同じ値であったとき、ブレ補正データがゼロに近付く速度もレンズの焦点距離が大きいほど大きくなる。そのため、レンズの焦点距離が大きいときにパンニング終了判定が遅れると、ブレ補正データがゼロを通り過ぎて逆側の補正端に近付いてしまう危険性がある。よって、レンズの焦点距離が大きくなることに応じ、図6(c)に示すようにパンニング終了判定角速度閾値OUT_THRESH2の値を大きくし、より早いタイミングでパンニング終了判定を行い、ブレ補正データが逆側の補正端に向かうことを防止する。
以上のように、本実施形態によれば、レンズの焦点距離が変更された際にも、第3の実施形態と同様の効果を実現することができる。
●(第5の実施形態)
次に、本発明の第5の実施形態を説明する。本実施形態は、ズーミングがなされている場合のパンニング制御方法に関する。本実施形態において、図1における信号置換回路107及びスイッチ109は必須でない。
次に、本発明の第5の実施形態を説明する。本実施形態は、ズーミングがなされている場合のパンニング制御方法に関する。本実施形態において、図1における信号置換回路107及びスイッチ109は必須でない。
図8は、本実施形態におけるパンニング制御回路112が行うパンニング制御処理を説明するためのフローチャートである。なお、図8を参照して以下に説明する処理は、例えば垂直同期期間(60分の1秒)毎といったように、所定期間毎に繰り返し行われる。
S301においてパンニング制御回路112は、焦点距離演算回路17を通じてレンズの焦点距離を取得し、前回の処理で取得した焦点距離と比較して増加(広角側から望遠側への変化)しているかどうか判定する。S301において焦点距離の増加がないと判定される場合、パンニング制御回路112はS302の処理に移行する。
ズーミング動作が行われているときのオフセット変更回路106の出力信号をOFFSET_ZOOMと定義すると、S302において、パンニング制御回路112はOFFSET_ZOOMの値をゼロとし、処理を終了する。ここで、本実施形態を第1〜第4の実施形態のいずれか1つ以上と併用して実施する場合、オフセット変更回路106の出力は、OFFSET_NOWとOFFSET_ZOOMを加算した値とする。また、本実施形態を単独で実施する場合は、オフセット変更回路106の出力をOFFSET_ZOOMとする。
S301において、焦点距離の増加があると判定された場合、パンニング制御回路112はS303の処理に移行する。S303においてパンニング制御回路112は、図9に示すようにしてOFFSET_ZOOMの値を算出する。
本実施形態においてパンニング制御回路112は、OFFSET_ZOOMの値を、ズーム速度(焦点距離の増加速度)、焦点距離、及びブレ補正データの値に応じて決定する。ズーム速度に応じて決定するパラメータをZOOM_OFFSET_SPEED、焦点距離に応じて決定するパラメータをFOCAL_OFFSET_GAIN、ブレ補正データに応じて決定するパラメータをCORRECT_OFFSET_GAINとする。このとき、パンニング制御回路112はOFFSET_ZOOMの値を以下の(式1)によって算出する。
OFFSET_ZOOM = ZOOM_OFFSET_SPEED × FOCAL_OFFSET_GAIN × CORRECT_OFFSET_GAIN …(式1)
OFFSET_ZOOM = ZOOM_OFFSET_SPEED × FOCAL_OFFSET_GAIN × CORRECT_OFFSET_GAIN …(式1)
図9(a)は、ズーム速度とZOOM_OFFSET_SPEEDとの関係を示す図である。ZOOM_OFFSET_SPEEDの値は、ズーム速度が第4の閾値であるズーム速度閾値SPEED_THRESH以下であるときはゼロにする。また、ズーム速度がSPEED_THRESHより大きいときは、ZOOM_OFFSET_SPEEDの値をズーム速度が大きくなるほど大きくしていく。これは、焦点距離が大きくなる速度が速くなると、ブレ補正データが補正端に近付く速度も大きくなるため、ブレ補正データをゼロに近付ける速度も速くする必要があるためである。
図9(b)は、焦点距離とFOCAL_OFFSET_GAINとの関係を示す図である。FOCAL_OFFSET_GAINはZOOM_OFFSET_SPEEDに乗じる係数であり、焦点距離が大きいほど小さい値とする。オフセット変更回路106の出力が同じ値であったときに、焦点距離が大きくなるほどブレ補正データがゼロに近付く速度も大きくなる。そのためズーミング中に急激にブレ補正データがゼロに近付く速度が大きくなり、不自然な動きになってしまう。図9(b)のように、焦点距離が大きいほどオフセット変更回路106の出力を小さくすれば、ズーミング中でもブレ補正データがゼロに近付く速度を一定にすることができ、不自然な動きになることを防止することができる。
図9(c)は、ブレ補正データCORRECT_DATAとCORRECT_OFFSET_GAINとの関係を示す図である。CORRECT_OFFSET_GAINは、FOCAL_OFFSET_GAIN と同様ZOOM_OFFSET_SPEEDに乗じる係数であり、ブレ補正データの値が大きいほど大きい値とする。これは、ブレ補正データが補正端に近いときに、補正端へ達してしまうことを防ぐために、ブレ補正データをより速くゼロに近付ける必要があるためである。なお、ブレ補正データがゼロのときはCORRECT_OFFSET_GAINの値もゼロとする。
従って、OFFSET_ZOOMの値は、ズーム速度がズーム速度閾値SPEED_THRESH以下であるときはゼロである。また、OFFSET_ZOOMの値は、ズーム速度がズーム速度閾値より大きい場合には、ズーム速度が早いほど、焦点距離が小さいほど、またブレ補正データの値が大きいほど大きな値となる。そしてOFFSET_ZOOMの値は、パンニング制御回路112からオフセット変更回路106に与えられる。
パンニング制御回路112はS303においてOFFSET_ZOOMの算出を行った後、S304の処理に移行する。S304でパンニング制御回路112は、S301で取得した現在の焦点距離が焦点距離閾値ZOOM_THRESHより大きいかどうかを判定し、焦点距離がZOOM_THRESHより大きい場合は、S305の処理に移行する。
S305でパンニング制御回路112は、HPF15の低域カットオフ周波数の設定を行う。S305においてパンニング制御回路112は、図9(d)に示すようにしてHPF15の低域カットオフ周波数を算出する。
すなわち、本実施形態においてパンニング制御回路112は、焦点距離が第5の閾値であるZOOM_THRESHより大きくなったとき、焦点距離が大きいほど大きくなるようにHPF15の低域カットオフ周波数を算出する。
一方、S304で焦点距離がZOOM_THRESH以下の場合、パンニング制御回路112は処理を終了し、次の処理開始周期まで待機する。
次に図10及び図11を用いて、本実施形態におけるズーミング動作が行われたときのパンニング制御の有効性について説明を行う。図10は、従来のブレ補正装置が搭載された撮像装置にて、高速ズーミング中にパンニング動作が行われたときの、角速度データ、ブレ補正データ、HPF15の低域カットオフ周波数の経時変化を示す図である。
図11は、本実施形態のブレ補正装置が搭載された撮像装置で図10と同様の動作が行われたときの、角速度データ、ブレ補正データ、オフセット変更回路106の出力(OFFSET_ZOOM)、HPF15の低域カットオフ周波数の経時変化を示す図である。
図10(a)は、図19のA/D変換器14の出力である角速度データの変化を示している。図10(a)は、時刻T21からズーミング動作(ズームイン動作)とパンニング動作が同時に行われ、時刻T22でズーミング動作が終了、時刻T23でパンニング動作が終了したときの、角速度データの経時変化を示している。図10(b)は、図19の焦点距離演算回路17の出力であるブレ補正データの変化を示す。実線は従来のパンニング制御を行ったときのブレ補正データを、点線は従来のパンニング制御を行わなかったときのブレ補正データを示している。図10(c)は、従来のパンニング制御を行ったときの、HPF15の低域カットオフ周波数の経時変化を示している。
図11(a)は、図10(a)と同様のズーミング動作とパンニング動作が行われたときの、図1のA/D変換器14の出力であるGYRO_DATA(角速度データ)の経時変化を示している。ただし、図11では、時刻T31からズーミング動作(ズームイン動作)とパンニング動作が同時に行われ、時刻T33でズーミング動作が終了、時刻T34でパンニング動作が終了しているものとする。
図11(b)は、図1の焦点距離演算回路17の出力であるブレ補正データの経時変化を示している。図11(b)の実線は、本実施形態のパンニング制御を行ったときのブレ補正データを、点線は本実施形態のパンニング制御を行わなかったときのブレ補正データを示している。図11(c)は、上述したズーミング動作とパンニング動作を行ったときの、オフセット変更回路106の出力の経時変化を示している。図11(d)は、本実施形態のパンニング制御に従ったHPF15の低域カットオフ周波数の経時変化を示している。
同じ角速度のブレを補正するためのブレ補正データは、焦点距離に比例して大きくなる。そのため、図10(a)及び図11(a)に示すように、パンニング動作と高速ズーミング(ズームイン)動作が同時に行われると、TELE側になるほど、図10(b)及び図11(b)に点線で示すように、ブレ補正データが急速に大きくなる。
同じ角速度のブレを補正するためのブレ補正データは、焦点距離に比例して大きくなる。そのため、図10(a)及び図11(a)に示すように、パンニング動作と高速ズーミング(ズームイン)動作が同時に行われると、TELE側になるほど、図10(b)及び図11(b)に点線で示すように、ブレ補正データが急速に大きくなる。
ブレ補正データがブレ補正回路19の補正端に急速に近付くことを防止するため、従来のパンニング制御では、以下のような制御を行っていた。すなわち、図10(c)に示すように、高速ズーミング動作中である時刻T21からT22の間は、焦点距離が大きくなるほどHPF15の低域カットオフ周波数を高くする制御である。これによって図10(b)の実線で示すように、ブレ補正データの急増が防止されていた。
しかし、従来のパンニング制御では以下のような問題点があった。時刻T22でズーミング動作が終了した後、HPF15の低域カットオフ周波数を急に元の値に復帰させると、ブレ補正データが急激に変化し、ブレ補正データの誤差量が急激に大きくなる。そのため、時刻T22からT24にかけてゆっくりと低域カットオフ周波数を低くしていく必要がある。しかし、HPF15の低域カットオフ周波数が高い状態では、補正を行いたいブレ成分もHPF15で減衰させている。すなわち、ズーミング動作が終了した後、低域カットオフ周波数が元の値に戻るまでの間(T22からT24までの間)は、ブレ成分の減衰が元に戻らず、ブレ残り量が大きくなってしまう。
一方、本実施形態によるパンニング制御では、図11(c)に示すように、ズーミング動作が行われている時刻T31からT33にかけて、(式1)の計算式で算出されたOFFSET_ZOOMに従ってオフセット変更回路106の出力を決定する。さらに、以下に説明するように、焦点距離がZOOM_THRESHに達するまでの期間はHPF15のカットオフ周波数を行わないことで、ブレ成分の減衰が生じる期間を最小限に抑制する。
ズーミング動作中、図11における時刻T32に、焦点距離がZOOM_THRESHとなったとする。この場合、パンニング制御回路112は、時刻T32からズーミング動作が終了する時刻T33まで、図11(d)に示すように図9(d)に従ってHPF15の低域カットオフ周波数を大きくしていく。そしてズーミング動作が終了した後、図11(d)に示すように時刻T34にかけてHPF15の低域カットオフ周波数を小さい値(変更前の値)に徐々に戻していく。時刻T34以降は、HPF15の低域カットオフ周波数が元の値に戻る。このため、従来のパンニング制御では、ブレ成分の減衰が大きい状態が、T21からT24までの長い時間続くが、本実施形態では、ブレ成分の減衰が生じる時間がT32からT34の短い時間となり、かつブレ成分の減衰が小さい状態で済む。そのため、ブレ残り量の絶対量が小さい上、短時間で元の状態に復帰することができる。
ここで、HPF15の低域カットオフ周波数を大きくする制御を行う理由について説明する。図11(c)に示したように、ズーミング動作が行われている時刻T31からT33までは、オフセット変更回路106の出力を大きくすることによりブレ補正データがゼロに近付く速度を上げるように制御している。しかし時刻T33のズーミング動作終了後においても、図11(a)に示すようにパンニングが終了していない場合、オフセット変更回路106の出力はゼロとなっている。そのため、ズーミング動作終了後のパンニング成分によって、特に焦点距離が大きいときに、ブレ補正データが急に補正端に近付いてしまう現象が生じる。本実施形態では、図11(d)に示すように、ズーミング動作中に焦点距離が大きくなったときにHPF15の低域カットオフ周波数を大きくする。これにより、ズーミング動作終了直後のパンニング成分を除去することができ、ブレ補正データが急に補正端に近付いてしまう現象を防止することができる。
なお、仮に時刻T34を過ぎてもパンニング動作が継続している場合は、時刻T33からT34にかけてHPF15の低域カットオフ周波数を戻しながら、図2(a)や図2(b)のフローチャートに示した処理を行えばよい。これによって、低域カットオフ周波数が小さくなった時刻T34以降もブレ補正データが急に補正端に近付いてしまう現象を防止することができる。
以上説明したように、本実施形態では、ズーミング動作中のパンニング制御において、オフセット変更回路106の出力変更制御と、HPF15の低域カットオフ周波数変更制御を併用する。これにより、低域カットオフ周波数が高くなる時間、即ちブレ残り量が大きくなる時間を最小限に抑えることができる。
以上のように本実施形態のパンニング制御方法によれば、パンニング中にズーム動作が行われている場合、ズーム速度が閾値以上の場合にはHPF15の出力を低減させるオフセット値を増加させるように補正する。そのため、上述の実施形態の効果に加え、パンニング中に高速ズーム動作がなされても、ブレ残り量の増加を防止することができる。さらに、レンズの焦点距離が予め定めた値を超えた時点から、HPF15のカットオフ周波数を上昇させる制御を併用する。そのため、ズーム終了時にHPF15のカットオフ周波数を元に戻すために必要な時間が短く、HPF15のカットオフ周波数を上昇させることによるブレ残り量の増加を最小限に抑えつつ、パンニング成分を適切に除去することができる。
●(第6の実施形態)
次に、本発明の第6の実施形態を説明する。本実施形態は、急激なパンニング時におけるパンニング制御方法に関する。
図12(a)は、本実施形態におけるパンニング制御回路112が行うパンニング制御処理を説明するためのフローチャートである。なお、図12(a)を参照して以下に説明する処理は、例えば60分の1秒毎といったように、所定期間毎に繰り返し行われる。
次に、本発明の第6の実施形態を説明する。本実施形態は、急激なパンニング時におけるパンニング制御方法に関する。
図12(a)は、本実施形態におけるパンニング制御回路112が行うパンニング制御処理を説明するためのフローチャートである。なお、図12(a)を参照して以下に説明する処理は、例えば60分の1秒毎といったように、所定期間毎に繰り返し行われる。
S401でパンニング制御回路112は、S408でセットされS412でリセットされるフラグCHANGE_FLAGがセットされているか否か判定する。CHANGE_FLAGがリセットされている場合、パンニング制御回路112はS402の処理に移行する。
ここで、積分器16の出力信号である角変位データをINT_DATA、INT_DATAが単調増加もしくは単調減少しているときの変化幅をINT_INCREASE_WIDTHとする。S402においてパンニング制御回路112は、INT_INCREASE_WIDTHの大きさが、パンニング開始判定積分器閾値IN_THRESH2(第6の閾値)より大きいか否かを判定する。INT_INCREASE_WIDTHの大きさがIN_THRESH2より大きい場合、パンニング制御回路112はS403の処理に移行する。
S403においてパンニング制御回路112は、A/D変換器14の出力である角速度データGYRO_DATAの絶対値が、パンニング開始判定角速度閾値IN_THRESH3(第7の閾値)より大きいか否か判定する。パンニング制御回路112は、GYRO_DATAの絶対値がIN_THRESH3より大きいと判定された場合、撮像装置がパンニング状態であると判定し、S404の処理に移行する。一方、S402においてINT_INCREASE_WIDTHの大きさがIN_THRESH2以下であると判定された場合、パンニング制御回路112は撮像装置がパンニング状態ではないと判定する。また、S403において、GYRO_DATAの絶対値がIN_THRESH3以下であると判定された場合にも、パンニング制御回路112は撮像装置がパンニング状態ではないと判定する。撮像装置がパンニング状態ではないと判定された場合、パンニング制御回路112は処理を終了し、次の処理開始まで待機する。なお、S402及びS403の判定順序は逆転してもよい。
S404においてパンニング制御回路112は、A/D変換器14の出力である角速度データGYRO_DATAがゼロ未満であるか否か判定する。ゼロ以上の場合、パンニング制御回路112は、S406の処理へ移行し、符号フラグSIGN_FLAG2をリセットする。一方、ゼロ未満の場合、パンニング制御回路112は、S406の処理へ移行し、符号フラグSIGN_FLAG2をセットする。S405、S406の処理を行った後、パンニング制御回路112はS407の処理に移行する。
S407においてパンニング制御回路112は、図1の信号置換回路107が出力する置換信号データGYRO_DUMMYの値を、図13に示すように積分器16の出力信号である角変位データINT_DATAに応じて算出する。具体的には、INT_DATAの絶対値がINT_THRESH以下(第8の閾値以下)の場合は、GYRO_DUMMYの値はゼロとする。また、INT_DATAの値が閾値INT_THRESHより大きい場合は、INT_DATAの値が大きくなるに従ってGYRO_DUMMYの値が負の値で小さくなるように値を算出する。さらに、INT_DATAの値が閾値−INT_THRESHより小さい場合は、INT_DATAの値が小さくなるに従ってGYRO_DUMMYの値が正の値で大きくなるように値を算出する。
S407においてGYRO_DUMMYの算出を行った後、パンニング制御回路112は、S408の処理へ移行する。S408においてパンニング制御回路112は、スイッチ109の状態を、HPF15の出力を積分器16に接続している状態から、信号置換回路107の出力を積分器16へ接続する状態へ切り替え、フラグCHANGE_FLAGをセットする。S408においてパンニング制御回路112がスイッチ109の切替を行うと、S407において算出した信号置換回路107の出力GYRO_DUMMYが、積分器16に入力される。GYRO_DUMMYは、図13に示したように、積分器16の出力であるINT_DATAの絶対値が大きいほど大きく、INT_DATAと逆の符号を有するため、積分器16の出力であるINT_DATAはゼロに近付く方向に変化する。
S408の処理が終了すると、パンニング制御回路112は処理を終了し、次の処理を開始するタイミングまで待機する。
一方、S401において、CHANGE_FLAGがセットされている場合、すなわちスイッチ109が信号置換回路107の出力を積分器16に与えるように切替されている場合、パンニング制御回路112はS409の処理に移行する。S409でパンニング制御回路112は、SIGN_FLAG2がセットされているか否かの判定、即ちパンニング開始判定時の角速度データが負であったか正(ゼロ以上)であったかの符号判定を行う。
S409において、SIGN_FLAG2がリセットされている場合、即ちパンニング開始判定時の角速度データが正であった場合、パンニング制御回路112はS410の処理に移行する。S410においてパンニング制御回路112は、GYRO_DATAがパンニング終了判定角速度閾値OUT_THRESH3より小さいか否か判定する。なお、OUT_THRESH3は、パンニング開始判定角速度閾値IN_THRESH3より小さい値とする。
またS409において、SIGN_FLAG2がセットされている場合、即ちパンニング開始判定時の角速度データが負であった場合、パンニング制御回路112はS411の処理に移行する。S411においてパンニング制御回路112は、GYRO_DATAが−OUT_THRESH3より大きいか否かを判定する。
S410においてGYRO_DATAがOUT_THRESH3より小さいと判定された場合、またはS411においてGYRO_DATAが−OUT_THRESH3より大きいと判定された場合、パンニング制御回路112はパンニング状態終了と判定しS412の処理に移行する。S412においてパンニング制御回路112は、スイッチ109の状態を、信号置換回路107の出力を積分器16に接続する状態から、HPF15の出力を積分器16に接続する状態へ切り替え、フラグCHANGE_FLAGをリセットする。S412の処理が終了した後、パンニング制御回路112は処理を終了し、次の処理実行周期まで待機する。
S410において、GYRO_DATAがOUT_THRESH3以上であると判定された場合、またはS411において、GYRO_DATAが−OUT_THRESH3以下であると判定された場合、パンニング制御回路112はパンニング状態が継続していると判定し、S413の処理に移行する。
S413においてパンニング制御回路112は、積分器16の出力信号である角変位データ(INT_DATA)の絶対値が、閾値OUT_THRESH4より小さいかどうか判定する。S413において、INT_DATAの絶対値が、閾値OUT_THRESH4より小さいと判定された場合、パンニング制御回路112はS414の処理に移行する。なお、OUT_THRESH4は、図13に示すようにINT_THRESHより小さい値とする。
S414においてパンニング制御回路112は、角変位データINT_DATAが十分にゼロに近付いたと判断し、GYRO_DUMMYの値をゼロとする。これによって、角変位データが中心を通過し反対側の補正端に向かって動いてしまうことを防止する。
S413において、INT_DATAの絶対値が、閾値OUT_THRESH4以上であると判定された場合、パンニング制御回路112は、処理を終了し、次の処理実行周期まで待機する。
このように、本実施形態では、積分器16の出力する角変位データの単調増加又は単調減少の変化量が閾値を超え、かつ角速度データの絶対値が閾値を超える場合、HPF15の出力に代えて、角変位データを低減させるための値を積分器16に与える。これにより、急激なパンニングが行われた場合でも補正データが補正端に達しにくくなる。
次に図14を用いて、本実施形態におけるパンニング制御の有効性について説明する。
図14(a)〜(c)は、従来のブレ補正装置が搭載された撮像装置にて急激なパンニング動作が行われたときの、角速度データGYRO_DATA、HPF15の低域カットオフ周波数、角変位データINT_DATAの経時変化を示す。図14(d)及び図14(e)は、本実施形態におけるブレ補正装置が搭載された撮像装置にて同様のパンニング動作が行われたときの、信号置換回路107の出力信号(GYRO_DUMMY)、角変位データの経時変化を示す図である。
図14(a)〜(c)は、従来のブレ補正装置が搭載された撮像装置にて急激なパンニング動作が行われたときの、角速度データGYRO_DATA、HPF15の低域カットオフ周波数、角変位データINT_DATAの経時変化を示す。図14(d)及び図14(e)は、本実施形態におけるブレ補正装置が搭載された撮像装置にて同様のパンニング動作が行われたときの、信号置換回路107の出力信号(GYRO_DUMMY)、角変位データの経時変化を示す図である。
図14(a)は、図19又は図1のA/D変換器14の出力である角速度データの経時変化を示す。ここでは、時刻0から急激なパンニング動作が行われ、時刻T53でパンニング動作が終了したものとする。図14(b)は、急激なパンニング動作がなされた際の、HPF15の低域カットオフ周波数の経時変化を示す。図14(c)は、図19の積分器16の出力である角変位データの経時変化を示し、実線は従来のパンニング制御を行ったときの角変位データを、点線はパンニング制御を行わなかったときの角変位データを示す。
図14(d)は、急激なパンニング動作を行ったときの、信号置換回路107の出力である置換信号データの経時変化を示す図である。図14(e)は、図1の積分器16の出力である角変位データの経時変化を示す図である。図14(e)で、実線は本実施形態のパンニング制御を行ったときの経時変化を、点線は本実施形態のパンニング制御を行わなかったときの経時変化を示している。
図14(a)に示すように、短時間で角速度データが大きくなるようなパンニング動作が行われたとき、パンニング制御を行わないと図14(c)及び図14(e)に点線で示すように角変位データの値が急速に上昇し、ブレ補正回路19の補正端(補正限界)に近付いていく。
角変位データが急速に補正端に近付く現象を防止するため、従来のパンニング制御では、図14(b)に示すように、角速度データがパンニング開始判定角速度閾値IN_THRESH3より大きくなった時刻T51からHPF15の低域カットオフ周波数を高くする制御を行っていた。これによって図14(c)に実線で示すように、角変位データが急速に上昇して補正端に近付く現象を防止していた。
しかし、従来のパンニング制御では以下のような問題点があった。時刻T53では角速度データがパンニング終了判定角速度閾値OUT_THRESH3より小さくなり、パンニング動作が終了したと判定される。その後、HPF15の低域カットオフ周波数を急に元の値に復帰させると、ブレ補正データが急激に変化し、ブレ補正データの誤差量が急激に大きくなる。そのため、時刻T53からT54にかけてゆっくりと低域カットオフ周波数を低くしていく必要がある。しかし、HPF15の低域カットオフ周波数が高い状態では、補正を行いたいブレ成分も減衰させている。すなわち、急激なパンニング動作が終了した後、低域カットオフ周波数が元の値に戻るまでの間(T53からT54までの間)、ブレ成分の減衰が元に戻らず、ブレ残り量が大きくなってしまう。
一方、本実施形態によるパンニング制御回路112は、図12(a)のS402及びS403に示すように、時刻T51で角速度データがパンニング開始判定角速度閾値IN_THRESH3より大きくなっただけではパンニング動作が開始されたと判定しない。パンニング制御回路112は、さらに、角変位データが単調増加または減少し、その変化量がパンニング開始判定積分器閾値IN_THRESH2を超えた時刻T52で、パンニング動作が開始されたと判定する。
時刻T52でパンニング動作が開始されたと判定すると、パンニング制御回路112は、図13に示したように信号置換回路107の出力GYRO_DUMMYを決定する(図14(d))。そして、パンニング制御回路112は、スイッチ109の状態を切り替え、HPF15の出力に代えて信号置換回路107の出力を積分器16に供給し始める。そして時刻T53でパンニング動作が終了されたと判定されると、パンニング制御回路112は、HPF15の出力が積分器16に供給されるようにスイッチ109を元に戻す。
時刻T52からT53において、スイッチ109が、信号置換回路107が出力する置換信号データを積分器16に供給する状態へ切り替えられている間、積分器16の出力する角変位データは図14(e)に示すようにゼロに近付いていく。図13に示したように、パンニング制御回路112は、符号が変位データと逆で、絶対値は角変位データの絶対値が大きいほど大きくなるような置換信号データGYRO_DUMMYを算出する。これによって、角変位データが補正端に近いときは大きな値が角変位データから削減されることになり、ブレ補正データをより速くゼロに近付けることができる。
なお、時刻T52からT53においては、角速度データを信号置換回路107の出力に切り替えるため、ブレ補正を行うことはできない。パンニング動作はユーザが意図して行った動作であるため、補正を行わない方が却って自然な映像となる。しかし、不用意にパンニング制御に入ってしまうと、ブレ補正を行う状態と行わない状態を繰り返し、見苦しい映像となってしまう。そのため、図12(a)のフローチャートのS402とS403の2条件のパンニング開始判定を行うことにより、不用意にパンニング制御に入ることを防止している。
本実施形態のパンニング制御を行った結果、角変位データは図14(e)の実線に示すようになり、角変位データが急速に補正端に近付く現象を防止することができる。また、従来のパンニング制御において、図14(b)の時刻T53からT54でHPF15の低域カットオフ周波数変更制御を行うことによって生じていた、ブレ残り量が大きくなる現象を防止し、パンニング動作終了後すぐにブレ残り量を最小にするように制御することができる。
以上のように本実施形態によれば、パンニング動作が急激である場合には、角速度データの代わりに置換信号データを積分器に供給することで、積分器の出力する角変位データが補正端に達することを防止できる。そして、パンニング動作が終了すると、十分な効果が実現できるブレ補正を直ちに開始することができる。そのため、パンニング動作中にHPF15の低域カットオフ周波数を上昇させる従来のパンニング制御で発生していた、パンニング終了後しばらくの間はブレ残り量が大きくなる現象を回避することができる。
なお、本実施形態では積分器16の出力である角変位データに基づいてパンニング判定を行ったが、これに限定されるものではない。例えば焦点距離演算回路17の出力するブレ補正データを用いて判定しても良いし、パンニング判定専用の積分器を備え、その出力を用いて判定しても良い。
●(第7の実施形態)
次に、本発明の第7の実施形態を説明する。本実施形態も第6の実施形態と同様、急激なパンニング時におけるパンニング制御方法に関する。本実施形態のパンニング制御処理は、図12(a)に示した第6の実施形態のS402の処理に代えて、図12(b)に示したS502の処理を行うことを特徴とする。他の処理ステップは第6の実施形態と共通であるため、以下、本実施形態に特徴的なS502の処理についてのみ説明を行い、その他の処理についての説明は省略する。
次に、本発明の第7の実施形態を説明する。本実施形態も第6の実施形態と同様、急激なパンニング時におけるパンニング制御方法に関する。本実施形態のパンニング制御処理は、図12(a)に示した第6の実施形態のS402の処理に代えて、図12(b)に示したS502の処理を行うことを特徴とする。他の処理ステップは第6の実施形態と共通であるため、以下、本実施形態に特徴的なS502の処理についてのみ説明を行い、その他の処理についての説明は省略する。
図12(a)のS402では、角速度データの絶対値が閾値IN_THRESH3を超え、かつ積分器16が出力する角変位データが単調増加または減少しているときの変化幅が閾値IN_THRESH2を超えると、パンニング動作が開始したと判定した。しかしこの方法では、角変位データが一瞬減少してすぐに増加するような変化をした場合、角変位データの単調増加(減少)変化幅がIN_THRESH2を超える前に、角変位データが補正端に達してしまう可能性があった。
本実施形態では、図12(b)のS502に示すように、積分器16の出力信号である角変位データの絶対値が、パンニング開始判定角変位閾値IN_THRESH4より大きいか否かを判定することとした。なお、第9の閾値であるIN_THRESH4は図13に示すように、OUT_THRESH4、INT_THRESHよりも補正端に近い値に設定する。つまり、本実施形態のパンニング制御回路112は、角速度データの絶対値が第7の閾値IN_THRESH3を超え、かつ積分器16の出力信号である角変位データの絶対値が第9の閾値IN_THRESH4を超えると、パンニング動作が開始したと判定する。これにより、角変位データが補正端に達する前にパンニング開始判定を行うことが可能となり、角変位データが補正端に達してしまうことを防止することができる。
以上のように本実施形態によれば、パンニング動作による角変位データの変化方向が一定でない場合においても、第6の実施形態と同様の効果を実現できる。
●(第8の実施形態)
次に、本発明の第8の実施形態を説明する。本実施形態は、パンニング動作の揺り戻しを考慮したパンニング制御方法に関する。
次に、本発明の第8の実施形態を説明する。本実施形態は、パンニング動作の揺り戻しを考慮したパンニング制御方法に関する。
図15は、本実施形態におけるパンニング制御回路112が行うパンニング制御処理を説明するためのフローチャートである。なお、図15を参照して以下に説明する処理は、例えば60分の1秒毎といったように、所定期間毎に繰り返し行われる。
また、図16(a)は、パンニング動作が行われた際のA/D変換器14の出力(角速度データ)の経時変化を示す図である。図16(a)で、パンニング動作期間では、DCカットフィルタ12によりパンニングの低周波数成分が減衰され、角速度データは徐々に小さくなる。そしてパンニング動作が終了すると、DCカットフィルタ12によりパンニングの低周波数成分が減衰された影響により、角速度データがパンニング方向とは逆方向に振れる。その後DCカットフィルタ12の時定数分の時間をかけて、角速度データはゼロに収束していく。図15に示したフローチャートの処理はこのパンニング後に角速度データが逆方向に振れる現象により、撮像画像が動いてしまう揺り戻し現象を防止するための処理である。パンニング中は、図2(a)、図2(b)、図12(a)、図12(b)のフローチャートに示した処理を行えばよく、本実施形態においては説明を省略する。
図15のS601において、パンニング制御回路112は、パンニングが開始されたことを示すフラグPAN_START_FLAGがセットされているか否かを判定する。PAN_START_FLAGがセットされていないと判定された場合、パンニング制御回路112は、S602の処理に移行する。
S602においてパンニング制御回路112は、A/D変換器14の出力である角速度データ(GYRO_DATA)が、パンニング開始判定角速度閾値IN_THRESH5より大きいか否かを判定する。
S602において、GYRO_DATAがIN_THRESH5より大きいと判定された場合、パンニング制御回路112は撮像装置のパンニング動作が開始されたと判断し、S604及びS606の処理へ移行する。S604でパンニング制御回路112はSIGN_FLAG3をリセットし、パンニング開始時の角速度データの符号(正)を記憶する。S606でパンニング制御回路112はパンニングが開始されたことを示すフラグPAN_START_FLAGをセットする。
S602において、GYRO_DATAがIN_THRESH5以下であると判定された場合、パンニング制御回路112は、S603の処理に移行する。S603においてパンニング制御回路112は、A/D変換器14の出力である角速度データ(GYRO_DATA)が、パンニング開始判定角速度閾値−IN_THRESH5より小さいか否かを判定する。
S603において、GYRO_DATAが−IN_THRESH5より小さいと判定された場合、パンニング制御回路112は撮像装置でパンニング動作が開始されたと判断し、S605及びS606の処理へ移行する。S605ではSIGN_FLAG3をセットし、パンニング動作開始時の角速度データの符号(負)を記憶する。S606でパンニング制御回路112はパンニング動作が開始されたことを示すフラグPAN_START_FLAGをセットする。
S606の処理が行われた後、或いはS603においてGYRO_DATAが−IN_THRESH5以上であると判定された場合、パンニング制御回路112は処理を終了し、次の処理実行開始まで待機する。
S601において、PAN_START_FLAGがセットされているときは、パンニング動作が行われていると判定されている状態であり、パンニング制御回路112はS607の処理に移行する。S607においてパンニング制御回路112は、パンニング動作が終了したことを示すフラグPAN_CANSEL_FLAGがセットされているか否かを判定する。PAN_CANSEL_FLAGがセットされていないと判定された場合、パンニング制御回路112は、S608の処理に移行する。
S608においてパンニング制御回路112は、PAN_START_FLAGがセットされてからの時間PAN_TIMEをカウントし、S609の処理に移行する。
S609においてパンニング制御回路112は、SIGN_FLAG3がセットされているかどうかを判定する。S609においてSIGN_FLAG3がセットされていると判定された場合、即ちパンニング動作開始時の角速度データの符号が負であった場合、パンニング制御回路112はS610の処理に移行する。
S610においてパンニング制御回路112は、パンニング動作中と判定されている間のA/D変換器14の出力である角速度データ(GYRO_DATA)のピーク値として最小値を算出して変数GYRO_PEAKに設定して、S611の処理に移行する。
S611においてパンニング制御回路112は、GYRO_DATAがゼロ以上になったかどうかを判定する。S611において、GYRO_DATAがゼロ以上になったと判定された場合、パンニング制御回路112は、S614の処理へ移行し、パンニング動作が終了したことを示すフラグPAN_CANSEL_FLAGをセットする。
S609においてSIGN_FLAG3がセットされていないと判定された場合、即ちパンニング動作開始時の角速度データの符号が正であった場合、パンニング制御回路112は、S612の処理に移行する。S612においてパンニング制御回路112は、パンニング動作中と判定されている間のA/D変換器14の出力である角速度データ(GYRO_DATA)のピーク値として最大値を算出して変数GYRO_PEAKに設定し、S613の処理に移行する。
S613においてパンニング制御回路112は、GYRO_DATAがゼロ以下になったかどうかを判定する。S613において、GYRO_DATAがゼロ以下になったと判定された場合、パンニング制御回路112は、S614の処理へ移行し、パンニング動作が終了したことを示すフラグPAN_CANSEL_FLAGをセットする。
S614の処理後、或いはS611においてGYRO_DATAがゼロより小さいと判定された後、或いはS613においてGYRO_DATAがゼロより大きいと判定された後、パンニング制御回路112は処理を終了し、次の処理開始まで待機する。
S607において、PAN_CANSEL_FLAGがセットされている場合、パンニング動作が終了したと判定されている状態であり、パンニング制御回路112はS615の処理に移行する。
S615においてパンニング制御回路112は、PAN_CANSEL_FLAGがセットされてからの時間CANCEL_TIMEをカウントし、S616の処理に移行する。
S615においてパンニング制御回路112は、PAN_CANSEL_FLAGがセットされてからの時間CANCEL_TIMEをカウントし、S616の処理に移行する。
S616においてパンニング制御回路112は、角速度データに含まれる、パンニングと逆方向に振れる信号成分を除去するため、オフセット変更回路106の出力に設定する信号値である、OFFSET_CANCELの値を算出する。OFFSET_CANCELの算出方法について、図17を用いて説明する。
パンニング制御回路112は、OFFSET_CANCELの値を、パンニング動作が終了されてからの時間CANCEL_TIME、パンニング動作が開始されてからの時間PAN_TIME、パンニング動作中の角速度データのピークGYRO_PEAKの値に応じて決定する。CANCEL_TIMEに応じて決定するパラメータをOFFSET_CANCEL_ORIGINAL、PAN_TIMEに応じて決定するパラメータをPAN_TIME_GAIN、GYRO_PEAKに応じて決定するパラメータをGYRO_PEAK_GAINとする。このとき、パンニング制御回路112は、OFFSET_CANCELの値を以下の(式2)によって算出する。
OFFSET_CANCEL = OFFSET_CANCEL_ORIGINAL×PAN_TIME_GAIN×GYRO_PEAK_GAIN (式2)
OFFSET_CANCEL = OFFSET_CANCEL_ORIGINAL×PAN_TIME_GAIN×GYRO_PEAK_GAIN (式2)
図17(a)は、パンニング動作が終了されてからの時間CANCEL_TIMEと、OFFSET_CANCEL_ORIGINALとの関係を示す図である。OFFSET_CANCEL_ORIGINALの値は、CANCEL_TIMEの値がPEAK_TIME(第1の所定時間)となるまではCANCEL_PEAKに向かって大きくなる。そして、OFFSET_CANCEL_ORIGINALの値は、PEAK_TIMEを経過した後(第1の所定時間経過後)、CANCEL_TIMEの値がCANCEL_END(第2の所定時間)となるまで徐々に小さくなる。そして、OFFSET_CANCEL_ORIGINALの値は、CANCEL_TIMEがCANCEL_ENDとなった時点でゼロになる。なお、図17(a)は、図16(a)に示した揺り戻し期間における角速度データの経時変化に近似させた経時特性を持たせている。揺り戻し期間における角速度データの経時変化を予め測定し、それに近似させてCANCEL_ORIGINALを用意しておくことができる。なお、図17(a)に示す関係は、上述した各種の閾値やパラメータと同様、ブレ補正装置100が搭載される撮像装置やパンニング制御回路112が備える不揮発性メモリにテーブルデータとして格納しておくことができる。あるいは、図17(a)のPEAK_TIME、CANCEL_END、CANCEL_PEAK等の代表的なタイミングでのOFFSET_CANCEL_ORIGINALの値のみ不揮発性メモリに格納し、他のタイミングでの値は補間により算出しても良い。
図17(b)は、PAN_TIMEとPAN_TIME_GAINとの関係を示す図である。PAN_TIME_GAINは、OFFSET_CANCEL_ORIGINALに乗じる係数である。PAN_TIMEが閾値TIME_THRESHより大きくなるまでは、PAN_TIME_GAINの値はゼロとする。PAN_TIMEが閾値TIME_THRESHより大きく、TIME_MAX以下(第10の閾値以下)の場合は、PAN_TIME_GAINの値をPAN_TIMEの値が大きいほど大きくする。PAN_TIMEが第10の閾値であるTIME_MAXより大きくなるとPAN_TIME_GAINの値を最大値1で固定する。
図17(c)は、GYRO_PEAKとGYRO_PEAK_GAINとの関係を示す図である。GYRO_PEAK_GAINは、PAN_TIME_GAINと同様OFFSET_CANCEL_ORIGINALに乗じる係数である。GYRO_PEAKの絶対値がパンニング開始判定角速度閾値IN_THRESH5より小さいとき(第11の閾値未満のとき)は、GYRO_PEAK_GAINの値はゼロとする。GYRO_PEAKが、IN_THRESH5以上でGYRO_PEAK_MAXより小さい場合はGYRO_PEAK _GAINの値をGYRO_PEAKが大きくなるほど大きくする。GYRO_PEAK_MAX以上ではGYRO_PEAK_GAINを最大値1で固定する。GYRO_PEAKが、−IN_THRESH5以下で−GYRO_PEAK_MAXより大きい場合はGYRO_PEAK _GAINの値をGYRO_PEAKが小さくなるほど小さくする。GYRO_PEAKが、−GYRO_PEAK_MAX以下ではGYRO_PEAK _GAINを最小値−1で固定する。
OFFSET_CANCELは、図1のオフセット変更回路106の出力信号として設定される。これによって、パンニング終了時にHPF15の出力に含まれる、パンニングの角速度と逆方向に現れる揺り戻しの信号成分を、オフセット変更回路106の出力信号によって相殺した結果を、積分器16に入力することができ、揺り戻し現象を防止することができる。
ここでHPF15の出力に含まれるパンニングと逆方向に振れる信号成分の大きさの特徴について、図16(b)を用いて説明する。図16(b)は、3種類のパンニング動作が行われたときの角速度データの経時変化を示す図である。図16(b)の実線(1)と点線(2)で示すように、パンニング動作時の角速度データのピークが(1)と比較して小さい(2)の方が、揺り戻しで生じる信号も小さくなる。よって、図17(c)に示すように、パンニング動作中の角速度データのピークGYRO_PEAKに応じて、GYRO_PEAK_GAINの大きさを変更することで、OFFSET_CANCELの値を、実際の揺り戻し成分と類似した大きさにできる。
また、図16(b)において、パンニング動作の継続時間が異なる実線(1)と一点鎖線(3)とを比較すると、継続時間が長い(3)の揺り戻し成分の方が大きい値となる。よって、図17(b)に示すように、パンニング動作開始から終了までの時間PAN_TIMEに応じて、PAN_TIME_GAINの大きさを変更することにより、OFFSET_CANCELの値を実際の揺り戻し信号成分と類似した大きさとすることができる。
S616においてOFFSET_CANCELの算出を行った後、パンニング制御回路112は、S617の処理に移行する。S617においてパンニング制御回路112は、S615でカウントしているCANCEL_TIMEが、揺り戻し信号成分がゼロに収束する時刻CANCEL_END以上かどうかを判定する。S617において、CANCEL_TIMEがCANCEL_END以上であると判定された場合、パンニング制御回路112は、パンニングと逆方向に発生する揺り戻し信号成分を除去する処理を終了するため、S618及びS619の処理に移行する。S618でパンニング制御回路112はOFFSET_CANCELをゼロとし、S619ではPAN_CANSEL_FLAG及びPAN_START_FLAGをリセットする。
S619の処理の後、或いはS617においてCANCEL_TIMEがCANCEL_ENDより小さいと判定された場合、パンニング制御回路112は本処理を終了し、次の処理開始まで待機する。
次に図18を用いて、本実施形態におけるパンニング制御の有効性について説明を行う。図18(a),図18(b)は、従来のブレ補正装置が搭載された撮像装置にてパンニング動作が行われたときの、角速度データ(GYRO_DATA)、HPF15の低域カットオフ周波数の経時変化を示す。図18(c)は、本実施形態におけるブレ補正装置が搭載された撮像装置にて図18(a)と同様のパンニング動作が行われたときの、オフセット変更回路106の出力(OFFSET_CANCEL)の経時変化を示す。
図18(a)は、パンニング動作の開始から、パンニング動作の終了後に発生する揺り戻し信号成分がゼロに収束するまでの、図19又は図1のA/D変換器14の出力である角速度データの経時変化を示す。図18(b)は、上述したパンニング動作の開始から、パンニング動作の終了後に生じる角速度データの揺り戻し信号成分がゼロに収束するまでの、HPF15の低域カットオフ周波数の経時変化を示す。また図18(c)は、パンニング動作の終了後に角速度データの揺り戻し信号成分がゼロに収束するまでの、オフセット変更回路106の出力の経時変化を示す。図18(c)には示していないが、パンニング動作中のオフセット変更回路106の出力は、図5(b)や図7(c)に示した通りである。
従来のパンニング制御では、図18(a)において角速度データの大きさがIN_THRESH5を超えた時刻T71に、パンニング動作が開始されたと判定される。そして図18(b)に示すように、時刻T71からHPF15の低域カットオフ周波数を高くする。その後、図18(a)において角速度データの符号が反転した時刻T72に、パンニング動作が終了したと判定される。パンニング動作が終了したと判定された後は、HPF15の低域カットオフ周波数を元の値に徐々に戻していく。さらに、パンニング動作の終了後の揺り戻し信号成分を減衰させるため、時刻T63まではHPF15の低域カットオフ周波数を最小値(元の値)まで小さくせずに一定値で保持する。そして、時刻T63を過ぎるとHPF15の低域カットオフ周波数を再度低下させ、時刻T64で最小値(元の値)に戻す。
このようなパンニング制御によれば、パンニング動作の終了後の揺り戻し信号成分をHPF15で減衰することで、揺り戻し信号成分による撮像画像の移動を防止することができる。しかし、上述の通り、HPF15の低域カットオフ周波数を高いままにしておくと、HPF15は補正を行いたいブレ成分も減衰する。その結果、パンニング終了後の時刻T72からT64までは、ブレ残り量が大きくなってしまう。
これに対し、本実施形態によるパンニング制御回路112は、図18(a)において角速度データの大きさがIN_THRESH5を超えた時刻T71に、パンニング動作の開始を判定する点では従来と同様である。しかし、その後、パンニング制御回路112は、角速度データの符号が反転する時刻T72までの間、図18(a)に示したGYRO_PEAKの算出と及びPAN_TIMEのカウントを一定周期毎に継続する。そして、パンニング制御回路112は、時刻T72においてパンニング動作が終了したと判定すると、時刻T73までの間、(式2)の計算式に従ってOFFSET_CANCELを算出し、オフセット変更回路106から出力させる。
OFFSET_CANCELが加減算器108でHPF15の出力から減算されることで、パンニング動作の終了後に発生する揺り戻し信号成分を効率的に抑制することができ、揺り戻しによる撮像画像の動きを抑制することができる。本実施形態の方法によれば、HPF15の低域カットオフ周波数を変更しないので、補正を行いたいブレ成分をブレ補正データから減衰することなく、パンニング動作の終了後に生じる角速度データの揺り戻し信号成分を除去することができる。
以上のように本実施形態によれば、従来のHPF15の低域カットオフ周波数を変更するパンニング制御で発生していたブレ残り量が大きくなる現象を回避しつつ、パンニング動作の終了後に生じる角速度データの揺り戻し信号成分を効果的に抑制可能である。
なお、本実施形態ではA/D変換器14の出力を用いてパンニング動作の開始と終了の判定や、OFFSET_CANCELの値の算出を行ったが、HPF15の出力データを用いても同様の判定や算出を行うことができる。
また、OFFSET_CANCELの値を算出する際に、パンニング動作中の角速度データのピークGYRO_PEAKの値を用いたが、これに限定されるものではない。例えば角速度データのピークの代わりに、パンニング動作中の角速度データの平均値を用いても同様の効果を得ることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、複数の実施形態を組み合わせて実施することも可能である。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (5)
- 撮像装置に加わる振れの大きさを検出して出力する振れ検出手段と、
設定された値を有する信号を出力する信号生成手段と、
前記振れ検出手段の出力と、前記信号生成手段の出力との一方を選択して出力するスイッチ手段と、
前記スイッチ手段によって選択された、前記振れ検出手段の出力若しくは前記信号生成手段の出力を積分して出力する積分手段と、
前記積分手段の出力に基づいて、前記振れによる画像のブレを補正するためのブレ補正データを算出する補正データ演算手段と、
前記撮像装置のパンニング動作を検出するとともに、前記信号生成手段及び前記スイッチ手段を制御するパンニング制御手段と、を有し、
前記パンニング制御手段は、前記撮像装置のパンニング動作を検出すると、前記信号生成手段の出力を前記積分手段に出力するように前記スイッチ手段を制御し、前記パンニング動作を検出し終えると、前記振れ検出手段の出力を前記積分手段に出力するように前記スイッチ手段を制御することを特徴とするブレ補正装置。 - 前記パンニング制御手段は、前記振れ検出手段により検出された振れの大きさが予め定められた第1の閾値を超え、かつ前記積分手段の出力が単調増加又は単調減少し、該単調増加又は単調減少の変化量が予め定められた第2の閾値を超えたことを検出することにより、前記撮像装置のパンニング動作を検出することを特徴とする請求項1に記載のブレ補正装置。
- 前記パンニング制御手段は、前記振れ検出手段により検出された振れの大きさが前記第1の閾値を超え、かつ前記積分手段の出力の絶対値が予め定められた第3の閾値を超えたことを検出することにより、前記撮像装置のパンニング動作を検出することを特徴とする請求項1に記載のブレ補正装置。
- 前記パンニング制御手段は、
前記積分手段の出力の絶対値が予め定められた第4の閾値以下であれば、ゼロの値を有する信号を出力するよう前記信号生成手段を制御し、
前記積分手段の出力の絶対値が前記第4の閾値を超える場合、前記積分手段の出力が大きいほど大きい絶対値を有し、かつ前記積分手段の出力と逆の符号を有する信号を出力するよう前記信号生成手段を制御することを特徴とする請求項1に記載のブレ補正装置。 - さらに、前記ブレ補正データに応じて、前記撮像装置の有するレンズ群に含まれる補正レンズを駆動するか、前記撮像装置が有する撮像素子から読み出す領域を移動させるか、前記撮像素子を移動させるかのいずれかにより、前記撮像装置が撮像する画像のブレを補正するブレ補正回路を有することを特徴とする請求項1乃至4の何れか1項に記載のブレ補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009167269A JP2011022353A (ja) | 2009-07-15 | 2009-07-15 | ブレ補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009167269A JP2011022353A (ja) | 2009-07-15 | 2009-07-15 | ブレ補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011022353A true JP2011022353A (ja) | 2011-02-03 |
Family
ID=43632486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009167269A Withdrawn JP2011022353A (ja) | 2009-07-15 | 2009-07-15 | ブレ補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011022353A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078104A (ja) * | 2011-09-12 | 2013-04-25 | Rohm Co Ltd | 信号処理装置、レンズ制御装置、撮像装置 |
JP2016012811A (ja) * | 2014-06-27 | 2016-01-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2018142983A (ja) * | 2018-04-25 | 2018-09-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
-
2009
- 2009-07-15 JP JP2009167269A patent/JP2011022353A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078104A (ja) * | 2011-09-12 | 2013-04-25 | Rohm Co Ltd | 信号処理装置、レンズ制御装置、撮像装置 |
JP2016012811A (ja) * | 2014-06-27 | 2016-01-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2018142983A (ja) * | 2018-04-25 | 2018-09-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5513029B2 (ja) | 撮像装置およびその制御方法 | |
JP6257207B2 (ja) | 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置 | |
JP6700826B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP2006101485A (ja) | 手ぶれ補正装置および撮像機器 | |
JP6395381B2 (ja) | 撮像装置及びその制御方法 | |
EP1711005A2 (en) | Image blurring correcting apparatus | |
JP6543946B2 (ja) | ブレ補正装置、カメラ及び電子機器 | |
JP6659086B2 (ja) | 像ブレ補正装置、光学機器、撮像装置および制御方法 | |
JP5462541B2 (ja) | 撮像装置およびその制御方法 | |
JP2012168420A (ja) | 撮像装置およびその制御方法 | |
JP6833451B2 (ja) | 画像処理装置、その画像処理方法および光学機器 | |
JP2015136018A (ja) | 像ブレ補正装置およびその制御方法、光学機器、撮像装置 | |
JP5836110B2 (ja) | 撮像装置およびその制御方法 | |
CN108737698B (zh) | 图像稳定设备和方法、摄像设备、摄像系统和存储介质 | |
JP2011022353A (ja) | ブレ補正装置 | |
JP5448800B2 (ja) | 撮像装置及びその制御手段 | |
JP2011022354A (ja) | ブレ補正装置 | |
JP2006332809A (ja) | 撮像装置 | |
JP2011023988A (ja) | 撮像装置 | |
JP6165052B2 (ja) | 振れ補正装置、それを有する撮像装置、振れ補正方法、およびプログラム | |
JP6611585B2 (ja) | ズーム制御装置およびズーム制御方法、撮像装置 | |
JP2011022351A (ja) | ブレ補正装置 | |
JP2015037248A (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2012163852A (ja) | ブレ補正装置及び光学機器 | |
JP6178573B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121002 |