JP2012018328A

JP2012018328A - Optical apparatus, image pickup apparatus, and control method of optical apparatus

Info

Publication number: JP2012018328A
Application number: JP2010156188A
Authority: JP
Inventors: Takeshi Watanabe; 猛渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-08
Filing date: 2010-07-08
Publication date: 2012-01-26

Abstract

PROBLEM TO BE SOLVED: To prevent the deterioration of a shake correcting function even after finishing an operation of changing a posture of an optical apparatus having the shake correcting function.SOLUTION: An angular velocity sensor 101 detects a shake applied to an image pickup apparatus 100 and outputs a detection signal to a DC cut filter 102. A control unit 200 calculates an amount of shake correction based on a signal from the DC cut filter 102. An HPF (High-Pass Filter) 106 removes low frequency components from an output signal of the DC cut filter 102. The control unit 200 controls a correction optical system 116 to correct the shake of an image based on the amount of the shake correction. When a pan/tilt determination unit 109 determines that a panning movement or a tilting movement is finished, an offset operation unit 108 calculates an offset amount as a difference between an input value and an output value of the HPF 106, and an offset removal unit 105 removes the offset amount from the output signal of the DC cut filter 102.

Description

本発明は、例えば、手振れ等による撮像画像の振れを光学的に補正する技術に関するものである。 The present invention relates to a technique for optically correcting shake of a captured image due to, for example, camera shake.

近年のビデオカメラ等の撮像装置や光学機器では、装置に加わる揺れ（手振れ等）により生じた撮像画像の像振れを補正する振れ補正機能が種々提案されている。振れ補正機能を備えた撮像装置では、角速度センサや加速度センサを用いて装置本体の揺れを検出して、揺れに応じた補正処理が行われる。センサの出力信号は、揺れがないときに定常的に出力される低周波数の揺らぎ成分を含むが、ハイパスフィルタ（以下、ＨＰＦともいう）によってセンサの出力信号から低周波成分を除去できる。
しかしながら、ＨＰＦを用いて低周波成分を減衰させる構成では以下のような問題がある。例えば、パンニング動作またはチルティング動作が継続して行われている場合、ある一定以上の角速度検出信号をセンサが継続して出力していると、角速度の検出信号成分はＤＣ（直流）カットフィルタによって減衰されるので、徐々に基準値に近づいていく。なお基準値とは揺れがない状態において検出信号が示す値である。その後、パンニング動作またはチルティング動作が終了すると、角速度センサの出力する角速度検出信号は急速に基準値に戻る。すなわち、センサの出力信号は基準値から逆方向へと変化し、その後、ＨＰＦの時定数に応じて徐々に基準値へと収束する。このような基準値から逆方向へと変化する信号（以下、揺り戻し信号といい、その大きさを揺り戻し量という）は実際の撮像装置本体の振れに対応する信号ではない。つまり、この信号をそのまま使用して手振れ補正を行った場合、補正精度が低下するおそれがある。
そこで、ＨＰＦによる揺り戻し信号を除去する方法として、特許文献１に開示の技術が知られている。 In recent imaging apparatuses such as video cameras and optical equipment, various shake correction functions for correcting image shake of a captured image caused by shaking (hand shake or the like) applied to the apparatus have been proposed. In an imaging apparatus having a shake correction function, a shake of the apparatus body is detected using an angular velocity sensor or an acceleration sensor, and a correction process corresponding to the shake is performed. The output signal of the sensor includes a low-frequency fluctuation component that is steadily output when there is no fluctuation, but the high-frequency filter (hereinafter also referred to as HPF) can remove the low-frequency component from the sensor output signal.
However, the configuration in which the low frequency component is attenuated using the HPF has the following problems. For example, when the panning operation or the tilting operation is continuously performed, if the sensor continuously outputs an angular velocity detection signal of a certain level or more, the detection signal component of the angular velocity is obtained by a DC (direct current) cut filter. Since it is attenuated, it gradually approaches the reference value. The reference value is a value indicated by the detection signal when there is no shaking. Thereafter, when the panning operation or the tilting operation ends, the angular velocity detection signal output from the angular velocity sensor quickly returns to the reference value. That is, the output signal of the sensor changes from the reference value in the reverse direction, and then gradually converges to the reference value according to the time constant of HPF. Such a signal that changes in the reverse direction from the reference value (hereinafter referred to as a shakeback signal, the magnitude of which is referred to as the shakeback amount) is not a signal corresponding to the actual shake of the imaging apparatus main body. That is, when camera shake correction is performed using this signal as it is, the correction accuracy may be reduced.
Therefore, as a method of removing the swing-back signal due to HPF, the technique disclosed in Patent Document 1 is known.

特開平７−２０３２８５号公報JP-A-7-203285

しかしながら、従来の振れ補正機能には、次のような問題があった。特許文献１に記載の方法では、第２のＨＰＦによって、パンニング動作の終了が判定されてから所定時間をかけて第２のＨＰＦのカットオフ周波数を徐々に戻していくことで、揺り戻しの影響がないように制御している。ところが、カットオフ周波数を高域側に変移させることは、本来振れ補正の対象となる手振れ成分に含まれる低周波成分も減衰させてしまうことになり、低周波域での振れ補正性能が劣化してしまう。すなわち、パンニング動作またはチルティング動作の終了が判定された時点から所定時間が経過するまでの間、振れ補正性能が劣化することが問題となる。
そこで本発明は、振れ補正機能を有する光学機器の姿勢変更動作が終了したと判定された後でも振れ補正性能が劣化しないように防止することを目的とする。 However, the conventional shake correction function has the following problems. In the method described in Patent Document 1, the influence of the swing back is obtained by gradually returning the cutoff frequency of the second HPF over a predetermined time after the end of the panning operation is determined by the second HPF. There is no control. However, shifting the cut-off frequency to the high frequency side also attenuates the low-frequency component included in the hand-shake component that is originally subject to shake correction, resulting in deterioration of the shake correction performance in the low-frequency range. End up. That is, there is a problem that the shake correction performance deteriorates until a predetermined time elapses after the end of the panning operation or the tilting operation is determined.
Accordingly, an object of the present invention is to prevent the shake correction performance from being deteriorated even after it is determined that the posture changing operation of the optical apparatus having the shake correction function is completed.

上述した課題を解決して目的を達成するために、本発明に係る装置は、振れを検出して光学的に像ぶれを補正する機能を有する光学機器であって、前記光学機器に加わる振れを検出する振れ検出手段と、前記振れ検出手段の出力信号から直流成分を除去する第１のフィルタ手段と、前記第１のフィルタ手段の出力信号から第２のフィルタ手段によって低周波数成分を除去して振れ補正量を算出する制御手段と、前記振れ補正量に基づいて画像の振れを補正する補正手段と、を備える。前記制御手段は、前記光学機器の姿勢を変更する動作が終了した場合、前記第２のフィルタ手段の入力値と出力値との差分を算出して前記第１のフィルタ手段の出力信号から減算する。 In order to solve the above-described problems and achieve the object, an apparatus according to the present invention is an optical device having a function of detecting shake and optically correcting image blur, and the shake applied to the optical device is detected. A low-frequency component is removed from the output signal of the first filter means by a first filter means for detecting a shake detection means for detection, a first filter means for removing a DC component from the output signal of the shake detection means, and a second filter means. Control means for calculating a shake correction amount, and correction means for correcting a shake of the image based on the shake correction amount. The control means calculates a difference between the input value and the output value of the second filter means and subtracts it from the output signal of the first filter means when the operation of changing the attitude of the optical device is completed. .

本発明によれば、光学機器の姿勢を変更する動作が終了したと判定された後でも、振れ補正性能が劣化しないように防止できる。 According to the present invention, it is possible to prevent the shake correction performance from being deteriorated even after it is determined that the operation of changing the posture of the optical apparatus has been completed.

図２乃至４と併せて本発明の第１実施形態を説明するために、撮像装置の構成例を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration example of an imaging apparatus in order to describe the first embodiment of the present invention in conjunction with FIGS. 処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process. パンニング動作時の各部の波形を（ａ）乃至（ｆ）に例示したグラフである。It is the graph which illustrated the waveform of each part at the time of panning operation | movement to (a) thru | or (f). 図１のＨＰＦ１０６の構成例を示す図である。It is a figure which shows the structural example of HPF106 of FIG. 図６及び７と併せて本発明の第２実施形態を説明するために、撮像装置の構成例を示すブロック図である。FIG. 9 is a block diagram illustrating a configuration example of an imaging device in order to describe a second embodiment of the present invention in conjunction with FIGS. 6 and 7. 図５の動きベクトル検出部１２３の構成例を示す図である。It is a figure which shows the structural example of the motion vector detection part 123 of FIG. パンニング動作時の各部の波形を（ａ）乃至（ｆ）に例示したグラフである。It is the graph which illustrated the waveform of each part at the time of panning operation | movement to (a) thru | or (f).

以下、本発明を実施するための好適な実施形態について図面を用いて説明する。
［第１実施形態］
図１に示す撮像装置１００の各構成部とその動作について具体的に説明する。振れ検出部としての角速度センサ１０１は撮像装置１００に加わる揺れを検出する。例えば、振動ジャイロセンサを用いる場合、手振れ等によって装置に加わる揺れが角速度検出信号として検出され、ＤＣ（直流）カットフィルタ１０２に送られる。ここで、角速度センサ１０１の角速度検出信号に含まれる直流成分が除去され、該角速度検出信号の交流成分、すなわち振動成分のみがアンプ１０３に供給される。尚、本例では第１のフィルタ手段としてのＤＣカットフィルタ１０２が、所定の周波数帯域で入力信号を遮断するハイパスフィルタである。アンプ１０３は、角速度検出信号（振動成分）を最適な感度に増幅して、Ａ／Ｄ変換器１０４に供給する。Ａ／Ｄ変換器１０４は、アンプ１０３からの角速度検出信号をデジタル信号に変換し、角速度データとして制御部２００（図１のμＣＯＭ参照）に送る。なお、制御部２００には中央演算処理装置（ＣＰＵ）やマイクロプロセッサ（ＭＰＵ）などが使用され、図１には内部処理を機能ブロックで視覚化して示す。
制御部２００は、ＤＣカットフィルタ１０２を通した角速度検出信号から低周波数成分を除去して振れ補正量を算出する。オフセット除去部１０５はＡ／Ｄ変換器１０４の出力信号を受けて、オフセット演算部１０８が算出したオフセット量をＡ／Ｄ変換器１０４の出力信号から減算し、オフセット除去後の出力信号をＨＰＦ（高域通過フィルタ）１０６に送る。ＨＰＦ１０６は、任意の周波数帯域でその特性を可変し得る機能を有しており、オフセット除去部１０５から得た角速度データに含まれる低周波成分を遮断して高周波数帯域の信号を出力する。第２のフィルタ手段であるＨＰＦ１０６は、本例では後述のように制御部２００によるデジタルフィルタリング処理で実現されるソフトウェアフィルタである。積分器１０７は、任意の周波数帯域でその特性を可変し得る機能を有しており、ＨＰＦ１０６から得た角速度データを積分する。積分結果は角変位データとして後述の焦点距離補正部１１１に出力される。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described with reference to the drawings.
[First Embodiment]
Each component and operation of the imaging apparatus 100 shown in FIG. 1 will be specifically described. An angular velocity sensor 101 as a shake detection unit detects a shake applied to the imaging apparatus 100. For example, when a vibration gyro sensor is used, a shake applied to the apparatus due to hand shake or the like is detected as an angular velocity detection signal and sent to a DC (direct current) cut filter 102. Here, the DC component included in the angular velocity detection signal of the angular velocity sensor 101 is removed, and only the AC component of the angular velocity detection signal, that is, the vibration component is supplied to the amplifier 103. In this example, the DC cut filter 102 as the first filter means is a high-pass filter that cuts off the input signal in a predetermined frequency band. The amplifier 103 amplifies the angular velocity detection signal (vibration component) to an optimum sensitivity and supplies it to the A / D converter 104. The A / D converter 104 converts the angular velocity detection signal from the amplifier 103 into a digital signal and sends it as angular velocity data to the control unit 200 (see μCOM in FIG. 1). Note that a central processing unit (CPU), a microprocessor (MPU), or the like is used for the control unit 200, and FIG. 1 shows the internal processing visualized as functional blocks.
The control unit 200 calculates a shake correction amount by removing low frequency components from the angular velocity detection signal that has passed through the DC cut filter 102. The offset removal unit 105 receives the output signal of the A / D converter 104, subtracts the offset amount calculated by the offset calculation unit 108 from the output signal of the A / D converter 104, and outputs the output signal after the offset removal to the HPF ( High-pass filter) 106. The HPF 106 has a function capable of changing its characteristics in an arbitrary frequency band, and cuts off a low frequency component included in the angular velocity data obtained from the offset removing unit 105 and outputs a signal in a high frequency band. In this example, the HPF 106 as the second filter means is a software filter realized by digital filtering processing by the control unit 200 as described later. The integrator 107 has a function capable of changing its characteristics in an arbitrary frequency band, and integrates angular velocity data obtained from the HPF 106. The integration result is output as angular displacement data to a focal length correction unit 111 described later.

撮像光学系１１９は、ズーミングやフォーカシング等を行い、被写体からの光を撮像素子１２１に結像させる。補正光学系１１６は、例えば撮像光学系１１９の一部の補正レンズであり、光軸に対して直交する方向に移動可能に配置される。もしくは撮像素子１２１を光軸に対して直交する方向に駆動する機構であってもよい。ズームエンコーダ１２０は、撮像光学系１１９のズーム位置を検出し、制御部２００内の焦点距離補正部１１１に出力する。焦点距離補正部１１１は、ズームエンコーダ１２０の出力信号を受けて撮像光学系１１９の焦点距離を算出し、該焦点距離と積分器１０７の出力に基づいて補正光学系１１６の駆動量を算出する。焦点距離補正部１１１の出力信号は減算部１１２ａを介して制御フィルタ１１２に送出される。なお符号１１２乃至１１５に示す構成部によって補正光学系１１６の駆動制御部が構成され、補正光学系１１６の位置検出センサ１１７からＡ／Ｄ変換器１１８を介して減算部１１２ａに至る帰還路によってフィードバック系が形成される。減算部１１２ａは、焦点距離補正部１１１の出力する角変位データから、Ａ／Ｄ変換器１１８によってデジタル化した値（位置検出データ）を減算し、差分データを制御フィルタ１１２に出力する。制御フィルタ１１２の出力はパルス幅変調部１１３に送られ、ここでＰＷＭ（Pulse Width Modulation）信号に変換される。モータ駆動部１１４は、パルス幅変調部１１３からのＰＷＭ出力に基づいてモータ１１５を駆動し、補正光学系１１６の移動制御を行う。つまり補正光学系１１６は、撮像面への入射光の光軸を変えることで、撮像光学系１１９によって結像される光学像のぶれ、即ち撮像画像に生じるぶれを光学的に補正する。
撮像素子１２１は、撮像光学系１１９によって結像した被写体像を画像信号に変換し、信号処理部１２２に供給する。信号処理部１２２は、撮像素子１２１によって得た信号から、例えばＮＴＳＣフォーマットに準拠した映像信号を生成して不図示の表示部や記録部等に出力する。 The imaging optical system 119 performs zooming, focusing, and the like, and focuses light from the subject on the imaging element 121. The correction optical system 116 is, for example, a part of the correction lens of the imaging optical system 119, and is arranged to be movable in a direction orthogonal to the optical axis. Or the mechanism which drives the image pick-up element 121 in the direction orthogonal to an optical axis may be sufficient. The zoom encoder 120 detects the zoom position of the imaging optical system 119 and outputs it to the focal length correction unit 111 in the control unit 200. The focal length correction unit 111 receives the output signal of the zoom encoder 120, calculates the focal length of the imaging optical system 119, and calculates the driving amount of the correction optical system 116 based on the focal length and the output of the integrator 107. The output signal of the focal length correction unit 111 is sent to the control filter 112 via the subtraction unit 112a. It should be noted that the drive control unit of the correction optical system 116 is configured by the components denoted by reference numerals 112 to 115, and is fed back by a feedback path from the position detection sensor 117 of the correction optical system 116 to the subtraction unit 112a via the A / D converter 118. A system is formed. The subtraction unit 112 a subtracts the value (position detection data) digitized by the A / D converter 118 from the angular displacement data output from the focal length correction unit 111 and outputs the difference data to the control filter 112. The output of the control filter 112 is sent to a pulse width modulation unit 113 where it is converted into a PWM (Pulse Width Modulation) signal. The motor driving unit 114 drives the motor 115 based on the PWM output from the pulse width modulation unit 113 and controls the movement of the correction optical system 116. That is, the correction optical system 116 optically corrects the blurring of the optical image formed by the imaging optical system 119, that is, the blurring generated in the captured image, by changing the optical axis of the incident light on the imaging surface.
The imaging element 121 converts the subject image formed by the imaging optical system 119 into an image signal and supplies the image signal to the signal processing unit 122. The signal processing unit 122 generates a video signal based on, for example, the NTSC format from the signal obtained by the image sensor 121 and outputs the video signal to a display unit, a recording unit, or the like (not shown).

制御部２００内のセンタリング制御部１１０は、ＨＰＦ１０６の出力する角速度データ及び積分器１０７の出力する角変位データに基づいて、パンニング及びチルティングの状態について判定し、センタリング制御を行う。撮像装置１００の姿勢検出に係る判定条件は、例えば以下に示す通りである。
（１）角速度データが所定の閾値以上の場合。
（２）角速度データが所定の閾値未満であって、かつ角変位データ（積分結果）が所定の閾値以上である場合。
センタリング制御部１１０は（１）または（２）の条件を満たす場合に、装置姿勢の変更中、つまりパンニング状態またはチルティング状態と判定し、センタリング制御が行われる。このセンタリング制御とは、補正光学系１１６の位置をその駆動可能な範囲（制御範囲）の中心位置に固定すること、つまり補正レンズ位置の保持制御を意味する。但し、同様の効果が得られるのであれば、補正光学系１１６の固定位置は必ずしも制御範囲の中心でなくとも構わない。
本実施形態のセンタリング制御は、積分器１０７での積分演算に用いる時定数の値を小さくする方向に変移させることによって実行する。これにより、補正レンズ位置が徐々に制御範囲の中心位置へとセンタリングされ、積分器１０７から出力される角変位データの値が基準値（振れがない状態において角変位データが示す値）に漸近していく。一方、上記（１）または（２）の条件を満たさない場合、センタリング制御部１１０はパンニング状態又はチルティング状態でないと判定し、積分器１０７での積分演算に用いる時定数の値を大きくする方向に変移させる。これにより、積分器１０７での積分演算に用いる時定数の値が元の値に戻り、センタリング制御が解除されることになる。なお、本例では積分器１０７の時定数の値を小さくする方向に変移させることでセンタリング制御を行うが、これ以外の実施形態も可能である。例えば、ＨＰＦ１０６のカットオフ周波数を変更し、あるいは補正レンズ（シフトレンズ）の補正目標位置をセンタリング制御の目標値として強制的に設定することにより、センタリング制御を実現できる。 The centering control unit 110 in the control unit 200 determines the panning and tilting states based on the angular velocity data output from the HPF 106 and the angular displacement data output from the integrator 107, and performs centering control. The determination conditions relating to the posture detection of the imaging apparatus 100 are as follows, for example.
(1) When the angular velocity data is greater than or equal to a predetermined threshold value.
(2) The angular velocity data is less than a predetermined threshold value, and the angular displacement data (integration result) is greater than or equal to a predetermined threshold value.
When the condition (1) or (2) is satisfied, the centering control unit 110 determines that the apparatus posture is being changed, that is, the panning state or the tilting state, and the centering control is performed. This centering control means fixing the position of the correction optical system 116 at the center position of the driveable range (control range), that is, holding control of the correction lens position. However, as long as the same effect can be obtained, the fixed position of the correction optical system 116 may not necessarily be the center of the control range.
The centering control of the present embodiment is executed by shifting the value of the time constant used for the integration calculation in the integrator 107 in the direction of decreasing. As a result, the correction lens position is gradually centered to the center position of the control range, and the value of the angular displacement data output from the integrator 107 gradually approaches the reference value (the value indicated by the angular displacement data when there is no shake). To go. On the other hand, when the condition (1) or (2) is not satisfied, the centering control unit 110 determines that the panning state or the tilting state is not set, and increases the value of the time constant used for the integration calculation in the integrator 107. To change. As a result, the value of the time constant used for the integration calculation in the integrator 107 returns to the original value, and the centering control is released. In this example, the centering control is performed by shifting the value of the time constant of the integrator 107 in the direction of decreasing, but other embodiments are possible. For example, centering control can be realized by changing the cutoff frequency of the HPF 106 or forcibly setting the correction target position of the correction lens (shift lens) as a target value for centering control.

パン・チルト判定部１０９は、オフセット除去部１０５の出力する角速度データ（ＨＰＦ１０６の入力信号）、およびＨＰＦ１０６の出力する角速度データに基づいて、パンニング動作やチルティング動作の開始や終了を判定する。パン・チルト判定部１０９は、揺り戻し信号を除去するようにオフセット演算部１０８およびＨＰＦ１０６を制御するために設けられる。パン・チルト判定部１０９によってパンニング動作またはチルティング動作の開始が判定された場合、ＨＰＦ１０６のカットオフ周波数が一時的に高域側へ変移し、角速度データの低周波成分を減衰させる制御が行われる。その後、パン・チルト判定部１０９は、パンニング動作またはチルティング動作の終了と判定した場合に、初期オフセット量を算出する。初期オフセット量は、ＨＰＦ１０６の出力する角速度データ（揺り戻し信号が減衰された角速度データ）から、ＨＰＦ１０６に入力される角速度データ（揺り戻し信号が含まれる角速度データ）を減算することで求まる。さらにオフセット演算部１０８では、オフセット量をＤＣカットフィルタ１０２の減衰率に応じて減衰させるように演算する。このように、パンニング動作またはチルティング動作が終了したと判定された場合、ＨＰＦ１０６の入力信号と出力信号に基づいてＤＣカットフィルタ１０２による揺り戻し量に相当するオフセット量が算出される。ＤＣカットフィルタ１０２の減衰率に応じてオフセット量を減衰させるようにオフセット演算が行われ、角速度データからオフセット量を除去するように制御が行われる。その詳細な説明は後述する。 The pan / tilt determination unit 109 determines the start or end of the panning operation or the tilting operation based on the angular velocity data (input signal of the HPF 106) output from the offset removing unit 105 and the angular velocity data output from the HPF 106. The pan / tilt determination unit 109 is provided to control the offset calculation unit 108 and the HPF 106 so as to remove the swingback signal. When the pan / tilt determination unit 109 determines the start of the panning operation or tilting operation, the cutoff frequency of the HPF 106 is temporarily shifted to the high frequency side, and control is performed to attenuate the low frequency component of the angular velocity data. . Thereafter, the pan / tilt determination unit 109 calculates an initial offset amount when it is determined that the panning operation or the tilting operation is finished. The initial offset amount can be obtained by subtracting the angular velocity data (angular velocity data including the swingback signal) input to the HPF 106 from the angular velocity data output by the HPF 106 (angular velocity data in which the swingback signal is attenuated). Further, the offset calculation unit 108 calculates the offset amount so as to attenuate according to the attenuation factor of the DC cut filter 102. As described above, when it is determined that the panning operation or the tilting operation has been completed, an offset amount corresponding to the amount of swing back by the DC cut filter 102 is calculated based on the input signal and output signal of the HPF 106. Offset calculation is performed so as to attenuate the offset amount according to the attenuation rate of the DC cut filter 102, and control is performed so as to remove the offset amount from the angular velocity data. Detailed description thereof will be described later.

次に撮像装置１００の動作について説明する。以下に示す処理は主として、パン・チルト判定部１０９、オフセット演算部１０８及びオフセット除去部１０５が実行する。なお以下ではパンニング動作について説明するが、チルティング動作の場合にも同様の処理が行われる（以下の説明にて「パンニング」を「チルティング」に読み替えればよい）。
図２は、撮像装置１００における処理の流れを例示したフローチャートである。Ｓ２０１でパン・チルト判定部１０９は、ＨＰＦ１０６の演算に用いるカットオフ周波数を低域側に設定し、パンニング及びチルティング状態でない場合の応答特性とする。次のＳ２０２では、パンニングの制御状態を管理するために使用する内部のフラグ（以下、パンニング制御フラグという）がＯＦＦにセットされる。そしてＳ２０３ではオフセット演算部１０８が出力するオフセット量がゼロに設定されてクリアとなる。なお、Ｓ２０１乃至２０３は初期状態に一度だけ行われる処理である。
Ｓ２０４でパン・チルト判定部１０９は、パンニング制御フラグがＯＮであるか否かを判定する。フラグ値がＯＮの場合、Ｓ２０５に進み、フラグがＯＦＦの場合Ｓ２１１に進む。Ｓ２０５でパン・チルト判定部１０９は、角速度データ（オフセット除去部１０５の出力信号）を微分し、角加速度データを求める。本ステップはパンニング動作が終了したか否かを判断するために必要とされる。なおパンニング動作が終了している場合であっても角速度データには揺り戻し信号の成分が含まれるので、本例では、角加速度データを使用してカメラ本体の姿勢が安定しているか否かをパン・チルト判定部１０９が判断している。具体的にはＳ２０５にて、角加速度データが所定の閾値以内である状態が一定時間に亘って継続しているか否かが判定される。その結果、角加速度データが所定の閾値以内である状態が一定時間に亘って継続している場合、Ｓ２０６に進み、そうでない場合は、Ｓ２０４の処理に戻る。 Next, the operation of the imaging apparatus 100 will be described. The following processing is mainly executed by the pan / tilt determination unit 109, the offset calculation unit 108, and the offset removal unit 105. In the following, the panning operation will be described, but the same processing is also performed in the case of the tilting operation (in the following description, “panning” may be read as “tilting”).
FIG. 2 is a flowchart illustrating an example of a process flow in the imaging apparatus 100. In step S <b> 201, the pan / tilt determination unit 109 sets the cutoff frequency used for the calculation of the HPF 106 to the low frequency side and sets the response characteristics when the panning and tilting states are not set. In the next S202, an internal flag (hereinafter referred to as a panning control flag) used for managing the panning control state is set to OFF. In step S203, the offset amount output by the offset calculation unit 108 is set to zero and cleared. Note that S201 through S203 are processes that are performed only once in the initial state.
In step S204, the pan / tilt determination unit 109 determines whether the panning control flag is ON. When the flag value is ON, the process proceeds to S205, and when the flag value is OFF, the process proceeds to S211. In step S205, the pan / tilt determination unit 109 differentiates the angular velocity data (the output signal of the offset removal unit 105) to obtain angular acceleration data. This step is required to determine whether the panning operation has been completed. Even if the panning operation has been completed, the angular velocity data includes the component of the swingback signal.In this example, the angular acceleration data is used to determine whether the posture of the camera body is stable. The pan / tilt determination unit 109 makes the determination. Specifically, in S205, it is determined whether or not the state where the angular acceleration data is within a predetermined threshold value continues for a certain period of time. As a result, if the state where the angular acceleration data is within the predetermined threshold value continues for a certain time, the process proceeds to S206, and if not, the process returns to S204.

Ｓ２０６でパンニング制御フラグがＯＦＦにセットされる。次のＳ２０７でパン・チルト判定部１０９は、ＨＰＦ１０６の出力信号からＨＰＦ１０６の入力信号（すなわちＡ／Ｄ変換器１０４から出力される角速度データ）を減算することにより、初期オフセット量を算出する。Ｓ２０８でパン・チルト判定部１０９は、前記Ｓ２０７で求めた初期オフセット量をオフセット演算部１０８に渡し、オフセット除去部１０５はＡ／Ｄ変換器１０４の出力（揺り戻し信号の成分を含む角速度データ）から初期オフセット量を減算する。Ｓ２０９でパン・チルト判定部１０９は、初期オフセット量の値に応じてＨＰＦ１０６の演算に用いる遅延量の値を更新する。これは、Ｓ２０８にてＡ／Ｄ変換器１０４の出力する角速度データから初期オフセット量が減算されることによってＨＰＦ１０６に入力される角速度データに不連続が生じるので、これを補正するためであるが、その詳細は後述する。Ｓ２１０でパン・チルト判定部１０９は、ＨＰＦ１０６での演算に用いるカットオフ周波数を低域側に変移させ、パンニング制御フラグがＯＦＦである場合の応答特性に設定する。なお、Ｓ２０６乃至２１０の処理は、パンニング動作が終了したと判断された場合に実行される処理である。 In S206, the panning control flag is set to OFF. In step S207, the pan / tilt determination unit 109 calculates an initial offset amount by subtracting the input signal of the HPF 106 (that is, angular velocity data output from the A / D converter 104) from the output signal of the HPF 106. In step S208, the pan / tilt determination unit 109 passes the initial offset amount obtained in step S207 to the offset calculation unit 108, and the offset removal unit 105 outputs the output of the A / D converter 104 (angular velocity data including the component of the swingback signal). Subtract the initial offset amount from. In step S209, the pan / tilt determination unit 109 updates the value of the delay amount used for the calculation of the HPF 106 according to the value of the initial offset amount. This is for correcting the discontinuity in the angular velocity data input to the HPF 106 by subtracting the initial offset amount from the angular velocity data output from the A / D converter 104 in S208. Details thereof will be described later. In step S210, the pan / tilt determination unit 109 shifts the cutoff frequency used for the calculation in the HPF 106 to the low frequency side, and sets the response characteristic when the panning control flag is OFF. Note that the processes in S206 to S210 are executed when it is determined that the panning operation has been completed.

Ｓ２０４からＳ２１１に進むと、パン・チルト判定部１０９はオフセット除去部１０５の出力する角速度データが所定の閾値以上であるか否かを判定する。その結果、角速度データが所定の閾値未満の場合、Ｓ２１２に進み、角速度データが所定の閾値以上の場合、Ｓ２１４に進む。Ｓ２１２でオフセット演算部１０８は、前記Ｓ２０７で算出した初期オフセット量を、ＤＣカットフィルタ１０２の時定数に応じた減衰率で減衰させ、徐々に基準値に漸近させるように演算する。Ｓ２１３では、前記Ｓ２１２で算出したオフセット量がオフセット除去部１０５に渡される。オフセット除去部１０５はＡ／Ｄ変換器１０４の出力（揺り戻し信号の成分を含む角速度データ）からオフセット量を減算した後、Ｓ２０４に戻る。
一方、Ｓ２１１からＳ２１４に進んだ場合、パンニング制御フラグがＯＮに設定される。次のＳ２１５でオフセット演算部１０８のオフセット量がゼロに設定されてクリアとなる。Ｓ２１６でパン・チルト判定部１０９は、ＨＰＦ１０６での演算に用いるカットオフ周波数を高域側に変移させ、パンニング制御フラグがＯＮである場合の応答特性に設定する。そしてＳ２０４に戻る。 When the process proceeds from S204 to S211, the pan / tilt determination unit 109 determines whether the angular velocity data output from the offset removal unit 105 is equal to or greater than a predetermined threshold. As a result, when the angular velocity data is less than the predetermined threshold, the process proceeds to S212, and when the angular velocity data is equal to or greater than the predetermined threshold, the process proceeds to S214. In step S212, the offset calculation unit 108 calculates the initial offset amount calculated in step S207 to be attenuated with an attenuation rate corresponding to the time constant of the DC cut filter 102 and gradually approach the reference value. In S213, the offset amount calculated in S212 is passed to the offset removing unit 105. The offset removal unit 105 subtracts the offset amount from the output of the A / D converter 104 (angular velocity data including the component of the swingback signal), and then returns to S204.
On the other hand, when the process proceeds from S211 to S214, the panning control flag is set to ON. In the next step S215, the offset amount of the offset calculation unit 108 is set to zero and cleared. In S216, the pan / tilt determination unit 109 shifts the cutoff frequency used for the calculation in the HPF 106 to the high frequency side, and sets the response characteristic when the panning control flag is ON. Then, the process returns to S204.

次に図３を用いて、本実施形態に係る撮像装置の有効性について説明する。図３は撮影者が撮像装置１００のパンニングを行ったときに、図２のフローチャートに示した処理が実行された場合の波形例を示す。図３（ａ）乃至（ｆ）は以下の通りである。
・図３（ａ）：撮影者がパンニングを行ったときの角速度センサ１０１の出力信号について時間的変化を例示したグラフ。
・図３（ｂ）：パンニング動作時にＤＣカットフィルタ１０２を経た角速度データについて時間的変化を例示したグラフ。「Ｐａｎ＿ｔｈ１」はパンニング制御の移行判定に用いる閾値を示す。「Ｇｙｒｏ＿ｏｕｔ１」は時刻Ｔ４でのＡ／Ｄ変換器１０４から出力される角速度データの値を示す。
・図３（ｃ）：パンニング動作時にＡ／Ｄ変換器１０４の出力を微分して求めた角加速度データについて時間的変化を例示したグラフ。「ＰａｎＥｎｄ＿ｔｈ１」及び「−ＰａｎＥｎｄ＿ｔｈ１」は動作終了の判定に用いる閾値を示す。
・図３（ｄ）：パンニング動作時にパン・チルト判定部１０９によって設定されるＨＰＦ１０６のカットオフ周波数について時間的変化を例示したグラフ。「ＨＰＦ＿ｆｃ１」は高域側に変移したＨＰＦ１０６のカットオフ周波数を示す。
・図３（ｅ）：パンニング動作時にオフセット演算部１０８が出力するオフセット量について時間的変化を例示したグラフ。「Ｏｆｆｓｅｔ１」は初期オフセット量（時刻Ｔ４でのオフセット量）を示す。
・図３（ｆ）：パンニング動作時にＨＰＦ１０６が出力する角速度データについて時間的変化を例示したグラフ。「ＨＰＦ＿ｏｕｔ１」は時刻Ｔ４でのＨＰＦ１０６が出力する角速度データの値を示す。
図３に示す時刻Ｔ１乃至５の意味は下記の通りである。
・Ｔ１：パンニング動作の開始時刻。
・Ｔ２：図３（ｂ）にて角速度データの値がＰａｎ＿ｔｈ１に到達した時刻。
・Ｔ３：実際のパンニング動作の終了時刻。
・Ｔ４：パンニング動作が終了したと判断される時刻。
・Ｔ５：パンニング動作の終了時点から所定時間が経過し、図３（ｅ）に示すオフセット量が漸近してほぼゼロとなった時刻。 Next, the effectiveness of the imaging apparatus according to the present embodiment will be described with reference to FIG. FIG. 3 shows a waveform example when the processing shown in the flowchart of FIG. 2 is executed when the photographer pans the imaging apparatus 100. 3A to 3F are as follows.
FIG. 3A: a graph illustrating temporal changes in the output signal of the angular velocity sensor 101 when the photographer pans.
FIG. 3B is a graph illustrating the temporal change of the angular velocity data that has passed through the DC cut filter 102 during the panning operation. “Pan_th1” indicates a threshold value used for determination of panning control transition. “Gyro_out1” indicates the value of angular velocity data output from the A / D converter 104 at time T4.
FIG. 3C is a graph illustrating temporal changes in the angular acceleration data obtained by differentiating the output of the A / D converter 104 during the panning operation. “PanEnd_th1” and “−PanEnd_th1” indicate threshold values used for determining the end of the operation.
FIG. 3D is a graph illustrating a temporal change in the cut-off frequency of the HPF 106 set by the pan / tilt determination unit 109 during the panning operation. “HPF_fc1” indicates the cutoff frequency of the HPF 106 shifted to the high frequency side.
FIG. 3E is a graph illustrating a temporal change in the offset amount output by the offset calculation unit 108 during the panning operation. “Offset1” indicates an initial offset amount (offset amount at time T4).
FIG. 3F: a graph exemplifying a temporal change in the angular velocity data output from the HPF 106 during the panning operation. “HPF_out1” indicates the value of angular velocity data output by the HPF 106 at time T4.
Meanings of times T1 to T5 shown in FIG. 3 are as follows.
T1: Start time of panning operation.
T2: Time at which the value of the angular velocity data reaches Pan_th1 in FIG.
T3: The actual panning operation end time.
T4: Time when it is determined that the panning operation has been completed.
T5: Time when a predetermined time has elapsed from the end of the panning operation and the offset amount shown in FIG.

時刻Ｔ１からＴ３にかけて撮影者が一方向にパンニングを行った場合、角速度は図３（ａ）に示すように一方向に大きく振れる。そして、パンニング動作が終了すると角速度センサの出力は基準値付近に戻り、時刻Ｔ３乃至Ｔ５においては手振れを示す小刻みな信号のみが出力される。図３（ｂ）に示す角速度データについては、角速度センサ１０１の出力信号がＤＣカットフィルタ１０２（ハイパスフィルタ）を経ているので、低周波成分が減衰している。つまり、時刻Ｔ１乃至Ｔ３の区間では角速度データが徐々に減衰する。そのため、パンニング動作の終了時刻Ｔ３では、角速度データの値がマイナス側に振れる現象が発生する。その後、時刻Ｔ３からＴ５にかけて角速度データはＤＣカットフィルタ１０２の時定数に応じて基準値に漸近していく波形となる。このように、角速度センサ１０１の出力信号をＤＣカットフィルタ１０２に通過させると、パンニングやチルティングの動作終了後に撮像装置１００の揺れを示す方向とは逆方向の信号が出力される。本実施形態では、このような逆方向への信号を揺り戻し信号と呼ぶ。この揺り戻し信号を含む角速度データに基づいて画像の振れ補正を行うと、撮影者の意図に反して画像が動いてしまうという不都合が生じるおそれがある。 When the photographer pans in one direction from time T1 to T3, the angular velocity greatly fluctuates in one direction as shown in FIG. When the panning operation ends, the output of the angular velocity sensor returns to the vicinity of the reference value, and only a small signal indicating camera shake is output from time T3 to T5. With respect to the angular velocity data shown in FIG. 3B, since the output signal of the angular velocity sensor 101 passes through the DC cut filter 102 (high-pass filter), the low frequency component is attenuated. That is, the angular velocity data gradually attenuates during the period from time T1 to T3. Therefore, at the end time T3 of the panning operation, a phenomenon occurs in which the value of the angular velocity data is shifted to the minus side. Thereafter, the angular velocity data has a waveform that gradually approaches the reference value according to the time constant of the DC cut filter 102 from time T3 to time T5. As described above, when the output signal of the angular velocity sensor 101 is passed through the DC cut filter 102, a signal in a direction opposite to the direction indicating the shaking of the imaging device 100 is output after the panning or tilting operations are completed. In the present embodiment, such a signal in the reverse direction is referred to as a swing back signal. If image shake correction is performed based on the angular velocity data including the return signal, there is a risk that the image may move against the photographer's intention.

従来技術として、パンニング動作の終了を検出してから所定時間をかけてデジタルＨＰＦのカットオフ周波数を下げることで、揺り戻し信号を取り除く方法が提案されている。しかしながら、ＨＰＦのカットオフ周波数を上げている間、本来振れ補正の対象としている手振れによる角速度データの低周波数成分が減衰されてしまう。このため、手振れ補正性能が劣化し、根本的な問題の解決には至らなかった。
そこで、本発明の実施形態に係る撮像装置では、パンニングまたはチルティングの動作が終了したと判定した時点においてＨＰＦ１０６から出力される角速度データからＨＰＦ１０６に入力される角速度データを減算した値を揺り戻し量として算出する。この揺り戻し量を角速度データから差し引くことで揺り戻し信号の成分を含まない角速度データが得られる。以下、その方法について説明する。
図３（ｂ）のグラフにて、パンニング制御に移行する閾値が「Ｐａｎ＿ｔｈ１」として設定されており、角速度データの値が時刻Ｔ２でこの閾値に到達する。角速度データの値がＰａｎ＿ｔｈ１を超えた場合、パンニング状態であるという判定がなされ、パンニング制御に移行する（パンニング制御フラグＯＮ）。パン・チルト判定部１０９は、図３（ｄ）に「ＨＰＦ＿ｆｃ１」で示すように、ＨＰＦ１０６のカットオフ周波数を一時的に高域側へ変移させる。 As a conventional technique, there has been proposed a method of removing the swingback signal by lowering the cutoff frequency of the digital HPF over a predetermined time after detecting the end of the panning operation. However, while the cutoff frequency of the HPF is raised, the low frequency component of the angular velocity data due to camera shake that is originally subject to shake correction is attenuated. For this reason, the camera shake correction performance is deteriorated, and the fundamental problem cannot be solved.
Therefore, in the imaging apparatus according to the embodiment of the present invention, the amount of shakeback is obtained by subtracting the angular velocity data input to the HPF 106 from the angular velocity data output from the HPF 106 when it is determined that the panning or tilting operation has ended. Calculate as By subtracting the amount of swingback from the angular velocity data, angular velocity data not including the component of the swingback signal is obtained. The method will be described below.
In the graph of FIG. 3B, the threshold value for shifting to panning control is set as “Pan_th1”, and the value of the angular velocity data reaches this threshold value at time T2. When the value of the angular velocity data exceeds Pan_th1, it is determined that the panning state is set, and the panning control is performed (panning control flag ON). The pan / tilt determination unit 109 temporarily changes the cutoff frequency of the HPF 106 to the high frequency side as indicated by “HPF_fc1” in FIG.

次にパンニング動作の終了時点の検出について説明する。図３（ｂ）のグラフに示す角速度データには、ＤＣカットフィルタ１０２によって発生する揺り戻し信号の成分が含まれているため、そのままではパンニング動作の終了を正しく判断することが困難である。そこで、本実施形態では、角速度データを微分して角加速度データを求め、それに基づいてパンニング動作の終了判定を行っている。図２のＳ２０５で角加速度データの判定に用いる閾値は、図３（ｃ）のグラフに示すように「ＰａｎＥｎｄ＿ｔｈ１」及び「−ＰａｎＥｎｄ＿ｔｈ１」として設定されている。実際にパンニング動作が終了した時刻Ｔ３から、角加速度データは「−ＰａｎＥｎｄ＿ｔｈ１」と「ＰａｎＥｎｄ＿ｔｈ１」との間に示す範囲内に収束していく。角加速度データが当該範囲内に収まっている状態が所定時間に亘って継続すると、パンニング動作が終了したと判断され、そのときの時刻がＴ４である。なお、ＰａｎＥｎｄ＿ｔｈ１の値は手振れによって発生する角加速度に対して十分大きい値が設定される。
時刻Ｔ４でパンニング動作が終了したと判断された場合、図２のＳ２０７で説明したように初期オフセット量が算出される。図３（ｂ）にて時刻Ｔ４での角速度データを「Ｇｙｒｏ＿ｏｕｔ１」と記し、図３（ｆ）にて時刻Ｔ４での角速度データを「ＨＰＦ＿ｏｕｔ１」と記すとき、初期オフセット量「Ｏｆｆｓｅｔ１」は次式（１）から算出される。

Next, detection of the end point of the panning operation will be described. Since the angular velocity data shown in the graph of FIG. 3B includes the component of the swingback signal generated by the DC cut filter 102, it is difficult to correctly determine the end of the panning operation as it is. Therefore, in this embodiment, the angular velocity data is differentiated to obtain angular acceleration data, and the end of the panning operation is determined based on the angular acceleration data. The threshold values used for the determination of the angular acceleration data in S205 of FIG. 2 are set as “PanEnd_th1” and “−PanEnd_th1” as shown in the graph of FIG. From the time T3 when the panning operation is actually finished, the angular acceleration data converges within a range indicated between “−PanEnd_th1” and “PanEnd_th1”. When the state in which the angular acceleration data is within the range continues for a predetermined time, it is determined that the panning operation is completed, and the time at that time is T4. It should be noted that the value of PanEnd_th1 is set to a value that is sufficiently large with respect to the angular acceleration that occurs due to camera shake.
When it is determined that the panning operation is completed at time T4, the initial offset amount is calculated as described in S207 of FIG. When the angular velocity data at time T4 is denoted as “Gyro_out1” in FIG. 3B and the angular velocity data at time T4 is denoted as “HPF_out1” in FIG. 3F, the initial offset amount “Offset1” is Calculated from (1).

前述したように、時刻Ｔ２でパンニング制御に移行すると、ＨＰＦ１０６のカットオフ周波数が高域側に設定される（図３（ｄ）のＨＰＦ＿ｆｃ１参照）。よって、ＨＰＦ１０６は、図３（ｆ）の時刻Ｔ２乃至４に示すように、低周波成分が減衰された角速度データを出力する。つまり時刻Ｔ４においては、ＤＣカットフィルタ１０２の影響によって発生するマイナス側への振れ量が除去され、負のＤＣ成分をもたない値が角速度データとして出力される。このように上述の演算によれば、角速度センサ１０１の出力信号がＤＣカットフィルタ１０２を経ることで発生する揺り戻し量を求め、これを角速度データから除去することが可能である。
また、時刻Ｔ４付近でＤＣカットフィルタ１０２の出力する角速度データには、揺り戻し信号の他に手振れを示す信号が含まれているため、時間経過に伴って角速度が変化する。しかし、手振れの周波数成分はＨＰＦ１０６のカットオフ周波数に比べて高い周波数をもつので、ＨＰＦ１０６をそのまま通過する。つまりＨＰＦ１０６が出力する角速度データにも同様に手振れを示す信号成分が含まれる。したがって、ＨＰＦ＿ｏｕｔ１からＧｙｒｏ＿ｏｕｔ１を減算することで、時刻Ｔ４付近においても手振れの影響を受けることなく、揺り戻し量に相当するオフセット量を正しく算出できる。 As described above, when shifting to panning control at time T2, the cutoff frequency of the HPF 106 is set to the high frequency side (see HPF_fc1 in FIG. 3D). Therefore, the HPF 106 outputs angular velocity data in which the low frequency component is attenuated as shown at times T2 to T4 in FIG. In other words, at time T4, the amount of negative deflection caused by the influence of the DC cut filter 102 is removed, and a value having no negative DC component is output as angular velocity data. As described above, according to the above-described calculation, it is possible to obtain the amount of swingback that occurs when the output signal of the angular velocity sensor 101 passes through the DC cut filter 102, and remove this from the angular velocity data.
Further, the angular velocity data output from the DC cut filter 102 near the time T4 includes a signal indicating camera shake in addition to the shakeback signal, so that the angular velocity changes with time. However, since the frequency component of camera shake has a higher frequency than the cutoff frequency of the HPF 106, it passes through the HPF 106 as it is. That is, the angular velocity data output from the HPF 106 also includes a signal component indicating camera shake. Therefore, by subtracting Gyro_out1 from HPF_out1, the offset amount corresponding to the amount of shakeback can be correctly calculated without being affected by camera shake in the vicinity of time T4.

図２のＳ２１１からＳ２１２に進む処理は、パンニング動作が終了したと判定された時刻Ｔ４からＴ５にかけて実行される処理に相当する。図３（ｅ）に示すように、時刻Ｔ４にて算出された初期オフセット量がＯｆｆｓｅｔ１であり、時刻Ｔ４からＴ５にかけてＤＣカットフィルタ１０２の減衰率に応じてデータ値が減衰するように演算が行われる。なお、図３（ｅ）に示すように、オフセット量は時刻Ｔ４においてゼロからＯｆｆｓｅｔ１へと不連続に変化しているが、この不連続な信号をそのままＨＰＦ１０６に入力すると、出力される角速度データに不連続が生じてしまう。そこで、本実施形態では、時刻Ｔ４で初期オフセット量を角速度データから減算すると同時に、ＨＰＦ１０６の演算に用いる遅延素子の値を更新してＨＰＦ１０６の出力が不連続にならないように制御を行っている。 The process that proceeds from S211 to S212 in FIG. 2 corresponds to a process that is executed from time T4 to T5 when it is determined that the panning operation is completed. As shown in FIG. 3 (e), the initial offset amount calculated at time T4 is Offset1, and the calculation is performed so that the data value is attenuated according to the attenuation rate of the DC cut filter 102 from time T4 to T5. Is called. As shown in FIG. 3 (e), the offset amount discontinuously changes from zero to Offset1 at time T4. However, if this discontinuous signal is input to the HPF 106 as it is, the output angular velocity data is converted into the output angular velocity data. Discontinuity will occur. Therefore, in the present embodiment, at the time T4, the initial offset amount is subtracted from the angular velocity data, and at the same time, the delay element value used for the calculation of the HPF 106 is updated so that the output of the HPF 106 is not discontinuous.

ＨＰＦ１０６の構成例を図４に示す。本例では入力信号及びゲイン要素４０１の出力信号が減算要素に送られて減算され、減算後の出力信号と遅延素子４０２（「Ｚ^-1」参照）を経た信号が加算要素にて加算される。加算結果は遅延素子４０２を介してゲイン要素４０１に送られる。なおデジタルハイパスフィルタの詳細な動作については既知であるため説明は省略する。時刻Ｔ４におけるＨＰＦ１０６の遅延素子４０２の値を「ＨＰＦ＿ｂｕｆ１」と記し、ゲイン要素４０１の倍率を「Ｋ１」と記すとき、更新後の遅延素子４０２の値「ＨＰＦ＿ｂｕｆ２」は次式（２）のように求められる。

A configuration example of the HPF 106 is shown in FIG. In this example, the input signal and the output signal of the gain element 401 are sent to the subtraction element and subtracted, and the output signal after the subtraction and the signal that has passed through the delay element 402 (see “Z ⁻¹ ”) are added by the addition element. . The addition result is sent to the gain element 401 via the delay element 402. Since the detailed operation of the digital high-pass filter is known, description thereof is omitted. When the value of the delay element 402 of the HPF 106 at time T4 is denoted as “HPF_buf1” and the magnification of the gain element 401 is denoted as “K1”, the updated value “HPF_buf2” of the delay element 402 is expressed by the following equation (2). Desired.

このように、角速度データから初期オフセット量を減算すると同時に、ＨＰＦ１０６の遅延素子４０２の値を上式（２）に従って更新することによって、ＨＰＦ１０６から出力される角速度データが不連続とならないように制御できる。
以上説明したように本実施形態では、Ａ／Ｄ変換器１０４の出力する角速度データから、オフセット演算部１０８の出力するオフセット量（図３（ｅ）参照）がオフセット除去部１０５によって差し引かれてＨＰＦ１０６に入力される。よって、ＨＰＦ１０６の出力する角速度データは、図３（ｆ）のグラフに示すように、揺り戻し信号の成分が除去された角速度データとなる。また時刻Ｔ４乃至Ｔ５では、オフセット除去部１０５によって揺り戻し信号の成分が除去されるので、ＨＰＦ１０６のカットオフ周波数を低域側に変移させることができ、パンニングやチルティングの動作後でも手振れ補正性能が劣化することはない。
なお、本実施形態として撮像装置１００への適用例を説明したが、振れ補正装置を備えた各種光学機器、例えば一眼レフ用の撮影レンズなどに幅広く適用できる。 As described above, by subtracting the initial offset amount from the angular velocity data and simultaneously updating the value of the delay element 402 of the HPF 106 according to the above equation (2), the angular velocity data output from the HPF 106 can be controlled so as not to be discontinuous. .
As described above, in this embodiment, the offset amount output from the offset calculation unit 108 (see FIG. 3E) is subtracted from the angular velocity data output from the A / D converter 104 by the offset removal unit 105, and the HPF 106. Is input. Therefore, the angular velocity data output from the HPF 106 is angular velocity data from which the component of the swingback signal is removed, as shown in the graph of FIG. In addition, from time T4 to T5, since the component of the shakeback signal is removed by the offset removing unit 105, the cutoff frequency of the HPF 106 can be shifted to the low frequency side, and the camera shake correction performance can be achieved even after panning or tilting operations. Will not deteriorate.
In addition, although the application example to the imaging device 100 was demonstrated as this embodiment, it can apply widely to various optical equipment provided with the shake correction apparatus, for example, the imaging lens for single-lens reflex cameras.

［第２実施形態］
次に本発明の第２実施形態を説明する。第２実施形態では角速度センサを用いて撮像装置本体に加わる揺れを検出するとともに、複数の画像間における動きベクトルによって画像振れを検出する構成を有する。
図５は第２実施形態に係る撮像装置１０００の構成例を示す。なお、図５において図１に示す第１実施形態と同様の構成部分については既に使用した符号と同一の符号を付すことにより、それらの詳細な説明を省略する。第１実施形態との相違点は、動きベクトル検出部１２３及び動きベクトル処理部１２４である。動きベクトル検出部１２３は信号処理部１２２からの画像信号を受けて、画像から得られた動きベクトルに基づいて連続的な画像の移動量を求める。動きベクトルの検出結果は動きベクトル処理部１２４に送られ、画像の移動量に基づいてパンニングまたはチルティングの動作終了が判定される。 [Second Embodiment]
Next, a second embodiment of the present invention will be described. In the second embodiment, an angular velocity sensor is used to detect a shake applied to the imaging apparatus main body, and an image shake is detected based on a motion vector between a plurality of images.
FIG. 5 shows a configuration example of an imaging apparatus 1000 according to the second embodiment. In FIG. 5, the same components as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals as those already used, and detailed description thereof is omitted. The difference from the first embodiment is a motion vector detection unit 123 and a motion vector processing unit 124. The motion vector detection unit 123 receives the image signal from the signal processing unit 122 and obtains a continuous image movement amount based on the motion vector obtained from the image. The detection result of the motion vector is sent to the motion vector processing unit 124, and the end of the panning or tilting operation is determined based on the moving amount of the image.

以下、動きベクトル検出部１２３及び動きベクトル処理部１２４の具体的な動作を説明する。動きベクトル検出部１２３は、信号処理部１２２からの映像信号に含まれる輝度信号に基づき、動きベクトルを検出する。動きベクトル検出法には、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出部１２３での検出に採用するものとする。このブロックマッチング法では、まず入力画像信号を複数の適当な大きさのブロック（例えば、８×８画素）に分割する。そして現フィールド又は現フレームについて、ブロック単位で前フィールド又は前フレームにおける一定範囲の画素との間で差が計算される。そして、この差の絶対値の和が最小となる前フィールド又は前フレームのブロックが検索され、当該ブロックの相対的なズレがそのブロックの動きベクトルとして検出される。尚、ブロックマッチング法でのマッチング演算については既知であるため、詳細な説明は省略する。 Hereinafter, specific operations of the motion vector detection unit 123 and the motion vector processing unit 124 will be described. The motion vector detection unit 123 detects a motion vector based on the luminance signal included in the video signal from the signal processing unit 122. Examples of the motion vector detection method include a correlation method and a block matching method. Here, as an example, the block matching method is adopted for detection by the motion vector detection unit 123. In this block matching method, first, an input image signal is divided into a plurality of blocks having an appropriate size (for example, 8 × 8 pixels). Then, for the current field or current frame, a difference is calculated between a certain range of pixels in the previous field or previous frame in units of blocks. Then, the block of the previous field or the previous frame that minimizes the sum of the absolute values of the differences is searched, and the relative shift of the block is detected as the motion vector of the block. Since the matching operation by the block matching method is already known, detailed description is omitted.

図６は動きベクトル検出部１２３の構成例を示す。フィルタ６０１は、画像信号の高空間周波数成分等を除去するために設けられ、信号処理部１２２から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。２値化部６０２は、フィルタ６０１が出力した画像信号を所定のレベルと比較し、該レベルを境として２値化処理を行う。２値化した信号は相関演算部６０３及び記憶部６０６に各々供給される。記憶部６０６は２値化部６０２での前回のサンプルデータを記憶し、２値化部６０２からの画像信号を、１フィールド期間だけ遅延させて相関演算部６０３に供給する。相関演算部６０３は２値化部６０２及び記憶部６０６の各出力の相関演算を行う。即ち、相関演算部６０３には、２値化部６０２からの画像信号（現フィールドの画像信号）と、記憶部６０６からの画像信号（前フィールドの画像信号）が供給される。そして相関演算部６０３は、上述したブロックマッチング法に従って、ブロック単位で現フィールドと前フィールドの相関演算を行い、その演算結果である相関値を動きベクトル検出処理部６０４に供給する。動きベクトル検出処理部６０４は相関演算部６０３からの相関値に基づいてブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックが探索され、その相対的なズレが動きベクトルとして検出される。動きベクトル決定部６０５は動きベクトル検出処理部６０４からのブロック単位の動きベクトルに基づいて全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値が全体の動きベクトルとして決定される。そして、動きベクトル決定部６０５の出力が、制御部２０００内の動きベクトル処理部１２４に供給される。
上述の構成により、動きベクトル検出部１２３は、画素単位での垂直方向及び水平方向における各移動量（即ち、動きベクトル）を求める。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像画像の振れ残りを示すものである。換言すれば、角速度センサ１０１に基づく振れ補正に誤差がない場合には、撮像画像上の動きベクトルは検出されないことになる。 FIG. 6 shows a configuration example of the motion vector detection unit 123. The filter 601 is provided to remove a high spatial frequency component or the like of the image signal, and extracts and outputs a spatial frequency component useful for motion vector detection from the video signal supplied from the signal processing unit 122. The binarization unit 602 compares the image signal output from the filter 601 with a predetermined level, and performs binarization processing using the level as a boundary. The binarized signals are supplied to the correlation calculation unit 603 and the storage unit 606, respectively. The storage unit 606 stores the previous sample data from the binarization unit 602, and supplies the image signal from the binarization unit 602 to the correlation calculation unit 603 with a delay of one field period. A correlation calculation unit 603 performs correlation calculation of each output of the binarization unit 602 and the storage unit 606. That is, the correlation calculation unit 603 is supplied with the image signal from the binarization unit 602 (the current field image signal) and the image signal from the storage unit 606 (the previous field image signal). Then, the correlation calculation unit 603 performs a correlation calculation between the current field and the previous field in units of blocks according to the block matching method described above, and supplies a correlation value that is the calculation result to the motion vector detection processing unit 604. The motion vector detection processing unit 604 detects a motion vector in units of blocks based on the correlation value from the correlation calculation unit 603. That is, the block of the previous field having the smallest correlation value is searched, and the relative deviation is detected as a motion vector. The motion vector determination unit 605 determines the entire motion vector based on the block-based motion vector from the motion vector detection processing unit 604. For example, the median value or average value of motion vectors in units of blocks is determined as the entire motion vector. Then, the output of the motion vector determination unit 605 is supplied to the motion vector processing unit 124 in the control unit 2000.
With the above-described configuration, the motion vector detection unit 123 obtains each movement amount (that is, a motion vector) in the vertical direction and the horizontal direction in units of pixels. This motion vector indicates the amount of movement per unit time of consecutive captured images, that is, the remaining shake of the captured images. In other words, when there is no error in shake correction based on the angular velocity sensor 101, a motion vector on the captured image is not detected.

再び図５に戻って、動きベクトル処理部１２４を説明する。該処理部は、動きベクトル検出部１２３から出力された動きベクトルのデータに対し、所定の係数を掛けることで角変位に正規化する。つまり、角速度センサ１０１から出力される角速度データとの対応が取れるように、ベクトル角変位データが求められる。動きベクトル処理部１２４が出力するベクトル角変位データは、パン・チルト判定部１０９に供給され、パンニングまたはチルティングの動作終了を判断するためのデータとして用いられる。
パン・チルト判定部１０９は、動きベクトル処理部１２４が出力するベクトル角変位データを用いてパンニングまたはチルティングの動作終了を判定する。これが第１実施形態との相違点である。つまり、図２のフローチャートに示すＳ２０５にて角加速度データではなく、ベクトル角変位データを用いて、パンニング動作が終了したか否かの判定処理が行われる。 Returning to FIG. 5 again, the motion vector processing unit 124 will be described. The processing unit normalizes the motion vector data output from the motion vector detection unit 123 to angular displacement by multiplying the data by a predetermined coefficient. That is, vector angular displacement data is obtained so as to correspond to the angular velocity data output from the angular velocity sensor 101. The vector angular displacement data output from the motion vector processing unit 124 is supplied to the pan / tilt determination unit 109 and used as data for determining the end of the panning or tilting operation.
The pan / tilt determination unit 109 determines the end of the panning or tilting operation using the vector angular displacement data output from the motion vector processing unit 124. This is the difference from the first embodiment. That is, in S205 shown in the flowchart of FIG. 2, the determination process of whether or not the panning operation is completed is performed using the vector angular displacement data instead of the angular acceleration data.

図７は、撮影者が撮像装置１００のパンニングを行った場合の波形例を示す。なお、図３との相違点は、図７（ｃ）が角変位データ（上記ベクトル角変位データ）の時間的変化を示すことであり、図７（ａ）、（ｂ）、（ｄ）乃至（ｆ）の波形は図３にてそれぞれ対応する波形と同様である。よって、以下では主に相違点を説明する。
時刻Ｔ２でパンニング動作の開始が判断されると、ＨＰＦ１０６の演算に用いるカットオフ周波数が高域側に変移するので、振れ補正の対象から低周波成分が除去される。これによって補正光学系１１６によって補正されなかった低周波成分の画像の動きが、動きベクトル検出部１２３によって動きベクトルとして検出され、動きベクトル処理部１２４は角変位データを出力し始める。そして、時刻Ｔ３でパンニング動作が終了すると、画像の動きが小さくなり、動きベクトル処理部１２４が出力する角変位データがゼロに近い値となる。図７（ｃ）に示す「ＰａｎＥｎｄ＿ｔｈ２」及び「−ＰａｎＥｎｄ＿ｔｈ２」は、図２のＳ２０５において、ベクトル角変位データを用いたパンニング動作の終了判定処理で使用する閾値に相当する。実際にパンニング動作が終了した時刻Ｔ３付近から、角変位データは「−ＰａｎＥｎｄ＿ｔｈ２」と「ＰａｎＥｎｄ＿ｔｈ２」の間の範囲内に収束していく。角変位データが当該範囲内に収まっている状態が所定の判定基準時間以上に亘って継続した場合、パンニング動作が終了したと判断され、図２のＳ２０７で説明したように初期オフセット量が算出される。
ベクトル角変位データを用いてパンニング動作の終了を判断する場合においても、第１実施形態の場合と同等の効果を得ることが出来る。なお、チルティング動作についても上記と同様の処理が行われることは勿論である。
以上のように本発明の各実施形態では、パンニングまたはチルティングの動作が終了したと判断した場合に、ＨＰＦの出力値と入力値の差に応じて揺り戻し量に相当するオフセット量を算出する。これを振れ検出信号から減算することで揺り戻し信号の成分が除去される。よって、パンニングまたはチルティングの動作後における振れ補正効果を向上させた撮像装置が提供可能となる。 FIG. 7 shows a waveform example when the photographer pans the imaging apparatus 100. The difference from FIG. 3 is that FIG. 7C shows the temporal change of the angular displacement data (the vector angular displacement data), and FIGS. 7A, 7B, 7D to 7D. The waveform of (f) is the same as the corresponding waveform in FIG. Therefore, the differences will be mainly described below.
When the start of the panning operation is determined at time T2, the cut-off frequency used for the calculation of the HPF 106 is shifted to the high frequency side, so that the low frequency component is removed from the shake correction target. Accordingly, the motion of the low-frequency component image that has not been corrected by the correction optical system 116 is detected as a motion vector by the motion vector detection unit 123, and the motion vector processing unit 124 starts to output angular displacement data. When the panning operation ends at time T3, the motion of the image becomes small, and the angular displacement data output from the motion vector processing unit 124 becomes a value close to zero. “PanEnd_th2” and “−PanEnd_th2” illustrated in FIG. 7C correspond to threshold values used in the end determination process of the panning operation using the vector angular displacement data in S205 of FIG. The angular displacement data converges within a range between “−PanEnd_th2” and “PanEnd_th2” from around time T3 when the panning operation is actually finished. When the state where the angular displacement data is within the range continues for a predetermined determination reference time or longer, it is determined that the panning operation has ended, and the initial offset amount is calculated as described in S207 of FIG. The
Even in the case where the end of the panning operation is determined using the vector angular displacement data, the same effect as in the first embodiment can be obtained. Of course, the same processing as described above is performed for the tilting operation.
As described above, in each embodiment of the present invention, when it is determined that the panning or tilting operation is completed, an offset amount corresponding to the amount of swingback is calculated according to the difference between the output value of the HPF and the input value. . By subtracting this from the shake detection signal, the component of the swingback signal is removed. Therefore, it is possible to provide an imaging apparatus that improves the shake correction effect after the panning or tilting operation.

［その他の実施形態］
図２のＳ２０９で説明した、ＨＰＦ１０６の遅延の更新動作については、例えば、ＨＰＦ１０６より前に第２のオフセット除去部を設けることにより、オフセット除去部１０５における初期オフセット量の減算による不連続を相殺することができる。
また、図２のＳ２０５における動作終了の判断処理では、角加速度データまたはベクトル角変位データを用いたが、これに限定されるものではない。例えば角速度データを平均化したデータ、あるいはＬＰＦ（ローパスフィルタ）を通過させて高周波成分を除去したデータを用いることができる。また、複数の判定処理を併用してもよい。
前記実施形態では、ＨＰＦの一例として１次ＩＩＲ（Infinite Impulse Response）フィルタを説明したが、これに限らず、２次以上のＩＩＲフィルタ等を用いてもよい。また振れ補正手段として、補正光学系１１６（例えばシフトレンズ）を説明したが、例えば、可変頂角プリズム（ＶＡＰ）や、撮像素子を光軸に垂直な方向に駆動する手段を講じてもよい。
本発明の第２実施形態は撮像装置に限らず、振れ補正装置を備えた光学機器、例えば一眼レフ用の撮影レンズなどに適用可能である。その場合、撮像素子１２１、信号処理部１２２、動きベクトル検出部１２３、動きベクトル処理部１２４はカメラ本体側に設けられ、他の構成部はレンズ（光学機器）側に設けられる。 [Other Embodiments]
For the delay update operation of the HPF 106 described in S209 of FIG. 2, for example, by providing a second offset removal unit before the HPF 106, the discontinuity due to subtraction of the initial offset amount in the offset removal unit 105 is canceled. be able to.
Further, although the angular acceleration data or the vector angular displacement data is used in the operation end determination process in S205 of FIG. 2, the present invention is not limited to this. For example, data obtained by averaging angular velocity data or data obtained by removing a high frequency component by passing through an LPF (low pass filter) can be used. A plurality of determination processes may be used in combination.
In the above embodiment, a first-order IIR (Infinite Impulse Response) filter has been described as an example of an HPF. However, the present invention is not limited to this, and a second-order or higher-order IIR filter or the like may be used. Further, although the correction optical system 116 (for example, a shift lens) has been described as the shake correction unit, for example, a variable apex angle prism (VAP) or a unit for driving the image sensor in a direction perpendicular to the optical axis may be provided.
The second embodiment of the present invention is not limited to an imaging apparatus, but can be applied to an optical apparatus including a shake correction apparatus, such as a single lens reflex photographing lens. In that case, the image sensor 121, the signal processing unit 122, the motion vector detection unit 123, and the motion vector processing unit 124 are provided on the camera body side, and the other components are provided on the lens (optical device) side.

１００，１０００撮像装置
１０１角速度センサ（振れ検出手段）
１０２ＤＣカットフィルタ（第１のフィルタ手段）
１０５オフセット除去部
１０６ＨＰＦ（第２のフィルタ手段）
１０７積分器
１０８オフセット演算部
１０９パン・チルト判定部
１１０センタリング制御部
１１６補正光学系
１１９撮像光学系
１２３動きベクトル検出部
２００，２０００制御部
４０２遅延素子 100, 1000 Imaging device 101 Angular velocity sensor (vibration detecting means)
102 DC cut filter (first filter means)
105 Offset removal unit 106 HPF (second filter means)
DESCRIPTION OF SYMBOLS 107 Integrator 108 Offset calculating part 109 Pan / tilt determination part 110 Centering control part 116 Correction | amendment optical system 119 Imaging optical system 123 Motion vector detection part 200,2000 Control part 402 Delay element

Claims

An optical device having a function of detecting shake and optically correcting image blur,
Shake detection means for detecting shake applied to the optical device;
First filter means for removing a direct current component from the output signal of the shake detection means;
Control means for calculating a shake correction amount by removing low frequency components from the output signal of the first filter means by the second filter means;
Correcting means for correcting image shake based on the shake correction amount,
The control means calculates a difference between the input value and the output value of the second filter means and subtracts it from the output signal of the first filter means when the operation of changing the attitude of the optical device is completed. An optical apparatus characterized by that.

The control means includes
Determination means for determining an operation of changing the posture of the optical device;
When the determination unit determines that the operation of changing the attitude of the optical device is completed, the difference is an offset amount from a reference value output by the shake detection unit in a state in which no shake is applied to the optical device. Offset calculating means for calculating as
2. The optical apparatus according to claim 1, further comprising: an offset removing unit that removes the offset amount from the output of the first filter unit and outputs the offset amount to the second filter unit.

Integrating means for integrating the output signal of the second filter means;
Centering control means for controlling the integrating means to gradually move the position of the correcting means to the center position of the control range when the determining means determines that the attitude of the optical device is being changed. The optical apparatus according to claim 2, wherein:

The imaging apparatus according to claim 2, wherein the offset calculating unit attenuates the offset amount according to a predetermined time constant and outputs the attenuated amount to the offset removing unit.

When it is determined that the operation of changing the attitude of the optical device is completed, the control unit determines the value of the delay element used for the calculation of the second filter unit according to the offset amount corresponding to the amount of swing back. 5. The optical apparatus according to claim 2, wherein the optical apparatus is controlled so as to be changed.

The control means includes
The offset amount is set to zero from the time when the level of the output signal of the first filter means exceeds the threshold to the time when it is determined that the operation of changing the posture of the optical instrument is completed, and Shifting the cutoff frequency of the second filter means to a high frequency side;
The cut-off frequency of the second filter unit is returned to the low frequency side when it is determined that the operation of changing the attitude of the optical device is completed. The optical instrument described.

The determination means determines whether the level of the signal obtained by differentiating the output signal of the shake detection means is within a predetermined range, and the state where the level of the signal is within the range is a determination reference time. The optical apparatus according to any one of claims 2 to 6, wherein the operation of changing the posture of the optical apparatus is determined to be completed when the operation is continued over the above.

The optical apparatus according to any one of claims 1 to 7,
An image pickup apparatus comprising an image pickup element that converts a subject image that has passed through an image pickup optical system into an image signal.

Motion vector detection means for detecting a motion vector between a plurality of images based on an image signal obtained by the image sensor;
A determination unit configured to determine whether or not the operation of changing the posture of the optical apparatus has been completed by comparing the angular displacement data corresponding to the motion vector with a threshold value based on the motion vector output from the motion vector detection unit; The imaging apparatus according to claim 8, further comprising:

A method for controlling an optical device having a function of detecting shake and optically correcting image blur,
A detection step of detecting shake applied to the optical device;
Removing a DC component from the detection signal obtained in the detection step by a first filter means;
A calculation step of calculating a shake correction amount by removing low frequency components from the output signal of the first filter means by the second filter means;
A correction step of correcting image shake based on the shake correction amount;
In the calculating step, when the operation of changing the attitude of the optical device is completed, a difference between the input value and the output value of the second filter unit is calculated and subtracted from the output signal of the first filter unit. A method for controlling an optical apparatus.