JP2015057670A - Imaging apparatus and control method of imaging apparatus - Google Patents

Imaging apparatus and control method of imaging apparatus Download PDF

Info

Publication number
JP2015057670A
JP2015057670A JP2014251271A JP2014251271A JP2015057670A JP 2015057670 A JP2015057670 A JP 2015057670A JP 2014251271 A JP2014251271 A JP 2014251271A JP 2014251271 A JP2014251271 A JP 2014251271A JP 2015057670 A JP2015057670 A JP 2015057670A
Authority
JP
Japan
Prior art keywords
motion vector
motion
unit
waveform
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014251271A
Other languages
Japanese (ja)
Inventor
猛 渡邉
Takeshi Watanabe
猛 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014251271A priority Critical patent/JP2015057670A/en
Publication of JP2015057670A publication Critical patent/JP2015057670A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve shake correction effect while ensuring stability of control when detecting and optically correcting motion in an image.SOLUTION: An imaging apparatus detects motion information of an image from a plurality of continuous captured images, optically corrects motion of the image due to a moving amount, carries out motion signal processing for outputting the motion information while controlling a level of a detected moving amount in accordance with the detected moving amount, and calculates a control target value of correction means on the basis of the motion information. The motion signal processing counts change in a polarity of difference between the obtained motion information and motion information detected in the past, counts duration or the number of continuous times from detection of the change in the polarity, and makes an attenuation factor larger as the duration or the number of continuous times from the detection of the counted change in the polarity becomes small to control the level of the moving amount detected by an amplifier.

Description

本発明は、例えば、手振れ等による撮像画像のブレを光学的に補正する機能を備えた撮像装置に関するものである。   The present invention relates to an imaging apparatus having a function of optically correcting blurring of a captured image due to, for example, camera shake.

近年、ビデオカメラ等の撮像装置に加わる振れ等によって生じた撮影画像のブレを補正するブレ補正機能が種々提案されており、このようなブレ補正機能を撮像装置に搭載することで、さらに良好に撮影できる。撮像装置に加わる振れを検出する方法には、ジャイロセンサのようなセンサを用いる方法や動きベクトルのように画像を用いる方法がある。このうち、動きベクトルを検出して撮像装置に加わる振れを検出する場合、一般に1フィールド(あるいは1フレーム)以上前の画像と比較しその代表点の移動量をもって画像の動き量、すなわちカメラの動き量としている。しかしながら、この動きベクトルは算出されるまでに、画像の蓄積時間及び読み出し時間、画像のマッチング時間などによる影響によって、少なくとも1フィールド分の時間遅れを伴う。   In recent years, various blur correction functions for correcting blur of a captured image caused by shake or the like applied to an imaging apparatus such as a video camera have been proposed, and it is further improved by installing such a blur correction function in the imaging apparatus. Can shoot. As a method for detecting shake applied to the imaging apparatus, there are a method using a sensor such as a gyro sensor and a method using an image like a motion vector. Among these, when detecting a motion vector and detecting a shake applied to the imaging apparatus, generally, the amount of motion of the image, that is, the motion of the camera is compared with the amount of movement of the representative point compared to an image one field (or one frame) or more before Amount. However, this motion vector is time-delayed by at least one field due to the influence of the image accumulation time and readout time, the image matching time, and the like before being calculated.

この時間遅れは光学補正手段を介し一つのフィードバックループを形成しているため、時間遅れ分と制御周波数によっては帰還制御系の不安定を生じ、発振状態に至ってしまう可能性がある。この発振状態を軽減するために、帰還制御系の発振マージンを導きだし、そのマージンに見合うローパスフィルタを帰還制御系の中に挿入する等も検討されてはいる。しかし、単に低次数のローパスフィルタを挿入すると、ローパスフィルタの位相特性の影響を受け、補正系に遅れが生じてしまう。   Since this time delay forms one feedback loop via the optical correction means, the feedback control system may become unstable depending on the time delay and the control frequency, leading to an oscillation state. In order to reduce this oscillation state, it has been studied to derive an oscillation margin of the feedback control system and to insert a low-pass filter corresponding to the margin into the feedback control system. However, when a low-order low-pass filter is simply inserted, the correction system is delayed due to the influence of the phase characteristics of the low-pass filter.

また高次のフィルタを用いた場合、構成が複雑になる、あるいはソフトウエアで実現するフィルタの場合、処理時間が長くなる等の問題が生じてしまう。例えば、撮像方式がNTSC等の映像フォーマットを想定すると、抽出できる動きベクトルは1/60秒毎であり、すなわちこの時間間隔がサンプリングタイミングとなってしまう。このため、先に述べた高次のフィルタリングを行ってしまうと、フィルタリング処理による時間遅れの影響が顕著に現れてしまい制御系が成り立たなくなってしまう。   In addition, when a high-order filter is used, the configuration becomes complicated, or in the case of a filter realized by software, problems such as a long processing time occur. For example, assuming a video format such as NTSC as the imaging method, the motion vector that can be extracted is every 1/60 seconds, that is, this time interval becomes the sampling timing. For this reason, if the high-order filtering described above is performed, the influence of the time delay due to the filtering process appears remarkably, and the control system does not hold.

そこで、画像より得られる補正情報のうち所定周波数帯域以下のみを含む情報を基に光学的なブレ補正手段にフィードバックすることにより、検出した補正残り情報の位相特性に影響を与えることなく、安定したブレ補正を行う技術が特許文献1に開示されている。   Therefore, by feeding back to the optical blur correction means based on information including only a predetermined frequency band or less among the correction information obtained from the image, it is stable without affecting the phase characteristics of the detected remaining correction information. A technique for performing blur correction is disclosed in Patent Document 1.

例えば図9(a)に示すような波形910、920について考えてみると、同図は撮像系に同一振幅で異なった周波数(波形920よりも波形910の方が周波数が高い)のブレを加えた映像を入力したことを想定して作図されている。この波形910、及び波形920は撮像系に加えられた正弦波であり、それらから抽出した単位時間当たりの動きベクトルを、例えばベクトル911、ベクトル921で示す矢印で表現している。この図において時間軸を等間隔に分割している目盛り902の間隔が単位時間を示しており、例えばNTSCの規格に準拠したタイミングで処理が行われるとすると、目盛り902の間隔(単位時間)は1/60秒となる。図9(a)より分かるように、波形910と波形920では例えばベクトル911、ベクトル921の矢印で示される単位時間当たりのベクトル量が異なる。サンプリングのタイミングにもよるが、おおむね、
波形910のベクトル量>波形920のベクトル量 …(1)
という関係が成り立つ。
For example, when considering waveforms 910 and 920 as shown in FIG. 9A, this figure adds blurring of the imaging system with the same amplitude and different frequencies (the waveform 910 has a higher frequency than the waveform 920). It is drawn on the assumption that the same video is input. The waveform 910 and the waveform 920 are sine waves applied to the imaging system, and motion vectors per unit time extracted from them are represented by arrows indicated by, for example, a vector 911 and a vector 921. In this figure, the interval of the scale 902 that divides the time axis into equal intervals indicates the unit time. For example, if processing is performed at a timing that complies with the NTSC standard, the interval (unit time) of the scale 902 is 1/60 second. As can be seen from FIG. 9A, the amount of vector per unit time indicated by the arrows of the vector 911 and the vector 921 is different between the waveform 910 and the waveform 920, for example. Depending on the timing of sampling,
Vector quantity of waveform 910> Vector quantity of waveform 920 (1)
This relationship holds.

例えば起点901で示される時点より最初のサンプリングポイントまでの1単位時間のベクトル量の差について考えてみる。すると、高い周波数である波形910より得られるベクトル911の大きさは、低い周波数である波形920より得られるベクトル921の大きさと比較して、図9(a)の912と922でも示されるようにベクトル911を含む波形910の方が大きいと言える。   For example, consider the difference in vector quantity for one unit time from the time point indicated by the starting point 901 to the first sampling point. Then, the magnitude of the vector 911 obtained from the waveform 910 having a high frequency is compared with the magnitude of the vector 921 obtained from the waveform 920 having a low frequency as shown by 912 and 922 in FIG. It can be said that the waveform 910 including the vector 911 is larger.

このことから、撮像画像のブレが同一振幅であるならば、おおむね周波数の高い信号の方が単位時間当たりの変化量(=動きベクトル量)が大きく、反対に周波数の低い信号の方が単位時間当たりの変化量が小さいということがいえる。   From this, if the blur of the captured image has the same amplitude, a signal with a higher frequency generally has a larger amount of change per unit time (= motion vector amount), and conversely, a signal with a lower frequency has a unit time. It can be said that the amount of change per hit is small.

この特性を利用して、図9(b)に示すような入出力特性をもつ演算器を、帰還制御系に挿入することにより、高い周波数を除去し発振マージンを稼いでいる。具体的には図9(b)で示される入出力特性をもつ演算器の場合、入力信号(単位時間当たりのベクトル量)を所定値a(図9中の931)の入力レベルまでは何の演算もせずに出力し、932のような入力イコール出力となるような入出力特性とする。そして、所定値aを越える入力においては933で示すように例えば出力が“0”を維持するという特性を備える。   By utilizing this characteristic, an arithmetic unit having an input / output characteristic as shown in FIG. 9B is inserted into the feedback control system, so that a high frequency is removed and an oscillation margin is gained. Specifically, in the case of the arithmetic unit having the input / output characteristics shown in FIG. 9B, what is the input signal (vector amount per unit time) up to the input level of the predetermined value a (931 in FIG. 9)? The input / output characteristics are such that the output is performed without calculation and an input equal output such as 932 is obtained. For an input exceeding a predetermined value a, for example, the output maintains “0” as indicated by 933.

特登録03610210号Special registration No. 03621010

しかしながら、特許文献1に示すような従来のブレ補正機能において、次のような問題があった。この図9(b)のような特性を有する演算器に、図3(a)の波形310に示すような波形が入力された場合を考えてみる。波形310は図3(a)の波形320と比較して小振幅で高い周波数からなる信号である。サンプリングのタイミングにもよるが、おおむね、
波形310のベクトル量<波形320のベクトル量
というような関係が成り立つ。よって、図9(b)に示すような入出力特性を持つ演算器では、波形310のベクトル量を減衰させることができない。
However, the conventional blur correction function as shown in Patent Document 1 has the following problems. Consider a case where a waveform as shown by a waveform 310 in FIG. 3A is input to an arithmetic unit having the characteristics as shown in FIG. A waveform 310 is a signal having a small amplitude and a high frequency as compared with the waveform 320 of FIG. Depending on the timing of sampling,
A relationship such that the vector amount of the waveform 310 <the vector amount of the waveform 320 holds. Therefore, an arithmetic unit having input / output characteristics as shown in FIG. 9B cannot attenuate the vector amount of the waveform 310.

以上のように、動きベクトル検出誤差等によって生じるような、振幅が小さく高い周波数成分が重畳されている動きベクトルに対しては、本来は除去したい高い周波数成分のみを減衰させるには十分な効果が得られないという問題があった。そのため、動きベクトルによる補正ゲインを上げようとした場合に、高い周波数成分も一様に増幅されるため、動きベクトル検出誤差等のノイズ成分による補正系の誤動作が顕著に現れる、あるいは発振状態に陥りやすくなるという問題があった。従って、従来のブレ補正を備えた撮像装置では、ブレ補正の効果を高めるために動きベクトルによる補正ゲインを上げることが困難であった。   As described above, a motion vector in which a high frequency component with a small amplitude is superimposed, such as that caused by a motion vector detection error, has a sufficient effect to attenuate only the high frequency component that is originally desired to be removed. There was a problem that it could not be obtained. Therefore, when trying to increase the correction gain by the motion vector, the high frequency component is also amplified uniformly, so that the malfunction of the correction system due to noise components such as motion vector detection error becomes noticeable or falls into an oscillation state. There was a problem that it became easier. Therefore, it has been difficult for an imaging apparatus equipped with a conventional blur correction to increase the correction gain based on the motion vector in order to enhance the blur correction effect.

そこで、本発明は、上記の問題点を解決するために成されたもので、連続した動きベクトルに重畳された高周波成分のみを減衰させることにより、帰還制御系の安定性を確保しつつ動きベクトルによる補正ゲインを上げることを可能とすることを目的とする。そして、ブレ補正効果を向上させた撮像装置を提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems, and by attenuating only the high frequency component superimposed on the continuous motion vector, the motion vector is ensured while ensuring the stability of the feedback control system. It is an object to make it possible to increase the correction gain due to. And it aims at providing the imaging device which improved the blurring-correction effect.

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、画像の動き量を検出する動き検出手段と、前記動き検出手段から出力される動きベクトルに関する情報を減衰させる減衰率を変化させる減衰手段と、前記動きベクトルの波形の周波数を検出する周波数検出手段と、前記動きベクトルに関する情報に基づいて像振れを光学的に補正する補正手段を制御する制御手段と、を有する撮像装置であって、
前記減衰手段は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする
In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a motion detection unit that detects a motion amount of an image, and an attenuation that attenuates information about a motion vector output from the motion detection unit. Attenuation means for changing the rate, frequency detection means for detecting the frequency of the waveform of the motion vector, and control means for controlling correction means for optically correcting image blur based on information on the motion vector. An imaging device,
The attenuation means increases the attenuation rate when the frequency of the motion vector waveform is higher than a predetermined value compared to when the frequency of the motion vector waveform is lower than the predetermined value .

本発明によれば、連続した動きベクトルに重畳された高周波成分のみを減衰させることにより、帰還制御系の安定性を確保しつつ動きベクトルによる補正ゲインを上げることで、ブレ補正効果を向上させた撮像装置を提供することが可能となる。   According to the present invention, only the high-frequency component superimposed on the continuous motion vector is attenuated, thereby improving the blur correction effect by increasing the correction gain by the motion vector while ensuring the stability of the feedback control system. An imaging device can be provided.

本発明の第1の実施例に適用可能な撮像装置の一例の構成を示すブロック図である。1 is a block diagram showing a configuration of an example of an imaging apparatus applicable to a first embodiment of the present invention. 本発明に係る動きベクトル検出部120の一例の構成を示すブロック図である。It is a block diagram which shows the structure of an example of the motion vector detection part 120 which concerns on this invention. (a)本発明の第1の実施例に係る撮像装置に加えられた振れ波形を示したグラフである。(b)本発明の第1の実施例に係る撮像装置に加えられた振れ波形310と動きベクトル検出部120によって検出された動きベクトルを示したグラフである。(c)本発明の第1の実施例に係る撮像装置に加えられた振れ波形320と動きベクトル検出部120によって検出された動きベクトルを示したグラフである。(A) It is the graph which showed the shake waveform added to the imaging device which concerns on the 1st Example of this invention. (B) It is the graph which showed the motion vector detected by the shake waveform 310 and the motion vector detection part 120 which were added to the imaging device which concerns on the 1st Example of this invention. (C) It is the graph which showed the motion vector detected by the shake waveform 320 and the motion vector detection part 120 which were added to the imaging device which concerns on the 1st Example of this invention. 本発明の第1の実施例に係る動きベクトル処理部121内の演算器を表すブロック図である。It is a block diagram showing the arithmetic unit in the motion vector processing part 121 which concerns on 1st Example of this invention. 本発明の第1の実施例に係る動きベクトル処理部121内の演算器の処理を説明するフローチャートである。It is a flowchart explaining the process of the calculator in the motion vector process part 121 which concerns on 1st Example of this invention. 本発明の第1の実施例に係る動きベクトル処理部121内の演算器を説明するグラフである。It is a graph explaining the calculator in the motion vector process part 121 which concerns on 1st Example of this invention. 本発明の第2の実施例に適用可能な撮像装置の一例の構成を示すブロック図である。It is a block diagram which shows the structure of an example of the imaging device applicable to the 2nd Example of this invention. 本発明の第2の実施例に係る動きベクトル処理部721内の演算器を表すブロック図である。It is a block diagram showing the calculator in the motion vector process part 721 based on 2nd Example of this invention. (a)従来のブレ補正機能を備えた撮像装置を説明するためのグラフである。(b)従来のブレ補正機能を備えた撮像装置内の演算器を説明するためのグラフである。(A) It is a graph for demonstrating the imaging device provided with the conventional blurring correction function. (B) It is a graph for demonstrating the calculator in the imaging device provided with the conventional blurring correction function.

(第一の実施形態)
以下、本発明を実施するための好適な一実施形態について図面を用いて説明する。
(First embodiment)
Hereinafter, a preferred embodiment for carrying out the present invention will be described with reference to the drawings.

図1の撮像装置100は本発明における撮像装置のぶれ補正システムの基本構成を示すブロック図である。   An imaging apparatus 100 in FIG. 1 is a block diagram illustrating a basic configuration of a shake correction system for an imaging apparatus according to the present invention.

補正光学系112は例えばシフトレンズユニットであり、光軸に対して垂直方向にシフトレンズを移動可能であり、移動させることによって撮像装置100に加わる振れの影響を光学的に軽減する。そして補正光学系112と撮像光学系130は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像部118に結像する。撮像部118は、たとえばCMOSセンサやCCDセンサであり、撮像光学系130によって結像された被写体像を電気信号に変換して信号処理部119に供給する。信号処理部119は、撮像部118により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して動きベクトル検出部120に供給する。   The correction optical system 112 is a shift lens unit, for example. The correction optical system 112 can move the shift lens in a direction perpendicular to the optical axis, and optically reduces the influence of shake applied to the imaging apparatus 100 by moving the correction lens system. The correction optical system 112 and the imaging optical system 130 perform operations such as zooming and focusing, and form a subject image on the imaging unit 118. The imaging unit 118 is, for example, a CMOS sensor or a CCD sensor, converts the subject image formed by the imaging optical system 130 into an electrical signal, and supplies the electrical signal to the signal processing unit 119. The signal processing unit 119 generates a video signal (video signal) compliant with, for example, the NTSC format from the signal obtained by the imaging unit 118 and supplies the generated video signal to the motion vector detection unit 120.

動きベクトル検出部120は、撮像装置の撮像部118により得られた撮像画像情報から、信号処理部119で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。信号処理部119は、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成する。動きベクトル処理部121は、動きベクトル検出部120で検出された動きベクトルを補正光学系112の駆動量に変換する。   The motion vector detection unit 120 detects an image motion vector based on the luminance signal included in the video signal generated by the signal processing unit 119 from the captured image information obtained by the imaging unit 118 of the imaging device. The signal processing unit 119 generates a video signal (video signal) compliant with, for example, the NTSC format. The motion vector processing unit 121 converts the motion vector detected by the motion vector detection unit 120 into a driving amount of the correction optical system 112.

演算器123においては、上記最終補正データと、補正光学系112の位置を検出する位置検出部114の出力を、A/D変換器116によってディジタル化した値の差分を演算する。制御フィルタ108には演算器123の演算結果が入力される、パルス幅変調部109は、制御フィルタ108の出力をPWM(Pulse Width Modulation)信号に変換し出力する。モータ駆動部115は、パルス幅変調部109からのPWM出力に基づいて、補正光学系112を動かすためのモータ111を駆動し、撮像光軸に対して垂直な方向に補正光学系112の位置を変えることで光軸を偏心させ、撮像画像に生じるブレを光学的に補正する。   The calculator 123 calculates the difference between the final correction data and the value obtained by digitizing the output of the position detector 114 that detects the position of the correction optical system 112 by the A / D converter 116. The calculation result of the calculator 123 is input to the control filter 108. The pulse width modulation unit 109 converts the output of the control filter 108 into a PWM (Pulse Width Modulation) signal and outputs the signal. The motor driving unit 115 drives the motor 111 for moving the correction optical system 112 based on the PWM output from the pulse width modulation unit 109, and sets the position of the correction optical system 112 in the direction perpendicular to the imaging optical axis. By changing it, the optical axis is decentered, and blurring that occurs in the captured image is optically corrected.

動きベクトル検出部120の構成例を図2に示す。フィルタ201は、画像信号の高空間周波数成分等を除去する目的を有するものであり、信号処理部119から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。二値化部202は、フィルタ201から出力された画像信号を所定のレベルを境に二値化して相関演算部203及び記憶部206に各々供給する。記憶部206は二値化部202の前回のサンプルデータを記憶し、二値化部202からの画像信号を、1フィールド期間遅延して相関演算部203に供給する。相関演算部203は二値化部202及び記憶部206の各出力の相関演算を行う。即ち、相関演算部203には、二値化部202からの画像信号(現フィールドの画像信号)と、記憶部206からの画像信号(前フィールドの画像信号)とが供給されることになる。そして相関演算部203は、上述したブロックマッチング法に従って、ブロック単位に現フィールドと前フィールドの相関演算を行い、その演算結果である相関値をベクトル検出部204に供給する。   A configuration example of the motion vector detection unit 120 is shown in FIG. The filter 201 has a purpose of removing a high spatial frequency component or the like of the image signal, and extracts and outputs a spatial frequency component useful for motion vector detection from the video signal supplied from the signal processing unit 119. The binarization unit 202 binarizes the image signal output from the filter 201 at a predetermined level and supplies the binarized image signal to the correlation calculation unit 203 and the storage unit 206. The storage unit 206 stores the previous sample data of the binarization unit 202, and supplies the image signal from the binarization unit 202 to the correlation calculation unit 203 with a delay of one field period. A correlation calculation unit 203 performs a correlation calculation of each output of the binarization unit 202 and the storage unit 206. That is, the correlation calculation unit 203 is supplied with the image signal from the binarization unit 202 (current field image signal) and the image signal from the storage unit 206 (previous field image signal). Then, the correlation calculation unit 203 performs a correlation calculation between the current field and the previous field in units of blocks in accordance with the block matching method described above, and supplies the correlation value that is the calculation result to the vector detection unit 204.

ベクトル検出部204は相関演算部203からの相関値からブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとして検出する。動きベクトル決定部205はベクトル検出部204からのブロック単位の動きベクトルから全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値を全体の動きベクトルとして決定する。そして、動きベクトル決定部205の出力が、uCOM内部の動きベクトル処理部121に供給されるようになされている。上述のような構成により、動きベクトル検出部120では、画素単位での垂直方向及び水平方向各々の移動量(即ち動きベクトル)が求められる。   The vector detection unit 204 detects a block-based motion vector from the correlation value from the correlation calculation unit 203. That is, the previous field block having the minimum correlation value is searched, and the relative shift is detected as a motion vector. The motion vector determination unit 205 determines the entire motion vector from the block-based motion vector from the vector detection unit 204. For example, the median value or average value of the motion vectors in block units is determined as the entire motion vector. The output of the motion vector determination unit 205 is supplied to the motion vector processing unit 121 inside uCOM. With the above-described configuration, the motion vector detection unit 120 calculates the amount of movement (that is, the motion vector) in the vertical direction and the horizontal direction in units of pixels.

図1に再び戻り、動きベクトル処理部121は、動きベクトル検出部120から出力された動きベクトルのデータをローパスフィルタ(LPF)を用いて積分処理し、その積分結果を動きベクトルの変位データとして算出する。その結果が補正光学系112の制御目標値となり、駆動量となる。   Returning to FIG. 1 again, the motion vector processing unit 121 integrates the motion vector data output from the motion vector detection unit 120 using a low-pass filter (LPF), and calculates the integration result as displacement data of the motion vector. To do. The result is the control target value of the correction optical system 112 and the driving amount.

ここで、先に述べたとおり、撮像画像より動き量を抽出し光学的な補正を行う本発明のような帰還制御系には、撮像部118の蓄積時間や動きベクトル検出部120の処理時間が無視できなくなる。そして、NTSC等のテレビジョン方式に準拠したフォーマット(秒間60フィールドの動画)で手振れ周波数の補正を行おうとすると、帰還ループ系の発振マージンが十分確保できずに補正光学系が発振状態に陥ってしまうこともあり得る。また、動きベクトルによる補正効果を高めるために動きベクトル処理部121のゲインを上げようとしたとき、高い周波数帯域に含まれる動きベクトル検出誤差等のノイズ成分も一様に増幅され、補正系の誤動作が顕著に現れてくる。   Here, as described above, in the feedback control system such as the present invention that extracts the motion amount from the captured image and performs optical correction, the accumulation time of the imaging unit 118 and the processing time of the motion vector detection unit 120 are included. It cannot be ignored. When trying to correct the camera shake frequency in a format compliant with a television system such as NTSC (moving image of 60 fields per second), the correction optical system falls into an oscillation state because an oscillation margin of the feedback loop system cannot be secured sufficiently. It can happen. In addition, when trying to increase the gain of the motion vector processing unit 121 in order to enhance the correction effect by the motion vector, noise components such as motion vector detection error included in the high frequency band are also uniformly amplified, and the correction system malfunctions. Appears prominently.

これらの問題を解決するために動きベクトル処理部121により上記発振および誤動作につながる周波数帯域を減衰させ帰還制御系の安定性を向上させている。   In order to solve these problems, the motion vector processing unit 121 attenuates the frequency band that leads to the oscillation and malfunction, thereby improving the stability of the feedback control system.

例えば図3(a)〜(c)に示すような波形310、波形320について考える。図3(a)は異なった振幅(波形310は波形320よりも振幅が小さい)で、異なった周波数(波形310は波形320の方よりも周波数が高い)の動き量を検出したことを想定して作図されている。この波形320は撮像系に加えられた正弦波であり、ブレ補正の信号を示している。一方、波形310は波形320と比較して小振幅かつ高い周波数からなっており、動きベクトル検出誤差等によるノイズ成分を想定している。それらから抽出した単位時間当たりのベクトルを、例えば311、321で示す矢印で表現している。この図において時間軸を等間隔に分割している目盛り302,303,304の間隔が単位時間を示しており、例えばNTSCの規格に準拠したタイミングで処理が行われるとすると単位時間は1/60秒となる。   For example, consider a waveform 310 and a waveform 320 as shown in FIGS. FIG. 3A assumes that motion amounts with different amplitudes (waveform 310 has a smaller amplitude than waveform 320) and different frequencies (waveform 310 has a higher frequency than waveform 320) are detected. It is drawn. This waveform 320 is a sine wave applied to the imaging system, and indicates a blur correction signal. On the other hand, the waveform 310 has a smaller amplitude and a higher frequency than the waveform 320, and assumes a noise component due to a motion vector detection error or the like. A vector per unit time extracted from them is expressed by arrows indicated by 311 and 321, for example. In this figure, the intervals of the scales 302, 303, and 304 that divide the time axis into equal intervals indicate the unit time. For example, if processing is performed at a timing that complies with the NTSC standard, the unit time is 1/60. Second.

図4は動きベクトル処理部121の詳細なブロック図である。図6は動きベクトル処理部121での処理を示したフローチャートである。動きベクトル処理部121では、図3(b)、(c)に矢印で示したベクトル量313,323で表されるように、高い周波数である波形310はベクトル量の正負(増加、減少)の繰り返しの周期が低い波形320のそれに比べて短い。この点を利用して、本発明の図4は動きベクトル処理部121が高い周波数成分を除去する。   FIG. 4 is a detailed block diagram of the motion vector processing unit 121. FIG. 6 is a flowchart showing processing in the motion vector processing unit 121. In the motion vector processing unit 121, as represented by vector quantities 313 and 323 indicated by arrows in FIGS. 3B and 3C, the waveform 310 having a high frequency has positive / negative (increase and decrease) vector quantities. The repetition period is shorter than that of the low waveform 320. Using this point, in FIG. 4 of the present invention, the motion vector processing unit 121 removes high frequency components.

図5において、先ずステップ#501はこのフローの始まりを示す。このフローは所定周期、例えばNTSCの規格に準拠したタイミング(60分の1秒)ごとに実行され、動きベクトルの検出を行う。次にステップ#502において、動きベクトル処理部121は動きベクトル検出部120によって検出されたベクトル量を取り込む。   In FIG. 5, step # 501 first indicates the beginning of this flow. This flow is executed at a predetermined cycle, for example, every timing (1/60 second) conforming to the NTSC standard to detect a motion vector. Next, in step # 502, the motion vector processing unit 121 captures the vector amount detected by the motion vector detection unit 120.

ステップ#503において、減算器402は、入力されたベクトル量と遅延器401に一時的に記憶された一周期前のタイミングに入力されたベクトル量の差を算出し、ベクトル変化量を求める。そしてステップ#504において、符号反転検出部403は減算器402にて算出されたベクトル変化量の符号(極性)と前回のベクトル変化量の符号を確認する。符号反転検出部403の出力が同一の符号ならばステップ#505へ進み、異なる符号ならばステップ#506へ進む。   In step # 503, the subtractor 402 calculates the difference between the input vector amount and the vector amount input at the previous timing temporarily stored in the delay unit 401 to obtain the vector change amount. In step # 504, the sign inversion detection unit 403 confirms the sign (polarity) of the vector change amount calculated by the subtractor 402 and the sign of the previous vector change amount. If the output of the sign inversion detection unit 403 is the same code, the process proceeds to step # 505, and if the output is different, the process proceeds to step # 506.

ステップ#505においては、符号一致カウント部404がカウンタをインクリメントし、ステップ#507へ進む。そしてステップ#506においては、符号一致カウント部404がカウンタをクリアし、ステップ#507へ進む。   In step # 505, the code coincidence counting unit 404 increments the counter and proceeds to step # 507. In step # 506, the code coincidence counting unit 404 clears the counter and proceeds to step # 507.

ステップ#507においては、可変増幅器405に入力されたベクトル変化量に符号一致カウント部404のカウンタの値に応じた減衰率を乗じることによってベクトル加算量を求める。ここで、可変増幅器405に入力されたベクトル変化量とは、入力されたベクトル量から遅延器407に一時的に記憶された一周期前のタイミングに出力されたベクトル量を減算器408にて減算することによって得られたベクトル変化量である。   In step # 507, the vector addition amount is obtained by multiplying the vector change amount input to the variable amplifier 405 by the attenuation rate corresponding to the value of the counter of the sign match count unit 404. Here, the vector change amount input to the variable amplifier 405 is subtracted by the subtracter 408 from the input vector amount and the vector amount output at the previous timing temporarily stored in the delay unit 407. It is a vector change amount obtained by doing.

ステップ#508にて、加算器406にて、可変増幅器405の出力に遅延器407に一時的に記憶された一周期前のタイミングにて出力されたベクトル量を加算する。そしてステップ#509にて、算出されたベクトル量を出力する。   In step # 508, the adder 406 adds the vector amount output at the timing of one cycle before temporarily stored in the delay unit 407 to the output of the variable amplifier 405. In step # 509, the calculated vector quantity is output.

以上のように、ベクトル変化量の符号が反転したことを検出した場合には(ステップ#503)、そのベクトル量の変化量を小さくする(ステップ#507)。一方で、同一符号方向に複数回連続で増加あるいは減少しているベクトル量においては、そのベクトル量の変化量を徐々に大きくする(ステップ#506)。これにより、即ちどの程度の時間同一符号方向に複数回連続で増加あるいは減少しているか(持続時間)、またはベクトル量が同一符号方向に増加あるいは減少する連続回数をカウントし、ベクトル量に含まれる所定以上の周波数成分を減衰させることが可能になる。   As described above, when it is detected that the sign of the vector change amount is inverted (step # 503), the change amount of the vector amount is reduced (step # 507). On the other hand, for a vector amount that has increased or decreased continuously several times in the same sign direction, the amount of change in the vector amount is gradually increased (step # 506). Thus, that is, how much time is continuously increased or decreased several times in the same code direction (duration), or the number of times the vector amount increases or decreases in the same code direction is counted, and is included in the vector amount It becomes possible to attenuate a frequency component more than a predetermined value.

図6(a)におけるカウンタ値A(603)は減衰率を“0”に戻すまでのカウンタの値を示している。ステップ#507におけるカウンタの値に応じた減衰率は、サンプリング周波数及び減衰させたい周波数成分によりカウンタ値Aを適当に設定すればよい。すなわち、より高い周波数まで通過させたい場合には、カウンタ値Aを小さくし、高い周波数成分をより減衰させたい場合にはカウンタ値Aを大きく設定すればよい。なお、本実施例では、図6(a)における線分601を一定の傾きの直線で表しているが、任意の曲線を用いてもよい。また、カウンタ値が0における減衰率を100%としているが、任意の値を用いてもよい。   The counter value A (603) in FIG. 6A indicates the value of the counter until the attenuation rate is returned to “0”. The attenuation value corresponding to the counter value in step # 507 may be set appropriately to the counter value A according to the sampling frequency and the frequency component to be attenuated. That is, if it is desired to pass up to a higher frequency, the counter value A may be reduced, and if it is desired to attenuate higher frequency components, the counter value A may be set larger. In the present embodiment, the line segment 601 in FIG. 6A is represented by a straight line having a constant slope, but an arbitrary curve may be used. Further, although the attenuation rate when the counter value is 0 is 100%, an arbitrary value may be used.

図6(b)は図6(a)に示した減衰率を持つ動きベクトル処理部121の出力を示した図である。カウンタ値Bは出力が100%となるときのステップ#507におけるカウンタの値を示しており、図6(a)におけるカウンタ値Aと同じ値である。ステップ#507におけるカウンタの値がカウンタ値Bよりも小さい場合には、線分611に示す出力特性となり、すなわち高い周波数成分が減衰されていることを示している。なお、図6(a)のカウンタ値A(603)と図6(b)のカウンタ値A(613)のカウンタ値は同じ値である。   FIG. 6B is a diagram showing an output of the motion vector processing unit 121 having the attenuation rate shown in FIG. The counter value B indicates the counter value at step # 507 when the output is 100%, and is the same value as the counter value A in FIG. When the counter value in step # 507 is smaller than the counter value B, the output characteristic shown by the line segment 611 is obtained, that is, the high frequency component is attenuated. Note that the counter value A (603) in FIG. 6A and the counter value A (613) in FIG. 6B are the same value.

また、本実施例においては、符号反転検出部403がベクトル変化量の符号の反転を検出した場合に、すぐにカウンタをクリアしている(#506)が、カウンタ値を徐々に減算していくことにより、周波数特性を変えることも可能である。   In this embodiment, when the sign inversion detection unit 403 detects the sign inversion of the vector change amount, the counter is immediately cleared (# 506), but the counter value is gradually subtracted. Thus, it is possible to change the frequency characteristics.

更に、ベクトル加算量はベクトル変化量とカウンタ値によって一意に求めているが、算出されたベクトル加算量が所定の値を超えている場合には、ベクトル加算量をその所定の値に制限させることにより、高周波成分を減衰させることも可能である。これは同一方向に変化しているベクトル量に、動きベクトル検出エラーなどに起因するスパイク状のノイズが混入したような場合にこれを除去するのに有効である。   Furthermore, the vector addition amount is uniquely obtained from the vector change amount and the counter value. When the calculated vector addition amount exceeds a predetermined value, the vector addition amount is limited to the predetermined value. Thus, it is possible to attenuate high frequency components. This is effective in removing spike noise caused by a motion vector detection error or the like in a vector amount changing in the same direction.

また、本実施例においては、ベクトル量の変化量に応じて出力するベクトル量の変化量を制御しているので、ベクトル加算量に偏りが生じた場合には出力にオフセットが生じる場合がある。この場合には符号反転検出部403がベクトル量の符号の反転を検出したときに、可変増幅器405の出力を“0”に戻すことも有効である。   In this embodiment, since the change amount of the vector amount to be output is controlled according to the change amount of the vector amount, an offset may occur in the output when the vector addition amount is biased. In this case, it is also effective to return the output of the variable amplifier 405 to “0” when the sign inversion detection unit 403 detects the inversion of the sign of the vector quantity.

(第2の実施例)
図7に、ジャイロセンサのような振れ検出センサによっても振れを検出するタイプのビデオカメラに本発明を用い、動きベクトルの検出を角速度センサと併用をした時の実施形態を示す。図8は本実施例における撮像装置(図7の撮像装置)の動きベクトル処理部721の詳細なブロック図である。同図おいて、上述の図1に示す第1の実施例と同一の構成部分については同一の符号を付し、詳細な説明は省略する。
(Second embodiment)
FIG. 7 shows an embodiment in which the present invention is applied to a video camera of a type that detects a shake even by a shake detection sensor such as a gyro sensor, and a motion vector is detected in combination with an angular velocity sensor. FIG. 8 is a detailed block diagram of the motion vector processing unit 721 of the imaging apparatus (imaging apparatus of FIG. 7) in the present embodiment. In the figure, the same components as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.

同図において、特に前記第1の実施形態と異なるのは、動きベクトル検出部120より得られたベクトルに対して、パン・チルト判定部722の判定結果によって、動きベクトル処理部721が出力の補正を行う。さらに、手ブレ補正に用いられている振れ検出センサ701のより得られる揺れ信号と加算することにある。   In the figure, the difference from the first embodiment is that the motion vector processing unit 721 corrects the output of the vector obtained from the motion vector detection unit 120 based on the determination result of the pan / tilt determination unit 722. I do. Furthermore, it is to add to the shake signal obtained from the shake detection sensor 701 used for camera shake correction.

振れ検出センサ701は、例えば、振動ジャイロの角速度センサを含み、手ブレ等による装置自体に加わる振れを検出し、その信号をDCカットフィルタ702に供給する。DCカットフィルタ702は、振れ検出センサ701からの振れ信号に含まれる直流(DC)成分を遮断して、該振れ信号の交流成分、すなわち振動成分のみをアンプ703に供給する。尚、DCカットフィルタ702として、所定の周波数帯域で入力信号を遮断するハイパスフィルタ(HPF)を用いてもよい。アンプ(増幅器)703は、DCカットフィルタ702からの信号を、最適な感度に増幅して、A/D変換器704に供給する。A/D変換器704は、アンプ703からの信号をディジタル化して、角速度データとしてuCOM内部のHPF705に供給する。   The shake detection sensor 701 includes, for example, a vibration gyro angular velocity sensor, detects shake applied to the apparatus itself due to camera shake and the like, and supplies the signal to the DC cut filter 702. The DC cut filter 702 blocks the direct current (DC) component included in the shake signal from the shake detection sensor 701 and supplies only the AC component of the shake signal, that is, the vibration component, to the amplifier 703. As the DC cut filter 702, a high pass filter (HPF) that cuts off an input signal in a predetermined frequency band may be used. The amplifier (amplifier) 703 amplifies the signal from the DC cut filter 702 to an optimum sensitivity and supplies the amplified signal to the A / D converter 704. The A / D converter 704 digitizes the signal from the amplifier 703 and supplies it to the HPF 705 inside the uCOM as angular velocity data.

本実施例中のマイクロコンピュータ(マイコン)uCOMは、HPF705、積分器706、制御フィルタ108、パルス幅変調部109、動きベクトル検出部120、及び動きベクトル処理部721、パン・チルト判定部722によって構成される。   The microcomputer uCOM in the present embodiment includes an HPF 705, an integrator 706, a control filter 108, a pulse width modulation unit 109, a motion vector detection unit 120, a motion vector processing unit 721, and a pan / tilt determination unit 722. Is done.

uCOM内部には、A/D変換器704の出力が供給されるHPF705と、HPF705の出力が供給される積分器706が備えられている。また、動きベクトル検出部120の出力が供給される動きベクトル処理部721が備えられている。更に、A/D変換器704、積分器706の出力が供給されるパン・チルト判定部722が備えられている。そして、パン・チルト判定部722の判定結果に応じて、HPF705、積分器706、動きベクトル処理部721の演算が変更される。   Inside uCOM, an HPF 705 to which the output of the A / D converter 704 is supplied and an integrator 706 to which the output of the HPF 705 is supplied are provided. Further, a motion vector processing unit 721 to which the output of the motion vector detection unit 120 is supplied is provided. Further, a pan / tilt determination unit 722 to which outputs of the A / D converter 704 and the integrator 706 are supplied is provided. Then, the calculations of the HPF 705, the integrator 706, and the motion vector processing unit 721 are changed according to the determination result of the pan / tilt determination unit 722.

HPF705は、任意の周波数帯域でその特性を可変し得る機能を有しており、A/D変換器704から出力されたディジタルの振れ信号(角速度データ)に含まれる低周波成分を遮断して出力する。積分器706は、任意の周波数帯域でその特性を可変し得る機能を有しており、HPF705から出力された角速度データを積分して、その積分結果を角変位データとして出力する。焦点距離補正部707は、ズーミング及びフォーカシング動作を行う変倍光学系713の、ズーム位置を検出するズームエンコーダ717から、現在のズーム位置情報を取得し、その情報から焦点距離を算出する。そして、この焦点距離情報と、上述した角変移データから、補正光学系112の駆動量であるジャイロ系補正データ(補正量)を算出する。   The HPF 705 has a function capable of varying its characteristics in an arbitrary frequency band, and cuts and outputs a low frequency component included in a digital shake signal (angular velocity data) output from the A / D converter 704. To do. The integrator 706 has a function capable of varying its characteristics in an arbitrary frequency band, integrates the angular velocity data output from the HPF 705, and outputs the integration result as angular displacement data. The focal length correction unit 707 acquires current zoom position information from the zoom encoder 717 that detects the zoom position of the variable magnification optical system 713 that performs zooming and focusing operations, and calculates the focal length from the information. Then, gyro system correction data (correction amount), which is the driving amount of the correction optical system 112, is calculated from the focal length information and the above-described angle shift data.

振動ジャイロ等を用いた振れ検出センサ701では、1Hz以下の低域周波数において、角速度の検出特性が劣化する。したがって、この低周波数帯域では、補正誤差の影響が顕著となり、低域周波数のブレ残りが生じ、画質の劣化につながる。そこで、角速度検出の他に、撮像画像のブレ残りを検出する部、すなわち動きベクトル検出部120にて低周波数帯域のブレ残り量を検出し、これを補正することで、以下に示すような補正性能を向上させる処理を行う。   In the shake detection sensor 701 using a vibration gyro or the like, the angular velocity detection characteristics deteriorate at a low frequency of 1 Hz or less. Therefore, in this low frequency band, the influence of the correction error becomes significant, causing blurring of the low frequency, resulting in image quality degradation. Therefore, in addition to the angular velocity detection, a portion that detects the blur remaining in the captured image, that is, the motion vector detecting unit 120 detects the blur remaining amount in the low frequency band, and corrects this to correct as shown below. Perform processing to improve performance.

動きベクトル検出部120は、撮像装置700の撮像部118により得られた撮像画像情報から、信号処理部119で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。信号処理部119は、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成する。動きベクトル処理部721は、動きベクトル検出部120で検出された動きベクトルを補正光学系112の駆動量であるベクトル系補正データ(動き情報)に変換する。   The motion vector detection unit 120 detects an image motion vector based on the luminance signal included in the video signal generated by the signal processing unit 119 from the captured image information obtained by the imaging unit 118 of the imaging device 700. The signal processing unit 119 generates a video signal (video signal) compliant with, for example, the NTSC format. The motion vector processing unit 721 converts the motion vector detected by the motion vector detection unit 120 into vector system correction data (motion information) that is a driving amount of the correction optical system 112.

上記ベクトル系補正データは、低周波数帯域のブレ残りを補正するための信号である。このベクトル系補正データと、上述したジャイロ系補正データを加算したデータが、低周波数帯域から高周波数帯域まで、全周波数帯域のブレ補正を行う、最終的な補正光学系112の駆動量(最終補正データ)となる。   The vector system correction data is a signal for correcting a blur remaining in a low frequency band. Data obtained by adding the vector system correction data and the above-described gyro system correction data performs blur correction of the entire frequency band from the low frequency band to the high frequency band. Data).

パン・チルト判定部722は、A/D変換器704から出力された角速度データ及び積分器706から出力された角変位データに基づいて、パンニング・チルティングの判定を行って、パンニング制御を行う。すなわち、角速度データが所定の閾値以上、或いは、角速度データが所定の閾値に満たなくとも角変位データ(積分結果)が所定の閾値以上であるならば、パンニング状態或いはチルティング状態であると判定し、パンニング制御を行う。このパンニング制御は、まず、HPF705のカットオフ周波数を高域側に変移させる。これにより、低域の周波数に対しては、ブレ補正が応答しないようになる。また、積分器706での積分演算に用いる時定数の値を短くなる方向に変移させる。これにより、ブレ補正位置が徐々に移動範囲中心へとセンタリングし、積分器706から出力される角変位データの値が基準値(ブレがない状態においてとりうる値)に徐々に近づいていく。更に、動きベクトル処理部721に入力される信号を小さくなる方向に変移させるために、図8のアンプ810を用いて動きベクトル検出からベクトル系補正データを算出する際のゲインを小さくする若しくはゼロとする。   The pan / tilt determination unit 722 determines panning / tilting based on the angular velocity data output from the A / D converter 704 and the angular displacement data output from the integrator 706 to perform panning control. That is, if the angular velocity data is equal to or greater than a predetermined threshold value, or if the angular displacement data (integration result) is equal to or greater than the predetermined threshold value even if the angular velocity data is less than the predetermined threshold value, the panning state or the tilting state is determined. , Perform panning control. In the panning control, first, the cutoff frequency of the HPF 705 is shifted to the high frequency side. As a result, the blur correction does not respond to the low frequency range. Further, the value of the time constant used for the integration calculation in the integrator 706 is shifted in the direction of shortening. As a result, the shake correction position is gradually centered to the center of the moving range, and the value of the angular displacement data output from the integrator 706 gradually approaches the reference value (a value that can be taken in the absence of shake). Further, in order to shift the signal input to the motion vector processing unit 721 in the direction of decreasing, the gain when calculating the vector system correction data from the motion vector detection using the amplifier 810 of FIG. To do.

一方、そうでない場合には、パンニング状態或いはチルティング状態でないと判定し、HPF705のカットオフ周波数を低域側に変移させ、また、積分器706での積分演算に用いる時定数の値も長くなる方向に変移させる。更に、動きベクトル処理部721に入力される信号を元に戻し(パンニング状態と判定されたときよりも大きくする)、動きベクトル検出からベクトル系補正データを算出する際のゲインを大きくする。これにより、HPF705の低域カットオフ周波数、及び積分器706での積分演算に用いる時定数の値、図8のアンプ810を用いて動きベクトル処理部721のベクトル系補正データ算出ゲインが各々元の状態に戻され、パンニング制御を解除することになる。   On the other hand, if not, it is determined that the panning state or the tilting state is not set, the cutoff frequency of the HPF 705 is shifted to the low frequency side, and the value of the time constant used for the integration operation in the integrator 706 becomes longer. Shift in direction. Further, the signal input to the motion vector processing unit 721 is restored (made larger than when it is determined to be a panning state), and the gain for calculating vector system correction data from motion vector detection is increased. As a result, the low-frequency cutoff frequency of the HPF 705, the value of the time constant used for the integration operation in the integrator 706, and the vector system correction data calculation gain of the motion vector processing unit 721 using the amplifier 810 of FIG. Returning to the state, the panning control is cancelled.

なお、本実施例においてはアンプ810にて動きベクトル処理部721に入力されるゲインを小さくした若しくはゼロとしたが、パンニング制御の時に動きベクトル処理部721に入力されるゲインが小さくなる若しくはゼロとなれば別の方法でも構わない。例えばスイッチにて動きベクトル処理部721に入力されるゲインを切ってしまってもよいし、動きベクトル検出部120からの出力がμCOMに入力される際にゲインを小さくする若しくはゼロにしても構わない。   In this embodiment, the gain input to the motion vector processing unit 721 is reduced or zero by the amplifier 810, but the gain input to the motion vector processing unit 721 during panning control is reduced or zero. If it becomes, another method may be used. For example, the gain input to the motion vector processing unit 721 may be cut off by a switch, or the gain may be reduced or zeroed when the output from the motion vector detection unit 120 is input to μCOM. .

以上の演算器を含む動きベクトル処理部721により動きベクトル検出部120より検出されたベクトルを加工し、補正光学系112を駆動するものである。なお、ブレ補正を行う手段として、補正光学系112(例えばシフトレンズ)を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム(VAP)や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。   The vector detected by the motion vector detection unit 120 is processed by the motion vector processing unit 721 including the above computing unit, and the correction optical system 112 is driven. Note that although the correction optical system 112 (for example, a shift lens) has been described as an example of the blur correction unit, the present invention is not limited to this. For example, a variable apex angle prism (VAP), a method of driving the image sensor in a direction perpendicular to the optical axis, or the like may be used.

以上説明したように、過去に検出した動き量の差分に応じて現在の動き量を制御することにより、動きベクトルに重畳された高周波成分のみを減衰させることが可能となる。これにより、動きベクトル検出誤差等のノイズ成分を含んだ周波数帯域、および発振要因となり得る周波数帯域を減衰することで帰還制御系の安定性を確保しつつ補正ゲインを上げ、ブレ補正効果を向上させた撮像装置を提供することが可能となる。   As described above, it is possible to attenuate only the high-frequency component superimposed on the motion vector by controlling the current motion amount according to the difference between the motion amounts detected in the past. This attenuates the frequency band that includes noise components such as motion vector detection errors and the frequency band that can cause oscillation, thereby increasing the correction gain while ensuring the stability of the feedback control system and improving the blur correction effect. It is possible to provide an image pickup apparatus.

112 補正光学系   112 Correction optical system

Claims (2)

画像の動き量を検出する動き検出手段と、前記動き検出手段から出力される動きベクトルに関する情報を減衰させる減衰率を変化させる減衰手段と、前記動きベクトルの波形の周波数を検出する周波数検出手段と、前記動きベクトルに関する情報に基づいて像振れを光学的に補正する補正手段を制御する制御手段と、を有する撮像装置であって、Motion detection means for detecting the amount of motion of an image, attenuation means for changing an attenuation rate for attenuating information about the motion vector output from the motion detection means, and frequency detection means for detecting the frequency of the waveform of the motion vector A control unit that controls a correction unit that optically corrects image blur based on information on the motion vector,
前記減衰手段は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする撮像装置。The imaging means characterized in that the attenuation means increases the attenuation rate when the frequency of the motion vector waveform is higher than a predetermined value compared to when the frequency of the motion vector waveform is lower than the predetermined value. apparatus.
画像の動き量を検出する動き検出手段から出力される動きベクトルに関する情報に基づいて像振れを光学的に補正する補正工程と、前記動きベクトルに関する情報を減衰させる減衰率を変化させる減衰工程と、前記動きベクトルの波形の周波数を検出する周波数検出工程と、を有する撮像方法であって、A correction step for optically correcting image blur based on information on a motion vector output from a motion detection means for detecting a motion amount of an image; an attenuation step for changing an attenuation rate for attenuating information on the motion vector; A frequency detection step of detecting a frequency of a waveform of the motion vector, and an imaging method comprising:
前記減衰工程は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする撮像方法。In the attenuating step, when the frequency of the motion vector waveform is higher than a predetermined value, the attenuation rate is increased as compared with the case where the frequency of the motion vector waveform is lower than the predetermined value. Method.
JP2014251271A 2014-12-11 2014-12-11 Imaging apparatus and control method of imaging apparatus Pending JP2015057670A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014251271A JP2015057670A (en) 2014-12-11 2014-12-11 Imaging apparatus and control method of imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014251271A JP2015057670A (en) 2014-12-11 2014-12-11 Imaging apparatus and control method of imaging apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009295432A Division JP5665314B2 (en) 2009-12-25 2009-12-25 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Publications (1)

Publication Number Publication Date
JP2015057670A true JP2015057670A (en) 2015-03-26

Family

ID=52815743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014251271A Pending JP2015057670A (en) 2014-12-11 2014-12-11 Imaging apparatus and control method of imaging apparatus

Country Status (1)

Country Link
JP (1) JP2015057670A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032908A (en) * 2015-08-05 2017-02-09 キヤノン株式会社 Image blur correction device, control method thereof, and imaging device
CN106911889A (en) * 2015-09-15 2017-06-30 佳能株式会社 Image blur collection and slant correction equipment and its control method
CN107820019A (en) * 2017-11-30 2018-03-20 广东欧珀移动通信有限公司 Blur image acquiring method, device and equipment
EP3454544A2 (en) 2017-08-14 2019-03-13 Canon Kabushiki Kaisha Imaging apparatus and control method for the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164188A (en) * 1997-12-01 1999-06-18 Canon Inc Photographing device and image-pickup device with interchangeable lens

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164188A (en) * 1997-12-01 1999-06-18 Canon Inc Photographing device and image-pickup device with interchangeable lens

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032908A (en) * 2015-08-05 2017-02-09 キヤノン株式会社 Image blur correction device, control method thereof, and imaging device
CN106911889A (en) * 2015-09-15 2017-06-30 佳能株式会社 Image blur collection and slant correction equipment and its control method
CN106911889B (en) * 2015-09-15 2020-04-14 佳能株式会社 Image blur correction apparatus and tilt correction apparatus, and control methods thereof
EP3454544A2 (en) 2017-08-14 2019-03-13 Canon Kabushiki Kaisha Imaging apparatus and control method for the same
US10778894B2 (en) 2017-08-14 2020-09-15 Canon Kabushiki Kaisha Imaging apparatus and control method for the same
CN107820019A (en) * 2017-11-30 2018-03-20 广东欧珀移动通信有限公司 Blur image acquiring method, device and equipment

Similar Documents

Publication Publication Date Title
US7983547B2 (en) Imaging apparatus
JP5553597B2 (en) Imaging apparatus and control method thereof
US10321058B2 (en) Image pickup apparatus and motion vector detection method
JP5501119B2 (en) Imaging apparatus and control method thereof
JP6257207B2 (en) Image shake correction apparatus and control method therefor, lens barrel, and imaging apparatus
JP5409342B2 (en) Imaging apparatus and control method thereof
US9626743B2 (en) Image stabilization apparatus, method of controlling the same, image capturing apparatus, lens apparatus, and storage medium
JP6040338B2 (en) Camera shake correction device, imaging device
JP5572031B2 (en) Imaging apparatus and control method thereof
JP2012037778A (en) Image pickup apparatus
US20180063437A1 (en) Control apparatus, image capturing apparatus, lens apparatus, control method, and non-transitory computer-readable storage medium
JP2012058545A (en) Imaging device
JP2015057670A (en) Imaging apparatus and control method of imaging apparatus
JP2017134177A (en) Image tremor detection device and method, as well as imaging device
JP5612917B2 (en) Optical apparatus and control method thereof
JP5247782B2 (en) Optical apparatus, imaging apparatus including the same, and control method of optical apparatus
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
JP2014128016A (en) Imaging apparatus and its control method
US20140125826A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2011135462A (en) Imaging apparatus, and control method thereof
JP5665314B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2012018328A (en) Optical apparatus, image pickup apparatus, and control method of optical apparatus
JP2014126859A (en) Imaging apparatus, method of controlling the same, program and storage medium
JP7175702B2 (en) Image blur correction device and its control method, imaging device
KR20190080724A (en) Signal processing device, imaging device, blur angle calculation method, and blur angle calculation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160614