JP2015057670A - Imaging apparatus and control method of imaging apparatus - Google Patents
Imaging apparatus and control method of imaging apparatus Download PDFInfo
- Publication number
- JP2015057670A JP2015057670A JP2014251271A JP2014251271A JP2015057670A JP 2015057670 A JP2015057670 A JP 2015057670A JP 2014251271 A JP2014251271 A JP 2014251271A JP 2014251271 A JP2014251271 A JP 2014251271A JP 2015057670 A JP2015057670 A JP 2015057670A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- unit
- waveform
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、例えば、手振れ等による撮像画像のブレを光学的に補正する機能を備えた撮像装置に関するものである。 The present invention relates to an imaging apparatus having a function of optically correcting blurring of a captured image due to, for example, camera shake.
近年、ビデオカメラ等の撮像装置に加わる振れ等によって生じた撮影画像のブレを補正するブレ補正機能が種々提案されており、このようなブレ補正機能を撮像装置に搭載することで、さらに良好に撮影できる。撮像装置に加わる振れを検出する方法には、ジャイロセンサのようなセンサを用いる方法や動きベクトルのように画像を用いる方法がある。このうち、動きベクトルを検出して撮像装置に加わる振れを検出する場合、一般に1フィールド(あるいは1フレーム)以上前の画像と比較しその代表点の移動量をもって画像の動き量、すなわちカメラの動き量としている。しかしながら、この動きベクトルは算出されるまでに、画像の蓄積時間及び読み出し時間、画像のマッチング時間などによる影響によって、少なくとも1フィールド分の時間遅れを伴う。 In recent years, various blur correction functions for correcting blur of a captured image caused by shake or the like applied to an imaging apparatus such as a video camera have been proposed, and it is further improved by installing such a blur correction function in the imaging apparatus. Can shoot. As a method for detecting shake applied to the imaging apparatus, there are a method using a sensor such as a gyro sensor and a method using an image like a motion vector. Among these, when detecting a motion vector and detecting a shake applied to the imaging apparatus, generally, the amount of motion of the image, that is, the motion of the camera is compared with the amount of movement of the representative point compared to an image one field (or one frame) or more before Amount. However, this motion vector is time-delayed by at least one field due to the influence of the image accumulation time and readout time, the image matching time, and the like before being calculated.
この時間遅れは光学補正手段を介し一つのフィードバックループを形成しているため、時間遅れ分と制御周波数によっては帰還制御系の不安定を生じ、発振状態に至ってしまう可能性がある。この発振状態を軽減するために、帰還制御系の発振マージンを導きだし、そのマージンに見合うローパスフィルタを帰還制御系の中に挿入する等も検討されてはいる。しかし、単に低次数のローパスフィルタを挿入すると、ローパスフィルタの位相特性の影響を受け、補正系に遅れが生じてしまう。 Since this time delay forms one feedback loop via the optical correction means, the feedback control system may become unstable depending on the time delay and the control frequency, leading to an oscillation state. In order to reduce this oscillation state, it has been studied to derive an oscillation margin of the feedback control system and to insert a low-pass filter corresponding to the margin into the feedback control system. However, when a low-order low-pass filter is simply inserted, the correction system is delayed due to the influence of the phase characteristics of the low-pass filter.
また高次のフィルタを用いた場合、構成が複雑になる、あるいはソフトウエアで実現するフィルタの場合、処理時間が長くなる等の問題が生じてしまう。例えば、撮像方式がNTSC等の映像フォーマットを想定すると、抽出できる動きベクトルは1/60秒毎であり、すなわちこの時間間隔がサンプリングタイミングとなってしまう。このため、先に述べた高次のフィルタリングを行ってしまうと、フィルタリング処理による時間遅れの影響が顕著に現れてしまい制御系が成り立たなくなってしまう。 In addition, when a high-order filter is used, the configuration becomes complicated, or in the case of a filter realized by software, problems such as a long processing time occur. For example, assuming a video format such as NTSC as the imaging method, the motion vector that can be extracted is every 1/60 seconds, that is, this time interval becomes the sampling timing. For this reason, if the high-order filtering described above is performed, the influence of the time delay due to the filtering process appears remarkably, and the control system does not hold.
そこで、画像より得られる補正情報のうち所定周波数帯域以下のみを含む情報を基に光学的なブレ補正手段にフィードバックすることにより、検出した補正残り情報の位相特性に影響を与えることなく、安定したブレ補正を行う技術が特許文献1に開示されている。 Therefore, by feeding back to the optical blur correction means based on information including only a predetermined frequency band or less among the correction information obtained from the image, it is stable without affecting the phase characteristics of the detected remaining correction information. A technique for performing blur correction is disclosed in Patent Document 1.
例えば図9(a)に示すような波形910、920について考えてみると、同図は撮像系に同一振幅で異なった周波数(波形920よりも波形910の方が周波数が高い)のブレを加えた映像を入力したことを想定して作図されている。この波形910、及び波形920は撮像系に加えられた正弦波であり、それらから抽出した単位時間当たりの動きベクトルを、例えばベクトル911、ベクトル921で示す矢印で表現している。この図において時間軸を等間隔に分割している目盛り902の間隔が単位時間を示しており、例えばNTSCの規格に準拠したタイミングで処理が行われるとすると、目盛り902の間隔(単位時間)は1/60秒となる。図9(a)より分かるように、波形910と波形920では例えばベクトル911、ベクトル921の矢印で示される単位時間当たりのベクトル量が異なる。サンプリングのタイミングにもよるが、おおむね、
波形910のベクトル量>波形920のベクトル量 …(1)
という関係が成り立つ。
For example, when considering
Vector quantity of
This relationship holds.
例えば起点901で示される時点より最初のサンプリングポイントまでの1単位時間のベクトル量の差について考えてみる。すると、高い周波数である波形910より得られるベクトル911の大きさは、低い周波数である波形920より得られるベクトル921の大きさと比較して、図9(a)の912と922でも示されるようにベクトル911を含む波形910の方が大きいと言える。
For example, consider the difference in vector quantity for one unit time from the time point indicated by the starting point 901 to the first sampling point. Then, the magnitude of the
このことから、撮像画像のブレが同一振幅であるならば、おおむね周波数の高い信号の方が単位時間当たりの変化量(=動きベクトル量)が大きく、反対に周波数の低い信号の方が単位時間当たりの変化量が小さいということがいえる。 From this, if the blur of the captured image has the same amplitude, a signal with a higher frequency generally has a larger amount of change per unit time (= motion vector amount), and conversely, a signal with a lower frequency has a unit time. It can be said that the amount of change per hit is small.
この特性を利用して、図9(b)に示すような入出力特性をもつ演算器を、帰還制御系に挿入することにより、高い周波数を除去し発振マージンを稼いでいる。具体的には図9(b)で示される入出力特性をもつ演算器の場合、入力信号(単位時間当たりのベクトル量)を所定値a(図9中の931)の入力レベルまでは何の演算もせずに出力し、932のような入力イコール出力となるような入出力特性とする。そして、所定値aを越える入力においては933で示すように例えば出力が“0”を維持するという特性を備える。 By utilizing this characteristic, an arithmetic unit having an input / output characteristic as shown in FIG. 9B is inserted into the feedback control system, so that a high frequency is removed and an oscillation margin is gained. Specifically, in the case of the arithmetic unit having the input / output characteristics shown in FIG. 9B, what is the input signal (vector amount per unit time) up to the input level of the predetermined value a (931 in FIG. 9)? The input / output characteristics are such that the output is performed without calculation and an input equal output such as 932 is obtained. For an input exceeding a predetermined value a, for example, the output maintains “0” as indicated by 933.
しかしながら、特許文献1に示すような従来のブレ補正機能において、次のような問題があった。この図9(b)のような特性を有する演算器に、図3(a)の波形310に示すような波形が入力された場合を考えてみる。波形310は図3(a)の波形320と比較して小振幅で高い周波数からなる信号である。サンプリングのタイミングにもよるが、おおむね、
波形310のベクトル量<波形320のベクトル量
というような関係が成り立つ。よって、図9(b)に示すような入出力特性を持つ演算器では、波形310のベクトル量を減衰させることができない。
However, the conventional blur correction function as shown in Patent Document 1 has the following problems. Consider a case where a waveform as shown by a
A relationship such that the vector amount of the
以上のように、動きベクトル検出誤差等によって生じるような、振幅が小さく高い周波数成分が重畳されている動きベクトルに対しては、本来は除去したい高い周波数成分のみを減衰させるには十分な効果が得られないという問題があった。そのため、動きベクトルによる補正ゲインを上げようとした場合に、高い周波数成分も一様に増幅されるため、動きベクトル検出誤差等のノイズ成分による補正系の誤動作が顕著に現れる、あるいは発振状態に陥りやすくなるという問題があった。従って、従来のブレ補正を備えた撮像装置では、ブレ補正の効果を高めるために動きベクトルによる補正ゲインを上げることが困難であった。 As described above, a motion vector in which a high frequency component with a small amplitude is superimposed, such as that caused by a motion vector detection error, has a sufficient effect to attenuate only the high frequency component that is originally desired to be removed. There was a problem that it could not be obtained. Therefore, when trying to increase the correction gain by the motion vector, the high frequency component is also amplified uniformly, so that the malfunction of the correction system due to noise components such as motion vector detection error becomes noticeable or falls into an oscillation state. There was a problem that it became easier. Therefore, it has been difficult for an imaging apparatus equipped with a conventional blur correction to increase the correction gain based on the motion vector in order to enhance the blur correction effect.
そこで、本発明は、上記の問題点を解決するために成されたもので、連続した動きベクトルに重畳された高周波成分のみを減衰させることにより、帰還制御系の安定性を確保しつつ動きベクトルによる補正ゲインを上げることを可能とすることを目的とする。そして、ブレ補正効果を向上させた撮像装置を提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems, and by attenuating only the high frequency component superimposed on the continuous motion vector, the motion vector is ensured while ensuring the stability of the feedback control system. It is an object to make it possible to increase the correction gain due to. And it aims at providing the imaging device which improved the blurring-correction effect.
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、画像の動き量を検出する動き検出手段と、前記動き検出手段から出力される動きベクトルに関する情報を減衰させる減衰率を変化させる減衰手段と、前記動きベクトルの波形の周波数を検出する周波数検出手段と、前記動きベクトルに関する情報に基づいて像振れを光学的に補正する補正手段を制御する制御手段と、を有する撮像装置であって、
前記減衰手段は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする。
In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a motion detection unit that detects a motion amount of an image, and an attenuation that attenuates information about a motion vector output from the motion detection unit. Attenuation means for changing the rate, frequency detection means for detecting the frequency of the waveform of the motion vector, and control means for controlling correction means for optically correcting image blur based on information on the motion vector. An imaging device,
The attenuation means increases the attenuation rate when the frequency of the motion vector waveform is higher than a predetermined value compared to when the frequency of the motion vector waveform is lower than the predetermined value .
本発明によれば、連続した動きベクトルに重畳された高周波成分のみを減衰させることにより、帰還制御系の安定性を確保しつつ動きベクトルによる補正ゲインを上げることで、ブレ補正効果を向上させた撮像装置を提供することが可能となる。 According to the present invention, only the high-frequency component superimposed on the continuous motion vector is attenuated, thereby improving the blur correction effect by increasing the correction gain by the motion vector while ensuring the stability of the feedback control system. An imaging device can be provided.
(第一の実施形態)
以下、本発明を実施するための好適な一実施形態について図面を用いて説明する。
(First embodiment)
Hereinafter, a preferred embodiment for carrying out the present invention will be described with reference to the drawings.
図1の撮像装置100は本発明における撮像装置のぶれ補正システムの基本構成を示すブロック図である。
An
補正光学系112は例えばシフトレンズユニットであり、光軸に対して垂直方向にシフトレンズを移動可能であり、移動させることによって撮像装置100に加わる振れの影響を光学的に軽減する。そして補正光学系112と撮像光学系130は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像部118に結像する。撮像部118は、たとえばCMOSセンサやCCDセンサであり、撮像光学系130によって結像された被写体像を電気信号に変換して信号処理部119に供給する。信号処理部119は、撮像部118により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して動きベクトル検出部120に供給する。
The correction
動きベクトル検出部120は、撮像装置の撮像部118により得られた撮像画像情報から、信号処理部119で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。信号処理部119は、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成する。動きベクトル処理部121は、動きベクトル検出部120で検出された動きベクトルを補正光学系112の駆動量に変換する。
The motion
演算器123においては、上記最終補正データと、補正光学系112の位置を検出する位置検出部114の出力を、A/D変換器116によってディジタル化した値の差分を演算する。制御フィルタ108には演算器123の演算結果が入力される、パルス幅変調部109は、制御フィルタ108の出力をPWM(Pulse Width Modulation)信号に変換し出力する。モータ駆動部115は、パルス幅変調部109からのPWM出力に基づいて、補正光学系112を動かすためのモータ111を駆動し、撮像光軸に対して垂直な方向に補正光学系112の位置を変えることで光軸を偏心させ、撮像画像に生じるブレを光学的に補正する。
The
動きベクトル検出部120の構成例を図2に示す。フィルタ201は、画像信号の高空間周波数成分等を除去する目的を有するものであり、信号処理部119から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。二値化部202は、フィルタ201から出力された画像信号を所定のレベルを境に二値化して相関演算部203及び記憶部206に各々供給する。記憶部206は二値化部202の前回のサンプルデータを記憶し、二値化部202からの画像信号を、1フィールド期間遅延して相関演算部203に供給する。相関演算部203は二値化部202及び記憶部206の各出力の相関演算を行う。即ち、相関演算部203には、二値化部202からの画像信号(現フィールドの画像信号)と、記憶部206からの画像信号(前フィールドの画像信号)とが供給されることになる。そして相関演算部203は、上述したブロックマッチング法に従って、ブロック単位に現フィールドと前フィールドの相関演算を行い、その演算結果である相関値をベクトル検出部204に供給する。
A configuration example of the motion
ベクトル検出部204は相関演算部203からの相関値からブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとして検出する。動きベクトル決定部205はベクトル検出部204からのブロック単位の動きベクトルから全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値を全体の動きベクトルとして決定する。そして、動きベクトル決定部205の出力が、uCOM内部の動きベクトル処理部121に供給されるようになされている。上述のような構成により、動きベクトル検出部120では、画素単位での垂直方向及び水平方向各々の移動量(即ち動きベクトル)が求められる。
The
図1に再び戻り、動きベクトル処理部121は、動きベクトル検出部120から出力された動きベクトルのデータをローパスフィルタ(LPF)を用いて積分処理し、その積分結果を動きベクトルの変位データとして算出する。その結果が補正光学系112の制御目標値となり、駆動量となる。
Returning to FIG. 1 again, the motion
ここで、先に述べたとおり、撮像画像より動き量を抽出し光学的な補正を行う本発明のような帰還制御系には、撮像部118の蓄積時間や動きベクトル検出部120の処理時間が無視できなくなる。そして、NTSC等のテレビジョン方式に準拠したフォーマット(秒間60フィールドの動画)で手振れ周波数の補正を行おうとすると、帰還ループ系の発振マージンが十分確保できずに補正光学系が発振状態に陥ってしまうこともあり得る。また、動きベクトルによる補正効果を高めるために動きベクトル処理部121のゲインを上げようとしたとき、高い周波数帯域に含まれる動きベクトル検出誤差等のノイズ成分も一様に増幅され、補正系の誤動作が顕著に現れてくる。
Here, as described above, in the feedback control system such as the present invention that extracts the motion amount from the captured image and performs optical correction, the accumulation time of the
これらの問題を解決するために動きベクトル処理部121により上記発振および誤動作につながる周波数帯域を減衰させ帰還制御系の安定性を向上させている。
In order to solve these problems, the motion
例えば図3(a)〜(c)に示すような波形310、波形320について考える。図3(a)は異なった振幅(波形310は波形320よりも振幅が小さい)で、異なった周波数(波形310は波形320の方よりも周波数が高い)の動き量を検出したことを想定して作図されている。この波形320は撮像系に加えられた正弦波であり、ブレ補正の信号を示している。一方、波形310は波形320と比較して小振幅かつ高い周波数からなっており、動きベクトル検出誤差等によるノイズ成分を想定している。それらから抽出した単位時間当たりのベクトルを、例えば311、321で示す矢印で表現している。この図において時間軸を等間隔に分割している目盛り302,303,304の間隔が単位時間を示しており、例えばNTSCの規格に準拠したタイミングで処理が行われるとすると単位時間は1/60秒となる。
For example, consider a
図4は動きベクトル処理部121の詳細なブロック図である。図6は動きベクトル処理部121での処理を示したフローチャートである。動きベクトル処理部121では、図3(b)、(c)に矢印で示したベクトル量313,323で表されるように、高い周波数である波形310はベクトル量の正負(増加、減少)の繰り返しの周期が低い波形320のそれに比べて短い。この点を利用して、本発明の図4は動きベクトル処理部121が高い周波数成分を除去する。
FIG. 4 is a detailed block diagram of the motion
図5において、先ずステップ#501はこのフローの始まりを示す。このフローは所定周期、例えばNTSCの規格に準拠したタイミング(60分の1秒)ごとに実行され、動きベクトルの検出を行う。次にステップ#502において、動きベクトル処理部121は動きベクトル検出部120によって検出されたベクトル量を取り込む。
In FIG. 5,
ステップ#503において、減算器402は、入力されたベクトル量と遅延器401に一時的に記憶された一周期前のタイミングに入力されたベクトル量の差を算出し、ベクトル変化量を求める。そしてステップ#504において、符号反転検出部403は減算器402にて算出されたベクトル変化量の符号(極性)と前回のベクトル変化量の符号を確認する。符号反転検出部403の出力が同一の符号ならばステップ#505へ進み、異なる符号ならばステップ#506へ進む。
In
ステップ#505においては、符号一致カウント部404がカウンタをインクリメントし、ステップ#507へ進む。そしてステップ#506においては、符号一致カウント部404がカウンタをクリアし、ステップ#507へ進む。
In step # 505, the code
ステップ#507においては、可変増幅器405に入力されたベクトル変化量に符号一致カウント部404のカウンタの値に応じた減衰率を乗じることによってベクトル加算量を求める。ここで、可変増幅器405に入力されたベクトル変化量とは、入力されたベクトル量から遅延器407に一時的に記憶された一周期前のタイミングに出力されたベクトル量を減算器408にて減算することによって得られたベクトル変化量である。
In
ステップ#508にて、加算器406にて、可変増幅器405の出力に遅延器407に一時的に記憶された一周期前のタイミングにて出力されたベクトル量を加算する。そしてステップ#509にて、算出されたベクトル量を出力する。
In
以上のように、ベクトル変化量の符号が反転したことを検出した場合には(ステップ#503)、そのベクトル量の変化量を小さくする(ステップ#507)。一方で、同一符号方向に複数回連続で増加あるいは減少しているベクトル量においては、そのベクトル量の変化量を徐々に大きくする(ステップ#506)。これにより、即ちどの程度の時間同一符号方向に複数回連続で増加あるいは減少しているか(持続時間)、またはベクトル量が同一符号方向に増加あるいは減少する連続回数をカウントし、ベクトル量に含まれる所定以上の周波数成分を減衰させることが可能になる。 As described above, when it is detected that the sign of the vector change amount is inverted (step # 503), the change amount of the vector amount is reduced (step # 507). On the other hand, for a vector amount that has increased or decreased continuously several times in the same sign direction, the amount of change in the vector amount is gradually increased (step # 506). Thus, that is, how much time is continuously increased or decreased several times in the same code direction (duration), or the number of times the vector amount increases or decreases in the same code direction is counted, and is included in the vector amount It becomes possible to attenuate a frequency component more than a predetermined value.
図6(a)におけるカウンタ値A(603)は減衰率を“0”に戻すまでのカウンタの値を示している。ステップ#507におけるカウンタの値に応じた減衰率は、サンプリング周波数及び減衰させたい周波数成分によりカウンタ値Aを適当に設定すればよい。すなわち、より高い周波数まで通過させたい場合には、カウンタ値Aを小さくし、高い周波数成分をより減衰させたい場合にはカウンタ値Aを大きく設定すればよい。なお、本実施例では、図6(a)における線分601を一定の傾きの直線で表しているが、任意の曲線を用いてもよい。また、カウンタ値が0における減衰率を100%としているが、任意の値を用いてもよい。
The counter value A (603) in FIG. 6A indicates the value of the counter until the attenuation rate is returned to “0”. The attenuation value corresponding to the counter value in
図6(b)は図6(a)に示した減衰率を持つ動きベクトル処理部121の出力を示した図である。カウンタ値Bは出力が100%となるときのステップ#507におけるカウンタの値を示しており、図6(a)におけるカウンタ値Aと同じ値である。ステップ#507におけるカウンタの値がカウンタ値Bよりも小さい場合には、線分611に示す出力特性となり、すなわち高い周波数成分が減衰されていることを示している。なお、図6(a)のカウンタ値A(603)と図6(b)のカウンタ値A(613)のカウンタ値は同じ値である。
FIG. 6B is a diagram showing an output of the motion
また、本実施例においては、符号反転検出部403がベクトル変化量の符号の反転を検出した場合に、すぐにカウンタをクリアしている(#506)が、カウンタ値を徐々に減算していくことにより、周波数特性を変えることも可能である。
In this embodiment, when the sign
更に、ベクトル加算量はベクトル変化量とカウンタ値によって一意に求めているが、算出されたベクトル加算量が所定の値を超えている場合には、ベクトル加算量をその所定の値に制限させることにより、高周波成分を減衰させることも可能である。これは同一方向に変化しているベクトル量に、動きベクトル検出エラーなどに起因するスパイク状のノイズが混入したような場合にこれを除去するのに有効である。 Furthermore, the vector addition amount is uniquely obtained from the vector change amount and the counter value. When the calculated vector addition amount exceeds a predetermined value, the vector addition amount is limited to the predetermined value. Thus, it is possible to attenuate high frequency components. This is effective in removing spike noise caused by a motion vector detection error or the like in a vector amount changing in the same direction.
また、本実施例においては、ベクトル量の変化量に応じて出力するベクトル量の変化量を制御しているので、ベクトル加算量に偏りが生じた場合には出力にオフセットが生じる場合がある。この場合には符号反転検出部403がベクトル量の符号の反転を検出したときに、可変増幅器405の出力を“0”に戻すことも有効である。
In this embodiment, since the change amount of the vector amount to be output is controlled according to the change amount of the vector amount, an offset may occur in the output when the vector addition amount is biased. In this case, it is also effective to return the output of the
(第2の実施例)
図7に、ジャイロセンサのような振れ検出センサによっても振れを検出するタイプのビデオカメラに本発明を用い、動きベクトルの検出を角速度センサと併用をした時の実施形態を示す。図8は本実施例における撮像装置(図7の撮像装置)の動きベクトル処理部721の詳細なブロック図である。同図おいて、上述の図1に示す第1の実施例と同一の構成部分については同一の符号を付し、詳細な説明は省略する。
(Second embodiment)
FIG. 7 shows an embodiment in which the present invention is applied to a video camera of a type that detects a shake even by a shake detection sensor such as a gyro sensor, and a motion vector is detected in combination with an angular velocity sensor. FIG. 8 is a detailed block diagram of the motion vector processing unit 721 of the imaging apparatus (imaging apparatus of FIG. 7) in the present embodiment. In the figure, the same components as those in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
同図において、特に前記第1の実施形態と異なるのは、動きベクトル検出部120より得られたベクトルに対して、パン・チルト判定部722の判定結果によって、動きベクトル処理部721が出力の補正を行う。さらに、手ブレ補正に用いられている振れ検出センサ701のより得られる揺れ信号と加算することにある。
In the figure, the difference from the first embodiment is that the motion vector processing unit 721 corrects the output of the vector obtained from the motion
振れ検出センサ701は、例えば、振動ジャイロの角速度センサを含み、手ブレ等による装置自体に加わる振れを検出し、その信号をDCカットフィルタ702に供給する。DCカットフィルタ702は、振れ検出センサ701からの振れ信号に含まれる直流(DC)成分を遮断して、該振れ信号の交流成分、すなわち振動成分のみをアンプ703に供給する。尚、DCカットフィルタ702として、所定の周波数帯域で入力信号を遮断するハイパスフィルタ(HPF)を用いてもよい。アンプ(増幅器)703は、DCカットフィルタ702からの信号を、最適な感度に増幅して、A/D変換器704に供給する。A/D変換器704は、アンプ703からの信号をディジタル化して、角速度データとしてuCOM内部のHPF705に供給する。 The shake detection sensor 701 includes, for example, a vibration gyro angular velocity sensor, detects shake applied to the apparatus itself due to camera shake and the like, and supplies the signal to the DC cut filter 702. The DC cut filter 702 blocks the direct current (DC) component included in the shake signal from the shake detection sensor 701 and supplies only the AC component of the shake signal, that is, the vibration component, to the amplifier 703. As the DC cut filter 702, a high pass filter (HPF) that cuts off an input signal in a predetermined frequency band may be used. The amplifier (amplifier) 703 amplifies the signal from the DC cut filter 702 to an optimum sensitivity and supplies the amplified signal to the A / D converter 704. The A / D converter 704 digitizes the signal from the amplifier 703 and supplies it to the HPF 705 inside the uCOM as angular velocity data.
本実施例中のマイクロコンピュータ(マイコン)uCOMは、HPF705、積分器706、制御フィルタ108、パルス幅変調部109、動きベクトル検出部120、及び動きベクトル処理部721、パン・チルト判定部722によって構成される。
The microcomputer uCOM in the present embodiment includes an HPF 705, an
uCOM内部には、A/D変換器704の出力が供給されるHPF705と、HPF705の出力が供給される積分器706が備えられている。また、動きベクトル検出部120の出力が供給される動きベクトル処理部721が備えられている。更に、A/D変換器704、積分器706の出力が供給されるパン・チルト判定部722が備えられている。そして、パン・チルト判定部722の判定結果に応じて、HPF705、積分器706、動きベクトル処理部721の演算が変更される。
Inside uCOM, an HPF 705 to which the output of the A / D converter 704 is supplied and an
HPF705は、任意の周波数帯域でその特性を可変し得る機能を有しており、A/D変換器704から出力されたディジタルの振れ信号(角速度データ)に含まれる低周波成分を遮断して出力する。積分器706は、任意の周波数帯域でその特性を可変し得る機能を有しており、HPF705から出力された角速度データを積分して、その積分結果を角変位データとして出力する。焦点距離補正部707は、ズーミング及びフォーカシング動作を行う変倍光学系713の、ズーム位置を検出するズームエンコーダ717から、現在のズーム位置情報を取得し、その情報から焦点距離を算出する。そして、この焦点距離情報と、上述した角変移データから、補正光学系112の駆動量であるジャイロ系補正データ(補正量)を算出する。
The HPF 705 has a function capable of varying its characteristics in an arbitrary frequency band, and cuts and outputs a low frequency component included in a digital shake signal (angular velocity data) output from the A / D converter 704. To do. The
振動ジャイロ等を用いた振れ検出センサ701では、1Hz以下の低域周波数において、角速度の検出特性が劣化する。したがって、この低周波数帯域では、補正誤差の影響が顕著となり、低域周波数のブレ残りが生じ、画質の劣化につながる。そこで、角速度検出の他に、撮像画像のブレ残りを検出する部、すなわち動きベクトル検出部120にて低周波数帯域のブレ残り量を検出し、これを補正することで、以下に示すような補正性能を向上させる処理を行う。
In the shake detection sensor 701 using a vibration gyro or the like, the angular velocity detection characteristics deteriorate at a low frequency of 1 Hz or less. Therefore, in this low frequency band, the influence of the correction error becomes significant, causing blurring of the low frequency, resulting in image quality degradation. Therefore, in addition to the angular velocity detection, a portion that detects the blur remaining in the captured image, that is, the motion
動きベクトル検出部120は、撮像装置700の撮像部118により得られた撮像画像情報から、信号処理部119で生成された映像信号に含まれる輝度信号に基づいて画像の動きベクトルを検出する。信号処理部119は、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成する。動きベクトル処理部721は、動きベクトル検出部120で検出された動きベクトルを補正光学系112の駆動量であるベクトル系補正データ(動き情報)に変換する。
The motion
上記ベクトル系補正データは、低周波数帯域のブレ残りを補正するための信号である。このベクトル系補正データと、上述したジャイロ系補正データを加算したデータが、低周波数帯域から高周波数帯域まで、全周波数帯域のブレ補正を行う、最終的な補正光学系112の駆動量(最終補正データ)となる。 The vector system correction data is a signal for correcting a blur remaining in a low frequency band. Data obtained by adding the vector system correction data and the above-described gyro system correction data performs blur correction of the entire frequency band from the low frequency band to the high frequency band. Data).
パン・チルト判定部722は、A/D変換器704から出力された角速度データ及び積分器706から出力された角変位データに基づいて、パンニング・チルティングの判定を行って、パンニング制御を行う。すなわち、角速度データが所定の閾値以上、或いは、角速度データが所定の閾値に満たなくとも角変位データ(積分結果)が所定の閾値以上であるならば、パンニング状態或いはチルティング状態であると判定し、パンニング制御を行う。このパンニング制御は、まず、HPF705のカットオフ周波数を高域側に変移させる。これにより、低域の周波数に対しては、ブレ補正が応答しないようになる。また、積分器706での積分演算に用いる時定数の値を短くなる方向に変移させる。これにより、ブレ補正位置が徐々に移動範囲中心へとセンタリングし、積分器706から出力される角変位データの値が基準値(ブレがない状態においてとりうる値)に徐々に近づいていく。更に、動きベクトル処理部721に入力される信号を小さくなる方向に変移させるために、図8のアンプ810を用いて動きベクトル検出からベクトル系補正データを算出する際のゲインを小さくする若しくはゼロとする。
The pan / tilt determination unit 722 determines panning / tilting based on the angular velocity data output from the A / D converter 704 and the angular displacement data output from the
一方、そうでない場合には、パンニング状態或いはチルティング状態でないと判定し、HPF705のカットオフ周波数を低域側に変移させ、また、積分器706での積分演算に用いる時定数の値も長くなる方向に変移させる。更に、動きベクトル処理部721に入力される信号を元に戻し(パンニング状態と判定されたときよりも大きくする)、動きベクトル検出からベクトル系補正データを算出する際のゲインを大きくする。これにより、HPF705の低域カットオフ周波数、及び積分器706での積分演算に用いる時定数の値、図8のアンプ810を用いて動きベクトル処理部721のベクトル系補正データ算出ゲインが各々元の状態に戻され、パンニング制御を解除することになる。
On the other hand, if not, it is determined that the panning state or the tilting state is not set, the cutoff frequency of the HPF 705 is shifted to the low frequency side, and the value of the time constant used for the integration operation in the
なお、本実施例においてはアンプ810にて動きベクトル処理部721に入力されるゲインを小さくした若しくはゼロとしたが、パンニング制御の時に動きベクトル処理部721に入力されるゲインが小さくなる若しくはゼロとなれば別の方法でも構わない。例えばスイッチにて動きベクトル処理部721に入力されるゲインを切ってしまってもよいし、動きベクトル検出部120からの出力がμCOMに入力される際にゲインを小さくする若しくはゼロにしても構わない。
In this embodiment, the gain input to the motion vector processing unit 721 is reduced or zero by the
以上の演算器を含む動きベクトル処理部721により動きベクトル検出部120より検出されたベクトルを加工し、補正光学系112を駆動するものである。なお、ブレ補正を行う手段として、補正光学系112(例えばシフトレンズ)を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム(VAP)や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。
The vector detected by the motion
以上説明したように、過去に検出した動き量の差分に応じて現在の動き量を制御することにより、動きベクトルに重畳された高周波成分のみを減衰させることが可能となる。これにより、動きベクトル検出誤差等のノイズ成分を含んだ周波数帯域、および発振要因となり得る周波数帯域を減衰することで帰還制御系の安定性を確保しつつ補正ゲインを上げ、ブレ補正効果を向上させた撮像装置を提供することが可能となる。 As described above, it is possible to attenuate only the high-frequency component superimposed on the motion vector by controlling the current motion amount according to the difference between the motion amounts detected in the past. This attenuates the frequency band that includes noise components such as motion vector detection errors and the frequency band that can cause oscillation, thereby increasing the correction gain while ensuring the stability of the feedback control system and improving the blur correction effect. It is possible to provide an image pickup apparatus.
112 補正光学系 112 Correction optical system
Claims (2)
前記減衰手段は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする撮像装置。The imaging means characterized in that the attenuation means increases the attenuation rate when the frequency of the motion vector waveform is higher than a predetermined value compared to when the frequency of the motion vector waveform is lower than the predetermined value. apparatus.
前記減衰工程は、前記動きベクトルの波形の周波数が所定値よりも高い場合、前記動きベクトルの波形の周波数が前記所定値よりも低い場合に比べて前記減衰率を大きくすることを特徴とする撮像方法。In the attenuating step, when the frequency of the motion vector waveform is higher than a predetermined value, the attenuation rate is increased as compared with the case where the frequency of the motion vector waveform is lower than the predetermined value. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014251271A JP2015057670A (en) | 2014-12-11 | 2014-12-11 | Imaging apparatus and control method of imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014251271A JP2015057670A (en) | 2014-12-11 | 2014-12-11 | Imaging apparatus and control method of imaging apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009295432A Division JP5665314B2 (en) | 2009-12-25 | 2009-12-25 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015057670A true JP2015057670A (en) | 2015-03-26 |
Family
ID=52815743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014251271A Pending JP2015057670A (en) | 2014-12-11 | 2014-12-11 | Imaging apparatus and control method of imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015057670A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017032908A (en) * | 2015-08-05 | 2017-02-09 | キヤノン株式会社 | Image blur correction device, control method thereof, and imaging device |
CN106911889A (en) * | 2015-09-15 | 2017-06-30 | 佳能株式会社 | Image blur collection and slant correction equipment and its control method |
CN107820019A (en) * | 2017-11-30 | 2018-03-20 | 广东欧珀移动通信有限公司 | Blur image acquiring method, device and equipment |
EP3454544A2 (en) | 2017-08-14 | 2019-03-13 | Canon Kabushiki Kaisha | Imaging apparatus and control method for the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164188A (en) * | 1997-12-01 | 1999-06-18 | Canon Inc | Photographing device and image-pickup device with interchangeable lens |
-
2014
- 2014-12-11 JP JP2014251271A patent/JP2015057670A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164188A (en) * | 1997-12-01 | 1999-06-18 | Canon Inc | Photographing device and image-pickup device with interchangeable lens |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017032908A (en) * | 2015-08-05 | 2017-02-09 | キヤノン株式会社 | Image blur correction device, control method thereof, and imaging device |
CN106911889A (en) * | 2015-09-15 | 2017-06-30 | 佳能株式会社 | Image blur collection and slant correction equipment and its control method |
CN106911889B (en) * | 2015-09-15 | 2020-04-14 | 佳能株式会社 | Image blur correction apparatus and tilt correction apparatus, and control methods thereof |
EP3454544A2 (en) | 2017-08-14 | 2019-03-13 | Canon Kabushiki Kaisha | Imaging apparatus and control method for the same |
US10778894B2 (en) | 2017-08-14 | 2020-09-15 | Canon Kabushiki Kaisha | Imaging apparatus and control method for the same |
CN107820019A (en) * | 2017-11-30 | 2018-03-20 | 广东欧珀移动通信有限公司 | Blur image acquiring method, device and equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7983547B2 (en) | Imaging apparatus | |
JP5553597B2 (en) | Imaging apparatus and control method thereof | |
US10321058B2 (en) | Image pickup apparatus and motion vector detection method | |
JP5501119B2 (en) | Imaging apparatus and control method thereof | |
JP6257207B2 (en) | Image shake correction apparatus and control method therefor, lens barrel, and imaging apparatus | |
JP5409342B2 (en) | Imaging apparatus and control method thereof | |
US9626743B2 (en) | Image stabilization apparatus, method of controlling the same, image capturing apparatus, lens apparatus, and storage medium | |
JP6040338B2 (en) | Camera shake correction device, imaging device | |
JP5572031B2 (en) | Imaging apparatus and control method thereof | |
JP2012037778A (en) | Image pickup apparatus | |
US20180063437A1 (en) | Control apparatus, image capturing apparatus, lens apparatus, control method, and non-transitory computer-readable storage medium | |
JP2012058545A (en) | Imaging device | |
JP2015057670A (en) | Imaging apparatus and control method of imaging apparatus | |
JP2017134177A (en) | Image tremor detection device and method, as well as imaging device | |
JP5612917B2 (en) | Optical apparatus and control method thereof | |
JP5247782B2 (en) | Optical apparatus, imaging apparatus including the same, and control method of optical apparatus | |
US10212364B2 (en) | Zoom control apparatus, image capturing apparatus and zoom control method | |
JP2014128016A (en) | Imaging apparatus and its control method | |
US20140125826A1 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP2011135462A (en) | Imaging apparatus, and control method thereof | |
JP5665314B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2012018328A (en) | Optical apparatus, image pickup apparatus, and control method of optical apparatus | |
JP2014126859A (en) | Imaging apparatus, method of controlling the same, program and storage medium | |
JP7175702B2 (en) | Image blur correction device and its control method, imaging device | |
KR20190080724A (en) | Signal processing device, imaging device, blur angle calculation method, and blur angle calculation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160614 |