JP2002016834A - Apparatus and method for correction of shake of imaging device - Google Patents

Apparatus and method for correction of shake of imaging device

Info

Publication number
JP2002016834A
JP2002016834A JP2000197238A JP2000197238A JP2002016834A JP 2002016834 A JP2002016834 A JP 2002016834A JP 2000197238 A JP2000197238 A JP 2000197238A JP 2000197238 A JP2000197238 A JP 2000197238A JP 2002016834 A JP2002016834 A JP 2002016834A
Authority
JP
Japan
Prior art keywords
signal
motion vector
output
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000197238A
Other languages
Japanese (ja)
Other versions
JP3751799B2 (en
Inventor
Tetsuo Sakurai
哲夫 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000197238A priority Critical patent/JP3751799B2/en
Publication of JP2002016834A publication Critical patent/JP2002016834A/en
Application granted granted Critical
Publication of JP3751799B2 publication Critical patent/JP3751799B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To correct the motion of an image in an image signal due to the shake of an imaging device. SOLUTION: The output of an angular velocity sensor 13 is amplified by an AGC amplifier 14 at an arbitrary amplification factor, and it is converted into a motion vector-corresponding signal S2 by a correction part 103. The signal S2 and a motion vector signal S1 from a motion-vector sensing circuit 7 are compared in a comparison and decision part 106. On the basis of its comparison result, the reliability of a motion vector is determined. When the degree of the reliability is in a tolerance, the processing operation of a memory control circuit 8 is executed, and the processing operation of a gain control unit 104 is executed. When the degree of the reliability is not in the tolerance, the processing operation of the part 104 is stopped, and the correction processing operation of the motion of the image in the video image signal by the circuit 8 is stopped.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、例えばビデオカ
メラの揺れによる映像信号中の画像の動きを補正する撮
像装置の揺れ補正装置及び方法に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to a shake correction apparatus and method for an image pickup apparatus for correcting the movement of an image in a video signal due to a shake of a video camera, for example.

【0002】[0002]

【従来の技術】周知のように、例えば野外監視に用いら
れるビデオカメラは、設置する場所によっては風などの
外的要因によりビデオカメラごと揺すられる場合があ
る。例えば道路監視において、ポールにビデオカメラを
取り付けた場合に、風や自動車の振動によってポールが
揺すられてそこに取り付けたビデオカメラも同様に揺す
られる。その場合、ビデオカメラの映像は、ポールの揺
れに伴って画角が変動し大変見苦しいものとなる。
2. Description of the Related Art As is well known, for example, a video camera used for outdoor monitoring may be shaken by an external factor such as wind depending on a place where the video camera is installed. For example, in road monitoring, when a video camera is attached to a pole, the pole is shaken by the wind or the vibration of an automobile, and the video camera attached to the pole is also shaken. In this case, the image of the video camera becomes very unsightly because the angle of view fluctuates with the swing of the pole.

【0003】このような問題に対し、従来のビデオカメ
ラでは、揺れ補正回路を追加して、揺れによる最終映像
信号中の画像の動きを低減させ、揺れを目立たないよう
にしている。この種の揺れ補正回路では、撮像素子で得
られ、時間的に連続する画面間の動きベクトルを検出
し、この検出結果からビデオカメラが揺れたことによる
映像信号中の画像の動きを補正する第1の手法や、ビデ
オカメラの揺れ量を物理的に検出する角速度センサを使
用して、この角速度センサによる検出結果から映像信号
中の画像の動きを補正する第2の手法が採用されてい
る。
In order to solve such a problem, in a conventional video camera, a shake correction circuit is added to reduce the movement of an image in a final video signal due to the shake, thereby making the shake less noticeable. This type of shake correction circuit detects a motion vector between temporally continuous screens obtained by an image pickup device and, based on the detection result, corrects a motion of an image in a video signal due to a shake of a video camera. The first method and the second method of correcting the movement of an image in a video signal from the detection result by the angular velocity sensor using an angular velocity sensor that physically detects the amount of shake of the video camera are adopted.

【0004】なお、上記の各手法による揺れ補正技術に
関しては、特開平6−339063号、特公平5−23
545号にその詳細が記載されているので、ここではそ
の説明を省略する。
[0004] Japanese Patent Application Laid-Open No. Hei 6-339063 and Japanese Patent Publication No. Hei 5-23 disclose the shake correction technique based on each of the above methods.
No. 545 describes the details, and the description thereof will be omitted here.

【0005】[0005]

【発明が解決しようとする課題】ところで、上記第1の
手法では、検出精度が高く、個体差、経年変化によるば
らつきがなく、メモリ切り出しを実際の動いた量(画素
ピッチ)そのもので行なうことができるが、以下のよう
な問題点を有している。 (1)動きのある被写体に対しては、ビデオカメラの動
きではなく被写体の動きをベクトル量として検出してし
まう。 (2)コントラストの少ない被写体(暗い被写体を含
む)ではベクトルを上手く検出できない。 (3)高感度モードでは映像の露光サンプル時間が低下
するため補正が困難となる。
By the way, in the first method, the detection accuracy is high, there is no variation due to individual differences and aging, and the memory cutout can be performed by the actual moving amount (pixel pitch) itself. Although it is possible, it has the following problems. (1) For a moving subject, the motion of the subject is detected as a vector amount instead of the motion of the video camera. (2) Vectors cannot be detected well in subjects with low contrast (including dark subjects). (3) In the high sensitivity mode, correction becomes difficult because the exposure sample time of an image is reduced.

【0006】また、上記第2の手法では、ビデオカメラ
の揺れそのものを検出するため、動きベクトルのように
被写体(映像信号)の状態に影響されない。しかし、以
下のような問題点を有している。 (4)ビデオカメラの取り付け状態により、動きに回転
が伴わない場合は検出信号が小さくなる。 (5)センサ出力はアナログ微小信号のためノイズに弱
い。そのため、レンズのズームで画像を拡大した場合に
はビデオカメラの揺れに対する映像の動き量が大きくな
り、単位画素(映像に換算した揺れ量)あたりのセンサ
出力信号が小さくなってしまい、SNが悪く検出精度が
悪化する。 (6)センサ出力のばらつき(感度、オフセット)が大
きい。 そこで、この発明の目的は、センサ出力の個体差による
ばらつきや、撮像装置の設置条件による撮像装置の実際
の揺れと回転運動の変換率との違いに影響されることな
く、自動的に撮像装置の揺れの検出精度を向上させて、
撮像装置の揺れによる画像の動きを確実に補正し得る撮
像装置の揺れ補正装置及び方法を提供することにある。
[0006] In the second method, since the shaking of the video camera itself is detected, it is not affected by the state of the subject (video signal) unlike the motion vector. However, it has the following problems. (4) Depending on the mounting state of the video camera, if the movement does not involve rotation, the detection signal becomes small. (5) The sensor output is vulnerable to noise because of an analog small signal. Therefore, when an image is enlarged by zooming the lens, the amount of motion of the image with respect to the shake of the video camera increases, and the sensor output signal per unit pixel (the amount of shake converted into the image) decreases, resulting in a poor SN. The detection accuracy deteriorates. (6) The variation (sensitivity, offset) of the sensor output is large. Therefore, an object of the present invention is to provide an automatic imaging apparatus without being affected by variations due to individual differences in sensor outputs and a difference between an actual shaking of an imaging apparatus and a conversion rate of a rotational motion due to installation conditions of the imaging apparatus. To improve the detection accuracy of
An object of the present invention is to provide a shake correction apparatus and method for an imaging device that can reliably correct the movement of an image due to the shake of the imaging device.

【0007】[0007]

【課題を解決するための手段】この発明に係る撮像装置
の揺れ補正装置は、撮像素子から出力される映像信号か
ら動きベクトルを検出する動きベクトル検出手段と、こ
の動きベクトル検出手段による検出結果に基づいて撮像
装置が揺れたことによる映像信号中の画像の動きを補正
する動き補正手段とを備える撮像装置の揺れ補正装置に
おいて、撮像装置の揺れ量を物理的に検出する物理セン
サと、この物理センサの出力を任意の増幅率で増幅する
増幅手段と、この増幅手段の出力信号を動きベクトル検
出手段で検出される動きベクトル相当の信号に変換する
信号変換手段と、この信号変換手段の出力信号が前記動
きベクトル検出手段の出力信号と略一致するように増幅
手段の増幅率を制御する増幅制御手段と、前記信号変換
手段の出力信号と動きベクトル検出手段の出力信号とを
比較して前記動きベクトルの信頼性を判断し、その信頼
性の度合い応じて、前記動き補正手段に対して処理の実
行・停止を制御するとともに、前記増幅制御手段に対し
て処理の実行・停止を制御する実行・停止制御手段とを
備えるようにしたものである。
According to a first aspect of the present invention, there is provided a shake correcting apparatus for an image pickup apparatus, comprising: a motion vector detecting means for detecting a motion vector from a video signal output from an image sensor; A motion sensor that corrects the motion of the image in the video signal due to the image device shaking based on the physical sensor that physically detects the amount of vibration of the image capturing device; Amplifying means for amplifying the output of the sensor at an arbitrary amplification factor; signal converting means for converting an output signal of the amplifying means into a signal corresponding to a motion vector detected by a motion vector detecting means; and an output signal of the signal converting means Amplification control means for controlling the amplification factor of the amplification means so as to substantially match the output signal of the motion vector detection means, and an output signal of the signal conversion means Comparing the output signal of the motion vector detection means with the output signal of the motion vector detection means to determine the reliability of the motion vector. Execution / stop control means for controlling execution / stop of the process with respect to the means.

【0008】この構成では、動きベクトルを利用して撮
像装置が揺れたことによる映像信号中の画像の動きを補
正する場合に、物理センサを利用して実際の撮像装置の
揺れ量を検出し、動きベクトルの大きさに対して物理セ
ンサで検出される揺れ量がわずかである場合には、動き
ベクトルの信頼性が低いものと判断して、動き補正処理
を停止させるようにしている。このとき、両者の比較に
おいて、物理センサ出力の個体差によるばらつきや、撮
像装置の設置条件による撮像装置の実際の揺れと回転運
動の変換率との違いが問題となる。そこで、物理センサ
の出力を増幅し、動きベクトル相当の信号に変換した上
で動きベクトルと比較し、両者が略一致するように物理
センサ出力に対する増幅率を制御しておくことで、上記
の問題を解決し、物理センサによる揺れ量検出精度を向
上させている。但し、動きベクトルの信頼性が低い場合
にセンサ出力に対する増幅率を制御すると、逆に精度が
低下してしまうことになる。そこで、上記したセンサ出
力と動きベクトルとの比較結果から、動きベクトルの信
頼性がある程度得られるときにセンサ出力に対する増幅
率を制御するようにし、信頼性が低い場合には、増幅率
の制御を停止するようにしている。
In this configuration, when the motion of the image in the video signal due to the motion of the image pickup device is corrected using the motion vector, the actual amount of fluctuation of the image pickup device is detected using the physical sensor. If the amount of fluctuation detected by the physical sensor is small relative to the magnitude of the motion vector, it is determined that the reliability of the motion vector is low, and the motion correction processing is stopped. At this time, in the comparison between the two, a problem due to an individual difference of the physical sensor output and a difference between the actual shaking of the imaging device and the conversion ratio of the rotational motion due to the installation condition of the imaging device become problems. Therefore, the above problem is solved by amplifying the output of the physical sensor, converting it to a signal equivalent to a motion vector, comparing the signal with the motion vector, and controlling the amplification factor with respect to the output of the physical sensor so that the two substantially match. To improve the accuracy of detecting the amount of shaking by the physical sensor. However, if the amplification factor for the sensor output is controlled in the case where the reliability of the motion vector is low, the accuracy will conversely decrease. Therefore, based on the result of comparison between the sensor output and the motion vector, the amplification factor for the sensor output is controlled when the reliability of the motion vector is obtained to some extent, and when the reliability is low, the amplification factor is controlled. I try to stop.

【0009】また、この発明に係る撮像装置の揺れ補正
装置は、撮像装置の揺れ量を物理的に検出する物理セン
サと、この物理センサにより検出された前記撮像装置の
揺れ量に基づいて撮像素子から出力される映像信号中の
画像の動きを補正する動き補正手段とを備える撮像装置
の揺れ補正装置において、撮像素子から出力される映像
信号から動きベクトルを検出する動きベクトル検出手段
と、物理センサの出力を任意の増幅率で増幅する増幅手
段と、この増幅手段の出力信号を動きベクトル検出手段
で検出される動きベクトル相当の信号に変換し、動き補
正手段に与える信号変換手段と、この信号変換手段の出
力信号が前記動きベクトル検出手段の出力信号と略一致
するように前記増幅手段の増幅率を制御する増幅制御手
段と、前記信号変換手段の出力信号と動きベクトル検出
手段の出力信号とを比較して前記動きベクトルの信頼性
を判断し、その信頼性の度合いに応じて前記増幅制御手
段に対して処理の実行・停止を制御する実行・停止制御
手段とを備えるようにしたものである。
According to another aspect of the present invention, there is provided a shake correction device for an image pickup apparatus, wherein a physical sensor for physically detecting a shake amount of the image pickup apparatus, and an image sensor based on the shake amount of the image pickup apparatus detected by the physical sensor. A motion compensation unit for compensating the motion of an image in a video signal output from a camera, a motion vector detection unit for detecting a motion vector from a video signal output from the image sensor, and a physical sensor Amplifying means for amplifying an output of the amplifying means at an arbitrary amplification factor, a signal converting means for converting an output signal of the amplifying means into a signal corresponding to a motion vector detected by a motion vector detecting means, and providing the signal to a motion correcting means Amplification control means for controlling an amplification factor of the amplification means so that an output signal of the conversion means substantially matches an output signal of the motion vector detection means; The reliability of the motion vector is determined by comparing the output signal of the means with the output signal of the motion vector detection means, and the execution / stop of the process is controlled by the amplification control means according to the degree of the reliability. And execution / stop control means.

【0010】この構成では、物理センサを利用して撮像
装置が揺れたことによる映像信号中の画像の動きを補正
する場合に、物理センサ出力の個体差によるばらつき
や、撮像装置の設置条件による撮像装置の実際の揺れと
回転運動の変換率との違いが問題となることに着目し、
映像信号から得られる動きベクトルを利用して、物理セ
ンサの出力を増幅し、動きベクトル相当の信号に変換し
た上で動きベクトルと比較し、両者が略一致するように
物理センサ出力に対する増幅率を制御することで、物理
センサによる揺れ量検出精度を向上させている。但し、
動きベクトルの信頼性が低い場合にセンサ出力に対する
増幅率を制御すると、逆に精度が低下してしまうことに
なる。そこで、上記したセンサ出力と動きベクトルとの
比較結果から、動きベクトルの信頼性がある程度得られ
るときにセンサ出力に対する増幅率を制御するように
し、信頼性が低い場合には、増幅率の制御を停止するよ
うにしている。
With this configuration, when correcting the movement of the image in the video signal due to the shaking of the imaging device using the physical sensor, the variation due to the individual difference of the output of the physical sensor and the imaging condition based on the installation condition of the imaging device are used. Focusing on the problem of the difference between the actual swing of the device and the conversion rate of the rotational movement,
Using the motion vector obtained from the video signal, the output of the physical sensor is amplified, converted into a signal equivalent to the motion vector, and compared with the motion vector. By controlling, the accuracy of detecting the amount of swing by the physical sensor is improved. However,
If the amplification factor for the sensor output is controlled in the case where the reliability of the motion vector is low, the accuracy will conversely decrease. Therefore, based on the result of comparison between the sensor output and the motion vector, the amplification factor for the sensor output is controlled when the reliability of the motion vector is obtained to some extent, and when the reliability is low, the amplification factor is controlled. I try to stop.

【0011】また、上記構成において、前記実行・停止
制御手段は、少なくとも撮像素子から得られる映像信号
のコントラスト、明度、ヒストグラム、感度モードのい
ずれかに基づいて、前記動きベクトルの信頼性を判定
し、信頼性の度合いが許容範囲に入らないときは強制的
に停止制御を行うことを特徴とする。
In the above configuration, the execution / stop control means determines the reliability of the motion vector based on at least one of the contrast, brightness, histogram, and sensitivity mode of the video signal obtained from the image sensor. When the degree of reliability does not fall within the allowable range, stop control is forcibly performed.

【0012】すなわち、映像信号のコントラストが不十
分であった場合や、暗かったり、高感度モードに設定さ
れていた場合には、映像信号中から十分な動きベクトル
が得られない状況にあるから、物理センサ出力と比較す
るまでもなく、動きベクトル出力の信頼性は低い。そこ
で、上記構成では、映像信号のコントラスト、明度、ヒ
ストグラム、感度モードの少なくともいずれかから動き
ベクトルの信頼性を判定し、信頼性の度合いが許容範囲
に入らないときは強制的に停止制御を行うようにしてい
る。
That is, if the contrast of the video signal is insufficient, or if the video signal is dark or the high sensitivity mode is set, a sufficient motion vector cannot be obtained from the video signal. Needless to say, compared with the physical sensor output, the reliability of the motion vector output is low. Therefore, in the above configuration, the reliability of the motion vector is determined from at least one of the contrast, brightness, histogram, and sensitivity mode of the video signal, and when the degree of reliability does not fall within the allowable range, stop control is forcibly performed. Like that.

【0013】また、上記構成において、増幅制御手段
は、制御動作時に信号変換手段の出力信号と動きベクト
ル検出手段による検出信号とが略一致した時の制御結果
を格納する記憶手段を備え、前記実行・停止制御手段に
より停止制御を受けた場合に、前記記憶手段に格納され
た制御結果に対応する増幅率を前記増幅手段に設定する
ことを特徴とする。
In the above configuration, the amplification control means includes a storage means for storing a control result when an output signal of the signal conversion means and a detection signal of the motion vector detection means substantially coincide with each other during a control operation, and When the stop control is received by the stop control means, an amplification factor corresponding to the control result stored in the storage means is set in the amplification means.

【0014】この構成では、動きベクトルの信頼性が低
く、増幅制御手段が処理の停止制御を受けた場合に、記
憶手段から制御動作時に格納した、動きベクトル相当の
信号と映像信号から検出した動きベクトルとが略一致し
た時の制御結果を読み出して、この制御結果に対応する
増幅率を増幅手段に設定するようにしている。これによ
り、物理センサによる揺れ量検出精度を維持することが
でき、被写体の状態に影響されることなく撮像装置が揺
れたことによる映像信号中の画像の動きを補正すること
ができる。また、動きベクトルの信頼性が得られる度
に、記憶手段に格納される制御結果が更新されるため、
経年変化にも対応可能であり、学習効果を持たせること
もできる。
In this configuration, the reliability of the motion vector is low, and when the amplification control unit receives the stop control of the process, the motion detected from the signal corresponding to the motion vector and the video signal stored during the control operation from the storage unit. The control result when the vector substantially matches the control result is read out, and an amplification factor corresponding to the control result is set in the amplification means. This makes it possible to maintain the accuracy of detecting the amount of fluctuation by the physical sensor, and correct the movement of the image in the video signal due to the fluctuation of the imaging device without being affected by the state of the subject. In addition, every time the reliability of the motion vector is obtained, the control result stored in the storage unit is updated.
It can respond to aging and can have a learning effect.

【0015】また、上記構成において、前記信号変換手
段は、撮像装置にズームレンズが設けられているとき、
ズームの倍率に応じて前記増幅手段の出力信号を前記動
きベクトル検出手段で検出される動きベクトル相当の信
号に変換することを特徴とする。
[0015] In the above arrangement, the signal conversion means is provided when a zoom lens is provided in the imaging device.
An output signal of the amplifying unit is converted into a signal corresponding to a motion vector detected by the motion vector detecting unit in accordance with a zoom magnification.

【0016】このようにすることで、レンズのズーム倍
率に対応して物理センサの出力を動きベクトル相当に変
換することができ、これによりSNが悪くなったり検出
精度が悪化することを防止できる。
By doing so, the output of the physical sensor can be converted into a motion vector corresponding to the zoom magnification of the lens, thereby preventing the SN from deteriorating and the detection accuracy from deteriorating.

【0017】[0017]

【発明の実施の形態】以下、この発明の実施形態につい
て図面を参照して詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0018】(第1の実施形態)図1は、この発明に係
わるビデオカメラの揺れ補正装置の一実施形態の構成を
示すブロック図である。
(First Embodiment) FIG. 1 is a block diagram showing the configuration of an embodiment of a shake correction device for a video camera according to the present invention.

【0019】図1において、ズームレンズ1を介して撮
像した映像は、撮像素子2により電気信号に変換されて
サンプル・ホールド回路(S/H回路)3でサンプリン
グ処理が施される。このサンプル・ホールド回路3の出
力信号は、A/D(アナログ/デジタル)変換器4でデ
ジタル信号に変換され、信号処理回路5でホワイトバラ
ンス、ガンマ補正、ディテール等の処理が施され、メモ
リ6に格納される。
In FIG. 1, an image picked up via a zoom lens 1 is converted into an electric signal by an image pickup device 2 and subjected to a sampling process in a sample / hold circuit (S / H circuit) 3. The output signal of the sample-and-hold circuit 3 is converted into a digital signal by an A / D (analog / digital) converter 4, subjected to processing such as white balance, gamma correction, and details by a signal processing circuit 5. Is stored in

【0020】A/D変換器4の出力信号は、動きベクト
ル検出回路7にも入力され、動きベクトル信号S1を得
る。この動きベクトル信号S1は、画素が単位時間あた
り(例えば1フィールド)何画素動いたかをX,Y方向
について示すものである。この動きベクトル信号S1は
メモリ制御回路8及びマイクロコンピュータ10に入力
される。メモリ制御回路8は、入力されたベクトル量
(ビデオカメラの動き量)に応じてそれを打ち消すよう
にメモリ6の書き込みエリアから切り出しエリアを決定
してメモリ6の読み出し制御を行なう。メモリ6の出力
信号は、テレビモニタの画角に合わせるために、電子ズ
ーム回路9で拡大してエンコーダ11でNTSCビデオ
信号に変換し、D/A(デジタル/アナログ)変換器1
2によってアナログの最終ビデオ出力信号を得る。
The output signal of the A / D converter 4 is also input to a motion vector detection circuit 7 to obtain a motion vector signal S1. The motion vector signal S1 indicates how many pixels the pixel has moved per unit time (for example, one field) in the X and Y directions. This motion vector signal S1 is input to the memory control circuit 8 and the microcomputer 10. The memory control circuit 8 determines a cut-out area from a writing area of the memory 6 and controls reading of the memory 6 according to the input vector amount (movement amount of the video camera) so as to cancel the vector amount. The output signal of the memory 6 is enlarged by an electronic zoom circuit 9 and converted into an NTSC video signal by an encoder 11 so as to match an angle of view of a television monitor, and is converted into a D / A (digital / analog) converter 1.
2 obtains an analog final video output signal.

【0021】マイクロコンピュータ10は、A/D変換
部102、補正部103、ゲイン制御部104、不揮発
性メモリ105、比較判定部106で構成される。
The microcomputer 10 includes an A / D conversion unit 102, a correction unit 103, a gain control unit 104, a nonvolatile memory 105, and a comparison determination unit 106.

【0022】A/D変換部102には、ビデオカメラの
揺れ量を物理的に検出する角速度センサ13の出力をA
GC(オート・ゲイン・コントローラ)14で任意の増
幅率で増幅した信号が入力される。なお、角速度センサ
13は、水平方向用及び垂直方向用の二重構成のセンサ
であり、AGCアンプ14も各方向の検出信号を増幅す
る二重構成のアンプである。
The A / D converter 102 outputs the output of the angular velocity sensor 13 for physically detecting the amount of shake of the video camera to A / D.
A signal amplified at an arbitrary gain by a GC (auto gain controller) 14 is input. The angular velocity sensor 13 has a dual configuration for the horizontal and vertical directions, and the AGC amplifier 14 has a dual configuration for amplifying the detection signal in each direction.

【0023】このAGCアンプ14の増幅信号は、A/
D変換部102でデジタル信号に変換され、補正部10
3によって動きベクトル検出回路7で検出される動きベ
クトル相当の信号S2に変換されて後、ゲイン制御部1
04及び比較判定部106にそれぞれ供給される。補正
部103は、ズームレンズ1のズーム位置によって補正
量を変えることによりどのズーム位置において動きベク
トル相当の信号が得られるように補正処理を行なう。こ
れにより、SNが悪くなったり検出精度が悪化すること
を防止できる。
The amplified signal of the AGC amplifier 14 is A / A
The signal is converted into a digital signal by the D conversion unit 102 and
3, after being converted into a signal S2 equivalent to a motion vector detected by the motion vector detection circuit 7,
04 and the comparison determination unit 106. The correction unit 103 performs a correction process by changing a correction amount depending on the zoom position of the zoom lens 1 so that a signal corresponding to a motion vector can be obtained at any zoom position. As a result, it is possible to prevent the SN from deteriorating and the detection accuracy from deteriorating.

【0024】ゲイン制御部104は、補正部103の出
力信号S2が動きベクトル検出回路7からの動きベクト
ル信号S1と略一致するように、比較結果信号S4をA
GCアンプ14に出力して増幅率を制御する。また、ゲ
イン制御部104は、制御動作時に、動きベクトル信号
S1と補正部103の出力信号S2とが一致した時の増
幅設定値を不揮発性メモリ105に記憶する。
The gain control unit 104 converts the comparison result signal S4 to A so that the output signal S2 of the correction unit 103 substantially matches the motion vector signal S1 from the motion vector detection circuit 7.
The signal is output to the GC amplifier 14 to control the amplification factor. Further, the gain control unit 104 stores the amplification setting value when the motion vector signal S1 matches the output signal S2 of the correction unit 103 in the nonvolatile memory 105 during the control operation.

【0025】比較判定部106は、動きベクトル信号S
1と補正部103の出力信号S2とを比較しその相関を
見ることにより、動きベクトル信号S1の信頼性を判断
している。さらに、信号処理回路5から出力されるコン
トラストの情報、感度モードを示す信号S7より、動き
ベクトルの信頼性を判定し、その信頼性の度合いに応じ
て、メモリ制御回路8に対して処理の実行・停止を制御
するとともに、ゲイン制御部104に対し処理の実行・
停止を制御する。
The comparing and judging section 106 calculates the motion vector signal S
1 and the output signal S2 of the correction unit 103, and the correlation is determined to determine the reliability of the motion vector signal S1. Further, the reliability of the motion vector is determined from the contrast information output from the signal processing circuit 5 and the signal S7 indicating the sensitivity mode, and the processing is executed on the memory control circuit 8 according to the degree of the reliability. Control the stop and execute the processing to the gain control unit 104
Control the stop.

【0026】また、ゲイン制御部104は、比較判定部
106から制御開始の通知S5を受けると、S1とS2
が一致するようにAGCアンプ14の増幅率を制御し、
一致した時の設定値を不揮発性メモリ105に記憶す
る。以後、AGCアンプ104は不揮発性メモリ105
に記憶した値で動作する。
When the gain control unit 104 receives the control start notification S5 from the comparison determination unit 106, the gain control unit 104 executes S1 and S2.
The gain of the AGC amplifier 14 is controlled so that
The set value at the time of coincidence is stored in the nonvolatile memory 105. Thereafter, the AGC amplifier 104 becomes the nonvolatile memory 105
It operates with the value stored in.

【0027】次に、上記構成における揺れ補正の原理に
ついて図2を参照して説明する。メモリ6において、メ
モリ切り出しエリア(実際に読み出す範囲)は、メモリ
制御回路8によりビデオカメラの動いた方向と逆に移動
される。読み出し信号は、実際の撮像範囲より小さくな
るため、電子ズーム回路9によって電子ズームで拡大
し、テレビモニタの画角に合わせる。
Next, the principle of shake correction in the above configuration will be described with reference to FIG. In the memory 6, the memory cutout area (the range to be actually read) is moved by the memory control circuit 8 in a direction opposite to the moving direction of the video camera. Since the readout signal is smaller than the actual imaging range, the readout signal is enlarged by the electronic zoom by the electronic zoom circuit 9 to match the angle of view of the television monitor.

【0028】次に、上記比較判定部106における相関
判定方法について図3を参照して説明する。比較判定部
106では、動きベクトル信号S1と補正部103の出
力信号S2との差をとり、その値がしきい値範囲内であ
れば動きベクトルはビデオカメラの動きを検出したもの
と判断する。すなわち、角速度センサ13の出力は、ビ
デオカメラの動きのみに反応するため、角速度センサ1
3の検出結果との相関が強ければビデオカメラの揺れを
検出したものと判断できる。なお、判定にしきい値を持
たせているのは、角速度センサ13の出力は個体差によ
るばらつき、ビデオカメラの取り付け状態によるビデオ
カメラの実際の揺れと角速度の変換率との違いにより、
補正後の信号であっても実際の動きベクトルとの関係が
ばらつく(完全には一致しない)ためである。
Next, the correlation judgment method in the comparison judgment section 106 will be described with reference to FIG. The comparison / determination unit 106 determines the difference between the motion vector signal S1 and the output signal S2 of the correction unit 103, and if the value is within the threshold range, determines that the motion vector has detected the motion of the video camera. That is, since the output of the angular velocity sensor 13 responds only to the movement of the video camera, the angular velocity sensor 1
If the correlation with the detection result of No. 3 is strong, it can be determined that the shaking of the video camera has been detected. The reason why the threshold value is given to the determination is that the output of the angular velocity sensor 13 varies due to individual differences, and the difference between the actual shaking of the video camera and the conversion rate of the angular velocity due to the mounting state of the video camera.
This is because the relationship between the corrected signal and the actual motion vector varies (it does not completely match).

【0029】次に、上記比較判定部106の動作を図4
のフローチャートを参照して説明する。まず、比較判定
部106は、動きベクトル信号S1と補正部103の出
力信号S2との差分値αを求め(ステップa1)、この
差分値αがしきい値THより小さいか否かを判断する
(ステップa2)。ここで、差分値αがしきい値THよ
り大きいならば(No)、比較判定部106は、メモリ
制御回路8の画像動き補正処理を停止させるとともに、
ゲイン制御部104のゲイン制御処理を停止させる(ス
テップa3)。
Next, the operation of the comparing and judging section 106 will be described with reference to FIG.
This will be described with reference to the flowchart of FIG. First, the comparison determination unit 106 obtains a difference value α between the motion vector signal S1 and the output signal S2 of the correction unit 103 (step a1), and determines whether the difference value α is smaller than the threshold value TH (step a1). Step a2). Here, if the difference value α is larger than the threshold value TH (No), the comparison determination unit 106 stops the image motion correction process of the memory control circuit 8 and
The gain control process of the gain control unit 104 is stopped (step a3).

【0030】これに対して、差分値αがしきい値未満で
あるならば比較判定部106は、信号処理回路5からの
信号S6から以下の判定処理を実行する。
On the other hand, if the difference value α is smaller than the threshold value, the comparing and judging section 106 executes the following judging process from the signal S6 from the signal processing circuit 5.

【0031】(1)標準感度モードであるか(ステップ
a4)。 (2)映像信号のコントラストが十分であるか(ステッ
プa5)。 ここで、上記(1)及び(2)の条件を満たしている場
合、比較判定部106は、メモリ制御回路8に対し画像
動き補正の制御指示S3を与えるとともに、ゲイン制御
部104に対し動きベクトル信号S1と補正部103出
力信号S2との比較結果による増幅率制御の指示S5を
与える(ステップa6)。また、上記(1)、(2)の
いずれかの条件を満たさない場合には、比較判定部10
6は、上記ステップa3の処理を実行する。
(1) Whether the mode is the standard sensitivity mode (step a4). (2) Whether the contrast of the video signal is sufficient (step a5). Here, when the above conditions (1) and (2) are satisfied, the comparison determination unit 106 gives the control instruction S3 of the image motion correction to the memory control circuit 8 and the motion vector to the gain control unit 104. An amplification factor control instruction S5 based on a comparison result between the signal S1 and the output signal S2 of the correction unit 103 is given (step a6). If any one of the above conditions (1) and (2) is not satisfied, the comparison / determination unit 10
Step 6 executes the process of step a3.

【0032】これにより、角速度センサ13のばらつき
(個体差、経年変化)、ビデオカメラの設置場所の条件
による角速度センサ13の検出感度の影響を吸収し、比
較判定部106の精度を向上(しきい値を小さく設定で
きる)することができ、誤判定を防止することが可能と
なる。なお、この制御は、ビデオカメラが設置された状
態で常に動作するため、不揮発性メモリ105には常に
最新のデータが記憶されることになり、ビデオカメラの
設置場所が変わった場合でも、自動的に現在の設置環境
に対応することが可能となる。
As a result, the influence of the variation of the angular velocity sensor 13 (individual difference, aging) and the detection sensitivity of the angular velocity sensor 13 due to the condition of the installation location of the video camera are absorbed, and the accuracy of the comparison and judgment section 106 is improved (threshold). Value can be set small), and erroneous determination can be prevented. Since this control always operates with the video camera installed, the latest data is always stored in the non-volatile memory 105. Therefore, even if the installation location of the video camera is changed, the control is automatically performed. It is possible to respond to the current installation environment.

【0033】以上のように上記第1の実施形態では、動
きベクトルを利用してビデオカメラが揺れたことによる
映像信号中の画像の動きを補正する場合に、角速度セン
サ13を利用して実際のビデオカメラの揺れ量を検出
し、この角速度センサ13の出力をAGCアンプ14で
増幅し、補正部103で動きベクトル相当の信号S2に
変換した上で、ゲイン制御部104により信号S2と動
きベクトル信号S1とを比較し、両者が略一致するよう
にAGCアンプ14の増幅率を制御しておくことで、角
速度センサ13の出力の個体差によるばらつきや、ビデ
オカメラの設置条件によるビデオカメラの実際の揺れと
回転運動の変換率との違いを解消し、角速度センサ13
による揺れ量検出精度を向上させることができる。
As described above, in the first embodiment, when correcting the motion of the image in the video signal due to the shake of the video camera using the motion vector, the actual angular velocity sensor 13 is used. The shake amount of the video camera is detected, the output of the angular velocity sensor 13 is amplified by the AGC amplifier 14, converted into a signal S 2 corresponding to a motion vector by the correction unit 103, and then the signal S 2 and the motion vector signal are output by the gain control unit 104. By comparing S1 with the gain of the AGC amplifier 14 and controlling the gain of the AGC amplifier 14 so that the two substantially coincide with each other, variations in the output of the angular velocity sensor 13 due to individual differences, and actual video camera installation conditions due to the installation conditions of the video camera are considered. The angular velocity sensor 13 eliminates the difference between the conversion rate of the shaking and the rotational motion.
, The accuracy of detecting the amount of shaking can be improved.

【0034】また、比較判定部106によって補正部1
03の出力信号S2と動きベクトル信号S1とを比較す
ることにより、動きベクトル信号S1の信頼性を判断
し、この判断結果に基づいて動きベクトルの信頼性があ
る程度得られるときに、メモリ制御回路8に対し補正処
理を実行させるとともに、ゲイン制御部104に対しA
GCアンプ14の増幅率を制御するように実行させ、信
頼性が低い場合にはメモリ制御回路8の処理を停止させ
るとともに、ゲイン制御部104の処理を停止させるよ
うにしている。そして、ゲイン制御部104は、比較判
定部106から処理の停止制御を受けた場合に、不揮発
性メモリ105から制御動作時に記憶した動きベクトル
相当の信号S2と動きベクトル信号S1とが略一致した
時の増幅設定値を読み出して、この増幅設定値をAGC
アンプ14に設定するようにしている。
Further, the correction unit 1 is
The reliability of the motion vector signal S1 is determined by comparing the output signal S2 of FIG. 03 with the motion vector signal S1, and when the reliability of the motion vector is obtained to some extent based on the determination result, the memory control circuit 8 To the gain control unit 104, and
The gain is controlled so as to control the gain of the GC amplifier 14, and when the reliability is low, the processing of the memory control circuit 8 is stopped and the processing of the gain control unit 104 is stopped. Then, when the gain control unit 104 receives the stop control of the process from the comparison determination unit 106, when the signal S2 corresponding to the motion vector stored from the nonvolatile memory 105 during the control operation substantially matches the motion vector signal S1. Read out the amplification setting value of AGC
The amplifier 14 is set.

【0035】このため、動きベクトルの大きさに対して
角速度センサ13で検出されるビデオカメラの揺れ量が
わずかである場合に、動きベクトルの信頼性が低いもの
と判断でき、メモリ制御回路8及びゲイン制御部104
の処理を停止させることで、動きベクトルの信頼性が低
い時に映像信号中の画像の動きを補正したり、AGCア
ンプ14の増幅率を制御して角速度センサ13による揺
れ量検出精度が低下するのを防止できる。この停止時
に、ゲイン制御部104により、不揮発性メモリ105
に記憶された増幅設定値をAGCアンプ14に設定する
ことで、角速度センサ13による揺れ量検出精度を維持
することができ、被写体の状態に影響されることなくビ
デオカメラが揺れたことによる映像信号中の画像の動き
を補正することができる。また、比較判定部106によ
り動きベクトルの信頼性が得られる度に、ゲイン制御部
104にて不揮発性メモリ105に格納される増幅設定
値が更新されるため、経年変化にも対応可能であり、学
習効果を持たせることもできる。
For this reason, when the shake amount of the video camera detected by the angular velocity sensor 13 is small relative to the magnitude of the motion vector, it can be determined that the reliability of the motion vector is low, and the memory control circuit 8 and the Gain control unit 104
Is stopped, the motion of the image in the video signal is corrected when the reliability of the motion vector is low, or the amplification rate of the AGC amplifier 14 is controlled to decrease the accuracy of detecting the amount of vibration by the angular velocity sensor 13. Can be prevented. At the time of this stop, the nonvolatile memory 105
By setting the amplification setting value stored in the AGC amplifier 14 to the AGC amplifier 14, it is possible to maintain the accuracy of detecting the amount of shaking by the angular velocity sensor 13, and the video signal caused by the shaking of the video camera without being affected by the state of the subject. The movement of the middle image can be corrected. Further, each time the reliability of the motion vector is obtained by the comparison / determination unit 106, the amplification setting value stored in the nonvolatile memory 105 is updated by the gain control unit 104. It can also have a learning effect.

【0036】さらに、比較判定部106は、撮像素子2
から得られる映像信号のコントラスト、感度モードに基
づいて、動きベクトルの信頼性を判定し、信頼性の度合
いが許容範囲に入らないときは強制的に停止制御を行う
ようにしている。すなわち、映像信号のコントラストが
不十分であった場合や、高感度モードに設定されていた
場合には、映像信号中から十分な動きベクトルが得られ
ない状況にあるから、角速度センサ13の出力と比較す
るまでもなく、動きベクトル信号S1の信頼性は低い。
そこで、映像信号のコントラスト、感度モードの少なく
ともいずれかから動きベクトルの信頼性を判定し、信頼
性の度合いが許容範囲に入らないときは強制的に停止制
御を行なうようにしている。
Further, the comparing and judging section 106 includes the image pickup device 2
, The reliability of the motion vector is determined based on the contrast and sensitivity mode of the video signal obtained from the video signal, and when the degree of reliability does not fall within the allowable range, stop control is forcibly performed. That is, when the contrast of the video signal is insufficient or when the mode is set to the high-sensitivity mode, a sufficient motion vector cannot be obtained from the video signal. Needless to say, the reliability of the motion vector signal S1 is low.
Therefore, the reliability of the motion vector is determined from at least one of the contrast of the video signal and the sensitivity mode, and when the degree of the reliability does not fall within the allowable range, the stop control is forcibly performed.

【0037】(第2の実施形態)図5はこの発明に係る
ビデオカメラの揺れ補正装置の第2の実施形態の構成を
示すブロック図である。なお、図5において上記図1と
同一部分には同一符号を付して示し、ここでは異なる部
分について説明する。
(Second Embodiment) FIG. 5 is a block diagram showing a configuration of a second embodiment of a shake correction device for a video camera according to the present invention. In FIG. 5, the same parts as those in FIG. 1 are denoted by the same reference numerals, and different parts will be described here.

【0038】図1と異なる点は、メモリ制御回路8の制
御処理を角速度センサ13の検出結果に基づいて行って
いることにある。角速度センサ13はビデオカメラの動
きそのものを検出しているため、特に比較判定部106
によるメモリ制御回路8の制御を行っていない。すなわ
ち、メモリ制御回路8には補正部103の出力信号S2
が入力され、その信号S2に基づいてメモリの切り出し
制御が行われる。
The difference from FIG. 1 is that the control processing of the memory control circuit 8 is performed based on the detection result of the angular velocity sensor 13. Since the angular velocity sensor 13 detects the movement of the video camera itself, the comparison determination unit 106
Does not control the memory control circuit 8. That is, the output signal S2 of the correction unit 103 is provided to the memory control circuit 8.
Is input, and memory cutout control is performed based on the signal S2.

【0039】次に、上記構成における比較判定部106
の比較判定動作について図6のフローチャートを参照し
て説明する。なお、ステップb1〜b4については、上
記図4のステップa1、a2、a4a5と同様な処理で
あるので説明を省略する。
Next, the comparison / decision unit 106 in the above configuration
Will be described with reference to the flowchart of FIG. Steps b1 to b4 are the same as steps a1, a2, and a4a5 in FIG.

【0040】比較判定部106は、動きベクトル信号S
1と補正部103の出力信号S2との差分値αがしきい
値THより小さく、標準感度モードで、映像信号のコン
トラストが十分であれば、ゲイン制御部104に対し動
きベクトル信号S1と補正部103出力信号S2との比
較結果による増幅率制御の指示S5を与え(ステップb
5)、差分値αがしきい値より大きく、高感度モード
で、映像信号のコントラストが不十分である場合に、ゲ
イン制御部104のゲイン制御処理を停止させる(ステ
ップb6)。
The comparison / determination unit 106 calculates the motion vector signal S
1 and the output signal S2 of the correction unit 103 are smaller than the threshold value TH, and if the contrast of the video signal is sufficient in the standard sensitivity mode, the motion vector signal S1 and the correction unit An instruction S5 for amplification control based on the result of comparison with the 103 output signal S2 is given (step b).
5) If the difference value α is larger than the threshold value and the contrast of the video signal is insufficient in the high sensitivity mode, the gain control process of the gain control unit 104 is stopped (step b6).

【0041】この第2の実施形態では、角速度センサ1
3を利用してビデオカメラが揺れたことによる映像信号
中の画像の動きを補正する場合に、角速度センサ13出
力の個体差によるばらつきや、ビデオカメラの設置条件
によるビデオカメラの実際の揺れと回転運動の変換率と
の違いが問題となることに着目し、角速度センサ13の
出力をAGCアンプ14で増幅し、補正部103によっ
て動きベクトル相当の信号S2に変換した上でゲイン制
御部104で動きベクトル信号S1と比較し、両者が略
一致するようにAGCアンプ14の増幅率を制御するこ
とで、角速度センサ13による揺れ量検出精度を向上さ
せている。但し、動きベクトルの信頼性が低い場合に、
AGCアンプ14の増幅率を制御すると、逆に精度が低
下してしまうことになる。そこで、比較判定部106に
より動きベクトル相当の信号S2と動きベクトル検出回
路7からの動きベクトル信号S1とを比較し、この比較
結果から、動きベクトルの信頼性がある程度得られると
きにゲイン制御部104の処理を実行させてAGCアン
プ14の増幅率を制御するようにし、信頼性が低い場合
には、ゲイン制御部104の処理を停止するようにして
いる。この停止時に、ゲイン制御部104は、不揮発性
メモリ105から制御動作時に記憶した動きベクトル相
当の信号S2と動きベクトル信号S1とが略一致した時
の増幅設定値を読み出して、この増幅設定値をAGCア
ンプ14に設定するようにしている。
In the second embodiment, the angular velocity sensor 1
In the case where the motion of the image in the video signal caused by the shaking of the video camera is corrected by using the video camera 3, the fluctuation due to the individual difference of the output of the angular velocity sensor 13 and the actual shaking and rotation of the video camera due to the installation condition of the video camera are used. Paying attention to the fact that the difference from the conversion rate of the movement becomes a problem, the output of the angular velocity sensor 13 is amplified by the AGC amplifier 14, converted into the signal S 2 corresponding to the motion vector by the correction section 103, and By comparing the vector signal S1 and controlling the amplification factor of the AGC amplifier 14 so that the two substantially match each other, the accuracy of detecting the amount of swing by the angular velocity sensor 13 is improved. However, if the reliability of the motion vector is low,
If the gain of the AGC amplifier 14 is controlled, the accuracy will be reduced. Therefore, the comparison determination unit 106 compares the signal S2 corresponding to the motion vector with the motion vector signal S1 from the motion vector detection circuit 7, and based on the comparison result, when the reliability of the motion vector is obtained to some extent, the gain control unit 104 Is executed to control the gain of the AGC amplifier 14, and when the reliability is low, the process of the gain control unit 104 is stopped. At the time of this stop, the gain control unit 104 reads from the nonvolatile memory 105 an amplification setting value when the signal S2 corresponding to the motion vector and the motion vector signal S1 stored at the time of the control operation substantially coincide with each other, and reads the amplification setting value. The AGC amplifier 14 is set.

【0042】このため、角速度センサ13出力の個体差
によるばらつきや、ビデオカメラの設置条件によるビデ
オカメラの実際の揺れと回転運動の変換率との違いに影
響されることなく、動きベクトルを利用して角速度セン
サ13の揺れ量検出精度を向上させた上で、ビデオカメ
ラが揺れたことによる画像の動きを確実に補正すること
ができる。
For this reason, the motion vector is used without being affected by the variation due to the individual difference of the output of the angular velocity sensor 13 or the difference between the actual swing of the video camera and the conversion rate of the rotational motion due to the installation condition of the video camera. In addition to improving the accuracy of detecting the amount of swing of the angular velocity sensor 13, the motion of the image due to the swing of the video camera can be reliably corrected.

【0043】(その他の実施形態)この発明は、上記各
実施形態に限定されるものではない。図7に示すよう
に、例えば上記補正部103の処理をズームレンズ1の
ズーム比情報による角速度センサ信号の補正制御を不要
とすることも可能である。なお、図7において、図1及
び図5と同一部分には同一符号を付して示し、その説明
を省略する。
(Other Embodiments) The present invention is not limited to the above embodiments. As shown in FIG. 7, for example, the processing of the correction unit 103 can eliminate the need for controlling the correction of the angular velocity sensor signal based on the zoom ratio information of the zoom lens 1. In FIG. 7, the same parts as those in FIGS. 1 and 5 are denoted by the same reference numerals, and description thereof will be omitted.

【0044】すなわち、図7に示すビデオカメラの揺れ
補正装置は、動きベクトル信号S1と角速度センサ13
からの動きベクトル相当の信号S2とが同レベルとなる
ように制御することにより、角速度センサ13のズーム
比による検出感度の違いを吸収する。
That is, the shake correcting device of the video camera shown in FIG.
By controlling so that the signal S2 corresponding to the motion vector of the angular velocity sensor 13 has the same level, the difference in detection sensitivity due to the zoom ratio of the angular velocity sensor 13 is absorbed.

【0045】つまり、補正部103は、ズーム比による
補正制御を行なう必要がなく、単に角速度センサ13の
検出信号を動きベクトル相当の信号へ変換する回路とし
て、その変換係数は一律に設定して問題ないことにな
る。
In other words, the correction unit 103 does not need to perform correction control based on the zoom ratio, but simply converts the detection signal of the angular velocity sensor 13 into a signal equivalent to a motion vector. Will not be.

【0046】例えば、一般に販売されている箱型監視ビ
デオカメラは、レンズのズーム比の情報をビデオカメラ
に取り込むことができない。また、単焦点のレンズであ
ってもレンズによって焦点距離が異なるため、レンズに
よって画角がまちまちとなる。よって、従来は、一般的
なレンズ外付けタイプの監視ビデオカメラには、角速度
センサ13の検出信号によって揺れ補正を制御すること
が困難であったが、今回の発明により、角速度センサ1
3の検出信号をズーム比の情報を用いずに行なうことが
できる。
For example, a box-type surveillance video camera sold generally cannot capture information on the zoom ratio of a lens into the video camera. Further, even in the case of a single focus lens, since the focal length varies depending on the lens, the angle of view varies depending on the lens. Therefore, conventionally, it has been difficult for a general surveillance video camera with an external lens to control the shake correction based on the detection signal of the angular velocity sensor 13. However, according to the present invention, the angular velocity sensor 1
3 can be performed without using information on the zoom ratio.

【0047】また、上記各実施形態では、感度モード及
び映像信号のコントラストに基づいて、動きベクトルの
信頼性を判断しているが、映像信号の明度、ヒストグラ
ムに基づいて動きベクトルの信頼性を判断するようにし
てもよい。この場合、被写体が暗かったりして映像信号
中から十分な動きベクトルが得られない状況にある場合
に、不揮発性メモリ105から動きベクトル相当の信号
S2と映像信号から検出した動きベクトルS1とが一致
した時の増幅設定値を読み出して、AGCアンプ14に
設定するようにすれば、被写体の状態に影響されること
なくビデオカメラが揺れたことによる映像信号中の画像
の動きを補正することができる。
In each of the above embodiments, the reliability of the motion vector is determined based on the sensitivity mode and the contrast of the video signal. However, the reliability of the motion vector is determined based on the brightness of the video signal and the histogram. You may make it. In this case, when the subject is dark and a sufficient motion vector cannot be obtained from the video signal, the signal S2 corresponding to the motion vector from the nonvolatile memory 105 matches the motion vector S1 detected from the video signal. By reading the amplification setting value at the time of the setting and setting it in the AGC amplifier 14, it is possible to correct the movement of the image in the video signal due to the shaking of the video camera without being affected by the state of the subject. .

【0048】また、上記各実施形態では、マイクロコン
ピュータ10内の各部をハードウェア構成としている
が、ソフトウェア構成であっても同様に実施可能であ
る。
In each of the above embodiments, each unit in the microcomputer 10 has a hardware configuration. However, the present invention can be similarly implemented with a software configuration.

【0049】この他、ビデオカメラの種類や構成、角速
度センサの種類等についても、この発明の要旨を逸脱し
ない範囲で種々変形して実施できる。
In addition, the type and configuration of the video camera, the type of the angular velocity sensor, and the like can be variously modified without departing from the gist of the present invention.

【0050】[0050]

【発明の効果】以上詳述したようにこの発明によれば、
撮像装置の設置場所が変わった場合でも自動的に角速度
センサの検出感度を補正することができ、これによりセ
ンサ出力の経年変化、個体差によるばらつきや、撮像装
置の設置条件による撮像装置の実際の揺れと回転運動の
変換率との違いに影響されることなく、撮像装置が揺れ
たことによる映像信号中の画像の動きを確実に補正し得
る撮像装置の揺れ補正装置及び方法を提供することがで
きる。
As described in detail above, according to the present invention,
Even when the installation location of the imaging device changes, the detection sensitivity of the angular velocity sensor can be automatically corrected, which allows the sensor output to change over time, variations due to individual differences, and the actual imaging device installation conditions due to the installation conditions of the imaging device. Provided is a shake correction device and method for an imaging device that can reliably correct the motion of an image in a video signal due to the swing of the imaging device without being affected by the difference between the conversion rate of the shake and the rotational motion. it can.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明に係わるビデオカメラの揺れ補正装置
の第1の実施形態の構成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of a first embodiment of a shake correction device for a video camera according to the present invention.

【図2】同第1の実施形態における揺れ補正の原理を説
明するために示す図。
FIG. 2 is a view for explaining the principle of shake correction in the first embodiment.

【図3】上記図1に示した比較判定部における相関判定
方法を説明するために示す図。
FIG. 3 is a view for explaining a correlation determination method in the comparison determination unit shown in FIG. 1;

【図4】上記図1に示した比較判定部の動作を説明する
ために示すフローチャート。
FIG. 4 is a flowchart for explaining the operation of the comparison / determination unit shown in FIG. 1;

【図5】この発明に係る第2の実施形態のビデオカメラ
の揺れ補正装置の構成を示すブロック図。
FIG. 5 is a block diagram showing a configuration of a shake correction device for a video camera according to a second embodiment of the present invention.

【図6】上記図5に示した比較判定部の動作を説明する
ために示すフローチャート。
FIG. 6 is a flowchart for explaining the operation of the comparison / determination unit shown in FIG. 5;

【図7】この発明に係る他の実施形態のビデオカメラの
揺れ補正装置の構成を示すブロック図。
FIG. 7 is a block diagram showing a configuration of a video camera shake correction device according to another embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…ズームレンズ、 2…撮像素子、 3…サンプル・ホールド回路(S/H回路)、 4…A/D変換器、 5…信号処理回路、 6…メモリ、 7…動きベクトル検出回路、 8…メモリ制御回路、 9…電子ズーム回路、 10…マイクロコンピュータ、 11…エンコーダ、 12…D/A変換器、 13…角速度センサ、 14…AGC(オート・ゲイン・コントローラ)アン
プ、 102…A/D変換部、 103…補正部、 104…ゲイン制御部、 105…不揮発性メモリ、 106…比較判定部。
DESCRIPTION OF SYMBOLS 1 ... Zoom lens, 2 ... Image sensor, 3 ... Sample hold circuit (S / H circuit), 4 ... A / D converter, 5 ... Signal processing circuit, 6 ... Memory, 7 ... Motion vector detection circuit, 8 ... 9: electronic zoom circuit, 10: microcomputer, 11: encoder, 12: D / A converter, 13: angular velocity sensor, 14: AGC (auto gain controller) amplifier, 102: A / D conversion Unit 103: correction unit 104: gain control unit 105: nonvolatile memory 106: comparison and determination unit

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 撮像素子から出力される映像信号から動
きベクトルを検出する動きベクトル検出手段と、この動
きベクトル検出手段による検出結果に基づいて撮像装置
が揺れたことによる映像信号中の画像の動きを補正する
動き補正手段とを備える撮像装置の揺れ補正装置におい
て、 撮像装置の揺れ量を物理的に検出する物理センサと、 この物理センサの出力を任意の増幅率で増幅する増幅手
段と、 この増幅手段の出力信号を動きベクトル検出手段で検出
される動きベクトル相当の信号に変換する信号変換手段
と、 この信号変換手段の出力信号が前記動きベクトル検出手
段の出力信号と略一致するように増幅手段の増幅率を制
御する増幅制御手段と、 前記信号変換手段の出力信号と動きベクトル検出手段の
出力信号とを比較して前記動きベクトルの信頼性を判断
し、その信頼性の度合い応じて、前記動き補正手段に対
して処理の実行・停止を制御するとともに、前記増幅制
御手段に対して処理の実行・停止を制御する実行・停止
制御手段とを具備してなることを特徴とする撮像装置の
揺れ補正装置。
1. A motion vector detecting means for detecting a motion vector from a video signal output from an image pickup device, and a motion of an image in the video signal due to a shaking of an image pickup device based on a detection result by the motion vector detecting means. A motion sensor for physically correcting the amount of shaking of the imaging device; an amplifying device for amplifying an output of the physical sensor at an arbitrary amplification factor; Signal converting means for converting the output signal of the amplifying means into a signal corresponding to a motion vector detected by the motion vector detecting means; and amplifying the output signal of the signal converting means so as to substantially coincide with the output signal of the motion vector detecting means. Amplification control means for controlling the amplification factor of the means, and comparing the output signal of the signal conversion means with the output signal of the motion vector detection means, In accordance with the degree of the reliability, the execution / stop of the process is controlled by the motion correction means, and the execution / stop of the process is controlled by the amplification control means. A shake correction device for an imaging device, comprising: a stop control unit.
【請求項2】 撮像装置の揺れ量を物理的に検出する物
理センサと、この物理センサにより検出された前記撮像
装置の揺れ量に基づいて撮像素子から出力される映像信
号中の画像の動きを補正する動き補正手段とを備える撮
像装置の揺れ補正装置において、 撮像素子から出力される映像信号から動きベクトルを検
出する動きベクトル検出手段と、 物理センサの出力を任意の増幅率で増幅する増幅手段
と、 この増幅手段の出力信号を動きベクトル検出手段で検出
される動きベクトル相当の信号に変換し、動き補正手段
に与える信号変換手段と、 この信号変換手段の出力信号が前記動きベクトル検出手
段の出力信号と略一致するように前記増幅手段の増幅率
を制御する増幅制御手段と、 前記信号変換手段の出力信号と動きベクトル検出手段の
出力信号とを比較して前記動きベクトルの信頼性を判断
し、その信頼性の度合いに応じて前記増幅制御手段に対
して処理の実行・停止を制御する実行・停止制御手段と
を具備してなることを特徴とする撮像装置の揺れ補正装
置。
2. A physical sensor for physically detecting a shake amount of an imaging device, and a motion of an image in a video signal output from an image sensor based on the shake amount of the image pickup device detected by the physical sensor. A motion vector detecting means for detecting a motion vector from a video signal output from the image sensor; and an amplifying means for amplifying an output of the physical sensor at an arbitrary amplification factor. A signal converting means for converting an output signal of the amplifying means into a signal corresponding to a motion vector detected by the motion vector detecting means and providing the signal to the motion correcting means; and an output signal of the signal converting means, Amplification control means for controlling an amplification factor of the amplification means so as to substantially match an output signal; and an output signal of the signal conversion means and an output of the motion vector detection means. An execution / stop control unit that determines the reliability of the motion vector by comparing the signal with a signal, and controls the execution / stop of the process with respect to the amplification control unit according to the degree of the reliability. A shake correction device for an imaging device, characterized in that:
【請求項3】 前記実行・停止制御手段は、少なくとも
撮像素子から得られる映像信号のコントラスト、明度、
ヒストグラム、感度モードのいずれかに基づいて、前記
動きベクトルの信頼性を判定し、信頼性の度合いが許容
範囲に入らないときは強制的に停止制御を行うことを特
徴とする請求項1または2記載の撮像装置の揺れ補正装
置。
3. The execution / stop control unit includes a control unit that controls at least a contrast, a brightness, and a brightness of a video signal obtained from an image sensor.
The reliability of the motion vector is determined based on one of a histogram and a sensitivity mode, and when the degree of reliability does not fall within an allowable range, stop control is forcibly performed. A shake correction device for an imaging device according to any one of the preceding claims.
【請求項4】 前記増幅制御手段は、制御動作時に信号
変換手段の出力信号と動きベクトル検出手段による検出
信号とが略一致した時の制御結果を格納する記憶手段を
備え、前記実行・停止制御手段により停止制御を受けた
場合に、前記記憶手段に格納された制御結果に対応する
増幅率を前記増幅手段に設定することを特徴とする請求
項1または2記載の撮像装置の揺れ補正装置。
4. The amplification control means includes storage means for storing a control result when an output signal of the signal conversion means and a detection signal of the motion vector detection means substantially coincide with each other during a control operation, and wherein the execution / stop control is performed. 3. The apparatus according to claim 1, wherein an amplification factor corresponding to a control result stored in the storage unit is set in the amplification unit when stop control is performed by the unit.
【請求項5】 前記信号変換手段は、前記撮像装置にズ
ームレンズが設けられているとき、ズームの倍率に応じ
て前記増幅手段の出力信号を前記動きベクトル検出手段
で検出される動きベクトル相当の信号に変換することを
特徴とする請求項1または2記載の撮像装置の揺れ補正
装置。
5. The signal conversion means, when a zoom lens is provided in the image pickup device, outputs the output signal of the amplification means in accordance with a zoom magnification corresponding to a motion vector detected by the motion vector detection means. 3. The apparatus according to claim 1, wherein the image is converted into a signal.
【請求項6】 撮像素子から出力される映像信号から動
きベクトルを検出し、この検出結果に基づいて撮像装置
が揺れたことによる映像信号中の画像の動きを補正する
撮像装置の揺れ補正方法において、 物理センサにより前記撮像装置の揺れ量を物理的に検出
し、 この物理センサの出力を任意の増幅率で増幅し、 この増幅信号を映像信号から検出される動きベクトル相
当の信号に変換し、 この動きベクトル相当の信号が前記動きベクトルと略一
致するように前記物理センサ出力を増幅する際の増幅率
を制御し、 前記動きベクトル相当の信号と前記動きベクトルとを比
較して前記動きベクトルの信頼性を判断し、その信頼性
の度合いに応じて動き補正処理の実行・停止を制御する
とともに、増幅制御処理の実行・停止を制御することを
特徴とする撮像装置の揺れ補正方法。
6. A shake correction method for an image pickup apparatus, comprising: detecting a motion vector from a video signal output from an image pickup device; and correcting a motion of an image in the video signal due to a shake of the image pickup apparatus based on the detection result. Physically detecting the amount of shaking of the imaging device by a physical sensor, amplifying the output of the physical sensor at an arbitrary amplification factor, converting the amplified signal into a signal equivalent to a motion vector detected from a video signal, Controlling the amplification factor when amplifying the physical sensor output so that the signal corresponding to the motion vector substantially matches the motion vector, comparing the signal corresponding to the motion vector with the motion vector, Judgment of the reliability, control of execution / stop of the motion compensation process according to the degree of the reliability, and control of execution / stop of the amplification control process. Shake correction method of that imaging device.
【請求項7】 物理センサにより検出される前記撮像装
置の揺れ量に基づいて撮像素子から出力される映像信号
中の画像の動きを補正する撮像装置の揺れ補正方法にお
いて、 前記撮像素子から出力される映像信号から動きベクトル
を検出し、 前記物理センサの出力を任意の増幅率で増幅し、 この増幅信号を前記映像信号から検出される動きベクト
ル相当の信号に変換し、この動きベクトル相当の信号に
より前記映像信号中の画像の動きを補正し、 前記動きベクトル相当の信号が前記映像信号から検出さ
れる動きベクトルと略一致するように前記物理センサ出
力を増幅する際の増幅率を制御し、 前記動きベクトル相当の信号と前記映像信号から検出さ
れる動きベクトルとを比較して前記動きベクトルの信頼
性を判断し、その信頼性の度合いに応じて前記増幅制御
処理の実行・停止を制御することを特徴とする撮像装置
の揺れ補正方法。
7. A shake correction method for an image pickup device for correcting a motion of an image in a video signal output from an image pickup device based on a shake amount of the image pickup device detected by a physical sensor. A motion vector is detected from the video signal, and the output of the physical sensor is amplified at an arbitrary amplification factor. The amplified signal is converted into a signal corresponding to a motion vector detected from the video signal. By correcting the motion of the image in the video signal, controlling the amplification factor when amplifying the physical sensor output so that the signal corresponding to the motion vector substantially matches the motion vector detected from the video signal, The reliability of the motion vector is determined by comparing the signal corresponding to the motion vector with the motion vector detected from the video signal, and the degree of reliability is determined. Shake correction method for an imaging device and controls execution and stop of the amplification control processing Flip.
JP2000197238A 2000-06-29 2000-06-29 Apparatus and method for correcting shake of imaging apparatus Expired - Fee Related JP3751799B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000197238A JP3751799B2 (en) 2000-06-29 2000-06-29 Apparatus and method for correcting shake of imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000197238A JP3751799B2 (en) 2000-06-29 2000-06-29 Apparatus and method for correcting shake of imaging apparatus

Publications (2)

Publication Number Publication Date
JP2002016834A true JP2002016834A (en) 2002-01-18
JP3751799B2 JP3751799B2 (en) 2006-03-01

Family

ID=18695587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000197238A Expired - Fee Related JP3751799B2 (en) 2000-06-29 2000-06-29 Apparatus and method for correcting shake of imaging apparatus

Country Status (1)

Country Link
JP (1) JP3751799B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065103A (en) * 2004-08-27 2006-03-09 Nikon Corp Blurring correcting apparatus and camera system
JP2008219755A (en) * 2007-03-07 2008-09-18 Fujifilm Corp Camera shake determination device and method, program, and imaging apparatus
JP2010050746A (en) * 2008-08-21 2010-03-04 Canon Inc Imaging apparatus and control method thereof
US8319842B2 (en) * 2007-12-13 2012-11-27 Canon Kabushiki Kaisha Image capturing apparatus to prevent image blurring and control method therefor
JP2013042524A (en) * 2012-10-04 2013-02-28 Canon Inc Image processing apparatus and control method therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5328307B2 (en) * 2008-11-14 2013-10-30 キヤノン株式会社 Image capturing apparatus having shake correction function and control method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065103A (en) * 2004-08-27 2006-03-09 Nikon Corp Blurring correcting apparatus and camera system
JP4556560B2 (en) * 2004-08-27 2010-10-06 株式会社ニコン Blur correction device and camera system
JP2008219755A (en) * 2007-03-07 2008-09-18 Fujifilm Corp Camera shake determination device and method, program, and imaging apparatus
US8319842B2 (en) * 2007-12-13 2012-11-27 Canon Kabushiki Kaisha Image capturing apparatus to prevent image blurring and control method therefor
JP2010050746A (en) * 2008-08-21 2010-03-04 Canon Inc Imaging apparatus and control method thereof
JP2013042524A (en) * 2012-10-04 2013-02-28 Canon Inc Image processing apparatus and control method therefor

Also Published As

Publication number Publication date
JP3751799B2 (en) 2006-03-01

Similar Documents

Publication Publication Date Title
JP2600504B2 (en) Motion vector detection circuit
US7633525B2 (en) Unintentional hand movement canceling device and imaging apparatus
CN101762940B (en) Blur correcting device, blur correcting method, and image pickup apparatus
US7502050B2 (en) Unintentional hand movement canceling device
US8488051B2 (en) Image pickup apparatus and control method therefor
US20020063779A1 (en) Electronic image movement correcting device with a variable correction step feature
JPH0654326A (en) Automatic subject tracking device of camcorder
JP2002016836A (en) Apparatus and method for correction of shake of imaging apparatus
JP5388910B2 (en) Image shake correction apparatus and image shake correction method
JP2005328421A (en) Imaging apparatus and imaging method
JP3751799B2 (en) Apparatus and method for correcting shake of imaging apparatus
US20050030412A1 (en) Image correction processing method and image capture system using the same
US8599272B2 (en) Imaging apparatus with roll angle correction and method of angle correction of object
JP3751800B2 (en) Apparatus and method for correcting shake of imaging apparatus
US10735661B2 (en) Image pickup apparatus that compensates for flash band, control method therefor, storage medium, and video processing apparatus
JP4329677B2 (en) Motion detection device
JPH01264373A (en) Picture deflection detector
KR100562334B1 (en) Image distortion compensation method and devices for CMOS Image Sensor
JP3239051B2 (en) Video camera with image stabilization device
JP2003110935A (en) Ccd camera
JP2001230976A (en) Device and method for picking up image, and computer- readable recording medium with recorded program for computer for executing the same
JP3158283B2 (en) Exposure control circuit for video camera
JPH11275449A (en) Video camera
JP3566387B2 (en) Imaging device
KR100200843B1 (en) Hand-trembled compensating method for camcorder by using gyro sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131216

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees