JPH09261530A - Video recorder - Google Patents

Video recorder

Info

Publication number
JPH09261530A
JPH09261530A JP8063093A JP6309396A JPH09261530A JP H09261530 A JPH09261530 A JP H09261530A JP 8063093 A JP8063093 A JP 8063093A JP 6309396 A JP6309396 A JP 6309396A JP H09261530 A JPH09261530 A JP H09261530A
Authority
JP
Japan
Prior art keywords
screen
image
motion
frame
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8063093A
Other languages
Japanese (ja)
Inventor
Shinji Yamadadera
真司 山田寺
Kazuyoshi Fuse
一義 布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP8063093A priority Critical patent/JPH09261530A/en
Publication of JPH09261530A publication Critical patent/JPH09261530A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce the circuit scale by using a memory and a motion vector detection circuit in common. SOLUTION: An image signal from a segmentation image selection circuit 21 is fed to an MPEG encoder. The MPEG encoder compresses a received image signal and provides an output of the compressed signal and stores its decoded image to a memory 16 as a reference image. A motion compensation circuit 9 obtains a motion of the reference image to compensate the motion of the reference image. An image frame motion discrimination circuit 22 discriminates whether or not the entire image is in motion based on a motion vector obtained by the motion compensation circuit 9 to obtain an image motion vector. A camera-shake discrimination circuit 24 discriminates the image motion vector to be resulted from a camera-shake, then corrects an image position of a segmented frame of the segmentation image selection circuit 21 based on the image motion vector. Thus, the image signal subjected to camera-shake correction is obtained from the segmentation image selection circuit 21. The memory and the motion detection circuit for correcting camera-shake are used in common for circuits in the MPEG encoder and then the circuit scale is reduced.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、MPEG規格の圧
縮処理を行うものに好適な映像記録装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video recording apparatus suitable for performing MPEG standard compression processing.

【0002】[0002]

【従来の技術】従来、民生用ビデオカメラ等の携帯型映
像記録装置においては、機器の小型化及び軽量化によっ
て手持ち撮影が容易となってきている。しかし、手持ち
撮影では、手振れによって機器が約20Hz以下で振動
することが多く、レンズの高倍率化に伴い、特に望遠で
の撮影において画面の乱れが問題となる。このため、手
振れ補正機能を有した装置が商品化されている。
2. Description of the Related Art Conventionally, in a portable video recording device such as a consumer video camera, handheld photographing has become easy due to the downsizing and weight reduction of the device. However, in hand-held photography, the device often vibrates at about 20 Hz or less due to camera shake, and as the magnification of the lens increases, the disturbance of the screen becomes a problem especially in the case of telephoto photography. Therefore, a device having a camera shake correction function has been commercialized.

【0003】手振れ補正機能は手振れの検出及び手振れ
の補正によって実現される。手振れの検出及び補正にお
いては、機械的に検出及び補正を行う方法と電気的に検
出及び補正を行う方法と、これらを組合せる方法とがあ
る。しかし、機械的に検出及び補正を行う方法では、小
型化及び軽量化の点で不利であり、携帯型としては電気
的に検出及び補正を行う方法が採用されることが多い。
また、近年、画像のディジタル処理が普及してきてお
り、手振れ補正においても、ディジタル信号処理によっ
て映像信号の動きベクトルを求めて手振れを検出する方
法が採用されることがある。
The camera shake correction function is realized by detecting the camera shake and correcting the camera shake. Regarding the detection and correction of camera shake, there are a method of mechanically detecting and correcting, a method of electrically detecting and correcting, and a method of combining these. However, the method of mechanically detecting and correcting is disadvantageous in terms of downsizing and weight saving, and as a portable type, a method of electrically detecting and correcting is often adopted.
Further, in recent years, digital processing of images has become widespread, and a method of detecting a camera shake by obtaining a motion vector of a video signal by digital signal processing may also be adopted in camera shake correction.

【0004】この場合、画像をディジタル化すると、一
般的な絵柄では符号量が膨大となるので、画像データに
MPEG(Movig Picture Experts Group)等の高能率
符号化を施すようになっている。高能率符号化技術は、
ディジタル伝送及び記録等の効率を向上させるために、
少ないビットレートで画像データを符号化するものであ
る。
In this case, when the image is digitized, the code amount becomes large in a general picture. Therefore, high-efficiency coding such as MPEG (Movig Picture Experts Group) is applied to the image data. High efficiency coding technology
In order to improve the efficiency of digital transmission and recording,
The image data is encoded at a low bit rate.

【0005】図5はこのような手振れ補正機能を有する
と共に、高能率符号化を行う従来の映像記録装置を示す
ブロック図である。
FIG. 5 is a block diagram showing a conventional video recording apparatus which has such a camera shake correction function and performs high efficiency coding.

【0006】図示しない撮像装置からの入力画像信号は
入力端子1を介して手振れ補正回路2に供給される。撮
像装置からの画像信号の有効画面の大きさは、図示しな
い表示装置の有効画面の大きさよりも大きい。手振れ補
正回路2は、入力画像信号の有効画面に表示装置の有効
画面に対応する大きさの切り出し枠を設定し、切り出し
枠の画面(切り出し画面)の画像信号を出力する。手振
れに応じて切り出し枠の位置を補正することにより、手
振れ補正した画像信号を得ている。
An input image signal from an image pickup device (not shown) is supplied to an image stabilization circuit 2 via an input terminal 1. The size of the effective screen of the image signal from the imaging device is larger than the size of the effective screen of the display device (not shown). The camera shake correction circuit 2 sets a clipping frame having a size corresponding to the valid screen of the display device on the valid screen of the input image signal, and outputs the image signal of the screen of the trimming frame (cutout screen). By correcting the position of the clipping frame according to the camera shake, the image signal with the camera shake corrected is obtained.

【0007】手振れ補正回路2はメモリ3、動きベクト
ル検出回路4及び手振れ補正部5によって構成されてい
る。入力画像信号はメモリ3によって例えば1フレーム
期間遅延される。動きベクトル検出回路4は入力端子1
からの入力画像信号とメモリ3からの1フレーム前の画
像信号とが与えられ、切り出し画面の四隅の各ブロック
について動きベクトルを検出して手振れ補正部5に出力
する。
The camera shake correction circuit 2 is composed of a memory 3, a motion vector detection circuit 4 and a camera shake correction section 5. The input image signal is delayed by the memory 3 for one frame period, for example. The motion vector detection circuit 4 has an input terminal 1
The image signal of 1 frame before is input from the memory 3 and the image signal of the previous frame from the memory 3, and a motion vector is detected for each block at the four corners of the cut-out screen and output to the camera shake correction unit 5.

【0008】手振れ補正部5は、動きベクトルに基づく
切り出し枠で画面を切り出すことにより、手振れを補正
するようになっている。即ち、手振れ補正部5は、フレ
ーム毎に順次入力される動きベクトル同士を比較するこ
とにより、切り出し画面の四隅のブロックの動きが手振
れによるものであるか否かを判断する。手振れ補正部5
は、手振れによる動きベクトルが入力されたものと判断
した場合には、メモリ3からの画像信号の有効画面内に
設定する切り出し枠を動きベクトルに基づいて補正し、
切り出し画面の画像信号を手振れ補正回路2の出力とし
て出力する。
The camera shake correction unit 5 corrects the camera shake by cutting out the screen with a cutout frame based on the motion vector. That is, the camera shake correction unit 5 determines whether or not the motion of the blocks at the four corners of the cutout screen is due to camera shake by comparing the motion vectors sequentially input for each frame. Image stabilization unit 5
When it is determined that a motion vector due to camera shake is input, corrects the clipping frame set in the effective screen of the image signal from the memory 3 based on the motion vector,
The image signal of the cut-out screen is output as the output of the image stabilization circuit 2.

【0009】こうして、画像圧縮回路6には手振れ補正
回路2によって手振れ補正された画像信号が与えられ
る。画像圧縮回路6はMPEG規格に対応しており、同
一画面内で符号化を行うフレーム内圧縮の外に、フレー
ム間の相関を利用して2つのフレームの画像同士の差分
を圧縮するフレーム間圧縮を採用している。画像の時間
方向の相関も利用して圧縮することから高圧縮が可能で
ある。
In this way, the image compression circuit 6 is provided with the image signal whose image blur is corrected by the image blur correction circuit 2. The image compression circuit 6 is compatible with the MPEG standard. In addition to intra-frame compression for encoding in the same screen, inter-frame compression for compressing the difference between images of two frames by utilizing the correlation between frames. Has been adopted. High compression is possible because the image is also compressed by using the correlation in the time direction.

【0010】また、フレーム間圧縮において、単に前又
は後フレームと現フレームとの差分を求めると、画像に
動きがある場合には差分が大きなものとなる。そこで、
現フレームの所定位置に対応する前又は後フレームの位
置を求めて動きベクトルを検出し、この動きベクトルに
応じた画素位置において差分を求めることにより動き補
償を行って差分値を小さくするようにしている。
Further, in the inter-frame compression, if the difference between the previous frame or the subsequent frame and the current frame is simply obtained, the difference becomes large when there is a motion in the image. Therefore,
The motion vector is detected by obtaining the position of the previous or subsequent frame corresponding to the predetermined position of the current frame, and the difference is obtained at the pixel position corresponding to this motion vector to perform motion compensation and reduce the difference value. There is.

【0011】画像圧縮回路6に入力された画像信号は減
算器7、スイッチ8の端子b及び動き補償回路9に与え
られる。減算器7は、後述する動き補償された1フレー
ム前の画像(以下、参照画像という)の画像データとの
減算を行って、差分値を予測誤差としてスイッチ8の端
子aに出力する。これにより、フレーム間の画像の冗長
性を利用して差分データを符号化するフレーム間符号化
が可能となる。スイッチ8が端子bを選択することによ
り、画像信号がそのままDCT回路10に供給されてフレ
ーム内圧縮が行われ、スイッチ8が端子aを選択するこ
とにより、予測誤差がDCT回路10に供給されてフレー
ム間圧縮が行われる。なお、DCT処理は、例えば、水
平及び垂直の8×8画素のブロック単位で行われる。
The image signal input to the image compression circuit 6 is given to the subtractor 7, the terminal b of the switch 8 and the motion compensation circuit 9. The subtracter 7 performs subtraction with the image data of a motion-compensated image one frame before (hereinafter referred to as reference image), and outputs the difference value to the terminal a of the switch 8 as a prediction error. As a result, it is possible to perform the inter-frame coding in which the difference data is coded by utilizing the redundancy of the image between the frames. When the switch 8 selects the terminal b, the image signal is directly supplied to the DCT circuit 10 for intra-frame compression, and when the switch 8 selects the terminal a, the prediction error is supplied to the DCT circuit 10. Interframe compression is performed. The DCT process is performed in units of horizontal and vertical blocks of 8 × 8 pixels, for example.

【0012】DCT回路10は空間座標レベルで表わされ
る画像データを空間周波数レベルに変換し、変換係数の
直流成分及び交流成分を水平及び垂直周波数の低域から
高域に向かって順次量子化回路11に出力する。DCT変
換係数は量子化回路11において量子化されて、符号量が
削減される。
The DCT circuit 10 converts the image data represented by the spatial coordinate level into a spatial frequency level, and the DC and AC components of the conversion coefficient are sequentially quantized by a quantizing circuit 11 from a low frequency band to a high frequency band of the horizontal and vertical frequencies. Output to. The DCT transform coefficient is quantized in the quantization circuit 11, and the code amount is reduced.

【0013】量子化出力は可変長符号化回路(以下、V
LCという)12において可変長符号化される。可変長符
号化としては例えばハフマン符号化が採用され、出現確
率が高いデータほど短いコードに変換されて符号量が一
層削減される。VLC12からの符号化出力は出力端子18
を介して出力される。
The quantized output is a variable length coding circuit (hereinafter referred to as V
Variable length coded at 12). Huffman coding, for example, is adopted as the variable-length coding, and data having a higher appearance probability is converted into a shorter code to further reduce the code amount. The encoded output from VLC12 is output terminal 18
Is output via.

【0014】フレーム間圧縮処理時に用いられる参照画
像は量子化出力をローカルデコードすることにより得て
いる。即ち、量子化出力は、逆量子化回路13に与えられ
て逆量子化された後逆DCT回路14に与えられる。逆D
CT回路14は逆量子化出力を逆DCT処理して元の空間
座標成分に戻して加算器15に出力する。DCT回路10に
減算器7の出力の予測誤差が供給される場合には、逆D
CT回路14の出力も予測誤差となる。
The reference image used in the inter-frame compression processing is obtained by locally decoding the quantized output. That is, the quantized output is given to the inverse quantization circuit 13 and inversely quantized, and then given to the inverse DCT circuit 14. Reverse D
The CT circuit 14 performs inverse DCT processing on the inverse quantized output to restore the original spatial coordinate component and outputs the original spatial coordinate component to the adder 15. When the prediction error of the output of the subtractor 7 is supplied to the DCT circuit 10, the inverse D
The output of the CT circuit 14 also becomes a prediction error.

【0015】加算器15の出力はメモリ16によって1フレ
ーム遅延された後、動き補償回路9によって動き補償さ
れてスイッチ17を介して加算器15に戻される。加算器15
は、動き補償回路9からの動き補償された参照画像のデ
ータに、予測誤差を加算して現フレームのデータ(ロー
カルデコードデータ)を再生してローカルデコード信号
として出力する。
The output of the adder 15 is delayed by one frame by the memory 16, then motion-compensated by the motion compensating circuit 9 and returned to the adder 15 via the switch 17. Adder 15
Adds a prediction error to the motion-compensated reference image data from the motion compensation circuit 9 to reproduce the current frame data (local decoded data) and outputs it as a local decoded signal.

【0016】一方、現フレームの画像信号及びメモリ16
によって1フレーム期間遅延させて得た前フレームの画
像データは動き補償回路9に与えられる。動き補償回路
9は例えばマッチング計算によって動きベクトルを求め
る。動き補償回路9は、メモリ16のローカルデコード信
号から対応するブロックのデータを抽出して動きベクト
ルに応じて補正を行い、減算器7に出力すると共にスイ
ッチ17を介して加算器15に出力する。こうして、動き補
償された前フレームのデータが予測フレームとして動き
補償回路9から減算器7に供給されることになり、減算
器7からの予測誤差に対してDCT処理が行われる。動
き補償回路9からの動きベクトルはVLC12に与えら
れ、可変長符号化された後符号化出力に多重されて出力
される。
On the other hand, the image signal of the current frame and the memory 16
The image data of the previous frame obtained by delaying for one frame period is given to the motion compensation circuit 9. The motion compensation circuit 9 obtains a motion vector by, for example, matching calculation. The motion compensation circuit 9 extracts the data of the corresponding block from the local decoded signal of the memory 16, corrects it according to the motion vector, and outputs it to the subtracter 7 and also to the adder 15 via the switch 17. In this way, the motion-compensated previous frame data is supplied from the motion compensation circuit 9 to the subtractor 7 as a prediction frame, and the DCT processing is performed on the prediction error from the subtractor 7. The motion vector from the motion compensation circuit 9 is given to the VLC 12, is subjected to variable length coding, and is then multiplexed with the coded output and output.

【0017】なお、輝度信号と色差信号とは別々の処理
系によって圧縮処理される。この場合、一般的には色差
信号のサンプリングクロックと輝度信号のサンプリング
クロックとは相違する。例えば、色差信号のサンプリン
グクロックが輝度信号のサンプリングクロックの1/4
の周波数であるものとすると、DCT処理の単位である
輝度ブロックと色差ブロックの大きさの比は1:4とな
る。この場合には、輝度4ブロックと色差各1ブロック
ずつとの6DCTブロックによってマクロブロックを構
成し、マクロブロック単位で動きベクトルを検出するよ
うになっている。
The luminance signal and the color difference signal are compressed by different processing systems. In this case, the sampling clock of the color difference signal is generally different from the sampling clock of the luminance signal. For example, the sampling clock of the color difference signal is 1/4 of the sampling clock of the luminance signal.
, The ratio of the size of the luminance block and the size of the color difference block, which is the unit of DCT processing, is 1: 4. In this case, a macroblock is composed of 6 DCT blocks of 4 blocks of luminance and 1 block of color difference, and the motion vector is detected in macroblock units.

【0018】このように、図5の装置においては、画像
圧縮回路だけでなく、手振れ補正のためにもフレームメ
モリ及び動きベクトル検出回路が必要であり、回路規模
が極めて大きいという問題があった。
As described above, in the apparatus of FIG. 5, not only the image compression circuit but also the frame memory and the motion vector detection circuit are necessary for camera shake correction, and there is a problem that the circuit scale is extremely large.

【0019】[0019]

【発明が解決しようとする課題】このように、上述した
従来の映像記録装置においては、手振れ補正のためにフ
レームメモリ及び動きベクトル検出回路が必要であり、
回路規模が極めて大きいという問題点があった。
As described above, in the above-mentioned conventional video recording apparatus, the frame memory and the motion vector detection circuit are necessary for the image stabilization,
There was a problem that the circuit scale was extremely large.

【0020】本発明はかかる問題点に鑑みてなされたも
のであって、メモリ及び動きベクトル検出回路を共用化
することにより、回路規模を縮小することができる映像
記録装置を提供することを目的とする。
The present invention has been made in view of the above problems, and an object of the present invention is to provide a video recording apparatus capable of reducing the circuit scale by sharing a memory and a motion vector detection circuit. To do.

【0021】[0021]

【課題を解決するための手段】本発明に係る映像記録装
置は、入力画像に所定の切り出し枠を設定しこの切り出
し枠内の画面の画像信号を出力する切り出し画面選択手
段と、現画面と異なる画面の画像を参照画像として記憶
する記憶手段と、現画面の画像と前記記憶手段が記憶し
ている前記参照画像との間の動きを検出して動き補償し
た参照画像を得る動き補償手段とを有し、前記現画面の
画像に対する画面内圧縮及び前記現画面の画像と前記動
き補償した参照画像との間の予測誤差に対する画面間圧
縮を行って、前記切り出し画面選択手段からの画像信号
に対する符号化データを出力する符号化手段と、前記動
き補償手段が求めた動きに基づいて手振れによる画面の
動きを検出する手振れ検出手段と、この手振れ検出手段
の検出結果に基づいて前記切り出し画面選択手段の切り
出し枠の画面位置を変更する手振れ補正手段とを具備し
たものである。
A video recording apparatus according to the present invention differs from a current screen by a cutout screen selecting means for setting a predetermined cutout frame in an input image and outputting an image signal of a screen in the cutout frame. Storage means for storing an image on the screen as a reference image, and motion compensation means for detecting a motion between the image on the current screen and the reference image stored in the storage means to obtain a motion-compensated reference image. A code for the image signal from the cut-out screen selecting means, which performs intra-picture compression for the picture of the current picture and inter-picture compression for prediction error between the picture of the current picture and the motion-compensated reference picture. Encoding means for outputting the encoded data; camera shake detecting means for detecting the motion of the screen due to camera shake based on the motion obtained by the motion compensating means; and based on the detection result of this camera shake detecting means. Is obtained by including a camera shake correction means for changing the screen position of the clipping frame of the cutout window selection means Te.

【0022】本発明において、入力画像は符号化手段に
よって符号化されて符号化データが出力される。符号化
手段は、画面間圧縮処理のために、現画面と異なる画面
の画像を参照画像として記憶手段に記憶する。動き補償
手段は、参照画像と現画面の画像との間の動きを求めて
参照画像を動き補償する。手振れ検出手段は、動き補償
手段が求めた動きに基づいて、手振れによる画面の動き
を検出する。手振れ補正手段は手振れ検出手段の検出結
果に基づいて切り出し画面選択手段を制御し、切り出し
画面選択手段は切り出し枠の画面位置を変更する。こう
して、切り出し画面選択手段から手振れ補正された画像
信号が出力される。
In the present invention, the input image is encoded by the encoding means and the encoded data is output. The encoding unit stores an image of a screen different from the current screen as a reference image in the storage unit for the inter-screen compression process. The motion compensator obtains a motion between the reference image and the image of the current screen to compensate the reference image. The camera shake detection means detects the movement of the screen due to the camera shake based on the movement obtained by the movement compensation means. The camera shake correction means controls the cutout screen selection means based on the detection result of the camera shake detection means, and the cutout screen selection means changes the screen position of the cutout frame. In this way, the cut-out screen selection means outputs the image signal in which the camera shake is corrected.

【0023】[0023]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明に係る
映像記録装置の一実施の形態を示すブロック図である。
図1において図5と同一の構成要素には同一符号を付し
てある。
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of a video recording apparatus according to the present invention.
1, the same components as those in FIG. 5 are denoted by the same reference numerals.

【0024】入力端子1には図示しない撮像装置からの
入力画像信号が入力される。撮像装置からの画像信号の
有効画面の大きさは、図示しない表示装置の有効画面の
大きさよりも大きい。切り出し画面選択回路21は、入力
画像信号の有効画面内に、後述する手振れ判断回路24に
よって指定された画面位置で、表示装置の有効画面に対
応する大きさの切り出し枠を設定し、切り出し画面の画
像信号を出力する。
An input image signal from an image pickup device (not shown) is input to the input terminal 1. The size of the effective screen of the image signal from the imaging device is larger than the size of the effective screen of the display device (not shown). The cutout screen selection circuit 21 sets a cutout frame of a size corresponding to the valid screen of the display device at the screen position specified by the shake determination circuit 24, which will be described later, within the valid screen of the input image signal. Output an image signal.

【0025】本実施の形態においては、所定フレームの
入力画像信号に対して切り出し枠の設定を2回行うよう
になっている。即ち、切り出し画面選択回路21は、先ず
手振れを検出するために、前フレームの入力画像信号に
対する切り出し枠と同一位置の切り出し枠を設定し、次
に手振れを補正するために、手振れ判断回路24の出力に
基づく切り出し枠を設定するようになっている。
In the present embodiment, the clipping frame is set twice for the input image signal of a predetermined frame. That is, the cutout screen selection circuit 21 first sets the cutout frame at the same position as the cutout frame for the input image signal of the previous frame in order to detect the shake, and then corrects the shake. The cutout frame is set based on the output.

【0026】切り出し画面選択回路21からの切り出し画
面の画像信号は、MPEGエンコーダを構成する減算器
7及び動き補償回路9に与えられると共に、画面枠位置
情報検出回路23にも与えられる。MPEGエンコーダの
構成は図5と同様である。
The image signal of the cut-out screen from the cut-out screen selection circuit 21 is given to the subtractor 7 and the motion compensation circuit 9 which form the MPEG encoder, and also to the screen frame position information detection circuit 23. The structure of the MPEG encoder is the same as that shown in FIG.

【0027】即ち、本実施の形態においても、入力され
た画像信号に対してフレーム内圧縮処理だけでなくフレ
ーム間圧縮処理が可能である。減算器7は、後述する動
き補償回路9から動き補償された参照画像データが与え
られ、切り出し画面選択回路21からの現フレームの画像
データと参照画像データとの差分を求め、差分値を予測
誤差としてスイッチ8の端子aに出力する。この予測誤
差を用いることにより、フレーム間の画像の冗長性を利
用して差分データを符号化するフレーム間符号化が可能
となる。
That is, also in this embodiment, not only the intraframe compression processing but also the interframe compression processing can be performed on the input image signal. The subtractor 7 receives the motion-compensated reference image data from the motion compensation circuit 9 described later, obtains the difference between the image data of the current frame from the cut-out screen selection circuit 21 and the reference image data, and predicts the difference value as a prediction error. Is output to the terminal a of the switch 8. By using this prediction error, it is possible to perform inter-frame coding in which differential data is coded using the redundancy of images between frames.

【0028】スイッチ8は、エンコーダ・モード切換制
御回路26からのピクチャ信号によって制御される。即
ち、スイッチ8は、ピクチャ信号によってフレーム内圧
縮処理が指定された場合には端子bを選択して現フレー
ムの画像データをそのままDCT回路10に供給し、フレ
ーム間圧縮処理が指定された場合には端子aを選択して
予測誤差をDCT回路10に供給する。
The switch 8 is controlled by a picture signal from the encoder mode switching control circuit 26. That is, the switch 8 selects the terminal b when the intra-frame compression processing is designated by the picture signal and supplies the image data of the current frame to the DCT circuit 10 as it is, and when the inter-frame compression processing is designated. Selects the terminal a and supplies the prediction error to the DCT circuit 10.

【0029】エンコーダ・モード切換制御回路26には手
振れ補正指示回路25の出力が与えられる。手振れ補正指
示回路25は、ユーザ操作に基づいて、手振れ補正を行う
手振れ補正モードをエンコーダ・モード切換制御回路26
に指示するための出力を出力する。エンコーダ・モード
切換制御回路26は、MPEGエンコーダにおいてフレー
ム内圧縮によるIピクチャ及びフレーム間圧縮によるP
ピクチャ又はBピクチャの作成方法を規定する各種モー
ドを決定し、これらのモードに対応させてI,P,Bピ
クチャを作成するためのピクチャ信号を出力するように
なっている。本実施の形態においては、エンコーダ・モ
ード切換制御回路26は、手振れ補正モードが指定される
と、Iピクチャ又はPピクチャの周期をM=1とするモ
ードに対応したピクチャ信号を出力するようになってい
る。M=1のモードでは、時間的に後方の画像を参照画
像とするフレーム間圧縮によって得られるBピクチャは
作成されない。これにより、手振れ検出を確実なものと
する。
The encoder / mode switching control circuit 26 is supplied with the output of the camera shake correction instruction circuit 25. The camera shake correction instruction circuit 25 sets the camera shake correction mode in which the camera shake correction is performed based on the user operation to the encoder / mode switching control circuit 26.
Output to instruct. The encoder / mode switching control circuit 26 is used for the I picture by intra-frame compression and the P for inter-frame compression in the MPEG encoder.
Various modes that define the method of creating a picture or B picture are determined, and picture signals for creating I, P, and B pictures are output in correspondence with these modes. In the present embodiment, the encoder / mode switching control circuit 26 outputs a picture signal corresponding to the mode in which the cycle of the I picture or P picture is M = 1 when the camera shake correction mode is designated. ing. In the mode of M = 1, a B picture obtained by interframe compression using a temporally backward image as a reference image is not created. This ensures the detection of camera shake.

【0030】DCT回路10はスイッチ8から画像データ
又はその予測誤差が与えられ、空間座標レベルで表わさ
れる画像データを空間周波数レベルに変換し、変換係数
の直流成分及び交流成分を水平及び垂直周波数の低域か
ら高域に向かって順次量子化回路11に出力する。量子化
回路11は、入力されたDCT変換係数を所定の量子化係
数を用いて量子化するようになっている。DCT変換係
数の水平及び垂直高域ほど大きい量子化係数が設定され
るようになっている。量子化回路11からの量子化出力は
VLC12に与えられる。VLC12は、例えば、量子化出
力の非零データとゼロランとの組のデータの出現確率に
基づいて作成されたハフマンテーブルを採用して、ハフ
マン符号化を行う。これにより、出現確率が高いデータ
ほど短いコードが割当てられてデータ量が一層削減され
る。VLC12からの符号化出力は出力端子18を介して出
力される。
The DCT circuit 10 receives the image data or its prediction error from the switch 8, converts the image data represented by the spatial coordinate level into the spatial frequency level, and converts the DC and AC components of the conversion coefficient into horizontal and vertical frequencies. The signals are sequentially output to the quantization circuit 11 from the low band to the high band. The quantizing circuit 11 quantizes the input DCT transform coefficient using a predetermined quantizing coefficient. The larger the horizontal and vertical high frequencies of the DCT transform coefficient, the larger the quantization coefficient is set. The quantized output from the quantization circuit 11 is given to the VLC 12. The VLC 12 employs, for example, a Huffman table created based on the appearance probability of the data of the pair of non-zero data and zero run of the quantized output, and performs the Huffman coding. As a result, a shorter code is assigned to data having a higher appearance probability, and the data amount is further reduced. The encoded output from VLC 12 is output via output terminal 18.

【0031】一方、量子化回路11からの量子化出力は、
参照画像データを得るために、逆量子化回路13にも与え
られる。逆量子化回路13は、入力された量子化出力に量
子化係数を乗じて量子化前のデータに戻して逆DCT回
路14に出力する。逆DCT回路14は逆量子化出力にDC
T回路10の逆処理を行って、空間周波数成分を元の空間
座標成分に戻して加算器15に出力する。
On the other hand, the quantized output from the quantization circuit 11 is
It is also provided to the inverse quantization circuit 13 to obtain the reference image data. The inverse quantization circuit 13 multiplies the input quantized output by a quantization coefficient to restore the data before quantization, and outputs the data to the inverse DCT circuit 14. The inverse DCT circuit 14 outputs DC to the inverse quantized output.
The inverse processing of the T circuit 10 is performed to restore the spatial frequency component to the original spatial coordinate component and output it to the adder 15.

【0032】加算器15の出力はメモリ16によって1フレ
ーム期間遅延された後、動き補償回路9及びスイッチ17
を介して加算器15に与えられるようになっている。即
ち、加算器15には、逆DCT回路14から予測誤差が供給
され、スイッチ17を介して1フレーム前の参照画像デー
タが与えられることになり、加算器15は2入力を加算し
て現フレームのデータを復元する。加算器15からのロー
カルデコードデータは、メモリ16に与えられる。メモリ
16は加算器15からのローカルデコードデータを保持して
動き補償回路9に出力する。
The output of the adder 15 is delayed by the memory 16 for one frame period, and then the motion compensation circuit 9 and the switch 17 are provided.
Is given to the adder 15 via. That is, the prediction error is supplied from the inverse DCT circuit 14 to the adder 15, and the reference image data of one frame before is given through the switch 17, and the adder 15 adds the two inputs to add the current frame. Restore the data. The locally decoded data from the adder 15 is given to the memory 16. memory
16 holds the local decoded data from the adder 15 and outputs it to the motion compensation circuit 9.

【0033】一方、切り出し画面選択回路21からの現フ
レームの画像データも動き補償回路9に与えられる。動
き補償回路9は1フレーム前後の画像データが与えられ
て、現フレームの画像の動きをマクロブロック単位に検
出する。更に、動き補償回路9はメモリ16に格納されて
いる参照画像のブロック化位置を動きベクトルに基づい
て決定して、動き補償した参照画像ブロックデータを出
力する。本実施の形態においては、動き補償回路9は、
手振れ検出時の切り出し画面選択回路21の出力を用いて
検出した動きベクトルを画面枠動き判断回路22に出力す
ると共に、手振れ補正時の切り出し画面選択回路21の出
力を用いて検出した動きベクトルによって、参照画像ブ
ロックデータを動き補償して減算器7及びスイッチ17に
出力するようになっている。
On the other hand, the image data of the current frame from the cutout screen selection circuit 21 is also given to the motion compensation circuit 9. The motion compensation circuit 9 is supplied with image data of one frame before and after, and detects the motion of the image of the current frame in macroblock units. Further, the motion compensation circuit 9 determines the blocking position of the reference image stored in the memory 16 based on the motion vector and outputs the motion-compensated reference image block data. In the present embodiment, the motion compensation circuit 9 is
While outputting the motion vector detected using the output of the cutout screen selection circuit 21 at the time of camera shake detection to the screen frame motion determination circuit 22, by the motion vector detected using the output of the cutout screen selection circuit 21 at the time of camera shake correction, The reference image block data is motion-compensated and output to the subtractor 7 and the switch 17.

【0034】画面枠位置情報検出回路23は、切り出し画
面選択回路21が選択した切り出し枠の画面位置を検出し
て画面枠位置情報として画面枠動き判断回路22に出力す
る。画面枠動き判断回路22には動き補償回路9から複数
のマクロブロックの手振れ検出時の動きベクトルも与え
られる。画面枠動き判断回路22は、動き補償回路9から
出力された複数のマクロブロックの動きベクトル同士を
比較し、予め設定された数以上の動きベクトルが略々同
様の大きさ及び方向である場合には、画面全体が動いた
ものと判断する。
The screen frame position information detection circuit 23 detects the screen position of the cutout frame selected by the cutout screen selection circuit 21 and outputs it to the screen frame movement determination circuit 22 as screen frame position information. The motion compensation circuit 9 also supplies the screen frame motion determination circuit 22 with motion vectors at the time of detecting a shake of a plurality of macro blocks. The screen frame motion determination circuit 22 compares the motion vectors of a plurality of macroblocks output from the motion compensation circuit 9 and determines that the preset number or more of motion vectors have substantially the same size and direction. Determines that the entire screen has moved.

【0035】例えば、動き補償回路9から10カ所のマ
クロブロックの動きベクトルが供給されるようになって
いる場合において、8カ所のマクロブロックの動きベク
トルの大きさ及び方向の誤差、即ち、ばらつきが5%以
内である場合には、画面枠動き判断回路22は、画面全体
が動いたものと判断する。この場合には、画面枠動き判
断回路22は、大きさ及び方向が略々同一である複数の動
きベクトルのうちの所定の動きベクトルを画面の動きを
示す画面動きベクトルとして手振れ判断回路24に出力す
るようになっている。
For example, in the case where the motion vectors of 10 macroblocks are supplied from the motion compensating circuit 9, there are errors in the magnitude and direction of the motion vectors of 8 macroblocks, that is, variations. If it is within 5%, the screen frame movement determination circuit 22 determines that the entire screen has moved. In this case, the screen frame motion determination circuit 22 outputs a predetermined motion vector of the plurality of motion vectors having substantially the same size and direction to the camera shake determination circuit 24 as a screen motion vector indicating the motion of the screen. It is supposed to do.

【0036】手振れ判断回路24は、画面枠動き判断回路
22から順次入力される画面動きベクトル同士を比較する
ことにより、画面動きベクトルによって示される画面の
動きが手振れによるものであるか否かを判断する。手振
れ判断回路24は、画面動きベクトルの変化が手振れによ
るものであると判断した場合には、画面枠動き判断回路
22からの画面動きベクトルを切り出し画面選択回路21に
出力するようになっている。切り出し画面選択回路21
は、画面動きベクトルに基づいて切り出し枠の画面位置
を補正するようになっている。
The camera shake judgment circuit 24 is a screen frame movement judgment circuit.
By comparing the screen motion vectors sequentially input from 22, it is determined whether or not the screen motion indicated by the screen motion vector is due to camera shake. If the camera shake determination circuit 24 determines that the change in the screen motion vector is due to camera shake, the camera shake determination circuit 24
The screen motion vector from 22 is cut out and output to the screen selection circuit 21. Cutout screen selection circuit 21
Corrects the screen position of the clipping frame based on the screen motion vector.

【0037】次に、このように構成された実施の形態の
動作について図2乃至図4の説明図を参照して説明す
る。図2は切り出し枠、切り出し画面及びローカルデコ
ード画面を示している。図2(a)乃至図2(c)は夫
々第n乃至第n+2フレームの入力画像を示し、図2
(d),(f),(h)は夫々第n乃至n+2フレーム
の入力画像に対する切り出し画面を示し、図2(e),
(g)は夫々メモリ16に格納されるローカルデコード画
面を示している。図3は切り出し画面選択回路21の動作
を説明するためのものである。
Next, the operation of the embodiment thus configured will be described with reference to the explanatory views of FIGS. 2 to 4. FIG. 2 shows a cutout frame, a cutout screen, and a local decode screen. 2 (a) to 2 (c) show input images of the nth to (n + 2) th frames, respectively.
2D, 2F, and 2H show cut-out screens for the input images of the nth to n + 2th frames, respectively, and FIG.
(G) shows the local decode screens stored in the memory 16, respectively. FIG. 3 is for explaining the operation of the cut-out screen selection circuit 21.

【0038】入力端子1には図示しない撮像装置からの
入力画像信号が入力される。この入力画像信号は切り出
し画面選択回路21に供給される。入力画像信号の有効画
面は図示しない表示装置の有効表示画面の大きさよりも
大きい。
An input image signal from an image pickup device (not shown) is input to the input terminal 1. This input image signal is supplied to the cut-out screen selection circuit 21. The effective screen of the input image signal is larger than the size of the effective display screen of the display device (not shown).

【0039】いま、手振れ補正を行わないものとする。
この場合には、切り出し画面選択回路21は、切り出し枠
の画面位置を変更することなく、固定した所定の画面位
置の切り出し画面の画像信号を出力する。
Now, it is assumed that camera shake correction is not performed.
In this case, the cutout screen selection circuit 21 outputs the image signal of the cutout screen at the fixed predetermined screen position without changing the screen position of the cutout frame.

【0040】一方、エンコーダ・モード切換制御回路26
は、通常のMPEG規格に対応した圧縮モードを決定し
て、ピクチャ信号を出力する。ピクチャ信号はスイッチ
8,17に供給される。ピクチャ信号によってIピクチャ
の作成が指示された場合には、スイッチ8は端子bを選
択する。これにより、切り出し画面選択回路21からのブ
ロックデータはDCT回路10にそのまま与えられる。D
CT回路10は画像データをDCT処理し、量子化回路11
は変換係数を量子化してビットレートを低減する。量子
化出力は可変長符号化回路12に与えられて、可変長符号
化された後出力端子18を介して出力される。
On the other hand, the encoder / mode switching control circuit 26
Determines a compression mode corresponding to the normal MPEG standard and outputs a picture signal. The picture signal is supplied to the switches 8 and 17. When the I signal is instructed by the picture signal, the switch 8 selects the terminal b. As a result, the block data from the cut-out screen selection circuit 21 is given to the DCT circuit 10 as it is. D
The CT circuit 10 performs DCT processing on the image data, and the quantization circuit 11
Quantizes the transform coefficients to reduce the bit rate. The quantized output is given to the variable length coding circuit 12, is variable length coded, and then output via the output terminal 18.

【0041】一方、量子化回路11からの量子化出力は、
参照画像を得るために逆量子化回路13に与えられて逆量
子化される。逆量子化出力は逆DCT回路14に与えられ
て逆DCT処理されて元の画像データに戻された後、加
算器15に与えられる。加算器15からのローカルデコード
画像は参照画像としてメモリ16に記憶される。メモリ16
からの参照画像は動き補償回路9において動き補償され
て減算器7に供給される。
On the other hand, the quantized output from the quantization circuit 11 is
In order to obtain the reference image, it is given to the inverse quantization circuit 13 and inversely quantized. The inverse quantized output is given to the inverse DCT circuit 14, subjected to inverse DCT processing to be returned to the original image data, and then given to the adder 15. The locally decoded image from the adder 15 is stored in the memory 16 as a reference image. Memory 16
The reference image from is subjected to motion compensation in the motion compensation circuit 9 and supplied to the subtractor 7.

【0042】ピクチャ信号によってP,Bピクチャの作
成が指示された場合には、スイッチ7は端子aを選択し
て、減算器7からの予測誤差をDCT回路10に与える。
減算器7は切り出し画面選択回路21の出力と動き補償回
路9の出力との差分を予測誤差として出力している。こ
うして、この場合には、予測誤差に対してDCT処理、
量子化処理及び可変長符号化処理が行われて、符号化出
力が出力端子18から出力される。
When the P and B pictures are instructed by the picture signal, the switch 7 selects the terminal a and gives the prediction error from the subtractor 7 to the DCT circuit 10.
The subtractor 7 outputs the difference between the output of the cut-out screen selection circuit 21 and the output of the motion compensation circuit 9 as a prediction error. Thus, in this case, the DCT processing for the prediction error,
The quantization process and the variable length coding process are performed, and the coded output is output from the output terminal 18.

【0043】なお、この場合においても、量子化回路11
の出力は逆量子化回路13及び逆DCT回路14によって元
の画素データに戻された後、加算器15に供給される。
P,Bピクチャの作成時には、スイッチ17はオンとなっ
ており、動き補償回路9からの動き補償された参照画像
はスイッチ17を介して加算器15に供給される。逆DCT
回路14からの予測誤差と参照画像とが加算器15において
加算されて現フレームの画像データが復元され、ローカ
ルデコード画面の画像信号としてメモリ16に格納され
る。以後同様の処理によって画像の符号化が行われる。
Even in this case, the quantization circuit 11
The output of is returned to the original pixel data by the inverse quantization circuit 13 and the inverse DCT circuit 14 and then supplied to the adder 15.
When the P and B pictures are created, the switch 17 is on, and the motion-compensated reference image from the motion compensation circuit 9 is supplied to the adder 15 via the switch 17. Inverse DCT
The prediction error from the circuit 14 and the reference image are added by the adder 15 to restore the image data of the current frame, which is stored in the memory 16 as the image signal of the local decoded screen. After that, the image is encoded by the same process.

【0044】ここで、手振れ補正指示回路25によって手
振れ補正が指示されるものとする。この場合には、エン
コーダ・モード切換制御回路26はM=1の圧縮モードを
指定して、Bピクチャの作成を禁止する。
Here, it is assumed that the image stabilization instruction circuit 25 gives an instruction for image stabilization. In this case, the encoder / mode switching control circuit 26 specifies the compression mode of M = 1 to prohibit the B picture from being created.

【0045】いま、図2(a)に示す第nフレームの入
力画像31の画像信号が入力されるものとする。手振れ補
正開始直後においては、切り出し画面選択回路21は予め
設定された所定の画面位置において切り出し枠32を設定
する。切り出し画面選択回路21は切り出し枠32によって
囲まれた切り出し画面33(図2(d))の画像信号を出
力する。切り出し画面選択回路21からの画像信号に対す
る圧縮処理は手振れ補正を行わない場合と同様である。
こうして、メモリ16には切り出し画面33に対応したロー
カルデコード画面33′の画像信号が格納される。
Now, it is assumed that the image signal of the input image 31 of the nth frame shown in FIG. 2A is input. Immediately after the start of the camera shake correction, the cutout screen selection circuit 21 sets the cutout frame 32 at a predetermined screen position set in advance. The cutout screen selection circuit 21 outputs the image signal of the cutout screen 33 (FIG. 2D) surrounded by the cutout frame 32. The compression process for the image signal from the cut-out screen selection circuit 21 is similar to the case where the image stabilization is not performed.
Thus, the image signal of the local decode screen 33 'corresponding to the cut-out screen 33 is stored in the memory 16.

【0046】次に、入力端子1を介して第n+1フレー
ムの入力画像34(図2(b))の画像信号が入力され
る。なお、この入力画像は撮像時に左下方向への手振れ
が発生した状態で撮像されたものであるものとする。こ
の場合には、切り出し画面選択回路21は先ず手振れ検出
のために前フレームにおける切り出し枠32の画面位置と
同一位置の切り出し枠35(破線)を設定する。切り出し
画面選択回路21は切り出し枠35に対応する切り出し画面
36の画像信号を動き補償回路9に出力する。動き補償回
路9は切り出し画面36の画像とメモリ16に格納されてい
るローカルデコード画面33′の画像について、複数個の
マクロブロックの動きを検出する。動き補償回路9が検
出した複数個の動きベクトルは画面枠動き判断回路22に
供給される。
Next, the image signal of the input image 34 (FIG. 2B) of the (n + 1) th frame is input through the input terminal 1. Note that this input image is assumed to be captured in a state in which camera shake in the lower left direction has occurred during image capturing. In this case, the cut-out screen selection circuit 21 first sets the cut-out frame 35 (broken line) at the same position as the screen position of the cut-out frame 32 in the previous frame in order to detect camera shake. The cutout screen selection circuit 21 is a cutout screen corresponding to the cutout frame 35.
The 36 image signals are output to the motion compensation circuit 9. The motion compensation circuit 9 detects the motion of a plurality of macroblocks in the image of the cut-out screen 36 and the image of the local decode screen 33 'stored in the memory 16. The plurality of motion vectors detected by the motion compensation circuit 9 are supplied to the screen frame motion determination circuit 22.

【0047】画面枠動き判断回路22は、動き補償回路9
からの複数個の動きベクトルのうち所定個数以上の動き
ベクトルの大きさ及び方向が予め定められた誤差範囲内
である場合には、画面全体が動いたものと判断する。ま
た、画面枠位置情報検出回路23によって、切り出し画面
選択回路21が設定した切り出し枠35の画面位置の情報が
検出されて画面枠動き判断回路22に供給されている。こ
の場合には、左下方向への手振れによって画面全体が右
上方向に動いているので、所定個数以上の動きベクトル
同士の大きさ及び方向は誤差範囲内であり、画面枠動き
判断回路22は、所定のマクロブロックについて求めた動
きベクトルを切り出し枠35の画面位置の補正を示す画面
動きベクトルとして手振れ判断回路24に出力する。
The screen frame motion determination circuit 22 includes a motion compensation circuit 9
If the magnitude and direction of a predetermined number or more of the plurality of motion vectors from 1 to 3 are within a predetermined error range, it is determined that the entire screen has moved. Further, the screen frame position information detection circuit 23 detects the information on the screen position of the cutout frame 35 set by the cutout screen selection circuit 21 and supplies it to the screen frame movement determination circuit 22. In this case, since the entire screen is moving in the upper right direction due to camera shake in the lower left direction, the size and direction of the predetermined number or more of motion vectors are within the error range, and the screen frame motion determination circuit 22 determines The motion vector obtained for the macro block is output to the camera shake determination circuit 24 as a screen motion vector indicating correction of the screen position of the clipping frame 35.

【0048】手振れ判断回路24は画面枠動き判断回路22
から順次入力される画面動きベクトル同士を比較するこ
とにより、画面動きベクトルが手振れによるものか否か
を判断する。図4はこの判断を説明するためのものであ
る。例えば、図4に示すように、順次入力される画面動
きベクトルの方向が同一方向でない場合、即ち、画面全
体の動きの方向が手振れと同様に変化する場合には手振
れが発生しているものと判断する。なお、手振れ判断回
路24は、手振れの周波数を考慮して手振れか否かの判断
を行ってもよい。図2の例では、手振れ判断回路24は画
面動きベクトルが手振れによるものであると判断して、
この画面動きベクトルを切り出し画面選択回路21に出力
する。
The shake determination circuit 24 is a screen frame movement determination circuit 22.
By comparing the screen motion vectors sequentially input from, it is determined whether or not the screen motion vector is due to camera shake. FIG. 4 is for explaining this judgment. For example, as shown in FIG. 4, when the directions of sequentially input screen motion vectors are not the same direction, that is, when the direction of movement of the entire screen changes in the same manner as camera shake, it is determined that camera shake has occurred. to decide. It should be noted that the camera shake determination circuit 24 may determine whether or not the camera shake is in consideration of the frequency of camera shake. In the example of FIG. 2, the camera shake determination circuit 24 determines that the screen motion vector is due to camera shake,
This screen motion vector is output to the cutout screen selection circuit 21.

【0049】切り出し画面選択回路21は、手振れ判断回
路24から供給された画面動きベクトルに基づいて、切り
出し枠の画面位置を変更する。図3はこの場合の動作を
示している。切り出し画面選択回路21は、手振れ検出時
に設定した切り出し枠35を入力された画面動きベクトル
40によって補正して、図2(b)に示す切り出し枠37を
設定する。切り出し画面選択回路21は切り出し枠37の切
り出し画面38(図2(f))の画像信号を手振れ補正後
の出力としてMPEGエンコーダに出力する。
The cut-out screen selection circuit 21 changes the screen position of the cut-out frame on the basis of the screen motion vector supplied from the camera shake determination circuit 24. FIG. 3 shows the operation in this case. The cut-out screen selection circuit 21 receives the cut-out frame 35 set at the time of detecting the camera shake and inputs the screen motion vector
It corrects by 40 and sets the cutout frame 37 shown in FIG.2 (b). The cut-out screen selection circuit 21 outputs the image signal of the cut-out screen 38 (FIG. 2 (f)) of the cut-out frame 37 to the MPEG encoder as an output after camera shake correction.

【0050】この場合の圧縮処理も手振れの補正を行わ
ない場合と同様であり、メモリ16には切り出し画面38に
対応したローカルデコード画面38′の画像信号が格納さ
れる。また、動き補償回路9は、切り出し画面38の画像
とローカルデコード画面33′の画像との間で動きベクト
ルを検出する。
The compression process in this case is similar to that in the case where the camera shake is not corrected, and the image signal of the local decode screen 38 ′ corresponding to the cut-out screen 38 is stored in the memory 16. Further, the motion compensation circuit 9 detects a motion vector between the image of the cutout screen 38 and the image of the local decode screen 33 '.

【0051】なお、手振れ判断手段24において、手振れ
が発生していないと判断された場合には、切り出し画面
選択回路21は、前フレームにおける切り出し枠35を再度
設定して、切り出し画面36の画像信号を出力する。
If the camera shake determination means 24 determines that the camera shake has not occurred, the cutout screen selection circuit 21 sets the cutout frame 35 in the previous frame again, and the cutout screen image signal of the cutout screen 36 is set. Is output.

【0052】以後同様の処理によって、手振れの検出及
び補正を行う。例えば、図2(c)に示す第n+2フレ
ームの画像42の画像信号が入力されるものとする。この
場合には、先ず、切り出し画面選択回路21は、切り出し
枠37(破線)を設定し、枠37内の切り出し画面43の画像
信号を動き補償回路9に出力する。動き補償回路9は切
り出し画面43とローカルデコード画面38′との間で、複
数マクロブロックの動きベクトルを求める。
Thereafter, the same processing is performed to detect and correct the camera shake. For example, it is assumed that the image signal of the image 42 of the (n + 2) th frame shown in FIG. 2C is input. In this case, the cutout screen selection circuit 21 first sets the cutout frame 37 (broken line) and outputs the image signal of the cutout screen 43 in the frame 37 to the motion compensation circuit 9. The motion compensation circuit 9 obtains motion vectors of a plurality of macroblocks between the cutout screen 43 and the local decode screen 38 '.

【0053】第n+1フレームの画像34に対して右上方
向の手振れが発生しているものとする。この場合には、
第n+2フレームの画像42は画面全体が左下方向に動い
ているので、画面枠動き判断回路22は、動き補償回路9
からの動きベクトルに基づいて、画面全体が動いたこと
を示す画面動きベクトルを手振れ判断回路24に出力す
る。手振れ判断回路24は画面動きベクトルが手振れによ
るものであるものと判断して、切り出し枠37に対する画
面動きベクトルを切り出し画面選択回路21に出力する。
こうして、切り出し画面選択回路21は、切り出し枠37の
画面位置を画面動きベクトルによって補正して、切り出
し枠44を設定する。これにより、切り出し枠44の切り出
し画面45(図2(h))の画像信号が手振れ補正後の画
像信号としてMPEGエンコーダに供給される。
It is assumed that a shake in the upper right direction occurs in the image 34 of the (n + 1) th frame. In this case,
Since the entire screen of the image 42 of the (n + 2) th frame moves in the lower left direction, the screen frame motion determination circuit 22 causes the motion compensation circuit 9 to move.
A screen motion vector indicating that the entire screen has moved is output to the camera shake determination circuit 24 based on the motion vector from the. The camera shake determination circuit 24 determines that the screen motion vector is due to camera shake, and outputs the screen motion vector for the cutout frame 37 to the cutout screen selection circuit 21.
In this way, the cutout screen selection circuit 21 corrects the screen position of the cutout frame 37 by the screen motion vector and sets the cutout frame 44. As a result, the image signal of the cutout screen 45 (FIG. 2H) of the cutout frame 44 is supplied to the MPEG encoder as the image signal after the shake correction.

【0054】このように、本実施の形態においては、M
PEGエンコーダに設けられた回路を用いて手振れ補正
を行っている。手振れ補正のためのフレームメモリ及び
動き検出回路を共用化しているので、回路規模を削減す
ることができる。
As described above, in the present embodiment, M
Image stabilization is performed using the circuit provided in the PEG encoder. Since the frame memory and the motion detection circuit for camera shake correction are shared, the circuit scale can be reduced.

【0055】なお、本発明は上記実施の形態に限定され
るものではない。例えば、手振れ補正の方式等は種々の
方式を採用することができ、切り出し画面選択回路に代
えて、撮像装置内のCCDの駆動タイミングを変更して
切り出し枠を移動可能にした回路等を採用することも可
能である。また、手振れ補正時の圧縮モードはM=1に
限定されるものでもない。
The present invention is not limited to the above embodiment. For example, various methods can be adopted for the camera shake correction method, and instead of the cut-out screen selection circuit, a circuit in which the driving timing of the CCD in the image pickup device is changed so that the cut-out frame can be moved is adopted. It is also possible. Further, the compression mode during camera shake correction is not limited to M = 1.

【0056】[0056]

【発明の効果】以上説明したように本発明によれば、メ
モリ及び動きベクトル検出回路を共用化することによ
り、回路規模を縮小することができるという効果を有す
る。
As described above, according to the present invention, the circuit scale can be reduced by sharing the memory and the motion vector detecting circuit.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に係る映像記録装置の一実施の形態を示
すブロック図。
FIG. 1 is a block diagram showing an embodiment of a video recording device according to the present invention.

【図2】実施の形態の動作を説明するための説明図。FIG. 2 is an explanatory diagram for explaining operation of the embodiment;

【図3】実施の形態の動作を説明するための説明図。FIG. 3 is an explanatory diagram for explaining operation of the embodiment;

【図4】実施の形態の動作を説明するための説明図。FIG. 4 is an explanatory diagram for explaining operation of the embodiment;

【図5】従来の映像記録装置を示すブロック図。FIG. 5 is a block diagram showing a conventional video recording device.

【符号の説明】[Explanation of symbols]

9…動き補償回路、16…メモリ、21…切り出し画面選択
回路、22…画面枠動き判断回路、23…画面枠位置情報検
出回路、24…手振れ判断回路
9 ... Motion compensation circuit, 16 ... Memory, 21 ... Cutout screen selection circuit, 22 ... Screen frame motion determination circuit, 23 ... Screen frame position information detection circuit, 24 ... Hand shake determination circuit

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 入力画像に所定の切り出し枠を設定しこ
の切り出し枠内の画面の画像信号を出力する切り出し画
面選択手段と、 現画面と異なる画面の画像を参照画像として記憶する記
憶手段と、現画面の画像と前記記憶手段が記憶している
前記参照画像との間の動きを検出して動き補償した参照
画像を得る動き補償手段とを有し、前記現画面の画像に
対する画面内圧縮及び前記現画面の画像と前記動き補償
した参照画像との間の予測誤差に対する画面間圧縮を行
って、前記切り出し画面選択手段からの画像信号に対す
る符号化データを出力する符号化手段と、 前記動き補償手段が求めた動きに基づいて手振れによる
画面の動きを検出する手振れ検出手段と、 この手振れ検出手段の検出結果に基づいて前記切り出し
画面選択手段の切り出し枠の画面位置を変更する手振れ
補正手段とを具備したことを特徴とする映像記録装置。
1. A cut-out screen selecting means for setting a predetermined cut-out frame on an input image and outputting an image signal of a screen in the cut-out frame; a storage means for storing an image of a screen different from the current screen as a reference image; A motion compensating unit for detecting a motion between the image of the current screen and the reference image stored in the storage unit to obtain a motion-compensated reference image; Coding means for performing inter-picture compression with respect to a prediction error between the picture of the current picture and the motion-compensated reference picture, and outputting coded data for the picture signal from the cut-out picture selection means; Camera shake detection means for detecting the movement of the screen due to camera shake based on the movement obtained by the means, and of the cutout frame of the cutout screen selection means based on the detection result of this camera shake detection means. An image recording apparatus comprising: a camera shake correction unit that changes a screen position.
【請求項2】 前記動き補償手段は、所定のブロック単
位で動きを示す動きベクトルを検出するものであって、 前記手振れ検出手段は、前記切り出し画面選択手段が設
定した切り出し枠の画面位置を検出する画面枠位置検出
手段と、 前記動き補償手段が求めた複数ブロックの動きベクトル
及び前記切り出し枠の画面位置の検出結果に基づいて画
面全体の動きを示す画面動きベクトルを得る画面枠動き
判断手段とを具備し、 前記手振れ補正手段は、前記画面動きベクトルが手振れ
によるものであるものと判断した場合には、前記画面動
きベクトルを切り出し枠の画面位置変更のために前記切
り出し画面選択手段に与えることを特徴とする請求項1
に記載の映像記録装置。
2. The motion compensating means detects a motion vector indicating a motion in a predetermined block unit, and the camera shake detecting means detects a screen position of a cutout frame set by the cutout screen selecting means. Screen frame position detecting means, and a screen frame motion determining means for obtaining a screen motion vector indicating the motion of the entire screen based on the detection result of the motion vector of the plurality of blocks obtained by the motion compensating means and the screen position of the clipping frame When the screen motion vector is determined to be due to camera shake, the camera shake correction unit provides the screen motion vector to the cutout screen selection unit for changing the screen position of the cutout frame. Claim 1 characterized by the above-mentioned.
The video recording device according to.
【請求項3】 前記切り出し画面選択手段は、現画面の
入力画像に対して、手振れ検出のために前画面に設定し
た切り出し枠と同一画面位置の切り出し枠を設定すると
共に、手振れ補正のために前記手振れ補正手段に基づく
切り出し枠を設定することを特徴とする請求項1に記載
の映像記録装置。
3. The cut-out screen selection means sets a cut-out frame at the same screen position as the cut-out frame set in the previous screen for detecting a shake for the input image of the current screen, and corrects the shake. The video recording apparatus according to claim 1, wherein a clipping frame is set based on the camera shake correction unit.
【請求項4】 前記符号化手段は、手振れ補正モード時
には、後方参照画像を用いた画面間圧縮処理を行わない
ことを特徴とする請求項1に記載の映像記録装置。
4. The video recording apparatus according to claim 1, wherein the encoding unit does not perform the inter-screen compression process using the backward reference image in the image stabilization mode.
JP8063093A 1996-03-19 1996-03-19 Video recorder Pending JPH09261530A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8063093A JPH09261530A (en) 1996-03-19 1996-03-19 Video recorder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8063093A JPH09261530A (en) 1996-03-19 1996-03-19 Video recorder

Publications (1)

Publication Number Publication Date
JPH09261530A true JPH09261530A (en) 1997-10-03

Family

ID=13219362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8063093A Pending JPH09261530A (en) 1996-03-19 1996-03-19 Video recorder

Country Status (1)

Country Link
JP (1) JPH09261530A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100655846B1 (en) * 2004-08-31 2006-12-11 산요덴키가부시키가이샤 Unintentional hand movement canceling device and imaging apparatus
KR100684009B1 (en) * 2005-09-28 2007-02-20 엘지전자 주식회사 Compensation apparatus and method for motion in the mobile terminal
WO2007026452A1 (en) * 2005-08-29 2007-03-08 Mitsubishi Electric Corporation Image processing apparatus, image processing method, and image processing program
KR100827794B1 (en) * 2005-07-29 2008-05-07 재단법인서울대학교산학협력재단 compensating method for camera image fluctuation
KR100913756B1 (en) * 2007-03-28 2009-08-24 콴타 컴퓨터 인코포레이티드 Method and apparatus for image stabilization
JP2011512111A (en) * 2008-02-13 2011-04-14 クゥアルコム・インコーポレイテッド Shared block comparison architecture for image registration and video coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100655846B1 (en) * 2004-08-31 2006-12-11 산요덴키가부시키가이샤 Unintentional hand movement canceling device and imaging apparatus
KR100827794B1 (en) * 2005-07-29 2008-05-07 재단법인서울대학교산학협력재단 compensating method for camera image fluctuation
WO2007026452A1 (en) * 2005-08-29 2007-03-08 Mitsubishi Electric Corporation Image processing apparatus, image processing method, and image processing program
KR100684009B1 (en) * 2005-09-28 2007-02-20 엘지전자 주식회사 Compensation apparatus and method for motion in the mobile terminal
KR100913756B1 (en) * 2007-03-28 2009-08-24 콴타 컴퓨터 인코포레이티드 Method and apparatus for image stabilization
JP2011512111A (en) * 2008-02-13 2011-04-14 クゥアルコム・インコーポレイテッド Shared block comparison architecture for image registration and video coding

Similar Documents

Publication Publication Date Title
JP4014263B2 (en) Video signal conversion apparatus and video signal conversion method
JPH05115061A (en) Motion vector coder and decoder
JP3338460B2 (en) Video signal encoding device and video signal encoding method
JP2000278688A (en) Motion vector detector, its method and image processor
JP4616057B2 (en) Image coding apparatus and image coding method
JPH0818979A (en) Image processor
JP3592025B2 (en) Captured image recording device
JPH0795566A (en) Method and device for encoding image
JPH09261530A (en) Video recorder
JP3599942B2 (en) Moving picture coding method and moving picture coding apparatus
JP2947103B2 (en) Moving picture coding apparatus and moving picture coding method
JPH08275049A (en) Image pickup device
JP2004180345A (en) Photographed image recording apparatus
US6904093B1 (en) Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block
JPH0984024A (en) Coder for moving image signal
JPH07184206A (en) Picture coder
JPH1056646A (en) Video signal decoder
JPH10126749A (en) Sequential scanning conversion device
JP3416505B2 (en) Video decoding method
JPH0795590A (en) Method and device for processing video signal and image pickup device
JP4359273B2 (en) Coding mode selection method
JP3168723B2 (en) Video signal encoding device
JPH0865565A (en) Image recorder
JPH06311505A (en) Motion picture coder and decoder
JPH06105299A (en) Dynamic image compressor

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071109

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081109

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081109

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091109

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091109

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees