JPS62213494A - Motion compensation system for animation picture signal - Google Patents

Motion compensation system for animation picture signal

Info

Publication number
JPS62213494A
JPS62213494A JP61054614A JP5461486A JPS62213494A JP S62213494 A JPS62213494 A JP S62213494A JP 61054614 A JP61054614 A JP 61054614A JP 5461486 A JP5461486 A JP 5461486A JP S62213494 A JPS62213494 A JP S62213494A
Authority
JP
Japan
Prior art keywords
frame
motion
frames
memory
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP61054614A
Other languages
Japanese (ja)
Other versions
JPH0548996B2 (en
Inventor
Masahiro Wada
正裕 和田
Hirohisa Yamaguchi
博久 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
Kokusai Denshin Denwa KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Denshin Denwa KK filed Critical Kokusai Denshin Denwa KK
Priority to JP61054614A priority Critical patent/JPS62213494A/en
Publication of JPS62213494A publication Critical patent/JPS62213494A/en
Publication of JPH0548996B2 publication Critical patent/JPH0548996B2/ja
Granted legal-status Critical Current

Links

Abstract

PURPOSE:To effectively compensate a motion even when a picture includes the images of overlapping objects by compensating the motion by detecting the dynamic vector to the frame having less errors among two frames sandwitching said frame in terms of time-sequence. CONSTITUTION:Video signals are stored in a frame memory 2 and transferred to frame memories 3, 4, and 5. It is assumed that a frame i+3 is stored in the memory 2, a frame i+2 in the memory 3, a frame i+1 in the memory 4, and a frame (i) in the memory 5. In this case, the dynamic vector between the frames i+1 and i+2 is detected by dynamic vector detectors 8 and 9, and that between the frames i+1 and (i) is also detected by the same detectors 8 and 9. Motion compensators 10 and 11 compensate the frame i+1 from the immediately preceding and following frames by using said detected vectors. Depending on the result of the magnitude-comparison between the dynamic vectors from the detectors 8 and 9 by a comparator 12, a motion-compensated video signal output B selected by a selector 13 is outputted.

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、動画像信号のフレーム間処理に係シ、特に動
画像信号から動きベクトルを検出し、これを用いて該当
フレームを動き補償する動画像信号の動き補償方式に関
する。
DETAILED DESCRIPTION OF THE INVENTION (Industrial Application Field) The present invention relates to inter-frame processing of moving image signals, in particular detecting a motion vector from a moving image signal and using this to motion compensate for a corresponding frame. This invention relates to a motion compensation method for moving image signals.

(従来の技術) 動画像信号を符号化する技術として、フレーム間符号化
が知られている。これは、画素そのものを符号化するの
ではなく、連続する画像フレームの間で画素の差分を計
算し、これを符号化するものである。フレーム間符号化
は、動きの少い画像に対しては有効であシ、高い情報圧
縮率を得ることができるが、画像に動きが有る場合には
、フレーム間差分の有意な画素が増加し、有効性は失わ
れてしまう。
(Prior Art) Interframe coding is known as a technique for coding moving image signals. This method does not encode the pixels themselves, but calculates the pixel difference between successive image frames and encodes this difference. Interframe coding is effective for images with little movement and can obtain a high information compression rate, but when there is movement in the image, the number of significant pixels in the interframe difference increases. , the effectiveness will be lost.

この問題を解決するため、従来、フレーム間における動
画像信号の動きベクトルを検出し、これを用いてフレー
ム間で画素をシフトし、この後フレーム間差分を計算す
る動き補償方式が採用されている。この方式の原理を第
3図を用いて説明する。今、フレームjの画素ブロック
Bを前フレームiの情報を用いて符号化する際に、例え
ば、フシーム間信号差分とフレーム内信号差分との関係
に基づく逐次方法(「画像動き量検出方式」特開昭60
−158786号)によシ、フレームiとjとの間にお
ける画素ブロックBの動きベクトルVを検出し、前フレ
ームiにおいて画素ブロックBと同位置にある画素ブロ
ックB′から動きベクトルVだけ逆に偏位した位置にあ
る画素ブロックB“を選択し、この画素ブロックB“と
画素ブロックBとの間で画素の差分を計算し、この差分
を符号化するものである。このように、画像信号の動き
補償を用いることによシ、動きの有る部分が大きい動画
像に対しても、高い情報圧縮率が得られ、有効な符号化
方式を実現している。
To solve this problem, conventionally, a motion compensation method has been adopted that detects the motion vector of the video signal between frames, uses this to shift pixels between frames, and then calculates the interframe difference. . The principle of this method will be explained using FIG. Now, when encoding the pixel block B of frame j using the information of the previous frame i, for example, a sequential method based on the relationship between the inter-frame signal difference and the intra-frame signal difference ("image motion amount detection method" characteristic) is used. 1986
158786), the motion vector V of pixel block B between frames i and j is detected, and the motion vector V is reversed from pixel block B' located at the same position as pixel block B in the previous frame i. A pixel block B" located at a displaced position is selected, a pixel difference is calculated between this pixel block B" and the pixel block B, and this difference is encoded. In this way, by using motion compensation of the image signal, a high information compression rate can be obtained even for moving images with large moving parts, and an effective encoding method is realized.

また、動き補償方式は、符号化技術だけでなく、動画像
信号のフレーム内挿技術やテレビジョン信号のフレーム
レート変換技術にも適用でき、極めて重要な技術である
Furthermore, the motion compensation method is an extremely important technology that can be applied not only to encoding technology but also to frame interpolation technology for moving image signals and frame rate conversion technology for television signals.

(発明が解決しようとする問題点) しかしながら、従来技術にあっては、前フレームiには
無かった画像がフレームjに新たに現われた場合には、
新たに現われた部分は動き補償ができないため、情報圧
縮率が低下するという欠点がある。例えば、第4図に示
すように、フレームiにおいては重なっていた物体Aお
よびBが、物体Aのみが移動したため、フレームjでは
物体Bの斜線で示した部分が新たに現われた場合がこれ
に当る。
(Problem to be Solved by the Invention) However, in the conventional technology, when an image that was not present in the previous frame i newly appears in frame j,
Since motion compensation cannot be applied to newly appeared portions, there is a drawback that the information compression rate decreases. For example, as shown in Figure 4, objects A and B overlapped in frame i, but only object A has moved, so in frame j, the shaded part of object B newly appears. Hit.

このような場合には、動きベクトルの検出精度も十分で
なく、符号化方式では情報圧縮率の低下を招き、フレー
ム内挿方式の場合には、画像劣化を引き起こす。
In such a case, the motion vector detection accuracy is not sufficient, leading to a reduction in information compression rate in the encoding method, and causing image deterioration in the case of the frame interpolation method.

このような問題点が生起する原因は、動きベクトルの検
出にあたって、動画像信号の過去の情報しか利用してい
ないことによる。
The reason why such a problem occurs is that only past information of a moving image signal is used in detecting a motion vector.

本発明は、従来技術の欠点を解決するためになされたも
ので、動画像信号の動き補償方式において、画像に物体
の重なりが有シ、物体が見え隠れする場合においても、
有効に機能し得る動画像の動き補償方式を提供するもの
である。
The present invention has been made to solve the drawbacks of the prior art, and in a motion compensation method for moving image signals, even when objects overlap in images and objects appear and disappear,
The present invention provides a motion compensation method for moving images that can function effectively.

(問題点を解決するための手段) この目的を達成するために、本発明は、動画像信号の動
き補償方式において、一定数のフレーム間隔で動きベク
トルを検出し、これを用いて該当フレームを動き補償し
、これらのフレームに挟まれたフレームは、既に動き補
償されている前後両フレームと該肖フレームとの間で動
きベクトルを検出し、このうち、よシ小さい動き補償誤
差を与える動きベクトルを、当該フレームの動き補償に
用いることを特徴とする。
(Means for Solving the Problem) In order to achieve this object, the present invention detects a motion vector at a fixed number of frame intervals in a motion compensation method for a moving image signal, and uses this to detect a motion vector at a fixed number of frame intervals. For the frames that are motion-compensated and sandwiched between these frames, motion vectors are detected between the previous and previous frames that have already been motion-compensated and the portrait frame, and among these, a motion vector that gives a smaller motion compensation error is detected. is used for motion compensation of the frame.

(発明の原理) 先ず、本発明の詳細な説明する。第1図は本発明の詳細
な説明する図である。今、第1図(b)のように一定数
のフレーム間隔としてNフレーム(Nは2以上の自然数
)を考える。本発明ではまずフレームi十Nを小さな画
素部分に分割し、この部分毎にフレームiとの間で動き
ベクトルを検出しこれを用いてフレームi十Nを部分毎
に動き補償する。動きベクトルの検出方法としては、例
えば、前述したフレーム間信号差分とフレーム内信号差
分との関係に基ずく逐次方法([画像動き量検出方式」
特開昭60−158786号)を用いる。フレームi+
Nの動き補償が完了すると、次にフレームi+1の動き
ベクトルの検出に進む。この場合も同様に画素部分毎に
動きベクトルの検出を行うが、第1図(b)に示すよう
にフレームi+1のある画素部分Bについて、フレーム
iとの間、およびフレーム1+Hとの間で動きベクトル
の検出を行う。この結果得られたフレームiとの間の動
きベクトルをV−と表わし、フレームi+Nとの間の動
きベクトルをV+と表わすこととする。次に、これらの
動きベクトルを用いて、フレーム間の誤差を計算する。
(Principle of the Invention) First, the present invention will be explained in detail. FIG. 1 is a diagram illustrating the present invention in detail. Now, consider N frames (N is a natural number of 2 or more) as a fixed number of frame intervals as shown in FIG. 1(b). In the present invention, first, frame i1N is divided into small pixel parts, a motion vector is detected between each part and frame i, and this is used to perform motion compensation for each part of frame i1N. As a motion vector detection method, for example, the sequential method ([Image motion amount detection method]) based on the relationship between the inter-frame signal difference and the intra-frame signal difference described above is used.
JP-A-60-158786) is used. frame i+
When the motion compensation for N is completed, the next step is to detect the motion vector for frame i+1. In this case as well, motion vectors are detected for each pixel part, but as shown in FIG. Perform vector detection. The resulting motion vector between frame i and frame i will be expressed as V-, and the motion vector between frame i+N and frame i+N will be expressed as V+. Next, these motion vectors are used to calculate the error between frames.

フレームiにおいて、フレームi+1の該轟部分Bと同
一の位置から−V−だけ偏位した部分B−と、フレーム
1+1の該当部分Bとの誤差E−を計算する。同様にフ
レームi+Hにおいて、フレームi+1の該当部分Bと
同一の位置から一■+だけ偏位した部分B+とフレーム
i+1の該当部分Bとの誤差E+を計算する。誤差とし
ては、画素部分に含まれる各画素のフレーム間差分値の
絶対値和等が考えられる。次にこの誤差E−1E+を比
較し、この値の小さい方の動きベクトルを、フレームi
+1の該当部分B K ’i”ける動きベクトルVとす
る。そしてこの動きベクトルVを用いて、これが検出さ
れたフレーム(フレームiないしフレームi十N)側か
ら、フレームl+1の該当部分Bを動き補償する。
In frame i, an error E- between a part B- which is deviated by -V- from the same position as the roaring part B of frame i+1 and the corresponding part B of frame 1+1 is calculated. Similarly, in frame i+H, the error E+ between a portion B+ that is deviated by 1+ from the same position as the corresponding portion B of frame i+1 and the corresponding portion B of frame i+1 is calculated. As the error, the sum of absolute values of the inter-frame difference values of each pixel included in the pixel portion can be considered. Next, compare this error E-1E+ and select the motion vector with the smaller value for frame i
+1 corresponding part B K 'i'' is set as a motion vector V. Then, using this motion vector V, move the corresponding part B of frame l+1 from the frame where this is detected (frame i to frame i+N). Compensate.

この様にしてフレームi+1の動き補償が完了すると、
次に同様にしてフレーム1+2の動きベクトルの検出及
び動き補償を行う。この手順をフレーム毎に繰返し、フ
レームi+N−1までの処理を完了すると、今度はフレ
ームi+Hとフレームi+2Nの間で動きベクトルの検
出を行う。
When motion compensation for frame i+1 is completed in this way,
Next, motion vector detection and motion compensation for frames 1+2 are performed in the same manner. This procedure is repeated for each frame, and when the processing up to frame i+N-1 is completed, motion vectors are detected between frame i+H and frame i+2N.

(実施例) 以下、図面を用いて本発明の実施例について説明する。(Example) Embodiments of the present invention will be described below with reference to the drawings.

説明のため、ここでは一定のフレーム間隔Nを2とする
。第2図は本発明の実施例を示す図である。図において
、1はフレーム同期検出器、2〜5はフレームメモリ、
6は動きベクトル検出器、7は動き補償器、8,9は動
きベクトル検出器、10 、 ]1は動き補償器、12
は比較器、13は動画像信号選択器である。ビデオ信号
はフレーム同期検出器1により、フレーム同期を検出さ
れる。このフレーム同期によシ、以下の動作は制御され
る。
For the sake of explanation, here the constant frame interval N is assumed to be 2. FIG. 2 is a diagram showing an embodiment of the present invention. In the figure, 1 is a frame synchronization detector, 2 to 5 are frame memories,
6 is a motion vector detector, 7 is a motion compensator, 8 and 9 are motion vector detectors, 10, ]1 is a motion compensator, 12
1 is a comparator, and 13 is a moving image signal selector. A frame synchronization detector 1 detects frame synchronization of the video signal. This frame synchronization controls the following operations.

ビデオ信号はフレームメモリ2に記憶され、フレームメ
モリ3,4.5に伝搬される。今、フレームメモリ2に
はフレームi+2が、フレームメモリ3にはフレームi
+1が、フレームメモリ4にはフレームiが、それぞれ
記憶されているとする。このとき、動きベクトル検出器
6によシ、フレームメモリ2とフレームメモリ4を用い
て、フレームi+2とフレームiの間の動きベクトルが
検出される。動き補償器7は、この動きベクトルを用い
てフレームi+2を動き補償し、その結果を動き補償ビ
デオ信号出力Aとして出力する。
The video signal is stored in frame memory 2 and propagated to frame memories 3, 4.5. Now, frame memory 2 has frame i+2, frame memory 3 has frame i
+1 and frame i is stored in the frame memory 4, respectively. At this time, the motion vector detector 6 uses the frame memory 2 and the frame memory 4 to detect a motion vector between frame i+2 and frame i. The motion compensator 7 motion-compensates frame i+2 using this motion vector and outputs the result as a motion-compensated video signal output A.

次に、1フレ一ム時間が経過し、フレームi+2の動き
補償処理が完了して、フレームメモリ2にはフレームi
+3が、フレームメモリ3にはフレーム1+2が、フレ
ームメモリ4にはフレームi+1が、フレームメモリ5
にはフレームiが、それぞれ記憶され芒イとする。この
場合は、まず動きベクトル検出器8,9によって、フレ
ームi+1とフレームi+2及びフレームi+1とフレ
ームiの間の動きベクトルが検出される。動き補償器1
0 、11はこの動きベクトルを用いてフレームi+1
をフレームi+2及びフレームiから動き補償する。一
方、動きベクトルの補償誤差は比較器12において大小
比較される。動き補償器10 、11からの動き補償ビ
デオ信号は、動画像信号選択器13において、この比較
器12からの信号によフ選択され、動き補償ビデオ信号
出力Bとして出力される。更に1フレ一ム時間が経過し
、フレームi十1の動き補償処理が完了すると、フレー
ムメモリ2にはフレーム1+4が、フレームメモリ3に
はフレームi+3が、フレームメモリ4にはフレームi
+2が、それぞれ記憶され、同様の処理が繰返される。
Next, one frame time has elapsed, the motion compensation process for frame i+2 is completed, and frame i is stored in frame memory 2.
+3, frame 1+2 in frame memory 3, frame i+1 in frame memory 4, frame memory 5
Each frame i is stored in A and A. In this case, the motion vector detectors 8 and 9 first detect motion vectors between frame i+1 and frame i+2 and between frame i+1 and frame i. motion compensator 1
0 and 11 are frame i+1 using this motion vector.
is motion compensated from frame i+2 and frame i. On the other hand, the comparator 12 compares the compensation error of the motion vector. The motion compensated video signals from the motion compensators 10 and 11 are selected by the signal from the comparator 12 in a moving picture signal selector 13, and outputted as a motion compensated video signal output B. When one more frame time has passed and the motion compensation process for frame i11 is completed, frame memory 2 contains frame 1+4, frame memory 3 contains frame i+3, and frame memory 4 contains frame i.
+2 are respectively stored and the same process is repeated.

(発明の効果) 本発明によシ、動画像信号の動き補償方式において、該
当フレームを挟む時間的に前後する両フレームのうち、
より誤差の少ないフレームとの間で動きベクトルを検出
し、これを用いてよシ誤差の少ないフレームから動き補
償を行うため、画像に物体の重なりが有シ、物体が見え
隠れするような場合においても、有効に機能し得る動画
像の動き補償方式を実現することができる。
(Effects of the Invention) According to the present invention, in a motion compensation method for a moving image signal, among two temporally adjacent frames sandwiching the relevant frame,
The motion vector is detected between the frame with the least error, and this is used to perform motion compensation starting from the frame with the least error, so even when objects overlap in the image or objects appear or disappear, , it is possible to realize a motion compensation method for moving images that can function effectively.

【図面の簡単な説明】[Brief explanation of drawings]

第1図は本発明の詳細な説明する図、第2図は本発明の
実施例を示すブロック図、第3図と第4図は従来の動き
補償方式を説明する図である。 1;フレーム同期検出器、2〜5;フレームメモリ、6
;動きベクトル検出器、7;動き補償器、8.9;動き
ベクトル検出器、10 、11 :動き補償器、12;
比較器、13;動画像信号選択器。
FIG. 1 is a diagram explaining the present invention in detail, FIG. 2 is a block diagram showing an embodiment of the present invention, and FIGS. 3 and 4 are diagrams explaining a conventional motion compensation system. 1; Frame synchronization detector, 2 to 5; Frame memory, 6
;Motion vector detector, 7;Motion compensator, 8.9;Motion vector detector, 10, 11:Motion compensator, 12;
Comparator, 13; moving image signal selector.

Claims (1)

【特許請求の範囲】 連続した複数のフレームで構成された画像信号からフレ
ーム間における動きベクトルを検出し、該動きベクトル
を用いてフレームの動きを補償する動画像信号の動き補
償方式において、 予め定まるフレーム数(N)隔たつた2つのフレームの
間で動きベクトルを検出して当該フレームの動き補償を
行い、該2つのフレームの間に位置するフレームについ
ては既に動き補償が終了している前後2つのフレームと
の間のそれぞれの動きベクトルを検出し、得られた2つ
の動きベクトルのうちより小さい動き補償誤差を与える
動きベクトルを用いて動き補償を行うことを特徴とする
動画像信号の動き補償方式。
[Scope of Claim] A motion compensation method for a moving image signal that detects a motion vector between frames from an image signal composed of a plurality of consecutive frames, and compensates for frame motion using the motion vector, which is determined in advance. A motion vector is detected between two frames separated by the number of frames (N) and motion compensation is performed for the frame, and for frames located between the two frames, the two frames before and after which motion compensation has already been completed are Motion compensation for moving image signals characterized by detecting motion vectors between two frames and performing motion compensation using a motion vector that gives a smaller motion compensation error of the two obtained motion vectors. method.
JP61054614A 1986-03-14 1986-03-14 Motion compensation system for animation picture signal Granted JPS62213494A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP61054614A JPS62213494A (en) 1986-03-14 1986-03-14 Motion compensation system for animation picture signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP61054614A JPS62213494A (en) 1986-03-14 1986-03-14 Motion compensation system for animation picture signal

Publications (2)

Publication Number Publication Date
JPS62213494A true JPS62213494A (en) 1987-09-19
JPH0548996B2 JPH0548996B2 (en) 1993-07-23

Family

ID=12975616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP61054614A Granted JPS62213494A (en) 1986-03-14 1986-03-14 Motion compensation system for animation picture signal

Country Status (1)

Country Link
JP (1) JPS62213494A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0260295A (en) * 1988-08-25 1990-02-28 Sharp Corp Moving part detecting method
JPH02285816A (en) * 1989-04-27 1990-11-26 Victor Co Of Japan Ltd Adaptive inter-frame prediction encoding system
USRE37222E1 (en) 1989-10-14 2001-06-12 Sony Corporation Video signal transmitting system
US10063863B2 (en) 2003-07-18 2018-08-28 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US10116959B2 (en) 2002-06-03 2018-10-30 Microsoft Technology Licesning, LLC Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US10284843B2 (en) 2002-01-25 2019-05-07 Microsoft Technology Licensing, Llc Video coding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0260295A (en) * 1988-08-25 1990-02-28 Sharp Corp Moving part detecting method
JPH02285816A (en) * 1989-04-27 1990-11-26 Victor Co Of Japan Ltd Adaptive inter-frame prediction encoding system
USRE37222E1 (en) 1989-10-14 2001-06-12 Sony Corporation Video signal transmitting system
US10284843B2 (en) 2002-01-25 2019-05-07 Microsoft Technology Licensing, Llc Video coding
US10116959B2 (en) 2002-06-03 2018-10-30 Microsoft Technology Licesning, LLC Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US10063863B2 (en) 2003-07-18 2018-08-28 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US10659793B2 (en) 2003-07-18 2020-05-19 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes

Also Published As

Publication number Publication date
JPH0548996B2 (en) 1993-07-23

Similar Documents

Publication Publication Date Title
US7058130B2 (en) Scene change detection
US6934335B2 (en) Video encoder with embedded scene change and 3:2 pull-down detections
JPH03117992A (en) Coding and transmitting apparatus of video signal with motion vector
JPH0714209B2 (en) Video coding device
JPS61114677A (en) Adaptability prediction coding decoding system and device for animation signal
US7218675B1 (en) Signal processing device
JP4083266B2 (en) Motion vector generation method and apparatus
JPH05219529A (en) Motion vector detection circuit
US6104439A (en) Method and apparatus for motion estimation
JPS62213494A (en) Motion compensation system for animation picture signal
JPS58137379A (en) Interframe/interfield encoding device with motion compensation
JPS60162392A (en) Decoder of motion picture signal
JPH0546155B2 (en)
JPH02914B2 (en)
JPH0828876B2 (en) Method of refreshing video signal
JPH0810937B2 (en) Motion compensation error correction method
JPH047152B2 (en)
JPH0472985A (en) Frame interpolation system
JPH08242457A (en) Movement vector detecting method
JPS63181585A (en) Encoder between movement compensating frames for tv signal
JPH01291581A (en) Motion correction type television cinema device
JP3596137B2 (en) Image signal encoding method and apparatus, and image signal decoding method and apparatus
JPH06189297A (en) Motion vector detecting method
CN1108061C (en) Apparatus for encoding vided signal using search grid
JPH05236454A (en) Method and device for detecting motion vector for encoding image

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term