JP2002369206A - Device and method for selective encoding of dynamic region and static region - Google Patents

Device and method for selective encoding of dynamic region and static region

Info

Publication number
JP2002369206A
JP2002369206A JP2001172431A JP2001172431A JP2002369206A JP 2002369206 A JP2002369206 A JP 2002369206A JP 2001172431 A JP2001172431 A JP 2001172431A JP 2001172431 A JP2001172431 A JP 2001172431A JP 2002369206 A JP2002369206 A JP 2002369206A
Authority
JP
Japan
Prior art keywords
macroblock
block
difference
moving
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001172431A
Other languages
Japanese (ja)
Inventor
Mei Shen Shen
メイ・シェン シェン
Wii Fuu Tekku
ウィー・フー テック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001172431A priority Critical patent/JP2002369206A/en
Publication of JP2002369206A publication Critical patent/JP2002369206A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To shorten the search time (movement prediction calculating time) for a motion vector by increasing the encoding efficiency. SOLUTION: A method of detecting a dynamic region and a static region and then encoding these regions selectively in video encoding comprises a process of sampling an inputted image into blocks which include two-dimensional arrays of pixels, a process of computing the discrete cosine transforms(DCT) of the sampling blocks of the image data to create DCT coefficients, a process of classifying the sampling DCT blocks into macroblocks, each of which comprises a luminance block and a chrominance block, a process of detecting the macroblocks as a static macroblock or dynamic macroblock, a process of predicting a movement based, on the information about the static or dynamic block, a process of quantizing a current macro block by controlling the rate, and quantization of the DCT coefficients, a process of selectively rejecting scanned quantized DCT factor, and a process of variable-length encoding of the scanned quantized DCT coefficients.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ビデオ信号の圧
縮、特に動画像の動き予測に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to compression of video signals, and more particularly to motion estimation of moving images.

【0002】[0002]

【従来の技術】ビデオ圧縮は、増加し続ける情報を処理
するために産み出されてきた。より多くのチャンネルを
より高品質で消費者に提供する競争において、ディジタ
ルビデオは、品質、転送および記憶量の点で大幅な発展
をとげている。これを念頭において、MPEG−2は、
記憶量、転送および高品質の効率をその目的として創出
されている。
2. Description of the Related Art Video compression has been created to handle ever increasing information. In the race to provide more channels to consumers with higher quality, digital video has made significant progress in terms of quality, transfer and storage. With this in mind, MPEG-2
Memory capacity, transfer and high quality efficiency have been created for that purpose.

【0003】MPEG−2のビデオ圧縮では、ピクチャ
の種類、即ちI、BおよびPピクチャに基づいて一連の
ピクチャを符号化する。Iピクチャはイントラモード符
号化であるが、PおよびBピクチャは予測モード符号化
である。各ピクチャは、最初に、計算および処理を容易
にするためのマクロブロックに分割される。前記マクロ
ブロック(MB)は、16×16画素から成る。各マク
ロブロックは、ブロックと呼ばれる8×8画素に更に分
割される。
[0003] In MPEG-2 video compression, a series of pictures is coded based on picture types, ie, I, B and P pictures. I pictures are intra mode encoded, while P and B pictures are predictive mode encoded. Each picture is first divided into macroblocks to facilitate calculation and processing. The macro block (MB) is composed of 16 × 16 pixels. Each macroblock is further divided into 8 × 8 pixels called blocks.

【0004】図2は、一般的なMPEG−2ビデオエン
コーダの実現を示す。Iピクチャの符号化では、最初
に、一連のピクチャを離散コサイン変換(DCT)によ
り周波数領域に変換する。次に、それを量子化工程によ
り量子化し、記憶のため最後に可変長符号化(VLC)
を用いて符号化する。
FIG. 2 shows an implementation of a general MPEG-2 video encoder. In encoding an I-picture, first, a series of pictures is transformed into a frequency domain by a discrete cosine transform (DCT). Next, it is quantized by a quantization step, and finally stored for variable length coding (VLC).
Is encoded using.

【0005】PおよびBピクチャの符号化では、最初
に、動きベクトルを生成するため動き予測を用いて一連
のピクチャを予測する。次に、現フレームと参照フレー
ムの予測位置との差を符号化する。次いで、DCT、量
子化、可変長符号化(VLC)を適用する。
In the coding of P and B pictures, a series of pictures is first predicted using motion prediction to generate a motion vector. Next, the difference between the current frame and the predicted position of the reference frame is encoded. Next, DCT, quantization, and variable length coding (VLC) are applied.

【0006】ピクチャは、3成分、輝度(Y)、クロミ
ナンス赤(すなわち赤の色差信号Cr)およびクロミナ
ンス青(すなわち青の色差信号Cb)から成る。MPE
G−2では、前記Y成分を全周波数でサンプリングする
一方、前記クロミナンスを水平および/または垂直に全
周波数または半周波数でサンプリングする。
A picture consists of three components: luminance (Y), chrominance red (ie, red color difference signal Cr), and chrominance blue (ie, blue color difference signal Cb). MPE
In G-2, the Y component is sampled at all frequencies, while the chrominance is sampled horizontally and / or vertically at all or half frequencies.

【0007】前記Y成分は4ブロックを有するのに対し
て、前記CbおよびCr成分は使用されるサンプリング
によって1、2または4ブロックを有する。すべてのブ
ロックは、8×8画素を有する。
The Y component has four blocks, whereas the Cb and Cr components have one, two or four blocks depending on the sampling used. Every block has 8 × 8 pixels.

【0008】[0008]

【発明が解決しようとする課題】連続するピクチャの中
には、通常動かない(即ち、背景)ピクチャの部分と一
時的に動く(即ち、前景)部分とがある。しかし、使用
される一般的な動き予測アルゴリズムでは、これらの特
性を認識せず、輝度の変化やカメラの雑音などの小さい
変化のために前記ピクチャがまるで動いているかのよう
に前記ピクチャのすべてを符号化する。これにより、視
聴者が区別できない部分が不必要に符号化され、動く部
分のために使用される方が好ましい貴重なビットが無駄
にされる。この理由は、おそらく前記ピクチャの平滑な
面における微粒子のためである。図1は、テクスチャ形
成を示すピクチャからの拡大マクロブロックを示す。人
間の目は平滑面を有するピクチャを見ることができるだ
けであるが、拡大マクロブロックは図示されるとおりと
なる。拡大マクロブロック領域へズームすることによ
り、前記微粒子を見ることができる。しかし、これらの
動きを符号化しても微粒子は品質の点で改善されない。
一方、「jiglingness」を導入することによ
り、ピクチャの品質が劣化する。これは、MPEG−2
用のテストシーケンスであるテーブルテニスのシーケン
スで示してある。このシーケンスでは、静止した壁が符
号化後に動いてしまう。
In a series of pictures, there are portions of a picture that normally do not move (ie, background) and portions that move temporarily (ie, foreground). However, the general motion estimation algorithm used does not recognize these characteristics and re-creates all of the pictures as if they were moving due to small changes such as changes in brightness or camera noise. Encode. This unnecessarily encodes parts that are indistinguishable by the viewer, and wastes valuable bits that are preferably used for moving parts. The reason for this is probably due to particulates on the smooth surface of the picture. FIG. 1 shows an enlarged macroblock from a picture showing texture formation. The human eye can only see pictures with a smooth surface, but the enlarged macroblock is as shown. By zooming into the enlarged macroblock area, the particles can be seen. However, encoding these movements does not improve the fines in quality.
On the other hand, the introduction of “jiglingness” degrades the picture quality. This is MPEG-2
This is shown in a table tennis sequence which is a test sequence for the game. In this sequence, the stationary wall moves after encoding.

【0009】上述の状況から生じる別の問題として、静
止領域の小さいビット変化のために間違って識別された
動きから間違った大きい動きベクトルが導き出される。
これにより、さらに多くの貴重なビットが符号化に使用
され、動きベクトルの探索時間が無駄にされる。
Another problem arising from the above situation is that the wrong large motion vector is derived from the wrongly identified motion due to small bit changes in the still region.
This uses more valuable bits for encoding and wastes time searching for motion vectors.

【0010】本発明の目的は、符号化効率を向上させて
動きベクトルの探索時間(動き予測計算時間)を短縮す
ることである。
SUMMARY OF THE INVENTION It is an object of the present invention to improve the coding efficiency and reduce the search time (motion estimation calculation time) for a motion vector.

【0011】[0011]

【課題を解決するための手段】本発明によるビデオ符号
化において動領域および静止領域を検出し、選択的に符
号化する方法は、入力画像を画素の二次元配列を含むブ
ロックにサンプリングするステップと、画素データの前
記サンプリングブロックに離散コサイン変換(DCT)
を施してDCT係数を生成するステップと、前記サンプ
リングDCTブロックを、輝度ブロックおよびクロミナ
ンスブロックからなるマクロブロックに分類するステッ
プと、前記マクロブロックを、静止マクロブロックまた
は動マクロブロックとして検出するステップと、静止ま
たは動マクロブロックの情報に基づいて動き予測を行う
ステップと、現マクロブロックに関してレート制御によ
り量子化を行い、前記DCT係数を量子化するステップ
と、走査された量子化DCT係数を選択的に廃棄するス
テップと、当該走査された量子化DCT係数の可変長符
号化を行うステップとを含む方法であり、これにより上
記目的が達成される。
SUMMARY OF THE INVENTION A method for detecting and selectively encoding moving and still regions in video coding according to the present invention comprises the steps of sampling an input image into blocks containing a two-dimensional array of pixels. , A discrete cosine transform (DCT) on the sampling block of pixel data
Generating a DCT coefficient by performing the above-described steps, classifying the sampled DCT block into a macro block composed of a luminance block and a chrominance block, and detecting the macro block as a still macro block or a moving macro block. Performing motion prediction based on information of a still or moving macroblock, performing quantization by rate control on the current macroblock, quantizing the DCT coefficient, and selectively scanning the scanned quantized DCT coefficient. A method comprising the steps of discarding and performing variable length coding of the scanned quantized DCT coefficients, thereby achieving the above object.

【0012】マクロブロックを、静止または動マクロブ
ロックとして検出する前記ステップは、前記マクロブロ
ック内の前記輝度ブロックおよびクロミナンスブロック
をより小さいブロックであるミクロブロックに分割する
ステップと、参照フレームおよび現フレームの当該ミク
ロブロック間の差を計算するステップと、参照フレーム
および現フレームの当該ミクロブロック間の当該差を記
録するステップと、当該記録された差を用いて当該マク
ロブロックの属性を判定するステップと、当該記録され
た差に基づいて当該マクロブロックの当該属性に静止お
よび動マクロブロックラベルを割り当てるステップとを
含んでいてもよい。
The step of detecting a macroblock as a still or moving macroblock includes dividing the luminance and chrominance blocks in the macroblock into microblocks, which are smaller blocks; Calculating the difference between the microblocks, recording the difference between the reference frame and the microblock in the current frame, and determining the attribute of the macroblock using the recorded difference, Assigning still and moving macroblock labels to the attribute of the macroblock based on the recorded difference.

【0013】動き予測を行う前記ステップは、前記サン
プリング画像内の動マクロブロック属性を有するすべて
の当該マクロブロックに動き予測を行うステップと、前
記サンプリング画像内の静止マクロブロック属性を有す
るすべてのマクロブロックに動き予測をスキップするス
テップとを含んでいてもよい。
The step of performing motion prediction includes the steps of performing motion prediction on all the macroblocks having a moving macroblock attribute in the sampled image, and all the macroblocks having a still macroblock attribute in the sampled image. Skipping the motion prediction.

【0014】廃棄する前記ステップは、DCTタイプに
依存する異なる走査方法を用いて量子化DCT係数を有
する当該静止ミクロブロックの各々を走査するステップ
と、特定の位置内の当該ミクロブロックの各ブロックの
当該量子化DCT係数を予め設定された閾値と比較する
ステップと、前記比較が、第1の必要条件を満足した場
合に符号化ブロックと判定するステップと、前記比較
が、第2の必要条件を満足した場合に当該ブロックを廃
棄するステップとを含んでいてもよい。
The discarding includes scanning each of the stationary microblocks having quantized DCT coefficients using a different scanning method depending on the DCT type, and scanning each block of the microblock within a particular location. Comparing the quantized DCT coefficient with a preset threshold; determining that the encoded block is a coded block if the comparison satisfies a first necessary condition; Discarding the block if satisfied.

【0015】分割する前記ステップは、前記輝度ブロッ
クおよび前記クロミナンスブロックを、小さい二次元画
素ブロックであるサブミクロブロックに分割するステッ
プを含んでいてもよい。
[0015] The step of dividing may include a step of dividing the luminance block and the chrominance block into sub-micro blocks, which are small two-dimensional pixel blocks.

【0016】参照フレームおよび現フレームの前記ミク
ロブロック間の差を計算する前記ステップは、参照フレ
ームおよび現フレーム間の前記輝度ブロックの前記ミク
ロブロック間の差を計算するステップと、参照フレーム
および現フレーム間の前記クロミナンスブロックの前記
ミクロブロック間の差を計算するステップと、予め設定
された条件に基づいて、前記ミクロブロック間の差の値
を有する前記マクロブロックを割り当て、参照フレーム
および現フレームの前記マクロブロック間の差として使
用するステップとを含んでいてもよい。
Calculating the difference between the reference frame and the current frame in the microblock; calculating the difference between the reference frame and the current frame in the luminance block; and calculating the difference between the reference frame and the current frame. Calculating a difference between the microblocks of the chrominance block between; assigning the macroblock having a difference value between the microblocks based on a preset condition; Using the difference between macroblocks.

【0017】マクロブロックの属性に静止および動マク
ロブロックラベルを割り当てる前記ステップが、前記輝
度ブロックの前記マクロブロックの当該記録された差を
予め設定された第1の閾値と比較するステップと、前記
輝度ブロックの当該記録された差が予め設定された第1
の条件を満足した場合に動マクロブロックとして前記マ
クロブロックにマークを付けるステップと、前記輝度ブ
ロックの当該記録された差が予め設定された第2の条件
を満足した場合に静止マクロブロックとして前記マクロ
ブロックにマークを付けるステップと、前記クロミナン
スブロックの前記マクロブロックの当該記録された差を
前記予め設定された第2の閾値と比較するステップと、
前記クロミナンスブロックの当該記録された差の前記比
較が予め設定された第3の条件を満足した場合に動マク
ロブロックとして前記マクロブロックにマークを付ける
ステップと、前記クロミナンスブロックの当該記録され
た差の前記比較が予め設定された第4の条件を満足した
場合に静止マクロブロックとして前記マクロブロックに
マークを付けるステップとを含んでいてもよい。
Assigning the still and moving macroblock labels to the attributes of the macroblock, comparing the recorded difference of the macroblock of the luminance block with a first preset threshold value; The recorded difference of the block is a preset first
Marking the macroblock as a moving macroblock if the condition is satisfied; and defining the macroblock as a still macroblock if the recorded difference of the luminance block satisfies a second predetermined condition. Marking a block; and comparing the recorded difference of the macroblock of the chrominance block with the second preset threshold value;
Marking the macroblock as a moving macroblock if the comparison of the recorded difference of the chrominance block satisfies a third preset condition; and Marking the macroblock as a still macroblock if the comparison satisfies a preset fourth condition.

【0018】本発明によるビデオ符号化において動領域
および静止領域を検出し、選択的に符号化する装置は、
入力画像を画素の二次元配列を含むブロックにサンプリ
ング部と、画素データの前記サンプリングブロックに離
散コサイン変換(DCT)を施してDCT係数を生成す
る変換部と、前記サンプリングDCTブロックを、輝度
ブロックおよびクロミナンスブロックからなるマクロブ
ロックに分類する分類部と、前記マクロブロックを、静
止マクロブロックまたは動マクロブロックとして検出す
る検出部と、静止または動マクロブロックの情報に基づ
いて動き予測を行う動き予測部と、現マクロブロックに
関してレート制御により量子化を行い、前記DCT係数
を量子化する量子化部と、走査された量子化DCT係数
を選択的に廃棄する後処理部と、当該走査された量子化
DCT係数の可変長符号化を行う符号化部とを備えてお
り、これにより上記目的が達成される。
An apparatus for detecting and selectively encoding moving and still regions in video encoding according to the present invention comprises:
A sampling unit for applying a discrete cosine transform (DCT) to the sampling block of pixel data to generate a DCT coefficient; A classification unit that classifies the macroblocks into chrominance blocks, a detection unit that detects the macroblock as a still macroblock or a moving macroblock, and a motion prediction unit that performs motion prediction based on information of the still or moving macroblock. A quantization unit for performing quantization on the current macroblock by rate control to quantize the DCT coefficients, a post-processing unit for selectively discarding the scanned quantized DCT coefficients, A coding unit for performing variable length coding of the coefficients. The purpose is achieved.

【0019】検出部は、前記マクロブロック内の前記輝
度ブロックおよびクロミナンスブロックをより小さいブ
ロックであるミクロブロックに分割し、参照フレームお
よび現フレームの当該ミクロブロック間の差を計算し、
参照フレームおよび現フレームの当該ミクロブロック間
の当該差を記録し、当該記録された差を用いて当該マク
ロブロックの属性を判定し、当該記録された差に基づい
て当該マクロブロックの当該属性に静止および動マクロ
ブロックラベルを割り当ててもよい。
A detecting unit that divides the luminance block and the chrominance block in the macro block into micro blocks, which are smaller blocks, and calculates a difference between the reference frame and the current frame in the current frame;
Record the difference between the reference frame and the microblock of the current frame, use the recorded difference to determine the attribute of the macroblock, and based on the recorded difference, store the attribute of the macroblock in the attribute. And a moving macroblock label may be assigned.

【0020】動き予測部は、前記サンプリング画像内の
動マクロブロック属性を有するすべての当該マクロブロ
ックに動き予測を行い、前記サンプリング画像内の静止
マクロブロック属性を有するすべてのマクロブロックに
動き予測をスキップしてもよい。
The motion prediction unit performs motion prediction on all the macroblocks having the moving macroblock attribute in the sampled image, and skips the motion prediction on all macroblocks having the still macroblock attribute in the sampled image. May be.

【0021】量子化DCT係数を選択的に廃棄する廃棄
する後処理部は、DCTタイプに依存する異なる走査方
法を用いて量子化DCT係数を有する当該静止ミクロブ
ロックの各々を走査し、特定の位置内の当該ミクロブロ
ックの各ブロックの当該量子化DCT係数を予め設定さ
れた閾値と比較し、前記比較が、第1の必要条件を満足
した場合に符号化ブロックと判定し、前記比較が、第2
の必要条件を満足した場合に当該ブロックを廃棄しても
よい。
The discarding post-processor, which selectively discards the quantized DCT coefficients, scans each of the stationary microblocks having the quantized DCT coefficients using a different scanning method depending on the DCT type, and specifies a specific position. Comparing the quantized DCT coefficient of each block of the micro block with a preset threshold value, and if the comparison satisfies the first necessary condition, determines that the block is a coded block. 2
The block may be discarded when the required condition is satisfied.

【0022】検出部は、前記輝度ブロックおよび前記ク
ロミナンスブロックを、小さい二次元画素ブロックであ
るサブミクロブロックに分割してもよい。
[0022] The detecting section may divide the luminance block and the chrominance block into sub-micro blocks which are small two-dimensional pixel blocks.

【0023】検出部は、参照フレームおよび現フレーム
間の前記輝度ブロックの前記ミクロブロック間の差を計
算し、参照フレームおよび現フレーム間の前記クロミナ
ンスブロックの前記ミクロブロック間の差を計算し、予
め設定された条件に基づいて、前記ミクロブロック間の
差の値を有する前記マクロブロックを割り当て、参照フ
レームおよび現フレームの前記マクロブロック間の差と
して使用してもよい。
The detection unit calculates a difference between the micro blocks of the luminance block between the reference frame and the current frame, calculates a difference between the micro blocks of the chrominance block between the reference frame and the current frame, and The macroblock having a difference value between the microblocks may be allocated based on a set condition and used as a difference between the macroblocks of a reference frame and a current frame.

【0024】検出部は、マクロブロックの属性に静止お
よび動マクロブロックラベルを割り当てるに際して、前
記輝度ブロックの前記マクロブロックの当該記録された
差を予め設定された第1の閾値と比較し、前記輝度ブロ
ックの当該記録された差が予め設定された第1の条件を
満足した場合に動マクロブロックとして前記マクロブロ
ックにマークを付け、前記輝度ブロックの当該記録され
た差が予め設定された第2の条件を満足した場合に静止
マクロブロックとして前記マクロブロックにマークを付
け、前記クロミナンスブロックの前記マクロブロックの
当該記録された差を前記予め設定された第2の閾値と比
較し、前記クロミナンスブロックの当該記録された差の
前記比較が予め設定された第3の条件を満足した場合に
動マクロブロックとして前記マクロブロックにマークを
付け、前記クロミナンスブロックの当該記録された差の
前記比較が予め設定された第4の条件を満足した場合に
静止マクロブロックとして前記マクロブロックにマーク
を付けてもよい。
When assigning the still and moving macroblock labels to the attributes of the macroblock, the detecting section compares the recorded difference of the macroblock of the luminance block with a first threshold value set in advance, and Marking the macroblock as a moving macroblock if the recorded difference of the block satisfies a preset first condition, and wherein the recorded difference of the luminance block is a predetermined second condition. If the condition is satisfied, mark the macroblock as a still macroblock, compare the recorded difference of the macroblock of the chrominance block with the second preset threshold, and A moving macroblock if the comparison of the recorded differences satisfies a third preset condition; Marking the macroblock and marking the macroblock as a still macroblock if the comparison of the recorded differences of the chrominance blocks satisfies a fourth preset condition. .

【0025】本発明においては、ピクチャの動領域は、
動マクロブロックとして知られるマクロブロックを有す
る。ピクチャの動かない領域は、静止マクロブロックと
して知られるマクロブロックを有する。
In the present invention, the moving area of the picture is
It has a macroblock known as a moving macroblock. The static areas of the picture have macroblocks known as still macroblocks.

【0026】一般的な動き予測アルゴリズムが現フレー
ム内の現マクロブロックと参照フレーム内の予測マクロ
ブロックとの間の値の差をチェックすることに基づいて
いることを知ることは、何れの予測ミクロブロックが最
小の差を与えるかを確認することである。輝度の変化や
カメラの雑音があるので、これにより、現マクロブロッ
クが参照フレームから現フレームに動いていなくても値
の差が大きくなる。この結果、静止領域も移動とみなさ
れて符号化され、再構成画像は静止領域に対して動オブ
ジェクトのように見える。
Knowing that the general motion estimation algorithm is based on checking the value difference between the current macroblock in the current frame and the predicted macroblock in the reference frame, Check to see if the block gives the smallest difference. Due to changes in brightness and camera noise, this increases the difference in values even if the current macroblock is not moving from the reference frame to the current frame. As a result, the still area is also coded as being regarded as moving, and the reconstructed image looks like a moving object with respect to the still area.

【0027】従来の上記動き予測では動領域と静止領域
を区別できないので、この提案では、前記動き予測の前
後に前処理工程および後処理工程を追加することを目的
とする。同時に、前記動き予測工程に小さい変更も加え
てある。
Since the conventional motion estimation cannot distinguish between a moving area and a still area, this proposal aims to add a pre-processing step and a post-processing step before and after the motion estimation. At the same time, small changes have been made to the motion estimation process.

【0028】ピクチャを符号化する前に、そのピクチャ
をまず走査して、動および静止マクロブロックを識別し
てマークを付ける。前記マーク付けされた動マクロブロ
ックは動き予測を経るのに対して、前記静止マクロブロ
ックは前記動き予測工程をスキップする。ある一定の閾
値を求めて追加して、動マクロブロックと静止マクロブ
ロックを明確に区別している。
Before encoding a picture, the picture is first scanned to identify moving and still macroblocks. The marked moving macroblock undergoes motion prediction, while the still macroblock skips the motion prediction step. A certain threshold is determined and added to clearly distinguish between a moving macroblock and a still macroblock.

【0029】Iピクチャはそのまま符号化されるので、
これらのピクチャは前記前処理工程を経ない。Pおよび
Bピクチャの場合、前記ピクチャは、YおよびUV平面
の組に関して異なる閾値を有する。Bピクチャは、参照
フレームとBまたはPピクチャとの間の時間差がより小
さいために、Pピクチャと比べて小さい閾値を有する。
Since the I picture is encoded as it is,
These pictures do not go through the pre-processing steps. For P and B pictures, said pictures have different thresholds for the set of Y and UV planes. The B picture has a smaller threshold value than the P picture because the time difference between the reference frame and the B or P picture is smaller.

【0030】動き予測の間、静止としてマーク付けされ
たマクロブロックは動き予測を経ない。動き予測をスキ
ップしたマクロブロックは、参照および現符号化マクロ
ブロック間の差によって、スキップマクロブロック或い
は符号化マクロブロックとして符号化される。しかし、
動きベクトルは明らかにない。
During motion estimation, macroblocks marked as still do not undergo motion estimation. The macroblock skipped in the motion prediction is encoded as a skipped macroblock or an encoded macroblock depending on the difference between the reference and the currently encoded macroblock. But,
There is obviously no motion vector.

【0031】以下、作用を説明する。前処理工程を、動
き予測工程の前に追加する(図3)。前記前処理工程
は、現フレーム内の現ミクロブロックと予測フレームの
同一位置内の予測ブロックとの間の画素値の差をチェッ
クする。
The operation will be described below. A preprocessing step is added before the motion prediction step (FIG. 3). The pre-processing step checks for differences in pixel values between the current microblock in the current frame and the predicted block in the same location in the predicted frame.

【0032】前記差を、同一ミクロブロック内の多数の
小領域に基づいて計算し、前記ミクロブロックのサイズ
は、MPEG2の場合における16×16などの標準的
に使用されるものと同一である。4つの差をここで計算
する場合、前記小領域のサイズは4×4ブロックを4つ
でもよい。
The difference is calculated based on a number of small areas in the same microblock, the size of the microblock being the same as that used in standard, such as 16 × 16 in the case of MPEG2. When the four differences are calculated here, the size of the small area may be four 4 × 4 blocks.

【0033】前記4つの差の中で最高の差を代表値とし
て選択し、この16×16ミクロブロック内に動オブジ
ェクトが存在するか否かを見分ける。同じ処理を、輝度
とクロミナンスの両方で実行する。
The highest difference among the four differences is selected as a representative value, and it is determined whether or not a moving object exists in the 16 × 16 micro block. The same process is performed for both luminance and chrominance.

【0034】前記差に基づいて定義済みの閾値との比較
を行う(図4)。前記最高差が前記閾値よりも非常に小
さい場合に静止ミクロブロックを識別する一方、前記最
高差が前記閾値よりも非常に大きい場合に動ミクロブロ
ックを識別する。ここで使用される閾値は、Pまたは
B、輝度またはクロミナンスに関して異なってもよい。
Based on the difference, a comparison is made with a defined threshold (FIG. 4). A stationary microblock is identified if the highest difference is much less than the threshold, while a dynamic microblock is identified if the highest difference is much greater than the threshold. The thresholds used here may be different for P or B, luminance or chrominance.

【0035】この工程で、静止または動ミクロブロック
に関する前記識別を記録してマークを付け、次の工程
で、それを動き予測に使用する。
In this step, the identification for stationary or moving microblocks is recorded and marked, and in the next step it is used for motion estimation.

【0036】次の工程の動き予測では、静止とマークを
付けたそれらのミクロブロックをスキップする。それら
の静止ミクロブロックを、規格の符号化ブロックの規則
によってスキップ或いは符号化ミクロブロックとして更
に符号化する(図5)。
In the next step of motion estimation, those microblocks marked as stationary are skipped. These still microblocks are further encoded as skipped or encoded microblocks according to the standard encoding block rules (FIG. 5).

【0037】後処理工程を、可変長符号化の前に追加す
る。この後処理工程では、ピクチャの品質向上に寄与し
ないブロックを廃棄する。
A post-processing step is added before variable length coding. In this post-processing step, blocks that do not contribute to the improvement of picture quality are discarded.

【0038】[0038]

【発明の実施の形態】本発明は、従来の動き予測により
生成される不正確な動きベクトル、およびビデオ内の静
止領域の一部であるマクロブロックに対するビットの不
正確な割り当ての問題を解決するものである。
DETAILED DESCRIPTION OF THE INVENTION The present invention solves the problem of incorrect motion vectors generated by conventional motion estimation and incorrect allocation of bits to macroblocks that are part of a still region in video. Things.

【0039】図2〜図6は、本発明の好ましい実施の形
態を示す図である。まず図2は、本発明のエンコーダの
構成およびデータのフローを示すブロック図である。図
2において、ブロックサンプリングモジュール201で
は、入力ビデオを8×8画素の形でディジタル形式にサ
ンプリングする。動き予測モジュール202は、参照フ
レームメモリモジュール208で予め格納された参照フ
レームに基づいて現フレームに関する予測を行う。動き
補償モジュール203は、それを参照フレームとして格
納する目的で動き予測モジュール202の動き予測工程
を逆にする。Pピクチャの場合、予測モード符号化のみ
が行われる。Bピクチャに関しては、1つのフレームか
ら予測する、或いはフレーム補間モジュール209のよ
うに2つのフレームから補間することができる。
FIGS. 2 to 6 are views showing a preferred embodiment of the present invention. First, FIG. 2 is a block diagram showing the configuration and data flow of the encoder of the present invention. In FIG. 2, a block sampling module 201 samples an input video in a digital format in the form of 8 × 8 pixels. The motion prediction module 202 performs prediction on the current frame based on the reference frame stored in the reference frame memory module 208 in advance. The motion compensation module 203 reverses the motion prediction process of the motion prediction module 202 in order to store it as a reference frame. In the case of a P picture, only prediction mode coding is performed. For a B picture, it can be predicted from one frame or interpolated from two frames as in the frame interpolation module 209.

【0040】動き補償モジュール203の結果は、後で
参照するためにローカル復号化フレームメモリモジュー
ル210で格納される。DCTモジュール204では、
予測の結果はDCT(離散コサイン変換)を経て時間領
域ピクチャを周波数領域に変換する。次に、それは、レ
ート制御モジュール206におけるレート制御により調
整される量子化工程を用いて量子化モジュール205で
量子化される。
The result of the motion compensation module 203 is stored in the local decoded frame memory module 210 for future reference. In the DCT module 204,
The result of prediction transforms the time domain picture into the frequency domain via DCT (Discrete Cosine Transform). Next, it is quantized in quantization module 205 using a quantization step adjusted by rate control in rate control module 206.

【0041】量子化後、ランレングス符号化および可変
長符号化モジュール207でランレングスおよび可変長
符号化(VLC)を実行してから前記ピクチャをビット
ストリームで格納する。IまたはPピクチャの場合、量
子化されたピクチャは、逆DCTモジュール211で逆
DCTを経て、ローカル復号化フレームメモリモジュー
ル210で以後の参照のためにローカルフレームメモリ
に格納される。
After quantization, the run-length coding and variable-length coding module 207 performs run-length coding and variable-length coding (VLC), and then stores the picture as a bit stream. In the case of an I or P picture, the quantized picture undergoes an inverse DCT in an inverse DCT module 211 and is stored in a local frame memory for subsequent reference in a local decoding frame memory module 210.

【0042】図3は、前処理および後処理工程を追加し
たMPEG−2ビデオエンコーダの構成およびデータの
フローを示すブロック図である。同様の名称が付された
構成要素は、同様の動作を行う。図3に示すように、本
発明ではブロックサンプリングモジュール301と動き
予測モジュール303との間に前処理工程(前処理モジ
ュール302)を追加する。本工程では、異なる属性を
有するマクロブロックを検出してマークを付ける。ブロ
ックサンプリングモジュール301によりサンプリング
された入力ビデオは、前処理モジュール302を経る。
前処理モジュール302への入力は、マクロブロックで
ある。前処理モジュール302の動作は後述する。前処
理モジュール302の後、すべてのマクロブロックは、
割り当てられた静止マクロブロック或いは動マクロブロ
ックである。
FIG. 3 is a block diagram showing the configuration and data flow of an MPEG-2 video encoder to which pre-processing and post-processing steps have been added. Components with the same names perform the same operation. As shown in FIG. 3, in the present invention, a preprocessing step (preprocessing module 302) is added between the block sampling module 301 and the motion prediction module 303. In this step, macroblocks having different attributes are detected and marked. The input video sampled by the block sampling module 301 passes through a pre-processing module 302.
The input to the pre-processing module 302 is a macro block. The operation of the preprocessing module 302 will be described later. After pre-processing module 302, all macroblocks
It is an assigned still or moving macroblock.

【0043】動き予測モジュール303は、動き予測を
実行してピクチャ用の動きベクトルを導き出す。DCT
モジュール305は、サンプリングされたブロックのD
CTを計算する。量子化モジュール306は、予測DC
T係数を量子化する。量子化工程は、レート制御モジュ
ール307におけるレート制御により設定される。
The motion prediction module 303 performs motion prediction to derive a motion vector for a picture. DCT
Module 305 provides the D of the sampled block.
Calculate CT. The quantization module 306 calculates the prediction DC
Quantize the T coefficient. The quantization step is set by the rate control in the rate control module 307.

【0044】次に、量子化されたDCT係数は、後処理
工程(後処理モジュール308)に移行する。ピクチャ
の品質に影響がないブロックは、廃棄される。前記ブロ
ックは、ランレングス符号化および可変長符号化モジュ
ール309のランレングスおよび可変長符号化工程の
後、ビットストリームに後で符号化される。
Next, the quantized DCT coefficient proceeds to a post-processing step (post-processing module 308). Blocks that do not affect picture quality are discarded. The blocks are later encoded into a bitstream after the run-length and variable-length encoding steps of the run-length encoding and variable-length encoding module 309.

【0045】量子化モジュール306の後、前記量子化
係数DCTは逆DCTモジュール312を経て、ピクチ
ャを時間領域に戻って変換し、このピクチャをローカル
復号化フレームメモリモジュール311のローカルフレ
ームメモリに格納する。
After the quantization module 306, the quantized coefficient DCT passes through the inverse DCT module 312 to transform the picture back to the time domain, and stores this picture in the local frame memory of the local decoding frame memory module 311. .

【0046】図4は、前処理工程の詳細図を示す。モジ
ュール401では、最初に、2つのグループ、輝度グル
ープおよびクロミナンスグループに各マクロブロックを
分類する。前記輝度部分はすべての輝度ブロックから成
るのに対して、前記クロミナンス部分はすべてのCrお
よびCb成分から成る。
FIG. 4 shows a detailed view of the pre-processing step. Module 401 first classifies each macroblock into two groups, a luminance group and a chrominance group. The luminance part consists of all luminance blocks, whereas the chrominance part consists of all Cr and Cb components.

【0047】2つの別々のチェックが、輝度グループお
よびクロミナンスグループに対して行われる。前記チェ
ックは、識別に使用される閾値を除いて同一である。
Two separate checks are made for the luminance and chrominance groups. The checks are identical except for the threshold used for identification.

【0048】各グループは、検出方法の感度を良くする
のにミクロブロックと呼ばれる一層小さいブロックに分
割される。各ミクロブロックでは、現フレーム内の同一
位置ミクロブロックと参照フレーム内のミクロブロック
との間で絶対差を計算し、その和(SAD)をとる。P
ピクチャの場合、1組だけのSAD計算を、即ち現フレ
ームと参照フレームとの間で行う。Bピクチャの場合、
2組のSAD計算を行う。1つは前方参照フレームであ
り、もう1つは後方参照フレームである。しかし、2つ
の計算から最大SAD値のみをとって、現在求められて
いるマクロブロックを表す。符号化されているIピクチ
ャからのマクロブロックは、前記前処理工程を行わな
い。
Each group is divided into smaller blocks called microblocks to increase the sensitivity of the detection method. For each microblock, the absolute difference between the microblock at the same position in the current frame and the microblock in the reference frame is calculated and the sum (SAD) is calculated. P
For pictures, only one set of SAD calculations is performed, ie, between the current frame and the reference frame. For a B picture,
Two sets of SAD calculations are performed. One is a forward reference frame and the other is a backward reference frame. However, only the maximum SAD value from the two calculations is taken to represent the currently sought macroblock. Macroblocks from an encoded I-picture do not undergo the pre-processing step.

【0049】SADの式は、次の通りである。The equation of SAD is as follows.

【0050】[0050]

【数1】 (Equation 1)

【0051】ここで、CおよびRは現フレームおよび参
照フレームを指し、iおよびjはブロック内の画素の位
置を指す。
Here, C and R indicate the current frame and the reference frame, and i and j indicate the positions of the pixels in the block.

【0052】すべてのミクロブロックに関するSADの
計算後、最高値を有するSAD値のみを用いて、マクロ
ブロックに関するSADを表す。選ばれたSAD値は、
ピクチャのタイプに依存して選ばれた閾値と比較され
る。
After calculating the SAD for all microblocks, only the SAD value with the highest value is used to represent the SAD for the macroblock. The selected SAD value is
It is compared with a threshold value chosen depending on the type of picture.

【0053】輝度のSADは、定義済みの閾値(モジュ
ール402)に対してチェックされ、SADの値が閾値
よりも大きい場合、モジュール403のように動マクロ
ブロックとしてマクロブロックにマークを付ける。
The luminance SAD is checked against a predefined threshold (module 402), and if the SAD value is greater than the threshold, the macroblock is marked as a moving macroblock as in module 403.

【0054】[0054]

【数2】 (Equation 2)

【0055】上記チェックが失敗した場合(SAD値が
閾値よりも小さい場合)、クロミナンスに関するSAD
値に対するチェックを行う。これは、輝度の大幅な変化
はないが、動きを示すマクロブロックの色(クロミナン
ス)の大幅な変化があるので、行われる。これにより、
検出精度が向上する。
If the above check fails (when the SAD value is smaller than the threshold), the SAD for chrominance
Check the value. This is done because there is no significant change in luminance, but there is a large change in the color (chrominance) of the macroblock that indicates motion. This allows
The detection accuracy is improved.

【0056】最後に、1つ以上の上記チェックルーチン
が成功した場合、求められているマクロブロックに動マ
クロブロック(モジュール403)としてマークを付
け、他の場合は、静止マクロブロック(モジュール40
4)としてマークを付ける。モジュール405は、処理
待ちのピクチャにマクロブロックが他にあるか否かをチ
ェックする。ある場合、モジュール401〜モジュール
404に従って次のマクロブロックを処理する。全マク
ロブロックの処理後、次の工程を開始する。
Finally, if one or more of the above check routines succeeds, the macroblock being sought is marked as a moving macroblock (module 403); otherwise, the still macroblock (module 40) is marked.
Mark as 4). The module 405 checks whether there is another macroblock in the picture to be processed. If so, the next macroblock is processed according to modules 401-404. After processing all macro blocks, the next step is started.

【0057】このアルゴリズムは前記動き予測アルゴリ
ズムと共に用いられるので、動き予測を実行するときに
多少の修正が必要である。マクロブロックの属性を静止
としてチェックする際に、現マクロブロックに関する動
き予測はスキップされる。従って、符号化されている現
ピクチャの場合、現マクロブロックに関する動きベクト
ルはない。この結果、動き予測時間が短縮される。
Since this algorithm is used in conjunction with the motion prediction algorithm, some modifications are required when performing motion prediction. When checking the attribute of a macroblock as stationary, the motion prediction for the current macroblock is skipped. Thus, for the current picture being coded, there is no motion vector for the current macroblock. As a result, the motion estimation time is reduced.

【0058】マクロブロックに動マクロブロックとして
マークを付けた場合、通常の動き予測アルゴリズムが適
用される。この工程から生成された動きベクトルは、規
格に従って通常通り符号化される。
When a macroblock is marked as a moving macroblock, a normal motion prediction algorithm is applied. The motion vectors generated from this step are normally encoded according to the standard.

【0059】次に図5および図6を参照して、以下の考
察を示す。予測結果をビットストリームに書込む前に、
更なる最適化がマクロブロックの符号化において行われ
る。これは、量子化の後処理工程である。図5は、Pお
よびBピクチャに関する量子化ブロックの選択手順を示
す図である。
Next, the following considerations will be given with reference to FIGS. Before writing the prediction results to the bitstream,
Further optimization takes place in the coding of the macroblock. This is a post-processing step of quantization. FIG. 5 is a diagram showing a procedure for selecting a quantized block for P and B pictures.

【0060】モジュール501は、現マクロブロックが
イントラまたは動マクロブロックであるか否かをチェッ
クして判定する。イントラまたは動マクロブロックであ
る場合、本工程をスキップする。前記マクロブロックが
イントラまたは動マクロブロックでない場合、モジュー
ル502に移行する。モジュール502では、最初のn
位置における量子化DCT係数をチェックする。
The module 501 checks to determine whether the current macroblock is an intra or moving macroblock. If the block is an intra or moving macro block, this step is skipped. If the macroblock is not an intra or moving macroblock, the method proceeds to module 502. In module 502, the first n
Check the quantized DCT coefficient at the v position.

【0061】最初のn位置における前記係数の何れも
予め設定された閾値vを超える場合、ブロックを符号
化する(モジュール503)。一方、最初のn位置に
おける前記係数のすべてが前記閾値未満であると確認し
た後、ブロックを廃棄する(モジュール504)。現ブ
ロックに関する処理の完了後、マクロブロック内の全ブ
ロックが処理されるまで次のブロックを処理する(モジ
ュール505〜506)。
[0061] When more than the first n v threshold v s of both preset the coefficient at position coding a block (module 503). On the other hand, after confirming that all of the coefficients at the first nv position are below the threshold, the block is discarded (module 504). After completion of the processing for the current block, the next block is processed until all blocks in the macroblock have been processed (modules 505 to 506).

【0062】後処理を行う理由は、次の通りである。静
止マクロブロックの場合、PおよびBピクチャはIピク
チャから予測されるので、差を符号化するのに効率的で
ない。人間の目は、前記ピクチャの輝度やクロミナンス
の小さい変化を区別できないからである。しかし、動き
予測アルゴリズムは、当該特性の小さい変化に対して非
常に感度が高い。従って、本発明では、このようなブロ
ックを選択して廃棄している。
The reason for performing the post-processing is as follows. For still macroblocks, P and B pictures are predicted from I pictures and are therefore inefficient to encode the difference. This is because human eyes cannot distinguish small changes in luminance or chrominance of the picture. However, the motion estimation algorithm is very sensitive to small changes in the characteristic. Therefore, in the present invention, such a block is selected and discarded.

【0063】しかし、前記廃棄は適当には行われない。
最初のn位置(但し、n>0)における値のみが、
予め設定された閾値v未満である値であるか否かをチ
ェックして判定される。任意の係数がvを超える場
合、ブロックを符号化し(モジュール503)、他の場
合は次の位置に続く。n位置における全係数をチェッ
クしてvを超える係数がない場合、ブロックを廃棄す
る(モジュール504)。
However, the disposal is not performed properly.
Only the value at the first nv position (where nv > 0) is
It is determined by checking whether a preset threshold value v is less than s are values. If any coefficient exceeds v s , encode the block (module 503), otherwise continue to the next position. Check all coefficients at n v locations and if no coefficients exceed v s , discard block (module 504).

【0064】図6は、使用される走査方法およびブロッ
クの廃棄方法を示す。図6の(a)は一般的な走査順序
を示す図であり、(b)は走査後の係数順序を示す図で
ある。これらの図に記載されているとおり、n位置に
おける係数は、規格の走査順序を利用するように並べ換
えられる。重要な係数は最初に配置され、値の重要度は
前記位置が増大するにつれて減少する。換言すれば、低
周波数は高い優先順位が与えられる。(c)は閾値v
未満の全係数に関する最初のn位置を示す図である。
(d)は閾値vを超えるある係数に関する最初のn
位置を示す図である。(e)はvおよびnに対して
予め設定された閾値を示す図である。MPEG2規格に
はジグザグ走査と交互ジグザグ走査の2つの走査方法が
ある。前記走査方法のうち何れか1つを用いる判断は、
エンコーダによりマクロブロックに割り当てられたDC
Tタイプによって決まる。
FIG. 6 shows the scanning method used and the method of discarding blocks. FIG. 6A is a diagram showing a general scanning order, and FIG. 6B is a diagram showing a coefficient order after scanning. As described in these figures, the coefficient of n v position is rearranged so as to utilize the scanning order of the standards. Significant coefficients are placed first, and the significance of the values decreases as the position increases. In other words, low frequencies are given higher priority. (C) the threshold v s
FIG. 11 shows the first nv positions for all coefficients less than.
(D) is the first n v for some coefficient above the threshold v s
It is a figure showing a position. (E) is a diagram showing a preset threshold value with respect to v s and n v. The MPEG2 standard has two scanning methods, zigzag scanning and alternate zigzag scanning. The determination using any one of the scanning methods is as follows.
DC assigned to macroblock by encoder
Determined by T type.

【0065】[0065]

【数3】 (Equation 3)

【0066】前記ピクチャの量子化の間、前記エンコー
ダの内部ビットカウンタは、各マクロブロックおよび各
ピクチャに割り当てられた総計ビットを常に把握してい
る。動きベクトルの数を(記載した方法を用いない符号
化と比べて)減らしていくにつれて、レート制御では、
より多くのビットをエッジ等のようなより多くの要求マ
クロブロックに与えることができる。これは、前記ピク
チャのエッジを強調するのに役立つ。
During the quantization of the picture, the internal bit counter of the encoder keeps track of the total bits allocated to each macroblock and each picture. As the number of motion vectors decreases (compared to coding without the described method), rate control
More bits can be provided to more required macroblocks such as edges and the like. This helps to emphasize the edges of the picture.

【0067】また、ブロックの符号化の廃棄によるビッ
トの利用可能性により、より多くの要求マクロブロック
(エッジ、色変化領域等のような高い活性を有するマク
ロブロック)に対する割り当てに利用可能なビットが増
加する。
Also, due to the availability of bits due to discarding of block coding, bits available for allocation to more requested macroblocks (macroblocks having high activity such as edges, color change areas, etc.) become available. To increase.

【0068】このような手法により、表1に示すように
以下のような効果が得られる。表1は、本発明によるア
ルゴリズムを用いてテストを行った結果を示す。テスト
は、対照的な前景および背景を用いた。
According to such a method, the following effects can be obtained as shown in Table 1. Table 1 shows the results of tests performed using the algorithm according to the present invention. The test used contrasting foreground and background.

【0069】[0069]

【表1】 [Table 1]

【0070】Norwayは、建物の静止背景および市
場で動く人の前景を有する結果である。Fountai
nは、固定背景および泉の噴水と動く虹の前景を有する
コンピュータ生成画像である。Poppleは、3つの
回転物体を有する青い背景ピクチャである。Poppl
etは、Poppleと同一ピクチャであるが、画面移
動テキストを有する。また、MSE(Mean Square Erro
r)は平均二乗誤差、PSNR(Peak Signal to Noise
Ratio)は、圧縮画像の画質を定量的に評価するための
指標である。上記実験の場合、次のような閾値を使用し
た。すなわち、 Pピクチャの場合、Vthreshold_luminance = 550、V
threshold_chrominance = 85、 Bピクチャの場合、Vthreshold_luminance = 650、V
theshold_chrominance = 85 である。
Norway is the result of having a stationary background of the building and a foreground of a person moving on the market. Fountai
n is a computer-generated image with a fixed background and a fountain of a fountain and a foreground of a moving rainbow. Popple is a blue background picture with three rotating objects. Poppl
et is the same picture as Popple, but has panning text. In addition, MSE (Mean Square Erro
r) is the mean square error, PSNR (Peak Signal to Noise)
Ratio) is an index for quantitatively evaluating the image quality of the compressed image. For the above experiments, the following thresholds were used. That is, for a P picture, V threshold_luminance = 550, V
threshold_chrominance = 85, for B picture, V threshold_luminance = 650, V
theshold_chrominance = 85.

【0071】上記閾値は、poppletの符号化から
選択されている。最適には、各ピクチャが、符号化され
るピクチャの内容によってそれ自体の閾値を有するべき
である。
The threshold value is selected from poplet coding. Optimally, each picture should have its own threshold depending on the content of the picture to be coded.

【0072】図7は、動き予測工程の前に検出される動
きを有するマクロブロックを示す。これは前処理工程の
出力である。図8は、従来のエンコーダで動き予測によ
り検出された動きベクトルを示す。図9は、本発明に記
載の方法を用いて動き予測により検出された動きベクト
ルを示す。
FIG. 7 shows a macroblock with motion detected before the motion estimation step. This is the output of the pre-processing step. FIG. 8 shows a motion vector detected by motion prediction with a conventional encoder. FIG. 9 shows a motion vector detected by motion prediction using the method according to the present invention.

【0073】[0073]

【発明の効果】本発明によれば、最初に、動および静止
マクロブロックの検出のために各ピクチャを走査する。
次に、動マクロブロックと識別された前記マクロブロッ
クは通常の動き予測工程を経るが、識別された静止マク
ロブロックは動き予測工程に対してスキップされる。す
なわち静止領域か動領域かを判定し、静止マクロブロッ
クに対して動き予測を行わないこととする。これによ
り、符号化効率を向上させて動き予測計算時間を短縮す
ることができる。静止マクロブロックに予め割当てられ
たビットは、動マクロブロックの符号化にうまく使用さ
れ、同時に、再構成ピクチャの静止画像領域の周囲の不
安定な問題も解決することができる。
According to the present invention, each picture is first scanned for motion and still macroblock detection.
Next, the macroblock identified as a moving macroblock undergoes a normal motion estimation step, while the identified still macroblock is skipped for the motion estimation step. That is, it is determined whether the region is a still region or a moving region, and no motion prediction is performed on the still macroblock. As a result, the coding efficiency can be improved and the motion prediction calculation time can be reduced. The bits pre-allocated to the still macroblock can be used successfully for coding of the moving macroblock, while at the same time solving the instability problem around the still picture area of the reconstructed picture.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 テクスチャ形成を示すピクチャからの拡大マ
クロブロックを示すである。
FIG. 1 shows an enlarged macroblock from a picture showing texture formation.

【図2】 本発明のエンコーダの構成およびデータのフ
ローを示すブロック図である。
FIG. 2 is a block diagram showing the configuration and data flow of the encoder of the present invention.

【図3】 前処理および後処理工程を追加したMPEG
−2ビデオエンコーダの構成およびデータのフローを示
すブロック図である。
FIG. 3 MPEG with pre-processing and post-processing steps added
FIG. 2 is a block diagram illustrating a configuration and data flow of a -2 video encoder.

【図4】 前処理工程の詳細なフローチャートである。FIG. 4 is a detailed flowchart of a preprocessing step.

【図5】 PおよびBピクチャに関する量子化ブロック
の選択手順を示す図である。
FIG. 5 is a diagram showing a procedure for selecting a quantized block for P and B pictures.

【図6】 使用される走査方法およびブロックの廃棄方
法を示す。(a)は一般的な走査順序を示す図である。
(b)は走査後の係数順序を示す図である。(c)は閾
値v未満の全係数に関する最初のn位置を示す図で
ある。(d)は閾値vを超えるある係数に関する最初
のn位置を示す図である。(e)はvおよびn
対して予め設定された閾値を示す図である。
FIG. 6 shows the scanning method used and the block discarding method used. (A) is a figure which shows a general scanning order.
(B) is a diagram showing the coefficient order after scanning. (C) is a diagram showing a first n v position for all coefficients below a threshold value v s. (D) is a diagram showing a first n v position for a certain factor exceeds a threshold v s. (E) is a diagram showing a preset threshold value with respect to v s and n v.

【図7】 動き予測工程の前に検出される動きを有する
マクロブロックを示す図である。
FIG. 7 is a diagram showing a macroblock having a motion detected before the motion prediction step.

【図8】 従来のエンコーダで動き予測により検出され
た動きベクトルを示す図である。
FIG. 8 is a diagram showing a motion vector detected by motion prediction by a conventional encoder.

【図9】 本発明に記載の方法を用いて動き予測により
検出された動きベクトルを示す図である。
FIG. 9 is a diagram showing a motion vector detected by motion prediction using the method according to the present invention.

【符号の説明】[Explanation of symbols]

301 ブロックサンプリングモジュール 302 前処理モジュール 303 動き予測モジュール 304 動き補償モジュール 305 DCTモジュール 306 量子化モジュール 307 レート制御モジュール 308 後処理モジュール 309 ランレングス符号化および可変長符号化 310 フレーム補間モジュール 311 ローカル復号化フレームメモリ 312 逆DCT 313 参照フレームメモリ 301 Block sampling module 302 Pre-processing module 303 Motion prediction module 304 Motion compensation module 305 DCT module 306 Quantization module 307 Rate control module 308 Post-processing module 309 Run-length encoding and variable length encoding 310 Frame interpolation module 311 Locally decoded frame Memory 312 Inverse DCT 313 Reference frame memory

───────────────────────────────────────────────────── フロントページの続き (72)発明者 シェン メイ・シェン シンガポール534415シンガポール、タイ・ セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・ エステイト、パナソニック・シンガポール 研究所株式会社内 (72)発明者 テック ウィー・フー シンガポール534415シンガポール、タイ・ セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・ エステイト、パナソニック・シンガポール 研究所株式会社内 Fターム(参考) 5C059 KK17 LB01 MA00 MA23 MC11 MC38 ME01 ME05 NN24 NN28 PP05 PP06 PP07 PP16 PP26 PP27 PP29 TA00 TA45 TA66 TB07 TC04 TD11 UA02 5J064 AA02 BA09 BA16 BB03 BC14 BC16 BC25 BD01  ──────────────────────────────────────────────────の Continued on the front page (72) Inventor Shen Mei Shen Singapore 534415 Singapore, Thailand Sen Avenue, Blocks 1022, 04-3530, Thai Sen Industrial Estate, Panasonic Singapore Research Institute, Inc. (72) Inventor Tech We Who Singapore 534415 Singapore, Thai Sen Avenue, Blocks 1022, 04-3530, Thai Sen Industrial Estate, Panasonic Singapore Research Institute F-term (reference) 5C059 KK17 LB01 MA00 MA23 MC11 MC38 ME01 ME05 NN24 NN28 PP05 PP06 PP07 PP16 PP26 PP27 PP29 TA00 TA45 TA66 TB07 TC04 TD11 UA02 5J064 AA02 BA09 BA16 BB03 BC14 BC16 BC25 BD01

Claims (14)

【特許請求の範囲】[Claims] 【請求項1】 ビデオ符号化において動領域および静止
領域を検出し、選択的に符号化する方法であって、 入力画像を画素の二次元配列を含むブロックにサンプリ
ングするステップと、 画素データの前記サンプリングブロックに離散コサイン
変換(DCT)を施してDCT係数を生成するステップ
と、 前記サンプリングDCTブロックを、輝度ブロックおよ
びクロミナンスブロックからなるマクロブロックに分類
するステップと、 前記マクロブロックを、静止マクロブロックまたは動マ
クロブロックとして検出するステップと、 静止または動マクロブロックの情報に基づいて動き予測
を行うステップと、 現マクロブロックに関してレート制御により量子化を行
い、前記DCT係数を量子化するステップと、 走査された量子化DCT係数を選択的に廃棄するステッ
プと、 当該走査された量子化DCT係数の可変長符号化を行う
ステップとを含む方法。
1. A method for detecting and selectively encoding moving and still regions in video encoding, comprising: sampling an input image into blocks containing a two-dimensional array of pixels; Applying a discrete cosine transform (DCT) to the sampling block to generate DCT coefficients; classifying the sampling DCT block into a macroblock consisting of a luminance block and a chrominance block; Detecting as a moving macroblock, performing motion prediction based on information of a still or moving macroblock, performing quantization on the current macroblock by rate control, and quantizing the DCT coefficient, Quantized DCT coefficients Method comprising the steps of discarding the 択的, and performing variable length coding of the scanned quantized DCT coefficients.
【請求項2】 マクロブロックを、静止または動マクロ
ブロックとして検出する前記ステップは、 前記マクロブロック内の前記輝度ブロックおよびクロミ
ナンスブロックをより小さいブロックであるミクロブロ
ックに分割するステップと、 参照フレームおよび現フレームの当該ミクロブロック間
の差を計算するステップと、 参照フレームおよび現フレームの当該ミクロブロック間
の当該差を記録するステップと、 当該記録された差を用いて当該マクロブロックの属性を
判定するステップと、 当該記録された差に基づいて当該マクロブロックの当該
属性に静止および動マクロブロックラベルを割り当てる
ステップとを含む、請求項1記載の方法。
2. The method of claim 1, wherein detecting the macroblock as a still or moving macroblock comprises: dividing the luminance and chrominance blocks in the macroblock into smaller microblocks; Calculating the difference between the microblocks of the frame; recording the difference between the reference frame and the microblock of the current frame; and determining the attribute of the macroblock using the recorded differences. 2. The method of claim 1, comprising: assigning still and moving macroblock labels to the attributes of the macroblock based on the recorded differences.
【請求項3】 動き予測を行う前記ステップは、 前記サンプリング画像内の動マクロブロック属性を有す
るすべての当該マクロブロックに動き予測を行うステッ
プと、 前記サンプリング画像内の静止マクロブロック属性を有
するすべてのマクロブロックに動き予測をスキップする
ステップとを含む、請求項1記載の方法。
3. The step of performing motion prediction includes: performing motion prediction on all the macroblocks having a moving macroblock attribute in the sampling image; and performing all motion prediction on all the macroblocks having a still macroblock attribute in the sampling image. Skipping motion estimation for the macroblock.
【請求項4】 廃棄する前記ステップは、 DCTタイプに依存する異なる走査方法を用いて量子化
DCT係数を有する当該静止ミクロブロックの各々を走
査するステップと、 特定の位置内の当該ミクロブロックの各ブロックの当該
量子化DCT係数を予め設定された閾値と比較するステ
ップと、 前記比較が、第1の必要条件を満足した場合に符号化ブ
ロックと判定するステップと、 前記比較が、第2の必要条件を満足した場合に当該ブロ
ックを廃棄するステップとを含む、請求項1記載の方
法。
4. The step of discarding comprises: scanning each of the stationary microblocks with quantized DCT coefficients using a different scanning method depending on the DCT type; Comparing the quantized DCT coefficient of the block with a preset threshold; determining that the block is a coded block if the comparison satisfies a first requirement; Discarding the block if the condition is satisfied.
【請求項5】 分割する前記ステップは、前記輝度ブロ
ックおよび前記クロミナンスブロックを、小さい二次元
画素ブロックであるサブミクロブロックに分割するステ
ップを含む、請求項2記載の方法。
5. The method of claim 2, wherein the step of dividing comprises dividing the luminance block and the chrominance block into sub-micro blocks that are small two-dimensional pixel blocks.
【請求項6】 参照フレームおよび現フレームの前記ミ
クロブロック間の差を計算する前記ステップは、 参照フレームおよび現フレーム間の前記輝度ブロックの
前記ミクロブロック間の差を計算するステップと、 参照フレームおよび現フレーム間の前記クロミナンスブ
ロックの前記ミクロブロック間の差を計算するステップ
と、 予め設定された条件に基づいて、前記ミクロブロック間
の差の値を有する前記マクロブロックを割り当て、参照
フレームおよび現フレームの前記マクロブロック間の差
として使用するステップとを含む、請求項2記載の方
法。
6. The step of calculating a difference between a reference frame and a microblock of a current frame, the step of calculating a difference between the microblock of the luminance block between a reference frame and a current frame; Calculating a difference between the microblocks of the chrominance block between current frames; allocating the macroblock having a difference value between the microblocks based on a preset condition; Using as a difference between the macroblocks.
【請求項7】 マクロブロックの属性に静止および動マ
クロブロックラベルを割り当てる前記ステップが、 前記輝度ブロックの前記マクロブロックの当該記録され
た差を予め設定された第1の閾値と比較するステップ
と、 前記輝度ブロックの当該記録された差が予め設定された
第1の条件を満足した場合に動マクロブロックとして前
記マクロブロックにマークを付けるステップと、 前記輝度ブロックの当該記録された差が予め設定された
第2の条件を満足した場合に静止マクロブロックとして
前記マクロブロックにマークを付けるステップと、 前記クロミナンスブロックの前記マクロブロックの当該
記録された差を前記予め設定された第2の閾値と比較す
るステップと、 前記クロミナンスブロックの当該記録された差の前記比
較が予め設定された第3の条件を満足した場合に動マク
ロブロックとして前記マクロブロックにマークを付ける
ステップと、 前記クロミナンスブロックの当該記録された差の前記比
較が予め設定された第4の条件を満足した場合に静止マ
クロブロックとして前記マクロブロックにマークを付け
るステップとを含む、請求項2記載の方法。
7. allocating still and moving macroblock labels to macroblock attributes: comparing the recorded difference of the macroblock of the luminance block to a first preset threshold; Marking the macroblock as a moving macroblock when the recorded difference of the luminance block satisfies a preset first condition; and wherein the recorded difference of the luminance block is preset. Marking the macroblock as a still macroblock when the second condition is satisfied, and comparing the recorded difference of the macroblock of the chrominance block with the preset second threshold. Step and said comparing said recorded difference of said chrominance blocks is preset Marking the macroblock as a moving macroblock when the third condition is satisfied, and when the comparison of the recorded difference of the chrominance block satisfies a fourth condition set in advance. Marking the macroblock as a still macroblock.
【請求項8】 ビデオ符号化において動領域および静止
領域を検出し、選択的に符号化する装置であって、 入力画像を画素の二次元配列を含むブロックにサンプリ
ング部と、 画素データの前記サンプリングブロックに離散コサイン
変換(DCT)を施してDCT係数を生成する変換部
と、 前記サンプリングDCTブロックを、輝度ブロックおよ
びクロミナンスブロックからなるマクロブロックに分類
する分類部と、 前記マクロブロックを、静止マクロブロックまたは動マ
クロブロックとして検出する検出部と、 静止または動マクロブロックの情報に基づいて動き予測
を行う動き予測部と、 現マクロブロックに関してレート制御により量子化を行
い、前記DCT係数を量子化する量子化部と、 走査された量子化DCT係数を選択的に廃棄する後処理
部と、 当該走査された量子化DCT係数の可変長符号化を行う
符号化部とを備えた装置。
8. An apparatus for detecting a moving region and a still region in video encoding and selectively encoding the moving image and the still region, comprising: a sampling unit configured to convert an input image into a block including a two-dimensional array of pixels; A transform unit that performs a discrete cosine transform (DCT) on the blocks to generate DCT coefficients; a classifying unit that classifies the sampling DCT blocks into macroblocks including a luminance block and a chrominance block; Or a detection unit that detects a moving macroblock, a motion prediction unit that performs motion prediction based on information of a still or moving macroblock, a quantization unit that performs quantization on the current macroblock by rate control, and quantizes the DCT coefficient. And selectively discarding the scanned quantized DCT coefficients Apparatus having a post-processing unit, and an encoding unit that performs variable length coding of the scanned quantized DCT coefficients.
【請求項9】 検出部は、 前記マクロブロック内の前記輝度ブロックおよびクロミ
ナンスブロックをより小さいブロックであるミクロブロ
ックに分割し、 参照フレームおよび現フレームの当該ミクロブロック間
の差を計算し、 参照フレームおよび現フレームの当該ミクロブロック間
の当該差を記録し、 当該記録された差を用いて当該マクロブロックの属性を
判定し、 当該記録された差に基づいて当該マクロブロックの当該
属性に静止および動マクロブロックラベルを割り当て
る、請求項8記載の装置。
9. The detecting unit divides the luminance block and the chrominance block in the macro block into micro blocks, which are smaller blocks, calculates a difference between the reference frame and the current frame in the current frame, and calculates a reference frame. And the difference between the microblocks in the current frame is recorded, the attribute of the macroblock is determined using the recorded difference, and the attribute of the macroblock is statically and dynamically moved based on the recorded difference. The apparatus according to claim 8, wherein the apparatus assigns a macroblock label.
【請求項10】 動き予測部は、前記サンプリング画像
内の動マクロブロック属性を有するすべての当該マクロ
ブロックに動き予測を行い、前記サンプリング画像内の
静止マクロブロック属性を有するすべてのマクロブロッ
クに動き予測をスキップする、請求項8記載の装置。
10. The motion prediction unit performs motion prediction on all the macroblocks having a moving macroblock attribute in the sampled image, and performs motion prediction on all macroblocks having a still macroblock attribute in the sampled image. 9. The apparatus according to claim 8, wherein said step is skipped.
【請求項11】 量子化DCT係数を選択的に廃棄する
廃棄する後処理部は、 DCTタイプに依存する異なる走査方法を用いて量子化
DCT係数を有する当該静止ミクロブロックの各々を走
査し、 特定の位置内の当該ミクロブロックの各ブロックの当該
量子化DCT係数を予め設定された閾値と比較し、 前記比較が、第1の必要条件を満足した場合に符号化ブ
ロックと判定し、 前記比較が、第2の必要条件を満足した場合に当該ブロ
ックを廃棄する、請求項8記載の装置。
11. A discard post-processor for selectively discarding quantized DCT coefficients, wherein each of the stationary microblocks having quantized DCT coefficients is scanned using a different scanning method depending on a DCT type. Comparing the quantized DCT coefficient of each block of the micro block in the position of the micro block with a preset threshold value, and when the comparison satisfies a first necessary condition, determines that the block is a coded block; 9. The apparatus according to claim 8, wherein the block is discarded when the second requirement is satisfied.
【請求項12】 検出部は、前記輝度ブロックおよび前
記クロミナンスブロックを、小さい二次元画素ブロック
であるサブミクロブロックに分割する、請求項9記載の
装置。
12. The apparatus according to claim 9, wherein the detection unit divides the luminance block and the chrominance block into sub-micro blocks, which are small two-dimensional pixel blocks.
【請求項13】 検出部は、参照フレームおよび現フレ
ーム間の前記輝度ブロックの前記ミクロブロック間の差
を計算し、参照フレームおよび現フレーム間の前記クロ
ミナンスブロックの前記ミクロブロック間の差を計算
し、予め設定された条件に基づいて、前記ミクロブロッ
ク間の差の値を有する前記マクロブロックを割り当て、
参照フレームおよび現フレームの前記マクロブロック間
の差として使用する、請求項9記載の装置。
13. The detecting unit calculates a difference between the micro blocks of the luminance block between a reference frame and a current frame, and calculates a difference between the micro blocks of the chrominance block between the reference frame and the current frame. Assigning the macroblock having a difference value between the microblocks based on a preset condition;
The apparatus according to claim 9, wherein the apparatus is used as a difference between a reference frame and the macroblock of a current frame.
【請求項14】 検出部は、 マクロブロックの属性に静止および動マクロブロックラ
ベルを割り当てるに際して、前記輝度ブロックの前記マ
クロブロックの当該記録された差を予め設定された第1
の閾値と比較し、 前記輝度ブロックの当該記録された差が予め設定された
第1の条件を満足した場合に動マクロブロックとして前
記マクロブロックにマークを付け、 前記輝度ブロックの当該記録された差が予め設定された
第2の条件を満足した場合に静止マクロブロックとして
前記マクロブロックにマークを付け、 前記クロミナンスブロックの前記マクロブロックの当該
記録された差を前記予め設定された第2の閾値と比較
し、 前記クロミナンスブロックの当該記録された差の前記比
較が予め設定された第3の条件を満足した場合に動マク
ロブロックとして前記マクロブロックにマークを付け、 前記クロミナンスブロックの当該記録された差の前記比
較が予め設定された第4の条件を満足した場合に静止マ
クロブロックとして前記マクロブロックにマークを付け
る、請求項9記載の装置。
14. The method according to claim 1, wherein the detecting unit assigns the still and moving macroblock labels to the attributes of the macroblock, and sets the recorded difference of the macroblock of the luminance block to a predetermined first one.
Comparing the recorded difference of the luminance block with the macro block if the recorded difference of the luminance block satisfies a preset first condition. Marks the macroblock as a still macroblock if a second predetermined condition is satisfied, and compares the recorded difference of the macroblock of the chrominance block with the second predetermined threshold. Comparing, marking the macroblock as a moving macroblock if the comparison of the recorded difference of the chrominance block satisfies a third preset condition; and If the comparison satisfies a preset fourth condition, the macro is regarded as a still macroblock. Mark lock, according to claim 9.
JP2001172431A 2001-06-07 2001-06-07 Device and method for selective encoding of dynamic region and static region Pending JP2002369206A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001172431A JP2002369206A (en) 2001-06-07 2001-06-07 Device and method for selective encoding of dynamic region and static region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001172431A JP2002369206A (en) 2001-06-07 2001-06-07 Device and method for selective encoding of dynamic region and static region

Publications (1)

Publication Number Publication Date
JP2002369206A true JP2002369206A (en) 2002-12-20

Family

ID=19014051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001172431A Pending JP2002369206A (en) 2001-06-07 2001-06-07 Device and method for selective encoding of dynamic region and static region

Country Status (1)

Country Link
JP (1) JP2002369206A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007324923A (en) * 2006-05-31 2007-12-13 Sharp Corp Mpeg image quality correcting device, and mpeg image quality correcting method
US20120188433A1 (en) * 2011-01-20 2012-07-26 Canon Kabushiki Kaisha Apparatus and method for compressive sampling

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007324923A (en) * 2006-05-31 2007-12-13 Sharp Corp Mpeg image quality correcting device, and mpeg image quality correcting method
JP4537348B2 (en) * 2006-05-31 2010-09-01 シャープ株式会社 MPEG image quality correction apparatus and MPEG image quality correction method
US20120188433A1 (en) * 2011-01-20 2012-07-26 Canon Kabushiki Kaisha Apparatus and method for compressive sampling
US8704912B2 (en) * 2011-01-20 2014-04-22 Canon Kabushiki Kaisha Apparatus and method for compressive sampling

Similar Documents

Publication Publication Date Title
US6275614B1 (en) Method and apparatus for block classification and adaptive bit allocation
US6917719B2 (en) Method and apparatus for region-based allocation of processing resources and control of input image formation
US7920628B2 (en) Noise filter for video compression
US6058210A (en) Using encoding cost data for segmentation of compressed image sequences
EP1135934B1 (en) Efficient macroblock header coding for video compression
US6721359B1 (en) Method and apparatus for motion compensated video coding
US7949053B2 (en) Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
EP1022667A2 (en) Methods of feature extraction of video sequences
US7023914B2 (en) Video encoding apparatus and method
EP2131594B1 (en) Method and device for image compression
US6987808B2 (en) Transcoding method and transcoding apparatus
US7072399B2 (en) Motion estimation method and system for MPEG video streams
KR20040060980A (en) Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
JP2002369206A (en) Device and method for selective encoding of dynamic region and static region
JP2002064823A (en) Apparatus and method for detecting scene change of compressed dynamic image as well as recording medium recording its program
JP3615086B2 (en) Compressed data content determination method and compressed data content determination device
Choi et al. Adaptive image quantization using total variation classification
Khan et al. Flock-of-bird algorithm for fast motion based object tracking and transcoding in video streaming
Nieto et al. Fast mode decision and motion estimation with object segmentation in H. 264/AVC encoding