JP2001197503A - Coding method for digital interlace scanning moving picture - Google Patents

Coding method for digital interlace scanning moving picture

Info

Publication number
JP2001197503A
JP2001197503A JP36440499A JP36440499A JP2001197503A JP 2001197503 A JP2001197503 A JP 2001197503A JP 36440499 A JP36440499 A JP 36440499A JP 36440499 A JP36440499 A JP 36440499A JP 2001197503 A JP2001197503 A JP 2001197503A
Authority
JP
Japan
Prior art keywords
information
macroblock
picture
video packet
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP36440499A
Other languages
Japanese (ja)
Inventor
Jae Won Chung
在院 鄭
Jong-Deuk Kim
終得 金
Joo Hee Moon
柱禧 文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hyundai Electronics Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Electronics Industries Co Ltd filed Critical Hyundai Electronics Industries Co Ltd
Priority to JP36440499A priority Critical patent/JP2001197503A/en
Publication of JP2001197503A publication Critical patent/JP2001197503A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a coding method for an interlace scanning moving picture that conducts error compensation with high performance and reproduces a moving picture with a high image quality. SOLUTION: The coding method for an interlace moving picture in the unit of pictures includes a 1st step where additional information in the unit of pictures is transmitted, a 2nd step where whether or not a coded video packet is a 1st packet is discriminated, a 3rd step where video packet header information including required additional information for interlace scanning decoding is transmitted when the video packet is the 1st packet, a 4th step where whether or not a picture coding type is an intra-picture is discriminated, a 5th step where an interlace scanning intra-picture video packet is transmitted when the picture coding type indicates the intra-picture, a 6th step where a video packet of an interlace scanning inter-picture video packet is transmitted when the when the picture coding type indicates no intra-picture, and a 7th step where when the video packet coded in the 5th or 6th step is not the final packet, the procedure returns to the 2nd step again and when the video packet coded in the 5th or 6th step is the final packet, the digital interlace scanning coding is completed.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明はデジタル飛越し走査
動映像(moving image or video) 符号化及び復号化方法
に関するもので、特に、飛越し走査動映像を圧縮符号化
して伝送する場合、伝送エラー(transmission errorあ
るいはchannel error)による劣化(degradation)を最小
化することにより、高画質の動映像を再現し得る飛越し
走査動映像の符号化及び復号化方法に関するものであ
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for encoding and decoding a digital interlaced moving image, and more particularly, to a method for compressing and transmitting an interlaced moving image when transmitting it. The present invention relates to a method of encoding and decoding interlaced scanning moving images that can reproduce high-quality moving images by minimizing degradation due to (transmission error or channel error).

【0002】[0002]

【従来の技術】一般に、デジタル動映像は、信号の構成
方法によって順行走査(progressive)ビデオと飛越し走
査(interlaced)ビデオとに分けられる。図6(a)に示す
ように、順行走査ビデオ信号は、映像内のすべての信号
が同一時間に獲得されると同時に同一時間内に走査され
るフレーム(frame)構造−又はピクチャ(picture)[本明
細書では両用語を混用する]信号であり、反面、図6
(b)に示すように、飛越し走査ビデオ信号は、映像内の
信号が上位フィールド (top field)[実線矢印]と下位フ
ィールド(bottom field)[点線矢印]とに区分され、フィ
ールド間の映像信号獲得及び走査時間が互いに異なるフ
ィールド構造の映像信号である。飛越し映像信号におい
て、上位フィールドと下位フィールドはそれぞれ1ライ
ンずつ順次構成され、構成された各フィールドのライン
を間間に挟み込む方式で(実線矢印と点線矢印とが交ぜ
合わせられる)飛越し走査フレームを構成する。
2. Description of the Related Art In general, digital moving pictures are classified into progressive video and interlaced video according to a method of constructing a signal. As shown in FIG. 6 (a), a forward scanning video signal is a frame structure or picture in which all signals in a video are acquired at the same time and scanned at the same time. [The term is mixed in this specification] is a signal.
As shown in (b), in the interlaced video signal, the signal in the video is divided into an upper field (top field) [solid arrow] and a lower field (bottom field) [dotted arrow]. This is a video signal having a field structure with different signal acquisition and scanning times. In the interlaced video signal, the upper field and the lower field are sequentially constituted by one line each, and the interlaced scanning frame is formed by interposing the lines of each constructed field (a solid arrow and a dotted arrow are intersected). Is configured.

【0003】飛越し走査ビデオにおいては、図6bに示
すように、上位フィールドと下位フィールドとの間に時
間差が存在する。図6bの場合には、上位フィールドが
時間的に先立つものと示されているが、場合によって
は、下位フィールドが時間的に先立つこともできる。両
フィールド間の時間差により、飛越しフレーム内の隣接
したライン間の信号特性が相違し得る。言い換えれば、
飛越し走査フレームのi番目ラインの信号特性はi+1
番目又はi−1番目ラインの信号特性と異なり得る。反
面、同一時刻に作られた同一フィールドのi+2番目ラ
イン、又はi−2番目ラインの信号特性と類似性(corre
lation)が相対的に大きくなり得る。このような特性
は、映像画面の内部に存在する物体の動きが大きいほど
に著しくなる。したがって、順行走査ビデオ特性によっ
て開発された映像符号化装置、例えば、動き推定(motio
n estimation)及び動き補償(motion compensation)、離
散余弦変換(discrete cosine transform; DCT)などを飛
越し走査ビデオ符号化に使用すると、符号化効率(codin
g efficiency又はcoding gain)が減少することになる。
In interlaced video, there is a time difference between the upper and lower fields, as shown in FIG. 6b. In FIG. 6b, the upper field is shown to precede in time, but in some cases, the lower field may precede in time. Due to the time difference between the two fields, the signal characteristics between adjacent lines in the jump frame may be different. In other words,
The signal characteristic of the ith line of the interlaced scanning frame is i + 1
It may be different from the signal characteristics of the i-th or (i-1) -th line. On the other hand, the signal characteristics and similarity (correlation) of the (i + 2) th line or (i−2) th line of the same field made at the same time
lation) can be relatively large. Such characteristics become more remarkable as the movement of an object existing inside the video screen becomes larger. Therefore, video coding devices developed with forward scanning video characteristics, such as motion estimation (motio)
n estimation) and motion compensation, the discrete cosine transform (DCT), etc., used for interlaced video coding, the coding efficiency (codin
g efficiency or coding gain) will decrease.

【0004】このような符号化効率の減少を解消するた
め、フィールド基盤(field-based)動き推定及び動き補
償、フィールド/フレーム適応的(adaptive field/fram
e)DCTなどが研究されてきた。本発明においては、飛
越し走査ビデオを基盤に開発された符号化方法を通称し
て“飛越し走査符号化方法(interlaced coding metho
d)”といい、順行走査ビデオを基盤に開発された符号化
方法を通称して“順行走査符号化方法(progressive cod
ing method)”という。
In order to eliminate such a decrease in coding efficiency, field-based motion estimation and motion compensation, adaptive field / fram adaptive (field / frame).
e) DCT and the like have been studied. In the present invention, the coding method developed based on the interlaced scanning video is generally called “interlaced coding method”.
d) ”, which is commonly referred to as“ progressive scan coding method ”.
ing method) ".

【0005】前記飛越し走査符号化技術は、デジタル動
映像符号化方法に関連した世界標準化機構であるISO/IE
C JTC1/SC29/WG11 (International Standardization Or
ganization/International Electrotechnical Commissi
on Joint Technical Committee 1/Sub Committee 29/Wo
rking Group 11)で、デジタルTVなどの応用を目的と
して制定したMPEG-2 (Moving Picture Experts Group P
hase 2)動映像符号化標準案などに含まれており、よっ
て実際応用製品にも多く用いられる技術である。
[0005] The interlaced scanning coding technique is an ISO / IE which is a global standardization organization related to a digital video coding method.
C JTC1 / SC29 / WG11 (International Standardization Or
ganization / International Electrotechnical Commissi
on Joint Technical Committee 1 / Sub Committee 29 / Wo
rking Group 11), MPEG-2 (Moving Picture Experts Group P) established for applications such as digital TV
hase 2) It is included in the moving picture coding standard and so on, and is therefore a technology often used in practically applied products.

【0006】一方、高効率の映像圧縮とランダムアクセ
ス (random access)のため、デジタルビデオフレームを
Iフレーム、Pフレーム、Bフレームなどの3タイプで
定義、使用する方法がデジタル動映像符号化器に広く用
いられる。ここで、Iフレーム、Pフレーム、Bフレー
ムを区分する情報を“ピクチャ符号化タイプ (picture
coding type)”という。前記3タイプのフレームの特徴
を、ピクチャ符号化タイプ及びその予測方向を示す図7
を参照して説明する。図7において、上側の矢印はPフ
レームでの参照方向の一例を示すものであり、下側の矢
印はBフレームの参照方向を示すものである。この例に
おいて、Iフレームの間隔、連続するBフレームの数な
どは応用(application)又は装置(equipment)によって変
わる。
On the other hand, digital video frames are defined and used in three types, such as I frame, P frame, and B frame, for high efficiency video compression and random access. Widely used. Here, information for classifying the I frame, the P frame, and the B frame is referred to as “picture coding type (picture coding type).
coding type) ". The characteristics of the above three types of frames are shown in FIG.
This will be described with reference to FIG. In FIG. 7, the upper arrow shows an example of the reference direction in the P frame, and the lower arrow shows the reference direction of the B frame. In this example, the interval between I-frames, the number of consecutive B-frames, etc., vary depending on the application or equipment.

【0007】一番目、Iフレーム (Intra coded frame)
は符号化時にほかのフレームを参照しない。二番目、P
フレーム (Predictive coded frame)は以前(previous)
Iフレーム又は以前Pフレームを参照して動き補償予測
を行い、符号化するため、高い圧縮率の符号化が可能で
ある。この場合、参照するIフレーム又はPフレームを
“参照フレーム(reference frame)”という。ビデオの
連続したフレーム間には、時間軸上に色相情報(texture
information)の重複性(redundancy)が大きい。したが
って、Iフレームのように参照なく符号化する方式より
は、以前参照フレームと現在Pフレームとの間の動き情
報(motion information)を推定し、推定された動き情報
(estimated motion information)を用いて動き補償予測
(motion compensated prediction)を行い、予測誤差(pr
ediction error)と動き情報を符号化伝送する方式が圧
縮率面で有利である。
First, I-frame (Intra coded frame)
Does not refer to other frames when encoding. Second, P
Frame (Predictive coded frame) used to be (previous)
Since the motion compensation prediction is performed with reference to the I frame or the previous P frame, and the coding is performed, coding with a high compression rate is possible. In this case, the I frame or the P frame to be referred to is referred to as a “reference frame”. The hue information (texture) is displayed on the time axis between successive frames of the video.
information) has a large degree of redundancy. Therefore, the motion information between the previous reference frame and the current P frame is estimated and the estimated motion information is compared with the method of encoding without reference like the I frame.
motion compensated prediction using (estimated motion information)
(motion compensated prediction), and the prediction error (pr
A method of encoding and transmitting ediction error and motion information is advantageous in terms of compression ratio.

【0008】三番目、Bフレーム (Bidirectionally-pr
edictive coded frame)は圧縮率が最も高いフレーム
で、以前フレームだけでなく、以後フレーム(next fram
e)も参照して予測を行う。BフレームはPフレームのよ
うに補償予測を用いる。しかし、参照映像(reference f
rame)を二つ使用し、その中でより優秀な予測性能を選
択するため、圧縮率が最も高い。一方、このフレームは
ほかのフレームのための参照映像とならない。したがっ
て、以前フレームは現在Bフレームに、ディスプレー順
(display order)上に最も近い以前のIフレーム又はP
フレームであり、以後フレームは現在Bフレームに、デ
ィスプレー順上に最も近い以後のIフレーム又はPフレ
ームである。
Third, B-frame (Bidirectionally-pr
The edictive coded frame is the frame with the highest compression ratio.
Make predictions with reference to e). B frames use compensated prediction like P frames. However, the reference video (reference f
The highest compression ratio is used to select two better prediction performances among them. On the other hand, this frame does not serve as a reference image for another frame. Therefore, the previous frame is now the B frame, in display order.
(display order) closest previous I frame or P
Frame, and the subsequent frame is the next I frame or P frame closest to the current B frame in the display order.

【0009】デジタルビデオを圧縮符号化する場合、I
フレーム、Pフレーム、そしてBフレームをみんな使用
すると、ディスプレー順序と符号化順序 (coding orde
r)が変わる。図7を例に挙げると、ディスプレー順序
は、図示のように、I1、B1、P1、B2、P2、B
3、P3、B4、I2である反面、符号化順序はI1、
P1、B1、P2、B2、P3、B3、I2、B4であ
る。したがって、ディスプレー順序上に二番目フレーム
であるB1を受信段階で復号化してディスプレーするた
めには、三番目フレームP1の復号化を行った後に可能
である。したがって、映像電話(videophone)のように、
実時間映像通信(real-time video communication)機能
を有する応用では低遅延(low delay)符号化が要求さ
れ、このような応用製品では、BフレームなくIフレー
ムとPフレームのみを使用してデジタルビデオを圧縮符
号化して伝送する。
When digital video is compression-encoded, I
Using frames, P frames, and B frames, the display order and coding order (coding orde
r) changes. Taking FIG. 7 as an example, the display order is I1, B1, P1, B2, P2, B
3, P3, B4, I2, but the encoding order is I1,
P1, B1, P2, B2, P3, B3, I2, and B4. Therefore, it is possible to decode and display the second frame B1 in the display order at the receiving stage after decoding the third frame P1. So, like a videophone,
Applications having a real-time video communication function require low delay coding, and such application products use only I frames and P frames without B frames to perform digital video. Is compressed and transmitted.

【0010】図7の例は順行走査ビデオと飛越し走査ビ
デオの両方に提供される。ただし、飛越し走査ビデオを
場合には、各フレームの構成時、図6bのように、二つ
のフィールドが間間に挟み込まれる点が順行走査ビデオ
の場合と異なる。この点を除き、ビデオの構成、予測方
向などは両形式のビデオに対して同一に適用される。デ
ジタルビデオ圧縮符号化時、動き推定及び補償、色相情
報符号化などは一定大きさを有する画素の集合単位で行
い、これを“マクロブロック (macroblock,MB)”とい
う。既存の最も広く使われるマクロブロックの大きさ
は、16画素/ライン×16ライン(以下、16×16
で表示)である。
The example of FIG. 7 is provided for both forward scan video and interlaced video. However, in the case of the interlaced video, the point that two fields are interposed between the frames when the respective frames are formed is different from the case of the forward scan video as shown in FIG. 6B. Except for this point, the structure, prediction direction, and the like of the video are the same for both types of video. At the time of digital video compression encoding, motion estimation and compensation, hue information encoding, and the like are performed in units of a set of pixels having a certain size, and this is called a “macroblock (MB)”. The size of the most widely used macroblock is 16 pixels / line × 16 lines (hereinafter, 16 × 16).
).

【0011】マクロブロックの符号化方法は二つに大別
され、“映像内符号化(intra coding)”と“映像間符号
化(inter coding)”がまさにそれである。映像内符号化
は、マクロブロックが持っている入力色相情報(texture
information)を符号化する反面、映像間符号化は参照
映像から色相情報を予測した後、予測情報と入力情報と
の差、つまりその誤差信号を符号化する方式である。I
フレームはほかのフレームを参照しないため、Iフレー
ムでのすべてのマクロブロックは映像内符号化を行う。
反面、Pフレームにおいては、映像間符号化も可能であ
り、一般的に映像間符号化と映像内符号化のうち、符号
化効率面で有利な符号化方式を選択する。例えば、動き
推定が誤った場合、予測誤差が大きくなり、これを符号
化することは、入力映像信号を符号化する方法より符号
化効率が低下し得る。この場合は、映像間符号化方式よ
り映像内符号化方式が有利である。したがって、Pフレ
ームにも映像内符号化するマクロブロックが存在し得
る。
[0011] The macroblock coding method is roughly classified into two methods, namely, "intra coding" and "inter coding". Intra-video encoding uses input hue information (texture
On the other hand, inter-video coding is a method of predicting hue information from a reference video and then coding the difference between the predicted information and the input information, that is, the error signal. I
Since a frame does not refer to another frame, all macroblocks in an I frame are subjected to intra-picture coding.
On the other hand, in the P frame, inter-picture coding is also possible, and generally, a coding method advantageous in terms of coding efficiency is selected from inter-picture coding and intra-picture coding. For example, if the motion estimation is incorrect, the prediction error becomes large, and encoding this may lower the encoding efficiency compared to the method of encoding the input video signal. In this case, the intra-picture coding method is more advantageous than the inter-picture coding method. Therefore, a macroblock to be intra-coded may exist in the P frame.

【0012】整理すると、映像内符号化と映像間符号化
は、符号化する信号が入力色相信号であるか、又は誤差
信号であるかによって決定される。そして、Iフレーム
ではすべてのマクロブロックが映像内符号化のみを行う
反面、Pフレームでは映像内符号化するマクロブロック
と映像間符号化するマクロブロックが同時に存在し得
る。
In summary, intra-picture coding and inter-picture coding are determined depending on whether the signal to be coded is an input hue signal or an error signal. In an I frame, all macroblocks perform only intra-picture coding, whereas in a P-frame, a macroblock to be intra-coded and a macroblock to be inter-coded can exist simultaneously.

【0013】本明細書では、映像内符号化するマクロブ
ロックを“映像内マクロブロック(intra macrobloc
k)”、そして映像間符号化するマクロブロックを“映像
間マクロブロック(inter macroblock)”と呼ぶ。そし
て、このような区分を示す情報を“マクロブロックタイ
プ(macroblock type)”という。一方、動映像符号化方
式は、長方形のフレームを符号化する“フレーム単位符
号化(frame-based coding)”方式と、任意の形態の領域
(arbitrary shape region)のみを符号化する“物体単位
符号化(object-based coding)”方式とに分けられる。
フレーム単位符号化方式は全フレームの画素を符号化し
て伝送する動映像符号化方式である反面、物体単位符号
化方式は符号化しようとする対象領域のみを符号化して
伝送する動映像符号化方式で、使用者の所望物体のみを
符号化して伝送するか操作(manipulation)することを可
能にする利点を有するため、未来のマルチメディア産業
全般に重要な役を務めると予想される。このような物体
単位符号化方式は、世界標準化機構であるISO/IEC JTC1
/SC29 WG11で制定した標準であるMPEG−4に採択さ
れている。物体単位符号化方式においては、全フレーム
内の画素のうち、どんな画素が物体に属する画素であ
り、どんな画素が背景に属する画素であるかを符号化器
(encoder)及び復号化器(decoder)で同一に区別し得るよ
うにする、物体領域を表示する形状情報(shape informa
tion)の符号化及び伝送が要求される。
In this specification, a macroblock to be intra-coded is referred to as an “intra macrobloc.
k) ", and the macroblock to be inter-coded is called an" inter macroblock ". Information indicating such a division is called a" macroblock type ". The video coding method includes a “frame-based coding” method for coding a rectangular frame, and an arbitrary form of area.
(object-based coding), which encodes only (arbitrary shape region).
The frame-based coding method is a moving image coding method in which the pixels of all frames are coded and transmitted, while the object-based coding method is a moving image coding method in which only the target area to be coded is coded and transmitted. Therefore, it is expected to play an important role in the future multimedia industry in general because it has an advantage that it can encode and transmit or manipulate only a user's desired object. Such an object-based coding method is based on the ISO / IEC JTC1
/ SC29 Adopted by MPEG-4, a standard established by WG11. In the object-based coding method, an encoder determines which pixel belongs to an object and which pixel belongs to a background among pixels in all frames.
(encoder) and a decoder (decoder) so that they can be distinguished identically.
encoding) and transmission.

【0014】図8には、前記国際標準機構で確定したM
PEG−4の動映像符号化器の構成図を示す。MPEG
−4では、フレームという用語の代わりに“VOP(Vid
eo Object Plane)”という用語が使用される。この符号
化器は、当該物体に関する情報(色相情報と形状情報)が
動き推定部(motion estimation)13に入力されると、
動き推定部13は入力された情報からマクロブロック単
位で動きを推定することになる。また、動き補償部(mot
ion compensation)14は、前記動き推定部13から入
力される動き情報を用いて、入力された色相情報(textu
re information)を動き補償予測する。そして、動き補
償部14で予測された信号は入力された信号とともに減
算器(subtractor)16に入力されて、差値が検出され、
減算器16で検出された差値は色相情報符号化部(textu
re coding)18に入力されて、入力物体の色相情報が符
号化される。
FIG. 8 shows the M determined by the International Standards Organization.
1 shows a configuration diagram of a video encoder of PEG-4. FIG. MPEG
-4, "VOP (Vid
eo Object Plane) ". This coder uses information about the object (hue information and shape information) input to a motion estimation unit 13
The motion estimating unit 13 estimates the motion in macroblock units from the input information. In addition, the motion compensation unit (mot
ion compensation) 14 uses the motion information input from the motion estimation unit 13 to input hue information (textu).
re information) is motion compensated and predicted. Then, the signal predicted by the motion compensation unit 14 is input to a subtractor 16 together with the input signal, and a difference value is detected.
The difference value detected by the subtracter 16 is used as a hue information encoding unit (textu).
re coding) 18 to encode the hue information of the input object.

【0015】一方、動き補償部14から出力される動き
補償信号と色相情報符号化部18で符号化された物体の
色相情報は加算器(adder)17に入力されて加算され、
加算器17の出力信号は以前再現VOPメモリ(previou
s reconstructed VOP memory)15に入力、貯蔵され
て、つぎに入力される物体の符号化に使用される。すな
わち、以前再現VOPメモリ15に貯蔵された以前VO
Pは前記動き推定部13及び動き補償部14に入力され
て、動き推定及び動き補償に使用される。
On the other hand, the motion compensation signal output from the motion compensation unit 14 and the hue information of the object encoded by the hue information encoding unit 18 are input to an adder 17 and added.
The output signal of the adder 17 is a previously reproduced VOP memory (previou
s reconstructed VOP memory) 15, which is stored and used for encoding the next input object. That is, the previous VO stored in the previously reproduced VOP memory 15
P is input to the motion estimator 13 and the motion compensator 14 and used for motion estimation and motion compensation.

【0016】MPEG−4動映像符号化器でもマクロブ
ロック単位で映像内符号化と映像間符号化を行う。した
がって、図8に明示しなかったが、マクロブロックであ
る場合には、動き補償を用いないので、入力映像信号が
すぐ色相情報符号化部に入力され、ここで再生された映
像信号も加算器などを経なく、すぐ以前再現VOPメモ
リに入力される。
The MPEG-4 moving picture encoder also performs intra-picture encoding and inter-picture encoding on a macroblock basis. Therefore, although not explicitly shown in FIG. 8, in the case of a macro block, since the motion compensation is not used, the input video signal is immediately input to the hue information coding unit, and the video signal reproduced here is also added to the adder. The data is input to the reproduction VOP memory immediately before without going through the like.

【0017】色相情報とともに入力される形状情報は、
形状情報符号化部(shape coding)12に入力されて、形
状情報が符号化される。形状情報符号化部の出力は形状
情報ビット列(shape information bitstream)と再現形
状情報である。再現形状情報は、点線で示すように、動
き推定部13、動き補償部14及び色相信号符号化部1
8に入力させて、動き推定、動き補償及び物体の色相情
報を物体単位で符号化するのに使用することができる。
MPEG−4動映像符号化器では、物体単位符号化だけ
でなく、フレーム単位符号化も可能である。フレーム単
位符号化は、形状情報符号化及び伝送が不要であるの
で、図8に示すように、スイッチで形状情報符号化部及
びその信号をOn/Offし得るようになっている。ス
イッチを制御する信号が図8のshape_coding_flagであ
る。
The shape information input together with the hue information is
The information is input to a shape information encoding unit (shape coding) 12, and the shape information is encoded. The outputs of the shape information encoding unit are a shape information bitstream and reproduced shape information. The reproduction shape information includes a motion estimation unit 13, a motion compensation unit 14, and a hue signal encoding unit 1 as indicated by a dotted line.
8 and can be used to encode motion estimation, motion compensation and object hue information on an object-by-object basis.
In the MPEG-4 video encoder, not only object-based coding but also frame-based coding is possible. In the frame unit coding, since shape information coding and transmission are unnecessary, as shown in FIG. 8, a shape information coding unit and its signal can be turned on / off by a switch. The signal that controls the switch is shape_coding_flag in FIG.

【0018】また、動き推定部13で推定され符号化さ
れた動き情報ビット列(motion information bitstream)
と、色相情報符号化部18で符号化された物体の色相情
報ビット列(texture information bitstream)及び前記
形状情報符号化部12で符号化された形状情報ビット列
(shape information bitstream)は多重化部(multiplexe
r)19に印加され多重化された後、バッファ(buffer)2
0でバッファリングされ、この多重化されたビット列(m
ultiplexed bitstream)が復号器側に伝送媒体を通じて
伝送される。一方、図8に示されていないが、VOP単
位の付加情報も符号化されて多重化部に入力され、ほか
のビット列とともに多重化されて復号器に伝送される。
VOP単位の付加情報に対しては、後にもっと詳細に説
明する。
A motion information bitstream estimated and encoded by the motion estimator 13 (motion information bitstream)
A hue information bitstream (texture information bitstream) of the object encoded by the hue information encoding unit 18 and a shape information bitstream encoded by the shape information encoding unit 12
(shape information bitstream) is a multiplexer
r) After being applied to 19 and multiplexed, a buffer 2
0, and the multiplexed bit string (m
ultiplexed bitstream) is transmitted to the decoder side through a transmission medium. On the other hand, although not shown in FIG. 8, additional information in VOP units is also encoded and input to the multiplexing unit, multiplexed with other bit strings, and transmitted to the decoder.
The additional information in VOP units will be described later in more detail.

【0019】このように、MPEG−4で定義されるV
OPは既存の標準案のフレームに相当するもので、フレ
ームタイプの同様、I VOP、P VOP、 B VOP
のような“VOP符号化タイプ(VOP coding type)”を
有する。このVOP符号化タイプは長方形のフレームと
は異なり、任意の形状情報を有するという相違点のみが
あり、ほかの特性(例えば、動き補償予測方向)は一致す
る。
As described above, the V defined by MPEG-4
The OP corresponds to the frame of the existing standard draft, and the I VOP, P VOP, B VOP as well as the frame type.
Has a "VOP coding type". This VOP coding type differs from a rectangular frame only in that it has arbitrary shape information, and other characteristics (for example, motion compensation prediction direction) match.

【0020】前述したように、デジタルビデオ圧縮符号
化時、動き推定及び補償、色相情報符号化などは一定大
きさの画素集合であるマクロブロック単位で行われる。
任意の形状情報を有する物体の符号化時には、形状情報
に関連して、マクロブロックを3種に区分可能である。
一番目、物体領域の外部に含まれた場合のマクロブロッ
クがある。このマクロブロックは、内部に物体領域が存
在しなく、よって符号化及び伝送過程が不要である。本
明細書では、このマクロブロックを“透明マクロブロッ
ク(transparent macroblock)”という。二番目、物体領
域の内部にマクロブロックが全て含まれた場合で、既存
のフレーム単位符号化で開発された技術が直接使用でき
る。本明細書では、このようなマクロブロックを“不透
明マイクロブロック(opaque macroblock)”という。最
終に、物体領域と物体領域でない領域とが共存するマク
ロブロックがあり、本明細書では、このようなマクロブ
ロックを“境界マクロブロック(boundary macrobloc
k)”という。このようなマクロブロックを受信端(recei
ver)で復号化(decoding)するためには、物体領域を表示
する形状情報と物体領域内の色相情報を符号化して伝送
すべきである。もちろん、Pフレーム又はBフレームで
の映像間マクロブロックのように、動き推定及び補償を
行うマクロブロックでは動き情報も符号化して伝送すべ
きである。
As described above, during digital video compression encoding, motion estimation and compensation, hue information encoding, and the like are performed in units of macroblocks, which are a set of pixels of a fixed size.
When encoding an object having arbitrary shape information, a macroblock can be classified into three types in relation to the shape information.
First, there is a macroblock when included outside the object area. This macroblock has no object region inside, and thus does not require an encoding and transmission process. This macroblock is referred to herein as a "transparent macroblock". Second, when all the macroblocks are included in the object area, the technology developed in the existing frame-based coding can be directly used. In the present specification, such a macroblock is called an "opaque macroblock". Finally, there is a macroblock in which an object region and a non-object region coexist. In this specification, such a macroblock is referred to as a “boundary macroblock”.
k) ”. Such a macroblock is called a receiving end (recei
In order to perform decoding in ver), shape information indicating the object region and hue information in the object region should be encoded and transmitted. Of course, in a macroblock for which motion estimation and compensation is performed, such as an inter-picture macroblock in a P frame or a B frame, motion information should also be encoded and transmitted.

【0021】図9は透明マクロブロック(TMB)、不透
明マクロブロック(OMB)、及び境界マクロブロック
(BMB)の一例を示すものである。ここで、斜線の部分
は符号化すべき物体領域を示すもので、小さい四角形の
それぞれはマクロブロックを示す。この例において、物
体領域の外部に含まれたマクロブロック(TMB)が6
個、物体領域の内部に含まれたマクロブロック(OMB)
が12個、そして、物体領域の内部と外部が同時に存在
するマクロブロック(BMB)が22個である。
FIG. 9 shows a transparent macroblock (TMB), an opaque macroblock (OMB), and a boundary macroblock.
(BMB) shows an example. Here, hatched portions indicate object regions to be coded, and small squares indicate macroblocks. In this example, the number of macroblocks (TMB) included outside the object area is 6
Macroblock (OMB) included inside the object area
, And 22 macroblocks (BMB) in which the inside and outside of the object area exist simultaneously.

【0022】一方、順行走査ビデオとは異なる信号特性
を有する飛越し走査ビデオの符号化効率を向上させるた
めの研究が活発に進行されてきた。このような飛越し走
査符号化方法は、フィールド/フレーム適応的DCTと
フィールド単位動き情報推定及び予測などの二つに大別
される。飛越し走査符号化方法の代表的な例として、MP
EG-4 Final Draft of International Standard (FDIS)
に記述された方法のうち、二つのみを簡略に説明する。
On the other hand, research for improving the coding efficiency of interlaced scan video having signal characteristics different from that of forward scan video has been actively conducted. Such interlaced scan coding methods are roughly classified into two types: field / frame adaptive DCT and field-based motion information estimation and prediction. As a typical example of the interlaced scan encoding method, MP
EG-4 Final Draft of International Standard (FDIS)
Only two of the methods described in are described briefly.

【0023】一番目、フィールド/フレーム適応的(ada
ptive field/frame)DCTである。映像圧縮符号化方法
の最終段階はDCT(discrete cosine transform)であ
る。16×16のマクロブロックを8×8の大きさを有
する4個のブロック(block)に分け、各ブロック単位で
DCTを行う。図10はマクロブロックと4個のブロッ
クの関係を示す。映像内マクロブロックの場合には、元
の色相信号を、映像間マクロブロックでは動き補償予測
誤差信号をDCTする。このようなDCTは隣接する画
素の信号間に類似性が高いほどにその効率が高くなる。
First, field / frame adaptive (ada
ptive field / frame) DCT. The final stage of the video compression encoding method is a DCT (discrete cosine transform). A 16 × 16 macroblock is divided into four blocks having a size of 8 × 8, and DCT is performed for each block. FIG. 10 shows the relationship between a macroblock and four blocks. In the case of a macroblock within a video, the original hue signal is subjected to DCT, and in the macroblock between video, a motion compensation prediction error signal is subjected to DCT. The higher the similarity between the signals of adjacent pixels, the higher the efficiency of such a DCT.

【0024】飛越し走査ビデオの場合、同一フィールド
の信号が同一時間に作られたものであるので、直接隣り
合うラインの信号よりは同一フィールド上の信号間の類
似性が高い確率が大きい。このような特徴は順行走査ビ
デオと区分される最も大きい特徴であり、特に、移動の
大きい物体が映像内に存在する場合、このような特徴は
著しくなる。したがって、飛越し走査ビデオの場合に
は、同一フィールドの画素間のDCTと、既存のように
フィールドを考慮しないDCTとをみんな許容し、両D
CTのなかで圧縮効率の高い方法を選択して符号化す
る。そして、選択されたDCT方法を知らせるフラグ(f
lag)を受信端に伝送する。これを“フィールド/フレー
ム適応的DCT(adaptive field/frame DCT)”という。
本明細書では、同一フィールドの画素同士DCTを遂行
することを“フィールドDCT”、フィールドを考慮し
ない方式を“フレームDCT”といい、DCT方法を示
すフラグをdct_typeで表示する。
In the case of interlaced video, since the signals in the same field are generated at the same time, there is a higher probability that the similarity between the signals on the same field is higher than the signals on the directly adjacent lines. Such features are the largest features that are distinguished from forward-moving video, especially when moving objects are present in the image. Therefore, in the case of interlaced video, both the DCT between pixels in the same field and the DCT that does not consider the field as in the prior art are allowed, and both DTCs are used.
A method having a high compression efficiency is selected and encoded in CT. Then, a flag (f
lag) to the receiving end. This is called "adaptive field / frame DCT".
In this specification, performing DCT between pixels in the same field is referred to as “field DCT”, and a method not considering a field is referred to as “frame DCT”, and a flag indicating the DCT method is indicated by dct_type.

【0025】フィールド/フレーム適応的DCTを詳細
に説明するとつぎのようである。まず、隣り合うライン
間の類似性と1ライン置きのライン間の類似性とを比較
する。隣り合うライン間の類似性が大きいと、フレーム
DCTを、類似性が小さいと、フィールドDCTを行
う。類似性比較の判断式はつぎのようである。
The field / frame adaptive DCT will be described in detail as follows. First, the similarity between adjacent lines is compared with the similarity between every other line. If the similarity between adjacent lines is large, frame DCT is performed, and if the similarity is small, field DCT is performed. The judgment formula for similarity comparison is as follows.

【0026】[0026]

【数1】 (Equation 1)

【0027】前記式で、iとjはそれぞれMB内での垂
直、水平軸の位置を示し、pi,jはi,j位置の画素
の色相値を示す。仮に、前記関係式のように、左辺が右
辺より大きければ、同一フィールドの画素間の類似性が
高いという意味である。このときには、図11に示すよ
うに、ラインの位置を変形させて、上位フィールド、下
位フィールド同士隣接するように再構成するシャフリン
グ(shuffling)段階((a)→(b))を遂行する。以後、
(b)のマクロブロックを図10のように4個のブロック
に分け、DCT(フィールドDCT)を遂行する。仮に、
右辺が左辺より大きいか同じであると、直接隣り合う画
素の類似性が高いという意味である。したがって、シャ
フリング段階の遂行なく、(a)のマクロブロックを図1
0のように4個のブロックに分け、DCT(フレームD
CT)を遂行する。
In the above equation, i and j indicate the vertical and horizontal axis positions in the MB, respectively, and pi, j indicates the hue value of the pixel at the i and j positions. If the left side is larger than the right side as in the above relational expression, it means that the similarity between pixels in the same field is high. At this time, as shown in FIG. 11, a shuffling step ((a) → (b)) is performed in which the position of the line is deformed and the upper field and the lower field are reconfigured to be adjacent to each other. Since then
The macro block shown in FIG. 10B is divided into four blocks as shown in FIG. 10, and DCT (field DCT) is performed. what if,
If the right side is larger than or the same as the left side, it means that the similarity of directly adjacent pixels is high. Therefore, without performing the shuffling step, the macroblock of FIG.
0, divided into four blocks, and DCT (frame D
CT).

【0028】フィールド/フレーム適応的DCTにおい
て、当該マクロブロックがフレームDCTであるかフィ
ールドDCTであるかを示すフラグdct_typeは1ビット
(bit)を使用して受信端に伝送される。受信端の復号化
器では、受信されたビット列からdct_typeを復号化し、
4個ブロックのDCT変換係数(transform coefficien
t)を復号化して逆DCT(inverse DCT)を遂行する。そ
の後、dct_typeからフィールドDCTであるか、又はフ
レームDCTであるかを判断する。仮に、フィールドD
CTであると、得られたマクロブロックを図11のよう
に逆シャフリング((b)→(a))を遂行して最終マクロブ
ロック信号を求める。
In the field / frame adaptive DCT, a flag dct_type indicating whether the macroblock is a frame DCT or a field DCT is 1 bit.
(bit) and transmitted to the receiving end. The decoder at the receiving end decodes dct_type from the received bit sequence,
DCT transform coefficients of four blocks (transform coefficien
t) is decoded to perform inverse DCT. Thereafter, it is determined from dct_type whether it is a field DCT or a frame DCT. Suppose field D
If it is CT, the obtained macroblock is subjected to inverse shuffling ((b) → (a)) as shown in FIG. 11 to obtain a final macroblock signal.

【0029】二番目、Pフレームでのフィールド単位動
き情報推定である。既存の最も一般的な動き情報推定方
法は、マクロブロック単位で参照映像から動き情報を推
定し、この情報を用いて、参照映像の再現信号から動き
補償予測を遂行することである。この際に、1個のマク
ロブロック内のすべての画素は同一動き情報を有すると
仮定する。したがって、受信端にマクロブロック当たり
一つの動き情報を伝送するとよい(後に説明するが、マ
クロブロック当たり四つの動き情報を伝送する場合もあ
る)。
The second is a field unit of motion information estimation in a P frame. The most common existing motion information estimation method is to estimate motion information from a reference video in macroblock units, and perform motion compensation prediction from a reproduced signal of the reference video using this information. At this time, it is assumed that all pixels in one macroblock have the same motion information. Therefore, it is preferable to transmit one piece of motion information per macroblock to the receiving end (as will be described later, four pieces of motion information may be transmitted per macroblock).

【0030】順行走査ビデオの場合にはこのような仮定
が適用できる。しかし、飛越し走査ビデオである場合に
は、前述したように、フィールド単位に映像生成時刻が
異なるため、1個のマクロブロック内のすべての画素が
同一動き情報を有するという仮定がより正確である。し
たがって、飛越し走査ビデオの場合には、各フィールド
単位で動き情報を推定することがより正確な動き情報推
定を可能にし、動き補償予測誤差を減少させることで符
号化利得を得ることができる。ただし、各マクロブロッ
ク当たり二つの動き情報を伝送しなければならない。し
たがって、一般に、フレーム単位の動き情報推定とフィ
ールド単位の動き情報推定とを比較して、よりよい方法
を選択する。そして、この選択情報フラグ(field_predi
ction)を1ビットで表現して受信端に伝送する。
In the case of forward scanning video, such an assumption can be applied. However, in the case of interlaced video, as described above, since the video generation time differs for each field, it is more accurate to assume that all the pixels in one macroblock have the same motion information. . Therefore, in the case of interlaced scanning video, estimating motion information on a field-by-field basis enables more accurate motion information estimation, and can reduce the motion compensation prediction error to obtain a coding gain. However, two pieces of motion information must be transmitted for each macroblock. Therefore, in general, a better method is selected by comparing the motion information estimation on a frame basis with the motion information estimation on a field basis. Then, the selection information flag (field_predi
ction) is represented by 1 bit and transmitted to the receiving end.

【0031】注意すべき点は、図12に示すように、現
在上位フィールドの動き補償が以前フレームの上位フィ
ールドと下位フィールドの両方から可能であることであ
る。したがって、予測方向を示す情報フラグ(predictio
n_direction)もともに伝送すべきである。現在フレーム
の下位フィールドも同様である。整理すると、フィール
ド単位の動き情報推定及び予測のため、1個のマクロブ
ロック当たり受信端に伝送すべき情報はつぎの5種であ
る。 1)field_prediction 2)上位フィールドのprediction_direction 3)下位フィールドのprediction_direction 4)上位フィールドの動き情報 5)下位フィールドの動き情報 受信端の復号器では、受信されるビット列からfield_pr
ediction情報を復号化する。仮に、フィールド単位の動
き補償予測を遂行する場合であると、2)ないし5)情報
をビット列から復号化し、当該情報に合わせて復号化を
遂行するとよい。
It should be noted that, as shown in FIG. 12, the motion compensation of the current upper field is possible from both the upper field and the lower field of the previous frame. Therefore, the information flag indicating the prediction direction (predictio
n_direction) should be transmitted together. The same applies to the lower field of the current frame. In summary, there are the following five types of information to be transmitted to the receiving end per macroblock for motion information estimation and prediction in field units. 1) field_prediction 2) high-order field prediction_direction 3) low-order field prediction_direction 4) high-order field motion information 5) low-order field motion information The decoder at the receiving end converts the received bit string into a field_pr
Decode ediction information. If the motion compensation prediction is performed on a field-by-field basis, information 2) to 5) may be decoded from the bit string, and the decoding may be performed according to the information.

【0032】先にPフレームの場合を説明したが、Bフ
レーム符号化の場合にも、類似した方法でフィールド予
測が行われる。本発明はBフレーム符号化及び復号化に
直接的に関連がないため、これに対する詳細説明は省略
する。一方、デジタルビデオ信号を圧縮符号化して生成
されたビット列を伝送エラー(transmission error)が多
く発生し得るチャネル(channel)−例えば、移動通信網
(mobile communication channel)−を通じて伝送すると
き、エラーが発生することがあり、この伝送エラーによ
り、受信端で受信されたビット列を復号化したとき、再
現画質が大きく損傷される危険性がある。伝送エラーに
よる問題点を最小化するための研究が活発に進行されて
おり、これは大きくエラー検出(error detection)、エ
ラー局部化(error localization)、データ復旧(data re
covery)などに区分することができる。そして、このよ
うな研究を通称して“エラー耐性(error resilient)技
術”といい、このような技術を反映したビット列構造を
“エラー耐性ビット列(error resilient bitstream)”
という。
Although the case of the P frame has been described above, the field prediction is performed in a similar manner also in the case of the B frame encoding. Since the present invention is not directly related to B frame encoding and decoding, a detailed description thereof will be omitted. On the other hand, a channel in which a transmission error may occur in a bit sequence generated by compression-coding a digital video signal may be generated.
When transmitting through a (mobile communication channel)-, an error may occur. When the bit string received at the receiving end is decoded by the transmission error, there is a risk that a reproduced image quality is significantly damaged. Research into minimizing problems due to transmission errors is being actively pursued, which mainly includes error detection, error localization, and data recovery.
covery). Such research is commonly referred to as "error resilient technology", and the bit string structure that reflects such technology is referred to as "error resilient bitstream".
That.

【0033】以下では、VOP単位の符号化を遂行する
MPEG−4 FDISに記述されたエラー耐性技術を
簡略に調べる。そして、この技術は任意の形状情報を有
する物体単位符号化とフレーム単位符号化のすべてに適
用されるものである。一番目、再同期方法がある。再同
期信号(resynchronization marker又はresync marker)
はエラーが検出された後のビット列と復号化器との間の
再同期を可能にする。ビット列上でエラーが発生した場
合、その直前の再同期地点とその直後の再同期地点との
間のビットは一般的に無視される。仮に、再同期方法が
復号化器で無視されるデータ量を効果的に局部化又は最
小化し得ると、エラー耐性に関連したほかの技術(デー
タ復元又はエラー補償(error concealment))の性能を向
上させることができる。
In the following, an error tolerance technique described in MPEG-4 FDIS that performs encoding on a VOP basis will be briefly examined. This technique is applied to both object-based coding and frame-based coding having arbitrary shape information. First, there is a resynchronization method. Resynchronization signal (resynchronization marker or resync marker)
Enables resynchronization between the bit stream and the decoder after an error has been detected. When an error occurs on a bit string, bits between the immediately preceding resynchronization point and the immediately following resynchronization point are generally ignored. If the resynchronization method could effectively localize or minimize the amount of data ignored by the decoder, it would improve the performance of other techniques related to error resilience (data recovery or error concealment). Can be done.

【0034】MPEG−4の再同期方法はITU−Tの
動映像符号化標準化方案であるH.261又はH.26
3で使用されたGOB(Group of Blocks)構造に類似す
る。この標準案において、GOBは1列又は数列のマク
ロブロック列(row)で構成される。そして、符号化過程
で新たなGOBが開始されるとき、GOBヘッダー(hea
der)をビット列上に位置させる。このヘッダーはGOB
開始コード(start code)を含み、これは復号器がこのG
OBの位置を知り得るようにする。この開始コード以外
にも、GOBヘッダーは復号化過程を再開するのに必要
な情報を貯蔵する。GOB方式は空間的(spatial)再同
期である。換言すると、符号化過程で特定のマクロブロ
ック位置に到達すると、再同期信号をビット列に挿入す
る。この方式に内在された問題点は、符号化過程が可変
ビット率(variable bit-rate)符号化時、この再同期信
号がビット列上に一定間隔に位置し得ないという点であ
る。
The resynchronization method of MPEG-4 is an ITU-T moving picture coding standardization scheme H.264. 261 or H.264. 26
3 is similar to the GOB (Group of Blocks) structure used. In this standard, a GOB is composed of one or several rows of macroblocks (rows). Then, when a new GOB is started in the encoding process, the GOB header (hea
der) on the bit string. This header is GOB
Contains a start code, which the decoder
Be able to know the position of OB. In addition to the start code, the GOB header stores information necessary for restarting the decoding process. The GOB scheme is a spatial resynchronization. In other words, when a specific macroblock position is reached during the encoding process, a resynchronization signal is inserted into the bit string. The problem inherent in this scheme is that when the encoding process is variable bit-rate encoding, the resynchronization signal cannot be located at a constant interval on the bit stream.

【0035】MPEG−4で採択された技術は、このよ
うな問題点を避けるため、ビット列に周期的に再同期信
号を挿入する。すなわち、ビデオパケット(video packe
t)−再同期信号間のビット列集合−の構成がマクロブロ
ックの数を基準とする代わりに、ビデオパケットに含ま
れたビット数を基準として構成される。仮に、1個のマ
クロブロック符号化が終わった後、当該ビデオパケット
の累積された発生ビット数が与えられた臨界値(thresho
ld value)を超えると、つぎのマクロブロックから新た
なビデオパケットを開始する。
The technique adopted in MPEG-4 inserts a resynchronization signal into a bit string periodically to avoid such a problem. That is, a video packet (video packe
The configuration of t) —the set of bit strings between resynchronization signals—is based on the number of bits included in the video packet instead of the number of macroblocks. For example, after one macroblock is encoded, the accumulated number of bits of the video packet is given a threshold value (threshosho).
If (ld value) is exceeded, a new video packet starts with the next macroblock.

【0036】図13は再同期信号を使用するエラー耐性
ビット列構造の例を示すものである。MPEG−4にお
けるビット列はresync marker、 macroblock number、
quant scale、 header extension code (HEC)などから
構成されるビデオパケットヘッダーと、実際マクロブロ
ックの情報(macroblock data)から構成されるビデオパ
ケットの順に構成される。再同期信号は新たなビデオパ
ケットの開始を区分する。このため、この信号はすべて
の可能なVLCコードと各種開始コードと区分されなけ
ればならない。再同期信号を含むヘッダー情報はビデオ
パケットの開始に位置する。このヘッダーは、ビデオパ
ケットでエラーが発生した後、エラーが発生した位置に
最も近い再同期信号から復号化過程を再開することにお
いて必須であり、当該ビデオパケットの第1マクロブロ
ックの位置(macroblock number)及び量子化パラメータ
ー(quant scale)などの情報を含む。
FIG. 13 shows an example of an error-resistant bit string structure using a resynchronization signal. Bit strings in MPEG-4 are resync marker, macroblock number,
The video packet is composed of a video packet header composed of a quant scale, a header extension code (HEC), and the like, and a video packet composed of actual macroblock information (macroblock data). The resynchronization signal marks the start of a new video packet. For this reason, this signal must be distinguished from all possible VLC codes and various start codes. The header information including the resynchronization signal is located at the start of the video packet. This header is indispensable for restarting the decoding process from the resynchronization signal closest to the position where the error occurs after the error occurs in the video packet, and the position of the first macroblock (macroblock number) of the video packet. ) And quantization parameters (quant scale).

【0037】ビデオパケットヘッダーは“ヘッダー拡張
コード(header extension code)”を含み得る。ヘッダ
ー拡張コードはVOP単位の付加情報(overhead inform
ation)である。すなわち、VOP単位の情報が伝送エラ
ーにより損失を被った場合、ビデオパケット内のVOP単
位の情報を使用して復号化が行える。ここで、代表的な
付加情報はVOP_coding_type、intra_dc_vlc_thr、VOP_f
code_forward、VOP_fcode_backwardを含む。ここで、VO
P_coding_typeは、現在符号化すべきVOPがIVOP、 P
VOP、 B VOPのいずれかに相当するかを示す情報であ
り、intra_dc_vlc_thrはDC(direct current)情報を
符号化するとき、AC(alternating current)情報の
VLC表を使用するか否かに関する情報を示す。VOP_fc
ode_forwardは順方向動き情報推定(forward motion est
imation)時の探索領域(search range)の大きさを示す情
報であり、VOP_fcode_backwardはB VOPで逆方向動き情
報推定(backward motion estimation)時の探索領域の大
きさを示す情報である。このように、ヘッダー拡張コー
ドに含まれた情報は復号化器でビデオパケットを独立的
に復号化するのに必ず必要な情報である。
[0037] The video packet header may include a "header extension code". The header extension code is used for additional information (overhead inform
ation). That is, when the information in the VOP is lost due to the transmission error, the decoding can be performed using the information in the VOP in the video packet. Here, typical additional information is VOP_coding_type, intra_dc_vlc_thr, VOP_f
Includes code_forward and VOP_fcode_backward. Where VO
P_coding_type indicates that the current VOP to be encoded is IVOP, P
Intra_dc_vlc_thr indicates information on whether or not to use a VLC table of AC (alternating current) information when encoding DC (direct current) information. . VOP_fc
ode_forward is the forward motion information estimation (forward motion est
VOP_fcode_backward is information indicating the size of the search area during backward motion estimation in B VOP. As described above, the information included in the header extension code is necessary information for the decoder to independently decode the video packet.

【0038】MPEG−4において、エラー耐性符号化
方法を使用するときは、一部圧縮符号化方法を修正しな
ければならない。例えば、すべての予測符号化方法(pre
dictive coding methods)は、エラーの伝播(error prop
agation)を防ぐため、予測に用いられる情報を同一ビデ
オパケット内の情報に限定すべきである。換言すると、
予測時(例えば、AC/DC予測、動きベクトル予測(mo
tion vector prediction))、ビデオパケット境界をVO
P境界と同一に考慮すべきである。
In MPEG-4, when using the error resilience encoding method, it is necessary to partially modify the compression encoding method. For example, all predictive coding methods (pre
dictive coding methods) are used for error propagation (error prop
In order to prevent aggregation, the information used for prediction should be limited to information in the same video packet. In other words,
During prediction (for example, AC / DC prediction, motion vector prediction (mo
option vector prediction)), VO
It should be considered the same as the P boundary.

【0039】二番目、エラー耐性符号化技術として、デ
ータ分割(data partitioning)技術がある。伝送エラー
に強いビデオ復号化器(video decoder)に必須のエラー
補償技術(error concealment method)の性能は再同期方
法に相当に依存する。仮に、再同期方法がエラーをかな
り局部的に制限すると、エラー補償技術の性能はより高
くなる。
Second, there is a data partitioning technique as an error resilience coding technique. The performance of an error concealment method, which is essential for a video decoder that is resistant to transmission errors, depends considerably on the resynchronization method. If the resynchronization method limits the errors fairly locally, the performance of the error compensation technique will be higher.

【0040】MPEG−4では、向上されたエラー局部
化方法の必要性を認知し、データ分割という新たな技術
を発展させた。このデータ分割は、P VOPの場合、
ビデオパケット内のすべてのマクロブロックの情報を色
相情報と動き情報を中心に分離し、第2再同期信号を動
き情報と色相情報との間に挿入する。この際に、データ
分割が使用される事実を受信端に付加情報として知らせ
て、復号化器が知り得るようにする。既存の再同期信号
との区分のため、データ分割の第2再同期信号をmotion
_markerと表現する。
In MPEG-4, the necessity of an improved error localization method was recognized, and a new technique called data division was developed. This data division is, in the case of P VOP,
The information of all the macroblocks in the video packet is separated based on the hue information and the motion information, and the second resynchronization signal is inserted between the motion information and the hue information. At this time, the fact that the data division is used is notified to the receiving end as additional information so that the decoder can know. Motion division of the second resynchronization signal for data division to distinguish it from the existing resynchronization signal
Expressed as _marker.

【0041】図14はデータ分割が使用されたビット列
構造を示すものである。同図から分かるように、データ
分割の場合は、図13のmacroblock dataがmotion mark
erを介在してmotion and overhead information部分とt
exture information部分とに分けられる。motion_marke
rが正確に復号化されると、当該ビデオパケット内のす
べてのマクロブロックの動き情報とこれに関連した付加
情報が正しく復号化されたと見なし得る。仮に、以後に
伝送復号化される色相情報ビット列に伝送エラーが存在
することを検出した場合は、当該ビデオパケット内のす
べての色相情報は無視し、motion_marker以前の復号化
された動き情報のみを用いて、既に復号化されてメモリ
に貯蔵されている参照VOPから動き補償予測を遂行し
て当該ビデオパケット内のすべてのマクロブロックを再
現する。
FIG. 14 shows a bit string structure using data division. As can be seen from the figure, in the case of data division, the macroblock data in FIG.
motion and overhead information part and t
exture information part. motion_marke
If r is correctly decoded, it can be considered that the motion information of all the macroblocks in the video packet and the related additional information have been correctly decoded. If it is detected that a transmission error exists in the hue information bit string to be subsequently transmitted and decoded, all the hue information in the video packet is ignored, and only the motion information decoded before the motion_marker is used. Then, motion compensation prediction is performed from the reference VOP already decoded and stored in the memory to reproduce all macroblocks in the video packet.

【0042】P VOPにおいて、 動き情報が重要な情
報であると、I VOPの場合には、DC情報が重要な
情報である。したがって、ビデオパケット内のすべての
マクロブロックの情報をDC情報とAC情報を中心に分
離し、その間に再同期信号を挿入する。I VOPの場
合には、動き情報推定及び補償がないので、動き情報を
考慮しない。仮に、AC情報で伝送エラーが発生した場
合、AC情報は無視し、DC情報のみを用いて当該ビデ
オパケット内のすべてのマクロブロックを再現すること
になる。この際に、挿入される再同期信号を“dc_marke
r”という前述したように、データ分割符号化方法は、
伝送エラーの発生時、無視する情報を減らし得る利点が
ある。データ分割でない図13の場合には、1ビデオパ
ケット内で伝送エラーが検出された場合、当該ビデオパ
ケットのすべての情報を捨てる。そして、伝送エラーが
発生した後の再同期信号を探し、そのときから再び復号
化を開始する。しかし、前述したようにデータ分割を行
う場合、P VOPである場合は、伝送エラーが色相信
号で発生する場合、動き情報を無視する必要なく映像信
号の再生に用いることができるという利点がある。I
VOPの場合は、伝送エラーがAC信号で発生する場
合、DC情報を無視する必要なく映像信号の再生に用い
ることができるという利点がある。
In the P VOP, if the motion information is important information, in the case of the I VOP, the DC information is important information. Therefore, information of all macroblocks in a video packet is separated centering on DC information and AC information, and a resynchronization signal is inserted between them. In the case of the I VOP, since there is no motion information estimation and compensation, the motion information is not considered. If a transmission error occurs in the AC information, the AC information is ignored, and all the macroblocks in the video packet are reproduced using only the DC information. At this time, the resynchronization signal to be inserted is referred to as “dc_marke
r ”, the data division encoding method is
There is an advantage that information to be ignored can be reduced when a transmission error occurs. In the case of FIG. 13 which is not data division, if a transmission error is detected in one video packet, all information of the video packet is discarded. Then, a resynchronization signal after the occurrence of the transmission error is searched, and decoding is started again from that time. However, as described above, when data division is performed, in the case of a PVOP, when a transmission error occurs in a hue signal, there is an advantage that motion information can be used for reproducing a video signal without having to ignore it. I
In the case of VOP, when a transmission error occurs in an AC signal, there is an advantage that the DC information can be used for reproducing a video signal without having to ignore the DC information.

【0043】これまで、再同期信号とデータ分割技法を
説明した。三番目のエラー耐性技術としては、逆VLC
方法がある。逆VLCコード(Reversible Variable Len
gth Codes、以下RVLC)方式は、符号化テーブルが順方向
(forward direction)と逆方向(reverse direction)など
の両方向への復号化が可能であるようにデザインされて
いる。エラーが存在するため、順方向への復号化が不可
能なビット列に対して、エラー発生地点直後の再同期信
号から逆方向への復号化を行う。したがって、この場合
には、伝送エラーにより復号器で無視されるビット数が
減少する。現在、MPEG−4においては、RVLCを
DCT変換係数の符号化にだけ適用する。
So far, the resynchronization signal and the data division technique have been described. The third error tolerant technology is reverse VLC
There is a way. Reverse VLC code (Reversible Variable Len
gth Codes (RVLC) method, the coding table is forward
It is designed so that decoding in both directions such as (forward direction) and reverse direction is possible. Since there is an error, decoding is performed in the backward direction from the resynchronization signal immediately after the error occurrence point for the bit string that cannot be decoded in the forward direction. Therefore, in this case, the number of bits ignored by the decoder due to transmission errors is reduced. Currently, in MPEG-4, RVLC is applied only to the encoding of DCT transform coefficients.

【0044】以上説明したエラー耐性技術のうち、現在
まで開発されたデータ分割符号化方式は飛越し走査符号
化方式に適用し難い。既存の飛越し走査符号化方式の開
発はDigital TVなどの伝送エラーの少ない環境への適用
を仮定したものであるため、エラー耐性技術は不要であ
った。しかし、伝送エラーが多く発生する移動通信環境
で飛越し走査動映像を符号化伝送するための応用が要求
されると、飛越し走査ビデオ符号化方式は、発生される
伝送エラーにより画質の劣化が相当に大きくなる問題点
を有することになる。
Of the error tolerance techniques described above, the data division coding scheme developed so far is difficult to apply to the interlaced scanning coding scheme. Since the development of the existing interlaced scanning coding method is assumed to be applied to an environment where transmission errors are small, such as Digital TV, an error resilience technique is unnecessary. However, when applications for encoding and transmitting interlaced scanning moving images are required in a mobile communication environment where transmission errors frequently occur, the interlaced scanning video encoding method causes deterioration in image quality due to transmission errors. This has the problem of becoming considerably large.

【0045】以下では、このような問題点をより明確に
記述し得るように、イントラピクチャ(Iフレーム)とイ
ンターピクチャ(Pフレーム又はBフレーム)に区分し、
より詳細に従来のビデオパケット符号化方法を記述す
る。図15は既存のイントラピクチャのビデオパケット
符号化方法の流れ図である。このパケット内に存在する
マクロブロックの数をNMBというと、まず、このパケ
ットの内部に属するNMB個のマクロブロックのすべて
の形状情報、DC情報復号化のための付加情報、そして
DC情報を伝送する。仮に、マクロブロック内に物体画
素が一つでもない透明マクロブロックである場合は、D
C情報復号化のための付加情報とDC情報を伝送する必
要がない。そして、dc_makerを伝送し、やはりNMB個
のマクロブロックのAC情報のための付加情報とAC情
報を伝送する。dc_makerはDC情報とAC情報を区分す
る信号で、全体符号化器で可能なすべてのコードとは区
分すべき信号である。
In the following, in order to more clearly describe such a problem, it is divided into an intra picture (I frame) and an inter picture (P frame or B frame).
The conventional video packet encoding method will be described in more detail. FIG. 15 is a flowchart of an existing intra-picture video packet encoding method. Assuming that the number of macroblocks present in this packet is NMB, first, all shape information of NMB macroblocks belonging to this packet, additional information for decoding DC information, and DC information are transmitted. . If the macroblock is a transparent macroblock having no object pixel, D
There is no need to transmit additional information and DC information for decoding C information. Then, it transmits dc_maker, and also transmits additional information and AC information for AC information of NMB macroblocks. dc_maker is a signal for separating DC information and AC information, and is a signal to be separated from all codes available in the entire encoder.

【0046】このような既存のイントラピクチャビデオ
パケット符号化方法を飛越し走査イントラピクチャ符号
化に適用する場合は多くの問題点が発生する。例えば、
飛越し走査ビデオの符号化時、フィールドDCTを行
い、これに関する情報であるdct_typeを伝送する。しか
し、既存の方法では、このような情報の伝送が全く考慮
されていない。したがって、飛越し走査イントラピクチ
ャを既存方式のビデオパケット符号化方式で伝送する場
合は、情報の不足により、復号化器で映像を適切に再現
し得なくなる。すなわち、DCを再現した後、図11a
及びbのいずれかの方式で再現するかを復号化器で知り
得ない。
When such an existing intra-picture video packet encoding method is applied to interlaced scanning intra-picture encoding, many problems occur. For example,
When encoding interlaced video, field DCT is performed, and dct_type, which is information on the field DCT, is transmitted. However, existing methods do not consider such information transmission at all. Therefore, when the interlaced scanning intra-picture is transmitted by the video packet coding method of the existing method, it is impossible to appropriately reproduce the video by the decoder due to lack of information. That is, after reproducing DC, FIG.
The decoder cannot know which of the methods (a) and (b) is to be reproduced.

【0047】図16は既存のインターピクチャのビデオ
パケット符号化方法を示す流れ図である。このパケット
内に存在するマクロブロックの数をNMBというと、ま
ず、このパケットの内部に属するNMB個のマクロブロ
ックのすべての形状情報、動き情報のための付加情報、
そして動き情報を伝送する。そして、motion makerを伝
送し、やはりNMB個のマクロブロックの色相情報のた
めの付加情報と色相情報を伝送する。Motion makerは動
き情報と色相情報を区分する信号で、全体符号化器で可
能なすべてのコードとは区分すべき信号である。
FIG. 16 is a flowchart showing a method for encoding a video packet of an existing inter picture. Assuming that the number of macroblocks present in this packet is NMB, first, all the shape information of NMB macroblocks belonging to this packet, additional information for motion information,
Then, the motion information is transmitted. Then, a motion maker is transmitted, and additional information and hue information for hue information of NMB macroblocks are also transmitted. Motion maker is a signal for separating motion information and hue information, and all codes that can be used by the overall encoder are signals to be separated.

【0048】動き情報のための付加情報としては、当該
マクロブロックが全く符号化ビットが発生しない場合を
示すフラグ、動き情報がどんなモード(順行走査である
場合、マクロブロック当たり一つの動き情報を送るモー
ドと四つの情報を送るモードなどがある)であるかを示
す情報などがある。色相情報のための付加情報として
は、どんなブロックで伝送すべき色相係数が存在するか
を示す情報、色相情報AC係数を予測符号化するか否か
を示すフラグなどがある。
As the additional information for motion information, a flag indicating that the coded bit is not generated at all for the macroblock, and in what mode the motion information is (for forward scanning, one motion information per macroblock is used). (There is a transmission mode and a mode for transmitting four pieces of information). The additional information for the hue information includes information indicating in which block the hue coefficient to be transmitted exists, a flag indicating whether or not to predictively encode the hue information AC coefficient.

【0049】このような既存のインターピクチャビデオ
パケット符号化方法を飛越し走査インターピクチャ符号
化に適用する場合には多くの問題点が発生する。例え
ば、順行走査インターピクチャの符号化時には各フィー
ルドを区分する必要がないが、飛越し走査ビデオの符号
化時には各フィールドの区分が必要である。したがっ
て、既存のインターピクチャビデオパケット符号化方法
をそのまま飛越し走査動映像に適用すると、伝送エラー
が発生するとき、適切に対処し得ない問題点が発生す
る。
When such an existing inter-picture video packet encoding method is applied to interlaced inter-picture encoding, there are many problems. For example, it is not necessary to partition each field when encoding a forward scan inter-picture, but it is necessary to partition each field when encoding interlaced video. Therefore, if the existing inter-picture video packet encoding method is applied to the interlaced scanning moving image as it is, there is a problem that a transmission error cannot be properly dealt with.

【0050】[0050]

【発明が解決しようとする課題】本発明の目的は、移動
通信網などのようなエラーの多いチャネルを通じて圧縮
した飛越し走査動映像を伝送する場合にも、復号化器で
高性能のエラー補償を行って高画質の動映像を再現し得
る飛越し走査動映像の符号化方法を提供することであ
る。
SUMMARY OF THE INVENTION An object of the present invention is to provide a decoder capable of performing high-performance error compensation even when transmitting a compressed interlaced moving picture through an error-prone channel such as a mobile communication network. And a method of encoding an interlaced scanning moving image capable of reproducing a high-quality moving image.

【0051】[0051]

【課題を解決するための手段】前記目的を達成するた
め、本発明は、ピクチャ単位の飛越し動映像を符号化す
ることにおいて、ピクチャ単位の付加情報を伝送する第
1段階と、符号化しようとするビデオパケットが当該ピ
クチャの第1パケットであるかを判断する第2段階と、
第2段階の判断結果、第1ビデオパケットでない場合、
飛越し走査復号化に必要な付加情報を含むビデオパケッ
トヘッダー情報を伝送する第3段階と、当該ピクチャの
符号化タイプがイントラピクチャであるか否かを判断す
る第4段階と、第4段階で当該ピクチャの符号化タイプ
がイントラピクチャである場合、飛越し走査イントラピ
クチャビデオパケットを伝送する第5段階と、第4段階
で当該ピクチャの符号化タイプがイントラピクチャでな
い場合、飛越し走査インターピクチャのビデオパケット
を伝送する第6段階と、第5段階又は第6段階で符号化
したビデオパケットが当該ピクチャの最終パケットであ
るかを判断して、最終パケットでない場合、再び第2段
階に進行し、一方、最終パケットである場合、デジタル
飛越し走査符号化を終了する第7段階とを含む飛越し走
査動映像の符号化方法を提供する。
In order to achieve the above object, the present invention provides a first step of transmitting additional information in a picture unit, in encoding a skipped moving picture in a picture unit. A second step of determining whether the video packet to be used is the first packet of the picture;
If the result of the second step is not the first video packet,
A third step of transmitting video packet header information including additional information necessary for interlaced scanning decoding, a fourth step of determining whether the encoding type of the picture is an intra picture, and a fourth step. The fifth step of transmitting the interlaced scan intra-picture video packet when the encoding type of the picture is an intra picture, and the interlaced scan inter picture when the encoding type of the picture is not an intra picture in the fourth step. A sixth step of transmitting the video packet, and determining whether the video packet encoded in the fifth step or the sixth step is the last packet of the picture, and if not, proceeds to the second step again; On the other hand, if the packet is the last packet, the seventh step of terminating the digital interlaced scan encoding includes the following steps: The law provides.

【0052】[0052]

【発明の実施の形態】以下、前記のような本発明の技術
的思想による好ましい実施例を添付図面に基づいて詳細
に説明する。図1は本発明による飛越し走査動映像の各
々のピクチャに対してビデオパケット単位で符号化する
データ分割符号化過程を示す流れ図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments according to the technical concept of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a flowchart illustrating a data division encoding process for encoding each picture of an interlaced moving image in video packet units according to the present invention.

【0053】本発明によるデジタル飛越し走査映像の符
号化方法をより詳細に説明するとつぎのようである。符
号化すべき飛越し走査動映像の1ピクチャが入力される
と、ピクチャ符号化を開始し、その第1段階はピクチャ
符号化に必要なピクチャ単位付加情報を伝送することで
ある(S1)。このようなピクチャ単位付加情報は、適用
される標準案又は応用によって多少差があり得る。本発
明において、このような付加情報は特別に制限されな
い。例えば、MPEG−4の場合、前記ピクチャ単位付
加情報の例はpicture coding type、 vop_coded、 vop
_rounding_type、量子化間隔大きさ情報などを含み得
る。ただし、このようなピクチャ単位の付加情報に、当
該符号化すべきピクチャがインターピクチャであるかイ
ントラピクチャであるかを示すpicture coding typeと
飛越し走査復号化に使用される飛越し走査符号化のパラ
メーター、top_field_first、 alternate_vertical_sca
n_ flagなどが含まれていなければならない。ここで、t
op_field_firstは上位フィールドと下位フィールドのい
ずれかフィールドが時間的に先立つかを示す情報であ
り、alternate_vertical_scan_flagはDCT後の変換係
数をscanningする方法を示す情報である。
The encoding method of the digital interlaced scanning image according to the present invention will be described in more detail as follows. When one picture of the interlaced scanning moving image to be coded is input, picture coding is started, and the first step is to transmit picture unit additional information necessary for picture coding (S1). Such picture unit side information may have some differences depending on the applied standard or application. In the present invention, such additional information is not particularly limited. For example, in the case of MPEG-4, examples of the picture unit side information are picture coding type, vop_coded, vop
_rounding_type, quantization interval size information, and the like. However, such additional information in picture units includes a picture coding type indicating whether the picture to be coded is an inter picture or an intra picture, and parameters of interlaced scan coding used for interlaced scan decoding. , Top_field_first, alternate_vertical_sca
n_flag etc. must be included. Where t
op_field_first is information indicating whether a higher-order field or a lower-order field precedes in time, and alternate_vertical_scan_flag is information indicating a method of scanning a transform coefficient after DCT.

【0054】第3段階(S3)は飛越し走査復号化に必要
な付加情報を含むビデオパケットヘッダー情報を伝送す
る段階で、各ビデオパケットの前に位置する。ただし、
各ピクチャの第1ビデオパケットは第1段階(S1)で伝送
された付加情報の直後に出るため、第1ビデオパケット
ではビデオパケットヘッダーを伝送しない。このような
制御を第2段階(S2)で遂行する。すなわち、第2段階
(S2)では、符号化すべきビデオパケットが当該ピクチ
ャの第1パケットであるかを判断して、第3段階(S3)
の遂行可否を制御する。第2段階(S2)で、符号化すべ
きビデオパケットが当該ピクチャの第1パケットでない
場合、第3段階(S3)でビデオパケットヘッダーを伝送
する。ビデオパケットヘッダーは、第1段階(S1)で伝
送されたピクチャ単位の付加情報を伝送エラーなどの理
由により損失したときに使用する情報であるので、ピク
チャ単位の飛越し走査付加情報を含む。第1段階(S1)
と同様、本発明ではその細部付加情報の種類を制限しな
いが、ピクチャ単位の飛越し走査付加情報は、基本的
に、当該符号化すべきピクチャがインターピクチャであ
るか又はイントラピクチャであるかを示すpicture codi
ng typeと飛越し走査復号化に使用される飛越し走査符
号化のパラメーター(top_field_first、 alternate_ver
tical_scan_flag)を含む。
The third step (S3) is a step of transmitting video packet header information including additional information necessary for interlaced scan decoding, and is located before each video packet. However,
Since the first video packet of each picture appears immediately after the additional information transmitted in the first step (S1), the first video packet does not transmit a video packet header. Such control is performed in the second step (S2). That is, the second stage
In (S2), it is determined whether the video packet to be encoded is the first packet of the picture, and a third step (S3)
Is controlled. If the video packet to be encoded is not the first packet of the picture in the second step (S2), the video packet header is transmitted in the third step (S3). The video packet header is information used when the picture-based additional information transmitted in the first step (S1) is lost due to a transmission error or the like, and thus includes the picture-based interlaced scanning additional information. First stage (S1)
Similarly to the above, the type of the detailed additional information is not limited in the present invention, but the interlaced additional information in the picture unit basically indicates whether the picture to be coded is an inter picture or an intra picture. picture codi
ng type and interlaced scan encoding parameters used for interlaced scan decoding (top_field_first, alternate_ver
tical_scan_flag).

【0055】第4段階(S4)では、符号化すべきピクチ
ャがイントラピクチャであるか又はインターピクチャで
あるかを判断して、イントラピクチャである場合は第5
段階(S5)の飛越しイントラピクチャビデオパケット伝
送段階を遂行し、インターピクチャである場合は第6段
階(S6)の飛越し走査インターピクチャビデオパケット
伝送段階を遂行する。本発明において、イントラピクチ
ャである場合とインターピクチャである場合とに分けて
ビデオパケットを伝送する理由は、両者のピクチャにお
ける重要な情報が相違するためである。
In the fourth step (S4), it is determined whether the picture to be coded is an intra picture or an inter picture.
The step (S5) of transmitting the inter-picture video packet is performed. If the picture is an inter-picture, the step of transmitting the inter-scan video picture packet of the sixth step (S6) is performed. In the present invention, the reason why video packets are transmitted separately for the case of an intra picture and the case of an inter picture is that important information in both pictures is different.

【0056】第5段階(S5)又は第6段階(S6)に続
き、最終に、符号化伝送の終わったビデオパケットが当
該ピクチャの終わりに位置しているかを判断して、最終
パケットでない場合には再び第2段階(S2)に進行して
新たなパケットを開始し、最終パケットである場合には
飛越し走査符号化を終了する(S7)。以下、図2を参照
して、本発明の飛越し走査動映像の符号化方法におい
て、飛越し走査イントラピクチャのビデオパケットを伝
送する第5段階(S5)をより詳細に説明する。
Subsequent to the fifth step (S5) or the sixth step (S6), finally, it is determined whether or not the video packet after the coded transmission is located at the end of the picture. Proceeds to the second stage (S2) again to start a new packet, and if it is the last packet, ends the interlaced scan coding (S7). Hereinafter, the fifth step (S5) of transmitting the video packet of the inter-scanning intra picture in the method of encoding the inter-scanning moving image of the present invention will be described in more detail with reference to FIG.

【0057】本発明による飛越し走査イントラピクチャ
のビデオパケット符号化伝送時には、まず、当該マクロ
ブロックの形状情報を符号化して得た形状情報ビット列
を復号器側に伝送する(S51)。次いで、当該マクロブ
ロックが何の物体画素も含まない透明マクロブロック(t
ransparent macroblock)であるかを判断して、透明マク
ロブロックである場合は何の信号も送る必要がないので
第56段階(S56)に進行する(S52)。本発明の符号
化方法は物体単位符号化だけでなく、フレーム単位符号
化にも適用可能であり、フレーム単位符号化では形状情
報の伝送が不要であるので、形状情報伝送の第51段階
(S51)及び透明領域であるかを判断して処理する第5
2段階(S52)は省略される。
At the time of video packet encoding transmission of an interlaced scanning intra picture according to the present invention, first, a shape information bit string obtained by encoding shape information of the macroblock is transmitted to the decoder side (S51). Then, a transparent macroblock (t
It is determined whether the block is a ransparent macroblock. If the block is a transparent macroblock, there is no need to send any signal, and the process proceeds to step 56 (S52). The encoding method of the present invention can be applied not only to object-based encoding but also to frame-based encoding. In frame-based encoding, transmission of shape information is unnecessary, and therefore, the fifty-first step of shape information transmission is performed.
(S51) and the fifth step of determining and processing whether it is a transparent area
The two steps (S52) are omitted.

【0058】前記第52段階(S52)で、透明マクロブ
ロックでない場合は、当該マクロブロックのDC情報を
復号化するのに必要な各種付加情報を伝送する(S5
3)。このような付加情報は、マクロブロックタイプ、
量子化間隔大きさなどの情報を含み得る。本発明におい
ては、DC情報を復号化するのに必要な付加情報は必ず
伝送されなければならない点を除き、この段階で伝送す
べき情報を特定情報に制限しない。
In the 52nd step (S52), if it is not a transparent macroblock, various additional information necessary for decoding DC information of the macroblock is transmitted (S5).
3). Such additional information includes macroblock type,
It may include information such as the quantization interval size. In the present invention, information to be transmitted at this stage is not limited to specific information, except that additional information necessary for decoding DC information must be transmitted.

【0059】本発明においては、DC情報復号化のため
の付加情報の伝送以後に、当該マクロブロックのブロッ
ク別DCT遂行がフレームモードであるか又はフィール
ドモードであるかを示すフラグ(dct_type)を伝送(S5
4)する。これは、復号化器で再生されたdct_typeを確
認して、逆量子化とInverse DCTを遂行して、再生され
た結果に対してシャフリング(shuffling)の遂行可否を
知り得るようにする。第54段階(S54)に続き、第5
5段階(S55)では、当該マクロブロックのブロックの
DC情報を伝送する。第56段階(S56)では、伝送し
たマクロブロックが当該ビデオパケットの最終マクロブ
ロックであるかを判断して、最終マクロブロックである
場合は第57段階(S57)を遂行し、そうでない場合は
つぎのマクロブロック情報に対して第51段階(S51)
を再開する。
In the present invention, after transmitting the additional information for decoding the DC information, a flag (dct_type) indicating whether the DCT is performed in the frame mode or the field mode for each block of the macroblock is transmitted. (S5
4) Do it. This is to check the reproduced dct_type in the decoder, perform inverse quantization and Inverse DCT, and know whether to perform shuffling on the reproduced result. Following the fifty-fourth step (S54), the fifth
In the fifth step (S55), the DC information of the block of the macro block is transmitted. In a 56th step (S56), it is determined whether the transmitted macroblock is the last macroblock of the video packet. If the transmitted macroblock is the last macroblock, the 57th step (S57) is performed. Step 51 for macro block information (S51)
Resume.

【0060】本発明において、第56段階(S56)の判
断方法としてはいろいろがあり得る。例えば、ビデオパ
ケットの長さをマクロブロックの一定数で指定すること
もでき(GOB構造のH.263のように)、又は累積さ
れた発生ビット量が所定の臨界値を超えると、当該ビデ
オパケットが終わると(MPEG−4のように)決めるこ
とができる。本発明においては、1ビデオパケットで最
終マクロブロックであることを決定する方法を特定方法
に制限しない。
In the present invention, there are various determination methods in the 56th step (S56). For example, the length of a video packet can be specified by a fixed number of macroblocks (such as H.263 in a GOB structure), or when the accumulated number of generated bits exceeds a predetermined threshold value, Is completed (like MPEG-4). In the present invention, the method for determining the last macroblock in one video packet is not limited to a specific method.

【0061】第56段階(S56)で、最終パケットであ
る場合は、ビデオパケット内のすべてのマクロブロック
のDC情報とAC情報を区分するマーカー信号dc_marke
rを伝送する(S57)。これは、図2の符号化方法が用
いられる全動映像符号化システムに使用できるすべての
コードと区分可能でなければならない。例えば、MPE
G−4では、“110 1011 0000 0000 0001”のビット列
をdc_markerとして使用する。
In step 56 (S56), if the packet is the last packet, a marker signal dc_marke for separating DC information and AC information of all macroblocks in the video packet.
r is transmitted (S57). It must be distinguishable from all codes available for all video coding systems in which the coding method of FIG. 2 is used. For example, MPE
In G-4, a bit string of “110 1011 0000 0000 0001” is used as dc_marker.

【0062】次いで、第58段階(S58)では、当該ビ
デオパケットに含まれるすべてのマクロブロックの復号
化器でAC情報を復号化する過程で用いられる付加情報
を伝送する。AC情報を復号化する過程で用いられる付
加情報として、coded blockpattern (マクロブロック内
の各ブロックで伝送すべきAC係数があるかを示す信
号)とac_pred_flag(AC情報を予測符号化(predictive
coding)したかを示す信号)を含む。終わりに、第59段
階(S59)では、当該ビデオパケットに含まれるすべて
のマクロブロックのAC情報を伝送する。
Next, in step 58 (S58), the decoder for all the macroblocks included in the video packet transmits the additional information used in the process of decoding the AC information. As additional information used in the process of decoding AC information, coded blockpattern (signal indicating whether there is an AC coefficient to be transmitted in each block in a macroblock) and ac_pred_flag (predictive coding of AC information)
coding) signal). Finally, in step 59, the AC information of all macroblocks included in the video packet is transmitted.

【0063】図2には、第58段階(S58)と第59段
階(S59)のそれぞれに対して、当該ビデオパケット内
のすべてのマクロブロック情報を伝送することを示す。
しかし、当該ビデオパケット内の各マクロブロックに対
して第58段階(S58)と第59段階(S59)を遂行
し、これを当該ビデオパケット内のすべてのマクロブロ
ックに対して遂行してもよい。
FIG. 2 shows that all macroblock information in the video packet is transmitted in each of the 58th step (S58) and the 59th step (S59).
However, step 58 (S58) and step 59 (S59) may be performed on each macroblock in the video packet, and this may be performed on all macroblocks in the video packet.

【0064】本発明のイントラピクチャビデオパケット
の伝送方法において、第54段階(S54)は本発明の最
も重要な特徴を見せる。仮に、第57段階(S57)で伝
送したdc_markerが正確に復号化され、次いで伝送され
るAC情報からチャネルエラーが検出された場合、AC
情報は無視し、dc_marker以前に伝送されたDC情報の
みを用いてビデオパケットを再現する。この際に、dct_
typeを伝送しなければ、復号化器で当該マクロブロック
がフィールドモードであるかフレームモードであるかが
分からなくて、画質の劣化が大きくなる。しかし、本発
明のように、dct_typeを伝送すると、受信端の復号化器
でdct_typeからフィールドDCTであるかフレームDC
Tであるかを判断して、フィールドDCTであると逆シ
ャフリングを遂行して最終マクロブロック信号を再構成
するので(図11参照)、飛越し走査ビデオ圧縮符号化
時、dct_typeを伝送しない既存の方式に比べて、発生す
るチャネルエラーの影響を最小化し、高画質の再生映像
を復号化することができる。
In the method of transmitting an intra-picture video packet according to the present invention, step 54 (S54) shows the most important features of the present invention. If the dc_marker transmitted in step 57 (S57) is correctly decoded and a channel error is detected from the transmitted AC information,
The information is ignored, and the video packet is reproduced using only the DC information transmitted before dc_marker. At this time, dct_
If the type is not transmitted, the decoder does not know whether the macroblock is in the field mode or the frame mode, and the image quality is greatly deteriorated. However, when the dct_type is transmitted as in the present invention, the decoder at the receiving end determines whether the dct_type is a field DCT or a frame DCT.
T is determined, and if it is a field DCT, reverse shuffling is performed to reconstruct the last macroblock signal (see FIG. 11). As compared with the method of the first aspect, it is possible to minimize the influence of the generated channel error and to decode a high-quality reproduced video.

【0065】図3は本発明による飛越し走査動映像符号
化方法の飛越し走査インターピクチャビデオパケット伝
送段階(S6)を示すものである。本発明の飛越し走査イ
ンターピクチャのビデオパケット伝送方法を詳細に説明
すると、まず、物体単位復号化器である場合、マクロブ
ロックの形状情報を符号化して得た形状情報ビット列を
復号器側に伝送し(S61)、次いで、当該マクロブロッ
クが物体画素を全く含まない透明マクロブロックである
かを判断して、透明マクロブロックである場合は何の信
号も送る必要がないので、第69段階(S69)に進行す
る(S62)。本発明の方法はフレーム単位符号化にも適
用できるが、フレーム単位符号化では、形状情報の伝送
が不要であるので、形状情報伝送の第61段階(S6
1)、及び透明領域であるかを判断して処理する第62
段階(S62)は省略される。
FIG. 3 shows the step (S6) of the inter-scan inter-picture video packet transmission in the inter-scan video coding method according to the present invention. The method of transmitting a video packet of an interlaced inter-picture according to the present invention will be described in detail. First, in the case of an object-based decoder, a shape information bit string obtained by encoding shape information of a macroblock is transmitted to a decoder side. Next, it is determined whether the macroblock is a transparent macroblock containing no object pixel (S61). If the macroblock is a transparent macroblock, no signal needs to be sent. ) (S62). Although the method of the present invention can be applied to frame-based coding, the frame-based coding does not require the transmission of shape information.
1) and a 62nd process of determining and processing whether it is a transparent area
Step (S62) is omitted.

【0066】第62段階(S62)で、透明マクロブロッ
クでない場合は、当該マクロブロックの動き情報を復号
化するのに必要な各種付加情報を伝送する(S63)。こ
のような付加情報は符号化を示す情報(当該マクロブロ
ックで伝送すべき情報があるかを示す情報で、通常not_
codedで表現)、マクロブロックタイプ、量子化間隔大き
さなどの情報を含み得る。本発明において、このような
付加情報は特定情報の集合に制限されないが、第63段
階(S63)で伝送する情報のうち、当該マクロブロック
が動き補償予測を用いるインターマクロブロックである
か、又は動き補償予測を使用しないイントラマクロブロ
ックであるかを示すマクロブロックタイプ情報は必ず含
まれる。動き情報のための付加情報の伝送後には、マク
ロブロックタイプを確認して、仮にイントラマクロブロ
ックである場合には、動き情報伝送が不要であるので、
第69段階(S69)を遂行する(S64)。第64段階
(S64)で、マクロブロックタイプがインターマクロブ
ロックである場合には、当該マクロブロックがフレーム
単位動き補償予測を遂行するか、又はフィールド単位動
き補償予測を遂行するかを示す情報field_predictionを
伝送する(S65)。第66段階(S66)では、このモー
ドを判断して、仮にフィールド単位で動き補償予測を遂
行する場合はフィールド単位移動情報を伝送し(S6
7)、フレーム単位で動き補償予測を遂行する場合はフ
レーム単位動き情報を伝送する(S68)。図3に示す例
においては、“field_prediction”が“1”値を有する
場合、フィールドモードであることを示す。第67段階
(S67)で、フィールド単位動き情報は、前述したよう
に、各フィールドの動き情報、各フィールドの予測方向
prediction_directionなどを含む。第68段階(S68)
で、フレーム単位動き情報としては基本的にマクロブロ
ック当たり一つの動き情報を伝送するか、マクロブロッ
ク当たり四つの動き情報(ブロック当たり一つの動き情
報)を伝送するモードを使用することができる。フィー
ルド単位又はフレーム単位移動情報の伝送後には、伝送
したマクロブロックが当該ビデオパケットの最終マクロ
ブロックであるかを判断して、最終マクロブロックであ
る場合は第70段階(S70)を遂行し、そうでない場合
はつぎのマクロブロックの情報に対して第61段階(S
61)を再開する。第69段階(S69)で、最終マクロ
ブロックであるかの判断方法はいろいろがあり得る。例
えば、ビデオパケットの長さをマクロブロックの一定数
で指定することもでき(GOB構造のH.263のよう
に)、又は累積された発生ビット量が既に決められた臨
界値を超えると、当該ビデオパケットが終わると決める
ことができる(MPEG−4のビデオパケット情報のよ
うに)。本発明では、一つのビデオパケットで最終マク
ロブロックであることを決定する方法を特定方法に制限
しない。
In the 62nd step (S62), if it is not a transparent macroblock, various additional information necessary for decoding the motion information of the macroblock is transmitted (S63). Such additional information is information indicating coding (information indicating whether there is information to be transmitted in the macroblock.
coded), macroblock type, quantization interval size, and the like. In the present invention, such additional information is not limited to a set of specific information, but among the information transmitted in step 63 (S63), whether the macroblock is an inter macroblock using motion compensation prediction, or Macroblock type information indicating whether an intra macroblock does not use compensated prediction is always included. After the transmission of the additional information for the motion information, the macroblock type is checked. If the macroblock is an intra macroblock, the motion information transmission is unnecessary.
The step 69 (S69) is performed (S64). Stage 64
In step (S64), if the macroblock type is an inter macroblock, information field_prediction indicating whether the macroblock performs frame-based motion compensation prediction or field-based motion compensation prediction is transmitted ( S65). In step 66 (S66), this mode is determined, and if motion compensation prediction is to be performed on a field basis, field-based movement information is transmitted (S6).
7) If the motion compensation prediction is performed on a frame basis, frame-based motion information is transmitted (S68). In the example shown in FIG. 3, when "field_prediction" has a value of "1", it indicates that the mode is the field mode. Stage 67
In (S67), the field-based motion information is, as described above, the motion information of each field and the prediction direction of each field.
Including prediction_direction. Step 68 (S68)
As the frame-based motion information, basically, a mode of transmitting one motion information per macroblock or a mode of transmitting four motion information (one motion information per block) per macroblock can be used. After transmitting the field-based or frame-based movement information, it is determined whether the transmitted macroblock is the last macroblock of the video packet. If the transmitted macroblock is the last macroblock, step 70 (S70) is performed. If not, the 61st step (S
61) is restarted. In the 69th step (S69), there are various methods for determining whether the block is the last macroblock. For example, the length of a video packet can be specified by a fixed number of macroblocks (such as H.263 in a GOB structure), or when the accumulated number of generated bits exceeds a predetermined threshold value, It can be determined that the video packet ends (like MPEG-4 video packet information). In the present invention, the method for determining the last macroblock in one video packet is not limited to a specific method.

【0067】第69段階(S69)で最終パケットである
場合、ビデオパケット内のすべてのマクロブロックの動
き情報と色相情報を区分するマーカー信号motion_marke
rを伝送する(S70)。これは、図3の符号化方法が用
いられる全動映像符号化システムで使用できるすべての
コード−すべての可変長コードと各種再同期のための信
号、そして開始信号−と区分し得なければならない。例
えば、MPEG−4では、“1 1111 0000 0000 0001”
のビット列をmotion_markerとして使用する。
If it is the last packet in step 69 (S69), a marker signal motion_marke for separating motion information and hue information of all macroblocks in the video packet.
r is transmitted (S70). This must be able to be distinguished from all codes usable in the entire moving picture coding system using the coding method of FIG. 3-all variable length codes, signals for various resynchronizations, and start signals. . For example, in MPEG-4, "1 1111 0000 0000 0001"
Is used as motion_marker.

【0068】次いで、第71段階(S71)では当該ビデ
オパケットに含まれるすべてのマクロブロックにおい
て、復号化器で色相情報を復号化する過程で用いられる
付加情報を伝送する。例えば、図2で説明したcoded bl
ock pattern、 ac_pred_flag、量子化間隔、そしてdct_
typeなどがある。最終に、第72段階(S72)では、当
該ビデオパケットに含まれるすべてのマクロブロックに
おいて、DC情報及びAC情報、つまり色相情報を伝送
する。図2でと同様に、図3の第71段階(S71)と第
72段階(S72)のそれぞれに対して、当該ビデオパケ
ット内のすべてのマクロブロックの情報を伝送するもの
と表示した。しかし、当該ビデオパケット内の各マクロ
ブロックに対して第71段階(S71)と第72段階(S
72)を遂行し、これを当該ビデオパケット内のすべて
のマクロブロックに対して遂行してもよい。
Next, in a 71st step (S71), in all macroblocks included in the video packet, additional information used in a process of decoding hue information by a decoder is transmitted. For example, coded bl explained in FIG.
ock pattern, ac_pred_flag, quantization interval, and dct_
type. Finally, in the 72nd step (S72), DC information and AC information, that is, hue information, are transmitted in all macroblocks included in the video packet. As in FIG. 2, for each of the 71st step (S71) and the 72nd step (S72) of FIG. 3, it is indicated that information of all macroblocks in the video packet is transmitted. However, step 71 (S71) and step 72 (S71) are performed for each macroblock in the video packet.
72), and this may be performed for all macroblocks in the video packet.

【0069】前述した図3の各段階のうち、第65段階
(S65)と第67段階(S67)は本発明の最も重要な特
徴を見せる。仮に、第70段階(S70)で伝送したmoti
on_markerが正確に復号化され、つづいて伝送される色
相情報からチャネルエラーが検出(detection)される場
合、当該ビデオパケットのすべての色相情報は無視し、
motion_marker以前に伝送された動き情報のみを用いて
ビデオパケットを再現する。この際に、field_predicti
on(S65)及びフィールド単位の動き情報の伝送(S6
7)は、当該マクロブロックがフィールドモードである
かフレームモードであるかを復号化器で知り得るように
し、フィールドモードである場合、動き情報をフィール
ド単位で正確に復号化し得るようにする。したがって、
チャネルエラーが発生して色相情報を失ってしまって
も、符号化されたフィールド単位の動き補償予測を正確
に遂行し得るので、チャネルエラーの影響を最小化し、
高画質の再生映像を復号化することができる。
Of the steps shown in FIG. 3, the 65th step
Step (S65) and step 67 (S67) show the most important features of the present invention. Assuming that the moti transmitted in step 70 (S70)
If on_marker is correctly decoded and a channel error is detected from the subsequently transmitted hue information, all hue information of the video packet is ignored,
A video packet is reproduced using only motion information transmitted before motion_marker. At this time, field_predicti
on (S65) and transmission of motion information in field units (S6
7) allows the decoder to know whether the macroblock is in the field mode or the frame mode. When the macroblock is in the field mode, the motion information can be accurately decoded in field units. Therefore,
Even if hue information is lost due to a channel error, it is possible to accurately perform motion compensation prediction on a coded field basis, thereby minimizing the influence of the channel error,
High-quality reproduced video can be decoded.

【0070】図2及び図3はそれぞれ本発明が提案する
飛越し走査動映像のイントラピクチャとインターピクチ
ャのビデオパケット符号化方法の流れ図を示すものであ
る。一方、これら図は、図1と同様に、情報の伝送順序
を示す。したがって、各々の復号化器も同一の流れ図を
示す。ただし、図2及び図3での“伝送”を“受信”で
代替すると、飛越し走査動映像のイントラピクチャとイ
ンターピクチャのビデオパケット復号化方法の流れ図と
なる。したがって、本発明ではその詳細な説明は省略
し、本発明による飛越し走査動映像イントラピクチャと
インターピクチャのビデオパケット復号化方法の流れ図
をそれぞれ図4及び図5に示す。
FIGS. 2 and 3 show flowcharts of the video packet coding method of the inter-picture and the inter-picture of the interlaced scanning moving picture proposed by the present invention, respectively. On the other hand, these figures show the information transmission order as in FIG. Therefore, each decoder shows the same flowchart. However, substituting “reception” for “transmission” in FIGS. 2 and 3 results in a flowchart of a video packet decoding method for an intra-picture and an inter-picture of an interlaced moving image. Therefore, the detailed description thereof is omitted in the present invention, and the flow charts of the video packet decoding method for the inter-scan moving picture intra picture and the inter picture according to the present invention are shown in FIGS. 4 and 5, respectively.

【0071】図4及び図5の復号化方法は基本的に図2
又は図3と同一の流れを有するが、ただ復号器の制御方
法が少し相違する。前述したように、図2と図3の符号
化方法においては、符号化器側ではビデオパケットの長
さを知っているので、特定条件を満足すると、dc_marke
r又はmotion_markerを伝送する。しかし、復号化器で
は、その条件を知り得ないため、つぎのビット列を調査
する過程が必要である。詳しく説明すると、図4のイン
トラピクチャビデオパケット復号化の場合、DC情報を
受信した後、つぎのビット列がdc_markerであるかをま
ず確認した後、dc_markerでないと、つぎのマクロブロ
ックの形状情報を受信し、ビット列がdc_markerである
と、dc_markerを受信する過程を遂行する。同様に、図
5のインターピクチャのビデオパケット復号化の場合、
動き情報を受信した後、つぎのビット列がmotion_marke
rであるかをまず確認した後、motion_markerでないと、
つぎのマクロブロックの形状情報を受信し、ビット列が
motion_markerであることが確認されると、motion_mark
erを受信する過程を遂行する。
The decoding method of FIGS. 4 and 5 is basically the same as that of FIG.
Or, it has the same flow as in FIG. 3, but the control method of the decoder is slightly different. As described above, in the encoding methods of FIGS. 2 and 3, since the encoder knows the length of the video packet, if the specific condition is satisfied, dc_marke
Transmit r or motion_marker. However, since the condition cannot be known in the decoder, a process of examining the next bit string is necessary. More specifically, in the case of decoding the intra-picture video packet shown in FIG. 4, after receiving DC information, first confirming whether or not the next bit string is dc_marker, if not, receiving the shape information of the next macroblock if not dc_marker If the bit string is dc_marker, the process of receiving dc_marker is performed. Similarly, in the case of video packet decoding of the inter-picture of FIG.
After receiving the motion information, the next bit string is motion_marke
After first checking whether it is r, if it is not motion_marker,
Receiving the shape information of the next macroblock,
When the motion_marker is confirmed, motion_mark
Perform the process of receiving er.

【0072】[0072]

【発明の効果】以上説明したように、本発明は、飛越し
走査動映像を符号化する場合、データ分割符号化方法を
用いて符号化し、その符号化されたビデオパケットの情
報を、本発明で提案した伝送順にしたがって復号器側に
伝送し、復号器側では、本発明で提案した順に復号化を
遂行することにより、伝送エラーが多く発生するチャネ
ルを通じて飛越し走査動映像を伝送する場合にも、復号
器側でチャネルエラーによる画質劣化を最小化するよう
にする効果を提供する。
As described above, according to the present invention, when encoding an interlaced scanning moving image, it is encoded using a data division encoding method, and the information of the encoded video packet is encoded according to the present invention. In the case where the interlaced scanning moving image is transmitted through a channel where a large number of transmission errors occur, the signal is transmitted to the decoder side according to the transmission order proposed in the above, and the decoder side performs the decoding in the order proposed in the present invention. This also provides an effect of minimizing image quality degradation due to channel errors on the decoder side.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による飛越し走査動映像のピクチャ単位
符号化方法の流れ図である。
FIG. 1 is a flowchart of a picture unit encoding method of an interlaced scanning moving image according to the present invention.

【図2】本発明による飛越し走査イントラピクチャのビ
デオパケット符号化方法の流れ図である。
FIG. 2 is a flowchart of a method of encoding a video packet of an interlaced intra picture according to the present invention;

【図3】本発明による飛越し走査インターピクチャのビ
デオパケット符号化方法の流れ図である。
FIG. 3 is a flowchart of a video packet encoding method of interlaced inter-picture according to the present invention;

【図4】本発明による飛越し走査イントラピクチャのビ
デオパケット符号化方法の流れ図である。
FIG. 4 is a flowchart of a method for encoding a video packet of an interlaced intra-picture according to the present invention;

【図5】本発明による飛越し走査インターピクチャのビ
デオパケット復号化方法の流れ図である。
FIG. 5 is a flowchart of a video packet decoding method of interlaced inter-picture according to the present invention;

【図6】一般的な順行走査映像(progressive video)と
飛越し走査映像(interlaced video)の時間軸上の伝送
流れ図である。
FIG. 6 is a transmission flow chart on a time axis of a general forward scanning video and an interlaced video.

【図7】ピクチャ(フレーム)符号化タイプ(Iフレー
ム、Pフレーム、Bフレーム)と各タイプのフレームの
予測方向の一例を示す図である。
FIG. 7 is a diagram illustrating an example of picture (frame) coding types (I frame, P frame, and B frame) and the prediction direction of each type of frame.

【図8】現在国際標準機構で確定したMPEG−4動映
像符号化器の構成図である。
FIG. 8 is a configuration diagram of an MPEG-4 moving picture encoder which has been determined by the International Standards Organization.

【図9】TMB(transparent macroblock)、OMB(opa
que macroblock)、及びBMB(boundary macroblock)を
説明する例示図である。
FIG. 9: TMB (transparent macroblock), OMB (opa
FIG. 4 is an exemplary diagram illustrating a que macroblock) and a BMB (boundary macroblock).

【図10】1個のマイクロブロックを4個のブロックに
分割したものを示す例示図である。
FIG. 10 is an exemplary diagram showing one microblock divided into four blocks.

【図11】フレームMB(a)とフィールドMB(b)の例
示図である。
FIG. 11 is an exemplary diagram of a frame MB (a) and a field MB (b).

【図12】フィールド予測を遂行するとき、以前のフィ
ールドを参照する方向を示す例示図である。
FIG. 12 is an exemplary diagram illustrating a direction of referring to a previous field when performing field prediction.

【図13】再同期信号(resynchronization signal)を使
用するエラー耐性ビット列(errorresilient bitstream)
の構造図である。
FIG. 13 shows an error resilient bitstream using a resynchronization signal.
FIG.

【図14】データ分割方法を適用したエラー耐性ビット
列の構造図である。
FIG. 14 is a structural diagram of an error-resistant bit string to which a data division method is applied.

【図15】従来の順行走査イントラピクチャのビデオパ
ケット符号化方法の流れ図である。
FIG. 15 is a flowchart of a conventional video packet encoding method for forward scanning intra pictures.

【図16】従来の順行走査インターピクチャのビデオパ
ケット符号化方法の流れ図である。
FIG. 16 is a flowchart of a conventional video packet encoding method for a forward scanning inter picture.

【符号の説明】[Explanation of symbols]

12 符号化部 13 動き推定部 14 動き補償部 15 以前再現VOPメモリ 16 減算器 17 加算器 18 色相情報符号化部 19 多重化部 20 バッファ Reference Signs List 12 encoding unit 13 motion estimating unit 14 motion compensating unit 15 previously reproduced VOP memory 16 subtractor 17 adder 18 hue information encoding unit 19 multiplexing unit 20 buffer

フロントページの続き (72)発明者 文 柱禧 大韓民国ソウル市廣津區九宜3洞610 現 代アパート603−2206 Fターム(参考) 5C059 KK01 LA05 MA05 MA23 MC02 MC32 MC34 ME01 NN01 PP04 PP14 RB02 RB09 RB14 RC12 RC26 RF09 SS06 TA46 TA73 TB04 TC18 TC27 TD13 UA02 UA05 Continuing on the front page (72) Inventor Sentence Pillars 610 Modern apartment 603-2206 F term (reference) 5C059 KK01 LA05 MA05 MA23 MC02 MC32 MC34 ME01 NN01 PP04 PP14 RB02 RB09 RB14 RC12 RC26 RF09 SS06 TA46 TA73 TB04 TC18 TC27 TD13 UA02 UA05

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 ピクチャ単位の飛越し動映像を符号化す
ることにおいて、ピクチャ単位の付加情報を伝送する第
1段階と、符号化しようとするビデオパケットが当該ピ
クチャの第1パケットであるかを判断する第2段階と、
第2段階の判断結果、第1ビデオパケットでない場合、
飛越し走査復号化に必要な付加情報を含むビデオパケッ
トヘッダー情報を伝送する第3段階と、第2段階で符号
化しようとするビデオパケットが当該ピクチャの第1パ
ケットであるか、又は第3段階のビデオパケットヘッダ
ー情報伝送後、当該ピクチャの符号化タイプがイントラ
ピクチャであるか否かを判断する第4段階と、第4段階
で当該ピクチャの符号化タイプがイントラピクチャであ
る場合、飛越し走査イントラピクチャビデオパケットを
伝送する第5段階と、第4段階で当該ピクチャの符号化
タイプがイントラピクチャでない場合、飛越し走査イン
ターピクチャのビデオパケットを伝送する第6段階と、
第5段階又は第6段階で符号化したビデオパケットが当
該ピクチャの最終パケットであるかを判断して、最終パ
ケットでない場合、再び第2段階に進行し、一方、最終
パケットである場合、デジタル飛越し走査符号化を終了
する第7段階とを含むことを特徴とするデジタル飛越し
走査動映像の符号化方法。
In encoding a skipped moving picture in picture units, a first step of transmitting additional information in picture units and determining whether a video packet to be encoded is the first packet of the picture. The second stage of judging,
If the result of the second step is not the first video packet,
A third step of transmitting video packet header information including additional information necessary for interlaced decoding, and whether the video packet to be encoded in the second step is the first packet of the picture or the third step After transmitting the video packet header information, the fourth step of determining whether or not the coding type of the picture is an intra picture; and, if the coding type of the picture is an intra picture in the fourth step, A fifth step of transmitting an intra-picture video packet, and a sixth step of transmitting an inter-scan inter-picture video packet if the coding type of the picture is not an intra picture in the fourth step;
It is determined whether the video packet encoded in the fifth step or the sixth step is the last packet of the picture. If the video packet is not the last packet, the process proceeds to the second step again. And a seventh step of terminating the scan coding.
【請求項2】 前記第1段階でピクチャ単位の付加情報
が、符号化すべきピクチャがインターピクチャであるか
又はイントラピクチャであるかを示す情報、上位フィー
ルドと下位フィールドのなかでどのフィールドが時間的
に先立つかを示す情報、及び離散余弦変換(DCT)後
の変換係数をスキャニングする方法に関する情報を含む
ことを特徴とする請求項1記載のデジタル飛越し走査動
映像の符号化方法。
2. The additional information in a picture unit in the first step is information indicating whether a picture to be coded is an inter picture or an intra picture, and which of the upper and lower fields is temporally different. 2. The method according to claim 1, further comprising information indicating whether or not the scanning is performed prior to the scanning, and information regarding a method of scanning a transform coefficient after the discrete cosine transform (DCT).
【請求項3】 前記第5段階は、当該マクロブロックの
DC情報復号化のための付加情報を伝送する第53段階
(S53)と、当該マクロブロックがフレームモードであ
るか又はフィールドモードであるかを示すフラグを伝送
する第54段階(S54)と、当該マクロブロックのDC
情報を伝送する第55段階(S55)と、当該マクロブロ
ックが当該ビデオパケットの最終マクロブロックである
かを判断して、最終パケットでない場合、第53段階
(S53)に進行する第56段階(S56)と、第56段階
(S56)で最終パケットである場合、当該ビデオパケッ
トのマクロブロックのDC情報とAC情報を区分するマ
ーカー信号を伝送する第57段階(S57)と、当該ビデ
オパケットのすべてのマクロブロックのAC情報復号化
のための付加情報を伝送する第58段階(S58)と、当
該ビデオパケットのすべてのマクロブロックのAC情報
を伝送する第59段階(S59)とからなることを特徴と
する請求項1又は2記載のデジタル飛越し走査動映像の
符号化方法。
3. The fifth step is a step of transmitting additional information for decoding DC information of the macroblock.
(S53), a fifty-fourth step (S54) of transmitting a flag indicating whether the macroblock is in the frame mode or the field mode (S54),
Step 55 of transmitting information (S55); determining whether the macroblock is the last macroblock of the video packet;
The 56th step (S56) proceeding to (S53) and the 56th step
If it is the last packet in (S56), a 57th step (S57) of transmitting a marker signal for separating DC information and AC information of the macroblock of the video packet and decoding of AC information of all macroblocks of the video packet The method according to claim 1, further comprising a fifty-eighth step (S58) of transmitting additional information for conversion, and a fifty-ninth step (S59) of transmitting AC information of all macroblocks of the video packet. The encoding method of the digital interlaced scanning moving image of the description.
【請求項4】 前記第5段階は、物体単位映像符号化の
ため、当該マクロブロックのDC情報復号化のための付
加情報を伝送する第53段階(S53)前に、前記マクロ
ブロックの形状情報を伝送する第51段階(S51)と、
符号化しようとするマクロブロックが透明マクロブロッ
ク(transparent macroblock)であるかを判断して、当該
マクロブロックが透明マクロブロックであると第56段
階(S56)に進行し、透明マクロブロックでないと第5
3段階(S53)に進行する第52段階(S52)とを更に
含むことを特徴とする請求項3記載のデジタル飛越し走
査動映像の符号化方法。
4. The method of claim 5, wherein the transmitting of the additional information for decoding the DC information of the macroblock for the object-based video encoding is performed before the 53rd step (S53). A 51st step (S51) of transmitting
It is determined whether the macroblock to be encoded is a transparent macroblock. If the macroblock is a transparent macroblock, the process proceeds to step 56 (S56).
The method according to claim 3, further comprising a 52nd step (S52) proceeding to 3 steps (S53).
【請求項5】 前記第53段階(S53)で、DC情報復
号化のための付加情報がマクロブロックのタイプ、量子
化間隔の大きさに関する情報を含むことを特徴とする請
求項3記載のデジタル飛越し走査動映像の符号化方法。
5. The digital signal as claimed in claim 3, wherein in the 53rd step (S53), the additional information for decoding the DC information includes information on a macroblock type and a quantization interval size. An encoding method for interlaced scanning moving images.
【請求項6】 前記第56段階(S56)は、ビデオパケ
ットの長さを一定したマクロブロックの数で指定する
か、累積された発生ビット量が所定の臨界値を超える
と、当該ビデオパケットが終わると判断する過程を含む
ことを特徴とする請求項3記載のデジタル飛越し走査動
映像の符号化方法。
6. In the 56th step (S56), when the length of the video packet is specified by a fixed number of macroblocks or when the accumulated number of generated bits exceeds a predetermined threshold value, the video packet is 4. The method as claimed in claim 3, further comprising the step of determining the end.
【請求項7】 前記第58段階(S58)で、AC情報復
号化のための付加情報はマクロブロック内の各ブロック
で伝送すべきAC係数があるかを示す信号とAC情報を
予測符号化(predictive coding)したかを示す信号とを
含むことを特徴とする請求項3記載のデジタル飛越し走
査動映像の符号化方法。
7. In the 58th step (S58), the additional information for decoding the AC information is obtained by predictively encoding a signal indicating whether there is an AC coefficient to be transmitted in each block in the macroblock and the AC information. 4. The method according to claim 3, further comprising a signal indicating whether predictive coding has been performed.
【請求項8】 前記第6段階は、当該マクロブロックを
複合化するため、必要なマクロブロック単位の動き情報
復号化のための付加情報を伝送する第63段階(S63)
と、当該マクロブロックがイントラマクロブロックであ
るか又はインターマクロブロックであるかを判断する第
64段階(S64)と、第64段階(S64)でイントラマ
クロブロックでない場合、当該マクロブロックの動き補
償予測モードがフレームモードであるか又はフィールド
モードであるかを示す情報を伝送する第65段階(S6
5)と、当該マクロブロックの動き補償予測モードがフ
レームモードであるか又はフィールドモードであるかを
判断する第66段階(S66)と、第66段階(S66)で
フィールドモードである場合、フィールドモードの動き
情報を伝送する第67段階(S67)と、第66段階(S
66)でフレームモードである場合、フレーム単位移動
情報を伝送する第68段階(S68)と、第64段階(S
64)でイントラマクロブロックであるか、第67段階
(S67)又は第68段階(S68)で移動情報伝送後、当
該マクロブロックが当該ビデオパケットの最終マクロブ
ロックであるかを判断して、最終マクロブロックでない
場合、第63段階(S63)に進行する第69段階(S6
9)と、第69段階(S69)で、最終マクロブロックで
ある場合、当該ビデオパケットのマクロブロックの動き
情報と色相情報を区分するマーカー信号を伝送する第7
0段階(S70)と、当該ビデオパケットのすべてのマク
ロブロックで、色相情報復号化過程に必要な付加情報を
伝送する第71段階(S71)と、当該ビデオパケットの
すべてのマクロブロックの色相情報を伝送する第72段
階(S72)とを含むことを特徴とする請求項1又は2記
載のデジタル飛越し走査動映像の符号化方法。
8. The step (S63) of transmitting the additional information for decoding the motion information in units of macroblocks necessary for compounding the macroblock (S63).
And a 64th step (S64) of determining whether the macroblock is an intra macroblock or an inter macroblock, and if the macroblock is not an intra macroblock in the 64th step (S64), the motion compensation prediction of the macroblock Step 65 of transmitting information indicating whether the mode is the frame mode or the field mode (S6)
5), step 66 (S66) of determining whether the motion compensation prediction mode of the macroblock is the frame mode or the field mode, and if the field mode is selected in the step 66 (S66), the field mode Step 67 (S67) of transmitting the motion information of
In the case of the frame mode in step 66), the 68th step (S68) of transmitting the frame unit movement information and the 64th step (S68)
64) whether it is an intra macro block or
After transmitting the movement information in step S67 or step 68 (S68), it is determined whether the macroblock is the last macroblock of the video packet. If not, the process proceeds to step 63 (S63). Step 69 (S6
9) and in the 69th step (S69), if the current macroblock is the last macroblock, the seventh signal for transmitting a marker signal for separating motion information and hue information of the macroblock of the video packet is transmitted.
0 (S70), a 71st step (S71) of transmitting additional information necessary for a hue information decoding process in all macroblocks of the video packet, and a hue information of all macroblocks of the video packet. 3. The method according to claim 1, further comprising a 72nd step of transmitting (S72).
【請求項9】 前記第6段階は、第63段階(S63)前
に、当該マクロブロックの形状情報を符号化して復号器
側に伝送する第61段階(S61)と、当該マクロブロッ
クが透明マクロブロックであるかを判断して、透明マク
ロブロックである場合、第63段階(S63)に進行し、
一方、透明マクロブロックでない場合、第69段階(S
69)に進行する第62段階(S62)とを更に含むこと
を特徴とする請求項8記載のデジタル飛越し走査動映像
の符号化方法。
9. The sixth step (S61) of encoding the shape information of the macroblock and transmitting the encoded information to the decoder before the 63rd step (S63); It is determined whether the block is a block, and if the block is a transparent macroblock, the process proceeds to step 63 (S63),
On the other hand, if it is not a transparent macroblock, step 69 (S
The method according to claim 8, further comprising a 62nd step (S62) proceeding to 69).
【請求項10】 前記第63段階(S63)で、動き情報
符号化のための付加情報は、当該マクロブロックで伝送
すべき情報があるかを示す情報(not_coded)、マクロブ
ロックがインターマクロブロックであるか又はイントラ
マクロブロックであるかを示すマクロブロックタイプ情
報、量子化間隔の大きさ情報を含むことを特徴とする請
求項8記載のデジタル飛越し走査動映像の符号化方法。
10. In the 63rd step (S63), the additional information for coding motion information is information (not_coded) indicating whether there is information to be transmitted in the macroblock, and the macroblock is an inter macroblock. 9. The method according to claim 8, further comprising macroblock type information indicating whether there is a macroblock or an intra macroblock, and quantization interval size information.
【請求項11】 前記第67段階(S67)で、フィール
ド単位動き情報は各フィールドの動き情報及び各フィー
ルドの予測方向情報を含むことを特徴とする請求項8記
載のデジタル飛越し走査動映像の符号化方法。
11. The digital interlaced scanning moving image according to claim 8, wherein in the 67th step (S67), the field unit motion information includes motion information of each field and prediction direction information of each field. Encoding method.
【請求項12】 前記第69段階(S69)は、ビデオパ
ケットの長さを一定したマクロブロック数で指定する
か、累積された発生ビット量が所定の臨界値を超える
と、当該ビデオパケットが終わると判断する過程を含む
ことを特徴とする請求項8記載のデジタル飛越し走査動
映像の符号化方法。
12. The 69th step (S69) is to end the video packet if the length of the video packet is specified by a fixed number of macroblocks or if the accumulated number of generated bits exceeds a predetermined threshold value. 9. The method according to claim 8, further comprising the step of:
【請求項13】 前記第71段階(S71)で、色相情報
の復号化のための付加情報は、マクロブロック内の各ブ
ロックで伝送すべきAC係数があるかを示す信号、AC
情報を予測符号化(predictive coding)したかを示す信
号、量子化間隔及びDCT方法を示すフラグ(dct_typ
e)を含むことを特徴とする請求項8記載のデジタル飛
越し走査動映像の符号化方法。
13. In the 71st step (S71), additional information for decoding hue information includes a signal indicating whether there is an AC coefficient to be transmitted in each block in the macroblock,
A signal indicating whether information has been subjected to predictive coding, a quantization interval, and a flag indicating a DCT method (dct_typ
9. The method according to claim 8, further comprising the step of: e).
JP36440499A 1999-12-22 1999-12-22 Coding method for digital interlace scanning moving picture Pending JP2001197503A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36440499A JP2001197503A (en) 1999-12-22 1999-12-22 Coding method for digital interlace scanning moving picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36440499A JP2001197503A (en) 1999-12-22 1999-12-22 Coding method for digital interlace scanning moving picture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006309153A Division JP2007074746A (en) 2006-11-15 2006-11-15 Method and apparatus for transmitting moving video, and method and apparatus for decoding moving video

Publications (1)

Publication Number Publication Date
JP2001197503A true JP2001197503A (en) 2001-07-19

Family

ID=18481727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36440499A Pending JP2001197503A (en) 1999-12-22 1999-12-22 Coding method for digital interlace scanning moving picture

Country Status (1)

Country Link
JP (1) JP2001197503A (en)

Similar Documents

Publication Publication Date Title
US6493392B1 (en) Method for coding digital interlaced moving video
KR100931873B1 (en) Video Signal Encoding/Decoding Method and Video Signal Encoder/Decoder
US5708473A (en) Two stage video film compression method and system
US7751473B2 (en) Video coding
JP3226439B2 (en) Image encoding method and image decoding method
US7961788B2 (en) Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method
MXPA02011201A (en) Video coding.
US6421386B1 (en) Method for coding digital moving video including gray scale shape information
KR20120003796A (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
Gao et al. Robust H. 263+ video transmission using partial backward decodable bit stream (PBDBS)
US20060140277A1 (en) Method of decoding digital video and digital video decoder system thereof
JP3956081B2 (en) Encoding method for digital video including gray shape information
JP2002325259A (en) Method for coding digital image base on error correction
JP2001197503A (en) Coding method for digital interlace scanning moving picture
KR100632105B1 (en) Digital interlaced intra picture encoding / decoding method
KR100535630B1 (en) Encoding / Decoding Method of Digital Gray Shape Information / Color Information
JP2007074746A (en) Method and apparatus for transmitting moving video, and method and apparatus for decoding moving video
KR100620715B1 (en) Encoding / Decoding Method of Digital Gray Shape Information / Color Information
KR100632106B1 (en) Digital Interlaced Interpicture Encoding / Decoding Method
KR100620695B1 (en) Method of transmitting moving picture data as a video packet
KR100679787B1 (en) Method and apparatus of transmitting moving picture data as a video packet, decoding method and apparatus
CA2390904C (en) Methods and apparatus for dynamically adjusting f-codes for a digital picture header
KR100543607B1 (en) Method for decoding of moving picture
JP2007124690A (en) Method for encoding and decoding digital motion video containing gray shape information
KR100557118B1 (en) Moving picture decoder and method for moving picture decoding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060517

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061213