JP2004194274A - Motion picture encoding method, motion picture decoding method and recording medium - Google Patents

Motion picture encoding method, motion picture decoding method and recording medium Download PDF

Info

Publication number
JP2004194274A
JP2004194274A JP2003169832A JP2003169832A JP2004194274A JP 2004194274 A JP2004194274 A JP 2004194274A JP 2003169832 A JP2003169832 A JP 2003169832A JP 2003169832 A JP2003169832 A JP 2003169832A JP 2004194274 A JP2004194274 A JP 2004194274A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
picture
motion vector
decoding
information
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003169832A
Other languages
Japanese (ja)
Other versions
JP4230289B2 (en )
JP2004194274A5 (en )
Inventor
Seishi Abe
Makoto Hagai
Toshiyuki Kondo
Shinya Sumino
清史 安倍
誠 羽飼
眞也 角野
敏志 近藤
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To overcome the problem that a large quantity of storage regions are required for the purpose of storing motion vectors required for a direct mode. <P>SOLUTION: When encoding a picture to be used as a reference picture of the other picture, a motion vector to be used for inter-picture predictive encoding is stored in a motion vector storage part 116. In such a case, such a motion vector storage operation is controlled by an encoding control part 110 to store a motion vector having the number of pictures less than the reference pictures in the motion vector storage part 116. When the encoding is performed in the direct mode in encoding a B picture and when a motion vector to be referred to in the direct mode is held in the motion vector storage part 116, the encoding is performed by utilizing the motion vector. When such a motion vector is not held in the motion vector storage part 116, the motion vector is made into "0" or a motion vector of a peripheral block is utilized to perform encoding. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法に関し、特に直接モードを使用して処理を行う画像符号化方法と画像復号化方法に関する。 The present invention relates to an image decoding method for correctly decoded picture coding method and it efficiently compressing a moving picture, processing an image coding method and an image decoding method for performing using the particular direct mode.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
近年、音声,画像,その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。 In recent years, voice, image, welcomed the multi-media era dealing with other data in an integrated manner, existing information media, ie newspapers, magazines, television, radio, means through which information is conveyed to people, phone, etc. is a multi-media object It has become taken up so as. 一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。 Generally, multimedia, not only characters, but also graphics, sound, and especially refers to something that is represented by associating the image or the like at the same time, in the scope of multimedia include the aforementioned existing information media, such information in digital form be represented Te is essential conditions.
【0003】 [0003]
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、さらに動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。 However, when calculating the amount of information contained in each of the aforementioned information media as the amount of digital information, while the information amount per character requires 1 to 2 bytes, for voice 64Kbits per second (telephone quality ), further requires 100Mbits (present television reception quality) than the amount of information per second for video, it is not realistic to handle as it is the enormous amount of information in the information media in digital form. 例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網(ISDN : Integrated Services Digital Network)によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。 For example, videophone, 64Kbit / s~1.5Mbits / s Integrated Services Digital Network with a transmission rate of (ISDN: Integrated Services Digital Network) have already been commercialized by, as it ISDN video television camera it is impossible to send.
【0004】 [0004]
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU−T(国際電気通信連合 電気通信標準化部門)で国際標準化されたH. So, is the information compression techniques becomes necessary, for example, in the case of a TV phone, which is international standardization in ITU-T (International Telecommunication Union Telecommunication Standardization Sector) H. 261やH. 261 and H. 263規格の動画圧縮技術が用いられている。 263 video compression technology standards have been used. また、MPEG−1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。 According to the information compression techniques compliant with the MPEG-1 standard, it becomes possible in an ordinary music CD (Compact Disc) image information together with audio information.
【0005】 [0005]
ここで、MPEG(Moving Picture Experts Group)とは、動画像信号圧縮の国際規格であり、MPEG−1は、動画像信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。 Here, the MPEG (Moving Picture Experts Group), an international standard for compression of moving picture signals, MPEG-1 is a moving picture signals up to 1.5 Mbps, that is approximately into one hundredth information of the television signal is a standard for compression. また、MPEG−1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG−2では、動画像信号が2〜15Mbpsに圧縮される。 Further, since the transmission rate to target MPEG-1 standard is limited primarily to about 1.5 Mbps, MPEG-2, standardized with the view to meet the requirements of higher image quality, the moving picture signal 2 It is compressed to 15Mbps. さらに現状では、MPEG−1,MPEG−2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11) によって、MPEG−1,MPEG−2を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG−4が規格化された。 Further Currently, the MPEG-1, MPEG-2 and the standardization of advanced have working group (ISO / IEC JTC1 / SC29 / WG11), to achieve a compression ratio of greater than MPEG-1, MPEG-2, further object units to allow the encoding and decoding and operation, MPEG-4 to realize new functions required for the multimedia age has been standardized. MPEG−4では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像などの高ビットレートも含む、より汎用的な符号化に拡張されている。 In MPEG-4, was initially aimed to standardize a coding method of low bit rate, now also include a high bit rate such as interlaced image, it has been extended to a more versatile coding.
【0006】 [0006]
MPEG−4やH. MPEG-4 and H. 26L等の動画像符号化方式では、Bピクチャ(なお、以下では、動画中の一画面である静止画が「フレーム」であっても「フィールド」であってもよい場合、「ピクチャ」という。)の符号化において、直接モードという符号化モードを選択することができる。 The video coding method of 26L such, B-picture (In the following, when a still image is one frame in the video may be either a "frame", "field", called "Pictures". in coding) may be selected a coding mode called direct mode. (MPEG−4ビジュアル規格書(1999年、ISO/IEC 14496−2:1999 Information technology −− Coding of audio−visual objects −− Part2: Visual, p.154)。図26は、従来の直接モードにおけるピクチャ間予測方法の一例を示す図である。直接モードにおけるピクチャ間予測方法を、図26を用いて説明する。今、ピクチャB3のブロックaを直接モードで符号化/復号化するとする。この場合、H.26L方式においては、ピクチャB3を符号化/復号化する際に、第2参照インデックス(参照インデックスは「相対インデックス」ともいう。参照インデックスについては後述する。)が「0」である参照ピクチャ中のブロックaと同 (MPEG-4 Visual written standards (1999, ISO / IEC 14496-2:. 1999 Information technology - Coding of audio-visual objects - Part2: Visual, p.154) FIG. 26 is a picture in a conventional direct mode is a diagram illustrating an example between prediction method. the inter picture prediction method in direct mode will be described with reference to FIG. 26. Assume that for encoding / decoding in direct mode block a of the picture B3. in this case, in H.26L method, when encoding / decoding the picture B3, the second reference index (reference index is also referred to as "relative index". for reference index will be described later.) reference is "0" picture same and block a in 位置にあるブロックの動きベクトルを利用する。ここでは、ピクチャP4がピクチャB3に対して第2参照インデックスが「0」の参照ピクチャであるとする。この場合には、ピクチャP4中のブロックbの動きベクトルcを利用する。動きベクトルcは、ブロックbが符号化/復号化された際に用いられた動きベクトルであり、ピクチャP1を参照している。ブロックaは、動きベクトルcと平行な動きベクトルを用いて、参照ピクチャであるピクチャP1とピクチャP4とから双方向予測を行う。この場合のブロックaを符号化/復号化する際に用いる動きベクトルは、ピクチャP1に対しては動きベクトルd、ピクチャP4に対しては動きベクトルeとなる。 Utilizing the motion vector of the block in the position. Here, the picture P4 is for the picture B3 second reference index and a reference picture of "0". In this case, the block b in the picture P4 use a motion vector c. the motion vector c is a motion vector used in block b has been coded / decoded, and refers to the picture P1. block a is parallel to the motion vector c using the motion vector, performs bidirectional prediction from the picture P1 and the picture P4 Metropolitan is a reference picture. the motion vector using a block a in this case when coding / decoding, motion vectors for the picture P1 d, the motion vector e for the picture P4.
【0007】 [0007]
図27は、入力された各ピクチャに対するピクチャ番号および参照インデックスの付与の一例を示す説明図である。 Figure 27 is an explanatory diagram showing an example of application of picture numbers and reference indices for each picture that is input. ピクチャ番号・参照インデックスは参照ピクチャ用メモリに格納された参照ピクチャを一意に識別するための番号である。 Picture numbers and reference indices is a number for uniquely identifying the reference pictures stored in the memory for reference pictures. 参照画像としてメモリに蓄積されるピクチャ毎に「1」増加する値がピクチャ番号として割り当てられる。 Increasing values ​​"1" for each picture to be stored as a reference image in the memory is allocated as a picture number.
【0008】 [0008]
図28は、従来の動画像符号化方法、動画像復号化方法における画像符号化信号のフォーマットを示す概念図である。 Figure 28 is a conventional moving picture coding method, a conceptual diagram showing a format of an image coded signal in the moving picture decoding method. Pictureは1ピクチャ分の符号化信号、Headerはピクチャ先頭に含まれるヘッダ符号化信号、Block1は直接モードによるブロックの符号化信号、Block2は直接モード以外の補間(動き補償)予測によるブロックの符号化信号、RIdx0,RIdx1は参照インデックス、MV0,MV1は動きベクトルを示す。 Picture is one picture of encoded signals, Header header coding signal included in the picture top, Block1 the coded signal of the block by the direct mode, Block2 coding a block by direct interpolation other modes (motion compensated) prediction signal, RIdx0, RIdx1 reference index, MV0, MV1 represents a motion vector. 補間(動き補償)予測ブロックBlock2では、補間(動き補償)に使用する2つの参照ピクチャ(第1参照ピクチャおよび第2参照ピクチャ)を示すため2つの参照インデックスRIdx0,RIdx1を符号化信号中にこの順で有する。 Interpolation In (motion compensated) prediction block Block2, interpolating the two reference indices RIdx0, RIdx1 for indicating two reference pictures to be used for (motion compensation) (first reference picture and a second reference picture) during the encoding signal It has in the order. 参照インデックスRIdx0,RIdx1いずれを使用するかはPredTypeにより判断することができる。 Whether to use the reference index RIdx0, RIdx1 can be judged by PredType. 例えば、PredTypeにより双方向でピクチャを参照することが示される場合はRIdx0とRIdx1が用いられ、片方向でピクチャを参照することが示される場合はRIdx0またはRIdx1が用いられ、直接モードが示されている場合はRIdx0、RIdx1ともに用いられない。 For example, RIdx0 and RIdx1 If it is indicated that reference picture in both directions are used by PredType, unidirectional if it is indicated that reference picture RIdx0 or RIdx1 used in, is directly mode shown If you are RIdx0, RIdx1 not be used together. 第1参照ピクチャを示す参照インデックスRIdx0を第1参照インデックス、第2参照ピクチャを示す参照インデックスRIdx1を第2参照インデックスと呼ぶ。 The reference index RIdx0 showing a first reference picture first reference index, the reference index RIdx1 showing a second reference picture is referred to as a second reference index. 第1参照ピクチャと第2参照ピクチャとは符号化ストリーム中のデータ位置で決まる。 A first reference picture and the second reference picture determined by the data location in the coded stream.
【0009】 [0009]
以下、第1参照インデックス、第2参照インデックスの付与方法について図27(a)を用いて説明する。 Hereinafter, the first reference index will be described with reference to FIG. 27 (a) for the method for applying the second reference index.
第1参照インデックスの値には、まず、符号化/復号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化/復号化対象ピクチャに近い順より「0」から始まる値が割り当てられる。 The value of the first reference index, firstly, to the reference picture having display time prior to the encoding / decoding target picture, is assigned a value starting at the order of closeness to the encoding / decoding target picture from the "0" . 符号化/復号化対象より前の表示時刻を持つ参照ピクチャ全てに対し「0」から始まる値が割り当てられたら、次に符号化/復号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化/復号化対象ピクチャに近い順から続きの値が割り当てられる。 When encoding / value starting from "0" to all reference pictures having a display time earlier than the decoding target is allocated, then to a reference picture with a display time later than the encoding / decoding target picture, from the order of closeness to the encoding / decoding target picture value continuation is assigned.
【0010】 [0010]
第2参照インデックスの値には、まず、符号化/復号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化/復号化対象ピクチャに近い順より「0」から始まる値が割り当てられる。 The value of the second reference index, firstly, to a reference picture with a display time later than the encoding / decoding target picture, is assigned a value starting at the order of closeness to the encoding / decoding target picture from the "0" . 符号化/復号化対象より後の表示時刻を持つ参照ピクチャ全てに対し「0」から始まる値が割り当てられたら、次に符号化/復号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化/復号化対象ピクチャに近い順から続きの値が割り当てられる。 When encoding / value starting from "0" to all reference pictures having a display time later than the decoding target is allocated, then to a reference picture with the previous display time from the encoding / decoding target picture, from the order of closeness to the encoding / decoding target picture value continuation is assigned.
【0011】 [0011]
図27(a)における第1参照インデックスRIdx0が「0」で第2参照インデックスRIdx1が「1」の場合、図27に示すように、第1参照ピクチャはピクチャ番号「14」のBピクチャであり、第2参照ピクチャはピクチャ番号「13」のBピクチャである。 If the first reference index RIdx0 in FIG. 27 (a) and the second reference index RIdx1 at "0" is "1", as shown in FIG. 27, the first reference picture is in a B picture of the picture number "14" the second reference picture is a B picture of the picture number "13".
【0012】 [0012]
ブロック中の参照インデックスは可変長符号語により表現され、値が小さいほど短い符号長のコードが割り当てられている。 Reference indices in a block are represented by variable length code words, a short code length of the code smaller value is assigned. 通常、ピクチャ間予測の参照ピクチャとして符号化/復号化対象ピクチャに最も近いピクチャが選択される可能性が高いため、上記のように符号化/復号化対象ピクチャに近い順に参照インデックス値を割り当てれば符号化効率は高くなる。 Usually, there is a high possibility that the closest picture to the encoding / decoding target picture is selected as a reference picture for inter picture prediction, is assigned a reference index value in an ascending order of distance from the encoding / decoding target picture as described above if the coding efficiency is high.
【0013】 [0013]
一方、符号化信号中のバッファ制御信号(図28のHeader内のRPSL)を用いて参照インデックスの割り当て変更(リマッピング)を明示することにより、参照インデックスに対する参照ピクチャの割り当てを任意に変更することができる。 On the other hand, by explicit allocation change of reference indices using (RPSL in Header in Fig. 28) buffer control signal in coded signals (remapping), to arbitrarily change the assignment of the reference picture for the reference index can. 従って、この割り当ての変更により、第2参照インデックスが「0」の参照ピクチャを、ピクチャメモリ内のどの参照ピクチャに定めてもよいということになる。 Therefore, this change in allocation, the reference pictures of the second reference index is "0", it comes to be defined in any reference picture of the picture memory. 例えば、図27(b)に示すように、第2参照インデックスが「0」の参照ピクチャが、符号化/復号化対象ピクチャの直前の表示時刻を持つ参照ピクチャとなるように、ピクチャ番号に対する参照インデックスの割り当てを変更することもできる。 For example, as shown in FIG. 27 (b), as the second reference index reference picture "0", a reference picture with a display time immediately before encoding / decoding target picture, references to picture numbers it is also possible to change the assignment of the index.
【0014】 [0014]
また、図27(a)および図27(b)に示した例では、Bピクチャが他のピクチャの符号化/復号化の際に参照される場合を示したが、一般的には、以下の条件の下に符号化が行われる場合が多い。 In the example shown in FIGS. 27 (a) and 27 (b), shows the case in which B-picture is referred to when encoding / decoding of other pictures, in general, the following If the encoding is performed under the condition in many cases.
(1)Bピクチャは、他のピクチャに参照されない。 (1) B picture is not referred to by other pictures.
【0015】 [0015]
(2)Bピクチャの各ブロックは、表示順で前方にある直近のN(Nは正の整数)枚のPピクチャ(またはIピクチャ)と、表示順で後方にある直近の1枚のPピクチャ(またはIピクチャ)とのうちから任意の2枚を参照して動き補償を行う。 (2) B blocks of the picture, the most recent in front in display order N (N is a positive integer) pieces of the P-picture (or I-picture), the one of the most recent at the back in display order P picture (or I picture) is performed referring to a motion compensated any two from among the.
【0016】 [0016]
図29(a)は、Bピクチャが前方4枚(N=4)および後方1枚のPピクチャを参照ピクチャとして符号化される場合における符号化対象ピクチャB11に対する参照インデックスの初期設定の一例を示す図である。 FIG. 29 (a) shows an example of reference index of the initial setting for the encoding target picture B11 in the case of B-picture is coded four forward (N = 4) and the rear one P-picture as reference pictures it is a diagram. 図29(a)において、図27(a)に示した例と異なる点は、Bピクチャが他のピクチャに参照されないので、Bピクチャには参照インデックスは割り当てられず、Pピクチャ(とIピクチャと)にのみ参照インデックスが割り当てられる。 In FIG. 29 (a), the the indicated example differs from FIG. 27 (a) because the B-picture is not referred to by other pictures, the reference index is not assigned to the B-picture, a P picture (I picture ) reference index only is assigned. 例えば、ピクチャB11は、表示順で前方にある直近4枚のPピクチャと後方にある直近1枚のPピクチャとを参照することができるので、ピクチャP0、ピクチャP1、ピクチャP4、ピクチャP7およびピクチャP10にだけ参照インデックスが付されている。 For example, the picture B11, since it is possible to refer to the P picture one last in last four P pictures and backward in front in display order, picture P0, picture P1, picture P4, picture P7 and picture only reference index is attached to P10.
【0017】 [0017]
図29(a)に示した例では、ピクチャB11に対して第1参照インデックスが「0」である参照ピクチャは、ピクチャP7であり、第2参照インデックスが「0」である参照ピクチャは、ピクチャP10である。 In the example shown in FIG. 29 (a), reference picture first reference index for the picture B11 is "0" is picture P7, the reference picture second reference index is "0", the picture it is P10. ピクチャP10は、ピクチャB11に対して表示順で後方にあり、ピクチャB11に対して最も近傍にあるPピクチャである。 Picture P10 is in the rear in the display order for the picture B11, which is a P-picture in the closest for the picture B11. 上記の条件下においても、参照インデックスに対する参照ピクチャの割り当ては、自由に変更することができる。 Even under the conditions of the above, the assignment of reference picture to the reference index may be freely changed. 図29(b)は、図29(a)に示した参照インデックスに対して、リマッピングが行われた場合におけるピクチャB11の参照インデックスの一例を示す図である。 Figure 29 (b) is a diagram showing relative reference index shown in FIG. 29 (a), an example of a reference index picture B11 when the remapping is performed. 図29(b)に示すように、H. As shown in FIG. 29 (b), H. 26L方式では、初期設定でピクチャP7に割り当てられていた第1参照インデックスの値「0」を、ピクチャP1に割り当て直したり、初期設定でピクチャP10に割り当てられていた第2参照インデックスの値「0」を、ピクチャP0に割り当て直したり、当該Bピクチャの符号化効率などに応じて、自由にリマッピングすることができる。 The 26L system, the value "0" of the first reference index assigned to the picture P7 by default, or reassign the picture P1, the value "0 second reference index assigned to the picture P10 by default "the, or reassign the picture P0, depending on the coding efficiency of the B-picture, you can freely be remapping.
【0018】 [0018]
このように、参照インデックスに対する参照ピクチャの割り当ては、自由に変更することができるため、通常、参照ピクチャとして選択することにより符号化対象ピクチャの符号化効率が高くなるピクチャに対してより小さい参照インデックスが割り当てられるように変更される。 Thus, assignment of reference picture to the reference index, freely it is possible to change, usually, smaller reference index for encoding efficiency of the encoding target picture is increased by selecting as a reference picture picture It is changed so that allocated. すなわち、ブロック中の参照インデックスは可変長符号語により表現され、値が小さいほど短い符号長のコードが割り当てられているので、参照することにより符号化効率が向上するピクチャに対して、より小さな参照インデックスを割り当てることにより、参照インデックスの符号量を減らし、さらに符号化効率の向上を行うものである(例えば、非特許文献1参照。)。 That is, the reference indices in a block are represented by variable length code words, since the assigned shorter code length code value is less, by reference for the picture which improves coding efficiency, see smaller by assigning the index to reduce the code amount of the reference index, it is intended for further improvement in coding efficiency (e.g., see non-Patent Document 1.).
【0019】 [0019]
【非特許文献1】 Non-Patent Document 1]
MPEG−4ビジュアル規格書(1999年、ISO/IEC 14496−2:1999 Information technology −− Coding of audio−visual objects −− Part2: Visual MPEG-4 visual standard form (1999, ISO / IEC 14496-2: 1999 Information technology - Coding of audio-visual objects - Part2: Visual
【0020】 [0020]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上記従来の方法においては、Bピクチャのブロックを直接モードによって処理する場合、第2参照インデックスが「0」である参照ピクチャの動きベクトルを利用する。 In the above-described conventional method, if processed directly mode block of the B picture, the second reference index to use the motion vector of the reference picture is "0". そのため、Bピクチャの符号化/復号化処理の際には、第2参照インデックスが「0」である参照ピクチャの動きベクトルを記憶しておかなければならない。 Therefore, at the time of encoding / decoding of a B picture, the second reference index must be stored motion vectors of the reference picture is "0". しかしながら、特に復号化処理の際には、復号化対象のBピクチャの符号列を処理し始めるまで、どの参照ピクチャが第2参照インデックス「0」のピクチャであるかがわからない。 However, in particular during the decoding process, to begin processing a code string to be decoded in the B picture, which the reference picture is not known whether a picture of the second reference index "0". これは、バッファ制御信号(図28の Header内のRPSL)を用いて明示的に指示することにより、参照インデックスに対する参照ピクチャの割り当てを任意に変更することができるためである。 This is because by explicitly indicated using buffer control signal (RPSL in Header in Fig. 28), it is possible to arbitrarily change the assignment of the reference picture for the reference index. したがって、Bピクチャの符号化/復号化処理の際には、すべての参照ピクチャに対する動きベクトルを記憶しておかなければならない。 Thus, during encoding / decoding of B picture it must be stored motion vectors for all of the reference pictures. よって従来の方法においては、画像サイズが大きくなるに従い、また、参照ピクチャ数が多くなるに従い、動きベクトルを格納するためのメモリ量が爆発的に増大するという問題がある。 Therefore, in the conventional method, in accordance with the image size increases, also the number of reference pictures in accordance with increases, there is a problem that memory capacity for storing the motion vector is increased explosively.
【0021】 [0021]
本発明は、上記問題を解決するためのものであり、直接モード用に格納する動きベクトルのメモリ量を低減することを可能とする動画像符号化方法および動画像復号化方法を提供することを目的とする。 The present invention is intended to solve the above problems, to provide a moving picture coding method and the moving picture decoding method makes it possible to reduce the memory amount of the motion vector to be stored for direct mode for the purpose.
【0022】 [0022]
【課題を解決するための手段】 In order to solve the problems]
この課題を解決するために、本発明の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成するステップと、生成された前記制限情報を符号化するステップとを有することを特徴とする。 To solve this problem, the moving picture coding method of the present invention is a method of coding a moving picture is a sequence of composed picture of a plurality of blocks, performs motion compensation using the motion vector while coding a moving picture on a block-by-block basis, and generating a code string, the step of encoding and generating control information indicating a restriction on the storage of the motion vectors, the generated the restriction information to be used for motion compensation characterized in that it has a. これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限を示すことができる。 Thus, it is possible to indicate the limits of the storage of the motion vector used in performing motion compensation of the encoding target block in a picture having a plurality of blocks.
【0023】 [0023]
また、本発明の他の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象ブロックの符号化モードを決定する決定ステップと、前記符号化対象ブロックの符号化モードが直接モードである場合に、参照インデックスで特定される符号化済ピクチャの動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照インデックスで特定される符号化済フレームの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象ブロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号 Another moving picture coding method of the present invention, a moving picture is a sequence of composed picture of a plurality of blocks, a method of encoding while motion compensation using the motion vector, coding a determination step of determining a coding mode of the current block, when the coding mode of the coding target block is a direct mode, the motion vector of code haze picture specified by the reference index stored in the storage unit a determining step of determining whether there, the motion vector of code haze frame specified by the reference index, if it is determined not to be stored in the storage unit, the same and the picture with the encoding target block the code by using a motion vector used when encoding the block at the periphery of the encoding target block is in the picture 対象ブロックの動き補償を行う導出ステップとを有し、前記直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、前記参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであることを特徴とする。 And a deriving step for performing motion compensation of the current block, the direct mode, motion compensation of the current block using a motion vector used when a block of code haze in the picture has been encoded a coding mode in which the reference index from a plurality of code haze pictures stored in the storage unit, for selecting a reference picture to be referred to when performing motion compensation for the current block , wherein the symbols haze is an index which is assigned to the picture. これにより、直接モードで動き補償を行うために必要な動きベクトルが記憶部になくても符号化対象ブロックの動き補償を行うことができる。 This allows the motion vector required for performing motion compensation in the direct mode motion compensation in the encoding target block without the storage unit.
【0024】 [0024]
また、前記動画像符号化方法は、さらに、前記参照インデックスで特定される符号化済フレームの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックの動きベクトルを「0」として前記符号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。 Also, the moving picture coding method may further, if the motion vector of code haze frame specified by the reference index, is determined not to be stored in the storage unit, the motion vector of the encoding target block it may be used as having a different derivation step of performing motion compensation of the current block as "0". これにより、直接モードで動き補償を行うために必要な動きベクトルが記憶部になくても符号化対象ブロックの動き補償を行うことができる。 This allows the motion vector required for performing motion compensation in the direct mode motion compensation in the encoding target block without the storage unit.
【0025】 [0025]
前記動画像符号化方法は、さらに、前記参照インデックスで特定される符号化済フレームを符号化するときに用いた動きベクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きベクトルを用いて前記符号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。 The moving picture coding method may further store, in the case where the motion vector used when encoding the code haze frame specified by the reference index is determined to be stored in the storage unit, the storage unit it may have another derivation step of performing motion compensation of the current block using the motion vector being. これにより、直接モードで動き補償を行うために必要な動きベクトルがあるかないかの判断に基づいて符号化対象ブロックの動き補償をすることができる。 Thus, it is possible to make motion compensation of the encoding target block based on determination of whether a motion vector is not there necessary to perform motion compensation in the direct mode.
【0026】 [0026]
また、本発明のさらに他の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成する第一の出力ステップと、前記符号化対象ブロックが参照するピクチャがBピクチャである場合に、前記Bピクチャを符号化するときに用いた動きベクトルを記憶しないことを示す保存情報を生成する第二の出力ステップと、生成された前記制限情報と前記保存情報とを符号化するステップとを有し、前記Bピクチャは、ブロック毎に最大2枚のピクチャを参照して動き補償を行うピクチャであることを特徴とする。 Still another moving picture coding method of the present invention is a method of coding a moving picture is a sequence of composed picture of a plurality of blocks, the moving picture while the motion compensation using the motion vector encodes the block by block, and generating a code string, a first output step of generating control information indicating a restriction on the storage of motion vectors used for motion compensation, picture the coding target block is referenced B code when a picture, and a second output step of generating storage information indicating that no stored motion vectors used in the encoding of the B picture, and the generated the restriction information and the storage information and a step of reduction, the B picture is characterized by a picture to be a reference to motion compensation up to two pictures per block. これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限を示し、ピクチャタイプにより保存しない動きベクトルを示すことができる。 Thus, it shows the limitations of the storage of the motion vector used in performing motion compensation of the encoding target block in a picture having a plurality of blocks, can indicate the motion vector that does not save the picture type.
【0027】 [0027]
前記動画像符号化方法は、前記制限情報と前記保存情報とを符号化するステップでは、前記制限情報と前記保存情報とを前記符号列中のヘッダ情報として符号化するとしてもよい。 The moving picture coding method, wherein in the step of encoding restriction information and said storage information, may be encoded and the restriction information and the stored information as header information in the code sequence. 前記動画像符号化方法は、さらに、前記保存情報に基づき前記Bピクチャを符号化するときに用いた動きベクトルを記憶領域に格納せず、符号化順で、前記符号化対象ブロックを有するピクチャの直前に符号化されたPピクチャの動きベクトルを記憶領域に格納するステップを有し、前記Pピクチャは、ブロック毎に既に符号化済みのピクチャを最大1枚参照して予測符号化を行うピクチャであるとしてもよい。 The moving picture coding method may further without storing the motion vector used in the encoding of the B picture based on the stored information in the storage area, in coding order, the pictures having the coding target block comprising the step of storing the motion vector of the coded P-pictures immediately before the storage area, the P picture is already coded picture for each block in the picture to be a predictive coding with reference one up it may be there. これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限を示し、ピクチャタイプにより保存しない動きベクトルを示すことができる。 Thus, it shows the limitations of the storage of the motion vector used in performing motion compensation of the encoding target block in a picture having a plurality of blocks, can indicate the motion vector that does not save the picture type.
【0028】 [0028]
本発明のさらに他の動画像符号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化する方法であって、符号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記符号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを判断するステップと、前記符号化対象のピクチャが前記トップフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きベクトルをトップフィールド用の記憶領域に格納し、前記符号化対象のピクチャが前記ボトムフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きベクトルをボ Yet another moving picture coding method of the present invention, a moving picture is a sequence of composed picture of a plurality of blocks, a method of encoding while motion compensation using a motion vector, coded If the picture is the one of the fields of the interlaced image composed of top and bottom fields, the steps of the picture of the encoding target is determined whether the said bottom field either said top field, the If the picture to be encoded is determined to be the top field, and stores the motion vector used for motion compensation of the encoding target picture in the storage area for the top field, the picture of the encoding target the bottom If it is determined that field, ball motion vector used for motion compensation of the encoding target picture ムフィールド用の記憶領域に格納するステップとを有することを特徴とする。 Characterized by a step of storing in the storage area for form fields. これにより、フィールドのパリティ毎に動きベクトルを格納することができる。 Thus, it is possible to store the motion vector for each field parity.
【0029】 [0029]
前記動画像符号化方法は、前記トップフィールド用の記憶領域に格納する動きベクトルと、前記ボトムフィールド用の記憶領域に格納する動きベクトルとは、同一フレームに属するトップフィールドとボトムフィールドを符号化するときに用いた動きベクトルであるとしてもよい。 The moving picture coding method, a motion vector stored in the storage area for the top field, the a motion vector to be stored in the storage area for the bottom field, encodes the top field and the bottom field belonging to the same frame it may be a motion vector used when. これにより、同一フレームに属するフィールドを符号化するときに用いた動きベクトルを保存することができる。 This makes it possible to store the motion vectors used at the time of encoding the fields belonging to the same frame.
【0030】 [0030]
前記動画像符号化方法は、さらに、符号化対象のピクチャをフレーム構造で符号化する場合に、前記符号化対象ピクチャの動き補償に用いた動きベクトルを、トップフィールド用の記憶領域とボトムフィールド用の記憶領域とに格納するステップを有するとしてもよい。 The moving picture coding method may further when encoding the picture to be coded in the frame structure, a motion vector used for motion compensation of the current picture to be coded, storage area and the bottom field for top field it may have the step of storing the in the storage area. これにより、トップフィールド用の記憶領域とボトムフィールド用の記憶領域との両方に、フレーム構造の符号化対象のピクチャにおいて動き補償を行うときに用いた動きベクトルを記憶できる。 This allows storing the motion vector used when in both the memory area and the memory area for the bottom field for the top field, performs motion compensation in the picture to be coded in the frame structure.
【0031】 [0031]
上記課題を解決するために、本発明の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象ブロックの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、前記符号化列を復号化し前記制限情報を抽出するステップと、前記制限情報に基づいて動きベクトルを記憶領域に格納するステップとを有することを特徴とする。 In order to solve the above problems, the moving picture decoding method of the present invention, there a moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector Te, inputting the encoded data stream having a restriction information indicating a restriction on the storage of the motion vectors used for motion compensation decoding target block, extracting the control information by decoding the encoded sequence, the restriction characterized by a step of storing the motion vector in the storage area based on the information. これにより、複数のブロックを有するピクチャ中の符号化対象ブロックの動き補償を行うときに用いる動きベクトルの記憶の制限をすることができる。 This makes it possible to limit the storage of motion vectors to be used when performing motion compensation of the encoding target block in a picture having a plurality of blocks.
【0032】 [0032]
また、本発明の他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、前記符号化列を復号化し前記符号化モード情報を抽出するステップと、前記符号化モード情報が直接モードを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピク Another moving picture decoding method of the present invention, a moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector, decoding inputting the encoded data stream having a coding mode information indicating an encoding mode of the target block, extracting the encoding mode information decoding the encoded sequence, the coding mode information to direct mode It shows the case in which a determination step of motion vector used when decoding the decrypted picture specified by the reference index is determined whether stored in a storage unit, decoding specified by the reference index motion vector haze picture, if it is determined not to be stored in the storage unit, the same pixels and the picture with the current block ャ内にあり前記復号化対象ブロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップとを有し、前記直接モードは、参照するピクチャ中において前記復号化対象ブロックと同じ位置にあるブロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、前記参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであることを特徴とする。 And a deriving step for performing motion compensation of the current block using a motion vector used when decoding the block at the periphery of the current block is in the catcher, the direct mode, a coding mode in which motion compensation of the current block using a motion vector used when in a picture to be referenced at the same position as the decoding target block block is decoded, the reference index is applied from a plurality of decrypted picture stored in the storage unit, for selecting a reference picture to be referred to when performing motion compensation for the decoding target block, to the decrypted picture characterized in that it is an index that is. これにより、直接モードで動き補償を行うために必要な動きベクトルが記憶部になくても復号化対象ブロックの動き補償を行うことができる。 Thus, it is possible even without the motion vector storage unit required to perform motion compensation in the direct mode motion compensation in the decoding target block.
【0033】 [0033]
また、さらに、前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックの動きベクトルを「0」として前記復号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。 Still, the decoding motion vector of decrypted picture specified by the reference index, if it is determined not to be stored in the storage unit, the motion vector of the current block as "0" it may have another derivation step of performing motion compensation of the current block. これにより、直接モードで動き補償を行うために必要な動きベクトルが記憶部になくても復号化対象ブロックの動き補償を行うことができる。 Thus, it is possible even without the motion vector storage unit required to perform motion compensation in the direct mode motion compensation in the decoding target block.
【0034】 [0034]
前記動画像復号化方法は、さらに、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きベクトルを用いて前記復号化対象ブロックの動き補償を行う別の導出ステップを有するとしてもよい。 The moving picture decoding method further when the motion vector used when decoding the decrypted picture specified by the reference index is determined to be stored in the storage unit, stored in the storage unit it may have another derivation step of performing motion compensation of the current block using the motion vector being. これにより、直接モードで動き補償を行うために必要な動きベクトルがあるかないかの判断に基づいて復号化対象ブロックの動き補償をすることができる。 This makes it possible to the motion compensation decoding target block based on determination of whether a motion vector is not there necessary to perform motion compensation in the direct mode.
【0035】 [0035]
本発明のさらに他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象ブロックの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報と、前記復号化対象ブロックが参照するピクチャがBピクチャであるときに、前記Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納しないことを示す保存情報とを有する符号化列を入力する入力ステップと、前記符号化列を復号化し前記制限情報と前記保存情報とを抽出する抽出ステップと、前記制限情報に基づいて動きベクトルを記憶部に格納し、さらに前記保存情報に基づいてBピクチャを復号化するときに用いた動きベクトルを記憶部に格納しない格 Yet another moving picture decoding method of the present invention, a moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector, decoding target when the restriction information indicating a restriction on the storage of motion vectors used for motion compensation of the block, the picture in which the decoding target block refers is a B-picture, stores motion vectors used at the time of decoding the B-picture an input step of inputting the encoded data stream and a storage information indicating that no stored in part, an extraction step of decoding the encoded data stream to extract said storage information and the restriction information, based on said limitation information case that do not store the motion vector storage unit used when storing motion vectors in the storage unit, further decodes the B picture based on the storage information ステップとを有し、前記Bピクチャは、ブロック毎に最大2枚の復号化済みピクチャを参照して動き補償を行うピクチャであることを特徴とする。 And a step, the B picture is characterized by a picture to be a reference to motion compensation decoded pictures of two up for each block. これにより、抽出された制限情報と保存情報とにより、動きベクトルを保存すべきかどうかを決めることができる。 Thus, by the the storage information extracted restriction information, you can decide whether to save the motion vector.
【0036】 [0036]
さらに、前記格納ステップにおいて、前記保存情報に基づき前記Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納せず、復号化順で、前記復号化対象ブロックを有するピクチャの直前に復号化されたPピクチャの動きベクトルを記憶部に格納し、前記Pピクチャは、ブロック毎に既に復号化済みのピクチャを最大1枚参照して動き補償を行うピクチャであるとしてもよい。 Further, in the storing step, without storing the motion vectors used at the time of decoding the B picture based on the stored information in the storage unit, in decoding order, decoding immediately before the picture with the current block storing motion vectors of reduction has been P-picture in the storage unit, the P-pictures may already picture already decoded for each block as a picture to perform motion compensation with reference one maximum. これにより、抽出された制限情報と保存情報とにより、動きベクトルを保存すべきかどうかを決めることができる。 Thus, by the the storage information extracted restriction information, you can decide whether to save the motion vector.
【0037】 [0037]
また、本発明のさらに他の動画像復号化方法は、複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、復号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記復号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを判断するステップと、前記復号化対象のピクチャが前記トップフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きベクトルをトップフィールド用の記憶領域に格納し、前記復号化対象のピクチャが前記ボトムフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きベクト Still another moving picture decoding method of the present invention, a moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector, decoding when picture of the subject is any field of an interlaced image composed of top and bottom fields, the steps of the picture of the decoded to determine whether it is the bottom field either said top field , when the picture of the decoding target is determined to be the top field, and stores the motion vector used for motion compensation of the target picture to be decoded in the storage area for the top field, the picture of the decoding target If it is determined that the a bottom field, the motion was used for motion compensation of the target picture to be decoded vector をボトムフィールド用の記憶領域に格納するステップとを有することを特徴とする。 The characterized in that a step of storing in the storage area for the bottom field. これにより、フィールドのパリティ毎に動きベクトルを格納することができる。 Thus, it is possible to store the motion vector for each field parity.
【0038】 [0038]
本発明に係る動画像符号化装置は、通信機能を備えるパーソナルコンピュータ、PDA、ディジタル放送の放送局および携帯電話機などに備えられる動画像符号化装置として有用である。 Moving picture coding apparatus according to the present invention is useful as a personal computer, PDA, video encoding device provided in a broadcasting station and the cellular phone of the digital broadcast having a communication function.
また、本発明に係る動画像復号化装置は、通信機能を備えるパーソナルコンピュータ、PDA、ディジタル放送を受信するSTBおよび携帯電話機などに備えられる動画像復号化装置として有用である。 The moving picture decoding apparatus according to the present invention is useful as a personal computer, PDA, video decoding apparatus is provided including the STB and the mobile phone receives a digital broadcast including a communication function.
【0039】 [0039]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明の実施の形態について、図1から図25を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIG. 25 from FIG.
【0040】 [0040]
(実施の形態1) (Embodiment 1)
図1は、本発明の実施の形態1の動画像符号化装置100の構成を示すブロック図である。 Figure 1 is a block diagram showing the configuration of a video encoding apparatus 100 of Embodiment 1 of the present invention. 動画像符号化装置100は、各ピクチャの符号化の際に、符号化対象ピクチャの直前に符号化された参照ピクチャで検出された動きベクトルだけをメモリ内に格納しておき、Bピクチャを直接モードで符号化する際に参照すべき動きベクトルがメモリ内に格納されていない場合には、従来の直接モードとは異なる方法で符号化する動画像符号化装置であって、フレームメモリ101、差分演算部102、予測残差符号化部103、符号列生成部104、予測残差復号化部105、加算演算部106、フレームメモリ107、動きベクトル検出部108、モード選択部109、符号化制御部110、スイッチ111〜115、動きベクトル記憶部116を備える。 Moving picture coding apparatus 100, when the encoding of each picture, only the motion vector detected by the reference picture coded immediately before the encoding target picture may be stored in memory, the B-picture directly when the motion vector to be referred to when coding mode is not stored in the memory is a moving picture encoding apparatus for encoding differently than conventional direct mode, the frame memory 101, difference calculation unit 102, the prediction residual coding unit 103, the code sequence generating unit 104, the prediction residual decoding unit 105, addition unit 106, a frame memory 107, a motion vector detecting unit 108, the mode selection unit 109, the encoding control unit 110, and switches 111 to 115, the motion vector storage unit 116. フレームメモリ101は、入力画像をピクチャ単位で保持する画像メモリで、入力画像として表示順に入力されるピクチャを、符号化順に並べ替えるための記憶領域を提供する。 Frame memory 101, an image memory for holding the input image in units of pictures, a picture to be inputted in the display order as the input image memory provides a storage area for sorting the coding order. 差分演算部102は、フレームメモリ101内のピクチャからブロック単位で読み出された画像と、フレームメモリ107内の参照ピクチャから動きベクトルに基づいて読み出された1ブロックの画像との差分である予測残差を求めて出力する。 Difference calculation unit 102, the prediction which is a difference from the picture in the frame memory 101 and the image read in blocks, one block of the image read based on the motion vector from the reference picture in the frame memory 107 It obtains and outputs a residual. 予測残差符号化部103は、差分演算部102で求められた予測残差に周波数変換を施し、量子化して出力する。 Predictive residual coding unit 103 performs frequency conversion to the prediction residual obtained by the difference calculation unit 102, and outputs the quantization. この予測残差符号化部103による量子化においては、除算結果の丸めなどによって非可逆となる処理が含まれる場合がある。 In quantization by the prediction residual coding unit 103, which may include processing that is irreversible, such as by rounding the division result. 符号列生成部104は、予測残差符号化部103からの量子化結果を可変長符号化した後、出力用の符号化ビットストリームのフォーマットに変換し、符号化された予測残差の関連情報を記述したヘッダ情報などの付加情報を付して符号列を生成する。 Code string generation unit 104, after variable length encoding the quantized result from the prediction residual coding unit 103, converts the format of the encoded bit stream for output, related information of the encoded prediction residual It is given the additional information such as header information describing generating a code string. 予測残差復号化部105は、予測残差符号化部103からの符号化結果を可変長復号化し、逆量子化した後、逆周波数変換を施し、復号化された予測残差を出力する。 Prediction residual decoding unit 105, an encoding result from the prediction residual coding unit 103 performs variable length decoding, after inverse quantization, performs inverse frequency transformation, and outputs the prediction residual decoded. 加算演算部106は、予測残差復号化部105の復号化結果である予測残差のブロックに前記参照画像のブロックを加算して、復号化された1ブロック分の画像を出力する。 Adder 106 adds the block of the reference image into blocks of prediction residual is decoded result of the prediction residual decoding unit 105, and outputs the one block image decoded. フレームメモリ107は、復号化された各ブロックの画像を蓄積し、参照画像をピクチャ単位で保持する画像メモリである。 The frame memory 107 stores the image of each block is decoded, an image memory for holding the reference image in units of pictures.
【0041】 [0041]
動きベクトル検出部108は、対象ピクチャの動きベクトルを、所定の大きさのブロックを単位として検出する。 Motion vector detecting unit 108 detects the motion vector in the target picture, as the unit of a predetermined size of the block. モード選択部109は、フレームメモリ101から読み出された対象ブロックとそれに対して検出される動きベクトルとを参照して、対象ブロックの動きベクトルを直接モードで計算するか他のモードで計算するかを選択する。 Or the mode selection unit 109 refers to the motion vector detected with respect thereto and the target block read out from the frame memory 101, to calculate in an alternate mode to calculate the motion vector of the target block in the direct mode to select. 直接モードを選択した場合、モード選択部109は、動きベクトル記憶部116に格納されている、符号化対象ピクチャより表示順で後方にある参照ピクチャの動きベクトルを用いて対象ブロックの動きベクトルを計算する。 If you choose direct mode, the mode selection unit 109 calculates the motion vector of the target block using the motion vector of the reference picture stored in the motion vector storage unit 116, the display order in from the encoding target picture behind to. モード選択部109は、計算の結果である動きベクトルによって示される参照画像のブロックを、フレームメモリ107から読み出して差分演算部102と加算演算部106とに出力する。 Mode selection unit 109, the block of the reference image indicated by the motion vector is the result of calculation, and outputs the read from the frame memory 107 to the difference calculation unit 102 and the addition unit 106. 符号化制御部110は、フレームメモリ101に表示順で格納されている入力画像のピクチャを、符号化される順に入れ替え、符号化の対象となるピクチャから符号化の順に、符号化処理の単位となるブロックを読み出す。 Coding control unit 110, the picture of the input image stored in the display order in the frame memory 101, replacement in order to be encoded in the order of coding the pictures to be coded, and the unit of the encoding process read the made block. また、符号化制御部110は、参照ピクチャごとに参照インデックスを割り当て、割り当てた参照インデックスの一覧である参照インデックスリストを管理する。 The encoding control unit 110 assigns a reference index for each reference picture, manages the reference index list is a list of reference indices assigned. さらに、符号化制御部110は、符号化対象ピクチャの直前に符号化された参照ピクチャの動きベクトルだけを動きベクトル記憶部116に格納し、動きベクトル記憶部116に格納される動きベクトルの記憶量を示す情報を作成する。 Furthermore, the coding control unit 110 stores only the motion vector storage unit 116 the motion vector of the reference picture that has been encoded immediately before the encoding target picture, the storage amount of the motion vectors stored in the motion vector storage unit 116 to create the information indicating the. 動きベクトル記憶部116は、符号化対象のピクチャの直前に符号化された参照ピクチャにおいて得られている動きベクトルを保存するための記憶領域を提供する。 Motion vector storage unit 116 provides a storage area for storing the motion vector is obtained in the reference picture coded immediately before the picture to be coded.
【0042】 [0042]
以下では、上記のように構成された動画像符号化装置100の動作について説明する。 Hereinafter, the operation of the moving picture coding apparatus 100 configured as described above. 図1に示した動画像符号化装置100の入力画像は、表示時間順にピクチャ単位でフレームメモリ101に入力される。 The input image of the moving picture coding apparatus 100 shown in FIG. 1 is input to the frame memory 101 on a picture-by-picture basis in display order. 図2(a)は、図1の動画像符号化装置100に入力画像として入力されるピクチャの順序を示す図である。 2 (a) is a diagram showing the order of pictures inputted as an input image to the moving picture coding apparatus 100 of FIG. フレームメモリ101に入力されるピクチャの順序を図2(a)に示す。 The order of pictures inputted to the frame memory 101 shown in FIG. 2 (a). 図2(a)において、縦線はピクチャを示し、各ピクチャの右下に示す記号は、1文字目のアルファベットがピクチャタイプ(I、PまたはB)を示し、2文字目以降の数字が表示順のピクチャ番号を示している。 2 (a), the vertical line represents the picture, symbols shown in the lower right of each picture, first letter of the alphabet indicates the picture type (I, P or B), see the second and subsequent characters numbers It shows the order picture number. フレームメモリ101に入力された各ピクチャは、符号化順に並び替えられる。 Each picture inputted into the frame memory 101 is rearranged in coding order. 符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、符号化対象ピクチャよりも先に符号化されるように並び替える。 Reordering the coding order is carried out based on the reference relations in inter picture prediction coding, a picture used as a reference picture, rearranged as coded earlier than the current picture to be coded. 図2(b)は、図2(a)に示したピクチャの順序を符号化順に並べ替えた場合のピクチャの順序を示す図である。 2 (b) is a diagram showing the order of pictures in the case of rearranging the order of pictures shown in FIGS. 2 (a) in coding order. 例えば、Pピクチャは、表示順で前方にある近傍3枚のIピクチャまたはPピクチャを参照ピクチャとする。 For example, P picture, a reference picture to I-picture or P-picture of the three neighboring in front in display order. すなわち、符号化対象のPピクチャにおいて符号化対象となる各ブロックは、表示順で前方にある1枚の参照ピクチャを参照して動き補償を行うのであるが、ブロックごとにこの1枚を、表示順で前方にある近傍3枚のIピクチャまたはPピクチャの中から任意に選択することができる。 That is, each block to be encoded in the P-picture to be coded is with reference to one reference picture that is forward in display order is to perform motion compensation, this one for each block, the display successively with can be arbitrarily selected from among the neighboring three I or P picture that is forward. また、Bピクチャは、表示順で前方にある近傍3枚のIピクチャまたはPピクチャと、表示順で後方にある近傍1枚のIピクチャまたはPピクチャとを参照ピクチャとして用いるものとする。 Further, B-pictures shall be used with I-picture or P-picture of the three neighboring in front in display order, and a I-picture or P-picture of one neighborhood behind in display order as reference pictures. 従って、符号化対象のBピクチャにおいて符号化対象となる各ブロックは、2枚の参照ピクチャを参照して動き補償を行うのであるが、ブロックごとにこの2枚を、表示順で前方にある近傍3枚のIピクチャまたはPピクチャと、表示順で後方にある近傍1枚のIピクチャまたはPピクチャとの中から任意に選択することができる。 Thus, near each block to be encoded in the B picture to be coded is with reference to two reference pictures is performed for motion compensation, with the two for each block, forward in display order and three I-pictures or P-pictures can be arbitrarily selected from an I picture or P picture of one neighborhood behind in display order. このため、Bピクチャの符号化より前の時点で、当該Bピクチャより表示順で後方にある近傍1枚のIピクチャまたはPピクチャを符号化しておかなくてはならない。 Therefore, at the time of the prior encoding of the B picture, not an I-picture or P-picture of one neighborhood behind in display order than the B-picture without first encoded. この場合、図2(a)のピクチャを並び替えた結果は図2(b)のようになる。 In this case, the result of rearranging the pictures of FIGS. 2 (a) is as shown in FIG. 2 (b). 例えば、BピクチャであるピクチャB5に注目すると、ピクチャB5より表示順で後方にある(Iピクチャまたは)Pピクチャであって、かつ、ピクチャB5の最も近傍にあるピクチャP7が、ピクチャB5を符号化する前に符号化される。 For example, when attention is paid to the picture B5 is a B-picture, behind in display order than the picture B5 A (I picture or) P-picture, and a picture P7 which is the closest to the picture B5, encodes the picture B5 It is encoded before.
【0043】 [0043]
フレームメモリ101で並び替えが行われた各ピクチャは、マクロブロックの単位で読み出されるとする。 The pictures Sort by the frame memory 101 is performed, and read out in units of macro blocks. ここでは、マクロブロックは水平16画素×垂直16画素の大きさであるとする。 Here, the macro block is the size of the horizontal 16 pixels × 16 vertical pixels. また、動き補償はブロック単位(ここでは8画素×8画素の大きさとする)単位で行うものとする。 The motion compensation block (in this case the size of 8 pixels × 8 pixels) be given in the units. 以下では、ピクチャP13、ピクチャB11の符号化処理について順に説明する。 Hereinafter, the picture P13, described encoding process of the picture B11 in the order. なお、本実施の形態における参照インデックスの管理は符号化制御部110において行うものとする。 The management of the reference index of the present embodiment will be made in the coding control unit 110.
【0044】 [0044]
<ピクチャP13の符号化処理> <Encoding processing of the picture P13>
ピクチャP13はPピクチャであるので、前方参照を用いたピクチャ間予測符号化を行う。 Since the picture P13 is a P-picture, performing inter picture prediction coding using forward reference. この場合の参照ピクチャはピクチャP10、ピクチャP7、ピクチャP4となる。 Reference picture in this case is picture P10, the picture P7, picture P4. これらの参照ピクチャは、既に符号化が終了しており、復号化画像がフレームメモリ107に蓄積されている。 These reference pictures have already encoded is completed, the decoded picture is stored in the frame memory 107.
【0045】 [0045]
符号化制御部110は、入力されたピクチャをどのタイプのピクチャ(I、PまたはBピクチャ)で符号化するかを決定し、そのピクチャタイプにより、スイッチスイッチ113、スイッチ114、スイッチ115を制御する。 Coding control unit 110 determines whether to encode any type of picture the input picture (I, P or B-picture) by the picture type, the switch switch 113, switch 114, controls the switch 115 . ここで、ピクチャタイプの決定は、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。 Here, the determination of the picture types, for example, a method of periodically assigning a picture type is generally used. ピクチャタイプの決定により、フレームメモリ101内でピクチャの符号化順序の入れ替えが行われる。 The determination of the picture types, the replacement of the coding order of the pictures in a frame memory within 101 is performed.
【0046】 [0046]
Pピクチャの符号化においては、符号化制御部110は、スイッチ113、スイッチ114、スイッチ115がオンになるように各スイッチを制御する。 In encoding P pictures, the coding control unit 110, switch 113, switch 114, controls the respective switches so that the switch 115 is turned on. したがって、フレームメモリ101から読み出されたピクチャP13のマクロブロックは、まず動きベクトル検出部108、モード選択部109、差分演算部102に入力される。 Therefore, macroblocks in the picture P13 which are read out from the frame memory 101 are first inputted motion vector detecting unit 108, the mode selection unit 109, the difference calculation unit 102.
【0047】 [0047]
動きベクトル検出部108では、フレームメモリ107に蓄積されたピクチャP10の復号化画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、動きベクトルの検出を行う。 The motion vector detecting unit 108, using the decoded image data of the picture P10 stored in the frame memory 107 as a reference picture for each block in the macroblock, to detect the motion vector. 検出された動きベクトルは、モード選択部109に対して出力される。 The detected motion vector is output to the mode selection unit 109.
【0048】 [0048]
モード選択部109では、動きベクトル検出部108で検出した動きベクトルを用いて、マクロブロックの符号化モードを決定する。 The mode selection unit 109, using the motion vector detected by the motion vector detecting unit 108 determines a coding mode of the macroblock. ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。 Here, the coding mode, which indicates whether the macroblock is to be encoded in any way. 例えば、Pピクチャの場合には、ピクチャ内符号化、動きベクトルを用いたピクチャ間予測符号化、動きベクトルを用いない(動きベクトルを「0」として扱う、または、周囲ブロックの動きベクトルから選択する)ピクチャ間予測符号化の中から、いずれの方法で符号化するかを決めることができるとする。 For example, in the case of P picture, it handles intra picture coding, inter picture prediction coding using motion vectors, using no motion vector (motion vector as "0", or is selected from the motion vectors of surrounding blocks ) from the inter picture prediction coding, and you can decide whether to encode in any manner. 符号化モードの決定においては、一般的には、少ないビット量でより符号化誤差が小さくなる方法を選択する。 In determining the coding mode, in general, to select a more methods coding error is reduced with a smaller amount of bits.
【0049】 [0049]
モード選択部109で決定された符号化モードは、符号列生成部104に対して出力される。 Coding mode determined by the mode selection unit 109 is output to the bit stream generation unit 104. また、現ピクチャが、他のピクチャの符号化時に参照ピクチャとして用いられるピクチャであり、モード選択部109で決定された符号化モードがピクチャ間予測符号化である場合には、モード選択部109は、そのピクチャ間予測符号化で用いられる動きベクトルを動きベクトル記憶部116に格納する。 Also, the current picture is a picture used as a reference picture when coding another picture, when the coding mode determined by the mode selection unit 109 is inter picture prediction coding, the mode selection unit 109 , and stores in the vector storage unit 116 the motion the motion vectors used at the inter picture prediction coding. ただし、動きベクトル記憶部116への動きベクトルの格納動作は、後述するように符号化制御部110により制御される。 However, the operation of storing the motion vector to the motion vector storage unit 116 is controlled by the coding control unit 110 as will be described later. また、動きベクトルは、モード選択部109から符号列生成部104に対して出力される。 The motion vector is outputted from the mode selection unit 109 to the code string generating unit 104.
【0050】 [0050]
さて、以下では、モード選択部109による動きベクトル記憶部116への動きベクトル格納動作について説明する。 Now, in the following, the motion vector storage operation to the motion vector storage unit 116 by the mode selection unit 109 will be described. 動きベクトル記憶部116に格納される動きベクトルの数は、符号化制御部110により指定される。 The number of motion vectors stored in the motion vector storage unit 116 is specified by the coding control unit 110. Pピクチャは、前方の3つのピクチャを参照ピクチャとして用いて符号化されるが、ここでは参照ピクチャ数よりも少ないピクチャ数の動きベクトルを、動きベクトル記憶部116に格納する。 P-picture is encoded using as a reference picture in front of three picture, where the motion vector of the small number of pictures than the number of reference pictures, stored in the motion vector storage unit 116. 例えば、ここでは1つのピクチャのみの動きベクトルを格納するとする。 For example, where the stores motion vectors of only one picture. この場合、格納する動きベクトルとしては、参照ピクチャのうち符号化順で現ピクチャの直前に符号化された参照ピクチャの動きベクトルを格納する方法がある。 In this case, the motion vector stored, there is a method of storing motion vectors of coded reference picture immediately before the current picture in coding order among the reference pictures. ここで、すでに動きベクトル記憶部116に記憶されている動きベクトルは、現ピクチャの符号化の開始時に消去しても良いし、符号化モードが決定される度に、動きベクトルを符号化されるブロックの順に上書きしても良い。 Here, a motion vector is already stored in the motion vector storage unit 116 may be erased at the start of the encoding of the current picture, every time the coding mode is determined and encoded motion vector it may be overwritten in the order of the block. なお、格納する動きベクトルの量としては、復号化装置が有する動きベクトルを格納する領域(メモリ)の大きさをもとに決めても良い。 As the amount of motion vectors to be stored may be determined based on the size of the area to store the motion vector (memory) included in the decoding apparatus. また、動きベクトル記憶部116に格納する動きベクトルとしては、Iピクチャのみ、Pピクチャのみ、またはIピクチャとPピクチャのみにするようにしても良い。 As the motion vector stored in the motion vector storage unit 116, only the I-picture, only the P picture, or may be only the I pictures and P pictures. さらに、これらに加えて、符号化中のピクチャにおいて、対象ブロックよりも前に直接モード以外のピクチャ間予測を用いて符号化されている所定数のブロックまたは全ブロックの動きベクトルが格納されるようにしてもよい。 Furthermore, in addition to these, the picture being encoded, so that the motion vector of a predetermined number of blocks or all blocks being encoded is stored using inter picture prediction other than direct mode before the current block it may be. ここで、Iピクチャに関して格納される動きベクトルの情報としては、動きベクトルが格納されていないことを示す情報のことである(Iピクチャは動き補償されないため)。 Here, (for I-picture is not motion compensated) The information of the motion vector being stored for I-picture is information indicating that the motion vector is not stored. また、動きベクトル記憶部116に格納する動きベクトルとしては、表示順で符号化対象ピクチャに近いものから数ピクチャを保存するようにしても、符号化の順番(ストリーム順序)で符号化対象ピクチャに近いピクチャから(ストリーム順序で後のピクチャから)数ピクチャを保存するようにしても、いずれでも構わない。 As the motion vector stored in the motion vector storage unit 116, also be stored the number pictures from close to the current picture to be coded in display order, the encoding target picture in the coding order (stream order) be store (picture from later in the stream order) several pictures from near the picture, may be any. Bピクチャが後方の2枚のPピクチャを参照する場合、符号化(または復号化)の順番では近くても、時間的に離れているため、画像としては近い画像ではない(動き補償に適した画像ではない)可能性が高い。 If the B-picture refers to two P-pictures of the rear, be closer in order of coding (or decoding), since the temporally separated, not a close image as an image (suitable for motion compensation no) it is likely in the image. よって、Bピクチャが後方の複数のPピクチャを参照する場合には、表示順で符号化対象ピクチャに近いものから動きベクトルを保存するとよい場合がある。 Therefore, when the B-picture refers to a plurality of P-pictures of the back it may be you save a motion vector from close to the current picture to be coded in display order. 一方、符号化の順番(ストリーム順序)で符号化対象ピクチャに近いピクチャから(ストリーム順序で後のピクチャから)動きベクトルを保存すると、メモリの管理を簡略化できる利点がある。 On the other hand, (the picture after the stream order) pictures from close to the current picture to be coded in the coding order (stream order) When you save the motion vector, can be advantageously simplify administration of the memory.
【0051】 [0051]
またさらに、符号化制御部110により指定された、動きベクトル記憶部116に格納される動きベクトルの数(例えば、参照ピクチャ数、マクロブロック数)は、符号列生成部104に対して出力される。 Further, designated by the coding control unit 110, the number of motion vectors stored in the motion vector storage unit 116 (e.g., the number of reference pictures, the number of macro blocks), is outputted to the bit stream generation unit 104 .
次に、図1に示したように、モード選択部109で決定された符号化モードに基づいた参照画像が、差分演算部102と加算演算部106とに出力される。 Next, as shown in FIG. 1, the reference image based on the coding mode determined by the mode selection unit 109 is output to the difference calculation unit 102 and the addition unit 106. ただし、ピクチャ内符号化が選択された場合には、参照画像は出力されない。 However, if intra picture coding is selected, the reference image is not output. また、モード選択部109でピクチャ内符号化が選択された場合には、符号化制御部110は、スイッチ111を端子aに、スイッチ112を端子cに接続するように制御し、ピクチャ間予測符号化が選択された場合には、スイッチ111を端子bに、スイッチ112を端子dに接続するように制御する。 Further, when the intra picture coding is selected by the mode selection unit 109, the coding control unit 110, a switch 111 to the terminal a, and controls to connect the switch 112 to the terminal c, inter picture prediction coding reduction is when it is selected, the switch 111 to the terminal b, controls to connect the switch 112 to the terminal d.
【0052】 [0052]
以下では、モード選択部109でピクチャ間予測符号化が選択された場合について説明する。 Hereinafter, description will be given of a case where the inter picture prediction coding is selected by the mode selection unit 109.
差分演算部102には、マクロブロックの画像データ以外に、モード選択部109から参照画像が入力される。 The difference calculation unit 102, in addition to the image data of the macro block, the reference image is inputted from the mode selecting unit 109. 差分演算部109では、マクロブロックの画像データと参照画像との差分を演算し、予測残差画像を生成し出力する。 The difference operation unit 109 calculates the difference between the image data and the reference image of the macro block, and generates and outputs the predicted residual image.
【0053】 [0053]
予測残差画像は予測残差符号化部103に入力される。 Prediction residual image is inputted to the prediction residual coding unit 103. 予測残差符号化部103では、入力された予測残差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。 The prediction residual coding unit 103, by performing the coding processing such as frequency conversion and quantization for the inputted predictive residual image, and generates and outputs the encoded data. ここで例えば、周波数変換や量子化の処理は、水平8画素×垂直8画素の単位で行うことができる。 Here, for example, the process of frequency conversion and quantization can be performed in a unit of horizontal 8 pixels × 8 vertical pixels. 予測残差符号化部103から出力された符号化データは、符号列生成部104と予測残差復号化部105とに入力される。 Encoded data output from the prediction residual coding unit 103 is inputted to the bit stream generation unit 104 and the prediction residual decoding unit 105.
【0054】 [0054]
符号列生成部104では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部109から入力された動きベクトルの情報、符号化モードの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。 The bit stream generation unit 104, the inputted coded data, performs variable length coding or the like, information of the motion vector input from the mode selection unit 109, coding mode information, other header information, generating a code string by adding or the like. この場合、ヘッダ情報には、符号化制御部110により決定された、動きベクトルの記憶量に関する情報(例えば、参照ピクチャ数、マクロブロック数)が記述される。 In this case, the header information, which is determined by the coding control unit 110, information relating to the storage amount of the motion vector (see, for example, the number of pictures, the number of macroblocks) is described. この記述は、符号列全体のヘッダ(シーケンスヘッダ)、複数ピクチャから構成されるGOPのヘッダ(GOPヘッダ)、ピクチャヘッダ、スライスヘッダ等に記述すれば良い。 This description, code sequence entire header (sequence header), header of a GOP composed of a plurality pictures (GOP header), picture header may be described in the slice header or the like. また、符号化装置と復号化装置とで動きベクトルの記憶量に関する情報を予め共有しているような場合には、動きベクトルの記憶量に関する情報は、符号化されてもされなくてもよい。 Further, when the encoding device and the decoding device, such as sharing of information relating to the storage amount of the motion vector in advance, the information relating to the storage amount of the motion vector, may or may not be encoded. 図3は、図1に示した符号列生成部103によって生成される符号列の一例を示す図である。 Figure 3 is a diagram showing an example of a code sequence generated by the bit stream generation unit 103 shown in FIG. 以下の図において、斜線部は、それぞれヘッダを示す。 In the following figure, the hatched portion indicates a header, respectively. 図3(a)は、動きベクトルの記憶量に関する情報がシーケンスヘッダに記述された符号列の一例を示す図である。 3 (a) is a diagram showing an example of a code string information relating to the storage amount is described in the sequence header of the motion vector. 図3(b)は、動きベクトルの記憶量に関する情報がGOP(Group of Pictures)ヘッダに記述された符号列の一例を示す図である。 3 (b) is a diagram showing an example of a code string information relating to the storage amount is written with a GOP (Group of Pictures) header of the motion vector. 図3(c)は、動きベクトルの記憶量に関する情報がピクチャヘッダに記述された符号列の一例を示す図である。 3 (c) is a diagram showing an example of a code string information relating to the storage amount is described in the picture header of the motion vector. 図3(d)は、動きベクトルの記憶量に関する情報がスライスヘッダに記述された符号列の一例を示す図である。 Figure 3 (d) is a diagram showing an example of a code string information relating to the storage amount is described in the slice header of the motion vector. また、この記述は符号列全体のヘッダに1つだけ記述するようにしてもよいし、GOPのヘッダ(GOPヘッダ)、ピクチャヘッダ、およびスライスヘッダ等に同一の情報を繰り返し記述するようにしてもよい。 Further, this description may be written only one code sequence entire header, GOP header (GOP header), it is described repeatedly the same information in the picture header, and slice header, etc. good.
【0055】 [0055]
また、上記の動きベクトルの記憶量に関する情報は、参照ピクチャ数またはマクロブロック数などに限らず、例えば、単に、動きベクトルの記憶量に制限が設けられていることを示す情報またはメモリに格納されるデータに制限が設けられていることを示す情報などであってもよい。 Further, information relating to the storage amount of the motion vector is not limited to such a reference picture number or the number of macro blocks, for example, simply it is stored in the information or memory indicating that the limit on the storage amount of the motion vector is provided it may be a information indicating that the data in the restricted provided that.
【0056】 [0056]
予測残差復号化部105では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号化処理を施し、復号化差分画像を生成して出力する。 The prediction residual decoding unit 105, the inputted coded data, performs decoding processing such as inverse quantization and inverse frequency transformation, and generates and outputs a decoded differential image. 復号化差分画像は加算演算部106において、予測画像と加算されることにより復号化画像となり、フレームメモリ107に蓄積される。 Decoding the differential image in the adder 106 becomes a decoded image by being added to the predicted image is stored in the frame memory 107.
【0057】 [0057]
同様の処理により、ピクチャP13の残りのマクロブロックに対して、符号化処理が行われる。 By the same process, the remaining macroblocks in the picture P13, coding processing is performed. そして、ピクチャP13のすべてのマクロブロックについて処理が終わると、次にピクチャB11の符号化処理が行われる。 When the process for all the macroblocks in the picture P13 is completed, then the encoding process of the picture B11 is performed.
【0058】 [0058]
<ピクチャB11の符号化処理> <Encoding processing of the picture B11>
ピクチャB11はBピクチャであるので、2方向参照を用いたピクチャ間予測符号化を行う。 Since the picture B11 is a B-picture, performing inter picture prediction coding using two backward reference. この場合の参照画像は、表示順で前方にある参照ピクチャがピクチャP10、ピクチャP7、ピクチャP4、表示順で後方にある参照ピクチャがピクチャP13となる。 Reference image in this case, the reference picture is a picture P10 in the front in the display order, the picture P7, picture P4, the reference picture is a picture P13 that is backward in display order. ピクチャB11の符号化処理においては、符号化制御部110は、スイッチ113がオン、スイッチ114、スイッチ115がオフになるように各スイッチを制御するものとする。 In the coding process of the picture B11, the coding control unit 110, the switch 113 is turned on, the switch 114, the switch 115 is assumed to control the switches to turn off. よって、フレームメモリ101から読み出されたピクチャB11のマクロブロックは、動きベクトル検出部108、モード選択部109、差分演算部102に入力される。 Therefore, macroblocks in the picture B11 read from the frame memory 101, motion vector detecting unit 108, the mode selection unit 109, is inputted to the difference calculation unit 102.
【0059】 [0059]
動きベクトル検出部108では、フレームメモリ107に蓄積されたピクチャP10、ピクチャP7、ピクチャP4の復号化画像データを前方参照ピクチャとして、ピクチャP13の復号化画像データを後方参照ピクチャとして用いることにより、マクロブロックに含まれる各ブロックの前方動きベクトルと後方動きベクトルの検出を行う。 The motion vector detecting unit 108, a picture P10 stored in the frame memory 107, picture P7, the decoded image data of the picture P4 as forward reference pictures, by using the decoded image data of the picture P13 as a backward reference picture, macro the detection of the forward motion vector and backward motion vector of each block included in the block.
【0060】 [0060]
モード選択部109では、動きベクトル検出部108で検出した動きベクトルを用いて、マクロブロックの符号化モードを決定する。 The mode selection unit 109, using the motion vector detected by the motion vector detecting unit 108 determines a coding mode of the macroblock. ここで、Bピクチャの符号化モードは、例えば、ピクチャ内符号化、前方動きベクトルを用いたピクチャ間予測符号化、後方動きベクトルを用いたピクチャ間予測符号化、双方向動きベクトルを用いたピクチャ間予測符号化、直接モードから選択することができるものとする。 Here, the picture coding mode of the B picture, for example, intra picture coding, inter picture prediction coding using forward motion vector, inter picture prediction coding using backward motion vector, using the bidirectional motion vector during predictive coding, and it can be selected from direct mode.
【0061】 [0061]
ここで、直接モードで符号化を行う場合について説明する。 Here it will be described a case of performing coding in direct mode. 図4は、対象ブロックの動きベクトルを、直接モードを用いて計算する場合の計算方法の一例を示す図である。 4, the motion vector of the target block is a diagram showing an example of a calculation method in the case of calculating using the direct mode. 図4において、符号化対象ブロックがピクチャB11内のブロックaであるとする。 4, the encoding target block and a block a in the picture B11. ブロックaを直接モードで符号化する場合には、ピクチャB11に対して第2参照インデックスが「0」である参照ピクチャ中の、ブロックaと同じ位置にあるブロックの動きベクトルを利用する。 When coding a block a in the direct mode, the second reference index for the picture B11 is a reference in the picture is "0", using the motion vector of the block in the same position as the block a.
【0062】 [0062]
まず、ピクチャB11に対して第2参照インデックスが「0」の参照ピクチャが、ピクチャP13である場合について説明する。 First, for the picture B11 second reference index reference picture "0", it will be described a picture P13. 動きベクトル記憶部116に格納されている動きベクトルは、その動きベクトルがどのピクチャのものであるかを特定するために、ピクチャ番号と対応付けて格納されている。 Motion vector stored in the motion vector storage unit 116, in order to identify whether one whose motion vector is which picture is stored in association with the picture number. モード選択部109は、ピクチャB11に対して第2参照インデックスが「0」である参照ピクチャのピクチャ番号「13」をピクチャB11の参照インデックスリストから調べ、ピクチャ番号「13」の参照ピクチャの動きベクトルが動きベクトル記憶部116に格納されているか否かを判断する。 Mode selection unit 109 checks for the picture B11 second reference index picture number "13" of the reference picture is "0" from the reference index list of the picture B11, the motion vector of the reference picture of the picture number "13" It is equal to or stored in the motion vector storage unit 116. ピクチャP13は、符号化順序でピクチャB11に最も近く符号化された参照ピクチャであるので、ピクチャP13の各ブロックを符号化した際の動きベクトルは、動きベクトル記憶部116に保持されている。 Picture P13 is, since the reference picture that is closest coded picture B11 in coding order, a motion vector when encoding each block of the picture P13 is held in the motion vector storage unit 116. よって、ブロックaを直接モードで符号化する際には、ピクチャP13のブロックbの動きベクトルを利用することになる。 Therefore, when coding in direct mode block a would utilize a motion vector of the block b in the picture P13. 動きベクトルcは、ブロックbが符号化された際に用いられた動きベクトルであり、動きベクトル記憶部116に記憶されている。 Motion vector c is a motion vector used in block b has been coded, stored in the motion vector storage unit 116. この動きベクトルcは、ピクチャP10を参照している。 The motion vector c is in reference to the picture P10. ブロックaは、動きベクトルcから生成した動きベクトルを用いて、参照ピクチャであるピクチャP10とピクチャP13とから2方向予測が行われる。 Block a, using the motion vectors generated from the motion vector c, from the picture P10 and the picture P13 Metropolitan is a reference picture bidirectional prediction is performed. この場合のブロックaを符号化する際に用いる動きベクトルは、ピクチャP10に対しては動きベクトルd、ピクチャP13に対しては動きベクトルeとなる。 Motion vector using a block a in this case when encoding is a motion vector e for the motion vector d, picture P13 for picture P10.
【0063】 [0063]
ここで、動きベクトルcからブロックaの動きベクトルを生成する第1の方法としては、ピクチャ間の時間的距離を用いてスケーリングを施す方法がある。 Here, as the first method for generating a motion vector of the block a from the motion vector c, there is a method of applying a scaling using time distance between pictures. 今、前方向動きベクトルである動きベクトルdの大きさをMVF、後方向動きベクトルである動きベクトルeの大きさをMVB、動きベクトルcの大きさをMVP、現在のピクチャ(ピクチャB11)の第2参照インデックスが「0」である参照ピクチャ(ピクチャP13)と、その参照ピクチャ(ピクチャP13)のブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRD、現在のピクチャ(ピクチャB11)と参照ピクチャ(ピクチャP13)のブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRBとすると、動きベクトルMVF、動きベクトルMVBは、それぞれ(数式1)、(数式2)で求められる。 Now, MVF the magnitude of the motion vector d is a forward motion vector, MVB the magnitude of the motion vector e are backward motion vectors, MVP the magnitude of the motion vector c, the current picture (picture B11) a reference picture 2 reference index is "0" (picture P13), the temporal distance between the reference picture picture blocks (picture P13) is referring (picture P10) TRD, the current picture (picture B11 ) and the reference picture (when the temporal distance between the pictures that reference block of the picture P13) (picture P10) and TRB, motion vectors MVF, the motion vector MVB, respectively (equation 1), in (equation 2) Desired.
(数式1) MVF=MVP×TRB/TRD (Equation 1) MVF = MVP × TRB / TRD
(数式2) MVB=(TRB−TRD)×MV/TRD (Equation 2) MVB = (TRB-TRD) × MV / TRD
ここで、MVF、MVBはそれぞれ、動きベクトルの水平成分、垂直成分を合成して表現しているものとする。 Here, MVF, MVB are respectively assumed to be expressed by combining the horizontal component of the motion vector, the vertical component.
【0064】 [0064]
また、動きベクトルcからブロックaの動きベクトルを生成する第2の方法としては、予め定めたスケーリング係数を用いて、動きベクトルcに対してスケーリングを行う方法がある。 As the second method of generating a motion vector of the block a from the motion vector c, using the scaling coefficients determined in advance, there is a method for scaling against motion vector c. ここで使用されるスケーリング係数は、複数ブロック単位または複数ピクチャ単位で、変更可能としても良い。 Scaling factor, as used herein, multiple block or picture basis, may be changed. また、このスケーリング係数は、システムで一意に決定し、符号化側と復号化側とで共有しても良いし、符号列中にヘッダ情報として記述することにより、符号化側と復号化側とで共有しても良い。 Also, the scaling factor, system uniquely determined, may be shared by the encoding side and the decoding side, by describing as header information in the code string, the encoding side and the decoding side in may be shared.
【0065】 [0065]
次に、第2参照インデックスが「0」の参照ピクチャが、ピクチャP13以外の参照ピクチャである場合について説明する。 Next, the second reference index reference picture "0", will be described a reference picture other than the picture P13. 例えば、ピクチャP10、ピクチャP7、ピクチャP4のいずれかが、ピクチャB11に対して第2参照インデックスが「0」の参照ピクチャである場合が考えられる。 For example, a picture P10, the picture P7, one of the picture P4 is, for the picture B11 second reference index is considered be a reference picture of "0". ピクチャP13以外の参照ピクチャは、符号化順序でピクチャB11に最も近く符号化された参照ピクチャではないので、それらのピクチャの各ブロックを符号化した際の動きベクトルは、動きベクトル記憶部116に保持されていない。 Reference picture other than the picture P13 is not a nearest encoded reference picture to the picture B11 in the coding order, the motion vector when encoding each block of those pictures, held in the motion vector storage unit 116 It has not been. よって、ブロックaを直接モードで符号化しようとしても、第2参照インデックスが「0」の参照ピクチャの動きベクトルを利用することができない。 Therefore, even if an attempt is coded in direct mode blocks a, it is impossible to second reference index to use the motion vector of the reference picture "0".
【0066】 [0066]
この場合における、直接モードの処理の第1の方法としては、動きベクトルを「0」として2方向予測する方法がある。 In this case, as the first method of processing of the direct mode, there is a method for 2 forward prediction motion vector as "0". この場合の参照ピクチャは、例えば、ピクチャB11に対して第1参照インデックスが「0」であるピクチャと、第2参照インデックスが「0」であるピクチャとを用いることができる。 The reference picture in this case is, for example, a picture first reference index for the picture B11 is "0", the second reference index can be used and the picture is "0". 図5は、Bピクチャを直接モードで符号化する際に第2参照インデックスが「0」の参照ピクチャの動きベクトルを利用できない場合の2方向予測の一例を示す図である。 Figure 5 is a diagram showing an example of bidirectional prediction in the case where the second reference index in coding the B picture in direct mode is not available the motion vector of the reference picture "0". 例えば、第1参照インデックスが「0」であるピクチャがピクチャP7であり、第2参照インデックスが「0」であるピクチャがピクチャP10である場合、図5のようにブロックaに対して2方向予測を行うことができる。 For example, a picture first reference index is "0" is picture P7, when the picture second reference index is "0" is picture P10, 2 directional prediction for the block a, as in FIG. 5 It can be performed. ブロックaは、ピクチャP7とピクチャP10においてブロックaと同じ位置にあるブロックを参照して動き補償を行う。 Block a is performed by referring to the motion compensated blocks in the same position as the block a in the picture P7 and picture P10.
【0067】 [0067]
また、直接モードの処理の第2の方法としては、同一ピクチャ内の周辺ブロックの動きベクトルを利用する方法がある。 As the second method of processing of the direct mode, there is a method of utilizing the motion vectors of the neighboring blocks in the same picture. ただし、この場合、対象ブロックの周辺にあるブロックの動きベクトルは、モード選択部109により、動きベクトル記憶部116に格納されているものとする。 However, in this case, the motion vector of a block located around the target block, by the mode selection unit 109 and is stored in the motion vector storage unit 116. この方法では、例えば図6に示すように、ブロックBLを直接モードで符号化する場合には、3つの周辺ブロックBL1、ブロックBL2、ブロックBL3を符号化する際に用いた動きベクトルを利用して、ブロックBLを符号化する際に用いる動きベクトルを決定する。 In this way, for example, as shown in FIG. 6, when encoding in direct mode block BL is three neighboring blocks BL1, block BL2, by using the motion vectors used in encoding the block BL3 , to determine the motion vectors used in encoding the block BL. この動きベクトルの決定方法としては、例えば前方向動きベクトルと後方向動きベクトルとのそれぞれについて、3つの周辺ブロックの動きベクトルの中央値や平均値を求める方法、第1参照ピクチャを参照する動きベクトルと第2参照ピクチャを参照する動きベクトルとのそれぞれについて、3つの周辺ブロックの動きベクトルの中央値や平均値を求める方法等が考えられる。 The method of determining the motion vector, for example, for each of the forward motion vector and backward motion vector, a method for determining the median or average of the motion vectors of the three neighboring blocks, the motion vector referring to the first reference picture About each of the motion vector referring to the second reference picture, and a method can be considered to determine the median or average of the motion vectors of the three neighboring blocks.
【0068】 [0068]
さて、図1に示したように、モード選択部109で決定された符号化モードは符号列生成部104に対して出力される。 Now, as shown in FIG. 1, the encoding mode determined by the mode selecting unit 109 is outputted to the bit stream generation unit 104. また、モード選択部104で決定された符号化モードに基づいた参照画像が差分演算部102と加算演算部106に出力される。 The reference image based on the coding mode determined by the mode selection unit 104 is output to the difference calculation unit 102 and the addition unit 106. ただし、ピクチャ内符号化が選択された場合には、参照画像は出力されない。 However, if intra picture coding is selected, the reference image is not output. また、モード選択部109でピクチャ内符号化が選択された場合には、符号化制御部110は、スイッチ111を端子aに、スイッチ112を端子cに接続するように制御し、ピクチャ間予測符号化が選択された場合には、スイッチ111を端子bに、スイッチ112を端子dに接続するように制御する。 Further, when the intra picture coding is selected by the mode selection unit 109, the coding control unit 110, a switch 111 to the terminal a, and controls to connect the switch 112 to the terminal c, inter picture prediction coding reduction is when it is selected, the switch 111 to the terminal b, controls to connect the switch 112 to the terminal d. 以下では、モード選択部109でピクチャ間予測符号化が選択された場合について説明する。 Hereinafter, description will be given of a case where the inter picture prediction coding is selected by the mode selection unit 109.
【0069】 [0069]
差分演算部102には、モード選択部109から参照画像が入力される。 The difference calculation unit 102, the reference image is inputted from the mode selecting unit 109. 差分演算部109では、ピクチャB11のマクロブロックと参照画像との差分を演算し、予測残差画像を生成し出力する。 The difference operation unit 109 calculates the difference between the macro block and the reference picture of the picture B11, and generates and outputs the predicted residual image.
予測残差画像は予測残差符号化部103に入力される。 Prediction residual image is inputted to the prediction residual coding unit 103. 予測残差符号化部103では、入力された予測残差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。 The prediction residual coding unit 103, by performing the coding processing such as frequency conversion and quantization for the inputted predictive residual image, and generates and outputs the encoded data. 予測残差符号化部103から出力された符号化データは、符号列生成部104に入力される。 Encoded data output from the prediction residual coding unit 103 is inputted to the bit stream generation unit 104.
【0070】 [0070]
符号列生成部104では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部109から入力された動きベクトルの情報、符号化モードの情報、その他のヘッダ情報、等を付加することにより符号列を生成する。 The bit stream generation unit 104, the inputted coded data, performs variable length coding or the like, information of the motion vector input from the mode selection unit 109, coding mode information, other header information, generating a code string by adding or the like. ただし、直接モードで符号化されたマクロブロックについては、動きベクトルの情報は符号列に付加されない。 However, the macroblocks coded in the direct mode, motion vector information is not added to the code sequence.
【0071】 [0071]
同様の処理により、ピクチャB11の残りのマクロブロックに対して、符号化処理が行われる。 By the same process, the remaining macroblocks in the picture B11, the coding processing is performed. そして、ピクチャB11のすべてのマクロブロックについて処理が終わると、次にピクチャB12の符号化処理が行われる。 When the process for all the macroblocks in the picture B11 is completed, then the encoding process of the picture B12 is performed.
以上のように、本発明の動画像符号化方法は、直接モードで符号化を行う際に利用する動きベクトルについて、どれだけ(例えば何ピクチャ分)の動きベクトルを記憶すべきかに対して制限を設ける。 As described above, the moving picture coding method of the present invention, the motion vector to be used when encoding is performed in direct mode, a limit on how much (e.g. what picture content) should be stored motion vectors provided. そして、その制限を加えていることを示す情報(請求の範囲でいう制限情報および保存情報)を符号列のヘッダ情報として記述する。 Then, describing information indicating that the addition of the limit (restriction information and storage information referred to in the claims) as header information code sequence. また、直接モードで符号化を行う際に、利用すべき動きベクトルがメモリ上に存在する場合には、その動きベクトルを利用する。 Further, when coding in direct mode, motion vectors to be utilized when present on memory utilizes the motion vector. 一方、利用すべき動きベクトルがメモリ上に存在しない場合には、対象ブロックの動きベクトルを「0」として符号化するか、または同一ピクチャ内において符号化対象ブロックの周辺にある符号化済みブロックを符号化する際に用いた動きベクトルを利用して符号化を行う。 On the other hand, if the motion vector to be used does not exist on memory, or encodes the motion vector of the target block as "0", or the encoded block in the vicinity of the encoding target block in the same picture encoding is performed using the motion vectors used in encoding.
【0072】 [0072]
このような動作により、直接モードのために記憶しておくべき動きベクトルの記憶量を削減することができ、ハードウェアやソフトウェアにおけるメモリ量の削減を行うことができる。 By such an operation, it is possible to reduce the storage amount of the motion vector that should be stored for direct mode, it is possible to reduce the amount of memory in the hardware or software. さらに、直接モードにおいて利用すべき動きベクトルがない場合であっても、代替的な方法により直接モードを実施することができる。 Furthermore, even if there is no motion vector to be used in the direct mode, it is possible to implement the direct mode by an alternative method. また本発明は、上記で説明したように、第2参照インデックスが「0」となるピクチャに関わらず実施することができるため、第2参照インデックスが「0」となるピクチャの設定方法を新たに定義する必要がなく、設計上の煩雑さを招くことを防ぐことができる。 The present invention, as described above, since the second reference index can be carried out regardless of the picture becomes "0", new a method of setting the picture of the second reference index is "0" it is not necessary to define, it is possible to prevent the lead to complexity in design.
【0073】 [0073]
なお、本実施の形態においては、マクロブロックは水平16画素×垂直16画素の単位で、動き補償は8画素×8画素のブロック単位で、ブロック予測残差画像の符号化は水平8画素×垂直8画素の単位で処理する場合について説明したが、これらの単位は別の画素数でも良い。 In this embodiment, the macroblock in units of horizontal 16 pixels × vertical 16 pixels, in blocks of motion compensation 8 pixels × 8 pixels, the coding of the block prediction residual image horizontal 8 pixels × vertical has been described for processing in units of 8 pixels, these units may be another number of pixels.
【0074】 [0074]
また、本実施の形態においては、図6を用いた説明において、符号化済みの3つの周辺ブロックの動きベクトルを用い、直接モードにおいて用いる動きベクトルを決定する方法について説明したが、この周辺ブロック数、予測値の決定方法、は他の値や他の方法であっても良い。 Further, in the present embodiment, in the description using FIG. 6, using the motion vectors of the three neighboring blocks of encoded has been described a method for determining a motion vector used in the direct mode, the number of the peripheral blocks method of determining the predicted value may be other values ​​or other methods. 例えば、左隣のブロックの動きベクトルを予測値として用いる方法、等がある。 For example, a method using a motion vector of a block adjacent on the left as the predicted value, and the like.
【0075】 [0075]
また、本実施の形態においては、Pピクチャは、表示順で前方にある近傍3枚のIピクチャまたはPピクチャを参照ピクチャとし、Bピクチャは表示順で前方にある近傍3枚のIピクチャまたはPピクチャを前方参照ピクチャ、表示順で後方にある近傍1枚のIピクチャまたはPピクチャを後方参照ピクチャとして用いる場合について説明したが、これらの参照ピクチャ数は異なる値であっても良い。 Further, in the present embodiment, P picture, a reference picture to the I picture or P picture of the three neighboring in front in display order, B pictures of three neighboring in front in display order the I-picture or P picture a forward reference picture, has been described the case of using the I-picture or P-picture of one neighborhood behind in display order as a backward reference picture, these reference picture number may be different values.
【0076】 [0076]
また、本実施の形態においては、Bピクチャを参照ピクチャとしては用いない場合について説明したが、これはBピクチャを参照ピクチャとして用いた場合であっても良い。 Further, in the present embodiment, the case has been described where the not used as B-picture and the reference picture, which may be a case where a B-picture as a reference picture. Bピクチャを参照ピクチャとして用いる場合、Bピクチャを局所復号化した後のピクチャを参照ピクチャとしてフレームメモリ107に保存する必要があるため、符号化制御部110によるスイッチ114、スイッチ115の制御は本実施の形態におけるPピクチャの符号化の場合と同じとなる。 When using a B picture as a reference picture, it is necessary to store the picture after local decoding the B-picture in the frame memory 107 as a reference picture, the switch 114 by the encoding control unit 110, control of the switch 115 is present the same as for coding of P pictures in the form. また、Bピクチャが参照ピクチャとして用いられる場合であっても、Bピクチャが他のピクチャに対して第2参照インデックスが「0」のピクチャとなることがない場合、Bピクチャを符号化した際の動きベクトルを動きベクトル記憶部116に格納しなくても良い。 Further, even if the B-picture is used as a reference picture, when B-picture is the second reference index to the other picture does not become a picture of "0", the B pictures when encoding it may not be stored in the vector storage unit 116 the motion motion vector. これは、Bピクチャが第2参照インデックス「0」のピクチャとなることがない場合、第2参照インデックスが「0」となるピクチャはIピクチャまたはPピクチャのみとなるからである。 This is because, when a B-picture does not become a picture of the second reference index "0", the picture in which the second reference index is "0" because the only I-pictures or P-pictures. したがってこのような場合、IピクチャまたはPピクチャを符号化する際に用いた動きベクトルのみを動きベクトル記憶部116に格納すればよい。 Therefore such cases, may be stored in the motion vector only the motion vector storage unit 116 used when encoding an I-picture or P-picture. これにより、直接モードにおいて、符号化対象ピクチャに対して第2参照インデックスが「0」となるピクチャを符号化した際に用いた動きベクトルを利用することができ、符号化効率の向上を図ることができる。 Thus, in the direct mode, a picture in which the second reference index picture to be coded is "0" can use the motion vectors used at the time of the coding, possible to improve the coding efficiency can. ここで、Bピクチャを符号化する際に用いた動きベクトルを動きベクトル記憶部116に格納するかどうかは、符号化装置側と復号化装置側で予め決定しておくこともできるし、符号化装置側で決定し、その情報を符号列中のヘッダ部に記述しておくこともできる。 Here, whether to store the B picture in the motion vector the motion vector storage unit 116 used when encoding, can either be pre-determined by the coding apparatus and the decoding apparatus side, encoding determined on the device side, it is also possible to keep describing the information in the header portion in the code sequence. 符号化装置側で決定する場合には、符号化制御部110で決定を行い、その情報を符号列生成部104でヘッダ中に記述すればよい。 In determining the coding apparatus side performs decision by the coding control unit 110, it may be written to the information in the header code string generation unit 104.
【0077】 [0077]
また、ピクチャを符号化する際に用いた動きベクトルを動きベクトル記憶部116に格納するかどうかを、符号化装置側と復号化装置側で予め決定し、その情報を符号列生成部104でヘッダ中に記述しなくてもいいようにしてもよい。 Also, whether stored in vector storage unit 116 the motion the motion vectors used in encoding the picture, previously determined by the coding apparatus and the decoding apparatus side, the header and the information in the code string generation unit 104 it may be good without having to write in.
また、本実施の形態においては、直接モード用に記憶しておく動きベクトルを、符号化順で直前に符号化された1つの参照ピクチャを符号化する際に用いた動きベクトルを記憶しておく場合について説明したが、これとは異なる参照ピクチャ数の動きベクトルを記憶しておいても良い。 Further, in the present embodiment, stores the motion vector storing for direct mode, the motion vectors used in encoding the one reference picture coded immediately before in coding order has been described, it may be stored motion vectors of the number of different reference picture from this.
【0078】 [0078]
また、動きベクトルのうち、記憶すべきものと記憶しないものとを直接復号化装置に対して指定してもよい。 Also, among the motion vectors, may be specified as not to store shall be stored directly to decoder. これは例えば、動きベクトルの記憶の有無を指定されるピクチャのヘッダ中や、他のピクチャのヘッダ中において、動きベクトルの記憶の有無を指定されるピクチャのピクチャ番号等を指定することにより、どのピクチャの動きベクトルが記憶され、どのピクチャの動きベクトルが記憶されていないかを、復号化装置に指示することができる。 This example, and in the header of the picture to be specified whether the storage of the motion vector, in a header of the other pictures, by specifying a picture number of the picture to be specified whether the storage of motion vectors, which motion vector of the picture is stored, whether the motion vector of which picture is not stored, it is possible to instruct the decoding device. 例えば、ピクチャB11の符号化の際に、第2参照インデックスが「0」である参照ピクチャがピクチャP10となることがわかっている場合、ピクチャP10の動きベクトルは記憶し、ピクチャP13の動きベクトルは記憶しないように指示する。 For example, during encoding of the picture B11, when the reference picture second reference index is "0" is found to be a picture P10, the motion vector of the picture P10 is stored, the motion vector of the picture P13 is They are instructed not to store. これにより、ピクチャB11の符号化の際には、ピクチャP10(第2参照インデックスが「0」である参照ピクチャ)の動きベクトルが動きベクトル記憶部116に保存されていることになり、直接モードにおいて、第2参照インデックスが「0」である参照ピクチャの動きベクトルを利用することができる。 Thus, during encoding of the picture B11 is made that the motion vector of the picture P10 (reference picture second reference index is "0") is stored in the vector storage unit 116 the motion, in the direct mode can the second reference index to use the motion vector of the reference picture is "0". ここで、どの動きベクトルを保持しておくかを指定する情報は、符号列中のヘッダ情報として記述すればよい。 Here, information specifying whether holds any motion vector may be written as header information in the code string. 一例としては、ピクチャ毎に動きベクトルを保存するかどうかを示す情報(例えば、「0」または「1」)を符号列中のヘッダの中に記述しておく。 As an example, it has been written in the information indicating whether to store a motion vector for each picture (for example, "0" or "1") to the inside of the header in the code sequence. 別の例としては、動きベクトルを保存する期間を示す情報(例えば、保存しなければ「0」、所定のピクチャにおいて3ピクチャ後のピクチャで新たに保存しなおすのであれば所定のピクチャの付随情報として「3」)を記述しておく。 As another example, information indicating a period for storing the motion vector (for example, to be stored "0", the accompanying information of the newly if the re-stored predetermined picture in picture after three pictures in a given picture It has been written in the "3") as a. このような方法を用いることにより、より柔軟な動きベクトルの記憶管理を行うことが可能となり、また符号化効率の向上を図ることができる。 By using such a method, it is possible to perform storage management more flexible motion vector, also it is possible to improve the coding efficiency.
【0079】 [0079]
(実施の形態2) (Embodiment 2)
以下では、本発明の第2の実施の形態の動画像復号化装置700について、図7を用いて説明する。 Hereinafter, the moving picture decoding apparatus 700 of the second embodiment of the present invention will be described with reference to FIG. 図7は、実施の形態2の動画像復号化装置700の構成を示すブロック図である。 Figure 7 is a block diagram showing a configuration of a moving picture decoding apparatus 700 according to the second embodiment. 動画像復号化装置700は、符号列中のヘッダ情報に記述されている動きベクトルの格納方法にしたがって、参照ピクチャの動きベクトルをメモリに格納し、復号化対象ピクチャの復号化を行う動画像復号化装置であって、符号列解析部701、予測残差復号化部702、モード復号部703、動き補償復号部705、動きベクトル記憶部706、フレームメモリ707、加算演算部708、スイッチ709およびスイッチ710を有する。 Moving picture decoding apparatus 700 according to the storage method of the motion vector is described in the header information in the code string, and stores the motion vector of the reference picture in the memory, moving picture decoding that performs decoding of the decoding target picture a apparatus, bit stream analysis unit 701, the prediction residual decoding unit 702, the mode decoding unit 703, the motion compensation decoding unit 705, the motion vector storage unit 706, a frame memory 707, addition unit 708, switches 709 and with a 710.
【0080】 [0080]
図8(a)は、符号列中に含まれるピクチャの順序を示すである。 FIG. 8 (a) is shown a sequence of pictures included in the code sequence. 図8(b)は、図8(a)に示したピクチャの並びを復号化順に並べ替えた場合のピクチャの順序を示す図である。 8 (b) is a diagram showing the order of pictures in the case of rearranged in decoding order a sequence of pictures of FIG. 8 (a). 動画像復号化装置700に入力される符号列中のピクチャの順序は、図8(a)に示す通りであるとする。 Order of the pictures in the code sequence input to the moving picture decoding apparatus 700 is assumed to be as shown in FIG. 8 (a). ここで、Pピクチャは、表示順で前方にある近傍3枚のIピクチャまたはPピクチャを参照ピクチャとし、Bピクチャは表示順で前方にある近傍3枚のIピクチャまたはPピクチャと、表示順で後方にある近傍1枚のIピクチャまたはPピクチャとを参照ピクチャとして用いて、符号化されているものとする。 Here, P picture, and the I-picture or P-picture of the three neighboring in front in display order as reference pictures, B-pictures and I-pictures or P-pictures of the three neighboring in front in display order, the display order by using the I-picture or P-picture of one neighborhood at the back as a reference picture, it is assumed to be encoded. 以下では、Pピクチャ、Bピクチャの復号化処理の代表例として、ピクチャP13、ピクチャB11の復号化処理について順に説明する。 Hereinafter, as a representative example of P-picture, decoding of B picture processing, picture P13, described decoding of the picture B11 in the order. なお、本実施の形態における参照インデックスの管理は符号列解析部701において行うものとする。 The management of the reference index of the present embodiment will be made in the bit stream analysis unit 701.
【0081】 [0081]
<ピクチャP13の復号化処理> <Decoding of the picture P13>
動画像復号化装置700の入力である符号列は、まず符号列解析部701に入力される。 Code sequence is an input moving picture decoding apparatus 700 is first input to the bit stream analysis unit 701. 符号列解析部701では、入力された符号列から、各種データの抽出を行う。 In the bit stream analysis unit 701, from the inputted bit stream, and it extracts various types of data. ここで各種データとは、モード選択の情報や符号化された動きベクトルを表す動きベクトル情報等である。 Here, the various data, the motion vector information or the like representing the information and coded motion vector of the mode selection. 抽出されたモード選択の情報は、モード復号部703に対して出力される。 Information of the extracted mode selection is outputted to the mode decoding unit 703. また、抽出された動きベクトル情報は、動き補償復号部705に対して出力される。 The motion vector information extracted is output to the motion compensation decoding unit 705. さらに、予測残差符号化データは、予測残差復号化部702に対して出力される。 Furthermore, the prediction residual encoding data is output to the prediction residual decoding unit 702.
【0082】 [0082]
モード復号部703では、符号列から抽出されたモード選択の情報を参照し、スイッチ709とスイッチ710の制御を行う。 The mode decoding unit 703, refers to the information of the extracted mode selection from the bit stream, it controls the switch 709 and the switch 710. モード選択がピクチャ内符号化である場合には、スイッチ709は端子aに、スイッチ710は端子cに接続されるように制御する。 If the mode selection is coded in a picture, the switch 709 to the terminal a, the switch 710 is controlled so as to be connected to the terminal c. また、モード選択がピクチャ間予測符号化である場合には、スイッチ709は端子bに、スイッチ710は端子dに接続されるように制御する。 Further, when the mode selection is inter picture prediction coding, the switch 709 to the terminal b, the switch 710 is controlled so as to be connected to the terminal d.
【0083】 [0083]
またモード復号部703では、モード選択の情報を動き補償復号部705に対しても出力する。 In addition the mode decoding unit 703 also outputs the information of the mode selected for the motion compensation decoding unit 705. 以下では、モード選択がピクチャ間予測符号化である場合について説明する。 Hereinafter, the mode selection is described for the case where the inter picture prediction coding.
予測残差復号化部702では、入力された予測残差符号化データの復号化を行い、予測残差画像を生成する。 The prediction residual decoding unit 702 performs decoding of the inputted predictive residual coding data to generate prediction residual image. 生成された予測残差画像は、スイッチ709に対して出力される。 The generated prediction residual image is output to the switch 709. ここでは、スイッチ709は端子bに接続されているので、予測残差画像は加算演算部708に対して出力される。 Here, the switch 709 because it is connected to the terminal b, the prediction residual image is outputted to the addition unit 708.
【0084】 [0084]
動き補償復号部705は、符号列解析部701から入力された、符号化された動きベクトルである動きベクトル情報に対して、復号化処理を行う。 Motion compensation decoding unit 705, is inputted from the bit stream analysis unit 701, with respect to motion vector information is a motion vector encoded, it performs a decoding process. そして、復号化された参照ピクチャ番号と動きベクトルとに基づいて、フレームメモリ707から動き補償画像(ブロック)を取得する。 Then, based on the decoded reference picture numbers and motion vectors, to obtain a motion compensation image (block) from the frame memory 707. このようにして生成された動き補償画像は加算演算部708に対して出力される。 Thus the motion compensation image generated is outputted to the addition unit 708.
【0085】 [0085]
また、動き補償復号部705では、他のピクチャの復号化時に参照ピクチャとして用いられるピクチャの復号化を行う場合には、動きベクトルを動きベクトル記憶部706に格納する。 Also, the motion compensation decoding unit 705, when performing the decoding of the picture used as a reference picture when decoding another picture, stored in the vector storage unit 706 the motion motion vector. ここでは、Pピクチャが参照ピクチャとして用いられるので、ピクチャP13を復号化する際に得られた動きベクトルは、動きベクトル記憶部706に格納される。 Here, since P pictures are used as reference pictures, the motion vector obtained in decoding the picture P13 is stored in the motion vector storage unit 706. ただし、動きベクトル記憶部706への動きベクトルの記憶は、符号列のヘッダ情報により制御される。 However, the storage of the motion vector to the motion vector storage unit 706 is controlled by the header information of the code sequence.
【0086】 [0086]
さて、動きベクトル記憶部706の動作について説明する。 Now, the operation of the motion vector storage unit 706. 動きベクトル記憶部706に格納される動きベクトル数は、符号列のヘッダ中に記述されている。 Number of motion vectors stored in the motion vector storage unit 706 is described in the header of the code stream. このヘッダ情報は、符号列解析部701で抽出されて、動き補償復号部705に対して出力される。 The header information is extracted by the bit stream analysis unit 701, it is outputted to the motion compensation decoding unit 705. ここでは1ピクチャのみの動きベクトルを格納するとヘッダ中に記述されているとする。 Here is assumed to be described in the header when storing motion vectors in only one picture. この場合、格納する動きベクトルの量としては、符号化順で最近に復号化した参照ピクチャの動きベクトルを格納する方法がある。 In this case, the amount of motion vectors to be stored, there is a method of storing motion vectors of the reference picture that is recently decoded in coding order. ここで、すでに動きベクトル記憶部706に記憶されている動きベクトルは、現ピクチャの復号化の開始時に消去しても良いし、ブロックを復号化して動きベクトルが得られる度に、動きベクトルを順に上書きしても良い。 Here, a motion vector is already stored in the motion vector storage unit 706 may be erased at the start of the decoding of the current picture, each time a motion vector is obtained by decoding the block, in turn the motion vector it may be overwritten.
【0087】 [0087]
加算演算部708では、入力された予測残差画像と動き補償画像とを加算し、復号化画像を生成する。 The addition unit 708 adds the predictive residual image is input and the motion compensation image to generate a decoded image. 生成された復号化画像はスイッチ710を介してフレームメモリ707に対して出力される。 The generated decoded image is output to the frame memory 707 via the switch 710.
以上のようにして、ピクチャP13のマクロブロックが順に復号化される。 As described above, the macroblocks of the picture P13 are decoded in sequence. ピクチャP16のマクロブロックがすべて復号化されると、ピクチャB11の復号化が行われる。 When the macro block of the picture P16 is all decoded, decoding of the picture B11 is performed.
【0088】 [0088]
<ピクチャB11の復号化処理> <Decoding of picture B11>
符号列解析部701とモード復号部703、予測残差復号化部702の動作は、ピクチャP16の復号化処理の際と同様であるので、説明は省略する。 The bit stream analysis unit 701 and the mode decoding unit 703, the operation of the prediction residual decoding unit 702 is the same as the time of decoding the picture P16, description will be omitted.
動き補償復号部705は、符号列解析部701から入力された、符号化された動きベクトルに対して、復号化処理を行う。 Motion compensation decoding unit 705, is inputted from the bit stream analysis unit 701, the coded motion vector, performs a decoding process. そして、復号化された動きベクトルに基づいて、フレームメモリ707から動き補償画像(ブロック)を取得する。 Then, based on the motion vector decoded to obtain a motion compensation image (block) from the frame memory 707.
【0089】 [0089]
ここでは、モード復号部703で得られた符号化モードが、直接モードである場合について説明する。 Here, the coding mode obtained in the mode decoding unit 703, will be described a direct mode. 図4は、ピクチャP10からP13までの各ピクチャを時間順に並べた図であり、復号化対象ブロックがブロックaであるとする。 Figure 4 is a diagram time-sequenced each picture from the picture P10 to P13, the decoding target block and a block a. ブロックaを直接モードで復号化する場合には、第2参照インデックスが「0」である参照ピクチャ中の、ブロックaと同じ位置にあるブロックの動きベクトルを利用する。 When decoding block a direct mode, in the reference picture second reference index is "0", using the motion vector of the block in the same position as the block a.
【0090】 [0090]
まず、第2参照インデックスが「0」の参照ピクチャが、ピクチャP13である場合について説明する。 First, second reference index is a reference picture of "0", will be described a picture P13. 上記ピクチャB13の復号化処理で示したように、ここでは1ピクチャのみの動きベクトルを格納するとヘッダ中に記述されており、参照ピクチャのうち復号化順で直前に復号化された参照ピクチャの動きベクトルが記憶されている。 As shown in the decoding of the picture B13, here is described in the header when storing motion vectors of only one picture, the motion of the reference picture decoded immediately before in the decoding order of reference pictures vector is stored. また、ピクチャP13は、復号化順でピクチャB11に最も近く復号化された参照ピクチャであるので、ピクチャP13の各ブロックを復号化した際の動きベクトルは、動きベクトル記憶部706に保持されている。 Also, the picture P13 is, since the reference picture that is closest decoded picture B11 in the decoding order, a motion vector when decoding the blocks of the picture P13 is held in the motion vector storage unit 706 . よって、ブロックaを直接モードで復号化する際には、ピクチャP13のブロックbの動きベクトルを利用することになる。 Accordingly, when decoded in direct mode block a would utilize a motion vector of the block b in the picture P13. 動きベクトルcは、ブロックbが符号化された際に用いられた動きベクトルであり、動きベクトル記憶部706に記憶されている。 Motion vector c is a motion vector used in block b has been coded, stored in the motion vector storage unit 706. この動きベクトルcは、ピクチャP10を参照している。 The motion vector c is in reference to the picture P10. ブロックaは、動きベクトルcから生成した動きベクトルを用いて、参照ピクチャであるピクチャP10とピクチャP13とから2方向予測が行われる。 Block a, using the motion vectors generated from the motion vector c, from the picture P10 and the picture P13 Metropolitan is a reference picture bidirectional prediction is performed. この場合のブロックaを符号化する際に用いる動きベクトルは、ピクチャP10に対しては動きベクトルd、ピクチャP13に対しては動きベクトルeとなる。 Motion vector using a block a in this case when encoding is a motion vector e for the motion vector d, picture P13 for picture P10.
【0091】 [0091]
ここで、動きベクトルcからブロックaの動きベクトルを生成する第1の方法としては、ピクチャ間の時間的距離を用いてスケーリングを施す方法がある。 Here, as the first method for generating a motion vector of the block a from the motion vector c, there is a method of applying a scaling using time distance between pictures. 今、前方向動きベクトルである動きベクトルdの大きさをMVF、後方向動きベクトルである動きベクトルeの大きさをMVB、動きベクトルcの大きさをMVP、現在のピクチャ(ピクチャB11)の第2参照インデックスが「0」である参照ピクチャ(ピクチャP13)と、その第2参照インデックスが「0」である参照ピクチャのブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRD、現在のピクチャ(ピクチャB11)と第2参照インデックスが「0」である参照ピクチャのブロックが参照しているピクチャ(ピクチャP10)との時間的距離をTRBとすると、動きベクトルMVF、動きベクトルMVBは、それぞれ(数式1)、(数式2)で求められる。 Now, MVF the magnitude of the motion vector d is a forward motion vector, MVB the magnitude of the motion vector e are backward motion vectors, MVP the magnitude of the motion vector c, the current picture (picture B11) a reference picture 2 reference index is "0" (picture P13), the temporal distance between the picture (picture P10) for the second reference index refer block of the reference picture is "0" TRD, current picture (the picture B11) when the second reference index and TRB temporal distance between pictures that reference block of the reference picture is "0" (picture P10), motion vectors MVF, the motion vector MVB is , respectively (equation 1), obtained by (equation 2).
【0092】 [0092]
また、動きベクトルcからブロックaの動きベクトルを生成する第2の方法としては、予め定めたスケーリング係数を用いて、動きベクトルcに対してスケーリングを行う方法がある。 As the second method of generating a motion vector of the block a from the motion vector c, using the scaling coefficients determined in advance, there is a method for scaling against motion vector c. ここで使用されるスケーリング係数は、複数ブロック単位または複数ピクチャ単位で、変更可能としても良い。 Scaling factor, as used herein, multiple block or picture basis, may be changed. また、このスケーリング係数は、システムで一意に決定し、符号化側と復号化側とで共有しても良いし、符号列中にヘッダ情報として記述されているものを符号列解析部701で抽出することにより使用しても良い。 Also, the scaling factor is uniquely determined by the system, it may be shared by the encoding side and the decoding side, extracted what is described as header information in the code string in the bit stream analysis unit 701 it may be used by.
【0093】 [0093]
次に、第2参照インデックスが「0」の参照ピクチャが、ピクチャP13以外の参照ピクチャである場合について説明する。 Next, the second reference index reference picture "0", will be described a reference picture other than the picture P13. 例えば、ピクチャP10、P7、P4のいずれかが、第2参照インデックスが「0」の参照ピクチャである場合が考えられる。 For example, any of the pictures P10, P7, P4 is, when the second reference index is a reference picture of "0" can be considered. ピクチャP13以外の参照ピクチャは、復号化順序でピクチャB11に最も近く復号化された参照ピクチャではないので(動きベクトル記憶部116に記憶されている動きベクトルがどのピクチャのものであるか、さらに第2参照インデックスが「0」のピクチャがどのピクチャのものであるかをそれぞれピクチャ番号で得て、得られたピクチャ番号をそれぞれ比較することによって判断する)、それらのピクチャの各ブロックを復号化した際の動きベクトルは、動きベクトル記憶部706に保持されていない。 Or the reference picture other than the picture P13 is one because it is not a nearest decoded reference picture in the picture B11 (Which picture motion vectors stored in the motion vector storage unit 116 in decoding order, yet a 2 reference index is obtained at each picture number or picture is of which picture is "0", it is determined by comparing each resulting picture number), and decode each block of those picture the motion vector of the case, not held in the motion vector storage unit 706. よって、ブロックaを直接モードで符号化する際には、第2参照インデックスが「0」の参照ピクチャの動きベクトルを利用することができない。 Therefore, when coding in direct mode blocks a can not second reference index to use the motion vector of the reference picture "0".
【0094】 [0094]
この場合における、直接モードの処理の第1の方法としては、動きベクトルを0として2方向予測する方法がある。 In this case, as the first method of processing of the direct mode, there is a method for 2 forward prediction motion vector as a zero. この場合の参照ピクチャは、例えば、第1参照インデックスが「0」であるピクチャと、第2参照インデックスが「0」であるピクチャとを用いることができる。 Reference picture in this case is, for example, a picture first reference index is "0", the second reference index can be used and the picture is "0". 例えば、参照インデックスが「0」であるピクチャがピクチャP7であり、第2参照インデックスが「0」であるピクチャがピクチャP10である場合、図5のようにブロックaに対して2方向予測を行うことができる。 For example, picture reference indices is "0" is picture P7, when the picture second reference index is "0" is picture P10, performs bidirectional prediction for a block a as shown in FIG. 5 be able to.
【0095】 [0095]
また、直接モードの処理の第2の方法としては、同一ピクチャ内の周辺ブロックの動きベクトルを利用する方法がある。 As the second method of processing of the direct mode, there is a method of utilizing the motion vectors of the neighboring blocks in the same picture. この場合、例えば図6に示すように、ブロックBLを直接モードで復号化する場合には、3つの周辺ブロックBL1、BL2、BL3を復号化する際に用いた動きベクトルを利用して、ブロックBLを復号化する際に用いる動きベクトルを決定する方法が考えられる。 In this case, for example, as shown in FIG. 6, when decoded in direct mode block BL, using the motion vectors used during the decoding of the three neighboring blocks BL1, BL2, BL3, the block BL method for determining a motion vector to be used in decoding is considered. ここでの復号化に用いる動きベクトルの決定方法としては、例えば前方向動きベクトル、後方向動きベクトル毎に3つの周辺ブロックの動きベクトルの中央値や平均値を求める方法、等が考えられる。 The method for determining the motion vectors used for decoding here, for example, forward motion vector, a method for determining the median or average of the motion vectors of three neighboring blocks for each backward motion vector, etc. can be considered. また、この場合の周辺ブロックの動きベクトルは、動き補償部705により、動きベクトル記憶部706に記憶されているとする。 The motion vector of a neighboring block in this case, the motion compensation unit 705, and stored in the motion vector storage unit 706.
【0096】 [0096]
このようにして生成された動き補償画像は加算演算部708に対して出力される。 Thus the motion compensation image generated is outputted to the addition unit 708.
加算演算部708では、入力された予測残差画像と動き補償画像とを加算し、復号化画像を生成する。 The addition unit 708 adds the predictive residual image is input and the motion compensation image to generate a decoded image. 生成された復号化画像はスイッチ710を介してフレームメモリ707に対して出力される。 The generated decoded image is output to the frame memory 707 via the switch 710.
【0097】 [0097]
以上のようにして、ピクチャB11のマクロブロックが順に復号化される。 As described above, the macroblocks of the picture B11 is decoded in sequence. ピクチャB11のマクロブロックがすべて復号化されると、ピクチャB12の復号化が行われる。 When the macro block of the picture B11 are all decoded, decoding of the picture B12 is performed. また、復号化されたピクチャは図8(b)に示すように、順次出力画像としてフレームメモリ707から出力される。 Further, it decoded picture as shown in FIG. 8 (b), is output from the frame memory 707 sequentially as the output image.
【0098】 [0098]
以上のように、本発明の動画像復号化方法は、直接モードで符号化を行う際に利用する動きベクトルについて、どれだけ(例えば何ピクチャ分)の動きベクトルを記憶すべきかに対して制限を設けて符号化が行われた符号列を入力とし、その符号列を復号化する。 As described above, the moving picture decoding method of the present invention, the motion vector to be used when encoding is performed in direct mode, a limit on how much (e.g. what picture content) should be stored motion vectors provided as input the code sequence performed encoded, decodes the code string. そしてその復号化の際には、制限を加えていることを示す情報を符号列のヘッダ情報から抽出し、抽出された情報に基づいて復号化を行う。 And when the decoding information indicating that places restrictions extracted from the header information of the code sequence, performs decoding based on the extracted information. また、直接モードで復号化を行う際に、利用すべき動きベクトルがメモリ上に存在する場合には、その動きベクトルを利用し、メモリ上に存在しない場合には、動きベクトルを0として復号化するか、同一ピクチャ内の周辺ブロックを復号化する際に用いた動きベクトルを利用して復号化を行う。 Further, when performing decoding in direct mode, when the motion vector to be utilized when present on memory, which uses the motion vectors, not on the memory, decodes the motion vector 0 either, by using the motion vectors used in decoding the neighboring block in the same picture and decrypts.
【0099】 [0099]
このような動作により、直接モードで符号化を行う際に利用する動きベクトルについて制限を設けて符号化が行われた符号列を正しく復号化することができ、また直接モードのために記憶すべき動きベクトルの記憶量を削減することができ、ハードウェアやソフトウェアにおけるメモリ量の削減を行うことができる。 By this operation, the direct mode utilizes when coding a limit on motion vectors can be correctly decode the code sequence encoding has been performed, the addition should be stored for direct mode it is possible to reduce the storage amount of the motion vector, it is possible to reduce the amount of memory in the hardware or software. さらに、直接モードにおいて利用すべき動きベクトルがない場合であっても、代替的な方法により直接モードを実施することができる。 Furthermore, even if there is no motion vector to be used in the direct mode, it is possible to implement the direct mode by an alternative method. また本発明は、上記で説明したように、第2参照インデックスが「0」となるピクチャに関わらず実施することができるため、第2参照インデックスが「0」となるピクチャの設定方法を新たに定義する必要がなく、設計上の煩雑さを招くことを防ぐことができる。 The present invention, as described above, since the second reference index can be carried out regardless of the picture becomes "0", new a method of setting the picture of the second reference index is "0" it is not necessary to define, it is possible to prevent the lead to complexity in design.
【0100】 [0100]
なお、本実施の形態においては、図6を用いた説明において、復号化済みの3つの周辺ブロックの動きベクトルを用い、直接モードにおいて用いる動きベクトルを決定する方法について説明したが、この周辺ブロック数、予測値の決定方法、は他の値や他の方法であっても良い。 In this embodiment, the description with reference to FIG. 6, using the motion vectors of the three neighboring blocks already decoded has been described a method for determining a motion vector used in the direct mode, the number of the peripheral blocks method of determining the predicted value may be other values ​​or other methods. 例えば、左隣のブロックの動きベクトルを予測値として用いる方法、等がある。 For example, a method using a motion vector of a block adjacent on the left as the predicted value, and the like.
【0101】 [0101]
また、本実施の形態においては、Pピクチャは、表示順で前方にある近傍3枚のIピクチャまたはPピクチャを参照ピクチャとし、Bピクチャは表示順で前方にある近傍3枚のIピクチャまたはPピクチャを前方参照ピクチャ、表示順で後方にある近傍1枚のIピクチャまたはPピクチャを後方参照ピクチャとして用いる場合について説明したが、これらの参照ピクチャ数は異なる値であっても良い。 Further, in the present embodiment, P picture, a reference picture to the I picture or P picture of the three neighboring in front in display order, B pictures of three neighboring in front in display order the I-picture or P picture a forward reference picture, has been described the case of using the I-picture or P-picture of one neighborhood behind in display order as a backward reference picture, these reference picture number may be different values. また、Bピクチャを参照ピクチャとして用いていても良い。 Further, it may be used B-picture as a reference picture.
【0102】 [0102]
また、本実施の形態においては、Bピクチャを参照ピクチャとしては用いない場合について説明したが、これはBピクチャを参照ピクチャとして用いた場合であっても良い。 Further, in the present embodiment, the case has been described where the not used as B-picture and the reference picture, which may be a case where a B-picture as a reference picture. Bピクチャを参照ピクチャとして用いる場合、Bピクチャを復号化した後のピクチャを参照ピクチャとしてフレームメモリ707に保存する。 When using a B-picture as a reference picture and stores the picture after decoding the B-picture in the frame memory 707 as reference pictures. また、Bピクチャが参照ピクチャとして用いられる場合であっても、Bピクチャを復号化した際の動きベクトルは動きベクトル記憶部706には記憶しなくても良い。 Further, even if the B-picture is used as a reference picture, the motion vector when decoding the B-picture may not be stored in the motion vector storage unit 706. Bピクチャを復号化する際に用いた動きベクトルを動きベクトル記憶部706に格納するかどうかは、符号化装置側と復号化装置側で予め決定しておくこともできるし、符号化装置側で決定され、符号列中のヘッダ部に記述された情報を抽出することにより判断することもできる。 Whether or not to store the vector storage unit 706 the motion the motion vectors used in decoding the B-picture, can either be pre-determined by the coding apparatus and the decoding apparatus side, the encoding apparatus side is determined, it may be determined by extracting the information described in the header portion in the code sequence.
【0103】 [0103]
また、本実施の形態においては、直接モード用に格納する動きベクトルを、復号化順で直前に復号化された1つの参照ピクチャを復号化する際に用いた動きベクトルを格納する場合について説明したが、これは異なる参照ピクチャ数の動きベクトルを記憶しても良い。 Further, in the present embodiment, a motion vector to be stored for direct mode has been described for the case of storing the motion vector used in decoding the one reference picture decoded immediately before in the decoding order but which may store the motion vector of the number of different reference pictures.
【0104】 [0104]
また、動きベクトルのうち、記憶すべきものと記憶しないものとが直接指定されていてもよい。 Also, among the motion vectors, and those that do not store shall be stored may be specified directly. これは例えば、記憶の有無を指定されるピクチャのヘッダ中や、他のピクチャのヘッダ中で記憶の有無を指定されるピクチャのピクチャ番号等を指定することによりどのピクチャの動きベクトルを記憶し、どのピクチャの動きベクトルを記憶しないかがヘッダ中に指示されているとする。 This example, and in the header of the picture to be specified whether the memory stores a motion vector of which picture by specifying a picture number of the picture to be specified whether the storage in the header of the other pictures, which picture do not store the motion vector of a is indicated in the header. したがって、これらの指示情報は、符号列中のヘッダ情報から抽出すればよい。 Therefore, these instructions information may be extracted from the header information in the code string. 今、ピクチャP10の動きベクトルは記憶し、ピクチャP13の動きベクトルは記憶しないように指定されている場合、ピクチャB11の復号化の時点では、動きベクトル記憶部706には、ピクチャP10の動きベクトルが記憶されていることになる。 Now, the motion vector of the picture P10 is stored, when the motion vector of the picture P13 is designated not to store, at the time of decoding of the picture B11, the motion vector storage unit 706, a motion vector of the picture P10 is It will be stored. ここで、ピクチャB11の復号化において、第2参照インデックスが「0」である参照ピクチャがピクチャP10であるとすると、直接モードにおいて、第2参照インデックスが「0」である参照ピクチャを復号化した際に用いた動きベクトルを利用することができる。 Here, the decoding of the picture B11, the reference picture second reference index is "0" when that the picture P10, in the direct mode, the decoded reference pictures second reference index is "0" it can utilize a motion vector used when. このような方法を用いることにより、より柔軟な動きベクトルの記憶管理を行うことが可能となる。 By using such a method, it is possible to perform storage management more flexible motion vector.
【0105】 [0105]
また、上記のように復号化対象ブロックを有するピクチャが参照する参照ピクチャのうちストリーム順で、つまり符号化装置において符号化順で直前に符号化されたPピクチャを復号化装置で復号化するときに用いた動きベクトルを格納する以外に、復号化対象ブロックを有するピクチャが参照する参照ピクチャのうち表示順で直前のPピクチャまたは表示順で前のPピクチャを復号化するときに用いた動きベクトルを格納するようにしてもよい。 Also, in stream order of the reference picture picture having a decoding target block as described above refers to, that is, when the decoding by the decoding apparatus P picture encoded immediately before the encoding order in the encoder motion vector in addition to storing the motion vector, which was used when decoding the previous P-picture in P picture or display order immediately before the display order of the reference picture picture having a decoding target block is reference by using the it may be stored. 復号化されたピクチャは順次出力画像としてフレームメモリ707から出力するが、その出力はフレームメモリ707に記憶されているピクチャが有する時刻をもとに表示時刻順に並び替えられた上での出力である。 Although decoded picture outputted from the frame memory 707 as a sequential output image, the output is a time having the picture stored in the frame memory 707 at the output of the on rearranged in the display order of time based on . また、それぞれのピクチャが有する時刻は、例えばピクチャをパケット等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとオーディオストリームとを多重化するためのフォーマット中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。 The time that each picture has, for example to a picture may be acquired from the time information that the system output for transmission on a transmission line such as a packet, or, for multiplexing the video and audio streams it may be obtained from the time information in the format, or may be acquired from the time information in the format of the video stream. また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。 Moreover, they even absolute time, as that the time for each picture may be either be a relative time of before and after seen in time between pictures.
【0106】 [0106]
このように復号化対象ブロックを有するピクチャが参照する参照ピクチャのうち表示順で直前のPピクチャまたは表示順で前のPピクチャを復号化するときに用いた動きベクトルを格納するようにし、復号化対象ブロックを有するピクチャに時間的に近い参照ピクチャを復号化するときに用いた動きベクトルを格納することにより、動き補償の精度を向上させる可能性をあげることができる。 So as to store the motion vectors used when decoding the previous P-picture in P picture or display order immediately before the display order of the reference picture picture having such current block refers, decoding by storing the motion vectors used when decoding the reference picture closest in time to the picture having the target block, it can be mentioned the possibility to improve the accuracy of motion compensation.
【0107】 [0107]
(実施の形態3) (Embodiment 3)
上記実施の形態1においては、動きベクトルの記憶量に関する情報を、符号列中のヘッダに記述する場合について説明したが、符号列中のヘッダに記述する場合に限らず、例えば、符号列中には含まれない管理情報中に記述するようにしてもよい。 In the first embodiment, the information relating to the storage amount of the motion vector has been explained when describing the header of the code stream is not limited to the case of described in a header in the code sequence, for example, in the code sequence may be described in the management information is not included. 以下では、図9〜図13を用いて、本発明の実施の形態3の動画像符号化装置および記録装置について説明する。 Hereinafter, with reference to FIGS. 9 to 13 will be described video encoding device and a recording apparatus of a third embodiment of the present invention. 図9は、記録媒体からのデータの再生を管理するための管理情報と、符号化されたAVデータとをDVDなどの記録媒体に記録する記録装置500の概略的構成を示すブロック図である。 Figure 9 is a block diagram showing a management information for managing reproduction of data from the recording medium, the schematic configuration of a recording apparatus 500 for recording the AV data encoded in a recording medium such as a DVD. 記録装置500は、音声を伴う映像データを符号化して記録媒体に記録する記録装置であって、ビデオ符号化部501、オーディオ符号化部502およびシステム符号化部503を備える。 Recording apparatus 500 includes a recording apparatus for recording encoded to a recording medium the video data with audio, video encoding unit 501, an audio encoding unit 502 and a system encoding section 503. ビデオ符号化部501は、入力された映像データを符号化する動画像符号化装置である。 Video encoder unit 501 is a moving picture encoding apparatus for encoding input video data. オーディオ符号化部502は、入力されたオーディオデータを符号化するオーディオ符号化装置である。 Audio encoding unit 502, an audio coding apparatus for coding an input audio data. システム符号化部503は、ビデオストリームとオーディオストリームとを多重化してAVストリームを生成し、記録媒体に記録する。 System encoding unit 503, a video stream and an audio stream to generate an AV stream by multiplexing, recorded on a recording medium. また、システム符号化部503は、AVストリームの記録後、図示しない入力部などからの入力に従って管理情報を生成し、生成された管理情報を記録媒体中のAVストリームが記録されている領域とは異なる領域に記録する。 The system encoding unit 503, after recording the AV stream, the region generates management information in accordance with an input from an input unit not shown, the generated management information AV stream in the recording medium are recorded It is recorded in the different areas.
【0108】 [0108]
以下では、上記のように構成された記録装置500の動作について説明する。 Hereinafter, the operation of the recording apparatus 500 constructed as described above. 記録装置500に入力された映像データは、ビデオ符号化部501に入力され、入力されたオーディオデータは、オーディオ符号化部502に出力される。 Video data input to the recording apparatus 500 is input to the video encoding unit 501, the audio data input is output to the audio coding unit 502. ビデオ符号化部501に入力された映像データと、オーディオ符号化部502に入力されたオーディオデータとは、ビデオ符号化部501とオーディオ符号化部502との間で同期を取りながら、リアルタイムで符号化される。 The video data input to the video encoding unit 501, has been the audio data input to the audio encoding unit 502, while synchronizing with the video encoding unit 501 and the audio encoding unit 502, code in real time It is of. ビデオ符号化部501によって生成された符号列は、ビデオストリームとしてシステム符号化部503に出力される。 Code string generated by the video encoding unit 501 is output as a video stream to the system encoding unit 503. オーディオ符号化部502によって符号化された符号列は、オーディオストリームとしてシステム符号化部503に出力される。 Code string encoded by the audio encoding unit 502 is output as the audio stream to the system encoding unit 503. システム符号化部503は、ビデオ符号化部501から入力されたビデオストリームと、オーディオ符号化部502から入力されたオーディオストリームとを多重化してAVストリームを生成し、生成されたAVストリームをリアルタイムで記録媒体に記録する。 System encoding unit 503, a video stream input from the video encoding unit 501, an audio stream input from the audio coding unit 502 multiplexes generates AV stream, the generated AV stream in real time recorded on a recording medium. 記録媒体へのAVストリームの記録が完了すると、システム符号化部503は、ビデオ符号化部501によって生成された制御コードをビデオ符号化部501から読み出し、読み出された制御コードを含む管理情報を生成し、生成された管理情報を、AVストリームが記録されている領域とは異なる記録媒体中の領域に記録する。 When the recording of the AV stream to the recording medium is completed, the system encoding unit 503 reads the control code generated by the video encoding unit 501 from the video encoding unit 501, the management information including the control code read generated, the generated management information is recorded in the area in the recording medium different from that of the area where AV stream is recorded. 図10は、図9に示したシステム符号化部503によって生成された管理情報とAV(Audio Video)ストリームとが記録されたDVDなどの記録媒体400の一例を示す図である。 Figure 10 is a diagram showing an example of a recording medium 400 such as a DVD in which the management information generated by the system encoding unit 503 and the AV (Audio Video) stream shown in FIG. 9 was recorded. 図10に示すように、記録媒体400には、同心円状にデータが記録され、管理情報401と、AVデータ402とがそれぞれ記録媒体400上の異なる領域に記録される。 As shown in FIG. 10, the recording medium 400, concentric data is recorded in a management information 401, and AV data 402 is recorded in different areas of the recording medium 400. 一般に、AVデータ402は記録媒体400の外周側の領域に記録され、管理情報401は記録媒体400の内周側の領域に記録される。 Generally, AV data 402 is recorded in the area of ​​the outer peripheral side of the recording medium 400, the management information 401 is recorded in the area on the inner circumferential side of the recording medium 400.
【0109】 [0109]
図11は、図9に示した記録装置500に備えられる動画像符号化装置900の構成を示すブロック図である。 Figure 11 is a block diagram showing the configuration of a video encoding apparatus 900 provided in the recording apparatus 500 shown in FIG. 動画像符号化装置900は、図9に示したビデオ符号化部501に相当する。 Moving picture coding apparatus 900 corresponds to the video encoding unit 501 shown in FIG. 動画像符号化装置900は、動きベクトル記憶部内に格納されるデータに制限が設けられていることを示す制御コード(請求の範囲でいう制御情報)を、前記符号列とは別のデータとして別のタイミングで出力する動画像符号化装置であって、フレームメモリ101、差分演算部102、予測残差符号化部103、予測残差復号化部105、加算演算部106、フレームメモリ107、動きベクトル検出部108、モード選択部109、スイッチ111〜115、動きベクトル記憶部116、符号列生成部904および符号化制御部910を備える。 Moving picture coding apparatus 900, another data to the control code indicating that the restriction is provided a (control information referred to in the claims), as a separate data from said code string stored in the motion vector storage portion a moving picture coding apparatus which outputs at the timing, the frame memory 101, difference calculation unit 102, the prediction residual coding unit 103, the prediction residual decoding unit 105, addition unit 106, a frame memory 107, motion vector comprising a detection unit 108, the mode selection unit 109, switches 111 to 115, the motion vector storage unit 116, the code string generating section 904 and encoding controller 910. 同図において、図1に示した動画像符号化装置100と同じ構成要素についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。 In the figure, since the already described denote the same components as the video encoding apparatus 100 shown in FIG. 1 are denoted by the same reference numerals and the description thereof will be omitted. ただし、ここでは、動きベクトル検出部108は、実施の形態1と異なり、Bピクチャを符号化する際に、表示順で符号化対象ピクチャの前方にある4枚のIピクチャまたはPピクチャおよび表示順で符号化対象ピクチャの後方にある1枚のIピクチャまたはPピクチャを参照ピクチャとして動きベクトルの探索を行う。 However, in this case, the motion vector detecting unit 108, unlike the first embodiment, when coding a B-picture, four I-pictures or P-pictures and display order in front of the encoding target picture in display order in to search for a motion vector of one I picture or P picture at the back of the encoding target picture as a reference picture. 符号列生成部904は、予測残差符号化部103からの量子化結果を可変長符号化した後、出力用の符号化ビットストリームのフォーマットに変換し、符号化された予測残差の関連情報を記述したヘッダ情報などの付加情報を付して符号列を生成する。 Code string generating section 904, after variable length encoding the quantized result from the prediction residual coding unit 103, converts the format of the encoded bit stream for output, related information of the encoded prediction residual It is given the additional information such as header information describing generating a code string. さらに、符号列生成部904は、符号化制御部910によって生成された制御コードを符号列に対応付けて保持し、その制御コードを符号列とは異なるタイミングで出力する。 Furthermore, the code string generating unit 904, a control code generated by the coding control unit 910 and held in association with the code sequence, and outputs at a timing different from the control code and the code sequence. 具体的には、外部(例えば、図9に示した記録装置500のシステム符号化部503など)からの出力指示に従って、制御コードを出力する。 Specifically, in accordance with an output instruction from an external (e.g., system encoding unit 503 of the recording device 500 shown in FIG. 9), and outputs a control code. 符号化制御部910には、オーディオ符号化部502と同期を取りながら、映像データとオーディオデータとをリアルタイムで符号化するために、同期を取るための制御信号が外部から入力される。 The coding control unit 910, while synchronizing the audio encoding unit 502, for encoding the video data and audio data in real time, the control signal for synchronization are input from the outside. 符号化制御部910は、符号化対象ピクチャに対して表示順で直後にある、すなわち、符号化対象ピクチャの直前に符号化された参照ピクチャの動きベクトルだけが動きベクトル記憶部116に格納されるようモード選択部109を制御し、メモリに保存されるデータに何らかの制限が加えられていることを示す制御コードを生成する。 Coding control unit 910, immediately following in display order with respect to the encoding target picture, i.e., only the motion vector of the reference picture that has been encoded immediately before the encoding target picture is stored in the vector storage unit 116 the motion and control requiring the mode selection unit 109 generates a control code indicating that some restrictions on data stored in memory is added. 符号化制御部910による制御コード生成のタイミングは、いつでもよいが、符号化処理の開始時または終了直後が好ましい。 Timing of the control code generation by the encoding control unit 910, but may at any time, immediately after the beginning or end of the encoding process is preferred. また、符号化制御部910は、制御コードをあらかじめ内部に記憶しておいてもよい。 The encoding control unit 910, a control code may be stored in advance therein.
【0110】 [0110]
以下では、上記のように構成された動画像符号化装置900の符号化処理におけるメモリへの参照ピクチャおよび動きベクトルの格納動作に付いて、従来のMPEG−4符号化方式と比較しながら説明する。 In the following, with the storing operation of the reference picture and the motion vector to the memory in the encoding process of the moving picture coding apparatus 900 configured as described above will be described in comparison with conventional MPEG-4 coding scheme . 図12(a)は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。 12 (a) is a diagram showing the order of pictures and their encoded input to the display order. 図12(b)は、従来のMPEG−4符号化方式において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。 FIG. 12 (b), in the conventional MPEG-4 encoding method is a diagram showing the reference picture and the motion vector is stored in memory along with the encoding of each picture. 図13(a)は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。 Figure 13 (a) is a diagram showing the order of pictures and their encoded input to the display order. 図13(b)は、図11に示した動画像符号化装置900において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。 13 (b) is a diagram showing the moving picture coding apparatus 900 shown in FIG. 11, a reference picture and motion vectors to be stored in memory along with the encoding of each picture. ここで、いずれの場合も、Bピクチャは他のピクチャに参照されず、IピクチャとPピクチャとだけが他のピクチャに参照されるものとする。 Here, in any case, B-picture is not referred to by other pictures, it is assumed that only the I-pictures and P-pictures are referred to by other pictures. すなわち、IピクチャとPピクチャとは他のピクチャの参照ピクチャとなるが、Bピクチャは他のピクチャの参照ピクチャとならない。 That is, a reference picture for other pictures and I-pictures and P-pictures, B-pictures is not a reference picture for other pictures. なお、図13(a)と図12(a)とは同じ図である。 Incidentally, the same figure 13 (a) and FIG. 12 (a).
【0111】 [0111]
図13(a)と図12(a)とにおいて、入力画像に含まれる各ピクチャを縦線で示し、他のピクチャに参照されないBピクチャを破線で示している。 13 (a) and FIG. 12 (a) and, indicate the respective pictures included in the input image by vertical lines shows the B-pictures that are not referred to by other pictures by broken lines. また、各ピクチャに付されている「B」および「P」は、各ピクチャのピクチャタイプを示し、その右に付されている数字は、各ピクチャに対して符号化順に付されたピクチャ番号を示している。 Moreover, are assigned to each picture "B" and "P" indicates the picture type of each picture, the numbers are assigned to the right, the picture numbers assigned to the coding sequence with respect to each picture shows. すなわち、図12(a)および図13(a)に示すように、入力画像内のピクチャはI0→B2→B3→P1→B5→B6→P4→B8→B9→P7→B11→B12→P10の順に入力され、この順で表示される。 That is, as shown in FIG. 12 (a) and FIG. 13 (a), the picture in the input picture of I0 → B2 → B3 → P1 → B5 → B6 → P4 → B8 → B9 → P7 → B11 → B12 → P10 is input in the order, are displayed in this order. これに対し、Bピクチャは表示順で後方にあるピクチャを参照するため、Bピクチャの符号化前にBピクチャよりも表示順で後方にあるIピクチャまたはPピクチャが符号化されていなければならない。 In contrast, B picture to refer to pictures behind in display order, I picture or P picture preceding the coding of B-pictures backward in display order than the B picture must be encoded. 従って、入力画像内のピクチャはI0→P1→B2→B3→P4→B5→B6→P7→B8→B9→P10→B11→B12の順に符号化される。 Thus, the picture in the input image is encoded in the order of I0 → P1 → B2 → B3 → P4 → B5 → B6 → P7 → B8 → B9 → P10 → B11 → B12. 表示順でピクチャI0の前方にBピクチャがあったとすれば、ピクチャI0の符号化後、ピクチャP1の符号化前に符号化される。 If there is a B-picture in front of the picture I0 in display order, the coded picture I0, is encoded before encoding the picture P1.
【0112】 [0112]
従来のMPEG−4では、符号化対象ピクチャの直前に符号化された2枚の参照ピクチャの画素値と、その参照ピクチャで動き補償に用いられた動きベクトルとをメモリ内に保存する。 In the conventional MPEG-4, stores the pixel values ​​of two reference pictures encoded immediately before the encoding target picture, and a motion vector used for motion compensation in the reference picture memory. 一般的には、図12(b)に示すように、符号化対象ピクチャの直前に符号化された2枚の参照ピクチャの画素値と、2枚の参照ピクチャのうち、より後で符号化された方の1枚の動きベクトルとをメモリ内に保存している。 In general, as shown in FIG. 12 (b), the pixel values ​​of two reference pictures encoded immediately before the encoding target picture, among the two reference pictures, is more later coded It was towards one of the motion vector of being stored in the memory. また、MPEG−4では、Pピクチャは、表示順で前方にある直前の1枚の参照ピクチャを参照し、Bピクチャは、符号化対象ピクチャに対して表示順で直前の前方1枚、直後の後方1枚の2枚の参照ピクチャを参照して符号化される。 Further, in the MPEG-4, P-picture refers to one reference picture immediately before the in front in display order, B pictures, one ahead of the immediately preceding in display order with respect to the encoding target picture, immediately It is coded with reference to two reference pictures of one rear. 例えば、符号化対象ピクチャがピクチャB6であるとき、符号化対象ピクチャの直前に符号化された2枚の参照ピクチャとはピクチャP1とピクチャP4であり、より後で符号化された方の参照ピクチャは、ピクチャP4である。 For example, when the current picture is a picture B6, and the two reference pictures encoded immediately before the encoding target picture is a picture P1 and the picture P4, the reference picture of the person more is later encoded it is a picture P4. 従って、符号化対象ピクチャがピクチャB6であるとき、メモリ内には、ピクチャP1およびピクチャP4の画素値と、ピクチャP4で求められた動きベクトルとが格納されている。 Therefore, when the current picture is a picture B6, the memory, and the pixel values ​​of the picture P1 and the picture P4, and motion vectors obtained by the picture P4 is stored. ピクチャB6は、メモリ内に格納されているピクチャP1とピクチャP4とを参照して符号化される。 Picture B6 is coded with reference to the picture P1 and the picture P4 stored in the memory. ピクチャP1は表示順でピクチャB6の直前にある参照ピクチャであり、ピクチャP4は表示順でピクチャB6の直後にある参照ピクチャである。 Picture P1 is a reference picture immediately before the picture B6 in display order, the picture P4 is a reference picture immediately following the picture B6 in display order. また、ピクチャB6内の符号化対象ブロックが直接モードで符号化されるときには、表示順でピクチャB6の直後にある参照ピクチャ(すなわち、ピクチャP4)において符号化対象ブロックと同じ位置にあるブロックの動きベクトルはメモリ内に格納されており、これを用いて動き補償が行われる。 Further, when the encoding target block in the picture B6 is coded in direct mode, the reference picture (i.e., the picture P4) movement of the block at the same position as the encoding target block in the immediately following picture B6 in display order vector is stored in memory, the motion compensation is performed using this. ただし、ピクチャB6は、他のピクチャに参照されないので、画素値および動きベクトルはメモリ内に保存されず、メモリの更新は起こらない。 However, the picture B6 is because not referred to by other pictures, the pixel values ​​and motion vectors are not stored in memory, the update of the memory does not occur.
【0113】 [0113]
ピクチャP7が符号化対象ピクチャのときには、メモリ内に保存されているピクチャP1またはピクチャP4のいずれかを参照して符号化が行われる。 Picture P7 is at the encoding target picture, encoding is performed with reference to one picture P1 or picture P4 stored in memory. ピクチャP7は、他のピクチャに参照されるので、メモリ内に画素値と動きベクトルとが保存される。 Picture P7 is because it is referenced by other pictures, the pixel values ​​in a memory and the motion vector is saved. この際には、ピクチャP7の符号化/復号化に従って、メモリ内の画素値および動きベクトルが更新される。 At this time, according to the coding / decoding of the picture P7, the pixel values ​​and the motion vectors in the memory is updated. ピクチャP7の符号化前にメモリ内に格納されていたピクチャP1およびピクチャP4の画素値のうち、古いほうのピクチャP1の画素値がメモリから追い出され、新たにピクチャP7の画素値が格納される。 Among the pixel values ​​of the picture P1 and the picture P4 that were stored in memory prior to encoding of the picture P7, the pixel values ​​of the picture P1 of the older is expelled from the memory, the pixel value of the new picture P7 is stored . また、メモリ内に格納されていたピクチャP4の動きベクトルがメモリから追い出され、新たにピクチャP7の動きベクトルが格納される。 The motion vector of the picture P4 had been stored in the memory is evicted from the memory, the motion vector of the new picture P7 is stored.
【0114】 [0114]
ピクチャB8が符号化されるときには、表示順でピクチャB8の前方にあるピクチャP4と後方にあるピクチャP7との2枚が参照される。 When the picture B8 is coded, two and pictures P7 located behind the picture P4 in front of the picture B8 in display order is referred to. ピクチャB8内の対象ブロックが直接モードで符号化されるときには、表示順でピクチャB8の直後にある参照ピクチャ(ピクチャP7)において対象ブロックと同じ位置にあるブロックの動きベクトルを用いて動き補償が行われる。 When the target block in intra-picture B8 is coded in direct mode, motion compensation line using the motion vector of a block in the same position as the target block in the reference picture (picture P7) immediately following the picture B8 in display order divide. メモリ内には、ピクチャB8に参照される2枚の参照ピクチャ(ピクチャP4およびピクチャP7)の画素値が格納されており、また、直接モードで用いられるピクチャP7の動きベクトルが格納されている。 In the memory, the pixel value is stored in the two reference pictures to be referenced in the picture B8 (picture P4 and the picture P7), also stored motion vector of the picture P7 that is used in the direct mode. また、ピクチャB8は他のピクチャに参照されないのでメモリ内のデータは更新されない。 Also, the picture B8 is data in memory since they are not referred to by other pictures is not updated.
【0115】 [0115]
ピクチャB9が符号化されるときも、ピクチャB8が符号化されるときと同様に、メモリ内に格納されている2枚のピクチャを参照して符号化が行われる。 Even when the picture B9 is encoded, as in the case where picture B8 is coded, coding is performed with reference to two pictures stored in the memory. また、ピクチャB9内の対象ブロックが直接モードで符号化されるときも、メモリ内に格納されているピクチャP7の動きベクトルを用いて符号化される。 Further, the target block in the picture B9 is also when it is encoded in the direct mode, is encoded using a motion vector of the picture P7 stored in the memory.
【0116】 [0116]
このように、従来のMPEG−4では、メモリ内に2枚の参照ピクチャの画素値と、参照ピクチャ2枚のうちの後方の参照ピクチャ分の動きベクトルとを格納しておくことにより、Bピクチャ内の対象ブロックを直接モードで符号化する際にも、問題なく符号化を行うことができる。 Thus, in the conventional MPEG-4, by storing the pixel values ​​of two reference pictures in memory, among reference pictures two behind the reference picture content and motion vector, B-picture the target block of the inner even when encoding in direct mode, it is possible to perform without problems coding. しかし、MPEG−4では、参照ピクチャが決められているかまたは数が少ないため、符号化対象ブロックに対して符号化効率がより高くなる参照ブロックを探す探索範囲が限られてしまう。 However, the MPEG-4, for either or several reference pictures are determined is small, the coding efficiency for the encoding target block Find higher becomes the reference block search range is limited. この結果、符号化効率が頭打ちとなり、低ビットレートで高画質の動画像を伝送したいという要求に答えることが難しい。 As a result, the coding efficiency is peaked, it is difficult to answer the demand for transmitting moving image quality at low bit rates. このために、H. To this end, H. 26Lでは、探索範囲となる参照ピクチャの数を増やし、各対象ブロックが実際に参照した参照ピクチャを、参照インデックスで特定することに定めている。 In 26L, increase the number of reference pictures as the search range, and defines that the reference picture in which each target block is actually referenced, identified in the reference index. そして、図28に示したように、Bピクチャでは対象ブロックごとに、参照した参照ピクチャを特定するための第1参照インデックスと第2参照インデックスとを符号列中に記述するよう定めている。 Then, as shown in FIG. 28, in the B picture it is determined so as to describe for each target block, the first reference index for identifying a reference picture with reference and the second reference index in the code string. 一方、各参照ピクチャに対する参照インデックスの割り当ては、すでに説明したように、表示順で前方と後方とに向かって、それぞれ、符号化対象ピクチャに最も近い参照ピクチャに「0」が割り当てられ、符号化対象ピクチャから遠ざかるにつれて昇順で番号が割り当てられるように初期設定されている。 On the other hand, the assignment of reference indices for each reference picture, as already described, towards the front and the rear in the display order, respectively, "0" is assigned to the reference picture closest to the encoding target picture, coding is initially set to number in ascending order are assigned as the distance from the current picture. この初期設定では、対象ブロックを含むピクチャに近い参照ピクチャほど、より小さな値の参照インデックスで特定することができる。 In this initial setting, as a reference picture closer to the picture including the current block, it may be identified by reference index smaller value. しかし、対象ブロックを含むピクチャから遠い参照ピクチャほど、参照ピクチャを特定するための参照インデックスの値が大きくなってしまう。 However, the farther a reference picture from a picture including the current block, the value of the reference index for identifying a reference picture becomes large. この結果、対象ブロックを含むピクチャから遠い参照ピクチャが多くの対象ブロックに参照されるような場合、初期設定のままだと、大きな値の参照インデックスが多数のブロックで符号列中に記述されることになり、符号列のデータ量が増加するので好ましくない。 As a result, if the distant reference pictures from the picture including the current block as referred to many of the target block, If left initialization, the reference index of a large value is written to the code in column a number of blocks to be not preferable because the data amount of the code sequence is increased. 従って、参照インデックスは、ピクチャごとに符号化効率がより高くなる参照ピクチャに対してより小さい値を割り当てることができるよう、リマッピングが認められている。 Therefore, the reference indices, so that it is possible to assign a smaller value to the reference picture coding efficiency will be higher for each picture, remapping is permitted.
【0117】 [0117]
本実施の形態では、Pピクチャは、表示順で符号化対象ピクチャの前方にある4枚のIピクチャまたはPピクチャを参照ピクチャとし、Bピクチャは、表示順で符号化対象ピクチャの前方にある4枚のIピクチャまたはPピクチャと、表示順で符号化対象ピクチャの後方にある1枚のIピクチャまたはPピクチャとを参照ピクチャとする。 In this embodiment, P picture, a reference picture to four I or P picture that is forward of the current picture to be coded in display order, B pictures, in front of the encoding target picture in display order 4 Like the I picture or P picture, the one I picture or P picture and the reference picture behind the current picture to be coded in display order. 図13(b)に示すように、本実施の形態では、Bピクチャの符号化のために、各ピクチャの直前に符号化された5枚の参照ピクチャの画素値をメモリ内に保存し、符号化対象ピクチャの直前に符号化された1枚の参照ピクチャの動きベクトルだけを保存する。 As shown in FIG. 13 (b), in the present embodiment, and stored for coding the B-picture, the pixel values ​​of five reference pictures coded immediately before each picture in the memory, code only save motion vector of one reference picture coded immediately before the current picture. 例えば、モード選択部109は、符号化対象ピクチャの各対象ブロックに対し、動きベクトル検出部106によって動きベクトルが検出される都度、検出された動きベクトルを、すでに動きベクトル記憶部108に格納されている動きベクトルとは別の記憶領域に一時的に格納する。 For example, the mode selection unit 109, for each target block of the encoding target picture, each time a motion vector is detected by the motion vector detecting unit 106, the detected motion vector, it is already stored in the motion vector storage unit 108 temporarily stored in another storage area the motion vector are. 当該符号化対象ピクチャがPピクチャである場合、モード選択部109は、別の記憶領域に一時的に格納されていた動きベクトルで、それ以前に格納されていた動きベクトルを上書きする。 When the coding target picture is a P-picture, the mode selection unit 109, the motion vector which has been temporarily stored in another memory area, overwriting the motion vector that has been stored it previously. また、次の符号化対象ピクチャの符号化を開始する際には、直前に符号化されたピクチャの動きベクトルが一時的に格納されていた記憶領域に、新たな符号化対象ピクチャの動きベクトルを上書きし、上書きされた動きベクトルを一時的に格納する。 Further, when starting the encoding of the next encoding target picture is a storage area where a motion vector of the coded picture just before has been stored temporarily, the motion vector of the new picture to be coded overwrite temporarily stores the overwritten motion vector. しかし、当該符号化対象ピクチャがPピクチャでない場合、モード選択部109は、動きベクトル記憶部108に一時的に格納された動きベクトルを、例えば、符号化対象ピクチャの全ブロックを符号化した後に、動きベクトル記憶部108内から削除する。 However, when the coding target picture is not a P-picture, the mode selection unit 109, temporarily stored motion vectors in the motion vector storage unit 108, for example, all the blocks of the encoding target picture after encoding, remove from the motion vector storage unit within 108. 一時的に格納された動きベクトルを動きベクトル記憶部108内から削除する方法は、一時的に格納された動きベクトルを動きベクトル記憶部108内から消去する方法であってもよいし、動きベクトルを一時的に格納する記憶領域に、そのまま次の符号化対象ピクチャの動きベクトルを上書きする方法であってもよい。 How to remove the temporarily stored motion vector the motion vector storage unit within 108 may be a method for erasing the temporarily stored motion vector the motion vector storage unit within 108, the motion vector a storage area for storing temporarily, may be directly how to override the motion vector of the next encoding target picture. モード選択部109は、このような方法で、動きベクトル記憶部108に格納される動きベクトルの格納量を制御する。 Mode selection unit 109, in this way, to control the storage amount of the motion vectors stored in the motion vector storage unit 108. なお、Bピクチャの直接モードによる符号化においては、第2参照インデックスが「0」の参照ピクチャの動きベクトルがメモリ内に格納されていない場合、実施の形態1ですでに説明した方法を用いて動き補償を行う。 In the coding by direct mode of the B picture, if the second reference index motion vector of the reference picture of "0" is not stored in memory, using the methods already described in the first embodiment perform motion compensation.
【0118】 [0118]
図13(b)において、例えば、符号化対象ピクチャがピクチャB6である場合、ピクチャB6よりも前にピクチャI0、ピクチャP1およびピクチャP4が符号化されている。 In FIG. 13 (b), for example, the case where the current picture is a picture B6, the picture I0 before picture B6, the picture P1 and the picture P4 is coded. 従って、ピクチャB6の符号化時には、メモリ内には、ピクチャI0、ピクチャP1およびピクチャP4の画素値が格納されている。 Therefore, when coding the picture B6, the memory, the picture I0, the pixel values ​​of the picture P1 and the picture P4 is stored. さらに、ピクチャI0よりも前に符号化されているIピクチャまたはPピクチャがあれば、ピクチャI0の直前に符号化された2枚の画素値がメモリ内に格納されている。 Furthermore, if there is an I picture or a P picture that has been encoded before the picture I0, 2 sheets of pixel value encoded immediately before the picture I0 is stored in the memory. ピクチャB4は、メモリ内に格納されている参照ピクチャのうち、2枚を参照して符号化される。 Picture B4, among the reference pictures stored in memory, is coded with reference to two. さらに、メモリ内には、ピクチャB6の直前に符号化された参照ピクチャであるピクチャP4の動きベクトルが格納されている。 Further, in the memory, the motion vector of the picture P4 is stored is a reference picture coded immediately before the picture B6. モード選択部109は、ピクチャB6内の対象ブロックを直接モードで符号化する場合、ピクチャB6に対して第2参照インデックスが「0」の参照ピクチャがピクチャP4であれば、メモリ内に格納されている動きベクトルを用いて対象ブロックの動き補償を行う。 Mode selecting unit 109, when encoding in direct mode a target block in the picture B6, for the picture B6 second reference index is a reference picture of "0" if the picture P4, stored in memory performing motion compensation of the current block using the motion vector are. また、第2参照インデックスが「0」の参照ピクチャがピクチャP4でなければ、例えば、対象ブロックの動きベクトルを「0」とし、ピクチャB6に対して第1参照インデックスが「0」の参照ピクチャと、ピクチャB6に対して第2参照インデックスが「0」の参照ピクチャとを参照して、2方向で動き補償を行う。 The reference picture is not the picture P4 of the second reference index is "0", for example, the motion vector of the target block is "0", the first reference index for the picture B6 and the reference picture of "0" , for the picture B6 second reference index refer to the reference picture of "0", motion compensation in two directions.
【0119】 [0119]
符号化対象ピクチャがP7であるとき、ピクチャP7は、直前に符号化され、メモリ内に格納されている3枚の参照ピクチャ(ピクチャI0、ピクチャP1およびピクチャP4)を参照して符号化される。 When the current picture is a P7, picture P7 is coded immediately before, the three reference pictures stored in the memory (picture I0, picture P1 and the picture P4) with reference to the coding . ピクチャP7は、他のピクチャに参照されるので、ピクチャP7の符号化/復号化に従って、メモリ内に最も古く格納されている参照ピクチャ1枚の画素値がメモリから追い出され、新たにピクチャP7の画素値が格納される。 Picture P7 is because it is referenced to the other pictures, the picture P7 according to the encoding / decoding, the oldest stored reference picture one pixel value is in the memory is evicted from the memory, the new picture P7 pixel values ​​are stored. また、メモリ内に格納されていたピクチャP4の動きベクトルがメモリから追い出され、新たにピクチャP7で求められた動きベクトルが格納される。 The motion vector of the picture P4 had been stored in the memory is evicted from the memory, new motion vectors obtained by the picture P7 is stored.
【0120】 [0120]
次に、ピクチャB8が符号化されるときには、ピクチャB8は、メモリ内に格納されている5枚の参照ピクチャのうちの2枚を参照して符号化される。 Then, when the picture B8 is coded, the picture B8 is coded with reference to two out of five reference pictures stored in memory. また、ピクチャB8内の対象ブロックが直接モードで符号化される場合、モード選択部109は、ピクチャB8に対して第2参照インデックスが「0」のピクチャがピクチャP7であれば、メモリ内に格納されているピクチャP7の動きベクトルを用いて対象ブロックの動き補償を行う。 The storage case, the mode selection unit 109, if the picture is the picture P7 against the picture B8 second reference index is "0", in a memory target block in the picture B8 is coded in direct mode performing motion compensation of the current block using the motion vector of the picture P7 that is. ピクチャB8に対して第2参照インデックスが「0」のピクチャがピクチャP7でなければ、対象ブロックの動きベクトルを「0」として、ピクチャB8に対し第1参照インデックスが「0」および第2参照インデックスが「0」の2枚の参照ピクチャ(ピクチャP4およびピクチャP7)を参照して、2方向の動き補償を行う。 The second reference index picture of "0" is not the picture P7 for the picture B8, the motion vector of the target block as "0", with respect to the picture B8 first reference index is "0" and the second reference index There with reference to two reference pictures of "0" (picture P4 and the picture P7), performs two-way motion compensation. ピクチャB8は、他のピクチャに参照されないので、メモリには保存されず、メモリ内でのデータの更新は行われない。 Picture B8 is because not referred to by other pictures, the memory not stored, the update data in the memory is not performed. ピクチャB9が符号化される場合も、ピクチャB8が符号化された場合と同様にして符号化が行われる。 Even if the picture B9 is coded, the picture B8 is coded is performed in the same manner as when it is encoded.
【0121】 [0121]
このように、本実施の形態3によれば、Bピクチャの直接モードによる符号化を行うためにメモリ内に保存する動きベクトルを、Bピクチャの直前に符号化された1枚の参照ピクチャの動きベクトルに限定することにより、動画像の符号化に要するメモリ容量を抑制しつつ、符号化効率を向上することができる動画像符号化装置を提供することができる。 Thus, according to the third embodiment, the motion vectors stored in memory in order to perform the coding by direct mode of the B picture, one reference motion picture coded immediately before the B-picture by limiting the vector, while suppressing the memory capacity required for the coding of a moving picture, it is possible to provide a moving picture coding apparatus which can improve the coding efficiency.
【0122】 [0122]
なお、上記実施の形態3では、動画像符号化装置900は、記録媒体400に記録されるビデオデータおよび制御コードを生成したが、記録媒体に記録される場合に限らず、例えば、デジタルテレビ放送等で配信されるビデオストリームと、ビデオストリームの再生を管理するための管理情報とを生成するとしても良い。 In the third embodiment, the moving picture coding apparatus 900 has been generated video data and control codes are recorded on the recording medium 400, not limited to being recorded on the recording medium, for example, a digital television broadcast a video stream delivered by such, may generate a management information for managing reproduction of the video stream. 図14は、デジタルテレビ放送で送信される放送用パケットの一例を示す図である。 Figure 14 is a diagram showing an example of a broadcast packet transmitted by digital television broadcast. 同図において、「S」、「A」、「V」で示す各部分は、それぞれ、管理情報、オーディオデータおよびビデオデータのパケットを示している。 In the figure, the portion indicated by "S", "A", "V", respectively, the management information indicates the packet of the audio and video data. デジタルテレビ放送では、ビデオストリームおよびオーディオストリームなどの符号化データは、適当なデータ長でパケットに区切られ(例えばMPEG−2のトランスポートストリームでは188バイト)、このパケットを単位として送信される。 In digital television broadcasting, the encoded data such as video and audio streams are divided into packets with appropriate data length (e.g., 188 bytes in the transport stream MPEG-2), is transmitted to this packet as a unit. そして、オーディオデータのパケットおよびビデオデータのパケットの随所に管理情報のパケットが挿入されて送信される。 Then, the packet of the management information throughout the packet of the packet and the video data of the audio data is transmitted is inserted. 動画像符号化装置900によって生成された符号列は、このようなビデオデータのパケットとして送信される。 Code string generated by the moving picture coding apparatus 900 is transmitted as a packet of such video data. また、符号化制御部910によって生成された制御コードは、管理情報に記述され管理情報のパケットとして送信される。 The control codes generated by the coding control unit 910 is transmitted as packets of the management information written in the management information. このように、動画像符号化装置900によって生成された符号列をビデオデータのパケットとして送信し、符号化制御部910によって生成された制御コードを管理情報のパケットとして送信することによって、デジタルテレビ放送を受信して映像データを再生するSTBおよびデジタルテレビなどの再生装置においても、メモリの使用量を節約しつつ、符号化効率の高い高画質の動画像を再生することができる。 Thus, by sending the code stream generated by the moving picture coding apparatus 900 as a packet of video data, and transmits a control code generated by the coding control unit 910 as a packet of the management information, the digital television broadcasting also in reproduction apparatus such as a STB and digital television for reproducing video data by receiving, while saving memory usage, it is possible to reproduce a moving image of a high encoding efficiency quality.
【0123】 [0123]
なお、上記実施の形態3では、制御コードが、メモリに保存されるデータに何らかの制限が加えられていることを示す情報であるとして説明したが、本発明はこれに限定されず、制御コードは、単に、生成された符号列が何らかの制限の下に符号化されていることのみを示す情報であってもよい。 In the third embodiment, the control code, it has been described as information indicating the that some restrictions on data stored in memory is added, the present invention is not limited thereto, the control code simply generated code sequence may be information indicating only that it is coded under some restrictions. また、この制御コードは、例えば、値が「0」のとき「制限なし」を示し、値が「1」のとき「制限あり」を示すフラグなどであってもよい。 The control code is, for example, the value indicates "no limit" when "0", the value is "Limited" when the "1" may be a flag or the like indicating a. また、この制御コードは、管理情報内の特定の場所に記述されていれば「制限あり」を示し、記述されていなければ「制限なし」を示すコードであってもよい。 The control code is, if it is written in a specific location in the management information indicates "Limited" may be a code indicating "no limit" if it is not described. もちろん、この制御コードは、あらかじめメモリに記憶されているテーブルを参照することによって、メモリに保存されるデータに何らかの制限が加えられていることや、符号化対象ピクチャの直前に符号化された何枚のPピクチャの動きベクトルをメモリ内に格納するかなどの複数種類の処理内容を特定することができるコードであってもよいことは言うまでもない。 Of course, this control code, by referring to the table stored in advance in the memory, that some restrictions on data stored in the memory are added and, what encoded immediately before the encoding target picture like that the motion vector of the P-picture may be a code that can identify a plurality of types of processing contents, such as whether stored in memory of course.
【0124】 [0124]
(実施の形態4) (Embodiment 4)
以下では、記録媒体に記録されているAVストリームを再生する再生装置およびその再生装置に備えられる動画像復号化装置について説明する。 The following describes a video decoding device provided in the reproducing apparatus and the reproduction apparatus for reproducing AV stream recorded on the recording medium. 図15は、実施の形態4の再生装置1500の概略的構成を示すブロック図である。 Figure 15 is a block diagram showing a schematic configuration of a playback apparatus 1500 of the fourth embodiment. 再生装置1500は、図10に示した記録媒体400から符号化されたAVストリームと、AVストリームの再生を管理するための管理情報とを読み取り、音声を伴う映像データを再生する再生装置であって、ビデオ復号化部1501、オーディオ復号化部1502、システム復号化部1503、モニタ1511およびスピーカ1512を備える。 Reproducing apparatus 1500 reads the AV stream encoded from the recording medium 400 shown in FIG. 10, a management information for managing reproduction of AV stream, a reproducing apparatus for reproducing video data with voice comprising, a video decoding unit 1501, the audio decoding unit 1502, the system decoder 1503, a monitor 1511 and a speaker 1512. システム復号化部1503は、記録媒体から管理情報と符号化されたAVストリームとを読み出し、管理情報から制御コードを抽出してビデオ復号化部1501に出力する。 System decoding unit 1503 reads out the AV stream management information and encoded from the recording medium, and outputs to the video decoding unit 1501 extracts control codes from the management information. また、読み出したビデオストリームとオーディオストリームとを分離して、それぞれビデオ復号化部1501とオーディオ復号化部1502とに出力する。 Further, by separating the read video and audio streams, respectively outputted to the video decoding unit 1501, the audio decoding unit 1502. ビデオ復号化部1501は、システム復号化部1503から受け取った制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合には、システム復号化部1503から受け取ったビデオストリームを復号化する際に、復号化対象ピクチャの直前に復号化された参照ピクチャ1枚分の動きベクトルをメモリに格納して、復号化対象ピクチャを復号化する。 Video decoding unit 1501, a control code received from the system decoding unit 1503, when the limit to the data stored in the memory is shown to be provided, received from the system decoding unit 1503 during the decoding of the video stream, and stores the decoded reference picture one sheet of motion vectors immediately prior to decoding the current picture in the memory, to decode the target picture to be decoded. ビデオ復号化部1501は、ビデオストリームに含まれる各ピクチャを復号化して復号化された各ピクチャを表示順に出力し、動画像を表す映像信号をモニタ1511に出力する。 Video decoding unit 1501 outputs the picture decoded by decoding the respective pictures included in the video stream, in display order, and outputs a video signal representing a moving image on a monitor 1511. オーディオ復号化部1502は、システム復号化部1503から受け取ったオーディオストリームを復号化してオーディオ信号を生成し、生成したオーディオ信号をスピーカ1512に出力する。 Audio decoding unit 1502 generates an audio signal by decoding an audio stream received from the system decoding unit 1503, and outputs the generated audio signal to the speaker 1512. モニタ1511は、ビデオ復号化部1501によって生成された映像信号を表示する。 Monitor 1511 displays a video signal generated by the video decoding unit 1501. スピーカ1512は、オーディオ復号化部1502によって生成されたオーディオ信号を音声として再生する。 Speaker 1512 reproduces audio signals generated by the audio decoding section 1502 as sound.
【0125】 [0125]
図16は、図15に示したビデオ復号化部1501に相当する動画像復号化装置1600の構成を示すブロック図である。 Figure 16 is a block diagram showing a configuration of a moving picture decoding apparatus 1600 corresponding to the video decoding unit 1501 shown in FIG. 15. 動画像復号化装置1600は、外部から入力された制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合には、復号化対象ピクチャの直前に復号化された参照ピクチャ1枚分の動きベクトルをメモリに格納し、符号列を復号化する動画像復号化装置であって、予測残差復号化部702、動き補償復号部705、動きベクトル記憶部706、フレームメモリ707、加算演算部708、スイッチ709、スイッチ710、符号列解析部1601およびモード復号部1603を備える。 Moving picture decoding apparatus 1600, the control code input from the outside, when the restrictions on data stored in memory is shown to be provided is decoded immediately before the target picture to be decoded motion vector of the reference picture one sheet is stored in the memory has, a moving picture decoding apparatus for decoding a code string, the prediction residual decoding unit 702, the motion compensation decoding unit 705, the motion vector storage unit 706, a frame memory 707, addition unit 708, a switch 709, switch 710, the bit stream analysis unit 1601 and the mode decoding unit 1603. 同図において、図7に示した動画像復号化装置700と同様の構成要素については既に説明しているので、同一の参照符号を付し、説明を省略する。 In the figure, since the already described components similar to the moving picture decoding apparatus 700 shown in FIG. 7 are denoted by the same reference numerals and the description thereof will be omitted. 符号列解析部1601は、外部から入力された制御コードを、モード復号部1603に出力する。 Bit stream analysis unit 1601, a control code input from the outside, and outputs to the mode decoding unit 1603. 符号列解析部1601は、入力された符号列から、モード選択の情報や動きベクトル情報等を抽出し、抽出したモード選択の情報をモード復号部703に、抽出した動きベクトル情報を動き補償復号部705に、さらに、予測残差符号化データを予測残差復号化部702に出力する。 Bit stream analysis unit 1601, the inputted bit stream, extracts the mode selection information and motion vector information or the like, the mode selection information mode decoding unit 703 extracts the extracted motion vector information motion compensation decoding unit to 705, further, it outputs the prediction residual coded data to the prediction residual decoding unit 702. モード復号部703は、符号列解析部1601から入力された制御コードに、メモリに格納されるデータに制限が設けられていることが示されている場合または入力されたビデオストリームが何らかの制限の下に符号化されていることが示されている場合には、復号化対象ピクチャの直前に復号化された参照ピクチャ1枚分の動きベクトルを動きベクトル記憶部706に格納するよう、動き補償復号化部705を制御する。 Mode decoding unit 703, a control code input from the bit stream analysis unit 1601, under the case or the input video stream is some limited restrictions on data stored in the memory is shown to be provided in the case where it is shown that has been encoded, to store in the vector storage unit 706 the motion of the decoded reference picture one sheet of motion vectors immediately before the target picture to be decoded, the motion compensation decoding to control the part 705.
【0126】 [0126]
動画像復号化装置1600において、動きベクトル記憶部706に格納される動きベクトルの数と、フレームメモリ707に格納される画素値の数とは、図13(b)に示した例と同様である。 In the video decoding apparatus 1600, the number of motion vectors stored in the motion vector storage unit 706, and the number of pixel values ​​stored in the frame memory 707, is similar to the example shown in FIG. 13 (b) .
以上のように、本実施の形態4の動画像復号化装置1600によれば、記録媒体に記録されているビデオストリームを復号化する場合においても、動画像復号化装置のメモリ資源を節約し、かつ、符号化効率の高い符号列を復号化することができるという効果がある。 As described above, according to the video decoding apparatus 1600 of the fourth embodiment, in a case of decoding the video stream recorded on the recording medium, to save memory resources of the moving picture decoding apparatus, and, there is an effect that it is possible to decode a high code sequence coding efficiency.
【0127】 [0127]
なお、上記実施の形態4では、動画像復号化装置1600が記録媒体に記録されているビデオストリームを復号化する場合について説明したが、本発明はこれに限定されず、本発明の動画像復号化装置は、デジタルテレビ放送等で配信される放送用パケット中のビデオストリームを復号化するとしてもよい。 In the fourth embodiment, the description has been given of the case of decoding the video stream to the video decoding apparatus 1600 is recorded on the recording medium, the present invention is not limited to this, the moving image decoding of the present invention apparatus may be a decoding video streams in a broadcast packet which is delivered in digital television broadcasting. この場合、動画像復号化装置1600は、例えば、デジタルテレビ放送を受信するDTV(デジタルテレビ)やSTBなどに備えられる。 In this case, the moving picture decoding apparatus 1600, for example, be provided such as DTV (Digital Television) or STB for receiving digital television broadcasting. 図14に示した放送用パケットは、DTVやSTBなどにおいて受信され、管理情報、オーディオデータおよびビデオデータの各パケットに分離される。 Broadcast packet shown in FIG. 14 is received in such DTV or STB, management information, is separated into each packet of the audio and video data. 分離された管理情報からは、さらに、メモリに格納されるデータに何らかの制限が加えられていることを示す制御コードが抽出され、動画像復号化装置1600に入力される。 From the separated management information further, the control code indicating that some restrictions on the data stored in the memory is added is extracted, it is input to the moving picture decoding apparatus 1600. また、各パケットから抽出されたビデオストリームとオーディオストリームとは、動画像復号化装置1600とオーディオ復号化装置とに入力され、同期をとりながらリアルタイムに復号化される。 Also, the video stream and the audio stream extracted from each packet is input to the audio decoding device moving picture decoding apparatus 1600, and decoded in real time synchronously. この動画像復号化装置1600の構成および動作は、図16に示した動画像復号化装置1600と同様であるので、説明を省略する。 This configuration and operation of the moving picture decoding apparatus 1600 is the same as the moving picture decoding apparatus 1600 shown in FIG. 16, the description thereof is omitted.
【0128】 [0128]
以上のように、本実施の形態の動画像復号化装置1600によれば、デジタルテレビ放送等で配信される放送用パケット中のビデオストリームを復号化する場合においても、動画像復号化装置のメモリ資源を節約しつつ、符号化効率の高い符号列を復号化することができるという効果がある。 As described above, according to the video decoding apparatus 1600 of the present embodiment, the memory of the well, the moving picture decoding apparatus when decoding the video stream in the broadcast packet delivered by digital television broadcasting and the like while saving resources, there is an effect that it is possible to decode a high code sequence coding efficiency.
【0129】 [0129]
また、上記実施の形態4においても、制御コードは、メモリに格納されるデータに制限が設けられていることを示す場合に限定されず、単に、生成された符号列が何らかの制限の下に符号化されていることのみを示す情報であってもよい。 Also in the fourth embodiment, the control code is not limited to indicate that a limit to the data stored in the memory is provided simply generated code sequence code under some restrictions or information indicating only that it is of. また、この制御コードは、例えば、値が「0」のとき「制限なし」を示し、値が「1」のとき「制限あり」を示すフラグなどであってもよい。 The control code is, for example, the value indicates "no limit" when "0", the value is "Limited" when the "1" may be a flag or the like indicating a. また、この制御コードは、管理情報内の特定の場所に記述されていれば「制限あり」を示し、記述されていなければ「制限なし」を示すコードであってもよい。 The control code is, if it is written in a specific location in the management information indicates "Limited" may be a code indicating "no limit" if it is not described. もちろん、この制御コードは、あらかじめメモリに記憶されているテーブルを参照することによって、メモリに保存されるデータに何らかの制限が加えられていることや、符号化対象ピクチャの直前に符号化された何枚のPピクチャの動きベクトルをメモリ内に格納するかなどを特定することができるコードであってもよいことは言うまでもない。 Of course, this control code, by referring to the table stored in advance in the memory, that some restrictions on data stored in the memory are added and, what encoded immediately before the encoding target picture like that the motion vector of the P-picture may be a code that can be identified and should be stored in the memory of course.
【0130】 [0130]
(実施の形態5) (Embodiment 5)
動画像を構成するピクチャはフレームおよびフィールドの両者を包含する1つの符号化の単位を意味する。 Pictures that constitute a moving picture means a unit of one coding including both a frame and a field. 上記実施の形態1〜実施の形態4では、ピクチャが全てフレーム構造の場合について説明したが、ピクチャをフィールド単位で扱った場合でも、上記で説明した発明を適用して、同様の効果を得ることができる。 It Embodiment 4 Embodiment 1 embodiment of the above embodiment, the description has been given of the case the picture are all a frame structure, even when dealing with a picture field by field, which by applying the invention described above, the same effect can. 以下、上記実施の形態で説明した方法をインタレース画像に適用する場合で、上記実施の形態1〜実施の形態4とは異なる実施の形態について考える。 Hereinafter, in case of applying the method described in the above embodiment the interlaced image, consider different embodiments as in the fourth embodiment 1 embodiment described above. ここで、インタレース画像とは、1つのフレームが時刻(タイムスタンプ)の異なる2つのフィールドから構成される画像である。 Here, the interlaced picture, a single frame is an image composed of two fields having different time (time stamp). インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。 In coding and decoding an interlaced picture, or to process one frame while a frame, or treated as two fields, or to process for each block in a frame as a frame structure or field structure it can.
【0131】 [0131]
なお、各ピクチャをフレーム構造で符号化するか、またはフィールド構造で符号化するかは、例えば図1に示す符号化制御部110により適応的に決定することができる。 Incidentally, either coding each picture or coded in the frame structure, or in the field structure can be adaptively determined by the coding control unit 110 shown in FIG. 1, for example. フレーム構造とフィールド構造のいずれで符号化するかは、例えば、ピクチャ内の画素値の分散をフレーム構造とフィールド構造とで求め、分散の小さい方を選択する方法がある。 Is either coded in any of the frame structure and the field structure, for example, we obtain the variance of pixel values ​​in a picture in the frame structure and the field structure, a method of selecting a person small dispersion. また、各ピクチャをブロック単位でフレーム構造またはフィールド構造のいずれかで符号化する方法も考えられるが、ここではピクチャ単位でフレーム構造またはフィールド構造を切り替える場合について説明する。 A method of coding either a frame structure or a field structure of each picture on a block-by-block basis is also conceivable, but will be described here for the case of switching the frame structure or field structure on a picture-by-picture basis. まず、動画像にフィールド構造のピクチャが含まれる場合のピクチャ番号と参照インデックスの振られ方について説明し、それから本実施の形態5の具体的な説明をする。 First, describes shaken how the picture numbers and reference indices if they contain a picture having a field structure in the moving image, then the specific description of the fifth embodiment.
【0132】 [0132]
図27において動画像を構成するピクチャが全てフレームの場合についてのピクチャ番号と参照インデックスについて示したが、図17および図18を用いて、動画像を構成するピクチャにフレームとフィールドとが混在する場合について説明する。 While pictures constituting a moving image is shown for picture numbers and reference indices for all cases the frame 27, with reference to FIGS. 17 and 18, when the frame and the field are mixed in the pictures that constitute a moving picture It will be described.
【0133】 [0133]
図17は、符号化または復号化の対象ピクチャがフィールド構造である場合のピクチャ間の参照関係の一例を示す図である。 Figure 17 is a diagram showing an example of a reference relationship between pictures in the case where the target picture to be coded or decoded is a field structure. 以下、フレームの奇数番目のラインから構成されるフィールドをトップフィールド、フレームの偶数番目のラインから構成されるフィールドをボトムフィールドと呼ぶ。 Hereinafter, the top field composed fields from odd-numbered lines of the frame, a field composed of even-numbered lines of the frame is called a bottom field. また、本実施の形態においては、トップフィールドがフィールド構造のピクチャの表示順で前方のフィールド、ボトムフィールドが表示順で後方のフィールドとなる場合について説明するが、これらの順序が入れ替わっても本発明と同様の動作により、同様の効果を得ることができる。 Further, in this embodiment, the top field is ahead in the display order of the picture having a field structure fields, there will be described a case where the bottom field is the rear of the field in display order, the present invention also interchanged these sequences the same operation as, it is possible to obtain the same effect. 符号化または復号化の対象ピクチャがフィールド構造である場合、参照ピクチャは全てフィールド構造として扱う。 If the encoding or decoding of the target picture is a field structure, all reference pictures is treated as the field structure. 図17はピクチャB3をフィールド構造で符号化または復号化する場合にフィールドB32が符号化または復号化対象ピクチャである場合を示しており、ピクチャP1、B3、P4はフィールド構造、ピクチャB2はフレーム構造で符号化または復号化される場合、フレーム構造である参照ピクチャB2は2つのフィールドB21、B22として扱われる。 Figure 17 shows the case field B32 is coded or decoded picture when encoding or decoding the picture B3 in the field structure, the picture P1, B3, P4 is field structure, picture B2 is frame structure in the case to be encoded or decoded, reference picture B2 is a frame structure is treated as two fields B21, B22. そして、ピクチャ番号は符号化または復号化される順番で振られる。 Then, the picture number is swung in the order to be encoded or decoded. 第1参照インデックスはデフォルトでは、符号化または復号化の対象ピクチャよりも表示時間順で前にあるピクチャ、符号化または復号化の対象ピクチャから表示時間順で近いピクチャ、符号化または復号化の対象ピクチャと同一パリティをもつピクチャの優先順で割り振られる。 In the first reference index is default, encoding or decoding of the picture in front view time order than the target picture, coding or picture close in display order from the object picture decoding, encoding or decoding allocated in order of priority of the picture with the same parity and the picture. 図17を用いて具体的に説明すると、まずフィールドB32よりも表示時間順で前方にあり、同一パリティで、かつ、符号化または復号化の順番でフィールドB32に最も近いフィールドB22に参照インデックスとして「0」が振られ、次にフィールドB32よりも表示時間順で前方にあり、違うパリティであるが、符号化または復号化の順番ではフィールドB32に最も近いフィールドB31に参照インデックスとして「1」が振られる。 Specifically explaining with reference to FIG. 17, located in the front first in display order than the field B32, the same parity, and, as a reference index to the closest field B22 field B32 in the order of encoding or decoding " 0 "is swung, then there forward in display order than the field B32, different is a parity," 1 "is vibration in the order of encoding or decoding a reference index to the closest field B31 field B32 It is.
【0134】 [0134]
ここでパリティとは第1(トップ)フィールド、第2(ボトム)フィールドのいずれであるかを示す値であり、パリティの情報は動画像の符号列において例えばスライス単位で符号化され、あるいは復号化される。 Here, the first (top) field parity, a value indicating whether the second (bottom) field, information parity is encoded, for example, a slice unit in the code sequence of a moving image, or decoding It is.
図18は、符号化または復号化の対象ピクチャがフレームである場合についてピクチャ間の参照関係の一例を示す図である。 Figure 18 is a diagram showing an example of a reference relationship between pictures in the case the target picture to be coded or decoded is a frame. 符号化または復号化の対象ピクチャがフレームである場合、参照ピクチャは全てフレームとして扱う。 If the target picture to be coded or decoded is a frame, all treated as the reference picture frame. 図18のように、ピクチャB2、P4はフィールド構造、ピクチャP1、B3はフレーム構造で符号化または復号化されている場合、フィールド構造で符号化または復号化されたフィールドB21、B22、P41、P42は2つの参照フレームB2、B4として扱われる。 As shown in FIG. 18, a picture B2, P4 is field structure, the picture P1, B3 if it is encoded or decoded in the frame structure, is encoded or decoded in field structure field B21, B22, P41, P42 It is treated as two reference frames B2, B4. なお、ピクチャ番号と参照インデックスの振られ方は、図27で説明した通りである。 Incidentally, it swung how the reference index and the picture numbers are as described in Figure 27.
【0135】 [0135]
図19は、動画像を符号化または復号化する際の、各フレームの時間的並びを示す図である。 19, when encoding or decoding a moving picture, a diagram showing the temporal sequence of each frame. 図19において、フレームP1、P4はPピクチャとして処理され、フレームB2、B3はBピクチャとして処理される。 19, the frame P1, P4 is treated as a P-picture, frame B2, B3 is processed as B-picture. また、1つのフレームは2つのフィールドとして扱うことができる。 Further, one frame may be treated as two fields. 例えば、フレームP1はフィールドP11、P12として、フレームB2はフィールドB21、B22として、フレームB3はフィールドB31、B32として、フレームP4はフィールドP41、P42として扱うことができる。 For example, the frame P1 as field P11, P12, as a frame B2 fields B21, B22, frame B3 as field B31, B32, frame P4 can be handled as a field P41, P42. さらに、各フレームは、フレーム構造またはフィールド構造のいずれかの形式で適応的に符号化、復号化処理がなされるものとする。 Further, each frame is assumed to adaptively encoded in the form of either a frame structure or field structure, the decoding process is performed.
【0136】 [0136]
以下、具体的に本実施の形態5について説明する。 It will be specifically described fifth embodiment. 実施の形態5が上記実施の形態1〜実施の形態4と異なる点は、直接モードのために記憶すべき動きベクトルの記憶量を削減する方法として、パリティ毎に動きベクトルを格納する点である。 The difference from Embodiment 5 is Embodiment 4 of Embodiment 1 embodiment of the above-described embodiment, as a method to reduce the storage amount of the motion vector to be stored for direct mode is that stores a motion vector for each parity .
【0137】 [0137]
図19において、ピクチャを示す記号のうち、上段の記号が振られている単位で符号化と復号化の処理が行われる。 19, among the symbol indicating the picture, processing of encoding and decoding is performed in units of upper symbols are swung. 例えば、図19においては、すべてのピクチャがフィールド単位で処理される。 For example, in FIG. 19, all the pictures are processed in field units. まず、図19を用いて動画像を構成するピクチャをフィールド構造で扱う場合における直接モードについて説明する。 First, the direct mode will be described in a case dealing with pictures that constitute a moving picture with a field structure with reference to FIG.
【0138】 [0138]
現在の処理対象ピクチャが、フィールドB31であるとする。 Current processing target picture, and a field B31. すなわち、フレームB3はフィールド構造で処理される。 That is, the frame B3 is processed by the field structure. またフィールドB31は参照ピクチャとしてフィールドP11、フィールドP12、フィールドP41またはフィールドP42を用いるとする。 Also the field B31 Field P11, field P12, using the field P41 or fields P42 as a reference picture. これらの参照ピクチャは、すでに符号化または復号化処理が完了している。 These reference pictures have already been coded or decoding process is completed. また、フレームP1、フレームP4はフィールド単位で処理がなされているものとする。 The frame P1, the frame P4 is assumed to have been made the processing in field units.
【0139】 [0139]
今、フィールドB31のブロックaを直接モードで処理する場合を考える。 Now, consider the case of processing in the direct mode block a field B31. この場合、第2参照インデックスが「0」である参照ピクチャ(ここではデフォルトで参照インデックスが割り振られているとする)であるフィールドP41中の、ブロックaと同一位置にあるブロックbの動きベクトルを利用する。 In this case, the second reference index in field P41 that is a reference picture is "0" (here, the default reference indices are assigned), the motion vector of the block b in the same position and block a use to. 以下では、この動きベクトルを「参照動きベクトル」と呼ぶ。 In the following, the motion vector is referred to as a "reference motion vector".
【0140】 [0140]
ここでは、図19のように、ブロックbが、動きベクトルAを用いて処理されており、この動きベクトルAは、フィールドP11を参照している場合について説明する。 Here, as in FIG. 19, block b is, are processed using the motion vector A, the motion vector A is described for the case referring to the field P11. この場合、ブロックaは、参照動きベクトルAから所定の方法により計算して得られる動きベクトルを用いて、前方参照フィールドであるフィールドP11(参照動きベクトルAが指しているフィールド)と後方参照フィールドであるフィールドP41(ブロックbが属するフィールド)とから動き補償を行う。 In this case, the block a is using the motion vector from the reference motion vector A obtained by calculation by a predetermined method, the field P11 is a front reference field and the (field reference motion vector A is pointing) with backward reference field It performs motion compensation from a certain field P41 (field block b belongs). この場合にブロックaを処理する際に用いる動きベクトルは、フィールドP11に対しては動きベクトルB、フィールドP41に対しては動きベクトルCになるとする。 The motion vectors used in processing the block a in the case, to be a motion vector C for the motion vector B, field P41 for field P11. この際、動きベクトルAの大きさをMV1、動きベクトルBの大きさをMVf1、動きベクトルCの大きさをMVb1とすると、MVf1、MVb1はそれぞれ式3、式4によって得られる。 In this case, MV1 the magnitude of the motion vector A, when the magnitude of the motion vector B MVf1, and the magnitude of the motion vector C MVB1, MVf1, MVB1 each formula 3 is obtained by Equation 4.
【0141】 [0141]
(式3) MVf1= N1×MV1/D1 (Equation 3) MVf1 = N1 × MV1 / D1
(式4) MVb1=―M1×MV1/D1 (Equation 4) MVb1 = -M1 × MV1 / D1
以下ではこれらN1、M1、D1の値をスケーリング係数と呼ぶとする。 In the following the values ​​of these N1, M1, D1 is called a scaling factor. スケーリング係数は、フィールド単位で設定された値であるとする。 Scaling factor, and is a value set by the field unit. 例えばこの場合、スケーリング係数は、各フィールド間の時間的距離から設定することができる。 For example, in this case, the scaling factor can be set from the temporal distance between fields. 例えばフィールドP11からフィールドP41の時間的距離をD1、フィールドP11からフィールドB31の時間的距離をN1、フィールドB31からフィールドP41の時間的距離をM1と設定すれば、MVf1とMVb1はMVに平行な動きベクトルとなる。 For example the temporal distance D1 fields P41 from the field P11, the temporal distance N1 fields P11 from the field B31, is set from the field B31 a temporal distance field P41 M1 and, MVf1 and MVb1 parallel movement on MV a vector. ここで、スケーリング係数の値の決定方法としては、符号化側と復号化側で同じ規則により生成する(例えば時間情報(タイムスタンプ)から生成する)方法や、符号化時に設定して関連情報等として符号列中または符号列の付属情報として記述し、復号化時にスケーリング係数を符号列中または符号列の付属情報から取得する方法がある。 Here, as a method of determining the value of the scaling factor (generated from for example the time information (time stamp)) produced by the same rule on the encoding side and the decoding side method and, related information or the like is set at the time of encoding as described as additional information code sequence or in the code string, there is a method for obtaining a scaling factor in decoding the additional information of the code sequence or in the code string. そして直接モードにより符号化されているブロックを復号化する際には、式3、式4を用いてMVf1、MVb1を計算すれば良い。 And when decoding the block being coded by the direct mode, Formula 3, it may be calculated to MVf1, MVB1 using Equation 4.
【0142】 [0142]
さて、動きベクトル記憶部116の動作について説明する。 Now, the operation of the motion vector storage unit 116. 動きベクトル記憶部116に格納される動きベクトル数は符号化制御部110により指定される。 Number of motion vectors stored in the motion vector storage unit 116 is specified by the coding control unit 110. また、ここではトップフィールドの動きベクトルとボトムフィールドの動きベクトルを1フィールド分ずつ格納するとする。 Further, here, the store one field minute motion vectors of the motion vector and the bottom field of the top field.
【0143】 [0143]
この場合、格納する動きベクトルとしては、参照ピクチャのうち符号化または復号化の順で直前に符号化または復号化された参照ピクチャの動きベクトルを格納する方法がある。 In this case, the motion vector stored, there is a method of storing motion vectors of the reference picture that is encoded or decoded immediately before in the order of encoding or decoding of the reference pictures. ここで、すでに動きベクトル記憶部116に記憶されている動きベクトルは、符号化モードが決定される度に、動きベクトルを順に上書きすれば良い。 Here, a motion vector is already stored in the motion vector storage unit 116, every time the coding mode is determined, it may be overwriting the motion vector in order.
【0144】 [0144]
具体的には図20(a)に示すように、動きベクトル記憶部106を先入れ先出し方式(FIFO)のメモリと同様に制御し、新規のものが格納されると記憶した時刻が古い記憶内容が順に破棄され、常に最新のピクチャが保存されるようにする。 More specifically, as shown in FIG. 20 (a), the motion vector storage unit 106 and controlled in the same manner as the memory of the first-in first-out (FIFO), the old stored contents the stored time and stores those new in turn It is discarded, always have the latest picture is stored. また、図20(a)ではIピクチャまたはPピクチャが符号化または復号化されるときに用いられた動きベクトルのみを保存する場合について示す。 Also shows the case of storing only the motion vector used when FIG 20 (a) in an I-picture or P-picture is encoded or decoded. これは直接モードが用いられるBピクチャがIピクチャまたはPピクチャのみを参照する場合を前提としているためである。 This is because the B-picture which direct mode is used is on the assumption that refers to only an I picture or P picture. Bピクチャが他のBピクチャを参照するような場合には、参照ピクチャとして用いられるBピクチャを符号化または復号化されるときに用いられた動きベクトルも保存すれば良い。 If B pictures that refer to other B-picture, the motion vector may also be stored that is used when a B picture to be used as a reference picture is encoded or decoded.
【0145】 [0145]
フィールドB31の符号化または復号化においては、メモリアドレスM1にはフィールドP41を符号化または復号化したときの動きベクトルが記憶されており、メモリアドレスM1に記憶されている動きベクトルAを用いて動きベクトルBおよび動きベクトルCを導出することが可能である。 Motion in the encoding or decoding of fields B31, the memory address M1 and the motion vector is stored at the time of encoding or decoding field P41, using the motion vector A stored in the memory address M1 it is possible to derive the vector B and the motion vector C. なお、メモリアドレスM2にはフィールドP42を符号化または復号化したときの動きベクトルが記憶されている。 Note that the memory address M2 motion vector when encoding or decoding a field P42 is stored.
【0146】 [0146]
動きベクトル記憶部106の別の例としては図20(b)に示すように、トップフィールドの動きベクトルとボトムフィールドの動きベクトルとを2フィールド分ずつ格納することができるものが考えられる。 Another example of the motion vector storage unit 106 as shown in FIG. 20 (b), which can store a motion vector of the motion vector and the bottom field of the top field by two fields minutes is considered. この場合、動きベクトル記憶部106を先入れ先出し方式(FIFO)のメモリと同様に制御し、メモリアドレスM11に記憶されている動きベクトルは新たに動きベクトルが格納されることになればメモリアドレスM12に移動し、メモリアドレスM12に記憶されている動きベクトルは削除される。 Moving this case, the motion vector storage unit 106 and the memory as well as the control of the first-in first-out (FIFO), the motion vectors stored in the memory address M11 in the memory address M12 if that new motion vector is stored and, motion vectors stored in the memory address M12 is deleted. メモリアドレスM21、M22についても同様である。 The same applies to the memory address M21, M22.
【0147】 [0147]
なお、パリティごとに複数のピクチャに対する動きベクトルの記憶領域がある場合、特に不要な画像については、明示的に開放することも可能である。 Incidentally, if there is a storage area of ​​the motion vector for each parity for a plurality of pictures, particularly of unwanted images, it is also possible to explicitly open. また、使用するメモリの物理的な配置は、連続する配置である必要はなく、FIFO的な動作によってメモリ領域の使用の有無が決定されるようにすればよい。 Moreover, the physical arrangement of the memory to be used need not be arranged to continuously, by the FIFO behavior may be as the presence or absence of use of the memory area is determined.
【0148】 [0148]
また、図20における説明では符号化または復号化の対象となるピクチャが全てフィールドの場合について述べたが、符号化または復号化の対象となるピクチャがフレームである場合、その符号化または復号化の対象となるフレームを動き補償するときに用いた動きベクトルは、図20(a)ではメモリアドレスM1、メモリアドレスM2ともに格納するようにしてもよい。 Further, in the description of FIG. 20 has been described when the picture to be coded or decoded all fields, pictures to be encoded or decoded when the frame, of the encoding or decoding motion vector used when motion compensation frame of interest, the memory address M1 in FIG. 20 (a), the may be the memory address M2 together store. 図20(b)においても同様に、メモリアドレスM11、メモリアドレスM21ともに格納するようにしてもよい。 Similarly, in FIG. 20 (b), the memory address M11, may be the memory address M21 both stores. 符号化または復号化対象のピクチャがフィールドであり、参照ピクチャがフレームである場合、参照ピクチャをフィールドとして扱う。 Picture to be coded or decoded is in a field, if the reference picture is a frame, treat the reference picture as a field. そして、直接モードにおいては、第2参照インデックスが「0」である参照フィールドの動きベクトルを利用するが、この場合、第2参照インデックスが「0」である参照フィールドが元々フレーム構造で処理されていると、そのフレームに含まれる2つのフィールドは、フレーム構造の動きベクトルと同じ動きベクトルを有していると考える。 Then, in the direct mode, the second reference index utilizes a motion vector of the reference field is "0", in this case, reference field second reference index is "0" is processed originally frame structure being considered as two fields included in the frame has the same motion vector as the motion vector of the frame structure. よって、フレーム構造で処理された動きベクトルをメモリアドレスM1とM2の両者に格納することにより、参照ピクチャがフィールド構造とフレーム構造のいずれで処理されているかを意識することなく、直接モードにおいて利用する動きベクトルを取得することができる。 Therefore, by storing a motion vector which has been treated with the frame structure to both the memory address M1 and M2, without reference pictures is aware of whether it is treated in any field structure and the frame structure is utilized in the direct mode it is possible to obtain a motion vector.
【0149】 [0149]
一方、このように参照ピクチャであるフレームと同一のピクチャがトップフィールドとボトムフィールドの両者にあるものとして扱わない場合、つまり、例えばトップフィールド用のメモリアドレスに参照ピクチャであるフレームが符号化または復号化対象であったときにこのフレームを動き補償するときに用いた動きベクトルを保存する場合、参照インデックスの再付与によって(参照インデックスは変更(リマッピング)可能であるため)、参照する動きベクトルを誤る可能性がある。 On the other hand, if in this way a reference picture frame with the same picture is not treated as being in both the top and bottom fields, i.e., frames are encoded or decoded such as reference picture to the memory address for the top field to save the motion vectors used at the time of motion compensating the frame when there was a reduction target, by the re-application of the reference index (change reference index (for remapping) allows a), a motion vector that references there is a chance for error. なお、このように参照ピクチャであるフレームと同一のピクチャがトップフィールドとボトムフィールドの両者にあるものとして扱わない場合でも、図20(a)に示すように動きベクトルを保存するメモリアドレスが1ピクチャ分であれば、参照インデックスの再付与が生じても、参照する動きベクトルが誤るという問題は起こりにくい。 Even if such a reference the same picture and a frame a picture is not treated as being in both the top and bottom fields, the memory address is one picture to store the motion vector as shown in FIG. 20 (a) if the minute, even if re-application of the reference index is generated, a problem that the motion vector to be referred to err is less likely to occur.
【0150】 [0150]
このように、フィールドのパリティごとに動きベクトルを格納するように制御することで、フィールド構造でピクチャを処理する場合であっても、直接モードにおいて必要となる動きベクトルを上書きすることがない。 Thus, by controlling so as to store a motion vector for each field parity, even when processing a picture in the field structure, it is not possible to overwrite motion vector required in the direct mode.
さらに、上記実施の形態1と実施の形態2で説明した本願発明とフィールドのパリティごとに動きベクトルを格納するように制御することとを適応的に組み合わせることが可能である。 Furthermore, it is possible to combine and controlling to store the motion vectors for each parity of the present invention and fields described in the second embodiment as in the first embodiment adaptively. そして、フィールドのパリティごとに動きベクトルを格納するように制御することで、動きベクトルを格納する量を制限してメモリ量の削減を図ることができ、かつフィールド構造でピクチャを処理する場合であっても、直接モードにおいて必要となる動きベクトルを上書きすることがない。 By controlling so as to store a motion vector for each field parity, by limiting the amount of stored motion vectors it is possible to reduce the memory amount, and there in the case of processing a picture with a field structure even, never overwrite the motion vector required in the direct mode. また、同一フレームに属する2つのフィールド(トップフィールドとボトムフィールド)を符号化または復号化するときに用いた動きベクトルを1組として格納するようにするとよい。 Also, a motion vector may be adapted to store as a set that used when encoding or decoding the two fields belonging to the same frame (top and bottom fields). 同一フレームに属するかどうかは、例えばピクチャ番号の連続性とパリティを示す情報とによって判断することができる。 Whether belong to the same frame, it can be determined by information indicating continuity and parity example picture number. あるいは、フレームP1、フレームB2、フレームB3、およびフレームP4の連続性を示す情報から判断することができる。 Alternatively, the frame P1, frame B2, can be determined from information indicating the continuity of the frame B3, and the frame P4. また、本実施の形態のおいては、ピクチャ単位でフレーム構造とフィールド構造のいずれで符号化または復号化するかを切り替える場合について説明したが、これはピクチャ内のブロック単位でフレーム構造とフィールド構造のいずれで符号化または復号化するかを切り替えても良い。 Further, Oite of this embodiment has described the case where switching between the encoding or decoding either a frame structure and a field structure on a picture-by-picture basis, which frame structure and field structure blocks in the picture may be switched either on whether encoding or decoding of. この場合、フレーム構造で処理したブロックの動きベクトルは、トップフィールド用の動きベクトルメモリとボトムフィールド用の動きベクトルメモリの両者に保持し、フィールド構造でブロックの動きベクトルは、該当するパリティの動きベクトルメモリに保持すれば良い。 In this case, the motion vectors of the blocks treated with the frame structure holds the motion vector memory both for the motion vector memory and the bottom field for the top field, the motion vector of a block in the field structure, the appropriate parity motion vector it may be held in memory.
【0151】 [0151]
(実施の形態6) (Embodiment 6)
さらに、上記各実施の形態で示した動画像符号化方法および動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 Furthermore, a program for realizing the structure of the moving picture coding method and the moving picture decoding method described in each of embodiments, by to record on a recording medium such as a flexible disk, the above respective embodiments the processing illustrated in the form, it is possible to easily executed in an independent computer system.
【0152】 [0152]
図21は、上記実施の形態1から実施の形態5の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 Figure 21 is an explanatory view of a recording medium for storing a program for realizing the moving picture coding method and the moving picture decoding method of the computer system of the fifth embodiment from the first embodiment.
図21(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図21(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 FIG. 21 (b), a full appearance of a flexible disk, its structure at cross section and shows a flexible disk, FIG. 21 (a) shows an example of a physical format of the flexible disk as a recording medium body. フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。 A flexible disk FD is contained in a case F, on the surface of the disc, from the periphery concentrically toward the inner periphery is formed with a plurality of tracks Tr, each track is divided into 16 sectors Se in the angular direction ing. 従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。 Therefore, in the flexible disk storing the above program in an area assigned for it on the flexible disk FD, the moving picture coding method and the moving picture decoding method as the program is recorded.
【0153】 [0153]
また、図21(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 Further, FIG. 21 (c) shows the structure for recording and reproducing the program on the flexible disk FD. 上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての動画像符号化方法および動画像復号化方法を、フレキシブルディスクドライブを介して書き込む。 When the program is recorded on the flexible disk FD, the moving picture coding method and the moving picture decoding method as a program from a computer system Cs, written via a flexible disk drive. また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 Also, when building the moving picture coding method and the moving picture decoding method by the program on the flexible disk in the computer system, the program is read out from the flexible disk via the flexible disk drive and transferred to the computer system.
【0154】 [0154]
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。 In the above description it has been described using a flexible disk as a recording medium, can be carried out in the same manner even when using an optical disk. また、記録媒体はこれに限らず、CD−ROM、メモリカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 The recording medium is not limited to this, CD-ROM, memory card, ROM cassette or the like, can be used in the same manner if a program can be recorded on them.
【0155】 [0155]
(実施の形態7) (Embodiment 7)
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。 Furthermore now be described a system using them and applications of the moving picture coding method and moving picture decoding method shown in the above embodiment.
図22は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。 Figure 22 is a block diagram showing an overall configuration of a content supply system ex100 for realizing content distribution service. 通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。 And area for providing communication service is divided into a desired size, and base stations ex107~ex110 are installed respectively fixed wireless stations in each cell.
【0156】 [0156]
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。 The content supply system ex100, for example, the Internet ex101 via an Internet service provider ex102 and the telephone network ex104, and the base station Ex107~ex110, computer ex111, PDA (personal digital assistant) ex112, a camera ex 113, a cellular phone ex 114, a camera each device, such as a per mobile phone ex115 are connected.
【0157】 [0157]
しかし、コンテンツ供給システムex100は図22のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 22, it may be connected to a combination of any of them. また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。 Moreover, not through the base stations ex107~ex110 which are the fixed wireless stations, each device may be connected directly to the telephone network ex104.
【0158】 [0158]
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。 The camera ex113 is a device capable of shooting video such as a digital video camera. また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。 The mobile phone, PDC (Personal Digital Communications) system, CDMA (Code Division Multiple Access) system, W-CDMA (Wideband-Code Division Multiple Access) system or GSM (Global System for Mobile Communications) system mobile phone, or a PHS (Personal Handyphone System) or the like, does not matter either.
【0159】 [0159]
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。 Furthermore, the streaming server ex103, the base station from the camera ex 113 ex 109, which is connected via the telephone network ex104, the user which enables live distribution or the like based on coded data transmitted using a camera ex 113. 撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。 The coding process of the obtained data is carried out in the camera ex 113, it may be performed in a server or the like for transmitting data. また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。 The moving picture data shot by a camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。 The camera ex116 is a still image such as a digital camera, video is an apparatus capable shooting. この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。 In this case, coding of the moving image data may be either be performed by the computer ex111 be performed in the camera ex 116. また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。 The encoding process will process the LSIex117 with the computer ex111 or the camera ex 116. なお、動画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。 The moving image any type of storage medium coded software for decrypting a recording medium which is readable by the computer ex111 or the like (CD-ROM, a flexible disk, hard disk, etc.) may be integrated into. さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。 Furthermore, a cell phone with a camera ex115 may transmit the moving picture data. このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 Video data at this time is coded data by an LSI included in the cell phone ex115.
【0160】 [0160]
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。 In this content supply system ex100, the user is transmitted to the camera ex 113, content being captured by the camera ex116 or the like (e.g., video or the like taken music live) streaming server ex103 is treated form similarly coded above embodiments On the other hand, the streaming server ex103 makes stream distribution of the content data to the clients at their requests. クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。 The clients include capable of decoding the above-mentioned coded data, computer ex 111, PDA ex112, the camera ex113, the cellular phone ex114 or the like. このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 Content supply system ex100 in doing so can receive and reproduce the coded data in the client, receives and decodes in real time further client by playing, also realize personal broadcasting possible is made system.
【0161】 [0161]
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。 Encoding each apparatus in this system, it is sufficient to use the moving picture coding apparatus or the moving picture decoding apparatus described in each of embodiments to decoding.
その一例として携帯電話について説明する。 A cell phone will be explained as an example.
図23は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex115を示す図である。 Figure 23 is a diagram showing the cell phone ex115 using the moving picture coding method and the moving picture decoding method explained in the above embodiment. 携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着 Mobile phone ex115 has an image of the antenna ex201, CCD camera or the like for transmitting and receiving radio waves between the base station ex110, a still image is possible is the camera unit ex203 to take, video captured by the camera unit ex203, the antenna ex201 a display unit ex202 such as a liquid crystal display received video or the like to display the decoded data to a body unit including a set of operation keys ex204, a voice output unit ex208 such as a speaker for audio output, audio input microphone audio input unit ex205 for movie data or still image data, received mail data, data of moving image data or still image, for storing coded data or decoded data of the recording medium ex207, attaching the storage medium ex207 to the cell phone ex115 能とするためのスロット部ex206を有している。 And a slot portion ex206 to ability. 記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。 Recording medium ex207 is obtained by storing the flash memory device is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) that is a nonvolatile memory capable of electrically rewriting and erasing in a plastic case such as an SD card.
【0162】 [0162]
さらに、携帯電話ex115について図24を用いて説明する。 The cell phone ex115 will be explained with reference to FIG. 24. 携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。 Cell phone ex115, a main control unit ex311 that is adapted controls each section of the main body which contains the display unit ex202 as well as the operation keys ex204, to a power supply circuit unit ex310, an operation input control unit ex304, a picture coding parts ex 312, a camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex 302, the picture decoding unit ex 309, demultiplexing unit ex 308, a recording reproduction unit ex307, a modem circuit unit ex306 and a voice processing unit ex305 via a synchronous bus ex313 They are connected to each other.
【0163】 [0163]
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。 Power supply circuit unit ex310, upon call-end and power key by a user operation is turned on, which activates the camera-equipped digital mobile phone ex115 to an operable state by supplying power to each unit from the battery pack .
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 Cell phone ex115 may, CPU, under the control of the main control unit ex311 comprised of a ROM and RAM, etc., and converted into digital audio data audio signal collected by the voice input unit ex205 in voice conversation mode and the voice processing unit ex 305, This spread spectrum processing by the modem circuit unit ex 306, and transmits via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301. また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声データに変換した後、これを音声出力部ex208を介して出力する。 The cell phone ex115 performs frequency transform and analog-to-digital conversion process amplifies the data received by the antenna ex201 in conversation mode, inverse spread spectrum processing by the modem circuit unit ex 306, analog voice and the voice processing unit ex305 after converting the data so as to output it via the voice output unit ex208.
【0164】 [0164]
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。 Furthermore, when transmitting an e-mail in data communication mode, text data of the e-mail inputted by operating the operation keys ex204 of the main body is sent out to the main control unit ex311 via the operation input control unit ex304. 主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 The main control unit ex311 includes, spread spectrum processing the text data by the modem circuit unit ex 306, and transmits to the base station ex110 via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301.
【0165】 [0165]
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。 When picture data is transmitted in data communication mode, supplied to the picture coding unit ex312 image data captured by the camera unit ex203 via the camera interface unit ex303. また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 Also, when the picture data is not transmitted, it is also possible to display the picture data shot by the camera unit ex203 via the camera interface unit ex303 and the LCD control unit ex302 directly on the display unit ex202.
【0166】 [0166]
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。 Picture coding unit ex312, which includes the picture coding apparatus as explained in the present invention, the encoding method using the image data supplied from the camera unit ex203 to the image coding apparatus described in the above embodiment to transform it into coded picture data by compression coding by, and sends this to the demultiplexing unit ex 308. また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 At this time, the cell phone ex115, to the multiplex separation portion ex308 voice collected by the voice input unit ex205 during the shooting with the camera unit ex203 as digital voice data via the voice processing unit ex305.
【0167】 [0167]
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 Demultiplexing unit ex308 includes the audio data supplied from the supplied encoded image data and the audio processing unit ex305 from the image coding unit ex312 multiplexes a predetermined method, the modem circuit unit the multiplexed data obtained as a result spread spectrum processing ex 306, and transmits via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301.
【0168】 [0168]
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信データを変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of the data communication mode moving image file linked to a Web page or the like in time, the data received from the base station ex110 via the antenna ex201 inverse spread spectrum processing by the modem circuit unit ex 306, multiplexing the resulting the data is supplied to the multiplex separation portion ex308.
【0169】 [0169]
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 is divided into a bit stream of the audio data of the image data by separating the multiplexed data, synchronization supplies the audio data to the audio processing unit ex305 supplies the coded picture data to the picture decoding unit ex309 via the bus ex 313.
【0170】 [0170]
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 Next, the picture decoding unit ex309, including the picture decoding apparatus as explained in the present invention, decodes the bit stream of the image data in the decoding method corresponding to the coding method as shown in the above-mentioned embodiments to generate reproduced moving picture data by which the supply to the display unit ex202 via the LCD control unit ex302, and thus moving picture data is displayed include, for example, in a moving picture file linked to a website. このとき同時に音声処理部ex305は、音声データをアナログ音声データに変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Voice processing unit ex305 At the same time, converts the audio data into analog audio data, which is supplied to the sound output unit ex 208, by which, for example, audio data Fukumaru in the moving picture file linked to a home page is reproduced that.
【0171】 [0171]
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図25に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。 Incidentally, not limited to the above-mentioned system, recently satellite, terrestrial and digital broadcasting in the news by at least moving picture coding apparatus of the embodiment in a digital broadcasting system as shown in FIG. 25 or it can be incorporated into any of the moving picture decoding apparatus. 具体的には、放送局ex409では映像情報のビットストリームが電波を介して通信または放送衛星ex410に伝送される。 More specifically, a bit stream of video information is transmitted from a broadcast station ex409 to or communicated with a broadcast satellite ex410 via radio waves. これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置によりビットストリームを復号化してこれを再生する。 Broadcasting satellite ex410 that received this, transmits radio waves for broadcasting, and receives the radio waves in home-use antenna ex406 with a satellite broadcast reception equipment, television (receiver) ex401 or a set top box (STB), such as ex407 Play this by decoding the bit stream by the device. また、記録媒体であるCDやDVD等の蓄積メディアex402に記録したビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した動画像復号化装置を実装することが可能である。 Further, reading the bit stream recorded on a storage medium ex402 such as a CD or a DVD that is a recording medium, it is possible to implement the moving picture decoding apparatus as shown in the above-mentioned embodiment in the reproducing apparatus ex403 for decoding . この場合、再生された映像信号はモニタex404に表示される。 In this case, the reproduced video signals are displayed on a monitor ex404. また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に動画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。 Also, to implement the moving picture decoding apparatus in the cable ex405 or a set top box ex407 connected to a satellite / terrestrial broadcasting antenna ex406 for cable television, configurations are contemplated to reproduce it on a television monitor ex408. このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。 Not in the set top box may incorporate moving picture decoding apparatus in the television. また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。 Also, receive signals from the satellite ex410 or the base station ex107 or the like in the car ex412 having an antenna ex 411, it is possible for reproducing moving pictures on a display device such as a car navigation system ex413 with the car ex412.
【0172】 [0172]
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。 Further, an image signal coded by the image coding apparatus as shown in the above-mentioned embodiments can be recorded in a recording medium. 具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。 As a specific example, and a DVD recorder for recording picture signals on a DVD disk ex421, a recorder ex420 such as a disk recorder for recording them on a hard disk. 更にSDカードex422に記録することもできる。 It can also be recorded on an SD card ex422. レコーダex420が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。 If the recorder ex420 includes the moving picture decoding apparatus as shown in the above-mentioned embodiment, the picture signals recorded on the DVD disk ex421 or the SD card ex422, can be reproduced for display on the monitor ex408.
【0173】 [0173]
なお、カーナビゲーションex413の構成は例えば図24に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。 Note that the configuration of the car navigation ex413 among the configuration shown in FIG. 24, for example, a camera unit ex203, the camera interface unit ex 303, configuration excluding the picture coding unit ex312 is considered, like that in the computer ex111, the television (receiver ) it may be considered in the ex401 and others.
【0174】 [0174]
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。 The terminal such as the cellular phone ex114, besides sending and receiving type terminal having both an encoder and a decoder, a transmission terminal of an encoder only, mounting form of the three types of the receiving terminal only decoder It can be considered.
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 Thus, it is possible to use in the devices and systems described above the moving picture coding method and the moving picture decoding method shown in the above embodiment, in so doing, it has been described in the above embodiment effect can be obtained.
【0175】 [0175]
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。 Further, the present invention is not limited to the above-described embodiments, and various modifications are possible or modified without departing from the scope of the present invention.
【0176】 [0176]
【発明の効果】 【Effect of the invention】
以上の様に、本発明の動画像符号化方法および動画像復号化方法によれば、直接モードで必要となる動きベクトルを格納するためのメモリ量を削減しつつ、より符号化効率の高い符号列を生成することができ、その実用的価値が高い。 As described above, according to the moving picture coding method and the moving picture decoding method of the present invention, while reducing the amount of memory for storing a motion vector required in the direct mode, a higher coding efficiency code It can generate a column, a high practical value.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の実施の形態1の動画像符号化装置の構成を示すブロック図である。 1 is a block diagram showing the configuration of a video encoding apparatus according to the first embodiment of the present invention.
【図2】(a)は、図1の動画像符号化装置に入力画像として入力されるピクチャの順序を示す図である。 2 (a) is a diagram showing the order of pictures inputted as an input image to the moving image encoding device of FIG. (b)は、(a)に示したピクチャの順序を符号化順に並べ替えた場合のピクチャの順序を示す図である。 (B) is a diagram showing the order of pictures when rearranged in the order of the coding order of pictures shown in (a).
【図3】図1に示した符号列生成部によって生成される符号列の一例を示す図である。 3 is a diagram showing an example of a code sequence generated by the code string generating section shown in FIG. (a)は、動きベクトルの記憶量に関する情報がシーケンスヘッダに記述された符号列の一例を示す図である。 (A) is a diagram showing an example of a code string information relating to the storage amount is described in the sequence header of the motion vector. (b)は、動きベクトルの記憶量に関する情報がGOP(Group of Pictures)ヘッダに記述された符号列の一例を示す図である。 (B) is a diagram showing an example of a code string information relating to the storage amount is written with a GOP (Group of Pictures) header of the motion vector. (c)は、動きベクトルの記憶量に関する情報がピクチャヘッダに記述された符号列の一例を示す図である。 (C) is a diagram showing an example of a code string information relating to the storage amount is described in the picture header of the motion vector. (d)は、動きベクトルの記憶量に関する情報がスライスヘッダに記述された符号列の一例を示す図である。 (D) is a diagram showing an example of a code string information relating to the storage amount is described in the slice header of the motion vector.
【図4】対象ブロックの動きベクトルを、直接モードを用いて計算する場合の計算方法の一例を示す図である。 [4] The motion vector of the target block is a diagram showing an example of a calculation method in the case of calculating using the direct mode.
【図5】Bピクチャを直接モードで符号化する際に第2参照インデックスが「0」の参照ピクチャの動きベクトルを利用できない場合の2方向予測の一例を示す図である。 5 is a diagram showing an example of bidirectional prediction in the case where the second reference index in encoding in the B picture Direct Mode is not available the motion vector of the reference picture "0".
【図6】Bピクチャを直接モードで符号化する際に第2参照インデックスが「0」の参照ピクチャの動きベクトルを利用できない場合の2方向予測の他の例を示す図である。 6 is a diagram showing another example of the bidirectional prediction in the case where the second reference index in encoding in the B picture Direct Mode is not available the motion vector of the reference picture "0".
【図7】実施の形態2の動画像復号化装置の構成を示すブロック図である。 7 is a block diagram showing a structure of a moving picture decoding apparatus of the second embodiment.
【図8】(a)は、符号列中に含まれるピクチャの順序を示すである。 8 (a) is shown a sequence of pictures included in the code sequence. (b)は、(a)に示したピクチャの並びを復号化順に並べ替えた場合のピクチャの順序を示す図である。 (B) is a diagram showing the order of pictures in the case of rearranged in decoding order a sequence of pictures as shown in (a).
【図9】記録媒体からのデータの再生を管理するための管理情報と、符号化されたAVデータとをDVDなどの記録媒体に記録する記録装置の概略的構成を示すブロック図である。 9 is a block diagram showing a management information for managing reproduction of data, the schematic configuration of a recording apparatus for recording the AV data encoded in a recording medium such as a DVD from the recording medium.
【図10】図9に示したシステム符号化部によって生成された管理情報とAV(Audio Video)ストリームとが記録されたDVDなどの記録媒体の一例を示す図である。 [10] management information generated by the system encoding unit shown in FIG. 9 and AV (Audio Video) and the stream is a diagram showing an example of a recording medium such as the recorded DVD.
【図11】図9に示した記録装置に備えられる動画像符号化装置の構成を示すブロック図である。 11 is a block diagram showing the configuration of a video encoding device provided in the recording apparatus shown in FIG.
【図12】(a)は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。 [12] (a) is a diagram showing the order of pictures and their encoded input to the display order. (b)は、従来のMPEG−4符号化方式において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。 (B), in the conventional MPEG-4 encoding method is a diagram showing the reference picture and the motion vector is stored in memory along with the encoding of each picture.
【図13】(a)は、表示順に入力されたピクチャとそれらの符号化の順を示す図である。 13 (a) is a diagram showing the order of pictures and their encoded input to the display order. (b)は、図11に示した動画像符号化装置において、各ピクチャの符号化に伴ってメモリ内に格納される参照ピクチャと動きベクトルとを示す図である。 (B) is a diagram showing the video encoding apparatus shown in FIG. 11, a reference picture and motion vectors to be stored in memory along with the encoding of each picture.
【図14】デジタルテレビ放送で送信されるデータストリームの一例を示す図である。 14 is a diagram showing an example of a data stream transmitted by digital television broadcast.
【図15】実施の形態4の再生装置の概略的構成を示すブロック図である。 15 is a block diagram showing a schematic configuration of a reproducing apparatus of the fourth embodiment.
【図16】図15に示したビデオ復号化部に相当する動画像復号化装置の構成を示すブロック図である。 16 is a block diagram showing the configuration of a video decoding apparatus corresponding to the video decoding unit shown in FIG.
【図17】符号化または復号化の対象ピクチャがフィールド構造である場合のピクチャ間の参照関係の一例を示す図である。 [17] target picture to be coded or decoded is a diagram showing an example of a reference relationship between pictures in the case of the field structure.
【図18】符号化または復号化の対象ピクチャがフレームである場合についてピクチャ間の参照関係の一例を示す図である。 18 is a diagram showing an example of a reference relationship between pictures in the case the target picture to be coded or decoded is a frame.
【図19】動画像を符号化または復号化する際の、各フレームの時間的並びを示す図である。 [Figure 19] when encoding or decoding a moving picture, a diagram showing the temporal sequence of each frame.
【図20】(a)は、動きベクトルを保存するメモリアドレスが1ピクチャ分である場合のメモリの動作を説明するための模式図である。 [Figure 20] (a) is a schematic view for explaining the operation of the memory when the memory address for storing the motion vector is one picture. (b)は、トップフィールドの動きベクトルとボトムフィールドの動きベクトルとを2フィールド分ずつ格納する場合のメモリの動作を説明するための模式図である。 (B) is a schematic diagram for explaining the operation of the memory in the case of storing the motion vector of the motion vector and the bottom field of the top field by two fields minutes.
【図21】上記各実施の形態の動画像符号化方法、動画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 [21] The moving picture coding method of the embodiment, the moving picture decoding method using the program recorded in a recording medium such as a flexible disk, an explanatory diagram in the case of implementing by a computer system. (a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 (A) shows an example of a physical format of the flexible disk as a recording medium body. (b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、(c) は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 (B) shows a front view of a flexible disk, its structure at cross section and shows a flexible disk, (c) shows the structure for recording and reproducing the program on the flexible disk FD.
【図22】コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。 FIG. 22 is a block diagram showing an overall configuration of a content supply system ex100 for realizing content distribution service.
【図23】上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex115を示す図である。 23 is a diagram showing the cell phone ex115 using the moving picture coding method and the moving picture decoding method explained in the above embodiment.
【図24】携帯電話の構成を示すブロック図である。 FIG. 24 is a block diagram showing the configuration of a mobile phone.
【図25】ディジタル放送用システムの一例を示す図である。 25 is a diagram showing an example of a digital broadcasting system.
【図26】従来の直接モードにおけるピクチャ間予測方法の一例を示す図である。 26 is a diagram showing an example of the inter picture prediction method in a conventional direct mode.
【図27】入力された各ピクチャに対するピクチャ番号および参照インデックスの付与の一例を示す説明図である。 FIG. 27 is an explanatory diagram showing an example of application of picture numbers and reference indices for each inputted picture.
【図28】従来の動画像符号化方法、動画像復号化方法における画像符号化信号のフォーマットを示す概念図である。 [Figure 28] conventional moving picture coding method, a conceptual diagram showing a format of an image coded signal in the moving picture decoding method.
【図29】(a)は、Bピクチャが前方4枚および後方1枚のPピクチャを参照ピクチャとして符号化される場合における符号化対象ピクチャB11に対する参照インデックスの初期設定の一例を示す図である。 [29] (a) is a diagram showing an example of a reference index of the initial setting for the encoding target picture B11 in the case of B picture is coded as a reference picture to the front four and rear 1 P pictures . (b)は、(a)に示した参照インデックスに対して、リマッピングが行われた場合におけるピクチャB11の参照インデックスの一例を示す図である。 (B) is a diagram showing an example of a reference index picture B11 when the relative reference index showing, remapping was done (a).
【符号の説明】 DESCRIPTION OF SYMBOLS
100 動画像符号化装置101、107 フレームメモリ102 差分演算部103 予測残差符号化部104 符号列生成部105 予測残差復号化部106 加算演算部108 動きベクトル検出部109 モード選択部110 符号化制御部111、112、113、114、115 スイッチ116 動きベクトル記憶部700 動画像復号化装置701 符号列解析部702 予測残差復号化部703 モード復号部705 動き補償復号部706 動きベクトル記憶部707 フレームメモリ708 加算演算部709、710 スイッチCs コンピュータシステムFD フレキシブルディスクFDD フレキシブルディスクドライブ 100 video encoding apparatus 101 and 107 frame memory 102 difference calculation unit 103 the prediction residual coding unit 104 code string generation unit 105 prediction residual decoding unit 106 adder 108 motion vector detecting section 109 mode selection unit 110 coding control unit 111, 112, 113, 114 switch 116 the motion vector storage unit 700 the moving picture decoding apparatus 701 bit stream analysis unit 702 the prediction residual decoding unit 703 mode decoding unit 705 the motion compensation decoding unit 706 motion vector storage unit 707 The frame memory 708 adder 709 and 710 switch Cs computer system FD flexible disk FDD flexible disk drive

Claims (55)

  1. 複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、 A method of coding a moving picture is a sequence of composed picture of a plurality of blocks,
    動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、 A step while motion compensation using the motion vector and coding a moving picture on a block basis, to generate a code sequence,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成するステップと、 And generating control information indicating a restriction on the storage of motion vectors used for motion compensation,
    生成された前記制限情報を符号化するステップとを有することを特徴とする動画像符号化方法。 Video encoding method characterized by having a step of encoding the restriction information generated.
  2. さらに、前記動き補償を行う際に用いた動きベクトルのうち、他のピクチャ内のブロックが直接モードで符号化されるとき、そのブロックによって参照される可能性がある動きベクトルを記憶領域に格納するステップと、 Furthermore, among the motion vectors used in performing the motion compensation, when a block in another picture is coded in direct mode, and stores the motion vector that may be referenced by the block in the storage area and the step,
    前記記憶領域に格納されている動きベクトルのうち、所定の条件を満たす動きベクトル以外の動きベクトルを前記記憶領域から削除する削除ステップとを有し、 Among the motion vectors stored in the storage area, and a deletion step of deleting a motion vector other than the predetermined condition is satisfied motion vector from said storage area,
    前記直接モードは、符号化済みピクチャで動き補償に用いられた動きベクトルを参照して、符号化されるピクチャ内のブロックの動き補償を行う符号化モードであることを特徴とする請求項1記載の動画像符号化方法。 The direct mode, by referring to the motion vector used for motion compensation in coded picture, according to claim 1, characterized in that a coding mode in which motion compensation of a block in a picture to be coded moving picture coding method.
  3. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of encoding while motion compensation using the motion vector,
    符号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記符号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを判断するステップと、 When a picture to be coded is a one of the fields of the interlaced image composed of top and bottom fields, the step of pictures of the encoding target is determined whether the said bottom field either said top field When,
    前記符号化対象のピクチャが前記トップフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きベクトルをトップフィールド用の記憶領域に格納し、前記符号化対象のピクチャが前記ボトムフィールドであると判断された場合に、符号化対象ピクチャの動き補償に用いた動きベクトルをボトムフィールド用の記憶領域に格納するステップとを有することを特徴とする動画像符号化方法。 When the picture of the encoding target is determined to be the top field, and stores the motion vector used for motion compensation of the encoding target picture in the storage area for the top field, the picture of the encoding target the If it is determined that the bottom field, the moving picture coding method characterized by a step of storing the motion vector used for motion compensation of the encoding target picture in the storage area for the bottom field.
  4. 前記トップフィールド用の記憶領域に格納する動きベクトルと、前記ボトムフィールド用の記憶領域に格納する動きベクトルとは、同一フレームに属するトップフィールドとボトムフィールドを符号化するときに用いた動きベクトルであることを特徴とする請求項3記載の動画像符号化方法。 A motion vector stored in the storage area for the top field, the a motion vector to be stored in the storage area for the bottom field is the motion vector used when encoding the top field and the bottom field belonging to the same frame moving picture coding method according to claim 3, wherein a.
  5. さらに、符号化対象のピクチャをフレーム構造で符号化する場合に、前記符号化対象ピクチャの動き補償に用いた動きベクトルを、トップフィールド用の記憶領域とボトムフィールド用の記憶領域とに格納するステップを有することを特徴とする請求項3記載の動画像符号化方法。 Furthermore, storing the picture to be coded when encoding a frame structure, a motion vector used for motion compensation of the current picture to be coded, to a storage area and a storage area for the bottom field for top field moving picture coding method according to claim 3, wherein a.
  6. さらに、前記符号化対象のピクチャの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成するステップと、 Further, the step of generating control information indicating a restriction on the storage of the motion vectors used for motion compensation of the encoding target picture,
    生成された前記制限情報を符号化するステップとを有することを特徴とする請求項3記載の動画像符号化方法。 Moving picture coding method according to claim 3, wherein a and a step of encoding the restriction information generated.
  7. 前記制限情報を符号化するステップでは、前記制限情報を動画像の符号列中のヘッダ情報として符号化することを特徴とする請求項1又は請求項6記載の動画像符号化方法。 Wherein the restriction information step of encoding, according to claim 1 or claim 6 moving picture coding method, wherein the coding the restriction information as header information in a code string of a moving image.
  8. 前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか1つのヘッダ情報であることを特徴とする請求項7記載の動画像符号化方法。 Said header information, the header information to be added to the code string entire header, within the header information to be added to the header of the header information is added to the header of each picture or slice units, is the one of the header information video encoding method of claim 7, wherein a.
  9. 前記制限情報を符号化するステップでは、前記制限情報を動画像の符号列とは異なる情報である管理情報として符号化することを特徴とする請求項1又は請求項6記載の動画像符号化方法。 In the step of encoding the control information, the moving picture coding method according to claim 1 or claim 6, wherein the encoded as management information is information different from the code sequence of moving images the restriction information .
  10. さらに、前記制限情報に基づいて動きベクトルを記憶領域に格納するステップを有することを特徴とする請求項1又は請求項6に記載の動画像符号化方法。 Furthermore, the moving picture coding method according to claim 1 or claim 6, characterized by the step of storing the motion vector in the storage region based on the restriction information.
  11. 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報であることを特徴とする請求項1又は請求項6記載の動画像符号化方法。 The restriction information according to claim 1 or claim 6 moving picture coding method, wherein the information indicating the number of sheets or macro blocks of the picture.
  12. 前記制限情報はピクチャを符号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報であることを特徴とする請求項1又は請求項6記載の動画像符号化方法。 The restriction information is the information indicating whether to store the motion vector of the picture and before many sheets from the picture having the sequence or the encoding target block based on the order in which to display the picture for encoding pictures in the storage area claim 1 or claim 6 moving picture coding method wherein a.
  13. さらに、前記符号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを示すフィールド情報を符号化するステップを有することを特徴とする請求項3記載の動画像符号化方法。 Furthermore, the moving picture coding method according to claim 3, comprising the step of picture of the encoding target is encoded field information indicating which the bottom field either said top field.
  14. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of encoding while motion compensation using the motion vector,
    符号化対象ブロックの符号化モードを決定する決定ステップと、 A determination step of determining a coding mode of the encoding target block,
    前記符号化対象ブロックの符号化モードが直接モードである場合に、参照インデックスで特定される符号化済ピクチャの動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、 If the encoding mode of the encoding target block is a direct mode, a judgment step that the motion vectors of the code haze picture specified by the reference index is determined whether stored in a storage unit,
    前記参照インデックスで特定される符号化済フレームの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象ブロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う導出ステップとを有し、 The motion vector of code haze frame specified by the reference index, if it is determined not to be stored in the storage unit, located in the coded picture and the same picture with a target block the encoding target block and a deriving step for performing motion compensation of the current block using a motion vector used when encoding the block at the neighborhood,
    前記直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、 The direct mode is a coding mode in which motion compensation of the current block using a motion vector used when a block of code haze in the picture has been encoded,
    前記参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであることを特徴とする動画像符号化方法。 The reference index from a plurality of code haze pictures stored in the storage unit, for selecting a reference picture to be referred to when performing motion compensation for the current block, the code Kasumi picture moving picture coding method, characterized in that an index granted for.
  15. さらに、前記参照インデックスで特定される符号化済フレームの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックの動きベクトルを「0」として前記符号化対象ブロックの動き補償を行う別の導出ステップを有することを特徴とする請求項14記載の動画像符号化方法。 Furthermore, the motion vector of code haze frame specified by the reference index, if it is determined not to be stored in the storage unit, the encoding target block motion vector of the encoding target block as "0" video encoding method of claim 14, characterized in that it comprises a separate derivation step of performing the motion compensation.
  16. さらに、前記参照インデックスで特定される符号化済フレームを符号化するときに用いた動きベクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きベクトルを用いて前記符号化対象ブロックの動き補償を行う別の導出ステップを有することを特徴とする請求項14記載の動画像符号化方法。 Further, when a motion vector used when encoding the code haze frame specified by the reference index is determined to be stored in the storage unit, using the motion vector stored in the storage unit video encoding method of claim 14, characterized in that it comprises a separate derivation step of performing motion compensation of the current block Te.
  17. 複数のブロックから構成されるピクチャの並びである動画像を符号化する方法であって、 A method of coding a moving picture is a sequence of composed picture of a plurality of blocks,
    動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、 A step while motion compensation using the motion vector and coding a moving picture on a block basis, to generate a code sequence,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成する第一の出力ステップと、 A first output step of generating control information indicating a restriction on the storage of motion vectors used for motion compensation,
    前記符号化対象ブロックが参照するピクチャがBピクチャである場合に、前記Bピクチャを符号化するときに用いた動きベクトルを記憶しないことを示す保存情報を生成する第二の出力ステップと、 If the picture where the encoding target block refers is a B-picture, and a second output step of generating storage information indicating that no stored motion vectors used in the encoding of the B picture,
    生成された前記制限情報と前記保存情報とを符号化するステップとを有し、 The and generated the restriction information and the stored information and a step of encoding,
    前記Bピクチャは、ブロック毎に最大2枚のピクチャを参照して動き補償を行うピクチャであることを特徴とする動画像符号化方法。 The B picture, moving picture coding method which is a picture to be a reference to motion compensation up to two pictures per block.
  18. 前記制限情報と前記保存情報とを符号化するステップでは、前記制限情報と前記保存情報とを前記符号列中のヘッダ情報として符号化することを特徴とする請求項17記載の動画像符号化方法。 In the step of encoding the said storage information and the restriction information, the moving picture coding method according to claim 17, wherein the encoding and the restriction information and the stored information as header information in the code sequence .
  19. 前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか1つのヘッダ情報であることを特徴とする請求項18記載の動画像符号化方法。 Said header information, the header information to be added to the code string entire header, within the header information to be added to the header of the header information is added to the header of each picture or slice units, is the one of the header information video encoding method of claim 18, wherein a.
  20. 前記制限情報と前記保存情報とを符号化するステップでは、前記制限情報と前記保存情報とを前記符号列とは異なる情報である管理情報として符号化することを特徴とする請求項17記載の動画像符号化方法。 In the step of encoding the said storage information and the restriction information, according to claim 17, wherein the video, characterized in that for encoding and the storage information and the restriction information as management information is information different from the code sequence image encoding method.
  21. さらに、前記保存情報に基づき前記Bピクチャを符号化するときに用いた動きベクトルを記憶領域に格納せず、符号化順で、前記符号化対象ブロックを有するピクチャの直前に符号化されたPピクチャの動きベクトルを記憶領域に格納するステップを有し、 Furthermore, the not store the B picture based on the stored information the motion vector used when encoding in the storage area, in coding order, P picture coded immediately before the picture with the encoding target block comprising the step of storing the motion vector in the storage area,
    前記Pピクチャは、ブロック毎に既に符号化済みのピクチャを最大1枚参照して予測符号化を行うピクチャであることを特徴とする請求項17記載の動画像符号化方法。 The P picture, the moving picture coding method according to claim 17, wherein it is a picture to be a predictive coding already reference maximum one of the coded pictures for each block.
  22. さらに、前記保存情報に基づき前記Bピクチャを符号化するときに用いた動きベクトルを記憶領域に格納せず、表示順で、前記符号化対象ブロックを有するピクチャの直前に表示されるPピクチャの動きベクトルを記憶領域に格納するステップを有し、 Furthermore, without storing the motion vector used in the encoding of the B picture based on the stored information in the storage area, in display order, the motion of the P picture that is displayed immediately before the picture with the encoding target block comprising the step of storing the vector in the storage area,
    前記Pピクチャは、ブロック毎に既に符号化済みのピクチャを最大1枚参照して予測符号化を行うピクチャであることを特徴とする請求項17記載の動画像符号化方法。 The P picture, the moving picture coding method according to claim 17, wherein it is a picture to be a predictive coding already reference maximum one of the coded pictures for each block.
  23. 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報であることを特徴とする請求項17記載の動画像符号化方法。 The restriction information video encoding method of claim 17, wherein the information indicating the number of sheets or macro blocks of the picture.
  24. 前記制限情報はピクチャを符号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報であることを特徴とする請求項17記載の動画像符号化方法。 The restriction information is the information indicating whether to store the motion vector of the picture and before many sheets from the picture having the sequence or the encoding target block based on the order in which to display the picture for encoding pictures in the storage area video encoding method of claim 17, wherein a.
  25. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector,
    復号化対象ブロックの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、 Inputting the encoded data stream having a restriction information indicating a restriction on the storage of the motion vectors used for motion compensation decoding target block,
    前記符号化列を復号化し前記制限情報を抽出するステップと、 Extracting the control information by decoding the encoded sequence,
    前記制限情報に基づいて動きベクトルを記憶領域に格納するステップとを有することを特徴とする動画像復号化方法。 Moving picture decoding method characterized by a step of storing the motion vector in the storage region based on the restriction information.
  26. 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報であることを特徴とする請求項25記載の動画像復号化方法。 The restriction information moving picture decoding method of claim 25, wherein the information indicating the number of sheets or macro blocks of the picture.
  27. 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報であることを特徴とする請求項25記載の動画像復号化方法。 The restriction information is the information indicating whether to store the motion vector of the picture and before many sheets from the picture having the sequence or the encoding target block based on the order in which to display the picture decoding a picture in a storage area moving picture decoding method of claim 25, wherein a.
  28. 前記制限情報は前記符号化列のヘッダ情報中にあり、前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか1つのヘッダ情報であることを特徴とする請求項25記載の動画像復号化方法。 The restriction information is in the header information of the encoded data stream, the header information, with the header information to be added to the code string entire header, header information is added to the header of each picture or the header of the slice, within the header information, moving picture decoding method of claim 25, characterized in that the one of the header information.
  29. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector,
    復号化対象のピクチャがトップフィールドとボトムフィールドとからなるインタレース画像のいずれかのフィールドである場合に、前記復号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを判断するステップと、 If the picture to be decoded is one of the fields of the interlaced image composed of top and bottom fields, the step of pictures of the decoded to determine whether it is the bottom field either said top field When,
    前記復号化対象のピクチャが前記トップフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きベクトルをトップフィールド用の記憶領域に格納し、前記復号化対象のピクチャが前記ボトムフィールドであると判断された場合に、復号化対象ピクチャの動き補償に用いた動きベクトルをボトムフィールド用の記憶領域に格納するステップとを有することを特徴とする動画像復号化方法。 When the picture of the decoding target is determined to be the top field, and stores the motion vector used for motion compensation of the target picture to be decoded in the storage area for the top field, the picture of the decoding target the moving picture decoding method characterized by having when it is determined that a bottom field, and storing the motion vector used for motion compensation of the target picture to be decoded in the storage area for the bottom field.
  30. 前記トップフィールド用の記憶領域に格納する動きベクトルと、前記ボトムフィールド用の記憶領域に格納する動きベクトルとは、同一フレームに属するトップフィールドとボトムフィールドを復号化するときに用いた動きベクトルであることを特徴とする請求項29記載の動画像復号化方法。 A motion vector stored in the storage area for the top field, the a motion vector to be stored in the storage area for the bottom field is the motion vector used when decoding the top field and the bottom field belonging to the same frame moving picture decoding method of claim 29, wherein a.
  31. さらに、復号化対象のピクチャがフレーム構造で符号化されたピクチャである場合に、前記復号化対象ピクチャの動き補償に用いた動きベクトルを、トップフィールド用の記憶領域とボトムフィールド用の記憶領域とに格納するステップを有することを特徴とする請求項29記載の動画像復号化方法。 Furthermore, when the picture to be decoded is a picture coded in the frame structure, a motion vector used for motion compensation of the decoded picture, a storage area and a storage area for the bottom field for top field moving picture decoding method of claim 29, characterized in that it comprises the step of storing the.
  32. さらに、前記復号化対象のピクチャの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報と、前記復号化対象のピクチャが前記トップフィールドであるか前記ボトムフィールドであるかを示すフィールド情報とを有する符号化列から前記制限情報とフィールド情報とを抽出するステップを有し、 Further, the restriction information indicating a restriction on the storage of motion vectors used for motion compensation picture of the decoded, and a field information picture of the decoded indicates whether said bottom field either said top field from the coding sequence having comprising the step of extracting said control information and field information,
    前記動きベクトルを記憶ステップにおいて、前記制限情報と前記フィールド情報とに基づいて動きベクトルを記憶領域に格納することを特徴とする請求項29記載の動画像復号化方法。 In storing step the motion vector, the restriction information and the field information and the moving picture decoding method of claim 29, wherein storing the motion vector in the storage area based on.
  33. 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報であることを特徴とする請求項32記載の動画像復号化方法。 The restriction information moving picture decoding method of claim 32, wherein the information indicating the number of sheets or macro blocks of the picture.
  34. 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記符号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報であることを特徴とする請求項32記載の動画像復号化方法。 The restriction information is the information indicating whether to store the motion vector of the picture and before many sheets from the picture having the sequence or the encoding target block based on the order in which to display the picture decoding a picture in a storage area moving picture decoding method of claim 32, wherein a.
  35. 前記制限情報は前記符号化列のヘッダ情報中にあり、前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか1つのヘッダ情報であることを特徴とする請求項32記載の動画像復号化方法。 The restriction information is in the header information of the encoded data stream, the header information, with the header information to be added to the code string entire header, header information is added to the header of each picture or the header of the slice, within the header information, moving picture decoding method of claim 32, characterized in that the one of the header information.
  36. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector,
    復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、 Inputting the encoded data stream having a coding mode information indicating a coding mode decoding target block,
    前記符号化列を復号化し前記符号化モード情報を抽出するステップと、 Extracting the coded mode information decoding the encoded sequence,
    前記符号化モード情報が直接モードを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、 And when the encoding mode information indicates the direct mode, a determining step of motion vector used when decoding the decrypted picture specified by the reference index is determined whether stored in a storage unit ,
    前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記復号化対象ブロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップとを有し、 The motion vector of the decrypted picture specified by the reference index, if it is determined not to be stored in the storage unit, the decoding target block located within the same picture and the picture with the current block and a deriving step for performing motion compensation of the current block using a motion vector used when decoding the block surrounding,
    前記直接モードは、参照するピクチャ中において前記復号化対象ブロックと同じ位置にあるブロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、 The direct mode is a reference coding mode for motion compensation of the current block using a motion vector used when a block is decoded in the in the picture at the same position as the current block to Yes,
    前記参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであることを特徴とする動画像復号化方法。 The reference index from a plurality of decrypted picture stored in the storage unit, for selecting a reference picture to be referred to when performing motion compensation for the decoding target block, the decrypted picture moving picture decoding method, characterized in that an index granted for.
  37. さらに、前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックの動きベクトルを「0」として前記復号化対象ブロックの動き補償を行う別の導出ステップを有することを特徴とする請求項36記載の動画像復号化方法。 Furthermore, the motion vector of the decrypted picture specified by the reference index, if it is determined not to be stored in the storage unit, the current block the motion vector of the current block as "0" moving picture decoding method of claim 36, wherein it has a different derivation step of performing the motion compensation.
  38. さらに、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されていると判断された場合に、記憶部に格納されている前記動きベクトルを用いて前記復号化対象ブロックの動き補償を行う別の導出ステップを有することを特徴とする請求項36記載の動画像復号化方法。 Further, when a motion vector used when decoding the decrypted picture specified by the reference index is determined to be stored in the storage unit, using the motion vector stored in the storage unit moving picture decoding method of claim 36, wherein it has a different derivation step of performing motion compensation of the current block Te.
  39. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する方法であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a method of decoding while motion compensation using the motion vector,
    復号化対象ブロックの動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報と、前記復号化対象ブロックが参照するピクチャがBピクチャであるときに、前記Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納しないことを示す保存情報とを有する符号化列を入力する入力ステップと、 When the restriction information indicating a restriction on the storage of the motion vectors used for motion compensation decoding target block, picture the decoding target block refers is a B-picture, motion used when decoding the B-picture an input step of inputting the encoded data stream and a storage information indicating that no stored vector in the storage unit,
    前記符号化列を復号化し前記制限情報と前記保存情報とを抽出する抽出ステップと、 An extraction step of decoding the encoded data stream to extract said storage information and the restriction information,
    前記制限情報に基づいて動きベクトルを記憶部に格納し、さらに前記保存情報に基づいてBピクチャを復号化するときに用いた動きベクトルを記憶部に格納しない格納ステップとを有し、 Storing the motion vector in the storage unit on the basis of the restriction information, further comprising a storage step does not store the motion vector storage unit used when decoding the B-picture based on the storage information,
    前記Bピクチャは、ブロック毎に最大2枚の復号化済みピクチャを参照して動き補償を行うピクチャであることを特徴とする動画像復号化方法。 The B picture, moving picture decoding method which is a picture to be a reference to motion compensation decoded pictures of two up for each block.
  40. さらに、前記格納ステップにおいて、前記保存情報に基づき前記Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納せず、復号化順で、前記復号化対象ブロックを有するピクチャの直前に復号化されたPピクチャの動きベクトルを記憶部に格納し、 Further, in the storing step, without storing the motion vectors used at the time of decoding the B picture based on the stored information in the storage unit, in decoding order, decoding immediately before the picture with the current block storing motion vectors of reduction has been P-picture in the storage unit,
    前記Pピクチャは、ブロック毎に既に復号化済みのピクチャを最大1枚参照して動き補償を行うピクチャであることを特徴とする請求項39記載の動画像復号化方法。 The P picture, the moving picture decoding method of claim 39, wherein the already decoded pictures for each block with reference one up a picture to perform motion compensation.
  41. さらに、前記格納ステップにおいて、前記保存情報に基づき前記Bピクチャを復号化するときに用いた動きベクトルを記憶部に格納せず、表示順で、前記復号化対象ブロックを有するピクチャの直前に表示されるPピクチャの動きベクトルを記憶部に格納し、 Further, in the storing step, without storing the motion vectors used at the time of decoding the B picture based on the stored information in the storage unit, in display order, it is displayed immediately before the picture with the current block the motion vector of the P-picture stored in the storage unit that,
    前記Pピクチャは、ブロック毎に既に復号化済みのピクチャを最大1枚参照して動き補償を行うピクチャであることを特徴とする請求項39記載の動画像復号化方法。 The P picture, the moving picture decoding method of claim 39, wherein the already decoded pictures for each block with reference one up a picture to perform motion compensation.
  42. 前記制限情報はピクチャの枚数またはマクロブロック数を示す情報であることを特徴とする請求項39記載の動画像復号化方法。 The restriction information moving picture decoding method of claim 39, wherein the information indicating the number of sheets or macro blocks of the picture.
  43. 前記制限情報はピクチャを復号化する順番またはピクチャを表示する順番を基準に前記復号化対象ブロックを有するピクチャから何枚前までのピクチャの動きベクトルを記憶領域に格納するかを示した情報であることを特徴とする請求項39記載の動画像復号化方法。 The restriction information is the information indicating whether to store the motion vector of the picture and before many sheets from the picture with the order or the current block based on the order in which to display the picture decoding a picture in a storage area moving picture decoding method of claim 39, wherein a.
  44. 前記制限情報は前記符号化列のヘッダ情報中にあり、前記ヘッダ情報は、符号列全体のヘッダに付されるヘッダ情報、ピクチャ単位のヘッダに付されるヘッダ情報、またはスライス単位のヘッダに付されるヘッダ情報のうち、いずれか1つのヘッダ情報であることを特徴とする請求項39記載の動画像復号化方法。 The restriction information is in the header information of the encoded data stream, the header information, with the header information to be added to the code string entire header, header information is added to the header of each picture or the header of the slice, within the header information, moving picture decoding method of claim 39, wherein it is one of the header information.
  45. 複数のブロックから構成されるピクチャの並びである動画像を符号化する動画像符号化装置であって、 A moving picture coding apparatus for coding a moving picture is a sequence of composed picture of a plurality of blocks,
    動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成する手段と、 A moving image while a motion compensation using motion vectors encoded in block units, means for generating a code sequence,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成する手段と、 It means for generating control information indicating a restriction on the storage of motion vectors used for motion compensation,
    生成された前記制限情報を符号化する手段とを備えることを特徴とする動画像符号化装置。 Moving picture coding apparatus according to claim the generated the restriction information be provided with means for encoding.
  46. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化する動画像符号化装置であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a moving picture encoding apparatus for encoding while motion compensation using the motion vector,
    直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであるとした場合に、 Direct mode is a coding mode in which motion compensation of the current block using a motion vector used when a block of code haze in the picture is coded, the reference index stored in the storage unit a plurality of code haze picture that is, to select a reference picture to be referred to when performing motion compensation for the current block, if it is an index which is assigned to the code haze picture If it is,
    符号化対象ブロックの符号化モードを決定する決定手段と、 Determining means for determining a coding mode of the encoding target block,
    前記符号化対象ブロックの符号化モードが前記直接モードである場合に、前記参照インデックスで特定される符号化済ピクチャの動きベクトルが記憶部に格納されているかどうかを判断する判断手段と、 If the encoding mode of the encoding target block is the direct mode, a determination unit configured motion vector of code haze picture identified by the reference index to determine whether stored in a storage unit,
    前記参照インデックスで特定される符号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象ブロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う導出手段とを備えることを特徴とする動画像符号化装置。 The motion vector of code haze picture specified by the reference index, if it is determined not to be stored in the storage unit, located in the coded picture and the same picture with a target block the encoding target block video encoding apparatus characterized by comprising a derivation unit that performs motion compensation of the current block using a motion vector used when encoding the block surrounding.
  47. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する動画像復号化装置であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a moving picture decoding apparatus for decoding while the motion compensation using the motion vector,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を有する符号化列を入力する手段と、 Means for inputting the encoded data stream having a restriction information indicating a restriction on the storage of motion vectors used for motion compensation,
    前記符号化列を復号化し前記制限情報を抽出する手段と、 It means for extracting the control information by decoding the encoded sequence,
    前記制限情報に基づいて動きベクトルを記憶領域に格納する手段とを備えることを特徴とする動画像復号化装置。 Video decoding apparatus characterized by comprising a means for storing the motion vector in the storage region based on the restriction information.
  48. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化する動画像復号化装置であって、 A moving picture is a sequence of composed picture of a plurality of blocks, a moving picture decoding apparatus for decoding while the motion compensation using the motion vector,
    直接モードは、復号化済ピクチャ中のブロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであるとした場合に、 Direct mode is a coding mode in which motion compensation of the current block using a motion vector used when a block in the decrypted picture is decoded, the reference index is stored in the storage unit a plurality of decrypted picture that is, to select a reference picture to be referred to when performing motion compensation for the current block, if it is an index which is assigned to the decrypted picture If it is,
    復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力する手段と、 Means for inputting the encoded data stream having a coding mode information indicating a coding mode decoding target block,
    前記符号化列を復号化し前記符号化モード情報を抽出する手段と、 It means for extracting said coded mode information decoding the encoded sequence,
    前記符号化モード情報が直接モードを示している場合に、参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されているかどうかを判断する判断手段と、 And when the encoding mode information indicates the direct mode, a determination unit configured motion vector used when decoding the decrypted picture specified by the reference index is determined whether stored in a storage unit ,
    前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記復号化対象ブロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出手段とを備えることを特徴とする動画像復号化装置。 The motion vector of the decrypted picture specified by the reference index, if it is determined not to be stored in the storage unit, the decoding target block located within the same picture and the picture with the current block video decoding apparatus characterized by comprising a derivation unit that performs motion compensation of the current block using a motion vector used when decoding the block surrounding.
  49. 複数のブロックから構成されるピクチャの並びである動画像を符号化するためのプログラムであって、 A program for coding a moving picture is a sequence of composed picture of a plurality of blocks,
    動きベクトルを用いた動き補償を行いながら動画像をブロック単位で符号化し、符号列を生成するステップと、 A step while motion compensation using the motion vector and coding a moving picture on a block basis, to generate a code sequence,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を生成するステップと、 And generating control information indicating a restriction on the storage of motion vectors used for motion compensation,
    生成された前記制限情報を符号化するステップとをコンピュータに行わせるプログラム。 And to perform the steps on a computer to encode the restriction information generated.
  50. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら符号化するためのプログラムであって、 A moving picture is a sequence of composed picture of a plurality of blocks, a program for coding while the motion compensation using the motion vector,
    直接モードは、符号化済ピクチャ中のブロックが符号化されたときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の符号化済ピクチャから、前記符号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記符号化済ピクチャに対して付与されたインデックスであるとした場合に、 Direct mode is a coding mode in which motion compensation of the current block using a motion vector used when a block of code haze in the picture is coded, the reference index stored in the storage unit a plurality of code haze picture that is, to select a reference picture to be referred to when performing motion compensation for the current block, if it is an index which is assigned to the code haze picture If it is,
    符号化対象ブロックの符号化モードを決定する決定ステップと、 A determination step of determining a coding mode of the encoding target block,
    前記符号化対象ブロックの符号化モードが前記直接モードである場合に、前記参照インデックスで特定される符号化済ピクチャの動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、 If the encoding mode of the encoding target block is the direct mode, a judgment step that the motion vectors of the code haze picture identified by the reference index to determine whether stored in a storage unit,
    前記参照インデックスで特定される符号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記符号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記符号化対象ブロックの周辺にあるブロックを符号化するときに用いられた動きベクトルを用いて前記符号化対象ブロックの動き補償を行う導出ステップとをコンピュータに行わせるプログラム。 The motion vector of code haze picture specified by the reference index, if it is determined not to be stored in the storage unit, located in the coded picture and the same picture with a target block the encoding target block and to perform the a derivation step of performing motion compensation of the current block using a motion vector used when encoding the block at the periphery to the computer.
  51. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化するためのプログラムであって、 A moving picture is a sequence of composed picture of a plurality of blocks, a program for decoding while the motion compensation using the motion vector,
    動き補償に用いる動きベクトルの記憶に関する制限を示す制限情報を有する符号化列を入力するステップと、 Inputting the encoded data stream having a restriction information indicating a restriction on the storage of motion vectors used for motion compensation,
    前記符号化列を復号化し前記制限情報を抽出するステップと、 Extracting the control information by decoding the encoded sequence,
    前記制限情報に基づいて動きベクトルを記憶領域に格納するステップとをコンピュータに行わせるプログラム。 And to perform the step of storing the motion vector in the storage region based on the restriction information to the computer.
  52. 複数のブロックから構成されるピクチャの並びである動画像を、動きベクトルを用いた動き補償を行いながら復号化するためのプログラムであって、 A moving picture is a sequence of composed picture of a plurality of blocks, a program for decoding while the motion compensation using the motion vector,
    直接モードは、復号化済ピクチャ中のブロックが復号化されたときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う符号化モードであり、参照インデックスは、記憶部に格納されている複数の復号化済ピクチャから、前記復号化対象ブロックに対して動き補償を行うときに参照する参照ピクチャを選択するために、前記復号化済ピクチャに対して付与されたインデックスであるとした場合に、 Direct mode is a coding mode in which motion compensation of the current block using a motion vector used when a block in the decrypted picture is decoded, the reference index is stored in the storage unit a plurality of decrypted picture that is, to select a reference picture to be referred to when performing motion compensation for the current block, if it is an index which is assigned to the decrypted picture If it is,
    復号化対象ブロックの符号化モードを示す符号化モード情報を有する符号化列を入力するステップと、 Inputting the encoded data stream having a coding mode information indicating a coding mode decoding target block,
    前記符号化列を復号化し前記符号化モード情報を抽出するステップと、 Extracting the coded mode information decoding the encoded sequence,
    前記符号化モード情報が前記直接モードを示している場合に、前記参照インデックスで特定される復号化済ピクチャを復号化するときに用いた動きベクトルが記憶部に格納されているかどうかを判断する判断ステップと、 Determining the encoding mode information when the identification information indicates the direct mode, determining whether motion vectors used when decoding the decrypted picture specified by the reference index is stored in the storage unit and the step,
    前記参照インデックスで特定される復号化済ピクチャの動きベクトルが、記憶部に格納されていないと判断された場合に、前記復号化対象ブロックを有するピクチャと同一のピクチャ内にあり前記復号化対象ブロックの周辺にあるブロックを復号化するときに用いられた動きベクトルを用いて前記復号化対象ブロックの動き補償を行う導出ステップとをコンピュータに行わせるプログラム。 The motion vector of the decrypted picture specified by the reference index, if it is determined not to be stored in the storage unit, the decoding target block located within the same picture and the picture with the current block and to perform the a derivation step of performing motion compensation of the current block using a motion vector used when decoding the block at the periphery to the computer.
  53. 動きベクトルを用いた動き補償を行いながら、複数のブロックから構成されるピクチャの並びである動画像がブロック単位で符号化された符号列と、前記動き補償に用いる動きベクトルの記憶に関する制限を示す制御情報とが記録されていることを特徴とする記録媒体。 While motion compensation using the motion vector indicates motion picture is a sequence of composed picture of a plurality of blocks and code string encoded in block units, the restriction on the storage of the motion vectors used for the motion compensation recording medium, wherein the control information and is recorded.
  54. 前記制限情報は前記符号列中のヘッダ情報として記録されていることを特徴とする請求項53記載の記録媒体。 Recording medium according to claim 53, wherein the restriction information, characterized in that it is recorded as header information in the code sequence.
  55. 前記制限情報は、前記符号列とは異なる情報である管理情報として記録されていることを特徴とする請求項53記載の記録媒体。 The restriction information recording medium according to claim 53, wherein the recorded as the management information which is information different from the code sequence.
JP2003169832A 2002-07-26 2003-06-13 Moving picture coding method and the moving picture decoding method Expired - Fee Related JP4230289B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002218001 2002-07-26
JP2002229487 2002-08-07
JP2002289421 2002-10-02
JP2002305143 2002-10-18
JP2003169832A JP4230289B2 (en) 2002-07-26 2003-06-13 Moving picture coding method and the moving picture decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003169832A JP4230289B2 (en) 2002-07-26 2003-06-13 Moving picture coding method and the moving picture decoding method

Publications (3)

Publication Number Publication Date
JP2004194274A true true JP2004194274A (en) 2004-07-08
JP2004194274A5 true JP2004194274A5 (en) 2006-07-06
JP4230289B2 JP4230289B2 (en) 2009-02-25

Family

ID=32777285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003169832A Expired - Fee Related JP4230289B2 (en) 2002-07-26 2003-06-13 Moving picture coding method and the moving picture decoding method

Country Status (1)

Country Link
JP (1) JP4230289B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006019093A1 (en) * 2004-08-16 2006-02-23 Nippon Telegraph And Telephone Corporation Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
JP2008048199A (en) * 2006-08-17 2008-02-28 Fujitsu Ltd Motion prediction processing apparatus, image encoder and image decoder
KR100986992B1 (en) 2008-08-05 2010-10-11 연세대학교 산학협력단 Fast Inter Mode Decision Method in H.264 Encoding
JP2011010197A (en) * 2009-06-29 2011-01-13 Mitsubishi Electric Corp Image encoder and image decoder
WO2011152315A1 (en) * 2010-06-04 2011-12-08 ソニー株式会社 Image processing device and method
WO2012096157A1 (en) * 2011-01-12 2012-07-19 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, and image decoding device
KR20140085515A (en) * 2011-11-18 2014-07-07 모토로라 모빌리티 엘엘씨 Efficient storage of motion information for high efficiency video coding

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5052134B2 (en) * 2004-08-16 2012-10-17 日本電信電話株式会社 Image coding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program and an image decoding program
WO2006019093A1 (en) * 2004-08-16 2006-02-23 Nippon Telegraph And Telephone Corporation Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
JPWO2006019093A1 (en) * 2004-08-16 2008-05-08 日本電信電話株式会社 Image coding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program and an image decoding program
KR100941495B1 (en) * 2004-08-16 2010-02-10 니폰덴신뎅와 가부시키가이샤 Image encoding method, image decoding method, image encoding device, and image decoding device
US9402087B2 (en) 2004-08-16 2016-07-26 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
JP4592656B2 (en) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 Motion prediction processor, an image coding apparatus and image decoding apparatus
JP2008048199A (en) * 2006-08-17 2008-02-28 Fujitsu Ltd Motion prediction processing apparatus, image encoder and image decoder
KR100986992B1 (en) 2008-08-05 2010-10-11 연세대학교 산학협력단 Fast Inter Mode Decision Method in H.264 Encoding
JP2011010197A (en) * 2009-06-29 2011-01-13 Mitsubishi Electric Corp Image encoder and image decoder
WO2011152315A1 (en) * 2010-06-04 2011-12-08 ソニー株式会社 Image processing device and method
CN102939757A (en) * 2010-06-04 2013-02-20 索尼公司 Image processing device and method
WO2012096157A1 (en) * 2011-01-12 2012-07-19 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, and image decoding device
KR20140085515A (en) * 2011-11-18 2014-07-07 모토로라 모빌리티 엘엘씨 Efficient storage of motion information for high efficiency video coding
KR101662139B1 (en) 2011-11-18 2016-10-10 구글 테크놀로지 홀딩스 엘엘씨 Efficient storage of motion information for high efficiency video coding

Also Published As

Publication number Publication date Type
JP4230289B2 (en) 2009-02-25 grant

Similar Documents

Publication Publication Date Title
EP1569459A1 (en) Encoding method and decoding method of moving image
EP1406450A1 (en) Moving picture coding method and moving picture decoding method
EP1406451A1 (en) Image coding method and image decoding method
EP1432249A1 (en) Image encoding method and image decoding method
JP2003179933A (en) Image encoding method and image decoding method
JP2005277968A (en) Method for image coding and decoding
JP2004208259A (en) Motion vector calculating method
JP2004208258A (en) Motion vector calculating method
EP1422946A1 (en) Moving picture encoding method, moving picture decoding method, and recording medium
JP2004254327A (en) Image coding method and image decoding method
JP2004194297A (en) Method for encoding and decoding motion picture
JP2007520165A (en) Moving picture coding method and the moving picture decoding method
JP2004072712A (en) Motion vector encoding method and motion vector decoding method
JP2004215229A (en) Motion picture encoding method and motion picture decoding method
JP2003169337A (en) Image encoding method and image decoding method
JP2004048711A (en) Method for coding and decoding moving picture and data recording medium
JP2004274732A (en) Moving picture coding method and moving picture decoding method
JP2004088737A (en) Image encoding and decoding method
JP2004096705A (en) Motion vector coding method and motion vector decoding method
EP1418762A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
JP2004007563A (en) Method for encoding moving image and method for decoding moving image
JP2004088736A (en) Coding method and decoding method of motion picture, data stream, data record medium, and program
EP1589767A1 (en) Moving picture encoding method and moving picture decoding method
JP2004274694A (en) Image coding method and image decoding method
JP2009077454A (en) Moving picture decoding method, moving picture decoding apparatus, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081203

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees