JP2004048711A - Method for coding and decoding moving picture and data recording medium - Google Patents

Method for coding and decoding moving picture and data recording medium Download PDF

Info

Publication number
JP2004048711A
JP2004048711A JP2003136452A JP2003136452A JP2004048711A JP 2004048711 A JP2004048711 A JP 2004048711A JP 2003136452 A JP2003136452 A JP 2003136452A JP 2003136452 A JP2003136452 A JP 2003136452A JP 2004048711 A JP2004048711 A JP 2004048711A
Authority
JP
Japan
Prior art keywords
picture
motion vector
decoding
reference
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003136452A
Other languages
Japanese (ja)
Inventor
Seishi Abe
Makoto Hagai
Toshiyuki Kondo
Shinya Sumino
安倍 清史
羽飼 誠
角野 眞也
近藤 敏志
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002148218 priority Critical
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2003136452A priority patent/JP2004048711A/en
Publication of JP2004048711A publication Critical patent/JP2004048711A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable use of B picture and directional modes even if a picture coded behind in a displaying order cannot be referred to, and maintain high coding efficiency. <P>SOLUTION: In the circumstance where the picture coded behind in the displaying order sequentially cannot be referred to, motion vectors in already-coded blocks in the same picture are referred to when performing predictive coding using the directional mode. A method thus realizes the directional mode without referring to the following picture in the sequential order. Furthermore, by deleting an item of referencing rearward picture reference from a table of the coding modes, thereby reducing the number of the items in the table, the high coding efficiency is also achieved in a motion compensation only to the forward direction. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、動画像の符号化方法および復号化方法に関し、特に時間的に前方または後方にある既に符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャを対象とした予測符号化方法および予測復号化方法に関する。 The present invention relates to a coding method and decoding method of moving image, in particular temporally predicted targeted already B picture to be a predictive coding with reference to the plurality of pictures coded in forward or backward code method and a predictive decoding method.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。 Generally, in coding of a moving picture, the amount of information is compressed by reducing redundancy in temporal and spatial directions. そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。 Therefore, in inter picture prediction coding which aims at reducing the temporal redundancy, the detection and motion compensation of a motion block basis with reference to forward and backward pictures, and the obtained predictive picture and a current picture encoding is performed with respect to the difference value.
【0003】 [0003]
現在標準化中の動画像符号化方法であるH. H. is currently moving picture coding method in the standardization 26Lでは、ピクチャ内予測符号化をのみを行うピクチャ(Iピクチャ)、および時間的に前方にある1枚のピクチャを参照してピクチャ間予測符号化を行うピクチャ(Pピクチャ)、さらに時間的に前方にある2枚のピクチャもしくは時間的に後方にある2枚のピクチャもしくは時間的に前方および後方にあるそれぞれ1枚ずつのピクチャを参照してピクチャ間予測符号化を行うピクチャ(Bピクチャ)が提案されている。 In 26L, the picture for performing intra picture prediction coding only (I-picture), and temporally picture that performs with reference to one picture in front inter picture prediction coding (P-picture), further temporally Referring to pictures one by one each in the two pictures or temporally forward and backward in the two pictures or backward in time in front picture for performing inter picture prediction coding (B-picture) is Proposed. H. H. 26L以前の符号化方法であるMPEG(Motion Picture Experts Group)1およびMPEG2およびMPEG4では、Bピクチャは同一方向には1枚のピクチャしか参照できなかったが、H. 26L The MPEG (Motion Picture Experts Group) 1 and MPEG2 and MPEG4 are previous coding method, B-pictures could not only refer one picture in the same direction, H. 26Lでは2枚参照できるように変更されていることが1つの大きな特徴である。 It is an important feature that has been modified so that it can be referenced two in 26L.
【0004】 [0004]
図16は、従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。 16, each picture in a conventional moving picture coding method, a diagram showing an example of a reference relation between pictures to be referenced thereby. 同図において、ピクチャI1〜ピクチャB20は、この順で表示される。 In the figure, the picture I1~ picture B20 is displayed in this order. 図17(a)は、図16に示したピクチャB18の周辺にあるピクチャを表示順で抜き出して示す図である。 17 (a) is a diagram illustrating only the picture in the periphery of the picture B18 as shown in FIG. 16 in display order. 図17(b)は、ピクチャB18を図17(a)に示した参照関係で符号化する場合におけるピクチャB18の周辺ピクチャの符号化順を示す図である。 17 (b) is a diagram illustrating a coding order of the peripheral picture of the picture B18 in the case of encoding the reference relationship shown a picture B18 in FIG. 17 (a).
【0005】 [0005]
ピクチャI1は参照ピクチャを持たずピクチャ内予測符号化を行い、ピクチャP10は時間的に前方にあるピクチャP7を参照しピクチャ間予測符号化を行っている。 Picture I1 performs intra picture prediction coding is performed without reference pictures, picture P10 is performed with reference to the inter picture prediction coding the picture P7 that is temporally ahead. また、ピクチャB6は時間的に前方にある2つのピクチャ(ピクチャI1およびピクチャP4)を参照し、ピクチャB12は時間的に後方にある2つのピクチャ(ピクチャP13およびピクチャP16)を参照し、ピクチャB18は時間的に前方および後方にあるそれぞれ1枚ずつのピクチャ(ピクチャP16およびピクチャP19)を参照してピクチャ間予測符号化を行っている。 Also, the picture B6 refers to two pictures temporally in front (picture I1 and the picture P4), the picture B12 refers to two pictures temporally behind (the picture P13 and the picture P16), the picture B18 It is performed by referring to the inter picture prediction coding picture (picture P16 and picture P19) of one by one each temporally in front and rear. このようにBピクチャを使用する符号化では時間的に後方にあるピクチャを参照するため、表示される順番では符号化を行うことが出来ない。 To refer to pictures in this manner in time the rear in coding using the B-picture can not be carried out encoding in the order in which they appear. つまり、図17(a)におけるピクチャB18のようなBピクチャがあった場合は、それが参照するピクチャP19を先に符号化する必要がある。 That is, when there is a B-picture such as picture B18 in FIG. 17 (a), the it is necessary to encode previously a picture P19 that reference it. そのため、ピクチャB16からピクチャB19を図17(b)のような順番に並び替えて符号化を行わなくてはならない。 Therefore, it must be carried out encoding rearranged from the picture B16 and the picture B19 in the order shown in FIG. 17 (b).
【0006】 [0006]
時間的に前方にある1枚のピクチャを参照してピクチャ間予測符号化を行うPピクチャの予測モードのひとつとしてスキップモードがある。 Temporally have skip mode as a prediction mode for P picture to be a reference to the inter picture prediction coding of one picture in front. スキップモードでは符号化対象ブロックに直接動きベクトルの情報を持たせずに、周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動き補償に使用する動きベクトルを決定し、符号化対象ブロックの属するピクチャの時間的に直前にあるPピクチャから予測画像を生成することによって動き補償を行う。 Without having the information of direct motion vector to the encoding target block in the skip mode, with reference to motion vectors of coded blocks located on the periphery to determine the motion vector to be used for motion compensation of the encoding target block, performing motion compensation by generating a predicted image from the P-picture located temporally just before the picture belongs encoding target block.
【0007】 [0007]
図18は、同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。 18, when referring to a motion vector of coded blocks positioned around the target block within the same picture, a diagram showing the positional relationship between the coded block and the target block to be referenced motion vector is there. 図18(a)は符号化を行う符号化対象ブロックBL51が16画素×16画素のサイズであった場合の例であり、図18(b)は符号化を行うブロックBL52が8画素×8画素のサイズであった場合の例を示している。 FIG. 18 (a) is an example for a coding target block BL51 to be encoded is of a size of 16 pixels × 16 pixels, FIG. 18 (b) block BL52 for coding is 8 pixels × 8 pixels It shows an example where was size. ここでは、Pピクチャのスキップモードの際に動きベクトルを参照される符号化済みブロックと符号化対象ブロックとの位置関係を示している。 Here it is shown a positional relationship between the encoded blocks and encoding target block to be referenced to a motion vector when the skip mode P-picture. ブロックBL51がスキップモードを用いて符号化を行う16画素×16画素のブロックであり、基本的にA、B、Cの位置関係にある3つの符号化済みブロック(以下、Aの位置にあるブロックをブロックA、Bの位置にあるブロックをブロックB、Cの位置にあるブロックをブロックCという。)の動きベクトルを参照する。 Block BL51 is a block of 16 pixels × 16 pixels to be encoded by using a skip mode, essentially A, B, 3 single encoded block in the positional relationship of C (hereinafter, the block at the position A block a, block B blocks in position B, and blocks in position C of the block C.) Referring to the motion vector of. ただし、下記の条件に該当する場合は動きベクトルの参照を行わず、符号化対象ブロックの動きベクトルの値を「0」として直前のPピクチャを参照し、直接モードによる動き補償を行う。 However, if satisfying the conditions below without reference motion vector, the value of the motion vector of the current block with reference to the immediately preceding P picture as "0", performs motion compensation by direct mode.
【0008】 [0008]
1、ブロックAもしくはブロックBが、符号化対象ブロックが属するピクチャの外部もしくはスライスの外部であった場合。 1, if the block A or block B, the coding target block is an external external or slice of a picture belonging.
2、ブロックAもしくはブロックBが、直前のピクチャを参照する値「0」の動きベクトルを持つ場合。 2, when the block A or block B, having the motion vector of values ​​that refer to the picture just before the "0".
【0009】 [0009]
参照の対象となったブロックA、B、Cの3つのブロックが持つ動きベクトルの中から直前のPピクチャを参照する動きベクトルのみを取り出し、その中央値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。 Block A is a target of a reference, B, only the motion vectors which refer to the immediately preceding P-picture from the motion vector of the three blocks of C is removed and used in actual direct mode by taking the median as the motion vector. ただし、ブロックCが参照不可の場合は代わりにブロックDの動きベクトルを用いるものとする。 However, if the block C is a reference not to those using motion vectors of the block D instead.
【0010】 [0010]
図19は、Pピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。 Figure 19 is a diagram showing an example of a coded picture that is referenced by the motion vector and the motion vector to be referred to when the skip mode of the P-picture. ピクチャP64に属するブロックBL51を現在符号化しているブロックとする。 A block being currently encoded block BL51 belonging to the picture P64. この例では直前のピクチャを参照する動きベクトルは動きベクトルMVA1のみとなり、直接モードにおいて用いられる動きベクトルMV1は、動きベクトルMVA1の値をそのまま使用することになる。 Motion vector that refers to the last picture in this example is only the motion vector MVA1, the motion vector MV1 to be used in direct mode will accept the values ​​of the motion vectors MVA1. このような参照方法を使用することにより動きベクトルを符号化する必要がないため、出力符号列のビット量を減らすことが可能となる。 It is not necessary to encode the motion vector by using such a reference method, it is possible to reduce the amount of bits output code string. また、周辺のブロックを参照して動きベクトルを決定するため、カメラのパーン等の影響によって撮像物が一定方向に移動するような場合においてその効果が大きく得られる。 Further, in order to determine the motion vector by referring to the periphery of the block, the effect is obtained largely in case that the imaging object is moved in a predetermined direction by the influence of the pirn or the like of the camera.
【0011】 [0011]
時間的に前方にある2枚のピクチャもしくは時間的に後方にある2枚のピクチャもしくは時間的に前方および後方にあるそれぞれ1枚ずつのピクチャを参照してピクチャ間予測符号化を行うBピクチャの予測モードのひとつとして直接モードがある。 Temporally in two pictures or temporally two B pictures that picture or temporally with reference to the pictures one by one each on the front and back performing inter picture prediction coding that is backward in the front there is a direct mode as one of the prediction mode. 直接モードでは、符号化対象のブロックには直接動きベクトルを持たせず、符号化対象ピクチャの時間的に直後にある符号化済みピクチャ内の同じ位置にあるブロックの動きベクトルを参照することによって、実際に符号化対象ブロックの動き補償を行うための2つの動きベクトルを算出し、予測画像を作成する。 In direct mode, the block to be coded directly without having the motion vector by referring to the motion vector of the block in the temporally same position coded in a picture immediately following the current picture to be coded, actually calculate the two motion vectors for performing the motion compensation of the current block to generate a prediction image.
【0012】 [0012]
図20は、直接モードにおいて動きベクトルを決定する方法を説明するための図である。 Figure 20 is a diagram for explaining a method for determining a motion vector in the direct mode. ピクチャB73が現在符号化の対象としているBピクチャであり、ピクチャP72およびピクチャP74を参照ピクチャとして、直接モードによる双方向予測を行うものである。 A B picture picture B73 is currently targeted for encoding, as a reference picture to picture P72 and the picture P74, and performs bidirectional prediction by direct mode. 符号化を行うブロックをブロックBL71とすると、このとき必要とされる2つの動きベクトルは、符号化済みの後方参照ピクチャであるピクチャP74の同じ位置にあるブロックBL72の持つ動きベクトルMV71を用いて決定される。 When a block to be coded and a block BL71, 2 two motion vectors required at this time, determined using the motion vector MV71 with the block BL72 in the same position of the picture P74 is a backward reference picture of the coded It is. 動きベクトルMV71に対してピクチャ間隔TR72、TR73を用いてスケーリングを適用することによって、もしくは動きベクトルMV71に対して所定の係数をかけることによって、直接モードによって使用する2つの動きベクトルMV72、MV73が算出される。 By applying a scaling using the picture interval TR72, Tr73 to the movement vector MV71, or by applying a predetermined coefficient with respect to the motion vector MV71, 2 two motion vectors to be used by the direct mode MV72, MV73 is calculated It is. この2つの動きベクトルによって指定された2つの参照画像の画素値の平均をとることによって、ブロックBL71の符号化に必要とされる予測画像が生成される。 By taking the average of the pixel values ​​of the two reference image designated by the two motion vectors, prediction image required for coding the block BL71 is created. このように、直接モードで符号化を行うブロックでは、動きベクトルを符号化する必要がないため出力符号列のビット量を減らすことが可能となる。 Thus, in the block to be coded in direct mode, it is possible to reduce the amount of bits output code string since it is not necessary to encode the motion vector.
【0013】 [0013]
【非特許文献1】 Non-Patent Document 1]
Joint Video Team (JVT) of ISO/IEC MPEG and ITU−T VCEG −− JointCommittee Draft (2002−5−10) P. Joint Video Team (JVT) of ISO / IEC MPEG and ITU-T VCEG - JointCommittee Draft (2002-5-10) P. 99 11 B pictures 99 11 B pictures
【0014】 [0014]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、Bピクチャの直接モードを用いた動画像の符号化では、時間的に後方にあるピクチャを参照して符号化が行われるため、前記参照される可能性のあるピクチャを符号化対象のピクチャよりも先に符号化しておく必要があった。 However, in coding of a moving picture using direct mode of the B picture, the coded with reference to pictures in temporally backward it is performed, the picture that may be the reference of the encoding target picture there was a need to be coded earlier than. そのため、時間的に後方にあるピクチャを先に符号化および復号化することが出来ない環境下ではBピクチャの直接モードを用いた符号化を行うことが出来なかった。 Therefore, in an environment that can not be encoded and decoded pictures that are temporally succeeding the previously could not perform encoding using direct mode of the B picture.
【0015】 [0015]
本発明は上記のような問題点を解決するものであり、時間的に後方にあるピクチャが符号化対象ピクチャまたは復号化対象ピクチャよりも先に符号化および復号化されていない環境下においても、Bピクチャ、特に直接モードを矛盾なく使用することを可能とする方法を提案することを第1の目的とする。 The present invention is to solve the problems described above, even in an environment that has not been encoded and decoded before the temporally picture behind the encoding target picture or decoded picture, B-picture, a first object to propose a method which makes it possible to use consistently especially direct mode. さらに、本発明は、符号化モードとその識別番号とを対応付けるテーブルの効率の良い参照方法を提案することによって、Bピクチャを使用した高効率による動画像の符号化方法および復号化方法を提案することを第2の目的とする。 Furthermore, the present invention is, by proposing a good reference method efficient table associating the coding mode and its identification number, proposes a coding method and decoding method of the moving image by high efficiency using B pictures it is a second object.
【0016】 [0016]
【課題を解決するための手段】 In order to solve the problems]
上記目的を達成するために、本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Bピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを To achieve the above object, the moving picture coding method of the present invention is a moving picture coding method for generating a code string by encoding a moving image, coded in temporally forward or backward in the encoding of the B picture to be a predictive coding with reference to the plurality of pictures, it allows to use the direct mode with reference to the motion vector for motion compensation of the encoding target block having coded block and includes a coding step of said coding step, when only referring to the coded picture in the one direction in the display order from a picture that belongs the encoding target block for prediction encoding of the B picture, a motion compensation step of performing a reference to motion compensation the motion vector of the coded blocks in the same picture to be located around the block to be coded as the direct mode むことを特徴とする。 And wherein the Mukoto.
【0017】 [0017]
また本発明の動画像符号化方法は、動画像を符号化して符号列を生成する動画像符号化方法であって、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Bピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴とする。 The moving picture coding method of the present invention is a moving picture coding method for generating a code string by encoding a moving image, with reference to the plurality of pictures coded in temporally forward or backward in the encoding of the B picture to be a predictive coding includes coding step of enabling the use of direct mode with reference to the motion vector for motion compensation of the encoding target block having coded block, said encoding step, when referring to only the coded pictures in one direction in the display order from a picture that belongs the encoding target block for prediction encoding of the B picture, the encoding as the direct mode as "0" values ​​of the motion vector of the target block, and performing a reference to motion compensation of one or more pictures in the order from the side closer temporally.
【0018】 [0018]
さらに本発明の動画像符号化方法では、前記符号化ステップは、前記Bピクチャの予測符号化方法と前記予測符号化方法を識別するための識別子とを対応付けたテーブルの中から後方を参照する予測符号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記符号化ステップでは、再生成された前記テーブルを用いて当該Bピクチャの予測符号化方法を示す前記識別子を符号化するとしてもよい。 In yet moving picture coding method of the present invention, the encoding step refers to the rear from the table that associates an identifier for identifying a predictive coding method of the B picture and the predictive coding method except for the predictive coding method comprises a table regeneration step for regenerating the table, and in the coding step, coding the identifier indicating the predictive encoding method of the B picture using the table regenerated it may be used as the reduction.
【0019】 [0019]
上記目的を達成するために、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うBピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Bピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償 To achieve the above object, the moving picture decoding method of the present invention is a moving picture decoding method for decoding a code string obtained by coding a moving picture, temporally decoded in forward or backward in the decoding of the B picture to be a predictive decoding with reference to the reduction pre plurality of pictures, the use of direct mode with reference to the motion vector for motion compensation decoding target block having decoded blocks includes a decoding step to enable the decoding step, the predictive decoding of the B picture referring to only the decoded pictures in one direction in time from picture belongs the current block motion compensation performed when a reference to motion compensation the motion vector of the decoded blocks in the same picture to be located around the current block as said direct mode performing テップを含むことを特徴とする。 Characterized in that it comprises a step.
【0020】 [0020]
また、本発明の動画像復号化方法は、動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うBピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Bピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴と Also, the moving picture decoding method of the present invention is a moving picture decoding method for decoding a code string obtained by coding a moving picture, the decoded plurality of pictures temporally located forward or backward in the decoding of the B picture to be a predictive decoding with reference to the decoding making it possible to use a direct mode with reference to the motion vector for motion compensation decoding target block having decoded blocks comprising the step, the decoding step, when only the reference to the decoded picture in a temporally direction from picture belongs the current block performs predictive decoding of the B picture, the direct mode as the "0" the value of the motion vector of the current block, and characterized by performing a reference to motion compensation of one or more pictures in the order from the side closer temporally as る。 That.
【0021】 [0021]
さらに本発明の動画像復号化方法では、前記復号化ステップは、前記Bピクチャの予測復号化方法と前記予測復号化方法を識別するための識別子とを対応付けた、予め保持しているテーブルの中から後方を参照する予測復号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、前記復号化ステップでは、前記符号化列から前記Bピクチャの予測復号化方法を識別するための識別子を復号化し、再生成されたテーブルを用いて、当該Bピクチャの予測復号化方法を識別し、識別された前記予測復号化方法に従って復号化対象ブロックの予測復号化を行うとしてもよい。 In yet moving picture decoding method of the present invention, the decoding step, the associated predictive decoding method of the B picture and the identifier for identifying the predictive decoding method, the table stored in advance except for predictive decoding method refers to the rear from in, it contains the table regeneration step for regenerating the table, in the decoding step, to identify predictive decoding method of the B picture from the encoded data stream decodes the identifier, using the table regenerated, to identify the predictive decoding method of the B picture, may perform the predictive decoding of the decoding target block in accordance with the identified said predictive decoding method.
【0022】 [0022]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態1) (Embodiment 1)
図1は、実施の形態1の動画像符号化方法を実行する動画像符号化装置100の構成を示すブロック図である。 Figure 1 is a block diagram showing the configuration of a video encoding apparatus 100 for performing the moving picture coding method of the first embodiment. 動画像符号化装置100は、直接モードによるBピクチャの符号化時に、符号化対象ピクチャより表示順で前方にあるピクチャのみを参照する場合には、同一ピクチャ内で符号化対象ブロックの周辺にある符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを決定する動画像符号化装置であって、フレームメモリ101、予測残差符号化部102、符号列生成部103、予測残差復号化部104、フレームメモリ105、動きベクトル検出部106、モード選択部107、動きベクトル記憶部108、後方ピクチャ判定部109、差分演算部110、加算演算部111、スイッチ112およびスイッチ113を備える。 Moving picture coding apparatus 100, when the coding of B-pictures by direct mode, when referring to only a picture which is forward in display order than the current picture to be coded is in the neighborhood of the encoding target block in the same picture a moving picture encoding apparatus for determining a motion vector of the reference to the encoding target block motion vectors of encoded blocks, the frame memory 101, the prediction residual coding unit 102, the code string generating unit 103, the prediction residual difference decoding unit 104, a frame memory 105, a motion vector detecting unit 106, the mode selection unit 107, the motion vector storage unit 108, the rear picture determination unit 109, a difference calculation unit 110, addition unit 111, a switch 112 and a switch 113 .
【0023】 [0023]
フレームメモリ101、フレームメモリ105および動きベクトル記憶部108は、RAM等によって実現されるメモリであって、フレームメモリ101は、表示順で入力される動画像の各ピクチャを符号化順に並べ替えるための記憶領域を提供する。 A frame memory 101, frame memory 105 and the motion vector storage unit 108 is a memory which is realized by a RAM or the like, the frame memory 101, to sort each picture of the moving image to be inputted in display order to coding order It provides a storage area.
【0024】 [0024]
予測残差符号化部102は、差分演算部110で求められた予測残差にDCT変換などの周波数変換を施し、量子化して出力する。 Predictive residual coding unit 102 performs a frequency transform such as DCT transform to the prediction residual obtained by the difference calculation unit 110, and outputs the quantization. 符号列生成部103は、予測残差符号化部102からの符号化結果を可変長符号化した後、出力用の符号化列のフォーマットに変換し、予測符号化方法に関連する情報を記述したヘッダなどの付加情報を付して符号列を生成する。 Code string generation unit 103, after variable length encoding the encoded result from the prediction residual coding unit 102, converts the format of the coding sequence for output, describing information related to the predictive coding method generating a code sequence assigned the additional information such as header. 予測残差復号化部104は、予測残差符号化部102からの符号化結果を可変長復号化し、逆量子化した後、IDCT変換などの逆周波数変換を施して復号化予測残差を生成する。 Prediction residual decoding unit 104, generates the encoded result to the variable length decoding and, after dequantization, the decoding prediction residual by performing inverse frequency transformation such as IDCT conversion from the prediction residual coding unit 102 to.
【0025】 [0025]
フレームメモリ105は、予測ピクチャをピクチャ単位で保持するための記憶領域を提供する。 The frame memory 105 provides a storage area for holding predictive picture on a picture-by-picture basis. 動きベクトル検出部106は、マクロブロックまたはマクロブロックをさらに分割して得られるブロックなどの所定の単位ごとに、動きベクトルを検出する。 Motion vector detecting unit 106, for each predetermined unit, such as a block obtained by further dividing the macroblocks or macroblock to detect the motion vector. モード選択部107では動きベクトル記憶部108に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを選択し、動きベクトル検出部106によって検出された動きベクトルで示される予測ピクチャ中の各ブロックをフレームメモリ105から読み出して差分演算部110に出力する。 The mode selection unit 107 selects an optimal prediction mode with reference to the motion vector used in the coded picture stored in the motion vector storage unit 108, indicated by the motion vector detected by the motion vector detecting section 106 It reads each block in the prediction picture to the frame memory 105 and outputs the difference calculation unit 110.
【0026】 [0026]
動きベクトル記憶部108は、符号化済みピクチャのブロックごとに検出された動きベクトルを保持するための記憶領域を提供する。 Motion vector storage unit 108 provides a storage area for holding the motion vector detected for each block of the encoded picture. 後方ピクチャ判定部109は、符号化対象ピクチャよりも表示順で後方にあるピクチャが既に符号化されているかどうかを判定する。 Rear picture determination unit 109 determines whether the picture behind in display order than the encoding target picture is already coded. 差分演算部110は、符号化対象のマクロブロックと、動きベクトルによって決定された予測画像のマクロブロックとの差分を出力する。 Difference calculation unit 110 outputs the macro-block to be encoded, the difference between the macroblock of the prediction image determined by the motion vector.
【0027】 [0027]
加算演算部111は、予測残差復号化部104から出力される復号化予測残差と、モード選択部107から出力される予測ピクチャのブロックとを加算して、加算結果(予測ピクチャを構成するブロック)をフレームメモリ105に格納する。 Adder 111 constitutes a decoding prediction residual output from the prediction residual decoding unit 104, by adding the block prediction picture to be outputted from the mode selection unit 107, the addition result (the predicted picture storing block) in the frame memory 105. スイッチ112は、符号化対象ピクチャのピクチャタイプに応じて切り替えられ、画面内予測符号化を行うIピクチャではフレームメモリ101の読み出し線と予測残差符号化部102とを導通させる。 Switch 112 is switched in accordance with the picture type of the encoding target picture, the I picture to be intra prediction coding to conduct the read-out line of the frame memory 101 and the predictive residual coding unit 102. これにより、フレームメモリ101から読み出された符号化対象ピクチャの各マクロブロックは、直接、予測残差符号化部102に入力される。 Thus, each macroblock of the encoding target picture read from the frame memory 101 is directly inputted to the prediction residual coding unit 102.
【0028】 [0028]
また、画面間予測符号化を行うPピクチャおよびBピクチャでは、差分演算部110の出力側と予測残差符号化部102とを導通させる。 Further, the P and B pictures performing inter-picture prediction coding, thereby turning on the output side of the difference calculating unit 110 and the prediction residual coding unit 102. これにより、差分演算部110の演算結果が予測残差符号化部102に入力される。 Accordingly, the calculation result of the difference calculation unit 110 is input to the prediction residual coding unit 102. スイッチ113は、符号化対象ピクチャのピクチャタイプに応じて導通と遮断とに切り替えられる。 Switch 113 is switched to the cut-off and turned on in response to the picture type of the encoding target picture. 画面内予測符号化を行うIピクチャでは、モード選択部107の出力側と加算演算部111の入力側とが遮断され、画面間予測符号化を行うPピクチャおよびBピクチャでは、モード選択部107の出力側と加算演算部111の入力側とが導通される。 In the I-picture that performs intra prediction coding is blocked and the input side of the output side with the addition operation portion 111 of the mode selection unit 107, a P-picture and B-picture performs inter-picture prediction coding, the mode selection unit 107 an input side of the output side with the addition operation portion 111 is turned. これにより、画面内予測符号化を行うIピクチャでは、予測残差復号化部104によって復号化された復号化予測残差がフレームメモリ105に出力される。 Thus, the I picture to be intra prediction encoding, decoding prediction residual decoded by the prediction residual decoding unit 104 is output to the frame memory 105.
【0029】 [0029]
以下、本発明の実施の形態1の動画像符号化方法を図1に示したブロック図を用いて説明する。 It will be described below with reference to the block diagram of the moving picture coding method according to the first shown in FIG. 1 of the present invention.
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ101に入力される。 Moving picture to be encoded is input to the frame memory 101 on a picture-by-picture basis in time order. 各々のピクチャはマクロブロックと呼ばれる例えば水平16画素×垂直16画素のブロックに分割されブロック単位で以降の処理が行われる。 Each picture processing after in blocks divided into blocks of e.g. 16 horizontal pixels × 16 vertical pixels is called a macro block.
【0030】 [0030]
フレームメモリ101から読み出されたマクロブロックは動きベクトル検出部106に入力される。 Macroblock read out from the frame memory 101 is input to the motion vector detection unit 106. 動きベクトル検出部106では、フレームメモリ105に蓄積されている画像(符号化済みのピクチャをさらに復号化して得られた画像)を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。 The motion vector detecting unit 106, using the image (image obtained by further decodes the coded picture) stored in the frame memory 105 as a reference picture, the macroblock that the coding target motion vector detection I do. 動きベクトル検出部106では、直接モード以外の予測モードにおいて、マクロブロックごとに、もしくはマクロブロックを分割した領域(例えば、16画素×8画素、8画素×16画素および8画素×8画素などの大きさに分割した小ブロック)ごとに動きベクトルの検出が行われる。 The motion vector detecting unit 106, the prediction mode other than direct mode for each macro block, or a region obtained by dividing the macroblock (e.g., 16 pixels × 8 pixels, the size of such 8 pixels × 16 pixels, and 8 pixels × 8 pixels dividing motion for each small block) the detection of the vector takes place and.
【0031】 [0031]
動きベクトル検出部106では、符号化の対象としているマクロブロックに対し、既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最も符号化対象ブロックの画素値の構成に近いと予測されるブロックの位置を示す動きベクトルが検出される。 The motion vector detecting unit 106, with respect to macroblock as an object of coding, already a reference picture coded picture, predicted to be close to the structure of the pixel values ​​of most encoding target block in a search region within the picture motion vector indicating the position of a block is detected. モード選択部107では、動きベクトル記憶部108に記憶されている、符号化済みのピクチャで用いられた動きベクトルを参照しつつ、最適な予測モードを選択する。 The mode selection unit 107, stored in the motion vector storage unit 108, with reference to the motion vector used in the coded picture, to select an optimal prediction mode. このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部109において判定する。 It determines whether the picture in this case behind in display order has already been coded in the rear picture determining section 109. もし後方のピクチャが符号化されていないと判定された場合、モード選択部107は、Bピクチャの符号化において、表示順で後方にあるピクチャを参照しない予測モードを選択する。 If the rear of the picture is determined not to be coded, mode selector 107 in the coding of B picture, selects a prediction mode which does not reference a picture behind in display order.
【0032】 [0032]
モード選択部107によって選択された予測モードに従って、動きベクトル検出部106で検出された動きベクトルのうち最適な動きベクトルが決定され、決定された動きベクトルによって参照される予測ブロックがフレームメモリ105から読み出されて差分演算部110に入力される。 According to the prediction mode selected by the mode selection unit 107, is determined optimum motion vector of the detected motion vector in the motion vector detecting unit 106, a prediction block that is referenced by the determined motion vector is read from the frame memory 105 issued and input to the difference calculation unit 110. 差分演算部110では、予測ブロックと符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成される。 The difference calculation unit 110, the prediction residual image is generated by taking the difference between the predicted block and the macroblock to be coded. 生成された予測残差画像は予測残差符号化部102に入力され、予測残差符号化部102内で周波数変換および量子化が施される。 The generated prediction residual image is input to the prediction residual coding unit 102, the frequency transformation and quantization is performed in the prediction residual coding unit 102. 以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ112によってピクチャ内予測符号化との切り替えがなされる。 The flow of the above processing is inter picture prediction coding is an act when it is selected, switching between the intra-picture prediction coding is performed by the switch 112. 最後に符号列生成部103によって、動きベクトル等の制御情報および予測残差符号化部102から出力される画像情報等に対し可変長符号化が施され、最終的に出力される符号列が生成される。 Finally the bit stream generation unit 103, variable length coding is performed for the image information and the like output from the control information and predictive residual coding unit 102, such as a motion vector, a code string to be finally output generation It is.
【0033】 [0033]
以上符号化の流れの概要を示したが、以下では、モード選択部107における直接モードでの処理の詳細について説明する。 Although an overview of the flow of the above coding, the following is a description of details of the processing in the direct mode in the mode selecting unit 107. ただし、ここでは後方ピクチャ判定部109において後方のピクチャが符号化されていないと判定された場合について説明する。 However, here in the rear picture determination unit 109 backward pictures will be described when it is determined not to be coded. 図2は、符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。 Figure 2 is a diagram showing an example of a reference relationship of each picture when it is not possible to refer to the pictures located behind in display order from a picture of the encoding target block belongs. 図のように、ピクチャの表示順シーケンスに含まれる全てのBピクチャは表示順で前方にある1枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。 As shown, all of B-pictures included in the display order sequence of pictures has been predictive coded with reference to one or more encoded pictures in front in display order. 例えば、いずれもBピクチャであるピクチャB82とピクチャB83とは、表示順で前方にある符号化済みピクチャがピクチャP81のみであるので、それぞれ、ピクチャP81だけを参照し動き補償を行う。 For example, the picture B82 and the picture B83 each a B-picture, since the coded picture that is forward in display order is only picture P81, respectively, performed with reference to motion compensation only picture P81.
【0034】 [0034]
また、いずれもBピクチャであるピクチャB85とピクチャB86とについては、ピクチャB85は表示順で前方にある2枚の符号化済みピクチャ(ピクチャP81とピクチャP84)を参照するが、例えば、ピクチャB86は表示順で時間的に遠いピクチャP81を参照せず、表示順で時間的により近いピクチャP84のみを参照して動き補償を行っている。 As for the picture B85 and the picture B86 as both a B-picture, the picture B85 is to refer to two of the encoded picture (picture P81 and the picture P84) which is forward in display order, for example, picture B86 is without reference to a temporally distant pictures P81 in display order, and performs motion compensation by referring only temporally closer picture P84 in display order. このような場合、各Bピクチャの動きベクトルは、すべて、符号化対象ピクチャよりも表示順で前方にある符号化済みピクチャを参照している。 In this case, the motion vector of each B picture, all of which refer to the encoded pictures in front in display order than the current picture to be coded.
【0035】 [0035]
本実施の形態では、表示順で後方のピクチャが符号化されていない環境下において、Bピクチャの予測符号化を行う際にモード選択部107によって直接モードが選択された場合、従来のように、表示順で符号化対象ピクチャの直後のピクチャに属する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する(以下、「時間的予測」という)代わりに、同一ピクチャ内で符号化対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照して符号化対象ブロックの動きベクトルを生成する(以下、「空間的予測」という)ことによって直接モードを実現する。 In this embodiment, in an environment where the rear of the picture is not coded in display order, if the direct mode by the mode selection unit 107 when performing predictive coding of a B picture is selected, as in the prior art, with reference to motion vectors of coded blocks belonging to immediately after the picture of the encoding target picture in display order to generate a motion vector of the encoding target block (hereinafter, referred to as "temporal prediction") instead, in the same picture in referring to motion vectors of coded blocks positioned around the target block to generate a motion vector of the encoding target block (hereinafter, referred to as "spatial prediction") to realize a direct mode by.
【0036】 [0036]
図3は、直接モードが選択された場合のモード選択部107の動作の一例を示すフローチャートである。 Figure 3 is a flow chart showing an example of the operation of the mode selector 107 in the case where the direct mode is selected. モード選択部107は、直接モードが選択された場合、まず、後方ピクチャ判定部109に符号化対象ピクチャよりも表示順で後方にあるピクチャが符号化済みであるか否かを判定させ(S501)、判定の結果、表示順で後方にあるピクチャが符号化済みであれば、従来のように、時間的予測を用いて符号化対象ブロックの予測符号化を行う(S502)。 Mode selecting unit 107, if the direct mode is selected, first, the picture at the back in display order than the encoding target picture to the backward picture determining section 109 to determine whether the already encoded (S501) , the result of the determination, if the display order of the picture is encoded at the back, as in the prior art, performing predictive coding of the current block using the temporal prediction (S502). そして、モード選択部107は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。 The mode selection unit 107 ends the process of the coding target block, the process moves to the process in next encoding target block.
【0037】 [0037]
また、ステップS501における判定の結果、表示順で後方にあるピクチャが符号化されていなければ、上記の空間的予測を用いて符号化対象ブロックの予測符号化を行う(S503)。 Further, the result of determination in step S501, if no picture is backward in display order is coded, performing the predictive coding of the current block using spatial prediction of said (S503). さらに、モード選択部107は、上記の空間的予測を行ったことを示すフラグspatial_flagの値を「1」にセットし、符号列生成部103に出力する(S504)。 Furthermore, the mode selection unit 107, the value of the flag spatial_flag indicating that performing spatial prediction of said set to "1" into the bit stream generation unit 103 (S504). その後、モード選択部107は、当該符号化対象ブロックの処理を終了し、次の符号化対象ブロックの処理にうつる。 Thereafter, the mode selection unit 107 ends the process of the coding target block, the process moves to the process in next encoding target block.
【0038】 [0038]
以下では、図3のステップS503において行われる空間的予測の具体的方法について説明する。 The following describes spatially specific method for prediction performed in step S503 of FIG.
図19を用いて説明したスキップモードの例は、参照される符号化済みブロックが1つずつの動きベクトルを持っている場合についてのものであった。 Examples of the skip mode described with reference to FIG. 19, encoded blocks referenced were of the case having a motion vector of one. しかし、Bピクチャの予測モードの中には、図2に示したように、表示順で前方にある2枚のピクチャを同時に参照して動き補償を行うものも含まれている。 However, in the predictive mode of the B picture, as shown in FIG. 2, it is also included to perform motion compensation by referring to two pictures in the forward display order at the same time. そのようなモードの場合は1つのブロックが2つの動きベクトルを持っていることになる。 For such a mode would be one block has two motion vectors. 図4は、動きベクトルを参照される符号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。 Figure 4 is a diagram showing an example of a reference relationship of a motion vector in the case that contains the block having two motion vectors in the encoded block to be referenced to a motion vector. ピクチャP94が現在符号化を行っているピクチャであり、ブロックBL51が直接モードによる予測符号化を行うブロックである。 Picture P94 is a picture being currently encoded, a block in which the block BL51 performs predictive coding by direct mode.
【0039】 [0039]
まず、第1の方法として、モード選択部107は、直接モードによる予測符号化を行うブロックBL51が図18(a)および図18(b)に示したいずれの場合も、ブロックBL51(またはブロックBL52)に対して基本的にA、B、Cの位置にあるブロックの動きベクトルを参照する。 As a first method, the mode selection unit 107, in either case the block BL51 performing predictive coding by direct mode shown in FIG. 18 (a) and FIG. 18 (b), the block BL51 (or block BL52 ) basically a, B, referring to the motion vector of the block at the position of C relative. ただし、下記の条件に従って参照が変更される。 However, reference is changed in accordance with the following conditions.
【0040】 [0040]
1、ブロックCが参照不可の場合は、A、B、Dの位置にあるブロックを参照する。 1, if the block C is a reference not, reference A, B, a block at position D.
2、A、B、CまたはA、B、Dの位置にある3つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。 2, A, B, C, or A, B, in the three blocks in the position and D, if there are blocks that can not see the motion vector, excluded from the subject of the reference motion vector and the block.
【0041】 [0041]
モード選択部107は、参照の対象となったA、B、C(またはA、B、D)の3つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと符号化対象ピクチャとの表示順での遠近を比較する。 Mode selector 107, A was the subject of reference, B, C (or A, B, D) among the motion vectors with three blocks of a picture and the encoding target picture to be referenced by the motion vector to compare the perspective of in the display order. 比較されたうちで、符号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。 Among the compared retrieves the motion vectors which refer to pictures that are closest in display order from the coding target picture. 取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。 If the retrieved motion vector is more than one take their median or average value. 例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。 For example, the central value when the motion vector retrieved is an odd number, may take the average value in some cases even number. これによって得られた動きベクトルを、表示順で符号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの符号化対象ブロックの動きベクトルとする。 The motion vector thereby obtained, when referring to motion compensation only picture in the front than the current picture to be coded in display order, the motion vector of the current block when the direct mode is selected . また、A、B、C(またはA、B、D)の全てのブロックが参照できない場合は、符号化対象ブロックの動きベクトルを0とし、参照するピクチャを直前のピクチャとして直接モードによる予測符号化を行う。 Further, A, B, C (or A, B, D) If you can not all blocks reference, a motion vector of the encoding target block is 0, predictive coding with direct mode pictures referenced as the last picture I do.
【0042】 [0042]
図5は、図1に示したモード選択部107が第1の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。 Figure 5 is a flow chart showing an example of a procedure for performing the spatial prediction of the encoding target block using the mode selection unit 107 first method shown in FIG. 以下では、図4に示した符号化対象ブロックBL51を例として説明する。 The following describes the encoding target block BL51 shown in FIG. 4 as an example. まず、モード選択部107は、符号化対象ブロックBL51に対してCの位置にあるブロックが参照可能であるか否かを調べる(S601)。 First, the mode selecting unit 107, a block at position C with respect to the encoding target block BL51 is checked whether it is possible to see (S601). 図4においてCの位置にあるブロックはピクチャP93を参照する動きベクトルMVC1とピクチャP92を参照する動きベクトルMVC2とを持っている。 The blocks in the position of the C has a motion vector MVC2 referencing the motion vector MVC1 and the picture P92 which refers to a picture P93 in FIG. 従って、モード選択部107は、A、B、Cの位置にあるブロックの動きベクトルを参照する(S602)。 Thus, the mode selection unit 107, A, B, referring to the motion vector of the block at the position C (S602).
【0043】 [0043]
Aの位置にあるブロックは、ピクチャP93を参照する動きベクトルMVA1を持ち、Bの位置にあるブロックはピクチャP93を参照する動きベクトルMVB1とピクチャP91を参照する動きベクトルMVB3を持っている。 A block in a position, has a motion vector MVA1 referring to pictures P93, blocks in the position B has the motion vector MVB3 referencing the motion vector MVB1 and the picture P91 which refers to a picture P93. ステップS601において、Cの位置にあるブロックが、符号化対象ピクチャP94の外にあったり、または符号化対象ブロックBL51が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、Cの位置にあるブロックの代わりに、図18(a)および図18(b)に示したDの位置にあるブロックの動きベクトルを参照する(S603)。 In step S601, in order to block in position and C, it was subjected to encoding such as Attari outside the slice Attari outside of the encoding target picture P94 or the encoding target block BL51, belongs or intra prediction, If you do not have a motion vector, in place of the block at the position of C, and refers to the motion vector of the block in a position D that shown in FIG. 18 (a) and FIG. 18 (b) (S603). すなわち、A、B、Dの位置にある3つのブロックを参照する。 That is, referring A, B, the three blocks in the position of D.
【0044】 [0044]
次いで、モード選択部107は、参照された3つのブロック(A、B、CまたはA、B、D)のうち、符号化対象ピクチャP94の外にあったり、または符号化対象ブロックBL51が属するスライスの外にあったり、または画面内予測などの符号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、符号化対象ブロックの動きベクトルの計算を行う(S604)。 Then, the mode selection unit 107, referenced three blocks (A, B, C, or A, B, D) of the, slices Attari outside of the encoding target picture P94 or the encoding target block BL51, belongs If the outside of Attari or do not have a motion vector for performing the encoding such as intra prediction, is excluded from the candidates of the reference to the block, the calculation of the motion vector of the encoding target block ( S604).
【0045】 [0045]
また、3つのブロック(A、B、CまたはA、B、D)のうち、全てのブロックを参照できない場合は、符号化対象ブロックの動きベクトルを「0」とし、符号化対象ピクチャの直前のピクチャを参照する。 Further, the three blocks (A, B, C, or A, B, D) of, if you can not see all the blocks, the motion vector of the encoding target block is "0", immediately before the encoding target picture refer to the picture. モード選択部107は、参照されたこれらの動きベクトルの中から、符号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャP93を参照する動きベクトルMVA1、動きベクトルMVB1および動きベクトルMVC1が得られる。 Mode selection unit 107, from among the referenced these motion vectors, the extract only those that refer to the nearest picture in display order in the coded picture, the motion vector MVA1 referring to pictures P93, the motion vector MVB1 and motion vector MVC1 is obtained. モード選択部107は、さらに、これらの中央値もしくは平均値を取る。 Mode selection unit 107 further take these median or average value. 例えば、ここでは3個の動きベクトルが得られたので中央値を取る。 For example, here taking the median since three motion vectors is obtained. これにより、ブロックBL51の動き補償を行うための1つの動きベクトルMV1を決定することができる。 This makes it possible to determine one of the motion vectors MV1 for performing motion compensation of the block BL51.
【0046】 [0046]
図6は、図1に示した符号列生成部103で生成される符号列のスライスごとのデータ構造の一例を示す図である。 Figure 6 is a diagram illustrating an example of the data structure of each slice of the code sequence generated by the bit stream generation unit 103 shown in FIG. 各ピクチャの符号列は、複数のスライスデータから構成され、各スライスデータは複数のマクロブロックデータから構成されている。 Code sequence of each picture is composed of a plurality of slice data, each slice data is composed of a plurality of macroblock data. 同図に示すように、符号列中の各スライスデータには、それぞれスライスヘッダが付加されており、スライスヘッダにはスライスに関する情報などが書き込まれる。 As shown in the figure, each slice data in the code sequence are respectively a slice header are added, the slice header, information about the slice is written. スライスに関する情報には、例えば、スライスの属するフレームの番号、および上記の直接モードの符号化方法の種類を示すフラグspatial_flagなどが記述される。 The information about the slice, for example, a flag spatial_flag indicating number of the frame belongs slices, and the type of encoding method of the direct mode is described.
【0047】 [0047]
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する符号化方法を示した。 In the above embodiment, as described above, even in an environment that can not see a picture behind in display order, directly without reference to pictures in the backward in display order in predicting encoding using direct mode we propose a method for implementing a mode, showing an encoding method for realizing high encoding efficiency.
【0048】 [0048]
なお上記第1の方法では、参照された動きベクトルのうちで符号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から符号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。 Note In the first method, but was taken out those that refer to the nearest picture in display order to the encoding target picture among the reference motion vector, from among the reference motion vector of the encoding target picture it may extract only those that refer to the last picture. 図4に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、符号化対象ピクチャに表示順で最も近いピクチャは、符号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。 In the example shown in FIG. 4, of the picture to be referenced to the reference motion vector, the closest-picture in display order in the coded picture, because it is the last picture of the encoding target picture, obtained motion vector is the same. もし、表示順で一番近いピクチャを参照する動きベクトルが1つも無かった場合は、符号化対象ブロックの動きベクトルを「0」として直接モードによる符号化を行う。 If, when the motion vector referring to the nearest picture in display order is not Tsumo 1, a direct mode coding by the motion vector of the encoding target block as "0".
【0049】 [0049]
また上記第1の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から表示順で符号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に1個の動きベクトルを算出したが、その代わりに、第2の方法として、表示順で符号化対象ピクチャの手前からN枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに1つずつの動きベクトルを決定し、得られたN個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。 In the above first method, in determining the motion vector used in the direct mode, with reference to the picture on the nearest from the current picture to be coded in display order from among the pictures near the encoded blocks referenced Although it only takes out the motion vector to calculate the final one motion vector are, instead, as the second method, the motion vector that refers to N pieces of picture from the front of the encoding target picture in display order extraction, reference to determine the motion vector, one for each picture is, performs motion compensation referring to forward only as the motion vector used in predictive coding of the N-number of motion vectors obtained in the direct mode it is also possible. このとき予測画像はN個の動きベクトルによって指定されたN個の領域の画素値の平均を算出することによって生成される。 In this case the prediction image is generated by calculating the average of the pixel values ​​of the N region designated by the N motion vectors.
【0050】 [0050]
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。 Instead of the simple average, it is also possible to generate a prediction image by a method taking the average by weighting the pixel values ​​of the respective regions. この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。 By using this method, it is possible to realize a more accurate motion compensation for image sequence as the pixel value changes s ordinal in display order.
【0051】 [0051]
図7は、表示順で符号化対象ピクチャの手前から2枚のピクチャを参照する動きベクトルを取り出して2個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。 Figure 7 is a diagram showing an example of a motion vector reference method when calculating the two motion vectors removed motion vectors that refer to two pictures from the front of the encoding target picture in display order. ピクチャP104が現在符号化を行っているピクチャであり、BL51が直接モードによる予測符号化を行うブロックである。 A picture picture P104 is currently performing the coding, a block that performs predictive coding BL51 is by direct mode. 参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャP103を参照している動きベクトルMVA1、動きベクトルMVB1および動きベクトルMVC1を用いてその中央値もしくは平均値を取ることにより動きベクトルMV1が決定され、さらに表示順で2つ前にあるピクチャP102を参照している動きベクトルの中央値もしくは平均値、つまりMVC2そのものを取ることにより動きベクトルMV2が決定され、これら2つの動きベクトルを用いて直接モードによる符号化がなされる。 Motion plurality of motion vectors to be the reference refers to a picture P103 that is foremost in display order among the pictures that reference vector MVA1, the center value by using the motion vector MVB1 and the motion vector MVC1 or motion vector MV1 are determined by taking the average value, further the median or average of the motion vectors which refer to pictures P102 with 2 earlier in display order, that is, a motion vector MV2 by taking MVC2 itself determined is, coding is performed by the direct mode using these two motion vectors.
【0052】 [0052]
なお、図18(a)および図18(b)において参照されるブロックの動きベクトルの中から表示順で手前から1枚もしくはN枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。 In place of the method of using only one reference to one or N pieces of picture from the front in the display order from among the motion vector of the block to be referred to in FIG. 18 (a) and FIG. 18 (b), the Extracting only the motion vectors which refer to the specified picture to determine the value of the motion vector of the encoding target block to be used in the direct mode, it is also possible that perform motion compensation from the designated picture.
【0053】 [0053]
なお、直接モードを用いて符号化を行う際に、図18(a)および図18(b)のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「0」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。 Incidentally, when performing encoding using the direct mode, instead of a reference to motion compensation coded blocks in a positional relationship as shown in FIG. 18 (a) and FIG. 18 (b), the coding the value of the motion vector of the target block "0", it is also possible to perform motion compensation by direct mode pictures referenced as the last picture. この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。 Using this method, it is not necessary to perform the step of calculating a motion vector to be used in direct mode is eliminated, it is possible to simplify the encoding process.
【0054】 [0054]
なお、このとき直接モードにおいて時間的予測を行うか空間的予測を行うかを示すspatial_flagの代わりに、符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「0」として動き補償を行うことを示すフラグをスライスヘッダに記述してもよい。 Instead of spatial_flag indicating whether to this time performed or spatial prediction of temporal prediction in the direct mode, the motion vector value of the encoding target block without reference to coded blocks as "0" flag may be described in the slice header to indicate that performing the motion compensation.
【0055】 [0055]
なお、上記の方法では、3つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。 In the above method, from among the motion vectors obtained by referring to the three blocks, it refers to the picture that is closest in display order to a current picture to be coded in the picture they refer and it was taken out motion vector is, the present invention is not limited thereto. 例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。 For example, it may be taken out motion vector that refers to a picture that is closest in coding order in the encoding target picture.
【0056】 [0056]
(実施の形態2) (Embodiment 2)
本発明の実施の形態2の動画像復号化方法を図8に示したブロック図を用いて説明する。 The moving picture decoding method of the second embodiment of the present invention will be described with reference to a block diagram shown in FIG. ただし、本動画像復号化方法では、実施の形態1の動画像符号化方法で生成された符号列を復号化するものとする。 However, in this moving picture decoding method is intended to decode the code string generated by the moving picture coding method of the first embodiment.
【0057】 [0057]
図8は、本実施の形態の動画像復号化装置200の構成を示すブロック図である。 Figure 8 is a block diagram showing a configuration of a moving picture decoding apparatus 200 of this embodiment. 動画像復号化装置200は、直接モードで符号化された復号化対象ブロックに対し、直接モードによる復号化の方法を示すフラグが「1」のとき空間的予測を用いて復号化を行う動画像復号化装置であって、符号列解析部201、予測残差復号化部202、フレームメモリ203、動き補償復号部204、動きベクトル記憶部205、後方ピクチャ判定部206、加算演算部207およびスイッチ208を備える。 Moving picture decoding apparatus 200, to the decoding target block has been coded in direct mode, moving image flag indicating method of decoding by direct mode performs decoding using the spatial prediction when the "1" a decoding apparatus, bit stream analysis unit 201, the prediction residual decoding unit 202, a frame memory 203, a motion compensation decoding unit 204, the motion vector storage unit 205, the rear picture determination unit 206, addition unit 207 and the switch 208 equipped with a.
【0058】 [0058]
符号列解析部201は、入力された符号列を解析し、符号列から予測残差符号化データ、動きベクトル情報および予測モードなどの情報を抽出し、抽出された動きベクトル情報および予測モードなどの情報を動き補償復号部204に、予測残差符号化データを予測残差復号化部202にそれぞれ出力する。 Bit stream analysis unit 201 analyzes the inputted bit stream, prediction residual coded data from the bit stream, and extracts information such as motion vector information and prediction modes, such as the extracted motion vector information and prediction mode information to the motion compensation decoding unit 204, and outputs the prediction residual coded data to the prediction residual decoding unit 202. 予測残差復号化部202は、抽出された予測残差符号化データに可変長復号化、逆量子化および逆周波数変換などを施し、予測残差画像を生成する。 Prediction residual decoding unit 202, a variable length decoding on the extracted predictive residual coding data, subjected to such inverse quantization and inverse frequency transform, to generate a predicted residual image.
【0059】 [0059]
フレームメモリ203は、復号化された画像をピクチャ単位で格納し、格納しているピクチャを表示順に外部のモニタなどに出力画像として出力する。 The frame memory 203 stores the decoded image in units of pictures, and outputs to an external monitor to display order of the pictures that are stored as an output image. 動き補償復号部204は、予測モードの復号化と、その予測モードで用いる動きベクトルの復号化とを行い、フレームメモリ203に蓄積されている復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて復号化対象ブロックに対する予測画像を生成する。 Motion compensation decoding unit 204, the decoding of the prediction mode, perform a decoding of a motion vector used in the prediction mode, the reference picture decoded image stored in the frame memory 203, motion vector information input generating a predicted image for the decoding target block based on. 動きベクトルの復号化の際には、動きベクトル記憶部605に記憶されている復号化済みの動きベクトルを利用する。 When decoding the motion vector utilizes decoded motion vectors stored in the motion vector storage unit 605.
【0060】 [0060]
動きベクトル記憶部205は、動き補償復号部204において復号化された動きベクトルを格納する。 Motion vector storage unit 205 stores the motion vector decoded in the motion compensation decoding unit 204. 後方ピクチャ判定部206は、動き補償復号部204による予測画像の生成時に、復号化対象ピクチャよりも表示順で後方にあるピクチャが復号化されているか否かを判定する。 Rear picture determining section 206, when generating the predicted image by the motion compensation decoding unit 204 determines whether the picture at the back in display order than the target picture to be decoded is decoded. なお、後方ピクチャ判定部206は、実施の形態4で用いられるが、本実施の形態では不要である。 Incidentally, the rear picture determining section 206 is used in the fourth embodiment, it is not necessary in this embodiment. 加算演算部207は、予測残差復号化部202で復号化された予測残差画像と、動き補償復号部204で生成された予測画像とを加算し、復号化対象ブロックの復号化画像を生成する。 Addition unit 207 adds the prediction residual image which is decoded by the prediction residual decoding unit 202, and a prediction image generated by the motion compensation decoding unit 204, generates a decoded image of the decoding target block to.
【0061】 [0061]
まず入力された符号列から符号列解析部201によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。 First various information such as motion vector information and predictive residual coding data is extracted from inputted bit stream by the bit stream analysis unit 201. ここで抽出された動きベクトル情報は動き補償復号部204に、予測残差符号化データは予測残差復号化部202にそれぞれ出力される。 Motion vector information extracted here is the motion compensation decoding unit 204, the prediction residual coding data is outputted to the prediction residual decoding unit 202. 動き補償復号部204では、フレームメモリ203に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、復号化された動きベクトルに基づいて予測画像を生成する。 The motion compensation decoding unit 204, a reference picture decoding image decoded pictures accumulated in the frame memory 203, and generates a prediction image based on the motion vector decoded.
【0062】 [0062]
このようにして生成された予測画像は加算演算部207に入力され、予測残差復号化部202において生成された予測残差画像との加算を行うことにより復号化画像が生成される。 Thus the predicted image generated is input to the addition unit 207, the decoded image is generated by performing the addition of the prediction residual image generated in the prediction residual decoding unit 202. 予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ203において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。 When the prediction direction is not restricted, when it generated decoded image rearranges pictures in the order in which they appear in the frame memory 203, which can not be referred to picture behind in display order, the It can be displayed in the order in which they were decoded without performing rearrangement. 以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ208によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。 Above embodiment was the operation for the code string inter picture prediction coding is performed, the switching of the decoding process is performed for the code sequence picture prediction coding is performed by the switch 208.
【0063】 [0063]
以上復号化の流れの概要を示したが、動き補償復号部204における処理の詳細について以下で説明する。 The outline of the flow of more than decoding, but described below detail the processing in the motion compensation decoding unit 204.
図9は、図8に示した動き補償復号部204における直接モードによる復号化の処理手順を示すフローチャートである。 Figure 9 is a flowchart illustrating a processing procedure of decoding by direct mode in the motion compensation decoding unit 204 shown in FIG.
【0064】 [0064]
予測モードおよび動きベクトル情報はマクロブロックごともしくはマクロブロックを分割したブロックごとに付加されている。 Prediction mode and motion vector information is added for each block obtained by dividing each macro block or macroblock. これらの情報は、符号列のスライスデータ領域の中に、スライス中のマクロブロックの順に記述されている。 This information is in the slice data area in the code sequence are described in the order of the macroblocks in the slice. 前記予測モードModeが直接モードを示している場合、動き補償復号部204は、スライスヘッダに復号化されるフラグspatial_flagに「0」がセットされているか「1」がセットされているかを調べる(S901)。 If the prediction mode Mode indicates the direct mode, the motion compensation decoding unit 204 checks whether "0" is set in the flag spatial_flag to be decoded to the slice header is "1" is set (S901 ). 後方のピクチャが復号化されていないときには、フラグspatial_flagに「1」がセットされており、空間的予測を用いて復号化を行うことが指示されている。 When the rear of the picture is not decoded, the flag spatial_flag, "1" is set, it has been instructed to perform decoding using the spatial prediction.
【0065】 [0065]
フラグspatial_flagに「1」がセットされている場合には、動き補償復号部204は、直接モードの空間的予測を用いて復号化対象ブロックの予測画像を作成し(S902)、「0」がセットされている場合には、動き補償復号部204は、直接モードの時間的予測を用いて復号化対象ブロックの予測画像を作成する(S903)。 If the flag spatial_flag "1" is set, the motion compensation decoding unit 204, creates a predictive image of the current block using a direct mode spatial prediction of (S902), "0" is set if it is, the motion compensation decoding unit 204 generates a predicted image decoding target block by using the temporal prediction of direct mode (S903). スライスヘッダ中の予測モードModeが直接モード以外の予測モードを示している場合、動き補償復号部204は、復号化の対象としているマクロブロックに対して、既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってその参照ピクチャ内のブロックを特定し、特定されたブロックから動き補償を行うための予測画像切り出して、予測画像を作成する。 If the prediction mode Mode in the slice header indicates the prediction mode other than direct mode, the motion compensation decoding unit 204, for a macroblock as an object of decoding, already a reference picture decoded picture, It identifies blocks in the reference picture by the decoded motion vector, from the identified block by cutting prediction image for performing a motion compensation to create a prediction image.
【0066】 [0066]
以下では、図9のステップS902において行われる空間的予測の具体的方法について説明する。 The following describes spatially specific method for prediction performed in step S902 of FIG. 9.
図19を用いて説明したスキップモードの例は、参照される復号化済みブロックが1つずつの動きベクトルを持っている場合についてのものであった。 Examples of the skip mode described with reference to FIG. 19, decoded blocks to be referred were of the case having a motion vector of one. しかし、Bピクチャの予測モードの中には、図2に示したように、表示順で前方にある2枚のピクチャを同時に参照して動き補償を行うものも含まれている。 However, in the predictive mode of the B picture, as shown in FIG. 2, it is also included to perform motion compensation by referring to two pictures in the forward display order at the same time. そのようなモードの場合は1つのブロックが2つの動きベクトルを持っていることになる。 For such a mode would be one block has two motion vectors.
【0067】 [0067]
図4は、動きベクトルを参照される復号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示している。 Figure 4 shows an example of a reference relationship of a motion vector in the case that contains the block having two motion vectors in the decoded blocks to be referenced to a motion vector. ピクチャP94が現在復号化を行っているピクチャであり、ブロックBL51が直接モードによる予測復号化を行うブロックである。 Picture P94 is a picture being currently decoded is a block block BL51 performs predictive decoding by direct mode.
【0068】 [0068]
まず、第1の方法として、動き補償復号部204は、直接モードによる予測復号化を行うブロックBL51が図18(a)および図18(b)に示したいずれの場合も、ブロックBL51(またはブロックBL52)に対して基本的にA、B、Cの位置にあるブロックの動きベクトルを参照する。 As a first method, the motion compensation decoding unit 204, in either case the block BL51 performing prediction decoding by direct mode shown in FIG. 18 (a) and FIG. 18 (b), the block BL51 (or block basically a, B, referring to the motion vector of the block in the position of C relative to BL52). ただし、下記の条件に従って参照が変更される。 However, reference is changed in accordance with the following conditions.
【0069】 [0069]
1、ブロックCが参照不可の場合は、A、B、Dの位置にあるブロックを参照する。 1, if the block C is a reference not, reference A, B, a block at position D.
2、A、B、CまたはA、B、Dの位置にある3つのブロックにおいて、動きベクトルを参照できないブロックがあれば、そのブロックを動きベクトルの参照の対象から除く。 2, A, B, C, or A, B, in the three blocks in the position and D, if there are blocks that can not see the motion vector, excluded from the subject of the reference motion vector and the block.
【0070】 [0070]
動き補償復号部204は、参照の対象となったA、B、C(またはA、B、D)の3つのブロックが持つ動きベクトルのうちで、動きベクトルによって参照されるピクチャと復号化対象ピクチャとの表示順での遠近を比較する。 Motion compensation decoding unit 204, A was the subject of reference, B, C (or A, B, D) among the motion vectors with three blocks, the decoding target picture and a picture to be referenced by the motion vector to compare the perspective of the display order of the. 比較されたうちで、復号化対象ピクチャから表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出す。 Among the compared retrieves the motion vectors which refer to pictures that are closest in display order from decoding target picture. 取り出された動きベクトルが複数ある場合には、それらの中央値もしくは平均値を取る。 If the retrieved motion vector is more than one take their median or average value. 例えば、取り出された動きベクトルが奇数個ある場合には中央値、偶数個ある場合には平均値をとるとしてもよい。 For example, the central value when the motion vector retrieved is an odd number, may take the average value in some cases even number.
【0071】 [0071]
これによって得られた動きベクトルを、表示順で復号化対象ピクチャよりも前方にあるピクチャのみを参照して動き補償する場合に、直接モードが選択されたときの復号化対象ブロックの動きベクトルとする。 The motion vector thereby obtained, when referring to motion compensation only picture in the front than the target picture to be decoded in display order, the motion vector of the current block when the direct mode is selected . また、A、B、C(またはA、B、D)の全てのブロックが参照できない場合は、復号化対象ブロックの動きベクトルを0とし、参照するピクチャを直前のピクチャとして直接モードによる予測復号化を行う。 Further, A, B, C (or A, B, D) If you can not see all the blocks, and 0 motion vector of the current block, prediction decoding by direct mode picture referenced as the last picture I do.
【0072】 [0072]
図5のフローチャートは、図8に示した動き補償復号部204が第1の方法を用いて復号化対象ブロックの空間的予測を行う場合の処理手順の一例を示している。 The flowchart of FIG. 5 shows an example of a processing procedure of a case where the motion compensation decoding unit 204 shown in FIG. 8 performs spatial prediction of the decoding target block by using the first method. 以下では、図4に示した復号化対象ブロックBL51を例として説明する。 The following describes a decoding target block BL51 shown in FIG. 4 as an example.
【0073】 [0073]
まず、動き補償復号部204は、復号化対象ブロックBL51に対してCの位置にあるブロックが参照可能であるか否かを調べる(S601)。 First, the motion compensation decoding unit 204 checks whether the block in the position of C can be referenced to the current block BL51 (S601). 図4においてCの位置にあるブロックはピクチャP93を参照する動きベクトルMVC1とピクチャP92を参照する動きベクトルMVC2とを持っている。 The blocks in the position of the C has a motion vector MVC2 referencing the motion vector MVC1 and the picture P92 which refers to a picture P93 in FIG. 従って、動き補償復号部204は、A、B、Cの位置にあるブロックの動きベクトルを参照する(S602)。 Accordingly, the motion compensation decoding unit 204, A, B, referring to the motion vector of the block at the position C (S602).
【0074】 [0074]
Aの位置にあるブロックは、ピクチャP93を参照する動きベクトルMVA1を持ち、Bの位置にあるブロックはピクチャP93を参照する動きベクトルMVB1とピクチャP91を参照する動きベクトルMVB3を持っている。 A block in a position, has a motion vector MVA1 referring to pictures P93, blocks in the position B has the motion vector MVB3 referencing the motion vector MVB1 and the picture P91 which refers to a picture P93. ステップS601において、Cの位置にあるブロックが、復号化対象ピクチャP94の外にあったり、または復号化対象ブロックBL51が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、Cの位置にあるブロックの代わりに、図18(a)および図18(b)に示したDの位置にあるブロックの動きベクトルを参照する(S603)。 In step S601, in order to block in position and C, it was subjected to decoding such as Attari outside the slice Attari outside the decoded picture P94 or decoding target block BL51, belonging or intra prediction, If you do not have a motion vector, in place of the block at the position of C, and refers to the motion vector of the block in a position D that shown in FIG. 18 (a) and FIG. 18 (b) (S603). すなわち、A、B、Dの位置にある3つのブロックを参照する。 That is, referring A, B, the three blocks in the position of D.
【0075】 [0075]
次いで、動き補償復号部204は、参照された3つのブロック(A、B、CまたはA、B、D)のうち、復号化対象ピクチャP94の外にあったり、または復号化対象ブロックBL51が属するスライスの外にあったり、または画面内予測などの復号化を行ったために動きベクトルを持っていない場合には、そのブロックを参照の候補から除いて、復号化対象ブロックの動きベクトルの計算を行う(S604)。 Then, the motion compensation decoding unit 204, referenced three blocks (A, B, C, or A, B, D) of, Attari or decoding target block BL51, belongs to out of the decoded picture P94 If the outside of the slice Attari or do not have a motion vector to decrypt conducted such intra prediction is excluded from candidates for the reference to that block, the calculation of the motion vector of the current block (S604).
【0076】 [0076]
また、3つのブロック(A、B、CまたはA、B、D)のうち、全てのブロックを参照できない場合は、復号化対象ブロックの動きベクトルを「0」とし、復号化対象ピクチャの直前のピクチャを参照する。 Further, three blocks (A, B, C, or A, B, D) of, if you can not see all the blocks, the motion vector of the current block is "0", the immediately preceding decoded picture refer to the picture. 動き補償復号部204は、参照されたこれらの動きベクトルの中から、復号化対象ピクチャに表示順で最も近いピクチャを参照するもののみを取り出すと、ピクチャP93を参照する動きベクトルMVA1、動きベクトルMVB1および動きベクトルMVC1が得られる。 Motion compensation decoding unit 204, from the referenced these motion vectors, the extract only those that refer to the nearest picture in display order in the target picture to be decoded, the motion vector MVA1 referring to pictures P93, the motion vector MVB1 and the motion vector MVC1 are obtained. 動き補償復号部204は、さらに、これらの中央値もしくは平均値を取る。 Motion compensation decoding unit 204 further take these median or average value. 例えば、ここでは3個の動きベクトルが得られたので中央値を取る。 For example, here taking the median since three motion vectors is obtained. これにより、ブロックBL51の動き補償を行うための1つの動きベクトルMV1を決定することができる。 This makes it possible to determine one of the motion vectors MV1 for performing motion compensation of the block BL51.
【0077】 [0077]
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、高い符号化効率を実現する復号化方法を示した。 In the above embodiment, as described above, even in an environment that can not see a picture behind in display order, directly without reference to pictures in the backward in display order in predicting decoding using direct mode proposes a method for implementing a mode showed decoding method for realizing high encoding efficiency.
【0078】 [0078]
なお上記第1の方法では、参照された動きベクトルのうちで復号化対象ピクチャに表示順で一番近いピクチャを参照するものを取り出したが、参照された動きベクトルの中から復号化対象ピクチャの直前のピクチャを参照するもののみを取り出すとしてもよい。 Note In the first method, but was taken out those that refer to the nearest picture in display order in the decoded picture among the reference motion vector, referenced in the target picture to be decoded from among the motion vectors it may extract only those that refer to the last picture. 図4に示した例の場合、参照された動きベクトルに参照されるピクチャのうち、復号化対象ピクチャに表示順で最も近いピクチャは、復号化対象ピクチャの直前のピクチャであるので、得られる動きベクトルは同じである。 In the example shown in FIG. 4, of the picture to be referenced to the reference motion vector, the closest-picture in display order in the decoding target picture, because it is the last picture of the target picture to be decoded, the resulting motion vector is the same. もし、表示順で一番近いピクチャを参照する動きベクトルが1つも無かった場合は、復号化対象ブロックの動きベクトルを「0」として直接モードによる復号化を行う。 If, when the motion vector referring to the nearest picture in display order is not Tsumo 1, performs decoding by direct mode motion vectors of the current block as "0".
【0079】 [0079]
また上記第1の方法では、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から表示順で復号化対象ピクチャから最も手前にあるピクチャを参照している動きベクトルだけを取り出して最終的に1個の動きベクトルを算出したが、その代わりに、第2の方法として、表示順で復号化対象ピクチャの手前からN枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに1つずつの動きベクトルを決定し、得られたN個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。 In the above first method, in determining the motion vector used in the direct mode, with reference to the picture on the nearest from the target picture to be decoded in display order among the pictures near the decoded block is referenced Although only the finally calculates one motion vector extraction motion vectors are, instead, as the second method, the motion vector that refers to N pieces of picture from the previous decoded picture in display order extraction, reference to determine the motion vector, one for each picture is, performs motion compensation referring to forward only as a motion vector to be used for predictive decoding of the N-number of motion vectors obtained in the direct mode it is also possible. このとき予測画像はN個の動きベクトルによって指定されたN個の領域の画素値の平均を算出することによって生成される。 In this case the prediction image is generated by calculating the average of the pixel values ​​of the N region designated by the N motion vectors.
【0080】 [0080]
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。 Instead of the simple average, it is also possible to generate a prediction image by a method taking the average by weighting the pixel values ​​of the respective regions. この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。 By using this method, it is possible to realize a more accurate motion compensation for image sequence as the pixel value changes s ordinal in display order.
【0081】 [0081]
図7は、表示順で復号化対象ピクチャの手前から2枚のピクチャを参照する動きベクトルを取り出して2個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表している。 Figure 7 shows an example of a motion vector reference method when calculating the two motion vectors removed motion vectors that refer to two pictures from the previous decoded picture in display order. ピクチャP104が現在復号化を行っているピクチャであり、BL51が直接モードによる予測復号化を行うブロックである。 A picture picture P104 is currently performing the decoding, a block that performs predictive decoding BL51 is by direct mode. 参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャP103を参照している動きベクトルMVA1、動きベクトルMVB1および動きベクトルMVC1を用いてその中央値もしくは平均値を取ることにより動きベクトルMV1が決定され、さらに表示順で2つ前にあるピクチャP102を参照している動きベクトルの中央値もしくは平均値、つまりMVC2そのものを取ることにより動きベクトルMV2が決定され、これら2つの動きベクトルを用いて直接モードによる復号化がなされる。 Motion plurality of motion vectors to be the reference refers to a picture P103 that is foremost in display order among the pictures that reference vector MVA1, the center value by using the motion vector MVB1 and the motion vector MVC1 or motion vector MV1 are determined by taking the average value, further the median or average of the motion vectors which refer to pictures P102 with 2 earlier in display order, that is, a motion vector MV2 by taking MVC2 itself determined is, decoding is performed by direct mode using these two motion vectors.
【0082】 [0082]
なお、図18(a)および図18(b)において参照されるブロックの動きベクトルの中から表示順で手前から1枚もしくはN枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。 In place of the method of using only one reference to one or N pieces of picture from the front in the display order from among the motion vector of the block to be referred to in FIG. 18 (a) and FIG. 18 (b), the Extracting only the motion vectors which refer to the specified picture to determine the value of the motion vector of the current block to be used in the direct mode, it is also possible that perform motion compensation from the designated picture.
【0083】 [0083]
なお、直接モードを用いて復号化を行う際に、図18(a)および図18(b)のような位置関係にある符号化済みのブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「0」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。 Incidentally, when performing decoding using the direct mode, instead of a reference to motion compensation coded blocks in a positional relationship as shown in FIG. 18 (a) and FIG. 18 (b), the decoding the value of the motion vector of the target block "0", it is also possible to perform motion compensation by direct mode pictures referenced as the last picture. この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。 Using this method, it is not necessary to perform the step of calculating a motion vector to be used in direct mode is eliminated, it is possible to simplify the decoding process.
【0084】 [0084]
なお、対応する符号化処理において、直接モードで符号化済みのブロックを参照せずに符号化対象ブロックの動きベクトルの値を「0」として動き補償を行うことを示すフラグが符号化されていた場合は、前記フラグの値を解釈することにより前記動作に切り替えて直接モードによる動き予測を行うことができる。 Note that in the corresponding encoding process, a flag indicating that the motion compensation value of the motion vector of the encoding target block without reference to coded blocks in direct mode as "0" is coded case, it is possible to perform motion prediction by the direct mode is switched to the operation by interpreting the value of the flag.
【0085】 [0085]
なお、上記の方法では、3つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で復号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。 In the above method, from among the motion vectors obtained by referring to the three blocks, with reference to the picture located closest in display order to the target picture to be decoded in the pictures they refer and it was taken out motion vector is, the present invention is not limited thereto. 例えば、復号化対象ピクチャに復号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。 For example, it may be taken out motion vector that refers to a picture that is closest in decoding order to a decoded picture.
【0086】 [0086]
(実施の形態3) (Embodiment 3)
本発明の実施の形態3の動画像符号化方法を図1に示したブロック図を用いて説明する。 The moving picture coding method according to a third embodiment of the present invention will be described with reference to a block diagram shown in FIG.
符号化対象となる動画像は時間順にピクチャ単位でフレームメモリ101に入力される。 Moving picture to be encoded is input to the frame memory 101 on a picture-by-picture basis in time order. 各々のピクチャはマクロブロックと呼ばれる例えば水平16×垂直16画素のブロックに分割されブロック単位で以降の処理が行われる。 Each picture processing after in blocks divided into blocks of, for example, horizontal 16 × vertical 16 pixels called macroblocks is performed.
【0087】 [0087]
フレームメモリ101から読み出されたマクロブロックは動きベクトル検出部106に入力される。 Macroblock read out from the frame memory 101 is input to the motion vector detection unit 106. ここではフレームメモリ105に蓄積されている符号化済みのピクチャを復号化した画像を参照ピクチャとして用いて、符号化対象としているマクロブロックの動きベクトル検出を行う。 Here using an image obtained by decoding the coded pictures stored in the frame memory 105 as a reference picture, a motion vector detection of a macro block being a coding target.
【0088】 [0088]
モード選択部107では動きベクトル記憶部108に記憶されている符号化済みのピクチャで用いた動きベクトルを参照しつつ最適な予測モードを決定する。 The mode selection unit 107 determines the optimal prediction mode with reference to the motion vector used in the coded picture stored in the motion vector storage unit 108. このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部109において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Bピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。 Whether the picture in this case behind in display order has already been encoded is determined in the rear picture determining section 109, is if the back of the picture is determined not to be coded, the coding of B-pictures prediction mode refers to a picture in the backward in display order is limited so as not to be selected.
【0089】 [0089]
図10はBピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。 Figure 10 shows an example of a table associating the code and coding mode for identifying the prediction mode in the B picture. 予測方向が制限されていない場合は図10(a)のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図10(b)のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。 When the prediction direction is not restricted uses a table showing all of the reference pattern as shown in FIG. 10 (a), but the rear as in FIG. 10 if the prediction direction is restricted only to the front (b) recreate the exception of all references to pattern table reference it. これにより、予測モードを識別するための符号に必要とされるビット量を削減することが可能となる。 Thereby, it becomes possible to reduce the amount of bits needed to code for identifying the prediction mode. なお、図10(a)および図10(b)のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。 Each item in the table of FIG. 10 (a) and FIG. 10 (b), can be treated like the case of using the other values.
【0090】 [0090]
図2は表示順で後方のピクチャを参照することが出来ない場合の各ピクチャの参照関係を示したものである。 Figure 2 shows a reference relation of each picture in the case where it is impossible to refer to the backward pictures in display order. シーケンスに含まれる全てのBピクチャは表示順で前方にある1枚もしくは複数の符号化済みピクチャを参照して予測符号化を行っている。 All B picture included in the sequence have done predictive coding with reference to one or more encoded pictures in front in display order.
【0091】 [0091]
得られた動きベクトルによって決定された予測画像が差分演算部110に入力され、符号化対象のマクロブロックとの差分をとることにより予測残差画像が生成され、予測残差符号化部102において符号化が行われる。 Obtained predictive image determined by the motion vector is input to the difference calculation unit 110, the prediction residual image by taking the difference between the macroblock to be coded are generated, the code in the prediction residual coding unit 102 reduction is carried out. 以上の処理の流れはピクチャ間予測符号化が選択された場合の動作であったが、スイッチ112によってピクチャ内予測符号化との切り替えがなされる。 The flow of the above processing is inter picture prediction coding is an act when it is selected, switching between the intra-picture prediction coding is performed by the switch 112. 最後に符号列生成部103によって、動きベクトル等の制御情報および予測残差符号化部102から出力される画像情報等に対し可変長符号化を施し、最終的に出力される符号列が生成される。 Finally the bit stream generation unit 103 performs variable length encoding on the image information and the like output from the control information and predictive residual coding unit 102, such as a motion vector, a code string to be finally output is generated that.
【0092】 [0092]
以上符号化の流れの概要を示したが、動きベクトル検出部106およびモード選択部107における処理の詳細について以下で説明する。 The outline of the flow of more than coded, but described below detail the processing in the motion vector detection unit 106 and the mode selection unit 107. ただし、ここでは後方ピクチャ判定部109において後方のピクチャが符号化されていないと判定された場合を考える。 However, here it assumed that in the rear picture determining section 109 behind the picture is determined not to be coded.
【0093】 [0093]
動きベクトルの検出はマクロブロックごともしくはマクロブロックを分割した領域ごとに行われる。 Detection of motion vector is performed for each region obtained by dividing the each macroblock or macroblock. 符号化の対象としているマクロブロックは既に符号化済みのピクチャを参照ピクチャとし、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルおよび予測モードを決定することにより予測画像を作成する。 Macroblock as an object of coding is already a reference picture coded picture, creates a predictive image by determining the motion vector and the prediction mode indicates the position which is predicted optimum in the search area in the picture .
【0094】 [0094]
表示順で後方のピクチャが符号化されていない環境下において、Bピクチャの予測符号化を行う際にモード選択部107によって直接モードが選択された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、符号化対象のブロックの周辺に位置する符号化済みブロックの動きベクトルを参照することによって直接モードを実現する。 In an environment in which the display order behind the picture is not coded, if the mode is selected directly by the mode selection unit 107 when performing predictive coding of B-pictures, immediately in display order described in the prior art instead of using as a reference to motion vectors of picture, to realize a direct mode by referring to the motion vector of the coded blocks located around the block to be coded.
【0095】 [0095]
まず、符号化対象ブロックの周辺に位置する符号化済みブロックがそれぞれ1つの動きベクトルを持っている場合について説明する。 First, a description will be given of a case where encoded blocks positioned around the target block are each with one motion vector. 図18は参照するブロックの位置関係を表したものである。 Figure 18 illustrates a positional relation of the block to be referenced. 図18(a)は直接モードでの符号化を行うブロックBL51が16画素×16画素のサイズであった場合の例であり、図18(b)は直接モードでの符号化を行うブロックBL52が8画素×8画素のサイズであった場合の例である。 FIG. 18 (a) is an example where the block BL51 of coding in the direct mode is the size of 16 pixels × 16 pixels, blocks BL52 to be encoded in FIG. 18 (b) direct mode an example of a case was 8 pixels × 8 pixels in size. いずれの場合も基本的にA、B、Cの位置関係にある3つのブロックの動きベクトルを参照する。 Also Essentially cases A, B, referring to the motion vector of the three blocks in the position relationship of C. ただし、下記の条件の場合は参照を行わず、符号化対象ブロックの動きベクトルの値を「0」として直前のピクチャを参照して直接モードによる動き補償を行う。 However, if the following conditions without reference, performs motion compensation by direct mode with reference to the picture just before the value of the motion vector of the encoding target block as "0".
【0096】 [0096]
1、AもしくはBがピクチャの外部もしくはスライスの外部であった場合。 1, when A or B was outside the external or slice of the picture.
2、AもしくはBが直前のピクチャを参照する値「0」の動きベクトルを持つ場合。 2, A or if B has the motion vector of values ​​that refer to the picture just before the "0".
参照の対象となったA、B、Cの3つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。 A is the target of a reference, B, only those that refer to the picture just before from the motion vector of the three blocks of C is removed and used in actual direct mode by taking the median or mean value as the motion vector. ただし、ブロックCが参照不可の場合は代わりにブロックDを用いるものとする。 However, if the block C is a reference not shall be used to block D instead.
【0097】 [0097]
図19はそのときの動きベクトルの参照関係の例を示したものである。 Figure 19 shows an example of a reference relationship of a motion vector at that time. ピクチャP64に属するブロックBL51を現在符号化しているブロックとする。 A block being currently encoded block BL51 belonging to the picture P64. この例では直前のピクチャを参照する動きベクトルはMVA1のみとなり、直接モードにおいて用いられる動きベクトルMV1はMVA1の値をそのまま使用することになる。 The motion vector that refers to the last picture in the example is only the MVA1, motion vectors MV1 used in the direct mode is to accept the value of MVA1. なお、参照するブロックの位置関係は図18(a)および図18(b)で示したA、B、C,D以外の場所を用いた場合も同様である。 The positional relationship of the reference block is the same when using A, B, C, the locations other than D shown in FIG. 18 (a) and FIG. 18 (b).
【0098】 [0098]
図19の例は参照される符号化済みブロックが1つずつの動きベクトルを持っている場合についてのものであった。 Example of FIG. 19 is encoded blocks referenced were of the case to have a motion vector of one. しかし、Bピクチャの予測モードの中には表示順で前方にある2枚のピクチャを同時に参照して動き補償を行うものも含まれている。 However, some of the prediction mode of the B picture also includes those simultaneously referring to motion compensation to two pictures in the forward display order. そのようなモードの場合は1つのブロックが2つの動きベクトルを持っていることになる。 For such a mode would be one block has two motion vectors.
【0099】 [0099]
以下では、符号化対象ブロックの周辺に位置する符号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合について説明する。 The following describes the case where the block with two motion vectors encoded blocks positioned around the target block is included. 図4は、符号化対象ブロックの周辺に位置する符号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の例を表した図である。 Figure 4 is a diagram showing an example of a reference relationship of a motion vector when the block having two motion vectors in the coded blocks located on the periphery of the encoding target block is included. ピクチャP94が現在符号化を行っているピクチャであり、ブロックBL51が直接モードによる予測符号化を行うブロックである。 Picture P94 is a picture being currently encoded, a block in which the block BL51 performs predictive coding by direct mode. 参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャP93を参照している動きベクトルMVA1、MVB1およびMVC1を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測符号化に用いる動きベクトルMV1が決定され前方向のみを参照する動き補償を行う。 Among the pictures of all the motion vectors with the interest of the reference block is referred to, the use of pictures P93 motion with reference that the vector MVA1, MVB1 and MVC1 are pictures in most recently in display order by taking the median or mean value, it performs motion compensation referring to forward only the motion vector MV1 are determined for use in the predictive coding in the direct mode.
【0100】 [0100]
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくすることが可能となり、高い符号化効率を実現する符号化方法を示した。 In the above embodiment, as described above, even in an environment that can not see a picture behind in display order, directly without reference to pictures in the backward in display order in predicting encoding using direct mode proposes a method for implementing a mode, further, consists of the coding mode table can be reduced the number of items in the table by removing the items that refer to backward pictures, coding method for realizing high encoding efficiency showed that.
【0101】 [0101]
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の符号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して1個の動きベクトルを算出する代わりに、手前からN枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに1つずつの動きベクトルを決定し、得られたN個の動きベクトルを直接モードでの予測符号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。 Incidentally, in determining the motion vector used in the direct mode, one motion only taking out motion vector referencing a picture in front most display order among the pictures near the encoded blocks referenced instead of calculating the vector, remove the motion vector that refers to N pieces of picture from the front, to determine one by one motion vector for each picture that refers, N number of motion vectors obtained by direct mode it is also possible to carry out the reference motion compensation for a forward only as the motion vector used in predictive coding. このとき予測画像はN個の動きベクトルによって指定されたN個の領域の画素値の平均を算出することによって生成される。 In this case the prediction image is generated by calculating the average of the pixel values ​​of the N region designated by the N motion vectors.
【0102】 [0102]
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。 Instead of the simple average, it is also possible to generate a prediction image by a method taking the average by weighting the pixel values ​​of the respective regions. この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。 By using this method, it is possible to realize a more accurate motion compensation for image sequence as the pixel value changes s ordinal in display order.
【0103】 [0103]
図7は上記のケースにおけるN=2のときの動きベクトル参照方法の例を表したものである。 Figure 7 is a representation of an example of a motion vector reference method when N = 2 in the above case. P104が現在符号化を行っているピクチャであり、BL51が直接モードによる予測符号化を行うブロックである。 P104 is a picture being currently encoded is a block that performs predictive coding BL51 is by direct mode. 参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャP103を参照している動きベクトルMVA1およびMVB1およびMVC1を用いてその中央値もしくは平均値を取ることにより動きベクトルMV1が決定され、さらに表示順で2つ前にあるピクチャP102を参照している動きベクトルの中央値もしくは平均値、つまりMVC2そのものを取ることにより動きベクトルMV2が決定され、これら2つの動きベクトルを用いて直接モードによる符号化がなされる。 Takes its median or average value by using a plurality of motion vectors MVA1 motion vector refers to a picture P103 that is foremost in display order among the pictures that reference and MVB1 and MVC1 of interest of the reference it motion vector MV1 are determined by the motion vector MV2 is determined further median or average of the motion vectors which refer to pictures P102 with 2 earlier in display order, i.e. by taking the MVC2 itself, these two coding is performed by direct mode using a One of the motion vector.
【0104】 [0104]
なお、図18(a)および図18(b)において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。 As a method of determining a block to be referred to the motion vector in FIG. 18 (a) and FIG. 18 (b), the instead of the methods described in the above embodiment, it is also possible to use the following conditions.
1、AおよびDが参照不可の場合はそれらの動きベクトルを「0」として参照する。 1, if A and D is a reference not to refer to those motion vectors as "0".
2、BおよびCおよびDが参照不可の場合はAのみを参照する。 2, if B and C and D is a reference not refer only to A.
3、Cのみが参照不可の場合はA、B、Dを参照する。 3, when only C is a reference not reference A, B, and D.
4、上記2および3以外の場合はA、B、Cを参照する。 4, in the case other than the above 2 and 3 reference A, B, and C.
【0105】 [0105]
なお、図18(a)および図18(b)において参照されるブロックの動きベクトルの中から表示順で手前から1枚もしくはN枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される符号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。 In place of the method of using only one reference to one or N pieces of picture from the front in the display order from among the motion vector of the block to be referred to in FIG. 18 (a) and FIG. 18 (b), the Extracting only the motion vectors which refer to the specified picture to determine the value of the motion vector of the encoding target block to be used in the direct mode, it is also possible that perform motion compensation from the designated picture.
【0106】 [0106]
なお、直接モードを用いて符号化を行う際に、図18(a)および図18(b)のような位置関係にあるブロックを参照して動き補償を行う代わりに、符号化対象ブロックの動きベクトルの値を「0」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。 Incidentally, when performing encoding using the direct mode, FIG. 18 (a) and instead of performing a reference to motion compensation blocks in a positional relationship as in FIG. 18 (b), the motion of the encoding target block the value of the vector "0", it is also possible to perform motion compensation by direct mode pictures referenced as the last picture. この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、符号化処理の単純化を図ることが出来る。 Using this method, it is not necessary to perform the step of calculating a motion vector to be used in direct mode is eliminated, it is possible to simplify the encoding process.
【0107】 [0107]
なお、上記実施の形態では、3つのブロックを参照して得られた動きベクトルのうちから、それらが参照しているピクチャの中で符号化対象ピクチャに表示順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしたが、本発明はこれに限定されない。 In the above embodiment, from among the motion vectors obtained by referring to the three blocks, the reference pictures which is closest in display order to a current picture to be coded in the picture they refer Although the retrieving motion vectors which are then, the present invention is not limited thereto. 例えば、符号化対象ピクチャに符号化順で最も近い位置にあるピクチャを参照している動きベクトルを取り出すとしてもよい。 For example, it may be taken out motion vector that refers to a picture that is closest in coding order in the encoding target picture.
【0108】 [0108]
(実施の形態4) (Embodiment 4)
本発明の実施の形態4の動画像復号化方法を図8に示したブロック図を用いて説明する。 The moving picture decoding method according to the fourth embodiment of the present invention will be described with reference to a block diagram shown in FIG. ただし、実施の形態3の動画像符号化方法で生成された符号列が入力されるものとする。 However, it is assumed that the code stream generated by the moving picture coding method of the third embodiment is input.
【0109】 [0109]
まず入力された符号列から符号列解析部201によって動きベクトル情報および予測残差符号化データ等の各種の情報が抽出される。 First various information such as motion vector information and predictive residual coding data is extracted from inputted bit stream by the bit stream analysis unit 201. ここで抽出された動きベクトル情報は動き補償復号部204に、予測残差符号化データは予測残差復号化部202にそれぞれ出力される。 Motion vector information extracted here is the motion compensation decoding unit 204, the prediction residual coding data is outputted to the prediction residual decoding unit 202. 動き補償復号部204ではフレームメモリ203に蓄積されている復号化済みのピクチャの復号化画像を参照ピクチャとし、入力された動きベクトル情報に基づいて予測画像を生成する。 A reference picture decoding image decoded pictures accumulated in the frame memory 203 in the motion compensation decoding unit 204 generates a predicted image based on the inputted motion vector information. このとき表示順で後方にあるピクチャが既に符号化されているかどうかを後方ピクチャ判定部206において判定し、もし後方のピクチャが符号化されていないと判定された場合は、Bピクチャの符号化において表示順で後方にあるピクチャを参照する予測モードは選択されないように制限される。 Whether the picture in this case behind in display order has already been encoded is determined in the rear picture determining section 206, is if the back of the picture is determined not to be coded, the coding of B-pictures prediction mode refers to a picture in the backward in display order is limited so as not to be selected.
【0110】 [0110]
図10はBピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの例を示したものである。 Figure 10 shows an example of a table associating the code and coding mode for identifying the prediction mode in the B picture. 予測方向が制限されていない場合は図10(a)のように全ての参照パターンを示すテーブルを用いるが、予測方向が前方のみに制限されている場合は図10(b)のように後方を参照するパターンを全て除いたテーブルに作り直してそれを参照する。 When the prediction direction is not restricted uses a table showing all of the reference pattern as shown in FIG. 10 (a), but the rear as in FIG. 10 if the prediction direction is restricted only to the front (b) recreate the exception of all references to pattern table reference it. なお、図10(a)および図10(b)のテーブルにおける各項目は、これ以外の値を用いた場合も同様に扱うことができる。 Each item in the table of FIG. 10 (a) and FIG. 10 (b), can be treated like the case of using the other values.
【0111】 [0111]
このようにして生成された予測画像は加算演算部207に入力され、予測残差復号化部202において生成された予測残差画像との加算を行うことにより復号化画像が生成される。 Thus the predicted image generated is input to the addition unit 207, the decoded image is generated by performing the addition of the prediction residual image generated in the prediction residual decoding unit 202. 予測方向が制限されていない場合は、生成された復号化画像はフレームメモリ203において表示される順にピクチャの並び替えを行うが、表示順で後方にあるピクチャを参照することが出来ない場合は、並び替えを行うことなく復号化された順に表示することが可能となる。 When the prediction direction is not restricted, when it generated decoded image rearranges pictures in the order in which they appear in the frame memory 203, which can not be referred to picture behind in display order, the It can be displayed in the order in which they were decoded without performing rearrangement. 以上の実施の形態はピクチャ間予測符号化がなされている符号列に対する動作であったが、スイッチ208によってピクチャ内予測符号化がなされている符号列に対する復号化処理との切り替えがなされる。 Above embodiment was the operation for the code string inter picture prediction coding is performed, the switching of the decoding process is performed for the code sequence picture prediction coding is performed by the switch 208.
【0112】 [0112]
以上復号化の流れの概要を示したが、動き補償復号部204における処理の詳細について以下で説明する。 The outline of the flow of more than decoding, but described below detail the processing in the motion compensation decoding unit 204. ただし、ここでは後方ピクチャ判定部206において後方のピクチャが復号化されていないと判定された場合を考える。 However, here it assumed that in the rear picture determination unit 206 backward pictures is determined not to be decoded.
動きベクトル情報はマクロブロックごともしくはマクロブロックを分割した領域ごとに付加されている。 Motion vector information is added to each region obtained by dividing the macroblock by or macroblock. 復号化の対象としているマクロブロックは既に復号化済みのピクチャを参照ピクチャとし、復号化された動きベクトルによってそのピクチャ内から動き補償を行うための予測画像を作成する。 Macroblock as an object of decoding already a reference picture decoded picture, it creates a predictive image for motion compensation from within the picture by the motion vector decoded.
【0113】 [0113]
表示順で後方のピクチャが復号化されていない環境下において、Bピクチャの予測復号化において直接モードが指示された場合、従来の技術で述べた表示順で直後のピクチャを参照して動きベクトルとして用いる代わりに、復号化対象のブロックの周辺に位置する復号化済みブロックの動きベクトルを参照することによって直接モードを実現する。 In an environment in which the display order behind the picture is not decoded, when the direct mode is instructed in the prediction decoding of a B picture, a motion vector with reference to the picture immediately in display order described in the prior art instead of using, to realize a direct mode by referring to the motion vector of the decoded blocks located around the block to be decoded.
【0114】 [0114]
まず、復号化対象ブロックの周辺に位置する復号化済みブロックがそれぞれ1つの動きベクトルを持っている場合について説明する。 First, the case where decoded blocks located on the periphery of the current block are each with one motion vector. 図18は参照するブロックの位置関係を表したものである。 Figure 18 illustrates a positional relation of the block to be referenced. 図18(a)は直接モードでの復号化を行うブロックBL51が16画素×16画素のサイズであった場合の例であり、図18(b)は直接モードでの復号化を行うブロックBL52が8画素×8画素のサイズであった場合の例である。 FIG. 18 (a) is an example where the block BL51 performing decoding in direct mode is the size of 16 pixels × 16 pixels, blocks BL52 to perform decoding in FIG. 18 (b) direct mode an example of a case was 8 pixels × 8 pixels in size. いずれの場合も基本的にA、B、Cの位置関係にある3つのブロックの動きベクトルを参照する。 Also Essentially cases A, B, referring to the motion vector of the three blocks in the position relationship of C. ただし、下記の条件の場合は参照を行わず、復号化対象ブロックの動きベクトルの値を「0」として直前のピクチャを参照して直接モードによる動き補償を行う。 However, if the following conditions without reference, performs motion compensation by direct mode with reference to the picture just before the value of the motion vector of the current block as "0".
1、AもしくはBがピクチャの外部もしくはスライスの外部であった場合。 1, when A or B was outside the external or slice of the picture.
2、AもしくはBが直前のピクチャを参照する値「0」の動きベクトルを持つ場合。 2, A or if B has the motion vector of values ​​that refer to the picture just before the "0".
【0115】 [0115]
参照の対象となったA、B、Cの3つのブロックが持つ動きベクトルの中から直前のピクチャを参照するもののみを取り出し、その中央値もしくは平均値を取ることによって実際に直接モードにおいて使用する動きベクトルとする。 A is the target of a reference, B, only those that refer to the picture just before from the motion vector of the three blocks of C is removed and used in actual direct mode by taking the median or mean value as the motion vector. ただし、ブロックCが参照不可の場合は代わりにブロックDを用いるものとする。 However, if the block C is a reference not shall be used to block D instead.
【0116】 [0116]
図19はそのときの動きベクトルの参照関係の例を示したものである。 Figure 19 shows an example of a reference relationship of a motion vector at that time. ピクチャP64に属するブロックBL51を現在復号化しているブロックとする。 A block being currently decoded block BL51 belonging to the picture P64. この例では直前のピクチャを参照する動きベクトルはMVA1のみとなり、直接モードにおいて用いられる動きベクトルMV1はMVA1の値をそのまま使用することになる。 The motion vector that refers to the last picture in the example is only the MVA1, motion vectors MV1 used in the direct mode is to accept the value of MVA1. なお、参照するブロックの位置関係は図18(a)および図18(b)で示したA、B、C,D以外の場所を用いた場合も同様である。 The positional relationship of the reference block is the same when using A, B, C, the locations other than D shown in FIG. 18 (a) and FIG. 18 (b).
【0117】 [0117]
図19の例は参照される復号化済みブロックが1つずつの動きベクトルを持っている場合についてのものであった。 Example of FIG. 19 is decoded blocks to be referred were of the case to have a motion vector of one. しかし、Bピクチャの予測モードの中には表示順で前方にある2枚のピクチャを同時に参照して動き補償を行うものも含まれている。 However, some of the prediction mode of the B picture also includes those simultaneously referring to motion compensation to two pictures in the forward display order. そのようなモードの場合は1つのブロックが2つの動きベクトルを持っていることになる。 For such a mode would be one block has two motion vectors.
【0118】 [0118]
以下では、復号化対象ブロックの周辺に位置する復号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合について説明する。 The following describes a case that contains the block having two motion vectors in the decoded blocks located on the periphery of the current block. 図4はそのような場合の動きベクトルの参照関係の例を表したものである。 Figure 4 is a representation of an example of a reference relationship of a motion vector in such a case. P94が現在復号化を行っているピクチャであり、BL51が直接モードによる予測復号化を行うブロックである。 P94 is a picture being currently decoded is a block that performs predictive decoding BL51 is by direct mode. 参照の対象となるブロックの持つ全ての動きベクトルが参照しているピクチャの中で、表示順で最も直前にあるピクチャであるピクチャP93を参照している動きベクトルMVA1およびMVB1およびMVC1を用いてその中央値もしくは平均値を取ることにより、直接モードでの予測復号化に用いる動きベクトルMV1が決定され前方向のみを参照する動き補償を行う。 Among the pictures of all the motion vectors with the interest of the reference block is referred to, the use of pictures in the referring motion vectors MVA1 and MVB1 and MVC1 picture P93 is in the most recently in display order by taking the median or mean value, it performs motion compensation referring to forward only the motion vector MV1 are determined for use in the predictive decoding in direct mode.
【0119】 [0119]
以上のように上記実施の形態では、表示順で後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に表示順で後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率を実現する復号化方法を示した。 In the above embodiment, as described above, even in an environment that can not see a picture behind in display order, directly without reference to pictures in the backward in display order in predicting decoding using direct mode proposes a method for implementing a mode, further, to reduce the number of items in the table by removing the items that reference picture from the table behind the coding mode indicated decoding method for realizing high encoding efficiency.
【0120】 [0120]
なお、直接モードにおいて用いる動きベクトルを決定する際に、周辺の復号化済みブロックが参照するピクチャの中から最も表示順で手前にあるピクチャを参照している動きベクトルだけを取り出して1個の動きベクトルを算出する代わりに、手前からN枚のピクチャを参照する動きベクトルを取り出し、参照しているピクチャごとに1つずつの動きベクトルを決定し、得られたN個の動きベクトルを直接モードでの予測復号化に用いる動きベクトルとして前方向のみを参照する動き補償を行うことも可能である。 Incidentally, in determining the motion vector used in the direct mode, one motion only taking out motion vector referencing a picture in front most display order among the pictures near the decoded block is referenced instead of calculating the vector, remove the motion vector that refers to N pieces of picture from the front, to determine one by one motion vector for each picture that refers, N number of motion vectors obtained by direct mode it is also possible to carry out the reference motion compensation for a forward only as a motion vector to be used for predictive decoding of. このとき予測画像はN個の動きベクトルによって指定されたN個の領域の画素値の平均を算出することによって生成される。 In this case the prediction image is generated by calculating the average of the pixel values ​​of the N region designated by the N motion vectors.
【0121】 [0121]
なお、単純な平均ではなく、各領域の画素値に重みを付けて平均をとる方法によって予測画像を生成することも可能である。 Instead of the simple average, it is also possible to generate a prediction image by a method taking the average by weighting the pixel values ​​of the respective regions. この方法を用いることにより、表示順で画素値が序々に変化するような画像列に対してより精度の高い動き補償を実現することが可能となる。 By using this method, it is possible to realize a more accurate motion compensation for image sequence as the pixel value changes s ordinal in display order.
【0122】 [0122]
図7は上記のケースにおけるN=2のときの動きベクトル参照方法の例を表したものである。 Figure 7 is a representation of an example of a motion vector reference method when N = 2 in the above case. P104が現在復号化を行っているピクチャであり、BL51が直接モードによる予測復号化を行うブロックである。 P104 is a picture being currently decoded is a block that performs predictive decoding BL51 is by direct mode. 参照の対象となる複数の動きベクトルが参照しているピクチャの中で表示順で最も手前にあるピクチャP103を参照している動きベクトルMVA1およびMVB1およびMVC1を用いてその中央値もしくは平均値を取ることにより動きベクトルMV1が決定され、さらに表示順で2つ前にあるピクチャP102を参照している動きベクトルの中央値もしくは平均値、つまりMVC2そのものを取ることにより動きベクトルMV2が決定され、これら2つの動きベクトルを用いて直接モードによる復号化がなされる。 Takes its median or average value by using a plurality of motion vectors MVA1 motion vector refers to a picture P103 that is foremost in display order among the pictures that reference and MVB1 and MVC1 of interest of the reference it motion vector MV1 are determined by the motion vector MV2 is determined further median or average of the motion vectors which refer to pictures P102 with 2 earlier in display order, i.e. by taking the MVC2 itself, these two decoding is performed by direct mode using a One of the motion vector.
【0123】 [0123]
なお、図18(a)および図18(b)において動きベクトルを参照されるブロックを決定する方法として、前記実施の形態で述べた方法の代わりに、下記の条件を用いることも可能である。 As a method of determining a block to be referred to the motion vector in FIG. 18 (a) and FIG. 18 (b), the instead of the methods described in the above embodiment, it is also possible to use the following conditions.
1、AおよびDが参照不可の場合はそれらの動きベクトルを「0」として参照する。 1, if A and D is a reference not to refer to those motion vectors as "0".
2、BおよびCおよびDが参照不可の場合はAのみを参照する。 2, if B and C and D is a reference not refer only to A.
3、Cのみが参照不可の場合はA、B、Dを参照する。 3, when only C is a reference not reference A, B, and D.
4、上記2および3以外の場合はA,B、Cを参照する。 4, in the case other than the above 2 and 3 reference A, B, and C.
【0124】 [0124]
なお、図18(a)および図18(b)において参照されるブロックの動きベクトルの中から表示順で手前から1枚もしくはN枚のピクチャを参照するもののみを使用するという方法の代わりに、指定されたピクチャを参照する動きベクトルのみを取り出して直接モードにおいて使用される復号化対象ブロックの動きベクトルの値を決定し、前記指定されたピクチャから動き補償を行うということも可能である。 In place of the method of using only one reference to one or N pieces of picture from the front in the display order from among the motion vector of the block to be referred to in FIG. 18 (a) and FIG. 18 (b), the Extracting only the motion vectors which refer to the specified picture to determine the value of the motion vector of the current block to be used in the direct mode, it is also possible that perform motion compensation from the designated picture.
【0125】 [0125]
なお、直接モードを用いて復号化を行う際に、図18(a)および図18(b)のような位置関係にあるブロックを参照して動き補償を行う代わりに、復号化対象ブロックの動きベクトルの値を「0」、参照するピクチャを直前のピクチャとして直接モードによる動き補償を行うことも可能である。 Incidentally, when performing decoding using the direct mode, FIG. 18 (a) and position instead of performing a reference to motion compensation blocks in a relationship, the movement of the current block as shown in FIG. 18 (b) the value of the vector "0", it is also possible to perform motion compensation by direct mode pictures referenced as the last picture. この方法を用いると、直接モードに使用する動きベクトルを算出するステップを行う必要がなくなるため、復号化処理の単純化を図ることが出来る。 Using this method, it is not necessary to perform the step of calculating a motion vector to be used in direct mode is eliminated, it is possible to simplify the decoding process.
【0126】 [0126]
(実施の形態5) (Embodiment 5)
さらに、上記実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態1で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 Furthermore, a program for realizing the structure of the moving picture coding method or the moving picture decoding method shown in the above embodiment, by such a recording medium such as a flexible disk, the above-mentioned embodiments 1 the process shown in, it is possible to easily carry out in an independent computer system.
【0127】 [0127]
図11は、上記実施の形態1の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。 Figure 11 is an explanatory diagram of the case where using a flexible disk storing the moving picture coding method or the moving picture decoding method of the first embodiment, performed by a computer system.
【0128】 [0128]
図11(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図11(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 11 (b) is the front view of a flexible disk, its structure at cross section and shows a flexible disk, FIG. 11 (a) shows an example of a physical format of the flexible disk as a recording medium body. フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。 A flexible disk FD is contained in a case F, on the surface of the disc, from the periphery concentrically toward the inner periphery is formed with a plurality of tracks Tr, each track is divided into 16 sectors Se in the angular direction ing. 従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。 Therefore, in the flexible disk storing the above program in an area assigned for it on the flexible disk FD, the moving picture coding method as the program is recorded.
【0129】 [0129]
また、図11(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 Further, FIG. 11 (c) shows the structure for recording and reproducing the program on the flexible disk FD. 上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブを介して書き込む。 When the program is recorded on the flexible disk FD, writes the moving picture coding method or the moving picture decoding method as the program from a computer system Cs via a flexible disk drive. また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 Also, when building the moving picture coding method by the program on the flexible disk in the computer system, the program is read out from the flexible disk via the flexible disk drive and transferred to the computer system.
【0130】 [0130]
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。 In the above description it has been described using a flexible disk as a recording medium, can be carried out in the same manner even when using an optical disk. また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 The recording medium is not limited to this, IC card, ROM cassette or the like, can be used in the same manner if a program can be recorded on them.
【0131】 [0131]
(実施の形態6) (Embodiment 6)
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。 Furthermore now be described a system using them and applications of the moving picture coding method and moving picture decoding method shown in the above embodiment.
【0132】 [0132]
図12は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。 Figure 12 is a block diagram showing an overall configuration of a content supply system ex100 for realizing content distribution service. 通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。 And area for providing communication service is divided into a desired size, and base stations ex107~ex110 are installed respectively fixed wireless stations in each cell.
【0133】 [0133]
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。 The content supply system ex100, for example, the Internet ex101 via an Internet service provider ex102 and the telephone network ex104, and the base station Ex107~ex110, computer ex111, PDA (personal digital assistant) ex112, a camera ex 113, a cellular phone ex 114, a camera each device, such as a per mobile phone ex115 are connected.
【0134】 [0134]
しかし、コンテンツ供給システムex100は図12のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 12 may be connected to a combination of any of them. また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。 Moreover, not through the base stations ex107~ex110 which are the fixed wireless stations, each device may be connected directly to the telephone network ex104.
【0135】 [0135]
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。 The camera ex113 is a device capable of shooting video such as a digital video camera. また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。 The mobile phone, PDC (Personal Digital Communications) system, CDMA (Code Division Multiple Access) system, W-CDMA (Wideband-Code Division Multiple Access) system or GSM (Global System for Mobile Communications) system mobile phone, or a PHS (Personal Handyphone System) or the like, does not matter either.
【0136】 [0136]
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。 Furthermore, the streaming server ex103, the base station from the camera ex 113 ex 109, which is connected via the telephone network ex104, the user which enables live distribution or the like based on coded data transmitted using a camera ex 113. 撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。 The coding process of the obtained data is carried out in the camera ex 113, it may be performed in a server or the like for transmitting data.
【0137】 [0137]
また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。 The moving picture data shot by a camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。 The camera ex116 is a still image such as a digital camera, video is an apparatus capable shooting. この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。 In this case, coding of the moving image data may be either be performed by the computer ex111 be performed in the camera ex 116. また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。 The encoding process will process the LSIex117 with the computer ex111 or the camera ex 116.
【0138】 [0138]
なお、動画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。 The moving image any type of storage medium coded software for decrypting a recording medium which is readable by the computer ex111 or the like (CD-ROM, a flexible disk, hard disk, etc.) may be integrated into. さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。 Furthermore, a cell phone with a camera ex115 may transmit the moving picture data. このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 Video data at this time is coded data by an LSI included in the cell phone ex115.
【0139】 [0139]
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。 In this content supply system ex100, the user is transmitted to the camera ex 113, content being captured by the camera ex116 or the like (e.g., video or the like taken music live) streaming server ex103 is treated form similarly coded above embodiments On the other hand, the streaming server ex103 makes stream distribution of the content data to the clients at their requests. クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。 The clients include capable of decoding the above-mentioned coded data, computer ex 111, PDA ex112, the camera ex113, the cellular phone ex114 or the like.
【0140】 [0140]
このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。 Content supply system ex100 in doing so can receive and reproduce the coded data in the client, receives and decodes in real time further client by playing, also realize personal broadcasting possible is made system.
【0141】 [0141]
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。 Encoding each apparatus in this system, it is sufficient to use the moving picture coding apparatus or the moving picture decoding apparatus described in each of embodiments to decoding.
その一例として携帯電話について説明する。 A cell phone will be explained as an example.
【0142】 [0142]
図13は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex115を示す図である。 Figure 13 is a diagram showing the cell phone ex115 using the moving picture coding method and the moving picture decoding method explained in the above embodiment. 携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着 Mobile phone ex115 has an image of the antenna ex201, CCD camera or the like for transmitting and receiving radio waves between the base station ex110, a still image is possible is the camera unit ex203 to take, video captured by the camera unit ex203, the antenna ex201 a display unit ex202 such as a liquid crystal display received video or the like to display the decoded data to a body unit including a set of operation keys ex204, a voice output unit ex208 such as a speaker for audio output, audio input microphone audio input unit ex205 for movie data or still image data, received mail data, data of moving image data or still image, for storing coded data or decoded data of the recording medium ex207, attaching the storage medium ex207 to the cell phone ex115 能とするためのスロット部ex206を有している。 And a slot portion ex206 to ability. 記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。 Recording medium ex207 is obtained by storing the flash memory device is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) that is a nonvolatile memory capable of electrically rewriting and erasing in a plastic case such as an SD card.
【0143】 [0143]
さらに、携帯電話ex115について図14を用いて説明する。 The cell phone ex115 will be explained with reference to FIG. 14. 携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。 Cell phone ex115, a main control unit ex311 that is adapted controls each section of the main body which contains the display unit ex202 as well as the operation keys ex204, to a power supply circuit unit ex310, an operation input control unit ex304, a picture coding parts ex 312, a camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex 302, the picture decoding unit ex 309, demultiplexing unit ex 308, a recording reproduction unit ex307, a modem circuit unit ex306 and a voice processing unit ex305 via a synchronous bus ex313 They are connected to each other.
【0144】 [0144]
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。 Power supply circuit unit ex310, upon call-end and power key by a user operation is turned on, which activates the camera-equipped digital mobile phone ex115 to an operable state by supplying power to each unit from the battery pack .
【0145】 [0145]
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 Cell phone ex115 may, CPU, under the control of the main control unit ex311 comprised of a ROM and RAM, etc., and converted into digital audio data audio signal collected by the voice input unit ex205 in voice conversation mode and the voice processing unit ex 305, This spread spectrum processing by the modem circuit unit ex 306, and transmits via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301. また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声データに変換した後、これを音声出力部ex208を介して出力する。 The cell phone ex115 performs frequency transform and analog-to-digital conversion process amplifies the data received by the antenna ex201 in conversation mode, inverse spread spectrum processing by the modem circuit unit ex 306, analog voice and the voice processing unit ex305 after converting the data so as to output it via the voice output unit ex208.
【0146】 [0146]
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。 Furthermore, when transmitting an e-mail in data communication mode, text data of the e-mail inputted by operating the operation keys ex204 of the main body is sent out to the main control unit ex311 via the operation input control unit ex304. 主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 The main control unit ex311 includes, spread spectrum processing the text data by the modem circuit unit ex 306, and transmits to the base station ex110 via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301.
【0147】 [0147]
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。 When picture data is transmitted in data communication mode, supplied to the picture coding unit ex312 image data captured by the camera unit ex203 via the camera interface unit ex303. また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 Also, when the picture data is not transmitted, it is also possible to display the picture data shot by the camera unit ex203 via the camera interface unit ex303 and the LCD control unit ex302 directly on the display unit ex202.
【0148】 [0148]
画像符号化部ex312は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。 Coding the picture coding unit ex312, which includes the moving picture coding apparatus as explained in the present invention, using the image data supplied from the camera unit ex203 to the moving picture coding apparatus as shown in the above embodiments reduction to transform it into coded picture data by compression coding by the method, and sends this to the demultiplexing unit ex 308. また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 At this time, the cell phone ex115, to the multiplex separation portion ex308 voice collected by the voice input unit ex205 during the shooting with the camera unit ex203 as digital voice data via the voice processing unit ex305.
【0149】 [0149]
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。 Demultiplexing unit ex308 includes the audio data supplied from the supplied encoded image data and the audio processing unit ex305 from the image coding unit ex312 multiplexes a predetermined method, the modem circuit unit the multiplexed data obtained as a result spread spectrum processing ex 306, and transmits via the antenna ex201 after performing digital-analog conversion and frequency conversion processing at the transmission and reception circuit unit ex 301.
【0150】 [0150]
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信データを変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of the data communication mode moving image file linked to a Web page or the like in time, the data received from the base station ex110 via the antenna ex201 inverse spread spectrum processing by the modem circuit unit ex 306, multiplexing the resulting the data is supplied to the multiplex separation portion ex308.
【0151】 [0151]
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 is divided into a bit stream of the audio data of the image data by separating the multiplexed data, synchronization supplies the audio data to the audio processing unit ex305 supplies the coded picture data to the picture decoding unit ex309 via the bus ex 313.
【0152】 [0152]
次に、画像復号化部ex309は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 Next, the picture decoding unit ex309, which includes the moving picture decoding apparatus as described in the present invention, the bit stream of the image data in the decoding method corresponding to the coding method as shown in the above-mentioned embodiments generates reproduction moving image data by decoding, which was supplied to the display unit ex202 via the LCD control unit ex302, and thus moving picture data is displayed include, for example, in a moving picture file linked to a website. このとき同時に音声処理部ex305は、音声データをアナログ音声データに変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 Voice processing unit ex305 At the same time, converts the audio data into analog audio data, which is supplied to the sound output unit ex 208, by which, for example, audio data Fukumaru in the moving picture file linked to a home page is reproduced that.
【0153】 [0153]
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図15に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。 Incidentally, not limited to the above-mentioned system, recently satellite, terrestrial and digital broadcasting in the news by at least moving picture coding apparatus of the embodiment in a digital broadcasting system as shown in FIG. 15 or it can be incorporated into any of the moving picture decoding apparatus. 具体的には、放送局ex409では映像情報のビットストリームが電波を介して通信または放送衛星ex410に伝送される。 More specifically, a bit stream of video information is transmitted from a broadcast station ex409 to or communicated with a broadcast satellite ex410 via radio waves. これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置によりビットストリームを復号化してこれを再生する。 Broadcasting satellite ex410 that received this, transmits radio waves for broadcasting, and receives the radio waves in home-use antenna ex406 with a satellite broadcast reception equipment, television (receiver) ex401 or a set top box (STB), such as ex407 Play this by decoding the bit stream by the device.
【0154】 [0154]
また、記録媒体であるCDやDVD等の蓄積メディアex402に記録したビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した動画像復号化装置を実装することが可能である。 Further, reading the bit stream recorded on a storage medium ex402 such as a CD or a DVD that is a recording medium, it is possible to implement the moving picture decoding apparatus as shown in the above-mentioned embodiment in the reproducing apparatus ex403 for decoding . この場合、再生された映像信号はモニタex404に表示される。 In this case, the reproduced video signals are displayed on a monitor ex404. また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に動画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。 Also, to implement the moving picture decoding apparatus in the cable ex405 or a set top box ex407 connected to a satellite / terrestrial broadcasting antenna ex406 for cable television, configurations are contemplated to reproduce it on a television monitor ex408. このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。 Not in the set top box may incorporate moving picture decoding apparatus in the television.
【0155】 [0155]
また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。 Also, receive signals from the satellite ex410 or the base station ex107 or the like in the car ex412 having an antenna ex 411, it is possible for reproducing moving pictures on a display device such as a car navigation system ex413 with the car ex412.
【0156】 [0156]
更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。 Further, an image signal coded by the moving picture coding apparatus as shown in the above-mentioned embodiments can be recorded in a recording medium. 具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。 As a specific example, and a DVD recorder for recording picture signals on a DVD disk ex421, a recorder ex420 such as a disk recorder for recording them on a hard disk. 更にSDカードex422に記録することもできる。 It can also be recorded on an SD card ex422. レコーダex420が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。 If the recorder ex420 includes the moving picture decoding apparatus as shown in the above-mentioned embodiment, the picture signals recorded on the DVD disk ex421 or the SD card ex422, can be reproduced for display on the monitor ex408.
【0157】 [0157]
なお、カーナビゲーションex413の構成は例えば図14に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。 Note that the configuration of the car navigation ex413 among the configuration shown in FIG. 14 for example, a camera unit ex203, the camera interface unit ex 303, configuration excluding the picture coding unit ex312 is considered, like that in the computer ex111, the television (receiver ) it may be considered in the ex401 and others.
【0158】 [0158]
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。 The terminal such as the cellular phone ex114, besides sending and receiving type terminal having both an encoder and a decoder, a transmission terminal of an encoder only, mounting form of the three types of the receiving terminal only decoder It can be considered.
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。 Thus, it is possible to use in the devices and systems described above the moving picture coding method and the moving picture decoding method shown in the above embodiment, in so doing, it has been described in the above embodiment effect can be obtained.
【0159】 [0159]
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。 Further, the present invention is not limited to the above-described embodiments, and various modifications are possible or modified without departing from the scope of the present invention.
本発明に係る動画像符号化装置は、通信機能を備えるパーソナルコンピュータ、PDA、ディジタル放送の放送局および携帯電話機などに備えられる動画像符号化装置として有用である。 Moving picture coding apparatus according to the present invention is useful as a personal computer, PDA, video encoding device provided in a broadcasting station and the cellular phone of the digital broadcast having a communication function.
【0160】 [0160]
また、本発明に係る動画像復号化装置は、通信機能を備えるパーソナルコンピュータ、PDA、ディジタル放送を受信するSTBおよび携帯電話機などに備えられる動画像復号化装置として有用である。 The moving picture decoding apparatus according to the present invention is useful as a personal computer, PDA, video decoding apparatus is provided including the STB and the mobile phone receives a digital broadcast including a communication function.
【0161】 [0161]
【発明の効果】 【Effect of the invention】
以上のように、本発明の動画像符号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測符号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし高い符号化効率を実現することを可能とする。 As described above, according to the moving picture coding method of the present invention, even in an environment which can not refer to pictures that are temporally backward picture in temporally backward in predicting encoding using direct mode we propose a method for implementing a direct mode without reference to, further to realize a small and high coding efficiency the number of items in the table by removing the items that refer to backward pictures from the coding mode table possible to be.
【0162】 [0162]
また、本発明の動画像復号化方法によると、時間的に後方にあるピクチャを参照出来ない環境下においても、直接モードを用いて予測復号化する際に時間的に後方にあるピクチャを参照することなく直接モードを実現する方法を提案し、さらに、符号化モードのテーブルから後方のピクチャを参照する項目を除くことによりテーブルの項目数を少なくし、高い符号化効率によって符号化された符号列を矛盾無く復号化することを可能とする。 Further, according to the moving picture decoding method of the present invention, even in an environment which can not refer to pictures that are temporally backward, referring to temporally picture at the back in predicting decoding using direct mode proposes a method for implementing a direct mode without further reduces the number of fields of the table by removing the items that reference picture from the table behind the coding mode, coded code string by high coding efficiency It makes it possible to not decoding contradiction.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】実施の形態1の動画像符号化方法を実行する動画像符号化装置の構成を示すブロック図である。 1 is a block diagram showing the configuration of a video encoding apparatus for executing a moving picture coding method of Embodiment 1.
【図2】符号化対象ブロックが属するピクチャから表示順で後方にあるピクチャを参照することが出来ない場合の各ピクチャの参照関係の一例を示す図である。 2 is a diagram showing an example of a reference relationship of each picture when it is not possible to refer to the pictures from the picture encoding target block belongs backward in display order.
【図3】直接モードが選択された場合のモード選択部の動作の一例を示すフローチャートである。 3 is a flowchart showing an example of the operation of the mode selection unit when a direct mode is selected.
【図4】動きベクトルを参照される符号化済みブロックに2つの動きベクトルを持つブロックが含まれている場合の動きベクトルの参照関係の一例を示す図である。 4 is a diagram showing an example of a reference relationship of a motion vector in the case that contains the block having two motion vectors in the encoded block to be referenced to a motion vector.
【図5】図1に示したモード選択部が第1の方法を用いて符号化対象ブロックの空間的予測を行う場合の処理手順の一例を示すフローチャートである。 5 is a flowchart showing an example of a procedure for performing the spatial prediction of the encoding target block using the mode selection unit shown in FIG. 1 is a first method.
【図6】図1に示した符号列生成部で生成される符号列のスライスごとのデータ構造の一例を示す図である。 6 is a diagram showing an example of a data structure of each slice of the code sequence generated by the code string generating section shown in FIG.
【図7】表示順で符号化対象ピクチャの手前から2枚のピクチャを参照する動きベクトルを取り出して2個の動きベクトルを算出する場合の動きベクトル参照方法の一例を表した図である。 7 is a diagram showing an example of a motion vector reference method when calculating the two motion vectors removed motion vectors that refer to two pictures from the front of the encoding target picture in display order.
【図8】本実施の形態の動画像復号化装置の構成を示すブロック図である。 8 is a block diagram showing a structure of a moving picture decoding apparatus of this embodiment.
【図9】図8に示した動き補償復号部における直接モードによる復号化の処理手順を示すフローチャートである。 9 is a flowchart showing a processing procedure of decoding by direct mode in the motion compensation decoding unit shown in FIG.
【図10】(a)Bピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。 10 is a diagram showing an example of a table associating the code and coding mode for identifying the prediction mode in (a) B-picture.
(b)予測方向が前方のみに制限されている場合のBピクチャにおける予測モードを識別するためのコードと符号化モードとを対応付けるテーブルの一例を示す図である。 (B) prediction direction is a diagram showing an example of a table associating the code and coding mode for identifying the prediction mode in a B picture in the case of being limited only to the front.
【図11】(a)記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。 11 (a) is a diagram showing an example of a physical format of the flexible disk as a recording medium body.
(b)フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。 (B) appearance of a flexible disk, a diagram illustrating the sectional structure, and a flexible disk.
(c)フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す図である。 (C) the flexible disk FD is a diagram showing a structure for recording and reproducing the program.
【図12】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 12 is a block diagram showing an overall configuration of a content providing system for implementing content distribution services.
【図13】携帯電話の外観の一例を示す図である。 13 is a diagram showing an example of a mobile phone appearance.
【図14】携帯電話の構成を示すブロック図である。 FIG. 14 is a block diagram showing the configuration of a mobile phone.
【図15】上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。 15 is a diagram illustrating a system using devices that perform the coding processing or decoding processing as shown in the above-mentioned embodiments, and the equipment.
【図16】従来の動画像符号化方法における各ピクチャと、それによって参照されるピクチャとの参照関係の例を示す図である。 [16] and each picture in a conventional moving picture coding method, a diagram showing an example of a reference relation between pictures to be referenced thereby.
【図17】(a)図16に示したピクチャB18の周辺にあるピクチャを表示順で抜き出して示す図である。 17 is a diagram illustrating only in display order the picture in the periphery of the picture B18 as shown in (a) FIG.
(b)ピクチャB18を図17(a)に示した参照関係で符号化する場合におけるピクチャB18の周辺ピクチャの符号化順を示す図である。 (B) is a diagram showing a coding order of the peripheral picture of the picture B18 in the case of encoding the picture B18 by the reference relationship shown in FIG. 17 (a).
【図18】同一ピクチャ内で対象ブロックの周辺に位置する符号化済みブロックの動きベクトルを参照する場合に、動きベクトルを参照される符号化済みブロックと対象ブロックとの位置関係を表した図である。 [18] When referring to the motion vector of the encoded blocks positioned around the target block within the same picture, a diagram showing the positional relationship between the coded block and the target block to be referenced motion vector is there.
(a)対象ブロックBL51が16画素×16画素のサイズであった場合の例である。 (A) is an example of the block BL51 was size of 16 pixels × 16 pixels.
(b)対象ブロックBL52が8画素×8画素のサイズであった場合の例である。 (B) an example in the block BL52 is of a size of 8 pixels × 8 pixels.
【図19】Pピクチャのスキップモードの際に参照される動きベクトルとその動きベクトルによって参照される符号化済みピクチャとの一例を示した図である。 19 is a diagram showing an example of a motion vector is referred to as a referenced coded picture by the motion vector in the skip mode of the P-picture.
【図20】直接モードにおいて動きベクトルを決定する方法を説明するための図である。 [20] In the direct mode is a diagram for explaining a method of determining a motion vector.
【符号の説明】 DESCRIPTION OF SYMBOLS
100 動画像符号化装置101 フレームメモリ102 予測誤差符号化部103 符号列生成部104 予測残差復号化部105 フレームメモリ106 動きベクトル検出部107 モード選択部108 動きベクトル記憶部109 後方ピクチャ判定部200 動画像復号化装置201 符号列解析部202 予測残差復号化部203 フレームメモリ204 動き補償復号部205 動きベクトル記憶部206 後方ピクチャ判定部Se セクタTr トラックFD フレキシブルディスクF フレキシブルディスクケースCs コンピュータシステムFDD フレキシブルディスクドライブ 100 video encoding apparatus 101 frame memory 102 the prediction error coding unit 103 code string generation unit 104 prediction residual decoding unit 105 frame memory 106 motion vector detecting section 107 mode selection unit 108 the motion vector storage unit 109 backward picture determining section 200 moving picture decoding apparatus 201 bit stream analysis unit 202 the prediction residual decoding unit 203 frame memory 204 motion compensation decoding unit 205 motion vector storage unit 206 backward picture determining section Se sectors Tr tracks FD flexible disc F flexible disk case Cs computer system FDD flexible disk drive

Claims (21)

  1. 動画像を符号化して符号列を生成する動画像符号化方法であって、 A moving picture coding method for generating a code string by encoding a moving image,
    時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、 In the coding of temporally B picture to be a predictive coding with reference to a plurality of pictures encoded in the forward or backward movement thereof with reference to the encoding target block motion vectors having encoded blocks It includes a coding step of enabling the use of direct mode to compensate,
    前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Bピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする動画像符号化方法。 Said encoding step, when referring to only the coded pictures in one direction in the display order from a picture that belongs the encoding target block for prediction encoding of the B picture, the encoding as the direct mode moving picture coding method which is characterized in that it comprises a motion compensation step of performing a reference to motion compensation the motion vector of the coded blocks in the same picture to be located around the target block.
  2. 前記動き補償ステップでは、前記予測符号化を行うために参照する全ての前記符号化済みのピクチャが、前記符号化対象ブロックの属するピクチャより時間的に前方にあるピクチャである場合、前記動き補償を行うことを特徴とする請求項1記載の動画像符号化方法。 Wherein in the motion compensation step, all of the coded pictures referring to perform the prediction encoding, if a picture in front temporally than picture belongs the encoding target block, the motion compensation video encoding method of claim 1, wherein the performing.
  3. 前記動き補償ステップでは、前記符号化対象ブロックの属するピクチャより時間的に後方に、前記予測符号化を行うために参照することのできる前記符号化済みのピクチャがない場合、前記動き補償を行うことを特徴とする請求項1記載の動画像符号化方法。 Wherein in the motion compensation step, the belonging temporally behind the picture of the encoding target block, wherein if there is no the coded picture that can refer to in order to perform predictive coding, to perform the motion compensation video encoding method of claim 1, wherein.
  4. 前記動き補償ステップは、前記動き補償を行う際に、前記符号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記符号化対象ブロックの属するピクチャに時間的に近い方から順に1つまたは複数のピクチャを参照する動きベクトルを参照し、その中央値または平均値を取ることによって前記符号化対象ブロックの動きベクトルを算出する動きベクトル算出ステップを含み、 The motion compensation step, when performing the motion compensation, out of a plurality of pictures to be referenced by the motion vector of the encoded blocks, one in order from closer in time to the picture belongs the encoding target block or reference to a motion vector that refers to a plurality of pictures includes a motion vector calculation step of calculating a motion vector of the encoding target block by taking the median or mean value,
    前記動き補償ステップでは、前記動きベクトル算出ステップにおいて得られた1つもしくは複数の動きベクトルを使用して、前記直接モードによる動き補償を行うことを特徴とする請求項1記載の動画像符号化方法。 Wherein in the motion compensation step, using said one or more motion vector obtained in the motion vector calculation step, the moving picture coding method according to claim 1, wherein the motion compensation by the direct mode .
  5. 前記動きベクトル算出ステップでは、前記符号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記符号化対象ブロックの属するピクチャに表示順で近い方から順に、1つまたは複数のピクチャを参照する動きベクトルを参照し、前記動きベクトルを算出することを特徴とする請求項4記載の動画像符号化方法。 Wherein in the motion vector calculation step, among a plurality of pictures to be referenced by the motion vector of the encoded blocks, in order from the side closer in display order to the picture belongs the encoding target block, reference to one or more pictures motion vector with reference to the moving picture coding method according to claim 4, wherein the calculating the motion vector.
  6. 前記動き補償ステップでは、前記動き補償を行う際に、前記符号化済みブロックの位置が前記符号化対象ブロックの属するピクチャまたはスライスの外部であった場合、もしくは前記符号化済みブロックの持つ動きベクトルの値が「0」であった場合、もしくは前記符号化済みブロックが動きベクトルを持っていなかった場合、前記符号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴とする請求項1記載の動画像符号化方法。 Wherein in the motion compensation step, when performing the motion compensation, when the position of the encoded blocks were outside the picture or the slice belongs the encoding target block, or the motion vector of the said encoded blocks If the value is "0", or when the encoded blocks did not have a motion vector, as a "0" the value of the motion vector of the encoding target block, in order from the side closer temporally 1 One or a moving image coding method according to claim 1, wherein with reference to a plurality of pictures and performing motion compensation.
  7. 動画像を符号化して符号列を生成する動画像符号化方法であって、 A moving picture coding method for generating a code string by encoding a moving image,
    時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化ステップを含み、 In the coding of temporally B picture to be a predictive coding with reference to a plurality of pictures encoded in the forward or backward movement thereof with reference to the encoding target block motion vectors having encoded blocks It includes a coding step of enabling the use of direct mode to compensate,
    前記符号化ステップは、前記符号化対象ブロックの属するピクチャから表示順で一方向にある符号化済みのピクチャのみを参照して前記Bピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴とする動画像符号化方法。 Said encoding step, when referring to only the coded pictures in one direction in the display order from a picture that belongs the encoding target block for prediction encoding of the B picture, the encoding as the direct mode as "0" values ​​of the motion vector of the target block, the moving picture coding method and performing a reference to motion compensation of one or more pictures in the order from the side closer temporally.
  8. 前記符号化ステップは、前記Bピクチャの予測符号化方法と前記予測符号化方法を識別するための識別子とを対応付けたテーブルの中から後方を参照する予測符号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、 Said encoding step, with the exception of predictive coding method to reference backward from the table that associates an identifier for identifying a predictive coding method and the prediction coding method of the B picture, the table It contains the table regeneration step for regenerating,
    前記符号化ステップでは、再生成された前記テーブルを用いて当該Bピクチャの予測符号化方法を示す前記識別子を符号化することを特徴とする請求項1〜請求項7のいずれか1項に記載の動画像符号化方法。 In the coding step, according to any one of claims 1 to 7 in which the identifier indicating the predictive encoding method of the B picture using the table regenerated, characterized in that encode moving picture coding method.
  9. 動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、 A moving picture decoding method for decoding a code string obtained by coding a moving picture,
    時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うBピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、 In decoding of temporally B picture to be a predictive decoding with reference to the decoded plurality of pictures in the forward or backward movement of the current block with reference to a motion vector of a decoded block includes a decoding step which enables the use of direct mode to compensate,
    前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Bピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償ステップを含むことを特徴とする動画像復号化方法。 Said decoding step, if only with reference to the decoded picture in one direction in time from picture belongs the current block performs predictive decoding of the B picture, the decoded as the direct mode moving picture decoding method characterized in that it comprises a motion compensation step of performing a reference to motion compensation the motion vector of the decoded blocks in the same picture to be located around the target block.
  10. 前記動き補償ステップでは、前記予測復号化を行うために参照する全ての前記復号化済みのピクチャが、前記復号化対象ブロックの属するピクチャより時間的に前方にあるピクチャのみである場合、前記動き補償を行うことを特徴とする請求項9記載の動画像復号化方法。 Wherein in the motion compensation step, when the all of the decoded picture to be referred to for performing predictive decoding, only pictures that are temporally ahead picture belongs the current block, the motion compensation moving picture decoding method according to claim 9, wherein the performing.
  11. 前記動き補償ステップでは、前記復号化対象ブロックの属するピクチャより時間的に後方に、前記予測復号化を行うために参照することのできる前記復号化済みのピクチャがない場合、前記動き補償を行うことを特徴とする請求項9記載の動画像復号化方法。 Wherein in the motion compensation step, belongs temporally behind the picture of the decoding target block, wherein if there is no the decoded picture that can be referred to for performing predictive decoding, to perform the motion compensation moving picture decoding method according to claim 9, wherein.
  12. 前記動き補償ステップは、前記動き補償を行う際に、前記復号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記復号化対象ブロックの属するピクチャに時間的に近い方から順に1つもしくは複数のピクチャを参照する動きベクトルを参照し、その中央値または平均値を取ることによって前記復号化対象ブロックの動きベクトルを算出する動きベクトル算出ステップを含み、 The motion compensation step, when performing the motion compensation, out of a plurality of pictures to be referenced by the motion vector of the decoded blocks, one in order from closer in time to the picture belongs the current block or with reference to the motion vector that refers to a plurality of pictures includes a motion vector calculation step of calculating a motion vector of the current block by taking the median or mean value,
    前記動き補償ステップでは、前記動きベクトル算出ステップにおいて得られた1つもしくは複数の動きベクトルを使用して、前記直接モードによる動き補償を行うことを特徴とする請求項9記載の動画像復号化方法。 Wherein in the motion compensation step, using said one or more motion vector obtained in the motion vector calculation step, the moving picture decoding method according to claim 9, wherein the motion compensation by the direct mode .
  13. 前記動きベクトル算出ステップでは、前記復号化済みブロックの動きベクトルによって参照される複数のピクチャのうち、前記復号化対象ブロックの属するピクチャに表示順で近い方から順に、1つまたは複数のピクチャを参照する動きベクトルを参照し、前記動きベクトルを算出することを特徴とする請求項12記載の動画像復号化方法。 Wherein in the motion vector calculation step, among a plurality of pictures to be referenced by the motion vector of the decoded blocks in order from the side closer in display order to the picture belongs the current block, reference to one or more pictures motion vector with reference to the moving picture decoding method of claim 12, wherein the calculating the motion vector.
  14. 前記動き補償ステップでは、前記動き補償を行う際に、前記復号化済みブロックの位置が前記復号化対象ブロックの属するピクチャまたはスライスの外部であった場合、もしくは前記復号化済みブロックの持つ動きベクトルの値が「0」であった場合、もしくは前記復号化済みブロックが動きベクトルを持っていなかった場合、前記復号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴とする請求項9記載の動画像復号化方法。 Wherein in the motion compensation step, when performing the motion compensation, the case where the position of decoded blocks were outside of the decoded picture or slice block belongs, or the motion vector of the said decoded blocks If the value is "0", or when said decoded blocks did not have a motion vector, as a "0" the value of the motion vector of the current block, in order from the side closer temporally 1 One or the moving picture decoding method according to claim 9, wherein the reference to the plurality of pictures and performing motion compensation.
  15. 動画像を符号化して得られる符号列を復号化する動画像復号化方法であって、 A moving picture decoding method for decoding a code string obtained by coding a moving picture,
    時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うBピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化ステップを含み、 In decoding of temporally B picture to be a predictive decoding with reference to the decoded plurality of pictures in the forward or backward movement of the current block with reference to a motion vector of a decoded block includes a decoding step which enables the use of direct mode to compensate,
    前記復号化ステップは、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Bピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの動きベクトルの値を「0」として、時間的に近い方から順に1つまたは複数のピクチャを参照して動き補償を行うことを特徴とする動画像復号化方法。 Said decoding step, if only with reference to the decoded picture in one direction in time from picture belongs the current block performs predictive decoding of the B picture, the decoded as the direct mode as "0" values ​​of the motion vector of the target block, the moving picture decoding method which is characterized in that a reference to motion compensation of one or more pictures in the order from the side closer temporally.
  16. 前記復号化ステップは、前記Bピクチャの予測復号化方法と前記予測復号化方法を識別するための識別子とを対応付けた予め保持しているテーブルの中から後方を参照する予測復号化方法を除いて、前記テーブルを再生成するテーブル再生成ステップを含み、 Said decoding step, except predictive decoding method refers to the rear from the table that holds pre-associates the identifier for identifying the predictive decoding method of the B picture and the predicted decoding method Te, contains the table regeneration step for regenerating said table,
    前記復号化ステップでは、前記符号化列から前記Bピクチャの予測復号化方法を識別するための識別子を復号化し、再生成されたテーブルを用いて、当該Bピクチャの予測復号化方法を識別し、識別された前記予測復号化方法に従って復号化対象ブロックの予測復号化を行うことを特徴とする請求項9〜請求項15のいずれか1項に記載の動画像復号化方法。 Wherein in the decoding step decodes the identifier for identifying the predictive decoding method of the B picture from the encoded data stream, using a table that has been regenerated, to identify the predictive decoding method of the B picture, moving picture decoding method according to any one of claims 9 to 15, characterized in that the predictive decoding of the decoding target block in accordance with the identified said predictive decoding method.
  17. 動画像を符号化して符号列を生成する動画像符号化装置であって、 A moving picture coding apparatus for generating a code string by encoding a moving image,
    時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの符号化において、符号化済みのブロックが持つ動きベクトルを参照して符号化対象ブロックの動き補償を行う直接モードを使用することを可能とする符号化手段を備え、 In the coding of temporally B picture to be a predictive coding with reference to a plurality of pictures encoded in the forward or backward movement thereof with reference to the encoding target block motion vectors having encoded blocks comprising a coding means which make it possible to use a direct mode to compensate,
    前記符号化手段は、前記符号化対象ブロックの属するピクチャから時間的に一方向にある符号化済みのピクチャのみを参照して前記Bピクチャの予測符号化を行う場合、前記直接モードとして前記符号化対象ブロックの周辺に位置する同一ピクチャ内の符号化済みブロックの動きベクトルを参照して動き補償を行う動き補償部を備えることを特徴とする動画像符号化装置。 Said encoding means, when referring to only the coded pictures in one direction in time from picture belongs the encoding target block for prediction encoding of the B picture, the encoding as the direct mode moving picture coding apparatus comprising: a motion compensation unit for performing a reference to motion compensation the motion vector of the coded blocks in the same picture to be located around the target block.
  18. 動画像を符号化して得られる符号列を復号化する動画像復号化装置であって、 A moving picture decoding apparatus for decoding a code string obtained by coding a moving picture,
    時間的に前方または後方にある復号化済みの複数のピクチャを参照して予測復号化を行うBピクチャの復号化において、復号化済みのブロックが持つ動きベクトルを参照して復号化対象ブロックの動き補償を行う直接モードを使用することを可能とする復号化手段を備え、 In decoding of temporally B picture to be a predictive decoding with reference to the decoded plurality of pictures in the forward or backward movement of the current block with reference to a motion vector of a decoded block comprising a decoding means for enabling the use of direct mode to compensate,
    前記復号化手段は、前記復号化対象ブロックの属するピクチャから時間的に一方向にある復号化済みのピクチャのみを参照して前記Bピクチャの予測復号化を行う場合、前記直接モードとして前記復号化対象ブロックの周辺に位置する同一ピクチャ内の復号化済みブロックの動きベクトルを参照して動き補償を行う動き補償部を備えることを特徴とする動画像復号化装置。 Said decoding means, when referring to only the decoded pictures that are temporally one direction from the picture belongs the current block performs predictive decoding of the B picture, the decoded as the direct mode moving picture decoding apparatus comprising: a motion compensation unit for performing a reference to motion compensation the motion vector of the decoded blocks in the same picture to be located around the target block.
  19. コンピュータに、請求項1〜請求項16のいずれか1項に記載の動画像符号化方法または動画像復号化方法の各ステップを実行させるためのプログラムを格納したことを特徴とするデータ記録媒体。 In a computer, a data recording medium characterized by storing a program for executing the steps of the moving picture coding method or the moving picture decoding method according to any one of claims 1 to 16.
  20. コンピュータに、請求項1〜請求項16のいずれか1項に記載の動画像符号化方法または動画像復号化方法の各ステップを実行させることを特徴とするプログラム。 The computer program characterized by executing the steps of the moving picture coding method or the moving picture decoding method according to any one of claims 1 to 16.
  21. ピクチャを構成するスライスごとに、ヘッダ部とデータ部とが繰り返し配置されて構成される符号化データストリームであって、 For each slice constituting a picture, a coded data stream composed are arranged repeatedly a header portion and a data portion,
    各スライスのヘッダ部に、時間的に前方または後方にある符号化済みの複数のピクチャを参照して予測符号化を行うBピクチャの直接モードにおいて、符号化対象ブロックの属するピクチャから時間的に一方向にある符号化済みのピクチャのみを参照して予測符号化する場合、前記符号化対象ブロックの周辺に位置する同一ピクチャ内の複数の符号化済みブロックの動きベクトルを参照して動き補償を行うことを示すフラグ、もしくは前記符号化対象ブロックの動きベクトルの値を「0」として動き補償を行うことを示すフラグが配置され、 In the header of each slice, in the direct mode temporally B picture to be a predictive coding with reference to a plurality of pictures encoded in the forward or backward, temporally one to picture belongs encoding target block when predicting coded with reference to only the coded pictures in the direction, performs motion compensation by referring to the motion vectors of a plurality of coded blocks in the same picture to be located around the block to be coded it is a flag indicating that the motion compensation is arranged as a "0" flag, or the value of the motion vector of the encoding target block shows the,
    各スライスのデータ部に、請求項1〜請求項8のいずれか1項に記載の動画像符号化方法によって符号化された動画像符号化データが配置されていることを特徴とする符号化データストリーム。 The data portion of each slice, the encoded data, characterized in that the moving image encoded data which is encoded is located by the moving picture coding method according to any one of claims 1 to 8 stream.
JP2003136452A 2002-05-22 2003-05-14 Method for coding and decoding moving picture and data recording medium Pending JP2004048711A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002148218 2002-05-22
JP2003136452A JP2004048711A (en) 2002-05-22 2003-05-14 Method for coding and decoding moving picture and data recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003136452A JP2004048711A (en) 2002-05-22 2003-05-14 Method for coding and decoding moving picture and data recording medium

Publications (1)

Publication Number Publication Date
JP2004048711A true JP2004048711A (en) 2004-02-12

Family

ID=31719647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003136452A Pending JP2004048711A (en) 2002-05-22 2003-05-14 Method for coding and decoding moving picture and data recording medium

Country Status (1)

Country Link
JP (1) JP2004048711A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504760A (en) * 2003-09-07 2007-03-01 マイクロソフト コーポレーション Encoding and innovation in the decoding of the macroblocks and the motion information of interlaced video and progressive video
WO2007074543A1 (en) * 2005-12-27 2007-07-05 Sharp Kabushiki Kaisha Moving picture image decoding device and moving picture image coding device
US7936822B2 (en) 2002-07-15 2011-05-03 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
WO2011155171A1 (en) * 2010-06-09 2011-12-15 株式会社Jvcケンウッド Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program
JP2011259229A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image encoder, moving image encoding method and moving image encoding program
JP2011259230A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image decoder, moving image decoding method and moving image decoding program
WO2012081246A1 (en) * 2010-12-17 2012-06-21 パナソニック株式会社 Image encoding method and image decoding method
WO2012081225A1 (en) * 2010-12-14 2012-06-21 パナソニック株式会社 Image encoding method and image decoding method
WO2012090478A1 (en) * 2010-12-28 2012-07-05 パナソニック株式会社 Moving image coding method and moving image decoding method
WO2012098866A1 (en) * 2011-01-18 2012-07-26 パナソニック株式会社 Video encoding method and video decoding method
US8917768B2 (en) 2003-07-18 2014-12-23 Microsoft Corporation Coding of motion vector information
JP2015027111A (en) * 2014-11-05 2015-02-05 三菱電機株式会社 Image encoder
JP2016167853A (en) * 2016-04-26 2016-09-15 三菱電機株式会社 Image decoding device, image encoding device and bit stream

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571108B2 (en) 2002-07-15 2013-10-29 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US10104383B2 (en) 2002-07-15 2018-10-16 Maxell, Ltd. Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block
US7936822B2 (en) 2002-07-15 2011-05-03 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US7936823B2 (en) 2002-07-15 2011-05-03 Hitach Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US7936821B2 (en) 2002-07-15 2011-05-03 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US7970058B2 (en) 2002-07-15 2011-06-28 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US8036272B2 (en) 2002-07-15 2011-10-11 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
JP2018129835A (en) * 2002-07-15 2018-08-16 マクセル株式会社 Moving picture decoding method
JP6336228B1 (en) * 2002-07-15 2018-06-06 マクセル株式会社 Moving picture decoding method
US9832473B2 (en) 2002-07-15 2017-11-28 Hitachi Maxell, Ltd. Moving picture encoding method and decoding method with motion vectors of blocks adjacent to target blocks and motion vectors at a same position to target blocks in other frames
JP2017085590A (en) * 2002-07-15 2017-05-18 日立マクセル株式会社 Dynamic image decoding method
JP2016034142A (en) * 2002-07-15 2016-03-10 日立マクセル株式会社 Dynamic image decoding method
JP2014225921A (en) * 2002-07-15 2014-12-04 日立コンシューマエレクトロニクス株式会社 Dynamic image decoding method
US8837594B2 (en) 2002-07-15 2014-09-16 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block
JP2014003663A (en) * 2002-07-15 2014-01-09 Hitachi Consumer Electronics Co Ltd Dynamic image decoding method
US8320459B2 (en) 2002-07-15 2012-11-27 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US8325816B2 (en) 2002-07-15 2012-12-04 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US8340190B2 (en) 2002-07-15 2012-12-25 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US8571107B2 (en) 2002-07-15 2013-10-29 Hitachi Consumer Electronics Co., Ltd. Moving picture encoding method and decoding method
US10110906B2 (en) 2002-07-15 2018-10-23 Maxell, Ltd. Moving picture encoding method and decoding method considering motion vectors of blocks adjacent to target block
US8917768B2 (en) 2003-07-18 2014-12-23 Microsoft Corporation Coding of motion vector information
US9148668B2 (en) 2003-07-18 2015-09-29 Microsoft Technology Licensing, Llc Coding of motion vector information
JP2007504760A (en) * 2003-09-07 2007-03-01 マイクロソフト コーポレーション Encoding and innovation in the decoding of the macroblocks and the motion information of interlaced video and progressive video
JP4921971B2 (en) * 2003-09-07 2012-04-25 マイクロソフト コーポレーション Encoding and innovation in the decoding of the macroblocks and the motion information of interlaced video and progressive video
WO2007074543A1 (en) * 2005-12-27 2007-07-05 Sharp Kabushiki Kaisha Moving picture image decoding device and moving picture image coding device
WO2011155171A1 (en) * 2010-06-09 2011-12-15 株式会社Jvcケンウッド Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program
JP2011259230A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image decoder, moving image decoding method and moving image decoding program
JP2011259229A (en) * 2010-06-09 2011-12-22 Jvc Kenwood Corp Moving image encoder, moving image encoding method and moving image encoding program
WO2012081225A1 (en) * 2010-12-14 2012-06-21 パナソニック株式会社 Image encoding method and image decoding method
WO2012081246A1 (en) * 2010-12-17 2012-06-21 パナソニック株式会社 Image encoding method and image decoding method
WO2012090478A1 (en) * 2010-12-28 2012-07-05 パナソニック株式会社 Moving image coding method and moving image decoding method
WO2012098866A1 (en) * 2011-01-18 2012-07-26 パナソニック株式会社 Video encoding method and video decoding method
JP2015027111A (en) * 2014-11-05 2015-02-05 三菱電機株式会社 Image encoder
JP2016167853A (en) * 2016-04-26 2016-09-15 三菱電機株式会社 Image decoding device, image encoding device and bit stream

Similar Documents

Publication Publication Date Title
EP1499133B1 (en) Motion vector encoding method and motion vector decoding method
EP3054679B1 (en) Moving picture coding method and moving picture decoding method
KR101040872B1 (en) Moving picture coding method, moving picture decoding method and computer readable recording medium having recorded program thereof
KR100923379B1 (en) Motion vector encoding method and motion vector decoding method
EP2391019B1 (en) Variable length decoding method, storage medium, variable length decoding device
KR100985236B1 (en) Motion compensating method, picture encoding method and picture decoding method
JP4847612B2 (en) Image decoding apparatus
EP2793473B1 (en) Direct mode motion vector computation avoiding divisions by zero
EP1422946A1 (en) Moving picture encoding method, moving picture decoding method, and recording medium
KR100995445B1 (en) Method for encoding moving image and method for decoding moving image
KR101004208B1 (en) Picture coding method and decoding method
JP5102344B2 (en) Video encoding method, video encoding apparatus, a program and a recording medium
EP1742481B1 (en) Moving image coding method and moving image decoding method
JP5716082B2 (en) Delivery method
AU2003264543C1 (en) Image encoding device, image decoding device and their methods
KR101169895B1 (en) Picture Coding Method, Picture Decoding Method, Picture Coding Apparatus, Picture Decoding Apparatus, and Program thereof
JP4949028B2 (en) Decoding apparatus, coding apparatus, decoding method, encoding method
KR20040099100A (en) Method of calculating motion vector
CN1976454A (en) Method for calculation motion vector
JP2004208259A (en) Motion vector calculating method
JP2004096706A (en) Image encoding method and image decoding method
EP1450564A2 (en) Moving picture coding and decoding methods
EP2192778B1 (en) Video encoding method
CA2430919C (en) Moving picture coding method and moving picture decoding method
JP2008187734A (en) Filtering strength determination method