JP2007049741A - Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program - Google Patents

Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program Download PDF

Info

Publication number
JP2007049741A
JP2007049741A JP2006281984A JP2006281984A JP2007049741A JP 2007049741 A JP2007049741 A JP 2007049741A JP 2006281984 A JP2006281984 A JP 2006281984A JP 2006281984 A JP2006281984 A JP 2006281984A JP 2007049741 A JP2007049741 A JP 2007049741A
Authority
JP
Japan
Prior art keywords
motion vector
image
unit
motion compensation
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006281984A
Other languages
Japanese (ja)
Inventor
Minoru Eito
稔 栄藤
Satoru Adachi
悟 安達
Mitsuru Kobayashi
充 小林
Sadaatsu Kato
禎篤 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2006281984A priority Critical patent/JP2007049741A/en
Publication of JP2007049741A publication Critical patent/JP2007049741A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To express a predicted picture signal with light overheads, and to provide motion compensation of different pixel accuracy. <P>SOLUTION: A moving image encoding apparatus 20 includes a motion vector detection means 32 for detecting a motion vector of a predetermined area to be encoded in a frame picture, a prediction means 33c for predicting the motion vector of the predetermined area to be encoded by using an encoded motion vector of a predetermined area in the frame picture, a determination means 33d for determining whether or not the motion vector detected by the motion vector detection means 32 is a predetermined motion vector set in accordance with the motion vector predicted by the prediction means 33c, and a switching means 33e for switching a method of calculating a motion compensation value of the predetermined area to be encoded depending on whether or not the motion vector detected by the motion vector detection means 32 is the predetermined motion vector. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。   The present invention relates to a moving image encoding device, a moving image decoding device, a moving image encoding method, a moving image decoding method, a program, and a computer-readable recording medium storing the program.

従来の動画像符号化方式の事例として「ITU-T SG16 VCEG-M81,“H.26L Test Model Long Term Number 8(TML-8)”に記載の「H.26L符号化方式」に基づく動画像符号化装置及び動画像復号化装置の説明を行う。図1に、上述の動画像符号化装置20の構成を、図2に、上述の動画像復号装置50の構成を示す。   As an example of a conventional moving image coding method, a moving image based on “H.26L coding method” described in “ITU-T SG16 VCEG-M81,“ H.26L Test Model Long Term Number 8 (TML-8) ”. An encoding device and a moving image decoding device will be described. FIG. 1 shows the configuration of the above-described moving image encoding device 20, and FIG. 2 shows the configuration of the above-described moving image decoding device 50.

図1の動画像符号化装置は、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、直交変換によりさらに空間方向に残る冗長度を削減することで動画像(入力映像信号)の情報圧縮を行うものである。図3に、動き補償フレーム間予測の説明図を示す。   The moving picture coding apparatus in FIG. 1 reduces the redundancy existing in the time direction by motion compensation inter-frame prediction, and further reduces the remaining redundancy in the spatial direction by orthogonal transformation, thereby moving the moving picture (input video signal). Information compression is performed. FIG. 3 is an explanatory diagram of motion compensation interframe prediction.

以下、これらの図を参照しながら、図1に示す動画像符号化装置20の動作について説明する。   Hereinafter, the operation of the video encoding device 20 shown in FIG. 1 will be described with reference to these drawings.

入力映像信号1は、フレーム画像の時間系列で構成されている。ここで、符号化対象となるフレーム画像は、入力部31において、16×16画素の正方矩形領域(マクロブロック)に分割され、動画像符号化装置20における符号化処理及び動画像復号装置50における復号化処理は、このマクロブロック単位で行われるものとする。また、マクロブロック単位に分割されたフレーム画像を「フレーム画像信号2」と定義する。   The input video signal 1 is composed of a time sequence of frame images. Here, the frame image to be encoded is divided into 16 × 16 pixel square rectangular areas (macroblocks) in the input unit 31, and the encoding process in the moving image encoding device 20 and the moving image decoding device 50 are performed. It is assumed that the decoding process is performed on a macroblock basis. A frame image divided in units of macroblocks is defined as “frame image signal 2”.

「H.26L符号化方式」では、「予測モード」として、同一フレーム画像上の符号化済み近傍領域の画素値(例えば、符号化対象のフレーム画像信号2の上方及び左方に隣接する画素値)を用いた空間予測を行う「INTRA(イントラ)予測モード」と、時間的に異なる符号化済みフレーム画像(参照フレーム画像5)を用いた動き補償フレーム間予測を行う複数の「INTER(インター)予測モード」とが用意されている。   In the “H.26L encoding method”, as the “prediction mode”, pixel values in the encoded neighboring region on the same frame image (for example, pixel values adjacent to the upper and left sides of the frame image signal 2 to be encoded) ) To perform spatial prediction using “INTRA (intra) prediction mode” and a plurality of “INTER (inter)) to perform motion compensation inter-frame prediction using temporally different encoded frame images (reference frame image 5). Prediction mode "is prepared.

「H.26L符号化方式」は、入力映像信号1の局所的な性質に応じてマクロブロック単位で「予測モード」を切り替え、効率的な情報圧縮を行うことができるように構成されている。   The “H.26L coding method” is configured to perform efficient information compression by switching the “prediction mode” in units of macroblocks according to the local nature of the input video signal 1.

「動き補償フレーム間予測」は、参照フレーム画像5の所定の探索範囲内で、フレーム画像信号2内の画像信号パターンに類似する画像信号パターンを探し出して、両画像信号パターン間の空間的な変位量を「動きベクトル3」として検出し、「動きベクトル3」や「予測モード」や「参照フレーム番号」を含む「動き補償関連情報」と当該動きベクトル3に応じて算出された「予測残差信号9」とを符号化して伝送する技術である。   “Motion compensated inter-frame prediction” searches for an image signal pattern similar to the image signal pattern in the frame image signal 2 within a predetermined search range of the reference frame image 5 and spatial displacement between both image signal patterns. The amount is detected as “motion vector 3”, “motion compensation related information” including “motion vector 3”, “prediction mode”, and “reference frame number” and “prediction residual” calculated according to the motion vector 3 This is a technique for encoding and transmitting the signal 9 ".

「H.26L符号化方式」では、図3に示すように、7種類の「INTER予測モード」が用意されている。より正確には、これらに加えて、映像が静止している場合などで有用な「スキップモード」、すなわち、参照フレーム画像5(符号化済みフレーム画像)の同位置の画素をそのままコピーする予測モードも用意されている。   In the “H.26L encoding method”, as shown in FIG. 3, seven types of “INTER prediction modes” are prepared. More precisely, in addition to these, a “skip mode” that is useful when the video is still, that is, a prediction mode in which pixels at the same position of the reference frame image 5 (encoded frame image) are copied as they are. Is also available.

図3に示すように、「モード1」では16×16画素単位、「モード2」では8×16画素単位、「モード3」では16×8画素単位、「モード4」では8×8画素単位、「モード5」では4×8画素単位、「モード6」では8×4画素単位、「モード7」では4×4画素単位で、動きベクトル3を検出する。   As shown in FIG. 3, “Mode 1” is 16 × 16 pixel units, “Mode 2” is 8 × 16 pixel units, “Mode 3” is 16 × 8 pixel units, and “Mode 4” is 8 × 8 pixel units. The motion vector 3 is detected in units of 4 × 8 pixels in “mode 5”, in units of 8 × 4 pixels in “mode 6”, and in units of 4 × 4 pixels in “mode 7”.

つまり、これらの7種類の予測モードは、マクロブロック内の動き検出単位を細分化できるようにしたものであり、マクロブロック内に存在し得る種々の動きを正確に捉えることを目的として設けられている。   In other words, these seven types of prediction modes are designed to subdivide the motion detection unit in the macroblock, and are provided for the purpose of accurately capturing various motions that may exist in the macroblock. Yes.

第1に、入力部31が、フレーム画像信号2を動き検出部32及び空間予測部35に送信する。   First, the input unit 31 transmits the frame image signal 2 to the motion detection unit 32 and the spatial prediction unit 35.

その後、動き検出部32が、受信したフレーム画像信号2について、フレームメモリ34から送信された参照フレーム画像5を参照して、所定の予測モード4に対応した本数の動きベクトル3の検出を行う。   Thereafter, with respect to the received frame image signal 2, the motion detection unit 32 refers to the reference frame image 5 transmitted from the frame memory 34 and detects the number of motion vectors 3 corresponding to the predetermined prediction mode 4.

一方、空間予測部35は、フレームメモリ34から送信された同一フレーム画像上の符号化済み近傍領域の画素値を用いた空間予測を行う。空間予測部35は、複数の方法の空間予測を行ってもよい。   On the other hand, the spatial prediction unit 35 performs spatial prediction using the pixel values of the encoded neighboring region on the same frame image transmitted from the frame memory 34. The spatial prediction unit 35 may perform spatial prediction using a plurality of methods.

第2に、動き検出部32が、図3に示す全ての「INTER予測モード」について検出した動きベクトル3と当該動きベクトル3に対応する予測モード(例えば、モード1乃至モード7)4とを、動き補償部33に送信する。   Second, the motion detection unit 32 detects the motion vectors 3 detected for all the “INTER prediction modes” shown in FIG. 3 and the prediction modes (for example, mode 1 to mode 7) 4 corresponding to the motion vectors 3, It transmits to the motion compensation unit 33.

その後、動き補償部33が、フレームメモリ34から送信された参照フレーム画像5と、動き検出部32から送信された複数の動きベクトル3及び予測モード4の組み合わせとを用いた動き補償によって、予測画像信号(マクロブロック単位)6を生成する。   Thereafter, the motion compensation unit 33 performs the motion compensation using the reference frame image 5 transmitted from the frame memory 34 and the combination of the plurality of motion vectors 3 and the prediction mode 4 transmitted from the motion detection unit 32, thereby predicting the predicted image. A signal (macroblock unit) 6 is generated.

第3に、動き補償部33は、動き補償によって生成された予測画像信号6と予測モード4と動きベクトル3と符号化効率に関する情報とを、予測モード決定部36に送信する。一方、空間予測部35は、空間予測によって生成された予測画像信号7と予測モード(空間予測の種類が複数ある場合)4と符号化効率に関する情報とを、予測モード決定部36に送信する。   Thirdly, the motion compensation unit 33 transmits the prediction image signal 6 generated by the motion compensation, the prediction mode 4, the motion vector 3, and information on the coding efficiency to the prediction mode determination unit 36. On the other hand, the spatial prediction unit 35 transmits the prediction image signal 7 generated by the spatial prediction, the prediction mode (when there are a plurality of types of spatial prediction) 4, and information on the coding efficiency to the prediction mode determination unit 36.

第4に、予測モード決定部36が、マクロブロック単位で、図3に示す全ての「INTER予測モード」についての評価を行い、最も符号化効率がよいと判断される「INTER予測モード」を選択する。   Fourth, the prediction mode determination unit 36 evaluates all the “INTER prediction modes” shown in FIG. 3 in units of macroblocks, and selects the “INTER prediction mode” that is determined to have the best coding efficiency. To do.

また、予測モード決定部36は、同様に「INTRA予測モード」についての評価を行い、「INTRA予測モード」の方が「INTER予測モード」よりも符号化効率がよい場合には「INTRA予測モード」を選択する。   The prediction mode determination unit 36 similarly evaluates the “INTRA prediction mode”, and when the “INTRA prediction mode” has better encoding efficiency than the “INTER prediction mode”, the “INTRA prediction mode”. Select.

そして、予測モード決定部36は、選択された予測モード4によって生成された予測画像信号(マクロブロック単位)8を、減算器37に送信する。   Then, the prediction mode determination unit 36 transmits the predicted image signal (macroblock unit) 8 generated in the selected prediction mode 4 to the subtractor 37.

また、予測モード決定部36は、予測モード4として「INTER予測モード」を選択した場合、選択された「INTER予測モード」で定められる本数分(最大でマクロブロックあたり16本)の動きベクトル3等を含む「動き補償関連情報」を可変長符号化部40に伝送する。一方、予測モード決定部36は、予測モード4として「INTRA予測モード」を選択した場合、動きベクトル3を伝送しない。   In addition, when the “INTER prediction mode” is selected as the prediction mode 4, the prediction mode determination unit 36 has the number of motion vectors 3 (maximum of 16 per macroblock) determined by the selected “INTER prediction mode”. Is transmitted to the variable length coding unit 40. On the other hand, when the “INTRA prediction mode” is selected as the prediction mode 4, the prediction mode determination unit 36 does not transmit the motion vector 3.

第5に、直交変換部38が、減算器37から送信されたフレーム画像信号2と予測画像信号8との差分値(予測残差信号9)を直交変換することにより、直交変換係数10を生成する。   Fifthly, the orthogonal transform unit 38 performs orthogonal transform on the difference value (predicted residual signal 9) between the frame image signal 2 and the predicted image signal 8 transmitted from the subtractor 37, thereby generating the orthogonal transform coefficient 10. To do.

第6に、量子化部39が、直交変換部38から送信された直交変換係数10を量子化することにより、量子化直交変換係数11を生成する。   Sixth, the quantization unit 39 quantizes the orthogonal transform coefficient 10 transmitted from the orthogonal transform unit 38 to generate the quantized orthogonal transform coefficient 11.

第7に、可変長符号化部40が、量子化部39から送信された量子化直交変換係数11と予測モード決定部36から送信された予測モード4(及び、動きベクトル3)とについて、エントロピー符号化を行って圧縮ストリーム12に多重化する。   Seventh, the variable length coding unit 40 uses the entropy for the quantized orthogonal transform coefficient 11 transmitted from the quantization unit 39 and the prediction mode 4 (and motion vector 3) transmitted from the prediction mode determination unit 36. Encode and multiplex into the compressed stream 12.

可変長符号化部40は、動画像復号化装置50に対して、マクロブロック単位で圧縮ストリーム12を送信してもよいし、フレーム画像単位で圧縮ストリーム12を送信してもよい
また、逆量子化部41が、量子化部39から送信された量子化直交変換係数11について逆量子化を行うことにより、直交変換係数13を生成する。そして、逆直交変換部42が、逆量子化部41から送信された直交変換係数13について逆直交変換を行うことにより、予測残差信号14を生成する。
The variable length encoding unit 40 may transmit the compressed stream 12 in units of macroblocks or may transmit the compressed stream 12 in units of frame images to the video decoding device 50. The quantization unit 41 generates the orthogonal transform coefficient 13 by performing inverse quantization on the quantized orthogonal transform coefficient 11 transmitted from the quantization unit 39. Then, the inverse orthogonal transform unit 42 performs the inverse orthogonal transform on the orthogonal transform coefficient 13 transmitted from the inverse quantization unit 41 to generate the prediction residual signal 14.

次に、加算器43において、逆直交変換部42から送信された予測残差信号14と予測モード決定部36から送信された予測画像信号8とが加算されてフレーム画像信号15が生成される。   Next, the adder 43 adds the prediction residual signal 14 transmitted from the inverse orthogonal transform unit 42 and the predicted image signal 8 transmitted from the prediction mode determination unit 36 to generate a frame image signal 15.

このマクロブロック単位のフレーム画像信号15が、フレームメモリ34に格納される。フレームメモリ34には、以降の符号化処理で用いられるフレーム画像単位の参照フレーム画像5と、現在符号化しているフレーム画像の符号化済みマクロブロックの情報(画素値や動きベクトル)とが格納されている。   The frame image signal 15 in units of macro blocks is stored in the frame memory 34. The frame memory 34 stores a reference frame image 5 for each frame image used in the subsequent encoding process, and information (pixel value and motion vector) of the encoded macroblock of the currently encoded frame image. ing.

次に、図2に示す動画像復号化装置10の動作について説明する。   Next, the operation of the video decoding device 10 shown in FIG. 2 will be described.

第1に、可変長復号化部71が、圧縮ストリーム12を受信した後、各フレームの先頭を表す同期ワードを検出して、マクロブロック単位で、動きベクトル3と予測モード4と量子化直交変換係数11とを復元する。   First, after receiving the compressed stream 12, the variable length decoding unit 71 detects a synchronization word representing the head of each frame, and performs motion vector 3, prediction mode 4, and quantized orthogonal transform in units of macroblocks. The coefficient 11 is restored.

そして、可変長復号化部71は、量子化直交変換係数11を逆量子化部76に送信し、予測モード4をスイッチ75に送信する。また、可変長復号化部71は、予測モード4が「INTER予測モード」である場合、動きベクトル3及び予測モード4を動き補償部72に送信し、予測モード4が「INTRA予測モード」である場合、予測モード4を空間予測部74に送信する。   Then, the variable length decoding unit 71 transmits the quantized orthogonal transform coefficient 11 to the inverse quantization unit 76 and transmits the prediction mode 4 to the switch 75. Further, when the prediction mode 4 is “INTER prediction mode”, the variable length decoding unit 71 transmits the motion vector 3 and the prediction mode 4 to the motion compensation unit 72, and the prediction mode 4 is “INTRA prediction mode”. In the case, the prediction mode 4 is transmitted to the spatial prediction unit 74.

次に、予測モード4が「INTER予測モード」である場合、動き補償部72が、可変長復号化部71から送信された動きベクトル3と予測モード4とを用いて、フレームメモリ73から送信された参照フレーム画像5を参照して、予測画像信号6を生成する。   Next, when the prediction mode 4 is the “INTER prediction mode”, the motion compensation unit 72 is transmitted from the frame memory 73 using the motion vector 3 and the prediction mode 4 transmitted from the variable length decoding unit 71. The predicted image signal 6 is generated with reference to the reference frame image 5.

また、予測モード4が「INTRA予測モード」である場合、空間予測部74が、フレームメモリ73から送信された符号化済みの近傍領域の画像信号を参照して予測画像信号7を生成する。   Further, when the prediction mode 4 is the “INTRA prediction mode”, the spatial prediction unit 74 generates the predicted image signal 7 with reference to the encoded image signal of the neighboring region transmitted from the frame memory 73.

次に、スイッチ75が、可変長復号化部71から送信された予測モード4に応じて、予測画像信号6と予測画像信号7とのいずれかを選択し、予測画像信号8を決定する。   Next, the switch 75 selects either the predicted image signal 6 or the predicted image signal 7 according to the prediction mode 4 transmitted from the variable length decoding unit 71, and determines the predicted image signal 8.

一方、可変長復号化部71により復元された量子化直交変換係数11は、逆量子化部76により逆量子化されて直交変換係数10に復元され、逆直交変換部77により逆直交変換されて予測残差信号9に復元される。   On the other hand, the quantized orthogonal transform coefficient 11 restored by the variable length decoding unit 71 is inversely quantized by the inverse quantization unit 76 to be restored to the orthogonal transform coefficient 10, and is inversely orthogonal transformed by the inverse orthogonal transform unit 77. The prediction residual signal 9 is restored.

そして、加算器78において、スイッチ75から送信された予測画像信号8と逆直交変換部77から送信された予測残差信号9とが加算されてフレーム画像信号2が復元されて出力部80に送信される。出力部80は、所定の表示タイミングで表示デバイス(図示せず)へ出力し、出力映像信号(動画像)1Aを再生する。   The adder 78 adds the predicted image signal 8 transmitted from the switch 75 and the predicted residual signal 9 transmitted from the inverse orthogonal transform unit 77 to restore the frame image signal 2 and transmits it to the output unit 80. Is done. The output unit 80 outputs to a display device (not shown) at a predetermined display timing, and reproduces an output video signal (moving image) 1A.

また、復元されたフレーム画像信号2は、以降の復号化処理に用いられるため、フレームメモリ73に格納される。   In addition, the restored frame image signal 2 is stored in the frame memory 73 to be used for subsequent decoding processing.

「TML-8」では、「funny position(特異位置)」の概念を用いた動き補償が実現されている。図4に、この「特異位置」を、整数画素位置、1/2画素位置、1/4画素位置と共に示す。なお、「TML-8」では、1/4画素精度の動き補償が実現されている。   In “TML-8”, motion compensation using the concept of “funny position (singular position)” is realized. FIG. 4 shows this “singular position” together with the integer pixel position, 1/2 pixel position, and 1/4 pixel position. In “TML-8”, motion compensation with 1/4 pixel accuracy is realized.

図4において、動き検出部32によって検出された動きベクトル3が、符号化対象のフレーム画像信号2内の整数画素位置「A」に対して、参照フレーム画像5内の整数画素位置((1画素,1画素)の画素位置)「D」を指しているものと仮定する。この場合、参照フレーム画像5内の画素位置「D」の画素値が、符号化対象のフレーム画像信号2内の画素位置「A」に対する「動き補償値」となる。   In FIG. 4, the motion vector 3 detected by the motion detector 32 is an integer pixel position ((1 pixel) in the reference frame image 5 with respect to the integer pixel position “A” in the frame image signal 2 to be encoded. , 1 pixel) is assumed to point to “D”. In this case, the pixel value at the pixel position “D” in the reference frame image 5 becomes the “motion compensation value” for the pixel position “A” in the frame image signal 2 to be encoded.

次に、動きベクトル3が、符号化対象のフレーム画像信号2内の整数画素位置「A」に対して、参照フレーム画像5内の1/2画素位置((1/2画素,1/2画素)の画素位置)「E」を指しているものと仮定する。この場合、参照フレーム画像5内の整数画素位置の画素値を縦横にそれぞれ独立に6タップフィルタ(1,−5,20,20,−5,1)/32を作用させて得られた補間値が、符号化対象のフレーム画像信号2の画素位置「A」に対する「動き補償値」となる。   Next, with respect to the integer pixel position “A” in the frame image signal 2 to be encoded, the motion vector 3 has a 1/2 pixel position ((1/2 pixel, 1/2 pixel) in the reference frame image 5. ) Pixel position) Suppose that it points to “E”. In this case, the interpolated value obtained by applying the 6-tap filter (1, -5, 20, 20, -5, 1) / 32 to the pixel value at the integer pixel position in the reference frame image 5 independently in the vertical and horizontal directions. Is the “motion compensation value” for the pixel position “A” of the frame image signal 2 to be encoded.

次に、動きベクトル3が、符号化対象のフレーム画像信号2内の整数画素位置「A」に対して、参照フレーム画像5内の1/4画素位置((1/4画素,1/4画素)の画素位置)「F」又は「G」を指しているものと仮定する。この場合、近傍の整数画素位置の画素値及び1/2画素位置の画素値の線形補間値が、符号化対象のフレーム画像信号2の画素位置「A」に対する「動き補償値」となる。   Next, with respect to the integer pixel position “A” in the frame image signal 2 to be encoded, the motion vector 3 has a 1/4 pixel position ((1/4 pixel, 1/4 pixel) in the reference frame image 5. ) Pixel position) It is assumed that it points to "F" or "G". In this case, the linear interpolation value of the pixel value at the neighboring integer pixel position and the pixel value at the 1/2 pixel position becomes the “motion compensation value” for the pixel position “A” of the frame image signal 2 to be encoded.

例えば、動きベクトル3が、符号化対象のフレーム画像信号2の画素位置「A」に対して、参照フレーム画像5内の画素位置「F」を指している場合は、画素位置「F」を取り囲む近傍の整数画素位置の画素値及び1/2画素位置の画素値の4点の平均値が、符号化対象のフレーム画像信号2内の画素位置「A」に対する「動き補償値」となる。   For example, when the motion vector 3 indicates the pixel position “F” in the reference frame image 5 with respect to the pixel position “A” of the frame image signal 2 to be encoded, it surrounds the pixel position “F”. The average value of the four points of the pixel value at the neighboring integer pixel position and the pixel value at the 1/2 pixel position is the “motion compensation value” for the pixel position “A” in the frame image signal 2 to be encoded.

また、動きベクトル3が、符号化対象のフレーム画像信号2内の整数画素位置「A」に対して、参照フレーム画像5内の画素位置「G」を指している場合は、画素位置「G」を水平に挟む1/2画素位置の画素値の2点の平均値が、符号化対象のフレーム画像信号2内の画素位置「A」に対する「動き補償値」となる。   When the motion vector 3 points to the pixel position “G” in the reference frame image 5 with respect to the integer pixel position “A” in the frame image signal 2 to be encoded, the pixel position “G”. The average value of the two pixel values at the 1/2 pixel position that sandwiches horizontally is the “motion compensation value” for the pixel position “A” in the frame image signal 2 to be encoded.

さらに、動きベクトルが、符号化対象のフレーム画像信号2内の整数画素位置に対して、参照フレーム画像5内の(N+3/4画素,M+3/4画素:N,Mは、任意整数)の画素位置を指していた場合は、符号化対象のフレーム画像信号2内の整数画素位置に対する「動き補償値」は、参照フレーム画像5内の(N,M)の画素値、(N,M+1)の画素値、(N+1,M)の画素値及び(N+1,M+1)画素値の平均値となる。ここで、参照フレーム画像5内の(N+3/4画素,M+3/4画素:N,Mは、任意整数)が、上述の「特異位置」である。   Furthermore, the motion vector is a pixel (N + 3/4 pixel, M + 3/4 pixel: N and M are arbitrary integers) in the reference frame image 5 with respect to the integer pixel position in the frame image signal 2 to be encoded. When the position is indicated, the “motion compensation value” for the integer pixel position in the frame image signal 2 to be encoded is the (N, M) pixel value in the reference frame image 5 and (N, M + 1). The pixel value, the (N + 1, M) pixel value, and the (N + 1, M + 1) pixel value are average values. Here, (N + 3/4 pixel, M + 3/4 pixel: N and M are arbitrary integers) in the reference frame image 5 is the above-mentioned “singular position”.

例えば、動きベクトル3が、符号化対象のフレーム画像信号2内の整数画素位置「A」に対して、参照フレーム画像5内の画素位置「H」(すなわち「特異位置」)を指している場合、符号化対象のフレーム画像信号2内の画素位置「A」に対する「動き補償値」は、前述の1/4画素位置(例えば、画素位置「F」)の場合に算出された値ではなく、(A+B+C+D)/4の計算により算出された値となる。   For example, when the motion vector 3 indicates the pixel position “H” (that is, “singular position”) in the reference frame image 5 with respect to the integer pixel position “A” in the frame image signal 2 to be encoded. The “motion compensation value” for the pixel position “A” in the frame image signal 2 to be encoded is not a value calculated in the case of the above-mentioned 1/4 pixel position (for example, the pixel position “F”), This is a value calculated by the calculation of (A + B + C + D) / 4.

以上のとおり、「H.26L符号化方式」では、精緻な動き補償が可能となるように、多くの「INTER予測モード」を用意している。また、整数画素位置、1/2画素位置、1/4画素位置、特異位置による動き補償を用意している。以上の構成により、予測構造を精緻化しつつ、予測が当たらないフレーム画像信号2が入力されても予測画像信号8が破綻しない仕組みが導入されている。   As described above, in the “H.26L encoding method”, many “INTER prediction modes” are prepared so that precise motion compensation is possible. Also, motion compensation is prepared by integer pixel position, 1/2 pixel position, 1/4 pixel position, and singular position. With the above configuration, a mechanism is introduced in which the prediction image is not broken even when the frame image signal 2 that is not predicted is input while the prediction structure is refined.

1/4画像精度の計算は、近傍の画素位置の画素値の線形補間で行われるため、周波数空間では低域通過型の作用を持ち、平滑化された予測画像信号6を生成する。   Since the calculation of the 1/4 image accuracy is performed by linear interpolation of the pixel values of the neighboring pixel positions, the smoothed predicted image signal 6 is generated having a low-pass effect in the frequency space.

また、特異位置による動き補償を用いた場合には、近傍の4つの整数画素位置の画素値の平均値により「動き補償値」を算出することにより、さらに平滑化が行われた予測画像信号を生成することになる。平滑化は、予測画像信号にガウスノイズが重畳されていると仮定すると、このノイズ成分が大きいときに予測誤差を減ずる効果を持っている。   Further, when motion compensation by a singular position is used, a predicted image signal that has been further smoothed is calculated by calculating a “motion compensation value” based on an average value of pixel values of four neighboring integer pixel positions. Will be generated. Assuming that Gaussian noise is superimposed on the predicted image signal, smoothing has the effect of reducing the prediction error when this noise component is large.

したがって、「TML-8」で定義される「H.26L符号化方式」では、参照フレーム画像5にノイズが重畳されている場合、または参照フレーム画像5に高域成分が多く含まれており予測誤差が大きくなる場合に、1/4画素精度の計算及び特異位置による動き補償を用いて符号化効率の改善を図っている。   Therefore, in the “H.26L encoding method” defined in “TML-8”, when the reference frame image 5 has noise superimposed thereon or the reference frame image 5 includes a lot of high frequency components, the prediction is performed. When the error becomes large, the encoding efficiency is improved by calculating the accuracy of 1/4 pixel and using the motion compensation by the singular position.

しかしながら、従来の「H.26L符号化方式」には、以下のような問題点が考えられる。   However, the conventional “H.26L encoding method” has the following problems.

第1に、符号化対象のフレーム画像信号2内の画素位置が、「特異位置」と等しい画素位置(N+3/4画素,M+3/4画素:N,Mは、任意整数)を指す動きベクトルを有する場合、算出される「動き補償値」には常に強い平滑化がかかり、特に高いレートでは精緻な動き補償が実現できなくなるという問題点(第1の問題点)があった。   First, a motion vector indicating a pixel position (N + 3/4 pixel, M + 3/4 pixel: N and M are arbitrary integers) where the pixel position in the frame image signal 2 to be encoded is equal to the “singular position”. In such a case, the calculated “motion compensation value” is always subjected to strong smoothing, and there is a problem (first problem) that precise motion compensation cannot be realized particularly at a high rate.

すなわち、従来の「H.26L符号化方式」では、動きベクトル3の絶対値で「特異位置」を定めていたために、図5に示すように、例えば、ブロックA,B,C,D,Eが、右下に(3/4画素,3/4画素)で平行に動いているとき、動きベクトルMV=(MVx,MVy)=(3/4,3/4)として、平滑化された動き補償を行うか、又は、動きベクトルMV=(MVx,MVy)=(1/2,3/4)又は(3/4,1)として、真の動きとは異なる動きベクトルを送って動き補償を行うことになる。ここで、MVxは、動きベクトルのX成分を示し、MVyは、動きベクトルのY成分を示す。   That is, in the conventional “H.26L encoding method”, since the “singular position” is determined by the absolute value of the motion vector 3, as shown in FIG. 5, for example, blocks A, B, C, D, E Is moving in parallel in the lower right (3/4 pixel, 3/4 pixel), the motion smoothed as motion vector MV = (MVx, MVy) = (3/4, 3/4) Compensation is performed or motion compensation is performed by sending a motion vector different from the true motion as motion vector MV = (MVx, MVy) = (1/2, 3/4) or (3/4, 1). Will do. Here, MVx indicates the X component of the motion vector, and MVy indicates the Y component of the motion vector.

具体的には、図5に示すように、従来の「H.26L符号化方式」において、符号化対象のブロックをEとし、ブロックEの動きベクトルMVを(MVxE,MVyE)とすると、「MVxE%4=3」かつ「MVyE%4=3」となる領域が、常に「特異位置」となり、平滑化された画素値が、ブロックEに対する「動き補償値」として選ばれることになる。ここで、“%”を商余演算記号とし、動きベクトルMVの表現に係る単位を1/4画素とする。 Specifically, as shown in FIG. 5, in the conventional “H.26L encoding method”, if the block to be encoded is E and the motion vector MV of the block E is (MVx E , MVy E ), The region where “MVx E % 4 = 3” and “MVy E % 4 = 3” is always “singular position”, and the smoothed pixel value is selected as the “motion compensation value” for the block E. Become. Here, “%” is a quotient calculation symbol, and the unit related to the expression of the motion vector MV is ¼ pixel.

このため、「H.26L符号化方式」では、動きベクトル(3/4,3/4)が、実際(1/2,1/2)の画素位置にある平滑化された画素値を指すことになるため、「特異位置」と等しい画素位置(N+3/4画素,M+3/4画素:N,Mは、任意整数)の画素値を表現することができないという問題点があった。   For this reason, in the “H.26L encoding method”, the motion vector (3/4, 3/4) indicates the smoothed pixel value at the actual (1/2, 1/2) pixel position. Therefore, there is a problem that a pixel value at a pixel position (N + 3/4 pixel, M + 3/4 pixel: N and M are arbitrary integers) equal to the “singular position” cannot be expressed.

第2に、1/4画素精度による予測画像信号の生成は、高レートでは予測の精緻化、低レートでは予測の平滑化の効果が期待されているが、低レートにおける予測の平滑化では、1/4画素精度の動き補償まで必要なく、1/2画素精度の動き補償が実現できれば十分であり、予測の平滑化のために動きベクトルのパラメータ空間の半分を占める1/4画素精度の動きベクトルの検出は冗長であるという問題点(第2の問題点)があった。   Secondly, the generation of the prediction image signal with 1/4 pixel accuracy is expected to have the effect of smoothing the prediction at a high rate and the smoothing of the prediction at a low rate. It is sufficient if motion compensation with 1/2 pixel accuracy can be realized without requiring motion compensation with 1/4 pixel accuracy, and motion with 1/4 pixel accuracy occupying half of the parameter space of the motion vector for smoothing prediction. There is a problem (second problem) that the vector detection is redundant.

そこで、本発明は、以上の点に鑑みてなされたもので、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することを目的とする。   Therefore, the present invention has been made in view of the above points, and an object of the present invention is to provide motion compensation with different pixel accuracy, which can represent a predicted image signal with a small overhead.

本発明の第1の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。   A first feature of the present invention is a moving image encoding apparatus that encodes a moving image formed of a time sequence of frame images by motion compensation, and a motion vector of a predetermined region to be encoded in the frame image Detected by the motion vector detection unit, a prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image, and the motion vector detection unit A determination unit for determining whether the motion vector thus determined is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector detected by the motion vector detection unit A switching unit that switches a method of calculating a motion compensation value of the predetermined region to be encoded, when the motion vector is not the predetermined motion vector. And summarized in that comprises.

本発明の第2の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。   A second feature of the present invention is a moving image decoding apparatus for decoding a moving image formed of a time sequence of frame images by motion compensation, and a motion vector of a predetermined region to be decoded in the frame image A motion vector decoding unit that decodes the motion vector, a prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image, and the motion vector decoding A determination unit that determines whether the motion vector decoded by the prediction unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector decoding unit The method for calculating the motion compensation value of the predetermined region to be decoded is switched between the case where the motion vector is the predetermined motion vector and the case where the motion vector is not the predetermined motion vector. And summarized in that comprising a that switching unit.

本発明の第3の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する工程Aと、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する工程Bと、前記工程Aで検出された動きベクトルが、前記工程Bで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Cと、前記工程Aで検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える工程Dとを有することを要旨とする。   According to a third aspect of the present invention, there is provided a moving image encoding method for encoding a moving image formed of a time sequence of frame images by motion compensation, and the motion of a predetermined region to be encoded in the frame image A step A for detecting a vector, a step B for predicting a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image, and a detection by the step A A step C for determining whether the motion vector is a predetermined motion vector set according to the motion vector predicted in the step B; and the motion vector detected in the step A is the predetermined motion vector. The present invention includes a step D of switching a calculation method of a motion compensation value of the predetermined region to be encoded between a vector and a case where the vector is not the predetermined motion vector.

本発明の第4の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する工程Aと、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する工程Bと、前記工程Aで復号化された動きベクトルが、前記工程Bで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Cと、前記工程Aで復号化された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える工程Dとを有することを要旨とする。   A fourth feature of the present invention is a moving image decoding method for decoding a moving image formed of a time sequence of frame images by motion compensation, and the motion of a predetermined region to be decoded in the frame image A step of decoding a vector, a step of predicting a motion vector of a predetermined region to be decoded using a decoded motion vector of the predetermined region in the frame image, and decoding in the step A Step C for determining whether or not the motion vector thus determined is a predetermined motion vector set according to the motion vector predicted in Step B, and the motion vector decoded in Step A is The present invention includes a step D of switching a calculation method of a motion compensation value of the predetermined region to be decoded depending on whether the motion vector is a predetermined motion vector or not.

本発明の第5の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。   According to a fifth aspect of the present invention, there is provided a moving image encoding apparatus for encoding a moving image composed of a time sequence of frame images by motion compensation, wherein the computer encodes a predetermined encoding target in the frame image. A motion vector detection unit that detects a motion vector of a region, a prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image, and the motion A determination unit for determining whether the motion vector detected by the vector detection unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector detection unit The motion compensation value calculation method for the predetermined region to be encoded is determined depending on whether the motion vector is the predetermined motion vector or not. And summarized in that a program for functioning as a moving image encoding apparatus; and a switching unit for switching.

本発明の第6の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。   According to a sixth aspect of the present invention, there is provided a moving image decoding apparatus for decoding a moving image composed of a time sequence of frame images by motion compensation, wherein a predetermined decoding target in the frame image is decoded. A motion vector decoding unit that decodes a motion vector of a region; a prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image; A determination unit that determines whether the motion vector decoded by the motion vector decoding unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector decoding Motion compensation of the predetermined region to be decoded when the motion vector decoded by the unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector And summarized in that a program for functioning as a calculation method moving picture decoding apparatus and a switching unit for switching the.

本発明の第7の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   According to a seventh aspect of the present invention, there is provided a moving image encoding apparatus for encoding a moving image composed of a time sequence of frame images by motion compensation, wherein the computer encodes a predetermined encoding target in the frame image. A motion vector detection unit that detects a motion vector of a region, a prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image, and the motion A determination unit for determining whether the motion vector detected by the vector detection unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector detection unit The motion compensation value of the predetermined region to be encoded is calculated when the motion vector is the predetermined motion vector and when it is not the predetermined motion vector. And summarized in that a computer-readable recording medium storing a program for functioning as a moving image encoding apparatus; and a switching unit for switching law.

本発明の第7の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。   In the seventh feature of the present invention, it is preferable that the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit.

また、本発明の第7の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル検出部により検出された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。   Further, in the seventh feature of the present invention, when the determination unit has a predetermined value as the difference information between the motion vector predicted by the prediction unit and the motion vector detected by the motion vector detection unit, It is preferable to determine that the motion vector detected by the motion vector detection unit is the predetermined motion vector.

本発明の第8の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   According to an eighth aspect of the present invention, there is provided a moving image decoding apparatus for decoding a moving image composed of a time sequence of frame images by motion compensation, wherein a predetermined decoding target in the frame image is decoded. A motion vector decoding unit that decodes a motion vector of a region; a prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image; A determination unit that determines whether the motion vector decoded by the motion vector decoding unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit; and the motion vector decoding The motion compensation of the predetermined region to be decoded is performed when the motion vector decoded by the encoding unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector. And summarized in that a computer-readable recording medium storing a program for functioning as a moving image decoding apparatus comprising a switching unit for switching the calculation method of the value.

本発明の第8の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。   In the eighth feature of the present invention, it is preferable that the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit.

また、本発明の第8の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル復号化部により復号化された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。   Further, in the eighth feature of the present invention, when the determination unit has a predetermined value of difference information between the motion vector predicted by the prediction unit and the motion vector decoded by the motion vector decoding unit. Preferably, the motion vector decoded by the motion vector decoding unit is determined to be the predetermined motion vector.

本発明の第9の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。   A ninth feature of the present invention is a moving image encoding apparatus that encodes a moving image composed of time series of frame images by motion compensation, and performs a plurality of different image processings from a reference frame image. A reference image generation unit that generates different reference images, a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image, and a calculation of the motion compensation value. A transmission unit configured to transmit information related to the reference image and information indicating the motion compensation value, and the information related to the reference image includes identification information of the reference frame image and information indicating the image processing. The gist of this is a combination.

本発明の第10の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。   A tenth feature of the present invention is a moving image encoding apparatus that encodes a moving image composed of time series of frame images by motion compensation, according to encoding conditions of a predetermined region to be encoded. A reference image generation unit that generates a reference image subjected to predetermined image processing from a reference frame image, and a motion compensation value for a predetermined region to be encoded using the generated reference image subjected to the predetermined image processing And a motion compensator for calculating.

本発明の第11の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。   An eleventh feature of the present invention is a moving image decoding apparatus that decodes a moving image composed of time series of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. Specified by a reference image generating unit that generates different reference images, a decoding unit that decodes information related to a reference image used to calculate a motion compensation value in the video encoding device, and information related to the reference image A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image, and the information related to the reference image includes identification information of the reference frame image and the reference frame image The gist is that it is a combination with information indicating image processing.

本発明の第12の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施した参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。   A twelfth feature of the present invention is a moving picture decoding apparatus that decodes a moving picture composed of time series of frame pictures by motion compensation, according to a coding condition of a predetermined region to be decoded. A motion compensation value is calculated for a predetermined region to be decoded using a reference image generation unit that generates a reference image subjected to predetermined image processing from a reference frame image and the reference image subjected to the predetermined image processing The gist is to include a motion compensation unit.

本発明の第13の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Bと、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Cとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。   A thirteenth feature of the present invention is a moving image encoding method for encoding a moving image composed of time series of frame images by motion compensation, and performs a plurality of different image processings from a reference frame image. Step A for generating different reference images, Step B for calculating a motion compensation value for a predetermined region to be encoded using the generated reference image, and the reference image used for calculating the motion compensation value And a step C for transmitting information indicating the motion compensation value in combination, and the information related to the reference image is a combination of identification information of the reference frame image and information indicating the image processing. It is a summary.

本発明の第14の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Aと、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Bとを有することを要旨とする。   A fourteenth feature of the present invention is a moving image encoding method for encoding a moving image composed of time series of frame images by motion compensation, according to an encoding condition of a predetermined region to be encoded. A motion compensation value is calculated for a predetermined region to be encoded using a step A for generating a reference image subjected to predetermined image processing from a reference frame image and the generated reference image subjected to the predetermined image processing. And having the process B to be performed.

本発明の第15の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Bと、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Cとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。   A fifteenth feature of the present invention is a moving image decoding method for decoding a moving image formed of a time series of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A for generating different reference images, B for decoding information related to the reference image used for calculating the motion compensation value in the video encoding device, and generation specified by the information related to the reference image And a step C of calculating a motion compensation value for a predetermined region to be decoded using the reference image thus obtained, and the information relating to the reference image indicates identification information of the reference frame image and the image processing The gist is that it is a combination with information.

本発明の第16の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Aと、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Bとを有することを要旨とする。   A sixteenth feature of the present invention is a moving image decoding method for decoding a moving image composed of time series of frame images by motion compensation, in accordance with an encoding condition of a predetermined region to be decoded. A motion compensation value is calculated for a predetermined region to be decoded using a step A for generating a reference image subjected to predetermined image processing from a reference frame image and a reference image generated by performing the predetermined image processing. And having the process B to be performed.

本発明の第17の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムであることを要旨とする。   According to a seventeenth feature of the present invention, there is provided a moving image encoding apparatus that encodes a moving image composed of time series of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generation unit that generates a plurality of different reference images, a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image, and a calculation of the motion compensation value A transmission unit that transmits the information related to the reference image used in combination with the information indicating the motion compensation value, and the information related to the reference image includes the identification information of the reference frame image and the image processing. The gist of the present invention is that it is a program for functioning as a moving picture encoding apparatus that is a combination with the information shown.

本発明の第18の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。   According to an eighteenth feature of the present invention, there is provided a moving image encoding apparatus for encoding a moving image composed of time series of frame images by motion compensation, wherein the encoding condition of a predetermined region to be encoded is And a reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, and the generated reference image that has been subjected to the predetermined image processing. The gist of the present invention is a program for functioning as a moving image encoding device including a motion compensation unit that calculates a motion compensation value.

本発明の第19の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムであることを要旨とする。   A nineteenth feature of the present invention is a moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation, and performing a plurality of different image processing from a reference frame image. A reference image generation unit that generates a plurality of different reference images, a decoding unit that decodes information related to the reference image used to calculate a motion compensation value in the video encoding device, and a reference image A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image specified by information, and the information related to the reference image identifies the reference frame image The gist of the present invention is a program for functioning as a moving picture decoding apparatus that is a combination of information and information indicating the image processing.

本発明の第20の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。   According to a twentieth feature of the present invention, there is provided a moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation, wherein the encoding condition of a predetermined region to be encoded is And a reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, and a predetermined region that is to be decoded using the reference image that has been generated by performing the predetermined image processing. The gist of the present invention is a program for functioning as a moving picture decoding apparatus including a motion compensation unit that calculates a motion compensation value.

本発明の第21の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   According to a twenty-first feature of the present invention, there is provided a moving image encoding apparatus for encoding a moving image composed of time series of frame images by motion compensation, and performing a plurality of different image processes from a reference frame image. A reference image generation unit that generates a plurality of different reference images, a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image, and a calculation of the motion compensation value A transmission unit that transmits the information related to the reference image used in combination with the information indicating the motion compensation value, and the information related to the reference image includes the identification information of the reference frame image and the image processing. The gist of the present invention is a computer-readable recording medium that stores a program for functioning as a moving image encoding device that is a combination with the information shown.

本発明の第21の特徴において、前記動き補償部が、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記伝送部が、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。   In a twenty-first feature of the present invention, the motion compensation unit switches the reference image used for calculating a motion compensation value in a unit for detecting a motion vector, and the transmission unit is a unit for detecting the motion vector. It is preferable that information related to the reference image and information indicating the motion compensation value are transmitted in combination.

また、本発明の第21の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記伝送部が、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送が好ましい。   In the twenty-first feature of the present invention, the information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing, and the transmission unit includes an encoding target. It is preferable to transmit the information related to the reference image, the identification information of the reference frame image, and the information indicating the motion compensation value in units of predetermined areas.

また、本発明の第21の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。   In the twenty-first feature of the present invention, when the image processing is processing for changing a spatial resolution, and the motion compensation unit uses the reference image with a low spatial resolution, the motion used for calculating a motion compensation value It is preferable to reduce the accuracy of the vector.

また、本発明の第21の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。   Further, in the twenty-first feature of the present invention, the information related to the reference image is a combination of identification information of the reference frame image and information indicating the image processing in accordance with an encoding condition of a predetermined area to be encoded. Is preferably changed dynamically.

また、本発明の第21の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。   In the twenty-first feature of the present invention, the information related to the reference image indicates identification information indicating a unit for detecting the motion vector and the image processing in accordance with an encoding condition of a predetermined region to be encoded. The combination with information is preferably changed dynamically.

本発明の第22の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   According to a twenty-second feature of the present invention, there is provided a moving image encoding apparatus for encoding a moving image composed of time series of frame images by motion compensation, wherein the encoding condition of a predetermined region to be encoded is And a reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, and a reference region that is generated by performing the predetermined image processing, for a predetermined region to be encoded The gist of the present invention is a computer-readable recording medium storing a program for functioning as a moving image encoding device including a motion compensation unit that calculates a motion compensation value.

本発明の第22の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。   In the twenty-second feature of the present invention, it is preferable that the reference image generation unit generates a reference image subjected to the predetermined image processing in accordance with a type of unit for detecting a motion vector.

また、本発明の第22の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。   In the twenty-second feature of the present invention, it is preferable that the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step.

本発明の第23の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   A twenty-third feature of the present invention is a moving picture decoding apparatus for decoding a moving picture composed of time series of frame images by motion compensation, and performing a plurality of different image processes from a reference frame picture. A reference image generation unit that generates a plurality of different reference images, a decoding unit that decodes information related to the reference image used to calculate a motion compensation value in the video encoding device, and a reference image A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image specified by information, and the information related to the reference image identifies the reference frame image A computer-readable recording medium storing a program for functioning as a moving picture decoding apparatus that is a combination of information and information indicating the image processing The gist.

本発明の第23の特徴において、前記復号化部が、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることが好ましい。   In the twenty-third feature of the present invention, the decoding unit decodes information on the reference image and information indicating the motion compensation value in units of detecting a motion vector, and the motion compensation unit It is preferable to switch the reference image used for calculating the motion compensation value in units of vector detection.

また、本発明の第23の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記復号化部が、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することが好ましい。   Also, in the twenty-third feature of the present invention, the information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing, and the decoding unit performs decoding The information related to the reference image, the identification information of the reference frame image, and the information indicating the motion compensation value are decoded in units of a predetermined area of the target, and the motion compensation unit includes the information related to the reference image and the reference frame It is preferable to calculate a motion compensation value for a predetermined region to be decoded using the generated reference image specified by the image identification information.

また、本発明の第23の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。   Also, in the twenty-third feature of the present invention, when the image processing is processing for changing a spatial resolution, and the motion compensation unit uses the reference image with a low spatial resolution, the motion used for calculating a motion compensation value It is preferable to reduce the accuracy of the vector.

また、本発明の第23の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。   Further, in the twenty-third feature of the present invention, the information related to the reference image is a combination of identification information of the reference frame image and information indicating the image processing in accordance with a coding condition of a predetermined region to be decoded. Is preferably changed dynamically.

また、本発明の第23の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更が好ましい。   In the twenty-third feature of the present invention, the information related to the reference image indicates identification information indicating a unit for detecting the motion vector and the image processing in accordance with a coding condition of a predetermined region to be decoded. It is preferable to change the combination with information dynamically.

本発明の第24の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   According to a twenty-fourth feature of the present invention, there is provided a moving picture decoding apparatus for decoding a moving picture composed of time series of frame images by motion compensation, wherein a coding condition for a predetermined area to be decoded is calculated. And a reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, and a predetermined region that is to be decoded using the reference image that has been generated by performing the predetermined image processing. The gist of the present invention is a computer-readable recording medium storing a program for functioning as a moving picture decoding apparatus including a motion compensation unit that calculates a motion compensation value.

また、本発明の第24の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。   In the twenty-fourth feature of the present invention, it is preferable that the reference image generation unit generates a reference image subjected to the predetermined image processing in accordance with a type of unit for detecting a motion vector.

また、本発明の第24の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。   In the twenty-fourth feature of the present invention, preferably, the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step.

本発明の第25の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを要旨とする。   A twenty-fifth feature of the present invention is a moving image encoding apparatus that encodes a moving image formed of a time sequence of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generation unit that generates different reference images, and a three-dimensional motion vector that generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image A combination of a vector generation unit, a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded, using the generated reference image, and the information indicating the three-dimensional motion vector and the motion compensation value The gist of the present invention is to provide a transmission unit for transmission.

本発明の第26の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、前記3次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。   A twenty-sixth feature of the present invention is a moving image decoding apparatus that decodes a moving image formed of a time sequence of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generation unit that generates different reference images, a decoding unit that decodes a three-dimensional motion vector of a predetermined region to be decoded, and a generated reference image specified by the three-dimensional motion vector And a motion compensation unit that calculates a motion compensation value for the predetermined region to be decoded.

本発明の第27の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する工程Bと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Cと、前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Dとを有することを要旨とする。   A twenty-seventh feature of the present invention is a moving image encoding method for encoding a moving image composed of a time sequence of frame images by motion compensation, and performing a plurality of different image processing from a reference frame image. Generating a reference image having a different size, a process B for generating a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image, and generation A step C of calculating a motion compensation value for a predetermined region to be encoded using the reference image, and a step D of transmitting the combination of the three-dimensional motion vector and information indicating the motion compensation value. This is the gist.

本発明の第28の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、復号化対象の所定領域の3次元動きベクトルを復号化する工程Bと、前記3次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Cとを有することを要旨とする。   A twenty-eighth feature of the present invention is a moving image decoding method for decoding a moving image formed of a time sequence of frame images by motion compensation, and performing a plurality of different image processes from a reference frame image. Using the step A for generating different reference images, the step B for decoding a three-dimensional motion vector of a predetermined area to be decoded, and the generated reference image specified by the three-dimensional motion vector And a step C of calculating a motion compensation value for a predetermined region to be converted.

本発明の第29の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。   According to a twenty-ninth feature of the present invention, there is provided a moving image encoding apparatus that encodes a moving image composed of a time sequence of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generation unit that generates a plurality of different reference images, and generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image A three-dimensional motion vector generation unit; a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image; and information indicating the three-dimensional motion vector and the motion compensation value; The gist of the present invention is a program for functioning as a moving image encoding apparatus including a transmission unit that transmits a combination of the two.

本発明の第30の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、前記3次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。   According to a thirtieth aspect of the present invention, there is provided a moving image decoding apparatus that decodes a moving image formed of a time sequence of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generating unit that generates a plurality of different reference images, a decoding unit that decodes a three-dimensional motion vector of a predetermined region to be decoded, and a generated reference image specified by the three-dimensional motion vector And a motion compensator that calculates a motion compensation value for the predetermined region to be decoded.

本発明の第31の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   A thirty-first feature of the present invention is a moving image encoding apparatus that encodes a moving image formed of a time sequence of frame images by motion compensation, and performs a plurality of different image processes from a reference frame image. A reference image generation unit that generates a plurality of different reference images, and generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image A three-dimensional motion vector generation unit; a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image; and information indicating the three-dimensional motion vector and the motion compensation value; A computer-readable recording medium storing a program for functioning as a moving image encoding apparatus including a transmission unit that transmits the combination of The gist.

本発明の第31の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記3次元動きベクトルが、前記フィルタを識別することが好ましい。   In a thirty-first feature of the present invention, the reference image generation unit generates the plurality of different reference images by performing filter processing using filters having a plurality of different passbands, and the three-dimensional motion vector includes the filter. It is preferable to identify.

また、本発明の第31の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、前記伝送部が、前記3次元動きベクトル生成部により生成された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。   Further, in the thirty-first feature of the present invention, three-dimensional motion vector prediction for predicting a three-dimensional motion vector using a correlation between a predetermined region encoded in the frame image and the predetermined region to be encoded And the transmission unit includes difference information between the 3D motion vector generated by the 3D motion vector generation unit and the 3D motion vector predicted by the 3D motion vector prediction unit, and the motion It is preferable to transmit in combination with information indicating the compensation value.

また、本発明の第31の特徴において、前記3次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することが好ましい。   In the thirty-first feature of the present invention, it is preferable that the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding.

また、本発明の第31の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記3次元動きベクトル生成部が、低い空間解像度の参照画像に対して、3次元動きベクトルの精度を落とすことが好ましい。   In addition, in the thirty-first feature of the present invention, the image processing is processing for changing a spatial resolution, and the three-dimensional motion vector generation unit performs accuracy of a three-dimensional motion vector with respect to a low spatial resolution reference image. Is preferably dropped.

本発明の第32の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、前記3次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。   A thirty-second feature of the present invention is a moving image decoding apparatus for decoding a moving image composed of a time sequence of frame images by motion compensation, and performing a plurality of different image processing from a reference frame image. A reference image generating unit that generates a plurality of different reference images, a decoding unit that decodes a three-dimensional motion vector of a predetermined region to be decoded, and a generated reference image specified by the three-dimensional motion vector And a computer-readable recording medium storing a program for functioning as a moving picture decoding apparatus comprising a motion compensation unit that calculates a motion compensation value for the predetermined region to be decoded. And

本発明の第32の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記3次元動きベクトルが、前記フィルタを識別することが好ましい。   In a thirty-second feature of the present invention, the reference image generation unit generates the plurality of different reference images by performing filter processing using filters having a plurality of different passbands, and the three-dimensional motion vector includes the filter. It is preferable to identify.

また、本発明の第32の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、前記動き補償部が、前記復号化部により復号化された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することが好ましい。   In the thirty-second feature of the present invention, three-dimensional motion vector prediction that predicts a three-dimensional motion vector using a correlation between a predetermined region decoded in the frame image and a predetermined region to be decoded. Using the difference information between the three-dimensional motion vector decoded by the decoding unit and the three-dimensional motion vector predicted by the three-dimensional motion vector prediction unit, It is preferable to calculate a motion compensation value for the predetermined region to be decoded.

また、本発明の第32の特徴において、前記3次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することが好ましい。   In the thirty-second feature of the present invention, it is preferable that the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding.

以上説明したように、本発明によれば、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することができる。   As described above, according to the present invention, a predicted image signal can be expressed with a small overhead, and motion compensation with different pixel accuracy can be provided.

(実施形態1)
本発明の第1の実施形態では、従来の「TML-8」で定義されている「H.26L符号化方式」で課題となっている「特異位置」における動き補償(第1の問題点)について改良を施した動画像符号化装置20及び動画像復号装置50について述べる。
(Embodiment 1)
In the first embodiment of the present invention, motion compensation at a “singular position” that is a problem in the “H.26L encoding method” defined in the conventional “TML-8” (first problem) A video encoding device 20 and a video decoding device 50 that have been improved will be described.

本実施形態では、「特異位置」における動き補償を除いて、その動作は「TML-8」に記載の動画像符号化装置20及び動画像復号化装置50の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。   In the present embodiment, the operation is the same as that of the moving picture coding apparatus 20 and the moving picture decoding apparatus 50 described in “TML-8”, except for motion compensation at the “singular position”. Will be omitted, and the explanation will focus on the differences.

具体的には、本実施形態に係る動画像符号化装置20及び動画像復号化装置50の構成は、従来の動画像符号化装置20及び動画像復号化装置50の構成と比較すると、動き補償部33,72の構成が異なる。   Specifically, the configurations of the video encoding device 20 and the video decoding device 50 according to the present embodiment are motion-compensated as compared with the configurations of the conventional video encoding device 20 and the video decoding device 50. The structure of the parts 33 and 72 is different.

本実施形態において、動画像符号化装置20の動き補償部33と動画像復号化装置50の動き補償部72の構成は同一であるので、以下、動画像符号化装置20の動き補償部33について説明する。   In the present embodiment, since the configuration of the motion compensation unit 33 of the video encoding device 20 and the motion compensation unit 72 of the video decoding device 50 are the same, hereinafter, the motion compensation unit 33 of the video encoding device 20 will be described. explain.

なお、本実施形態に係る動画像符号化装置20は、フレーム画像の時間系列で構成される動画像(入力映像信号1)を動き補償により符号化するものであって、本実施形態に係る動画像復号化装置50は、フレーム画像の時間系列で構成される動画像(出力映像信号1A)を動き補償により復号化するものである。   Note that the moving image encoding apparatus 20 according to the present embodiment encodes a moving image (input video signal 1) composed of a time sequence of frame images by motion compensation, and a moving image according to the present embodiment. The image decoding device 50 decodes a moving image (output video signal 1A) composed of a time sequence of frame images by motion compensation.

また、本実施形態に係る動画像符号化装置20において、動き検出部32が、フレーム画像内の符号化対象の所定領域(例えば、マクロブロック)の動きベクトル3を検出する動きベクトル検出部を構成する。また、本実施形態に係る動画像復号化装置50において、可変長復号部71が、フレーム画像内の復号化対象の所定領域(例えば、マクロブロック)の動きベクトル3を復号化する動きベクトル復号化部を構成する。   Further, in the video encoding device 20 according to the present embodiment, the motion detection unit 32 configures a motion vector detection unit that detects the motion vector 3 of a predetermined region (for example, macroblock) to be encoded in the frame image. To do. Also, in the video decoding device 50 according to the present embodiment, the motion vector decoding in which the variable length decoding unit 71 decodes the motion vector 3 of a predetermined region (for example, macroblock) to be decoded in the frame image. Parts.

本実施形態に係る動画像符号化装置20の動き補償部33は、図6に示すように、動きベクトル入力部33aと、参照フレーム画像入力部33bと、予測動きベクトル算出部33cと、判断部33dと、予測画像信号生成部33eとを具備している。   As shown in FIG. 6, the motion compensation unit 33 of the video encoding device 20 according to the present embodiment includes a motion vector input unit 33a, a reference frame image input unit 33b, a predicted motion vector calculation unit 33c, and a determination unit. 33d and a predicted image signal generation unit 33e.

本実施形態において、予測動きベクトル算出部33cが、フレーム画像内の符号化された所定領域の動きベクトル(例えば、MV=(MVx,MVy)、MV=(MVx,MVy)、MV=(MVx,MVy))を用いて、符号化対象の所定領域(マクロブロックE)の予測動きベクトルPMV=(PMVx,PMVy)を予測する予測部を構成する。 In the present embodiment, the motion vector predictor calculation unit 33c encodes a motion vector (for example, MV A = (MVx A , MVy A ), MV B = (MVx B , MVy B )) within a frame image. , MV C = (MVx C , MVy C )), a prediction unit that predicts a predicted motion vector PMV E = (PMVx E , PMVy E ) of a predetermined region (macroblock E ) to be encoded is configured.

また、判断部33dが、動きベクトル検出部(動き検出部32)により検出された動きベクトルMV=(MVx,MVy)が、予測部(予測動きベクトル算出部33c)により予測された動きベクトルPMV=(PMVx,PMVy)に応じて設定される所定の動きベクトル(「特異位置」を指す動きベクトル)であるか否かを判断する判断部を構成する。 In addition, the motion of the motion vector MV E = (MVx E , MVy E ) detected by the determination unit 33d by the motion vector detection unit (motion detection unit 32) is predicted by the prediction unit (predicted motion vector calculation unit 33c). A determination unit is configured to determine whether or not a predetermined motion vector (a motion vector indicating a “singular position”) set according to the vector PMV E = (PMVx E , PMVy E ).

また、予測画像信号生成部33eが、動きベクトル検出部(動き検出部32)により検出された動きベクトルMV=(MVx,MVy)が、所定の動きベクトル(「特異位置」を指す動きベクトル)である場合と所定の動きベクトル(「特異位置」を指す動きベクトル)でない場合で、符号化対象の所定領域の「動き補償値」の算出方法(予測画像信号6の生成方法)を切り替える切替部を構成する。 In addition, the motion vector MV E = (MVx E , MVy E ) detected by the motion vector detection unit (motion detection unit 32) in the predicted image signal generation unit 33e is a motion indicating a predetermined motion vector (“singular position”). The method of calculating the “motion compensation value” of the predetermined region to be encoded (the method of generating the predicted image signal 6) is switched between the case of the vector) and the case of not being the predetermined motion vector (motion vector indicating the “singular position”). A switching unit is configured.

動きベクトル入力部33aは、判断部33dに接続されており、動き検出部32により検出された動きベクトルMVを受信して判断部33dに送信するものである。 Motion vector input section 33a is connected to the determination unit 33d, is intended to be sent to the judging section 33d receives the motion vector MV E detected by the motion detection unit 32.

参照フレーム画像入力部33bは、予測動きベクトル算出部33cと判断部33dとに接続されており、フレームメモリ34に格納されている符号化対象の所定領域の近傍領域(マクロブロックA,B,C)の動きベクトルを抽出して予測動きベクトル算出部33cに送信し、フレームメモリ34に格納されている参照フレーム画像5を抽出して判断部33dに送信するものである。   The reference frame image input unit 33b is connected to the predicted motion vector calculation unit 33c and the determination unit 33d, and is in the vicinity of a predetermined region to be encoded (macroblocks A, B, C) stored in the frame memory 34. ) Are extracted and transmitted to the predicted motion vector calculation unit 33c, and the reference frame image 5 stored in the frame memory 34 is extracted and transmitted to the determination unit 33d.

予測動きベクトル算出部33cは、参照フレーム画像入力部33bと判断部33dとに接続されており、例えば、フレームメモリ34に格納されている符号化対象の所定領域の近傍領域(マクロブロックA,B,C)の動きベクトル(フレーム画像内の符号化された所定領域の動きベクトル)MV,MV,MVを用いて、符号化対象の所定領域(マクロブロック)の動きベクトルMV=(MVx,MVy)の予測値である予測動きベクトルPMV=(PMVx,PMVy)を算出するものである。 The predicted motion vector calculation unit 33c is connected to the reference frame image input unit 33b and the determination unit 33d. For example, the prediction motion vector calculation unit 33c is a neighborhood region (macroblock A, B) of a predetermined region to be encoded stored in the frame memory 34. , C) using a motion vector (motion vector of a predetermined region encoded in a frame image) MV A , MV B , MV C , motion vector MV E = ( A predicted motion vector PMV E = (PMVx E , PMVy E ), which is a predicted value of MVx E , MVy E ), is calculated.

ここで、PMVxは、予測動きベクトルの水平成分(X成分)を示し、PMVyは、予測動きベクトルの垂直成分(Y成分)を示す。 Here, PMVx E indicates the horizontal component (X component) of the predicted motion vector, and PMVy E indicates the vertical component (Y component) of the predicted motion vector.

「TML-8」では、動きベクトルを効率よく符号化するために、「中央値予測」と呼ばれる予測方式により、参照フレーム画像5に含まれる符号化済みの近傍領域の動きベクトルを用いて、符号化対象となる所定領域の動きベクトルを予測して符号化する。   In “TML-8”, in order to efficiently encode a motion vector, a prediction method called “median prediction” is used to encode a motion vector in a neighborhood region that has been encoded and is included in the reference frame image 5. A motion vector in a predetermined area to be converted is predicted and encoded.

図5では、近傍領域(マクロブロック)A,B,Cの動きベクトルMVであるMV=(MVx,MVy)、MV=(MVx,MVy)、MV=(MVx,MVy)が、既に符号化されており、当該動きベクトルの水平成分MVx,MVx,MVxの平均値を取って、符号化対象の所定領域(マクロブロック)Eの予測動きベクトルの水平成分PMVxとし、当該動きベクトルの垂直成分MVy,MVy,MVyの平均値を取って、符号化対象の所定領域(マクロブロック)Eの予測動きベクトルの垂直成分PMVyとする。 In FIG. 5, MV A = (MVx A , MVy A ), MV B = (MVx B , MVy B ) and MV C = (MVx C , which are motion vectors MV of neighboring regions (macroblocks) A, B, C MVy C ) has already been encoded, and the average value of the horizontal components MVx A , MVx B , and MVx C of the motion vector is taken, and the predicted motion vector of the predetermined area (macroblock) E to be encoded is horizontal and component PMVx E, the vertical component MVy a of the motion vector, MVy B, taking the average value of MVy C, and the vertical component PMVy E of the prediction motion vector of a predetermined area (macroblock) E to be encoded.

例えば、予測動きベクトルPMVの算出に用いる近傍領域(マクロブロック)A,B,Cがフレーム画像外にあったり、近傍領域(マクロブロック)A,B,Cが動きベクトルを持たない予測モード(符号化モード)である場合には、予測動きベクトルPMVは零ベクトルとされる。   For example, prediction areas (codes) in which the neighboring areas (macroblocks) A, B, and C used for calculation of the predicted motion vector PMV are outside the frame image, or the neighboring areas (macroblocks) A, B, and C have no motion vector. The motion vector predictor motion vector PMV is a zero vector.

さらに、符号化対象の所定領域(マクロブロック)Eの予測動きベクトルPMVの算出に用いる近傍領域(マクロブロック)A,B,C内に3以上の動きベクトルが存在しない場合には、当該近傍領域(マクロブロック)A,B,Cの動きベクトルを零ベクトルとする等の仮定を用いて、符号化対象の所定領域(マクロブロック)Eの予測動きベクトルPMVの値は、常に求められる。 Further, when there are no three or more motion vectors in the neighboring areas (macroblocks) A, B, and C used for calculating the predicted motion vector PMV of the predetermined area (macroblock) E to be encoded, the neighboring area (Macroblock) Using the assumption that the motion vectors of A, B, and C are zero vectors, the value of the predicted motion vector PMV E of the predetermined region (macroblock) E to be encoded is always obtained.

また、予測動きベクトル算出部33cは、動きベクトル入力部33aからの動きベクトルMVと予測動きベクトルPMVとの差分情報MVD=(MVDx,MVDy)を算出する。ここで、差分情報MVDのX成分であるMVDxは「MVx−PMVx」により算出され、差分情報MVDのY成分であるMVDyは「MVy−PMVy」により算出される。 Further, the predicted motion vector calculation unit 33c calculates difference information MVD = (MVDx, MVDy) between the motion vector MV E from the motion vector input unit 33a and the predicted motion vector PMV E. Here, MVDx that is the X component of the difference information MVD is calculated by “MVx E −PMVx E ”, and MVDy that is the Y component of the difference information MVD is calculated by “MVy E −PMVy E ”.

「H.26L符号化方式」では、動きベクトルMVは、伝送効率の向上のため、上述の差分情報MVDの形態で符号化され伝送される。   In the “H.26L encoding method”, the motion vector MV is encoded and transmitted in the form of the above-described difference information MVD in order to improve transmission efficiency.

判断部33dは、動きベクトル入力部33aと参照フレーム画像入力部33bと予測動きベクトル算出部33cと予測画像信号生成部33eとに接続されており、動きベクトル入力部33aからの動きベクトルMV及び予測動きベクトル算出部33cからの予測動きベクトルPMVに応じて、予測画像信号6の生成方法(動き補償値の算出方法)を決定して予測画像信号生成部33eに通知するものである。 The determination unit 33d is connected to the motion vector input unit 33a, the reference frame image input unit 33b, the predicted motion vector calculation unit 33c, and the predicted image signal generation unit 33e, and includes the motion vector MV E and the motion vector input unit 33a. depending on the predicted motion vector PMV E from the predicted motion vector calculation section 33c, and notifies the predicted image signal generating unit 33e to determine a method of generating a predictive image signal 6 (the method of calculating the motion compensation value).

具体的には、判断部33dは、図7に示すように、予測画像信号生成部33eにより生成された予測動きベクトルの垂直成分PMVyの位相と、動き検出部32により検出された動きベクトルMVEとに応じて、当該動きベクトルMVEが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部33eに通知する。 Specifically, as illustrated in FIG. 7, the determination unit 33 d determines the phase of the vertical component PMVy E of the predicted motion vector generated by the predicted image signal generation unit 33 e and the motion vector MV detected by the motion detection unit 32. In response to E , it is determined whether or not the motion vector MV E indicates a “singular position”, and the determination result is notified to the predicted image signal generation unit 33e.

以下、予測動きベクトルPMV及び動きベクトルMVEの表現に係る単位を1/4画素とする。 Hereinafter, a unit related to the expression of the predicted motion vector PMV E and the motion vector MV E is set to 1/4 pixel.

第1に、判断部33dは、「PMVy%4=0又は1」のとき(すなわち、PMVyが第1の位相であるとき)で、「MVxE%4=3」かつ「MVyE%4=3」の場合に、符号化対象の所定領域(マクロブロックE)の動きベクトルMVE(MVxE,MVyE)が「特異位置」を指していると判断する。 First, the determination unit 33d determines that “MVx E % 4 = 3” and “MVy E %” when “PMVy E % 4 = 0 or 1” (that is, when PMVy E is in the first phase). In the case of “4 = 3”, it is determined that the motion vector MV E (MVx E , MVy E ) of the predetermined area (macroblock E ) to be encoded indicates the “singular position”.

第2に、判断部33dは、「PMVyE%4=2又は3」のとき(すなわち、PMVyが第2の位相であるとき)で、「MVxE%4=1」かつ「MVyE%4=1」の場合に、符号化対象の所定領域(マクロブロックE)の動きベクトルMVE(MVxE,MVyE)が「特異位置」を指していると判断する。 Second, the determination unit 33d determines that “MVx E % 4 = 1” and “MVy E %” when “PMVy E % 4 = 2 or 3” (that is, when PMVy E is in the second phase). In the case of “4 = 1”, it is determined that the motion vector MV E (MVx E , MVy E ) of the predetermined area to be encoded (macroblock E ) indicates the “singular position”.

この結果、予測動きベクトルPMVEが指す領域が「特異位置」と重ならないように調整される。すなわち、予測動きベクトル算出部33c(予測部)により予測された予測動きベクトルPMVEが、「特異位置」を指す動きベクトル(所定の動きベクトル)と異なるように設定される。 As a result, the area indicated by the predicted motion vector PMV E is adjusted so as not to overlap with the "specific position". That is, the predicted motion vector PMV E predicted by the predicted motion vector calculation unit 33c (prediction unit) is set to be different from the motion vector (predetermined motion vector) indicating the “singular position”.

PMVyEが第1の位相であるケースでは、従来の「H.26L符号化方式」における動き補償がそのまま適用される(すなわち、画素位置a(図7参照)を指す動きベクトルが「特異位置」を指すものとされる)。 In the case where PMVy E is the first phase, the motion compensation in the conventional “H.26L encoding method” is applied as it is (that is, the motion vector indicating the pixel position a (see FIG. 7) is “singular position”. ).

また、PMVyEが第2の位相であるケースでは、異なる画素位置b(図7参照)を指す動きベクトルが「特異位置」を指すものとされるが、得られる「動き補償値」は、その動きベクトルを囲む4つの近傍整数画素位置の画素値の平均値として平滑化したものであり、その他の動き補償処理は、従来の「H.26L符号化方式」のものと同じである。 Further, in the case where PMVy E is the second phase, the motion vector pointing to a different pixel position b (see FIG. 7) is assumed to indicate the “singular position”, but the obtained “motion compensation value” Smoothed as an average value of pixel values at four neighboring integer pixel positions surrounding the motion vector, and other motion compensation processing is the same as that of the conventional “H.26L encoding method”.

予測画像信号生成部33eは、判断部33dに接続されており、判断部33dからの判断結果に応じて、符号化対象の所定領域(マクロブロック)に係る「予測画像信号6の生成方法」を切り替えて予測画像信号6を生成するものである。   The predicted image signal generation unit 33e is connected to the determination unit 33d, and in accordance with the determination result from the determination unit 33d, the “prediction image signal 6 generation method” related to the predetermined region (macroblock) to be encoded is determined. The predicted image signal 6 is generated by switching.

具体的には、予測画像信号生成部33eは、動き検出部32により検出された符号化対象の所定領域(マクロブロックE)の動きベクトルMVが「特異位置」を指すものと判断された場合、当該所定領域の予測画像信号6を、その動きベクトルMVが指す画素位置を囲む4つの近傍整数画素位置の画素値の平均値として平滑化したものとし、その他の場合、従来の「H.26L符号化方式」の方法で当該所定領域の予測画像信号6を生成する。 Specifically, the predicted image signal generation unit 33e determines that the motion vector MV E of the predetermined region (macroblock E) to be encoded detected by the motion detection unit 32 indicates a “singular position”. The predicted image signal 6 of the predetermined area is smoothed as an average value of pixel values of four neighboring integer pixel positions surrounding the pixel position indicated by the motion vector MV E. In other cases, the conventional “H. The predicted image signal 6 of the predetermined area is generated by the “26L encoding method” method.

なお、本実施形態では、動き補償部33と動き検出部32とを別個に設けているが、動き補償部33と動き検出部32とを一体として設けてもよい。   In the present embodiment, the motion compensation unit 33 and the motion detection unit 32 are provided separately, but the motion compensation unit 33 and the motion detection unit 32 may be provided integrally.

図8に、上述の動き補償部33の動作を示す。   FIG. 8 shows the operation of the motion compensation unit 33 described above.

ステップ401において、予測動きベクトル算出部33cが、フレーム画像上の符号化された近傍領域(図5では、マクロブロックA,B,C)の動きベクトルMV,MV,MVに基づいて、同一フレーム画像上の符号化対象の所定領域(図5では、マクロブロックE)の動きベクトルの予測値である予測動きベクトルPMVを算出する。 In step 401, the motion vector predictor calculating unit 33c is based on the motion vectors MV A , MV B , and MV C of the encoded neighboring regions (macroblocks A, B, and C in FIG. 5) on the frame image. A predicted motion vector PMV E that is a predicted value of a motion vector of a predetermined region (macroblock E in FIG. 5) on the same frame image is calculated.

ステップ402において、判断部33dが、予測動きベクトル算出部33cからの予測動きベクトルの垂直成分PMVyの位相と動きベクトル入力部33aからの動きベクトルMVとに応じて、当該動きベクトルMVが「特異位置」を指しているか否かを判断する。 In step 402, the determination unit 33d determines that the motion vector MV E is based on the phase of the vertical component PMVy E of the predicted motion vector from the predicted motion vector calculation unit 33c and the motion vector MV E from the motion vector input unit 33a. It is determined whether or not it points to “singular position”.

ステップ403において、上述の動きベクトルMVが「特異位置」を指すものである場合、予測画像信号生成部33eが、当該所定領域の予測画像信号6を平滑化した形態で生成する。 In step 403, when the motion vector MV E described above indicates a “singular position”, the predicted image signal generation unit 33e generates the predicted image signal 6 of the predetermined region in a smoothed form.

ステップ404において、上述の動きベクトルMVが「特異位置」を指すものでない場合、予測画像信号生成部33eが、従来の「H.26L符号化方式」の方法で当該所定領域の予測画像信号6を生成する。 If the motion vector MV E described above does not indicate a “singular position” in step 404, the predicted image signal generation unit 33e uses the conventional “H.26L encoding method” to predict the predicted image signal 6 of the predetermined region. Is generated.

次いで、図9を参照にして、動画像復号化装置50における復号処理手順について説明する。   Next, a decoding process procedure in the moving picture decoding apparatus 50 will be described with reference to FIG.

ステップ501において、可変長復号化部71が、ピクチャ(入力映像信号1を構成する個々のフレーム画像)の先頭を表す「同期ワード」を検出する。   In step 501, the variable length decoding unit 71 detects a “synchronization word” representing the head of a picture (individual frame images constituting the input video signal 1).

ステップ502において、可変長復号化部71が、上述のピクチャの「ピクチャヘッダ」を復号する。「ピクチャヘッダ」には、当該ピクチャが「当該ピクチャを構成する全てのマクロブロックを「INTRA予測モード」によって符号化するピクチャのこと。以下「Iピクチャ」と呼ぶ」」であるか、「INTER予測モードを使用するピクチャ(以下「Pピクチャ」と呼ぶ)」であるかについて識別する「ピクチャタイプ情報」や、直交変換係数内の量子化パラメータ等の値が含まれる。   In step 502, the variable length decoding unit 71 decodes the “picture header” of the picture described above. In the “picture header”, the picture is “a picture in which all macroblocks constituting the picture are encoded by the“ INTRA prediction mode ”. "Picture type information" for identifying whether the picture is "I picture" hereinafter "or" picture using the INTER prediction mode (hereinafter called "P picture"), and the quantum in the orthogonal transform coefficient The value of the activation parameter is included.

続いて、所定のシンタックスで構成される個々のマクロブロック層のデータの復号に進む。   Subsequently, the process proceeds to decoding of data of individual macroblock layers configured with a predetermined syntax.

ステップ503において、可変長復号化部71が、マクロブロック層において、「RUN(ラン)」を復号する。「RUN」は、マクロブロック層のデータが零であるマクロブロックの継続個数を示すものであり、「RUN」の数だけのスキップモードが適用されるマクロブロック(スキップMB)が発生する。   In step 503, the variable length decoding unit 71 decodes “RUN (run)” in the macroblock layer. “RUN” indicates the continuation number of macroblocks in which data in the macroblock layer is zero, and macroblocks (skip MBs) to which skip modes corresponding to the number of “RUN” are applied are generated.

ステップ504において、復号化対象とされているマクロブロックがスキップMBか否かが判断される。   In step 504, it is determined whether the macroblock to be decoded is a skip MB.

スキップMBである場合、ステップ505において、フレームメモリ73に格納されている所定の参照フレーム画像5上で同位置にある16×16画素領域が、そのまま予測画像信号6として採用される。この処理は、可変長復号化部71が、値が零の動きベクトルと所定の参照フレーム画像の識別番号とを動き補償部72に送信することによって行われる。   If it is a skip MB, in step 505, the 16 × 16 pixel region located at the same position on the predetermined reference frame image 5 stored in the frame memory 73 is adopted as the predicted image signal 6 as it is. This processing is performed by the variable length decoding unit 71 transmitting a motion vector having a value of zero and a predetermined reference frame image identification number to the motion compensation unit 72.

スキップMBでない場合、ステップ506において、当該MBの「RUN」が当該ピクチャの最終MBを示すか否かが判断される。   If it is not a skip MB, it is determined in step 506 whether or not the “RUN” of the MB indicates the final MB of the picture.

最終MBである場合、ステップ507において、当該ピクチャの可変長復号化処理を終了し、次のピクチャの可変長復号化処理へ移る。   If it is the final MB, in step 507, the variable-length decoding process for the current picture is terminated, and the process proceeds to the variable-length decoding process for the next picture.

スキップMBでも最終MBでもない場合、すなわち通常のMBである場合、ステップ508において、可変長復号化部71が、「MB_Type(マクロブロックタイプ)」の復号を行う。「MB_Type」によって、復号化対象の所定領域(マクロブロック)の予測モード4が確定する。ステップ509において、確定した予測モード4が「INTRA予測モード」であるか否かが判断される。   If neither the skip MB nor the final MB, that is, a normal MB, in step 508, the variable length decoding unit 71 performs “MB_Type (macroblock type)” decoding. With “MB_Type”, the prediction mode 4 of the predetermined region (macroblock) to be decoded is determined. In step 509, it is determined whether or not the determined prediction mode 4 is “INTRA prediction mode”.

予測モード4が「INTRA予測モード」である場合、ステップ510において、可変長復号化部71が、「intra_pred_mode」の復号を行う。ステップ511において、空間予測部74が、「intra_pred_mode」に基づいて、近傍領域の画素値から空間予測を行い、予測画像信号7を生成する。   If the prediction mode 4 is the “INTRA prediction mode”, in step 510, the variable length decoding unit 71 decodes “intra_pred_mode”. In step 511, the spatial prediction unit 74 performs spatial prediction from the pixel values in the neighboring region based on “intra_pred_mode”, and generates the predicted image signal 7.

予測モード4が「INTER予測モード」である場合、予測モード4は、図3に示すモード1乃至モード7のいずれかとなる。したがって、この時点で「Ref_frame(参照フレーム画像番号)」及び「MVD(動きベクトルの差分情報)」を何個復号すべきかが確定する。これらの情報にしたがって、可変長復号化部71は、「Ref_frame」と「MVD」の組を復号する。   When the prediction mode 4 is the “INTER prediction mode”, the prediction mode 4 is any one of the modes 1 to 7 shown in FIG. Therefore, at this time, it is determined how many “Ref_frame (reference frame image number)” and “MVD (motion vector difference information)” should be decoded. In accordance with these pieces of information, the variable length decoding unit 71 decodes a set of “Ref_frame” and “MVD”.

ただし、「Ref_frame」が多重されているかどうかは、前述の「ピクチャタイプ情報」に統合されているため、ステップ512において、「ピクチャタイプ情報」の値に応じて「Ref_frame」が存在するか否かの判断を行う。   However, since whether or not “Ref_frame” is multiplexed is integrated into the “picture type information” described above, whether or not “Ref_frame” exists in step 512 according to the value of “picture type information”. Make a decision.

「Ref_frame」が存在する場合、ステップ513において、可変長復号化部71は、「Ref_frame」を復号した後で、ステップ514において「MVD」を復号する。「Ref_frame」が存在しない場合、ステップ514において「MVD」のみが復号される。   When “Ref_frame” exists, the variable length decoding unit 71 decodes “Ref_frame” in step 513 and then decodes “MVD” in step 514. If “Ref_frame” does not exist, only “MVD” is decoded in step 514.

ステップ514において、こうして得られた「Ref_frame」と「MVD」と「MB_Type」より確定される予測モード4に基づいて、MB内の全ての4×4ブロックに対応する動きベクトルMVが復元される。   In step 514, the motion vectors MV corresponding to all 4 × 4 blocks in the MB are restored based on the prediction mode 4 determined from “Ref_frame”, “MVD”, and “MB_Type” thus obtained.

ステップ515において、動き補償部72が、「Ref_frame」と動きベクトルMVとに基づいて、個々の4×4ブロックに対する予測画像信号6を生成する。「特異位置」に係る処理は、ここで反映される。   In step 515, the motion compensation unit 72 generates the predicted image signal 6 for each 4 × 4 block based on “Ref_frame” and the motion vector MV. The processing related to “singular position” is reflected here.

ステップ516において、可変長復号化部71が、量子化直交変換係数11の復元を行い、ステップ517において、逆量子化部76が、直交変換係数10の復元を行い、ステップ518において、逆直交変換部77が、予測残差信号9の復元を行う。   In step 516, the variable length decoding unit 71 restores the quantized orthogonal transform coefficient 11, in step 517, the inverse quantization unit 76 restores the orthogonal transform coefficient 10, and in step 518, the inverse orthogonal transform. The unit 77 restores the prediction residual signal 9.

ステップ519において、加算器78で、スイッチ75からの予測画像信号8と逆直交変換部77からの予測残差信号9との加算が行われ、当該MBのフレーム画像信号2を獲得する。その後、次のMBの復号化処理に移る。   In step 519, the adder 78 adds the predicted image signal 8 from the switch 75 and the predicted residual signal 9 from the inverse orthogonal transform unit 77 to obtain the frame image signal 2 of the MB. Thereafter, the process proceeds to the decoding process for the next MB.

(実施形態1に係る動画像符号化装置及び動画像復号化装置の作用・効果)
本実施形態に係る動画像符号化装置によれば、予測画像信号生成部33eが、判断部33dによる判断結果に応じて、すなわち、予測動きベクトル算出部33cにより予測された予測動きベクトルに応じて、符号化対象の所定領域の動き補償値の算出方法を切り替えるため、「特異位置」と等しい画素位置(N+3/4画素,M+3/4画素:N,Mは任意整数)の画素値を表現することが可能となる。
(Operation / Effect of Video Encoding Device and Video Decoding Device According to Embodiment 1)
According to the moving picture coding apparatus according to the present embodiment, the predicted image signal generation unit 33e responds to the determination result by the determination unit 33d, that is, according to the predicted motion vector predicted by the predicted motion vector calculation unit 33c. In order to switch the calculation method of the motion compensation value of the predetermined area to be encoded, the pixel value of the pixel position (N + 3/4 pixel, M + 3/4 pixel: N and M are arbitrary integers) equal to the “singular position” is expressed. It becomes possible.

また、「特異位置」と等しい画素位置を指す動きベクトルを持つ領域(例えば、マクロブロック又はサブブロック)で「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。   Further, it is possible to solve the problem that strong smoothing is always applied to the “motion compensation value” in a region (for example, a macro block or a sub block) having a motion vector indicating a pixel position equal to the “singular position”.

本実施形態において示した予測画像信号あるいは動き補償値の生成方法は一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。   The generation method of the predicted image signal or the motion compensation value shown in the present embodiment is an example, and any generation method necessary for realizing the switching of the motion compensation value calculation method performed in the present embodiment can be used. .

(変更例1A)
上述の実施形態1に係る動画像符号化装置20及び動画像復号化装置50の変更例1Aについて説明する。以下、実施形態1との相違点についてのみ説明する。
(Modification 1A)
A modification example 1A of the video encoding device 20 and the video decoding device 50 according to Embodiment 1 described above will be described. Only differences from the first embodiment will be described below.

本変更例に係る動画像符号化装置20及び動画像復号化装置50は、上述の実施形態に係る動画像符号化装置20の動き補償部33及び動画像復号化装置50の動き補償部72を変更するものである。動画像符号化装置20の動き補償部33及び動画像復号化装置50の動き補償部72は同一のものであるので、以下、動画像符号化装置20の動き補償部33について説明する。   The moving image encoding device 20 and the moving image decoding device 50 according to this modification include the motion compensation unit 33 of the moving image encoding device 20 and the motion compensation unit 72 of the moving image decoding device 50 according to the above-described embodiment. To change. Since the motion compensation unit 33 of the video encoding device 20 and the motion compensation unit 72 of the video decoding device 50 are the same, the motion compensation unit 33 of the video encoding device 20 will be described below.

本変更例では、動き補償部33の判断部33dは、予測動きベクトルの水平成分PMVxの位相と、動き検出部32により検出された動きベクトルMV=(MVx,MVy)とに応じて、当該動きベクトルが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部33eに通知する。以下、動きベクトルMV=(MVx,MVy)の表現に係る単位を1/4画素とする。 In this modified example, the determination unit 33d of the motion compensation unit 33 responds to the phase of the horizontal component PMVx E of the predicted motion vector and the motion vector MV E = (MVx E , MVy E ) detected by the motion detection unit 32. Thus, it is determined whether or not the motion vector indicates a “singular position”, and the determination result is notified to the predicted image signal generation unit 33e. Hereinafter, the unit related to the expression of the motion vector MV E = (MVx E , MVy E ) is 1/4 pixel.

第1に、判断部33dは、「PMVx%4=0又は1」のとき(すなわち、PMVxが第1の位相であるとき)で、「MVx%4=3」かつ「MVy%4=3」の場合に、当該動きベクトルMV(MVx,MVy)が「特異位置」を指していると判断する。 First, when “PMVx E % 4 = 0 or 1” (that is, when PMVx E is in the first phase), the determination unit 33d performs “MVx E % 4 = 3” and “MVy E %. In the case of “4 = 3”, it is determined that the motion vector MV E (MVx E , MVy E ) indicates the “singular position”.

第2に、判断部33dは、「PMVx%4=2又は3」のとき(すなわち、PMVxが第2の位相であるとき)で、「MVx%4=1」かつ「MVy%4=1」の場合に、当該動きベクトルMV(MVx,MVy)が「特異位置」を指していると判断する。 Second, the determination unit 33d determines that “MVx E % 4 = 1” and “MVy E %” when “PMVx E % 4 = 2 or 3” (that is, when PMVx E is in the second phase). In the case of “4 = 1”, it is determined that the motion vector MV E (MVx E , MVy E ) indicates the “singular position”.

この結果、予測動きベクトルPMVが指す領域が「特異位置」と重ならないように調整される。すなわち、「特異位置」を指す動きベクトルが、予測動きベクトルPMVと異なるように設定される。 As a result, the region indicated by the predicted motion vector PMV E is adjusted so as not to overlap with the “singular position”. That is, the motion vector indicating the “singular position” is set to be different from the predicted motion vector PMV E.

上述のように、本変更例1では、動きベクトルの予測符号化構造を利用して、「特異位置」となる動きベクトルが、真の動きと重なる可能性を減ずる効果がある。図5において、例えば、ブロックA,B,C,D,Eが、右下に(3/4画素,3/4画素)だけ平行に動いている場合、すなわち、動きベクトルMV=(MVx,MVy)=(3/4,3/4)の場合であっても、予測動きベクトルPMVの第2の位相が「2」である場合、動きベクトルMV=(MVx,MVy)=(3/4,3/4)が「特異位置」を指していることにはならない。   As described above, the first modification example has an effect of reducing the possibility that a motion vector that becomes a “singular position” overlaps with a true motion by using a motion vector predictive coding structure. In FIG. 5, for example, when the blocks A, B, C, D, and E are moving in parallel at the lower right (3/4 pixel, 3/4 pixel), that is, the motion vector MV = (MVx, MVy). ) = (3/4, 3/4), but if the second phase of the predicted motion vector PMV is “2”, the motion vector MV = (MVx, MVy) = (3/4, 3/4) does not mean “singular position”.

(変更例1B)
上述の実施形態1に係る動画像符号化装置20及び動画像復号化装置50の変更例1Bについて説明する。以下、実施形態1との相違点についてのみ説明する。
(Modification 1B)
A modification example 1B of the video encoding device 20 and the video decoding device 50 according to Embodiment 1 described above will be described. Only differences from the first embodiment will be described below.

本変更例に係る動画像符号化装置20及び動画像復号化装置50は、上述の実施形態に係る動画像符号化装置20の動き補償部33及び動画像復号化装置50の動き補償部72を変更するものである。動画像符号化装置20の動き補償部33及び動画像復号化装置50の動き補償部72は同一のものであるので、以下、動画像符号化装置20の動き補償部33について説明する。   The moving image encoding device 20 and the moving image decoding device 50 according to this modification include the motion compensation unit 33 of the moving image encoding device 20 and the motion compensation unit 72 of the moving image decoding device 50 according to the above-described embodiment. To change. Since the motion compensation unit 33 of the video encoding device 20 and the motion compensation unit 72 of the video decoding device 50 are the same, the motion compensation unit 33 of the video encoding device 20 will be described below.

本変更例では、動き補償部33の判断部33dは、上述の動きベクトルの差分情報MVD=(MVDx,MVDy)に応じて、動き検出部32により検出された符号化対象の所定領域(マクロブロックE)の動きベクトルMVが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部33eに通知する。 In the present modification example, the determination unit 33d of the motion compensation unit 33 performs a predetermined region to be encoded detected by the motion detection unit 32 in accordance with the above-described difference information MVD E = (MVDx E , MVDy E ) of the motion vector. It is determined whether or not the motion vector MV E of (macroblock E) indicates a “singular position”, and the determination result is notified to the predicted image signal generation unit 33e.

すなわち、判断部33dが、予測部(予測動きベクトル算出部33c)により予測された動きベクトルPMVと、動きベクトル検出部(動き検出部32)により検出された動きベクトルMVとの差分情報MVDが、所定値である場合に、動きベクトル検出部(動き検出部32)により検出された動きベクトルMVが、所定の動きベクトル(「特異位置」を指す動きベクトル)であると判断する判断部を構成する。 That is, the determination unit 33d includes difference information MVD between the motion vector PMV E predicted by the prediction unit (predicted motion vector calculation unit 33c) and the motion vector MV E detected by the motion vector detection unit (motion detection unit 32). Judgment that, when E is a predetermined value, the motion vector MV E detected by the motion vector detection unit (motion detection unit 32) is determined to be a predetermined motion vector (a motion vector indicating a “singular position”). Parts.

以下、動きベクトルMV=(MVx,MVy)の表現に係る単位を1/4画素とする。 Hereinafter, the unit related to the expression of the motion vector MV E = (MVx E , MVy E ) is 1/4 pixel.

例えば、判断部33dは、「MVDx%4=3」かつ「MVDy%4=3」の場合に、動き検出部32によって検出された動きベクトルMV(MVx,MVy)が「特異位置」を指していると判断する。 For example, the determination unit 33d determines that the motion vector MV E (MVx E , MVy E ) detected by the motion detection unit 32 is “singular” when “MVDx E % 4 = 3” and “MVDy E % 4 = 3”. It is determined that it points to “position”.

かかる場合、すなわち、動きベクトルの差分情報MVDの商余で平滑化操作を行う場合、「特異位置」にある画素値の計算方法を変更する必要がある。 In such a case, i.e., when performing a smoothing operation on the quotient extra difference information MVD E of the motion vector, it is necessary to change the calculation method of the pixel values in the "specific position".

つまり、従来技術、上述の実施形態1及び変更例1では、「特異位置」を囲む整数画素位置の画素値の平均値により動き補償を行っていたが、動きベクトルの差分情報MVDの商余で「特異位置」の判断を行う場合、「特異位置」そのものが整数画素位置となり、平均値を求めるのに用いる整数画素位置が定まらない場合が生じる。そこで、動き補償の動作を以下のようにする。 In other words, the prior art, in the first embodiment and first modification of the above, "specific position" had been motion-compensated by the mean value of the pixel values of integer pixel positions that surround the quotient excess of difference information MVD E motion vector When the “singular position” is determined in step 1, the “singular position” itself becomes an integer pixel position, and the integer pixel position used for obtaining the average value may not be determined. Therefore, the motion compensation operation is performed as follows.

図11において、予測画像生成部33eは、「MVDx%4=3」かつ「MVDy%4=3」(ここで、「PMVx%4=1」かつ「PMVy%4=1」)であるため、動き検出部32により検出された動きベクトルMV=(MVx,MVy)が「特異位置」を指していると判断する。ここで、実際には、動きベクトルMV=(MVx,MVy)は、整数画素位置「D」を指している。 In FIG. 11, the predicted image generation unit 33e performs “MVDx E % 4 = 3” and “MVDy E % 4 = 3” (here, “PMVx E % 4 = 1” and “PMVy E % 4 = 1”). Therefore, it is determined that the motion vector MV E = (MVx E , MVy E ) detected by the motion detection unit 32 indicates the “singular position”. Here, in practice, the motion vector MV E = (MVx E , MVy E ) points to the integer pixel position “D”.

かかる場合、予測画像生成部33eは、図11に示すように、符号化対象の所定領域(マクロブロック又はサブブロック)の動き補償値を、参照フレーム画像5内の(MVx+2,MVy+2)の画素値、(MVx+2,MVy−2)の画素値、(MVx−2,MVy+2)の画素値、(MVx−2,MVy−2)画素値の平均値とする。 In such a case, the prediction image generating unit 33e, as shown in FIG. 11, a motion compensation value of a predetermined area to be encoded (macroblocks or sub-blocks), the reference frame picture 5 in the (MVx E + 2, MVy E +2 pixel values of) the (pixel value of MVx E + 2, MVy E -2 ), (MVx E -2, MVy pixel values of E +2), (MVx E -2, the average value of MVy E -2) pixel value To do.

あるいはまた、予測画像生成部33eは、符号化対象の所定領域(マクロブロック又はサブブロック)の動き補償値を、常に参照フレーム画像5内の整数画素位置の画素値から得ることとして、参照フレーム画像5内の((MVx/4)×4,(MVy/4)×4)の画素値、(((MVx+4)/4)×4,(MVy/4)×4)の画素値、(((MVx/4)×4,((MVy+4)/4)×4)の画素値、(((MVx+4)/4)×4,((MVy+4)/4)×4)の画素値の平均値としてもよい。 Alternatively, the prediction image generation unit 33e always obtains the motion compensation value of the predetermined region (macroblock or sub-block) to be encoded from the pixel value at the integer pixel position in the reference frame image 5, so that the reference frame image 5 ((MVx E / 4) × 4, (MVy E / 4) × 4) pixel value, (((MVx E +4) / 4) × 4, (MVy E / 4) × 4) pixels value, (((MVx E / 4 ) × 4, ((MVy E +4) / 4) pixel value of × 4), (((MVx E +4) / 4) × 4, ((MVy E +4) / 4 ) × 4) pixel values may be average values.

変更例1Bによれば、動画像符号化装置20において、真の動きベクトル(MVx,MVy)を伝送するか、または、動きベクトルMV=(MVx,MVy)=(1,1)を伝送して平滑化した動き補償を行うかの選択が可能になる。 According to the modified example 1B, the moving image encoding apparatus 20 transmits the true motion vector (MVx E , MVy E ) or the motion vector MV E = (MVx E , MVy E ) = (1, 1 ) Can be selected to perform smoothed motion compensation.

(実施形態2)
本発明の実施形態2に係る動画像符号化装置20及び動画像復号化装置50について説明する。本実施形態では「特異位置」を用いた動き補償は行わない。
(Embodiment 2)
A video encoding device 20 and a video decoding device 50 according to Embodiment 2 of the present invention will be described. In this embodiment, motion compensation using a “singular position” is not performed.

上述の実施形態1では、「特異位置」を指す動きベクトルMV(又は、動きベクトルの差分情報MVD)を伝送することの問題点、すなわち、真の動きベクトルMVが送れないという問題点を減ずる対策を述べたが、それでも真の動きベクトルMVが送れない可能性は残る。   In the first embodiment described above, a measure for reducing the problem of transmitting the motion vector MV (or motion vector difference information MVD) indicating the “singular position”, that is, the problem that the true motion vector MV cannot be transmitted. However, there remains a possibility that the true motion vector MV cannot be sent.

そこで、本実施形態では、実施形態1での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった予測画像信号と、「特異位置」以外における通常の「動き補償値」の予測画像信号とを別に用意し、これら2種類の予測画像信号の識別情報を参照フレーム画像番号とともにシグナリングすることで、「特異位置」を用いることなく、符号化対象の所定領域ごとに異なる平滑度の参照画像から動き補償を行うことを可能とする動画像符号化装置20及び動画像復号化装置50について説明する。   Therefore, in the present embodiment, the predicted image signal subjected to strong smoothing as provided by the “motion compensation value” at the “singular position” in the first embodiment and the normal “motion compensation” other than the “singular position”. By separately preparing the prediction image signal of “value” and signaling the identification information of these two types of prediction image signals together with the reference frame image number, it is possible to perform the encoding for each predetermined region to be encoded without using the “singular position”. A video encoding device 20 and a video decoding device 50 capable of performing motion compensation from reference images having different smoothness will be described.

図12に、本実施形態に係る動画像符号化装置20の概略図を示し、図13に、動画像復号化装置50の概略図を示す。   FIG. 12 shows a schematic diagram of the video encoding device 20 according to the present embodiment, and FIG. 13 shows a schematic diagram of the video decoding device 50.

本実施形態でも、実施形態1と同様に、従来の「TML-8」で定義されている「H.26L符号化方式」で課題となっている「特異位置」における動き補償(第1の問題点)について改良を施した動画像符号化装置20及び動画像復号装置50について述べる。   Also in this embodiment, as in the first embodiment, motion compensation at the “singular position” (first problem), which is a problem in the “H.26L encoding method” defined in the conventional “TML-8” (first problem) The video encoding device 20 and the video decoding device 50 that have been improved with respect to point) will be described.

実施形態2では、「特異位置」を用いることなく、異なる参照画像から動き補償を行うことを除いて、その動作は「TML-8」に記載の動画像符号化装置20及び動画像復号化装置50の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。   In the second embodiment, the motion encoding apparatus 20 and the video decoding apparatus described in “TML-8” are the same except for performing motion compensation from different reference images without using “singular positions”. Since the operation is the same as that of the operation No. 50, details thereof will be omitted, and description will be made focusing on the difference.

本実施形態に係る動画像符号化装置20及び動画像復号化装置50と、従来技術に係る動画像符号化装置20及び動画像復号化装置50とを比較すると、動き補償部33、72と可変符号化部40の構成が変更されている点、及び参照画像生成部45、80が新たに追加された点を除いて、両者の基本動作は、ほぼ同じである。   When the moving image encoding device 20 and the moving image decoding device 50 according to the present embodiment are compared with the moving image encoding device 20 and the moving image decoding device 50 according to the related art, the motion compensation units 33 and 72 are variable. The basic operations of both are substantially the same except that the configuration of the encoding unit 40 is changed and the reference image generation units 45 and 80 are newly added.

本実施形態において、参照画像生成部45、80は、参照フレーム画像5から複数の異なる画像処理を施して複数の異なる参照画像(通常の第1の参照画像又は強い平滑化のかかった第2の参照画像)17を生成するものである。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられている。本実施形態では、画像処理として、平滑度を変更する処理を用いた場合について説明する。   In the present embodiment, the reference image generation units 45 and 80 perform a plurality of different image processes from the reference frame image 5 to obtain a plurality of different reference images (a normal first reference image or a second image subjected to strong smoothing). Reference image) 17 is generated. Here, as the above-described image processing, processing for changing the smoothness, processing for changing the spatial resolution, and the like are considered. In the present embodiment, a case where a process for changing the smoothness is used as the image process will be described.

また、動き補償部33は、参照フレーム画像5の代わりに参照画像17を用いて、符号化対象の所定領域(マクロブロック)について動き補償値(予測画像信号6)を算出するものである。   The motion compensation unit 33 calculates a motion compensation value (predicted image signal 6) for a predetermined region (macroblock) to be encoded using the reference image 17 instead of the reference frame image 5.

可変長符号化部40は、動き補償値(予測画像信号6)の算出に用いられた「参照画像17に係る情報(参照フレームコード:Ref_frame)」と「動き補償値を示す情報(予測算差信号データ符号化シンタックス:Texture Coding Syntax)」とを組み合わせて伝送する伝送部を構成する。   The variable length coding unit 40 uses “information related to the reference image 17 (reference frame code: Ref_frame)” and “information indicating the motion compensation value (prediction calculation difference) used for calculating the motion compensation value (predicted image signal 6). A transmission unit is configured to transmit a signal data encoding syntax).

また、可変長復号化部71は、動画像符号化装置20において動き補償値の算出に用いられた「参照画像に係る情報(Ref_frame)」と「動き補償値を示す情報(予測算差信号データ符号化シンタックス)」とを復号化する復号化部を構成する。   In addition, the variable length decoding unit 71 uses the “information relating to the reference image (Ref_frame)” and “information indicating the motion compensation value (predicted difference signal data) used for calculating the motion compensation value in the video encoding device 20. A decoding unit that decodes “encoding syntax” ”.

可変長復号化部71は、動きベクトル3と予測モード4と「参照フレームコード(Ref_frame)」4Aとを、動き補償部72に送信する。   The variable length decoding unit 71 transmits the motion vector 3, the prediction mode 4, and the “reference frame code (Ref_frame)” 4A to the motion compensation unit 72.

また、動き補償部72は、「参照画像に係る情報(Ref_frame)」によって特定される参照画像17を、参照フレーム画像5の代わりに用いて、符号化対象の所定領域(マクロブロック)について動き補償値を算出するものである。   In addition, the motion compensation unit 72 uses the reference image 17 specified by “information related to the reference image (Ref_frame)” instead of the reference frame image 5 to perform motion compensation on a predetermined region (macroblock) to be encoded. The value is calculated.

本実施形態において、「参照画像17に係る情報(参照フレームコード:Ref_frame)」は、「参照フレーム画像の識別情報(参照フレーム画像番号)」と「平滑度を示す情報(第1の参照画像又は第2の参照画像)」とを組み合わせたものである。   In the present embodiment, “information related to the reference image 17 (reference frame code: Ref_frame)” includes “identification information (reference frame image number) of the reference frame image” and “information indicating the smoothness (first reference image or 2nd reference image) ”.

第1に、本実施形態では、参照画像生成部45が、「特異位置」を持たない通常の参照画像(以下、第1の参照画像)を生成する。第1の参照画像の「動き補償値」は、前記「TML−8」での「特異位置」に相当する位置での「動き補償値」にも本来の「動き補償値」が用いられることを除いて、「TML−8」の整数画素位置、1/2画素位置、1/4画素位置の各画素位置における「動き補償値」と同様である。   First, in the present embodiment, the reference image generation unit 45 generates a normal reference image (hereinafter referred to as a first reference image) having no “singular position”. As for the “motion compensation value” of the first reference image, the original “motion compensation value” is also used for the “motion compensation value” at a position corresponding to the “singular position” in the “TML-8”. Except for this, it is the same as the “motion compensation value” at each pixel position of the integer pixel position, “1/2 pixel position, and 1/4 pixel position” of “TML-8”.

「TML−8」での「特異位置」に相当する画素位置での第1の参照画像の「動き補償値」は、「TML−8」での「特異位置」以外における(1/4画素、1/4画素)位置における「動き補償値」と同様に、近傍の整数画素位置の画素値及び1/2画素位置の画素値の4点の平均値として生成する。   The “motion compensation value” of the first reference image at the pixel position corresponding to the “singular position” in “TML-8” is (1/4 pixels, other than the “singular position” in “TML-8”. Similarly to the “motion compensation value” at the (1/4 pixel) position, the pixel value is generated as an average value of four points of the pixel value at the neighboring integer pixel position and the pixel value at the 1/2 pixel position.

第2に、第1の参照画像を用いて、「TML−8」での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった参照画像(以下、第2の参照画像)を生成する。ここで、第2の参照画像は、第1の参照画像の各画素値に対して、各種の平滑化フィルタを用いた画像処理を施すことにより生成することができ、例えば、1/4画素精度をもつ第1の参照画像の各画素位置の画素値に、縦横それぞれ独立に、平滑化作用のある3タップフィルタ(1、4,1)/6を作用させることにより、1/4画素精度をもつ第2の参照画像を生成することができる。   Second, using the first reference image, a strongly smoothed reference image (hereinafter referred to as the second reference image) as provided by the “motion compensation value” at the “singular position” in “TML-8”. Reference image). Here, the second reference image can be generated by subjecting each pixel value of the first reference image to image processing using various smoothing filters. By applying a smoothing 3-tap filter (1, 4, 1) / 6 to the pixel values at the respective pixel positions of the first reference image having a smoothing effect independently, 1/4 pixel accuracy is achieved. A second reference image can be generated.

「H.26L符号化方式」では、参照フレーム画像5として、時間的に異なる複数の符号化済みフレーム画像を用意し、それらを参照画像として動き補償に用いることが可能である。また、これらの時間的に異なる符号化済みフレーム画像の識別情報は、参照フレーム画像番号として区別される。   In the “H.26L encoding method”, it is possible to prepare a plurality of encoded frame images that are temporally different as the reference frame image 5 and use them as a reference image for motion compensation. Also, the identification information of these encoded frame images that differ in time is distinguished as a reference frame image number.

本実施形態では、第1の参照画像の識別情報又は第2の参照画像の識別情報、すなわち、参照画像の生成方法の情報と参照フレーム画像番号とを組み合わせて伝送することとする。   In the present embodiment, the identification information of the first reference image or the identification information of the second reference image, that is, the reference image generation method information and the reference frame image number are transmitted in combination.

これにより、「特異位置」を用いることなく、符号化対象の所定領域(例えば、マクロブロック)ごとに異なる平滑度の参照画像を用いた動き補償を行うことが可能となる。   Accordingly, it is possible to perform motion compensation using a reference image having a different smoothness for each predetermined region (for example, a macroblock) to be encoded without using a “singular position”.

この場合、時間的に異なる符号化済みフレーム画像である参照フレーム画像5に対して、参照画像生成部45、80が、異なる平滑度である第1の参照画像及び第2の参照画像を生成し、これらを「参照画像」として動き補償部33、72における動き補償に利用することを可能とする。   In this case, the reference image generation units 45 and 80 generate the first reference image and the second reference image having different smoothness with respect to the reference frame image 5 that is an encoded frame image that is temporally different. These can be used as motion compensation in the motion compensation units 33 and 72 as “reference images”.

図14に、本実施形態において用いられる「H.26L符号化方式のマクロブロック単位での符号化シンタックス」を示す。本実施形態では、H.26L符号化方式のマクロブロック単位での符号化シンタックスからの変更点はないが、「Ref_frame」の定義を、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせたもの、すなわち「参照フレームコード」に変更している。   FIG. 14 shows “encoding syntax for each macroblock of the H.26L encoding method” used in the present embodiment. In this embodiment, H.264 is used. Although there is no change from the coding syntax in the macroblock unit of the 26L coding method, the definition of “Ref_frame” is combined with “reference frame image number” and “identification information of the generation method of the reference image” To the "reference frame code".

図14に示すように、一つのマクロブロック内で複数の動きベクトルを検出することが必要な予測モード(例えば、モード7)が適用される場合であっても、複数の「MB_TYPE」や「Ref_frame」等の情報を含むことなく符号化を行うことができる。   As shown in FIG. 14, even when a prediction mode (for example, mode 7) that needs to detect a plurality of motion vectors in one macroblock is applied, a plurality of “MB_TYPE” and “Ref_frame” are applied. It is possible to perform encoding without including information such as “”.

すなわち、かかる符号化シンタックスを用いることによって、1回の「MB_TYPE」や「Ref_frame」等の伝送に対して、動きベクトルの差分情報MVD及び予測残差信号データ符号化シンタックス(Texture Coding Syntax)を繰り返し伝送することができる。ここで、予測残差信号データ符号化シンタックスは、量子化直交変換係数11を可変長符号化したものである。   That is, by using such coding syntax, motion vector difference information MVD and prediction residual signal data coding syntax (Texture Coding Syntax) for one transmission of “MB_TYPE”, “Ref_frame”, and the like. Can be transmitted repeatedly. Here, the prediction residual signal data encoding syntax is obtained by variable-length encoding the quantized orthogonal transform coefficient 11.

図15に、参照フレーム画像番号と参照画像の生成方法の識別情報との組み合わせによる参照フレームコード(Ref_frame)の一例を示す。   FIG. 15 shows an example of a reference frame code (Ref_frame) based on a combination of a reference frame image number and identification information of a reference image generation method.

ここで、図15に示すように、従来のH.26Lにおける参照フレーム画像番号と同じ参照フレームコード(「0」乃至「4」)は、第1の参照画像用に用いられており、新たに追加された参照フレームコード(「5」乃至「9」)は、第2の参照画像用に用いられている。   Here, as shown in FIG. The same reference frame code (“0” to “4”) as the reference frame image number in 26L is used for the first reference image, and newly added reference frame codes (“5” to “9”). ) Is used for the second reference image.

本実施形態において、第2の参照画像は、通常の参照画像である第1の参照画像に比べて強い平滑化がかかっており、原画像(参照フレーム画像5)の持つ空間解像度を保持していない参照画像となっている。   In the present embodiment, the second reference image is subjected to stronger smoothing than the first reference image, which is a normal reference image, and retains the spatial resolution of the original image (reference frame image 5). There is no reference image.

したがって、第2の参照画像は、強い平滑度の参照画像を用いた方が、より符号化歪みが抑圧され、動き補償の効率が向上される場合などのみに用いられることとなり、第1の参照画像に比べて選択される確率が低いと考えられる。   Therefore, the second reference image is used only when the encoding image is more suppressed and the motion compensation efficiency is improved by using the reference image having a strong smoothness. It is considered that the probability of being selected is lower than that of the image.

そのため、動き補償に利用される参照画像として、多くの場合に通常の参照画像である第1の参照画像が選ばれ、このときに伝送される参照フレームコードを定義する参照フレームコード表は、図16に示す「H.26L符号化方式の参照フレームコード(Ref_frame)」を定義する参照フレームコード表と同じであるため、従来の「H.26L符号化方式」の場合と比べて、参照フレームコードの変更によるビット量の増加がない。   Therefore, in many cases, the first reference image, which is a normal reference image, is selected as the reference image used for motion compensation, and the reference frame code table defining the reference frame code transmitted at this time is shown in FIG. Since this is the same as the reference frame code table that defines the “reference frame code (Ref_frame) of the H.26L encoding method” shown in FIG. 16, the reference frame code is different from that of the conventional “H.26L encoding method”. There is no increase in the bit amount due to the change of.

また、強い平滑度の第2の参照画像を用いた動き補償を行う場合は、伝送される参照フレームコードとして比較的長い符号長が必要となるが、これらの第2の参照画像が利用される確率は多くはなく、また強い平滑度の第2の参照画像を用いることによる動き補償の効率向上に比べて、参照フレームコードのビット量の増加の影響は少ないと考えられ、高効率の符号化が期待できる。   In addition, when motion compensation is performed using a second reference image with high smoothness, a relatively long code length is required as a reference frame code to be transmitted, but these second reference images are used. Compared with the improvement in the efficiency of motion compensation by using the second reference image with a strong smoothness, the probability is not so much, and the influence of the increase in the bit amount of the reference frame code is considered to be small. Can be expected.

(実施形態2に係る動画像符号化装置及び動画像復号化装置の作用・効果)
本発明に係る動画像符号化装置20によれば、参照画像生成部45において作成される通常の参照画像(第1の参照画像)と強い平滑度の参照画像(第2の参照画像)の2種類の異なる平滑度の参照画像を用いることにより、符号化対象の所定領域(例えば、マクロブロック)ごとに異なる平滑度の参照画像を用いて動き補償を行うことが可能となる。
(Operation / Effect of Video Encoding Device and Video Decoding Device According to Embodiment 2)
According to the moving image coding apparatus 20 according to the present invention, the normal reference image (first reference image) created by the reference image generation unit 45 and the reference image (second reference image) having a strong smoothness are two. By using reference images of different types of smoothness, it is possible to perform motion compensation using reference images of different smoothness for each predetermined region (for example, macroblock) to be encoded.

また、本発明に係る動画像符号化装置20によれば、「参照画像の生成方法の識別情報」を「参照フレーム画像番号」と組み合わせて参照フレームコードを生成することで、参照画像の平滑度をシグナリングすることが可能であり、「H.26L符号化方式」のように「特異位置」と等しい画素位置を指す動きベクトルをもつ領域で、「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。   In addition, according to the moving image encoding device 20 according to the present invention, the reference frame code is generated by combining the “reference image generation method identification information” with the “reference frame image number”, thereby smoothing the reference image. In a region having a motion vector indicating a pixel position equal to the “singular position” as in the “H.26L coding method”, the “motion compensation value” is always strongly smoothed. The problem can be solved.

本実施形態において示した、強い平滑度の参照画像である第2の参照画像を生成するためのフィルタは一例であり、また、平滑化以外のフィルタを適用することで、異なる性質の参照画像による予測を実現することが可能となる。   The filter for generating the second reference image, which is a reference image having a strong smoothness, shown in the present embodiment is an example, and by applying a filter other than smoothing, a reference image having a different property is used. Prediction can be realized.

また、図11では、説明を簡単にするために、参照画像の生成に用いることができる参照フレーム画像の最大数を「5」としているが、本発明は、これに限るものではなく、かかる参照フレーム画像の最大数を任意とすることができる。   In FIG. 11, for the sake of simplicity, the maximum number of reference frame images that can be used for generating a reference image is set to “5”. However, the present invention is not limited to this, and the reference is not limited thereto. The maximum number of frame images can be arbitrary.

「TML−8」では、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置20及び動画像復号化装置50において、あらかじめ既知のものとして与えられる。   In “TML-8”, the maximum number of reference frame images that can be used to generate a reference image is given in advance as a known number in the moving image encoding device 20 and the moving image decoding device 50.

また、実際のアプリケーションでは、このような方法もしくは動画像符号化装置20から動画像復号化装置50に伝送される圧縮ストリーム12の情報によって、上述の参照フレーム画像の最大数が決定されると考えられる。   In an actual application, it is considered that the maximum number of the reference frame images described above is determined by such a method or information on the compressed stream 12 transmitted from the moving image encoding device 20 to the moving image decoding device 50. It is done.

いずれの場合にも、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置20及び動画像復号化装置50において、一意に決定されるため、参照画像の生成に用いることができる参照フレーム画像の最大数に応じた参照フレームコード表を一意に決定できる。   In any case, the maximum number of reference frame images that can be used for generating a reference image is uniquely determined in the moving image encoding device 20 and the moving image decoding device 50. A reference frame code table corresponding to the maximum number of reference frame images that can be used can be uniquely determined.

さらに、図16の参照フレームコード(Ref_frame)を定義する参照フレームコード表では、「参照フレーム画像番号」と「第1の参照画像」とを組み合わせた「参照フレームコード(Ref_frame)」の後に、「参照フレーム画像番号」と「第2の参照画像」とを組み合わせた「参照フレームコード(Ref_frame)」を割り当てているが、動き補償に用いられる参照画像は、時間的に近いものが多用されるとの考えに基づき、強い平滑度の第2の参照画像のうち、参照フレーム画像番号の小さいものを参照フレームコード表の上位に配置することもできる。   Furthermore, in the reference frame code table that defines the reference frame code (Ref_frame) in FIG. 16, “reference frame code (Ref_frame)” that combines “reference frame image number” and “first reference image” is followed by “ A “reference frame code (Ref_frame)” that is a combination of the “reference frame image number” and the “second reference image” is assigned, but the reference images used for motion compensation are often used in close time. Based on the above idea, among the second reference images having strong smoothness, the one with the smaller reference frame image number can be arranged at the upper level of the reference frame code table.

また、参照フレームコード表は、上述のように、符号化対象の所定領域(マクロブロック)の符号化条件に応じて一意に決定されてもよいし、上述の符号化条件に応じて動的に変更されてもよい。ここで、上述の符号化条件には、予測モード(すなわち、動きベクトルを検出する単位の種類)や量子化ステップ(QP値)等が考えられる。ここで、動きベクトルを検出する単位の種類には、例えば、動きベクトルを検出するサブブロックの大きさ等が考えられる。   Further, as described above, the reference frame code table may be uniquely determined according to the encoding condition of the predetermined region (macroblock) to be encoded, or dynamically according to the above-described encoding condition. It may be changed. Here, prediction modes (that is, types of units for detecting motion vectors), quantization steps (QP values), and the like can be considered as the above-described encoding conditions. Here, the type of unit for detecting a motion vector may be, for example, the size of a sub-block for detecting a motion vector.

具体的には、量子化ステップに応じて、参照フレームコード表を動的に変更する場合の例について説明する。ここで、強い平滑度の第2の参照画像は、低ビットレート符号化時に多用されると考えられるため、量子化ステップが所定の閾値以下の場合に、「第2の参照画像」を含む「参照フレームコード」を参照フレームコード表の下方に配置し、量子化ステップが所定の閾値を越えた場合に、「第2の参照画像」を含む「参照フレームコード」いくつかを参照フレームコード表の上方に配置する。   Specifically, an example in which the reference frame code table is dynamically changed according to the quantization step will be described. Here, since the second reference image having a strong smoothness is considered to be frequently used at the time of low bit rate encoding, when the quantization step is equal to or less than a predetermined threshold, the “second reference image” is included. When the “reference frame code” is placed below the reference frame code table and the quantization step exceeds a predetermined threshold, several “reference frame codes” including the “second reference image” are displayed in the reference frame code table. Place above.

上述のように、図15に示す「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせである「参照フレームコード」を定義する「参照フレームコード表」は、一例であり、本実施形態で行う「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との切り替えを実現するために必要な任意の参照フレームコード表を用いることができる。   As described above, the “reference frame code table” that defines the “reference frame code” that is a combination of the “reference frame image number” and the “identification information of the reference image generation method” illustrated in FIG. 15 is an example. Any reference frame code table necessary for realizing switching between “reference frame image number” and “identification information of reference image generation method” performed in the present embodiment can be used.

また、本実施形態において、参照フレームコード(Ref_frame)を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域(マクロブロック)の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。   In the present embodiment, the reference frame code (Ref_frame) is used to encode the predetermined region (macroblock) to be encoded, instead of explicitly signaling the smoothness of the reference image used for motion compensation. Depending on the conditions, the smoothness of the reference image may be automatically switched and determined uniquely.

すなわち、参照画像生成部45は、符号化対象の所定領域(マクロブロック)の符号化条件(動きベクトルを検出する単位や量子化ステップ等)に応じて、所定の平滑度の参照画像17を生成してもよい。   That is, the reference image generation unit 45 generates the reference image 17 having a predetermined smoothness according to the encoding conditions (a unit for detecting a motion vector, a quantization step, etc.) of a predetermined region (macroblock) to be encoded. May be.

例えば、符号化対象の所定領域(マクロブロック)が細かく分割されるような「マクロブロックモード(MB_Type:予測モード)」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。   For example, a region encoded in “macroblock mode (MB_Type: prediction mode)” in which a predetermined region (macroblock) to be encoded is finely divided is considered to have complex motion, and motion compensation is performed. It is considered that the reference image used in is not required to have high pixel value accuracy.

また、量子化ステップ(QP値)の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。   Even in a macroblock with a large quantization step (QP value), it is considered that a reference image used in motion compensation does not require high pixel value accuracy.

したがって、動きベクトルが検出される単位(サブブロック)の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である第2の参照画像を常に用いることとしてもよい。   Therefore, for a macroblock whose number of units (subblocks) in which a motion vector is detected or a quantization step exceeds a predetermined threshold, the second reference image having a strong smoothness may be always used.

かかる場合、生成される参照画像が、符号化条件によって一意に決定されるため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「H.26L符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。   In this case, since the generated reference image is uniquely determined by the encoding condition, information for identifying the smoothness using the reference frame image number is not required, and compared with the “H.26L encoding method”. There is no increase in the bit amount due to the change of the reference frame code or the macro block mode code.

(変更例2A)
上述の実施形態2の変更例2Aについて説明する。以下、本実施例と実施形態2との相違点について説明する。
(Modification 2A)
A modified example 2A of the second embodiment will be described. Hereinafter, differences between the present embodiment and the second embodiment will be described.

上述の実施形態2では、2種類の異なる生成方法(平滑度)の参照画像(第1の参照画像及び第2の参照画像)17を作成し、作成された「参照画像の生成方法の識別情報(平滑度を示す情報)」と「参照フレーム画像番号(参照フレーム画像の識別情報)」とを組み合わせて「参照フレームコード(参照画像に係る情報)」を生成することで、符号化対象の所定領域(マクロブロック)ごとに平滑度を変更した参照画像を用いた動き補償を可能とした。   In Embodiment 2 described above, reference images (first reference image and second reference image) 17 of two different generation methods (smoothness) are created, and the created “identification information of the reference image generation method” (Reference information indicating smoothness) "and" reference frame image number (identification information of reference frame image) "are combined to generate" reference frame code (information relating to reference image) ", whereby a predetermined encoding target Motion compensation using a reference image whose smoothness is changed for each region (macroblock) is made possible.

しかしながら、平滑度の切り替えは、参照フレーム画像番号を割り当てる単位であるマクロブロック単位でしか行えなかった。   However, the smoothness can be switched only in units of macroblocks, which are units for assigning reference frame image numbers.

そこで、本変更例では、参照フレーム画像番号と参照画像の生成方法の識別情報とを組み合わせて生成する「参照フレームコード」と、マクロブロック内での動き補償の行われる「サブブロック単位(動きベクトルを検出する単位)」とを組み合わせて伝送することを可能とする動画像符号化装置20及び動画像復号化装置50について説明する。   Therefore, in this modified example, a “reference frame code” generated by combining the reference frame image number and the identification information of the reference image generation method, and “sub-block unit (motion vector) in which motion compensation is performed in the macroblock. The moving picture coding apparatus 20 and the moving picture decoding apparatus 50 that can be combined and transmitted will be described.

本変更例に係る動画像符号化装置20及び動画像復号化装置50と、上述の実施形態2に係る動画像符号化装置20及び動画像復号化装置50とを比較すると、両者の基本動作はほぼ同じである。   When the moving image encoding device 20 and the moving image decoding device 50 according to the present modification are compared with the moving image encoding device 20 and the moving image decoding device 50 according to the second embodiment described above, the basic operations of both are as follows. It is almost the same.

本変更例において、動き補償部33が、動きベクトルを検出する単位(サブブロック単位)で、動き補償値の算出に用いる参照画像(第1の参照画像又は第2の参照画像)17を切り替える。   In the present modification example, the motion compensation unit 33 switches the reference image (first reference image or second reference image) 17 used for calculating the motion compensation value in units of detecting motion vectors (sub-block units).

また、可変長符号化部40は、動きベクトルを検出する単位(サブブロック単位)で、「参照画像に係る情報(Ref_frame)」と「動き補償値を示す情報(予測算差信号データ符号化シンタックス)」とを組み合わせて伝送する。   The variable-length encoding unit 40 is a unit (sub-block unit) for detecting a motion vector, and includes “information related to a reference image (Ref_frame)” and “information indicating a motion compensation value (prediction arithmetic difference signal data encoding symbol). "Tax)" and then transmitted.

また、可変長復号化部71は、動きベクトルを検出する単位(サブブロック単位)で、「参照画像に係る情報(参照フレームコード)」と「動き補償値を示す情報(予測算差信号データ符号化シンタックス)」とを復号化する。   In addition, the variable length decoding unit 71 is a unit (subblock unit) for detecting a motion vector, and “information related to a reference image (reference frame code)” and “information indicating a motion compensation value (prediction calculation difference signal data code). Decoding syntax) ”.

また、動き補償部72は、動きベクトルを検出する単位(サブブロック単位)で、動き補償値の算出に用いる参照画像17を切り替える。   In addition, the motion compensation unit 72 switches the reference image 17 used for calculating the motion compensation value in units of detecting motion vectors (sub-block units).

ここで、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード(Ref_frame)」の一例としては、実施形態2と同様のものを考える。   Here, as an example of the “reference frame code (Ref_frame)” based on the combination of the “reference frame image number” and “identification information of the reference image generation method”, the same one as in the second embodiment is considered.

図17に、本変更例によるマクロブロック単位での符号化シンタックスを示す。   FIG. 17 shows an encoding syntax for each macroblock according to this modification.

本変更例では、マクロブロック内において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせて生成した「参照フレームコード(Ref_frame)」をサブブロック単位で複数回伝送する必要が生じる。   In this modified example, a “reference frame code (Ref_frame)” generated by combining a “reference frame image number” and “identification information of a reference image generation method” in a macroblock is transmitted a plurality of times in units of sub-blocks. Need arises.

伝送されるべき「参照フレームコード(Ref_frame)」の数は、「マクロブロックタイプ(MB_type)」によりサブブロックの形式ならびに数が伝送されることから、「マクロブロックタイプ(MB_type)」により通知されることとすることができる。   The number of “reference frame codes (Ref_frame)” to be transmitted is notified by “macroblock type (MB_type)” because the format and number of sub-blocks are transmitted by “macroblock type (MB_type)”. Can be.

例えば、マクロブロックタイプが「INTER予測モード(モード7)」である場合、伝送されるべき「参照フレームコード(Ref_frame)」の数は「16」である。   For example, when the macroblock type is “INTER prediction mode (mode 7)”, the number of “reference frame codes (Ref_frame)” to be transmitted is “16”.

本変更例によれば、マクロブロック内で動きベクトルを検出する単位である「サブブロック」単位において、異なる平滑度の参照画像17を用いて動き補償を行うことが可能となる。   According to this modified example, it is possible to perform motion compensation using the reference image 17 having different smoothness in a “sub-block” unit, which is a unit for detecting a motion vector in a macroblock.

また、サブブロックごとに異なる参照フレーム画像5を用いた動き補償を行うことが可能となり、フレーム画像信号2の形状や動きに合わせた、より自由度の高い動き補償が可能となる。   In addition, motion compensation using a different reference frame image 5 for each sub-block can be performed, and motion compensation with a higher degree of freedom according to the shape and motion of the frame image signal 2 is possible.

また、変更例において、参照フレームコード(Ref_frame)を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、動きベクトルを検出する領域(マクロブロック又はサブブロック)の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。   Further, in the modified example, the reference frame code (Ref_frame) is not used to explicitly signal the smoothness of the reference image used for motion compensation, but the motion vector detection area (macroblock or sub-block). Depending on the encoding condition, the smoothness of the reference image may be automatically switched and determined uniquely.

(変更例2B)
実施形態2の変更例2について説明する。本実施例でも、「特異位置」を用いることなく、異なる参照画像17を用いて動き補償を行うことを除いて、その動作は、「TML-8」に記載の動画像符号化装置20及び動画像復号化装置50の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。
(Modification 2B)
A second modification of the second embodiment will be described. Also in this embodiment, the operation is the same as that of the moving image encoding device 20 and the moving image described in “TML-8” except that motion compensation is performed using a different reference image 17 without using a “singular position”. Since the operation is the same as that of the image decoding apparatus 50, details thereof will be omitted, and the description will be focused on the difference.

上述の実施形態2では、2種類の異なる生成方法(平滑度)の参照画像(第1の参照画像及び第2の参照画像)を作成し、作成された「参照画像の生成方法の識別情報」と「参照フレーム画像番号」とを組み合わせて「参照フレームコード」を生成することで、符号化対象の所定領域(例えば、マクロブロック:参照フレーム画像番号を割り当てる単位)ごとに平滑度を変更した動き補償を可能とした。   In the above-described second embodiment, reference images (first reference image and second reference image) of two different generation methods (smoothness) are created, and the created “identification information of the reference image generation method” is created. And a “reference frame image number” are combined to generate a “reference frame code”, thereby changing the smoothness for each predetermined area to be encoded (for example, a macroblock: a unit for assigning a reference frame image number). Compensation was possible.

本変更例では、2種類の異なる平滑度の参照画像(第1の参照画像及び第2の参照画像)を生成し、生成した「参照画像の生成方法の識別情報」と「マクロブロックモード」とを組み合わせて「マクロブロックモードコード」を生成することで、符号化対象の所定領域(マクロブロック)ごとに平滑度を変更した動き補償を可能とする。   In this modified example, two types of reference images (first reference image and second reference image) having different smoothness levels are generated, and the generated “reference image generation method identification information” and “macroblock mode” are generated. Are combined to generate a “macroblock mode code”, thereby enabling motion compensation with the smoothness changed for each predetermined region (macroblock) to be encoded.

本変更例に係る動画像符号化装置20及び動画像復号化装置50と、上述の実施形態2に係る動画像符号化装置20及び動画像復号化装置50とを比較すると、両者の基本動作はほぼ同じである。   When the moving image encoding device 20 and the moving image decoding device 50 according to the present modification are compared with the moving image encoding device 20 and the moving image decoding device 50 according to the second embodiment described above, the basic operations of both are as follows. It is almost the same.

本変更例において、「参照画像に係る情報(マクロブロックモードコード)」は、「動きベクトルを検出する単位を示す識別情報(マクロブロックモード:MB_Type)」と「平滑度を示す情報(第1の参照画像又は第2の参照画像)」との組み合わせである。   In the present modification example, “information related to the reference image (macroblock mode code)” includes “identification information indicating a unit for detecting a motion vector (macroblock mode: MB_Type)” and “information indicating smoothness (first Reference image or second reference image) ”.

また、可変長符号化部40は、符号化対象の所定領域(マクロブロック)単位で、「参照画像に係る情報(マクロブロックモードコード)」と「参照フレーム画像の識別情報(参照フレーム画像番号:Ref_frame)」と「動き補償値を示す情報(予測残差信号データ符号化シンタックス)」とを組み合わせて伝送する。   In addition, the variable length coding unit 40, in units of a predetermined area (macroblock) to be coded, “information related to the reference image (macroblock mode code)” and “identification information of the reference frame image (reference frame image number: Ref_frame) ”and“ information indicating the motion compensation value (prediction residual signal data encoding syntax) ”are transmitted in combination.

また、可変長復号化部71は、符号化対象の所定領域(マクロブロック)単位で、「参照画像に係る情報(マクロブロックモードコード:MB_Type)」と「参照フレーム画像の識別情報(参照フレーム画像番号:Ref_frame)」と「動き補償値を示す情報予測残差信号データ符号化シンタックス」」とを復号化する。   In addition, the variable length decoding unit 71 performs “information related to the reference image (macroblock mode code: MB_Type)” and “identification information of the reference frame image (reference frame image) in units of a predetermined area (macroblock) to be encoded. Number: Ref_frame) "and" information prediction residual signal data encoding syntax indicating a motion compensation value "".

また、動き補償部72は、「参照画像に係る情報(MB_Type)」及び「参照フレーム画像の識別情報(Ref_frame)」によって特定される参照画像17を、参照フレーム画像5の代わりに用いて、符号化対象の所定領域(マクロブロック)について動き補償値を算出する。   Further, the motion compensation unit 72 uses the reference image 17 specified by the “information related to the reference image (MB_Type)” and the “reference frame image identification information (Ref_frame)” instead of the reference frame image 5, A motion compensation value is calculated for a predetermined area (macroblock) to be converted.

図14に、H.26L符号化方式のマクロブロック単位での符号化シンタックスを示す。本変更例では、従来の「H.26L符号化方式のマクロブロック単位での符号化シンタックス」からの変更点はないが、「マクロブロックモード(MB_Type)」の定義を、「マクロブロックモード」と「参照画像の生成方法の識別情報」とを組み合わせたものに変更している。   In FIG. The encoding syntax per macroblock of a 26L encoding system is shown. In this modified example, there is no change from the conventional “coding syntax in macroblock units of the H.26L encoding method”, but the definition of “macroblock mode (MB_Type)” is changed to “macroblock mode”. And “identification information of reference image generation method”.

図18に、「マクロブロックモード」と「参照画像の生成方法の識別情報」との組み合わせによる「マクロブロックモードコード(MB_Type)」の一例を示す。   FIG. 18 shows an example of a “macroblock mode code (MB_Type)” based on a combination of “macroblock mode” and “reference image generation method identification information”.

図18に示すように、従来のH.26Lにおけるマクロブロックモードと同じマクロブロックモードは、第1の参照画像から動き補償を行うことを指示しており、新たに追加されたマクロブロックモードは、強い平滑度の第2の参照画像から動き補償を行うことを指示している。   As shown in FIG. The same macroblock mode as the macroblock mode in 26L indicates that motion compensation is performed from the first reference image, and the newly added macroblock mode performs motion from the second reference image having strong smoothness. Instructs to make compensation.

本変更例では、マクロブロックモードが、マクロブロック単位に割り当てられるため、マクロブロック単位で、異なる平滑度の参照画像から動き補償を行うこととなる。   In this modified example, since the macroblock mode is assigned to each macroblock, motion compensation is performed from a reference image having a different smoothness for each macroblock.

また、変更例において、マクロブロックモードコード(MB_Type)を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域(マクロブロック)の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。   Further, in the modified example, the macroblock mode code (MB_Type) is used to encode the predetermined region (macroblock) to be encoded, instead of explicitly signaling the smoothness of the reference image used for motion compensation. Depending on the conditions, the smoothness of the reference image may be automatically switched and determined uniquely.

(変更例2C)
上述の実施形態2の変更例2Cについて説明する。本変更例では、上述の実施形態2における第2の参照画像が強い平滑化のかかったものであり、必ずしも動き補償において第1の参照画像と同じ精度の動きベクトルが必要ないことから、第2の参照画像が用いられる場合の動きベクトルの精度を変更することとした構成について説明する。以下、本変更例と上述の実施形態2との相違点について説明する。
(Modification 2C)
A modification 2C of the second embodiment will be described. In the present modified example, the second reference image in the above-described second embodiment has been subjected to strong smoothing, and a motion vector having the same accuracy as that of the first reference image is not necessarily required for motion compensation. A configuration in which the accuracy of the motion vector is changed when the reference image is used will be described. Hereinafter, differences between the present modification example and the above-described second embodiment will be described.

本変更例において、動き補償部33は、強い平滑度の参照画像(第2の参照画像)を用いる場合、動き補償値(予測画像信号6)の算出に用いる動きベクトルの精度を落とす。具体的には、かかる場合、動き補償部33は、当該動きベクトルの水平成分及び垂直成分の精度を落とすように構成されている。   In this modification, the motion compensation unit 33 reduces the accuracy of the motion vector used for calculating the motion compensation value (predicted image signal 6) when using a reference image (second reference image) having a strong smoothness. Specifically, in such a case, the motion compensation unit 33 is configured to reduce the accuracy of the horizontal and vertical components of the motion vector.

本変更例において、参照画像生成部45が、上述の実施形態2と同様に、第1の参照画像を生成した後、第2の参照画像として空間解像度を1/2画素精度又は整数画素精度に落とした強い平滑化のかかった参照画像を生成する。   In the present modification, after the reference image generation unit 45 generates the first reference image, the spatial resolution is set to 1/2 pixel accuracy or integer pixel accuracy as the second reference image, as in the second embodiment. Generate a smoothed reference image that has been dropped.

第2の参照画像における1/2画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、第1の参照画像に(1,2,1)/4フィルタを作用させてダウンサンプリングする方法を示す。   As an example of a method for generating a smoothed reference image with a spatial resolution of 1/2 pixel accuracy in the second reference image, a (1, 2, 1) / 4 filter is applied to the first reference image. Shows how to downsample.

また、整数画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、1/2画素精度の平滑化画像に、さらに(1,2,1)/4フィルタを作用させてダウンサンプリングする方法を示す。   In addition, as an example of a method for generating a smoothed reference image with a spatial resolution of integer pixel accuracy, a (1, 2, 1) / 4 filter is further applied to a smoothed image of 1/2 pixel accuracy. Shows how to downsample.

本変更例において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード」の一例としては、上述の実施形態2と同様のものを考える。   In the present modification, as an example of the “reference frame code” based on the combination of the “reference frame image number” and “identification information of the reference image generation method”, the same one as in the second embodiment is considered.

例えば、第2の参照画像として、空間解像度を1/2画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第1の参照画像での動きベクトルを(MVx、MVy)とすると、第2の参照画像での動きベクトルでは、以下の読みかえを行う。   For example, when generating a smooth smoothed reference image with a spatial resolution of 1/2 pixel accuracy as the second reference image, the motion vector in the first reference image is (MVx, MVy). In the motion vector in the second reference image, the following reading is performed.

第1の参照画像の画素位置:MVx、MVy (単位は1/4画素)
第2の参照画像の画素位置:MVx//2、MVy//2
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
Pixel position of the first reference image: MVx, MVy (unit is 1/4 pixel)
Pixel position of the second reference image: MVx // 2, MVy // 2
Here, “//” is an integer division with a rounding process toward zero.

また、第2の参照画像として、空間解像度を整数画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第1の参照画像での動きベクトルを(MVx、MVy)とすると、第2の参照画像での動きベクトルでは、以下の読みかえを行う。   In addition, when generating a smooth smoothed reference image with spatial resolution reduced to integer pixel accuracy as the second reference image, if the motion vector in the first reference image is (MVx, MVy), For the motion vector in the reference image 2, the following reading is performed.

第1の参照画像の画素位置:MVx、MVy (単位は1/4画素)
第2の参照画像の画素位置:MVx//4、MVy//4
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
Pixel position of the first reference image: MVx, MVy (unit is 1/4 pixel)
Pixel position of the second reference image: MVx // 4, MVy // 4
Here, “//” is an integer division with a rounding process toward zero.

したがって、第2の参照画像では、同じ動きベクトルMV=(MVx、MVy)に対して、複数の値を持つことになる。   Therefore, the second reference image has a plurality of values for the same motion vector MV = (MVx, MVy).

例えば、第2の参照画像を1/2画素精度に落とした場合、(3,3)、(2,3)、(3,2)、(2,2)は、同じ動きベクトルを指す。   For example, when the second reference image is reduced to 1/2 pixel accuracy, (3, 3), (2, 3), (3, 2), and (2, 2) indicate the same motion vector.

したがって、第2の参照画像では、可変長符号化部40において符号化を行う際に、発生する符号量の少ない動きベクトル(例えば、(2,2))を代表として送出すれば良い。   Therefore, in the second reference image, when the variable length encoding unit 40 performs encoding, a motion vector (for example, (2, 2)) that generates a small amount of code may be transmitted as a representative.

あるいは、第2の参照画像では、空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルPMV並びに動きベクトルの差分情報MVDの算出を行うこととし、送出する動きベクトルの差分情報の値を小さくする、すなわち、符号化量を小さくすることとしてもよい。   Alternatively, in the second reference image, the predicted motion vector PMV and the motion vector difference information MVD are calculated using the motion vector after the replacement according to the spatial resolution, and the difference between the motion vectors to be transmitted is calculated. The information value may be reduced, that is, the amount of encoding may be reduced.

この場合、第2の参照画像から空間解像度の大きい第1の参照画像について、予測動きベクトル並びに動きベクトルの差分情報MVDの算出を行う場合には、逆に第2の参照画像に係る動きベクトルMVの空間解像度を上げる読み替えを行うこととなる。   In this case, when calculating the motion vector difference information MVD and the motion vector difference information MVD for the first reference image having a large spatial resolution from the second reference image, conversely, the motion vector MV related to the second reference image. Will be read to increase the spatial resolution.

以上の変更により、参照フレーム画像5にノイズが重畳されている場合、低い空間解像度の第2の参照画像を参照することにより、効率の良い符号化が期待される。   Due to the above changes, when noise is superimposed on the reference frame image 5, efficient encoding is expected by referring to the second reference image having a low spatial resolution.

また、本変更例では、低い空間解像度の第2の参照画像では、動きベクトルの空間解像度を下げており、動きベクトルの符号化時の冗長度を省いているところが特徴である。   Further, the present modification is characterized in that the spatial resolution of the motion vector is lowered in the second reference image having a low spatial resolution, and the redundancy at the time of encoding the motion vector is omitted.

また、本変更例において、参照フレームコード(Ref_frame)を用いて、動き補償に用いた参照画像の空間解像度を明示的にシグナルするのではなく、符号化対象の所定領域(マクロブロック)の符号化条件に応じて、参照画像の空間解像度を自動的に切り替えて一意に決定してもよい。   Also, in this modified example, the reference frame code (Ref_frame) is used to encode a predetermined area (macroblock) to be encoded instead of explicitly signaling the spatial resolution of the reference image used for motion compensation. Depending on the conditions, the spatial resolution of the reference image may be automatically switched and determined uniquely.

例えば、符号化対象の所定領域(マクロブロック)が細かく分割されるような「マクロブロックモード(MB_Type:予測モード)」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。   For example, a region encoded in “macroblock mode (MB_Type: prediction mode)” in which a predetermined region (macroblock) to be encoded is finely divided is considered to have complex motion, and motion compensation is performed. It is considered that the reference image used in is not required to have high pixel value accuracy.

また、量子化ステップ(QP値)の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。   Even in a macroblock with a large quantization step (QP value), it is considered that a reference image used in motion compensation does not require high pixel value accuracy.

したがって、動きベクトルが検出される単位(サブブロック)の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である(すなわち、低い空間解像度である)第2の参照画像を常に用いることとしてもよい。   Therefore, for a macroblock whose number of units (sub-blocks) in which motion vectors are detected and the quantization step exceeds a predetermined threshold, the second reference image having a strong smoothness level (that is, a low spatial resolution). May be always used.

かかる場合、生成される参照画像が、符号化条件によって一意に決定するため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「H.26L符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。   In such a case, since the generated reference image is uniquely determined by the encoding condition, information for identifying the smoothness using the reference frame image number is not required, and compared with the “H.26L encoding method”, There is no increase in the amount of bits due to changes in the reference frame code or macroblock mode code.

さらに、上述の符号化条件(マクロブロックモードや量子化ステップ等)に応じて、平滑度及び空間解像度を自動的に切り替えて一意に決定することもできる。   Furthermore, the smoothness and the spatial resolution can be automatically switched and uniquely determined according to the above-described encoding conditions (macroblock mode, quantization step, etc.).

かかる場合、サブブロックの分割数や量子化ステップが所定の閾値を越えるマクロブロックについては、空間解像度を1/2画素精度又は整数画素精度に落とし、強い平滑度をかけるフィルタを使用した参照画像を常に用い、動きベクトルの水平成分及び垂直成分の画素精度を落とすように構成して、発生する動きベクトルの符号量を少なくする。   In such a case, for a macroblock whose subblock division number or quantization step exceeds a predetermined threshold, a reference image using a filter that applies a strong smoothness by reducing the spatial resolution to 1/2 pixel accuracy or integer pixel accuracy. It is always used and configured to reduce the pixel accuracy of the horizontal and vertical components of the motion vector, thereby reducing the amount of code of the generated motion vector.

(実施形態3)
実施形態3に係る動画像符号化装置20及び動画像復号化装置50について説明する。上述の実施形態2では、「参照画像の生成方法の識別情報(第1の参照画像又は第2の参照画像)」と「参照フレーム画像番号」とを組み合わせた「参照画像に係る情報(参照フレームコード又はマクロブロックモードコード)」をシグナリングすることで、符号化対象の所定領域(マクロブロック)ごとに通常の参照画像(第1の画像情報)及び強い平滑化のかかった参照画像(第2の画像情報)を用いた動き補償を行うことを可能とする動画像符号化装置20及び動画像復号化装置50について説明した。
(Embodiment 3)
A video encoding device 20 and a video decoding device 50 according to Embodiment 3 will be described. In the second embodiment described above, “information related to a reference image (reference frame) that combines“ identification information (first reference image or second reference image) of a reference image generation method ”” and “reference frame image number”. Signal or code (macroblock mode code) ”, a normal reference image (first image information) and a strongly smoothed reference image (second image) for each predetermined region (macroblock) to be encoded The moving image encoding device 20 and the moving image decoding device 50 that enable motion compensation using (image information) have been described.

本実施形態では、空間解像度ごとの階層からなるピラミッドを構成して、3種類以上の異なる画素精度を有する参照画像を生成することが可能である動画像符号化装置20及び動画像復号化装置50について説明する。   In the present embodiment, a moving image encoding device 20 and a moving image decoding device 50 that can generate a reference image having three or more different pixel accuracies by configuring a pyramid including layers for each spatial resolution. Will be described.

図19に、本実施形態に係る動画像符号化装置20の概略構成を示し、図20に、動画像復号化装置50の概略構成を示す。   FIG. 19 shows a schematic configuration of the video encoding device 20 according to the present embodiment, and FIG. 20 shows a schematic configuration of the video decoding device 50.

本実施形態に係る動画像符号化装置20及び動画像復号化装置50と、従来技術に係る動画像符号化装置20及び動画像復号化装置50とを比較すると、動き検出部32と動き補償部33、72と可変長符号化部40の構成が変更されている点、及び階層参照画像生成部46、81が新たに追加されている点を除いて、両者の基本動作は、ほぼ同じである。   When comparing the moving picture coding apparatus 20 and the moving picture decoding apparatus 50 according to the present embodiment with the moving picture coding apparatus 20 and the moving picture decoding apparatus 50 according to the related art, the motion detection unit 32 and the motion compensation unit The basic operations of both are substantially the same except that the configurations of 33 and 72 and the variable-length encoding unit 40 have been changed and the hierarchical reference image generation units 46 and 81 have been newly added. .

本実施形態において、階層参照画像生成部46、81が、参照フレーム画像5から複数の異なる画像処理を施して複数の異なる参照画像(階層参照画像18)を生成する参照画像生成部を構成する。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられる。本実施形態では、上述の画像処理として、空間解像度を変更する処理を用いた場合について説明する。   In the present embodiment, the hierarchical reference image generation units 46 and 81 constitute a reference image generation unit that performs a plurality of different image processes from the reference frame image 5 to generate a plurality of different reference images (hierarchical reference image 18). Here, as the above-described image processing, processing for changing the smoothness, processing for changing the spatial resolution, and the like can be considered. In the present embodiment, a case where a process for changing the spatial resolution is used as the above-described image processing will be described.

また、階層参照画像生成部46、81は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の空間解像度の参照画像(階層参照画像18)を生成する。ここで、「画像処理を示す情報、すなわち空間解像度を示す情報(Layer)」は、フィルタを識別するものである。   In addition, the hierarchical reference image generation units 46 and 81 generate a plurality of spatial resolution reference images (hierarchical reference images 18) by performing filter processing using filters having a plurality of different passbands. Here, “information indicating image processing, ie, information indicating spatial resolution (Layer)” identifies a filter.

また、動き検出部32が、参照画像(階層参照画像18)を用いて検出した「動きベクトル(MVx,MVy)」と当該「参照画像(階層参照画像18)の空間解像度を示す情報(Layer)」とを関連付けて「3次元動きベクトル(Layer,MVx,MVy)」を生成する3次元動きベクトル生成部を構成する。   In addition, the “motion vector (MVx, MVy)” detected by the motion detection unit 32 using the reference image (hierarchical reference image 18) and information indicating the spatial resolution of the “reference image (hierarchical reference image 18) (Layer)” ”To generate a“ three-dimensional motion vector (Layer, MVx, MVy) ”.

また、動き検出部32は、低い空間解像度の参照画像(例えば、レイヤー3等)に対して、3次元動きベクトルの精度を落とすように構成されていてもよい。   The motion detection unit 32 may be configured to reduce the accuracy of the three-dimensional motion vector with respect to a low spatial resolution reference image (for example, layer 3).

また、動き補償部33(72)が、参照画像(階層参照画像18)を参照フレーム画像5の代わりに用いて、符号化(復号化)対象の所定領域(マクロブロック)について動き補償値を算出するものである。   Also, the motion compensation unit 33 (72) calculates a motion compensation value for a predetermined region (macroblock) to be encoded (decoded) using the reference image (hierarchical reference image 18) instead of the reference frame image 5. To do.

また、動き補償部33は、フレーム画像内の符号化された所定領域(符号化済みマクロブロック)と符号化対象の所定領域(符号化対象のマクロブロック)との相関(例えば、算術符号化におけるコンテクストの切り替え)を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を構成する。   In addition, the motion compensation unit 33 correlates (for example, arithmetic coding) a predetermined region (encoded macroblock) in the frame image and a predetermined region to be encoded (macroblock to be encoded). A three-dimensional motion vector prediction unit that predicts a three-dimensional motion vector is configured using context switching.

可変長符号化部40は、「3次元動きベクトル」と「動き補償値を示す情報」とを組み合わせて伝送する伝送部を構成する。   The variable length coding unit 40 constitutes a transmission unit that transmits a combination of “three-dimensional motion vector” and “information indicating a motion compensation value”.

また、可変長符号化部40は、動き検出部32により生成された3次元動きベクトル(Layer,MVx,MVy)と動き補償部33により予測された3次元動きベクトル(PLayer,PMVx,PMVy)との差分情報(LayerD,MVDx,MVDy)と動き補償値を示す情報とを組み合わせて伝送してもよい。   In addition, the variable length coding unit 40 includes the three-dimensional motion vector (Layer, MVx, MVy) generated by the motion detection unit 32 and the three-dimensional motion vector (PLayer, PMVx, PMVy) predicted by the motion compensation unit 33. Difference information (LayerD, MVDx, MVDy) and information indicating a motion compensation value may be transmitted in combination.

また、可変長復号化部71は、復号化対象の所定領域の3次元動きベクトルを復号化する復号化部を構成する。   The variable length decoding unit 71 constitutes a decoding unit that decodes a three-dimensional motion vector of a predetermined area to be decoded.

まず、本実施形態において用いる概念を、図21及び図22を用いて説明する。   First, the concept used in this embodiment will be described with reference to FIGS.

階層参照画像生成部46、81が、動き補償部33、72による動き補償で用いられる参照フレーム画像5に対して、3つのレイヤーを生成する。   The hierarchical reference image generation units 46 and 81 generate three layers for the reference frame image 5 used for motion compensation by the motion compensation units 33 and 72.

第1に、階層参照画像生成部46,81は、図21及び図22に示すように、参照フレーム画像5に対して、8タップフィルタによるアップサンプリングすることによって、階層化参照画像18の一つである1/4画像精度のレイヤー1を生成する。ここで用いられる8タップフィルタの一例を以下に示す。   First, as shown in FIGS. 21 and 22, the hierarchical reference image generation units 46 and 81 up-sample the reference frame image 5 by using an 8-tap filter, thereby providing one of the hierarchical reference images 18. A layer 1 with 1/4 image accuracy is generated. An example of the 8-tap filter used here is shown below.

・1/4画素位置用:
(-3,12,-37,229,71,-21,6,-1)/256
・2/4画素位置用:
(-3,12,-39,158,158,-39,12,-3)/256
・3/4画素位置用:
(-1,6,-21,71,229,-37,12,-3)/256
ここで、整数画素位置の画素値は、参照フレーム画像5の同位置の画素値がコピーされ、整数画素位置間の1/4画素位置,2/4画素位置,3/4画素位置にある画素値は、整数画素位置の画素値に対して、上述のフィルタ係数の積和演算を行うことにより求められる。このフィルタ処理は、水平方向及び垂直方向に分離されて行われる。
・ For 1/4 pixel position:
(-3, 12, -37, 229, 71, -21, 6, -1) / 256
・ For 2/4 pixel position:
(-3, 12, -39, 158, 158, -39, 12, -3) / 256
・ For 3/4 pixel position:
(-1,6, -21,71,229, -37,12, -3) / 256
Here, as the pixel value at the integer pixel position, the pixel value at the same position in the reference frame image 5 is copied, and the pixels at the 1/4 pixel position, 2/4 pixel position, and 3/4 pixel position between the integer pixel positions are copied. The value is obtained by performing the product-sum operation of the filter coefficients described above on the pixel value at the integer pixel position. This filtering process is performed separately in the horizontal direction and the vertical direction.

かかるフィルタ処理は、従来の「TML-8」の1/8画素精度のアップサンプリング処理に記載されているので、詳細は省略する。   Since this filtering process is described in the conventional “TML-8” 1/8 pixel precision upsampling process, the details thereof will be omitted.

第2に、階層参照画像生成部46、81は、生成された1/4画像精度のレイヤー1に対して、3タップフィルタ(低域通過型フィルタ)によるダウンサンプリングすることによって、階層参照画像18の一つである1/2画素精度のレイヤー2を生成する。ここで用いられる3タップフィルタの一例が「(1,2,1)/4」である。   Second, the hierarchical reference image generators 46 and 81 down-sample the generated layer 1 with 1/4 image accuracy using a 3-tap filter (low-pass filter), thereby generating the hierarchical reference image 18. A layer 2 of 1/2 pixel accuracy which is one of the above is generated. An example of the 3-tap filter used here is “(1, 2, 1) / 4”.

第3に、階層参照画像生成部46、81は、生成された1/2画像精度のレイヤー2に対して、3タップフィルタによるダウンサンプリングすることによって、階層参照画像18の一つである整数画素精度のレイヤー3を生成する。ここで用いられる3タップフィルタは、先に用いられた3タップフィルタと同じものである。   Third, the hierarchical reference image generation units 46 and 81 down-sample the generated layer 2 with 1/2 image accuracy using a 3-tap filter, and thereby an integer pixel that is one of the hierarchical reference images 18. Generate layer 3 of accuracy. The 3-tap filter used here is the same as the 3-tap filter used previously.

注目すべきは、レイヤー1は、従来技術と同じく1/4画素精度であるが、1/4画素位置の画素値は、線形補間により算出されたものではなく、上述のフィルタ処理により原画像(参照フレーム画像5)の持つ空間解像度を保持するように算出されている点である。   It should be noted that the layer 1 has a 1/4 pixel accuracy as in the prior art, but the pixel value at the 1/4 pixel position is not calculated by linear interpolation, and the original image ( This is a point calculated so as to maintain the spatial resolution of the reference frame image 5).

以上のように、階層参照画像生成部46、81は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の異なる空間解像度を有する参照画像(レイヤー1乃至レイヤー3)を生成する。   As described above, the hierarchical reference image generation units 46 and 81 generate the reference images (layer 1 to layer 3) having a plurality of different spatial resolutions by performing the filtering process using the filters having a plurality of different passbands.

本実施形態では、動き補償部33は、このように生成された階層参照画像18を用いて動き補償を行う。   In the present embodiment, the motion compensation unit 33 performs motion compensation using the hierarchical reference image 18 generated in this way.

この際、動きベクトル3は、(MVx,MVy)の2項組(2次元動きベクトル)ではなく、(Layer,MVx,MVy)の3項組(3次元動きベクトル)となる。   At this time, the motion vector 3 is not a two-term set (two-dimensional motion vector) of (MVx, MVy) but a three-term set (three-dimensional motion vector) of (Layer, MVx, MVy).

動き検出部32は、2次元動きベクトル(MVx,MVy)を検出する代わりに、3次元動きベクトル(Layer,MVx,MVy)を検出する。   The motion detection unit 32 detects a three-dimensional motion vector (Layer, MVx, MVy) instead of detecting a two-dimensional motion vector (MVx, MVy).

レイヤー2は、レイヤー1の半分の空間解像度であり、さらに、レイヤー3は、レイヤー2の半分の空間解像度であるので、以下の読みかえを行う。   Since layer 2 has a spatial resolution that is half that of layer 1, and layer 3 has a spatial resolution that is half that of layer 2, the following reading is performed.

レイヤー1の画素位置:MVx,MVy(単位は1/4画素)
レイヤー2の画素位置:MVx//2,MVy//2
レイヤー3の画素位置:MVx//4,MVy//4
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
Layer 1 pixel position: MVx, MVy (unit is 1/4 pixel)
Layer 2 pixel position: MVx // 2, MVy // 2
Layer 3 pixel position: MVx // 4, MVy // 4
Here, “//” is an integer division with a rounding process toward zero.

したがって、レイヤー2,レイヤー3では、同じ動きベクトルに対して、複数の(MVx,MVy)の値を持つことになる。   Therefore, layer 2 and layer 3 have a plurality of (MVx, MVy) values for the same motion vector.

例えば、レイヤー2,レイヤー3では、(2,3,3)、(2,2,3)、(2,2,3)、(2,2,2)は、同じ動きベクトルを指す。   For example, in layers 2 and 3, (2, 3, 3), (2, 2, 3), (2, 2, 3), and (2, 2, 2) indicate the same motion vector.

したがって、上位レイヤー(レイヤー2やレイヤー3)では、可変長符号化部40において符号化を行う際に、発生する符号量の少ない動きベクトル(例えば、上述の場合、(2,2,2))を代表として送出すれば良い。   Therefore, in the upper layer (layer 2 or layer 3), a motion vector that generates a small amount of code when encoding is performed by the variable length encoding unit 40 (for example, (2, 2, 2) in the above case). As a representative.

あるいはまた、レイヤー2、レイヤー3では、各レイヤーの空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルPMV並びに動きベクトルの差分情報MVDの算出を行うこととし、送出する動きベクトルの差分情報MVDの値を小さくする、すなわち、符号量を小さくすることとしてもよい。   Alternatively, the layer 2 and the layer 3 calculate the predicted motion vector PMV and the motion vector difference information MVD using the motion vector after the replacement according to the spatial resolution of each layer, and send it out. The value of the motion vector difference information MVD may be reduced, that is, the code amount may be reduced.

この場合、これらのレイヤーからレイヤー1等の空間解像度の大きい動きベクトルの予測動きベクトルPMV並びに動きベクトルの差分情報MVDの算出を行う場合には、逆に各レイヤーの動きベクトルの空間解像度を上げる読み替えを行うこととなる。   In this case, when the predicted motion vector PMV of the motion vector having a large spatial resolution such as layer 1 and the motion vector difference information MVD are calculated from these layers, conversely, the spatial resolution of the motion vector of each layer is increased. Will be performed.

この概念を用いて、動き補償部33の予測動きベクトル算出部33cは、上述の実施形態1の場合とほぼ同じ方法で、図23に示すように、複数の空間解像度へ拡張した3次元動きベクトルについての予測を行う。   Using this concept, the predicted motion vector calculation unit 33c of the motion compensation unit 33 uses the same method as in the first embodiment described above to extend the three-dimensional motion vector to a plurality of spatial resolutions as shown in FIG. Make predictions about.

図23において、「PMVx」は、符号化対象の所定領域(マクロブロック)Eについての予測動きベクトルPMVの水平成分を示し、「PMVy」は、符号化対象の所定領域(マクロブロック)Eについての予測動きベクトルPMVの垂直成分を示す。 In FIG. 23, “PMVx E ” indicates the horizontal component of the predicted motion vector PMV E for the predetermined area (macroblock) E to be encoded, and “PMVy E ” indicates the predetermined area (macroblock) to be encoded. The vertical component of the predicted motion vector PMV E for E is shown.

「PLayer」は、符号化対象の所定領域(マクロブロック)Eについての予測空間解像度を示す。 “Player E ” indicates a predicted spatial resolution for a predetermined region (macroblock) E to be encoded.

「MVDx」、「MVDy」は、符号化対象の所定領域(マクロブロック)Eに係る1/4画素精度の動きベクトルの差分情報を示す。「LayerD」は、符号化対象の所定領域(マクロブロック)Eに係る空間解像度の差分情報を示す。 “MVDx E ” and “MVDy E ” indicate the ¼ pixel precision motion vector difference information related to the predetermined area (macroblock) E to be encoded. “LayerD” indicates difference information of spatial resolution related to a predetermined area (macroblock) E to be encoded.

したがって、符号化処理は(LayerD,MVDx,MVDy)の3項組に対して行われる。   Therefore, the encoding process is performed on the three-term set (LayerD, MVDx, MVDy).

また、動き補償部33は、フレーム画像信号2内の符号化された所定領域(マクロブロック)の3次元動きベクトルを用いて、符号化対象の所定領域(マクロブロック)の3次元動きベクトルを予測し、予測された3次元動きベクトルと動きベクトル検出部32により検出された3次元動きベクトルとの差分情報を算出し、算出された3次元動きベクトルの差分情報を用いて動き補償を行ってもよい。   Further, the motion compensation unit 33 predicts the three-dimensional motion vector of the predetermined region (macroblock) to be encoded using the three-dimensional motion vector of the predetermined region (macroblock) encoded in the frame image signal 2. The difference information between the predicted three-dimensional motion vector and the three-dimensional motion vector detected by the motion vector detection unit 32 is calculated, and motion compensation is performed using the calculated difference information of the three-dimensional motion vector. Good.

ここで、LayerDは、通常、零に集中すると予測され、また、レイヤー1やレイヤー3から見れば、その遷移は、非対称である。   Here, Layer D is normally predicted to concentrate on zero, and the transition is asymmetric when viewed from layer 1 or layer 3.

そこで、本実施形態において、従来技術で実現されている「適応算術符号化」を用いることとして、さらに、近傍領域のマクロブロックとの相関を利用するように、PLayerのコンテクストモデルの3状態を新たに付加した拡張を行ってもよい。   Therefore, in this embodiment, by using the “adaptive arithmetic coding” realized in the prior art, the three states of the player context model are newly added so as to use the correlation with the macroblocks in the neighboring region. An extension added to may be performed.

上述のように、Layerについては、近傍領域のマクロブロックとの相関を利用した符号化を行うことができる。   As described above, the Layer can be encoded using the correlation with the macroblocks in the neighboring area.

上述では、PlayerとLayerDを用いた予測差分符号化を行うこととしたが、予測差分符号化を行うことは、算術符号化においてコンテクストモデリングを行うことと同等である。   In the above description, predictive differential encoding using Player and LayerD is performed. However, performing predictive differential encoding is equivalent to performing context modeling in arithmetic encoding.

したがって、近傍領域のマクロブロックとの相関を、直接、若しくは、Playerのような中間値により、コンテクストモデルとして利用する(コンテクストの切り替えを用いる)こととして、LayerDではなく、Layerそのものを、算術符号化を用いて符号化することとしてもよい。   Therefore, the correlation with the macroblocks in the neighboring area is used as a context model (using context switching) directly or by an intermediate value such as Player, so that Layer itself, not Layer D, is arithmetically encoded. It is good also as encoding using.

なお、「適応算術符号化」の概念と詳細は、従来「Context-based Adaptive Binary Arithmetic Coding」として述べられているので、詳細は省略する。   Since the concept and details of “adaptive arithmetic coding” have been described as “Context-based Adaptive Binary Arithmetic Coding” in the past, details are omitted.

以上、本実施形態では、上述の実施形態1,2やそれらの変更例のように、「2次元動きベクトル」と「画像処理を示す情報(空間解像度を示す情報)」を伝送する代わりに、「2次元動きベクトル」を「画像処理(空間解像度)を示す情報(Layer)」を含む「3次元動きベクトル」として拡張した新しい動き補償について説明した。   As described above, in the present embodiment, instead of transmitting “two-dimensional motion vector” and “information indicating image processing (information indicating spatial resolution)” as in the first and second embodiments and the modified examples thereof, A new motion compensation has been described in which the “two-dimensional motion vector” is expanded as a “three-dimensional motion vector” including “information indicating image processing (spatial resolution) (Layer)”.

図24に、本実施形態に係る動画像符号化装置20における動き補償の動作について説明する。   FIG. 24 illustrates a motion compensation operation in the video encoding device 20 according to the present embodiment.

ステップ1201において、階層参照画像生成部46が、フレームメモリ34から抽出した参照フレーム画像5を用いて、階層参照画像18を生成する。   In step 1201, the hierarchical reference image generation unit 46 generates the hierarchical reference image 18 using the reference frame image 5 extracted from the frame memory 34.

ステップ1202において、動き検出部32が、階層参照画像生成部46からの階層参照画像18を参照して、符号化対象の所定領域(マクロブロック)の3次元動きベクトルを検出する。   In step 1202, the motion detection unit 32 refers to the hierarchical reference image 18 from the hierarchical reference image generation unit 46 to detect a three-dimensional motion vector of a predetermined region (macroblock) to be encoded.

ステップ1203において、動き補償部33が、動き検出部32からの3次元動きベクトルと階層参照画像生成部46からの階層参照画像18とに基づいて、予測画像信号6を生成する。   In step 1203, the motion compensation unit 33 generates the predicted image signal 6 based on the three-dimensional motion vector from the motion detection unit 32 and the hierarchical reference image 18 from the hierarchical reference image generation unit 46.

本実施形態によれば、参照フレーム画像5にノイズが重畳されている場合、適応的に低い空間解像度のレイヤー画像を参照することにより、効率の良い符号化が期待される。   According to this embodiment, when noise is superimposed on the reference frame image 5, efficient encoding is expected by referring to a layer image having a low spatial resolution adaptively.

また、低い空間解像度のレイヤー画像(例えば、レイヤー2,3画像)では、3次元動きベクトルの空間解像度を落としており、3次元動きベクトルの符号化時の冗長度を省いているところが特徴である。   In addition, low-resolution layer images (for example, layer 2 and 3 images) are characterized in that the spatial resolution of the three-dimensional motion vector is reduced and the redundancy at the time of encoding the three-dimensional motion vector is omitted. .

また、本実施形態では、3次元動きベクトルを採用したが、この3次元動きベクトルのパラメータ空間上でベクトルの分布は、空間的に連続であることが予想され、符号化の効率向上が期待できる。   In this embodiment, a three-dimensional motion vector is used. However, the vector distribution is expected to be spatially continuous in the parameter space of this three-dimensional motion vector, and an improvement in encoding efficiency can be expected. .

本実施形態において示した予測画像信号あるいは動き補償値の生成方法は、一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。   The method for generating a predicted image signal or motion compensation value shown in the present embodiment is an example, and any generation method necessary for realizing the switching of the motion compensation value calculation method performed in the present embodiment may be used. it can.

(実施形態3に係る動画像符号化装置及び動画像復号化装置の作用・効果)
本発明に係る動画像符号化装置によれば、動き検出部32が、階層参照画像17に応じて3次元動きベクトルを生成するため、符号化対象の所定領域ごとに、異なる画素精度の動き補償を行うことができる。
(Operation / Effect of Video Encoding Device and Video Decoding Device According to Embodiment 3)
According to the moving image coding apparatus according to the present invention, since the motion detection unit 32 generates a three-dimensional motion vector according to the hierarchical reference image 17, motion compensation with different pixel accuracy is performed for each predetermined region to be coded. It can be performed.

(変更例3A)
上述の実施形態3の変更例3Aについて説明する。以下、図25を参照して、本変更例と実施形態3との相違点について説明する。
(Modification 3A)
A modified example 3A of the above-described third embodiment will be described. Hereinafter, with reference to FIG. 25, differences between the present modification example and the third embodiment will be described.

第1に、本変更例では、1/4画素精度ではなく1/2画素精度で動き補償を行う点で、上述の実施形態3の場合と相違する。   First, this modified example is different from the above-described third embodiment in that motion compensation is performed with 1/2 pixel accuracy instead of 1/4 pixel accuracy.

すなわち、本変更例では、階層参照画像生成部46、81が、従来の「TML-8」で用いられていた6タップフィルタ「(1,−5,20,20,−5,1)/32」を、参照フレーム画像5に適用してアップサンプリングすることによって、1/2画素精度のレイヤー1を生成する。   That is, in the present modification, the hierarchical reference image generation units 46 and 81 perform the 6-tap filter “(1, −5, 20, 20, −5, 1) / 32 used in the conventional“ TML-8 ”. ”Is applied to the reference frame image 5 to perform upsampling, thereby generating a layer 1 having a ½ pixel accuracy.

第2に、階層参照画像生成部46、81が、レイヤー1に対して、平滑化フィルタ「(1,2,1)/4」を水平・垂直に独立に適用して、レイヤー2を生成する点で、上述の実施形態3の場合と異なる。   Second, the hierarchical reference image generation units 46 and 81 apply the smoothing filter “(1, 2, 1) / 4” to the layer 1 independently in the horizontal and vertical directions to generate the layer 2. This is different from the above-described third embodiment.

第3に、本変更例では、レイヤーが、2つ(レイヤー1及びレイヤー2)であり、両者の空間解像度が同じである点で、上述の実施形態3の場合と異なる。   Third, the present modification is different from the above-described third embodiment in that there are two layers (layer 1 and layer 2) and the spatial resolution of both is the same.

したがって、
レイヤー1の画素位置:MVx,MVy(単位は1/2画素)
レイヤー2の画素位置:MVx,MVy(単位は1/2画素)
となる。
Therefore,
Layer 1 pixel position: MVx, MVy (unit is 1/2 pixel)
Layer 2 pixel position: MVx, MVy (unit is 1/2 pixel)
It becomes.

以上の変更を加えて、従来技術と同じ方法で「中間値予測」を行って、(LayerD,MVDx,MVDy)の3次元動きベクトルを符号化する。「適応算術符号化」は、上述の実施形態3の場合とは異なり、PlayerEのコンテクストが2状態となる。   With the above changes, “intermediate value prediction” is performed in the same manner as in the prior art, and the three-dimensional motion vector (LayerD, MVDx, MVDy) is encoded. In the “adaptive arithmetic coding”, unlike the case of the above-described third embodiment, the context of Player E becomes two states.

以上の変更により、1/2画素精度で動き補償を行いつつ、参照フレーム画像5にノイズが乗っている場合は、適応的に低い空間解像度に切り替えながら動き補償を行うことが可能になる。   As a result of the above changes, if the reference frame image 5 has noise while performing motion compensation with 1/2 pixel accuracy, motion compensation can be performed while adaptively switching to a lower spatial resolution.

特に、低レート符号化では、1/4画素精度は不要であると予想され、むしろ、1/4画素精度の動き補償を平滑化したものが用いられる傾向があるため、ここでは、明示的に低い空間解像度の画像に切り替える方式を本変更例として示した。   In particular, in low-rate coding, 1/4 pixel accuracy is expected to be unnecessary, but rather, a smoothed version of 1/4 pixel accuracy motion compensation tends to be used. A method of switching to an image having a low spatial resolution is shown as this modification example.

なお、本変更例では、レイヤー2画像を生成するためのフィルタを「(1,2,1)/4」の単純な低域通過型フィルタとしたが、エッジ保存型の平滑化フィルタとしても良い。   In this modification, the filter for generating the layer 2 image is a simple low-pass filter of “(1, 2, 1) / 4”, but may be an edge-preserving smoothing filter. .

例えば、このようなエッジ保存型の平滑化フィルタとしては、3画素×3画素の領域の中間値を求める「メディアンフィルタ」や米国特許6,041,145「Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture」記載の「動的重み付けフィルタ」が利用できる。   For example, as such an edge-preserving smoothing filter, a “median filter” for obtaining an intermediate value of a 3 × 3 pixel region or US Pat. No. 6,041,145 “Device and method for smoothing picture signal, device and” A “dynamic weighting filter” described in “method for encoding picture and device and method for decoding picture” can be used.

上述の「動的重み付けフィルタ」は、平滑化の中心画素値とその近傍画素値の差分絶対値を計算し、この差分絶対値に逆比例したフィルタ係数を周辺画素値(8近傍)に与えることにより適応的な平滑化を行うものである。   The above-mentioned “dynamic weighting filter” calculates the absolute difference between the smoothed central pixel value and its neighboring pixel values, and gives a filter coefficient inversely proportional to this absolute difference value to the neighboring pixel values (8 neighbors). To perform adaptive smoothing.

なお、コンピュータ100を、本発明に係る動画像符号化装置20及び動画像復号化装置50として機能させるためのプログラムを、コンピュータ読み取り可能な記録媒体に記録することができる。   Note that a program for causing the computer 100 to function as the moving picture coding apparatus 20 and the moving picture decoding apparatus 50 according to the present invention can be recorded on a computer-readable recording medium.

このコンピュータ読み取り可能な記録媒体として、図26に示すように、例えば、フロッピィーディスク101、コンパクトディスク102、ICチップ103、カセットテープ104等が挙げられる。このようなプログラムを記憶したコンピュータ読み取り可能な記録媒体によれば、上述のプログラムの保存、運搬、販売等を容易に行うことができる。   Examples of the computer-readable recording medium include a floppy disk 101, a compact disk 102, an IC chip 103, and a cassette tape 104 as shown in FIG. According to the computer-readable recording medium storing such a program, the above-described program can be easily stored, transported, sold, and the like.

従来技術に係る動画像符号化装置の概略構成図である。It is a schematic block diagram of the moving image encoder which concerns on a prior art. 従来技術に係る動画像復号化装置の概略構成図である。It is a schematic block diagram of the moving image decoding apparatus which concerns on a prior art. 従来技術に係るINTER予測モードにおけるマクロブロックの分割パターンを示す図である。It is a figure which shows the division | segmentation pattern of the macroblock in the INTER prediction mode which concerns on a prior art. 従来技術に係る特異位置の概念を示す図である。It is a figure which shows the concept of the specific position which concerns on a prior art. 本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。It is a figure which shows the calculation method of the prediction motion vector in the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像符号化装置の動き補償部の機能ブロック図である。It is a functional block diagram of the motion compensation part of the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。It is a figure which shows the concept which judges the "singular position" in the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像符号化装置の動き補償部の動作を示すフローチャート図である。It is a flowchart figure which shows operation | movement of the motion compensation part of the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像復号化装置における復号化処理手順を示すフローチャート図である。It is a flowchart figure which shows the decoding process sequence in the moving image decoding apparatus which concerns on one Embodiment of this invention. 本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。It is a figure which shows the concept which judges the "singular position" in the moving image encoder which concerns on the example of a change of this invention. 本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。It is a figure which shows the concept which judges the "singular position" in the moving image encoder which concerns on the example of a change of this invention. 本発明の一実施形態に係る動画像符号化装置概略図である1 is a schematic diagram of a video encoding apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る動画像復号化装置概略図である1 is a schematic diagram of a video decoding device according to an embodiment of the present invention. 本発明の一実施形態で用いられるH.26L符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。It is a figure which shows the encoding syntax in a macroblock unit in the H.26L encoding system used by one Embodiment of this invention. 本発明の一実施形態で用いられる参照フレームコード表の一例である。It is an example of the reference frame code table used in one embodiment of the present invention. 本発明の一実施形態で用いられる参照フレームコード表の一部である。3 is a part of a reference frame code table used in an embodiment of the present invention. 本発明の一変更例で用いられるH.26L符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。It is a figure which shows the encoding syntax in a macroblock unit in the H.26L encoding system used by the example of a change of this invention. 本発明の一変更例で用いられるマクロブロックモードコード表である。It is a macroblock mode code table used by the example of a change of the present invention. 本発明の一実施形態に係る動画像符号化装置の概略構成図である。It is a schematic block diagram of the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像復号化装置の概略構成図である。It is a schematic block diagram of the moving image decoding apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る階層化参照画像について説明する図である。It is a figure explaining the hierarchized reference picture concerning one embodiment of the present invention. 本発明の一実施形態に係る階層化参照画像の生成方法について説明する図である。It is a figure explaining the production | generation method of the hierarchical reference image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。It is a figure which shows the calculation method of the prediction motion vector in the moving image encoder which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画像符号化装置における動き補償の動作を示すフローチャート図である。It is a flowchart figure which shows the operation | movement of motion compensation in the moving image encoder which concerns on one Embodiment of this invention. 本発明の一変更例に係る階層化参照画像の生成方法について説明する図である。It is a figure explaining the production | generation method of the hierarchical reference image which concerns on the example of a change of this invention. 本発明の一実施形態に係る動画像符号化装置又は動画像復号化装置として、コンピュータを機能させるためのプログラムを記録するコンピュータ読み取り可能な記録媒体を示す図である。1 is a diagram illustrating a computer-readable recording medium that records a program for causing a computer to function as a moving image encoding device or a moving image decoding device according to an embodiment of the present invention. FIG.

符号の説明Explanation of symbols

20…動画像符号化装置
31…入力部
32…動き検出部
33…動き補償部
33a…動きベクトル入力部
33b…参照フレーム画像入力部
33c…予測動きベクトル算出部
33d…判断部
33e…予測画像信号生成部
34…フレームメモリ
35…空間予測部
36…予測モード決定部
38…直交変換部
39…量子化部
40…可変長符号化部
41…逆量子化部
42…逆直交変換部
46…階層参照画像生成部
50…動画像復号化装置
71…可変長復号化部
72…動き補償部
73…フレームメモリ
74…空間予測部
76…逆量子化部
77…逆直交変換部
80…出力部
81…階層参照画像生成部
20 ... moving image encoding device 31 ... input unit 32 ... motion detection unit 33 ... motion compensation unit 33a ... motion vector input unit 33b ... reference frame image input unit 33c ... predicted motion vector calculation unit 33d ... determination unit 33e ... predicted image signal Generation unit 34 ... frame memory 35 ... spatial prediction unit 36 ... prediction mode determination unit 38 ... orthogonal transformation unit 39 ... quantization unit 40 ... variable length coding unit 41 ... inverse quantization unit 42 ... inverse orthogonal transformation unit 46 ... hierarchical reference Image generation unit 50 ... moving picture decoding device 71 ... variable length decoding unit 72 ... motion compensation unit 73 ... frame memory 74 ... spatial prediction unit 76 ... inverse quantization unit 77 ... inverse orthogonal transform unit 80 ... output unit 81 ... hierarchy Reference image generator

Claims (113)

フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、
フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル検出部により検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを特徴とする動画像符号化装置。
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A motion vector detection unit for detecting a motion vector of a predetermined region to be encoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in a frame image;
A determination unit that determines whether the motion vector detected by the motion vector detection unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
A switching unit that switches a method for calculating a motion compensation value of the predetermined region to be encoded, when the motion vector detected by the motion vector detection unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector; A moving picture encoding apparatus comprising:
前記所定の動きベクトルは、前記予測部により予測された動きベクトルと異なるように設定されることを特徴とする請求項1に記載の動画像符号化装置。   The video encoding apparatus according to claim 1, wherein the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit. 前記判断部は、前記予測部により予測された動きベクトルと前記動きベクトル検出部により検出された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項1に記載の動画像符号化装置。   When the difference information between the motion vector predicted by the prediction unit and the motion vector detected by the motion vector detection unit is a predetermined value, the determination unit determines that the motion vector detected by the motion vector detection unit is The moving image encoding apparatus according to claim 1, wherein the moving image encoding apparatus determines that the predetermined motion vector is used. フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、
前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル復号化部により復号化された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル復号化部により復号化された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを特徴とする動画像復号化装置。
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A motion vector decoding unit for decoding a motion vector of a predetermined region to be decoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image;
A determination unit that determines whether or not the motion vector decoded by the motion vector decoding unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
Switching for switching a calculation method of a motion compensation value of the predetermined region to be decoded between the case where the motion vector decoded by the motion vector decoding unit is the predetermined motion vector and the case where the motion vector is not the predetermined motion vector A moving picture decoding apparatus.
前記所定の動きベクトルは、前記予測部により予測された動きベクトルと異なるように設定されることを特徴とする請求項4に記載の動画像復号化装置。   5. The moving picture decoding apparatus according to claim 4, wherein the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit. 前記判断部は、前記予測部により予測された動きベクトルと前記動きベクトル復号化部により復号化された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項4に記載の動画像復号化装置。   The determination unit is decoded by the motion vector decoding unit when difference information between the motion vector predicted by the prediction unit and the motion vector decoded by the motion vector decoding unit is a predetermined value. 5. The moving picture decoding apparatus according to claim 4, wherein the motion vector is determined to be the predetermined motion vector. フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する工程Aと、
前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する工程Bと、
前記工程Aで検出された動きベクトルが、前記工程Bで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Cと、
前記工程Aで検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える工程Dとを有することを特徴とする動画像符号化方法。
A moving image encoding method for encoding a moving image composed of a time sequence of frame images by motion compensation,
Detecting a motion vector of a predetermined region to be encoded in the frame image; and
Predicting a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image; and
Determining whether the motion vector detected in step A is a predetermined motion vector set according to the motion vector predicted in step B;
And a step D of switching a calculation method of a motion compensation value of the predetermined region to be encoded between the case where the motion vector detected in the step A is the predetermined motion vector and the case where the motion vector is not the predetermined motion vector. A video encoding method characterized by the above.
前記所定の動きベクトルは、前記工程Bで予測された動きベクトルと異なるように設定されることを特徴とする請求項7に記載の動画像符号化方法。   The video encoding method according to claim 7, wherein the predetermined motion vector is set to be different from the motion vector predicted in the step B. 前記工程Cにおいて、前記工程Bで予測された動きベクトルと前記工程Aで検出された動きベクトルとの差分情報が所定値である場合に、前記工程Aで検出された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項7に記載の動画像符号化方法。   In the step C, when the difference information between the motion vector predicted in the step B and the motion vector detected in the step A is a predetermined value, the motion vector detected in the step A is the predetermined motion. 8. The moving picture coding method according to claim 7, wherein the moving picture coding method is determined to be a vector. フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する工程Aと、
前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する工程Bと、
前記工程Aで復号化された動きベクトルが、前記工程Bで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Cと、
前記工程Aで復号化された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える工程Dとを有することを特徴とする動画像復号化方法。
A moving image decoding method for decoding a moving image composed of a time sequence of frame images by motion compensation,
Decoding a motion vector of a predetermined region to be decoded in the frame image;
Predicting a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image; and
Determining whether the motion vector decoded in step A is a predetermined motion vector set according to the motion vector predicted in step B;
A step D of switching a calculation method of a motion compensation value of the predetermined region to be decoded, when the motion vector decoded in the step A is the predetermined motion vector and when the motion vector is not the predetermined motion vector. A moving picture decoding method comprising:
前記所定の動きベクトルは、前記工程Bで予測された動きベクトルと異なるように設定されることを特徴とする請求項10に記載の動画像復号化方法。   The video decoding method according to claim 10, wherein the predetermined motion vector is set to be different from the motion vector predicted in the step B. 前記工程Cにおいて、前記工程Bで予測された動きベクトルと前記工程Aで復号化された動きベクトルとの差分情報が所定値である場合に、前記工程Aで復号化された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項10に記載の動画像復号化方法。   In the step C, when the difference information between the motion vector predicted in the step B and the motion vector decoded in the step A is a predetermined value, the motion vector decoded in the step A is The video decoding method according to claim 10, wherein the motion vector is determined to be a motion vector. コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、
前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラム。
Computer
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A motion vector detection unit for detecting a motion vector of a predetermined region to be encoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image;
A determination unit that determines whether the motion vector detected by the motion vector detection unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
A switching unit that switches a method for calculating a motion compensation value of the predetermined region to be encoded, when the motion vector detected by the motion vector detection unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector. A program for causing a function as a moving image encoding apparatus.
前記所定の動きベクトルは、前記予測部により予測された動きベクトルと異なるように設定されることを特徴とする請求項13に記載のプログラム。   The program according to claim 13, wherein the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit. 前記判断部は、前記予測部により予測された動きベクトルと前記動きベクトル検出部により検出された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項13に記載のプログラム。   When the difference information between the motion vector predicted by the prediction unit and the motion vector detected by the motion vector detection unit is a predetermined value, the determination unit determines that the motion vector detected by the motion vector detection unit is The program according to claim 13, wherein the program is determined to be the predetermined motion vector. コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、
前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラム。
Computer
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A motion vector decoding unit for decoding a motion vector of a predetermined region to be decoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image;
A determination unit that determines whether or not the motion vector decoded by the motion vector decoding unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
A switching unit that switches a method for calculating a motion compensation value of the predetermined region to be decoded, when the motion vector decoded by the motion vector decoding unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector A program for functioning as a moving picture decoding apparatus.
前記所定の動きベクトルは、前記予測部により予測された動きベクトルと異なるように設定されることを特徴とする請求項16に記載のプログラム。   The program according to claim 16, wherein the predetermined motion vector is set to be different from the motion vector predicted by the prediction unit. 前記判断部は、前記予測部により予測された動きベクトルと前記動きベクトル復号化部により復号化された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルであると判断することを特徴とする請求項16に記載のプログラム。   The determination unit is decoded by the motion vector decoding unit when difference information between the motion vector predicted by the prediction unit and the motion vector decoded by the motion vector decoding unit is a predetermined value. The program according to claim 16, wherein the motion vector is determined to be the predetermined motion vector. コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、
前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル検出部により検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A motion vector detection unit for detecting a motion vector of a predetermined region to be encoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be encoded using a motion vector of the predetermined region encoded in the frame image;
A determination unit that determines whether the motion vector detected by the motion vector detection unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
A switching unit that switches a method for calculating a motion compensation value of the predetermined region to be encoded, when the motion vector detected by the motion vector detection unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector; A computer-readable recording medium storing a program for functioning as a moving image encoding apparatus.
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、
前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、
前記動きベクトル復号化部により復号化された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、
前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A motion vector decoding unit for decoding a motion vector of a predetermined region to be decoded in the frame image;
A prediction unit that predicts a motion vector of the predetermined region to be decoded using a motion vector of the predetermined region decoded in the frame image;
A determination unit that determines whether or not the motion vector decoded by the motion vector decoding unit is a predetermined motion vector set according to the motion vector predicted by the prediction unit;
A switching unit that switches a method for calculating a motion compensation value of the predetermined region to be decoded, when the motion vector decoded by the motion vector decoding unit is the predetermined motion vector and when the motion vector is not the predetermined motion vector A computer-readable recording medium storing a program for causing a function as a moving picture decoding apparatus.
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像符号化装置。
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A transmission unit configured to transmit information related to the reference image used for calculation of the motion compensation value and information indicating the motion compensation value;
The information related to the reference image is a combination of identification information of the reference frame image and information indicating the image processing.
前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項21に記載の動画像符号化装置。
The motion compensation unit switches the reference image used for calculating a motion compensation value in units of detecting a motion vector,
The moving picture encoding apparatus according to claim 21, wherein the transmission unit transmits the information related to the reference picture and the information indicating the motion compensation value in units of detecting the motion vector. .
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項21に記載の動画像符号化装置。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
The transmission unit transmits a combination of information on the reference image, identification information of the reference frame image, and information indicating the motion compensation value in units of a predetermined region to be encoded. The moving image encoding apparatus described in 1.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項21に記載の動画像符号化装置。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The moving image encoding apparatus according to claim 21, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項21に記載の動画像符号化装置。
The image processing is processing for changing a spatial resolution,
The apparatus according to claim 21, wherein the motion compensation unit reduces the accuracy of a motion vector used to calculate a motion compensation value when the reference image having a low spatial resolution is used.
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項21に記載の動画像符号化装置。   The information relating to the reference image is characterized in that the combination of the identification information of the reference frame image and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. The moving picture encoding apparatus according to claim 21. 前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項23に記載の動画像符号化装置。   In the information related to the reference image, the combination of the identification information indicating the unit for detecting the motion vector and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. 24. The moving picture encoding apparatus according to claim 23. フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを特徴とする動画像符号化装置。
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, according to the encoding condition of a predetermined region to be encoded;
A motion image encoding device comprising: a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image subjected to the predetermined image processing.
前記参照画像生成部は、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項28に記載の動画像符号化装置。   29. The moving image encoding apparatus according to claim 28, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing in accordance with a type of unit for detecting a motion vector. 前記参照画像生成部は、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項28に記載の動画像符号化装置。   The video encoding device according to claim 28, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step. フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像復号化装置。
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit that decodes information related to a reference image used for calculating a motion compensation value in the moving image encoding device;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image specified by the information related to the reference image;
The information relating to the reference image is a combination of identification information of the reference frame image and information indicating the image processing.
前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項31に記載の動画像復号化装置。
The decoding unit decodes information related to the reference image and information indicating the motion compensation value in units of detecting a motion vector,
32. The moving picture decoding apparatus according to claim 31, wherein the motion compensation unit switches the reference picture used for calculating a motion compensation value in units of detecting the motion vector.
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項31に記載の動画像復号化装置。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
The decoding unit decodes information related to the reference image, identification information of the reference frame image, and information indicating the motion compensation value in units of a predetermined area to be decoded,
The motion compensation unit calculates a motion compensation value for a predetermined region to be decoded using the reference image generated by the information related to the reference image and the identification information of the reference frame image. 32. The moving picture decoding apparatus according to claim 31.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項31に記載の動画像復号化装置。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
32. The moving picture decoding apparatus according to claim 31, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項31に記載の動画像復号化装置。
The image processing is processing for changing a spatial resolution,
32. The moving picture decoding apparatus according to claim 31, wherein the motion compensation unit reduces the accuracy of a motion vector used for calculating a motion compensation value when the reference picture having a low spatial resolution is used.
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項31に記載の動画像復号化装置。   The information related to the reference image is characterized in that a combination of identification information of the reference frame image and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. 32. The moving picture decoding apparatus according to claim 31. 前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項33に記載の動画像復号化装置。   In the information related to the reference image, a combination of identification information indicating a unit for detecting the motion vector and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. 34. The moving picture decoding apparatus according to claim 33, wherein: フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを特徴とする動画像復号化装置。
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image in accordance with an encoding condition of a predetermined region to be decoded;
A moving image decoding apparatus comprising: a motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using a reference image generated by performing the predetermined image processing.
前記参照画像生成部は、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項38に記載の動画像復号化装置。   39. The moving picture decoding apparatus according to claim 38, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing in accordance with a type of unit for detecting a motion vector. 前記参照画像生成部は、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項38に記載の動画像復号化装置。   The video decoding device according to claim 38, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step. フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Bと、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Cとを有し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像符号化方法。
A moving image encoding method for encoding a moving image composed of time series of frame images by motion compensation,
A step A for generating a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A step B of calculating a motion compensation value for a predetermined area to be encoded using the generated reference image;
And a step C of transmitting the information related to the reference image used for calculating the motion compensation value and the information indicating the motion compensation value in combination.
The moving picture coding method, wherein the information related to the reference picture is a combination of identification information of the reference frame picture and information indicating the picture processing.
前記工程Bにおいて、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記工程Cにおいて、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項41に記載の動画像符号化方法。
In the step B, the reference image used for calculating the motion compensation value is switched in units of detecting a motion vector,
42. The moving picture coding method according to claim 41, wherein in step C, information relating to the reference picture and information indicating the motion compensation value are transmitted in units of detecting the motion vector. .
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記工程Cにおいて、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項41に記載の動画像符号化方法。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
42. In the step C, the information related to the reference image, the identification information of the reference frame image, and the information indicating the motion compensation value are transmitted in combination in a predetermined area unit to be encoded. The moving image encoding method described in 1.
前記工程Aにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項41に記載の動画像符号化方法。
In the step A, the plurality of different reference images are generated by performing a filtering process using a filter having a plurality of different passbands,
The video encoding method according to claim 41, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記工程Bにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項41に記載の動画像符号化方法。
The image processing is processing for changing a spatial resolution,
42. The moving picture coding method according to claim 41, wherein in the step B, when the reference picture having a low spatial resolution is used, the accuracy of a motion vector used for calculating a motion compensation value is lowered.
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項41に記載の動画像符号化方法。   The information relating to the reference image is characterized in that the combination of the identification information of the reference frame image and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. The video encoding method according to claim 41. 前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項43に記載の動画像符号化方法。   In the information related to the reference image, the combination of the identification information indicating the unit for detecting the motion vector and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. 45. The moving picture encoding method according to claim 43, wherein: フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Aと、
生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Bとを有することを特徴とする動画像符号化方法。
A moving image encoding method for encoding a moving image composed of time series of frame images by motion compensation,
A step of generating a reference image that has been subjected to predetermined image processing from a reference frame image in accordance with encoding conditions of a predetermined region to be encoded;
And a step B of calculating a motion compensation value for a predetermined region to be encoded, using the generated reference image subjected to the predetermined image processing.
前記工程Aにおいて、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項48に記載の動画像符号化方法。   49. The moving picture encoding method according to claim 48, wherein, in the step A, a reference image subjected to the predetermined image processing is generated according to a type of unit for detecting a motion vector. 前記工程Aにおいて、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項48に記載の動画像符号化方法。   49. The moving picture encoding method according to claim 48, wherein in step A, a reference image subjected to the predetermined image processing is generated according to a quantization step. フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Bと、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Cとを有し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像復号化方法。
A moving image decoding method for decoding a moving image composed of time series of frame images by motion compensation,
A step A for generating a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A step B of decoding information related to a reference image used for calculating a motion compensation value in the moving image encoding device;
Using the generated reference image specified by the information related to the reference image, calculating a motion compensation value for a predetermined region to be decoded;
The moving picture decoding method, wherein the information related to the reference image is a combination of identification information of the reference frame image and information indicating the image processing.
前記工程Bにおいて、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記工程Cにおいて、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項51に記載の動画像復号化方法。
In the step B, information relating to the reference image and information indicating the motion compensation value are decoded in units of detecting a motion vector,
52. The moving picture decoding method according to claim 51, wherein in the step C, the reference picture used for calculating a motion compensation value is switched in units of detecting the motion vector.
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記工程Bにおいて、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記工程Cにおいて、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項51に記載の動画像復号化方法。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
In the step B, the information related to the reference image, the identification information of the reference frame image, and the information indicating the motion compensation value are decoded in units of a predetermined area to be decoded.
In the step C, a motion compensation value is calculated for a predetermined region to be decoded using the reference image generated by the information related to the reference image and the identification information of the reference frame image. The moving picture decoding method according to claim 51.
前記工程Aにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項51に記載の動画像復号化方法。
In the step A, the plurality of different reference images are generated by performing a filtering process using a filter having a plurality of different passbands,
52. The moving picture decoding method according to claim 51, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記工程Cにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項51に記載の動画像復号化方法。
The image processing is processing for changing a spatial resolution,
52. The moving picture decoding method according to claim 51, wherein, in the step C, when the reference picture having a low spatial resolution is used, the accuracy of a motion vector used for calculating a motion compensation value is lowered.
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項51に記載の動画像復号化方法。   The information related to the reference image is characterized in that a combination of identification information of the reference frame image and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. The moving picture decoding method according to claim 51. 前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項53に記載の動画像復号化方法。   In the information related to the reference image, a combination of identification information indicating a unit for detecting the motion vector and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. 54. The moving picture decoding method according to claim 53, wherein: フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Aと、
前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Bとを有することを特徴とする動画像復号化方法。
A moving image decoding method for decoding a moving image composed of time series of frame images by motion compensation,
Generating a reference image that has been subjected to predetermined image processing from a reference frame image in accordance with the encoding conditions of a predetermined region to be decoded; and
And a step B of calculating a motion compensation value for a predetermined region to be decoded using a reference image generated by performing the predetermined image processing.
前記工程Aにおいて、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項58に記載の動画像復号化方法。   59. The moving picture decoding method according to claim 58, wherein, in the step A, a reference image subjected to the predetermined image processing is generated according to a type of unit for detecting a motion vector. 前記工程Aにおいて、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項58に記載の動画像復号化方法。   59. The moving picture decoding method according to claim 58, wherein in step A, a reference image subjected to the predetermined image processing is generated according to a quantization step. コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラム。
Computer
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A transmission unit configured to transmit information related to the reference image used for calculation of the motion compensation value and information indicating the motion compensation value;
A program for causing the information related to the reference image to function as a moving image encoding device that is a combination of identification information of the reference frame image and information indicating the image processing.
前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項61に記載のプログラム。
The motion compensation unit switches the reference image used for calculating a motion compensation value in units of detecting a motion vector,
62. The program according to claim 61, wherein the transmission unit transmits information related to the reference image and information indicating the motion compensation value in units of detecting the motion vector.
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項61に記載のプログラム。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
62. The transmission unit transmits a combination of information on the reference image, identification information of the reference frame image, and information indicating the motion compensation value in units of a predetermined region to be encoded. The program described in.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項61に記載のプログラム。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The program according to claim 61, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項61に記載のプログラム。
The image processing is processing for changing a spatial resolution,
62. The program according to claim 61, wherein the motion compensation unit reduces the accuracy of a motion vector used to calculate a motion compensation value when the reference image having a low spatial resolution is used.
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項61に記載のプログラム。   The information relating to the reference image is characterized in that the combination of the identification information of the reference frame image and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. 62. The program according to claim 61. 前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項63に記載のプログラム。   In the information related to the reference image, the combination of the identification information indicating the unit for detecting the motion vector and the information indicating the image processing is dynamically changed according to the encoding condition of the predetermined region to be encoded. 64. The program according to claim 63, wherein: コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
前記所定の画像処理を施して生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラム。
Computer
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, according to the encoding condition of a predetermined region to be encoded;
A program for causing a function to function as a moving image encoding apparatus including a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the reference image generated by performing the predetermined image processing.
前記参照画像生成部は、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項68に記載のプログラム。   69. The program according to claim 68, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a type of unit for detecting a motion vector. 前記参照画像生成部は、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項68に記載のプログラム。   The program according to claim 68, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step. コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラム。
Computer
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit that decodes information related to a reference image used for calculating a motion compensation value in the moving image encoding device;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image specified by the information related to the reference image;
A program for causing the information related to the reference image to function as a moving image decoding device that is a combination of identification information of the reference frame image and information indicating the image processing.
前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項71に記載のプログラム。
The decoding unit decodes information related to the reference image and information indicating the motion compensation value in units of detecting a motion vector,
The program according to claim 71, wherein the motion compensation unit switches the reference image used for calculation of a motion compensation value in units of detecting the motion vector.
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項71に記載のプログラム。
The information related to the reference image is a combination of identification information indicating a unit for detecting a motion vector and information indicating the image processing,
The decoding unit decodes information related to the reference image, identification information of the reference frame image, and information indicating the motion compensation value in units of a predetermined area to be decoded,
The motion compensation unit calculates a motion compensation value for a predetermined region to be decoded using the reference image generated by the information related to the reference image and the identification information of the reference frame image. The program according to claim 71.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項71に記載のプログラム。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The program according to claim 71, wherein the information indicating the image processing identifies the filter.
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項71に記載のプログラム。
The image processing is processing for changing a spatial resolution,
The program according to claim 71, wherein the motion compensation unit reduces the accuracy of a motion vector used for calculating a motion compensation value when the reference image having a low spatial resolution is used.
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項71に記載のプログラム。   The information related to the reference image is characterized in that a combination of identification information of the reference frame image and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. The program according to claim 71. 前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項73に記載のプログラム。   In the information related to the reference image, a combination of identification information indicating a unit for detecting the motion vector and information indicating the image processing is dynamically changed in accordance with an encoding condition of a predetermined region to be decoded. The program according to claim 73, wherein: コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラム。
Computer
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image in accordance with an encoding condition of a predetermined region to be decoded;
A program for functioning as a moving picture decoding apparatus including a motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using a reference image generated by performing the predetermined image processing.
前記参照画像生成部は、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項78に記載のプログラム。   79. The program according to claim 78, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a type of unit for detecting a motion vector. 前記参照画像生成部は、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することを特徴とする請求項78に記載のプログラム。   79. The program according to claim 78, wherein the reference image generation unit generates a reference image subjected to the predetermined image processing according to a quantization step. コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A transmission unit configured to transmit information related to the reference image used for calculation of the motion compensation value and information indicating the motion compensation value;
The information relating to the reference image is a computer-readable recording medium storing a program for functioning as a moving image encoding device that is a combination of identification information of the reference frame image and information indicating the image processing.
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
前記所定の画像処理を施して生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image encoding device that encodes a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image, according to the encoding condition of a predetermined region to be encoded;
A program for causing a function to function as a moving image encoding device including a motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the reference image generated by performing the predetermined image processing. A stored computer-readable recording medium.
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit that decodes information related to a reference image used for calculating a motion compensation value in the moving image encoding device;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the generated reference image specified by the information related to the reference image;
The information relating to the reference image is a computer-readable recording medium storing a program for functioning as a moving picture decoding apparatus that is a combination of identification information of the reference frame image and information indicating the image processing.
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、
前記所定の画像処理を施して生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image decoding apparatus for decoding a moving image composed of time series of frame images by motion compensation,
A reference image generation unit that generates a reference image that has been subjected to predetermined image processing from a reference frame image in accordance with an encoding condition of a predetermined region to be decoded;
A program for functioning as a moving picture decoding apparatus comprising a motion compensation unit that calculates a motion compensation value for a predetermined region to be decoded using the reference image generated by performing the predetermined image processing. A stored computer-readable recording medium.
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを特徴とする動画像符号化装置。
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A three-dimensional motion vector generation unit that generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A moving picture coding apparatus comprising: a transmission unit that transmits a combination of the three-dimensional motion vector and information indicating the motion compensation value.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項85に記載の動画像符号化装置。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The moving image coding apparatus according to claim 85, wherein the information indicating the image processing identifies the filter.
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、
前記伝送部は、前記3次元動きベクトル生成部により生成された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項85に記載の動画像符号化装置。
A three-dimensional motion vector prediction unit that predicts a three-dimensional motion vector using a correlation between a predetermined region encoded in the frame image and the predetermined region to be encoded;
The transmission unit includes difference information between the 3D motion vector generated by the 3D motion vector generation unit and the 3D motion vector predicted by the 3D motion vector prediction unit, and information indicating the motion compensation value 86. The moving picture encoding apparatus according to claim 85, wherein the transmission is performed in combination.
前記3次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項87に記載の動画像符号化装置。   88. The moving picture coding apparatus according to claim 87, wherein the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding. 前記画像処理は、空間解像度を変更する処理であり、
前記3次元動きベクトル生成部は、低い空間解像度の参照画像に対して、3次元動きベクトルの精度を落とすことを特徴とする請求項85に記載の動画像符号化装置。
The image processing is processing for changing a spatial resolution,
86. The moving picture encoding apparatus according to claim 85, wherein the three-dimensional motion vector generation unit reduces the accuracy of the three-dimensional motion vector with respect to a reference image having a low spatial resolution.
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、
前記3次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを特徴とする動画像復号化装置。
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit for decoding a three-dimensional motion vector of a predetermined area to be decoded;
A moving image decoding apparatus comprising: a motion compensation unit that calculates a motion compensation value for the predetermined region to be decoded using the generated reference image specified by the three-dimensional motion vector.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記3次元動きベクトルは、前記フィルタを識別することを特徴とする請求項90に記載の動画像復号化装置。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The moving picture decoding apparatus according to claim 90, wherein the three-dimensional motion vector identifies the filter.
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、
前記動き補償部は、前記復号化部により復号化された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項90に記載の動画像復号化装置。
A three-dimensional motion vector prediction unit that predicts a three-dimensional motion vector using a correlation between the predetermined region decoded in the frame image and the predetermined region to be decoded;
The motion compensation unit uses the difference information between the 3D motion vector decoded by the decoding unit and the 3D motion vector predicted by the 3D motion vector prediction unit, and uses the difference information of the decoding target. The moving image decoding apparatus according to claim 90, wherein a motion compensation value is calculated for a predetermined region.
前記3次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項92に記載の動画像復号化装置。   The moving picture decoding apparatus according to claim 92, wherein the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding. フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する工程Bと、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Cと、
前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Dとを有することを特徴とする動画像符号化方法。
A moving image encoding method for encoding a moving image composed of a time sequence of frame images by motion compensation,
A step A for generating a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
Generating a three-dimensional motion vector by associating the motion vector detected using the reference image with information indicating image processing performed on the reference image;
Using the generated reference image to calculate a motion compensation value for a predetermined area to be encoded;
A video encoding method comprising: a step D of transmitting the combination of the three-dimensional motion vector and information indicating the motion compensation value.
前記工程Aにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記3次元動きベクトルは、前記フィルタを識別することを特徴とする請求項94に記載の動画像符号化方法。
In the step A, the plurality of different reference images are generated by performing a filtering process using a filter having a plurality of different passbands,
95. The moving picture coding method according to claim 94, wherein the three-dimensional motion vector identifies the filter.
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する工程Eを有し、
前記工程Dにおいて、前記工程Bで生成された前記3次元動きベクトルと前記工程Eで予測された前記3次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項94に記載の動画像符号化方法。
A step E of predicting a three-dimensional motion vector using a correlation between a predetermined region encoded in the frame image and the predetermined region to be encoded;
In the step D, the difference information between the three-dimensional motion vector generated in the step B and the three-dimensional motion vector predicted in the step E and the information indicating the motion compensation value are combined and transmitted. The moving picture coding method according to claim 94, characterized in that:
前記工程Eにおいて、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項96に記載の動画像符号化方法。   The moving image coding method according to claim 96, wherein in the step E, the three-dimensional motion vector is predicted by switching contexts in arithmetic coding. 前記画像処理は、空間解像度を変更する処理であり、
前記工程Bにおいて、低い空間解像度の参照画像に対して、3次元動きベクトルの精度を落とすことを特徴とする請求項94に記載の動画像符号化方法。
The image processing is processing for changing a spatial resolution,
95. The moving picture coding method according to claim 94, wherein, in the step B, the accuracy of a three-dimensional motion vector is lowered with respect to a low spatial resolution reference picture.
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Aと、
復号化対象の所定領域の3次元動きベクトルを復号化する工程Bと、
前記3次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Cとを有することを特徴とする動画像復号化方法。
A moving image decoding method for decoding a moving image composed of a time sequence of frame images by motion compensation,
A step A for generating a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A step B of decoding a three-dimensional motion vector of a predetermined area to be decoded;
And a step C of calculating a motion compensation value for the predetermined region to be decoded using the generated reference image specified by the three-dimensional motion vector.
前記工程Aにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記3次元動きベクトルは、前記フィルタを識別することを特徴とする請求項99に記載の動画像復号化方法。
In the step A, the plurality of different reference images are generated by performing a filtering process using a filter having a plurality of different passbands,
The method of claim 99, wherein the three-dimensional motion vector identifies the filter.
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する工程Dを有し、
前記工程Cにおいて、前記工程Bで復号化された前記3次元動きベクトルと前記工程Dで予測された前記3次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項99に記載の動画像復号化方法。
Using a correlation between the decoded predetermined region in the frame image and the predetermined region to be decoded, predicting a three-dimensional motion vector,
In step C, using the difference information between the three-dimensional motion vector decoded in step B and the three-dimensional motion vector predicted in step D, a motion compensation value for the predetermined region to be decoded The video decoding method according to claim 99, wherein:
前記工程Dにおいて、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項101に記載の動画像復号化方法。   102. The moving picture decoding method according to claim 101, wherein in the step D, the three-dimensional motion vector is predicted by context switching in arithmetic coding. コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラム。
Computer
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A three-dimensional motion vector generation unit that generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A program for causing a function to function as a moving image encoding apparatus including a transmission unit that transmits the combination of the three-dimensional motion vector and information indicating the motion compensation value.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記3次元動きベクトルは、前記フィルタを識別することを特徴とする請求項103に記載のプログラム。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
104. The program according to claim 103, wherein the three-dimensional motion vector identifies the filter.
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、
前記伝送部は、前記3次元動きベクトル生成部により生成された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項103に記載のプログラム。
A three-dimensional motion vector prediction unit that predicts a three-dimensional motion vector using a correlation between a predetermined region encoded in the frame image and the predetermined region to be encoded;
The transmission unit includes difference information between the 3D motion vector generated by the 3D motion vector generation unit and the 3D motion vector predicted by the 3D motion vector prediction unit, and information indicating the motion compensation value 104. The program according to claim 103, which is transmitted in combination.
前記3次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項105に記載のプログラム。   The program according to claim 105, wherein the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding. 前記画像処理は、空間解像度を変更する処理であり、
前記3次元動きベクトル生成部は、低い空間解像度の参照画像に対して、3次元動きベクトルの精度を落とすことを特徴とする請求項103に記載のプログラム。
The image processing is processing for changing a spatial resolution,
104. The program according to claim 103, wherein the three-dimensional motion vector generation unit reduces the accuracy of the three-dimensional motion vector with respect to a reference image having a low spatial resolution.
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、
前記3次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラム。
Computer
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit for decoding a three-dimensional motion vector of a predetermined area to be decoded;
A function for functioning as a moving picture decoding apparatus comprising a motion compensation unit that calculates a motion compensation value for the predetermined region to be decoded using the generated reference picture specified by the three-dimensional motion vector. program.
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記3次元動きベクトルは、前記フィルタを識別することを特徴とする請求項108に記載のプログラム。
The reference image generation unit generates the plurality of different reference images by performing a filtering process using a filter having a plurality of different passbands;
The program according to claim 108, wherein the three-dimensional motion vector identifies the filter.
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、3次元動きベクトルを予測する3次元動きベクトル予測部を具備し、
前記動き補償部は、前記復号化部により復号化された前記3次元動きベクトルと前記3次元動きベクトル予測部により予測された前記3次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項108に記載のプログラム。
A three-dimensional motion vector prediction unit that predicts a three-dimensional motion vector using a correlation between the predetermined region decoded in the frame image and the predetermined region to be decoded;
The motion compensation unit uses the difference information between the 3D motion vector decoded by the decoding unit and the 3D motion vector predicted by the 3D motion vector prediction unit, and uses the difference information of the decoding target. The program according to claim 108, wherein a motion compensation value is calculated for a predetermined area.
前記3次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記3次元動きベクトルを予測することを特徴とする請求項110に記載のプログラム。   111. The program according to claim 110, wherein the three-dimensional motion vector prediction unit predicts the three-dimensional motion vector by switching contexts in arithmetic coding. コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて3次元動きベクトルを生成する3次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記3次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving image encoding device that encodes a moving image formed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A three-dimensional motion vector generation unit that generates a three-dimensional motion vector by associating a motion vector detected using the reference image with information indicating image processing performed on the reference image;
A motion compensation unit that calculates a motion compensation value for a predetermined region to be encoded using the generated reference image;
A computer-readable recording medium storing a program for causing it to function as a moving image encoding apparatus including a transmission unit that transmits the combination of the three-dimensional motion vector and the information indicating the motion compensation value.
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の3次元動きベクトルを復号化する復号化部と、
前記3次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
Computer
A moving picture decoding apparatus for decoding a moving picture composed of a time sequence of frame images by motion compensation,
A reference image generation unit that generates a plurality of different reference images by performing a plurality of different image processes from the reference frame image;
A decoding unit for decoding a three-dimensional motion vector of a predetermined area to be decoded;
A function for functioning as a moving picture decoding apparatus comprising a motion compensation unit that calculates a motion compensation value for the predetermined region to be decoded using the generated reference picture specified by the three-dimensional motion vector. A computer-readable recording medium storing a program.
JP2006281984A 2001-11-30 2006-10-16 Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program Pending JP2007049741A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006281984A JP2007049741A (en) 2001-11-30 2006-10-16 Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001367940 2001-11-30
JP2002129434 2002-04-30
JP2006281984A JP2007049741A (en) 2001-11-30 2006-10-16 Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003548551A Division JP3936335B2 (en) 2001-11-30 2002-11-29 Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, program, and computer-readable recording medium storing program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010008493A Division JP2010114933A (en) 2001-11-30 2010-01-18 Moving image coding apparatus, moving image decoding apparatus, method of coding moving image, method of decoding moving image, program, and computer readable recording medium with the program stored thereon

Publications (1)

Publication Number Publication Date
JP2007049741A true JP2007049741A (en) 2007-02-22

Family

ID=37852142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006281984A Pending JP2007049741A (en) 2001-11-30 2006-10-16 Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program

Country Status (1)

Country Link
JP (1) JP2007049741A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502332A (en) * 2012-11-13 2016-01-21 インテル・コーポレーション Predicted characteristics compensated for next-generation video content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638197A (en) * 1992-06-30 1994-02-10 Sony Corp Coder, decoder and coding method
JPH09121359A (en) * 1995-10-26 1997-05-06 Hitachi Ltd Picture coding and decoding methods
JPH10191324A (en) * 1996-11-07 1998-07-21 Matsushita Electric Ind Co Ltd Image encoding method, image encoder, and recording medium recorded with image encoding program
JPH11262018A (en) * 1998-03-09 1999-09-24 Victor Co Of Japan Ltd Motion compensation coder, motion compensation coding method and motion compensation recording medium therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638197A (en) * 1992-06-30 1994-02-10 Sony Corp Coder, decoder and coding method
JPH09121359A (en) * 1995-10-26 1997-05-06 Hitachi Ltd Picture coding and decoding methods
JPH10191324A (en) * 1996-11-07 1998-07-21 Matsushita Electric Ind Co Ltd Image encoding method, image encoder, and recording medium recorded with image encoding program
JPH11262018A (en) * 1998-03-09 1999-09-24 Victor Co Of Japan Ltd Motion compensation coder, motion compensation coding method and motion compensation recording medium therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502332A (en) * 2012-11-13 2016-01-21 インテル・コーポレーション Predicted characteristics compensated for next-generation video content
US9762929B2 (en) 2012-11-13 2017-09-12 Intel Corporation Content adaptive, characteristics compensated prediction for next generation video

Similar Documents

Publication Publication Date Title
JP5802145B2 (en) Video encoding device
RU2715015C1 (en) Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method
TWI720750B (en) Dynamic image encoding device and dynamic image encoding method
KR100924850B1 (en) Moving picture signal coding method and decoding method
KR101848228B1 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP3277111B2 (en) Video encoding device and video decoding device
JP2010504010A (en) Data compression method in video sequence
KR100856392B1 (en) Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame
JP2001224036A (en) Moving picture coder
JP2007049741A (en) Moving image coding apparatus, moving image decoding apparatus, moving image coding method, moving image decoding method, program, and computer-readable recording medium containing the program
JP2007060689A (en) Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and compute-readable recording medium containing the program
JPH11346368A (en) Image processing method, image processing unit and data storage medium
JP6872412B2 (en) Video coding device and program
KR100220581B1 (en) The vertex coding apparatus for object contour encoder
JP2006074499A (en) Image encoder and image encoding program
JPWO2012172668A1 (en) Moving picture encoding method and apparatus, and moving picture decoding method and apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316