CN104270637B - 图像解码装置以及图像解码方法 - Google Patents

图像解码装置以及图像解码方法 Download PDF

Info

Publication number
CN104270637B
CN104270637B CN201410444211.4A CN201410444211A CN104270637B CN 104270637 B CN104270637 B CN 104270637B CN 201410444211 A CN201410444211 A CN 201410444211A CN 104270637 B CN104270637 B CN 104270637B
Authority
CN
China
Prior art keywords
motion prediction
motion
motion vector
prediction mode
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
CN201410444211.4A
Other languages
English (en)
Other versions
CN104270637A (zh
Inventor
关口俊
关口俊一
杉本和夫
伊谷裕介
峯泽彰
加藤嘉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43222450&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104270637(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN104270637A publication Critical patent/CN104270637A/zh
Application granted granted Critical
Publication of CN104270637B publication Critical patent/CN104270637B/zh
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

图像编码装置具备：预测部(4)，其根据各颜色成分信号适应性地决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动矢量；可变长编码部(8)，其在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与预测矢量相等、且不存在预测误差信号(5)，则设为mc_skip模式来进行编码，在运动矢量分配区域为规定的大小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与预测矢量相等、且不存在预测误差信号(5)，则设为sub_mc_skip模式来进行编码。

Description

图像解码装置以及图像解码方法
本发明是2010年5月27日递交的国际申请号为PCT/JP2010/003553的PCT申请进入中国国家阶段的、国家申请号为“201080023464.4”、发明名称为“图像编码装置、图像解码装置、图像编码方法以及图像解码方法”的申请的分案申请。
技术领域
本发明涉及一种在图像压缩编码技术、压缩图像数据传输技术等中使用的图像编码装置、图像解码装置、图像编码方法以及图像解码方法。
背景技术
以往，在MPEG、ITU-T H.26x等国际标准影像编码方式中，将输入影像帧以由16×16像素块形成的宏块(macro block)的单位来进行分割后进行压缩处理。
另一方面，近年来，期望对具有与HDTV(High Definition TeleVision(高清晰度电视)，1920×1080像素)的4倍相当的空间分辨率的4K×2K像素的影像格式、进而与其4倍相当的8K×4K像素的影像格式、或者增加颜色信号的采样数来提高颜色再现性的4：4：4影像信号格式等的高清晰·高质量影像进行压缩编码的技术。在对这种高清晰·高质量影像进行压缩编码的情况下，通过16×16像素的宏块是无法进行充分利用图像信号相关的编码，难以实现高压缩率。为了应对这种问题，提出了如下技术：例如将以往的16×16像素宏块的大小如非专利文献1那样扩展为32×32像素块，通过使运动矢量的分配单位变大来削减预测所需的参数的代码量，或者通过使预测误差信号的变换编码的块大小变大来有效地去除信号的像素间相关。
图21是表示非专利文献1的编码装置的结构的框图。在非专利文献1的编码中，首先，将作为编码对象的输入影像信号1001在块分割部1002中以宏块(与亮度信号相当的32像素×32线的矩形块)的单位来进行分割，并作为编码影像信号1003输入到预测部1004。
在预测部1004中，将宏块内的各颜色成分的图像信号在帧内·帧间进行预测，来得到预测误差信号1005。特别是在帧间进行运动补偿预测的情况下，以宏块本身、或者将宏块进一步细分而成的子块的单位来搜索运动矢量，根据运动矢量生成运动补偿预测图像，取与编码影像信号1003的差分，由此得到预测误差信号1005。
压缩部1006针对预测误差信号1005，一边与运动矢量的分配单位区域的大小相应地变更块大小，一边实施DCT(离散余弦变换)处理来去除信号相关之后，进行量化来得到压缩数据1007。压缩数据1007在可变长编码部1008中被进行熵编码而作为比特流1009输出，并且被送至局部解码部1010，得到解码预测误差信号1011。
将该解码预测误差信号1011与使用于预测误差信号1005的生成的预测信号1012相加来设为解码信号1013，并输入到环路滤波器1014。解码信号1013在环路滤波器1014中被实施去除块失真的处理之后，作为用于生成以后的预测信号1012的参照图像信号1015保存到存储器1016中。此外，为了得到预测信号1012而在预测部1004中决定的预测信号生成用参数1017被送至可变长编码部1008，多路复用到比特流1009而被输出。在此，预测信号生成用参数1017中例如包含表示如何进行帧内的空间预测的帧内预测模式、表示帧间的运动量的运动矢量等信息。
以往的MPEG、ITU-T H.26x等的国际标准影像编码方式中作为宏块大小采用了16×16像素块，与此相对，在非专利文献1中，使用32×32像素块的宏块大小(超宏块：SMB)。图22表示在针对每个M×M像素宏块进行运动补偿预测时的运动矢量分配区域的分割形状的样子，图22的(a)是非专利文献1的SMB，图22的(b)是以往的MPEG-4AVC/H.264(参照非专利文献2)的宏块。SMB设为像素数M＝32来将每个运动矢量所覆盖的运动预测区域的面积取得较大，与此相对，以往的宏块使用像素数M/2＝16。由此，在SMB中作为画面整体所需的运动矢量的信息量与像素数M/2＝16相比变少，因此能够抑制作为比特流应传输的运动矢量代码量。
非专利文献1：Siwei Ma and C.-C.Jay Kuo，″High-definition Video Codingwith Super-macroblocks″，Proc.SPIE，Vol.6508，650816(2007)
非专利文献2：MPEG-4AVC(ISO/IEC 14496-10)/ITU-T H.264标准。
发明内容
在非专利文献1、2的以往方式中，设置如下称为跳过模式的特别模式：在上述运动预测的结果，完全不产生关于运动矢量、预测误差信号应编码的数据。例如，在非专利文献2中，将“运动矢量与其预测值一致，并且预测误差信号的变换系数全部为零”的事例定义为跳过模式。另外，能够选择跳过模式的情况被限定于分配运动矢量的区域的大小与宏块的大小相同时。因此，在如非专利文献1那样扩展宏块大小的情况下，存在如下问题：仅对最大大小的运动预测块设定跳过模式，因此与其相比大小更小的运动预测块不应用跳过模式而难以高效进行编码。
本发明是为了解决如上所述的问题而完成的，其目的在于提供一种如下的图像编码装置及其方法、以及图像解码装置及其方法：实现安装负荷平衡良好且与作为编码对象的影像信号的统计和局部性质相应地更好地去除信号相关来进行高效的信息压缩的影像编码方法，为了进行超高清晰影像信号的编码而提高了最优性。
本发明所涉及的图像解码装置，将把运动图像信号的各帧分割为块、并对所述块进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码装置的特征在于，具备：解码部，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进行解码；预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第二运动预测单位块的运动矢量来生成预测图像，在所述第一运动预测模式不是跳过模式、而且所述第二运动预测模式不是跳过模式的情况下，根据所述第二运动预测模式以及运动矢量生成预测图像；以及加法部，在所述第一运动预测模式或者所述第二运动预测模式是跳过模式的情况下，将设定为零的预测误差信号与所述预测图像相加。
本发明所涉及的图像解码方法，将把运动图像信号的各帧分割为块、并对所述块进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码方法的特征在于，包括：解码步骤，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进行解码；预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第二运动预测单位块的运动矢量来生成预测图像，在所述第一运动预测模式不是跳过模式、而且所述第二运动预测模式不是跳过模式的情况下，根据所述第二运动预测模式以及运动矢量生成预测图像；加法运算步骤，在所述第一运动预测模式或者所述第二运动预测模式是跳过模式的情况下，将设定为零的预测误差信号与所述预测图像相加。
本发明所涉及的图像编码装置具备：预测部，在宏块中根据规定条件适应性地决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动矢量；以及编码部，在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动预测单位块的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进行编码的数据，则作为第一跳过模式进行编码；在运动矢量分配区域为规定的大小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动矢量分配区域的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进行编码的数据，则作为第二跳过模式进行编码。
本发明所涉及的图像解码装置具备：解码部，从比特流解码得到表示宏块内的运动预测单位块的大小、确定将运动预测单位块分割得到的运动矢量分配区域的形状的运动预测模式、以及与运动矢量分配区域对应的运动矢量的数据，根据该运动预测模式来确定运动预测单位块是否为第一跳过模式、以及运动矢量分配区域是否为第二跳过模式；以及预测部，在运动预测单位块为第一跳过模式的情况或者运动矢量分配区域为第二跳过模式的情况下，根据周边的运动矢量求出预测矢量来设定为运动矢量，并且将运动预测误差信号全部设定为零来生成预测图像，在运动预测单位块不是第一跳过模式、且该运动预测单位块的运动矢量分配区域不是第二跳过模式的情况下，根据解码部解码得到的运动预测模式和运动矢量生成预测图像。
本发明所涉及的图像编码方法具备：预测步骤，在宏块中根据规定条件适应性地决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动矢量；以及编码步骤，在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动预测单位块的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进行编码的数据，则作为第一跳过模式进行编码，在运动矢量分配区域为规定的大小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动矢量分配区域的运动矢量求出的预测矢量相等、且不存在作为运动预测误差信号进行编码的数据，则作为第二跳过模式进行编码。
本发明所涉及的图像解码方法具备：解码步骤，从比特流解码得到表示宏块内的运动预测单位块的大小、确定将运动预测单位块分割得到的运动矢量分配区域的形状的运动预测模式、以及与运动矢量分配区域对应的运动矢量的数据，根据该运动预测模式来确定运动预测单位块是否为第一跳过模式、以及运动矢量分配区域是否为第二跳过模式；跳过模式预测步骤，在运动预测单位块为第一跳过模式的情况或者运动矢量分配区域为第二跳过模式的情况下，根据周边的运动矢量求出预测矢量来设定为运动矢量，并且将运动预测误差信号全部设定为零来生成预测图像；以及预测步骤，在运动预测单位块不是第一跳过模式、且运动预测单位块的运动矢量分配区域不是第二跳过模式的情况下，解码得到表示与运动矢量分配区域对应的运动矢量的数据，根据该运动矢量和通过解码步骤解码得到的运动预测模式生成预测图像。
根据本发明，关于运动预测单位块和运动矢量分配区域分别设定第一跳过模式和第二跳过模式，因此在进行4：4：4格式的影像信号的编码的情况下，能够构成可进行跳过模式的分层表现并灵活地适应各颜色成分信号的时间变化的特性的图像编码装置和图像解码装置，能够对4：4：4格式的影像信号进行最佳的编码处理。
附图说明
图1表示本发明的实施方式1所涉及的图像编码装置和图像解码装置作为处理对象的4：4：4格式。
图2是表示实施方式1所涉及的图像编码装置的结构的框图。
图3是表示图2所示的块分割部所生成的基准块的说明图。
图4是表示由图2所示的预测部进行的将运动预测单位块以基本块单位来分割后的形状例的说明图。
图5是表示图2所示的预测部的动作的流程图。
图6是用于说明由预测部进行的成本J的计算方法的图。
图7是表示由预测部进行的运动预测模式mc_mode1～4的预测矢量PMV的计算例的图。
图8是用于说明跳过模式的图。
图9是用于说明可变长编码部的熵编码方法的图。
图10是表示图2所示的可变长编码部的内部结构的框图。
图11是表示图2所示的可变长编码部的动作的流程图。
图12是表示上下文模型(ctx)的概念的说明图。
图13是表示与运动矢量有关的上下文模型(ctx)的例的说明图。
图14是说明运动预测模式的相关的差异的图，图14的(a)、(b)示出在基本块Ba、Bb中选择的运动预测模式的两种状态。
图15是表示图10所示的二值化部的运动预测模式的二值化结果的图。
图16A是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示bin0的上下文模型选择方法。
图16B是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示bin1的上下文模型选择方法。
图16C是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示bin2的上下文模型选择方法。
图16D是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示bin4的上下文模型选择方法。
图16E是说明由图10所示的二值化部进行的运动预测模式的二值化的图，表示bin5的上下文模型选择方法。
图17是表示比特流的数据排列的说明图。
图18是表示实施方式1所涉及的图像解码装置的结构的框图。
图19是表示图18所示的可变长解码部的内部结构的框图。
图20是表示图18所示的可变长解码部的动作的流程图。
图21是表示非专利文献1的编码装置的结构的框图。
图22表示在非专利文献1的编码装置中针对每个宏块进行运动补偿预测时的运动矢量分配区域的分割形状的样子。
具体实施方式
实施方式1.
下面，参照附图详细说明本发明的实施方式。
在本实施方式中，关于进行以4：4：4格式输入的数字影像信号的压缩和解压缩的图像编码装置和图像解码装置，说明与各颜色成分的信号的状态相适应地进行运动补偿预测处理的图像编码装置和图像解码装置。
在此，图1示出实施方式1所涉及的图像编码装置和图像解码装置作为输入所使用的4：4：4格式。4：4：4格式是指，如图1的(a)所示，构成彩色运动图像的三个信号成分C0、C1、C2的像素数都相同的格式。三个信号成分的颜色空间既可以是RGB或者XYZ，也可以是亮度·色差(YUV、YCbCr、或者YPbPr)。相对于4：4：4格式，图1的(b)所示的4：2：0格式表示如下格式：颜色空间是YUV、YCbCr、或者YPbPr，并且相对于亮度Y的像素数，色差信号成分(例如若是YCbCr，则Cb、Cr)的像素数在水平W·垂直H分别为二分之一。
关于以下说明的图像编码装置和图像解码装置，特别限定于4：4：4格式的颜色空间为YUV、YCbCr或者YPbPr、并且将各颜色成分视为与亮度成分相当来进行处理的方式，来进行说明。但是，以下说明的动作在以4：2：0格式的影像信号为对象的图像编码装置和图像解码装置中也能够对其亮度信号直接应用，这是显然的。
1.图像编码装置
图2是表示实施方式1所涉及的图像编码装置的结构的框图。图2所示的图像编码装置构成为：将4：4：4格式的输入影像帧分割为规定大小的块、即Mmax×Mmax像素块(以下，称为“基准块”)，以该基准块的单位来进行运动预测，对预测误差信号进行压缩编码。
首先，作为编码对象的输入影像信号1在块分割部2中以基准块的单位被分割并作为编码信号3输入到预测部4。图3示出块分割部2所生成的基准块。如图3所示，基准块构成为将由Mmax×Mmax像素构成的矩形的块汇总而成的单位的基准块数据。详细内容在后文说明，基准块大小Mmax是在帧或者序列、或者GOP(Group Of Pictures：图像组)等的上位层数据级别中决定和编码。此外，也可以构成为在帧内变更基准块大小Mmax，在该情况下，以切片(slice)等的将多个宏块汇总而成的单位来指定基准块大小Mmax。
基准块数据进一步被分割成Li×Mi像素块(i：颜色成分标识符)的“运动预测单位块”，以运动预测单位块为基础来进行运动预测、编码。图3的(a)中的运动预测单位块的图案为L0＝Mmax/2、M0＝Mmax/2，图3的(b)中的运动预测单位块的图案为L0＝Mmax/2、M0＝Mmax，图3的(a)、(b)中都是L1＝M1＝L2＝M2＝Mmax。此外，在下面的说明中，关于4：4：4格式的各颜色成分的基准块，设为在三个颜色成分C0、C1、C2中相同，在变更基准块大小Mmax的情况下，对于三个颜色成分都变更为同一大小。另外，关于运动预测单位块的各个大小Li、Mi，也可以构成为能够针对每个颜色成分C0、C1、C2进行选择，能够以序列、GOP、帧、基准块等的单位来进行变更。通过采用这种结构，无需变更基准块大小Mmax，能够根据每个颜色成分的信号的性质的差异来灵活地决定运动预测单位块大小Li、Mi，能够进行考虑了以基准块为单位的编码·解码处理的并行化·流水线操作化的高效的安装。
在预测部4中，对基准块内的各颜色成分的图像信号进行运动补偿预测，来得到预测误差信号(运动预测误差信号)5。预测部4的动作是本实施方式1的图像编码装置的特征，因此后面详细说明。压缩部6对预测误差信号5实施DCT处理等变换处理来去除信号相关之后，进行量化来得到预测误差压缩数据7。此时，在压缩部6中对预测误差信号5进行DCT等正交变换·量化，将预测误差压缩数据7输出到可变长编码部(编码部)8和局部解码部10。
可变长编码部8对预测误差压缩数据7进行熵编码来作为比特流9进行输出。局部解码部10从预测误差压缩数据7得到解码预测误差信号11。该解码预测误差信号11在加法部中与使用于预测误差信号5的生成的预测信号(预测图像)12相加而成为解码信号13并输入到环路滤波器14。此外，为了得到预测信号12而在预测部4中决定的预测信号生成用参数17被送至可变长编码部8，并作为比特流9被输出。关于预测信号生成用参数17的内容，与预测部4的说明一起后面详细说明。另外，可变长编码部8中的预测信号生成用参数17的编码方法也是本实施方式1的特征之一，因此后面详细说明。
环路滤波器14使用预测信号生成用参数17和量化参数19对重叠有随着压缩部6中的变换系数量化产生的块失真的解码信号13实施块失真去除滤波。解码信号13在环路滤波器14中被实施去除编码噪声的处理之后作为用于生成以后的预测信号12的参照图像信号15而保存到存储器16中。
在非专利文献1、2等影像编码方式中，一般采用在以基准块为宏块的情况下一边以宏块的单位来选择帧内编码、帧间预测编码一边进行编码的方法。这起因于存在如下情况：在帧间的运动预测不充分的情况下，利用帧内的相关的情况下编码更有效率。以后，在本实施方式1的图像编码装置中，在说明发明点时，关于针对帧内编码的描述、其选择性使用，在文中不进行明确说明，在不特别说明的情况下，设为能够进行以基准块为单位的帧内编码的选择性使用的结构。在本实施方式1的图像编码装置中，也可以将基准块定义为宏块，但是为了说明运动预测，以后也使用基准块这一用语。
下面，说明作为本实施方式1的特征之一的预测部4的详细的动作。本实施方式1的预测部4的特征是以下3点。
(1)基准块·运动预测单位块的大小与在运动预测中使用的分割形状的联动适应化
(2)与各颜色成分的性质相应的运动预测模式、运动矢量的决定
(3)基于基准块·运动预测单位块的大小的适应性的跳过模式选择
关于上述(1)，预测部4首先与各颜色成分的信号的性质相应地将基准块分割成Li×Mi像素的运动预测单位块，进一步将运动预测单位块分割成由li×mi像素的组合构成的多个形状。然后，预测部4对各分割区域分别分配固有的运动矢量来进行预测，将预测效率最优的形状选择为运动预测模式，使用作为其结果得到的运动矢量来进行对于各分割区域的运动预测，得到预测误差信号5。设运动预测单位块内的分割形状采取由包括li×mi像素的“基本块”的组合构成的形状。在本实施方式1的图像编码装置中，在Mi与mi之间、Li与li之间设置“mi＝Mi/2”、“li＝Li/2”的限制。图4中示出根据该条件确定的基本块的分割形状。图4是表示由预测部4进行的将运动预测单位块以基本块单位来分割后的形状例的说明图。下面，设在本实施方式1的图像编码装置中，将图4所示的分割形状的图案(分割图案)mc_mode0～7对于三个颜色成分共用。但是，也可以构成为对三个颜色成分独立确定分割图案mc_mode0～7。此外，下面，将该分割图案mc_mode0～7称为“运动预测模式”。
在非专利文献1、2的影像编码方式中，运动预测适用区域的形状被限定为矩形，无法使用如图4那样的矩形以外的对角分割。与此相对，在本实施方式1中，通过使如图4那样的适用运动预测的区域的形状多样化，运动物体的轮廓部分等在基准块内包含复杂的运动的情况下，能够以比矩形分割少的运动矢量条数进行运动预测。
另外，在“S.Kondo and H.Sasai，″A Motion Compensation Technique usingSliced Blocks and its Application to Hybrid Video Coding″，VCIP 2005，July2005”中，公开了针对以往的宏块的运动预测适用区域的分割形状的多样化方法。在该文献中，通过进行宏块分割的线段与其块边界之间的交点位置来表现分割形状。然而，该方法是固定了像素数M的状态下增加基准块内的分割图案的方法，存在以下问题。
问题1：
用于描述基准块的分割图案的代码量增加。由于允许满足Mmax mod mi＝0的任意的mi，基准块内的分割图案增加，需要将用于指定该图案的信息作为开销信息进行编码。分割图案越增加，某特定的分割图案产生的概率越分散，因此分割图案的熵编码的效率差，成为作为代码量的开销而在编码的整体性能上产生限度。
问题2：
由于分割图案增加，编码时为了选择最佳的分割而所需的运算量增大。运动预测是占编码处理负荷的大部分的高负荷处理，在分割图案胡乱增加的算法中，将图像编码装置必须设计成从中仅验证和利用特定的分割图案。因而，图像编码装置有时无法最大限度地有效利用算法所具有的原来的性能。
与此相对，在本实施方式1的图像编码装置中的图4的研究中，首先，通过采取1)设为能够根据编码的条件、影像信号的分辨率、性质来在帧等的上位级别中变更Mmax的值、2)设为能够与每个颜色成分Ci的特性相应地将Mmax×Mmax的像素块分割成基本块Li×Mi像素、3)在将基本块的分割条件限定为满足“mi＝Mi/2”、“li＝Li/2”的限制的分割形状的基础上确保分割的变化(variation)、这三个措施，解决上述问题。关于基本块的大小Mmax的值，不在帧、切片内局部地变更而仅在帧级别或者帧列(序列、GOP)等的上位数据结构级别中能够进行变更。该结构能够实现对于包含在基准块内的图像信号图案的含义的差异的适应化。例如，在分辨率小的(Video Graphics Array，VGA等)影像和分辨率大的(HDTV等)影像中，相同的Mmax×Mmax像素块内的信号图案所表现的含义不同。在预测同一被摄体的情况下，在分辨率小的影像中与被摄体的结构相近的信号图案被捕捉，但是在分辨率大的影像中，即使使用与分辨率小的时候相同的块大小也只不过捕捉被摄体的更局部的部位的信号图案。因而，在基准块的大小不依赖于分辨率而相同的情况下，随着分辨率变高，基准块内的信号图案中噪声成分的要素变大，无法提高作为图案匹配技术的运动预测的性能。
因此，通过设为仅在上位数据结构级别中能够变更基准块大小Mmax的值，能够抑制基准块大小Mmax的值的信号化所需的代码量，并且能够根据影像的分辨率、场景变化(scenechange)、画面整体的活动变化等状况，来将包含在基准块中的信号图案在运动预测的含义上最优化。除了该结构以外，通过设为如图3那样能够按每个颜色成分变更运动预测单位块内的分割图案，能够与各颜色成分的信号特性相应地使运动预测的处理单位最优化。并且，通过在运动预测单位块内如图4那样赋予分割图案的限定性自由度，能够抑制运动预测单位块内的分割图案的表现所需要的代码量的同时改善运动预测的整体效率。另外，如果能够高效地进行在帧级别中决定基准块大小Mmax的值的处理，则以后就能够将在基准块内应检查的分割图案的变化与以往技术相比抑制为较少，能够使编码处理的负荷变小。
决定基准块大小Mmax的值的方法中例如有如下方法。
(1)根据编码对象影像的分辨率决定。在相同Mmax值的情况下，在分辨率大的情况下，基准块内的图像信号图案更具有噪声成分上的意思，运动矢量难以捕捉图像信号图案。在这种情况下使Mmax值变大来使得能够捕捉图像信号图案。
(2)将帧间的差分值的大小视为活动，在活动大的情况下，以小的Mmax值进行运动预测，在活动小的情况下，以大的Mmax值进行运动预测。另外，此时的大小控制是根据编码对象影像的帧频来决定的。帧频越高，则帧间相关越大，运动矢量本身的动态范围越小，其代码量越小，因此考虑如下方法等：即使活动稍微小，也将Mmax值设定成不会过大来使得能够预测到细的运动。
(3)将(1)和(2)的方法以加权方式进行组合，来进行判断。
在决定基准块大小Mmax的值之后，按每个颜色成分决定运动预测单位块的大小Li、Mi。例如在输入影像信号1为在YUV(或者YCbCr等)的颜色空间中定义的信号的情况下，作为颜色信号的U/V成分与亮度信号Y成分相比信号频带窄。因而，块内分散与亮度相比变小。将此作为依据，考虑构成为如下判断基准的例子(参照图3)：关于U/V成分的大小Li、Mi，取比亮度信号Y成分的大小Li、Mi大的值。
作为进行这些判断的结果所得到的各块大小Mmax、Li、Mi的值作为基准块大小信息18被通知到块分割部2、预测部4、可变长编码部8。此外，如果如图3那样相对于Mmax将Li、Mi设定为能够通过简单的运算导出的值，则不将Li、Mi作为独立的值来进行编码而只要对计算式的标识符进行编码即可，因此能够抑制基准块大小信息18所需的代码量。
此外，虽然在图2中没有特别图示，但是图像编码装置也可以是具备基准块大小决定部来决定基准块大小信息18的结构，该基准块大小决定部用于决定Mmax、Li、Mi的值并通知给各部。
预测部4基于根据基准块大小信息18导出的运动预测单位块大小Li、Mi，执行使用图3、图4的分割图案的运动检测处理。图5是表示预测部4的动作的流程图。预测部4以Li×Mi像素的运动预测单位块为单位对该帧的Ci成分进行运动预测。基本上，在该过程中，关于图4的mc_mode0～7的各个分割图案，在所指定的运动搜索范围内检测每个分割区域的最优运动矢量，最终决定关于该运动预测单位块使用mc_mode0～7中的哪个运动预测模式的情况下预测效率最高。
预测效率是通过根据运动预测单位块内的运动矢量的总代码量R、以及根据适用该运动矢量来保存在存储器16内的参照图像生成的预测信号12与输入影像信号1之间的预测误差量D导出的下述成本J来进行定义。预测部4构成为输出该成本J为最小的运动预测模式和运动矢量。
J＝D+λR(λ：常数) (1)
因此，预测部4首先对各运动预测模式mc_modek进行成本Jk的计算(步骤ST1)。图6中以mc_mode5的事例为例说明成本J的计算方法。此时，帧F(t)内的被预测对象的运动预测单位块由两个分割区域B0、B1构成。另外，设存储器16内保存有两张已完成编码·局部解码的参照图像F’(t-1)、F’(t-2)，分割区域B0、B1能够使用这两张参照图像F’(t-1)、F’(t-2)来进行运动预测。在图6中，分割区域B0使用参照图像F’(t-2)来检测运动矢量MVt-2(B0)，分割区域B1使用参照图像F’(t-1)来检测运动矢量MVt-1(B1)。当将B设为分割区域，将Sn(x)设为第n帧的画面内位置x＝(i，j)处的像素值，将v设为运动矢量时，能够使用差分绝对值和(Sum of Absolute Difference，SAD)作为下式(2)计算分割区域B的预测误差量D。
根据进行上式(2)的计算的结果所得到的与分割区域B0、B1对应的预测误差量D0、D1，作为D＝D0+D1求出预测误差量D。
另一方面，使用预测矢量PMV(B0)、PMV(B1)，根据下式(3)得到运动矢量预测差分值MVD(B0)、MVD(B1)，对这些值进行代码量换算来得到代码量R0、R1，作为总代码量R＝R0+R1求出总代码量R。
MVD(B0)＝MVt-2(B0)-PMV(B0) (3)
MVD(B1)＝MVt-1(B1)-PMV(B1)
通过以上内容，求出成本J。预测部4关于搜索范围内的作为检查对象的所有的运动矢量进行成本J的计算，求出成本J最小的解来作为mc_mode5的分割图案。此外，图7中示出mc_mode1～4的预测矢量PMV的计算例。在图7中，箭头表示在预测矢量的导出中利用的周边的运动矢量MV，用○包围的三个运动矢量MV的中值(中央值)成为其所指示的分割区域的预测矢量PMV。
此外，构成为：在对Li×Mi像素块选择了k＝7即mc_mode7的情况下，进一步对li×mi像素块选择与mc_mode0～7的模式相当的运动预测模式。为了便于说明，将此时的模式的名称设为sub_mc_mode0～7。设对li×mi像素块决定sub_mc_mode的处理按照图5的处理流程，设与Li×Mi像素块单位对应的mc_mode7的成本J7为使用以li×mi像素块为单位确定的sub_mc_mode得到的总成本。
接着，预测部4验证这样求出的mc_modek下的成本Jk是否小于到此为止验证的mc_modek下的成本(步骤ST2)，在小的情况下(步骤ST2“是”)，将mc_modek保持为到此时刻为止的最佳运动预测模式，并且保持此时的运动矢量和预测误差信号(步骤ST3)。预测部4在验证完所有的运动预测模式时(步骤ST4“是”)，将到此为止保持的运动预测模式、运动矢量、预测误差信号5作为最终解进行输出(步骤ST5)。否则(步骤ST2“否”或者步骤ST4“否”)，在步骤ST6中使变量k递增，返回到步骤ST1来验证下一个运动预测模式。
此外，在与mc_mode0、sub_mc_mode0相当的运动预测模式中，将其运动矢量与预测矢量一致(应编码的预测差分值为0)、且预测误差信号的变换·量化后的系数全部为0的事例分别定义为特别的跳过模式。下面，设将与mc_mode0对应的跳过模式称为mc_skip模式(第一跳过模式)，将与sub_mc_mode0对应的跳过模式称为sub_mc_skip模式(第二跳过模式)。图8是用于说明跳过模式的图，在图8的(a)中以一个实线包围的矩形表示运动预测单位块，表示其运动矢量是MV。此时，例如使用周边的运动预测单位块的运动矢量来如图8那样求出预测矢量PMV。运动矢量的编码是对与预测矢量之间的预测差分值进行编码，因此在预测差分值为0的事例(MV＝＝PMV)中、且预测误差信号5中不存在应编码的非0系数的情况下，将该运动预测单位块视为mc_skip模式。另外，图8的(b)是以图8的(a)中用阴影表示的基本块为中心进行放大显示的，粗线框表示运动预测单位块区域。在该事例中，对象的基本块的sub_mc_mode与sub_mc_mode0相对应。当将此时的运动矢量设为MVs，且将预测矢量设为PMVs时，与mc_skip的判断同样地，在预测差分值为0的事例(MVs＝＝PMVs)中、且预测误差信号5中不存在应编码的非0系数的情况下，将适用于该基本块的运动预测模式视为sub_mc_skip模式。
在非专利文献1、2等的以往的编码方式中，一般设计成：设置仅与mc_mode0、即最大的运动预测单位块(在非专利文献1、2中，与本实施方式1中的基准块相比运动预测单位块的大小相同，并且相当于宏块)对应的跳过模式，在跳过模式的情况下，对宏块的信息完全不进行编码。在本实施方式1中，特征在于，将其进一步在sub_mc_mode的阶层中也进行定义。在非专利文献1、2等的以往的编码方式中，所处理的影像信号为HDTV程度那样，是采样率比较低的影像信号，比宏块的大小更小的运动预测单位块只意味着运动变得复杂，即使考虑跳过模式，也难以进行高效的编码。另一方面，在超过HDTV的超高清晰影像、4：4：4格式等的采样率高的影像信号中，如果只是仅以由Li×Mi像素块构成的运动预测单位块的大小设置跳过模式，则在选择与其相比更小的基本块(或者根据其组合确定的运动矢量分配区域)时，无法有效地利用跳过的条件，明示地对始终为0值的运动矢量、零系数值进行编码，编码效率差。因而，在本实施方式1中，构成为：不仅针对由作为mc_mode分配的单位的Li×Mi像素块构成的运动预测单位块的单位，而且在由作为sub_mc_mode分配的单位的li×mi像素块构成的基本块为一定大小以上(li＞lt，mi＞mt)的情况下，能够针对每个基本块选择并利用sub_mc_skip模式。阈值lt、mt既可以根据Mi、Li的值唯一地确定(例如，lt＝Li/2，mt＝Mi/2等)，也可以构成为在帧、序列的级别中多路复用到比特流来进行传输。
通过以上叙述的预测部4中的处理，输出预测误差信号5和预测信号生成用参数17(运动预测模式和运动矢量)，它们通过可变长编码部8进行熵编码。下面，说明作为本实施方式1的图像编码装置的特征之一的预测信号生成用参数17的熵编码方法。
在下面说明的预测信号生成用参数17的编码中，将说明的对象设为运动预测模式、运动矢量这两种参数。图9是用于说明可变长编码部8的熵编码方法的图。在本实施方式1的图像编码装置中，如图9所示，在对被预测·编码对象的基本块Bx的运动预测模式m(Bx)进行编码时，选择性地参照同一帧F(t)的左侧的基本块Ba的预测模式m(Ba)、上侧的基本块Bb的预测模式m(Bb)、紧接之前的相邻帧F’(t-1)中的与基本块Bx相同的位置的基本块Bc的运动预测模式m(Bc)的状态来进行熵编码。
图10表示可变长编码部8的内部结构，图11表示其动作流程。本实施方式1中的可变长编码部8由如下部分构成：上下文模型决定部21，其确定针对作为编码对象数据的运动预测模式、运动矢量等各个数据类型被定义的上下文模型(后述)；二值化部22，其按照关于各编码对象数据类型确定的二值化规则将多值数据变换为二值数据；发生概率生成部23，其提供二值化后的各个bin的值(0/1)的发生概率；编码部24，其根据所生成的发生概率执行算术编码；发生概率信息存储存储器25，其存储发生概率信息。针对向上下文模型决定部21的输入，在此限定于预测图像生成用参数17中的运动预测模式和运动矢量，来进行说明。
(A)上下文模型决定处理(图11中的步骤ST11)
上下文模型是将与成为信息源码元的发生概率的变动要因的其它信息的依赖关系模型化而成的，通过与该依赖关系对应地切换发生概率的状态，能够根据码元的实际发生概率进行相适应的编码。图12中示出上下文模型ctx的概念。此外，在该图中设信息源码元为二值，但是也可以是多值。但是，在本实施方式1中仅处理二值算术编码。
图12的0～2这种上下文模型ctx的选择项是设想使用该上下文模型ctx的信息源码元的发生概率的状态将会根据状况发生变化来进行定义的。就本实施方式1中的图像编码装置而言，根据某个基准块中的编码数据与其周边的基准块的编码数据之间的依赖关系切换上下文模型ctx的值。
例如，图13中示出在“D.Marpe et.al.，″Video Compression Using Context-Based Adaptive Arithmetic Coding″，International Conference on ImageProcessing 2001”中公开的与运动矢量有关的上下文模型的例。在图13中，块C的运动矢量是编码对象(准确地说，从附近预测块C的运动矢量得到的预测差分值mvdk(C)被编码)。另外，ctx_mvd(C，k)表示对于块C的运动矢量的上下文模型。mvdk(A)表示块A中的运动矢量预测差分值，mvdk(B)表示块B中的运动矢量预测差分值，这些值用于上下文模型的切换评价值ek(C)的定义。评价值ek(C)表示附近的运动矢量的偏差状况，一般有如下趋势：在该偏差小的情况下，运动矢量预测差分值mvdk(C)变小，相反地在评价值ek(C)大的情况下，运动矢量预测差分值mvdk(C)也变大。因而，期望运动矢量预测差分值mvdk(C)的码元发生概率根据评价值ek(C)而被适应化。可以说，该发生概率的变化集(set)是上下文模型，在该事例中有三种发生概率变化。
这样，对各个编码对象数据预先定义上下文模型，在图像编码装置和图像解码装置中共用。在上下文模型决定部21中，进行根据这种编码对象数据的种类来选择预先确定的模型的处理。此外，关于选择上下文模型中的哪个发生概率变化，相当于下述(C)的发生概率生成处理。
在图10中，特征在于，可变长编码部8准备多个对运动预测模式、运动矢量分配的上下文模型26的候选，根据上下文模型选择信息27切换所使用的上下文模型26。如图9所示，如果被预测·编码对象的基本块Bx的运动预测模式m(Bx)在帧间关于运动的状态的相关低，则认为与在同一帧内在空间上相邻的图像区域的状态之间的相关高(即，运动预测模式m(Bx)的值对运动预测模式m(Ba)、m(Bb)的分割形状的影响强)，因此将同一帧的左侧的基本块Ba的运动预测模式m(Ba)、上侧的基本块Bb的运动预测模式m(Bb)利用于上下文模型26的决定。图14中示出作为该想法的依据的例。图14中，关于运动预测模式m(Bx)＝mc_mode3的情况，将在基本块Ba、Bb中选择的运动预测模式的两种状态相比较来示出。在图14的(a)中，对于运动预测模式m(Bx)的分割形状，在基本块Ba、Bb中都是使分割的缝隙自然连接。另一方面，在图14的(b)中，在基本块Ba、Bb中分割的缝隙都没有连接。一般，该分割形状表示存在于基准块内的多个不同的运动区域的存在，因此容易反映影像的结构。因而，认为图14的(a)所示的状态与图14的(b)所示的状态相比更是“容易引起的状态”。也就是说，与运动预测模式m(Ba)、m(Bb)的状态相应地运动预测模式m(Bx)的发生概率受到影响。
同样地，如果在帧间关于运动的状态的相关高，则认为与在时间上相邻的图像区域的状态之间的相关高(即，关于运动预测模式、m(Bx)，与运动预测模式m(Bc)的分割形状相对应地可取的值的概率发生变化)，因此可变长编码部8将在紧接之前的相邻帧中处于与基本块Bx相同的位置的基本块Bc的运动预测模式m(Bc)利用于上下文模型26的决定。
可变长编码部8在决定运动矢量的上下文模型26时，也同样地如果在帧间关于运动的状态的相关低，则将同一帧的左侧的块Ba的运动矢量、上侧的块Bb的运动矢量利用于上下文模型26的决定。另一方面，如果在帧间关于运动的状态的相关高，则可变长编码部8将在紧接之前的相邻帧中处于与块Bx相同的位置的块Bc的运动矢量利用于上下文模型26的决定。与运动预测模式同样地，关于运动矢量，也可以将颜色成分间的相关利用于上下文模型26的决定。
关于在帧间关于运动的状态的相关的高低，可以在图像编码装置中通过规定的方法进行检测，来将上下文模型选择信息27的值明示地多路复用到比特流9来传递到图像解码装置，还可以构成为在图像编码装置和图像解码装置这两者中根据可检测的信息分别决定上下文模型选择信息27的值。由于影像信号是非定常的，因此能够进行这种适应控制，由此能够提高算术编码的效率。
(B)二值化处理(图11中的步骤ST12)
通过二值化部22对编码对象数据进行二值序列化，根据二值序列的各bin(二进制位置)来确定上下文模型。在二值化的规则中，按照各编码数据可取的值的大致分布进行向可变长的二值序列的变换。与将本来可取多值的编码对象数据直接进行算术编码的情况相比，二值化具有如下优点等：通过以bin单位进行编码来能够减少概率数直线(probabilitynumber line)分割数，能够简化运算，能够实现上下文模型的精简化。
例如，当设为Li＝Mi＝32、li＝mi＝16进行编码时，二值化部22如图15的(a)、(b)那样进行运动预测模式的二值化。
在各bin0、1、2、4、5中应用如图16A～图16E所示的上下文模型。关于Bin0，如图16A所示，将相对于编码对象数据(块C)在上侧(块A)·左侧(块B)的位置的运动预测单位块的状态“是否为跳过模式”作为发生概率的切换基准。关于Bin1，如图16B所示，将上侧(块A)·左侧(块B)的位置的运动预测单位块的状态“是否有运动预测块分割”作为发生概率的切换基准。关于Bin2，如图16C所示，将上侧(块A)·左侧(块B)的位置的块的状态“是否为复杂的运动预测模式”作为发生概率的切换基准。Bin3不定义上下文模型，固定为规定的发生概率。关于Bin4，如图16D所示，将左侧(块B)的位置的块的状态中“运动预测形状分割是否为水平分割”作为发生概率的切换基准。关于Bin5，如图16E所示，将上侧(块A)的位置的块的状态中“运动预测形状分割是否为垂直分割”作为发生概率的切换基准。这样，通过根据运动预测区域的形状来确定上下文模型26，能够与局部影像信号的性质相适应地进行与运动预测模式信息有关的发生概率的选择，能够提高算术编码的编码效率。此外，在li＝mi＝16中进行不使用sub_mc_skip的选择的情况(阈值lt＞＝16，mt＞＝16)下，构成为对图15的(b)的Bin0不进行编码。
(C)发生概率生成处理(图11中的步骤ST13)
在上述(A)、(B)的过程(步骤ST11，ST12)中，完成多值的编码对象数据的二值化、以及适用于各bin的上下文模型的设定，做好编码准备。接着，通过发生概率生成部23进行使用于算术编码的发生概率信息的生成处理。在各上下文模型中包含相对于0/1的各值的发生概率的变化，因此参照通过步骤ST11决定的上下文模型26来进行处理。发生概率生成部23确定如图13所示的评价值ek(C)那样的用于选择发生概率的评价值，据此决定从所参照的上下文模型的选择项中将哪一个发生概率变化使用于当前的编码。
进而，本实施方式1中的可变长编码部8具备发生概率信息存储存储器25，具备针对在编码的过程中依次更新的发生概率信息28存储与所使用的上下文模型的变化相应的部分的机构。发生概率生成部23根据上下文模型26的值决定使用于当前的编码的发生概率信息28。
(D)编码处理(图11中的步骤ST14)
在上述(C)的过程(步骤ST13)中，得到算术编码过程所需的概率数直线上的0/1各值的发生概率，因此按照在以往例中列举的过程在编码部24中进行算术编码(步骤ST14)。
另外，实际的编码值(0/1)29被反馈到发生概率生成部23，为了进行所使用的发生概率信息28的更新，进行0/1产生频率的计数(步骤ST15)。例如，设在使用某一特定发生概率信息28进行100个bin的编码处理的时刻，该发生概率变化中的0/1的发生概率为0.25/0.75。在此，当使用相同的发生概率变化来对“1”进行编码时，“1”的出现频率被更新，0/1的发生概率变化为0.247/0.752。通过该机制，能够进行与实际的发生概率相适应的高效的编码。
当结束了所有的bin的编码处理时，编码部24所生成的算术编码结果30成为来自可变长编码部8的输出，并作为比特流9从图像编码装置被输出(步骤ST16)。
2.编码比特流的结构
输入影像信号1基于上述处理在图2的图像编码装置中被进行编码，以将多个基准块捆起来的单位(以下，称为切片)作为比特流9从图像编码装置输出。
图17中示出比特流9的数据排列。比特流9构成为会聚了与包含在帧中的基准块的数量相应的编码数据，基准块以切片为单位被单元化。准备属于同一帧的基准块作为共用参数参照的图片级别头部，在该图片级别头部中保存基准块大小信息18。如果基准块大小Mmax以比图片级别上位的序列单位被固定，则也可以构成为将基准块大小信息18多路复用到序列级别头部。
各切片分别从切片头部开始，接着排列切片内的各基准块的编码数据。在图17的例子中，表示在第2切片中包含K个基准块。基准块数据由基准块头部和预测误差压缩数据构成，在基准块头部中排列有与基准块内的运动预测单位块相应的运动预测模式mc_mode和运动矢量(相当于预测信号生成用参数17)、使用于预测误差压缩数据7的生成的量化参数19等。
作为运动预测模式mc_mode，首先mc_skip或者mc_mode0～7的种类被编码，如果是mc_skip，则设为不传输以下所有的宏块编码信息。如果是mc_mode0～6，则与由运动预测模式指定的运动矢量分配区域相应的运动矢量信息被编码。如果是mc_mode7，则根据基准块大小信息18决定在sub_mc_mode的代码中是否包含sub_mc_skip。在此，设根据基准块大小Mi、Li将sub_mc_skip代码的有无的阈值确定为lt＝Li/2、mt＝Mi/2。在此基础上，如果满足“li＞lt，mi＞mt”的条件，则根据图15的(b)的二值化规则，进行包含sub_mc_skip的部分的sub_mc_mode的编码。如果不满足“li＞lt，mi＞mt”，则从图15的(b)的二值化规则仅排除Bin0的编码。另外，表示运动预测模式和运动矢量的算术编码中的上下文模型选择指针的上下文模型选择信息27包含在基准块头部中。
此外，虽然未图示，但是也可以构成基准块大小决定部使得能够针对各基准块选择在各基准块内使用的运动预测单位块的大小Li、Mi，将在基准块内使用的运动预测单位块的大小Li、Mi多路复用到各基准块头部，以代替将在基准块内使用的运动预测单位块的大小Li、Mi多路复用到序列、或者图片级别头部中。由此，需要针对每个基准块对运动预测单位块的大小Li、Mi进行编码，但是能够与局部的图像信号的性质相应地改变运动预测单位块的大小，能够进行适应性更高的运动预测。关于表示多路复用到各基准块头部、还是固定地多路复用到序列、GOP、图片、切片等的上位级别的头部的信息，只要作为识别信息多路复用到序列、GOP、图片、切片等的上位级别头部中即可。由此，在尽管以上位级别进行固定但对运动预测性能的影响少的情况下，能够减少针对每个基准块对运动预测单位块的大小Li、Mi进行编码的开销来进行高效的编码。
3.图像解码装置
图18是表示本实施方式1中的图像解码装置的结构的框图。可变长解码部(解码部)100将图17所示的比特流9作为输入，在对序列级别头部进行解码之后，对图片级别头部进行解码来解码得到基准块大小的信息。由此识别在该图片中使用的基准块的大小Mmax和运动预测单位块的大小Li、Mi，向预测误差解码部101和预测部102通知该基准块大小信息18。此外，在能够将运动预测单位块的大小Li、Mi多路复用到各基准块头部中的比特流结构的情况下，构成为：可变长解码部100对表示运动预测单位块的大小Li，Mi是否被多路复用到各基准块头部中的识别信息进行解码，根据该识别信息对各基准块头部进行解码，由此识别运动预测单位块的大小Li、Mi。
基准块数据的解码是首先从基准块头部的解码开始进行。可变长解码部100在该过程中对上下文模型选择信息27进行解码。接着，根据解码得到的上下文模型选择信息27，针对每个颜色成分进行对每个运动预测单位块适用的运动预测模式的解码。关于运动预测模式，首先以运动预测单位块的单位来进行mc_mode的解码，在mc_skip的情况下，基于图8的条件，根据周边的运动矢量求出预测矢量来将其分配到当前运动矢量。另外，在是mc_mode7的情况下，基于图8的条件，针对每个基本块进行sub_mc_mode的解码。此时，根据基准块大小信息18以与图像编码装置侧相同的判断基准进行sub_mc_skip有无利用的判断，基于该判断执行sub_mc_mode的解码处理。在利用sub_mc_skip的情况下，如果是sub_mc_mode＝＝sub_mc_skip，则跳过该基本块的编码数据的解码，对当前运动矢量分配利用图8的方法求出的预测矢量。在其它情况下，根据上下文模型选择信息27与运动矢量分配区域的数量相应地进行运动矢量的解码，进一步针对每个基准块依次对量化参数19、预测误差压缩数据7等信息进行解码。
预测误差压缩数据7、量化参数19被输入到预测误差解码部101，被复原为解码预测误差信号11。该预测误差解码部101进行与图2的图像编码装置中的局部解码部10等价的处理。
预测部102根据由可变长解码部100解码的预测信号生成用参数17和存储器103内的参照图像信号15生成预测信号12。此外，预测部102进行与图像编码装置中的预测部4等价的处理，但是不包括运动矢量检测动作。运动预测模式是图4所示的mc_mode0～7中的某一个，预测部102使用根据其分割形状对各基本块分配的运动矢量来生成预测图像12。
解码预测误差信号11和预测信号12通过加法部相加，并作为解码信号13向环路滤波器104输入。该解码信号13在环路滤波器104中被实施去除编码噪声的处理之后，作为用于生成以后的预测信号12的参照图像信号15保存到存储器103中。图18中虽然没有图示，但是环路滤波器104除了使用由可变长解码部100解码的预测信号生成用参数17、量化参数19以外，还使用滤波系数信息20通过与图像编码装置中的环路滤波器14等价的处理来进行参照图像信号15的生成。图像编码装置的环路滤波器14与图像解码装置的环路滤波器104的差异在于，前者参照作为原图像信号的编码信号3来生成滤波系数信息20，与此相对，后者参照从比特流9解码得到的滤波系数信息20来进行滤波处理。
以下，叙述由可变长解码部100进行的基准块的运动预测模式、运动矢量的解码处理。
图19表示可变长解码部100中的与算术解码处理有关的内部结构，图20表示其动作流程。
本实施方式1中的可变长解码部100由如下部分构成：上下文模型决定部21，其确定包含运动预测模式、运动矢量等的预测信号生成用参数17、预测误差压缩数据7、量化参数19等各个解码对象数据的类型，对它们分别确定与图像编码装置共同定义的上下文模型；二值化部22，其生成基于解码对象数据的类型确定的二值化规则；发生概率生成部23，其按照二值化规则和上下文模型，赋予各个bin(0/1)的发生概率；解码部105，其根据所生成的发生概率执行算术解码，根据作为其结果得到的二值序列和上述二值化规则对编码数据进行解码；以及发生概率信息存储存储器25，其存储发生概率信息28。设图19所示的各部中附加有与图10所示的可变长编码部8的内部结构要素相同的编号的各部分别进行相同的动作。
(E)上下文模型决定处理、二值化处理、发生概率生成处理(图20的步骤ST11～ST13)
这些过程(步骤ST11～ST13)遵照图像编码装置侧的过程(A)～(C)(图11的步骤ST11～ST13)，因此省略说明。此外，在使用于运动预测模式、运动矢量的解码的上下文模型的决定中参照上述的解码得到的上下文模型选择信息27。
(F)算术解码处理(图20的步骤ST21，ST15，ST22)
在到上述(E)为止的过程中确定从现在开始要解码的bin的发生概率，因此在解码部105中按照规定的算术解码处理过程使bin的值复原(步骤ST21)。bin的复原值40(图19)被反馈到发生概率生成部23，为了进行所使用的发生概率信息28的更新，进行0/1产生频率的计数(步骤ST15)。在解码部105中，每次确定各bin的复原值时，确认与以二值化规则确定的二值序列图案之间的一致性，将一致的图案所指示的数据值作为解码数据值106进行输出(步骤ST22)。只要未确定解码数据，就返回到步骤ST11继续进行解码处理。
此外，在上述说明中，设将上下文模型选择信息27多路复用的单位是基准块单位，但是也可以以切片单位、图片单位等来进行多路复用。通过作为位于切片、图片、序列等的上位数据层的标志来进行多路复用，在通过切片以上的上位层中的切换能够确保充分的编码效率的情况下，无需在基准块级别中逐一对上下文模型选择信息27进行多路复用而能够减少开销比特。
另外，上下文模型选择信息27也可以是根据包含在与其自身不同的比特流中的关联信息在图像解码装置的内部确定的信息。另外，在上述说明中设可变长编码部8和可变长解码部100进行算术编码·算术解码处理来进行了说明，但是也可以构成为将这些处理作为哈弗曼编码处理，将上下文模型选择信息27利用为适应性地切换可变长编码表的手段。
根据以上结构的图像编码·解码装置，能够进行跳过模式的分层表现，能够根据编码对象基准块的内部状态适应性地对运动预测模式、运动矢量的信息进行编码，能够进行高效的编码。
根据以上内容，根据实施方式1，将图像编码装置构成为具备：预测部4，其根据颜色成分信号适应性地决定运动预测单位块的大小，并且将该运动预测单位块分割为运动矢量分配区域来搜索运动矢量；可变长编码部8，其在对运动预测单位块整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动预测单位块的运动矢量求出的预测矢量相等、且不存在作为预测误差信号5进行编码的数据，则将运动预测模式设为mc_skip模式来进行编码，在运动矢量分配区域为规定的大小以上、且对运动矢量分配区域整体分配运动矢量的情况下，如果该运动矢量与根据周边的运动矢量分配区域的运动矢量求出的预测矢量相等、且不存在作为预测误差信号5进行编码的数据，则将运动预测模式设为sub_mc_skip模式来进行编码，从而生成比特流9。因此，能够提供如下的图像编码装置：为了高效地对4：4：4格式的彩色影像信号进行编码，能够进行跳过模式的分层表现，能够根据编码对象基准块的内部状态适应性地对运动预测模式、运动矢量的信息进行编码，在成为高压缩率的低比特率编码中有效地抑制运动矢量的代码量来进行编码。
另外，根据实施方式1，将图像解码装置构成为具备：可变长解码部100，其从所输入的比特流9解码得到表示运动预测单位块的大小、确定将运动预测单位块分割得到的运动矢量分配区域的形状的运动预测模式以及与运动矢量分配区域对应的运动矢量的预测信号生成用参数17，根据该运动预测模式确定运动预测单位块是否为mc_skip模式、以及运动矢量分配区域是否为sub_mc_skip模式；预测部102，其在运动预测单位块为mc_skip模式的情况或者运动矢量分配区域为sub_mc_skip模式的情况下，根据周边的运动矢量求出预测矢量来设定为运动矢量，并且将解码预测误差信号11全部设定为零来生成预测信号12，在运动预测单位块不是mc_skip模式、且该运动预测单位块的运动矢量分配区域不是sub_mc_skip模式的情况下，根据可变长解码部100解码得到的运动预测模式和运动矢量来生成预测信号12。因此，能够提供与上述图像编码装置对应的影像解码装置。
此外，在本实施方式1中，说明了对于4：4：4影像信号的编码·解码的实施例，但是如上所述，以用以往的亮度·色差成分格式进行颜色间隔剔除的4：2：0或者4：2：2格式为对象的影像编码中，以宏块等的基准块的单位进行编码·解码的情况下，当然也能够适用本发明中的编码·解码处理。
产业上的可利用性
本发明所涉及的图像编码装置、图像解码装置、图像编码方法以及图像解码方法能够对4：4：4格式的影像信号进行最佳的编码处理，因此适用于图像压缩编码技术、压缩图像数据传输技术等。

Claims (2)

1.一种图像解码装置，将把运动图像信号的各帧分割为块、并对所述块进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码装置的特征在于，具备：
解码部，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进行解码；
预测部，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第二运动预测单位块的运动矢量来生成预测图像，在所述第一运动预测模式不是跳过模式、而且所述第二运动预测模式不是跳过模式的情况下，根据所述第二运动预测模式以及运动矢量生成预测图像；以及
加法部，在所述第一运动预测模式或者所述第二运动预测模式是跳过模式的情况下，将设定为零的预测误差信号与所述预测图像相加。
2.一种图像解码方法，将把运动图像信号的各帧分割为块、并对所述块进行运动预测并进行了预测编码的比特流作为输入，对所述运动图像信号进行解码，该图像解码方法的特征在于，包括：
解码步骤，从所述比特流对用于与所述块对应的第一运动预测单位块的第一运动预测模式进行解码，并且在所述第一运动预测模式不是跳过模式、而且对所述块分层地进行分割的情况下，对用于分层地进行分割而得到的第二运动预测单位块的第二运动预测模式进行解码；
预测步骤，在所述第一运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第一运动预测单位块的运动矢量来生成预测图像，在所述第二运动预测模式是跳过模式的情况下，根据周边的运动矢量求出预测矢量并设定为针对所述第二运动预测单位块的运动矢量来生成预测图像，在所述第一运动预测模式不是跳过模式、而且所述第二运动预测模式不是跳过模式的情况下，根据所述第二运动预测模式以及运动矢量生成预测图像；
加法运算步骤，在所述第一运动预测模式或者所述第二运动预测模式是跳过模式的情况下，将设定为零的预测误差信号与所述预测图像相加。
CN201410444211.4A 2009-05-29 2010-05-27 图像解码装置以及图像解码方法 Ceased CN104270637B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-130433 2009-05-29
JP2009130433 2009-05-29
CN201080023464.4A CN102450017B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080023464.4A Division CN102450017B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法

Publications (2)

Publication Number Publication Date
CN104270637A CN104270637A (zh) 2015-01-07
CN104270637B true CN104270637B (zh) 2018-07-27

Family

ID=43222450

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201410444193.XA Ceased CN104270636B (zh) 2009-05-29 2010-05-27 图像编码装置以及图像编码方法
CN201080023464.4A Ceased CN102450017B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法
CN201410444211.4A Ceased CN104270637B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法
CN201410444659.6A Active CN104159111B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法
CN201410444239.8A Active CN104270635B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201410444193.XA Ceased CN104270636B (zh) 2009-05-29 2010-05-27 图像编码装置以及图像编码方法
CN201080023464.4A Ceased CN102450017B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201410444659.6A Active CN104159111B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法
CN201410444239.8A Active CN104270635B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法

Country Status (14)

Country Link
US (5) US8934548B2 (zh)
EP (4) EP3998776B1 (zh)
JP (6) JP5215462B2 (zh)
KR (5) KR101514191B1 (zh)
CN (5) CN104270636B (zh)
BR (4) BR122015017700B1 (zh)
CA (4) CA2904730C (zh)
ES (3) ES2902160T3 (zh)
HK (5) HK1203113A1 (zh)
MX (1) MX2011012672A (zh)
RU (7) RU2546325C2 (zh)
SG (2) SG10201402451XA (zh)
WO (1) WO2010137324A1 (zh)
ZA (5) ZA201109121B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2904730C (en) * 2009-05-29 2023-11-21 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
WO2011134642A1 (en) * 2010-04-26 2011-11-03 Panasonic Corporation Predictive coding with block shapes derived from a prediction error
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN107087179B (zh) * 2011-03-10 2021-04-27 夏普株式会社 图像解码装置及方法、以及记录介质
PL3716621T3 (pl) * 2012-04-12 2022-01-24 Jvckenwood Corporation Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy
US11317101B2 (en) * 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
US9813711B2 (en) * 2012-10-03 2017-11-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Hybrid transform-based compression
JP6239838B2 (ja) * 2013-03-15 2017-11-29 キヤノン株式会社 動画像符号化装置、その制御方法、及び撮像装置
WO2014209296A1 (en) * 2013-06-26 2014-12-31 Intel Corporation Power efficient encoder architecture during static frame or sub-frame detection
JP6312312B2 (ja) * 2014-04-15 2018-04-18 日本放送協会 コンテキストモデル生成装置、符号化装置、および復号装置
US9456075B2 (en) * 2014-10-13 2016-09-27 Avaya Inc. Codec sequence detection
EP3468198A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN110060195B (zh) * 2018-01-19 2021-05-04 华为技术有限公司 一种数据处理的方法及装置
WO2019174567A1 (zh) * 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
US10516812B2 (en) 2018-04-02 2019-12-24 Intel Corporation Devices and methods for selective display frame fetch
US10887594B2 (en) 2018-07-05 2021-01-05 Mediatek Inc. Entropy coding of coding units in image and video data
US11025969B1 (en) * 2018-11-06 2021-06-01 Amazon Technologies, Inc. Video packaging system using source encoding
WO2020171046A1 (en) 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
WO2021060834A1 (ko) 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1910933A (zh) * 2004-02-25 2007-02-07 索尼株式会社 图像信息编码装置和图像信息编码方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2156889C (en) * 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
JPH09135358A (ja) * 1995-11-08 1997-05-20 Nec Corp 算術符号を用いた画像符号化装置
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
WO1999048213A2 (en) * 1998-03-18 1999-09-23 Koninklijke Philips Electronics N.V. Prediction on data in a transmission system
AU2000257047A1 (en) * 2000-06-28 2002-01-08 Mitsubishi Denki Kabushiki Kaisha Image encoder and image encoding method
WO2003003745A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
CN101409837B (zh) * 2001-09-14 2011-07-13 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
EP2222084A2 (en) * 2001-11-16 2010-08-25 NTT DoCoMo, Inc. Image coding and decoding method
MXPA04007020A (es) * 2002-01-23 2004-10-11 Nokia Corp Agrupamiento de cuadros de imagen para codificacion de video.
JP2003259377A (ja) 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
EP1478190B1 (en) * 2002-04-26 2013-01-02 NTT DoCoMo, Inc. Image encoding device, image encoding method, and image encoding program
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
CN101651831B (zh) * 2003-01-08 2013-07-17 苹果公司 用于改进的编码模式选择的方法和装置
WO2005055612A1 (en) * 2003-12-02 2005-06-16 Sungkyunkwan University Method and apparatus for video encoding
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US8649436B2 (en) * 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
EP2720468B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
US8446954B2 (en) * 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR101228109B1 (ko) * 2006-07-24 2013-01-31 삼성전자주식회사 움직임 예측장치 및 방법과 이를 채용하는 영상 부호화장치및 방법
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
KR101380580B1 (ko) * 2006-08-02 2014-04-02 톰슨 라이센싱 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
KR101364532B1 (ko) * 2007-01-03 2014-02-18 삼성전자주식회사 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
KR101341111B1 (ko) * 2007-01-18 2013-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화질 스케일러블 비디오 데이터 스트림
US8259793B2 (en) * 2007-03-19 2012-09-04 Sony Corporation System and method of fast MPEG-4/AVC quantization
CA2895854A1 (en) * 2007-03-20 2008-10-23 Fujitsu Limited Video encoding and decoding apparatus and method using quantization in sub-blocks
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
US8488677B2 (en) 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
JP4990927B2 (ja) 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化／復号化方法及び装置
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
CA2904730C (en) * 2009-05-29 2023-11-21 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US20130003843A1 (en) * 2010-03-12 2013-01-03 Mediatek Singapore Pte. Ltd. Motion Prediction Method
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1910933A (zh) * 2004-02-25 2007-02-07 索尼株式会社 图像信息编码装置和图像信息编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enlarging MB size for high fidelity video coding beyond HD;Jaeil Kim等;《ITU-Telecommunications Standardization Sector》;20081010;第2页第4段至第5页第1段，图2、3、6 *

Also Published As

Publication number Publication date
CA2763211A1 (en) 2010-12-02
CA3159686C (en) 2023-09-05
CN104270637A (zh) 2015-01-07
US20150304677A1 (en) 2015-10-22
CN104270636B (zh) 2018-11-09
ZA201506372B (en) 2016-12-21
JP2013138500A (ja) 2013-07-11
CN102450017B (zh) 2014-09-10
RU2619891C1 (ru) 2017-05-19
KR20140074401A (ko) 2014-06-17
ZA201209367B (en) 2015-02-25
JP5674971B2 (ja) 2015-02-25
JPWO2010137324A1 (ja) 2012-11-12
RU2647655C1 (ru) 2018-03-16
ZA201405602B (en) 2017-06-28
EP2437500A4 (en) 2013-04-17
RU2509438C2 (ru) 2014-03-10
US9930356B2 (en) 2018-03-27
BR122015017699A2 (pt) 2016-05-10
US20120082213A1 (en) 2012-04-05
JP6091585B2 (ja) 2017-03-08
KR20130121987A (ko) 2013-11-06
SG10201402451XA (en) 2014-07-30
CA3160155A1 (en) 2010-12-02
SG176160A1 (en) 2011-12-29
BR122015017701B1 (pt) 2021-06-01
JP6347860B2 (ja) 2018-06-27
JP5840286B2 (ja) 2016-01-06
BR122015017699B1 (pt) 2021-06-01
JP2015084574A (ja) 2015-04-30
US9036713B2 (en) 2015-05-19
CA2763211C (en) 2015-12-08
US20150085937A1 (en) 2015-03-26
KR20120046119A (ko) 2012-05-09
BRPI1015415A2 (pt) 2016-04-19
MX2011012672A (es) 2011-12-16
RU2673107C1 (ru) 2018-11-22
CN104270635B (zh) 2018-12-11
CA2904730A1 (en) 2010-12-02
JP5215462B2 (ja) 2013-06-19
JP2016036176A (ja) 2016-03-17
RU2546325C2 (ru) 2015-04-10
CA2904730C (en) 2023-11-21
BR122015017700B1 (pt) 2021-06-01
US8934548B2 (en) 2015-01-13
EP3998776A1 (en) 2022-05-18
US20150229949A1 (en) 2015-08-13
KR101376018B1 (ko) 2014-03-27
RU2693651C1 (ru) 2019-07-03
HK1167966A1 (zh) 2012-12-14
RU2571596C1 (ru) 2015-12-20
ES2954657T3 (es) 2023-11-23
CN104270635A (zh) 2015-01-07
HK1202197A1 (zh) 2015-09-18
CN104159111A (zh) 2014-11-19
JP2014132765A (ja) 2014-07-17
WO2010137324A1 (ja) 2010-12-02
EP3998776B1 (en) 2023-08-30
ES2902160T3 (es) 2022-03-25
EP3998775B1 (en) 2023-08-02
US9924190B2 (en) 2018-03-20
HK1203114A1 (zh) 2015-10-16
BRPI1015415B1 (pt) 2021-06-01
KR101312213B1 (ko) 2013-09-27
US20150229946A1 (en) 2015-08-13
HK1203113A1 (zh) 2015-10-16
BR122015017701A2 (pt) 2016-05-10
ES2958265T3 (es) 2024-02-06
JP2017118573A (ja) 2017-06-29
RU2013152317A (ru) 2015-01-20
KR20140026649A (ko) 2014-03-05
JP5478748B2 (ja) 2014-04-23
CN104159111B (zh) 2018-11-06
KR20130076894A (ko) 2013-07-08
US9930355B2 (en) 2018-03-27
CA3159686A1 (en) 2010-12-02
KR101455579B1 (ko) 2014-10-29
RU2011154147A (ru) 2013-07-10
EP3261346A1 (en) 2017-12-27
EP2437500A1 (en) 2012-04-04
EP3998775A1 (en) 2022-05-18
BR122015017700A2 (pt) 2016-05-10
ZA201708216B (en) 2019-05-29
HK1203112A1 (zh) 2015-10-16
KR101514191B1 (ko) 2015-04-21
CN104270636A (zh) 2015-01-07
ZA201109121B (en) 2013-02-27
CN102450017A (zh) 2012-05-09
EP3261346B1 (en) 2021-12-01
KR101490646B1 (ko) 2015-02-06

Similar Documents

Publication Publication Date Title
CN104270637B (zh) 图像解码装置以及图像解码方法
CN102090065A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1203113

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
IW01 Full invalidation of patent right

Decision date of declaring invalidation: 20210930

Decision number of declaring invalidation: 52075

Granted publication date: 20180727