CN104717502A - 运动图像编码装置以及运动图像解码装置 - Google Patents

运动图像编码装置以及运动图像解码装置 Download PDF

Info

Publication number
CN104717502A
CN104717502A CN201510140189.9A CN201510140189A CN104717502A CN 104717502 A CN104717502 A CN 104717502A CN 201510140189 A CN201510140189 A CN 201510140189A CN 104717502 A CN104717502 A CN 104717502A
Authority
CN
China
Prior art keywords
conversion
subregion
list
frequency translation
stratum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510140189.9A
Other languages
English (en)
Other versions
CN104717502B (zh
Inventor
山本智幸
猪饲知宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42936156&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104717502(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN104717502A publication Critical patent/CN104717502A/zh
Application granted granted Critical
Publication of CN104717502B publication Critical patent/CN104717502B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在较高地维持能够选择适于运动图像的局部特性的分区尺寸、变换尺寸的可能性的同时，降低附加信息的码量。运动图像编码装置(10)将输入运动图像分割为给定大小的块并按块单位进行编码处理，具备：决定块的分区结构的预测参数决定部(102)；将以由分区结构规定的分区为单位来生成预测图像的预测图像生成部(103)；对预测图像与输入运动图像的差分即预测残差应用在给定变换预置集之中包含的频率变换的任一种的变换系数生成部(107)；根据分区形状信息来生成对各个分区能够应用的频率变换的列表即变换候补列表的变换制约导出部(104)；和根据变换候补列表和变换预置集来对变换选择标志进行可变长编码的可变长编码部(108)。

Description

运动图像编码装置以及运动图像解码装置
本申请是申请号为“201080015255.5”，申请日为2010年3月17日，发明名称为“运动图像编码装置以及运动图像解码装置”之申请的分案申请。
技术领域
本发明涉及对运动图像进行编码从而生成编码数据的运动图像编码装置、以及根据传输并蓄积的运动图像的编码数据来再现运动图像的运动图像解码装置。
背景技术
<导入和基本术语的定义>
在基于块的运动图像编码方式中，作为编码对象的输入运动图像被分割为称为宏块(以下记作MB)的给定处理单位，按每MB进行编码处理，从而生成编码数据。在再现运动图像时，以MB单位处理作为解码对象的编码数据来进行解码，从而生成解码图像。
作为当前广泛普及的基于块的运动图像编码方式，存在由非专利文献1所规定的方式(H.264/AVC(Advanced Video Coding，高级视频编码))。在H.264/AVC中，生成对被分割为MB单位的输入运动图像进行估计的预测图像，并计算输入运动图像与预测图像的差分即预测残差。对所得到的预测残差，应用以离散余弦变换(DCT)为代表的频率变换，导出变换系数。利用被称为CABAC(Context-based Adaptive Binary Arithmetic Coding，基于上下文的自适应二进制算术编码)或CAVLC(Context-based AdaptiveVariable Length Coding，基于上下文自适应的可变长编码)的方法，对所导出的变换系数进行可变长编码。另外，预测图像通过利用运动图像的空间相关性的帧内预测、或者利用运动图像的时间相关性的帧间预测(动态补偿预测)而生成。
<分区(partition)的概念及其效果>
在帧间预测中，以被称为分区的单位生成与编码对象MB的输入运动图像近似的图像。在各分区中，与一个或两个运动向量建立对应。基于所述运动向量，在帧存储器中所记录的局部解码图像上参考与编码对象MB对应的区域，由此生成预测图像。另外，此时所参考的局部解码图像被称为参考图像。在H.264/AVC中，以像素单位可以利用16×16、16×8、8×16、8×8、8×4、4×8、4×4的分区尺寸。若利用小的分区尺寸，则可以用细小的单位来指定运动向量从而生成预测图像，所以即使在运动的空间相关性小的情况下，也可以生成接近输入运动图像的预测图像。另一方面，若利用大的分区尺寸，则在运动的空间相关性大的情况下，能够降低运动向量的编码所需要的码量。
<变换尺寸的概念及其效果>
在使用预测图像生成的预测残差中，削减了输入运动图像的像素值的空间或时间的冗长性。而且，通过对预测残差应用DCT，使能量集中在变换系数的低频成分。因此，通过利用该能量的偏颇来执行可变长编码，与不利用预测图像、DCT的情况相比，可以削减编码数据的码量。
在H.264/AVC中，为了增加DCT导致的向低频成分的能量集中性，采用从多种变换尺寸的DCT中选择适于运动图像的局部性质的DCT的方式(块自适应变换选择)。例如，在通过帧间预测生成预测图像的情况下，可以从8×8DCT和4×4DCT这两种DCT中选择适于预测残差的变换的DCT。8×8DCT可以在较宽的范围利用像素值的空间相关性，所以对于高频成分比较少的平坦区域有效。另一方面，4×4DCT对于包含物体的轮廓那样的高频成分多的区域有效。在H.264/AVC中，可以说8×8DCT是大变换尺寸的DCT，4×4DCT是小变换尺寸的DCT。
另外，在H.264/AVC中，在分区的面积为8×8像素以上时可以选择8×8DCT和4×4DCT。此外，在分区的面积不足8×8像素时可以选择4×4DCT。
如上所述，H.264/AVC，可以根据作为运动图像的局部性质的像素值的空间相关性、运动向量的空间相关性的高低来选择适合的分区尺寸、变换尺寸，所以可以削减编码数据的码量。
<自适应变换尺寸扩展和分区尺寸扩展的说明>
近年来，具有HD(1920像素×1080像素)以上的分辨率的高清晰度运动图像正在增加。对于高清晰度运动图像，与现有低分辨率的运动图像的情况相比，在运动图像内的局部区域中，运动图像上的像素值的空间相关性、运动向量的空间相关性的能取得的范围较宽。尤其关于像素值和运动向量这双方，高清晰度运动图像具有局部区域中的空间相关性高的情况多这样的性质。
在非专利文献2中记载了如下的运动图像编码方式：通过扩展H.264/AVC的分区尺寸、变换尺寸，利用上述那样的高清晰度运动图像的空间相关性的性质，来削减编码数据的码量。
具体而言，作为分区尺寸，除了由H.264/AVC规定的分区尺寸之外，还增加了64×64、64×32、32×64、32×32、32×16、16×32的分区尺寸。而且，作为DCT，除了由H.264/AVC规定的DCT之外，还增加了具有16×16DCT、16×8DCT、8×16DCT这三种新的变换尺寸的DCT。
在分区的面积为16×16像素以上时，可以选择16×16DCT、8×8DCT、4×4DCT。此外，在分区尺寸为16×8时，可以选择16×8DCT、8×8DCT、4×4DCT。在分区尺寸为8×16时，可以选择8×16DCT、8×8DCT、4×4DCT。在分区尺寸为8×8时，可以选择8×8DCT、4×4DCT。在分区的面积不足8×8像素时，可以选择4×4DCT。
在非专利文献2记载的方式中，通过切换上述那样的多种多样的分区尺寸、变换尺寸，即使针对像素或运动向量的空间相关性的动态范围比较宽的高清晰度运动图像，也能够选择适于运动图像的局部性质的分区尺寸、变换尺寸，所以能够削减编码数据的码量。
现有技术文献
非专利文献
非专利文献1：ITU-T Recommendation H.264(11/07)
非专利文献2：ITU-T T09-SG16-C-0123
发明的概要
发明要解决的课题
如上述说明的那样，在运动图像编码方式中，使能够选择的分区尺寸、变换尺寸的种类增加，有利于编码数据的码量削减。但是，产生了如下新的问题：在运动图像上的各局部区域中，为了选择解码时所适用的分区尺寸、变换尺寸而需要的附加信息的码量增加。
在非专利文献1以及非专利文献2中，在分区尺寸较大的情况下也可以利用小变换尺寸的频率变换(4×4DCT)。但是，大的分区在像素值或运动向量的空间相关性高的区域容易被选择，所以在对于那样的分区来应用小变换尺寸的频率变换时，与应用大变换尺寸的频率变换的情况相比，难以将预测残差的能量集中到更少数的变换系数。因此，基本不选择小变换尺寸的频率变换，选择变换尺寸所需的附加信息成为浪费。尤其在最大分区尺寸被扩大从而扩大了大分区尺寸与小变换尺寸的大小差异的情况下，变得更加难以选择小的变换尺寸。
此外，在非专利文献2中，对长方形的分区可以选择相同大小的变换尺寸的频率变换，但是没有提到在进一步增加了变换尺寸的种类的情况下，用怎样的基准来决定能够选择的变换尺寸。
发明内容
本发明鉴于这种状况而作，目的在于提供一种运动图像编码装置，在运动图像编码装置中可以利用多种多样的分区尺寸、变换尺寸的情况下，维持能够选择适于运动图像的局部特性的分区尺寸、变换尺寸的可能性的同时，可以减少附加信息的码量。此外，提供一种能够对由所述运动图像编码装置进行了编码的编码数据进行解码的运动图像解码装置。
用于解决课题的手段
为了解决上述那样的课题，本发明的第一技术手段，在将输入运动图像分割为给定大小的块，并按块单位进行编码处理的运动图像编码装置中，具备：预测参数决定部，其决定块的分区结构；预测图像生成部，其以由分区结构所规定的分割为单位来生成预测图像；变换系数生成部，其对预测图像与输入运动图像的差分即预测残差应用在给定变换预置集之中包含的变换的任一种；变换候补导出部，其根据分区形状信息来生成能够应用的变换的列表即变换候补列表；频率变换决定部，其根据变换候补列表，决定表示要对各个分区应用的变换的变换选择标志；和可变长编码部，其根据变换候补列表和变换预置集，对变换选择标志进行可变长编码。
第二技术手段在第一技术手段中，还包括变换制约导出部，变换制约导出部根据分区形状信息，生成对各个分区不能应用的变换的列表即禁止变换列表，变换候补列表根据禁止变换列表和变换预置集而导出。
第三技术手段在第一或者第二技术手段中，分区形状信息是分区的纵向长度与横向长度的比、或者分区的纵向长度与横向长度的大小关系。
第四技术手段在第一或者第二技术手段中，分区形状信息是分区的纵向长度和横向长度的最小值。
第五技术手段在第一或者第二技术手段中，分区结构通过阶层结构来表现，并且规定各分区按照其形状而包含在任一阶层中，分区形状信息是分区所属的阶层。
第六技术手段在第一技术手段中，给定变换预置集包括至少一个以上的变换尺寸为纵1像素的横长方形的变换，变换候补列表生成部在分区的横向长度比纵向长度长时，将纵1像素的横长方形的变换尺寸的变换包含在变换候补列表中。
第七技术手段在第二技术手段中，给定变换预置集包括至少一个变换尺寸为正方形的变换、至少一个变换尺寸为横长方形或者纵长方形的变换，变换制约导出部在分区的纵向长度与横向长度不一致时，将至少一个正方形的变换包含在禁止变换列表中。
第八技术手段在第二技术手段中，给定变换预置集包括至少各一个变换尺寸为横长方形的变换以及变换尺寸为纵长方形的变换，变换制约导出部在分区的横向长度比纵向长度长时，将纵长方形的变换尺寸的变换包含在禁止变换列表中。
第九技术手段在第二技术手段中，给定变换预置集包括至少两个以上处于相互类似关系的变换尺寸的变换，变换制约导出部在分区的纵向长度和横向长度的最小值为给定阈值以上时，将具有处于类似关系的变换尺寸的变换中最小的变换尺寸的变换包含在禁止变换列表中。
第十技术手段在第一技术手段中，给定变换预置集包括第一变换和第二变换，第二变换与第一变换处于相似关系并且变换尺寸比第一变换的变换尺寸小，分区结构通过阶层结构来表现，并且规定各分区按照其形状而包含在任一阶层中，变换制约导出部，在分区属于不是最下位的给定阶层时，将第一变换包含在变换候补列表中并且不将第二变换包含在变换候补列表中；在分区属于比不是最下位的给定阶层下位的阶层时，将第二变换包含在变换候补列表中。
第十一技术手段在按块单位对输入编码数据进行解码处理的运动图像解码装置中，具备：可变长符号解码部，其根据输入编码数据对处理对象的块的分区结构进行解码；预测图像生成部，其以由分区结构所规定的分区为单位来生成预测图像；和变换控制导出部，其根据分区形状信息，导出能够应用的变换的变换制约和/或变换候补，其中，可变长解码部根据输入编码数据和变换制约和/或变换候补来解码变换选择标志，并且根据变换选择标志来解码处理对象的块的变换系数，运动图像解码装置还包括：预测残差重建部，其对变换系数应用与由变换选择标志所规定的变换对应的逆变换从而重建预测残差；和局部解码图像生成部，其根据预测图像和预测残差来输出与处理对象的块对应的解码图像数据。
第十二技术手段在按块单位对输入编码数据进行处理从而对图像进行解码的运动图像解码装置中，具备：可变长符号解码部，其解码用于决定处理对象的块的分区结构的预测参数、以及用于规定或更新对分区以及分区的集合能够应用的变换的规则；和预测图像生成部，其以由分区结构所规定的分割为单位来生成预测图像，其中，可变长解码部根据输入编码数据和规则来对变换选择标志进行解码，并且根据变换选择标志对处理对象的块的变换系数进行解码，运动图像解码装置还包括：预测残差重建部，其对变换系数应用与由变换选择标志所规定的变换对应的逆变换来重建预测残差；和局部解码图像生成部，其根据预测图像和预测残差来输出与处理对象的块对应的解码图像数据。
第十三技术手段在第十二技术手段中，规则包括用于规定针对特定形状的分区将特定种类的变换包含在变换候补列表中的规则。
第十四技术手段在第十二技术手段中，规则包括用于规定针对特定形状的分区禁止将特定种类的变换包含在变换候补列表中的规则。
第十五技术手段在第十二技术手段中，规则包括用于规定在针对特定形状的分区而将特定种类的变换包含在变换候补列表中时将该变换置换为其他变换的规则。
第十六技术手段在第十二技术手段中，规则包括表现为对特定形状的分区许可或者禁止或者置换特定种类的变换的基础规则的组合的复合规则。
第十七技术手段在第十六技术手段中，规则包括用于规定对属于特定阶层的上位阶层的分区禁止将处于类似关系的变换中的小尺寸的变换包含在变换候补列表中的规则，来作为复合规则。
第十八技术手段在第十六或者第十七技术手段中，可变长编码部对表示是否应用复合规则来作为规则的标志进行编码。
第十九技术手段在将输入运动图像分割为给定大小的块从而以块单位进行编码处理的运动图像编码装置中，具备：预测参数决定部，其决定块的分区结构；预测图像生成部，其以由分区结构所规定的分区为单位来生成预测图像；变换系数生成部，其对预测图像与输入运动图像的差分即预测残差应用在给定变换预置集之中包含的频率变换的任一种；变换控制导出部，其根据分区形状信息来导出对各个分区能够应用的变换的变换制约和/或变换候补；频率变换决定部，其根据变换制约和/或变换候补来决定表示要应用的变换的变换选择标志；变换候补导出规则决定部，其决定用于规定或者更新变换控制导出部中的变换制约和/或变换候补的导出方法的规则；和可变长编码部，其根据变换制约和/或变换候补列表和变换预置集，对变换选择标志进行可变长编码，并且按每个比块大的给定单位对变换候补导出规则进行可变长编码。
发明的效果
在本发明的运动图像编码装置中，在选择特定的分区尺寸时，通过将可选择的变换尺寸限制在有效性高的变换尺寸，从而在较高地维持能够选择适于运动图像的局部特性的变换尺寸的可能性的同时，能够降低附加信息的码量，进而，能够削减编码处理的处理量。此外，在本发明的运动图像解码装置中，能够对由所述运动图像编码装置进行了编码的编码数据进行解码。
附图说明
图1是用于说明扩展宏块(MB)和处理顺序的定义的图。
图2是表示本发明的运动图像编码装置的一实施例的框图。
图3是用于说明分区阶层结构和处理顺序的定义的图。
图4是用于说明禁止变换列表的生成处理的一例的流程图。
图5是用于说明禁止变换列表的生成处理的其他例的流程图。
图6是用于对禁止变换列表的生成时的分区分割进行说明的图。
图7是用于对禁止变换列表的生成时的分区分割进行说明的其他图。
图8是用于说明禁止变换列表的生成处理的又一其他例的流程图。
图9是用于说明禁止变换列表的生成过程的具体例的图。
图10是用于说明变换选择标志的编码数据生成处理例的流程图。
图11是表示本发明的运动图像解码装置的一实施例的框图。
图12是表示本发明的运动图像编码装置的其他实施例的框图。
图13是用于说明变换候补列表的生成处理的一例的流程图。
图14是表示本发明的运动图像解码装置的其他实施例的框图。
图15是表示本发明的运动图像编码装置的又一其他实施例的框图。
图16是表示本发明的运动图像解码装置的又一其他实施例的框图。
具体实施方式
(实施方式1)
以下，参照图1～图11来说明作为本发明的运动图像编码装置以及运动图像解码装置的一实施方式的运动图像编码装置10以及运动图像解码装置20。另外，在附图的说明中，对同一要素标注同一符号并省略说明。
在以下的说明中，设在运动图像编码装置中以由64×64像素构成的扩展MB单位依次输入输入运动图像来执行处理。此外，对于扩展MB的输入顺序，假设图1所示的光栅扫描顺序。但是，本发明也可以适用于扩展MB的尺寸为上述以外的情况。尤其对于比当前正广泛利用的处理单位即16×16像素大的尺寸的扩展MB是有效的。
以下的说明中的运动图像编码装置以及运动图像解码装置中的处理，设基于H.264/AVC来实现，对于动作，对于没有特别说明的部分，设遵循H.264/AVC的动作。但是，本发明不限定于H.264/AVC，也能够适用于类似的VC-1、MPEG-2、AVS等方式、以及采用块单位的处理、频率变换的其他运动图像编码方式。
<运动图像编码装置10的构成>
图2是表示运动图像编码装置10的构成的框图。运动图像编码装置10包括帧存储器101、预测参数决定部102、预测图像生成部103、变换制约导出部104、频率变换决定部105、预测残差生成部106、变换系数生成部107、可变长编码部108、预测残差重建部109、局部解码图像生成部110。
<帧存储器101>
在帧存储器101中记录局部解码图像。这里，所谓局部解码图像，是指针对通过对变换系数应用逆频率变换而重建的预测残差，叠加预测图像而生成的图像。在对输入运动图像的特定帧的特定扩展MB进行处理的时间点，将针对比处理对象帧先进行了编码的帧的局部解码图像、以及与比处理对象扩展MB先进行了编码的扩展MB对应的局部解码图像记录在帧存储器101中。另外，帧存储器101中所记录的局部解码图像，可以由装置内的各构成要素适当读出。
<预测参数决定部102(分区结构定义、模式判定说明)>
预测参数决定部102基于输入运动图像的局部性质，来决定预测参数并输出。这里，在预测参数中，至少包括表示扩展MB内各部适用的分区的结构的分区结构、和用于帧间预测的运动信息(运动向量以及参考的局部解码图像的索引(参考图像索引))。此外，还可以包括表示帧内预测时的预测图像生成方法的帧内预测模式。
对于分区结构的详细情况，参照图3来进行说明。分区结构通过阶层结构来表现，将以64×64像素为处理单位的阶层定义为阶层L0、将以32×32像素为处理单位的阶层定义为阶层L1、将以16×16像素为处理单位的阶层定义为阶层L2、将以8×8像素为处理单位的阶层定义为阶层L3。对于各阶层，作为分割方法可以选择不进行分区的一分割、由水平方向的直线将区域等分的水平二分割、由垂直方向的直线将区域等分的垂直二分割、由水平方向和垂直方向的2条直线将区域四等分的四分割中的任一个。另外，将处理单位大的阶层称为上位阶层、将处理单位小的阶层称为下位阶层。在本实施方式中，阶层L0是最上位阶层，阶层L3是最下位阶层。通过从最上位阶层即阶层L0依次确定各阶层中的分割方法来表现分区结构。具体而言，通过下面的过程能够唯一地表现分区结构。
(过程S10)若阶层L0中的分割方法是一分割、水平二分割、垂直二分割中的任一种，则将由该分割方法所表现的区域作为阶层L0中的处理单位的分区。在分割方法是四分割的情况下，对各分割区域，通过过程S11来决定分区。
(过程S11)若阶层L1中的分割方法是一分割、水平二分割、垂直二分割中的任一种，则将由该分割方法所表现的区域作为阶层L1中的处理单位的分区。在分割方法是四分割的情况下，对各分割区域，通过过程S12来决定分区。
(过程S12)若阶层L2中的分割方法是一分割、水平二分割、垂直二分割中的任一种，则将由该分割方法所表现的区域作为阶层L2中的处理单位的分区。在分割方法是四分割的情况下，对各分割区域，通过过程S13来决定分区。
(过程S13)将由阶层L3中的分割方法所表现的区域作为阶层L3中的处理单位的分区。
这里，对扩展MB内的各分区的处理顺序进行说明。如图3所示，在各阶层中，不论分割方法都以光栅扫描顺序执行处理。但是，除了最下位的阶层(阶层L3)以外，在选择了四分割作为分割方法的情况下，对于各四分割区域以光栅扫描顺序处理由下位阶层表现的分区。在以后说明的各部分中，在处理扩展MB内的分区时，设适用上述处理顺序。
分区p所属于的阶层Lx通过下面的过程导出。
(过程S20)在分区p的尺寸与特定的阶层Ly的由一分割或者水平二分割或者垂直二分割所生成的分区的尺寸相等时，将Lx的值设定为Ly。
(过程S21)在上述以外的情况下，将Lx的值设定为L3(将Lx设定为最下位阶层)。
<分区形状的说明>
将对属于分区结构的各分区给予特征的信息，即，分区尺寸、或表示分区尺寸的特征的信息、或者、分区结构中的阶层称为分区形状信息。例如，32×32等的分区尺寸本身、表示是否比给定分区尺寸大的信息、分区的纵向长度与横向长度的比、分区的纵向长度与横向长度的大小关系、分区的纵向长度和横向长度的最小值或最大值、分区所属的阶层等，都是分区形状信息。
预测参数通过率失真判定来决定。在率失真判定中，针对各预测参数候补，根据使用该预测参数对处理对象扩展MB进行编码时的编码数据的码量、局部解码图像和输入运动图像的失真，来计算被称为率失真成本的成本，从而选择使该成本最小的预测参数。即，针对作为预测参数的分区结构、运动信息的可能的所有组合来计算率失真成本，并将最好的组合作为预测参数。将扩展MB的编码数据的码量设为R，将与扩展MB对应的输入运动图像和局部解码图像的均方误差设为D，使用表示码量R和误差D的关系的参数λ，通过C＝D+λR的数式，可以计算率失真成本C。
通过率失真判定，决定并输出适合用于对处理对象扩展MB进行编码的预测参数，即，合适的分区结构、和与各分区对应的运动信息。
另外，有可能在对特定的预测参数计算率失真成本时对处理对象扩展MB适用的频率变换不能被唯一决定。在这种情况下，可以利用应用特定的频率变换而得到的率失真成本，也可以利用全部应用多个频率变换时所得到的最小的率失真成本。
<预测图像生成部103>
预测图像生成部103基于输入的预测参数来生成处理对象扩展MB的预测图像并输出。通过以下的过程来执行预测图像生成。
(过程S30)基于预测参数所包含的分区结构，将扩展MB分割为分区，通过过程S31来生成各分区中的预测图像。
(过程S31)从预测参数读出与处理对象的分区相对应的运动信息，即，运动向量和参考图像索引。在参考图像索引表示的局部解码图像上，基于运动向量表示的区域的像素值，通过动态补偿预测来生成预测图像。
<预测残差生成部106>
预测残差生成部106基于被输入的输入运动图像和预测图像，生成扩展MB的预测残差并输出。预测残差是与扩展MB相同尺寸的二维数据，各要素成为输入运动图像和预测图像的对应的像素间的差分值。
<变换系数生成部107>
变换系数生成部107基于被输入的预测残差和变换选择标志，通过对预测残差进行频率变换从而生成变换系数并输出。变换选择标志表示对扩展MB的各分区要应用的频率变换，变换系数生成部107对扩展MB内的各分区选择由变换选择标志表示的频率变换，将所选择的频率变换应用于预测残差。由变换选择标志表示的频率变换，是能够由变换系数生成部107应用的全部频率变换的集合(变换预置集(preset))所包含的频率变换中的任一个。
在本实施方式中的变换预置集之中包括4×4DCT、8×8DCT、16×16DCT、16×8DCT、8×16DCT、16×1DCT、1×16DCT、8×1DCT、以及1×8DCT这9种频率变换。这里所规定的各频率变换分别对应于特定的变换尺寸的DCT(离散余弦变换)(例如，4×4DCT对应于将4×4像素作为变换尺寸的离散余弦变换)。另外，本发明不限制于仅针对上述频率变换的组，对于上述变换预置集的子集也能够适合。此外，在变换预置集之中也可以包括其他变换尺寸的离散余弦变换、例如包括32×32DCT、64×64DCT的频率变换，还可以在变换预置集之中包括离散余弦变换以外的频率变换，例如包括阿达玛(Hadamard)变换、正弦变换、小波变换、或者与这些变换近似的变换的频率变换。
对M×N像素的分区应用具有W×H的变换尺寸的频率变换的处理，是用下面的伪代码表示的处理。另外，区域R(x、y、w、h)表示存在于以分区内左上角为起点向右方向位移x像素、向下方向位移y像素的位置处的宽w像素、高h像素的区域。
for(j＝0、j＜N、j+＝H){
for(i＝0、i＜M、i+＝W){
对区域R(i、j、W、H)应用频率变换
}
}
<变换制约导出部104>
变换制约导出部104基于被输入的预测参数，导出关于在扩展MB内的各分区中能够选择的频率变换的制约作为变换制约并输出。即，基于由预测参数所决定的各分区的分区形状信息来导出该分区的变换制约。
变换制约，作为分别与扩展MB内的各分区建立了对应的禁止变换列表的集合来定义。这里，在禁止变换列表中，在要素中包括变换预置集所含的频率变换之中的、在建立了对应的分区中不能选择的频率变换(禁止频率变换)。换言之，从变换预置集的要素去除了禁止变换列表的要素，成为由建立了对应的分区能够选择的频率变换的集合(变换候补列表)。
另外，禁止变换列表、变换候补列表能够通过包含表示在集合中是否包含各变换的信息的变换集合信息来表现。设变换预置集之中所包含的变换的数量为Nt个时，变换的组合为2的Nt次方，所以利用具有0～(2的Nt次方-1)的值域的变换集合信息可以表现集合中所包含的变换。另外，不需要通过变换集合信息一定能够表现全部变换的组合，可以表现与特定的组合对应的值即可。作为极端的示例，在变换预置集仅包括4×4DCT以及8×8DCT时，通过表示是否禁止4×4DCT(或者8×8DCT)的1比特的标志就能够表现禁止列表。此外，还可以使4×4DCT与0对应、使4×4DCT和8×8DCT的组与1对应、使8×8DCT与2对应，从而通过0～2的值来表现变换候补列表。
此外，可以根据阶层、分区、块的组等的单位来改变变换集合信息的含义。即，相同的变换集合信息的值0可以在阶层L0中表示16×16DCT、在阶层L1中表示8×8DCT、在阶层L2中表示4×4DCT。通过改变变换集合信息的值的含义，可以用较少的值的范围来表现禁止变换列表以及变换候补列表。
因此，本发明中的变换制约、变换候补列表不受列表这一术语的约束，可以认为与表示变换制约、变换候补的变换集合信息等价。
利用下面的过程来生成针对特定的分区p的禁止变换列表Lp。另外，设分区p的大小为M×N像素(横M像素、纵N像素)。此外，设分区p属于阶层Lx。
(过程S40)将Lp设定为空。
(过程S41)向Lp追加变换尺寸比M×N像素大的频率变换。
(过程S42)向Lp追加根据Min(M、N)的值而决定的频率变换。
(过程S43)向Lp追加根据M÷N的值而决定的频率变换。
(过程S44)向Lp追加根据阶层Lx的值而决定的频率变换。
另外，表示是否比M×N像素大的信息、Min(M、N)的值、M÷N的值、阶层Lx的值是分区形状信息。
<Min(M、N)的变换尺寸的限制>
参照图4的流程图来说明上述过程S42的更详细的过程。
(过程S50)若Min(M、N)为给定阈值Th1(例如Th1＝16像素)以上，则进入过程S51，否则进入过程S52。
(过程S51)在频率变换列表内存在2个以上具有类似关系的变换尺寸的频率变换时，将各个具有类似关系的变换尺寸的频率变换的组中变换尺寸最小的频率变换(4×4DCT、8×1DCT、1×8DCT)追加到Lp之后进入过程S52。这里的类似关系中包括相似关系。例如，本实施方式的变换预置集之中的16×16和8×8和4×4的变换尺寸是类似关系。此外，在类似关系中还包括近似的相似关系。例如，本实施方式的变换预置集之中的16×1和8×1的变换尺寸、1×16和1×8的变换尺寸是类似关系。另外，虽然在以下的说明中不适用，但是可以根据频率变换的尺寸将频率变换分为正方形、纵长方形、横长方形的3类，将属于各类的频率变换看作类似关系。
(过程S52)若Min(M、N)为给定阈值Th2(例如Th2＝32像素)以上则进入过程S53，否则结束处理。
(过程S53)在变换预置集内存在3个以上具有类似关系的变换尺寸的频率变换时，在各个具有类似关系的变换尺寸的频率变换的组中将第2小的变换尺寸的频率变换(8×8DCT)追加到Lp，之后结束处理。其中，Th2＞Th1。
分区是动态补偿的单位，为了使用运动向量使以分区单位生成的预测图像接近输入图像，按照分区内的图像的帧间的运动一样的方式决定分区构成。即，对输入运动图像上的大的物体(或者其一部分)分配大的分区，对小的物体分配小的分区。一般，在输入运动图像上，与大的物体对应的区域的像素值的空间相关性，比与小的物体对应的区域的像素值的空间相关性高。因此，对于大的分区，大的变换尺寸的频率变换比小的变换尺寸的频率变换有效。因此，对于大的分区，即使在将某程度的小变换尺寸的频率变换作为禁止变换的情况下，编码数据的码量也基本不增加。
<M÷N的值的变换尺寸的限制>
下面，参照图5的流程图来说明上述过程S43的更详细的过程。
(过程S60)若M÷N的值为2以上(分区p的横向长度为纵向长度的2倍以上)则进入过程S61，否则进入过程S63。
(过程S61)将全部具有正方形的变换尺寸的频率变换(4×4DCT、8×8DCT、16×16DCT)追加到Lp，之后进入过程S62。
(过程S62)将变换尺寸的纵向长度比横向长度长的频率变换(8×16DCT、1×16DCT)追加到Lp，之后结束处理。
(过程S63)若M÷N的值为0.5以下(分区p的纵向长度为横向长度的2倍以上)则进入过程S64，否则进入过程S66。
(过程S64)将全部具有正方形的变换尺寸的频率变换(4×4DCT、8×8DCT、16×16DCT)追加到Lp，之后进入过程S65。
(过程S65)将变换尺寸的横向长度比纵向长度长的频率变换(16×8DCT、16×1DCT)追加到Lp，之后结束处理。
(过程S66)若M÷N的值等于1(分区p的横向长度与纵向长度相等)则进入过程S67，否则结束处理。
(过程S67)将变换尺寸的横向长度与纵向长度不同的频率变换(16×8DCT、16×1DCT、8×16DCT、1×16DCT)追加到Lp。
参照图6来说明上述过程S61以及过程S62的意图。如图6(a)所示，设在某阶层的处理单位U中存在两个物体(前景物体O和背景B)，前景物体O与背景B的边界存在于处理单位U的下部。在该情况下，选择如图6(b)所示的、M÷N的值为2以上的横长方形的分区。相反，不选择如图6(c)所示的纵长方形的分区。
下面，参照图6(d)～(f)来说明在选择了横长方形分区时的、包括背景B和前景物体O双方的分区中的变换尺寸和编码数据的码量的关系。图6的(d)、(e)、(f)分别示出在所述分区中应用了正方形、横长方形、纵长方形的变换尺寸时的分区和变换尺寸的关系。采用正方形的变换尺寸的频率变换(图6(d))、或纵长方形的变换尺寸的频率变换(图6(f))时，在应用频率变换的区域内存在边界的情况多。
另一方面，采用横长方形的变换尺寸的频率变换(图6(e))时，在应用频率变换的区域内存在边界的情况少。在应用频率变换的区域内存在边界的情况下，不能通过频率变换使能量集中在变换系数的低频成分，所以变换系数的编码所需要的码量变多。另一方面，在应用频率变换的区域内不存在边界时，能通过频率变换使能量集中在变换系数的低频成分，所以变换系数的编码所需要的码量变少。所以对于横长方形的分区，应用横长方形的变换尺寸的频率变换时，比应用正方形或纵长方形的变换尺寸的频率变换时有效。因此，对于横长方形分区，在将正方形或者纵长方形的变换尺寸的频率变换设定为禁止变换时，编码数据的码量也基本不增加。
上述过程S64以及过程S65的意图也与上述相同。即，对于纵长方形分区，在将正方形或者横长方形的变换尺寸的频率变换设定为禁止变换时，编码数据的码量也基本不增加。
参照图7来说明上述过程S66的意图。如图7(a)所示，设在某阶层的处理单位U中存在两个物体(前景物体O和背景B)，前景物体O与背景B的边界存在于处理单位U的右下部。在该情况下，选择如图7(b)所示的、M÷N的值为1的正方形的分区。
下面，参照图7(d)～(f)来说明在选择了正方形的分区时的、包括背景B和前景物体O双方的分区(右下分区)中的变换尺寸和编码数据的码量之间的关系。图7的(d)、(e)、(f)分别示出在右下分区中应用正方形、横长方形、纵长方形的变换尺寸时的分区和变换尺寸之间的关系。在该情况下，在采用正方形、纵长方形、横长方形的任一种变换尺寸的情况下，在应用频率变换的区域内存在边界的比例都没有太大变化。因此，关于右下分区，使用正方形、纵长方形、横长方形的任一种变换尺寸的频率变换，编码数据的码量的差异都较小。
另一方面，在处理单位U内的右下分区以外的分区中，仅包含背景B且不存在边界，所以使用任一种变换尺寸，在应用频率变换的区域内都不存在边界。因此，与采用纵长方形或横长方形的变换尺寸的频率变换相比，采用能够在水平方向(横方向)和垂直方向(纵向)的双方向上平衡性良好地有效地利用预测残差的像素值的空间相关性的正方形的变换尺寸的频率变换，更能够在变换系数中集中能量。所以，对于正方形的分区，正方形的变换尺寸的频率变换，比横长方形或纵长方形的变换尺寸的频率变换有效。因此，对于正方形的分区，在将横长方形或者纵长方形的变换尺寸的频率变换设定为禁止变换时，编码数据的码量也基本不增加。
<分区所属的阶层的变换尺寸的限制>
下面，参照图8的流程图来说明上述过程S44的更详细的过程。
(过程S70)若阶层Lx是最上位阶层则进入过程S71，否则进入过程S72。
(过程S71)将具有相似形状的变换尺寸的多个频率变换候补(16×16DCT、8×8DCT、4×4DCT)中具有最大变换尺寸的频率变换以外的频率变换(8×8DCT、4×4DCT)追加到Lp，之后结束处理。
(过程S72)若阶层Lx是最下位阶层则进入过程S73，否则结束处理。
(过程S73)将具有相似形状的变换尺寸的多个频率变换候补(16×16DCT、8×8DCT、4×4DCT)中具有最小变换尺寸的频率变换以外的频率变换(16×16DCT、8×8DCT)追加到Lp，之后结束处理。
在用阶层结构表现分区的情况下，即使利用属于最上位阶层的分区来限制变换尺寸比较小的一部分频率变换，编码数据的码量也基本不增加。这是因为，即使在最上位阶层不能选择特定的变换(例如8×8DCT或4×4DCT)，也能够在下位阶层中选择。也就是说，在小变换尺寸的频率变换有效的区域中，通过不选择属于最上位阶层的分区而选择能够选择小变换尺寸的频率变换的下位阶层的分区，能够抑制编码数据的码量增加。尤其对于大的分区，立足于大变换尺寸的频率变换有效这一事实，在频率变换候补中存在多个相似形状的变换尺寸的频率变换时，优选在最上位阶层限制这些频率变换中小变换尺寸的频率变换。
同样，在用阶层结构来表现分区的情况下，即使用属于最下位阶层的分区限制了变换尺寸比较大的一部分变换尺寸的频率变换，编码数据的码量也基本不增加。尤其对于小的分区，立足于小变换尺寸的频率变换有效这一事实，在频率变换候补中存在多个相似形状的变换尺寸的频率变换时，优选在最下位阶层限制这些频率变换中大变换尺寸的频率变换。
<禁止变换列表生成处理的具体例>
参照图9来介绍以上所说明的在变换制约导出部104中对特定的分区结构生成变换制约、即每个分区的禁止变换列表的过程的具体例。如图9所示，扩展MB在阶层L0被四分割后，左上部在阶层L1被一分割(分区a)、右上部在阶层L1被水平二分割(分区b、c)、左下部在阶层L1被垂直二分割(分区d、e)、右下部在阶层L1被四分割。
对于在阶层L1被四分割的区域，左上部在阶层L2被一分割(分区f)、右上部在阶层L2被水平二分割(分区g、h)、左下部在阶层L2被垂直二分割(分区i、j)、右下部在阶层L2被四分割。对于在阶层L2被四分割的各部，在阶层L3被一分割(分区k、l、m、n)。如上所述，能够选择的频率变换的变换尺寸是4×4、8×8、16×16、16×1、1×16、8×1、1×8、16×8、8×16这9种。
分区a的大小是32×32像素，属于阶层L1。应用上述禁止变换列表的生成过程后，在过程S51将4×4、8×1、1×8、在过程S52将8×8、在过程S67将1×16、16×1、16×8、8×16的各变换尺寸的频率变换追加到禁止变换列表。
分区b、c的大小是32×16像素，属于阶层L1。应用上述禁止变换列表的生成过程后，在过程S51将4×4、8×1、1×8、在过程S61将4×4、8×8、16×16、在过程S62将1×16、8×16的各变换尺寸的频率变换追加到禁止变换列表。
分区d、e的大小是16×32像素，属于阶层L1。应用上述禁止变换列表的生成过程后，在过程S51将4×4、8×1、1×8、在过程S64将4×4、8×8、16×16、在过程S65将16×1、16×8的各变换尺寸的频率变换追加到禁止变换列表。
分区f的大小是16×16像素，属于阶层L2。应用上述禁止变换列表的生成过程后，在过程S51将4×4、8×1、1×8、在过程S67将16×1、1×16、16×8、8×16的各变换尺寸的频率变换追加到禁止变换列表。
分区g、h的大小是16×8像素，属于阶层L2。应用上述禁止变换列表的生成过程后，在过程S41将16×16、1×16、8×16、在过程S61将4×4、8×8、16×16、在过程S62将1×16、8×16的各变换尺寸的频率变换追加到禁止变换列表。
分区i、j的大小是8×16像素，属于阶层L2。应用上述禁止变换列表的生成过程后，在过程S41将16×16、16×1、16×8、在过程S64将4×4、8×8、16×16、在过程S65将16×1、16×8的各变换尺寸的频率变换追加到禁止变换列表。
分区k、l、m、n的大小是8×8像素，属于阶层L3。应用上述禁止变换列表的生成过程后，在过程S41将16×16、16×1、16×8、1×16、8×16、在过程S67将16×1、16×8、1×16、8×16、在过程5b将8×8、16×16的各变换尺寸的频率变换追加到禁止变换列表。
如上述例那样，对于其他具有分区结构的扩展MB，也可以对扩展MB内的各分区生成禁止变换列表后作为变换制约输出。
另外，在上述说明中，在禁止变换列表生成过程中，执行了全部过程S42、过程S43、过程S44，但是也可以仅使用这些过程中的一部分。此外，在过程S42的详细过程中，可以仅执行过程S50的判定和过程S51的判定中的任一方。此外，在过程S43的详细过程中，关于判定，可以仅执行过程S60、过程63、过程66的各判定的一部分，并且关于判定后的处理，可以仅执行过程S61和过程S62的任一方、过程S64和过程S65的任一方。此外，在过程S44的详细过程中，可以仅执行过程S70和过程72的判定的任一方。在进行了那样的过程省略的情况下，能够减轻禁止变换列表生成所需要的计算处理。
<频率变换决定部105>
频率变换决定部105利用被输入的变换制约，决定在扩展MB内的各分区中应用的频率变换，并将该信息作为变换选择标志输出。决定在特定的分区p中应用的频率变换的过程如下所述。
(过程S120)从变换制约提取与分区p对应的禁止变换列表Lp。
(过程S121)取得变换预置集与禁止变换列表Lp的差集来作为变换候补列表Cp。
(过程S122)在变换候补列表Cp为空集的情况下，将变换预置集之中包含的正方形的变换尺寸的频率变换中最小的变换尺寸的频率变换追加到变换候补列表Cp中。为了避免不存在当禁止变换列表与变换预置集一致时要应用的频率变换的状况，需要该过程。在总是生成与变换预置集不一致的禁止变换列表的情况下，可以省略该过程。
(过程S123)计算应用了变换候补列表Cp中包含的各频率变换时的率失真成本，将使率失真成本最小的频率变换作为在分区p中要应用的频率变换。
<可变长编码部108>
可变长编码部108根据被输入的变换系数、预测参数、变换制约和变换选择标志，生成并输出与扩展MB中的变换系数、预测参数和变换选择标志对应的编码数据。
利用现有的方法对变换系数和预测参数进行可变长编码后输出。利用变换制约对变换选择标志进行可变长编码后输出。以下，参照图10的流程图来说明变换选择标志的可变长编码过程。
(过程S80)若扩展MB中的阶层L0的分割方法是四分割以外，则执行过程S81的处理，否则执行过程S82～过程S92的处理。
(过程S81)对表示应用于阶层L0的处理单位(64×64像素)内的各分区的频率变换的信息进行可变长编码，之后结束处理。
(过程S82)分别对将阶层L0的处理单位进行四分割而得到的阶层L1的各处理单位(32×32像素)，执行以下的过程S83～过程S92的处理。
(过程S83)若当前的处理单位(32×32像素)中的阶层L1的分割方法是四分割以外，则进入过程S84，否则进入过程S85。
(过程S84)对表示应用于当前的处理单位(32×32像素)内的各分区的频率变换的信息进行可变长编码，之后进入过程S92。
(过程S85)分别对将阶层L1的处理单位(32×32像素)进行四分割而得到的阶层L2的各处理单位(16×16像素)，应用以下的过程S86～过程S91的处理。
(过程S86)若当前的处理单位(16×16像素)中的阶层L2的分割方法是四分割以外，则进入过程S87，否则进入过程S88。
(过程S87)对表示应用于当前的处理单位(16×16像素)内的各分区的频率变换的信息进行可变长编码，之后进入过程S91。
(过程S88)分别对将阶层L2的处理单位进行四分割而得到的阶层L3的各处理单位(8×8像素)，执行以下的过程S89～过程S90的处理。
(过程S89)对表示应用于当前的处理单位(8×8像素)内的各分区的频率变换的信息进行可变长编码，之后进入过程S90。
(过程S90)若全部处理单位(8×8像素)的处理结束，则进入过程S91。否则设定下一处理单位(8×8像素)并进入过程S89。
(过程S91)若全部处理单位(16×16像素)的处理结束，则进入过程S92。否则，设定下一处理单位(16×16像素)并进入过程S86。
(过程S92)若全部处理单位(32×32像素)的处理结束，则结束处理。否则设定下一处理单位(32×32像素)并进入过程S83。
利用以下的过程来执行与特定的分区p对应的变换选择标志的可变长编码。
(过程S130)从变换制约提取与分区p对应的禁止变换列表Lp。
(过程S131)取得变换预置集与禁止变换列表Lp的差集来作为变换候补列表Cp。
(过程S132)在变换候补列表Cp是空集时，将变换预置集之中包含的正方形的变换尺寸的频率变换中最小的变换尺寸的频率变换追加到数变换候补列表Cp中。在该过程追加的频率变换不局限于上述频率变换，也可以是比变换预置集之中包含的其他分区p小的变换尺寸的频率变换。但是，需要与在频率变换决定部的过程S122所使用的频率变换相同。
(过程S133)在变换候补列表Cp中包含的频率变换的数量仅是1个时，结束可变长编码处理。在该情况下，即使不将表示应用于分区p的频率变换的信息包含在编码数据中，也能够唯一地确定在数据的解码时要应用哪个频率变换，所以不会产生问题。
(过程S134)按照给定顺序重排变换候补列表Cp中包含的频率变换，并与从0开始每次增加1的索引建立对应。
(过程S135)对与应用于分区p的频率变换建立了关联的索引进行可变长编码。作为索引的可变长编码方法，例如，能够应用如下方法：在设频率变换候补列表的要素数为s时，利用使2的t次方成为s以上的最小的t，将索引值以t比特(bit)来二进制化而得到的比特串作为编码数据。
若频率变换候补列表的要素数较少，则用于索引编码的码量变少。即，通过对各分区设定禁止变换，能够削减变换选择标志的编码所需要的码量。此外，若频率变换候补列表的要素数较少，则能够削减用于选择要应用的频率变换的编码处理的运算量。
另外，对于上述过程S134中的给定顺序，例如可以使用如下那样的顺序：对大变换尺寸的频率变换附加比小变换尺寸的频率变换小的索引、在变换尺寸为正方形时附加比横长方形时小的索引、在变换尺寸为横长方形时附加比纵长方形时小的索引。在该情况下，容易按照16×16DCT、16×8DCT、8×16DCT、8×8DCT、4×4DCT、16×1DCT、1×16DCT、8×1DCT、1×8DCT的顺序与小的索引建立对应。
作为其他示例，还可以使上述过程S134中的给定顺序为各频率变换的选择频度高的顺序。具体而言，在开始输入运动图像的编码处理后，对变换预置集之中的各变换作为分区的变换被选择了几次进行计数，作成如下顺序：对选择次数多的频率变换分配较小的索引。在该情况下，因为索引的发生频度中也产生偏颇，所以在过程S135对索引进行可变长编码时的码量减少。另外，在新的帧的编码开始时、或给定个数的扩展MB的集合即片(slice)的编码开始时等适当的定时，可以将上述选择次数的系数值初始化为零等规定值。此外，也可以对带条件的频率变换选择次数，例如，每个分区尺寸的各频率变换的选择次数进行计数，并加以利用。
此外，对于上述过程S135中的索引的可变长编码，还可以采用其他方法。例如可以使用由H.264/AVC规定的各种VLC、CABAC等。
另外，可以不直接对索引进行可变长编码，而是对表示是否与索引预测值一致的标志进行编码，并仅在该标志表示不一致时才对索引进行可变长编码。使用完成编码的扩展MB的信息(局部解码图像、分区结构、运动向量等)来估计由处理对象分区利用的频率变换，可以将与该频率变换对应的索引作为索引预测值。尤其优选，考虑频率变换的空间相关性，根据在处理对象分区附近的分区应用的频率变换，导出索引预测值。具体而言，优选如下方法：分别导出在位于处理对象分区的左、上、右上的各分区所应用的频率变换的索引；并且，若这些索引的2个以上一致，则将该值作为索引预测值，否则将这些索引中的最小值作为索引预测值。
此外，在上述变换选择标志的可变长编码过程中，说明了对全部分区的变换选择标志进行可变长编码的情况，但是在规定对于属于特定的阶层Lx的同一处理单位的各分区应用的频率变换相同的基础上，可以按每个阶层Lx的处理单位来对处理单位内分区相同的变换选择标志进行可变长编码。在该情况下，虽然频率变换的选择的自由度降低，但是不需要按每个分区对变换选择标志进行编码，按每个阶层Lx的处理单位对变换选择标志进行编码即可，所以能够降低变换选择标志的编码所需要的码量。相反，进而将分区分割为不小于变换候补列表中包含的最大变换尺寸的频率变换的单位，可以以该单位对变换选择标志进行编码。
<预测残差重建部109>
预测残差重建部109根据被输入的变换系数和变换选择标志来对变换系数进行逆频率变换，从而重建预测残差并输出。另外，在变换系数被量化的情况下，在应用频率变换之前，先应用逆量化。
<局部解码图像生成部110>
局部解码图像生成部110根据被输入的预测图像和预测残差，生成并输出局部解码图像。局部解码图像的各像素值为预测图像与预测残差对应的像素间的像素值的和。另外，为了降低在块边界发生的块失真，降低量化误差，可以对局部解码图像应用滤波器。
<运动图像编码装置10的动作>
接着，对运动图像编码装置10的动作进行说明。
(过程S100)从外部输入到运动图像编码装置10的输入运动图像，以扩展MB为单位依次输入到预测参数决定部102以及预测残差生成部106，对各扩展MB，依次执行以后的S101～S109的处理。
(过程S101)在预测参数决定部102中，针对处理对象扩展MB，根据被输入的输入运动图像来决定预测参数，并输出到预测图像生成部103以及可变长编码部108。
(过程S102)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与输入运动图像中的处理对象扩展MB的区域近似的预测图像，并输出到预测残差生成部106以及局部解码图像生成部110。
(过程S103)在预测残差生成部106中，根据被输入的输入运动图像和预测图像，生成与处理对象扩展MB对应的预测残差，并输出到频率变换决定部105以及变换系数生成部107。
(过程S104)在变换制约导出部104中，根据被输入的预测参数，导出关于处理对象扩展MB的各分区中的频率变换的制约来作为变换制约，并输出到频率变换决定部105以及可变长编码部108。
(过程S105)在频率变换决定部105中，根据被输入的变换制约和预测残差，决定应用于处理对象扩展MB的各分区的频率变换，并作为变换选择标志输出到变换系数生成部107以及可变长编码部108以及预测残差重建部109。
(过程S106)在变换系数生成部107中，将由被输入的变换选择标志规定的频率变换应用到被输入的预测残差，生成与处理对象扩展MB对应的变换系数，并输出到可变长编码部108以及预测残差重建部109。
(过程S107)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用到被输入的变换系数，重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S108)在局部解码图像生成部110中，根据被输入的预测残差和预测图像来生成局部解码图像，并输出到帧存储器101进行记录。
(过程S109)在可变长编码部108中，利用被输入的变换制约，对被输入的变换系数、预测参数以及变换选择标志进行可变长编码，并将其结果作为编码数据输出到外部。
通过上述过程，在运动图像编码装置10中，可以对被输入的输入运动图像进行编码从而生成编码数据并输出到外部。
<运动图像解码装置20的构成>
下面，说明对由运动图像编码装置10进行了编码的编码数据进行解码从而生成解码运动图像的运动图像解码装置20。
图11是表示图像解码装置20的构成的框图。运动图像解码装置20包括帧存储器101、预测图像生成部103、变换制约导出部104、预测残差重建部109、局部解码图像生成部110以及可变长符号解码部201。
可变长符号解码部201根据被输入的编码数据和变换制约，对预测参数以及变换选择标志以及变换系数进行解码并输出。具体而言，首先，从编码数据对预测参数进行解码并输出。接着，利用变换制约，从编码数据对变换选择标志进行解码并输出。最后，利用变换选择标志，从编码数据对变换系数进行解码并输出。
<运动图像解码装置20的动作>
接着，对运动图像解码装置20的动作进行说明。
(过程S110)从外部输入到运动图像解码装置20的编码数据，以扩展MB为单位依次输入到可变长符号解码部201，对与各扩展MB对应的编码数据，依次执行以后的S111～S117的处理。
(过程S111)在可变长符号解码部201中，从被输入的编码数据，对与处理对象扩展MB对应的预测参数进行解码，并输出到预测图像生成部103以及变换制约导出部104。
(过程S112)在变换制约导出部104中，根据被输入的预测参数，导出关于处理对象扩展MB的各分区中的频率变换的制约来作为变换制约，并输出到可变长符号解码部201。
(过程S113)在可变长符号解码部201中，根据被输入的编码数据和变换制约，对与处理对象MB对应的变换选择标志进行解码，并输出到预测残差重建部109。
(过程S114)在可变长符号解码部201中，根据被输入的编码数据和在(过程S113)导出的变换选择标志，对与处理对象扩展MB对应的变换系数进行解码，并输出到预测残差重建部109。
(过程S115)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与处理对象扩展MB对应的预测图像并输出到局部解码图像生成部110。
(过程S116)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用到被输入的变换系数，重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S117)在局部解码图像生成部110中，根据被输入的预测残差和预测图像来生成局部解码图像并输出到帧存储器101中进行记录，并且作为与处理对象块对应的解码运动图像上的区域，输出到外部。
如以上说明的那样，根据运动图像解码装置20，可以从由运动图像编码装置10生成的编码数据生成解码运动图像。
<附注事项1：关于分区尺寸、所属的阶层以外的信息的利用>
另外，在上述运动图像编码装置10、运动图像解码装置20的说明中，说明了扩展MB内的每个分区的禁止变换列表仅根据分区尺寸、分区所属的阶层而生成的方式，但是也可以使用根据编码数据中包含的信息进行解码时能够再现的其他信息。例如，可以将预测参数中包含的运动向量、参考图像索引运用于禁止变换列表的导出。
以下示出在特定的分区p中使用运动向量和参考图像索引向禁止变换列表追加频率变换的过程。另外，将分区p的运动向量设为mvp、将参考图像索引设为refp。此外，在与分区p的上边邻接的分区中将位于左端的分区(分区u)的运动向量设为mvu、将参考图像索引设为refu。此外，在与分区p的左边邻接的分区中将位于上端的分区(分区1)的运动向量定义为mvl、将参考图像索引定义为refl。
(过程S140)在mvp、mvu和mvl全部一致，并且refp、refu和refl全部一致时，进入过程S141。否则结束处理。
(过程S141)在频率变换列表内中存在2个以上具有类似关系的变换尺寸的频率变换时，将在各个具有类似关系的变换尺寸的频率变换的组中变换尺寸最小的频率变换追加到Lp，之后结束处理.
在邻接块间运动向量一致，意味着在编码对象的扩展MB附近的局部区域内运动向量的空间相关性高。在运动向量的空间相关性高的情况下，具有像素值的空间相关性也高的趋势，所以即使在具有类似变换尺寸的频率变换中禁止应用小变换尺寸的频率变换，编码数据的码量增加也很微小。
另外，在上述说明中，将用于禁止变换列表导出的运动向量、参考图像索引作为了分区p的邻接分区的运动向量、参考图像索引，但是也可以使用其他运动向量。例如，可以使用与分区p所属的扩展MB(处理对象扩展MB)邻接的扩展MB内的运动向量。具体而言，将与处理对象扩展MB的左侧邻接的扩展MB内位于右上的分区的运动向量用作mvl，将与处理对象扩展MB的上侧邻接的扩展MB内位于左下的分区的运动向量用作mvu。在该情况下，在扩展MB内的全部分区利用同一mvl、mvu，所以可以以分区为单位来并列执行过程S140、S141的处理。
<附注事项2：关于禁止变换列表的生成定时>
另外，在上述运动图像编码装置10、运动图像解码装置20的说明中，说明了变换制约导出部104按扩展MB的每个分区随时执行禁止变换列表的生成处理，但是在仅根据分区尺寸、分区所属的阶层来执行频率变换向禁止变换列表的追加的情况下，可以在给定定时事前生成禁止频率变换列表。在该情况下，需要将按照分区的每个种类而在事前生成的禁止变换列表在变换制约导出部104中与扩展MB内的各分区建立关联。所谓的所述给定定时，可以是紧接输入运动图像的编码开始或者编码数据的解码开始之后，也可以紧接序列(sequence)、帧、片等给定编码单位的编码或者解码处理的开始之后。因为使禁止变换列表的生成处理的执行次数减少，所以能够降低编码以及解码处理的处理量。
相反，在频率变换向禁止变换列表的追加时使用运动向量、参考图像索引的情况下，如在上述运动图像编码装置10、运动图像解码装置20说明的那样，需要按每个扩展MB随时执行禁止变换列表的生成处理。在该情况下，虽然由于禁止变换列表的生成处理次数的增加而编码以及解码处理的处理量增加，但是与不按每个MB执行生成处理的情况相比，能使用能根据编码数据导出的更多的信息，从而能够生成更适合运动图像的局部性质的禁止变换列表。
(实施方式2)
下面，参照图12～图14来说明作为本发明的运动图像编码装置以及运动图像解码装置的另一实施方式的运动图像编码装置11以及运动图像解码装置21。另外，在附图的说明中，对同一要素标注同一符号从而省略说明。
在本实施方式中的运动图像编码装置11以及运动图像解码装置21中，特征在于：通过变换候补导出部111来置换运动图像编码装置10、运动图像解码装置20中的变换制约导出部104，从而不生成禁止变换列表而直接导出变换候补列表。
另外，将变换制约导出部104和变换候补导出部111一起称为变换控制导出部。
图12是表示运动图像编码装置11的构成的框图。运动图像编码装置11包括帧存储器101、预测参数决定部102、预测图像生成部103、预测残差生成部106、变换系数生成部107、预测残差重建部109、局部解码图像生成部110、变换候补导出部111、频率变换决定部112、可变长编码部113。
变换候补导出部111根据被输入的预测参数，将关于在扩展MB内的各分区中能够选择的频率变换的信息作为变换候补列表输出。即，根据由预测参数决定的各分区的分区形状信息，生成该分区的变换候补列表。
变换候补列表分别与扩展MB内的各分区建立了对应，在变换预置集之中包含的频率变换中，规定了由各分区能够选择的频率变换的集合。
通过如下的过程来生成对特定的分区p的变换候补列表Cp。另外，设分区p的大小为M×N像素(横M像素、纵N像素)。此外，设分区p属于阶层Lx。
(过程S150)将根据M和N的大小关系而决定的频率变换追加到Cp。
(过程S151)在Cp为空的情况下将具有比全部分区尺寸小的变换尺寸的频率变换中最大的变换尺寸的频率变换追加到Cp。
参照图13的流程图来说明上述过程S150的更详细的过程。
(过程S160)使用给定值Th3(例如在以下Th3＝16)，对M1设定Min(M、Th3)的值、对N1设定Min(N、Th3)的值。另外，关于Th3的值，优选设定为变换预置集之中包含的最大的正方形的变换尺寸的频率变换中的变换尺寸的一边的长度。若在变换预置集之中存在具有变换尺寸M1×N1的变换尺寸的频率变换，则将该频率变换追加到变换候补列表Cp中，进入过程S161。
(过程S161)在M比N大的情况下(分区p是横长方形的情况下)进入过程S162，否则进入过程S163。
(过程S162)若在变换预置集之中存在具有变换尺寸M1×1的变换尺寸的频率变换，则将该频率变换追加到变换候补列表Cp中，结束处理。
(过程S163)在M比N小的情况下(分区p是纵长方形的情况下)进入过程S164，否则进入过程S165。
(过程S164)若在变换预置集之中存在具有变换尺寸1×N1的变换尺寸的频率变换，则将该频率变换追加到变换候补列表Cp，结束处理。
(过程S165)向M2设定M1÷2的值、向N2设定N1÷2的值。若在变换预置集之中存在具有变换尺寸M2×N2的变换尺寸的频率变换，则将该频率变换追加到变换候补列表Cp中，结束处理。另外，该过程在M和N相等的情况下(分区p是正方形的情况下)被执行。
上述M和N的大小关系、分区尺寸M×N是分区形状信息。
在上述过程中，对于横长方形(纵长方形)的分区，若在变换预置集之中存在，则分区的纵(横)的长度比高度(宽度)短的变换尺寸的频率变换被追加到变换候补列表Cp中。如在运动图像编码装置10的变换制约导出部104中的禁止变换列表的导出过程的说明中参照图6所提到的那样，对于横长方形(纵长方形)的分区，横长方形(纵长方形)的变换尺寸的频率变换有效。尤其通过使用短边的长度相对于长边非常短的变换尺寸的频率变换，能够使变换尺寸内存在物体的边界的情况变少，能够提高频率变换的向变换系数的低频成分的能量集中效果。
频率变换决定部112利用被输入的变换候补列表，决定在扩展MB内的各分区中应用的频率变换，并将该信息作为变换选择标志输出。具体而言，计算应用变换候补列表Cp中包含的各频率变换时的率失真成本，将使率失真成本最小的频率变换作为在分区p中要应用的频率变换。
可变长编码部113根据被输入的变换系数、预测参数、可变长编码、变换候补列表和变换选择标志，生成并输出与扩展MB中的变换系数、预测参数和变换选择标志对应的编码数据。
扩展MB内的各分区中的变换选择标志的可变长编码过程，与运动图像编码装置10的可变长编码部108中的过程S80～过程S92(图10)相同。作为特定的分区p中的详细的变换选择标志的可变长编码过程，适用可变长编码部108中的过程S133～过程S135。
接着，对运动图像编码装置11的动作进行说明。
(过程S170)从外部输入到运动图像编码装置11的输入运动图像，以扩展MB为单位依次输入到预测参数决定部102以及预测残差生成部106，对于各扩展MB，依次执行以后的S171～S179的处理。
(过程S171)在预测参数决定部102中，对于处理对象扩展MB，根据被输入的输入运动图像来决定预测参数，并输出到预测图像生成部103以及可变长编码部113。
(过程S172)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与输入运动图像中的处理对象扩展MB的区域近似的预测图像，并输出到预测残差生成部106以及局部解码图像生成部110。
(过程S173)在预测残差生成部106中，根据被输入的输入运动图像和预测图像，生成与处理对象扩展MB对应的预测残差，并输出到频率变换决定部112以及变换系数生成部107。
(过程S174)在变换候补导出部111中，根据被输入的预测参数，导出关于处理对象扩展MB的各分区中的频率变换的制约，并输出到频率变换决定部112以及可变长编码部113。
(过程S175)在频率变换决定部112中，根据被输入的变换制约和预测残差，决定应用于处理对象扩展MB的各分区的频率变换，作为变换选择标志输出到变换系数生成部107以及可变长编码部113以及预测残差重建部109。
(过程S176)在变换系数生成部107中，将由被输入的变换选择标志规定的频率变换应用于被输入的预测残差，从而生成与处理对象扩展MB对应的变换系数，并输出到可变长编码部108以及预测残差重建部109。
(过程S177)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用于被输入的变换系数，从而重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S178)在局部解码图像生成部110中，根据被输入的预测残差和预测图像，生成局部解码图像并输出到帧存储器101进行记录。
(过程S179)在可变长编码部113中，利用被输入的变换制约，对被输入的变换系数以及预测参数以及变换选择标志进行可变长编码，并作为编码数据输出到外部。
通过上述过程，在运动图像编码装置11中，可以对被输入的输入运动图像进行编码从而生成编码数据并输出到外部。
<变换候补列表生成方法的其他例>
另外，通过关于上述变换候补导出部111的说明，示出了变换候补列表生成方法的一例，但是也可以利用其他方法来生成变换候补列表。例如，在变换预置集之中包括两个处于相似关系的频率变换DCTa、DCTb(其中，DCTa的变换尺寸比DCTb的变换尺寸大)时，在对上位阶层中包含的分区的变换候补列表中追加DCTa而不追加DCTb，在对下位阶层中包含的分区的变换候补列表中追加DCTb，这样的变换候补列表生成方法也是有效的。更具体而言，在变换预置集之中包括16×16DCT和8×8DCT的情况下，在对以64×64像素为处理单位的阶层L0中包含的分区的变换候补列表中至少追加16×16DCT而不追加8×8DCT，在对以32×32像素为处理单位的阶层L1中包含的分区的变换候补列表中至少追加8×8DCT。
即使在属于特定的阶层Lx的分区不能选择特定的频率变换DCTb(例如8×8DCT)，若在属于阶层Lx的下位的阶层Ly的分区中能够选择DCTb，则在DCTb有效的区域中，通过不选择属于上位阶层Lx的分区，而选择属于能够选择DCTb的下位阶层Ly的分区，也可以抑制编码数据的码量增加。尤其对于大的分区来说，基于大变换尺寸的频率变换有效这一事实，取代对属于上位阶层Lx的分区禁止DCTb的选择，而是能够选择具有更大的变换尺寸的DCTa(例如16×16DCT)，另一方面对于属于下位阶层Ly的分区能够选择DCTb，这是有效的。
<运动图像解码装置21的构成>
下面，说明对由运动图像编码装置11进行了编码的编码数据进行解码从而生成解码运动图像的运动图像解码装置21。
图14是表示图像解码装置21的构成的框图。运动图像解码装置20包括帧存储器101、预测图像生成部103、预测残差重建部109、局部解码图像生成部110、变换候补导出部111以及可变长符号解码部202。
可变长符号解码部202根据被输入的编码数据和变换候补列表，对预测参数、变换选择标志以及变换系数进行解码并进行输出。具体而言，首先，从编码数据对预测参数进行解码并输出。接着，利用变换候补列表，从编码数据解码变换选择标志并输出。最后，利用变换选择标志，从编码数据解码变换系数并输出。另外，在变换选择标志的解码时，需要知道用几比特对变换选择标志进行了编码，但是未必一定需要为此而包含在变换候补列表中的要素的信息，只要知道变换候补列表中包含的要素数就足够。在该情况下，输入到可变长符号解码部202的信号以及用于变换选择标志的解码的信号，也可以在变换候补列表中仅是关于变换候补列表中包含的要素数的信号。
<运动图像解码装置21的动作>
接着，说明运动图像解码装置21的动作。
(过程S180)从外部输入到运动图像解码装置20的编码数据以扩展MB为单位依次输入到可变长符号解码部201，对与各扩展MB对应的编码数据，依次执行以后的S181～S187的处理。
(过程S181)在可变长符号解码部202中，从被输入的编码数据解码与处理对象扩展MB对应的预测参数，并输出到预测图像生成部103以及变换候补导出部111。
(过程S182)在变换候补导出部111中，根据被输入的预测参数，导出处理对象扩展MB的各分区中的变换候补列表，并输出到可变长符号解码部202。
(过程S183)在可变长符号解码部202中，根据被输入的编码数据和变换制约，解码与处理对象MB对应的变换选择标志，并输出到预测残差重建部109。
(过程S184)在可变长符号解码部202中，根据被输入的编码数据和在(过程S183)导出的变换选择标志，解码与处理对象扩展MB对应的变换系数，并输出到预测残差重建部109。
(过程S185)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与处理对象扩展MB对应的预测图像，并输出到局部解码图像生成部110。
(过程S186)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用于被输入的变换系数，重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S187)在局部解码图像生成部110中，根据被输入的预测残差和预测图像，生成局部解码图像并输出到帧存储器101进行记录，并且作为与处理对象块对应的解码运动图像上的区域而输出到外部。
<解码器总结>
如以上说明的那样，根据运动图像解码装置21，能够从由运动图像编码装置11生成的编码数据生成解码运动图像。
(实施方式3)
下面，参照图15～图16来说明作为本发明的运动图像编码装置以及运动图像解码装置的另一实施方式的运动图像编码装置30以及运动图像解码装置40。另外，在附图的说明中，对同一要素标注同一符号并省略说明。此外，在运动图像编码装置30以及运动图像解码装置40中能够利用的分区结构、变换预置集与运动图像编码装置11以及运动图像解码装置21中所使用的相同。
在本实施方式中的运动图像编码装置30、运动图像解码装置40中，与运动图像编码装置11、运动图像解码装置21的不同点是具备如下功能：利用运动图像的场景(scene)、帧、片这样的比MB大的给定单位，与运动图像的性质相匹配来适应性地改变变换候补导出部的变换候补列表的导出方法。
图15是表示运动图像编码装置30的构成的框图。运动图像编码装置30包括帧存储器101、预测参数决定部102、预测图像生成部103、预测残差生成部106、变换系数生成部107、预测残差重建部109、局部解码图像生成部110、频率变换决定部112、变换候补列表导出规则决定部301、变换候补导出部302、可变长编码部303。
变换候补列表导出规则决定部301根据以场景、帧、片等比MB大的给定单位输入的输入运动图像，生成用于规定或者更新变换候补导出部中的变换候补列表导出方法的变换候补列表导出规则。另外，以下，为了简化说明，设按每个帧来生成变换候补列表导出规则。
(变换候补列表导出规则的定义)
变换候补列表导出规则，定义为以下所示的基础规则的组合。
·基础规则1：规定针对给定分区A，向变换候补列表追加变换预置集内的给定频率变换B。另外，以下，利用[许可、分区A、频率变换B]这样的形式来记载基础规则1。例如，[许可、64×64、T16×16]表示对64×64的分区向变换候补列表追加T16×16的频率变换。
·基础规则2：规定针对给定分区A，禁止将变换预置集内的给定频率变换B包含到变换候补列表。另外，以下，利用[禁止、分区A、频率变换B]这样的形式来记载基础规则2。例如，[禁止、64×64、T4×4]表示对64×64的大小分区禁止T4×4，在变换候补列表中不包含。
·基础规则3：规定对于给定分区A在变换候补列表中包含变换预置集内的给定频率变换B时，用其他频率变换C置换变换候补列表中的频率变换B。另外，以下，利用[置换、分区A、频率变换B、频率变换C]这样的形式来记载基础规则3。例如，[置换、64×32、T4×4、T16×1]表示对于64×32的大小的分区在变换候补列表中包含T4×4时，从变换候补列表去除T4×4，而将T16×1加入到变换候补列表中。
即，在变换候补列表导出规则中含有多个基础规则，各基础规则被分类为上述基础规则1～3的任一种。
另外，在变换候补列表导出规则中，除了基础规则之外，还可以包含由基础规则的组合表现的复合规则，或者用复合规则代替基础规则。以下，列举几个复合规则的示例。
·复合规则1：在属于特定的阶层的分区禁止特定的变换。例如，在L0阶层禁止T8×8以下的大小的变换，这一规则相当于该复合规则1。上述复合规则(R1)可以表现为如下的基础规则的集合。
R1＝{[禁止、P、T]：(P是属于L0阶层的分区)∧(T是T8×8以下的频率变换)}
此外，禁止在给定阶层的上位阶层处于类似关系的频率变换中的尺寸小的频率变换，这一规则也相当于该复合规则1，更具体而言，禁止在阶层L1的上位阶层处于类似关系的T16×16、T8×8、T4×4的各变换中的T8×8以及T4×4，这样的规则也相当于该复合规则1。
·复合规则2：在特定形状的分区中将特定的变换A置换为特定的变换B。例如，在正方形的分区中将长方形的频率变换置换为给定正方形的频率变换(例如T4×4)，这样的规则相当于该复合规则2。上述复合规则(R2)可以表现为如下的基础规则的集合。
R2＝{[置换、P、T、T4×4]：(P∈正方形的分区)∧(T∈长方形的频率变换)}
此外，在横长方形的分区中将正方形的频率变换置换为横长方形的频率变换，这样的规则也相当于该复合规则2。
(变换候补列表导出规则的决定过程)
首先，在编码处理开始前预先规定以基础规则以及复合规则为构成要素的规则候补，将变换候补列表导出规则设定为空。然后，对被输入的各帧，计算分别应用在规则候补中包含的各基础规则或者复合规则而进行编码处理时的率失真成本。此外，还计算不应用全部规则候补时的率失真成本C1。接着，比较应用了各基础规则或者复合规则时的率失真成本C2和成本C1，若成本C2比成本C1小，则决定应用该基础规则或者复合规则，将其包含在变换候补列表导出规则中。
通过上述过程，仅将给定规则候补中的、通过在帧的编码时进行应用而能够降低率失真成本的基础规则或者复合规则追加到变换候补列表导出规则。
变换候补导出部302根据被输入的预测参数和变换候补列表导出规则，将关于在扩展MB内的各分区中能够选择的频率变换的信息作为变换候补列表而输出。变换候补列表分别与扩展MB内的各分区建立对应，在变换预置集之中包含的频率变换中，规定在各分区能够选择的频率变换的集合。另外，此时，被输入的变换候补列表导出规则也用于变换候补列表导出处理。
根据被输入的变换候补列表导出规则，生成针对特定的分区p的变换候补列表Cp的过程如下所述。另外，设分区p的大小为M×N像素(横M像素、纵N像素)。
(过程S200)在变换候补列表导出规则中包含复合规则时，将各复合规则分解为基础规则之后追加到变换候补列表导出规则中。
(过程S201)对于变换候补列表中包含的全部属于基础规则1的基础规则，执行过程S202的处理。
(过程S202)将处理对象的基础规则1表示为[许可、P1、T1]。在分区p的形状与P1一致时，向变换候补列表追加频率变换T1。
(过程S203)对于变换候补列表中包含的全部属于基础规则2的基础规则，执行过程S204的处理。
(过程S204)将处理对象的基础规则2表示为[禁止、P2、T2]。在分区p的形状与P2一致、并且在变换候补列表中存在频率变换T2时，从变换候补列表去除频率变换T2。
(过程S205)对于变换候补列表中包含的全部属于基础规则3的基础规则，执行过程S206的处理。
(过程S206)将处理对象的基础规则2表示为[置换、P3、T3、T4]。在分区p的形状与P3一致、并且在变换候补列表中存在频率变换T3时，将频率变换T3置换为频率变换T4。
通过以上的过程，在变换候补导出部302中，根据被输入的变换候补列表导出规则可以导出变换候补列表。
可变长编码部303生成并输出分别与被输入的变换系数、预测参数、变换候补列表、变换选择标志和变换候补列表导出规则对应的编码数据。
说明与变换候补列表导出规则对应的编码数据的生成处理的详细情况。编码数据通过对变换候补列表导出规则中包含的各基础规则或者复合规则进行可变长编码而生成。在基础规则的可变长编码中，首先对表示对象的基础规则被分类为基础规则1～3的哪一种的信息进行编码，接着对表示作为基础规则的适合对象的分区的信息进行编码。最后，在基础规则1的情况下，对表示要许可的频率变换的种类的信息进行编码；在基础规则2的情况下，对表示要禁上的频率变换的种类的信息进行编码；在基础规则3的情况下，对表示置换前后的各频率变换的种类的信息进行编码。另外，在预先决定了可以在变换候补列表导出列表中包含哪种基础规则的情况下，代替用上述方法对基础规则进行可变长编码，通过将表示是否适用基础规则的信息作为编码数据，能够削减码量。另外，在预先决定了总是应用特定的基础规则的情况下，不需要对该基础规则进行可变长编码。
复合规则被分解为基础规则来进行编码。此外，在预先决定了可以在变换候补列表导出列表中包含哪种复合规则的情况下，通过将表示是否适用复合规则的信息作为编码数据，能够削减码量。例如，在比32×32大的分区中能够将禁止T4×4以及T8×8这样的复合规则的适用有无作为1比特的标志来进行编码。
此外，可以将特定的基础规则或者复合规则汇总到一起来规定规则组，并且对针对该规则组中包含的各个基础规则表示适用有无的信息进行编码，或者对表示是否用既定的方法估计该规则组中包含的全部基础规则的适用有无的标志进行编码。具体而言，在将在阶层L3中表示T16×16、T8×8、T4×4各自的适用有无的复合规则设为enable_t16×16_L3、enable_t16×16_L3、enable_t16×16_L3时，汇总所述3个解码规则来创建规则组enable_L3。在编码时，首先用1比特编码enable_L3的适用有无，在适用enable_L3时，分别用1比特对该规则组中包含的各复合规则的适用有无进行编码。在不适用enable_L3时，用既定的方法估计各复合规则的适用有无。
另外，可以将基础规则以及复合规则一起进行编码，而不是分别进行可变长编码。例如，可以对表示不应用全部基础规则、或者至少应用1个基础规则的标志进行编码，并且仅在该标志表示至少应用1个基础规则时，对按每个基础规则表示是否要应用的信息进行编码。此外，可以对表示是否继承在前帧应用的变换候补列表导出规则的标志进行编码，仅在不继承时才对变换候补列表导出规则进行编码。
接着，对运动图像编码装置30的动作进行说明。
(过程S210)从外部输入到运动图像编码装置30的输入运动图像，以帧为单位输入到变换候补列表导出规则决定部301，并且以扩展MB为单位依次输入到预测参数决定部102以及预测残差生成部106。对各帧执行过程S211～S212的处理，对各扩展MB执行过程S213～S221的处理。
(过程S211)在变换候补列表导出规则决定部301中，根据输入帧，生成变换候补列表导出规则，并输出到变换候补导出部302以及可变长编码部303。
(过程S212)在可变长编码部303中，根据被输入的变换候补列表导出规则生成对应的编码数据并输出到外部。
(过程S213)在预测参数决定部102中，针对处理对象扩展MB，根据被输入的输入运动图像决定预测参数，并输出到预测图像生成部103、变换候补导出部302、以及可变长编码部303。
(过程S214)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与输入运动图像中的处理对象扩展MB的区域近似的预测图像并输出到预测残差生成部106以及局部解码图像生成部110。
(过程S215)在预测残差生成部106中，根据被输入的输入运动图像和预测图像，生成与处理对象扩展MB对应的预测残差，并输出到频率变换决定部112以及变换系数生成部107。
(过程S216)在变换候补导出部302中，根据被输入的预测参数以及变换候补列表导出规则，导出关于处理对象扩展MB的各分区中的频率变换的制约，并输出到频率变换决定部112以及可变长编码部303。
(过程S217)在频率变换决定部112中，根据被输入的变换制约和预测残差，决定应用于处理对象扩展MB的各分区的频率变换，并作为变换选择标志输出到变换系数生成部107以及可变长编码部303以及预测残差重建部109。
(过程S218)在变换系数生成部107中，将由被输入的变换选择标志规定的频率变换应用于被输入的预测残差，生成与处理对象扩展MB对应的变换系数，并输出到可变长编码部108以及预测残差重建部109。
(过程S219)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用于被输入的变换系数，从而重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S220)在局部解码图像生成部110中，根据被输入的预测残差和预测图像生成局部解码图像并输出到帧存储器101进行记录。
(过程S221)在可变长编码部303中，利用被输入的变换制约，对被输入的变换系数以及预测参数以及变换选择标志进行可变长编码，作为编码数据输出到外部。
通过上述过程，在运动图像编码装置30中，能够对被输入的输入运动图像进行编码从而生成编码数据并输出到外部。
<运动图像解码装置40的构成>
下面，说明对由运动图像编码装置30进行了编码的编码数据进行解码从而生成解码运动图像的运动图像解码装置40。
图16是表示图像解码装置40的构成的框图。运动图像解码装置40包括帧存储器101、预测图像生成部103、预测残差重建部109、局部解码图像生成部110、变换候补导出部302以及可变长符号解码部401。
可变长符号解码部401根据被输入的编码数据和变换候补列表，对预测参数、变换选择标志、变换系数、以及变换候补列表导出规则进行解码并输出。具体而言，首先，对变换候补列表导出规则进行解码并输出。接着，从编码数据解码预测参数并输出。接着，利用变换候补列表，从编码数据解码变换选择标志并输出。最后，利用变换选择标志，从编码数据解码变换系数并输出。
<运动图像解码装置40的动作>
接着，对运动图像解码装置40的动作进行说明。
(过程S230)从外部输入到运动图像解码装置40的编码数据，以帧为单位依次输入到可变长符号解码部401，对与各帧对应的编码数据，依次执行以后的S231～S239的处理。
(过程S231)在可变长符号解码部401，从被输入的编码数据，解码与处理对象帧对应的变换候补列表导出规则，并输出到变换候补导出部302。
(过程S232)在可变长符号解码部401中，将被输入的帧单位的编码数据分割为扩展MB单位的编码数据，并对与各扩展MB对应的编码数据依次执行以后的S233～S239的处理。
(过程S233)在可变长符号解码部401中，从作为处理对象的扩展MB单位的编码数据解码预测参数，并输出到变换候补导出部302。
(过程S234)在变换候补导出部302中，根据被输入的变换候补列表导出规则以及预测参数，导出处理对象扩展MB的各分区中的变换候补列表，并输出到可变长符号解码部401。
(过程S235)在可变长符号解码部401中，根据被输入的编码数据和变换制约，解码与处理对象MB对应的变换选择标志，并输出到预测残差重建部109。
(过程S236)在可变长符号解码部202中，根据被输入的编码数据和在(过程S235)导出的变换选择标志，解码与处理对象扩展MB对应的变换系数，并输出到预测残差重建部109。
(过程S237)在预测图像生成部103中，根据被输入的预测参数以及记录在帧存储器101中的局部解码图像，生成与处理对象扩展MB对应的预测图像，并输出到局部解码图像生成部110。
(过程S238)在预测残差重建部109中，将与由被输入的变换选择标志规定的频率变换对应的逆频率变换应用于被输入的变换系数，从而重建与处理对象扩展MB对应的预测残差，并输出到局部解码图像生成部110。
(过程S239)在局部解码图像生成部110中，根据被输入的预测残差和预测图像来生成局部解码图像并输出到帧存储器101进行记录，并且作为与处理对象块对应的解码运动图像上的区域而输出到外部。
如以上说明的那样，根据运动图像解码装置40，能够从由运动图像编码装置11生成的编码数据生成解码运动图像。
此外，典型地，可以将上述实施方式中的运动图像编码装置以及运动图像解码装置的一部分、或者全部作为集成电路即LSI(Large ScaleIntegration，大规模集成电路)来实施。可以将运动图像编码装置以及运动图像解码装置的各功能块个别地芯片化，也可以集成一部分或者全部来芯片化。此外，集成电路化的手法不局限于LSI，也可以利用专用电路或者通用处理器来实现。此外，根据半导体技术的进步，在出现了代替LSI的集成电路化的技术时，可以采用基于该技术的集成电路。
符号说明
10...运动图像编码装置、11...运动图像编码装置、20...运动图像解码装置、21...运动图像解码装置、30...运动图像编码装置、40...运动图像解码装置、101...帧存储器、102...预测参数决定部、103...预测图像生成部、104...变换制约导出部、105...频率变换决定部、106...预测残差生成部、107...变换系数生成部、108...可变长编码部、109...预测残差重建部、110...局部解码图像生成部、111...变换候补导出部、112...频率变换决定部、113...可变长编码部、201...可变长符号解码部、202...可变长符号解码部、301...候补列表导出规则决定部、302...变换候补导出部、302...可变长编码部、401...可变长符号解码部。

Claims (2)

1.一种运动图像解码装置，按块单位对输入编码数据进行解码处理，其特征在于，具备：
可变长解码部，其根据所述输入编码数据，对处理对象的块的分区结构进行解码；
预测图像生成部，其以由所述分区结构所规定的分区为单位来生成预测图像；和
变换候补导出部，其根据分区形状信息，决定能够应用的变换的列表即变换候补列表，其中，所述分区形状信息关于以下至少一项来对各个分区给予特征：分区尺寸、分区尺寸的特征、以及所述分区结构中的阶层，其中，
所述可变长解码部根据所述输入编码数据和所述变换候补列表来解码变换选择标志，并且根据所述变换选择标志来解码所述处理对象的块的变换系数，
所述运动图像解码装置还具备：
预测残差重建部，其对所述变换系数应用与由所述变换选择标志所规定的变换对应的逆变换，来重建预测残差；和
局部解码图像生成部，其根据所述预测图像和所述预测残差来输出与所述处理对象的块对应的解码图像数据；
其中，所述能够应用的变换的列表包含在给定变换预置集中，所述变换预置集是给定的能够使用的变换集合。
2.一种运动图像编码装置，将输入运动图像分割为给定大小的块，并按块单位进行编码处理，其特征在于，具备：
预测参数决定部，其决定块的分区结构；
预测图像生成部，其以由所述分区结构所规定的分区为单位来生成预测图像；
变换系数生成部，其对所述预测图像与输入运动图像的差分即预测残差应用在给定变换预置集之中包含的变换的任一种；
变换候补导出部，其根据分区形状信息来决定能够应用的变换的列表即变换候补列表，其中，所述分区形状信息关于以下至少一项来对各个分区给予特征：分区尺寸、分区尺寸的特征、以及所述分区结构中的阶层；
频率变换决定部，其针对所述块中的每一个决定变换选择标志，所述变换选择标志表示所述变换候补列表中包括的变换中要对所述块中的预测残差应用的变换；和
可变长编码部，其根据所述变换候补列表，对所述变换选择标志进行可变长编码；
其中，所述变换预置集是给定的能够使用的变换集合。
CN201510140189.9A 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置 Expired - Fee Related CN104717502B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009093606 2009-04-08
JP2009-093606 2009-04-08
JP2009146509 2009-06-19
JP2009-146509 2009-06-19
CN201080015255.5A CN102388614B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080015255.5A Division CN102388614B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置

Publications (2)

Publication Number Publication Date
CN104717502A true CN104717502A (zh) 2015-06-17
CN104717502B CN104717502B (zh) 2018-06-22

Family

ID=42936156

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201080015255.5A Expired - Fee Related CN102388614B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510140189.9A Expired - Fee Related CN104717502B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510142234.4A Expired - Fee Related CN104717505B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510140802.7A Expired - Fee Related CN104717504B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510140388.XA Expired - Fee Related CN104717503B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080015255.5A Expired - Fee Related CN102388614B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201510142234.4A Expired - Fee Related CN104717505B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510140802.7A Expired - Fee Related CN104717504B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置
CN201510140388.XA Expired - Fee Related CN104717503B (zh) 2009-04-08 2010-03-17 运动图像编码装置以及运动图像解码装置

Country Status (10)

Country Link
US (1) US8855203B2 (zh)
EP (1) EP2418855B1 (zh)
JP (3) JPWO2010116869A1 (zh)
CN (5) CN102388614B (zh)
BR (1) BRPI1014257B1 (zh)
EA (5) EA201690320A3 (zh)
HK (4) HK1211398A1 (zh)
MX (1) MX2011010550A (zh)
MY (1) MY157572A (zh)
WO (1) WO2010116869A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549190B2 (en) * 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
KR101540899B1 (ko) 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
ES2718426T3 (es) 2010-12-17 2019-07-01 Mitsubishi Electric Corp Dispositivo de codificación de imágenes en movimiento, dispositivo de decodificación de imágenes en movimiento, método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
CN102685487B (zh) * 2011-03-16 2015-07-08 华为技术有限公司 图像编解码方法、图像编解码设备及网络系统
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
EP2735154A1 (en) * 2011-07-22 2014-05-28 Motorola Mobility LLC Device and methods for scanning rectangular-shaped transforms in video coding
US9787982B2 (en) 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9247254B2 (en) 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
CN103096053B (zh) 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
US9350996B2 (en) 2011-12-20 2016-05-24 Google Technology Holdings LLC Method and apparatus for last coefficient indexing for high efficiency video coding
CN102761742B (zh) * 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法，变换块划分参数的编码方法及解码方法
EP2941864B1 (en) * 2013-01-07 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Limiting use of largest transform unit size for intra coding units in inter coded slices of encoded video
WO2015015681A1 (ja) * 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法および画像符号化装置
JP6187826B2 (ja) 2014-02-04 2017-08-30 パナソニックＩｐマネジメント株式会社 動画像符号化装置及び動画像符号化方法
US9591313B2 (en) * 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
CN108307192A (zh) 2014-10-11 2018-07-20 华为技术有限公司 预测块的划分方法、编码设备和解码设备
BR112017017792A2 (pt) * 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
TW202344052A (zh) 2016-02-09 2023-11-01 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US10390048B2 (en) * 2016-02-15 2019-08-20 Qualcomm Incorporated Efficient transform coding using optimized compact multi-pass transforms
ES2817100B1 (es) 2016-03-28 2022-04-13 Kt Corp Metodo y aparato para procesar senales de video
FR3057131A1 (fr) * 2016-10-04 2018-04-06 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR3064870A1 (fr) * 2017-03-31 2018-10-05 B<>Com Procede de decodage d'au moins une image numerique, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
CN112601084A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
FR3068556A1 (fr) 2017-06-29 2019-01-04 B<>Com Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
WO2019151268A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
EP3777165A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
TWI783390B (zh) * 2021-02-26 2022-11-11 圓展科技股份有限公司 影像處理系統及產生動態影像分割畫面的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062309A1 (en) * 2000-05-10 2004-04-01 Alexander Romanowski Method for transformation-coding full motion image sequences
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置
CN1700772A (zh) * 2004-05-07 2005-11-23 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
EP0945001B1 (en) * 1996-12-18 2003-04-23 Thomson Consumer Electronics, Inc. A multiple format video signal processor
US6529634B1 (en) * 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
AU2610701A (en) * 2000-01-03 2001-07-16 Efeckta Technologies Corporation Efficient and lossless conversion for transmission or storage of data
JP3679083B2 (ja) * 2002-10-08 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
KR100999221B1 (ko) * 2003-02-21 2010-12-07 파나소닉 주식회사 픽처 코딩 방법 및 디코딩 방법
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4889231B2 (ja) 2005-03-31 2012-03-07 三洋電機株式会社 画像符号化方法および装置、画像復号方法
JP2008219205A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法
JP4922101B2 (ja) * 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP4937224B2 (ja) * 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
KR101247923B1 (ko) * 2008-10-03 2013-03-26 퀄컴 인코포레이티드 4×4 및 8×8 보다 큰 변환을 이용한 비디오 코딩

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062309A1 (en) * 2000-05-10 2004-04-01 Alexander Romanowski Method for transformation-coding full motion image sequences
CN1700772A (zh) * 2004-05-07 2005-11-23 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置

Also Published As

Publication number Publication date
JPWO2010116869A1 (ja) 2012-10-18
CN104717502B (zh) 2018-06-22
EP2418855B1 (en) 2017-12-27
CN104717504A (zh) 2015-06-17
MY157572A (en) 2016-06-30
EA201690326A1 (ru) 2016-10-31
JP2015173505A (ja) 2015-10-01
CN104717505B (zh) 2019-01-11
EP2418855A4 (en) 2013-07-24
JP6012816B2 (ja) 2016-10-25
EA201690329A1 (ru) 2016-11-30
US20120033731A1 (en) 2012-02-09
HK1211401A1 (zh) 2016-05-20
BRPI1014257B1 (pt) 2021-03-09
EA201690320A3 (ru) 2016-10-31
EA029351B1 (ru) 2018-03-30
CN102388614A (zh) 2012-03-21
HK1211399A1 (zh) 2016-05-20
CN104717503B (zh) 2018-12-04
CN104717504B (zh) 2018-04-06
CN104717503A (zh) 2015-06-17
EA201690320A2 (ru) 2016-09-30
CN104717505A (zh) 2015-06-17
EA029773B1 (ru) 2018-05-31
BRPI1014257A2 (pt) 2016-04-12
EA201690324A1 (ru) 2016-10-31
HK1211398A1 (zh) 2016-05-20
EA201101473A1 (ru) 2012-04-30
EA024522B1 (ru) 2016-09-30
JP6239713B2 (ja) 2017-11-29
MX2011010550A (es) 2011-10-19
WO2010116869A1 (ja) 2010-10-14
EA029414B1 (ru) 2018-03-30
HK1211400A1 (zh) 2016-05-20
EP2418855A1 (en) 2012-02-15
US8855203B2 (en) 2014-10-07
JP2017028726A (ja) 2017-02-02
CN102388614B (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN102388614B (zh) 运动图像编码装置以及运动图像解码装置
RU2734871C1 (ru) Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений
US10645410B2 (en) Video decoding apparatus
CN110024393A (zh) 用于视频译码的低复杂度符号预测
CN105721878A (zh) Hevc视频编解码中执行帧内预测的图像处理装置及方法
CN104618720A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
CN104094600A (zh) 用于包括量化参数预测的基于分层数据单元的视频编码和解码的方法和设备
KR101250608B1 (ko) 비디오 부호화에서의 분할 블록 부호화 방법
TWI738167B (zh) 圖像編碼及解碼技術
Wang et al. Fast Intra CU size decision for HEVC Based on machine learning
Lin et al. Machine learning‐based H. 264/AVC to HEVC transcoding via motion information reuse and coding mode similarity analysis
Li et al. Efficient Inter-Prediction Transcoding Algorithm from H. 264/AVC to HEVC
CN116634137A (zh) 基于特征交叉的屏幕内容视频帧内模式快速决策
CN115209162A (zh) 视频编码划分方法、视频处理方法及计算机设备
KR20130070618A (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1211401

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1211401

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180622

CF01 Termination of patent right due to non-payment of annual fee