CN116320411A - 图像编码装置、图像解码装置以及程序 - Google Patents

图像编码装置、图像解码装置以及程序 Download PDF

Info

Publication number
CN116320411A
CN116320411A CN202310324827.7A CN202310324827A CN116320411A CN 116320411 A CN116320411 A CN 116320411A CN 202310324827 A CN202310324827 A CN 202310324827A CN 116320411 A CN116320411 A CN 116320411A
Authority
CN
China
Prior art keywords
unit
block
image
prediction
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310324827.7A
Other languages
English (en)
Inventor
岩村俊辅
市谷敦郎
根本慎平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Publication of CN116320411A publication Critical patent/CN116320411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

图像编码装置(1)对块单位的对象图像进行编码。图像编码装置(1)包括：预测部(109)，通过使用多个参考图像进行预测来生成与所述对象图像对应的预测图像；评价部(111)，以像素单位评价所述多个参考图像间的相似度；计算部(101)，计算表示所述对象图像与所述预测图像之间的基于像素单位的差分的预测残差；确定部(112)，基于所述评价部的评价结果来确定应用正交变换以及量化的所述预测残差的一部分区域；以及变换量化部(102)，限定于所述预测残差的所述一部分区域进行正交变换以及量化。

Description

图像编码装置、图像解码装置以及程序
本申请是申请日为2019年3月29日且申请号为201980028799.6的发明专利申请的分案申请。
技术领域
本发明涉及图像编码装置、图像解码装置以及程序。
背景技术
以往，已知有如下的方法：在对对象图像(图像块)进行编码的编码装置中，使用多个参考图像进行运动补偿预测，生成与对象图像对应的预测图像，对表示该对象图像与预测图像之间的基于像素单位的差分的预测残差进行正交变换以及量化。
另外，图像编码装置利用熵编码对通过正交变换以及量化得到的量化变换系数进行编码，并且对量化变换系数进行逆量化以及逆正交变换来对预测残差进行复原。而且，图像编码装置将复原的预测残差与预测图像合成来对对象图像进行重构，将重构图像用于以后的预测。
另一方面，图像解码装置对熵编码后的量化变换系数进行解码，并且使用多个参考图像进行运动补偿预测，生成与对象图像对应的预测图像。图像解码装置对量化变换系数进行逆量化以及逆正交变换并对预测残差进行复原，将复原预测残差与预测图像合成来对对象图像进行重构。
这样的图像编码装置以及图像解码装置在使用多个参考图像的运动补偿预测中例如通过将多个参考图像平均化来生成预测图像(参考非专利文献1)。
现有技术文献
非专利文献
非专利文献1：Recommendation ITU-T H.265,(12/2016),“High efficiencyvideo coding”,International Telecommunication Union
发明内容
但是，存在用于生成预测图像的多个参考图像间的相似度显著降低的部分的情况，该部分的预测图像的精度(即预测精度)降低，该部分的预测残差与其它部分相比变大。
如果对预测残差大的部分与小的部分混合的预测残差进行正交变换，则能量不会集中于低频分量，变换系数的能量集中性下降。对于这样的变换系数，如果对高频分量进行粗量化，则高频分量的变换系数劣化。这样的变换系数的劣化经过逆量化以及逆正交变换整体地传递到图像(块)内。
通过这样做，如果将劣化的复原预测残差与预测图像合成来对对象图像块进行重构，则会导致画质的劣化也传递到进行了高精度的预测的部分。即，起因于预测精度低的部分，正交变换系数的量化的影响也传递到预测精度高的部分，因此画质劣化，由此存在引起编码效率降低这样的问题。
因此，本发明的目的在于提供一种在使用多个参考图像进行预测的情况下能够改善编码效率的图像编码装置、图像解码装置以及程序。
根据第一特征的图像编码装置对将分割输入图像而得到的块单位的对象图像进行编码。图像编码装置包括：预测部，通过使用多个参考图像进行预测来生成与所述对象图像对应的预测图像；评价部，以像素单位评价所述多个参考图像间的相似度；计算部，计算预测残差，所述预测残差表示所述对象图像与所述预测图像之间的基于像素单位的差分；确定部，基于所述评价部的评价结果来确定应用正交变换以及量化的所述预测残差的一部分区域；以及变换量化部，限定于所述预测残差的所述一部分区域进行正交变换以及量化。
在此，预测部进行的预测只要是使用多个参考图像，则不管预测方式如何，可以利用各种各样的预测方式。作为代表的预测方法的示例，可以举出双方向运动补偿预测，但是也可以是利用在HEVC方式中使用的IntraBC模式(帧内块复制模式)的预测。
根据第二特征的图像解码装置从编码数据对块单位的对象图像进行解码。图像解码装置包括：预测部，通过使用多个参考图像进行预测来生成与所述对象图像对应的预测图像；评价部，以像素单位评价所述多个参考图像间的相似度；熵解码部，对所述编码数据进行解码，取得与在图像编码装置中应用了正交变换以及量化的一部分区域对应的量化变换系数；以及指定部，基于所述评价部的评价结果指定所述一部分区域。
根据第三特征的程序是用于使计算机作为根据第一特征的图像编码装置发挥功能的程序。
根据第四特征的程序是用于使计算机作为根据第二特征的图像解码装置发挥功能的程序。
根据本发明，可提供在使用多个参考图像进行预测的情况下能够改善编码效率的图像编码装置、图像解码装置以及程序。
附图说明
图1是示出根据实施方式的图像编码装置的构成的图。
图2是示出根据实施方式的图像解码装置的构成的图。
图3是示出运动补偿预测的一个示例的图。
图4是示出通过运动补偿预测生成的预测图像的一个示例的图。
图5是示出评价部的构成的一个示例的图。
图6是示出根据实施方式的确定部的动作的一个示例的图。
图7是示出根据实施方式的图像编码装置的动作流程示例的图。
图8是示出根据实施方式的图像解码装置的动作流程示例的图。
图9是示出实施方式的变形例2的动作示例的图。
图10是示出实施方式的变形例3的动作示例的图。
具体实施方式
参考附图，对实施方式的图像编码装置以及图像解码装置进行说明。实施方式的图像编码装置以及图像解码装置对由MPEG代表的运动图像进行编码以及解码。在以下的附图的记载中，对相同或者类似的部分赋予相同或者类似的附图标记。
<1.图像编码装置的构成>
图1是示出实施方式的图像编码装置1的构成的图。如图1所示，图像编码装置1包括块分割部100、减法部(计算部)101、变换部102a、量化部102b、熵编码部103、逆量化部104a、逆变换部104b、合成部105、帧内预测部106、环路滤波器107、帧存储器108、运动补偿预测部109、切换部110、评价部111、以及确定部112。
块分割部100将帧(或图片)单位的输入图像分割成块状的小区域，向减法部101(以及运动补偿预测部109)输出图像块。图像块的尺寸例如为32×32像素、16×16像素、8×8像素或者4×4像素等。但是，图像块的形状不限于正方形，也可以是长方形的形状。图像块是图像编码装置1进行编码的单位以及图像解码装置2进行解码的单位，将这样的图像块称为对象图像块。这样的图像块有时被称为编码单元(CU：Coding Unit)或编码块(CB：CodingBLock)。
减法部101计算预测残差，该预测残差表示从块分割部100输入的对象图像块与和对象图像块对应的预测图像(预测图像块)之间的基于像素单位的差分。具体地说，减法部101通过从对象图像块的各像素值减去预测图像的各像素值来计算预测残差，向变换部102a输出计算出的预测残差。另外，预测图像从后述的帧内预测部106或者运动补偿预测部109通过切换部110输入减法部101。
变换部102a以及量化部102b构成对预测残差进行正交变换处理以及量化处理的变换量化部102。变换量化部102不是将对象图像块的全部的像素位置的预测残差作为对象进行正交变换以及量化，而是将对象图像块的一部分区域的预测残差作为对象进行正交变换以及量化。这样的一部分区域是假想为预测残差大的区域，且由确定部112确定。在下文中，将这样的一部分区域称为“部分变换块”。部分变换块是对象图像块的一部分。
变换部102a基于从确定部112输入的部分变换块的信息，确定从减法部101输入的对象图像块的预测残差中的与部分变换块对应的区域。变换部102a从由减法部101输入的预测残差提取部分变换块的预测残差，对提取出的预测残差进行正交变换，计算表示空间频率分量的强度(能量)的变换系数，矢量化部102b输出计算出的变换系数。另外，正交变换例如是指离散余弦变换(DCT：Discrete Cosine Transform)、离散正弦变换(DST：Discretesine transform)、卡-洛变换(KLT：Karhunen-Loeve Transform)等。
量化部102b使用量化参数(Qp)以及量化矩阵对从变换部102a输入的部分变换块的变换系数进行量化，生成量化变换系数。量化参数(Qp)是共同应用于块内的各变换系数的参数，是决定量化的粗糙度的参数。量化矩阵是具有对各变换系数进行量化时的量化值作为元素的矩阵。量化部102b向熵编码部103以及逆量化部104b输出量化控制信息、生成的量化变换系数信息等。
熵编码部103对从量化部102b输入的部分变换块量化变换系数进行熵编码，进行数据压缩以生成编码数据(比特流)，将编码数据向图像编码装置1的外部输出。可以将哈夫曼编码、CABAC(context-based adaptive binary arithmetic coding，基于上下文的自适应二进制算术编码)等用于熵编码。另外，从帧内预测部106以及运动补偿预测部109向熵编码部103输入与预测有关的信息，从环路滤波器107向熵编码部103输入与滤波处理有关的信息，从确定部112向熵编码部103输入与部分变换块有关的信息。熵编码部103也进行这些信息的熵编码。
逆量化部104a以及逆变换部104b构成逆量化逆变换部104。逆量化逆变换部104通过对从量化部102b输入的部分变换块的量化变换系数进行逆量化以及逆正交变换，由此对与部分变换块对应的部分预测残差进行复原。
逆量化部104a进行与量化部102b进行的量化处理对应的逆量化处理。具体地说，逆量化部104a通过使用量化参数(Qp)以及量化矩阵对从量化部102b输入的部分变换块的量化变换系数进行逆量化，由此对变换系数进行复原，并将复原的变换系数输出到逆变换部104b。
逆变换部104b进行与变换部102a进行的正交变换处理对应的逆正交变换处理。例如，在变换部102a进行了离散余弦变换的情况下，逆变换部104b进行反离散余弦变换。逆变换部104b对从逆量化部104a输入的部分变换块的变换系数进行逆正交变换来复原部分预测残差，并且将复原的部分预测残差输出至合成部105。
合成部105基于从确定部112输入的部分变换块的信息，确定从切换部110输入的预测图像中的与部分变换块对应的区域。而且，合成部105通过将从逆变换部104b输入的复原预测残差(复原的部分预测残差)与预测图像中的与部分变换块对应的区域合成，由此对对象图像块进行重构。具体地，合成部105将复原的部分预测残差的各像素值与预测图像中的与部分变换块对应的区域的各像素值相加来对对象图像块进行重构。合成部105将作为重构后的对象图像块的重构图像输出至帧内预测部106以及环路滤波器107。
帧内预测部106使用从合成部105输入的重构图像进行帧内预测以生成帧内预测图像，将帧内预测图像输出至切换部110。另外，帧内预测部106将选择的帧内预测模式的信息等输出至熵编码部103。
环路滤波器107对从合成部105输入的重构图像进行作为后处理的滤波处理，将滤波处理后的重构图像输出至帧存储器108。另外，环路滤波器107将与滤波处理有关的信息输出至熵编码部103。
帧存储器108以帧单位存储从环路滤波器107输入的重构图像。
运动补偿预测部109进行使用存储在帧存储器108中的一个或者多个重构图像作为参考图像的帧间预测。具体地说，运动补偿预测部109利用块匹配等方法来计算运动矢量，基于运动矢量生成运动补偿预测图像，将运动补偿预测图像输出至切换部110。另外，运动补偿预测部109将与运动矢量有关的信息输出至熵编码部103。
切换部110对从帧内预测部106输入的帧内预测图像与从运动补偿预测部109输入的运动补偿预测图像进行切换，将预测图像(帧内预测图像或者运动补偿预测图像)输出至减法部101以及合成部105。
在运动补偿预测部109使用多个参考图像进行运动补偿预测的情况下，评价部111以像素单位对多个参考图像间的相似度进行评价，并将评价结果的信息输出至确定部112。另外，即使是利用使用多个参考图像的帧内预测(例如块内复制模式)等的情况，且在帧内预测部106使用多个参考图像进行预测的情况下，评价部111也可以进行多个参考图像间的相似度的评价。
确定部112基于评价部111的评价结果，确定应用正交变换以及量化的部分变换块。具体地说，确定部112基于评价部111的评价结果，确定部分变换块的中心位置以及以该中心位置为基准的部分变换块的尺寸。确定部112将表示所确定的部分变换块的信息输出至变换部102a以及合成部105，将表示所确定的部分变换块的尺寸的信息(尺寸信息)输出至熵编码部103。这样的尺寸信息在熵编码部103中被编码，并作为编码数据中包含的控制信息的一部分输出。
<2.图像解码装置的构成>
图2是示出根据实施方式的图像解码装置2的构成的图。如图2所示，图像解码装置2包括熵解码部200、逆量化部201a、逆变换部201b、合成部202、帧内预测部203、环路滤波器204、帧存储器205、运动补偿预测部206、切换部207、评价部208以及指定部209。
熵解码部200对由编码装置1生成的编码数据进行解码，将与在图像编码装置1中应用了正交变换以及量化的部分变换块对应的量化变换系数输出至逆量化部201a。另外，熵解码部200对编码数据进行解码，取得与预测(帧内预测以及运动补偿预测)有关的信息以及与滤波处理有关的信息。熵解码部200向帧内预测部203以及运动补偿预测部206输出与预测有关的信息，向环路滤波器204输出与滤波处理有关的信息。熵解码部200向指定部209以及逆变换部201b输出部分变换块的尺寸信息。
逆量化部201a以及逆变换部201b构成逆量化逆变换部201。逆量化逆变换部201通过对量化变换系数进行逆量化以及逆正交变换，对与部分变换块对应的部分预测残差进行复原。
逆量化部201a进行与图像编码装置1的量化部102b进行的量化处理对应的逆量化处理。逆量化部201a使用量化参数(Qp)以及量化矩阵对从熵解码部200输入的部分变换块的量化变换系数进行逆量化，由此对变换系数进行复原，并将复原的变换系数输出至逆变换部201b。
逆变换部201b进行与图像编码装置1的变换部102a进行的正交变换处理对应的逆正交变换处理。逆变换部201b基于从熵解码部200输入的部分变换块的尺寸信息，对从逆量化部201a输入的变换系数进行逆正交变换来对预测残差进行复原，并将复原的预测残差(复原预测残差)输出至合成部202。
合成部202基于从指定部209输入的部分变换块的信息，确定从切换部207输入的预测图像中的与部分变换块对应的区域。合成部202通过以像素单位将由逆变换部201b复原的部分预测残差与预测图像中的对应于部分变换块的区域合成，由此对原来的对象图像块进行重构，并将重构图像块输出至帧内预测部203以及环路滤波器204。
帧内预测部203参考从合成部202输入的重构图像块根据从熵解码部200输入的帧内预测信息进行帧内预测，由此生成帧内预测图像，并将帧内预测图像输出至切换部207。
环路滤波器204基于从熵解码部200输入的滤波处理信息，对从合成部202输入的重构图像进行与图像编码装置1的环路滤波器107进行的滤波处理同样的滤波处理，并将滤波处理后的重构图像输出至帧存储器205。
帧存储器205以帧单位存储从环路滤波器204输入的重构图像。帧存储器205将存储的重构图像按显示顺序向图像解码装置2的外部输出。
运动补偿预测部206使用存储在帧存储器205中的一个或者多个重构图像作为参考图像，根据从熵解码部200输入的运动矢量信息进行运动补偿预测(帧间预测)，由此生成运动补偿预测图像，并将运动补偿预测图像输出至切换部207。
切换部207对从帧内预测部203输入的帧内预测图像与从运动补偿预测部206输入的运动补偿预测图像进行切换，并将出预测图像(帧内预测图像或者运动补偿预测图像)输出至合成部202。
评价部208进行与图像编码装置1的评价部111同样的动作。具体地，在运动补偿预测部206使用多个参考图像进行运动补偿预测的情况下，评价部208以像素单位评价多个参考图像间的相似度，并向指定部209输出评价结果的信息。另外，即使在利用使用多个参考图像的帧内预测(例如帧内块复制模式)等的情况且帧内预测部203使用多个参考图像进行预测的情况下，评价部208也可以进行多个参考图像间的相似度的评价。
指定部209基于评价部208的评价的结果，确定在图像编码装置1中应用了正交变换以及量化的部分变换块。具体地，指定部209基于评价部208的评价结果指定部分变换块的中心位置。而且，指定部209基于所指定的中心位置以及从熵解码部200输入的尺寸信息来指定部分变换块。指定部209向合成部202输出表示所指定的部分变换块的信息。
<3.运动补偿预测>
图3是示出运动补偿预测的一个示例的图。图4是示出通过运动补偿预测生成的预测图像的一个示例的图。作为运动补偿预测的简单示例，对在HEVC中使用的双预测尤其是使用向前方向以及向后方向预测(双方向预测)的情况进行说明。
如图3所示，运动补偿预测针对对象帧(当前帧)参考时间上前和后的帧。在图3的示例中，参考第t-1帧以及第t+1帧进行第t帧的图像中的块的运动补偿预测。运动补偿从第t-1帧以及第t+1帧的参考帧内在系统中设定的搜索范围之中检测与对象图像块类似的部位(块)。
检测出的部位是参考图像。表示参考图像相对于对象图像块的相对位置的信息是图中所示的箭头，称为运动矢量。在图像编码装置1中利用熵编码将运动矢量的信息与参考图像的帧信息一起编码。另一方面，图像解码装置2基于由图像编码装置1生成的运动矢量的信息检测参考图像。
如图3和图4所示，通过运动补偿预测检测出的参考图像1和参考图像2是在参考的帧内与对象图像块位置一致的类似的部分图像，因此是与对象图像块(编码对象图像)类似的图像。在图4的示例中，对象图像块包含星星图案以及部分圆图案。参考图像1包含星星图案以及整个圆图案。参考图像2虽然包含星星图案但是不包含圆图案。
从这样的参考图像1以及参考图像2生成预测图像。预测处理由于是处理负荷高的处理，所以通常通过将参考图像1以及参考图像2平均化来生成预测图像。但是，也可以并用例如利用低通滤波器、高通滤波器等的信号增强处理等更高级的处理来生成预测图像。在此，由于参考图像1包含圆图案，参考图像2不包含圆图案，所以如果将参考图像1以及参考图像2平均化来生成预测图像，则预测图像中的圆图案与参考图像1相比信号减半。
从参考图像1以及参考图像2得到的预测图像与对象图像块(编码对象图像)的差分为预测残差。在图4所示的预测残差中，仅在星星图案的边缘的偏离部分与圆图案的偏离部分(斜线部)产生大的差分，但是对于其以外的部分，能够进行高精度地预测，差分变少(在图4的示例中未产生差分)。
未产生差分的部分(星星图案的非边缘部分以及背景部分)是参考图像1与参考图像2之间的相似度高的部分，且是进行了高精度的预测的部分。另一方面，产生了大的差分的部分是各参考图像特有的部分，亦即参考图像1与参考图像2之间的相似度显著低的部分。因此判明了：参考图像1与参考图像2之间的相似度显著低的部分的预测的精度低，产生了大的差分(残差)。
这样，如果对混合有差分大的部分与没有差分的部分的预测残差进行正交变换，则能量不集中于低频分量，变换系数的能量集中性降低。其结果，量化导致的变换系数的劣化变大，这样的变换系数的劣化经过逆量化以及逆正交变换整体地传递到图像(对象图像块)内。
而且，如果将通过逆量化以及逆正交变换复原的预测残差(复原预测残差)与预测图像合成来对对象图像块进行重构，则会导致画质的劣化也传递到如图4所示的星星图案的非边缘部分以及背景部分这样的进行了高精度预测的部分。
在实施方式中，通过限定于参考图像1与参考图像2之间的相似度低的部分(即推断为预测残差大的部分)亦即部分变换块进行预测残差的正交变换以及量化，能够抑制由于量化产生的变换系数的劣化向对象图像块内的预测残差小的区域的传播，由此能够改善画质。
<4.图像编码装置以及图像解码装置的评价部>
在图像编码装置1中，评价部111通过以像素单位计算多个参考图像间的相似度，由此以像素单位评价预测图像的预测精度。同样地，在图像解码装置2中，评价部208通过以像素单位计算多个参考图像间的相似度，由此以像素单位评价预测图像的预测精度。
图5是示出图像编码装置1的评价部111的构成的一个示例的图。如图5所示，评价部111包括差分计算部(减法部)111a、标准化部111b以及调整部111c。
差分计算部111a以像素单位计算参考图像1与参考图像2之间的差分值，向标准化部111b输出计算出的差分值。差分值是示出相似度的值的一个示例。可以说，差分值越小，相似度越高，差分值越大，相似度越低。差分计算部111a可以在对各参考图像进行滤波处理之后计算差分值。差分计算部111a也可以计算平方误差等统计量，并将这样的统计量用作相似度。在下文中，对使用差分值作为相似度的一个示例进行说明。
标准化部111b用在块内最大的差分值(即块内的差分值的最大值)对从相似度计算部111a输入的差分值进行标准化并将其输出。标准化后的差分值用作用于确定部分变换块的重要度。差分值越小，相似度越高，预测精度也越变高，因此在编码中的重要度低。另一方面，差分值越大，相似度越低，预测精度越变低，因此在编码中的重要度高。
标准化部111b用在块内差分值最大的像素的差分值(即块内的差分值的最大值)对从差分计算部111a输入的各像素的差分值进行标准化，并输出作为标准化后的差分值的标准化差分值(重要度)。
调整部111c基于决定量化的粗糙度的量化参数(Qp)对从标准化部111b输入的标准化差分值进行调整，并输出调整后的标准化差分值。量化的粗糙度越大，复原预测残差的劣化度越高，因此调整部111c基于量化参数(Qp)调整标准化差分值(权重)。
评价部111输出的各像素位置(ij)的重要度Rij例如可以表现为下述的式子(1)。
Rij ＝ (abs(Xij-Yij)/maxD × Scale(Qp)) (1)
在式子(1)中，Xij是参考图像1的像素ij的像素值，Yij是参考图像2的像素ij的像素值，abs是取绝对值的函数。图5所示的差分计算部111a输出abs(Xij－Yij)。
另外，在式子(1)中，maxD是块内的差分值abs(Xij－Yij)的最大值。为了求出maxD，需要对块内的全部的像素求出差分值，但是为了省略该处理，可以用已经完成编码处理的相邻块的最大值等代替。或者，也可以使用确定量化参数(Qp)与maxD的对应关系的表(table)，从量化参数(Qp)求出maxD。或者，也可以将通过规范预定规定的固定值用作maxD。标准化部111b输出abs(Xij－Yij)/maxD。
另外，在式子(1)中，Scale(Qp)是根据量化参数(Qp)而乘以的系数。Scale(Qp)被设计成：在Qp大的情况下接近1.0，在Qp小的情况下接近0，将其程度设为由系统调整。或者，将预先用规范规定的固定值用作Scale(Qp)。此外，为了简化处理，也可以使Scale(QP)为1.0等根据系统设计的固定值。
调整部111c将abs(Xij－Yij)/maxD×Scale(Qp)作为重要度Rij输出。另外，该Rij也可以输出通过根据系统设计的灵敏度函数调整的权重。例如，设abs(Xij－Yij)/maxD×Scale(Qp)＝Rij、设Rij＝Clip(Rij,1.0,0.0)或者附加补偿Rij＝Clip(Rij+offset,1.0,0.0)来调整灵敏度。另外，Clip(x,max,min)表示在x超过max的情况下用max进行裁剪、在x小于min的情况下用min进行裁剪的处理。
通过这样做，计算出的重要度Rij成为从0到1.0的范围内的值。基本上而言，在参考图像间的像素位置ij的差分值大(即预测精度低)的情况下，重要度Rij接近1.0，在参考图像间的像素位置ij的差分值小(即预测精度高)的情况，重要度Rij接近0。评价部111以块单位向确定部112输出由块内的各像素位置ij的重要度Rij构成的二维的图信息。
或者，评价部111也可以根据下述式子(2)计算Rij。
Rij ＝ 1.0-(abs(Xij-Yij)/maxD × Scale(Qp)) (2)
在使用式子(2)的情况下，在像素位置ij的差分值大(即预测精度低)的情况下，Rij接近0，在像素位置ij的差分值小(即预测精度高)的情况下，Rij接近1。因此，Rij可以被视为表示像素位置ij的预测精度(准确度)的值。在下文中，对评价部111使用式子(2)输出由块内的各像素位置ij的准确度Rij构成的二维的图信息的一个示例进行说明，将这样的图信息适当地称为“准确度图”。
另外，图像解码装置2的评价部208与图像编码装置1的评价部111同样地构成。具体地，图像解码装置2的评价部208包括相似度计算部208a、标准化部208b以及调整部208c。图像解码装置2的评价部208向指定部209输出由块内的各像素位置ij的准确度Rij构成的准确度图。
另外，评价部111以及评价部208仅在应用使用多个参考图像的预测的情况下进行评价(Rij的计算)，在其以外的模式下，例如在单方向预测、未使用多个参考图像的帧内预测处理中，也可以不进行评价。
另外，评价部111可以利用以下所示的方法计算误差图，并向指定部209输出。
如果将用于双预测模式的预测图像的生成的两个参考图像(参考目标块)的亮度信号设为L0[i,j]以及L1[i,j](其中，[i,j]是对象图像块内的坐标)，则通过下述的式子(3)计算误差图map[i,j]及其最大值max＿map。
map[i,j]＝abs(L0[i,j]-L1[i,j])
max#map ＝ max (map [i,j]) (3)
在式子(3)的max#map超过6比特精度(超过64)的情况下，通过下述的式子(4)并通过使max#map进入6比特精度的方式而设定的shift来更新误差图以及最大值。
max#map＝max#map>>shift
map [i,j] ＝ map [i,j] >> shift (4)
通过式子(4)计算的误差图与准确度图不同，被推断为预测残差大的区域的值变大，被推断为预测残差小的区域的值变小。即，通过准确度图[i,j]＝1-(map[i,j]/max#map)，能够计算前述的标准化后的准确度图。以下，使用误差图对本发明的实施方式进行说明，但是也可以构成为使用上述的准确度图推断预测精度。
<5.图像编码装置的确定部以及图像解码装置的指定部>
在图像编码装置1中，确定部112基于评价部111的评价结果确定部分变换块的中心位置以及以该中心位置为基准的部分变换块的尺寸。图6是示出确定部112的动作的一个示例的图。
第一，如图6的(A)所示，确定部112基于从评价部111输入的误差图检测作为在误差图中map[i,j]为最大的像素位置的最低准确度位置，将检测出的最低准确度位置确定为中心位置。另外，如前所述，也可以构成为：改变为利用误差图的最低准确度位置检测，将在准确度图中rij为最小的像素位置设为最低准确度位置。或者，也可以改变为将最低准确度位置设为中心位置，确定部112计算误差图的重心，将计算出的重心确定为中心位置。
第二，如图6的(B)所示，确定部112将误差图在水平方向以及垂直方向上平均化，生成水平方向的误差图(水平误差图)以及垂直方向的误差图(垂直误差图)。而且，确定部112在水平误差图以及垂直误差图中将最低准确度位置作为基准一个像素一个像素地扩展范围，确定覆盖整体中X％(例如，25％或者50％)的准确度低的像素位置的水平方向的长度和垂直方向的长度。确定部112可以基于比对象图像块更早完成编码的编码数据的编码量相对于目标编码量的剩余编码量来确定X的值，也可以将系统固定的值用作X。另外，以处理的高速化为目的，也可以在2的倍数(2、4、8、16等)的长度中，确定满足X％的水平方向的长度和垂直方向的长度。通过分别确定水平方向的长度以及垂直方向的长度，作为部分变换块，不限于正方形的块形状，也可以使用矩形的块形状。
确定部112向变换部102a以及合成部105输出所确定的部分变换块的中心位置信息以及尺寸信息(水平方向的长度和垂直方向的长度)，向熵编码部103输出尺寸信息。尺寸信息在熵编码部103中被编码并作为编码数据中包含的控制信息的一部分输出。另外，部分变换块的中心位置可以由图像解码装置2的指定部209基于误差图指定，无需对中心位置信息进行编码，因此能够削减编码量。
另一方面，在图像编码装置1中，指定部209基于评价部208的评价结果来指定部分变换块的中心位置，基于所指定的中心位置以及经解码的尺寸信息来指定部分变换块。
第一，指定部209利用与图像编码装置1的确定部112相同的方法基于误差图指定中心位置。
第二，指定部209基于从熵解码部200输入的尺寸信息(水平方向的长度和垂直方向的长度)来确定对象图像块的尺寸。通过这样做，指定部209能够指定部分变换块的中心位置以及尺寸。
指定部209向合成部202输出所指定的部分变换块的中心位置信息以及尺寸信息(水平方向的长度和垂直方向的长度)。
另外，中心位置的候选也可以预先由系统规定。在这样的情况下下，确定部112以及指定部209可以将最接近检测出的最低准确度位置或者重心的候选位置确定以及指定为中心位置。
<6.图像编码的动作>
图7是示出根据实施方式的图像编码装置1的动作流程示例的图。
如图7所示，在步骤S101中，运动补偿预测部109通过使用多个参考图像进行运动补偿预测来预测对象图像块并生成与对象图像块对应的预测图像。运动补偿预测信息在熵编码部103中生成为编码数据的一部分，熵编码部103输出包含运动补偿预测信息的编码数据。
在步骤S102中，评价部111通过以像素单位计算多个参考图像间的相似度，以像素单位评价预测图像的预测精度，生成误差图，该误差图表示对象图像块内的各像素位置的预测准确度的低的程度。
在步骤S103中，确定部112基于误差图确定在对象图像块内应用正交变换以及量化的一部分区域亦即部分变换块，向变换量化部102(具体地说变换部102a)以及合成部105通知并设定所确定的部分变换块。另外，部分变换块的尺寸信息在熵编码部103中编码为编码数据的一部分。
在步骤S104中，减法部101计算预测残差，该预测残差表示对象图像块与预测图像之间的基于像素单位的差分。
在步骤S105中，变换量化部102通过对减法部101计算出的预测残差中部分变换块的预测残差进行正交变换以及量化来生成量化变换系数。
在步骤S106中，熵编码部103对部分变换块的量化变换系数进行熵编码并输出编码数据。
在步骤S107中，逆量化逆变换部104通过对部分变换块的量化变换系数进行逆量化以及逆正交变换，由此对部分变换块的预测残差进行复原，生成部分变换块的复原预测残差。
在步骤S108中，合成部105通过以像素单位将部分变换块的复原预测残差与预测图像中与部分变换块对应的区域合成，由此对对象图像块进行重构，生成重构图像块。
在步骤S109中，环路滤波器107对重构图像块进行滤波处理。另外，与环路滤波器有关的信息(补偿以及应用补偿的类信息等)在熵编码部103中编码为编码数据的一部分。
在步骤S110中，帧存储器108以帧单位存储滤波处理后的重构图像块。
<7.图像解码的动作>
图8是示出根据实施方式的图像解码装置2的动作流程示例的图。
如图8所示，在步骤S201中，熵解码部200对编码数据进行解码以取得量化变换系数、运动矢量信息、与环路滤波器有关的信息以及部分变换块的尺寸信息。
在步骤S202中，运动补偿预测部206通过基于运动矢量信息使用多个参考图像进行运动补偿预测来预测对象图像块，并生成与对象图像块对应的预测图像。
在步骤S203中，评价部208通过以像素单位计算多个参考图像间的相似度，由此以像素单位评价预测图像的预测精度并生成误差图，该误差图表示对象图像块内的各像素位置的预测准确度的低的程度。
在步骤S204中，指定部209基于误差图以及部分变换块的尺寸信息来指定在对象图像块内应用了正交变换以及量化的部分变换块，并且向合成部202通知并设定所确定的部分变换块。
在步骤S205中，逆量化逆变换部201通过对部分变换块的量化变换系数进行逆量化以及逆正交变换，由此对部分变换块的预测残差进行复原，生成部分变换块的复原预测残差。
在步骤S206中，合成部202通过以像素单位将部分变换块的复原预测残差与预测图像中与部分变换块对应的区域合成来对对象图像块进行重构，生成重构图像块。
在步骤S207中，环路滤波器204对重构图像块进行滤波处理。
在步骤S208中，帧存储器205以帧单位存储滤波处理后的重构图像块并将其输出。
<8.实施方式的总结>
根据实施方式的图像编码装置1包括：运动补偿预测部109，通过使用多个参考图像进行预测，生成与对象图像块对应的预测图像；评价部111，以像素单位评价这些多个参考图像间的相似度；减法部101，计算预测残差，该预测残差表示对象图像块与预测图像之间的基于像素单位的差分；确定部112，基于评价部111的评价结果确定预测残差中应用正交变换以及量化的部分变换块；以及变换量化部102，限定于预测残差的部分变换块进行正交变换以及量化。
根据实施方式的图像解码装置2包括：运动补偿预测部206，通过使用多个参考图像进行预测，生成与对象图像块对应的预测图像；评价部208，以像素单位评价这些多个参考图像间的相似度；熵解码部200，对编码数据进行解码，获得在图像编码装置1中应用了正交变换以及量化的部分变换块的量化变换系数；以及指定部209，基于评价部208的评价结果指定部分变换块。
根据实施方式，能够限定于用于生成预测图像的参考图像间的相似度低的部分(即被推断为预测残差大的部分)进行预测残差的正交变换以及量化，能够改善画质，并且能够削减编码数据的编码量。因此，能够改善编码效率。
<9.变形例1>
在上述实施方式中，说明了对一个对象图像块确定一个部分变换块的一个示例。但是，也可以对一个对象图像块确定多个部分变换块。
例如，在图像编码装置1中，确定部112除了检测最低准确度位置还检测准确度第二低的像素位置以及准确度第三低的像素位置，确定将检测出的各像素位置作为中心的部分变换块。在这样的情况下，确定部112向熵编码部103输出表示所确定的部分变换块的个数(例如3个)的个数信息，熵编码部103对个数信息进行编码。
另一方面，在图像解码装置2中，熵解码部200从编码数据对个数信息进行解码，向指定部209输出个数信息。指定部209基于个数信息指定部分变换块的个数，并且指定各部分变换块。
确定部112评价检测出的像素位置间的距离，以使部分变换块彼此不重叠的方式确定各部分变换块。或者，确定部112也可以在检测出的像素位置间的距离小于一定值的情况下，合并与这些像素位置对应的多个部分变换块。例如，将以第二低的像素位置为中心的部分变换块与以最低准确度位置为中心的部分变换块结合。在这样的情况下，也可以还检测准确度第四低的像素位置，追加以检测出的像素位置为中心的部分变换块。
<10.变形例2>
图像编码装置1的运动补偿预测部109以及图像解码装置2的运动补偿预测部208可以将对象图像块(CU)分割为多个小块，可对每个小块应用不同的运动矢量，可对每个小块在单方向预测与双预测两者之间进行切换。在这样的情况下，对于使用单方向预测以及双方向预测两者来生成预测图像的CU，图像编码装置1的评价部111以及图像解码装置2的评价部208也可以不计算误差图。另一方面，在通过双预测对全部的小块生成预测图像的情况下，图像编码装置1的评价部111以及图像解码装置2的评价部208生成误差图。
另外，图像编码装置1的运动补偿预测部109以及图像解码装置2的运动补偿预测部208为了降低运动矢量不同的块边界处的预测图像的不连续性，可以进行重复运动补偿(OBMC:Overlapped Block Motion Compensation)。图像编码装置1的评价部111以及图像解码装置2的评价部208在生成误差图时可以考虑通过OBMC对参考像素进行修正。
例如，当用于OBMC修正的周围块的预测模式为双预测的情况下，图像编码装置1的评价部111以及图像解码装置2的评价部208对于OBMC修正所影响到的预测图像的区域，使用用于生成周边块的双预测的预测图像的参考图像(L0以及L1)的运动矢量来修正误差图。具体地，对于map[i,j]的块边界区域，在彼此相邻的块的运动矢量为双预测的情况下，进行与彼此相邻块的误差图的、基于位置的加权平均。在彼此相邻块为帧内模式的情况、单方向预测的情况下，不进行误差图的修正。在图9的情况中，对于上侧的块边界，使用L0a以及L1a生成误差图，对于其下侧的区域(对于与该CU重叠的区域)，进行与该CU的误差图的加权平均。由于下侧、右侧、左侧CU的预测模式为单方向预测，所以对于与它们的CU重叠的区域，不进行误差图的修正。
<11.变形例3>
图像编码装置1的确定部112也可以利用以下所示的方法确定部分变换块。
例如在对对象图像块(CU：Coding Unit)通过双预测生成预测图像的情况且对该CU未应用变换跳过模式的情况(即应用正交变换的情况)下，确定部112确定部分变换块。另外，是否应用变换跳过模式的标志包含在编码数据中。
图10是示出本变形例的部分变换块的确定方法的图。
第一，如图10的(A)所示，确定部112通过下述的式子(5)计算误差图的重心。在此，使用上述的误差图map[i,j]作为误差图。
[数学式1]
Figure BDA0004152896000000191
其中，gx是水平方向的重心位置，gy是垂直方向的重心位置。
第二，如图10的(B)所示，确定部112从部分变换块的尺寸的候选(尺寸模式)中选择最合适的尺寸。具体地，确定部112计算使用了各尺寸模式的情况的率失真代价(RD-cost)，基于率失真代价确定最合适的尺寸模式。在率失真代价的计算中，考虑变换系数的信令开销以及CU整体的变形。尺寸模式例如为以下的4种模式。
模式1：使部分变换块的尺寸与CU尺寸相等的模式(即，对CU整体进行正交变换的模式)
模式2：使部分变换块的垂直方向尺寸以及水平方向尺寸分别为CU尺寸的二分之一的模式
模式3：使部分变换块的垂直方向尺寸与CU尺寸相等且使部分变换块的水平方向尺寸为CU尺寸的二分之一的模式
模式4：使部分变换块的垂直方向尺寸为CU尺寸的二分之一且使部分变换块的水平方向尺寸与CU尺寸相等的模式
在此，假设为确定模式1以外的模式并设定部分变换块来进行说明。另外，确定部112设定为使得以中心位置(gx,gy)为中心的部分变换块不超过CU边界。
第三，如图10的(C)所示，变换部102a基于所确定的中心位置以及尺寸对部分变换块的预测残差(残差信号)进行部分正交变换。
第四，如图10的(D)所示，量化部102b对部分变换块的变换系数进行量化，熵编码部103对量化后的变换系数进行熵编码。
另外，熵编码部103将作为表示是否应用部分正交变换的标志的bPartialTransform以及作为表示部分变换块的尺寸的信息的SizeMode包含在编码数据中。在应用部分正交变换的情况下，bPartialTransform为“1”，在不应用部分正交变换的情况下，bPartialTransform为“0”。例如在模式2的情况下SizeMode为“0”，在模式3的情况下SizeMode为“10”，在模式4的情况下SizeMode为“11”。另外，在上述的率失真代价的计算中，也考虑这样的信令开销。
另一方面，在图像解码装置2中，熵解码部200对编码数据进行解码，取得是否应用了变换跳过模式的标志。熵解码部200在通过双预测对解码对象的CU生成预测图像的情况且对该CU不应用变换跳过模式的情况(即应用正交变换的情况)下取得bPartialTransform以及SizeMode。而且，指定部209基于由评价部208生成的误差图以及SizeMode指定部分变换块。对于其后的动作，与上述实施方式相同。
<12.其它实施方式>
在上述的各实施方式中，作为运动补偿预测，主要说明了帧间预测。在帧间预测中，将与当前帧不同的帧内的参考图像用于当前帧的对象图像块的预测。但是，作为运动补偿预测，也可以应用被称为帧内块复制的技术。在帧内块复制中，将与当前帧相同的帧内的参考图像用于当前帧的对象图像块的预测。
上述的本发明的具体示例可以通过使计算机执行图像编码装置1进行的各种处理的程序、以及使计算机执行图像解码装置2进行的各种处理的程序来提供。另外，程序可以存储于计算机可读介质。如果使用计算机可读介质，则可以将程序安装于计算机。在此，存储有程序的计算机可读介质可以是非暂时性存储介质。非暂时性的存储介质没有特别的限定，例如可以是CD-ROM、DVD-ROM等存储介质。另外也可以将执行图像编码装置1进行的各种处理的电路集成化，可将图像编码装置1构成为半导体集成电路(芯片组，SoC)。同样地，也可以将执行图像解码装置2进行的各种处理的电路集成化，将图像解码装置2构成为半导体集成电路(芯片组，SoC)。
以上，参考附图对实施方式详细地进行了说明，但是具体的构成不限于上述的内容，在不脱离本发明宗旨的范围内，可以进行各种各样的设计变形等。
另外，日本专利申请第2018-65780号(2018年3月29日申请)的全部内容通过引用并入本发明的说明书。

Claims (5)

1.图像解码装置，其从编码数据对块单位的对象图像进行解码，所述图像解码装置包括：
预测部，使用多个参考图像通过进行帧间预测，生成与所述对象图像的块对应的预测图像的块；
评价部，计算表示所述多个参考图像之间的相似度的评价值；
解码部，基于所述评价部的评价结果进行解码处理，
所述解码处理包括以下处理：
对所述编码数据进行解码；
取得图像编码装置仅限定于预测残差的块的一部分区域进行正交变换以及量化而得到的量化变换系数；
指定所述一部分区域的中心位置；
取得标志和不同于所述标志的尺寸信息，所述标志表示仅限定于所述一部分区域的部分变换是否应用于所述预测残差的块；
根据所述标志设定为1，认定所述部分变换被应用于所述预测残差的块，根据所述标志设定为0，认定所述部分变换未被应用于所述预测残差的块；以及
在认定所述部分变换被应用于所述预测残差的块的情况下，基于所述尺寸信息指定所述一部分区域的尺寸。
2.根据权利要求1所述的图像解码装置，还包括：
逆量化逆变换部，通过对所述量化变换系数进行逆量化以及逆正交变换来对与所述一部分区域对应的部分预测残差进行复原；以及
合成部，通过将所复原的部分预测残差与所述预测图像的块中的与所述一部分区域对应的区域合成来重构所述对象图像的块。
3.根据权利要求1或2所述的图像解码装置，其中，所述一部分区域的尺寸为所述预测残差的块的尺寸的二分之一或四分之一。
4.根据权利要求1所述的图像解码装置，其中，
指定所述尺寸的处理还包括以下处理：
根据所述尺寸信息被设定为第一值，认定所述一部分区域的尺寸是所述预测残差的块的尺寸的二分之一；以及
根据所述尺寸信息设定为不同于所述第一值的第二值，认定所述一部分区域的尺寸是所述预测残差的块的尺寸的四分之一。
5.一种计算机可读存储介质，存储有计算机程序，当所述计算机程序被计算机执行时，实现如下步骤：
通过使用多个参考图像进行帧间预测，生成与对象图像的块对应的预测图像的块；
计算表示所述多个参考图像之间的相似度的评价值；以及
基于所述评价部的评价结果进行解码处理，
所述解码处理包括以下处理：
对编码数据进行解码；
取得图像编码装置仅限定于预测残差的块的一部分区域进行正交变换以及量化而得到的量化变换系数；
指定所述一部分区域的中心位置；
取得标志和不同于所述标志的尺寸信息，所述标志表示仅限定于所述一部分区域的部分变换是否应用于所述预测残差的块；
根据所述标志设定为1，认定所述部分变换被应用于所述预测残差的块，根据所述标志设定为0，认定所述部分变换未被应用于所述预测残差的块；以及
在认定所述部分变换被应用于所述预测残差的块的情况下，基于所述尺寸信息指定所述一部分区域的尺寸。
CN202310324827.7A 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序 Pending CN116320411A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018065780 2018-03-29
JP2018-065780 2018-03-29
CN201980028799.6A CN112042192A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序
PCT/JP2019/014362 WO2019189901A1 (ja) 2018-03-29 2019-03-29 画像符号化装置、画像復号装置、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980028799.6A Division CN112042192A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序

Publications (1)

Publication Number Publication Date
CN116320411A true CN116320411A (zh) 2023-06-23

Family

ID=68060236

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310324827.7A Pending CN116320411A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序
CN202210846128.4A Pending CN115022633A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序
CN201980028799.6A Pending CN112042192A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210846128.4A Pending CN115022633A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序
CN201980028799.6A Pending CN112042192A (zh) 2018-03-29 2019-03-29 图像编码装置、图像解码装置以及程序

Country Status (6)

Country Link
US (2) US11496735B2 (zh)
EP (1) EP3787290A4 (zh)
JP (5) JP6808889B2 (zh)
KR (3) KR20230141952A (zh)
CN (3) CN116320411A (zh)
WO (1) WO2019189901A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220382056A1 (en) * 2021-05-28 2022-12-01 Microsoft Technology Licensing, Llc SYSTEMS AND METHODS FOR POWER EFFICIENT IMAGE ACQUISITION USING SINGLE PHOTON AVALANCHE DIODES (SPADs)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059785A (ja) * 1998-08-06 2000-02-25 Hitachi Ltd 予測復号装置
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US20100086028A1 (en) * 2007-04-16 2010-04-08 Kabushiki Kaisha Toshiba Video encoding and decoding method and apparatus
CN102100071B (zh) * 2008-07-25 2013-01-02 索尼公司 图像处理设备和方法
EP2324641A1 (en) * 2008-08-12 2011-05-25 Nokia Corporation Video coding using spatially varying transform
US9300972B2 (en) * 2009-02-09 2016-03-29 Samsung Electronics Co., Ltd. Video encoding method and apparatus using low-complexity frequency transformation, and video decoding method and apparatus
EP2452499A1 (en) * 2009-07-06 2012-05-16 Thomson Licensing Methods and apparatus for spatially varying residue coding
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
JP5488612B2 (ja) 2009-12-28 2014-05-14 富士通株式会社 動画像符号化装置および動画像復号装置
WO2011080807A1 (ja) * 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
KR102480988B1 (ko) * 2010-04-13 2022-12-26 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
JP6157114B2 (ja) * 2012-12-28 2017-07-05 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6459761B2 (ja) * 2015-05-01 2019-01-30 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
EP3379832A4 (en) * 2015-11-22 2019-04-17 LG Electronics Inc. -1- METHOD AND DEVICE FOR ENTROPY DECODING AND DECODING A VIDEO SIGNAL
JP6921870B2 (ja) * 2016-05-24 2021-08-18 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法及び記録媒体
US10390033B2 (en) * 2016-06-06 2019-08-20 Google Llc Adaptive overlapped block prediction in variable block size video coding
CN117221590A (zh) * 2016-06-22 2023-12-12 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的传输方法
WO2018004006A1 (ja) 2016-06-30 2018-01-04 堺化学工業株式会社 酸化亜鉛蛍光体及びその製造方法
CN109479135B (zh) * 2016-08-10 2021-10-15 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
RU2733279C2 (ru) * 2017-03-21 2020-10-01 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ преобразования в системе кодирования изображений и устройство для его осуществления
MX2020001889A (es) * 2017-08-22 2020-03-24 Panasonic Ip Corp America Codificador de imagenes, decodificador de imagenes, metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
EP3677031B1 (en) * 2017-10-16 2023-10-04 Huawei Technologies Co., Ltd. Spatial varying transforms for video coding
US10827173B2 (en) * 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization
CN111758255A (zh) * 2018-02-23 2020-10-09 华为技术有限公司 用于视频编解码的位置相关空间变化变换
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
US11102513B2 (en) * 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform

Also Published As

Publication number Publication date
JP6808889B2 (ja) 2021-01-06
KR20230141952A (ko) 2023-10-10
KR102306884B1 (ko) 2021-09-30
KR20200138291A (ko) 2020-12-09
US20210014491A1 (en) 2021-01-14
JP6839327B1 (ja) 2021-03-03
JP2023123811A (ja) 2023-09-05
JP7059410B2 (ja) 2022-04-25
JP2021044841A (ja) 2021-03-18
US11496735B2 (en) 2022-11-08
KR20210122872A (ko) 2021-10-12
JPWO2019189901A1 (ja) 2021-02-12
KR102585485B1 (ko) 2023-10-05
US20230018619A1 (en) 2023-01-19
CN115022633A (zh) 2022-09-06
JP2021090214A (ja) 2021-06-10
EP3787290A4 (en) 2021-12-08
JP2022087262A (ja) 2022-06-09
CN112042192A (zh) 2020-12-04
JP7309959B2 (ja) 2023-07-18
WO2019189901A1 (ja) 2019-10-03
EP3787290A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
US11876979B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US9900611B2 (en) Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US20150023420A1 (en) Image decoding device, image encoding device, image decoding method, and image encoding method
KR20100015651A (ko) 이차원 적응 내삽 필터의 필터 계수 결정 방법
WO2019189900A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
CN112567743A (zh) 图像编码装置、图像解码装置及程序
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2023123811A (ja) 画像復号装置及び画像復号方法
JP2023138826A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
US11818360B2 (en) Image encoding device, image decoding device and program
JP2023053272A (ja) 画像符号化装置、画像復号装置、及びプログラム
KR102413038B1 (ko) 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
JP7228980B2 (ja) 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
US20240107009A1 (en) Video coding device and video coding method
CN113557719B (zh) 图像编码装置、图像解码装置和程序
US20230199196A1 (en) Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems
US20230224455A1 (en) Method and Apparatus Using Boundary Matching for Mode Selection in Video Coding System
JP6700877B2 (ja) 画像復号装置、画像復号プログラム及びチップ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination