CN113557726B - 图像解码设备和方法、图像编码设备和方法以及存储介质 - Google Patents

图像解码设备和方法、图像编码设备和方法以及存储介质 Download PDF

Info

Publication number
CN113557726B
CN113557726B CN202080020388.5A CN202080020388A CN113557726B CN 113557726 B CN113557726 B CN 113557726B CN 202080020388 A CN202080020388 A CN 202080020388A CN 113557726 B CN113557726 B CN 113557726B
Authority
CN
China
Prior art keywords
array
quantization matrix
elements
block
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080020388.5A
Other languages
English (en)
Other versions
CN113557726A (zh
Inventor
志摩真悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202311157426.3A priority Critical patent/CN117097899A/zh
Priority to CN202311157434.8A priority patent/CN117156137A/zh
Priority to CN202311156237.4A priority patent/CN117156136A/zh
Priority to CN202311157422.5A priority patent/CN117041577A/zh
Priority to CN202311157428.2A priority patent/CN117041578A/zh
Publication of CN113557726A publication Critical patent/CN113557726A/zh
Application granted granted Critical
Publication of CN113557726B publication Critical patent/CN113557726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments

Abstract

解码单元对与第一量化系数阵列相对应的数据和与第二量化系数阵列相对应的数据进行解码，该第一量化系数阵列包括与第一块相对应的N×M阵列的量化系数，该第二量化系数阵列包括与第二块相对应的N×M阵列的量化系数。逆量化单元通过至少使用N×M阵列的元素的第一量化矩阵来从第一量化系数阵列导出第一正交变换系数阵列，并且通过至少使用N×M阵列的元素的第二量化矩阵来从第二量化系数阵列导出第二正交变换系数阵列。逆正交变换单元对第一正交变换系数阵列进行逆正交变换以生成P×Q阵列的像素的第一预测残差，并且对第二正交变换系数阵列进行逆正交变换以生成N×M阵列的像素的第二预测残差。

Description

图像解码设备和方法、图像编码设备和方法以及存储介质
技术领域
本发明涉及图像编码技术。
背景技术
已知有高效率视频编码(HEVC)编码方法(以下称为HEVC)作为用于对运动图像进行压缩的编码方法。HEVC使用大小比传统宏块(16×16阵列的像素)的大小大的基本块以提高编码效率。大小大的基本块被称为编码树单元(CTU)，并且其最大大小为64×64阵列的像素。CTU被进一步分割成作为预测和变换的单位的子块。
在HEVC中，使用量化矩阵来基于频率分量向正交变换后的系数(以下称为正交变换系数)指派权重。量化矩阵的使用可以通过使与劣化对于人类视觉而言不太明显的高频分量有关的数据比与低频分量有关的数据更多地减少，来在维持图像质量的同时提高压缩效率。日本特开2013-38758论述了用于对指示这种量化矩阵的信息进行编码的技术。
最近已经开始作为HEVC的后继者的更加高效编码方法的国际标准化。具体地，由国际标准化组织和国际电工委员会(ISO/IEC)以及ITU电信标准化部门(ITU-T)建立的联合视频专家组(JVET)已经正在推动通用视频编码(VVC)编码方法(以下称为VVC)的标准化。对于这种标准化，已经正在研究通过在进行正交变换时的块大小大的情况下将高频分量的正交变换系数强制设置为0来减少代码量以提高编码效率的新技术(以下称为归零)。
与HEVC一样，还研究了将量化矩阵引入VVC。然而，HEVC中的量化矩阵基于用于使用具有与传统正交变换的大小相同的大小的量化矩阵来进行量化的方法，并且不能支持作为将正交变换系数的一部分设置为零的新技术的归零。因此，已存在归零的正交变换系数不能进行基于频率分量的量化控制、并且不能提高主观图像质量的问题。
现有技术文献
专利文献
专利文献1：日本特开2013-38758
发明内容
例如，提供以下的结构，从而即使使用将正交变换系数的一部分强制设置为0的技术，通过使得能够进行使用与该技术相对应的量化矩阵的量化处理，也能提高主观图像质量。换句话说，一种图像解码设备，其能够以多个块为单位从位流中解码图像，所述多个块包括P×Q(P和Q是整数)阵列的像素的第一块和N×M(N是满足N<P的整数，并且M是满足M<Q的整数)阵列的像素的第二块，所述图像解码设备包括：解码单元，其被配置为从所述位流中解码与第一量化系数阵列相对应的数据和与第二量化系数阵列相对应的数据，所述第一量化系数阵列包括与所述第一块相对应的N×M阵列的量化系数，所述第二量化系数阵列包括与所述第二块相对应的N×M阵列的量化系数；逆量化单元，其被配置为通过至少使用N×M阵列的元素的第一量化矩阵来从所述第一量化系数阵列导出第一正交变换系数阵列，并且通过至少使用N×M阵列的元素的第二量化矩阵来从所述第二量化系数阵列导出第二正交变换系数阵列；以及逆正交变换单元，其被配置为通过对所述第一正交变换系数阵列进行逆正交变换来生成与所述第一块相对应的P×Q阵列的像素的第一预测残差，并且通过对所述第二正交变换系数阵列进行逆正交变换来生成与所述第二块相对应的N×M阵列的像素的第二预测残差，其中，N×M阵列的元素的所述第一量化矩阵不同于N×M阵列的元素的所述第二量化矩阵。
此外，例如，提供以下的结构。一种图像编码设备，其能够以多个块为单位对图像进行编码，所述多个块包括P×Q(P和Q是整数)阵列的像素的第一块和N×M(N是满足N<P的整数，并且M是满足M<Q的整数)阵列的像素的第二块，所述图像编码设备包括：正交变换单元，其被配置为通过对与所述第一块相对应的P×Q阵列的像素的预测残差进行正交变换来至少生成第一正交变换系数阵列，并且通过对与所述第二块相对应的N×M阵列的像素的预测残差进行正交变换来生成第二正交变换系数阵列；量化单元，其被配置为通过至少使用N×M阵列的元素的第一量化矩阵对所述第一正交变换系数阵列进行量化来生成包括N×M阵列的量化系数的第一量化系数阵列，并且通过至少使用N×M阵列的元素的第二量化矩阵对所述第二正交变换系数阵列进行量化来生成包括N×M阵列的量化系数的第二量化系数阵列；以及编码单元，其被配置为对与第一量化系数阵列相对应的数据和与第二量化系数阵列相对应的数据进行编码，该第一量化系数阵列包括与所述第一块相对应的N×M阵列的量化系数，该第二量化系数阵列包括与所述第二块相对应的N×M阵列的量化系数，其中，N×M阵列的元素的所述第一量化矩阵不同于N×M阵列的元素的所述第二量化矩阵。
附图说明
图1是示出根据第一典型实施例的图像编码设备的结构的框图。
图2是示出根据第二典型实施例的图像解码设备的结构的框图。
图3是示出利用根据第一典型实施例的图像编码设备的图像编码处理的流程图。
图4是示出利用根据第二典型实施例的图像解码设备的图像解码处理的流程图。
图5是示出可应用于根据本发明的图像编码设备和图像解码设备的计算机的硬件结构示例的框图。
图6A是示出在第一典型实施例中输出的位流的示例的图。
图6B是示出在第一典型实施例中输出的位流的示例的图。
图7A是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图7B是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图7C是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图7D是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图7E是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图7F是示出第一典型实施例和第二典型实施例中所使用的子块分割的示例的图。
图8A是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的示例的图。
图8B是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的示例的图。
图8C是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的示例的图。
图9是示出用于扫描第一典型实施例和第二典型实施例中所使用的量化矩阵的元素的方法的图。
图10是示出第一典型实施例和第二典型实施例中所生成的量化矩阵的差值矩阵的图。
图11A是示出在对量化矩阵的差值进行编码时使用的编码表的示例的图。
图11B是示出在对量化矩阵的差值进行编码时使用的编码表的示例的图。
图12A是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的另一示例的图。
图12B是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的另一示例的图。
图12C是示出第一典型实施例和第二典型实施例中所使用的量化矩阵的另一示例的图。
具体实施方式
将参考附图来说明本发明的典型实施例。注意，以下典型实施例中所述的结构仅仅是示例，并且本发明不限于以下典型实施例中所述的结构。为了方便起见，在典型实施例中使用诸如基本块、子块、量化矩阵和基量化矩阵等的术语，并且可以在不改变这些术语的含义的情况下适当地使用其它术语。例如，基本块和子块可被称为基本单元和子单元，或者简称为块或单元。在以下的说明中，如通常所定义的，矩形是指四个内角为直角且两条对角线的长度相同的四边形。如通常所定义的，正方形是指所有的四个角都相同且所有的四条边都相同的矩形或四边形。换句话说，正方形是矩形的一种。
<第一典型实施例>
以下将参考附图来说明本发明的典型实施例。
首先将更详细地说明归零。如上所述，归零是用于将要编码的块的正交变换系数的一部分强制设置为0的处理。例如，假定要编码的块是输入图像(图片)中的64×64阵列的像素的块。这里，正交变换系数也具有64×64阵列的大小。归零是用于例如通过即使正交变换的结果的值不为零也假定64×64阵列的正交变换系数的一部分为0、来进行编码的处理。例如，将与二维的正交变换系数中的包括直流(DC)分量的预定左上范围相对应的低频分量从强制归零中排除，并且将与在频率上比低频分量高的频率分量相对应的正交变换系数恒定地设置为0。
接着，将说明根据本典型实施例的图像编码设备。图1是示出根据本典型实施例的图像编码设备的框图。在图1中，将图像数据输入到端子101。
块分割单元102将输入图像分割成多个基本块，并且将以基本块为单位的图像输出到后级。
量化矩阵存储单元103生成并存储量化矩阵。如本文所采用的，量化矩阵旨在基于频率分量来向针对正交变换系数的量化处理指派权重。例如，通过将基于基准参数值(量化参数)的标度值(量化标度)乘以量化矩阵中的各个分量的值，来向以下要说明的量化处理中的针对正交变换系数的量化步长指派权重。
没有特别限制用于生成量化矩阵存储单元103中所存储的量化矩阵的方法。例如，用户可以输入指示量化矩阵的信息。图像编码设备可以根据输入图像的特性来计算量化矩阵。可以使用预先指定为初始值的量化矩阵。在本典型实施例中，除图8A所示的8×8阵列的基量化矩阵之外，还生成并存储通过扩大该基量化矩阵所生成的图8B和图8C所示的两个类型的32×32阵列的二维量化矩阵。图8B的量化矩阵是通过将图8A的8×8阵列的基量化矩阵的各元素在垂直和水平方向上重复四次而扩大四倍得到的32×32阵列的量化矩阵。另一方面，图8C的量化矩阵是通过将图8A的基量化矩阵的左上方4×4阵列部分中的各元素在垂直和水平方向上重复八次而扩大得到的32×32阵列的量化矩阵。
如上所述，基量化矩阵是不仅用于对8×8阵列的像素子块进行量化而且还用于生成在大小上比基量化矩阵大的量化矩阵的量化矩阵。尽管基量化矩阵的大小为8×8阵列，但该大小不是限制性的。此外，根据子块大小，可以使用不同的基量化矩阵。例如，如果使用三个类型的子块(即，8×8、16×16和32×32阵列的子块)，则可以使用分别相应的三个类型的基量化矩阵。
预测单元104确定与以基本块为单位的图像数据有关的子块分割。更具体地，预测单元104确定是否将基本块分割成子块，并且如果要对基本块进行分割，则确定如何对基本块进行分割。如果不将基本块分割成子块，则如此得到的子块具有与基本块相同的大小。子块可以是正方形或除正方形以外的矩形(非正方形)。
然后，预测单元104通过以子块为单位进行作为帧内预测(intraframeprediction)的帧内预测(intra-prediction)或作为帧间预测(interframe prediction)的帧间预测(inter-prediction)等来生成预测图像数据。
例如，预测单元104从帧内预测和帧间预测中选择要对子块进行的预测方法，并且进行所选择的预测以生成与该子块有关的预测图像数据。注意，要使用的预测方法不限于此，并且可以通过组合帧内预测和帧间预测来进行预测。
预测单元104还根据所输入的图像数据和预测图像数据来计算预测残差，并输出这些预测残差。例如，预测单元104计算子块的像素值与通过对该子块的预测所生成的预测图像数据的各个像素值之间的差，并且将这些差计算为预测残差。
预测单元104还将预测所需的信息(诸如指示子块的分割状态的信息、指示子块的预测方法的预测模式、以及诸如运动矢量等的信息等)连同预测残差一起输出。预测所需的这些信息在下文将被统称为预测信息。
变换和量化单元105以子块为单位对预测单元104所计算出的预测残差进行正交变换，以获得指示预测残差的各个频率分量的正交变换系数。变换和量化单元105还使用量化参数和量化矩阵存储单元103中所存储的量化矩阵来进行量化，以获得作为量化后的正交变换系数的量化系数。进行正交变换的功能和进行量化的功能可被配置为单独的结构。
逆量化和逆变换单元106通过使用量化系数和量化矩阵存储单元103中所存储的量化矩阵对从变换和量化单元105输出的量化系数进行逆量化来重建正交变换系数。逆量化和逆变换单元106进一步进行逆正交变换以重建预测残差。用于使用量化矩阵和量化参数来重建(导出)正交变换系数的这种处理将被称为逆量化。进行逆量化的功能和进行逆变换的功能可被配置为单独的结构。图像解码设备导出量化参数所用的信息也由编码单元110编码到位流中。
帧存储器108存储重建的图像数据。
图像重建单元107基于从预测单元104输出的预测信息，通过适当地参考帧存储器108来生成预测图像数据。图像重建单元107根据预测图像数据和所输入的预测残差来生成重建图像数据，并输出该重建图像数据。
环内滤波单元109对重建图像进行诸如解块滤波和采样自适应偏移等的环内滤波处理，并输出滤波处理后的图像。
编码单元110对从变换和量化单元105输出的量化系数以及从预测单元104输出的预测信息进行编码以生成代码数据，并输出该代码数据。
量化矩阵编码单元113对从量化矩阵存储单元103输出的基量化矩阵进行编码，以生成供图像解码设备导出基量化矩阵用的量化矩阵代码数据，并输出该量化矩阵代码数据。
整合和编码单元111通过使用作为来自量化矩阵编码单元113的输出的量化矩阵代码数据来生成头代码数据。整合和编码单元111还将头代码数据与从编码单元110输出的代码数据进行组合以生成位流，并输出该位流。
端子112将整合和编码单元111所生成的位流输出到外部。
现在将说明利用前述图像编码设备的图像编码操作。在本典型实施例中，图像编码设备被配置为以帧为单位输入运动图像数据。此外，在本典型实施例的说明中，块分割单元102被描述为将运动图像数据分割成64×64阵列的像素的基本块。然而，这不是限制性的。例如，基本块可以是128×128阵列的的像素的块。基本块可以是32×32阵列的像素的块。
在对图像进行编码之前，图像编码设备生成量化矩阵并对量化矩阵进行编码。在以下的说明中，例如，量化矩阵800或各块中的水平方向将被假定为x轴并且垂直方向将被假定为y轴，其中右方向和下方向为正。量化矩阵800的最左上方元素具有坐标(0,0)。换句话说，8×8阵列的基量化矩阵的最右下方元素具有坐标(7,7)。32×32阵列的量化矩阵的最右下方元素具有坐标(31,31)。
量化矩阵存储单元103最初生成量化矩阵。基于子块大小、要量化的正交变换系数的大小和预测方法的类型来生成量化矩阵。在本典型实施例中，最初生成要用于生成以下要说明的量化矩阵的图8A所示的8×8阵列的基量化矩阵。接着，扩大该基量化矩阵以生成图8B和图8C所示的两个类型的32×32阵列的量化矩阵。图8B的量化矩阵是通过将图8A的8×8阵列的基量化矩阵在垂直和水平方向上重复四次而放大四倍得到的32×32阵列的量化矩阵。
更具体地，在图8B所示的示例中，向32×32阵列的量化矩阵中的x坐标为0～3且y坐标为0～3的范围中的各元素指派基量化矩阵的最左上方元素的值1。向32×32阵列的量化矩阵中的x坐标为28～31且y坐标为28～31的范围中的各元素指派基量化矩阵的最右下方元素的值15。在图8B的示例中，基量化矩阵中的元素的值各自均被指派给32×32阵列的量化矩阵中的元素的一部分。
另一方面，图8C的量化矩阵是通过将图8A的基量化矩阵的左上方4×4阵列部分中的各元素在垂直和水平方向上重复八次而放大得到的32×32阵列的量化矩阵。
更具体地，在图8C所示的示例中，向32×32阵列的量化矩阵中的x坐标为0～7且y坐标为0～7的范围中的各元素指派基量化矩阵的左上方4×4阵列部分中的最左上方元素的值1。向32×32阵列的量化矩阵中的x坐标为24～31且y坐标为24～31的范围中的各元素指派基量化矩阵的左上方4×4阵列部分中的最右下方元素的值7。在图8C的示例中，基量化矩阵中的元素的值中的仅与左上方4×4阵列部分(x坐标为0～3且y坐标为0～3的范围)相对应的元素的值被指派给32×32阵列的量化矩阵的元素。
注意，要生成的量化矩阵不限于此。如果存在除32×32阵列以外的要量化的正交变换系数的大小，则可以生成与要量化的正交变换系数的大小(诸如16×16、8×8和4×4阵列等)相对应的量化矩阵。没有特别限制用于确定构成基量化矩阵和量化矩阵的元素的方法。例如，可以使用预定的初始值。可以单独设置这些元素。可以基于图像特性来生成量化矩阵。
如此生成的基量化矩阵和量化矩阵存储在量化矩阵存储单元103中。图8B示出在对与以下要说明的32×32阵列的子块相对应的正交变换系数进行量化时要使用的量化矩阵的示例，并且图8C示出在对与64×64阵列的子块相对应的正交变换系数进行量化时要使用的量化矩阵的示例。粗框800表示量化矩阵。为了便于说明，各量化矩阵800应包括32×32阵列(即，1024个像素)，并且粗框中的各正方形应表示构成量化矩阵的元素。在本典型实施例中，图8B和图8C所示的三个类型的量化矩阵是以二维形式存储的。然而，将理解，量化矩阵中的元素不限于此。此外，根据要量化的正交变换系数的大小或者编码对象是亮度块还是色差块，可以针对相同的预测方法存储多个量化矩阵。通常，由于量化矩阵旨在实现基于人类视觉特性的量化处理，因此如图8B和图8C所示，与量化矩阵的左上部分相对应的低频部分中的元素小，并且与右下部分相对应的高频部分中的元素大。
量化矩阵编码单元113从量化矩阵存储单元103顺次读取以二维形式存储的基量化矩阵的元素，扫描这些元素以计算差，并将这些差以一维矩阵布置。在本典型实施例中，关于图8A所示的基量化矩阵，使用图9所示的扫描方法来针对各元素计算与按扫描顺序的紧前元素的差。例如，通过图9所示的扫描方法来扫描图8A所示的8×8阵列的基量化矩阵。在左上方的第一个元素1之后，接着扫描紧挨地位于下方的元素2，并且计算出差+1。通过计算与预定初始值(例如，8)的差来对量化矩阵的第一个元素(在本典型实施例中为1)进行编码。然而，这不是限制性的，并且可以使用与任意值的差或者第一个元素自身的值。
在本典型实施例中，如此通过使用图9的扫描方法根据图8A的基量化矩阵来生成图10所示的差分矩阵。量化矩阵编码单元113进一步对差分矩阵进行编码以生成量化矩阵代码数据。在本典型实施例中，通过使用图11A所示的编码表来进行编码，而编码表不限于此。例如，可以使用图11B所示的编码表。由此生成的量化矩阵代码数据被输出到后级的整合和编码单元111。
返回图1，整合和编码单元111对图像数据的编码所需的头信息进行编码，并将量化矩阵上的代码数据与编码后的头信息整合。
然后，对图像数据进行编码。从端子101输入的一帧图像数据被输入到块分割单元102。
块分割单元102将所输入的图像数据分割成多个基本块，并将以基本块为单位的图像输出到预测单元104。在本典型实施例中，图像是以64×64阵列的像素的基本块为单位输出的。
预测单元104对从块分割单元102输入的以基本块为单位的图像数据进行预测处理。具体地，预测单元104确定与是否将基本块分割成更小子块有关的子块分割，并且还以子块为单位确定诸如帧内预测和帧间预测等的预测模式。
图7A至图7F示出子块分割方法的示例。粗框700表示基本块。为了便于描述，基本块应包括64×64阵列的像素，并且该粗框中的各四边形应表示子块。图7B示出四叉树正方形子块分割的示例。将64×64阵列的像素的基本块分割成32×32阵列的像素子块。图7C至图7F示出矩形子块分割的示例。在图7C中，基本块被分割成32×64阵列的像素的纵长矩形子块。在图7D中，基本块被分割成64×32阵列的像素的横长矩形子块。在图7E和图7F中，基本块按1:2:1的比被分割成矩形子块。以这种方式，通过不仅使用正方形子块而且还使用非正方形的矩形子块来进行编码处理。此外，可以将基本块进一步分割成多个正方形块，并且可以以分割得到的正方形块为基准进行子块分割。换句话说，基本块的大小不限于64×64阵列的像素，并且可以使用多个大小的基本块。
在本典型实施例中，64×64阵列的像素的基本块如图7A那样未被分割，或者通过仅使用如图7B那样的四叉树分割而被分割。然而，子块分割方法不限于此。可以使用如图7E和图7F那样的三叉树分割以及如图7C和图7D那样的二叉树分割。如果还使用除图7A和图7B的子块分割以外的子块分割，则量化矩阵存储单元103生成与要使用的子块相对应的量化矩阵。如果还生成了与所生成的量化矩阵相对应的一个或多个新的基量化矩阵，则量化矩阵编码单元113也对这一个或多个新的基量化矩阵进行编码。
将更详细地说明本典型实施例中所使用的预测单元104的预测方法。在本典型实施例中，例如使用帧内预测和帧间预测这两个类型的预测方法。帧内预测通过使用在空间上位于要编码的块周围的已编码像素来生成要编码的块的预测像素，并且还生成指示诸如水平预测、垂直预测和DC预测等的帧内预测方法中的所使用的帧内预测方法的帧内预测模式信息。帧间预测通过使用在时间上与要编码的块不同的一个或多个帧中的已编码像素来生成要编码的块的预测像素，并且还生成指示要参考的(一个或多个)帧和运动矢量等的运动信息。如上所述，预测单元104可以使用组合帧内预测和帧间预测的预测方法。
基于所确定的预测模式和已编码像素来生成预测图像数据。进一步根据所输入的图像数据和预测图像数据来生成预测残差，并将这些预测残差输出到变换和量化单元105。将与子块分割和预测模式等有关的信息作为预测信息输出到编码单元110和图像重建单元107。
变换和量化单元105对所输入的预测残差进行正交变换和量化以生成量化系数。变换和量化单元105首先应用与子块大小相对应的正交变换处理以生成正交变换系数。然后，变换和量化单元105通过基于预测模式使用量化矩阵存储单元103中所存储的量化矩阵对正交变换系数进行量化来生成量化系数。以下说明更具体的正交变换和量化处理。
如果选择图7B所示的32×32阵列的子块分割，则变换和量化单元105将使用32×32阵列的正交变换矩阵的正交变换应用于32×32阵列的预测残差以生成32×32阵列的正交变换系数。具体地，变换和量化单元105进行以离散余弦变换(DCT)为代表的32×32阵列的正交变换矩阵与32×32阵列的预测残差的相乘，以计算采用32×32阵列的矩阵的形式的中间系数。变换和量化单元105进一步进行采用32×32阵列的矩阵的形式的中间系数与前述32×32阵列的正交变换矩阵的转置的相乘，以生成32×32阵列的正交变换系数。变换和量化单元105通过使用量化参数和图8B所示的32×32阵列的量化矩阵对所生成的32×32阵列的正交变换系数进行量化来生成32×32阵列的量化系数。由于64×64阵列的基本块包括32×32阵列的四个子块，因此将这种处理重复四次。
另一方面，如果选择图7A所示的64×64阵列的分割状态(未分割)，则对于64×64阵列的预测残差，使用通过对64×64阵列的正交变换矩阵中的奇数编号的行(以下称为奇数行)进行间隔剔除所生成的64×32阵列的正交变换矩阵。换句话说，通过应用使用通过对奇数行进行间隔剔除所生成的64×32阵列的正交变换矩阵的正交变换来生成32×32阵列的正交变换系数。
具体地，变换和量化单元105对64×64阵列的正交变换矩阵中的奇数行进行间隔剔除，以生成64×32阵列的正交变换矩阵。然后，变换和量化单元105进行64×32阵列的正交变换矩阵与64×64阵列的预测残差的相乘，以生成采用64×32阵列的矩阵的形式的中间系数。变换和量化单元105进行采用64×32阵列的矩阵的形式的中间系数与通过对前述64×32阵列的正交变换矩阵进行转置所获得的32×64阵列的转置的相乘，以生成32×32阵列的正交变换系数。然后，变换和量化单元105通过使用所生成的32×32阵列的正交变换系数作为64×64阵列的正交变换系数的左上部分(x坐标为0～31且y坐标为0～31的范围)中的系数、并将其它系数设置为0，来进行归零。
在本典型实施例中，如此通过使用64×32阵列的正交变换矩阵和通过对64×32阵列的正交变换矩阵进行转置所获得的32×64阵列的转置来对64×64阵列的预测残差进行正交变换。通过以这种方式生成32×32阵列的正交变换系数来进行归零。因此，与如果通过64×64阵列的正交变换所生成的64×64阵列的正交变换系数的一部分的值不为0、则将该部分强制设置为0的技术相比，可以以较少的计算量生成32×32阵列的正交变换系数。换句话说，与以下情况相比，可以减少正交变换的计算量：使用64×64阵列的正交变换矩阵来进行正交变换，并且通过不论作为归零的对象的正交变换系数是否为0都假定该正交变换系数为0来对结果进行编码。注意，尽管通过使用正交变换来根据64×64阵列的预测残差计算32×32阵列的正交变换系数的方法可以减少计算量，但用于归零的方法不限于此，并且可以使用各种方法。
在执行归零时，可以对指示归零的对象范围中的正交变换系数为0的信息进行编码，或者可以简单地对指示归零的执行的信息(诸如标志等)进行编码。通过对这种信息进行解码，图像解码设备可以在归零的对象作为0的情况下对块进行解码。
接着，变换和量化单元105通过使用量化参数和图8C所示的32×32阵列的量化矩阵对如此生成的32×32阵列的正交变换系数进行量化，来生成32×32阵列的量化系数。
在本典型实施例中，对于与32×32阵列的子块相对应的32×32阵列的正交变换系数，使用图8B的量化矩阵，并且对于与64×64阵列的子块相对应的32×32阵列的正交变换系数，使用图8C的量化矩阵。换句话说，对于未进行归零的32×32阵列的正交变换系数，使用图8B，并且对于与进行了归零的64×64阵列的子块相对应的32×32阵列的正交变换系数，使用图8C的量化矩阵。注意，要使用的量化矩阵不限于此。所生成的量化系数被输出到编码单元110以及逆量化和逆变换单元106。
逆量化和逆变换单元106通过使用量化参数和量化矩阵存储单元103中所存储的量化矩阵对所输入的量化系数进行逆量化来重建正交变换系数。逆量化和逆变换单元106进一步对重建的正交变换系数进行逆正交变换以重建预测残差。与变换和量化单元105一样，逆量化和逆变换单元106使用与要编码的子块的大小相对应的量化矩阵来进行逆量化处理。以下说明利用逆量化和逆变换单元106的更详细的逆量化和逆正交变换处理。
如果选择图7B的32×32阵列的子块分割，则逆量化和逆变换单元106通过使用图8B的量化矩阵对变换和量化单元105所生成的32×32阵列的量化系数进行逆量化来重建32×32阵列的正交变换系数。然后，逆量化和逆变换单元106进行前述32×32阵列的转置与32×32阵列的正交变换系数的相乘，以计算采用32×32阵列的矩阵的形式的中间系数。然后，逆量化和逆变换单元106进行采用32×32阵列的矩阵的形式的中间系数与前述32×32阵列的正交变换矩阵的相乘，以重建32×32阵列的预测残差。逆量化和逆变换单元106对32×32阵列的各子块进行类似的处理。另一方面，如果如图7A那样选择未分割，则逆量化和逆变换单元106通过使用图8C的量化矩阵对变换和量化单元105所生成的32×32阵列的量化系数进行逆量化来重建32×32阵列的正交变换系数。然后，逆量化和逆变换单元106进行前述32×64阵列的转置与32×32阵列的正交变换系数的相乘，以计算采用32×64阵列的矩阵的形式的中间系数。逆量化和逆变换单元106进行采用32×64阵列的矩阵的形式的中间系数与前述64×32阵列的正交变换矩阵的相乘，以重建64×64阵列的预测残差。在本典型实施例中，基于子块的大小，通过使用与在变换和量化单元105中使用的量化矩阵相同的量化矩阵来进行逆量化处理。重建的预测残差被输出到图像重建单元107。
图像重建单元107基于从预测单元104输入的预测信息，通过适当地参考帧存储器108中所存储的重建预测图像所需的数据来重建预测图像。然后，图像重建单元107根据重建的预测图像以及从逆量化和逆变换单元106输入的重建的预测残差来重建图像数据，并将该图像数据输入和存储到帧存储器108中。
环内滤波单元109从帧存储器108读取重建图像，并进行诸如解块滤波等的环内滤波处理。环内滤波单元109将滤波处理后的图像再次输入并存储到帧存储器108中。
编码单元110以块为单位对变换和量化单元105所生成的量化系数以及从预测单元104输入的预测信息进行熵编码，以生成代码数据。没有特别指定熵编码的方法，并且可以使用Golomb编码、算术编码和霍夫曼编码等。所生成的代码数据被输出到整合和编码单元111。
整合和编码单元111通过复用前述头代码数据和从编码单元110输入的代码数据等来生成位流。该位流最终从端子112输出到外部。
图6A示出在第一典型实施例中输出的位流的示例。序列头包括基量化矩阵上的代码数据，该代码数据包括各个元素的编码结果。注意，对基量化矩阵上的代码数据等进行编码的位置不限于此，并且将理解，位流可被配置成使得将这种数据编码在图片头部或其它头部中。如果在序列内切换量化矩阵，则可以对新的基量化矩阵进行编码以进行更新。在这种情况下，可以重写所有的量化矩阵，或者可以通过指定与要重写的量化矩阵相对应的量化矩阵的子块大小来改变这些量化矩阵的一部分。
图3是示出利用根据第一典型实施例的图像编码设备的编码处理的流程图。
在步骤S301中，在图像编码之前，量化矩阵存储单元103首先生成二维量化矩阵并存储这些二维量化矩阵。在本典型实施例中，量化矩阵存储单元103生成图8A所示的基量化矩阵以及根据该基量化矩阵所生成的图8B和图8C所示的量化矩阵，并且存储该基量化矩阵和这些量化矩阵。
在步骤S302中，量化矩阵编码单元113扫描在步骤S301中生成量化矩阵时使用的基量化矩阵以计算按扫描顺序邻接的元素之间的差，并且生成一维差分矩阵。在本典型实施例中，关于图8A所示的基量化矩阵，使用图9的扫描方法来生成图10所示的差分矩阵。量化矩阵编码单元113进一步对所生成的差分矩阵进行编码以生成量化矩阵代码数据。
在步骤S303中，整合和编码单元111将对图像数据进行编码所需的头信息连同所生成的量化矩阵代码数据一起编码，并输出结果。
在步骤S304中，块分割单元102将以帧为单位的输入图像分割成64×64阵列的像素的基本块。
在步骤S305中，预测单元104通过使用上述预测方法对在步骤S304中生成的以基本块为单位的图像数据进行预测处理，来生成诸如子块分割信息和预测模式等的预测信息、以及预测图像数据。在本典型实施例中，使用两个类型的块大小，即图7B所示的32×32阵列的像素子块的块大小和图7A所示的64×64阵列的像素子块的块大小。预测单元104进一步根据所输入的图像数据和预测图像数据来计算预测残差。
在步骤S306中，变换和量化单元105对在步骤S305中计算出的预测残差进行正交变换以生成正交变换系数。变换和量化单元105进一步通过使用量化参数和在步骤S301中生成并存储的量化矩阵进行量化来生成量化系数。具体地，变换和量化单元105通过使用32×32阵列的正交变换矩阵及其转置来对图7B所示的32×32阵列的像素子块的预测残差进行相乘，以生成32×32阵列的正交变换系数。另一方面，变换和量化单元105通过使用64×32阵列的正交变换矩阵及其转置来对图7A所示的64×64阵列的像素子块的预测残差进行相乘，以生成32×32阵列的正交变换系数。在本典型实施例中，变换和量化单元105通过将图8B的量化矩阵用于图7B所示的32×32阵列的子块的正交变换系数、并且通过将图8C的量化矩阵用于图7A所示的64×64阵列的子块的正交变换系数，来对32×32阵列的正交变换系数进行量化。
在步骤S307中，逆量化和逆变换单元106通过使用量化参数和在步骤S301中生成并存储的量化矩阵对在步骤S306中生成的量化系数进行逆量化，来重建正交变换系数。逆量化和逆变换单元106进一步对正交变换系数进行逆正交变换以重建预测残差。在本步骤中，通过使用与步骤S306中所使用的量化矩阵相同的量化矩阵来进行逆量化处理。具体地，对于与图7B的32×32阵列的像素子块相对应的32×32阵列的量化系数，逆量化和逆变换单元106使用图8B的量化矩阵来进行逆量化处理，以重建32×32阵列的正交变换系数。然后，逆量化和逆变换单元106通过使用32×32阵列的正交变换矩阵及其转置来对32×32阵列的正交变换系数进行相乘，以重建32×32阵列的像素的预测残差。另一方面，对于与图7A的64×64阵列的像素的子块相对应的32×32阵列的量化系数，逆量化和逆变换单元106使用图8C的量化矩阵来进行逆量化处理，以重建32×32阵列的正交变换系数。然后，逆量化和逆变换单元106通过使用64×32阵列的正交变换矩阵及其转置来对32×32阵列的正交变换系数进行相乘，以重建64×64阵列的像素的预测残差。
在步骤S308中，图像重建单元107基于在步骤S305中生成的预测信息来重建预测图像。图像重建单元107进一步根据重建的预测图像和在步骤S307中生成的预测残差来重建图像数据。
在步骤S309中，编码单元110对在步骤S305中生成的预测信息和在步骤S306中生成的量化系数进行编码以生成代码数据。编码单元110通过还包括其它代码数据来生成位流。
在步骤S310中，图像编码设备判断帧中的所有基本块是否都被编码。如果所有基本块都被编码，则处理进入步骤S311。如果并非所有基本块都被编码，则处理以下一块作为对象返回到步骤S304。
在步骤S311中，环内滤波单元109对在步骤S308中重建的图像数据进行环内滤波处理以生成滤波处理后的图像。处理结束。
通过上述结构和操作，可以在减少计算量的同时控制各频率分量的量化以提高主观图像质量。特别地，在步骤S306中，通过减少正交变换系数的数量并使用与减少的正交变换系数相对应的量化矩阵进行量化处理，可以在减少计算量的同时控制各频率分量的量化以提高主观图像质量。此外，如果减少正交变换系数的数量以仅对低频部分进行量化和编码，则可以通过使用如图8C那样的通过仅扩大基量化矩阵的低频部分所获得的量化矩阵来实现对低频部分最佳的量化控制。在图8C的示例中，低频部分在这里是指x坐标为0～3且y坐标为0～3的范围。
在本典型实施例中，为了减少代码量，量化矩阵编码单元113被配置为仅对在生成图8B和图8C的量化矩阵时共同使用的图8A的基量化矩阵进行编码。然而，量化矩阵编码单元113可被配置为对图8B和图8C的量化矩阵自身进行编码。由于可以针对量化矩阵的各个频率分量设置独特值，因此这使得能够对各频率分量进行更精细的量化控制。可选地，可以针对图8B和图8C的量化矩阵设置各自不同的基量化矩阵，并且量化矩阵编码单元113可被配置为对各个基量化矩阵进行编码。在这种情况下，可以对32×32阵列的正交变换系数和64×64阵列的正交变换系数进行各自不同的量化控制，以实现对主观图像质量的更周密的控制。此外，在这种情况下，可以通过代替将8×8阵列的基量化矩阵的左上方4×4阵列部分扩大八倍、而是将8×8阵列的整个基量化矩阵扩大四倍来获得与64×64阵列的正交变换系数相对应的量化矩阵。这也使得能够对64×64阵列的正交变换系数进行更精细的量化控制。
此外，尽管本典型实施例被配置成使得针对要归零的64×64阵列的子块的量化矩阵是唯一地确定的，但可以引入标识符以使得能够进行选择。例如，图6B示出如下的位流：新引入量化矩阵编码方法信息代码，以使要归零的64×64阵列的子块的量化矩阵编码是可选择的。例如，如果量化矩阵编码方法信息代码指示0，则将作为独立量化矩阵的图8C用于与要归零的64×64阵列的像素的子块相对应的正交变换系数。如果编码方法信息代码指示1，则将作为针对不要归零的普通子块的量化矩阵的图8B用于要归零的64×64阵列的像素的子块。如果编码方法信息代码指示2，则代替8×8阵列的基量化矩阵的元素，对针对要归零的64×64阵列的像素的子块所要使用的量化矩阵的所有元素进行编码。这样可以以可选择的方式实现量化矩阵代码的量减少和对要归零的子块的独特量化控制。
在本典型实施例中，通过归零所处理的子块仅是64×64阵列的子块。然而，通过归零所要处理的子块不限于此。例如，在与图7C或图7D所示的32×64或64×32阵列的子块相对应的正交变换系数中，可以将下半部分或右半部分的32×32阵列的正交变换系数强制设置为0。在这种情况下，仅对上半部分或左半部分的32×32阵列的正交变换系数进行量化和编码。通过使用与图8B的量化矩阵不同的量化矩阵来进行对上半部分或左半部分的32×32阵列的正交变换系数的量化处理。
此外，可以以与8×8阵列的基矩阵的元素的值分开的方式设置和编码与所生成的正交变换系数中的被认为对图像质量的影响最大的左上方的DC系数相对应的量化矩阵的值。图12B和图12C示出与DC分量相对应的最左上方元素的值从图8B和图8C中的值改变的示例。在这种情况下，可以通过除对与图8A的基量化矩阵有关的信息进行编码以外、还对DC部分的位置处的指示“2”的信息进行编码，来设置图12B和图12C所示的量化矩阵。这使得能够针对对图像质量的影响最大的正交变换系数的DC分量进行更精细的量化控制。
<第二典型实施例>
图2是示出根据本发明第二典型实施例的图像解码设备的结构的框图。将通过使用用于对在第一典型实施例中生成的编码数据进行解码的图像解码设备作为示例来说明本典型实施例。
将编码的位流输入到端子201。
分离和解码单元202将位流分离成与解码处理有关的信息和与系数相关的代码数据，并且对位流的头部中所包括的代码数据进行解码。在本典型实施例中，分离和解码单元202分离出量化矩阵代码，并将该量化矩阵代码输出到后级。分离和解码单元202进行与图1的整合和编码单元111的操作相反的操作。
量化矩阵解码单元209进行以下处理，该处理用于从位流中解码量化矩阵代码以重建基量化矩阵，并且进一步根据该基量化矩阵生成量化矩阵。
解码单元203对从分离和解码单元202输出的代码数据进行解码，以重建(导出)量化系数和预测信息。
逆量化和逆变换单元204与图1的逆量化和逆变换单元106一样，通过使用量化参数和重建的量化矩阵对量化系数进行逆量化来获得正交变换系数，并且进一步进行逆正交变换以重建预测残差。用于导出量化参数的信息也是由解码单元203从位流中解码得到的。进行逆量化的功能和进行逆变换的功能可被配置为单独的结构。
帧存储器206存储与重建的图片有关的图像数据。
图像重建单元205基于所输入的预测信息通过适当地参考帧存储器206来生成预测图像数据。然后，图像重建单元205根据该预测图像数据和由逆量化和逆变换单元204重建的预测残差来生成重建图像数据，并输出该重建图像数据。
环内滤波单元207与图1的109一样对重建图像进行诸如解块滤波等的环内滤波处理，并输出滤波处理后的图像。
端子208将重建的图像数据输出到外部。
以下将说明前述图像解码设备的图像解码操作。在本典型实施例中，图像解码设备被配置为按帧(以图片为单位)输入在第一典型实施例中生成的位流。
在图2中，从端子201输入的1帧位流被输入到分离和解码单元202。分离和解码单元202将位流分离成与解码处理有关的信息和与系数相关的代码数据，并且对位流的头部中所包括的代码数据进行解码。更具体地，分离和解码单元202重建量化矩阵代码数据。在本典型实施例中，分离和解码单元202首先从图6A所示的位流的序列头提取量化矩阵代码数据，并将该量化矩阵代码数据输出到量化矩阵解码单元209。在本典型实施例中，提取并输出与图8A所示的基量化矩阵相对应的量化矩阵代码数据。然后，分离和解码单元202重建以基本块为单位的图片数据的代码数据，并将该代码数据输出到解码单元203。
量化矩阵解码单元209首先对所输入的量化矩阵代码数据进行解码，以重建图10所示的一维差分矩阵。在本典型实施例中，与第一典型实施例一样，通过使用图11A所示的编码表来对量化矩阵代码数据进行解码。然而，编码表不限于此，并且可以使用其它编码表，只要在第一典型实施例中使用相同的编码表即可。量化矩阵解码单元209进一步根据重建的一维差分矩阵重建二维量化矩阵。这里，量化矩阵解码单元209进行与根据第一典型实施例的量化矩阵编码单元113的操作相反的操作。更具体地，在本典型实施例中，关于图10所示的差分矩阵，通过使用图9所示的扫描方法来重建并存储图8A所示的基量化矩阵。具体地，量化矩阵解码单元209将差分矩阵中的差值顺次地与前述初始值相加以重建量化矩阵的元素。然后，量化矩阵解码单元209通过基于图9所示的扫描方法将重建的一维元素按顺序与二维量化矩阵的各个元素关联来重建二维量化矩阵。
量化矩阵解码单元209如在第一典型实施例中那样进一步扩大重建的基量化矩阵以生成图8B和图8C所示的两个类型的32×32阵列的量化矩阵。图8B的量化矩阵是通过将图8A的8×8阵列的基量化矩阵的各元素在垂直和水平方向上重复四次而放大四倍得到的32×32阵列的量化矩阵。
另一方面，图8C的量化矩阵是通过将图8A的基量化矩阵的左上方4×4阵列部分的各元素在垂直和水平方向上重复八次而放大得到的32×32阵列的量化矩阵。注意，要生成的量化矩阵不限于此。如果存在除32×32以外的、在后级要逆量化的量化系数的任何大小，则可以生成诸如16×16、8×8和4×4阵列等的与要逆量化的量化系数的大小相对应的阵列量化矩阵。所生成的量化矩阵被存储并用在后级的逆量化处理中。
解码单元203从位流中解码代码数据，并重建量化系数和预测信息。解码单元203基于解码得到的预测信息来确定(一个或多个)要解码的子块的大小，并且进一步将重建的量化系数输出到逆量化和逆变换单元204，并将重建的预测信息输出到图像重建单元205。在本典型实施例中，不论子块的大小如何(即，大小是如图7A那样的64×64阵列还是如图7B那样的32×32阵列)，对于各要解码的子块都重建32×32阵列的量化系数。
逆量化和逆变换单元204通过使用量化参数和由量化矩阵解码单元209重建的量化矩阵对所输入的量化系数进行逆量化来生成正交变换系数，并且进一步应用逆正交变换以重建预测残差。以下说明更详细的逆量化和逆正交变换处理。
如果选择图7B的32×32阵列的子块分割，则通过使用图8B的量化矩阵来对由解码单元203重建的32×32阵列的量化系数进行逆量化，以重建32×32阵列的正交变换系数。然后，将前述32×32阵列的转置和32×32阵列的正交变换系数相乘以计算采用32×32阵列的矩阵的形式的中间系数。将采用32×32阵列的矩阵的形式的中间系数与前述32×32阵列的正交变换矩阵相乘以重建32×32阵列的预测残差。对32×32阵列的各子块进行类似的处理。
另一方面，如果如图7A那样选择未分割，则通过使用图8C的量化矩阵来对由解码单元203重建的量化系数的阵列进行逆量化，以重建32×32阵列的正交变换系数。将前述32×64阵列的转置和32×32阵列的正交变换系数相乘，以计算采用32×64阵列的矩阵的形式的中间系数。将采用32×64阵列的矩阵的形式的中间系数与前述64×32阵列的正交变换矩阵相乘以重建64×64阵列的预测残差。
重建的预测残差被输出到图像重建单元205。在本典型实施例中，基于通过由解码单元203重建的预测信息所确定的要解码的子块的大小来确定在逆量化处理中要使用的量化矩阵。更具体地，对于图7B中的32×32阵列的各个子块，在逆量化处理中使用图8B的量化矩阵。对于图7A的64×64阵列的子块，使用图8C的量化矩阵。注意，要使用的量化矩阵不限于此，只要第一典型实施例中的变换和量化单元105以及逆量化和逆变换单元106使用相同的量化矩阵即可。
图像重建单元205基于从解码单元203输入的预测信息，通过适当地参考帧存储器206来获得重建预测图像所需的数据，并且重建预测图像。在本典型实施例中，图像重建单元205与第一典型实施例的预测单元104一样使用帧内预测和帧间预测这两个类型的预测方法。如上所述，可以使用组合帧内预测和帧间预测的预测方法。与第一典型实施例一样，以子块为单位进行预测处理。
由于具体预测处理与根据第一典型实施例的预测单元104的预测处理类似，因此将省略对预测处理的说明。图像重建单元205根据通过预测处理所生成的预测图像和从逆量化和逆变换单元204输入的预测残差来重建图像数据。具体地，图像重建单元205通过将预测图像和预测残差相加来重建图像数据。重建的图像数据适当地存储在帧存储器206中。在预测其它子块时适当地参考所存储的图像数据。
与图1的环内滤波单元109一样，环内滤波单元207从帧存储器206读取重建图像，并进行诸如解块滤波等的环内滤波处理。滤波处理后的图像再次被输入到帧存储器206中。
帧存储器206中所存储的重建图像最终从端子208被输出到外部。例如，重建图像被输出到外部显示装置等。
图4是示出利用根据第二典型实施例的图像解码设备的图像解码处理的流程图。
在步骤S401中，分离和解码单元202首先将位流分离成与解码处理有关的信息和与系数相关的代码数据，并对头部分中的代码数据进行解码。更具体地，分离和解码单元202重建量化矩阵代码数据。
在步骤S402中，量化矩阵解码单元209首先对在步骤S401中重建的量化矩阵代码数据进行解码，以重建图10所示的一维差分矩阵。接着，量化矩阵解码单元209根据重建的一维差分矩阵重建二维基量化矩阵。量化矩阵解码单元209进一步扩大重建的二维基量化矩阵以生成量化矩阵。
更具体地，在本典型实施例中，量化矩阵解码单元209通过使用图9所示的扫描方法来根据图10所示的差分矩阵重建图8A所示的基量化矩阵。量化矩阵解码单元209进一步扩大重建的基量化矩阵以生成图8B和图8C所示的量化矩阵，并存储这些量化矩阵。
在步骤S403中，解码单元203对在步骤S401中分离出的代码数据进行解码，以重建量化系数和预测信息。解码单元203进一步基于解码得到的预测信息来确定(一个或多个)要解码的子块的大小。在本典型实施例中，不论子块的大小如何(即，大小是如图7A那样的64×64阵列还是如图7B那样的32×32阵列)，对于各要解码的子块都重建32×32阵列的量化系数。
在步骤S404中，逆量化和逆变换单元204通过使用在步骤S402中重建的量化矩阵对量化系数进行逆量化来获得正交变换系数，并且进一步进行逆正交变换以重建预测残差。在本典型实施例中，基于由在步骤S403中重建的预测信息确定的要解码的子块的大小来确定在逆量化处理中要使用的量化矩阵。更具体地，对于图7B的32×32阵列的各个子块，在逆量化处理中使用图8B的量化矩阵。对于图7A的64×64阵列的子块，使用图8C的量化矩阵。注意，要使用的量化矩阵不限于此，只要在第一典型实施例的步骤S306和S307中使用相同的量化矩阵即可。
在步骤S405中，图像重建单元205根据在步骤S403中生成的预测信息来重建预测图像。在本典型实施例中，与第一典型实施例的步骤S305一样，使用帧内预测和帧间预测这两个类型的预测方法。图像重建单元205进一步根据重建的预测图像和在步骤S404中生成的预测残差来重建图像数据。
在步骤S406中，图像解码设备判断帧中的所有基本块是否都被解码。如果所有基本块都被解码，则处理进入步骤S407。如果并非所有基本块都被解码，则处理以下一基本块作为对象返回到步骤S403。
在步骤S407中，环内滤波单元207对在步骤S405中重建的图像数据进行环内滤波处理以生成滤波处理后的图像。处理结束。
通过上述结构和操作，可以对在第一典型实施例中生成的位流进行解码，其中对于该位流，即使在仅对低频的正交变换系数进行量化和编码的子块中，也使用量化矩阵来控制各频率分量的量化以提高主观图像质量。此外，可以通过将诸如图8C的量化矩阵等的通过仅扩大基量化矩阵的低频部分所获得的量化矩阵用于仅对低频的正交变换系数进行量化和编码的子块，来对将最佳量化控制被应用于其低频部分的位流进行解码。
在本典型实施例中，为了减少代码量，仅对要共同地用于生成图8B和图8C的量化矩阵的图8A的基量化矩阵进行解码。然而，图8B和图8C的量化矩阵自身可被解码。由于可以针对量化矩阵的各个频率分量设置独特值，因此这使得能够对针对各频率分量实现更精细的量化控制的位流进行解码。
可以针对图8B和图8C设置各自不同的基量化矩阵，并且可以对各个基量化矩阵进行编码。在这种情况下，可以对32×32阵列的正交变换系数和64×64阵列的正交变换系数进行各自不同的量化控制，以对实现主观图像质量的更周密的控制的位流进行解码。此外，在这种情况下，可以通过代替将8×8阵列的基量化矩阵的左上方4×4阵列部分扩大八倍、而是将8×8阵列的整个基量化矩阵扩大四倍，来获得与64×64阵列的正交变换系数相对应的量化矩阵。这使得能够还对64×64阵列的正交变换系数进行更精细的量化控制。
此外，尽管本典型实施例被配置成使得针对要归零的64×64阵列的子块的量化矩阵是唯一地确定的，但可以引入标识符以使得能够进行选择。例如，图6B示出如下的位流：新引入量化矩阵编码方法信息代码，以使要归零的64×64阵列的子块的量化矩阵编码是可选择的。例如，如果量化矩阵编码方法信息代码指示0，则将作为独立量化矩阵的图8C用于与要归零的64×64阵列的子块相对应的正交变换系数。如果编码方法信息代码指示1，则将作为针对不要归零的普通子块的量化矩阵的图8B用于要归零的64×64阵列的子块。如果编码方法信息代码指示2，则代替8×8阵列的基量化矩阵的元素，对针对要归零的64×64阵列的子块所要使用的量化矩阵的所有元素进行编码。这样使得能够对如下的位流进行解码，其中对于该位流，可以以可选择的方式实现量化矩阵代码的量减少和对要归零的子块的独特量化控制。
在本典型实施例中，通过归零所处理的子块仅是64×64阵列的子块。然而，通过归零所处理的子块不限于此。例如，在与图7C或图7D所示的32×64或64×32阵列的子块相对应的正交变换系数中，可以在无需对下半部分或右半部分的32×32阵列的正交变换系数进行解码的情况下，仅对上半部分或左半部分的量化系数进行解码。在这种情况下，仅对上半部分或左半部分的32×32阵列的正交变换系数进行解码和逆量化。通过使用与图8B的量化矩阵不同的量化矩阵来进行对上半部分或左半部分的32×32阵列的正交变换系数的量化处理。
此外，可以以与8×8阵列的基矩阵的元素的值分开的方式解码和设置与所生成的正交变换系数中的被认为对图像质量的影响最大的左上方的DC系数相对应的量化矩阵的值。图12B和图12C示出与DC分量相对应的最左上方元素的值从图8B和图8C中的值改变的示例。在这种情况下，可以通过除对与图8A的基量化矩阵有关的信息进行解码以外、还对DC部分的位置处的指示“2”的信息进行解码，来设置图12B和图12C所示的量化矩阵。这使得能够对如下的位流进行解码，其中对于该位流，针对对图像质量的影响最大的正交变换系数的DC分量实现了更精细的量化控制。
<第三实施例>
在前述典型实施例中，图1和图2所示的处理单元已被描述为由硬件构成。然而，由这些图中示出的各个处理单元所进行的处理可以由计算机程序构成。
图5是示出可应用于根据前述典型实施例的图像编码设备和图像解码设备的计算机的硬件结构示例的框图。
中央处理单元(CPU)501通过使用随机存取存储器(RAM)502和只读存储器(ROM)503中所存储的计算机程序和数据来控制整个计算机，并且执行要由根据典型实施例的设备进行的上述处理。换句话说，CPU 501用作图1和图2所示的处理单元。
RAM 502包括用于临时存储从外部存储装置506加载的计算机程序和数据、以及经由接口(I/F)507从外部获得的数据等的区域。RAM 502还包括供CPU 501在执行各种处理时使用的工作区。换句话说，RAM 502例如可被分配作为帧存储器，并适当地提供其它各种区域。
ROM 503存储计算机的设置数据和引导程序等。操作单元504包括键盘和鼠标。计算机的用户可以通过对操作单元504进行操作来将各种指令输入到CPU 501中。输出单元505输出利用CPU 501的处理的结果。输出单元505例如包括液晶显示器。
外部存储装置506是以硬盘驱动装置为代表的大容量信息存储装置。外部存储设备506存储操作系统(OS)、以及用于使CPU 501实现图1和图2所示的单元的功能的计算机程序。外部存储装置506还可以存储要处理的图像数据。
外部存储装置506中所存储的计算机程序和数据基于CPU 501的控制被适当地加载到RAM 502中，并且经过CPU 501的处理。诸如局域网(LAN)和因特网等的网络以及诸如投影装置和显示装置等的其它装置可以连接到I/F 507。计算机可以经由I/F 507获得和发送各种类型的信息。总线508连接上述单元。
前述结构的活动或前述流程图中描述的活动主要由CPU 501控制。
(其它典型实施例)
典型实施例还可以通过以下来实现：将记录有用于实现前述功能的计算机程序代码的存储介质供给至系统，并且由系统来读取并执行该计算机程序代码。在这种情况下，从存储介质读取的计算机程序代码自身实现前述典型实施例的功能，并且存储计算机程序代码的存储介质构成本发明。还包括如下的情况：在计算机上运行的操作系统(OS)等基于程序代码中的指令来进行实际处理的一部分或全部，并且通过该处理来实现前述功能。
典型实施例还可以通过以下方式来实现。也就是说，将从存储介质读取的计算机程序代码写入插入到计算机中的功能扩展卡或连接到计算机的功能扩展单元中所包括的存储器中。然后，该功能扩展卡或功能扩展单元中所包括的CPU等基于计算机程序代码中的指令来进行实际处理的一部分或全部，并由此实现上述功能。这样的情况也包括在内。
如果将本发明应用于上述存储介质，则存储介质存储与上述流程图相对应的计算机程序代码。
根据前述典型实施例，尽管使用将正交变换系数的一部分强制设置为0的技术，通过使得能够进行使用与该技术相对应的量化矩阵的量化处理，也可以提高主观图像质量。
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，添加了所附权利要求。
本申请要求2019年3月11日提交的日本专利申请2019-044275的优先权，其通过引用而被全部包含于此。

Claims (42)

1.一种图像解码设备，其能够使用多个块来从位流中解码图像，所述多个块包括P×Q阵列的像素的第一块和N×M阵列的像素的第二块，其中，P和Q是整数，N是满足N<P的整数，并且M是满足M<Q的整数，所述图像解码设备包括：
解码单元，其被配置为从所述位流中解码与第一量化变换系数阵列相对应的数据和与第二量化变换系数阵列相对应的数据，所述第一量化变换系数阵列与所述第一块相对应，所述第二量化变换系数阵列与所述第二块相对应；
逆量化单元，其被配置为通过使用N×M阵列的元素的第一量化矩阵来从所述第一量化变换系数阵列导出第一变换系数阵列，并且通过使用N×M阵列的元素的第二量化矩阵来从所述第二量化变换系数阵列导出第二变换系数阵列，其中所述第一变换系数阵列表示频率分量，以及其中所述第二变换系数阵列表示频率分量；以及
逆变换单元，其被配置为通过对所述第一变换系数阵列进行逆变换处理来导出与所述第一块相对应的第一预测残差阵列，并且通过对所述第二变换系数阵列进行逆变换处理来导出与所述第二块相对应的第二预测残差阵列，
其中，N×M阵列的元素的所述第一量化矩阵是如下的量化矩阵，该量化矩阵包括R×S阵列的元素的第三量化矩阵的一部分元素、但不包括所述第三量化矩阵的其它元素，其中，R是满足R≤N的整数，并且S是满足S≤M的整数，
其中，N×M阵列的元素的所述第二量化矩阵是包括R×S阵列的元素的第四量化矩阵的所有元素的量化矩阵，以及
其中，所述第三量化矩阵不同于所述第四量化矩阵。
2.根据权利要求1所述的图像解码设备，其中，所述第一块和所述第二块是正方形的块。
3.根据权利要求2所述的图像解码设备，其中，P和Q是64，并且N和M是32。
4.根据权利要求2所述的图像解码设备，其中，P和Q是128，并且N和M是32。
5.根据权利要求1所述的图像解码设备，
其中，所述第一量化矩阵是除与DC分量相对应的元素以外的元素包括所述第三量化矩阵的所述一部分元素的量化矩阵，以及
其中，所述第二量化矩阵是除与DC分量相对应的元素以外的元素包括所述第四量化矩阵的所有元素的量化矩阵。
6.根据权利要求1所述的图像解码设备，
其中，所述第一变换系数阵列包括N×M阵列的变换系数，以及
其中，所述第二变换系数阵列包括N×M阵列的变换系数。
7.根据权利要求1所述的图像解码设备，其中，所述第一块和所述第二块是非正方形的块。
8.根据权利要求1所述的图像解码设备，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述第二预测残差阵列是N×M阵列的预测残差。
9.根据权利要求1所述的图像解码设备，
其中，所述第一变换系数阵列是N×M阵列的变换系数，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述逆变换单元通过对所述第一变换系数阵列进行逆变换处理来从所述第一变换系数阵列导出所述第一预测残差阵列。
10.根据权利要求9所述的图像解码设备，其中，所述逆变换处理包括所述第一变换系数阵列与M×Q阵列的矩阵的相乘，以由此导出N×Q阵列的中间值，并且所述逆变换处理包括P×N阵列的矩阵与所述N×Q阵列的中间值的相乘，以由此从所述第一变换系数阵列导出所述第一预测残差阵列。
11.一种图像解码方法，其能够使用多个块来从位流中解码图像，所述多个块包括P×Q阵列的像素的第一块和N×M阵列的像素的第二块，其中，P和Q是整数，N是满足N<P的整数，并且M是满足M<Q的整数，所述图像解码方法包括：
从所述位流中解码与第一量化变换系数阵列相对应的数据和与第二量化变换系数阵列相对应的数据，所述第一量化变换系数阵列与所述第一块相对应，所述第二量化变换系数阵列与所述第二块相对应；
进行逆量化，所述逆量化用于通过使用N×M阵列的元素的第一量化矩阵来从所述第一量化变换系数阵列导出第一变换系数阵列，并且通过使用N×M阵列的元素的第二量化矩阵来从所述第二量化变换系数阵列导出第二变换系数阵列，其中所述第一变换系数阵列表示频率分量，以及其中所述第二变换系数阵列表示频率分量；以及
进行逆变换，所述逆变换用于通过对所述第一变换系数阵列进行逆变换处理来导出与所述第一块相对应的第一预测残差阵列，并且通过对所述第二变换系数阵列进行逆变换处理来导出与所述第二块相对应的第二预测残差阵列，
其中，N×M阵列的元素的所述第一量化矩阵是如下的量化矩阵，该量化矩阵包括R×S阵列的元素的第三量化矩阵的一部分元素、但不包括所述第三量化矩阵的其它元素，其中，R是满足R≤N的整数，并且S是满足S≤M的整数，
其中，N×M阵列的元素的所述第二量化矩阵是包括R×S阵列的元素的第四量化矩阵的所有元素的量化矩阵，以及
其中，所述第三量化矩阵不同于所述第四量化矩阵。
12.根据权利要求11所述的图像解码方法，其中，所述第一块和所述第二块是正方形的块。
13.根据权利要求12所述的图像解码方法，其中，P和Q是64，并且N和M是32。
14.根据权利要求12所述的图像解码方法，其中，P和Q是128，并且N和M是32。
15.根据权利要求11所述的图像解码方法，
其中，所述第一量化矩阵是除与DC分量相对应的元素以外的元素包括所述第三量化矩阵的所述一部分元素的量化矩阵，以及
其中，所述第二量化矩阵是除与DC分量相对应的元素以外的元素包括所述第四量化矩阵的所有元素的量化矩阵。
16.根据权利要求11所述的图像解码方法，
其中，所述第一变换系数阵列包括N×M阵列的变换系数，以及
其中，所述第二变换系数阵列包括N×M阵列的变换系数。
17.根据权利要求11所述的图像解码方法，其中，所述第一块和所述第二块是非正方形的块。
18.根据权利要求11所述的图像解码方法，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述第二预测残差阵列是N×M阵列的预测残差。
19.根据权利要求11所述的图像解码方法，
其中，所述第一变换系数阵列是N×M阵列的变换系数，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述逆变换通过对所述第一变换系数阵列进行逆变换处理来从所述第一变换系数阵列导出所述第一预测残差阵列。
20.根据权利要求19所述的图像解码方法，其中，所述逆变换处理包括所述第一变换系数阵列与M×Q阵列的矩阵的相乘，以由此导出N×Q阵列的中间值，并且所述逆变换处理包括P×N阵列的矩阵与所述N×Q阵列的中间值的相乘，以由此从所述第一变换系数阵列导出所述第一预测残差阵列。
21.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行根据权利要求11所述的图像解码方法。
22.一种图像编码设备，其能够使用多个块来对图像进行编码，所述多个块包括P×Q阵列的像素的第一块和N×M阵列的像素的第二块，其中，P和Q是整数，N是满足N<P的整数，并且M是满足M<Q的整数，所述图像编码设备包括：
变换单元，其被配置为通过对与所述第一块相对应的第一预测残差阵列进行变换处理来导出第一变换系数阵列，并且通过对与所述第二块相对应的第二预测残差阵列进行变换处理来导出第二变换系数阵列；
量化单元，其被配置为通过使用N×M阵列的元素的第一量化矩阵对所述第一变换系数阵列进行量化来导出第一量化变换系数阵列，并且通过使用N×M阵列的元素的第二量化矩阵对所述第二变换系数阵列进行量化来导出第二量化变换系数阵列；以及
编码单元，其被配置为对与对应于所述第一块的第一量化变换系数阵列相对应的数据、以及与对应于所述第二块的第二量化变换系数阵列相对应的数据进行编码，
其中，N×M阵列的元素的所述第一量化矩阵是如下的量化矩阵，该量化矩阵包括R×S阵列的元素的第三量化矩阵的一部分元素、但不包括所述第三量化矩阵的其它元素，其中，R是满足R≤N的整数，并且S是满足S≤M的整数，
其中，N×M阵列的元素的所述第二量化矩阵是包括R×S阵列的元素的第四量化矩阵的所有元素的量化矩阵，以及
其中，所述第三量化矩阵不同于所述第四量化矩阵。
23.根据权利要求22所述的图像编码设备，其中，所述第一块和所述第二块是正方形的块。
24.根据权利要求23所述的图像编码设备，其中，P和Q是64，并且N和M是32。
25.根据权利要求23所述的图像编码设备，其中，P和Q是128，并且N和M是32。
26.根据权利要求22所述的图像编码设备，
其中，所述第一量化矩阵是除与DC分量相对应的元素以外的元素包括所述第三量化矩阵的所述一部分元素的量化矩阵，以及
其中，所述第二量化矩阵是除与DC分量相对应的元素以外的元素包括所述第四量化矩阵的所有元素的量化矩阵。
27.根据权利要求22所述的图像编码设备，
其中，所述第一变换系数阵列包括N×M阵列的变换系数，以及
其中，所述第二变换系数阵列包括N×M阵列的变换系数。
28.根据权利要求22所述的图像编码设备，其中，所述第一块和所述第二块是非正方形的块。
29.根据权利要求22所述的图像编码设备，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述第二预测残差阵列是N×M阵列的预测残差。
30.根据权利要求22所述的图像编码设备，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，
其中，所述第一变换系数阵列是N×M阵列的变换系数，以及
其中，所述变换单元通过对所述第一预测残差阵列进行变换处理来从所述第一预测残差阵列导出所述第一变换系数阵列。
31.根据权利要求30所述的图像编码设备，其中，所述变换处理包括所述第一预测残差阵列与Q×M阵列的矩阵的相乘，以由此导出P×M阵列的中间值，并且所述变换处理包括N×P阵列的矩阵与所述P×M阵列的中间值的相乘，以由此从所述第一预测残差阵列导出所述第一变换系数阵列。
32.一种图像编码方法，其能够使用多个块来对图像进行编码，所述多个块包括P×Q阵列的像素的第一块和N×M阵列的像素的第二块，其中，P和Q是整数，N是满足N<P的整数，并且M是满足M<Q的整数，所述图像编码方法包括：
进行变换，所述变换用于通过对与所述第一块相对应的第一预测残差阵列进行变换处理来导出第一变换系数阵列，并且通过对与所述第二块相对应的第二预测残差阵列进行变换处理来导出第二变换系数阵列；
进行量化，所述量化用于通过使用N×M阵列的元素的第一量化矩阵对所述第一变换系数阵列进行量化来导出第一量化变换系数阵列，并且通过使用N×M阵列的元素的第二量化矩阵对所述第二变换系数阵列进行量化来导出第二量化变换系数阵列；以及
对与对应于所述第一块的第一量化变换系数阵列相对应的数据、以及与对应于所述第二块的第二量化变换系数阵列相对应的数据进行编码，
其中，N×M阵列的元素的所述第一量化矩阵是如下的量化矩阵，该量化矩阵包括R×S阵列的元素的第三量化矩阵的一部分元素、但不包括所述第三量化矩阵的其它元素，其中，R是满足R≤N的整数，并且S是满足S≤M的整数，
其中，N×M阵列的元素的所述第二量化矩阵是包括R×S阵列的元素的第四量化矩阵的所有元素的量化矩阵，以及
其中，所述第三量化矩阵不同于所述第四量化矩阵。
33.根据权利要求32所述的图像编码方法，其中，所述第一块和所述第二块是正方形的块。
34.根据权利要求33所述的图像编码方法，其中，P和Q是64，并且N和M是32。
35.根据权利要求33所述的图像编码方法，其中，P和Q是128，并且N和M是32。
36.根据权利要求32所述的图像编码方法，
其中，所述第一量化矩阵是除与DC分量相对应的元素以外的元素包括所述第三量化矩阵的所述一部分元素的量化矩阵，以及
其中，所述第二量化矩阵是除与DC分量相对应的元素以外的元素包括所述第四量化矩阵的所有元素的量化矩阵。
37.根据权利要求32所述的图像编码方法，
其中，所述第一变换系数阵列包括N×M阵列的变换系数，以及
其中，所述第二变换系数阵列包括N×M阵列的变换系数。
38.根据权利要求32所述的图像编码方法，其中，所述第一块和所述第二块是非正方形的块。
39.根据权利要求32所述的图像编码方法，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，以及
其中，所述第二预测残差阵列是N×M阵列的预测残差。
40.根据权利要求32所述的图像编码方法，
其中，所述第一预测残差阵列是P×Q阵列的预测残差，
其中，所述第一变换系数阵列是N×M阵列的变换系数，以及
其中，所述变换通过对所述第一预测残差阵列进行变换处理来从所述第一预测残差阵列导出所述第一变换系数阵列。
41.根据权利要求40所述的图像编码方法，其中，所述变换处理包括所述第一预测残差阵列与Q×M阵列的矩阵的相乘，以由此导出P×M阵列的中间值，并且所述变换处理包括N×P阵列的矩阵与所述P×M阵列的中间值的相乘，以由此从所述第一预测残差阵列导出所述第一变换系数阵列。
42.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行根据权利要求32所述的图像编码方法。
CN202080020388.5A 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质 Active CN113557726B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202311157426.3A CN117097899A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157434.8A CN117156137A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311156237.4A CN117156136A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157422.5A CN117041577A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157428.2A CN117041578A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019044275A JP7267785B2 (ja) 2019-03-11 2019-03-11 画像復号装置、画像復号方法、及びプログラム
JP2019-044275 2019-03-11
PCT/JP2020/008359 WO2020184223A1 (ja) 2019-03-11 2020-02-28 画像復号装置、画像復号方法、及びプログラム

Related Child Applications (5)

Application Number Title Priority Date Filing Date
CN202311157434.8A Division CN117156137A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157422.5A Division CN117041577A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311156237.4A Division CN117156136A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157428.2A Division CN117041578A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157426.3A Division CN117097899A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质

Publications (2)

Publication Number Publication Date
CN113557726A CN113557726A (zh) 2021-10-26
CN113557726B true CN113557726B (zh) 2023-08-29

Family

ID=72427886

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202311157426.3A Pending CN117097899A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157434.8A Pending CN117156137A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311156237.4A Pending CN117156136A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157422.5A Pending CN117041577A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202080020388.5A Active CN113557726B (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157428.2A Pending CN117041578A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202311157426.3A Pending CN117097899A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157434.8A Pending CN117156137A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311156237.4A Pending CN117156136A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质
CN202311157422.5A Pending CN117041577A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311157428.2A Pending CN117041578A (zh) 2019-03-11 2020-02-28 图像解码设备和方法、图像编码设备和方法以及存储介质

Country Status (8)

Country Link
US (1) US20220060707A1 (zh)
EP (1) EP3941055A4 (zh)
JP (2) JP7267785B2 (zh)
KR (1) KR20210125089A (zh)
CN (6) CN117097899A (zh)
BR (1) BR112021017977A2 (zh)
TW (1) TWI795635B (zh)
WO (1) WO2020184223A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025876A (en) * 1995-06-09 2000-02-15 Sgs-Thomson Microelectronics S.A. Data stream decoding device
WO2013008459A1 (en) * 2011-07-13 2013-01-17 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and program
CN107071419A (zh) * 2011-11-07 2017-08-18 佳能株式会社 图像编码设备和方法以及图像解码设备和方法
WO2018008387A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61294585A (ja) * 1985-06-21 1986-12-25 Nec Corp 画像信号の変換符号化方式
JP3403724B2 (ja) * 1990-08-20 2003-05-06 株式会社東芝 画像再生装置及び方法
KR101885258B1 (ko) * 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP2013012887A (ja) * 2011-06-29 2013-01-17 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013038768A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2013094385A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 画像処理装置および方法
US9432696B2 (en) * 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
JPWO2016103542A1 (ja) * 2014-12-26 2017-10-19 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置および復号装置
TWI561060B (en) * 2015-01-15 2016-12-01 Mstar Semiconductor Inc Signal processing apparatus and signal processing method including quantization or inverse-quantization process
JP6889068B2 (ja) 2017-08-29 2021-06-18 美江 永井 女性用ボトム下着
US20210006796A1 (en) * 2018-03-28 2021-01-07 Sony Corporation Image processing device and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6025876A (en) * 1995-06-09 2000-02-15 Sgs-Thomson Microelectronics S.A. Data stream decoding device
WO2013008459A1 (en) * 2011-07-13 2013-01-17 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and program
CN107071419A (zh) * 2011-11-07 2017-08-18 佳能株式会社 图像编码设备和方法以及图像解码设备和方法
WO2018008387A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4);Jianle Chen;《 JVET-M1002》;全文 *

Also Published As

Publication number Publication date
CN117156137A (zh) 2023-12-01
EP3941055A4 (en) 2022-12-14
JP2023080359A (ja) 2023-06-08
KR20210125089A (ko) 2021-10-15
EP3941055A1 (en) 2022-01-19
JP2020150339A (ja) 2020-09-17
TW202034700A (zh) 2020-09-16
JP7267785B2 (ja) 2023-05-02
CN117041577A (zh) 2023-11-10
US20220060707A1 (en) 2022-02-24
CN113557726A (zh) 2021-10-26
TWI795635B (zh) 2023-03-11
CN117041578A (zh) 2023-11-10
CN117097899A (zh) 2023-11-21
BR112021017977A2 (pt) 2021-11-16
CN117156136A (zh) 2023-12-01
WO2020184223A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
JP2023105156A (ja) 画像符号化装置、画像符号化方法、及びプログラム
CN113557726B (zh) 图像解码设备和方法、图像编码设备和方法以及存储介质
CN113557725B (zh) 图像解码设备、图像解码方法和存储介质
CN113994677A (zh) 图像编码装置、图像解码装置、方法和程序
US11985352B2 (en) Image coding apparatus, image coding method, and storage media
JP2020010320A (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
CN113196759B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
CN114424551A (zh) 图像编码设备、图像解码设备、其控制方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant