CN116647705A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN116647705A
CN116647705A CN202310713511.7A CN202310713511A CN116647705A CN 116647705 A CN116647705 A CN 116647705A CN 202310713511 A CN202310713511 A CN 202310713511A CN 116647705 A CN116647705 A CN 116647705A
Authority
CN
China
Prior art keywords
size
quantization matrix
quantization
unit
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310713511.7A
Other languages
English (en)
Inventor
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN116647705A publication Critical patent/CN116647705A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

[问题]为了提供一种高效地生成量化矩阵或表现出改进的信号传送的结构。[解决方案]提供了一种图像处理装置，该图像处理装置配备有：解码单元，其用于对缩放列表数据进行解码并生成第一尺寸的第一量化矩阵；以及生成单元，其用于通过仅参考由解码单元生成的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及逆量化单元，其用于通过使用由生成单元生成的第二量化矩阵，对第二尺寸的变换块的量化变换系数进行逆量化。

Description

图像处理装置和图像处理方法
本申请是国家申请号为201980020797.2，国际申请日为2019年3月7日，进入国家日期为2020年9月21日，发明名称为“图像处理装置和图像处理方法”的申请的分案申请。
技术领域
本公开内容涉及图像处理装置和图像处理方法。
背景技术
常规地，已经出于高效地传送、存储或记录数字图像的目的对例如H.264/AVC和H.265/HEVC的许多视频编码方法进行标准化，H.265/HEVC被认为能够实现大约为H.264/AVC的编码效率的两倍的编码(压缩)效率。由ITU-T和ISO/IEC共同建立的标准化组织联合视频专家组(JVET)针对进一步提高的优于H.265/HEVC的编码效率的编码效率，已经开始讨论下一代视频编码方法未来视频编码(FVC)的标准化。基于HEVC模型正在开发的FVC参考软件被称为联合探索模型(JEM)，并且并入JEM中的各种技术要素在非专利文献1中有所描述。
现有视频编码方法涉及各种技术，例如，预测(帧内预测/帧间预测)、正交变换、量化和熵编码。作为上述技术之一的量化处理在正交变换之后的频域中比变换系数的低频分量的量化更粗略地对变换系数的高频分量进行量化。这实现了预期的数据速率，同时抑制了主观图像质量的劣化。根据H.265/HEVC(在下文中将被简称为“HEVC”)，针对被称为变换单元(TU)的每个块执行正交变换和量化。TU尺寸的候选包括4×4、8×8、16×16和32×32，并且可以从编码器用信号向解码器传送与一些TU尺寸对应的量化矩阵。量化矩阵影响量化每个块的变换系数的各个频率分量的量化步骤。FVC容许128×128的扩大的最大TU尺寸，并且还容许非正方形TU。
TU尺寸越大，所使用的量化矩阵的多样性就越大。然而，用信号传送所有这些量化矩阵增加编码比特流的开销，从而降低了编码效率。为了解决该问题，专利文献1和专利文献2提出了一种技术，通过该技术，不是用信号传送所使用的全部量化矩阵，而是用信号传送仅其中一些量化矩阵，并且剩余量化矩阵从用信号传送的量化矩阵生成，使得开销的增加得以避免。
引用列表
非专利文献
非专利文献1：J.Chen，E.Alshina，G.J.Sullivan，J.R.Ohm和J.Boyce，“AlgorithmDescription of Joint Exploration Test Model(JEM7)”，JVET-G1001，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索组(JVET)第七次会议：都灵，意大利，2017年7月13日至21日
专利文献
专利文献1：WO 2012/077408 A
专利文献2：WO 2012/160890 A
发明内容
技术问题
由对量化矩阵的信号传送引起的编码效率的下降以及从某个量化矩阵生成不同量化矩阵对装置性能的影响具有彼此权衡的关系。特别地，在块尺寸和形状的组合显著变化的FVC的情况下，不仅编码效率，而且生成量化矩阵所需的处理成本(例如，硬件资源的占用、处理延迟、增加的功耗等)是不可忽视的因素。
因此，期望提供一种用于高效地生成或用信号传送量化矩阵的改进的系统。
问题的解决方案
根据本公开内容，提供了一种图像处理装置。图像处理装置包括：解码单元，其对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；生成单元，其通过仅参考由解码单元生成的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及逆量化单元，其使用由生成单元生成的第二量化矩阵，对第二尺寸的变换块的量化变换系数进行逆量化。
此外，根据本公开内容，提供了一种由图像处理装置执行的图像处理方法。图像处理方法包括：对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；通过仅参考生成的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及使用生成的第二量化矩阵，对第二尺寸的变换块的量化变换系数进行逆量化。
此外，根据本公开内容，提供了一种图像处理装置。图像处理装置包括：生成单元，其通过仅参考第一尺寸的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；量化单元，其使用由生成单元生成的第二量化矩阵，对要编码的图像中的第二尺寸的变换块的变换系数进行量化，以生成量化变换系数；以及编码单元，其对量化变换系数和表达第一量化矩阵的缩放列表进行编码，以生成编码流。
此外，根据本公开内容，提供了一种由图像处理装置执行的图像处理方法。图像处理方法包括：通过仅参考第一尺寸的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；使用生成的第二量化矩阵，对要编码的图像中的第二尺寸的变换块的变换系数进行量化，以生成量化变换系数；以及对量化变换系数和表达第一量化矩阵的缩放列表进行编码，以生成编码流。
发明的有益效果
根据本公开内容的技术，可以高效地生成或用信号传送量化矩阵。
注意，前述有益效果不一定是限制性的，并且除了前述有益效果之外或代替前述有益效果，还可以提供本说明书中公开的任何有益效果或可以从本说明书理解的其他有益效果。
附图说明
图1是用于说明能够在HEVC中使用的量化矩阵的类型的说明图。
图2是示出FVC中的QTBT块划分的示例的说明图。
图3A是用于说明FVC中的正方形变换块的变换系数的归零的说明图。
图3B是用于说明FVC中的非正方形变换块的变换系数的归零的说明图。
图4是用于说明根据本公开内容的技术在解码器侧的基本实现方式的示例的说明图。
图5是用于说明用于未应用归零的变换块的量化矩阵的生成的说明图。
图6A是用于说明用于应用了归零的变换块的量化矩阵的生成的第一说明图。
图6B是用于说明用于应用了归零的变换块的量化矩阵的生成的第二说明图。
图6C是用于说明用于应用了归零的变换块的量化矩阵的生成的第三说明图。
图7是用于说明根据本公开内容的技术在编码器侧的基本实现方式的示例的说明图。
图8是示出根据第一实施方式的编码器的配置的示例的框图。
图9是示出由图8的编码器执行的量化相关处理的流程的示例的流程图。
图10是示出量化矩阵生成处理的流程的示例的流程图。
图11是示出缩放列表编码处理的流程的示例的流程图。
图12是示出根据第一实施方式的解码器的配置的示例的框图。
图13是示出由图12的解码器执行的逆量化相关处理的流程的示例的流程图。
图14是示出缩放列表数据解码处理的流程的示例的流程图。
图15是示出根据第二实施方式的编码器的配置的示例的框图。
图16是示出由图15的编码器执行的量化相关处理的流程的示例的流程图。
图17是示出根据第二实施方式的解码器的配置的示例的框图。
图18是示出由图17的解码器执行的逆量化相关处理的流程的示例的流程图。
图19是示出硬件配置的示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同功能配置的部件将由相同的附图标记表示，并且将省去其冗余描述。
本公开内容的范围不限于以下详细描述的内容，并且在提交本公开内容时公众已知的参考文献REF1至REF3的内容也被包括在范围内作为参考资料。换言之，这些参考文献的内容还提供确定是否满足支持要求的依据。例如，除非单独地明确说明参考文献REF2中描述的四叉树块结构和参考文献REF3中描述的四叉树加二叉树(QTBT)块结构在本公开内容的范围之外，否则这些块结构被包括在本公开内容的范围内。类似地，诸如“解析”、“语法”和“语义”的技术术语也被包括在本公开内容的范围内，而不管在以下详细描述中是否直接提及这些术语，并且满足关于可以在权利要求中使用的这些术语的支持要求。
·REF1：ITU-T H.264建议书(04/2017)“Advanced video coding for genericaudiovisual services”，2017年4月
·REF2：ITU-T H.265建议书(12/2016)“High efficiency video coding”，2016年12月
·REF3：J.Chen，E.Alshina，G.J.Sullivan，J.R.Ohm和J.Boyce，“AlgorithmDescription of Joint Exploration Test Model(JEM7)”，JVET-G1001，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索组(JVET)第七次会议：都灵，意大利，2017年7月13日至21日
在下文中将按照以下顺序进行描述。
1.概述
1-1.术语的定义
1-2.现有技术及其问题
1-3.根据本公开内容的技术原理
1-4.控制归零
1-5.控制基本量化矩阵的尺寸
2.第一实施方式
2-1.编码器的配置
2-2.语法和语义的示例
2-3.选择参考量化矩阵
2-4.重采样方法
2-5.编码时执行的量化相关处理的流程
2-6.解码器的配置
2-7.解码时执行的逆量化相关处理的流程
3.第二实施方式
3-1.编码器的配置
3-2.编码时执行的量化相关处理的流程
3-3.解码器的配置
3-4.解码时执行的逆量化相关处理的流程
4.硬件配置示例
5.总结
<1.概述>
[1-1.术语的定义]
在本说明书中使用的一些术语按如下定义。
·变换块是指在图像中设置的、并且被视为正交变换和逆正交变换中的处理单元的块。变换块的尺寸为M×N，其中，M表示水平方向上的分量的数目，以及N表示垂直方向上的分量的数目(M和N各自表示等于或大于2的整数)。当M＝N时，变换块为正方形，而当M≠N时，变换块为非正方形。
·变换系数是通过将空间域中的信号样本变换为频域中的信号样本而导出的每个频率分量的系数。例如，从空间域到频域的变换可以作为诸如离散余弦变换(DCT)和离散正弦变换(DST)的正交变换(或逆正交变换)来执行。通常，对二维M×N变换块的信号样本进行正交变换产生尺寸相同的二维阵列，即，M×N变换系数的二维阵列。通常，所产生的二维阵列的左上角的分量是直流(DC)分量，而位于距左上角较远的位置的分量与较高的频率对应。
·量化矩阵是表达量化步骤的矩阵，该量化步骤用于在频域中通过分别应用于不同分量的不同量化步骤对变换系数的二维阵列进行量化。量化矩阵的元素并不总是需要是量化步骤，而是可以是例如输入到用于得到量化步骤的公式的参数。
·缩放列表是指通过以特定扫描序列将量化矩阵的元素变换为一维元素而导出的值的列表。这意味着缩放列表是指示量化矩阵的一种信息。通常，为了通过编码流显式地(explicitly)用信号传送二维量化矩阵，二维量化矩阵被变换为缩放列表并且然后被编码。
[1-2.现有技术及其问题]
(1)HEVC中的量化矩阵的信号传送
在HEVC中，在图像中以四叉树模式设置作为编码处理中的处理单元的编码单元(CU)。针对其选择帧间预测作为预测类型的CU被直接划分以设置一个或更多个TU。另一方面，在针对其选择帧内预测的CU的情况下，组成CU的预测单元(PU)中的每一个被划分以设置一个或更多个TU。在HEVC中，这样的TU(变换单元)等同于变换块。TU的最小尺寸为4×4，并且最大尺寸为32×32。编码器和解码器使用这样的TU作为处理单元，分别执行正交变换/量化和逆正交变换/逆量化。在HEVC中，量化步骤在变换块中可以是统一的，或者可以取决于变换块中的位置(即，取决于变换系数的频率分量)而不同。例如，当编码流以相同的比特率运行时，比变换系数的低频分量的量化更粗略地量化变换系数的高频分量使得能够相对地抑制主观图像质量的劣化。
取决于变换块中的位置而不同的量化步骤由尺寸等于变换块的的尺寸的量化矩阵的元素来表达。在HEVC中，对于4×4、8×8和16×16的TU尺寸候选中的每一个，可以使用在预测类型(帧内预测(Intra)或帧间预测(Inter))和颜色分量(Y、Cb或Cr)的组合方面彼此不同的六种(＝2×3)类型的量化矩阵。对于32×32的TU尺寸，可以使用在预测类型(帧内预测或帧间预测)方面彼此不同的两种类型的量化矩阵。用尺寸标识(size ID)来标识量化矩阵的尺寸，并且用矩阵标识(matrix ID)来标识量化矩阵的预测类型和颜色分量的组合。在图1中示意性地示出能够在HEVC中使用的量化矩阵的类型。
此外，在HEVC中，现有的三种类型的量化矩阵按如下定义。
·不取决于预测类型和颜色分量而变化的尺寸为4×4的现有平坦量化矩阵
·不取决于颜色分量而变化的用于帧内预测的尺寸为8×8的现有非平坦量化矩阵
·不取决于颜色分量而变化的用于帧间预测的尺寸为8×8的现有非平坦量化矩阵
尺寸为16×16的现有量化矩阵是通过经由最近邻算法对尺寸为8×8的现有量化矩阵的元素进行上采样而生成的。尺寸为32×32的现有量化矩阵是通过经由相同的最近邻算法对尺寸为16×16的现有量化矩阵的元素进行上采样而生成的。在HEVC中，当期望使用与现有量化矩阵不同的量化矩阵时，可以显式地用信号传送由用户定义的特定量化矩阵。然而，应当注意，虽然可以通过扫描尺寸为4×4和8×8的量化矩阵的所有元素来整体地用信号传送这些量化矩阵，但是对尺寸为16×16和32×32的量化矩阵的信号传送通过对对尺寸为8×8的量化矩阵的信号传送和上采样来实现。注意，可以单独地用信号传送组成尺寸为16×16和32×32的特定量化矩阵的DC分量的元素值。
当显式地用信号传送量化矩阵时，如上所述的那样，二维量化矩阵的元素根据特定扫描序列被映射到作为元素的一维阵列的缩放列表。然后，缩放列表的每个元素被编码为从量化矩阵的每个元素创建的差分值(difference value)。在参考文献REF2的7.3.4节中描述了指示在HEVC中以上述方式创建的缩放列表的缩放列表数据的语法。
(2)FVC中的QTBT块结构
在FVC中，在图像中以QTBT模式设置CU，并且TU和CU被共同对待。更具体地，首先，在图像中以网格模式布置的编码树单元(CTU)中的每一个以四叉树模式被划分，并且在必要时形成各种尺寸的正方形四叉树叶。然后，在必要时，每个四叉树叶进一步沿水平边界和垂直边界中任一者以二叉树模式被划分。图2示出FVC中的QTBT块划分的示例。图2中示出的图像Im0包括四个CTU，每个CTU的尺寸为128×128。左上部的CTU包括由四次递归QT划分形成的13个CU。在13个CU中，最小CU的尺寸为8×8，并且最大CU的尺寸为64×64。左下部的CTU包括由四次递归BT划分形成的五个CU。右上部的CTU包括通过多次递归QT划分和BT划分形成的九个CU。右下部的CTU未被划分，并且因此包括一个CU。在图2的示例中，最小CU的尺寸为8×8。然而，还允许其一边的长度为2或4的正方形CU或非正方形CU。在FVC中，这些CU中的每一个CU也用作变换块。
(3)FVC中的高频分量的归零
如从以上描述所理解的，虽然HEVC中准许的变换块尺寸(即，TU尺寸)的上限为32×32，但是FVC中准许的变换块尺寸的上限为128×128，相对于32×32大幅增加。这样的大的变换块可以例如在高效地对被称为“4K”的高清视频图像进行编码的应用中使用。然而，应当注意，尽管使用变换块的大的数据尺寸，但是通过使用尺寸大于32×32的变换块执行正交变换而获得的变换系数的高频分量几乎对主观图像质量没有贡献。为此，在FVC中采用归零方法。根据该方法，在其一边的长度大于32的变换块中，使第32个高频分量以及在高频侧上跟随的其他高频分量为零(归零)。图3A和图3B示意性地示出在FVC中执行的这样的归零的一些示例。
图3A示出三个正方形变换块B01、B02和B03。变换块B01的尺寸为32×32，并且因此不将归零应用于变换块B01。变换块B02的尺寸为64×64。在该情况下，使除了变换块B02的左上部的32×32变换系数之外的变换块B02的变换系数为零。变换块B03的尺寸为128×128。在该情况下，使除了变换块B03的左上部的32×32变换系数之外的变换块B03的变换系数为零。除了尺寸为32×32的正方形变换块之外，图3B还示出各种尺寸的九个非正方形变换块。如从图3B所理解的，根据FVC，沿长度为64或更大的边，保持在低频侧的32个频率分量，而使剩余频率分量(属于高频侧)为零。
(4)对问题的描述
如上所述，在HEVC中，对尺寸为16×16和32×32的量化矩阵的信号传送通过对尺寸为8×8的量化矩阵的信号传送和上采样实现，以避免由对量化矩阵的信号传送引起的编码效率的下降。然而，由对量化矩阵的信号传送引起的编码效率的下降以及从特定量化矩阵生成不同量化矩阵(例如，通过上采样)对装置性能的影响具有彼此权衡的关系。在块尺寸和形状的组合显著变化的FVC的情况下，特别地，尝试从其他量化矩阵简单地生成与这些组合对应的量化矩阵导致量化矩阵生成所需的处理成本(例如，硬件资源的占用、处理延迟、增加的功耗等)显著增加。这可能导致诸如编码器和解码器的装置的性能劣化。
[1-3.根据本公开内容的技术原理]
为了解决或至少减轻上述现有技术出现的问题，根据本公开内容的技术提供了一种用于高效地生成或用信号传送量化矩阵的改进的系统。
(1)本技术在解码器侧的实现方式的示例。
图4是用于说明根据本公开内容的技术在解码器侧的基本实现方式的示例的说明图。图4示出与可以由解码器执行的逆量化有关的处理步骤S11至S16。
·步骤S11：对编码流进行解码，以解析影响逆量化和逆正交变换的一些控制数据，并且生成量化变换系数。控制参数包括例如定义块划分的块划分数据以及定义一种或更多种尺寸的量化矩阵的缩放列表(SL)数据。
·步骤S12：基于块划分数据，在图像中以QTBT模式设置多个变换块。块划分数据包括例如指示每个CTU的递归QT划分或BT划分的一组参数。在该步骤处设置的变换块可以具有各种形状和尺寸。
·步骤S13：对缩放列表数据进行解码，以生成表达一种或更多种尺寸的量化矩阵的缩放列表，并且将所生成的缩放列表变换为那些量化矩阵。对于每种尺寸，可以生成在预测类型和颜色分量的组合方面彼此不同的多种类型的量化矩阵。在本说明书中，以上述方式基于缩放列表数据生成的量化矩阵(即，显式地用信号传送的量化矩阵)被称为基本量化矩阵(基本QM)。在步骤S13处生成的基本量化矩阵被存储在QM存储器M11中。
·步骤S14：通过参考已经生成的其他量化矩阵之一来生成除了基本量化矩阵之外的一种或更多种尺寸的量化矩阵中的每一个。以该方式，通过参考不同尺寸的另一量化矩阵来另外生成量化矩阵。在本说明书中，这样的量化矩阵被称为附加量化矩阵(附加QM)。在生成附加量化矩阵时所参考的量化矩阵被称为参考量化矩阵(参考QM)。通常，可以通过对参考量化矩阵进行重采样来生成附加量化矩阵。当附加量化矩阵的一边的尺寸大于参考量化矩阵的对应边的尺寸时，在沿该边的方向上执行上采样。相比之下，当附加量化矩阵的一边的尺寸小于参考量化矩阵的对应边的尺寸时，在沿该边的方向上执行下采样。参考存储器M12存储在这样的上采样和下采样中参考的参考量化矩阵中的至少一些。
如上所述，在FVC中，强制使其一边的长度大于特定阈值的变换块的高频分量为零。当量化矩阵的尺寸等于应用了归零的这样的变换块的尺寸时，不需要计算与归零的变换系数对应的量化矩阵的元素。因此，将大量的存储器资源分配给这些元素的计算将浪费资源。考虑到该结论，根据本公开内容的技术引入了一种方法，通过该方法，当生成应用了归零的尺寸的附加量化矩阵时，不参考整个参考量化矩阵，而是仅参考参考量化矩阵的部分矩阵，该部分矩阵覆盖实质上对非零系数的量化有贡献的范围。这意味着跳过了计算位置与归零的系数的位置对应的元素的操作，并且参考存储器M12不需要保存在上述部分量化矩阵的范围之外的参考量化矩阵的元素。在步骤S14处生成的附加量化矩阵被存储在QM存储器M11中。
·步骤S15：对于在步骤S12处设置的多个变换块中的每一个，对量化变换系数进行逆量化以恢复变换系数。在该步骤S15处使用的量化矩阵是从存储在QM存储器M11中的多个量化矩阵中选择的量化矩阵，该量化矩阵在预测类型和颜色分量的组合方面与对象变换块对应，并且尺寸等于对象变换块的尺寸。应用了归零的变换块的一些变换系数的频率分量已经为零。因此，可以跳过这些频率分量的逆量化。
在实施方式中，上述步骤S14被包括在步骤S15中。在该实施方式中，每个变换块所需的量化矩阵可以在逆量化时按所谓的“即时”模式生成(如果尚未生成量化矩阵)。在另一实施方式中，可以在对多个变换块进行处理之前执行上述步骤S14，使得所有尺寸候选的量化矩阵被预先存储在QM存储器M11中。
·步骤S16：对于在步骤S12处设置的多个变换块中的每一个，对频域的变换系数进行逆正交变换，以恢复空间域的预测误差。可以通过另外的处理(未示出)将在该步骤处恢复的预测误差与预测图像合成，以重建图像。
(2)各种采样
在图4的步骤S14处执行的从参考量化矩阵生成附加量化矩阵的处理通常是在量化矩阵的水平方向上的元素的下采样或上采样与在量化矩阵的垂直方向上的元素的下采样或上采样的组合。上采样包括例如通过诸如最近邻算法、双线性插值和双三次插值的插值方法对矩阵元素进行插值。下采样包括例如稀疏矩阵元素。
图5是用于说明用于未应用归零的变换块的量化矩阵的生成的说明图。在图5的左上部，示出参考量化矩阵B10。在该示例中，为了更简单地描述，假定参考量化矩阵B10具有正方形形状并且尺寸为N1×N1。还假定不将高频分量的归零应用于尺寸为N1×N1的变换块。
在图5的下部示出的量化矩阵B11、B12、B13和B14是要生成的附加量化矩阵。附加量化矩阵B11在水平方向上的尺寸小于N1，并且附加量化矩阵B11在垂直方向上的尺寸也小于N1。附加量化矩阵B11与未应用高频分量的归零的变换块对应。因此，通过在水平方向和垂直方向两者上对整个参考量化矩阵B10进行下采样来生成附加量化矩阵B11。附加量化矩阵B12在水平方向上的尺寸小于N1，而附加量化矩阵B12在垂直方向上的尺寸大于N1。附加量化矩阵B12与未应用高频分量的归零的变换块对应。因此，通过在水平方向上对整个参考量化矩阵B10进行下采样并且在垂直方向上对整个参考量化矩阵B10进行上采样来生成附加量化矩阵B12。附加量化矩阵B13在水平方向上的尺寸大于N1，而附加量化矩阵B13在垂直方向上的尺寸小于N1。附加量化矩阵B13与未进行高频分量的归零的变换块对应。因此，通过在水平方向上对整个参考量化矩阵B10进行上采样并且在垂直方向上对整个参考量化矩阵B10进行下采样来生成附加量化矩阵B13。附加量化矩阵B14在水平方向上的尺寸大于N1，并且附加量化矩阵B14在垂直方向上的尺寸也大于N1。附加量化矩阵B14与未应用高频分量的归零的变换块对应。因此，通过在水平方向和垂直方向两者上对整个参考量化矩阵B10进行上采样来生成附加量化矩阵B14。在图5中，将水平方向上的重采样(下采样或上采样)和垂直方向上的重采样描绘为不同的操作。然而，这些重采样操作可以作为单个操作整体地执行。
图6A至图6C是用于说明用于应用了归零的变换块的量化矩阵的生成的说明图。如上所述，通过仅参考参考量化矩阵的部分矩阵来生成用于应用了归零的变换块的附加量化矩阵。以与图5的示例相同的方式，为了更简单地描述，在图6A至图6C中，假定选择尺寸为N1×N1的正方形量化矩阵B10作为参考量化矩阵。
在图6A的下部示出的量化矩阵B21和B22是要生成的附加量化矩阵。附加量化矩阵B21在水平方向上的尺寸大于NTH，并且附加量化矩阵B21在垂直方向上的尺寸小于N1，NTH表示未应用高频分量的归零的尺寸的上限。附加量化矩阵B21与应用了高频分量的归零的变换块对应。因此，通过在水平方向上对参考量化矩阵B10的部分矩阵进行上采样并且在垂直方向上对参考量化矩阵B10的部分矩阵进行下采样来生成附加量化矩阵B21。在水平方向上，部分矩阵的尺寸NPAR与参考量化矩阵B10的尺寸N1之比等于非零部分的尺寸NTH与附加量化矩阵B21的尺寸N2之比。附加量化矩阵B21在水平方向上的尺寸也大于NTH，并且附加量化矩阵B21在垂直方向上的尺寸大于N1但小于NTH，NTH表示未应用高频分量的归零的尺寸的上限。附加量化矩阵B22与应用了高频分量的归零的变换块对应。因此，通过在水平方向和垂直方向两者上对参考量化矩阵B10的部分矩阵进行上采样来生成附加量化矩阵B22。
在图6B的下部示出的量化矩阵B31和B32是要生成的附加量化矩阵。附加量化矩阵B31在水平方向上的尺寸小于N1，并且附加量化矩阵B31在垂直方向上的尺寸大于NTH，NTH表示未应用高频分量的归零的尺寸的上限。附加量化矩阵B31与应用了高频分量的归零的变换块对应。因此，通过在水平方向上对参考量化矩阵B10的部分矩阵进行下采样并且在垂直方向上对参考量化矩阵B10的部分矩阵进行上采样来生成附加量化矩阵B31。在垂直方向上，部分矩阵的尺寸NPAR与参考量化矩阵B10的尺寸N1之比等于非零部分的尺寸NTH与附加量化矩阵B31的尺寸N2之比。附加量化矩阵B32在水平方向上的尺寸大于N1但小于NTH，并且附加量化矩阵B32在垂直方向上的尺寸大于NTH，NTH表示未应用高频分量的归零的尺寸的上限。附加量化矩阵B32与应用了高频分量的归零的变换块对应。因此，通过在水平方向和垂直方向两者上对参考量化矩阵B10的部分矩阵进行上采样来生成附加量化矩阵B32。
在图6C的下部示出的量化矩阵B41是要生成的附加量化矩阵。附加量化矩阵B41在水平方向上的尺寸大于NTH，并且附加量化矩阵B41在垂直方向上的尺寸也大于NTH，NTH表示未应用高频分量的归零的尺寸的上限。附加量化矩阵B41与应用了高频分量的归零的变换块对应。因此，通过在水平方向和垂直方向两者上对参考量化矩阵B10的部分矩阵进行上采样来生成附加量化矩阵B41。在水平方向上，部分矩阵的尺寸NPAR_H与参考量化矩阵B10的尺寸N1之比等于非零部分的尺寸NTH与附加量化矩阵B41的尺寸N2_H之比。在垂直方向上，部分矩阵的尺寸NPAR_V与参考量化矩阵B10的尺寸N1之比等于非零部分的尺寸NTH与附加量化矩阵B41的尺寸N2_V之比。
如在图6A至图6C的示例中所示，当另外生成未显式地用信号传送的量化矩阵时，不是参考整个参考量化矩阵，而是仅参考其部分矩阵。该处理减少了用于对矩阵元素进行重采样的操作的成本，并且避免了存储器资源的浪费。
(3)本技术在编码器侧的实现方式的示例。
图7是用于说明根据本公开内容的技术在编码器侧的基本实现方式的示例的说明图。图7示出与可以由编码器执行的量化有关的处理步骤S21至S27。
·步骤S21：在图像中以QTBT模式设置多个变换块。例如，作为初步图像分析或对最佳块结构的搜索的结果，可以确定块结构。另外，生成表达在该步骤处设置的块结构的一组参数(例如，指示每个CTU的递归QT划分或BT划分的参数)作为块划分数据。
·步骤S22：设置由用户定义的一种或更多种尺寸的基本量化矩阵(即，与现有量化矩阵不同的量化矩阵)。对于每种尺寸，可以设置在预测类型和颜色分量的组合方面彼此不同的多种类型的量化矩阵。特定类型的量化矩阵可以与另一类型的量化矩阵相同。在步骤S22处设置的基本量化矩阵被存储在QM存储器M21中。
·步骤S23：通过参考基本量化矩阵之一来生成除了基本量化矩阵之外的一种或更多种尺寸的量化矩阵(附加量化矩阵)中的每一个。如上面参照图5至图6C所描述的，可以通过对参考量化矩阵进行重采样来生成附加量化矩阵。参考存储器M22存储在生成附加量化矩阵时所参考的参考量化矩阵中的至少一些。以与本技术在解码器侧的上述实现方式中的方式相同的方式，在本技术在编码器侧的实现方式中，当生成应用了归零的尺寸的附加量化矩阵时，不是参考整个参考量化矩阵，而是仅参考参考量化矩阵的部分矩阵，该部分矩阵覆盖实质上对非零系数的量化有贡献的范围。
·步骤S24：对于在步骤S21处设置的多个变换块中的每一个，对空间域的预测误差进行正交变换以生成频域的变换系数。
·步骤S25：对于在步骤S21处设置的多个变换块中的每一个，对变换系数进行量化以生成量化变换系数。在该步骤S25处使用的量化矩阵是从存储在QM存储器M21中的多个量化矩阵中选择的量化矩阵，该量化矩阵在预测类型和颜色分量的组合方面与对象变换块对应，并且尺寸等于对象变换块的尺寸。应用了归零的变换块的一些变换系数的频率分量已经为零。因此，可以跳过这些频率分量的量化。
在实施方式中，上述步骤S23被包括在步骤S25中。在该实施方式中，每个变换块所需的量化矩阵可以在量化时按所谓的“即时”模式生成(如果尚未生成量化矩阵)。在另一实施方式中，可以在对多个变换块进行处理之前执行上述步骤S23，使得所有尺寸候选的量化矩阵被预先存储在QM存储器M21中。
如将在后面描述的，编码器通常包括执行逆量化的本地解码器(local decoder)。尽管图7没有示出由本地解码器执行的逆量化，但是在该逆量化中也可以使用在步骤S25处使用的相同量化矩阵。
·步骤S26：将在步骤S22处设置的一种或更多种尺寸的基本量化矩阵变换为缩放列表，然后对缩放列表中的每一个进行编码以生成缩放列表数据。
·步骤S27：对包括块划分数据和缩放列表数据的控制参数以及量化变换系数进行编码，以生成编码流。
[1-4.控制归零]
在先前部分中，已经主要描述了将高频分量的归零应用于至少其一边的尺寸大于上限NTH的变换块的示例。根据参考文献REF3，作为上限的基于规范的静态定义，FVC中使用的该上限NTH等于32。在该情况下，不需要对指示对哪个变换块应用归零的控制参数进行编码。然而，为了实现对归零的更灵活的控制，例如，可以另外对以下控制参数进行编码。
·归零标记：当该标记为真时，将高频分量的归零应用于与该标记相关联的变换块。然而，当该标记为假时，不将高频分量的归零应用于与该标记相关联的变换块。
·归零尺寸信息：该信息指示应用高频分量的归零的变换块的尺寸。归零尺寸信息可以包括例如等同于未应用(或应用)归零的尺寸的上限和下限中至少一个的边界值(阈值)。归零尺寸信息还可以包括指示未应用(或应用)归零的尺寸的索引。归零尺寸信息可以与归零标记存在与否无关地被编码，或者仅当归零标记为真时被编码。
可以例如针对每个序列、图片、切片、图块、CTU、或变换块对用于控制归零的上述控制参数进行编码。以该方式，通过动态地确定归零的应用/非应用或者应用归零的尺寸，可以根据用户的需要或系统需求/约束而灵活地再现表达甚至微小的高频分量的图像。
[1-5.控制基本量化矩阵的尺寸]
如上所述，在HEVC中，尺寸为16×16和32×32的特定量化矩阵不是直接用信号传送的，而是各自通过对较小尺寸的量化矩阵进行上采样而生成的。具体地，HEVC具有预先定义的基于规范的规则，该规则规定直接用信号传送尺寸最大为8×8的量化矩阵。同时，已知基于人类的亮度敏感度特性的模型(例如，参见下面的参考文献REF4)，计算尺寸为M×N(M和N各自表示2的幂)的最高效的量化矩阵的元素产生的结果是，较小的量化矩阵的子集组成了较大的量化矩阵。因此，作为获得一组最佳的量化矩阵的方法，对较大的基本量化矩阵进行下采样以生成附加量化矩阵而不是对较小的基本量化矩阵进行上采样以生成附加量化矩阵也被认为是有利的。
·REF4：Long-Wen Chang，Ching-Yang Wang和Shiuh-Ming Lee，“Designing JPEGquantization tables based on human visual system”，国际图像处理会议，ICIP 99，1999年10月24日至28日
在后面要描述的一些实施方式中，对尺寸指定信息进行编码，该尺寸指定信息指示从缩放列表数据生成为基本量化矩阵的量化矩阵的尺寸。因此，尺寸指定信息指定基本量化矩阵的各种尺寸，从而使得能够灵活使用各种类型的量化矩阵。显然，根据本公开内容的技术还可以应用于与矩阵尺寸的大/小无关地、基于规范预先确定直接用信号传送的量化矩阵的尺寸的系统。
到目前为止已经描述的根据本公开内容的技术原理可以由对组成视频的一系列图像进行编码的图像处理装置(编码器)来实现，或者可以由对编码比特流进行解码以重建视频的图像处理装置(解码器)来实现。一个图像处理装置可以具有编码器和解码器两者的相应功能。图像处理装置可以是任何类型的装置，例如，图像捕获装置、视频记录器、再现装置、显示装置和信息处理器。在下文中将详细描述这样的图像处理装置的两个具体实施方式。
<2.第一实施方式>
[2-1.编码器的配置]
(1)整体配置
图8是示出根据第一实施方式的图像处理装置10a的配置的示例的框图，该图像处理装置10a具有编码器的功能。参照图8，显示出图像处理装置10a包括编码控制单元11、重排缓冲器12、减法单元13、正交变换单元14、量化单元15a、可逆编码单元16、累积缓冲器17、速率控制单元18、逆量化单元21、逆正交变换单元22、加法单元23、环内滤波器24、帧存储器25、开关26、帧内预测单元30、帧间预测单元35、模式设置单元40和QM存储单元115a。
编码控制单元11控制将在下面详细描述的图像处理装置10a的整体编码器功能。根据该实施方式，编码控制单元11包括块设置单元111和基本QM设置单元113。块设置单元111是执行已经在上面参照图7描述的块设置处理步骤S21的模块。基本QM设置单元113是执行已经在上面参照图7描述的基本QM设置处理步骤S22的模块。将在后面进一步描述这些模块。
重排缓冲器12根据给定的图片组(GOP)结构来对组成要编码的视频的一系列图像进行重排。重排缓冲器12将重排的图像输出到减法单元13、帧内预测单元30和帧间预测单元35。
减法单元13计算预测误差，该预测误差表示来自重排缓冲器12的传入图像(原始图像)与预测图像之间的差，并且减法单元13将计算出的预测误差输出到正交变换单元14。
正交变换单元14对要编码的图像中设置的一个或更多个变换块中的每一个执行正交变换。该正交变换可以例如作为离散余弦变换(DCT)或离散正弦变换(DST)执行。更具体地，正交变换单元14针对每个变换块对空间域的信号样本进行正交变换，以生成频域的变换系数，该信号样本表示来自减法单元13的传入预测误差。另外，在编码控制单元11的控制下，正交变换单元14将归零应用于特定尺寸的变换块的高频分量以使高频分量为零。例如，在其一边的长度大于32的变换块中，可以使第32个高频分量以及在高频侧跟随的其他高频分量为零。正交变换单元14将所生成的变换系数输出到量化单元15a。
量化单元15a被提供有来自正交变换单元14的传入变换系数以及来自将在后面进行描述的速率控制单元18的速率控制信号。对于要编码的图像中的一个或更多个变换块中的每一个，量化单元15a使用尺寸等于变换块的尺寸的量化矩阵来对变换系数进行量化，以生成量化变换系数(这在下文中也将被称为“量化数据”)。在编码控制单元11的控制下，量化单元15a跳过对变换系数中包括的为零的频率分量的量化。然后，量化单元15a将生成的量化数据输出到可逆编码单元16和逆量化单元21。另外，量化单元15a基于来自速率控制单元18的速率控制信号来切换量化步骤，从而改变量化数据的比特率。根据该实施方式，量化单元15a包括QM生成单元117a。QM生成单元117a是执行已经在上面参照图7描述的QM生成处理步骤S23的模块。QM生成单元117a包括图8中未示出的参考存储器M22。将在后面进一步描述该模块。
可逆编码单元16对来自量化单元15a的传入量化数据进行编码以生成编码流。可逆编码单元16还对解码器参考的各种控制参数进行编码，并且将编码参数插入编码流中。此时编码的控制参数包括例如以上提及的块划分数据和缩放列表(或缩放列表数据)。可逆编码单元16将所生成的编码流输出到累积缓冲器17。根据该实施方式，可逆编码单元16包括SL编码单元119。SL编码单元119是执行已经在上面参照图7描述的QM变换/SL数据生成处理步骤S26的模块。将在后面进一步描述该模块。
累积缓冲器17使用存储介质临时存储来自可逆编码单元16的传入编码流。然后，累积缓冲器17以与传送路径中的带宽对应的比特率，将累积的编码流输出到传送单元(未示出)，该传送单元是例如通信接口或连接到外围设备的接口。
速率控制单元18监测累积缓冲器17的空闲空间。速率控制单元18然后根据累积缓冲器17的空闲空间生成速率控制信号，并且将生成的速率控制信号输出到量化单元15a。例如，当发现累积缓冲器17的空闲空间小时，速率控制单元18生成用于降低量化数据的比特率的速率控制信号。当发现累积缓冲器17的空闲空间足够大时，速率控制单元18生成用于增加量化数据的比特率的速率控制信号。
逆量化单元21、逆正交变换单元22和加法单元23组成本地解码器。本地解码器起到对编码数据进行解码以重建图像的作用。
对于每个变换块，逆量化单元21使用与量化单元15a所使用的量化矩阵相同的量化矩阵对量化变换系数进行逆量化，以恢复变换系数。逆量化单元21跳过量化变换系数中包括的被强制归零的频率分量的逆量化。然后，逆量化单元21将恢复的变换系数输出到逆正交变换单元22。
对于每个变换块，逆正交变换单元22执行逆正交变换。更具体地，对于每个变换块，逆正交变换单元22对来自逆量化单元21的频域的变换系数进行逆正交变换，从而恢复呈空间域中的信号样本的形式的预测误差。然后，逆正交变换单元22将恢复的预测误差输出到加法单元23。
加法单元23将来自逆正交变换单元22的传入的恢复的预测误差与来自帧内预测单元30或帧间预测单元35的传入预测图像相加，以重建解码图像。然后，加法单元23将重建的解码图像输出到环内滤波器24和帧存储器25。
环内滤波器24由被应用于解码图像以提高图像质量的一系列滤波器构成。环内滤波器24可以包括例如在参考文献REF3中描述的双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器中的一种或更多种。环内滤波器24将已经通过一系列滤波器滤波的解码图像输出到帧存储器25。
帧存储器25存储来自加法单元23的传入的滤波之前的解码图像以及来自环内滤波器24的传入的滤波之后的解码图像。
开关26从帧存储器25读取用于帧内预测的滤波之前的解码图像，并且将所读取的解码图像作为参考图像提供给帧内预测单元30。开关26还从帧存储器25读取用于帧间预测的滤波之后的解码图像，并且将所读取的解码图像作为参考图像提供给帧间预测单元35。
帧内预测单元30基于原始图像和解码图像执行帧内预测处理。例如，帧内预测单元30针对搜索范围中包括的预测模式候选中的每一个，基于预测误差和生成的代码量来评估成本。然后，帧内预测单元30选择使成本最小的预测模式作为最佳预测模式。另外，帧内预测单元30根据所选择的最佳预测模式生成预测图像。然后，帧内预测单元30将预测图像和与其对应的成本连同包含预测模式信息的一些控制参数一起输出到模式设置单元40。
帧间预测单元35基于原始图像和解码图像来执行帧间预测处理(运动补偿)。例如，帧间预测单元35针对搜索范围中包括的预测模式候选中的每一个，基于预测误差和生成的代码量来评估成本。然后，帧间预测单元35选择使成本最小的预测模式作为最佳预测模式。另外，帧间预测单元35根据所选择的最佳预测模式生成预测图像。然后，帧间预测单元35将预测图像和与其对应的成本连同包含预测模式信息的一些控制参数一起输出到模式设置单元40。
基于来自帧内预测单元30的传入成本以及来自帧间预测单元35的传入成本之间的比较，模式设置单元40设置每个块的预测类型。对于预测类型被设置为帧内预测的块，模式设置单元40将由帧内预测单元30生成的预测图像输出到减法单元13和加法单元23。对于预测类型被设置为帧间预测的块，模式设置单元40将由帧间预测单元35生成的预测图像输出到减法单元13和加法单元23。另外，模式设置单元40将要编码的控制参数输出到可逆编码单元16。
(2)与量化矩阵生成有关的功能
在图8中示出的各种部件中，块设置单元111、基本QM设置单元113、QM存储单元115a、QM生成单元117a和SL编码单元119主要涉及由编码器执行的量化矩阵生成。
块设置单元111通过QTBT块划分将每个图像划分为多个变换块，从而在一系列图像的每一个中设置多个变换块。另外，块设置单元111生成定义所设置的变换块的块结构的块划分数据，并且将所生成的块划分数据输出到可逆编码单元16。由块设置单元111设置的变换块的尺寸可以在例如从2×2至128×128的范围内。变换块的形状可以是正方形或非正方形。图2中示出变换块的形状和尺寸的一些示例。
基本QM设置单元113设置一种或更多种尺寸的基本量化矩阵，作为由图像处理装置10a使用的量化矩阵。通常，基本量化矩阵具有值与由FVC规范定义的现有量化矩阵的元素的值不同的至少一个元素。例如，作为初步图像分析或参数调整的结果，可以确定基本量化矩阵的元素的值。对于每种尺寸，基本QM设置单元113可以设置在预测类型和颜色分量的组合方面彼此不同的多种类型的量化矩阵。特定类型的量化矩阵可以与另一类型的量化矩阵相同。在一个示例中，基本量化矩阵仅包括正方形量化矩阵。在另一示例中，基本量化矩阵包括正方形量化矩阵和非正方形量化矩阵两者。在将在后面描述的语法的示例中，量化矩阵的尺寸通过尺寸ID标识，并且量化矩阵的类型通过矩阵ID标识。
QM存储单元115a是存储具有各种尺寸的各种类型的量化矩阵的存储模块，该量化矩阵由图像处理装置10a使用。存储在QM存储单元115a中的量化矩阵包括由基本QM设置单元113设置的基本量化矩阵以及由将在后面描述的QM生成单元117a另外生成的附加量化矩阵。根据该实施方式，在跨多个变换块执行正交变换和量化之前设置基本量化矩阵，并且通过正交变换和量化的这些处理将基本量化矩阵存储在QM存储单元115a中。另一方面，当对每个变换块的变换系数进行量化时，根据需要生成附加量化矩阵并将其存储在QM存储单元115a中。QM存储单元115a可以管理矩阵管理信息，该矩阵管理信息是指示已经存在的量化矩阵的尺寸的内部控制信息。矩阵管理信息由例如一组标记构成，该组标记指示是否存在(即，例如，已经生成)通过分别与水平尺寸和垂直尺寸对应的两个尺寸ID标识的量化矩阵。
当量化单元15a对每个变换块的变换系数进行量化时，QM生成单元117a通过参考由QM存储单元115a提供的上述矩阵管理信息，来确定是否已经生成了尺寸等于变换块的尺寸的量化矩阵。当已经生成了尺寸等于变换块的尺寸的量化矩阵时，QM生成单元117a从QM存储单元115a读取已经生成的量化矩阵。另一方面，当尚未生成尺寸等于变换块的尺寸的量化矩阵时，QM生成单元117a选择已经生成的基本量化矩阵之一作为参考量化矩阵，并且对选择的参考量化矩阵进行重采样，以生成附加量化矩阵。QM生成单元117a包括存储器，其中，要重采样的参考量化矩阵或其部分矩阵被临时存储在该存储器中。
例如，在不将高频分量的归零应用于对象尺寸的变换块的情况下，QM生成单元117a通过参考整个参考量化矩阵来生成用于变换块的量化矩阵。另一方面，在将高频分量的归零应用于另一对象尺寸的变换块的情况下，QM生成单元117a通过仅参考参考量化矩阵的部分矩阵来生成用于变换块的量化矩阵。在后一情况下，所参考的部分矩阵(即，临时存储在QM生成单元117a的存储器中的部分矩阵)的尺寸与参考量化矩阵的尺寸之比等于非零部分的尺寸与所生成的附加量化矩阵的尺寸之比。以该方式，量化单元15a使用在节省资源的情况下生成的各种量化矩阵之一来对每个变换块的变换系数进行量化。
在示例中，QM生成单元117a可以根据基于规范的规则来确定是否将归零应用于变换块，该基于规范的规则预先定义要应用归零的变换块的尺寸。在另一示例中，QM生成单元117a可以根据编码控制单元11的控制来确定将归零应用于某个变换块而不应用于另一变换块。在后一示例中，可以将上述归零标记和归零尺寸信息中的一者或两者编码为控制参数并且插入编码流，其中归零标记指示是否将归零应用于变换块，以及归零尺寸信息指示要应用归零的变换块的尺寸。
SL编码单元119对表达由基本QM设置单元113设置的上述基本量化矩阵的缩放列表进行编码，以生成缩放列表数据。缩放列表数据被插入由可逆编码单元16生成的编码流。
在示例中，SL编码单元119将尺寸指定信息包括在缩放列表数据中，该尺寸指定信息指示经由缩放列表数据作为基本量化矩阵显式地用信号传送的量化矩阵的尺寸。当经由缩放列表数据用信号传送的量化矩阵的尺寸的数目变化时，SL编码单元119还可以将尺寸计数信息包括在缩放列表数据中，该尺寸计数信息指示要用信号传送的尺寸的数目。在该情况下，可以施加比特流约束，以规定当用信号传送两种或更多种尺寸时，这些尺寸应当彼此不同(即，应当通过不同的尺寸ID进行标识)。这样的比特流约束防止编码器对尺寸指定信息进行冗余编码，从而减少了编码量开销以避免资源浪费。
在另一示例中，经由缩放列表数据显式地用信号传送的基本量化矩阵的尺寸被预先定义为基于规范的规则。在该情况下，SL编码单元119不将上述尺寸指定信息和尺寸计数信息包括在在缩放列表数据中。
[2-2.语法和语义的示例]
以下表1示出参考文献REF2中描述的HEVC缩放列表数据的语法。
表1：HEVC中的缩放列表数据的语法(摘自REF2，第7.3.4节)
HEVC缩放列表数据包括用于四种尺寸和六种类型的组合中的每一个的以下控制参数中的一个或更多个，四种尺寸通过尺寸ID(“sizeId”)标识，六种类型通过矩阵ID(“matrixId”)标识。
·scaling_list_pred_mode_flag[sizeId][matrixId]
·scaling_list_pred_matrix_id_delta[sizeId][matrixId]
·scaling_list_dc_coef_minus8[sizeId-2][matrixId]
·scaling_list_delta_coef
“scaling_list_pred_mode_flag[sizeId][matrixId]”是用于切换用于缩放列表的编码方法的控制标记。通过参考由“scaling_list_pred_matrix_id_delta[sizeId][matrixId]”指定的另一类型的量化矩阵，简单地对针对其该控制标记被设置为假的类型的量化矩阵进行编码。另一方面，使用“scaling_list_dc_coef_minus8[sizeId-2][matrixId]”和多个“scaling_list_delta_coef”，对针对其上述控制标记被设置为真的量化矩阵进行差分编码。“scaling_list_delta_coef”的数目由中间变量“coefNum”指示。
以下表2示出可以在该实施方式中修改的缩放列表数据的语法的示例。表2的示例包括指示作为基本量化矩阵生成的量化矩阵的尺寸的尺寸指定信息，该尺寸指定信息已经在[1-5.控制基本量化矩阵的尺寸]中进行了描述。
表2：缩放列表数据的修改语法的示例
具体地，表2的第二行上的参数“size_id_minusX”表示尺寸指定信息。通过从实际尺寸ID减去预设的偏移值X来给出参数“size_id_minusX”的值。
以下表3示出可以从HEVC中的尺寸ID定义进行修改的尺寸ID定义的示例。
表3：修改的尺寸ID定义的示例
正方形量化矩阵的尺寸 尺寸ID
2×2 0
4×4 1
8×8 2
16×16 3
32×32 4
64×64 5
128×128 6
在表3的示例中，用作尺寸ID的索引0至6以其中最小索引在顶部的降序被分别分配给正方形量化矩阵的一边的尺寸的候选值(2至128)。在该示例中，通过下式给出一边的尺寸的候选值N与尺寸ID的值“sizeId”之间的关系。
N＝1<<(sizeId+1)
然而，应当注意，尺寸候选值与尺寸ID之间的关系不限于由上式限定的关系。
非正方形量化矩阵的尺寸可以通过指定水平方向上的尺寸ID以及还有垂直方向上的尺寸ID来确定。在表2的语法的示例中，尺寸指定信息包括仅一个参数“size_id_minusX”。这意味着仅正方形量化矩阵作为基本量化矩阵被显式地用信号传送。这也意味着未用信号传送通过小于偏移值X的尺寸ID标识的尺寸的量化矩阵。不限于以上示例，尺寸指定信息可以包括两个参数，这两个参数分别指示用于标识非正方形基本量化矩阵的两个尺寸ID。此外，可以省去偏移值的减法，在该情况下，直接对不减去偏移值的尺寸ID进行编码。
以下表4示出可以从HEVC中的矩阵ID定义进行修改的矩阵ID定义的示例。
表4：修改的矩阵ID定义的示例
预测类型 分量ID(颜色分量) 矩阵ID
帧内 0(Y) 0
帧内 1(Cb) 1
帧内 2(Cr) 2
帧间 0(Y) 3
帧间 1(Cb) 4
帧间 2(Cr) 5
根据已经参照图1描述的HEVC中的定义，在尺寸ID＝3(32×32)的情况下，矩阵ID的定义成为例外定义。然而，在表4的示例中，矩阵ID的定义仍然是通用定义，而不管尺寸ID的值如何。该事实引起表1的语法的第三行的矩阵ID循环与表2的语法的第四行的矩阵ID循环之间的差异。要进行差分编码的元素值的最大数目、由中间变量“coefNum”指示的最大数目在表1的语法和表2的语法两者中均为64。然而，为了使得能够进行更灵活的量化矩阵设计，可以改变或变化地设置该最大数目。
[2-3.选择参考量化矩阵]
可以根据任何给定规则来确定在生成附加量化矩阵时应当参考哪个量化矩阵。在简单的示例中，可以从可用的正方形量化矩阵中选择最大尺寸的量化矩阵作为参考量化矩阵。在该示例中，将要显式地用信号传送的最大尺寸的量化矩阵的尺寸ID定义为“maxSignaledSizeId”，并且通过矩阵管理信息“QMAvailFlag[sizeId][matrixId]”指示是否存在通过尺寸ID和矩阵ID的特定组合标识的量化矩阵(在该情况下，当“QMAvailFlag[sizeId][matrixId]”为真时，存在通过该组合标识的量化矩阵，而当“QMAvailFlag[sizeId][matrixId]”为假时，不存在通过该组合标识的量化矩阵)。因此，可以通过以下伪代码来确定指示参考量化矩阵的尺寸的参考尺寸ID“refSizeId”。
表5：用于确定参考量化矩阵的尺寸的伪代码的示例
在另一示例中，可以从可用的量化矩阵中选择具有与要生成的附加量化矩阵的尺寸相差最小的尺寸的量化矩阵作为参考量化矩阵。此外，可以另外地对指示应当参考的量化矩阵的参考量化矩阵信息进行编码。
[2-4.重采样方法]
然后将描述用于另外生成量化矩阵的重采样的具体方法的示例。在该示例中，为了更简单地描述，假定在对象变换块的至少一边的尺寸大于上限NTH的条件下，将高频分量的归零应用于对象变换块。下面将描述的内容也可以应用于通过对本领域技术人员而言会是明显的略微修改而使用于应用归零的条件不同的情况。
首先，假定选择第一尺寸的第一量化矩阵作为用于生成第二尺寸的第二量化矩阵的参考量化矩阵的情况。在该假定的情况下，第一尺寸是W1×H1，而第二尺寸是W2×H2。使用以下两个式子之一，可以设置标记“zoFlag”，该标记指示是否将高频分量的归零应用于第二尺寸的变换块。
zoFlag＝max(W2,H2)＞NTH
zoFlag＝W2＞NTH||H2＞NTH
根据这些式子，在将高频分量的归零应用于第二尺寸(W2×H2)的变换块的情况下，将标记“zoFlag”设置为1，而在不将归零应用于第二尺寸(W2×H2)的变换块的情况下，将标记“zoFlag”设置为0。
当第二量化矩阵的通过重采样实际生成的元素的范围被限定为使得在水平方向上的范围是RWIDTH2并且在垂直方向上的范围是RHEIGHT2时，这些范围由下式给出。
WR2＝min(W2，NTH)
HR2＝min(H2,NTH)
RWIDTH2＝[O，WR2-1]
RHEIGHT2＝[O，HR2-1]
在这些式子中，WR2和HR2分别表示水平方向上的范围内包括的元素的数目以及垂直方向上的范围内包括的元素的数目。水平方向上的非零部分(未应用归零的部分)的尺寸与第二尺寸(W2×H2)之比rWIDTH2以及垂直方向上的非零部分(未应用归零的部分)的尺寸与第二尺寸(W2×H2)之比rHEIGHT2可以由下式给出。
rWIDTH2＝WR2/W2
rHEIGHT2＝HR2/H2
使用这些比rWIDTH2和rHEIGHT2，在生成第二量化矩阵的非零部分时参考的第一量化矩阵的一部分的水平方向的范围RWIDTH1和以及在生成第二量化矩阵的非零部分时参考的第一量化矩阵的一部分的垂直方向的范围RHEIGHT1可以如下导出。
WR1＝W1·rWIDTH2
HR1＝H1·rHEIGHT2
RWIDTH1＝[O，WR1-1]
RHEIGHT1＝[O，HR1-1]
在这些式子中，WR1和HR1分别表示水平方向上的范围内包括的元素的数目以及垂直方向上的范围内包括的元素的数目。
如从以上描述所理解的，在将归零应用于对象变换块的情况下，可以通过仅参考第一尺寸W1×H1的第一量化矩阵的部分矩阵来生成用于量化对象变换块的变换系数(或对对象变换块的量化变换系数进行逆量化)的第二量化矩阵。另一方面，在不将归零应用于对象变换块的情况下，结果是WR2＝W2以及HR2＝H2，得到rWIDTH2＝rHEIGHT2＝1，从而给出WR1＝W1以及HR1＝H1。在该情况下，为了生成第二量化矩阵，参考整个第一量化矩阵。因此，在将高频分量的归零应用于对象变换块的情况下，QM生成单元117a从QM存储单元115a中仅读出参考量化矩阵的全部元素中的包括在参考范围RWITTH1和RHEIGHHT1中的元素以进行重采样，并且缓冲所读取的元素。在不将归零应用于对象变换块的情况下，QM生成单元117a从QM存储单元115a读出参考量化矩阵的全部元素，并且缓冲所读取的元素。
当将第一尺寸与第二尺寸在水平方向上的比表示为sWIDTH，而将第一尺寸与第二尺寸在垂直方向上的比表示为sHEIGHT时，如下给出尺寸比sWIDTH和sHEIGHT。
sWIDTH＝W1/W2
sHEIGHT＝H1/H2
例如，可以使用尺寸比sWIDTH和sHEIGHT通过以下示出的式子来表达通过最近邻算法对第一量化矩阵QREF进行上采样以导出第二量化矩阵QADD的元素QADD[j][i]的处理。注意，j和i是分别表示行和列的索引。假定在执行重采样之前将第二量化矩阵的全部元素重置为0。
j′＝Floor(j·sWIDTH)
i′＝Floor(i·sHEIGHT)
QADD[j][i]＝QREF[j′][i′](对于i∈RWIDTH2，j∈RHEIGHT2)
在这些式子中，Floor(x)表示返回等于或小于参数x的最大整数的函数。
可以由以下示出的式子表达对第一量化矩阵QREF进行下采样以导出第二量化矩阵QADD的元素QADD[j][i]的处理。假定在执行重采样之前将第二量化矩阵的全部元素重置为0。
QADD[j][i]＝QREF[j·sWIDTH][i·sHEIGHT](对于i∈RWIDTH2,j∈RHEIGHT2)
本节中描述的重采样方法仅是示例。例如，也可以在矩阵的一个方向上执行上采样，而在矩阵的另一方向上执行下采样。显然，也可以在矩阵的一个方向上不执行重采样。此外，在上采样中，可以采用诸如双线性插值和双三次插值的其他插值方法来代替以上提及的最近邻算法。
[2-5.编码时执行的量化相关处理的流程]
(1)整体流程
图9是示出由图8的图像处理装置10a执行的量化相关处理的流程的示例的流程图。在该流程图中，出于更简单的描述的目的，未描述在编码处理中包括的各种处理步骤中的与量化无关的处理步骤。
首先，基本QM设置单元113设置包括第一尺寸的第一量化矩阵的一个或更多个基本量化矩阵(步骤S111)。这些基本量化矩阵被存储在QM存储单元115a中。
针对由块设置单元111通过QTBT块划分在图像中设置的多个变换块中的每一个，重复接着的一系列处理步骤S113至S116(步骤S112)。针对其重复这些处理步骤的每个变换块被称为对象变换块。
QM生成单元117a首先例如通过参考由QM存储单元115a提供的矩阵管理信息来确定是否存在与对象变换块的块尺寸对应的尺寸的量化矩阵(步骤S113)。当不存在这样的量化矩阵时，QM生成单元117a执行将在后面描述的量化矩阵生成处理，以从参考量化矩阵生成附加量化矩阵(步骤S114)。在该步骤处生成的附加量化矩阵被存储在QM存储单元115a中。当已经存在预期的量化矩阵时，QM生成单元117a从QM存储单元115a读出与对象变换块的块尺寸对应的尺寸的量化矩阵(步骤S115)。随后，量化单元15a使用另外生成的量化矩阵或从QM存储单元115a读出的量化矩阵对对象变换块的变换系数进行量化(步骤S116)。
SL编码单元119将在步骤S111处设置的一个或更多个基本量化矩阵中的每一个变成一维码，从而将基本量化矩阵中的每一个变换为缩放列表(步骤S117)。SL编码单元119然后执行将在后面描述的缩放列表编码处理，以生成缩放列表数据(步骤S118)。
由可逆编码单元16对每个变换块的在步骤S116处生成的量化变换系数进行编码，使得编码的量化变换系数连同缩放列表数据一起成为编码流的一部分。未在图9中示出该处理。缩放列表数据可以按诸如序列、图片、切片和图块的任何种类的更新单元来更新。
(2)量化矩阵生成处理
图10是示出可以在图9的步骤S114处执行的量化矩阵生成处理的流程的示例的流程图。
首先，QM生成单元117a选择在生成用于对象变换块的量化矩阵时应当参考的参考量化矩阵(步骤S121)。在一个示例中，可以根据预先定义的基于规范的规则(例如，从可用的量化矩阵中选择最大尺寸或最接近对象变换块的尺寸的尺寸的量化矩阵的规则)来选择参考量化矩阵。在另一示例中，可以动态地选择参考量化矩阵。
随后，QM生成单元117a确定是否将高频分量的归零应用于对象变换块(步骤S122)。在一个示例中，QM生成单元117a可以根据预先定义的基于规范的规则(例如，根据对象变换块的至少一边的长度是否大于特定阈值来进行确定的规则)来确定是否将高频分量的归零应用于对象变换块。在另一示例中，可以动态地改变关于是否将高频分量的归零应用于对象变换块的确定。
在未将归零应用于对象变换块的情况下，QM生成单元117a从QM存储单元115a读取在步骤S121处选择的整个参考量化矩阵，并且通过将所读取的参考量化矩阵存储在内部存储器中来对其进行缓冲(步骤S123)。然后，QM生成单元117a对所读取的参考量化矩阵进行重采样，以生成附加量化矩阵(步骤S124)。
另一方面，在将归零应用于对象变换块的情况下，QM生成单元117a计算非零部分的尺寸与对象变换块的尺寸之比(例如，上述比rWIDTH2和rHEIGHT2)(步骤S125)。随后，根据所计算的比，QM生成单元117a从QM存储单元115a读出所选择的参考量化矩阵的部分矩阵，并且通过将所读取的部分矩阵存储在内部存储器中来对其进行缓冲(步骤S126)。QM生成单元117a然后对所读取的部分矩阵进行重采样以生成附加量化矩阵的非零部分(步骤S127)。
QM生成单元117a然后将所生成的附加量化矩阵存储在QM存储单元115a中(步骤S128)。
(3)缩放列表编码处理
图11是示出可以在图9的步骤S118处执行的缩放列表编码处理的流程的示例的流程图。
首先，SL编码单元119对用于标识基本量化矩阵的尺寸的尺寸ID进行编码以生成尺寸指定信息(步骤S131)。当基本量化矩阵始终为正方形矩阵时，针对一种尺寸编码一个尺寸ID，如表3所示。然而，当基本量化矩阵包括非正方形矩阵时，可以针对一种尺寸编码与两个方向对应的两个尺寸ID。可以通过从尺寸ID减去预设的偏移值来生成尺寸指定信息。
针对预测类型和颜色分量的组合中的每一个、即通过矩阵ID标识的量化矩阵类型中的每一个，重复接着的一系列处理步骤S133至S136(步骤S132)。针对其重复处理步骤的矩阵ID被称为对象矩阵ID。
SL编码单元119确定是否显式地对与对象矩阵ID相关联的缩放列表的一系列元素值进行编码(步骤S133)。换言之，SL编码单元119确定针对缩放列表的编码方法。例如，如果与对象矩阵ID相关联的缩放列表和与不同矩阵ID(对于具有相同尺寸ID的矩阵)相关联的缩放列表相同，则SL编码单元119可以选择仅对参考缩放信息进行编码而不是对元素值进行编码的更简单的方法。
当选择这样的更简单的编码方法时，SL编码单元119确定参考缩放列表(步骤S134)，并且对指示所确定的参考缩放列表的参考缩放列表信息进行编码(步骤S135)。
另一方面，当选择对一系列元素值进行编码的方法时，SL编码单元119通过例如差分脉冲编码调制(DPCM)对在图9的步骤S117处得到的缩放列表的一系列元素值进行编码，以生成缩放列表数据(步骤S136)。
图11中示出的流程图描绘了其中基本量化矩阵的尺寸ID被显式地编码的示例。在另一示例中，可以省去对基本量化矩阵的尺寸的编码。在又一示例中，要用信号传送的尺寸的数目也可以被编码为尺寸计数信息。
[2-6.解码器的配置]
(1)整体配置
图12是示出根据第一实施方式的图像处理装置60a的配置的示例的框图，该图像处理装置60a具有解码器的功能。参照图12，显示出图像处理装置60a包括解码控制单元61、可逆解码单元62、逆量化单元63a、逆正交变换单元64、加法单元65、环内滤波器66、重排缓冲器67、帧存储器68、选择器70和71、帧内预测单元80、帧间预测单元85和QM存储单元165a。
解码控制单元61控制将在下面详细描述的图像处理装置60a的整体解码器功能。根据本实施方式，解码控制单元61包括块设置单元161。块设置单元161是执行已经在上面参照图4描述的块设置处理步骤S12的模块。将在后面进一步描述该模块。
可逆解码单元62解析来自例如通信接口和连接到外围设备的接口的传送单元(未示出)的传入编码流中包括的控制参数。由可逆解码单元62解析的控制参数包括例如以上提及的块划分数据和缩放列表数据。块划分数据被输出到解码控制单元61。根据该实施方式，可逆解码单元62包括SL解码单元163。SL解码单元163是执行已经在上面参照图4描述的缩放列表解码处理步骤S13的模块。将在后面进一步描述该模块。可逆解码单元62对编码流进行解码以生成关于一个或更多个变换块中的每一个的量化数据。可逆解码单元62将所生成的量化数据输出到逆量化单元63a。
对于在图像中设置的一个或更多个变换块中的每一个，逆量化单元63a对传入的量化数据、即、来自可逆解码单元62的量化变换系数进行逆量化，以恢复变换系数。逆量化单元63a从QM存储单元165a中存储的多个量化矩阵中选出尺寸等于变换块的尺寸的量化矩阵，并且使用所选择的量化矩阵对变换块的量化变换系数进行逆量化。在解码控制单元61的控制下，逆量化单元63a跳过对被强制归零的频率分量的逆量化。然后，逆量化单元63a将恢复的变换系数输出到逆正交变换单元64。根据该实施方式，逆量化单元63a包括QM生成单元167a。QM生成单元167a是执行已经在上面参照图4描述的QM生成处理步骤S14的模块。将在后面进一步描述该模块。
对于一个或更多个变换块中的每一个，逆正交变换单元64执行逆正交变换。该逆正交变换可以例如作为逆离散余弦变换或逆离散正弦变换来执行。更具体地，对于每个变换块，逆正交变换单元64对来自逆量化单元63a的频域的变换系数进行逆正交变换，从而生成表示空间域的信号样本的预测误差。然后，逆正交变换单元64将生成的预测误差输出到加法单元65。
加法单元65将来自逆正交变换单元64的传入预测误差与来自选择器71的传入预测图像相加，以生成解码图像。然后，加法单元65将生成的解码图像输出到环内滤波器66和帧存储器68。
环内滤波器66由应用于解码图像以提高图像质量的一系列滤波器构成。环内滤波器66可以包括例如在参考文献REF3中描述的双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器中的一种或更多种。环内滤波器66将已经通过一系列滤波器进行滤波的解码图像输出到重排缓冲器67和帧存储器68。
重排缓冲器67对来自环内滤波器66的传入图像进行重排，以生成组成视频的基于时间的图像序列。然后，重排缓冲器67将所生成的图像序列输出到外部设备(例如，连接到图像处理装置60a的显示器)。
帧存储器68存储来自加法单元65的传入的滤波之前的解码图像以及来自环内滤波器66的传入的滤波之后的解码图像。
取决于每个块的预测类型，选择器70在帧内预测单元80与帧间预测单元85之间切换来自帧存储器68的图像被发送到的目的地。例如，当将帧内预测指定为预测类型时，选择器70将从帧存储器68提供的滤波之前的解码图像作为参考图像输出到帧内预测单元80。当将帧间预测指定为预测类型时，选择器70将滤波之后的解码图像作为参考图像输出到帧间预测单元85。
取决于每个块的预测类型，选择器71在帧内预测单元80与帧间预测单元85之间切换要提供给加法单元65的预测图像所来自的单元。例如，当将帧内预测指定为预测类型时，选择器71将来自帧内预测单元80的预测图像提供给加法单元65。当将帧间预测指定为预测类型时，选择器71将来自帧间预测单元85的预测图像提供给加法单元65。
帧内预测单元80基于通过解析编码流而获得的关于帧内预测的信息以及来自帧存储器68的参考图像来执行帧内预测，以生成预测图像。然后，帧内预测单元80将所生成的预测图像输出到选择器71。
帧间预测单元85基于通过解析编码流而获得的关于帧间预测的信息以及来自帧存储器68的参考图像来执行帧间预测，以生成预测图像。然后，帧间预测单元85将所生成的预测图像输出到选择器71。
(2)与量化矩阵生成有关的功能
在图12中示出的各种部件中，块设置单元161、SL解码单元163、QM存储单元165a和QM生成单元167a主要涉及由解码器执行的量化矩阵生成。
块设置单元161通过根据块划分数据执行的QTBT块划分在每个图像中设置多个变换块。由块设置单元161设置的变换块的尺寸可以在例如从2×2至128×128的范围内。变换块的形状可以是正方形或非正方形。图2中示出变换块的形状和尺寸的一些示例。
SL解码单元163对缩放列表数据进行解码，以生成一种或更多种尺寸的基本量化矩阵。在示例中，SL解码单元163对指示从缩放列表数据生成的量化矩阵的尺寸的尺寸指定信息进行解码。在该示例中，通过参考尺寸指定信息，SL解码单元163识别经由缩放列表数据作为基本量化矩阵被显式地用信号传送的量化矩阵的尺寸。SL解码单元163还可以对指示要用信号传送的尺寸的数目的尺寸计数信息进行解码。在该情况下，可以施加比特流约束，以规定当用信号传送两种或更多种尺寸时，这些尺寸应当彼此不同(即，应当通过不同的尺寸ID进行标识)。这样的比特流约束防止编码器对尺寸指定信息进行冗余编码，从而减少了编码量开销以避免资源浪费。在另一示例中，经由缩放列表数据显式地用信号传送的基本量化矩阵的尺寸被预先定义为基于规范的规则。在该情况下，缩放列表数据不包括上述尺寸指定信息和尺寸计数信息，并且SL解码单元163对关于预先定义的一种或更多种尺寸中的每一种的缩放列表数据进行解码，以生成一种或更多种尺寸的量化矩阵。
SL解码单元163将基于缩放列表数据生成的基本量化矩阵存储在QM存储单元165a中。如上所述，对于每种尺寸，可以存在在预测类型和颜色分量的组合方面彼此不同的多种类型的基本量化矩阵。可以通过对一系列差分编码的元素值进行解码或者通过参考不同类型的基本量化矩阵来生成基本量化矩阵。在一个示例中，基本量化矩阵仅包括正方形量化矩阵。在另一示例中，基本量化矩阵包括正方形量化矩阵和非正方形量化矩阵两者。缩放列表数据的语法的示例已经在上面的[2-2.语法和语义的示例]中进行描述。
QM存储单元165a是存储具有各种尺寸的各种类型的量化矩阵的存储模块，该量化矩阵由图像处理装置60a使用。存储在QM存储单元165a中的量化矩阵包括由SL解码单元163生成的基本量化矩阵以及由将在后面描述的QM生成单元167a另外生成的附加量化矩阵。根据该实施方式，在跨多个变换块执行逆量化和逆正交变换之前生成基本量化矩阵，并且通过逆正交变换和逆量化的这些处理将基本量化矩阵存储在QM存储单元165a中。另一方面，当对每个变换块的量化变换系数进行逆量化时，根据需要生成附加量化矩阵，并将附加量化矩阵存储在QM存储单元165a中。与编码器侧的QM存储单元115a类似，QM存储单元165a可以管理指示已经存在的量化矩阵的尺寸的矩阵管理信息。矩阵管理信息由例如一组标记构成，这些标记指示是否存在通过分别与水平尺寸和垂直尺寸对应的两个尺寸ID标识的量化矩阵。
当逆量化单元63a对每个变换块的量化变换系数进行逆量化时，QM生成单元167a通过参考由QM存储单元165a提供的矩阵管理信息，来确定是否已经基于缩放列表数据生成尺寸等于变换块的尺寸的量化矩阵。当已经生成在尺寸等于变换块的尺寸的量化矩阵时，QM生成单元167a从QM存储单元165a读出已经生成的量化矩阵。当尚未生成尺寸等于变换块的尺寸的量化矩阵时，QM生成单元167a对已经生成的基本量化矩阵之一或其部分矩阵进行重采样，以生成附加量化矩阵。QM生成单元167a包括临时存储要被重采样的参考量化矩阵或其部分矩阵的存储器。
例如，在不将高频分量的归零应用于对象尺寸的变换块的情况下，QM生成单元167a通过参考整个参考量化矩阵来生成用于变换块的量化矩阵。另一方面，在将高频分量的归零应用于另一对象尺寸的变换块的情况下，QM生成单元167a通过仅参考参考量化矩阵的部分矩阵来生成用于变换块的量化矩阵。如上所述，所参考的部分矩阵的尺寸与参考量化矩阵的尺寸之比等于非零部分的尺寸与所生成的附加量化矩阵的尺寸之比。用于计算这些比的式子的示例已经在上面的[2-4.重采样方法]中进行描述。以该方式，逆量化单元63a使用在节省资源的情况下生成的各种量化矩阵之一来对每个变换块的量化变换系数进行逆量化。
在示例中，QM生成单元167a可以根据基于规范的规则来确定是否将归零应用于变换块，该基于规范的规则预先定义要应用归零的变换块的尺寸。在另一示例中，QM生成单元167a可以基于可以通过解析编码流另外获得的一个或更多个控制参数(例如，指示是否将归零应用于变换块的归零标记，以及指示要应用归零的变换块的尺寸的归零尺寸信息)来确定是否将归零应用于变换块。这些控制参数的示例已经在上面的[1-4.归零控制]中进行描述。
[2.7解码时执行的逆量化相关处理的流程]
(1)整体流程
图13是示出由图12的图像处理装置60a执行的逆量化相关处理的流程的示例的流程图。在该流程图中，出于更简单的描述的目的，未描述在解码处理中包括的各种处理步骤之中的与逆量化无关的处理步骤。
首先，SL解码单元163执行将在后面描述的缩放列表数据解码处理，以生成表达一种或更多种尺寸的基本量化矩阵的缩放列表(步骤S161)。随后，SL解码单元163通过特定扫描序列将作为一维元素值的阵列的每个缩放列表映射为元素值的二维阵列，从而将缩放列表变换为基本量化矩阵(步骤S162)。QM存储单元165a存储以该方式生成的基本量化矩阵(步骤S163)。
对于由块设置单元161通过QTBT块划分在图像中设置的多个变换块中的每一个，重复接着的一系列处理步骤S165至S168(步骤S164)。针对其重复这些处理步骤的每个变换块被称为对象变换块。
QM生成单元167a首先例如通过参考由QM存储单元165a提供的矩阵管理信息来确定是否存在与对象变换块的块尺寸对应的尺寸的量化矩阵(步骤S165)。当不存在这样的量化矩阵时，QM生成单元167a执行已经在上面参照图10描述的量化矩阵生成处理，以从参考量化矩阵生成附加量化矩阵(步骤S166)。在该步骤处生成的附加量化矩阵被存储在QM存储单元165a中。另一方面，当已经存在预期的量化矩阵时，QM生成单元167a从QM存储单元165a读出与对象变换块的块尺寸对应的尺寸的量化矩阵(步骤S167)。随后，逆量化单元63a使用另外生成的量化矩阵或从QM存储单元165a读出的量化矩阵来对对象变换块的量化变换系数进行逆量化(步骤S168)。
作为步骤S168处的逆量化的结果而生成的频域的变换系数由逆正交变换单元64变换为表示空间域的信号样本的预测误差。未在图13中描绘该处理。与缩放列表数据的更新相对应，量化矩阵可以按诸如序列、图片、切片和图块的任何种类的更新单元来更新。
(2)缩放列表数据解码处理
图14是示出可以在图13的步骤S161处执行的缩放列表数据解码处理的流程的示例的流程图。
首先，SL解码单元163对尺寸指定信息进行解码，以设置用于标识与要生成的缩放列表对应的量化矩阵的尺寸的尺寸ID(步骤S171)。当基本量化矩阵始终为正方形矩阵时，针对一种尺寸设置一个尺寸ID，如表3所示。然而，当基本量化矩阵包括非正方形矩阵时，可以基于尺寸指定信息针对一种尺寸设置与两个方向对应的两个尺寸ID。尺寸ID可以通过将预设的偏移值添加到由尺寸指定信息指示的值来得到。
对预测类型和颜色分量的组合中的每一个、即通过矩阵ID标识的量化矩阵类型中的每一个重复接着的一系列处理步骤S173至S177(步骤S172)。针对其重复处理步骤的矩阵ID被称为对象矩阵ID。
SL解码单元163确定与对象矩阵ID相关联的缩放列表的一系列元素值是否被显式地编码(步骤S173)。例如，SL解码单元163可以基于在步骤S171处设置的尺寸ID以及与对象矩阵ID相关联的控制标记(例如，表1上的“scaling_list_pred_mode_flag[sizeId][matrixId]”)，来确定一系列元素值被编码还是仅参考缩放列表信息被编码。
当仅参考缩放列表信息(例如，表1上的“scaling_list_pred_matrix_id delta[sizeId][matrixId]”)被编码时，SL解码单元163解析参考缩放列表信息以导出要参考的基本量化矩阵的矩阵ID(步骤S174)。然后，SL解码单元163基于将导出的矩阵ID用作关键字而参考的参考缩放列表，来生成针对对象矩阵ID的缩放列表(步骤S175)。
另一方面，当缩放列表的一系列元素值被编码时，SL解码单元163解析一系列元素值的差分值，该差分值被差分编码在缩放列表数据中(步骤S176)。然后，SL解码单元163通过差分脉冲编码调制(DPCM)对这些差分值进行解码，以生成针对对象矩阵ID的缩放列表(步骤S177)。
图14中示出的流程图描绘了对指示基本量化矩阵的尺寸ID的尺寸指定信息进行解码的示例。在另一示例中，可以基于规范来预先定义基本量化矩阵的尺寸，从而跳过对尺寸指定信息的解码。替选地，还可以对指示要用信号传送的尺寸的数目的尺寸计数信息进行解码。
在本节中描述的第一实施方式中，在量化或逆量化时尚未生成每个变换块所需的量化矩阵的情况下，以所谓的“即时”模式生成量化矩阵。根据这样的配置，在由量化矩阵的形状和尺寸的各种组合限定的量化矩阵中，没有生成由未在实际应用中使用的形状和尺寸的组合限定的量化矩阵。因此，可以减少量化矩阵生成所需的处理成本。另外，除了基本量化矩阵之外，仅需要将实际要使用的附加量化矩阵存储在存储器中。因此，也减少了存储器资源的消耗。
在要在下一节描述的第二实施方式中，与第一实施方式相比，在对多个变换块进行处理之前执行附加量化矩阵的生成。
<3.第二实施方式>
[3-1.编码器的配置]
(1)整体配置
图15是示出根据第二实施方式的图像处理装置10b的配置的示例的框图，该图像处理装置10b具有编码器的功能。参照图15，显示出图像处理装置10b包括编码控制单元11、重排缓冲器12、减法单元13、正交变换单元14、量化单元15b、可逆编码单元16、累积缓冲器17、速率控制单元18、逆量化单元21、逆正交变换单元22、加法单元23、环内滤波器24、帧存储器25、开关26、帧内预测单元30、帧间预测单元35、模式设置单元40、QM存储单元115b和QM生成单元117b。与第一实施方式类似，编码控制单元11包括块设置单元111和基本QM设置单元113。与第一实施方式类似，可逆编码单元16包括SL编码单元119。
量化单元15b提供有来自正交变换单元14的传入变换系数以及来自速率控制单元18的速率控制信号。对于要编码的图像中的一个或更多个变换块中的每一个，量化单元15b使用尺寸等于变换块的尺寸的量化矩阵来对变换系数进行量化，以生成量化变换系数(量化数据)。在编码控制单元11的控制下，量化单元15b跳过对变换系数中包括的被强制归零的频率分量的量化。然后，量化单元15b将生成的量化数据输出到可逆编码单元16和逆量化单元21。量化单元15b可以基于速率控制信号通过切换量化步骤来改变量化数据的比特率。
(2)与量化矩阵生成有关的功能
在图15中示出的各种部件中，块设置单元111、基本QM设置单元113、QM存储单元115b、QM生成单元117b和SL编码单元119主要涉及由编码器执行的量化矩阵生成。这些部件的功能具有与根据第一实施方式的对应的部件的功能不同的部分。在下文中将描述这些不同的部分。
QM存储单元115b是存储具有各种尺寸的各种类型的量化矩阵的存储模块，该量化矩阵由图像处理装置10b使用。存储在QM存储单元115b中的量化矩阵包括由基本QM设置单元113设置的基本量化矩阵以及由将在后面描述的QM生成单元117b另外生成的附加量化矩阵。根据该实施方式，在跨多个变换块执行正交变换和量化之前，生成基本量化矩阵和附加量化矩阵两者，并且通过正交变换和量化的这些处理将基本量化矩阵和附加量化矩阵存储在QM存储单元115b中。QM存储单元115b可以管理矩阵管理信息，该矩阵管理信息是指示已经存在的量化矩阵的尺寸的内部控制信息。
在多个变换块的变换系数的量化之前，QM生成单元117b生成与变换块的多个尺寸候选中的每一个对应的附加量化矩阵。例如，对于基于由QM存储单元115b提供的矩阵管理信息而被判断为尚未生成的量化矩阵的量化矩阵的尺寸候选中的每一个，QM生成单元117b选择已经生成的基本量化矩阵之一作为参考量化矩阵，并且对所选择的参考量化矩阵进行重采样，从而生成与尺寸候选对应的附加量化矩阵。然后，QM生成单元117b将所生成的附加量化矩阵存储在QM存储单元115b中。QM生成单元117b包括临时存储要被重采样的参考量化矩阵或其部分矩阵的存储器。
与根据第一实施方式的QM生成单元117a类似，当生成未应用高频分量的归零的尺寸的附加量化矩阵时，QM生成单元117b参考整个参考量化矩阵。另一方面，当生成应用了高频分量的归零的尺寸的附加量化矩阵时，QM生成单元117b仅参考参考量化矩阵的部分矩阵。在后一情况下，如上所述，所参考的部分矩阵的尺寸与参考量化矩阵的尺寸之比等于非零部分的尺寸与所生成的附加量化矩阵的尺寸之比。
上面已经关于第一实施方式详细描述的语法和语义的示例、选择参考量化矩阵的方法的示例以及通过重采样(上采样或下采样)生成附加量化矩阵的方法的的示例的描述性内容也适用于第二实施方式。
[3-2.在编码时执行的量化相关处理的流程]
图16是示出由图15的图像处理装置10b执行的量化相关处理的流程的示例的流程图。在该流程图中，出于更简单的描述的目的，未描述在编码处理中包括的各种处理步骤之中的与量化无关的处理步骤。
首先，基本QM设置单元113设置包括第一尺寸的第一量化矩阵的一个或更多个基本量化矩阵(步骤S211)。这些基本量化矩阵被存储在QM存储单元115b中。
对一个或更多个尺寸候选中的每一个，即对水平方向上的尺寸ID以及垂直方向上的尺寸ID的组合中的每一个，重复接着的处理步骤S213和S214(步骤S212a)。在该处理步骤循环中，对与预测类型和颜色分量的组合对应的多个矩阵ID中的每一个重复步骤S213和S214(步骤S212b)。针对其重复处理步骤的尺寸候选和矩阵ID分别被称为对象尺寸候选和对象矩阵ID。
QM生成单元117b首先例如通过参考由QM存储单元115b提供的矩阵管理信息来确定是否存在与对象尺寸候选和对象矩阵ID对应的量化矩阵(步骤S213)。当不存在这样的量化矩阵时，QM生成单元117b执行已经在上面参照图10描述的量化矩阵生成处理，以从参考量化矩阵生成附加量化矩阵(步骤S214)。在该步骤处生成的附加量化矩阵被存储在QM存储单元115b中。
当用于生成附加量化矩阵的处理步骤的循环结束时，对由块设置单元111在图像中设置的多个变换块中的每一个重复处理步骤S216和S217(步骤S215)。针对其重复这些处理步骤的每个变换块被称为对象变换块。
量化单元15b从QM存储单元115b读出与对象变换块的块尺寸对应的量化矩阵(步骤S216)。然后，量化单元15b使用读取的量化矩阵对对象变换块的变换系数进行量化(步骤S217)。
SL编码单元119将在步骤S211处设置的一个或更多个基本量化矩阵中的每一个变成一维码，从而将基本量化矩阵中的每一个变换为缩放列表(步骤S218)。然后，SL编码单元119执行已经在上面参照图11描述的缩放列表编码处理，以生成缩放列表数据(步骤S219)。
由可逆编码单元16对每个变换块的在步骤S217处生成的量化变换系数进行编码，使得编码的量化变换系数连同缩放列表数据一起成为编码流的一部分。未在图16中示出该处理。缩放列表数据可以按诸如序列、图片、切片和图块的任何种类的更新单元来更新。
[3-3.解码器的配置]
(1)整体配置
图17是示出根据第二实施方式的图像处理装置60b的配置的示例的框图，该图像处理装置60b具有解码器的功能。参照图17，显示出图像处理装置60b包括解码控制单元61、可逆解码单元62、逆量化单元63b、逆正交变换单元64、加法单元65、环内滤波器66、重排缓冲器67、帧存储器68、选择器70和71、帧内预测单元80、帧间预测单元85、QM存储单元165b和QM生成单元167b。与第一实施方式类似，解码控制单元61包括块设置单元161。与第一实施方式类似，可逆解码单元62包括SL解码单元163。
对于在图像中设置的一个或更多个变换块中的每一个，逆量化单元63b对传入量化数据、即来自可逆解码单元62的量化变换系数进行逆量化，以恢复变换系数。逆量化单元63b从QM存储单元165b中存储的多个量化矩阵中选出尺寸等于变换块的尺寸的量化矩阵，并且使用所选择的量化矩阵对变换块的量化变换系数进行逆量化。在解码控制单元61的控制下，逆量化单元63b跳过对被强制归零的频率分量的逆量化。然后，逆量化单元63b将恢复的变换系数输出到逆正交变换单元64。
(2)与量化矩阵生成有关的功能
在图17中示出的各种部件中，块设置单元161、SL解码单元163、QM存储单元165b和QM生成单元167b主要涉及由解码器执行的量化矩阵生成。这些部件的功能具有与根据第一实施方式的对应的部件的功能不同的部分。在下文中将描述这些不同的部分。
QM存储单元165b是存储具有各种尺寸的各种类型的量化矩阵的存储模块，该量化矩阵由图像处理装置60b使用。存储在QM存储单元165b中的量化矩阵包括由SL解码单元163生成的基本量化矩阵以及由将在后面描述的QM生成单元167b另外生成的附加量化矩阵。根据该实施方式，在跨多个变换块执行逆量化和逆正交变换之前，生成基本量化矩阵和附加量化矩阵两者，并且通过逆量化和逆正交变换的这些处理将基本量化矩阵和附加量化矩阵存储在QM存储单元165b中。QM存储单元165b可以管理矩阵管理信息，该矩阵管理信息是指示已经存在的量化矩阵的尺寸的内部控制信息。
在多个变换块的变换系数的逆量化之前，QM生成单元167b生成与变换块的多个尺寸候选中的每一个对应的附加量化矩阵。例如，对于基于由QM存储单元165b提供的矩阵管理信息而被判断为尚未生成的量化矩阵的量化矩阵的尺寸候选中的每一个，QM生成单元167b选择已经生成的基本量化矩阵之一作为参考量化矩阵，并且对所选择的参考量化矩阵进行重采样，从而生成与尺寸候选对应的附加量化矩阵。然后，QM生成单元167b将所生成的附加量化矩阵存储在QM存储单元165b中。QM生成单元167b包括临时存储要被重采样的参考量化矩阵或其部分矩阵的存储器。
与根据第一实施方式的QM生成单元167a类似，当生成未应用高频分量的归零的尺寸的附加量化矩阵时，QM生成单元167b参考整个参考量化矩阵。另一方面，当生成应用了高频分量的归零的尺寸的附加量化矩阵时，QM生成单元117b仅参考参考量化矩阵的部分矩阵。在后一情况下，如上所述，所参考的部分矩阵的尺寸与参考量化矩阵的尺寸之比等于非零部分的尺寸与所生成的附加量化矩阵的尺寸之比。
[3-4.解码时执行的逆量化相关处理的流程]
图18是示出由图17的图像处理装置60b执行的逆量化相关处理的流程的示例的流程图。在该流程图中，出于更简单的描述的目的，未描述在解码处理中包括的各种处理步骤中的与逆量化无关的处理步骤。
首先，SL解码单元163执行已经在上面参照图14描述的缩放列表数据解码处理，以生成表达一种或更多种尺寸的基本量化矩阵的缩放列表(步骤S261)。随后，SL解码单元163通过特定扫描序列将作为一维元素值的阵列的每个缩放列表映射为元素值的二维阵列，从而将缩放列表变换为基本量化矩阵(步骤S262)。QM存储单元165b存储以该方式生成的基本量化矩阵(步骤S263)。
对一个或更多个尺寸候选中的每一个，即对水平方向上的尺寸ID以及垂直方向上的尺寸ID的组合中的每一个，重复接着的处理步骤S265和S266(步骤S264a)。在该处理步骤循环中，对与预测类型和颜色分量的组合对应的多个矩阵ID中的每一个重复步骤S265和S266(步骤S264b)。对其重复处理步骤的尺寸候选和矩阵ID分别被称为对象尺寸候选和对象矩阵ID。
QM生成单元167b首先例如通过参考由QM存储单元165b提供的矩阵管理信息来确定是否存在与对象尺寸候选和对象矩阵ID对应的量化矩阵(步骤S265)。当不存在这样的量化矩阵时，QM生成单元167b执行已经在上面参照图10描述的量化矩阵生成处理，以从参考量化矩阵生成附加量化矩阵(步骤S266)。在该步骤处生成的附加量化矩阵被存储在QM存储单元165b中。
当用于生成附加量化矩阵的处理步骤的循环结束时，对由块设置单元161在图像中设置的多个变换块中的每一个重复处理步骤S268和S269(步骤S267)。针对其重复这些处理步骤的每个变换块被称为对象变换块。
逆量化单元63b从QM存储单元165b读出与对象变换块的块尺寸对应的量化矩阵(步骤S268)。然后，逆量化单元63b使用读取的量化矩阵来对对象变换块的量化变换系数进行逆量化(步骤S269)。
作为步骤S269处的逆量化的结果而生成的频域的变换系数由逆正交变换单元64变换为表示空间域的信号样本的预测误差。未在图18中描绘该处理。与缩放列表数据的更新相对应，量化矩阵可以按诸如序列、图片、切片和图块的任何种类的更新单元来更新。
根据本节中描述的第二实施方式，在对多个变换块执行处理之前，预先生成量化或逆量化处理可能需要的许多量化矩阵。这样的配置消除了在开始针对图像中的每个块的处理之后对用于另外生成不足的量化矩阵的计算的需要，从而提高了处理性能。
<4.硬件配置示例>
可以使用以下手段中的任何一种来实现上述实施方式：软件、硬件以及软件和硬件的组合。当图像处理装置10a、10b、60a和60b使用软件时，组成软件的计算机程序被预先存储在例如装置中包含的或设置在装置外部的计算机可读介质(非暂态介质)中。例如，在执行每个程序时，程序被加载到随机存取存储器(RAM)上，并且由诸如中央处理单元(CPU)的处理器执行。
图19是示出可以可以应用上述实施方式的装置的硬件配置的示例的框图。参照图19，显示出装置800包括系统总线810、图像处理芯片820和片外存储器890。图像处理芯片820包括n个处理电路830-1、830-2、……830-n(n表示1或更大的整数)、参考缓冲器840、系统总线接口850和本地总线接口860。
系统总线810提供图像处理芯片820与外部模块(例如，中央控制功能、应用功能、通信接口、用户接口等)之间的通信路径。处理电路830-1、830-2、……830-n经由系统总线接口850连接到系统总线810，并且经由本地总线接口860连接到片外存储器890。处理电路830-1、830-2、……830-n也能够被参考缓冲器840访问，参考缓冲器840等同于片上存储器(例如，静态随机存取存储器(SRAM))。片上存储器可以包括例如图4中示出的内部存储器M12或图7中示出的内部存储器M22。另一方面，片外存储器890可以包括例如图4中示出的QM存储器M11或图7中示出的QM存储器M21。片外存储器890还可以包括存储由图像处理芯片820处理的图像数据的帧存储器。
<5.总结>
到目前为止，已经参照图3A至图19详细描述了根据本公开内容的技术的实施方式。根据上述实施方式，当生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵时，不是参考通过对缩放列表数据进行解码而生成的第一尺寸的第一量化矩阵的全部，而是仅参考第一量化矩阵的部分矩阵。因此，可以至少减小由各种量化矩阵的生成引起的对例如硬件资源的占用、处理延迟和增加的功耗的处理成本的影响。因此，提供了用于高效地生成或用信号传送量化矩阵的改进的系统。
根据上述实施方式，在第二尺寸是应用了高频分量的归零的尺寸的情况下，在生成第二量化矩阵时参考的部分矩阵的尺寸与第一尺寸的尺寸之比等于非零部分的尺寸与第二尺寸之比。因此，可以消除由计算与始终为零的变换系数对应的量化矩阵的元素引起的资源浪费。
在实施方式中，指示从缩放列表数据生成的基本量化矩阵的尺寸的尺寸指定信息作为控制参数被显式地编码或解码。这意味着可以将基于其生成各种量化矩阵的基本量化矩阵的尺寸指示为可变尺寸，因此这意味着使得用户用够以各种预期形式灵活地使用量化矩阵。在另一实施方式中，对关于预先定义的一种或更多种尺寸中的每一种的缩放列表数据进行解码，并且一种或更多种尺寸包括基本量化矩阵的尺寸。在该情况下，消除了对尺寸指定信息进行编码的需要。
在实施方式中，基于规范预先设置用以确定要应用高频分量的归零的变换块的尺寸的规则。该情况不需要对用于确定是否将高频分量的归零应用于变换块的控制参数进行编码。在另一实施方式中，与每个变换块相关联的、指示是否将高频分量的归零应用于变换块的归零标记作为控制参数被显式地编码或解码。这使得能够动态地控制归零的应用或不应用。在另一示例中，指示应用高频分量的归零的变换块的尺寸的归零尺寸信息作为控制参数被显式地编码或解码。这使得能够动态地控制要应用归零的尺寸。根据这些示例，根据用户的需要或者系统要求或约束提供了能够灵活地再现表达甚至微小的高频分量的图像的系统。
根据上述实施方式，当生成第二量化矩阵时，部分矩阵被加载到存储器上并被临时存储在其中。因此，确保了足够量的存储器资源，这优化了装置性能，例如，编码器功能和解码器功能。
上面已经参照附图描述了本公开内容的优选实施方式。然而，本公开内容的技术范围不限于上述实施方式。显然，本公开内容的技术领域的技术人员可以在权利要求中描述的技术构思的范围内发现各种变更和修改，并且应当理解，这些变更和修改也将自然地归入本公开内容的技术范围。
(实施方式的组合)
上面已经描述的实施方式以及与其有关的各种示例可以按任何形式组合，并且根据本公开内容的技术不限于上面直接提及的组合。例如，关于第一实施方式描述的任何给定方法可以与关于第二实施方式描述的任何给定方法组合。
(应用提出的技术的对象)
根据本公开内容的技术可以应用于任何给定的视频编码方法(视频解码方法)。换言之，除非诸如变换(逆变换)、量化(逆量化)、编码(解码)、预测和滤波的、与编码和解码有关的处理的规范明显会导致任何不一致，否则这样的规范不对本公开内容的技术范围施加限制。另外，除非省去这些处理中的一些处理明显会导致任何不一致，否则可以省去其中一些处理。
(块)
通常，“块”是指图像(例如，图片、切片和图块)的任何给定的部分区域(在例外情况下，该术语可以是指执行一些功能的功能块)。除非另有说明，否则块的尺寸和形状不对根据本公开内容的技术的范围施加限制。例如，“块”的概念涵盖了参考文献REF1至REF3中提及的各种部分区域(处理单元)，例如，TB(变换块)、TU(变换单元)、PB(预测块)、PU(预测单元)、SCU(最小编码单元)、CU(编码单元)、LCU(最大编码单元)、CTB(编码树块)、CTU(编码树单元)、子块、宏块、图块和切片。
(数据单元/处理单元)
应用本说明书中提及的各种参数或数据或信息的范围不限于以上示例中描述的范围，而是可以是任何形式的范围。同样，执行本说明书中提及的各种处理的范围不限于以上示例中描述的范围，而是可以是任何形式的范围。例如，这些范围可以按TB、TU、PB、PU、SCU、CU、LCU、CTB、CTU、子块、块、图块、切片、图片、序列和部件中的至少之一的单元(数据单元/处理单元)设置。显然，可以针对参数、数据和信息、或处理中的每一个设置数据单元/处理单元，并且数据单元/处理单元对于所有参数、数据和信息、或处理是共同的或不共同的。参数、数据或信息可以存储在任何给定位置或从任何给定位置传送。例如，参数、数据或信息可以保存在上述单元的报头或参数集中。在另一情况下，参数、数据或信息可以分散地存储在多个位置或从多个位置传送。
(控制信息)
与根据本公开内容的技术有关的任何控制信息可以从编码侧传送到解码侧。例如，可以传送给出启用或禁用上述各种功能的任何给定部分的指令的控制信息(例如，enabled_flag)。在另一情况下，可以传送指定可以应用上述各种功能的任何给定部分的范围(或者不能应用上述各种功能的任何给定部分的范围)的控制信息。例如，可以传送指定应用根据本公开内容的技术的块尺寸(上限块尺寸或下限块尺寸或其两者)、帧、部件或层的控制信息。
(块尺寸信息)
以控制信息的形式指定的块尺寸可以不直接表达为尺寸值，而是可以间接表达为映射到尺寸值的标识符或索引。例如，尺寸值或与尺寸值对应的标识符或索引可以按与特定参考值(例如，LCU或SCU的尺寸)的比或差的形式表达。例如，语法元素中包括的尺寸信息可以根据上述方法间接地指定尺寸值。该方法增加了可以减小编码、传送或存储的信息量以提高编码效率的可能性。此外，指定块尺寸的上述方法也可以用作指定块尺寸的范围的方法。
(其他)
一般来说，“标记”是标识多个状态的信息。标记不仅标识“真(1)”和“假(0)”这两个状态，还可以标识三个或更多个状态。换言之，标记可以取例如“0”和“1”这两个值中任一者，或者可以取三个或更多个值中之一。因此，一个标记可以由任何数目的位构成，即可以由单个位或多个位构成。可以包括标记和其他标识信息的控制信息本身可以被包括在比特流中，或者指示与一些形式的参考信息的差异的控制信息可以被包括在比特流中。
关于如编码流和编码比特流的这样的编码数据的各种数据和元数据可以按任何形式被传送或记录，只要这些数据和元数据与编码数据相关联即可。在此上下文中使用的短语“……数据与……数据相关联”意指例如使一个数据可用于处理另一数据的情况(例如，两个数据相互链接或映射)。换言之，彼此相关联的数据可以作为单个数据被整体处理，或者可以作为单独的数据被处理。例如，可以通过与传送编码数据(编码图像)的传送路径不同的传送路径来传送与编码数据相关联的信息。另外，与编码数据相关联的信息可以被记录在与其上记录有编码数据的记录介质不同的记录介质上(或者被记录在其上记录有信息和编码数据两者的同一记录介质的不同记录区域中)。此外，不是数据整体而是数据的不同部分可以按上述方式“彼此相关联”。例如，图像和关于图像的信息可以按任何给定单元(例如，多个帧、一个帧或帧的一部分)彼此相关联。
应当注意，在本说明书中，可以使用诸如“合成”、“相乘”、“相加”、“整合”、“包括”、“存储”、“放入”、“插入”和“嵌入”的这样的术语来意指整体处理单独的数据的处理或将单独的数据彼此相关联的处理。
根据本公开内容的技术可以通过组成装置或系统的任何种类的部件(例如，诸如系统大规模集成(LSI)的处理器、包含多个处理器的模块、包含多个模块的单元、通过向模块或单元添加额外功能而构造的设备等)来实现。
在本说明书中，系统是指多个元件(例如，装置、单元、模块、部件等)的集合。然而，应当注意，并非所有这些元件始终需要被放置在同一外壳中。换言之，系统的概念包括：例如，容纳在分开的外壳中的并且通过网络互连的多个模块的集合，以及容纳在单个外壳中的多个模块的集合。
例如，被描述为单个部件的部件(例如，处理单元)可以被配置成划分为多个部件。与此相反，本说明书中描述的多个部件可以被配置为单个部件。可以将与上述构成元件不同的构成元件添加到本说明书中描述的部件中。如果系统整体基本上提供相同的功能或执行相同的操作，则某个装置的配置的一部分可以被包括在其他装置中。另外，例如，可以通过云计算技术来实现根据本公开内容的技术，该云计算技术使得通过网络互连的多个装置能够协作地或分散地执行单个功能或多个功能。
某个流程图中描绘的一个或更多个步骤可以不由一个装置执行，而是可以由多个装置分散地执行。组成一个步骤的多个操作可以不由一个装置执行，而是可以由多个装置分散地执行。
组成由计算机运行的程序的程序指令可以使计算机按上述顺序执行本说明书中描述的两个或更多个处理步骤，或者通过并行处理执行处理步骤，或者响应于触发事件(例如，某个事件发生或进行外部调用)逐个执行处理步骤。换言之，如果不会导致明显的不一致，则可以按与上述顺序不同的顺序执行本说明书中描述的处理步骤。另外，要基于某个程序或程序指令执行的处理步骤可以与要基于不同程序或程序指令执行的处理步骤并行执行或同时执行。
在本说明书中描述的效果仅是说明性或示例性的，而并非限制性的。换言之，除了上述效果之外或代替上述效果，根据本公开内容的技术可以提供根据本说明书的描述对于本领域技术人员而言明显的其他效果。
注意，以下配置也在本公开内容的技术范围内。
(1)一种图像处理装置，包括：
解码单元，其对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；
生成单元，其通过仅参考由所述解码单元生成的所述第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及
逆量化单元，其使用由所述生成单元生成的所述第二量化矩阵，对所述第二尺寸的变换块的量化变换系数进行逆量化。
(2)根据(1)所述的图像处理装置，其中，所述部分矩阵的尺寸与所述第一尺寸之比等于非零部分的尺寸与所述第二尺寸之比。
(3)根据(1)或(2)所述的图像处理装置，
其中，所述解码单元对指示从所述缩放列表数据生成的量化矩阵的尺寸的尺寸指定信息进行解码，并且
其中，由所述尺寸指定信息指示的尺寸包括所述第一尺寸，但不包括所述第二尺寸。
(4)根据(1)或(2)所述的图像处理装置，
其中，所述解码单元对关于预先定义的一种或更多种尺寸中的每一种的缩放列表数据进行解码，以生成所述一种或更多种尺寸的量化矩阵，并且
其中，预先定义的所述一种或更多种尺寸包括所述第一尺寸，但不包括所述第二尺寸。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，所述生成单元通过参考由所述解码单元生成的所述第一量化矩阵的全部，来生成用于未应用高频分量的归零的第三尺寸的变换块的第三量化矩阵。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述生成单元根据预先定义要应用所述归零的变换块的尺寸的规则来确定是否将所述归零应用于所述第二尺寸的变换块。
(7)根据(1)至(5)中任一项所述的图像处理装置，其中，所述生成单元基于与每个变换块相关联的归零标记来确定是否将所述归零应用于所述第二尺寸的变换块，所述归零标记指示是否应用所述归零。
(8)根据(1)至(5)中任一项所述的图像处理装置，其中，所述生成单元基于指示要应用所述归零的变换块的尺寸的归零尺寸信息来确定是否将所述归零应用于所述第二尺寸的变换块。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述生成单元包括存储器，在生成所述第二量化矩阵时所述存储器临时存储所述部分矩阵。
(10)根据(1)至(9)中任一项所述的图像处理装置，还包括
存储单元，其通过涉及多个变换块的处理来存储所述第一量化矩阵，
其中，所述生成单元在所述第二尺寸的每个变换块的量化变换系数的逆量化时生成所述第二量化矩阵。
(11)根据(1)至(9)中任一项所述的图像处理装置，
其中，所述生成单元在涉及多个变换块的处理之前生成所述第二量化矩阵，并且
其中，所述图像处理装置还包括存储单元，所述存储单元通过涉及所述多个变换块的处理来存储包括所述第一量化矩阵和所述第二量化矩阵的多个量化矩阵。
(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述逆量化单元对通过四叉树加二叉树(QTBT)块划分在图像中设置的多个变换块中的每一个执行逆量化处理。
(13)一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：
对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；
通过仅参考所生成的所述第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及
使用所生成的所述第二量化矩阵，对所述第二尺寸的变换块的量化变换系数进行逆量化。
(14)一种图像处理装置，包括：
生成单元，其通过仅参考第一尺寸的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；
量化单元，其使用由所述生成单元生成的所述第二量化矩阵，对要编码的图像中的所述第二尺寸的变换块的变换系数进行量化，以生成量化变换系数；以及
编码单元，其对所述量化变换系数和表达所述第一量化矩阵的缩放列表进行编码，以生成编码流。
(15)一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：
通过仅参考第一尺寸的第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；
使用所生成的所述第二量化矩阵，对要编码的图像中的所述第二尺寸的变换块的变换系数进行量化，以生成量化变换系数；以及
对所述量化变换系数和表达所述第一量化矩阵的缩放列表进行编码，以生成编码流。
附图标记列表
10a，10b 图像处理装置(编码器)
15a，15b 量化单元
16 可逆编码单元
111 块设置单元
113 QM设置单元
115a，115b QM存储单元
117a，117b QM生成单元
119 SL编码单元
60a，60b 图像处理装置(解码器)
62 可逆解码单元
63a，63b 逆量化单元
161 块设置单元
163 SL解码单元
165a，165b QM存储单元
167a，167b QM生成单元

Claims (10)

1.一种图像处理装置，包括：
解码单元，所述解码单元对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；
生成单元，所述生成单元通过仅参考由所述解码单元生成的所述第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及
逆量化单元，所述逆量化单元使用由所述生成单元生成的所述第二量化矩阵，对所述第二尺寸的变换块的量化变换系数进行逆量化。
2.根据权利要求1所述的图像处理装置，其中，所述部分矩阵的尺寸与所述第一尺寸之比等于非零部分的尺寸与所述第二尺寸之比。
3.根据权利要求1所述的图像处理装置，
其中，所述解码单元对指示从所述缩放列表数据生成的量化矩阵的尺寸的尺寸指定信息进行解码，并且
其中，由所述尺寸指定信息指示的尺寸包括所述第一尺寸，但不包括所述第二尺寸。
4.根据权利要求1所述的图像处理装置，
其中，所述解码单元对关于预先定义的一种或更多种尺寸中的每一种的缩放列表数据进行解码，以生成所述一种或更多种尺寸的量化矩阵，并且
其中，预先定义的所述一种或更多种尺寸包括所述第一尺寸，但不包括所述第二尺寸。
5.根据权利要求1所述的图像处理装置，其中，所述生成单元通过参考由所述解码单元生成的所述第一量化矩阵的全部，来生成用于未应用高频分量的归零的第三尺寸的变换块的第三量化矩阵。
6.根据权利要求1所述的图像处理装置，其中，所述生成单元根据预先定义要应用所述归零的变换块的尺寸的规则来确定是否将所述归零应用于所述第二尺寸的变换块。
7.根据权利要求1所述的图像处理装置，其中，所述生成单元基于与每个变换块相关联的归零标记来确定是否将所述归零应用于所述第二尺寸的变换块，所述归零标记指示是否应用所述归零。
8.根据权利要求1所述的图像处理装置，其中，所述生成单元基于指示要应用所述归零的变换块的尺寸的归零尺寸信息来确定是否将所述归零应用于所述第二尺寸的变换块。
9.根据权利要求1所述的图像处理装置，其中，所述生成单元包括存储器，在生成所述第二量化矩阵时所述存储器临时存储所述部分矩阵。
10.一种由图像处理装置执行的图像处理方法，所述图像处理方法包括：
对缩放列表数据进行解码以生成第一尺寸的第一量化矩阵；
通过仅参考所生成的所述第一量化矩阵的部分矩阵，来生成用于应用了高频分量的归零的第二尺寸的变换块的第二量化矩阵；以及
使用所生成的所述第二量化矩阵，对所述第二尺寸的变换块的量化变换系数进行逆量化。
CN202310713511.7A 2018-03-28 2019-03-07 图像处理装置和图像处理方法 Pending CN116647705A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-062704 2018-03-28
JP2018062704 2018-03-28
CN201980020797.2A CN111886871B (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法
PCT/JP2019/009177 WO2019188097A1 (ja) 2018-03-28 2019-03-07 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980020797.2A Division CN111886871B (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法

Publications (1)

Publication Number Publication Date
CN116647705A true CN116647705A (zh) 2023-08-25

Family

ID=68059867

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310713511.7A Pending CN116647705A (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法
CN201980020797.2A Active CN111886871B (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法
CN202310713883.XA Pending CN116744021A (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980020797.2A Active CN111886871B (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法
CN202310713883.XA Pending CN116744021A (zh) 2018-03-28 2019-03-07 图像处理装置和图像处理方法

Country Status (13)

Country Link
US (2) US20210006796A1 (zh)
EP (1) EP3780621A4 (zh)
JP (2) JP7334726B2 (zh)
KR (1) KR20200136390A (zh)
CN (3) CN116647705A (zh)
AU (1) AU2019246538B2 (zh)
BR (1) BR112020018986A2 (zh)
CA (1) CA3094608A1 (zh)
MX (1) MX2020009803A (zh)
PH (1) PH12020551515A1 (zh)
RU (1) RU2020131045A (zh)
SG (1) SG11202009041WA (zh)
WO (1) WO2019188097A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY183347A (en) * 2013-09-30 2021-02-18 Japan Broadcasting Corp Image encoding device, image decoding device, and the programs thereof
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
CN113302925B (zh) * 2019-03-10 2024-05-10 寰发股份有限公司 视频编码的量化矩阵计算以及表示方法和装置
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP2020150340A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
TWI762889B (zh) * 2019-03-21 2022-05-01 聯發科技股份有限公司 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
CN116886931A (zh) * 2019-03-25 2023-10-13 寰发股份有限公司 用于视频编解码的量化矩阵计算和表示的方法和装置
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Ｖｃ控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
CN111050171B (zh) * 2019-12-18 2022-10-11 腾讯科技（深圳）有限公司 视频解码方法、装置、设备及存储介质
CN111083475B (zh) * 2019-12-31 2022-04-01 上海富瀚微电子股份有限公司 量化变换系数管理装置及适用于hevc标准的编码器
EP4097979A4 (en) 2020-02-29 2023-07-26 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON HIGH-LEVEL SYNTAX ELEMENTS
WO2021233449A1 (en) 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Reserved bits in general constraint information of a video
WO2021233450A1 (en) * 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Signalling for color component
CN113259667B (zh) * 2021-05-17 2023-01-31 北京百度网讯科技有限公司 视频量化方法、装置、电子设备和计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236547A (ja) * 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
CN100571389C (zh) * 2004-06-29 2009-12-16 奥林巴斯株式会社 用于图像编码/解码和扩展图像压缩解压缩的方法和设备
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
JP5741729B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
CN106937126B (zh) * 2011-05-20 2019-11-15 索尼公司 图像处理装置和图像处理方法
BR122020017515B1 (pt) 2012-01-20 2022-11-22 Electronics And Telecommunications Research Institute Método de decodificação de vídeo
US20140192862A1 (en) 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
MY183347A (en) * 2013-09-30 2021-02-18 Japan Broadcasting Corp Image encoding device, image decoding device, and the programs thereof
US9432696B2 (en) 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
CN106663209B (zh) * 2014-09-19 2020-05-08 华为技术有限公司 用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置
US9787987B2 (en) * 2015-04-27 2017-10-10 Harmonic, Inc. Adaptive pre-filtering based on video complexity and output bit rate
WO2018008387A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
RU2020131045A (ru) 2022-03-21
JP7334726B2 (ja) 2023-08-29
EP3780621A1 (en) 2021-02-17
AU2019246538A1 (en) 2020-10-22
US20210006796A1 (en) 2021-01-07
MX2020009803A (es) 2020-10-28
PH12020551515A1 (en) 2021-05-17
CN111886871B (zh) 2023-07-04
KR20200136390A (ko) 2020-12-07
US20220345708A1 (en) 2022-10-27
WO2019188097A1 (ja) 2019-10-03
CN116744021A (zh) 2023-09-12
SG11202009041WA (en) 2020-10-29
CA3094608A1 (en) 2019-10-03
JPWO2019188097A1 (ja) 2021-04-30
JP2023133553A (ja) 2023-09-22
BR112020018986A2 (pt) 2020-12-29
AU2019246538B2 (en) 2022-11-10
CN111886871A (zh) 2020-11-03
EP3780621A4 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN111886871B (zh) 图像处理装置和图像处理方法
CN109792519B (zh) 基于帧内预测模式的图像处理方法及其装置
CN111869219B (zh) 对图像进行编码或解码的方法和装置
KR20190090865A (ko) 영상 처리 방법 및 이를 위한 장치
JP2022534320A (ja) マトリクスベースイントラ予測のためのコンテキスト決定
CA3029042A1 (en) Enhanced intra-prediction coding using planar representations
EP3677031B1 (en) Spatial varying transforms for video coding
KR20210068101A (ko) 단일-레벨 변환 분할 및 적응형 서브-블록 변환
CN112352428A (zh) 图像处理装置和方法
CN114501019A (zh) 关于划分预测
CN115152235A (zh) 图像或视频处理系统中传送回路滤波器参数的方法及装置
CN114641996A (zh) 上下文自适应变换集合
CN114270826A (zh) 用于视频数据的帧内预测编码的方法和装置
CN113491133A (zh) 图像处理装置和图像处理方法
CN115002460A (zh) 视频解码设备、视频编码设备和非暂时性计算机可读介质
JPWO2020211807A5 (zh)
KR20220112852A (ko) 비디오 코딩 방법 및 장치
CN116391355A (zh) 视频编码中边界处理的方法和设备
CN113841403A (zh) 影像解码装置中使用的逆量化装置和方法
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置
WO2024076392A1 (en) Systems and methods for cross-component sample offset filter information signaling
CN117203965A (zh) 调色板预测值生成和信号通知
CN118160312A (zh) 用于发信号通知交叉分量样本偏移滤波器信息的系统和方法
CN115462074A (zh) 经压缩的画中画信令
CN116325750A (zh) 用于具有自适应内核选项的二次变换的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination