CN114503567B - 编码装置、解码装置及程序 - Google Patents

编码装置、解码装置及程序 Download PDF

Info

Publication number
CN114503567B
CN114503567B CN202180005594.3A CN202180005594A CN114503567B CN 114503567 B CN114503567 B CN 114503567B CN 202180005594 A CN202180005594 A CN 202180005594A CN 114503567 B CN114503567 B CN 114503567B
Authority
CN
China
Prior art keywords
scaling list
color space
unit
transform
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180005594.3A
Other languages
English (en)
Other versions
CN114503567A (zh
Inventor
岩村俊辅
根本慎平
市谷敦郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to CN202410333391.2A priority Critical patent/CN118018732A/zh
Publication of CN114503567A publication Critical patent/CN114503567A/zh
Application granted granted Critical
Publication of CN114503567B publication Critical patent/CN114503567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码装置针对每个编码对象块进行编码，所述编码装置具备：预测部，针对每个分量生成与所述编码对象块对应的预测块；残差生成部，针对每个分量生成表示所述编码对象块与所述预测块的差的预测残差；颜色空间变换部，对每个所述分量的预测残差进行颜色空间变换处理；变换部，通过对所述预测残差进行变换处理，来生成变换系数；量化控制部，确定用于对所述变换系数的量化处理的缩放列表；以及量化部，使用所确定的缩放列表，对所述变换系数进行所述量化处理，所述量化控制部基于所述颜色空间变换处理，确定所述缩放列表。

Description

编码装置、解码装置及程序
技术领域
本发明涉及编码装置、解码装置及程序。
背景技术
在VVC标准方案中，采用如下的被称为自适应颜色变换(ACT：Adaptive ColourTransform)的技术：在输入图像的色度格式为4：4：4的情况下，在得到将原始图像分割得到的编码对象块与该编码对象块的预测块的差分亦即预测残差之后，将预测残差的颜色空间(RGB空间)变换为YCgCo空间，针对颜色空间变换后的预测残差进行变换处理·熵编码处理等编码处理(参照非专利文献1)。
编码装置能够控制针对每个编码对象块是否应用ACT，针对每个编码对象块流式输出ACT应用标记。因此，因为ACT而在图像(picture)整体中混合存在有在RGB空间中针对预测残差应用变换处理·量化处理的编码对象块与在将预测残差从RGB空间变换为YCgCo空间后应用变换处理·量化处理的编码对象块。
但是，在VVC中，在针对预测残差实施变换处理得到的变换系数的量化中，导入了针对每个频率分量控制量化步长的缩放列表(scaling list也被称为量化矩阵)。能够针对构成输入图像信号的三种颜色分量(例如亮度分量、第一色差分量以及第二色差分量)分别独立地设定缩放列表，编码装置向解码侧用信号发送表示是否应用缩放列表以及在应用缩放列表的情况下应用什么样的缩放列表的信息。
现有技术文献
非专利文献
非专利文献1：JVET-Q2001“Versatile Video Coding(Draft 8)”
发明内容
第一方式的编码装置，其主旨在于：所述编码装置对分割图像而生成的编码对象块的每一个进行编码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述编码装置具备：预测部，针对每个分量生成与所述编码对象块对应的预测块；残差生成部，针对每个分量生成预测残差，所述预测残差表示所述编码对象块与所述预测块的差；颜色空间变换部，对每个所述分量的预测残差进行颜色空间变换处理；变换部，通过对所述预测残差进行变换处理，来生成变换系数；量化控制部，确定用于对所述变换系数的量化处理的缩放列表；以及量化部，使用所确定的缩放列表对所述变换系数进行所述量化处理，所述量化控制部基于所述颜色空间变换处理，确定所述缩放列表。
第二方式的解码装置，其主旨在于：所述解码装置对分割图像而生成的解码对象块的每一个进行解码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述解码装置具备：熵解码部，针对每个分量从比特流对所述解码对象块的量化变换系数进行解码；预测部，针对每个分量生成与所述解码对象块对应的预测块；逆量化控制部，确定用于逆量化处理的缩放列表；逆量化部，通过使用所确定的缩放列表对所述量化变换系数进行逆量化处理，来生成变换系数；逆变换部，通过对所述变换系数进行所述逆变换处理，来生成预测残差；颜色空间逆变换部，对所述预测残差进行颜色空间逆变换处理；以及合成部，通过将所述预测残差与所述预测块合成，来生成解码块，所述逆量化控制部基于所述颜色空间逆变换处理，确定所述缩放列表。
第三方式的程序，其使计算机作为第一方式的编码装置发挥作用。
第四方式的程序，其使计算机作为第二方式的解码装置发挥作用。
附图说明
图1是示出实施方式的编码装置的构成的图。
图2是示出实施方式的量化控制部的操作的图。
图3是示出实施方式的解码装置的构成的图。
图4是示出熵编码部输出的比特流的图。
图5是示出NAL单元的类型的图。
图6是示出VPS、SPS、PPS以及APS的关系的图。
图7是示出变形例1的SPS的一个示例的图。
图8是示出变形例1的量化控制部以及逆量化控制部的操作的图。
图9是示出变形例2的SPS的一个示例的图。
图10是示出变形例2的量化控制部以及逆量化控制部的操作的图。
图11是示出变形例3的SPS的一个示例的图。
图12是示出变形例3的量化控制部以及逆量化控制部的操作的图。
图13是示出变形例3的ACT应用标记与第二标记的关系的图。
具体实施方式
通过ACT，能够针对每个编码对象块控制有无预测残差的颜色空间变换，因此在对作为RGB图像的输入图像进行编码时，在相邻的两个编码对象块中，一方可以是应用ACT的编码对象块，另一方可以是不应用ACT的编码对象块。
如表1所示，对于应用ACT的编码对象块，在预测残差从RGB空间变换为YCgCo空间后，对Y分量的预测残差应用第一缩放列表，对Cg分量的预测残差应用第二缩放列表，对Co分量的预测残差应用第三缩放列表。另一方面，对于不应用ACT的编码对象块，在预测残差保持RGB空间的状态下，对R分量的预测残差应用第一缩放列表，对G分量的预测残差应用第二缩放列表，对B分量的预测残差应用第三缩放列表。
[表1]
已知的是，通常RGB空间的亮度分量的多数集中于G分量，将亮度信号主要包含在G分量中作为前提设计用于RGB空间的图像的缩放列表。已知的是，亮度信号与色差信号相比较，包含较多的高频率分量，因此设计成应用于亮度信号的缩放列表与涉及成应用于色差信号的缩放列表在性质上有很大不同的可能性很高。
但是，通过将ACT应用于预测残差，针对不包含很多亮度信号的R分量设计的第一缩放列表应用于基于ACT的变换后的Y分量，因此导致应用了设计成应用于本来性质不同的分量的缩放列表，存在产生视觉上的劣化的可能性。
因此，本发明的目的在于即使在应用ACT的情况下也能够抑制图像质量的劣化。
参照附图对实施方式的编码装置以及解码装置进行说明。实施方式的编码装置以及解码装置分别进行由MPEG(运动图像专家组(Moving Picture Experts Group))代表的运动图像的编码以及解码。在以下的附图的记载中，对相同或类似的部分赋予相同或类似的附图标记。
＜编码装置＞
首先，对本实施方式的编码装置的构成进行说明。图1是示出本实施方式的编码装置1的构成的图。
如图1所示，编码装置1具有块分割部100、残差生成部110、切换部111、颜色空间变换部112、变换量化部120、量化控制部123、熵编码部130、逆量化逆变换部140、合成部150、环路滤波器160、存储器170以及预测部180。
块分割部100将构成运动图像的帧(或图像)单位的输入图像亦即原始图像分割成多个图像块，向残差生成部110输出通过分割得到的图像块。图像块的尺寸例如为32×32像素、16×16像素、8×8像素或4×4像素等。图像块的形状不限于正方形，也可以是长方形(非正方形)。图像块是编码装置1进行编码处理的单位(即，编码对象块)，并且是解码装置进行解码处理的单位(即，解码对象块)。有时将这样的图像块称为CU(编码单元(CodingUnit))。
在本实施方式中，主要对输入图像是RGB信号、色度格式是4：4：4的情况进行说明。RGB空间是第一颜色空间的一个示例。“R”分量相当于第一分量，“G”分量相当于第二分量，“B”分量相当于第三分量。块分割部100通过分别针对构成图像的R分量、G分量以及B分量进行块分割，来输出块。在以下的编码装置的说明中，在不区别各分量时，只称为编码对象块。
残差生成部110计算预测残差，所述预测残差表示块分割部100输出的编码对象块与预测部180对编码对象块进行预测得到的预测块的差分(误差)。具体而言，残差生成部110通过从编码对象块的各像素值减去预测块的各像素值来计算预测残差，向切换部111输出计算出的预测残差。在本实施方式中，残差生成部110根据各分量的编码对象块与各分量的预测块的差分，生成各分量的预测残差。
切换部111向变换量化部120以及颜色空间变换部112中的任意一方输出残差生成部110输出的各分量的预测残差。在不进行颜色空间变换处理(ACT)的情况下，切换部111向变换量化部120输出预测残差，在进行颜色空间变换处理的情况下，切换部111向颜色空间变换部112输出预测残差。
颜色空间变换部112针对各分量的预测残差进行颜色空间变换处理，向变换量化部120输出颜色空间变换处理后的预测残差。颜色空间变换部112通过针对编码对象块的预测残差的R分量、G分量以及B分量进行下述这样的变换计算，生成新的预测残差。
Co＝R－B
t＝B+(Co＞＞1)
Cg＝G－t
Y＝t+(Cg＞＞1)
其中，“＞＞”表示右移运算。另外，“Y”分量相当于第一分量，“Gg”分量相当于第二分量，“Co”分量相当于第三分量。这样的YCgCo空间是第二颜色空间的一个示例。
颜色空间变换部112能够控制针对每个编码对象块是否进行颜色空间变换处理。熵编码部130在比特流中用信号发送表示针对该编码对象块是否进行了颜色空间变换处理的标记(ACT应用标记)。
另外，颜色空间变换部112中的颜色空间变换处理只要通过针对各分量的加法·减法·乘法·除法·移位处理等生成由新的分量构成的预测残差即可，无需一定进行颜色空间变换。另外，颜色空间变换处理无需是对全部的分量造成影响的变换。例如，颜色空间变换部112也可以应用不变更并维持第一分量、将第二分量与第三分量的平均值作为新的第二分量、将第二分量与第三分量的差分作为新的第三分量这样的颜色空间变换处理。
变换量化部120以块单位进行变换处理以及量化处理。变换量化部120具有变换部121以及量化部122。
变换部121针对切换部111或颜色空间变换部112输出的预测残差(无论有无应用颜色空间变换处理都称为预测残差)进行变换处理，计算变换系数，向量化部122输出计算出的变换系数。具体而言，变换部121通过针对预测残差以块单位进行变换处理，由此生成每个分量的变换系数。变换处理例如可以是离散余弦变换(DCT)、离散正弦变换(DST)和/或离散小波变换等频率变换。另外，变换部121向熵编码部130输出与变换处理有关的信息。
变换处理包括在HEVC(高效率视频编码(High Efficiency Video Codec))、VVC(通用视频编码(Versatile Video Coding))标准方案中采用的不进行变换处理的变换跳过。在HEVC的变换跳过模式下，通过在不进行水平变换处理以及垂直变换处理的情况下对预测残差实施缩放，来作为变换系数，但是本实施方式的变换跳过也包括仅应用水平变换处理的变换、仅应用垂直变换处理的变换。另外，变换部121也可以进行对通过变换处理得到的变换系数进一步应用变换处理的二次变换处理。另外，二次变换处理可以仅应用于变换系数的一部分区域。
量化控制部123确定用于针对由变换部121生成的变换系数的量化处理的缩放列表(量化矩阵)。在此，作为缩放列表，预先规定全部的缩放列表的元素的值都相等(例如全部元素的值都为16)的均匀(平坦的)缩放列表。量化控制部123可以设定多个针对每个元素设定不同值的不均匀缩放列表。另外，在用小尺寸定义用于尺寸大的块的缩放列表、在实际使用时放大的情况下，不一定对全部的元素设定不同的值。熵编码部130流式输出表示使用哪个缩放列表进行量化处理的信息。另外，不均匀缩放列表也是能够设定至少部分不同的值作为缩放列表的元素的值的缩放列表亦即可变缩放列表。
在本实施方式中，量化控制部123基于颜色空间变换部112是否进行颜色空间变换处理，确定缩放列表。具体而言，在设定使用缩放列表的元素的值至少部分不同的不均匀缩放列表的主旨的情况下，量化控制部123基于颜色空间变换部112是否进行颜色空间变换处理(即，切换部111是否向颜色空间变换部112输出了预测残差)，确定使用不均匀缩放列表或使用均匀缩放列表。
例如，在颜色空间变换部112不进行颜色空间变换处理的情况下，量化控制部123确定不均匀缩放列表作为量化部122用于量化处理的缩放列表。另一方面，在颜色空间变换部112进行颜色空间变换处理的情况下，量化控制部123确定均匀缩放列表作为量化部122用于量化处理的缩放列表。
在本文中，由于针对每个颜色分量设定不均匀缩放列表，所以根据作为对象的分量，性质不同。因此，当在一个图像(picture)内混合存在应用ACT的编码对象块与不应用ACT的编码对象块的情况下，如果应用不均匀缩放列表，则会引起图像质量的劣化。在本实施方式中，在颜色空间变换部112进行颜色空间变换处理的情况(即，应用ACT的情况)下，通过使用均匀缩放列表，能够抑制图像质量的劣化。
量化部122使用量化参数以及缩放列表对从变换部121输出的变换系数进行量化，向熵编码部130以及逆量化逆变换部140输出量化后的变换系数。在此，由量化控制部123确定用于量化部122中的量化处理的缩放列表。另外，量化部122向熵编码部130以及逆量化部141输出与量化处理有关的信息(具体而言，在量化处理中使用的量化参数以及缩放列表的信息)。
另外，量化参数是针对一个块设定一个值的参数。具体而言，量化参数是共同应用于块内的各变换系数的参数，并且是确定量化的粗糙度(步长(step size))的参数。
缩放列表构成由针对一个块内的每个分量设定的值构成的矩阵(量化矩阵)。具体而言，缩放列表由根据块尺寸对i×j个元素的每个分量设定的值(加权系数)构成，用于针对变换系数的从低频一直到高频的每个分量调整量化的粗糙度。熵编码部130将不均匀缩放列表用信号发送至解码侧。另外，这样的不均匀缩放列表也可以被称为用户定义的缩放列表，还可以被称为明示的缩放列表
熵编码部130针对量化部122输出的量化变换系数进行熵编码，进行数据压缩，生成比特流(编码数据)，向解码侧输出比特流。熵编码可以使用哈夫曼编码和/或CABAC(基于上下文的自适应二进制算术编码(Context-based Adaptive Binary ArithmeticCoding))等。另外，熵编码部130将从变换部121输入的与变换处理有关的信息包含在比特流中用信号发送至解码侧，或将从预测部180输入的与预测处理有关的信息包含在比特流中用信号发送至解码侧。此外，熵编码部130针对每个编码对象块将表示有无应用ACT的颜色空间变换标记包含在比特流中用信号发送至解码侧。此外，熵编码部130针对每个编码对象块将表示有无应用ACT的颜色空间变换标记包含在比特流中用信号发送至解码侧。在下文中，将这样的颜色空间变换标记也称为ACT应用标记。在ACT应用标记为开(“1”)的情况下，表示ACT应用于对应的编码对象块。在ACT应用标记为关(“0”)的情况下，表示ACT应用于对应的编码对象块。另外，也可以代替ACT应用标记使用非ACT应用标记。在该情况下，在非ACT应用标记为开(“1”)的情况下，表示ACT未应用于对应的编码对象块。在非ACT应用标记为关(“0”)的情况下，表示ACT应用于对应的编码对象块。
逆量化逆变换部140以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部140具有逆量化部141以及逆变换部142。
逆量化部141进行与量化部122进行的量化处理对应的逆量化处理。具体而言，逆量化部141通过使用量化参数(Qp)以及缩放列表对量化部122输出的量化变换系数进行逆量化，来复原变换系数，向逆变换部142输出复原后的变换系数。在此，由量化控制部123确定用于逆量化部141中的逆量化处理的缩放列表。
逆变换部142基于变换部121输出的变换类别信息，进行与变换部121进行的变换处理对应的逆变换处理。例如，在变换部121进行了离散余弦变换的情况下，逆变换部142进行逆离散余弦变换。逆变换部142针对逆量化部141输出的变换系数进行逆变换处理，复原预测残差，向合成部150输出复原后的预测残差亦即复原预测残差。
合成部150将逆变换部142输出的复原预测残差与预测部180输出的预测块以像素单位合成。合成部150将复原预测残差的各像素值与预测块的各像素值相加，对编码对象块进行解码(重构)，向环路滤波器160输出已解码块。另外，已解码块有时也被称为重构块。
环路滤波器160对合成部150输出的已解码块进行滤波处理，向存储器170输出滤波处理后的已解码块。
存储器170存储环路滤波器160输出的滤波处理后的已解码块，以帧单位存储已解码块作为已解码图像。存储器170向预测部180输出存储的已解码块或已解码图像。
预测部180以块单位进行预测处理。预测部180通过实施针对编码对象块的帧内预测以及帧间预测等预测处理，生成每个分量的预测块。本实施方式的预测部180具有帧间预测部181、帧内预测部182以及切换部183。
帧间预测部181进行利用帧间相关性的帧间预测。具体而言，帧间预测部181使用存储在存储器170中的已解码图像作为参照图像，通过块匹配等方法计算运动矢量，对编码对象块进行预测，生成帧间预测块，向切换部183输出生成的帧间预测块。在此，帧间预测部181从使用多个参照图像的帧间预测(典型而言，双预测)、使用一个参照图像的帧间预测(单方向预测)中选择最合适的帧间预测方法，使用选择出的帧间预测方法进行帧间预测。帧间预测部181向熵编码部130输出与帧间预测有关的信息(运动矢量等)。
帧内预测部182进行利用帧内的空间相关性的帧内预测。具体而言，帧内预测部182参照存储于存储器170的已解码图像中的位于编码对象块周围的已解码像素，生成帧内预测块，向切换部183输出生成的帧内预测块。帧内预测部182从多个帧内预测模式中选择应用于编码对象块的帧内预测模式，使用选择出的帧内预测模式，对编码对象块进行预测。
切换部183在帧间预测部181输出的帧间预测块与帧内预测部182输出的帧内预测块之间进行切换，向残差生成部110以及合成部150输出任一种预测块。
这样，本实施方式的编码装置1对分割图像而生成的编码对象块的每一个进行编码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成。编码装置1具有：预测部180，针对每个分量生成与编码对象块对应的预测块；残差生成部110，针对每个分量生成表示编码对象块与预测块的差的预测残差；颜色空间变换部，对预测残差进行颜色空间变换处理；变换部121，通过对预测残差进行变换处理，来生成变换系数；量化控制部123，确定用于对变换系数的量化处理的缩放列表；以及量化部122，使用所确定的缩放列表，对变换系数进行量化处理。
接着，对本实施方式的量化控制部123的操作进行说明。图2是示出本实施方式的量化控制部123的操作的图。量化控制部123针对每个编码对象块进行图2的操作。另外，图2的操作是将设定基于ACT(颜色空间变换处理)以外的因素使用不均匀缩放列表的主旨作为前提的操作。具体而言，图2的操作是将使不均匀缩放列表能够(enable)应用于该编码对象块所属的序列并且使ACT能够应用于该序列作为前提的操作。
如图2所示，在步骤S11中，量化控制部123判断针对编码对象块是否应用ACT(颜色空间变换处理)(即，与该编码对象块对应的ACT应用标记是否为开)。
在针对编码对象块不应用ACT的情况下(步骤S11：否)，在步骤S12中，量化控制部123确定不均匀缩放列表作为用于与该编码对象块对应的量化处理的缩放列表。不均匀缩放列表也可以是配合RGB空间的各分量的特性而设计的缩放列表。例如，不均匀缩放列表可以是将亮度信号主要包含在G分量中作为前提而设计的缩放列表。例如，量化控制部123针对R分量的预测残差应用不均匀的第一缩放列表，针对G分量的预测残差应用不均匀的第二缩放列表，针对B分量的预测残差应用不均匀的第三缩放列表。
另一方面，在针对编码对象块应用ACT的情况下(步骤S11：是)，在步骤S13中，量化控制部123确定均匀缩放列表作为用于与该编码对象块对应的量化处理的缩放列表。均匀缩放列表是事先设定的缩放列表，即是在编码侧以及解码侧预先共有的缩放列表。例如，量化控制部123针对Y分量的预测残差、Cg分量的预测残差、以及Co分量的预测残差分别应用均匀缩放列表。
这样，在应用ACT的情况下，本实施方式的编码装置1使用均匀缩放列表。由此，即使当在一个图像(picture)内混合存在有应用ACT的编码对象块与未应用ACT的编码对象块的情况下，也能够抑制图像质量的劣化。
＜解码装置＞
接着，以与编码装置1的不同点为主对本实施方式的解码装置进行说明。图3是示出本实施方式的解码装置2的构成的图。
如图3所示，解码装置2具有熵解码部200、逆量化逆变换部210、逆量化控制部214、切换部215、颜色空间逆变换部216、合成部220、环路滤波器230、存储器240以及预测部250。
熵解码部200对编码数据(比特流)进行解码，向逆量化逆变换部210输出与解码对象块对应的量化变换系数。另外，熵解码部200取得与变换处理以及量化处理有关的信息，向逆量化逆变换部210输出与变换处理以及量化处理有关的信息。此外，熵解码部200取得与预测处理有关的信息，向预测部250输出与预测处理有关的信息。熵解码部200取得每个编码对象块的颜色空间变换标记，向逆量化控制部214以及切换部215输出取得的颜色空间变换标记。
逆量化控制部214基于颜色空间变换标记，进行与编码装置1的量化控制部123同样的操作(参照图2)。
逆量化逆变换部210以块单位进行逆量化处理以及逆变换处理。逆量化逆变换部210具有逆量化部211以及逆变换部212。
逆量化部211进行与编码装置1的量化部122进行的量化处理对应的逆量化处理。逆量化部211通过使用量化参数(Qp)以及缩放列表对熵解码部200输出的量化变换系数进行逆量化，来复原解码对象块的变换系数，向逆变换部212输出复原后的变换系数。在此，由逆量化控制部214确定用于逆量化部211的逆量化处理的缩放列表。
逆变换部212进行与编码装置1的变换部121进行的变换处理对应的逆变换处理。逆变换部212针对逆量化部211输出的变换系数进行逆变换处理，复原预测残差，向切换部215输出复原后的预测残差(复原预测残差)。
切换部215基于颜色空间变换标记，向合成部220以及颜色空间逆变换部216中的任一方输出逆变换部212输出的各分量的预测残差。在未进行颜色空间逆变换处理(ACT)的情况下，切换部215向合成部220输出预测残差，在进行颜色空间逆变换处理的情况下，切换部215向颜色空间逆变换部216输出预测残差。
颜色空间逆变换部216进行编码装置1的颜色空间变换部112进行的颜色空间变换处理的逆处理亦即颜色空间逆变换处理，向合成部220输出颜色空间逆变换处理后的预测残差。具体而言，使用复原后的预测残差的Y分量、Cg分量、Co分量，进行述这样的逆变换计算。
t＝Y－(Cg＞＞1)
G＝Cg+t
B＝t－(Co＞＞1)
R＝Co+B
合成部220通过将切换部215或颜色空间逆变换部216输出的预测残差与预测部250输出的预测块以像素单位合成，来对原始的块进行解码(重构)，向环路滤波器230输出已解码块。
环路滤波器230针对合成部220输出的已解码块进行滤波处理，向存储器240输出滤波处理后的已解码块。
存储器240存储合成部220输出的已解码块，以帧单位储存已解码块作为已解码图像。存储器240向预测部250输出已解码块或已解码图像。另外，存储器240向解码装置2的外部输出帧单位的已解码图像。
预测部250以块单位对每个分量进行预测。预测部250具有帧间预测部251、帧内预测部252以及切换部253。
帧间预测部251进行利用了帧间相关性的帧间预测。具体而言，帧间预测部251基于熵解码部200输出的与帧间预测有关的信息(例如，运动矢量信息)，使用存储在存储器240中的已解码图像作为参照图像，对编码对象块进行预测，生成帧间预测块，向切换部253输出生成的帧间预测块。
帧内预测部252进行利用了帧内的空间相关性的帧内预测。具体而言，帧内预测部252使用基于熵解码部200输出的与帧内预测有关的信息(例如，帧内预测模式信息)的帧内预测模式，参照存储于存储器240的已解码图像中的位于编码对象块周围的已解码像素，生成帧内预测块，向切换部253输出生成的帧内预测块。
切换部253在帧间预测部251输出的帧间预测块与帧内预测部252输出的帧内预测块之间进行切换，向合成部220输出任一种预测块。
这样，本实施方式的解码装置2对分割图像而生成的解码对象块的每一个进行解码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成。解码装置2具有：熵解码部200，针对每个分量从比特流对解码对象块的量化变换系数进行解码；预测部250，针对每个分量生成与解码对象块对应的预测块；逆量化控制部214，确定用于逆量化处理的缩放列表；逆量化部211，通过使用所确定的缩放列表对量化变换系数进行逆量化处理，来生成变换系数；逆变换部212，通过对所述变换系数进行逆变换处理，来生成预测残差；颜色空间逆变换部216，对预测残差进行颜色空间逆变换处理；以及合成部220，通过将预测残差与预测块合成，来生成解码块。
逆量化控制部214基于颜色空间逆变换处理(颜色空间变换标记)确定缩放列表。在本实施方式中，在编码侧设定使用不均匀缩放列表的主旨的情况下，逆量化控制部214基于颜色空间逆变换部216是否进行颜色空间逆变换处理，确定使用不均匀缩放列表或使用均匀缩放列表。
例如，在编码侧设定使用不均匀缩放列表的主旨的情况下，在颜色空间逆变换部216未进行颜色空间逆变换处理的情况下，逆量化控制部214确定不均匀缩放列表作为用于逆量化处理的缩放列表。在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214确定均匀缩放列表作为用于逆量化处理的缩放列表。
这样，在应用ACT的情况下，本实施方式的解码装置2使用均匀缩放列表。由此，即使当在一个图像(图片)内混合存在有应用ACT的编码对象块与未应用ACT的编码对象块的情况下，也能够抑制图像质量的劣化。
＜变形例1＞
接着，以与上述实施方式的不同点为主对实施方式的变形例1进行说明。
编码装置1的熵编码部130也可以输出序列参数集(SPS)或自适应参数集(APS)，序列参数集(SPS)或自适应参数集(APS)包含表示是否进行基于颜色空间变换处理的缩放列表的确定操作的信息(控制标记)。解码装置2的熵解码部200也可以取得SPS或APS，该SPS或APS包含表示是否进行基于颜色空间逆变换处理的缩放列表的确定操作的信息。
编码装置1的熵编码部130可以根据色度格式是否是4：4：4，用信号发送该控制标记，也可以构成为根据在SPS等中ACT是否能够应用于序列来控制该控制标记的信令。具体而言，可以构成为：仅在SPS中用信号发送表示ACT能够应用于编码对象序列的主旨的标记的情况下，用信号发送该控制标记。另外，也可以构成为：根据在APS中表示针对色差信号的缩放列表是否包含在该APS中的标记，控制该控制标记的信令。具体而言，可以构成为：仅在APS中包含针对所述色差信号的缩放列表的情况下，用信号发送该控制标记。
图4是示出熵编码部130输出的比特流的图。
如图4的(a)所示，比特流由多个NAL单元以及设置在各NAL单元的前头的起始码构成。起始码为4字节，控制成在NAL单元内不产生该0001(＝0x00000001)。如图4的(b)所示，各NAL单元由NAL单元头以及有效载荷构成。
图5是示出NAL单元的类型的图。根据NAL单元头内的nal_unit_type识别NAL单元的类型。NAL单元的类型分类为VCL(视频编码层(Video Coding Layer))类别与非VCL类别。VCL类别是与包含编码对象CTU(编码树单元(Coding Tree Unit))的切片的编码比特流对应的类别。VCL类别是例如与VPS(视频参数集(Video Parameter set))、SPS(序列参数集(Sequence Parameter Set))、PPS(图像参数集(Picture Parameter Set))以及APS(自适应参数集(Adaptation Parameter Set))等解码所需要的控制信息对应的类别。根据不同的NAL单元，分别用信号发送VPS、SPS、PPS以及APS。
图6是示出VPS、SPS、PPS以及APS的关系的图。
如图6所示，VPS具有自身的ID(vps_video_parameter_set_id)，从SPS参照。VPS存储与比特流的解码整体有关的信息。例如，VPS包含最大层个数以及DPB(解码图像缓存器(Decoded Picture Buffer))等信息。
SPS具有自身的ID(sps_seq_parameter_set_id)，从PPS参照。另外，SPS具有参照自身的VPS的ID(sps_video_parameter_set_id)。SPS存储序列的解码所需要的信息。例如，SPS包含色度格式、最大的宽度·高度、位深度、子图像信息(个数、各子图像的开始坐标、宽度、高度等)、各编码工具(各功能)的按序列单位的开·关控制和/或VUI(视频可用性信息(Video usability information))等信息。按序列单位的开·关控制的信息包含表示是否应用缩放列表的标记(sps_scaling_list_enebled_flag)。
PPS具有自身的ID(pps_pic_parameter_set_id)，从PH(图像头(PictureHeader))参照。另外，PPS具有参照自身的SPS的ID(pps_seq_parameter_set_id)。PPS存储图像(Picture)的解码所需要的信息。例如，PPS包含图像的宽度·高度、块分割信息(纵横的块数、各行·列的宽度·高度等的定义)、切片分割信息(切片分割形状(矩形/非矩形)和/或在矩形的情况下各矩形的宽度·高度方向的块数)等信息。
PH是每个图像的头信息。参照PH的是图像内的切片。由于切片能够隐含地识别包含自身的图像，所以无需定义PH的ID。另一方面，PH保持参照方的PPS的ID(ph_pic_parameter_set_id)。PH存储针对该图像的控制信息。例如，PH包含针对该图像的各编码工具(各功能)的开·关控制等信息。PH包含表示ALF、LMCS以及缩放列表的各个工具的应用开·关的信息。按图像单位的开·关控制的信息包含表示是否应用缩放列表的标记(ph_scaling_list_present_flag)。在应用一个以上的工具的情况下，PH包含存储该工具的参数信息的APS的ID。
APS是用于需要传送ALF、LMCS、缩放列表等比较多的参数的编码工具的参数传送用的语法结构。APS保持有自身的ID，该ID从PH参照。
通过在SPS中用信号发送本变形例的控制信息(控制标记)，由此即使在规定多个缩放列表的情况下，也能够通过一个控制标记控制量化处理，因此能够削减标记信息量。另一方面，通过在APS中用信号发送上述实施方式及其变形例的控制信息(控制标记)，能够根据颜色空间变换的应用确定是否控制应用于设定的多个缩放列表的每一个的缩放列表，因此能够进行更灵活的量化处理。
图7是示出本变形例的SPS(seq_parameter_set_rbsp)的一个示例的图。在此举出SPS作为示例进行说明，但是也可以将同样的语法结构应用于APS。
如图7所示，SPS包含表示是否使不均匀缩放列表能够应用于对应的序列的标记(sps_explicit_scaling_list_enabled_flag)以及表示是否使ACT能够应用于对应的序列的标记(sps_act_enabled_flag)。
此外，在标记(sps_explicit_scaling_list_enabled_flag)为开(“1”)并且标记(sps_act_enabled_flag)为开(“1”)的情况下，即在不均匀缩放列表以及ACT都处于使能的情况下，SPS包含表示是否能够应用均匀缩放列表的第一标记(sps_scaling_list_for_act_disabled_flag)。
在本变形例中，在第一标记(sps_scaling_list_for_act_disabled_flag)为开(“1”)的情况下，表示针对应用了ACT的块不应用不均匀缩放列表(即，应用均匀缩放列表)。另一方面，在第一标记(sps_scaling_list_for_act_disabled_flag)为关(“0”)的情况下，表示针对应用了ACT的块能够应用不均匀缩放列表。
这样，编码装置1的熵编码部130输出包含表示是否能够应用均匀缩放列表的第一标记的SPS。解码装置2的熵解码部200取得包含该第一标记的SPS。
接着，对本变形例的量化控制部123以及逆量化控制部214的操作进行说明。由于量化控制部123以及逆量化控制部214的操作是相同的，所以在此举出逆量化控制部214的操作作为示例进行说明。
图8是示出本变形例的逆量化控制部214的操作的图。逆量化控制部214针对每个解码对象块进行图8的操作。具体而言，图8的操作是使不均匀缩放列表能够应用于该解码对象块所属的序列并且使ACT能够应用于该序列作为前提的操作。
如图8所示，在步骤S11中，逆量化控制部214判断针对解码对象块是否应用颜色空间逆变换处理(ACT)(即，与该解码对象块对应的ACT应用标记是否为开)。
在针对解码对象块不应用ACT的情况下(步骤S11：否)，即在解码对象块为RGB空间的块的情况下，在步骤S12中，逆量化控制部214确定不均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。
另一方面，在针对解码对象块应用ACT的情况下(步骤S11：是)，即在解码对象块为YCgCo空间的块的情况下，在步骤S21中，逆量化控制部214判断第一标记(sps_scaling_list_for_act_disabled_flag)是否为开。
在第一标记(sps_scaling_list_for_act_disabled_flag)为开的情况下(步骤S21：是)，在步骤S13中，逆量化控制部214确定均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。另一方面，在第一标记(sps_scaling_list_for_act_disabled_flag)为关的情况下(步骤S21：否)，在步骤S12中，逆量化控制部214确定不均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。
＜变形例2＞
接着，以与上述实施方式及其变形例1的不同点为主对实施方式的变形例2进行说明。
在上述实施方式及其变形例1中，将不均匀缩放列表是面向RGB空间设计的作为前提。但是，在应用ACT的编码对象块的比例多的情况下，不均匀缩放列表也可以是面向YCgCo空间设计的。在本变形例中，设不均匀缩放列表是面向YCgCo空间设计的。
在本变形例中，在编码装置1设定使用不均匀缩放列表的主旨的情况下，在颜色空间变换部112不进行颜色空间变换处理(ACT)的情况下，量化控制部123确定均匀缩放列表作为缩放列表，在颜色空间变换部112进行颜色空间变换处理的情况下，量化控制部123确定不均匀缩放列表作为缩放列表。熵编码部130可以输出包含表示是否能够应用均匀缩放列表的第一标记的SPS或APS。
在本变形例中，在编码装置1设定使用不均匀缩放列表的主旨的情况下，在颜色空间逆变换部216未进行颜色空间逆变换处理(ACT)的情况下，逆量化控制部214确定均匀缩放列表作为缩放列表，在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214确定不均匀缩放列表作为缩放列表。熵解码部200也可以取得包含表示是否能够应用均匀缩放列表的第一标记的SPS或APS。
图9是示出本变形例的SPS(seq_parameter_set_rbsp)的一个示例的图。在此举出SPS作为示例进行说明，但是也可以将同样的语法结构应用于APS。
如图9所示，SPS包含表示是否使不均匀缩放列表能够应用于对应的序列的标记(sps_explicit_scaling_list_enabled_flag)、以及表示是否使ACT能够应用于对应的序列的标记(sps_act_enabled_flag)。
此外，在标记(sps_explicit_scaling_list_enabled_flag)为开(“1”)并且标记(sps_act_enabled_flag)为开(“1”)的情况下，即在不均匀缩放列表以及ACT都处于使能的情况下，SPS包含表示是否能够应用均匀缩放列表的第一标记(sps_scaling_list_for_non_act_disabled_flag)。
在本变形例中，在第一标记(sps_scaling_list_for_non_act_disabled_flag)为开(“1”)的情况下，表示针对不应用ACT的块不应用不均匀缩放列表(即，应用均匀缩放列表)。另一方面，在第一标记(sps_scaling_list_for_non_act_disabled_flag)为关(“0”)的情况下，表示针对不应用ACT的块能够应用不均匀缩放列表。
这样，编码装置1的熵编码部130输出包含表示是否能够应用均匀缩放列表的第一标记的SPS。解码装置2的熵解码部200取得包含该第一标记的SPS。
接着，对本变形例的量化控制部123以及逆量化控制部214的操作进行说明。由于量化控制部123以及逆量化控制部214的操作是相同的，所以在此举出逆量化控制部214的操作作为示例进行说明。
图10是示出本变形例的逆量化控制部214的操作的图。逆量化控制部214针对每个解码对象块进行图10的操作。具体而言，图10的操作是使不均匀缩放列表能够应用于该解码对象块所属的序列并且使ACT能够应用于该序列为前提的操作。
如图10所示，在步骤S31中，逆量化控制部214判断针对解码对象块是否应用颜色空间逆变换处理(ACT)(即，与该解码对象块对应的ACT应用标记是否为开)。
在针对解码对象块应用ACT的情况下(步骤S31：是)，即，在解码对象块为YCgCo空间的块的情况下，在步骤S34中，逆量化控制部214确定不均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。
另一方面，在针对解码对象块未应用ACT的情况下(步骤S31：否)，即，在解码对象块为RGB空间的块的情况下，在步骤S32中，逆量化控制部214判断第一标记(sps_scaling_list_for_non_act_disabled_flag)是否为开。
在第一标记(sps_scaling_list_for_non_act_disabled_flag)为开的情况下(步骤S32：是)，在步骤S33中，逆量化控制部214确定均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。另一方面，在第一标记(sps_scaling_list_for_non_act_disabled_flag)为关的情况下(步骤S32：否)，在步骤S34中，逆量化控制部214确定不均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。
＜变形例3＞
接着，以与上述实施方式及其变形例1、2的不同点为主对实施方式的变形例3进行说明。
在本变形例中，编码装置1指定不均匀缩放列表是面向RGB空间设计的还是面向YCgCo空间设计的。在不均匀缩放列表是面向RGB空间设计的情况下，成为与上述变形例1同样的操作，在不均匀缩放列表是面向YCgCo空间设计的情况下，成为与上述变形例2同样的操作。
如上所述，在编码装置1中，颜色空间变换处理(ACT)是针对预测残差进行从RGB空间向YCgCo空间的变换的处理。在本变形例中，熵编码部130输出包含表示不均匀缩放列表是面向RGB空间设计的还是面向YCgCo空间设计的第二标记的SPS或APS。
在编码装置1设定使用不均匀缩放列表的主旨、第一标记表示能够应用均匀缩放列表并且第二标记表示不均匀缩放列表面向RGB空间设计的情况下，在颜色空间变换部112未进行颜色空间变换处理的情况下，量化控制部123确定不均匀缩放列表作为缩放列表，在颜色空间变换部112进行颜色空间变换处理的情况，量化控制部123确定均匀缩放列表作为缩放列表。
另一方面，在编码装置1设定使用不均匀缩放列表的主旨、第一标记表示能够应用均匀缩放列表、并且第二标记表示不均匀缩放列表面向YCgCo空间设计的情况下，在颜色空间变换部112未进行颜色空间变换处理的情况下，量化控制部123确定均匀缩放列表作为缩放列表，在颜色空间变换部112进行颜色空间变换处理的情况下，量化控制部123确定不均匀缩放列表作为缩放列表。
如上所述，在解码装置2中，颜色空间逆变换处理(ACT)是针对预测残差进行从YCgCo空间向RGB空间的变换的处理。熵解码部200取得包含表示不均匀缩放列表是面向RGB空间设计的还是面向YCgCo空间设计的第二标记的SPS或APS。
在编码装置1设定使用不均匀缩放列表的主旨、第一标记表示能够应用均匀缩放列表并且第二标记表示不均匀缩放列表面向RGB空间设计的情况下，在颜色空间逆变换部216未进行颜色空间逆变换处理的情况下，逆量化控制部214确定不均匀缩放列表作为缩放列表，在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214确定均匀缩放列表作为缩放列表。
另一方面，在编码装置1设定使用不均匀缩放列表的主旨、第一标记表示能够应用均匀缩放列表、并且第二标记表示不均匀缩放列表是面向YCgCo空间设计的情况下，在颜色空间逆变换部216不进行颜色空间逆变换处理的情况下，逆量化控制部214确定均匀缩放列表作为缩放列表，在颜色空间逆变换部216进行颜色空间逆变换处理的情况下，逆量化控制部214确定不均匀缩放列表作为缩放列表。
图11是示出本变形例的SPS(seq_parameter_set_rbsp)的一个示例的图。在此举出SPS作为示例进行说明，但是也可以将同样的语法结构应用于APS。
如图11所示，SPS包含表示是否使不均匀缩放列表能够应用于对应的序列的标记(sps_explicit_scaling_list_enabled_flag)、以及表示是否使ACT能够应用于对应的序列的标记(sps_act_enabled_flag)。
另外，在标记(sps_explicit_scaling_list_enabled_flag)为开(“1”)并且标记(sps_act_enabled_flag)为开(“1”)的情况下，即，在不均匀缩放列表以及ACT都处于使能的情况下，SPS包含表示是否能够应用均匀缩放列表的第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)。
在本变形例中，在第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)为开(“1”)的情况下，表示针对与由第二标记指定的颜色空间不同的颜色空间的块不应用不均匀缩放列表(即，应用均匀缩放列表)。另一方面，在第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)为关(“0”)的情况下，表示不论由第二标记指定的颜色空间如何都应用不均匀缩放列表。
此外，在第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)为开(“1”)的情况下，SPS包含表示不均匀缩放列表是面向RGB空间设计的还是面向YCgCo空间设计的第二标记(sps_scaling_list_designate_rgb_flag)。
在第二标记(sps_scaling_list_designate_rgb_flag)为开(“1”)的情况下，表示不均匀缩放列表是面向RGB空间设计的。另一方面，在第二标记(sps_scaling_list_designate_rgb_flag)为关(“0”)的情况下，表示不均匀缩放列表是面向YCgCo空间设计的。
这样，编码装置1的熵编码部130输出包含表示是否能够应用均匀缩放列表的第一标记、以及表示不均匀缩放列表是面向RGB空间设计的还是面向YCgCo空间设计的第二标记的SPS。解码装置2的熵解码部200取得包含该第一标记以及第二标记的SPS。
接着，对本变形例的量化控制部123以及逆量化控制部214的操作进行说明。由于量化控制部123以及逆量化控制部214的操作是相同的，所以在此举出逆量化控制部214的操作作为示例进行说明。
图12是示出本变形例的逆量化控制部214的操作的图。逆量化控制部214针对每个解码对象块进行图12的操作。具体而言，图12的操作是将使不均匀缩放列表能够应用于该解码对象块所属的序列并且使ACT能够应用于该序列作为前提的操作。
如图12所示，在步骤S41中，逆量化控制部214判断第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)是否为开。
在第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)为关的情况下(步骤S41：否)，在步骤S44中，逆量化控制部214确定不均匀缩放列表作为用于与该解码对象块对应的逆量化处理的缩放列表。
另一方面，在第一标记(sps_scaling_list_for_alternative_colour_space_disabled_flag)为开的情况下(步骤S41：是)，在步骤S42中，逆量化控制部214判断ACT应用标记与第二标记(sps_scaling_list_designate_rgb_flag)是否相等。即，在步骤S42中，
·在ACT应用标记表示针对该块应用ACT的主旨并且第二标记表示缩放列表是为用于RGB空间而设计的主旨的情况下，或者
·在ACT应用标记表示针对该块不应用ACT的主旨并且第二标记表示缩放列表是面向YCgCo空间设计的主旨的情况下，逆量化控制部214判断在步骤S42中为是。图13是示出本变形例的ACT应用标记与第二标记的关系的图。如图13所示，在ACT应用标记与第二标记(sps_scaling_list_designate_rgb_flag)相等的情况下(步骤S42：是)，在步骤S43中，逆量化控制部214不应用不均匀缩放列表(即，应用均匀缩放列表)。与此相对，在ACT应用标记与第二标记(sps_scaling_list_designate_rgb_flag)不同的情况下(步骤S42：否)，在步骤S44中，逆量化控制部214应用不均匀缩放列表。
＜变形例的总结＞
总结上述变形例1至变形例3，可如下面的表2所示。在任一个变形例中，即使应用ACT的块与不应用ACT的块混合存在，也都能够抑制图像质量的劣化。
[表2]
＜其它实施方式＞
在上述实施方式中，也可以置换各标记的开的含义与关的含义。例如，可以代替disabled_flag使用enabled_flag，也可以代替enabled_flag使用disabled_flag。
可以提供使计算机执行上述的编码装置1进行的各处理的程序。另外，可以提供使计算机执行解码装置2进行的各处理的程序。程序可以存储于计算机可读介质。如果使用计算机可读介质，则可以将程序安装到计算机。在此，存储有程序的计算机可读介质可以是非暂时性存储介质。非暂时性存储介质没有特别的限定，例如可以是CD-ROM、DVD-ROM等存储介质。
可以将执行编码装置1进行的各处理的电路集成化，通过半导体集成电路(芯片组、SoC)构成编码装置1。可以将执行解码装置2进行的各处理的电路集成化，通过半导体集成电路(芯片组、SoC)构成解码装置2。
在上文中，参照附图对实施方式详细地进行了说明，但是具体的构成不限于上述构成，在不脱离主旨的范围内可以进行各种各样的设计变形等。
本申请要求第2020-075834号(2020年4月22日申请)日本专利申请的优先权，该日本专利申请的全部内容并入本申请说明书。

Claims (18)

1.一种编码装置，其特征在于，
所述编码装置对分割图像而生成的编码对象块的每一个进行编码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述编码装置具备：
预测部，针对每个分量生成与所述编码对象块对应的预测块；
残差生成部，针对每个分量生成预测残差，所述预测残差表示所述编码对象块与所述预测块的差；
颜色空间变换部，对每个所述分量的预测残差进行颜色空间变换处理；
变换部，通过对所述预测残差进行变换处理，来生成变换系数；
量化控制部，确定用于对所述变换系数的量化处理的缩放列表；
量化部，使用所确定的缩放列表，对所述变换系数进行所述量化处理；以及
熵编码部，
所述量化控制部基于所述颜色空间变换处理来确定所述缩放列表，
所述颜色空间变换处理是针对所述预测残差进行从第一颜色空间向第二颜色空间的变换的处理，
所述熵编码部输出包含标记的序列参数集或自适应参数集，所述标记表示可变缩放列表是面向所述第一颜色空间设计的还是面向所述第二颜色空间设计的，所述可变缩放列表能够设定至少部分不同的值作为所述缩放列表的元素的值。
2.根据权利要求1所述的编码装置，其特征在于，
在所述编码装置设定使用能够设定至少部分不同的值作为所述缩放列表的元素的值的所述可变缩放列表的情况下，所述量化控制部基于所述颜色空间变换部是否进行所述颜色空间变换处理，确定使用所述可变缩放列表或使用元素的值相等的均匀缩放列表。
3.根据权利要求2所述的编码装置，其特征在于，在所述编码装置设定使用所述可变缩放列表的情况下，所述量化控制部：
在所述颜色空间变换部未进行所述颜色空间变换处理的情况下，确定所述可变缩放列表作为所述缩放列表，
在所述颜色空间变换部进行所述颜色空间变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表。
4.根据权利要求3所述的编码装置，其特征在于，所述熵编码部输出包含第一标记的序列参数集或自适应参数集，所述第一标记表示是否能够应用所述均匀缩放列表。
5.根据权利要求4所述的编码装置，其特征在于，
在所述编码装置设定使用所述可变缩放列表、所述第一标记表示能够应用所述均匀缩放列表且所述标记表示所述可变缩放列表面向所述第一颜色空间设计的情况下，所述量化控制部：
在所述颜色空间变换部未进行所述颜色空间变换处理的情况下，确定所述可变缩放列表作为所述缩放列表，
在所述颜色空间变换部进行所述颜色空间变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表。
6.根据权利要求2所述的编码装置，其特征在于，在所述编码装置设定使用所述可变缩放列表的情况下，所述量化控制部：
在所述颜色空间变换部未进行所述颜色空间变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表，
在所述颜色空间变换部进行所述颜色空间变换处理的情况下，确定所述可变缩放列表作为所述缩放列表。
7.根据权利要求6所述的编码装置，其特征在于，所述熵编码部输出包含第一标记的序列参数集或自适应参数集，所述第一标记表示是否能够应用所述均匀缩放列表。
8.根据权利要求7所述的编码装置，其特征在于，
在所述编码装置设定使用所述可变缩放列表、所述第一标记表示能够应用所述均匀缩放列表且所述标记表示所述可变缩放列表是面向所述第二颜色空间设计的情况下，所述量化控制部：
在所述颜色空间变换部未进行所述颜色空间变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表，
在所述颜色空间变换部进行所述颜色空间变换处理的情况下，确定所述可变缩放列表作为所述缩放列表。
9.一种解码装置，其特征在于，所述解码装置对分割图像而生成的解码对象块的每一个进行解码，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述解码装置具备：
熵解码部，针对每个分量从比特流对所述解码对象块的量化变换系数进行解码；
预测部，针对每个分量生成与所述解码对象块对应的预测块；
逆量化控制部，确定用于逆量化处理的缩放列表；
逆量化部，通过使用所确定的缩放列表对所述量化变换系数进行所述逆量化处理，来生成变换系数；
逆变换部，对所述变换系数进行逆变换处理，来生成预测残差；
颜色空间逆变换部，对所述预测残差进行颜色空间逆变换处理；以及
合成部，通过将所述预测残差与所述预测块合成，来生成解码块，
所述逆量化控制部基于所述颜色空间逆变换处理，确定所述缩放列表，
所述颜色空间逆变换处理是针对所述预测残差进行从第二颜色空间向第一颜色空间的变换的处理，
所述熵解码部取得包含标记的序列参数集或自适应参数集，所述标记表示可变缩放列表是面向所述第一颜色空间设计的还是面向所述第二颜色空间设计的，所述可变缩放列表能够设定至少部分不同的值作为所述缩放列表的元素的值。
10.根据权利要求9所述的解码装置，其特征在于，
在编码侧设定使用能够设定至少部分不同的值作为所述缩放列表的元素的值的所述可变缩放列表的情况下，所述逆量化控制部基于所述颜色空间逆变换部是否进行所述颜色空间逆变换处理，确定使用所述可变缩放列表或使用元素的值相等的均匀缩放列表。
11.根据权利要求10所述的解码装置，其特征在于，在所述编码侧设定使用所述可变缩放列表的情况下，所述逆量化控制部：
在所述颜色空间逆变换部未进行所述颜色空间逆变换处理的情况下，确定所述可变缩放列表作为所述缩放列表，
在所述颜色空间逆变换部进行所述颜色空间逆变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表。
12.根据权利要求11所述的解码装置，其特征在于，
所述熵解码部取得包含第一标记的序列参数集或自适应参数集，所述第一标记表示是否能够应用所述均匀缩放列表。
13.根据权利要求12所述的解码装置，其特征在于，
在所述编码侧设定使用所述可变缩放列表、所述第一标记表示能够应用所述均匀缩放列表且所述标记表示所述可变缩放列表面向所述第一颜色空间设计的情况下，所述逆量化控制部：
在所述颜色空间逆变换部未进行所述颜色空间逆变换处理的情况下，确定所述可变缩放列表作为所述缩放列表，
在所述颜色空间逆变换部进行所述颜色空间逆变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表。
14.根据权利要求10所述的解码装置，其特征在于，在所述编码侧设定使用所述可变缩放列表的情况下，所述逆量化控制部：
在所述颜色空间逆变换部未进行所述颜色空间逆变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表，
在所述颜色空间逆变换部进行所述颜色空间逆变换处理的情况下，所述逆量化控制部确定所述可变缩放列表作为所述缩放列表。
15.根据权利要求14所述的解码装置，其特征在于，
所述熵解码部取得包含第一标记的序列参数集或自适应参数集，所述第一标记表示是否能够应用所述均匀缩放列表。
16.根据权利要求15所述的解码装置，其特征在于，
在所述编码侧设定使用所述可变缩放列表、所述第一标记表示能够应用所述均匀缩放列表且所述标记表示所述可变缩放列表是面向所述第二颜色空间设计的情况下，所述逆量化控制部：
在所述颜色空间逆变换部未进行所述颜色空间逆变换处理的情况下，确定所述均匀缩放列表作为所述缩放列表，
在所述颜色空间逆变换部进行所述颜色空间逆变换处理的情况下，确定所述可变缩放列表作为所述缩放列表。
17.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有程序，所述程序在被计算机执行时使计算机执行对分割图像而生成的编码对象块的每一个进行编码的编码处理，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述编码处理包括以下步骤：
预测步骤，针对每个分量生成与所述编码对象块对应的预测块；
残差生成步骤，针对每个分量生成预测残差，所述预测残差表示所述编码对象块与所述预测块的差；
颜色空间变换步骤，对每个所述分量的预测残差进行颜色空间变换处理；
变换步骤，通过对所述预测残差进行变换处理，来生成变换系数；
量化控制步骤，确定用于对所述变换系数的量化处理的缩放列表；
量化步骤，使用所确定的缩放列表，对所述变换系数进行所述量化处理；以及
熵编码步骤，
所述量化控制步骤基于所述颜色空间变换处理来确定所述缩放列表，
所述颜色空间变换处理是针对所述预测残差进行从第一颜色空间向第二颜色空间的变换的处理，
所述熵编码步骤输出包含标记的序列参数集或自适应参数集，所述标记表示可变缩放列表是面向所述第一颜色空间设计的还是面向所述第二颜色空间设计的，所述可变缩放列表能够设定至少部分不同的值作为所述缩放列表的元素的值。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，所述程序在被计算机执行时使计算机执行对分割图像而生成的解码对象块的每一个进行解码的解码处理，所述图像由包含第一分量、第二分量以及第三分量的三个以上的分量构成，所述解码处理包括以下步骤：
熵解码步骤，针对每个分量从比特流对所述解码对象块的量化变换系数进行解码；
预测步骤，针对每个分量生成与所述解码对象块对应的预测块；
逆量化控制步骤，确定用于逆量化处理的缩放列表；
逆量化步骤，通过使用所确定的缩放列表对所述量化变换系数进行所述逆量化处理，来生成变换系数；
逆变换步骤，对所述变换系数进行逆变换处理，来生成预测残差；
颜色空间逆变换步骤，对所述预测残差进行颜色空间逆变换处理；以及
合成步骤，通过将所述预测残差与所述预测块合成，来生成解码块，
所述逆量化控制步骤基于所述颜色空间逆变换处理，确定所述缩放列表，
所述颜色空间逆变换处理是针对所述预测残差进行从第二颜色空间向第一颜色空间的变换的处理，
所述熵解码步骤取得包含标记的序列参数集或自适应参数集，所标记表示可变缩放列表是面向所述第一颜色空间设计的还是面向所述第二颜色空间设计的，所述可变缩放列表能够设定至少部分不同的值作为所述缩放列表的元素的值。
CN202180005594.3A 2020-04-22 2021-04-20 编码装置、解码装置及程序 Active CN114503567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410333391.2A CN118018732A (zh) 2020-04-22 2021-04-20 编码装置、解码装置及计算机可读存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020075834 2020-04-22
JP2020-075834 2020-04-22
PCT/JP2021/016100 WO2021215454A1 (ja) 2020-04-22 2021-04-20 符号化装置、復号装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410333391.2A Division CN118018732A (zh) 2020-04-22 2021-04-20 编码装置、解码装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114503567A CN114503567A (zh) 2022-05-13
CN114503567B true CN114503567B (zh) 2024-04-12

Family

ID=78269113

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180005594.3A Active CN114503567B (zh) 2020-04-22 2021-04-20 编码装置、解码装置及程序
CN202410333391.2A Pending CN118018732A (zh) 2020-04-22 2021-04-20 编码装置、解码装置及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410333391.2A Pending CN118018732A (zh) 2020-04-22 2021-04-20 编码装置、解码装置及计算机可读存储介质

Country Status (4)

Country Link
US (2) US11647191B2 (zh)
JP (3) JP7142187B2 (zh)
CN (2) CN114503567B (zh)
WO (1) WO2021215454A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105284111A (zh) * 2013-03-28 2016-01-27 Kddi株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883184B2 (en) * 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
WO2020253864A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Selective enablement of adaptive in-loop color-space transform in video coding
CN114846804A (zh) * 2019-12-20 2022-08-02 韦勒斯标准与技术协会公司 视频信号处理方法及其设备
US11425400B2 (en) * 2020-04-20 2022-08-23 Qualcomm Incorporated Adaptive scaling list control for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105284111A (zh) * 2013-03-28 2016-01-27 Kddi株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AIIG15：Scaling matrices for LFNST-coded blocks;Adarsh K. Ramasubramoaian et al.;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11(第JVET-P0365期);全文 *
On QP Adjustment for Adaptive Color Transform;Takeshi Tsukuba et al.;Joint Video Experts Team(JVET) of ITE-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,(第JVET-Q0098期);全文 *
scaling list for adaptive colour transform;Shunsuke Iwamura et al.;Joint Video Experts Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC,JTC 1/SC 29/WG 11)(第JVET-R0380期);全文 *

Also Published As

Publication number Publication date
JP7142187B2 (ja) 2022-09-26
US20230239473A1 (en) 2023-07-27
JP2022172371A (ja) 2022-11-15
CN114503567A (zh) 2022-05-13
JP7366216B2 (ja) 2023-10-20
US11647191B2 (en) 2023-05-09
JP2023179648A (ja) 2023-12-19
JPWO2021215454A1 (zh) 2021-10-28
US20220210409A1 (en) 2022-06-30
CN118018732A (zh) 2024-05-10
WO2021215454A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
CA2939434C (en) Adaptive switching of color spaces, color sampling rates and/or bit depths
CN107113431B (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
US11695955B2 (en) Image encoding device, image decoding device and program
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
US11936885B2 (en) Decoding device, program, and decoding method
CN114503567B (zh) 编码装置、解码装置及程序
US20220210417A1 (en) Encoding device, decoding device and program
US20220210420A1 (en) Encoding device, decoding device and program
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
EP2741487A1 (en) Video coding and decoding methods and corresponding devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant