CN114258678A - 图像解码装置、图像解码方法和程序 - Google Patents

图像解码装置、图像解码方法和程序 Download PDF

Info

Publication number
CN114258678A
CN114258678A CN202080058476.4A CN202080058476A CN114258678A CN 114258678 A CN114258678 A CN 114258678A CN 202080058476 A CN202080058476 A CN 202080058476A CN 114258678 A CN114258678 A CN 114258678A
Authority
CN
China
Prior art keywords
quantization parameter
value
target block
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058476.4A
Other languages
English (en)
Inventor
海野恭平
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN114258678A publication Critical patent/CN114258678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的图像解码装置(200)具备量化参数导出部(220A),该量化参数导出部(220A)被配置为,在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。

Description

图像解码装置、图像解码方法和程序
技术领域
本发明涉及一种图像解码装置、图像解码方法和程序。
背景技术
非专利文献1公开了一种在逆量化时使用的量化参数的解码方法。
现有技术文献
非专利文献
非专利文献1:Versatile Video Coding(Draft 7)、JVET-N2001
发明内容
发明要解决的课题
然而,本申请的发明人在非专利文献1中发现了如下问题:解码的量化参数的值有可能为负值。
因此,本发明是鉴于上述课题而完成的,其目的在于提供一种能够确保量化参数的值始终为“0”以上的图像解码装置、图像解码方法和程序。
用于解决课题的手段
本发明的第一特征的主旨在于,一种图像解码装置,其具备量化参数导出部,该量化参数导出部被配置为,在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
本发明的第二特征的主旨在于,一种图像解码方法,其具有以下步骤:在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
本发明的第三特征的主旨在于,一种程序,其用在图像解码装置中,其使计算机执行以下步骤:在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
发明效果
根据本发明,能够提供一种能够确保量化参数的值始终为“0”以上的图像解码装置、图像解码方法和程序。
附图说明
图1是示出一个实施方式的图像处理系统10的结构的一个示例的图。
图2是示出一个实施方式的图像解码装置200的功能块的一个示例的图。
图3是示出一个实施方式的图像解码装置200的逆变换和逆量化部220的功能块的一个示例的图。
图4是示出一个实施方式的图像解码装置200的逆变换和逆量化部220的量化参数导出部220A的处理流程的一个示例的流程图。
图5是示出一个实施方式的图像解码装置200的帧内预测部240的功能块的一个示例的图。
图6是示出由一个实施方式的图像解码装置200的帧内预测部240的帧内预测模式解码部242B进行的色度信号的帧内预测模式的解码处理流程的一个示例的流程图。
图7是示出由一个实施方式的图像解码装置200的帧内预测部240的预测信号生成部242C进行的对亮度CU或色度CU应用BDPCM的情况下的处理流程的一个示例的流程图。
图8是示出一个实施方式的图像解码装置200的环内滤波处理部250的功能块的一个示例的图。
图9是示出一个实施方式的图像解码装置200的环内滤波处理部250的去块滤波部250A的功能块的一个示例的图。
图10是用于说明由一个实施方式的图像解码装置200的环内滤波处理部250的去块滤波部250A的边界强度判定部253A/253B进行的边界强度的判定方法的一个示例的图。
图11是用于说明TPM、GEO的权重系数的图。
图12是示出一个实施方式的图像解码装置200的环内滤波处理部250的滤波处理部255A/255B的处理流程的一个示例的流程图。
图13是示出一个实施方式的图像解码装置200的环内滤波处理部250的自适应环路滤波部250C的功能块的一个示例的图。
图14是示出一个实施方式的图像解码装置200的环内滤波处理部250的自适应环路滤波部250C的Cb CC-ALF部257A中的滤波处理和边界部分处的处理的一个示例的图。
图15是示出一个实施方式的图像解码装置200的环内滤波处理部250的自适应环路滤波部250C的Cb CC-ALF部257A中的滤波处理和边界部分处的处理的一个示例的图。
图16是示出一个实施方式的图像编码装置100的功能块的一个示例的图。
图17是示出一个实施方式的图像编码装置100的帧内预测部112的功能块的一个示例的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。此外,以下的实施方式中的构成要素可以适当地与现有的构成要素等进行置换,另外,可以进行包括与其他现有的构成要素的组合在内的各种变形。因此,以下的实施方式的记载并非对权利要求书所记载的发明的内容的限定。
(第一实施方式)
以下,参照图1至图17对本发明的第一实施方式的图像处理系统10进行说明。图1是示出本实施方式的图像处理系统10的图。
如图1所示,图像处理系统10具有图像编码装置100和图像解码装置200。
图像编码装置100被配置为通过对输入图像信号进行编码来生成编码数据。图像解码装置200被配置为通过对编码数据进行解码来生成输出图像信号。
其中,这样的编码数据可以经由传输路径从图像编码装置100发送到图像解码装置200。另外,编码数据也可以保存在存储介质中从图像编码装置100提供至图像解码装置200。
(图像解码装置200)
以下,参照图2对本实施方式的图像解码装置200进行说明。图2是示出本实施方式的图像解码装置200的功能块的一个示例的图。
如图2所示,图像解码装置200具有解码部210、逆变换和逆量化部220、加法器230、帧间预测部241、帧内预测部242、环内滤波处理部250和帧缓冲器260。
解码部210被配置为,对由图像编码装置100生成的编码数据进行解码,并且对系数等级值进行解码。
其中,例如,解码是基于系数等级值的发生概率来分配不同长度的代码的已熵编码的数据的解码。
解码部210也可以被配置为通过编码数据的解码处理来获取控制数据。
其中,控制数据可以包括编码块(CU:Coding Unit)尺寸、预测块(PU:PredictionUnit)尺寸、变换块(TU:Transform Unit)尺寸等尺寸数据。
逆变换和逆量化部220被配置为,进行从解码部210输出的系数等级值的逆变换处理。其中,逆变换和逆量化部220也可以被配置为,在逆变换处理之前进行系数等级值的逆量化。
另外,逆变换和逆量化部220也可以被配置为,如后述那样按每个块对量化参数(QP:Quantization Parameter)进行解码,该量化参数是定义在逆量化时使用的量化步长的参数。
另外,逆变换和逆量化部220也可以被配置为,在应用了后述的变换跳过模式(Transform Skip)的块中不进行逆变换处理。
加法器230被配置为,将预测信号与从逆变换和逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号,并且将滤波处理前解码信号输出到帧内预测部242和环内滤波处理部250。
其中,滤波处理前解码信号构成帧内预测部242中使用的参考块。
帧间预测部241被配置为通过帧间预测(inter-frame prediction)来生成预测信号。
具体地,帧间预测部241被配置为,基于从编码数据解码的运动矢量和参考帧中包含的参考信号,为每个预测块生成预测信号。帧间预测部241被配置为将预测信号输出到加法器230。
其中,帧间预测部241可以具备多个模式作为帧间预测的具体方法。例如,帧间预测部241可以具备后述的TPM(Triangle Partition Mode:三角划分模式)、GEO(Geometrical Partitioning:几何划分)模式。
帧内预测部242被配置为通过帧内预测(intra-frame prediction)来生成预测信号。
具体地,帧内预测部242被配置为,确定目标帧中包含的参考块,并且基于所确定的参考块为每个预测块生成预测信号。帧内预测部242被配置为将预测信号输出到加法器230。
环内滤波处理部250被配置为,对从加法器230输出的滤波处理前解码信号进行滤波处理,并且将滤波处理后解码信号输出到帧缓冲器260。
其中,环内滤波处理可以由多种滤波处理构成。例如,滤波处理是减少在块(编码块、预测块、变换块或者将它们分割而成的子块)的边界部分产生的失真的去块滤波处理、基于从图像编码装置100传输的滤波器系数、滤波器选择信息、图像的图案的局部特性等切换滤波器的自适应环路滤波处理。
帧缓冲器260被配置为累积帧间预测部241中使用的参考帧。
其中,滤波处理后解码信号构成帧间预测部241中使用的参考帧。
(逆变换和逆量化部220)
以下,参照图3对本实施方式的逆变换和逆量化部220进行说明。图3是示出本实施方式的图像解码装置200的逆变换和逆量化220的功能块的一个示例的图。
如图3所示,逆变换和逆量化220具备量化参数导出部220A、逆量化部220B和逆变换部220C。
量化参数导出部220A被配置为,将控制数据作为输入,按每个块对量化参数进行解码,并向逆量化部220B输出。
具体地,量化参数导出部220A被配置为,在根据是否对目标块应用了自适应颜色变换来校正目标块的已解码的量化参数的值之后,将校正后的量化参数的值和“0”以上的预定的值中的较大的值作为目标块的量化参数。
例如,量化参数导出部220A可以被配置为,在根据是否对目标块应用了自适应颜色变换来校正目标块的已解码的量化参数的值之后,将校正后的量化参数的值和“0”中的较大的值作为目标块的量化参数。
或者,量化参数导出部220A也可以被配置为,在未对目标块应用变换跳过模式的情况下,在根据是否对目标块应用了自适应颜色变换来校正目标块的已解码的量化参数的值之后,将校正后的量化参数的值和“0”中的较大的值作为目标块的量化参数。
或者,量化参数导出部220A也可以被配置为,在对目标块应用了变换跳过模式的情况下,无论是否对目标块应用了自适应颜色变换,都将目标块的量化参数的值设为变换跳过模式应用时的量化参数的最小值以上。
或者,量化参数导出部220A也可以被配置为,在对目标块应用了变换跳过模式的情况下,在根据是否对目标块应用了自适应颜色变换来校正已解码的量化参数的值之后,将校正后的量化参数的值和变换跳过模式应用时的量化参数的最小值中的较大的值作为目标块的量化参数。
或者,量化参数导出部220A也可以被配置为,在对目标块应用了变换跳过模式的情况下,无论是否对目标块应用了自适应颜色变换,都将目标块的量化参数的值设为“4”以上。
或者,量化参数导出部220A也可以被配置为,在对目标块应用了变换跳过模式的情况下,在根据是否对目标块应用了自适应颜色变换来校正目标块的已解码的量化参数的值之后,将校正后的量化参数的值和“4”中的较大的值作为目标块的量化参数。
对于量化参数导出部220A的具体处理内容的一个示例,将在后面进行描述。
逆量化部220B被配置为,将上述量化参数和从解码部210输出的系数等级值作为输入来进行逆量化处理,并且输出逆量化后的系数等级值。关于逆量化部220B的具体的处理,可以使用公知的方法,因此省略说明。
逆变换部220C被配置为,将由逆量化部220B输出的逆量化处理后的系数等级值作为输入来进行逆变换处理,并且输出残差信号。此外,关于逆变换部220C的具体的处理,可以使用公知的方法,因此省略说明。
此外,在对该块应用了变换跳过模式(Transform Skip)的情况下,也可以不进行逆变换部220C的处理,而将逆量化部220B的输出作为逆变换和逆量化部220的输出。关于是否对该块应用了Transform Skip,例如可以通过确认非专利文献1中的transform_skip_flag的值来进行判别。
图4是示出量化参数导出部220A的处理流程的一个示例的流程图。以下,参照图4对本实施方式的量化参数导出部220A的处理的一个示例进行说明。
如图4所示,在步骤S41中,量化参数导出部220A导出变量QpY的值。QpY例如可以与非专利文献1同样地通过下式来计算。
QpY=((qPY_PRED+CuQpDeltaVal+64+2×QpBdOffset)%(64+QpBdOffset))-QpBdOffset…(式1)
其中,qPY_PRED是从周围的块计算出的预测值。另外,CuQpDeltaVal是表示相邻块的QpY与目标块的QpY之间的差分的值,并且通过由解码部210对从图像编码装置100传输来的值进行解码而获得。QpBdOffset是根据像素值的内部位深度设定的正值。
作为这些变量的具体的计算方法,例如可以使用非专利文献1中记载的方法。
上述(式1)中的“+64+2×QpBdOffset”部分是为了确保运算符%之前的部分为“0”以上而加上的,通过(式1)计算出的QpY的值的最小值为“-QpBdOffset”。
在步骤S42中,量化参数导出部220A计算亮度信号的量化参数值即Qp’Y。例如,量化参数导出部220A可以与非专利文献1同样地通过以下的(式2)来计算Qp’Y。
Qp’Y=QpY+QpBdOffset…(式2)
其中,如上所述,QpY的最小值为“-QpBdOffset”,因此Qp’Y的最小值为“0”。
在步骤S43中,量化参数导出部220A计算色度信号的量化参数值即Qp’Cb、Qp’Cr、Cp’CbCr。
此外,实际上,关于使用了Cb信号、Cr信号、Joint Chroma Coding的功能的情况,分别定义量化参数Qp’Cb、Qp’Cr、Cp’CbCr,而计算方法基本相同,因此以下汇总起来仅对参数Qp’Cb的计算方法进行说明,省略对其他两个参数的说明。
例如,量化参数导出部220A可以与非专利文献1同样地通过以下的(式3)来计算Qp’Cb。
Qp’Cb=Clip3(-QpBdOffset,63,qPcb+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb)+QpBdOffset…(式3)
其中,qPcb是使用上述QpY计算的参数。pps_cb_qp_offset是由PPS(PictureParameter Set:图像参数集)指定的值。slice_cb_qp_offset是由Slice Header指定的值。CuQpOffsetCb通过由解码部210对从图像编码装置100传输来的值进行解码而获得。
作为这些参数的具体的计算方法,例如可以使用非专利文献1中记载的方法。
上述(式3)中的“Clip3(min,max,val)”为在变量val的值小于变量min的情况下返回“min”的值、在变量val的值大于变量max的情况下返回“max”的值、而在其他情况下直接返回“val”的值的函数。因此,(式3)的右边第一项的最小值为“-QpBdOffset”,在(式3)的右边第二项中,将(式3)的右边第一项的值加上“QpBdOffset”,因此Qp’Cb的最小值为“0”。
此外,以上说明的Qp’Y、Qp’Cb、Qp’Cr、Cp’CbCr的导出方法仅为一个示例。如果是各个值的最小值为“0”的导出方法,可以通过上述以外的方法来导出。
在步骤S44中,量化参数导出部220A如下校正如上述那样计算出的亮度信号的量化参数Qp’Y和色度信号的量化参数Qp’Cb、Qp’Cr、Cp’CbCr。
首先,考虑分别代入Qp’Y、Qp’Cb、Qp’Cr、Cp’CbCr而得到的变量qP。
在未对目标块的颜色信号(Y、Cb、Cr或CbCr)应用变换跳过(Transform Skip)的情况下(例如,在transform_skip_flag的值为“0”的情况下),量化参数导出部220A如以下的(式4)和(式5)所示那样进行校正。
qP=qP-(cu_act_enabled_flag?offset:0)…(式4)
qP=Max(0,qP)…(式5)
其中,cup_act_enabled_flag是表示是否对目标块应用了自适应颜色变换(Adaptive Color Transform:ACT)的标志,offset是正整数。另外,Max(a,b)是返回与a和b两个变量中的值较大的一方相同的值的函数。
另外,在对目标块应用了Transform Skip的情况下(例如,在transform_skip_flag的值为“1”的情况下),量化参数导出部220A如以下的(式6)所示那样进行校正。
qP=Max(QpPrimeTsMin,qP-(cu_act_enabled_flag?offset:0))…(式6)
其中,QpPrimeTsMin是对应用Transform Skip的块中的量化参数的最小值进行定义的变量。
另外,在对目标块应用Transform Skip的情况下(例如,在transform_skip_flag的值为“1”的情况下),量化参数导出部220A也可以如以下的(式7)和(式8)所示那样进行校正。
qP=Max(QpPrimeTsMin,qP)-(cu_act_enabled_flag?offset:0))…(式7)
qP=Max(4,qP)…(式8)
另外,量化参数导出部220A也可以针对每个颜色信号切换上述(式4)、(式6)和(式7)的变量offset的值。
例如,量化参数导出部220A在Y信号和Cb信号(在应用ACT时相当于Cg信号)的情况下(例如,在非专利文献1中的cIdx的值为“0”或“1”的情况下)能够设为“offset=5”,在Cr信号(在应用ACT时相当于Co信号)的情况下(例如,在非专利文献1中的cIdx的值为“2”的情况下)能够设为“offset=3”。
通过如上述那样校正量化参数的值,能够确保所有块的量化参数的值为“0”以上。
另外,在对目标块应用Transform Skip模式的情况下,例如,通过如上述(式6)那样进行校正,能够确保量化参数的值为“QpPrimeTsMin”以上。
通过采用这种结构,无论自适应颜色变换的应用与否,都能够将应用了TransformSkip的块中的量化参数的最小值统一。
另外,在对目标块应用Transform Skip的情况下,例如,通过如上述(式7)和(式8)那样进行校正,能够确保量化参数的值为“4”以上。在应用Transform Skip模式时“QP=4”的情况下,量化步长为“1”,能够进行无损解码,因此能够通过采用这种结构来防止量化参数的值非必要地减小。
另外,关于作为步骤S45说明的量化参数校正的处理,也能够分别在步骤S42和步骤S43中如以下的(式9)和(式10)所示那样进行。
Qp’Y=Max(MinVal,QpY+QpBdOffset-(cu_act_enabled_flag?offset:0))…(式6)
Qp’Cb=Clip3(-QpBdOffset+MinVal,63,qPcb+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb)+QpBdOffset…(式10)
其中,MinVal在未对目标块应用Transform Skip的情况下为“0”,在对目标块应用Transform Skip的情况下为“QpPrimeTsMin”。
通过采用上述结构,无论自适应颜色变换的应用与否,都能够确保量化参数的值必定为“0”以上。例如,在非专利文献1中,使用量化参数的值来进行余数计算,要求被除数为“0”以上,因此能够确保计算的稳定性。
另外,通过采用上述结构,无论自适应颜色变换的应用与否,都能够确保在应用Transform Skip的块中量化参数值为“QpPrimeTsMin”以上。
在应用Transform Skip时“QP=4”的情况下,量化步长为“1”,能够进行无损解码。因此,在定义为“QpPrimeTsMin=4”之后,如果进行上述处理,则能够防止在TransformSkip应用块中量化参数非必要地减小。
如上所述,能够针对每个块计算出与各颜色信号对应的量化参数值。
(帧内预测部242)
以下,参照图5对本实施方式的帧内预测部242进行说明。图5是示出本实施方式的图像解码装置200的帧内预测部242的功能块的一个示例的图。
如图5所示,帧内预测部242具有帧内预测模式解码部242B和预测信号生成部242C。
帧内预测部242是预测部的一个示例,其被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
帧内预测模式解码部242B被配置为对按每个块进行帧内预测所需的信息进行解码。
图6是示出由帧内预测模式解码部242B进行的色度信号的帧内预测模式的解码处理流程的一个示例的流程图。以下,参照图6对由帧内预测模式解码部242B进行的色度信号的帧内预测模式的解码处理流程的一个示例进行说明。
在步骤S601中,帧内预测模式解码部242B判定是否满足规定条件1。
这样的规定条件1可以包括如下条件:目标CU的宽度为应用Transform Skip时的最大尺寸(例如,非专利文献1的MaxTsSize)以下。
另外,这样的规定条件1也可以包括如下条件:目标CU的高度为应用TransformSkip时的最大尺寸(例如,非专利文献1的MaxTsSize)以下。
其中,帧内预测模式解码部242B可以将CU的宽度、高度设为与色度信号的采样比相应的色度信号的实际的CU尺寸(宽度/高度)。例如,在YUV4:2:0采样的情况下,色度信号的CU尺寸(宽度/高度)与亮度信号的情况相比减半。
另外,这样的规定条件1也可以包括如下条件:在SPS(Sequence Parameter Set:序列参数集)中BDPCM(Block DPCM)有效(例如,sps_bdpcm_chroma_enabled_flag的值大于“0”)。
在规定条件1全部满足的情况下,本动作进入步骤S602,在不满足规定条件1中的任意一个的情况下,本动作进入步骤S603。
在步骤S602中,帧内预测模式解码部242B对intra_bdpcm_chroma_flag进行解码。在intra_bdpcm_chroma_flag为“1”的情况下,意味着在目标色度CU中应用BDPCM,在这样的intra_bdpcm_chroma_flag为“0”的情况下,意味着不应用BDPCM。
在步骤S603中,帧内预测模式解码部242B判定intra_bdpcm_chroma_flag的值是否大于“0”。
其中,在判定为intra_bdpcm_chroma_flag的值大于“0”的情况下,本动作进入步骤S608,否则本动作进入步骤S604。此外,在不满足上述规定条件1而跳过步骤S602的处理的情况下,帧内预测模式解码部242B将intra_bdpcm_chroma_flag的值视为“0”。
在步骤S608中,帧内预测模式解码部242B对intra_bdpcm_chroma_dir_flag进行解码。intra_bdpcm_chroma_dir_flag表示在对目标色度CU应用BDPCM的情况下是从垂直方向进行预测还是从水平方向进行预测中的哪一种。在步骤S608的处理结束后,本动作转到步骤S610并结束处理。
在步骤S604中,帧内预测模式解码部242B判定是否满足规定条件2。
规定条件2可以包括如下条件:能够在目标色度CU中使用CCLM(色度线性预测)。
其中,在判定为满足规定条件2的情况下,本动作进入步骤S605,否则本动作进入步骤S606。
在步骤S605中,帧内预测模式解码部242B对cclm_mode_flag进行解码。在cclm_mode_flag为“1”的情况下,意味着在目标色度CU中应用CCLM,在cclm_mode_flag为“0”的情况下,意味着不应用CCLM。
在步骤S606中,帧内预测模式解码部242B判定cclm_mode_flag的值是否大于“0”。
其中,在判定为cclm_mode_flag的值大于“0”的情况下,本动作进入步骤S609,否则本动作进入步骤S607。此外,在不满足规定条件2而跳过步骤S605的处理的情况下,帧内预测模式解码部242B将cclm_mode_flag的值视为“0”。
在步骤S609中,帧内预测模式解码部242B对cclm_mode_idx进行解码。在步骤S609的处理结束后,本动作进入步骤S610,结束处理。
在步骤S607中,帧内预测模式解码部242B对通常的帧内预测模式(intra_chroma_pred_mode)进行解码。在步骤S607的处理结束后,本动作进入步骤S610,结束处理。
如上所述,将帧内预测模式解码部242B配置为在对该色度块应用BDPCM的情况下对与BDPCM的预测方向相关的信息进行解码、在未对该色度块应用BDPCM的情况下对与CCLM或通常的帧内预测模式相关的信息进行解码,由此,能够确保能够为每个块适当地选择BDPCM、CCLM、通常的帧内预测模式。
另外,如上所述,将帧内预测模式解码部242B配置为在色度BDPCM的应用与否的判定中使用色度CU的尺寸,由此,即使色度的采样方式在4:2:0、4:2:2、4:4:4之间变化,也能够进行与实际的色度CU的尺寸相应的判定。
图5所示的预测信号生成部242C被配置为,基于由帧内预测模式解码部242B解码的处理目标块的预测模式来生成预测信号。其中,预测信号的生成方法例如可以使用非专利文献1中记载的公知的方法。
图7是示出由预测信号生成部242C进行的对亮度CU或色度CU应用BDPCM的情况下的处理流程的一个示例的流程图。以下,使用图7对这样的处理流程的一个示例进行说明。
在步骤S71中,预测信号生成部242C判定是否满足规定条件3。
其中,规定条件3可以包括如下条件:对在BDPCM的预测中使用的参考像素的滤波有效。
例如,通过在SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、Picture Header、Slice Header等报头中设置对BDPCM时的参考像素滤波的有效/无效进行控制的标志,能够切换滤波的有效/无效。
另外,规定条件3也可以包括如下条件:在目标CU所属的条带中Palette Mode等面向屏幕内容的编码工具无效。
Palette Mode等面向屏幕内容的编码工具有效还是无效例如也能够通过确认标志的值来进行判定,该标志对SPS、PPS、Picture Header、Slice Header等报头中包含的Palette Mode的有效/无效进行控制。
其中,在判定为满足规定条件3的情况下,本动作进入步骤S72,否则本动作进入步骤S73。
在步骤S72中,预测信号生成部242C进行用于将在预测中使用的参考像素平滑化的滤波处理。
例如,在色度信号的情况下,预测信号生成部242C能够基于intra_bdpcm_chroma_dir_flag的值来决定在预测中使用的参考像素位置。在亮度信号的情况下,预测信号生成部242C也能够基于同样的信息来决定在预测中使用的参考像素位置。
滤波处理例如可以通过对系数的权重为{1/4,2/4,1/4}的线性滤波器进行卷积来执行。在这样的滤波处理完成后,本动作进入步骤S73。
在步骤S73中,预测信号生成部242C使用在步骤S72中平滑化的参考像素或未平滑化的参考像素来生成预测值。
作为预测值生成处理的详细内容,由于可以使用公知的方法,因此省略详细说明。在预测值生成处理完成后,本动作进入步骤S74,结束处理。
如上所述,帧内预测部242具备预测信号生成部242C,预测信号生成部242C被预先配置为,在基于BDPCM的预测值生成处理之前,对在预测值生成中使用的参考像素进行平滑化处理,由此,即使在参考像素上叠加有摄像噪声等噪声的情况下,也能够预见降低这样的噪声的效果,并且能够提高预测精度来改善编码效率。
另外,如上所述,帧内预测部242具备预测信号生成部242C,预测信号生成部242C被预先配置为,在基于BDPCM的预测值生成处理之前,根据对报头中包含的BDPCM时的参考像素滤波的有效/无效进行控制的标志的值来控制是否对预测值生成中使用的参考像素进行平滑化处理,由此,通过对被认为平滑化有效的由照相机拍摄到的视频进行平滑化、对被认为不需要平滑化的屏幕内容不进行平滑化,能够防止编码效率的意外降低。
另外,如上所述,帧内预测部242具备预测信号生成部242C,预测信号生成部242C被预先配置为,在基于BDPCM的预测值生成处理之前,根据面向屏幕内容的编码工具有效还是无效来控制是否对预测值生成中使用的参考像素进行平滑化处理,由此,通过对平滑化有效的由照相机拍摄到的视频进行平滑化、对不需要平滑化的屏幕内容不进行平滑化,能够防止编码效率的意外降低。
(环内滤波处理部250)
以下,参照图8对本实施方式的环内滤波处理部250进行说明。图8是示出本实施方式的图像解码装置200的环内滤波处理部250的功能块的一个示例的图。
如图8所示,环内滤波处理部250具有去块滤波部250A、SAO部250B和自适应环路滤波部250C。
SAO部250B被配置为进行样本自适应偏移(SAO:Simple Adaptive Offset)处理。作为SAO部250B,可以使用公知的处理,因此省略具体的处理内容的说明。
此外,图8所示的结构仅为一个示例。各环路滤波器的处理顺序可以调换。另外,也可以采用省略了图8所示的一部分环路滤波处理的结构。另外,也可以添加图8中未示出的环路滤波处理。
以下,对去块滤波部250A和自适应环路滤波处理部250C的处理内容的一个示例进行说明。
如图9所示,去块滤波部250A具有块边界检测部251(251A/251B)、边界强度判定部253(253A/253B)、滤波决定部254(254A/254B)和滤波处理部255(255A/255B)。
其中,在末尾附加有“A”的结构是与垂直方向的块边界的去块滤波处理相关的结构,在末尾附加有“B”的结构是与水平方向的块边界的去块滤波处理相关的结构。
以下,对于进行垂直方向的块边界的去块滤波处理之后进行水平方向的块边界的去块滤波处理的实例进行例示。
如上所述,去块滤波处理可以应用于编码块,也可以应用于预测块,还可以应用于变换块。另外,去块滤波处理也可以应用于将上述各块分割而成的子块。即,目标块和相邻块可以是编码块,也可以是预测块,也可以是变换块,还可以是将它们分割而成的子块。
在将去块滤波应用于子块的情况下,可以适当地将以下说明中的块替换为子块。
由于垂直方向的块边界的去块滤波处理和水平方向的块边界的去块滤波处理是同样的处理,因此以下对垂直方向的块边界的去块滤波处理进行说明。
块边界检测部251A被配置为,基于表示块尺寸的控制数据来检测相邻的两个块的边界(块边界)。
其中,块是编码块(CU)、预测块(PU)、变换块(TU)。作为具体的检测方法,可以应用已知的方法,因此省略详细的说明。
边界强度判定部253A被配置为,判定目标块与相邻块的块边界的边界强度。
另外,边界强度判定部253A也可以被配置为,基于控制数据来判定块边界的边界强度,该控制数据表示目标块和相邻块是否为帧内预测块。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块和相邻块中的至少任一个块为无损块的情况下,判定块边界的边界强度为“0”。
其中,无损块可以定义为应用了Transform Skip且量化参数的值为预定的阈值(第一阈值)以下的块。
或者,无损块也可以定义为应用了Transform Skip且量化参数的值与第一阈值相等的块。
例如,可以将这样的第一阈值设为变换跳过模式时的量化参数的最小值(上述QpPrimeTsMin)。另外,例如,也可以将这样的第一阈值设为“4”。
或者,无损块也可以定义为,无论有无应用Transform Skip,都是量化参数的值为第一阈值以下的块。例如,也可以将这样的第一阈值设为变换跳过模式时的量化参数的最小值(上述QpPrimeTsMin)。例如,也可以将这样的阈值设为“4”。
例如,如图10所示,边界强度判定部253A也可以被配置为,在上述块边界为子块边界、对目标CU应用了仿射运动补偿预测、且在Picture Header中PROF有效的情况下,判定这样的块边界的边界强度为“0”。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块和相邻块中的至少任一个块为帧内预测块的情况下(即,在块边界的两侧的块中的至少任一个为帧内预测块的情况下),判定这样的块边界的边界强度为“2”。
另外,边界强度判定部253A也可以被配置为,基于控制数据来判定这样的块边界的边界强度,该控制数据表示目标块和相邻块中是否包含非零(零)的正交变换系数、以及块边界是否为变换块的边界(TU边界)。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块和相邻块中的至少任一个块包含非零的正交变换系数且块边界是变换块的边界的情况下(即,在块边界的两侧的块中的至少任一个中存在非零的变换系数且为TU的边界的情况下),判定这样的块边界的边界强度为“1”。
另外,边界强度判定部253A也可以被配置为,基于控制数据来判定这样的块边界的边界强度,该控制数据表示目标块与相邻块的运动矢量的差的绝对值是否为阈值(例如,1/2像素)以上。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块与相邻块的运动矢量的差的绝对值为阈值(例如,1/2像素)以上的情况下(即,在块边界的两侧的块的运动矢量的差的绝对值为阈值(例如,1/2像素)以上的情况下),判定这样的块边界的边界强度为“1”。
另外,边界强度判定部253A也可以被配置为,基于控制数据来判定这样的块边界的边界强度,该控制数据表示目标块和相邻块的运动矢量的预测中参考的参考块是否不同。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块和相邻块的运动矢量的预测中参考的参考块不同的情况下(即,在块边界的两侧的块中参考图像不同的情况下),判定这样的块边界的边界强度为“1”。
边界强度判定部253A也可以被配置为,基于控制数据来判定这样的块边界的边界强度,该控制数据表示目标块和相邻块的运动矢量的数量是否不同。
例如,如图10所示,边界强度判定部253A也可以被配置为,在目标块和相邻块的运动矢量的数量不同的情况下(即,在块边界的两侧的块中运动矢量的数量不同的情况下),判定这样的块边界的边界强度为“1”。
边界强度判定部253A也可以被配置为,基于目标块和相邻块的帧间预测模式的种类来判定这样的块边界的边界强度。
例如,如图10所示,边界强度判定部253A也可以被配置为,在上述块边界为CU边界且在目标块和相邻块中的至少任一个块中使用了TPM的情况下,判定这样的块边界的边界强度为“1”。
或者,边界强度判定部253A也可以被配置为,在上述块边界为CU边界、在目标块和相邻块中的至少任一个块中使用了TPM、且后述的权重系数的值满足规定条件的情况下,判定这样的块边界的边界强度为“1”。
例如,如图10所示,边界强度判定部253A也可以被配置为,在上述块边界为CU边界且在目标块和相邻块中的至少任一个块中使用了GEO的情况下,判定这样的块边界的边界强度为“1”。
或者,边界强度判定部253A也可以被配置为,在上述边界为CU边界、在目标块和相邻块中的至少任一个块中使用了GEO、且后述的权重系数的值满足规定条件的情况下,判定这样的块边界的边界强度为“1”。
例如,如图10所示,边界强度判定部253A也可以被配置为,在上述条件均不满足的情况下,判定这样的块边界的边界强度为“0”。
此外,有可能边界强度的值越大,在块边界处产生的块失真越大。
上述边界强度判定方法可以使用对亮度信号和色度信号共用的方法来进行判定,也可以使用部分不同的条件来进行判定。
以下,参照图11(a)至图11(d)对TPM、GEO的权重系数进行说明。TPM、GEO是用直线将长方形(也包括正方形)的块分割为两个区域、并且在各个区域中使用不同的运动矢量来进行运动补偿预测的模式。
TPM将分割边界限定为长方形的对角线,GEO能够进行自由度更高的分割。关于TPM和GEO的详细内容,可以沿用非专利文献1、非专利文献2所记载的规格,因此省略详细的说明。
在TPM、GEO中,在上述分割边界附近的像素中,对基于与各分割区域对应的两个矢量的预测值进行加权和合成,并定义为使其权重以渐变状变化,从而平滑地合成预测值。
图11(a)至图11(d)是示出合成时的权重系数的示例的图。在图11(a)至图11(d)中,将权重系数设为0/8至8/8,示出了基于第一个运动矢量的预测值(P1)的权重的分子。此外,基于第二个运动矢量的预测值(P2)的权重能够通过1-(P1的权重)来计算。
例如,在按每4个像素进行边界强度的判定的情况下,上述边界强度决定时的权重系数的规定条件4可以如下定义。
规定条件4可以定义为:将与目标块边界(4个像素)相邻的4×4个像素块的四个角处的像素的权重系数值相加而得到的值为第二阈值以上且第三阈值以下(或者大于第二阈值且小于第三阈值)。
或者,规定条件4也可以定义为:目标边界(4个像素)的各像素的权重系数值中的至少任一个为0(=0/8)或1(=8/8)以外的值。
滤波决定部254A被配置为,决定应用于块边界的滤波处理(例如,去块滤波处理)的种类。
例如,滤波决定部254A也可以被配置为,基于块边界的边界强度、目标块和相邻块中包含的量化参数等,来决定是否对块边界应用滤波处理、以及应用弱滤波处理和强滤波处理中的哪种滤波处理。
滤波决定部254A也可以被配置为,在块边界的边界强度为“0”的情况下,决定不应用滤波处理。
滤波处理部255A被配置为,基于滤波决定部254A的决定来进行对去块前图像的处理。对去块前图像的处理是无滤波处理、弱滤波处理、强滤波处理等。
即,去块滤波部250A被配置为,基于相邻的两个块中的至少任一个块是否满足第一条件,对应用于上述两个块的边界的去块滤波进行控制,该第一条件是,量化参数的值为预定的阈值以下。
或者,去块滤波部250A被配置为,基于相邻的两个块中的至少任一个块是否满足第一条件,对应用于上述两个块的边界的去块滤波进行控制,该第一条件是,量化参数的值为预定的阈值。
或者,去块滤波部250A被配置为,在相邻的两个块中的至少任一个块满足上述第一条件的情况下,将应用于上述边界的去块滤波的控制中使用的边界强度设定为“0”。
或者,去块滤波部250A被配置为,在相邻的两个块中的至少任一个块满足上述第一条件和第二条件两者的情况下,将应用于上述边界的去块滤波的控制中使用的边界强度设定为“0”,该第二条件是,应用了变换跳过模式。
如上所述,通过将无损块的边界的边界强度设为“0”,不会在目标块内的所有像素中应用去块滤波,能够以块为单位确保无损。
图12是示出滤波处理部255A的处理流程的一个示例的流程图。以下,参照图12对滤波处理部255A的处理流程的一个示例进行说明。
在步骤S121中,滤波处理部255A根据由滤波决定部254A决定的滤波处理来计算滤波应用后的像素值。
在步骤S122中,滤波处理部255A判定块P是否满足规定条件5。
此外,以后,将与目标块边界相邻的两个块中的一个称为块P,将另一个称为块Q。
例如,规定条件5可以包括如下条件:对块P应用了Palette Mode。
或者,例如,规定条件5也可以包括如下条件:块P为无损块。其中,作为无损块的定义,例如可以使用与在边界强度判定部253A中说明的定义同样的定义。
在判定为满足规定条件5的情况下,本动作进入步骤S126,否则本动作进入步骤S123。
在步骤S123中,滤波处理部255A将在步骤S121中生成的滤波应用后的像素值反映到滤波处理后图像中。
另一方面,在步骤S126中,滤波处理部255A进行处理以不将在步骤S121中生成的滤波应用后的像素值反映到块P的像素值中。
具体地,例如能够通过将参数n的值设为“0”来实现,该参数n意味着“将滤波应用后的像素值应用到与块P侧的边界相距n个像素的像素”。
或者,例如能够通过将滤波应用后的像素值预先置换为滤波应用前的像素值来实现。此外,若作为结果在块P内的像素中不反映滤波应用后的像素值,则也可以使用例示的方法以外的方法。
接着,在步骤S124、S125、S127中对块Q进行与上述步骤S122、S123、S126同样的处理之后,本动作进入步骤S128,结束处理。
即,去块滤波部250A被配置为,对于满足第一条件的块内部的像素,不应用去块滤波,该第一条件是,量化参数的值为预定的阈值以下。
或者,去块滤波部250A被配置为,对于满足第一条件的块内部的像素,不应用去块滤波,该第一条件是,量化参数的值为预定的阈值。
或者,去块滤波部250A被配置为,基于该块是否满足上述第一条件和第二条件两者,对应用于上述边界的去块滤波进行控制,该第二条件是,应用了变换跳过模式。
或者,去块滤波部250A被配置为,对于满足上述第一条件和第二条件两者的块内部的像素,不应用去块滤波。
此外,上述第一条件的阈值可以是“4”。或者,上述第一条件的阈值也可以是变换跳过模式时的量化参数的最小值,即QpPrimeTsMin。
如上所述,通过在无损块内不反映滤波应用后的像素值,能够以块为单位确保无损。
另外,如上所述,也可以被配置为,在应用了TPM或GEO的块边界中,根据权重系数的值来控制边界强度。
另外,如上所述,也可以被配置为,在应用了TPM或GEO的块边界中,根据是否满足如下条件来控制边界强度,该条件是,将与目标块边界(4个像素)相邻的4×4个像素块的四个角处的像素的权重系数值相加而得到的值为第二阈值以上且第三阈值以下(或者大于第二阈值且小于第三阈值)。
另外,如上所述,也可以被配置为,在应用了TPM或GEO的块边界中,根据是否满足如下条件来控制边界强度,该条件是,目标边界(4个像素)的各像素的权重系数值中的至少任一个为0(=0/8)或1(=8/8)以外的值。
通过采用上述结构,即使在相邻的块间运动矢量(MV)的值、数量不符合期望条件的情况下,对于应用了TPM或GEO的块边界上权重系数的值不同从而实际上可能发生块失真的边界,也能够适当地应用去块滤波。
另外,如上所述,也可以被配置为,在上述块边界为子块边界、对相邻的子块所属的CU应用了仿射运动补偿预测、且Picture Header中PROF有效的情况下,判定这样的块边界的边界强度为“0”。
通过采用上述结构,能够防止在以像素为单位对预测值进行细化的PROF处理应用后的值中非必要地应用去块滤波,能够期待主观画质的提高。
如图13所示,自适应环路滤波部250C具有亮度ALF部256、Cb CC-ALF部257A、CrCC-ALF部257B、Cb ALF部258A和Cr ALF部258B。
作为亮度ALF部256、Cb ALF部258A和Cr ALF部258B的处理,例如可以应用非专利文献1所记载的处理,因此省略详细的说明。
以下,对Cb CC-ALF部257A和Cr CC-ALF部257B的处理内容的一个示例进行说明。此外,Cb CC-ALF部257A和Cr CC-ALF部257B仅在对象是Cb信号还是Cr信号这一点上不同,处理内容相同,因此以下仅对Cb CC-ALF部257A的动作进行说明,省略对Cr CC-ALF部257B的说明。
如图13所示,Cb CC-ALF部257A被配置为,将由亮度ALF部256进行滤波处理之前的亮度信号作为输入,并且将输出的值与Cb ALF部258A的输出相加,从而生成Cb信号的滤波处理后信号。
图14和图15是示出Cb CC-ALF部257A中的滤波处理和边界部分处的处理的一个示例的图。
其中,例如,如图14(a)至(e)所示,考虑将如图14那样配置C0至C7这八个滤波器系数而成的二维滤波器应用于亮度信号、并且计算与Cb信号相加的值的情况。
此外,将与系数C2对应的亮度信号的像素位置[y][x]设为与加上由Cb CC-ALF部257A计算出的值的Cb信号的像素对应的像素位置。
对于与Cb信号相加的值,例如能够通过图15所记载的公式来计算。其中,P[y][x]是指存在于像素位置[y][x]的亮度信号的像素值。
图14(a)至(e)示出了虚拟边界等处理边界和滤波器系数的配置的关系。其中,边界是指边界线,该边界线禁止参考位于按照标准定义的条带、分块这样的并行处理单位的边界、为了实现流水线处理而设置的虚拟边界等边界的外侧的像素。
考虑将被边界分割的两个区域中的存在与滤波器系数C2对应的像素的区域作为边界的内侧,将不存在的区域作为边界的外侧。在边界的外侧存在参考像素位置的情况下,实际上无法参考位于该位置的像素值,因此需要进行填充处理。具体地,如图15所记载的表那样,通过根据边界和滤波器系数的配置的模式来变更实际的参考像素位置,能够实现填充处理。
图14(e)示出了不需要填充的情况的示例。不需要填充的情况下的offset1至offset3的值如图15所记载的表所示。
另一方面,例如,在采用图14(c)的配置时,与滤波器系数C4至C7对应的像素位于边界的外侧,因此将对应的offset2和offset3的值设为“0”,从而能够实现滤波。
另外,在图14(c)的配置中,与滤波器系数C0对应的像素位于边界的内侧,因此能够参考,但在采用与在非专利文献1中由亮度ALF部256、Cb ALF部258A和Cr ALF部258B进行的填充方法(镜像填充)同样的方法的情况下,滤波器系数C0侧也会进行填充,因此offset1也设定为“0”。
镜像填充是对在以图14(c)中的滤波器系数C2所在的水平方向的行为中心将滤波器系数折叠并反转的情况下出现在边界的外侧的行也进行填充的方法。
在图14(b)的情况下,与offset1对应的行位于边界的外侧,因此将offset1设定为“0”,按照镜像填充的方法将offset2和offset3也设为“0”。
在图14(d)的情况下,与offset3对应的行位于边界的外侧,因此offset1和offset2与图14(e)的情况相同,仅将offset3变更为“1”。
在图14(a)的情况下,如果以滤波器系数C2所在的行为中心对滤波器系数的配置进行折叠,则与滤波器系数C7对应的行会出现在边界的外侧,因此在进行镜像填充的情况下,将offset3修正为1来进行填充处理。
另一方面,在图14(a)的情况下,实际上没有参考了边界的外侧的滤波器系数,因此并不一定需要进行填充。因此,在图14(a)的情况下,也能够进行与图14(e)同样的offset值的设定。换言之,可以不定义图14(a)的情况下的填充处理,并且在未定义填充处理的情况下决定使用图14(e)的设定。
如上所述,将亮度信号作为输入、且将输出与色度信号相加的CC-ALF部被配置为,在对应于与输出值相加的色度信号像素的亮度信号像素(与上述系数C2对应的亮度信号像素位置)处于边界的下一行(上述(b))或处于边界的上一行(上述(c))的情况下,将与参考像素位置相加的偏移全部设为“0”来进行填充处理,由此,例如能够通过与在非专利文献1中由亮度ALF部256、Cb ALF部258A和Cr ALF部258B进行的填充方法(镜像填充)同样的方法来进行填充处理,并且能够共用控制逻辑。
另外,如上所述,将亮度信号作为输入、且将输出与色度信号相加的CC-ALF部也可以被配置为,在参考像素位置全部存在于边界内部时不进行填充处理,仅在参考像素位置中的至少一个存在于边界外的情况下进行填充处理。
即,通过不定义图14(a)的情况下的填充处理,能够排除非必要的填充处理来提高编码效率。
(图像编码装置100)
以下,参照图16对本实施方式的图像编码装置100进行说明。图16是示出本实施方式的图像编码装置100的功能块的一个示例的图。
如图16所示,图像编码装置100具有帧间预测部111、帧内预测部112、减法器121、加法器122、变换和量化部131、逆变换和逆量化部132、编码部140、环内滤波处理部150和帧缓冲器160。
帧间预测部111与帧间预测部241同样地,被配置为通过帧间预测(inter-frameprediction)来生成预测信号。
具体地,帧间预测部111被配置为,通过对编码目标帧(以下称为目标帧)与保存在帧缓冲器160中的参考帧进行比较,来确定参考帧中包含的参考块,决定针对所确定的参考块的运动矢量。
另外,帧间预测部111被配置为,基于参考块和运动矢量为每个预测块生成预测块中包含的预测信号。帧间预测部111被配置为将预测信号输出到减法器121和加法器122。其中,参考帧是与目标帧不同的帧。
帧内预测部112与帧内预测部242同样地,被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
具体地,帧内预测部112被配置为,确定目标帧中包含的参考块,并且基于所确定的参考块为每个预测块生成预测信号。另外,帧内预测部112被配置为将预测信号输出到减法器121和加法器122。
其中,参考块是针对预测目标块(以下称为目标块)而参考的块。例如,参考块是与目标块相邻的块。
减法器121被配置为,从输入图像信号中减去预测信号,并且将预测残差信号输出到变换和量化部131。其中,减法器121被配置为生成预测残差信号,该预测残差信号是通过帧内预测或帧间预测生成的预测信号与输入图像信号之间的差分。
加法器122被配置为,将预测信号与从逆变换和逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号,并且将这样的滤波处理前解码信号输出到帧内预测部112和环内滤波处理部150。
其中,滤波处理前解码信号构成帧内预测部112中使用的参考块。
变换和量化部131被配置为进行预测残差信号的变换处理,并且获取系数等级值。进一步地,变换和量化部131也可以被配置为进行系数等级值的量化。
其中,变换处理是将预测残差信号变换为频率分量信号的处理。在这样的变换处理中,可以使用与离散余弦变换(DCT:Discrete Cosine Transform)对应的基本模式(变换矩阵),也可以使用与离散正弦变换(DST:Discrete Sine Transform)对应的基本模式(变换矩阵)。
逆变换和逆量化部132与逆变换和逆量化部220同样地,被配置为对从变换和量化部131输出的系数等级值进行逆变换处理。其中,逆变换和逆量化部132也可以被配置为在逆变换处理之前进行系数等级值的逆量化。
其中,逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的过程来进行。
编码部140被配置为对从变换和量化部131输出的系数等级值进行编码,并且输出编码数据。
其中,例如,编码是基于系数等级值的发生概率来分配不同长度的代码的熵编码。
另外,编码部140被配置为除了系数等级值之外,还对解码处理中使用的控制数据进行编码。
此外,如上所述,控制数据也可以包含编码块尺寸、预测块尺寸、变换块尺寸等尺寸数据。
环内滤波处理部150与环内滤波处理部250同样地,被配置为对从加法器122输出的滤波处理前解码信号进行滤波处理,并且将滤波处理后解码信号输出到帧缓冲器160。
帧缓冲器160被配置为累积帧间预测部111中使用的参考帧。
其中,滤波处理后解码信号构成帧间预测部111中使用的参考帧。
(帧内预测部112)
以下,参照图17对本实施方式的帧内预测部112进行说明。图17是示出本实施方式的图像编码装置112的帧内预测部112的功能块的一个示例的图。
如图17所示,帧内预测部112具有帧内预测模式决定部112A、帧内预测模式编码部112B和预测信号生成部112C。
帧内预测部112是预测部的一个示例,其被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
帧内预测模式决定部112A被配置为决定该块的帧内预测模式、有无应用BDPCM等、由后一级的帧内预测模式编码部112B编码的信息。决定方法可以使用公知的方法,因此省略详细说明。
帧内预测模式编码部112B被配置为对目标块的预测模式进行编码。处理内容是与帧内预测模式解码部242B同样的处理。具体地,例如,成为将图6所示的帧内预测模式解码部242B的处理流程图中的“解码”的部分变更为“编码”的处理。
预测信号生成部112C被配置为根据由帧内预测模式112B编码的预测模式来生成该块的预测信号。预测信号的生成方法与预测信号生成部242C相同。
另外,上述图像编码装置100和图像解码装置200也可以通过使计算机执行各功能(各步骤)的程序来实现。
另外,在上述各实施方式中,以将本发明应用于图像编码装置100和图像解码装置200为例进行了说明,但本发明不仅限于这样的示例,同样也可以应用于具备图像编码装置100和图像解码装置200的各功能的图像编码/解码系统。
根据本发明,能够提供一种具备能够确保帧内的特定的块内无损的功能的图像解码装置200、图像解码方法和程序。
符号说明
10…图像处理系统;100…图像编码装置;111、241…帧间预测部;112、242…帧内预测部;112A…帧内预测模式决定部;112B…帧内预测模式编码部;112C、242C…预测信号生成部;121…减法器;122、230…加法器;131…变换和量化部;132、220…逆变换和逆量化部;140…编码部;150、250…环内滤波处理部;160、260…帧缓冲器;200…图像解码装置;210…解码部;220A…量化参数导出部;220B…逆量化部;220C…逆变换部;242B…帧内预测模式解码部;250A…去块滤波部;251、251A、251B…块边界检测部;253、253A、253B…边界强度判定部;254、254A、254B…滤波决定部;255、255A、255B…滤波处理部;250B…SAO部;250C…自适应环路滤波部;256…亮度ALF部;257A…Cb CC-ALF部;257B…Cr CC-ALF部;258A…Cb-ALF部;258B…Cr-ALF部。

Claims (9)

1.一种图像解码装置,其特征在于,
其具备量化参数导出部,该量化参数导出部被配置为,在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
2.根据权利要求1所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在根据是否对所述目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”中的较大的值作为所述目标块的量化参数。
3.根据权利要求2所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在未对目标块应用变换跳过模式的情况下,在根据是否对所述目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”中的较大的值作为所述目标块的量化参数。
4.根据权利要求1所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在对目标块应用了变换跳过模式的情况下,无论是否对所述目标块应用了自适应颜色变换,都将所述目标块的量化参数的值设为变换跳过模式应用时的量化参数的最小值以上。
5.根据权利要求4所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在对所述目标块应用了变换跳过模式的情况下,在根据是否对所述目标块应用了自适应颜色变换来校正已解码的量化参数的值之后,将所述校正后的量化参数的值和所述最小值中的较大的值作为所述目标块的量化参数。
6.根据权利要求1所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在对目标块应用了变换跳过模式的情况下,无论是否对所述目标块应用了自适应颜色变换,都将所述目标块的量化参数的值设为“4”以上。
7.根据权利要求6所述的图像解码装置,其特征在于,
所述量化参数导出部被配置为,在对所述目标块应用了变换跳过模式的情况下,在根据是否对所述目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“4”中的较大的值作为所述目标块的量化参数。
8.一种图像解码方法,其特征在于,具有以下步骤:
在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
9.一种程序,其用在图像解码装置中,其特征在于,
其使计算机执行以下步骤:
在根据是否对目标块应用了自适应颜色变换来校正所述目标块的已解码的量化参数的值之后,将所述校正后的量化参数的值和“0”以上的预定的值中的较大的值作为所述目标块的量化参数。
CN202080058476.4A 2019-12-26 2020-12-04 图像解码装置、图像解码方法和程序 Pending CN114258678A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019237289A JP7001668B2 (ja) 2019-12-26 2019-12-26 画像復号装置、画像復号方法及びプログラム
JP2019-237289 2019-12-26
PCT/JP2020/045160 WO2021131595A1 (ja) 2019-12-26 2020-12-04 画像復号装置、画像復号方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114258678A true CN114258678A (zh) 2022-03-29

Family

ID=76573976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058476.4A Pending CN114258678A (zh) 2019-12-26 2020-12-04 图像解码装置、图像解码方法和程序

Country Status (5)

Country Link
US (1) US20220174283A1 (zh)
EP (1) EP4002841A4 (zh)
JP (1) JP7001668B2 (zh)
CN (1) CN114258678A (zh)
WO (1) WO2021131595A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969554A (zh) * 2009-07-27 2011-02-09 索尼公司 图像编码装置和图像编码方法
WO2013075589A1 (en) * 2011-11-25 2013-05-30 LI, Yingjin Method for decoding chroma image
CN106797465A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于视频译码中自适应颜色变换的量化参数推导及偏移
EP3282703A1 (en) * 2016-08-09 2018-02-14 Thomson Licensing Method and apparatus for coding a video into a bitstream
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
CN110024387A (zh) * 2016-11-28 2019-07-16 日本放送协会 编码装置、解码装置、编码方法和解码方法
WO2019194422A1 (en) * 2018-04-01 2019-10-10 Lg Electronics Inc. An image coding apparatus and method thereof based on a quantization parameter derivation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376611A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
CN118631991A (zh) * 2019-06-17 2024-09-10 韩国电子通信研究院 自适应环内滤波方法和设备
CN117729331A (zh) * 2019-06-28 2024-03-19 字节跳动有限公司 在变换跳过模式中修改量化参数的技术
KR20240056668A (ko) * 2019-08-26 2024-04-30 엘지전자 주식회사 팔레트 모드 기반 영상 또는 비디오 코딩
US11483549B2 (en) * 2019-11-21 2022-10-25 Hfi Innovation Inc. Methods and apparatuses for transform skip mode information signaling
WO2021107641A1 (ko) * 2019-11-26 2021-06-03 주식회사 윌러스표준기술연구소 적응적 컬러 공간 변환을 이용하는 비디오 신호 처리 방법 및 장치
BR112022010886A2 (pt) * 2019-12-11 2022-08-23 Sony Group Corp Dispositivo de processamento de imagem, e, métodos de geração de fluxo de bits, de geração de coeficiente de quantização e de geração de dados de coeficiente
JP7517350B2 (ja) 2019-12-18 2024-07-17 ソニーグループ株式会社 画像処理装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969554A (zh) * 2009-07-27 2011-02-09 索尼公司 图像编码装置和图像编码方法
WO2013075589A1 (en) * 2011-11-25 2013-05-30 LI, Yingjin Method for decoding chroma image
CN106797465A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于视频译码中自适应颜色变换的量化参数推导及偏移
EP3282703A1 (en) * 2016-08-09 2018-02-14 Thomson Licensing Method and apparatus for coding a video into a bitstream
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
CN110024387A (zh) * 2016-11-28 2019-07-16 日本放送协会 编码装置、解码装置、编码方法和解码方法
WO2019194422A1 (en) * 2018-04-01 2019-10-10 Lg Electronics Inc. An image coding apparatus and method thereof based on a quantization parameter derivation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYOHEI UNNO 等: "Non-CE4: An applying condition of BDOF", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11;15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019,JVET-P0546(JVET-P0546-V2.ZIP,JVET-P0546_SPEC.DOCX), pages 7 - 12 *
MARTA KARCZEWICZ等: "WD for Non-CE8: Minimum QP for Transform Skip Mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 15TH MEETING: GOTHENBURG, SE, 3–12 JUL. 2019, JVET-O0919(JVET-O0919-V4.ZIP,JVET-O0919-WD-V3.DOCX), pages 1 - 7 *

Also Published As

Publication number Publication date
JP2021106344A (ja) 2021-07-26
WO2021131595A1 (ja) 2021-07-01
JP7001668B2 (ja) 2022-01-19
EP4002841A1 (en) 2022-05-25
EP4002841A4 (en) 2023-06-21
US20220174283A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US12022076B2 (en) Method of removing deblocking artifacts
US11641465B2 (en) Method and apparatus of cross-component adaptive loop filtering with virtual boundary for video coding
EP3363198B1 (en) Method and apparatus of adaptive filtering of samples for video coding
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CA2755889C (en) Image processing device and method
KR101628797B1 (ko) Hevc에서 무손실 코딩의 개선된 인트라 예측
US9807385B2 (en) Simplification of mode dependent intra smoothing
US11523138B2 (en) Method and apparatus for cross component filtering
US20110103464A1 (en) Methods and Apparatus for Locally Adaptive Filtering for Motion Compensation Interpolation and Reference Picture Filtering
KR20190058632A (ko) 거리 가중 양지향성 인트라 예측
EP4074035A1 (en) Method and apparatus for video filtering
JP7054765B1 (ja) 画像復号装置、画像復号方法及びプログラム
CN113243107B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
CN114258678A (zh) 图像解码装置、图像解码方法和程序
CN114270866A (zh) 图像解码装置、图像解码方法和程序
JP7317194B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP7146129B2 (ja) 画像復号装置、画像復号方法及びプログラム
KR20150100355A (ko) 화면간 예측 방법 및 장치
JP7026287B1 (ja) 画像復号装置、画像復号方法及びプログラム
RU2816918C2 (ru) Кодер, декодер и соответствующие способы выполнения устранения блочности цветности для блоков, использующих кодирование объединенной цветности

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination