CN113709477A - 编码方法、解码方法、装置及机器可读存储介质 - Google Patents
编码方法、解码方法、装置及机器可读存储介质 Download PDFInfo
- Publication number
- CN113709477A CN113709477A CN202111146301.1A CN202111146301A CN113709477A CN 113709477 A CN113709477 A CN 113709477A CN 202111146301 A CN202111146301 A CN 202111146301A CN 113709477 A CN113709477 A CN 113709477A
- Authority
- CN
- China
- Prior art keywords
- current block
- mode
- transform
- transformation
- satisfies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000013139 quantization Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000006872 improvement Effects 0.000 description 13
- 238000003672 processing method Methods 0.000 description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本申请提供一种编码方法、解码方法、装置及机器可读存储介质,该解码方法包括:获取码流;从所述码流中获取帧间变换跳过模式使能标志位;当所述帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于所述当前块的非零变换系数的个数的奇偶性,对所述当前块进行反变换跳过处理或离散余弦变换DCT2反变换处理,并进行反量化处理,得到所述当前块的残差系数;其中,所述第一值为表征使能帧间变换跳过模式的值;基于所述当前块的预测值和所述当前块的残差系数,确定所述当前块的重建值。该方法可以提升编码性能,降低解码时延。
Description
技术领域
本申请涉及视频编解码技术,尤其涉及一种编码方法、解码方法、装置及机器可读存储介质。
背景技术
完整的视频编码一般包括预测、变换、量化、熵编码、滤波等操作。其中,预测包括帧内预测和帧间预测。
变换是指将以空间域中像素形式描述的图像转换至变换域,以变换系数的形式来表示。而绝大多数图像都含有较多平坦区域和缓慢变化的区域,适当的变换可以使图像能量在空间域的分散分布转换为在变换域的相对集中分布,去除了信号之间的频域相关性,配合量化过程,可以有效压缩码流。
目前在屏幕内容编码(Screen Content Coding,简称SCC)视频上,仍然使用的是基于离散余弦变换(Discrete Cosine Transform,DCT,简称DCT)2、DCT8或DST7变换核的变换方法,将时域信号通过变换变成能量更加集中的频域信号,配合量化和熵编码能够带来编码性能的提升。然而,对于SCC视频而言,本身纹理比较简单,并且配合帧内块复制(IntraBlock Copy,简称IBC)预测模式后,得到的残差块的残差系数都很小,因此很多情况下并不需要进行传统的变换操作,而是进行变换跳过模式,经过简单位移操作后即可进行量化和熵编码,这样不仅能够带来编码性能的提升,并且由于仅仅进行简单位移操作,并不会带来编码实现代价的提升,反而不需要进行变换操作大大降低解码时间。因此提出基于编码单元级(cu-level)的隐式变换跳过模式,大大提升SCC视频的编码性能。
隐式选择变换跳过模式(Implicit Selection of Transform Skip mode,简称ISTS)方案通过当前块的非零系数的奇偶性指示编码端设备对当前块进行变换跳过处理或DCT2变换处理。
然而实践发现,目前的ISTS方案仅应用于帧内预测模式和IBC模式,应用限制较大。
发明内容
有鉴于此,本申请提供一种编码方法、解码方法、装置及机器可读存储介质。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种解码方法,包括:
获取码流;
从所述码流中获取帧间变换跳过模式使能标志位;
当所述帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于所述当前块的非零变换系数的个数的奇偶性,对所述当前块进行反变换跳过处理或离散余弦变换DCT2反变换处理,并进行反量化处理,得到所述当前块的残差系数;其中,所述第一值为表征使能帧间变换跳过模式的值;
基于所述当前块的预测值和所述当前块的残差系数,确定所述当前块的重建值。
根据本申请实施例的第二方面,提供一种编码方法,包括:
对帧间变换跳过模式使能标志位进行编码;
当所述帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于率失真代价选择对所述当前块进行变换跳过处理或离散余弦变换DCT2变换处理,以得到所述当前块的变换系数;
当所述当前块的非零变换系数的个数的奇偶性与所选择变换方式不匹配时,调整所述当前块的非零变换系数的个数的奇偶性,以使所述当前块的非零变换系数的个数的奇偶性与所选择的变换方式匹配;
对所述当前块的变换系数进行量化及熵编码,得到所述当前块的码流。
根据本申请实施例的第三方面,提供一种解码装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器存放有计算机程序,所述处理器被所述计算机程序促使以实现上述第一方面所述的解码方法。
根据本申请实施例的第四方面,提供一种编码装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器存放有计算机程序,所述处理器被所述计算机程序促使以实现上述第一方面所述的编码方法。
本申请实施例的解码方法,获取码流,从码流中获取帧间变换跳过模式使能标志位;当帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于当前块的非零变换系数的个数的奇偶性,对当前块进行反变换跳过处理或DCT2反变换处理,并进行反量化处理,得到当前块的残差系数;进而,基于当前块的预测值和当前块的残差系数,确定当前块的重建值,通过增加帧间变换跳过模式使能标志位,通过该帧间变换跳过模式使能标志位对针对帧间预测模式或/和直接模式的变换跳过模式应用进行控制,提高了变换跳过模式应用的灵活性和可控性,从而提高了ISTS方案应用的灵活性和可控性;此外,通过将ISTS方案应用于帧间预测模式或/和直接模式,扩展了ISTS方案的应用范围,且可以提高编码性能,降低解码时延。
附图说明
图1A~1B是本申请示例性实施例示出的块划分的示意图;
图2A~2B是DT划分模式衍生示意图;
图2C是DT划分模式下的变换示意图;
图3A是本申请一示例性实施例示出的一种PBT模式的子块划分示意图;
图3B是本申请一示例性实施例示出的SBT模式的子块划分示意图;
图4是本申请一示例性实施例示出的一种编解码方法的示意图;
图5是本申请一示例性实施例示出的一种图像处理方法的流程示意图;
图6是本申请又一示例性实施例示出的另一种图像处理方法的流程示意图;
图7是本申请又一示例性实施例示出的另一种图像处理方法的流程示意图;
图8是本申请一示例性实施例示出的一种解码方法的流程示意图;
图9是本申请一示例性实施例示出的一种编码方法的流程示意图;
图10是本申请一示例性实施例示出的一种解码装置的硬件结构示意图;
图11是本申请一示例性实施例示出的一种解码装置的功能结构示意图;
图12是本申请一示例性实施例示出的一种编码装置的硬件结构示意图;
图13是本申请一示例性实施例示出的一种编码装置的功能结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对现有视频编码标准中块划分技术、现有帧内子块划分方案以及本申请实施例涉及的部分技术术语进行简单说明。
一、现有视频编码标准中块划分技术
在HEVC中,一个CTU(Coding Tree Unit,编码树单元)使用四叉树递归划分成CU。在叶子节点CU级确定是否使用帧内编码或者帧间编码。CU可以进一步划分成两个或者四个PU(Prediction Unit,预测单元),同一个PU内使用相同的预测信息。在预测完成后得到残差信息后,一个CU可进一步四叉划分成多个TU(Transform Units,变换单元)。例如,本申请中的当前图像块即为一个PU。
但是在最新提出的VVC(Versatile Video Coding,通用视频编码)中的块划分技术有了较大变化。一种混合了二叉树/三叉树/四叉树的划分结构取代了原先的划分模式,取消了原先CU,PU,TU的概念的区分,支持了CU的更灵活的划分方式。其中,CU可以是正方形也可以是矩形划分。CTU首先进行四叉树的划分,然后四叉树划分的叶子节点可以进一步进行二叉树和三叉树的划分。图1A所示,CU共有五种划分类型,分别为四叉树划分,水平二叉树划分,垂直二叉树划分,水平三叉树划分和垂直三叉树划分,如图1B所示,一种CTU内的CU划分可以是上述五种划分类型的任意组合由上可知不同的划分方式,使得各个PU的形状有所不同,如不同尺寸的矩形,正方形。
二、技术术语
1、变换核(transform kernel):在视频编码中,变换是实现视频数据压缩必不可少的阶段,能够使信号的能量更加集中,而基于离散余弦变换(Discrete CosineTransform,DCT)/离散正弦变换(Discrete Sine Transform,DST)的变换技术是视频编码主流的变换技术。DCT和DST根据基函数的不同又具体分为多种变换核。常用的3种变换核可以如表1所示:
表1
2、正变换(forward transform)和逆变换(inverse transform):在视频编码过程中,包含了正变换和逆变换过程,又叫前向变换和反向变换。
正变换是将一个二维残差信号(残差系数)转换成能量更加集中的二维频谱信号(变换系数),变换系数再经过量化过程可以有效去除高频成分,保留中低频成分,实现视频数据压缩。
示例性的,正变换可以通过矩阵形式表示为如下公式:
F=B·f·AT
其中,M表示残差块宽度,N表示残差块高度,f表示NxM维的原始残差信号,F表示NxM维的频域信号;A和B表示MxM和NxN维的变换矩阵,它们均满足正交性。
逆变换又称反变换,是正变换的逆过程,即通过正交变换矩阵A和B,将频域信号F转换成时域残差信号f。
示例性的,逆变换可以通过矩阵形式表示为如下公式:
f=BT·F·A3、水平变换(Horizental transform)和垂直变换(Verticaltransform):在视频编码的变换阶段,输入的是一个二维残差信号,如下式所示,设X=A·fT,则F=B·XT,即:
F=B·f·AT=B·(A·fT)T
因此,一个二维信号的正变换可以通过两次一维的正变换方式实现。第一次正变换后得到一个M*N的信号X,去除了二维残差信号的水平方向像素之间的相关性,可以称为水平变换,并将A称为水平变换矩阵;第二次正变换去除了二维残差信号的垂直方向像素之间的相关性,可以称为垂直变换,并将B称为垂直变换矩阵。
4、变换对(Transform pair):也可以称为变换核对。在下一代视频编码标准中,TU支持矩阵块,因此M不一定等于N,因此A和B的维度不一定相等,除此之外,下一代视频编码标准还支持A和B不是同一种变换核生产的变换矩阵,因此在变换中存在A和B对应的变换核组成的变换核对(H,V),其中H称为水平变换核,V称为垂直变换核。
5、二次变换:二次变换是AVS2采纳的技术,AVS3继承了AVS2的二次变换技术并且针对4x4块和非4x4块使用了不同的变换核。
6、衍生树(Derive Tree,简称DT)划分模式:衍生模式是一种新的划分模式,产生新的划分形状,能够进一步获得性能增益。
示例性的,DT划分模式可以包括水平衍生模式和竖直衍生模式,其示意图可以如图2A所示。
示例性的,DT划分模式可以生长在四叉树或者二叉树的叶子节点上,如图2B所示,对于I帧或非I帧,DT划分模式可以通过对CU合并划分边界可以得到衍生模式的不同PU划分(2N×hN、2N×nU、2N×nD、hN×2N、nL×2N或nR×2N)。
示例性的,对于Intra模式,使用衍生模式进行预测的CU,可以使用4个非方块进行变换量化,并不需要引入新的变换核,其示意图可以如图2C所示。
示例性的,使用水平衍生模式的CU必须满足下面2个条件:
1)、高度大于等于16,且小于等于64;
2)、宽度与高度的比例小于4。
使用竖直衍生模式的CU必须满足下面2个条件:
1)、宽度大于等于16,且小于等于64;
2)、高度与宽度的比例小于4。
7、基于位置的变换(Position Based Transform,简称PBT)模式:对于传统的帧间残差变换,变换单元与编码单元相同,不再划分,使用传统的DCT2变换方式进行变换处理,然而帧间残差不是自然图象,不具有平稳的特性,存在多样性,因此使用传统的DCT2变换方式不一定是最佳变换方式,并且靠近预测边界的残差幅值较大。因此针对一定尺寸范围内的帧间残差块(方块或者非方块),可选择使用PBT模式,或者,选择使用传统的DCT2变换方式,使用率失真优化选择最佳变换方式并在码流中标识。
示例性的,请参见图3A,实线边界表示的是编码单元的边界,虚线表示的是PBT划分后的子块边界。经过RDO选择使用PBT模式或DCT2变换方式。
如图3A所示,对于选择PBT的子块,在图3A中标识为0-3。根据0-3子块的位置,确定变换核对信息,不需要在码流中编码变换核对的索引。
8、子块变换(Sub-Block Transform,简称SBT)模式:将帧间残差块划分为2个子块,其中一个子块的残差默认为0,另一个子块的残差默认不为0;非0残差子块的大小和位置有8种选择(在码流中传输这些信息),非0残差子块的变换按照子块的位置自适应选择DCT8/DST7变换方式作为水平变换方式和竖直变换方式。
示例性的,请参见图3B,子块变换模式可以包括8种。
9、帧间预测滤波模式:帧间预测滤波技术是AVS3中采纳的技术,应用于直接(Direct)模式下,消除了帧间预测导致的预测块与周围像素之间的空域不连续性问题。
示例性地,帧间预测滤波又分为普通帧间预测滤波和增强帧间预测滤波:
(1)普通帧间预测滤波(interpf)
普通帧间预测滤波是指采用帧间预测获取帧间预测值后,然后采用帧内预测获取帧内预测值,最后将帧间预测值和帧内预测值进行加权获取最终的预测值。
普通帧间预测滤波流程如下:
(a)使用帧内planar模式得到预测块Q
Q(x,y)=(Pred_V(x,y)+Pred_H(x,y)+1)>>2
Pred_V(x,y)=((h-1-y)*Recon(x,-1)+(y+1)*Recon(-1,h)+(h>>1))>>log2(h)
Pred_H(x,y)=((w-1-x)*Recon(-1,y)+(x+1)*Recon(w,-1)+(w>>1))>>log2(w)
其中,w和h为当前块的宽度和高度,x和y当前块内的相对坐标,Recon(x,y)为周围已重建像素值。
(b)基于帧间预测块P和帧内预测块Q进行5:3加权,得到最终预测块
P′(x,y)=(P(x,y)*5+Q(x,y)*3+4)>>3
其中,P(x,y)为帧间预测得到的预测值,P′(x,y)为滤波后的预测值。
(2)增强帧间预测滤波(enhance interpf)
增强帧间预测滤波是指采用帧间预测获取帧间预测值后,然后利用当前块左侧的一列重建像素和上方的一行重建像素作为参考像素,使用3抽头滤波器对当前预测块进行滤波,滤波过程如下:
P′(x,y)=f(x)·P(-1,y)+f(y)·P(x,-1)+(1-f(x)-f(y))·P(x,y)
0≤x,y<N
其中,P′(x,y)为滤波后的预测值,P(x,y)为帧间预测得到的预测值,f(x)和f(y)为滤波器系数,N为预测块的尺寸。
示例性的,不同预测块的尺寸和距离参考像素的距离的对应的滤波器系数可以如表2所示:
表2
其中,预测块的尺寸表示帧内预测块的宽或高的尺寸;距离参考像素的距离表示预测距离,最大预测距离设为10。
表2中的系数是经过放大之后的滤波器系数。例如,尺寸4对应的第一列表示当前预测块的宽(高)为4,对应的水平(竖直)滤波系数应该根据预测距离使用第一列对应的系数;距离1对应的第一行表示预测距离为1时,应该根据当前预测块的宽(高)使用第一行对应的系数。
示例性的,帧间预测滤波的标识方式可以如表3所示:
滤波方式索引 | 滤波类型 | 码流标识 |
0 | 不滤波 | 0 |
1 | 普通帧间预测滤波 | 10 |
2 | 增强帧间预测滤波 | 11 |
表3
编码端设备通过RDO策略选择最优的滤波方式并编码对应码流标识到码流中,解码端设备解码码流标识确定最终的滤波方式。
10、变换跳过(Transform Skip,简称TS)模式:变换跳过模式指的是在得到残差块以后,不对当前块进行变换操作(包括初始变换和二次变换),而是对当前块的残差系数进行简单的位移操作,变换跳过和反变换跳过操作过程如下:
(1)变换跳过
a)计算移位shift,shift=15–BitDepth–((logM1+logM2)>>1),BitDepth为图像的比特深度,M1为当前块宽度,M2为当前块的高度;
b)若shift≥0,则进位因子rnd_factor=1<<(shift–1)。由残差系数矩阵ResiMatrix得到矩阵C:
Cij=(ResidueMatrixij+rnd_factor)<<shift
c)若shift<0,则令shift=-shift,由残差系数矩阵ResiMatrix得到矩阵C:
Cij=(ResidueMatrixij+rnd_factor)>>shift
d)将矩阵C作为变换系数矩阵CoeffMatrix,用于量化及熵编码过程。
(2)反变换跳过
a)计算移位shift,shift=15–BitDepth–((logM1+logM2)>>1)
b)若shift≥0,则进位因子rnd_factor=1<<(shift–1),由变换系数矩阵CoeffMatrix得到矩阵W:
Wij=(CoeffMatrixij+rnd_factor)>>shift
c)若shift<0,则令shift=-shift,由变换系数矩阵CoeffMatrix得到矩阵W:
Wij=(CoeffMatrixij+rnd_factor)<<shift
d)将矩阵W作为残差系数矩阵ResidueMatrix,用于重建过程。
11、率失真原则(RDO,Rate-Distortion Optimized):评价编码效率的指标包括:码率和峰值信噪比(Peak Signal to Noise Ratio,简称PSNR)。码率越小,则压缩率越大;PSNR越大,重建图像质量越好。在模式选择的时候,判别公式实质上也就是对二者的综合评价。
模式对应的代价:J(mode)=D+λ*R。其中,D表示失真(Distortion),通常使用SSE(差值均方和)指标来衡量,SSE是指重建块与源图像块的差值均方和;λ是拉格朗日乘子;R就是该模式下图像块编码所需的实际比特数,包括编码模式信息、运动信息、残差等所需的比特总和。
在模式选择时,若使用RDO原则去对编码模式做比较决策,通常可以保证编码性能最佳。
12、跳过(Skip)模式:编码端设备不传输残差信息,也不传输运动矢量残差(MVD),而是传输运动信息的索引即可。解码端设备通过解析运动信息的索引,即可推导当前块的运动信息,获取运动信息后,利用运动信息确定预测值,并将预测值作为重建值。
13、直接模式:编码端设备需要传输残差信息,但不传输MVD,而是传输运动信息的索引即可。解码端设备通过解析运动信息的索引,即可推导当前块的运动信息,获取运动信息后,利用运动信息确定预测值,将预测值加上残差值得到重建值。
14、帧间预测模式:编码端设备传输运动信息的索引、MVD以及残差信息等内容。
在跳过模式或者直接模式下,当前块的运动信息完全复用时域或空域某个相邻块的运动信息,例如,可以从周围多个块的运动信息集合中,选择一个运动信息作为当前块的运动信息。因此,在跳过模式或直接模式下,可以编码一个索引值表示当前块使用运动信息集合中的哪个运动信息,而跳过模式和直接模式之间的区别在于:跳过模式不需要编码残差,而直接模式需要编码残差。显然,跳过模式或者直接模式可以大大节省运动信息的编码开销。
在直接模式下,可以采用多种预测模式确定如何生成帧间预测值,例如,普通直接模式、子块模式、编码预测(Merge with Motion Vector Difference,简称MMVD)模式、帧间预测滤波(interpf)模式,帧间角度加权预测(Angular Weighted Prediction,简称AWP)模式、基于任意几何划分形状(Geometrical Partitioning,简称GEO)的模式。
子块模式可以包括仿射(Affine)模式或者基于子块的时间运动矢量预测(subblock-based temporal motion vector prediction,简称SbTMVP)模式。
15、隐式选择变换跳过模式(Implicit Selection of Transform Skip mode,简称ISTS):AVS-M5160提出了ISTS方案,编码端设备需要通过RDO来选择(DCT2,DCT2)还是变换跳过模式。为了隐藏ISTS标志位,当编码端设备选择(DCT2,DCT2)时,当前块的非零变换系数的个数应为偶数,若实际非零变换个数为奇数时,编码端设备通过将最后一位非零变换系数置零的方法使得当前块的非零变换系数的个数为偶数。同理,当编码端设备选择变换跳过模式时,当前块的非零变换系数的个数应为奇数,若实际非零变换系数的个数为偶数,则编码端设备可以通过将最后一位非零变换系数置零的方式使得当前块的非零变换系数的个数为奇数。
示例性的,ISTS的变换方式选择方式可以如表4所示:
非零变换系数的个数num_nz | 变换方式 |
num_nz%2==0 | (DCT2,DCT2) |
num_nz%2==1 | TS |
表4
解码端设备通过统计当前块的非零变换系数的个数的奇偶性,根据表3可以得到当前块使用的变换方式。
三、现有视频编解码的主要流程
请参考图4中的(a),以视频编码为例,视频编码一般包括预测、变换、量化、熵编码等过程,进一步地,编码过程还可以按照图4中的(b)的框架来实现。
其中,预测可以分为帧内预测和帧间预测,帧内预测是利用周围已编码块作为参考对当前未编码块进行预测,有效去除空域上的冗余。帧间预测是使用邻近已编码图像对当前图像进行预测,有效去除时域上的冗余。
变换是指将图像从空间域转换至变换域,利用变换系数对图像加以表示。绝大多数图像都含有较多平坦区域和缓慢变化的区域,适当的变换可以使图像由在空间域的分散分布转换为在变换域的相对集中分布,去除信号之间的频域相关性,配合量化过程,可以有效压缩码流。
熵编码是一种无损编码方式,可以把一系列元素符号转变为一个用来传输或存储的二进制码流,输入的符号可能包括量化后的变换系数、运动矢量信息、预测模式信息,变换量化相关语法等。熵编码可以有效地去除视频元素符号的冗余。
上述是以编码为例进行介绍,视频解码与视频编码的过程是相对的,即视频解码通常包括熵解码、预测、反量化、反变换、滤波等过程,各个过程的实现原理与熵编码相同或相似。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
实施例1:
请参见图5,为本申请实施例提供的一种图像处理方法的流程示意图,该图像处理方法可以应用于编码端设备或解码端设备,如图5所示,该图像处理方法可以包括以下步骤:
步骤S500、确定当前块的预测模式。
步骤S510、当确定当前块的预测模式满足以下条件之一时,确定当前块满足变换跳过模式条件:当前块的预测模式为帧间预测模式、当前块的预测模式为直接模式。
本申请实施例中,对于编码端设备,当前图像块为编码块;对于解码端设备,当前块为解码块,下文不再复述。
本申请实施例中,可以将ISTS方案应用于帧间预测模式或/和直接模式,而不再将其限制在帧内预测模式或IBC模式,以扩展ISTS方案的应用范围。
当确定当前块的预测模式满足以下条件之一时,可以确定当前块满足变换跳过模式条件,即当前块允许使用变换跳过模式。
示例性的,对于编码端设备,可以基于RDO原则选择当前块的预测模式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的预测模式标志位,从而确定当前块的预测模式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用跳过模式的标志位(可以称为跳过模式标志位),并基于跳过模式标志位的值确定当前块是否采用跳过模式;若当前块未采用跳过模式,则从码流中解析用于指示当前块是否采用直接模式的标志位(可以称为直接模式标志位),并基于直接模式标志位的值确定当前块是否采用直接模式;若当前块未采用直接模式,则从码流中解析用于指示当前块采用帧内预测模式或帧间预测模式的标志位,并基于该标志位的值确定当前块采用帧内预测模式或帧间预测模式。
一个示例中,当确定当前块的预测模式为帧间预测模式时,确定当前块满足变换跳过模式条件。
在另一个示例中,当确定当前块的预测模式为直接模式时,确定当前块满足变换跳过模式条件。
在又一个示例中,当确定当前块的预测模式为帧间预测模式或直接模式时,确定当前块满足变换跳过模式条件。
可见,在图5所示方法流程中,通过将变换跳过模式应用于帧间预测模式或/和直接模式,扩展了ISTS方案的应用范围,并可以提高编码性能,降低解码时延。
实施例2:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块满足以下条件之一:
当前块未采用PBT模式;
当前块未采用SBT模式;
当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
示例性的,考虑到当前块采用PBT模式时,需要对当前块进行子块划分,且不同位置的子块进行的变换不完全相同;而当前块采用SBT模式时,需要对帧间残差块进行子块划分,并将其中一个子块的残差默认为0,另一个子块的残差默认不为0,因此,在当前块采用PBT模式或SBT模式的情况下,采用变换跳过模式的复杂度会很高,而带来的性能提升并不明显。
因而,还可以将当前块是否采用PBT模式或SBT模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于编码端设备,可以基于RDO原则选择当前块采用PBT模式、SBT模式或DCT2变换方式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的变换模式标志位,从而确定当前块采用PBT模式、SBT模式或DCT2变换方式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用PBT模式的标志位,并基于该标志位的值确定当前块是否采用PBT模式;若当前块未采用PBT模式,则从码流中解析用于指示当前块是否采用SBT模式的标志位,并基于该标志位的值确定当前块是否采用SBT模式;若当前块未采用SBT模式,则确定当前块采用DCT2模式。
在一个示例中,当当前块满足实施例1中的条件,且未采用PBT模式时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块满足实施例1中的条件,且未采用SBT模式时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块满足实施例1中的条件,且既未采用PBT模式,又未采用SBT模式;或,当当前块满足实施例1中的条件,且采用DCT2变换方式进行变换时,确定当前块满足变换跳过模式。
实施例3:
作为一种可能的实施例,当当前块的预测模式为直接模式时,当前块满足变换跳过模式条件,还可以包括:
当前块未采用帧间预测滤波模式。
示例性的,考虑到当当前块采用了帧间预测滤波模式时,对当前块采用变换跳过模式对当前块的性能基本不会带来提升,而且会提升复杂度。
因而,当当前块的预测模式为直接模式时,还可以将当前块是否采用帧间预测滤波模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于解码端设备,可以通过从码流中解析与当前块的滤波方式索引对应的码流标识(可以如表3所示),确定当前块的滤波类型。
对于编码端,可以基于RDO原则确定当前块是否采用帧间预测滤波模式。
举例来说,对于解码端设备,当从当前块的码流中解析得到的滤波方式索引对应的码流标识为0,则确定当前块未采用帧间预测滤波模式;若解析得到的码流标识为10,则确定当前块采用帧间预测滤波模式,且为普通帧间预测滤波;若解析得到的码流标识为11,则确定当前块采用帧间预测滤波模式,且为增强帧间预测滤波。
在一个示例中,当当前块的预测模式为直接模式,且当前块未采用帧间预测滤波模式时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块的预测模式为直接模式,且当前块未采用帧间预测滤波模式,以及当前块未采用PBT模式时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块的预测模式为直接模式,且当前块未采用帧间预测滤波模式,以及当前块未采用SBT模式时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块的预测模式为直接模式,且当前块未采用帧间预测滤波模式,以及当前块即未采用SBT模式,又未采用SBT模式时;或,当当前块满足实施例1中的条件,且采用DCT2变换方式进行变换,确定当前块满足变换跳过模式。
实施例4:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块满足以下条件之一或多个:
当前块为亮度块;
当前块的宽度和高度均小于64。
示例性的,考虑到通常图像的色度块的纹理比较简单,应用变换跳过模式带来的性能提升很小。
此外,对于宽度和高度较大,如大于64的块,应用变换跳过模式的复杂度提升相对性能提升更为明显。
因而,还可以将当前块为亮度块或色度块,以及当前块的尺寸作为当前块满足变换跳过模式条件的判定条件。
在一个示例中,当当前块满足实施例1~实施例3任一实施例中的条件,且当前块为亮度块时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块满足实施例1~实施例3任一实施例中的条件,且当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块满足实施例1~实施例3任一实施例中的条件,且当前块为亮度块,以及当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
实施例6:
请参见图6,为本申请实施例提供的一种图像处理方法的流程示意图,该图像处理方法可以应用于编码端设备或解码端设备,如图6所示,该图像处理方法可以包括以下步骤:
步骤S600、确定当前块的变换模式。
步骤S610、当确定当前块的变换模式满足以下条件之一时,确定当前块满足变换跳过模式条件:当前块未采用PBT模式、当前块未采用SBT模式以及当前块未采用PBT模式,且未采用SBT模式或当前块采用DCT2变换方式进行变换。
本申请实施例中,考虑到当前块采用PBT模式时,需要对当前块进行子块划分,且不同位置的子块进行的变换不完全相同;而当前块采用SBT模式时,需要对帧间残差块进行子块划分,并将其中一个子块的残差默认为0,另一个子块的残差默认不为0,因此,在当前块采用PBT模式或SBT模式的情况下,采用变换跳过模式的复杂度会很高,而带来的性能提升并不明显。
因而,可以将当前块是否采用PBT模式或SBT模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于编码端设备,可以基于RDO原则选择当前块采用PBT模式、SBT模式或DCT2变换方式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的变换模式标志位,从而确定当前块采用PBT模式、SBT模式或DCT2变换方式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用PBT模式的标志位,并基于该标志位的值确定当前块是否采用PBT模式;若当前块未采用PBT模式,则从码流中解析用于指示当前块是否采用SBT模式的标志位,并基于该标志位的值确定当前块是否采用SBT模式;若当前块未采用SBT模式,则确定当前块采用DCT2模式。
在一个示例中,当当前块未采用PBT模式时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块未采用SBT模式时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换时,确定当前块满足变换跳过模式。
实施例6:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块的预测模式满足以下条件之一:
当前块的预测模式为帧间预测模式;
当前块的预测模式为直接模式。
示例性的,可以将ISTS方案应用于帧间预测模式或/和直接模式,而不再将其限制在帧内预测模式或IBC模式,以扩展ISTS方案的应用范围。
因而,还可以将当前块的预测模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于编码端设备,可以基于RDO原则选择当前块的预测模式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的预测模式标志位,从而确定当前块的预测模式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用跳过模式的标志位(可以称为跳过模式标志位),并基于跳过模式标志位的值确定当前块是否采用跳过模式;若当前块未采用跳过模式,则从码流中解析用于指示当前块是否采用直接模式的标志位(可以称为直接模式标志位),并基于直接模式标志位的值确定当前块是否采用直接模式;若当前块未采用直接模式,则从码流中解析用于指示当前块采用帧内预测模式或帧间预测模式的标志位,并基于该标志位的值确定当前块采用帧内预测模式或帧间预测模式。
一个示例中,当当前块满足实施例5中的条件,且预测模式为帧间预测模式时,确定当前块满足变换跳过模式条件。
在另一个示例中,当当前块满足实施例5中的条件,且预测模式为直接模式时,确定当前块满足变换跳过模式条件。
在又一个示例中,当当前块满足实施例5中的条件,且预测模式为帧间预测模式或直接模式时,确定当前块满足变换跳过模式条件。
实施例7:
作为一种可能的实施例,当当前块的预测模式为直接模式时,当前块满足变换跳过模式条件,还可以包括:
当前块未采用帧间预测滤波模式。
示例性的,考虑到当当前块采用了帧间预测滤波模式时,对当前块采用变换跳过模式对当前块的性能基本不会带来提升,而且会提升复杂度。
因而,还可以将当前块是否采用帧间预测滤波模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于解码端设备,可以通过从码流中解析与当前块的滤波方式索引对应的码流标识(可以如表3所示),确定当前块的滤波类型。
对于编码端,可以基于RDO原则确定当前块是否采用帧间预测滤波模式。
举例来说,对于解码端设备,当从当前块的码流中解析得到的滤波方式索引对应的码流标识为0,则确定当前块未采用帧间预测滤波模式;若解析得到的码流标识为10,则确定当前块采用帧间预测滤波模式,且为普通帧间预测滤波;若解析得到的码流标识为11,则确定当前块采用帧间预测滤波模式,且为增强帧间预测滤波。
在一个示例中,当当前块满足实施例5或实施例6的条件,且当前块未采用帧间预测滤波模式时,确定当前块满足变换跳过模式。
实施例8:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块满足以下条件之一或多个:
当前块为亮度块;
当前块的宽度和高度均小于64。
示例性的,考虑到通常图像的色度块的纹理比较简单,应用变换跳过模式带来的性能提升很小。
此外,对于宽度和高度较大,如大于64的块,应用变换跳过模式的复杂度提升相对性能提升更为明显。
因而,还可以将当前块为亮度块或色度块,以及当前块的尺寸作为当前块满足变换跳过模式条件的判定条件。
在一个示例中,当当前块满足实施例5~实施例7任一实施例中的条件,且当前块为亮度块时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块满足实施例5~实施例7任一实施例中的条件,且当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块满足实施例5~实施例7任一实施例中的条件,且当前块为亮度块,以及当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
实施例9:
请参见图7,为本申请实施例提供的一种图像处理方法的流程示意图,该图像处理方法可以应用于编码端设备或解码端设备,如图7所示,该图像处理方法可以包括以下步骤:
步骤700、当当前块未采用帧间预测滤波模式时,确定当前块满足变换跳过模式条件。
本申请实施例中,考虑到当当前块采用了帧间预测滤波模式时,对当前块采用变换跳过模式对当前块的性能基本不会带来提升,而且会提升复杂度。
因而,可以将当前块是否采用帧间预测滤波模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于解码端设备,可以通过从码流中解析与当前块的滤波方式索引对应的码流标识(可以如表3所示),确定当前块的滤波类型。
对于编码端,可以基于RDO原则确定当前块是否采用帧间预测滤波模式。
举例来说,对于解码端设备,当从当前块的码流中解析得到的滤波方式索引对应的码流标识为0,则确定当前块未采用帧间预测滤波模式;若解析得到的码流标识为10,则确定当前块采用帧间预测滤波模式,且为普通帧间预测滤波;若解析得到的码流标识为11,则确定当前块采用帧间预测滤波模式,且为增强帧间预测滤波。
实施例10:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块的预测模式满足以下条件之一:
当前块的预测模式为帧间预测模式;
当前块的预测模式为直接模式。
示例性的,可以将ISTS方案应用于帧间预测模式或/和直接模式,而不再将其限制在帧内预测模式或IBC模式,以扩展ISTS方案的应用范围。
因而,还可以将当前块的预测模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于编码端设备,可以基于RDO原则选择当前块的预测模式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的预测模式标志位,从而确定当前块的预测模式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用跳过模式的标志位(可以称为跳过模式标志位),并基于跳过模式标志位的值确定当前块是否采用跳过模式;若当前块未采用跳过模式,则从码流中解析用于指示当前块是否采用直接模式的标志位(可以称为直接模式标志位),并基于直接模式标志位的值确定当前块是否采用直接模式;若当前块未采用直接模式,则从码流中解析用于指示当前块采用帧内预测模式或帧间预测模式的标志位,并基于该标志位的值确定当前块采用帧内预测模式或帧间预测模式。
一个示例中,当当前块满足实施例9中的条件,且预测模式为帧间预测模式时,确定当前块满足变换跳过模式条件。
在另一个示例中,当当前块满足实施例9中的条件,且预测模式为直接模式时,确定当前块满足变换跳过模式条件。
在又一个示例中,当当前块满足实施例9中的条件,且预测模式为帧间预测模式或直接模式时,确定当前块满足变换跳过模式条件。
实施例11:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块满足以下条件之一:
当前块未采用PBT模式;
当前块未采用SBT模式;
当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
示例性的,考虑到当前块采用PBT模式时,需要对当前块进行子块划分,且不同位置的子块进行的变换不完全相同;而当前块采用SBT模式时,需要对帧间残差块进行子块划分,并将其中一个子块的残差默认为0,另一个子块的残差默认不为0,因此,在当前块采用PBT模式或SBT模式的情况下,采用变换跳过模式的复杂度会很高,而带来的性能提升并不明显。
因而,还可以将当前块是否采用PBT模式或SBT模式作为当前块是否满足变换跳过模式条件的判定条件。
示例性的,对于编码端设备,可以基于RDO原则选择当前块采用PBT模式、SBT模式或DCT2变换方式。
对于解码端设备,可以通过对当前块的码流进行解析,获取码流中的变换模式标志位,从而确定当前块采用PBT模式、SBT模式或DCT2变换方式。
举例来说,以解码端设备为例,解码端设备可以从当前块的码流中解析用于指示当前块是否采用PBT模式的标志位,并基于该标志位的值确定当前块是否采用PBT模式;若当前块未采用PBT模式,则从码流中解析用于指示当前块是否采用SBT模式的标志位,并基于该标志位的值确定当前块是否采用SBT模式;若当前块未采用SBT模式,则确定当前块采用DCT2模式。
在一个示例中,当当前块满足实施例9或实施例10中的条件,且未采用PBT模式时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块满足实施例9或实施例10中的条件,且未采用SBT模式;或,当前块满足实施例9或实施例10中的条件,且采用DCT2变换方式进行变换时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块满足实施例9或实施例10中的条件,且既未采用PBT模式,又未采用SBT模式时,确定当前块满足变换跳过模式。
实施例12:
作为一种可能的实施例,当前块满足变换跳过模式条件,还可以包括:
当前块满足以下条件之一或多个:
当前块为亮度块;
当前块的宽度和高度均小于64。
示例性的,考虑到通常图像的色度块的纹理比较简单,应用变换跳过模式带来的性能提升很小。
此外,对于宽度和高度较大,如大于64的块,应用变换跳过模式的复杂度提升相对性能提升更为明显。
因而,还可以将当前块为亮度块或色度块,以及当前块的尺寸作为当前块满足变换跳过模式条件的判定条件。
在一个示例中,当当前块满足实施例9~实施例11任一实施例中的条件,且当前块为亮度块时,确定当前块满足变换跳过模式。
在另一个示例中,当当前块满足实施例9~实施例11任一实施例中的条件,且当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
在又一个示例中,当当前块满足实施例9~实施例11任一实施例中的条件,且当前块为亮度块,以及当前块的宽度和高度均小于64时,确定当前块满足变换跳过模式。
实施例13:
请参见图8,为本申请实施例提供的一种解码方法的流程示意图,该解码方法可以应用于解码端设备,如图8所示,该解码方法可以包括以下步骤:
步骤S800、获取码流;
步骤S810、从码流中获取帧间变换跳过模式使能标志位。
本申请实施例中,为了提高针对帧间预测模式或/和直接模式的变换跳过模式的应用的灵活性和可控性,可以设置一个用于指示是否使能帧间变换跳过模式的标志位。
示例性的,该标志位的值至少可以包括第一值和第二值,第一值为表征使能帧间变换跳过模式的值;第二值为表征不使能帧间变换跳过模式的值。
当该标志位的值为第一值时,表征变换跳过模式可以应用于帧间预测模式或/和直接模式。
在一个示例中,帧间变换跳过模式使能标志位可以通过序列参数集(SequenceParamater Set,简称SPS)级语法实现,一个图像序列通过一个帧间变换跳过模式使能标志,标识该图像序列是否可以将变换跳过模式应用于帧间预测模式或/和直接模式,以节省编码比特消耗。
应该认识到,帧间变换跳过模式使能标志位并不限于通过SPS级语法实现,其也可以通过图像参数集(Picture Parameter Set,简称PPS)级语法或片(Slice)级语法等语法实现。
以帧间变换跳过模式使能标志位通过SPS级语法实现为例,解码端设备可以从图像序列的序列头中解析帧间变换跳过模式使能标志位,并基于解析得到的帧间变换跳过模式使能标志位的值,确定是否使能帧间变换跳过模式。
步骤S820、当帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于当前块的非零变换系数的个数的奇偶性,对当前块进行反变换跳过处理或DCT2反变换处理,并进行反量化处理,得到当前块的残差系数。
本申请实施例中,当帧间变换跳过模式使能标志位的值为第一值,即使能帧间变换跳过模式时,解码端设备可以确定当前块是否满足变换跳过模式。
需要说明的是,编码端设备进行码流编码时,还可以编码变换跳过模式使能标志位,该变换跳过模式使能标志位一般通过PPS级语法实现,用于标识一帧图像是否使能变换跳过模式。当解码端设备获取到的帧间变换跳过模式使能标志位的值为第一值时,对于任一帧图像,还可以从该帧图像的码流中解析变换跳过模式使能标志位,当该变换跳过模式使能标志位的值为表征该帧图像使能变换跳过模式的值时,再对该帧图像的各块进行是否满足变换跳过模式条件的判定。
示例性的,解码端设备判定当前块是否满足变换跳过模式条件的实现可以采用实施例1~实施例12中任一实施例中描述的方式。
当解码端设备确定当前块满足变换跳过模式时,解码端设备可以基于当前块的非零变换系数(反量化前的变换系数)的个数的奇偶性,确定对当前块进行反变换跳过处理或DCT2反变换处理。
示例性的,当当前块的非零变换系数的个数为奇数时,确定对当前块进行反变换跳过处理。
当当前块的非零系数的个数为偶数时,确定对当前块进行DCT2反变换处理。
解码端设备通过对当前块进行反变换跳过处理或DCT2反变化处理,得到当前块的变换系数时,可以通过反量化处理,得到当前块的残差系数。
步骤S830、基于当前块的预测值和当前块的残差系数,确定当前块的重建值。
本申请实施例中,解码端设备可以通过预测得到的当前块的预测值,以及步骤S820中得到的当前块的残差系数,确定当前块的重建值。
可见,在图8所示方法流程中,通过增加帧间变换跳过模式使能标志位,通过该帧间变换跳过模式使能标志位对针对帧间预测模式或/和直接模式的变换跳过模式应用进行控制,提高了变换跳过模式应用的灵活性和可控性,从而提高了ISTS方案应用的灵活性和可控性;此外,通过将ISTS方案应用于帧间预测模式或/和直接模式,扩展了ISTS方案的应用范围,且可以提高编码性能,降低解码时延。
实施例14:
请参见图9,为本申请实施例提供的一种编码方法的流程示意图,该编码方法可以应用于编码端设备,如图9所示,该编码方法可以包括以下步骤:
步骤S900、对帧间变换跳过模式使能标志位进行编码。
本申请实施例中,为了提高针对帧间预测模式或/和直接模式的变换跳过模式的应用的灵活性和可控性,可以设置一个用于指示是否使能帧间变换跳过模式的标志位。
示例性的,该标志位的值至少可以包括第一值和第二值,第一值为表征使能帧间变换跳过模式的值;第二值为表征不使能帧间变换跳过模式的值。
当该标志位的值为第一值时,表征变换跳过模式可以应用于帧间预测模式或/和直接模式。
在一个示例中,帧间变换跳过模式使能标志位可以通过序列参数集(SequenceParamater Set,简称SPS)级语法实现,一个图像序列通过一个帧间变换跳过模式使能标志,标识该图像序列是否可以将变换跳过模式应用于帧间预测模式或/和直接模式,以节省编码比特消耗。
应该认识到,帧间变换跳过模式使能标志位并不限于通过SPS级语法实现,其也可以通过图像参数集(Picture Parameter Set,简称PPS)级语法或片(Slice)级语法等语法实现。
以帧间变换跳过模式使能标志位通过SPS级语法实现为例,编码端设备可以在图像序列的序列头中增加帧间变换跳过模式使能标志位,并基于配置设置该帧间变换跳过模式使能标志位的值。
步骤S910、当帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于率失真代价选择对当前块进行变换跳过处理或DCT2变换处理,以得到当前块的变换系数。
本申请实施例中,当帧间变换跳过模式使能标志位的值为第一值,即使能帧间变换跳过模式时,编码端设备可以确定当前块是否满足变换跳过模式。
需要说明的是,编码端设备进行码流编码时,还可以编码变换跳过模式使能标志位,该变换跳过模式使能标志位一般通过PPS级语法实现,用于标识一帧图像是否使能变换跳过模式。当该变换跳过模式使能标志位的值为表征该帧图像使能变换跳过模式的值时,编码端设备可以对该帧图像的各块进行是否满足变换跳过模式条件的判定。
示例性的,编码端设备判定当前块是否满足变换跳过模式条件的实现可以采用实施例1~实施例12中任一实施例中描述的方式。
当编码端设备确定当前块满足变换跳过模式条件时,编码端设备可以基于RDO原则选择对当前块进行变换跳过处理或DCT2变换处理。
步骤S920、当当前块的非零变换系数的个数的奇偶性与所选择变换方式不匹配时,调整当前块的非零变换系数的个数的奇偶性,以使当前块的非零变换系数的个数的奇偶性与所选择的变换方式匹配。
本申请实施例中,为了节省编码比特开销,可以通过ISTS方案指示当前块选择变换跳过处理或DCT2变换处理。
示例性的,当编码端设备选择对当前块进行变换跳过处理时,需要使当前块的非零变换系数(量化前的变换系数)的个数为奇数;当编码端设备选择对当前块进行DCT2处理时,需要使当前块的非零变换系数的个数为偶数。
编码端设备基于RDO原则选择了对当前块进行变换跳过处理或DCT2变换处理时,可以确定当前块的非零系数的个数的奇偶性与所选择的变换方式(变换跳过模式或DCT2变换)是否匹配。
当当前块的非零变换系数的个数的奇偶性与所选择的变换方式不匹配时,编码端设备可以调整当前块的非零变换系数的个数的奇偶性,以使当前块的非零变换系数的个数的奇偶性与所选择的变换方式匹配。
例如,当编码端设备选择对当前块进行变换跳过处理,且当前块的非零变换系数的个数为偶数时,编码端设备可以将当前块的最后一位非零变换系数置零,以使当前块的非零变换系数的个数为奇数。
当编码端设备选择对当前块进行DCT2变换处理,且当前块的非零变换系数的个数为奇数时,编码端设备可以将当前块的最后一位非零变换系数置零,以使当前块的非零变换系数的个数为偶数。
步骤S930、对当前块的变换系数进行量化及熵编码,得到当前块的码流。
本申请实施例中,当当前块的非零变换系数的个数的奇偶性与所选择变换方式匹配时,编码端设备可以对当前块的变换系数进行量化及熵编码,得到当前块的码流。
可见,在图9所示方法流程中,通过增加帧间变换跳过模式使能标志位,通过该帧间变换跳过模式使能标志位对针对帧间预测模式或/和直接模式的变换跳过模式应用进行控制,提高了变换跳过模式应用的灵活性和可控性,从而提高了ISTS方案应用的灵活性和可控性;此外,通过将ISTS方案应用于帧间预测模式或/和直接模式,扩展了ISTS方案的应用范围,且可以提高编码性能,降低解码时延。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
实施例15:
将ISTS应用于帧间预测模式或/和直接模式
当前块满足变换跳过模式条件,包括:
当前块的预测模式满足以下条件之一:
1、当前块的预测模式为帧间预测模式;
2、当前块的预测模式为直接模式;
3、当前块的预测模式为帧间预测模式或直接模式。
实施例16:
将ISTS应用于PBT模式或/和SBT模式之外的变换模式
当前块满足变换跳过模式条件,包括:
当前块的变换模式满足以下条件之一:
1、当前块未采用PBT模式;
2、当前块未采用SBT模式;
3、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
实施例17:
将ISTS应用于帧间预测滤波模式之外的模式
当前块满足变换跳过模式条件,包括:
当前块未采用帧间预测滤波模式。
实施例18:
当前块满足变换跳过模式条件,包括:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
实施例19:
当前块满足变换跳过模式条件,包括:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块未采用帧间预测滤波模式。
实施例20:
当前块满足变换跳过模式条件,包括:
1、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
2、当前块未采用帧间预测滤波模式。
实施例21:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
3、当前块未采用帧间预测滤波模式。
实施例22:
当前块满足变换跳过模式条件,包括:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例23:
当前块满足变换跳过模式条件,包括:
1、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
2、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例24、
当前块满足变换跳过模式条件,包括:
1、当前块未采用帧间预测滤波模式。
2、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例25:
当前块满足变换跳过模式条件,包括:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
3、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例26:
当前块满足变换跳过模式条件,包括:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块未采用帧间预测滤波模式。
3、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例27:
当前块满足变换跳过模式条件,包括:
1、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
2、当前块未采用帧间预测滤波模式。
3、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例28:
1、当前块的预测模式满足以下条件之一:
1)、当前块的预测模式为帧间预测模式;
2)、当前块的预测模式为直接模式;
3)、当前块的预测模式为帧间预测模式或直接模式。
2、当前块的变换模式满足以下条件之一:
1)、当前块未采用PBT模式;
2)、当前块未采用SBT模式;
3)、当前块未采用PBT模式,且未采用SBT模式;或,当前块采用DCT2变换方式进行变换。
3、当前块未采用帧间预测滤波模式。
4、当前块满足以下条件之一或多个:
1)、当前块为亮度块;
2)、当前块的宽度和高度均小于64。
实施例29
解码流程:
接收码流。
从码流中获取帧间变换跳过使能标志位inter_ists_enable_flag,若inter_ists_enable_flag为真(例如,值为1)且当前块满足变换跳过模式条件,则基于当前块的非零变换系数(此变换系数为反量化前的变换系数)的个数(num_nz)的奇偶性来确定是否对当前块进行变换跳过模式。
若num_nz为奇数,对当前块进行反变换跳过模式;否则,num_nz为偶数,对当前块进行DCT2反变换,以得到当前块的变换系数(反量化前的变换系数)。
经过反量化后得到当前块的残差系数,与当前块的预测值相加得到当前块的重建值。
示例性的,解码端设备确定当前块满足变换跳过模式条件可以采用实施例15~实施例28任一实施例描述的方式。
实施例30:
编码流程:
编码帧间变换跳过使能标志位inter_ists_enable_flag。
若inter_ists_enable_flag为真(例如,值为1)且当前块满足变换跳过模式条件,则通过RDO的方式来选择对当前块进行变换跳过处理或DCT2变换处理。
示例性的,变换跳过模式通过隐式的方法进行标识,即通过调整当前块的非零变换系数(次变换系数为量化后的变换系数)的个数(num_nz)的奇偶性,使其与当前块的变换方式匹配。
示例性,若对当前块进行变换跳过处理,则当前块的num_nz需为奇数,若不为奇数,则通过调整变换系数使num_nz为奇数;同理,若对当前块进行DCT2变换处理,则当前块的num_nz需为偶数,若不为偶数,则通过调整变换系数使num_nz为偶数。
对当前块的变换系数进行量化及熵编码,得到当前块的码流。
示例性的,编码端设备确定当前块满足变换跳过模式条件可以采用实施例15~实施例28任一实施例描述的方式。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图10,为本申请实施例提供的一种解码装置的硬件结构示意图。该解码装置可包括处理器1001、存储有机器可执行指令的机器可读存储介质1002。处理器1001与机器可读存储介质1002可经由系统总线1003通信。并且,通过读取并执行机器可读存储介质1002中与解码控制逻辑对应的机器可执行指令,处理器1001可执行上文描述的解码方法。
本文中提到的机器可读存储介质1002可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
如图11所示,从功能上划分,上述解码装置可以包括:
获取单元,用于获取码流;
解码单元,用于当所述帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于所述当前块的非零变换系数的个数的奇偶性,对所述当前块进行反变换跳过处理或离散余弦变换DCT2反变换处理,并进行反量化处理,得到所述当前块的残差系数;其中,所述第一值为表征使能帧间变换跳过模式的值;基于所述当前块的预测值和所述当前块的残差系数,确定所述当前块的重建值。
在一个实施例中,所述当前块满足变换跳过模式条件,包括:
所述当前块的预测模式满足以下条件之一:
所述当前块的预测模式为帧间预测模式;
所述当前块的预测模式为直接模式。
在一个实施例中,所述当前块满足变换跳过模式条件,包括:
所述当前块满足以下条件之一:
所述当前块未采用基于位置的变换PBT模式;
所述当前块未采用基于子块变换SBT模式;
所述当前块未采用PBT模式,且未采用SBT模式;或,所述当前块采用DCT2变换方式进行变换。
在一个实施例中,当所述当前块的预测模式为直接模式时,所述当前块满足变换跳过模式条件,包括:
所述当前块未采用帧间预测滤波模式。
在一个实施例中,所述当前块满足变换跳过模式条件,还包括:
所述当前块满足以下条件之一或多个:
所述当前块为亮度块;
所述当前块的宽度和高度均小于64。
请参见图12,为本申请实施例提供的一种编码装置的硬件结构示意图。该编码装置可包括处理器1201、存储有机器可执行指令的机器可读存储介质1202。处理器1201与机器可读存储介质1202可经由系统总线1203通信。并且,通过读取并执行机器可读存储介质1202中与编码控制逻辑对应的机器可执行指令,处理器1201可执行上文描述的编码方法。
本文中提到的机器可读存储介质1202可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
如图13所示,从功能上划分,上述编码装置可以包括:
编码单元,用于对帧间变换跳过模式使能标志位进行编码;
变换单元,用于当所述帧间变换跳过模式使能标志位的值为第一值,且当前块满足变换跳过模式条件时,基于率失真代价选择对所述当前块进行变换跳过处理或离散余弦变换DCT2变换处理,以得到所述当前块的变换系数;当所述当前块的非零变换系数的个数的奇偶性与所选择变换方式不匹配时,调整所述当前块的非零变换系数的个数的奇偶性,以使所述当前块的非零变换系数的个数的奇偶性与所选择的变换方式匹配;
量化单元,用于对所述当前块的变换系数进行量化;
所述编码单元,还用于对量化后的所述当前块的变换系数进行熵编码,得到所述当前块的码流。
在一个实施例中,所述当前块满足变换跳过模式条件,包括:
所述当前块的预测模式满足以下条件之一:
所述当前块的预测模式为帧间预测模式;
所述当前块的预测模式为直接模式。
在一个实施例中,所述当前块满足变换跳过模式条件,包括:
所述当前块满足以下条件之一:
所述当前块未采用基于位置的变换PBT模式;
所述当前块未采用基于子块变换SBT模式;
所述当前块未采用PBT模式,且未采用SBT模式;或,所述当前块采用DCT2变换方式进行变换。
在一个实施例中,当所述当前块的预测模式为直接模式时,所述当前块满足变换跳过模式条件,包括:
所述当前块未采用帧间预测滤波模式。
在一个实施例中,所述当前块满足变换跳过模式条件,还包括:
所述当前块满足以下条件之一或多个:
所述当前块为亮度块;
所述当前块的宽度和高度均小于64。
在一些实施例中,本申请还提供了一种摄像机设备,包括上述任一实施例中的解码装置或编码装置。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (11)
1.一种解码方法,其特征在于,包括:
判断当前块是否满足变换跳过模式条件;
若满足变换跳过模式条件,则对所述当前块进行反变换跳过处理或DCT2反变换处理得到所述当前块的残差系数,将所述当前块的残差系数与当前块的预测值相加得到所述当前块的重建值;
其中,所述当前块满足变换跳过模式条件,包括:
所述当前块的预测模式为直接模式且满足所述当前块为亮度块,所述当前块的宽度和高度均小于64。
2.根据权利要求1所述的方法,其特征在于,所述当前块满足变换跳过模式条件,还包括:
所述当前块未采用帧间预测滤波模式。
3.根据权利要求1或2所述的方法,其特征在于,所述当前块进行反变换跳过处理时,对所述当前块的变换系数矩阵进行位移操作。
4.根据权利要求1或2所述的方法,其特征在于,所述对所述当前块的变换系数矩阵进行位移操作,包括:
根据图像的比特深度、当前块的宽度和高度确定移位shift;
根据shift对所述当前块的变换系数矩阵进行位移操作。
5.一种编码方法,其特征在于,判断当前块是否满足变换跳过模式条件,若当前块满足变换跳过模式条件,则通过RDO的方式来选择对当前块进行变换跳过处理或DCT2变换处理得到当前块的变换系数,对当前块的变换系数进行量化及熵编码,得到当前块的码流;
其中,当前块满足变换跳过模式条件,包括:
所述当前块的预测模式为直接模式且满足所述当前块为亮度块,所述当前块的宽度和高度均小于64。
6.根据权利要求5所述的方法,其特征在于,所述当前块满足变换跳过模式条件,还包括:所述当前块未采用帧间预测滤波模式。
7.根据权利要求5或6所述的方法,其特征在于,所述当前块进行变换跳过处理时,对所述当前块的残差系数矩阵进行位移操作。
8.根据权利要求5或6所述的方法,其特征在于,所述对所述当前块的残差系数矩阵进行位移操作,包括:
根据图像的比特深度、当前块的宽度和高度确定移位shift;
根据shift对所述当前块的残差系数矩阵进行位移操作。
9.一种解码装置,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器存放有计算机程序,所述处理器被所述计算机程序促使:
判断当前块是否满足变换跳过模式条件;
若满足变换跳过模式条件,则对所述当前块进行反变换跳过处理或DCT2反变换处理得到所述当前块的残差系数,将所述当前块的残差系数与当前块的预测值相加得到所述当前块的重建值;
其中,所述当前块满足变换跳过模式条件,包括:
所述当前块的预测模式为直接模式且满足所述当前块为亮度块,所述当前块的宽度和高度均小于64。
10.一种编码装置,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器存放有计算机程序,所述处理器被所述计算机程序促使:
判断当前块是否满足变换跳过模式条件,若当前块满足变换跳过模式条件,则通过RDO的方式来选择对当前块进行变换跳过处理或DCT2变换处理得到当前块的变换系数,对当前块的变换系数进行量化及熵编码,得到当前块的码流;
其中,当前块满足变换跳过模式条件,包括:
所述当前块的预测模式为直接模式且满足所述当前块为亮度块,所述当前块的宽度和高度均小于64。
11.一种机器可读存储介质,其特征在于,所述存储介质内存储有能够被处理器执行的机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-4或5-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111146301.1A CN113709477B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法、装置及机器可读存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111146301.1A CN113709477B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法、装置及机器可读存储介质 |
CN202010508168.9A CN113766225B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010508168.9A Division CN113766225B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113709477A true CN113709477A (zh) | 2021-11-26 |
CN113709477B CN113709477B (zh) | 2022-12-23 |
Family
ID=78668979
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111146301.1A Active CN113709477B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法、装置及机器可读存储介质 |
CN202111143932.8A Active CN113709476B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法、装置及机器可读存储介质 |
CN202010508168.9A Active CN113766225B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法及装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111143932.8A Active CN113709476B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法、装置及机器可读存储介质 |
CN202010508168.9A Active CN113766225B (zh) | 2020-06-05 | 2020-06-05 | 编码方法、解码方法及装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230319259A1 (zh) |
JP (2) | JP7467687B2 (zh) |
KR (1) | KR20230008881A (zh) |
CN (3) | CN113709477B (zh) |
TW (1) | TWI780742B (zh) |
WO (1) | WO2021244586A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112668A (zh) * | 2020-08-21 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机可读介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140226721A1 (en) * | 2012-07-11 | 2014-08-14 | Qualcomm Incorporated | Repositioning of prediction residual blocks in video coding |
CN104378637A (zh) * | 2011-10-18 | 2015-02-25 | 株式会社Kt | 视频信号解码方法 |
CN104509113A (zh) * | 2012-06-22 | 2015-04-08 | 高通股份有限公司 | 视频压缩中的变换跳过模式 |
CN107566846A (zh) * | 2017-09-20 | 2018-01-09 | 北京维境视讯信息技术有限公司 | 视频编码跳过模式决策方法、装置、设备及存储介质 |
WO2019135628A1 (ko) * | 2018-01-05 | 2019-07-11 | 에스케이텔레콤 주식회사 | 영상을 부호화 또는 복호화하는 방법 및 장치 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107257475B (zh) * | 2011-10-17 | 2020-04-21 | 株式会社Kt | 利用解码装置解码视频信号的方法 |
US10390046B2 (en) * | 2011-11-07 | 2019-08-20 | Qualcomm Incorporated | Coding significant coefficient information in transform skip mode |
US9264713B2 (en) * | 2012-07-11 | 2016-02-16 | Qualcomm Incorporated | Rotation of prediction residual blocks in video coding with transform skipping |
KR102230264B1 (ko) * | 2015-08-28 | 2021-03-22 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
US10616604B2 (en) * | 2015-09-01 | 2020-04-07 | Qualcomm Incorporated | Coefficient level coding in video coding |
WO2017088093A1 (en) * | 2015-11-23 | 2017-06-01 | Mediatek Singapore Pte. Ltd. | On the smallest allowed block size in video coding |
KR20170089777A (ko) * | 2016-01-27 | 2017-08-04 | 한국전자통신연구원 | 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치 |
RU2720066C1 (ru) * | 2017-01-03 | 2020-04-23 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ обработки изображений и устройство для этого |
US11039133B2 (en) * | 2017-06-23 | 2021-06-15 | Sony Corporation | Image processing apparatus and image processing method for inhibiting application of an offset to pixels of an image |
CN118612464A (zh) * | 2019-03-06 | 2024-09-06 | 韩国电子通信研究院 | 图像编码/解码方法和设备以及存储比特流的记录介质 |
-
2020
- 2020-06-05 CN CN202111146301.1A patent/CN113709477B/zh active Active
- 2020-06-05 CN CN202111143932.8A patent/CN113709476B/zh active Active
- 2020-06-05 CN CN202010508168.9A patent/CN113766225B/zh active Active
-
2021
- 2021-06-02 KR KR1020227043634A patent/KR20230008881A/ko active Search and Examination
- 2021-06-02 WO PCT/CN2021/098009 patent/WO2021244586A1/zh active Application Filing
- 2021-06-02 US US17/928,446 patent/US20230319259A1/en active Pending
- 2021-06-02 JP JP2022574826A patent/JP7467687B2/ja active Active
- 2021-06-03 TW TW110120318A patent/TWI780742B/zh active
-
2024
- 2024-04-03 JP JP2024060323A patent/JP2024081780A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104378637A (zh) * | 2011-10-18 | 2015-02-25 | 株式会社Kt | 视频信号解码方法 |
CN104509113A (zh) * | 2012-06-22 | 2015-04-08 | 高通股份有限公司 | 视频压缩中的变换跳过模式 |
US20140226721A1 (en) * | 2012-07-11 | 2014-08-14 | Qualcomm Incorporated | Repositioning of prediction residual blocks in video coding |
CN107566846A (zh) * | 2017-09-20 | 2018-01-09 | 北京维境视讯信息技术有限公司 | 视频编码跳过模式决策方法、装置、设备及存储介质 |
WO2019135628A1 (ko) * | 2018-01-05 | 2019-07-11 | 에스케이텔레콤 주식회사 | 영상을 부호화 또는 복호화하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
TW202201960A (zh) | 2022-01-01 |
CN113709476A (zh) | 2021-11-26 |
KR20230008881A (ko) | 2023-01-16 |
JP2023529183A (ja) | 2023-07-07 |
CN113766225B (zh) | 2023-02-28 |
JP7467687B2 (ja) | 2024-04-15 |
CN113709476B (zh) | 2022-12-23 |
WO2021244586A1 (zh) | 2021-12-09 |
US20230319259A1 (en) | 2023-10-05 |
CN113766225A (zh) | 2021-12-07 |
TWI780742B (zh) | 2022-10-11 |
JP2024081780A (ja) | 2024-06-18 |
CN113709477B (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371797B2 (ja) | 映像復号化装置 | |
CN107197256B (zh) | 用于对图像的序列进行编码和解码的方法和装置 | |
US9571861B2 (en) | Decoder, encoder, method for decoding and encoding, and data stream for a picture, using separate filters | |
KR100667808B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR100739714B1 (ko) | 인트라 예측 모드 결정 방법 및 장치 | |
KR100773761B1 (ko) | 동영상 부호화 장치 및 방법 | |
KR20080068276A (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
CN112422991B (zh) | 编码方法、解码方法及装置 | |
KR20190088020A (ko) | 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치 | |
JP2024081780A (ja) | 符号化・復号方法及び装置 | |
JP7286783B2 (ja) | 符号化方法、復号化方法、デコーダ、エンコーダー及び記憶媒体 | |
CN111988618B (zh) | 进行解码、编码的方法、解码端和编码端 | |
CN114007080B (zh) | 一种编码、解码方法、装置及其设备 | |
US11956427B2 (en) | Method of restoration in subblock units, and video decoding apparatus | |
KR101366088B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
US20230199196A1 (en) | Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |