CN110505482B - 一种编解码方法及装置 - Google Patents

一种编解码方法及装置 Download PDF

Info

Publication number
CN110505482B
CN110505482B CN201810581662.0A CN201810581662A CN110505482B CN 110505482 B CN110505482 B CN 110505482B CN 201810581662 A CN201810581662 A CN 201810581662A CN 110505482 B CN110505482 B CN 110505482B
Authority
CN
China
Prior art keywords
image block
mode
derivation
sub
derivative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810581662.0A
Other languages
English (en)
Other versions
CN110505482A (zh
Inventor
余全合
安基程
郑建铧
林永兵
王力强
牛犇犇
魏紫威
何芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Huawei Technologies Co Ltd
Original Assignee
Tsinghua University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Huawei Technologies Co Ltd filed Critical Tsinghua University
Priority to PCT/CN2019/087316 priority Critical patent/WO2019219066A1/zh
Priority to EP19804393.7A priority patent/EP3780612A4/en
Publication of CN110505482A publication Critical patent/CN110505482A/zh
Priority to US17/099,470 priority patent/US11936861B2/en
Application granted granted Critical
Publication of CN110505482B publication Critical patent/CN110505482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

本申请实施例公开了一种编解码方法及装置,涉及视频编解码及压缩领域,解决了现有的划分方式无法满足较为复杂的纹理要求的问题。解码方法具体包括:解析码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式;根据基础划分方式,将当前待解码图像块划分为N个子图像块,N为大于或等于2的整数;根据目标衍生模式,将N个子图像块中的至少两个相邻子图像块衍生为一个衍生图像块;对衍生图像块进行解码。

Description

一种编解码方法及装置
本申请要求于2018年05月16日提交中国专利局、申请号为201810470411.5、发明名称为“视频编解码方法及装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及视频编解码及压缩领域,尤其涉及一种编解码方法及装置。
背景技术
视频编解码的基本处理单位是图像块,图像块是编码端将一帧/幅图像进行划分得到的。图像块划分的精细程度及多样性在一定程度上影响着图像的纹理及轮廓特点。
目前,图像块的划分方式包括四叉树二叉树(QuadTree plus Binary Tree,QTBT)划分方式、三叉树(Triple Tree,TT)划分方式以及任意二叉树(Asymmetric Binary Tree,ABT)划分方式等。其中,QTBT划分方式为:按照四叉树(Quad-Tree,QT)划分方式将编码树单元(Coding Tree Unit,CTU)划分为四个子图像块,对于需要进一步划分的子图像块而言,再按照QT/二叉树(Binary Tree,BT)划分方式将该子图像块进行划分。这种划分方式,图像块只能被划分为多个中心对应的子图像块。TT划分方式为:将某一图像块水平划分为中心对称或非中心对称的三个子图像块,或者将某一图像块垂直划分为中心对称或非中心对称的三个子图像块。ABT划分方式为:将某一图像块水平划分为中心对称或非中心对称的两个子图像块,或者将某一图像块垂直划分为中心对称或非中心对称的两个子图像块。
TT划分方式和ABT划分方式均可与QTBT划分方式组合使用,但是采用组合的划分方式得到的图像块也无法满足较为复杂的纹理要求。
发明内容
本申请实施例提供一种编解码方法及装置,能够解决现有的划分方式无法满足较为复杂的纹理要求的问题。
为达到上述目的,本申请实施例采用如下技术方案:
第一方面,提供一种解码方法,在得到码流后,解码装置解析该码流,以确定当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式;然后,解码装置根据该基础划分方式,将当前待解码图像块划分为N(N为大于或等于2的整数)个子图像块,并根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;最后,解码装置对该第一衍生图像块进行解码。这里,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,该衍生方式用于将当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。
可以看出,解码装置根据基础划分方式和目标衍生模式确定当前待解码图像块的具体划分方式。本申请提供的解码方法中,划分方式和衍生模式的结合,标识出了多种不同的划分结果,与现有技术相比,更加丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像,提升压缩视频图像的图像质量,更有效地减少图像块划分的码流负载比特开销,进一步提升压缩效率;能规则化不同的图像块的划分方式,降低不同图像块的划分方式的码流语法复杂性。
第二方面,提供一种解码方法,在得到码流后,解码装置解析该码流,以确定当前待解码图像块的基础划分方式以及当前待解码图像块的特征参数(高度和宽度中的至少一个),在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,解码装置再解析码流,以确定当前待解码图像块中子图像块的目标衍生模式;然后,解码装置根据该基础划分方式,将当前待解码图像块划分为N(N为大于或等于2的整数)个子图像块,并根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;最后,解码装置对该第一衍生图像块进行解码。这里,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,该衍生方式用于将当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。
解码装置只有在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,才确定当前待解码图像块中子图像块的目标衍生模式。相比于上述第一方面,第二方面中解码装置的解码效率更高。
可选的,在上述第一方面或第二方面的一种可能的实现方式中,上述“解码装置解析码流,确定当前待解码图像块的基础划分方式”的方法为:解码装置从码流中获取当前待解码图像块的划分标识,并根据当前待解码图像块的划分标识确定基础划分方式。相应的,上述“解码装置确定当前待解码图像块的目标衍生模式”的方法为:解码装置从码流中获取当前待解码图像块的衍生标识,并根据当前待解码图像块的衍生标识,确定目标衍生模式。
第三方面,提供一种解码装置,该解码装置包括解析单元、划分单元、衍生单元和解码单元。
具体的,上述解析单元,用于解析码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。上述划分单元,用于根据上述解析单元确定出的基础划分方式,将当前待解码图像块划分为N个子图像块,N为大于或等于2的整数。上述衍生单元,用于根据上述解析单元确定出的目标衍生模式指示的衍生方式,将上述划分单元得到的N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。上述解码单元,用于对上述衍生单元得到的第一衍生图像块进行解码。
第四方面,提供一种解码装置,该解码装置包括解析单元、判断单元、划分单元、衍生单元和解码单元。
具体的,上述解析单元,用于解析码流,以确定当前待解码图像块的基础划分方式以及当前待解码图像块的特征参数(宽度和高度中的至少一个)。上述判断单元,用于判断当前待解码图形块的特征参数是否小于或等于第一预设阈值。上述解析单元,还用于解析码流,以确定当前待解码图像块中子图像块的目标衍生模式,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将所述当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。上述划分单元,用于根据上述解析单元确定出的基础划分方式,将当前待解码图像块划分为N个子图像块,N为大于或等于2的整数。上述衍生单元,用于根据上述解析单元确定出的目标衍生模式指示的衍生方式,将上述划分单元得到的N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。上述解码单元,用于对上述衍生单元得到的第一衍生图像块进行解码。
可选的,在上述第三方面或第四方面的一种可能的实现方式中,上述解析单元,具体用于:从码流中获取当前待解码图像块的划分标识;根据当前待解码图像块的划分标识确定基础划分方式;从码流中获取当前待解码图像块的衍生标识;根据当前待解码图像块的衍生标识,确定目标衍生模式。
第五方面,提供一种解码设备,该解码设备包括:一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括指令,当一个或多个处理器执行指令时,解码设备执行如上述第一方面、第二方面或者其任意一种可能的实现方式所述的解码方法。
第六方面,提供一种视频解码器,包括非易失性存储介质以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现如上述第一方面、第二方面或者其任意一种可能的实现方式所述的解码方法。
第七方面,提供一种解码器,所述解码器包括上述第三方面或第四方面中的解码装置以及重建模块,其中,所述重建模块用于根据所述解码装置得到的预测像素确定当前图像块的重建像素值。
第八方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在上述第三方面或第四方面所述的解码装置上运行时,使得所述解码装置执行如上述第一方面、第二方面或者其任意一种可能的实现方式所述的解码方法。
第九方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在上述第三方面或第四方面所述的解码装置上运行时,使得所述解码装置执行如上述第一方面、第二方面或者其任意一种可能的实现方式所述的解码方法。
在本申请中,上述解码装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权利要求及其等同技术的范围之内。
本申请中第三方面到第九方面及其各种实现方式的具体描述,可以参考第一方面、第二方面及其各种实现方式中的详细描述;并且,第三方面到第九方面及其各种实现方式的有益效果,可以参考第一方面、第二方面或者其各种实现方式中的有益效果分析或此处不再赘述。
第十方面,提供一种编码方法,首先,编码装置确定当前待编码图像块的基础划分方式以及当前待编码图像块中子图像块的目标衍生模式,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;然后,该编码装置根据基础划分方式,将当前待编码图像块划分为N(N为大于或等于2的整数)个子图像块,并根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;在对第一衍生图像块不划分的情况下,编码装置对衍生图像块进行编码,得到码流,该码流包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识,当前待编码图像块的划分标识用于指示基础划分方式,当前待编码图像块的衍生标识用于指示目标衍生模式。
编码装置通过划分方式和衍生模式的结合,标识出多种不同的划分结果,丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像,能够提升压缩视频图像的图像质量;能更有效地减少图像块划分的码流负载比特开销,进一步提升压缩效率;能规则化不同的图像块的划分方式,降低不同图像块的划分方式的码流语法复杂性。
第十一方面,提供一种编码方法,首先,编码装置确定当前待编码图像块的基础划分方式以及当前待编码图像块的特征参数(宽度和高度中的至少一个),并在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,确定当前待编码图像块中子图像块的目标衍生模式,该目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;然后,该编码装置根据基础划分方式,将当前待编码图像块划分为N(N为大于或等于2的整数)个子图像块,并根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;在对第一衍生图像块不划分的情况下,编码装置对衍生图像块进行编码,得到码流,该码流包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识,当前待编码图像块的划分标识用于指示基础划分方式,当前待编码图像块的衍生标识用于指示目标衍生模式。
编码装置只有在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,才确定当前待编码图像块中子图像块的目标衍生模式。相比于上述第十方面,第十一方面中编码装置的编码效率更高。
可选的,在上述第十方面或第十一方面的一种可能的实现方式中,上述“编码装置确定当前待编码图像块的基础划分方式”的方法为:编码装置确定与当前待编码图像对应的至少两种候选划分方式,并计算至少两种候选划分方式中的每种候选划分方式的率失真代价,这样,该编码装置将最小的率失真代价对应的候选划分方式确定为基础划分方式。上述“编码装置确定当前待编码图像块的目标衍生模式”的方法为:编码装置计算候选衍生模式集合中的每种预设衍生模式的率失真代价,并将最小的率失真代价对应的预设衍生模式确定为目标衍生模式,候选衍生模式集合包括M种预设衍生模式,当基础划分方式为水平N分或垂直N分时,0≤M≤2N-1;当基础划分方式为水平N分或垂直N分时,
Figure GDA0001772225750000041
M为整数,
Figure GDA0001772225750000042
为整数。
第十二方面,提供一种编码装置,该编码装置包括确定单元、划分单元、衍生单元、判断单元和编码单元。
具体的,上述确定单元,用于确定当前待编码图像块的基础划分方式以及当前待编码图像块中子图像块的目标衍生模式,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。上述划分单元,用于根据上述确定单元确定的基础划分方式,将当前待编码图像块划分为N个子图像块,N为大于或等于2的整数。上述衍生单元,用于根据上述确定单元确定的目标衍生模式指示的衍生方式,将上述划分单元得到的N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。上述判断单元,用于判断是否对上述衍生单元得到的第一衍生图像块进行划分。上述编码单元,用于在上述判断单元确定对上述衍生单元得到的第一衍生图像块不划分的情况下,对第一衍生图像块进行编码,得到码流,码流包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识,当前待编码图像块的划分标识用于指示基础划分方式,当前待编码图像块的衍生标识用于指示目标衍生模式。
第十三方面,提供一种编码装置,该编码装置包括确定单元、划分单元、衍生单元、判断单元和编码单元。
具体的,上述确定单元,用于确定当前待编码图像块的基础划分方式以及当前待编码图像块的特征参数(宽度和高度中的至少一个)。上述划分单元,用于根据上述确定单元确定出的基础划分方式,将当前待编码图像块划分为N个子图像块,N为大于或等于2的整数。上述判断单元,用于判断当前待编码图像块的特征参数是否小于或等于第一预设阈值。上述确定单元,还用于在上述判断单元确定当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,确定当前待编码图像块中子图像块的目标衍生模式;目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,预设衍生模式用于指示衍生方式,衍生方式用于将当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数。上述衍生单元,用于根据上述确定单元确定出的目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。上述判断单元,还用于判断是否对上述衍生单元得到的第一衍生图像块进行划分。上述编码单元,用于在上述判断单元确定对第一衍生图像块不划分的情况下,对衍生图像块进行编码,得到码流,码流包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识,当前待编码图像块的划分标识用于指示基础划分方式,当前待编码图像块的衍生标识用于指示目标衍生模式。
可选的,在上述第十二方面或第十三方面的一种可能的实现方式中,上述确定单元,具体用于:确定与当前待编码图像对应的至少两种候选划分方式;计算至少两种候选划分方式中的每种候选划分方式的率失真代价;将最小的率失真代价对应的候选划分方式确定为基础划分方式。
可选的,在上述第十二方面或第十三方面的另一种可能的实现方式中,上述确定单元,具体用于:计算候选衍生模式集合中的每种预设衍生模式的率失真代价,其中,当基础划分方式为水平N分或垂直N分时,0≤M≤2N-1;当基础划分方式为水平垂直N分时,
Figure GDA0001772225750000051
Figure GDA0001772225750000052
为整数;将最小的率失真代价对应的预设衍生模式确定为目标衍生模式。
第十四方面,提供一种编码设备,该编码设备包括:一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括指令,当一个或多个处理器执行指令时,编码设备执行如上述第十方面、第十一方面或者其任意一种可能的实现方式所述的编码方法。
第十五方面,提供一种视频编码器,包括非易失性存储介质以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现如上述第十方面、第十一方面或者其任意一种可能的实现方式所述的编码方法。
第十六方面,提供一种编码器,所述编码器包括上述第十二方面或第十三方面中的编码装置。
第十七方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在上述第十二方面或第十三方面所述的编码装置上运行时,使得所述编码装置执行如上述第十方面、第十一方面或者其任意一种可能的实现方式所述的编码方法。
第十八方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在上述第十二方面或第十三方面所述的编码装置上运行时,使得所述编码装置执行如上述第十方面、第十一方面或者其任意一种可能的实现方式所述的编码方法。
在本申请中,上述编码装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权利要求及其等同技术的范围之内。
本申请中第十二方面到第十八方面及其各种实现方式的具体描述,可以参考第十方面、第十一方面或者其各种实现方式中的详细描述;并且,第十二方面到第十八方面及其各种实现方式的有益效果,可以参考第十方面、第十一方面或者其各种实现方式中的有益效果分析或此处不再赘述。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,上述基础划分方式为水平N分、垂直N分或水平垂直N分。
这里,水平N分、垂直N分以及水平垂直N分可以均用于表示平均划分当前待解码图像块/当前待编码图像块,也可以表示非平均划分当前待解码图像块/当前待编码图像块。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,在基础划分方式为水平N分的情况下,多个子图像块中的每个子图像块的宽度均与当前待解码图像块的宽度相等,每个子图像块的高度均等于当前待解码图像块的高度的1/N。在基础划分方式为垂直N分的情况下,多个子图像块中的每个子图像块的高度均与当前待解码图像块的高度相等,每个子图像块的宽度均等于当前待解码图像块的宽度的1/N。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,在基础划分方式为水平垂直N分的情况下,多个子图像块中的每个子图像块的宽度均等于当前待解码图像块的宽度的
Figure GDA0001772225750000061
每个子图像块的高度均等于当前待解码图像块的高度的
Figure GDA0001772225750000065
Figure GDA0001772225750000066
为整数。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,目标衍生模式为候选衍生模式集合中的一种,候选衍生模式集合包括M种预设衍生模式,其中,当基础划分方式为水平N分或垂直N分时,0≤M≤2N-1;当基础划分方式为水平N分或垂直N分时,
Figure GDA0001772225750000062
M为整数。
M的最大取值与划分图像块所使用的划分线的数量相关。在基础划分方式为水平N分或垂直N分时,划分图像块的划分线的数量为N-1,相应的,M的最大取值为2N-1。在基础划分方式为水平垂直N分时,划分图像块的划分线的数量为
Figure GDA0001772225750000063
相应的,M的最大取值为
Figure GDA0001772225750000064
当然,候选衍生模式集合也可以指包括其中一部分预设衍生模式。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,在N=4、M=4、且基础划分方式为水平四分的情况下,候选衍生模式集合包括第一预设衍生模式、第二预设衍生模式、第三预设衍生模式以及第四预设衍生模式;其中,第一预设衍生模式为第一子图像块、第二子图像块和第三子图像块衍生为一个衍生图像块;第二预设衍生模式为第三子图像块和第四子图像块衍生为一个衍生图像块;第三预设衍生模式为第二子图像块和第三子图像块衍生为一个衍生图像块;第四预设衍生模式为第一子图像块和第二子图像块衍生为一个衍生图像块,第三子图像块和第四子图像块衍生为另一衍生图像块;第一子图像块、第二子图像块、第三子图像块和第四子图像块在当前待解码图像块中按照从上往下的顺序依次排列。其中,第一预设衍生模式可以参考图12中的D,第二预设衍生模式可以参考图12中的C,第三预设衍生模式可以参考图12中的B,第四预设衍生模式可以参考图12中的F。
在N=4、M=4、基础划分方式为垂直四分的情况下,候选衍生模式集合包括第五预设衍生模式、第六预设衍生模式、第七预设衍生模式以及第八预设衍生模式;其中,第五预设衍生模式为第五子图像块、第六子图像块和第七子图像块衍生为一个衍生图像块;第六预设衍生模式为第六子图像块、第七子图像块和第八图像块衍生为一个衍生图像块;第七预设衍生模式为第六子图像块和第七子图像块衍生为一个衍生图像块;第八预设衍生模式为第五子图像块、第六子图像块、第七子图像块和第八子图像块均保持独立;第五子图像块、第六子图像块、第七子图像块和第八子图像块在当前待解码图像块中按照从左往右的顺序依次排列。其中,第五预设衍生模式可以参考图13中的D',第六预设衍生模式可以参考图13中的E',第七预设衍生模式可以参考图13中的B',第八预设衍生模式可以参考图13中的G'。
在N=4、M=4、基础划分方式为水平垂直四分的情况下,候选衍生模式集合包括第九预设衍生模式、第十预设衍生模式、第十一预设衍生模式以及第十二预设衍生模式;其中,第九预设衍生模式为第九子图像块和第十子图像块衍生为一个衍生图像块;第十预设衍生模式为第九子图像块和第十子图像块衍生为一个衍生图像块,第十一子图像块和第十二图像块衍生为另一衍生图像块;第十一预设衍生模式为第十子图像块和第十一子图像块衍生为一个衍生图像块,第九子图像块和第十二图像块衍生为另一衍生图像块;第十二预设衍生模式为第九子图像块和第十二子图像块衍生为一个衍生图像块;第九子图像块、第十子图像块、第十一子图像块和第十二子图像块在当前待解码图像块中以顺时针的方向依次排列。其中,第九预设衍生模式可以参考图14中的A″,第十预设衍生模式可以参考图14中的E″,第十一预设衍生模式可以参考图14中的F″,第十二预设衍生模式可以参考图14中的B″。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,在候选衍生模式集合包括预设数量的预设衍生模式(如四种),该候选衍生模式集合中的每一种预设衍生模式均采用定长码表示,这样,相比于现有技术,本申请提供的编解码方法可以采用简单的标识即可标识图像块的划分,有效的提高了编解码效率。
可选的,在上述任一方面或任一方面的任意一种可能的实现方式中,当前待解码图像块的划分标识或当前待编码图像块的划分标识采用变长码表示,当前待解码图像块的衍生标识或当前待编码图像块的衍生标识采用定长码表示。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的不同划分方式的结构示意图;
图2为本申请实施例提供的采用不同划分方式划分预测单元的结构示意图;
图3为本申请实施例提供的QT划分方式的划分标识示意图;
图4为本申请实施例中QTBT划分方式划分图像块的示意图;
图5为本申请实施例中QT-ABT/TT划分方式的标识位标志方法的示意图一;
图6为本申请实施例中QT-ABT/TT划分方式的标识位标志方法的示意图二;
图7为本申请实施例中视频编解码系统的结构示意图;
图8为本申请实施例中视频编码器的结构示意图;
图9为本申请实施例中视频解码器的结构示意图;
图10为本申请实施例中编解码装置的结构示意图;
图11A为本申请实施例提供的解码方法流程示意图一;
图11B为本申请实施例提供的解码方法流程示意图二;
图12为本申请实施例提供的衍生模式的结构示意图一;
图13为本申请实施例提供的衍生模式的结构示意图二;
图14为本申请实施例提供的衍生模式的结构示意图三;
图15A为本申请实施例提供的编码方法流程示意图一;
图15B为本申请实施例提供的编码方法流程示意图二;
图16为本申请实施例提供的确定基础划分方式以及目标衍生模式的方法流程示意图;
图17A为本申请实施例中图像块的划分结构示意图一;
图17B为本申请实施例中图像块的划分结构示意图二;
图18为本申请实施例中图像块的划分结构示意图三;
图19为本申请实施例中图像块的划分结构示意图四;
图20为本申请实施例中图像块的划分结构示意图五;
图21为本申请实施例中图像块的划分结构示意图六;
图22为本申请实施例中解码装置的结构示意图一;
图23为本申请实施例中解码装置的结构示意图二;
图24为本申请实施例中编码装置的结构示意图一;
图25为本申请实施例中编码装置的结构示意图二。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于限定特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
视频中完整的图像通常被称为“帧”,由许多帧按照时间顺序组成的视频也被称为视频序列(Video Sequence)。视频序列存在空间冗余、时间冗余、视觉冗余、信息熵冗余、结构冗余、知识冗余、重要性冗余等一系列的冗余信息。为了尽可能的去除视频序列中的冗余信息,减少表征视频的数据量,提出了视频编码(Video Coding)技术,以达到减小存储空间和节省传输带宽的效果。视频编码技术也称为视频压缩技术。
就目前的技术发展现状而言,视频编码技术主要包括帧内预测、帧间预测、变换量化、熵编码以及消块滤波处理等。
在国际通用范围内,视频压缩编码标准,例如:由运动图像专家组(MotionPicture Experts Group,MPEG)制定的MPEG-2和MPEG-4第10部分高级视频编解码(Advanced Video Coding,AVC),由国际电信联盟电信标准化部门(InternationalTelecommunication Uion-Telecommunication Standardization Sector,ITU-T)制定的H.263、H.264和H.265高效率视频编解码(High Efficiency Video Coding standard,HEVC),中主流的压缩编码方式主要有四种:色度抽样、预测编码、变换编码和量化编码。
色度抽样:充分利用了人眼的视觉心理特点,在底层的数据表示中就开始设法最大限度的缩减单个元素描述的数据量。
预测编码:利用之前已编码帧的数据信息来预测当前将要编码的帧。编码端通过预测得到一个预测值,该预测值与实际值之间存在着一定的残差值。如果预测越适合,则预测值就会越接近实际值,残差值就越小,这样编码端对残差值进行编码就能大大减小数据量。解码端在解码时,运用残差值加上预测值还原重构出初始图像。在主流编码标准中,预测编码分为帧内预测和帧间预测两种基本类型。
变换编码:不直接对原本的空间域信息进行编码,而是将信息采样值按照某种形式的变换函数,从当前域转换到另外一种人为定义域中(通常称为变换域),再根据信息在变换域的分布特性进行压缩编码。
量化编码:将动态范围较大的输入值强行调整为较少的输出值。
在基于混合编码架构的编码算法中,上述压缩编码方式被混合使用,而这些压缩编码的基本处理单位是图像块,该图像块是编码端将一帧/幅图像进行划分得到的。
对于图像的划分,为了更加灵活的表示视频内容,HEVC定义了CTU、编码单元(Coding Unit,CU)、预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU)。CTU、CU、PU和TU均为图像块。
CTU:一幅图像由多个CTU构成,一个CTU通常对应于一个方形图像区域,如图1中的(a)所示,图像10由多个CTU构成(包括CTU A、CTU B、CTU C等)。
与某一CTU对应的编码信息包含与该CTU对应的方形图像区域中的像素的亮度值和/或色度值。此外,与某一CTU对应的编码信息还可以包含语法元素,这些语法元素指示如何将该CTU划分成至少一个CU,以及解码每个CU以得到重建图像的方法。
一个CTU对应的图像区域可以包括64×64、128×128或256×256个像素。在一个示例中,64×64个像素的CTU包含由64列、每列64个像素的矩形像素点阵,每个像素包含亮度分量和/或色度分量。
可以理解的是,CTU也可以对应矩形图像区域或者其它形状的图像区域,一个CTU对应的图像区域也可以是水平方向的像素点的数量与竖直方向的像素点数量不同的图像区域,例如包括64×128个像素。
CU:通常对应于一个A×B的矩形区域,A为矩形的宽,B为矩形的高,其中,本申请实施例中涉及到的宽是指图1示出的二维直角坐标系XoY中沿X轴方向(水平方向)的长度,高是指图1示出的二维直角坐标系XoY中沿Y轴方向(竖直方向)的长度。这里,A和B的取值可以相同,也可以不同。A和B的取值通常为2的整数次幂,例如:256、128、64、32、16、8或4等。
PU:是帧内预测、帧间预测的基本单元。
帧内预测单元的划分包括2N×2N划分方式(如图2中的A所示)和N×N划分方式(如图2中的B所示)。帧间预测单元的划分包括2N×2N划分方式(如图2中的C所示)、N×N划分方式(如图2中的D所示)、N×2N划分方式(如图2中的E所示)、2N×N划分方式(如图2中的F所示)、2N×nD划分方式(如图2中的G所示)、2N×nU划分方式(如图2中的H所示)、nL×2N划分方式(如图2中的I所示)、nR×2N划分方式(如图2中的J所示)。其中,N为任意正整数,n=x×N,0≤x≤1。
2N×2N划分方式为对图像块不进行划分;N×N划分方式为将图像块划分为四个瞪大的子图像块;N×2N划分方式为将图像块划分成左右两个等大的子图像块;2N×N划分方式为将图像块划分成上下两个等大的子图像块;2N×nD划分方式为将图像块划分为上下两个子图像块,且图像划分线相对该图像块的垂直平分线下移n,其中,D表示图像划分线相对该图像块的垂直平分线下移;2N×nU划分方式为将图像块划分为上下两个子图像块,且图像划分线相对该图像块的垂直平分线上移n,其中,U表示图像划分线相对该图像块的垂直平分线上移;nL×2N划分方式为将图像块划分为左右两个子图像块,且图像划分线相对该图像块的垂直平分线左移n,其中,L表示图像划分线相对该图像块的垂直平分线左移;nR×2N划分方式为将图像块划分为左右两个子图像块,且图像划分线相对该图像块的垂直平分线右移n,其中,R表示图像划分线相对该图像块的垂直平分线右移。
TU:对原始图像块和预测图像块的残差进行处理。
一般的,对图像块进行划分所采用的划分方式包括:四叉树(Quad-Tree,QT)划分、二叉树(Binary Tree,BT)划分、TT划分。
QT划分方式:将一个图像块划分为四个子图像块。可选的,可以将子图像块进一步划分,也可以不再划分子图像块。
在一个示例中,编码端采用QT划分方式将CTU划分为四个子图像块;对于每个子图像块,编码端可以不再划分(此时,每个子图像块均为CU),也可以将子图像块划分为四个下一层级的子图像块。如图1中的(b)所示,编码端将CTU A划分为a、b、c和d四个子图像块。
BT划分方式:将一个图像块划分为两个子图像块。可选的,可以将子图像块进一步划分,也可以不再划分子图像块。BT划分方式可以包括:
(1)、水平二分
将图像块划分成上、下两个相同大小的子图像块。如图1中的(c)所示,使用水平二分划分方式划分图像块b,生成大小相等的子图像块e和子图像块f。
(2)、垂直二分(或称为竖直二分)
将图像块划分成左、右两个大小相同的子图像块。如图1中的(d)所示,使用垂直二分划分方式划分图像块d,生成大小相等的子图像块g和子图像块h。
TT划分方式:将一个图像块划分为三个子图像块。可选的,可以将子图像块进一步划分,也可以不再划分子图像块。TT划分方式可以包括:
(1)、水平三分
将图像块划分成上、中、下三个子图像块。
在一个示例中,上、中、下三个子图像块的高分别为图像块的高的1/4、1/2、1/4。如图1中的(e)所示,使用水平三分划分方式划分图像块c,生成子图像块j、子图像块k和子图像块m,子图像块j的高为图像块c的高的1/4,子图像块k的高为图像块c的高的1/2,子图像块m的高为图像块c的高的1/4。
在另一个示例中,上、中、下三个子图像块的高分别为图像块的高的1/3、1/3、1/3,即将图像块按照图1示出的二维直角坐标系XoY中的X轴的方向平均划分为三个子图像块。如图1中的(f)所示,使用水平三分划分方式划分图像块c,生成子图像块j、子图像块k和子图像块m,子图像块j的高、子图像块k的高、子图像块m的高均为图像块c的高的1/3。
(2)、垂直三分(或称为竖直三分)
将图像块划分成左、中、右三个子图像块。
在一个示例中,左、中、右三个子图像块的宽分别为图像块的宽的1/4、1/2、1/4。如图1中的(g)所示,使用垂直三分划分方式划分图像块c,生成子图像块p、子图像块q和子图像块x,子图像块p的宽为图像块c的宽的1/4,子图像块q的宽为图像块c的宽的1/2,子图像块x的宽为图像块c的宽的1/4。
在另一个示例中,左、中、右三个子图像块的高分别为图像块的高的1/3、1/3、1/3,即将图像块按照图1示出的二维直角坐标系XoY中的X轴的方向平均划分为三个子图像块。如图1中的(h)所示,使用垂直三分划分方式划分图像块c,生成子图像块p、子图像块q和子图像块x,子图像块p的宽、子图像块q的宽、子图像块x的宽均为图像块c的宽的1/3。
从上述描述可知,在划分某一图像块后,编码端还需要确定是否继续对子图像块进行划分。是否划分某一图像块在码流中采用与该图像块对应的划分标志位(如split_cu_flag)指示。该图像块在QT划分结构中的层级(简称QT层级)间接的表示了QT划分的次数。
示例性的,某一图像块的划分标志位用split_cu_flag表示,split_cu_flag=0表示不再划分该节点,split_cu_flag=1表示继续划分该节点。如图3所示,在64×64的CTU所表示的图像块的split_cu_flag的值为1的情况下,将CTU划分为四个32×32的子图像块,这四个32×32的子图像块分别为子图像块A1、子图像块A2、子图像块A3以及子图像块A4。这四个32×32的子图像块中的每一个子图像块,又可以根据它对应的split_cu_flag,选择继续划分或者不划分。如果子图像块A1的split_cu_flag的值为1,则继续划分子图像块A1,将子图像块A1划分为四个16×16的节点,这四个16×16的子图像块分别为子图像块B1、子图像块B2、子图像块B3以及子图像块B4。以此类推,直到所有子图像块都不再划分。图3中,CTU的QT层级为0,子图像块A1、子图像块A2、子图像块A3以及子图像块A4的QT层级均为1,子图像块B1、子图像块B2、子图像块B3以及子图像块B4的QT层级均为2。
目前,联合视频探究组(Joint Video Exploration Team,JVET)提出了QT划分方式和BT划分方式级联的QTBT划分方式。具体的,按照QT划分方式将CTU划分为四个子图像块,对于需要进一步划分的子图像块而言,再按照QT/BT划分方式将该子图像块进行划分。
如图4中的(a)所示,每个节点表示一个图像块,某一节点为其上一节点的子节点,相应的,该节点所表示的图像块为其上一节点所表示的图像块的子图像块。图4中的(a)中,实线表示使用QT划分方式划分,虚线表示使用BT划分方式划分,A到M中的每个节点对应1个CU。在BT结构中,10表示垂直二分,11表示水平二分。图4中的(b)示出了按照图4中的(a)示出的划分方式划分的CTU。
结合图4可以看出,采用QTBT划分方式划分某一图像块后,只能得到中心对称的子图像块。对于非中心对称的划分,QTBT划分方式无法满足。此外,QTBT划分方式只能覆盖较少数量的模式,对于纹理较为复杂或者纹理较为细致的图像区域而言,编码端需要进行更深层次的BT划分或QT划分。
为了解决这一问题,后续在上述QTBT的基础之上出现了一种QT-ABT/TT划分方式,即按照QT划分方式将CTU划分为四个子图像块,对于需要进一步划分的子图像块而言,再按照QT/ABT/TT划分方式将该子图像块进行划分。
对于QT-ABT/TT划分方式,编码端可采用图5或图6所示的标识位标示方法将具体的划分方式写入码流中。
图5中的每一分支均表示对应层级的划分方式。在第1层级中,1表示QT划分方式,0表示BT划分方式/TT划分方式/不划分。在第2层级中,1表示BT划分方式/TT划分方式,0表示不划分,在第3层级中,1表示水平划分方式,0表示垂直划分方式。在第3层级的标识为1的分支下,1表示BT划分方式(即水平二分),0表示TT划分方式(即水平三分)。在第3层级的标识为0的分支下,0表示TT划分方式(即垂直三分),1表示BT划分方式(即垂直二分)。进一步地,在第3层级的分支下,BT划分方式通过0、10以及11三种标识标示是否为对称的划分方式。
图6中的qt表示采用QT划分方式,no qt表示不采用QT划分方式。相应的,no qt意味着可能不划分或者进一步采用BT划分方式,如果进一步采用BT划分方式,则需要在码流中标识是采用水平(parallel)划分方式或者垂直(perpendicular)划分方式。如果采用水平划分方式,则进一步标识是采用1/4划分,亦或1/8划分,亦或1/3划分,亦或1/2划分,以此类推。
通过上述的标示方法能够使的解码端正确的解码出图像块的具体的形状。然而,上述划分方式依然以QTBT为基本的框架,在其基础上增加水平或者竖直划分的TT或者ABT的划分方式仍然存在局限性,无法满足较为复杂的纹理要求。
此外,上述多种划分模式的组合导致图像块的划分方式的标示方法复杂,一定程度上影响了编解码的效率。
对此,本申请提供一种解码方法。本申请提供的解码方法可以通过两种方式实现。
在第一种可实现方式中,解码装置通过解析码流,确定出当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式,并根据基础划分方式,将当前待解码图像块划分为N(N为大于或等于2的整数)个子图像块,以及根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块,这样,解码装置可对第一衍生图像块进行解码。这里,目标衍生模式为候选衍生模式集合中的一种,该候选衍生模式集合包括M(M为大于或等于0的整数)预设衍生模式,每一种预设衍生模式均用于唯一指示一种衍生方式,衍生方式用于将上述N个子图像块中的至少两个相邻子图像块衍生为一个衍生图像块。容易理解的是,划分方式和衍生模式的结合可标识出了多种不同的划分结果,与现有技术相比,丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像。
在第二种可实现方式中,解码装置通过解析码流,确定出当前待解码图像块的基础划分方式以及当前待解码图像块的特征参数(高度和宽度中的至少一个);然后,在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,解码装置解析码流,确定当前待解码图像块中子图像块的目标衍生模式,这样,解码装置可根据基础划分方式,将当前待解码图像块划分为N个子图像块,并根据目标衍生模式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块,这样,解码装置可对第一衍生图像块进行解码。解码装置只有在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,才确定当前待解码图像块中子图像块的目标衍生模式。相比于第一种可实现方式,该方式中解码装置的解码效率更高。
上述解码装置可以为视频解码器(如下图9所示),也可以为具备实现上述第一种可实现方式或上述第二种可实现方式功能的设备。
相应的,本申请还提供一种编码方法。该编码方法可以通过两种方式实现。
在实现方式A中,编码装置在确定当前待编码图像块的基础划分方式以及当前待编码图像块中子图像块的目标衍生模式后,根据该基础划分方式,将当前待编码图像块划分为N个子图像块,并根据该目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。进一步地,在对第一衍生图像块不划分的情况下,编码装置对第一衍生图像块进行编码,得到包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识的码流,并向解码装置发送该码流。这里,目标衍生模式为候选衍生模式集合中的一种,该候选衍生模式集合包括M(M为大于或等于0的整数)预设衍生模式,每一种预设衍生模式均用于唯一指示一种衍生方式,衍生方式用于将上述N个子图像块中的至少两个相邻子图像块衍生为一个衍生图像块。当前待编码图像块的划分标识用于指示基础划分方式,当前待编码图像块的衍生标识用于指示目标衍生模式。本申请中的编码端设备在基础划分方式的基础上,采用目标衍生模式将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块,从而实现对当前待编码图像块的划分。也就是说,本申请中的编码端设备通过划分方式和衍生模式的结合,标识出多种不同的划分结果,丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像。
在实现方式B中,编码装置在确定当前待编码图像块的基础划分方式以及当前待编码图像块的特征参数后,根据该基础划分方式,将当前待编码图像块划分为N个子图像块,并在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,解析码流,确定当前待编码图像块中子图像块的目标衍生模式,这样,该编码装置根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。进一步地,在对第一衍生图像块不划分的情况下,编码装置对第一衍生图像块进行编码,得到包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识的码流,并向解码装置发送该码流。编码装置只有在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,才确定目标衍生模式,相比于上述实现方式A,实现方式B有效的提高了编码效率,且码流占用的传输资源较小。在实际应用中,相比于实现方式A,实现方式B更易于实现。
上述编码装置可以为视频编码器(如下图8所示),也可以为具备实现上述实现方式A或上述实现方式B功能的设备。
本申请提供的编解码方法适用于视频编解码系统。图7示出了视频编解码系统的结构。
如图7所示,视频编解码系统包含源装置70和目的装置71。源装置70产生经过编码后的视频数据,源装置70也可以被称为视频编码装置或视频编码设备,目的装置71可以对源装置70产生的经过编码后的视频数据进行解码,目的装置71也可以被称为视频解码装置或视频解码设备。源装置70和/或目的装置71可包含至少一个处理器以及耦合到所述至少一个处理器的存储器。所述存储器可包含但不限于只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快闪存储器或可用于以可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体,本申请对此不作具体限定。
源装置70和目的装置71可以包括各种装置,包含桌上型计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。
目的装置71可经由链路72从源装置70接收经编码视频数据。链路72可包括能够将经编码视频数据从源装置70移动到目的装置71的一个或多个媒体和/或装置。在一个实例中,链路72可包括使得源装置70能够实时地将编码后的视频数据直接发射到目的装置71的一个或多个通信媒体。在此实例中,源装置70可根据通信标准(例如:无线通信协议)来调制编码后的视频数据,并且可以将调制后的视频数据发射到目的装置71。上述一个或多个通信媒体可包含无线和/或有线通信媒体,例如:射频(Radio Frequency,RF)频谱、一个或多个物理传输线。上述一个或多个通信媒体可形成基于分组的网络的一部分,基于分组的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。上述一个或多个通信媒体可以包含路由器、交换器、基站,或者实现从源装置70到目的装置71的通信的其它设备。
在另一实例中,可将编码后的视频数据从输出接口703输出到存储装置73。类似地,可通过输入接口713从存储装置73存取编码后的视频数据。存储装置73可包含多种本地存取式数据存储媒体,例如蓝光光盘、高密度数字视频光盘(Digital Video Disc,DVD)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,存储装置73可对应于文件服务器或存储由源装置70产生的编码后的视频数据的另一中间存储装置。在此实例中,目的装置71可经由流式传输或下载从存储装置73获取其存储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据并且将经编码的视频数据发射到目的装置71的服务器。例如,文件服务器可以包含全球广域网(World Wide Web,Web)服务器(例如,用于网站)、文件传送协议(File TransferProtocol,FTP)服务器、网络附加存储(Network Attached Storage,NAS)装置以及本地磁盘驱动器。
目的装置71可通过任何标准数据连接(例如,因特网连接)存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道、有线连接(例如,缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的编解码方法不限于无线应用场景,示例性的,本申请的编解码方法可以应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,视频编解码系统1可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
需要说明的是,图7示出的视频编解码系统仅仅是视频编解码系统的示例,并不是对本申请中视频编解码系统的限定。本申请提供的编解码方法还可适用于编码装置与解码装置之间无数据通信的场景。在其它实例中,待编码视频数据或编码后的视频数据可以从本地存储器检索,也可以在网络上流式传输等。视频编码装置可对待编码视频数据进行编码并且将编码后的视频数据存储到存储器,视频解码装置也可从存储器中获取编码后的视频数据并且对该编码后的视频数据进行解码。
在图7中,源装置70包含视频源701、视频编码器702和输出接口703。在一些实例中,输出接口703可包含调节器/解调器(调制解调器)和/或发射器。视频源701可包括视频捕获装置(例如,摄像机)、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,和/或用于产生视频数据的计算机图形系统,或视频数据的此些来源的组合。
视频编码器702可对来自视频源701的视频数据进行编码。在一些实例中,源装置70经由输出接口703将编码后的视频数据直接发射到目的装置71。在其它实例中,编码后的视频数据还可存储到存储装置73上,供目的装置71稍后存取来用于解码和/或播放。
在图7的实例中,目的装置71包含显示装置711、视频解码器712以及输入接口713。在一些实例中,输入接口713包含接收器和/或调制解调器。输入接口713可经由链路72和/或从存储装置73接收编码后的视频数据。显示装置711可与目的装置71集成或可在目的装置71外部。一般来说,显示装置711显示解码后的视频数据。显示装置711可包括多种显示装置,例如,液晶显示器、等离子显示器、有机发光二极管显示器或其它类型的显示装置。
可选的,视频编码器702和视频解码器712可各自与音频编码器和解码器集成,且可包含适当的多路复用器-多路分用器单元或其它硬件和软件,以处置共同数据流或单独数据流中的音频和视频两者的编码。
视频编码器702和视频解码器712可以包括至少一个微处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application-Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、离散逻辑、硬件或其任何组合。若本申请提供的编解码方法采用软件实现,则可将用于软件的指令存储在合适的非易失性计算机可读存储媒体中,且可使用至少一个处理器在硬件中执行所述指令从而实施本申请。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可被视为至少一个处理器。视频编码器702可以包含在编码器中,视频解码器712可包含在解码器中,所述编码器或解码器可以为相应装置中组合编码器/解码器(编码解码器)中的一部分。
本申请中的视频编码器702和视频解码器712可以根据视频压缩标准(例如HEVC)操作,也可根据其它业界标准操作,本申请对此不作具体限定。
视频编码器702用于确定当前待编码图像块的基础划分方式以及当前待编码图像块中子图像块的目标衍生模式,或者确定当前待编码图像块的基础划分方式以及当前待编码图像块的特征参数,在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,确定当前待编码图像块中子图像块的目标衍生模式;根据基础划分方式,将当前待编码图像块划分为N(N为大于或等于2的整数)个子图像块,以及根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。这样,在视频编码器702不需要对第一衍生图像块进行划分的情况下,视频编码器702对第一衍生图像块进行编码,得到码流并向视频解码器712发送该码流。在视频编码器702还需要对第一衍生图像块进行划分的情况下,视频编码器702将该第一衍生图像块确定为当前待编码图像块,并重复执行上述过程,直至重新得到的第一衍生图像块不再进行划分。
可选的,上述“视频编码器702确定当前待编码图像块的基础划分方式”的方法可以为:视频编码器702确定与当前待编码图像对应的至少两种候选划分方式,并计算至少两种候选划分方式中的每种候选划分方式的率失真代价,这样,视频编码器702将最小的率失真代价对应的候选划分方式确定为基础划分方式。
上述“视频编码器702确定当前待编码图像块中子图像块的目标衍生模式”的方法可以为:该视频编码器702计算候选衍生模式集合中的每种预设衍生模式的率失真代价,并将最小的率失真代价对应的预设衍生模式确定为目标衍生模式。
参考下述图11A或图11B,视频解码器712用于:解析码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式(S111);或者,解析码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块的特征参数(S111a),并判断当前待解码图像块的特征参数是否小于或等于第一预设阈值(S111b),在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,解析码流,确定当前待解码图像块中子图像块的目标衍生模式(S111c)。后续,视频解码器712根据基础划分方式,将当前待解码图像块划分为N个子图像块(S112),并根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块(S113)。进一步地,视频解码器712对第一衍生图像块进行解码(S114)。
图8是本申请实施例中视频编码器702的一种示意性框图。视频编码器702可执行视频条带内的视频块的帧内编码和帧间编码。帧内编码依赖于空间预测来减少或去除给定视频帧或图像内的视频的空间冗余。帧间编码依赖于时间预测来减少或去除视频序列的邻近帧或图像内的视频的时间冗余。帧内编码模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等。帧间编码模式可指若干基于时间的压缩模式中的任一者。
在图8的可行的实施方式中,视频编码器702包括分割单元81、变换单元82、量化单元83、预测单元84、熵编码单元85、参考图像存储器88以及求和器802。预测单元84包括运动估计单元841、运动补偿单元842和帧内预测单元843。对于视频块重构建,视频编码器702也包括反量化单元86、反变换单元87和求和器801。除此之外,视频编码器702还可以包括解块滤波器(图8中未展示),该解块滤波器用于以对块边界进行滤波从而从经重构建视频中去除块效应伪影。在需要时,解块滤波器将通常对求和器801的输出进行滤波。除了解块滤波器之外,视频编码器702还可以包括额外环路滤波器(环路内或环路后)。
如图8中所展示,视频编码器702接收视频数据,且分割单元81将数据分割成视频块。此分割也可包含分割成条带(slice)、图像块或其它较大单元,以及(例如)根据LCU及CU的四叉树结构进行视频块分割。示例性的,视频编码器702编码在待编码的视频条带内的视频块的组件。一般的,条带可划分成多个视频块(且可能划分成称作图像块的视频块的集合)。
预测单元84可基于编码质量与代价计算结果(例如率失真代价(Rate Distortioncost,RD cost))选择当前视频块的多个可能编码模式中的一者,例如多个帧内编码模式中的一者或多个编码解码模式中的一者。预测单元84可将所得经帧内编码或经帧间编码块提供到求和器802以产生残余块数据,且将所得经帧内解码或经帧间解码提供到求和器801以重构建经编码块从而用作参考图像。
预测单元84内的运动估计单元841及运动补偿单元841执行相对于一个或多个参考图像中的一个或多个预测块的当前视频块的帧间预测解码以提供时间压缩。运动估计单元841可经配置以根据视频序列的预定模式确定视频条带的帧间预测模式。预定模式可将序列中的视频条带指定为P条带、B条带或GPB条带。运动估计单元841及运动补偿单元842可高度集成,但为概念目的而分别说明。通过运动估计单元841所执行的运动估计为产生估计视频块的运动矢量的过程。例如,运动矢量可指示当前视频帧或图像内的视频块的PU相对于参考图像内的预测块的位移。
预测块为依据像素差而被发现为紧密匹配待解码的视频块的PU的块,像素差可通过绝对差和(Sum of Absolute Differences,SAD)、平方差和(Sum of SquaredDifferences,SSD)或其它差度量确定。在一些可行的实施方式中,视频编码器702可计算存储于参考图像存储器88中的参考图像的子整数(sub-integer)像素位置的值。例如,视频编码器702可内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元841可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动矢量。
运动估计单元841通过比较PU的位置与参考图像的预测块的位置而计算经帧间解码条带中的视频块的PU的运动矢量。可从第一参考图像列表(列表0)或第二参考图像列表(列表1)选择参考图像,列表中的每一者识别存储于参考图像存储器88中的一个或多个参考图像。运动估计单元841将经计算运动矢量发送到熵编码单元85及运动补偿单元842。
由运动补偿单元842执行的运动补偿可涉及基于由运动估计所确定的运动矢量提取或产生预测块,可能执行到子像素精确度的内插。在接收当前视频块的PU的运动矢量后,运动补偿单元842即可在参考图像列表中的一者中定位运动矢量所指向的预测块。视频编码器702通过从正经解码的当前视频块的像素值减去预测块的像素值来形成残余视频块,从而形成像素差值。像素差值形成块的残余数据,且可包含亮度及色度差分量两者。求和器801表示执行此减法运算的一个或多个组件。运动补偿单元842也可产生与视频块及视频条带相关联的语法元素以供视频解码器712用于解码视频条带的视频块。
如果PU位于B条带中,则含有PU的图像可与称作“列表0”和“列表1”的两个参考图像列表相关联。在一些可行的实施方式中,含有B条带的图像可与为列表0和列表1的组合的列表组合相关联。
此外,如果PU位于B条带中,则运动估计单元841可针对PU执行单向预测或双向预测,其中,在一些可行的实施方式中,双向预测为分别基于列表0和列表1的参考图像列表的图像进行的预测,在另一些可行的实施方式中,双向预测为分别基于当前帧在显示顺序上的已重建的未来帧和已重建的过去帧进行的预测。当运动估计单元841针对PU执行单向预测时,运动估计单元841可在列表0或列表1的参考图像中搜索用于PU的参考块。运动估计单元841可接着产生指示列表0或列表1中的含有参考块的参考图像的参考索引和指示PU与参考块之间的空间位移的运动矢量。运动估计单元841可输出参考索引、预测方向标识和运动矢量作为PU的运动信息。预测方向标识可指示参考索引指示列表0或列表1中的参考图像。运动补偿单元842可基于由PU的运动信息指示的参考块产生PU的预测图像块。
当运动估计单元841针对PU执行双向预测时,运动估计单元841可在列表0中的参考图像中搜索用于PU的参考块且还可在列表1中的参考图像中搜索用于PU的另一参考块。运动估计单元841可接着产生指示列表0和列表1中的含有参考块的参考图像的参考索引和指示参考块与PU之间的空间位移的运动矢量。运动估计单元841可输出PU的参考索引和运动矢量作为PU的运动信息。运动补偿单元842可基于由PU的运动信息指示的参考块产生PU的预测图像块。
在一些可行的实施方式中,运动估计单元841不向熵编码单元85输出用于PU的运动信息的完整集合。而是,运动估计单元841可参考另一PU的运动信息来用信号通知PU的运动信息。举例来说,运动估计单元841可确定PU的运动信息充分类似于相邻PU的运动信息。在此实施方式中,运动估计单元841可在与PU相关联的语法结构中指示一个指示值,所述指示值向视频解码器712指示PU具有与相邻PU相同的运动信息或具有可从相邻PU导出的运动信息。在另一实施方式中,运动估计单元841可在与PU相关联的语法结构中识别与相邻PU相关联的候选预测运动矢量和运动矢量差(Motion Vector Difference,MVD)。MVD指示PU的运动矢量和与相邻PU相关联的所指示候选预测运动矢量之间的差。视频解码器712可使用所指示候选预测运动矢量和MVD来确定PU的运动矢量。
如前文所描述,预测单元84可产生用于CU的每一PU的候选预测运动矢量列表。候选预测运动矢量列表中的一或多者可包括一或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一或多个额外候选预测运动矢量。
预测单元84内的帧内预测单元843可执行相对于在与待解码的当前块相同的图像或条带中的一个或多个相邻块的当前视频块的帧内预测解码以提供空间压缩。因此,作为通过运动估计单元841及运动补偿单元842执行的帧间预测(如前文所描述)的替代,帧内预测单元843可帧内预测当前块。明确的说,帧内预测单元843可确定用以编码当前块的帧内预测模式。在一些可行的实施方式中,帧内预测单元843可(例如)在单独编码遍历期间使用各种帧内预测模式来编码当前块,且帧内预测单元843可从经测试模式选择使用的适当帧内预测模式。
在预测单元84经由帧间预测或帧内预测产生当前视频块的预测块之后,视频编码器702通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包括于一个或多个TU中且应用于变换单元82。变换单元82使用例如离散余弦变换(DiscreteCosine Transform,DCT)或概念上类似的变换的变换(例如,离散正弦变换(DST forDiscrete Sine Transform,DST))将残余视频数据变换成残余变换系数。变换单元82可将残余视频数据从像素域转换到变换域(例如,频域)。
变换单元82可将所得变换系数发送到量化单元83。量化单元83对变换系数进行量化以进一步减小码率。量化过程可减少与系数中的一些或全部相关联的比特深度。可通过调整量化参数来修改量化的程度。在一些可行的实施方式中,量化单元83可接着执行包含经量化变换系数的矩阵的扫描。替代的,熵编码单元85可执行扫描。
在量化之后,熵编码单元85可熵编码经量化变换系数。例如,熵编码单元85可执行上下文自适应性可变长度编码(Context-Adaptive Varialbe-Length Coding,CAVLC)、上下文自适应性二进制算术编码(Context-based Adaptive Binary Arithmetic Coding,CABAC)、基于语法的上下文自适应性二进制算术解码(SBAC)、概率区间分割熵(PIPE)解码或另一熵编码方法或技术。熵编码单元85也可熵编码正经解码的当前视频条带的运动矢量及其它语法元素。在通过熵编码单元85进行熵编码之后,可将经编码码流传输到视频解码器712或存档以供稍后传输或由视频解码器712检索。
反量化单元86及反变换单元87分别应用反量化及反变换,以在像素域中重构建残余块以供稍后用作参考图像的参考块。运动补偿单元842可通过将残余块与参考图像列表中的一者内的参考图像中的一者的预测块相加来计算参考块。运动补偿单元842也可将一个或多个内插滤波器应用于经重构建残余块以计算子整数像素值以用于运动估计。求和器801将经重构建残余块与通过运动补偿单元842所产生的经运动补偿的预测块相加以产生参考块以供存储于参考图像存储器88中。参考块可由运动估计单元841及运动补偿单元842用作参考块以帧间预测后续视频帧或图像中的块。
应当理解的是,视频编码器702的其它的结构变化可用于编码视频流。例如,对于某些图像块或者图像帧,视频编码器702可以直接地量化残差信号而不需要经过变换单元82处理,相应地也不需要经反变换单元87处理;或者,对于某些图像块或者图像帧,视频编码器702没有产生残差数据,相应地不需要经变换单元82、量化单元83、反量化单元86和反变换单元87处理;或者,视频编码器702可以将经重构建的视频块作为参考块直接地进行存储而不需要经滤波器处理;或者,视频编码器702中量化单元83和反量化单元86可以合并在一起。
图9是本申请实施例中视频解码器712的结构示意图。如图9所示,视频解码器712包含熵解码单元90、预测单元91、反量化单元94、反变换单元93、求和器95和参考图像存储器92。预测单元91包含运动补偿单元911和帧内预测单元912。在一些可行的实施方式中,视频解码器712可执行与关于来自图8的视频编码器702描述的编码流程的示例性地互逆的解码流程。
在解码过程期间,视频解码器712从视频编码器702接收表示经编码视频条带的视频块及相关联的语法元素的经编码视频码流。视频解码器712的熵解码单元90熵解码码流以产生经量化系数、运动矢量及其它语法元素。熵解码单元90将运动矢量及其它语法元素转递到预测单元91。视频解码器712可在视频条带层级和/或视频块层级处接收语法元素。
在视频条带经解码为经帧内解码(I)条带时,预测单元91的帧内预测单元912可基于用信号发送的帧内预测模式及来自当前帧或图像的先前经解码块的数据而产生当前视频条带的视频块的预测数据。
在视频图像经解码为经帧间解码(例如,B、P或GPB)条带时,预测单元91的运动补偿单元911基于从熵解码单元90所接收的运动矢量及其它语法元素而产生当前视频图像的视频块的预测性块。预测性块可从参考图像列表中的一者内的参考图像中的一者产生。视频解码器712可基于存储于参考图像存储器92中的参考图像使用默认构建技术来构建参考图像列表(列表0及列表1)。
运动补偿单元911通过解析运动矢量及其它语法元素来确定当前视频条带的视频块的预测信息,且使用预测信息来产生正经解码的当前视频块的预测性块。例如,运动补偿单元911使用所接收的语法元素中的一些来确定用以解码视频条带的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测条带类型(例如,B条带、P条带或GPB条带)、条带的参考图像列表中的一者或多者的构建信息、条带的每一经帧间编码视频块的运动矢量、条带的每一经帧间解码视频块的帧间预测状态及用以解码当前视频条带中的视频块的其它信息。
运动补偿单元911也可基于内插滤波器执行内插。运动补偿单元911可使用如由视频编码器702在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此应用中,运动补偿单元911可从所接收的语法元素确定由视频编码器702使用的内插滤波器且使用内插滤波器来产生预测性块。
如果PU是使用帧间预测而编码,则运动补偿单元911可产生用于PU的候选预测运动矢量列表。码流中可包括识别选定候选预测运动矢量在PU的候选预测运动矢量列表中的位置的数据。在产生用于PU的候选预测运动矢量列表之后,运动补偿单元911可基于由PU的运动信息指示的一或多个参考块产生用于PU的预测性图像块。PU的参考块可在与所述PU不同的时间图像中。运动补偿单元911可基于由PU的候选预测运动矢量列表中的选定的运动信息确定PU的运动信息。
反量化单元94对码流中所提供且通过熵解码单元90所解码的经量化变换系数进行反量化(例如,解量化)。反量化过程可包含使用通过视频编码器702针对视频条带中的每一视频块所计算的量化参数确定量化的程度,且同样地确定应用的反量化的程度。反变换单元93将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元911基于运动矢量及其它语法元素产生当前视频块的预测性块之后,视频解码器712通过将来自反变换单元93的残余块与通过运动补偿单元911产生的对应预测性块求和来形成经解码视频块。求和器95表示执行此求和运算的一个或多个组件。在需要时,也可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。其它环路滤波器(在解码环路中或在解码环路之后)也可用以使像素转变平滑,或以其它方式改进视频质量。给定帧或图像中的经解码视频块接着存储于参考图像存储器92中,参考图像存储器92存储供后续运动补偿所使用的参考图像。
应当理解的是,视频解码器712的其它结构变化可用于码流的解码。例如,对于某些图像块或者图像帧,视频解码器712的熵解码单元90没有解码出经量化的系数,相应地不需要经反量化单元94和反变换单元93处理。例如,视频解码器712中反量化单元94和反变换单元93可以合并在一起。
上述视频编码器702以及视频解码器712也可以通过另外一种实现形态来实现,例如,采用通用的数字处理器系统实现,如图10所示的编解码装置10,该编解码装置10可以为上述视频编码器702中的部分装置,也可以为上述视频解码器712中的部分装置。
该编解码装置10可以是应用于编码侧,也可以是应用于解码侧。编解码装置10包括处理器1001以及存储器1002。所述处理器1001与存储器1002相连接(如通过总线1004相互连接)。可选的,编解码装置10还可包括收发器1003,收发器1003连接处理器1001和存储器1002,用于接收/发送数据。
存储器1002可以为随机存储记忆体(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory,EPROM)或便携式只读存储器(Compact Disc Read-Only Memory,CD-ROM)。该存储器1002用于存储相关程序代码及视频数据。
处理器1001可以是一个或多个中央处理器(Central Processing Unit,CPU),在处理器1001是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该处理器1001用于读取所存储器1002中存储的程序代码,执行图11或图15所对应的任意一个实施方案及其各种可行的实施方式的操作。
以下,结合上述图7示出的视频编解码系统、图8示出的视频编码器702以及图9示出的视频解码器712对本申请提供的编解码方法进行详细描述。
图11A为本申请实施例中解码方法的一种流程示意图,该解码方法可以应用于图7示出的视频编解码系统中。图11A示出的流程以执行主体为图9示出的视频解码器712为例进行说明。
如图11A所示,本申请实施例提供的解码方法包括:
S110、视频解码器得到包含图像数据的码流。
可选的,视频解码器得到的包括图像数据的码流包括序列参数集(SequenceParameter Set,SPS)、图像参数集(Picture Parameter Set,PPS)以及条带头(sliceheader)或条带片段头(slice segment header)等语法元素。
S111、视频解码器解码其得到的码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块中子图像块的目标衍生模式。
码流的语法元素中包括当前待解码图像块的划分标识以及当前待解码图形块的衍生标识,该当前待解码图像块的划分标识用于指示基础划分方式,当前待解码图像块的衍生标识用于指示目标衍生模式。
可选的,当前待解码图像块的划分标识采用变长码(variable length code)表示,例如:二元截断码或指数哥伦布码。当前待解码图像块的衍生标识采用定长码表示。
当前待解码图像块的划分标识和当前待解码图像块的衍生标识可以为独立的标识(flag),例如:当前待解码图像块的划分标识采用SplitFlag表示,当前待解码图像块的衍生标识采用DeriveFlag表示。当然,当前待解码图像块的划分标识和当前待解码图像块的衍生标识也可以为同一标识中的某一部分,例如:若当前待解码图像块的衍生标识的采用长度为x的定长码表示,码流包括与当前待解码图像块对应的flag1,该flag1的最后x位为当前待解码图像块的衍生标识,flag1中除最后x位之外的剩余比特为当前待解码图像块的划分标识。
可选的,视频解码器解析码流,确定出基础划分方式以及目标衍生模式的方法可以为:视频解码器解析码流,获取该码流中语法元素所包括的用于指示如何将该当前待解码图像块划分成N个子图像块的当前待解码图像块的划分标识(如SplitFlag)以及用于指示如何将N个子图像块中的至少两个相邻子图像块衍生为一个衍生图像块的当前待解码图像块的衍生标识(如DeriveFlag),并根据当前待解码图像块的划分标识确定基础划分方式,根据当前待解码图像块的衍生标识确定目标衍生模式。
示例性的,若某一SplitFlag的数值为011,则说明与该SplitFlag对应的图像块的划分方式为水平四分。若某一DeriveFlag的数值为01,则说明与该DeriveFlag对应的图像块中至少两个相邻子图像块采用候选衍生模式中的第一预设衍生模式衍生为一个衍生图像块。
可选的,视频解码器解析码流,确定出基础划分方式以及目标衍生模式的方法还可以为:解码端设备解析码流,获取该码流中语法元素所包括的用于指示是否划分当前待解码图像块的第一标识(如NSFlag);如果第一标识的数值为第一值(例如1),则获取语法元素所包括的与当前待解码图像块对应的第二标识(如QTSplitFlag);如果第二标识的数值为第二值(例如01),则说明当前待解码图像块的划分方式为垂直四分;如果第二标识的数值为第三值(例如00),则说明当前待解码图像块的划分方式为水平四分。此外,解码端设备还从码流中获取语法元素所包括的用于指示如何将N个子图像块中的至少两个相邻子图像块衍生为一个衍生图像块的当前待解码图像块的衍生标识(如DeriveFlag),并根据当前待解码图像块的划分标识确定基础划分方式,根据当前待解码图像块的衍生标识确定目标衍生模式。
具体的,本申请实施例中的基础划分方式为水平N分、垂直N分或水平垂直N分。
这里,水平N分指将当前待解码图像块水平划分为N个子图像块。N个子图像块中每个子图像块的高度均可以为当前待解码图像块的高度的1/N,即将当前待解码图像块水平划分,且平均划分为N个子图像块。如图1中的(c)所示,每个子图像块的高度均为图像块b的高度的1/2。此外,N个子图像块中任意两个子图像块的高度也可以不相等,即将当前待解码图像块水平划分,且不平均划分为N个子图像块。如图1中的(e)所示,子图像块j的高度为图像块c的高度的1/4,子图像块k的高度为图像块c的高度的1/2,子图像块m的高度为图像块c的高度的1/4。
同理,垂直N分指将当前待解码图像块垂直划分为N个子图像块。N个子图像块中每个子图像块的宽度均可以为当前待解码图像块的宽度的1/N,即将当前待解码图像块垂直划分,且平均划分为N个子图像块。如图1中的(d)所示,每个子图像块的宽度均为图像块d的宽度的1/2。此外,N个子图像块中任意两个子图像块的宽度也可以不相等,即将当前待解码图像块垂直划分,且不平均划分为N个子图像块。如图1中的(g)所示,子图像块p的宽度为图像块c的宽度的1/4,子图像块q的宽度为图像块c的宽度的1/2,子图像块x的宽度为图像块c的宽度的1/4。
同理,水平垂直N分指将当前待解码图像块水平垂直划分为N个子图像块。N个子图像块中每个子图像块的宽度均可以为当前待解码图像块的宽度的
Figure GDA0001772225750000221
且每个子图像块的高度均可以为当前待解码图像块的高度的
Figure GDA0001772225750000222
即将当前待解码图像块水平垂直划分,且平均划分为N个子图像块。如图1中的(b)所示,每个子图像块的宽度均为CTU A的宽度的
Figure GDA0001772225750000231
(即为1/2),且每个子图像块的高度均为CTU A的高度的
Figure GDA0001772225750000232
(即为1/2)。此外,N个子图像块中任意两个子图像块的宽度也可以不相等,或者任意两个子图像块的高度不相等,即将当前待解码图像块垂直划分,且不平均划分为N个子图像块。
本申请实施例中的水平垂直N分的典型表现方式为四叉树(Quadtree)划分。
为了便于说明,本申请实施例以水平N分指上述“将当前待解码图像块水平划分,且平均划分为N个子图像块”,垂直N分指上述“将当前待解码图像块垂直划分,且平均划分为N个子图像块”,水平垂直N分指上述“将当前待解码图像块水平垂直划分,且平均划分为N个子图像块”为例进行说明。
在实际应用中,对于视频编码器而言,可以在某一图像块满足预设条件时,采用水平N分或垂直N分划分方式划分该图像块。例如,某一图像块的宽度为M1,高度为H1,若M1×H1大于X1×Y1,则视频编码器采用水平N分或垂直N分划分方式划分该图像块;或者,若M1×H1小于X2×Y2,则视频编码器采用水平N分或垂直N分划分方式划分该图像块;或者,若M1×H1大于X1×Y1、且小于X2×Y2,则视频编码器采用水平N分或垂直N分划分方式划分该图像块。其中,X1、Y1、X2和Y2均为正整数。
示例性的,若M1=4×H1,则视频编码器可以采用垂直四分划分方式划分该图像块;若H1=4×M,则视频编码器可以采用水平四分划分方式划分该图像块。
相应的,若当前待解码图像块的宽度为M1,高度为H1,若M1×H1大于X1×Y1,或者,M1×H1小于X2×Y2,或者,M1×H1大于X1×Y1、且小于X2×Y2,则基础划分方式为水平N分或垂直N分。
本申请实施例中的目标衍生模式为候选衍生模式集合中的一种,其中,候选衍生模式集合包括M(M为整数)种预设衍生模式,当基础划分方式为水平N分或垂直N分时,0≤M≤2N-1;当基础划分方式为水平垂直N分时,
Figure GDA0001772225750000233
每一种预设衍生模式均唯一指示一种衍生方式,衍生方式是指将N个子图像块中至少两个相邻子图像块衍生为一个衍生图像块。需要说明的是,M中预设衍生模式中存在一种用于指示不进行衍生的预设衍生模式。
本申请实施例中的衍生可以理解为融合/合并(merge)。具体的,在将待解码图像块划分为N个子图像块后,将至少两个相邻子图像块合并为一个衍生图像块。
在一个示例中,如图12所示,采用水平四分划分方式将待解码图像块划分为子图像块1(可对应本文描述的第一子图像块)、子图像块2(可对应本文描述的第二子图像块)、子图像块3(可对应本文描述的第三子图像块)以及子图像块4(可对应本文描述的第四子图像块),N=4,划分该待解码图像块的划分线有三(N-1=3)条:第一划分线、第二划分线和第三划分线,相应的,该待解码图像块对应的候选衍生模式最多包括24-1=8种预设衍生模式。图12中的A、B、C、D、E、F、G、H示出了这8种预设衍生模式。以图12中的A示出的预设衍生模式为例进行说明,去除第一划分线,子图像块1和子图像块2衍生(或称为融合/合并)为一个衍生图像块。
在另一个示例中,如图13所示,采用垂直四分划分方式将待解码图像块划分为子图像块1(可对应本文描述的第五子图像块)、子图像块2(可对应本文描述的第六子图像块)、子图像块3(可对应本文描述的第七子图像块)以及子图像块4(可对应本文描述的第八子图像块),N=4,划分该待解码图像块的划分线有三(N-1=3)条:第一划分线、第二划分线和第三划分线,相应的,该待解码图像块对应的候选衍生模式最多包括24-1=8种预设衍生模式。图13中的A'、B'、C'、D'、E'、F'、G'、H'示出了这8种预设衍生模式。以图13中的F'示出的预设衍生模式为例进行说明,去除第一划分线,子图像块1和子图像块2衍生为一个衍生图像块,去除第三划分线,子图像块3和子图像块4衍生为另一衍生图像块。
在另一个示例中,如图14所示,采用水平垂直四分划分方式将待解码图像块划分为子图像块1(可对应本文描述的第九子图像块)、子图像块2(可对应本文描述的第十子图像块)、子图像块3(可对应本文描述的第十一子图像块)以及子图像块4(可对应本文描述的第十二子图像块),N=4,划分该待解码图像块的划分线有四
Figure GDA0001772225750000241
Figure GDA0001772225750000242
条:第一划分线、第二划分线、第三划分线和第四划分线,相应的,该待解码图像块对应的候选衍生模式最多包括24=16种预设衍生模式。图14中的A″、B″、C″、D″、E″、F″、G″、H″示出了其中8种预设衍生模式。以图14中的G″示出的预设衍生模式为例进行说明,去除第三划分线和第四划分线,子图像块1、子图像块3和子图像块4衍生为一个衍生图像块。
结合上述图12、图13以及图14可以看出,不同划分方式对应的候选衍生模式集合包括有衍生结果相同的预设衍射模式。例如:若对同一当前待解码图像块进行衍生,上述图12中的F示出的衍生图像块与上述图14中的E″示出的衍生图像块相同,上述图13中的F'示出的衍生图像块与上述图14中的F″示出的衍生图像块相同,上述图12中的H示出的衍生图像块与上述图14中的H″示出的衍生图像块相同。因此,在不同划分方式对应的候选衍生模式集合中,可以将衍生结果相同的预设衍生模式删除一个,仅在某一划分方式对应的候选衍生模式集合中保留。
在一个示例中,结合上述图12,在N=4,且基础划分方式为水平四分的情况下,候选衍生模式集合可以仅包括图12中的B(可对应本文描述的第三预设衍生模式)、C(可对应本文描述的第二预设衍生模式)、D(可对应本文描述的第一预设衍生模式)以及F(可对应本文描述的第四预设衍生模式)示出的预设衍生模式。
在另一个示例中,结合上述图13,在N=4,且基础划分方式为垂直四分的情况下,候选衍生模式集合可以仅包括图13中的B'(可对应本文描述的第七预设衍生模式)、D'(可对应本文描述的第五预设衍生模式)、E'(可对应本文描述的第六预设衍生模式)以及G'(可对应本文描述的第八预设衍生模式)示出的预设衍生模式。
在另一个示例中,结合上述图14,在N=4,且基础划分方式为水平垂直四分的情况下,候选衍生模式集合可以仅包括图14中的A″(可对应本文描述的第九预设衍生模式)、B″(可对应本文描述的第十二预设衍生模式)、E″(可对应本文描述的第十预设衍生模式)以及F″(可对应本文描述的第十一预设衍生模式)示出的预设衍生模式。
候选衍生模式集合中的每一种预设衍生模式均采用定长码标识,例如2比特,这样,相比于现有技术,本申请提供的解码方法可以采用简单的标识即可标识图像块的划分,有效的提高了解码效率。
结合上述图12、图13以及图14可以看出,衍生图像块的特征参数大于N个子图像块中每个子图像块的特征参数,该特征参数为高度和宽度中的至少一个。
S112、视频解码器根据基础划分方式,将当前待解码图像块划分为N个子图像块。
具体的,若基础划分方式为水平四分,则视频解码器采用如上述图12示出的划分方法将当前待解码图像块划分为4个子图像块。若基础划分方式为垂直四分,则视频解码器采用如上述图13示出的划分方法将当前待解码图像块划分为4个子图像块。若基础划分方式为水平垂直四分,则视频解码器采用如上述图14示出的划分方法将当前待解码图像块划分为4个子图像块。
S113、视频解码器根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。
S114、视频解码器对第一衍生图像块进行解码。
具体的,在第一衍生图像块不再进行划分的情况下,视频解码器对该第一衍生图像块进行解码重建,以得到重建图像块。在第一衍生图像块还进行划分的情况下,视频解码器将该第一衍生图像块视为当前待解码图像块,重新执行上述S111~S114,直至不再对重新得到的第一衍生图像块进行划分为止。
本申请中的视频解码器根据基础划分方式和目标衍生模式确定当前待解码图像块的具体划分方式。划分方式和衍生模式的结合,标识出了多种不同的划分结果,与现有技术相比,丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像。
结合上述描述可知,本申请中的视频解码器还可以只有在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,确定目标衍生模式。
具体的,结合上述图11A,如图11B所示,上述S111可以替换为S111a~S111c。
S111a、视频解码器解码其得到的码流,确定当前待解码图像块的基础划分方式以及当前待解码图像块的特征参数。
视频解码器确定当前待解码图像块的基础划分方式的方法可以参考上述S111的描述,此处不再进行详细赘述。
当前待解码图像块的特征参数是指当前待解码图像块的高度以及当前待解码图像块的宽度。视频解码器解析码流,可直接确定出该当前待解码图像块的特征参数。
S111b、视频解码器判断当前待解码图像块的特征参数是否小于或等于第一预设阈值。
若当前待解码图像块的特征参数小于或等于第一预设阈值,视频解码器执行S111c。
若当前待解码图像块的特征参数大于第一预设阈值,视频解码器则将当前待解码图像块的子图像块视为当前待解码图像块,重新执行S111a。
S111c、视频解码器解析码流,确定目标衍生模式。
视频解码器确定目标衍生模式的方法可以参考上述S111的描述,此处不再进行详细赘述。
图11B示出的流程中,视频解码器在执行S111a后,可以先执行S112,后执行S111b,也可以先执行S111b,后执行S112,还可以同时执行S112和S111b,本申请实施例对此不作具体限定。
容易理解的是,由于视频解码器只有在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,才解析码流确定目标衍生模式,因此,对于特征参数大于第一预设阈值的图像块而言,码流可仅包括该图像块的划分标识,而未包括该图像块的衍生标识,有效的减少了码流占用的传输资源。当然,对于特征参数大于第一预设阈值的图像块而言,码流也可包括该图像块的衍生标识,该图像块的衍生标识用于指示该图像块中的子图像块未衍生。
视频解码器只有在当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,才解析码流确定目标衍生模式,有效的提高了解码速率。
此外,本申请实施例还提供一种编码方法,该编码方法可以应用于图7示出的视频编解码系统中。
图15A为本申请实施例中编码方法的一种流程示意图。图15A示出的流程以执行主体为图8示出的视频编码器702为例进行说明。
如图15A所示,本申请实施例提供的编码方法包括:
S150、视频编码器确定当前待编码图像块。
当前待编码图像块可以为CTU,也可以为CU,本申请实施例对此不作具体限定。
如图17所示,当前待编码图像块可以为图像块170,也可以为图像块173中的子图像块,还可以为图像块174,还可以为图像块171中的子图像块,本申请实施例对此不作具体限定。
S151、视频编码器确定当前待编码图像块的基础划分方式以及当前待编码图像块中子图像块的目标衍生模式。
在第一种可实现的方式中,视频编码器确定与当前待编码图像对应的至少两种候选划分方式(水平N分、垂直N分、水平垂直N分以及不划分),并计算至少两种候选划分方式中的每种候选划分方式的率失真代价,这样,该视频编码器将最小的率失真代价对应的候选划分方式确定为基础划分方式。后续,视频编码器计算与基础划分方式对应的候选衍生模式集合中的每种预设衍生模式的率失真代价,并将最小的率失真代价对应的预设衍生模式确定为目标衍生模式。
该候选衍生模式可以参考上述图11所示的实施例中对候选衍生模式的描述,此处不再进行详细赘述。
本实施例中的当前待编码图像块的基本划分方式以及当前待编码图像块中子图像块的目标衍生模式可以参考上述图11A所述的实施例中的描述。不同的是,上述图11A是针对当前待解码图像块进行描述的,本实施例是针对当前待编码图像块进行描述的。
第一种可实现的方式具体参考下述图16的描述,此处不再进行详细赘述。
在第二种可实现的方式中,视频编码器确定与当前待编码图像块对应的至少两种候选划分方式(水平N分、垂直N分、水平垂直N分以及不划分),后续,针对每一种候选划分方式,视频编码器采用预设衍生模式中的每一种预设衍生模式对至少两个相邻子图像块进行衍生,这样,视频编码器可计算在每一种候选划分方式中每一种预设衍生模式的率失真代价,并将最小的率失真代价对应的划分方式确定为基础划分方式,将该最小的率失真代价对应的衍生模式确定为目标衍生模式。
S152、视频编码器根据基础划分方式,将当前待编码图像块划分为N个子图像块。
S153、视频编码器根据目标衍生模式指示的衍生方式,将N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块。
S154、在视频编码器对第一衍生图像块不划分的情况下,该视频编码器对第一衍生图像块进行编码,得到码流。
可选的,该码流的语法元素包括当前待编码图像块的划分标识和当前待编码图像块的衍生标识,当前待编码图像块的划分标识用于指示当前待编码图像块的基础划分方式,当前待编码图像块的衍生标识用于指示当前待编码图像块中子图像块的目标衍生模式。
可选的,当前待编码图像块的划分标识采用变长码(variable length code)表示,例如:二元截断码或指数哥伦布码。当前待编码图像块的衍生标识采用定长码表示。
当前待编码图像块的划分标识和当前待编码图像块的衍生标识可以为独立的标识(flag),例如:当前待编码图像块的划分标识采用SplitFlag表示,当前待编码图像块的衍生标识采用DeriveFlag表示。当然,当前待编码图像块的划分标识和当前待编码图像块的衍生标识也可以为同一标识中的某一部分,例如:若当前待编码图像块的衍生标识的采用长度为x的定长码表示,码流包括与当前待编码图像块对应的flag1,该flag1的最后x位为当前待编码图像块的衍生标识,flag1中除最后x位之外的剩余比特为当前待编码图像块的划分标识。
容易理解的是,若视频编码器还需对第一衍生图像块进行划分,则该视频编码器将该衍生图像块确定为当前待编码图像块,并重新执行S151~S154,直到重新确定出的第一衍生图像块进行划分为止。
现对上述S151中的第一种可实现的方式进行描述。
结合上述图15A,如图16所示,本申请实施例中视频编码器确定基础划分方式以及目标衍生模式的方法可以通过S161~S166实现,即上述S151可以替换为S161~S166。S161~S166具体为:
S161、视频编码器采用至少两种候选划分方式对当前待编码图像块进行划分。
候选划分方式包括水平N分、垂直N分、水平垂直N分以及不划分。
在一个示例中,如图17A所示,若候选划分方式为水平四分、垂直四分、水平垂直四分以及不划分,当前待编码图像块为图像块170,则视频编码器可采用水平四分划分图像块170,生成四个宽度与图像块170的宽度相等,高度为图像块170的高度的1/4的长方形子图像块,图17A采用171表示该结构的图像块。视频编码器还可采用垂直四分划分图像块170,生成四个高度与图像块170的高度相等,宽度为图像块170的宽度的1/4的长方形子图像块,图17A采用172表示该结构的图像块。视频编码器还可采用水平垂直四分划分图像块170,生成四个高度为图像块170的高度的1/2,宽度为图像块170的宽度的1/2的正方形子图像块,图17A采用173表示该结构的图像块。当然,视频编码器还可对当前编码图像块170不进行划分,未被划分的图像块图17A中采用174表示。
图17A中,采用100标识水平四分,采用101标识垂直四分,采用110标识水平垂直四分,采用0标识不划分。
当然,图17A示出的划分方式中,也可以采用110标识水平四分,采用101标识垂直四分,采用101标识水平垂直四分,采用0标识不划分,本申请实施例对此不作具体限定。
在另一个示例中,如图19所示,若候选划分方式为水平二分、垂直二分以及不划分,当前待编码图像块为图像块171中的子图像块,则视频编码器可以采用水平二分划分图像块171中的子图像块,生成两个宽度与图像块171中子图像块的宽度相等,高度为图像块171中的子图形块的高度的1/2的长方形子图像块,图19采用175表示该结构的图像块。视频编码器还可采用垂直二分划分图像块171中的子图像块,生成两个高度与图像块171中子图像块的高度相等,宽度为图像块171中子图像块的宽度的1/2的长方形子图像块,图19采用176表示该结构的图像块。当然,视频编码器还可对图像块171中的子图像块不进行划分,未被划分的图像块图19中采用177表示。
在另一个示例中,如图20所示,若候选划分方式为水平四分、垂直四分以及不划分,当前待编码图像块为图像块171中的子图像块,则视频编码器可以采用水平四分划分图像块171中的子图像块,生成四个宽度与图像块171中子图像块的宽度相等,高度为图像块171中的子图形块的高度的1/4的长方形子图像块,图20采用175'表示该结构的图像块。视频编码器还可采用垂直四分划分图像块171中的子图像块,生成四个高度与图像块171中子图像块的高度相等,宽度为图像块171中子图像块的宽度的1/4的长方形子图像块,图20采用176'表示该结构的图像块。当然,视频编码器还可对图像块171中的子图像块不进行划分,未被划分的图像块图20中采用177'表示。
可选的,候选划分方式间接的体现了划分层级,这样,视频编码器可根据候选划分方式在预设的划分层级上采用对应的划分方式划分当前待编码图像块。
示例性的,如图17B所示,视频编码器在第1层级采用水平垂直四分划分方式划分图像块170,生成图像块173,或对图像块170不进行划分。在不划分的分支下,视频编码器在第2层级可以对图像块170进行划分,也可以不划分。在视频编码器在第2层级对图像块170进行划分的分支下,视频编码器可以采用水平四分划分方式划分图像块170,生成图像块171,也可以采用垂直四分划分方式划分图像块170,生成图形块172。
图17B中,采用011标识图像块171示出的划分方式,采用010标识图像块172示出的划分方式,采用1标识图像块173示出的划分方式。
当然,图17B中划分标识的数值仅仅是一种示例。除了图17B中的示例外,也可采用1标识图像块171示出的划分方式,采用010标识图像块172示出的划分方式,采用011标识示出图像块173示出的划分方式。
在实际应用中,视频编码器可以在当前待编码图像块满足预设条件时,才采用二分叉/四分叉划分方式划分该当前待编码图像块。例如,图像块171的宽度为M1,高度为H1,若M1×H1大于X1×Y1,则视频编码器采用二分叉/四分叉划分方式划分图像块171;或者,若M1×H1小于X2×Y2,则视频编码器采用二分叉/四分叉划分方式划分图像块171;或者,若M1×H1大于X1×Y1、且小于X2×Y2,则视频编码器采用二分叉/四分叉划分方式划分图像块171。其中,X1、Y1、X2和Y2均为正整数。
示例性的,若M1=4×H1,则视频编码器采用垂直四分划分当前待编码图像块;若H1=4×M1,则视频编码器采用水平四分划分方式划分该当前待编码图像块。
S162、视频编码器计算每种候选划分方式的率失真代价,并将最小的率失真代价对应的候选划分方式确定为基础划分方式。
S163、视频编码器根据候选衍生模式集合中的每一种预设衍生模式对采用基础划分方式划分得到的子图像块进行衍生。
结合上述图12和图17B,如图18所示,若基础划分方式为水平四分,则视频编码器可以采用上述图12示出的8种预设衍生模式(A、B、C、D、E、F、G、H)分别对171中的至少两个相邻子图像块进行衍生,相应的,采用上述8种预设衍生模式处理后的图像块分别表示为401、402、403、404、405、406、407、408。
结合上述图13和图17B,如图18所示,若基础划分方式为垂直四分,则视频编码器可以采用上述图13示出的8种预设衍生模式(A'、B'、C'、D'、E'、F'、G'、H')分别对172中的至少两个相邻子图像块进行衍生,相应的,采用上述8种预设衍生模式处理后的图像块分别表示为501、502、503、504、505、506、507、508。
结合上述图14和图17B,如图18所示,若基础划分方式为水平垂直四分,则视频编码器可以采用上述图14示出的8种预设衍生模式(A″、B″、C″、D″、E″、F″、G″、H″)分别对173中的至少两个相邻子图像块进行衍生,相应的,采用上述8种预设衍生模式处理后的图像块分别表示为601、602、603、604、605、606、607、608。
经过预设衍生模式处理后的图像块的标识方法可以根据划分线的状态确定。可选的,若某一划分线去除,则该划分线采用“0”表示;若某一划分线保留,则该划分线采用“1”表示;根据图像块中划分线的去除和保留,来标识该图像块。
示例性的,图像块171包括第一划分线、第二划分线以及第三划分线(划分线的表示可参考上述图12),若第一划分线去除,第二划分线和第三划分线保留,即第一子图像块和第二子图像块合并,生成图像块401,则图像块401可以采用011表示。相应的,图像块172包括第一划分线、第二划分线以及第三划分线(划分线的表示可参考上述图13),若第二划分线去除,第一划分线和第三划分线保留,即第二子图像块和第三子图像块合并,生成图像块502,则图像块502可以采用101表示。图像块173包括第一划分线、第二划分线、第三划分线以及第四划分线(划分线的表示可参考上述图14),若第一划分线去除,第二划分线、第三划分线以及第四划分线保留,即第一子图像块和第二子图像块合并,生成图像块601,则图像块601可以采用0111表示。其他图像块的标识方法类似,这里不再一一赘述。
当然,图像块的标识还可以采用与图18不同的方法,本申请实施例对此不作具体限定。
在实际编码中,对于每一种划分方式而言,视频编码器可以选取图18示出的与该划分方式对应的八种预设衍生模式中的部分作为重点模式(该衍生模式生成的图像块还需要进一步的划分)或者删除模式(不考虑该衍生模式),剩余部分作为普通模式(视频编码器进行衍生处理的模式)。这样,候选衍生模式集合可以仅包括普通模式。
示例性的,若基础划分方式为水平四分,则普通模式可以包括上述图12中的B、C、D以及F示出的预设衍生模式,即视频编码器生成图像块402、403、404、406。
若基础划分方式为垂直四分,则普通模式可以包括上述图13中的B'、D'、E'以及G'示出的预设衍生模式,即视频编码器生成图像块502、504、505、507。
若基础划分方式为水平垂直四分,则普通模式可以包括上述图14中的A″、B″、E″以及F″示出的预设衍生模式,即视频编码器生成图像块601、602、605、606。
对于上述普通模式而言,本申请实施例可采用预设长度的比特标识,如采用2比特标识。
结合图18可以看出,图像块608和图像块173的形状相同,因此,若图像块608对应的预设衍生模式为重点模式,则该模式可以采用图像块173的标识位“1”标识。相比于图像块608的标识位“1111”,标识位“1”的位数更少。若视频编码器确定图像块608示出的衍生模式为目标衍生模式,则该视频编码器可直接在划分标识的最后一位比特之后采用1表示目标衍生模式为图像块608示出的衍生模式。
本申请实施例中的衍生图像块可以采用较少数量的比特标识。相比于现有技术,本申请提供的编码方法可以采用简单的标识即可标识图像块的划分,有效的提高了编码效率。
S164、视频编码器计算与基础划分方式对应的候选衍生模式集合中的每种预设衍生模式的率失真代价。
S165、视频编码器将最小的率失真代价对应的预设衍生模式确定为目标衍生模式。
容易理解的是,若上述S153得到的第一衍生图像块还需要进行划分,则视频编码器将该第一衍生图像块视为当前待编码图像块,重新执行S161~S165以确定基础划分方式以及目标衍生模式。
结合上述描述可知,本申请中的视频编码码器还可以只有在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,确定目标衍生模式。
具体的,结合上述图15A和上述图16,如图15B所示,上述S151可以替换为S151a~S151c。
S151a、视频编码器确定当前待编码图像块的基础划分方式以及当前待编码图像块的特征参数。
视频编码器确定当前待编码图像块的基础划分方式的方法可以参考上述S161~S162的描述,此处不再进行详细赘述。
当前待编码图像块的特征参数是指当前待编码图像块的高度以及当前待编码图像块的宽度。
S151b、视频编码器判断当前待编码图像块的特征参数是否小于或等于第一预设阈值。
若当前待编码图像块的特征参数小于或等于第一预设阈值(例如32×32),视频编码器执行S151c。
若当前待编码图像块的特征参数大于第一预设阈值,视频编码器则将当前待编码图像块的子图像块视为当前待编码图像块,即重新执行S150。例如:在图21中,若当前待编码图像块为图像块210,图像块210的大小为64×64,第一预设阈值为32×32,视频编码器确定图像块210的基础划分方式为水平二分,对图像块210水平二分后,生成图像块212,由于图像块210的特征参数大于第一预设阈值,因此,视频编码器将图像块212中的子图像块作为当前待编码图像块,并重新确定图像块212的子图像块的基础划分方式。
S151c、视频编码器确定目标衍生模式。
视频编码器确定目标衍生模式的方法可以参考上述S163~S165的描述,此处不再进行详细赘述。
图15B示出的流程中,视频编码器在执行S151a后,可以先执行S152,后执行S151b,也可以先执行S151b,后执行S152,还可以同时执行S152和S151b,本申请实施例对此不作具体限定。
容易理解的是,由于视频编码器只有在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,才确定目标衍生模式,因此,对于特征参数大于第一预设阈值的图像块而言,码流可仅包括该图像块的划分标识,而未包括该图像块的衍生标识,有效的减少了码流占用的传输资源。当然,对于特征参数大于第一预设阈值的图像块而言,码流也可包括该图像块的衍生标识,该图像块的衍生标识用于指示该图像块中的子图像块未衍生。
视频编码器只有在当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,才确定目标衍生模式,有效的提高了编码速率。在实际应用中,图15B示出的流程更容易实现。
为了便于充分理解本申请,现结合图21示出的编码树(coding tree)说明本申请中的图像块划分以及子图像块的衍生。图21示出了采用本申请提供的方法对方形图像块的划分以及方形图像块中子图像块的衍生,以及对非方形图像块的划分以及非方形图像块中子图像块的衍生。
视频编码器对图像块210进行划分,在第1层级可以采用水平垂直四分划分方式划分图像块210,生成图像块211,也可以不进行划分。在不进行划分的分支下,视频编码器在第2层级可对图像块210采用二分叉划分方式进行划分;也可以采用四分叉/不划分的划分方式进行划分。在第2层级对图像块210采用二分叉划分方式进行划分的分支下,视频编码器具体可以采用水平二分划分方式划分图像块210,生成图像块212;也可以采用垂直二分划分方式划分图像块210,生成图像块213。进一步地,视频编码器可采用二分叉划分方式划分图像块212的子图像块,也可采用四分叉划分方式划分图像块212的子图像块。在视频编码器采用四分叉划分方式划分图像块212的子图像块的分支下,视频编码器具体可以采用水平四分划分方式划分图像块212的子图像块,以生成图像块219;也可以采用垂直四分划分方式划分图像块212的子图像块,以生成图像块220。在视频编码器采用四分叉/不划分的划分方式进行划分的分支下,视频编码器具体可采用水平四分划分方式划分图像块210,以生成图像块214;也可以采用垂直四分划分方式划分图像块210,以生成图像块215。其中,图像块219和图像块220为非方形的图像块,采用四种预设衍生模式分别对图像块219中的至少两个相邻子图像块进行衍生处理后的图像块分别表示为221、222、223、233;采用四种预设衍生模式分别对图像块220中的至少两个相邻子图像块进行衍生处理后的图像块分别表示为224、225、226、234。图像块214和图像块215为方形图像块,采用四种预设衍生模式分别对图像块214中的至少两个相邻子图像块进行衍生处理后的图像块分别表示为227、228、228、235;采用四种预设衍生模式分别对图像块215中的至少两个相邻子图像块进行衍生处理后的图像块分别表示为230、231、232、236。
图21中的各个图像块分别采用图中示出的方法标识。
图像块212采用“011”标识,若图像块212的子图像块的基础划分方式为水平四分,生成图像块219,则该基础划分方式可采用“011111”标识,若图像块212的子图像块的特征参数小于或等于第一预设阈值,则视频编码器可从图21示出的与图像块219对应的4种预设衍生模式中确定一种作为目标衍生模式。由于图像块233的形状与图像块219相同,因此,图像块233表示的衍生模式可直接采用1标识,剩余的3种预设衍生模式可采用与1不同的数值(如0)标识,图像块221、222、223的标识均以0开始。这样,若视频编码器采用图像块233示出的衍生模式为目标衍生模式,则视频编码器可直接在基础划分方式的标识“011111”之后添加1,即形成标识“0111111”。对应的,视频解码器解析码流,在获取到标识“0111111”后,可确定在图像块219之后并未进行衍生。若视频编码器采用图像块223示出的衍生模式为目标衍生模式,则视频编码器在基础划分方式的标识“011111”之后添加011,即形成标识“011111011”。对应的,视频解码器解析码流,在获取到标识“011111011”后,可确定目标衍生模式为图像块223示出的衍生模式。
同理,视频编码器也采用类似的方法对图像块214、215、220进行处理。
图21示出的划分方式是在现有的QTBT划分方式的基础上实现的,因此,在实际应用中,该划分方式比较容易实现。
本申请中的视频编码器通过划分方式和衍生模式的结合,标识出多种不同的划分结果,丰富了图像块的划分方式,能够适应于各种纹理特性的视频图像。
本申请实施例提供一种解码装置,该解码装置可以为视频解码器。具体的,解码装置用于执行以上解码方法中的视频解码器所执行的步骤。本申请实施例提供的解码装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对解码装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图22示出上述实施例中所涉及的解码装置的一种可能的结构示意图。如图22所示,解码装置22包括解析单元220、划分单元221、衍生单元222、解码单元223和判断单元224。
解析单元220用于支持该解码装置执行上述实施例中的S111等,和/或用于本文所描述的技术的其它过程。
划分单元221用于支持该解码装置执行上述实施例中的S112等,和/或用于本文所描述的技术的其它过程。
衍生单元222用于支持该解码装置执行上述实施例中的S113等,和/或用于本文所描述的技术的其它过程。
解码单元223用于支持该解码装置执行上述实施例中的S114等,和/或用于本文所描述的技术的其它过程。
判断单元225用于指示该解码装置执行上述实施例中的S111b等,和/或用于本文所描述的技术的其它过程。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
当然,本申请实施例提供的解码装置包括但不限于上述模块,例如:解码装置还可以包括存储单元225。
存储单元225可以用于存储该解码装置的程序代码和数据。
在采用集成的单元的情况下,本申请实施例提供的解码装置的结构示意图如图23所示。在图23中,解码装置23包括:处理模块230和通信模块231。处理模块230用于对解码装置的动作进行控制管理,例如,执行上述解析单元220、划分单元221、衍生单元222、解码单元223和判断单元224执行的步骤,和/或用于执行本文所描述的技术的其它过程。通信模块231用于支持解码装置与其他设备之间的交互。如图23所示,解码装置还可以包括存储模块232,存储模块232用于存储解码装置的程序代码和数据,例如存储上述存储单元225所保存的内容。
其中,处理模块230可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块231可以是收发器、RF电路或通信接口等。存储模块232可以是存储器。
其中,上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
上述解码装置22和解码装置23均可执行上述图11A或图11B所示的解码方法,解码装置22和解码装置23具体可以是视频解码装置或者其他具有视频编解码功能的设备。
本申请还提供一种解码设备,该解码设备包括:一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括指令,当一个或多个处理器执行指令时,解码设备执行本申请实施例的解码方法。
这里的解码设备可以是视频显示设备,智能手机,便携式电脑以及其它可以处理视频或者播放视频的设备。
本申请还提供一种视频解码器,包括非易失性存储介质,以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现本申请实施例的解码方法。
本申请还提供一种解码器,所述解码器包括本申请实施例中的解码装置(解码装置22和解码装置23)以及重建模块,其中,所述重建模块用于根据所述解码装置得到的预测图像素确定当前图像块的重建像素值。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括一个或多个程序代码,该一个或多个程序包括指令,当解码设备中的处理器在执行该程序代码时,该解码设备执行如图11A或图11B所示的解码方法。
在本申请的另一实施例中,还提供一种计算机程序产品,该计算机程序产品包括计算机执行指令,该计算机执行指令存储在计算机可读存储介质中;解码设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令,至少一个处理器执行该计算机执行指令使得终端实施执行图11A或图11B所示的解码方法中的视频解码器的步骤。
本申请实施例提供一种编码装置,该编码装置可以为视频编码器。具体的,编码装置用于执行以上编码方法中的视频编码器所执行的步骤。本申请实施例提供的编码装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对编码装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图24示出上述实施例中所涉及的编码装置的一种可能的结构示意图。如图24所示,编码装置24包括确定单元240、划分单元241、衍生单元242、编码单元243和判断单元244。
确定单元240用于支持该编码装置执行上述实施例中的S150、S151、S161、S162、S163、S164、S165等,和/或用于本文所描述的技术的其它过程。
划分单元241用于支持该编码装置执行上述实施例中的S152等,和/或用于本文所描述的技术的其它过程。
衍生单元242用于支持该编码装置执行上述实施例中的S153等,和/或用于本文所描述的技术的其它过程。
编码单元243用于支持该编码装置执行上述实施例中的S154等,和/或用于本文所描述的技术的其它过程。
判断单元244用于支持该编码装置执行上述实施例中的S151b等,和/或用于本文所描述的技术的其它过程。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
当然,本申请实施例提供的编码装置包括但不限于上述模块,例如:编码装置还可以包括存储单元245。
存储单元245可以用于存储该编码装置的程序代码和数据。
在采用集成的单元的情况下,本申请实施例提供的编码装置的结构示意图如图25所示。在图25中,编码装置25包括:处理模块250和通信模块251。处理模块250用于对编码装置的动作进行控制管理,例如,执行上述确定单元240、划分单元241、衍生单元242、编码单元243和判断单元244执行的步骤,和/或用于执行本文所描述的技术的其它过程。通信模块251用于支持编码装置与其他设备之间的交互。如图25所示,编码装置还可以包括存储模块252,存储模块252用于存储编码装置的程序代码和数据,例如存储上述存储单元245所保存的内容。
其中,处理模块250可以是处理器或控制器,例如可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块251可以是收发器、RF电路或通信接口等。存储模块252可以是存储器。
其中,上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
上述编码装置24和编码装置25均可执行上述图15A或图15B所示的编码方法,编码装置24和编码装置25具体可以是视频编码装置或者其他具有视频编编码功能的设备。
本申请还提供一种编码设备,该编码设备包括:一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括指令,当一个或多个处理器执行指令时,编码设备执行本申请实施例的编码方法。
这里的编码设备可以是视频显示设备,智能手机,便携式电脑以及其它可以处理视频或者播放视频的设备。
本申请还提供一种视频编码器,包括非易失性存储介质,以及中央处理器,所述非易失性存储介质存储有可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述可执行程序以实现本申请实施例的编码方法。
本申请还提供一种编码器,所述编码器包括本申请实施例中的编码装置(编码装置24和编码装置25)。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括一个或多个程序代码,该一个或多个程序包括指令,当编码设备中的处理器在执行该程序代码时,该编码设备执行如图15A或图15B所示的编码方法。
在本申请的另一实施例中,还提供一种计算机程序产品,该计算机程序产品包括计算机执行指令,该计算机执行指令存储在计算机可读存储介质中;编码设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令,至少一个处理器执行该计算机执行指令使得终端实施执行图15A或图15B所示的编码方法中的视频编码器的步骤。
在上述实施例中,可以全部或部分的通过软件,硬件,固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (32)

1.一种解码方法,其特征在于,包括:
解析码流,以确定当前待解码图像块的基础划分方式以及所述当前待解码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;
根据所述基础划分方式,将所述当前待解码图像块划分为N个子图像块,N为大于或等于2的整数;
根据所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
对所述第一衍生图像块进行解码。
2.一种解码方法,其特征在于,包括:
解析码流,以确定当前待解码图像块的基础划分方式以及所述当前待解码图像块的特征参数,所述特征参数为高度和宽度中的至少一个;
在所述当前待解码图像块的特征参数小于或等于第一预设阈值的情况下,解析码流,以确定所述当前待解码图像块中子图像块的目标衍生模式,所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,所述M种预设衍生模式指示的衍生方式互不相同,所述衍生图像块的特征参数大于所述当前待解码图像块中每个子图像块的特征参数,所述特征参数为高度和宽度中的至少一个,M为大于或等于0的整数;
根据所述基础划分方式,将所述当前待解码图像块划分为N个子图像块,N为大于或等于2的整数;
根据所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
对所述第一衍生图像块进行解码。
3.根据权利要求1或2所述的解码方法,其特征在于,
所述基础划分方式为水平N分、垂直N分或水平垂直N分。
4.根据权利要求3所述的解码方法,其特征在于,
在所述基础划分方式为所述水平N分的情况下,所述N个子图像块中的每个子图像块的宽度均与所述当前待解码图像块的宽度相等,所述每个子图像块的高度均等于所述当前待解码图像块的高度的1/N;
在所述基础划分方式为所述垂直N分的情况下,所述N个子图像块中的每个子图像块的高度均与所述当前待解码图像块的高度相等,所述每个子图像块的宽度均等于所述当前待解码图像块的宽度的1/N。
5.根据权利要求3所述的解码方法,其特征在于,
在所述基础划分方式为所述水平垂直N分的情况下,所述N个子图像块中的每个子图像 块的宽度均等于所述当前待解码图像块的宽度的
Figure 709840DEST_PATH_IMAGE001
,所述每个子图像块的高度均等于 所述当前待解码图像块的高度的
Figure 599298DEST_PATH_IMAGE001
Figure 947234DEST_PATH_IMAGE002
为整数。
6.根据权利要求1或2所述的解码方法,其特征在于,
当所述基础划分方式为水平N分或垂直N分时,
Figure 529525DEST_PATH_IMAGE003
;当所述基础划分方式为 水平垂直N分时,
Figure 923597DEST_PATH_IMAGE004
为整数。
7.根据权利要求6所述的解码方法,其特征在于,
在N=4、M=4、且所述基础划分方式为水平四分的情况下,所述候选衍生模式集合包括第一预设衍生模式、第二预设衍生模式、第三预设衍生模式以及第四预设衍生模式;其中,所述第一预设衍生模式为第一子图像块、第二子图像块和第三子图像块衍生为一个衍生图像块;所述第二预设衍生模式为所述第三子图像块和第四子图像块衍生为一个衍生图像块;所述第三预设衍生模式为所述第二子图像块和所述第三子图像块衍生为一个衍生图像块;所述第四预设衍生模式为所述第一子图像块和所述第二子图像块衍生为一个衍生图像块,所述第三子图像块和所述第四子图像块衍生为另一衍生图像块;所述第一子图像块、所述第二子图像块、所述第三子图像块和所述第四子图像块在所述当前待解码图像块中按照从上往下的顺序依次排列;
在N=4、M=4、所述基础划分方式为垂直四分的情况下,所述候选衍生模式集合包括第五预设衍生模式、第六预设衍生模式、第七预设衍生模式以及第八预设衍生模式;其中,所述第五预设衍生模式为第五子图像块、第六子图像块和第七子图像块衍生为一个衍生图像块;所述第六预设衍生模式为所述第六子图像块、第七子图像块和第八子图像块衍生为一个衍生图像块;所述第七预设衍生模式为所述第六子图像块和所述第七子图像块衍生为一个衍生图像块;所述第八预设衍生模式为所述第五子图像块、所述第六子图像块、第七子图像块和所述第八子图像块均保持独立;所述第五子图像块、所述第六子图像块、第七子图像块和所述第八子图像块在所述当前待解码图像块中按照从左往右的顺序依次排列;
在N=4、M=4、所述基础划分方式为水平垂直四分的情况下,所述候选衍生模式集合包括第九预设衍生模式、第十预设衍生模式、第十一预设衍生模式以及第十二预设衍生模式;其中,所述第九预设衍生模式为第九子图像块和第十子图像块衍生为一个衍生图像块;所述第十预设衍生模式为所述第九子图像块和所述第十子图像块衍生为一个衍生图像块,第十一子图像块和第十二子图像块衍生为另一衍生图像块;所述第十一预设衍生模式为所述第十子图像块和所述第十一子图像块衍生为一个衍生图像块,所述第九子图像块和所述第十二子图像块衍生为另一衍生图像块;所述第十二预设衍生模式为所述第九子图像块和所述第十二子图像块衍生为一个衍生图像块;所述第九子图像块、所述第十子图像块、第十一子图像块和所述第十二子图像块在所述当前待解码图像块中以顺时针的方向依次排列。
8.根据权利要求1或2所述的解码方法,其特征在于,所述解析码流,确定当前待解码图像块的基础划分方式,具体包括:
从所述码流中获取所述当前待解码图像块的划分标识;
根据所述当前待解码图像块的划分标识确定所述基础划分方式;
所述确定当前待解码图像块中子图像块的目标衍生模式,具体包括:
从所述码流中获取所述当前待解码图像块的衍生标识;
根据所述当前待解码图像块的衍生标识确定所述当前待解码图像块中子图像块的目标衍生模式。
9.根据权利要求8所述的解码方法,其特征在于,
所述当前待解码图像块的划分标识采用变长码表示,所述当前待解码图像块的衍生标识采用定长码表示。
10.根据权利要求1或2所述的解码方法,其特征在于,所述候选衍生模式集合中的每一种预设衍生模式均采用定长码标识。
11.一种编码方法,其特征在于,包括:
确定当前待编码图像块的基础划分方式以及所述当前待编码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块, M为大于或等于0的整数;
根据所述基础划分方式,将所述当前待编码图像块划分为N个子图像块,N为大于或等于2的整数;
根据所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
在对所述第一衍生图像块不划分的情况下,对所述第一衍生图像块进行编码,得到码流,所述码流包括所述当前待编码图像块的划分标识和所述当前待编码图像块的衍生标识,所述当前待编码图像块的划分标识用于指示所述基础划分方式,所述当前待编码图像块的衍生标识用于指示所述目标衍生模式。
12.一种编码方法,其特征在于,包括:
确定当前待编码图像块的基础划分方式以及所述当前待编码图像块的特征参数;
根据所述基础划分方式,将所述当前待编码图像块划分为N个子图像块,N为大于或等于2的整数;
在所述当前待编码图像块的特征参数小于或等于第一预设阈值的情况下,确定所述当前待编码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;
根据所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
在对所述第一衍生图像块不划分的情况下,对所述衍生图像块进行编码,得到码流,所述码流包括所述当前待编码图像块的划分标识和所述当前待编码图像块的衍生标识,所述当前待编码图像块的划分标识用于指示所述基础划分方式,所述当前待编码图像块的衍生标识用于指示所述目标衍生模式。
13.根据权利要求11或12所述的编码方法,其特征在于,所述确定当前待编码图像块的基础划分方式,具体包括:
确定与所述当前待编码图像对应的至少两种候选划分方式;
计算所述至少两种候选划分方式中的每种候选划分方式的率失真代价;
将最小的率失真代价对应的候选划分方式确定为所述当前待编码图像块的基础划分方式。
14.根据权利要求11或12所述的编码方法,其特征在于,所述确定当前待编码图像块中子图像块的目标衍生模式,具体包括:
计算所述候选衍生模式集合中的每种预设衍生模式的率失真代价,其中,当所述基础 划分方式为水平N分或垂直N分时,
Figure 882326DEST_PATH_IMAGE003
;当所述基础划分方式为水平垂直N分时,
Figure 911200DEST_PATH_IMAGE005
Figure 929971DEST_PATH_IMAGE002
为整数;
将最小的率失真代价对应的预设衍生模式确定为所述当前待编码图像块中子图像块的目标衍生模式。
15.根据权利要求11或12所述的编码方法,其特征在于,
所述当前待编码图像块的划分标识采用变长码表示,所述当前待编码图像块的衍生标识采用定长码表示。
16.根据权利要求11或12所述的编码方法,其特征在于,所述候选衍生模式集合中的每一种预设衍生模式均采用定长码标识。
17.一种解码装置,其特征在于,包括:
解析单元,用于解析码流,以确定当前待解码图像块的基础划分方式以及所述当前待解码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;
划分单元,用于根据所述解析单元确定出的所述基础划分方式,将所述当前待解码图像块划分为N个子图像块,N为大于或等于2的整数;
衍生单元,用于根据所述解析单元确定出的所述目标衍生模式指示的衍生方式,将所述划分单元得到的所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
解码单元,用于对所述衍生单元得到的所述第一衍生图像块进行解码。
18.一种解码装置,其特征在于,包括:
解析单元,用于解析码流,以确定当前待解码图像块的基础划分方式以及所述当前待解码图像块的特征参数,所述特征参数为高度和宽度中的至少一个;
判断单元,用于判断所述当前待解码图像块的特征参数是否小于或等于第一预设阈值;
所述解析单元,还用于在所述判断单元确定所述当前待解码图像块的特征参数小于或等于所述第一预设阈值的情况下,解析码流,以确定所述当前待解码图像块中子图像块的目标衍生模式,所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待解码图像块中任意两个相邻子图像块衍生为一个衍生图像块,所述M种预设衍生模式指示的衍生方式互不相同,所述衍生图像块的特征参数大于所述当前待解码图像块中每个子图像块的特征参数,所述特征参数为高度和宽度中的至少一个,M为大于或等于0的整数;
划分单元,用于根据所述解析单元确定出的所述基础划分方式,将所述当前待解码图像块划分为N个子图像块,N为大于或等于2的整数;
衍生单元,用于根据所述解析单元确定出的所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
解码单元,用于对所述衍生单元得到的所述第一衍生图像块进行解码。
19.根据权利要求17或18所述的解码装置,其特征在于,
所述基础划分方式为水平N分、垂直N分或水平垂直N分。
20.根据权利要求19所述的解码装置,其特征在于,
在所述基础划分方式为所述水平N分的情况下,所述N个子图像块中的每个子图像块的宽度均与所述当前待解码图像块的宽度相等,所述每个子图像块的高度均等于所述当前待解码图像块的高度的1/N;
在所述基础划分方式为所述垂直N分的情况下,所述N个子图像块中的每个子图像块的高度均与所述当前待解码图像块的高度相等,所述每个子图像块的宽度均等于所述当前待解码图像块的宽度的1/N。
21.根据权利要求19所述的解码装置,其特征在于,
在所述基础划分方式为所述水平垂直N分的情况下,所述N个子图像块中的每个子图像 块的宽度均等于所述当前待解码图像块的宽度的
Figure 811340DEST_PATH_IMAGE001
,所述每个子图像块的高度均等于 所述当前待解码图像块的高度的
Figure 308180DEST_PATH_IMAGE001
Figure 224183DEST_PATH_IMAGE002
为整数。
22.根据权利要求17或18所述的解码装置,其特征在于,
当所述基础划分方式为水平N分或垂直N分时,
Figure 882698DEST_PATH_IMAGE003
;当所述基础划分方式为 水平垂直N分时,
Figure 516942DEST_PATH_IMAGE005
Figure 551894DEST_PATH_IMAGE002
为整数。
23.根据权利要求22所述的解码装置,其特征在于,
在N=4、M=4、且所述基础划分方式为水平四分的情况下,所述候选衍生模式集合包括第一预设衍生模式、第二预设衍生模式、第三预设衍生模式以及第四预设衍生模式;其中,所述第一预设衍生模式为第一子图像块、第二子图像块和第三子图像块衍生为一个衍生图像块;所述第二预设衍生模式为所述第三子图像块和第四子图像块衍生为一个衍生图像块;所述第三预设衍生模式为所述第二子图像块和所述第三子图像块衍生为一个衍生图像块;所述第四预设衍生模式为所述第一子图像块和所述第二子图像块衍生为一个衍生图像块,所述第三子图像块和所述第四子图像块衍生为另一衍生图像块;所述第一子图像块、所述第二子图像块、所述第三子图像块和所述第四子图像块在所述当前待解码图像块中按照从上往下的顺序依次排列;
在N=4、M=4、所述基础划分方式为垂直四分的情况下,所述候选衍生模式集合包括第五预设衍生模式、第六预设衍生模式、第七预设衍生模式以及第八预设衍生模式;其中,所述第五预设衍生模式为第五子图像块、第六子图像块和第七子图像块衍生为一个衍生图像块;所述第六预设衍生模式为所述第六子图像块、第七子图像块和第八子图像块衍生为一个衍生图像块;所述第七预设衍生模式为所述第六子图像块和所述第七子图像块衍生为一个衍生图像块;所述第八预设衍生模式为所述第五子图像块、所述第六子图像块、第七子图像块和所述第八子图像块均保持独立;所述第五子图像块、所述第六子图像块、第七子图像块和所述第八子图像块在所述当前待解码图像块中按照从左往右的顺序依次排列;
在N=4、M=4、所述基础划分方式为水平垂直四分的情况下,所述候选衍生模式集合包括第九预设衍生模式、第十预设衍生模式、第十一预设衍生模式以及第十二预设衍生模式;其中,所述第九预设衍生模式为第九子图像块和第十子图像块衍生为一个衍生图像块;所述第十预设衍生模式为所述第九子图像块和所述第十子图像块衍生为一个衍生图像块,第十一子图像块和第十二子图像块衍生为另一衍生图像块;所述第十一预设衍生模式为所述第十子图像块和所述第十一子图像块衍生为一个衍生图像块,所述第九子图像块和所述第十二子图像块衍生为另一衍生图像块;所述第十二预设衍生模式为所述第九子图像块和所述第十二子图像块衍生为一个衍生图像块;所述第九子图像块、所述第十子图像块、第十一子图像块和所述第十二子图像块在所述当前待解码图像块中以顺时针的方向依次排列。
24.根据权利要求17或18所述的解码装置,其特征在于,所述解析单元具体用于:
从所述码流中获取所述当前待解码图像块的划分标识;
根据所述当前待解码图像块的划分标识确定所述当前待解码图像块的基础划分方式;
从所述码流中获取所述当前待解码图像块的衍生标识;
根据所述当前待解码图像块的衍生标识确定所述当前待解码图像块中子图像块的目标衍生模式。
25.根据权利要求24所述的解码装置,其特征在于,
所述当前待解码图像块的划分标识采用变长码表示,所述当前待解码图像块的衍生标识采用定长码表示。
26.根据权利要求17或18所述的解码装置,其特征在于,所述候选衍生模式集合中的每一种预设衍生模式均采用定长码标识。
27.一种编码装置,其特征在于,包括:
确定单元,用于确定当前待编码图像块的基础划分方式以及所述当前待编码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块, M为大于或等于0的整数;
划分单元,用于根据所述确定单元确定出的所述基础划分方式,将所述当前待编码图像块划分为N个子图像块,N为大于或等于2的整数;
衍生单元,用于根据所述确定单元确定出的所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
判断单元,用于判断是否对所述衍生单元得到的第一衍生图像块进行划分;
编码单元,用于在所述判断单元确定对所述第一衍生图像块不划分的情况下,对所述衍生单元得到的所述第一衍生图像块进行编码,得到码流,所述码流包括所述当前待编码图像块的划分标识和所述当前待编码图像块的衍生标识,所述当前待编码图像块的划分标识用于指示所述基础划分方式,所述当前待编码图像块的衍生标识用于指示所述目标衍生模式。
28.一种编码装置,其特征在于,包括:
确定单元,用于确定当前待编码图像块的基础划分方式以及所述当前待编码图像块的特征参数;
划分单元,用于根据所述确定单元确定出的所述基础划分方式,将所述当前待编码图像块划分为N个子图像块,N为大于或等于2的整数;
判断单元,用于判断所述当前待编码图像块的特征参数是否小于或等于第一预设阈值;
所述确定单元,还用于在所述判断单元确定所述当前待编码图像块的特征参数小于或等于所述第一预设阈值的情况下,确定所述当前待编码图像块中子图像块的目标衍生模式;所述目标衍生模式为候选衍生模式集合中的一种,所述候选衍生模式集合包括M种预设衍生模式,所述预设衍生模式用于指示衍生方式,所述衍生方式用于将所述当前待编码图像块中任意两个相邻子图像块衍生为一个衍生图像块,M为大于或等于0的整数;
衍生单元,用于根据所述确定单元确定出的所述目标衍生模式指示的衍生方式,将所述N个子图像块中的至少两个相邻子图像块衍生为第一衍生图像块;
所述判断单元,还用于判断是否对所述衍生单元得到的第一衍生图像块进行划分;
编码单元,用于在所述判断单元确定对所述第一衍生图像块不划分的情况下,对所述衍生图像块进行编码,得到码流,所述码流包括所述当前待编码图像块的划分标识和所述当前待编码图像块的衍生标识,所述当前待编码图像块的划分标识用于指示所述基础划分方式,所述当前待编码图像块的衍生标识用于指示所述目标衍生模式。
29.根据权利要求27或28所述的编码装置,其特征在于,所述确定单元具体用于:
确定与所述当前待编码图像对应的至少两种候选划分方式;
计算所述至少两种候选划分方式中的每种候选划分方式的率失真代价;
将最小的率失真代价对应的候选划分方式确定为所述当前待编码图像块的基础划分方式。
30.根据权利要求27或28所述的编码装置,其特征在于,所述确定单元具体用于:
计算所述候选衍生模式集合中的每种预设衍生模式的率失真代价,其中,当所述基础 划分方式为水平N分或垂直N分时,
Figure 587983DEST_PATH_IMAGE003
;当所述基础划分方式为水平垂直N分时,
Figure 417399DEST_PATH_IMAGE005
Figure 52122DEST_PATH_IMAGE002
为整数;
将最小的率失真代价对应的预设衍生模式确定为所述当前待编码图像块中子图像块的目标衍生模式。
31.根据权利要求27或28所述的编码装置,其特征在于,
所述当前待编码图像块的划分标识采用变长码表示,所述当前待编码图像块的衍生标识采用定长码表示。
32.根据权利要求27或28所述的编码装置,其特征在于,所述候选衍生模式集合中的每一种预设衍生模式均采用定长码标识。
CN201810581662.0A 2018-05-16 2018-06-07 一种编解码方法及装置 Active CN110505482B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/087316 WO2019219066A1 (zh) 2018-05-16 2019-05-16 一种编解码方法及装置
EP19804393.7A EP3780612A4 (en) 2018-05-16 2019-05-16 CODING AND DECODING METHODS AND DEVICES
US17/099,470 US11936861B2 (en) 2018-05-16 2020-11-16 Encoding method and apparatus, and decoding method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810470411 2018-05-16
CN2018104704115 2018-05-16

Publications (2)

Publication Number Publication Date
CN110505482A CN110505482A (zh) 2019-11-26
CN110505482B true CN110505482B (zh) 2021-10-26

Family

ID=68584015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810581662.0A Active CN110505482B (zh) 2018-05-16 2018-06-07 一种编解码方法及装置

Country Status (3)

Country Link
US (1) US11936861B2 (zh)
EP (1) EP3780612A4 (zh)
CN (1) CN110505482B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615497A (zh) * 2020-12-03 2022-06-10 腾讯科技(深圳)有限公司 视频解码方法、装置、计算机可读介质及电子设备
US20230079859A1 (en) * 2021-09-13 2023-03-16 Apple Inc. Systems and methods for streaming extensions for video encoding
CN114040027B (zh) * 2021-10-29 2023-11-24 深圳智慧林网络科技有限公司 一种基于双模式的数据压缩方法、装置和数据解压方法
CN114040028B (zh) * 2021-10-29 2023-11-24 深圳智慧林网络科技有限公司 一种基于三种模式的数据压缩方法和数据解压方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595116A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 多图像块划分的编解码方法和装置
TW201528209A (zh) * 2014-01-03 2015-07-16 Mediatek Singapore Pte Ltd 編解碼方法
CN104811736A (zh) * 2010-05-04 2015-07-29 Lg电子株式会社 处理视频信号的方法和设备
CN107071468A (zh) * 2011-03-11 2017-08-18 索尼公司 图像处理设备和图像处理方法
CN107566848A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 编解码的方法及装置
WO2018056703A1 (ko) * 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102126374B1 (ko) * 2010-11-04 2020-06-24 지이 비디오 컴프레션, 엘엘씨 블록 병합 및 스킵 모드를 지원하는 화상 코딩
WO2013039363A2 (ko) * 2011-09-16 2013-03-21 한국전자통신연구원 영상 부호화/복호화 방법 및 그 장치
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
WO2017205704A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
WO2017205621A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
CA3025334C (en) 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811736A (zh) * 2010-05-04 2015-07-29 Lg电子株式会社 处理视频信号的方法和设备
CN102595116A (zh) * 2011-01-14 2012-07-18 华为技术有限公司 多图像块划分的编解码方法和装置
CN107071468A (zh) * 2011-03-11 2017-08-18 索尼公司 图像处理设备和图像处理方法
TW201528209A (zh) * 2014-01-03 2015-07-16 Mediatek Singapore Pte Ltd 編解碼方法
CN107566848A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 编解码的方法及装置
WO2018056703A1 (ko) * 2016-09-20 2018-03-29 주식회사 케이티 비디오 신호 처리 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-HEVC合并模式快速判决方法研究;宋雨新 等.;《信号处理》;20160125;第32卷(第01期);第46-55页 *
An Enhanced Lenient Merging Scheme for H.264 Variable Block Size Selection;I.Amer et al.;《2009 First International Conference on Advances in Multimedia》;20090818;第136-139页 *

Also Published As

Publication number Publication date
EP3780612A1 (en) 2021-02-17
CN110505482A (zh) 2019-11-26
US20210076036A1 (en) 2021-03-11
EP3780612A4 (en) 2021-06-02
US11936861B2 (en) 2024-03-19

Similar Documents

Publication Publication Date Title
TWI812694B (zh) 以角度模式延伸之位置相關框內預測組合
KR101825262B1 (ko) B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한
TW201924343A (zh) 視訊寫碼中之仿射預測
JP2019505143A (ja) ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
KR20180043830A (ko) 이미지 예측 방법 및 장치
CN110505482B (zh) 一种编解码方法及装置
KR20140130466A (ko) B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한
CN110868587B (zh) 一种视频图像预测方法及装置
US20210092434A1 (en) Adaptive motion vector resolution for affine motion model in video coding
WO2020006969A1 (zh) 运动矢量预测方法以及相关装置
CN114710679A (zh) 视频编解码中的小色度块大小限制
BR112021003869A2 (pt) predição temporal de parâmetros de filtro de loop adaptativo com consumo reduzido de memória para codificação de vídeo
US11601667B2 (en) Inter prediction method and related apparatus
JP2021530909A (ja) ルマ・イントラ・モード・シグナリング
JP2024029063A (ja) ビデオ符号化のための位置依存の空間変化変換
JP7477687B2 (ja) ビデオコーディングのための変換ユニット区分方法
WO2019219066A1 (zh) 一种编解码方法及装置
CN111355958B (zh) 视频解码方法及装置
WO2023177810A1 (en) Intra prediction for video coding
CN117957838A (zh) 帧内预测模式信令
CN116636218A (zh) 利用多方向帧内预测的视频编解码
KR20240063982A (ko) 루마 인트라 모드 시그널링

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant