CN118057814A - 帧间预测方法及解码方法、电子装置和存储介质 - Google Patents
帧间预测方法及解码方法、电子装置和存储介质 Download PDFInfo
- Publication number
- CN118057814A CN118057814A CN202211449177.0A CN202211449177A CN118057814A CN 118057814 A CN118057814 A CN 118057814A CN 202211449177 A CN202211449177 A CN 202211449177A CN 118057814 A CN118057814 A CN 118057814A
- Authority
- CN
- China
- Prior art keywords
- coding block
- partition mode
- current coding
- current
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 238000005192 partition Methods 0.000 claims abstract description 537
- 238000000638 solvent extraction Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 12
- 238000010276 construction Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002035 prolonged effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241001634830 Geometridae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出一种帧间预测方法及解码方法、电子装置和存储介质。该帧间预测方法包括:获取当前视频帧,确定当前视频帧中的当前编码块;确定当前编码块的第一预测值和第二预测值;根据当前编码块所对应目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数;根据当前编码块的几何划分模式参数对第一预测值和第二预测值进行加权融合,得到当前编码块的预测值。
Description
技术领域
本申请涉及通信技术领域,具体涉及一种帧间预测方法及解码方法、电子装置和存储介质。
背景技术
在视频编解码过程中,可以采用帧内预测方式或帧间预测方式对当前块进行处理。其中,帧间预测方式可以包括运动估计和运动补偿。针对运动补偿,可以采用几何划分模式(Geometr ic Part it ion ing Mode,GPM),将当前块划分为两个非矩形的分区,先分别对两个分区进行预测,然后再进行加权融合,得到当前块的预测值。目前的帧间预测方法中,GPM划分模式的确定是通过遍历预设的64种模式列表确定,解码端通过解析视频编码码流中的划分模式索引确定编码块采用的划分模式,因此计算复杂度和传输开销都较高。
发明内容
有鉴于此,本申请实施例提供一种帧间预测方法及解码方法、电子装置和存储介质,有效降低了传输开销,以及提升了划分准确度。
本申请实施例提供一种帧间预测方法,包括:
获取当前视频帧,确定所述当前视频帧中的当前编码块;
确定所述当前编码块的第一预测值和第二预测值;
根据所述当前编码块所对应目标编码块的几何划分模式参数确定所述当前编码块的几何划分模式参数;
根据所述当前编码块的几何划分模式参数对所述第一预测值和所述第二预测值进行加权融合,得到所述当前编码块的预测值。
本申请实施例提供一种解码方法,包括:
解析视频编码码流,获取当前视频帧中当前编码块的预测解码参数;
根据所述预测解码参数确定当前编码块所采用的几何划分模式参数;
采用所述几何划分模式参数对所述当前编码块进行帧间预测。
本申请实施例提供一种电子装置,包括:存储器,以及一个或多个处理器;
所述存储器,配置为存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例所述的方法。
本申请实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的方法。
附图说明
图1是本申请实施例提供的一种编码框架的实现示意图;
图2是本申请实施例提供的一种解码框架的实现示意图;
图3是本申请实施例提供的一种帧间预测方法的流程图;
图4是本申请实施例提供的一种解码方法的流程图;
图5是本申请实施例提供的一种划分模式对应的几何划分模式参数的配置示意图;
图6是本申请实施例提供的一种帧间预测的实现流程图;
图7是本申请实施例提供的一种候选的划分模式的配置示意图;
图8是本申请实施例提供的另一种帧间预测的实现流程图;
图9是本申请实施例提供的另一种候选的划分模式的配置示意图;
图10是本申请实施例提供的又一种帧间预测的实现流程图;
图11是本申请实施例提供的又一种候选的划分模式的配置示意图;
图12是本申请实施例提供的再一种候选的划分模式的配置示意图;
图13是本申请实施例提供的再一种候选的划分模式的配置示意图;
图14是本申请实施例提供的一种帧间预测装置的结构框图;
图15是本申请实施例提供的一种解码装置的结构框图;
图16是本申请实施例提供的一种电子装置的结构示意图。
具体实施方式
下文中将结合附图对本申请的实施例进行说明。以下结合实施例附图对本申请进行描述,所举实例仅用于解释本申请,并非用于限定本申请的范围。
在H.266/VVC规范中,支持GPM对编码单元进行帧间预测。其中,GPM包含64种划分模式,每个GPM编码单元(Cod ing Un it,CU)的划分模式使用固定长度的二进制编码表示。在编码过程中,通过遍历预设的64种划分模式列表确定最佳的划分模式,复杂度较高。示例性地,假设候选运动矢量(Mot ion Vector,MV)列表长度为N,共N*(N-1)个可能的GPM组合(因为两个MV不能相同),编码器需要遍历64*N*(N-1)=1920种可能的情况,复杂度较高。
本申请提供一种帧间预测方法和视频解码方法及装置,可以提高采用几何划分模式进行帧间预测的准确度。本申请提供的帧间预测方法中,在确定当前编码块的划分模式过程中,利用其他编码块中已计算出的划分模式进行参考,有效利用了视频帧画面中物体边缘延续信息,提高了划分的准确度,并且进一步降低了传输开销。
本申请实施例是基于混合编码框架实现的。图1是本申请实施例提供的一种编码框架的实现示意图。如图1所示,在新一代视频编码标准H.266/VVC编码框架中,可以包括帧内预测、帧间预测、变换、量化、环路滤波以及熵编码等模块。
编码端的整体框架流程如下:
(1)输入的视频首先分为帧进行块划分;
(2)将划分好的块送至帧内/帧间预测模块进行预测编码。其中帧内预测模块主要用于去除图像的空间相关性;帧间预测模块主要用于去除图像的时间相关性;
(3)再将得到的预测值与原始块进行相减得到残差值,然后对残差进行变换和量化,以去除频域相关性,对数据进行有损压缩。
(4)最后再把所有的编码参数和残差进行熵编码形成二进制流进行存储或传输,熵编码模块的输出数据即原始视频压缩后的码流。
(5)将预测值和反量化、反变换后的残差进行相加得到块重建值,最终形成重建图像。
(6)重建图像经过环路滤波器进行滤波操作,存入图像缓存作为以后的参考图像。
图2是本申请实施例提供的一种解码框架的实现示意图。如图2所示,解码端的整体框架流程如下:
(1)解析码流获取预测模式得到预测值;
(2)对码流解析得到的残差进行反变换反量化;
(3)将预测值和反量化、反变换后的残差进行相加得到块重建值,最终形成重建图像。
(4)重建图像经过环路滤波器进行滤波操作,存入图像缓存作为以后的参考图像。
需要说明的一点是,本申请实施例提供的技术方案可以应用于H.266/VVC标准、AVS(如AVS3)或者下一代视频编解码标准中,本申请实施例对此不作限定。
在一实施例中,图3是本申请实施例提供的一种帧间预测方法的流程图。本实施例应用于视频编码过程中的帧间预测的情况。本实施例可以由编码端执行。如图3所示,本实施例包括:S310-S340。
S310、获取当前视频帧,确定当前视频帧中的当前编码块。
其中,当前视频帧可以理解为一个图像帧。在实施例中,可以将当前视频帧划分为多个编码树单元(Cod ing Tree Un it,CTU)的块,并使用具有嵌套多类型树结构的四叉树,将一个CTU划分成多个CU,该CU具有定义可以采用几何划分模式进行预测的一个区域,也可以称为一个子编码单元。可以理解为,先将当前视频帧划分为多个CTU的块,然后再将每个CTU划分成多个CU,得到多个编码块,最后从当前视频帧对应的所有编码块中选取其中一个编码块作为当前编码块。
S320、确定当前编码块的第一预测值和第二预测值。
在实施例中,可以将当前编码块划分为两个非矩形的子分区,然后基于合并模式的运动矢量候选列表生成GPM模式下的MV候选列表。每个子分区从该MV候选列表中选取MV进行单向的运动补偿,得到当前编码块的两个单向预测值,作为对应的第一预测值和第二预测值,即一个非矩形的子分区对应的是第一预测值,另一个非矩形的子分区对应的是第二预测值。
S330、根据当前编码块所对应目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数。
其中,几何划分模式参数指的是每个几何划分模式所对应的斜率、划分角度和位移长度。在传统GPM中,包括64种划分模式。每种划分模式对应一种斜率和一种位移长度,即共有20种划分角度和4种位移长度。在一实施例中,可以采用当前编码块所对应的目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数。其中,目标编码块为当前视频帧中与当前编码块相关的编码块
S340、根据当前编码块的几何划分模式参数对第一预测值和第二预测值进行加权融合,得到当前编码块的预测值。
其中,当前编码块的预测值,指的是当前编码块中每个像素点预测的像素值。在实施例中,根据每个子分区中的像素点到划分线的距离得到融合矩阵,并利用该融合矩阵对两个子分区对应的第一预测值和第二预测值进行加权融合,得到当前编码块的预测值,从而实现了根据其它编码块的几何划分模式参数预测或推断出当前编码块的几何划分模式参数,有效利用了当前视频帧中目标编码块的边缘延续信息,提高了划分的准确度,并进一步降低了传输开销。
在一实施例中,根据当前编码块所对应目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数,包括:
基于当前编码块所对应目标编码块的几何划分模式参数构建当前编码块的划分模式候选列表;
基于划分模式候选列表确定当前编码块的几何划分模式参数。
其中,划分模式候选列表为当前编码块所对应的候选划分模式组成的列表。在实施例中,可以为当前编码块构建一个划分模式候选列表,在该划分模式候选列表中存在最多N个划分模式,通过遍历N个划分模式,并进行率失真代价的计算,最终选取率失真代价最小的划分模式作为该当前编码块的最优划分模式,并将该最优划分模式对应的几何划分模式参数作为当前编码块的几何划分模式参数。其中,N为大于等于1的正整数。
在一实施例中,目标编码块包括:邻域编码块;根据当前编码块所对应目标编码块的几何划分模式参数构建当前编码块对应的划分模式候选列表,包括:
获取当前编码块所对应邻域编码块的几何划分模式参数;
基于邻域编码块的几何划分模式参数构建当前编码块对应的划分模式候选列表。在实施例中,邻域编码块指的是与当前编码块在空域上相邻的编码块。其中,邻域编码块指的是当前视频中与当前编码块在位置上相邻的编码块。示例性地,邻域编码块可以位于当前编码块任意一侧的编码块。在实施例中,邻域编码块的划分线具有较强的相似性,特别是对于连续直线或曲线,通常在多个邻域编码块中保持相近的划分角度和位移长度。如果利用空域上相邻的编码块的划分模式对当前编码块的划分模式进行预测,并标记相应编码块的位置索引,则能够大幅节省传输划分模式所需的编码比特数。在实施例中,可以在当前编码块的邻域编码块中,按照预设顺序构建当前编码块对应的划分模式候选列表。在一实施例中,预设顺序可以理解为按照每个邻域编码块的几何划分模式参数进行排序,或者,按照每个邻域编码块与当前编码块之间的位置关系进行排序。
在一实施例中,目标编码块包括:邻域编码块;根据当前编码块所对应目标编码块的几何划分模式参数构建当前编码块对应的划分模式候选列表,包括:
获取当前编码块所对应邻域编码块的几何划分模式参数;
确定邻域编码块的几何划分模式参数对应的几何划分模式在当前编码块中的延长线,并查找划分模式总列表中与延长线相匹配的划分模式;
基于延长线相匹配的划分模式构建对应的划分模式候选列表;其中,划分模式候选列表中所包含划分模式的数量小于等于邻域编码块的数量。在实施例中,邻域编码块的划分线也具有较强的延续性,通常在多个邻域编码块中延续伸展。如果利用空域上邻域编码块的划分模式在当前编码块中的延长线构建当前编码块的划分模式候选列表,并采用划分模式候选列表中的划分模式进行GPM预测,能够大幅度地节省传输划分模式所需的编码比特数。在实施例中,在当前编码块所对应的每个邻域编码块中,将邻域编码块已知的划分模式进行延长,在延长线与当前编码块存在交叉的情况下,计算划分模式总列表中与当前编码块内的延长线最接近的划分模式,并添加至划分模式候选列表中。在实施例中,当前编码块可以对应一个或多个邻域编码块。在当前编码块对应至少两个邻域编码块的情况下,可以将每个邻域编码块已知的划分模式进行延长,得到对应的延长线,在延长线未与当前编码块存在交叉的情况下,则不从划分模式总列表中查找与该延长线最接近的划分模式,即当前编码块的划分模式候选列表中所包含划分模式的数量小于或等于当前编码块所对应邻域编码块的总数量。
在一实施例中,基于划分模式候选列表确定当前编码块的几何划分模式参数,包括:
根据预设顺序,分别采用划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
基于第一率失真代价确定当前编码块所采用的几何划分模式参数。在实施例中,遍历划分模式候选列表,按照预设顺序分别采用划分模式候选列表中的每个划分模式对当前编码块进行GPM帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价,并选取划分模式候选列表中第一率失真代价最小的划分模式,作为当前编码块的划分模式,并将该划分模式的参数作为当前编码块采用的几何划分模式参数。
在一实施例中,基于划分模式候选列表确定当前编码块的几何划分模式参数,包括:
分别采用划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
采用划分模式差列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第二率失真代价;其中,划分模式差列表为划分模式总列表与划分模式候选列表之间的差集;
基于第一率失真代价和第二率失真代价确定当前编码块所采用的几何划分模式参数。在实施例中,在得到划分模式候选列表中每个划分模式对应的率失真代价之后,即得到第一率失真代价,遍历划分模式差列表中每个划分模式,并采用划分模式差列表中的每个划分模式对当前编码块进行GPM帧间预测,得到对应划分模式的率失真代价,即第二率失真代价。然后选取第一率失真代价和第二率失真代价中最小率失真代价对应的划分模式,若该最小率失真代价对应的划分模式来自划分模式候选列表,则指示GPM采用划分模式帧间预测方法;若最小率失真代价对应的划分模式来自划分模式差列表,则指示GPM不采用划分模式帧间预测方法。
在一实施例中,根据当前编码块所对应目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数,包括:
获取当前视频帧内目标编码块的几何划分模式参数;
基于目标编码块的几何划分模式参数构建当前编码块的划分模式候选列表;
基于划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。其中,当前视频帧内的目标编码块指的是与当前视频帧内当前编码块相关联的编码块。在实施例中,在编码端和解码端,当前编码块的上方编码块以及左方编码块的像素都是已知的,可以将当前编码块的上方编码块以及左方编码块的L型邻域编码块常作为模板区域,用于帧内预测或帧间预测。同样,当前编码块的划分线在邻域的L型模板区域中也具有一定的连续性,如果在编码端和解码端基于邻域编码块中已知的像素对划分模式进行预测,则能够大幅节省传输划分模式所需的编码比特数。在实施例中,在构建得到当前编码块的划分模式候选列表之后,分别采用划分模式候选列表中的多个划分模式在当前编码块所对应的模板区域进行延长,并进行GPM帧间预测,计算得到对应的率失真代价,并将最小的率失真代价对应的划分模式作为当前编码块的划分模式,即得到当前编码块的几何划分模式参数。
在一实施例中,基于目标编码块的几何划分模式参数构建当前编码块的划分模式候选列表,包括:
基于当前视频帧内目标编码块所采用的几何划分模式参数在当前编码块中的延长线,查找划分模式总列表中与延长线相匹配的划分模式;
基于延长线相匹配的划分模式构建对应的划分模式候选列表。在实施例中,基于目标编码块所采用的几何划分模式参数确定对应目标编码块对应的划分模式,并将目标编码块对应的划分模式进行延长,得到对应的延长线。在延长线与当前编码块存在交叉的情况下,计算划分模块总列表中与该延长线最接近的划分模式,并将该最接近的划分模式添加至划分模式候选列表。
在一实施例中,当前视频帧内的目标编码块包括:
当前视频帧中当前编码块的邻域编码块,或
当前视频帧中当前编码块的预设邻域范围内的编码块,或
当前视频帧中沿当前编码块的预设方向搜索得到的编码块。在实施例中,当前编码块的邻域编码块指的是当前视频帧中与当前编码块在位置上相邻的编码块;当前编码块的预设邻域范围内的编码块,指的是在当前编码块所对应预设范围内的编码块;沿当前编码块的预设方向搜索得到的编码块,指的是根据指定的预设方向和步长,在当前编码块的预设邻域范围内搜索得到的编码块。
在一实施例中,基于划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数,包括:
构建当前视频帧中当前编码块对应的模板区域;
分别采用划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
基于第三率失真代价确定当前编码块所采用的几何划分模式参数。在实施例中,模板区域可以为当前编码块的上方区域和左方区域。在实施例中,根据当前编码块的尺寸大小,并根据当前编码块在第一方向的大小选取当前编码块针对上方的邻近区域,再根据当前编码块在第二方向的大小选取当前编码块针对左方的邻近区域,并将上方的邻近区域和左方的邻近区域合并作为当前编码块的模板区域。在一实施例中,若当前编码块不存在上方的邻近区域或左方的邻近区域,则可以选取其中一侧作为对应的模板区域。在实施例中,遍历划分模式候选列表,并分别采用划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价,并从所有第三率失真代价中选取最小率失真代价对应的划分模式,作为当前编码块采用的划分模式,即得到当前编码块所采用的几何划分模式参数。
在一实施例中,基于划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数,包括:
构建当前视频帧中当前编码块对应的模板区域;
分别采用划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
采用划分模式总列表中每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第四率失真代价;
基于第三率失真代价和第四率失真代价确定当前编码块所采用的几何划分模式参数。在实施例中,在得到第三率失真代价之后,采用划分模式总列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第四率失真代价,并从所有第三率失真代价和所有第四率失真代价中选取率失真代价最小的划分模式,若率失真代价最小的划分模式为第三率失真代价,则在码流中指示GPM采用划分模式预测方法;若率失真代价最小的划分模式为第四率失真代价,则在码流中指示GPM不采用划分模式预测方法,并指示当前编码块所采用的划分模式在划分模式总列表中的索引。
在一实施例中,图4是本申请实施例提供的一种解码方法的流程图,本实施例应用于视频解码过程中的帧间预测的情况。本实施例可以由解码端执行。在实施例中,在当前编码块采用基于划分模式的帧间预测方式的情况下,解码端可以采用与编码端相同的方式,对当前编码块的划分模式进行预测,得到当前编码块的预测值。
如图4所示,本实施例包括:S410-S430。
S410、解析视频编码码流,获取当前视频帧中当前编码块的预测解码参数。
在实施例中,编码端通过视频编码码流向解码端发送当前视频帧,以及当前视频帧中当前编码块的预测解码参数。
S420、根据预测解码参数确定当前编码块所采用的几何划分模式参数。
在实施例中,预测解码参数可以携带当前编码块所对应的划分模式预测指示符。在实施例中,解码端可以根据划分模式预测指示符确定当前编码块是否采用划分模式预测方法,在采用划分模式预测方法的情况下,可以采用上述实施例所述的帧间预测方法确定当前编码块所采用的几何划分模式参数。
S430、采用几何划分模式参数对当前编码块进行帧间预测。
在实施例中,按照当前编码块的几何划分模式参数对当前编码块进行帧间预测。
在一实施例中,根据预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在划分模式预测指示符为第一数值的情况下,确定当前编码块采用划分模式预测方法;
根据上述任一实施例所述的帧间预测方法,构建当前编码块对应的划分模式候选列表;
基于划分模式预测索引和划分模式候选列表确定当前编码块所采用的几何划分模式参数。在实施例中,划分模式预测指示符用于指示当前编码块是否采用划分模式预测方法。在一实施例中,在划分模式预测指示符为第一数值的情况下,当前编码块采用划分模式预测方法,并采用上述实施例所述的帧间预测方法,构建当前编码块对应的划分模式候选列表,并基于划分模式预测索引从划分模式候选列表中选取当前编码块所采用的划分模式,即得到当前编码块所采用的几何划分模式参数。
在一实施例中,划分模式预测索引用于标识当前视频帧使用的划分模式在划分模式候选列表中的索引值。
在一实施例中,根据所述预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在所述划分模式预测指示符为第一数值的情况下,确定所述当前编码块采用划分模式预测方法;
根据上述任一实施例所述的帧间预测方法,构建所述当前编码块对应的划分模式候选列表;
基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。其中,对划分模式预测指示符的解释见上述实施例的描述,在此不再赘述。在实施例中,在划分模式预测指示符为第一数值的情况下,当前编码块采用划分模式预测方法,并采用上述实施例所述的帧间预测方法,构建当前编码块对应的划分模式候选列表,并基于采用模板匹配方式从划分模式候选列表中选取当前编码块所采用的划分模式,即得到当前编码块所采用的几何划分模式参数。基于划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数的过程,参见上述实施例中所述的具体实现方式,在此不再赘述。
在一实施例中,根据预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在划分模式预测指示符为第二数值的情况下,确定当前编码块不采用划分模式预测方法;
基于划分模式预测索引和预先创建的划分模式总列表确定当前编码块所采用的几何划分模式参数。在实施例中,在划分模式预测指示符为第二数值的情况下,当前编码块不采用划分模式预测方法,并基于划分模式预测索引从划分模式总列表中选取当前编码块所采用的划分模式,即得到当前编码块所采用的几何划分模式参数。
需要说明的是,解码方法中的划分模式候选列表、划分模式总列表、几何划分模式参数和划分模式等参数的解释,见上述的帧间预测方法的实施例中对应参数的描述,在此不再赘述。
在一实施例中,本实施例提供一种用于视频编码过程中的帧间预测方法,在当前编码块采用基于几何划分模式的帧间预测模式的情况下,利用邻域编码块中已确定的划分模式对当前编码块的划分模式进行预测,从而降低传输开销。帧间预测方法的步骤如下:
步骤1:获取当前视频帧,确定当前视频帧中的当前编码块。
获取当前视频帧,确定当前视频帧中的当前编码块。图像划分结构将输入的当前视频帧分为称为CTU的块,使用具有嵌套多类型树结构的四叉树将一个CTU划分成CU,该CU具有定义帧间预测模式的区域的叶子编码单元。
步骤2:确定对当前编码块使用划分模式帧间预测。
在实施例中,在编码过程中,通常采用率失真优化的方式确定当前编码块的几何划分模式参数。在视频编码的情况下,可以基于当前编码块的几何划分模式参数,利用多种划分模式分别对待预测图像分量进行预测编码,计算多种划分模式下每一种划分模式对应的率失真代价结果,从计算得到的多个率失真代价结果中选取最小率失真代价结果,并将最小率失真代价结果对应的划分模式确定为当前编码块的几何划分模式参数。
步骤3:利用邻域编码块中已确定的划分模式对当前编码块的划分模式进行预测。
在传统GPM中,共有64种划分模式。图5是本申请实施例提供的一种划分模式对应的几何划分模式参数的配置示意图。如图5所示,每种划分模式对应一种斜率和一种位移长度,共有20种角度和4种位移长度。然而空域上邻域编码块的划分线具有较强的相似性,特别是对于连续直线或曲线,通常在多个邻域编码块中保持相近的划分角度和位移长度。如果利用空域上邻域编码块的划分模式对当前编码块的划分模式进行预测,并标记相应编码块的位置索引,则能够大幅节省传输划分模式所需的编码比特数。具体实施方式按照下述的划分模式预测方法1及划分模式预测方法2中的实施方式进行操作。
步骤4:对当前编码块使用划分模式帧间预测方法获取当前编码块的预测值。
在当前编码块采用GPM帧间预测模式的情况下,当前编码块被划分为两个非矩形的子分区,然后基于合并模式(merge mode)的MV候选列表生成GPM模式下的MV候选列表,每个子分区将从该MV候选列表中选取MV进行单向的运动补偿,得到当前编码块的两个单向预测值,即第一预测值和第二预测值,最后根据每个分区中的像素点到划分线的距离得到融合矩阵,利用该矩阵对两个子分区的单向预测值进行加权融合,得到当前编码块最终的预测值。
步骤5:将划分模式预测方法通过开关指示符指示给解码端。
编码端根据当前编码块的预测值计算率失真代价,从而确定当前编码块采用的划分模式及几何划分模式参数。将确定的划分模式预测方法通过开关指示符指示及索引值(可选)给解码端,并将GPM帧间预测模式参数通过合并模式索引指示给解码端。
在一实施例中,划分模式预测方法1:划分模式候选列表的生成方式包括三种:
在一实现方式中,基于邻域编码块生成候选列表
空域上邻域编码块的划分线具有较强的相似性,特别是对于连续直线或曲线,通常在多个邻域编码块中保持相近的划分角度和位移。如果利用空域上邻域编码块的划分模式对当前编码块的划分模式进行预测,并标记相应编码块的位置索引,则能够大幅节省传输划分模式所需的编码比特数。
本实施方式中,为当前编码块建立一个划分模式候选列表,列表中存在最多N个划分模式。通过遍历这N个候选划分模式,并进行率失真代价的计算,最终选取率失真代价最小的一个作为该当前编码块的最优划分模式。在解码端可以依照同样的方式建立划分模式候选列表,那么编码器只需要传输最优划分模式在候选列表中的索引即可,这样就大幅节省了传输64种划分模式的编码比特数。图6是本申请实施例提供的一种帧间预测的实现流程图。如图6所示,本实施例中的帧间预测包括步骤:
S610、获取当前编码块所对应邻域编码块的划分模式,按照预设顺序构建划分模式候选列表。
在实施例中,在当前编码块的邻域编码块中,按照预设顺序构建划分模式候选列表(SMLi st,Sp l it mode cand idate l i st)。
以N=5为例,对划分模式候选列表的建立进行说明。图7是本申请实施例提供的一种候选的划分模式的配置示意图。如图7所示,图中Current CU表示当前编码块,A1表示当前编码块左侧最下方的CU,B1表示当前编码块上方最右侧的CU,B0和A0分别表示当前编码块右上方和左下方距离最近的块,B2表示当前编码块左上方距离最近的CU,按照预设顺序建立划分模式候选列表,例如A1->B1->B0->A0->B2,每个索引位置分别选用对应CU的已知划分模式。如果A1、B1、B0、A0中有一个或多个不存在的情况下,对应位置为空。如果全部邻近块中都不存在已知划分模式,则继续采用传统GPM划分模式选择方式。
需要注意的是,此处的5个划分模式候选列表的构建只是示例,具体实施中可以采用其他任意顺序。
S620、依次根据划分模式候选列表中的划分模式,对当前编码块执行GPM预测,计算率失真代价。
在实施例中,遍历划分模式候选列表,分别采用N个划分模式对当前编码块进行GPM帧间预测,步骤同上述实施例中的步骤1-步骤5,并计算RDO cost。
S630、遍历划分模式差列表中的划分模式,并对当前编码块执行GPM预测,计算率失真代价。
在实施例中,遍历64种划分模式中其余划分模式,并采用其余划分模式对当前编码块进行GPM预测,计算RDO cost。
S640、对每个划分模式执行GPM预测得到的率失真代价进行排序,并选择最小率失真代价对应的划分模式,并在码流中进行对应指示。
在实施例中,选取RDO cost最小的划分模式,如果该模式来自SMLi st,则在码流中指示GPM采用SM预测方法,并指示当前编码块选用的划分模式在SMLi st中的索引。如果该模式来自除SMLi st之外的其余划分模式,则在码流中指示GPM不采用SM预测方法,并指示当前编码块选用的划分模式在64种划分模式中的索引。
在一实现方式中,基于延长线生成划分模式候选列表
空域上邻域编码块的划分线也具有较强的延续性,通常在多个邻域编码块中延续伸展。如果利用空域上邻域编码块的划分模式在当前编码块中的延长线作为划分模式进行GPM预测,并标记相应编码块的位置索引,能够大幅节省传输划分模式所需的编码比特数。
本实施方式中,为当前编码块建立一个基于邻域编码块划分延长的划分模式候选列表,划分模式候选列表中存在最多N个划分模式。通过遍历这N个候选划分模式,并进行率失真代价的计算,最终选取率失真代价最小的一个作为该当前编码块的最优划分模式,从而节省传输编码比特数。图8是本申请实施例提供的另一种帧间预测的实现流程图。如图8所示,本实施例中的帧间预测包括步骤:
S810、在当前编码块的邻域编码块中,根据已知划分模式延长划分线,计算与当前编码块中的延长线最接近的划分模式,作为候选划分模式。
以N=5为例,选取当前编码块相邻的5个邻域编码块。图9是本申请实施例提供的另一种候选的划分模式的配置示意图。如图9所示,图中Current CU表示当前编码块,A1表示当前编码块左侧最下方的CU,B1表示当前编码块上方最右侧的CU,B0和A0分别表示当前编码块右上方和左下方距离最近的块,B2表示当前编码块左上方距离最近的CU。在每个邻域编码块中,将其已知的划分模式进行延长。在延长线与当前编码块存在交叉的情况下,计算64种划分模式种与当前编码块内延长线最接近的划分模式,作为候选划分模式。
S820、按照预设顺序构建划分模式候选列表。
列表按照预设顺序建立,例如A1->B1->B0->A0->B2,每个索引位置分别选用步骤1计算得到的候选划分模式。如果A1、B1、B0、A0中有一个或多个不存在时,或划分模式延长线与当前块不相交时,对应位置为空。如果全部邻近块中都不存在已知划分模式,则继续采用传统GPM划分模式选择方式。
需要注意的是,此处的5个划分模式候选列表的构建只是示例,具体实施中可以采用其他任意顺序。
S830、基于划分模式候选列表中的划分模式对当前编码块进行GPM预测,得到对应的率失真代价。
在实施例中,遍历划分模式候选列表,分别采用N个划分模式对当前编码块进行GPM帧间预测,步骤同上述实施例的步骤1-步骤5,并计算RDO cost。
S840、遍历划分模式总列表中的其余划分模式,并对当前编码块进行GPM预测,得到敌营的率失真代价。
在实施例中,划分模式总列表中包括64种划分模式,并遍历64种划分模式中其余划分模式,并计算RDO cost。
S850、对每个划分模式执行GPM预测得到的率失真代价进行排序,并选择最小率失真代价对应的划分模式,并在码流中进行对应指示。
在实施例中,选取RDO cost最小的划分模式,如果该模式来自SMLi st,则在码流中指示GPM采用SM预测方法,并指示当前编码块选用的划分模式在SMLi st中的索引。如果该划分模式来自除SMLi st之外的其余划分模式,则在码流中指示GPM不采用SM预测方法,并指示当前编码块选用的划分模式在64种划分模式中的索引。
划分模式预测方法2:模板匹配
在一实现方式中,基于邻域编码块筛选划分模式
在编码端和解码端,当前编码块上方及左方的邻域像素都是已知的,因此当前编码块上方及左方的L型邻域编码块常作为模板区域,用于帧内预测或帧间预测。同样,当前编码块的划分线在邻域的L型模板中也具有一定的连续性,如果在编码端和解码端基于邻域编码块中已知的像素对划分模式进行预测,则能够大幅节省传输sp l it mode所需的编码比特数。
本实施方式中,根据当前编码块的邻域编码块中已知划分模式,在当前编码块的L型模板中实施GPM预测,并进行率失真代价的计算,最终选取率失真代价最小的一个作为该当前编码块的最优划分模式。在解码端可以依照同样的方式选取划分模式,那么编码器只需要传输开关指示符即可,大幅节省了传输64种划分模式的编码比特数。图10是本申请实施例提供的又一种帧间预测的实现流程图。如图10所示,本实施例中的帧间预测包括步骤:
S1010、选取当前编码块的上方和左方邻域作为当前编码块的模板区域。
在实施例中,假设当前编码块的大小为m*n,选取当前编码块的上方m*j大小的邻近区域,再选取当前编码块的左方k*n大小的邻近区域,合并作为当前编码块的模板区域。如果当前编码块不存在上方或左方的邻近区域,则只选取一侧作为模板区域。如果当前编码块的上方或左方的邻近区域均不存在,则继续采用传统GPM划分模式选择方式。
S1020、在当前编码块的邻域编码块中,根据已知划分模式延长划分线,计算与当前编码块中的延长线最接近的划分模式,作为候选划分模式。
以N=5为例,选取当前编码块相邻的5个邻域编码块。图11是本申请实施例提供的又一种候选的划分模式的配置示意图。如图11所示,Current CU表示当前编码块,模板为上述实施例中的模板区域。在每个邻域编码块中,将其已知的划分模式进行延长。在延长线与当前编码块存在交叉的情况下,计算64种划分模式种与当前编码块内延长线最接近的划分模式,作为候选划分模式。
S1030、遍历划分模式候选列表,在当前编码块的模板区域执行GPM预测,计算率失真代价。
在实施例中,遍历划分模式候选列表,分别采用N个划分模式在当前编码块的模板区域进行延长,并进行GPM帧间预测,步骤同上述实施例的步骤1-步骤5,计算RDO cost。
S1040、遍历划分模式总列表,对当前编码块进行GPM预测,计算率失真代价。
在实施例中,划分模式总列表包括64种划分模式,在当前编码块中遍历64种划分模式,进行GPM帧间预测,并计算RDO cost。
S1050、对每个划分模式执行GPM预测得到的率失真代价进行排序,并选择最小率失真代价对应的划分模式,并在码流中进行对应指示。
在实施例中,选取RDO cost最小的预测模式,如果步骤1030所得的RDO cost最小,则在码流中指示GPM采用SM预测方法。如果步骤1040所得RDO cost最小,则在码流中指示GPM不采用SM预测方法,并指示当前编码块选用的划分模式在64种划分模式中的索引。
在一实现方式中,预设邻域范围筛选划分模式
本实施方式中,根据当前编码块的预设邻域中已知划分模式,在当前编码块的L型模板中实施GPM预测,并进行率失真代价的计算,最终选取率失真代价最小的一个作为该编码块的最优划分模式。在解码端可以在同样的邻域中,依照同样的方式选取划分模式,编码器只需要传输开关指示符。具体步骤如下:
(1)确定当前编码块的模板区域,同上述的实施方式中的S1010。
(2)在当前编码块的预设邻域中,搜索已知划分模式,延长划分线得到候选划分模式。
以w*h大小的邻域为例,对目标编码块的确定过程进行说明。图12是本申请实施例提供的再一种候选的划分模式的配置示意图。如图12所示,Current CU表示当前编码块,模板为上述实施例中的模板区域。在邻域中搜索全部已知划分模式,并将已知的划分模式进行延长。当延长线与当前编码块存在交叉的情况下,计算64种划分模式种与当前编码块内延长线最接近的划分模式,作为候选划分模式。在w*h邻域中共计得到N个候选划分模式。
(3)遍历步骤2得到的候选划分模式,分别采用N个划分模式在当前编码块的模板区域进行延长,并进行GPM帧间预测,计算RDO cost。
(4)在当前编码块中遍历64种划分模式,进行GPM帧间预测,并计算RDO cost。
(5)选取RDO cost最小的预测模式,如果步骤3所得RDO cost最小,则在码流中指示GPM采用SM预测方法。如果步骤4所得RDO cost最小,则在码流中指示GPM不采用SM预测方法,并指示当前编码块选用的划分模式在64种划分模式中的索引。
在一实现方式中,预设方向筛选划分模式
本实施方式中,根据指定的预设方向和步长,在当前编码块的预设邻域中搜索已知划分模式,据此在当前编码块的L型模板区域中实施GPM预测,并进行率失真代价的计算,最终选取率失真代价最小的一个作为该当前编码块的最优划分模式。在解码端可以在同样的邻域中,依照同样的方式选取划分模式,编码器只需要传输开关指示符。具体步骤如下:
(1)确定当前编码块的模板区域,同上述的实施方式中的S1010。
(2)根据指定搜索方向在当前块的预设邻域中,搜索已知划分模式,延长划分线得到候选划分模式。
图13是本申请实施例提供的再一种候选的划分模式的配置示意图。以图13所示的搜索指定方向为例,在邻域中搜索全部已知划分模式,并将已知的划分模式进行延长。其中,图13中的模板为上述实施例中的模板区域,Current CU为当前编码块。当延长线与当前编码块存在交叉的情况下,计算64种划分模式种与当前编码块内延长线最接近的划分模式,作为候选划分模式。在w*h邻域中共计得到N个候选划分模式。
(3)遍历步骤2得到的候选划分模式,分别采用N个划分模式在当前编码块的模板区域进行延长,并进行GPM帧间预测,步骤同上述的实施例步骤1-步骤5,计算RDO cost。
(4)在当前编码块中遍历64种划分模式,进行GPM帧间预测,并计算RDO cost。
(5)选取RDO cost最小的预测模式,如果步骤3所得RDO cost最小,则在码流中指示GPM采用SM预测方法。如果步骤4所得RDO cost最小,则在码流中指示GPM不采用SM预测方法,并指示当前编码块选用的划分模式在64种划分模式中的索引。
在一实施例中,本实施例提供一种用于视频解码过程中的帧间预测方法,在当前编码块采用基于几何划分模式的帧间预测模式时,采用与编码端同样的方式,对当前块的划分模式进行预测,得到当前块的预测值,下面以两种语法结构为例,介绍具体实施方式。
在一实现方式中,划分模式候选列表
本实施方式中,解码端根据视频编码码流中的语法元素,确定当前解码过程采用SM预测方法,在解码端依照与编码端同样的方式建立候选列表,并读取候选列表索引,完成GPM帧间预测。具体步骤如下:
(1)获取当前视频帧,解析视频编码码流,确定当前视频帧中的编码块CU。
在实施例中,图像划分结构将输入的当前视频帧分为称为CTU的块,使用具有嵌套多类型树结构的四叉树将一个CTU划分成CU,该CU具有定义帧间预测模式的区域的叶子编码单元。
(2)解析视频编码码流,根据CU层的划分模式预测指示符识别当前CU采用SM预测方法。
(3)在当前编码块的邻近块中,根据邻域编码块的划分模式或邻域编码块划分模式的延长线,按照预设顺序构建划分模式候选列表(SMLi st,Sp l it mode cand idate li st)。构建方式参考上述实施例中的实施方式。
(4)根据CU层的划分模式预测指示符,在步骤3得到的候选列表中选择划分模式。
(5)根据步骤4得到的划分模式,对当前编码块进行GPM帧间预测。
在实施例中,当前编码块会被划分为两个非矩形的子分区,然后基于合并模式(merge mode)的MV候选列表生成GPM模式下的MV候选列表,根据CU层合并列表索引值,每个子分区从该列表中选取MV进行单向的运动补偿,得到当前编码块的两个单向预测值,最后根据每个分区中的像素点到划分线的距离得到融合矩阵,利用该矩阵对两个分区的单向预测值进行加权融合,得到当前编码块的最终预测值。
在一实现方式中,模板匹配
本实施方式中,解码端根据视频编码码流中的语法元素,确定当前解码过程采用SM预测方法,在解码端依照与编码端同样的方式搜索最佳划分模式,完成GPM帧间预测。具体步骤如下:
(1)获取当前视频帧,解析视频编码码流,确定当前视频帧中的编码块CU。
在实施例中,图像划分结构将输入的当前视频帧分为称为CTU的块,使用具有嵌套多类型树结构的四叉树将一个CTU划分成CU,该CU具有定义帧间预测模式的区域的叶子编码单元。
(2)解析视频编码码流,根据CU层的划分模式预测指示符识别当前CU采用SM预测方法。
(3)根据预设邻近块顺序、预设邻域范围或预设方向,在当前编码块的邻域中搜索候选划分模式,候选划分模式的生成参考上述实施例中的实施方式。
(4)根据步骤3得到的候选划分模式,分别采用N个划分模式在当前编码块的模板区域进行延长,并进行GPM帧间预测,计算RDO cost,确定最小的RDO cost对应的划分模式作为当前编码块的划分模式。
(5)根据步骤4得到的划分模式,对当前编码块进行GPM帧间预测。
在实施例中,当前编码块会被划分为两个非矩形的子分区,然后基于合并模式的MV候选列表生成GPM模式下的MV候选列表,根据CU层合并列表索引值,每个子分区从该列表中选取MV进行单向的运动补偿,得到当前编码块的两个单向预测值,最后根据每个分区中的像素点到划分线的距离得到融合矩阵,利用该矩阵对两个分区的单向预测值进行加权融合,得到当前编码块的最终预测值。
在一实施方式中,解码端根据视频编码码流中的语法元素,确定当前解码过程不采用SM预测方法,并读取代表传统64种划分模式之一的索引值,完成GPM帧间预测。具体步骤如下:
(1)获取当前视频帧,解析视频编码码流,确定当前视频帧中的编码块CU。
在实施例中,图像划分结构将输入的当前视频帧分为称为CTU的块,使用具有嵌套多类型树结构的四叉树将一个CTU划分成CU,该CU具有定义帧间预测模式的区域的叶子编码单元。(2)解析视频编码码流,根据CU层的划分模式预测指示符识别当前CU不采用SM预测方法。
(3)根据CU层划分模式索引值确定当前编码块的划分模式。
(4)根据步骤3得到的划分模式,对当前编码块进行GPM帧间预测,得到当前编码块的预测值。
在一实施例中,图14是本申请实施例提供的一种帧间预测装置的结构框图。本实施例应用于编码端。如图14所示,本实施例中的帧间预测装置包括:获取模块1410、第一确定模块1420、第二确定模块1430和融合模块1440。
其中,获取模块1410,配置为获取当前视频帧,确定当前视频帧中的当前编码块。
第一确定模块1420,配置为确定当前编码块的第一预测值和第二预测值。
第二确定模块1430,配置为根据当前编码块所对应目标编码块的几何划分模式参数确定当前编码块的几何划分模式参数。
融合模块1440,配置为根据当前编码块的几何划分模式参数对第一预测值和第二预测值进行加权融合,得到当前编码块的预测值。
在一实施例中,第二确定模块,包括:
第一构建单元,配置为基于当前编码块所对应目标编码块的几何划分模式参数构建当前编码块的划分模式候选列表;
第一确定单元,配置为基于划分模式候选列表确定当前编码块的几何划分模式参数。
在一实施例中,目标编码块包括:邻域编码块;第一构建单元,包括:
第一获取子单元,配置为获取当前编码块所对应邻域编码块的几何划分模式参数;
第一构建子单元,配置为基于邻域编码块的几何划分模式参数构建当前编码块对应的划分模式候选列表。
在一实施例中,目标编码块包括:邻域编码块;第一构建单元,包括:
第二获取子单元,配置为获取当前编码块所对应邻域编码块的几何划分模式参数;
第一查找子单元,配置为确定邻域编码块的几何划分模式参数对应的几何划分模式在当前编码块中的延长线,并查找划分模式总列表中与延长线相匹配的划分模式;
第二构建子单元,配置为基于延长线相匹配的划分模式构建对应的划分模式候选列表;其中,划分模式候选列表中所包含划分模式的数量小于等于邻域编码块的数量。
在一实施例中,第一确定单元,包括:
第一确定子单元,配置为根据预设顺序,分别采用划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
第二确定子单元,配置为基于第一率失真代价确定当前编码块所采用的几何划分模式参数。
在一实施例中,第一确定单元,包括:
第三确定子单元,配置为分别采用划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
第四确定子单元,配置为采用划分模式差列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第二率失真代价;其中,划分模式差列表为划分模式总列表与划分模式候选列表之间的差集;
第五确定子单元,配置为基于第一率失真代价和第二率失真代价确定当前编码块所采用的几何划分模式参数。
在一实施例中,第二确定模块,包括:
获取单元,配置为获取当前视频帧内目标编码块的几何划分模式参数;
第二构建单元,配置为基于目标编码块的几何划分模式参数构建当前编码块的划分模式候选列表;
第二确定单元,配置为基于划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。
在一实施例中,第二构建单元,包括:
第二查找子单元,配置为基于当前视频帧内目标编码块所采用的几何划分模式参数在当前编码块中的延长线,查找划分模式总列表中与延长线相匹配的划分模式;
第三构建子单元,配置为基于延长线相匹配的划分模式构建对应的划分模式候选列表。
在一实施例中,当前视频帧内的目标编码块包括:
当前视频帧中当前编码块的邻域编码块,或
当前视频帧中当前编码块的预设邻域范围内的编码块,或
当前视频帧中沿当前编码块的预设方向搜索得到的编码块。
在一实施例中,第二确定单元,包括:
第四构建子单元,配置为构建当前视频帧中当前编码块对应的模板区域;
第六确定子单元,配置为分别采用划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
第七确定子单元,配置为基于第三率失真代价确定当前编码块所采用的几何划分模式参数。
在一实施例中,第二确定单元,包括:
第八确定子单元,配置为分别采用划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
第九确定子单元,配置为采用划分模式总列表中每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第四率失真代价;
第十确定子单元,配置为基于第三率失真代价和第四率失真代价确定当前编码块所采用的几何划分模式参数。
本实施例提供的帧间预测装置设置为实现图3所示实施例的应用于编码端的帧间预测方法,本实施例提供的帧间预测装置实现原理和技术效果类似,此处不再赘述。
在一实施例中,图15是本申请实施例提供的一种解码装置的结构框图。本实施例应用于解码端。如图15所示,本实施例中的解码装置包括:解析获取模块1510、第一确定模块1520和预测模块1530。
解析获取模块1510,配置为解析视频编码码流,获取当前视频帧中当前编码块的预测解码参数。
第一确定模块1520,配置为根据预测解码参数确定当前编码块所采用的几何划分模式参数。
预测模块1530,配置为采用几何划分模式参数对当前编码块进行帧间预测。
在一实施例中,第一确定模块,包括:
第一获取单元,配置为获取划分模式预测指示符;
第一确定单元,配置为在划分模式预测指示符为第一数值的情况下,确定当前编码块采用划分模式预测方法;
第一构建单元,配置为根据上述任一实施例所述的帧间预测方法,构建当前编码块对应的划分模式候选列表;
第二确定单元,配置为基于划分模式预测索引和划分模式候选列表确定当前编码块所采用的几何划分模式参数。
在一实施例中,划分模式预测索引用于标识当前视频帧使用的划分模式在划分模式候选列表中的索引值。
在一实施例中,第一确定模块,包括:
第一获取单元,配置为获取划分模式预测指示符;
第一确定单元,配置为在所述划分模式预测指示符为第一数值的情况下,确定所述当前编码块采用划分模式预测方法;
第二构建单元,配置为根据上述任一实施例所述的帧间预测方法,构建所述当前编码块对应的划分模式候选列表;
第三确定单元,配置为基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。
在一实施例中,第一确定模块,包括:
第二获取单元,配置为获取划分模式预测指示符;
第四确定单元,配置为在划分模式预测指示符为第二数值的情况下,确定当前编码块不采用划分模式预测方法;
第五确定单元,配置为基于划分模式预测索引和预先创建的划分模式总列表确定当前编码块所采用的几何划分模式参数。
本实施例提供的解码装置设置为实现图4所示实施例的应用于解码端的解码方法,本实施例提供的解码装置实现原理和技术效果类似,此处不再赘述。
在一实施例中,图16是本申请实施例提供的一种电子装置的结构示意图。如图16所示,本申请提供的电子装置,包括:处理器1610和存储器1620。该电子装置中处理器1610的数量可以是一个或者多个,图16中以一个处理器1610为例。该电子装置中存储器1620的数量可以是一个或者多个,图16中以一个存储器1620为例。该电子装置的处理器1610和存储器1620可以通过总线或者其他方式连接,图16中以通过总线连接为例。在该实施例中,该电子装置为可以为解码端或编码端。
存储器1620作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序以及模块,如本申请任意实施例的电子装置对应的程序指令/模块(例如,帧间预测装置中的获取模块1410、第一确定模块1420、第二确定模块1430和融合模块1440)。存储器1620可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子装置的使用所创建的数据等。此外,存储器1620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器1620可进一步包括相对于处理器1610远程设置的存储器,这些远程存储器可以通过网络连接至电子装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在电子装置为编码端的情况下,上述提供的电子装置可设置为执行上述任意实施例提供的应用于编码端的帧间预测方法,具备相应的功能和效果。
在电子装置为解码端的情况下,上述提供的电子装置可设置为执行上述任意实施例提供的应用于解码端的解码方法,具备相应的功能和效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种应用于编码端的帧间预测方法,该方法包括:获取当前视频帧,确定当前视频帧中的当前编码块;确定当前编码块的第一预测值和第二预测值;确定当前编码块的几何划分模式参数;根据当前编码块的几何划分模式参数对第一预测值和第二预测值进行加权融合,得到当前编码块的预测值。
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种应用于解码端的解码方法,该方法包括:解析视频编码码流,获取当前视频帧中当前编码块的预测解码参数;根据预测解码参数确定当前编码块所采用的几何划分模式参数;采用几何划分模式参数对当前编码块进行帧间预测。
本领域内的技术人员应明白,术语用户设备涵盖任何适合类型的无线用户设备,例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。
一般来说,本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如,一些方面可以被实现在硬件中,而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中,尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现,例如在处理器实体中,或者通过硬件,或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(I nstruct ion Set Arch itecture,ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤,或者可以表示相互连接的逻辑电路、模块和功能,或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现,例如但不限于只读存储器(Read-On ly Memory,ROM)、随机访问存储器(Random Access Memory,RAM)、光存储器装置和系统(数码多功能光碟(Digital Video Di sc,DVD)或光盘(Compact Di sk,CD))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型,例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signa l Process ing,DSP)、专用集成电路(App l icat ion Specific I ntegrated Ci rcu it,ASIC)、可编程逻辑器件(Field-Programmab le Gate Array,FGPA)以及基于多核处理器架构的处理器。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (17)
1.一种帧间预测方法,其特征在于,包括:
获取当前视频帧,确定所述当前视频帧中的当前编码块;
确定所述当前编码块的第一预测值和第二预测值;
根据所述当前编码块所对应目标编码块的几何划分模式参数确定所述当前编码块的几何划分模式参数;
根据所述当前编码块的几何划分模式参数对所述第一预测值和所述第二预测值进行加权融合,得到所述当前编码块的预测值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前编码块所对应目标编码块的几何划分模式参数确定所述当前编码块的几何划分模式参数,包括:
基于所述当前编码块所对应目标编码块的几何划分模式参数构建所述当前编码块的划分模式候选列表;
基于所述划分模式候选列表确定当前编码块的几何划分模式参数。
3.根据权利要求2所述的方法,其特征在于,所述目标编码块包括:邻域编码块;所述根据所述当前编码块所对应目标编码块的几何划分模式参数构建所述当前编码块对应的划分模式候选列表,包括:
获取所述当前编码块所对应邻域编码块的几何划分模式参数;
基于邻域编码块的几何划分模式参数构建所述当前编码块对应的划分模式候选列表。
4.根据权利要求2所述的方法,其特征在于,所述目标编码块包括:邻域编码块;所述根据所述当前编码块所对应目标编码块的几何划分模式参数构建所述当前编码块对应的划分模式候选列表,包括:
获取所述当前编码块所对应邻域编码块的几何划分模式参数;
确定所述邻域编码块的几何划分模式参数对应的几何划分模式在当前编码块中的延长线,并查找划分模式总列表中与所述延长线相匹配的划分模式;
基于所述延长线相匹配的划分模式构建对应的划分模式候选列表;其中,所述划分模式候选列表中所包含划分模式的数量小于等于所述邻域编码块的数量。
5.根据权利要求2-4任一所述的方法,其特征在于,所述基于所述划分模式候选列表确定所述当前编码块的几何划分模式参数,包括:
根据预设顺序,分别采用所述划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
基于所述第一率失真代价确定所述当前编码块所采用的几何划分模式参数。
6.根据权利要求2-4任一所述的方法,其特征在于,所述基于所述划分模式候选列表确定所述当前编码块的几何划分模式参数,包括:
分别采用所述划分模式候选列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第一率失真代价;
采用划分模式差列表中的每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第二率失真代价;其中,所述划分模式差列表为所述划分模式总列表与所述划分模式候选列表之间的差集;
基于所述第一率失真代价和所述第二率失真代价确定所述当前编码块所采用的几何划分模式参数。
7.根据权利要求1所述的方法,其特征在于,所述根据所述当前编码块所对应目标编码块的几何划分模式参数确定所述当前编码块的几何划分模式参数,包括:
获取当前视频帧内目标编码块的几何划分模式参数;
基于所述目标编码块的几何划分模式参数构建所述当前编码块的划分模式候选列表;
基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述目标编码块的几何划分模式参数构建所述当前编码块的划分模式候选列表,包括:
基于当前视频帧内目标编码块所采用的几何划分模式参数在当前编码块中的延长线,查找划分模式总列表中与所述延长线相匹配的划分模式;
基于所述延长线相匹配的划分模式构建对应的划分模式候选列表。
9.根据权利要求7或8所述的方法,其特征在于,所述当前视频帧内的目标编码块包括:
当前视频帧中当前编码块的邻域编码块,或
当前视频帧中当前编码块的预设邻域范围内的编码块,或
当前视频帧中沿当前编码块的预设方向搜索得到的编码块。
10.根据权利要求7或8所述的方法,其特征在于,所述基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数,包括:
构建当前视频帧中当前编码块对应的模板区域;
分别采用所述划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
基于所述第三率失真代价确定当前编码块所采用的几何划分模式参数。
11.根据权利要求7或8所述的方法,其特征在于,所述基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数,包括:
构建当前视频帧中当前编码块对应的模板区域;
分别采用所述划分模式候选列表中的每个划分模式对模板区域进行帧间预测,得到对应划分模式的率失真代价,作为第三率失真代价;
采用划分模式总列表中每个划分模式对当前编码块进行帧间预测,得到对应划分模式的率失真代价,作为第四率失真代价;
基于所述第三率失真代价和所述第四率失真代价确定当前编码块所采用的几何划分模式参数。
12.一种解码方法,其特征在于,包括:
解析视频编码码流,获取当前视频帧中当前编码块的预测解码参数;
根据所述预测解码参数确定当前编码块所采用的几何划分模式参数;
采用所述几何划分模式参数对所述当前编码块进行帧间预测。
13.根据权利要求12所述的方法,其特征在于,所述根据所述预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在所述划分模式预测指示符为第一数值的情况下,确定所述当前编码块采用划分模式预测方法;
根据权利要求1-6任一项所述的帧间预测方法,构建所述当前编码块对应的划分模式候选列表;
基于划分模式预测索引和所述划分模式候选列表确定当前编码块所采用的几何划分模式参数;其中,所述划分模式预测索引用于标识当前视频帧使用的划分模式在所述划分模式候选列表中的索引值。
14.根据权利要求12所述的方法,其特征在于,所述根据所述预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在所述划分模式预测指示符为第一数值的情况下,确定所述当前编码块采用划分模式预测方法;
根据权利要求1和7-11任一项所述的帧间预测方法,构建所述当前编码块对应的划分模式候选列表;
基于所述划分模式候选列表,并采用模板匹配方式确定当前编码块所采用的几何划分模式参数。
15.根据权利要求12所述的方法,其特征在于,所述根据所述预测解码参数确定当前编码块所采用的几何划分模式参数,包括:
获取划分模式预测指示符;
在所述划分模式预测指示符为第二数值的情况下,确定当前编码块不采用划分模式预测方法;
基于划分模式预测索引和预先创建的划分模式总列表确定当前编码块所采用的几何划分模式参数。
16.一种电子装置,其特征在于,包括:存储器,以及一个或多个处理器;
所述存储器,配置为存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述权利要求1-11或12-15中任一项所述的方法。
17.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述权利要求1-11或12-15中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211449177.0A CN118057814A (zh) | 2022-11-18 | 2022-11-18 | 帧间预测方法及解码方法、电子装置和存储介质 |
PCT/CN2023/123129 WO2024103987A1 (zh) | 2022-11-18 | 2023-10-07 | 帧间预测方法及解码方法、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211449177.0A CN118057814A (zh) | 2022-11-18 | 2022-11-18 | 帧间预测方法及解码方法、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118057814A true CN118057814A (zh) | 2024-05-21 |
Family
ID=91069006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211449177.0A Pending CN118057814A (zh) | 2022-11-18 | 2022-11-18 | 帧间预测方法及解码方法、电子装置和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118057814A (zh) |
WO (1) | WO2024103987A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019001733A1 (en) * | 2017-06-30 | 2019-01-03 | Huawei Technologies Co., Ltd. | ENCODER, DECODER, COMPUTER PROGRAM, AND COMPUTER PROGRAM PRODUCT FOR PROCESSING A FRAME OF A VIDEO SEQUENCE |
CN111246212B (zh) * | 2020-02-21 | 2022-06-03 | 北京大学 | 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端 |
WO2021196235A1 (zh) * | 2020-04-03 | 2021-10-07 | Oppo广东移动通信有限公司 | 帧间预测方法、编码器、解码器及存储介质 |
CN116325730A (zh) * | 2020-07-20 | 2023-06-23 | 韩国电子通信研究院 | 通过使用几何分区对图像进行编码/解码的方法、设备和记录介质 |
CN114697660A (zh) * | 2020-12-31 | 2022-07-01 | 中科寒武纪科技股份有限公司 | 一种数据处理方法、装置、计算机设备和存储介质 |
US11876973B2 (en) * | 2021-04-12 | 2024-01-16 | Alibaba (China) Co., Ltd. | Method, apparatus, and non-transitory computer-readable storage medium for motion vector refinement for geometric partition mode |
CN114173120A (zh) * | 2021-12-03 | 2022-03-11 | 北京达佳互联信息技术有限公司 | 视频编码块划分方法和视频编码块划分预测模型训练方法 |
-
2022
- 2022-11-18 CN CN202211449177.0A patent/CN118057814A/zh active Pending
-
2023
- 2023-10-07 WO PCT/CN2023/123129 patent/WO2024103987A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024103987A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6855414B2 (ja) | 予測動きベクトル誘導方法及びその方法を使用する装置 | |
JP6753979B2 (ja) | 動き情報の復号化方法及び符号化方法 | |
TWI736903B (zh) | 非對稱加權雙向預測Merge | |
US11503333B2 (en) | Unified merge candidate list usage | |
JP6840779B2 (ja) | 映像復号化方法 | |
TWI720532B (zh) | 在視訊編解碼系統中視訊處理的方法以及裝置 | |
CN106791834B (zh) | 对图像进行解码的方法和设备 | |
JP6073405B2 (ja) | 映像復号化方法及び装置 | |
WO2020182165A1 (zh) | 运动信息候选者列表构建方法、三角预测解码方法及装置 | |
JP2022508177A (ja) | イントラブロックコピーモードとインター予測ツールとの間の相互作用 | |
CN102870414B (zh) | 处理视频信号的方法和设备 | |
CN110521205A (zh) | 用于视频编解码的子预测单元时间运动向量预测 | |
CN105681810A (zh) | 用于处理视频信号的方法和设备 | |
TWI738081B (zh) | 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置 | |
KR20110113583A (ko) | 비디오 신호 처리 방법 및 장치 | |
JP2023099016A (ja) | ビデオ画像の符号化の方法、ビデオデータ符号化デバイス、プログラム、及びデータ構造 | |
CN111263144B (zh) | 一种运动信息确定方法及其设备 | |
CN111405282B (zh) | 基于长期参考帧的视频编码方法、装置、设备和存储介质 | |
JP2022515725A (ja) | 候補mvリストの構築方法、プログラム、及び電子デバイス | |
CN118057814A (zh) | 帧间预测方法及解码方法、电子装置和存储介质 | |
JP2014007488A (ja) | 動画像符号化装置、動画像符号化方法、及びプログラム | |
CN112291561A (zh) | Hevc最大编码块运动向量计算方法、装置、芯片及存储介质 | |
RU2824460C1 (ru) | Способы, оборудование, устройства и носители данных для кодирования или декодирования | |
RU2797353C1 (ru) | Способ, аппарат и устройство кодирования и декодирования | |
CN117615129B (zh) | 帧间预测方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |