CN116760976A - 仿射预测决策方法、装置、设备及存储介质 - Google Patents
仿射预测决策方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116760976A CN116760976A CN202311049792.7A CN202311049792A CN116760976A CN 116760976 A CN116760976 A CN 116760976A CN 202311049792 A CN202311049792 A CN 202311049792A CN 116760976 A CN116760976 A CN 116760976A
- Authority
- CN
- China
- Prior art keywords
- affine prediction
- video frame
- block
- encoded
- employed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 269
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 description 35
- 238000013139 quantization Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供了一种仿射预测决策方法、装置、设备及存储介质,可以涉及视频编码领域,该方法包括:在对第一视频帧中的待编码块进行编码时,确定待编码块在第二视频帧中的对应区域;其中,第一视频帧和第二视频帧是同一视频帧在不同分辨率下的视频帧,且第二视频帧已被编码;确定第二视频帧中与区域存在交叠的目标已编码块;基于目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。从而可以在基本不损伤编码设备的率失真性能的同时,降低了计算复杂度和对计算资源的消耗。
Description
技术领域
本申请实施例涉及视频编码技术领域,尤其涉及一种仿射预测决策方法、装置、设备及存储介质。
背景技术
在目前主流的几代编码标准中,包括H.266和音视频编码标准(Audio Videocoding Standard,AVS)3, 都支持了仿射变换运动补偿预测,简称仿射预测。传统的平移预测适合对进行平移运动的图像区域进行预测,而仿射预测适合对进行伸缩、旋转的图像内容进行预测。在进行仿射预测时,图像块会被划分为若干子块,每个子块会根据控制点的运动向量和自身在图像块所处的位置合成自己的运动向量。而根据控制点个数的不同,仿射预测可分为两控制点(即四参数)的仿射预测模式和三控制点(即六参数)的仿射预测模式。每个控制点是一个运动向量,包含水平分量和垂直分量两个参数。
目前,编码器在针对待编码块决定是否进行仿射预测以及采用的仿射预测模式采用了一种遍历的思想,即同时在不进行仿射预测进行编码,以及在两控制点的仿射预测模式和三控制点的仿射预测模式下进行编码,这些方式下分别对应有率失真性能数据,最终基于这些方式对应的率失真性能数据确定是否采用仿射预测以及在采用预测时具体采用的仿射预测模式。
然而,上述遍历方式造成计算复杂度较高以及对计算资源消耗较大的问题。
发明内容
本申请实施例提供一种仿射预测决策方法、装置、设备及存储介质,从而可以在基本不损伤编码设备的率失真性能的同时,降低了计算复杂度和对计算资源的消耗。
第一方面,本申请实施例提供一种仿射预测决策方法,包括:在对第一视频帧中的待编码块进行编码时,确定待编码块在第二视频帧中的对应区域;其中,第一视频帧和第二视频帧是同一视频帧在不同分辨率下的视频帧,且第二视频帧已被编码;确定第二视频帧中与区域存在交叠的目标已编码块;基于目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
第二方面,本申请实施例提供一种仿射预测决策装置,包括:第一确定模块、第二确定模块和第三确定模块,其中,第一确定模块用于在对第一视频帧中的待编码块进行编码时,确定待编码块在第二视频帧中的对应区域;其中,第一视频帧和第二视频帧是同一视频帧在不同分辨率下的视频帧,且第二视频帧已被编码;第二确定模块用于确定第二视频帧中与区域存在交叠的目标已编码块;第三确定模块用于基于目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
第三方面,本申请实施例提供一种计算机可读存储介质,用于存储计算机程序,计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。
第五方面,本申请实施例提供一种计算机程序,计算机程序使得计算机执行如第一方面或其各实现方式中的方法。
通过本申请实施例提供的技术方案,考虑的不同分辨率下的同一视频帧具有相似性,包括仿射预测情况的相似性,基于此,针对某分辨率下的视频帧中的待编码块,对该待编码块的仿射预测决策可以参考其他分辨率下的视频帧中已编码块的仿射预测情况,从而可以在基本不损伤编码设备的率失真性能的同时,降低了计算复杂度和对计算资源的消耗。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例涉及的一种视频编解码系统的示意性框图;
图2是本申请实施例涉及的视频编码器的示意性框图;
图3是本申请实施例涉及的视频解码器的示意性框图;
图4为本申请实施例提供的一种多码率转码系统示意图;
图5为本申请实施例提供的一种仿射预测决策方法的流程图;
图6为本申请实施例提供的待编码块在第二视频帧中的对应区域的示意图;
图7为本申请实施例提供的一种仿射预测决策装置700的示意图;
图8是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可应用于视频编码技术领域,但不限于此。为了便于理解,首先结合图1对视频编解码系统进行介绍。
图1为本申请实施例涉及的一种视频编解码系统的示意性框图。其中,本申请实施例所涉及的视频编解码系统包括但不限于图1所示的视频编解码系统。如图1所示,该视频编解码系统包含编码设备110和解码设备120。其中编码设备用于对视频数据进行编码(可以理解成压缩)产生码流,并将码流传输给解码设备。解码设备对编码设备编码产生的码流进行解码,得到解码后的视频数据。
本申请实施例的编码设备110可以理解为具有视频编码功能的设备,解码设备120可以理解为具有视频解码功能的设备,即本申请实施例对编码设备110和解码设备120包括更广泛的装置,例如包含智能手机、台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。
在一些可实现方式中,编码设备110可以经由信道130将编码后的视频数据(如码流)传输给解码设备120。信道130可以包括能够将编码后的视频数据从编码设备110传输到解码设备120的一个或多个媒体和/或装置。
在一些可实现方式中,信道130包括使编码设备110能够实时地将编码后的视频数据直接发射到解码设备120的一个或多个通信媒体。在此实例中,编码设备110可根据通信标准来调制编码后的视频数据,且将调制后的视频数据发射到解码设备120。其中通信媒体包含无线通信媒体,例如射频频谱,可选的,通信媒体还可以包含有线通信媒体,例如一根或多根物理传输线。
在一些可实现方式中,信道130包括存储介质,该存储介质可以存储编码设备110编码后的视频数据。存储介质包含多种本地存取式数据存储介质,例如光盘、DVD、快闪存储器等。在该实例中,解码设备120可从该存储介质中获取编码后的视频数据。
在一些可实现方式中,信道130可包含存储服务器,该存储服务器可以存储编码设备110编码后的视频数据。在此实例中,解码设备120可以从该存储服务器中下载存储的编码后的视频数据。可选的,该存储服务器可以存储编码后的视频数据且可以将该编码后的视频数据发射到解码设备120,例如web服务器(例如,用于网站)、文件传送协议(FTP)服务器等。
在一些可实现方式中,编码设备110包含视频编码器112及输出接口113。其中,输出接口113可以包含调制器/解调器(调制解调器)和/或发射器。
在一些可实现方式中,编码设备110除了包括视频编码器112和输出接口113外,还可以包括视频源111。
视频源111可包含视频采集装置(例如,视频相机)、视频存档、视频输入接口、计算机图形系统中的至少一个,其中,视频输入接口用于从视频内容提供者处接收视频数据,计算机图形系统用于产生视频数据。
视频编码器112对来自视频源111的视频数据进行编码,产生码流。视频数据可包括一个或多个图像(picture)或图像序列(sequence of pictures)。码流以比特流的形式包含了图像或图像序列的编码信息。编码信息可以包含编码图像数据及相关联数据。相关联数据可包含序列参数集(Sequence Parameter Set, SPS)、图像参数集(PictureParameter Set,PPS)及其它语法结构。SPS可含有应用于一个或多个序列的参数。PPS可含有应用于一个或多个图像的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集合。
视频编码器112经由输出接口113将编码后的视频数据直接传输到解码设备120。编码后的视频数据还可存储于存储介质或存储服务器上,以供解码设备120后续读取。
在一些可实现方式中,解码设备120包含输入接口121和视频解码器122。
在一些可实现方式中,解码设备120除包括输入接口121和视频解码器122外,还可以包括显示装置123。
其中,输入接口121包含接收器及/或调制解调器。输入接口121可通过信道130接收编码后的视频数据。
视频解码器122用于对编码后的视频数据进行解码,得到解码后的视频数据,并将解码后的视频数据传输至显示装置123。
显示装置123显示解码后的视频数据。显示装置123可与解码设备120整合或在解码设备120外部。显示装置123可包括多种显示装置,例如液晶显示器、等离子体显示器、有机发光二极管显示器或其它类型的显示装置。
下面对本申请实施例涉及的视频编码框架进行介绍。
图2是本申请实施例涉及的视频编码器的示意性框图。应理解,该视频编码器200可用于对图像进行有损压缩(lossy compression),也可用于对图像进行无损压缩(lossless compression)。该无损压缩可以是视觉无损压缩(visually losslesscompression),也可以是数学无损压缩(mathematically lossless compression)。
该视频编码器200可应用于亮度色度(YCbCr,YUV)格式的图像数据上。例如,YUV比例可以为4:2:0、4:2:2或者4:4:4,Y表示明亮度(Luma),Cb (U)表示蓝色色度,Cr (V)表示红色色度,U和V表示为色度(Chroma)用于描述色彩及饱和度。例如,在颜色格式上,4:2:0表示每4个像素有4个亮度分量,2个色度分量(YYYYCbCr),4:2:2表示每4个像素有4个亮度分量,4个色度分量(YYYYCbCrCbCr),4:4:4表示全像素显示(YYYYCbCrCbCrCbCrCbCr)。
例如,该视频编码器200读取视频数据,针对视频数据中的每帧图像,将一帧图像划分成若干个编码树单元(Coding Tree Unit,CTU),在一些例子中,CTU可被称作“树型块”、“最大编码单元”( Largest Coding Unit,LCU)或“编码树型块” (Coding TreeBlock,CTB)。每一个CTU可以与图像内的具有相等大小的像素块相关联。每一像素可对应一个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此,每一个CTU可与一个亮度采样块及两个色度采样块相关联。一个CTU大小例如为128×128、64×64、32×32等。一个CTU又可以继续被划分成若干个编码单元(Coding Unit,CU)进行编码,CU可以为矩形块也可以为方形块。CU可以进一步划分为预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU),进而使得编码、预测、变换分离,处理的时候更灵活。在一种示例中,CTU以四叉树方式划分为CU,CU以四叉树方式划分为TU、PU。
在一些可实现方式中,如图2所示,该视频编码器200可包括:预测单元210、残差单元220、变换/量化单元230、反变换/量化单元240、重建单元250、环路滤波单元260、解码图像缓存270和熵编码单元280。需要说明的是,视频编码器200可包含更多、更少或不同的功能组件。
在一些可实现方式中,本申请实施例涉及的待编码块可以是待编码单元(CU)或待预测单元(PU)等,但不限于此。已编码块可以是已编码单元(CU)等,但不限于此。
在一些可实现方式中,预测单元210包括帧间预测单元211和帧内估计单元212。由于视频的一个帧中的相邻像素之间存在很强的相关性,在视频编解码技术中使用帧内预测的方法消除相邻像素之间的空间冗余。由于视频中的相邻帧之间存在着很强的相似性,在视频编解码技术中使用帧间预测方法消除相邻帧之间的时间冗余,从而提高编码效率。
帧间预测单元211可用于帧间预测,帧间预测可以包括运动估计(motionestimation)和运动补偿(motion compensation),可以参考不同帧的图像信息,帧间预测使用运动信息从参考帧中找到参考块(即用于参考的已编码块),根据参考块生成预测块,用于消除时间冗余;帧间预测所使用的帧可以为P帧和/或B帧,P帧指的是向前预测帧,B帧指的是双向预测帧。帧间预测使用运动信息从参考帧中找到参考块,根据参考块生成预测块。运动信息包括参考帧所在的参考帧列表,参考帧索引,以及运动矢量。运动矢量可以是整像素的或者是分像素的,如果运动矢量是分像素的,那么需要在参考帧中使用插值滤波做出所需的分像素的块。
HEVC中在进行运动补偿时只考虑了平移运动,而在真实的世界存在各种运动,例如缩放、旋转等非平移运动。在H.266/VVC中提出了基于块的仿射变换运动补偿预测,简称仿射预测。
其中,仿射预测过程如下:
1、将当前图像块划分为4*4的亮度子块;
2、对每个亮度子块按两控制点(即四参数)仿射运动模型或者三控制点(即六参数)仿射运动模型由控制点的运动向量计算该亮度子块的中心像素的运动向量,然后四舍五入到1/16精度;
其中,基于两控制点仿射运动模型的中心像素的运动向量计算方法如下:
假设当前图像块的两个控制点分别为a和b,它们在二维空间可以分别表示为、/>,假设当前图像块的某个亮度子块的中心像素点/>的运动向量为,基于此,该中心像素点/>的运动向量/>可以通过公式(1)表示:
(1)
其中,表示当前图像块的宽度。
假设当前图像块的三个控制点分别为a、b和c,它们在二维空间可以分别表示为、/>、/>,假设当前图像块的某个亮度子块的中心像素点/>的运动向量为/>,基于此,该中心像素点/>的运动向量/>可以通过公式(2)表示:
(2)
其中,表示当前图像块的高度。
3、根据每个亮度子块的运动向量进行运动补偿、插值滤波得到每个亮度子块的预测值;
4、对于色度分量,同样是将当前图像块划分为4 * 4的子块,其运动向量等于与其相关的4个4 * 4的亮度子块的运动向量的平均值。
在本申请实施例中,可以认为仿射预测模式包括:基于两控制点的仿射预测模式和基于三控制点的仿射预测模式,其中,基于两控制点的仿射预测模式也被称为基于四参数的仿射预测模式,基于三控制点的仿射预测模式也被称为基于六参数的仿射预测模式。
帧内估计单元212只参考同一帧图像的信息,预测当前码图像块内的像素信息,用于消除空间冗余。帧内预测所使用的帧可以为I帧。
残差单元220可基于CU的像素块及CU的PU的预测块来产生CU的残差块。举例来说,残差单元220可产生CU的残差块,使得残差块中的每一采样具有等于以下两者之间的差的值:CU的像素块中的采样,及CU的PU的预测块中的对应采样。
变换/量化单元230可量化变换系数。变换/量化单元230可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的变换系数。视频编码器200可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数的量化程度。
反变换/量化单元240可分别将逆量化及逆变换应用于量化后的变换系数,以从量化后的变换系数重建残差块。
重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预测块的对应采样,以产生与TU相关联的重建图像块。通过此方式重建CU的每一个TU的采样块,视频编码器200可重建CU的像素块。
环路滤波单元260用于对反变换与反量化后的像素进行处理,弥补失真信息,为后续编码像素提供更好的参考,例如可执行消块滤波操作以减少与CU相关联的像素块的块效应。
在一些实施例中,环路滤波单元260包括去块滤波单元和样点自适应补偿/自适应环路滤波(SAO/ALF)单元,其中去块滤波单元用于去方块效应,SAO/ALF单元用于去除振铃效应。
解码图像缓存270可存储重建后的像素块。帧间预测单元211可使用含有重建后的像素块的参考图像来对其它图像的PU执行帧间预测。另外,帧内估计单元212可使用解码图像缓存270中的重建后的像素块来对在与CU相同的图像中的其它PU执行帧内预测。
熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。熵编码单元280可对量化后的变换系数执行一个或多个熵编码操作以产生熵编码后的数据。
图3是本申请实施例涉及的视频解码器的示意性框图。
如图3所示,视频解码器300包含:熵解码单元310、预测单元320、反量化/变换单元330、重建单元340、环路滤波单元350及解码图像缓存360。需要说明的是,视频解码器300可包含更多、更少或不同的功能组件。
视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元素。作为解析码流的一部分,熵解码单元310可解析码流中的经熵编码后的语法元素。预测单元320、反量化/变换单元330、重建单元340及环路滤波单元350可根据从码流中提取的语法元素来解码视频数据,即产生解码后的视频数据。
在一些可实现方式中,预测单元320包括帧间预测单元321和帧内估计单元322。
帧内估计单元322可执行帧内预测以产生PU的预测块。帧内估计单元322可使用帧内预测模式以基于空间相邻PU的像素块来产生PU的预测块。帧内估计单元322还可根据从码流解析的一个或多个语法元素来确定PU的帧内预测模式。
帧间预测单元321可根据从码流解析的语法元素来构造第一参考图像列表(列表0)及第二参考图像列表(列表1)。此外,如果PU使用帧间预测编码,则熵解码单元310可解析PU的运动信息。帧间预测单元321可根据PU的运动信息来确定PU的一个或多个参考块。帧间预测单元321可根据PU的一个或多个参考块来产生PU的预测块。
反量化/变换单元330可逆量化(即,解量化)与TU相关联的变换系数。反量化/变换单元330可使用与TU的CU相关联的QP值来确定量化程度。
在逆量化变换系数之后,反量化/变换单元330可将一个或多个逆变换应用于逆量化变换系数,以便产生与TU相关联的残差块。
重建单元340使用与CU的TU相关联的残差块及CU的PU的预测块以重建CU的像素块。例如,重建单元340可将残差块的采样加到预测块的对应采样以重建CU的像素块,得到重建图像块。
环路滤波单元350可执行消块滤波操作以减少与CU相关联的像素块的块效应。
视频解码器300可将CU的重建图像存储于解码图像缓存360中。视频解码器300可将解码图像缓存360中的重建图像作为参考图像用于后续预测,或者,将重建图像传输给显示装置呈现。
应理解的是,本申请实施例主要涉及仿射预测决策,即针对目前的遍历方式确定是否可以跳过某些情况,比如:跳过非仿射预测、跳过两控制点的仿射预测模式、跳过三控制点的仿射预测模式等。
在一些可实现方式中,如果经过仿射预测决策之后,针对待编码块只存在一种方式,比如两控制点的仿射预测模式,这时编码设备可以直接基于该仿射预测模式进行编码。如果经过仿射预测决策之后,针对待编码块存在多种方式,比如两控制点的仿射预测模式和三控制点的仿射预测模式,这时编码设备可以在两控制点的仿射预测模式和三控制点的仿射预测模式下进行编码,基于这两种方式对应的率失真性能数据确定预测时采用的仿射预测模式。
如上所述,上述遍历方式造成计算复杂度较高以及对计算资源消耗较大的问题。
为了解决上述技术问题,本申请实施例在多码率转码系统下,针对某分辨率下的视频帧中的待编码块,对该待编码块的仿射预测决策可以参考其他分辨率下的视频帧中已编码块的仿射预测情况,其中,这两个视频帧是同一视频帧在不同分辨率下的视频帧。
图4为本申请实施例提供的一种多码率转码系统示意图,如图4所示,同一视频源经过缩放模块的处理,可以形成不同分辨率的视频,多码率转码系统中具有多个编码器,如编码器1、编码器2……编码器N,每个编码器可以对对应分辨率的视频进行编码,形成对应的码流,如编码器1对对应分辨率的视频进行编码,形成码流1,如编码器2对对应分辨率的视频进行编码,形成码流2,如编码器N对对应分辨率的视频进行编码,形成码流N。而每个分辨率的视频在被编码时,其编码信息可以被存储至编码信息存储模块。其中,该编码信息包括以下至少一项,但不限于:视频帧中已编码块的位置信息、对该已编码块是否采用了仿射预测进行编码,以及在采用了仿射预测时,所采用的仿射预测模式。
在一些可实现方式中,已编码块的位置信息包括,但不限于:该已编码块的左上角顶点坐标以及该已编码块的宽和高。
在一些可实现方式中,该多码率转码系统可以应用于编码设备中,但不限于此。
在一些可实现方式中,编码信息存储模块可以位于编码设备的内存中,也可以位于其他存储设备中,本申请实施例对此不做限制。
应理解的是,本申请实施例可以应用于图4所示的多码率转码系统,但不局限于此。
在一些可实现方式中,本申请实施例可以应用于视频点播场景,但不限于此,其中,在视频点播场景中,针对同一视频源,不同对象可以选择不同分辨率的视频,例如,有些对象可以选择4096*2160超清视频、有些对象可以选择1920*1080高清视频、还有些对象可以选择1280*720高清视频等等。
下面将对本申请实施例进行详细阐述:
图5为本申请实施例提供的一种仿射预测决策方法的流程图,该方法可以应用于编码设备,该编码设备可以是任一项,但不限于此:智能手机、台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。如图5所示,该方法可以包括:
S510:在对第一视频帧中的待编码块进行编码时,确定待编码块在第二视频帧中的对应区域;
其中,第一视频帧和第二视频帧是同一视频帧在不同分辨率下的视频帧,且第二视频帧已被编码。
在本申请实施例中,如果存在多个第二视频帧,那么编码设备可以采用以下任一项方式选择一个第二视频帧,但不限于此:
在一些可实现方式中,编码设备可以在多个第二视频帧中随机选择一个第二视频帧。例如,假设当前包括三个第二视频帧,它们分别是4096*2160超清视频帧、1920*1080高清视频帧和1280*720高清视频帧,在这种情况下,编码设备随机选择了一个1920*1080高清视频帧。
在另一些可实现方式中,编码设备可以在多个第二视频帧中选择一个与第一视频帧分辨率最接近的第二视频帧。例如,假设当前包括三个第二视频帧,它们分别是4096*2160超清视频帧、1920*1080高清视频帧和1280*720高清视频帧,而第一视频帧的分辨率是640*480,在这种情况下,编码设备可以选择1280*720高清视频帧。
在本申请实施例中,编码设备可以采用如下可实现方式确定待编码块在第二视频帧中的对应区域,但不限于此:
在一些可实现方式中,图6为本申请实施例提供的待编码块在第二视频帧中的对应区域的示意图,如图6所示,假设待编码块的左上顶点坐标为,待编码块的宽和高分别为a和b,而第二视频帧的宽和高分别为第一视频帧的/>倍和/>倍,则待编码块在第二视频帧中的对应区域为:该区域的左上顶点坐标为/>,该区域的宽和高分别为/>和/>。
S520:确定第二视频帧中与区域存在交叠的目标已编码块;
应理解的是,第二视频帧可以包括多个已编码块,而该目标已编码块指的是第二视频帧中与区域存在交叠的目标已编码块。例如,如图6所示,第二视频帧的虚线框表示待编码块在第二视频帧中的对应区域,第二视频帧包括有四个已编码块,其中,该区域与第二视频帧右侧的两个已编码块在交叠,因此,这两个已编码块可以被称为目标已编码块。
其中,目标已编码块的数量可以为任意正整数,换句话讲,目标已编码块的数量是一个或者多个,例如,图6所示的目标已编码块的数量是两个。
在本申请实施例中,编码设备可以采用以下任一种可实现方式确定第二视频帧中与区域存在交叠的目标已编码块,但不限于此:
在一些可实现方式中,若第二视频帧中的已编码块的四个顶点与该区域的四个顶点不完全相同,且该已编码块的四个顶点均处于该区域之外,且该区域的四个顶点均处于该已编码块之外,则编码设备确定该已编码块不是目标已编码块;否则,则编码设备确定该已编码块是目标已编码块,换句话讲,若该已编码块的四个顶点与区域的四个顶点完全相同,或者,该已编码块的四个顶点中存在至少一个顶点处于该区域之内,或者,该区域的四个顶点中至少一个顶点位于该已编码块之内,则编码设备确定该已编码块是目标已编码块。
应理解的是,在该可实现方式中,第二视频帧中的左上角编码块不包括:右边缘和下边缘,而右上角编码块包括这两个边缘,类似的,左下角编码块不包括:右边缘和上边缘,而右下角编码块包括这两个边缘。
例如,如图6所示,针对左上角编码块,由于其四个顶点与虚线框框中区域的四个顶点不完全相同,且该左上角编码块的四个顶点均处于该区域之外,且该区域的四个顶点均处于该左上角编码块之外,因此,该左上角编码块不是目标已编码块。针对左下角编码块,由于其四个顶点与虚线框框中区域的四个顶点不完全相同,且该左下角编码块的四个顶点均处于该区域之外,且该区域的四个顶点均处于该左下角编码块之外,因此,该左下角编码块不是目标已编码块。针对右上角编码块,由于该右上角编码块的四个顶点中存在两个顶点处于虚线框框中区域之内,或者,由于该区域的四个顶点中存在两个顶点处于该右上角编码块之内,因此,该右上角编码块是目标已编码块。类似的,针对右下角编码块,由于该右下角编码块的四个顶点中存在两个顶点处于虚线框框中区域之内,或者,由于该区域的四个顶点中存在两个顶点处于该右下角编码块之内,因此,该右下角编码块是目标已编码块。
在另一些可实现方式中,若该区域的至少两个点位于第二视频帧中的某一已编码块内,则编码设备确定该已编码块是目标已编码块,否则,则编码设备确定该已编码块不是目标已编码块。
应理解的是,在该可实现方式中,第二视频帧中的左上角编码块不包括:右边缘和下边缘,而右上角编码块包括这两个边缘,类似的,左下角编码块不包括:右边缘和上边缘,而右下角编码块包括这两个边缘。
例如,如图6所示,针对左上角编码块,由于虚线框框中区域中的所有顶点均未在左上角编码块内,因此,该左上角编码块不是目标已编码块。类似的,由于虚线框框中区域中的所有顶点均未在左下角编码块内,因此,该左下角编码块不是目标已编码块。针对右上角编码块,由于虚线框框中区域中存在至少两个顶点在右上角编码块内,因此,该右上角编码块是目标已编码块。类似的,针对右下角编码块,由于虚线框框中区域中存在至少两个顶点在右下角编码块内,因此,该右下角编码块是目标已编码块。
在本申请实施例中,判断一个顶点是否在上述区域外部的方法包括,但不限于:假设顶点坐标为, 该区域的左上角顶点坐标为/>, 宽和高分别为/>和/>,那么当/>,且/>时,确定该顶点落在该区域之内,否则,确定该顶点落在该区域之外。
S530:基于目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
在本申请实施例中,编码设备可以采用以下任一种可实现方式确定对待编码块的仿射预测决策,但不限于此:
可实现方式一,编码设备在目标已编码块中随机选择一个目标已编码块,且针对待编码块采用与选择的目标已编码块相同的仿射预测情况。
例如,如图6所示,目标已编码块包括:第二视频帧中的右上角编码块和右下角编码块,编码设备在这两个编码块中随机选择一个编码块,例如选择的右上角编码块,假设编码设备针对右上角编码块采用的是两控制点的仿射预测模式,基于此,编码设备针对待编码块可以采用两控制点的仿射预测模式。
可实现方式二,编码设备基于目标已编码块的数量N和目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策;其中,N为正整数。
在一些可实现方式中,若目标已编码块的数量N为1,则保持待编码块与该目标已编码块的仿射预测情况一致。
例如,假设编码设备针对目标已编码块未采用仿射预测,那么针对待编码块也不采用仿射预测。假设编码设备针对目标已编码块采用两控制点的仿射预测模式,那么针对待编码块也采用两控制点的仿射预测模式。假设编码设备针对目标已编码块采用三控制点的仿射预测模式,那么针对待编码块也采用三控制点的仿射预测模式。
在一些可实现方式中,若目标已编码块的数量N大于1,则按照少数服从多数的原则,如果编码设备可以在N个目标已编码块中确定一个多数目标已编码块对应的仿射预测情况,那么编码设备保持待编码块的仿射预测情况与多数目标已编码块对应的仿射预测情况一致,如果编码设备在N个目标已编码块中无法确定一个多数目标已编码块对应的仿射预测情况,那么编码设备可以在目标已编码块中随机选择一个目标已编码块,且针对待编码块采用与选择的目标已编码块相同的仿射预测情况。
例如,如图6所示,假设针对第二视频帧中的右上角编码块和右下角编码块均采用两控制点的仿射预测模式,那么编码设备针对待编码块也采用两控制点的仿射预测模式。
例如,如图6所示,假设针对第二视频帧中的右上角编码块采用两控制点的仿射预测模式,针对右下角编码块均采用三控制点的仿射预测模式,那么编码设备可以在目标已编码块中随机选择一个目标已编码块,假设选择的是右下角编码块,那么编码设备针对待编码块采用与该目标已编码块相同的仿射预测策略,即采用三控制点的仿射预测模式。
在另一些可实现方式中,编码设备可以基于第一视频帧的分辨率、第二视频帧的分辨率、目标已编码块的数量N和目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
应理解的是,由于低分辨率视频帧和高分辨率视频帧所包含的细节信息不同,且细节越少的视频帧,针对其使用仿射预测的可能性越小,基于此,在本申请实施例中,低分辨率的第一视频帧参考高分辨率的第二视频帧时所采用的仿射预测情况,与,高分辨率的第一视频帧参考低分辨率的第二视频帧时所采用的仿射预测情况有所不同,具体如下,但不限于此:
在一些可实现方式中,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均未采用仿射预测,则编码设备确定跳过对待编码块的仿射预测。换句话讲,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均未采用仿射预测,则编码设备对待编码块采用非仿射预测。
应理解的是,由于高分辨率视频帧相对于低分辨率视频帧包含更多细节,如果此时针对高分辨率视频帧没有采用仿射预测,那么信息经过缩减后,即针对低分辨率视频帧采用仿射预测的概率更低。
在一些可实现方式中,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N等于1,则确定跳过对待编码块未采用的仿射预测模式。
例如,假设第一视频帧的分辨率小于第二视频帧的分辨率,并且第二视频帧中只有一个目标已编码块,且编码设备对该目标已编码块采用的是两控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块采用非仿射预测以及三控制点的仿射预测模式。
在一些可实现方式中,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N大于1,则确定跳过对待编码块的非仿射预测以及对N个待编码块未采用的仿射预测模式。
例如,假设第一视频帧的分辨率小于第二视频帧的分辨率,并且第二视频帧包括两个目标已编码块,分别是目标已编码块1和目标已编码块2,且编码设备对目标已编码块1采用的是两控制点的仿射预测模式,编码设备对目标已编码块2采用的是三控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块采用非仿射预测。
例如,假设第一视频帧的分辨率小于第二视频帧的分辨率,并且第二视频帧包括两个目标已编码块,分别是目标已编码块1和目标已编码块2,且编码设备对目标已编码块1采用的是两控制点的仿射预测模式,编码设备对目标已编码块2采用的是两控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块采用非仿射预测以及三控制点的仿射预测模式。
在一些可实现方式中,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块中一部分采用仿射预测,另一部分未采用仿射预测,则确定跳过N个目标已编码块未采用的仿射预测模式。
例如,假设第一视频帧的分辨率小于第二视频帧的分辨率,并且第二视频帧包括两个目标已编码块,分别是目标已编码块1和目标已编码块2,且编码设备对目标已编码块1采用的是非仿射预测,未采用仿射预测,编码设备对目标已编码块2采用的是两控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块采用三控制点的仿射预测模式。
在一些可实现方式中,若第一视频帧的分辨率大于或等于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,则确定跳过对待编码块的非仿射预测。
例如,假设第一视频帧的分辨率小于第二视频帧的分辨率,并且第二视频帧包括两个目标已编码块,分别是目标已编码块1和目标已编码块2,且编码设备对目标已编码块1采用的是两控制点的仿射预测模式,编码设备对目标已编码块2采用的是三控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块采用两控制点的仿射预测模式和三控制点的仿射预测模式。
在一些可实现方式中,若第一视频帧的分辨率大于或等于第二视频帧的分辨率,且N个目标已编码块中至少一个目标已编码块未采用仿射预测,则编码设备对非仿射预测、两控制点的仿射预测模式、三控制点的仿射预测模式进行遍历。
换句话讲,如果将本申请实施例提供的针对待编码块的仿射预测决策称为快速判断过程,那么若第一视频帧的分辨率大于或等于第二视频帧的分辨率,且N个目标已编码块中至少一个目标已编码块未采用仿射预测,则编码设备针对该待编码块不做快速判断过程。
例如,假设第一视频帧的分辨率大于第二视频帧的分辨率,并且第二视频帧包括两个目标已编码块,分别是目标已编码块1和目标已编码块2,且编码设备对目标已编码块1采用的非仿射预测,编码设备对目标已编码块2采用的是三控制点的仿射预测模式,那么编码设备可以对第一视频帧中的待编码块不做快速判断过程。
应理解的是,对于第一视频帧的分辨率等于第二视频帧的分辨率的情况,编码设备针对待编码块的仿射预测决策也可以与第一视频帧的分辨率小于第二视频帧的分辨率的情况的仿射预测决策保持一致。
例如,若第一视频帧的分辨率小于或等于第二视频帧的分辨率,且N个目标已编码块均未采用仿射预测,则编码设备确定跳过对待编码块的仿射预测。
例如,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N等于1,则编码设备确定跳过对待编码块未采用的仿射预测模式。
例如,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N大于1,则编码设备确定跳过对待编码块的非仿射预测以及对N个待编码块未采用的仿射预测模式。
例如,若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块中一部分采用仿射预测,另一部分未采用仿射预测,则编码设备确定跳过N个目标已编码块未采用的仿射预测模式。
在本申请实施例中,考虑的不同分辨率下的同一视频帧具有相似性,包括仿射预测情况的相似性,基于此,针对某分辨率下的视频帧中的待编码块,对该待编码块的仿射预测决策可以参考其他分辨率下的视频帧中已编码块的仿射预测情况,从而可以在基本不损伤编码设备的率失真性能的同时,降低了计算复杂度和对计算资源的消耗。
图7为本申请实施例提供的一种仿射预测决策装置700的示意图,如图7所示,该装置700包括:
第一确定模块710,用于在对第一视频帧中的待编码块进行编码时,确定待编码块在第二视频帧中的对应区域;其中,第一视频帧和第二视频帧是同一视频帧在不同分辨率下的视频帧,且第二视频帧已被编码;
第二确定模块720,用于确定第二视频帧中与区域存在交叠的目标已编码块;
第三确定模块730,用于基于目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
在一些可实现方式中,第三确定模块730具体用于:基于目标已编码块的数量N和目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策;其中,N为正整数。
在一些可实现方式中,第三确定模块730具体用于:基于第一视频帧的分辨率、第二视频帧的分辨率、目标已编码块的数量N和目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对待编码块的仿射预测决策。
在一些可实现方式中,第三确定模块730具体用于:若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均未采用仿射预测,则确定跳过对待编码块的仿射预测。
在一些可实现方式中,第三确定模块730具体用于:若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N等于1,则确定跳过对待编码块未采用的仿射预测模式。
在一些可实现方式中,第三确定模块730具体用于:若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,且N大于1,则确定跳过对待编码块的非仿射预测以及对N个待编码块未采用的仿射预测模式。
在一些可实现方式中,第三确定模块730具体用于:若第一视频帧的分辨率小于第二视频帧的分辨率,且N个目标已编码块中一部分采用仿射预测,另一部分未采用仿射预测,则确定跳过N个目标已编码块未采用的仿射预测模式。
在一些可实现方式中,第三确定模块730具体用于:若第一视频帧的分辨率大于或等于第二视频帧的分辨率,且N个目标已编码块均采用仿射预测,则确定跳过对待编码块的非仿射预测。
在一些可实现方式中,装置700还包括:遍历模块740,用于:若第一视频帧的分辨率大于或等于第二视频帧的分辨率,且N个目标已编码块中至少一个目标已编码块未采用仿射预测,则对非仿射预测、两控制点的仿射预测模式、三控制点的仿射预测模式进行遍历。
在一些可实现方式中,第二确定模块720具体用于:若第二视频帧中的已编码块的四个顶点与区域的四个顶点不完全相同,且已编码块的四个顶点均处于区域之外,且区域的四个顶点均处于已编码块之外,则确定已编码块不是目标已编码块;否则,则确定已编码块是目标已编码块。
在一些可实现方式中,第二确定模块720具体用于:若区域的至少两个点位于第二视频帧中的已编码块内,则确定已编码块是目标已编码块;否则,确定已编码块不是目标已编码块。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图7所示的装置700可以执行图5对应的方法实施例,并且装置700中的各个模块的前述和其它操作和/或功能分别为了实现图5中的各个方法中的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置700。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图8是本申请实施例提供的电子设备的示意性框图。
如图8所示,该电子设备可包括:
存储器810和处理器820,该存储器810用于存储计算机程序,并将该程序代码传输给该处理器820。换言之,该处理器820可以从存储器810中调用并运行计算机程序,以实现本申请实施例中的方法。
例如,该处理器820可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中,该处理器820可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器810包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块,该一个或者多个模块被存储在该存储器810中,并由该处理器820执行,以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图8所示,该电子设备还可包括:
收发器830,该收发器830可连接至该处理器820或存储器810。
其中,处理器820可以控制该收发器830与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器830可以包括发射机和接收机。收发器830还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
以上内容仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (14)
1.一种仿射预测决策方法,其特征在于,包括:
在对第一视频帧中的待编码块进行编码时,确定所述待编码块在第二视频帧中的对应区域;其中,所述第一视频帧和所述第二视频帧是同一视频帧在不同分辨率下的视频帧,且所述第二视频帧已被编码;
确定所述第二视频帧中与所述区域存在交叠的目标已编码块;
基于所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
基于所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策;其中,N为正整数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
若所述第一视频帧的分辨率小于所述第二视频帧的分辨率,且N个所述目标已编码块均未采用仿射预测,则确定跳过对所述待编码块的仿射预测。
5.根据权利要求3所述的方法,其特征在于,所述基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
若所述第一视频帧的分辨率小于所述第二视频帧的分辨率,且N个所述目标已编码块均采用仿射预测,且N等于1,则确定跳过对所述待编码块未采用的仿射预测模式。
6.根据权利要求3所述的方法,其特征在于,所述基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
若所述第一视频帧的分辨率小于所述第二视频帧的分辨率,且N个所述目标已编码块均采用仿射预测,且N大于1,则确定跳过对所述待编码块的非仿射预测以及对N个所述待编码块未采用的仿射预测模式。
7.根据权利要求3所述的方法,其特征在于,所述基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
若所述第一视频帧的分辨率小于所述第二视频帧的分辨率,且N个所述目标已编码块中一部分采用仿射预测,另一部分未采用仿射预测,则确定跳过N个所述目标已编码块未采用的仿射预测模式。
8.根据权利要求3所述的方法,其特征在于,所述基于所述第一视频帧的分辨率、所述第二视频帧的分辨率、所述目标已编码块的数量N和所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策,包括:
若所述第一视频帧的分辨率大于或等于所述第二视频帧的分辨率,且N个所述目标已编码块均采用仿射预测,则确定跳过对所述待编码块的非仿射预测。
9.根据权利要求3所述的方法,其特征在于,还包括:
若所述第一视频帧的分辨率大于或等于所述第二视频帧的分辨率,且N个所述目标已编码块中至少一个目标已编码块未采用仿射预测,则对非仿射预测、两控制点的仿射预测模式、三控制点的仿射预测模式进行遍历。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述确定所述第二视频帧中与所述区域存在交叠的目标已编码块,包括:
若所述第二视频帧中的已编码块的四个顶点与所述区域的四个顶点不完全相同,且所述已编码块的四个顶点均处于所述区域之外,且所述区域的四个顶点均处于所述已编码块之外,则确定所述已编码块不是所述目标已编码块;
否则,则确定所述已编码块是所述目标已编码块。
11.根据权利要求1-9任一项所述的方法,其特征在于,所述确定所述第二视频帧中与所述区域存在交叠的目标已编码块,包括:
若所述区域的至少两个点位于所述第二视频帧中的已编码块内,则确定所述已编码块是所述目标已编码块;
否则,确定所述已编码块不是所述目标已编码块。
12.一种仿射预测决策装置,其特征在于,包括:
第一确定模块,用于在对第一视频帧中的待编码块进行编码时,确定所述待编码块在第二视频帧中的对应区域;其中,所述第一视频帧和所述第二视频帧是同一视频帧在不同分辨率下的视频帧,且所述第二视频帧已被编码;
第二确定模块,用于确定所述第二视频帧中与所述区域存在交叠的目标已编码块;
第三确定模块,用于基于所述目标已编码块是否采用仿射预测,且在采用仿射预测时所采用的仿射预测模式,确定对所述待编码块的仿射预测决策。
13.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049792.7A CN116760976B (zh) | 2023-08-21 | 2023-08-21 | 仿射预测决策方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049792.7A CN116760976B (zh) | 2023-08-21 | 2023-08-21 | 仿射预测决策方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116760976A true CN116760976A (zh) | 2023-09-15 |
CN116760976B CN116760976B (zh) | 2023-12-08 |
Family
ID=87951890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049792.7A Active CN116760976B (zh) | 2023-08-21 | 2023-08-21 | 仿射预测决策方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116760976B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160373763A1 (en) * | 2015-06-18 | 2016-12-22 | Mediatek Inc. | Inter prediction method with constrained reference frame acquisition and associated inter prediction device |
CN108781284A (zh) * | 2016-03-15 | 2018-11-09 | 联发科技股份有限公司 | 具有仿射运动补偿的视频编解码的方法及装置 |
CN113853792A (zh) * | 2019-05-11 | 2021-12-28 | 北京字节跳动网络技术有限公司 | 带有参考图片重采样的编解码工具 |
CN114615500A (zh) * | 2020-12-08 | 2022-06-10 | 华为技术有限公司 | 增强层编解码方法和装置 |
WO2023039859A1 (zh) * | 2021-09-17 | 2023-03-23 | Oppo广东移动通信有限公司 | 视频编解码方法、设备、系统、及存储介质 |
WO2023044868A1 (zh) * | 2021-09-26 | 2023-03-30 | Oppo广东移动通信有限公司 | 视频编解码方法、设备、系统、及存储介质 |
WO2023072068A1 (zh) * | 2021-10-27 | 2023-05-04 | 华为技术有限公司 | 图像编解码方法和装置 |
-
2023
- 2023-08-21 CN CN202311049792.7A patent/CN116760976B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160373763A1 (en) * | 2015-06-18 | 2016-12-22 | Mediatek Inc. | Inter prediction method with constrained reference frame acquisition and associated inter prediction device |
CN108781284A (zh) * | 2016-03-15 | 2018-11-09 | 联发科技股份有限公司 | 具有仿射运动补偿的视频编解码的方法及装置 |
CN113853792A (zh) * | 2019-05-11 | 2021-12-28 | 北京字节跳动网络技术有限公司 | 带有参考图片重采样的编解码工具 |
CN114615500A (zh) * | 2020-12-08 | 2022-06-10 | 华为技术有限公司 | 增强层编解码方法和装置 |
WO2023039859A1 (zh) * | 2021-09-17 | 2023-03-23 | Oppo广东移动通信有限公司 | 视频编解码方法、设备、系统、及存储介质 |
WO2023044868A1 (zh) * | 2021-09-26 | 2023-03-30 | Oppo广东移动通信有限公司 | 视频编解码方法、设备、系统、及存储介质 |
WO2023072068A1 (zh) * | 2021-10-27 | 2023-05-04 | 华为技术有限公司 | 图像编解码方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116760976B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107566848B (zh) | 编解码的方法及装置 | |
TWI705697B (zh) | 在視訊寫碼中調色板區塊大小之限制 | |
CN113748677A (zh) | 编码器、解码器及对应的帧内预测方法 | |
US11985309B2 (en) | Picture coding method, picture decoding method, and related apparatuses | |
CN113785573A (zh) | 编码器、解码器和使用自适应环路滤波器的对应方法 | |
CN112913236B (zh) | 编码器,解码器和使用压缩mv存储的对应方法 | |
US20240236371A1 (en) | Video encoding method, video decoding method, device, system, and storage medium | |
CN114205582B (zh) | 用于视频编解码的环路滤波方法、装置及设备 | |
US11516470B2 (en) | Video coder and corresponding method | |
WO2024050723A1 (zh) | 一种图像预测方法、装置及计算机可读存储介质 | |
CN116760976B (zh) | 仿射预测决策方法、装置、设备及存储介质 | |
CN115086664A (zh) | 未匹配像素的解码方法、编码方法、解码器以及编码器 | |
WO2022179394A1 (zh) | 图像块预测样本的确定方法及编解码设备 | |
WO2024216632A1 (zh) | 视频编解码方法、装置、设备、系统、及存储介质 | |
US20240236372A1 (en) | Video encoding and decoding method, and device | |
US20240348778A1 (en) | Intra prediction method and decoder | |
WO2023221599A1 (zh) | 图像滤波方法、装置及设备 | |
WO2024192733A1 (zh) | 视频编解码方法、装置、设备、系统、及存储介质 | |
WO2023173255A1 (zh) | 图像编解码方法、装置、设备、系统、及存储介质 | |
WO2024213011A1 (en) | Visual volumetric video-based coding method, encoder and decoder | |
US20240357092A1 (en) | Intra prediction method and decoder | |
WO2023184250A1 (zh) | 视频编解码方法、装置、设备、系统及存储介质 | |
WO2023122969A1 (zh) | 帧内预测方法、设备、系统、及存储介质 | |
WO2024213012A1 (en) | Visual volumetric video-based coding method, encoder and decoder | |
WO2023184248A1 (zh) | 视频编解码方法、装置、设备、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092636 Country of ref document: HK |