CN117956157A - 视频编码方法、装置、电子设备及计算机存储介质 - Google Patents
视频编码方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN117956157A CN117956157A CN202410216027.8A CN202410216027A CN117956157A CN 117956157 A CN117956157 A CN 117956157A CN 202410216027 A CN202410216027 A CN 202410216027A CN 117956157 A CN117956157 A CN 117956157A
- Authority
- CN
- China
- Prior art keywords
- parameter
- video
- preset
- rate control
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000007499 fusion processing Methods 0.000 claims abstract description 16
- 238000013139 quantization Methods 0.000 claims description 44
- 238000012216 screening Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 14
- 238000001914 filtration Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种视频编码方法、装置、电子设备及计算机存储介质;在本申请实施例中,根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征;对待编码视频进行特征提取,得到待编码视频对应的视频特征;将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征;根据至少一个融合后特征,得到目标码率控制参数;根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。本申请实施例可以提高目标码率控制参数的准确度,从而使得目标编码后视频的质量更加符合要求。
Description
技术领域
本申请涉及视频编码技术领域,具体涉及一种视频编码方法、装置、电子设备及计算机存储介质。
背景技术
视频编码,指通过压缩技术,将原始视频格式的视频文件转换成另一种视频格式文件的视频方式。同一个视频,视频编码时的码率越大,编码后的视频质量越差,视频编码时的码率越小,编码后的视频的存储和传输的成本越高,为了在保证视频质量的同时保证存储传输成本,需要寻找合适的码率对视频进行编码。
其中,可以通过固定速速率系数(Constant Rate Factor,CRF)确定视频编码时的码率,但是,目前通过固定速率系数确定的码率的方法准确度较低,导致得到的编码后视频的质量不符合要求。
发明内容
本申请实施例提供一种视频编码方法、装置、电子设备及计算机存储介质,可以解决码率的准确度较低导致的编码后视频的质量不符合要求的技术问题。
本申请实施例提供一种视频编码方法,包括:
获取待编码视频以及获取参数集合,上述参数集合包括至少一个预设码率控制参数;
根据上述至少一个预设码率控制参数,对上述待编码视频进行编码处理,得到至少一个编码后视频,并获取上述至少一个编码后视频对应的编码特征;
对上述待编码视频进行特征提取,得到上述待编码视频对应的视频特征;
将上述至少一个编码后视频对应的编码特征分别和上述视频特征进行融合处理,得到至少一个融合后特征;
根据上述至少一个融合后特征,从上述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
根据上述目标码率控制参数,对上述待编码视频进行编码处理,得到上述待编码视频对应的目标编码后视频。
相应地,本申请实施例提供一种视频编码装置,包括:
第一获取模块,用于获取待编码视频以及获取参数集合,上述参数集合包括至少一个预设码率控制参数;
第一编码模块,用于根据上述至少一个预设码率控制参数,对上述待编码视频进行编码处理,得到至少一个编码后视频,并获取上述至少一个编码后视频对应的编码特征;
特征提取模块,用于对上述待编码视频进行特征提取,得到上述待编码视频对应的视频特征;
特征融合模块,用于将上述至少一个编码后视频对应的编码特征分别和上述视频特征进行融合处理,得到至少一个融合后特征;
参数筛选模块,用于根据上述至少一个融合后特征,从上述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
第二编码模块,用于根据上述目标码率控制参数,对上述待编码视频进行编码处理,得到上述待编码视频对应的目标编码后视频。
此外,本申请实施例还提供一种电子设备,包括处理器和存储器,上述存储器存储有计算机程序,上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的视频编码方法。
此外,本申请实施例还提供一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序适于处理器进行加载,以执行本申请实施例所提供的任一种视频编码方法。
此外,本申请实施例还提供一种计算机程序产品,包括计算机程序,上述计算机程序被处理器执行时实现本申请实施例所提供的任一种视频编码方法。
在本申请实施例中,获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数;根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征;对待编码视频进行特征提取,得到待编码视频对应的视频特征;将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征;根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频,实现根据编码特征和视频特征确定目标码率控制参数,提高目标码率控制参数的准确度,从而提高根据目标码率控制参数得到的码率的准确度,使得目标编码后视频的质量更加符合要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频编码方法的流程示意图;
图2是本申请实施例提供的模型训练方法的流程示意图;
图3是本申请实施例提供的模型应用方法的流程示意图;
图4是本申请实施例提供的模型训练方法的示意图;
图5是本申请实施例提供的模型应用方法的示意图;
图6是本申请实施例提供的视频编码装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种视频编码方法、装置、电子设备及计算机存储介质。该视频编码装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
另外,本申请实施例中的“多个”指两个或两个以上。本申请实施例中的“第一”和“第二”等用于区分描述,而不能理解为暗示相对重要性。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
在本实施例中,将从视频编码装置的角度进行描述,为了方便对本申请的视频编码方法进行说明,以下将以视频编码装置集成在终端中进行详细说明,即以终端作为执行主体进行详细说明。
请参阅图1,图1是本申请一实施例提供的视频编码方法的流程示意图。该视频编码方法可以包括:
S101、获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数。
其中,待编码视频可以为一个完整的视频,也可以为目标视频中的一个视频分片。待编码视频的类型可以根据实际情况进行设置,比如,待编码视频可以为直播视频,也可以为点播视频,本申请实施例在此不做限定。
至少一个预设码率控制参数,指用于控制视频编码器在进行编码时的码率的参数,至少一个预设码率控制参数的类型可以根据实际情况进行设置,比如,至少一个预设码率控制参数可以为视频编码器的固定速率系数(Constant Rate Factor,CRF)或恒定量化参数(Constant Quantization Parameter,CQP),本申请实施例在此不做限定。
S102、根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征。
其中,编码特征也可以称为压缩域特征,其指用于描述视频在编码后存在的特性。至少一个编码后视频对应的编码特征的类型可以根据实际情况进行设置,比如,至少一个编码后视频对应的编码特征可以包括视频块划分信息、视频帧峰值信噪比、块变换系数和编码模式信息中的至少一种,本申请实施例在此不做限定。
其中,视频块划分信息为视频编码器在对视频进行编码时对视频帧进行块划分的相关信息,比如,视频块划分信息可以为块划分的频率信息。视频帧峰值信噪比可以反映不同视频帧类型的质量,其包括视频中不同视频帧类型(不同视频帧类型比如可以为帧内编码帧(intra picture,I帧)、前向预测编码帧(predictive frame,P帧)、双向预测内插编码帧(bi directional interpolated prediction frame,B帧)等)的峰值信噪比(PeakSignal to Noise Ratio,PSNR)。块变换系数表示视频的频域信息。编码模式信息指视频编码器的编码标准,比如,编码模式信息可以为H.265编码模式信息或AV1编码模式信息。
可选地,终端可以将至少一个预设码率控制参数和待编码视频输入至视频编码器中进行编码处理,得到至少一个编码后视频所在的文件,然后再从至少一个编码后视频所在的文件中读取出至少一个编码后视频对应的编码特征。
视频编码器的编码标准可以根据实际情况进行设置,比如,视频编码器的编码标准可以为H.265标准或AV1标准,本申请实施例在此不做限定。
比如,当至少一个预设码率控制参数为固定速率系数且视频编码器为基于AV1标准的视频编码器时,参数集合可以为[45,60],至少一个预设码率控制参数为[45,60]中的整数,根据固定速率系数45对待编码视频进行编码处理,得到一个编码后视频,根据固定速率系数46对待编码视频进行编码处理,得到另外一个编码后视频。
可选地,终端可以根据至少一个预设码率控制参数中所有预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,或者,终端也先根据至少一个预设码率控制参数中部分预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,如果目标码率控制参数不在部分预设码率控制参数中,再根据至少一个预设码率控制参数中剩下的预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频。
S103、对待编码视频进行特征提取,得到待编码视频对应的视频特征。
其中,视频特征指待编码视频在编码之前所具备的特性。对待编码视频进行特征提取的方法可以根据实际情况进行设置,比如,可以通过特征提取模型或方向梯度直方图(Histogram of Oriented Gradient,HOG)对待编码视频进行特征提取,特征提取模型可以为二维卷积网络模型或三维卷积网络模型,本申请实施例在此不做限定。
可选地,终端可以对待编码视频中所有视频帧进行特征提取,得到待编码视频对应的视频特征,或者,终端也可以对待编码视频中部分视频帧进行特征提取,得到待编码视频对应的视频特征。
当对待编码视频中部分视频帧进行特征提取,得到待编码视频对应的视频特征时,对待编码视频进行特征提取,得到待编码视频对应的视频特征的过程可以为:
对待编码视频进行采样处理,得到采样后视频;
对采样后视频进行特征提取,得到待编码视频对应的视频特征。
在本申请实施例中,对待编码视频进行采样处理,得到采样后视频,再对采样后视频进行特征提取,得到待编码视频对应的视频特征,减少进行特征提取的视频帧的数量,提高进行特征提取的速度,从而提高得到目标码率控制参数的速度。
S104、将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征。
其中,融合处理也可以称为拼接处理,可以将至少一个编码后视频对应的编码特征分别和视频特征进行串行拼接,也可以将至少一个编码后视频对应的编码特征分别和视频特征进行并行拼接,本申请实施例在此不做限定。
比如,当至少一个预设码率控制参数为固定速率系数且视频编码器为基于AV1标准的视频编码器时,参数集合可以为[45,60],根据预设码率控制参数45对待编码视频进行编码处理,得到编码后视频A1,根据预设码率控制参数50对待编码视频进行编码处理,得到编码后视频A2,根据预设码率控制参数60对待编码视频进行编码处理,得到编码后视频A3,此时,至少一个编码后视频为编码后视频A1、编码后视频A2和编码后视频A3,将编码后视频A1的编码特征和视频特征进行融合处理,得到融合后特征B1,将编码后视频A2的编码特征和视频特征进行融合处理,得到融合后特征B2,将编码后视频A3的编码特征和视频特征进行融合处理,得到融合后特征B3,此时,至少一个融合后特征为融合后特征B1、融合后特征B2和融合后特征B3。
S105、根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数。
其中,终端可以通过参数识别模型或参数识别表,对至少一个融合后特征进行识别处理,得到识别结果,然后根据识别结果,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数。
识别结果可以包括目标码率控制参数,终端在得到识别结果之后,可以直接从识别结果中读取出目标码率控制参数。
或者,识别结果也可以包括编码后视频的质量状态,终端在得到识别结果之后,再根据质量状态,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数。
当识别结果包括编码后视频的质量状态时,根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数,包括:
根据至少一个融合后特征,预测至少一个编码后视频的质量状态;
将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
其中,质量状态表示编码后视频的质量的高低,其可以采用分数进行表示,也可以采用质量标识位进行表示,本申请实施例在此不做限定。
当采用分数进行表示时,可以将与预设目标质量分数之间差异最小的质量状态确定为满足预设条件的质量状态。
当采用质量标识位进行表示时,质量标识位可以包括第一质量状态标识位和第二质量状态标识位。当编码后视频的质量状态为第一质量状态标识位时,表示编码后视频的质量较高,也即是,表示编码后视频的质量状态满足预设质量状态,当编码后视频的质量状态为第二质量状态标识位时,表示编码后视频的质量较低,也即是,表示编码后视频的质量不满足预设质量状态。
其中,第一质量状态标识位和第二质量状态标识位可以根据实际情况进行设置,比如,第一质量状态标识位可以为1,第二质量状态标识位可以为0,或者,第一质量状态标识位可以为1,第二质量状态标识位可以为2,本申请实施例在此不做限定。
可选地,当至少一个编码后视频中存在多个编码后视频的质量状态为第一质量状态标识位时,为了在保证目标编码后视频的质量的同时避免目标编码后视频所在的文件较大,可以从质量状态中筛选出满足预设条件的第一质量状态标识位,也即是,将为第一质量状态标识位且满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
其中,当根据至少一个预设码率控制参数中所有预设码率控制参数,对待编码视频进行编码处理时,终端则可以通过遍历的方法,将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,或者,将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数的过程也可以为:
从参数集合中选取出第一参数区间和第二参数区间;
从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;
若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤;
若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数。
比如,当至少一个预设码率控制参数为固定速率系数、视频编码器为基于AV1标准的视频编码器、第一质量状态标识位为1、第二质量状态标识位为0以及预设个数条件为2时,参数集合可以为[45,60],第一参数区间可以为[45,50],第二参数区间可以为[50,60],根据预设码率控制参数45对待编码视频进行编码处理,得到编码后视频A1,根据预设码率控制参数50对待编码视频进行编码处理,得到编码后视频A2,根据预设码率控制参数60对待编码视频进行编码处理,得到编码后视频A3,将编码后视频A1的编码特征和视频特征进行融合处理,得到融合后特征B1,将编码后视频A2的编码特征和视频特征进行融合处理,得到融合后特征B2,将编码后视频A3的编码特征和视频特征进行融合处理,得到融合后特征B3,根据融合后特征B1,确定编码后视频A1的质量状态为1,根据融合后特征B2,确定编码后视频A2的质量状态为0,根据融合后特征B3,确定编码后视频A3的质量状态为0,则目标参数区间为[45,50],由于[45,50]中包括的预设码率控制参数较多,不满足预设个数条件,因此,对[45,50]继续进行划分,循环执行该过程,直至划分至[49,50]时,根据预设码率控制参数49对待编码视频进行编码处理,得到编码后视频A4,将编码后视频A4的编码特征和视频特征进行融合处理,得到融合后特征B4,根据融合后特征B4,确定编码后视频A4的质量状态为1,由于[49,50]中包括的预设码率控制参数较少,满足预设个数条件,因此,将49确定为目标码率控制参数。
可选地,若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,也可以理解为若目标参数区间包括的预设码率控制参数为相邻的码率控制参数,比如,目标参数区间为[49,50],49和50为相邻的码率控制参数。
在本申请实施例中,从参数集合中选取出第一参数区间和第二参数区间;从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤;若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数,相较于遍历的方法,可以提高得到目标码率控制参数的速度。
在一些实施例中,从第一参数区间和第二参数区间筛选出目标参数区间,包括:
若第一参数区间的端点参数对应的质量状态均为第一质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,则将第二参数区间确定为目标参数区间;
若第一参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态均为第二质量状态标识位,则确定第一参数区间为目标参数区间。
比如,当至少一个预设码率控制参数为固定速率系数、视频编码器为基于AV1标准的视频编码器、第一质量状态标识位为1、第二质量状态标识位为0以及预设个数条件为2时,参数集合可以为[45,60],第一参数区间可以为[45,50],第一参数区间的端点参数为45和50,第二参数区间可以为[50,60],第二参数区间的端点参数为50和60,如果根据预设码率控制参数45确定的编码后视频A1的质量状态为1,根据预设码率控制参数50确定的编码后视频A2的质量状态为0,根据预设码率控制参数60确定的编码后视频A3的质量状态为0,则第一参数区间的端点参数对应的质量状态包括第一质量状态标识位和第二质量状态标识位,和,第二参数区间的端点参数对应的质量状态均为第二质量状态标识位,将第一参数区间确定为目标参数区间,如果根据预设码率控制参数45确定的编码后视频A1的质量状态为1,根据预设码率控制参数50确定的编码后视频A2的质量状态为1,根据预设码率控制参数60确定的编码后视频A3的质量状态为0,则第一参数区间的端点参数对应的质量状态均为第一质量状态标识位,和,第二参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,将第二参数区间确定为目标参数区间。
在另一些实施例中,根据至少一个融合后特征,预测至少一个编码后视频的质量状态,包括:
根据至少一个融合后特征,预测概率参数,概率参数用于衡量至少一个编码后视频是否满足预设质量状态;
若概率参数等于或大于预设概率参数,则将至少一个编码后视频的质量状态确定为第一质量状态标识位;
若概率参数小于预设概率参数,则将至少一个编码后视频的质量状态确定为第二质量状态标识位。
其中,预设概率参数为预先设置的参数,其表示是否满足预设质量状态的分界线。当概率参数等于或大于预设概率参数,表示编码后视频满足预设质量状态,因此,可以将至少一个编码后视频的质量状态确定为第一质量状态标识位,当概率参数小于预设概率参数,表示编码后视频不满足预设质量状态,因此,可以将至少一个编码后视频的质量状态确定为第二质量状态标识位。
比如,预设概率参数为0.5,编码后视频A1的概率参数为0.6,则将编码后视频A1的质量状态确定为第一质量状态标识位,编码后视频A2的概率参数为0.4,则将编码后视频A2的质量状态确定为第二质量状态标识位。
在上述实施例中,通过对参数集合进行划分,从而得到目标码率控制参数,在另一些实施例中,当质量状态包括满足预设质量状态的第一质量状态标识位和不满足预设质量状态的第二质量状态标识位时,也可以将质量状态按照至少一个预设码率控制参数在参数集合中的排列顺序进行排列,然后通过对质量状态进行划分,从而得到目标码率控制参数,此时,将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
对质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
从第一质量状态区间和第二质量状态区间中筛选出目标质量状态区间,目标质量状态区间的端点质量状态包括第一质量状态标识位和第二质量状态标识位;
若目标质量状态区间包括的质量状态的个数不满足预设状态个数条件,则将目标质量状态区间确定为质量状态,并返回执行对质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
若目标质量状态区间包括的质量状态的个数满足预设状态个数条件,则将目标质量状态区间中第一质量状态标识位对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
比如,预设状态个数条件为2,至少一个预设码率控制参数为45,46,47,48,49,50,根据预设码率控制参数45得到的编码后视频的质量状态为1,根据预设码率控制参数46得到的编码后视频的质量状态为1,根据预设码率控制参数47得到的编码后视频的质量状态为1,根据预设码率控制参数48得到的编码后视频的质量状态为1,根据预设码率控制参数49得到的编码后视频的质量状态为0,根据预设码率控制参数50得到的编码后视频的质量状态为0,则质量状态的排列顺序为1、1、1、1、0和0,第一质量状态区间为1、1、1和1,第二质量状态区间为1、0和0,目标质量状态区间为第二质量状态区间,第二质量状态区间包括的质量状态的个数为3,不满足预设状态个数条件,对第二质量状态区间继续进行划分,此时,第一质量状态区间为1和0,第二质量状态区间为0和0,目标质量状态区间为第一质量状态区间,第一质量状态区间包括的质量状态的个数为2,满足预设状态个数条件,则将预设码率控制参数48确定为目标码率控制参数。
在一些实施例中,当根据至少一个预设码率控制参数中部分预设码率控制参数,对待编码视频进行编码处理时,根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,包括:
从参数集合中选取出第一参数区间和第二参数区间;
根据第一参数区间的端点参数和第二参数区间的端点参数对待编码视频进行编码处理,得到至少一个编码后视频;
将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;
若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤;
若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数。
其中,当目标参数区间包括的预设码率控制参数的个数满足预设个数条件时,目标参数区间中第一质量状态标识即为满足预设条件的质量状态。
比如,当至少一个预设码率控制参数为固定速率系数、视频编码器为基于AV1标准的视频编码器、第一质量状态标识位为1、第二质量状态标识位为0以及,预设个数条件为2时,参数集合可以为[45,60],第一参数区间可以为[45,50],第一参数区间的端点参数为45和50,第二参数区间可以为[50,60],第二参数区间的端点参数为50和60,如果根据预设码率控制参数45得到的编码后视频A1的质量状态为1,根据预设码率控制参数50得到的编码后视频A2的质量状态为0,根据预设码率控制参数60得到的编码后视频A3的质量状态为0,则目标参数区间为第一参数区间,第一参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将第一参数区间作为参数集合继续进行划分,循环执行该过程,直至划分至[49,50]时,根据预设码率控制参数49得到的编码后视频A4的质量状态为1,由于[49,50]中包括的预设码率控制参数较少,满足预设个数条件,因此,将49确定为目标码率控制参数。
在本申请实施例中,从参数集合中选取出第一参数区间和第二参数区间,根据第一参数区间的端点参数和第二参数区间的端点参数对待编码视频进行编码处理,得到至少一个编码后视频,从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤,若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数,实现根据编码后视频的质量状态判断是否需要继续对待编码视频进行编码,无需直接根据至少一个预设码率控制参数中所有预设码率控制参数,对待编码视频进行编码处理,提高得到目标码率控制参数的速度。
在一些实施例中,从参数集合中选取出第一参数区间和第二参数区间的方式可以根据实际情况进行设置,比如,可以将参数集合进行平均划分,得到第一参数区间和第二参数区间,或者,也可以随机将参数集合进行划分,从而得到第一参数区间和第二参数区间,本申请实施例在此不限定。
在一些实施例中,当待编码视频为目标视频中的视频分片时,为了提高得到目标码率控制参数的速度,从参数集合中选取出第一参数区间和第二参数区间,包括:
获取历史视频分片的码率控制参数,历史视频分片为目标视频中在待编码视频之前的视频分片;
根据码率控制参数,从参数集合中选取出第一参数区间和第二参数区间。
其中,历史视频分片可以为目标视频中在待编码视频之前的任何一个视频分片。由于同一个视频中不同视频分片的码率控制参数较为接近或相同,因此,可以根据历史视频分片的码率控制参数,从参数集合中选取出第一参数区间和第二参数区间,以便快速地找到待编码视频的目标码率控制参数。
可选地,根据码率控制参数,从参数集合中选取出第一参数区间和第二参数区间,可以是以码率控制参数作为分界线,对参数集合进行划分,得到第一参数区间和第二参数区间,或者,也可以是以码率控制参数作为分界线,然后根据预设步长,对参数集合进行划分,得到第一参数区间和第二参数区间,预设步长可以根据实际情况进行设置。
比如,待编码视频为目标视频中的视频分片2,历史视频分片为目标视频中的视频分片1,参数区间为[45,60],视频分片1的码率控制参数为49,则第一参数区间可以为[45,49],第二参数区间可以为[49,60]。
又比如,预设步长为5,待编码视频为目标视频中的视频分片2,历史视频分片为目标视频中的视频分片1,参数区间为[45,60]视频分片1的码率控制参数为49,则第一参数区间可以为[45,49],第二参数区间可以为[49,54]。
需要说明的是,一个预设码率控制参数可以是码率控制参数,也可以是目标码率控制参数。比如,当视频分片1为待编码视频时,45为视频分片1的目标码率控制参数,当视频分片1为历史视频分片时,45为视频分片1的码率控制参数。
在一些实施例中,质量状态为衡量至少一个编码后视频是否满足预设条件的概率参数,根据至少一个融合后特征,预测至少一个编码后视频的质量状态,包括:
根据至少一个融合后特征,预测至少一个编码后视频是否满足预设质量状态的概率参数;
将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
获取预设概率参数,预设概率参数表示是否满足预设质量状态的分界线;
将满足预设概率参数的概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
其中,可以将与预设概率参数之间的差异最小且在预设概率参数以上的概率参数确定为满足预设概率参数的概率参数。
或者,概率参数按照至少一个预设码率控制参数在参数集合中的排列顺序进行排列,将满足预设概率参数的概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数的过程也可以为:
对概率参数进行划分,得到第一概率参数区间和第二概率参数区间;
从第一概率参数区间和第二概率参数区间中筛选出目标概率参数区间,目标概率参数区间包括大于预设概率参数的端点概率参数和小于预设概率参数的端点概率参数;
若目标概率参数区间包括的概率参数的个数不满足预设参数个数条件,则将目标概率区间作为概率参数,并返回执行对概率参数进行划分,得到第一概率参数区间和第二概率参数区间的步骤;
若目标概率参数区间包括的概率参数的个数满足预设参数个数条件,则将目标概率参数区间中大于预设概率参数的端点概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
比如,至少一个预设码率控制参数为45、46、47、48、49和50,预设参数个数条件为2,预设概率参数为0.5,根据预设码率控制参数45得到的编码后视频的概率参数为0.7,根据预设码率控制参数46得到的编码后视频的概率参数为0.65,根据预设码率控制参数47得到的编码后视频的概率参数为0.6,根据预设码率控制参数48得到的编码后视频的概率参数为0.52,根据预设码率控制参数49得到的编码后视频的概率参数为0.49,根据预设码率控制参数50得到的编码后视频的概率参数为0.4,则概率参数的排列顺序为0.7、0.65、0.6、0.52、0.49和0.4,第一概率参数区间为0.7、0.65、0.6和0.52,第二概率参数区间为0.52、0.49和0.4,目标概率参数区间为第二概率参数区间,第二概率参数区间包括的概率参数的个数为3个,不满足预设参数个数条件,则对0.52、0.49和0.4进行划分,得到第一概率参数区间为0.52和0.49,第二概率参数区间为0.49和0.4,此时,目标概率参数区间为第一概率参数区间,第一概率参数区间包括的概率参数的个数为2个,满足预设参数个数条件,则将0.52对应的编码后视频采用的预设码率控制参数48确定为目标码率控制参数。
需要说明的是,如果目标概率参数区间包括等于预设概率参数的端点概率参数,则可以直接将等于预设概率参数的端点概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
在一些实施例中,目标码率控制参数通过参数识别模型得到,在根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数之前,还包括:
获取样本视频集合,样本视频集合包括至少一个样本视频对应的至少一个编码后样本视频的编码特征;
对至少一个样本视频进行特征提取,得到至少一个样本视频对应的样本视频特征;
将至少一个编码后样本视频对应的编码特征分别和样本视频特征进行融合处理,得到至少一个融合后样本特征;
根据至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到参数识别模型。
其中,根据至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到参数识别模型的过程可以为:
根据至少一个融合后样本特征,预测至少一个样本视频的码率控制参数;
根据预测的码率控制参数和至少一个样本视频的真实码率控制参数,确定目标损失函数值;
根据目标损失函数值判断待训练的参数识别模型是否收敛;
如果待训练的参数识别模型收敛,则将待训练的参数识别模型确定为参数识别模型;
如果待训练的参数识别模型不收敛,则根据目标损失函数值更新待训练的参数识别模型的模型参数,并返回执行对至少一个样本视频进行特征提取,得到至少一个样本视频对应的样本视频特征的步骤。
或者,样本视频集合还可以包括至少一个编码后样本视频对应的真实质量状态;根据至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到参数识别模型的过程也可以为:
根据至少一个融合后特征,预测至少一个编码后样本视频的样本质量状态;
根据样本质量状态和真实质量状态,对待训练的参数识别模型进行训练,得到参数识别模型。
其中,样本质量状态可以包括第一样本质量状态标识位和第二样本质量状态标识位。真实质量状态可以包括第一样本质量状态标识位和第二样本质量状态标识位。第一样本质量状态标识位和第二样本质量状态标识位可以根据实际情况进行设置,比如,第一样本质量状态标识位可以为1,第二样本质量状态标识位可以为0,或者,第一样本质量状态标识位可以为1,第二样本质量状态标识位可以为2,本申请实施例在此不做限定。
终端在得到样本质量状态之后,可以根据样本质量状态和真实质量状态,确定目标损失函数值,根据目标损失函数值判断待训练的参数识别模型是否收敛;如果待训练的参数识别模型收敛,则将待训练的参数识别模型确定为参数识别模型;如果待训练的参数识别模型不收敛,则根据目标损失函数值更新待训练的参数识别模型的模型参数,并返回执行对至少一个样本视频进行特征提取,得到至少一个样本视频对应的样本视频特征的步骤。
可选地,获取样本视频集合,包括:
获取至少一个样本视频,并根据至少一个预设码率控制参数,对至少一个样本视频进行编码处理,得到至少一个编码后样本视频;
获取至少一个编码后样本视频的编码特征,并确定至少一个编码后样本视频的编码质量分数;
根据编码质量分数和预设质量分数,确定至少一个编码后样本视频对应的真实质量状态;
根据真实质量状态和至少一个编码后样本视频对应的编码特征,生成样本视频集合。
其中,如果编码质量分数大于或等于预设质量分数,则将该编码后视频的真实质量状态确定为第一样本质量状态标识位,如果编码质量分数小于预设质量分数,则将该编码后视频的真实质量状态确定为第二样本质量状态标识位。
预设质量分数为根据目标质量指标预先设置的分数,目标质量指标可以根据实际情况进行设置,比如,目标质量指标可以为峰值信噪比质量指标、结构相似度质量指标和混合质量指标中的任意一种质量指标,本申请实施例在此不做限定。
其中,峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)质量指标是一种通过根据待编码视频和编码后视频中的像素点之间的差异确定视频编码质量的质量指标。结构相似度质量指标也称为多尺度结构相似度(Multi-Scale Structural Similarity,MS-SSIM)质量指标,其是一种通过根据待编码视频和编码后视频的结构相似度确定视频编码质量的质量指标。混合质量指标也称为视频质量多方法评价融合(Video multi methodAccesment Fusion,VMAF),其是一种结合视觉信息保真度(Visual Quality Fidelity,VIF)、细节损失指标(Detail Loss Measure,DLM)和时域运动指标/平均相关位置像素差(temporal information,TI)三种指标的视频编码质量评估指标。
S106、根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
其中,终端可以根据目标码率控制参数,确定待编码视频的量化参数(Quantization Parameter,QP),然后根据量化参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
可选地,当目标码率控制参数为固定速率系数时,可以是目标码率控制参数越大,根据目标码率控制参数确定的量化参数越大,对待编码视频进行编码时的码率越小,目标码率控制参数越小,根据目标码率控制参数确定的量化参数越小,对待编码视频进行编码时的码率越大。
在一些实施例中,根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频的过程可以为:
根据目标码率控制参数,确定候选量化参数;
获取感兴趣参数;
根据感兴趣参数对候选量化参数进行调整,得到待编码视频中感兴趣区域的第一量化参数和待编码视频中非感兴趣区域的第二量化参数;
根据第一量化参数和第二量化参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
其中,感兴趣参数可以为一个01矩阵,其大小可以和待编码视频中视频帧的大小相同。
终端可以将候选量化参数和感兴趣参数相减,从而得到第一量化参数,将候选量化参数和感兴趣参数相加,从而得到第二量化参数,然后在对待编码视频进行编码处理时,先识别待编码视频中的感兴趣区域(Region of Interest,ROI)和非感兴趣区域,最后,根据第一量化参数,对感兴趣区域进行编码处理,根据第二量化参数,对非感兴趣区域进行编码处理,得到目标编码后视频。
在本申请实施例中,根据目标码率控制参数,确定候选量化参数;获取感兴趣参数;根据感兴趣参数对候选量化参数进行调整,得到待编码视频中感兴趣区域的第一量化参数和待编码视频中非感兴趣区域的第二量化参数;根据第一量化参数和第二量化参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频,实现根据不同的量化参数分别对感兴趣区域和非感兴趣进行编码处理,使得在保证目标编码后视频的质量的同时可以保证目标编码后视频所在的文件的大小。
由以上可知,在本申请实施例中,获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数;根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征;对待编码视频进行特征提取,得到待编码视频对应的视频特征;将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征;根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频,实现根据编码特征和视频特征确定目标码率控制参数,提高目标码率控制参数的准确度,从而提高根据目标码率控制参数得到的码率的准确度,使得目标编码后视频的质量更加符合要求。
下面根据图2和图3,对本申请提供的视频编码方法进一步进行说明。在本实施例中,以固定速率系数为预设码率控制参数为例,通过参数识别模型得到目标码率控制参数,通过特征提取模型得到视频特征,下面根据图2,对参数识别模型和特征提取模型的训练过程进行说明。
S201、终端获取至少一个样本视频和参数集合,参数集合包括至少一个预设码率控制参数。
S202、终端根据至少一个预设码率控制参数,对至少一个样本视频进行编码处理,得到至少一个编码后样本视频,并获取至少一个编码后样本视频的编码特征。
S203、终端确定至少一个编码后样本视频的编码质量分数。
S204、终端根据编码质量分数和预设质量分数,确定至少一个编码后样本视频对应的真实质量状态,并根据真实质量状态和至少一个编码后样本视频对应的编码特征,生成样本视频集合。
S205、终端通过待训练的特征提取模型,对至少一个样本视频进行特征提取,得到至少一个样本视频对应的样本视频特征。
S206、终端将样本视频集合中至少一个编码后样本视频对应的编码特征分别和样本视频特征进行融合处理,得到至少一个融合后样本特征。
S207、终端通过待训练的参数识别模型,根据至少一个融合后样本特征,预测至少一个编码后样本视频的样本质量状态。
其中,参数识别模型的具体类型可以根据实际情况进行设置,比如,参数识别模型可以为支持向量机(support vector machines,SVM)或者决策树,本申请实施例在此不做限定。
S208、终端根据样本质量状态和真实质量状态,对待训练的特征提取模型和待训练的参数识别模型进行训练,得到特征提取模型和参数识别模型。
在本实施例中,通过对待训练的特征提取模型和待训练的参数识别模型进行训练,得到特征提取模型和参数识别模型,以便可以通过特征提取模型和参数识别模型得到待编码视频的质量状态,比如,如图4所示。
下面根据图3,对通过参数识别模型和特征提取模型进行视频编码的过程进行说明。
S301、终端获取待编码视频。
其中,当待编码视频为目标视频中的视频分片时,终端可以获取目标视频,然后对目标视频进行切片处理,得到待编码视频。
S302、终端根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征。
S303、终端通过特征提取模型,对待编码视频进行特征提取,得到待编码视频对应的视频特征。
S304、终端将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征。
S305、终端通过参数识别模型,根据至少一个融合后特征,预测概率参数,概率参数用于衡量至少一个编码后视频是否满足预设质量状态。
其中,参数识别模型的类型可以根据实际情况进行设置,比如,参数识别模型可以为全连接网络模型或支持向量机(support vector machines,SVM),本实施例在此不做限定。
S306、若概率参数等于或大于预设概率参数,终端则将至少一个编码后视频的质量状态确定为第一质量状态标识位,若概率参数小于预设概率参数,则将至少一个编码后视频的质量状态确定为第二质量状态标识位。
S307、终端从参数集合中选取出第一参数区间和第二参数区间。
S308、若第一参数区间的端点参数对应的质量状态均为第一质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,终端则将第二参数区间确定为目标参数区间。
S309、若第一参数区间的端点参数对应的质量状态包括第一质量状态标识和所述第二质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态均为第二质量状态标识位,终端则将第一参数区间确定为目标参数区间。
S3010、若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,终端则将目标参数区间作为参数集合,并返回执行步骤S307。
S3011、若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,终端则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数。
S3012、终端根据目标码率控制参数,确定候选量化参数,并获取感兴趣参数。
S3013、终端根据感兴趣参数对候选量化参数进行调整,得到待编码视频中感兴趣区域的第一量化参数和待编码视频中非感兴趣区域的第二量化参数。
S3014、终端根据第一量化参数和第二量化参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
在本实施例中,根据视频特征和编码特征,通过特征提取模型和参数识别模型,确定待编码视频对应的目标码率控制参数,实现根据视频特征和编码特征,通过多层级神经网络模型,确定待编码视频对应的目标码率控制参数,提高目标码率控制参数的准确度,比如,如图5所示。
为便于更好的实施本申请实施例提供的视频编码方法,本申请实施例还提供一种基于上述视频编码方法的装置。其中名词的含义与上述视频编码方法中相同,具体实现细节可以参考方法实施例中的说明。
例如,如图6所示,该视频编码装置可以包括:
第一获取模块601,用于获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数。
第一编码模块602,用于根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征。
特征提取模块603,用于对待编码视频进行特征提取,得到待编码视频对应的视频特征。
特征融合模块604,用于将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征。
参数筛选模块605,用于根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数。
第二编码模块606,用于根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
可选地,参数筛选模块605具体用于执行:
根据至少一个融合后特征,预测至少一个编码后视频的质量状态;
将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
可选地,质量状态包括满足预设质量状态的第一质量状态标识位和不满足预设质量状态的第二质量状态标识位,参数筛选模块605具体用于执行:
从参数集合中选取出第一参数区间和第二参数区间;
从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;
若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤;
若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数。
可选地,参数筛选模块605具体用于执行:
若第一参数区间的端点参数对应的质量状态均为第一质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,则将第二参数区间确定为目标参数区间;
若第一参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位,和/或,第二参数区间的端点参数对应的质量状态均为第二质量状态标识位,则将第一参数区间确定为目标参数区间。
可选地,参数筛选模块605具体用于执行:
根据至少一个融合后特征,预测概率参数,概率参数用于衡量至少一个编码后视频是否满足预设质量状态;
若概率参数等于或大于预设概率参数,则将至少一个编码后视频的质量状态确定为第一质量状态标识位;
若概率参数小于预设概率参数,则将至少一个编码后视频的质量状态确定为第二质量状态标识位。
可选地,质量状态包括满足预设质量状态的第一质量状态标识位和不满足预设质量状态的第二质量状态标识位,质量状态按照至少一个预设码率控制参数在参数集合中的排列顺序进行排列,参数筛选模块605具体用于执行:
对质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
从第一质量状态区间和第二质量状态区间中筛选出目标质量状态区间,目标质量状态区间的端点质量状态包括第一质量状态标识位和第二质量状态标识位;
若目标质量状态区间包括的质量状态的个数不满足预设状态个数条件,则将目标质量状态区间确定为质量状态,并返回执行对质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
若目标质量状态区间包括的质量状态的个数满足预设状态个数条件,则将目标质量状态区间中第一质量状态标识位对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
可选地,第一编码模块602具体用于执行:
从参数集合中选取出第一参数区间和第二参数区间;
根据第一参数区间的端点参数和第二参数区间的端点参数对待编码视频进行编码处理,得到至少一个编码后视频。
参数筛选模块605具体用于执行:
从第一参数区间和第二参数区间筛选出目标参数区间,目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;
若目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将目标参数区间作为参数集合,并返回执行从参数集合中选取出第一参数区间和第二参数区间的步骤;
若目标参数区间包括的预设码率控制参数的个数满足预设个数条件,则将目标参数区间中第一质量状态标识对应的端点参数确定为目标码率控制参数。
可选地,待编码视频为目标视频中的视频分片,第一编码模块602具体用于执行:
获取历史视频分片的码率控制参数,历史视频分片为目标视频中在待编码视频之前的视频分片;
根据码率控制参数,从参数集合中选取出第一参数区间和第二参数区间。
可选地,质量状态为衡量至少一个编码后视频是否满足预设条件的概率参数,参数筛选模块605具体用于执行:
根据至少一个融合后特征,预测概率参数;
获取预设概率参数,预设概率参数表示是否满足预设质量状态的分界线;
将满足预设概率参数的概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
可选地,概率参数按照至少一个预设码率控制参数在参数集合中的排列顺序进行排列,参数筛选模块605具体用于执行:
对概率参数进行划分,得到第一概率参数区间和第二概率参数区间;
从第一概率参数区间和第二概率参数区间中筛选出目标概率参数区间,目标概率参数区间包括大于预设概率参数的端点概率参数和小于预设概率参数的端点概率参数;
若目标概率参数区间包括的概率参数的个数不满足预设参数个数条件,则将目标概率区间作为概率参数,并返回执行对概率参数进行划分,得到第一概率参数区间和第二概率参数区间的步骤;
若目标概率参数区间包括的概率参数的个数满足预设参数个数条件,则将目标概率参数区间中大于预设概率参数的端点概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
可选地,第二编码模块606具体用于执行:
根据目标码率控制参数,确定候选量化参数;
获取感兴趣参数;
根据感兴趣参数对候选量化参数进行调整,得到待编码视频中感兴趣区域的第一量化参数和待编码视频中非感兴趣区域的第二量化参数;
根据第一量化参数和第二量化参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
可选地,目标码率控制参数通过参数识别模型得到,该视频编码装置还包括:
训练模块,用于执行:
获取样本视频集合,样本视频集合包括至少一个样本视频对应的至少一个编码后样本视频的编码特征;
对至少一个样本视频进行特征提取,得到至少一个样本视频对应的样本视频特征;
将至少一个编码后样本视频对应的编码特征分别和样本视频特征进行融合处理,得到至少一个融合后样本特征;
根据至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到参数识别模型。
可选地,样本视频集合还包括至少一个编码后样本视频对应的真实质量状态,训练模块具体用于执行:
根据至少一个融合后特征,预测至少一个编码后样本视频的样本质量状态;
根据样本质量状态和真实质量状态,对待训练的参数识别模型进行训练,得到参数识别模型。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施方式以及对应的有益效果可参见前面的方法实施例,在此不再赘述。
本申请实施例还提供一种电子设备,该电子设备可以是服务器或终端等,如图7所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器701是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器702内的计算机程序和/或模块,以及调用存储在存储器702内的数据,执行电子设备的各种功能和处理数据。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储计算机程序以及模块,处理器701通过运行存储在存储器702的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
电子设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器701会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器702中,并由处理器701来运行存储在存储器702中的计算机程序,从而实现各种功能,比如:
获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数;
根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征;
对待编码视频进行特征提取,得到待编码视频对应的视频特征;
将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征;
根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
以上各个操作的具体实施方式以及对应的有益效果可参见上文对视频编码方法的详细描述,在此不作赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种视频编码方法中的步骤。例如,该计算机程序可以执行如下步骤:
获取待编码视频以及获取参数集合,参数集合包括至少一个预设码率控制参数;
根据至少一个预设码率控制参数,对待编码视频进行编码处理,得到至少一个编码后视频,并获取至少一个编码后视频对应的编码特征;
对待编码视频进行特征提取,得到待编码视频对应的视频特征;
将至少一个编码后视频对应的编码特征分别和视频特征进行融合处理,得到至少一个融合后特征;
根据至少一个融合后特征,从至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
根据目标码率控制参数,对待编码视频进行编码处理,得到待编码视频对应的目标编码后视频。
以上各个操作的具体实施方式以及对应的有益效果可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种视频编码方法中的步骤,因此,可以实现本申请实施例所提供的任一种视频编码方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频编码方法。
以上对本申请实施例所提供的一种视频编码方法、装置、电子设备及计算机存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种视频编码方法,其特征在于,包括:
获取待编码视频以及获取参数集合,所述参数集合包括至少一个预设码率控制参数;
根据所述至少一个预设码率控制参数,对所述待编码视频进行编码处理,得到至少一个编码后视频,并获取所述至少一个编码后视频对应的编码特征;
对所述待编码视频进行特征提取,得到所述待编码视频对应的视频特征;
将所述至少一个编码后视频对应的编码特征分别和所述视频特征进行融合处理,得到至少一个融合后特征;
根据所述至少一个融合后特征,从所述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
根据所述目标码率控制参数,对所述待编码视频进行编码处理,得到所述待编码视频对应的目标编码后视频。
2.根据权利要求1所述的视频编码方法,其特征在于,所述根据所述至少一个融合后特征,从所述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数,包括:
根据所述至少一个融合后特征,预测所述至少一个编码后视频的质量状态;
将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
3.根据权利要求2所述的视频编码方法,其特征在于,所述质量状态包括满足预设质量状态的第一质量状态标识位和不满足预设质量状态的第二质量状态标识位,所述将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
从所述参数集合中选取出第一参数区间和第二参数区间;
从所述第一参数区间和所述第二参数区间筛选出目标参数区间,所述目标参数区间的端点参数对应的质量状态包括所述第一质量状态标识和所述第二质量状态标识位;
若所述目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将所述目标参数区间作为所述参数集合,并返回执行从所述参数集合中选取出第一参数区间和第二参数区间的步骤;
若所述目标参数区间包括的预设码率控制参数的个数满足所述预设个数条件,则将所述目标参数区间中所述第一质量状态标识对应的端点参数确定为目标码率控制参数。
4.根据权利要求3所述的视频编码方法,其特征在于,所述从所述第一参数区间和所述第二参数区间筛选出目标参数区间,包括:
若所述第一参数区间的端点参数对应的质量状态均为所述第一质量状态标识位,和/或,所述第二参数区间的端点参数对应的质量状态包括所述第一质量状态标识和所述第二质量状态标识位,则将所述第二参数区间确定为目标参数区间;
若所述第一参数区间的端点参数对应的质量状态包括所述第一质量状态标识和所述第二质量状态标识位,和/或,所述第二参数区间的端点参数对应的质量状态均为所述第二质量状态标识位,则将所述第一参数区间确定为目标参数区间。
5.根据权利要求3所述的视频编码方法,其特征在于,所述根据所述至少一个融合后特征,预测所述至少一个编码后视频的质量状态,包括:
根据所述至少一个融合后特征,预测概率参数,所述概率参数用于衡量所述至少一个编码后视频是否满足预设质量状态;
若所述概率参数等于或大于预设概率参数,则将所述至少一个编码后视频的质量状态确定为所述第一质量状态标识位;
若所述概率参数小于所述预设概率参数,则将所述至少一个编码后视频的质量状态确定为所述第二质量状态标识位。
6.根据权利要求2所述的视频编码方法,其特征在于,所述质量状态包括满足预设质量状态的第一质量状态标识位和不满足预设质量状态的第二质量状态标识位,所述质量状态按照所述至少一个预设码率控制参数在所述参数集合中的排列顺序进行排列;
所述将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
对所述质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
从所述第一质量状态区间和所述第二质量状态区间中筛选出目标质量状态区间,所述目标质量状态区间的端点质量状态包括所述第一质量状态标识位和所述第二质量状态标识位;
若所述目标质量状态区间包括的质量状态的个数不满足预设状态个数条件,则将所述目标质量状态区间确定为所述质量状态,并返回执行对所述质量状态进行划分,得到第一质量状态区间和第二质量状态区间;
若所述目标质量状态区间包括的质量状态的个数满足所述预设状态个数条件,则将所述目标质量状态区间中所述第一质量状态标识位对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
7.根据权利要求2所述的视频编码方法,其特征在于,所述根据所述至少一个预设码率控制参数,对所述待编码视频进行编码处理,得到至少一个编码后视频,包括:
从所述参数集合中选取出第一参数区间和第二参数区间;
根据所述第一参数区间的端点参数和所述第二参数区间的端点参数对所述待编码视频进行编码处理,得到至少一个编码后视频;
所述将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
从所述第一参数区间和所述第二参数区间筛选出目标参数区间,所述目标参数区间的端点参数对应的质量状态包括第一质量状态标识和第二质量状态标识位;
若所述目标参数区间包括的预设码率控制参数的个数不满足预设个数条件,则将所述目标参数区间作为所述参数集合,并返回执行从所述参数集合中选取出第一参数区间和第二参数区间的步骤;
若所述目标参数区间包括的预设码率控制参数的个数满足所述预设个数条件,则将所述目标参数区间中所述第一质量状态标识对应的端点参数确定为目标码率控制参数。
8.根据权利要求7所述的视频编码方法,其特征在于,所述待编码视频为目标视频中的视频分片,所述从所述参数集合中选取出第一参数区间和第二参数区间,包括:
获取历史视频分片的码率控制参数,所述历史视频分片为所述目标视频中在所述待编码视频之前的视频分片;
根据所述码率控制参数,从所述参数集合中选取出第一参数区间和第二参数区间。
9.根据权利要求2所述的视频编码方法,其特征在于,所述质量状态为衡量所述至少一个编码后视频是否满足预设条件的概率参数,所述根据所述至少一个融合后特征,预测所述至少一个编码后视频的质量状态,包括:
根据所述至少一个融合后特征,预测概率参数;
所述将满足预设条件的质量状态对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
获取预设概率参数,所述预设概率参数表示是否满足预设质量状态的分界线;
将满足所述预设概率参数的概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
10.根据权利要求9所述的视频编码方法,其特征在于,所述概率参数按照所述至少一个预设码率控制参数在所述参数集合中的排列顺序进行排列;
所述将满足所述预设概率参数的概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数,包括:
对所述概率参数进行划分,得到第一概率参数区间和第二概率参数区间;
从所述第一概率参数区间和所述第二概率参数区间中筛选出目标概率参数区间,所述目标概率参数区间包括大于所述预设概率参数的端点概率参数和小于所述预设概率参数的端点概率参数;
若所述目标概率参数区间包括的概率参数的个数不满足预设参数个数条件,则将所述目标概率区间作为所述概率参数,并返回执行对所述概率参数进行划分,得到第一概率参数区间和第二概率参数区间的步骤;
若所述目标概率参数区间包括的概率参数的个数满足所述预设参数个数条件,则将所述目标概率参数区间中大于所述预设概率参数的端点概率参数对应的编码后视频采用的预设码率控制参数确定为目标码率控制参数。
11.根据权利要求1所述的视频编码方法,其特征在于,所述根据所述目标码率控制参数,对所述待编码视频进行编码处理,得到所述待编码视频对应的目标编码后视频,包括:
根据所述目标码率控制参数,确定候选量化参数;
获取感兴趣参数;
根据所述感兴趣参数对所述候选量化参数进行调整,得到所述待编码视频中感兴趣区域的第一量化参数和所述待编码视频中非感兴趣区域的第二量化参数;
根据所述第一量化参数和所述第二量化参数,对所述待编码视频进行编码处理,得到所述待编码视频对应的目标编码后视频。
12.根据权利要求1-11任一项所述的视频编码方法,其特征在于,所述目标码率控制参数通过参数识别模型得到,在根据所述至少一个融合后特征,从所述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数之前,还包括:
获取样本视频集合,所述样本视频集合包括至少一个样本视频对应的至少一个编码后样本视频的编码特征;
对所述至少一个样本视频进行特征提取,得到所述至少一个样本视频对应的样本视频特征;
将所述至少一个编码后样本视频对应的编码特征分别和所述样本视频特征进行融合处理,得到至少一个融合后样本特征;
根据所述至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到所述参数识别模型。
13.根据权利要求12所述的视频编码方法,其特征在于,所述样本视频集合还包括所述至少一个编码后样本视频对应的真实质量状态;
所述根据所述至少一个融合后样本特征,对待训练的参数识别模型进行训练,得到所述参数识别模型,包括:
根据所述至少一个融合后特征,预测所述至少一个编码后样本视频的样本质量状态;
根据所述样本质量状态和所述真实质量状态,对待训练的参数识别模型进行训练,得到所述参数识别模型。
14.一种视频编码装置,其特征在于,包括:
第一获取模块,用于获取待编码视频以及获取参数集合,所述参数集合包括至少一个预设码率控制参数;
第一编码模块,用于根据所述至少一个预设码率控制参数,对所述待编码视频进行编码处理,得到至少一个编码后视频,并获取所述至少一个编码后视频对应的编码特征;
特征提取模块,用于对所述待编码视频进行特征提取,得到所述待编码视频对应的视频特征;
特征融合模块,用于将所述至少一个编码后视频对应的编码特征分别和所述视频特征进行融合处理,得到至少一个融合后特征;
参数筛选模块,用于根据所述至少一个融合后特征,从所述至少一个预设码率控制参数中筛选出满足预设条件的预设码率控制参数,得到目标码率控制参数;
第二编码模块,用于根据所述目标码率控制参数,对所述待编码视频进行编码处理,得到所述待编码视频对应的目标编码后视频。
15.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至13任一项所述的视频编码方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1至13任一项所述的视频编码方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410216027.8A CN117956157A (zh) | 2024-02-27 | 2024-02-27 | 视频编码方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410216027.8A CN117956157A (zh) | 2024-02-27 | 2024-02-27 | 视频编码方法、装置、电子设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117956157A true CN117956157A (zh) | 2024-04-30 |
Family
ID=90796325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410216027.8A Pending CN117956157A (zh) | 2024-02-27 | 2024-02-27 | 视频编码方法、装置、电子设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117956157A (zh) |
-
2024
- 2024-02-27 CN CN202410216027.8A patent/CN117956157A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111107395B (zh) | 一种视频转码的方法、装置、服务器和存储介质 | |
US11070803B2 (en) | Method and apparatus for determining coding cost of coding unit and computer-readable storage medium | |
CN109587491A (zh) | 一种帧内预测方法、装置及存储介质 | |
CN114982227A (zh) | 使用机器学习基于预测的视觉质量为视频播放器的最优格式选择 | |
CN113473148A (zh) | 一种用于视频编码的计算系统及视频编码方法 | |
WO2022143215A1 (zh) | 一种帧间预测方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN111970565A (zh) | 视频数据处理方法、装置、电子设备及存储介质 | |
CN112104867B (zh) | 一种视频处理方法、视频处理装置、智能设备及存储介质 | |
CN114268792A (zh) | 视频转码方案的确定方法及装置和视频转码方法及装置 | |
CN114466221A (zh) | 一种图像处理方法、装置、存储介质和电子设备 | |
Hassan et al. | Predicting split decisions of coding units in HEVC video compression using machine learning techniques | |
Zhang et al. | A GCN-based fast CU partition method of intra-mode VVC | |
CN112399177A (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
CN117956157A (zh) | 视频编码方法、装置、电子设备及计算机存储介质 | |
CN107194961B (zh) | 群体图像编码中多参考图像的确定方法 | |
Bakkouri et al. | An adaptive CU size decision algorithm based on gradient boosting machines for 3D-HEVC inter-coding | |
Lin et al. | Coding unit partition prediction technique for fast video encoding in HEVC | |
CN118158414A (zh) | 视频编码方法、装置、电子设备及计算机存储介质 | |
Li et al. | Fast depth intra coding based on texture feature and spatio‐temporal correlation in 3D‐HEVC | |
CN118055240A (zh) | 一种视频编码方法、装置、计算机设备及介质 | |
WO2024109138A1 (zh) | 视频编码方法、装置及存储介质 | |
CN117014659B (zh) | 一种视频转码方法、装置、电子设备和存储介质 | |
CN115225911B (zh) | 一种码率自适应方法、装置、计算机设备和存储介质 | |
KR20130119781A (ko) | 비디오 중복 검출 장치 및 방법 | |
CN115941971A (zh) | 视频处理方法、装置及计算机设备、存储介质、程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |