CN115776593A - 一种视频内容的处理方法以及相关装置 - Google Patents
一种视频内容的处理方法以及相关装置 Download PDFInfo
- Publication number
- CN115776593A CN115776593A CN202111038931.7A CN202111038931A CN115776593A CN 115776593 A CN115776593 A CN 115776593A CN 202111038931 A CN202111038931 A CN 202111038931A CN 115776593 A CN115776593 A CN 115776593A
- Authority
- CN
- China
- Prior art keywords
- frame
- rendering
- playing
- processing
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频内容的处理方法以及相关装置。通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息;兵确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种视频内容的处理方法以及相关装置。
背景技术
随着互联网技术的迅速发展,人们对视频内容的要求越来越高。倍速播放为对视频内容进行处理的方式,为用户在视频播放过程中提供了多样的倍速模式。
一般,倍速播放过程中解码器需要处理成倍的视频中。例如两倍速播放时一秒读取两倍帧数送入解码器解码,渲染时按倍速加快显示以达到倍速播放的效果。
但是,大量视频帧的处理过程可能会耗费过多的时间,导致视频帧来不及显示而丢掉,造成倍速播放卡顿的现象,影响视频内容倍速播放的流畅性。
发明内容
有鉴于此,本申请提供一种视频内容的处理方法,可以有效提高视频内容倍速播放时的流畅性。
本申请第一方面提供一种视频内容的处理方法,可以应用于终端设备中包含视频内容的处理功能的系统或程序中,具体包括:
获取目标视频对应的倍速播放参数;
确定用于解码所述目标视频所对应的处理性能信息,所述处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;
若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型;
若所述当前帧的帧类型为非参考帧,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型之前,所述方法还包括:
获取所述处理性能信息对应的渲染时长所指示的渲染累计时长,所述渲染累计时长自渲染所述目标视频的第一帧时开始累计;
基于所述目标视频在配置所述倍速播放参数时对应的预设播放进度,确定所述当前帧在所述预设播放进度中对应的预设播放时刻;
若所述渲染累计时长对应的渲染时刻超过所述预设播放时刻的差值不满足第一阈值条件,则确定所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求。
可选的,在本申请一些可能的实现方式中,所述确定用于解码所述目标视频所对应的处理性能信息,包括:
基于所述目标视频中各视频帧的类型标识,确定所述目标视频中非参考帧的数量占总帧数的比值;
当所述非参考帧的数量占总帧数的比值达到预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述若所述非参考帧的数量占总帧数的比值达到预设值,则确定用于解码所述目标视频所对应的处理性能信息,包括:
获取针对于所述目标视频设定的清晰度参数;
确定所述目标视频在配置所述清晰度参数时对应的帧率信息;
对所述帧率信息中指示的帧数进行解析,确定所述帧率信息中指示的帧数对应的所述预设处理限额;
当所述非参考帧的数量占总帧数的比值达到所述预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
若所述当前帧的帧类型为参考帧,则对所述当前帧进行解码以得到解码帧;
若所述处理性能信息对应的渲染时长不满足第二阈值条件,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
若所述处理性能信息对应的渲染时长满足所述第二阈值条件,则对所述当前帧执行渲染进程;
提取所述渲染进程对应的渲染时长;
将所述处理性能信息对应的渲染时长更新为所述渲染进程对应的渲染时长,所述渲染进程对应的渲染时长用于对所述当前帧的下一帧的处理。
可选的,在本申请一些可能的实现方式中,所述方法还包括:
响应于目标操作对所述目标视频进行设定,获取所述目标操作对应的倍速播放参数;
若所述目标操作对应的倍速播放参数与所述倍速播放参数相同,则调用倍速处理信息对所述目标视频进行处理,以执行所述目标视频基于所述即时播放参数的播放进程,所述倍速处理信息用于指示标记帧,所述标记帧基于丢弃的所述当前帧确定。
本申请第二方面提供一种视频内容的处理装置,包括:
获取单元,用于获取目标视频对应的倍速播放参数;
确定单元,用于确定用于解码所述目标视频所对应的处理性能信息,所述处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;
处理单元,用于若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型;
所述处理单元,还用于若所述当前帧的帧类型为非参考帧,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取所述处理性能信息对应的渲染时长所指示的渲染累计时长,所述渲染累计时长自渲染所述目标视频的第一帧时开始累计;
所述处理单元,具体用于基于所述目标视频在配置所述倍速播放参数时对应的预设播放进度,确定所述当前帧在所述预设播放进度中对应的预设播放时刻;
所述处理单元,具体用于若所述渲染累计时长对应的渲染时刻超过所述预设播放时刻的差值不满足第一阈值条件,则确定所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求。
可选的,在本申请一些可能的实现方式中,所述确定单元,具体用于基于所述目标视频中各视频帧的类型标识,确定所述目标视频中非参考帧的数量占总帧数的比值;
所述确定单元,具体用于当所述非参考帧的数量占总帧数的比值达到预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于获取针对于所述目标视频设定的清晰度参数;
所述处理单元,具体用于确定所述目标视频在配置所述清晰度参数时对应的帧率信息;
所述处理单元,具体用于对所述帧率信息中指示的帧数进行解析,确定所述帧率信息中指示的帧数对应的所述预设处理限额;
所述处理单元,具体用于当所述非参考帧的数量占总帧数的比值达到所述预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于若所述当前帧的帧类型为参考帧,则对所述当前帧进行解码以得到解码帧;
所述处理单元,具体用于若所述处理性能信息对应的渲染时长不满足第二阈值条件,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于若所述处理性能信息对应的渲染时长满足所述第二阈值条件,则对所述当前帧执行渲染进程;
所述处理单元,具体用于提取所述渲染进程对应的渲染时长;
所述处理单元,具体用于将所述处理性能信息对应的渲染时长更新为所述渲染进程对应的渲染时长,所述渲染进程对应的渲染时长用于对所述当前帧的下一帧的处理。
可选的,在本申请一些可能的实现方式中,所述处理单元,具体用于响应于目标操作对所述目标视频进行设定,获取所述目标操作对应的倍速播放参数;
所述处理单元,具体用于若所述目标操作对应的倍速播放参数与所述倍速播放参数相同,则调用倍速处理信息对所述目标视频进行处理,以执行所述目标视频基于所述即时播放参数的播放进程,所述倍速处理信息用于指示标记帧,所述标记帧基于丢弃的所述当前帧确定。
本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的视频内容的处理方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的视频内容的处理方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的视频内容的处理方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息,处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;进一步确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为视频内容的处理系统运行的网络架构图;
图2为本申请实施例提供的一种视频内容的处理的流程架构图;
图3为本申请实施例提供的一种视频内容的处理方法的流程图;
图4为本申请实施例提供的一种视频内容的处理方法的场景示意图;
图5为本申请实施例提供的另一种视频内容的处理方法的场景示意图;
图6为本申请实施例提供的另一种视频内容的处理方法的流程图;
图7为本申请实施例提供的另一种视频内容的处理方法的流程图;
图8为本申请实施例提供的另一种视频内容的处理方法的场景示意图;
图9为本申请实施例提供的一种视频内容的处理装置的结构示意图;
图10为本申请实施例提供的一种终端设备的结构示意图;
图11为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种视频内容的处理方法以及相关装置,可以应用于终端设备中包含视频内容的处理功能的系统或程序中,通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息,处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;进一步确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本申请实施例中可能出现的一些名词进行解释。
I帧:帧内编码帧,也称为关键帧,为一帧画面的完整数据记录,在IPB编码技术中为必要的视频帧。
P帧:前向预测编码帧,为参考帧的一种,即P帧对于下一帧具有预测作用,P帧由在它前面的P帧或者I帧预测而来,它比较与它前面的P帧或者I帧之间的相同信息或数据,也即考虑运动的特性进行帧间压缩;P帧会参考前面最靠近它的I帧或P帧。
B帧:双向预测内插编码帧,为一种非参考帧,通常B帧记录的是本帧与前后帧的差别。
非参考帧:编码中不被其他帧所参考的帧,通常是B帧。
HEVC:更高效率视频编码,H265。
AVC:高级视频编码,H264。
应理解,本申请提供的视频内容的处理方法可以应用于终端设备中包含视频内容的处理功能的系统或程序中,例如视频播放应用,具体的,视频内容的处理系统可以运行于如图1所示的网络架构中,如图1所示,是视频内容的处理系统运行的网络架构图,如图可知,视频内容的处理系统可以提供与多个信息源的视频内容的处理过程,即通过终端侧的倍速参数设定,对服务器的相关视频内容进行处理,进而进行倍速播放;可以理解的是,图1中示出了多种终端设备,终端设备可以为计算机设备,在实际场景中可以有更多或更少种类的终端设备参与到视频内容的处理的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,具体服务器数量因实际场景而定。
本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端以及服务器可以连接组成区块链网络,本申请在此不做限制。
可以理解的是,上述视频内容的处理系统可以运行于个人移动终端,例如:作为视频播放应用这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供视频内容的处理,以得到信息源的视频内容的处理处理结果;具体的视频内容的处理系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,具体运作模式因实际场景而定,此处不做限定。
随着互联网技术的迅速发展,人们对视频内容的要求越来越高。倍速播放为对视频内容进行处理的方式,为用户在视频播放过程中提供了多样的倍速模式。
一般,倍速播放过程中解码器需要处理成倍的视频中。例如两倍速播放时一秒读取两倍帧数送入解码器解码,渲染时按倍速加快显示以达到倍速播放的效果。
但是,大量视频帧的处理过程可能会耗费过多的时间,导致视频帧来不及显示而丢掉,造成倍速播放卡顿的现象,影响视频内容倍速播放的流畅性,或者用户只能选择更低清晰度去播放,影响用户体验。
为了解决上述问题,本申请提出了一种视频内容的处理方法,该方法应用于图2所示的视频内容的处理的流程框架中,如图2所示,为本申请实施例提供的一种视频内容的处理的流程架构图,用户通过终端进行倍速播放参数的设定,进而是的服务器侧进行解码判定,即解码能力是否满足当前倍速,并相应的进行帧的丢弃,从而保证进行渲染的帧可以匹配性能参数。
可以理解的是,由于视频帧解码需要从I帧开始,其解码出来是一副完整的图片,P帧B帧依赖它做解码,且所有帧都需要解码出来;如果某帧缺失或被丢弃,则被它参考的帧会解码失败,造成花屏马赛克现象,但是其中也有一部分帧不被其他帧所依赖,为提高解码器处理速度,在不影响其他帧解码的情况下,可以丢弃一部分不被其他帧所参考的帧,即非参考帧。
本实施例可配置在倍速时采用本发明提出的智能判定倍速丢帧逻辑,从而缓解解码压力,在性能不足平台上给用户带来更好的感受;或者用户可观看更好的清晰度。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种视频内容的处理装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该视频内容的处理装置通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息,处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;进一步确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
结合上述流程架构,下面将对本申请中视频内容的处理方法进行介绍,请参阅图3,图3为本申请实施例提供的一种视频内容的处理方法的流程图,该管理方法可以是由终端设备、服务器或两者共同执行的,本申请实施例至少包括以下步骤:
301、获取目标视频对应的倍速播放参数。
本实施例中,倍速播放参数即为加速播放的倍速,例如两倍速播放、三倍速播放等,具体的数值因实际场景而定,此处不做限定。
可以理解的是,对于目标视频的倍速播放参数的设定,可以是用户通过设置操作进行的,例如点击2x播放按键;具体的,倍速播放的过程可以是目标视频开始播放之前设定的,也可以是目标视频播放过程中设定的,具体触发时机因实际场景而定。
302、确定用于解码目标视频所对应的处理性能信息。
本实施例中,对于倍速播放的过程,需要对目标视频的视频帧进行解码,而由于倍速播放时单位时间内需要解码的视频帧成倍速的提升,故需要考虑处理性能信息是否能负载对应码率的解码过程,即解码器每秒解码的帧数与目标视频倍速播放所需帧数的关系;其中,由于当前帧的渲染时长需要在执行后才能获取,故本实施例中的处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得,从而保证了处理性能信息的有效性,无需执行渲染即可进行即时的条件判断。
在一种可能的实施例中,对于处理性能信息的确定,可以是在目标视频包含的非参考帧达到一定比例时进行的,即首先基于目标视频中各视频帧的类型标识,从而确定目标视频中非参考帧的数量占总帧数的比值;然后当非参考帧的数量占总帧数的比值达到预设处理限额时(例如非参考帧的数量占总帧数的比值达到70%),即可确定用于解码目标视频所对应的处理性能信息,从而保证了本实施例执行的有效性。
具体的,由于服务器的负载情况存在波动,对于处理性能信息的确定过程,可以是测试所得,即首先提取目标视频在预设时间段内的测试帧;然后基于测试帧在服务器执行负载测试,以确定用于解码目标视频所对应的处理性能信息,例如30帧/秒。
进一步的,考虑到目标视频可能存在不同的清晰度,而不同的清晰度对应的处理性能信息可能不同,故对于处理性能信息的确定可以首先获取针对于目标视频设定的清晰度参数,例如:1080p、4k等清晰度参数;然后确定目标视频在配置清晰度参数时对应的帧率信息(例如4k视频对应的帧率为80帧);进而对帧率信息中指示的帧数进行解析,确定帧率信息中指示的帧数对应的预设处理限额(例如4k视频帧率为80帧情况下需要非参考帧比例达到75%);当非参考帧的数量占总帧数的比值达到预设处理限额时,确定用于解码目标视频所对应的处理性能信息,从而保证了目标视频可以在用户指定的清晰度下进行倍速播放。
303、若处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求,则识别当前帧的帧类型。
本实施例中,处理性能信息对应的渲染时长(用于指示当前设备对于视频帧处理的性能参数)不满足倍速播放参数对应的播放需求,则说明播放平台可能无法在规定时间内解码对应帧数的视频帧,会造成丢帧的情况,故此时需要确定目标视频对应当前帧的帧类型,以进行帧的优化操作。
可以理解的是,当前帧即为当前时刻正在处理的视频帧,即本申请通过动态的帧处理过程,保证倍速播放的正常进行。
具体的,对于处理性能信息对应的渲染时长是否满足速播放参数对应的播放需求的判断过程,可以是基于渲染累计时长进行判断所得,为时刻对比的过程。即首先获取处理性能信息对应的渲染时长所指示的渲染累计时长,该渲染累计时长即为自渲染目标视频的第一帧时开始累计;然后基于目标视频在配置倍速播放参数时对应的预设播放进度,从而确定当前帧在预设播放进度中对应的预设播放时刻;进一步的,即判断渲染累计时长对应的渲染时刻超过预设播放时刻的差值不满足第一阈值条件,则确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求,例如第一阈值条件基于目标视频对应的播放进程与预设播放进度的比较关系确定,对于视频帧1,其渲染累计时长为10秒,而对于视频帧1在预设播放进度中对应的预设播放时刻为9.5秒<10秒,故渲染累计时长对应的渲染时刻超过预设播放时刻的差值为0.5秒,超过了0.3秒,即为不满足第一阈值条件,其中第一阈值条件中的阈值可以是0.3秒,也可以是0.2秒、0.5秒等,具体的阈值设定因实际场景而定;若渲染时长与当前时刻的间隔超过阈值,从而需要确定目标视频对应当前帧的帧类型。
可以理解的是,通过播放进程与预设播放进度可以直观的反应实时的渲染情况,即从视频整体倍数播放的角度进行卡顿判断,避免了个别异常帧对于阈值条件判断的影响。
另外,对于处理性能信息对应的渲染时长是否满足速播放参数对应的播放需求的判断过程,也可以是基于当前帧的渲染时长进行判断所得,即时长的判断过程,例如当前帧的渲染时长为50毫秒,对于当前帧的预设时长为30毫秒<50毫秒,其当前帧的渲染时长与当前帧的预设时长的差值为20毫秒,超过了第一阈值条件10毫秒,即为不满足第一阈值条件;在该实施例中第一阈值条件中的阈值可以是50毫秒,也可以是60毫秒、40毫秒等,具体的阈值设定因实际场景而定。
304、若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。
本实施例中,由于非参考帧不会影响视频的正常播放,故可以在当播放平台被判定为满足性能不足的条件时进行非参考帧的丢弃,以保证倍速播放的流畅进行。
具体的,即当前帧的渲染时间比预设播放进度晚,且超过某个设定的阈值(第一阈值条件),启动丢非参考帧逻辑来减小解码压力,以解决播放卡顿的问题。比如当用两倍速播放帧率为30的片源,如果平台性能极限是1秒解码当前片源该时段45帧,大约只需要丢15帧非参考帧即可倍速播放。
另外,对于当前帧的帧类型为参考帧的场景,则对参考帧进行解码以得到解码帧;进一步的为保证渲染过程不会影响倍速播放的流畅进行,故可以在处理性能信息对应的渲染时长不满足第二阈值条件时,丢弃参考帧以执行目标视频基于倍速播放参数的播放进程,第二阈值条件基于目标视频对应的播放进程与渲染时长的比较关系确定,即渲染时长与当前时刻的差值超过第二阈值条件对应的阈值,例如50毫秒,则依然进行丢帧操作,并对当前帧的下一帧进行解码。
对应的,若处理性能信息对应的渲染时长满足第二阈值条件,则说明渲染过程不会影响倍速播放的过程,故可以对当前帧(参考帧)执行渲染进程;进一步的,还可以提取渲染进程对应的渲染时长;然后将处理性能信息对应的渲染时长更新为渲染进程对应的渲染时长,渲染进程对应的渲染时长用于对当前帧的下一帧的处理,从而为当前帧的后续帧的处理时长的判断提供参考。
在一种可能的场景中,对于丢帧过程的启动时机,还可以对目标视频进行非参考帧占比的判定,即起播前解析头一秒数据解析其中参考帧与非参考帧占比数;然后比较满足该倍速播放需要满足的非参考帧占比数与当前片源实际非参考帧占比数,如果要求占比小于等于实际占比则启用上述丢帧逻辑。
在另一种可能的场景中,如图4所示,图4为本申请实施例提供的另一种视频内容的处理方法的场景示意图;图中示出了一个片源的10帧举例示意,其中有6帧非参考帧(B1-B6),两倍速情况下,若平台性能极限是1秒解码当前片源该时段7帧,则该方案判定满足条件的灰色的3个非参考帧将可能被丢弃。送入解码的帧数约7帧,从而减缓了解码渲染的压力。
结合上述实施例可见,本实施例通过如下条件的判断进行解码渲染的优化,即其一从渲染模块得到当前帧的渲染时间是否晚于当前系统时间(预设播放进度对应的时刻),且超过设定的第一阈值条件;其二从解析模块得到当前需要解码的帧是否是非参考帧。其中,如果满足上述两个条件则当前帧丢弃,一旦其中一个不满足则继续送解码器。例如如果6帧已经渲染了2帧,第7帧是非参考帧,由于渲染帧2帧除以已经渲染数6帧不满足两倍速要求,则第7帧继续渲染。或如果8帧已经渲染了4帧,第9帧是参考帧,8除以4满足两倍速要求,但当前是参考帧则继续渲染。或如果当前10帧已渲染5帧,第11帧是非参考帧,10除以5已经满足2倍速,第11帧非参考帧可以丢弃。
应当注意的是,本申请所提供的解码渲染的过程不限于应用于HEVC、AVC等各种编码技术,具体编码类型因实际场景而定。
结合上述实施例可知,通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息,处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;进一步确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
上述实施例介绍了预判型解码前丢帧的倍速播放过程,在一种可能的场景中,该倍速播放过程可以是由解码模块和渲染模块协作进行的,如图5所示,图5为本申请实施例提供的另一种视频内容的处理方法的场景示意图;图中示出了在确定倍速播放参数后,解码模块(解码器)通过预判渲染是否延迟来决定解码前是否快速丢帧的方法来更好支持倍速播放的方案。这种方法主要通过在解码模块中增加了一个智能判定倍速丢帧的模块来实现;模块根据以下条件而做出判定是否要丢弃当前帧:其一为解码前判定当前帧是非参考帧;其二为当前播放是否因性能不足而导致渲染超时,超时超出设定的阈值;然后在解码前,丢掉前面已经做出判定的非参考帧。而把参考帧与不满足条件的非参考帧送入解码器解码。由于解码前丢帧,改善了解码瓶颈,因而改善了用户体验。
下面以两倍速播放为例,对上述解码模块和渲染模块之间的交互过程进行说明,如图6所示,图6为本申请实施例提供的另一种视频内容的处理方法的流程图;本申请实施例至少包括以下步骤:
601、终端获取两倍速播放参数。
本实施例中,两倍速播放参数可以是用户实时设定的,也可以是历史记录中关于该视频的最佳播放推荐。
602、解码模块判断当前帧渲染时间是否比当前时间晚超过第一阈值。
本实施例中,第一阈值即为第一阈值条件中的阈值参数,例如渲染时间为100ms,当前时间指示该帧播放时长为50ms,两者差值为100-50=50ms大于30ms(第一阈值),即说明对该帧进行解码处理有掉帧的风险。
603、解码模块判断当前帧是否为非参考帧。
本实施例中,通过对于帧类型的确定,对不会对视频播放流畅性产生影响的非参考帧进行舍弃,从而减少解码渲染的压力。
604、解码模块在解码前进行丢帧回收。
本实施例中,非参考帧在解码前即进行丢帧,无需解码后的解析过程。
605、解码模块对当前帧进行解码。
本实施例中,若当前帧为参考帧或当前帧渲染时间是否比当前时间晚未超过第一阈值,则进行解码操作,以便进行下一步的渲染过程。
606、渲染模块判断当前帧渲染时间是否比当前时间晚超过第二阈值。
本实施例中,为进一步的保证视频播放的流畅性,可以进行第二阈值的筛选,即第二阈值可以小于第一阈值,即进一步的减小渲染过程对于倍速播放的影响,这是由于播放平台的负载能力存在波动性,通过第二阈值的设定,避免了由于平台超载而造成的倍速播放卡顿。
607、渲染模块在渲染前丢帧。
本实施例中,对于渲染过程可能影响倍速播放的帧,亦可以进行丢帧处理,从而保证倍速播放的正常进行。
608、渲染模块执行渲染进程。
本实施例中,若有一两倍速播放帧率为30的片源,如果非参考帧占比约60%。一倍速播放需要1秒显示30帧,两倍速播放需要1秒显示60帧,其中非参考帧36帧,参考帧24帧,在解码前丢掉非参考帧中的30帧,将剩下的30帧送入解码器进行解码,还是按照1秒显示30帧即可满足两倍速播放要求。由于大幅减少了解码帧数,解码性能得到极大提升,在性能不足以两倍速播放的平台上,原本只能解码30帧,现在通过丢弃30帧而能处理60帧,以牺牲部分观感的策略,非参考帧的丢弃用户感受不明显,从而解决原本播放卡顿的现象。
609、渲染模块更新渲染时间到解码模块。
本实施例中,渲染模块将当前帧渲染时间与当前系统时间差值从渲染模块传送到了解码模块,从而保证了渲染时长的可参考性。
在一种可能的场景中,假如当前需要3倍速播放,但非参考帧比例不满足超过66%比例条件的情况,由于本方案会优先利用系统平台性能,即对于帧率为30的片源,平台解码瓶颈在1秒处理45帧时,非参考帧占比60%(18帧)的情况下进行三倍速播放。此时需要系统1秒处理90帧,由于本方案不会按比例送数据帧到解码器,而是尽可能多的将帧送入到解码器,因此90帧含参考帧36帧,低于平台解码瓶颈45帧,可以流畅3倍速播放,从而实现低配置需求下的高倍速播放。
在另一种可能的场景中,丢帧的操作可以是依据历史记录进行的,下面对该场景进行说明。请参阅图7,图7为本申请实施例提供的另一种视频内容的处理方法的流程图,本申请实施例至少包括以下步骤:
701、响应于目标操作获取即时播放参数。
本实施例中,即时播放参数即为用户在当前时刻配置的倍速参数。
具体的,目标操作可以是倍速的设置、按默认倍数进行播放或上次设置的倍速进行播放等功能设置,具体操作因实际场景而定。
702、基于即时播放参数调用对应的倍速处理信息。
本实施例中,对于同一视频的同一倍速的播放过程,可以直接进行丢帧操作的调用,即直接将标记的非参考帧或参考帧丢弃,从而节省处理资源。
具体的,对于丢弃的帧的标记过程,可以首先对非参考帧(或超过第二阈值的参考帧)进行标记,以得到标记帧;然后将标记帧与倍速播放参数进行关联,以得到倍速处理信息,该倍速处理信息用于指示标记帧,该标记帧基于丢弃的当前帧确定,例如视频1-倍速2-丢帧(2、7、9);进而在即时播放过程中获取针对于目标视频设定的即时播放参数;若即时播放参数与倍速播放参数相同,则调用倍速处理信息对目标视频进行处理,以执行目标视频基于即时播放参数的播放进程。
703、基于倍速处理信息执行倍速播放。
本实施例中,通过倍速处理信息的直接调用,进一步的提升了倍速播放的处理效率。
在一种可能的场景中,上述实施例可以采用图8所示的场景展示,图8为本申请实施例提供的另一种视频内容的处理方法的场景示意图;图中示出了视频的倍速播放过程中,会展示倍速参数标签A1,其中包含了播放倍速的数值、丢帧的情况以及播放的流畅程度,具体的参数展示包含当不限于上述实施例中出现的各个参数,此处不作赘述。
通过上述实施例能直接改善倍速播放效果,由于缓解了解码性能,用户能选择更高清晰度的片源观看,极大提升用户体验,提高了倍速播放的流畅性。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图9,图9为本申请实施例提供的一种视频内容的处理装置的结构示意图,视频内容的处理装置900包括:
获取单元901,用于获取目标视频对应的倍速播放参数;
确定单元902,用于确定用于解码所述目标视频所对应的处理性能信息,所述处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;
处理单元903,用于若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型;
所述处理单元903,还用于若所述当前帧的帧类型为非参考帧,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述处理单元903,具体用于获取所述处理性能信息对应的渲染时长所指示的渲染累计时长,所述渲染累计时长自渲染所述目标视频的第一帧时开始累计;
所述处理单元903,具体用于基于所述目标视频在配置所述倍速播放参数时对应的预设播放进度,确定所述当前帧在所述预设播放进度中对应的预设播放时刻;
所述处理单元903,具体用于若所述渲染累计时长对应的渲染时刻超过所述预设播放时刻的差值不满足第一阈值条件,则确定所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求。
可选的,在本申请一些可能的实现方式中,所述确定单元902,具体用于基于所述目标视频中各视频帧的类型标识,确定所述目标视频中非参考帧的数量占总帧数的比值;
所述确定单元902,具体用于当所述非参考帧的数量占总帧数的比值达到预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述处理单元903,具体用于获取针对于所述目标视频设定的清晰度参数;
所述处理单元903,具体用于确定所述目标视频在配置所述清晰度参数时对应的帧率信息;
所述处理单元903,具体用于对所述帧率信息中指示的帧数进行解析,确定所述帧率信息中指示的帧数对应的所述预设处理限额;
所述处理单元903,具体用于当所述非参考帧的数量占总帧数的比值达到所述预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
可选的,在本申请一些可能的实现方式中,所述处理单元903,具体用于若所述当前帧的帧类型为参考帧,则对所述当前帧进行解码以得到解码帧;
所述处理单元903,具体用于若所述处理性能信息对应的渲染时长不满足第二阈值条件,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
可选的,在本申请一些可能的实现方式中,所述处理单元903,具体用于若所述处理性能信息对应的渲染时长满足所述第二阈值条件,则对所述当前帧执行渲染进程;
所述处理单元903,具体用于提取所述渲染进程对应的渲染时长;
所述处理单元903,具体用于将所述处理性能信息对应的渲染时长更新为所述渲染进程对应的渲染时长,所述渲染进程对应的渲染时长用于对所述当前帧的下一帧的处理。
可选的,在本申请一些可能的实现方式中,所述处理单元903,具体用于响应于目标操作对所述目标视频进行设定,获取所述目标操作对应的倍速播放参数;
所述处理单元903,具体用于若所述目标操作对应的倍速播放参数与所述倍速播放参数相同,则调用倍速处理信息对所述目标视频进行处理,以执行所述目标视频基于所述即时播放参数的播放进程,所述倍速处理信息用于指示标记帧,所述标记帧基于丢弃的所述当前帧确定。
通过获取目标视频对应的倍速播放参数;然后确定用于解码目标视频所对应的处理性能信息,处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;进一步确定处理性能信息对应的渲染时长不满足倍速播放参数对应的播放需求时识别当前帧的帧类型;若当前帧的帧类型为非参考帧,则丢弃当前帧,并对当前帧的下一帧进行解码。从而实现预判型解码前丢帧的倍速播放过程,由于在解码前,丢掉前面已经做出判定的非参考帧,而把参考帧与不满足条件的非参考帧送入解码器解码,减缓了渲染的压力,避免了丢帧卡顿现象的发生,提高了视频内容倍速播放的流畅性。
本申请实施例还提供了一种终端设备,如图10所示,是本申请实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10,手机包括:射频(radio frequency,RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍:
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。通常,RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器1020可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1020的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作,以及在触控面板1031上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1080,并能接收处理器1080发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031,输入单元1030还可以包括其他输入设备1032。具体地,其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1041。进一步的,触控面板1031可覆盖显示面板1041,当触控面板1031检测到在其上或附近的触摸操作后,传送给处理器1080以确定触摸事件的类型,随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中,触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1060、扬声器1061,传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出;另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出处理器1080处理后,经RF电路1010以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1020内的软件程序和/或模块,以及调用存储在存储器1020内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1080可包括一个或多个处理单元;可选的,处理器1080可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池),可选的,电源可以通过电源管理系统与处理器1080逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器1080还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器,请参阅图11,图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1122(例如,一个或一个以上处理器)和存储器1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中,存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图11所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有视频内容的处理指令,当其在计算机上运行时,使得计算机执行如前述图3至图8所示实施例描述的方法中视频内容的处理装置所执行的步骤。
本申请实施例中还提供一种包括视频内容的处理指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图9至图11所示实施例描述的方法中视频内容的处理装置所执行的步骤。
本申请实施例还提供了一种视频内容的处理系统,所述视频内容的处理系统可以包含图9所描述实施例中的视频内容的处理装置,或图10所描述实施例中的终端设备,或者图11所描述的服务器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,视频内容的处理装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种视频内容的处理方法,其特征在于,包括:
获取目标视频对应的倍速播放参数;
确定用于解码所述目标视频所对应的处理性能信息,所述处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;
若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型;
若所述当前帧的帧类型为非参考帧,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
2.根据权利要求1所述的方法,其特征在于,所述若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型之前,所述方法还包括:
获取所述处理性能信息对应的渲染时长所指示的渲染累计时长,所述渲染累计时长自渲染所述目标视频的第一帧时开始累计;
基于所述目标视频在配置所述倍速播放参数时对应的预设播放进度,确定所述当前帧在所述预设播放进度中对应的预设播放时刻;
若所述渲染累计时长对应的渲染时刻超过所述预设播放时刻的差值不满足第一阈值条件,则确定所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求。
3.根据权利要求1所述的方法,其特征在于,所述确定用于解码所述目标视频所对应的处理性能信息,包括:
基于所述目标视频中各视频帧的类型标识,确定所述目标视频中非参考帧的数量占总帧数的比值;
当所述非参考帧的数量占总帧数的比值达到预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
4.根据权利要求3所述的方法,其特征在于,所述若所述非参考帧的数量占总帧数的比值达到预设值,则确定用于解码所述目标视频所对应的处理性能信息,包括:
获取针对于所述目标视频设定的清晰度参数;
确定所述目标视频在配置所述清晰度参数时对应的帧率信息;
对所述帧率信息中指示的帧数进行解析,确定所述帧率信息中指示的帧数对应的所述预设处理限额;
当所述非参考帧的数量占总帧数的比值达到所述预设处理限额时,确定用于解码所述目标视频所对应的处理性能信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
若所述当前帧的帧类型为参考帧,则对所述当前帧进行解码以得到解码帧;
若所述处理性能信息对应的渲染时长不满足第二阈值条件,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述处理性能信息对应的渲染时长满足所述第二阈值条件,则对所述当前帧执行渲染进程;
提取所述渲染进程对应的渲染时长;
将所述处理性能信息对应的渲染时长更新为所述渲染进程对应的渲染时长,所述渲染进程对应的渲染时长用于对所述当前帧的下一帧的处理。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于目标操作对所述目标视频进行设定,获取所述目标操作对应的倍速播放参数;
若所述目标操作对应的倍速播放参数与所述倍速播放参数相同,则调用倍速处理信息对所述目标视频进行处理,以执行所述目标视频基于所述即时播放参数的播放进程,所述倍速处理信息用于指示标记帧,所述标记帧基于丢弃的所述当前帧确定。
8.一种视频内容的处理装置,其特征在于,包括:
获取单元,用于获取目标视频对应的倍速播放参数;
确定单元,用于确定用于解码所述目标视频所对应的处理性能信息,所述处理性能信息基于解码的当前帧的上一帧对应的渲染时长模拟所得;
处理单元,用于若所述处理性能信息对应的渲染时长不满足所述倍速播放参数对应的播放需求,则识别所述当前帧的帧类型;
所述处理单元,还用于若所述当前帧的帧类型为非参考帧,则丢弃所述当前帧,并对所述当前帧的下一帧进行解码。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至7任一项所述的视频内容的处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1至7任一项所述的视频内容的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111038931.7A CN115776593A (zh) | 2021-09-06 | 2021-09-06 | 一种视频内容的处理方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111038931.7A CN115776593A (zh) | 2021-09-06 | 2021-09-06 | 一种视频内容的处理方法以及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115776593A true CN115776593A (zh) | 2023-03-10 |
Family
ID=85387427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111038931.7A Pending CN115776593A (zh) | 2021-09-06 | 2021-09-06 | 一种视频内容的处理方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115776593A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117579875A (zh) * | 2024-01-15 | 2024-02-20 | 深圳市易甲文技术有限公司 | 视频高速回放方法、装置、服务器及计算机可读存储介质 |
-
2021
- 2021-09-06 CN CN202111038931.7A patent/CN115776593A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117579875A (zh) * | 2024-01-15 | 2024-02-20 | 深圳市易甲文技术有限公司 | 视频高速回放方法、装置、服务器及计算机可读存储介质 |
CN117579875B (zh) * | 2024-01-15 | 2024-05-07 | 深圳市易甲文技术有限公司 | 视频高速回放方法、装置、服务器及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111544886B (zh) | 一种画面显示的方法以及相关装置 | |
US11606564B2 (en) | Video encoding code rate control method, apparatus, and device, and storage medium | |
CN110138769B (zh) | 一种图像传输的方法以及相关装置 | |
CN108737908B (zh) | 一种媒体播放方法、装置及存储介质 | |
CN111866433B (zh) | 视频源切换方法、播放方法、装置、设备和存储介质 | |
CN110248233B (zh) | 一种音视频播放方法、装置、设备及存储介质 | |
CN111010576B (zh) | 一种数据处理方法及相关设备 | |
US11297328B2 (en) | Video coding method, device, device and storage medium | |
CN107222364B (zh) | 控制数据接收模式的方法、装置和移动终端 | |
CN113572836B (zh) | 一种数据传输方法、装置、服务器及存储介质 | |
CN108337533B (zh) | 视频压缩方法和装置 | |
US11843652B2 (en) | Data processing method and electronic device | |
CN109474833B (zh) | 一种网络直播的方法、相关装置和系统 | |
CN113453066A (zh) | 一种播放时长确定方法和相关设备 | |
CN115776593A (zh) | 一种视频内容的处理方法以及相关装置 | |
CN110100424B (zh) | 一种流媒体数据的处理方法及移动终端 | |
CN116939212A (zh) | 视频处理方法、装置、计算机可读存储介质及计算机设备 | |
CN112887404B (zh) | 一种音频传输控制方法、设备及计算机可读存储介质 | |
CN113630621B (zh) | 一种视频处理的方法、相关装置及存储介质 | |
CN111372127B (zh) | 一种数据传输方法和相关装置 | |
CN114265495A (zh) | 应用程序处理方法、智能终端及存储介质 | |
CN112099713A (zh) | 一种虚拟元素的展示方法以及相关装置 | |
CN109003313B (zh) | 一种传输网页图片的方法、装置和系统 | |
CN110740325B (zh) | 一种纹理压缩方法、装置、设备和存储介质 | |
CN116156232A (zh) | 一种视频内容的播放方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40082729 Country of ref document: HK |