CN116801040A - 视频处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种视频处理方法、装置、设备和存储介质，应用于播放设备，该方法包括：获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，目标时间间隔与视频采集设备的生产帧率匹配；检测多个视频帧分别对应的特效关键点；根据特效关键点，确定多个视频帧分别对应的待渲染特效。本方案中，根据多个历史检测时长和播放设备的渲染帧率，确定多个视频帧分别对应的目标渲染时间点，每一视频帧对应的目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点，从而确保在目标渲染时间点能够渲染多个视频帧以及多个视频帧分别对应的待渲染特效。

Description

视频处理方法、装置、设备和存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种视频处理方法、装置、设备和存储介质。

背景技术

在视频渲染的生产消费模型中，相机等视频采集设备按照自身的帧率生产视频帧，播放设备按照自身的帧率消费视频帧，也即渲染视频帧。

在直播等视频播放场景下，播放设备在获取到视频采集设备生产的视频帧之后，通常需要对视频帧中的所包含的对象进行关键点检测，比如：对视频帧中的人物进行面部关键点检测、肢体关键点检测等，以便为视频帧添加动画等渲染特效。

实际应用中，由于不同视频帧关键点检测所需要的时间不同，可能在到达播放设备渲染视频帧的时间点时，还未完成对当前待渲染视频帧的关键点检测，进而出现无法渲染当前待渲染视频帧对应的渲染特效，或者渲染出特效与渲染出的视频帧不匹配等问题，影响用户体验。

发明内容

本发明实施例提供一种视频处理方法、装置、设备和存储介质，用以提升渲染视频画面的质量。

第一方面，本发明实施例提供一种视频处理方法，应用于播放设备，所述方法包括：

获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，所述目标时间间隔与所述视频采集设备的生产帧率匹配；

检测所述多个视频帧分别对应的特效关键点；

根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点；

在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

第二方面，本发明实施例提供一种视频处理装置，应用于播放设备，所述装置包括：

获取模块，用于获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，所述目标时间间隔与所述视频采集设备的生产帧率匹配；

检测模块，用于检测所述多个视频帧分别对应的特效关键点；根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

处理模块，用于根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点；

渲染模块，用于在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的视频处理方法。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的视频处理方法。

本发明实施例提供的方案，应用于视频特效渲染播放场景，在该场景下，视频采集设备以自身对应的生产帧率等时间间隔的连续生产多个视频帧，并传输给播放设备，以供播放设备进行关键点检测以及视频帧和视频帧中的关键点对应的特效的渲染。在具体实施过程中，播放设备在获取视频采集设备以目标时间间隔依次生产的多个视频帧后，首先，分别检测多个视频帧分别对应的特效关键点，并根据特效关键点，确定多个视频帧分别对应的待渲染特效。为了保证在渲染时，当前待渲染的视频帧对应的特效关键点检测已完成，本方案中，还获取了播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，并根据多个历史检测时长和播放设备的渲染帧率，确定多个视频帧分别对应的目标渲染时间点。其中，每一视频帧对应的目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点。最后，在目标渲染时间点渲染多个视频帧以及多个视频帧分别对应的待渲染特效。

本方案中，根据播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，重新确定了播放设备渲染获取到的多个视频帧的渲染时间点，从而保证在渲染视频帧的同时也能够渲染该视频帧中的特效关键点对应的待渲染特效，保证特效与视频帧之间的匹配性，提升视频画面渲染的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频处理方法的流程图；

图2为本发明实施例提供的一种视频播放过程的场景示意图；

图3为本发明实施例提供的另一种视频播放过程的场景示意图；

图4为本发明实施例提供的又一种视频播放过程的场景示意图；

图5为本发明实施例提供的一种视频处理装置的结构示意图；

图6为与图5所示实施例提供的视频处理装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

图1为本发明实施例提供的一种视频处理方法的流程图，应用于播放设备，如图1所示，可以包括如下步骤：

101、获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，目标时间间隔与视频采集设备的生产帧率匹配。

102、检测多个视频帧分别对应的特效关键点。

103、根据多个视频帧分别对应的特效关键点，确定多个视频帧分别对应的待渲染特效。

104、根据多个历史检测时长和播放设备的渲染帧率，确定多个视频帧分别对应的目标渲染时间点，每一视频帧对应的目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点。

105、在目标渲染时间点渲染多个视频帧以及多个视频帧分别对应的待渲染特效。

本实施例中，播放设备包括PC机、笔记本电脑、智能手机等具有播放显示功能的终端设备，播放设备中设置有能够实现视频播放功能以及特效渲染功能的应用程序。例如，在直播、短视频拍摄等场景中，应用程序对应的用户界面通常可以设置有多种多样的特效交互控件，以便用户进行选择，以实现不同的视频渲染效果。比如：响应于用户对美妆控件的选择，通过检测视频帧中人物面部对应的关键点，以添加美妆特效；又比如：响应于用户对动作特效的选择，通过检测视频帧中人物四肢对应的关键点，以添加动作特效等。视频采集设备包括照相机、摄像机等具有摄像功能的设备。其中，播放设备与视频采集设备通信连接。可选地，视频采集设备可以集成于播放设备，也可与播放设备从外部进行连接。

可选地，针对需要渲染特效的视频帧渲染，播放设备可以建立两个线程，分别记为第一线程和第二线程，其中，第一线程用于检测多个视频帧分别对应的特效关键点，以及根据特效关键点，确定多个视频帧分别对应的待渲染特效；第二线程用于在目标渲染时间点渲染多个视频帧以及多个视频帧分别对应的待渲染特效。第一线程和第二线程之间存在通信关系，第一线程确定的待渲染特效，能够传输给第二线程。

可以理解的是，在需要进行特效渲染的应用场景下，播放设备在渲染时既需要渲染视频帧又需要渲染与视频帧匹配的特效。如果某一视频帧在渲染时未渲染特效，或者渲染的特效与视频帧不匹配，则视频帧在播放设备上显示时会产生视频播放不均匀、画面特效显示位置错乱等问题，极大的影响用户的观看体验。

一般地，在直播、短视频拍摄等需要实时播放显示的场景下，视频采集设备会以某一固定生产帧率生产与目标拍摄对象对应的多个视频帧，并将生产的多个视频帧以相同的目标时间间隔依次传输给播放设备。其中，目标时间间隔与视频采集设备的生产帧率相匹配，比如：若视频采集设备对应的生产帧率为30帧每秒(Frames per second，简称fps)，那么视频采集设备每隔33.3毫秒传输一个生产完成的视频帧给播放设备，其中，33.3毫秒即为与帧率30fps相匹配的目标时间间隔。

播放设备在获取到视频采集设备依次传输的多个视频帧后，实时的对获取到的视频帧进行特效关键点的检测，以便根据检测到的特效关键点，确定各视频帧分别对应的待渲染特效。比如：检测视频帧i中人物五官的关键点等，以确定为视频帧i中的人物添加美妆特效等。进一步地，在到达与播放设备的渲染帧率对应的渲染时间点时，依次渲染获取到的视频帧以及视频帧对应的待渲染特效，也即播放设备以与渲染帧率相匹配的时间间隔，渲染获取到的视频帧以及视频帧对应的待渲染特效，比如：若播放设备对应的渲染帧率为30fps，则播放设备每隔33.3毫秒渲染一帧视频帧以及该视频帧对应的待渲染特效。

可以理解的是，检测任一个视频帧的特效关键点都需要消耗一定的检测时间，且不同的视频帧由于包含的待检测对象不同，对应的检测时间也不相同。实际应用中，当到达播放设备对应的渲染时间点时，若对应视频帧的特效关键点尚未检测完成，则可能出现无法渲染特效或者渲染的特效位置不准确的问题。在一些特殊的应用场景中，比如美妆特效渲染场景中，若特效渲染的位置不准确，则会给用户产生不好的使用体验。

为了便于理解特效关键点对应的检测时间对视频帧的特效渲染的影响，结合图2进行说明。

图2为本发明实施例提供的一种视频播放过程的场景示意图，如图2所示，视频采集设备从时间点t0开始，分别在时间点t0、t1、t2和t3将生产的视频帧1、视频帧2、视频帧3和视频帧4依次传输给播放设备。其中，时间点t0、t1、t2和t3中任意两个相邻时间点之间的时间间隔均为Δt，也即视频采集设备对应的目标时间间隔为Δt。假设播放设备对应的渲染帧率与视频采集设备的生产帧率相同，播放设备对应的渲染时间点为时间点t1、t2、t3和t4等相邻时间间隔为Δt的时间点。

播放设备在间点t0获取到视频帧1后，由于当前不存在正在进行特效关键点检测的视频帧，因此，可直接对视频帧1进行特效关键点检测，以根据检测到的特效关键点，确定与视频帧1对应的待渲染特效。如图2所示，视频帧1的特效关键点检测时长为Δt1，由于Δt1小于Δt，t0+Δt1小于t1，因此，当到达渲染时间点t1时，能够同时渲染视频帧1以及视频帧1对应的待渲染特效。

播放设备在间点t1获取到视频帧2后，由于当前不存在正在进行特效关键点检测的视频帧，因此，可直接对视频帧2进行特效关键点检测，以根据检测到的特效关键点，确定与视频帧2对应的待渲染特效。如图2所示，视频帧2的特效关键点检测时长为Δt2，由于Δt2大于Δt，t1+Δt2大于t2，因此，当到达渲染时间点t2时，视频帧2的特效关键点检测尚未完成，无法同时渲染视频帧2以及视频帧2对应的待渲染特效，通常播放设备会渲染上一帧视频帧以及对应特效，即视频帧1以及视频帧1对应的待渲染特效，或者渲染视频帧2以及上一帧视频帧对应特效(图2中未进行示意)。

播放设备在间点t2获取到视频帧3后，由于当前视频帧2仍在进行特效关键点检测，因此，无法对视频帧3进行特效关键点检测。如图2所示，由于t1+Δt2大于t2，小于t3，因此，当到达渲染时间点t3时，视频帧2的特效关键点检测完成，能够同时渲染视频帧2以及视频帧2对应的待渲染特效。

播放设备在间点t3获取到视频帧4后，由于当前不存在正在进行特效关键点检测的视频帧，因此，可直接对视频帧4进行特效关键点检测(视频帧3不再进行特效关键点的检测)，以根据检测到的特效关键点，确定与视频帧4对应的待渲染特效。如图2所示，与视频帧2类似地，视频帧4的特效关键点检测时长为Δt2大于Δt，t3+Δt2大于t4，因此，当到达渲染时间点t4时，视频帧4的特效关键点检测尚未完成，无法同时渲染视频帧4以及视频帧4对应的待渲染特效。

基于上述图2所示意的情形，不难发现，当视频帧对应的特效关键点的检测时长不一致且检测时长大于播放设备的渲染时间点之间的时间间隔Δt时，按照与播放设备的渲染帧率对应的渲染时间点进行渲染，会导致部分视频帧以及对应特效不能被及时渲染，或者渲染的视频帧与特效之间不匹配，比如视频帧2等，或者不被渲染比如视频帧3，影响视频渲染的流畅性以及准确性。

为解决上述至少一个技术问题，本发明实施例提供了如图1所示的视频处理方法，该方法通过综合播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长和播放设备的帧率，重新确定与播放设备的渲染帧率相匹配的渲染获取到的多个视频帧的渲染时间点，即目标渲染时间点，以实现每到达一个目标渲染时间点时，已完成对当前待检测视频帧的检测，保证对获取到的视频帧以及视频帧对应的特效渲染的均匀性和正确性。

可选地，获取播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，包括：从播放设备历史检测的多个视频帧中选取多个历史视频帧，将选取的多个历史视频帧对应的特效关键点检测时长作为用于确定播放设备目标渲染时间点的多个历史检测时长。

其中，从播放设备历史检测的多个视频帧中选取多个历史视频帧，包括：从播放设备历史检测的多个视频帧中选取已检测的特效关键点类型与当前待进行检测的特效关键点类型相同的多个历史视频帧，比如：均为对四肢进行特效关键点检测，检测的特效关键点均包括关节1、关节2、…、关节n等。

可选地，获取播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，还包括：在进行特效关键点检测之前，播放设备对预先存储的多个视频帧进行相同类型的特效关键点检测，确定多个视频帧分别对应的检测时长为用于确定播放设备目标渲染时间点的多个历史检测时长。其中，在进行关键点检测之前，播放设备对预先存储的多个视频帧进行特效关键点检测得到的多个历史检测时长，能够更加准确的反映播放设备当前的特效关键点检测能力。

具体实施过程中，根据多个历史检测时长和播放设备的渲染帧率，确定依次获取到的多个视频帧分别对应的目标渲染时间点，包括：

从多个历史检测时长中确定目标检测时长，目标检测时长对应的历史检测时长大于多个历史检测时长中的其他历史检测时长；根据目标检测时长和播放设备的渲染帧率，确定多个视频帧分别对应的目标渲染时间点。

实际应用中，视频采集设备对应的生产帧率和播放设备对应渲染帧率可以相同或不同。本实施例中，以生产帧率与渲染帧率相同为例进行举例说明。容易理解的是，当生产帧率与渲染帧率相同时，与渲染帧率匹配的渲染时间点之间的时间间隔等于与生产帧率匹配的目标时间间隔。

本实施例中，将播放设备根据帧率原本确定的渲染时间点称为初始渲染时间点，比如图2中的时间点t1、t2等，将播放设备根据多个历史检测时长对初始渲染时间点进行调整后得到的时间点称为目标渲染时间点，相邻的初始渲染时间点或目标渲染时间点之间的时间间隔均为目标时间间隔。

在根据目标检测时长和播放设备的渲染帧率，确定多个视频帧分别对应的目标渲染时间点时，若目标检测时长小于等于目标时间间隔，则保持播放设备根据渲染帧率确定的初始渲染时间点不变，也即按照播放设备原本对应的渲染时间点进行渲染，播放设备的初始渲染时间点即为目标渲染时间点。若目标检测时长大于目标时间间隔，则确定初始渲染时间点延迟目标时长后对应的时间点为目标渲染时间点，目标时长与所述目标检测时长匹配。

可选地，在确定目标时长时，可以确定目标检测时长与目标时间间隔的比值；确定比值向上取整后的数值与目标时间间隔的乘积为目标时长。或者，以目标检测时长为目标时长。

为便于理解举例来说，假设获取到的播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长分别为T1、T2、…、Tn，且T1、T2、…、Tn中的最大值为Tn，则确定目标检测时长为Tn。若Tn小于等于目标时间间隔Δt，则表明播放设备检测特效关键点的能力较强，通常能够在Δt内完成对视频帧的特效关键点的检测。在这种情况下，播放设备在任一个初始渲染时间点，都能够渲染当前待渲染的视频帧以及视频帧对应的待渲染特效。

举例来说，图3为本发明实施例提供的另一种视频播放过程的场景示意图，如图3所示，视频采集设备分别在时间点t0、t1、t2和t3将生产的视频帧1、视频帧2、视频帧3和视频帧4依次传输给播放设备。其中，时间点t0、t1、t2和t3中任意两个相邻时间点之间的时间间隔均为Δt，也即视频采集设备对应的目标时间间隔为Δt。假设播放设备对应的初始渲染时间点为时间点t1、t2、t3和t4等相邻时间间隔为Δt的时间点。

如图3所示，若视频帧1、视频帧2、视频帧3和视频帧4对应的检测时长均为Δt1，由于Δt1未超过目标时间间隔Δt，因此，当到达渲染时间点t1时，能够同时渲染视频帧1以及视频帧1对应的待渲染特效；当到达渲染时间点t2时，能够同时渲染视频帧2以及视频帧2对应的待渲染特效；当到达渲染时间点t3时，能够同时渲染视频帧3以及视频帧3对应的待渲染特效，以此类推。初始渲染时间点为时间点t1、t2、t3和t4即为目标渲染时间点。

而当多个历史检测时长T1、T2、…、Tn对应的目标检测时长为Tn大于目标时间间隔Δt，则表明播放设备检测特效关键点的能力较弱，通常不能够在Δt内完成对视频帧的特效关键点的检测。在这种情况下，当到达播放设备对应的初始渲染时间点时，可能存在当前待渲染的视频帧尚未检测完特效关键点的情况，从而无法渲染当前待渲染的视频帧以及视频帧对应的待渲染特效。

举例来说，图4为本发明实施例提供的又一种视频播放过程的场景示意图，如图4所示，视频采集设备分别在时间点t0、t1、t2和t3将生产的视频帧1、视频帧2、视频帧3和视频帧4依次传输给播放设备。其中，时间点t0、t1、t2和t3中任意两个相邻时间点之间的时间间隔均为Δt，也即视频采集设备对应的目标时间间隔为Δt。假设播放设备对应的初始渲染时间点为时间点t1、t2、t3和t4等相邻时间间隔为Δt的时间点。

如图4所示，若视频帧1、视频帧2、视频帧3和视频帧4对应的检测时长均为Δt2，其中，Δt2大于Δt且小于2Δt，则按照初始渲染时间点进行渲染时，与图2所示实施例类似地，t1等时间点会出现不能同步渲染视频帧1及其对应的特效关键点的情况。假设Δt2为1.5Δt，则Δt2与Δt的比值为1.5，1.5进行向上取整后为2，进一步地，确定初始渲染时间点t1、t2、t3和t4延迟目标时长2Δt后对应的时间点t3、t4等为目标渲染时间点。具体来说，初始渲染时间点t1延迟目标时长2Δt后对应的时间点(t1+2Δt＝t3)为初始渲染时间点目标渲染时间点，以此类推。从而确保视频帧1、视频帧2、视频帧3和视频帧4对应的目标渲染时间点晚于视频帧1、视频帧2、视频帧3和视频帧4对应的特效关键点检测完成的时间点。

实际应用中，由于视频帧对应的特效关键点的检测时长较长，从而可能不是每帧视频帧都能被检测关键点，但是这对特效渲染的影响较小。如图4所示，虽然视频帧1、视频帧2、视频帧3和视频帧4在进行特效关键点检测时，由于检测时长较长仅检测了视频帧1和视频帧3，但是，可以通过其他方式确定视频帧2和视频帧4对应的特效关键点，比如：将视频帧1和视频帧3对应的特效关键点进行插值处理，以确定视频帧2对应的特效关键点。从而，当到达由初始渲染时间点延迟处理后的目标渲染时间点时，能够保证当前待渲染的视频帧与待渲染视频帧对应的待渲染特效均能被渲染。例如，当到达渲染时间点t3时，能够同时渲染视频帧1以及视频帧1对应的待渲染特效；当到达渲染时间点t4时，能够同时渲染视频帧2以及视频帧2对应的待渲染特效；当到达渲染时间点t5时，能够同时渲染视频帧3以及视频帧3对应的待渲染特效，以此类推。

实际应用中，为保证视频帧的顺序渲染，可选地，视频帧携带有时间戳，该时间戳用于表明各视频帧的生产顺序，从而在进行渲染时，能够根据各视频帧携带的时间戳，按照从早到晚的时间顺序，渲染各视频帧。

不同的播放设备检测视频帧中的特效关键点的能力各有不同，为了加快视频帧序列中各视频帧的特效关键点的检测效率和准确度，可选地，播放设备可以根据自身的检测能力，设置相应的检测间隔，比如：每隔一帧进行一次特效关键点检测。在进行特效关键点检测时，以预设的检测间隔，检测多个视频帧中部分视频帧对应的特效关键点；根据部分视频帧对应的特效关键点，确定视频帧序列中未被检测的其他视频帧对应的特效关键点。比如：检测间隔为1，则针对视频帧1、视频帧2和视频帧3，检测视频帧1和视频帧3对应的特效关键点，通过插值视频帧1和视频帧3的特效关键点，确定视频帧2对应的特效关键点。

本方案中，根据播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，重新确定了播放设备渲染获取到的多个视频帧的渲染时间点，保证每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点，从而在目标渲染时间点渲染视频帧的同时也能够渲染该视频帧中的特效关键点对应的待渲染特效，使得特效与视频帧之间相匹配，提升视频画面渲染的质量。

以下将详细描述本发明的一个或多个实施例的视频处理装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图5为本发明实施例提供的一种视频处理装置的结构示意图，应用于播放设备，如图5所示，该装置包括：获取模块11、检测模块12、处理模块13、渲染模块14。

获取模块11，用于获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，所述目标时间间隔与所述视频采集设备的生产帧率匹配。

检测模块12，用于检测所述多个视频帧分别对应的特效关键点；根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

处理模块13，用于根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点。

渲染模块14，用于在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

可选地，所述渲染帧率与所述生产帧率相同，相邻的所述目标渲染时间点之间的时间间隔为所述目标时间间隔。所述处理模块13，具体用于从所述多个历史检测时长中确定目标检测时长，所述目标检测时长对应的历史检测时长大于所述多个历史检测时长中的其他历史检测时长；根据所述目标检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点。

可选地，所述处理模块13，还用于若所述目标检测时长小于等于所述目标时间间隔，则保持所述播放设备根据所述渲染帧率确定的初始渲染时间点不变；若所述目标检测时长大于所述目标时间间隔，则确定所述初始渲染时间点延迟目标时长后对应的时间点为所述目标渲染时间点，所述目标时长与所述目标检测时长匹配。

可选地，所述处理模块13，还具体用于确定所述目标检测时长与所述目标时间间隔的比值；确定所述比值向上取整后的数值与所述目标时间间隔的乘积为所述目标时长。

可选地，所述检测模块12，还用于以预设的检测间隔，检测所述多个视频帧中部分视频帧对应的特效关键点；根据所述部分视频帧对应的特效关键点，确定所述视频帧序列中未被检测的其他视频帧对应的特效关键点。

可选地，所述处理模块13，还具体用于建立第一线程和第二线程，所述第一线程和所述第二线程之间存在通信关系；其中，所述第一线程用于检测所述多个视频帧分别对应的特效关键点，以及根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；所述第二线程用于在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

图5所示装置可以执行前述实施例中介绍的步骤，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图5所示视频处理装置的结构可实现为一电子设备，如图6所示，该电子设备可以包括：存储器21、处理器22、通信接口23。其中，存储器21上存储有可执行代码，当所述可执行代码被处理器22执行时，使处理器22至少可以实现如前述实施例中提供的视频处理方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的视频处理方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频处理方法，其特征在于，应用于播放设备，包括：

获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，所述目标时间间隔与所述视频采集设备的生产帧率匹配；

检测所述多个视频帧分别对应的特效关键点；

根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点；

在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

2.根据权利要求1所述的方法，其特征在于，所述渲染帧率与所述生产帧率相同，相邻的所述目标渲染时间点之间的时间间隔为所述目标时间间隔。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，包括：

从所述多个历史检测时长中确定目标检测时长，所述目标检测时长对应的历史检测时长大于所述多个历史检测时长中的其他历史检测时长；

根据所述目标检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，包括：

若所述目标检测时长小于等于所述目标时间间隔，则保持所述播放设备根据所述渲染帧率确定的初始渲染时间点不变；

若所述目标检测时长大于所述目标时间间隔，则确定所述初始渲染时间点延迟目标时长后对应的时间点为所述目标渲染时间点，所述目标时长与所述目标检测时长匹配。

5.根据权利要求4所述的方法，其特征在于，所述目标时长通过如下方式确定：

确定所述目标检测时长与所述目标时间间隔的比值；

确定所述比值向上取整后的数值与所述目标时间间隔的乘积为所述目标时长。

6.根据权利要求1所述的方法，其特征在于，所述检测所述多个视频帧分别对应的特效关键点，包括：

以预设的检测间隔，检测所述多个视频帧中部分视频帧对应的特效关键点；

根据所述部分视频帧对应的特效关键点，确定所述视频帧序列中未被检测的其他视频帧对应的特效关键点。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

建立第一线程和第二线程，所述第一线程和所述第二线程之间存在通信关系；

其中，所述第一线程用于检测所述多个视频帧分别对应的特效关键点，以及根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

所述第二线程用于在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

8.一种视频处理装置，其特征在于，应用于播放设备，包括：

获取模块，用于获取视频采集设备以目标时间间隔依次生产的多个视频帧，以及播放设备检测多个历史视频帧中的特效关键点对应的多个历史检测时长，所述目标时间间隔与所述视频采集设备的生产帧率匹配；

检测模块，用于检测所述多个视频帧分别对应的特效关键点；根据所述特效关键点，确定所述多个视频帧分别对应的待渲染特效；

处理模块，用于根据所述多个历史检测时长和所述播放设备的渲染帧率，确定所述多个视频帧分别对应的目标渲染时间点，每一视频帧对应的所述目标渲染时间点晚于每一视频帧对应的特效关键点检测完成的时间点；

渲染模块，用于在所述目标渲染时间点渲染所述多个视频帧以及所述多个视频帧分别对应的待渲染特效。

9.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的视频处理方法。

10.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的视频处理方法。