CN116092147A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、电子设备及存储介质，所述方法包括：基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；关键点位移量序列包括当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，关键点位移量表示所述两两相邻的检测帧中人脸关键点位置的变化程度；基于更新后的关键点位移量序列，确定目标处理模式；所述目标处理模式用于从所述待处理视频中选取所述当前检测帧之后的下一个检测帧，并对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。该方法可实现在最大限度保障人脸检测效果准确的同时，降低设备的功耗。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种视频处理方法、装置、电子设备、存储介质及程序产品。

背景技术

人脸关键点检测是在没有任何尺度和位置的先验条件下，预测人脸的关键点坐标。近年来，随着深度学习的发展，人脸关键点检测逐渐趋于准确且高效。但随着应用场景越发复杂，对人脸关键点检测任务在不同场景、不同模式下提出了更加严苛的要求。譬如用户在拍摄个人视频作品或者进行直播时，智能美妆几乎是不可或缺的功能，智能美妆作为一项基于人脸关键点的技术，主要通过人脸关键点坐标对视频或图片中的人脸进行智能化妆，包括增加口红、眼影、眼线、美瞳等等。因此，呈现出的最终美妆效果很大程度上取决于人脸关键点检测结果是否准确。

然而，当视频中的人脸快速移动时，当前算法流程在跟踪逻辑存在的前提下，存在跟踪框不够准确的问题，尤其是人脸移动较快时问题更加严重。而若要提高跟踪框的准确度，则需要对视频中的图像帧进行逐帧检测，较高的检测频率需要移动端设备具有更高的计算能力。因此，现有方法难以兼顾移动端功耗以及人脸快速移动场景下人脸检测精度。

发明内容

本公开提供一种视频处理方法、装置、电子设备、存储介质及程序产品，以至少解决相关技术中难以兼顾移动端功耗以及人脸快速移动场景下人脸检测精度的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，包括：

基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；所述关键点位移量序列包括所述当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，所述关键点位移量表示所述两两相邻的检测帧中人脸关键点位置的变化程度；

基于更新后的关键点位移量序列，确定目标处理模式；所述目标处理模式用于从所述待处理视频中选取所述当前检测帧之后的下一个检测帧，并对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息；

其中，所述目标处理模式为第一处理模式或第二处理模式；所述第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，所述第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

在一示例性实施例中，所述基于更新后的关键点位移量序列，确定目标处理模式，包括：

若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定所述目标处理模式为所述第一处理模式；

若所述更新后的关键点位移量序列中的任一个关键点位移量大于或等于所述阈值，则确定所述目标处理模式为所述第二处理模式。

在一示例性实施例中，在基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：

若所述目标处理模式为第一处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相隔预设帧数的视频帧，作为下一个检测帧；

通过所述第一处理模式对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；

基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，在基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：

若所述目标处理模式为第二处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相邻的视频帧，作为下一个检测帧；

通过所述第二处理模式对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；

基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，所述对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的初始人脸关键点位置信息；

根据所述初始人脸关键点位置信息，得到新的人脸边界框；

通过所述新的人脸边界框对所述下一个检测帧进行裁剪处理，得到新的人脸图像；

对所述新的人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，所述方法还包括：

针对从所述待处理视频中选取的连续两个检测帧，根据所述连续两个检测帧中的关键点位移量，得到人脸清晰度信息；

按照人脸清晰度信息与上妆强度成正相关的关系，对所述连续两个检测帧中的人脸进行上妆处理。

在一示例性实施例中，所述根据所述连续两个检测帧中的关键点位移量，得到人脸清晰度信息，包括：

通过人脸清晰度度量函数，对所述连续两个检测帧中的关键点位移量进行处理，得到所述人脸清晰度信息；

所述人脸清晰度度量函数按照人脸清晰度信息与关键点位移量成负相关的关系确定。

在一示例性实施例中，所述根据检测得到的人脸关键点位置信息，更新关键点位移量序列，包括：

获取所述当前检测帧的前一个检测帧的人脸关键点位置信息；

基于所述当前检测帧的人脸关键点位置信息和所述前一个检测帧的人脸关键点位置信息，得到新的关键点位移量；

将所述新的关键点位移量加入所述关键点位移量序列，得到更新后的关键点位移量序列。

根据本公开实施例的第二方面，提供一种视频处理装置，包括：

更新单元，被配置为执行基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；所述关键点位移量序列包括所述当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，所述关键点位移量表示所述两两相邻的检测帧中人脸关键点位置的变化程度；

确定单元，被配置为执行基于更新后的关键点位移量序列，确定目标处理模式；所述目标处理模式用于从所述待处理视频中选取所述当前检测帧之后的下一个检测帧，并对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息；

其中，所述目标处理模式为第一处理模式或第二处理模式；所述第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，所述第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

在一示例性实施例中，所述确定单元，还被配置为执行若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定所述目标处理模式为所述第一处理模式；若所述更新后的关键点位移量序列中的任一个关键点位移量大于或等于所述阈值，则确定所述目标处理模式为所述第二处理模式。

在一示例性实施例中，所述装置还包括检测单元，被配置为执行若所述目标处理模式为第一处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相隔预设帧数的视频帧，作为下一个检测帧；对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，所述检测单元，还被配置为执行若所述目标处理模式为第二处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相邻的视频帧，作为下一个检测帧；对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，所述检测单元，还被配置为执行对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的初始人脸关键点位置信息；根据所述初始人脸关键点位置信息，得到新的人脸边界框；通过所述新的人脸边界框对所述下一个检测帧进行裁剪处理，得到新的人脸图像；对所述新的人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，所述装置还包括上妆单元，被配置为执行针对从所述待处理视频中选取的连续两个检测帧，根据所述连续两个检测帧中的关键点位移量，得到人脸清晰度信息；按照人脸清晰度信息与上妆强度成正相关的关系，对所述连续两个检测帧中的人脸进行上妆处理。

在一示例性实施例中，所述上妆单元，还被配置为执行通过人脸清晰度度量函数，对所述连续两个检测帧中的关键点位移量进行处理，得到所述人脸清晰度信息；所述人脸清晰度度量函数按照人脸清晰度信息与关键点位移量成负相关的关系确定。

在一示例性实施例中，所述更新单元，还被配置为执行获取所述当前检测帧的前一个检测帧的人脸关键点位置信息；基于所述当前检测帧的人脸关键点位置信息和所述前一个检测帧的人脸关键点位置信息，得到新的关键点位移量；将所述新的关键点位移量加入所述关键点位移量序列，得到更新后的关键点位移量序列。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上任一项所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上任一项所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列，而关键点位移量可表示人脸关键点位置的变化程度，由人脸关键点位置的变化程度可以得到人脸清晰度信息，由此根据更新后的关键点位移量序列，可准确确定后续视频帧是间隔进行人脸关键点检测还是逐帧进行人脸关键点检测，这种基于更新后的关键点位移量序列进行动态模式切换的方式，可实现在保障人脸检测效果准确的同时，降低设备的功耗。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的流程示意图。

图2是根据一示例性实施例示出的动态模式切换策略的示意图。

图3是根据一示例性实施例示出的通过第一处理模式进行人脸关键点检测的流程示意图。

图4是根据一示例性实施例示出的通过第二处理模式进行人脸关键点检测的流程示意图。

图5是根据一示例性实施例示出的人脸清晰度度量函数F的函数图像。

图6是根据另一示例性实施例示出的视频处理方法的流程示意图。

图7是根据一示例性实施例示出的视频处理方法的整体框架示意图。

图8是根据一示例性实施例示出的一种视频处理装置的结构框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

在一示例性实施例中，如图1所示，提供了一种视频处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：

在步骤S110中，基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；关键点位移量序列包括当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，关键点位移量表示两两相邻的检测帧中人脸关键点位置的变化程度。

其中，关键点位移量可用于确定连续检测帧中人脸的清晰度。

其中，关键点位移量序列中包括的关键点位移量的数目可以为固定值，记为M，即关键点位移量序列可用于存储最近检测的连续M+1个检测帧中两两相邻的检测帧之间的关键点位移量。

其中，当前检测帧中的人脸关键点位置信息可以通过第一处理模式得到，也可以通过第二处理模式得到。

其中，用于计算关键点位移量中的关键点应为人脸中相对固定，不容易随人脸表情动作变化的关键点，例如，鼻尖、耳朵等，而如嘴巴等的关键点，由于会随着说话而变化较大，因此，则不适合用于计算关键点位移量。

具体实现中，在完成一个检测帧的关键点检测处理，得到人脸关键点位置信息后，为了与人脸的清晰度相匹配，可进行动态模式切换策略的判定，确定用哪一种处理模式选取和处理下一个检测帧。具体可根据得到的人脸关键点位置信息更新关键点位移量序列，以保证更新后的关键点位移量序列中存储的关键点位移量为距当前时间最近的几个关键点位移量，从而便于通过关键点位移量序列进行目标处理模式的确定。

更具体地，根据得到的人脸关键点位置信息更新关键点位移量序列可包括：根据当前检测帧的人脸关键点位置信息和前一个检测帧的人脸关键点位置信息，得到新的关键点位移量，将新的关键点位移量加入关键点位移量序列，并剔除关键点位移量序列中存入时间最早的关键点位移量，得到更新后的关键点位移量序列。

在步骤S120中，基于更新后的关键点位移量序列，确定目标处理模式；目标处理模式用于从待处理视频中选取当前检测帧之后的下一个检测帧，并对下一个检测帧进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

其中，目标处理模式为第一处理模式或第二处理模式；第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

其中，下一个检测帧可能与当前检测帧相邻，也可能与当前检测帧相隔预设帧数。

具体实现中，动态模式切换策略可通过对连续m帧人脸关键点位置的变化情况进行监控，并设定阈值。当更新后的关键点位移量序列中的各个关键点位移量均小于阈值，表明人脸位置的变化较小，可判定人脸移动速度较慢，清晰度较高，此时为减少移动端设备算力的功耗和处理时间，可采取间隔检测的方式对待处理视频进行人脸关键点检测处理，即确定目标处理模式为第一处理模式，由此实现在移动端设备低功耗的前提下保证检测帧中人脸关键点的时序稳定性。

当更新后的关键点位移量序列中任一个关键点位移量大于或等于阈值时，表明人脸位置的变化较大，从而可判定人脸移动速度过快，清晰度较低，为避免检测到的人脸区域滞后或误检，可采取逐帧检测的方式对待处理视频进行人脸关键点检测处理，即确定目标处理模式为第二处理模式，此时通过逐帧进行人脸检测可以获得更加精准的人脸关键点，保证人脸快速移动时关键点位置的准确。

参考图2，为一示例性实施例示出的动态模式切换策略的示意图，以鼻尖作为计算关键点位移量的关键点为例，在每完成待处理视频中的一个检测帧的人脸关键点检测之后，可进行一次动态模式切换策略的判断。若连续m帧中鼻尖关键点位移量均小于阈值T1，则判定为不存在人脸快速移动，可将处理模式切换为第一处理模式或继续使用第一处理模式。若连续m帧中鼻尖关键点位移量大于或等于阈值T1，则判定为存在人脸快速移动，则将模式切换为第二处理模式或继续使用第二处理模式。

上述视频处理方法中，基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列，而关键点位移量可表示人脸关键点位置的变化程度，由人脸关键点位置的变化程度可以得到人脸清晰度信息，由此根据更新后的关键点位移量序列，可准确确定后续视频帧是间隔进行人脸关键点检测还是逐帧进行人脸关键点检测，这种基于更新后的关键点位移量序列进行动态模式切换的方式，可实现在最大限度保障人脸检测效果准确的同时，降低设备的功耗。

在一示例性实施例中，在步骤S120中，基于更新后的关键点位移量序列，确定目标处理模式，包括：

步骤S1201，若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定目标处理模式为第一处理模式；

步骤S1202，若更新后的关键点位移量序列中的任一个关键点位移量大于或等于阈值，则确定目标处理模式为第二处理模式。

具体实现中，若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，表明人脸位置的变化较小，可判定人脸移动速度较慢，此时为减少移动端设备算力的功耗和处理时间，可采取间隔检测的方式对待处理视频进行人脸关键点检测处理，即确定目标处理模式为第一处理模式，由此实现在移动端设备低功耗的前提下保证视频帧中人脸关键点的时序稳定性。当更新后的关键点位移量序列中最近的几个关键点位移量大于或等于阈值时，表明人脸位置的变化较大，从而可判定人脸移动速度过快，为避免检测到的人脸区域滞后或误检，可采取逐帧检测的方式对待处理视频进行人脸关键点检测处理，即确定目标处理模式为第二处理模式，此时通过逐帧进行人脸检测可以获得更加精准的人脸关键点，保证人脸快速移动时关键点位置的准确。

本实施例中，在人脸快速移动的期间使用第二处理模式，通过逐帧人脸检测可以获得更加精准的人脸关键点，保证人脸快速移动时关键点位置的准确。在人脸相对位置稳定的期间使用第一处理模式，在移动端设备低功耗的前提下保证了视频帧中人脸关键点的时序稳定性。通过动态模式切换策略可以解决现有方法无法兼顾移动端功耗以及人脸快速移动场景下人脸检测精度的问题。

在一示例性实施例中，在步骤S120，基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：若目标处理模式为第一处理模式，则选取位于当前检测帧之后，且与当前检测帧相隔预设帧数的视频帧，作为下一个检测帧。

通过第一处理模式对下一个检测帧进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息，包括：对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；对人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

具体实现中，当处理模式为第一处理模式时，可按照预设的间隔帧数n，将当前检测帧之后的第n+1个视频帧作为下一个检测帧。

参考图3，为一示例性实施例中通过第一处理模式进行人脸关键点检测的流程示意图，本申请中在不存在人脸快速移动时会触发第一处理模式。在第一处理模式下，对选取的下一个检测帧进行人脸关键点检测的过程包括：将选取的下一个检测帧输入人脸检测模型M1，得到下一个检测帧的人脸边界框，对两个检测帧中的视频帧的人脸边界框进行补全后，通过人脸边界框对下一个检测帧进行裁剪，得到下一个检测帧中局部的人脸图像，将该局部的人脸图像输入人脸关键点检测模型M2中，得到下一个检测帧的人脸关键点位置信息，根据下一个检测帧的人脸关键点位置信息更新关键点位移量序列，返回步骤S120，再次进行动态模式切换策略的判定。

此外，在第一处理模式下，相邻两个检测帧之间的视频帧的人脸关键点检测可依据该相邻两个检测帧中靠前的检测帧的人脸边界框，无需重新选择人脸边界框，从而可降低关键点抖动的风险。

本实施例中，通过第一处理模式间隔进行检测帧的选取，降低了对移动端的算力要求，功耗较低，处理时间较短。同时，第一处理模式还保证了关键点检测效果的稳定性，极大的降低了关键点抖动的风险。

在一示例性实施例中，在步骤S120，基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：若目标处理模式为第二处理模式，则选取位于当前检测帧之后，且与当前检测帧相邻的视频帧，作为下一个检测帧。

通过第二处理模式对下一个检测帧进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息，包括：对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；对人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

具体实现中，当处理模式为第二处理模式时，可选取位于当前检测帧之后，且与当前检测帧相邻的视频帧，作为下一个检测帧。

进一步地，在一示例性实施例中，对人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息，包括：对人脸图像进行人脸关键点检测处理，得到下一个检测帧的初始人脸关键点位置信息；根据初始人脸关键点位置信息，得到新的人脸边界框；通过新的人脸边界框对下一个检测帧进行裁剪处理，得到新的人脸图像；对新的人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

参考图4，为一示例性实施例中通过第二处理模式进行人脸关键点检测的流程示意图，本申请中在存在人脸快速移动时会触发第二处理模式。在第二处理模式下，对选取的下一个检测帧进行人脸关键点检测的过程包括：将选取的下一个检测帧输入人脸检测模型M1，得到下一个检测帧的人脸边界框，人脸边界框对下一个检测帧进行裁剪，得到下一个检测帧中局部的人脸图像，将该局部的人脸图像输入人脸关键点检测模型M2中，得到下一个检测帧的初始人脸关键点位置信息，根据初始人脸关键点位置信息，得到新的人脸边界框。通过新的人脸边界框修正人脸关键点检测结果，具体地，可利用所述新的人脸边界框再次对所述下一个检测帧进行裁剪处理，得到新的人脸图像；将所述新的人脸图像再次输入人脸关键点检测模型，得到所述下一个检测帧的人脸关键点位置信息。

上述实施例中，通过第二处理模式逐帧进行人脸检测，可以避免由于输入的人脸边界框不准确导致的人脸关键点检测效果差的问题。因此，所以该处理模式可以很好的缓解在人脸快速移动的场景下人脸关键点滞后的问题。

可以理解的是，智能美妆作为一项基于人脸关键点的技术，主要通过人脸关键点坐标对视频或图片中的人脸进行智能化妆，包括增加口红、眼影、眼线、美瞳等等。因此，呈现出的最终美妆效果很大程度上取决于人脸关键点检测结果是否准确。然而，当视频中的人脸快速移动时，当前算法流程在跟踪逻辑存在的前提下，存在跟踪框不够准确的问题，尤其是人脸移动较快时问题更加严重。人脸跟踪框滞后直接导致人脸关键点检测结果滞后，进而导致美妆效果滞后，同时人脸快速移动也带来了上妆浓度突兀等问题，严重影响智能美妆功能的用户体验。且人脸快速移动过程中的视频帧会明显呈现出运动模糊，而美妆的上妆强度却没有和人脸模糊程度保持一致，导致出现人脸较为模糊但上妆强度过高导致的不自然现象。

针对人脸快速移动过程中视频帧运动模糊导致美妆效果不自然的问题，在前述提出的通过动态模式切换策略进行人脸关键点检测的基础上，本申请还提出了根据清晰度自适应美妆强度的方法。

在一示例性实施例中，根据清晰度自适应美妆强度的方法包括：

步骤S210，针对从待处理视频中选取的连续两个检测帧，根据连续两个检测帧中的人脸关键点位移量，得到人脸清晰度信息；

步骤S220，按照人脸清晰度信息与上妆强度成正相关的关系，对连续两个检测帧中的人脸进行上妆处理。

具体实现中，在用于对个人视频作品或者直播视频进行美妆时，针对从视频中动态选取的连续两个检测帧，通过前述的人脸关键点检测方法检测得到这两个检测帧的人脸关键点位置信息后，根据人脸关键点位置信息，计算同一个关键点的变化量，作为连续两个检测帧中的人脸关键点位移量，然后通过人脸清晰度度量函数F，对连续两个检测帧中的关键点位移量进行处理，得到人脸清晰度信息。最后按照人脸清晰度信息与上妆强度成正相关的关系，对连续两个检测帧中的人脸进行上妆处理，即人脸移动较慢、清晰度较高时，对应的上妆强度可较大，使得妆容清晰，而人脸移动速度较快、清晰度较低，尤其造成模糊时，适应性地减弱美妆上妆强度，使得妆容更加自然。

进一步地，在一示例性实施例中，步骤S210中根据连续两个检测帧中的人脸关键点位移量，得到人脸清晰度信息，包括：通过人脸清晰度度量函数，对连续两个检测帧中的关键点位移量进行处理，得到人脸清晰度信息；人脸清晰度度量函数按照人脸清晰度信息与关键点位移量成负相关的关系确定。

具体地，人脸清晰度度量函数F的关系式可表示为：

F(x)＝cos(π(max(0.3,min(0.8,x))-0.3))

其中，x表示关键点位移量，F(x)可表示输出的人脸清晰度s。

参考图5，为人脸清晰度度量函数F的函数图像，横坐标表示关键点位移量，纵坐标表示人脸清晰度s，将人脸清晰度s与初始美妆强度相乘，得到最终自适应的美妆强度值，另外，可以理解在一定的关键点位移量范围内，人脸清晰度可视为不变，例如在图5中，可设定在0-0.3以及0.8-1的关键点位移量范围内，人脸清晰度不变，因此在这两个关键点位移量范围内，上妆强度也不变。

上述实施例中，通过人脸清晰度度量，按照美妆效果的上妆强度与清晰度成正相关关系，自适应地调整上妆强度，对人脸进行上妆，可以避免出现人脸模糊但妆容明显的突兀现象，从而解决人脸快速移动过程中视频帧运动模糊导致美妆效果不自然的问题。

在一示例性实施例中，步骤S110中，根据检测得到的人脸关键点位置信息，更新关键点位移量序列，包括：

步骤S1101，获取当前检测帧的前一个检测帧的人脸关键点位置信息；

步骤S1102，基于当前检测帧的人脸关键点位置信息和前一个检测帧的人脸关键点位置信息，得到新的关键点位移量；

步骤S1103，将新的关键点位移量加入关键点位移量序列，得到更新后的关键点位移量序列。

具体实现中，可计算检测得到的当前视频帧的人脸关键点位置信息和前一个视频帧的人脸关键点位置信息之间的差值，得到新的关键点位移量。将新的关键点位移量加入关键点位移量序列，并剔除关键点位移量序列中存入时间最早的关键点位移量，得到更新后的关键点位移量序列。

本实施例中，在通过当前视频帧的人脸关键点位置信息得到新的关键点位移量后，将新的关键点位移量加入关键点位移量序列，并剔除关键点位移量序列中存入时间最早的关键点位移量，以保证更新后的关键点位移量序列中关键点位移量数目保持不变，使得用于后续动态模式切换判定的关键点位移量序列中的关键点位移量为距当前时间最近的几个关键点位移量，保证后续确定的目标处理模式的准确性。

在另一示例性实施例中，如图6所示，是根据一示例性实施例示出的另一种视频处理的流程图，本实施例中，该方法包括以下步骤：

步骤S610，在检测得到待处理视频中的当前检测帧的人脸关键点位置信息的情况下，根据检测得到的人脸关键点位置信息，更新关键点位移量序列；

步骤S620，若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定目标处理模式为第一处理模式；

步骤S621，选取位于当前检测帧之后，且与当前检测帧相隔预设帧数的视频帧，作为下一个检测帧；

步骤S622，通过人脸检测模型对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；

步骤S623，基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；

步骤S624，将人脸图像输入人脸关键点检测模型，得到下一个检测帧的人脸关键点位置信息；

步骤S630，若更新后的关键点位移量序列中的任一个关键点位移量大于或等于阈值，则确定目标处理模式为第二处理模式；

步骤S631，选取位于当前检测帧之后，且与当前检测帧相邻的视频帧，作为下一个检测帧；

步骤S632，通过人脸检测模型对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；

步骤S633，基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；

步骤S634，将人脸图像输入人脸关键点检测模型，得到下一个检测帧的初始人脸关键点位置信息；

步骤S635，根据初始人脸关键点位置信息，得到新的人脸边界框；

步骤S636，通过新的人脸边界框再次对下一个检测帧进行裁剪处理，得到新的人脸图像；

步骤S637，将新的人脸图像输入人脸关键点检测模型，得到下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，为了便于本领域技术人员理解本公开实施例，以下将结合附图的具体示例进行说明。参考图7，为一个应用实例中视频处理方法的整体框架示意图，如图7所示，技术方案整体可分为两个部分，即第一处理模式和第二处理模式，两部分通过动态模式切换策略进行动态协调，包括以下主要步骤：

(1)初始的用户原视频首先选择一种处理模式进行人脸检测，例如初始为第一处理模式，则通过间隔n帧的方式选取检测帧。

(2)将检测帧输入人脸检测模型M1中，得到人脸边界框。

(3)通过人脸边界框对检测帧进行裁剪，得到人脸图像。

(4)将人脸图像输入到人脸关键点检测模型M2中得到人脸关键点。其中，若为第二处理模式，还需要根据人脸关键点得到新的人脸边界框，利用新的人脸边界框再次对检测帧进行裁剪，得到新的人脸图像，将新的人脸图像再次输入到人脸关键点检测模型M2中，得到人脸关键点。

(5)计算鼻尖关键点在连续m帧中的各个位移量(对应关键点位移量序列中的各个关键点位移量)，结合阈值来判断后续帧是否进行模式切换。具体地，若鼻尖关键点在连续m帧中的各个位移量均小于阈值T1，确定后续采用第一处理模式，反之，则采用第二处理模式。

(6)根据连续两帧的关键点位移量，利用人脸运动速度度量函数F进行度量，得到人脸清晰度信息。

(7)按照人脸清晰度信息与上妆强度成正相关的关系，得到自适应美妆强度的美妆效果。

本申请提出的视频处理方法，具有以下有益效果：

1.可以兼顾移动端能耗以及人脸快速移动场景下人脸关键点检测精度，有效解决传统方法能耗较高以及人脸快速运动场景的关键点精度较低的问题，提高智能美妆用户体验。在人脸快速移动的期间使用第二处理模式，通过逐帧人脸检测可以获得更加精准的人脸关键点，保证人脸快速移动时关键点位置的准确。在人脸相对位置稳定的期间使用第一处理模式，在移动端设备低功耗的前提下保证了视频帧中人脸关键点的时序稳定性。

2.提出的自适应美妆强度方法可以根据人脸清晰度自适应上妆，符合真实世界拍摄场景下规律，智能美妆效果更加自然。该方法通过人脸清晰度度量，实现美妆效果的上妆强度与清晰度成正相关关系，即移动较慢、清晰度较高时上妆强度较大，妆容清晰；移动速度较快，清晰度较低(尤其造成模糊)时，减弱美妆上妆强度，使得妆容更加自然，不会出现人脸模糊但妆容明显的突兀现象。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的视频处理方法的视频处理装置。

图8是根据一示例性实施例示出的一种视频处理装置的结构框图。参照图X，该装置包括：更新单元810和确定单元820，其中，

更新单元810，被配置为执行基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；关键点位移量序列包括当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，关键点位移量表示两两相邻的检测帧中人脸关键点位置的变化程度；

确定单元820，被配置为执行基于更新后的关键点位移量序列，确定目标处理模式；目标处理模式用于从待处理视频中选取当前检测帧之后的下一个检测帧，并对下一个检测帧进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息；

其中，目标处理模式为第一处理模式或第二处理模式；第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

在一示例性实施例中，确定单元820，还被配置为执行若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定目标处理模式为第一处理模式；若更新后的关键点位移量序列中的任一个关键点位移量大于或等于阈值，则确定目标处理模式为第二处理模式。

在一示例性实施例中，装置还包括检测单元，被配置为执行若目标处理模式为第一处理模式，则选取位于当前检测帧之后，且与当前检测帧相隔预设帧数的视频帧，作为下一个检测帧；对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；对人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，检测单元，还被配置为执行若目标处理模式为第二处理模式，则选取位于当前检测帧之后，且与当前检测帧相邻的视频帧，作为下一个检测帧；对下一个检测帧进行人脸检测处理，得到下一个检测帧的人脸边界框；基于人脸边界框对下一个检测帧进行裁剪处理，得到人脸图像；对人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，检测单元，还被配置为执行对人脸图像进行人脸关键点检测处理，得到下一个检测帧的初始人脸关键点位置信息；根据初始人脸关键点位置信息，得到新的人脸边界框；通过新的人脸边界框对下一个检测帧进行裁剪处理，得到新的人脸图像；对新的人脸图像进行人脸关键点检测处理，得到下一个检测帧的人脸关键点位置信息。

在一示例性实施例中，装置还包括上妆单元，被配置为执行针对从待处理视频中选取的连续两个检测帧，根据连续两个检测帧中的关键点位移量，得到人脸清晰度信息；按照人脸清晰度信息与上妆强度成正相关的关系，对连续两个检测帧中的人脸进行上妆处理。

在一示例性实施例中，上妆单元，还被配置为执行通过人脸清晰度度量函数，对连续两个检测帧中的关键点位移量进行处理，得到人脸清晰度信息；人脸清晰度度量函数按照人脸清晰度信息与关键点位移量成负相关的关系确定。

在一示例性实施例中，更新单元810，还被配置为执行获取当前检测帧的前一个检测帧的人脸关键点位置信息；基于当前检测帧的人脸关键点位置信息和前一个检测帧的人脸关键点位置信息，得到新的关键点位移量；将新的关键点位移量加入关键点位移量序列，得到更新后的关键点位移量序列。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种用于实现视频处理方法的电子设备900的框图。例如，电子设备900可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图9，电子设备900可以包括以下一个或多个组件：处理组件902、存储器904、电源组件906、多媒体组件908、音频组件910、输入/输出(I/O)的接口912、传感器组件914以及通信组件916。

处理组件902通常控制电子设备900的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述电子设备900和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示器和小键盘，传感器组件914还可以检测电子设备900或电子设备900组件的位置改变，用户与电子设备900接触的存在或不存在，设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在一示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备900的处理器920执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种视频处理方法，其特征在于，包括：

基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；所述关键点位移量序列包括所述当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，所述关键点位移量表示所述两两相邻的检测帧中人脸关键点位置的变化程度；

基于更新后的关键点位移量序列，确定目标处理模式；所述目标处理模式用于从所述待处理视频中选取所述当前检测帧之后的下一个检测帧，并对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息；

其中，所述目标处理模式为第一处理模式或第二处理模式；所述第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，所述第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

2.根据权利要求1所述的方法，其特征在于，所述基于更新后的关键点位移量序列，确定目标处理模式，包括：

若更新后的关键点位移量序列中的各个关键点位移量均小于阈值，则确定所述目标处理模式为所述第一处理模式；

若所述更新后的关键点位移量序列中的任一个关键点位移量大于或等于所述阈值，则确定所述目标处理模式为所述第二处理模式。

3.根据权利要求1所述的方法，其特征在于，在基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：

若所述目标处理模式为第一处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相隔所述预设帧数的视频帧，作为下一个检测帧；

通过所述第一处理模式对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；

基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

4.根据权利要求1所述的方法，其特征在于，在基于更新后的关键点位移量序列，确定目标处理模式之后，还包括：

若所述目标处理模式为第二处理模式，则选取位于所述当前检测帧之后，且与所述当前检测帧相邻的视频帧，作为下一个检测帧；

通过所述第二处理模式对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述下一个检测帧进行人脸检测处理，得到所述下一个检测帧的人脸边界框；

基于所述人脸边界框对所述下一个检测帧进行裁剪处理，得到人脸图像；

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息，包括：

对所述人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的初始人脸关键点位置信息；

根据所述初始人脸关键点位置信息，得到新的人脸边界框；

通过所述新的人脸边界框对所述下一个检测帧进行裁剪处理，得到新的人脸图像；

对所述新的人脸图像进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

针对从所述待处理视频中选取的连续两个检测帧，根据所述连续两个检测帧中的关键点位移量，得到人脸清晰度信息；

按照人脸清晰度信息与上妆强度成正相关的关系，对所述连续两个检测帧中的人脸进行上妆处理。

7.根据权利要求6所述的方法，其特征在于，所述根据所述连续两个检测帧中的关键点位移量，得到人脸清晰度信息，包括：

通过人脸清晰度度量函数，对所述连续两个检测帧中的关键点位移量进行处理，得到所述人脸清晰度信息；

所述人脸清晰度度量函数按照人脸清晰度信息与关键点位移量成负相关的关系确定。

8.根据权利要求1所述的方法，其特征在于，所述根据检测得到的人脸关键点位置信息，更新关键点位移量序列，包括：

获取所述当前检测帧的前一个检测帧的人脸关键点位置信息；

基于所述当前检测帧的人脸关键点位置信息和所述前一个检测帧的人脸关键点位置信息，得到新的关键点位移量；

将所述新的关键点位移量加入所述关键点位移量序列，得到更新后的关键点位移量序列。

9.一种视频处理装置，其特征在于，包括：

更新单元，被配置为执行基于待处理视频中的当前检测帧的人脸关键点位置信息，更新关键点位移量序列；所述关键点位移量序列包括所述当前检测帧之前的连续多个检测帧中两两相邻的检测帧之间的关键点位移量，所述关键点位移量表示所述两两相邻的检测帧中人脸关键点位置的变化程度；

确定单元，被配置为执行基于更新后的关键点位移量序列，确定目标处理模式；所述目标处理模式用于从所述待处理视频中选取所述当前检测帧之后的下一个检测帧，并对所述下一个检测帧进行人脸关键点检测处理，得到所述下一个检测帧的人脸关键点位置信息；

其中，所述目标处理模式为第一处理模式或第二处理模式；所述第一处理模式表示按照预设帧数间隔进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理，所述第二处理模式表示逐帧进行检测帧的选取，并对选取的检测帧进行人脸关键点检测处理。

10.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的视频处理方法。

11.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8中任一项所述的视频处理方法。

Images