CN110363748B

CN110363748B - 关键点的抖动处理方法、装置、介质及电子设备

Info

Publication number: CN110363748B
Application number: CN201910532897.5A
Authority: CN
Inventors: 车宏伟
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2023-07-21
Anticipated expiration: 2039-06-19
Also published as: CN110363748A

Abstract

本公开是关于一种关键点的抖动处理方法、装置、介质及电子设备，属于计算机视觉技术领域，该方法包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。本公开通过多帧联合进行关键点抖动的检测，并进行平滑处理，有效提高了关键点抖动平滑处理的准确性。

Description

关键点的抖动处理方法、装置、介质及电子设备

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种关键点的抖动处理方法、装置、介质及电子设备。

背景技术

关键点就是视频中每一帧上例如人脸上的嘴角、眼角等特征点。关键点的抖动就是在视频帧上识别关键点，得到的关键点相对于关键点在视频帧上真实位置存在误差，进而使得识别到的关键点跟随视频帧流具有抖动现象，不平滑过渡。

目前关键点的抖动检测及处理都是基于单帧图像进行，每帧处理后的结果都是独立互不影响，在实践中这种抖动给后期数据处理带来了噪声。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种关键点的抖动处理方案，进而至少在一定程度上通过多帧联合监测关键点的抖动并进行平滑处理，有效提高关键点抖动处理的准确性。

根据本公开的一个方面，提供一种关键点的抖动处理方法，包括：

从目标格式视频中，获取预定数目个连续帧；

获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；

根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；

根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

在本公开的一种示例性实施例中，所述根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量，包括：

根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量。

根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量。

在本公开的一种示例性实施例中，所述根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值，包括：

根据所述目标格式视频的格式，获取与所述目标格式的视频的格式对应的预先训练好的机器学习模型；

将所述同一关键点的坐标的作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值。

在本公开的一种示例性实施例中，所述同一关键点的偏移量抖动阈值，包括：

第一偏移量抖动阈值，所述第一偏移量抖动阈值为所述同一关键点中来源于相邻两个帧的同一关键点的偏移量抖动阈值；

第二偏移量抖动阈值，所述第二偏移量抖动阈值为所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的偏移量抖动阈值。

在本公开的一种示例性实施例中，所述机器学习模型的训练方法是：

收集预定格式视频的存在关键点抖动的预定数目个连续帧中，每个帧上同一关键点的坐标的样本集，所述样本集中每个样本事先由专家标定关键点抖动阈值；

将所述样本集中，每个样本的作为输入数据输入机器学习模型，得到每个样本的关键点抖动阈值；

若存在有样本在输入所述机器学习模型后，得到的关键点抖动阈值与事先标定的关键点抖动阈值不一致，则调整机器学习模型的系数，直到一致；

当所有样本在输入所述机器学习模型后，得到的关键点抖动阈值与事先标定的关键点抖动阈值一致，训练结束。

在本公开的一种示例性实施例中，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：

从所述偏移量中获取多个第一偏移量；

从所述偏移量抖动阈值中获取第一偏移量抖动阈值；

当所述多个第一偏移量都低于所述第一偏移量抖动阈值，确定所述同一关键点发生抖动；

当所述多个第一偏移量中预定数目个第一偏移量大于所述第一偏移量抖动阈值，确定所述同一关键点未发生抖动。

从所述偏移量中获取第二偏移量；

从所述偏移量抖动阈值中获取第二偏移量抖动阈值；

当所述第二偏移量低于所述第二偏移量抖动阈值，确定所述同一关键点发生抖动；

当所述第二偏移量大于所述第二偏移量抖动阈值，确定所述同一关键点未发生抖动。

在本公开的一种示例性实施例中，所述当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，包括：

根据公式

x_i+n+1＝x_i+n+σ₁

y_i+n+1＝y_i+n+σ₂

对所述同一关键点进行平滑处理，其中，n为所述同一关键点来源的预定数目个连续帧的数目，x_i为所述同一关键点中在所述预定数目个连续帧中第i帧的关键点的横坐标，x_i+1为所述同一关键点中在所述预定数目个连续帧中第i+1帧的关键点的横坐标，...，x_i+n+1为所述同一关键点中在所述预定数目个连续帧中第i+n+1帧的关键点的横坐标，σ₁为关键点横坐标平滑点值，x_i+n+1为关键点横坐标平滑值，y_i为所述同一关键点中在所述预定数目个连续帧中第i帧的关键点的纵坐标，y_i+1为所述同一关键点中在所述预定数目个连续帧中第i+1帧的关键点的纵坐标，...，y_i+n+1为所述同一关键点中在所述预定数目个连续帧中第i+n+1帧的关键点的纵坐标，σ₂为关键点纵坐标平滑点值，y_i+n+1为关键点纵坐标平滑值。

根据本公开的一个方面，提供一种关键点的抖动处理装置，其特征在于，包括：

帧获取模块，用于从目标格式视频中，获取预定数目个连续帧；

坐标获取模块，用于获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

偏移量获取模块，用于根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；

阈值获取模块，用于根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；

确定模块，用于根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

平滑模块，用于当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有关键点的抖动处理程序，其特征在于，所述关键点的抖动处理程序被处理器执行时实现上述任一项所述的方法。

根据本公开的一个方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的关键点的抖动处理程序；其中，所述处理器配置为经由执行所述关键点的抖动处理程序来执行上述任一项所述的方法

本公开一种关键点的抖动处理方法及装置，首先，从目标格式视频中，获取预定数目个连续帧；这样就可以基于连续帧进行同一关键点在连续的帧上的变化情况。然后，获取预定数目个连续帧中每个帧上同一关键点的坐标；这样可以基于同一关键点的坐标准确检测关键点的变化。然后，根据每个帧上所述同一关键点的坐标，获取同一关键点的偏移量；基于关键点的坐标可以准确地获取到反映关键点变化的偏移量数据，进而在根据目标格式视频的格式，获取与目标格式的视频对应的同一关键点的偏移量抖动阈值后，根据偏移量与偏移量抖动阈值进行对比，可以准确地确定同一关键点是否发生抖动。最后，当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，这样基于多帧连续检测关键点的抖动，可以有效提高关键点抖动处理的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出一种关键点的抖动处理方法的流程图。

图2示意性示出一种关键点的抖动处理方法的应用场景示例图。

图3示意性示出一种确定同一关键点是否发生抖动的方法流程图。

图4示意性示出一种关键点的抖动处理装置的方框图。

图5示意性示出一种用于实现上述关键点的抖动处理方法的电子设备示例框图。

图6示意性示出一种用于实现上述关键点的抖动处理方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了关键点的抖动处理方法，该关键点的抖动处理方法可以运行于的服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该关键点的抖动处理方法可以包括以下步骤：

步骤S110，从目标格式视频中，获取预定数目个连续帧；

步骤S120，获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

步骤S130，根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；

步骤S140，根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；

步骤S150，根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

步骤S160，当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

上述关键点的抖动处理方法中，首先，从目标格式视频中，获取预定数目个连续帧；这样就可以基于连续帧进行同一关键点在连续的帧上的变化情况。然后，获取预定数目个连续帧中每个帧上同一关键点的坐标；这样可以基于同一关键点的坐标准确检测关键点的变化。然后，

根据每个帧上所述同一关键点的坐标，获取同一关键点的偏移量；基于关键点的坐标可以准确地获取到反映关键点变化的偏移量数据，进而在根据目标格式视频的格式，获取与目标格式的视频对应的同一关键点的偏移量抖动阈值后，根据偏移量与偏移量抖动阈值进行对比，可以准确地确定同一关键点是否发生抖动。最后，当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，这样基于多帧连续检测关键点的抖动，可以有效提高关键点抖动处理的准确性。

下面，将结合附图对本示例实施方式中上述关键点的抖动处理方法中的各步骤进行详细的解释以及说明。

在步骤S110中，从目标格式视频中，获取预定数目个连续帧。

在本示例的实施方式中，参考图2所示，服务器201从服务器202上获取目标格式的视频，然后将该目标格式的视频分解为帧后，从中获取预定数目个连续帧。其中，服务器201可以是任何具有执行程序指令的终端，例如云服务器、手机、电脑等；服务器202可以是任何具有存储功能的终端，例如手机、电脑等。

目标格式视频就是具有预定每秒帧数、分辨率及文件格式的视频。例如240的AVI或者1080的FLV等视频。

从目标格式视频中，获取预定数目个连续帧，就是将目标格式视频按照视频预设的每秒帧数分解为多个连续帧，然后，从多个连续帧中获取预定数目个连续帧。例如，某个视频分解后得到50个连续帧，然后，从50个连续帧中获取5个连续帧。其中，预定数目个连续帧中每相邻两帧之间的时间的总和，在所述目标格式视频中的时间低于预定时间大小，例如5个连续帧中每相邻两帧之间的时间间隔为0.01秒，则每相邻两帧之间的时间的总和为0.04秒，预定时间大小为0.1秒。这样可以保证后续步骤中关键点抖动计算分析的精确度。同时，从目标格式视频中，获取预定数目个连续帧可以保证后续步骤中按照预定的格式，根据该预定数目个连续帧判断关键点抖动时，避免由于视频的格式不同导致的连续帧之间的关键点抖动计算分析误差，有效保证关键点抖动判断的准确率。

在步骤S120中，获取所述预定数目个连续帧中每个帧上同一关键点的坐标。

在本示例的实施方式中，关键点就是每一帧上如人脸上的嘴角、眼角等等特征点。预定数目个连续帧中每个帧上同一关键点就是例如每一帧上的嘴角特征点等。

利用现有的特征点提取方法，例如ASM(Active Shape Model)算法，可以准确地提取到每一帧上的关键点，每个关键点都有自己的编号，通过编号可以确定需要的关键点。然后，基于关键点在视频帧上的像素点的位置，可以准确获取到关键点的坐标，例如，以每一帧上最左下角的像素点为坐标原点(0，0)每一帧的下边界为横轴，左边界为纵轴，建立直角坐标系，进而可以准确得到关键点的坐标。这样可以在后续步骤中，根据每个帧上同一关键点的坐标准确分析关键点是否发生抖动。

在步骤S130中，根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量。

在本示例的实施方式中，同一关键点的偏移量就是同一关键点中的两个关键点之间的位置偏移量。当两个关键点之间的偏移量很大时，说明在时间顺序上位于后一帧上的关键点较前一帧上的关键点发生了较大的位置移动。当两个关键点之间的偏移量为0时，说明在时间顺序上位于后一帧上的关键点较前一帧上的关键点没有发生位置移动。进而由于通常连续帧中每一帧上的关键点通常上是平滑过渡的，所以可以利用同一关键点的偏移量在后续步骤中判断关键点的识别是否发生不正常的抖动。

偏移量的获取方法可以是利用同一关键点中的两个关键点的坐标，计算两个关键点的横坐标差值得到横坐标偏移量，计算两个关键点的纵坐标差值得到纵坐标偏移量。例如，两个关键点中第一个关键点的坐标为(25,26)，第二个关键点的坐标为(25,23)，此时，可以得到两个关键点的横坐标偏移量为0，纵坐标偏移量为-2。这样可以准确得到可以准确表示偏移方向和偏移距离的关键点偏移量。

在本示例的一种实施方式中，所述根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量，包括：

预定数目个连续帧是获取的很小的时间范围内的多个帧。根据连续帧中相邻的两个帧的同一关键点的坐标，可以获得多个第一偏移量。例如，连续帧中有5个帧，则可以获得4个第一偏移量。这样可以基于连续变化的偏移量进行关键点是否跳动的判断，在单帧变化的基础上增加出帧与帧之间的关系，有效保证跳动判断的准确性。同时，由于连续的帧是很小时间范围的多个帧，通过第一帧和最后一帧的同一关键点坐标获取第二偏移量，可以在保证跳动判断准确性的基础上，有效提高偏移量获取的效率，即有效提高跳动判断的效率。

在步骤S140中，根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值。

在本示例的实施方式中，偏移量抖动阈值就是判断关键点的偏移量是否达到多个连续帧上同一关键点发生抖动的预设的偏移量阈值，当关键点的偏移量小于该阈值时说明书关键点抖动，而当关键点的偏移量大于该阈值说明关键点是正常的移动，不是抖动。不同格式的视频的分辨率及每秒帧数不同，视频中获取的帧之间的间隔时间以及帧的图像大小等也不同，进而不同格式视频中的连续帧上的关键点的偏移量抖动阈值不同。根据目标格式视频的格式，获取同一关键点的偏移量抖动阈值，可以准确获取到同一关键点来源的视频的连续帧对应的偏移量抖动阈值，有效保证后续步骤中关键点抖动判断的准确性。

其中，根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值的方法是根据目标格式视频的格式，获取与目标格式的视频的格式对应的预先训练好的机器学习模型；然后，将所述同一关键点的坐标的作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值。其中，预先训练好的机器学习模型是根据发生关键点抖动的同一关键点的坐标样本训练得到的，也就是只有初步预测同一关键点发生抖动时，才会输出偏移量抖动阈值。这样可以对关键点是否发生抖动进行初步判断，同时，获取到偏移量抖动阈值，进而在后续步骤中根据偏移量抖动阈值进一步判断关键点是否发生抖动，有效保证关键点是否发生抖动判断的准确性。

在本示例的一种实施方式中，所述根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值，包括：

作为输入数据就是将同一关键点的坐标转换为可以输入机器学习模型的预定格式的数据，例如二进制数据。通过获取当前视频的格式，即获取目标格式视频的格式，可以准确获取到对应格式进行训练的机器学习模型，进而可以准确、高效地得到同一关键点的偏移量抖动阈值。

在本示例的一种实施方式中，所述同一关键点的偏移量抖动阈值，包括：

通过获取包括第一偏移量抖动阈值和第二偏移量抖动阈值，可以在后续步骤中根据需要进行关键点是否抖动。

在本示例的一种实施方式中，所述机器学习模型的训练方法是：

通过制作关键点抖动的预定数目个连续帧中，每个帧上同一关键点的坐标的样本，作为训练样本，训练机器学习模型输出样本对应标定的关键点抖动阈值，可以通过样本的制作，实现值得调整和自适应化。

在步骤S150中，根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动。

在本示例的实施方式中，将偏移量与偏移量抖动阈值进行比较，就是例如根据同一关键点中来源的预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量；然后，获取同一关键点中来源于相邻两个帧的同一关键点的第一偏移量抖动阈值后，对比多个第一偏移量中每个第一偏移量是否小于第一偏移量抖动阈值。此时，当多个第一偏移量中每个第一偏移量都小于第一偏移量抖动阈值时，说明书关键点的位置移动不是正常的移动，进而确定同一关键点发生抖动，而当多个第一偏移量中一半数目以上的第一偏移量大于第一偏移量抖动阈值时，说明关键点的位置移动是正常的移动，进而确定同一关键点未发生抖动。这样可以在机器学习模型初步判断关键点抖动的基础上，进一步确定所述同一关键点是否发生抖动，有效保证关键点抖动判断的准确性。

在本示例的一种实施方式中，参考图3所示，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：

步骤310，从所述偏移量中获取多个第一偏移量；

步骤320，从所述偏移量抖动阈值中获取第一偏移量抖动阈值；

步骤330，当所述多个第一偏移量都低于所述第一偏移量抖动阈值，确定所述同一关键点发生抖动；

步骤340，当所述多个第一偏移量中预定数目个第一偏移量大于所述第一偏移量抖动阈值，确定所述同一关键点未发生抖动。

多个第一偏移量都低于所述第一偏移量抖动阈值，说明关键点发生了偏移，但是发生的偏移都不是有关键点的正常移动造成的，即不是连续帧上关键点的正常变换造成，而是发生在关键点检测时发生了跳动，造成同一关键点的抖动，该抖动会对后期数据处理造成较为严重的噪声。

多个第一偏移量中预定数目个第一偏移量大于第一偏移量抖动阈值，例如，5个第一偏移量中3个大于第一偏移量抖动阈值，说明关键点中大部分偏移量是由于关键点的正常变化造成的，这样检测到的关键点，对后期数据处理的造成影响不大，所以判断为未发生抖动。

在本示例的一种实施方式中，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：

从所述偏移量中获取第二偏移量；

从所述偏移量抖动阈值中获取第二偏移量抖动阈值；

第二偏移量低于第二偏移量抖动阈值，说明时间间隔很短的连续帧中，第一帧和最后一帧的同一关键点的偏移量不是正常关键点移动造成，而是发生的抖动。同时，相反情况则说明，关键点是正常移动。由于连续帧是时间范围很短的几个帧，这样可以直接通过第一帧和最后一帧高效确定关键点是否发生抖动。

在步骤S160中，当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

在本示例的实施方式中，同一关键点发生抖动说明在进行关键点的检测时，得到的数据具有误差，这样会给后期的数据处理带来了噪声，同时在关键点显示过程中表现不稳定性。对同一关键点进行平滑处理，就是将检测到的同一关键点的坐标数据进行平滑，使得同一关键点的坐标数据在所有视频帧中平滑过渡，保证关键点数据监测的有效性，降低数据处理的噪声。由于同一关键点来源于预定数目个连续帧，这样可以根据帧与帧间的关系，进行关键点的平滑处理，提高了关键点抖动处理的精确度。

在本示例的一种实施方式中，所述当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理，包括：

根据公式

x_i+n+1＝x_i+n+σ₁

y_i+n+1＝y_i+n+σ₂

同一关键点来源的n个连续帧在视频中的总时间间隔很短，在i为0时，n个连续帧中第一个帧与第n个帧之间的时间间隔很短。这样通过前n-1个帧上的关键点坐标求得关键点坐标平滑点值，然后，通过第n个帧上关键点的坐标及关键点坐标平滑点值求和得到第n个帧上关键点的坐标平滑值，也就是平滑后的坐标值。这样可以基于前n-1个帧的关键点关联得到第n个帧上的关键点的平滑后坐标值，这样可以根据帧与帧间的关系，进行关键点的平滑处理，提高了关键点抖动处理的精确度。通过i从0开始递增，可以实现所有视频帧上的关键点的抖动的平滑。

本公开还提供了一种关键点的抖动处理装置。参考图4所示，该关键点的抖动处理可以包括帧获取模块410、坐标获取模块420、偏移量获取模块430、阈值获取模块440、确定模块450以及平滑模块460。其中：

获取模块410可以用于从目标格式视频中，获取预定数目个连续帧；

坐标获取模块420可以用于获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

偏移量获取模块430可以用于根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；

阈值获取模块440可以用于根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；

确定模块450可以用于根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

平滑模块460可以用于当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

上述关键点的抖动处理装置中各模块的具体细节已经在对应的关键点的抖动处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110：从目标格式视频中，获取预定数目个连续帧；S120：获取所述预定数目个连续帧中每个帧上同一关键点的坐标；步骤S130：根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；步骤S140：根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；步骤S150：根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；步骤S160：当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。

存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims

1.一种关键点的抖动处理方法，其特征在于，包括：

从目标格式视频中，获取预定数目个连续帧；

获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量；

根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量；

根据所述目标格式视频的格式，获取与所述目标格式视频的格式对应的预先训练好的机器学习模型；

将所述同一关键点的坐标作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值；

根据所述第一偏移量、所述第二偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

当确定所述同一关键点发生抖动，根据公式

对所述同一关键点进行平滑处理，其中，为所述同一关键点来源的预定数目个连续帧的数目，/>为所述同一关键点中在所述预定数目个连续帧中第/>帧的关键点的横坐标，/>为所述同一关键点中在所述预定数目个连续帧中第/>帧的关键点的横坐标，...，/>为所述同一关键点中在所述预定数目个连续帧中第/>帧的关键点的横坐标，/>为关键点横坐标平滑点值，/>为关键点横坐标平滑值，/>为所述同一关键点中在所述预定数目个连续帧中第/>帧的关键点的纵坐标，/>为所述同一关键点中在所述预定数目个连续帧中第/>帧的关键点的纵坐标，...，/>为所述同一关键点中在所述预定数目个连续帧中第帧的关键点的纵坐标，/>为关键点纵坐标平滑点值，/>为关键点纵坐标平滑值。

2.根据权利要求1所述的方法，其特征在于，所述同一关键点的偏移量抖动阈值，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：

从所述偏移量中获取多个第一偏移量；

从所述偏移量抖动阈值中获取第一偏移量抖动阈值；

4.根据权利要求1所述的方法，其特征在于，所述根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动，包括：

从所述偏移量中获取第二偏移量；

从所述偏移量抖动阈值中获取第二偏移量抖动阈值；

5.一种关键点的抖动处理装置，其特征在于，包括：

偏移量获取模块，用于根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量；根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量；

阈值获取模块，用于根据所述目标格式视频的格式，获取与所述目标格式视频的格式对应的预先训练好的机器学习模型；将所述同一关键点的坐标作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值；

确定模块，用于根据所述第一偏移量、所述第二偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

平滑模块，用于当确定所述同一关键点发生抖动，根据公式

6.一种计算机可读存储介质，其上存储有关键点的抖动处理程序，其特征在于，所述关键点的抖动处理程序被处理器执行时实现权利要求1-4任一项所述的方法。

7. 一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的关键点的抖动处理程序；其中，所述处理器配置为经由执行所述关键点的抖动处理程序来执行权利要求1-4任一项所述的方法。