CN114549646A - 关键点位置确定方法及装置 - Google Patents

Abstract

本申请提供一种关键点位置确定方法及装置，针对视频中各帧关键点位置检测的情况，该方法包括：获取待处理视频中当前视频帧中，目标关键点的预测位置及其置信度；根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理，结合置信度以及相邻帧中关键点的位置，进行当前帧中关键点位置的确定，提高了关键点位置检测的准确度，减少了处理后的视频中关键点的抖动，提高了视频处理质量。

Description

关键点位置确定方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种关键点位置确定方法及装置。

背景技术

在视频处理场景中，如直播场景、短视频场景等，为了对视频中的人像进行美体、美颜、添加预特效等处理，需要基于位置检测算法对视频每帧中的人像进行识别。

由于位置检测算法所针对的是单帧图像，为了减少待处理视频中各帧图像或视频帧之间关键点的抖动，通常结合前后两帧或多帧图像中关键点的位置坐标的加权平均值的方式，或者低通滤波的方式，确定后一帧中该关键点的位置。

然而，采用上述关键点位置修正方法，由于加权系数确定不当，在一些场景下，如运动场景下，仍存在关键点抖动的问题。

发明内容

本申请提供一种关键点位置确定方法及装置，基于相邻帧中关键点的位置坐标及其置信度，进行后一帧中关键点位置坐标的确定，提高了关键点确定的准确度，有效降低了待处理视频中关键点的抖动现象。

第一方面，本申请提供一种关键点位置确定方法，该方法包括：

获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度；根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

第二方面，本申请提供一种关键点位置确定装置，该装置包括：

预测位置获取模块，用于获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度；目标位置确定模块，用于根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

第三方面，本申请提供一种电子设备，包括：

处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现本申请第一方面提供的关键点位置确定方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本申请第一方面提供的关键点位置确定方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请第一方面提供的关键点位置确定方法。

本申请提供的关键点位置确定方法及装置，针对视频处理的应用场景，预先对待处理视频中各视频帧进行位置检测，得到目标关键点在各视频帧中的预测位置及其置信度，针对当前视频帧，根据当前视频帧的上一视频帧中该目标关键点的目标位置，以及当前视频帧中该目标关键点的预测位置及其置信度，进行当前视频帧中目标关键点的目标位置的确定，从而得到该待处理视频中各视频帧中各个目标关键点的目标位置，以基于目标关键点的目标位置，对待处理视频进行处理，如美体处理、美颜处理等，实现了基于预测位置的置信度以及相邻帧中关键点的位置，进行后一帧中关键点位置坐标的确定，提高了关键点确定的准确度，有效降低了处理后的视频中关键点的抖动现象，提高了视频处理质量，提高了用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种关键点位置确定方法的流程示意图；

图2为本申请另一个实施例提供的关键点位置确定方法的流程示意图；

图3为本申请一个实施例中提供的人体关键点位置确定结果的示意图；

图4为本申请另一个实施例提供的关键点位置确定方法的流程示意图；

图5为本申请另一个实施例提供的关键点位置确定方法的流程示意图；

图6为本申请实施例提供的一种关键点位置确定装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在视频处理场景下，如视频中人体美化、人脸美颜、人脸识别或物体识别等场景下，需要对各帧中人体、人脸或其他物体，如汽车、动物等，进行识别，通常通过关键点位置标注的方式，确定待处理视频中各帧图像中人体、人脸等目标物体的位置。

通常基于关键点位置检测算法，如点回归算法、点分类算法、基于模型的检测算法等，确定待处理视频中各帧图像中关键点的位置。

由于在待处理视频中各帧之间关键点位置移动具有连续性，为了提高关键点位置确定的准确度，减小视频中关键点的抖动，通常采用相邻帧或连续多帧中该关键点的位置的加权平均来确定当前帧中该关键点的最终位置。

然而，由于视频中目标物体运动幅度的不同，导致各帧关键点位置的加权系数难以确定，从而使得关键点位置修真准确度较差，使得抖动问题去除不彻底，或使得视频中存在明显延迟。例如，手臂缓慢移出摄像头视野的场景，由于相邻帧中手臂关键点的位置偏差较小，若加权系数设置不合理，将会导致处理后的视频中手臂出现抖动、延迟等运动不连贯的情况，甚至使得本不存在手臂的视频帧中出现该手臂，从而导致视频处理结果较差。并且，在相关技术中，往往仅可以对检测出关键点的视频帧进行处理，针对未检测出关键点的视频帧，往往不进行处理，从而导致视频中关键点时有时无，关键点运动不连贯。

为了提高关键点抖动问题的解决力度，提高关键点位置确定的准确度，本申请实施例提供了一种关键点位置确定方法，基于前一帧图像中目标关键点的位置及其置信度，以及当前视频帧中检测的目标关键点的预测位置及其置信度，进行当前视频帧的目标关键点的位置的确定，通过置信度这一参数的引入，提高了关键点位置确定的准确度，有效抑制了视频中关键点抖动的现象。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的一种关键点位置确定方法的流程示意图，该关键点位置确定方法可以由任意具备图像处理功能的设备执行，其形式可以为计算机、服务器等，如图1所示，该关键点位置确定方法包括以下步骤：

步骤S101，获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度。

其中，待处理视频可以为任意时长的视频，如15s、30s的短视频，目标关键点为待处理视频中目标物体的特征点。当前视频帧为待处理视频中尚未确定目标关键点的目标位置的一个视频帧，且当前视频帧的上一视频帧(简称为上一视频帧)中目标关键点的目标位置已被确定。

示例性的，用户可以通过用户终端或者其他具备摄像功能的终端将待处理视频上传至用户终端上的预设应用程序，由该预设应用程序对应的服务器接收该待处理视频，并执行本申请提供的关键点位置确定方法，从而得到待处理视频中各视频帧或至少部分视频帧中各个关键点的目标位置。

示例性的，目标物体可以为人脸、人体、动物、植物、汽车、标志等。

示例性的，目标物体可以为人脸或人体，目标关键点可以为人脸或人体的各个部位的特征点，如为眼睛、胳膊、臀部、腿部等部位上一个特征点。

具体的，可以基于位置检测算法，对待处理视频中各视频帧或至少部分视频帧进行关键点的位置检测，得到各视频帧或该至少部分视频帧中每帧的检测结果。其中，检测结果中包括视频帧中各个目标关键点的预测位置及其置信度。位置检测算法可以为输出预测位置及其置信度的任意一种算法，如基于深度学习的位置检测算法，如基于热图(Heatmap)的位置检测算法等。预测位置的置信度用于标识该目标关键点位于该预测位置处的概率，置信度可以采用百分比、小数、正整数等形式表示。

步骤S102，根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

其中，目标位置和预测位置均可以采用位置坐标表示，如(x,y)，其中，x和y分别表示目标关键点对应的像素点所在行和列。

在一个实施例中，当前视频帧又可以称为当前帧图像，上一视频帧又可以称为上一帧图像。

具体的，若当前视频帧及其上一视频帧中均检测出目标关键点，则可以基于上一视频帧中该目标关键点的目标位置、当前视频帧中该目标关键点的预测位置及其置信度，确定当前视频帧中该目标关键点的目标位置，依次类推，得到待处理视频中各视频帧或至少部分视频帧中各个目标关键点的目标位置。

针对待处理视频的第一个视频帧，若第一个视频帧的检测结果包括目标关键点的预测位置及其置信度，则直接确定该预测位置为目标关键点的目标位置，相应的，预测位置的置信度即为目标位置的置信度，以便于基于第一个视频帧中该目标关键点的目标位置，以及第二个视频帧中该目标关键点的预测位置及其置信度，确定第二个视频帧中该目标关键点的目标位置。针对待处理视频中第N(N≥2)个视频帧，则基于第N-1个视频帧中该目标关键点的目标位置，以及第N个视频帧中该目标关键点的预测位置及其置信度，确定第N个视频帧中该目标关键点的目标位置。

具体的，针对每个目标关键点，可以基于当前视频帧(如第N个视频帧)中该目标关键点的预测位置与上一视频帧(如第N-1个视频帧)中该目标关键点的目标位置的位置偏差，以及当前视频帧中该目标关键点的预测位置的置信度，确定当前视频帧中该目标关键点的目标位置。

进一步地，在进行第N个视频帧，即当前视频帧，中目标关键点的目标位置确定时，可以获取上一视频帧中该目标关键点的目标位置及其置信度，进而基于上一视频帧中该目标关键点的目标位置及其置信度，以及当前视频帧中目标关键点的预测位置及其置信度，确定当前视频帧中目标关键点的目标位置及其置信度。

具体的，针对每个目标关键点，可以基于当前视频帧(如第N个视频帧)中该目标关键点的预测位置与上一视频帧(如第N-1个视频帧)中该目标关键点的目标位置的位置偏差，上一视频帧中该目标关键点的目标位置的其置信度，以及当前视频帧中该目标关键点的预测位置的置信度，确定当前视频帧中该目标关键点的目标位置。

具体的，可以基于待处理视频的至少部分视频帧中目标关键点的目标位置，对该待处理视频进行处理，如美颜处理、美体处理等。该至少部分视频帧可以为待处理视频的所有视频帧，也可以为该待处理视频中指定的一阵或多帧，还可以为该待处理视频中检测出目标关键点的各视频帧。

本实施例提供的关键点位置确定方法，针对视频处理的应用场景，预先对待处理视频中各视频帧进行位置检测，得到目标关键点在各视频帧中的预测位置及其置信度，针对当前视频帧，根据当前视频帧的上一视频帧中该目标关键点的目标位置，以及当前视频帧中该目标关键点的预测位置及其置信度，进行当前视频帧中目标关键点的目标位置的确定，从而得到该待处理视频中各视频帧中各个目标关键点的目标位置，以基于目标关键点的目标位置，对待处理视频进行处理，如美体处理、美颜处理等，实现了基于预测位置的置信度以及相邻帧中关键点的位置，进行后一帧中关键点位置坐标的确定，提高了关键点确定的准确度，有效降低了处理后的视频中关键点的抖动现象，提高了视频处理质量，提高了用户体验。

图2为本申请另一个实施例提供的关键点位置确定方法的流程示意图，本实施例针对当前视频帧及其上一视频帧中均检测出目标关键点的情况，本实施例是在图1所示实施例中的基础上，对步骤S102进行进一步细化，以及在步骤S102之后，增加当前视频帧中目标关键的目标位置的置信度确定的步骤，如图2所示，本实施例提供的关键点位置确定方法可以包括以下步骤：

步骤S201，获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度。

具体的，可以基于位置检测算法依次对待处理视频的各个视频帧进行目标关键点检测，从而得到各个视频帧的检测结果。在进行当前视频帧中目标关键点的目标位置确定时，可以先基于当前视频帧对应的检测结果，判断当前视频帧是否存在该目标关键点，以及判断上一视频帧是否存在该目标关键点，基于判断结果采取不同的策略确定前视频帧中目标关键点的目标位置，本实施例针对当前视频帧和上一视频帧均存在该目标关键点的情况。

步骤S202，获取上一视频帧中所述目标关键点的目标位置。

具体的，可以按照视频帧的时间先后顺序，依次确定各视频帧中各个目标关键点的目标位置，还可以确定各视频帧中各个目标关键点的目标位置的置信度。

在一个实施例中，步骤S202可以具体为：获取上一视频帧中目标关键点的目标位置及其置信度。

步骤S202和步骤S201的执行顺序可以为并行执行(如图2所示)，还可以在步骤S201之前或之后执行步骤S202。

可选的，若上一视频帧中不存在所述目标关键点，则直接确定当前视频帧中该目标关键点的预测位置为当前视频帧中该目标关键点的目标位置，并确定当前视频帧中该目标关键点的预测位置的置信度为当前视频帧中该目标关键点的目标位置的置信度。

步骤S203，计算当前视频帧中所述目标关键点的预测位置与上一视频帧中所述目标关键点的目标位置的位置偏差。

其中，位置偏差用于表征两个位置之间的偏差，可以采用两个位置对应的欧氏距离表示。

具体的，当前视频帧(第N个视频帧)中目标关键点的预测位置P′_N与上一视频帧(第N-1个视频帧)中目标关键点的目标位置P_N-1的位置偏差ΔP_N可以表示为：|P′_NP_N-1|。

步骤S204，若所述位置偏差大于第一阈值，则根据上一视频帧中所述目标关键点的目标位置，以及当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置。

其中，第一阈值可以为一个固定的阈值，也可以为一个动态变化的阈值。

具体的，可以根据待处理视频中目标物体的类型，确定该第一阈值。

具体的，可以根据目标关键点对应的目标物体在当前视频帧中的图像尺寸，确定该第一阈值。

具体的，当位置偏差ΔP_N大于第一阈值a时，表示相邻的两个视频帧，即当前视频帧与上一视频帧中该目标关键点的位置的偏差较大，则可以基于相邻的两个视频帧中该目标关键点的位置的加权平均值，确定当前视频帧中所述目标关键点的目标位置，从而提高关键位置检测的准确度。

具体的，当位置偏差ΔP_N大于第一阈值a时，可以根据上一视频帧中该目标关键点的目标位置，以及当前视频帧中该目标关键点的预测位置及其置信度，确定当前视频帧中该目标关键点的目标位置。

进一步地，当位置偏差大于第一阈值时，可以基于该位置偏差和/或当前视频帧中该目标关键点的预测位置的置信度，确定加权系数，基于该加权系数、上一视频帧中该目标关键点的目标位置以及当前视频帧中该目标关键点的预测位置，确定当前视频帧中该目标关键点的目标位置。

具体的，当位置偏差大于第一阈值时，第N个视频帧中该目标关键点的目标位置P_N的表达式为：

P_N＝α×P′_N+(1-α)×P_N-1

其中，α为上述加权系数，位于0～1之间。

具体的，可以根据当前视频帧中目标关键点的预测位置的置信度，确定加权系数α。或者可以根据当前视频帧中目标关键点的预测位置的置信度以及上一视频帧中该目标关键点的目标位置的置信度，确定加权系数α。或者可以根据位置偏差，确定加权系数α。

示例性的，可以直接确定当前视频帧中目标关键点的预测位置的置信度为加权系数α。

示例性的，可以根据当前视频帧中目标关键点的预测位置的置信度与上一视频帧中该目标关键点的目标位置的置信度的比值，即为第一比值，确定加权系数α，以使α与1-α的比值等于该第一比值。

在一个实施例中，加权系数α可以与位置偏差呈正相关关系，如成正比，即位置偏差越大，则加权系数α越大。

可选的，根据上一视频帧中所述目标关键点的目标位置，以及当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，包括：

根据上一视频帧中所述目标关键点的目标位置的置信度C_N-1、当前视频帧中所述目标关键点的预测位置的置信度C′_N以及所述位置偏差ΔP_N，确定加权系数α；根据加权系数α、上一视频帧中所述目标关键点的目标位置以及当前视频帧中所述目标关键点的预测位置，确定当前视频帧中所述目标关键点的目标位置。

具体的，可以基于预设关系式、上一视频帧中目标关键点的目标位置的置信度C_N-1、当前视频帧中目标关键点的预测位置的置信度C′_N以及所述位置偏差ΔP_N，确定加权系数α。在该预设关系式中，位置偏差ΔP_N越大、当前视频帧中目标关键点的预测位置的置信度C′_N越高、上一视频帧中目标关键点的目标位置的置信度C_N-1越低，则加权系数α越大。

示例性的，预设关系式可以为：

其中，P_max为设定系数，可以为一个固定值，如100个像素、500个像素、1000个像素等，或者可以基于目标关键点对应的目标物体确定；w₁、w₂均为系数常量，以使α位于0～1之间。

当相邻帧位置偏差较大时，通过基于置信度和位置偏差，动态调整每个视频帧中目标关键点的目标位置计算时的加权系数，实现了加权系数的自适应确定，提高了关键点位置确定的准确度。

可选的，所述方法还包括：

获取在当前视频帧中所述目标关键点所属的目标物体的图像尺寸；根据所述图像尺寸，确定所述第一阈值。

其中，目标物体的图像尺寸可以采用在图像(每个视频帧可以视为一张图像)中目标物体所包括的像素的个数、列数、行数等参数表示。

具体的，若当前视频帧中目标物体的图像尺寸越大，则该第一阈值越大。如确定第一阈值为图像尺寸与预设系数的乘积，该预设系数可以为0.1、0.2、0.5或者其他值。

示例性的，若目标物体的图像尺寸为80个像素点，则该第一阈值可以为8个像素。

具体的，目标物体的图像尺寸可以采用目标物体识别算法，确定该目标物体的轮廓，进而基于该目标物体的轮廓，确定该目标物体的图像尺寸。

具体的，可以基于当前视频帧中该目标物体的各个预设关键点的预测位置，确定该目标物体的图像尺寸。

其中，预设关键点可以为目标物体的躯干或主体部分的两端的关键点。

示例性的，以人体为例，预设关键点可以为脖子和臀部上的关键点。以人脸为例，预设关键点可以为额头和下巴上的关键点。以汽车为例，预设关键点可以为汽车前照灯和尾灯上的关键点。

通过基于目标物体的图像尺寸，动态设置第一阈值，提高了第一阈值设置的准确度，避免了由于目标物体的尺寸的差异，导致关键点位置确定准确度较低，从而使得视频中关键点存在明显延迟或抖动。

可选的，获取在当前视频帧中所述目标关键点所属的目标物体的图像尺寸，包括：

获取在当前视频帧中所述目标关键点所属的目标物体的第一部位的各个第一关键点以及第二部位的各个第二关键点；根据各个第一关键点的位置坐标以及各个第二关键点的位置坐标，确定所述目标物体的图像尺寸。

其中，第一部位和第二部位均为该目标物体的一部分，第一部位与第二部位可以分别位于目标物体的主体部分或躯干的两端。

示例性的，以人体为例，第一部位可以为脖子、头部等部位，第二部位可以为臀部、腿部等部位。以人脸为例，第一部位可以为额头，第二部位可以为下巴。以汽车为例，第一部位可以为汽车前照灯，第二部位可以为尾灯。

在一个实施例中，第一关键点和第二关键点可以均为上述目标关键点。

具体的，可以基于上述位置检测算法，确定当前视频帧中各个第一关键点以及各个第二关键点的预测位置，即位置坐标。

具体的，可以确定目标物体的图像尺寸为当前视频帧中各个第一关键点的位置坐标的平均值，与当前视频帧中各个第二关键点的位置坐标的平均值的距离。

具体的，可以根据当前视频帧中各个第一关键点的位置坐标以及该第一部位的预设外轮廓，确定该第一部位的部位中心的位置坐标；根据当前视频帧中各个第二关键点的位置坐标以及该第二部位的预设外轮廓，确定该第二部位的部位中心的位置坐标；根据第一部位和第二部位两者的部位中心的位置坐标之间的距离，确定目标物体的图像尺寸。

通过当前视频帧中目标物体的躯干两端的两个部位上关键点的位置坐标，动态预估该目标物体的图像尺寸，提高了图像尺寸确定的准确度，从而提高了第一阈值确定的准确度。

可选的，根据所述图像尺寸，确定所述第一阈值，包括：

根据所述图像尺寸以及所述目标关键点所属的部位，确定所述第一阈值。

为了进一步提高第一阈值确定的准确度，在确定第一阈值时，除了考虑当前视频帧中目标物体的图像尺寸之外，还可以根据目标关键点所属或所在的部位，确定第一阈值。

具体的，可以根据目标关键点所属的部位，确定设定系数，确定图像尺寸与设定系数的乘积为该第一阈值。

具体的，设定系数可以根据目标关键点所属的部位的尺寸与目标物体的尺寸的比例确定，该比例越大，则对应的设定系数越大。不同的部位对应不同的设定系数。

示例性的，眼睛对应的设定系数可以为0.01，头部对应的设定系数可以为0.1，腿部对应的设定系数可以为0.5。

示例性的，第一阈值的表达式可以为：

a＝S_N×c₀×c₁

其中，c₀为设定常量；c₁为该设定系数；S_N为第N个视频帧中目标物体的图像尺寸。

步骤S205，若所述位置偏差小于或等于所述第一阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置。

当相邻两个视频帧对应的位置偏差较小，即位置偏差ΔP_N小于或等于所述第一阈值小于或等于第一阈值a，由于相邻视频帧之间的时间差较小，则可以直接沿用上一视频帧中该目标关键点的目标位置为当前视频帧中该目标关键点的目标位置，从而避免目标关键点发生抖动。

在确定当前视频帧中目标关键点的目标位置之后，为了后续视频帧中目标关键点的目标位置的确定，还需要确定当前视频帧中该目标关键点的目标位置的置信度，即还需要执行步骤S206。

步骤S206，确定当前视频帧中所述目标关键点的目标位置的置信度为，当前视频帧中所述目标关键点的预测位置的置信度与上一视频帧中所述目标关键点的目标位置的置信度的加权平均值与第一系数的乘积。

其中，第一系数β大于1，可以为1.1、1.2或者其他值，置信度的最大取值为1或100％。

在一个实施例中，可以在执行步骤S204或步骤S205之后或之前执行步骤S206。或者步骤S204或步骤S205可以与步骤S206并行执行，如图2所示。

具体的，若相邻两个视频帧中或待处理视频中相邻两帧图像中均检测出该目标关键点，则可以确定一个较高的置信度为当前视频帧中目标关键点的目标位置的置信度。即确定当前视频帧中目标关键点的目标位置的置信度C_N为：第一系数β与上一视频帧中目标关键点的目标位置的置信度C_N-1和当前视频帧中目标关键点的预测位置的置信度C′_N的加权平均值的乘积，即C_N＝β×(w₃×C′_N+w₄×C_N-1)，其中，w₃和w₄为设定的权重系数，两者之和为1。

在一个实施例中，当前视频帧中目标关键点的预测位置的置信度的权重系数，即w₃，大于上一视频帧中目标关键点的目标位置的置信度的权重系数，即w₄。

在一个实施例中，权重系数w₃可以为上述加权系数α，相应的，权重系数w₄则为1-α。

当相邻两个视频帧中均存在目标关键点时，通过计算后一视频帧中目标关键点的目标位置的置信度，实现了置信度的动态更新，且通过第一系数提高置信度，提高了后续视频帧沿用前一视频帧的关键点的目标位置的概率，从而减少了由于检测算法本身的偶然性误差，导致关键点位置抖动的情况，提高了关键点位置检测的准确度。

在确定待处理视频其中一个当前视频帧中各个目标关键点的目标位置之后，可以基于该当前视频帧中各个目标关键点的目标位置，对该当前视频帧进行处理，如识别处理、美体处理、美颜处理等。

在确定待处理视频各视频帧中各个目标关键点的目标位置之后，可以基于至少部分视频帧中各个目标关键点的目标位置，对该待处理视频的该至少部分视频帧进行处理。

在本实施例中，针对待处理视频中相邻两帧均检测出目标关键点的情况，基于当前视频帧中该目标关键点的预测位置与上一视频帧中该目标关键点的目标位置的位置偏差与第一阈值的比较结果，采取不同的位置确定策略，即在位置偏差大于该第一阈值时，基于当前视频帧中该目标关键点的预测位置和上一视频帧中该目标关键点的目标位置的加权平均值，确定当前视频帧中该目标关键点的目标位置，以提高关键点位置检测的准确度；在位置偏差小于或等于该第一阈值时，直接沿用上一视频帧中该目标关键点的目标位置为当前视频帧中该目标关键点的目标位置，以免由于位置检测算法的误差而造成关键点抖动；同时，将增大后的当前视频帧中该目标关键点的预测位置的置信度，确定为当前视频帧中该目标关键点的目标位置的置信度，从而提高后续视频帧继承或沿用当前视频帧中目标关键点的目标位置的概率，通过置信度的动态更新，进一步提高了关键点位置检测的准确度，从而有效抑制了处理后的视频中目标关键点的抖动，提高了视频处理质量。

可选的，若当前视频帧中不存在所述目标关键点，所述方法还包括：

判断所述上一视频帧中所述目标关键点的目标位置的置信度是否大于第二阈值；若大于所述第二阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置；确定上一视频帧中所述目标关键点的目标位置的置信度与第二系数的乘积，为当前视频帧中所述目标关键点的目标位置的置信度，所述第二系数为小于1的正数。

其中，第二阈值b可以为小于置信度的最大值的任意正数，如0.5、0.6、50％、60％等。第二阈值可以为一个固定值，还可以根据目标关键点所属的部位或目标物体，确定该第二阈值。

具体的，若检测结果中指示上一视频帧中存在目标关键点而当前视频帧中不存在该目标关键点，则可以判断上一视频帧中该目标关键点的目标位置的置信度是否足够高，即大于第二阈值b，若是，则沿用上一视频帧中目标关键点的目标位置为当前视频帧中目标关键点的目标位置，同时将降低后的上一视频帧中目标关键点的目标位置的置信度确定为当前视频帧中目标关键点的目标位置的置信度，即确定当前视频帧中目标关键点的目标位置的置信度C_N为第二系数γ与上一视频帧中目标关键点的目标位置的置信度C_N-1的乘积，即C_N＝γ×C_N-1。

在当前视频中不存在而上一视频帧中存在目标关键点时，通过沿用高置信度的上一视频帧中目标关键点的目标位置，提高了待处理视频中目标关键点的连续性，避免了目标关键点时有时无；同时，通过动态降低置信度，减弱了后续视频帧继承或沿用当前视频帧中该目标关键点的目标位置的可能性，提高了目标关键点位置确定的准确度，进而提高了待处理视频中各个关键点(或目标关键点)运动的连贯性，提高了视频处理质量。

可选的，若位置检测算法输出的检测结果为当前视频帧中不存在所述目标关键点，且上一视频帧中所述目标关键点的目标位置的置信度小于或等于该第二阈值b，则确定当前视频帧中不存在所述目标关键点，清空当前视频帧的目标关键点的目标位置及其置信度，如设置置信度为0。

可选的，若位置检测算法输出的检测结果为当前视频帧中不存在目标关键点，且上一视频帧中也不存在目标关键点，则确定当前视频帧中不存在目标关键点，清空当前视频帧的目标关键点的目标位置及其置信度。

在一个实施例中，在确定待处理视频中各视频帧中各个目标关键点或各个关键点的目标位置之后，可以基于各个关键点在各视频帧中的目标位置生成检测结果，并输出该检测结果至视频处理模块，如视频处理应用程序、视频处理小程序等。

在一个实施例中，还可以根据各个关键点在各视频帧中的目标位置，对目标物体的各个部位进行处理，如放大眼睛、拉长腿部、瘦腰、为某个部位增加特效等处理，并保存和/或显示处理后的待处理视频，或者将处理后的待处理视频发送至用户终端或上传待处理视频的终端。

示例性的，图3为本申请一个实施例中提供的人体关键点位置确定结果的示意图，如图3所示，用户可以将用户终端存储或拍摄的待处理视频上传至预设应用程序，并选择需要对该待处理视频进行的处理选项，如美体、美颜、美妆等，还可以通过“美体”等选项上方的滑竿进行处理强度的设定。预设应用程序或其服务器，基于上述实施例提供的关键点位置确定方法，对用户上传的待处理视频的每帧进行关键点目标位置的确定，图3以用户选择美体为例，图3中以实心圆点表示当前视频帧中人体上的各个关键点。进而预设应用程序基于人体上的各个关键点的为目标位置用户选择的处理选项以及处理强度，对人体进行处理，美体处理可以包括拉长腿部、瘦腰、调整头颈比例等处理。

图4为本申请另一个实施例提供的关键点位置确定方法的流程示意图，如图4所示，该关键点位置确定方法主要为采用遍历的方式执行三个步骤，分别为：获取当前帧图像，基于位置检测算法检测当前帧图像，从而得到当前帧图像中各个关键点的预测位置和置信度；对关键点的位置进行平滑处理，输出最终结果，即确定当前帧图像中该关键点的目标位置，还可以包括确定当前帧图像中该关键点的目标位置的置信度，具体确定过程可以参考上述实施例中的相关步骤，如步骤S102、步骤S204、步骤S205和步骤S206等步骤。如可以为针对每个关键点，基于当前帧图像中该关键点的预测位置及其置信度，以及上一帧图像中该关键点的目标位置及其置信度，确定当前帧图像中该关键点的目标位置及其置信度。进而遍历至下一帧图像，循环执行上述三个步骤，直至确定待处理图像所有帧图像中的关键点的目标位置。

图5为本申请另一个实施例提供的关键点位置确定方法的流程示意图，如图5所示，该关键点位置确定方法包括以下步骤：

步骤S501，基于位置检测算法对待处理视频的当前视频帧进行检测。

其中，当前视频帧不是待处理视频的第一个视频帧。

步骤S502，判断当前视频帧是否检测到目标关键点；若是，则执行步骤S503；若否，则跳转至步骤S510。

步骤S503，判断上一视频帧是否检测到目标关键点；若是，则执行步骤S504；若否，则跳转至步骤S509。

步骤S504，判断两帧之间的位置偏差是否大于第一阈值；若是，则执行步骤S505；若否，则跳转至步骤S508。

其中，两帧之间的位置偏差即为当前视频帧中目标关键点的预测为至与上一视频帧中目标关键点的目标位置的位置偏差。

步骤S505，基于两帧之间目标关键点的位置坐标及其置信度的加权，确定当前视频帧中目标关键点的目标位置及其置信度。

具体的，可以根据两帧之间目标关键点的位置坐标(如上述预测位置或目标位置)的加权平均值，确定当前视频帧中目标关键点的目标位置。

具体的，可以根据两帧之间目标关键点的位置坐标的置信度的加权平均值，确定当前视频帧中目标关键点的目标位置的置信度。

进一步地，可以确定两帧之间目标关键点的位置坐标的置信度的加权平均值，即当前视频帧中目标关键点的预测位置的置信度和上一视频帧中目标关键点的目标位置的置信度的加权平均值，与一个大于1的系数，即第一系数，的乘积为当前视频帧中目标关键点的目标位置的置信度。

步骤S506，判断当前视频帧是否为最后一帧；若否，则返回至步骤S501，以进行下一视频帧中目标关键点的目标位置的确定；若是，则执行步骤S507。

步骤S507，输出各视频帧中目标关键点的目标位置。

步骤S508，沿用上一视频帧中目标关键点的目标位置，并增大置信度；继续执行步骤S506。

具体的，增大置信度可以为：确定增大后的当前视频帧中目标关键点的预测位置的置信度或增大后的上一视频帧中目标关键点的目标位置的置信度，为当前视频帧中目标关键点的目标位置的置信度。

进一步地，可以确定当前视频帧中目标关键点的预测位置的置信度和上一视频帧中目标关键点的目标位置的置信度的加权平均值，与一个大于1的系数，即第一系数或第三系数，的乘积为当前视频帧中目标关键点的目标位置的置信度。

步骤S509，基于当前视频帧的检测结果，确定当前视频帧的目标关键点的目标位置及其置信度；返回步骤S506。

具体的，可以直接确定当前视频帧中目标关键点的预测位置及其置信度，为当前视频帧中目标关键点的目标位置及其置信度。

步骤S510，判断上一视频帧中目标关键点的目标位置的置信度是否大于第二阈值；若是，则执行步骤S511，若否，则执行步骤S512。

若上一视频帧中不存在目标关键点，可以确定上一视频帧中目标关键点的目标位置的置信度为0或最小值，即确定上一视频帧中目标关键点的目标位置的置信度小于该第二阈值。

步骤S511，沿用上一视频帧中目标关键点的目标位置，并降低置信度；返回步骤S506。

其中，降低置信度具体为：确定降低后的上一视频帧中目标关键点的目标位置的置信度为当前视频帧中目标关键点的目标位置的置信度

具体的，可以确定上一视频帧中目标关键点的目标位置的置信度与一个小于1的系数，即第二系数，的乘积为当前视频帧中目标关键点的目标位置的置信度。

步骤S512，确定当前视频帧不存在目标关键点，设置当前视频帧中目标关键点的目标位置及其置信度为空，返回步骤S506。

图6为本申请实施例提供的一种关键点位置确定装置的结构示意图，如图6所示，该装置包括：预测位置获取模块610和目标位置确定模块620。

其中，预测位置获取模块610，用于获取待处理视频中当前视频帧中，目标关键点的预测位置及其置信度；目标位置确定模块620，用于根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

可选的，目标位置确定模块620，包括：

位置偏差计算单元，用于计算当前视频帧中所述目标关键点的预测位置与上一视频帧中所述目标关键点的目标位置的位置偏差；第一位置确定单元，用于若所述位置偏差大于第一阈值，则根据上一视频帧中所述目标关键点的目标位置，以及当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置。

可选的，第一位置确定单元，具体用于：

若所述位置偏差大于第一阈值，则根据上一视频帧中所述目标关键点的目标位置的置信度、当前视频帧中所述目标关键点的预测位置的置信度以及所述位置偏差，确定加权系数；根据所述加权系数、上一视频帧中所述目标关键点的目标位置以及当前视频帧中所述目标关键点的预测位置，确定当前视频帧中所述目标关键点的目标位置。

可选的，目标位置确定模块620，还包括：

第二位置确定单元，用于若所述位置偏差小于或等于所述第一阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置。

可选的，所述装置还包括：

置信度确定模块，用于在确定当前视频帧中所述目标关键点的目标位置之后，确定当前视频帧中所述目标关键点的目标位置的置信度为，当前视频帧中所述目标关键点的预测位置的置信度与上一视频帧中所述目标关键点的目标位置的置信度的加权平均值与第一系数的乘积，所述第一系数大于1。

可选的，所述装置还包括：

图像尺寸确定模块，用于获取在当前视频帧中所述目标关键点所属的目标物体的图像尺寸；第一阈值确定模块，用于根据所述图像尺寸，确定所述第一阈值。

可选的，图像尺寸确定模块，具体用于：

获取在当前视频帧中所述目标关键点所属的目标物体的第一部位的各个第一关键点以及第二部位的各个第二关键点；根据各个第一关键点的位置坐标以及各个第二关键点的位置坐标，确定所述目标物体的图像尺寸。

可选的，第一阈值确定模块，具体用于：

据所述图像尺寸以及所述目标关键点所属的部位，确定所述第一阈值。

可选的，目标位置确定模块620，还用于：

若当前视频帧中不存在所述目标关键点，判断所述上一视频帧中所述目标关键点的目标位置的置信度是否大于第二阈值；若大于所述第二阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置；确定上一视频帧中所述目标关键点的目标位置的置信度与第二系数的乘积，为当前视频帧中所述目标关键点的目标位置的置信度，所述第二系数为小于1的正数。

本申请实施例提供的关键点位置确定装置，可用于执行上述图1、图2、图4和图5对应的任意实施例提供的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图7为本申请实施例提供的一种电子设备的结构示意图，如图7所示，本实施例的提供的电子设备包括：

至少一个处理器710；以及与所述至少一个处理器通信连接的存储器720；其中，所述存储器720存储有计算机执行指令；所述至少一个处理器710执行所述存储器存储的计算机执行指令，以使所述电子设备执行如前述任一实施例提供的方法。

可选地，存储器720既可以是独立的，也可以跟处理器710集成在一起。

本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时，可以实现前述任一实施例提供的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例提供的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例提供的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种关键点位置确定方法，其特征在于，包括：

获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度；

根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

2.根据权利要求1所述的方法，其特征在于，根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，包括：

计算当前视频帧中所述目标关键点的预测位置与上一视频帧中所述目标关键点的目标位置的位置偏差；

若所述位置偏差大于第一阈值，则根据上一视频帧中所述目标关键点的目标位置，以及当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置。

3.根据权利要求2所述的方法，其特征在于，根据上一视频帧中所述目标关键点的目标位置，以及当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，包括：

根据上一视频帧中所述目标关键点的目标位置的置信度、当前视频帧中所述目标关键点的预测位置的置信度以及所述位置偏差，确定加权系数；

根据所述加权系数、上一视频帧中所述目标关键点的目标位置以及当前视频帧中所述目标关键点的预测位置，确定当前视频帧中所述目标关键点的目标位置。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述位置偏差小于或等于所述第一阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置。

5.根据权利要求1-4任一项所述的方法，其特征在于，在确定当前视频帧中所述目标关键点的目标位置之后，所述方法还包括：

确定当前视频帧中所述目标关键点的目标位置的置信度为，当前视频帧中所述目标关键点的预测位置的置信度与上一视频帧中所述目标关键点的目标位置的置信度的加权平均值与第一系数的乘积，所述第一系数大于1。

6.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

获取在当前视频帧中所述目标关键点所属的目标物体的图像尺寸；

根据所述图像尺寸，确定所述第一阈值。

7.根据权利要求6所述的方法，其特征在于，获取在当前视频帧中所述目标关键点所属的目标物体的图像尺寸，包括：

获取在当前视频帧中所述目标关键点所属的目标物体的第一部位的各个第一关键点以及第二部位的各个第二关键点；

根据各个第一关键点的位置坐标以及各个第二关键点的位置坐标，确定所述目标物体的图像尺寸。

8.根据权利要求6所述的方法，其特征在于，根据所述图像尺寸，确定所述第一阈值，包括：

根据所述图像尺寸以及所述目标关键点所属的部位，确定所述第一阈值。

9.根据权利要求1-4任一项所述的方法，其特征在于，若当前视频帧中不存在所述目标关键点，所述方法还包括：

判断所述上一视频帧中所述目标关键点的目标位置的置信度是否大于第二阈值；

若大于所述第二阈值，则确定上一视频帧中所述目标关键点的目标位置为当前视频帧中所述目标关键点的目标位置；

确定上一视频帧中所述目标关键点的目标位置的置信度与第二系数的乘积，为当前视频帧中所述目标关键点的目标位置的置信度，所述第二系数为小于1的正数。

10.一种关键点位置确定装置，其特征在于，包括：

预测位置获取模块，用于获取待处理视频中当前视频帧中目标关键点的预测位置及其置信度；

目标位置确定模块，用于根据上一视频帧中所述目标关键点的目标位置、当前视频帧中所述目标关键点的预测位置及其置信度，确定当前视频帧中所述目标关键点的目标位置，以基于所述目标关键点的目标位置，对所述待处理视频进行处理。

Images