CN113486771A - 基于关键点检测的视频动作整齐度评估方法及系统 - Google Patents

Abstract

本发明涉及一种基于关键点检测的视频动作整齐度评估方法及系统，该方法包括以下步骤：步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。该方法及系统可以有效地对视频中的动作整齐度进行评估。

Description

基于关键点检测的视频动作整齐度评估方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及一种基于关键点检测的视频动作整齐度评估方法及系统。

背景技术

近年来，随着互联网和多媒体科技的飞速发展，对图像、视频的需求也日益增长，需求的增长带动了图像、视频处理技术的高速发展，如图像识别、视频分析、动作评分等。随着人工智能技术的不断发展及其场景化应用的不断成熟，对视频中的动作进行分析这一相关课题吸引着越来越多的学者投身研究。越来越多的学者研究发表更快更准的目标检测算法、关键点检测算法，更进一步对视频动作检测、姿态识别、动作跟踪等相关领域有着不断突破。

尽管视频图像处理技术与关键点检测技术已经取得很大进步，在真实环境应用上仍有许多创新的突破口。如今，很多所谓的专家对各类团体舞蹈、军训军姿、运动竞技等需要整齐度的动作做出评价，但个人的评价通常会带有主观因素，所以往往会出现人们对这些专家评价带有不同的态度与看法，引出一系列争论。

发明内容

本发明的目的在于提供一种基于关键点检测的视频动作整齐度评估方法及系统，该方法及系统可以有效地对视频中的动作整齐度进行评估。

为实现上述目的，本发明采用的技术方案是：一种基于关键点检测的视频动作整齐度评估方法，包括以下步骤：

步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；

步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；

步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；

步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：从网络上获取公开的团体动作场景数据集；

步骤S12：对数据集进行预处理，针对包括人物遮挡、镜像、模糊、个人不同动作、无关元素的影响因素进行处理，筛选合适的图像，剪辑出符合要求的视频片段，完成数据集的构建；

步骤S13：对数据集进行标注，将数据集按照一定比例划分训练集和测试集，并用训练集对基于YOLOF和HRNet的关键点检测算法进行训练。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：对于输入的视频图像，将其分成多个帧并进行逐帧处理，对于一个帧图像，用步骤S1中训练好的基于YOLOF的目标检测模型检测出目标人体位置框；

步骤S22：将S21检测出的位置框信息输入基于HRNet的人体关键点检测算法，得出以骨骼关键点表示的人体姿态估计图，人体姿态估计图包含人体常用的鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝，共17个骨骼点；

步骤S23：将步骤S22得出的人体骨骼关键点进行编号，以JSON格式输出帧名、人物编号、各编号关键点的位置信息、检测置信度以及整个人的综合置信度。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：将人体的四肢各部分分别进行编号，各部位以ID∈(0,1,2,……,7)来表示，ID分别表示左前臂、左上臂、右前臂、右上臂、左大腿、左小腿、右大腿、右小腿；

步骤S32：对于一个帧图像，将各位目标人体两两之间的肢体转化为向量进行计算，每一个肢体部位涉及两个骨骼点，然后采用以下余弦相似度公式计算同一个肢体部位的整齐程度：

其中，θ表示角度，x_{1_man}与y_{1_man}分别是第一个人的肢体向量的x坐标和y坐标，x_{2_man}与y_{2_man}分别是第二个人的肢体向量的x坐标和y坐标；

步骤S33：将同一肢体部位两两之间的相似度求均值，即为该肢体的相似度，计算各部位的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的肢体整齐度：

其中，S_cos表示肢体余弦相似度，k表示同一个肢体两两之间的第k个相似度，m表示其总数，j_cos表示第j个肢体，i表示第i个帧，n表示帧总数。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41：将运动中人体常用的各个关节分别进行编号，每个关节涉及步骤S3所述的两个肢体部分，各关节以ID∈(0,1,2,……,5)来表示，ID分别表示左手肘角度、左肩膀角度、右手肘角度、右肩膀角度、左膝盖角度、右膝盖角度；

步骤S42：对于一个关节，找出该关节涉及的两部分肢体，分别计算这两部分与X轴的夹角，采用以下公式计算该关节角度：

其中，angle为关节角度，Δ₁与Δ₂分别是该关节对应的两肢体部分与X轴的夹角；

求出每个人该关节角度后，两两求差值得出关节基于距离度量的差异数组，将该数组进行离差归一化，并用以下公式得出该关节基于距离度量的相似度：

其中，

表示第j个关节基于距离度量的相似度，min和max分别表示距离度量差异数组的最小值和最大值，g_p表示差异数组的值，t为数组元素个数；

步骤S43：对于一个帧图像，计算各关节的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的关节整齐度：

其中，S_gap表示关节距离相似度，j_gap表示第j个关节，i表示第i个帧，n表示帧总数；

步骤S44：对于某一帧中的同一动作，先计算每个人的各肢体基于余弦相似度的整齐度后，再计算两两肢体间的关节基于距离度量的相似度，综合获得该部分肢体及涉及关节的整齐度，即视频图像的综合整齐度：

S＝λ₁S_cos+λ₂S_gap

其中，S为综合整齐度，λ₁和λ₂分别表示肢体余弦相似度和关节距离相似度的权重参数。

本发明还提供了一种基于关键点检测的视频动作整齐度评估系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的程序指令，当处理器运行该程序指令时，能够实现上述的方法步骤。

与现有技术相比，本发明具有以下有益效果：

1、针对传统人体姿态估计精度不够的问题，本发明提出了针对动作整齐度评估应用场景进行训练的目标检测和关键点检测算法的结合，能够有效地对视频中的目标人物进行识别，过滤背景中无关的模糊、较小的动物，包括无关人员，提升了关键点检测的准确率，而且降低了输入的视频图像质量对关键点检测的影响。

2、能够对异常数值进行检测并处理，针对遮挡、单人不同动作、镜像、漏检或检测不清不全等问题进行异常检测与处理，根据不同的情况舍弃该信息或者通过求均值来排除异常值进行计算，提高整齐度评估精度。

3、针对传统相似度计算方法可能受多方面因素影响，评估不够精确的问题，提出了基于余弦相似度和距离度量的综合整齐度算法。该算法综合考虑人体肢体和关节对动作的影响，统筹计算两种整齐度，能够根据不同应用场景给出合理客观的整齐度。

附图说明

图1是本发明实施例的方法实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于关键点检测的视频动作整齐度评估方法，包括以下步骤：

步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；具体包括以下步骤：

步骤S11：从网络上获取公开的团体动作场景数据集；

步骤S12：对数据集进行预处理，针对人物遮挡、镜像、模糊、个人不同动作、无关元素的等影响因素进行处理，筛选合适的图像，剪辑出符合要求的视频片段，完成数据集的构建；

步骤S13：对数据集进行标注，将数据集按照一定比例划分训练集和测试集，并用训练集对基于YOLOF和HRNet的关键点检测算法进行训练。

步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；具体包括以下步骤：

步骤S21：对于输入的视频图像，将其分成多个帧并进行逐帧处理，对于一个帧图像，用步骤S1中训练好的基于YOLOF的目标检测模型检测出目标人体位置框；

步骤S22：将S21检测出的位置框信息输入基于HRNet的人体关键点检测算法，得出以骨骼关键点表示的人体姿态估计图，本发明所需的人体姿态估计图包含人体常用的鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝，共17个骨骼点；

步骤S23：将步骤S22得出的人体骨骼关键点进行编号，以JSON格式输出帧名、人物编号、各编号关键点的位置信息、检测置信度以及整个人的综合置信度，即以帧为单位将整个视频图像检测后的信息输出，一个帧中即包含以上的信息。

步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；具体包括以下步骤：

步骤S31：将人体的四肢各部分分别进行编号，各部位以ID∈(0,1,2,……,7)来表示，ID分别表示左前臂、左上臂、右前臂、右上臂、左大腿、左小腿、右大腿、右小腿；

步骤S32：对于一个帧图像，将各位目标人体两两之间的肢体转化为向量进行计算，每一个肢体部位涉及两个骨骼点，然后采用以下余弦相似度公式计算同一个肢体部位的整齐程度：

其中，θ表示角度，x_{1_man}与y_{1_man}分别是第一个人的肢体向量的x坐标和y坐标，x_{2_man}与y_{2_man}分别是第二个人的肢体向量的x坐标和y坐标；

步骤S33：将同一肢体部位两两之间的相似度求均值，即为该肢体的相似度，计算各部位的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的肢体整齐度：

其中，S_cos表示肢体余弦相似度，k表示同一个肢体两两之间的第k个相似度，m表示其总数，j_cos表示第j个肢体，i表示第i个帧，n表示帧总数。

步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估；具体包括以下步骤：

步骤S41：将运动中人体常用的各个关节分别进行编号，每个关节涉及步骤S3所述的两个肢体部分，各关节以ID∈(0,1,2,……,5)来表示，ID分别表示左手肘角度、左肩膀角度、右手肘角度、右肩膀角度、左膝盖角度、右膝盖角度；

步骤S42：对于一个关节，找出该关节涉及的两部分肢体，分别计算这两部分与X轴的夹角，采用以下公式计算该关节角度：

其中，angle为关节角度，Δ₁与Δ₂分别是该关节对应的两肢体部分与X轴的夹角；

求出每个人该关节角度后，两两求差值得出关节基于距离度量的差异数组，将该数组进行离差归一化，并用以下公式得出该关节基于距离度量的相似度：

其中，

表示第j个关节基于距离度量的相似度，min和max分别表示距离度量差异数组的最小值和最大值，g_p表示差异数组的值，t为数组元素个数；

步骤S43：对于一个帧图像，计算各关节的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的关节整齐度：

其中，S_gap表示关节距离相似度，j_gap表示第j个关节，i表示第i个帧，n表示帧总数；

步骤S44：对于某一帧中的同一动作，先计算每个人的各肢体基于余弦相似度的整齐度后，再计算两两肢体间的关节基于距离度量的相似度，综合获得该部分肢体及涉及关节的整齐度，即视频图像的综合整齐度：

S＝λ₁S_cos+λ₂S_gap

其中，S为综合整齐度，λ₁和λ₂分别表示肢体余弦相似度和关节距离相似度的权重参数。

本实施例还提供了一种基于关键点检测的视频动作整齐度评估系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的程序指令，当处理器运行该程序指令时，能够实现上述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于关键点检测的视频动作整齐度评估方法，其特征在于，包括以下步骤：

步骤S1：获取数据集并预处理，训练基于计算机视觉的关键点检测算法；

步骤S2：采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点，并输出信息；

步骤S3：采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理，计算肢体整齐度；

步骤S4：采用基于距离度量的关节整齐度算法计算关节整齐度，基于肢体和关节整齐度计算综合整齐度，完成最终的评估。

2.根据权利要求1所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S1具体包括以下步骤：

步骤S11：从网络上获取公开的团体动作场景数据集；

步骤S12：对数据集进行预处理，针对包括人物遮挡、镜像、模糊、个人不同动作、无关元素的影响因素进行处理，筛选合适的图像，剪辑出符合要求的视频片段，完成数据集的构建；

步骤S13：对数据集进行标注，将数据集按照一定比例划分训练集和测试集，并用训练集对基于YOLOF和HRNet的关键点检测算法进行训练。

3.根据权利要求2所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21：对于输入的视频图像，将其分成多个帧并进行逐帧处理，对于一个帧图像，用步骤S1中训练好的基于YOLOF的目标检测模型检测出目标人体位置框；

步骤S22：将S21检测出的位置框信息输入基于HRNet的人体关键点检测算法，得出以骨骼关键点表示的人体姿态估计图，人体姿态估计图包含人体常用的鼻子、左右眼睛、左右耳朵、左右肩膀、左右手肘、左右手腕、左右臀部、左右膝盖以及左右脚踝，共17个骨骼点；

步骤S23：将步骤S22得出的人体骨骼关键点进行编号，以JSON格式输出帧名、人物编号、各编号关键点的位置信息、检测置信度以及整个人的综合置信度。

4.根据权利要求3所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S3具体包括以下步骤：

步骤S31：将人体的四肢各部分分别进行编号，各部位以ID∈(0,1,2,……,7)来表示，ID分别表示左前臂、左上臂、右前臂、右上臂、左大腿、左小腿、右大腿、右小腿；

步骤S32：对于一个帧图像，将各位目标人体两两之间的肢体转化为向量进行计算，每一个肢体部位涉及两个骨骼点，然后采用以下余弦相似度公式计算同一个肢体部位的整齐程度：

其中，θ表示角度，x_{1_man}与y_{1_man}分别是第一个人的肢体向量的x坐标和y坐标，x_{2_man}与y_{2_man}分别是第二个人的肢体向量的x坐标和y坐标；

步骤S33：将同一肢体部位两两之间的相似度求均值，即为该肢体的相似度，计算各部位的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的肢体整齐度：

其中，S_cos表示肢体余弦相似度，k表示同一个肢体两两之间的第k个相似度，m表示其总数，j_cos表示第j个肢体，i表示第i个帧，n表示帧总数。

5.根据权利要求1所述的基于关键点检测的视频动作整齐度评估方法，其特征在于，所述步骤S4具体包括以下步骤：

步骤S41：将运动中人体常用的各个关节分别进行编号，每个关节涉及步骤S3所述的两个肢体部分，各关节以ID∈(0,1,2,……,5)来表示，ID分别表示左手肘角度、左肩膀角度、右手肘角度、右肩膀角度、左膝盖角度、右膝盖角度；

步骤S42：对于一个关节，找出该关节涉及的两部分肢体，分别计算这两部分与X轴的夹角，采用以下公式计算该关节角度：

其中，angle为关节角度，Δ₁与Δ₂分别是该关节对应的两肢体部分与X轴的夹角；

求出每个人该关节角度后，两两求差值得出关节基于距离度量的差异数组，将该数组进行离差归一化，并用以下公式得出该关节基于距离度量的相似度：

其中，

表示第j个关节基于距离度量的相似度，min和max分别表示距离度量差异数组的最小值和最大值，g_p表示差异数组的值，t为数组元素个数；

步骤S43：对于一个帧图像，计算各关节的相似度求均值即为该帧的动作整齐度，求各帧整齐度的均值即为视频整体的关节整齐度：

其中，S_gap表示关节距离相似度，j_gap表示第j个关节，i表示第i个帧，n表示帧总数；

步骤S44：对于某一帧中的同一动作，先计算每个人的各肢体基于余弦相似度的整齐度后，再计算两两肢体间的关节基于距离度量的相似度，综合获得该部分肢体及涉及关节的整齐度，即视频图像的综合整齐度：

S＝λ₁S_cos+λ₂S_gap

其中，S为综合整齐度，λ₁和λ₂分别表示肢体余弦相似度和关节距离相似度的权重参数。

6.一种基于关键点检测的视频动作整齐度评估系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的程序指令，当处理器运行该程序指令时，能够实现如权利要求1-5所述的方法步骤。

Images