CN113822202A - 一种基于OpenPose和PyQt的太极拳姿态检测系统 - Google Patents

Abstract

本发明公开了一种基于OpenPose和PyQt的太极拳姿态检测系统包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化具有深远的意义。

Description

一种基于OpenPose和PyQt的太极拳姿态检测系统

技术领域

本发明属于人机交互技术领域，尤其涉及一种基于OpenPose和PyQt的太极拳姿态检测系统。

背景技术

在人机交互领域，可以利用姿态识别使机器人执行相同的操作，现在已经做到小型的机器人重复使用者的动作来进行一些复杂的操作，该技术可以应用在一些危险的需要人操作的工作上，如抗震救灾，灭火等。

在运动分析领域，当前的一个应用是在足球/棒球赛场上来分析球员的动作是否违规，可以做到深入的理解某项运动，甚至可以通过姿态数据让计算机解说比赛。

但是当前在传统运动上，姿态识别算法与其结合的应用还较少，因此无论是现在还是未来，姿态识别算法与传统运动的结合是有着极大的现实意义以及广阔的应用空间的。一个应用就是可以对太极拳学习者的姿态进行评估，矫正学习者的姿势，或者也可以应用到现在的太极拳考试评分中，使考核更加客观化，标准化。

发明内容

针对现有技术不足，本发明的目的在于提供了一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化具有深远的意义。

本发明提供如下技术方案：

一种基于OpenPose和PyQt的太极拳姿态检测系统，包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块。

优选的，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法包括以下步骤：

S1，首先上传图片，系统会先判断当前上传的图片路径是否为空，防止用上传文件直接关闭文件选择窗口而造成系统卡死的情况；

S2，计算图片的大小，当图片过大时，系统难以处理，用户需要重新上传；

S3，图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

S4，将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

优选的，步骤S3中，得出图片中每个关键点的置信度，和关键点之间的关联程度，之后对图片进行分割，使得每部分都具有不同种类的关键点。

优选的，步骤S4中，角度误差计算中，肢体两端的坐标构成二维向量，二维向量满足：a＝{x1，y1}和b＝{x2，y2}，则这两个向量的夹角的余弦值为：

输入图片中第k人的第i个肢体的向量为v_k，i，设太极拳第p式中第i个肢体的向量为vstd_p，i。则第k个人的姿势与太极拳第p式的误差满足:

第k个人的姿势应该误差最小的招式，w_i是第i个肢体的权重；由于会出现遮挡，对于为出现的肢体，直接令

优选的，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法的检测程序，包括：图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

另外，特征提取模块采用卷积神经网络提取图像特征时，卷积神经网络总共包含7层。第一层为输入层，以单通道灰色图像为例，输入图像的尺寸为46*46。第二层为卷积层1，设置6个尺寸为3*3的卷积核，分别与输入图像卷积，最终形成6个44*44像素大小的特征图，卷积步长设为1，并且下层的所有步长都设置为1。第三层为池化层1，采用均匀池化的方式池化上一层所有特征图，此时所有的特征图的像素大小为22*22。第四层为卷积层2，设置12个尺寸为3*3的卷积核，按照卷积层1相同的处理方式，可得12个像素大小为20*20的特征图。第五层为池化层2，图像处理方式和池化层1相同，特征图的像素大小变为10*10。第六层为全连接层，全连接层的任务是将所有的特征图展开形成一维向量。第七层是Softmax层，其主要作用是训练特征，生成Softmax分类器，然后用训练好的Softmax分类器分类。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

姿态检测的过程中，对于关键点的置信度检测，方法如下：若获取的图片中有K个人，对于每一个关键点1≤j≤J，则

表示在位置p是第k个人的j关键点的置信度。

令

表示第k个人的j关键点的基准位置，则

的计算方式为：

最终

的计算方式为：

对于图片中的人在打太极时，对于图片中人体骨骼关键检测点计算方法：

若x_j1，k，x_j2，k表示第k个人的肢体j的端点的位置，如果p位于x_j1，k，x_j2，k之间的肢体上，则有:

其中:v＝(x_j2，k-x_j1，k)/||x_j2，k-x_j1，k||₂，也即单位向量，c是x_j1，k，x_j2，k之间的肢体编号。对于p是否在肢体c上，其判断方法是如果p满足：

0≤v·(p-x_j1，k)≤||x_j2，k-x_j1，k||₂

及

|v⊥·(p-x_j1，k)|≤σ_l

则p在肢体c上。其中σ_l表示肢体c在图片中像素的长度。

最终得到每个肢体的关键点值：

其中n_c(p)表示在p处的非0向量的个数。

得到所有的关键点之后，对于两个关键点

其关联程度为:

其中p_u是

之间的点的位置。

在图片多人解析的过程中，此前得到了所有的关键点的数据，以及任意两个关键点直接的关联程度，直接在任意两个不同种类的点直接连接一条边，边的权值为两点之间的关联程度。得到人体不同种类的关键点j₁，j₂，j₃三个点集，如j₁可以被当作大腿根部的关键点，j₂可以看作是腿部膝盖的关键点，j₃可以作为脚上的关键点。若每种关键点都有3个点，也即意味着图片中应该有3个人，j₁，j₂，j₃中的每个点都只能隶属于某一个人，我们把任意两个不在同一个类别中的点连接一条边来构成一个完全图，那么这个完全图包含9个点，27条边，每条边上的权值即为两端点的关联程度。由于人的肢体是一棵生成树，即不存在回路，对于一个有n个节点的生成树，实际上总共只由n-1条边，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

与现有技术相比，本发明具有以下有益效果：

(1)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化。

(2)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

(3)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过设置的角度误差计算方法，将图片中的每个人的每一式进行计算，选取角度误差较小姿势作为最终的预判姿势，大大降低误差率。

(4)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，在图片多人解析的过程中，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的系统框图。

图2是本发明检测方法流程图。

图3是本发明人体关键节点示意图。

图4是本发明的人体关键节点生成树示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一：

如图1所示，一种基于OpenPose和PyQt的太极拳姿态检测系统，包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块。

实施例二：

如图2所示，在实施例一的基础上，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法包括以下步骤：

S1，首先上传图片，系统会先判断当前上传的图片路径是否为空，防止用上传文件直接关闭文件选择窗口而造成系统卡死的情况；

S2，计算图片的大小，当图片过大时，系统难以处理，用户需要重新上传；

S3，图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

S4，将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

步骤S3中，得出图片中每个关键点的置信度，和关键点之间的关联程度，之后对图片进行分割，使得每部分都具有不同种类的关键点。

步骤S4中，角度误差计算中，肢体两端的坐标构成二维向量，二维向量满足：a＝{x1，y1}和b＝{x2，y2}，则这两个向量的夹角的余弦值为：

输入图片中第k人的第i个肢体的向量为v_k，i，设太极拳第p式中第i个肢体的向量为vstd_p，i。则第k个人的姿势与太极拳第p式的误差满足:

第k个人的姿势应该误差最小的招式，w_i是第i个肢体的权重；由于会出现遮挡，对于为出现的肢体，直接令

实施例三：

如图3-4所示，在实施例一的基础上，姿态检测的过程中，对于关键点的置信度检测，方法如下：若获取的图片中有K个人，对于每一个关键点1≤j≤J，则

表示在位置p是第k个人的j关键点的置信度。

令

表示第k个人的j关键点的基准位置，则

的计算方式为：

最终

的计算方式为：

对于图片中的人在打太极时，对于图片中人体骨骼关键检测点计算方法：

若x_j，k，x_j2，k表示第k个人的肢体j的端点的位置，如果p位于x_j1，k，x_j2，k之间的肢体上，则有:

其中:v＝(x_j2，k-x_j1，k)/||x_j2，k-x_j1，k||₂，也即单位向量，c是x_j1，k，x_j2，k之间的肢体编号。对于p是否在肢体c上，其判断方法是如果p满足：

0≤v·(p-x_j1，k)≤||x_j2，k-x_j1，k||₂

及

|v⊥·(p-x_j1，k)|≤σ_l

则p在肢体c上。其中σ_l表示肢体c在图片中像素的长度。

最终得到每个肢体的关键点值：

其中n_c(p)表示在p处的非0向量的个数。

得到所有的关键点之后，对于两个关键点

其关联程度为:

其中p_u是

之间的点的位置。

在图片多人解析的过程中，此前得到了所有的关键点的数据，以及任意两个关键点直接的关联程度，直接在任意两个不同种类的点直接连接一条边，边的权值为两点之间的关联程度。得到人体不同种类的关键点j₁，j₂，j₃三个点集，如j₁可以被当作大腿根部的关键点，j₂可以看作是腿部膝盖的关键点，j₃可以作为脚上的关键点。若每种关键点都有3个点，也即意味着图片中应该有3个人，j₁，j₂，j₃中的每个点都只能隶属于某一个人，我们把任意两个不在同一个类别中的点连接一条边来构成一个完全图，那么这个完全图包含9个点，27条边，每条边上的权值即为两端点的关联程度。由于人的肢体是一棵生成树，即不存在回路，对于一个有n个节点的生成树，实际上总共只由n-1条边，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

实施例四

一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法的检测程序，包括：图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

另外，特征提取模块采用卷积神经网络提取图像特征时，卷积神经网络总共包含7层。第一层为输入层，以单通道灰色图像为例，输入图像的尺寸为46*46。第二层为卷积层1，设置6个尺寸为3*3的卷积核，分别与输入图像卷积，最终形成6个44*44像素大小的特征图，卷积步长设为1，并且下层的所有步长都设置为1。第三层为池化层1，采用均匀池化的方式池化上一层所有特征图，此时所有的特征图的像素大小为22*22。第四层为卷积层2，设置12个尺寸为3*3的卷积核，按照卷积层1相同的处理方式，可得12个像素大小为20*20的特征图。第五层为池化层2，图像处理方式和池化层1相同，特征图的像素大小变为10*10。第六层为全连接层，全连接层的任务是将所有的特征图展开形成一维向量。第七层是Softmax层，其主要作用是训练特征，生成Softmax分类器，然后用训练好的Softmax分类器分类。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

通过上述技术方案得到的装置是一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。通过设置的角度误差计算方法，将图片中的每个人的每一式进行计算，选取角度误差较小姿势作为最终的预判姿势，大大降低误差率。在图片多人解析的过程中，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于OpenPose和PyQt的太极拳姿态检测系统，其特征在于，包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块。

2.根据权利要求1所述一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法，其特征在于，包括以下步骤：

S1，首先上传图片，系统会先判断当前上传的图片路径是否为空，防止用上传文件直接关闭文件选择窗口而造成系统卡死的情况；

S2，计算图片的大小，当图片过大时，系统难以处理，用户需要重新上传；

S3，图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

S4，将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

3.根据权利要求2所述一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法，其特征在于，步骤S3中，得出图片中每个关键点的置信度，和关键点之间的关联程度，之后对图片进行分割，使得每部分都具有不同种类的关键点。

4.根据权利要求2所述一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法，其特征在于，步骤S4中，角度误差计算中，肢体两端的坐标构成二维向量，二维向量满足：a＝{x1，y1}和b＝{x2，y2}，则这两个向量的夹角的余弦值为：

输入图片中第k人的第i个肢体的向量为v_k，i，设太极拳第p式中第i个肢体的向量为vstd_p，i。则第k个人的姿势与太极拳第p式的误差满足:

第k个人的姿势应该误差最小的招式，w_i是第i个肢体的权重；由于会出现遮挡，对于为出现的肢体，直接令

5.根据权利要求2-4任一项所述一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法的检测程序，其特征在于，包括：图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

Images