CN114283404A - 一种基于三维骨骼关键点检测的姿势评估方法 - Google Patents
一种基于三维骨骼关键点检测的姿势评估方法 Download PDFInfo
- Publication number
- CN114283404A CN114283404A CN202111341897.0A CN202111341897A CN114283404A CN 114283404 A CN114283404 A CN 114283404A CN 202111341897 A CN202111341897 A CN 202111341897A CN 114283404 A CN114283404 A CN 114283404A
- Authority
- CN
- China
- Prior art keywords
- key point
- data
- bone
- coordinate
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于姿态识别领域，公开了一种基于三维骨骼关键点检测的姿势评估方法，首先，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；然后，以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；接着，根据预测置信概率值得到预测关键点数据坐标的回归损失值；接着，若回归损失值等于零则完成训练，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复上述步骤，完成训练后，以坐标数据的置信概率值进行神经元的连接权重的调整，从而实现骨骼关键点坐标数据的三维坐标回归。
Description
技术领域
本发明属于人工智能领域，具体涉及一种基于三维骨骼关键点检测的姿势评估方法。
背景技术
在特定时间点，人体各个部位所处的位置构成人体在这一时间点的姿势，姿势指稳定自己身体和调整肢体摆放的方式，包括静态姿势和动态姿势。从解剖学角度定义的良好姿势为：无论肌肉和骨骼是处于工作状态还是休息状态，这些组织都应该保持平衡，以保护身体支撑结构，避免受伤或进行性畸形。不良姿势主要体现为人体各个部位关系不良，这将使身体处于低效平衡状态。不良姿态会让肌肉、脏器处于一个低效率、不平衡的状态，长此以往会产生各种疼痛问题，影响人们的正常生活和工作。进行姿势评估可以让人们了解自己身体的姿势状态，并能根据专业人士的意见来改善自己的不良姿势，避免不良姿势带来的亚健康问题，改善自身精神面貌，体现出形体美。
在医学上，常用人体的体态信息来进行姿势评估，医生通过视诊或触诊的方式来评估患者的姿势，现有的姿势评估手段中，最常用的是基于视诊的3A姿势评估，该方法将人体在空间上分为三个轴(Axis)，即垂直轴，矢状轴和冠状轴，以这3个轴为标准，可以对姿势做出正确与不正确的评判。该方法需要被观察者按自己习惯的姿势赤脚自然直立后，让他人从正面、侧面来观察，对比在水平轴、矢状轴和冠状轴上身体各部位的偏离情况。例如：通过观察左右侧耳垂在水平轴上的高度差来判断头部的倾斜情况，通过观察面部关于冠状轴的对称情况来判断头部的扭转情况，通过观察肩峰在水平轴上的高度差来判断肩胛骨的倾斜情况等。通过该方法能大致得出人体大致的体态信息，专业人士能根据这些体态信息进行姿势评估。使用该方法进行姿势评估耗时长，获得的姿态信息不够精准，观察者的主观判断会影响评估的准确率。
发明内容
针对现有技术的不足，本发明提供一种基于三维骨骼关键点检测的姿势评估方法，通过建立的骨骼关键点检测神经网络，该神经网络不存在现有神经网络在三维坐标回归中的高度非线性问题，从而大大提高对骨骼关键点的训练效率，实现对人体姿势的准确评估。
为实现上述目的，本发明提供了如下技术方案为：
一种基于三维骨骼关键点检测的姿势评估方法，其特征在于，包括以下步骤：
步骤S1:建立骨骼关键点检测神经网络，骨骼关键点检测神经网络包括监督子模块；
步骤S2：建立识别空间子模型，并在监督子模块中使用识别空间子模型；
步骤S3：将包括骨骼关键点坐标数据的人体图像训练数据输入骨骼关键点检测神经网络，通过识别空间子模型进行训练，包括以下子步骤：
步骤S3-1：将经卷积池化的人体图像训练数据输入识别空间子模型，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；
步骤S3-2：设置预测关键点数据坐标；
步骤S3-3：以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；
步骤S3-4：根据预测置信概率值得到预测关键点数据坐标的回归损失值；
步骤S3-5：若回归损失值等于零则进入步骤S4，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复步骤S3-3至S3-4；
步骤S4：通过骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估。
优选地，骨骼关键点检测神经网络由多个沙漏网络模块串联组成，沙漏网络模块包括一个沙漏网络子模块和监督子模块。
优选地，骨骼关键点检测神经网络的训练集包括人体第一训练子集和第二训练子集，第一训练子集的数据为人体图像训练数据，第二训练子集的数据为人景图像训练数据，骨骼关键点检测神经网络通过人景图像训练数据对人体和背景的辨识进行训练。
进一步地，第一训练子集为具有骨骼关键点的三维标记的人体图像训练数据，迭代训练次数为55万次，第二训练子集为具有骨骼关键点的二维标记的人景图像训练数据，迭代训练次数为3万次。
再进一步地，在步骤S4中，经过训练的骨骼关键点检测神经网络的评价指标采用MPJPE。
优选地，在步骤S3-3中，高斯分布的表达式为：
Gi,j,k(xn gt)为预测关键点数据坐标xn gt＝(x,y,z)的预测置信概率值，目标关键点数据坐标为(i,j,k)。
进一步地，在步骤S3-4中，回归损失值L的表达式为：
再进一步地，在步骤S3-5中，通过将回归损失值反向传播至骨骼关键点检测神经网络，并基于回归损失值对神经元之间的连接权重进行调整，从而得到新的预测关键点数据坐标。
优选地，人体具有多个骨骼关键点，多个骨骼关键点在人体上成对镜像设置，
在步骤S4中，对人体图像评估数据中的姿势评估方法为：首先，在人体图像评估数据中设置人体的矢量轴、冠状轴以及垂直轴，并作为特征轴；然后，得到成对的骨骼关键点的连线与相交的一个特征轴的偏移夹角，及沿特征轴分布的偏差值，并根据偏移夹角、偏差值进行姿势评估。
与现有技术相比，本发明的有益效果是：
1.因为在本发明的识别空间子模型中，首先，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；然后，以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值；接着，根据预测置信概率值得到预测关键点数据坐标的回归损失值；接着，若回归损失值等于零则完成训练，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复上述步骤，完成训练后，通过骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估，从而以坐标数据的置信概率值进行神经元的连接权重的调整，从而实现骨骼关键点坐标数据的三维坐标回归，因此，本发明不存在现有神经网络在三维坐标回归中的高度非线性问题，从而大大提高对骨骼关键点的训练效率，实现对人体姿势的准确评估。
2.因为本发明的骨骼关键点检测神经网络由多个沙漏网络模块串联组成，沙漏网络模块包括一个沙漏网络子模块和监督子模块，因此，本发明通过在每个沙漏网络模型中设置监督子模块，即每通过一次沙漏网络都需要计算一次回归损失值，从而使每个沙漏网络模型能单独计算回归损失值，进而大大提高了骨骼关键点检测神经网络的预测精确度。
附图说明
图1为本发明的实施例的基于三维骨骼关键点检测的姿势评估方法的步骤示意图；
图2为本发明的实施例的沙漏网络模块构成示意图；
图3为本发明的实施例的骨骼关键点检测神经网络的骨骼关键点训练原理示意图。
图中：S100、基于三维骨骼关键点检测的姿势评估方法，100、沙漏网络模块，10、沙漏网络子模块，20、监督子模块，1000、骨骼关键点检测神经网络，D、人体图形训练数据，P、骨骼关键点。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明的一种基于三维骨骼关键点检测的姿势评估方法作具体阐述，需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
如图1所示，本实施例中的一种基于三维骨骼关键点检测的姿势评估方法S100，包括以下步骤：
步骤S1:建立骨骼关键点检测神经网络，骨骼关键点检测神经网络包括监督子模块。
骨骼关键点检测神经网络由多个如图2所示的沙漏网络模块100串联组成，沙漏网络模块100包括一个沙漏网络子模块10和监督子模块20，具体地，沙漏网络子模块即沙漏网络结构。
步骤S2：建立识别空间子模型，并在监督子模块20中使用识别空间子模型。
具体地，识别空间子模型为一个三维空间数据模型。
步骤S3：将包括骨骼关键点坐标数据的人体图像训练数据输入骨骼关键点检测神经网络，通过识别空间子模型进行训练，包括以下子步骤：
步骤S3-1：将经卷积池化的人体图像训练数据输入识别空间子模型，将骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标。
具体地，在识别空间子模型内的目标关键点数据坐标为(i,j,k)。
步骤S3-2：设置预测关键点数据坐标。
具体地，在识别空间子模型内的预测关键点数据坐标为(x,y,z),预测关键点数据坐标的第一次设置为识别空间子模型内的任取的数据坐标。
步骤S3-3：以目标关键点数据坐标为中心点在识别空间子模型中建立高斯分布，并获取预测关键点数据坐标在高斯分布中的预测置信概率值。
具体地，高斯分布的表达式为：
Gi,j,k(xn gt)为预测关键点数据坐标xn gt＝(x,y,z)的预测置信概率值。
步骤S3-4：根据预测置信概率值得到预测关键点数据坐标的回归损失值，回归损失值的表达式为：
步骤S3-5：若回归损失值等于零则进入步骤S4，否则骨骼关键点检测神经网络根据回归损失值得到新的预测关键点数据坐标，并重复步骤S3-3至S3-4，即对骨骼关键点进行训练。
具体地，通过将回归损失值反向传播至骨骼关键点检测神经网络，并基于回归损失值对神经元之间的连接权重进行调整，从而得到新的预测关键点数据坐标。
步骤S4：通过骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估。
人体具有多个骨骼关键点，多个骨骼关键点在人体上成对镜像设置，
在步骤S4中，对人体图像评估数据中的姿势评估方法为：首先，在人体图像评估数据中设置人体的矢量轴、冠状轴以及垂直轴，并作为特征轴；然后，得到成对的骨骼关键点的连线与相交的一个特征轴的偏移夹角，及沿特征轴分布的偏差值，并根据偏移夹角、偏差值进行姿势评估。
具体地，成对的骨骼关键点分别位于矢量轴、冠状轴或者垂直轴的两侧，以位于垂直轴两侧的一对骨骼关键点为例，该一对骨骼关键点连线与垂直轴的偏移夹角为Δα，该一对骨骼关键点沿垂直轴的偏差值，及该一对骨骼关键点间的沿垂直轴的距离差值为Δd,若Δα或者Δd超过预设的阈值，即代表该人体姿势不符合预定标准。
经过训练的骨骼关键点检测神经网络的评价指标采用MPJPE。
如图3所示，骨骼关键点检测神经网络1000的训练集包括人体第一训练子集和第二训练子集，第一训练子集的数据为人体图像训练数据D，第二训练子集的数据为人景图像训练数据，骨骼关键点检测神经网络1000通过人景图像训练数据对人体和背景的辨识进行训练。
第一训练子集为具有骨骼关键点P的三维标记的人体图像训练数据D，迭代训练次数为55万次，第二训练子集为具有骨骼关键点P的二维标记的人景图像训练数据，迭代训练次数为3万次。
具体地，在训练时，使用了旋转增强(±30°)、缩放增强(0.75-1.25)和左右翻转等图像数据增强手段，使用RMSProp算法为作为优化算法，Batchsize设置为4，学习率设置为0.001。
第一训练子集由Human3.6M数据集和HumanEva-I数据集组成，对于Human3.6M数据集，训练划分为4个epoch，进行了约310k次迭代。对于HumanEva-I数据集，训练划分为120个epoch，进行了约235k次迭代；第二训练子集为MPII数据集，其使用预训练好的堆叠沙漏模型的权重。
具体地，MPJPE(Mean Per Joint Position Error)的计算式为：
Human3.6M数据集上的MPJPE为63.2mm，在HumanEva-I数据集上的MPJPE为25.9mm。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围，本领域普通技术人员在所附权利要求范围内不需要创造性劳动就能做出的各种变形或修改仍属本专利的保护范围。
Claims (9)
1.一种基于三维骨骼关键点检测的姿势评估方法，其特征在于，包括以下步骤：
步骤S1:建立骨骼关键点检测神经网络，该骨骼关键点检测神经网络包括监督子模块；
步骤S2：建立识别空间子模型，并在所述监督子模块中使用所述识别空间子模型；
步骤S3：将包括骨骼关键点坐标数据的人体图像训练数据输入所述骨骼关键点检测神经网络，通过所述识别空间子模型进行训练，包括以下子步骤：
步骤S3-1：将经卷积池化的所述人体图像训练数据输入所述识别空间子模型，将所述骨骼关键点坐标数据映射至识别空间子模型成为目标关键点数据坐标；
步骤S3-2：设置预测关键点数据坐标；
步骤S3-3：以所述目标关键点数据坐标为中心点在所述识别空间子模型中建立高斯分布，并获取所述预测关键点数据坐标在该高斯分布中的预测置信概率值；
步骤S3-4：根据所述预测置信概率值得到所述预测关键点数据坐标的回归损失值；
步骤S3-5：若所述回归损失值等于零则进入步骤S4，否则所述骨骼关键点检测神经网络根据所述回归损失值得到新的预测关键点数据坐标，并重复步骤S3-3至S3-4；
步骤S4：通过所述骨骼关键点检测神经网络对输入的人体图像评估数据进行基于三维骨骼关键点检测的姿势评估。
2.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，所述骨骼关键点检测神经网络由多个沙漏网络模块串联组成，所述沙漏网络模块包括一个沙漏网络子模块和所述监督子模块。
3.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，所述骨骼关键点检测神经网络的训练集包括人体第一训练子集和第二训练子集，所述第一训练子集的数据为所述人体图像训练数据，所述第二训练子集的数据为所述人景图像训练数据，所述骨骼关键点检测神经网络通过所述人景图像训练数据对人体和背景的辨识进行训练。
4.根据权利要求3所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，所述第一训练子集为具有所述骨骼关键点的三维标记的人体图像训练数据，迭代训练次数为55万次，所述第二训练子集为具有所述骨骼关键点的二维标记的人景图像训练数据，迭代训练次数为3万次。
5.根据权利要求4所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，在步骤S4中，经过训练的所述骨骼关键点检测神经网络的评价指标采用MPJPE。
6.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，在步骤S3-3中，高斯分布的表达式为：
Gi,j,k(xn gt)为所述预测关键点数据坐标xn gt＝(x,y,z)的预测置信概率值，所述目标关键点数据坐标为(i,j,k)。
7.根据权利要求6所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，在步骤S3-4中，回归损失值L的表达式为：
8.根据权利要求7所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，在步骤S3-5中，通过将所述回归损失值反向传播至所述骨骼关键点检测神经网络，并基于所述回归损失值对神经元之间的连接权重进行调整，从而得到新的预测关键点数据坐标。
9.根据权利要求1所述的基于三维骨骼关键点检测的姿势评估方法，其特征在于：
其中，人体具有多个骨骼关键点，多个所述骨骼关键点在人体上成对镜像设置，
在步骤S4中，对所述人体图像评估数据中的姿势评估方法为：首先，在所述人体图像评估数据中设置所述人体的矢量轴、冠状轴以及垂直轴，并作为特征轴；然后，得到成对的所述骨骼关键点的连线与相交的一个所述特征轴的偏移夹角，及沿该特征轴分布的偏差值，并根据所述偏移夹角、所述偏差值进行姿势评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341897.0A CN114283404A (zh) | 2021-11-12 | 2021-11-12 | 一种基于三维骨骼关键点检测的姿势评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341897.0A CN114283404A (zh) | 2021-11-12 | 2021-11-12 | 一种基于三维骨骼关键点检测的姿势评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283404A true CN114283404A (zh) | 2022-04-05 |
Family
ID=80869236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111341897.0A Pending CN114283404A (zh) | 2021-11-12 | 2021-11-12 | 一种基于三维骨骼关键点检测的姿势评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115595A (zh) * | 2023-10-23 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 姿态估计模型的训练方法、装置、电子设备及存储介质 |
-
2021
- 2021-11-12 CN CN202111341897.0A patent/CN114283404A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115595A (zh) * | 2023-10-23 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 姿态估计模型的训练方法、装置、电子设备及存储介质 |
| CN117115595B (zh) * | 2023-10-23 | 2024-02-02 | 腾讯科技（深圳）有限公司 | 姿态估计模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| Zulkifley et al. | Squat angle assessment through tracking body movements | |
| CN107423730A (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
| CN112308932B (zh) | 一种注视检测方法、装置、设备及存储介质 | |
| CN113663312B (zh) | 一种基于微惯性的无器械健身动作质量评估方法 | |
| Huang et al. | Using pressure map sequences for recognition of on bed rehabilitation exercises | |
| CN111883229B (zh) | 一种基于视觉ai的智能运动指导方法及系统 | |
| Williams et al. | Assessment of physical rehabilitation movements through dimensionality reduction and statistical modeling | |
| CN114283404A (zh) | 一种基于三维骨骼关键点检测的姿势评估方法 | |
| US20230355135A1 (en) | Intelligent gait analyzing apparatus | |
| Bruce et al. | Skeleton-based detection of abnormalities in human actions using graph convolutional networks | |
| CN108743222B (zh) | 一种基于Leap Motion的手指对称康复误差修正方法 | |
| KR20150019963A (ko) | 승마시뮬레이터에서 사용자 자세 인식 장치 및 방법 | |
| CN112541897A (zh) | 一种基于人工智能的面瘫程度评估系统 | |
| CN112818800A (zh) | 一种基于人体骨骼点深度图像的体育动作评估方法及系统 | |
| CN116343325A (zh) | 一种居家健身智能辅助系统 | |
| CN116469174A (zh) | 一种基于单目摄像头的深度学习坐姿测量检测方法 | |
| CN116543455A (zh) | 建立帕金森症步态受损评估模型、使用方法、设备及介质 | |
| Wei et al. | Center of mass estimation for balance evaluation using convolutional neural networks | |
| Brooks et al. | A computational method for physical rehabilitation assessment | |
| CN114821672A (zh) | 一种人体卧姿实时检测及识别方法 | |
| Silva et al. | Classification algorithms for body posture | |
| CN112185508A (zh) | 一种基于人工智能的眼保健操质量评估系统 | |
| CN116052273B (zh) | 一种基于体态鱼骨线的动作比对方法及装置 | |
| CN114360060B (zh) | 人体动作识别计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |