CN114724241A - 基于骨骼点距离的动作识别方法、装置、设备及存储介质 - Google Patents
基于骨骼点距离的动作识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114724241A CN114724241A CN202210315741.3A CN202210315741A CN114724241A CN 114724241 A CN114724241 A CN 114724241A CN 202210315741 A CN202210315741 A CN 202210315741A CN 114724241 A CN114724241 A CN 114724241A
- Authority
- CN
- China
- Prior art keywords
- human body
- skeleton
- images
- posture
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及图像识别技术领域，公开了一种基于骨骼点距离的动作识别方法、装置、设备及存储介质。本方法包括：将采集的多帧待识别人体图像输入预设骨骼点识别模型进行处理，得到待识别人体图像的特征图像；基于预设人体姿态识别算法对特征图像进行处理，得到对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入动作识别模型进行识别，得到动作识别结果。本发明通过人体骨骼点检测技术，解决了现有技术中的无法借助算法对用户的动作进行精准识别的技术问题，提高图像识别的准确性。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于骨骼点距离的动作识别方法、装置、设备及存储介质。
背景技术
随着社会的不断发展进步，生活水平的提高，越来越多的人更加注重自己的身体健康。因此近些年来，健身房层出不穷，健身的人也越来越多，而正确的健身姿势更是重中之重。如果健身过程姿势错误，不仅起不到健身效果，甚至长期下来还会对身体造成伤害。在此之前人们可以通过健身教练的指导来矫正和锻炼正确的姿势，而在疫情爆发后，热爱健身的人足不出户，只能在家自己锻炼。这时，他们迫切需要对健身过程进行督导和提示，AI运动检测应运而生。
现有的人体姿势识别框架MoveNet可以准确识别出人体主要骨骼关键点的坐标，例如眼睛、鼻子、嘴巴、耳朵、肩关节、手肘、手腕、髋关节、膝关节、脚踝等关键点，得到这些点的坐标后，就能判断出当前用户的位置及姿势。AI运动检测就是通过摄像头对所做运动的姿势进行捕捉，运用恰当的算法对捕捉的动作进行分析计算；深蹲运动过程中，检测膝盖不应内扣、外翻等。对于不是很复杂的动作，可以借助AI运动算法进行检测，继而缓解相对较高的私教费用，又能达到锻炼和纠正错误动作的目的。因此，如何提高图像识别检测的准确性成了本领域技术人员需要解决的技术问题。
发明内容
本发明的主要目的在于解决现有技术中的无法借助算法对用户的动作进行精准识别的技术问题，提高图像识别检测的准确性。
本发明第一方面提供了基于骨骼点距离的动作识别方法，包括：利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；根据所述骨骼关键点绘制人体姿态轮廓图；确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
可选地，在本发明第一方面的第一种实现方式中，所述将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像包括：获取训练样本图像，并将所述训练样本图像输入至初始骨骼点识别模型中，通过所述初始骨骼点识别模型得到所述训练样本图像中每个骨骼点的样本热力图和样本标签图；根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值；根据所述热度损失值和所述标签损失值得到损失函数值，并根据所述损失函数值更新所述初始骨骼点识别模型的网络参数；直到所述初始骨骼点识别模型的损失函数值收敛，得到骨骼点识别模型。
可选地，在本发明第一方面的第二种实现方式中，所述根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值包括：获取所述样本热力图中每个骨骼点的第一热力值和所骨骼点在预设标准热力图中的第二热力值；计算所述骨骼点的样本热力图与所述标准热力图的均方误差，得到所述骨骼点的均方误差；计算所述骨骼点的均方误差之和，得到骨骼点的热度损失值。
可选地，在本发明第一方面的第三种实现方式中，所述根据所述骨骼关键点绘制人体姿态轮廓图包括：对所述骨骼关键点和所述多帧待识别人体图像进行轮廓提取，得到所述多帧待识别人体图像中的轮廓特征图像；将所述轮廓特征图像和预设姿态模板进行对齐，得到所述轮廓特征图像的骨架特征图；对所述骨架特征图进行实例分割，得到所述骨架特征图的关键点置信图和所述多帧待识别人体图像的人体姿态轮廓图。
可选地，在本发明第一方面的第四种实现方式中，所述确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图包括：获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数；基于预设人体姿态检测器获取臀部坐标、膝部坐标、足部坐标；根据所述姿态相位的时间参数和所述人体部位坐标序列，得到深蹲数据、深蹲变异系数；根据所述臀部坐标、膝部坐标、足部坐标，确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图。
可选地，在本发明第一方面的第五种实现方式中，所述将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果包括：对所述骨架特征图进行预处理，得到预处理后的骨架图像数据；对所述骨架图像数据进行空间特征提取和时序特征提取，并进行深度时序特征加权，得到动作特征值；根据所述动作特征值确定当前动作的类别，获得识别结果。
可选地，在本发明第一方面的第六种实现方式中，在所述将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果之前，还包括：获取深蹲动作识别数据集，其中，所述深蹲动作识别数据集中包括多张深蹲动作图像；将所述深蹲动作图像输入至预设的多任务卷积神经网络，以利用所述多任务卷积神经网络对所述深蹲动作图像进行深蹲检测，得到所述深蹲动作图像对应的特征图像；基于预设规则分别对所述特征图像进行预处理，得到训练样本图像；将所述训练样本图像输入预设的待训练神经网络，以对所述待训练神经网络进行训练，得到动作识别模型。
本发明第二方面提供了一种基于骨骼点距离的动作识别装置，包括：采集模块，用于利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；提取模块，用于将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；计算模块，用于基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；绘制模块，用于根据所述骨骼关键点绘制人体姿态轮廓图；确定模块，用于确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；动作识别模块，用于将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
可选地，在本发明第二方面的第一种实现方式中，所述基于骨骼点距离的动作识别装置还包括：输入模块，用于获取训练样本图像，并将所述训练样本图像输入至初始骨骼点识别模型中，通过所述初始骨骼点识别模型得到所述训练样本图像中每个骨骼点的样本热力图和样本标签图；确定模块，用于根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值；更新模块，用于根据所述热度损失值和所述标签损失值得到损失函数值，并根据所述损失函数值更新所述初始骨骼点识别模型的网络参数；直到所述初始骨骼点识别模型的损失函数值收敛，得到骨骼点识别模型。
可选地，在本发明第二方面的第二种实现方式中，所述确定模块具体用于：获取所述样本热力图中每个骨骼点的第一热力值和所骨骼点在预设标准热力图中的第二热力值；计算所述骨骼点的样本热力图与所述标准热力图的均方误差，得到所述骨骼点的均方误差；计算所述骨骼点的均方误差之和，得到骨骼点的热度损失值。
可选地，在本发明第二方面的第三种实现方式中，所述绘制模块包括：提取单元，用于对所述骨骼关键点和所述多帧待识别人体图像进行轮廓提取，得到所述多帧待识别人体图像中的轮廓特征图像；对齐单元，用于将所述轮廓特征图像和预设姿态模板进行对齐，得到所述轮廓特征图像的骨架特征图；分割单元，用于对所述骨架特征图进行实例分割，得到所述骨架特征图的关键点置信图和所述多帧待识别人体图像的人体姿态轮廓图。
可选地，在本发明第二方面的第四种实现方式中，所述确定模块具体用于：获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数；基于预设人体姿态检测器获取臀部坐标、膝部坐标、足部坐标；根据所述姿态相位的时间参数和所述人体部位坐标序列，得到深蹲数据、深蹲变异系数；根据所述臀部坐标、膝部坐标、足部坐标，确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图。
可选地，在本发明第二方面的第五种实现方式中，所述动作识别模块具体用于：对所述骨架特征图进行预处理，得到预处理后的骨架图像数据；对所述骨架图像数据进行空间特征提取和时序特征提取，并进行深度时序特征加权，得到动作特征值；根据所述动作特征值确定当前动作的类别，获得识别结果。
可选地，在本发明第二方面的第六种实现方式中，所述基于骨骼点距离的动作识别装置还包括：第三获取模块，用于获取深蹲动作识别数据集，其中，所述深蹲动作识别数据集中包括多张深蹲动作图像；检测模块，用于将所述深蹲动作图像输入至预设的多任务卷积神经网络，以利用所述多任务卷积神经网络对所述深蹲动作图像进行深蹲检测，得到所述深蹲动作图像对应的特征图像；基于预设规则分别对所述特征图像进行预处理，得到训练样本图像；训练模块，用于将所述训练样本图像输入预设的待训练神经网络，以对所述待训练神经网络进行训练，得到动作识别模型。
本发明第三方面提供了基于骨骼点距离的动作识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于骨骼点距离的动作识别设备执行上述的基于骨骼点距离的动作识别方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于骨骼点距离的动作识别方法的步骤。
本发明提供的技术方案中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
附图说明
图1为本发明提供的基于骨骼点距离的动作识别方法的第一个实施例示意图；
图2为本发明提供的基于骨骼点距离的动作识别方法的第二个实施例示意图；
图3为本发明提供的基于骨骼点距离的动作识别方法的第三个实施例示意图；
图4为本发明提供的基于骨骼点距离的动作识别方法的第四个实施例示意图；
图5为本发明提供的基于骨骼点距离的动作识别方法的第五个实施例示意图；
图6为本发明提供的基于骨骼点距离的动作识别装置的第一个实施例示意图；
图7为本发明提供的基于骨骼点距离的动作识别装置的第二个实施例示意图；
图8为本发明提供的基于骨骼点距离的动作识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供的基于骨骼点距离的动作识别方法、装置、设备及存储介质，先通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
本发明的说明书和权利要求书及上述附中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于骨骼点距离的动作识别方法的第一个实施例包括：
101、利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；
本实施例中，通过摄像设备采集人体动作视频，然后通过接口从每一个人的人体动作视频中分别提取出多帧深度图像和骨骼动作帧序列而作为一个人体动作样本，得到多帧待识别人体图像。
102、将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；
本实施例中，骨骼点识别模型可以包括特征提取网络以及输出单元，在工作时，在待识别人体图像输入到预先训练的骨骼点识别模型的步骤后，先通过特征提取网络提取待识别人体图像的特征图像，然后将提取的特征图像输入输出单元，通过输出单元将对特征图像进行映射，得到待识别人体图像中每个骨骼点的热力图和标签图。
作为一种实施方式，特征提取网络可以包括多个卷积单元，上述通过特征提取网络提取待识别人体图像的特征图像的步骤包括：分别通过各个卷积单元对待识别人体图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，并将最后一个卷积单元输出的特征提取结果作为特征图像，每个卷积单元包括至少一个卷积子单元。
其中，在分别通过各个卷积单元对待识别人体图像进行特征提取的步骤中，通过各个卷积单元的每个卷积子单元提取待识别人体图像的特征提取图像，并将特征提取图像与该卷积子单元特征提取之前的特征图像进行融合，得到多帧待识别人体图像的特征图像。
103、基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；
本实施例中，基于卷积神经网络为基础通过人体姿态识别算法优化参数。根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；
具体地，通过特征提取，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；基于姿态模板，通过引入仿射矩阵将步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；基于人体实例分割模型提取骨架特征图的关键点置信图和待识别人体图像对应的骨骼关键点。
104、根据骨骼关键点绘制人体姿态轮廓图；
本实施例中，在提取骨骼关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和人体步态轮廓图。
通过如下步骤实现：基于空间变换网络中的卷积层对输入的桢级骨骼关键点图像信息进行学习，获取特征空间变换的参数；具体地，首先由空间变换网络中的卷积层对输入进行学习，得到用于特征空间变换的参数θ，利用该参数可建立一个采样网格，映射输入特征，通过空间变换网络可以显式地学习特征不变性，校正检测框的误差。
通过特征空间变换的参数构建一个映射输入特征的采样网络；建立特征空间变换的参数与骨骼关键点仿射变换前、后坐标的关系式；
进一步地，将骨骼关键点仿射变换后的坐标输入动作识别模型，基于空间逆变换网络对单人动作识别模型输出进行处理获取不同角度骨骼关键点坐标。
105、确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
本实施例中，基于卷积神经网络为基础通过人体姿态识别算法优化参数。根据关键点信息和原始图像，获取每一原始帧图像对应的人体姿态轮廓图；
通过特征提取处理，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；基于姿态模板，通过引入仿射矩阵将姿态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。
在提取骨骼关键点和人体姿态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和人体姿态轮廓图；通过如下步骤实现：
基于空间变换网络中的卷积层对输入的桢级骨骼关键点图像信息进行学习，获取特征空间变换的参数；具体地，首先由空间变换网络中的卷积层对输入进行学习，得到用于特征空间变换的参数θ，利用该参数可建立一个采样网格，映射输入特征，通过空间变换网络可以显式地学习特征不变性，校正检测框的误差。
106、将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
本实施例中，动作识别部分主要根据获得的动作特征值，经过全连接层，后使用Softmax分类器根据不同结果的概率排列进行动作分类。
在本实施例中，输入的帧序列先会通过网络的特征提取模块来提取视频动作的特征信息；之后，再利用全连接层将模型提取到的特征信息通过线性变换的方式，映射到动作样本的标记空间上(其中，全连接层的输出与动作类别的数目相同)；最后利用Softmax分类器对视频动作的类别进行概率评估，并将概率最大的动作类别作为深蹲动作的识别结果。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
请参阅图2，本发明实施例中基于骨骼点距离的动作识别方法的第二个实施例包括：
201、利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；
202、获取训练样本图像，并将训练样本图像输入至初始骨骼点识别模型中，通过初始骨骼点识别模型得到训练样本图像中每个骨骼点的样本热力图和样本标签图；
本实施例中，骨骼点识别模型可以包括特征提取网络以及输出单元，在工作时，在待识别人体图像输入到预先训练的骨骼点识别模型的步骤后，先通过特征提取网络提取待识别人体图像的特征图像，然后将提取的特征图像输入输出单元，通过输出单元将对特征图像进行映射，得到待识别人体图像中每个骨骼点的热力图和标签图。
作为一种实施方式，特征提取网络可以包括多个卷积单元，上述通过特征提取网络提取待识别人体图像的特征图像的步骤包括：
分别通过各个卷积单元对待识别人体图像进行特征提取，并依次将特征提取结果输入到下一卷积单元，并将最后一个卷积单元输出的特征提取结果作为特征图像，每个卷积单元包括至少一个卷积子单元；其中，在分别通过各个卷积单元对待识别人体图像进行特征提取的步骤中，通过各个卷积单元的每个卷积子单元提取待识别人体图像的特征提取图像，并将特征提取图像与该卷积子单元特征提取之前的特征图像进行融合，得到该卷积子单元的特征提取结果。
作为一种实施方式，每个卷积子单元可以包括由1×1卷积核构成的第一卷积层、3×3卷积核构成的第二卷积层以及1×1卷积核构成的第三卷积层。需要说明的是，各个卷积层的卷积核数量可以根据待识别图像的通道数量进行调整，本申请对此不做限制。
203、获取样本热力图中每个骨骼点的第一热力值和所骨骼点在预设标准热力图中的第二热力值；
本实施例中，对于每个骨骼点，根据该骨骼点的每个样本候选位置的样本候选标签值以及第一样本标签值或第二样本标签值从每个样本候选位置确定该骨骼点的样本骨骼位置，并根据样本骨骼位置确定样本骨骼位置的样本骨骼标签值，以获得每个骨骼点的样本骨骼位置以及每个样本骨骼位置的样本骨骼标签值。
进一步地，得到热度损失值时，可以先对于每个骨骼点，根据该骨骼点的样本热力图中的每个位置的热力值以及该骨骼点的标准热力图中的对应位置的热力值，计算该骨骼点的样本热力图与标准热力图的均方误差，以得到每个骨骼点的均方误差。然后计算每个骨骼点的均方误差之和，将均方误差之和作为热度损失值。
204、计算骨骼点的样本热力图与标准热力图的均方误差，得到骨骼点的均方误差；
本实施例中，在得到标签损失值时，可以先对于处于左侧肢体的每个骨骼点，计算该骨骼点的样本标签值与第一样本标签值的第一差值，并计算第一差值的第一平方值，以得到处于左侧肢体的每个骨骼点的第一平方值，再将每个第一平方值求和得到第一标签损失值。然后，对于处于右侧肢体的每个骨骼点，计算该骨骼点的样本标签值与第二样本标签值的第二差值，并计算第二差值的第二平方值，以得到处于右侧肢体的每个骨骼点的第二平方值，再将每个第二平方值求和得到第二标签损失值。接着，计算第一样本标签值与第一样本标签值的第三差值，并计算第三差值的第三平方值。最后，计算第一标签损失值与第二标签损失值之和，得到第三标签损失值，并计算第三标签损失值与第三平方值之差，得到标签损失值。
205、计算骨骼点的均方误差之和，得到骨骼点的热度损失值；
本实施例中，在得到热度损失值时，可以先对于每个骨骼点，根据该骨骼点的样本热力图中的每个位置的热力值以及该骨骼点的标准热力图中的对应位置的热力值，计算该骨骼点的样本热力图与标准热力图的均方误差，以得到每个骨骼点的均方误差。然后计算每个骨骼点的均方误差之和，将均方误差之和作为热度损失值。
206、根据热度损失值和标签损失值得到损失函数值，并根据损失函数值更新初始骨骼点识别模型的网络参数；
本实施例中，得到标签损失值时，可以先对于处于左侧肢体的每个骨骼点，计算该骨骼点的样本标签值与第一样本标签值的第一差值，并计算第一差值的第一平方值，以得到处于左侧肢体的每个骨骼点的第一平方值，再将每个第一平方值求和得到第一标签损失值。然后，对于处于右侧肢体的每个骨骼点，计算该骨骼点的样本标签值与第二样本标签值的第二差值，并计算第二差值的第二平方值，以得到处于右侧肢体的每个骨骼点的第二平方值，再将每个第二平方值求和得到第二标签损失值。接着，计算第一样本标签值与第一样本标签值的第三差值，并计算第三差值的第三平方值。最后，计算第一标签损失值与第二标签损失值之和，得到第三标签损失值，并计算第三标签损失值与第三平方值之差，得到标签损失值。
可以理解的是，在训练过程中不需要要为标签值赋予特征的值，例如，将左侧肢体的骨骼点的标签值赋为正值，正值越大越表示骨骼点处于左侧肢体，并将右侧肢体的骨骼点的标签值赋为负值，负值越小越表示骨骼点处于右侧肢体。在迭代损失值的过程中，随着Losstag的越来越小，表达式中前两项越来越小，后一项越来越大，在训练完成时，左侧肢体的标签值与右侧肢体的标签值会自然而然的产生区别，这种区别可能是上述正负的区别，也可以是一侧为一个较小的数，另一侧为一个较大的数。
207、直到初始骨骼点识别模型的损失函数值收敛，得到骨骼点识别模型；
本实施例中，骨骼点识别模型的网络参数可以包括特征提取网络与输出单元的各个卷积核的卷积参数。重复上述步骤，并判断每次训练得到的骨骼点识别模型是否达到训练终止条件，在判定满足终止条件时，将满足终止条件的骨骼点识别模型作为训练得到的骨骼点识别模型。
基于上述设计，可以通过上述步骤得到预先训练的骨骼点识别模型，并根据并通过根据热度损失值以及标签损失值计算损失函数值，可以在训练过程中充分利用左右侧肢体信息，提高了骨骼点识别模型输出热力图以及标签图的精度。
208、将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；
209、基于预设人体姿态识别算法，对特征图像进行骨骼关键点计算，得到多帧待识别人体图像对应的骨骼关键点；
210、根据骨骼关键点绘制人体姿态轮廓图；
211、确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
212、将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
本实施例中步骤204、208-212与第一实施例中的步骤101、102-106类似，此处不再赘述。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
请参阅图3，本发明实施例中基于骨骼点距离的动作识别方法的第三个实施例包括：
301、利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；
302、将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；
303、基于预设人体姿态识别算法，对特征图像进行骨骼关键点计算，得到多帧待识别人体图像对应的骨骼关键点；
304、对骨骼关键点和多帧待识别人体图像进行轮廓提取，得到多帧待识别人体图像中的轮廓特征图像；
本实施例中，通过引入仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，此外，通过提取关键点置信图和部分亲和场两种骨架特征，关键点置信图获得信图的通道维度，部分亲和场则利用一个二维的矢量场描述两不同关节点之间的相关性。对于人类肢体区域每两个关节点，使用一个2维向量编码一个关节点到另一个关节点的方向，以进行两相关部位的正确连接。
通过分割模块进行骨姿态分割人体轮廓，具体地，分割模块以密集连接的方式提取特征，并在密集连接模块的末端添加上采样操作，使其可以将特征的分辨率恢复至原始输入的大小，以完成分割任务。首先将标准化后的图片与其对应的人体实例关键特征点坐标值一起作为特征提取模块的输入，该网络中的特征提取模块为一个特征金字塔网络，在特征提取模块，为了减少整个模型参数的数量，首先需要经过1个卷积核大小为7×7，蹲起为2的卷积层和1个最大池化操作，将输入特征的分辨率由512×512减小至128×128。然后经过4个残差模块提取多尺度的特征；残差模块是由多个残差单元堆叠而成的。接着对提取到的深层特征进行3×3的卷积操作，为了更好地融合上下文信息，每一个卷积操作的输入均为上一个卷积层的输出以及与其对应的残差模块的输出经过1×1卷积后相加的结果。
305、将轮廓特征图像和预设姿态模板进行对齐，得到轮廓特征图像的骨架特征图；
本实施例中，基于姿态模板，通过引入仿射矩阵将姿态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；
具体来说，为了将个特征金字塔网络模块的提取到的特征坐标与原始特征相对应，中提通过一个基于骨骼关键点的对齐模块，以此来实现仿射对齐。该仿射对齐操作通过一个仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，其中姿态模板包括但不限于半身姿态模板、正面全身姿态模板、左侧姿态模板和右侧姿态模板。
306、对骨架特征图进行实例分割，得到骨架特征图的关键点置信图和多帧待识别人体图像的人体姿态轮廓图；
本实施例中，基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。基于特征提取模块和分类网络建立姿态识别体系，将经典姿态数据、关节屈曲数据、骨架特征图和姿态轮廓图输入姿态识别体系进行深蹲识别，及与其相关的预测值。
307、确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
308、将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
本实施例中步骤301-303、307-308与第一实施例中的步骤101-103、105-106类似，此处不再赘述。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
请参阅图4，本发明实施例中基于骨骼点距离的动作识别方法的第四个实施例包括：
401、利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；
402、将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；
403、基于预设人体姿态识别算法，对特征图像进行骨骼关键点计算，得到多帧待识别人体图像对应的骨骼关键点；
404、根据骨骼关键点绘制人体姿态轮廓图；
405、获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数；
本实施例中，获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数，根据上述姿态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。
406、基于预设人体姿态检测器获取臀部坐标、膝部坐标、足部坐标；
本实施例中，基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点、姿态轮廓图；骨骼关键点姿态轮廓图的获取与处理中。
407、根据姿态相位的时间参数和人体部位坐标序列，得到深蹲数据、深蹲变异系数；
本实施例中，在利用注意力机制提取序列级特征中，通过利用输入的全局特征学习每个像素对应的不同权重，然后利用学习到的权重对优化帧级特征，最后提取每一帧图像特征的最大值并将其级联作为Att-GaitSet网络中的序列级特征。具体来说，首先将原始的输入特征分别经过三个不同的统计函数，并将该结果与原始输入级联后经过一个1×1的卷积层得到不同像素对应的权重，将该权重与原始输入特征进行点乘运算后即可得到优化后的帧级特征。最后将优化的帧级特征经过一个统计函数，得到每帧姿态图像的最大值，最后将每一个姿态序列的最大值级联得到每个样本对应的序列级特征。
408、根据臀部坐标、膝部坐标、足部坐标，确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
本实施例中，基于骨骼关键点的坐标序列，进而可获取相应的经典的姿态数据、关节屈曲数据和骨架特征图该步骤具体还包括步骤：基于单人姿态检测器于采集深蹲周期和足部起始、结束以及其他姿态相位的时间参数。基于单人姿态检测器采集臀部坐标、膝部坐标、足部坐标；根据上述姿态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。
针对每一个人体实例共提取19个关键特征点坐标，分别为：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖及右足尖。其中每一个特征点由一个三维向量(x，y，z)表示，x和y表示特征点在姿态图像中相应的坐标值，z则表示该特征点在姿态图像中是否可见。z＝0时表示网络并没有检测到对应的关节点；z＝1表示网络检测出关节点，但该关节点被遮挡不可见；z＝3表示检测到的关节点未被遮挡，可以看见。
提取蹲起，蹲起变异系数和蹲起对称性等参数。以右足为例，取单人姿态检测器测得在深蹲周期中右足固定时间开始点为t1，右足固定结束时间为t2，右足移动结束(下一周期固定开始)时间为t3，l右足为每个周期的右足步幅，i为深蹲周期。为深蹲周期。
409、对骨架特征图进行预处理，得到预处理后的骨架图像数据；
本实施例中，数据预处理部分主要将待识别的骨架特征图裁剪为帧序列，并进一步进行图片数据的增强操作，包括缩放、裁剪、平移等操作，之后将图片转换为张量，并完成张量的正则化。特征提取部分220主要对经过预处理的图像使用深度学习网络进行多步骤的动作特征提取，以得到动作特征值。动作识别部分230主要根据获得的动作特征值，经过全连接层，后使用Softmax分类器根据不同结果的概率排列进行动作分类。
由于原始视频数据的原始分辨率通常较大，直接使用的话，计算成本较高，所以需要对其进行预处理。为了避免传统视频帧裁剪过程中造成的边缘信息丢失和视频容量较小造成过拟合的问题，本实施例中数据预处理环节具体包括：
将原始视频解析为视频帧序列；对视频帧序列进行数据增强处理，数据增强处理可以是对原视频帧按照网络训练要求等比例缩放以及对缩放后的视频帧进行中心裁剪、平移等操作；对数据增强处理后的视频帧序列进行归一化和正则化处理，得到预处理后原始视频对应的骨架图像数据。
可以理解的是，归一化主要是指将剪裁后的视频帧转换成张量形式，正则化则指的是对张量进行正则化。
410、对骨架图像数据进行空间特征提取和时序特征提取，并进行深度时序特征加权，得到动作特征值；
本实施例中，特征提取部分共分为两个环节：空间特征提取和时序特征提取。在空间特征提取过程中，本实施例采用了融入G-CBAM的残差网络，提取图像数据中的空间特征，并对图像数据进行背景弱化处理；其中，融入G-CBAM的残差网络是将G-CBAM融入残差网络的残差模块得到的；而在时序特征提取过程中，本实施例采用了结合TAM(TimeAttentionModule，时序注意力模块)的LSTM(Long Short-Term Memory，长短期记忆网络)网络，提取背景弱化后图像数据中的时序特征，并为图像数据中各帧图像分配相应的权重，将各帧图像的时序特征进行加权融合，得到动作特征值。
411、根据动作特征值确定当前动作的类别，获得识别结果。
本实施例中，经过数据处理、特征提取环节后，本实施例在动作识别部分运用了Softmax分类器对人体动作进行识别，输入的帧序列先会通过网络的特征提取模块来提取视频动作的特征信息；之后，再利用全连接层将模型提取到的特征信息通过线性变换的方式，映射到动作样本的标记空间上(其中，全连接层的输出与动作类别的数目相同)；最后利用Softmax分类器对视频动作的类别进行概率评估，并将概率最大的动作类别作为图像中动作的识别结果。
本实施例中步骤401-405与第一实施例中的步骤101-105类似，此处不再赘述。
在本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
请参阅图5，本发明实施例中基于骨骼点距离的动作识别方法的第五个实施例包括：
501、利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；
502、将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；
503、基于预设人体姿态识别算法，对特征图像进行骨骼关键点计算，得到多帧待识别人体图像对应的骨骼关键点；
504、根据骨骼关键点绘制人体姿态轮廓图；
505、确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
506、获取深蹲动作识别数据集，其中，深蹲动作识别数据集中包括多张深蹲动作图像；
本实施例中，深蹲动作识别数据集为包括多张深蹲动作图像的集合，可以理解为，人体腿部动作数据集中的深蹲动作图像为多种不同类型的图像，例如包括不同动作、不同性别、不同年龄、不同造型以及不同颜色等等。深蹲动作识别数据集中的深蹲动作图像可以为人工预先采集存储在数据库中，也可以利用爬虫从开源数据库上获取。
具体地，当用户有训练人体腿部动作识别模型需求时，通过操作终端向服务器下发模型训练指令。当服务器接收到模型训练指令之后，响应模型训练指令从数据库中获取预先存储的人体腿部动作识别数据集。或者，利用模型训练指令中携带的URL(UniformResourceLocator，统一资源定位符)链接从开源上爬虫获取深蹲动作识别数据集。
507、将深蹲动作图像输入至预设的多任务卷积神经网络，以利用多任务卷积神经网络对深蹲动作图像进行深蹲检测，得到深蹲动作图像对应的特征图像；
本实施例中，多任务卷积神经网络(Multi-task convolutional neuralnetwork，Mtcnn)是用于人脸检测的神经网络。Mtcnn可分为三大部分，分别为P-Net(ProposalNetwork，提案网络)、R-Net(Refine Network，优化网络)和O-Net(OutputNetwork，输出网络)三层网络结构。P-Net基本的构造是一个全连接神经网络，R-Net基本的构造是一个卷积神经网络，R-Net相比于P-Net来说，增加了一个全连接层，因此R-Net对于输入数据的筛选会更加严格。R-Net而O-Net是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别腿部的区域，而且会对人的人体腿部特征点进行回归，最终输出包括人体腿部特征点的人体腿部特征图像。
具体地，当服务器获取到人体腿部动作识别数据集后，调用预设的多任务卷积神经网络。将人体腿部动作识别数据集中的各人体腿部动作图像分别输入至多任务卷积神经网络，人体腿部动作图像依次经过多任务卷积神经网络的P-Net、R-Net和O-Net进行检测，得到对应的人体腿部特征图像。即P-Net输出的图像作为R-Net的输入，R-Net输出的图像作为O-Net的输入。可以理解为，由于人体腿部动作识别数据集中包括多种不同的人体腿部动作图像，以及每张人体腿部动作图像均能得到对应的人体腿部特征图像，则最终得到的人体腿部特征图像同样多种不同的图像，且每种人体腿部特征图像都有对应的人体腿部动作图像。
508、基于预设规则分别对特征图像进行预处理，得到训练样本图像；
本实施例中，预设规则是指存储有用于指示如何添加黑块的规则的文件。基于预设规则分别对面部特征图像添加黑块，得到的图像作为训练图像集，包括：分别为面部特征图像生成对应的随机数，根据随机数确定对应的面部特征图像是否添加图像；若根据随机数确定添加图像，则基于随机数与对应的面部特征图像，确定黑块信息；根据黑块信息，在对应的面部特征图像上添加黑块，得到的图像作为训练图像集。
其中，随机数是指随机生成的数值，随机数的范围为0～1，通过随机数确定是否添加黑块。黑块信息包括黑块覆盖位置、覆盖角度以及颜色。
509、将训练样本图像输入预设的待训练神经网络，以对待训练神经网络进行训练，得到动作识别模型；
本实施例中，将获取的训练图像集按批量输入至预设的神经网络中，使得神经网络学习训练图像集中各面部特征图像的特征，从而完成训练。将基于训练图像集训练好的神经网络作为动作识别模型。其中，本实施例中预设的神经网络模型为ResNet50网络结构。
上述动作识别模型训练方法、装置、计算机设备和存储介质，获取面部动作识别数据集后，通过多任务卷积神经网络对面部动作识别数据集中的面部动作图像进行面部检测，得到面部特征图像，从而确定各面部图像的图像特征，实现图像特征的自动标注。然后，基于预设规则分别对面部特征图像添加黑块，得到的图像作为训练图像集，从而确保训练样本的多样性。将训练图像集输入预设的待训练神经网络对待训练神经网络进行训练，得到动作识别模型。
510、将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
本实施例中步骤501-505第一实施例中的步骤101-105类似，此处不再赘述。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
上面对本发明实施例中基于骨骼点距离的动作识别方法进行了描述，下面对本发明实施例中基于骨骼点距离的动作识别装置进行描述，请参阅图6，本发明实施例中基于骨骼点距离的动作识别装置的第一个实施例包括：
采集模块601，用于利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；
提取模块602，用于将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；
计算模块603，用于基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；
绘制模块604，用于根据所述骨骼关键点绘制人体姿态轮廓图；
确定模块605，用于确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
动作识别模块606，用于将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
请参阅图7，本发明实施例中基于骨骼点距离的动作识别装置的第二个实施例，该基于骨骼点距离的动作识别装置具体包括：
采集模块601，用于利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；
提取模块602，用于将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；
计算模块603，用于基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；
绘制模块604，用于根据所述骨骼关键点绘制人体姿态轮廓图；
确定模块605，用于确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
动作识别模块606，用于将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
在本实施例中，所述基于骨骼点距离的动作识别装置还包括：
输入模块607，用于获取训练样本图像，并将所述训练样本图像输入至初始骨骼点识别模型中，通过所述初始骨骼点识别模型得到所述训练样本图像中每个骨骼点的样本热力图和样本标签图；
确定模块608，用于根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值；
更新模块609，用于根据所述热度损失值和所述标签损失值得到损失函数值，并根据所述损失函数值更新所述初始骨骼点识别模型的网络参数；直到所述初始骨骼点识别模型的损失函数值收敛，得到骨骼点识别模型。
在本实施例中，所述确定模块608具体用于：
获取所述样本热力图中每个骨骼点的第一热力值和所骨骼点在预设标准热力图中的第二热力值；
计算所述骨骼点的样本热力图与所述标准热力图的均方误差，得到所述骨骼点的均方误差；
计算所述骨骼点的均方误差之和，得到骨骼点的热度损失值。
在本实施例中，所述绘制模块604包括：
提取单元6041，用于对所述骨骼关键点和所述多帧待识别人体图像进行轮廓提取，得到所述多帧待识别人体图像中的轮廓特征图像；
对齐单元6042，用于将所述轮廓特征图像和预设姿态模板进行对齐，得到所述轮廓特征图像的骨架特征图；
分割单元6043，用于对所述骨架特征图进行实例分割，得到所述骨架特征图的关键点置信图和所述多帧待识别人体图像的人体姿态轮廓图。
在本实施例中，所述确定模块605具体用于：
获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数；
基于预设人体姿态检测器获取臀部坐标、膝部坐标、足部坐标；
根据所述姿态相位的时间参数和所述人体部位坐标序列，得到深蹲数据、深蹲变异系数；
根据所述臀部坐标、膝部坐标、足部坐标，确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图。
在本实施例中，所述动作识别模块606具体用于：
对所述骨架特征图进行预处理，得到预处理后的骨架图像数据；
对所述骨架图像数据进行空间特征提取和时序特征提取，并进行深度时序特征加权，得到动作特征值；
根据所述动作特征值确定当前动作的类别，获得识别结果。
在本实施例中，所述基于骨骼点距离的动作识别装置还包括：
第三获取模块610，用于获取深蹲动作识别数据集，其中，所述深蹲动作识别数据集中包括多张深蹲动作图像；
检测模块611，用于将所述深蹲动作图像输入至预设的多任务卷积神经网络，以利用所述多任务卷积神经网络对所述深蹲动作图像进行深蹲检测，得到所述深蹲动作图像对应的特征图像；基于预设规则分别对所述特征图像进行预处理，得到训练样本图像；
训练模块612，用于将所述训练样本图像输入预设的待训练神经网络，以对所述待训练神经网络进行训练，得到动作识别模型。
本发明实施例中，通过利用深度摄像设备采集人体动作视频，并从人体动作视频中提取出多帧待识别人体图像；将多帧待识别人体图像输入预设骨骼点识别模型，通过骨骼点识别模型提取多帧待识别人体图像的特征图像；基于预设人体姿态识别算法，对特征图像进行处理，得到多帧待识别人体图像对应的骨骼关键点；根据骨骼关键点绘制人体姿态轮廓图；确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；将姿态数据、关节屈曲数据和骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。本发明通过人体骨骼点检测技术，主要是根据骨骼点坐标，尤其是优化了深蹲等级的判断。优化了市场上对深蹲个数不准确的计算、无法正确开始识别动作等缺陷，提升了AI运动检测的准确率。
上面图6和图7从模块化功能实体的角度对本发明实施例中的基于骨骼点距离的动作识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于骨骼点距离的动作识别设备进行详细描述。
图8是本发明实施例提供的基于骨骼点距离的动作识别设备的结构示意图，该基于骨骼点距离的动作识别设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于骨骼点距离的动作识别设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在基于骨骼点距离的动作识别设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的基于骨骼点距离的动作识别方法的步骤。
基于骨骼点距离的动作识别设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的基于骨骼点距离的动作识别设备结构并不构成对本申请提供的基于骨骼点距离的动作识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述基于骨骼点距离的动作识别方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于骨骼点距离的动作识别方法，其特征在于，所述基于骨骼点距离的动作识别方法包括：
利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；
将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；
基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；
根据所述骨骼关键点绘制人体姿态轮廓图；
确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
2.根据权利要求1所述的基于骨骼点距离的动作识别方法，其特征在于，在所述将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像之前，还包括：
获取训练样本图像，并将所述训练样本图像输入至初始骨骼点识别模型中，通过所述初始骨骼点识别模型得到所述训练样本图像中每个骨骼点的样本热力图和样本标签图；
根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值；
根据所述热度损失值和所述标签损失值得到损失函数值，并根据所述损失函数值更新所述初始骨骼点识别模型的网络参数；
直到所述初始骨骼点识别模型的损失函数值收敛，得到骨骼点识别模型。
3.根据权利要求2所述的基于骨骼点距离的动作识别方法，其特征在于，所述根据所述样本热力图和所述样本标签图，确定骨骼点的热度损失值和标签损失值包括：
获取所述样本热力图中每个骨骼点的第一热力值和所骨骼点在预设标准热力图中的第二热力值；
计算所述骨骼点的样本热力图与所述标准热力图的均方误差，得到所述骨骼点的均方误差；
计算所述骨骼点的均方误差之和，得到骨骼点的热度损失值。
4.根据权利要求1所述的基于骨骼点距离的动作识别方法，其特征在于，所述根据所述骨骼关键点绘制人体姿态轮廓图包括：
对所述骨骼关键点和所述多帧待识别人体图像进行轮廓提取，得到所述多帧待识别人体图像中的轮廓特征图像；
将所述轮廓特征图像和预设姿态模板进行对齐，得到所述轮廓特征图像的骨架特征图；
对所述骨架特征图进行实例分割，得到所述骨架特征图的关键点置信图和所述多帧待识别人体图像的人体姿态轮廓图。
5.根据权利要求1所述的基于骨骼点距离的动作识别方法，其特征在于，所述确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图包括：
获取深蹲周期和膝盖起始、结束、以及其他姿态相位的时间参数；
基于预设人体姿态检测器获取臀部坐标、膝部坐标、足部坐标；
根据所述姿态相位的时间参数和所述人体部位坐标序列，得到深蹲数据、深蹲变异系数；
根据所述臀部坐标、膝部坐标、足部坐标，确定人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图。
6.根据权利要求1所述的基于骨骼点距离的动作识别方法，其特征在于，所述将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果包括：
对所述骨架特征图进行预处理，得到预处理后的骨架图像数据；
对所述骨架图像数据进行空间特征提取和时序特征提取，并进行深度时序特征加权，得到动作特征值；
根据所述动作特征值确定当前动作的类别，获得识别结果。
7.根据权利要求1所述的基于骨骼点距离的动作识别方法，其特征在于，在所述将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果之前，还包括：
获取深蹲动作识别数据集，其中，所述深蹲动作识别数据集中包括多张深蹲动作图像；
将所述深蹲动作图像输入至预设的多任务卷积神经网络，以利用所述多任务卷积神经网络对所述深蹲动作图像进行深蹲检测，得到所述深蹲动作图像对应的特征图像；
基于预设规则分别对所述特征图像进行预处理，得到训练样本图像；
将所述训练样本图像输入预设的待训练神经网络，以对所述待训练神经网络进行训练，得到动作识别模型。
8.一种基于骨骼点距离的动作识别装置，其特征在于，所述基于骨骼点距离的动作识别装置包括：
采集模块，用于利用深度摄像设备采集人体动作视频，并从所述人体动作视频中提取出多帧待识别人体图像；
提取模块，用于将所述多帧待识别人体图像输入预设骨骼点识别模型，通过所述骨骼点识别模型提取所述多帧待识别人体图像的特征图像；
计算模块，用于基于预设人体姿态识别算法，对所述特征图像进行骨骼关键点计算，得到所述多帧待识别人体图像对应的骨骼关键点；
绘制模块，用于根据所述骨骼关键点绘制人体姿态轮廓图；
确定模块，用于确定所述人体姿态轮廓图中人体的姿态数据、关节屈曲数据和骨架特征图；
动作识别模块，用于将所述姿态数据、所述关节屈曲数据和所述骨架特征图输入预设动作识别模型进行动作识别，得到动作识别结果。
9.一种基于骨骼点距离的动作识别设备，其特征在于，所述基于骨骼点距离的动作识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于骨骼点距离的动作识别设备执行如权利要求1-7中任一项所述的基于骨骼点距离的动作识别方法的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于骨骼点距离的动作识别方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315741.3A CN114724241A (zh) | 2022-03-29 | 2022-03-29 | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315741.3A CN114724241A (zh) | 2022-03-29 | 2022-03-29 | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114724241A true CN114724241A (zh) | 2022-07-08 |
Family
ID=82238940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210315741.3A Pending CN114724241A (zh) | 2022-03-29 | 2022-03-29 | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114724241A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171217A (zh) * | 2022-07-27 | 2022-10-11 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
| CN115331263A (zh) * | 2022-09-19 | 2022-11-11 | 北京航空航天大学 | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 |
| CN115601793A (zh) * | 2022-12-14 | 2023-01-13 | 北京健康有益科技有限公司（Cn） | 一种人体骨骼点检测方法、装置、电子设备和存储介质 |
| CN115909394A (zh) * | 2022-10-25 | 2023-04-04 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
| CN115966016A (zh) * | 2022-12-19 | 2023-04-14 | 天翼爱音乐文化科技有限公司 | 一种跳跃状态识别方法、系统、电子设备及存储介质 |
| CN115984972A (zh) * | 2023-03-20 | 2023-04-18 | 乐歌人体工学科技股份有限公司 | 基于运动视频驱动的人体姿态识别方法 |
| CN116152519A (zh) * | 2023-04-17 | 2023-05-23 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
| CN116246350A (zh) * | 2023-05-11 | 2023-06-09 | 山东工程职业技术大学 | 基于动作捕捉的运动监测方法、装置、设备及存储介质 |
| CN116269455A (zh) * | 2023-03-20 | 2023-06-23 | 瑞石心禾(河北)医疗科技有限公司 | 在spect中自动获取人体轮廓的检测方法和系统 |
| CN116453221A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116740813A (zh) * | 2023-06-20 | 2023-09-12 | 深圳市视壮科技有限公司 | 一种基于ai图像识别行为监测的分析系统及其方法 |
| CN117315791A (zh) * | 2023-11-28 | 2023-12-29 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117423166A (zh) * | 2023-12-14 | 2024-01-19 | 广州华夏汇海科技有限公司 | 一种根据人体姿态图像数据的动作识别方法及系统 |
| WO2024067468A1 (zh) * | 2022-09-27 | 2024-04-04 | 广州视琨电子科技有限公司 | 基于图像识别的交互控制方法、装置及设备 |
-
2022
- 2022-03-29 CN CN202210315741.3A patent/CN114724241A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171217A (zh) * | 2022-07-27 | 2022-10-11 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
| CN115171217B (zh) * | 2022-07-27 | 2023-03-03 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
| CN115331263A (zh) * | 2022-09-19 | 2022-11-11 | 北京航空航天大学 | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 |
| CN115331263B (zh) * | 2022-09-19 | 2023-11-07 | 北京航空航天大学 | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 |
| WO2024067468A1 (zh) * | 2022-09-27 | 2024-04-04 | 广州视琨电子科技有限公司 | 基于图像识别的交互控制方法、装置及设备 |
| CN115909394A (zh) * | 2022-10-25 | 2023-04-04 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
| CN115909394B (zh) * | 2022-10-25 | 2024-04-05 | 珠海视熙科技有限公司 | 一种坐姿识别的方法、装置、智能台灯及计算机存储介质 |
| CN115601793A (zh) * | 2022-12-14 | 2023-01-13 | 北京健康有益科技有限公司（Cn） | 一种人体骨骼点检测方法、装置、电子设备和存储介质 |
| CN115601793B (zh) * | 2022-12-14 | 2023-04-07 | 北京健康有益科技有限公司 | 一种人体骨骼点检测方法、装置、电子设备和存储介质 |
| CN115966016A (zh) * | 2022-12-19 | 2023-04-14 | 天翼爱音乐文化科技有限公司 | 一种跳跃状态识别方法、系统、电子设备及存储介质 |
| CN115984972B (zh) * | 2023-03-20 | 2023-08-11 | 乐歌人体工学科技股份有限公司 | 基于运动视频驱动的人体姿态识别方法 |
| CN116269455A (zh) * | 2023-03-20 | 2023-06-23 | 瑞石心禾(河北)医疗科技有限公司 | 在spect中自动获取人体轮廓的检测方法和系统 |
| CN116269455B (zh) * | 2023-03-20 | 2023-12-12 | 瑞石心禾(河北)医疗科技有限公司 | 在spect中自动获取人体轮廓的检测方法和系统 |
| CN115984972A (zh) * | 2023-03-20 | 2023-04-18 | 乐歌人体工学科技股份有限公司 | 基于运动视频驱动的人体姿态识别方法 |
| CN116152519B (zh) * | 2023-04-17 | 2023-08-15 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
| CN116152519A (zh) * | 2023-04-17 | 2023-05-23 | 深圳金三立视频科技股份有限公司 | 一种基于图像的特征提取方法及设备 |
| CN116453221B (zh) * | 2023-04-19 | 2024-03-08 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116453221A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116246350A (zh) * | 2023-05-11 | 2023-06-09 | 山东工程职业技术大学 | 基于动作捕捉的运动监测方法、装置、设备及存储介质 |
| CN116740813A (zh) * | 2023-06-20 | 2023-09-12 | 深圳市视壮科技有限公司 | 一种基于ai图像识别行为监测的分析系统及其方法 |
| CN116740813B (zh) * | 2023-06-20 | 2024-01-05 | 深圳市视壮科技有限公司 | 一种基于ai图像识别行为监测的分析系统及其方法 |
| CN117315791A (zh) * | 2023-11-28 | 2023-12-29 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117315791B (zh) * | 2023-11-28 | 2024-02-20 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117423166B (zh) * | 2023-12-14 | 2024-03-26 | 广州华夏汇海科技有限公司 | 一种根据人体姿态图像数据的动作识别方法及系统 |
| CN117423166A (zh) * | 2023-12-14 | 2024-01-19 | 广州华夏汇海科技有限公司 | 一种根据人体姿态图像数据的动作识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
| WO2021057810A1 (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| CN106650687B (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN111274998B (zh) | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 | |
| CN111753747B (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| CN112906604A (zh) | 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统 | |
| CN111144165A (zh) | 一种步态信息识别方法、系统及存储介质 | |
| CN112966628A (zh) | 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法 | |
| Yang et al. | Human exercise posture analysis based on pose estimation | |
| CN114511931A (zh) | 基于视频图像的动作识别方法、装置、设备及存储介质 | |
| CN113229807A (zh) | 人体康复评估装置、方法、电子设备及存储介质 | |
| CN115331263A (zh) | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 | |
| CN111079481B (zh) | 一种基于二维骨架信息的攻击性行为识别方法 | |
| Sunney et al. | A real-time machine learning framework for smart home-based yoga teaching system | |
| CN113378799A (zh) | 基于目标检测和姿态检测框架的行为识别方法及系统 | |
| KR20210129861A (ko) | 근골격 질환 판단 장치 및 방법 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
| CN115294660B (zh) | 健身动作识别模型、模型的训练方法及健身动作识别方法 | |
| CN114360060B (zh) | 人体动作识别计数方法 | |
| Drory | Computer Vision and Machine Learning for Biomechanics Applications: Human Detection, Pose and Shape Estimation and Tracking in Unconstrained Environment from Uncalibrated Images, Videos and Depth | |
| CN111144171A (zh) | 一种异常人群信息识别方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |