CN114613015A - 健身动作图像的识别方法、装置、设备及存储介质 - Google Patents
健身动作图像的识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114613015A CN114613015A CN202210282954.0A CN202210282954A CN114613015A CN 114613015 A CN114613015 A CN 114613015A CN 202210282954 A CN202210282954 A CN 202210282954A CN 114613015 A CN114613015 A CN 114613015A
- Authority
- CN
- China
- Prior art keywords
- target
- building
- action image
- building action
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域,应用于智慧医疗领域中,提供一种健身动作图像的识别方法、装置、设备及存储介质,用于提高图像中健身动作的识别准确性。健身动作图像的识别方法包括:对目标健身动作图像序列进行方向梯度直方图特征提取和特征处理,得到各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量;对各健身动作图像对应的目标方向梯度直方图特征和特征向量进行特征组合和特征选择,得到各健身动作图像对应的目标特征;基于目标特征对目标健身动作图像序列进行人体姿态分类识别并进行基于图像相似度的人体姿态统计分类,得到目标分类结果。此外,本发明还涉及区块链技术,目标健身动作图像序列可存储于区块链中。
Description
技术领域
本发明涉及人工智能的智能决策领域,尤其涉及一种健身动作图像的识别方法、装置、设备及存储介质。
背景技术
随着社会发展,人们的健身需求正在上涨,在巨大需求下,对于涉及健身的各项技术也随之发展起来,例如,图像中健身动作的识别。其中,在数字医疗领域(智慧医疗领域)中,随着图像识别技术的兴起,图像中健身动作的识别,可以支持疾病辅助诊断、健康管理、远程会诊等功能。目前,图像中健身动作的识别方法一般都是通过识别健身动作图像中的人体骨骼关节点来进行健身动作的识别。
但是,上述方法在很多场景下较难识别相似度动作的相同特征,例如,深蹲动作中有相扑深蹲动作和缓冲深蹲动作,相扑深蹲动作和缓冲深蹲动作两者较为相似,在健身理疗场景下,相扑深蹲动作和缓冲深蹲动作两者较难识别,从而造成图像中健身动作的识别准确性较低。
发明内容
本发明提供一种健身动作图像的识别方法、装置、设备及存储介质,用于提高图像中健身动作的识别准确性。
本发明第一方面提供了一种健身动作图像的识别方法,包括:
获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,所述预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
对所述各健身动作图像对应的目标方向梯度直方图特征和所述各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
基于所述各健身动作图像对应的目标特征,对所述目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
可选的,在本发明第一方面的第一种实现方式中,所述通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,包括:
通过预置模型,对所述目标健身动作图像序列中的各健身动作图像进行人体目标质心计算,得到各健身动作图像对应的人体目标质心;
通过所述各健身动作图像对应的人体目标质心,确定各健身动作图像的目标人体轮廓点集,目标人体轮廓点集的人体轮廓点数量为8;
基于所述各健身动作图像的目标人体轮廓点集和所述各健身动作图像对应的人体目标质心,获取所述目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,得到各健身动作图像对应的特征向量。
可选的,在本发明第一方面的第二种实现方式中,所述基于所述各健身动作图像的目标人体轮廓点集和所述各健身动作图像对应的人体目标质心,获取所述目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征,包括:
计算所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的欧式距离,得到各健身动作图像对应的人体轮廓点距离特征;
获取所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的轴线,得到多条轴线,并获取基于所述各健身动作图像对应的人体目标质心的水平线;
计算所述多条轴线分别与所述水平线所成的最小角度,得到各健身动作图像对应的人体运动部位的角度特征;
获取所述目标健身动作图像序列中各健身动作图像基于归一化处理和缩放处理后的目标参数因子,通过所述目标参数因子计算各健身动作图像对应的离心率,得到各健身动作图像对应的人体运动部位的离心率特征。
可选的,在本发明第一方面的第三种实现方式中,所述获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征,包括:
获取原始的健身动作图像序列,通过预置中值滤波器对所述原始的健身动作图像序列进行噪声去除,得到目标健身动作图像序列;
通过预置的方向梯度直方图算法,对所述目标健身动作图像序列进行特征提取,得到各健身动作图像对应的初始方向梯度直方图特征;
通过预置的主成分分析算法,对所述各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征;
通过预置的基于相关系数的滤波器,对所述各健身动作图像对应的候选方向梯度直方图特征进行降维处理,得到各健身动作图像对应的目标方向梯度直方图特征。
可选的,在本发明第一方面的第四种实现方式中,所述对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果,包括:
计算相邻两帧健身动作图像的相似度,得到相邻相似度;
根据预设周期和所述相邻相似度自适应地分配每帧初始分类结果的权值;
基于所述权值对所述初始分类结果进行人体姿态统计分类,得到目标分类结果。
可选的,在本发明第一方面的第五种实现方式中,所述计算相邻两帧健身动作图像的相似度,得到相邻相似度,包括:
对相邻两帧健身动作图像进行边缘方向直方图提取,得到相邻两帧边缘方向直方图;
获取所述相邻两帧边缘方向直方图的像素点数,以及所述相邻两帧边缘方向直方图的像素点数的标准差;
基于所述相邻两帧边缘方向直方图的像素点数和所述相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
可选的,在本发明第一方面的第六种实现方式中,所述对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果之后,还包括:
获取业务课程信息的识别精度需求,以及所述目标分类结果的识别精度;
基于所述业务课程信息的识别精度需求和所述目标分类结果的识别精度,对所述目标健身动作图像序列进行筛除。
本发明第二方面提供了一种健身动作图像的识别装置,包括:
提取模块,用于获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
组合模块,用于通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,所述预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
选择模块,用于对所述各健身动作图像对应的目标方向梯度直方图特征和所述各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
识别模块,用于基于所述各健身动作图像对应的目标特征,对所述目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
分类模块,用于对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
可选的,在本发明第二方面的第一种实现方式中,所述组合模块包括:
第一计算单元,用于通过预置模型,对所述目标健身动作图像序列中的各健身动作图像进行人体目标质心计算,得到各健身动作图像对应的人体目标质心;
确定单元,用于通过所述各健身动作图像对应的人体目标质心,确定各健身动作图像的目标人体轮廓点集,目标人体轮廓点集的人体轮廓点数量为8;
获取单元,用于基于所述各健身动作图像的目标人体轮廓点集和所述各健身动作图像对应的人体目标质心,获取所述目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
组合单元,用于将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,得到各健身动作图像对应的特征向量。
可选的,在本发明第二方面的第二种实现方式中,所述获取单元具体用于:
计算所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的欧式距离,得到各健身动作图像对应的人体轮廓点距离特征;
获取所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的轴线,得到多条轴线,并获取基于所述各健身动作图像对应的人体目标质心的水平线;
计算所述多条轴线分别与所述水平线所成的最小角度,得到各健身动作图像对应的人体运动部位的角度特征;
获取所述目标健身动作图像序列中各健身动作图像基于归一化处理和缩放处理后的目标参数因子,通过所述目标参数因子计算各健身动作图像对应的离心率,得到各健身动作图像对应的人体运动部位的离心率特征。
可选的,在本发明第二方面的第三种实现方式中,所述提取模块具体用于:
获取原始的健身动作图像序列,通过预置中值滤波器对所述原始的健身动作图像序列进行噪声去除,得到目标健身动作图像序列;
通过预置的方向梯度直方图算法,对所述目标健身动作图像序列进行特征提取,得到各健身动作图像对应的初始方向梯度直方图特征;
通过预置的主成分分析算法,对所述各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征;
通过预置的基于相关系数的滤波器,对所述各健身动作图像对应的候选方向梯度直方图特征进行降维处理,得到各健身动作图像对应的目标方向梯度直方图特征。
可选的,在本发明第二方面的第四种实现方式中,所述分类模块包括:
第二计算单元,用于计算相邻两帧健身动作图像的相似度,得到相邻相似度;
分配单元,用于根据预设周期和所述相邻相似度自适应地分配每帧初始分类结果的权值;
分类单元,用于基于所述权值对所述初始分类结果进行人体姿态统计分类,得到目标分类结果。
可选的,在本发明第二方面的第五种实现方式中,所述第二计算单元具体用于:
对相邻两帧健身动作图像进行边缘方向直方图提取,得到相邻两帧边缘方向直方图;
获取所述相邻两帧边缘方向直方图的像素点数,以及所述相邻两帧边缘方向直方图的像素点数的标准差;
基于所述相邻两帧边缘方向直方图的像素点数和所述相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
可选的,在本发明第二方面的第六种实现方式中,所述健身动作图像的识别装置,还包括:
获取模块,用于获取业务课程信息的识别精度需求,以及所述目标分类结果的识别精度;
筛除模块,用于基于所述业务课程信息的识别精度需求和所述目标分类结果的识别精度,对所述目标健身动作图像序列进行筛除。
本发明第三方面提供了一种健身动作图像的识别设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述健身动作图像的识别设备执行上述的健身动作图像的识别方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述的健身动作图像的识别方法。
本发明提供的技术方案中,获取目标健身动作图像序列,并对目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;通过预置模型,对目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;对各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;基于各健身动作图像对应的目标特征,对目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;对初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。本发明实施例中,通过获取各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量,并将各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量进行特征组合和特征选择,得到更加丰富有效的组合特征;通过对目标健身动作图像序列进行人体姿态分类识别和基于图像相似度的人体姿态统计分类,通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作的识别准确性。
附图说明
图1为本发明实施例中健身动作图像的识别方法的一个实施例示意图;
图2为本发明实施例中健身动作图像的识别方法的另一个实施例示意图;
图3为本发明实施例中健身动作图像的识别装置的一个实施例示意图;
图4为本发明实施例中健身动作图像的识别装置的另一个实施例示意图;
图5为本发明实施例中健身动作图像的识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种健身动作图像的识别方法、装置、设备及存储介质,提高了图像中健身动作的识别准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中健身动作图像的识别方法的一个实施例包括:
101、获取目标健身动作图像序列,并对目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征。
可以理解的是,本发明的执行主体可以为健身动作图像的识别装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
通过摄像机等图像采集器采集健身动作时的图像序列,也可通过摄像机等采集器采集健身动作时的视频,对视频进行图像转换,从而得到健身动作时的图像序列,其中,图像序列用于指示预设时段内时间序列的各帧图像,例如,10秒内拍摄的时间序列的健身动作的多帧图像,并对采集的图像序列进行图像增强、去噪处理等预处理,得到目标健身动作图像序列,目标健身动作图像序列为预处理后的健身动作图像序列。
服务器调用预置的方向梯度直方图算法,对目标健身动作图像序列中的各健身动作图像进行方向梯度直方图特征提取,得到各健身动作图像对应的目标方向梯度直方图(Histogram of oriented gradient,HOG)特征,方向梯度直方图特征用于描述图像局部区域梯度的方向及强度的分布情况,其中,具体的执行过程包括:服务器调用预置的方向梯度直方图算法,将目标健身动作图像序列中的各健身动作图像分成不同的子块,得到各健身动作图像对应的多个子块,将各健身动作图像对应的多个子块划分为连通区域(预设大小的或者面积比阈值小的)连通区域,得到各健身动作图像对应的细胞单元,将各健身动作图像对应的细胞单元中各像素点的梯度或者边缘方向直方图进行对比度归一化处理,得到各细胞单元对应归一化的方向直方图,将各细胞单元对应归一化的方向直方图进行组合,得到各健身动作图像对应的初始方向梯度直方图特征。
服务器对各健身动作图像对应的初始方向梯度直方图特征进行降维处理和特征选择,得到各健身动作图像对应的目标方向梯度直方图特征。由于图像提取的初始方向梯度直方图特征维数较高,例如,64x128的图像将会有3780个特征(初始方向梯度直方图特征),初始方向梯度直方图特征包含大量的冗余和无关的信息,若直接利用这些特征来分类,则对应的计算量太大,不仅会降低算法实时性,还有可能影响分类的准确度,产生“维度灾难”问题,因而通过结合降维处理和特征选择对各健身动作图像对应的初始方向梯度直方图特征进行特征优选,为后期分类识别提供了简洁有效的特征信息。
102、通过预置模型,对目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征。
其中,预置模型为用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征的人体姿态模型,能够有效地降低计算复杂度和存储量,作为示例而非限定的是,预置模型为八星模型,八星模型是由人体轮廓点距离特征以及人体运动部位的角度特征和离心率特构建的17维特征向量。
服务器预先创建人体姿态模型,即预置模型;通过人体姿态模型,对目标健身动作图像序列中的各健身动作图像进行特征提取,得到人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;将人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,从而得到各健身动作图像对应的特征向量。
103、对各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征。
例如,假设各健身动作图像对应的目标方向梯度直方图特征为HOG,假设各健身动作图像对应的特征向量为F,则将各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合,得到组合后的特征为(HOG,F),服务器得到组合后的特征后,通过预置的基于相关系数的滤波器,对组合后的特征(HOG,F)进行特征选择,其中,基于相关系数的滤波器为基于特征选择的Pearson相关系数和Spearman相关系数的滤波器;具体的,服务器可通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对组合后的特征(HOG,F)分别进行积差相关系数计算和秩相关系数计算,根据计算的相关系数值对组合后的特征(HOG,F)进行选取,从而得到各健身动作图像对应的目标特征;也可通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对组合后的特征(HOG,F)进行积差相关系数计算,根据计算的积差相关系数值对组合后的特征(HOG,F)进行预选取,对预选取的组合后的特征(HOG,F)进行秩相关系数计算,根据计算的秩相关系数值对组合后的特征(HOG,F)特征进行选取,从而得到各健身动作图像对应的目标特征,或者,通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对组合后的特征(HOG,F)进行秩相关系数计算,根据计算的秩相关系数值对组合后的特征(HOG,F)进行预选取,对预选取的组合后的特征(HOG,F)进行积差相关系数计算,根据计算的积差相关系数值对组合后的特征(HOG,F)进行选取,从而得到各健身动作图像对应的目标特征。
104、基于各健身动作图像对应的目标特征,对目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果。
服务器调用预置的分类器或分类模型,基于目标特征,对目标健身动作图像序列中的各健身动作图像进行人体姿态分类,从而得到初始分类结果,以实现对单帧姿态的第一次人体姿态分类,其中,作为示例而非限定的是,分类器或分类模型可为支持向量机(Support Vector Machine,SVM)。
105、对初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
服务器计算相邻两帧健身动作图像的相似度,得到相邻相似度;根据预设周期和相邻相似度自适应地分配每帧初始分类结果的权值;基于权值对初始分类结果进行人体姿态统计分类,得到目标分类结果,以实现对目标健身动作图像序列中的各健身动作图像的第二次人体姿态分类。
其中,服务器获取相邻两帧边缘方向直方图的像素点数,以及相邻两帧边缘方向直方图的像素点数的标准差;基于相邻两帧边缘方向直方图的像素点数和相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
经过试验,通过计算相邻图像相似度,自适应分配一个判别周期内第一次分类结果的统计权值,进行第二次人体姿态分类,得到最终的动作识别率为94.5%,极大提高了动作识别(筛选)的效率和准确性。
需要说明的是,本发明方案可应用于数字医疗领域(智慧医疗领域)中,例如,通过目标分类结果对需要健身理疗的病人的健身动作和康复训练动作等进行监控。
本发明实施例中,通过获取各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量,并将各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量进行特征组合和特征选择,得到更加丰富有效的组合特征;通过对目标健身动作图像序列进行人体姿态分类识别和基于图像相似度的人体姿态统计分类,通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作的识别准确性,本方案可应用于智慧医疗领域中,从而推动智慧城市的建设。
请参阅图2,本发明实施例中健身动作图像的识别方法的另一个实施例包括:
201、获取目标健身动作图像序列,并对目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征。
具体的,服务器获取原始的健身动作图像序列,通过预置中值滤波器对原始的健身动作图像序列进行噪声去除,得到目标健身动作图像序列;通过预置的方向梯度直方图算法,对目标健身动作图像序列进行特征提取,得到各健身动作图像对应的初始方向梯度直方图特征;通过预置的主成分分析算法,对各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征;通过预置的基于相关系数的滤波器,对各健身动作图像对应的候选方向梯度直方图特征进行降维处理,得到各健身动作图像对应的目标方向梯度直方图特征。
其中,作为示例而非限定的是,预置中值滤波器为3x3中值滤波器。服务器获得原始的健身动作图像序列后,通过3x3中值滤波器,对原始的健身动作图像序列中的各健身动作图像进行噪声去除,得到目标健身动作图像序列。服务器通过预置的方向梯度直方图算法,对目标健身动作图像序列中的各健身动作图像分成不同的子块,得到各健身动作图像对应的多个子块;将各健身动作图像对应的多个子块划分为连通区域(预设大小的或者面积比阈值小的)连通区域,得到各健身动作图像对应的细胞单元;将各健身动作图像对应的细胞单元中各像素点的梯度或者边缘方向直方图进行对比度归一化处理,得到各细胞单元对应归一化的方向直方图,其中,服务器可通过预置的计算公式计算各像素点的梯度,预置的计算公式具体如下:Gx(x,y)=H(x+1,y)-H(x-1,y),Gy(x,y)=H(x,y+1)-H(x,y-1),其中,(x,y)表示像素点,Gx(x,y)表示像素点(x,y)的水平方向梯度,Gy(x,y)表示像素点(x,y)的垂直方向梯度,H(x,y)表示像素点(x,y)的像素,G(x,y)表示像素点(x,y)的梯度的幅度,α(x,y)表示像素点(x,y)的梯度的方向;将各细胞单元对应归一化的方向直方图进行组合,得到各健身动作图像对应的初始方向梯度直方图特征。
其中,主成分分析算法(Principal components analysis,PCA),是一种用来降维统计特征的特征提取技术,主要通过正交线性变换将原始特征数据转换为数量较少、表达能力较高的新特征,经过PCA处理过的特征数据,选取信息量从多到少排序前预设数量的特征向量作为主成分,若达到原始信息95%的信息量,则选中的特征就可以代表原始特征。
具体的,通过预置的主成分分析算法,基于预置公式对各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征的执行过程包括:服务器通过预置的主成分分析算法,对各健身动作图像对应的初始方向梯度直方图特征进行降维处理,并获取降维处理后的初始方向梯度直方图特征的信息量,按照信息量从大到小的顺序对初始方向梯度直方图特征进行排序,获取排序前预设数量的初始方向梯度直方图特征,得到待处理的方向梯度直方图特征,获取待处理的方向梯度直方图特征的总信息量,并判断总信息量是否达到预设阈值,若是,则将对应的待处理的方向梯度直方图特征确定为各健身动作图像对应的候选方向梯度直方图特征,若否,则重新获取,直至总信息量是否达到预设阈值,从而得到各健身动作图像对应的候选方向梯度直方图特征。其中,信息量与方差相关,信息量越大则方差越大。基于预置公式具体如下:F=Am,A=[aij],1≤i≤n,1≤j≤n,cor(Fi,Fj)=0,var(Fi)>var(Fj),i<j,其中,F表示各健身动作图像对应的初始方向梯度直方图特征,A表示各健身动作图像对应的初始方向梯度直方图特征的特征向量矩阵,m表示各健身动作图像对应的初始方向梯度直方图特征,aij表示某一维度的特征向量,i、j表示维度,n表示各健身动作图像对应的初始方向梯度直方图特征的维度,i表示,j表示,cor(Fi,Fj)表示各健身动作图像对应的候选方向梯度直方图特征的相关系数,var(Fi)和var(Fj)表示各健身动作图像对应的候选方向梯度直方图特征的方差。
特征选择是指从原始特征数据中选取最小数量的特征子集,该特征子集中特征与样本类别具有最大相关度,特征之间具有最小相关度,特征选择的最终目标是获得原始数据的最低维表示,从而将高位数据转换为更易处理的低维数据,即将各健身动作图像对应的候选方向梯度直方图特征从高位数据转换为更易处理的低维数据。作为示例而非限定的是,本实施例中,基于相关系数的滤波器为基于特征选择的Pearson相关系数和Spearman相关系数的滤波器,对经过PCA降维的方向梯度直方图特征进行进一步的降维处理。
其中,Pearson相关系数被称作积差相关系数,主要衡量的是变量之间的线性相关程度,取值区间为[-1,1],其绝对值的大小代表相关性的强弱,-1表示绝对负相关,1表示绝对正相关,0表示不具有线性相关性,Pearson相关系数具有速度快、易于计算的优点。Spearman相关系数可称为秩相关系数,主要用来衡量两个变量直接联系的强弱程度,是一种非参数的统计方法,若一个变量为另一变量严格单调的函数,则二者的Spearman相关系数为+1或-1,Spearman相关系数主要通过秩次大小对变量作线性相关分析,对原始变量的分布情况不作要求。
服务器可通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对各健身动作图像对应的候选方向梯度直方图特征分别进行积差相关系数计算和秩相关系数计算,根据计算的相关系数值对各健身动作图像对应的候选方向梯度直方图特征进行选取,从而得到各健身动作图像对应的目标方向梯度直方图特征;也可通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对各健身动作图像对应的候选方向梯度直方图特征进行积差相关系数计算,根据计算的积差相关系数值对各健身动作图像对应的候选方向梯度直方图特征进行预选取,对预选取的各健身动作图像对应的候选方向梯度直方图特征进行秩相关系数计算,根据计算的秩相关系数值对各健身动作图像对应的候选方向梯度直方图特征进行选取,从而得到各健身动作图像对应的目标方向梯度直方图特征,或者,通过预置的基于相关系数的滤波器(基于特征选择的Pearson相关系数和Spearman相关系数的滤波器),对各健身动作图像对应的候选方向梯度直方图特征进行秩相关系数计算,根据计算的秩相关系数值对各健身动作图像对应的候选方向梯度直方图特征进行预选取,对预选取的各健身动作图像对应的候选方向梯度直方图特征进行积差相关系数计算,根据计算的积差相关系数值对各健身动作图像对应的候选方向梯度直方图特征进行选取,从而得到各健身动作图像对应的目标方向梯度直方图特征。
其中,原始的健身动作图像序列为每一帧图像,且不考虑图像颜色对特征的影响,每帧图像提取到的目标方向梯度直方图特征长度在9000-12000之间。由于经过HOG特征提取后的特征,也存在纬度高、精度低等问题,不利于直接应用,因而,采用PCA+基于Pearson相关系数和Spearman相关系数的滤波器的降维方式对HOG特征进行降维处理。
202、通过预置模型,对目标健身动作图像序列中的各健身动作图像进行人体目标质心计算,得到各健身动作图像对应的人体目标质心。
其中,预置模型为用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征的人体姿态模型,能够有效地降低计算复杂度和存储量,作为示例而非限定的是,预置模型为八星模型,八星模型是由人体轮廓点距离特征以及人体运动部位的角度特征和离心率特构建的17维特征向量。
服务器预先创建八星模型(即预置模型),通过八星模型,基于预置的质心计算公式计算目标健身动作图像序列中各健身动作图像的人体目标质心,得到各健身动作图像对应的人体目标质心,其中,质心计算公式具体如下:(xc,yc)表示人体目标质心,Nb表示目标像素点的个数,(xi,yi)表示各健身动作图像的一个像素点。
203、通过各健身动作图像对应的人体目标质心,确定各健身动作图像的目标人体轮廓点集,目标人体轮廓点集的人体轮廓点数量为8。
服务器通过各健身动作图像对应的人体目标质心将各健身动作图像中的人体划分为区域划分,得到多个目标区域,多个目标轮廓点包括人体的上、下、左和右4个部分的区域;基于多个目标区域计算各健身动作图像的多个目标轮廓点,从而得到各健身动作图像的目标人体轮廓点集,多个各目标区域的目标轮廓点包括人体各目标区域的最上、最下、最左和最右的8个轮廓点。
204、基于各健身动作图像的目标人体轮廓点集和各健身动作图像对应的人体目标质心,获取目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征。
具体的,服务器计算各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的欧式距离,得到各健身动作图像对应的人体轮廓点距离特征;获取各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的轴线,得到多条轴线,并获取基于各健身动作图像对应的人体目标质心的水平线;计算多条轴线分别与水平线所成的最小角度,得到各健身动作图像对应的人体运动部位的角度特征;获取目标健身动作图像序列中各健身动作图像基于归一化处理和缩放处理后的目标参数因子,通过目标参数因子计算各健身动作图像对应的离心率,得到各健身动作图像对应的人体运动部位的离心率特征。
服务器基于预置欧式距离计算公式,计算各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的欧式距离,其中,预置欧式距离计算公式具体如下:di表示各健身动作图像的各目标人体轮廓点与各健身动作图像对应的人体目标质心之间的欧式距离,(xi,yi)表示各健身动作图像的各目标人体轮廓点,i表示各健身动作图像的第i个目标人体轮廓点,(xc,yc)表示各健身动作图像对应的人体目标质心;各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的欧式距离进行组合,从而得到各健身动作图像对应的人体轮廓点距离特征,即D=[d1,d2,d3,d4,d5,d6,d7,d8,]。
服务器将各健身动作图像的各目标人体轮廓点与各健身动作图像对应的人体目标质心进行直线连接,从而得到各目标人体轮廓点对应的轴线,即多条轴线,并获取基于各健身动作图像对应的人体目标质心的水平线,水平线用于指示经过人体目标质心和水平面平行的直线;基于预置角度计算公式,计算各目标人体轮廓点的轴线与水平线所成的最小角度,其中,预置角度计算公式具体如下:ui表示各目标人体轮廓点的轴线与水平线所成的最小角度,i表示各健身动作图像的第i个目标人体轮廓点,xi表示各健身动作图像的各目标人体轮廓点的横坐标,xc表示各健身动作图像对应的人体目标质心的横坐标,di表示各健身动作图像的各目标人体轮廓点与各健身动作图像对应的人体目标质心之间的欧式距离;将各目标人体轮廓点的轴线与水平线所成的最小角度组合,得到各健身动作图像对应的人体运动部位的角度特征,即U=[u1,u2,u3,u4,u5,u6,u7,u8,]。
其中,目标参数因子包括缩放后的各健身动作图像的宽度和归一化处理后的各健身动作图像的高度中的较大者和较小者。服务器按照原始目标比例对目标健身动作图像序列中的各健身动作图像进行缩放,并获取缩放后的各健身动作图像的宽度;服务器按照原始目标比例对目标健身动作图像序列中的各健身动作图像进行归一化处理,并获取归一化处理后的各健身动作图像的高度;获取缩放后的各健身动作图像的宽度和归一化处理后的各健身动作图像的高度中的较大者和较小者,得到目标参数因子;通过预置离心率计算公式和目标参数因子,计算各健身动作图像对应的离心率,从而得到各健身动作图像对应的人体运动部位的离心率特征,其中,预置离心率计算公式具体如下:e表示各健身动作图像对应的人体运动部位的离心率,l表示目标参数因子中的较小者(即缩放后的各健身动作图像的宽度和归一化处理后的各健身动作图像的高度中的较小者),p表示目标参数因子中的较大者(即缩放后的各健身动作图像的宽度和归一化处理后的各健身动作图像的高度中的较大者)。
205、将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,得到各健身动作图像对应的特征向量。
基于上述步骤204可得人体轮廓点距离特征为D=[d1,d2,d3,d4,d5,d6,d7,d8,],人体运动部位的角度特征为U=[u1,u2,u3,u4,u5,u6,u7,u8,],离心率特征为e,则将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合后,从提取的第t帧的目标健身动作图像序列的特征向量为Ft=[d1,d2,d3,d4,d5,d6,d7,d8,u1,u2,u3,u4,u5,u6,u7,u8,e],即各健身动作图像对应的特征向量。
206、对各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征。
207、基于各健身动作图像对应的目标特征,对目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果。
该步骤206-207的执行过程与上述步骤103-104的执行过程类似,在此不再赘述。
208、对初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
图像相似度计算主要针对两幅图像之间内容的相近程度进行打分,根据分数的高低来判断图像内容的相似程度,相似程度越高表示图像内容的相近程度越高,反之图像内容的相近程度越低,而在一个周期内,由于相邻两帧时间间隔非常小,故人体动作变化幅度小,其相似度较高,因此,同一个姿态周期内相邻两帧的相似度都比较高,而对于相似度较小的帧,其产生原因在于外界噪声或者检测算法本身误差,故应降低该帧识别结果的说服力,平滑过滤掉该帧的识别结果,使姿态描述更加流畅。
具体的,服务器计算相邻两帧健身动作图像的相似度,得到相邻相似度;根据预设周期和相邻相似度自适应地分配每帧初始分类结果的权值;基于权值对初始分类结果进行人体姿态统计分类,得到目标分类结果。
具体的,服务器计算相邻两帧健身动作图像的相似度,得到相邻相似度,包括:对相邻两帧健身动作图像进行边缘方向直方图提取,得到相邻两帧边缘方向直方图;获取相邻两帧边缘方向直方图的像素点数,以及相邻两帧边缘方向直方图的像素点数的标准差;基于相邻两帧边缘方向直方图的像素点数和相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
由于边缘方向直方图能有效反映图像中的形状信息,因而对相邻两帧健身动作图像进行边缘方向直方图提取。例如,服务器通过预置边缘像素方向角量化公式,计算相邻两帧健身动作图像的边缘像素方向角,其中,预置边缘像素方向角公式具体如下:θ=tan-1(Gx/Gy),Gx表示各健身动作图像横向边缘检测的图像,Gy表示各健身动作图像纵向边缘检测的图像,B表示原始图像,θ表示相邻两帧健身动作图像的边缘像素方向角;将相邻两帧健身动作图像的边缘像素方向角均匀地量化为预设数量的等级,例如,θ1、θ2、...、θn,n个等级,其中,通过对比不同n下的实验效果,n设定为12;获取相邻两帧健身动作图像的关键边缘像素点数目;将量化后的相邻两帧健身动作图像的边缘像素方向角设为横坐标、相邻两帧健身动作图像的关键边缘像素点数目设为纵坐标,从而得到相邻两帧边缘方向直方图。
服务器获取相邻两帧边缘方向直方图的像素点数,以及相邻两帧边缘方向直方图的像素点数的标准差;基于相邻两帧边缘方向直方图的像素点数和相邻两帧边缘方向直方图的像素点数的标准差,以及预置的相似度计算公式,计算相邻两帧健身动作图像的相似度,得到相邻相似度,其中,相似度计算公式具体如下:
X、Y分别表示相邻两帧边缘方向直方图的像素点数,σX、σY分别表示相邻两帧边缘方向直方图的像素点数的标准差,Cov(X,Y)表示X和Y的协方差,E(X)、E(Y)分别表示X和Y的期望;其中,-1≤s≤1,s越大相邻相似度越大。
由于人体行为姿态的完整表达需要周期,因而不能客观地对单独一帧图像中的人体姿态进行定性识别,通过实验观察标准数据库发现,“走”一个动作需要约14帧来完成,“跑”一个动作需要约11帧来完成,“跳跃”的一次离地到着地需要约15帧来完成,而其中任意相连的5帧都可以描述且表达出姿态的关键信息,因此选取以5帧为一个二次统计周期,即优选的,预设周期为5帧。服务器通过预设权值计算公式,基于预设周期和相邻相似度自适应地分配每帧初始分类结果的权值,其中,预设权值计算公式具体如下:wi表示每帧初始分类结果的权值,si表示相邻相似度,预设周期为i=0,1,2,3,4;服务器通过预设分类公式,基于权值对初始分类结果进行人体姿态统计分类,得到目标分类结果,其中,预设分类公式具体如下:
fj=∑wi,wi∈fi,j=1,2,3,i=0,1,2,3,4,fj表示目标分类结果,wi表示每帧初始分类结果的权值。
通过根据图像相似度对一个统计周期内的姿态进行二次分类,尽可能减少运动变化过程中相似姿态对识别的舞蹈,增加识别过程中前后帧间的关联程度,有效降低了误检率。经过试验,本健身动作图像的识别方法得到6类动作(即目标分类结果,如:走、快跑、慢跑、深蹲、开合跳和俯卧撑)的分类精度如下表1所示:
表1 6类动作的分类精度
动作 | 走 | 快跑 | 慢跑 | 深蹲 | 开合跳 | 俯卧撑 |
精度(%) | 95 | 93 | 92 | 97 | 95 | 95 |
其中,对于“深蹲”动作,动作筛选方法的识别精度能够达到97%,已达到业务侧的精度要求。
具体的,步骤208之后,服务器获取业务课程信息的识别精度需求,以及目标分类结果的识别精度;基于业务课程信息的识别精度需求和目标分类结果的识别精度,对目标健身动作图像序列进行筛除。
在实际场景应用过程中,不同的场景不同的动作筛选规则也不一样,所以筛选规则的制定需要业务侧进行辅助。
基于业务课程信息的识别精度需求和目标分类结果的识别精度,对目标健身动作图像序列进行筛除,例如,1)在通用基础类课程(即业务课程信息)中,若“深蹲”动作的识别精度(即目标分类结果的识别精度)大于90%(识别精度需求大于90%),则直接使用系统识别的动作图像进行动作上传等操作,无需人工进行操作,若“深蹲”动作的识别精度(即目标分类结果的识别精度)小于或等于90%,则对深蹲”动作对应的目标健身动作图像序列进行筛除;2)在精讲类课程(即业务课程信息)中,若深蹲”动作的识别精度(即目标分类结果的识别精度)大于95%(识别精度需求大于95%),则直接使用系统识别的动作图像进行动作上传等操作,若“深蹲”动作的识别精度(即目标分类结果的识别精度)小于或等于95%,则该动作图像就会筛除,系统提醒需要人工进行动作图像的上传等操作。
进一步的,如表2所示,通过计算结果可知,在通用基础类课程(即业务课程信息)中,相扑深蹲&缓冲深蹲满足业务侧的精度要求(即业务课程信息的识别精度需求),系统会进行识别操作;其余两组(相扑深蹲&缓冲深蹲、缓冲深蹲&深蹲提踵)都不满足,系统会进行筛除;在精讲类课程(即业务课程信息)中,3组动作图像精度对比都不满足业务侧的精度要求(即业务课程信息的识别精度需求),系统不会直接操作,会进行筛除,并会提醒需要进行动作图像的上传等人工操作。
表2三种不同的深蹲动作的动作对比的识别精度
动作对比 | 相扑深蹲&缓冲深蹲 | 相扑深蹲&缓冲深蹲 | 缓冲深蹲&深蹲提踵 |
精度(%) | 91.7 | 79 | 63.4 |
通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作识别的效率和准确性,从而提高了图像中健身动作筛选的效率和准确性。
需要说明的是,本发明方案可应用于数字医疗领域(智慧医疗领域)中,例如,通过目标分类结果对需要健身理疗的病人的健身动作和康复训练动作等进行监控。
本发明实施例中,通过获取各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量,并将各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量进行特征组合和特征选择,得到更加丰富有效的组合特征;通过对目标健身动作图像序列进行人体姿态分类识别和基于图像相似度的人体姿态统计分类,通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作的识别准确性,本方案可应用于智慧医疗领域中,从而推动智慧城市的建设。
上面对本发明实施例中健身动作图像的识别方法进行了描述,下面对本发明实施例中健身动作图像的识别装置进行描述,请参阅图3,本发明实施例中健身动作图像的识别装置一个实施例包括:
提取模块301,用于获取目标健身动作图像序列,并对目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
组合模块302,用于通过预置模型,对目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
选择模块303,用于对各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
识别模块304,用于基于各健身动作图像对应的目标特征,对目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
分类模块305,用于对初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
上述健身动作图像的识别装置中各个模块的功能实现与上述健身动作图像的识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明实施例中,通过获取各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量,并将各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量进行特征组合和特征选择,得到更加丰富有效的组合特征;通过对目标健身动作图像序列进行人体姿态分类识别和基于图像相似度的人体姿态统计分类,通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作的识别准确性,本方案可应用于智慧医疗领域中,从而推动智慧城市的建设。
请参阅图4,本发明实施例中健身动作图像的识别装置的另一个实施例包括:
提取模块301,用于获取目标健身动作图像序列,并对目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
组合模块302,用于通过预置模型,对目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
其中,组合模块302具体包括:
第一计算单元3021,用于通过预置模型,对目标健身动作图像序列中的各健身动作图像进行人体目标质心计算,得到各健身动作图像对应的人体目标质心;
确定单元3022,用于通过各健身动作图像对应的人体目标质心,确定各健身动作图像的目标人体轮廓点集,目标人体轮廓点集的人体轮廓点数量为8;
获取单元3023,用于基于各健身动作图像的目标人体轮廓点集和各健身动作图像对应的人体目标质心,获取目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
组合单元3024,用于将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,得到各健身动作图像对应的特征向量;
选择模块303,用于对各健身动作图像对应的目标方向梯度直方图特征和各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
识别模块304,用于基于各健身动作图像对应的目标特征,对目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
分类模块305,用于对初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
可选的,获取单元3023还可以具体用于:
计算各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的欧式距离,得到各健身动作图像对应的人体轮廓点距离特征;
获取各健身动作图像的目标人体轮廓点集分别与各健身动作图像对应的人体目标质心之间的轴线,得到多条轴线,并获取基于各健身动作图像对应的人体目标质心的水平线;
计算多条轴线分别与水平线所成的最小角度,得到各健身动作图像对应的人体运动部位的角度特征;
获取目标健身动作图像序列中各健身动作图像基于归一化处理和缩放处理后的目标参数因子,通过目标参数因子计算各健身动作图像对应的离心率,得到各健身动作图像对应的人体运动部位的离心率特征。
可选的,提取模块301还可以具体用于:
获取原始的健身动作图像序列,通过预置中值滤波器对原始的健身动作图像序列进行噪声去除,得到目标健身动作图像序列;
通过预置的方向梯度直方图算法,对目标健身动作图像序列进行特征提取,得到各健身动作图像对应的初始方向梯度直方图特征;
通过预置的主成分分析算法,对各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征;
通过预置的基于相关系数的滤波器,对各健身动作图像对应的候选方向梯度直方图特征进行降维处理,得到各健身动作图像对应的目标方向梯度直方图特征。
可选的,分类模块305包括:
第二计算单元3051,用于计算相邻两帧健身动作图像的相似度,得到相邻相似度;
分配单元3052,用于根据预设周期和相邻相似度自适应地分配每帧初始分类结果的权值;
分类单元3053,用于基于权值对初始分类结果进行人体姿态统计分类,得到目标分类结果。
可选的,第二计算单元3051还可以具体用于:
对相邻两帧健身动作图像进行边缘方向直方图提取,得到相邻两帧边缘方向直方图;
获取相邻两帧边缘方向直方图的像素点数,以及相邻两帧边缘方向直方图的像素点数的标准差;
基于相邻两帧边缘方向直方图的像素点数和相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
可选的,健身动作图像的识别装置,还包括:
获取模块306,用于获取业务课程信息的识别精度需求,以及目标分类结果的识别精度;
筛除模块307,用于基于业务课程信息的识别精度需求和目标分类结果的识别精度,对目标健身动作图像序列进行筛除。
上述健身动作图像的识别装置中各模块和各单元的功能实现与上述健身动作图像的识别方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
本发明实施例中,通过获取各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量,并将各健身动作图像对应的目标方向梯度直方图特征以及各健身动作图像对应的特征向量进行特征组合和特征选择,得到更加丰富有效的组合特征;通过对目标健身动作图像序列进行人体姿态分类识别和基于图像相似度的人体姿态统计分类,通过二次分类实现对目标健身动作图像序列的定性识别,解决了在很多场景下较难识别相似度动作的相同特征的问题,从而提高了图像中健身动作的识别准确性,本方案可应用于智慧医疗领域中,从而推动智慧城市的建设。
上面图3和图4从模块化功能实体的角度对本发明实施例中的健身动作图像的识别装置进行详细描述,下面从硬件处理的角度对本发明实施例中健身动作图像的识别设备进行详细描述。
图5是本发明实施例提供的一种健身动作图像的识别设备的结构示意图,该健身动作图像的识别设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对健身动作图像的识别设备500中的一系列计算机程序操作。更进一步地,处理器510可以设置为与存储介质530通信,在健身动作图像的识别设备500上执行存储介质530中的一系列计算机程序操作。
健身动作图像的识别设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的健身动作图像的识别设备结构并不构成对健身动作图像的识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种健身动作图像的识别设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机程序,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述健身动作图像的识别设备执行上述健身动作图像的识别方法中的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行健身动作图像的识别方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机程序用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种健身动作图像的识别方法,其特征在于,所述健身动作图像的识别方法包括:
获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,所述预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
对所述各健身动作图像对应的目标方向梯度直方图特征和所述各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
基于所述各健身动作图像对应的目标特征,对所述目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
2.根据权利要求1所述的健身动作图像的识别方法,其特征在于,所述通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,包括:
通过预置模型,对所述目标健身动作图像序列中的各健身动作图像进行人体目标质心计算,得到各健身动作图像对应的人体目标质心;
通过所述各健身动作图像对应的人体目标质心,确定各健身动作图像的目标人体轮廓点集,目标人体轮廓点集的人体轮廓点数量为8;
基于所述各健身动作图像的目标人体轮廓点集和所述各健身动作图像对应的人体目标质心,获取所述目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
将各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征进行特征组合,得到各健身动作图像对应的特征向量。
3.根据权利要求2所述的健身动作图像的识别方法,其特征在于,所述基于所述各健身动作图像的目标人体轮廓点集和所述各健身动作图像对应的人体目标质心,获取所述目标健身动作图像序列中各健身动作图像对应的人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征,包括:
计算所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的欧式距离,得到各健身动作图像对应的人体轮廓点距离特征;
获取所述各健身动作图像的目标人体轮廓点集分别与所述各健身动作图像对应的人体目标质心之间的轴线,得到多条轴线,并获取基于所述各健身动作图像对应的人体目标质心的水平线;
计算所述多条轴线分别与所述水平线所成的最小角度,得到各健身动作图像对应的人体运动部位的角度特征;
获取所述目标健身动作图像序列中各健身动作图像基于归一化处理和缩放处理后的目标参数因子,通过所述目标参数因子计算各健身动作图像对应的离心率,得到各健身动作图像对应的人体运动部位的离心率特征。
4.根据权利要求1所述的健身动作图像的识别方法,其特征在于,所述获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征,包括:
获取原始的健身动作图像序列,通过预置中值滤波器对所述原始的健身动作图像序列进行噪声去除,得到目标健身动作图像序列;
通过预置的方向梯度直方图算法,对所述目标健身动作图像序列进行特征提取,得到各健身动作图像对应的初始方向梯度直方图特征;
通过预置的主成分分析算法,对所述各健身动作图像对应的初始方向梯度直方图特征进行降维处理,得到各健身动作图像对应的候选方向梯度直方图特征;
通过预置的基于相关系数的滤波器,对所述各健身动作图像对应的候选方向梯度直方图特征进行降维处理,得到各健身动作图像对应的目标方向梯度直方图特征。
5.根据权利要求1所述的健身动作图像的识别方法,其特征在于,所述对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果,包括:
计算相邻两帧健身动作图像的相似度,得到相邻相似度;
根据预设周期和所述相邻相似度自适应地分配每帧初始分类结果的权值;
基于所述权值对所述初始分类结果进行人体姿态统计分类,得到目标分类结果。
6.根据权利要求5所述的健身动作图像的识别方法,其特征在于,所述计算相邻两帧健身动作图像的相似度,得到相邻相似度,包括:
对相邻两帧健身动作图像进行边缘方向直方图提取,得到相邻两帧边缘方向直方图;
获取所述相邻两帧边缘方向直方图的像素点数,以及所述相邻两帧边缘方向直方图的像素点数的标准差;
基于所述相邻两帧边缘方向直方图的像素点数和所述相邻两帧边缘方向直方图的像素点数的标准差,计算相邻两帧健身动作图像的相似度,得到相邻相似度。
7.根据权利要求1-6中任一项所述的健身动作图像的识别方法,其特征在于,所述对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果之后,还包括:
获取业务课程信息的识别精度需求,以及所述目标分类结果的识别精度;
基于所述业务课程信息的识别精度需求和所述目标分类结果的识别精度,对所述目标健身动作图像序列进行筛除。
8.一种健身动作图像的识别装置,其特征在于,所述健身动作图像的识别装置包括:
提取模块,用于获取目标健身动作图像序列,并对所述目标健身动作图像序列进行方向梯度直方图特征提取并进行特征处理,得到各健身动作图像对应的目标方向梯度直方图特征;
组合模块,用于通过预置模型,对所述目标健身动作图像序列进行特征提取并进行特征组合,得到各健身动作图像对应的特征向量,所述预置模型用于提取人体轮廓点距离特征以及人体运动部位的角度特征和离心率特征;
选择模块,用于对所述各健身动作图像对应的目标方向梯度直方图特征和所述各健身动作图像对应的特征向量进行特征组合并进行特征选择,得到各健身动作图像对应的目标特征;
识别模块,用于基于所述各健身动作图像对应的目标特征,对所述目标健身动作图像序列进行人体姿态分类识别,得到初始分类结果;
分类模块,用于对所述初始分类结果进行基于图像相似度的人体姿态统计分类,得到目标分类结果。
9.一种健身动作图像的识别设备,其特征在于,所述健身动作图像的识别设备包括:存储器和至少一个处理器,所述存储器中存储有计算机程序;
所述至少一个处理器调用所述存储器中的所述计算机程序,以使得所述健身动作图像的识别设备执行如权利要求1-7中任意一项所述的健身动作图像的识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述健身动作图像的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210282954.0A CN114613015A (zh) | 2022-03-22 | 2022-03-22 | 健身动作图像的识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210282954.0A CN114613015A (zh) | 2022-03-22 | 2022-03-22 | 健身动作图像的识别方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114613015A true CN114613015A (zh) | 2022-06-10 |
Family
ID=81864918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210282954.0A Pending CN114613015A (zh) | 2022-03-22 | 2022-03-22 | 健身动作图像的识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114613015A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116909405A (zh) * | 2023-09-12 | 2023-10-20 | 北京惠朗时代科技有限公司 | 基于人工智能动作识别的指令控制方法 |
-
2022
- 2022-03-22 CN CN202210282954.0A patent/CN114613015A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116909405A (zh) * | 2023-09-12 | 2023-10-20 | 北京惠朗时代科技有限公司 | 基于人工智能动作识别的指令控制方法 |
CN116909405B (zh) * | 2023-09-12 | 2023-12-15 | 北京惠朗时代科技有限公司 | 基于人工智能动作识别的指令控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3779774B1 (en) | Training method for image semantic segmentation model and server | |
Kivinen et al. | Visual boundary prediction: A deep neural prediction network and quality dissection | |
US9971876B2 (en) | Method, system and electronic device for diet management | |
US20070058836A1 (en) | Object classification in video data | |
CN110929687B (zh) | 一种基于关键点检测的多人行为识别系统及工作方法 | |
CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
Islam et al. | Rice leaf disease recognition using local threshold based segmentation and deep CNN | |
JP2009086901A (ja) | 年齢推定システム及び年齢推定方法 | |
CN106709419B (zh) | 一种基于显著轨迹空间信息的视频人体行为识别方法 | |
CN109325507A (zh) | 一种结合超像素显著性特征与hog特征的图像分类算法和系统 | |
CN110322418A (zh) | 一种超分辨率图像生成对抗网络的训练方法及装置 | |
Verma et al. | Pedestrian detection via mixture of CNN experts and thresholded aggregated channel features | |
CN112418135A (zh) | 人体行为识别方法、装置、计算机设备及可读存储介质 | |
CN109034218B (zh) | 模型训练方法、装置、设备及存储介质 | |
CN112036520A (zh) | 基于深度学习的大熊猫年龄识别方法、装置及存储介质 | |
CN114333049A (zh) | 猪只攻击行为识别方法、系统、计算机设备和存储介质 | |
CN105844204B (zh) | 人体行为识别方法和装置 | |
CN114613015A (zh) | 健身动作图像的识别方法、装置、设备及存储介质 | |
CN111694954A (zh) | 图像分类方法、装置和电子设备 | |
CN114842507A (zh) | 一种基于组优化奖励的强化行人属性识别方法 | |
CN111951260B (zh) | 基于部分特征融合卷积神经网络实时目标计数系统及方法 | |
CN111127407B (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
CN110363240B (zh) | 一种医学影像分类方法与系统 | |
CN112561935B (zh) | 一种大脑影像智能分类方法、装置和设备 | |
Zhong et al. | Prediction system for activity recognition with compressed video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |