CN110245623A - 一种实时人体运动姿势矫正方法及系统 - Google Patents
一种实时人体运动姿势矫正方法及系统 Download PDFInfo
- Publication number
- CN110245623A CN110245623A CN201910527018.XA CN201910527018A CN110245623A CN 110245623 A CN110245623 A CN 110245623A CN 201910527018 A CN201910527018 A CN 201910527018A CN 110245623 A CN110245623 A CN 110245623A
- Authority
- CN
- China
- Prior art keywords
- posture
- value
- angle
- formula
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种实时人体运动姿势矫正方法及系统,该方法包括以下步骤:利用Kinect设备获取深度图数据;从深度图数据获取骨骼数据,并进行稳定和平滑处理;通过预设方法对人体姿势进行检测识别;通过计算姿势匹配精确度对姿势的标准度进行评估;将变动姿势改正过程中的结果实时反馈给用户。有益效果:可以由用户较为随意地选择健身时间与地点,更适合现代繁忙的上班族与青年群体;可以对于用户所做的动作进行规范,避免用户身体的损伤,在使用手机APP进行动作指导的同时使用本发明,能够达到更好的健身效果;可以避免佩戴累赘,可以获得更加良好的用户体验与效果。
Description
技术领域
本发明涉及基于景深图像的公众健身服务领域,具体来说,涉及一种实时人体运动姿势矫正方法及系统,尤其涉及基于Kinect关节提取的实时人体运动姿势矫正方法及系统。
背景技术
人们健身时期望得到专业技术指导和应有的健身效果,本质需求是能做出的规范动作,目前主要有三种方法:聘请私教、App指导、智能穿戴设备。
(1)、聘请私教是最行之有效的方法,但是由于私教职业本身特点,2017年市场人才空缺50%,又因该方式,不能自我灵活开展健身,加之费用高居不下,不适合现代繁忙上班族、青年群体;
(2)、手机客户端App较上者更广泛使用,但受限于缺少监督与矫正功能,用户不一定做出规范动作达到相应健身效果,更有甚者,可能由此损伤身体;
(3)、可穿戴智能设备是新兴产品,但是不可避免的佩戴累赘,不论是单体设备(例如智能手表)的数据维度低可靠性差,还是联体设备(例如智能健身套装)的臃肿性,都在一定程度上降低了用户体验与健身效果。
总体上来说,目前主流方法或多或少存在时空自由灵活度低、束缚感强、成本较高等缺陷,不能周全用户体验与健身效果。市场上同类型其他产品由于自身识别与判定算法缺陷,引出了识别精度低等问题。具体表现为:
一、关于骨骼关节点获取修复问题:
市场上主流的另一款体感设备Intel的RealSense,不能满足对健身过程中跟踪识别和实时性的高研究应用要求,不能建立用于机器学习的全平台图像云库。
本方面的算法中:1、常规的全局法识别(预分割模型),计算量大难以实时处理。2、基于点指纹法的局部特征识别,《基于RealSense的三维物体识别算法研究》是一种用仿射变换系数处理物景间对应点确定节点三维坐标的方法,难以消除数据抖动,稳健性较差。
二、关于分块姿态识别问题:
现有基于景深图像的人体分块姿态识别,包括图像处理,轮廓匹配和特征值匹配的识别,不能同时满足准确,实时的要求。1、《利用运动学特征和多实例学习的视频中的人的动作识别》中对Kinect的深度图像进行双阈值分割,获取手部图像结合形态学实时识别手势,算法复杂且并行处理量大。2、基于轮廓匹配的算法,《基于Kinect的空中手势跟踪识别的研究与实现》利用彩色和深度图像得骨骼图定位关节位置识别人体动作,同样数据计算量大难以实时。以上都不能消除姿势抖动。
三、关于标准姿态比较功能:
在一致性最大覆盖的单帧图像姿态估计方法,以及《基于骨骼数据的人体动作姿方法》提出的基于Kinect骨骼数据的归一化匹配算法,匹配正确率在90%左右,难以精确比较微姿态变化,欠考虑动态实时及准确度。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种基于Kinect关节提取的实时人体运动姿势矫正方法及系统,以克服现有相关技术所存在的上述技术问题。
为此,本发明采用的具体技术方案如下:
根据本发明的一个方面,提供了一种实时人体运动姿势矫正方法。
该基于Kinect关节提取的实时人体运动姿势矫正方法包括以下步骤:
利用Kinect设备获取深度图数据并储存;
从深度图数据获取骨骼数据,并进行稳定和平滑处理;
通过预设方法对人体姿势进行检测识别;
通过计算姿势匹配精确度对姿势的标准度进行评估;
将变动姿势改正过程中的结果实时反馈给用户。
进一步的,从深度图数据获取骨骼数据的步骤还包括:
获取人体在三维立体空间中的骨关节点坐标;
采用Holt双参数线性指数平滑法对骨关节点坐标进行稳定和平滑处理。
进一步的,所述Holt双参数线性指数平滑法包括第一平滑公式、第二平滑公式和预测公式,通过第一平滑公式和第二平滑公式分别对时间数列的两种因素进行平滑;
第一平滑公式:St=αxt+(1-α)(St-1+bt-1);
第二平滑公式:bt=γ(St-St-1)+(1-γ)bt-1;
预测公式:Ft+T=St+btT;
均方误差公式:
公式中:α、γ为平滑参数,xt为实际观察值,T为外推预测时期数;
第一平滑公式利用前一期的趋势值bt-1直接修正平滑值St,即将bt-1加前一期平滑值St-1上,消除滞后,并使St近似达到最新数据值;
第二平滑公式用于修正趋势值bt,趋势值用相邻两次平滑值之差来表示,可以利用平滑系数γ对两次相邻平滑值之差的随机性进行修正,并将修正值加上前期趋势值乘以(1-γ);
预测公式用来做预测的线性平滑模型,测试预测精度;
所述平滑值St的初始值S1通常设为x1,所述趋势值bt的初始值b1可以按照下列三种方式之一确定:
b1=x2-x1;
测试公式中得到的预测值Ft用来和实际值yt进行比较,通过均方误差公式评估预测精度;
在平滑稳定骨架和关节点之后,再将获取到的关节点坐标从摄像机坐标系转换成深度坐标系,保存好在之后的姿态识别功能和矫正分析功能中需要用到的关节点,抛弃无用的关节点。
进一步的,通过预设方法对人体姿势进行检测识别的步骤还包括:
通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数;
通过距离特征来识别姿态或根据多点之间的距离计算出角度特征。
进一步的,通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数还包括以下步骤:
设定经过坐标系转换后的关节点为:P={p1,p2,p3,...,p|P|};
计算处空间中任意两点之间的距离或多点之间的角度特征;
其中,|P|表示关节点的数量;
任意两点之间的距离计算公式为:
dij代表Pi和Pj两点之间的距离,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj);
多点之间的角度特征计算公式为:
任意三点为Pi、Pj及Pk,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj),Pk的坐标为:Pk(xk,yk,zk),θ代表边PiPj和边PjPk之间的夹角度数。
进一步的,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
预先设定好动作探测阈值;
通过多点之间的角度特征计算公式对该姿势的主要关节点角度值进行计算;
将角度值与标准姿势的角度值进行差值计算,得到特征值集合;
计算出特征值集合中各特征值之和;
其中,特征值集合为:θ={a1,a2,a3,...,an};
ai代表相差角度值即特征值;
特征值之和为:
进一步的,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
给不同的角度值赋予不同的权重值;
通过角度权重计算公式计算各个权重值;
将计算出的各个权重值组合成权重值集合;
根据特征值及其对应的权重值,得到归一化角度值参数;
归一化角度值参数代入姿势匹配识别准确度计算公式中,得到姿势匹配识别准确度;
配置肢体偏移极限函数表示姿势匹配准确度的惩罚因子。
进一步的,所述角度权重计算公式为:
所述权重值集合为:W={w0,w1,w2,...,wn};
其中,并且,特征值ai越大,它被赋予的权重值wi也就越大;
归一化角度值参数为:
姿势匹配识别准确度为:
S为姿势匹配识别准确度,取值范围为[0,100],标准姿势和实时姿势的匹配度越高,S的值越大;在姿势匹配识别准确度中,Dst为预设的标准角度差阈值,Dst值越小,姿势匹配准确度的判别越严厉。当D>Dst时,准确度直接判定为0;Sst为预设的基准匹配度参数,可以根据实际需要将姿势匹配识别准确度S控制在合适的范围内。
进一步的,所述肢体偏移极限函数为:
其中,amax为角度值集合θ中的最大值,M为预设的肢体偏移的最大角度阈值;
由肢体偏移极限函数知,当实时姿势和标准姿势完全相同,即amax=0时,f(0)=1,姿势匹配准确度不会受到惩罚;f'(amax)<0,f”(amax)<0,即amax越大,函数f(amax)下降越快。
根据本发明的另一方面,提供了一种基于Kinect关节提取的实时人体运动姿势矫正系统。
该基于Kinect关节提取的实时人体运动姿势矫正系统包括存储设备、PC主机、外置拓展显示器、PC适配器、电源适配器、电源模块和体感镜头,其中,所述存储设备通过所述PC主机依次与所述外置拓展显示器、所述PC适配器及所述电源适配器电连接,所述电源适配器与所述电源模块电连接,所述PC适配器与所述体感镜头电连接。
本发明的有益效果为:
1、与聘请私教相比,本发明不需要特意的聘请专业人员,一套可以使用本发明的Kinect设备成本更低,同时没有私教课程的时间与空间的限制,可以由用户较为随意地选择健身时间与地点,更适合现代繁忙的上班族与青年群体。
2、与健身指导手机APP相比,本发明提供了APP无法做到的监督与矫正功能,可以对于用户所做的动作进行规范,从而避免用户身体的损伤,对于有健身需求的群体而言,在使用手机APP进行动作指导的同时使用本发明,能够达到更好的健身效果。
3、与可穿戴式智能设备相比,本发明采用的非穿戴体感方法,可以避免佩戴累赘,可以获得更加良好的用户体验与效果。
4、在骨骼关节点获取修复的方法上,本发明采用了微软的Kinect体感设备,与Intel的RealSense相比,Kinect使用了基于机器学习建立的全平台图像云库,更适合识别追踪对于实时性要求更高的研究和应用中。与国内基于Kicect的识别研究中常规的全局识别法相比,本发明加以改进融合数据归一化思想,进行了笛卡尔坐标变换的标准化,相比之运算简单、实时性更好,鲁棒性更强。
5、在分块姿态识算法上,对比于现有基于景深图像的人体分块姿态识别算法,通过比对算法,选择了基于特征值匹配的分块识别,同时减少数据处理成本,抽取代表帧,可以消除数据抖动。
6、在标准姿态比较功能上,采用了基于特征向量的分块识别,模板匹配的方法,计算分块的动作姿势特征,标准姿势和实时姿势的比较问题即为比较两者特征差异性。因为人物做动作时是连续的,使用Holt双参数线性指数平滑法,减少因环境、时间变动造成的噪声,从而减少人体骨骼图像精度的损失。因此可以较好的解决姿态实时比较问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种实时人体运动姿势矫正系统的拓扑图;
图2是根据本发明实施例的一种实时人体运动姿势矫正方法的流程图;
图3是根据本发明实施例的一种实时人体运动姿势矫正方法的骨关节点获取与修复流程图;
图4是根据本发明实施例的一种实时人体运动姿势矫正方法的分组特征识别流程图;
图5是根据本发明实施例的一种实时人体运动姿势矫正方法的分块识别图;
图6是根据本发明实施例的一种实时人体运动姿势矫正方法的分组阈值判定姿势流程图;
图7是根据本发明实施例的一种实时人体运动姿势矫正方法的测试结果。
图中:
1、存储设备;2、PC主机;3、外置拓展显示器;4、PC适配器;5、电源适配器;6、电源模块;7、体感镜头。
具体实施方式
为进一步说明各实施例,本发明提供有附图,这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理,配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点,图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例,提供了一种实时人体运动姿势矫正方法及系统。
现结合附图和具体实施方式对本发明进一步说明,如图2所示,根据本发明实施例的实时人体运动姿势矫正方法。
该实时人体运动姿势矫正方法包括以下步骤:
步骤S101,利用Kinect设备获取深度图数据并储存;
具体的,Kinect设备可以通过PC主机2上的Kinect Studio软件录制视频,视频包括了深度、人体标识等信息。
步骤S102,从深度图数据获取骨骼数据,并进行稳定和平滑处理;
步骤S103,通过预设方法对人体姿势进行检测识别;
步骤S104,通过计算姿势匹配精确度对姿势的标准度进行评估;
步骤S105,将变动姿势改正过程中的结果实时反馈给用户。
具体的,反馈时在程序交互界面中设置文本框,在用户做动作时文本框显示当前动作相对标准动作的精确度数值,并且在动作达标时(精确度达到95%以上),由程序发出语音提示。
在一个实施例中,从深度图数据获取骨骼数据的步骤还包括:
获取人体在三维立体空间中的骨关节点坐标;
采用Holt双参数线性指数平滑法对骨关节点坐标进行稳定和平滑处理。
在一个实施例中,所述Holt双参数线性指数平滑法包括第一平滑公式、第二平滑公式和预测公式,通过第一平滑公式和第二平滑公式分别对时间数列的两种因素进行平滑;
第一平滑公式:St=αxt+(1-α)(St-1+bt-1);
第二平滑公式:bt=γ(St-St-1)+(1-γ)bt-1;
预测公式:Ft+T=St+btT;
均方误差公式:
公式中:α、γ为平滑参数,xt为实际观察值,T为外推预测时期数;
第一平滑公式利用前一期的趋势值bt-1直接修正平滑值St,即将bt-1加前一期平滑值St-1上,消除滞后,并使St近似达到最新数据值;
第二平滑公式用于修正趋势值bt,趋势值用相邻两次平滑值之差来表示,可以利用平滑系数γ对两次相邻平滑值之差的随机性进行修正,并将修正值加上前期趋势值乘以(1-γ);
预测公式用来做预测的线性平滑模型,测试预测精度;
所述平滑值St的初始值S1通常设为x1,所述趋势值bt的初始值b1可以按照下列三种方式之一确定:
b1=x2-x1;
测试公式中得到的预测值Ft用来和实际值yt进行比较,通过均方误差公式评估预测精度;
在平滑稳定骨架和关节点之后,再将获取到的关节点坐标从摄像机坐标系转换成深度坐标系,保存好在之后的姿态识别功能和矫正分析功能中需要用到的关节点,抛弃无用的关节点。
在一个实施例中,通过预设方法对人体姿势进行检测识别的步骤还包括:
通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数;
通过距离特征来识别姿态或根据多点之间的距离计算出角度特征。
在一个实施例中,通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数还包括以下步骤:
设定经过坐标系转换后的关节点为:P={p1,p2,p3,...,p|P|};
计算处空间中任意两点之间的距离或多点之间的角度特征;
其中,|P|表示关节点的数量;
任意两点之间的距离计算公式为:
dij代表Pi和Pj两点之间的距离,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj);
多点之间的角度特征计算公式为:
任意三点为Pi、Pj及Pk,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj),Pk的坐标为:Pk(xk,yk,zk),θ代表边PiPj和边PjPk之间的夹角度数。
在一个实施例中,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
预先设定好动作探测阈值;
通过多点之间的角度特征计算公式对该姿势的主要关节点角度值进行计算;
将角度值与标准姿势的角度值进行差值计算,得到特征值集合;
计算出特征值集合中各特征值之和;
其中,特征值集合为:θ={a1,a2,a3,...,an};
ai代表相差角度值即特征值;
特征值之和为:
在一个实施例中,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
给不同的角度值赋予不同的权重值;
通过角度权重计算公式计算各个权重值;
将计算出的各个权重值组合成权重值集合;
根据特征值及其对应的权重值,得到归一化角度值参数;
归一化角度值参数代入姿势匹配识别准确度计算公式中,得到姿势匹配识别准确度;
配置肢体偏移极限函数表示姿势匹配准确度的惩罚因子。
在一个实施例中,所述角度权重计算公式为:
所述权重值集合为:W={w0,w1,w2,...,wn};
其中,并且,特征值ai越大,它被赋予的权重值wi也就越大;
归一化角度值参数为:
姿势匹配识别准确度为:
S为姿势匹配识别准确度,取值范围为[0,100],标准姿势和实时姿势的匹配度越高,S的值越大;在姿势匹配识别准确度中,Dst为预设的标准角度差阈值,Dst值越小,姿势匹配准确度的判别越严厉。当D>Dst时,准确度直接判定为0;Sst为预设的基准匹配度参数,可以根据实际需要将姿势匹配识别准确度S控制在合适的范围内。
在一个实施例中,所述肢体偏移极限函数为:
其中,amax为角度值集合θ中的最大值,M为预设的肢体偏移的最大角度阈值;
由肢体偏移极限函数知,当实时姿势和标准姿势完全相同,即amax=0时,f(0)=1,姿势匹配准确度不会受到惩罚;f'(amax)<0,f”(amax)<0,即amax越大,函数f(amax)下降越快。
根据本发明的实施例,如图1所示,还提供了一种实时人体运动姿势矫正系统。
该实时人体运动姿势矫正系统包括存储设备1、PC主机2、外置拓展显示器3、PC适配器4、电源适配器5、电源模块6和体感镜头7,其中,所述存储设备1通过所述PC主机2依次与所述外置拓展显示器3、所述PC适配器4及所述电源适配器5电连接,所述电源适配器5与所述电源模块6电连接,所述PC适配器4与所述体感镜头7电连接。
具体的,Kinect与PC主机2连接,PC主机2上配置Kinect Studio软件,专门获取Kinect录制信息,通过视频的形式保持起来;系统使用电源适配器5获得稳定供电,PC适配器4和PC主机2建立数据传输,PC主机2获取景深图像数据存储于外置存储设备1(高速大容量硬盘),经过系统处理将结果实时呈现在外置拓展显示器3反馈给用户,用户获得姿势矫正意见,完成一次完整过程。
本发明在具体应用时,利用微软体感设备Kinect的深度摄像头,获取人体在三维立体空间中的25个骨关节点坐标。获取坐标之后,考虑到关节点中对姿势识别的贡献率的影响,筛选掉个别无用的关节点,再在不同的动作识别中赋予关节点以不同的权重,从而使对坐标的计算更加合理,符合实际意义。同时,考虑到识别的便捷性,在测试人物做出动作时,对主要测试姿势都设定一定的阈值,一旦人物的姿势特征值超过阈值,则可以认定是在进行某项动作,再进而对该姿势进行评估。评估依据事先测定的标准姿势的特征值,对关键的骨骼点有针对性特征值比较分析,给出评估结果。
Kinect设备每秒会拍摄30帧图像,而根据实验的环境和实际运行情况,设定程序每10帧进行一次人体的姿势检测,即0.33秒进行一次检测。在获取骨骼点时,考虑到人体在一定程度的运动,灯光环境等,获取的人体骨骼点数据应是包含了许多噪声的,为了消除噪声,我们采用了Holt双参数线性指数平滑法来平滑处理数据,其具体流程如图3所示。
采用Holt双参数线性指数平滑法进行预测时,最重要的工作是确定平滑参数α、γ的取值,平滑参数的取值适当与否,决定预测的精确程度。在平滑,稳定骨架和关节点之后,再将获取到的关节点坐标从摄像机坐标系转换成深度坐标系(即世界坐标系),保存好在之后的姿态识别功能和矫正分析功能中需要用到的关节点,抛弃掉无用的关节点。
获取到修正后的人体骨骼数据之后,我们要对人体姿势进行识别,其具体流程如图4所示。在程序中,我们采取了上跳,下蹲,抬起左臂,抬起右臂等几个动作作为测试的主要动作。
如图5所示,我们可以通过Kinect获取需要计算的某两个关节点的坐标,再计算出相应的距离。通过这些距离特征来识别某些姿态,也可以根据多点之间的距离计算出角度特征。
如图6所示,完成识别之后,需要对姿势的标准度进行评估。我们事先设定好动作探测阈值,达到阈值,即可认定测试人员在做某项姿势。再对该姿势的主要关节点角度值进行计算,再将角度值与标准姿势的角度值进行差值计算,可得到一个角度值集合,再求得角度值之和。
由于特征角度值对姿势匹配的贡献度存在差异,不能直接用角度值来表示标准姿势与实时姿势之间的差异程度,我们通过给不同的角度值以不同的权重值,以此来抵偿对衡量姿势匹配的贡献度差异。其中,归一化角度值参数D,D唯一地表示了标准姿势和实时姿势之间的差异度。
通过计算出来的匹配精确度S我们就可以量化的评估姿势的标准程度。并且在变动姿势改正的过程中实时反馈给用户。
为了方便理解本发明的上述技术方案,以下结合实验数据对本发明的上述方案的进行详细说明,具体如下:
使用本发明对于不同用户动作识别的测试
选取了五名不同体型的人员分别进行了举起左右手、放下左右手、下蹲、上蹦、左移、右移的动作,其中举起左右手、下蹲、上蹦分别做了过度、正常、未达标准三个等级,将本发明对于这些动作的反馈与人眼观察到的实际结果进行比对。
选取的测试人员体型分别为:测试一(身高175cm,体重58kg),测试二(身高170cm,体重60kg),测试三(身高182cm,体重56kg),测试四(身高170cm,体重75kg),测试五(身高173cm,体重65kg)。
具体测试结果数据如图7所示,根据实验结果数据,经计算,本发明在这几个动作的识别准确率约为77/80=96.25%,优于基于一致性最大覆盖的单帧图像姿态估计方法的90%左右的准确率。
综上所述,借助于本发明的上述技术方案,1、与聘请私教相比,本发明不需要特意的聘请专业人员,一套可以使用本发明的Kinect设备成本更低,同时没有私教课程的时间与空间的限制,可以由用户较为随意地选择健身时间与地点,更适合现代繁忙的上班族与青年群体。
2、与健身指导手机APP相比,本发明提供了APP无法做到的监督与矫正功能,可以对于用户所做的动作进行规范,从而避免用户身体的损伤,对于有健身需求的群体而言,在使用手机APP进行动作指导的同时使用本发明,能够达到更好的健身效果。
3、与可穿戴式智能设备相比,本发明采用的非穿戴体感方法,可以避免佩戴累赘,可以获得更加良好的用户体验与效果。
4、在骨骼关节点获取修复的方法上,本发明采用了微软的Kinect体感设备,与Intel的RealSense相比,Kinect使用了基于机器学习建立的全平台图像云库,更适合识别追踪对于实时性要求更高的研究和应用中。与国内基于Kicect的识别研究中常规的全局识别法相比,本发明加以改进融合数据归一化思想,进行了笛卡尔坐标变换的标准化,相比之运算简单、实时性更好,鲁棒性更强。
5、在分块姿态识算法上,对比于现有基于景深图像的人体分块姿态识别算法,通过比对算法,选择了基于特征值匹配的分块识别,同时减少数据处理成本,抽取代表帧,可以消除数据抖动。
6、在标准姿态比较功能上,采用了基于特征向量的分块识别,模板匹配的方法,计算分块的动作姿势特征,标准姿势和实时姿势的比较问题即为比较两者特征差异性。因为人物做动作时是连续的,使用Holt双参数线性指数平滑法,减少因环境、时间变动造成的噪声,从而减少人体骨骼图像精度的损失。因此可以较好的解决姿态实时比较问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种实时人体运动姿势矫正方法,其特征在于,该基于Kinect关节提取的实时人体运动姿势矫正方法包括以下步骤:
利用Kinect设备获取深度图数据并储存;
从深度图数据获取骨骼数据,并进行稳定和平滑处理;
通过预设方法对人体姿势进行检测识别;
通过计算姿势匹配精确度对姿势的标准度进行评估;
将变动姿势改正过程中的结果实时反馈给用户。
2.根据权利要求1所述的实时人体运动姿势矫正方法,其特征在于,从深度图数据获取骨骼数据的步骤还包括:
获取人体在三维立体空间中的骨关节点坐标;
采用Holt双参数线性指数平滑法对骨关节点坐标进行稳定和平滑处理。
3.根据权利要求2所述的实时人体运动姿势矫正方法,其特征在于,所述Holt双参数线性指数平滑法包括第一平滑公式、第二平滑公式和预测公式,通过第一平滑公式和第二平滑公式分别对时间数列的两种因素进行平滑;
第一平滑公式:St=αxt+(1-α)(St-1+bt-1);
第二平滑公式:bt=γ(St-St-1)+(1-γ)bt-1;
预测公式:Ft+T=St+btT;
均方误差公式:
公式中:α、γ为平滑参数,xt为实际观察值,T为外推预测时期数;
第一平滑公式利用前一期的趋势值bt-1直接修正平滑值St,即将bt-1加前一期平滑值St-1上,消除滞后,并使St近似达到最新数据值;
第二平滑公式用于修正趋势值bt,趋势值用相邻两次平滑值之差来表示,可以利用平滑系数γ对两次相邻平滑值之差的随机性进行修正,并将修正值加上前期趋势值乘以(1-γ);
预测公式用来做预测的线性平滑模型,测试预测精度;
所述平滑值St的初始值S1通常设为x1,所述趋势值bt的初始值b1可以按照下列三种方式之一确定:
b1=x2-x1;
测试公式中得到的预测值Ft用来和实际值yt进行比较,通过均方误差公式评估预测精度;
在平滑稳定骨架和关节点之后,再将获取到的关节点坐标从摄像机坐标系转换成深度坐标系,保存好在之后的姿态识别功能和矫正分析功能中需要用到的关节点,抛弃无用的关节点。
4.根据权利要求3所述的实时人体运动姿势矫正方法,其特征在于,通过预设方法对人体姿势进行检测识别的步骤还包括:
通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数;
通过距离特征来识别姿态或根据多点之间的距离计算出角度特征。
5.根据权利要求4所述的实时人体运动姿势矫正方法,其特征在于,通过预先配置的检测识别人物姿势函数中姿势识别方法计算关节点相对距离系数还包括以下步骤:
设定经过坐标系转换后的关节点为:P={p1,p2,p3,...,p|P|};
计算处空间中任意两点之间的距离或多点之间的角度特征;
其中,|P|表示关节点的数量;
任意两点之间的距离计算公式为:
dij代表Pi和Pj两点之间的距离,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj);
多点之间的角度特征计算公式为:
任意三点为Pi、Pj及Pk,Pi的坐标为:Pi(xi,yi,zi),Pj的坐标为:Pj(xj,yj,zj),Pk的坐标为:Pk(xk,yk,zk),θ代表边PiPj和边PjPk之间的夹角度数。
6.根据权利要求5所述的实时人体运动姿势矫正方法,其特征在于,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
预先设定好动作探测阈值;
通过多点之间的角度特征计算公式对该姿势的主要关节点角度值进行计算;
将角度值与标准姿势的角度值进行差值计算,得到特征值集合;
计算出特征值集合中各特征值之和;
其中,特征值集合为:θ={a1,a2,a3,...,an};
ai代表相差角度值即特征值;
特征值之和为:
7.根据权利要求6所述的实时人体运动姿势矫正方法,其特征在于,通过计算姿势匹配精确度对姿势的标准度进行评估的步骤还包括:
给不同的角度值赋予不同的权重值;
通过角度权重计算公式计算各个权重值;
将计算出的各个权重值组合成权重值集合;
根据特征值及其对应的权重值,得到归一化角度值参数;
归一化角度值参数代入姿势匹配识别准确度计算公式中,得到姿势匹配识别准确度;
配置肢体偏移极限函数表示姿势匹配准确度的惩罚因子。
8.根据权利要求7所述的实时人体运动姿势矫正方法,其特征在于,所述角度权重计算公式为:
所述权重值集合为:W={w0,w1,w2,...,wn};
其中,并且,特征值ai越大,它被赋予的权重值wi也就越大;
归一化角度值参数为:
姿势匹配识别准确度为:
S为姿势匹配识别准确度,取值范围为[0,100],标准姿势和实时姿势的匹配度越高,S的值越大;在姿势匹配识别准确度中,Dst为预设的标准角度差阈值,Dst值越小,姿势匹配准确度的判别越严厉。当D>Dst时,准确度直接判定为0;Sst为预设的基准匹配度参数,可以根据实际需要将姿势匹配识别准确度S控制在合适的范围内。
9.根据权利要求7所述的实时人体运动姿势矫正方法,其特征在于,所述肢体偏移极限函数为:
其中,amax为角度值集合θ中的最大值,M为预设的肢体偏移的最大角度阈值;
由肢体偏移极限函数知,当实时姿势和标准姿势完全相同,即amax=0时,f(0)=1,姿势匹配准确度不会受到惩罚;f'(amax)<0,f”(amax)<0,即amax越大,函数f(amax)下降越快。
10.一种实时人体运动姿势矫正系统,其特征在于,包括存储设备(1)、PC主机(2)、外置拓展显示器(3)、PC适配器(4)、电源适配器(5)、电源模块(6)和体感镜头(7),其中,所述存储设备(1)通过所述PC主机(2)依次与所述外置拓展显示器(3)、所述PC适配器(4)及所述电源适配器(5)电连接,所述电源适配器(5)与所述电源模块(6)电连接,所述PC适配器(4)与所述体感镜头(7)电连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527018.XA CN110245623A (zh) | 2019-06-18 | 2019-06-18 | 一种实时人体运动姿势矫正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527018.XA CN110245623A (zh) | 2019-06-18 | 2019-06-18 | 一种实时人体运动姿势矫正方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110245623A true CN110245623A (zh) | 2019-09-17 |
Family
ID=67887765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910527018.XA Withdrawn CN110245623A (zh) | 2019-06-18 | 2019-06-18 | 一种实时人体运动姿势矫正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110245623A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110711374A (zh) * | 2019-10-15 | 2020-01-21 | 石家庄铁道大学 | 多模态舞蹈动作评价方法 |
CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
CN110991292A (zh) * | 2019-11-26 | 2020-04-10 | 爱菲力斯(深圳)科技有限公司 | 动作识别比对方法、系统、计算机存储介质和电子装置 |
CN111079616A (zh) * | 2019-12-10 | 2020-04-28 | 西安电子科技大学 | 基于神经网络的单人运动姿态矫正方法 |
CN111639612A (zh) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | 姿态矫正的方法、装置、电子设备及存储介质 |
CN112257642A (zh) * | 2020-10-30 | 2021-01-22 | 上海庞勃特科技有限公司 | 人体连续动作相似性评价方法及评价装置 |
CN112435731A (zh) * | 2020-12-16 | 2021-03-02 | 成都翡铭科技有限公司 | 一种判断实时姿势是否满足预设规则的方法 |
CN112568898A (zh) * | 2019-09-29 | 2021-03-30 | 杭州福照光电有限公司 | 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 |
CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
CN113421196A (zh) * | 2021-06-08 | 2021-09-21 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
CN113627369A (zh) * | 2021-08-16 | 2021-11-09 | 南通大学 | 一种竞拍场景下的动作识别与跟踪方法 |
CN113749651A (zh) * | 2021-10-18 | 2021-12-07 | 长春理工大学 | 一种基于人体姿势识别的压力评估方法及压力评估系统 |
CN113901971A (zh) * | 2021-12-09 | 2022-01-07 | 北京的卢深视科技有限公司 | 健身姿势矫正方法、装置、电子设备和存储介质 |
WO2022041953A1 (zh) * | 2020-08-31 | 2022-03-03 | 中兴通讯股份有限公司 | 行为识别方法、装置和存储介质 |
CN114334084A (zh) * | 2022-03-01 | 2022-04-12 | 深圳市海清视讯科技有限公司 | 健身数据的处理方法、装置、设备和存储介质 |
CN114827730A (zh) * | 2022-04-19 | 2022-07-29 | 咪咕文化科技有限公司 | 视频封面选取方法、装置、设备及存储介质 |
WO2023207759A1 (zh) * | 2022-04-25 | 2023-11-02 | 漳州松霖智能家居有限公司 | 一种用户姿态检测方法、智能垫子系统及相关设备 |
CN117876626A (zh) * | 2024-03-12 | 2024-04-12 | 国网电商科技有限公司 | 一种电力数据三维可视化方法、系统、设备和存储介质 |
CN117876626B (zh) * | 2024-03-12 | 2024-05-14 | 国网电商科技有限公司 | 一种电力数据三维可视化方法、系统、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102201099A (zh) * | 2010-04-01 | 2011-09-28 | 微软公司 | 基于运动的交互式购物环境 |
EP3205269A1 (en) * | 2016-02-12 | 2017-08-16 | Tata Consultancy Services Limited | System and method for analyzing gait and postural balance of a person |
CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
CN107293175A (zh) * | 2017-08-04 | 2017-10-24 | 华中科技大学 | 一种基于体感技术的机车手信号操作训练方法 |
EP3298955A1 (en) * | 2016-09-23 | 2018-03-28 | Tata Consultancy Services Limited | Method and system for determining postural balance of a person |
-
2019
- 2019-06-18 CN CN201910527018.XA patent/CN110245623A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102201099A (zh) * | 2010-04-01 | 2011-09-28 | 微软公司 | 基于运动的交互式购物环境 |
EP3205269A1 (en) * | 2016-02-12 | 2017-08-16 | Tata Consultancy Services Limited | System and method for analyzing gait and postural balance of a person |
EP3298955A1 (en) * | 2016-09-23 | 2018-03-28 | Tata Consultancy Services Limited | Method and system for determining postural balance of a person |
CN107253192A (zh) * | 2017-05-24 | 2017-10-17 | 湖北众与和智能装备科技有限公司 | 一种基于Kinect的无标定人机交互控制系统及方法 |
CN107293175A (zh) * | 2017-08-04 | 2017-10-24 | 华中科技大学 | 一种基于体感技术的机车手信号操作训练方法 |
Non-Patent Citations (2)
Title |
---|
李红波等: "基于Kinect骨骼数据的人体动作姿势识别方法", 《计算机工程与设计》 * |
李红波等: "基于Kinect骨骼数据的静态三维手势识别", 《计算机应用与软件》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112568898A (zh) * | 2019-09-29 | 2021-03-30 | 杭州福照光电有限公司 | 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 |
CN110711374A (zh) * | 2019-10-15 | 2020-01-21 | 石家庄铁道大学 | 多模态舞蹈动作评价方法 |
CN110711374B (zh) * | 2019-10-15 | 2021-05-04 | 石家庄铁道大学 | 多模态舞蹈动作评价方法 |
CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
CN110991292A (zh) * | 2019-11-26 | 2020-04-10 | 爱菲力斯(深圳)科技有限公司 | 动作识别比对方法、系统、计算机存储介质和电子装置 |
CN111079616A (zh) * | 2019-12-10 | 2020-04-28 | 西安电子科技大学 | 基于神经网络的单人运动姿态矫正方法 |
CN111079616B (zh) * | 2019-12-10 | 2022-03-04 | 西安电子科技大学 | 基于神经网络的单人运动姿态矫正方法 |
CN111639612A (zh) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | 姿态矫正的方法、装置、电子设备及存储介质 |
WO2022041953A1 (zh) * | 2020-08-31 | 2022-03-03 | 中兴通讯股份有限公司 | 行为识别方法、装置和存储介质 |
CN112257642A (zh) * | 2020-10-30 | 2021-01-22 | 上海庞勃特科技有限公司 | 人体连续动作相似性评价方法及评价装置 |
CN112257642B (zh) * | 2020-10-30 | 2024-03-15 | 上海创屹科技有限公司 | 人体连续动作相似性评价方法及评价装置 |
CN112435731A (zh) * | 2020-12-16 | 2021-03-02 | 成都翡铭科技有限公司 | 一种判断实时姿势是否满足预设规则的方法 |
CN112435731B (zh) * | 2020-12-16 | 2024-03-19 | 成都翡铭科技有限公司 | 一种判断实时姿势是否满足预设规则的方法 |
CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
CN112990089B (zh) * | 2021-04-08 | 2023-09-26 | 重庆大学 | 一种判断人体运动姿态的方法 |
CN113421196B (zh) * | 2021-06-08 | 2023-08-11 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
CN113421196A (zh) * | 2021-06-08 | 2021-09-21 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
CN113627369A (zh) * | 2021-08-16 | 2021-11-09 | 南通大学 | 一种竞拍场景下的动作识别与跟踪方法 |
CN113749651A (zh) * | 2021-10-18 | 2021-12-07 | 长春理工大学 | 一种基于人体姿势识别的压力评估方法及压力评估系统 |
CN113901971A (zh) * | 2021-12-09 | 2022-01-07 | 北京的卢深视科技有限公司 | 健身姿势矫正方法、装置、电子设备和存储介质 |
CN114334084B (zh) * | 2022-03-01 | 2022-06-24 | 深圳市海清视讯科技有限公司 | 健身数据的处理方法、装置、设备和存储介质 |
CN114334084A (zh) * | 2022-03-01 | 2022-04-12 | 深圳市海清视讯科技有限公司 | 健身数据的处理方法、装置、设备和存储介质 |
CN114827730A (zh) * | 2022-04-19 | 2022-07-29 | 咪咕文化科技有限公司 | 视频封面选取方法、装置、设备及存储介质 |
WO2023207759A1 (zh) * | 2022-04-25 | 2023-11-02 | 漳州松霖智能家居有限公司 | 一种用户姿态检测方法、智能垫子系统及相关设备 |
CN117876626A (zh) * | 2024-03-12 | 2024-04-12 | 国网电商科技有限公司 | 一种电力数据三维可视化方法、系统、设备和存储介质 |
CN117876626B (zh) * | 2024-03-12 | 2024-05-14 | 国网电商科技有限公司 | 一种电力数据三维可视化方法、系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245623A (zh) | 一种实时人体运动姿势矫正方法及系统 | |
JP7124865B2 (ja) | 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム | |
CA2996918C (en) | Determination of a currently treated body portion of a user | |
Yu et al. | Joint-level vision-based ergonomic assessment tool for construction workers | |
Yan et al. | Development of ergonomic posture recognition technique based on 2D ordinary camera for construction hazard prevention through view-invariant features in 2D skeleton motion | |
CN110123257A (zh) | 一种视力检测方法、装置、视力检测仪及计算机存储介质 | |
CN108304820A (zh) | 一种人脸检测方法、装置及终端设备 | |
CN110032271A (zh) | 对比度调节装置及其方法、虚拟现实设备及存储介质 | |
KR101394276B1 (ko) | 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치 | |
CN104635920A (zh) | 姿势识别装置及姿势识别装置的控制方法 | |
CN110874583A (zh) | 一种客流统计的方法、装置、存储介质及电子设备 | |
CN104914988A (zh) | 手势识别装置以及手势识别装置的控制方法 | |
US10380411B2 (en) | Method for constructing a model of the face of a person, method and device for posture analysis using such a model | |
CN105629196B (zh) | 基于计算机视觉及动态指纹的定位系统及相应方法 | |
CN114676956A (zh) | 基于多维数据融合的老人跌倒风险预警系统 | |
CN104598012B (zh) | 一种互动型广告设备及其工作方法 | |
CN109241881A (zh) | 一种人体姿态估计方法 | |
CN109028488A (zh) | 一种空调控制方法、系统及存储介质 | |
CN112801859A (zh) | 一种具有美妆指导功能的化妆镜系统 | |
US11482046B2 (en) | Action-estimating device | |
CN112288766A (zh) | 运动评估方法、装置、系统及存储介质 | |
CN109241822A (zh) | 一种基于mtcnn的多方位人脸检测方法及系统 | |
CN109389082A (zh) | 视线采集方法、装置、系统、计算机可读存储介质 | |
CN111950392B (zh) | 一种基于深度相机Kinect的人体坐姿识别方法 | |
CN115922697A (zh) | 基于变电站数字孪生技术的智能化机器人自动巡检方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190917 |