CN102824176A - 一种基于Kinect传感器的上肢关节活动度测量方法 - Google Patents
一种基于Kinect传感器的上肢关节活动度测量方法 Download PDFInfo
- Publication number
- CN102824176A CN102824176A CN2012103560877A CN201210356087A CN102824176A CN 102824176 A CN102824176 A CN 102824176A CN 2012103560877 A CN2012103560877 A CN 2012103560877A CN 201210356087 A CN201210356087 A CN 201210356087A CN 102824176 A CN102824176 A CN 102824176A
- Authority
- CN
- China
- Prior art keywords
- joint
- upper limb
- kinect
- measurement
- pick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于Kinect传感器的上肢关节活动度测量方法,它包括了测量肩关节屈曲/伸展、内收/外展,肘关节屈曲/伸展,腕关节掌屈/背伸以及桡偏/尺偏等测量项目。测量时,采用体感人机交互方式,根据被测者的上肢动作,通过Kinect传感器对上肢各关节进行位置捕捉,实时记录、计算及反馈关节活动度信息,自动完成测量,直观实时获得测量结果,操作简单,便捷。用户可自行选择测量科目,在每个科目中,用户根据提示确定测量的初始体位,执行上肢运动。当执行动作与测量要求不符时,系统报错并及时提示和纠正用户不合理的测量动作和体姿。
Description
技术领域
本发明涉及到医学信息智能处理领域,具体来说涉及一种基于Kinect传感器的上肢关节活动度测量方法。
背景技术
关节活动度(ROM)是指关节运动时所通过的运动弧或角度。在康复医学上,为确定有无关节活动障碍及障碍程度,为选择治疗方法提供参考,需要进行关节活动度检查与评定。关节活动度检查是各种原因引起肢体活动功能障碍时最常用的检查方法,分为主动关节活动度检查和被动关节活动度检查,前者是由肌肉主动收缩产生的,后者则完全由外力产生,无随意肌肉活动。关节活动度评定是指运用一定的工具测量特定体位下关节的最大活动范围,从而对关节的功能做出判断。上肢关节活动度测量是进行关节活动度检查与评定的重要手段。
传统的关节活动度测量时,传统的测量工具有通用量角器、方盘量角器以及电子量角器。通用量角器由一个标有指针的移动臂和一个附有刻度盘的固定臂构成,两臂于一端以活动铰链连接,是临床上最常用的测量关节角度的器械。方盘量角器的中央是一个有圆形分角刻度的正方形刻度盘,其底部有左右对称的从0度~180度的刻度,中心安装一个可旋转的指针。而电子量角器固定于被测的关节,其原理是传感器的电阻根据运动角度的变化而变化,并在显示器上显示相应角度数值。采用传统的测量工具有其自身的缺陷。首先,用传统的测量工具进行关节活动度测量必须严格操作,应由专人负责,以保证测量的准确性。其次,量角器活动臂、固定臂和旋转中心的放置均受肢体软组织的存在形态而不同程度地受到影响。
清华大学的胡海滔等人利用数码照相机拍摄,直接在图像上量出关节活动的角度。这种方法由于数码相机的存储卡容量有限,在拍摄一定数量的照片后需要取出存储卡将数据传输到计算机,在测量的实时性与便捷性上存在较大的问题。天津科技大学的张建国等人分别基于三维摄像测量系统和电磁跟踪系统进行人体上肢运动测量。他们采用普通摄像机构建了三维摄像分析测量系统,对人体上肢运动进行测量分析。他们利用电磁传感器测量肘、腕关节屈/伸轴实际方向,给出关节依次绕两根互不垂直的轴旋转的关节活动角度新算法。无论是三维摄像测量系统还是电磁跟踪系统,都需要在软硬件上进行较大的投入,在应用与普及方面有较大的局限性。
发明内容
本发明提出了一种基于Kinect传感器的上肢关节活动度测量方法,采用体感交互技术,由用户的上肢动作与计算机交互,对上肢各关节进行位置捕捉,实时记录、计算及反馈关节活动度信息,并能及时提示纠正用户的不合理测量动作。
本发明通过以下的技术方案实现的:
一种基于Kinect传感器的上肢关节活动度测量方法,具体步骤如下:
A、在装有Windows 7操作系统的计算机上安装Kinect For Windows SDK,Kinect For Windows SDK包含了Kinect传感器的驱动程序、Kinect传感器接口和应用程序编程接口API及相关文档;
B、用户通过计算机上的界面选择测量科目,所述测量科目包括左肩关节屈曲/伸展、右肩关节屈曲/伸展、左肩关节内收/外展、右肩关节内收/外展、左肘关节屈曲/伸展、右肘关节屈曲/伸展、左腕关节掌屈/背伸、右腕关节掌屈/背伸、左腕关节桡偏/尺偏、右腕关节桡偏/尺偏;
C、用户根据计算机界面的提示确定测量的初始体位,执行上肢体运动;
D、Kinect传感器利用红外线发射器发出的连续光照射在用户的被测量处,通过红外线CMOS摄像机记录测量空间的每一个散斑,结合原始散斑图案,对测量空间进行编码;
E、Kinect传感器中的感应器读取编码的光线,由Kinect传感器中的芯片运算进行解码,生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据;
F、通过Kinect For Windows SDK获取用户上肢关节的彩色图像数据、骨架数据以及深度图像数据;
G、Kinect传感器把获取到的上肢关节的彩色图像数据、骨架数据以及深度图像数据通过USB接口传递给体感接口库,应用程序通过体感接口获取这些数据,并进行判定,及时反馈出上肢关节活动度。
具体的判定过程如下:
(1)、上肢运动平面的深度判定:
在上肢关节活动度测量中,上肢运动平面为人体冠状面,其法线方向为Z轴方向,沿Z轴方向分别设置前判定平面和后判定平面,前判定平面和后判定平面均为人体冠状面的平行面,对上肢关节点的深度值进行检测,并由人机交互界面传达判定信息,提示受测者按规范要求测量,Kinect传感器分别获取肩关节点P0、肘关节点P1、腕关节点P2和中指指尖节点P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3),为确保实际测量时被测者上肢动作的准确程度,同时又要避免产生明显的测量误差,设定前判定平面与后判定平面距人体冠状面的距离均为L,当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))≤L时,上肢运动符合规范,可顺利进行关节活动度测量;当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))>L时,上肢运动偏离规定范围,系统报错并纠正动作;
(2)、上肢伸直程度的线性插值判定:
在上肢关节活动度测量中需要进行手臂伸直程度的判断,肩关节活动度的测量建立在手臂伸直的基础之上,而肘关节活动度的测量需要前臂伸直,设手臂的肩、肘、腕及中指尖关节点分别为点P0、P1、P2和P3,在P0与P3的连线上插入点F1与F2,F1和F2分别是P1和P2在线段P0P3上的投影,对P1、P2与线段P0P3的共线程度进行计算:线段F1P1和线段F2P2值大于预设值的范围,测量系统提示手臂未伸直不能进行关节活动度测量;点P1、P2、P3运动到点P1 ’、P2 ’、P3 ’位置, P1 ’和P2 ’ 在P0 ’P3 ’上的投影为F1 ’、F2 ’,线段F1 ’P1 ’和线段F2 ’P2 ’值小于预设值的范围,通过线性插值修正,修改节点数据获得共线的点P0”、P1”、P2”和P3”,对手臂关节节点显示进行修正。由于Kinect传感器的节点是根据对空间散斑进行编码获取的,衣着、背景等外部因素会影响原始图像、深度信息的准确性,预设值的设置可以抵消这一不利因素,同时还可以避免采用点重合判定过于苛刻的缺点,使得手臂伸直程度的判定更符合现实情况;
(3)、关节活动度的非线性插值修正:
从Kinect传感器捕捉的节点信息由于受到多种因素的干扰,直接应用NUI API提供的数据会带来测量上的误差,因此需要对关节点和所测活动度值在算法上进行修正,在修正算法前需要进行校正测量,其中Ps为静关节点,Pm为动关节点,首先利用Kinect传感器记录选定的动关节点的位置Pmi至Pmi+4,并确保动关节点X坐标值间距相等,利用体感接口NUI API获得的原始关节点数据计算关节点的角度值,得到一条不规则的函数曲线y=p(x),获取y=p(x)离散点数据,构造拉格朗日插值多项式(n次多项式,n≥2):
利用该插值多项式进行非线性插值,修正应用程序编程接口API所测得的关节活动度数值。
本发明的进一步改进在于:在一台计算机上连接多个Kinect传感器,用户通过体感接口来访问相应的数据。
本发明的进一步改进在于:当用户的执行动作与测量要求不符时,计算机系统会发出报错信息,并对用户进行动作纠正,帮助用户更好地完成科目。
本发明与现有技术相比具有如下优点:
(1)、与通用量角器、方盘量角器相比,该方法的人机交互界面具有提示帮助功能,可指导操作者和被测者进行正确的关节活动度测量,自动得到关节活动度测量结果,对操作人员的专业技能要求较低,操作过程简单,实时性好;
(2)、该方法利用的是Kinect传感器,Kinect传感器利用红外线发射器发出连续光(近红外线),对测量空间的散斑图案进行光线编码,感应器读取编码的光线并进行解码,生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据,不存在量角器活动臂、固定臂和旋转中心的放置均受肢体软组织影响的问题,测量结果更精确;
(3)、与三维摄像测量系统和电磁跟踪系统比较,该方法使用的设备简单,成本低,只需要一台Kinect 传感器和家用计算机(搭载Windows 7操作系统、主频2.66GHZ以上的双核个人计算机)就可以满足要求,本发明在进行上肢关节活动度测量时,采用体感人机交互方式,通过被测者的上肢肢体动作,对上肢各关节进行位置捕捉,实时记录、计算及反馈关节活动度信息,自动完成测量,直观实时获得测量结果,操作简单,便捷,测量过程还可以及时提示和纠正用户不合理的测量动作和体姿。
附图说明
图1为本发明的硬件原理图;
图2为本发明的软件原理图;
图3为上肢运动平面深度判定的示意图;
图4为上肢伸直程度的线性插值判定的示意图;
图5(a)为关节运动轨迹示意图;
图5(b)为关节活动度的非线性插值修正的示意图;
图6为左肩关节屈曲图;
图7为左肩关节伸展图;
图8为右肩关节屈曲图;
图9为右肩关节伸展图;
图10为左肩关节外展图;
图11为左肩关节内收图;
图12为右肩关节外展图;
图13为右肩关节内收图;
图14为左肘关节屈曲图;
图15为左肘关节过伸展图;
图16为右肘关节过伸展图;
图17为右肘关节屈曲图;
图18为左腕关节背伸图;
图19为左腕关节掌屈图;
图20为右腕关节背伸图;
图21为右腕关节掌屈图;
图22为左腕关节桡偏图;
图23为左腕关节尺偏图;
图24为右腕关节尺偏图;
图25为右腕关节桡偏图;
图中标号:1-人体冠状面、2-前判定平面、3-后判定平面。
具体实施方式
为了加深对本发明的理解,下面将结合实施例和附图对本发明作进一步详述,该实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
如图1和图2所示,本发明提出一种基于Kinect传感器的上肢关节活动度测量方法,该方法可以测量肩关节屈曲/伸展、内收/外展,肘关节屈曲/伸展,腕关节掌屈/背伸以及桡偏/尺偏等关节活动度。测量时,采用体感人机交互方式,通过Kinect传感器,采集上肢动作关节数据,自动计算并实时显示测量结果,用户可自行选择测量项目,在每个项目中,用户根据提示确定测量的初始体位,执行上肢体运动,当执行动作与测量要求不符时,系统报错并对用户进行动作纠正,帮助用户更好地完成项目测量。具体步骤如下:
A、在装有Windows 7操作系统的计算机上安装Kinect For Windows SDK,Kinect For Windows SDK包含了Kinect传感器的驱动程序、Kinect传感器接口和应用程序编程接口API及相关文档;
B、用户通过计算机上的界面选择测量科目,所述测量科目包括左肩关节屈曲/伸展、右肩关节屈曲/伸展、左肩关节内收/外展、右肩关节内收/外展、左肘关节屈曲/伸展、右肘关节屈曲/伸展、左腕关节掌屈/背伸、右腕关节掌屈/背伸、左腕关节桡偏/尺偏、右腕关节桡偏/尺偏;
C、用户根据计算机界面的提示确定测量的初始体位,执行上肢体运动;
D、Kinect传感器利用红外线发射器发出的连续光照射在用户的被测量处,通过红外线CMOS摄像机记录测量空间的每一个散斑,结合原始散斑图案,对测量空间进行编码;
E、Kinect传感器中的感应器读取编码的光线,由Kinect传感器中的芯片运算进行解码,生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据;
F、通过Kinect For Windows SDK获取用户上肢关节的彩色图像数据、骨架数据以及深度图像数据;
G、Kinect传感器把获取到的上肢关节的彩色图像数据、骨架数据以及深度图像数据通过USB接口传递给体感接口库,应用程序通过体感接口获取这些数据,并进行判定,及时反馈出上肢关节活动度。
具体的判定过程如下:
(1)、上肢运动平面的深度判定:
在上肢关节活动度测量中,上肢运动平面为人体冠状面1,其法线方向为Z轴方向,沿Z轴方向分别设置前判定平面2和后判定平面3,前判定平面2和后判定平面3均为人体冠状面1的平行面,对上肢关节点的深度值进行检测,并由人机交互界面传达判定信息,提示受测者按规范要求测量,如图3所示,Kinect传感器分别获取肩关节点P0、肘关节点P1、腕关节点P2和中指指尖节点P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3),为确保实际测量时被测者上肢动作的准确程度,同时又要避免产生明显的测量误差,设定前判定平面2与后判定平面3距人体冠状面1的距离均为L。当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))≤L时,上肢运动符合规范,可顺利进行关节活动度测量;当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))>L时,上肢运动偏离规定范围,系统报错并纠正动作;
(2)、上肢伸直程度的线性插值判定:
在上肢关节活动度测量中需要进行手臂伸直程度的判断,肩关节活动度的测量建立在手臂伸直的基础之上,而肘关节活动度的测量需要前臂伸直,如图4所示,设手臂的肩、肘、腕及中指尖关节点分别为点P0、P1、P2和P3,在P0与P3的连线上插入点F1与F2,F1和F2分别是P1和P2在线段P0P3上的投影,对P1、P2与线段P0P3的共线程度进行计算:线段F1P1和线段F2P2值大于预设值的范围,测量系统提示手臂未伸直不能进行关节活动度测量;点P1、P2、P3运动到点P1 ’、P2 ’、P3 ’位置, P1 ’和P2 ’ 在P0 ’P3 ’上的投影为F1 ’、F2 ’,线段F1 ’P1 ’和线段F2 ’P2 ’值小于预设值的范围,通过线性插值修正,修改节点数据获得共线的点P0”、P1”、P2”和P3”,对手臂关节节点显示进行修正。由于Kinect传感器的节点是根据对空间散斑进行编码获取的,衣着、背景等外部因素会影响原始图像、深度信息的准确性,预设值的设置可以抵消这一不利因素,同时还可以避免采用点重合判定过于苛刻的缺点,使得手臂伸直程度的判定更符合现实情况;
(3)、关节活动度的非线性插值修正:
从Kinect传感器捕捉的节点信息由于受到多种因素的干扰,直接应用NUI API提供的数据会带来测量上的误差,因此需要对关节点和所测活动度值在算法上进行修正,在修正算法前需要进行校正测量,如图5(a)所示,其中Ps为静关节点,Pm为动关节点,首先利用Kinect传感器记录选定的动关节点的位置Pmi至Pmi+4,并确保动关节点X坐标值间距相等,利用体感接口NUI API获得的原始关节点数据计算关节点的角度值,得到一条不规则的函数曲线y=p(x),如图5(b)所示。获取y=p(x)离散点数据,构造拉格朗日插值多项式(n次多项式,n≥2):
利用该插值多项式进行非线性插值,修正API所测得的关节活动度数值。
简单说,本发明就是将Kinect传感器与计算机相连,Kinect传感器利用红外线发射器发出连续光(近红外线),通过红外线CMOS摄像机记录空间的每个散斑,结合原始散斑图案,对测量空间进行编码,感应器读取编码的光线,由芯片运算进行解码,生成所需的上肢关节彩色图像数据、骨架数据和深度图像数据,当用户按正确的测量姿势进行上肢动作时,Kinect传感器将采集到的上肢关节的骨架以及深度图像数据传递给NUI体感接口库,应用程序通过体感接口NUI API获取这些数据,完成上肢关节活动度的自动测量,在人机界面实时显示测量结果。
用户通过人机交互界面提示完成测量,并可自主选择测量科目,通过上肢动作与计算机交互,在显示器上显示相应科目的测量结果;在一台计算机上连接多个Kinect传感器,用户通过体感接口来访问相应的数据;当用户的执行动作与测量界面的要求不符时,计算机系统会发出报错信息,并对用户进行动作纠正,帮助用户更好地完成科目。本发明所开发的上肢关节活动度测量方法是基于VB.NET和WPF语言实现的,其中,上肢关节活动度测量体感交互界面是采用WPF的XAML语言编译,而上肢关节彩色图像数据、骨架数据和深度图像数据的获取是基于VB.NET语言实现的。
下面就根据10个测量项目进行具体的分析:
如图6和图7所示,左肩关节屈曲/伸展:被测者初始体位为身体右转,即身体左侧面向Kinect传感器,左臂置于体侧,肘伸直,掌心向内,执行动作为左臂自下而上前屈或后伸。当左臂弯曲时,界面提示请将左臂伸直;当左臂偏离屏幕平行面时,界面提示左臂运动平面应与屏幕平行。
如图8和图9所示,右肩关节屈曲/伸展:被测者初始体位为身体左转,即身体右侧面向Kinect传感器,右臂置于体侧,肘伸直,掌心向内,执行动作为右臂自下而上前屈或后伸。当右臂弯曲时,界面提示请将右臂伸直;当右臂偏离屏幕平行面时,界面提示右臂运动平面应与屏幕平行。
如图10和图11所示,左肩关节内收/外展:被测者初始体位为身体面向前,即身体正对Kinect传感器,左臂置于体侧,肘伸直,掌心向内,执行动作为左臂自下而上内收或外展。当左臂弯曲时,界面提示请将左臂伸直;当左臂偏离屏幕平行面时,界面提示左臂运动平面应与屏幕平行。
如图12和图13所示,右肩关节内收/外展:被测者初始体位为身体面向前,即身体正对Kinect传感器,右臂置于体侧,肘伸直,掌心向内,执行动作为右臂自下而上内收或外展。当右臂弯曲时,界面提示请将右臂伸直;当右臂偏离屏幕平行面时,界面提示右臂运动平面应与屏幕平行。
如图14和图15所示,左肘关节屈曲/伸展:被测者初始体位为身体右转,即身体左侧面向Kinect传感器,左臂水平前伸,肘伸直,掌心向上,执行动作为左前臂向上屈曲,向下过伸展。当左上臂未水平伸出时,界面提示请将左上臂保持水平位置;当左前臂弯曲时,界面提示请将左前臂伸直;当左前臂偏离屏幕平行面时,界面提示左前臂运动平面应与屏幕平行。
如图16和图17所示,右肘关节屈曲/伸展:被测者初始体位为身体左转,即身体右侧面向Kinect传感器,右臂水平前伸,肘伸直,掌心向上,执行动作为右前臂向上屈曲,向下过伸展。当右上臂未水平伸出时,界面提示请将右上臂保持水平位置;当右前臂弯曲时,界面提示请将右前臂伸直;当右前臂偏离屏幕平行面时,界面提示右前臂运动平面应与屏幕平行。
如图18和图19所示,左腕关节掌屈/背伸:被测者初始体位为身体面向前,即身体正对Kinect传感器,左臂水平左伸,肘伸直,掌心向下,执行动作为左手掌向下屈曲,向上伸展。当左前臂未水平伸出时,界面提示请将左前臂保持水平位置;当左手掌偏离屏幕平行面时,界面提示左手掌运动平面应与屏幕平行。
如图20和图21所示,右腕关节掌屈/背伸:被测者初始体位为身体面向前,即身体正对Kinect传感器,右臂水平右伸,肘伸直,掌心向下,执行动作为右手掌向下屈曲,向上伸展。当右前臂未水平伸出时,界面提示请将右前臂保持水平位置;当右手掌偏离屏幕平行面时,界面提示右手掌运动平面应与屏幕平行。
如图22和图23所示,左腕关节桡偏/尺偏:被测者初始体位为身体右转,即身体左侧面向Kinect传感器,左臂水平前伸,肘伸直,掌心向内,执行动作为左手掌向下偏转,向上偏转。当左前臂未水平伸出时,界面提示请将左前臂保持水平位置;当左手掌偏离屏幕平行面时,界面提示左手掌运动平面应与屏幕平行。
如图24和图25所示,右腕关节桡偏/尺偏:被测者初始体位为身体左转,即身体右侧面向Kinect传感器,右臂水平前伸,肘伸直,掌心向内,执行动作为右手掌向下偏转,向上偏转。当右前臂未水平伸出时,界面提示请将右前臂保持水平位置;当右手掌偏离屏幕平行面时,界面提示右手掌运动平面应与屏幕平行。
在各科目测量过程中,界面会实时显示所测关节活动度的角度信息,并记录下最大值以及判定关节活动度活动范围,为确定关节活动障碍程度以及选择治疗方法提供参考。
本发明与通用量角器、方盘量角器相比,人机交互界面具有提示帮助功能,可指导操作者和被测者进行正确的关节活动度测量,自动得到关节活动度测量结果,对操作人员的专业技能要求较低,操作过程简单,实时性好;该方法利用的是Kinect传感器,Kinect传感器利用红外线发射器发出连续光(近红外线),对测量空间的散斑图案进行光线编码,感应器读取编码的光线并进行解码,生成所需的彩色、骨架以及深度图像,不存在量角器活动臂、固定臂和旋转中心的放置均受肢体软组织影响的问题,测量结果更精确;与三维摄像测量系统和电磁跟踪系统比较,该方法使用的设备简单,成本低,只需要一台Kinect 传感器和家用计算机(搭载Windows 7操作系统、主频2.66GHZ以上的双核个人计算机)就可以满足要求,本发明在进行上肢关节活动度测量时,采用体感人机交互方式,通过被测者的上肢肢体动作,对上肢各关节进行位置捕捉,实时记录、计算及反馈关节活动度信息,自动完成测量,直观实时获得测量结果,操作简单,便捷,测量过程还可以及时提示和纠正用户不合理的测量动作和体姿。
Claims (4)
1.一种基于Kinect传感器的上肢关节活动度测量方法,其特征在于:具体步骤如下:
A、在装有Windows 7操作系统的计算机上安装Kinect For Windows SDK,Kinect For Windows SDK包含了Kinect传感器的驱动程序、Kinect传感器接口和应用程序编程接口API及相关文档;
B、用户通过计算机上的界面选择测量科目,所述测量科目包括左肩关节屈曲/伸展、右肩关节屈曲/伸展、左肩关节内收/外展、右肩关节内收/外展、左肘关节屈曲/伸展、右肘关节屈曲/伸展、左腕关节掌屈/背伸、右腕关节掌屈/背伸、左腕关节桡偏/尺偏、右腕关节桡偏/尺偏;
C、用户根据计算机界面的提示确定测量的初始体位,执行上肢体运动;
D、Kinect传感器利用红外线发射器发出的连续光照射在用户的被测量处,通过红外线CMOS摄像机记录测量空间的每一个散斑,结合原始散斑图案,对测量空间进行编码;
E、Kinect传感器中的感应器读取编码的光线,由Kinect传感器中的芯片运算进行解码,生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据;
F、通过Kinect For Windows SDK获取用户上肢关节的彩色图像数据、骨架数据以及深度数据;
G、Kinect传感器把获取到的上肢关节的彩色图像数据、骨架数据以及深度数据通过USB接口传递给体感接口库,应用程序通过体感接口获取这些数据,并进行判定,及时反馈出上肢关节活动度。
2.根据权利要求1所述一种基于Kinect传感器的上肢关节活动度测量方法,其特征在于:步骤G中的具体判定过程如下:
(A)、上肢运动平面的深度判定:
在上肢关节活动度测量中,上肢运动平面为人体冠状面(1),其法线方向为Z轴方向,沿Z轴方向分别设置前判定平面(2)和后判定平面(3),所述前判定平面(2)和所述后判定平面(3)均为所述人体冠状面(1)的平行面,对上肢关节点的深度值进行检测,并由人机交互界面传达判定信息,提示受测者按规范要求测量,Kinect传感器分别获取肩关节点P0、肘关节点P1、腕关节点P2和中指指尖节点P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3),为确保实际测量时被测者上肢动作的准确程度,同时又要避免产生明显的测量误差,设定所述前判定平面(2)与所述后判定平面(3)距所述人体冠状面(1)的距离均为L,当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))≤L时,上肢运动符合规范,可顺利进行关节活动度测量;当Max(Z(P0), Z(P1), Z(P2), Z(P3))- Min(Z(P0), Z(P1), Z(P2), Z(P3))>L时,上肢运动偏离规定范围,系统报错并纠正动作;
(B)、上肢伸直程度的线性插值判定:
在上肢关节活动度测量中需要进行手臂伸直程度的判断,肩关节活动度的测量需手臂伸直,肘关节活动度的测量需要前臂伸直,设手臂的肩、肘、腕及中指尖关节点分别为点P0、P1、P2和P3,在P0与P3的连线上插入点F1与F2,F1和F2分别是P1和P2在线段P0P3上的投影,对P1、P2与线段P0P3的共线程度进行计算:线段F1P1和线段F2P2值大于预设值的范围,测量系统提示手臂未伸直不能进行关节活动度测量;点P1、P2、P3运动到点P1 ’、P2 ’、P3 ’位置, P1 ’和P2 ’ 在P0 ’P3 ’上的投影为F1 ’、F2 ’,线段F1 ’P1 ’和线段F2 ’P2 ’值小于预设值的范围,通过线性插值修正,修改节点数据获得共线的点P0”、P1”、P2”和P3”,对手臂关节节点显示进行修正;
(C)、关节活动度的非线性插值修正:
对上述获得的关节点和所测活动度值在算法上进行修正,在修正算法前需要进行校正测量,其中Ps为静关节点,Pm为动关节点,首先利用Kinect传感器记录选定的动关节点的位置Pmi至Pmi+4,并确保动关节点X坐标值间距相等,利用体感接口获得的原始关节点数据计算关节点的角度值,得到一条不规则的函数曲线y=p(x),获取y=p(x)离散点数据,构造拉格朗日插值多项式(n次多项式,n≥2):
利用该插值多项式进行非线性插值,修正API所测得的关节活动度数值。
3.根据权利要求1所述一种基于Kinect传感器的上肢关节活动度测量方法,其特征在于:在一台计算机上连接多个Kinect传感器,用户通过体感接口来访问相应的数据。
4.根据权利要求1所述一种基于Kinect传感器的上肢关节活动度测量方法,其特征在于:当用户的执行动作与测量要求不符时,计算机系统会发出报错信息,并对用户进行动作纠正,帮助用户更好地完成科目。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210356087.7A CN102824176B (zh) | 2012-09-24 | 2012-09-24 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210356087.7A CN102824176B (zh) | 2012-09-24 | 2012-09-24 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102824176A true CN102824176A (zh) | 2012-12-19 |
CN102824176B CN102824176B (zh) | 2014-06-04 |
Family
ID=47327635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210356087.7A Expired - Fee Related CN102824176B (zh) | 2012-09-24 | 2012-09-24 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102824176B (zh) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103230664A (zh) * | 2013-04-17 | 2013-08-07 | 南通大学 | 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法 |
CN103279186A (zh) * | 2013-05-07 | 2013-09-04 | 兰州交通大学 | 融合光学定位与惯性传感的多目标运动捕捉系统 |
CN103412642A (zh) * | 2013-06-28 | 2013-11-27 | 龚南彬 | 一种交互装置 |
CN103417216A (zh) * | 2013-04-08 | 2013-12-04 | 杭州电子科技大学 | 一种基于复杂度的压力中心非线性特征提取方法 |
CN103500013A (zh) * | 2013-10-18 | 2014-01-08 | 武汉大学 | 基于Kinect和流媒体技术的实时三维测图系统及方法 |
CN103706106A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 一种基于Kinect的自适应连续动作训练方法 |
CN103908293A (zh) * | 2012-12-28 | 2014-07-09 | 通用电气公司 | 用于测量医学图像的医学成像系统和方法 |
CN103921266A (zh) * | 2014-04-15 | 2014-07-16 | 哈尔滨工程大学 | 一种基于Kinect的体感控制冰雪机器人方法 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104274182A (zh) * | 2013-07-01 | 2015-01-14 | 株式会社东芝 | 动作信息处理装置以及方法 |
JP2015061579A (ja) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
CN104552295A (zh) * | 2014-12-19 | 2015-04-29 | 华南理工大学 | 一种基于多信息融合的人机技能传递系统 |
CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
CN104635917A (zh) * | 2013-11-08 | 2015-05-20 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN104765454A (zh) * | 2015-04-02 | 2015-07-08 | 吉林大学 | 基于人体肌肉运动知觉的人机交互界面菜单选择方法 |
CN104771175A (zh) * | 2015-03-04 | 2015-07-15 | 上海交通大学 | 捕捉人体四肢三维空间姿态的可穿戴智能环 |
CN105849502A (zh) * | 2013-10-24 | 2016-08-10 | 阿里·科尔德 | 动作捕捉系统 |
CN106355598A (zh) * | 2016-09-14 | 2017-01-25 | 南通大学 | 一种腕部及手指关节活动度的自动测量方法 |
CN106485055A (zh) * | 2016-09-22 | 2017-03-08 | 吉林大学 | 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统 |
CN106650687A (zh) * | 2016-12-30 | 2017-05-10 | 山东大学 | 一种基于深度信息和骨骼信息的姿势矫正方法 |
CN107049251A (zh) * | 2017-03-28 | 2017-08-18 | 浙江大学台州研究院 | 上肢运动控制能力评估系统 |
CN107320108A (zh) * | 2017-08-14 | 2017-11-07 | 佛山科学技术学院 | 一种关节活动度测量方法 |
CN107708555A (zh) * | 2015-06-26 | 2018-02-16 | 日本电气方案创新株式会社 | 测量装置和测量方法 |
CN108634932A (zh) * | 2018-04-08 | 2018-10-12 | 中国人民解放军陆军军医大学第附属医院 | 一种肩关节夹具及其运用于肩关节检测的方法 |
CN110059670A (zh) * | 2019-04-29 | 2019-07-26 | 杭州雅智医疗技术有限公司 | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 |
CN110279991A (zh) * | 2019-06-17 | 2019-09-27 | 河南翔宇医疗设备股份有限公司 | 一种情景运动康复训练系统 |
CN111150603A (zh) * | 2019-12-27 | 2020-05-15 | 中国人民解放军陆军军医大学第一附属医院 | 一种助力康复训练装置 |
WO2020147791A1 (zh) * | 2019-01-18 | 2020-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
CN111938658A (zh) * | 2020-08-10 | 2020-11-17 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测系统及方法 |
CN112418094A (zh) * | 2020-11-24 | 2021-02-26 | 成都翡铭科技有限公司 | 基于特征关节点数据的测量头部前伸后缩距离的方法 |
CN113721555A (zh) * | 2021-08-27 | 2021-11-30 | 深圳数马电子技术有限公司 | 一种s型速度规划的目标速度的确定方法及装置 |
CN114795192A (zh) * | 2022-07-01 | 2022-07-29 | 佛山科学技术学院 | 一种关节活动度智能检测方法及系统 |
US11468612B2 (en) | 2019-01-18 | 2022-10-11 | Beijing Sensetime Technology Development Co., Ltd. | Controlling display of a model based on captured images and determined information |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI590806B (zh) | 2016-01-22 | 2017-07-11 | Far Eastern New Century Corp | Wearable motion sensing device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533527A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于时空搜索数据处理的光学运动捕捉数据处理方法 |
US20120019643A1 (en) * | 2010-07-26 | 2012-01-26 | Atlas Advisory Partners, Llc | Passive Demographic Measurement Apparatus |
US8123622B1 (en) * | 2011-06-03 | 2012-02-28 | Nyko Technologies, Inc. | Lens accessory for video game sensor device |
WO2012054231A2 (en) * | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
CN102500094A (zh) * | 2011-10-28 | 2012-06-20 | 北京航空航天大学 | 一种基于kinect的动作训练方法 |
CN102567638A (zh) * | 2011-12-29 | 2012-07-11 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复系统 |
-
2012
- 2012-09-24 CN CN201210356087.7A patent/CN102824176B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533527A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于时空搜索数据处理的光学运动捕捉数据处理方法 |
US20120019643A1 (en) * | 2010-07-26 | 2012-01-26 | Atlas Advisory Partners, Llc | Passive Demographic Measurement Apparatus |
WO2012054231A2 (en) * | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
US8123622B1 (en) * | 2011-06-03 | 2012-02-28 | Nyko Technologies, Inc. | Lens accessory for video game sensor device |
CN102500094A (zh) * | 2011-10-28 | 2012-06-20 | 北京航空航天大学 | 一种基于kinect的动作训练方法 |
CN102567638A (zh) * | 2011-12-29 | 2012-07-11 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复系统 |
Non-Patent Citations (3)
Title |
---|
ALANA等: "Ikapp-A rehabilitation support system using kinect", 《XIV SIMPÓSIO DE REALIDADE VIRTUAL E AUMENTADA》 * |
李红波等: "基于Kinect深度图像的人体识别分析", 《数字通信》 * |
邵隽等: "浅谈基于Kinect的应用程序开发", 《计算机光盘软件与应用》 * |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103908293B (zh) * | 2012-12-28 | 2018-03-27 | 通用电气公司 | 用于测量医学图像的医学成像系统和方法 |
CN103908293A (zh) * | 2012-12-28 | 2014-07-09 | 通用电气公司 | 用于测量医学图像的医学成像系统和方法 |
CN103417216A (zh) * | 2013-04-08 | 2013-12-04 | 杭州电子科技大学 | 一种基于复杂度的压力中心非线性特征提取方法 |
CN103230664A (zh) * | 2013-04-17 | 2013-08-07 | 南通大学 | 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法 |
CN103279186A (zh) * | 2013-05-07 | 2013-09-04 | 兰州交通大学 | 融合光学定位与惯性传感的多目标运动捕捉系统 |
CN103279186B (zh) * | 2013-05-07 | 2015-11-18 | 兰州交通大学 | 融合光学定位与惯性传感的多目标运动捕捉系统 |
CN103412642A (zh) * | 2013-06-28 | 2013-11-27 | 龚南彬 | 一种交互装置 |
CN104274182A (zh) * | 2013-07-01 | 2015-01-14 | 株式会社东芝 | 动作信息处理装置以及方法 |
JP2015061579A (ja) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
CN103500013B (zh) * | 2013-10-18 | 2016-05-11 | 武汉大学 | 基于Kinect和流媒体技术的实时三维测图方法 |
CN103500013A (zh) * | 2013-10-18 | 2014-01-08 | 武汉大学 | 基于Kinect和流媒体技术的实时三维测图系统及方法 |
CN105849502A (zh) * | 2013-10-24 | 2016-08-10 | 阿里·科尔德 | 动作捕捉系统 |
CN104635917A (zh) * | 2013-11-08 | 2015-05-20 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN104635917B (zh) * | 2013-11-08 | 2018-09-11 | 中国电信股份有限公司 | 动作捕捉方法和装置、用于非接触输入的方法和装置 |
CN103706106B (zh) * | 2013-12-30 | 2015-12-30 | 南京大学 | 一种基于Kinect的自适应连续动作训练方法 |
CN103706106A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 一种基于Kinect的自适应连续动作训练方法 |
CN103921266A (zh) * | 2014-04-15 | 2014-07-16 | 哈尔滨工程大学 | 一种基于Kinect的体感控制冰雪机器人方法 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104038738B (zh) * | 2014-06-04 | 2017-02-15 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104552295B (zh) * | 2014-12-19 | 2016-06-22 | 华南理工大学 | 一种基于多信息融合的人机技能传递系统 |
CN104552295A (zh) * | 2014-12-19 | 2015-04-29 | 华南理工大学 | 一种基于多信息融合的人机技能传递系统 |
CN104598896A (zh) * | 2015-02-12 | 2015-05-06 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
CN104598896B (zh) * | 2015-02-12 | 2017-09-05 | 南通大学 | 基于Kinect骨架追踪的人体摔倒自动检测方法 |
CN104771175A (zh) * | 2015-03-04 | 2015-07-15 | 上海交通大学 | 捕捉人体四肢三维空间姿态的可穿戴智能环 |
CN104765454A (zh) * | 2015-04-02 | 2015-07-08 | 吉林大学 | 基于人体肌肉运动知觉的人机交互界面菜单选择方法 |
CN107708555B (zh) * | 2015-06-26 | 2020-10-27 | 日本电气方案创新株式会社 | 测量装置和测量方法 |
CN107708555A (zh) * | 2015-06-26 | 2018-02-16 | 日本电气方案创新株式会社 | 测量装置和测量方法 |
CN106355598B (zh) * | 2016-09-14 | 2019-09-10 | 南通大学 | 一种腕部及手指关节活动度的自动测量方法 |
CN106355598A (zh) * | 2016-09-14 | 2017-01-25 | 南通大学 | 一种腕部及手指关节活动度的自动测量方法 |
CN106485055A (zh) * | 2016-09-22 | 2017-03-08 | 吉林大学 | 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统 |
CN106650687A (zh) * | 2016-12-30 | 2017-05-10 | 山东大学 | 一种基于深度信息和骨骼信息的姿势矫正方法 |
CN107049251A (zh) * | 2017-03-28 | 2017-08-18 | 浙江大学台州研究院 | 上肢运动控制能力评估系统 |
CN107320108A (zh) * | 2017-08-14 | 2017-11-07 | 佛山科学技术学院 | 一种关节活动度测量方法 |
CN108634932B (zh) * | 2018-04-08 | 2023-12-19 | 中国人民解放军陆军军医大学第一附属医院 | 一种肩关节夹具运用于肩关节检测的方法 |
CN108634932A (zh) * | 2018-04-08 | 2018-10-12 | 中国人民解放军陆军军医大学第附属医院 | 一种肩关节夹具及其运用于肩关节检测的方法 |
US11741629B2 (en) | 2019-01-18 | 2023-08-29 | Beijing Sensetime Technology Development Co., Ltd. | Controlling display of model derived from captured image |
WO2020147791A1 (zh) * | 2019-01-18 | 2020-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
US11468612B2 (en) | 2019-01-18 | 2022-10-11 | Beijing Sensetime Technology Development Co., Ltd. | Controlling display of a model based on captured images and determined information |
US11538207B2 (en) | 2019-01-18 | 2022-12-27 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, image device, and storage medium |
CN110059670B (zh) * | 2019-04-29 | 2024-03-26 | 杭州雅智医疗技术有限公司 | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 |
CN110059670A (zh) * | 2019-04-29 | 2019-07-26 | 杭州雅智医疗技术有限公司 | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 |
CN110279991A (zh) * | 2019-06-17 | 2019-09-27 | 河南翔宇医疗设备股份有限公司 | 一种情景运动康复训练系统 |
CN111150603A (zh) * | 2019-12-27 | 2020-05-15 | 中国人民解放军陆军军医大学第一附属医院 | 一种助力康复训练装置 |
CN111150603B (zh) * | 2019-12-27 | 2021-09-14 | 中国人民解放军陆军军医大学第一附属医院 | 一种助力康复训练装置 |
CN111938658A (zh) * | 2020-08-10 | 2020-11-17 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测系统及方法 |
CN111938658B (zh) * | 2020-08-10 | 2023-09-01 | 陈雪丽 | 一种用于手部、腕部与前臂的关节活动度监测系统及方法 |
CN112418094A (zh) * | 2020-11-24 | 2021-02-26 | 成都翡铭科技有限公司 | 基于特征关节点数据的测量头部前伸后缩距离的方法 |
CN113721555B (zh) * | 2021-08-27 | 2023-11-28 | 深圳数马电子技术有限公司 | 一种s型速度规划的目标速度的确定方法及装置 |
CN113721555A (zh) * | 2021-08-27 | 2021-11-30 | 深圳数马电子技术有限公司 | 一种s型速度规划的目标速度的确定方法及装置 |
CN114795192B (zh) * | 2022-07-01 | 2022-09-16 | 佛山科学技术学院 | 一种关节活动度智能检测方法及系统 |
CN114795192A (zh) * | 2022-07-01 | 2022-07-29 | 佛山科学技术学院 | 一种关节活动度智能检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102824176B (zh) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102824176B (zh) | 一种基于Kinect传感器的上肢关节活动度测量方法 | |
US10860091B2 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
Smeragliuolo et al. | Validation of the Leap Motion Controller using markered motion capture technology | |
US11474593B2 (en) | Tracking user movements to control a skeleton model in a computer system | |
Ma et al. | Validation of a Kinect V2 based rehabilitation game | |
KR102212716B1 (ko) | 모션 패턴에 따른 근력 운동 자세 분석 시스템 및 방법 | |
US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
US20140098018A1 (en) | Wearable sensor for tracking articulated body-parts | |
US20190250708A1 (en) | Method for tracking hand pose and electronic device thereof | |
CN108268129A (zh) | 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套 | |
US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
RU187548U1 (ru) | Перчатка виртуальной реальности | |
US20200319721A1 (en) | Kinematic Chain Motion Predictions using Results from Multiple Approaches Combined via an Artificial Neural Network | |
CN105637531A (zh) | 人体姿势识别 | |
US10065111B1 (en) | Mapping user interactions with a controller to a hand position | |
Luo et al. | An interactive therapy system for arm and hand rehabilitation | |
WO2020009715A2 (en) | Tracking user movements to control a skeleton model in a computer system | |
CN102023707A (zh) | 基于dsp-pc机器视觉系统的斑纹式数据手套 | |
JP6730573B2 (ja) | 重症度評価支援システム及びプログラム | |
Gamboa et al. | Advantages and limitations of leap motion from a developers', physical therapists', and patients' perspective | |
RU2670649C9 (ru) | Способ изготовления перчатки виртуальной реальности (варианты) | |
Fazeli et al. | A virtual environment for hand motion analysis | |
CN111772640B (zh) | 肢体运动训练指导方法、装置及存储介质 | |
CN109102572A (zh) | 变电仿真vr系统中虚拟手骨骼比例推定方法 | |
US20150335271A1 (en) | A system and method for evaluating range of motion of a subject |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140604 Termination date: 20160924 |
|
CF01 | Termination of patent right due to non-payment of annual fee |