CN104157107A - 一种基于Kinect传感器的人体姿势矫正装置 - Google Patents

Abstract

一种基于Kinect传感器的人体姿势矫正装置，所述矫正装置包括骨骼信息采集单元、控制单元和报警单元；骨骼信息采集单元包括Kinect传感器、景深数据获取模块和关节点信息处理模块；控制单元包括姿势判断模块和警报信号发送模块；报警单元包括警报信号接收模块、警报模块、警报短信生成模块和3G模块。本发明具有扩展性好、无辐射、信息采集精准、无需人员佩戴等优点。

Description

一种基于Kinect传感器的人体姿势矫正装置

技术领域

本发明涉及运动保健器械领域，尤其是一种利用Kinect传感器检测人体关节信息对人体姿势进行判断从而矫正身体姿势的装置。 

背景技术

一直以来，青少年健康成长问题都是人类生活中的重要课题，青少年长时间的不良坐姿、睡姿或运动习惯都会对青少年骨骼健康成长造成很大影响。 

近年来，三维人体扫描技术在医疗、运动器材的使用越来越普遍，但提取图像信息的方法仍存在问题，影响其潜在运用。与传统的3D扫描仪相比,Kinect设备能在视频速率下获得深度图像数据并且不用过分考虑光线和纹理环境，并且kinect设备在采集人体骨骼数据时不需要接触人体，对人体也没有激光、辐射等损害，采集骨骼数据更加准确快速，且能提供相应的反馈信息。而人体形态姿势是人体某一部分和其他部分之间的一种静态关系，即关节点之间的相对位置就能确定一个姿势，因此可以通过关节点位置的重叠交叉或关节点之间的角度进行姿势判定和识别。可通过对人体进行扫描，获取人体深度数据及人体的重要骨骼关节点的坐标信息，然后判断关节点的相对位置是否处于合理状态，并为坐卧或运动时的人体形态提供正确的人体关节模型。 

在目前市场中，为了预防和矫正青少年不良坐姿和睡姿，已出现各种功能的姿势矫正装置。例如：在专利号为201120471743.9、专利名称为坐姿矫正仪的专利中设计了一种矫正坐姿的仪器。该仪器由红外线收发器、控制器和报警 器组成，通过红外线收发器接收信号，再通过控制器分析处理信号后对报警器进行控制，用以对人体坐姿进行监控和报警。再如，在专利号为200820083314.2、专利名称为坐姿矫正器的专利中也设计了一种矫正坐姿的装置，该装置是将支架通过连接装置安装在椅子上，在支架两侧设有钩爪，两个钩爪之间设有联动装置，使两个钩爪可以同时开合。另外，在专利号为201210227711.3、专利名称为一种婴儿睡姿智能识别方法及装置的专利中，通过智能检测识别装置和报警装置可远程监护看管婴儿，并具有视频功能和预警功能。 

但是，以上所述的各种坐姿矫正装置或设备虽然都具备矫正功能和警示功能，可在实际使用过程中，但都无法对人体骨骼关节信息进行监控和判断，从而不能精确判断人体的姿势以及下一步动作，因此上述矫正装置普遍存在较大误差，无法满足使用要求。 

发明内容

本发明的目的是提供一种通过Kinect传感器获取人体深度数据及人体重要骨骼关节坐标信息从而判断人体姿势的基于Kinect传感器的人体姿势矫正装置。 

本发明所述矫正装置包括骨骼信息采集单元、控制单元和报警单元； 

所述骨骼信息采集单元包括Kinect传感器、景深数据获取模块和关节点信息处理模块；景深数据获取模块由红外线发射器、红外线摄影器和景深数据处理器组成，获取测量空间的图像景深数据；Kinect传感器将捕捉到的人体红外信号通过红外线发射器发送至红外线摄影器中，红外线摄影器输出端与景深数据处理器连接，景深数据处理器输出端与关节点信息处理模块连接，关节点信息 处理模块与控制单元连接；关节点信息处理模块从该景深数据处理器中提取各关节点信息，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元； 

所述控制单元包括姿势判断模块和警报信号发送模块；姿势判断模块由坐姿识别模块、睡姿识别模块和运动姿势识别模块组成；姿势判断模块中的各识别模块输入端与关节点信息处理模块连接，各识别模块的输出端与警报信号发送模块连接；所述控制单元与报警单元连接并对其控制，将判断处理后的关节点信息发送至报警单元； 

所述报警单元包括警报信号接收模块、警报模块、警报短信生成模块和3G模块；警报信号接收模块的输入端与控制单元中的警报信号发送模块连接，警报信号接收模块的输出端与警报模块和警报短信生成模块连接，警报短信生成模块再与3G模块连接，3G模块将警报短信发送至通信设备上。 

本发明的大体工作过程如下： 

首先，通过Kinect传感器提取人体姿势的关节点信息，然后进行人体图像采集和记录，根据kinect传感器采集的图像和数据，由样例特征建模，对样例图像的纹理特征及人体骨骼点特征进行分析，通过特征融合生成样例特征模板库。在实时特征分析时对设定的监控区域进行特征分析处理，并结合样例特征模板库进行姿势识别，判断人体坐姿或睡姿或运动姿势是否正确，如果姿势不正确，姿势识别模块会将信息传输至警报信号发送模块，通过警报信号发送模块将报警信号发至警报信号接收模块，最后通过警报模块进行报警，并通过3G 模块向通信设备发送文字短信进行远程报警。 

与已有技术相比，本发明的有益效果为： 

1、本装置无需佩戴在使用者身上，不会对使用者行动造成限制和影响； 

2、能在视频速率下获得深度图像数据，不用过分考虑光线和纹理环境； 

3、在采集人体骨骼数据时不需要接触人体，对人体没有激光、辐射等损害； 

4、在采集人体骨骼数据时更加准确快速，并能提供相应的反馈信息； 

5、本装置采用开放性结构、模块化设计，系统接口协议公开、扩展性好，而且支持多入口多出口扩展。 

附图说明

图1为本发明的系统结构框图。 

图2为本发明中Kinect传感器追踪的20个关节点示意图。 

图3为本发明监测坐姿时被监测人的脊椎骨关节点的示意简图。 

附图标记：1-头、2-右手、3-右腕、4-右肘、5-右肩、6-肩膀中央、7-左肩、8-左肘、9-左碗、10-左手、11-脊柱、12-右臀、13-臀部中央、14-左臀、15-右膝、16-左膝、17-右踝、18-左踝、19-右脚、20-左脚、a-第2颈椎骨，b-第5胸椎，c-第1腰椎骨。 

具体实施方式

在图1所示的本发明的系统结构框图中，本发明所述矫正装置包括骨骼信息采集单元、控制单元和报警单元； 

所述骨骼信息采集单元包括Kinect传感器、景深数据获取模块和关节点信息处理模块；景深数据获取模块由红外线发射器、红外线摄影器和景深数据处理器组成，获取测量空间的图像景深数据；Kinect传感器将捕捉到的人体红外信号通过红外线发射器发送至红外线摄影器中，红外线摄影器输出端与景深数据处理器连接，景深数据处理器输出端与关节点信息处理模块连接，关节点信息处理模块与控制单元连接；关节点信息处理模块从该景深数据处理器中提取各关节点信息，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元； 

所述控制单元包括姿势判断模块和警报信号发送模块；姿势判断模块由坐姿识别模块、睡姿识别模块和运动姿势识别模块组成；姿势判断模块中的各识别模块输入端与关节点信息处理模块连接，各识别模块的输出端与警报信号发送模块连接；所述控制单元与报警单元连接并对其控制，将判断处理后的关节点信息发送至报警单元； 

所述报警单元包括警报信号接收模块、警报模块、警报短信生成模块和3G模块；警报信号接收模块的输入端与控制单元中的警报信号发送模块连接，警报信号接收模块的输出端与警报模块和警报短信生成模块连接，警报短信生成模块再与3G模块连接，3G模块将警报短信发送至通信设备上。 

骨骼信息采集单元用于获取被看护人体的各关节的关节点信息。其中，景深数据获取模块用于获取测量空间的图像景深数据；关节点信息处理模块用于从该景深数据中提取对象的各关节的关节点坐标，根据提取的关节点坐标确定 各关节点的名称，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元。其中，骨骼信息采集通过Kinect传感器获取信息。 

控制单元用于根据骨骼信息采集单元获取的关节点信息判断对象的姿势是否正常，并在判断其姿势异常时控制报警单元发出警报。其中，姿势判断模块用于根据关节信息处理模块发送的关节点信息判断对象的姿势是否异常。警报信号发送模块用于在姿势判断模块判断对象姿势异常时向报警单元发出警报信号。姿势识别模块由坐姿识别模块、睡姿识别模块和运动姿势识别模块组成。姿势是身体的某一部分和其他部分之间的一种静态关系。身体及各个关节点的位置定义了一个姿势，即关节点之间的相对位置就能确定一个姿势，可以通过关节点位置的重叠交叉或关节点之间的角度进行姿势识别。 

利用kinect传感器捕获青少年的骨骼和姿势，kinect感应器有三个镜头，中间一个RGB彩色摄影机，左右两边镜头分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器。该传感器通过黑白光谱的方式来感知环境：纯黑代表无穷远，纯白代表无穷近。黑白的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。接着，kinect会对景深图像进行像素级评估，来辨别人体的不同部位，采用分割策略将人体从背景环境中分离。再通过人工智能系统来处理大量数据，识别手、脚及身体的其他部位，最后根据追踪到的20个关节点来生成一幅骨架系统。 

(1)坐姿识别模块主要是通过Kinect识别人体颈椎处的关节点。人体坐姿的识别我们可近似看作是静态的，无需识别连续的动作，而且只需识别颈椎 处的部分关节点，通过确定相连关节点之间角度来判别特定坐姿是否合理。如图3所示，人体脊椎骨位于背部正中，由24块椎骨、一个骶骨和一个尾骨借软骨、韧带和关节连结而成。椎骨从上至下分成颈椎骨、胸椎骨、腰椎骨三部分，共24块椎骨。其中，颈椎骨7块、胸椎骨12块、腰椎骨5块。骶骨由5个骶椎融合而成，尾骨由4个尾椎融合而成。 

利用某两个关节点之间的欧氏距离和余弦定理，可得出两个关节点之间的夹角。假设有点x和点y，则这两点的欧式距离为： 

$d(x,y)=\sqrt{\mathrm{\Σ}{(x_i-y_i)}^2}i=(\mathrm{0,1,2},...,n)$

$a=\sqrt{({(x_1-x_2)}^2+{(y_1-y_2)}^2+{(z_1-z_2)}^2)}$

$b=\sqrt{({(x_2-x_3)}^2+{(y_2-y_3)}^2+{(z_2-z_3)}^2)}$

$c=\sqrt{({(x_1-x_3)}^2+{(y_1-y_3)}^2+{(z_1-z_3)}^2)}$

∠ABC＝cos^-1[(a²+b²-c²)/(2ab)] 

式中，a代表颈椎骨的关节选取点，b代表胸椎骨的关节选取点，c代表腰椎骨的关节选取点。以图3为例，a代表第2颈椎骨，b代表第5胸椎，c代表第1腰椎骨。 

实际使用中，设定身体前倾10°或后仰5°为正确坐姿，若角度小于80°，则表明人体上身的弯曲度太大，判定为坐姿不规范。 

(2)睡姿识别模块采用深度图像局域梯度特征的方式进行特征的提取。该方法是点特征与梯度特征的良好结合，并且很好地利用深度图像的性质，能够反映特征点周围的局域信息。 

设深度图像为I，任意像素为x，d₁(x)是x点处的深度值(灰度值)。另设集合D为方向集，是平面八等分角的集合， 

$D=\left\{\mathrm{\α}\right|\mathrm{\α}=\frac{\mathrm{t\π}}{4},t\∈Z\}---\left(1\right)$

式中，t为某一时刻参考图像的位置；α代表以原点为起点，参考图像与水平向右方向所呈角度。 

另外，K_α＝(k₁,k₂)代表以原点为起点，与水平向右方向呈角度的偏移向量，满足， 

式中，k1、k2代表α的偏移向量。 

式(1)中：t＝2*(2m+1)(m∈Z)时，k₁＝0,k₂取常数值；t＝2*(2m)(m∈Z)时，组成的向量对，θ＝(k_u,k_v),u,v∈D，共28对。对每个θ，局域梯度特征计算如下， 

f_θ(l,x)＝d₁(x+k_u)-d₁(x+k_v)             (3) 

式中，x为像素点；Ku、Kv为任意设定的2个偏移向量，组成向量对_q；l为物体与感光元件的水平距离；m为物体所拍摄的位置散斑测试图与参考图像的最大相关系数。 

式(3)中：f_θ(l,x)反映像素x周围的梯度信息，以此来表示像素x的特征，既属于一种点特征，也是一种类梯度特征，是二者的良好组合。对于同一个物体，局域梯度特征具有空间位置不变性，即当该物体在场景中自由平移时，其表面上点的特征数值是不变的。特别的，对于球表面绝对不变，即不随球体沿任意方向的旋转而改变。因此该特征能够很好地区分表面凹凸不平的物体。 

(3)运动姿势识别模块是为了实现运动姿势的判断，该模块将每一个姿势的相关关节点取出，每次取两个关节点进行一次角度上的判断，如果同时满足需要的条件，即每两个关节点的角度都在阈值范围内，判断为有效姿势。判断规则为：以第一个点为中心来判断第二个点与其夹角是否在一定的范围内，将 希望满足的角度记为angle，threshold为阈值，此次判断的权重记为weightfactor，此条件可以简单记为： 

condition＝{point one，point two，angle，threshold，weightfactor} 

如举起右手这个姿势，可选择右肩点、右肘点、右手腕点三个关节点，当kinect追踪到骨骼点以后，首先判断右肩点和右肘点。当以右肩点为中心，判断右肘点和夹角是否为0度，卫视识别的准确，假设在25度的范围内就认为这个角度是可以接受的，25度就为阈值，因为举起右手的这个姿势的重点是判断上述三个关节点，因此，这个判断的权重因子记为1，否则记为0，则上述条件记为： 

condition＝{joint type-shoulderright，joint type-elbowright，0,25,1} 

接着再判断右肘点和右手腕点是否能满足90度的要求，阈值仍然取25度。等到这两个条件都满足以后，可以说举起右手这个姿势已经基本判别完毕。为了使误识率降低，可以将左肩点、左肘点、左手腕点也进行一次判断，判断是否处于自然下垂状态。否则，程序会将举起双手也判断为举起右手，因此举起右手姿势满足的四个条件就为： 

condition＝{joint type-shoulderright，joint type-elbowright，0,25,1} 

condition＝{joint type-elbowright，joint type-wristright，90,25,1} 

condition＝{joint type-shoulderleft，joint type-elbowleft，180,25,0} 

condition＝{joint type-elbowleft，joint type-wristleft，180,25,0} 

为了尽可能多地识别不同姿势和方便添加新的姿势，可以创建一个姿势库(存储条件的数组)用来方便存储和录入已有的姿势，将常用的姿势添加进姿势库(数组)中，在程序中调用即可。 

Kinect侦测到特定的姿势后，应用程序如何处理这些信息来完成某个功能， 是与姿势识别同等重要的。如果将kinect看做一个输入设备，姿势识别的目的是触发一系列的操作，为了解决这个问题，可以加入一个计时器，当用户保持特有的姿势超过一定的时间时，触发对应的某个事件，或者当监测到一系列的姿势时，触发某个事件。 

Claims (1)

1.一种基于Kinect传感器的人体姿势矫正装置，其特征在于：所述矫正装置包括骨骼信息采集单元、控制单元和报警单元；

所述骨骼信息采集单元包括Kinect传感器、景深数据获取模块和关节点信息处理模块；景深数据获取模块由红外线发射器、红外线摄影器和景深数据处理器组成，获取测量空间的图像景深数据；Kinect传感器将捕捉到的人体红外信号通过红外线发射器发送至红外线摄影器中，红外线摄影器输出端与景深数据处理器连接，景深数据处理器输出端与关节点信息处理模块连接，关节点信息处理模块与控制单元连接；关节点信息处理模块从该景深数据处理器中提取各关节点信息，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元；

所述控制单元包括姿势判断模块和警报信号发送模块；姿势判断模块由坐姿识别模块、睡姿识别模块和运动姿势识别模块组成；姿势判断模块中的各识别模块输入端与关节点信息处理模块连接，各识别模块的输出端与警报信号发送模块连接；所述控制单元与报警单元连接并对其控制，将判断处理后的关节点信息发送至报警单元；

所述报警单元包括警报信号接收模块、警报模块、警报短信生成模块和3G模块；警报信号接收模块的输入端与控制单元中的警报信号发送模块连接，警报信号接收模块的输出端与警报模块和警报短信生成模块连接，警报短信生成模块再与3G模块连接，3G模块将警报短信发送至通信设备上。