CN106886750A - 基于Kinect的拆卸工具运动轨迹识别方法 - Google Patents

Abstract

本发明涉及基于Kinect的拆卸工具运动轨迹识别方法，首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，通过图像细化获得拆卸工具顶端位置并提取轨迹特征，对基于欧式距离和随机抽样一致性的样本轨迹进行预处理，然后利用隐马尔科夫模型（HMM）训练轨迹样本并实现轨迹的识别。本发明不仅能对拆卸工具进行轨迹提取，还能对提取的运动轨迹进行识别。

Description

基于Kinect的拆卸工具运动轨迹识别方法

技术领域：

本发明涉及一种拆卸工具运动轨迹识别方法，尤其涉及一种基于Kinect的拆卸工具运动轨迹识别方法。

背景技术：

在废旧产品的自动化拆卸中，如何获取人工拆卸的相关信息并进行学习，能大幅度提高拆卸过程的自动化程度。Kinect设备是微软于2010年正式推出，可以获取深度图像和RGB彩色图像数据，同时进行实时的全身骨骼跟踪，并可以进行人体动作姿态识别。目前大部分运动跟踪设备需要穿戴，通过标记来识别，微软开发的Kinect不做任何标定可以直接获取人体姿态动作，满足了便捷性。

Kinect在人体手势识别方面已经有了研究，但在利用拆卸工具的情况下，对拆卸工具的轨迹识别还未见有相关研究。

发明内容：

发明目的：

为了克服现有的手势识别技术中多采用肤色空间进行手势分割、建模，容易受到光照等因素影响的问题，本发明提出了基于Kinect的拆卸工具运动轨迹识别方法，使用Kinect设备能够提供人体深度图像信息，能够在较暗条件下提供人体骨骼图像。

技术方案：

本发明是通过以下技术方案来实现的：

基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

采用Kinect传感器对手持拆卸工具进行轨迹提取并识别的具体步骤为：

(1)轨迹提取及预处理，具体步骤如下：

1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；

2)图像细化：用图像分析方法，得到图像中目标的精细骨架特征；利用图像细化得到前臂及拆卸工具的曲线图；

3)提取拆卸工具顶端三维坐标：对于细化后的图像，依次获取曲线上各像素点的坐标；利用Kinect对人体关节的跟踪，提取出肘关节点的坐标，计算肘关节点的坐标与曲线上其它点坐标的欧式距离，将计算出最大的欧式距离值所对应的点设为拆卸工具顶点；

4)获取拆卸工具轨迹：人拿拆卸工具进行运动，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行步骤2)～步骤3)的操作，获得拆卸工具顶端的位置，提取轨迹特征；

5)轨迹预处理及量化编码：利用欧式距离和随机抽样一致性对样本进行预处理，然后对轨迹进行角度量化编码，将角度值转化为1到16的码值；

(2)轨迹识别：构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

优点及效果：

(1)整个识别过程中的设备，包括Kinect传感器和笔记本电脑，成本低。

(2)利用Kinect可以对拆卸工具运动轨迹进行提取，通过对轨迹样本进行预处理可以提高隐马尔科夫模型的轨迹识别率。

附图说明：

图1为21个人体关节点图。

图2为右前臂及拆卸工具图。

图3为细化规则图。

图4为细化示意图。

图5为轨迹模型图。

图6为干扰点剔除示意图。

图7为方向矢量图。

图8为夹角量化编码图。

具体实施方式：

本发明涉及一种基于Kinect的拆卸工具运动轨迹识别方法，是一种简单、方便的拆卸工具运动轨迹识别方法。首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

采用Kinect传感器对手持拆卸工具进行轨迹提取并识别的具体步骤为：

(1)轨迹提取及预处理，具体步骤如下：

1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；

2)图像细化：用图像分析方法，得到图像中目标的精细骨架特征；利用图像细化得到前臂及拆卸工具的曲线图；

3)提取拆卸工具顶端三维坐标：对于细化后的图像，依次获取曲线上各像素点的坐标；利用Kinect对人体关节的跟踪，提取出肘关节点的坐标，计算肘关节点的坐标与曲线上其它点坐标的欧式距离，将计算出最大的欧式距离值所对应的点设为拆卸工具顶点；

4)获取拆卸工具轨迹：人拿拆卸工具进行运动，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行步骤2)～步骤3)的操作，获得拆卸工具顶端的位置，提取轨迹特征；

5)轨迹预处理及量化编码：由于样本数据里存在干扰点，利用欧式距离和随机抽样一致性对样本进行预处理，然后对轨迹进行角度量化编码，将角度值转化为1到16的码值；

(2)轨迹识别：构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

下面结合附图和实施例对本发明做进一步的说明：

上述基于Kinect的拆卸工具运动轨迹识别方法，具体步骤如下：

(1)轨迹提取及预处理，具体步骤如下：

1)获取工具的深度图像：深度图像包含与场景物体表面距离有关信息的一种图像。与彩色图像相比，深度图像能反映物体表面的三维特征，且不受光照等外在因素的影响。利用Kinect获得的深度图像可以对人体主要部位进行识别，本文主要研究手持拆卸工具轨迹，可以对手持拆卸工具进行识别。加入工具的关节点作为第21个关节点，如图1所示。

由于是手持拆卸工具，为了获取更多的图像信息方便图像处理，利用Kinect提取前臂及拆卸工具的整个深度图像如图2所示。

2)图像细化：由于获取的前臂及拆卸工具深度图像特征不精细，这给拆卸工具顶端坐标获取带来很大难度，因此引入图像分析方法，得到一个精细的骨架特征，这就是图像细化。

图像细化是针对二值图像的细化，对于640x480的二值图像，1代表待细化的像素点区域，0代表背景。对边界点P及其八邻域点P₀，P₁，…，P₆，P₇，如图3所示。

对于边界点P，判断P₀到P₇所对应的像素值，计算八个邻域点的权值S，对S值查表1的编号，若编号对应的值为1，则可以判断P为可删除点。

表1索引表

式中：P_k表示第k个邻域点的像素值；k表示第几个邻域点。

通过上述方法对人体前臂及拆卸工具的二值图像进行细化，如图4所示。

4)人拿拆卸工具进行运动(以圆为例)，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行2)～3)的操作，获得拆卸工具顶端的位置，提取轨迹特征，图5所示的是一个近似圆形的工具轨迹。

5)轨迹预处理及量化编码：样本数据里存在干扰点，所以提出利用欧式距离和随机抽样一致性对样本进行预处理。

对于获取的轨迹特征点的数据集合Q,计算其重心点P(x₀,y₀)。

轨迹特征点集合可表示为：

Q＝{Q_i|Q_i＝(x_i,y_i),i∈[1,n]}

式中：Q_i表示(x_i,y_i)处的位置坐标；n表示特征点数目。

重心点坐标可表示为：

式中：x_i表示点的横坐标；y_i表示点的纵坐标。

计算每个样本里点到重心P(x₀,y₀)的欧式距离d，若d∈(T₁,T₂)，则将d＞T所对应的点剔除；若对式(1)样本，利用随机抽样一致性算法拟合成一条直线L，提取集合Q中每一点到直线L的距离d'，将d‘＞T’所对应的点剔除，图6给出剔除干扰点示意图。

如图6所示，左图A点离重心P(x₀,y₀)的欧式距离太大，作为剔除点；右图B点离拟合的直线的欧式距离太大，作为剔除点。

为了便于对轨迹进行识别，需要对轨迹进行量化编码。对于提取的轨迹，将其深度值Z去掉，以便于量化编码，图7给出求取角度的方向矢量图。

如图7所示，P(x₀,y₀)是轨迹曲线的重心,对于轨迹曲线上任意点A(x₁,y₁),通过几何关系，求出A点所在的角度值θ，其中：

从轨迹曲线上得到一系列角度值，采用16方向链码进行角度量化编码，图8给出里夹角量化编码示意图。

如图8所示，轨迹上每个点都对应一个角度值，根据对应关系将角度值转化为1到16的码值，通过码值对轨迹进行识别。

(2)轨迹识别，利用隐马尔科夫模型(HMM)训练轨迹样本并实现轨迹的识别。

Claims (2)

1.基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

2.根据权利要求1所述的基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：采用Kinect传感器对手持拆卸工具进行轨迹提取并识别，具体步骤为：

(1)轨迹提取及预处理，具体步骤如下：

1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；

2)图像细化：用图像分析方法，得到图像中目标的精细骨架特征；利用图像细化得到前臂及拆卸工具的曲线图；

3)提取拆卸工具顶端三维坐标：对于细化后的图像，依次获取曲线上各像素点的坐标；利用Kinect对人体关节的跟踪，提取出肘关节点的坐标，计算肘关节点的坐标与曲线上其它点坐标的欧式距离，将计算出最大的欧式距离值所对应的点设为拆卸工具顶点；

4)获取拆卸工具轨迹：人拿拆卸工具进行运动，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行步骤2)～步骤3)的操作，获得拆卸工具顶端的位置，提取轨迹特征；

5)轨迹预处理及量化编码：利用欧式距离和随机抽样一致性对样本进行预处理，然后对轨迹进行角度量化编码，将角度值转化为1到16的码值；

(2)轨迹识别：构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。