CN105320937B - 基于Kinect的交警手势识别方法 - Google Patents

基于Kinect的交警手势识别方法 Download PDF

Info

Publication number
CN105320937B
CN105320937B CN201510622967.8A CN201510622967A CN105320937B CN 105320937 B CN105320937 B CN 105320937B CN 201510622967 A CN201510622967 A CN 201510622967A CN 105320937 B CN105320937 B CN 105320937B
Authority
CN
China
Prior art keywords
gesture
standard
identified
node
bone node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510622967.8A
Other languages
English (en)
Other versions
CN105320937A (zh
Inventor
王崇文
黄潜
严舣雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201510622967.8A priority Critical patent/CN105320937B/zh
Publication of CN105320937A publication Critical patent/CN105320937A/zh
Application granted granted Critical
Publication of CN105320937B publication Critical patent/CN105320937B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于Kinect的交警手势识别方法，属于虚拟仿真技术领域。本发明首先使用Kinect采集数据并对数据进行预处理得到交警手势数据；接下来对手势数据进行特征提取，得到各骨骼节点的运动轨迹T；然后根据各骨骼节点的运动轨迹计算每个骨骼节点的权重w；提取预先存储的各标准手势中每个骨骼节点对应的运动轨迹S；接下来采用基于DTW的轨迹比较算法分别计算待识别手势中骨骼节点的运动轨迹T与标准手势中对应骨骼节点的运动轨迹S之间的相似度d；最后根据d值与w值计算待识别手势与各标准手势的近似度δ；并取最小δ对应的标准手势作为识别结果。对比现有方法，本发明具有成本低、准确率高、运算速度快等优点。

Description

基于Kinect的交警手势识别方法
技术领域
本发明涉及一种手势识别技术，特别涉及一种基于Kinect的交通警察手势识别方法，属于虚拟仿真技术领域。
背景技术
目前针对交警指挥手势的识别技术的研究更多的还是停留在传统的图像识别方法阶段，根据手势采集方式的不同可以将其划分成两种，第一种便是通过在交警身上佩戴数据衣或者数据手套等动作捕捉设备来获取手势数据的方式。由于动作捕捉设备能获得精度很高的数据，因此采用这种方式的识别效果很好。然而，这类仪器往往价格也很昂贵，加上这种方式需要在使用者的身上佩戴一定数量的传感器，从而造成使用者的舒适性降低，甚至会影响动作完成的质量。第二种便是通过摄像头等机器视觉设备来获取交警指挥手势数据的方式，然后经过图像分割、特征提取、特征识别等操作完成手势动作的识别。这种方式可以大大减少对交通警察指挥手势的限制，自然性和便携性比更好，但是该方法也有其缺点，例如：手势数据量大，处理方法复杂，并且识别效率、准确率不够高。
发明内容
本发明的目的在于克服现有技术的上述缺陷，提供一种基于Kinect的高效交警手势识别方法。
本发明的目的是通过以下技术方案实现的：
一种基于Kinect的交警手势识别方法，包括以下步骤：
步骤一、使用Kinect采集数据并对数据进行预处理得到交警手势数据；
作为优选，所述预处理包括交警手势分割和数据归一化，具体如下：
(1)交警手势分割具体包括以下步骤：
步骤1：获取人体立正时两手的距离Dstandard，并设置距离阈值Dlimit以及用于标记手势开始结束状态的变量flag；
步骤2：循环处理送达的数据帧，计算每帧两手的距离di，如果di≥Dstandard+Dlimit，则flag设置为true并把该数据帧存入链表LinkedList中；如果di<Dstandard+Dlimit，则把flag设置为false，由此获得交警手势动作数据LinkedList；
(2)数据归一化是通过对交警手势动作数据采用下式对该动作的数据序列元素在x、y和z方向进行归一化处理：
其中，x*，y*，z*为骨骼节点在数据归一化后的坐标值；xmin，xmax分别为该动作中，x坐标的最大和最小值；ymin，ymax分别为该动作中，y坐标的最大和最小值；zmin，zmax分别为该动作中，z坐标的最大和最小值；
步骤二、对手势数据进行特征提取，得到各骨骼节点的运动轨迹T；
作为优选，所述骨骼节点的运动轨迹T采用下式表述：
其中，θi表示骨骼节点i的运动轨迹；t表示该动作的数据帧序号；通过下式计算：
其中，表示t时刻，骨骼节点i到骨骼中肩节点的向量与竖直向下的单位向量之间的夹角；表示t时刻，节点i到中肩节点o的向量；表示竖直向下的单位向量，其值定义为
步骤三、根据各骨骼节点的运动轨迹通过下式计算该手势中每个骨骼节点的权重w：
其中，N表示骨骼节点的个数，表示在手势g中，骨骼节点i的总偏移量，
通过下式计算：
其中，T表示手势g的总帧数，表示手势g中骨骼节点i在t时刻偏转角θ的余弦值；
步骤四、提取预存的各标准手势中每个骨骼节点对应的运动轨迹S；
步骤五、通过下式采用基于DTW的轨迹比较算法分别计算待识别手势中骨骼节点的运动轨迹T＝t1,t2,…,ti,…,tm与标准手势中对应骨骼节点的运动轨迹S＝s1,s2,…,sj,…sn之间的相似度DTW，表示如下：
其中，表示T与S之间的最优匹配，1≤i≤l，1≤j≤l；d＝(i,j)表示T中第i个元素和S中第j元素之间的距离|ti-sj|；
步骤六、根据步骤五得到的DTW值与步骤三得到的待识别手势中各关节点权重w通过下式计算待识别手势与各标准手势的近似度δ：
其中，N表示骨骼节点的数目，表示骨骼节点i在手势g中的权重；δi表示骨骼节点i的DTW值，该值通过步骤五获得；
步骤七、将对应于所有标准手势的δ进行比较，选出最小δ对应的标准手势作为最终的识别结果。
作为优选，所述Kinect采集数据的对象仅包括左手、左肘、右手、右肘4个骨骼节点。
作为优选，在进行步骤五所述DTW值之前，先通过下述加权偏转抽样方法缩小手势比较范围：
(1)根据下式计算待识别手势与各标准手势的加权偏移量aw(g)，并用Taw(g)和Saw(g)分别表示待识别、标准手势的加权偏移量：
(2)将各标准手势的加权偏移量按从小到大的顺序进行排列，然后根据待识别手势的加权偏移量与各标准手势的加权偏移量的大小关系根据以下原则确定手势比较的范围：
√当待测手势的加权偏移量介于两个标准手势的加权偏移量之间时，即Saw(k-1)<Taw(g)<Saw(k)且2≤k≤K，则待识别手势只需要和第k-1个和第k个标准手势进行比较；其中K表示标准手势的数量；
√当待识别手势的加权偏移量和标准手势的加权偏移量相等时，即Taw(g)＝Saw(k)，则待识别手势只需要和第(k-1)、(k)、(k+1)三个标准手势进行比较；
√当待识别手势的加权偏移量大于最大的标准手势的加权偏移量时，即Saw(k)<Taw(g)且k＝K，如果Taw(g)-Saw(k)≤Saw(k)-Saw(k-1)，则待识别手势只需要和第k-1个和第k个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别；
√当待识别手势的加权偏移量小于最小的标准手势的加权偏移量时，即Taw(g)<Saw(k)且k＝1，如果Saw(k)-Taw(g)≤Saw(k+1)-Saw(k)，则待识别手势只需要和第k个和第k+1个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别。
本发明的原理如下：
整个方法流程分为数据预处理、测试轨迹生成、轨迹对比和手势识别四部分。
一、数据预处理
数据预处理包括基于距离截取的手势分割和数据归一化：
手势分割
通过对交警手势动作要领的分析可以发现所有的动作都存在一个共同的特点，即立正姿势是动作完成的信号，左手或者右手的运动是手势动作开始的信号。基于这样的一个特点，本发明通过测量左手与右手之间距离的变化情况来判断是否存在手势动作，以此作为手势分割的依据。图2是停止手势和左转弯待转手势在完成的过程中所采集到的左右手之间距离的变化曲线。
在图2所示的变化曲线中，振幅最小也是曲线最为平缓的地方出现在整个曲线的A、B、C三个位置，此时正好是人体的立正姿势，而在AB和BC之间是整个波形剧烈变动的地方，这时是动作幅度从最小上升到最大，再从最大恢复到最小的一个过程，也就是说，只有在出现类似波动情况的区域才是手势动作出现的地方。因此本发明提出了基于距离波动的分割法，通过该分割法可以将一个手势的序列帧从一系列连续的数据帧中剥离出来，从而进行手势的识别；具体步骤如下：
1)获取人体立正时两手间的距离Dstandard,并设定距离的阈值为Dlimit，以及用于标记手势开始结束的状态变量Flag。
2)循环处理送达的数据帧，计算每帧两手的距离di，如果di≥Dstandard+Dlimit，则把Flag的值设置为TRUE，并把该数据帧存入链表LinkedList空间中；如果di<Dstandard+Dlimit，则把Flag的值设置为FALSE。
数据归一化
经过对交警8种(停止、直行、左转弯、左转弯待转、右转弯、变道、减速慢行、靠边停车)指挥手势的分析总结，可以看出，所有的手势只涉及上半身骨骼节点，且下半身节点的位置变化对手势识别意义不大，考虑到系统计算量、识别效率等问题，本发明选取4个(左手LH、左肘LE、右手RH、右肘RE)骨骼节点作为数据采集的对象。
在进行特征提取前，需要把采集到的数据都映射到一个统一的范围，即数据归一化，以便消除因个人差异或者位置等因素带来的干扰。
交警指挥手势无论是动作的含义还是轨迹，都是相互分离、相互独立，彼此之间没有关联的个体，基于该特点，可在识别阶段以交警指挥手势动作作为识别对象。就一个具体的手势动作而言，它的所有样本数据中的最大最小值是可以确定的，因此可以采用min-max标准化的方法进行数据归一化操作，如公式1所示。
其中，x*，y*，z*为骨骼节点在数据归一化后的坐标值；xmin，xmax分别为该动作中，x坐标的最大和最小值；ymin，ymax分别为该动作中，y坐标的最大和最小值；zmin，zmax分别为该动作中，z坐标的最大和最小值。
二、测试轨迹生成
特征提取
交警手势都是一些较为规范的手势动作，并且严格规定了动作的幅度，因此本发明使用角度的余弦作为交警手势识别的特征。
三维空间中的角度需要由两个向量来确定，本发明中选用的向量一个是骨骼关节点到中肩节点的向量，另一个是竖直向下的单位向量，这两个向量的夹角余弦如公式2所示。
其中，表示t时刻，节点i到中肩节点的向量与竖直向下的单位向量之间的夹角，即关节点i在t时刻的偏转角余弦值；表示t时刻，节点i到中肩节点o的向量；表示竖直向下的单位向量，其值定义为
测试轨迹
由于交警指挥手势动作是一个动态的过程，因此骨骼节点在被捕获的每一帧中都会产生一个角度余弦，由此可以认为该节点全部角度余弦所形成的轨迹就是该节点的运动轨迹，定义公式3如下。
其中，θi表示节点i的运动轨迹；t表示该动作的数据帧序号。
三、轨迹对比
骨骼节点权值
在不同的手势中，每个骨骼节点的运动状态、运动幅度不同，例如，在停止手势中，只有LH、LE这2个骨骼节点在运动，而其他2个骨骼节点始终处于相对静止状态；而在减速慢行手势中只有RH、RE这2个骨骼节点在运动，剩下的2个骨骼节点始终处于相对静止状态；但在右转弯手势中，4个骨骼节点都在运动。由此可见，不同手势不同节点的运动情况是不一样的，每个骨骼节点对于手势轨迹的贡献度也是不同。因此，根据下面公式可以算出每个骨骼节点对于手势轨迹的贡献度，即骨骼节点权值。
其中，N表示骨骼节点的个数，表示为手势g中，骨骼节点i的总偏移量，其可通过如下公式计算：
其中，T表示手势g的总帧数，表示手势g中骨骼节点i在t时刻偏转角θ的余弦值。
标准轨迹
本发明采集8种标准交警手势的运动轨迹Si(1≤i≤8)作为待测手势识别的基准，该轨迹取公式(3)定义的轨迹格式。
确定轨迹比较范围
1)待测、标准手势各个骨骼节点的偏移量
2)加权偏转抽样算法
通过对手势动作的分析发现，有的手势之间存在较大的差异，例如：停止手势和左转弯手势，而它们之间的比较可以认为是无用、浪费资源、影响识别效率的做法。因此，本发明提出了加权偏转抽样的算法来进一步缩小手势比较的范围。依据下面公式可以计算出待测、标准8种手势的加权偏移量，用aw(g)表示，Taw(g)和Saw(g)分别表示待测、标准手势的加权偏移量。
其中，aw(g)表示手势g中N个骨骼节点的偏转角余弦值之和；表示骨骼节点i在手势g中的偏转角余弦值。
将标准手势的加权偏移量按从小到大的顺序进行排列，然后根据待识别手势的加权偏移量与标准手势的加权偏移量的大小关系来确定手势比较的范围。其大小关系主要分为以下几类：
√当待测手势的加权偏移量介于两个标准手势的加权偏移量之间时，即Saw(k-1)<Taw(g)<Saw(k)且2≤k≤K，则待识别手势只需要和第k-1个和第k个标准手势进行比较；其中K表示标准手势的数量；
√当待识别手势的加权偏移量和标准手势的加权偏移量相等时，即Taw(g)＝Saw(k)，则待识别手势只需要和第(k-1)、(k)、(k+1)三个标准手势进行比较；
√当待识别手势的加权偏移量大于最大的标准手势的加权偏移量时，即Saw(k)<Taw(g)且k＝K，如果Taw(g)-Saw(k)≤Saw(k)-Saw(k-1)，则待识别手势只需要和第k-1个和第k个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别；
√当待识别手势的加权偏移量小于最小的标准手势的加权偏移量时，即Taw(g)<Saw(k)且k＝1，如果Saw(k)-Taw(g)≤Saw(k+1)-Saw(k)，则待识别手势只需要和第k个和第k+1个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别。
基于DTW的轨迹比较
本发明是以骨骼节点的运动轨迹作为特征，因此在识别中的最小单位就是某个骨骼节点的运动轨迹。基于这样的前提，做如下假设。
假设待测手势W，其中左手(LH)的骨骼关节点的运动轨迹为T，由m维的向量构成，即T＝t1,t2,…,tm，其中每个分量是LH骨骼节点到中肩节点的向量与竖直向下的单位向量之间的夹角余弦，m是该动作的帧数。另外，标准手势W，其LH的骨骼节点的运动轨迹为S，由n维的向量构成，即S＝s1,s2,…,sn，其中每个分量是LH骨骼节点到中肩节点的向量与竖直向下的单位向量之间的夹角余弦，n是该动作的帧数。由于两者的分量性质相同，因此，可以采用距离来衡量两者之间的相似度。动态时间规整(DTW)[1]利用动态规划算法寻找两条序列的最优匹配，即从待测(T)和标准(S)的骨骼节点轨迹序列中找到一个最优匹配方案，使得对应元素的距离之和最小。
用T＝t1,t2,…,tm表示待测的骨骼节点轨迹，用S＝s1,s2,…,sn表示标准的骨骼节点轨迹，则两个轨迹之间的相似度可以通过下面的式子计算：
其中，表示T与S之间最优的匹配序列，其中 且 d(i,j)表示T中第i个元素和S中第j元素之间的距离|ti-sj|。
四、手势识别
根据步骤三得到的骨骼节点权值、轨迹比较的范围以及基于DTW的轨迹比较算法，从而可以通过下面式子计算出待测手势与标准手势之间的相似度δ：
其中，N表示骨骼节点的数目，表示骨骼节点i在手势g中的权值，δi表示骨骼节点i的DTW值。
最后，将值最小的δ所对应的手势即作为最终的识别结果。
有益效果
在本发明中，首先针对Kinect在数据采集方面的局限提出了基于距离截取和min-max归一化的预处理方案。通过对交警指挥手势的分析，在手势分割上提出了距离波动分割的算法，做到了对手势序列的准确抽取；另外在手势特征提取上，提出了夹角余弦的方法，即骨骼节点到中肩节点的向量与竖直向下的向量的夹角余弦，从而解决了人体身高差异所造成的误差的问题。在手势识别上，采用了改进的DTW算法，并根据交警指挥手势的特点，提出了偏转加权的方法，从而客观的评价了骨骼节点对指挥手势的贡献度；另外，提出了偏转抽样过滤的方法，有效的缩小手势比较的范围。
综上所述，对比现有技术，本发明方法硬件资源投入少、数据量低、处理简单，具有成本低、准确率高、运算速度快等优点。
附图说明
图1为本发明方法基于Kinect的交警手势识别的流程示意图。
图2为停止和左转弯待转手势的两手间距离的变化曲线示意图。
图3为待测手势各骨骼节点的运动轨迹示意图。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例实施的条件：
Kinect设备一台，并设定其彩色图像的分别率为640*480，深度图像的分辨率为320*240；
待识别人正对Kinect，距离Kinect 2米到3米之间。
下面以8个交警手势样本，每个手势样本仅涉及4个关节点为例对本实施例进行详细说明。
下面以身高为174cm的测试者的停止手势为例介绍具体实施步骤如下：
步骤一、基于Kinect采集数据并对数据进行预处理得到待识别交警手势数据；
首先，通过kinect获取测试者立正姿势下两手间的距离Dstandard＝0.4m，Dlimit＝0.08m。根据8种手势的分析，左转弯待转与身体的角度最小(15°)，因此Dlimit的计算方式如下：
然后，循环处理送达的数据帧，计算每帧两手的距离di，如果di≥Dstandard+Dlimit，则把Flag的值设置为TRUE，并把该数据帧存入链表LinkedList空间中；如果di<Dstandard+Dlimit，则把Flag的值设置为FALSE。
最后，根据LinkedList中的数据，分别求出得出X、Y、Z的最大值和最小值，然后利用下面的公式对分割后的数据进行归一化处理：
其中，x*，y*，z*为骨骼关节点在数据归一化后的坐标值；xmin，xmax分别为该动作中，x坐标的最大和最小值；ymin，ymax分别为该动作中，y坐标的最大和最小值；zmin，zmax分别为该动作中，z坐标的最大和最小值；
步骤二、对手势数据通过下式进行特征提取，将各帧数据连起来即可得到各骨骼节点的运动轨迹T，如图3所示；
其中，表示t时刻，节点i到中肩节点的向量与竖直向下的单位向量之间的夹角；表示t时刻，节点i到中肩节点o的向量；表示竖直向下的单位向量，其值定义为
步骤三、通过下式计算交警手势中每个关节点的权重w：
其中，N表示骨骼节点的个数，表示在手势g中，骨骼节点i的总偏移量，可以通过下式计算：
其中，T表示手势g的总帧数，表示手势g中骨骼节点i在t时刻偏转角θ的余弦值。
本例中，待测手势各个骨骼节点的权值如表所示：
骨骼节点 总偏转量 节点权值
left_elbow(LE) 64.7806 0.403
left_hand(LH) 62.7196 0.391
right_elbow(RE) 24.1703 0.151
right_hand(RH) 8.89137 0.055
步骤四、提取预存的标准手势中各骨骼关节点对应的运动轨迹S；
对于标准手势中各骨骼关节点对应的运动轨迹S的获取同待测手势，即同样通过步骤一、二所述过程获取；
步骤五、通过下式分别计算待识别手势中骨骼节点的运动轨迹T＝t1,t2,…,ti,…,tm与标准手势中对应骨骼节点的运动轨迹S＝s1,s2,…,sj,…sn之间的DTW值；
其中，表示T与S之间最优的匹配序列，其中1≤i≤l，且1≤j≤l；d＝(i,j)表示T中第i个元素和S中第j元素之间的距离|ti-sj|；
在手势识别领域，常用的算法有隐马尔科夫模型(HMM)、动态时间规整(DTW)，文献(Josep Maria Camona,Joan Climent.A performance Evaluation of HMM and DTW forGesture Recognition[J].Progress in Pattern Recognition，Image Analysis，Computer Vision,and Applications Lecture Notes in Computer Science,2012,7441:236-243.)专门对这两种算法的识别效果进行了评估，指出了DTW相对于HMM的优点，并建议使用DTW代替HMM。因此，本文采用动态时间规整(Donald J Berndt,James Clifford.Usingdynamic time warping to find patterns in time series[C]//KDD workshop,1994,10(16):359-370.)的方法来计算出T与S之间最优的匹配序列
根据本步骤需要计算待识别手势与所有标准手势对应骨骼节点的相似度，以8种标准手势为例，需要计算8*4＝32个骨骼节点的相似度，计算量比较大，因此可以通过比较待识别手势与所有标准手势的加权偏移量来缩小手势的比较范围，具体如下：
通过下式计算待识别手势与所有标准手势的加权偏移量，用aw(g)表示；用Taw(g)和Saw(g)分别表示待识别手势、标准手势的加权偏移量。
其中，aw(g)表示手势g中N个骨骼节点的偏转角余弦值之和；表示骨骼节点i在手势g中的偏转角余弦值；本例中，N＝4。
通过计算，待测手势的加权偏移量aw(g)＝12000.38，而8种标准手势的加权偏移量如下表所示：
序号 手势 加权偏移量aw(g)
1 停止 11876.43
2 左转弯待转 21454.12
3 右转 54587.72
4 减速 96594.58
5 变道 132075.91
6 直行 146905.33
7 靠边停车 155361.71
8 左转弯 218986.48
根据加权偏转抽样方法所述原则，由于待识别手势的aw(g)值12000.38介于[11876.43,21454.12]之间，所以待识别手势只需和标准的停止手势、左转弯待转手势进行相似度比较即可。
通过本步骤计算得到的待识别手势与标准停止手势、标准左转弯待转手势骨骼节点的相似度如下：
骨骼节点 标准停止手势 标准左转弯待转
left_elbow(LE) 6.847 35.87
left_hand(LH) 6.083 41.94
right_elbow(RE) 1.943 1.902
right_hand(RH) 0.715 0.568
步骤六、根据步骤五得到的DTW值与步骤四得到的各标准手势中对应的关节点权重w通过下式计算待识别手势与各标准手势的近似度δ：
其中，N表示骨骼节点的数目，表示骨骼节点i在待识别手势g中的权重；δi表示骨骼节点i与标准手势的相似度，该值通过步骤五获得；
通过本步骤计算得到的待识别手势与两个标准手势之间的相似度如下表所示：
标准手势 相似度
停止 5.471
左转弯待转 31.173
步骤七、将对应于各标准手势的δ进行比较，选出最小δ对应的标准手势作为最终的识别结果，即停止手势。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于Kinect的交警手势识别方法，其特征在于：包括以下步骤：
步骤一、使用Kinect采集数据并对数据进行预处理得到交警手势g数据；
步骤二、对手势数据进行特征提取，得到各骨骼节点的运动轨迹T；
步骤三、根据各骨骼节点的运动轨迹通过下式计算该手势中每个骨骼节点的权重w：
其中，N表示骨骼节点的个数，表示在手势g中，骨骼节点i的总偏移量，
通过下式计算：
其中，T表示手势g的总帧数，表示手势g中骨骼节点i在t时刻偏转角θ的余弦值；
步骤四、提取预存的各标准手势中每个骨骼节点对应的运动轨迹S；
步骤五、通过下式采用基于DTW的轨迹比较算法分别计算待识别手势中骨骼节点的运动轨迹T＝t1，t2，...，ti，...，tm与标准手势中对应骨骼节点的运动轨迹S＝s1，s2，...，sj，...sn之间的相似度DTW，表示如下：
其中，表示T与S之间的最优匹配，1≤i≤l，1≤j≤l；d＝(i，j)表示T中第i个元素和S中第j元素之间的距离|ti-sj|；
步骤六、根据步骤五得到的DTW值与步骤三得到的待识别手势中各关节点权重w通过下式计算待识别手势与标准手势的近似度δ：
其中，N表示骨骼节点的数目，表示骨骼节点i在手势g中的权重；δi表示骨骼节点i的DTW值；
步骤七、将对应于标准手势的δ进行比较，选出最小δ对应的标准手势作为最终的识别结果。
2.根据权利要求1所述的一种基于Kinect的交警手势识别方法，其特征在于：所述预处理包括交警手势分割和数据归一化，具体如下：
(1)交警手势分割具体包括以下步骤：
步骤1：获取人体立正时两手的距离Dstandard，并设置距离阈值Dlimit以及用于标记手势开始结束状态的变量flag；
步骤2：循环处理送达的数据帧，计算每帧两手的距离di，如果di≥Dstandard+Dlimit，则flag设置为true并把该数据帧存入链表LinkedList中；如果di＜Dstandard+Dlimit，则把flag设置为false，由此获得交警手势动作数据LinkedList；
(2)数据归一化是通过对交警手势动作采用下式对该动作的数据序列元素在x、y和z方向进行归一化处理：
其中，x*，y*，z*为骨骼关节点在数据归一化后的坐标值；xmin，xmax分别为该动作中，x坐标的最大和最小值；ymin，ymax分别为该动作中，y坐标的最大和最小值；zmin，zmax分别为该动作中，z坐标的最大和最小值。
3.根据权利要求1所述的一种基于Kinect的交警手势识别方法，其特征在于：所述关节点的运动轨迹T采用下式表述：
其中，θi表示关节点i的运动轨迹；t表示该动作的数据帧序号；通过下式计算：
其中，表示t时刻，节点i到中肩节点o的向量与竖直向下的单位向量之间的夹角；表示t时刻，节点i到中肩节点o的向量；表示竖直向下的单位向量，其值定义为
4.根据权利要求1所述的一种基于Kinect的交警手势识别方法，其特征在于：所述Kinect采集数据的对象仅包括左手、左肘、右手、右肘4个骨骼节点。
5.根据权利要求1-4任一所述的一种基于Kinect的交警手势识别方法，其特征在于：在进行步骤五所述DTW值之前，先通过下述加权偏转抽样方法缩小手势比较范围：
(1)根据下式计算待识别手势与各标准手势的加权偏移量aw(g)，并用Taw(g)和Saw(g)分别表示待识别、标准手势的加权偏移量：
(2)将各标准手势的加权偏移量按从小到大的顺序进行排列，然后根据待识别手势的加权偏移量与各标准手势的加权偏移量的大小关系根据以下原则确定手势比较的范围：
a)当待测手势的加权偏移量介于两个标准手势的加权偏移量之间时，即Saw(k-1)＜Taw(g)＜saw(k)且2≤k≤K，则待识别手势只需要和第k-1个和第k个标准手势进行比较；其中K表示标准手势的数量；
b)当待识别手势的加权偏移量和标准手势的加权偏移量相等时，即Taw(g)＝Saw(k)，则待识别手势只需要和第k-1、k、k+1三个标准手势进行比较；
c)当待识别手势的加权偏移量大于最大的标准手势的加权偏移量时，即Saw(k)＜Taw(g)且k＝K，如果Taw(g)-Saw(k)≤Saw(k)-Saw(k-1)，则待识别手势只需要和第k-1个和第k个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别；
d)当待识别手势的加权偏移量小于最小的标准手势的加权偏移量时，即Taw(g)＜Saw(k)且k＝1，如果Saw(k)-Taw(g)≤Saw(k+1)-Saw(k)，则待识别手势只需要和第k个和第k+1个标准手势进行比较；否则直接认定待识别手势为非法手势，不做进一步识别。
CN201510622967.8A 2015-09-25 2015-09-25 基于Kinect的交警手势识别方法 Expired - Fee Related CN105320937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510622967.8A CN105320937B (zh) 2015-09-25 2015-09-25 基于Kinect的交警手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510622967.8A CN105320937B (zh) 2015-09-25 2015-09-25 基于Kinect的交警手势识别方法

Publications (2)

Publication Number Publication Date
CN105320937A CN105320937A (zh) 2016-02-10
CN105320937B true CN105320937B (zh) 2018-08-14

Family

ID=55248292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510622967.8A Expired - Fee Related CN105320937B (zh) 2015-09-25 2015-09-25 基于Kinect的交警手势识别方法

Country Status (1)

Country Link
CN (1) CN105320937B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847803B2 (en) 2019-04-17 2023-12-19 Zhejiang University Hand trajectory recognition method for following robot based on hand velocity and trajectory distribution

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809144B (zh) * 2016-03-24 2019-03-08 重庆邮电大学 一种采用动作切分的手势识别系统和方法
CN105893951B (zh) * 2016-03-29 2020-04-10 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106375811A (zh) * 2016-08-31 2017-02-01 天脉聚源(北京)传媒科技有限公司 一种节目的播放控制方法和装置
CN108108018A (zh) * 2017-12-12 2018-06-01 歌尔科技有限公司 基于虚拟现实的指挥训练方法、设备及系统
CN108501954A (zh) * 2018-04-03 2018-09-07 北京瑞特森传感科技有限公司 一种手势识别方法、装置、汽车和存储介质
CN108846387B (zh) * 2018-07-12 2021-08-20 北京航空航天大学 一种交警手势识别方法及装置
CN110197116B (zh) * 2019-04-15 2023-05-23 深圳大学 一种人体行为识别方法、装置和计算机可读存储介质
CN110084192B (zh) * 2019-04-26 2023-09-26 南京大学 基于目标检测的快速动态手势识别系统及方法
CN111240485A (zh) * 2020-01-14 2020-06-05 浙江大学宁波理工学院 基于Kinect骨骼信息的篮球裁判手势识别的方法
CN113642682B (zh) * 2021-10-14 2021-12-31 北京理工大学 一种多车交互环境下的轨迹基元提取与分析方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294996A (zh) * 2013-05-09 2013-09-11 电子科技大学 一种3d手势识别方法
KR101299031B1 (ko) * 2011-12-02 2013-09-16 재단법인대구경북과학기술원 손 제스처 인식 장치 및 그 방법
CN104123007A (zh) * 2014-07-29 2014-10-29 电子科技大学 一种多维加权的3d动态手势识别方法
KR101515845B1 (ko) * 2014-08-07 2015-05-04 스타십벤딩머신 주식회사 동작 인식 방법 및 동작 인식 장치
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299031B1 (ko) * 2011-12-02 2013-09-16 재단법인대구경북과학기술원 손 제스처 인식 장치 및 그 방법
CN103294996A (zh) * 2013-05-09 2013-09-11 电子科技大学 一种3d手势识别方法
CN104123007A (zh) * 2014-07-29 2014-10-29 电子科技大学 一种多维加权的3d动态手势识别方法
KR101515845B1 (ko) * 2014-08-07 2015-05-04 스타십벤딩머신 주식회사 동작 인식 방법 및 동작 인식 장치
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An evaluation of DTW approaches for whole-of-body gesture recognition;Suranjith De Silva等;《ACM》;20141231;第11-21页 *
Feature weighting in fynamic time warping for gesture recognition in depth data;Miguel Reyes等;《IEEE》;20111231;第1182-1188页 *
Robust gesture recognition using feature pre-processing and weighted dynamic time warping;Tarik Arici等;《Multimedia Tools and Application》;20131231;第3045-3062页 *
基于Kinect深度信息的手势识别;郑斌珏;《万方数据》;20140731;第1-52页 *
基于Kinect的手势识别技术研究;刘阳;《万方数据》;20140918;第1-67页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847803B2 (en) 2019-04-17 2023-12-19 Zhejiang University Hand trajectory recognition method for following robot based on hand velocity and trajectory distribution

Also Published As

Publication number Publication date
CN105320937A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN105320937B (zh) 基于Kinect的交警手势识别方法
CN104730511B (zh) 星凸模型下的势概率假设密度多扩展目标跟踪方法
CN101867699B (zh) 基于分块的非特定目标实时跟踪方法
CN102645649B (zh) 基于雷达目标距离像时频特征提取的雷达目标识别方法
CN104050681B (zh) 一种基于视频图像的道路消失点检测方法
CN107358250B (zh) 基于双波段雷达微多普勒融合的人体步态识别方法及系统
CN109737955A (zh) 一种海浪补偿系统的姿态预测方法
CN103927532B (zh) 基于笔画特征的笔迹配准方法
CN102945374B (zh) 一种高分辨率遥感图像中民航飞机自动检测方法
CN106250854A (zh) 基于微多普勒特征和支持向量机的人体步态识别方法
CN110232308A (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN109508740B (zh) 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN106646339A (zh) 一种无线位置指纹室内定位中在线匹配定位方法
CN102254183A (zh) 一种基于AdaBoost算法的人脸检测方法
CN109242010A (zh) 一种稀疏学习rcs序列特征提取方法
CN109975880A (zh) 一种基于特征矢量的定向方法、装置及系统
CN106487026B (zh) 一种基于广域测量信息的同调机群快速识别方法
CN105445699A (zh) 一种非视距误差消除的测距方法及系统
CN110388926A (zh) 一种基于手机地磁和场景图像的室内定位方法
CN105894020B (zh) 基于高斯模型的特定目标候选框生成方法
CN108573280A (zh) 一种无人船自主通过桥梁的方法
CN109086667A (zh) 基于智能终端的相似活动识别方法
CN106199544B (zh) 基于核鉴别局部切空间排列的雷达目标距离像识别方法
CN104091150A (zh) 一种基于回归的人眼状态判断方法
CN110059292A (zh) 一种空间目标姿态识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Chongwen

Inventor after: Huang Qian

Inventor after: Yan Yiwen

Inventor before: Wang Chongwen

Inventor before: Huang Qian

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180814

Termination date: 20190925