CN104777775A - 一种基于Kinect装置的两轮自平衡机器人控制方法 - Google Patents

Abstract

本发明公开了一种基于Kinect装置的两轮自平衡机器人控制方法，涉及机器人控制领域，具体应用在两轮自平衡机器人运动控制和人机交互系统。本发明利用Kinect与DTW手势识别算法设计了一种利用人类自然手势控制两轮自平衡机器人运动行为的系统。系统包括：图像采集模块，图像处理模块，无线通信模块，运动控制模块和运动执行模块。特别是在系统控制方法设计基础上使用Kinect传感器和DTW手势识别算法，实现人与两轮自平衡机器人的自然交互控制。本发明具有良好的鲁棒性和容错性。

Description

一种基于Kinect装置的两轮自平衡机器人控制方法

技术领域

本发明涉及机器人控制领域，具体应用在两轮自平衡机器人的人机交互系统上。

背景技术

当前计算机的两个发展方向是计算机系统的拟人化(虚拟现实)和微型化(智能手机)。利用人的感觉和动作(如语言、手写、姿势、视线、表情等),以并行、非精确的方式与计算机环境进行交互,可以大大提高人机交互的效率和自然性。近年来多通道交互技术发展迅速,它满足“以人为中心”的自然交互准则,同时也推动了互联网时代信息产业的快速发展。多通道交互技术通过多种通道和计算机通信,其中通道包含了操作者能够表达意图、执行动作和感知反馈的各种通信方法,如语言、面部表情、手动、唇动、头动、手势、人体姿势、触觉、味觉和嗅觉等。该技术目前己有不少成熟产品,如手写识别、数字墨水、笔式交互、语音识别、语音合成等。此外,很多相关的研究也取得很明显的进展,如手势识别及合成、视线跟踪、面部表情识别等。

微软公司推出的Kinect体感设备在人体跟踪以及姿态估计方面有着出色的表现。作为新一代自然人机交互技术的典范,Kinect实现了用户通过语音和手势等行为与计算机进行更自然的交互。为了发掘Kinect的更大潜力,微软公司推出了Kinect forWindows SDK开发工具包。配合此工具包可以利用Kinect的体感技术,获取的人体深度信息,通过识别人体动作和手势,来理解操作者的意图,从而利用计算机对机器人进行有效的操作。

近年来两轮自平衡机器人不仅具有娱乐功能,还能够代替人高效地完成许多工作。随着机器人技术的发展,两轮自平衡机器人或相应的智能产品越来越多地走进家庭、工厂和企业,为人类提供各种娱乐、生产等服务,使得人与机器人的交互活动变得越来越普遍，因此能够更加自然有效的对两轮自平衡机器人进行运动控制显得越来越重要。

目前手势识别方法主要包含动态时空规整、动态规划算法和模板匹配方法。模板匹配算法是其中最为简单的实现,即将已经建好的模板与每个动作的特征数据进行比较,根据两者的相似度来判别手势。计算代价低是模板匹配算法的优点,其缺点是容易受到时间间隔变化的影响。DTW是在动态规划基础上发展起来的一种很好的非线性时间规整方法。它具有非线性归一化效果的模式匹配算法,釆用对特征信号进行伸长或缩短直至与标准模式的长度一致,以使得与模板更好的匹配。其优点是步骤简单,计算量少,对于单一动作序列的识别比较出色。在现有的手势识别技术中,多采用肤色空间进行手势分割、建模,这种方法容易受到光照等因素的影响。而本文使用的Kinect设备能够提供人体深度图像信息,能够在黑暗的条件下提供人体骨賂图像,所以本文所使用的手势识别方法不受光照条件影响,应用性较强。

发明内容

为了能够更自然有效地控制两轮自平衡机器人的运动行为，本发明提出了基于Kinect装置的一种两轮自平衡机器人运动控制方法，使人可以利用简单的肢体动作来控制两轮自平衡机器人的运动行为。

本发明采用如下技术方案：

基于Kinect装置的两轮自平衡机器人控制系统，系统包括：图像采集模块，图像处理模块，无线通信模块，运动控制模块和运动执行模块。

所述图像采集模块包括Kinect的一个RGB摄影头，一对3D深度摄像头及一个转动马达,图像采集模块具备即时动态捕捉、影像传输和多人互动的功能；Kinect机身上的3个镜头中位于中间的是RGB彩色摄像头,一侧放置为红外线发射器镜头,另一侧放置为红外线CMOS摄像头；红外线发射器镜头和红外线CMOS摄像头构成了三维深度图像传感器；三维深度图像传感器用来获取操作者的动作,而RGB彩色摄像头则是用来辨别操作者的身份；位于Kinect底座的是一个马达,所述马达能上下转动，以便于扩大Kinect的视角范围；

所述图像处理模块首先通过USB线缆接收来自图像采集模块即Kinect采集到的图像信息，以Kinectforwindows SDK中提供的人体骨豁模型为基础通过Kinectforwindows SDK获得骨骼模型中20个节点的三维坐标信息；选择这20个骨豁节点中的4对节点作为动态手势的特征处理,分别为左手节点、右手节点、左手手腕节点、右手手腕节点、左手手肘节点、右手手肘节点、左肩节点和右肩节点，获取能够代表手势的特征向量；最后利用DTW算法对获取的手势特征向量与模板库中的样本进行对比,所述的对比方法为在DTW算法中,定义特征向量空间T,其中：

f：T×T→R≥0

己知长度为N的时间序列X＝(x₁,x₂,……,x_N)和长度为M的时间序列Y＝(y₁,y₂,……,y_M),其中N和M不一定相等。定义一个时间规整函数f来描述两个时间序列的相似性,f(x,y)即两个特征向量的距离。f的值为大于0的实数，当两个时间序列的相似度越高时,这两个特征向量的距离越小,f(x,y)的值越小；反之，当两个时间序列的相似度越低时,这两个特征向量的距离越大,f(x,y)的值越大。计算距离结果最短的样本手势为待识别手势的识别结果；

所述无线通信模块由两块nRF24L01无线通信芯片组成，其中一块芯片和控制系统上位机即PC机串口相连，接收发送来自计算机对手势的处理结果指令，另一片和两轮自平衡机器人的数字处理器相连，用以接收上位机发送的控制指令；通过串口通信中断程序实现上位机和下位机的无线通信功能；所述的上位机为PC机，所述的下位机为机器人数字信号处理器；

所述运动控制模块包括运动姿态控制模块、左右轮运动量控制模块、左右轮电机和电源，运动姿态控制模块由数字信号处理器采集微型姿态方位传感器MTI后通过PID控制实现；左右轮转动量则通过PWM波输出和电机驱动器完成；电源由电池、电源分配器和各级开关组成，在正常运行状态下，锂电池组输出22.2V直流电，其中一部分为左右轮电机供电，另一部分经过电源适配器降压为5V和12V直流输出，分别为系统中相应电子设备供电。

所述运动执行模块，包括两组直流电机及其伺服系统构成,是两轮自平衡机器人的动力装置,两轮自平衡机器人由两个直流电机同轴差分驱动，每一个主动轮采用一台直流电机独立驱动，通过数字信号处理器控制PWM波的占空比来调节相应驱动轮的转速,达到调速的目的，从而实现运动功能。

所述基于Kinect装置的两轮自平衡机器人控制系统，所述的模式识别过程即基于DTW的动态手势识别包括以下三个步骤:

步骤S1：训练动态手势样本，建立动态手势模板库；

输入手臂上抬、下降、左摆、右摆、放平作为手势动作样本，确定为一个要识别的动态手势,将这个手势进行预处理；所述的预处理过程为利用Kinect获取骨骼模型中20个节点的三维坐标信息，选择这20个骨骼节点中的四对节点作为动态手势的特征处理对象，分别为左右手节点、左右手腕节点、左右手肘节点和左右肩节点，此时能代表一个动态手势的特征向量可以表示为：

V_n＝(x₁，y₁，z₁，……x₈，y₈，z₈)

其中n为一个手势所包含的特征向量个数。在实际的动态手势识别过程中,肩部的移动相对比较微小,因此肩部的位置可以被用作基准点的计算。定义基准点B(x_b，y_b，z_b)为肩部连线的中心,其中：

$B(x_b,y_b,z_b)=\frac{1}{2}(x_7+x_8,y_7+y_8,z_7+z_8)$

在计算出基准点之后,定义

$V^{\′}=\frac{|V-B|}{|L-R|}$

其中B为计算得到的基准点在原有坐标系中对应的向量；V为归一化前骨骼节点对应的向量；V′为归一化后该骨骼节点对应的向量；L为左肩对应的向量；R为右肩对应的向量。由于左肩和右肩的相对固定性,釆用左肩和右肩的距离作为标准长度。通过以上方式就可以将原有的坐标系转换成以双肩中心点为原点的双手坐标系,其中基准点B作为双手坐标系原点。这样,就消除了人体尺寸和距离Kinect远近对特征向量所产生的变化，从而得到预处理后的手势特征向量；将这个特征向量作为一个参考模板存放在模板库中,设这个手势模板为L＝{L(1),L(2),……,L(m),……,L(M)},其中m为训练手势帧的时序标号,M为该手势模板所包含的手势顿的总数,L(m)为第m帧的模板手势特征向量；按照上述方法,依次训练要识别的模板手势,将模板手势录入到模板库中,从而建立起动态手势模板库；

步骤S2：计算待识别手势序列和样本库中任意模板间的距离；

从Kinect摄像头中输入待识别手势,对这些进行手势预处理获取待识别手势的特征向量；将此向量作为一个测试模板,设为T＝{T(1),T(2),……,T(n),……,T(N)},其中n为测试手势倾的时序标号,N为该测试模板所包含的手势帧总数,T(n)为第n帧的测试手势特征矢量，利用DTW算法计算出测试模板和手势模板之间的最短距离，用D[T,L]表示；

步骤S3：与样本库中的手势对比,求出最短路径,识别手势；

当步骤S2得到距离越短时,相似度越高；当距离越长时,相似度越低,从而得到全局最优路径,达到识别手势的目的；在计算距离时须保证参考模板与测试模板帧长、特征向量和采样时间相同。

所述基于Kinect的两轮自平衡机器人控制系统，其特征在于：所述的无线通信模块采用nRF24L01芯片，通信距离理论值为150m，数据传输速度为2M，工作在2.4GHz～2.5GHz的ISM频段。

本发明可以取得如下有益效果：

一、本方法为两轮自平衡机器人的运动控制及人机交互系统的实现提供了一套完整有效的解决方案；

二、本方法利用Kinect传感器，可以适应更多种图像信息的采集环境，系统鲁棒性更强；

三、手势识别方法中利用了DTW算法，能够使Kinect对动态手势识别效果更显著；

四、本方法使用的无线通信模块nRF24L01通信距离理论值为150m，数据传输速度为2M，满足该无线通信系统的要求。

五、手势识别模式只需机器人数字信号处理器进行开关切换，方便操控。

从上述控制方法可以看出，通过此方法，操作者可以通过自然的人类基本手势对两轮自平衡机器人进行有效的运动行为控制。

附图说明

图1是基于Kinect装置的两轮自平衡机器人控制方法的流程图；

图2是本发明的系统层次结构图；

图3是本发明的结构示意图；

图4是本发明中用到的Kinect结构示意图；

图5是本发明的手势识别系统示意图；

图6是本发明中使用的无线通信模块nRF24L01的电路图；

图7是本发明的物理实验示意图。

具体实施方式

下面结合附图和具体实施方式对于本发明作进一步的说明：

基于Kinect装置的两轮自平衡机器人控制方法，如图1所示，该方法包括以下几个步骤：

步骤1：将Kinect的USB接口电缆和PC机的USB接口连接并配置好软件运行环境；

步骤2：打开VS2010编译环境，运行已编译成功的图像处理主程序；

步骤3：将两轮自平衡机器人上电，并将机器人控制程序通过调试软件和USB数据线下载到控制系统的数字信号处理器中；

步骤4：通过Kinect采集手势信息并进行预处理；

步骤5：计算机对预处理完成的手势信息运用DTW算法进行模式分类，并与模板库的手势样本对比得出手势识别结果；

步骤6：将识别出来的手势信息作为机器人运行指令通过无线通信模块发送给两轮自平衡机器人的数字信号处理器。

从上述控制方法可以看出，通过此方法，操作者可以通过自然的人类基本手势对两轮自平衡机器人进行有效的运动行为控制。

基于Kinect装置的两轮自平衡机器人控制方法如图2所示，主要分为Kinect层、手势识别层和应用层，Kinect层主要采集到骨骼节点信息、深度图像信息和彩色图像信息；手势识别层主要利用DTW算法进行手势动作的识别；应用层则利用无线通信模块和机器人相连接进行机器人控制同时显示出彩色的图像。本发明的整体系统结构如图3所示，主要包括Kinect图像采集模块1、PC机图像处理模块2、无线通信模块3、运动控制模块4、MTI微型姿态方位传感器5以及运动执行模块6，Kinect图像采集模块和PC机图像处理模块相连接，进行手势图像的处理和识别，无线通信模块作为一个枢纽进行上位机和下位机之间的无线通信，运动控制模块和运动执行模块作为两轮自平衡机器人的运动执行单元，MTI微型姿态传感器与运动控制模块相连，提供姿态信号，从而保持机器人的平衡。

一、Kinect传感器

本发明的图像采集设备是微软公司的Kinect传感器，如图4所示，Kinect的3个镜头中位于中间的是比较常见的RGB彩色摄像头,左边的镜头为红外线发射器,右边的镜头为红外线CMOS摄像头。左右两侧的镜头能够实时提供人体骨骼模型,在某一时刻可以获取骨豁节点的位置,进而得到骨豁节点之间的夹角和相对位置。若在连续的一段时间内,则可以获得骨骼节点的运动向量。获取到的这些信息数据可以用来识别人体姿势和手势。转动马达只能上下转动而不能左右转动，使用时应避免左右扭动造成损坏。

二、DTW手势识别算法

基于DTW的动态手势识别过程如图5所示:首先通过Kinect获取人体骨骼模型,在其中找出动态手势所涉及到的骨豁节点，然后进行动态手势的预处理,获取能够代表手势的特征向量，最后利用DTW算法对获取的手势特征向量与模板库中的样本进行匹配,计算出最短路径,最终匹配路径最短的手势为待识别手势。

DTW手势识别算法主要有以下几个步骤：

(1)训练动态手势样本，建立动态手势模板库；

输入一些特定的肢体和手势动作作为样本，确定为一个要识别的动态手势,将这个手势进行预处理,获取手势的特征向量。将这个特征向量作为一个参考模板存放在模板库中,设这个手势模板为L＝{L(1),L(2),……,L(m),……,L(M)},其中m为训练手势帧的时序标号,M为该手势模板所包含的手势顿的总数,L(m)为第m帧的模板手势特征向量。按照上述方法,依次训练要识别的模板手势,将模板手势录入到模板库中,从而建立起动态手势模板库。

(2)计算待识别手势序列和样本库中任意两点间的距离；

从Kinect摄像头中输入待识别手势,对这些手势进行预处理获取待识别手势的特征向量。将此向量作为一个测试模板,设为T＝{T(1),T(2),……,T(n),……,T(N)},其中n为测试手势帧的时序标号,N为该测试模板所包含的手势帧总数,T(n)为第n帧的测试手势特征矢量，利用DTW算法计算出测试模板和手势模板之间的最短距离，用D[T,L]表示。

(3)与样本库中的手势对比,求出最短路径,识别手势。

当步骤(2)得到距离越短时,相似度越高；当距离越长时,相似度越低,从而得到全局最优路径,达到识别手势的目的。在计算距离时须保证参考模板与测试模板帧长、特征向量和采样时间相同。

三、nRF24L01无线通信模块

nRF24L01是由NORDIC生产的工作在2.4GHz～2.5GHz的ISM频段的单片无线收发器芯片。它包括：频率发生器、增强型“SchockBurst”模式控制器、功率放大器、晶体振荡器、调制器和解调器。本发明应用的nRF24L01无线模块内部电路如图6所示，该模块有收发模式、配置模式、空闲模式和关机模式四种工作模式。输出功率频道选择和协议的设置可以通过SPI接口进行设置以此完成无线数据传送工作。当工作在发射模式下发射功率为0dBm时电流消耗为11.3mA，接收模式时为12.3mA，掉电模式和待机模式下电流消耗更低。

在本发明物理实验中，以实验室为实验环境，机器人可以正确无误地按照实验者手势指令进行运动，如图7所示。

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.基于Kinect装置的两轮自平衡机器人控制系统，其特征在于：系统包括：图像采集模块，图像处理模块，无线通信模块，运动控制模块和运动执行模块；

所述图像采集模块包括Kinect的一个RGB摄影头，一对3D深度摄像头及一个转动马达,图像采集模块具备即时动态捕捉、影像传输和多人互动的功能；Kinect机身上的3个镜头中位于中间的是RGB彩色摄像头,一侧放置为红外线发射器镜头,另一侧放置为红外线CMOS摄像头；红外线发射器镜头和红外线CMOS摄像头构成了三维深度图像传感器；三维深度图像传感器用来获取操作者的动作,而RGB彩色摄像头则是用来辨别操作者的身份；位于Kinect底座的是一个马达,所述马达能上下转动，以便于扩大Kinect的视角范围；

所述图像处理模块首先通过USB线缆接收来自图像采集模块即Kinect采集到的图像信息，以Kinect for windows SDK中提供的人体骨豁模型为基础通过Kinect for windows SDK获得骨骼模型中20个节点的三维坐标信息；选择这20个骨豁节点中的4对节点作为动态手势的特征处理,分别为左手节点、右手节点、左手手腕节点、右手手腕节点、左手手肘节点、右手手肘节点、左肩节点和右肩节点，获取能够代表手势的特征向量；最后利用DTW算法对获取的手势特征向量与模板库中的样本进行对比,所述的对比方法为在DTW算法中,定义特征向量空间T,其中：

f：T×T→R≥0

己知长度为N的时间序列X＝(x₁,x₂,……,x_N)和长度为M的时间序列Y＝(y₁,y₂,……,y_M),其中N和M不一定相等；定义一个时间规整函数f来描述两个时间序列的相似性,f(x,y)即两个特征向量的距离；f的值为大于0的实数，当两个时间序列的相似度越高时,这两个特征向量的距离越小,f(x,y)的值越小；反之，当两个时间序列的相似度越低时,这两个特征向量的距离越大,f(x,y)的值越大；计算距离结果最短的样本手势为待识别手势的识别结果；

所述无线通信模块由两块nRF24L01无线通信芯片组成，其中一块芯片和控制系统上位机即PC机串口相连，接收发送来自计算机对手势的处理结果指令，另一片和两轮自平衡机器人的数字处理器相连，用以接收上位机发送的控制指令；通过串口通信中断程序实现上位机和下位机的无线通信功能；所述的上位机为PC机，所述的下位机为机器人数字信号处理器；

所述运动控制模块包括运动姿态控制模块、左右轮运动量控制模块、左右轮电机和电源，运动姿态控制模块由数字信号处理器采集微型姿态方位传感器MTI后通过PID控制实现；左右轮转动量则通过PWM波输出和电机驱动器完成；电源由电池、电源分配器和各级开关组成，在正常运行状态下，锂电池组输出22.2V直流电，其中一部分为左右轮电机供电，另一部分经过电源适配器降压为5V和12V直流输出，分别为系统中相应电子设备供电；

所述运动执行模块，包括两组直流电机及其伺服系统构成,是两轮自平衡机器人的动力装置,两轮自平衡机器人由两个直流电机同轴差分驱动，每一个主动轮采用一台直流电机独立驱动，通过数字信号处理器控制PWM波的占空比来调节相应驱动轮的转速,达到调速的目的，从而实现运动功能。

2.基于Kinect装置的两轮自平衡机器人控制方法，其特征在于：模式识别过程即基于DTW的动态手势识别包括以下三个步骤:

步骤S1：训练动态手势样本，建立动态手势模板库；

输入手臂上抬、下降、左摆、右摆、放平作为手势动作样本，确定为一个要识别的动态手势,将这个手势进行预处理；所述的预处理过程为利用Kinect获取骨骼模型中20个节点的三维坐标信息，选择这20个骨骼节点中的四对节点作为动态手势的特征处理对象，分别为左右手节点、左右手腕节点、左右手肘节点和左右肩节点，此时能代表一个动态手势的特征向量可以表示为：

V_n＝(x₁，y₁，z₁，......x₈，y₈，z₈)

其中n为一个手势所包含的特征向量个数；在实际的动态手势识别过程中,肩部的移动相对比较微小,因此肩部的位置可以被用作基准点的计算；定义基准点B(x_b，y_b，z_b)为肩部连线的中心,其中：

$B(x_b,y_b,z_b)=\frac{1}{2}(x_7+x_8,y_7+y_8,z_7+z_8)$

在计算出基准点之后,定义：

$V^{\′}=\frac{|V-B|}{|L-R|}$

其中B为计算得到的基准点在原有坐标系中对应的向量；V为归一化前骨骼节点对应的向量；V′为归一化后该骨骼节点对应的向量；L为左肩对应的向量；R为右肩对应的向量；由于左肩和右肩的相对固定性,釆用左肩和右肩的距离作为标准长度；通过以上方式就可以将原有的坐标系转换成以双肩中心点为原点的双手坐标系,其中基准点B作为双手坐标系原点；这样,就消除了人体尺寸和距离Kinect远近对特征向量所产生的变化，从而得到预处理后的手势特征向量；将这个特征向量作为一个参考模板存放在模板库中,设这个手势模板为L＝{L(1),L(2),……,L(m),……,L(M)},其中m为训练手势帧的时序标号,M为该手势模板所包含的手势顿的总数,L(m)为第m帧的模板手势特征向量；按照上述方法,依次训练要识别的模板手势,将模板手势录入到模板库中,从而建立起动态手势模板库；

步骤S2：计算待识别手势序列和样本库中任意模板间的距离；

从Kinect摄像头中输入待识别手势,对这些进行手势预处理获取待识别手势的特征向量；将此向量作为一个测试模板,设为T＝{T(1),T(2),……,T(n),……,T(N)},其中n为测试手势倾的时序标号,N为该测试模板所包含的手势帧总数,T(n)为第n帧的测试手势特征矢量，利用DTW算法计算出测试模板和手势模板之间的最短距离，用D[T,L]表示；

步骤S3：与样本库中的手势对比,求出最短路径,识别手势；

当步骤S2得到距离越短时,相似度越高；当距离越长时,相似度越低,从而得到全局最优路径,达到识别手势的目的；在计算距离时须保证参考模板与测试模板帧长、特征向量和采样时间相同。

3.根据权利要求1所述基于Kinect的两轮自平衡机器人控制系统，其特征在于：所述的无线通信模块采用nRF24L01芯片，通信距离理论值为150m，数据传输速度为2M，工作在2.4GHz～2.5GHz的ISM频段。