CN103955215A - 基于手势识别的自动避障小车及其控制装置和控制方法 - Google Patents

Abstract

基于手势识别的自动避障小车，涉及人机交互智能图像信息处理，属于基于深度相机非接触式三维虚拟空间领域和双目立体视觉领域，其车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，两个小车后轮分别连接着一个精密直流电机。上述自动避障小车的控制装置，其深度体感相机连接上位机，上位机设置串口蓝牙和一个无线wifi模块。本发明通过手势控制小车并绘制地图，在自动运行模式下实现小车自动避障，利用自动控制、网络通信和图像处理技术，操作方便，适合在危险环境下检查周围环境是否有危险和在障碍物多的地形下进行搬运工作。

Description

基于手势识别的自动避障小车及其控制装置和控制方法

技术领域

本发明涉及人机交互智能图像信息处理，属于基于深度相机非接触式三维虚拟空间领域和双目立体视觉领域，具体涉及一种基于手势识别的自动避障小车及其控制装置和控制方法。

背景技术

在现在计算机普遍智能化的时代，人机交互智能图像信息处理已成为计算机视觉领域的重要应用。自上世纪90年代PC出现以来，人机交互这门交叉综合学科，已成为用户体验的主流研究技术，体感交互模式的出现让人机交互技术进入一个新时代。随着用户对层出不穷的移动智能设备的刚性需求，智能图像处理愈趋向庞大复杂的数据处理及多功能应用发展，由此为人机交互平台带来了更大的挑战与机遇。现在，计算机处理的交互信息量越来越庞大，促使日渐高效、稳定、实时的新型交互技术飞速发展。现代交互技术主要分为语言识别技术和身体语言识别技术，其中手势识别是身体语言识别技术的重要分支技术。

随着科学技术的发展，移动机器人的应用领域越来越广泛，同时对人类生产和生活带来了重大影响。视觉作为机器人获取周围环境信息的重要手段，以信息量大为特点，对移动机器人自动导航和自动避障具有重要意义。避障小车有通过类似红外传感器实现硬件避障，但是这种避障方式只能在近距离避障，而且判断不准确。而双目视觉通过视差获取周围环境的三维点云，可以精确得到障碍物离小车的距离，障碍物的左右边距，可以为自动导航和自动避障提供很好的可行性方案。

发明内容

本发明所要解决的技术问题是提供一种基于深度相机的手势控制小车并绘制地图，并能在自动运行模式下实现小车自动避障的算法及装置，该装置能有效以多种操作方式控制小车，并能自动避开障碍物，识别出地形并绘制地图。该装置利用自动控制技术、网络通信技术、图像处理技术，操作方便，且能绘制出地图和小车此时在地图中的坐标位置，适合在危险环境下检查周围环境是否有危险和障碍物多的地形下搬运工作。

基于上述，本发明的第一个目的是提供一种基于手势识别的自动避障小车。

本发明的基于手势识别的自动避障小车，包括车体和轮子，其车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，两个小车后轮分别连接着一个精密直流电机。

小车上的无线wifi模块将摄像头获取的视频信号，通过编码发送到上位端，上位机通过wifi热点链接到wifi模块，上位机再去解码，并读取视频，再做后面的视频处理过程。

由于有两个wifi模块，有两个热点，所以通过网口线，将两个wifi模块连起来，这样上位机只需连接一个热点，就可获取两路视频信号。这种方案有利于简化结构。

小车上除了两个摄像头，两个wifi模块，还有一个蓝牙模块，负责小车运动控制信号的传输。

两个摄像头是分开的，他们各自获取各自的视频图像，通过图像处理的方法，具体就是双目视觉的方法，获取深度图，这个深度图是实时移动的，因为小车在移动，获取的深度图是为了做自动避障。

本发明中，单片机优选Atmega128 AVR单片机。

本发明的第二个目的是提供上述自动避障小车的一种控制装置。

上述自动避障小车的控制装置，其深度体感相机连接上位机，上位机设置串口蓝牙和一个无线wifi模块。

作为优选，深度体感相机选用Kinect体感相机。

本发明的第三个目的是提供上述自动避障小车的一种控制方法。

上述自动避障小车的控制方法，使用上述所述的控制装置，在上位机中配置opencv和openni库，上位机安装地图绘制算法、手势识别算法、自动避障算法，手势识别算法存储手掌平面参数，在上述所述的自动避障小车下位机中安装自动避障算法，然后按照下述步骤：

步骤1）：将上位机的蓝牙与车体蓝牙配对，连接上位机的无线wifi与车体的无线wifi；

步骤2）：发出手势。

本发明所述手势包括：

手势5：为停车手势，表示小车立即停止，等待新的手势；

手势0：为进入手动控制模式手势，移动该手势到合适的位置，小车做相应的移动；同时也是进入手势控制状态的手势，只有检测到手势0后，手势5或者手势2才会进入算法中进行判断； 

手势2：为进入自动控制模式手势，小车按照程序自行移动。

所述手势识别算法中，手势通过kinect获取，在上位机中获取到图像后，通过openni和opencv结合的方法，具体通过深度阈值获取手势（这是openni的功能），通过手势图像中凹凸点个数和最小hu矩方法，匹配手势（这是用到了opencv的方法），手势识别完以后，只需要发出手势对应的蓝牙输出信号给下位机控制即可。

当手势0进行移动，并超过移动最小距离3cm时，即进行判断移动方向，根据移动方向，蓝牙输出对应的控制信号。移动方向有以下四种：前进，后退，左拐，右拐。当手势偏离这几个正对方向时，计算向哪边的趋势多，并输出对应控制信号。当检测到手势5时，小车立即停止。也可通过手势5移动手到适合kinect检测的位置。当检测到手势2时，小车进入自动控制模式，小车通过自动避障，进行运动。当再次检测到手势5时，停止自动控制模式，并进入手动控制模式。

这里，手势深度信息的阈值范围控制在70cm～80cm；

利用三维点云的计算公式得到手势点云，然后对手势点云做数据筛选；

具体过程是：通过深度体感相机获取实时的深度图像和RGB 彩色图像，利用Openni对图像中人体进行用户定位和骨骼跟踪，根据人体跟踪的骨骼关节信息提取出目标手势的关节点；

对手关节点进行跟踪预测定位。设定以手关节点为中心的合适手势区域范围，同时设定手势深度信息的阈值，结合场景深度图像将手势从背景图像中分割出来，实时得到目标手势的深度信息和RGB彩色信息。

对分割后的手势深度信息和RGB彩色信息，利用三维点云的计算公式得到手势点云，计算后的点云数据只包括点的三维坐标位置信息，然后对手势点云做数据筛选，滤除掉手势中的噪声干扰点。

根据手势几何模型，找到手势的最外轮廓，对比保存的手掌平面参数，利用最小hu矩法计算提取出手指轮廓的hu矩，将计算出的hu矩与模板的hu矩进行匹配，识别最相近的手势hu矩值。

所述地图绘制算法中，下位机的单片机通过外部中断，获取小车后轮转动产生的脉冲，并通过定时中断判断小车脉冲数是否到达指定脉冲；

小车用红点标注，地图原点为小车初始放置的位置，上位机检测到更新数据后重新标注小车红点坐标；

上位机读取下位机传送的电脑视频流，并做双目视差处理，获取图像视差，用视差图得到空间点云，将空间点云中低于15cm的点云设为地面，高于15cm低于100cm的物体作为障碍物；

判别y轴低于15cm的为地面，提取从地面点集的外轮廓进行地图绘制，即为小车经过的外界地形。

具体过程是：通过小车后轮两个精密直流电机，可以精确控制小车走的距离，量出小车轮子的直径（小车轮子直径是通过买来时厂家提供的技术参数获得），由此可以精确计算小车自行距离和转弯角度。

由直流电机技术和小车后轮参数可知，小车后轮转一圈，直流电机会产生650个脉冲，所以要使小车转的角度对应的脉冲数=θ*360/650，小车直行的距离d=脉冲数*2п*R/650。下位机的AVR单片机通过外部中断，获取小车脉冲，并通过定时中断判断小车脉冲数是否到达指定脉冲。通过计算出的转的角度和自行距离，距离和转的角度发送到上位机，上位机检测到更新数据后重新标注小车红点坐标。

上位机读取下位机传到电脑视频流，将两个摄像头获取的视频先做双目标定，再做立体矫正，获取图像视差，用视差图得到空间点云。

上述的自动避障算法中，判别y轴高于15cm，低于100cm的为障碍物，提取障碍物点集，判断z轴距离和x轴最左最右距离进行自动避障。

本发明中，控制装置中的深度体感相机获取人发出的手势，上位机识别手势，通过蓝牙传输至下位机，下位机控制小车进行运动。同时下位机实时地将小车坐标通过蓝牙传至上位机，上位机实时更新地图，小车的摄像头采集到的视频流通过wifi传输到上位机，上位机进行双目视差图像处理，获取双目图像视差，用视差图得到空间点云，将点云中低于15cm的点云设为地面，将高于15cm低于100cm的物体作为障碍物，将低于15cm的点集之中最外层的点画在地图上，即为小车经过的外界地形。小车的下位机判别y轴高于15cm，低于100cm的障碍物，提取障碍物点集，判断z轴距离和x轴最左最右距离，控制小车在自动控制模式下进行自动避障。

附图说明

图1是本发明的手势控制过程图；

图2是手势5的手势图；

图3是手势0的手势图；

图4是手势2的手势图。

具体实施方式

基于手势识别的自动避障小车，包括车体和轮子，其车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，两个小车后轮分别连接着一个精密直流电机。

通过网口线，将两个wifi模块连起来。

单片机优选Atmega128 AVR单片机。

上述自动避障小车的控制装置，其深度体感相机连接上位机，上位机设置串口蓝牙和一个无线wifi模块。

深度体感相机选用Kinect体感相机。

见图1。上述自动避障小车的控制方法，使用上述的控制装置，在上位机中配置opencv和openni库，上位机安装地图绘制算法、手势识别算法、自动避障算法，手势识别算法存储手掌平面参数，在自动避障小车下位机中安装自动避障算法，然后按照下述步骤：

步骤1）：将上位机的蓝牙与车体蓝牙配对，连接上位机的无线wifi与车体的无线wifi；设置小车上两个无线wifi模块的物理地址，模块1的物理地址为192.168.1.1，模块2的物理地址为192.168.1.2。通过网口线，将两个wifi模块连起来。

步骤2）：发出手势。

见图2~图4。手势5：为停车手势，表示小车立即停止，等待新的手势；

手势0：为进入手动控制模式手势，移动该手势到合适的位置，小车做相应的移动；同时也是进入手势控制状态的手势，只有检测到手势0后，手势5或者手势2才会进入算法中进行判断； 

手势2：为进入自动控制模式手势，小车按照程序自行移动。

所述手势识别算法中，手势通过kinect获取，在上位机中获取到图像后，通过openni和opencv结合的方法，具体通过深度阈值获取手势（这是openni的功能），通过手势图像中凹凸点个数和最小hu矩方法，匹配手势（这是用到了opencv的方法），手势识别完以后，只需要发出手势对应的蓝牙输出信号给下位机控制即可。

当手势0进行移动，并超过移动最小距离3cm时，即进行判断移动方向，根据移动方向，蓝牙输出对应的控制信号。移动方向有以下四种：前进，后退，左拐，右拐。当手势偏离这几个正对方向时，计算向哪边的趋势多，并输出对应控制信号。当检测到手势5时，小车立即停止。也可通过手势5移动手到适合kinect检测的位置。当检测到手势2时，小车进入自动控制模式，小车通过自动避障，进行运动。当再次检测到手势5时，停止自动控制模式，并进入手动控制模式。

这里，手势深度信息的阈值范围控制在70cm～80cm；

利用三维点云的计算公式得到手势点云，然后对手势点云做数据筛选；

具体过程是：通过深度体感相机获取实时的深度图像和RGB 彩色图像，利用Openni对图像中人体进行用户定位和骨骼跟踪，根据人体跟踪的骨骼关节信息提取出目标手势的关节点；

对手关节点进行跟踪预测定位。设定以手关节点为中心的合适手势区域范围，同时设定手势深度信息的阈值，结合场景深度图像将手势从背景图像中分割出来，实时得到目标手势的深度信息和RGB彩色信息。

对分割后的手势深度信息和RGB彩色信息，利用三维点云的计算公式得到手势点云，计算后的点云数据只包括点的三维坐标位置信息，然后对手势点云做数据筛选，滤除掉手势中的噪声干扰点。

根据手势几何模型，找到手势的最外轮廓，对比保存的手掌平面参数，利用最小hu矩法计算提取出手指轮廓的hu矩，将计算出的hu矩与模板的hu矩进行匹配，识别最相近的手势hu矩值。

所述地图绘制算法中，下位机的单片机通过外部中断，获取小车后轮转动产生的脉冲，并通过定时中断判断小车脉冲数是否到达指定脉冲；

小车用红点标注，地图原点为小车初始放置的位置，上位机检测到更新数据后重新标注小车红点坐标；

上位机读取下位机传送的电脑视频流，并做双目视差处理，获取图像视差，用视差图得到空间点云，将空间点云中低于15cm的点云设为地面，高于15cm低于100cm的物体作为障碍物；

判别y轴低于15cm的为地面，提取从地面点集的外轮廓进行地图绘制，即为小车经过的外界地形。

Claims (10)

1.基于手势识别的自动避障小车，包括车体和轮子，其特征在于：车体前部设置分开的两个摄像头，车体内部设置包含单片机的下位机，车体安置两个无线wifi模块，一个无线wifi模块连接一个摄像头，车体还安置一个蓝牙模块，两个小车后轮分别连接着一个精密直流电机。

2.根据权利要求1所述的自动避障小车，其特征在于：单片机选用Atmega128 AVR单片机。

3.根据权利要求1所述的自动避障小车，其特征在于：两个无线wifi模块通过网口线连接。

4.权利要求1的基于手势识别的自动避障小车的控制装置，其特征在于：深度体感相机连接上位机，上位机设置串口蓝牙和一个无线wifi模块。

5.根据权利要求4所述的控制装置，其特征在于：深度体感相机选用Kinect体感相机。

6.权利要求1所述的基于手势识别的自动避障小车的控制方法，其特征在于：使用权利要求4所述的控制装置，在上位机中配置opencv和openni库，上位机安装地图绘制算法、手势识别算法、自动避障算法，手势识别算法存储手掌平面参数，在权力要求1所述的自动避障小车下位机中安装自动避障算法，然后按照下述步骤：

 步骤1）：将上位机的蓝牙与车体蓝牙配对，连接上位机的无线wifi与车体的无线wifi；

步骤2）：发出手势。

7.根据权利要求6所述的控制方法，其特征在于：所述手势包括：

手势5：为停车手势，表示小车立即停止，等待新的手势；

手势0：为进入手动控制模式手势，移动该手势到合适的位置，小车做相应的移动；同时也是进入手势控制状态的手势，只有检测到手势0后，手势5或者手势2才会进入算法中进行判断； 

手势2：为进入自动控制模式手势，小车按照程序自行移动。

8.根据权利要求6所述的控制方法，其特征在于：所述手势识别算法中，

涉及手势深度信息的阈值范围控制在70cm～80cm；

涉及利用三维点云的计算公式得到手势点云，然后对手势点云做数据筛选；

涉及根据手势几何模型，找到手势的最外轮廓，对比保存的手掌平面参数，利用最小hu矩法计算提取出手指轮廓的hu矩，将计算出的hu矩与模板的hu矩进行匹配，识别最相近的手势hu矩值。

9.根据权利要求6所述的控制方法，其特征在于：所述地图绘制算法中， 

涉及下位机的单片机通过外部中断，获取小车后轮转动产生的脉冲，并通过定时中断判断小车脉冲数是否到达指定脉冲；

涉及小车用红点标注，地图原点为小车初始放置的位置，上位机检测到更新数据后重新标注小车红点坐标；

涉及上位机读取下位机传送的电脑视频流，并做双目视差处理，获取图像视差，用视差图得到空间点云，将空间点云中低于15cm的点云设为地面，高于15cm低于100cm的物体作为障碍物；

涉及判别y轴低于15cm的为地面，提取从地面点集的外轮廓进行地图绘制，即为小车经过的外界地形。

10.根据权利要求6所述的控制方法，其特征在于：自动避障算法中，涉及判别y轴高于15cm，低于100cm的为障碍物，提取障碍物点集，判断z轴距离和x轴最左最右距离进行自动避障。