CN109048926A - 一种基于立体视觉的机器人智能避障系统及方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的机器人智能避障系统及方法。该系统包括双目相机、工控机和驱动器；工控机分别与双目相机和驱动器连接。该方法是双目相机采集机器人工作区域内的视频图像信息，发送给工控机；工控机接收双目相机发送的视频图像信息，并根据视频图像信息和双目相机的内外参数计算每个像素的深度，生成工作区域内的深度图像；再依据深度学习对深度图像中的障碍物进行识别并依据深度图像对障碍物进行三维重建，计算障碍物三维坐标，与机器人的运动路径对比检测是否碰撞，调整机器人的运动轨迹，生成相应的运动轨迹信息并将运动轨迹信息传输给驱动器；驱动器接收到工控机发出的运动轨迹信息，调整机器人运动轨迹。

Description

一种基于立体视觉的机器人智能避障系统及方法

技术领域

本发明涉及机器人避障领域，具体是一种基于立体视觉的机器人智能避障系统及方法。

背景技术

机器人作为21世纪高科技的代表作之一，其发展具有创新性和挑战性，对国家的发展具有巨大的影响。而随着“工业4.0”和“中国制造2025”的浪潮兴起，机器人行业也迎来了爆炸式的机遇与发展。

我国机器人行业迅速发展，尤其是对工业机器人的需求暴增，然而，随着科技的发展和市场的需求，传统的工业机器人已不能满足人们的要求，现在的新兴制造业急需与人能在同一工作环境下紧密协作的机器人，而人机协作最重要的前提是必须保证人机的安全，因此，避免与外界障碍物发生碰撞这项功能对机器人就显得十分重要，这也使机器人避障成为了热点研究之一。

为了实现全自动化的生产线，这就要求机器人能够更加的智能化，这就要求机器人能够在未知的环境下进行非预测性的避障，也就是需求机器人有一双眼睛去看到障碍物，这就是机器人传感技术，加入传感器主要目的是为了对未知环境中的障碍物进行精准地识别、定位。计算机视觉系统主要包括单目视觉和立体视觉，单目视觉只能够获得物体的平面二维信息，无法获得物体的三维信息，在物体识别和定位方面具有较大的局限性，而立体视觉中应用最多的就是双目立体视觉。

到目前为止，机器人领域所应用的视觉识别、定位方法受环境光照影响较大，识别效果不好，定位精度较低，且应用的环境限制较多，越来越不能满足要求。申请号为201611197327.8的文献公开了一种基于视觉的机械臂避障方法，公开了基于SIFT算法的特征点提取的特征点和基于小波变换的边缘点提取的边缘点进行匹配识别的方法，所识别障碍物的准确率不高，受背景环境、光照变换影响较大，误匹配率较高并不适用于高精度的人机协同作业环境。因此，亟待研发一种多种环境下兼容的、能够高精准目标识别与定位的避障方法。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于立体视觉的机器人智能避障系统及方法。

本发明解决所述系统技术问题的技术方案是，提供一种基于立体视觉的机器人智能避障系统，其特征在于该系统包括双目相机、工控机和驱动器；所述工控机分别与双目相机和驱动器连接。

本发明解决所述方法技术问题的技术方案是，提供一种基于立体视觉的机器人智能避障方法，其特征在于该方法包括以下步骤：

步骤1，搭建智能避障系统；该系统包括双目相机、工控机和驱动器；工控机分别与双目相机和驱动器连接；

步骤2、在机器人运动过程中，调用双目相机，通过左右两个相机采集机器人工作区域内的视差图，发送给工控机；

步骤3、工控机根据双目相机采集到的视差图和相机内外参数计算每个像素的深度，生成工作区域内的深度图像；

步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征，对提取的特征进行分类判断，再在深度图像中标识出判断为障碍物的图像区域，得到障碍物的二维坐标；

步骤5、通过深度图像提供的深度信息，得到障碍物到双目相机的距离参数；将障碍物的二维坐标和距离参数进一步换算到世界坐标下，对障碍物进行三维重建，得到障碍物在空间中的三维坐标，完成障碍物定位；

步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离，判断是否会发生碰撞，若未发生碰撞则按照原轨迹运动；若发生碰撞则应用梯度投影法调整机器人的运动轨迹，将调整后的运动轨迹信息发送至驱动器，对机器人的运动进行控制。

与现有技术相比，本发明有益效果在于：

(1)本方法应用卷积神经网络对目标障碍物进行识别、定位，减小了环境光照影响，大大提高了其识别、定位的准确率和精度，对取景范围内的障碍物进行综合性分析评估，得到最优的避障路径，和人类的视觉神经避障具有极大的相似性。

(2)卷积神经网络系统框架通过了大量数据训练学习，可以应用在各种环境下对障碍物进行识别、定位，克服了传统视觉识别系统对应用环境的要求，且通过神经网络能准确识别分割人体，提高了人机协作的安全性。

(3)双目相机的稳定性高于红外传感器，精度优于超声波，采集的图像信息更直接丰富，相比其他传感器更适用于对机器人作业中障碍物的检测，且较传统的单目工业相机测距的繁琐复杂，双目相机在测距和三维重建上有更好的表现。

附图说明

图1为本发明基于立体视觉的机器人智能避障系统及方法一种实施例的智能避障系统结构示意图。

图2为本发明基于立体视觉的机器人智能避障系统及方法一种实施例的双目相机测距原理图。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。

本发明提供了一种基于立体视觉的机器人智能避障系统(简称系统，参见图1)，其特征在于该系统包括双目相机1、工控机2和驱动器3；所述工控机2分别与双目相机1和驱动器3连接；具体是所述双目相机1通过USB线与工控机2连接，工控机2通过串口线(CAN线)与驱动器3连接。

所述双目相机1由左右两个摄像机构成的，用于采集机器人工作区域内的视频图像信息，发送给工控机2；

所述工控机2用于接收双目相机1发送的视频图像信息，并根据视频图像信息和双目相机1的内外参数计算每个像素的深度，生成工作区域内的深度图像；再依据深度学习对深度图像中的障碍物进行识别并依据深度图像对障碍物进行三维重建，计算障碍物三维坐标，与机器人4的运动路径对比检测是否碰撞，调整机器人4的运动轨迹，生成相应的运动轨迹信息并通过串口线将运动轨迹信息传输给驱动器3；

所述驱动器3接收到工控机2发出的运动轨迹信息，对机器人4发送控制信息来控制机器人4的相应关节电机，对机器人进行运动控制，完成机器人4的运动轨迹调整。

本发明同时提供了一种基于立体视觉的机器人智能避障方法(简称方法)，其特征在于该方法包括以下步骤：

步骤1，搭建智能避障系统；该系统包括双目相机1、工控机2和驱动器3；工控机2分别与双目相机1和驱动器3连接；

步骤2、在机器人4运动过程中，调用双目相机1，通过左右两个相机采集机器人工作区域内的视差图，发送给工控机2；应用双目相机采集机器人工作区域内的视差图前需要对相机进行标定，从而获得相机的焦距F、主点等相机固有的内部参数；

步骤3、工控机2根据双目相机1采集到的视差图和相机内外参数计算每个像素的深度，生成工作区域内的深度图像；

计算像素深度的方法是(参见图2)：两摄像机坐标轴互相平行，且x轴重合，两摄像机在x轴方向的间距为基线距离B；

由相似三角形原理，可得式(1)：

由式(1)得，像素点P距离双目相机的深度Z：

Z＝FB/(X_l-X_r) (2)

式(2)中，P_l和P_r分别是左右视图的主点，C_l和C_r分别是左右摄像机透镜的光心，F为摄像机焦距；障碍物P在左右视图中的成像点横坐标分别为X_l和X_r；

步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征，对提取的特征进行分类判断，再在深度图像中标识出判断为障碍物的图像区域，得到障碍物的二维坐标；

通过神经网络对障碍物识别及定位的方法中使用的神经网络为Tensorflow框架下编写的卷积神经网络，在使用前需要多次训练方可准确的对障碍物进行分类判断。具体实施时，将生成的深度图像传入已训练过的神经网络中，调用卷积核对每个候选框内的像素区域并进行特征提取，对候选框中提取出的特征使用分类器识别并判别是否属于一个特定类，对于属于某一特征的候选框，用回归器进一步调整障碍物区域的位置完成定位；

步骤5、通过深度图像提供的深度信息，得到障碍物到双目相机1的距离参数；将障碍物的二维坐标和距离参数进一步换算到世界坐标下，对障碍物进行三维重建，得到障碍物在空间中的三维坐标，完成障碍物定位；

得到障碍物在空间中的三维坐标的方法是：

首先，将世界坐标系转换到摄像机坐标系，已知某点在世界坐标系中的坐标为(Xw,Yw,Zw)，由旋转和平移矩阵可得摄像机坐标系和世界坐标系的关系为式(3)：

然后将摄像机坐标系转换到像面坐标系如式(4)：

其中[u v 1]^τ为点在图像坐标系中的坐标，[x_c y_c z_c 1]^τ为点在摄像机坐标系中的坐标，为摄像机内参数矩阵；

最终得到：

式(5)是像面坐标与世界坐标转换公式，带入障碍物的坐标求得其世界坐标下障碍物的三维坐标；

步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离，判断是否会发生碰撞，若未发生碰撞则按照原轨迹运动；若发生碰撞则应用梯度投影法调整机器人4的运动轨迹，将调整后的运动轨迹信息发送至驱动器3，对机器人4的运动进行控制。

梯度投影法具体方法如下：

梯度投影法的基本公式如式(6)：

式(6)中，为机器人机械臂关节速度矢量，J为机械臂末端雅克比矩阵，J⁺为J的广义逆矩阵，为机械臂末端的操作速度，k为放大系数，I为单位矩阵，为优化指标的梯度；

基于梯度投影法，并运用最短距离避障指标，为了让机器人能躲避障碍物，需要使标志点x₀具有一个躲避障碍物的速度即：

式(7)中为标志点躲避障碍物的速度，J₀为标识点处的雅克比矩阵，将式(7)代入式(6)可得：

式(8)是基于梯度投影法的避障算法公式；在执行避障任务时，式(8)等式右边第一项是满足机械臂末端轨迹的跟踪，也就是机械臂末端的运动；右边第二项是在不影响末端轨迹的前提下通过机械臂的自由运动来实现障碍物的躲避；式(8)的物理意义可以描述如下：机械臂机器人首先完成末端期望轨迹的跟踪任务，这是首要任务，在保证首要任务的基础上，通过零空间的自动运动完成对障碍物的躲避运动，即末期期望轨迹的跟踪任务第一，避障任务第二，避障任务是在末端期望轨迹的跟踪任务的零空间进行的，避障任务不会影响机械臂对末期期望轨迹及的跟踪任务。

本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于立体视觉的机器人智能避障系统，其特征在于该系统包括双目相机、工控机和驱动器；所述工控机分别与双目相机和驱动器连接。

2.一种基于立体视觉的机器人智能避障方法，其特征在于该方法包括以下步骤：

步骤1，搭建智能避障系统；该系统包括双目相机、工控机和驱动器；工控机分别与双目相机和驱动器连接；

步骤2、在机器人运动过程中，调用双目相机，通过左右两个相机采集机器人工作区域内的视差图，发送给工控机；

步骤3、工控机根据双目相机采集到的视差图和相机内外参数计算每个像素的深度，生成工作区域内的深度图像；

步骤4、应用已训练过的神经网络在深度图像上提取障碍物特征，对提取的特征进行分类判断，再在深度图像中标识出判断为障碍物的图像区域，得到障碍物的二维坐标；

步骤5、通过深度图像提供的深度信息，得到障碍物到双目相机的距离参数；将障碍物的二维坐标和距离参数进一步换算到世界坐标下，对障碍物进行三维重建，得到障碍物在空间中的三维坐标，完成障碍物定位；

步骤6、通过障碍物的三维坐标信息与机器人的运动路径计算出障碍物与机器人之间的距离，判断是否会发生碰撞，若未发生碰撞则按照原轨迹运动；若发生碰撞则应用梯度投影法调整机器人的运动轨迹，将调整后的运动轨迹信息发送至驱动器，对机器人的运动进行控制。

3.根据权利要求2所述的基于立体视觉的机器人智能避障方法，其特征在于步骤3中计算像素深度的方法是：两摄像机坐标轴互相平行，且x轴重合，两摄像机在x轴方向的间距为基线距离B；

由相似三角形原理，可得式(1)：

由式(1)得，像素点P距离双目相机的深度Z：

Z＝FB/(X_l-X_r) (2)

式(2)中，P_l和P_r分别是左右视图的主点，C_l和C_r分别是左右摄像机透镜的光心，F为摄像机焦距；障碍物P在左右视图中的成像点横坐标分别为X_l和X_r。

4.根据权利要求2所述的基于立体视觉的机器人智能避障方法，其特征在于所述神经网络为Tensorflow框架下编写的卷积神经网络，在使用前需要多次训练。

5.根据权利要求2所述的基于立体视觉的机器人智能避障方法，其特征在于步骤4具体是：将生成的深度图像传入已训练过的神经网络中，调用卷积核对每个候选框内的像素区域并进行特征提取，对候选框中提取出的特征使用分类器判别是否属于一个特定类，对于属于某一特征的候选框，用回归器进一步调整障碍物区域的位置完成定位。

6.根据权利要求2所述的基于立体视觉的机器人智能避障方法，其特征在于步骤5中得到障碍物在空间中的三维坐标的方法是：

首先，将世界坐标系转换到摄像机坐标系，已知某点在世界坐标系中的坐标为(Xw,Yw,Zw)，由旋转和平移矩阵可得摄像机坐标系和世界坐标系的关系为式(3)：

然后将摄像机坐标系转换到像面坐标系如式(4)：

其中[u v 1]^τ为点在图像坐标系中的坐标，[x_c y_c z_c 1]^τ为点在摄像机坐标系中的坐标，为摄像机内参数矩阵；

最终得到：

式(5)是像面坐标与世界坐标转换公式，带入障碍物的坐标求得其世界坐标下障碍物的三维坐标。

7.根据权利要求2所述的基于立体视觉的机器人智能避障方法，其特征在于梯度投影法具体方法如下：

梯度投影法的基本公式如式(6)：

式(6)中，为机器人机械臂关节速度矢量，J为机械臂末端雅克比矩阵，J⁺为J的广义逆矩阵，为机械臂末端的操作速度，k为放大系数，I为单位矩阵，为优化指标的梯度；

基于梯度投影法，并运用最短距离避障指标，为了让机器人能躲避障碍物，需要使标志点x₀具有一个躲避障碍物的速度即：

式(7)中为标志点躲避障碍物的速度，J₀为标识点处的雅克比矩阵，将式(7)代入式(6)可得：

式(8)是基于梯度投影法的避障算法公式；在执行避障任务时，式(8)等式右边第一项是满足机械臂末端轨迹的跟踪；右边第二项是在不影响末端轨迹的前提下通过机械臂的自由运动来实现障碍物的躲避。