CN108171796A - 一种基于三维点云的巡检机器人视觉系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于三维点云的巡检机器人视觉系统及控制方法，所述系统采用RGBD摄像机采集巡检环境点云数据，基于点云融合技术构建巡检环境的立体地图；基于人工势场法进行避障和最优路径规划；基于卷积神经网络识别算法，融合物体的三维特征，识别巡检环境中的目标物体，根据目标物体与相机的映射关系，准确定位目标物体的三维坐标；基于无线网络系统，将巡检机器人获取的实时数据实时快速地传输到控制终端；操作人员可通过控制终端实时监控或者回放巡检状况，并且可通过终端控制机器人执行巡检任务。所述系统的控制方法，可使巡检机器人的工作环境不受环境光线变化的影响，可以在黑暗的光线条件下完成巡检任务。

Description

一种基于三维点云的巡检机器人视觉系统及控制方法

技术领域

本发明涉及一种基于三维点云的巡检机器人视觉系统及方法。

背景技术

随着机器人技术的日益成熟，利用机器人进行巡检的需求应运而生，如：电力巡检、消防巡检、隧道巡检、地下矿井巡检以及未知环境和地形探测等。人工巡检存在工作效率低、劳动强度高、管理成本高等问题，并且在一些环境恶劣、情况复杂危险的工作中，难以保障巡检人员生命安全，如雨雪天气、高温、高寒、地下矿井以及高压电力设备等。使用机器人代替工人巡检，在一些危险环境可以有效保障巡检人员的生命安全，并且能成功解决上述人工巡检的弊端。

传统巡检机器人的视觉系统大多依靠RGB图像采集设备进行环境感知、构建地图、规划路径以及目标识别，其工作严重受到环境光线变化的影响，在黑暗环境中几乎不能工作，例如地下矿井、隧道的巡检以及夜间巡检等，其巡检工作质量都受到严重影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于三维点云的巡检机器人视觉系统及控制方法，该系统基于三维点云融合技术构建巡检环境的立体地图，能够自主规划路径、避障，提出基于卷积神经网络融合三维特征的目标物体识别和定位方法，可用于环境地形探测、电力巡检、隧道巡检以及地下矿井巡检等应用中，其工作环境不受光照变化的影响，可在光线较暗或者夜间环境中有效地工作。

为了实现上述目的，本发明采用以下技术方案：

一种基于三维点云的巡检机器人视觉系统，包括数据采集模块、地图构建模块、路径规划模块、目标识别和定位模块、无线网络传输装置以及控制终端；

所述数据采集模块，由RGBD摄像机构成，用于采集巡检环境的点云数据；所述RGBD摄像机可通过控制上下左右的旋转角度，采集360°视角的点云数据，并能够同时采集RGB图像数据和深度数据；

所述地图构建模块，接收数据采集模块获取的点云数据，用于构建巡检环境的立体地图；

所述路径规划模块，接收数据采集模块获取的点云数据，用于计算与障碍物之间的距离，并规划到达目标位置的最佳路径；

所述目标识别与定位模块，接收数据采集模块获取的点云数据，用于对目标物体进行识别定位，并将定位信息反馈到立体地图中；

所述无线网络传输装置，其通过无线网络进行数据传输，用于数据采集模块、地图构建模块、路径规划模块、目标识别与定位模块和控制终端之间进行数据传输；

所述控制终端，通过无线网络传输装置接收各个模块的数据，用于显示及控制各个模块的工作执行。

所述一种基于三维点云的巡检机器人视觉系统的控制方法，其内容包括以下步骤：

步骤1：数据采集模块通过RGBD摄像机采集巡检环境的点云数据；并将所采集的点云数据传输给地图构建模块和路径规划模块；

步骤2：地图构建模块利用点云数据，通过点云融合技术，根据每个点云数据的关键点特征，对各个点云数据进行逐个匹配，构建巡检环境的立体地图；

步骤3：路径规划模块根据采集到的点云数据，获取深度信息，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划；

步骤4：目标识别与定位模块采用基于卷积神经网络融合三维特征的物体识别算法，以目标物体的三维特征为输入，训练待识别目标物体的模型特征，以Softmax分类器作为输出，识别巡检过程中的待检测对象，并根据目标物体与机器人摄像机之间的映射关系，精确定位目标物体相对于摄像机的三维坐标，并通过匹配目标物体与立体地图两者关键点的特征，确定的目标物体在立体地图中的位置，在立体地图中高亮显示目标物体；所述三维特征，是指根据目标物体关键点的几何特征，提取目标物体的三维特征；

步骤5：无线网络传输装置，基于一种改进的TCP协议，通过分析无线网络传输速率的相对延迟，判断网络传输的拥塞程度，自动调节拥塞窗口的大小，提高网络的信道利用率和吞吐量，实时快速地将巡检机器人构建的立体地图、RGB图像数据、点云数据以及目标物体的位置坐标实时地传输到控制终端；

控制终端接收巡检机器人采集的巡检场景的点云数据，将其保存到磁盘文件之中，供操作人员实时监控或者回调巡检状况，操作人员可在控制终端通过立体地图查看巡检环境的各个细节，命令巡检机器人到达指定地点进行巡检，控制数据采集模块RGBD摄像机的旋转角度，查看不同的视角。

在步骤2中，所述构建巡检环境的立体地图，其内容包括以下步骤：

(1)提取两个点云数据的关键点，并描述关键点的几何特征；

(2)根据两个点云数据中关键点的几何特征描述，匹配相互对应的关键点，确定数据的重叠部分；

(3)使用随机采样一致性算法剔除错误的对应关系，提高匹配精度；

(4)估计变换矩阵，逐个配准多个点云数据，获取整个巡检环境的立体地图。

在步骤⑴中，所述关键点的几何特征，是指点云数据中关键点周围几何特性的局部特征描述，通过计算点云数据中关键点处法线与其k邻域内邻域点法线之间方向的差异，捕获关键点周围的几何信息，创建一个多维的直方图对关键点邻域的几何属性进行描述，其计算步骤如下：

(i)对于关键点与其邻域点组成的每对三维点(P_c,P_i)，计算它们的表面法线(n_c,n_i)，并在关键点处定义一个固定的局部坐标系(u,v,w)，其中：

u＝n_c

w＝u·v

(ii)通过三个角度(α,φ,θ)来分别计算关键点P_c和邻域点P_i的法线n_c和n_i之间的相对偏差，如下式：

α＝v·n_j

θ＝arctan(w·n_i,u·n_c)

这里||P_i-P_c||₂是P_c和P_i之间的欧氏距离；

(iii)将步骤(ii)中计算得到的角度(α,φ,θ)统计放入直方图中，得到关键点处的特征描述。

在步骤3中，所述基于人工势场法进行避障以及最优路径规划，其实现过程如下：

假设障碍物对机器人产生一个排斥势场U₁，对机器人的排斥力为F₁，目标产生一个吸引势场U₂，对机器人的吸引力为F₂，机器人在势场中位置坐标为p(x,y)，则机器人受到的合力场为：

U＝U₁(p)+U₂(p) (3)

机器人受到的合力为：

其中▽U为U的微分导数；这样机器人基于受到的障碍物的排斥力和目标的吸引力，实现实时规划运动路径，避开障碍物，获取达到目标的最优路径。

在步骤4中，所述基于卷积神经网络融合三维特征的物体识别算法，其中卷积神经网络是一种结合前向传播和后向传播的人工神经网络，其是在传统神经网络的基础上加入卷积操作和池化操作的层结构；

所述前向传播过程，其主要结构为输入层——卷积层——卷积层——全连层——输出层；输入层是以目标物体的三维形状特征作为输入，在两个卷积层之间以及第二个卷积层到全连层之间包括激活层、池化层和归一化层，激活层的激活函数选择采用RELU(RectifiedLinear Units)函数，选取线性阈值神经元，其对应的输出表达式为：

其中n表示神经元个数；池化层操作的目的是使提取的特征具有旋转和平移不变性；归一化层的设计目的是抑制隐藏层输出大的激励，提升模型的泛化能力，采用对相邻特征图中的激励进行归一化的方式，假设最大池化层产生的第i个特征图为则归一化响应的计算公式为：

其中m为同一位置相邻特征图的个数，M为特征图总数；全连层的实现将各个底层特征统计到一起，输出层采用Softmax分类器，假设一个训练集{(x⁽¹⁾,y⁽¹⁾},(x⁽²⁾,y⁽²⁾),…(x^(k),y^(k))}，x⁽ⁱ⁾为输出的特征向量，y⁽ⁱ⁾为训练数据的真实标签，k为每次训练总计的训练数量，则输出可以表示为：

其中w_i是第i个输出神经元与分类器链接的权重参数；

所述反向传播过程，采用梯度下降算法，目的是学习最优的权重参数(W,b)，其对参数(W,b)的更新过程如下：

表示l+1层与l层中的两个神经元连接的权值，表示第l+1中第i个神经元的偏置项。α表示学习效率，值越大，训练速度越快。

本发明与现有的基于RGB图像的巡检机器人相比，本发明具有以下有益效果：

1、基于三维点云融合技术构建巡检环境的立体地图，对于未知环境探测等巡检任务，操作人员可以通过立体地图，更加直观地查看巡检环境的各个细节；

2、基于三维特征表示目标物体特征，融合卷积神经网络，能够更有效的理解目标物体，进而更准确的识别目标物体；

3、机器人基于三维点云执行各项巡检任务，巡检环境不受光线变化的影响，可在黑暗环境或者夜间执行巡检任务。

附图说明

图1是本发明系统的结构框图；

图2是本发明立体地图构建流程图；

图3是本发明关键点特征计算示意图；

图4是本发明路径规划流程图；

图5是本发明卷积神经网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细描述。

参照图1，本发明的一种基于三维点云的巡检机器人视觉系统，包括数据采集模块、地图构建模块、路径规划模块、目标识别和定位模块、无线网络传输装置以及控制终端。

所述数据采集模块，由RGBD摄像机构成，用于采集巡检环境的点云数据。所述RGBD摄像机可通过控制上下左右的旋转角度，采集360^o视角的点云数据，并能够同时采集RGB图像数据和深度数据；

所述地图构建模块，接收数据采集模块获取的点云数据，用于构建巡检环境的立体地图。

所述路径规划模块，接收数据采集模块获取的点云数据，用于计算与障碍物之间的距离，并规划到达目标位置的最佳路径。

所述目标识别与定位模块，接收数据采集模块获取的点云数据，用于对目标物体进行识别定位，并将定位信息反馈到立体地图中。

所述无线网络传输装置，其通过无线网络进行数据传输，用于数据采集模块、地图构建模块、路径规划模块、目标识别与定位模块和控制终端之间进行数据传输。

所述控制终端，通过无线网络传输装置接收各个模块的数据，用于显示及控制各个模块的工作执行。

所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其实现过程主要分为以下步骤：

步骤1：数据采集模块通过RGBD摄像机采集巡检环境的点云数据；并将所采集的点云数据传输给地图构建模块和路径规划模块。

步骤2：地图构建模块利用点云数据，通过点云融合技术，根据每个点云数据的关键点特征，对各个点云数据进行逐个匹配，构建巡检环境的立体地图。

参照图2，立体地图构建基于点云融合技术，根据每个点云数据的关键点的特征，对各个点云数据进行逐个匹配，构建整个巡检环境的立体地图，主要步骤如下：

(1)提取两个点云数据的关键，并描述关键点的几何特征；

参照图3，关键点的几何特征是指点云数据中关键点周围几何特性的局部特征描述。通过计算点云数据中关键点处法线与其k邻域内邻域点法线之间方向的差异，捕获关键点周围的几何信息，创建一个多维的直方图对关键点邻域的几何属性进行描述。其计算步骤如下：

(i)对于关键点与其邻域点组成的每对三维点(P_c,P_i)，计算它们的表面法线(n_c,n_i)，并在关键点处定义一个固定的局部坐标系(u,v,w)，其中，

u＝n_c

w＝u·v

(ii)通过三个角度(α,φ,θ)来计算关键点P_c和邻域点P_i它们的法线n_c和n_i之间的相对偏差，如下所示：

α＝v·n_j

θ＝arctan(w·n_i,u·n_c)

这里||P_i-P_c||₂是P_c和P_i之间的欧氏距离。

(iii)将上一步计算得到的角度(α,φ,θ)统计放入直方图中，得到关键点处的特征描述。

(2)根据两个点云数据中关键点的几何特征描述，匹配相互对应的关键点，确定数据的重叠部分；

(3)使用随机采样一致性算法剔除错误的对应关系，提高匹配精度；

(4)估计变换矩阵，逐个配准多个点云数据，获取整个巡检环境的立体地图。

步骤3：路径规划模块根据采集到的点云数据，获取深度信息，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划。

所述基于人工势场法进行避障以及最优路径规划，其实现过程如下：

假设障碍物对机器人产生一个排斥势场U₁，对机器人的排斥力为F₁，目标产生一个吸引势场U₂，对机器人的吸引力为F₂，机器人在势场中位置坐标为p(x,y)，则机器人受到的合力场为：

U＝U₁(p)+U₂(p) (12)

机器人受到的合力为：

其中▽U为U的微分导数；这样机器人基于受到的障碍物的排斥力和目标的吸引力，实现实时规划运动路径，避开障碍物，获取达到目标的最优路径。

步骤4：目标识别与定位模块采用基于卷积神经网络融合三维特征的物体识别算法，以目标物体的三维特征为输入，训练待识别目标物体的模型特征，以Softmax分类器作为输出，识别巡检过程中的待检测对象，并根据目标物体与机器人摄像机之间的映射关系，精确定位目标物体相对于摄像机的三维坐标，并通过匹配目标物体与立体地图两者关键点的特征，确定的目标物体在立体地图中的位置，在立体地图中高亮显示目标物体；

参照图4，路径规划实现过程如下：根据采集到的深度数据，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划。假设障碍物对产生一个排斥势场U₁，对机器人的排斥力为F₁，目标产生一个吸引势场U₂，对机器人的吸引力为F₂，机器人在势场中位置坐标为p(x,y)，则在机器人受到的合力场为：

U＝U₁(p)+U₂(p) (14)

机器人受到的合力为：

其中▽U为U的微分导数。这样机器人基于受到的障碍物的排斥力和目标的吸引力，机器人实时规划运动路径，避开障碍物，获取达到目标的最优路径。

步骤5：无线网络传输装置，基于一种改进的TCP协议，通过分析无线网络传输速率的相对延迟，判断网络传输的拥塞程度，自动调节拥塞窗口的大小，提高网络的信道利用率和吞吐量，实时快速地将巡检机器人构建的立体地图、RGB图像数据、点云数据以及目标物体的位置坐标实时地传输到控制终端。

参照图5，卷积神经网络是一种结合前向传播和后向传播的人工神经网络，其在传统神经网络的基础上加入卷积操作和池化操作的层结构。所述的前向传播过程，主要结构为输入层——卷积层——卷积层——全连层——输出层。输入层以目标物体的三维形状特征作为输入。在两个卷积层之间以及第二个卷积层到全连层之间包括激活层、池化层、归一化层，激活层的激活函数选用采用RELU(RectifiedLinear Units)函数，选取线性阈值神经元，其对应的输出表达式为：

其中n表示神经元个数；池化层操作的目的是使提取的特征具有旋转和平移不变性；归一化层的设计目的是抑制隐藏层输出大的激励，提升模型的泛化能力，采用对相邻特征图中的激励进行归一化的方式，假设最大池化层产生的第i个特征图为则归一化响应的计算公式为：

其中m为同一位置相邻特征图的个数，M为特征图总数。全连层的实现将各个底层特征统计到一起。输出层采用Softmax分类器，假设一个训练集{(x⁽¹⁾,y⁽¹⁾},(x⁽²⁾,y⁽²⁾),…(x^(k),y^(k))}，x⁽ⁱ⁾为输出的特征向量，y⁽ⁱ⁾为训练数据的真实标签，k为每次训练总共的训练数量，则输出可以表示为：

其中w_i是第i个输出神经元与分类器链接的权重参数。所述的反向传播过程，采用梯度下降算法，目的是学习最优的权重参数(W,b)，其对参数(W,b)的更新过程如下：

表示l+1层与l层中的两个神经元连接的权值，表示第l+1中第i个神经元的偏置项。α表示学习效率，值越大，训练速度越快。

步骤6：控制终端接收巡检机器人采集的巡检场景的点云数据，可保存到磁盘文件之中，供操作人员实时监控或者回调巡检状况，操作人员可在控制终端通过立体地图查看巡检环境的各个细节，命令巡检机器人到达指定地点进行巡检，控制数据采集模块RGBD摄像机的旋转角度，查看不同的视角。

Claims (6)

1.一种基于三维点云的巡检机器人视觉系统，其特征在于：所述系统包括数据采集模块、地图构建模块、路径规划模块、目标识别和定位模块、无线网络传输装置以及控制终端；

所述数据采集模块，由RGBD摄像机构成，用于采集巡检环境的点云数据；所述RGBD摄像机可通过控制上下左右的旋转角度，采集360°视角的点云数据，并能够同时采集RGB图像数据和深度数据；

所述地图构建模块，接收数据采集模块获取的点云数据，用于构建巡检环境的立体地图；

所述路径规划模块，接收数据采集模块获取的点云数据，用于计算与障碍物之间的距离，并规划到达目标位置的最佳路径；

所述目标识别与定位模块，接收数据采集模块获取的点云数据，用于对目标物体进行识别定位，并将定位信息反馈到立体地图中；

所述无线网络传输装置，其通过无线网络进行数据传输，用于数据采集模块、地图构建模块、路径规划模块、目标识别与定位模块和控制终端之间进行数据传输；

所述控制终端，通过无线网络传输装置接收各个模块的数据，用于显示及控制各个模块的工作执行。

2.根据权利要求1所述一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：该方法内容包括以下步骤：

步骤1：数据采集模块通过RGBD摄像机采集巡检环境的点云数据；并将所采集的点云数据传输给地图构建模块和路径规划模块；

步骤2：地图构建模块利用点云数据，通过点云融合技术，根据每个点云数据的关键点特征，对各个点云数据进行逐个匹配，构建巡检环境的立体地图；

步骤3：路径规划模块根据采集到的点云数据，获取深度信息，判断障碍物的位置，计算机器人与障碍物之间的实际距离，基于人工势场法进行避障以及最优路径规划；

步骤4：目标识别与定位模块采用基于卷积神经网络融合三维特征的物体识别算法，以目标物体的三维特征为输入，训练待识别目标物体的模型特征，以Softmax分类器作为输出，识别巡检过程中的待检测对象，并根据目标物体与机器人摄像机之间的映射关系，精确定位目标物体相对于摄像机的三维坐标，并通过匹配目标物体与立体地图两者关键点的特征，确定的目标物体在立体地图中的位置，在立体地图中高亮显示目标物体；所述三维特征，是指根据目标物体关键点的几何特征，提取目标物体的三维特征；

步骤5：无线网络传输装置，基于一种改进的TCP协议，通过分析无线网络传输速率的相对延迟，判断网络传输的拥塞程度，自动调节拥塞窗口的大小，提高网络的信道利用率和吞吐量，实时快速地将巡检机器人构建的立体地图、RGB图像数据、点云数据以及目标物体的位置坐标实时地传输到控制终端；

控制终端接收巡检机器人采集的巡检场景的点云数据，将其保存到磁盘文件之中，供操作人员实时监控或者回调巡检状况，操作人员可在控制终端通过立体地图查看巡检环境的各个细节，命令巡检机器人到达指定地点进行巡检，控制数据采集模块RGBD摄像机的旋转角度，查看不同的视角。

3.根据权利要求2所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：在步骤2中，所述构建巡检环境的立体地图，其内容包括以下步骤：

(1)提取两个点云数据的关键点，并描述关键点的几何特征；

(2)根据两个点云数据中关键点的几何特征描述，匹配相互对应的关键点，确定数据的重叠部分；

(3)使用随机采样一致性算法剔除错误的对应关系，提高匹配精度；

(4)估计变换矩阵，逐个配准多个点云数据，获取整个巡检环境的立体地图。

4.根据权利要求3所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：在步骤⑴中，所述关键点的几何特征，是指点云数据中关键点周围几何特性的局部特征描述，通过计算点云数据中关键点处法线与其k邻域内邻域点法线之间方向的差异，捕获关键点周围的几何信息，创建一个多维的直方图对关键点邻域的几何属性进行描述，其计算步骤如下：

(i)对于关键点与其邻域点组成的每对三维点(P_c,P_i)，计算它们的表面法线(n_c,n_i)，并在关键点处定义一个固定的局部坐标系(u,v,w)，其中：

(ii)通过三个角度(α,φ,θ)来分别计算关键点P_c和邻域点P_i的法线n_c和n_i之间的相对偏差，如下式：

这里||P_i-P_c||₂是P_c和P_i之间的欧氏距离；

(iii)将步骤(ii)中计算得到的角度(α,φ,θ)统计放入直方图中，得到关键点处的特征描述。

5.根据权利要求2所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：在步骤3中，所述基于人工势场法进行避障以及最优路径规划，其实现过程如下：

假设障碍物对机器人产生一个排斥势场U₁，对机器人的排斥力为F₁，目标产生一个吸引势场U₂，对机器人的吸引力为F₂，机器人在势场中位置坐标为p(x,y)，则机器人受到的合力场为：

U＝U₁(p)+U₂(p) (3)

机器人受到的合力为：

其中为U的微分导数；这样机器人基于受到的障碍物的排斥力和目标的吸引力，实现实时规划运动路径，避开障碍物，获取达到目标的最优路径。

6.根据权利要求2所述的一种基于三维点云的巡检机器人视觉系统的控制方法，其特征在于：在步骤4中，所述基于卷积神经网络融合三维特征的物体识别算法，其中卷积神经网络是一种结合前向传播和后向传播的人工神经网络，其是在传统神经网络的基础上加入卷积操作和池化操作的层结构；

所述前向传播过程，其主要结构为输入层——卷积层——卷积层——全连层——输出层；输入层是以目标物体的三维形状特征作为输入，在两个卷积层之间以及第二个卷积层到全连层之间包括激活层、池化层和归一化层，激活层的激活函数选择采用RELU函数，选取线性阈值神经元，其对应的输出表达式为：

其中n表示神经元个数；池化层操作的目的是使提取的特征具有旋转和平移不变性；归一化层的设计目的是抑制隐藏层输出大的激励，提升模型的泛化能力，采用对相邻特征图中的激励进行归一化的方式，假设最大池化层产生的第i个特征图为则归一化响应的计算公式为：

其中m为同一位置相邻特征图的个数，M为特征图总数；全连层的实现将各个底层特征统计到一起，输出层采用Softmax分类器，假设一个训练集{(x⁽¹⁾,y⁽¹⁾},(x⁽²⁾,y⁽²⁾),…(x^(k),y^(k))}，x⁽ⁱ⁾为输出的特征向量，y⁽ⁱ⁾为训练数据的真实标签，k为每次训练总计的训练数量，则输出可以表示为：

其中w_i是第i个输出神经元与分类器链接的权重参数；

所述反向传播过程，采用梯度下降算法，目的是学习最优的权重参数(W,b)，其对参数(W,b)的更新过程如下：

表示l+1层与l层中的两个神经元连接的权值，表示第l+1中第i个神经元的偏置项。α表示学习效率，值越大，训练速度越快。