CN109919969B

CN109919969B - 一种利用深度卷积神经网络实现视觉运动控制的方法

Info

Publication number: CN109919969B
Application number: CN201910057143.9A
Authority: CN
Inventors: 张宏; 陈炜楠; 朱蕾; 何力; 管贻生
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2022-11-22
Anticipated expiration: 2039-01-22
Also published as: CN109919969A

Abstract

本发明公开了一种利用深度卷积神经网络实现视觉运动控制的方法，只需要单目相机获取移动平台的当前图像，以及只需要对当前获取的单帧图像进行分析，便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息，同时也不需要进行特征点数据匹配以及平面映射。另外，与已有的基于神经网络的视觉运控方案不同，本发明不需要进行路标识别以及特征点提取。再者，本发明利用深度神经网络具有语义分割的能力，对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划，从单帧图像输入到运动控制目标点的规划，整个过程无需人为先验知识的输入。本发明具有成本低、运控简单快捷等优点。

Description

一种利用深度卷积神经网络实现视觉运动控制的方法

技术领域

本发明涉及机器人视觉的技术领域，尤其涉及到一种利用深度卷积神经网络实现视觉运动控制的方法。

背景技术

发明内容

本发明的目的在于克服现有技术的不足，提出一种利用深度卷积神经网络实现视觉运动控制的方法。本方法使用深度卷积神经网络对单目视觉传感所采集的图像进行语义分割，以地板、土地等平面为分割目标，以得到当前获得图像视角下的可行驶区域。根据分割结果，通过统计可行驶区域分割结果像素的分布情况，对当前视角下的运动控制目标点进行规划，从而得到运动目标。

为实现上述目的，本发明所提供的技术方案为：

一种利用深度卷积神经网络实现视觉运动控制的方法，包括以下步骤：

S1：在移动平台上安装单目相机，采集移动平台前方的图像信息；

S2：以单帧单目图像作为算法输入，利用深度卷积神经网络进行地面分割，以得到当前获得图像视角下的可行驶区域；

S3：根据分割结果，通过统计可行驶区域分割结果像素的分布情况，对当前视角下的运动控制目标点进行规划，从而得到运动控制目标点；

S4：得到运动控制目标点后，将图像原点假设为当前移动平台所在位置，根据在图像空间得到的运动控制目标点与当前移动平台的相对位置，通过PID运动控制器实现移动平台控制。

进一步地，所述步骤S3通过对可行驶区域分割结果的像素分布进行统计，得到其像素分布沿着图像空间XY方向的分布统计，进而根据该统计情况，在最大可能运动方向上进行目标点规划。

进一步地，所述最大可能运动方向的求解过程为：像素坐标下不同方向的地面延伸程度分别用标准差v_x和v_y表示，也即是在该方向上移动平台可运动的幅度，利用像素的高斯分布统计，得到最大可能运动方向的解为：

η^direction＝(v_x,v_y)。

进一步地，所述步骤S3在图像空间根据离散的搜索线集合，进行运动控制目标点规划；具体步骤如下：

在利用高斯分布统计以及图像不同方向的像素分布情况后，为了实现在该方向上的运动目标点的规划，设计一条从点o_image＝(m_x，m_y)出发，以η^direction为方向的线作为中心搜索线l^c；

以l^c为中心，以o_image为旋转基点，以给定值θ为旋转幅度，向左与向右各旋转i次，从而得到一系列离散的搜索线集合l，该搜索线集合l以l^c为中心展开，离散并均匀地覆盖整个图像；

沿着l的每个直线元素，分别从点(m_x，m_y)开始，进行图像检索，一直找到最终一个地面分割有效点结束，进而得到由l的各个元素搜索得到的备选点集合p^p；

从p^p中选择距离(m_x，m_y)在图像空间上最远的点，作为最终运动规划目标点p^g，也即是依据以下代价函数进行运动目标点求解：

其中，函数d()为求解欧氏距离函数，m_x，m_y分别为地面像素分布位置在XY方向的均值。

与现有技术相比，本方案原理和优点如下：

本方案只需要单目相机获取移动平台的当前图像，以及只需要对当前获取的单帧图像进行分析，便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息，同时也不需要进行特征点数据匹配以及平面映射。

另外，与已有的基于神经网络的视觉运控方案不同，本方案不需要进行路标识别以及特征点提取。

再者，本方案利用深度神经网络具有语义分割的能力，对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划，从单帧图像输入到运动控制目标点的规划，整个过程无需人为先验知识的输入。

本方案具有成本低、运控简单快捷等优点。

附图说明

图1为本发明一种利用深度卷积神经网络实现视觉运动控制的方法的流程图；

图2为本发明一种利用深度卷积神经网络实现视觉运动控制的方法中进行图像分割的示意图；

图3为本发明一种利用深度卷积神经网络实现视觉运动控制的方法中运动控制目标点规划示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见图1所示，本实施例所述的一种利用深度卷积神经网络实现视觉运动控制的方法，包括以下步骤：

S2：以单帧单目图像作为算法输入，利用深度卷积神经网络进行地面分割，以得到当前获得图像视角下的可行驶区域；进行地面分割如图2所示，左图为实时图像信息；右图为分割结果，其中A部分为识别得到底面的像素分布。

S3：通过对可行驶区域分割结果的像素分布进行统计，得到其像素分布沿着图像空间XY方向的分布统计，进而根据该统计情况，在最大可能运动方向上进行运动控制目标点规划。

其中，在最大可能运动方向上进行运动控制目标点规划，能实现反应式的运动避障，而最大可能运动方向的求解过程为：

分别用标准差v_x和v_y表示像素坐标下不同方向的地面延伸程度，也即是在该方向上移动平台可运动的幅度，利用像素的高斯分布统计，得到最大可能运动方向的解为：

η^direction＝(v_x,v_y)。

在图像空间中，非可运动区域，也即是非地面像素，往往是进行机器人运动时需要避开的对象。在通过地面分割将需避障物体分离之后，由于仅需对地面像素进行统计，因此，需避障对象在地面像素统计过程中，将得到一个降低的探索可能得分，也即是说η^direction所代表矢量方向，必然避开需避障物体，根据η^direction得到的运动控制目标点规划也可实现对避障物体的规避，实现反应式的运动避障。

另外，本步骤中，在图像空间根据离散的搜索线集合，进行运动控制目标点规划；具体步骤如下：

该运动控制目标点规划示意见图3，左图为实时图像；右图为在分割结果上进行运动目标点规划，其中B点为o_image＝(m_x，m_y)，与B点连接的线为搜索线集合l，C点为规划得到的运动目标点p^g，并将其映射到左图的实时图像中。

本实施例只需要单目相机获取移动平台的当前图像，以及只需要对当前获取的单帧图像进行分析，便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息，同时也不需要进行特征点数据匹配以及平面映射。另外，与已有的基于神经网络的视觉运控方案不同，本实施例不需要进行路标识别以及特征点提取。再者，本实施例利用深度神经网络具有语义分割的能力，对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划，从单帧图像输入到运动控制目标点的规划，整个过程无需人为先验知识的输入。本实施例具有成本低、运控简单快捷等优点。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims

1.一种利用深度卷积神经网络实现视觉运动控制的方法，其特征在于，包括以下步骤：

S4：得到运动控制目标点后，将图像原点假设为当前移动平台所在位置，根据在图像空间得到的运动控制目标点与当前移动平台的相对位置，通过PID运动控制器实现移动平台控制；

所述步骤S3通过对可行驶区域分割结果的像素分布进行统计，得到其像素分布沿着图像空间XY方向的分布统计，进而根据该统计情况，在最大可能运动方向上进行运动控制目标点规划；

所述步骤S3在图像空间根据离散的搜索线集合，进行运动控制目标点规划；具体步骤如下：

2.根据权利要求1所述的一种利用深度卷积神经网络实现视觉运动控制的方法，其特征在于，所述最大可能运动方向的求解过程为：像素坐标下不同方向的地面延伸程度分别用标准差v_x和v_y表示，也即是在该方向上移动平台可运动的幅度，利用像素的高斯分布统计，得到最大可能运动方向的解为：

η^direction＝(v_x,v_y)。