CN107817798A - 一种基于深度学习系统的农用机械避障方法 - Google Patents

Abstract

本发明的基于深度学习的农机自动避障方法，涉及农机自动化领域，通过对图像信息的收集，以及深度学习系统对收集到的图像进行识别，然后将得到的结果匹配对应的设定好的输出：根据障碍物动静属性进行进一步的动作，如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；如果静态障碍物，进行局部的避障路径规划得到农机避障的最优路径。如果未能识别依然能通过它强大的在线学习系统做出合适的处理。本发明的利用深度学习系统避障方法让农机在未知劳作环境中做出智能决策，提高工作效率并增大了避障的容错率。

Description

一种基于深度学习系统的农用机械避障方法

技术领域

本发明涉及农机自动化领域，尤其涉及一种基于深度学习系统的农用机械避障方法。

背景技术

随着科技的发展，农业机械越来越趋向于智能化，农业机械自动导航技术是精细农业的关键技术。实际生产生活中农机所处的自然环境有很多未知的问题需要处理，农机在作业时可能会遇到电线杆、人以及其他机械等障碍物或接近地头，此时农机需要自动做出避障决策。由此才能做到对人和农机的安全保护，同时又能最大的发挥自主导航农业车辆的生产效率。如何实现农机自主避障，是智能农机安全的实现自主导航作业的一个关键问题。

近年来，深度学习在学术界发展迅猛，尤其在模式识别方面表现不俗。在很多传统的识别任务中，识别率都获得了显著的提高。许多其他领域也尝试用深度学习来解决一些本领域的问题。深度学习应用在避障领域的应用已经有了一些研究，尤其是与强化学习的结合，展现了其独特的优势。深度强化学习是深度学习与强化学习相结合的一个领域，它是能够实现从感知到动作的端对端学习的一种全新的方法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作。

在中国专利CN201710156019.9(用于农机无人驾驶的避障路径规划及其控制方法)中公开了一种农机无人驾驶的避障路径规划及其控制方法，通过传感器获取农机环境信息做出避障决策，使用改进的最短切线法计算出一条理论避障路径，利用Bezier曲线的路径优化方法优化理论避障路径得到实际避障路径。这种避障方法只能做到探测是否存在障碍物以及进行单纯的绕行避障，并且只能做到针对局部某一静态障碍物进行规避。这种避障方法规避障碍的方式过于单一，智能程度较浅。

发明内容

本申请提出一种能够实现全局避障，提高避障效率和准确度，大大提高农机的自动化和智能化的基于深度学习系统的农用机械避障方法。

本发明的基于深度学习系统的农用机械避障方法：包括以下步骤：

a)、首先运用深度学习系统进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息逐层提取特征，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的障碍物图像数据，由此判断出农机所遇到的障碍物信息；

若能判断出为障碍物，进一步判断障碍物动静属性；

若不能判是否为断障碍物，直接按障碍物处理，再进一步判断其动静属性：

(b)、再判断障碍物动静属性及输出对应的处理方式：

b-1、如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；

b-2、如果静态障碍物，进行局部的避障路径规划；

局部的避障路径规划步骤如下：

(1)、根据所需精度以及农机的最宽宽度，划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图；

(2)、根据传感信息，确定障碍物大小及在局部栅格地图中的位置；

(3)、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物的最小安全距离，在农机原运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障路径终止点B；

(4)、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径；

(5)、将最短距离集合的点连接形成最优路径；

(6)、进一步采用最短切线法对得到的最优路径进行拟合，从而得到更加合理的实际路径。

为更好的实施本发明创造：运用深度学习系统进行图像处理以此实现图像识别，需

(1)、大量采集农田场景常见障碍物建立农田场景图像库；

(2)、参照反向传播算法训练卷积神经网络；

(3)、进行图像识别

农机携带的摄像机所拍摄到的图像信息通过卷积神经网络中的卷积层与池化层组成的卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

本发明的基于深度学习的农机自动避障方法，通过对图像信息的收集，以及深度学习系统对收集到的图像进行识别，然后将得到的结果匹配对应的设定好的输出，如果未能识别依然能通过它强大的在线学习系统做出合适的处理。本发明的利用深度学习系统避障方法让农机在未知劳作环境中做出智能决策，提高工作效率并增大了避障的容错率。

附图说明

图1为本发明具体避障方法-最短切线法的附图；

图2为本发明局部的避障路径规划时划分限制搜索区域的示意图；

图3为本发明方案的流程图；

图4为本发明农机遇到障碍物时避障方法示意图。

根据下文结合流程图对本发明具体实施的详细描述，本领域技术人员将会更加明了本发明的上述及其它目的、优点和特征。

具体实施方式

本方法的应用对象为农用机械，工作地点在农田。

结合图3，本发明的基于深度学习系统的农用机械避障算法规划方法，包括以下步骤：

1、首先运用深度学习系统建立的数据库进行图像处理以此实现图像识别：

将农机携带的摄像机所拍摄到的图像信息，通过卷积神经网络中的卷积层与池化层组成的卷积组，逐层提取特征，最终通过若干个全连接层完成分类。该分类是将每帧图像中的相同属性的图像特征归集到一起，如每个图像中的天空、大地、农作物、障碍物等。

结合图4，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的图像数据。

若能判断出为障碍物，进一步判断障碍物动静属性；

若不能判断出是否为障碍物，直接按障碍物处理，再进一步判断其动静属性。如先采用激光定位5到10秒，看障碍物是否移动；移动的话，按动态障碍物处理；不移动的话，按静态障碍物处理。

2、其次，判断障碍物动静属性及输出对应的处理方式：

(1)如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果障碍物消除，则按原定路线前行；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；

(2)如果静态障碍物，则选用改进优化后的A*及Dijkstra算法相结合，来实现局部的避障路径规划。

结合图2，局部的避障路径规划步骤如下：

1、发现障碍物时，根据所需精度以及农机的最宽宽度，按特定距离划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图。

2、根据传感信息，确定障碍物大小及在局部栅格地图中的位置。

3、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物最小安全距离，在原农机运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障终止点B。

4、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径。

5、将最短距离集合的点连接形成最优路径。

6、见图1，采用具体的避障方法最短切线法对得到的最优路径进行拟合，从而得到更加合理的路径。

关于A*与Dijkstra算法相结合，详细可参照申请号为201710966489.1的一种基于Dijkstra算法的农用机械最短路径规划的方法。

运用深度学习系统建立数据库的方法过程如下：

1-1、大量采集农田场景常见障碍物建立农田场景图像库

1-2、参照反向传播算法训练卷积神经网络

由于农田环境非常复杂，道路等可行区域与障碍物的表征信息(如颜色，文理，形状等)等复杂多变，基于特定障碍物模型特定环境的检测方法对于一些实时未知障碍物检测不适用，因此本申请提出一种基于深度学习、用于检测非特定环境下，针对非特定属性的基于表征信息的障碍物检测方法。

本算法提出使用CNN与DBN相结合的深度学习模型，来检测单幅图像中的障碍物。首先使用CNN提取侯选块的局部特征信息，结合DBN分析图像的全局特征，将两者相结合，分析判断出候选区域是否为障碍物。

算法的实现原理：

CNN用来提取候选区域的局部特征信息，其输入时一个待预测候选图像块，输出为局部特征向量。DBN用来提取图像的全局特征，其输入为整个图像经过降采样归一化后的结果，通过逐层的非监督训练，输出整幅图像的全局特征向量。另外加入图像块的位置信息向量。将这三组向量组合形成新的向量并送入到费雷其中，来预测候选图像块的属性。

本方法对静止和运动的障碍物都具有良好的检测能力。在检测不到特征点的位置也具有很好的检测效果，对于地平线以上的障碍物也能够很好的检测到。

针对目前的农机避障系统大多是利用传感器来识别，这种方法智能化程度太低，效率也较低，并且准确性不高，无法准确识别人或动物，更无法在线学习面对未知事物做出最好的决策。并且这种避障方法只能做到探测是否存在障碍物以及进行单纯的绕行避障，以及针对局部某一静态障碍物进行规避。本发明智能的深度学习系统在此领域完美解决了这一类问题，实现无人农机在未知劳作环境中做出智能决策；结合A*和Dijkstra算法使避障系统更加准确化，程序化，减少出错率，优化路径，提高工作效率并增大了避障的容错率。

本发明的基于深度学习系统的农用机械避障方法，将深度学习理论和传统避障算法相结合，在以往的农机领域是未涉及的，能大大提高农机的避障效率以及智能程度；在农机应用领域有较为广阔的发展前景。

Claims (2)

1.一种基于深度学习系统的农用机械避障方法：其特征是：包括以下步骤：

a)、首先运用深度学习系统进行图像处理以此实现图像识别：将农机携带的摄像机所拍摄到的图像信息逐层提取特征，将提取到的图像特征与数据库内的障碍物图像数据进行比较，筛选出与采集到的图像最匹配的障碍物图像数据，由此判断出农机所遇到的障碍物信息；

若能判断出为障碍物，进一步判断障碍物动静属性；

若不能判断出是否为障碍物，直接按障碍物处理，再进一步判断其动静属性；

b)、再判断障碍物动静属性及输出对应的处理方式：

b-1、如果是动态障碍物，鸣笛提醒或者减速至驻车等待；如果一定时间内障碍物不能解除，则按静态障碍物的方法进行处理；

b-2、如果静态障碍物，进行局部的避障路径规划；

局部的避障路径规划步骤如下：

(1)、根据所需精度以及农机的最宽宽度，划分限制搜索区域，并在区域内，沿着农机前进方向建立局部栅格地图；

(2)、根据传感信息，确定障碍物大小及在局部栅格地图中的位置；

(3)、根据农机宽幅，速度，最小转弯半径信息，确定与障碍物的最小安全距离，在农机原运动轨迹上，最大障碍接近点，确定为局部避障路径起始点A；以农机原运动轨迹上，最小障碍接近点，确定为局部避障路径终止点B；

(4)、根据栅格划分图形用A*与Dijkstra算法相结合，搜索局部规划栅格，确定A点到B点路径；

(5)、将最短距离集合的点连接形成最优路径；

(6)、进一步采用最短切线法对得到的最优路径进行拟合，从而得到更加合理的路径。

2.根据权利要求1所述的基于深度学习系统的农用机械避障方法：其特征是：运用深度学习系统进行图像处理以此实现图像识别，需

(1)、大量采集农田场景常见障碍物建立农田场景图像库；

(2)、参照反向传播算法训练卷积神经网络；

(3)、进行图像识别

农机携带的摄像机所拍摄到的图像信息通过卷积神经网络中的卷积层与池化层组成的卷积组，逐层提取特征，最终通过若干个全连接层完成分类。