CN113587946A - 一种田间农业机械视觉导航系统及方法 - Google Patents
一种田间农业机械视觉导航系统及方法 Download PDFInfo
- Publication number
- CN113587946A CN113587946A CN202110764214.6A CN202110764214A CN113587946A CN 113587946 A CN113587946 A CN 113587946A CN 202110764214 A CN202110764214 A CN 202110764214A CN 113587946 A CN113587946 A CN 113587946A
- Authority
- CN
- China
- Prior art keywords
- image
- navigation
- crop
- agricultural machine
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000010720 hydraulic oil Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 240000007651 Rubus glaucus Species 0.000 abstract description 13
- 235000011034 Rubus glaucus Nutrition 0.000 abstract description 13
- 235000009122 Rubus idaeus Nutrition 0.000 abstract description 13
- 244000037666 field crops Species 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
Abstract
本发明公开了一种田间农业机械视觉导航系统及方法，包括：图像采集模块，用于采集田间作物图像；图像处理模块，使用树莓派加载深度卷积网络模型分割图像中作物，提取田间作物行线，确定导航路径，计算农业机械行驶方向相对于导航路径的横向偏差以及航向偏差信号；行走控制装置，用于接收图像处理模块的横向偏差以及航向偏差信号，通过PLC控制器完成对农机的行走转向控制。利用本发明实施例，通过图像采集模块、图像处理模块以及行走控制装置完成对田间农业机械的行走导航，视觉导航部分采用深度卷积网络分割图像中作物，提取田间作物行线，实现导航路径的获取。
Description
技术领域：
本发明涉及田间农业机械视觉导航技术领域，尤其涉及一种田间农业机械视觉导航系统及方法。
背景技术：
20世纪50年代的计算机视觉理论研究的提出，奠定了视觉导航的基础，随后的计算机处理器的加速进步，促进了计算机视觉和视觉导航的发展。GPS导航的局限性加大了视觉导航的应用需求。随着我国农业机械自动化的发展，对田间作业机械的自动行驶的研究成为了目前研究的热点。农田机械作业环境的复杂，田间耕作的特殊作业，GPS导航逐渐满足不了导航需求。越来越多的研究将视觉导航使用到田间机械中。田间的农业机械的视觉导航成为了研究的热点。
视觉导航是指利用视觉传感器获取图像信息，运用机器视觉等相关技术识别路径，实现自动导航的技术。视觉导航主要包括图像预处理，目标提取、目标跟踪等问题。而农业机械的视觉导航系统一般由视觉传感器，主控单元，执行机构组成。视觉传感器用于获取农田图像信息，主控单元对图像进行处理，提取田间的导航路径，输出控制信号，控制执行机构的运动，以达到控制农业机械按照导航路径行驶，实现自主导航。
田间视觉导航研究多为采用传统图像处理算法分割作物与背景，识别作物行线，提取导航路径。其中，如何分割作物背景是获取导航路径的基础，这一步直接影响导航的精度。目前已有关于田间机械视觉导航系统的设计。传统的图像处理算法，其分割容易受到天气以及光照的影响，导致错误分割，且传统图像处理算法需要人为设定参数，适应性差，无法适应复杂的田间环境。
发明内容：
本发明实施例的目的在于提供一种基于深度卷积网络的田间业机械视觉导航系统及方法，旨在通过提前搭建深度卷积网络模型，训练网络，获取分割精度高的网络模型，用于视觉导航中分割出田间作物，提取作物行线，确定导航路径，控制农业机械田间自主对行作业行走。具体技术方案如下：
为达到上述目的，本发明实施例提供了一种田间农业机械视觉导航系统，包括：
图像采集模块，图像处理模块，行走控制装置；
所述图像采集模块，用于采集田地作物图像；
所述图像处理模块，用于接收所采集到的田地作物图像，并通过深度卷积网络模型分割图像中作物，以计算农业机械相对于导航路径的横向偏差和航向偏差；
所述行走控制装置，用于接收所述图像处理模块计算的横向偏差和航向偏差信息，以控制农机具的转向和行走。
一种实现方式中，所述角度传感器用于采集行走机构的角度信息，所述速度传感器用于采集行走机构的速度信息，
所述转向机构，是农机具的一个组成部分，主要用于控制行走机构转向，完成农机具的转向；所述行走机构用于实现农机具的行走；
所述PLC控制器分别与所述角度传感器和所述速度传感器，以接收所述角度传感器和所述速度传感器分别采集到的信息，检测行走机构的转向角度和行走速度；且所述PLC控制器用于接收所述树莓派传递的横向偏差信息和航向偏差信息，并向所述转向机构传递电流信号，用于控制转向机构的运动；
所述行走机构，接收所述转向机构的转向信号，以通过所述转向机构驱动所述行走机构的转向。
一种实现方式中，所述深度卷积网络模型分割图像中作物，以计算农业机械相对于导航路径的横向偏差和航向偏差的步骤，包括：
所述深度卷积网络模型分割图像中作物，提取田间作物行线；并根据左右作物行在图像上边界和下边界的坐标信息，确定作物行线的中心线，并根据所述图像采集模块的位置信息，计算农业机械相对于导航路径的横向偏差和航向偏差。
一种实现方式中，电流信号的获取包括：通过PLC控制器采用模糊控制算法，通过所述横向偏差信息和所述航向偏差信息为输入信息，计算出车辆前轮期望转角，再将所述前轮期望转角与当前车轮转角进行对比采用模糊控制算法，输入为前轮期望转角、当前车辆转角以及当前车辆速度，输出电流信号到转向机构，以通过控制转向机构中的液压电磁阀通断电，控制液压油的流向，实现拖拉机转向。
具体的，本发明还公开了一种田间农业机械视觉导航方法，所述方法包括：
采集田间作物图像；
对所采集的图像，利用工业相机的内参矩阵和畸变系数对图像进行校正处理；
对校正后的图像进行自适应中值空间滤波去噪，减少图像噪点；
通过深度卷积网络模型中的尺寸不同的卷积层对图像进行分割处理，得到图像相邻农作物航线的距离作为导航路径，并经过坐标转换获得航向偏差以及横向偏差；以根据所获得的航向偏差以及横向偏差驱动农机具行走。
一种实现方式中，所述通过深度卷积网络模型中的尺寸不同的卷积层对图像进行分割处理，得到图像相邻农作物航线的距离作为导航路径，并经过坐标转换获得航向偏差以及横向偏差的步骤，包括
通过深度卷积网络模型中的尺寸不同的卷积层对图像运算，得到和输入图像尺寸大小相同的作物分割图，对分割图进行随机取点操作，作为特征点，采用标准Hough算法拟合特征点提取作物行线，根据作物行线计算出图像中心两相邻的作物行线的图像中心线作为导航路径；
对获取的导航路径进行坐标转换，利用相机标定获取的工业相机的内外参数，利用坐标转换公式将图像坐标系转换到世界坐标系，得到世界坐标系下导航车辆与导航线的相对位姿信息，利用导航线的直线方程，可计算出农业机械相对于导航线的航向偏差以及横向偏差。
一种实现方式中，所述深度卷积网络模型包括由语义分割部分的lossseg函数与边缘检测部分的lossedg函数之和构成的网络整体的loss函数，其中，lossseg采用的是交叉熵损失函数，lossedg采用的是交叉熵损失函数与结果相似性损失函数之和。
一种实现方式中，所述得到图像相邻农作物航线的距离作为导航路径的步骤，包括：
获取图像中相邻的且斜率不同的两条作物行线为目标作物行线；
取两条目标作物行线在图像上下边界线的坐标，计算上下两组坐标的中心点，作为图像中心线的上下两点坐标，该图像中心线为导航路径。
应用本发明实施例提供的一种田间农业机械视觉导航系统及方法，具有的有益效果如下：
(1)本发明，通过简单的通信工具将图像信息传递到树莓派中，结构简单安装简易，便于操作。
(2)本发明采用树莓派微型电脑，作为图像处理模块，速度快，功能多，精确度高，可调节，可以进行实时检测处理，适用于各种农作物种子检测。
(3)采用深度卷积网络的方法检测导航路线，相较与传统的图像处理方法，适应性强，可用于不同环境，不同作物的田间导航；
附图说明：
图1是本发明实施例中田间机械视觉导航系统的系统框图。
图2是本发明实施例中田间机械视觉导航系统的一种具体实现方式。
图3是本发明实施例中深度卷积网络模型搭建的流程图。
图4是本发明实施例中田间机械视觉导航方法的流程示意图。
图5是本发明中实施例中图像中心相邻作物行的图像中心线示意图。
图6是本发明实施例中车辆相对于目标路径的姿态示意图。
图7是模糊控制算法流程图。
图8是速度V的隶属度函数图像。
图9是期望偏差E的隶属度函数图像。
图10是输出变量(I)的隶属度函数图像。
具体实施方式：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，提供了一种田间农业机械视觉导航系统，包括：
所述图像采集模块，用于采集田地作物图像；
所述图像处理模块，用于接收所采集到的田地作物图像，并通过深度卷积网络模型分割图像中作物，以计算农业机械相对于导航路径的横向偏差和航向偏差；
所述行走控制装置，用于接收所述图像处理模块计算的横向偏差和航向偏差信息，以控制农机具的转向和行走。
具体实施例中，图像采集模块使用工业相机1和图像采集2卡，用于采集田地作物图像。
图像采集模块将采集到的图像通过USB连接安装在图像处理模块的树莓派微型电脑上的图像采集卡2上，并将图像的数字信号传递给图像采集卡2；具体的图像处理模块，使用树莓派微型电脑3，用于接收所述图像采集模块所采集到的田地作物图像，并且加载深度卷积网络模型分割采集的田地作物图像，提取田间作物行线，计算导航路径，计算农业机械相对于导航路径的横向偏差和航向偏差信息，并传送给行走控制装置；所述行走控制装置，用于接收图像处理模块提供的横向偏差和航向偏差信息，利用PLC控制器通过电流信号控制转向机构的运动从而控制农机具的转向和行走。
本发明的具体实现中，图像采集卡2安装在树莓派上，可以实时的将图像的数字信号发送至树莓派3上。角度传感器4以及速度传感器6主要用于采集行走机构8的角度信息以及速度信息，并将该信息传递给PLC控制器5。
需要说明的是，转向机构，是农机具的一个组成部分，主要用于控制行走机构转向，完成农机具的转向。行走机构包括农机具的车架，前桥，后桥，车轮等用于完成农机具行走的机械结构。
转向机构7由PLC控制器5输出的电流信号控制。行走机构8是指田间作业机械的执行行走的机构，由转向机构7控制行走的转向，完成机械在田间的正确行走。PLC控制器5用于接收所述树莓派传递的横向偏差和航向偏差信息，向转向机构7传递转向角度信号，从而实现控制转向机构7的转向运动，同时检测行走机构8的转向角度和行走速度，检测行走机构的转向角度和行走速度，利用角度传感器和速度传感器检测。检测的目的是给后续计算前轮期望转角和plc输出电流信号，提供参数。以及接收角度传感器4，速度传感器6采集的行走机构的转向和速度信息。
具体的，图像采集模块的工业相机安装在所搭建的安装支架上，该支架安装在车头正前方，保证相机无遮挡，为保证采集的图像信息完整，根据工业相机的成像尺寸，安装在离地面高1.5m的位置。
具体的，行走控制装置中，plc控制器接收横向偏差和航向偏差，以及角度传感器，速度传感器检测的行走机构的转角和速度。PLC控制器采用模糊控制算法，其输入为横向偏差和航向偏差，车辆前轮期望转角作为输出，计算出车辆前轮期望转角。再将前轮期望转角与当前车轮转角进行对比采用模糊控制算法，输入为前轮期望转角，当前车辆转角以及当前车辆速度，输出电流信号到转向机构，控制转向机构中的液压电磁阀通断电，控制液压油的流向，实现拖拉机转向。具体的模糊控制算法为现有技术，在本发明中不做赘述。
另外，如图3所示，本发明还公开了一种田间农业机械视觉导航方法，所述方法包括：
S101，采集田间作物图像；
S102，对所采集的图像，利用工业相机的内参矩阵和畸变系数对图像进行校正处理；
S103，对校正后的图像进行自适应中值空间滤波去噪，减少图像噪点；
S104，通过深度卷积网络模型中的尺寸不同的卷积层对图像进行分割处理，得到图像相邻农作物航线的距离作为导航路径，并经过坐标转换获得航向偏差以及横向偏差；以根据所获得的航向偏差以及横向偏差驱动农机具行走。
结合图4-6，进行本发明田间农业机械视觉导航方法具体实现的说明。
首先，搭建网络结构，获取网络模型参数
为了获取可以分割作物与背景的网络参数，第一步：使用工业相机采集田间不同环境以及不同角度下的作物图片制作训练数据集，采用labelme软件对数据集进行像素标注获取训练所需的真实标注图，具体标注方法为将属于作物的像素标注为1，背景标注为0，根据制作的作物标注图，采用canny算子提取作物标注图的边缘，获得作物的边缘标注图，同样的属于作物边缘的像素标注为1，背景标注为0。
第二步：搭建用于分割作物和背景的网络模型，具体步骤为设计一种结合边缘信息的语义分割网络模型，设计网络训练时采用的损失函数。将数据集80％，10％，10％分成训练集，验证集和测试集，采用训练集训练所构建的语义分割网络模型，在验证集上评估模型的好坏，寻找到最优的模型后，在测试集上测试模型性能，保存模型参数文件，将网络模型参数文件下载到树莓派中。
具体的，使用的网络模型结构为一种结合边缘信息的语义分割的深度卷积网络模型，采用Unet网络模型作为基底网络，在其基础上增加边缘信息检测的网络层，利用田间作物图像的边缘事实真相标签对检测边缘信息的网络层进行监督；针对Unet网络层，采用田间作物图像的作物事实真相标签进行监督。这种结合边缘信息的语义分割网络模型可以实现在进行作物语义分割的同时关注到作物边缘的信息特征，使其分割结果不会出现边缘缺失，能更加精确的分割作物。此外为了提高网络的分割精度，同时设计了复合loss函数见公式(1)用于整体网络训练，具体细节如下：
loss＝lossseg+lossedg (1)
lossseg表示语义分割部分的loss函数，主要采用交叉熵损失函数，由公式(2)计算得，其中y(i，j)∈{0，1}，表示在分割真实标签图中的第(i，j)个像素的标签值，0为背景像素值，1为作物像素值。
表示语义分割Unet网络训练预测后的第(i，j)个像素的概率值。
lossedg＝lossbce+lossssim (3)
lossedg表示边缘检测部分的loss函数，lossbce为交叉熵损失函数，其中x(i，j)∈{0，1}，表示在边缘分割真实标签图中的第(i，j)个像素的标签值，0为背景像素值，1为作物边缘像素值。
表示边缘检测网络训练预测后的第(i，j)个像素的概率值。
如公式(4)所示lossssim为结构相似性指数，其值可以表示两幅图像的结构相似性，相似程度越高越接近0。其中x为真实标签二值化图像，x^为边缘检测网络的像素值预测概率图。μx，μx^分别是x，x^的平均值，σx，σx^为x，x^的标准偏差；σxx^为x，x^的协方差。
(2)图像预处理
结合张友正棋盘格标定法，通过MATLAB的Camera Calibrator工具箱中相机标定模块，获取工业相机的内外参数和畸变系数，给图像坐标转换提供参数。
使用图像采集模块采集田间作物图像，通过USB接口与树莓派微型电脑相连，实时将采集的图像发送至树莓派中。
树莓派对采集的图像先进行图像预处理，具体步骤为：对采集到的作物图像利用工业相机的内参矩阵和畸变系数对图像进行校正。对校正后的图像进行空间滤波去噪，减少图像噪点，提升图像质量。具体的采用自适应中值空间滤波，该种方法可以根据滤波区域的图像特性自适应的滤波器来改进滤波结果，应用广泛。
(3)加载网络模型，分割作物与背景
接着使用加载的深度卷积网络模型的所有层，对预处理后的图像进行运算，得到和输入图像尺寸大小相同的作物分割图，其作物分割图的特点为：作物部分的像素值为1，背景为0。
(4)提取作物行线，获取导航路径
对分割图进行随机取点操作，作为特征点。采用标准Hough变换检测特征点表示的直线，提取出作物行线，根据作物行线计算出每两行作物行线的图像中心线即为导航路线。
获取导航路径的具体计算过程如下：由于受相机投影模型的影响，图像中的作物行呈现出近大远小的特点，且图像中左右作物行的直线斜率，左边为正，右边为负，所以获取图像中相邻的且斜率正负不同的两条作物行线为目标作物行线，取两条目标作物行线在图像上下边界线的坐标，计算上下两组坐标的中心点，可构建图像中心线的方程。该图像中心线为导航路径。
如图5，两条作物行在图像上下边界的坐标为
左作物行与图像下边界的交点x1的坐标为(X1，0)；左作物行与图像上边界的交点y1的坐标为(Y1，hight)；
右作物行与图像上边界的交点x2的坐标为(X2，0)；右作物行与图像下边界的交点y2的坐标(Y2，hight)；其中(wight，hight)为图像右上角的坐标，
wight为图像的宽度，hight为图像的高度。
如下图4所示，设图像中心线与图像上下界相交的两点坐标为x0：(X0，0)，y0：(Y0，hight)，根据图像中心线为左右作物行的中心线的这一几何关系，可列出以下等式
Y0为图像中心线与图像上界交点的横坐标，X0为图像中心线与图像下界交点的横坐标。
由上述公式可得图像中心线的两点坐标为
其直线方程为：
化简为：
X，Y为图像中心线上任意一点的横纵坐标。
(6)坐标转换，获取真实导航路径以及计算航向偏差和横向偏差
对于获取的导航路线，表示的是图像坐标系下导航车辆与导航线的相对位姿，需要对其进行坐标转换，利用相机标定获取的工业相机的内外参数，利用坐标转换公式将图像坐标系转换到世界坐标系，得到世界坐标系下导航车辆与导航线的相对位姿信息。即真实的导航路径，由导航路径的直线参数，可通过计算获得横向偏差以及航向偏差。具体计算方式如下：将农具坐标系作为世界坐标系，世界坐标系将随着导航系统的移动而移动。选择摄像机在地面的投影点作为世界坐标系的原点，导航车辆与导航路径的位置信息如图5所示：
如图6，Xw为车辆运动方向，虚线为导航路径，直线方程为y-kx-b＝0，k为直线的斜率，b为直线截距。θ为偏差角度，r表示摄像机投影点到目标路径的横向偏差，
航向偏差
本发明实施例为了进一步对模糊控制算法进行说明，提供一具体的具体实施如图3所示，模糊控制算法实现步骤分为模糊化，模糊推理，解模糊。图7模糊控制算法流程图。
其中模糊化具体实现如下：(1)将输入变量速度V，期望偏差E，输出变量电流信号I，分别划分为7个模糊等级：{VZS(最小)，VVS(很小)，VS(小)，VM(中)，VB(大)，VVB(很大)，VZB(最大)}；{NEB(负大)，NEM(负中)，NES(负小)，EO(零)，PES(正小)，PEM(正中)，PEB(正大)}；{NIB(负大)，NIM(负中)，NIS(负小)，IO(零)，PIS(正小)，PIM(正中)，PIB(正大)}。
(2)将输入变量和输出变量的论域由连续域转换成有限整数的离散论域。
期望偏差E的基本论域为：[-15cm,15cm],按照量化因子为1，转换为离散论域：{-15，-14，，-13，-12，-11，-10，-9，-8，-7，-6，-5，-4，-3，-2，-1,0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15}；速度变量(V)的基本论域为：[0.2,1.4],按照量化因子为1，转换为离散论域：{0.2,0.3,0.4,0.5,0.6,0.7，0.8,0.9,1.0,1.1,1.2,1.3,1.4}；输出变量(I)的基本论域为：[-750mA,750mA],按照量化因子为1，转换为离散论域：{-750,-749,……,0,……749,750}。如图(6)，(7)，(8)各个变量的隶属度函数图像如下：其中横轴表示为变量大小，纵轴表示为对应大小的变量属于各模糊等级的置信度。
图8是速度V的隶属度函数图像；图9是速度V的隶属度函数图像；图10是速度V的隶属度函数图像。(3)模糊推理，对模糊规则进行设计，根据专家经验确定模糊控制的规则库，控制规则表达为IFV＝VZSandE＝NEBTHENI＝PIM,等49条模糊控制语句。表1模糊控制规则
(4)利用表1所示模糊控制规则，以及各个变量的隶属函数，当已知两个输入变量的大小，可得出输入变量属于模糊量级的置信度，推算出输出变量(I)的模糊量级对应的模糊值，采用重心法进行解模糊可以得到输出变量的清晰值。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种田间农业机械视觉导航系统，其特征在于，包括：
图像采集模块，图像处理模块，行走控制装置；
所述图像采集模块，用于采集田地作物图像；
所述图像处理模块，用于接收所采集到的田地作物图像，并通过深度卷积网络模型分割图像中作物，以计算农业机械相对于导航路径的横向偏差和航向偏差；
所述行走控制装置，用于接收所述图像处理模块计算的横向偏差信息和航向偏差信息，以控制农机具的转向和行走。
2.根据权利要求1所述的田间农业机械视觉导航系统，其特征在于，所述行走控制装置包括角度传感器，速度传感器，PLC控制器，转向机构，行走机构；
所述角度传感器用于采集行走机构的角度信息，所述速度传感器用于采集行走机构的速度信息，
所述转向机构，是农机具的一个组成部分，用于控制所述行走机构转向，完成农机具的转向；所述行走机构用于实现农机具的行走；
所述PLC控制器分别与所述角度传感器和所述速度传感器，以接收所述角度传感器和所述速度传感器分别采集到的信息，检测行走机构的转向角度和行走速度；且所述PLC控制器用于接收所述横向偏差信息和所述航向偏差信息，并向所述转向机构传递电流信号，用于控制转向机构的运动；
所述行走机构，接收所述转向机构的转向信号，以通过所述转向机构驱动所述行走机构的转向。
3.根据权利要求1所述的田间农业机械视觉导航系统，其特征在于，所述深度卷积网络模型分割图像中作物，以计算农业机械相对于导航路径的横向偏差和航向偏差的步骤，包括：
所述深度卷积网络模型分割图像中作物，提取田间作物行线；并根据左右作物行在图像上边界和下边界的坐标信息，确定作物行线的中心线，并根据所述图像采集模块的位置信息，计算农业机械相对于导航路径的横向偏差和航向偏差。
4.根据权利要求2所述的田间农业机械视觉导航系统，其特征在于，电流信号的获取包括：通过PLC控制器采用模糊控制算法，通过所述横向偏差信息和所述航向偏差信息为输入信息，计算出车辆前轮期望转角，将所述前轮期望转角与当前车轮转角进行对比采用模糊控制算法，输入为前轮期望转角、当前车辆转角以及当前车辆速度，输出电流信号到转向机构，以通过控制转向机构中的液压电磁阀通断电，控制液压油的流向，实现拖拉机转向。
5.一种田间农业机械视觉导航方法，其特征在于，所述方法包括：
采集田间作物图像；
对所采集的图像，利用工业相机的内参矩阵和畸变系数对图像进行校正处理；
对校正后的图像进行自适应中值空间滤波去噪，减少图像噪点；
通过深度卷积网络模型中的尺寸不同的卷积层对图像进行分割处理，得到图像相邻农作物航线的距离作为导航路径，并经过坐标转换获得航向偏差以及横向偏差；以根据所获得的航向偏差以及横向偏差驱动农机具行走。
6.根据权利要求5所述的田间农业机械视觉导航方法，其特征在于，所述通过深度卷积网络模型中的尺寸不同的卷积层对图像进行分割处理，得到图像相邻农作物航线的距离作为导航路径，并经过坐标转换获得航向偏差以及横向偏差的步骤，包括
通过深度卷积网络模型中的尺寸不同的卷积层对图像运算，得到和输入图像尺寸大小相同的作物分割图，对分割图进行随机取点操作，作为特征点，采用标准Hough算法拟合特征点提取作物行线，根据作物行线计算出图像中心两相邻的作物行线的图像中心线作为导航路径；
对获取的导航路径进行坐标转换，利用相机标定获取的工业相机的内外参数，利用坐标转换公式将图像坐标系转换到世界坐标系，得到世界坐标系下导航车辆与导航线的相对位姿信息，利用导航线的直线方程，可计算出农业机械相对于导航线的航向偏差以及横向偏差。
7.根据权利要求6所述的田间农业机械视觉导航方法，其特征在于，所述深度卷积网络模型包括由语义分割部分的lossseg函数与边缘检测部分的lossedg函数之和构成的网络整体的loss函数，其中，lossseg采用的是交叉熵损失函数，lossedg采用的是交叉熵损失函数与结果相似性损失函数之和。
8.根据权利要求6所述的田间农业机械视觉导航方法，其特征在于，所述得到图像相邻农作物航线的距离作为导航路径的步骤，包括：
获取图像中相邻的且斜率不同的两条作物行线为目标作物行线；
取两条目标作物行线在图像上下边界线的坐标，计算上下两组坐标的中心点，作为图像中心线的上下两点坐标，该图像中心线为导航路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764214.6A CN113587946A (zh) | 2021-07-06 | 2021-07-06 | 一种田间农业机械视觉导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764214.6A CN113587946A (zh) | 2021-07-06 | 2021-07-06 | 一种田间农业机械视觉导航系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113587946A true CN113587946A (zh) | 2021-11-02 |
Family
ID=78246201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110764214.6A Pending CN113587946A (zh) | 2021-07-06 | 2021-07-06 | 一种田间农业机械视觉导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113587946A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576326A (zh) * | 2022-10-31 | 2023-01-06 | 怀化学院 | 水稻联合收割机辅助导航方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
| DE102019201977A1 (de) * | 2019-02-14 | 2020-08-20 | Zf Friedrichshafen Ag | Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung und landwirtschaftliches Fahrzeug |
| CN112102259A (zh) * | 2020-08-27 | 2020-12-18 | 温州医科大学附属眼视光医院 | 一种基于边界引导深度学习的图像分割算法 |
| CN113065562A (zh) * | 2021-03-23 | 2021-07-02 | 北京工业大学 | 一种基于语义分割网络的作物垄行提取及主导航线选取方法 |
-
2021
- 2021-07-06 CN CN202110764214.6A patent/CN113587946A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019201977A1 (de) * | 2019-02-14 | 2020-08-20 | Zf Friedrichshafen Ag | Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung und landwirtschaftliches Fahrzeug |
| CN110243372A (zh) * | 2019-06-18 | 2019-09-17 | 北京中科原动力科技有限公司 | 基于机器视觉的智能农机导航系统及方法 |
| CN112102259A (zh) * | 2020-08-27 | 2020-12-18 | 温州医科大学附属眼视光医院 | 一种基于边界引导深度学习的图像分割算法 |
| CN113065562A (zh) * | 2021-03-23 | 2021-07-02 | 北京工业大学 | 一种基于语义分割网络的作物垄行提取及主导航线选取方法 |
Non-Patent Citations (4)
| Title |
|---|
| WEN CHENGQING; LI CHENNING; XU HAOWEI: "An improved Visual Indoor Navigation Method based on Fully convolutional Neural Network", 2020 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC), 30 November 2020 (2020-11-30) * |
| 刘庆飞: "农业场景下卷积神经网络的应用研究", 中国优秀硕士学位论文全文数据库（电子期刊）农业科技, 31 December 2019 (2019-12-31) * |
| 王毅;刘波;熊龙烨;王卓;杨长辉;: "基于深度学习的果园道路导航线生成算法研究", 湖南农业大学学报(自然科学版), no. 06, 31 December 2019 (2019-12-31) * |
| 陈旭君: "基于YOLO卷积神经网络的水稻秧苗行线检测", 江苏农业学报, vol. 36, no. 4, 31 August 2020 (2020-08-31) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576326A (zh) * | 2022-10-31 | 2023-01-06 | 怀化学院 | 水稻联合收割机辅助导航方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111337941B (zh) | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 | |
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| Zhang et al. | Tractor path tracking control based on binocular vision | |
| CN107169468A (zh) | 用于控制车辆的方法和装置 | |
| CN102914967A (zh) | 采摘机器人的自主导航和人机协同采摘作业系统 | |
| CN106584451A (zh) | 一种基于视觉导航的变电站自动构图机器人及方法 | |
| CN106599760B (zh) | 一种变电站巡检机器人行驶区域计算方法 | |
| Zhang et al. | An adaptive vision navigation algorithm in agricultural IoT system for smart agricultural robots | |
| Li et al. | Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle | |
| CN114399748A (zh) | 一种基于视觉车道检测的农机实时路径校正方法 | |
| Jun et al. | Autonomous driving system design for formula student driverless racecar | |
| Saleem et al. | Steering angle prediction techniques for autonomous ground vehicles: a review | |
| CN113917487A (zh) | 基于激光雷达的封闭道路路沿和可行驶区域检测方法 | |
| CN115993825A (zh) | 一种基于空地协同的无人车集群控制系统 | |
| CN114332647B (zh) | 一种用于无人船的河道边界检测与跟踪方法及系统 | |
| CN113587946A (zh) | 一种田间农业机械视觉导航系统及方法 | |
| CN109490926B (zh) | 一种基于双目相机和gnss的路径规划方法 | |
| CN111123953A (zh) | 人工智能大数据下粒子化移动机器人组及其控制方法 | |
| Yang et al. | Vision-based intelligent vehicle road recognition and obstacle detection method | |
| CN113282088A (zh) | 工程车的无人驾驶方法、装置、设备、存储介质及工程车 | |
| CN113960921B (zh) | 果园履带车辆视觉导航控制方法与系统 | |
| US20220377973A1 (en) | Method and apparatus for modeling an environment proximate an autonomous system | |
| CN211617676U (zh) | 一种田间道路搬运车的自动行驶系统 | |
| CN115280960A (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| CN115129063A (zh) | 一种田间作业机器人地头转向导航系统及导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |