CN113280820B - 基于神经网络的果园视觉导航路径提取方法与系统 - Google Patents

基于神经网络的果园视觉导航路径提取方法与系统 Download PDF

Info

Publication number
CN113280820B
CN113280820B CN202110642706.8A CN202110642706A CN113280820B CN 113280820 B CN113280820 B CN 113280820B CN 202110642706 A CN202110642706 A CN 202110642706A CN 113280820 B CN113280820 B CN 113280820B
Authority
CN
China
Prior art keywords
road condition
neural network
image
orchard
segnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110642706.8A
Other languages
English (en)
Other versions
CN113280820A (zh
Inventor
杨洲
欧阳琳
段洁利
张智刚
吴博欣
余家祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202110642706.8A priority Critical patent/CN113280820B/zh
Publication of CN113280820A publication Critical patent/CN113280820A/zh
Application granted granted Critical
Publication of CN113280820B publication Critical patent/CN113280820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于神经网络的果园视觉导航路径提取方法与系统，包括：S1、利用微软Kinect2深度相机进行数据采集，拍摄大量果园路况图像；S2、利用程序对数据进行预处理；S3、基于Tensorflow框架搭建Segnet深度学习神经网络模型，该模型包括编码部分和解码部分，且编码与解码之间呈一种对称关系；S4、训练已经搭建成功的Segnet深度学习神经网络模型，训练前设置模型参数；S5、基于训练成功的模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合。本发明利用Segnet深度学习神经网络模型，通过深度学习的方式提高了果园导航路径识别的准确率，为视觉导航任务提供有效参考。

Description

基于神经网络的果园视觉导航路径提取方法与系统
技术领域
本发明涉及果园视觉自主导航的技术领域，尤其是指一种基于神经网络的果园视觉导航路径提取方法与系统。
背景技术
我国作为世界上最大的水果生产国之一，水果产业已经成为我国农村经济发展的重要支柱和农民收入的主要来源，特别是在岭南地区，热带水果占据着很大的经济效益。随着人工智能和科技的不断发展，我国正朝着“精准农业”发展，精准农业的发展带动了农业机械向着自动化、智能化发展，自主导航技术作为智能农机装备的关键技术之一，极大地提高了农业机械的田间作业品质和作业效率，有效地降低了农机手的劳动强度。目前，自主导航技术可应用于耕种、灌溉、除草、施肥等生产中，研究自主导航控制技术具有重要意义。导航系统包括环境感知、路径规划和导航控制三部分，其中首要解决问题是环境感知。环境感知技术主要有全球导航卫星系统GNSS、机器视觉、激光雷达、毫米波雷达、多传感器融合等。但相比其它的感知技术，视觉导航技术凭借其探测信息广、获取信息完整和价格低廉的特点，是目前主流的导航方法之一，广泛应用于自动驾驶中的局部路径规划问题，该技术的关键在于通过图像处理的方法对导航路径进行可靠、稳定地识别，进而引导农业机械的行进。现有果园环境中，采用传统的图像处理方法易受果树形态不一、环境背景复杂以及光照条件变化等因素的干扰，急需解决。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于神经网络的果园视觉导航路径提取方法，基于Segnet深度学习神经网络模型将果园路况图像转化为路况掩码区图像，在路况掩码区图像的基础上完成果园视觉导航路径提取，通过深度学习的方式提高了果园导航路径识别的准确率，为视觉导航任务提供有效参考。
本发明的第二目的在于提供一种基于神经网络的果园视觉导航路径提取系统。
本发明的第一目的通过下述技术方案实现：基于神经网络的果园视觉导航路径提取方法，包括以下步骤：
S1、利用微软Kinect2深度相机进行数据采集，拍摄大量果园路况图像；
S2、利用程序对步骤S1采集的数据进行预处理，包括数据增强、语义分割和生成标签图像；
S3、基于Tensorflow框架搭建Segnet深度学习神经网络模型，该Segnet深度学习神经网络模型包括编码部分和解码部分，且编码与解码之间呈一种对称关系；
S4、训练已经搭建成功的Segnet深度学习神经网络模型，训练前设置模型参数，包括单次迭代样本数、丢弃率、初始学习率、学习率衰减系数为、最小学习率和训练周期；
S5、基于训练成功的Segnet深度学习神经网络模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合。
进一步，所述步骤S1包括以下步骤：
S101、微软Kinect2深度相机通过支架安装于履带底盘车上盖，横向位于履带底盘车箱体中轴线，拍摄方向为机体前方；
S102、图像采集时通过施加固定的PWM脉冲于履带底盘车的控制电机，让履带底盘车匀速行驶，模拟履带底盘车的正常作业状态；
S103、微软Kinect2深度相机通过USB数据线与笔记本连接，在履带底盘车匀速行驶过程中采集果园路况数据图像并及时存储于笔记本电脑中。
进一步，所述步骤S2包括以下步骤：
S201、使用Labelme软件对采集的果园路况图像进行语义分割，将每一张图像中的路况区域标注，生成对应的标签图像；
S202、对标签图像和原始图像在图像坐标系中做数据增强处理，包括：①原始图像和标签图像都需要旋转90度、180度、270度；②原始图像和标签图像都需要在图像坐标系沿y轴做镜像处理；③原始图像做模糊处理；④原始图像做光照调整处理；⑤原始图像做增加噪声处理；
S203、基于预处理后的图像，随机选取一些图像制作果园路况数据集。
进一步，在步骤S3，在WIN10系统下，基于Tensorflow框架搭建Segnet深度学习神经网络模型，该Segnet深度学习神经网络模型包括编码部分和解码部分；编码部分由4层上采样组成，其用于提取特征并保存池化索引，通过改动VGG-16模型的前13层卷积网络来实现，与VGG-16不同的是，Segnet深度学习神经网络模型删除了VGG-16的全连接层，并多了一步保存Maxpooling索引的操作，使Segnet深度学习神经网络模型框架变小，更容易训练；解码部分由4层下采样组成，是一个反卷积的过程，通过反卷积使得图像分类后特征得以重现并还原到图像原始尺寸，最后使用Softmax函数输出不同分类的最大值，得到最终分割图。
进一步，在步骤S4，在Win10 64位操作系统下，训练搭建成功的Segnet深度学习神经网络模型，训练前设置模型参数，其中单次迭代样本数为4，丢弃率为0.5，初始学习率为0.001，学习率衰减系数为0.1，最小学习率为1×10-4，进行50个周期的训练；通过观察准确率和损失率确保模型的准确性，其中Segnet深度学习神经网络模型训练和验证的准确率随训练周期的增加逐渐提高，并慢慢向“1”收敛；Segnet深度学习神经网络模型训练损失率和验证损失率，随着周期次数的增加不断下降，收敛于“0”为最佳效果。
进一步，所述步骤S5包括以下步骤：
S501、从预处理后的数据中随机选取果园路况图像，利用训练成功的Segnet深度学习神经网络模型识别果园路况特征，将图像中周围背景与果园路况区域分离，得到需要的路况掩码区域，最后将对应的路况掩码区域保存；
S502、将得到的路况掩码区域经过二值化处理后，能够让路况区域的像素变为255即为白色，环境区域的像素变为0即为黑色；逐行扫描图像像素，对于某个位置本身像素值为255，如果其前一个位置像素值为0，下一个位置的像素值为255，则认为该位置点为左侧边缘信息点；同理，某个位置本身像素值为255，如果其前一个位置像素值为255，下一个位置的像素值为0，则认为该位置点为右侧边缘信息点；这样就能够找到处于同一行上左右侧边缘信息点，将它们对应的像素坐标分别记录下来；
S503、处理完一张图像的路况掩码区域后，将会得到左右侧边缘信息点的一组像素坐标数据，分别遍历各组数据，将对应行上的左右侧边缘信息点像素坐标加权平均，左右侧权重均为0.5，即可得到同一行上的路况拟合中点坐标；
其中，第i个拟合中点坐标表达式为：
Figure BDA0003107656820000031
式中，(xi,m,yi,m)为第i个拟合中点像素坐标，(xi,L,yi,L)为第i个左侧边缘信息点像素坐标，(xi,R,yi,R)为第i个右侧边缘信息点像素坐标；
S504、将所有的拟合中点像素坐标保存下来，然后以像素点的横坐标为自变量，以纵坐标作为因变量，把左右侧边缘信息点和拟合中点在原图上用画图函数画出，即可得到需要的路况左右边界线以及提取的路况导航路径。
本发明的第二目的通过下述技术方案实现：基于神经网络的果园视觉导航路径提取系统，包括：
图像采集模块，用于采集果园路况信息，制作神经网络训练的数据集，这部分需要微软Kinect2深度相机、履带底盘车和笔记本电脑硬件设备，其中微软Kinect2深度相机固定在履带底盘车上，通过USB数据线和笔记本电脑通讯，相机每隔一秒的采样时间保存一幅果园路况图像；
图像预处理模块，基于图像采集模块的数据集制作训练的图像数据，剔除拍照模糊的图像，利用程序对挑选的图像进行数据增强，包括反转、模糊化、噪声处理和光照调整，突出果园路况明显的特征信息；然后使用Labelme软件对增强后的图像进行路况标注，生成标签图像；
神经网络模型模块，用于训练图像，提取果园路况信息，生成路况掩码区域；其中，基于Tensorflow框架搭建Segnet深度学习神经网络模型，不断调整模型参数，使模型的效果达到最佳，所述Segnet深度学习神经网络模型的评价标准是准确性和损失率，其中准确性需要趋近于“1”，损失率需要趋近于“0”；利用训练好的Segnet深度学习神经网络模型预测图像预处理模块处理后的图像，看最终的训练效果并生成路况掩码区域加以保存；
提取导航路径模块，基于保存的路况掩码区域，使用逐行扫描像素点的方式提取左右侧边缘信息点，将对应行上的左右侧边缘信息点加权平均，得到同一行上的拟合中点，其中左右权重为0.5；根据左右侧边缘信息点以及拟合中点，利用画图函数在原图上画出，得到需要的路况左右边界线以及提取的路况导航路径。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明基于神经网络，提高了复杂多变的果园路况图像的识别率，成功提取每张图像的导航路径。
2、搭建简单的Segnet深度学习神经网络模型，通过训练与测试将果园路况与背景环境分离，让农业机器人准确地识别路况信息并生成路况掩码区，然后基于二值化路况掩码区提取左右侧边缘信息点，拟合路况中线，能够顺利提取需要的导航路径。
3、本发明的技术流程能够避免传统方法识别果园路况图像准确率低，提取导航路径失败的问题，提高了农业机器人在果园中导航地实时性与准确性。
附图说明
图1为本发明方法的流程图。
图2为本发明系统的架构图。
图3为路况左右边界线以及拟合的导航路径提取流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
在实施之前需要一定的设备基础，具体设备如下表所示：
Figure BDA0003107656820000051
参见图1所示，本实施例所提供的基于神经网络的果园视觉导航路径提取方法，包括以下步骤：
S1、利用微软Kinect2深度相机进行数据采集，拍摄大量果园路况图像，通过USB数据线传入并存储于笔记本电脑中，具体过程如下：
S101、微软Kinect2深度相机通过支架安装于履带底盘车上盖，横向位于履带底盘车箱体中轴线，拍摄方向为机体前方；
S102、图像采集时通过施加固定的PWM脉冲于履带底盘车的控制电机，让履带底盘车匀速行驶，模拟履带底盘车的正常作业状态；
S103、微软Kinect2深度相机通过USB数据线与笔记本连接，在履带底盘车匀速行驶过程中采集果园路况数据图片并及时存储于笔记本电脑中。
S2、利用程序对步骤S1采集的数据进行预处理，包括数据增强、语义分割和生成标签图像，具体过程如下：
S201、使用Labelme软件对采集的果园路况图像进行语义分割，将每一张图像中的路况区域标注，生成对应的标签图像；
S202、对标签图像和原始图像在图像坐标系中做数据增强处理，包括：①原始图像和标签图像都需要旋转90度、180度、270度；②原始图像和标签图像都需要在图像坐标系沿y轴做镜像处理；③原始图像做模糊处理；④原始图像做光照调整处理；⑤原始图像做增加噪声处理；
S203、基于预处理后的图像，随机选取一定图像制作果园路况数据集。
S3、在WIN10系统下，基于Tensorflow框架搭建Segnet深度学习神经网络模型，该Segnet深度学习神经网络模型包括编码部分和解码部分，编码与解码之间呈一种对称关系；编码部分由4层上采样组成，其用于提取特征并保存池化索引，通过改动VGG-16模型的前13层卷积网络来实现，与VGG-16不同的是，Segnet深度学习神经网络模型删除了VGG-16的全连接层，并多了一步保存Maxpooling索引的操作，使Segnet深度学习神经网络模型框架变小，更容易训练；解码部分由4层下采样组成，是一个反卷积的过程，通过反卷积使得图像分类后特征得以重现并还原到图像原始尺寸，最后使用Softmax函数输出不同分类的最大值，得到最终分割图。
S4、在Win10 64位操作系统下，训练已经搭建成功的Segnet深度学习神经网络模型。训练前设置模型参数，其中单次迭代样本数为4，丢弃率为0.5，初始学习率为0.001，学习率衰减系数为0.1，最小学习率为1×10-4，进行50个周期的训练；通过观察准确率和损失率确保预测模型的准确性，其中模型训练和验证的准确率随训练周期的增加逐渐提高，并慢慢向“1”收敛；模型训练损失率和验证损失率，随着周期次数的增加不断下降，收敛于“0”为最佳效果。
S5、参见图3所示，基于训练成功的Segnet深度学习神经网络模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合，具体过程如下：
S501、从预处理后的数据中随机选取果园路况图像，利用训练成功的Segnet深度学习神经网络模型识别果园路况特征，将图像中周围背景与果园路况区域分离，得到需要的路况掩码区域，最后将对应的路况掩码区域保存；
S502、将得到的路况掩码区域经过二值化处理后，能够让路况区域的像素为255(即为白色)，环境区域的像素为0(即为黑色)。逐行扫描图片像素，对于某个位置本身像素值为255，如果其前一个位置像素值为0，下一个位置的像素值为255，则可认为该位置点为左侧边缘信息点；同理，某个位置本身像素值为255，如果其前一个位置像素值为255，下一个位置的像素值为0，则可认为该位置点为右侧边缘信息点，这样就可以找到处于同一行上左右侧边缘信息点，将它们对应的像素坐标分别记录下来；
S503、处理完一张图片的路况掩码区域后，将会得到左右侧边缘信息点的一组像素坐标数据，分别遍历各组数据，将对应行上的左右侧边缘信息点像素坐标加权平均，左右侧权重均为0.5，即可得到同一行上的道路拟合中点坐标；
其中，第i个拟合中点坐标表达式为：
Figure BDA0003107656820000071
式中，(xi,m,yi,m)为第i个拟合中点像素坐标，(xi,L,yi,L)为第i个左侧边缘信息点像素坐标，(xi,R,yi,R)为第i个右侧边缘信息点像素坐标。
S504、将所有的拟合中点像素坐标保存下来，然后以像素点的横坐标为自变量，以纵坐标作为因变量，把左右侧边缘信息点和拟合中点在原图上用画图函数画出，即可得到需要的路况左右边界线以及提取的路况导航路径。
参见图2所示，本实施例也提供了一种基于神经网络的果园视觉导航路径提取系统，包括：
图像采集模块，用于采集果园路况信息，制作神经网络训练的数据集，这部分需要微软Kinect2深度相机、履带底盘车和笔记本电脑硬件设备，其中微软Kinect2深度相机固定在履带底盘车上，通过USB数据线和笔记本电脑通讯，相机每隔一秒的采样时间保存一幅果园路况图像；
图像预处理模块，基于图像采集模块的数据集制作训练的图像数据，剔除拍照模糊的图像，利用程序对挑选的图像进行数据增强，包括反转、模糊化、噪声处理和光照调整，突出果园路况明显的特征信息；然后使用Labelme软件对增强后的图像进行路况标注，生成标签图像；
神经网络模型模块，用于训练图像，提取果园路况信息，生成路况掩码区域；其中，基于Tensorflow框架搭建Segnet深度学习神经网络模型，不断调整模型参数，使模型的效果达到最佳，所述Segnet深度学习神经网络模型的评价标准是准确性和损失率，其中准确性需要趋近于“1”，损失率需要趋近于“0”；利用训练好的Segnet深度学习神经网络模型预测图像预处理模块处理后的图像，看最终的训练效果并生成路况掩码区域加以保存；
提取导航路径模块，基于保存的路况掩码区域，使用逐行扫描像素点的方式提取左右侧边缘信息点，将对应行上的左右侧边缘信息点加权平均，得到同一行上的拟合中点，其中左右权重为0.5；根据左右侧边缘信息点以及拟合中点，利用画图函数在原图上画出，得到需要的路况左右边界线以及提取的路况导航路径。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.基于神经网络的果园视觉导航路径提取方法，其特征在于，包括以下步骤：
S1、利用微软Kinect2深度相机进行数据采集，拍摄大量果园路况图像；
S2、利用程序对步骤S1采集的数据进行预处理，包括数据增强、语义分割和生成标签图像，包括以下步骤：
S201、使用Labelme软件对采集的果园路况图像进行语义分割，将每一张图像中的路况区域标注，生成对应的标签图像；
S202、对标签图像和原始图像在图像坐标系中做数据增强处理，包括：①原始图像和标签图像都需要旋转90度、180度、270度；②原始图像和标签图像都需要在图像坐标系沿y轴做镜像处理；③原始图像做模糊处理；④原始图像做光照调整处理；⑤原始图像做增加噪声处理；
S203、基于预处理后的图像，随机选取一些图像制作果园路况数据集；
S3、基于Tensorflow框架搭建Segnet深度学习神经网络模型，该Segnet深度学习神经网络模型包括编码部分和解码部分，且编码与解码之间呈一种对称关系，具体如下：
在WIN10系统下，基于Tensorflow框架搭建Segnet深度学习神经网络模型，该Segnet深度学习神经网络模型包括编码部分和解码部分；编码部分由4层上采样组成，其用于提取特征并保存池化索引，通过改动VGG-16模型的前13层卷积网络来实现，具体是删除了VGG-16模型的全连接层，并多了一步保存Maxpooling索引的操作，使Segnet深度学习神经网络模型框架变小，更容易训练；解码部分由4层下采样组成，是一个反卷积的过程，通过反卷积使得图像分类后特征得以重现并还原到图像原始尺寸，最后使用Softmax函数输出不同分类的最大值，得到最终分割图；
S4、训练已经搭建成功的Segnet深度学习神经网络模型，训练前设置模型参数，包括单次迭代样本数、丢弃率、初始学习率、学习率衰减系数为、最小学习率和训练周期；
S5、基于训练成功的Segnet深度学习神经网络模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合，包括以下步骤：
S501、从预处理后的数据中随机选取果园路况图像，利用训练成功的Segnet深度学习神经网络模型识别果园路况特征，将图像中周围背景与果园路况区域分离，得到需要的路况掩码区域，最后将对应的路况掩码区域保存；
S502、将得到的路况掩码区域经过二值化处理后，能够让路况区域的像素变为255即为白色，环境区域的像素变为0即为黑色；逐行扫描图像像素，对于某个位置本身像素值为255，如果其前一个位置像素值为0，下一个位置的像素值为255，则认为该位置点为左侧边缘信息点；同理，某个位置本身像素值为255，如果其前一个位置像素值为255，下一个位置的像素值为0，则认为该位置点为右侧边缘信息点；这样就能够找到处于同一行上左右侧边缘信息点，将它们对应的像素坐标分别记录下来；
S503、处理完一张图像的路况掩码区域后，将会得到左右侧边缘信息点的一组像素坐标数据，分别遍历各组数据，将对应行上的左右侧边缘信息点像素坐标加权平均，左右侧权重均为0.5，即可得到同一行上的路况拟合中点坐标；
其中，第i个拟合中点坐标表达式为：
Figure FDA0003899046620000021
式中，(xi,m,yi,m)为第i个拟合中点像素坐标，(xi,L,yi,L)为第i个左侧边缘信息点像素坐标，(xi,R,yi,R)为第i个右侧边缘信息点像素坐标；
S504、将所有的拟合中点像素坐标保存下来，然后以像素点的横坐标为自变量，以纵坐标作为因变量，把左右侧边缘信息点和拟合中点在原图上用画图函数画出，即可得到需要的路况左右边界线以及提取的路况导航路径。
2.根据权利要求1所述的基于神经网络的果园视觉导航路径提取方法，其特征在于，所述步骤S1包括以下步骤：
S101、微软Kinect2深度相机通过支架安装于履带底盘车上盖，横向位于履带底盘车箱体中轴线，拍摄方向为机体前方；
S102、图像采集时通过施加固定的PWM脉冲于履带底盘车的控制电机，让履带底盘车匀速行驶，模拟履带底盘车的正常作业状态；
S103、微软Kinect2深度相机通过USB数据线与笔记本连接，在履带底盘车匀速行驶过程中采集果园路况数据图像并及时存储于笔记本电脑中。
3.根据权利要求1所述的基于神经网络的果园视觉导航路径提取方法，其特征在于，在步骤S4，在Win10 64位操作系统下，训练搭建成功的Segnet深度学习神经网络模型，训练前设置模型参数，其中单次迭代样本数为4，丢弃率为0.5，初始学习率为0.001，学习率衰减系数为0.1，最小学习率为1×10-4，进行50个周期的训练；通过观察准确率和损失率确保模型的准确性，其中Segnet深度学习神经网络模型训练和验证的准确率随训练周期的增加逐渐提高，并慢慢向“1”收敛；Segnet深度学习神经网络模型训练损失率和验证损失率，随着周期次数的增加不断下降，收敛于“0”为最佳效果。
4.基于神经网络的果园视觉导航路径提取系统，其特征在于，用于实现权利要求1至3中任一项所述的基于神经网络的果园视觉导航路径提取方法，包括：
图像采集模块，用于采集果园路况信息，制作神经网络训练的数据集，这部分需要微软Kinect2深度相机、履带底盘车和笔记本电脑硬件设备，其中微软Kinect2深度相机固定在履带底盘车上，通过USB数据线和笔记本电脑通讯，相机每隔一秒的采样时间保存一幅果园路况图像；
图像预处理模块，基于图像采集模块的数据集制作训练的图像数据，剔除拍照模糊的图像，利用程序对挑选的图像进行数据增强，包括反转、模糊化、噪声处理和光照调整，突出果园路况明显的特征信息；然后使用Labelme软件对增强后的图像进行路况标注，生成标签图像；
神经网络模型模块，用于训练图像，提取果园路况信息，生成路况掩码区域；其中，基于Tensorflow框架搭建Segnet深度学习神经网络模型，不断调整模型参数，使模型的效果达到最佳，所述Segnet深度学习神经网络模型的评价标准是准确性和损失率，其中准确性需要趋近于“1”，损失率需要趋近于“0”；利用训练好的Segnet深度学习神经网络模型预测图像预处理模块处理后的图像，看最终的训练效果并生成路况掩码区域加以保存；
提取导航路径模块，基于保存的路况掩码区域，使用逐行扫描像素点的方式提取左右侧边缘信息点，将对应行上的左右侧边缘信息点加权平均，得到同一行上的拟合中点，其中左右权重为0.5；根据左右侧边缘信息点以及拟合中点，利用画图函数在原图上画出，得到需要的路况左右边界线以及提取的路况导航路径。
CN202110642706.8A 2021-06-09 2021-06-09 基于神经网络的果园视觉导航路径提取方法与系统 Active CN113280820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642706.8A CN113280820B (zh) 2021-06-09 2021-06-09 基于神经网络的果园视觉导航路径提取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642706.8A CN113280820B (zh) 2021-06-09 2021-06-09 基于神经网络的果园视觉导航路径提取方法与系统

Publications (2)

Publication Number Publication Date
CN113280820A CN113280820A (zh) 2021-08-20
CN113280820B true CN113280820B (zh) 2022-11-29

Family

ID=77283898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642706.8A Active CN113280820B (zh) 2021-06-09 2021-06-09 基于神经网络的果园视觉导航路径提取方法与系统

Country Status (1)

Country Link
CN (1) CN113280820B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902748B (zh) * 2021-08-26 2024-04-26 中国石油大学(华东) 一种基于改进U-net的无人机海上溢油路径识别方法及装置
CN113808128B (zh) * 2021-10-14 2023-07-28 河北工业大学 基于相对坐标定位算法的智能压实全过程可视化控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN109614973A (zh) * 2018-11-22 2019-04-12 华南农业大学 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN111028235A (zh) * 2019-11-11 2020-04-17 东北大学 一种利用特征融合增强边缘和细节信息的图像分割方法
CN112101137A (zh) * 2020-08-26 2020-12-18 东南大学 用于爬壁机器人导航的焊缝识别与路径提取的方法
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN109614973A (zh) * 2018-11-22 2019-04-12 华南农业大学 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN111028235A (zh) * 2019-11-11 2020-04-17 东北大学 一种利用特征融合增强边缘和细节信息的图像分割方法
CN112101137A (zh) * 2020-08-26 2020-12-18 东南大学 用于爬壁机器人导航的焊缝识别与路径提取的方法
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于U-Net网络的果园视觉导航路径识别方法;韩振浩等;《农业机械学报》;20210131;第52卷(第1期);摘要，第31页第2栏第1-45行，第32页第1栏第1-15行，第2栏第1-13行，第33页第1栏第1-34行，第2栏第1-10行，第34页第1栏第1-22行，第2栏第1-17行，第35页第1栏第5-19行，第2栏第1-14行及图4和7 *
基于深度学习的高分辨率遥感图像建筑物识别;宋廷强等;《计算机工程与应用》;20201231;第56卷(第8期);26-34 *
基于稀疏约束SegNet的高分辨率遥感影像建筑物提取;张春森等;《西安科技大学学报》;20200531;第40卷(第3期);441-448 *
采用深度学习法优化的葡萄园行间路径检测;宋广虎等;《林业机械与木工设备》;20190731;第47卷(第7期);第24页第2栏第1-5行，第25页第1栏第11-26行，第2栏第1-37行 *

Also Published As

Publication number Publication date
CN113280820A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
WO2022111219A1 (zh) 一种域自适应设备运检系统和方法
CN113280820B (zh) 基于神经网络的果园视觉导航路径提取方法与系统
CN109741340B (zh) 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN114972313A (zh) 图像分割网络预训练方法及装置
CN114943888B (zh) 基于多尺度信息融合的海面小目标检测方法
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别系统及识别方法
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN117392627A (zh) 一种玉米行线提取及缺株位置检测方法
CN116486408B (zh) 遥感图像跨域语义分割方法及装置
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
Goncalves et al. Guidednet: Single image dehazing using an end-to-end convolutional neural network
CN116543162A (zh) 基于特征差值与上下文感知一致性的图像分割方法及系统
Liu et al. Peaks Fusion assisted Early-stopping Strategy for Overhead Imagery Segmentation with Noisy Labels
Zhou et al. Underwater occluded object recognition with two-stage image reconstruction strategy
Huang et al. A Stepwise Refining Image-Level Weakly Supervised Semantic Segmentation Method for Detecting Exposed Surface for Buildings (ESB) from Very High-Resolution Remote Sensing Images
Khadanga et al. Extraction of parcel boundary from UAV images using deep learning techniques
CN116957916A (zh) 图像处理方法、装置、电子设备及存储介质
CN115511839A (zh) 基于深度学习的高炉炼铁原燃料图像智能监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant