CN111950349A - 基于语义分割的田间导航线提取方法 - Google Patents

基于语义分割的田间导航线提取方法 Download PDF

Info

Publication number
CN111950349A
CN111950349A CN202010606627.7A CN202010606627A CN111950349A CN 111950349 A CN111950349 A CN 111950349A CN 202010606627 A CN202010606627 A CN 202010606627A CN 111950349 A CN111950349 A CN 111950349A
Authority
CN
China
Prior art keywords
row
network
semantic segmentation
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010606627.7A
Other languages
English (en)
Inventor
梁秀英
梁博
许锡晨
杨万能
熊立仲
陈国兴
卢少志
冯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202010606627.7A priority Critical patent/CN111950349A/zh
Publication of CN111950349A publication Critical patent/CN111950349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割的田间导航线提取方法。该方法设计了用于提取田间导航路径的语义分割网络模型分割作物行间导航区域，再提取特征点，并采用过已知点霍夫变换提取导航线。语义分割网络基于Enet，去除网络结构冗余的一部分来降低网络参数量以提高该模型的预测的速度。基于已知点霍夫变换相较于传统霍夫变换速度更快。该方法可以提高机器视觉的鲁棒性，有效降低光照、颜色、作物高度等环境因素对路径识别的干扰。该方法适用于田间行栽培作物的导航路径识别，相较于传统机器视觉提取导航路径，具备精度高、适用性强、抗干扰能力强的技术优势。

Description

基于语义分割的田间导航线提取方法
技术领域
本发明属于农业自动化领域，具体涉及田间机器人导航，尤其涉及一种基于语义分割的田间导航线提取方法。
背景技术
实现田间车辆的自动行驶能有效提高作业效率，降低人工成本和劳动强度，也是智慧农业的重要组成部分。而传统的机器视觉提取导航线的方法大多采用图像处理技术来去除外界环境的干扰，但还是易受光照等环境因素的影响，不够稳定，因此，提高导航线提取的鲁棒性就显得非常重要。
在现有的导航线提取技术中，一般采用基于图像处理的阈值分割方法来区分背景和导航线提取区域。而基于图像处理的方法容易受到光照等环境因素的干扰而导致特征点提取误差大，鲁棒性差。
语义分割技术是神经网络发展的重要成果。可以通过训练神经网络输入图像，自动识别出作物行间区域为目标区域，并对图像中的每个像素进行标注。采用多样的数据训练网络可以得到更具有泛化性的模型，提高模型的鲁棒性。
发明内容
(一)要解决的技术问题
为解决机器视觉在田间导航中受光照，杂草等环境因素影响导致导航鲁棒性差的问题，本发明提供了一种基于语义分割的田间导航线提取方法，从而实现田间导航线的实时、准确、稳定的提取。
(二)技术方案
本发明为解决其技术问题所采用的的技术方案，提供了一种基于语义分割的田间导航线提取方法，该方法的总体技术流程见图1。
一种基于语义分割的田间导航线提取方法，其特征在于，包括：
步骤A，采集田间可行驶道路田间图像，选取不同天气光照条件下的原始图像，用于构建作物行间区域分割网络模型；
步骤B，人工使用Labelme对这些图像进行像素级标注，可识别的作物行间区域被标注为1，其它部分当做背景被标注为0；
步骤C，对每一张图像，进行亮度，对比度调整进行数据扩增，用于模拟不同天气的光照变化，提高分割网络的泛化能力；
步骤D，基于Keras框架训练分割网络模型，基于Enet网络结构，移除了Enet网络中冗余的卷积层，避免特征的重复提取，降低参数量，提高识别速度，网络模型结构见图2，Enet网络的初始化层结构见图3，Bottleneck层结构见图4，每个Bottleneck有三个卷积层。第一个卷积层为1×1卷积，用于减少维度。当某一个是Bottleneck下采样类型时第一个卷积层被映射为2×2，步长为2的卷积层，并且使用0填充。第二个卷积层可以是常规的3×3卷积，可以是1×5，5×1的非对称卷积，也可以是膨胀率为2/4/8/16卷积。第三个卷积层为1×1的卷积层用来升维；
步骤E，基于训练好的网络模型，分割作物行间区域；
步骤F，对分割好的图像提取作物行间区域每一行像素的中心点作为特征点，将这些特征点作为已知点来拟合导航线。
更具体的，步骤D中基于Enet的网络结构训练网络模型，具体流程包括5个步骤：
更具体地，步骤B中玉米三维点云的预处理，具体流程包括4个步骤：
(1)确定网络结构为Enet；
(2)对Enet网络模型进行压缩，去除冗余的卷积层，输出层使用sigmoid非线性层将输出归一化到0到1之间，具体网络结构见图2；
(3)确定网络模型参数具体包括：Batchsize，Epoch，Lr；
(4)确定网络的优化方法为牛顿动量的优化方法；
(5)设置EarlyStopping为网络训练的提前终止条件，设置loss值三个epoch不下降为网络训练终止的条件。
更具体的，步骤E的基于已知点霍夫变换提取导航线的具体流程为将摄像头输的图像输入到步骤D训练好的网络模型中，输出预测完成的图像，输出RGB图像的作物行间区域为蓝色区域。然后提取输出图像的B颜色区域为二值图，即背景像素值为0，可行驶导航区域像素值为255。
更具体的，步骤F的基于已知点霍夫变换提取导航线的具体流程为，遍历输入图像的感兴趣区域中的每一行像素，首先找到分割后图像每一行作物行间区域目标像素的起始点位置，然后统计每一行像素为作物行间区域目标像素的数量，即像素值为255的像素，用各行作物行间区域目标像素起始点位置加上各行作物行间区域目标像素的数量的一半即为该行目标像素的中心点位置。再对各行目标像素的中心点作为特征点进行已知点霍夫变换，从而得到导航线的斜率k、截距b并输出导航线的角度。
所述的基于语义分割的田间导航线提取方法，适用于多种田间道路导航线的提取，例如辣椒，红薯，青菜等行种植作物。为后续导航系统的开发做好了前提准备，相比传统导航线提取技术而言，具有鲁棒性强、适用性强的技术优势。
(三)有益效果
本发明基于发明人在本领域多年的技术积累和研发，提供了一种基于语义分割的田间导航线提取方法，从而实现田间田间导航线的准确、稳定提取。该方法能够克服传统方法在稳定性不足或效果不好的缺点。可推广运用于各种田间的导航线提取，相比传统导航线提取技术而言，具有鲁棒性强、适用性强的技术优势。
附图说明
图1为本发明的总体技术方案图。
图2为本发明用到的语义分割网络示意图
图3为Enet网络初始化层结构示意图
图4为Enet网络Bottleneck层结构示意图
图5为提取效果图。
具体实施方式
本发明为解决其技术问题所采用的的技术方案，提供了一种基于语义分割的田间导航线提取方法，该方法的总体技术流程见图1。
一种基于语义分割的田间导航线提取方法，其特征在于，包括：
步骤A，采集田间作物行间区域田间图像，选取不同天气光照条件下的原始图像，用于构建作物行间区域分割网络模型；
步骤B，人工使用Labelme对这些图像进行像素级标注，可识别的作物行间区域被标注为1，其它部分当做背景被标注为0；
步骤C，对每一张图像，进行亮度，对比度调整进行数据扩增，用于模拟不同天气的光照变化，提高分割网络的泛化能力；
步骤D，基于Keras框架训练分割网络模型，基于Enet网络结构，移除了Enet网络中冗余的卷积层，避免特征的重复提取，降低参数量，提高识别速度，具体网络结构见图2；Enet网络的初始化层结构见图3，Bottleneck层结构见图4，每个Bottleneck有三个卷积层。第一个卷积层为1×1卷积，用于减少维度。当某一个是Bottleneck下采样类型时第一个卷积层被映射为2×2，步长为2的卷积层，并且使用0填充。第二个卷积层可以是常规的3×3卷积，可以是1×5，5×1的非对称卷积，也可以是膨胀率为2/4/8/16卷积。第三个卷积层为1×1的卷积层用来升维；
步骤E，基于训练好的网络模型，分割作物行间区域；
步骤F，对分割好的图像提取作物行间区域每一行像素的中心点作为特征点，将这些特征点作为已知点来拟合导航线。
更具体的，步骤D中基于Enet的网络结构训练网络模型，具体流程包括5个步骤：
(1)确定网络结构为Enet；
(2)对Enet网络模型进行压缩，去除冗余的卷积层，输出层使用sigmoid非线性层将输出归一化到0到1之间，具体网络结构模型见图2；
(3)确定网络模型参数具体包括：Batchsize，Epoch，Lr；
(4)确定网络的优化方法为牛顿动量的优化方法；
(5)设置EarlyStopping为网络训练的提前终止条件，设置loss值三个epoch不下降为网络训练终止的条件。
更具体的，步骤E的基于已知点霍夫变换提取导航线的具体流程为将摄像头输的图像输入到步骤D训练好的网络模型中，输出预测完成的图像，输出RGB图像的作物行间区域为蓝色区域。然后提取输出图像的B颜色区域为二值图，即背景像素值为0，作物行间区域像素值为255。
更具体的，步骤F的基于已知点霍夫变换提取导航线的具体流程为，遍历输入图像的感兴趣区域中的每一行像素，首先找到分割后图像每一行作物行间区域目标像素的起始点位置，然后统计每一行像素为作物行间区域目标像素的数量，即像素值为255的像素，用各行作物行间区域目标像素起始点位置加上各行作物行间区域目标像素的数量的一半即为该行目标像素的中心点位置。再对各行目标像素的中心点作为特征点进行已知点霍夫变换，从而得到导航线的斜率k、截距b并输出导航线的角度。
本专利的算法处理主要是基于Python IDLE软件，Keras深度学习库，Opencv开源计算机视觉库。首先通过摄像头输入实时视频，然后对视频帧按照所述技术方案进行处理，获取田间导航线。图5为导航线提取后的效果。
该方法可用于多种行种植作物，例如辣椒，青菜，红薯等作物的导航线提取。
本申请中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例作各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于语义分割的田间导航线提取方法，其特征在于，包括：
步骤A，采集田间作物行间图像，选取不同天气、不同光照、不同生长期等条件下的原始图像，用于构建道路分割网络模型；
步骤B，人工使用Labelme对这些图像进行像素级标注，可识别的行间区域被标注为1，其它部分当做背景被标注为0，制作数据集；
步骤C，对每一张图像，进行亮度，对比度调整进行数据扩增，用于模拟不同天气的光照变化，提高分割网络的泛化能力；
步骤D，基于Keras框架训练分割网络模型，基于Enet网络结构，移除了Enet网络中重复的部分的卷积层，避免特征的重复提取，降低参数量，提高识别速度，具体网络结构见图2；Enet网络的初始化层结构见图3，Bottleneck层结构见图4，每个Bottleneck有三个卷积层。第一个卷积层为1×1卷积，用于减少维度。当某一个是Bottleneck下采样类型时第一个卷积层被映射为2×2，步长为2的卷积层，并且使用0填充。第二个卷积层可以是常规的3×3卷积，可以是1×5，5×1的非对称卷积，也可以是膨胀率为2/4/8/16卷积。第三个卷积层为1×1的卷积层用来升维。
2.根据权利要求1所述的基于语义分割的田间导航线提取方法，其特征在于，所述步骤D中基于Enet的网络结构训练网络模型，具体流程包括5个步骤：
(1)确定网络结构为Enet；
(2)对Enet网络模型进行压缩，去除冗余的卷积层，输出层使用sigmoid非线性层将输出归一化到0到1之间，具体网络结构见图2；
(3)将确定网络模型参数具体包括：Batchsize，Epoch，Lr；
(4)确定网络的优化方法为牛顿动量的优化方法；
(5)设置EarlyStopping为网络训练的提前终止条件，设置loss值三个epoch不下降为网络训练终止的条件。
3.根据权利要求1所述的基于语义分割的田间导航线提取方法，其特征在于，所述步骤E的基于已知点霍夫变换提取导航线的具体流程为将摄像头输的图像输入到步骤D训练好的网络模型中，输出预测完成的图像，输出RGB图像的作物行间区域为蓝色区域。然后提取输出图像的B颜色区域为二值图，即背景像素值为0，作物行间区域像素值为255。
4.根据权利要求1所述的基于语义分割的田间导航线提取方法，其特征在于，所述步骤F的基于已知点霍夫变换提取导航线的具体流程为，遍历输入图像的感兴趣区域中的每一行像素，首先找到分割后图像每一行作物行间区域目标像素的起始点位置，然后统计每一行像素为作物行间区域目标像素的数量，即像素值为255的像素，用各行作物行间区域目标像素起始点位置加上各行作物行间区域目标像素的数量的一半即为该行目标像素的中心点位置。再对各行目标像素的中心点作为特征点进行已知点霍夫变换，从而得到导航线的斜率k、截距b并输出导航线的角度。
5.根据权利要求1所述的基于语义分割的田间导航线提取方法，适用于多种田间道路导航线的提取，例如辣椒，红薯，青菜等行种植作物。为后续导航系统的开发做好了前提准备，相比传统导航线提取技术而言，具有鲁棒性强、适用性强的技术优势。
CN202010606627.7A 2020-06-22 2020-06-22 基于语义分割的田间导航线提取方法 Pending CN111950349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010606627.7A CN111950349A (zh) 2020-06-22 2020-06-22 基于语义分割的田间导航线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010606627.7A CN111950349A (zh) 2020-06-22 2020-06-22 基于语义分割的田间导航线提取方法

Publications (1)

Publication Number Publication Date
CN111950349A true CN111950349A (zh) 2020-11-17

Family

ID=73337551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010606627.7A Pending CN111950349A (zh) 2020-06-22 2020-06-22 基于语义分割的田间导航线提取方法

Country Status (1)

Country Link
CN (1) CN111950349A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361373A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种农业场景下的航拍图像实时语义分割方法
CN113743410A (zh) * 2021-02-09 2021-12-03 京东数字科技控股股份有限公司 图像处理方法、装置和计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743410A (zh) * 2021-02-09 2021-12-03 京东数字科技控股股份有限公司 图像处理方法、装置和计算机可读存储介质
CN113743410B (zh) * 2021-02-09 2024-04-09 京东科技控股股份有限公司 图像处理方法、装置和计算机可读存储介质
CN113361373A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种农业场景下的航拍图像实时语义分割方法

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
Dias et al. Multispecies fruit flower detection using a refined semantic segmentation network
Tian et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model
CN109711325B (zh) 一种芒果采摘点识别方法
Dias et al. Apple flower detection using deep convolutional networks
Bargoti et al. Image segmentation for fruit detection and yield estimation in apple orchards
Yin et al. Computer vision and machine learning applied in the mushroom industry: A critical review
Zhuang et al. Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios
Zheng et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard
Lv et al. A method to obtain the near-large fruit from apple image in orchard for single-arm apple harvesting robot
Selvi et al. Weed detection in agricultural fields using deep learning process
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN111950349A (zh) 基于语义分割的田间导航线提取方法
CN111727457A (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
Wang et al. Combining SUN-based visual attention model and saliency contour detection algorithm for apple image segmentation
CN111784764A (zh) 一种茶叶嫩芽识别与定位算法
Lei et al. Bayberry segmentation in a complex environment based on a multi-module convolutional neural network
Gao et al. Recognition and Detection of Greenhouse Tomatoes in Complex Environment.
CN117392627A (zh) 一种玉米行线提取及缺株位置检测方法
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及系统
CN113280820B (zh) 基于神经网络的果园视觉导航路径提取方法与系统
Wang et al. Fusing vegetation index and ridge segmentation for robust vision based autonomous navigation of agricultural robots in vegetable farms
Zhang et al. [Retracted] Application of Convolution Neural Network Algorithm Based on Intelligent Sensor Network in Target Recognition of Corn Weeder at Seedling Stage
Khokher et al. Early yield estimation in viticulture based on grapevine inflorescence detection and counting in videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination