CN116091951A - 一种农田与机耕道边界线提取方法及系统 - Google Patents

一种农田与机耕道边界线提取方法及系统 Download PDF

Info

Publication number
CN116091951A
CN116091951A CN202310361463.XA CN202310361463A CN116091951A CN 116091951 A CN116091951 A CN 116091951A CN 202310361463 A CN202310361463 A CN 202310361463A CN 116091951 A CN116091951 A CN 116091951A
Authority
CN
China
Prior art keywords
farmland
image
tractor
ploughing
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310361463.XA
Other languages
English (en)
Inventor
胡炼
杨鲁宁
何杰
汪沛
罗锡文
黄培奎
李伟聪
满忠贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310361463.XA priority Critical patent/CN116091951A/zh
Publication of CN116091951A publication Critical patent/CN116091951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种农田与机耕道边界线提取方法及系统，涉及智慧农业领域。本发明方法搭建的语义分割模型对传统的语义分割模型进行了改进，引入了convnext特征提取网络，并对空间池化金字塔进行了改进，同时引入了自适应注意力机制模块，有效解决了复杂农田场景下对农田及机耕道边界识别精度不足的问题；同时通过对预测图像的边缘检测和霍夫变换，对农田及机耕道的边界进行进一步处理，提升了边界识别效果。本发明对农田和机耕道边界线的分割和提取更为高效准确，适用性更强，为进一步获取高精度农田边界和田间道路的定位信息提供了技术支撑，对于农田的大规模管控以及智能农机的精准作业起到了积极促进作用。

Description

一种农田与机耕道边界线提取方法及系统
技术领域
本发明涉及智慧农业技术领域，特别是涉及一种农田与机耕道边界线提取方法及系统。
背景技术
耕地信息是重要的农业信息之一，其对于农田长势监测、农作物产量预测、农业风险评估等应用具有重要价值。随着智慧农业的快速发展，智能化、精准农业成为农业发展的热点和趋势，如无人化播种、智能农药喷洒以及农作物智能田间管理等。如何从农田遥感影像信息中提取农田的的空间分布信息成为精准农业发展的关键技术。
现阶段，无人机和自动驾驶农机田间作业过程中所需要的农田边界信息基本是由人工提供，效率较低、成本高。因此农田及机耕道边界的自动提取是智慧农业应用中的一项关键技术。传统的基于遥感影像的农田边界信息提取方法利用光谱、空间纹理等特征结合各种分类算法识别农田地块。但现有的识别方法只能较好的分割不同类别的地物类型，对于单个农田和机耕道不能实现很好的分割。因此，有必要提供一种快速有效的农田及机耕道边界信息精准提取方法，能够提取完整、准确的农田边界和机耕道道路边缘。
发明内容
针对上述背景技术中提出的问题，本发明提供一种农田与机耕道边界线提取方法及系统，以提高农田与机耕道边界线提取效率及准确性。
为实现上述目的，本发明提供了如下方案：
一方面，本发明提供一种农田与机耕道边界线提取方法，包括：
获取无人机拍摄的农田图像并制作分割数据集；
搭建语义分割模型；所述语义分割模型包括convnext特征提取网络、改进的空洞空间卷积池化金字塔、注意力机制模块、卷积层、上采样层和特征连接层；
基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型；
采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像；
对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
可选地，所述获取无人机拍摄的农田图像并制作分割数据集，具体包括：
获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像；
将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像；
将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
可选地，所述基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型，具体包括：
采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
可选地，所述对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线，具体包括：
对预测图像进行灰度处理，得到灰度图像；
利用canny算子对灰度图像进行边缘检测，得到边缘图像；
通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
可选地，所述提取出预测图像中的农田与机耕道边界线之后，还包括：
对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；
将修正图像样本加入分割数据集中。
另一方面，本发明还提供一种农田与机耕道边界线提取系统，包括：
分割数据集制作模块，用于获取无人机拍摄的农田图像并制作分割数据集；
语义分割模型搭建模块，用于搭建语义分割模型；所述语义分割模型包括convnext特征提取网络、改进的空洞空间卷积池化金字塔、注意力机制模块、卷积层、上采样层和特征连接层；
模型训练及验证模块，用于基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型；
边界线识别模块，用于采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像；
边界线提取模块，用于对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
可选地，所述分割数据集制作模块，具体包括：
图像拼接单元，用于获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像；
图像分割及标注单元，用于将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像；
数据集制作单元，用于将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
可选地，所述模型训练及验证模块，具体包括：
模型训练及验证单元，用于采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
可选地，所述边界线提取模块，具体包括：
灰度处理单元，用于对预测图像进行灰度处理，得到灰度图像；
边缘检测单元，用于利用canny算子对灰度图像进行边缘检测，得到边缘图像；
霍夫变换单元，用于通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
可选地，所述系统还包括：
边界线修正模块，用于对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；并将修正图像样本加入分割数据集中。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的农田与机耕道边界线提取方法及系统，本发明搭建的语义分割模型对传统的语义分割模型进行了改进，引入了convnext特征提取网络，并对空间池化金字塔进行了改进，同时引入了自适应注意力机制模块，有效解决了复杂农田场景下对农田及机耕道边界识别精度不足的问题；同时通过对预测图像的边缘检测和霍夫变换，对农田及机耕道的边界进行进一步处理，提升了边界识别效果。本发明对农田和机耕道边界线的分割和提取更为高效准确，适用性更强，为进一步获取高精度农田边界和田间道路的定位信息提供了技术支撑，对于农田的大规模管控以及智能农机的精准作业起到了积极促进作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种农田与机耕道边界线提取方法的流程图；
图2为本发明搭建的语义分割模型的网络结构示意图；
图3为本发明农田与机耕道边界线提取结果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种农田与机耕道边界线提取方法及系统，以提高农田与机耕道边界线提取效率及准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种农田与机耕道边界线提取方法的流程图，参见图1，一种农田与机耕道边界线提取方法，包括：
步骤1：获取无人机拍摄的农田图像并制作分割数据集；
所述步骤1具体包括：
步骤1.1：获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像。
具体地，利用大疆Phantom 4 RTK专业版无人机低空拍摄农场的多幅农田图像作为样本，样本的场景尽可能多，样本类型包括：标准建设水田，非标准建设水田等等。将无人机采集到的多幅农田图像通过大疆智图软件进行处理，拼接成农场全局图像。
步骤1.2：将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像。
将农场全局图像切割为多个512×512像素大小的图像块，然后利用OpenCV将图像块放大到1024×1024像素进行标注，这样可以使图像的目标信息更加明显，减少标注时的麻烦，提高训练精度。
具体地，利用labelme标注工具对图像块样本采用人工目视打点方式对农田边界、机耕道边界进行像素级标注。完成标注后生成.json格式的文件，经处理生成标签图像，然后整理成DeepLabv3+对应的数据格式。无人机在低空采集图像数据时可能会遇到树木、杂草、电线杆等障碍物对目标区域造成不同程度的遮挡，进行标注时需要绕开所有障碍物，以免在特征提取过程中产生误判，进而影响模型的分割效果。
步骤1.3：将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
将标注完成的多个标签图像按照9:1的比例随机划分成训练集和验证集，并对训练集中的图像数据进行数据增强处理。数据增强处理包括翻转、平移、尺度变化、对比度变化、噪声处理等，数据增强可以增强模型的泛化能力，提高模型的识别效果。增强处理后的训练集数据与验证集数据共同构成农田与机耕道边界线的分割数据集。
步骤2：搭建语义分割模型。
本发明语义分割模型的编码器部分引入convnext网络进行特征提取；对空洞空间卷积池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）进行改进，并在ASPP后面增加注意力机制模块，具体为CBAM（Convolutional Block Attention Module，卷积块注意力模块），构建改进的ASPP；在解码器进行低层特征处理的时候引入CBAM自适应注意力机制，增强特征提取能力。因此，如图2所示，本发明搭建的语义分割模型包括：convnext特征提取网络、改进的空洞空间卷积池化金字塔ASPP、注意力机制模块CBAM、卷积层Conv、上采样层Upsample和特征连接层Concat。
其中编码器部分以convnext特征提取网络作为基础架构并输入农田分割数据集，通过convnext特征提取网络进行特征提取得到第一特征图像，包括低层特征和高层特征。将convnext提取到的高层特征输入到改进的ASPP进行处理得到特征信息集合。改进的ASPP在原有扩张率Rate分别为6、12、18三个空洞卷积层的基础上，新增了一层扩张率为8的3×3空洞卷积层，并在空洞卷积后面加入CBAM模块以增强特征提取能力，减少特征提取过程中边缘信息的损失。
解码器部分基于CBAM注意力机制对convnext特征提取网络提取到的低层特征进行处理，对低层特征采集到的特征信息进一步精细化提取。然后将低层特征和高层特征连接到一起经后续处理得到最终的输出预测图像。参见图2，解码器具体包括连接层Concat、注意力机制模块CBAM、卷积层Conv以及上采样模块。解码器部分首先对编码器输出的特征图进行4倍上采样，然后convnext特征提取网络提取到的低层特征经CBAM处理后与上采样结果连接，然后经3×3卷积对连接结果进行细化处理，最后再执行一次线性插值4倍上采样以保证输出的预测图像与原始输入图像保持一致。
步骤3：基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型。
所述步骤3采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
本发明设置混合损失函数作为语义分割模型的损失函数，计算特征图像与标签图像之间的损失率。所述混合损失函数Loss包括交叉熵损失函数和Dice系数损失函数。其中Dice系数损失函数在一定程度上可以缓解训练时出现的类别不均衡问题，交叉熵损失函数使用标签相对平滑的交叉熵可以增强泛化效果。混合损失函数的结合形式为：
（1）
其中，
（2）
（3）
（4）
N为样本总数；C为标签类别总数；表示在像素位置n处是否预测为c类；表示在像素位置n处真实类别是否为c类；TP（c）即为类别c的真正率；FN（c）为类别c的假负率；FP（c）为类别c的假正率；在本发明语义分割模型中参数α和β均设为1。λ表示和间的权值，根据验证集性能设置不同大小的权值。
对所述语义分割模型的训练采用迁移学习方法，通过加载基于VOC 2012开源数据集的convnext预训练权重初始化网络，加快模型的训练效率，缩短训练时间。接着对上述的分割数据集进行场景分析，将样本空间变换至特征空间，进行特征提取。基于Leaky ReLU激活函数定义所述语义分割模型的训练参数；基于sgd优化算法优化参数，采用动量因子为0.85的随机梯度下降法进行参数优化。采用sgd优化算法优化参数，学习率衰减策略采用周期性余弦退火衰减，让以较高的初始学习率进行快速学习，在优化迭代的阶段根据余弦函数的方式逐步降低学习率，每次当学习率衰减到0的时候会迅速回到初始值避免出现局部最优。采用sgd优化器进行模型参数优化，随着训练损失率逐渐变小至趋于收敛时停止优化。
将验证集数据输入到训练好的模型中进行语义分割测试，获取语义分割结果，即预测图像，并计算其像素准确率（Pixel Accuracy，PA）和平均交并比（Mean Intersectionover Union，MIoU）。采用图像分割评级指标MIoU以及PA对本发明改进的语义分割模型进行性能评估，MIoU表示模型分割图像的精度，PA表示预测类别正确的像素数占总像素数的比例。计算方法为：
（5）
（6）
其中，TP表示模型预测正确，即模型预测与实际都是正例；FP表示模型预测错误，即模型预测该类别为正例，但实际该类别为反例；FN代表模型预测错误，即模型预测该类别为反例，实际为正例；TN代表模型预测正确，即模型预测与实际均为反例；N代表标签类别总数，下标i代表第i类。
MIoU以及PA是评价本发明语义分割模型的指标，当MIoU和PA趋于稳定时模型终止训练，得到训练好的语义分割模型。MIoU和PA越高，最终模型预测效果越好。
步骤4：采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像。
将待提取农田图像输入训练好的语义分割模型，即可输出预测完成的Mask图像作为预测图像。
步骤5：对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
所述步骤5具体包括：
步骤5.1：对预测图像进行灰度处理，得到灰度图像。
对语义分割网络的输出的预测图像进行灰度处理，根据每个像素点处三通道的值计算该点的灰度值，得到灰度图像，公式如下：
（7）
其中R、G、B分别表示红、绿、蓝三种颜色通道的值，Gray表示灰度值。
步骤5.2：利用canny算子对灰度图像进行边缘检测，得到边缘图像。
首先通过高斯滤波对灰度图像进行去噪处理，然后计算梯度的幅度与方向，并沿着梯度方向对幅值进行非极大值抑制，最后用双阈值算法确定最终的边缘信息，得到边缘图像。
步骤5.3：通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
通过霍夫变换对得到的边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，根据农田的实例场景，采用直线极坐标霍夫变换，利用图像空间和霍夫参数空间的对偶性关系将边缘图像中的二维空间和直线极坐标空间进行转换，可将笛卡尔坐标系中的点映射到霍夫空间曲线，二维空间与霍夫空间转换关系为：
（8）
其中，ρ为笛卡尔坐标系中原点到直线的距离，即极径；θ为该直线的垂线和x轴的夹角；（x,y）为直线上像素点在图像中的二维坐标。
在参数合适的最大值和最小值之间设置一个零散的参数空间；建立一个累加器，并设置每一个元素为0；对边缘图像空间中的每一点做霍夫变换，并在相应的累加器加一；把累加器中超过所设阈值的参数空间点进行霍夫逆变换可以得到图像空间中的直线，即为提取出的农田与机耕道边界线，并进行展示。
进一步地，在提取出预测图像中的农田与机耕道边界线之后，还可以对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；然后将修正图像样本加入分割数据集中进行模型优化训练。将产生误判的边界线区域作为预测难度较大的新样本进行整理，并将其加入上述分割数据集中重新对模型进行训练，随着农场数量的增加和模型分割任务的增多，分割数据集可以不断扩充。
将修正图像中指农田边界（田埂）和机耕道边界两类目标物进行提取分离，并生成对应的图层以方便查看。进一步地，还可以将农田与机耕道边界线的像素坐标以数据列表的形式输出，以供控制无人机或自动驾驶农机进行田间作业时使用。
根据步骤5定位出的农田边界（田埂）和机耕道边界，可以精准控制无人机或自动驾驶农机进行田间作业。如图3所示，通过对比原始拍摄的农田图像可以看出，本发明方法提取的农田与机耕道边界线与原始拍摄的农田图像完全吻合。通过对比白色方框部分所显示的DeepLabV3+网络的农田与机耕道边界线分割效果与本发明方法的分割效果可以看出，本发明方法提取出的农田与机耕道边界线相较DeepLabV3+网络而言更加完整、平滑且清晰，精准度更高，实现了农田与机耕道边界线的高效准确提取。
传统的农田边界分割方法包括基于阈值分割、随机森林算法优选纹理特征等技术手段，耗时长且解译精度低，本发明对传统的语义分割模型进行了改进，引入了convnext特征提取网络，并对ASPP进行改进同时引入了自适应注意力机制CBAM模块，在一定程度上提高了解译精度和分割效率；同时对预测图像利用canny算子进行边缘检测和霍夫变换，对农田及机耕道的边界进行进一步提取，提升了边界识别效果。与现有技术相比，本发明对农田与机耕道边界线的提取和分割结果更为高效准确，高精度农田边界定位信息为无人驾驶设备的田间作业提供了技术支撑，对于农田的大规模管控以及智能农机的精准作业起到了积极促进作用。
基于本发明提供的方法，本发明还提供一种农田与机耕道边界线提取系统，包括：
分割数据集制作模块，用于获取无人机拍摄的农田图像并制作分割数据集；
语义分割模型搭建模块，用于搭建语义分割模型；所述语义分割模型包括convnext特征提取网络、改进的空洞空间卷积池化金字塔、注意力机制模块、卷积层、上采样层和特征连接层；
模型训练及验证模块，用于基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型；
边界线识别模块，用于采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像；
边界线提取模块，用于对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
其中，所述分割数据集制作模块，具体包括：
图像拼接单元，用于获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像；
图像分割及标注单元，用于将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像；
数据集制作单元，用于将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
所述模型训练及验证模块，具体包括：
模型训练及验证单元，用于采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
所述边界线提取模块，具体包括：
灰度处理单元，用于对预测图像进行灰度处理，得到灰度图像；
边缘检测单元，用于利用canny算子对灰度图像进行边缘检测，得到边缘图像；
霍夫变换单元，用于通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
所述系统还包括：
边界线修正模块，用于对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；并将修正图像样本加入分割数据集中。
本发明方法及系统对农田与机耕道边界线的分割和提取准确且高效，能够快速获取农田和机耕道边界线的分割图像，有效改善分割边界模糊、类别不连续等问题，为无人驾驶设备的田间作业提供了有力技术支撑，对于农田的大规模管控以及智能农机的精准作业起到了积极作用，具有广泛的应用前景。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种农田与机耕道边界线提取方法，其特征在于，包括：
获取无人机拍摄的农田图像并制作分割数据集；
搭建语义分割模型；所述语义分割模型包括convnext特征提取网络、改进的空洞空间卷积池化金字塔、注意力机制模块、卷积层、上采样层和特征连接层；
基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型；
采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像；
对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
2.根据权利要求1所述的农田与机耕道边界线提取方法，其特征在于，所述获取无人机拍摄的农田图像并制作分割数据集，具体包括：
获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像；
将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像；
将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
3.根据权利要求2所述的农田与机耕道边界线提取方法，其特征在于，所述基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型，具体包括：
采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
4.根据权利要求3所述的农田与机耕道边界线提取方法，其特征在于，所述对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线，具体包括：
对预测图像进行灰度处理，得到灰度图像；
利用canny算子对灰度图像进行边缘检测，得到边缘图像；
通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
5.根据权利要求4所述的农田与机耕道边界线提取方法，其特征在于，所述提取出预测图像中的农田与机耕道边界线之后，还包括：
对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；
将修正图像样本加入分割数据集中。
6.一种农田与机耕道边界线提取系统，其特征在于，包括：
分割数据集制作模块，用于获取无人机拍摄的农田图像并制作分割数据集；
语义分割模型搭建模块，用于搭建语义分割模型；所述语义分割模型包括convnext特征提取网络、改进的空洞空间卷积池化金字塔、注意力机制模块、卷积层、上采样层和特征连接层；
模型训练及验证模块，用于基于分割数据集对语义分割模型进行训练和验证，得到训练好的语义分割模型；
边界线识别模块，用于采用训练好的语义分割模型对待提取农田图像中的农田与机耕道边界线进行识别，得到预测图像；
边界线提取模块，用于对预测图像进行边缘检测和霍夫变换，提取出预测图像中的农田与机耕道边界线并生成边界线图层。
7.根据权利要求6所述的农田与机耕道边界线提取系统，其特征在于，所述分割数据集制作模块，具体包括：
图像拼接单元，用于获取无人机拍摄的多幅农田图像，经拼接得到农场全局图像；
图像分割及标注单元，用于将农场全局图像分割为多个512×512像素大小的图像块，并对图像块中的农田边界和机耕道边界进行像素级标注，生成多个标签图像；
数据集制作单元，用于将多个标签图像随机划分成训练集和验证集，并对训练集进行数据增强处理，增强处理后的训练集与验证集共同构成分割数据集。
8.根据权利要求7所述的农田与机耕道边界线提取系统，其特征在于，所述模型训练及验证模块，具体包括：
模型训练及验证单元，用于采用混合损失函数并利用增强处理后的训练集对语义分割模型进行训练，利用验证集对训练过程中的语义分割模型进行验证，计算其像素准确率和平均交并比，待像素准确率和平均交并比趋于稳定时终止训练，得到训练好的语义分割模型。
9.根据权利要求8所述的农田与机耕道边界线提取系统，其特征在于，所述边界线提取模块，具体包括：
灰度处理单元，用于对预测图像进行灰度处理，得到灰度图像；
边缘检测单元，用于利用canny算子对灰度图像进行边缘检测，得到边缘图像；
霍夫变换单元，用于通过霍夫变换对边缘图像中不同形态特征的农田边界线和机耕道边界线进行提取，提取出农田与机耕道边界线。
10.根据权利要求9所述的农田与机耕道边界线提取系统，其特征在于，还包括：
边界线修正模块，用于对提取效果不佳或产生误判的农田与机耕道边界线进行修正，并将修正图像以512×512像素大小进行保存，构建修正图像样本；并将修正图像样本加入分割数据集中。
CN202310361463.XA 2023-04-07 2023-04-07 一种农田与机耕道边界线提取方法及系统 Pending CN116091951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310361463.XA CN116091951A (zh) 2023-04-07 2023-04-07 一种农田与机耕道边界线提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310361463.XA CN116091951A (zh) 2023-04-07 2023-04-07 一种农田与机耕道边界线提取方法及系统

Publications (1)

Publication Number Publication Date
CN116091951A true CN116091951A (zh) 2023-05-09

Family

ID=86187188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310361463.XA Pending CN116091951A (zh) 2023-04-07 2023-04-07 一种农田与机耕道边界线提取方法及系统

Country Status (1)

Country Link
CN (1) CN116091951A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343070A (zh) * 2023-05-22 2023-06-27 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116500638A (zh) * 2023-06-25 2023-07-28 江苏大学 一种基于slam技术的收割机机耕道自动导航方法及系统
CN116630650A (zh) * 2023-07-20 2023-08-22 武汉理工大学 一种田垄宽度识别方法及用于田垄的无人车装置
CN117308965A (zh) * 2023-11-28 2023-12-29 华南农业大学 基于滑动窗口算法的收获机器人自主卸粮路径规划方法
CN117392157A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种边缘感知的保护性耕作秸秆覆盖率检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259898A (zh) * 2020-01-08 2020-06-09 西安电子科技大学 基于无人机航拍图像的农作物分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUHAI PAN ET AL.: "A ConvNeXt Backbone-Based Medical Image Segmentation Model for Brain Glioma", 《CIBDA 2022; 3RD INTERNATIONAL CONFERENCE ON COMPUTER INFORMATION AND BIG DATA APPLICATIONS》, pages 75 - 78 *
MARYA RASIB ET AL.: "Pixel Level Segmentation Based Drivable Road Region Detection and Steering Angle Estimation Method for Autonomous Driving on Unstructured Roads", 《IEEE ACCESS》, vol. 9, pages 167855 - 167867 *
闫星成: "基于深度学习的指针式仪表示数读取研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 03, pages 042 - 809 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343070A (zh) * 2023-05-22 2023-06-27 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116343070B (zh) * 2023-05-22 2023-10-13 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法
CN116500638A (zh) * 2023-06-25 2023-07-28 江苏大学 一种基于slam技术的收割机机耕道自动导航方法及系统
CN116500638B (zh) * 2023-06-25 2023-10-10 江苏大学 一种基于slam技术的收割机耕道自动导航方法及系统
CN116630650A (zh) * 2023-07-20 2023-08-22 武汉理工大学 一种田垄宽度识别方法及用于田垄的无人车装置
CN116630650B (zh) * 2023-07-20 2023-09-29 武汉理工大学 一种田垄宽度识别方法及用于田垄的无人车装置
CN117308965A (zh) * 2023-11-28 2023-12-29 华南农业大学 基于滑动窗口算法的收获机器人自主卸粮路径规划方法
CN117308965B (zh) * 2023-11-28 2024-03-12 华南农业大学 基于滑动窗口算法的收获机器人自主卸粮路径规划方法
CN117392157A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种边缘感知的保护性耕作秸秆覆盖率检测方法
CN117392157B (zh) * 2023-12-13 2024-03-19 长春理工大学 一种边缘感知的保护性耕作秸秆覆盖率检测方法

Similar Documents

Publication Publication Date Title
CN116091951A (zh) 一种农田与机耕道边界线提取方法及系统
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109766887B (zh) 一种基于级联沙漏神经网络的多目标检测方法
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN114239756B (zh) 一种虫害检测方法及系统
CN114926511A (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN110969182A (zh) 基于农田图像的卷积神经网络构建方法及其系统
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN112204567A (zh) 基于机器视觉的树木种类识别方法及装置
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
Lu et al. Farmland boundary extraction based on the AttMobile-DeeplabV3+ network and least squares fitting of straight lines
CN111476129A (zh) 一种基于深度学习的土壤杂质检测方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN113807137A (zh) 用于识别种植行中心线的方法、装置、农用机械及介质
CN117649610B (zh) 一种基于YOLOv5的害虫检测方法及系统
CN117351356B (zh) 一种无人机视角下田间作物及其近缘种病害检测方法
CN117011688B (zh) 一种水下结构病害的识别方法、系统及存储介质
CN111667493B (zh) 基于可变形卷积神经网络的果园果树区域分割方法和系统
CN116258711A (zh) 一种基于倾斜矩形框的稻纵卷叶螟为害状图像检测方法
Hu et al. ATT-UNet: Pixel-wise Staircase Attention for Weed and Crop Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230509