CN117372327B - 一种水田导航基准线检测方法、系统及设备 - Google Patents

一种水田导航基准线检测方法、系统及设备 Download PDF

Info

Publication number
CN117372327B
CN117372327B CN202310826126.3A CN202310826126A CN117372327B CN 117372327 B CN117372327 B CN 117372327B CN 202310826126 A CN202310826126 A CN 202310826126A CN 117372327 B CN117372327 B CN 117372327B
Authority
CN
China
Prior art keywords
stdc
image
ridge
region
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310826126.3A
Other languages
English (en)
Other versions
CN117372327A (zh
Inventor
何勇
张皙雅
张泽清
方慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310826126.3A priority Critical patent/CN117372327B/zh
Publication of CN117372327A publication Critical patent/CN117372327A/zh
Application granted granted Critical
Publication of CN117372327B publication Critical patent/CN117372327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种水田导航基准线检测方法、系统及设备，涉及农机自动导航领域，该方法包括：获取小俯仰角下的水田插秧作业图像；将水田插秧作业图像输入至融合语义分割网络以及幽灵网络的深度学习网络G‑STDC，分割出水田插秧作业图像中的各个区域；深度学习网络G‑STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G‑STDC块形成的；根据各个区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；根据导航基准线对农机自动导航以及转弯路径规划。本发明能够准确分割出已插秧区域、未插秧区域以及田埂区域以及精准提取出导航基准线。

Description

一种水田导航基准线检测方法、系统及设备
技术领域
本发明涉及农机自动导航领域，特别是涉及一种水田导航基准线检测方法、系统及设备。
背景技术
近年来，中国农机自动导航技术蓬勃发展。现有的自动导航技术中，基于卫星定位的自动导航技术较为成熟，可全天候工作，在旱地农机中应用较多。卫星定位在中国的复杂农田环境中，很容易受到周围建筑或者树木等的干扰而造成信号缺失和偏移。在水田环境下，基于卫星定位的自动导航还存在由于车身颠簸引起的定位精度偏差问题、车辆侧滑引起的路径规划适应性差等问题和多路径效应引起的定位失效问题。此外，目前主流的卫星定位导航系统的普通单点定位精度远无法满足农业上的精度需要(例如，北斗三号基本系统的水平定位精度为优于3m)，而利用差分定位技术等高精度定位技术的卫星定位导航系统价格高昂。从农机智能化角度看，基于卫星定位的自动导航技术无法独立实现避障，也无法同时完成田间信息采集等其他任务。
考虑到上述卫星定位的固有缺陷，单一的卫星定位传感器已无法满足农业生产对农机全面智能化的性能要求。研究表明，视觉具有价格低廉、精度高等优势，可有效弥补卫星导航的在水田导航中的缺陷。然而目前市场上尚无基于纯视觉的插秧机自动导航系统出现。因此本发明针对插秧机的工作特点，对基于视觉的插秧机自主导航技术进行了研究。
导航基准线提取(路径识别)效果将直接影响到视觉导航的精度和鲁棒性，因此，导航基准线提取是插秧机视觉导航的关键一步。导航基准线的提取涉及到与深度相关的秧苗与插秧机间的三维信息。场景的深度信息提取可通过多种方法实现，目前较为成熟的方法主要有基于结构光、飞行时间(Time ofFlight，ToF)、单目、双目等方法。其中，基于单目相机的方法只需要一个相机，成本相对较低。基于单目视觉的场景深度获取方法又可分为运动法、描影法、聚焦法、离焦法等。
现有的导航线提取方法大多基于机器视觉和聚类算法。这些方法在特定的条件下取得了一定的成效，然而普遍存在受光照等环境影响严重的问题。随着人工智能技术的发展，深度学习的强大泛化能力越来越受到人们的认可，近年来也出现了基于深度学习的水田视觉导航线提取的研究。深度学习与插秧机视觉导航相结合的研究尚未成熟。已有的研究中，研究人员通常给相机设定一个较大的俯仰角(甚至正对地面)，从而有利于秧苗的目标检测。但较大的俯仰角会使相机的视野受限，无法准确识别图像中的不同区域类型，提取导航线以精准导航，不利于插秧机在高速移动状态下对周围环境的变化快速做出反应，难以满足视觉避障、地头转弯等其他任务。
发明内容
本发明的目的是提供一种水田导航基准线检测方法、系统及设备，以解决图像中的不同区域类型识别准确度低，导航线提取精度差的问题。
为实现上述目的，本发明提供了如下方案：
一种水田导航基准线检测方法，包括：
获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角；
将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域；
根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线；
根据所述导航基准线对农机自动导航以及转弯路径规划。
可选的，所述深度学习网络G-STDC的训练过程，具体包括：
采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；
将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；
根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；
根据所述灰度图像训练所述深度学习网络G-STDC。
可选的，根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线，具体包括：
以所述田埂区域为前景，以所述已插秧区域以及所述未插秧区域为背景，生成田埂二值化图像；
对所述田埂二值化图像采用形态学开操作去除孤立噪声点，生成处理后的田埂二值化图像；
采用findcontours函数返回所述田埂区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；
基于所述田埂区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的田埂二值化图像的横向中轴线向上、下两侧遍历所述处理后的田埂二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；
根据所述聚类点，利用随机采样一致性算法拟合生成田埂边界线。
可选的，根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线，具体包括：
以所述已插秧区域为前景，以所述田埂区域以及所述未插秧区域为背景，生成插秧二值化图像；
对所述插秧二值化图像采用形态学开操作去除孤立噪声点，生成处理后的插秧二值化图像；
采用findcontours函数返回所述已插秧区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；
基于所述已插秧区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的已插秧二值化图像的横向中轴线向上、下两侧遍历所述处理后的已插秧二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；
根据所述聚类点，利用随机采样一致性算法拟合生成辅助导航线。
一种水田导航基准线检测系统，包括：
水田插秧作业图像获取模块，用于获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角；
区域分割模块，用于将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域；
导航基准线模块，用于根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线；
自动导航及转弯路径规划模块，用于根据所述导航基准线对农机自动导航以及转弯路径规划。
可选的，所述深度学习网络G-STDC的训练过程，具体包括：
图像数据集生成模块，用于采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；
预处理模块，用于将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；
数据标注模块，用于根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；
训练模块，用于根据所述灰度图像训练所述深度学习网络G-STDC。
可选的，所述导航基准线提取提取模块，具体包括：
田埂二值化图像生成单元，用于以所述田埂区域为前景，以所述已插秧区域以及所述未插秧区域为背景，生成田埂二值化图像；
处理后的田埂二值化图像生成单元，用于对所述田埂二值化图像采用形态学开操作去除孤立噪声点，生成处理后的田埂二值化图像；
田埂区域的外部轮廓返回单元，用于采用findcontours函数返回所述田埂区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；
聚类点第一选取单元，用于基于所述田埂区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的田埂二值化图像的横向中轴线向上、下两侧遍历所述处理后的田埂二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；
田埂边界线生成单元，用于根据所述聚类点，利用随机采样一致性算法拟合生成田埂边界线。
可选的，所述导航基准线提取模块，具体包括：
插秧二值化图像生成单元，用于以所述已插秧区域为前景，以所述田埂区域以及所述未插秧区域为背景，生成插秧二值化图像；
处理后的插秧二值化图像生成单元，用于对所述插秧二值化图像采用形态学开操作去除孤立噪声点，生成处理后的插秧二值化图像；
已插秧区域的外部轮廓生成单元，用于采用findcontours函数返回所述已插秧区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；
聚类点第二选取单元，用于基于所述已插秧区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的已插秧二值化图像的横向中轴线向上、下两侧遍历所述处理后的已插秧二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；
辅助导航线生成单元，用于根据所述聚类点，利用随机采样一致性算法拟合生成辅助导航线。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述水田导航基准线检测方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述水田导航基准线检测方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种水田导航基准线检测方法、系统及设备，首先，本发明融合语义分割网络STDC以及幽灵网络GhostNet生成深度学习网络G-STDC，准确分割出已插秧区域、未插秧区域以及田埂区域；其次，本发明基于中心轴的点聚类算法以及随机采样一致性算法精准提取出导航基准线，为农机自动导航和转弯路径规划提供实时参考线。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的水田导航基准线检测方法流程图；
图2为本发明所提供的GM模块结构图；
图3为本发明所提供的G-STDC块结构图；
图4为本发明所提供的G-STDC网络框架图；
图5为本发明所提供的田埂边界线拟合示意图；其中，图5中的(a)为田埂二值化图像示意图；图5中的(b)为田埂区域的外部轮廓示意图；图5中的(c)为基于横向中轴线的田埂二值化图像遍历示意图；图5中的(d)为田埂边界线示意图；
图6为本发明所提供的辅助导航线拟合示意图；其中，图6中的(a)为插秧二值化图像示意图；图6中的(b)为已插秧区域的外部轮廓示意图；图6中的(c)为基于横向中轴线的已插秧二值化图像遍历示意图；图6中的(d)为辅助导航线示意图；
图7为本发明所提供的水田导航基准线检测方法的算法整体示意图；
图8为本发明所提供的基准线提取评价指标示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种水田导航基准线检测方法、系统及设备，能够准确分割出已插秧区域、未插秧区域以及田埂区域以及精准提取出导航基准线，为农机自动导航和转弯路径规划提供实时参考线。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明一种水田导航基准线检测方法，包括：
步骤101：获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角。
步骤102：将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域。
在实际应用中，所述深度学习网络G-STDC的训练过程，具体包括：采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；根据所述灰度图像训练所述深度学习网络G-STDC。
进一步的，所述深度学习网络G-STDC的训练过程如下：
1)图像获取过程。
本发明使用的数据集包含多段在不同时期不同水田插秧作业时采集的视频。选取多种环境噪声场景，如多车轮纹理、高曝光、高浑浊、多阴影、多杂草等噪声。原始视频分辨率为1280×1024，帧率为30FPS。具体数据来源如表1所示，将该组数据命名为PlantSeg数据集。
表1数据集基本信息表
2)图像标准化过程。
良好的图像预处理方法对卷积神经网络的分割结果有着显著提升，通过图像预处理，可在增强数据集的同时保证数据分布均匀，减少过拟合。
对于每一输入图像，分别进行随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整和Z-Score标准化。其中，Z-Score标准化是数据标准化处理的一种常用方法，数据经处理后均值为0，标准差为1，公式为
其中，x为输入数据，z为标准化后的数据，μ为数据均值，δ为数据标准差。
本发明在数据集中随机采样500张图片，按色彩通道统计像素的均值和标准差，得到的参数如表2所示。
表2 Z-Score标准化参数表
3)图像标记过程。
对于有监督学习网络，需要事先对数据进行标注。数据标注工作通过计算机视觉自动化标注工具(CVAT，Computer Vision Annotation Tool)进行。服务器上搭建好CVAT后，通过浏览器访问CVAT的Web端，在网页上即可完成数据的在线标注。本发明中的图像分割任务旨在将已插秧区域、未插秧区域和田埂区域分割开来，即标注后的真实标签为含有三种数值的灰度图像。
4)图像训练参数过程。
网络的训练过程在本地基站中进行，基站操作系统为Win10，图形处理单元(Graphics Processing Unit，GPU)为NVIDIA GeForce RTX 3090，含10496个CUDA核心和24GB显存。训练时，随机选取数据集中60％的图片作为训练集，20％作为测试集，20％作为验证集。
进一步的，在将深度神经网络运用到移动设备的过程中，怎么保证性能不减，且计算量变得更少，成为研究的重点之一。常用的方法有剪枝、量化、蒸馏以及设计一些高效轻量的神经网络等。目前已经出现很多经典高效的轻量形卷积神经网络，例如MobileNet，ShuffleNet，GhostNet等。其中，GhostNet最为高效，其核心思想是利用简单线性操作来取代昂贵的卷积操作，即在保证网络精度的同时减少网络参数和计算量，从而提升计算速度，降低延时。
GhostNet的核心为幽灵模块(Ghost Module，GM)，其实现步骤分为常规卷积、幽灵特征生成和特征图拼接三步，如图2所示。
使用表示输入特征图，其中，c是输入特征图的通道数，h和w分别是输入特征图的高和宽，目标输出特征图通道数为n。
首先用常规卷积(conv)得到本征特征图Yintrinsic，通道数为n/s，见公式(2)。
然后将Yintrinsic每个通道的特征图，用线性操作来产生幽灵特征图Yghost，通道数为(s-1)×n/s。Φ表示为线性操作，这里表示深度可分离卷积，见公式(3)。
最后将第一步得到的本征特征图和第二步得到的幽灵特征图拼接，得到最终特征图Y，通道数为n，见公式(4)。
Yintrinsic＝Conv(X) (2)
Yghost＝Φ(Yintrinsic) (3)
Y＝Concat(Yintrinsic+Yghost) (4)
其中，s表示与常规卷积相比的加速比率，即单个GM模块的计算量和参数量缩少为单层常规卷积的1/s倍。
本发明引入幽灵模块(GM)用于原始STDC模块得到G-STDC模块，将原始STDC模块中的所有卷积模块替换成幽灵模块。为了降低计算成本，每个G-STDC块包含一个步长为2的G-STDC模块和一个步长为1的G-STDC模块，以加深特征提取网络，如图3所示。
其中G-STDC Block为G-STDC块，G-STDC Module为STDC模块，stride为步长，Avg-Pooling3x3为核大小为3×3的全局平均池化操作，Cat为拼接操作，N为通道数。
将优化后的G-STDC块融入原始STDC网络框架中，如图4所示，将原始STDC网络框架中的主干网络第3、4、5个卷积块由原来的STDC块替换成优化后的G-STDC块。
图4中GAP(GlobalAverage Pooling)表示全局平均池化操作，ARM(AttentionRefine Module)表示注意力精调模块，用来衡量特征图上每个通道的重要程度，FFM(Feature Fusion Module)表示特征融合模块，Seg Head表示辅助分割头，Seg Loss表示分割损失函数，Edge Head表示细节聚合模块的辅助头，Edge Loss表示细节聚合模块的损失函数，c表示每一层的输出通道数。
图4中实线框为主干网络，包含五个卷积块，分别是两个常规卷积和三个G-STDC块，同时参与训练和推理两个阶段。其中第四、五层卷积块输出的特征图经过ARM之后包含更多的语义信息，组成语义特征。前三层卷积块输出的特征图包含更多的图像细节信息，组成细节特征。将语义特征和细节特征经过FFM融合后采用最邻近插值上采样输出最终的分割图，即得到预测结果。
其中，虚线框中为两个辅助网络，只参与训练阶段，可以增强训练阶段的特征表示，同时不增加推理阶段的计算成本。经过FFM的特征图和两个经过ARM的特征图均经过SegHead与真实标签做对比，计算Seg Loss。网络对第三层卷积块使用细节聚合模块做训练，以提升低层特征图提取图像细节信息的能力。将第三个卷积块输出的特征图经过Edge Head得到输出与边缘真实值做对比，计算Edge Loss。值得注意的是Seg Head输出的最终通道数是分割的类别数，本发明是分为三类，故这里的通道数为3；而Edge Head输出的通道数是1，即是边缘的置信度。
此外，本发明还设计了一些微型模型，通过改变每一层的通道数c来轻量化网络模型，分析得到最优的网络模型。
步骤103：根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线。
在实际应用中，所述步骤103，具体包括：以所述田埂区域为前景，以所述已插秧区域以及所述未插秧区域为背景，生成田埂二值化图像；对所述田埂二值化图像采用形态学开操作去除孤立噪声点，生成处理后的田埂二值化图像；采用findcontours函数返回所述田埂区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；基于所述田埂区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的田埂二值化图像的横向中轴线向上、下两侧遍历所述处理后的田埂二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；根据所述聚类点，利用随机采样一致性算法拟合生成田埂边界线。
在实际应用中，所述步骤103，具体包括：以所述已插秧区域为前景，以所述田埂区域以及所述未插秧区域为背景，生成插秧二值化图像；对所述插秧二值化图像采用形态学开操作去除孤立噪声点，生成处理后的插秧二值化图像；采用findcontours函数返回所述已插秧区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；基于所述已插秧区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的已插秧二值化图像的横向中轴线向上、下两侧遍历所述处理后的已插秧二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；根据所述聚类点，利用随机采样一致性算法拟合生成辅助导航线。
步骤104：根据所述导航基准线对农机自动导航以及转弯路径规划。
进一步的，本发明的目标导航基准线有两种情况，分别是田埂边界线和辅助导航线(即秧苗边界线)。
由于是三分类问题，上一节中卷积神经网络的输出数值为(0，1，2)的灰度图像，其中值为0的像素代表未插秧区域，值为1的像素代表已插秧区域，值为2的像素代表田埂区域。
分别将已插秧区域和田埂区域作为前景做两次图像分割，利用基于中心轴的点聚类算法和随机样本一致性(RANSAC)算法来提取基准线。当以田埂区域作为前景时，提取田埂边界线；当以已插秧区域作为前景时，提取辅助导航线。
以田埂区域作为前景时的具体过程为：(1)已插秧区域和未插秧区域均为背景，得到田埂二值化图像，如图5中的(a)所示；(2)对田埂二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回田埂区域的外部轮廓，得到田埂区域的轮廓及每条轮廓的编号，保留其中最长的轮廓，如图5中的(b)所示；(3)从图像的横向中轴线向上下两侧遍历图像的每一列，选取其中最靠近横向中轴线的轮廓点，作为聚类点，如图5中的(c)所示；(4)最后，利用随机采样一致性(RANdom SAmple Consensus，RANSAC)算法对直线进行拟合，得到预测的田埂边界线，如图5中的(d)所示。
以已插秧区域作为前景时的具体过程为：(1)田埂区域和未插秧区域均为背景，得到插秧二值化图像，如图6中的(a)所示；(2)对插秧二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回已插秧区域的外部轮廓，得到已插秧区域的轮廓及每条轮廓的编号，保留其中最长的轮廓，如图6中的(b)所示；(3)从图像的纵向中轴线向左右两侧遍历图像的每一行，选取其中最靠近纵向中轴线的轮廓点，作为聚类点，如图6中的(c)所示；(4)最后，利用RANSAC(随机采样一致性)算法对直线进行拟合，得到预测的辅助导航线，如图6中的(d)所示。
其中，RANSAC算法原理为：(1)在聚类点集合中随机选取两个点；(2)对这两个点拟合直线，得到直线的斜率和截距，记为初始模型；(3)计算其它点到初始模型的距离，如果小于阈值，该点被当作内点，统计内点个数；(4)重复M次，选择内点数最多的模型；(5)利用所有内点重新拟合直线。通过时间，本发明中M设置为20次即可。
综上，本发明的总体流程是：(1)将原始图像输入融合STDC网络和GhostNet的深度学习网络G-STDC中，得到灰度图像，实现已插秧区域、未插秧区域和田埂区域准确有效的分割；(2)从灰度图像中利用融合基于中心轴的点聚类算法和RANSAC算法的多线检测方法来提取辅助导航线和田埂边界线，可为农机自动导航和转弯路径规划提供实时参考线。如图7所示。
在实际应用中，深度学习网络G-STDC的评价指标如下：
衡量深度学习网络G-STDC分割准确度的性能指标为：
其中，TP为真正例，FN为假反例，FP为假正例，mIoU反映了各个类别中真实值预测值之间的交并比。
除了分割精度指标外，处理在内存、计算和时间上的成本分别反映为权重数(Weights，百万单位)、浮点运算(FLOPs，千兆单位)和推理时间(FPS)。对于权重数和浮点运算两个指标越低越好，表示网络更加轻量化，对硬件需求低，更有益于模型部署在低配硬件。对于FPS指标越高越好，表示网络运行速度快，更加实时性。
在实际应用中，基准线提取评价指标如下：
本发明选取姿态误差和距离误差作为评估边界线检测精度的评价指标。姿态误差为真实基准线线与预测基准线之间的夹角，记为θ。将预测基准线在图像边界的两个交点垂直投影到真实基准线，得到两个距离值分别记为d1和d2，距离误差定义为d1和d2的平均值，记为d，如图8所示。所有图片姿态误差和距离误差的平均值被用来评估模型的性能。
1)实验结果。
基准模型选取：
在PlantSeg数据集上训练和评估五个经典的语义分割网络，输入图像尺寸为512x640，如表3所示。
表3现有模型在PlantSeg上的性能表
前两个模型(PSPNet、DANet)侧重点为高精度，后两个模型(MobileNetV3、BiseNetV2)侧重点为轻量级，STDC相比前两个高精度模型，其精确度差别不大，但是FPS明显更高、Weights和FLOPs明显更低；STDC相比后两个轻量级模型，其Weights和FLOPs除了比MobileNetV3网络高一些外，其FPS也是差别不大，但是其精度明显要高于这两个轻量级模型。综上，本发明选用STDC模型作为基准模型，在其基础上再进行优化改进。
2)实验结果分析。
为了探索所提出G-STDC模块中Ghost模块的潜力，对加速比率s进行选择，找到最适合的比率。在通道数为1024的时候，分别对s＝0、2、4，进行训练。输入图像尺寸为512x640，得到如下结果。
表4不同加速比率的网络性能表
如表4所示，随着加速比率s的提高，网络权重数和浮点运算量在不断下降。缩小网络规模并不难，关键是如何在同时快速处理的情况下保持令人满意的精度。Ghost模块使用分组的简单线性变换，其中分组卷积可以看成是对原始卷积操作的解耦，改善了原始卷积操作中滤波器之间的稀疏性，在一定程度上起到了正则化的作用。这也是G_STDC比STDC表现更好的原因。
此外注意到，当s＝2时，G-STDC模块精准度升高达到95.23％，Weights和FLOPs明显减少，FPS也相应上升，每个指标都相比原始STDC更加优化。但是当s＝4时，G-STDC模型虽然FPS、Weights和FLOPs都得到优化，但是精准度下降明显，这是由于虽然大的s值可以使计算成本下降，但对于缺乏跨通道的信息融合来说，会导致不稳定。因此，本发明选用加速比率为2。
网络并不是通道数越多越好，因为通道数越多带来的计算量也越多，继而会影响运行效率。我们知道对于一个模型来说，浅层的特征非常重要，因此网络浅层的通道数是一个非常敏感的系数。为了探索所提出G-STDC模块中不同通道数的潜力，对不同通道数进行选择，如图3所示，在主干网络中每一层的输出通道数均被标记为c的倍数，这里c表示最后一个G-STDC块输入到GAP时的通道数。我们由高到低设计四组c的可选值，分别是1024、512、256、128。当c＝1024，对应主干网络上的通道数变化依次为(32,64,256,512,1024)；当c＝512，对应主干网络上的通道数变化依次为(16,32,64,256,512)；当c＝256，对应主干网络上的通道数变化依次为(8,16,64,128,256)；当c＝256，对应主干网络上的通道数变化依次为(8,16,32,64,128)。
表5不同通道数的网络性能表
如表5所示，提出的模型的速度超过了原始模型。当模型的通道数从1024降低到128时，Weights和FLOPs明显减少，速度也明显增加，而准确度则如预期的那样下降。这是由于通道数减少，让每一层更难以学习到更加丰富的特征，继而影响到精确度。注意到，G-STDC s＝2c＝128的Weights和FLOPs最少，只有1.98M参数，有可能提供实时计算并部署在边缘设备上。同时其运行速度也是相应最高的，达到57.9FPS，在测试集上的mIoU约为93.61％，略好于原始模型STDC c＝1024，在可接受的精度范围内。因此可以得出结论，在追求高精度时，选用网络G-STDC s＝2c＝1024；在追求轻量级和速度时，选用模型G-STDC s＝2c＝128。
3)基准线提取效果分析。
对PlantSeg数据集中的测试集进行基准线提取准确度分析。通过深度学习网络得到三分类掩码，后利用基于中心轴的点聚类算法和随机样本一致性(RANSAC)算法的多线检测方法来提取辅助导航线和田埂边界线，计算得到所有图片姿态误差和距离误差的平均值，如下图所示。田埂边界线的姿态误差为0.024°，距离误差为7.738个像素；辅助导航线的姿态误差为0.03°，距离误差为8.562个像素。综上，利用本发明得到的基准线提取平均姿态误差为0.027°，平均距离误差为8.15个像素，表明能够精准拟合实际基准线，满足农机导航精准度需求。此外，经实验验证，本发明设计的基于改进STDC网络的水田导航基准线检测方法，整体检测速度达到12.5FPS，可为农机自动导航和转弯路径规划提供实时参考线。
表6不同通道数的网络性能表
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种水田导航基准线检测系统。
一种水田导航基准线检测系统，包括：
水田插秧作业图像获取模块，用于获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角。
区域分割模块，用于将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域。
导航基准线模块，用于根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线。
自动导航及转弯路径规划模块，用于根据所述导航基准线对农机自动导航以及转弯路径规划。
在实际应用中，所述深度学习网络G-STDC的训练过程，具体包括：图像数据集生成模块，用于采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；预处理模块，用于将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；数据标注模块，用于根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；训练模块，用于根据所述灰度图像训练所述深度学习网络G-STDC。
在实际应用中，所述导航基准线提取提取模块，具体包括：田埂二值化图像生成单元，用于以所述田埂区域为前景，以所述已插秧区域以及所述未插秧区域为背景，生成田埂二值化图像；处理后的田埂二值化图像生成单元，用于对所述田埂二值化图像采用形态学开操作去除孤立噪声点，生成处理后的田埂二值化图像；田埂区域的外部轮廓返回单元，用于采用findcontours函数返回所述田埂区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；聚类点第一选取单元，用于基于所述田埂区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的田埂二值化图像的横向中轴线向上、下两侧遍历所述处理后的田埂二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；田埂边界线生成单元，用于根据所述聚类点，利用随机采样一致性算法拟合生成田埂边界线。
在实际应用中，所述导航基准线提取模块，具体包括：插秧二值化图像生成单元，用于以所述已插秧区域为前景，以所述田埂区域以及所述未插秧区域为背景，生成插秧二值化图像；处理后的插秧二值化图像生成单元，用于对所述插秧二值化图像采用形态学开操作去除孤立噪声点，生成处理后的插秧二值化图像；已插秧区域的外部轮廓生成单元，用于采用findcontours函数返回所述已插秧区域的外部轮廓，生成所述田埂区域的轮廓以及每条轮廓的编号，保留最长的轮廓；聚类点第二选取单元，用于基于所述已插秧区域的外部轮廓，利用基于中心轴的点聚类算法，从所述处理后的已插秧二值化图像的横向中轴线向上、下两侧遍历所述处理后的已插秧二值化图像的每一列，选取最靠近横向中轴线的轮廓点作为聚类点；辅助导航线生成单元，用于根据所述聚类点，利用随机采样一致性算法拟合生成辅助导航线。
实施例三
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的水田导航基准线检测方法。
在实际应用中，上述电子设备可以是服务器。
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它设备进行通信。
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法
本申请实施例提供的水田导航基准线检测系统以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供语音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种水田导航基准线检测方法，其特征在于，包括：
获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角；
将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化后的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域；
根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线；以田埂区域作为前景时的具体过程为：(1)已插秧区域和未插秧区域均为背景，得到田埂二值化图像；(2)对田埂二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回田埂区域的外部轮廓，得到田埂区域的轮廓及每条轮廓的编号，保留其中最长的轮廓；(3)从图像的横向中轴线向上下两侧遍历图像的每一列，选取其中最靠近横向中轴线的轮廓点，作为聚类点；(4)最后，利用随机采样一致性算法对直线进行拟合，得到预测的田埂边界线；
以已插秧区域作为前景时的具体过程为：(1)田埂区域和未插秧区域均为背景，得到插秧二值化图像；(2)对插秧二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回已插秧区域的外部轮廓，得到已插秧区域的轮廓及每条轮廓的编号，保留其中最长的轮廓；(3)从图像的纵向中轴线向左右两侧遍历图像的每一行，选取其中最靠近纵向中轴线的轮廓点，作为聚类点；(4)最后，利用随机采样一致性算法对直线进行拟合，得到预测的辅助导航线；
根据所述导航基准线对农机自动导航以及转弯路径规划。
2.根据权利要求1所述的水田导航基准线检测方法，其特征在于，所述深度学习网络G-STDC的训练过程，具体包括：
采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；
将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；
根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；
根据所述灰度图像训练所述深度学习网络G-STDC。
3.一种水田导航基准线检测系统，其特征在于，包括：
水田插秧作业图像获取模块，用于获取小俯仰角下的水田插秧作业图像；所述小俯仰角为低于设定俯仰角阈值的俯仰角；
区域分割模块，用于将所述水田插秧作业图像输入至融合语义分割网络STDC以及幽灵网络GhostNet的深度学习网络G-STDC，分割出所述水田插秧作业图像中的各个区域；所述深度学习网络G-STDC是将原始STDC网络框架中主干网络第3、第4以及第5个卷积块由原来的STDC块替换为优化后的G-STDC块形成的；每个所述优化后的G-STDC块包括一个步长为2的G-STDC模块以及一个步长为1的G-STDC模块，所述优化后的G-STDC模块是将原始STDC模块中所有卷积模块替换为幽灵模块形成的；所述区域包括已插秧区域、未插秧区域以及田埂区域；
导航基准线模块，用于根据各个所述区域，利用基于中心轴的点聚类算法以及随机采样一致性算法提取导航基准线；所述导航基准线包括田埂边界线以及辅助导航线；以田埂区域作为前景时的具体过程为：(1)已插秧区域和未插秧区域均为背景，得到田埂二值化图像；(2)对田埂二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回田埂区域的外部轮廓，得到田埂区域的轮廓及每条轮廓的编号，保留其中最长的轮廓；(3)从图像的横向中轴线向上下两侧遍历图像的每一列，选取其中最靠近横向中轴线的轮廓点，作为聚类点；(4)最后，利用随机采样一致性算法对直线进行拟合，得到预测的田埂边界线；
以已插秧区域作为前景时的具体过程为：(1)田埂区域和未插秧区域均为背景，得到插秧二值化图像；(2)对插秧二值图像使用形态学开操作去除微小的孤立噪声点，再使用findcontours函数返回已插秧区域的外部轮廓，得到已插秧区域的轮廓及每条轮廓的编号，保留其中最长的轮廓；(3)从图像的纵向中轴线向左右两侧遍历图像的每一行，选取其中最靠近纵向中轴线的轮廓点，作为聚类点；(4)最后，利用随机采样一致性算法对直线进行拟合，得到预测的辅助导航线；
自动导航及转弯路径规划模块，用于根据所述导航基准线对农机自动导航以及转弯路径规划。
4.根据权利要求3所述的水田导航基准线检测系统，其特征在于，所述深度学习网络G-STDC的训练过程，具体包括：
图像数据集生成模块，用于采集多段不同时期不同水田插秧作业的视频，选取多种环境噪声场景，生成图像数据集；
预处理模块，用于将所述图像数据集中的图像进行预处理，生成预处理后的图像；所述预处理包括随机翻转、随机亮度调整、随机对比度调整、随机色度调整、随机饱和度调整以及Z-Score标准化；
数据标注模块，用于根据计算机视觉自动化标注工具对所述预处理后的图像进行数据标注，生成含有标注后的真实标签的灰度图像；所述标注后的真实标签包括已插秧区域、未插秧区域以及田埂区域；
训练模块，用于根据所述灰度图像训练所述深度学习网络G-STDC。
5.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-2中任一项所述的水田导航基准线检测方法。
6.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的水田导航基准线检测方法。
CN202310826126.3A 2023-07-07 2023-07-07 一种水田导航基准线检测方法、系统及设备 Active CN117372327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310826126.3A CN117372327B (zh) 2023-07-07 2023-07-07 一种水田导航基准线检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310826126.3A CN117372327B (zh) 2023-07-07 2023-07-07 一种水田导航基准线检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN117372327A CN117372327A (zh) 2024-01-09
CN117372327B true CN117372327B (zh) 2024-09-03

Family

ID=89401058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310826126.3A Active CN117372327B (zh) 2023-07-07 2023-07-07 一种水田导航基准线检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117372327B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221740A (zh) * 2021-05-12 2021-08-06 浙江大学 一种农田边界识别方法及系统
CN113421301A (zh) * 2021-07-08 2021-09-21 浙江大学 一种田间作物中心区域定位方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7465738B2 (ja) * 2020-07-17 2024-04-11 京セラ株式会社 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
CN113536958B (zh) * 2021-06-23 2023-08-25 华南农业大学 导航路径提取方法、装置、农业机器人和存储介质
CN114066920B (zh) * 2021-11-23 2024-07-05 江苏科技大学 一种基于改进Segnet图像分割的收割机视觉导航方法与系统
CN114821536B (zh) * 2022-05-13 2024-02-20 河南科技大学 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN116205881A (zh) * 2023-02-27 2023-06-02 广东技术师范大学 一种基于轻量级语义分割的数码喷印图像缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221740A (zh) * 2021-05-12 2021-08-06 浙江大学 一种农田边界识别方法及系统
CN113421301A (zh) * 2021-07-08 2021-09-21 浙江大学 一种田间作物中心区域定位方法及系统

Also Published As

Publication number Publication date
CN117372327A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Fayaz et al. Underwater object detection: architectures and algorithms–a comprehensive review
CN106845430A (zh) 基于加速区域卷积神经网络的行人检测与跟踪方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN112052860A (zh) 一种三维目标检测方法及系统
CN111754546A (zh) 一种基于多特征图融合的目标跟踪方法、系统及存储介质
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
CN105224935A (zh) 一种基于Android平台的实时人脸关键点定位方法
CN112215101A (zh) 一种基于注意力机制的三维目标识别方法及系统
CN115546768A (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
Huang et al. Efficient GAN-based remote sensing image change detection under noise conditions
Xu et al. Hierarchical convolution fusion-based adaptive Siamese network for infrared target tracking
KR102128789B1 (ko) 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN112287906A (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
Hao et al. Recognition of basketball players’ action detection based on visual image and Harris corner extraction algorithm
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
Leite et al. Dense disparity maps from RGB and sparse depth information using deep regression models
Zhang et al. FAFFENet: frequency attention and feature fusion enhancement network for multiscale remote sensing target detection
CN117372327B (zh) 一种水田导航基准线检测方法、系统及设备
CN116342888B (zh) 一种基于稀疏标注训练分割模型的方法及装置
CN113139967A (zh) 点云实例分割方法及相关系统、存储介质
CN112561961A (zh) 一种实例追踪的方法及装置
CN115965788B (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
Rocha et al. Beyond Land: A Review of Benchmarking Datasets, Algorithms, and Metrics for Visual-Based Ship Tracking
CN116883586A (zh) 一种基于双目相机的地形语义地图构建方法、系统及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant