CN113221740B - 一种农田边界识别方法及系统 - Google Patents

一种农田边界识别方法及系统 Download PDF

Info

Publication number
CN113221740B
CN113221740B CN202110517222.0A CN202110517222A CN113221740B CN 113221740 B CN113221740 B CN 113221740B CN 202110517222 A CN202110517222 A CN 202110517222A CN 113221740 B CN113221740 B CN 113221740B
Authority
CN
China
Prior art keywords
image
boundary line
frame image
field
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110517222.0A
Other languages
English (en)
Other versions
CN113221740A (zh
Inventor
何勇
张皙雅
张泽清
方慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Huanan Industrial Technology Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202110517222.0A priority Critical patent/CN113221740B/zh
Publication of CN113221740A publication Critical patent/CN113221740A/zh
Priority to US17/467,813 priority patent/US11288535B1/en
Application granted granted Critical
Publication of CN113221740B publication Critical patent/CN113221740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种农田边界识别方法及系统,该方法包括:对采集的原始图像进行预处理,获得图像数据集;以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块;将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线。本发明提高了农田边界识别准确性。

Description

一种农田边界识别方法及系统
技术领域
本发明涉及边界识别领域,特别是涉及一种农田边界识别方法及系统
背景技术
农业机械的自动导航技术,作为农业机械智能化和自动化的核心组成部分,是实现精细农业的前提。目前主要有GPS导航、机器视觉导航以及多传感器融合导航等方式。基于机器视觉的导航技术,由于能够适应复杂的田间作业环境、探测范围宽、信息丰富完整,受到国内外研究者的广泛关注。
农机自主导航技术主要包括三部分:在田间正常作业时的自动行走、在田间遇到障碍物时的自动避障以及在农田边界处的自动转向。对于前两部分,国内外已经有大量的研究能够满足作业的有效性和准确性,技术相对成熟。但目前,当农机到达农地边界时,掉头转向的过程仍然需要人工操作。因此,研究农田边界处的自主转向技术是实现农机全程自主导航的当务之急。
在非结构化的农田作业环境中,为实现农机在农田边界处的自主转向,首先要识别农田边界的空间位置信息。目前,国内外针对农机在地头处的转弯路径规划和转向控制进行了较多研究,但是针对农田边界的空间位置信息检测方面的研究却较少。
目前,传统的农田边界线的检测方法中,农田复杂的环境对农田边界提取的影响很大。在检测过程中,除了农田边界,还存在严重的田内车轮印、杂草、光照不均匀或单纯颜色发生变化大的区域等环境噪音,这些环境噪音在边缘提取过程中干扰真实边界的提取。
发明内容
本发明的目的是提供一种农田边界识别方法及系统,提高了边界识别的准确性。
为实现上述目的,本发明提供了如下方案:
一种农田边界识别方法,包括:
对采集的原始图像进行预处理,获得图像数据集;
以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块;
将当前帧图像输入所述农田区域分割模型,输出二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线。
可选地,所述将当前帧图像输入所述农田区域分割模型,输出二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线,具体包括:
将当前帧图像输入所述农田区域分割模型,输出当前二值图像;
获得当前二值图像的农田区域中面积最大的区域;
判断所述面积最大的区域是否小于第一面积阈值;
若所述面积最大的区域小于第一面积阈值,则判断当前帧图像不存在候选边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若所述面积最大的区域大于或等于第一面积阈值,则将当前二值图像中面积最大的区域中纵坐标累积值最大的边界线作为当前帧图像的候选边界线;
判断当前帧图像的上一帧图像是否存在候选边界线;
若不存在候选边界线,则对当前二值图像的候选边界线进行RANSAC直线拟合获得当前帧图像的田侧边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若存在候选边界线,则根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线;
将当前帧图像的田侧边界线设定范围内的区域确定为当前帧图像的田侧动态关注区域;
将当前帧图像的田侧动态关注区域覆盖之外的候选边界线作为田端边界线;
根据田端边界线确定田端面积;
根据田端面积判断当前帧图像是否到达田端;
若未到达田端,则将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若到达田端,则判断当前帧图像的上一帧图像是否存在田端边界线;
若不存在田端边界线,则将当前帧图像的田端边界进行RANSAC直线拟合,得到田端边界线;
若存在田端边界线,则根据当前帧图像的候选边界线和上一帧图像的田端边界线,基于帧关联性算法,获得当前帧图像的田端边界线。
可选地,所述反向残差块包括第一层、第二层、第三层和第四层;所述第一层和所述第三层结构相同,所述第二层和所述第四层结构相同;
所述第一层包括3*3深度卷积层、批归一化层和ReLU6激活函数层,所述第二层包括1*1逐点卷积层。
可选地,所述改进的UNet网络中的卷积操作均采用扩张卷积。
可选地,所述对采集的原始图像进行预处理,获得图像数据集,具体包括:
将所述原始图像转换为灰度图像;
将各灰度图像进行水平翻转获得翻转图像,将各灰度图像进行旋转获得各旋转角度的旋转图像,所述旋转角度包括+5°、-5°、+15°、-15°、+25°和-25°;
将灰度图像、翻转图像和旋转图像加入所述图像数据集。
可选地,所述第一面积阈值为30000像素。
可选地,所述根据田端边界线确定田端面积,具体包括:
将田端边界线上所有像素点的纵坐标值进行累加,累加结果为田端面积。
可选地,所述根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线,具体包括:
向上一帧图像的田侧边界线的两侧均扩展设定宽度,扩展的范围作为当前帧图像的田侧动态关注区域;
对当前帧图像的田侧动态关注区域覆盖中的候选边界线进行RANSAC直线拟合,得到当前帧图像的田侧边界线。
可选地,所述根据田端面积判断当前帧图像是否到达田端,具体包括:
若田端面积小于第二面积阈值,则当前帧图像未到达田端;
若田端面积大于或等于第二面积阈值,则当前帧图像到达田端。
本发明还公开了一种农田边界识别系统,包括:
图像预处理模块,用于对采集的原始图像进行预处理,获得图像数据集;
农田区域分割模型获得模块,用于以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块;
田侧边界线和田端边界线识别模块,用于将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明利用改进的UNet网络进行模型训练,提高了农田区域和非农田区域分割的准确性,利用基于帧关联性的多边界检测算法,结合RANSAC直线检测算法,可以判断是否有边界出现,并实时地检测田侧边界线和田端边界线,提高了边界识别的准确性,从而为农机自主转向提供准确的位置信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种农田边界识别方法流程示意图;
图2为本发明改进UNet网络架构示意图;
图3为最大池化原理图;
图4为本发明反向残差块结构示意图;
图5为本发明膨胀率为1卷积核大小为3×3的标准卷积示意图;
图6为本发明膨胀率为2卷积核大小为3×3的扩张卷积示意图;
图7为基于本发明一种农田边界识别方法进行农机转向控制的流程示意图;
图8为本发明候选边界提取流程示意图;
图9为本发明田侧边界检测流程示意图;
图10为本发明田端边界检测流程示意图;
图11为本发明一种农田边界识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种农田边界识别方法及系统,提高了边界识别的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种农田边界识别方法流程示意图,如图1所示,一种农田边界识别方法包括以下步骤:
步骤101:对采集的原始图像进行预处理,获得图像数据集。
其中,步骤101具体包括:
将所述原始图像转换为灰度图像。为了加快运算速度,减少模型参数,将原始RGB图像转换为灰度图像。考虑人眼对不同波长的灵敏度曲线,使用公式:Gray=0.1140*B+0.5870*G+0.2989*R进行灰度转换。
为了使模型学习到更多不变的图像特征,防止过拟合,使用了数据增强技术,将各灰度图像进行水平翻转获得翻转图像,将各灰度图像进行旋转获得各旋转角度的旋转图像,所述旋转角度包括+5°、-5°、+15°、-15°、+25°和-25°,从一张图像中获得7张额外的图像。
将灰度图像、翻转图像和旋转图像加入图像数据集。
图像数据集分成两部分:70%作为训练集,30%作为测试集。训练集用于模型训练,测试集用于模型性能评估。
农田区域与非农田区域分割阶段的训练数据集包括原始图像(输入图像)和人工标记的像素级图像(输出图像)。
步骤102:以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块。二值图像中所有属于农田区域的像素点为白色,属于非农田区域的像素点为黑色。
所述反向残差块包括第一层、第二层、第三层和第四层;所述第一层和所述第三层结构相同,所述第二层和所述第四层结构相同;
所述第一层包括3*3深度卷积层、批归一化层和ReLU6激活函数层,所述第二层包括1*1逐点卷积层。
所述改进的UNet网络中的卷积操作均采用扩张卷积。
改进的UNet网络结构如图2所示,改进UNet网络模型也采用基础UNet模型中的对称编码-解码结构,共有4次下采样和4次上采样,输入和输出图像尺寸一致。如图2所示,编码器部分(对应图2的左半部分)应用了最大池化(箭头②)和改进的反向残差块(白色箭头带黑边),分别使图像大小减半,特征映射数量加倍。图3为最大池化的原理图。编码器后面紧跟着相同数量的解码器(对应于图1的右半部分)。解码器包括三部分:反卷积操作(箭头③)使特征映射大小加倍,通过跳过连接将结果特征映射与前一个编码器的输出连接(虚线箭头),改进的反向残差块(白色箭头带黑边)。跳过连接使模型能够使用多个输入规模来生成输出。最后,改进的UNet网络模型的最后一层是一个1*1卷积(箭头①),输出一个单一的特征图,代表网络预测的值。改进UNet网络模型在基础UNet结构的基础上进行了两方面的改进,一是使用改进的反向残差块,二是使用扩张卷积,图2中dilate参数设置膨胀率。
将一般卷积用深度可分离卷积(DWC)代替,以减少网络参数量。深度可分离卷积广泛应用于实时任务,其原因有二:与经典卷积相比,需要调整的参数较少,减少了可能的过拟合;而且由于计算量少,它们的计算成本更低,更适合于实时视觉应用。在MobileNetV2网络中,深度可分离卷积构成了两种卷积块,称为反向残差块。
将UNet网络中的经典卷积运算转换为改进的反向残差块作为本发明的反向残差块。对于每个改进的反向残差块的连接方案为:
y=F(x)+H(x),y表示改进的反向残差块的输出,x表示改进的反向残差块的输入。
其中F(x)由四层组成。第一层是3*3深度卷积(DWC)、批归一化(BN)和ReLU6激活函数。第二层为1*1逐点卷积(PWC)。第三层的定义与第一层相同。第四层的定义与第二层相同。H(x)是一个1*1的卷积运算,其目的是保持输入的特征维数与F(x)相同。改进的反向残差结构如图4所示,在图2中表示为带黑边的白色箭头。
扩张卷积可以在不损失特征图尺寸的情况下增大模型的感受野,获得不同的感受野信息,这对语义分割非常有利。标准卷积与增加扩张卷积的区别如图5-6所示。在本发明改进的UNet网络模型中加入扩张卷积。扩张卷积在改进UNet架构中每次卷积都会用到。也就是在改进的反向残差块的每次卷积中都会设置dilate的数值。改进的UNet网络模型的所有dilate参数设置如图2所示。
为了估量本发明改进的UNet网络模型的预测值与真实值的差异,选择BCEWithLogitsLoss作为分割损失函数,损失函数的计算公式如下:
Figure BDA0003062061380000071
ln=-(yn*logσ(xn)+(1-yn)*log(1-σ(xn))
其中N表示训练样本中像素的个数,xn表示预测样本n为正例的概率,yn表示样本n的标签。σ代表sigmoid函数。作为具体实施例,改进的UNet网络使用RMSprop优化器,训练周期为100,批量大小为1,学习速率为0.00001。
计算性能评估的不同指标,如准确性(Accuracy)、精度(Precision)、召回率(Recall)和F1分数(F1 Score)。这些评估指标的定义如下:
Figure BDA0003062061380000081
Figure BDA0003062061380000082
Figure BDA0003062061380000083
Figure BDA0003062061380000084
/>
其中TP表示:实际为正样本,预测为正样本;FN表示:实际为正样本,预测为负样本;FP表示:实际为负样本,预测为正样本;TN表示:实际为负样本,预测为负样本。
从表1可以看出,改进的UNet网络的四种指标(Precision、Recall、F1 Score和Accuracy)均优于基础UNet网络,故得出改进UNet网络比基础UNet网络预测准确率更高。
表1改进的UNet网络与基础的UNet网络分割指标对照表
Figure BDA0003062061380000085
本发明提出的改进UNet网络同基础UNet网络的分割准确度对比,除了准确度更高,改进UNet网络的模型参数为7,375,873个,基础UNet网络有31037763个,可以看出改进后,参数减少了3/4。
本发明一种农田边界识别方法将含有多种环境噪音的样本作为训练集进行训练,得到的训练模型可以有效的分割出农田区域和非农田区域,并采用一种基于帧关联性的多边界检测算法进行边界线检测,可以同时检测出田侧边界和田端边界,为实现自主转向提供准确位置信息。实验证明本发明算法可以实现农机在农田边界处的自主转向。
步骤103:将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线。
根据当前帧图像的田侧边界线和田端边界线对农机转向进行控制。
其中,步骤103具体包括:
将当前帧图像输入所述农田区域分割模型,输出当前二值图像;
获得当前二值图像的农田区域中面积最大的区域;
判断所述面积最大的区域是否小于第一面积阈值;
若所述面积最大的区域小于第一面积阈值,则判断当前帧图像不存在候选边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若所述面积最大的区域大于或等于第一面积阈值,则将当前二值图像中纵坐标累积值最大的分界线作为当前帧图像的候选边界线;候选边界线的提取过程如图8所示,第一,通过农田区域分割模型得到分类后的二值图像(当前二值图像);第二,使用形态学开操作(首先是侵蚀操作,然后是扩展操作)去除二值图像中微小的孤立噪声点;第三,使用findcontours函数返回分类得到的非农田区域的外部轮廓,如图8(a)的黑色曲线所示;第四,删除附加在图片四条边上的线条,以获得多条分离的曲线,如图8(b)中曲线①和曲线②所示;第五,以图像的左上角为原点,以水平轴为X轴,以垂直轴为Y轴,累加每条曲线的每个像素的y值,并选择累积值最大的曲线作为候选边界,则选择图8(c)中的曲线①,故曲线①即为该帧图像的候选边线。
判断当前帧图像的上一帧图像是否存在候选边界线;
若不存在候选边界线,则对当前二值图像的候选边界线进行RANSAC直线拟合获得当前帧图像的田侧边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若存在候选边界线,则根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线;
将当前帧图像的田侧边界线设定范围内的区域确定为当前帧图像的田侧动态关注区域;
将当前帧图像的田侧动态关注区域覆盖之外的候选边界线作为田端边界线;
根据田端边界线确定田端面积;
根据田端面积判断当前帧图像是否到达田端;
若未到达田端,则将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若到达田端,则判断当前帧图像的上一帧图像是否存在田端边界线;
若不存在田端边界线,则将当前帧图像的田端边界进行RANSAC直线拟合,得到田端边界线;
若存在田端边界线,则根据当前帧图像的候选边界线和上一帧图像的田端边界线,基于帧关联性算法,获得当前帧图像的田端边界线。
所述第一面积阈值为30000像素。
所述根据田端边界线确定田端面积,具体包括:
将田端边界线上所有像素点的纵坐标值进行累加,累加结果为田端面积。
所述根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线,具体包括:
向上一帧图像的田侧边界线的两侧均扩展设定宽度,扩展的范围作为当前帧图像的田侧动态关注区域;
对当前帧图像的田侧动态关注区域覆盖中的候选边界线进行RANSAC直线拟合,得到当前帧图像的田侧边界线。
所述根据田端面积判断当前帧图像是否到达田端,具体包括:
若田端面积小于第二面积阈值,则当前帧图像未到达田端;
若田端面积大于或等于第二面积阈值,则当前帧图像到达田端。
作为具体实施例,本发明一种农田边界识别方法进行农机转向控制的流程如图7所示。
田侧边界线为农机首次进地作业时的导航目标线。田侧边界线的一侧为田内区域,另一侧为田外区域,将田外区域的边界线作为检测目标。田外区域在图像上的位置,因农机首次进地作业的方向不同而不同,本实施例以田外区域在图像的左侧为例讨论检测算法。农机转向时,不仅有田侧边界线还有田端边界线来辅助农机在安全范围内实现转向。因此在农机作业过程中,也需要实时判定农机是否到达田端。具体检测算法如下:
(1)读取视频帧。
(2)判断是否存在候补边界:通过深度学习训练得到分类后的二值图像,将农田区域设为背景,非农田区域设为前景,在前景中寻找最大面积的区域。如果最大面积小于第一面积阈值,则视为该帧(当前帧图像)不存在候补边界,读取下一帧图像,返回步骤(1);否则,说明该帧存在候补边界,通过上述候选边界提取算法获得候选边界。然后进行步骤(3)。第一面积阈值设置为30000像素。
(3)判断上一帧是否存在候补边界:若不存在,则进行步骤(4);若存在则进行步骤(5)。
(4)首条田侧边界线检测:将步骤(2)得到的候选边界进行RANSAC直线拟合,迭代次数设置为50,计算出正确模型的概率P设置为0.99,获得首条田侧边界线(田侧边界线)。然后返回步骤(1)。
(5)基于帧关联性算法进行田侧边界线检测:当前帧图像(记为第n+1帧)的候补边界如图9(c)中黑色曲线所示,前一帧图像(记为第n帧)的候补边界如图9(a)中黑色曲线所示。当前帧的田侧动态关注区域由前一帧检测得到的田侧边界线来确定。将前一帧检测得到的田侧边界线向两边平行扩展一定的宽度,该宽度为d,设置为经验值100像素,如图9(b)中两条虚线。两条平行虚线之间区域为当前帧的田侧动态关注区域,对在该区域中的候补边界线进行RANSAC直线拟合,得到该帧图像的田侧边界线,如图9(d)中黑色直线所示。
(6)计算预测的田端面积:以图10(a)所示,由步骤(2)已得该帧图像的候补边界,即图10(a)中的黑色曲线。其中在田侧动态关注区域(即两条右倾长虚线之间的区域)内的为田侧边界;在田侧动态关注区域外的为田端边界。将田端边界所有像素点的y值累加起来,得到预测的田端面积,记为End_area,如图10(a)中的右倾短斜线区域。
(7)判断是否到达田端:若End_area小于第二面积阈值T_area,则表示当前帧并未到达田端,然后读取下一帧图片,返回步骤(1);反之,则表示当前帧已到达田端,进行步骤(8)。第二面积阈值T_area大小设置为经验值60000像素。
(8)判断上一帧是否存在田端边界:若不存在,则进行步骤(9);若存在则进行步骤(10)。
(9)首条田端边界线检测:将得到的田端边界进行RANSAC直线拟合,得到首条田端边界线,如图10(b)中黑色直线EndLine_m所示。然后转向步骤(11)。
(10)基于帧关联性算法进行田端边界线检测:同步骤(5)相似,将前一帧检测得到的田端边界线向两边平行扩展一定的宽度,该宽度设置为经验值d。两条平行线如图10(b)中近似水平的虚线所示。两条虚线之间区域为当前帧的田端动态关注区域,对在该区域的候补边界线进行RANSAC直线拟合,得到该帧图像的田端边界线,如图10(c)中黑色直线EndLine_m+1所示。
(11)转向控制:已知田侧和田端农田边界信息,即可对农机进行转向控制。
在四块不同场景的农田检验算法的准确性,得到四组视频。将检测到的农田边界直线与人工标注的直线之间的夹角定义为误差。得到结果如表2所示,最终平均误差为0.773°,可以看出本发明边界识别误差更小,检测直线更准确,满足实际作业要求。
表2-1检测边界线误差结果
Figure BDA0003062061380000121
图11为本发明一种农田边界识别系统结构示意图,如图11所示,一种农田边界识别系统,包括:
图像预处理模块201,用于对采集的原始图像进行预处理,获得图像数据集。
农田区域分割模型获得模块202,用于以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块。
田侧边界线和田端边界线识别模块203,用于将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种农田边界识别方法,其特征在于,包括:
对采集的原始图像进行预处理,获得图像数据集;
以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块;
将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线;
所述将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线,具体包括:
将当前帧图像输入所述农田区域分割模型,输出当前二值图像;
获得当前二值图像的农田区域中面积最大的区域;
判断所述面积最大的区域是否小于第一面积阈值;
若所述面积最大的区域小于第一面积阈值,则判断当前帧图像不存在候选边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若所述面积最大的区域大于或等于第一面积阈值,则将当前二值图像中纵坐标累积值最大的分界线作为当前帧图像的候选边界线;
判断当前帧图像的上一帧图像是否存在候选边界线;
若不存在候选边界线,则对当前二值图像的候选边界线进行RANSAC直线拟合获得当前帧图像的田侧边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若存在候选边界线,则根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线;
将当前帧图像的田侧边界线设定范围内的区域确定为当前帧图像的田侧动态关注区域;
将当前帧图像的田侧动态关注区域覆盖之外的候选边界线作为田端边界线;
根据田端边界线确定田端面积;
根据田端面积判断当前帧图像是否到达田端;
若未到达田端,则将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若到达田端,则判断当前帧图像的上一帧图像是否存在田端边界线;
若不存在田端边界线,则将当前帧图像的田端边界进行RANSAC直线拟合,得到田端边界线;
若存在田端边界线,则根据当前帧图像的候选边界线和上一帧图像的田端边界线,基于帧关联性算法,获得当前帧图像的田端边界线;
所述根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线,具体包括:
向上一帧图像的田侧边界线的两侧均扩展设定宽度,扩展的范围作为当前帧图像的田侧动态关注区域;
对当前帧图像的田侧动态关注区域覆盖中的候选边界线进行RANSAC直线拟合,得到当前帧图像的田侧边界线。
2.根据权利要求1所述的农田边界识别方法,其特征在于,所述反向残差块包括第一层、第二层、第三层和第四层;所述第一层和所述第三层结构相同,所述第二层和所述第四层结构相同;
所述第一层包括3*3深度卷积层、批归一化层和ReLU6激活函数层,所述第二层包括1*1逐点卷积层。
3.根据权利要求1所述的农田边界识别方法,其特征在于,所述改进的UNet网络中的卷积操作均采用扩张卷积。
4.根据权利要求1所述的农田边界识别方法,其特征在于,所述对采集的原始图像进行预处理,获得图像数据集,具体包括:
将所述原始图像转换为灰度图像;
将各灰度图像进行水平翻转获得翻转图像,将各灰度图像进行旋转获得各旋转角度的旋转图像;所述旋转角度包括+5°、-5°、+15°、-15°、+25°和-25°;
将灰度图像、翻转图像和旋转图像加入图像数据集。
5.根据权利要求1所述的农田边界识别方法,其特征在于,所述第一面积阈值为30000像素。
6.根据权利要求1所述的农田边界识别方法,其特征在于,所述根据田端边界线确定田端面积,具体包括:
将田端边界线上所有像素点的纵坐标值进行累加,累加结果为田端面积。
7.根据权利要求1所述的农田边界识别方法,其特征在于,所述根据田端面积判断当前帧图像是否到达田端,具体包括:
若田端面积小于第二面积阈值,则当前帧图像未到达田端;
若田端面积大于或等于第二面积阈值,则当前帧图像到达田端。
8.一种农田边界识别系统,其特征在于,包括:
图像预处理模块,用于对采集的原始图像进行预处理,获得图像数据集;
农田区域分割模型获得模块,用于以所述图像数据集中图像为输入,以与输入图像对应的标记图像为输出,训练改进的UNet网络,获得农田区域分割模型;所述标记图像为区分农田区域与非农田区域的二值图像,所述改进的UNet网络的编码器的最大池化层之间设置反向残差块,所述改进的UNet网络的解码器的反向卷积层之间设置反向残差块;
田侧边界线和田端边界线识别模块,用于将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线;
所述将当前帧图像输入所述农田区域分割模型,输出当前二值图像,基于帧关联性算法和RANSAC直线拟合方法确定当前二值图像的田侧边界线和田端边界线,具体包括:
将当前帧图像输入所述农田区域分割模型,输出当前二值图像;
获得当前二值图像的农田区域中面积最大的区域;
判断所述面积最大的区域是否小于第一面积阈值;
若所述面积最大的区域小于第一面积阈值,则判断当前帧图像不存在候选边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若所述面积最大的区域大于或等于第一面积阈值,则将当前二值图像中纵坐标累积值最大的分界线作为当前帧图像的候选边界线;
判断当前帧图像的上一帧图像是否存在候选边界线;
若不存在候选边界线,则对当前二值图像的候选边界线进行RANSAC直线拟合获得当前帧图像的田侧边界线,将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若存在候选边界线,则根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线;
将当前帧图像的田侧边界线设定范围内的区域确定为当前帧图像的田侧动态关注区域;
将当前帧图像的田侧动态关注区域覆盖之外的候选边界线作为田端边界线;
根据田端边界线确定田端面积;
根据田端面积判断当前帧图像是否到达田端;
若未到达田端,则将下一帧图像更新为当前帧图像,返回步骤“将当前帧图像输入所述农田区域分割模型,输出二值图像”;
若到达田端,则判断当前帧图像的上一帧图像是否存在田端边界线;
若不存在田端边界线,则将当前帧图像的田端边界进行RANSAC直线拟合,得到田端边界线;
若存在田端边界线,则根据当前帧图像的候选边界线和上一帧图像的田端边界线,基于帧关联性算法,获得当前帧图像的田端边界线;
所述根据当前帧图像的候选边界线和上一帧图像的田侧边界线,基于帧关联性算法,获得当前帧图像的田侧边界线,具体包括:
向上一帧图像的田侧边界线的两侧均扩展设定宽度,扩展的范围作为当前帧图像的田侧动态关注区域;
对当前帧图像的田侧动态关注区域覆盖中的候选边界线进行RANSAC直线拟合,得到当前帧图像的田侧边界线。
CN202110517222.0A 2021-05-12 2021-05-12 一种农田边界识别方法及系统 Active CN113221740B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110517222.0A CN113221740B (zh) 2021-05-12 2021-05-12 一种农田边界识别方法及系统
US17/467,813 US11288535B1 (en) 2021-05-12 2021-09-07 Method and system for identifying field boundary

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110517222.0A CN113221740B (zh) 2021-05-12 2021-05-12 一种农田边界识别方法及系统

Publications (2)

Publication Number Publication Date
CN113221740A CN113221740A (zh) 2021-08-06
CN113221740B true CN113221740B (zh) 2023-03-24

Family

ID=77095035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110517222.0A Active CN113221740B (zh) 2021-05-12 2021-05-12 一种农田边界识别方法及系统

Country Status (2)

Country Link
US (1) US11288535B1 (zh)
CN (1) CN113221740B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238726A1 (ja) * 2022-06-06 2023-12-14 株式会社レゾナック 画像処理装置、画像処理方法及び画像処理プログラム
CN114998746A (zh) * 2022-07-19 2022-09-02 江西省生态环境科学研究与规划院 一种耕地土壤环境质量分区方法及系统
CN115226458B (zh) * 2022-07-29 2024-05-03 驻马店志恒信息科技有限公司 一种无人驾驶农机施肥控制方法
CN115565148B (zh) * 2022-11-09 2023-04-18 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置
CN116630650B (zh) * 2023-07-20 2023-09-29 武汉理工大学 一种田垄宽度识别方法及用于田垄的无人车装置
CN117315493B (zh) * 2023-11-29 2024-02-20 浙江天演维真网络科技股份有限公司 一种田间杂草的识别分辨方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937168B2 (en) * 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
CN109472203B (zh) * 2018-09-30 2020-10-23 广州地理研究所 一种基于遥感数据的中心支轴式喷灌农田识别方法
EP3798899A1 (en) * 2019-09-30 2021-03-31 Basf Se Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that provide density maps
US11430151B2 (en) * 2019-11-06 2022-08-30 Seiko Epson Corporation Online learning for 3D pose estimation using simplified constellations
US11328476B2 (en) * 2019-11-14 2022-05-10 Qualcomm Incorporated Layout estimation using planes
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN112164089A (zh) * 2020-08-20 2021-01-01 浙江大学 基于卫星图像的农田边界的提取方法、装置、电子设备及存储介质
CN112750139A (zh) * 2021-01-18 2021-05-04 腾讯科技(深圳)有限公司 图像处理方法及装置、计算设备、存储介质
CN113989649A (zh) * 2021-11-25 2022-01-28 江苏科技大学 一种基于深度学习的遥感地块识别方法

Also Published As

Publication number Publication date
US11288535B1 (en) 2022-03-29
CN113221740A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221740B (zh) 一种农田边界识别方法及系统
CN109635744B (zh) 一种基于深度分割网络的车道线检测方法
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111738055B (zh) 多类别文本检测系统和基于该系统的票据表单检测方法
CN111259827B (zh) 一种面向城市河道监管的水面漂浮物自动检测方法及装置
CN104299006A (zh) 一种基于深度神经网络的车牌识别方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN114693983B (zh) 基于图像-实例对齐网络的训练方法和跨域目标检测方法
CN109784155B (zh) 基于验证和纠错机制的视觉目标跟踪方法、智能机器人
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN111797841A (zh) 一种基于深度残差网络的视觉显著性检测方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN112633429A (zh) 一种学生手写选择题识别方法
CN112836573A (zh) 一种基于对抗生成网络的车道线图像增强与补全方法
CN112200163A (zh) 水下底栖生物检测方法及系统
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN116310394A (zh) 显著性目标检测方法及装置
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN109284752A (zh) 一种车辆的快速检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant