CN110135341A - 杂草识别方法、装置及终端设备 - Google Patents

杂草识别方法、装置及终端设备 Download PDF

Info

Publication number
CN110135341A
CN110135341A CN201910403138.9A CN201910403138A CN110135341A CN 110135341 A CN110135341 A CN 110135341A CN 201910403138 A CN201910403138 A CN 201910403138A CN 110135341 A CN110135341 A CN 110135341A
Authority
CN
China
Prior art keywords
target
feature
network
fisrt feature
weed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910403138.9A
Other languages
English (en)
Other versions
CN110135341B (zh
Inventor
李春明
逯杉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Science and Technology
Original Assignee
Hebei University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Science and Technology filed Critical Hebei University of Science and Technology
Priority to CN201910403138.9A priority Critical patent/CN110135341B/zh
Publication of CN110135341A publication Critical patent/CN110135341A/zh
Application granted granted Critical
Publication of CN110135341B publication Critical patent/CN110135341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/02Apparatus for mechanical destruction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Wood Science & Technology (AREA)
  • Evolutionary Biology (AREA)
  • Zoology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Pest Control & Pesticides (AREA)
  • General Engineering & Computer Science (AREA)
  • Insects & Arthropods (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于神经网络技术领域,提供了一种杂草识别方法、装置及终端设备,所述方法包括:获取待识别杂草图像;将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;然后将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;最后将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。本发明通过综合利用卷积神经网络模型和生成对抗网络,能够增强杂草识别整体模型的鲁棒性,从而提高杂草识别的准确性和识别效率。

Description

杂草识别方法、装置及终端设备
技术领域
本发明属于神经网络技术领域,尤其涉及一种杂草识别方法、装置及终端设备。
背景技术
草坪中的花草树木是园林自然景观的基础,对于园林功能的发挥至关重要。草坪杂草通常与景观植物伴随生长,种类繁多,生长迅速,具有较强的生命力。这些杂草不仅有双子叶的阔叶类杂草,也有单子叶的禾本科和莎草科杂草,滋生后与景观植物争夺养分和生长空间,在防控不力的情况下能够很快发展为优势种群,甚至引起原有的自然景观早衰和退化。因此,在园林自然景观的日常维护中,需要投入大量的成本对杂草进行清除和控制。
然而,准确识别杂草是智能化除草技术所要解决的关键问题,目前己经有多种识别技术与喷药机器人结合。在最近的现有技术中,大多数杂草识别技术仅限于阈值分割法,MATLAB图像处理,浅层卷积神经网络,多特征融合提取等传统的识别方法,这些技术实施起来相对简单易行,但识别效率和识别准确性仍然有待提高。
发明内容
有鉴于此,本发明实施例提供了一种杂草识别方法、装置及终端设备,以解决现有技术中杂草识别效率和识别准确性差的问题。
本发明实施例的第一方面提供了一种杂草识别方法,包括:
获取待识别杂草图像;
将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;
将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;
将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
本发明实施例的第二方面提供了一种杂草识别装置,包括:
杂草图像识别模块,用于获取待识别杂草图像;
第一特征图获取模块,用于将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;
加噪处理模块,用于将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;
杂草识别模块,用于将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述杂草识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述杂草识别方法的步骤。
本发明实施例提供的杂草识别方法首先获取待识别杂草图像;将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;然后将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;最后将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。本实施例通过综合利用卷积神经网络模型和生成对抗网络,能够增强杂草识别整体模型的鲁棒性,从而提高杂草识别的准确性和识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的杂草识别方法的流程示意图;
图2是本发明实施例提供的图1中S102的实现流程示意图;
图3是本发明实施例提供的图2中S202的实现流程示意图;
图4是本发明实施例提供的图1中S104的实现流程示意图;
图5是本发明实施例提供的除草机器人的结构示意图;
图6是本发明实施例提供的杂草识别装置的结构示意图;
图7是本发明实施例提供的终端设备的示意图;
图8示出了本实施例提供的目标卷积神经网络模型和目标生成对抗网络的联合网络示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同对象,而非用于描述特定顺序。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明一实施例所提供的杂草识别方法的实现流程图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
如图1所示,本发明实施例所提供的一种杂草识别方法,包括:
S101:获取待识别杂草图像。
本发明实施例提供了一种除草机器人,其系统整体结构如图5所示,除草机器人包括一个机械手装置1、杂草收集装置2、机械臂装置3、主控模块4、电源模块5和视觉模块6等设备。视觉模块6安装在四轮移动平台的上方,用于拍摄待识别杂草图像,拍摄到待识别杂草图像后传输给主控模块4进行分析处理。主控模块4是除草机器人的控制核心,可以接受上位机发来的无线通讯信号从而控制机械臂装置3的操作。同时,视觉图像的分析处理也由主控模块4完成,并将杂草识别的结果转化为指令发送给机械臂装置3,机械臂装置3根据杂草识别的结果适时开始操作实现精准除草。
视觉模块6安装在除草机器人的前部上方,相机光轴与竖直方向呈60°角,俯视拍摄生成JPG格式的图像,以便主控模块4进行视觉分析。主控模块4主体搭建Linux系统,通过深度学习框架Tensorflow,学习关于草坪杂草杂物检测识别算法,获得杂草的分布情况后,据此控制机械臂装置3进行作业,从而实现精准除草。
在本实施例中,本发明提供的杂草识别方法的流程主体可以是除草机器人的主控模块4,也可以是其他与视觉模块6能够通信的终端设备,本实施例以主控模块4为例进行后续说明。
在本实施例中,主控模块4首先获取视觉模块6发送的待识别杂草图像,待识别杂草图像中包括杂草和其他有用植物。待识别杂草图像为固定大小的图像。
S102:将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图。
在本实施例中,目标卷积神经网络模型(CNN)可以为Faster R-CNN网络模型。通过目标卷积神经网络模型,能够在待识别杂草图像中生成多个精确的候选区域,得到第一特征图。
S103:将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理。
在本实施例中,在生成对抗网络中对第一特征图进行加噪处理,能够得到加噪效果较好的图像,从而有利于目标识别网络对第一特征图的识别。
S104:将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
在本实施例中,通过目标识别网络能够确定第一特征图中各个候选区域的分类概率,对分类概率设定阈值,若第一特征图的分类概率大于设定的阈值,则确定该候选区域存在杂草,若分类概率小于等于设定的阈值,则确定该候选区域不存在杂草,并根据判定为杂草的候选区域确定杂草预测位置。可选地,设定的阈值可以为0.5、0.6或其他值。
从上述实施例可知,本发明实施例提供的杂草识别方法首先获取待识别杂草图像;将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;然后将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;最后将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。本实施例通过综合利用卷积神经网络模型和生成对抗网络,能够增强杂草识别整体模型的鲁棒性,从而提高杂草识别的准确性和识别效率。
如图2所示,在本发明的一个实施例中,所述目标卷积神经网络模型包括目标VGG(Visual Geometry Group,视觉几何组)网络模型和目标区域建议网络模型;图2示出了图1所对应的实施例中的S102的具体流程,其包括:
S201:将所述待识别杂草图像输入所述目标VGG网络模型,对所述待识别杂草图像进行卷积特征提取,得到所述待识别杂草图像的第二特征图。
在本实施例中,如图8所示,目标Faster R-CNN网络模型包括目标VGG网络模型和目标区域建议网络模型,目标VGG网络模型为包括13个卷积层、13个激活层和4个迟化层的网络。当将待识别杂草图像输入目标卷积神经网络模型后,首先将待识别杂草图像输入目标VGG网络模型,通过目标VGG网络模型计算卷积特征,得到第二特征图。
S201:将所述第二特征图输入所述目标区域建议网络模型,对所述第二特征图进行区域候选框划分,生成第一特征图。
在本实施例中,目标区域建议网络模型(RPN)通过Softmax二分类函数对第二特征图属于目标还是背景进行分类判决,获取区域候选框的精确位置,并用于后续的目标识别与检测。
如图3所示,在本发明的一个实施例中,图3示出了图2所对应的实施例中的步骤S202的具体实现流程,其过程详述如下:
S301:根据所述目标区域建议网络模型的二分类函数,在所述第二特征图中生成预设数量的第一区域候选框,得到第三特征图。
在本实施例中,预设数量可以为300,在第二特征图中可以生成300个第一区域候选框,从而方便后续杂草位置的确定。
S302:将所述第二特征图及所述第三特征图输入所述目标区域建议网络模型的迟化层,对所述第三特征图中预设数量的第一区域候选框进行尺寸调整,生成标记有预设数量的第二区域候选框的第一特征图;其中,各个第二区域候选框的尺寸均为固定尺寸。
在本实施例中,如图8所示,在迟化层中综合卷积层的图像特征和第一区域候选框的信息,使输入的第三特征图生成预设数量的固定尺寸的第二区域候选框,通过上述卷积层、二分类函数及迟化层的作用,能够使第三特征图中的第二区域候选框选取的更加精确,从而提高后续杂草位置识别的准确性。
如图4所示,在本发明的一个实施例中,图4示出了图1中S104的具体实现流程,其包括:
S401:将经过加噪处理的第一特征图输入所述目标识别网络的分类层,得到所述第一特征图的分类概率;
S402:将经过加噪处理的第一特征图输入所述目标识别网络的回归层,确定所述第一特征图中杂草的最优边框,得到所述杂草预测位置。
在本实施例中,如图8所示,目标识别网络包括分类层和回归层,分类层包括分类损失函数,回归层包括回归损失函数,通过分类层的分类损失函数,能够确定第一特征图中各个第二区域候选框内存在杂草的概率,从而综合各个第二区域候选框存在杂草的概率,得到第一特征图中存在杂草的分类概率。
其次,通过第一特征图中各个区域候选框存在杂草的概率,将不存在杂草的第二区域候选框剔除,将存在杂草的第二区域候选框融合,从而得到指示杂草位置的最优边框,并根据最优边框在图像中的位置确定杂草预测位置。
在本发明的一个实施例中,在进行杂草识别之前,本实施例还包括目标卷积神经网络、目标生成对抗网络和目标识别网络的生成步骤,其包括:
步骤1:获取杂草训练样本。
首先进行数据集准备,准备大量的杂草训练样本作为训练数据集,每个训练样本中标注有指示杂草位置的边框和分类概率。
步骤2:将所述杂草训练样本输入初始卷积神经网络模型,对所述初始卷积神经网络模型进行训练,得到所述目标卷积神经网络模型及第一训练样本特征图。
在本实施例中,将大量的杂草训练样本输入初始卷积神经网络模型,从而对初始卷积神经网络模型进行训练,得到目标卷积神经网络模型,并且可以将经过目标卷积神经网络模型计算得到的第一训练样本特征图输入初始生成对抗网络,对初始生成对抗网络进行计算。
步骤3:将所述第一训练样本特征图输入初始生成对抗网络,所述初始生成对抗网络对所述第一训练样本特征图进行加噪,得到第二训练样本特征图。
在本实施例中,将第一训练样本特征图输入初始生成对抗网络,通过初始生成对抗网络的生成器对第一训练样本特征图进行加噪处理,生成第二训练样本特征图,第二训练样本特征图为加噪样本特征图。
步骤4:将所述第二训练样本特征图输入初始识别网络,得到所述第二训练样本特征图的分类概率及最优边框;
步骤5:将所述第二训练样本特征图的分类概率反馈至所述初始生成对抗网络,并根据所述第二训练样本特征图的分类概率调整所述初始生成对抗网络的网络参数,利用当前的初始生成对抗网络替换步骤3中的初始生成对抗网络。
在本实施例中,当生成对抗网络通过生成器对第一训练样本特征图进行加噪后,将第二训练样本特征图输人初始识别网络,将初始识别网络的分类层作为初始生成对抗网络的判别器,得到第二训练样本特征图的分类概率,然后将第二训练样本特征图的分类概率反馈至初始生成对抗网络的生成器,使初始对抗网络的生成器根据分类概率调整自身的参数,从而调整样本的加噪效果。
进一步地,将经过调整之后的初始对抗网络作为新的初始对抗网络,并重复步骤3-步骤5,直到初始识别网络的分类损失函数的期望分布和回归损失函数的期望分布相等,则可以认为初始生成对抗网络的加噪效果达到最佳,初始生成对抗网络和初始识别网络的训练完成,得到目标初始对抗网络和目标识别网络。
重复步骤3-步骤5,直至所述初始识别网络的分类损失函数的期望分布等于所述初始识别网络的回归损失函数的期望分布,得到所述目标生成对抗网络和所述目标识别网络。
从上述实施例可知,本实施例经过输入图像,通过VGG网络计算卷积特征、利用RPN生成更加精准的候选区域、生成对抗网络加噪和利用识别网络进行分类和回归训练得到杂草最优边框等五个过程。由于草坪杂草图片相似度极高,针对一个大图像中的小目标进行检测,通过修改最大迭代值、批处理尺寸等参数进一步优化等操作,达到最高检测率和识别率,最终完成草坪中杂草杂物的检测和识别。主控模块4获得杂草的分布情况后,据此控制机械臂装置3进行作业,从而实现精准除草。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
如图6所示,本发明的一个实施例提供的杂草识别装置100,用于执行图1所对应的实施例中的方法步骤,其包括:
杂草图像识别模块110,用于获取待识别杂草图像;
第一特征图获取模块120,用于将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;
加噪处理模块130,用于将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;
杂草识别模块140,用于将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
从上述实施例可知,本发明实施例提供的杂草识别方法首先获取待识别杂草图像;将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;然后将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;最后将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。本实施例通过综合利用卷积神经网络模型和生成对抗网络,能够增强杂草识别整体模型的鲁棒性,从而提高杂草识别的准确性和识别效率。
在本发明的一个实施例中,所述目标卷积神经网络模型包括目标VGG网络模型和目标区域建议网络模型;图6所对应的实施例中的第一特征图获取模块120还包括用于执行图2所对应的实施例中的方法步骤的结构,其包括:
第二特征图获取单元,用于将所述待识别杂草图像输入所述目标VGG网络模型,对所述待识别杂草图像进行卷积特征提取,得到所述待识别杂草图像的第二特征图;
第一特征图获取单元,用于将所述第二特征图输入所述目标区域建议网络模型,对所述第二特征图进行区域候选框划分,生成第一特征图。
在本发明的一个实施例中,第一特征图获取单元还包括用于执行图3所对应的实施例中的方法步骤的结构,其包括:
二分类子单元,用于根据所述目标区域建议网络模型的二分类函数,在所述第二特征图中生成预设数量的第一区域候选框,得到第三特征图;
第一特征图获取子单元,用于将所述第二特征图及所述第三特征图输入所述目标区域建议网络模型的迟化层,对所述第三特征图中预设数量的第一区域候选框进行尺寸调整,生成标记有预设数量的第二区域候选框的第一特征图;其中,各个第二区域候选框的尺寸均为固定尺寸。
在本发明的一个实施例中,杂草识别模块140包括:
分类概率获取单元,用于将经过加噪处理的第一特征图输入所述目标识别网络的分类层,得到所述第一特征图的分类概率;
预测位置获取单元,用于将经过加噪处理的第一特征图输入所述目标识别网络的回归层,确定所述第一特征图中杂草的最优边框,得到所述杂草预测位置。
在本发明的一个实施例中,本实施例提供的杂草识别装置100还包括:
训练样本获取模块,用于获取杂草训练样本;
卷积神经网络模型训练模块,用于将所述杂草训练样本输入初始卷积神经网络模型,对所述初始卷积神经网络模型进行训练,得到所述目标卷积神经网络模型及第一训练样本特征图;
生成对抗网络训练模块,用于将所述第一训练样本特征图输入初始生成对抗网络,所述初始生成对抗网络对所述第一训练样本特征图进行加噪,得到第二训练样本特征图;
初始识别网络训练模块,用于将所述第二训练样本特征图输入初始识别网络,得到所述第二训练样本特征图的分类概率及最优边框;
反馈模块,用于将所述第二训练样本特征图的分类概率反馈至所述初始生成对抗网络,并根据所述第二训练样本特征图的分类概率调整所述初始生成对抗网络的网络参数,利用当前的初始生成对抗网络替换步骤3中的初始生成对抗网络;重复步骤3-步骤5,直至所述初始识别网络的分类损失函数的期望分布等于所述初始识别网络的回归损失函数的期望分布,得到所述目标生成对抗网络和所述目标识别网络。
在一个实施例中,杂草识别装置100还包括其他功能模块/单元,用于实现实施例1中各实施例中的方法步骤。
图7是本发明一实施例提供的终端设备的示意图。如图7所示,该实施例的终端设备7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个杂草识别方法实施例中的步骤,例如图1所示的步骤101至104。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块110至140的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种杂草识别方法,其特征在于,包括:
获取待识别杂草图像;
将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;
将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;
将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
2.如权利要求1所述的一种杂草识别方法,其特征在于,所述目标卷积神经网络模型包括目标VGG网络模型和目标区域建议网络模型;
所述将所述待识别杂草图像输入所述目标卷积神经网络模型,得到第一特征图,包括:
将所述待识别杂草图像输入所述目标VGG网络模型,对所述待识别杂草图像进行卷积特征提取,得到所述待识别杂草图像的第二特征图;
将所述第二特征图输入所述目标区域建议网络模型,对所述第二特征图进行区域候选框划分,生成第一特征图。
3.如权利要求2所述的一种杂草识别方法,其特征在于,所述将所述第二特征图输入所述目标区域建议网络模型,对所述第二特征图进行区域候选框划分,生成第一特征图,包括:
根据所述目标区域建议网络模型的二分类函数,在所述第二特征图中生成预设数量的第一区域候选框,得到第三特征图;
将所述第二特征图及所述第三特征图输入所述目标区域建议网络模型的迟化层,对所述第三特征图中预设数量的第一区域候选框进行尺寸调整,生成标记有预设数量的第二区域候选框的第一特征图;其中,各个第二区域候选框的尺寸均为固定尺寸。
4.如权利要求1所述的一种杂草识别方法,其特征在于,所述将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置,包括:
将经过加噪处理的第一特征图输入所述目标识别网络的分类层,得到所述第一特征图的分类概率;
将经过加噪处理的第一特征图输入所述目标识别网络的回归层,确定所述第一特征图中杂草的最优边框,得到所述杂草预测位置。
5.如权利要求1至4任一项所述的杂草识别方法,其特征在于,在所述获取待识别杂草图像之前,还包括目标卷积神经网络、目标生成对抗网络和目标识别网络的生成步骤;
所述目标卷积神经网络、目标生成对抗网络和目标识别网络的生成步骤包括:
步骤1,获取杂草训练样本;
步骤2,将所述杂草训练样本输入初始卷积神经网络模型,对所述初始卷积神经网络模型进行训练,得到所述目标卷积神经网络模型及第一训练样本特征图;
步骤3,将所述第一训练样本特征图输入初始生成对抗网络,所述初始生成对抗网络对所述第一训练样本特征图进行加噪,得到第二训练样本特征图;
步骤4,将所述第二训练样本特征图输入初始识别网络,得到所述第二训练样本特征图的分类概率及最优边框;
步骤5,将所述第二训练样本特征图的分类概率反馈至所述初始生成对抗网络,并根据所述第二训练样本特征图的分类概率调整所述初始生成对抗网络的网络参数,利用当前的初始生成对抗网络替换步骤3中的初始生成对抗网络;
重复步骤3-步骤5,直至所述初始识别网络的分类损失函数的期望分布等于所述初始识别网络的回归损失函数的期望分布,得到所述目标生成对抗网络和所述目标识别网络。
6.一种杂草识别装置,其特征在于,包括:
杂草图像识别模块,用于获取待识别杂草图像;
第一特征图获取模块,用于将所述待识别杂草图像输入目标卷积神经网络模型,得到第一特征图;
加噪处理模块,用于将所述第一特征图输入目标生成对抗网络,对所述第一特征图进行加噪处理;
杂草识别模块,用于将经过加噪处理的第一特征图输入目标识别网络,得到所述第一特征图的分类概率及杂草预测位置。
7.如权利要求6所述的杂草识别装置,其特征在于,所述目标卷积神经网络模型包括目标VGG网络模型和目标区域建议网络模型;
所述第一特征图获取模块包括:
第二特征图获取单元,用于将所述待识别杂草图像输入所述目标VGG网络模型,对所述待识别杂草图像进行卷积特征提取,得到所述待识别杂草图像的第二特征图;
第一特征图获取单元,用于将所述第二特征图输入所述目标区域建议网络模型,对所述第二特征图进行区域候选框划分,生成第一特征图。
8.如权利要求7所述的杂草识别装置,其特征在于,所述第一特征图获取单元包括:
二分类子单元,用于根据所述目标区域建议网络模型的二分类函数,在所述第二特征图中生成预设数量的第一区域候选框,得到第三特征图;
第一特征图获取子单元,用于将所述第二特征图及所述第三特征图输入所述目标区域建议网络模型的迟化层,对所述第三特征图中预设数量的第一区域候选框进行尺寸调整,生成标记有预设数量的第二区域候选框的第一特征图;其中,各个第二区域候选框的尺寸均为固定尺寸。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910403138.9A 2019-05-15 2019-05-15 杂草识别方法、装置及终端设备 Active CN110135341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910403138.9A CN110135341B (zh) 2019-05-15 2019-05-15 杂草识别方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403138.9A CN110135341B (zh) 2019-05-15 2019-05-15 杂草识别方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN110135341A true CN110135341A (zh) 2019-08-16
CN110135341B CN110135341B (zh) 2021-05-18

Family

ID=67574169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403138.9A Active CN110135341B (zh) 2019-05-15 2019-05-15 杂草识别方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN110135341B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807425A (zh) * 2019-11-04 2020-02-18 金陵科技学院 一种智能除草系统及除草方法
CN111126503A (zh) * 2019-12-27 2020-05-08 北京同邦卓益科技有限公司 一种训练样本的生成方法和装置
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111553258A (zh) * 2020-04-26 2020-08-18 江苏大学 一种利用卷积神经网络的茶园识别除草方法
CN112541383A (zh) * 2020-06-12 2021-03-23 广州极飞科技有限公司 杂草区域的识别方法和装置
EP3861842A1 (en) * 2020-10-08 2021-08-11 Deere & Company Predictive weed map generation and control system
EP3981236A1 (en) * 2020-10-08 2022-04-13 Deere & Company Predictive map generation and control system
EP3981232A1 (en) * 2020-10-08 2022-04-13 Deere & Company Predictive map generation and control system
WO2022208427A1 (en) * 2021-03-31 2022-10-06 Upl Limited System and method for identifying weeds
CN115375997A (zh) * 2022-08-23 2022-11-22 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
CN109598287A (zh) * 2018-10-30 2019-04-09 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035118A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
CN109598287A (zh) * 2018-10-30 2019-04-09 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李明等: "应用GAN和Faster R-CNN的色织物缺陷识别", 《西安工程大学学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
CN110807425A (zh) * 2019-11-04 2020-02-18 金陵科技学院 一种智能除草系统及除草方法
CN110807425B (zh) * 2019-11-04 2024-02-27 金陵科技学院 一种智能除草系统及除草方法
CN111126503A (zh) * 2019-12-27 2020-05-08 北京同邦卓益科技有限公司 一种训练样本的生成方法和装置
CN111126503B (zh) * 2019-12-27 2023-09-26 北京同邦卓益科技有限公司 一种训练样本的生成方法和装置
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111553258A (zh) * 2020-04-26 2020-08-18 江苏大学 一种利用卷积神经网络的茶园识别除草方法
CN112541383A (zh) * 2020-06-12 2021-03-23 广州极飞科技有限公司 杂草区域的识别方法和装置
CN112541383B (zh) * 2020-06-12 2021-12-28 广州极飞科技股份有限公司 杂草区域的识别方法和装置
EP3981232A1 (en) * 2020-10-08 2022-04-13 Deere & Company Predictive map generation and control system
EP3981236A1 (en) * 2020-10-08 2022-04-13 Deere & Company Predictive map generation and control system
EP3861842A1 (en) * 2020-10-08 2021-08-11 Deere & Company Predictive weed map generation and control system
WO2022208427A1 (en) * 2021-03-31 2022-10-06 Upl Limited System and method for identifying weeds
CN115375997A (zh) * 2022-08-23 2022-11-22 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
CN115375997B (zh) * 2022-08-23 2023-10-31 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备

Also Published As

Publication number Publication date
CN110135341B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110135341A (zh) 杂草识别方法、装置及终端设备
CN108600379A (zh) 一种基于深度确定性策略梯度的异构多智能体协同决策方法
CN106982359B (zh) 一种双目视频监控方法、系统和计算机可读存储介质
CN105631415A (zh) 一种基于卷积神经网络的视频行人识别方法
CN110321910A (zh) 面向点云的特征提取方法、装置及设备
CN109446889A (zh) 基于孪生匹配网络的物体追踪方法及装置
CN110163813A (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN109993748A (zh) 一种基于点云处理网络的三维网格物体分割方法
Jiang A novel crop weed recognition method based on transfer learning from VGG16 implemented by Keras
CN110084293A (zh) 一种全明格局房屋的确定方法和装置
CN113222123A (zh) 模型训练方法、装置、设备及计算机存储介质
CN109344700A (zh) 一种基于深度神经网络的行人姿态属性识别方法
CN108229536A (zh) 分类预测模型的优化方法、装置及终端设备
CN115376008A (zh) 病虫害识别方法、装置、电子设备和存储介质
Haichen et al. Weeds and crops classification using deep convolutional neural network
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
CN110414560A (zh) 一种用于高维图像数据的自主子空间聚类方法
CN106951089A (zh) 手势交互方法及系统
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
Treboux et al. Towards retraining of machine learning algorithms: an efficiency analysis applied to smart agriculture
CN110555343B (zh) 典型资源要素中林、灌、草三要素提取方法和系统
CN109739979A (zh) 神经网络的调优方法、调优装置及终端
CN110059742A (zh) 基于深度学习的安全护具穿戴识别方法及设备
CN115908697A (zh) 基于点云概率分布学习的生成模型及其方法
CN115035309A (zh) 一种水稻病害识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant