CN116071744A - 一种基于Faster RCNN网络的成熟期番茄识别方法及系统 - Google Patents

一种基于Faster RCNN网络的成熟期番茄识别方法及系统 Download PDF

Info

Publication number
CN116071744A
CN116071744A CN202310034169.8A CN202310034169A CN116071744A CN 116071744 A CN116071744 A CN 116071744A CN 202310034169 A CN202310034169 A CN 202310034169A CN 116071744 A CN116071744 A CN 116071744A
Authority
CN
China
Prior art keywords
image
tomato
network model
network
fruit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310034169.8A
Other languages
English (en)
Other versions
CN116071744B (zh
Inventor
张继波
李楠
杨素华
杨宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG PROVINCIAL CLIMATE CT
Original Assignee
SHANDONG PROVINCIAL CLIMATE CT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG PROVINCIAL CLIMATE CT filed Critical SHANDONG PROVINCIAL CLIMATE CT
Priority to CN202310034169.8A priority Critical patent/CN116071744B/zh
Publication of CN116071744A publication Critical patent/CN116071744A/zh
Application granted granted Critical
Publication of CN116071744B publication Critical patent/CN116071744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于Faster RCNN网络的成熟期番茄识别方法及系统，属于番茄识别领域，均能够：构建番茄果实图像数据集；构建生成式对抗网络；对生成式对抗网络进行训练；构建Faster RCNN网络，并将Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及将Faster RCNN网络中目标识别阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；对目标Faster RCNN网络模型进行训练；利用训练好的目标Faster RCNN网络模型识别待识别图像中果实成熟与否。本发明用于提高成熟期番茄识别的精度和效率。

Description

一种基于Faster RCNN网络的成熟期番茄识别方法及系统
技术领域
本发明涉及成熟期番茄识别领域，具体涉及一种基于Faster RCNN网络的成熟期番茄识别方法及系统。
背景技术
番茄采摘有人工采摘和机械采摘，目前仍以人工为主，劳动强度大、成本高。机械采摘可降低成本，提高效率。成熟期番茄识别是实现机械采摘的前提。但是实际生产中存在由藤蔓、叶片、果实遮挡等影响而引起误识别的问题。
近年来，随着深度学习技术的发展，深度学习和数字图像处理相结合的方式大大提高了自然环境下成熟期番茄的识别精度。2021年张文静等发表的《基于Faster R-CNN算法的番茄识别检测方法》一文，通过非极大值抑制算法筛选候选区域的方式提高了果实的识别精度；该方法提高了一般环境条件下果实的识别精度，但应对果实重叠遮挡、叶片遮挡果实等工程实际问题效果不够显著，而且尚未解决成熟期与否的识别问题。2021年王晓慧等发表的《自然环境中的红色番茄图像识别方法研究》一文，提出一种基于圆拟合算法的番茄图像识别方法，该方法对采集的番茄图像利用三原色彩色空间进行分析，利用红-绿(R-G)色差分量对番茄图像进行预处理，然后采用边缘检测算法等对果实目标和背景进行分割,最终选用阈值分割中的最大类间方差法进行图像分割,并基于反向传播人工神经网络和圆拟合算法进行番茄果实的识别，最终得到红色番茄果实的轮廓、质心和半径，实现了果实的定位，此方法一定程度上解决了复杂环境下多个果实重叠的识别问题,而且通过颜色空间分析可进一步实现果实成熟与否的识别；2021年岳有军等发表的《基于级联卷积神经网络的番茄果实目标检测》一文，通过soft-NMS算法和更合适的锚框设计，增强了网络对于重叠果实的识别能力，在识别番茄果实的同时，该网络还对番茄的成熟度进行了简单分类。上述方法虽然从系统层面对识别定位及果实成熟与否进行了一体化设计，并对工程实际中面临的相互遮挡等问题提出了解决思路，但均采用的是先进行果实识别、后进行果实是否成熟二分类的工作流管道模式，该种级联方式在实际运行中效率受限。
此为现有技术的不足之处。
发明内容
针对现有技术的不足之处，本发明提供一种基于Faster RCNN网络的成熟期番茄识别方法及系统，用于提高自然环境下番茄成熟与否识别的效率。
第一方面，本发明的技术方案提供一种基于Faster RCNN网络的成熟期番茄识别方法，包括：
构建番茄果实图像数据集；
构建生成式对抗网络，该生成式对抗网络包括一个生成网络模型和一个判别网络模型，生成网络模型用于生成样本数据，判别网络模型用于判别其内输入的样本数据的来源；
利用构建的番茄果实图像数据集对生成式对抗网络进行训练；
构建Faster RCNN网络，并将该Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及将该Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；
基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练；
输入待识别图像，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行番茄成熟与否的识别。
进一步地，番茄果实图像数据集包括完整果实图像和一半大小果实图像两类番茄图像数据；
完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成；一半大小果实图像由成熟果实的一半大小的图像和不成熟果实的一半大小的图像这两类番茄图像构成；
番茄果实图像数据集中的每一张图像都配设有相应的标签值，完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
进一步地，利用构建的番茄果实图像数据集对生成式对抗网络进行训练，包括：
将标签值“1”和“0”构成二维的标签数据，采用预先设定的随机噪声生成器获取1000维的噪声数据，并对番茄果实图像数据集中各图像进行归一化处理；
然后在上述1000维的噪声数据尾部拼接所述标签数据连接成1002维的数据作为随机输入，将上述归一化处理得到的图像数据作为真实数据输入，进行生成网络模型和判别网络模型的对抗网络训练，直至生成网络模型和判别网络模型之间达到纳什平衡。
进一步地，一半大小取完整果实面积的1/3-2/3。
进一步地，基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，包括：
标注所述番茄实景图像训练集，得到标注好标签的番茄实景图像训练集；
利用标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，得到训练好的目标Faster RCNN网络模型。
进一步地，标注所述番茄实景图像训练集，包括：
对番茄实景图像训练集中每一张图像进行成熟和未成熟果实的标注。
进一步地，对番茄实景图像训练集中每一张图像进行成熟和未成熟果实的标注，包括：
为图像中的每一个成熟果实，标注“成熟”标签；
为图像中的每一个不成熟果实，标注“不成熟”标签。
第二方面，本发明提供一种基于Faster RCNN网络的成熟期番茄识别系统，包括：
图像数据集单元，用于构建番茄果实图像数据集；
对抗网络构建单元，用于构建生成式对抗网络，该生成式对抗网络包括一个生成网络模型和一个判别网络模型，生成网络模型用于生成样本数据，判别网络模型用于判别其内输入的样本数据的来源；
第一训练单元，用于利用构建的番茄果实图像数据集对生成式对抗网络进行训练；
Faster RCNN网络构建单元，用于构建Faster RCNN网络，并用于将该Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及用于将该Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；
第二训练单元，用于基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练；
识别单元，用于输入待识别图像，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行番茄成熟与否的识别。
进一步地，番茄果实图像数据集包括完整果实图像和一半大小果实图像两类番茄图像数据；
完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成；一半大小果实图像由成熟果实的一半大小的图像和不成熟果实的一半大小的图像这两类番茄图像构成；
番茄果实图像数据集中的每一张图像都配设有相应的标签值，完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
进一步地，第二训练单元包括：
第一标注模块，用于依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，得到标注好标签的番茄实景图像训练集；其中，所述依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，是指对所述番茄实景图像训练集中的每一张图像进行成熟和未成熟果实的标注；
第一训练模块，用于利用标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，得到训练好的目标Faster RCNN网络模型。
本发明提供的基于Faster RCNN网络的成熟期番茄识别方法及系统，具有以下有益效果：
本发明将Faster RCNN网络结构中特征提取阶段和目标识别阶段的网络模型均替换为训练好的生成式对抗网络的判别网络模型用于番茄成熟与否识别，一定程度上有助于确保对于单一目标检测网络识别的精度，且能够一次性进行果实的目标检测和成熟度检测，从而有助于打破现有技术中级联方式对番茄成熟与否识别效率的制约，从而有助于提高自然环境下成熟期番茄识别的效率。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2为本发明中构建的番茄果实图像数据集的四类番茄图像示例示意图。
图3为本发明中生成式对抗网络学习正态分布的过程示意图。
图4是本发明一个实施例的系统的示意性流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1是本发明一个实施例的方法的示意性流程图。
具体地，如图1所示，该方法100包括：
步骤110，构建番茄果实图像数据集。
番茄果实图像数据集包括完整果实图像和一半大小果实图像这两类番茄图像数据。
番茄果实图像数据集中的每一张番茄图像都配设有相应的标签值。
具体地，完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
完整果实图像，是指完整番茄的图像，图像中番茄是完整的。
一半大小果实图像,是指图像中只有一半大小的番茄的图像，图像中番茄有遮挡且仅外露出其对应完整番茄面积的一半大小。
示例性地，在具体实现时，番茄果实图像数据集中一半大小果实图像的情况，覆盖番茄果实在上、下、左、右四个方向上外露果实的一半大小等多种情形。
本说明书中所涉及的一半大小是一个相对概念，其是针对果实本身而言的，具体实现时，果实的一半大小，是指其对应的完整果实面积的1/3-2/3。
示例性地，所述番茄果实图像数据集包含果实完整且成熟(即成熟果实的完整图像)、果实完整但不成熟(即不成熟果实的完整图像)、果实一半大小但成熟(即成熟果实的一半大小果实图像)、果实一半大小且不成熟(即不成熟果实的一半大小果实图像)这四类番茄图像。其中，完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成。一半大小果实图像由成熟果实的一半大小果实图像和不成熟果实的一半大小果实图像这两类番茄图像构成。
图2为本实施例中番茄果实图像数据集中的四类番茄图像的示例性示意图。如图2所示：图中番茄“不成熟”列中一半大小果实图像自上而下依次分布的四个图像(图像中所示果实外围的黑色区域为图像的背景色，本领域技术人员可依据实际情况更改其颜色)，依次对应番茄果实在上、下、左、右四个方向上外露果实的一半大小的情况；图中番茄“成熟”列中一半大小果实图像自上而下依次分布的四个图像，依次对应番茄果实在上、下、左、右四个方向上外露果实的一半大小的情况。
步骤120，构建生成式对抗网络。
生成式对抗网络包括一个生成网络模型和一个判别网络模型。
生成网络模型用于生成样本数据。
判别网络模型用于判别其内输入的样本数据的来源，而后输出一个0-1之间的概率值。
所述来源有两种可能，一种是来源于生成网络模型生成的假样本集，另一种是来源于上述番茄果实图像数据集中的真实样本集。
判别网络模型输出的概率值越高，代表数据来自于真实样本集的概率越大，输出的概率值越低，代表数据来自于假样本集的概率越大。特别地，在输出的概率值为1时，判别网络模型确认数据来自于真实样本集；在输出的概率值为0时，判别网络模型确认数据来自于假样本集；在输出的概率值为0.5时，判别网络模型无法判断数据来自于真实样本集还是假样本集。
步骤130、利用构建的番茄果实图像数据集对生成式对抗网络进行训练。
该步骤130利用构建的番茄果实图像数据集对生成式对抗网络进行训练，训练的实质为训练上述生成网络模型和判别网络模型，直至判别网络模型对输入的任意训练图像均输出概率值“0.5”，此时得到训练好的生成式对抗网络。
训练好的生成式对抗网络，达到了一个纳什平衡，此时判别网络无法判断数据来自于真实样本集还是假样本集。
对生成式对抗网络进行训练，即为生成式对抗网络学习一个正态分布的过程。
示例性地，训练生成式对抗网络时：
将上述标签值“1”和“0”构成二维的标签数据(c)，采用预先设置的随机噪声生成器获取1000维的噪声数据(n)，并对番茄果实图像数据集中各图像进行归一化处理(比如均归一化为大小是128*128*3像素的果实图像数据)；
然后在上述1000维的噪声数据(n)的尾部拼接上述二维的标签数据(c)形成1002维的数据(z)作为随机输入，将上述归一化处理得到的图像数据作为真实数据(x)，对生成网络模型(G)和判别网络模型(D)进行对抗网络训练，直至生成网络模型(G)和判别网络模型(D)之间达到纳什平衡为止。
示例性地，图3中(a)至(d)所示为本实施例中生成式对抗网络学习正态分布的过程示意图。
图3中粗点构成的曲线代表真实样本分布(对应上述真实数据)，黑色实线曲线代表生成样本分布，细点构成的曲线代表判别网络模型。生成样本即假样本。
示例性地，具体训练时:
①首先以上述1002维的数据(z)以及真实数据(x)作为输入对生成式对抗网络进行优化训练，得到初始生成网络模型和初始判别网络模型，其优化训练结果如图3中(a)所示；
②接下来，保持初始生成网络模型固定，依据以下公式(1)对初始判别网络模型进行优化训练，直至初始判别网络模型能够较好地区分(可由人工依经验判定)真实样本和假样本为止，其优化训练结果如图3中(b)所示；
Figure BDA0004048596340000081
式中，D代表判别网络模型，G代表生成网络模型，x代表上述真实数据，z代表上述1002维的数据(随机噪声)，y代表条件信息(即上述标签值0,1)，P代表数据的分布；
Figure BDA0004048596340000089
代表优化判别网络模型的数学模型为求取判别模型D期望值的最大值；pdata(x)代表真实数据x的样本分布；
Figure BDA0004048596340000082
代表真实数据x的数学期望；D(x|y))代表真实数据判别网络模型的输出值；
Figure BDA0004048596340000083
代表对于真实数据判别网络模型输出值的期望；Pz(z)代表生成数据的样本分布；
Figure BDA0004048596340000084
代表生成数据的数学期望；D(G(z|y))代表生成数据判别网络模型的输出值；
Figure BDA0004048596340000085
代表对于生成数据判别网络模型输出值的期望；
③随后，保持以上优化训练得到的判别网络模型固定，依据以下公式(2)对上述初始生成网络模型进行优化训练，直至生成网络模型生成的假样本接近真实样本为止(可由人工依经验判定)，其优化训练结果如图3中(c)所示；
Figure BDA0004048596340000086
式中
Figure BDA0004048596340000087
表示优化生成网络模型的数学模型为求取生成网络模型期望值的最小值；
Figure BDA0004048596340000088
代表对于生成数据判别网络模型输出值的期望；
④之后参照前述②、③步骤，先保持生成网络模型固定对判别网络模型进行优化训练，再保持判别网络模型固定对生成网络模型进行优化训练，依此交替进行迭代训练，直至达到生成样本分布与真实样本分布重合的效果，如图3中(d)所示。至此，得到训练好的生成式对抗网络，即得到训练好的生成网络模型和判别网络模型。
通过图3可以看出，开始时判别网络模型在区分真实样本与生成样本时的表现较差，无法做到很好地区分，随着训练的进行，由生成模型得到的假样本不断地接近真实样本，直至达到生成样本分布与真实样本分布重合的效果训练结束。
训练好的生成网络模型，能够进行番茄完整果实图像和一半大小果实图像的生成。
训练好的判别网络模型,能够进行番茄完整果实图像和一半大小果实图像的来源判别。
步骤140、构建Faster RCNN网络，并将该Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及将Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标FasterRCNN网络模型。
目标Faster RCNN网络模型是一个新的Faster RCNN网络模型。
对于所得到的目标Faster RCNN网络模型来说，其特征提取阶段和目标识别阶段的CNN网络模型，均为训练好的生成式对抗网络的判别网络模型。
训练好的生成式对抗网络的判别网络模型，即为训练好的判别网络模型。
步骤150、对目标Faster RCNN网络模型进行训练。
基于预先构建的番茄实景图像训练集,对目标Faster RCNN网络模型进行训练。
目标Faster RCNN网络模型的训练步骤包括以下步骤1501和步骤1503。
步骤1501、预先构建番茄实景图像训练集。
所述番茄实景图像训练集的构建方法：
收集番茄的实景图像；
对收集的实景图像，按照图像清晰无污染、目标物数量适宜(即图像中番茄果实数量适量且便于步骤1502中进行图像标注。图像中目标物太多，若一张图中有几十个甚至上百个且互相重叠的番茄果实，则不利于标注。)两个指标进行筛选；
利用筛选出的实景图像构建所述番茄实景图像训练集。
番茄实景图像训练集中的图像均是番茄的实景图像。
步骤1502、标注番茄实景图像训练集。
番茄实景图像训练集的具体标注方法为：
依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像。
标注番茄实景图像训练集中图像的标签有“成熟”和“不成熟”两种。
所述依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，是指对所述番茄实景图像训练集中的每一张图像进行成熟和未成熟果实的标注。
具体地，对番茄实景图像训练集中每一张图像进行成熟和未成熟果实的标注，包括：
为图像中的每一个成熟果实，分别标注“成熟”标签；
为图像中的每一个不成熟果实，分别标注“不成熟”标签。
标注番茄实景图像训练集，得到标注好标签的番茄实景图像训练集。
对于标注好标签的番茄实景图像训练集中的每一张图像来说：
图像中的每一个成熟果实，均标注有“成熟”标签；
图像中的每一个不成熟果实，均标注有“不成熟”标签。
本实施例中采用人工标注方式完成番茄实景图像训练集中每一张图像的标注。具体实现时，也可采用机器设备自动化地辅助完成标注。
步骤1503、网络训练。
该步骤1502的网络训练即为，利用上述得到的标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行调优训练。
示例性地，上述调优训练，包括：
首先固定目标Faster RCNN网络模型中特征提取阶段和识别阶段的CNN网络模型的模型参数，将目标Faster RCNN网络模型中其余参数作为训练参数，并设置网络模型训练超参数(具体可由本领域技术人员依据自身软硬件实际情况(比如具体采用的模型训练框架、图形处理器GPU、显卡和内存)进行设置)，之后开始目标Faster RCNN网络模型的第一阶段训练，直至目标Faster RCNN网络模型的分类损失和回归损失无下降趋势并且处于收敛状态，终止第一阶段训练，得到第一阶段训练好的Faster RCNN网络模型；
之后固定第一阶段训练好的Faster RCNN网络模型中特征提取阶段的网络模型的模型参数，将第一阶段训练好的Faster RCNN网络模型中其余参数作为训练参数，之后重新设置网络模型训练超参数进行第二阶段的网络模型调优训练，直至上述第一阶段训练好的Faster RCNN网络模型的分类损失和回归损失达到收敛状态，终止第二阶段训练，得到第二阶段训练好的Faster RCNN网络模型；
之后将第二阶段训练好的Faster RCNN网络模型中的所有模型参数作为训练参数，再次调整网络模型训练超参数进行第三阶段的网络模型调优训练，直至第二阶段训练好的Faster RCNN网络模型中的分类损失和回归损失达到收敛状态，此时终止整个训练，得到训练好的目标Faster RCNN网络模型。
训练好的目标Faster RCNN网络模型，对输入的番茄图像能够识别出对应番茄成熟与否。
步骤160、识别阶段。
输入待识别图像(即为采集的待识别番茄成熟与否的图像)，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行识别，输出待识别图像中各番茄对应的识别结果。
示例性地，在选择图像构建番茄果实图像数据集时，所选图像中果实的成熟与不成熟，可由本领域技术人员基于果实的红、青两种颜色依据经验进行区分。
如图4所示，本发明提供的系统200，包括：
番茄果实图像数据集单元201，用于构建番茄果实图像数据集；
对抗网络构建单元202，用于构建生成式对抗网络，该生成式对抗网络包括一个生成网络模型和一个判别网络模型，生成网络模型用于生成样本数据，判别网络模型用于判别其内输入的样本数据的来源；
第一训练单元203，用于利用构建的番茄果实图像数据集对生成式对抗网络进行训练；
示例性地，第一训练单元203所采用的番茄果实图像数据集包括完整果实图像和一半大小果实图像这两类番茄图像数据。
完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成。
一半大小果实图像由成熟果实的一半大小的图像和不成熟果实的一半大小的图像这两类番茄图像构成。
番茄果实图像数据集中的每一张图像都配设有相应的标签值，具体地：完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
Faster RCNN网络构建单元204，用于构建Faster RCNN网络，并用于将该FasterRCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及用于将该Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；
第二训练单元205，用于基于预先构建的番茄实景图像训练集，对目标FasterRCNN网络模型进行训练；
识别单元206，用于输入待识别图像，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行番茄成熟与否的识别。
示例性地，第二训练单元205包括：
第一标注模块，用于依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，得到标注好标签的番茄实景图像训练集；其中，所述依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，是指对所述番茄实景图像训练集中的每一张图像进行成熟果实和未成熟果实的标注；
第一训练模块，用于利用标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，得到训练好的目标Faster RCNN网络模型。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
本发明将Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，有助于提取到果实全、半两大类别的特征，从而有助于提高自然环境下对一半面积被遮挡的果实的识别准确率，继而有助于确保成熟期番茄识别的精度。
本发明通过在Faster RCNN网络结构中融合训练好的生成式对抗网络的判别网络模型，实现了对于单一目标检测网络识别精度的改进，打破了级联方式对效率的制约，一定程度上提高了识别效率。
需要说明的是，本说明书中所涉及的“果实”均为番茄，本发明提供的方法及系统有助于辅助实现番茄的机械采摘。
此外需要说明的是，本说明书中构建番茄果实图像数据集的图像数据来源于山东省气象局设施作物实景观测站。具体实现时，本领技术人员还可选用其他气象局设施作物实景观测站的图像数据构建番茄果实图像数据集。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，包括：
构建番茄果实图像数据集；
构建生成式对抗网络，该生成式对抗网络包括一个生成网络模型和一个判别网络模型，生成网络模型用于生成样本数据，判别网络模型用于判别其内输入的样本数据的来源；
利用构建的番茄果实图像数据集对生成式对抗网络进行训练；
构建Faster RCNN网络，并将该Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及将该Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；
基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练；
输入待识别图像，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行番茄成熟与否的识别。
2.根据权利要求1所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，番茄果实图像数据集包括完整果实图像和一半大小果实图像两类番茄图像数据；
完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成；一半大小果实图像由成熟果实的一半大小的图像和不成熟果实的一半大小的图像这两类番茄图像构成；
番茄果实图像数据集中的每一张图像都配设有相应的标签值，完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
3.根据权利要求2所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，利用构建的番茄果实图像数据集对生成式对抗网络进行训练，包括：
将标签值“1”和“0”构成二维的标签数据，采用预先设定的随机噪声生成器获取1000维的噪声数据，并对番茄果实图像数据集中各图像进行归一化处理；
然后在上述1000维的噪声数据尾部拼接所述标签数据连接成1002维的数据作为随机输入，将上述归一化处理得到的图像数据作为真实数据输入，进行生成网络模型和判别网络模型的对抗网络训练，直至生成网络模型和判别网络模型之间达到纳什平衡。
4.根据权利要求1或2或3所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，一半大小取完整果实面积的1/3-2/3。
5.根据权利要求2或3所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，包括：
标注所述番茄实景图像训练集，得到标注好标签的番茄实景图像训练集；
利用标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，得到训练好的目标Faster RCNN网络模型。
6.根据权利要求5所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，标注所述番茄实景图像训练集，包括：
对番茄实景图像训练集中每一张图像进行成熟和未成熟果实的标注。
7.根据权利要求5所述的基于Faster RCNN网络的成熟期番茄识别方法，其特征在于，
对番茄实景图像训练集中每一张图像进行成熟和未成熟果实的标注，包括：
为图像中的每一个成熟果实，标注“成熟”标签；
为图像中的每一个不成熟果实，标注“不成熟”标签。
8.一种基于Faster RCNN网络的成熟期番茄识别系统，其特征在于，包括：
图像数据集单元，用于构建番茄果实图像数据集；
对抗网络构建单元，用于构建生成式对抗网络，该生成式对抗网络包括一个生成网络模型和一个判别网络模型，生成网络模型用于生成样本数据，判别网络模型用于判别其内输入的样本数据的来源；
第一训练单元，用于利用构建的番茄果实图像数据集对生成式对抗网络进行训练；
Faster RCNN网络构建单元，用于构建Faster RCNN网络，并用于将该Faster RCNN网络中特征提取阶段的网络模型替换为训练好的生成式对抗网络的判别网络模型，以及用于将该Faster RCNN网络中目标识别阶段的CNN网络模型替换为训练好的生成式对抗网络的判别网络模型，得到目标Faster RCNN网络模型；
第二训练单元，用于基于预先构建的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练；
识别单元，用于输入待识别图像，利用训练好的目标Faster RCNN网络模型对输入的待识别图像进行番茄成熟与否的识别。
9.根据权利要求8所述的基于Faster RCNN网络的成熟期番茄识别系统，其特征在于，番茄果实图像数据集包括完整果实图像和一半大小果实图像两类番茄图像数据；
完整果实图像由成熟果实的完整图像和不成熟果实的完整图像这两类番茄图像构成；一半大小果实图像由成熟果实的一半大小的图像和不成熟果实的一半大小的图像这两类番茄图像构成；
番茄果实图像数据集中的每一张图像都配设有相应的标签值，完整果实图像的标签值为数字“1”，一半大小果实图像的标签值为数字“0”。
10.根据权利要求8所述的基于Faster RCNN网络的成熟期番茄识别系统，其特征在于，第二训练单元包括：
第一标注模块，用于依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，得到标注好标签的番茄实景图像训练集；其中，所述依据图像中果实的成熟与否，标注番茄实景图像训练集中的每一张图像，是指对所述番茄实景图像训练集中的每一张图像进行成熟和未成熟果实的标注；
第一训练模块，用于利用标注好标签的番茄实景图像训练集，对目标Faster RCNN网络模型进行训练，得到训练好的目标Faster RCNN网络模型。
CN202310034169.8A 2023-01-10 2023-01-10 一种基于Faster RCNN网络的成熟期番茄识别方法及系统 Active CN116071744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310034169.8A CN116071744B (zh) 2023-01-10 2023-01-10 一种基于Faster RCNN网络的成熟期番茄识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310034169.8A CN116071744B (zh) 2023-01-10 2023-01-10 一种基于Faster RCNN网络的成熟期番茄识别方法及系统

Publications (2)

Publication Number Publication Date
CN116071744A true CN116071744A (zh) 2023-05-05
CN116071744B CN116071744B (zh) 2023-06-30

Family

ID=86171081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310034169.8A Active CN116071744B (zh) 2023-01-10 2023-01-10 一种基于Faster RCNN网络的成熟期番茄识别方法及系统

Country Status (1)

Country Link
CN (1) CN116071744B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110457994A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 人脸图像生成方法及装置、存储介质、计算机设备
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法
CN114049305A (zh) * 2021-10-15 2022-02-15 三峡大学 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法
CN114782349A (zh) * 2022-04-14 2022-07-22 重庆七腾科技有限公司 领域自适应原油泄露检测模型训练方法、检测方法及装置
CN115100533A (zh) * 2022-08-04 2022-09-23 联通(广东)产业互联网有限公司 荔枝成熟度识别模型的训练及使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110457994A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 人脸图像生成方法及装置、存储介质、计算机设备
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法
CN114049305A (zh) * 2021-10-15 2022-02-15 三峡大学 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法
CN114782349A (zh) * 2022-04-14 2022-07-22 重庆七腾科技有限公司 领域自适应原油泄露检测模型训练方法、检测方法及装置
CN115100533A (zh) * 2022-08-04 2022-09-23 联通(广东)产业互联网有限公司 荔枝成熟度识别模型的训练及使用方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GAUS Y F A, ET AL: "Evaluating the transferability and adversarial discrimination of convolutional neural networks for threat object detection and classification within x-ray security imagery", 2019 18TH IEEE INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND APPLICATIONS (ICMLA), pages 420 - 425 *
HE Z, ET AL: "Multi-adversarial faster-rcnn for unrestricted object detection", PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION, pages 6668 - 6677 *
张文静等: "基于Faster R-CNN算法的番茄识别检测方法", 山东农业大学学报, pages 624 - 630 *
王柳静: "基于生成式对抗网络的小目标检测算法的研究与实现", 国防科技大学, pages 1 - 63 *
王葛: "基于改进Faster R-CNN网络的太赫兹安检图像识别检测研究", 昆明理工大学, pages 1 - 70 *

Also Published As

Publication number Publication date
CN116071744B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Saedi et al. A deep neural network approach towards real-time on-branch fruit recognition for precision horticulture
Zhang et al. Multi-task cascaded convolutional networks based intelligent fruit detection for designing automated robot
Larsen et al. Comparison of six individual tree crown detection algorithms evaluated under varying forest conditions
Zhou et al. A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique
CN107403128A (zh) 一种物品识别方法及装置
CN110176005B (zh) 基于归一化指数和多尺度模型的遥感图像分割方法
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
CN108038484A (zh) 空心验证码快速识别方法
CN116416613A (zh) 一种基于改进YOLO v7的柑橘果实识别方法及系统
Septiarini et al. Image processing techniques for tomato segmentation applying k-means clustering and edge detection approach
Chen et al. MTD-YOLO: Multi-task deep convolutional neural network for cherry tomato fruit bunch maturity detection
CN110008912A (zh) 一种基于植物识别的社交平台匹配方法和系统
CN116071744B (zh) 一种基于Faster RCNN网络的成熟期番茄识别方法及系统
Kalia et al. Fruit quality evaluation using Machine Learning: A review
CN105225228A (zh) 田间自然背景下甘蔗宿根图像分割方法
Sudana et al. Mobile Application for Identification of Coffee Fruit Maturity using Digital Image Processing
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法
CN103824083A (zh) 基于叶片完备局部二值特征的Web在线物种识别方法
Choudhury Segmentation techniques and challenges in plant phenotyping
Kangune et al. Automated estimation of grape ripeness
Woods et al. Development of a pineapple fruit recognition and counting system using digital farm image
Wuzor et al. On tree guava fruit detection and yield estimation
Ramya et al. A Computer Vision Based Diseases Detection and Classification in Apple Fruits
Aptoula et al. Segmentation networks reinforced with attribute profiles for large scale land-cover map production

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant