CN110766053A - 基于双路卷积神经网络的玉米制种果穗筛分方法及装置 - Google Patents

基于双路卷积神经网络的玉米制种果穗筛分方法及装置 Download PDF

Info

Publication number
CN110766053A
CN110766053A CN201910899513.3A CN201910899513A CN110766053A CN 110766053 A CN110766053 A CN 110766053A CN 201910899513 A CN201910899513 A CN 201910899513A CN 110766053 A CN110766053 A CN 110766053A
Authority
CN
China
Prior art keywords
seed production
corn seed
ear
model
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910899513.3A
Other languages
English (en)
Inventor
马钦
张佳婧
刘哲
朱德海
崔雪莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201910899513.3A priority Critical patent/CN110766053A/zh
Publication of CN110766053A publication Critical patent/CN110766053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于双路卷积神经网络的玉米制种果穗筛分方法及装置，预先将带有玉米制种果穗种类标签的玉米制种果穗图像输入到双路卷积神经网络的第一支路模型和第二支路模型，分别提取玉米制种果穗图像的特征量并输入到融合分类模型进行融合和分类，从而训练好双路卷积神经网络，然后利用训练好的双路卷积神经网络获取采集的玉米制种果穗图像所对应的玉米制种果穗种类。本发明能结合第一支路模型和第二支路模型的优点，提高了模型的分类准确率，有效解决了手工提取玉米果穗图像深层特征较为困难、难以获得较高的分类准确率的问题，大大简化了玉米制种的操作流程，提高玉米制种的效率，节约人力成本，对于提高果穗制种效率有着重要的参考意义。

Description

基于双路卷积神经网络的玉米制种果穗筛分方法及装置
技术领域
本发明涉及深度学习和图像处理技术领域，尤其涉及一种基于双路卷积神经网络的玉米制种果穗筛分方法及装置。
背景技术
玉米作为重要的粮食作物之一，其产量的多少对于农业经济的发展具有举足轻重的影响，而玉米种子质量的优良是玉米产量多少的关键因素。作为世界农业大国之一，提高玉米产量对我国的经济发展具有十分重要的意义，因此，选用优质玉米种子进行种植是一种大幅度提高我国玉米产量、促进农业经济发展的重要手段。
玉米制种环节主要包括去苞叶，穗选，干燥，脱粒等环节，而在玉米制种的穗选环节中，选择表型特征良好的玉米果穗进行脱粒再加工，剔除表型特征异常的果穗，有利于提高玉米种子的纯度和发芽率，能使玉米产量大幅提高。穗选环节时，需要对玉米果穗的表型特征进行自动识别和检测，剔除可能影响到玉米种子发芽率和纯度的异常玉米果穗，这对于后期制种的干燥、脱粒、再加工等环节具有重要意义。
传统的制种穗选工作主要依靠人工凭借经验知识挑选完成，这样不仅筛选速度慢，耗费大量的人力和物力，且人工筛选易受主观影响，误差大，影响筛选效率，并且随着我国玉米种植规模的不断扩大，仅靠人工挑选，已无法满足高通量玉米制种需求。因此，亟需一种快速，准确的高通量玉米制种果穗目标分类识别方法，来提高玉米制种的速率和效率，进一步提高玉米种子的质量，增大玉米产量。
发明内容
针对目前依靠人工进行制种穗选筛选速度慢、耗费大量的人力和物力且人工筛选易受主观影响，误差大的问题，本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗筛分方法及装置。
第一方面，本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗筛分方法，该方法包括：S1、采集玉米制种果穗图像；S2、将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；相应地，双路卷积神经网络包括并行的第一支路模型和第二支路模型，第一支路模型和第二支路模型用于同步对玉米制种果穗图像进行特征提取；第一支路模型和第二支路模型均为深度卷积神经网络。
优选地，双路卷积神经网络还包括融合分类模型，第一支路模型的输出端和第二支路模型的输出端分别与融合分类模型的输入端相连；融合分类模型对经过第一支路模型和第二支路模型处理后的玉米制种果穗图像进行融合和分类。
优选地，将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类，具体包括：S21、分别基于第一支路模型和第二支路模型对玉米制种果穗图像进行特征提取，并获取相应的特征向量；S22、基于融合分类模型对第一支路模型和第二支路模型分别提取的相应的特征向量进行融合，并根据融合后的特征向量分类后获取玉米制种果穗图像对应的玉米制种果穗种类。
优选地，第一支路模型为VGG-16模型，第二支路模型为ResNet-50模型，融合分类模型包括SoftMax分类层，SoftMax分类层的分类数为玉米制种果穗种类的类别数。
优选地，基于第一支路模型对玉米制种果穗图像进行特征提取之前，还包括：利用ImageNet图像分类数据库分别对第一支路模型和第二支路模型的网络参数进行初始化。
优选地，基于第一支路模型对玉米制种果穗图像进行特征提取之前，还包括：将VGG-16模型的卷积层和全连接层的ReLU函数修正为PReLU函数。
优选地，玉米制种果穗种类根据玉米制种果穗图像划分获得，玉米制种果穗种类包括正常玉米制种果穗、带苞叶玉米制种果穗和异常玉米制种果穗。
第二方面，本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗筛分装置，该装置包括：采集模块，用于采集玉米制种果穗图像；分类模块，用于将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；第一支路模型和第二支路模型均为深度卷积神经网络。
第三方面，本发明实施例提供一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于双路卷积神经网络的玉米制种果穗筛分方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于双路卷积神经网络的玉米制种果穗筛分方法。
本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗筛分方法及装置，利用预先根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的双路卷积神经网络，获取采集的玉米制种果穗图像所对应的玉米制种果穗种类。双路卷积神经网络中并行的第一支路模型和第二支路模型同步对玉米制种果穗图像进行特征提取；第一支路模型和第二支路模型均为深度卷积神经网络。本发明实施例能结合第一支路模型和第二支路模型的优点，提高了模型的分类准确率有效解决了手工提取果穗图像深层特征较为困难、难以获得较高的分类准确率的问题，为实现高通量玉米穗选制种提供了重要的技术和方法基础，对于提高果穗制种效率有着重要的参考意义和价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分方法的总体流程示意图；
图2为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分方法的具体流程示意图；
图3为本发明实施例的双路玉米果穗分类模型的结构示意图；
图4为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分装置的结构示意图；
图5为本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
玉米高通量制种果穗的目标快速分类，可以大大简化玉米制种的操作流程，提高玉米制种的效率，节约人力成本，对于确保玉米种子质量以及玉米穗选工作具有重要的参考价值。
图1为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分方法的总体流程示意图，如图1所示，本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗图像筛分方法，该方法包括：
S1、采集玉米制种果穗图像。
具体地，在实际应用中，需先架设包括摄像机或照相机等图像采集装置并调节拍摄参数，在制种加工流水线上完成玉米制种果穗图像采集工作。
需要说明的是，采集的原始图像中含有大量的背景部分，并且在玉米种子加工现场采集的图像中含有大量的灰尘、散落籽粒和玉米须等杂质，这些冗余信息的存在加大了图像处理的复杂度。但是玉米果穗的颜色(黄色)同传送带的背景(暗绿色)颜色差异较大，因此可以通过颜色特征对图像进行裁剪，确定含有玉米果穗的图像区域。使得玉米果穗图像能保持图像的原有形态，使玉米果穗图像的姿态具有多样性，且能最大限度的去除背景区域。
S2、将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；相应地，双路卷积神经网络包括并行的第一支路模型和第二支路模型，第一支路模型和第二支路模型用于同步对玉米制种果穗图像进行特征提取；第一支路模型和第二支路模型均为深度卷积神经网络。
人眼在观察物体时，是通过两条视神经来进行的，两条视神经所传递的视觉信息在视觉通路中进行传播时会经过膝状体和视交叉，信息经过交叉之后再次传导，形成交叉混合信息以供大脑分析。受此启发，不同的卷积神经网络模型可以通过卷积层不同大小的卷积核提取到图像不同的隐藏特征，从而为分类器提供不同的分类依据。为了使构建的玉米制种果穗图像分类模型可以提取到更有效的图像特征，提高卷积神经网络对玉米制种果穗图像的分类识别准确率。
具体地，本发明实施例为了提高玉米制种果穗图像的分类识别能力，利用玉米制种果穗图像构建的图像数据集测试不同的卷积神经网络模型对玉米制种果穗图像的分类识别能力，从分类准确率和模型复杂性两个角度考虑，选取两路深度神经网络模型分别作为第一支路模型和第二支路模型，同步对玉米制种果穗图像进行特征提取，从而利用带有玉米制种果穗种类标签的玉米制种果穗图像(分为训练集和测试集)进行训练后获得双路卷积神经网络作为玉米制种果穗图像的分类模型，将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类。
本发明实施例提供的基于双路卷积神经网络的玉米制种果穗图像筛分方法，能结合第一支路模型和第二支路模型的优点，提高了模型的分类准确率,有效解决了手工提取果穗图像深层特征较为困难、难以获得较高的分类准确率的问题，为实现高通量玉米穗选制种提供了重要的技术和方法基础，对于提高果穗制种效率有着重要的参考意义和价值。
需要说明的是，玉米制种果穗种类根据玉米制种果穗图像划分获得，玉米制种果穗种类包括正常玉米制种果穗(Normal)、带苞叶玉米制种果穗(Husk)和异常玉米制种果穗(Abnormal)。
进一步地，图3为本发明实施例的双路玉米果穗分类模型的结构示意图，如图3所示，作为双路玉米果穗分类模型的双路卷积神经网络还包括融合分类模型；其中，第一支路模型的输出端和第二支路模型的输出端分别与融合分类模型的输入端相连；融合分类模型对经过第一支路模型和第二支路模型处理后的玉米制种果穗图像进行融合和分类，以最终获取玉米制种果穗图像对应的玉米制种果穗种类。
基于上述实施例，图2为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分方法的具体流程示意图，如图2所示，将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类，具体包括：S21、分别基于第一支路模型和第二支路模型对玉米制种果穗图像进行特征提取，获取相应的特征向量；S22、基于融合分类模型对第一支路模型和第二支路模型分别提取的相应特征向量进行融合，并根据融合后的特征向量分类后获取玉米制种果穗图像对应的玉米制种果穗种类。
具体地，利用第一支路模型和第二支路模型同步对玉米制种果穗图像进行特征提取，分别获取相同数量特征向量，这里之所有需要获取相同数量的维特征向量，是为了便于利用融合分类模型将第一支路模型和第二支路模型分别提取的相应特征向量特征向量利用融合分类模型进一步更好地融合，并利用融合分类模型根据融合后的特征向量分类得到玉米制种果穗图像对应的玉米制种果穗种类。
基于上述实施例，第一支路模型为VGG-16模型，第二支路模型为ResNet-50模型，融合分类模型包括SoftMax分类层，SoftMax分类层的分类数为玉米制种果穗种类的类别数。
具体地，本发明从分类准确率和网络的收敛速度两方面观察，选取近几年在图像分类领域取得较为突出成就的共计20种卷积神经网络模型(VGG系列模型、VGG_BN系列模型、ResNet系列模型、DenseNet系列模型等)进行了迁移学习。选取了VGG-16和ResNet-50这两个在ImageNet上取得突出成就的网络模型，分别作为第一支路模型和第二支路模型。
其中，VGG网络模型是通过增加更多的卷积层来增加网络的深度，同时所有的卷积层均使用3×3的卷积核，这样可以减少网络的参数量，提高网络的性能。VGG网络模型的组成主要分为8个部分，包括5个卷积层和池化层的组合、2个全连接特征层，以及1个全连接分类层。其中每个卷积池化组合里又包含1到4个卷积层，这也是该模型的巧妙之处，使用多层的小卷积核代替较早的神经网络中大卷积核的设计，这样，网络层次的增加不仅减少了模型的参数量，同时带来了更加复杂的非线性变换，使模型可以学习到更丰富的特征。在VGG-16模型的基础上，VGG-19模型又添加了三个具有可调参数的卷积层。该网络比VGG-16模型具有一定的进步性，但参数也较VGG-16模型多了41兆，因此，本发明实施例将VGG-16模型作为双路玉米果穗分类模型即双路卷积神经网络的其中一路卷积神经网络，用于提取玉米果穗图像中复杂的表型特征。
同时，在卷积神经网络中，网络深度的增加会在一定程度上获取更多的图像信息，但这并不意味着随着网络深度的增加，网络的性能就越好。随着网路深度的增加，网络可能出现梯度爆炸或者梯度弥散，最终导致网络的性能退化。而ResNet(Residual NeuralNetwork)模型的提出恰恰借助残差模块(Residual Block)弥补了这一点。残差模块是在标准的前馈卷积神经网络上加了一个绕过卷积层的连接，它通过恒等映射(identitymapping)，实现底层的特征与高层的特征的跨层连接，来降低网络的学习难度。从数学的角度讲，假设网络模块的输入为x，将期望的底层映射记为H(x)，通过多个非线性函数的复杂拟合，非线性层拟合的函数变为F(x)＝H(x)-x，这样它学习的是输出与输入的差值，即“残差”，而不是一个完整的输出H(x)。ResNet网络受NIN网络的启发，利用全局池化层代替了部分全连接层，这样做可以减少ResNet模型的参数量，同时避免模型的过拟合问题。目前ResNet已经有多个网络模型版本，分别有50层、10层、152层、200层等。通过对模型的分类精度和网络参数量等因素的比较，本发明实施例将ResNet-50模型作为双路玉米果穗分类模型即双路卷积神经网络的另一路卷积神经网络，用于避免网络可能出现梯度爆炸或者梯度弥散，导致网络的性能退化的问题。
由此，VGG-16模型输出和ResNet-50模型分别获取的数量相同的特征向量输入至融合分类模型先融合得到融合后的特征向量，然后利用融合分类模型的SoftMax分类层对融合后的特征向量进行分类获取玉米制种果穗图像对应的玉米制种果穗种类，SoftMax分类层的分类数为玉米制种果穗种类的类别数。
例如，若VGG-16模型输出4096个一维特征向量，ResNet-50模型输出2048个一维特征向量，需要把VGG-16模型输出的4096个缩减至2048个一维特征向量，从而与ResNet-50模型输出的2048个一维特征向量更好地融合。同时，也是为了减少VGG-16模型的网络深度，减少特征信息的冗余，以免影响最终分类的效果。
基于上述实施例，基于第一支路模型对玉米制种果穗图像进行特征提取之前，还包括：利用ImageNet图像分类数据库分别对第一支路模型和第二支路模型的网络参数进行初始化。
具体地，在双路卷积神经网络的参数初始化阶段，利用ImageNet图像分类数据库训练的VGG-16模型的前13层卷积层的网络参数，作为第一支路模型中对应网络层的参数初始化。
对于第二支路，利用ResNet-50模型训练ImageNet图像分类数据库得到的网络模型的网络参数进行迁移学习，完成第二支路模型中对应网络层参数初始化，这样在使用玉米制种果穗图像数据集进行网络参数的调整过程中，可以提高双路CNN的学习速度。
需要说明的是，还需要根据模型的收敛速度和平均分类准确率，确定最优的双路卷积网络模型需要确定的参数具体包括：batch_size(批大小)、初始学习率、训练算法。
基于上述实施例，基于第一支路模型对玉米制种果穗图像进行特征提取之前，还包括：将VGG-16模型的卷积层和全连接层的ReLU函数修正为PReLU函数。
具体地，因为VGG-16模型相比ResNet50网络模型的参数量较大，在训练过程中VGG-16的学习速度较慢，因此，为了加快VGG-16模型的收敛速度，需要对VGG-16模型进行优化改进。
卷积神经网络的激活函数可以被分为两类：饱和激活函数以及非饱和激活函数。其中ReLU(线性整流)函数是非饱和激活函数的一中，其计算是在卷积之后进行的，它具有单侧抑制的特点。ReLU函数的公式为：
ReLu(x)＝max(0,x)
但是，ReLU函数会受到学习率的影响，在学习率较大的情况下，无法激活一些梯度较大的神经元。ReLU函数是将所有的负值都设为零，与之不同的是，Leaky ReLU是对所有负值赋予了一个非零斜率。
PReLU(Parametric ReLU，参数化修正线性单元)可以看作是Leaky ReLU的一个变体。在PReLU函数中，它不再固定负值部分的斜率，而是在训练过程中不断学习来激活函数，这样做可能会增加一些额外的计算成本，但却可以提高精度。因此，本发明实施例在训练VGG-16模型过程中使用PReLU函数。
综上所述，在本发明实施例中，双路卷积神经网络的参数初始化阶段，利用ImageNet图像分类数据库训练的VGG-16的前13层卷积层的网络参数，作为第一支路深度卷积神经网络中对应网络层的参数初始化。对于第二支路，利用ResNet-50的深度网络训练ImageNet图像分类数据库得到的网络模型的网络参数进行迁移学习，完成第二支路深度卷积神经网络中对应网络层参数初始化，这样在使用玉米制种果穗图像数据集进行网络参数的调整过程中，可以提高双路卷积神经网络的学习速度。在完成特征拼接融合后，网络层的参数则采用随机初始化，这是因为卷积层特征代表的是制种果穗图像的特征信息，当卷积层的层数在不断被加深的过程中，果穗图像的特征信息也不断被抽象，而全连接层可以理解为是一维列向量对卷积层特征图的总结变换，不同类型的制种果穗图像区别较大，针对性较强。然后验证不同的batch_size(批大小)、初始学习率、训练算法对玉米果穗图像分类准确率的影响，进而确定双路卷积神经网络的最优参数。
图4为本发明实施例的基于双路卷积神经网络的玉米制种果穗图像筛分装置的结构示意图，如图4所示，本发明实施例提供一种基于双路卷积神经网络的玉米制种果穗筛分装置，该装置包括采集模块401和分类模块402，其中：
采集模块401，用于采集玉米制种果穗图像。
具体地，利用采集模块401采集玉米制种果穗图像。
分类模块402，用于将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；第一支路模型和第二支路模型均为深度卷积神经网络。
具体地，本发明实施例为了提高玉米制种果穗图像的分类识别能力，利用玉米制种果穗图像构建的图像数据集测试不同的卷积神经网络模型对玉米制种果穗图像的分类识别能力，从分类准确率和模型复杂性两个角度考虑，选取两路深度神经网络模型分别作为第一支路模型和第二支路模型，同步对玉米制种果穗图像进行特征提取，利用分类模块402，将根据带有玉米制种果穗种类标签的玉米制种果穗图像(分为训练集和测试集)进行训练后获得双路卷积神经网络作为玉米制种果穗图像的分类模型，将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类。
本发明实施例提供的基于双路卷积神经网络的玉米制种果穗图像筛分装置，能结合第一支路模型和第二支路模型的优点，提高了模型的分类准确率,有效解决了手工提取果穗图像深层特征困难、难以获得较高分类准确率的问题，为实现高通量玉米穗选制种提供了重要的技术和方法基础，对于提高果穗制种效率有着重要的参考意义和价值。
图5为本发明实施例的电子设备的结构示意图，如图5所示，本发明实施例提供了一种电子设备，该电子设备包括：处理器(processor)501、通信接口(CommunicationsInterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的基于双路卷积神经网络的玉米制种果穗图像筛分方法，例如包括：S1、采集玉米制种果穗图像；S2、将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；相应地，双路卷积神经网络包括并行的第一支路模型和第二支路模型，第一支路模型和第二支路模型用于同步对玉米制种果穗图像进行特征提取；第一支路模型和第二支路模型均为深度卷积神经网络。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于双路卷积神经网络的玉米制种果穗图像筛分方法，例如包括：S1、采集玉米制种果穗图像；S2、将玉米制种果穗图像输入至双路卷积神经网络，输出玉米制种果穗图像对应的玉米制种果穗种类；其中，双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；相应地，双路卷积神经网络包括并行的第一支路模型和第二支路模型，第一支路模型和第二支路模型用于同步对玉米制种果穗图像进行特征提取；第一支路模型和第二支路模型均为深度卷积神经网络。
以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
本发明提供一种基于双路卷积神经网络的玉米制种果穗筛分方法及装置，预先将带有玉米制种果穗种类标签的玉米制种果穗图像输入到双路卷积神经网络的第一支路模型和第二支路模型，分别提取玉米制种果穗图像的特征量并输入到融合分类模型进行融合和分类，从而训练好双路卷积神经网络，然后利用训练好的双路卷积神经网络获取采集的玉米制种果穗图像所对应的玉米制种果穗种类。本发明能结合第一支路模型和第二支路模型的优点，提高了模型的分类准确率，有效解决了手工提取玉米果穗图像深层特征较为困难、难以获得较高的分类准确率的问题，大大简化了玉米制种的操作流程，提高玉米制种的效率，节约人力成本，对于提高果穗制种效率有着重要的参考意义。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，包括：
采集玉米制种果穗图像；
将所述玉米制种果穗图像输入至双路卷积神经网络，输出所述玉米制种果穗图像对应的玉米制种果穗种类；其中，所述双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；
相应地，所述双路卷积神经网络包括并行的第一支路模型和第二支路模型，所述第一支路模型和所述第二支路模型用于同步对所述玉米制种果穗图像进行特征提取；所述第一支路模型和所述第二支路模型均为深度卷积神经网络。
2.根据权利要求1所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述双路卷积神经网络还包括融合分类模型，所述第一支路模型的输出端和所述第二支路模型的输出端分别与所述融合分类模型的输入端相连，所述融合分类模型对经过所述第一支路模型和所述第二支路模型处理后的玉米制种果穗图像进行融合和分类。
3.根据权利要求2所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述将所述玉米制种果穗图像输入至双路卷积神经网络，输出所述玉米制种果穗图像对应的玉米制种果穗种类，具体包括：
分别基于所述第一支路模型和所述第二支路模型对所述玉米制种果穗图像进行特征提取，并获取相应的特征向量；
基于融合分类模型对所述第一支路模型和所述第二支路模型分别提取的所述相应的特征向量进行融合，并根据融合后的特征向量分类后获取所述玉米制种果穗图像对应的玉米制种果穗种类。
4.根据权利要求3所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述第一支路模型为VGG-16模型，所述第二支路模型为ResNet-50模型，所述融合分类模型包括SoftMax分类层，所述SoftMax分类层的分类数为玉米制种果穗种类的类别数。
5.根据权利要求3所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述基于第一支路模型对所述玉米制种果穗图像进行特征提取之前，还包括：
利用ImageNet图像分类数据库分别对所述第一支路模型和所述第二支路模型的网络参数进行初始化。
6.根据权利要求4所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述基于第一支路模型对所述玉米制种果穗图像进行特征提取之前，还包括：
将所述VGG-16模型的卷积层和全连接层的ReLU函数修正为PReLU函数。
7.根据权利要求3所述的基于双路卷积神经网络的玉米制种果穗筛分方法，其特征在于，所述玉米制种果穗种类根据所述玉米制种果穗图像划分获得，所述玉米制种果穗种类包括正常玉米制种果穗、带苞叶玉米制种果穗和异常玉米制种果穗。
8.一种基于双路卷积神经网络的玉米制种果穗筛分装置，其特征在于，包括：
采集模块，用于采集玉米制种果穗图像；
分类模块，用于将所述玉米制种果穗图像输入至双路卷积神经网络，输出所述玉米制种果穗图像对应的玉米制种果穗种类；其中，所述双路卷积神经网络是根据带有玉米制种果穗种类标签的玉米制种果穗图像进行训练后获得的；
相应地，所述双路卷积神经网络包括并行的第一支路模型和第二支路模型，所述第一支路模型和第二支路模型用于同步对所述玉米制种果穗图像进行特征提取；所述第一支路模型和所述第二支路模型均为深度卷积神经网络。
9.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于双路卷积神经网络的玉米制种果穗筛分方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于双路卷积神经网络的玉米制种果穗筛分方法。
CN201910899513.3A 2019-09-23 2019-09-23 基于双路卷积神经网络的玉米制种果穗筛分方法及装置 Pending CN110766053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899513.3A CN110766053A (zh) 2019-09-23 2019-09-23 基于双路卷积神经网络的玉米制种果穗筛分方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899513.3A CN110766053A (zh) 2019-09-23 2019-09-23 基于双路卷积神经网络的玉米制种果穗筛分方法及装置

Publications (1)

Publication Number Publication Date
CN110766053A true CN110766053A (zh) 2020-02-07

Family

ID=69329716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899513.3A Pending CN110766053A (zh) 2019-09-23 2019-09-23 基于双路卷积神经网络的玉米制种果穗筛分方法及装置

Country Status (1)

Country Link
CN (1) CN110766053A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112893159A (zh) * 2021-01-14 2021-06-04 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN113222061A (zh) * 2021-05-31 2021-08-06 北京理工大学 一种基于双路小样本学习的mri图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549910A (zh) * 2018-04-17 2018-09-18 中国农业大学 一种基于卷积神经网络的玉米制种果穗图像初级分类方法
GB201817286D0 (en) * 2018-10-24 2018-12-05 Future Health Works Ltd Computer based object detection within a video or image
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549910A (zh) * 2018-04-17 2018-09-18 中国农业大学 一种基于卷积神经网络的玉米制种果穗图像初级分类方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
GB201817286D0 (en) * 2018-10-24 2018-12-05 Future Health Works Ltd Computer based object detection within a video or image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋梦莹: ""基于深度学习的图像分类算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112893159A (zh) * 2021-01-14 2021-06-04 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN112893159B (zh) * 2021-01-14 2023-01-06 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN113222061A (zh) * 2021-05-31 2021-08-06 北京理工大学 一种基于双路小样本学习的mri图像分类方法
CN113222061B (zh) * 2021-05-31 2022-12-09 北京理工大学 一种基于双路小样本学习的mri图像分类方法

Similar Documents

Publication Publication Date Title
Zhou et al. Yield estimation of soybean breeding lines under drought stress using unmanned aerial vehicle-based imagery and convolutional neural network
CN110148120A (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN111507319A (zh) 一种基于深度融合卷积网络模型的农作物病害识别方法
CN112381764A (zh) 一种农作物病虫害检测方法
CN110766053A (zh) 基于双路卷积神经网络的玉米制种果穗筛分方法及装置
CN109102885B (zh) 基于卷积神经网络与随机森林组合的白内障自动分级方法
CN109101891A (zh) 一种融合人工智能的水稻病虫害检测系统及其检测方法
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
Koszela et al. Computer image analysis in the quality in procedure for selected carrot varieties
Gulavnai et al. Deep learning for image based mango leaf disease detection
CN114005029A (zh) 基于改进yolov5网络的广佛手病虫害识别方法及系统
CN110211685A (zh) 基于完全关注机制的糖网筛查网络结构模型
CN108197594A (zh) 确定瞳孔位置的方法和装置
CN111291686B (zh) 农作物根果表型参数的提取与根果表型判别方法及系统
CN109165662A (zh) 基于深度学习的消化道内壁病变类型智能识别方法及装置
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
CN115511813A (zh) 一种辅助胚胎分级智能系统及存储介质
CN114972264A (zh) 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置
Singh et al. Rice Type Classification using Proposed CNN Model
JP6738075B1 (ja) ミカン評価装置、及びミカン評価システム
Mladenov et al. Quality assessment of grain samples using color image analysis
CN113344009A (zh) 一种轻小型网络自适应番茄病害特征提取方法
Karthik et al. Application for Plant’s Leaf Disease Detection using Deep Learning Techniques
CN112818810A (zh) 一种基于大数据的金桔智能分拣方法和装置
CN109961441A (zh) 杂交稻种子裂颖率的高效测定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207