CN110663971B - 基于双分支深度融合卷积神经网络的红枣品质分类方法 - Google Patents

基于双分支深度融合卷积神经网络的红枣品质分类方法 Download PDF

Info

Publication number
CN110663971B
CN110663971B CN201810706299.0A CN201810706299A CN110663971B CN 110663971 B CN110663971 B CN 110663971B CN 201810706299 A CN201810706299 A CN 201810706299A CN 110663971 B CN110663971 B CN 110663971B
Authority
CN
China
Prior art keywords
branch
red date
layer
network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810706299.0A
Other languages
English (en)
Other versions
CN110663971A (zh
Inventor
耿磊
徐文龙
肖志涛
张芳
吴骏
刘彦北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201810706299.0A priority Critical patent/CN110663971B/zh
Publication of CN110663971A publication Critical patent/CN110663971A/zh
Application granted granted Critical
Publication of CN110663971B publication Critical patent/CN110663971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00—Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23N—MACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N15/00—Machines or apparatus for other treatment of fruits or vegetables for human purposes; Machines or apparatus for topping or skinning flower bulbs
    • A23N2015/008—Sorting of fruit and vegetables

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双分支深度融合卷积神经网络的红枣品质分类方法，该方法包括：该方法首先对采集到的不同品质的红枣图像进行预处理，并将其归一化为相同尺寸，预处理后的红枣图像(丰满枣、干条枣、裂口枣和瑕疵枣)被随机分为训练集和测试集。然后，将卷积神经网络设计为双分支结构，其中第1条分支网络结合迁移学习策略，利用在大型数据集Imagenet上训练生成的模型对其进行预训练。第2条分支网络，增加了特征图流动的分支数目和融合次数。最后利用设计的双分支深度融合卷积神经网络对预处理过的红枣图像数据进行训练，提取红枣图像特征，生成训练模型，并完成不同红枣品质的多分类任务。该方法极大地提高了红枣品质分类的准确率和效率。

Description

基于双分支深度融合卷积神经网络的红枣品质分类方法
技术领域
本发明涉及一种基于双分支深度融合卷积神经网络的红枣品质分类方法，属于图像处理、机器视觉和农产品品质检测领域。
背景技术
中国是枣的原产国，世界上最大的枣生产国和唯一出口国，拥有全世界95％以上的枣树资源，在世界红枣行业中占据领导地位，红枣是我国加入世贸组织后最具竞争力的农产品。近些年，我国红枣产量保持总体增长，市场规模超千亿元。
红枣品质分拣是红枣贮藏、加工及流通等的一个关键技术环节，直接影响果农的经济效益。但是，目前红枣主要以人工分拣为主，存在劳动强度大、效率低、成本高、分选精度和卫生质量难以保证等弊端。因此，基于机器视觉的红枣品质分选系统具有广阔的市场应用前景。
发明内容
本发明为了达到上述目的，提高红枣品质分类的效率和精度，提出一种基于双分支深度融合卷积神经网络的红枣品质分类方法，本发明采用如下的技术方案：
A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；
B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据。
C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件。
D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别。
附图说明
图1为部分不同品质红枣图像数据。
图2为红枣图像预处理。
图3为Fire模块和Fusion模块结构图
图4为双分支深度融合卷积网络结构图。
具体实施方式
按照本发明基于双分支深度融合卷积神经网络的红枣品质分类方法包括：
A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；
B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据。
C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件。
D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别。
不同红枣品质图像前期预处理：
本发明的红枣数据集样本是通过30万像素的CCD工业相机，配以可调光照强度的环形光源，在白色背景上进行采集并保存，共包含20000张红枣图像数据。将红枣数据集按照4∶1的比例，分为训练集和测试集。红枣样本数据包含四类：饱满枣、干条枣、裂口枣和缺陷枣。
在训练卷积神经网络时，虽然训练数据是固定的，但是采用了随机批处理(mini-batch)的训练机制，因此在模型训练进行前，将训练数据集随机打乱，确保模型不同轮数相同批次训练的数据不同，会提升模型在测试集上的预测结果。
采集到的原始红枣图像数据白色背景较大，对卷积神经网络的训练无意义，需要对原始红枣图像数据进行预处理，采用基本的图像处理方法，对原始红枣图像数据进行感兴趣区域提取。首先将图像进行二值化处理，以突显出感兴趣的目标的轮廓。选取252作为二值化处理的阈值。然后检索二值图像的最小正方形外接轮廓，查找正方形轮廓的边界点作为ROI区域边界点，从而提取图像的ROI区域，然后将红枣图像数据归一化为相同尺寸227*227。
Fire模块和Fusion模块结构如下所述：
轻量级网络Squeezenet的提出是为了简化模型复杂度，降低卷积神经网络的参数数量，并达到最佳的CNN识别精度。Fire模块是轻量级网络Squeezenet的核心，如图1所示，它由三个卷积层、3个激活层和1个Contact层组成，卷积squeeze1*1层、卷积expand1*1层和卷积expand3*3层的卷积核大小分别为1*1、1*1和3*3，将卷积expand1*1层和卷积expand3*3层的输出特征图通过concat层拼接并作为下一个Fire模块的输入。Fire模块设计是通过采用降低卷积核尺寸，减少输入到卷积核大小为3*3卷积层的特征图数量，并延迟降采样的策略，从而降低卷积神经网络的参数数量，获得更大的特征图，提高网络模型训练精度。
为了进一步提高网络在红枣分类识别上的训练精度，对Squeezenet网络做出进一步的改进。如图2所示为改进后的Fusion模块，通过改变Fire模块内部特征图流动方向，将卷积层squeeze1*1与卷积层expand1*1、expand3*3的输出特征图进行融合，形成特征融合的Fusion模块，将相邻Fusion模块提取到的特征信息进行融合，增加网络中特征流动的分支数目，提取到更加丰富的特征信息。改进后的Squeezenet网络，因网络网络结构较深，并提出增加不同卷积提取层之间的特征融合次数，称其为深度融合卷积神经网络。深度融合卷积神经网络结构由2个普通卷积层、8个Fusion模块、4个池化层和1个Dropout层组成，在每次卷积后加入BN批规范操作层和Prelu激活层，并且将相邻2和3、4和5、6和7、8和9的Fusion模块输出图像特征进行融合。更多分支的特征图在网络的中间层进行融合，可以对特征信息的流动进行优化并提升模型的训练精度。
深度融合卷积神经网络的设计原则是在保留了Squeezenet卷积神经网络机构设计优点的基础上，对提取到的特征图进行融合。轻量级网络Squeezenet卷积层通过使用1*1的卷积核代替3*3的卷积核，减少9倍参数，并且减少了输入到卷积核为3*3卷积层的特征图数量，减少模型参数，通过延后池化层来获取更大的特征图，对提高模型分类的准确率有很大的帮助。深度融合卷积神经网络增加了特征图流动的分支数目，充分利用提取到的图像特征信息，保证了图像特征的丰富性，提高了网络模型的分类精度。
双分支深度融合卷积神经网络结构如下：
在深度融合卷积神经网络(Deepfusionnet)的基础上，针对红枣品质分类识别问题，提出一种双分支深度融合卷积神经网络结构(DDFnet)。如图3所示，第1条分支结合迁移学习的策略，利用轻量级网络Squeezenet在ImageNet数据集上生成的模型对第1个卷积层和8个fire模块进行预训练，此分支由1个卷积核为3*3的卷积层、8个fire模块、2个最大池化层以及若干Relu激活函数和concat层组成。第2条分支采用Fusion模块对红枣图形的特征信息进行提取，此分支包含1个卷积核为3*3的卷积层、8个Fusion模块、2个最大池化层、若干BN批规范操作层、若干PRelu激活函数和concat层。将两个分支最后一个Fire模块和Fusion模块输出的特征图通过concat层进行拼接，利用卷积层conv10_1和全局平均池化层代替全连接层进行分类，进而降低参数数量，减少过拟合现象。
双分支深度融合卷积神经网络的设计，将迁移学习应用的卷积神经网络结构中，利用Squeezenet在大型数据集ImageNet上训练得到的模型，对双分支深度融合卷积神经网络进行预训练，加快整体网络训练的收敛速度，同时增加了网络结构的宽度，提高了网络训练生成模型的分类准确率和泛化能力。
网络训练和调优：
在双分支深度融合卷积神经网络结构中，第1条分支采用迁移学习策略，利用在大型数据集ImageNet上生成的预训练模型，将相应的结构和权重直接应用在红枣品质分类识别问题上，缩短网络权重更新时间，加快网络训练收敛速度，提高红枣品质分类识别精度，使训练出来的模型表现出更好的泛化能力，对网络优化意义重大。
传统的Relu激活层，在学习率较大的情况下，容易出现神经元得不到激活的现象，为了加快网络训练的收敛速度，防止训练过程中出现梯度消失现象，在第2条分支网络的每一个卷积层后引入PRelu激活函数层。PRelu激活函只增加了极少的参数，对网络训练的计算量和过拟合现象的出现几乎没有影响，但是PRelu相比较于Relu修正了数据分布，保留了负值，反向传播更新参数αi，PRelu公表达式如下：
Figure GSB0000176006550000041
由于红枣图像数据量较少，为了防止过拟合现象的发生，在双分支深度融合卷积神经网路的卷积层conv10_1之前加入Dropout层。Dropout是指在卷积神经网络的训练过程中，按照一定的概率将神经元暂时从网络中丢弃。在网络训练的过程中，通常要设置Dropout层的dropout_ratio的大小，在双分支深度融合卷积神经网络中dropout_ratio＝0.5。
网络参数初始化在卷积神经网络的模型训练中会对网络训练的收敛速度产生影响，选择合适的初始化方案，可以防止梯度消失现象的发生。双分支深度融合卷积神经网络中，第1条分支采用预训练的方式对网络参数进行初始化，第2条分支采用随机初始化方案，除卷积层conv10_1采用高斯gaussian初始化方法外，其余卷积层采用xavier参数初始化方法。
卷积神经网络第二条分支引入BN层，通过计算批处理的数据均值和方差，并对输入的批处理数据做规范化，使得输出信号各个维度的均值为0，方差为1，最后使用尺度变化和偏移操作，让BN层输出可以还原最初的输入。批规范化操作的引入，可以加速网络训练的收敛速度，使训练深层网络模型更加容易和稳定，对提升网络的泛化能力可以产生积极的影响。

Claims (2)

1.基于双分支深度融合卷积神经网络的一种红枣品质多分类方法，其特征在于，包括：
A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；
B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据；
C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件；
D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别；
步骤C中，设计双分支深度融合卷积神经网络具体如下：卷积神经网络设计为双分支结构，双分支深度融合卷积神经网络的第一部分是数据输入层，经过预处理的红枣图像作为该层的输入；第二部分是特征提出层，由两条分支组成，两条分支的卷积层和池化层的数量相同；第三部分是分类层，包括拼接融合层、Dropout层、分类层；其中，Concat层进行拼接融合，卷积核为1的卷积层进行分类；双分支深度融合卷积神经网络的具体结构如下：C1、双分支深度融合卷积神经网络的第一部分为数据输入，通过该部分数据输入层将四种不同品质的红枣数据作为后面双分支网络的数据输入；C2、双分支深度融合卷积神经网络的第二部分为图像特征提取层，该部分主要有两条分支网络组成，其中第一条分支网络主要由1个卷积层、8个Fire模块、3个池化层和若干Concat层组成；第二条分支网络主要由1个卷积层、8个Fusion模块、3个池化层和若干Concat层组成；C3、双分支深度融合卷积神经网络的第三部分为图像分类层，该部分由Dropout层、卷积核为1的卷积层、全局平均池化层和损失层组成；
步骤C2中，第一条分支为轻量级网络Squeezenet的特征提取部分，此分支由1个卷积核为3*3的卷积层、8个fire模块、2个最大池化层以及若干Relu激活函数和Concat层组成；其中fire模块由3个卷积层、3个Relu激活层和1个Concat层组成；卷积层为squeeze1*1、expand1*1和expand3*3；第一条分支网络结合迁移学习策略，利用在大型数据集Imagenet上训练生成的模型对红枣数据进行预训练；
步骤C2中，第二条分支网络采用Fusion模块对红枣图形的特征信息进行提取，此分支包含1个卷积核为3*3的卷积层、8个Fusion模块、2个最大池化层、若干BN批规范操作层、若干PRelu激活函数和concat层；其中Fusion模块主要由3个卷积层、3个PRelu激活、3个BN层和1个Concat层组成；卷积层为squeeze1*1、expand1*1和expand3*3；通过将Fusion模块中卷积层squeeze1*1的输出与卷积层expand1*1和expand3*3的输出特征图进行融合，将Fusion模块之间的输出特征图进行融合，增加了特征图流动的分支数目和融合次数。
2.根据权利要求1所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤B中，首先将图像进行二值化处理，以突显出感兴趣的目标的轮廓；选取252作为二值化处理的阈值；然后检索二值图像的最小外接矩形轮廓，查找正方形轮廓的边界点作为ROI区域边界点，从而提取图像的ROI区域，然后将红枣图像数据归一化为相同尺寸227*227。
CN201810706299.0A 2018-07-02 2018-07-02 基于双分支深度融合卷积神经网络的红枣品质分类方法 Active CN110663971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810706299.0A CN110663971B (zh) 2018-07-02 2018-07-02 基于双分支深度融合卷积神经网络的红枣品质分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810706299.0A CN110663971B (zh) 2018-07-02 2018-07-02 基于双分支深度融合卷积神经网络的红枣品质分类方法

Publications (2)

Publication Number Publication Date
CN110663971A CN110663971A (zh) 2020-01-10
CN110663971B true CN110663971B (zh) 2022-03-29

Family

ID=69065904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810706299.0A Active CN110663971B (zh) 2018-07-02 2018-07-02 基于双分支深度融合卷积神经网络的红枣品质分类方法

Country Status (1)

Country Link
CN (1) CN110663971B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680781B (zh) * 2020-04-20 2023-07-25 北京迈格威科技有限公司 神经网络处理方法、装置、电子设备及存储介质
CN111582401B (zh) * 2020-05-15 2021-07-23 中原工学院 一种基于双分支卷积神经网络的向日葵种子分选方法
CN111667058A (zh) * 2020-06-23 2020-09-15 新疆爱华盈通信息技术有限公司 卷积神经网络的多尺度特征通道的动态选择方法
CN111940339B (zh) * 2020-08-18 2022-02-01 合肥金果缘视觉科技有限公司 一种基于人工智能的红枣分拣系统
CN113190852A (zh) * 2021-05-31 2021-07-30 贵州师范学院 一种基于轻量级深度网络模型的计算机病毒检测方法
CN113361693B (zh) * 2021-06-30 2022-10-25 北京百度网讯科技有限公司 生成卷积神经网络的方法和装置、图像识别方法和装置
CN113610066B (zh) * 2021-10-09 2021-12-17 江苏蜜心枣业有限公司 基于人工智能的红枣数据识别方法
CN115393596B (zh) * 2022-10-28 2023-02-21 武汉纺织大学 一种基于人工智能的服装图像分割方法
CN116090670B (zh) * 2023-04-03 2023-07-14 武汉纺织大学 一种基于多属性的服装流行趋势预测方法
CN118470711A (zh) * 2024-07-11 2024-08-09 福建省嘎嘎黄小鸭食品有限公司 猪肉的保质期预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846836B2 (en) * 2014-06-13 2017-12-19 Microsoft Technology Licensing, Llc Modeling interestingness with deep neural networks
US10115040B2 (en) * 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion
CN107194343B (zh) * 2017-05-16 2019-11-22 西北工业大学 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN107506822B (zh) * 2017-07-26 2021-02-19 天津大学 一种基于空间融合池化的深度神经网络方法
CN107679579A (zh) * 2017-10-17 2018-02-09 天津工业大学 基于深度学习的红枣品质分选方法
CN108090447A (zh) * 2017-12-19 2018-05-29 青岛理工大学 双分支深层结构下的高光谱图像分类方法及装置
CN108156519B (zh) * 2017-12-25 2020-12-11 深圳Tcl新技术有限公司 图像分类方法、电视设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用双通道卷积神经网络的图像超分辨率算法;徐冉，张俊格，黄凯奇;《中国图象图形学报》;《中国图象图形学报》编辑出版委员会;20160516;556-564 *

Also Published As

Publication number Publication date
CN110663971A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110663971B (zh) 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110210362A (zh) 一种基于卷积神经网络的交通标志检测方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN112446388A (zh) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN107590489A (zh) 基于级联卷积神经网络的目标检测方法
CN104850845A (zh) 一种基于非对称卷积神经网络的交通标志识别方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
Yang et al. Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN113361466B (zh) 一种基于多模态交叉指导学习的多光谱目标检测方法
CN112613428A (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN117058669A (zh) 一种基于深度学习的荔枝果实识别方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN114067314B (zh) 一种基于神经网络的花生霉变识别方法及系统
CN116416613A (zh) 一种基于改进YOLO v7的柑橘果实识别方法及系统
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
Qi et al. Intelligent recognition of transmission line inspection image based on deep learning
Sun et al. Deep learning based pedestrian detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant