CN113610857A - 一种基于残差网络的苹果分级方法及系统 - Google Patents
一种基于残差网络的苹果分级方法及系统 Download PDFInfo
- Publication number
- CN113610857A CN113610857A CN202110974079.8A CN202110974079A CN113610857A CN 113610857 A CN113610857 A CN 113610857A CN 202110974079 A CN202110974079 A CN 202110974079A CN 113610857 A CN113610857 A CN 113610857A
- Authority
- CN
- China
- Prior art keywords
- apple
- image
- network
- residual error
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 41
- 238000003709 image segmentation Methods 0.000 claims description 13
- 230000006872 improvement Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000012535 impurity Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013434 data augmentation Methods 0.000 claims 1
- 230000004913 activation Effects 0.000 abstract description 22
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 241000220225 Malus Species 0.000 description 106
- 235000021016 apples Nutrition 0.000 description 23
- 235000010724 Wisteria floribunda Nutrition 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000219998 Philenoptera violacea Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- JLQUFIHWVLZVTJ-UHFFFAOYSA-N carbosulfan Chemical compound CCCCN(CCCC)SN(C)C(=O)OC1=CC=CC2=C1OC(C)(C)C2 JLQUFIHWVLZVTJ-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种基于残差网络的苹果分级方法及系统，包括：获取苹果的外观图像；根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；其中，苹果分级网络模型通过训练改进后的残差网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现残差网络的改进；本公开通过改进的残差网络实现了基于外观的苹果分级；使用大津法在HSI色彩通道上对苹果图像进行分割，通过加入卷积注意力模块和LeakyReLU激活函数(带泄露线性整流函数)，对残差网络进行改进，将其应用于苹果分级，并与其它卷积神经网络的分级结果进行对比，证明了改进的残差网络能够更好的实现苹果分级。
Description
技术领域
本公开属于机器视觉技术领域，尤其涉及一种基于残差网络的苹果分级方法及系统。
背景技术
苹果分级是苹果产业中重要环节；在苹果的生长、采摘和运送环节都会或多或少产生腐烂、病虫害和碾压等损伤对苹果品质造成影响，并且苹果的果形、果径以及色泽会影响到苹果的销售，进而影响到利润，所以对苹果进行分级就显得尤为重要；早期的苹果分级采用人工分拣方式，这种方式不仅会消耗大量人力，而且分拣速度慢、效率低；因此，实现对苹果的快速准确分级对苹果行业的发展具有重要的意义。
目前，深度学习因其在数据处理方面的优势，已经被广泛应用于水果的品质检测与分类；深度神经网络(DNN)是基于多层神经网络的规则自学习算法，它包括卷积神经网络、循环神经网络、生成对抗式网络等；其中，卷积神经网络(CNN)是一类深度、前馈的神经网络，图像从输入层输入后，经过多层的卷积层和池化层对图像特征进行提取，最后由输出层输出结果；以下为深度学习在苹果检测与分级中的应用：张力超等将改进的LeNet-5网络应用于红富士和红元帅品类苹果的分级，准确率达到94.465％；岳有军等将改进的VGG网络应用于对正常苹果、病斑苹果和腐烂苹果的分类，在有无缺陷的识别上准确率达到99.25％；Xin Li等将ResNet网络应用于苹果叶病的识别以及分类，准确率达到96％；罗炤茜等在Keras框架上搭建卷积神经网络应用于苹果分级，达到93.78％的准确率。
本公开发明人发现，现有的深度学习在苹果检测与分级中的应用中，部分方法只在正常苹果、病斑苹果和腐烂苹果的有无缺陷识别以及苹果叶病的识别等方面取得了较高的识别准确度，而在苹果果形上分级的准确度还有提升的空间。
发明内容
本公开为了解决上述问题，提出了一种基于残差网络的苹果分级方法及系统，本公开通过改进的ResNet-50网络(改进的残差网络)实现了基于外观的苹果分级；使用大津法在HSI色彩通道上对苹果图像进行分割，通过加入卷积注意力模块和带泄露线性整流函数(LeakyReLU激活函数)，对ResNet-50网络进行改进，将其应用于苹果分级，并与其它卷积神经网络的分级结果进行对比，证明了改进的ResNet-50网络能够更好的实现苹果分级。
第一方面，本公开提供了一种基于残差网络的苹果分级方法，包括：
获取苹果的外观图像；
根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的残差网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现残差网络的改进。
进一步的，苹果分级网络模型的训练过程为：
获取苹果的外观图像，得到训练集；
对训练集中的外观图像进行数据扩充；
基于大津法对扩充后的数据进行图像分割；
根据分割后的图像数据对改进后的残差网络进行训练，得到苹果分级网络模型。
进一步的，获取苹果的外观图像时，每个苹果测量多次，分别从多个侧面和顶面不同位置获取苹果的外观图像。
进一步的，所述数据扩充包括垂直镜像翻转、水平镜像翻转、按预设比例缩放或扩大图像、在预设角度之间对图像进行随机旋转以及对图像采用随机裁剪。
进一步的，所述图像分割包括：
获取苹果的RGB图像；
通过转换公式将将图像从RGB色彩通道转为HSI色彩通道；
对S通道的灰度图使用均值滤波器进行均值滤波，根据大津法进行图像分割；分割后的图像存在不完整情况时，根据去杂点操作将黑色区域的白色去除，根据孔洞填充操作将白色区域的黑色去除，经过两次膨胀腐蚀形态学操作，使白色区域符合原苹果形状；图像完整分割后，中间区域使用RGB颜色进行填充。
进一步的，使用带泄露线性整流函数替换残差网络中所有线性整流函数。
进一步的，残差网络包括两种不同的残差模块，分别为卷积模块和直连模块，所述卷积模块和直连模块采用不同方式的跳层连接。
进一步的，在所述卷积模块和所述直连模块之间嵌入卷积注意力模块，所述卷积模块的输出经过卷积层后输入到所述卷积注意力模块中产生改进的特征，改进的特征与所述卷积模块的输出进行基于元素的加和操作，所产生的所述直连模块的输入特征，所述直连模块继续此操作，将特征信息传递至下一个模块，直至最终输出特征。
第二方面，本公开还提供了一种基于残差网络的苹果分级系统，包括图像获取模块和分级模块；
所述图像获取模块，被配置为：获取苹果的外观图像；
所述分级模块，被配置为：根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的残差网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现残差网络的改进。
第三方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面中所述的基于残差网络的苹果分级方法中的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面中所述的基于残差网络的苹果分级方法中的步骤。
与现有技术相比，本公开的有益效果为：
1.本公开使用大津法在HSI色彩通道上对苹果图像进行分割，通过加入卷积注意力模块和带泄露线性整流函数，对ResNet-50网络进行改进，将其应用于苹果分级，并与其它卷积神经网络的分级结果进行对比；实验结果表明，在苹果分级中，改进的ResNet-50网络的最高准确度以及前五准确率的平均值分别达到95.1％和94.8％，高于AlexNet、VGG-16、GoogleNet、Mobilenet-V2以及未改进的ResNet-50网络。
2.本公开在HSI通道中的S通道上进行图像分割，苹果与背景信息的差别更明显。
3.本公开卷积注意力模块的加入使改进的网络更加注意通道和空间上的特征，更容易提取关键信息，带泄露线性整流函数的加入缓解了神经元突然失效问题。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
图1为本公开实施例1的流程图；
图2为本公开实施例1的RGB图像的灰度图；
图3为本公开实施例1的RGB图像的直方图；
图4为本公开实施例1的H通道图像；
图5为本公开实施例1的H通道直方图；
图6为本公开实施例1的S通道图像；
图7为本公开实施例1的S通道直方图；
图8为本公开实施例1的I通道图像；
图9为本公开实施例1的I通道直方图；
图10为本公开实施例1的基于S通道使用OTSU法去杂点以及孔洞填充分割过程效果图；
图11为本公开实施例1的膨胀操作、腐蚀操作以及RGB颜色填充分割过程效果图；
图12为本公开实施例1的残差模块结构图；
图13为本公开实施例1的卷积注意力模块CBAM结构图；
图14为本公开实施例1的ReLU激活函数(线性整流函数)；
图15为本公开实施例1的LeakyReLU激活函数(带泄露线性整流函数)；
图16为本公开实施例1的改进的ResNet-50网络结构图；
图17为本公开实施例1的残差模块与卷积注意力模块CBAM结合图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
实施例1：
如图1所示，本公开提供了一种基于残差网络的苹果分级方法包括：
获取苹果的外观图像；
根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的ResNet-50网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现ResNet-50网络的改进。
在本实施例中，苹果分级网络模型的训练过程为：
获取苹果的外观图像，得到训练集；每个苹果测量多次，分别从多个侧面和顶面不同位置获取苹果的外观图像；
对训练集中的外观图像进行数据扩充，包括垂直镜像翻转、水平镜像翻转、按预设比例缩放或扩大图像、在预设角度之间对图像进行随机旋转以及对图像采用随机裁剪。
基于大津法对扩充后的数据进行图像分割；
根据分割后的图像数据对改进后的ResNet-50网络进行训练，得到苹果分级网络模型。
在本实施例中，获取苹果的外观图像具体为，选取红富士苹果，经过图像采集系统采集苹果图像；每个苹果测量三次，分别从三个侧面和顶面四个不同位置采集信息，共采集红富士苹果图片1030张。
在本实施例中，数据扩充具体为，卷积神经网络的训练需要的数据量比较大，所以本实施例对采集到的苹果图像应用以下方法进行数据扩充：包括垂直镜像翻转、水平镜像翻转、按一定比例缩放或扩大图片、在-60°～60°之间对图片进行随机旋转和对图像采用随机裁剪；经过以上方法随机组合数据扩充后，数据集扩充至6800张图片。
在本实施例中，为了提高卷积神经网络在苹果分级中的准确度，本实施例采用基于OTSU(大津法)的图像分割方法去除带干扰的背景信息，提取出苹果信息；OTSU法是一种求取图像全局阈值的算法，由日本学者大津提出；其原理如下：
假设图像包含L个灰度级，阈值T使图像像素点分为两类B1(小于T)与B2(大于T)，这两类像素点的均值分别为m1、m2，总像素点均值为m，每个像素点分至B1、B2的概率分别为p1、p2。当σ2最大值时，此时的灰度级k值为阈值T。OTSU法计算公式如下所示：
p1m1+p2m2＝m (3)
p1+p2＝1 (4)
σ2＝p1(m1-m)2+p2(m2-m)2 (5)
以下为图像分割的具体实现步骤：
(1)本实施例采集到的图像为RGB图像；RGB图像的灰度图以及直方图信息如图2和图3所示。
(2)通过如下转换公式将将图像从RGB色彩通道转为HSI色彩通道。
HSI通道灰度图以及直方图如图2、图3、图4、图5、图6、图7、图8和图9所示。
(3)HSI通道信息由图可见，相较于RGB通道，HSI通道具有更为简单的直方图信息；经过对H、S、I通道的直方图信息比较，S通道中苹果与背景信息的差别更明显，所以本实施例在S通道上进行图像分割；首先对S通道的灰度图使用3×3的均值滤波器进行均值滤波，然后使用OTSU法进行图像分割。分割后的图像存在小部分不完整情况，我们采用去杂点操作将黑色区域的白色去除，然后使用孔洞填充操作将白色区域的黑色去除，最后经过两次膨胀腐蚀形态学操作，使白色区域尽可能符合原苹果形状；待图片完整分割后，中间区域使用RGB颜色进行填充，得到图形分割的最终结果；图像分割过程如图10和图11所示。
在本实施例中，深度卷积神经网络存在退化问题，即随着网络深度增加，网络准确度出现饱和，甚至出现下降；ResNet网络(Residual Network)是一种残差网络，残差网络采用一种跳层技术，它的提出很大程度的缓解了深度神经网络退化问题；本实施例所使用的ResNet-50网络包含如下结构：
卷积层(Conv层)，卷积层由多个卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算主要为了提取图像的特征，卷积层的深度和宽度都会对图像特征的提取产生影响；批量归一化层(BN层)，BN层的加入可以加快网络的训练和收敛速度，防止梯度爆炸引起的梯度消失和防止过拟合。ReLU激活函数层，激活函数为非线性函数，加入网络结构的目的是改变层与层之间的线性关系，防止网络输入输出只是线性的叠加。
残差模块，卷积模块与直连模块是ResNet-50网络结构中两个不同的残差模块，它们采用不同方式的跳层连接。两个不同的残差块的输出如下所示：(y1是Conv模块的输出，y2是Identity模块的输出，Wi是1×1的卷积操作)
y1＝F(x)+x (10)
y2＝F(x)+Wix (11)
ResNet-50网络残差模块的结构如图12所示。
其中，CBAM(Convolutional Block Attention Module)由通道注意力模块和空间注意力模块组成。在通道注意力模块中，输入为特征F，分别经过基于图片尺寸的全局最大池化和全局平均池化，然后输入多层感知网络MLP(MLP中采用全连接层，并且参数共享)。MLP输出的两个特征进行基于元素的加和操作，最后经过sigmoid激活函数，生成特征图Mc。Mc与输入特征F进行基于元素的乘和操作，生成特征F′，F′是通道注意力模块的输出特征。Mc计算公式如下所示：(σ为sigmoid激活函数)
Mc＝σ{MLP[MaxPool(F)]+MLP[AvgPool(F)]} (12)
在空间注意力模块中，输入为特征F′，分别经过基于通道的全局最大池化和全局平均池化，然后经过基于通道的合并操作，再经过卷积层，降维为1个通道，最后经过sigmoid激活函数，生成特征图Ms，Ms与F′进行基于元素的乘和操作，生成输出特征F″。Ms计算公式如下所示：(f7×7为7×7的卷积层)
Ms＝σ{f7×7[MaxPool(F′)；AvgPool(F′)]} (14)
CBAM结构图如图13所示。
在激活函数方面，本实施例所采用的是LeakyReLU激活函数(带泄露整流函数)。ResNet-50网络所使用的是ReLU激活函数(线性整流函数)，其原理如下：当输入x小于0时，输出为0；当输入x大于0时，输出为x。ReLU激活函数相较于其他传统激活函数函数更为稀疏，计算量更小，对过拟合现象有很好的优化。但ReLU激活函数也存在一些缺点，例如：当网络中神经元某次更新的梯度小于0后，之后的所有梯度更新时，此神经元的梯度恒为0，造成神经元的“突然死亡”现象。为防止这种现象，本实施例采用LeakyReLU激活函数，相较于ReLU激活函数，该激活函数具有以下特点：当输入x小于0时，仍会有一个非常小梯度的值a*x(a为很小的正数，自定义)输出，从而避免了神经元失效现象。ReLU、LeakyReLU激活函数如图14和图15所示。
ReLU、LeakyReLU激活函数计算公式如下公式所示：(a为很小的正数)
为提高苹果分级的准确度，本实施例中对ResNet-50网络进行以下改进：
使用带泄露线性整流函数(LeakyReLU激活函数)替换ResNet-50网络中所有线性整流函数(ReLU激活函数)。
将CBAM加入ResNet-50网络；具体的，在两个模块之间嵌入CBAM，前一个模块的输出经过卷积层后输入到CBAM中产生改进的特征，改进的特征与前一个模块的输出进行基于元素的加和操作，所产生的特征作为下一个模块的输入特征，下一个模块继续此操作，直至最终输出特征。改进的ResNet-50网络结构如图16所示。
实施例2：
为了验证本方案的效果，本实施例中针对实施例1中提出的基于残差网络的苹果分级方法，进行实验验证，具体为：
本实施例中所使用的红富士苹果数据包含6759张有效图片；首先，将苹果总体数据分级为特等、一等、二等三部分，经过多名专业人员根据如表1所示的红富士苹果分级标准挑选后，共分拣出特等781张，一等1241张，二等1032张。
表1红富士苹果分级标准
将以上数据按照8：2的比例随机分割为训练集和验证集。苹果分级数据集如表2所示。
表2苹果分级数据集
实验在Ubuntu 18.04系统下进行，采用2张2080Ti显卡GPU对模型的训练进行加速。
为验证改进的ResNet-50网络在苹果分级系统中的有效性与适用性，本实施例中，选取部分主流卷积神经网络进行准确率对比，包括AlexNet、VGG-16、GoogleNet、Mobilenet-V2以及未改进的ResNet-50网络。我们分别选取最高的准确率以及前五准确率的平均值作为评价指标来评价各个网络对苹果分级的适用程度。
红富士苹果分级的准确率如表3所示。
表3红富士苹果分级准确率
实验结果表明，在红富士苹果分级中，改进的ResNet-50网络最高准确率相较于排名第二的网络要高出3.3％；前五准确率的平均值相较于排名第二的网络要高出4.1％。改进的ResNet-50网络在苹果分级中的准确率高达95.1％。结果表明，使用CBAM、LeakyReLU激活函数和ResNet-50网络相结合的改进的ResNet-50网络可以更好的适用于苹果分级。
通过对本公开提出的基于残差网络的苹果分级方法进行对比实验，得出如下结论：在红富士苹果分级中，改进的ResNet-50网络最高准确率相较于为未改进的ResNet-50网络提升5.6％，相较于在此系统中准确率排名第二的GoogleNet网络提升3.3％。CBAM的加入使改进的网络更加注意通道和空间上的特征，更容易提取关键信息，LeakyReLU激活函数的加入缓解了神经元突然失效问题。上述两个改进使得改进的ResNet-50网络在苹果分级中具有出色的发挥。
在苹果分级中，改进的ResNet-50网络的最高准确度以及前五准确率的平均值分别达到95.1％和94.8％，高于AlexNet、VGG-16、GoogleNet、Mobilenet-V2以及未改进的ResNet-50网络，证明改进的ResNet-50网络能够更好的实现苹果分级。
实施例3：
本实施例提供了一种基于残差网络的苹果分级系统，包括图像获取模块和分级模块；
所述图像获取模块，被配置为：获取苹果的外观图像；
所述分级模块，被配置为：根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的ResNet-50网络得到；具体的，通过加入卷积注意力模块和带泄露整流函数实现ResNet-50网络的改进。
实施例4：
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于残差网络的苹果分级方法中的步骤。
实施例5：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于残差网络的苹果分级方法中的步骤。
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。
Claims (10)
1.一种基于残差网络的苹果分级方法，其特征在于，包括：
获取苹果的外观图像；
根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的残差网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现残差网络的改进。
2.如权利要求1所述的一种基于残差网络的苹果分级方法，其特征在于，苹果分级网络模型的训练过程为：
获取苹果的外观图像，得到训练集；
对训练集中的外观图像进行数据扩充；
基于大津法对扩充后的数据进行图像分割；
根据分割后的图像数据对改进后的残差网络进行训练，得到苹果分级网络模型。
3.如权利要求2所述的一种基于残差网络的苹果分级方法，其特征在于，获取苹果的外观图像时，每个苹果测量多次，分别从多个侧面和顶面不同位置获取苹果的外观图像。
4.如权利要求2所述的一种基于残差网络的苹果分级方法，其特征在于，所述数据扩充包括垂直镜像翻转、水平镜像翻转、按预设比例缩放或扩大图像、在预设角度之间对图像进行随机旋转以及对图像采用随机裁剪。
5.如权利要求2所述的一种基于残差网络的苹果分级方法，其特征在于，所述图像分割包括：
获取苹果的RGB图像；
通过转换公式将将图像从RGB色彩通道转为HSI色彩通道；
对S通道的灰度图使用均值滤波器进行均值滤波，根据大津法进行图像分割；分割后的图像存在不完整情况时，根据去杂点操作将黑色区域的白色去除，根据孔洞填充操作将白色区域的黑色去除，经过两次膨胀腐蚀形态学操作，使白色区域符合原苹果形状；图像完整分割后，中间区域使用RGB颜色进行填充。
6.如权利要求1所述的一种基于残差网络的苹果分级方法，其特征在于，残差网络包括卷积模块和直连模块，所述卷积模块和所述特征提取模块采用不同方式的跳层连接。
7.如权利要求6所述的一种基于残差网络的苹果分级方法，其特征在于，使用带泄露线性整流函数替换残差网络中所有线性整流函数；在所述卷积模块和所述直连模块之间嵌入卷积注意力模块，所述卷积模块的输出经过卷积层后输入到所述卷积注意力模块中产生改进的特征，改进的特征与所述卷积模块的输出进行基于元素的加和操作，所产生的所述直连模块的输入特征，所述直连模块继续此操作，将特征信息传递至下一个模块，直至最终输出特征。
8.一种基于残差网络的苹果分级系统，其特征在于，包括图像获取模块和分级模块；
所述图像获取模块，被配置为：获取苹果的外观图像；
所述分级模块，被配置为：根据获取的外观图像以及预设的苹果分级网络模型，得到苹果的分级结果；
其中，苹果分级网络模型通过训练改进后的残差网络得到；具体的，通过加入卷积注意力模块和带泄露线性整流函数实现残差网络的改进。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于残差网络的苹果分级方法中的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于残差网络的苹果分级方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974079.8A CN113610857B (zh) | 2021-08-24 | 2021-08-24 | 一种基于残差网络的苹果分级方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974079.8A CN113610857B (zh) | 2021-08-24 | 2021-08-24 | 一种基于残差网络的苹果分级方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610857A true CN113610857A (zh) | 2021-11-05 |
| CN113610857B CN113610857B (zh) | 2024-02-06 |
Family
ID=78341782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974079.8A Active CN113610857B (zh) | 2021-08-24 | 2021-08-24 | 一种基于残差网络的苹果分级方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610857B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009097A (zh) * | 2019-04-17 | 2019-07-12 | 电子科技大学 | 胶囊残差神经网络、胶囊残差神经网络的图像分类方法 |
| CN111810124A (zh) * | 2020-06-24 | 2020-10-23 | 中国石油大学(华东) | 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 |
| CN111898709A (zh) * | 2020-09-30 | 2020-11-06 | 中国人民解放军国防科技大学 | 一种图像分类方法及设备 |
| CN111915580A (zh) * | 2020-07-27 | 2020-11-10 | 深圳市识农智能科技有限公司 | 烟叶分级方法、系统、终端设备及存储介质 |
| CN112308145A (zh) * | 2020-10-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 一种分类网络训练方法、分类方法、装置以及电子设备 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
| CN112541409A (zh) * | 2020-11-30 | 2021-03-23 | 北京建筑大学 | 一种融入注意力的残差网络表情识别方法 |
| CN112560968A (zh) * | 2020-12-21 | 2021-03-26 | 齐鲁工业大学 | 一种基于卷积和残差网络的her2图像分类方法及系统 |
| CN112580694A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 基于联合注意力机制的小样本图像目标识别方法及系统 |
| CN112883992A (zh) * | 2020-12-11 | 2021-06-01 | 太原理工大学 | 基于注意力的ResNet模型的乳腺癌肿块的分类方法 |
| CN113049084A (zh) * | 2021-03-16 | 2021-06-29 | 电子科技大学 | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 |
-
2021
- 2021-08-24 CN CN202110974079.8A patent/CN113610857B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009097A (zh) * | 2019-04-17 | 2019-07-12 | 电子科技大学 | 胶囊残差神经网络、胶囊残差神经网络的图像分类方法 |
| CN111810124A (zh) * | 2020-06-24 | 2020-10-23 | 中国石油大学(华东) | 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 |
| CN111915580A (zh) * | 2020-07-27 | 2020-11-10 | 深圳市识农智能科技有限公司 | 烟叶分级方法、系统、终端设备及存储介质 |
| CN111898709A (zh) * | 2020-09-30 | 2020-11-06 | 中国人民解放军国防科技大学 | 一种图像分类方法及设备 |
| CN112308145A (zh) * | 2020-10-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 一种分类网络训练方法、分类方法、装置以及电子设备 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
| CN112541409A (zh) * | 2020-11-30 | 2021-03-23 | 北京建筑大学 | 一种融入注意力的残差网络表情识别方法 |
| CN112580694A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 基于联合注意力机制的小样本图像目标识别方法及系统 |
| CN112883992A (zh) * | 2020-12-11 | 2021-06-01 | 太原理工大学 | 基于注意力的ResNet模型的乳腺癌肿块的分类方法 |
| CN112560968A (zh) * | 2020-12-21 | 2021-03-26 | 齐鲁工业大学 | 一种基于卷积和残差网络的her2图像分类方法及系统 |
| CN113049084A (zh) * | 2021-03-16 | 2021-06-29 | 电子科技大学 | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| L. ZHAO ET AL.: "Apple Grading Model Based on Improved ResNet-50 Network", 4TH EAI INTERNATIONAL CONFERENCE, ICMTEL 2022, pages 749 - 768 * |
| 何进荣 等: "基于 DXNet 模型的富士苹果外部品质分级方法研究", 农业机械学报, vol. 52, no. 7, pages 379 - 375 * |
| 姚立健 等: "基于 BP 神经网络的水果分级研究", 浙江农业学报, vol. 24, no. 5, pages 926 * |
| 孙伟 等: "基于改进型 ＬｅＮｅｔ－５的苹果自动分级方法", 植物生态学报, vol. 41, no. 7, pages 105 - 110 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610857B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| US10846566B2 (en) | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks | |
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| Thai et al. | Image classification using support vector machine and artificial neural network | |
| CN112818862B (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN106156777B (zh) | 文本图片检测方法及装置 | |
| CN112561910A (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
| CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
| CN108108751A (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
| CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
| CN110458812B (zh) | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| US20190266443A1 (en) | Text image processing using stroke-aware max-min pooling for ocr system employing artificial neural network | |
| Tereikovskyi et al. | The method of semantic image segmentation using neural networks | |
| CN113628297A (zh) | 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 | |
| CN115410059A (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
| CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| CN111368865A (zh) | 遥感影像储油罐检测方法、装置、可读存储介质及设备 | |
| CN110738213A (zh) | 一种包括周边环境的图像识别方法及装置 | |
| CN113610857B (zh) | 一种基于残差网络的苹果分级方法及系统 | |
| CN111461259B (zh) | 基于红黑形态小波池化网络的图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |