CN113077450A - 基于深度卷积神经网络的樱桃分级检测方法及系统 - Google Patents
基于深度卷积神经网络的樱桃分级检测方法及系统 Download PDFInfo
- Publication number
- CN113077450A CN113077450A CN202110388884.2A CN202110388884A CN113077450A CN 113077450 A CN113077450 A CN 113077450A CN 202110388884 A CN202110388884 A CN 202110388884A CN 113077450 A CN113077450 A CN 113077450A
- Authority
- CN
- China
- Prior art keywords
- cherry
- image
- grading
- detection method
- fruit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000167854 Bourreria succulenta Species 0.000 title claims abstract description 142
- 235000019693 cherries Nutrition 0.000 title claims abstract description 142
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000009792 diffusion process Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 239000003973 paint Substances 0.000 claims 1
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004880 explosion Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的樱桃分级检测方法及系统，涉及樱桃检测技术领域，包括：S1.采集樱桃图像，对采集到的图像进行增强处理；S2.对增强处理后的图像进行数据集的标注及划分；S3.将标注好的图像输入至樱桃特征提取网络模型中，通过该网络模型对樱桃关键点特征进行提取，所述关键点为樱桃果梗首末两端及果体两侧；S4.将提取出的樱桃关键点特征回归处理，得到樱桃大小和有无果梗的分级参数；S5.通过网络模型对分级参数进行训练。能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。
Description
技术领域
本发明涉及樱桃检测技术领域，具体涉及一种基于深度卷积神经网络的樱桃分级检测方法及系统。
背景技术
樱桃的大小反映了其质量水平，樱桃果梗的有无对保鲜时长至关重要，果梗缺损会导致其内部水分流失，进而导致其干枯和腐烂，影响樱桃的品质。品质的好坏不仅影响着产品本身的价值，而且直接影响消费者的购买欲望，进而影响果农的经济收入。因此，采用机器视觉技术进行水果的实时检测分级是实现水果自动化分级进而商品化的关键性一步。
目前樱桃分级主要靠人工拣选和传统图像处理。人工分级速度慢且存在误差，而传统图像对樱桃分级检测容易受环境因素影响，泛化能力差。由于人工分拣和传统的图像处理方法所面临检测速度和环境影响的局限性，樱桃的分级检测未被在工业现场广泛应用。
发明内容
为解决现有技术中存在的不足，本发明提供一种基于深度卷积神经网络的樱桃分级检测方法及系统，能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。
本发明为解决其技术问题所采用的技术方案是：一种基于深度卷积神经网络的樱桃分级检测方法，包括：
S1.采集樱桃图像，对采集到的图像进行增强处理；
S2.对增强处理后的图像进行数据集的标注及划分；
S3.将标注好的图像输入至樱桃特征提取网络模型中，通过该网络模型对樱桃关键点特征进行提取，所述关键点为樱桃果梗首末两端及果体两侧；
S4.将提取出的樱桃关键点特征回归处理，得到樱桃大小和有无果梗的分级参数；
S5.通过网络模型对分级参数进行训练。
进一步的，对采集到的图像进行增强处理，包括：采用一个卷积扫描图像上的每个像素，用卷积确定的领域内像素的加权平均灰度值替代模板中心像素点的值。
进一步的，数据集的标注及划分，包括：将增强处理后的图像保持长宽比例缩放为416×416，剩下部分采用灰色填充，采用图像质量评价筛选出3505张樱桃图像，对樱桃果梗首末两端及果体两侧进行关键点坐标标注，然后将3505张具有标注信息的樱桃图像数据集按照7:2:1随机划分训练集、验证集和测试集，其中，训练集、验证集和测试集按照樱桃尺寸和有无果梗分为大、中、小、有果梗、无果梗。
进一步的，所述网络模型由模块1和模块2组成，模块1由两个3×3卷积层和一个1×1卷积层组成，采用残差连接；模块2由一个3×3卷积层和一个1×1卷积曾组成，无残差连接；所述模块1和模块2的卷积方式均为深度可分离卷积。
进一步的，步骤S4包括：将模块1和模块2提取出的樱桃关键点特征经过最后的全局平均池化将维度向量降到8维，进而回归出上(x,y)、下(x,y)、左(x,y)、右(x,y)四个关键点坐标，得到果梗首末两端和果体两侧位置的坐标信息，通过欧式距离计算果梗首末两端的距离d和果体两侧位置之间的距离h，设置樱桃大小阈值为th1、th2，果梗有无的阈值为th3，通过分别与上述相应阈值的比较得出樱桃大小和有无果梗的分级参数。
进一步的，步骤S5包括：采用Adam优化器，将初始学习率设置为1x10-4，学习率衰减策略为每2个迭代轮次验证集损失不再下降时，学习率衰减为原来的一半；在全连接层采用随机丢弃20％的神经元，并采取早停策略，每经过5个迭代轮次验证集损失不再下降时，则网络模型训练停止，采用ReLU6作为激活函数，激活函数为：
ReLU6＝min(6,max(0,x))；
采用Smooth L1作为损失函数，损失函数为：
x＝f(xi)-yi为真实值和预测值的差值。
一种樱桃分级检测系统，使用上述方法，包括：支柱、传送带、图像采集设备、计算机处理单元、辅助照明系统；
所述辅助照明系统包括光源罩、LED光源漫光片，所述光源罩架设在传送带上方，将传送带罩于其内，樱桃通过传送带向前输送，LED光源漫光片安装在光源罩内壁并与电源供给控制器连接；
所述图像采集设备包括工业相机、频闪控制器和激光光电开关，所述工业相机通过支柱架设在光源罩顶部并朝向传送带，工业相机通过相机触发线与频闪控制器连接，频闪控制器分别与电源供给控制器、激光光电开关连接；
计算机处理单元通过相机触发线与工业相机连接，用于存储工业相机采集到的图像并进行处理；
当传送带的传送滚轮经过激光光电开关时，触发工业相机进行图像采集。
进一步的，所述光源罩壁体涂覆有纳米漫反射涂料。
有益效果：网络模型的两个模块采用深度可分离卷积的方式，将逐通道卷积和逐点卷积两个部分结合起来，用来提取图像特征，相比常规的卷积操作，其参数数量和运算成本比更低；
在全连接层采用随机丢弃20％的神经元，并采取早停策略，每经过5个迭代轮次验证集损失不再下降时，模型训练停止，能够有效缓解过拟合的发生，在一定程度上达到正则化的效果，从而增强模型的泛化能力；
使用的激活函数为ReLU6，在移动端float16的低精度时候，也能有很好的数值分辨率，采用Smooth L1损失函数，能够对距离中心较远的点、异常值不敏感、可控制梯度的量级训练时不容易跑飞，从而解决梯度爆炸的问题；
能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。
附图说明
图1是樱桃分级检测系统结构示意图；
图2是本发明樱桃果体两侧和果梗首末两端关键点坐标标注示意图；
图3是本发明训练集，验证集，测试集樱桃尺寸分布图；
图4是本发明训练集，验证集，测试集有无果梗分布图；
图5是本发明网络模型结构图；
图6是本发明模块1结构图；
图7是本发明模块2结构图；
图8是本发明樱桃尺寸和有无果梗分级标准图；
图9是本发明激活函数曲线图；
图10是本发明训练集、验证集损失函数曲线图；
图11是本发明学习率迭代曲线图；
图12是本发明樱桃真实标注与预测结果对比图。
图1中附图标记：1、工业相机，2、LED光源漫光片，3、传送带，4、频闪控制器，5、光源罩，6、激光光电开关，7、计算机处理单元，8、相机触发线，9、樱桃，10、电源供给控制器，11、支柱。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
实施例1
一种基于深度卷积神经网络的樱桃分级检测方法，基于深度学习关键点检测方法对樱桃的大小分级和有无果梗进行判别。通过卷积神经网络自动提取樱桃的关键点特征，构建回归网络模型得到樱桃果梗首末两端和果体两侧的关键点坐标，通过欧氏距离计算樱桃果梗首末两端和果体两侧之间的距离，能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，从而达到樱桃分级的目的。
1、硬件设备设置
樱桃分级检测系统，包括：支柱11、传送带3、图像采集设备、计算机处理单元7、辅助照明系统；
所述辅助照明系统包括光源罩5、LED光源漫光片2，所述光源罩5架设在传送带3上方，将传送带3罩于其内，传送带3将樱桃9均匀地分散在图像的采集区域，樱桃9通过传送带3向前输送，LED光源漫光片2安装在光源罩5内壁并与电源供给控制器10连接；
所述图像采集设备包括工业相机1、频闪控制器4和激光光电开关6，所述工业相机1通过支柱11架设在光源罩5顶部并朝向传送带3，工业相机1通过相机触发线8与频闪控制器4连接，频闪控制器4分别与电源供给控制器10、激光光电开关6连接；
计算机处理单元7通过相机触发线8与工业相机1连接，用于存储工业相机1采集到的图像并进行处理；
通过频闪控制器4和激光光电开关6触发工业相机1拍照，当传送带3的传送滚轮经过激光光电开关6时，触发工业相机1进行图像采集。
优选的，光源罩5壁体涂覆有纳米漫反射涂料，保证图像采集区域的光照强度均匀，避免了樱桃表面的反射和底部阴影。本实施例采用Basler(acA2000-50gc)工业相机。
2、数据采集、图像增强
当传送带3的传送滚轮带动樱桃经过激光光电开关6时，将会触发图像采集设备进行图像采集，并通过POE千兆网卡传输给计算机处理单元7进行存储。
对采集好的图像采取高斯滤波方法进行图像增强，主要采用一个卷积去扫描图像上的每个像素，用卷积确定的领域内像素的加权平均灰度值去替代模板中心像素点的值。
3、数据集标注及划分
将增强处理后的图像保持长宽比例进行缩放为416×416，剩下部分采用灰色填充，采用图像质量评价(即基于图像像素统计，采用峰值信噪比和均方误差，通过计算采集出来的樱桃图像和选定的参考图像对应像素点灰度值之间的差异，信噪比值越大，表示待评测图像和参考图像之间像素值误差较小，图像质量较好，均方误差值越小，表示图像的质量越好)筛选出3505张樱桃图像，对樱桃果体两侧和果梗首末两端进行关键点坐标标注，如图2所示。然后将3505张具有标注信息的樱桃图像数据集按照7:2:1随机划分训练集、验证集和测试集。其中，训练集、验证集和测试集按照樱桃尺寸和有无果梗分为大、中、小、有果梗、无果梗，分布图如图3、4所示。
4、网络模型结构
网络模型输入为RGB三通道图像，将标注好的图像送入樱桃特征提取网络中，使用深度可分离卷积层自动捕捉樱桃关键点信息，能够提取有效信息并提高模型的训练速度，模型结构如图5所示，整个网络结构主要是采用MobilenetV2，由模块1和模块2组成，主要是对输入图像中樱桃的特征提取。模块1由两个3×3卷积层和一个1×1卷积层组成，并采用了残差连接，如图6所示，能够保证网络的深度，使得特征映射对于特征信息更加敏感，而且又能缓解深层网络的梯度消失，因此，模型拥有更强的表达能力。模块2由一个3×3卷积层和一个1×1卷积层组成，无残差连接，如图7所示，3×3卷积层步长为2时，取代池化操作降低特征维度，使其成为更低维表征，减少参数量，提升运算速度。两个模块中采用的卷积方式为深度可分离卷积，将逐通道卷积和逐点卷积两个部分结合起来，用来提取图像特征，相比常规的卷积操作，其参数数量和运算成本比较低。
5、关键点的回归
将两个模块提取出樱桃图像特征经过最后的全局平均池化将维度向量降到8维，进而回归出上(x,y)、下(x,y)、左(x,y)、右(x,y)四个关键点坐标，得到果梗首末两端和果体两侧位置的坐标信息，通过欧式距离计算果梗首末两端的距离d和果体两侧位置之间的距离h，设置樱桃大小阈值为th1、th2，果梗有无得阈值为th3，进而通过与阈值的比较达到樱桃大小和有无果梗的分级，结果如图8所示。
6、模型训练参数
模型训练采用Adam优化器，初始学习率为1x10-4，学习率衰减策略为每2个迭代轮次验证集损失不再下降时，学习率衰减为原来的一半。在模型训练初期，使用较大的学习率进行模型优化，随着迭代次数增加，学习率会逐渐进行减小，保证模型在训练后期不会有太大的波动，从而更加接近最优解。为了防止模型过拟合，在全连接层采用随机丢弃20％的神经元，并采取早停策略，每经过5个迭代轮次验证集损失不再下降时，则模型训练停止，能够有效缓解过拟合的发生，在一定程度上达到正则化的效果，从而增强模型的泛化能力。为了在移动端float16的低精度时候，也能有很好的数值分辨率，网络中使用的激活函数为ReLU6，如图9所示，其定义为：ReLU6＝min(6,max(0,x))，如果对输出值不加限制，那么输出范围就是0到正无穷，而低精度的float16无法精确描述其数值，带来精度损失。为了缓解梯度爆炸对于模型无法再从训练中学习以及出现无法再更新权重的影响，采用Smooth L1损失函数，能够对距离中心较远的点、异常值不敏感、可控制梯度的量级使训练时不容易跑飞，从而解决梯度爆炸的问题。损失函数：
其中，x＝f(xi)-yi为真实值和预测值的差值。
7、评价指标
樱桃尺寸大小和有无果梗检测网络模型的评价标准采用平均绝对误差(MeanAbsolute Error,MAE)，即观测值与真实值的误差绝对值的平均值，平均绝对误差能更好地反映预测值误差的实际情况。见下式。
其中m为测试样本数量，fi为预测值，yi为真实值。
8、试验结果与分析
为验证本发明网络模型对樱桃大小的检测和有无果梗判别的检测效果，选取了经典的卷积神经网络模型VGG19、Resnet50作为对比，模型分级检测效果见表1。在350张测试样本集上测试，本发明提出的模型效果最优，平均绝对误差为6.12，网络具有更强的特征提取能力，检测精度更高。
表1模型分级检测效果
模型训练使用了3155张樱桃图像数据训练模型，训练集和验证集损失收敛情况如图10所示，训练过程的学习率衰减情况如图11所示，结合训练集、验证集损失曲线和学习率迭代曲线图可知，模型迭代初期，训练集和验证集损失迅速降低，模型趋于局部最优解，开始收敛缓慢，验证集损失值出现震荡，此时学习率衰减策略生效，防止模型收敛结果越过最优解，经过6次学习率衰减之后，验证集损失值不再下降，经过40个迭代轮次后停止，模型收敛至最优解，并且未出现过拟合情况。
针对350张樱桃图像的分级检测结果见表2。樱桃大小检测准确率为93.14％，有无果梗判定准确率为90.57％。大樱桃正确分检的概率为75.00％，平均绝对误差值为8.0944；中樱桃正确分检的概率为91.02％，平均均方误差值为6.2172；小樱桃正确分检的概率为98.70％，平均均方误差值为5.7162；樱桃有果梗正确分检的概率为94.87％，平均均方误差值为3.0714；樱桃无果梗正确分检的概率为87.78％，平均均方误差值为6.5309，其中350个樱桃批量测试样本，在线分级检测总用时10.5秒左右，平均速度约为33个/秒，能够满足在线检测的实时性要求。
表2樱桃分级检测结果
针对大、中、小三种樱桃的有无果梗图像检测结果如图12所示。图中第一行为人工标注的真实标签，第二行为模型预测结果，可以看出大樱桃的分级检测结果整体偏小，由表2可知大樱桃的平均绝对误差最大，主要是因为工业相机景深导致樱桃边缘像素模糊，其次光源直射樱桃产生的光斑和阴影对樱桃关键点回归带来一定的影响，可通过选择大景深相机，调整光源照射角度或选择特定光源来解决。此外，训练样本集中大樱桃所占比例为27.38％，中樱桃所占比例53.45％，样本分布不均衡，对大樱桃的检测结果偏小，可通过增加大樱桃样本数量和数据增强方式优化样本数据分布，进一步提升模型效果。模型对小樱桃的检测效果较好，主要是由于樱桃大小匹配相机景深，拍摄图像质量高，樱桃边缘较为清晰。因此，图像质量对于樱桃的关键点回归至关重要。
图12中第一列为有果梗樱桃检测结果，第二列为无果梗检测结果。由表2可知，模型对于无果梗的关键点回归误差相对较高，从图12中第二列也能看出果梗的关键点偏差相对较大，主要原因是无果梗樱桃的关键点标注位置精度较低，且标准不统一，受到人为因素影响，从而影响网络对于果梗关键点特征的提取，使得最终关键点回归误差相对较大。此外，由于樱桃果梗长度差异较大，增加了对于果梗关键点回归的难度。因此，对于无果梗樱桃的关键点标注要求较为苛刻。
针对樱桃分级问题，本发明提出基于深度学习的关键点回归算法，实现了樱桃的分级检测和有无果梗的精确判别，樱桃大小尺寸检测准确率为93.14％，有无果梗判定准确率为90.57％，检测速度为33fps,在实现高精度的同时，极大的提升了检测速度，具有很大的实用价值。通过对大、中、小、有无果梗樱桃的不同情况分析，可通过优化图像采集质量和调整光源等方法进一步改善模型检测效果。此外，还可通过增加训练集样本数量或图像增强方法优化数据分布，建立合理的回归逻辑，进一步提升樱桃大小和有无果梗的识别效果，推动樱桃分级的工业化应用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于深度卷积神经网络的樱桃分级检测方法，其特征在于，包括：
S1.采集樱桃图像，对采集到的图像进行增强处理；
S2.对增强处理后的图像进行数据集的标注及划分；
S3.将标注好的图像输入至樱桃特征提取网络模型中，通过该网络模型对樱桃关键点特征进行提取，所述关键点为樱桃果梗首末两端及果体两侧；
S4.将提取出的樱桃关键点特征回归处理，得到樱桃大小和有无果梗的分级参数；
S5.通过网络模型对分级参数进行训练。
2.根据权利要求1所述的基于深度卷积神经网络的樱桃分级检测方法，其特征在于，对采集到的图像进行增强处理，包括：采用一个卷积扫描图像上的每个像素，用卷积确定的领域内像素的加权平均灰度值替代模板中心像素点的值。
3.根据权利要求1所述的基于深度卷积神经网络的樱桃分级检测方法，其特征在于，数据集的标注及划分，包括：将增强处理后的图像保持长宽比例缩放为416×416，剩下部分采用灰色填充，采用图像质量评价筛选出3505张樱桃图像，对樱桃果梗首末两端及果体两侧进行关键点坐标标注，然后将3505张具有标注信息的樱桃图像数据集按照7:2:1随机划分训练集、验证集和测试集，其中，训练集、验证集和测试集按照樱桃尺寸和有无果梗分为大、中、小、有果梗、无果梗。
4.根据权利要求1所述的基于深度卷积神经网络的樱桃分级检测方法，其特征在于，所述网络模型由模块1和模块2组成，模块1由两个3×3卷积层和一个1×1卷积层组成，采用残差连接；模块2由一个3×3卷积层和一个1×1卷积曾组成，无残差连接；所述模块1和模块2的卷积方式均为深度可分离卷积。
5.根据权利要求4所述的基于深度卷积神经网络的樱桃分级检测方法，其特征在于，步骤S4包括：将模块1和模块2提取出的樱桃关键点特征经过最后的全局平均池化将维度向量降到8维，进而回归出上(x,y)、下(x,y)、左(x,y)、右(x,y)四个关键点坐标，得到果梗首末两端和果体两侧位置的坐标信息，通过欧式距离计算果梗首末两端的距离d和果体两侧位置之间的距离h，设置樱桃大小阈值为th1、th2，果梗有无的阈值为th3，通过分别与上述相应阈值的比较得出樱桃大小和有无果梗的分级参数。
6.根据权利要求3所述的基于深度卷积神经网络的樱桃分级检测方法，其特征在于，步骤S5包括：采用Adam优化器，将初始学习率设置为1x10-4，学习率衰减策略为每2个迭代轮次验证集损失不再下降时，学习率衰减为原来的一半；在全连接层采用随机丢弃20％的神经元，并采取早停策略，每经过5个迭代轮次验证集损失不再下降时，则网络模型训练停止，采用ReLU6作为激活函数，激活函数为：
ReLU6＝min(6,max(0,x))；
采用SmoothL1作为损失函数，损失函数为：
x＝f(xi)-yi为真实值和预测值的差值。
7.一种樱桃分级检测系统，使用权利要求1-6任一项所述的方法，其特征在于，包括：支柱(11)、传送带(3)、图像采集设备、计算机处理单元(7)、辅助照明系统；
所述辅助照明系统包括光源罩(5)、LED光源漫光片(2)，所述光源罩(5)架设在传送带(3)上方，将传送带(3)罩于其内，樱桃(9)通过传送带(3)向前输送，LED光源漫光片(2)安装在光源罩(5)内壁并与电源供给控制器(10)连接；
所述图像采集设备包括工业相机(1)、频闪控制器(4)和激光光电开关(6)，所述工业相机(1)通过支柱(11)架设在光源罩(5)顶部并朝向传送带(3)，工业相机(1)通过相机触发线(8)与频闪控制器(4)连接，频闪控制器(4)分别与电源供给控制器(10)、激光光电开关(6)连接；
计算机处理单元(7)通过相机触发线(8)与工业相机(1)连接，用于存储工业相机(1)采集到的图像并进行处理；
当传送带(3)的传送滚轮经过激光光电开关(6)时，触发工业相机(1)进行图像采集。
8.根据权利要求7所述的樱桃分级检测系统，其特征在于，所述光源罩(5)壁体涂覆有纳米漫反射涂料。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388884.2A CN113077450B (zh) | 2021-04-12 | 2021-04-12 | 基于深度卷积神经网络的樱桃分级检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388884.2A CN113077450B (zh) | 2021-04-12 | 2021-04-12 | 基于深度卷积神经网络的樱桃分级检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077450A true CN113077450A (zh) | 2021-07-06 |
| CN113077450B CN113077450B (zh) | 2024-03-12 |
Family
ID=76617381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110388884.2A Active CN113077450B (zh) | 2021-04-12 | 2021-04-12 | 基于深度卷积神经网络的樱桃分级检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077450B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
| CN114581859A (zh) * | 2022-05-07 | 2022-06-03 | 北京科技大学 | 一种转炉下渣监测方法及系统 |
| CN114985303A (zh) * | 2022-05-24 | 2022-09-02 | 广东省农业科学院蔬菜研究所 | 黑皮鸡枞外观品质分级系统及其方法 |
| CN116843628A (zh) * | 2023-06-15 | 2023-10-03 | 华中农业大学 | 一种基于机器学习复合优化的藕带无损检测与分级方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784204A (zh) * | 2018-12-25 | 2019-05-21 | 江苏大学 | 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 |
| WO2020023762A1 (en) * | 2018-07-26 | 2020-01-30 | Walmart Apollo, Llc | System and method for produce detection and classification |
| CN110991511A (zh) * | 2019-11-26 | 2020-04-10 | 中原工学院 | 一种基于深度卷积神经网络的向日葵作物种子分拣方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112365532A (zh) * | 2019-07-23 | 2021-02-12 | 大连大学 | 高精度樱桃尺寸分级方法 |
| CN112507896A (zh) * | 2020-12-14 | 2021-03-16 | 大连大学 | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 |
| WO2023077569A1 (zh) * | 2021-11-02 | 2023-05-11 | 浙江大学 | 一种深度学习水果光谱分析模型更新方法 |
| US20230360411A1 (en) * | 2022-05-07 | 2023-11-09 | Hangzhou Dianzi University | Cherry picking and classifying method and device based on machine vision |
-
2021
- 2021-04-12 CN CN202110388884.2A patent/CN113077450B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020023762A1 (en) * | 2018-07-26 | 2020-01-30 | Walmart Apollo, Llc | System and method for produce detection and classification |
| CN109784204A (zh) * | 2018-12-25 | 2019-05-21 | 江苏大学 | 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法 |
| CN112365532A (zh) * | 2019-07-23 | 2021-02-12 | 大连大学 | 高精度樱桃尺寸分级方法 |
| CN110991511A (zh) * | 2019-11-26 | 2020-04-10 | 中原工学院 | 一种基于深度卷积神经网络的向日葵作物种子分拣方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112507896A (zh) * | 2020-12-14 | 2021-03-16 | 大连大学 | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 |
| WO2023077569A1 (zh) * | 2021-11-02 | 2023-05-11 | 浙江大学 | 一种深度学习水果光谱分析模型更新方法 |
| US20230360411A1 (en) * | 2022-05-07 | 2023-11-09 | Hangzhou Dianzi University | Cherry picking and classifying method and device based on machine vision |
Non-Patent Citations (1)
| Title |
|---|
| 缑新科;常英;: "基于机器视觉的樱桃番茄在线分级系统设计", 计算机与数字工程, no. 07, 20 July 2020 (2020-07-20) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
| CN114581859A (zh) * | 2022-05-07 | 2022-06-03 | 北京科技大学 | 一种转炉下渣监测方法及系统 |
| CN114581859B (zh) * | 2022-05-07 | 2022-09-13 | 北京科技大学 | 一种转炉下渣监测方法及系统 |
| CN114985303A (zh) * | 2022-05-24 | 2022-09-02 | 广东省农业科学院蔬菜研究所 | 黑皮鸡枞外观品质分级系统及其方法 |
| CN114985303B (zh) * | 2022-05-24 | 2024-04-26 | 广东省农业科学院蔬菜研究所 | 黑皮鸡枞外观品质分级系统及其方法 |
| CN116843628A (zh) * | 2023-06-15 | 2023-10-03 | 华中农业大学 | 一种基于机器学习复合优化的藕带无损检测与分级方法 |
| CN116843628B (zh) * | 2023-06-15 | 2024-01-02 | 华中农业大学 | 一种基于机器学习复合优化的藕带无损检测与分级方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077450B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077450A (zh) | 基于深度卷积神经网络的樱桃分级检测方法及系统 | |
| Li et al. | Computer vision based system for apple surface defect detection | |
| CN110314854A (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| Capizzi et al. | Automatic classification of fruit defects based on co-occurrence matrix and neural networks | |
| Liming et al. | Automated strawberry grading system based on image processing | |
| CN109977808A (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| Rokunuzzaman et al. | Development of a low cost machine vision system for sorting of tomatoes. | |
| CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
| CN110310259A (zh) | 一种基于改进YOLOv3算法的木结瑕疵检测方法 | |
| CN106568783A (zh) | 一种五金零件缺陷检测系统及方法 | |
| CN113838034B (zh) | 基于机器视觉的糖果包装表面缺陷快速检测方法 | |
| CN112418130A (zh) | 一种基于bp神经网络的香蕉成熟度检测方法及装置 | |
| CN102221559A (zh) | 基于机器视觉的织物疵点在线自动检测方法及其装置 | |
| CN109726730A (zh) | 自动光学检测图像分类方法、系统及计算机可读介质 | |
| CN118225803B (zh) | 一种推土机刀片表面外观视觉检测方法 | |
| CN113538342B (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
| Sun et al. | A novel method for multi-feature grading of mango using machine vision | |
| CN116542962A (zh) | 一种基于改进Yolov5m模型光伏电池缺陷检测方法 | |
| Cai et al. | OCR service platform based on OpenCV | |
| CN115187878A (zh) | 基于无人机图像分析的风力发电装置叶片缺陷检测方法 | |
| Shelke et al. | Detection of Artificially Ripened Fruits using Machine Learning | |
| CN111257339B (zh) | 一种基于机器视觉的皮蛋裂纹在线检测方法及检测装置 | |
| Zhou et al. | Cork classification based on multi-scale faster-RCNN with machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |