CN107679579A - 基于深度学习的红枣品质分选方法 - Google Patents

基于深度学习的红枣品质分选方法 Download PDF

Info

Publication number
CN107679579A
CN107679579A CN201710967884.1A CN201710967884A CN107679579A CN 107679579 A CN107679579 A CN 107679579A CN 201710967884 A CN201710967884 A CN 201710967884A CN 107679579 A CN107679579 A CN 107679579A
Authority
CN
China
Prior art keywords
jujube
image
sample
deep learning
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710967884.1A
Other languages
English (en)
Inventor
耿磊
徐文龙
肖志涛
张芳
吴骏
刘彦北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201710967884.1A priority Critical patent/CN107679579A/zh
Publication of CN107679579A publication Critical patent/CN107679579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种基于深度学习的红枣品质分选方法，该方法包括：采集大量的不同品质的红枣样本，将样本分为四类丰满枣、干条枣、裂口枣和瑕疵枣，并将样本分为训练集和测试集。对采集的红枣样本图像进行预处理，通过对白色背景上面的红枣图像进行灰度化、二值化、中值滤波、ROI感兴趣区域提取等图像处理的操作，将在较大白色背景上面的红枣扣出，并且要将样本图像大小进行归一化。使用改进结构的网络对样本训练集进行训练得到模型，利用训练生成模型对测试样本图像进行分类。相比于目前的红枣品质分选技术，本发明提高了红枣分选的准确性和速度，成功解决了红枣人工分拣效率低、准确率低、消耗过多的人力资源等问题。

Description

基于深度学习的红枣品质分选方法
技术领域
本发明涉及一种基于深度的学习技术的红枣品质分类方法，该方法包含了机器视觉技术、基本的图形图像处理技术、以及深度学习和卷积神经网络，通过对红枣特征的提取，准确的对红枣品质进行分类。
背景技术
中国是枣的原产国，也是世界上最大的枣生产国和唯一出口国，拥有全世界95％以上的枣树资源，在世界红枣行业中占据领导地位。红枣是我国加入世贸组织后最具竞争力的农产品。近些年，我国红枣产量保持总体增长，2015年产达到913.5万吨。红枣品质分拣是红枣贮藏、加工及流通等的一个关键技术环节，直接影响果农的经济效益。
目前中国的红枣分拣方法主要分为人工拣选和机械筛选两大类。人工拣选红枣品质存在劳动强度大、效率低、成本高、分选精度和卫生质量难以保证等弊端。红枣机械筛选，目前市场上面红枣的机械筛选存在的问题是智能化程度不高，准确率较低，分选速度较慢等问题。
基于以上方面，我们提出了基于深度学习和机器视觉的红枣品质智能化分选方法，筛选精度高、速度快，有广阔的市场应用前景。
发明内容
本发明为了达到上述目的，规避传统分拣红枣品质的弊端，更快速有效的对红枣品质进行分拣，我们提出一种基于深度学习的红枣品质分选方法，本发明采用如下的技术方案：
(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；
(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；
(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练；
(4)利用训练好的模型对红枣样本图像进行判别。
与现有技术相比，本发明的优点在于：
算法处理时间耗时更少，检测速度有很大的提升；算法准确率有明显提升，减少了误检率；在大数据的背景下，本发明是机器视觉技术、人工智能技术、深度学习技术和图像处理技术在红枣农产品分选中的首次应用。
附图说明
图1为本发明的基于深度学习的红枣品质分选方法流程图。
图2为本发明的网络结构示意图。
图3为前期红枣图像样本的图像处理结果。
图4为本发明训练和测试流程示意图。
具体实施方式
按照本发明的基于深度学习的红枣品质分选方法包括：
(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；
(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；
(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练。
(4)利用训练好的模型对红枣样本图像进行判别。
前期红枣4类不同品质样本的整理：
深度学习技术的CNN在前期的训练中需要大量的样本数据，样本数据的采集和整理是一项很重要的工作。首先在红枣传输检测平台上，利用可以实现自动触发采图功能的工业相机对不同品质的红枣样本图像进行分类采集。其中，选择符合光照条件的环形光源进行补光，以降低曝光时间，提高帧率，工业相机的曝光时间为200us，采集帧率为30fps。红枣样本的拍摄过程是红枣样本经过传送带送到工业相机下，通过触发器触发工业相机拍照，完成红枣样本的采集工作。我最后共采集红枣样本图像12000张，每类红枣样本图像为3000张，采集图像的尺寸640*480。
红枣样本前期的处理工作，其中所用的基本图像处理方法有以下几个，图像的灰度化处理，threshold方法通过遍历灰度图中像素点，将图像二值化，处理过后的图片只有两种色值，其中的阈值选取200。图像中值滤波，滤除噪声，保护图像边缘信息。然后对得到的二值图像进行检索轮廓，使用minAreaRect方法求轮廓的最小外接矩形，转化求得矩形的四个顶点坐标，并绘制矩形，以矩形的长作为边，绘制最大外接正方形，来提取ROI图像感兴趣区域，将红枣扣出。最后，对提取到的红枣图像进行归一化，大小为227*227，作为CNN网络的输入。
网络结构如下所述：
该改进的网络结构包括5个卷积层，3个池化层，2个全连接层，其中卷积层conv3_1和卷积层conv3_2为并联结构，卷积层conv3_1后为池化层pool3，卷积层conv3_2后为卷积层conv4，在保证数据尺寸一致的情况下，通过concat层将池化层pool3和卷积层conv4的输出两个分支合并起来作为后续全连接层的输入，也就是将卷积层和池化层分别提取到的局部特征和的全局特征作为全连接层的输入，使得提取到的特征更加丰富。最后通过使用softmax函数将4类输出归一化为概率。
卷积运算就是特征提取的过程，卷积层是卷积神经网络的核心。每个卷积层可以设置多个卷积核，每一个卷积核都是一个可学习的权值矩阵，训练时要对权值进行初始化，随着迭代次数的增加，卷积核不断更新，提取特征的能力也不断加强，最佳权值随之确定。该网络各个卷积层的feature maps输出分别是是32，48，64，64，64，256，卷积核为3*3，步长为1。
输入特征在卷积层经过卷积计算的输出公式为：
该网络包含3个池化层，作用是降采样，去除feature map里面的冗余信息，不会影响识别结果。其中前三个池化层为Max pooling层，Max pooling能减少模型参数数量，有利于减少模型过拟合问题，卷积核为2*2，步长为2。
池化层的一般表达形式如下式所示：
其中，down表示降采样函数，β表示权重系数。
该网络采用一种修正线性单元ReLU作为神经元的激活函数，ReLU函数是分段线性函数，把所有的负值变为0，而正值不变的特性称作单侧抑制，使得神经网络中的神经元也具有了稀疏激活性。ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。ReLU激活函数的形式：
多层的卷积神经网络，含有复杂的网络结构与大量的学习参数，如果训练样本不足则很容易导致过拟合。为了防止过拟合，在网络中引入dropout层，文献[11]详细指出了神经网络的过拟合以及dropout技术的作用。在模型进行训练时，按一定的概率随机的屏蔽掉网络的部分神经元，让这些神经元不工作，相对应的权重也不会更新传递。但是它的权重可以保留下来，因为下一次训练是很可能就重新工作了。由于随机的让一些节点不工作了，因此可以避免某些特征只在固定组合下才生效，破坏了固定组合的相关性，有意识地让网络去学习一些普遍的共性，从而提高了模型的泛化能力，阻止网络过拟合。
Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维。损失函数在全连接层实现分类过程中是必需的，本文完成的任务属于单标签分类，所以选用的损失函数为Softmax Loss损失函数。Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维，损失函数Softmax Loss计算出损失值E，E越小，误识别率越高，反之，识别率越低，Softmax Loss损失函数公式如下：
利用训练出的模型进行测试红枣样本图片，我们得到测试准确率为87％，每个红枣样本的测试时间10ms。与现有的红枣品质分选方法相比，本发明分选精度高、速度快，有广阔的市场应用前景。

Claims (4)

1.这是基于深度学习和机器视觉的一种红枣品质分选方法，包括：
(1)采集红枣样本图像，按照红枣品质不同，将红枣样本分为丰满枣、干条枣、裂口枣和瑕疵枣四类样本；
(2)红枣样本图像的预处理，其中采用了图像灰度化、二值化、中值滤波、感兴趣区域提取以及图像大小的归一化等基本的图像处理方法；
(3)通过对不同网络的训练，利用设计的网络对训练集样本进行训练。
(4)利用训练好的模型对红枣测试样本进行分类。
2.如权利要求1所述的基于深度学习的红枣品质分选方法，其特征在于，所述(2)进一步包括：白色背景上面红枣图像的批量处理和单张处理，其中所用的图像处理方法有以下几个，图像的灰度化处理，threshold方法通过遍历灰度图中像素点，将图像二值化，处理过后的图片只有两种色值，其中的阈值选取200。图像中值滤波，滤除噪声，保护图像边缘信息。然后对得到的二值图像进行检索轮廓，使用minAreaRect方法求轮廓的最小外接矩形，转化求得矩形的四个顶点坐标，并绘制矩形，以矩形的长作为边，绘制最大外接正方形，来提取ROI图像感兴趣区域，将红枣扣出。最后，对提取到的红枣图像进行归一化，大小为227*227。
3.如权利要求1所述的基于深度学习的红枣品质分选方法，其特征在于，所述(3)进一步包括：该改进的网络结构包括5个卷积层，3个池化层，2个全连接层，其中卷积层conv3_1和卷积层conv3_2为并联结构，卷积层conv3_1后为池化层pool3，卷积层conv3_2后为卷积层conv4，在保证数据尺寸一致的情况下，通过concat层将池化层pool3和卷积层conv4的输出两个分支合并起来作为后续全连接层的输入，最后通过使用softmax函数将4类输出归一化为概率。
4.如权利要求1所述的基于深度学习的红枣品质分选方法，其特征在于，所述(3)进一步包括：各个卷积层的特征图输出分别是是32，48，64，64，64，256，卷积核为3*3，步长为1。该网络包含3个池化层，作用是降采样，去除特征图里面的冗余信息，不会影响识别结果。3个池化层为Max pooling层，Max pooling能减少模型参数数量，有利于减少模型过拟合问题，卷积核为2*2，步长为2。concat层的输出是池化层pool3和卷积层conv4的输出之和128。
CN201710967884.1A 2017-10-17 2017-10-17 基于深度学习的红枣品质分选方法 Pending CN107679579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710967884.1A CN107679579A (zh) 2017-10-17 2017-10-17 基于深度学习的红枣品质分选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710967884.1A CN107679579A (zh) 2017-10-17 2017-10-17 基于深度学习的红枣品质分选方法

Publications (1)

Publication Number Publication Date
CN107679579A true CN107679579A (zh) 2018-02-09

Family

ID=61140835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710967884.1A Pending CN107679579A (zh) 2017-10-17 2017-10-17 基于深度学习的红枣品质分选方法

Country Status (1)

Country Link
CN (1) CN107679579A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215015A (zh) * 2018-07-24 2019-01-15 北京工业大学 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN110309879A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种红枣外观品质分类方法、装置、设备及存储介质
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN111359907A (zh) * 2020-02-24 2020-07-03 南京农业大学 基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统及方法
CN111940339A (zh) * 2020-08-18 2020-11-17 合肥金果缘视觉科技有限公司 一种基于人工智能的红枣分拣系统
CN113610066A (zh) * 2021-10-09 2021-11-05 江苏蜜心枣业有限公司 基于人工智能的红枣数据识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103240228A (zh) * 2013-05-30 2013-08-14 宁夏大学 基于机器视觉技术的红枣无损自动分级机
CN106326899A (zh) * 2016-08-18 2017-01-11 郑州大学 一种基于高光谱图像和深度学习算法的烟叶分级方法
CN106971160A (zh) * 2017-03-23 2017-07-21 西京学院 基于深度卷积神经网络和病害图像的冬枣病害识别方法
CN107016413A (zh) * 2017-03-31 2017-08-04 征图新视（江苏）科技有限公司 一种基于深度学习算法的烟叶在线分级方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103240228A (zh) * 2013-05-30 2013-08-14 宁夏大学 基于机器视觉技术的红枣无损自动分级机
CN106326899A (zh) * 2016-08-18 2017-01-11 郑州大学 一种基于高光谱图像和深度学习算法的烟叶分级方法
CN106971160A (zh) * 2017-03-23 2017-07-21 西京学院 基于深度卷积神经网络和病害图像的冬枣病害识别方法
CN107016413A (zh) * 2017-03-31 2017-08-04 征图新视（江苏）科技有限公司 一种基于深度学习算法的烟叶在线分级方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY ET AL.: "Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning", 《ARXIV:1602.07261V2 [CS.CV]》 *
张保生等: "基于BP 神经网络算法的红枣分级技术应用", 《广东农业科学》 *
李景彬等: "基于机器视觉的干制红枣大小分级方法研究", 《农机化研究》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN109215015A (zh) * 2018-07-24 2019-01-15 北京工业大学 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN110309879A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种红枣外观品质分类方法、装置、设备及存储介质
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN110717455B (zh) * 2019-10-10 2021-05-18 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN111359907A (zh) * 2020-02-24 2020-07-03 南京农业大学 基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统及方法
CN111940339A (zh) * 2020-08-18 2020-11-17 合肥金果缘视觉科技有限公司 一种基于人工智能的红枣分拣系统
CN111940339B (zh) * 2020-08-18 2022-02-01 合肥金果缘视觉科技有限公司 一种基于人工智能的红枣分拣系统
CN113610066A (zh) * 2021-10-09 2021-11-05 江苏蜜心枣业有限公司 基于人工智能的红枣数据识别方法
CN113610066B (zh) * 2021-10-09 2021-12-17 江苏蜜心枣业有限公司 基于人工智能的红枣数据识别方法

Similar Documents

Publication Publication Date Title
CN107679579A (zh) 基于深度学习的红枣品质分选方法
Ismail et al. Real-time visual inspection system for grading fruits using computer vision and deep learning techniques
CN104281853B (zh) 一种基于3d卷积神经网络的行为识别方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Ponce et al. Olive-fruit variety classification by means of image processing and convolutional neural networks
Yossy et al. Mango fruit sortation system using neural network and computer vision
WO2018052587A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN106845510A (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
Patil et al. Grape leaf disease detection using k-means clustering algorithm
CN108549910A (zh) 一种基于卷积神经网络的玉米制种果穗图像初级分类方法
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110663971A (zh) 基于双分支深度融合卷积神经网络的红枣品质分类方法
SS et al. A hybrid intelligent system for automated pomegranate disease detection and grading
CN107665352A (zh) 一种基于多通道残差网络的珍珠分类方法
CN106874929A (zh) 一种基于深度学习的珍珠分类方法
Arefi et al. Development of an expert system based on wavelet transform and artificial neural networks for the ripe tomato harvesting robot
Hekim et al. A hybrid model based on the convolutional neural network model and artificial bee colony or particle swarm optimization-based iterative thresholding for the detection of bruised apples
Foong et al. Convolutional neural network based rotten fruit detection using resnet50
CN103839076B (zh) 一种基于光照特征的网络敏感图像识别方法
Kalim et al. Citrus leaf disease detection using hybrid cnn-rf model
CN108537266A (zh) 一种深度卷积网络的织物纹理疵点分类方法
Liong et al. Efficient neural network approaches for leather defect classification
Miao et al. Research on Soybean Disease Identification Method Based on Deep Learning
Banerjee et al. A regularized cnn-svm framework for improved diagnosis of citrus fruit diseases, both common and exotic
Robi et al. Image Detection and Classification of Oil Palm Fruit Bunches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209