CN113269251A - 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 - Google Patents
基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN113269251A CN113269251A CN202110578621.8A CN202110578621A CN113269251A CN 113269251 A CN113269251 A CN 113269251A CN 202110578621 A CN202110578621 A CN 202110578621A CN 113269251 A CN113269251 A CN 113269251A
- Authority
- CN
- China
- Prior art keywords
- layer
- fruit
- image
- classification
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 241001164374 Calyx Species 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 39
- 238000010606 normalization Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 230000002950 deficient Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 claims description 3
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010027146 Melanoderma Diseases 0.000 description 2
- 208000034656 Contusions Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明提供一种基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备，使用相机采集水果的彩色图像，对采集的彩色图像分别进行背景分割算法处理、去掉背景区域、HSI颜色变换、S空间的高斯差分运算等处理，获得DoG图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像，然后进行处理分类，赋予不同的标签号，构建并训练差分卷积神经网络结构，获取网络连接权重矩阵，从而完成对待检测图像的瑕疵分类，实现水果的分级，融合了机器视觉和深度学习的优点，充分考虑了水果瑕疵分类识别的复杂性，在提高识别率的同时，还降低了识别的时间，降低了果梗和花萼由于角度和姿态变换对分类识别的干扰。
Description
技术领域
本发明涉及机器视觉中的水果分类技术领域，具体为一种基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备。
背景技术
由于机器视觉技术的发展，在水果生产和加工过程中，计算机视觉可以代替人工进行高危、高强度和高重复性的工作，我国是水果种植和消费大国，但是，目前我国的水果分级技术自动化程度却较低，大多通过人工分选进行分级分类，效率低下，需要消耗大量的人力，而且少数采用基于计算机视觉的水果分类也主要用于区分缺陷水果与正常水果，进行粗分类工作，而在对缺陷水果分类，进而分析水果的主要缺陷方面涉及较少，而通过对缺陷水果进行分类，可以找出该季水果的主要缺陷，在水果收获季节进行快速、准确的分类分级，进而反映出在种植方面的一些不足，为水果种植生产进行反馈分析，促进水果生产。
公开号为CN108491892A提供的一种基于机器视觉的水果分拣系统，其能够智能的区分出水果的品种及颜色信息，也是现阶段主流的方法是采用机器视觉识别方法，能够对水果进行大小和颜色分级，对于缺陷分级的识别率还是较低，引入深度学习之后，大多采用的是整幅图像训练，未考虑果梗花萼的干扰因素，算法复杂度大，会出现识别时间长等问题。
发明内容
本发明的目的在于提供一种基于机器视觉和深度学习融合的水果瑕疵分类方法、系统、存储介质及计算机设备，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于机器视觉和深度学习融合的水果瑕疵分类方法，包括以下步骤：
S1:使用相机采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
S2:将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算；
S3:对高斯差分后的获得DoG图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像；
S4:对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
S5:设计用于水果瑕疵分类的差分卷积神经网络结构，使用步骤S4的数据进行训练，完成训练后获取网络连接权重矩阵；
S6:将待检测的水果彩色图像通过步骤S1、S2和S3，获取待检测水果瑕疵区域的图像，通过训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级；
优选的，所述步骤S1中的相机有多个，分别放置在水果的正上方、左侧面和右侧面，用于采集不同角度的水果彩色图像。
优选的，所述步骤S2中图像进行高斯差分运算的计算步骤如下：
S201：对图像使用平滑参数sigma1进行高斯滤波运算得到结果Gsigma1,其中：
式中sigma为高斯滤波系数、δ为标准差比例系数；
S202：对图像使用平滑参数sigma2进行高斯滤波运算得到结果Gsigma2,其中：
式中sigma1为步骤S201中使用的平滑参数、δ为标准差比例系数；
S203：获得DoG的响应值图像为：
优选的，所述步骤S4具体包括以下步骤：
S401:将瑕疵区域的图像尺寸统一调整为60*60像素；
S402:将调整完毕瑕疵区域的图像进行人工分类，赋予不同的标签号；
S403:将打上标签的图像制作成训练和测试样本集并进行分批，分别作为训练集、样本集和测试集。
优选的，所述步骤S402中的标签号为0、1、2、3、4，其中，0表示果梗，1表示花萼，2表示黑斑和腐烂，3表示果锈斑，4表示划伤，所述步骤S403中的训练和测试样本集分批随机进行，并采用70％的数据作为训练集，采用15％的样本数据作为验证集，15％的数据作为测试集。
优选的，所述步骤S5中设计差分卷积神经网络结构具体包括以下步骤：
S501:设计一个具有14层卷积、12层批量归一化、4层最大池化、8层ReLU激活函数层、1层Flatten、1个Sigmoid函数分类层的卷积神经网络，所述卷积神经网络包括输入层、4个子单元块、输出卷积层、Sigmoid函数分类层，所述每个子单元模块每个子单元块包含一个前特征网络单元、一个后特征网络单元、一个特征联合层或一个信息叠加层；
S502:训练的样本数据输入到差分卷积神经网络的输入层，采用ADAM优化算法替代SGD算法训练差分卷积神经网络，损失函数计算方式采用交叉熵，直到差分卷积神经网络的误差达到最小值；
S503:等待收敛完成，得到由网络权重系数组成的连接权重矩阵T。
优选的，所述卷积神经网络的4个子单元块中，第一个子单元的前特征网络中数据传递包含16*3个5*5卷积核的卷积层I、批处理归一化层I，第一个子单元的后特征网络中数据传递依次包含16*16个3*3卷积核的卷积层II、批处理归一化层II、ReLU激活函数层I、16*16个3*3积核的卷积层III、批处理归一化层III，第一个子单元的前特征网络和后特征网络通过特征联合层I连接在一起，通过ReLU激活函数层II传递到第二子单元的前特征网络；
所述第二子单元的的前特征层数据传递依次包含32*32个3*3的卷积核的卷积层IV、批处理归一化层IV，第二个子单元的后特征网络中数据传递依次包含32*32个3*3卷积核的卷积层V、批处理归一化层V,ReLU激活函数层III、32*32个3*3卷积核的卷积层VI、批处理归一化层VI，第二子单元的前特征网络和后特征网络通过信息叠加层I融合在一起，传递给ReLU激活函数层IV,然后送入第三子单元的前特征网络；
所述第三子单元的的前特征层数据传递依次包含64*32个3*3的卷积核的卷积层VII、批处理归一化层VII，第三个子单元的后特征网络中数据传递依次包含64*64个3*3卷积核的卷积层VIII、批处理归一化层VIII，ReLU激活函数层V、64*64个3*3积核的卷积层IX、批处理归一化层IX，第三子单元的前特征网络和后特征网络通过信息叠加层II融合在一起，传递给ReLU激活函数层VI,然后送入第四子单元的前特征网络；
所述第四子单元的的前特征层数据传递依次包含128*64个3*3的卷积核的卷积层X、批处理归一化层X，第四个子单元的后特征网络中数据传递依次包含128*64个3*3卷积核的卷积层XI、批处理归一化层XI，ReLU激活函数层VII,128*64个3*3积核的卷积层XII、批处理归一化层XII,第四子单元的前特征网络和后特征网络通过信息叠加层III融合在一起，传递给ReLU激活函数层VIII,然后送入最大池化I；
所述最大池化I将收到的数据传递给平均池化I，然后通过64*128个1*1的卷积核的卷积层XIII和32*64个1*1的卷积核的卷积层XIV，通过Flatten层将数据的维数降低，输入给Softmax层即全连接层，然后输入Sigmoid函数分类层，输出分类的类别。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类装置，其中，所述装置包括：
图像采集分割模块，用于采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
图像变换运算模块，用于将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算；
图像瑕疵获取模块，用于对高斯差分后的图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像；
图像分类处理模块，用于对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
检测网络训练模块，用于设计进行水果瑕疵分类的差分卷积神经网络结构，并使用分类处理模块产生的数据进行训练，完成训练后获取网络连接权重矩阵；以及；
图像检测分级模块，用于将待检测的水果彩色图像通过图像采集分割模块、图像变换运算模块和图像瑕疵获取模块，获取待检测水果瑕疵区域的图像，通过检测网络训练模块训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类存储介质，其中，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述的水果瑕疵分类方法的步骤。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类计算设备，其中，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果瑕疵分类算法程序，所述水果瑕疵分类程序配置为实现上述的水果瑕疵分类方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于机器视觉和深度学习融合对水果的瑕疵进行分类，融合了机器视觉和深度学习的优点，充分考虑了水果瑕疵分类识别的复杂性，在提高识别率的同时，还降低了识别的时间，对水果上的瑕疵进行了分割提取，转换成样本数据输入深度学习网络中，样本大小为30*30*3，大大提升了训练和识别的速度，并且样本数据中包含了果梗和花萼的样本，有效降低了果梗和花萼由于角度和姿态变换对分类识别的干扰，提高了识别率。
附图说明
图1为本发明水果瑕疵分类方法的方法流程图；
图2为本发明水果瑕疵分类系统的结构示意图；
图3为本发明水果瑕疵分类方法工作时的流程图；
图4为本发明步骤S4中设计的差分卷积神经网络结构图；
图5为本发明步骤S1中采集一幅的彩色水果图像；
图6为本发明步骤S2中去背景后的彩色图像；
图7为本发明步骤S2中进行高斯差分运算后的DoG图像；
图8为本发明步骤S3中阈值分割后的瑕疵区域图像；
图9为本发明步骤S4中部分瑕疵样本数据图像集；
图10为本发明识别结果的图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅图1至图10，本发明提供一种技术方案：
一种基于机器视觉和深度学习融合的水果瑕疵分类方法包括以下步骤：
S1:使用相机采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域。
其中，所述相机有多个，分别放置在水果的正上方、左侧面和右侧面，用于采集不同角度的水果彩色图像，采集的水果彩色图像如图5所示。
S2:将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算。
其中，去背景后的彩色图像如图6所示，HSI颜色变换即图片的颜色模型用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调，S表示颜色的深浅程度，称为饱和度，I表示强度或亮度，图像进行高斯差分运算，即在某一尺度上的特征检测通过两个相邻高斯尺度空间的图像相减，得到DoG的响应值图像，具体的计算步骤如下：
S201：对图像使用平滑参数sigma1进行高斯滤波运算得到结果Gsigma1,其中：
式中sigma为高斯滤波系数、δ为标准差比例系数；
S202：对图像使用平滑参数sigma2进行高斯滤波运算得到结果Gsigma2,其中：
式中sigma1为步骤S201中使用的平滑参数、δ为标准差比例系数；
S203：获得DoG的响应值图像为：
即将两个不同参数下的高斯滤波结果相减，从而得到DoG图像，高斯差分运算后得到的DoG图像如图7所示。
S3:对高斯差分后的获得DoG图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像，阈值分割后的瑕疵区域图像如图8所示。
其中，通过阈值分割，去掉较小面积的瑕疵，获取每个瑕疵的中心点坐标和轮廓，计算瑕疵区域的最小外接矩形，即可在水果的彩色图像上截取瑕疵区域图像。
S4:对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络。
其中，图像处理分类和赋予标签号体包括以下步骤：
S401:将瑕疵区域的图像尺寸统一调整为60*60像素；
S402:将调整完毕瑕疵区域的图像进行人工分类，赋予不同的标签号；
S403:将打上标签的图像制作成训练和测试样本集并进行分批，分别作为训练集、样本集和测试集。
所述标签号为0、1、2、3、4，其中，0表示果梗，1表示花萼，2表示黑斑和腐烂，3表示果锈斑，4表示划伤，训练和测试样本集分批随机进行，并采用70％的数据作为训练集，采用15％的样本数据作为验证集，15％的数据作为测试集，训练和测试的部分瑕疵样本数据图像集如图9所示。
S5:设计用于水果瑕疵分类的差分卷积神经网络结构，使用步骤S4的数据进行训练，完成训练后获取网络连接权重矩阵。
其中，所述设计差分卷积神经网络结构具体包括以下步骤：
S501:设计一个具有14层卷积、12层批量归一化、4层最大池化、8层ReLU激活函数层、1层Flatten、1个Sigmoid函数分类层的卷积神经网络，所述卷积神经网络包括输入层、4个子单元块、输出卷积层、Sigmoid函数分类层，所述每个子单元模块每个子单元块包含一个前特征网络单元、一个后特征网络单元、一个特征联合层或一个信息叠加层；
S502:训练的样本数据输入到差分卷积神经网络的输入层，采用ADAM优化算法替代SGD算法训练差分卷积神经网络，损失函数计算方式采用交叉熵，直到差分卷积神经网络的误差达到最小值；
S503:等待收敛完成，得到由网络权重系数组成的连接权重矩阵T。
其中，设计的设计的差分卷积神经网络结构如图4所示，所述卷积神经网络的4个子单元块中，第一个子单元的前特征网络中数据传递包含16*3个5*5卷积核的卷积层I、批处理归一化层I，第一个子单元的后特征网络中数据传递依次包含16*16个3*3卷积核的卷积层II、批处理归一化层II、ReLU激活函数层I、16*16个3*3积核的卷积层III、批处理归一化层III，第一个子单元的前特征网络和后特征网络通过特征联合层I连接在一起，通过ReLU激活函数层II传递到第二子单元的前特征网络；
所述第二子单元的的前特征层数据传递依次包含32*32个3*3的卷积核的卷积层IV、批处理归一化层IV，第二个子单元的后特征网络中数据传递依次包含32*32个3*3卷积核的卷积层V、批处理归一化层V,ReLU激活函数层III、32*32个3*3卷积核的卷积层VI、批处理归一化层VI，第二子单元的前特征网络和后特征网络通过信息叠加层I融合在一起，传递给ReLU激活函数层IV,然后送入第三子单元的前特征网络；
所述第三子单元的的前特征层数据传递依次包含64*32个3*3的卷积核的卷积层VII、批处理归一化层VII，第三个子单元的后特征网络中数据传递依次包含64*64个3*3卷积核的卷积层VIII、批处理归一化层VIII，ReLU激活函数层V、64*64个3*3积核的卷积层IX、批处理归一化层IX，第三子单元的前特征网络和后特征网络通过信息叠加层II融合在一起，传递给ReLU激活函数层VI,然后送入第四子单元的前特征网络；
所述第四子单元的的前特征层数据传递依次包含128*64个3*3的卷积核的卷积层X、批处理归一化层X，第四个子单元的后特征网络中数据传递依次包含128*64个3*3卷积核的卷积层XI、批处理归一化层XI，ReLU激活函数层VII,128*64个3*3积核的卷积层XII、批处理归一化层XII,第四子单元的前特征网络和后特征网络通过信息叠加层III融合在一起，传递给ReLU激活函数层VIII,然后送入最大池化I；
所述最大池化I将收到的数据传递给平均池化I，然后通过64*128个1*1的卷积核的卷积层XIII和32*64个1*1的卷积核的卷积层XIV，通过Flatten层将数据的维数降低，输入给Softmax层即全连接层，然后输入Sigmoid函数分类层，输出分类的类别。
S6:将待检测的水果彩色图像通过步骤S1、S2和S3，获取待检测水果瑕疵区域的图像，通过训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
其中，在水果的分级过程中，通过将瑕疵样本使用步骤S5中载入的连接权重矩阵，获得瑕疵的类别，从而实现水果的分级，如果待检测图像未获得瑕疵样本，那么可以直接判别为好果，检测的过程如图3所示，通过对水果的划伤、虫眼、黑斑和淤伤等瑕疵的类别，实现对水果的分级结果如图10所示。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类装置，其中，所述装置包括：
图像采集分割模块，用于采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
图像变换运算模块，用于将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算；
图像瑕疵获取模块，用于对高斯差分后的图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像；
图像分类处理模块，用于对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
检测网络训练模块，用于设计进行水果瑕疵分类的差分卷积神经网络结构，并使用分类处理模块产生的数据进行训练，完成训练后获取网络连接权重矩阵；以及；
图像检测分级模块，用于将待检测的水果彩色图像通过图像采集分割模块、图像变换运算模块和图像瑕疵获取模块，获取待检测水果瑕疵区域的图像，通过检测网络训练模块训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类存储介质，其中，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述的水果瑕疵分类方法的步骤。
为实现上述目的，本发明另外还提供一种基于机器视觉和深度学习融合的水果瑕疵分类计算设备，其中，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果瑕疵分类算法程序，所述水果瑕疵分类程序配置为实现上述的水果瑕疵分类方法的步骤。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于，包括以下步骤：
S1:使用相机采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
S2:将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算；
S3:对高斯差分后的获得DoG图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像；
S4:对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
S5:设计用于水果瑕疵分类的差分卷积神经网络结构，使用步骤S4的数据进行训练，完成训练后获取网络连接权重矩阵；
S6:将待检测的水果彩色图像通过步骤S1、S2和S3，获取待检测水果瑕疵区域的图像，通过训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
2.根据权利要求1所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述步骤S1中的相机有多个，分别放置在水果的正上方、左侧面和右侧面，用于采集不同角度的水果彩色图像。
3.根据权利要求1所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述步骤S2中图像进行高斯差分运算的计算步骤如下：
S201：对图像使用平滑参数sigma1进行高斯滤波运算得到结果Gsigma1,其中：
式中sigma为高斯滤波系数、δ为标准差比例系数；
S202：对图像使用平滑参数sigma2进行高斯滤波运算得到结果Gsigma2,其中：
式中sigma1为步骤S201中使用的平滑参数、δ为标准差比例系数；
S203：获得DoG的响应值图像为：
4.根据权利要求1所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述步骤S4具体包括以下步骤：
S401:将瑕疵区域的图像尺寸统一调整为60*60像素；
S402:将调整完毕瑕疵区域的图像进行人工分类，赋予不同的标签号；
S403:将打上标签的图像制作成训练和测试样本集并进行分批，分别作为训练集、样本集和测试集。
5.根据权利要求4所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述步骤S402中的标签号为0、1、2、3、4，其中，0表示果梗，1表示花萼，2表示黑斑和腐烂，3表示果锈斑，4表示划伤，所述步骤S403中的训练和测试样本集分批随机进行，并采用70％的数据作为训练集，采用15％的样本数据作为验证集，15％的数据作为测试集。
6.根据权利要求1所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述步骤S5中设计差分卷积神经网络结构具体包括以下步骤：
S501:设计一个具有14层卷积、12层批量归一化、4层最大池化、8层ReLU激活函数层、1层Flatten、1个Sigmoid函数分类层的卷积神经网络，所述卷积神经网络包括输入层、4个子单元块、输出卷积层、Sigmoid函数分类层，所述每个子单元模块每个子单元块包含一个前特征网络单元、一个后特征网络单元、一个特征联合层或一个信息叠加层；
S502:训练的样本数据输入到差分卷积神经网络的输入层，采用ADAM优化算法替代SGD算法训练差分卷积神经网络，损失函数计算方式采用交叉熵，直到差分卷积神经网络的误差达到最小值；
S503:等待收敛完成，得到由网络权重系数组成的连接权重矩阵T。
7.根据权利要求6所述的一种基于机器视觉和深度学习融合的水果瑕疵分类方法，其特征在于：所述卷积神经网络的4个子单元块中，第一个子单元的前特征网络中数据传递包含16*3个5*5卷积核的卷积层I、批处理归一化层I，第一个子单元的后特征网络中数据传递依次包含16*16个3*3卷积核的卷积层II、批处理归一化层II、ReLU激活函数层I、16*16个3*3积核的卷积层III、批处理归一化层III，第一个子单元的前特征网络和后特征网络通过特征联合层I连接在一起，通过ReLU激活函数层II传递到第二子单元的前特征网络；
所述第二子单元的的前特征层数据传递依次包含32*32个3*3的卷积核的卷积层IV、批处理归一化层IV，第二个子单元的后特征网络中数据传递依次包含32*32个3*3卷积核的卷积层V、批处理归一化层V,ReLU激活函数层III、32*32个3*3卷积核的卷积层VI、批处理归一化层VI，第二子单元的前特征网络和后特征网络通过信息叠加层I融合在一起，传递给ReLU激活函数层IV,然后送入第三子单元的前特征网络；
所述第三子单元的的前特征层数据传递依次包含64*32个3*3的卷积核的卷积层VII、批处理归一化层VII，第三个子单元的后特征网络中数据传递依次包含64*64个3*3卷积核的卷积层VIII、批处理归一化层VIII，ReLU激活函数层V、64*64个3*3积核的卷积层IX、批处理归一化层IX，第三子单元的前特征网络和后特征网络通过信息叠加层II融合在一起，传递给ReLU激活函数层VI,然后送入第四子单元的前特征网络；
所述第四子单元的的前特征层数据传递依次包含128*64个3*3的卷积核的卷积层X、批处理归一化层X，第四个子单元的后特征网络中数据传递依次包含128*64个3*3卷积核的卷积层XI、批处理归一化层XI，ReLU激活函数层VII,128*64个3*3积核的卷积层XII、批处理归一化层XII,第四子单元的前特征网络和后特征网络通过信息叠加层III融合在一起，传递给ReLU激活函数层VIII,然后送入最大池化I；
所述最大池化I将收到的数据传递给平均池化I，然后通过64*128个1*1的卷积核的卷积层XIII和32*64个1*1的卷积核的卷积层XIV，通过Flatten层将数据的维数降低，输入给Softmax层即全连接层，然后输入Sigmoid函数分类层，输出分类的类别。
8.一种基于机器视觉和深度学习融合的水果瑕疵分类装置，其特征在于：所述装置包括：
图像采集分割模块，用于采集水果的彩色图像，对采集的彩色图像进行背景分割算法处理，去掉背景区域；
图像变换运算模块，用于将去背景后的彩色图像进行HSI颜色变换，并采用S空间的图像进行高斯差分运算；
图像瑕疵获取模块，用于对高斯差分后的图像进行阈值分割，获取瑕疵区域，并在彩色图像中定位目标区域，截取瑕疵区域的图像；
图像分类处理模块，用于对瑕疵区域的图像进行处理分类，赋予不同的标签号，构建训练数据样本集，用于训练卷积神经网络；
检测网络训练模块，用于设计进行水果瑕疵分类的差分卷积神经网络结构，并使用分类处理模块产生的数据进行训练，完成训练后获取网络连接权重矩阵；以及；
图像检测分级模块，用于将待检测的水果彩色图像通过图像采集分割模块、图像变换运算模块和图像瑕疵获取模块，获取待检测水果瑕疵区域的图像，通过检测网络训练模块训练好的网络连接权重矩阵，完成对待检测图像的瑕疵分类，实现水果的分级。
9.一种基于机器视觉和深度学习融合的水果瑕疵分类存储介质，其特征在于：所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7任一项所述的水果瑕疵分类方法的步骤。
10.一种基于机器视觉和深度学习融合的水果瑕疵分类计算设备，其特征在于：所述计算机设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的水果瑕疵分类算法程序，所述水果瑕疵分类程序配置为实现权利要求1-7中任一项所述的水果瑕疵分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578621.8A CN113269251A (zh) | 2021-05-26 | 2021-05-26 | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578621.8A CN113269251A (zh) | 2021-05-26 | 2021-05-26 | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113269251A true CN113269251A (zh) | 2021-08-17 |
Family
ID=77232968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110578621.8A Pending CN113269251A (zh) | 2021-05-26 | 2021-05-26 | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269251A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487380A (zh) * | 2013-09-16 | 2014-01-01 | 浙江科技学院 | 一种梨树叶片上梨锈病斑的识别方法 |
| CN104483326A (zh) * | 2014-12-19 | 2015-04-01 | 长春工程学院 | 基于深度信念网络的高压线绝缘子缺陷检测方法及系统 |
| CN109377487A (zh) * | 2018-10-16 | 2019-02-22 | 浙江大学 | 一种基于深度学习分割的水果表面缺陷检测方法 |
| WO2019095118A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳和而泰智能控制股份有限公司 | 一种皮肤瑕疵点分类方法及电子设备 |
| CN110148122A (zh) * | 2019-05-17 | 2019-08-20 | 南京东奇智能制造研究院有限公司 | 基于深度学习的苹果外观质量分级方法 |
| CN110276386A (zh) * | 2019-06-11 | 2019-09-24 | 济南大学 | 一种基于机器视觉的苹果分级方法及系统 |
| CN110443747A (zh) * | 2019-07-30 | 2019-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN111861996A (zh) * | 2020-06-23 | 2020-10-30 | 西安工程大学 | 一种印花织物疵点检测方法 |
| CN112001901A (zh) * | 2020-08-18 | 2020-11-27 | 济南大学 | 基于卷积神经网络的苹果缺陷检测方法及系统 |
-
2021
- 2021-05-26 CN CN202110578621.8A patent/CN113269251A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487380A (zh) * | 2013-09-16 | 2014-01-01 | 浙江科技学院 | 一种梨树叶片上梨锈病斑的识别方法 |
| CN104483326A (zh) * | 2014-12-19 | 2015-04-01 | 长春工程学院 | 基于深度信念网络的高压线绝缘子缺陷检测方法及系统 |
| WO2019095118A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳和而泰智能控制股份有限公司 | 一种皮肤瑕疵点分类方法及电子设备 |
| CN109377487A (zh) * | 2018-10-16 | 2019-02-22 | 浙江大学 | 一种基于深度学习分割的水果表面缺陷检测方法 |
| CN110148122A (zh) * | 2019-05-17 | 2019-08-20 | 南京东奇智能制造研究院有限公司 | 基于深度学习的苹果外观质量分级方法 |
| CN110276386A (zh) * | 2019-06-11 | 2019-09-24 | 济南大学 | 一种基于机器视觉的苹果分级方法及系统 |
| CN110443747A (zh) * | 2019-07-30 | 2019-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN111861996A (zh) * | 2020-06-23 | 2020-10-30 | 西安工程大学 | 一种印花织物疵点检测方法 |
| CN112001901A (zh) * | 2020-08-18 | 2020-11-27 | 济南大学 | 基于卷积神经网络的苹果缺陷检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘云等: "基于卷积神经网络的苹果缺陷检测算法", 信息技术及图像处理, pages 108 - 110 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307899A (zh) * | 2023-03-22 | 2023-06-23 | 荆州华洋供应链管理有限公司 | 一种基于人工智能的食品食材供应管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| Bennedsen et al. | Performance of a system for apple surface defect identification in near-infrared images | |
| CN111667455B (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN109447977B (zh) | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 | |
| CN110610475B (zh) | 一种深度卷积神经网络的视觉缺陷检测方法 | |
| CN111652326B (zh) | 基于MobileNet v2网络改进的果实成熟度识别方法和识别系统 | |
| CN109919908B (zh) | 发光二极管芯片缺陷检测的方法和装置 | |
| CN110689011A (zh) | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 | |
| CN107328787A (zh) | 一种基于深度卷积神经网络的金属板带表面缺陷检测系统 | |
| CN114757900A (zh) | 基于人工智能的纺织品缺陷类型识别方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN113222959B (zh) | 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法 | |
| CN109377487B (zh) | 一种基于深度学习分割的水果表面缺陷检测方法 | |
| CN106645180A (zh) | 检查基板玻璃缺陷的方法、现场终端及服务器 | |
| Ünal et al. | Classification of hazelnut kernels with deep learning | |
| CN109859199B (zh) | 一种sd-oct图像的淡水无核珍珠质量检测的方法 | |
| CN113269251A (zh) | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 | |
| CN111709936B (zh) | 一种基于多级特征比对的令纸缺陷检测方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN112396580A (zh) | 一种圆形零件缺陷检测方法 | |
| Zhang et al. | Design of tire damage image recognition system based on deep learning | |
| CN114612415A (zh) | 基于深度残差网络与多通道图像融合的表面缺陷分类方法 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 | |
| Zuo | Analysis and detection of tomatoes quality using machine learning algorithm and image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |