CN106951912B - 一种果蔬外观变化识别模型的建立方法和识别方法 - Google Patents

Abstract

本发明提出了一种果蔬外观变化识别模型的建立方法和识别方法。所述果蔬外观变化识别模型的建立方法，通过深度学习建立果蔬外观变化识别模型，包括：提取训练样本的训练样本轮廓特征；提取训练样本的训练样本颜色特征；将训练样本轮廓特征和训练样本颜色特征进行拼接，形成训练样本的外观特征；对外观特征进行预测，得到训练样本的预测存放时长类别；根据预测存放时长类别设置相应的预测存放时间段；计算训练样本的真实存放时间段和预测存放时间段的差值；根据差值优化果蔬外观变化识别模型的模型参数，通过该果蔬外观变化识别模型可以识别果蔬的局部细微变化，实现了贮存过程中对果蔬的有效监控。

Description

一种果蔬外观变化识别模型的建立方法和识别方法

技术领域

本发明涉及果蔬贮存技术领域，尤其涉及一种果蔬外观变化识别模型的建立方法和识别方法。

背景技术

果蔬在贮存过程中发生的外观变化往往是细微并且渐变的，现有技术通常采用果蔬的浅层特征表征果蔬的外观变化信息，例如通过获取果蔬对应图像的颜色直方图、梯度直方图和特征点等特征进行果蔬的识别。但是存在的问题是要求果蔬样本严格对齐，不能出现旋转、遮挡、非刚体变换等攻击，而且只是人们基于先验知识归纳出的较为初级，只能获取果蔬表面的浅层特征，对于细微的外观特征，浅层特征对于果蔬的细微变化的表征能力和鉴别能力有限，在识别果蔬的细微变化时，往往会识别失败。因此，需要一种果蔬外观变化识别模型的建立方法和识别方法，以解决现有技术中存在的上述技术问题。

发明内容

本发明提供一种果蔬外观变化识别模型的建立方法，通过该果蔬外观变化识别模型可以识别果蔬的局部细微变化，实现了贮存过程中对果蔬的有效监控。

本发明采用的技术方案是：一种果蔬外观变化识别模型的建立方法，通过深度学习建立果蔬外观变化识别模型，包括：提取训练样本的训练样本轮廓特征；提取所述训练样本的训练样本颜色特征；将所述训练样本轮廓特征和所述训练样本颜色特征进行拼接，形成所述训练样本的外观特征；对所述外观特征进行预测，得到所述训练样本的预测存放时长类别；根据所述预测存放时长类别设置相应的预测存放时间段；计算所述训练样本的真实存放时间段和所述预测存放时间段的差值；根据所述差值优化所述果蔬外观变化识别模型的模型参数。

优选地，所述提取训练样本的训练样本轮廓特征，具体包括：将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层；所述果蔬外观变化识别模型的第一卷积层对所述训练样本灰度图做第一次卷积，得到包含所述训练样本的边缘信息的边缘特征图；所述果蔬外观变化识别模型的第一下采样层对所述边缘特征图做第一次下采样，得到下采样后的边缘特征图；所述果蔬外观变化识别模型的第二卷积层对所述下采样后的边缘特征图做第二次卷积，获取所述训练样本的纹理特征图；所述果蔬外观变化识别模型的第二下采样层对所述纹理特征图做第二次下采样，得到下采样后的纹理特征图；所述果蔬外观变化识别模型的第三卷积层对所述下采样后的纹理特征图做第三次卷积，得到所述训练样本的形状特征图；将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型的轮廓特征全连接层，得到所述训练果蔬的轮廓特征。

优选地，所述提取所述训练样本的训练样本颜色特征，具体包括：将所述训练样本的HSV图输入至所述果蔬外观变化识别模型的颜色输入层，提取所述HSV图的颜色直方图；所述果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对所述颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

优选地，所述根据所述差值优化所述果蔬外观变化识别模型的模型参数，具体包括：将所述差值逆向依次传递至所述轮廓特征全连接层、所述第三卷积层、所述第二下采样层、所述第二卷积层、所述第一下采样层、所述第一卷积层和所述轮廓输入层，优化各轮廓特征提取层的轮廓参数；以及，将所述差值逆向依次传递至所述第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，优化各颜色特征提取层的颜色参数。

本发明还提供了一种果蔬外观变化的识别方法，采用如上文所述的建立方法形成的果蔬外观变化识别模型对果蔬外观变化进行识别，包括以下步骤：获取当前样本的当前样本图像；对所述当前样本图像进行图像分割，得到所述当前样本对应的当前样本子图像；基于所述当前样本子图像选择对应的果蔬外观变化识别模型；利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段。

优选地，所述基于所述当前样本子图像选择对应的果蔬外观变化识别模型，具体包括：根据所述当前样本子图像获取所述当前样本的所属类别；根据所属类别选取所述果蔬外观变化识别模型。

优选地，所述利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段，具体包括：将所述当前样本子图像进行归一化处理，得到所述当前样本的当前样本灰度图和当前样本HSV图；将所述当前样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层，获取所述当前样本的当前样本轮廓特征；将所述当前样本HSV图输入至所述果蔬外观变化识别模型的颜色输入层，获取所述当前样本的当前样本颜色特征；基于所述当前样本轮廓特征和所述当前样本颜色特征，所述果蔬外观变化识别模型得到所述当前样本的预测存放时长类别；根据所述预测存放时长类别，得到所述当前样本的预测存放时间段。

本发明还提供了一种果蔬外观变化识别模型的建立装置，通过深度学习建立果蔬外观变化识别模型，包括：轮廓特征提取模块，用于提取训练样本的训练样本轮廓特征；颜色特征提取模块，用于提取所述训练样本的训练样本颜色特征；拼接模块，用于将所述训练样本轮廓特征和所述训练样本颜色特征进行拼接，形成所述训练样本的外观特征；存放时长类别预测模块，用于对所述外观特征进行预测，得到所述训练样本的预测存放时长类别；存放时间段设置模块，用于根据所述预测存放时长类别设置相应的预测存放时间段；计算模块，用于计算所述训练样本的真实存放时间段和所述预测存放时间段的差值；参数优化模块，用于根据所述差值，优化所述果蔬外观变化识别模型的模型参数。

优选地，所述轮廓特征识别模块，具体用于：将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层；所述果蔬外观变化识别模型的第一卷积层对所述训练样本灰度图做第一次卷积，得到包含所述训练样本的边缘信息的边缘特征图；所述果蔬外观变化识别模型的第一下采样层对所述边缘特征图做第一次下采样，得到下采样后的边缘特征图；所述果蔬外观变化识别模型的第二卷积层对所述下采样后的边缘特征图做第二次卷积，获取所述训练样本的纹理特征图；所述果蔬外观变化识别模型的第二下采样层对所述纹理特征图做第二次下采样，得到下采样后的纹理特征图；所述果蔬外观变化识别模型的第三卷积层对所述下采样后的纹理特征图做第三次卷积，得到所述训练样本的形状特征图；将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型的轮廓特征全连接层，得到所述训练果蔬的轮廓特征。

优选地，所述颜色特征提取模块，具体用于：将所述训练样本的HSV图输入至所述果蔬外观变化识别模型的颜色输入层，提取所述HSV图的颜色直方图；所述果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对所述颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

优选地，所述参数优化模块，包括：轮廓参数优化单元，用于将所述差值逆向依次传递至所述轮廓特征全连接层、所述第三卷积层、所述第二下采样层、所述第二卷积层、所述第一下采样层、所述第一卷积层和所述轮廓输入层，优化各轮廓特征提取层的轮廓参数；以及，颜色参数优化单元，用于将所述差值逆向依次传递至所述第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，优化各颜色特征提取层的颜色参数。

本发明还提供了一种果蔬外观变化的识别装置，采用如上文所述的建立装置形成的果蔬外观变化识别模型对果蔬外观变化进行识别，包括：图像获取模块，用于获取当前样本的当前样本图像；图像分割模块，用于对所述当前样本图像进行图像分割，得到所述当前样本对应的当前样本子图像；模型选择模块，用于基于所述当前样本子图像选择对应的果蔬外观变化识别模型；时间段预测模块，用于利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段。

优选地，所述模型选择模块，具体用于：根据所述当前样本子图像获取所述当前样本的所属类别；根据所属类别选取所述果蔬外观变化识别模型。

优选地，所述时间段预测模块，具体用于：将所述当前样本子图像进行归一化处理，得到所述当前样本的当前样本灰度图和当前样本HSV图；将所述当前样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层，获取所述当前样本的当前样本轮廓特征；将所述当前样本HSV图输入至所述果蔬外观变化识别模型的颜色输入层，获取所述当前样本的当前样本颜色特征；基于所述当前样本轮廓特征和所述当前样本颜色特征，利用所述果蔬外观变化识别模型得到所述当前样本的预测存放时长类别；根据所述预测存放时长类别，得到所述当前样本的预测存放时间段。

采用上述技术方案，本发明至少具有下列优点：

本申请提出的果蔬外观变化识别模型的建立方法，通过深度学习的方法建立果蔬外观变化识别模型。另外，本申请提出的果蔬外观变化的识别方法通过该果蔬外观变化识别模型，深度挖掘出具有鉴别力的轮廓特征和颜色特征，识别果蔬的局部细微变化，实现了贮存过程中对果蔬的有效监控。

附图说明

图1为本发明第一实施例的果蔬外观变化识别模型的建立方法的流程图；

图2为本发明第二实施例的果蔬外观变化识别模型的建立方法的流程图；

图3为本发明第三实施例的果蔬外观变化的识别方法的流程图；

图4为本发明第四实施例的果蔬外观变化的识别方法的流程图；

图5为本发明第五实施例的果蔬外观变化识别模型的建立装置的方框图；

图6为本发明第六实施例的果蔬外观变化的识别装置的方框图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

本发明提供的识别果蔬外观变化的方法，可以识别果蔬局部的细微变化，增强对贮存果蔬的有效监控。下面将详细地描述本发明的识别果蔬外观变化的方法及其各个步骤。

第一实施例

如图1所示，本实施例提供的果蔬外观变化识别模型的建立方法，通过深度学习建立果蔬外观变化识别模型，包括：步骤S10：通过深度学习建立果蔬外观变化识别模型，具体包括：步骤S100：提取训练样本的训练样本轮廓特征；步骤S101：提取训练样本的训练样本颜色特征；步骤S102：将训练样本轮廓特征和训练样本颜色特征进行拼接，形成训练样本的外观特征；步骤S103：对外观特征进行预测，得到训练样本的预测存放时长类别；步骤S104：根据预测存放时长类别设置相应的预测存放时间段；步骤S105：计算训练样本的真实存放时间段和预测存放时间段的差值；步骤S106：根据差值，优化果蔬外观变化识别模型的模型参数。

本实施例采用深度学习的方式构建果蔬外观变化识别模型，通过有监督训练，训练样本保留训练样本具有鉴别力的外观特征，由此可以通过该果蔬外观变化识别模型挖掘当前样本的深层特征，这些深层特征往往是人们难以用先验知识获得的，相比浅层特征更加高效。

通过现有技术，我们可以了解到机器学习是一门专门研究计算机怎样模拟或者实现人类行为的学习行为，以此来获取新的知识或技能，并且重新组织已有的知识结构来不断改善自身性能的学科。简单地来说，机器学习是机器能从大量的数据中学习规律，从而对新样本做出智能识别或者预测未来。

自2006年，深度学习(Deep Learning)已经成为机器学习研究中的领域，通常也被叫做深层结构学习或者分层学习，其动机在于建立和模拟人脑进行分析学习的神经网络，它模拟人脑的机制来解释数据，例如图像、声音和文本。深度学习有监督学习与无监督学习之分，其概念源于人工神经网络的研究，不同的学习框架下建立的深度学习模型是不同的，例如，卷积神经网络(Convolutional neural networks，简称CNNs)是一种有监督学习下的深度学习模型，而深度置信网(Deep Belief Nets，简称DBNs)是一种无监督学习下的深度学习模型。深度学习通过学习深层非线性网络模型和大量训练样本，发现事物的内在特征，更好地刻画事物的本质。

第二实施例

结合图2所示，通过深度学习建立果蔬外观变化识别模型主要包括，由InputLayer-0至Fully-Connected Layer-T1组成的第一部分，重在提取训练样本的训练样本轮廓特征；以及由Input Layer-1至Fully-Connected Layer-C2组成的第二部分，重在提取训练样本的训练样本颜色特征；第三部分由Concat Layer和分类层Soft-Max layer组成，来完成上述步骤中的步骤S102至步骤S104。其中，Concat Layer用来将训练样本轮廓特征和训练样本颜色特征进行拼接，得到训练样本的外观特征，Soft-Max Layer是分类层，训练样本通过第一部分和第二部分分别提取出训练样本轮廓特征和训练样本颜色特征，通过ConcatLayer拼接形成训练样本的外观特征后送入Soft-Max layer，Soft-Max layer对该外观特征的预测存放时长类别进行预测。进一步地，根据该预测存放时长类别PredictClass得到预测存放时间段。

如图2所示，本实施例的果蔬外观变化识别模型的建立方法中，步骤S100：提取训练样本的训练样本轮廓特征，具体包括：将训练样本的训练样本灰度图输入至果蔬外观变化识别模型的轮廓输入层Input Layer-0；果蔬外观变化识别模型的第一卷积层Convolutional Layer 1对训练样本灰度图做第一次卷积，得到包含所述训练样本的边缘信息的边缘特征图；果蔬外观变化识别模型的第一下采样层Max-Pooling 1对边缘特征图做第一次下采样，得到下采样后的边缘特征图；果蔬外观变化识别模型的第二卷积层Convolutional Layer 2对下采样后的边缘信息的二次特征特征图做第二次卷积，训练样本的纹理特征图；果蔬外观变化识别模型的第二下采样层Max-Pooling 2对纹理特征图做第二次下采样，得到下采样后的纹理特征图；果蔬外观变化识别模型的第三卷积层Convolutional Layer 3对下采样后的纹理特征图做第三次卷积，得到训练样本的形状特征图；将下采样后的纹理特征图和形状特征图输入至果蔬外观变化识别模型的轮廓特征全连接层，得到训练果蔬的轮廓特征。

由于在获取训练样本的轮廓特征时只关心训练样本的轮廓信息，因此输入至果蔬外观变化识别模型的轮廓输入层Input Layer-0为训练样本灰度图的目的是降低果蔬外观变化识别模型的计算复杂度。

Convolutional Layer 1是对训练样本灰度图做第一次卷积，卷积核大小选择4*4，Convolutional Layer 1有16个Feature Map组成，每个Feature Map对应一种不同的卷积核，以提取不同的边缘特征，该卷积层的目的是提取训练样本的局部边缘信息。

Max-Pooling 1是对边缘特征图做第一次下采样，利用图像的局部相关性原理，对边缘特征图进行下抽样，减少第一次下采样处理的数据量并且保存更有价值的信息。边缘特征图像的每个单元的局部感受野大小为2*2，每个单元的局部感受野之间没有重复。Max-Pooling 1可看做模糊滤波器，起到二次特征提取的作用。

Convolutional Layer 2是对下采样后的边缘特征图像做第二次卷积，卷积核大小选择3*3，由32个Feature Map组成，由于进行了第一次下采样，本次卷积相当于扩大了下采样后的边缘特征图像的每个单元的局部感受野，能够获取训练样本的纹理特征图。

Max-Pooling 2是对纹理特征图做第二次下采样，纹理特征图的每个单元的局部感受野大小同样为2*2，功能类似于Max-Pooling 1，进一步对纹理特征图进行下采样，舍弃局部精细信息，得到下采样后的纹理特征图。

Convolutional Layer 3是对下采样后的纹理特征图做第三次卷积，卷积核大小选择3*3，由48个Feature Map组成，该层进一步扩大了下采样后的纹理特征图的每个单元的感受野，可以提取比纹理特征更高阶的训练样本的轮廓特征图，由于每一层之间的空间分辨率递减，所以每层包含的Feature Map数递增，这样可检测到更多的细节形状信息，然后补入基本形状信息，得到训练样本的形状信息。

Fully-Connected Layer-T1是果蔬外观变化识别模型的轮廓特征全连接层，维度为128，将Max-Pooling 2和Convolutional Layer 3作为该轮廓特征全连接层的输入，使得该层能够更好的刻画训练样本的轮廓特征。

该果蔬外观变化识别模型的激活函数选用Relu，损失函数选用均方误差函数MER，优化方法选用随机梯度下降SGD，根据以往经验和实验结果证明，选择以上参数对于识别果蔬外观变化是最优的。

另外，作为优选地，步骤S101：提取训练样本的训练样本颜色特征，具体包括：将训练样本的HSV图输入至果蔬外观变化识别模型的颜色输入层，提取HSV图的颜色直方图；果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

输入至果蔬外观变化识别模型的颜色输入层为训练样本的HSV图，HSV图比RGB图更直接地表达训练样本子图像的色彩明暗、色调和饱和度，更接近人对颜色的主观认识。其中，HSV(Hue,Saturation,Value)包括：色调(H)，饱和度(S)，明度(V)。

如图2所示，Color Histgram提取HSV图的颜色直方图，描述训练样本的颜色特征。Fully-Connected Layer-C1和Fully-Connected Layer-C2是两个全连接层，依次对颜色直方图特征向量进行非线性变换，通过有监督的训练，实现对颜色直方图的颜色特征降维，保留颜色直方图中具有鉴别力的颜色特征归为关键的颜色特征，作为训练样本颜色特征。

如图2所示，神经网络的反向传播过程是计算训练样本的预测存放时间段和训练样本的真实存放时间段的差值，并将该差值逆向依次传递至所述轮廓特征全连接层、第三卷积层、第二下采样层、第二卷积层、第一下采样层、第一卷积层和轮廓输入层，通过现有技术中计算微分的方法优化各轮廓特征提取层的轮廓参数；并且将该差值逆向依次传递至第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，通过现有技术中计算微分的方法优化各颜色特征提取层的颜色参数。重复输入不同的训练样本，前向传播得到训练样本的预测存放时间段，然后通过反向传递优化各轮廓特征提取层的轮廓参数和各颜色特征提取层的颜色参数，逐步迭代直至果蔬外观变化识别模型的模型参数达到最优。

第三实施例

如图3所示，本实施例提供的果蔬外观变化的识别方法，采用如第一实施例和第二实施例所述的建立方法形成的果蔬外观变化识别模型对果蔬外观变化进行识别，包括以下步骤：步骤S20：获取当前样本的当前样本图像；步骤S30：对当前样本图像进行图像分割，得到当前样本对应的当前样本子图像；步骤S40：基于当前样本子图像选择对应的果蔬外观变化识别模型；步骤S50：利用果蔬外观变化识别模型识别当前样本子图像，得到当前样本的预测存放时间段。其中步骤S20：获取当前样本的当前样本图像和步骤S30：对当前样本图像进行图像分割，得到当前样本对应的当前样本子图像可以采用现有技术中的实施方案来实现。另外，步骤S50：利用果蔬外观变化识别模型识别当前样本子图像，得到当前样本的预测存放时间段实现的前提是果蔬外观变化识别模型设置有当前样本子图像与预测存放时间段的对应关系列表，果蔬外观变化识别模型根据该对应关系列表得到当前样本的预测存放时间段。

本实施例提供的果蔬外观变化的识别方法，利用第一实施例和第二实施例建立的果蔬外观变化识别模型采集待识别的当前样本的当前样本图像，这里需要说明的是，当前样本一定是下文中提到的训练样本中的一种，即果蔬外观变化识别模型能够基于得到的训练样本识别当前样本。在获取到当前样本图像后，通过步骤S30，对当前样本图像进行图像分割，获得当前样本对应的当前样本子图像，该当前样本子图像是当前样本图像中的一部分，仅包含当前样本的图像，不包括当前样本图像中的背景图像。然后基于当前样本子图像选择对应的果蔬外观变化识别模型，在该步骤中，基于图像分割得到的当前样本子图像选取对应的果蔬外观变化识别模型，最后利用该果蔬外观变化识别模型识别当前样本子图像，得出当前样本的预测存放时间段。

上文中提到的图像分割技术的分割效果直接影响当前样本的当前样本子图像的图片质量，如果分割得到的当前样本子图像的图像质量不好的话可能包含冗余信息或者丢失有效信息，进而导致当前样本的外观识别不准确。

本实施例的果蔬外观变化的识别方法，通过果蔬外观变化识别模型预测出当前样本的预测存放时间段，该果蔬外观变化识别模型为整个方案的核心，在构建果蔬外观变化识别模型时，针对不同所属品种类别的训练样本建立对应的果蔬外观变化识别模型。

作为优选地，本实施例提供的果蔬外观变化的识别方法中，步骤S40：基于当前样本子图像选择对应的果蔬外观变化识别模型，具体包括：根据当前样本子图像获取当前样本的所属种类；根据所属种类选取果蔬外观变化识别模型。

通过图像识别技术识别当前样本的当前样本子图像，得到当前样本的所属CategoryIndex；通过所属CategoryIndex选择对应的果蔬外观变化识别模型RecModel，并利用果蔬外观变化识别模型RecModel对当前样本子图像进行外观识别，预测出当前样本的预测存放时间段。

当前样本的所属种类的判断直接决定了选取哪个果蔬外观变化识别模型，如果所属种类识别错误会导致调用错误的果蔬外观变化识别模型，最终导致当前样本的外观识别错误。

第四实施例

如图4所示，在第三实施例的基础上，步骤S50：利用果蔬外观变化识别模型识别当前样本子图像，得到当前样本的预测存放时间段，具体包括：步骤S500：将当前样本子图像进行归一化处理，得到当前样本的当前样本灰度图和当前样本HSV图。步骤S501：将当前样本灰度图输入至果蔬外观变化识别模型的轮廓输入层，获取当前样本的当前样本轮廓特征。步骤S502：将当前样本HSV图输入至果蔬外观变化识别模型的颜色输入层，获取当前样本的当前样本颜色特征。步骤S503：基于当前样本轮廓特征和当前样本颜色特征，果蔬外观变化识别模型得到当前样本的预测存放时长类别。步骤S504：根据预测存放时长类别，得到当前样本的预测存放时间段。

将当前样本的轮廓特征和颜色特征作为果蔬外观变化识别模型的输入量，深层挖掘当前样本具有鉴别力的外观特征，考虑到当前样本存放过程中的外观变化大部分发生在当前样本的局部，所以果蔬外观变化识别模型的重点在于提取当前样本的局部区域的信息。

本实施例的果蔬外观变化的识别方法，对当前样本子图像做尺寸归一化处理，得到当前样本灰度图和当前样本HSV图，其中灰度图的大小可以为39*39。

参考图2所示，将当前样本灰度图输入至果蔬外观变化识别模型的轮廓输入层Input Layer-0，将当前样本HSV图输入至果蔬外观变化识别模型的颜色输入层InputLayer-1，分别提取当前样本的轮廓特征和颜色特征，最终将两种特征拼接后输入至分类层，得到当前样本的预测存放时长类别，进而得到当前样本的预测存放时间段。

第五实施例

如图5所示，本实施例提供的果蔬外观变化识别模型的建立装置10，通过深度学习建立果蔬外观变化识别模型，包括：轮廓特征提取模块100，用于提取训练样本的训练样本轮廓特征；颜色特征提取模块101，用于提取训练样本的训练样本颜色特征；拼接模块102，用于将训练样本轮廓特征和训练样本颜色特征进行拼接，形成训练样本的外观特征；存放时长类别预测模块103，用于对外观特征进行预测，得到训练样本的预测存放时长类别；存放时间段设置模块104，用于根据预测存放时长类别设置相应的预测存放时间段；计算模块105，用于计算果蔬的真实存放时间段和预测存放时间段的差值；参数优化模块106，用于根据差值，优化果蔬外观变化识别模型的参数。

进一步地，本实施例的果蔬外观变化模型的建立装置10中，轮廓特征识别模块100，具体用于：将训练样本的训练样本灰度图输入至果蔬外观变化识别模型的轮廓输入层；果蔬外观变化识别模型的第一卷积层对训练样本灰度图做第一次卷积，得到包含训练样本的边缘信息的边缘特征图；果蔬外观变化识别模型的第一下采样层对边缘特征图做第一次下采样，得到下采样后的边缘特征图；果蔬外观变化识别模型的第二卷积层对下采样后的边缘特征图做第二次卷积，获取训练样本的纹理特征图；果蔬外观变化识别模型的第二下采样层对纹理特征图做第二次下采样，得到下采样后的纹理特征图；果蔬外观变化识别模型的第三卷积层对下采样后的纹理特征图做第三次卷积，将训练样本的细节形状信息补入基本形状信息，得到训练样本的形状特征图；将下采样后的纹理特征图和形状特征图输入至果蔬外观变化识别模型的轮廓特征全连接层，得到训练果蔬的轮廓特征。

进一步地，颜色特征提取模块101，具体用于：将训练样本的HSV图输入至果蔬外观变化识别模型的颜色输入层，提取HSV图的颜色直方图；果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

另外，参数优化模块106，包括：轮廓参数优化单元，用于将所述差值逆向依次传递至所述轮廓特征全连接层、所述第三卷积层、所述第二下采样层、所述第二卷积层、所述第一下采样层、所述第一卷积层和所述轮廓输入层，优化各轮廓特征提取层的轮廓参数；以及，颜色参数优化单元，用于将所述差值逆向依次传递至所述第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，优化各颜色特征提取层的颜色参数。

第六实施例

如图6所示，本实施例提供一种果蔬外观变化的识别装置，包括：图像获取模块20，用于获取当前样本的当前样本图像；图像分割模块30，用于对当前样本图像进行图像分割，得到当前样本对应的当前样本子图像；模型选择模块40，用于基于当前样本子图像选择对应的果蔬外观变化识别模型；时间段预测模块50，用于利用果蔬外观变化识别模型识别当前样本子图像，得到当前样本的预测存放时间段。

作为优选地，模型选择模块40，具体用于：根据当前样本子图像获取当前样本的所属种类；根据所属种类选取果蔬外观变化识别模型。

进一步地，时间段预测模块50，具体用于：将当前样本子图像进行归一化处理，得到当前样本的当前样本灰度图和当前样本HSV图；将当前样本灰度图输入至果蔬外观变化识别模型的轮廓输入层，获取当前样本的当前样本轮廓特征；将当前样本HSV图输入至果蔬外观变化识别模型的颜色输入层，获取当前样本的当前样本颜色特征；基于当前样本轮廓特征和当前样本颜色特征，利用果蔬外观变化识别模型得到当前样本的预测存放时长类别；根据预测存放时长类别，得到当前样本的预测存放时间段。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (14)

1.一种果蔬外观变化识别模型的建立方法，其特征在于，通过深度学习建立果蔬外观变化识别模型，包括：

提取训练样本的训练样本轮廓特征；

提取所述训练样本的训练样本颜色特征；

将所述训练样本轮廓特征和所述训练样本颜色特征进行拼接，形成所述训练样本的外观特征；

对所述外观特征进行预测，得到所述训练样本的预测存放时长类别；

根据所述预测存放时长类别设置相应的预测存放时间段；

计算所述训练样本的真实存放时间段和所述预测存放时间段的差值；

根据所述差值优化所述果蔬外观变化识别模型的模型参数；

所述提取训练样本的训练样本轮廓特征，还包括：

将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型处理得到下采样后的纹理特征图和形状特征图；

将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型，得到所述训练果蔬的轮廓特征。

2.根据权利要求1所述的建立方法，其特征在于，

所述提取训练样本的训练样本轮廓特征，具体包括：

将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层；

所述果蔬外观变化识别模型的第一卷积层对所述训练样本灰度图做第一次卷积，得到包含所述训练样本的边缘信息的边缘特征图；

所述果蔬外观变化识别模型的第一下采样层对所述边缘特征图做第一次下采样，得到下采样后的边缘特征图；

所述果蔬外观变化识别模型的第二卷积层对所述下采样后的边缘特征图做第二次卷积，获取所述训练样本的纹理特征图；

所述果蔬外观变化识别模型的第二下采样层对所述纹理特征图做第二次下采样，得到下采样后的纹理特征图；

所述果蔬外观变化识别模型的第三卷积层对所述下采样后的纹理特征图做第三次卷积，得到所述训练样本的形状特征图；

将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型的轮廓特征全连接层，得到所述训练果蔬的轮廓特征。

3.根据权利要求2所述的建立方法，其特征在于，所述提取所述训练样本的训练样本颜色特征，具体包括：

将所述训练样本的HSV图输入至所述果蔬外观变化识别模型的颜色输入层，提取所述HSV图的颜色直方图；

所述果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对所述颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

4.根据权利要求3所述的建立方法，其特征在于，所述根据所述差值优化所述果蔬外观变化识别模型的模型参数，具体包括：

将所述差值逆向依次传递至所述轮廓特征全连接层、所述第三卷积层、所述第二下采样层、所述第二卷积层、所述第一下采样层、所述第一卷积层和所述轮廓输入层，优化各轮廓特征提取层的轮廓参数；以及，

将所述差值逆向依次传递至所述第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，优化各颜色特征提取层的颜色参数。

5.一种果蔬外观变化的识别方法，其特征在于，采用如权利要求1至4中任一项所述的建立方法形成的果蔬外观变化识别模型对果蔬外观变化进行识别，包括以下步骤：

获取当前样本的当前样本图像；

对所述当前样本图像进行图像分割，得到所述当前样本对应的当前样本子图像；

基于所述当前样本子图像选择对应的果蔬外观变化识别模型；

利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段。

6.根据权利要求5所述的识别方法，其特征在于，所述基于所述当前样本子图像选择对应的果蔬外观变化识别模型，具体包括：

根据所述当前样本子图像获取所述当前样本的所属类别；

根据所属类别选取所述果蔬外观变化识别模型。

7.根据权利要求5或6所述的识别方法，其特征在于，所述利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段，具体包括：

将所述当前样本子图像进行归一化处理，得到所述当前样本的当前样本灰度图和当前样本HSV图；

将所述当前样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层，获取所述当前样本的当前样本轮廓特征；

将所述当前样本HSV图输入至所述果蔬外观变化识别模型的颜色输入层，获取所述当前样本的当前样本颜色特征；

基于所述当前样本轮廓特征和所述当前样本颜色特征，所述果蔬外观变化识别模型得到所述当前样本的预测存放时长类别；

根据所述预测存放时长类别，得到所述当前样本的预测存放时间段。

8.一种果蔬外观变化识别模型的建立装置，其特征在于，通过深度学习建立果蔬外观变化识别模型，包括：

轮廓特征提取模块，用于提取训练样本的训练样本轮廓特征；

颜色特征提取模块，用于提取所述训练样本的训练样本颜色特征；

拼接模块，用于将所述训练样本轮廓特征和所述训练样本颜色特征进行拼接，形成所述训练样本的外观特征；

存放时长类别预测模块，用于对所述外观特征进行预测，得到所述训练样本的预测存放时长类别；

存放时间段设置模块，用于根据所述预测存放时长类别设置相应的预测存放时间段；

计算模块，用于计算所述训练样本的真实存放时间段和所述预测存放时间段的差值；

参数优化模块，用于根据所述差值，优化所述果蔬外观变化识别模型的模型参数；

所述轮廓特征提取模块，具体用于：

将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型处理得到下采样后的纹理特征图和形状特征图；

将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型，得到所述训练果蔬的轮廓特征。

9.根据权利要求8所述的建立装置，其特征在于，所述轮廓特征提取模块，具体用于：

将所述训练样本的训练样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层；

所述果蔬外观变化识别模型的第一卷积层对所述训练样本灰度图做第一次卷积，得到包含所述训练样本的边缘信息的边缘特征图；

所述果蔬外观变化识别模型的第一下采样层对所述边缘特征图做第一次下采样，得到下采样后的边缘特征图；

所述果蔬外观变化识别模型的第二卷积层对所述下采样后的边缘特征图做第二次卷积，获取所述训练样本的纹理特征图；

所述果蔬外观变化识别模型的第二下采样层对所述纹理特征图做第二次下采样，得到下采样后的纹理特征图；

所述果蔬外观变化识别模型的第三卷积层对所述下采样后的纹理特征图做第三次卷积，得到所述训练样本的形状特征图；

将所述下采样后的纹理特征图和所述形状特征图输入至所述果蔬外观变化识别模型的轮廓特征全连接层，得到所述训练果蔬的轮廓特征。

10.根据权利要求9所述的建立装置，其特征在于，所述颜色特征提取模块，具体用于：

将所述训练样本的HSV图输入至所述果蔬外观变化识别模型的颜色输入层，提取所述HSV图的颜色直方图；

所述果蔬外观变化识别模型的第一颜色特征全连接层和第二颜色特征全连接层依次对所述颜色直方图进行非线性变换，并且将非线性变换后的颜色特征作为训练样本颜色特征。

11.根据权利要求10所述的建立装置，其特征在于，所述参数优化模块，包括：

轮廓参数优化单元，用于将所述差值逆向依次传递至所述轮廓特征全连接层、所述第三卷积层、所述第二下采样层、所述第二卷积层、所述第一下采样层、所述第一卷积层和所述轮廓输入层，优化各轮廓特征提取层的轮廓参数；以及，

颜色参数优化单元，用于将所述差值逆向依次传递至所述第二颜色特征全连接层、第二颜色特征全连接层和颜色输入层，优化各颜色特征提取层的颜色参数。

12.一种果蔬外观变化的识别装置，其特征在于，采用如权利要求8至11中任一项所述的建立装置形成的果蔬外观变化识别模型对果蔬外观变化进行识别，包括：

图像获取模块，用于获取当前样本的当前样本图像；

图像分割模块，用于对所述当前样本图像进行图像分割，得到所述当前样本对应的当前样本子图像；

模型选择模块，用于基于所述当前样本子图像选择对应的果蔬外观变化识别模型；

时间段预测模块，用于利用所述果蔬外观变化识别模型识别所述当前样本子图像，得到所述当前样本的预测存放时间段。

13.根据权利要求12所述的装置，其特征在于，所述模型选择模块，具体用于：

根据所述当前样本子图像获取所述当前样本的所属类别；

根据所属类别选取所述果蔬外观变化识别模型。

14.根据权利要求12所述的装置，其特征在于，所述时间段预测模块，具体用于：

将所述当前样本子图像进行归一化处理，得到所述当前样本的当前样本灰度图和当前样本HSV图；

将所述当前样本灰度图输入至所述果蔬外观变化识别模型的轮廓输入层，获取所述当前样本的当前样本轮廓特征；

将所述当前样本HSV图输入至所述果蔬外观变化识别模型的颜色输入层，获取所述当前样本的当前样本颜色特征；

基于所述当前样本轮廓特征和所述当前样本颜色特征，利用所述果蔬外观变化识别模型得到所述当前样本的预测存放时长类别；

根据所述预测存放时长类别，得到所述当前样本的预测存放时间段。