CN115841600B - 基于深度学习的甘薯外观品质分类方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的甘薯外观品质分类方法，该方法包括：采集甘薯表面图像，对甘薯表面图像进行超像素分割，计算超像素块对应的隶属度；根据超像素块内像素值的变化情况构建第一特征影响因子和第二特征影响因子；根据模糊局部信息聚类算法中的模糊因子和第一特征影响因子、第二特征影响因子以及超像素块对应的隶属度得到优选模糊因子；根据优选模糊因子进行聚类，根据待分析区域最小外接矩形得到第一特征值和第二特征值；进而获得注意力权重，根据甘薯表面图像和注意力权重得到甘薯的注意力图像，对甘薯进行分类得到甘薯外观品质分类结果。本发明提高了甘薯外观品质分类结果的准确度。

Description

基于深度学习的甘薯外观品质分类方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的甘薯外观品质分类方法。

背景技术

在商品级甘薯的挑选过程中，需要对不同外观品质的甘薯进行分类。以保证单独包装的甘薯无条沟无裂口，即品质较高。因此，根据外观品质对甘薯进行精确的分类就显得尤为重要。现有技术中常通过对采集到的甘薯表面图像进行聚类分割，进而对不同形状簇类对应的区域进行甘薯表面的裂口或者条沟特征分析，判断甘薯表面是否存在裂口或者条沟，进而获得甘薯的外观品质的分类结果。其中，在对甘薯表面图像进行聚类分割时，由于甘薯表面可能存在着不影响其外观品质的细小凹坑或者未清理干净的泥土，利用现有的聚类分割算法进行处理时，会导致划分出的簇类中存在这些噪声像素点形成的连通域，进而影响甘薯外观品质的判断，使得甘薯外观品质的分类结果准确度较低。

发明内容

为了解决甘薯外观品质的分类结果准确度较低的技术问题，本发明的目的在于提供一种基于深度学习的甘薯外观品质分类方法，所采用的技术方案具体如下：

采集甘薯表面图像，对甘薯表面图像进行超像素分割得到至少两个超像素块；根据超像素块与其相邻超像素块之间的距离以及超像素块内像素点对应的隶属度，得到超像素块对应的隶属度；

根据超像素块从边缘部分到中心部分像素点的像素值变化构建第一特征影响因子，根据超像素块内相邻像素点的像素值变化构建第二特征影响因子；根据模糊局部信息聚类算法中的模糊因子和第一特征影响因子、第二特征影响因子以及超像素块对应的隶属度得到优选模糊因子；

根据优选模糊因子采用模糊局部信息聚类算法对像素点进行聚类，得到至少两个簇类；将每个簇类内所有像素点构成的区域记为待分析区域；根据待分析区域的狭长度和待分析区域内像素点的变化得到注意力权重；

根据甘薯表面图像和注意力权重得到甘薯的注意力图像，根据所述注意力图像对甘薯进行分类得到甘薯外观品质分类结果。

优选地，所述第一特征影响因子的获取方法具体为：

对于任意一个超像素块，获取超像素块的中心像素点以及边缘像素点，在边缘像素点与中心像素点的连线上获取像素点的像素值变化曲线，记为边缘像素点的特征曲线；计算相邻两个边缘像素点的特征曲线之间的DTW距离，获取所有相邻两个边缘像素点的特征曲线之间的DTW距离的均值的负相关映射值，以均值的负相关映射值与第一预设值的和值作为超像素块的第一特征影响因子。

优选地，所述第二特征影响因子的获取方法具体为：

对于任意一个超像素块，在任意一个边缘像素点对应的连线上，计算相邻两个像素点的像素值之间差值的熵值；以超像素块的所有边缘像素点对应的熵值之和的归一化值作为第二特征影响因子。

优选地，所述超像素块对应的隶属度的获取方法具体为：

对于任意一个超像素块，在该超像素块的邻接超像素块中选定中心超像素块，获取中心超像素块的质心；计算超像素块内任意一个像素点到所述质心的距离与预设值之和的倒数，将所述倒数与超像素块内像素点对应的隶属度的乘积记为像素点的特征因子，以超像素块内所有像素点的特征因子的均值作为超像素块相对于中心超像素块的隶属度。

优选地，所述优选模糊因子的获取方法具体为：

其中，表示第i个像素点对于第k个簇类的优选模糊因子，表示模糊局部信息聚类算法中第i个像素点对于第k个簇类的模糊因子，表示第i个像素点所在超像素块的第一特征影响因子，表示第i个像素点所在超像素块的第二特征影响因子，表示第i个像素点，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点，表示第k个簇类中心像素点，表示第i个像素点到该像素点所在超像素块的第n个相邻超像素块的中心像素点之间的欧氏距离，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点到第k个簇类中心像素点的欧氏距离，表示第n个相邻超像素块相对于第i个像素点所在超像素块属于第k个簇类的隶属度，表示第i个像素点所在超像素块的相邻超像素块的总数量，m为模糊参数。

优选地，所述待分析区域的狭长度的获取方法具体为：

将待分析区域的最小外接矩形的长和宽的比值作为待分析区域的狭长度。

优选地，所述根据待分析区域的狭长度和待分析区域内像素点的变化得到注意力权重具体为：

以待分析区域的狭长度作为第一特征值；

计算最小外接矩形中每行像素点的像素值均值，构成均值序列；获取均值序列中极值的数量，以极值的数量与最小外接矩形的宽之间的比值作为待分析区域的第二特征值；

获取第一特征值的归一化值和第二特征值的归一化值的均值，以所述均值与预设值的和值作为待分析区域内像素点的注意力权重。

优选地，所述根据甘薯表面图像和注意力权重得到甘薯的注意力图像具体为：

根据甘薯表面图像中各待分析区域内像素点的注意力权重构建注意力权重矩阵，计算甘薯表面图像与注意力权重矩阵的哈达玛积得到甘薯的注意力图像。

优选地，所述根据所述注意力图像对甘薯进行分类得到甘薯外观品质分类结果具体为：

将注意力图像输入训练好的神经网络，输出甘薯外观品质分类结果。

本发明实施例至少具有如下有益效果：

本发明通过获取甘薯表面图像，对甘薯表面图像进行超像素分割，根据超像素块与其相邻超像素块之间的距离以及超像素块内像素点对应的隶属度得到超像素块对应的隶属度，通过考虑相邻超像素块之间的距离对隶属度进行调整，使得超像素块在隶属度的考量中包含了相对性；分别根据超像素块从边缘部分到中心部分像素点的像素值变化构建第一特征影响因子，根据超像素块内相邻像素点的像素值变化构建第二特征影响因子，通过分析超像素块内像素点的像素值变化情况获取超像素块受相邻超像素块的影响大小，进而根据特征影响因子以及超像素块对应的隶属度获取像素点的优选模糊因子，在原始像素级的基础上，通过相邻超像素块之间的影响大小对相邻像素之间的影响大小进行分析，能够使得分布区域较小的凹坑和泥土部分被划分为正常簇类。进一步的，利用优选模糊因子获得的聚类分割结果更加准确，消除了甘薯表面小凹坑和泥土带来的区域性噪声。根据聚类分割结果进行待分析区域的异常特征提取，避免了将甘薯表面羽裂口和条沟区域相似的部分误判为异常的情况，从而提高了甘薯外观品质分类结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的一种基于深度学习的甘薯外观品质分类方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于深度学习的甘薯外观品质分类方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于深度学习的甘薯外观品质分类方法的具体方案。

实施例：

本发明的主要目的是：在对甘薯进行外观品质分类时，由于是对待分类的甘薯进行初步分拣，所以甘薯表面可能会存在着细小的凹坑或者未清理干净的泥土等并不影响外观品质的噪声区域。因此，在检测甘薯表面的低品质特征例如裂口与条沟时，需要消除区域性噪声的影响。从而在聚类分割过程中排除甘薯表面特有的区域性噪声，通过聚类分割的结果根据簇类像素点的变化情况提取甘薯表面的异常特征，用以获取甘薯的外观品质。

本发明所针对的具体场景为：在对甘薯进行初步分拣的过程中，通过采集甘薯表面图像，在对图像进行聚类分割的过程中，消除区域性噪声的影响，对聚类分割结果进行甘薯表面低品质特征的提取，并通过提取到的特征利用深度学习模型进行甘薯的外观品质分类。

请参阅图1，其示出了本发明一个实施例提供的一种基于深度学习的甘薯外观品质分类方法的方法流程图，该方法包括以下步骤：

步骤一，采集甘薯表面图像，对甘薯表面图像进行超像素分割得到至少两个超像素块；根据超像素块与其相邻超像素块之间的距离以及超像素块内像素点对应的隶属度，得到超像素块对应的隶属度。

首先，因为甘薯的单张表面图像并不能完整的表述甘薯的外观品质，故需对同一个甘薯采集多张表面图像，在本实施例中，通过甘薯在滚轮传送带上传输的过程中，利用滚轮传送带正上方的图像采集装置采集甘薯表面图像。即通过滚轮传送带能够让甘薯在传送过程中发生翻滚，从而能够采集到甘薯较为全面的表面图像。

然后对甘薯表面图像进行超像素分割，将甘薯表面图像划分为多个灰度值相近和纹理信息相似的超像素块。即将甘薯表面具有同样灰度特征以及纹理特征的像素点划分到同一个超像素块内，例如甘薯表面的小凹坑、泥土、裂口以及条沟等特征。为了方便分析，采集到的每一个甘薯的甘薯表面图像均具有相同的尺寸大小。同时，为了保证超像素分割的过程中可以将甘薯表面图像进行更加细致的划分，本发明实施例中将超像素分割的超像素块数量设置为1000，实施者也可根据具体实施场景进行调整。

超像素块中的像素点具有相似的灰度信息和纹理信息，同时超像素块内像素点在图像中处于同一个局部区域，故超像素块可以将甘薯表面的不同特征进行局部初步分割。进一步的，以超像素块为基础，获取一个超像素块的相邻超像素块对其的隶属度的影响因子，进而可以判断一个超像素块内的像素点是否与邻近超像素之间存在关联关系。

同时，由于甘薯表面的小凹坑和泥土对甘薯外观的影响区域相较于甘薯表面的裂口和条沟对甘薯外观的影响区域是较小的。因此，根据超像素块间的位置信息特征与灰度信息特征获取隶属度的影响因子，可以将小凹坑和泥土划分为正常的甘薯表面簇类，从而消除区域性特征的噪声影响，最终获得更加准确的聚类分割结果。

在发明实施例中，采用FLICM聚类算法即模糊局部信息聚类算法对甘薯表面图像进行聚类分割。在聚类的过程中每个像素点均对应了一个隶属度，超像素块内像素点之间较为相似，在聚类过程中属于同一个超像素块内的像素点会更加倾向于划分为同一个簇类。同时，在考虑像素点的基础上，对相邻超像素块之间的影响进行分析，获取超像素块的相对隶属度。

基于此，根据超像素块与其相邻超像素块之间的距离以及超像素块内像素点对应的隶属度得到超像素块对应的隶属度，具体地，对于任意一个超像素块，在该超像素块的邻接超像素块中选定中心超像素块，获取中心超像素块的质心；计算超像素块内任意一个像素点到所述质心的距离与预设值之和的倒数，将所述倒数与超像素块内像素点对应的隶属度的乘积记为像素点的特征因子，以超像素块内所有像素点的特征因子的均值作为超像素块相对于中心超像素块的隶属度，用公式表示为：

其中，表示第a个超像素块相对于第z个中心超像素块属于第k个簇类的隶属度，表示第a个超像素块内包含像素点的总数量，表示第a个超像素块内第x个像素点，表示第z个中心超像素块的质心，表示第a个超像素块内第x个像素点到第z个中心超像素块的质心之间的距离，在本实施例中，通过计算两个点的欧氏距离进行获取，预设值的取值为1，表示采用FLICM聚类算法进行处理时，第x个像素点属于第k个簇类的隶属度。为第x个像素点的特征因子。

其中，中心超像素块的选定方法可以类比像素点与其邻域像素点的位置关系，即在像素点的4邻域或者8邻域内，中心像素点与其邻域像素点是相邻的，基于此，将边缘邻接的超像素块中位于中心位置处的超像素块记为中心超像素块，进而每个超像素块均存在对应的中心超像素块，进而可以分析相邻的超像素块与中心超像素块之间的位置关系。

需要说明的是，每一个超像素均可作为中心超像素块，通过分析其相邻的超像素对中心超像素块的影响关系进行隶属度的计算。在超像素块的隶属度的计算方法中，是以任意一个超像素块为对象，故首先需要获取该超像素块对应的中心超像素块，进而获得超像素块相对于中心超像素块的隶属度。

在获取超像素块的相对隶属度的过程中，超像素块中像素点对应的隶属度信息是不变的，在图像中像素点之间的距离越远，二者的相关性越低，即的取值越大，两者的相关性就越小，对应的超像素块的相对隶属度就越小。

相邻超像素块对中心超像素块的影响需要根据超像素块中像素点与中心超像素块之间的距离进行表征，即利用距离对像素点对应的隶属度进行加权，使得超像素块对应的隶属度中包含更多的中心超像素块的邻近信息。

超像素块对应的隶属度相较于传统的超像素块中像素点的隶属度的均值计算方法，通过考虑像素点与中心超像素块的距离进行调整，从而使得每一个超像素块对于对应的中心超像素块均具有隶属度，也就使得甘薯表面图像中的超像素块在隶属度的考量中包含了相对性，利用超像素块对应的隶属度进行聚类分割可以使得甘薯表面的小凹坑与泥土等区域性噪声被忽略，从而降低噪声的影响。

步骤二，根据超像素块从边缘部分到中心部分像素点的像素值变化构建第一特征影响因子，根据超像素块内相邻像素点的像素值变化构建第二特征影响因子；根据模糊局部信息聚类算法中的模糊因子和第一特征影响因子、第二特征影响因子以及超像素块对应的隶属度得到优选模糊因子。

在确定了相对于中心超像素块的相邻超像素块的相对隶属度后，由于不同的中心超像素块内的像素点的分布情况不同，每一个像素点所受到相邻超像素块带来的隶属度影响的大小是不同的。假如将相邻的超像素块对应的隶属度信息整体加和到中心超像素块中，对于甘薯表面的小凹坑和泥土来说，中心像素点和邻域像素点的隶属度均是偏向于被划分为异常簇类，此时相邻超像素块相对的隶属度影响因子无法使其被划分为背景簇类。进而需要对中心超像素块中像素点的分布情况进行分析，根据中心超像素块中像素点的分布状态进行调整相邻超像素块的影响程度。

中心超像素块中像素点受到其相邻超像素块的影响程度，可以通过中心超像素块的像素点的像素值变化情况进行表征，进而能够获得中心超像素块中每个像素点所受到的影响大小。若中心超像素块可能为甘薯表面的小凹坑所在区域，则该中心超像素块内像素点像素值分布具有一定的规律性，即从边缘部分向中心部分像素点的像素值逐渐减小。此时，采用现有的模糊局部信息聚类算法进行处理时，该中心超像素块会被划分为异常簇类。由于小凹坑的特征区域较小，并不会影响甘薯表面的外观品质，因此，在中心超像素块周围的相邻超像素块可能为正常区域，故可通过增大属于正常区域的相邻超像素块对中心超像素块的影响程度，使得中心超像素块也被划分为正常簇类。

基于此，根据超像素块从边缘部分到中心部分像素点的像素值变化构建第一特征影响因子，具体地，对于任意一个超像素块，获取超像素块的中心像素点以及边缘像素点，在本实施例中，将中心超像素块的质心作为该超像素块的中心像素点。在边缘像素点与中心像素点的连线上获取像素点的像素值变化曲线，记为边缘像素点的特征曲线；计算相邻两个边缘像素点的特征曲线之间的DTW距离，获取所有相邻两个边缘像素点的特征曲线之间的DTW距离的均值的负相关映射值，以均值的负相关映射值与第一预设值的和值作为超像素块的第一特征影响因子。

其中，由于每一个超像素块均可能作为其他相邻超像素块的中心像素块进行分析，故对每一个超像素块均计算获取其对应的特征影响因子，在本实施例中以第z个中心超像素块对应的特征影响因子的计算方法为例进行说明。需要说明的是，根据像素点的像素值以及像素点的位置信息构建像素值变化曲线，为公知技术，在此不再过多介绍。同时，DTW距离通过动态时间规整算法进行获取，也为公知技术，在此不再过多介绍。

所述第一特征影响因子的计算公式具体为：

其中，表示第z个中心超像素块对应的第一特征影响因子，表示第z个中心超像素块的边缘像素点的总数量，表示第r个边缘像素点的特征曲线，表示第r+1个边缘像素点的特征曲线，表示第r个边缘像素点与第r+1个边缘像素点的特征曲线之间的DTW距离，exp( )表示以自然常数e为底的指数函数，第一预设值的取值为1。

边缘像素点的特征曲线反映了超像素块内从边缘部分到中心部分像素点的像素值变化情况，相邻两个边缘像素点的特征曲线之间的DTW距离越小，说明两个边缘像素点对应的连线上像素点的像素值变化情况越相似。所有的相邻两个边缘像素点的特征曲线之间的DTW距离的均值越小，说明在超像素块的边缘像素点对应的连线上像素值变化情况越相似，进而说明超像素块内像素值分布的规律性越强，对应的第一特征影响因子的取值越大。

需要说明的是，利用均值的归一化值加上第一预设值，使得第一特征影响因子的取值大于1，以达到增大相邻超像素块对中心超像素块的影响的目的，两者之间的DTW距离越小，则增大影响的程度越小，两者之间的DTW距离越大，则增大影响的程度越大。

第一特征影响因子表征了中心超像素块内像素点的像素值分布的规律性，在甘薯表面图像中，属于小凹坑的超像素块内像素点像素值分布会呈现为环状向内部逐渐降低的特点，根据该像素值分布的规律性可以确定超像素块内像素点所受影响的大小，即第一特征影响因子的取值越大，对应的超像素块内像素值分布越规律，进而说明超像素块内像素点所受影响应当越大。从而使得小凹坑所在超像素块内所有像素点的隶属度利用特征影响因子校正为正常的背景簇类。

若中心超像素块可能为甘薯表面的泥土所在区域，则该中心超像素块内像素点的像素值变化较为混乱，即中心超像素块内像素点出现了像素值的不确定性变化。此时，采用现有的模糊局部信息聚类算法进行处理时，该中心超像素块会被划分为异常簇类。由于分布区域较小的泥土部分不会影响甘薯表面的外观品质，因此，在中心超像素块周围的相邻超像素块可能为正常区域，故可通过增大属于正常区域的相邻超像素块对中心超像素块的影响程度，使得中心超像素块也被划分为正常簇类。

基于此，根据超像素块内相邻像素点的像素值变化构建第二特征影响因子，具体地，对于任意一个超像素块，在任意一个边缘像素点对应的连线上，计算相邻两个像素点的像素值之间差值的熵值；以超像素块的所有边缘像素点对应的熵值之和的归一化值作为第二特征影响因子。

其中，任意一个边缘像素点对应的连线具体为边缘像素点到超像素块的中心像素点之间的连线，通过统计连线上相邻两个像素点的像素值之间的差值计算熵值，利用熵值反映边缘像素点的特征曲线上像素值波动的混乱程度。同时，熵值的计算方法为公知技术，在此不再过多介绍。

所述第二特征影响因子的计算公式具体为：

其中，表示第z个中心超像素块对应的第二特征影响因子，表示第z个中心超像素块的边缘像素点的总数量，表示第r个边缘像素点对应的熵值，即第r个边缘像素点对应的连线上相邻两个像素点的像素值之间的差值的熵值，Norm( )为归一化函数。

边缘像素点对应的熵值反映了超像素块边缘部分与中心部分的连线上像素点的像素值差异的混乱程度，边缘像素点对应的熵值越大，说明边缘像素点的连线上像素点的像素值差异越混乱，对应的第二特征影响因子的取值越大。

第二特征影响因子表征了中心超像素块内像素点的像素值差异分布的混乱程度，在甘薯表面图像中，属于细小泥土的超像素块内像素点的像素值分布较为复杂，根据该像素值分布的复杂性和混乱性可以确定超像素块内像素点所受影响大小，即第二特征影响因子的取值越大，对应的超像素块内像素值差异分布越混乱，进而说明超像素块内像素点所受影响应当越大。从而使得泥土所在超像素块内所有像素点的隶属度利用特征影响因子校正为正常的背景簇类。

在现有的模糊局部信息聚类算法中，模糊因子用于控制邻居像素对于中心像素的影响，利用现有的模糊因子的计算方法可能将甘薯表面的小凹坑和泥土划分为异常簇类，故本发明实施例通过利用相邻超像素块的相对隶属度与相邻超像素块对应的中心超像素块的特征影响因子，增大相邻像素对中心像素的影响，使得不影响甘薯外观品质的细小凹坑以及泥土部分被划分为正常的背景簇类。

基于此，根据模糊局部信息聚类算法中的模糊因子和第一特征影响因子、第二特征影响因子以及超像素块对应的隶属度得到优选模糊因子，用公式表示为：

其中，表示第i个像素点对于第k个簇类的优选模糊因子，表示模糊局部信息聚类算法中第i个像素点对于第k个簇类的模糊因子，表示第i个像素点所在超像素块的第一特征影响因子，表示第i个像素点所在超像素块的第二特征影响因子，表示第i个像素点，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点，表示第k个簇类中心像素点，表示第i个像素点到该像素点所在超像素块的第n个相邻超像素块的中心像素点之间的欧氏距离，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点到第k个簇类中心像素点的欧氏距离，表示第n个相邻超像素块相对于第i个像素点所在超像素块属于第k个簇类的隶属度，表示第i个像素点所在超像素块的相邻超像素块的总数量，m为模糊参数，经验取值为2。

反映了第i个像素点所在超像素块的相邻超像素块到该像素点的距离，距离越大，相邻超像素块内像素点对于第i个像素点的影响越小，对应的优选模糊因子的取值越小。

第一特征影响因子表征了中心超像素块内像素点的像素值分布的规律性，第二特征影响因子表征了中心超像素块内像素点的像素值差异分布的混乱程度，第一特征影响因子的取值越大，对应的超像素块内像素值分布越规律，第二特征影响因子的取值越大，对应的超像素块内像素值差异分布越混乱，进而说明超像素块内像素点受相邻像素点的影响应当越大，对应的优选模糊因子的取值越大。

在优选模糊因子的计算公式中根据超像素块的隶属度与使得计算公式与模糊局部信息聚类算法中模糊因子统一量纲和表述的含义，在利用优选模糊因子采用模糊局部信息聚类算法对甘薯表面图像进行聚类分割的过程中，在原始像素级的基础上，通过相邻超像素块之间的影响大小对相邻像素之间的影响大小进行分析，能够使得分布区域较小的凹坑和泥土部分被划分为正常簇类。

步骤三，根据优选模糊因子采用模糊局部信息聚类算法对像素点进行聚类，得到至少两个簇类；将每个簇类内所有像素点构成的区域记为待分析区域；根据待分析区域的狭长度和待分析区域内像素点的变化得到注意力权重。

利用优选模糊因子对甘薯表面图像进行FLICM聚类，通过设置簇类数量将甘薯表面图像划分为多个类别。在本实施例中设置簇类数量为4，将甘薯表面图像划分为4个簇类，实施者可根据具体实施场景进行设置。在分割结果中，不影响甘薯外观品质的小凹坑或者泥土部分被划分为了正常的背景簇类，而影响甘薯外观品质的裂口和条沟被分割出来。

在甘薯表面的裂口和条沟所在区域，表现在图中的簇类连通域是具有单向延伸的特征，也即裂口和条沟所在簇类连通域是长条状的连通域。将每个簇类内所有像素点构成的区域记为待分析区域，获取每个待分析区域的最小外接矩形，根据最小外接矩形的长宽比判断待分析区域是否具有长条状的形状特征。

基于此，将待分析区域的最小外接矩形的长和宽的比值作为待分析区域的狭长度。具体地，以待分析区域的狭长度作为待分析区域的第一特征值。第一特征值的取值越大，说明待分析区域具有长条状的特征越显著。对应的待分析区域越可能具有裂口或者条沟等影响甘薯外观品质的特征。

在甘薯表面的裂口和条沟所在区域中像素值的变化是具有一定规律性的，即在区域内像素值的变化呈条状分布，即每行像素点的像素值的波动较小，从区域的上下边缘到中心处像素点的像素值逐渐减小，裂口和条沟的颜色逐渐变深。

基于此，根据待分析区域最小外接矩形内像素值变化得到第二特征值，具体地，对于任意一个待分析区域的最小外接矩形，计算最小外接矩形中每行像素点的像素值均值，构成均值序列；获取均值序列中极值的数量，以极值的数量与最小外接矩形的宽之间的比值作为待分析区域的第二特征值。

其中，在本实施例中，均值序列中极值的数量的获取方法具体为：

若在待分析区域中，行像素值的方差越大说明该行像素点的像素值变化较大，则该行像素点的像素值变化越不具有规律性变化的特征，因此，行内像素值方差越大说明该行像素点在列方向的规律性变化衡量中越不重要。所以，在本实施例中，先对待分析区域的最小外接矩形的每行像素点的像素值方差进行校正，获取每行像素点对应的权重值，表示为，表示第b行像素点对应的权重值，表示第b行像素点的像素值方差，Norm( )为归一化函数。

进而在权重的影响下计算每行像素点与相邻行像素点的像素值均值差异，表示为，，和分别表示第b行像素点的第一均值差异和第二均值差异，和分别表示第b-1行像素点的像素值均值和权重值，和分别表示第b行像素点的像素值均值和权重值，和分别表示第b+1行像素点的像素值均值和权重值。

第一均值差异表示第b行像素点与其相邻的上一行像素点之间的像素值均值差异，第二均值差异表示第b行像素点与其相邻的下一行像素点之间的像素值均值差异，与的正负号不同时，即的符号为正且的符号为负时，或者的符号为负且的符号为正时，第b行像素点的像素均值为均值序列中一个局部的极值。

按照相同的方法获取均值序列中所有局部的极值数量，获取极值数量与最小外接矩形的宽之间的比值，表征均值序列中极值数量的占比情况。极值数量越多，极值数量占比越大，说明待分析区域内像素点的像素值变化越不具有规律性变化的特征。极值数量越少，极值数量占比越小，说明待分析区域内像素点的像素值变化越具有规律性变化的特征。

当待分析区域中像素值变化具有规律性时，说明该待分析去具有影响外观品质的异常特征，所以待分析区域内像素值变化的规律性可以作为判断甘薯外观品质的特征。基于此，根据第一特征值和第二特征值得到各个待分析区域内像素点的注意力权重，即通过特征值获取待分析区域内像素点在深度学习模型中的注意力权重。

具体地，获取第一特征值的归一化值和第二特征值的归一化值的均值，以所述均值与预设值的和值作为待分析区域内像素点的注意力权重。即在本实施例中，采用均值计算作为信息融合方式，将第一特征值和第二特征值进行融合。

步骤四，根据甘薯表面图像和注意力权重得到甘薯的注意力图像，根据所述注意力图像对甘薯进行分类得到甘薯外观品质分类结果。

根据甘薯表面图像中各待分析区域内像素点的注意力权重构建注意力权重矩阵，计算甘薯表面图像与注意力权重矩阵的哈达玛积得到甘薯的注意力图像，其中，注意力权重矩阵的构建方式为公知技术，在此不再详细介绍。

进一步的，根据注意力图像对甘薯进行分类得到甘薯外观品质分类结果，在本实施例中，利用神经网络根据甘薯的注意力图像对甘薯进行分类，将注意力图像输入训练好的神经网络，输出甘薯外观品质分类结果。

所采用的神经网络的相关内容包括：

使用LetNet神经网络，网络的输入为注意力图像，网络的输出为对应的甘薯外观分类结果。先通过卷积和池化来提取图像特征，然后采用反卷积和反池化操作重构图像，最终获得输入图像对应的分类结果。同时，搜集大量甘薯分拣过程中的甘薯表面图像与注意力特征权重构建数据集，进而训练神经网络。人为标注甘薯外观品质类别信息，获得每个甘薯表面图像对应的分类标签信息，其中标注优质类别为0，普通类别为1，低品质类别为2。网络的任务是分类，网络采用的损失函数为交叉熵损失函数。

最终识别获得甘薯的外观品质分类结果后，通过滚轮传送带上的机械臂对甘薯进行分拣。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于深度学习的甘薯外观品质分类方法，其特征在于，该方法包括以下步骤：

采集甘薯表面图像，对甘薯表面图像进行超像素分割得到至少两个超像素块；根据超像素块与其相邻超像素块之间的距离以及超像素块内像素点对应的隶属度，得到超像素块对应的隶属度；

根据超像素块从边缘部分到中心部分像素点的像素值变化构建第一特征影响因子，根据超像素块内相邻像素点的像素值变化构建第二特征影响因子；根据模糊局部信息聚类算法中的模糊因子和第一特征影响因子、第二特征影响因子以及超像素块对应的隶属度得到优选模糊因子；

根据优选模糊因子采用模糊局部信息聚类算法对像素点进行聚类，得到至少两个簇类；将每个簇类内所有像素点构成的区域记为待分析区域；根据待分析区域的狭长度和待分析区域内像素点的变化得到注意力权重；

根据甘薯表面图像和注意力权重得到甘薯的注意力图像，根据所述注意力图像对甘薯进行分类得到甘薯外观品质分类结果；

所述待分析区域的狭长度的获取方法具体为：

将待分析区域的最小外接矩形的长和宽的比值作为待分析区域的狭长度；

所述根据待分析区域的狭长度和待分析区域内像素点的变化得到注意力权重具体为：

以待分析区域的狭长度作为第一特征值；

计算最小外接矩形中每行像素点的像素值均值，构成均值序列；获取均值序列中极值的数量，以极值的数量与最小外接矩形的宽之间的比值作为待分析区域的第二特征值；

获取第一特征值的归一化值和第二特征值的归一化值的均值，以所述均值与预设值的和值作为待分析区域内像素点的注意力权重。

2.根据权利要求1所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述第一特征影响因子的获取方法具体为：

对于任意一个超像素块，获取超像素块的中心像素点以及边缘像素点，在边缘像素点与中心像素点的连线上获取像素点的像素值变化曲线，记为边缘像素点的特征曲线；计算相邻两个边缘像素点的特征曲线之间的DTW距离，获取所有相邻两个边缘像素点的特征曲线之间的DTW距离的均值的负相关映射值，以均值的负相关映射值与第一预设值的和值作为超像素块的第一特征影响因子。

3.根据权利要求2所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述第二特征影响因子的获取方法具体为：

对于任意一个超像素块，在任意一个边缘像素点对应的连线上，计算相邻两个像素点的像素值之间差值的熵值；以超像素块的所有边缘像素点对应的熵值之和的归一化值作为第二特征影响因子。

4.根据权利要求1所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述超像素块对应的隶属度的获取方法具体为：

对于任意一个超像素块，在该超像素块的邻接超像素块中选定中心超像素块，获取中心超像素块的质心；计算超像素块内任意一个像素点到所述质心的距离与预设值之和的倒数，将所述倒数与超像素块内像素点对应的隶属度的乘积记为像素点的特征因子，以超像素块内所有像素点的特征因子的均值作为超像素块相对于中心超像素块的隶属度。

5.根据权利要求1所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述优选模糊因子的获取方法具体为：

其中，表示第i个像素点对于第k个簇类的优选模糊因子，表示模糊局部信息聚类算法中第i个像素点对于第k个簇类的模糊因子，表示第i个像素点所在超像素块的第一特征影响因子，表示第i个像素点所在超像素块的第二特征影响因子，表示第i个像素点，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点，表示第k个簇类中心像素点，表示第i个像素点到该像素点所在超像素块的第n个相邻超像素块的中心像素点之间的欧氏距离，表示第i个像素点所在超像素块的第n个相邻超像素块的中心像素点到第k个簇类中心像素点的欧氏距离，表示第n个相邻超像素块相对于第i个像素点所在超像素块属于第k个簇类的隶属度，表示第i个像素点所在超像素块的相邻超像素块的总数量，m为模糊参数。

6.根据权利要求1所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述根据甘薯表面图像和注意力权重得到甘薯的注意力图像具体为：

根据甘薯表面图像中各待分析区域内像素点的注意力权重构建注意力权重矩阵，计算甘薯表面图像与注意力权重矩阵的哈达玛积得到甘薯的注意力图像。

7.根据权利要求1所述的一种基于深度学习的甘薯外观品质分类方法，其特征在于，所述根据所述注意力图像对甘薯进行分类得到甘薯外观品质分类结果具体为：

将注意力图像输入训练好的神经网络，输出甘薯外观品质分类结果。

Images