CN117011303B - 基于机器视觉的油料生产质量检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，提出了基于机器视觉的油料生产质量检测方法，包括：采集油料包图像并获取其中若干分块；根据分块内像素点灰度值及梯度幅值的分布，获取每个分块的混乱程度；根据相邻分块的混乱程度，得到每个分块的修正系数；根据混乱程度及修正系数，获取每个分块的油脂概率；根据油料包图像中分块的分布及油脂概率，对分块聚类得到油脂区域及酱料区域；对油料包图像中的油脂区域及酱料区域设置不同的异物检测置信度，通过语义分割网络对油料包进行异物检测。本发明旨在解决油料包生产质量检测中由于存在调料颗粒而影响异物检测的问题。

Description

基于机器视觉的油料生产质量检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于机器视觉的油料生产质量检测方法。

背景技术

速食食品的油料包作为食用调味产品，其质量直接影响食品的口味以及食用者的健康；在油料包的生产过程中，可能由于原材料质量问题或生产过程中受到污染，导致生产出的油料包中存在异物，从而造成生产质量问题；然而油料包中通常含有辣椒、芝麻等调料颗粒，通过传统的异常检测算法进行异物检测时会受到调料颗粒的干扰，进而无法得到准确的异物检测效果。

通过神经网络对油料包中异物进行分析，而统一的对于异物的置信度会导致油料包中不同区域检测得到的异物结果存在差异；油料包中油脂区域通常含有较少调料颗粒，而酱料区域含有较多调料颗粒，为了避免这种调料颗粒的干扰，则需要对油料包进行油脂区域及酱料区域的分析；而调料颗粒会离散分布在油料包中，局部的调料颗粒会导致油料区域或酱料区域的分析出现错误，进而影响最终的异物分析，因此需要在分区域过程中降低调料颗粒带来的影响。

发明内容

本发明提供基于机器视觉的油料生产质量检测方法，以解决现有的油料包生产质量检测中由于存在调料颗粒而影响异物检测的问题，所采用的技术方案具体如下：

本发明一个实施例提供了基于机器视觉的油料生产质量检测方法，该方法包括以下步骤：

采集油料包图像并获取其中若干分块；

根据分块内像素点灰度值及梯度幅值的分布，获取每个分块的混乱程度；根据相邻分块的混乱程度，得到每个分块的修正系数；

根据混乱程度及修正系数，获取每个分块的油脂概率；根据油料包图像中分块的分布及油脂概率，对分块聚类得到油脂区域及酱料区域；

对油料包图像中的油脂区域及酱料区域设置不同的异物检测置信度，其中油脂区域的异物检测置信度大于酱料区域的异物检测置信度，通过语义分割网络对油料包进行异物检测。

进一步的，所述采集油料包图像并获取其中若干分块，包括的具体方法为：

采集油料包的正面图像，灰度化得到油料灰度图像，通过大津阈值分割得到油料灰度图像的分割阈值，提取油料灰度图像中小于等于分割阈值的若干像素点，组成油料包图像；

对油料包图像进行均匀划分，得到若干分块。

进一步的，所述每个分块的混乱程度，具体的获取方法为：

获取每个分块中每个像素点的灰度值及梯度幅值，获取每个分块的中心像素点；第个分块的混乱程度/>的计算方法为：

其中，表示第/>个分块中像素点的数量，/>表示第/>个分块中第/>个像素点的灰度值，/>表示第/>个分块的中心像素点的灰度值，/>表示第/>个分块中第/>个像素点与中心像素点连接的线段上梯度幅值最大的像素点的梯度幅值，/>表示求绝对值。

进一步的，所述得到每个分块的修正系数，包括的具体方法为：

根据每个分块及相邻分块的混乱程度，获取每个分块的局部混乱均值、局部混乱方差及邻域混乱方差；第个分块的修正系数/>的计算方法为：

其中，表示第/>个分块的局部混乱均值，/>表示第/>个分块的混乱程度，/>表示第个分块的局部混乱方差，/>表示第/>个分块的邻域混乱方差，/>表示求绝对值，/>表示求最大值，/>为避免分母为0的超参数。

进一步的，所述每个分块的局部混乱均值、局部混乱方差及邻域混乱方差，具体的获取方法为：

获取第个分块所有相邻的分块作为参考分块，获取第/>个分块及所有参考分块的混乱程度的均值及方差，记为第/>个分块的局部混乱均值及局部混乱方差；获取所有参考分块的混乱程度的方差，记为第/>个分块的邻域混乱方差。

进一步的，所述每个分块的油脂概率，具体的获取方法为：

将每个分块的修正系数加1的和，与对应分块混乱程度的乘积，作为每个分块的修正后混乱程度；对所有修正后混乱程度进行线性归一化，得到的结果作为每个分块的混乱系数，将1减去混乱系数得到的差值，作为每个分块的油脂概率。

进一步的，所述对分块聚类得到油脂区域及酱料区域，包括的具体方法为：

对于第个分块及第/>个分块，两个分块用于聚类的距离度量/>的计算方法为：

其中，表示第/>个分块的油脂概率，/>表示第/>个分块的油脂概率，/>表示所有分块的油脂概率的最大值，/>表示所有分块的油脂概率的最小值，/>表示第/>个分块的中心像素点与第/>个分块的中心像素点的欧式距离，/>表示油料包图像的长边的长度，表示油料包图像的短边的长度；获取任意两个分块的距离度量；

根据分块的距离度量进行聚类，并分析得到油脂区域及酱料区域。

进一步的，所述根据分块的距离度量进行聚类，并分析得到油脂区域及酱料区域，包括的具体方法为：

对所有分块根据距离度量进行K-means聚类，得到两个聚簇，计算两个聚簇中分块的混乱程度均值，将混乱程度均值最小的聚簇中所有分块作为油脂部分；

根据油脂部分中像素点的灰度值及油料包图像，获取油料包图像中的油脂区域及酱料区域。

进一步的，所述油料包图像中的油脂区域及酱料区域，具体的获取方法为：

对油脂部分进行大津阈值分割，得到分割阈值，将油脂部分中灰度值大于分割阈值的像素点，组成的区域记为油脂区域，油料包图像中不属于油脂区域的像素点组成的区域记为酱料区域。

进一步的，所述通过语义分割网络对油料包进行异物检测，包括的具体方法为：

获取用于异物检测的训练完成的语义分割网络，将油料包图像输入到训练完成的语义分割网络中，输出得到油料包图像中每个像素点为异物的概率，记为异物概率；

若像素点属于油脂区域，且异物概率大于油脂区域的异物检测置信度，该像素点为油脂区域中的异物；若像素点属于酱料区域，且异物概率大于酱料区域的异物检测置信度，该像素点为酱料区域中的异物；对油料包图像中每个像素点进行异物判断。

本发明的有益效果是：本发明通过对油料包进行油脂区域及酱料区域划分，通过对不同区域设置不同的异物检测置信度，来避免调料颗粒对于油料包中异物检测的影响；其中通过分块划分，根据分块中灰度值及梯度值的分布得到混乱程度，并结合相邻分块的混乱程度进行修正，最终得到油脂概率，减小离散分布的调料颗粒对油脂部分的获取造成的影响，进而提高油脂区域及酱料区域获取的准确性，并通过语义分割网络来识别异物，保证最终油料生产质量检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于机器视觉的油料生产质量检测方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的基于机器视觉的油料生产质量检测方法流程图，该方法包括以下步骤：

步骤S001、采集油料包图像并获取其中若干分块。

本实施例的目的是对油料包进行生产质量检测，通过检测油料包图像中的异物来实现生产质量分析判断，因此首先需要获取油料包图像；由于油料包中包含油脂及酱料，油料包生产后通过传送带进行输送，而经过灰度化后，油脂及酱料相较于白色（灰度值255）的灰度值差异较大，即油脂及酱料颜色较深，可以通过阈值分割得到油料包区域，进而得到用于后续分析的油料包图像。

具体的，本实施例采用白色的传送带对油料包进行输送，并采用工业相机对每个油料包进行正面图像采集，获取到正面图像后，对正面图像进行灰度化得到油料灰度图像，通过大津阈值分割得到油料灰度图像的分割阈值，提取油料灰度图像中小于等于分割阈值的若干像素点，组成油料包图像，即油料包的灰度图像；对油料包图像进行均匀划分，划分为个分块，本实施例采用/>进行叙述，则对油料包图像得到了若干分块。

至此，得到了油料包图像及若干分块。

步骤S002、根据分块内像素点灰度值及梯度幅值的分布，获取每个分块的混乱程度；根据相邻分块的混乱程度，得到每个分块的修正系数。

需要说明的是，油料包中存在辣椒、芝麻等调料颗粒，在对图像进行分块处理后，在单块内的表现为组成成分较多、灰度差别明显及梯度较大等特性，因此通过构建混乱程度来初步分析分块中油脂或酱料的分布；而调料颗粒多分布于酱料中，少数离散分布在油脂中，而包含调料颗粒的油脂部分对应分块的混乱程度会较大，同时该分块会被其他油脂部分的分块所包围，因此需要修正该分块的混乱程度使其作为油脂部分，后续再对油脂部分通过阈值分割来筛除掉其中的调料颗粒，通过该分块的混乱程度及相邻分块的混乱程度得到修正系数，完成对混乱程度较大的可能的油脂部分的分块的混乱程度的修正，混乱程度即为分块内部包含成分的复杂度。

进一步需要说明的是，油脂部分的分块中主要成分为油脂，油脂的灰度分布较为均匀，灰度变化较小；而酱料区域由于成分复杂，灰度变化较大，灰度的组成也较多，因此分块中像素点的梯度幅值也较大，则可以利用分块内灰度值及梯度幅值的分布，得到每个分块的混乱程度。

具体的，对于第个分块，获取该分块中每个像素点的灰度值，通过Sobel算子得到每个像素点的梯度幅值，Sobel算子为公知技术，本实施例不再赘述；获取第/>个分块的中心像素点，分块的中心获取为现有技术，本实施例不再赘述；则第/>个分块的混乱程度/>的计算方法为：

其中，表示第/>个分块中像素点的数量，/>表示第/>个分块中第/>个像素点的灰度值，/>表示第/>个分块的中心像素点的灰度值，/>表示第/>个分块中第/>个像素点与中心像素点连接的线段上梯度幅值最大的像素点的梯度幅值，/>表示求绝对值；首先通过分块内像素点的灰度值与中心像素点的灰度值差异来参与混乱程度量化，灰度差异越大，灰度分布越不均匀，同时将该像素点与中心像素点连线上的梯度幅值最大值来作为置信度，梯度幅值越大，同时灰度差异越大，分块内两像素点属于不同成分的可能性越大，分块为油脂部分的可能性就会越小；按照上述方法获取每个分块的混乱程度。

进一步需要说明的是，对于混乱程度较大的分块，需要根据相邻分块的混乱程度对混乱程度进行修正，即由于调料颗粒的离散分布导致油脂部分的分块的混乱程度增加，对于这种情况，需要获取修正系数来调小混乱程度，进而提高这些分块后续的油脂概率，使其能够分入油脂部分。

具体的，对于第个分块，获取其相邻的分块作为参考分块，本实施例相邻采用八邻域来进行定义，需要说明的是，若分块由于处于油料包图像的边界位置，导致获取相邻的分块数量不足八个，则以实际获取到的相邻的分块来进行后续分析；获取第/>个分块及其所有参考分块的混乱程度的均值及方差，记为第/>个分块的局部混乱均值及局部混乱方差；获取第/>个分块的所有参考分块的混乱程度的方差，记为第/>个分块的邻域混乱方差；则第/>个分块的修正系数/>的计算方法为：

其中，表示第/>个分块的局部混乱均值，/>表示第/>个分块的混乱程度，/>表示第个分块的局部混乱方差，/>表示第/>个分块的邻域混乱方差，/>表示求绝对值，/>表示求最大值，/>为避免分母为0的超参数，本实施例采用/>进行叙述；通过局部混乱均值与混乱程度的差值与差异的比值，若比值为负数，表明混乱程度大于相邻分块的混乱程度均值，为存在调料颗粒的油脂部分的分块的可能性较大，需要调小混乱程度，则修正系数为负数；若比值为正数，混乱程度小于相邻分块的混乱程度均值，则需要调大混乱程度来保持与相邻分块一致，修正系数为正数；而若局部混乱方差大于邻域混乱方差，且相差越大，为存在调料颗粒的油脂部分的分块的可能性越大，则修正系数需要越大，同时若小于，则无需进行修正，修正系数为0；按照上述方法获取每个分块的修正系数。

至此，获取到了每个分块的混乱程度及修正系数。

步骤S003、根据混乱程度及修正系数，获取每个分块的油脂概率；根据油料包图像中分块的分布及油脂概率，对分块聚类得到油脂区域及酱料区域。

需要说明的是，获取到混乱程度及修正系数后，通过修正系数对混乱程度进行修正，修正后的混乱程度越小则油脂概率越大，则可以得到每个分块的油脂概率，再结合油脂及酱料分区域分布的特点，将油脂概率及分块间的距离来作为聚类的距离度量，进而得到油脂部分及酱料部分，再通过阈值分割对油脂部分得到油脂区域，筛除掉其中可能存在影响的调料颗粒。

具体的，将每个分块的修正系数加1的和，与对应分块混乱程度的乘积，作为每个分块的修正后混乱程度；对所有修正后混乱程度进行线性归一化，得到的结果作为每个分块的混乱系数，将1减去混乱系数得到的差值，作为每个分块的油脂概率，则得到了每个分块的油脂概率。

进一步的，对于第个分块及第/>个分块，其中/>，两个分块用于聚类的距离度量/>的计算方法为：

其中，表示第/>个分块的油脂概率，/>表示第/>个分块的油脂概率，/>表示所有分块的油脂概率的最大值，/>表示所有分块的油脂概率的最小值，/>表示第/>个分块的中心像素点与第/>个分块的中心像素点的欧式距离，/>表示油料包图像的长边的长度，表示油料包图像的短边的长度；则根据油脂概率及分块间的距离得到了距离度量，按照上述方法获取任意两个分块的距离度量。

进一步的，对所有分块根据距离度量进行K-means聚类，本实施例设置K值为2，对所有分块根据度量进行聚类，得到两个聚簇，计算两个聚簇中分块的混乱程度均值，将混乱程度均值最小的聚簇中所有分块作为油脂部分；对油脂部分进行大津阈值分割，得到分割阈值，将油脂部分中灰度值大于分割阈值的像素点，组成的区域记为油脂区域，油料包图像中不属于油脂区域的像素点组成的区域记为酱料区域。

至此，获取到了油料包图像中的油脂区域及酱料区域。

步骤S004、对油料包图像中的油脂区域及酱料区域设置不同的异物检测置信度，其中油脂区域的异物检测置信度大于酱料区域的异物检测置信度，通过语义分割网络对油料包进行异物检测。

需要说明的是，获取到油料包图像中的油脂区域及酱料区域后，则可以采用语义分割的方式，通过DNN神经网络对油料包进行异物检测，并对油脂区域及酱料区域设置不同的异物检测置信度，油脂区域中存在对异物检测产生干扰的调料颗粒的概率较小，需要设置较大的异物检测置信度；而酱料区域中存在较多干扰异物检测的调料颗粒，因此需要设置较小的异物检测置信度，进而通过语义分割网络完成油料包的异物检测，从而实现油料包的生产质量检测。

具体的，本实施例语义分割网络采用DNN网络，DNN网络采用Encoder-Decoder的结构，本实施例对于油脂区域的异物检测置信度设置为0.8，对于酱料区域的异物检测置信度设置为0.4；训练集通过获取大量油料包的灰度图像来构成，并对训练集中每张灰度图像进行人工标注，属于异物的像素点标记为1，其他像素点标记为0；损失函数采用交叉熵损失函数，通过训练集对语义分割网络进行训练，得到训练完成的语义分割网络。

进一步的，将油料包图像输入到训练完成的语义分割网络中，输出得到油料包图像中每个像素点为异物的概率，记为异物概率，若像素点属于油脂区域，且异物概率大于0.8，则该像素点为油脂区域中的异物；若像素点属于酱料区域，且异物概率大于0.4，则该像素点为酱料区域中的异物；按照上述方法对油料包图像中每个像素点进行异物判断，则对油料包进行了异物检测，完成了油料包的生产质量检测。

至此，通过机器视觉完成了对于油料包的生产质量检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于机器视觉的油料生产质量检测方法，其特征在于，该方法包括以下步骤：

采集油料包图像并获取其中若干分块；

根据分块内像素点灰度值及梯度幅值的分布，获取每个分块的混乱程度；根据相邻分块的混乱程度，得到每个分块的修正系数；

根据混乱程度及修正系数，获取每个分块的油脂概率；根据油料包图像中分块的分布及油脂概率，对分块聚类得到油脂区域及酱料区域；

对油料包图像中的油脂区域及酱料区域设置不同的异物检测置信度，其中油脂区域的异物检测置信度大于酱料区域的异物检测置信度，通过语义分割网络对油料包进行异物检测；

所述得到每个分块的修正系数，包括的具体方法为：

根据每个分块及相邻分块的混乱程度，获取每个分块的局部混乱均值、局部混乱方差及邻域混乱方差；第个分块的修正系数/>的计算方法为：

其中，表示第/>个分块的局部混乱均值，/>表示第/>个分块的混乱程度，/>表示第/>个分块的局部混乱方差，/>表示第/>个分块的邻域混乱方差，/>表示求绝对值，/>表示求最大值，/>为避免分母为0的超参数；

所述每个分块的局部混乱均值、局部混乱方差及邻域混乱方差，具体的获取方法为：

获取第个分块所有相邻的分块作为参考分块，获取第/>个分块及所有参考分块的混乱程度的均值及方差，记为第/>个分块的局部混乱均值及局部混乱方差；获取所有参考分块的混乱程度的方差，记为第/>个分块的邻域混乱方差。

2.根据权利要求1所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述采集油料包图像并获取其中若干分块，包括的具体方法为：

采集油料包的正面图像，灰度化得到油料灰度图像，通过大津阈值分割得到油料灰度图像的分割阈值，提取油料灰度图像中小于等于分割阈值的若干像素点，组成油料包图像；

对油料包图像进行均匀划分，得到若干分块。

3.根据权利要求1所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述每个分块的混乱程度，具体的获取方法为：

获取每个分块中每个像素点的灰度值及梯度幅值，获取每个分块的中心像素点；第个分块的混乱程度/>的计算方法为：

其中，表示第/>个分块中像素点的数量，/>表示第/>个分块中第/>个像素点的灰度值，表示第/>个分块的中心像素点的灰度值，/>表示第/>个分块中第/>个像素点与中心像素点连接的线段上梯度幅值最大的像素点的梯度幅值，/>表示求绝对值。

4.根据权利要求1所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述每个分块的油脂概率，具体的获取方法为：

将每个分块的修正系数加1的和，与对应分块混乱程度的乘积，作为每个分块的修正后混乱程度；对所有修正后混乱程度进行线性归一化，得到的结果作为每个分块的混乱系数，将1减去混乱系数得到的差值，作为每个分块的油脂概率。

5.根据权利要求1所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述对分块聚类得到油脂区域及酱料区域，包括的具体方法为：

对于第个分块及第/>个分块，两个分块用于聚类的距离度量/>的计算方法为：

其中，表示第/>个分块的油脂概率，/>表示第/>个分块的油脂概率，/>表示所有分块的油脂概率的最大值，/>表示所有分块的油脂概率的最小值，/>表示第/>个分块的中心像素点与第/>个分块的中心像素点的欧式距离，/>表示油料包图像的长边的长度，/>表示油料包图像的短边的长度；获取任意两个分块的距离度量；

根据分块的距离度量进行聚类，并分析得到油脂区域及酱料区域。

6.根据权利要求5所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述根据分块的距离度量进行聚类，并分析得到油脂区域及酱料区域，包括的具体方法为：

对所有分块根据距离度量进行K-means聚类，得到两个聚簇，计算两个聚簇中分块的混乱程度均值，将混乱程度均值最小的聚簇中所有分块作为油脂部分；

根据油脂部分中像素点的灰度值及油料包图像，获取油料包图像中的油脂区域及酱料区域。

7.根据权利要求6所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述油料包图像中的油脂区域及酱料区域，具体的获取方法为：

对油脂部分进行大津阈值分割，得到分割阈值，将油脂部分中灰度值大于分割阈值的像素点，组成的区域记为油脂区域，油料包图像中不属于油脂区域的像素点组成的区域记为酱料区域。

8.根据权利要求1所述的基于机器视觉的油料生产质量检测方法，其特征在于，所述通过语义分割网络对油料包进行异物检测，包括的具体方法为：

获取用于异物检测的训练完成的语义分割网络，将油料包图像输入到训练完成的语义分割网络中，输出得到油料包图像中每个像素点为异物的概率，记为异物概率；

若像素点属于油脂区域，且异物概率大于油脂区域的异物检测置信度，该像素点为油脂区域中的异物；若像素点属于酱料区域，且异物概率大于酱料区域的异物检测置信度，该像素点为酱料区域中的异物；对油料包图像中每个像素点进行异物判断。