CN117173169A - 基于图像处理的预制菜分选方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，提出了基于图像处理的预制菜分选方法，包括：获取预制菜封装灰度图；根据预制菜封装灰度图的灰度值分布直方图获取灰度频率矩阵；根据灰度频率矩阵获取每个像素点的局部异质性；根据每个像素点的局部异质性获取局部异质性矩阵；根据预制菜封装灰度图获取图像深度矩阵；根据图像深度矩阵获取局部异质性能量矩阵；根据图像深度矩阵获取凸显度系数；根据局部异质性能量矩阵获取四通道图像；根据凸显度系数获取加权交叉熵损失函数；根据四通道图像和加权交叉熵损失函数对预制菜进行分选。本发明根据预制菜封装出现的缺陷特征构建特征矩阵进行分选，提高预制菜分选的精度。

Description

基于图像处理的预制菜分选方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于图像处理的预制菜分选方法。

背景技术

预制菜是指在售卖之前经过提前加工的成品、半成品的食物。预制菜大致分为即配、即烹、即热、即食四大类。其中，即配是指在商家售卖之前将菜品配好，用户买回来是免切免洗的，可以节省用户配菜时的时间；即烹是指用户买完只需加热烹饪即可的菜品，可以进一步满足用户的需求；即热是指加热便可以吃的食物，可以帮助节省做饭时间；即食则是指开袋便可以直接食用的菜品，省去了繁琐的烹饪环节。

在预制菜的生产过程中，包括食材的选购、处理、加工、调味、封装等诸多环节。其中封装是较为重要和容易出错的环节。若封装出现问题，例如出现鼓包或凹陷以及裂缝等会带来食品安全隐患。因此，在预制菜投入市场售卖之前需要进行合格菜品的分选。由于菜品数量较大，采用传统的缺陷检测算法进行处理精度较低，导致不合格产品流入市场。

发明内容

本发明提供基于图像处理的预制菜分选方法，以解决预制菜封装检测精度较低的问题，所采用的技术方案具体如下：

本发明一个实施例基于图像处理的预制菜分选方法，该方法包括以下步骤：

获取预制菜封装灰度图；

计算预制菜封装灰度图的灰度分布直方图，根据灰度分布直方图获取灰度频率矩阵；以灰度频率矩阵中每个元素为中心构建目标窗口、中心窗口和滑动相似窗口，根据滑动相似窗口和中心窗口的差异获取滑动相似窗口的异质性；根据目标窗口内滑动相似窗口的异质性获取所述灰度频率矩阵中每个元素的局部异质性；根据所述每个元素的局部异质性获取局部异质性矩阵；

计算预制菜封装灰度图的图像深度矩阵的深度能量值，根据所述深度能量值和所述局部异质性矩阵获取局部异质性能量矩阵；计算所述图像深度矩阵的深度梯度矩阵，计算所述深度梯度矩阵的同质性指数，根据所述同质性指数获取预制菜封装灰度图的凸显度系数；

根据所述局部异质性能量矩阵获取四通道图像；根据所述凸显度系数计算加权交叉熵函数；根据所述四通道图像和加权交叉熵函数完成对预制菜的分选。

优选的，所述计算预制菜封装灰度图的灰度分布直方图，根据灰度分布直方图获取灰度频率矩阵的方法为：

获取预制菜封装灰度图的灰度分布直方图，将所述灰度分布直方图中每个像素点灰度值对应的频率替换所述预制菜封装灰度图中每个像素点的灰度值的结果图像作为频率灰度图，将所述频率灰度图中像素点的坐标信息作为矩阵中对应元素的位置信息构建灰度频率矩阵。

优选的，所述以灰度频率矩阵中每个元素为中心构建目标窗口、中心窗口和滑动相似窗口，根据滑动相似窗口和中心窗口的差异获取滑动相似窗口的异质性的方法为：

以灰度频率矩阵中每个元素为中心分别构建第一预设数值大小的目标窗口和第二预设数值大小的中心窗口，在所述目标窗口内构建与所述中心窗口大小相同的滑动相似窗口，计算所述中心窗口内元素的均值和方差作为中心窗口的第一均值和第一方差，计算所述滑动相似窗口内元素的均值和方差作为滑动相似窗口的第二均值和第二方差，计算所述中心窗口的第一均值与所述滑动相似窗口的第二均值差值的绝对值作为滑动相似窗口的第一差值，计算所述中心窗口的第一方差与所述滑动相似窗口的第二方差差值的绝对值作为滑动相似窗口第二差值，计算所述滑动相似窗口的第一差值和第二差值的乘积作为滑动相似窗口的异质性。

优选的，所述根据目标窗口内滑动相似窗口的异质性获取所述灰度频率矩阵中每个元素的局部异质性的方法为：

根据目标窗口内的第一预设数量的滑动相似窗口的异质性构成目标异质性序列，计算目标异质性序列的信息熵作为目标窗口中心元素的局部异质性。

优选的，所述根据所述每个元素的局部异质性获取局部异质性矩阵的方法为：

根据灰度频率矩阵中每个元素对应的局部异质性和元素所在的位置信息构建与灰度频率矩阵相同大小的矩阵作为局部异质性矩阵。

优选的，所述计算预制菜封装灰度图的图像深度矩阵的深度能量值，根据所述深度能量值和所述局部异质性矩阵获取局部异质性能量矩阵的方法为：

采用GCNDepth图卷积神经网络模型对预制菜封装灰度图进行深度估计获取图像深度矩阵，将所述图像深度矩阵中每个元素与所述图像深度矩阵中最大元素的差值平方在所述图像深度矩阵上的累加和作为预制菜封装灰度图的深度能量值，计算所述深度能量值和局部异质性矩阵的乘积作为预制菜封装灰度图的局部异质性能量矩阵。

优选的，所述计算所述图像深度矩阵的深度梯度矩阵，计算所述深度梯度矩阵的同质性指数，根据所述同质性指数获取预制菜封装灰度图的凸显度系数的方法为：

式中，表示深度梯度矩阵的同质性指数，表示深度梯度矩阵中第个元素， 表示深度梯度矩阵中元素的数量，表示归一化函数，表示预制菜封装灰度图的 凸显度系数。

优选的，所述根据所述局部异质性能量矩阵获取四通道图像的方法为：

将局部异质性能量矩阵作为第四通道图像，根据所述第四通道图像与预制菜封装RGB三通道图像获取四通道图像。

优选的，所述根据所述凸显度系数计算加权交叉熵函数的方法为：

式中，表示加权交叉熵损失函数；表示每一次网络训练用到的样本量，表示网 络训练过程中标签的数量；表示分类模型对第个样本标签的预测值；表示第个样本 属于所述标签的概率；表示第个样本的凸显度系数。

优选的，所述根据所述四通道图像和加权交叉熵函数完成对预制菜的分选的方法为：

将四通道图像作为ResNet50深度残差神经网络模型的输入，加权交叉熵函数作为ResNet50深度残差神经网络模型的损失函数，利用ResNet50深度残差神经网络模型完成对预制菜的分选。

本发明的有益效果是：通过分析预制菜封装可能出现的凹陷、鼓包等缺陷特征，构建局部异质性矩阵，可以准确的反映预制菜封装图像中局部差异性特征；基于预制菜封装深度图反映的缺陷特征计算深度能量值，根据深度能量值和局部异质性矩阵的计算局部异质性能量矩阵可以进一步突出预制菜封装出现的缺陷特征；根据预制菜封装深度图计算深度梯度矩阵获取凸显度系数，可以表示预制菜封装存在缺陷的可能性。基于局部异质性矩阵和凸显度系数对预制菜进行分选，其有益效果在于考虑预制菜封装存在的缺陷特征改进ResNet50深度残差神经网络模型的输入和损失函数，提高预制菜分选的精度，避免不合格产品流入市场。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于图像处理的预制菜分选方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例提供的基于图像处理的预制菜分选方法流程图，该方法包括以下步骤：

步骤S001，获取预制菜封装灰度图像。

随着经济的发展，社会上对预制菜的需求也不断增加。目前市面上预制菜类型较多，为了更好的延长菜品的有效期，预制菜在进入市场之前都需要对菜品进行封装，而封装的质量直接关系预制菜的食用安全问题，因此在产品进入市场之前进行封装合格的分选尤为重要。

采用CCD工业相机拍摄生产线上的封装完成的预制菜产品，获取预制菜封装RGB图像作为待检测对象。由于预制菜封装拍摄过程中会受到环境干扰导致图像质量较差，采用非局部均值去噪算法对预制菜封装图像进行降噪处理，采用Retinex图像增强算法对图像进行增强处理，降低环境影响因素对预制菜封装特征分析的影响，完成对预制菜封装图像的预处理。将采集的预制菜封装RGB图像转换为灰度图像作为预制菜封装灰度图，非局部均值去噪和Retinex图像增强算法为公知技术，具体过程不再赘述。

至此，获取了预制菜封装灰度图。

步骤S002，根据灰度图像的灰度分布直方图获取灰度频率矩阵，根据灰度频率矩阵获取局部异质性矩阵。

预制菜封装后出现凹陷和鼓包等现象是因为封装不合格导致的菜品变质，因此在检测预制菜封装过程中出现凹陷和鼓包等缺陷时会影响检测结果。因此考虑预制菜封装产品出现缺陷的特征，计算缺陷特征值。

具体的，根据获取的预制菜封装灰度图统计像素点的灰度值出现的频率，将图像 中像素点的灰度级作为横坐标，将预制菜封装灰度图中每个灰度级下像素点出现的频率作 为纵坐标，得到预制菜封装灰度图的灰度分布直方图；进一步根据灰度分布直方图将预制 菜封装灰度图中像素点的灰度值替换为该像素点对应的频率获取预制菜封装灰度图对应 的频率灰度图，将频率灰度图中每个像素点的坐标信息作为矩阵中对应元素的位置信息， 构建灰度频率矩阵。基于灰度频率矩阵进行局部特征分析考虑了全局信息，更准确的反映 预制菜封装存在的缺陷特征信息。

以灰度频率矩阵中的元素为中心构建目标窗口和的中心窗口，其中 的大小取经验值39，的大小取经验值5，在目标窗口内构建与中心窗口大小相同的滑动相 似窗口，滑动步长为1，滑动顺序为从目标窗口的左上角出发以从左到右、从上到下的顺序 遍历，滑动相似窗口的数量为，计算中心窗口与每个滑动相似窗口的异质性，具体公式如 下：

式中，和分别表示灰度频率矩阵中以第个元素为中心建立的中心窗口内元 素的均值和方差；和分别表示灰度频率矩阵中以第个元素为中心建立的目标窗口 内第个滑动相似窗口内元素的均值和方差；表示灰度频率矩阵中以第个元素为中心 建立的目标窗口内第个滑动相似窗口的异质性。若预制菜封装存在凹陷、鼓包等缺陷影 响，即目标窗口对应预制菜封装灰度图中的区域局部特征信息差异较大时，计算得到的和的值较大，即得到的值越大。

根据上述将计算可以获取目标窗口内每个滑动相似窗口的异质性，基于滑动相似 窗口的异质性可以构成目标窗口的异质性特征序列，计算异质性特征序列的信息熵作为目 标窗口中心元素的局部异质性，例如灰度频率矩阵中以第个元素确定的目标窗口对应的 异质性特征序列为，计算序列的信息熵为，则表示灰度频率矩阵 中第个元素的局部异质性。通过上述计算灰度频率矩阵中每个元素的局部异质性，根据灰 度频率矩阵中每个元素的局部异质性和位置信息可以获取预制菜封装灰度图的局部异质 性矩阵。

至此，获取了预制菜封装灰度图的局部异质性矩阵。

步骤S003，根据灰度图像获取图像深度矩阵，根据深度图像矩阵获取局部深度能量异质性矩阵，根据深度能量矩阵获取凸显度系数。

采用GCNDepth图卷积神经网络模型对预制菜封装图像进行深度估计，输入为预制 菜封装灰度图，以交叉熵函数为损失函数，以Adam为优化算法，得到预制菜封装灰度图中每 个像素点的深度信息，GCNDepth图卷积神经网络模型的训练过程为公知技术，不再赘述。根 据预制菜封装灰度的每个像素点的深度信息构建与预制菜封装灰度图相同大小的图像深 度矩阵，根据图像深度矩阵计算深度能量值，反映预制菜封装灰度图的深度差异，具体的 计算过程如下：

式中，表示图像深度矩阵中在位置处的深度值；图像深度矩阵是行列 的矩阵；表示图像深度矩阵中的最大深度值；表示图像深度矩阵的深度能量值。若 预制菜封装出现封装鼓包、凹陷等缺陷，使预制菜封装灰度图表现的深度差异较大，计算图 像深度矩阵中每个元素相对于元素最大值的差异越大，即计算得到的的值越大，随着深 度能量值的值越大，表示预制菜封装出现凹陷、鼓包的可能性越大。

根据预制菜封装的局部异质性矩阵与深度能量值计算局部异质性能量矩阵，考虑预制菜封装出现凹陷、鼓包等情况时灰度分布差异和深度差异，具体计算过程如下：

式中，表示预制菜封装灰度图的局部异质性矩阵，其中每个元素代表其邻域内像 素分布的情况；表示图像深度矩阵的深度能量值；表示预制菜封装灰度图的局部异质 性能量矩阵。考虑深度能量值对局部异质性能量矩阵进行加权，反映预制菜封装灰度图的 出现凹陷、鼓包等缺陷的特征。

进一步采用Sobel算子计算图像深度矩阵的深度梯度矩阵，输入为图像深度矩 阵，得到相应的一阶梯度矩阵作为深度梯度矩阵，根据深度梯度信息计算预制菜封装的 凸显度系数，根据Sobel算子获取梯度信息的具体计算过程为公知技术，不再进行赘述。其 中，同质性指数的计算过程如下：

式中，表示深度梯度矩阵中第个元素的值；和分别表示深度梯度矩阵的均 值和标准差；表示深度梯度矩阵中元素的数量；则表示深度梯度矩阵的整体偏度， 表示深度梯度矩阵的同质性指数。由于出现鼓包或凹陷等封装缺陷时深度图上深度的变化 表现较为均匀，而预制菜封装灰度图的深度梯度矩阵C的整体偏度的值较大时，表明其深 度分布越不均匀，即预制菜封装灰度图中存在凹陷或鼓包的期望越小，同质性指数的值 越小。根据同质性指数计算凸显度系数，具体计算公式如下：

式中，表示归一化函数；表示深度梯度矩阵中第个元素的值；表示 同质性指数；表示深度梯度矩阵C中元素的数量。若预制菜封装存在凹陷或鼓包的可能性 越大，则值和的值越大，凸显度系数越大；若预制菜封装存在凹陷或鼓包的可能性越 小，则值和的值越小，即计算得到的的值越小。

至此，获取了预制菜封装灰度图的局部异质性能量矩阵和凸显度系数。

步骤S004，根据局部深度能量异质性矩阵获取四通道图像，根据凸显度系数获取加权交叉熵函数，根据四通道图像和加权交叉熵函数完成预制菜的分选。

采用ResNet50深度残差神经模型作为最终的分类模型，ResNet50深度残差神经模型通过残差模块解决了梯度消失和梯度爆炸问题。残差网络的核心思想是将每个附加层都应该更容易地包含原始函数作为其元素之一。该网络模型的输入是一张RGB三通道图像，经过ResNet50深度残差神经网络模型到输出的5个阶段，共经过了50个层，损失函数采用交叉熵损失，优化算法采用随机梯度下降法，最终通过一个全连接网络进行分类，可以将预制菜分选为合格与不合作两类。

在这里进行分类训练时，将原始的输入RGB三通道图像加入上述得到的表示预制 菜封装存在凹陷或鼓包等缺陷的局部异质性能量矩阵，即输入为RGB-F四通道图像，得到 每张图像的分类结果。由于不同的图像预制菜封装的凹陷和鼓包程度不同，因此在进行梯 度反向传播时将凸显度系数作为交叉熵损失函数的影响因子共同影响反向梯度传播过 程，根据不同缺陷程度的图像获取不同的权重系数，具体计算过程如下：

式中，表示加权交叉熵损失函数；表示每一次网络训练用到的样本量，表示网 络训练过程中标签的数量；表示分类模型对第个样本标签的预测值；表示第个样本 属于所述标签的概率；表示第个样本的凸显度系数。

至此，通过以上步骤，可以得到针对预制菜封装存在凹陷或鼓包缺陷调整的分类模型，能够更好的对预制菜进行分选，根据输入的预制菜封装图像，可以得到该图像对应的合格或不合格的输出结果，根据输出结果的不同将预制菜封装进行合格与不合格的分选。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于图像处理的预制菜分选方法，其特征在于，该方法包括以下步骤：

获取预制菜封装灰度图；

计算预制菜封装灰度图的灰度分布直方图，根据灰度分布直方图获取灰度频率矩阵；以灰度频率矩阵中每个元素为中心构建目标窗口、中心窗口和滑动相似窗口，根据滑动相似窗口和中心窗口的差异获取滑动相似窗口的异质性；根据目标窗口内滑动相似窗口的异质性获取所述灰度频率矩阵中每个元素的局部异质性；根据所述每个元素的局部异质性获取局部异质性矩阵；

计算预制菜封装灰度图的图像深度矩阵的深度能量值，根据所述深度能量值和所述局部异质性矩阵获取局部异质性能量矩阵；计算所述图像深度矩阵的深度梯度矩阵，计算所述深度梯度矩阵的同质性指数，根据所述同质性指数获取预制菜封装灰度图的凸显度系数；

根据所述局部异质性能量矩阵获取四通道图像；根据所述凸显度系数计算加权交叉熵函数；根据所述四通道图像和加权交叉熵函数完成对预制菜的分选。

2.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述计算预制菜封装灰度图的灰度分布直方图，根据灰度分布直方图获取灰度频率矩阵的方法为：

获取预制菜封装灰度图的灰度分布直方图，将所述灰度分布直方图中每个像素点灰度值对应的频率替换所述预制菜封装灰度图中每个像素点的灰度值的结果图像作为频率灰度图，将所述频率灰度图中像素点的坐标信息作为矩阵中对应元素的位置信息构建灰度频率矩阵。

3.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述以灰度频率矩阵中每个元素为中心构建目标窗口、中心窗口和滑动相似窗口，根据滑动相似窗口和中心窗口的差异获取滑动相似窗口的异质性的方法为：

以灰度频率矩阵中每个元素为中心分别构建第一预设数值大小的目标窗口和第二预设数值大小的中心窗口，在所述目标窗口内构建与所述中心窗口大小相同的滑动相似窗口，计算所述中心窗口内元素的均值和方差作为中心窗口的第一均值和第一方差，计算所述滑动相似窗口内元素的均值和方差作为滑动相似窗口的第二均值和第二方差，计算所述中心窗口的第一均值与所述滑动相似窗口的第二均值差值的绝对值作为滑动相似窗口的第一差值，计算所述中心窗口的第一方差与所述滑动相似窗口的第二方差差值的绝对值作为滑动相似窗口第二差值，计算所述滑动相似窗口的第一差值和第二差值的乘积作为滑动相似窗口的异质性。

4.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述根据目标窗口内滑动相似窗口的异质性获取所述灰度频率矩阵中每个元素的局部异质性的方法为：

根据目标窗口内的第一预设数量的滑动相似窗口的异质性构成目标异质性序列，计算目标异质性序列的信息熵作为目标窗口中心元素的局部异质性。

5.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述根据所述每个元素的局部异质性获取局部异质性矩阵的方法为：

根据灰度频率矩阵中每个元素对应的局部异质性和元素所在的位置信息构建与灰度频率矩阵相同大小的矩阵作为预制菜封装灰度图的局部异质性矩阵。

6.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述计算预制菜封装灰度图的图像深度矩阵的深度能量值，根据所述深度能量值和所述局部异质性矩阵获取局部异质性能量矩阵的方法为：

采用GCNDepth图卷积神经网络模型对预制菜封装灰度图进行深度估计获取图像深度矩阵，将所述图像深度矩阵中每个元素与所述图像深度矩阵中最大元素的差值平方在所述图像深度矩阵上的累加和作为预制菜封装灰度图的深度能量值，计算所述深度能量值和局部异质性矩阵的乘积作为预制菜封装灰度图的局部异质性能量矩阵。

7.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述计算所述图像深度矩阵的深度梯度矩阵，计算所述深度梯度矩阵的同质性指数，根据所述同质性指数获取预制菜封装灰度图的凸显度系数的方法为：

式中，表示深度梯度矩阵的同质性指数，/>表示深度梯度矩阵中第/>个元素，/>表示深度梯度矩阵中元素的数量，/>表示归一化函数，/>表示预制菜封装灰度图的凸显度系数。

8.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述根据所述局部异质性能量矩阵获取四通道图像的方法为：

将局部异质性能量矩阵作为第四通道图像，根据所述第四通道图像与预制菜封装RGB三通道图像获取四通道图像。

9.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述根据所述凸显度系数计算加权交叉熵函数的方法为：

式中，表示加权交叉熵损失函数；/>表示每一次网络训练用到的样本量，/>表示网络训练过程中标签的数量；/>表示分类模型对第/>个样本标签的预测值；/>表示第/>个样本属于所述标签的概率；/>表示第/>个样本的凸显度系数。

10.根据权利要求1所述的基于图像处理的预制菜分选方法，其特征在于，所述根据所述四通道图像和加权交叉熵函数完成对预制菜的分选的方法为：

将四通道图像作为ResNet50深度残差神经网络模型的输入，加权交叉熵函数作为ResNet50深度残差神经网络模型的损失函数，利用ResNet50深度残差神经网络模型完成对预制菜的分选。