CN117911956B - 用于食品加工设备的加工环境动态监测方法及系统 - Google Patents

Abstract

本发明涉及视频图像聚类技术领域，具体涉及用于食品加工设备的加工环境动态监测方法及系统。该方法根据红外视频帧中区域块中像素点在图像金字塔的每层的图像中对应区域块的异常表现度，选取红外视频帧中关键块；获取红外视频帧的差异区域的聚类权重，并结合红外视频帧的差异区域之间的灰度差异，将红外视频帧聚类得到聚类簇；基于聚类簇内红外视频帧与当前视频帧之间的灰度差异，得到当前视频帧的异常温度区域，基于异常温度区域监测食品加工环境。本发明在对视频帧聚类过程考虑视频帧的差异区域的聚类权重，增加聚类效果，提高对食品加工环境监测的准确度。

Description

用于食品加工设备的加工环境动态监测方法及系统

技术领域

本发明涉及视频图像聚类技术领域，具体涉及用于食品加工设备的加工环境动态监测方法及系统。

背景技术

在食品制作过程中，需要将食品添加剂加入到原料中进行搅拌，保证添加剂与原料的充分混合，在搅拌过程中某些食品需要通过加热的手段使食品添加剂发挥作用，若在加热过程中出现局部温度不均匀的情况，容易导致不同位置食品添加剂的含量变化不同。因此，对食品加工过程的温度监测极为重要。

现有方法通常获取呈现视频帧的特征信息的特征指标，基于特征值对视频帧进行聚类，进而从聚类簇中选取最佳视频帧。因食品搅拌过程中可能出现温度异常的区域，温度异常的区域呈现视频帧的重要特征信息，一定程度上决定了视频帧的聚类结果；现有方法中视频帧的特征值基于图像的颜色或纹理等信息，没考虑视频帧中反映重要特征信息的区域，降低聚类效果，进而导致最佳视频帧筛选不准确，容易导致对食品加工环境监测出现误差。

发明内容

为了解决视频帧的特征值获取过程仅考虑简单颜色信息，降低聚类效果并使食品加工环境监测出现误差的技术问题，本发明的目的在于提供一种用于食品加工设备的加工环境动态监测方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种用于食品加工设备的加工环境动态监测方法，该方法包括：

分别获取食品加工设备在食品搅拌时间段内的红外视频帧，以及当前时刻的红外视频帧，并将当前时刻的红外视频帧记为当前视频帧；

获取每个红外视频帧的图像金字塔，选取所述图像金字塔的任意一层的图像作为分析帧，将分析帧分为不同的区域块；获取每个区域块的邻近块，根据分析帧中每个区域块与其邻近块的灰度差异，以及每个区域块的邻近块之间的灰度差异，获取分析帧中每个区域块的异常表现度；

依据每个红外视频帧中每个区域块中像素点在所述图像金字塔的每一层的图像中对应的区域块的所述异常表现度，从每个红外视频帧的区域块中筛选出关键块；

获得每个红外视频帧的差异区域；结合每个红外视频帧的每个差异区域内包含的所述关键块的数量，以及所述差异区域内像素点与所述像素点在其余红外视频帧中对应像素点的灰度差异，得到每个红外视频帧的每个差异区域的聚类权重；

根据任意两个红外视频帧的差异区域之间的灰度差异和所述聚类权重，对红外视频帧进行聚类得到不同的聚类簇；依据每个聚类簇内红外视频帧与当前视频帧中相同位置上像素点的灰度差异，获取当前视频帧中的异常温度区域；

基于每个所述异常温度区域监测食品加工设备的加工环境。

进一步地，所述获取分析帧中每个区域块的异常表现度的方法，包括：

从分析帧中任意选取两个区域块依次作为第一块与第二块，若第一块的边缘上存在边缘像素点为第二块的边缘上的边缘像素点，则将第二块作为第一块的邻近块；

分析帧中每个区域块的异常表现度的计算公式如下：

；式中，Q为分析帧中每个区域块的所述异常表现度；/>为分析帧中每个区域块内所有像素点的灰度值的均值；/>为分析帧中所有像素点的灰度值的均值；n为分析帧中每个区域块的所述邻近块的总数量；/>为分析帧中每个区域块的第x个所述邻近块内所有像素点的灰度值的均值；/>为分析帧中每个区域块的第y个所述邻近块内所有像素点的灰度值的均值；/>为预设正数；/>为绝对值函数；Norm为归一化函数。

进一步地，所述从每个红外视频帧的区域块中筛选出关键块的方法，包括：

对于每个红外视频帧，选取红外视频帧的图像金字塔的任意相邻两层的图像作为分析图像；将层数最小的分析图像作为第一分析图像，层数最大的分析图像作为第二分析图像；所述图像金字塔的第一层的图像为红外视频帧，所述图像金字塔的金字塔层数为3；

选取第一分析图像中任意一个区域块作为分析块，选取分析块内任意一个像素点作为分析像素点，将分析像素点在第二分析图像中相对应的匹配像素点所处的区域块，作为分析像素点在第二分析图像中对应的区域块；

依据每个红外视频帧中每个区域块的所述异常表现度，每个红外视频帧中每个区域块中像素点在所述图像金字塔的第二层的图像中对应区域块的异常表现度，以及每个红外视频帧中每个区域块中像素点在图像金字塔的第二层的图像中对应区域块中像素点，在所述图像金字塔的第三层的图像中对应区域块的异常表现度，得到每个红外视频帧中每个区域块的关键度；

将所述关键度大于预设关键阈值的区域块作为每个红外视频帧中的所述关键块。

进一步地，所述每个红外视频帧中每个区域块的关键度的计算公式如下：

；式中，P为每个红外视频帧中每个区域块的所述关键度；/>为每个红外视频帧中每个区域块的所述异常表现度；/>为每个红外视频帧中每个区域块内像素点的总数量；/>为目标块的所述异常表现度，其中，所述目标块是每个红外视频帧中每个区域块内第/>个像素点在图像金字塔的第二层的图像中对应的区域块；/>为所述目标块内像素点的总数量；/>为所述目标块内第/>个像素点在图像金字塔的第三层的图像中对应的区域块的所述异常表现度；Norm为归一化函数。

进一步地，所述获得每个红外视频帧的差异区域的方法，包括：

选取任意一个红外视频帧作为目标帧，选取目标帧中任意一个像素点作为目标像素点，若目标像素点的灰度值分别与目标像素点在除目标帧外的其余每个红外视频帧中对应像素点的灰度值均相等，则将目标像素点作为背景像素点；遍历目标帧中所有像素点，得到目标帧中所有背景像素点；

将目标帧中非背景像素点构成的连通域作为目标帧的差异区域。

进一步地，所述每个红外视频帧的每个差异区域的聚类权重的获取方法，包括：

从任意一个红外视频帧中分别任意选取一个差异区域作为特征区域，一个关键块作为特征块；若特征块内存在像素点处于特征区域内，则特征块为分析区域内包含的关键块；

每个红外视频帧的每个差异区域的聚类权重的计算公式如下：

；式中，W为每个红外视频帧的每个差异区域的所述聚类权重；K为每个红外视频帧的每个差异区域内包含的所述关键块的总数量；/>为每个红外视频帧的每个差异区域内包含的第k个关键块的所述关键度；/>为每个红外视频帧的每个差异区域与其包含的第k个关键块产生的重叠区域内像素点的总数量；/>为每个红外视频帧的每个差异区域内包含的第k个关键块内像素点的总数量；U为红外视频帧的总数量；V为每个红外视频帧的每个差异区域内像素点的总数量；/>为每个红外视频帧的每个差异区域内第v个像素点的灰度值；/>为每个红外视频帧的每个差异区域内第v个像素点在除所述红外视频帧外的其余第u个红外视频帧中对应像素点的灰度值；/>为绝对值函数；Norm为归一化函数。

进一步地，所述对红外视频帧进行聚类得到不同的聚类簇的方法，包括：

选取任意两个红外视频帧依次作为第一待测帧与第二待测帧；

选取第一待测帧中任意一个差异区域作为待测区域，计算待测区域内每个像素点与所述像素点在第二待测帧中对应像素点的灰度值之间的差值绝对值的均值，作为待测区域相对于第二待测帧的灰度区域差；

根据待测区域相对于第二待测帧的灰度区域差以及所述聚类权重，获取待测区域相对于第二待测帧的区域相似度；所述灰度区域差与所述区域相似度为负相关的关系，所述聚类权重与所述区域相似度为正相关的关系；

将第一待测帧中所有差异区域相对于第二待测帧的所述区域相似度的均值，作为第一待测帧相对于第二待测帧的初始相似度；获取第二待测帧相对于第一待测帧的所述初始相似度；计算第一待测帧相对于第二待测帧的初始相似度与第二待测帧相对于第一待测帧的初始相似度的均值，作为第一待测帧与第二待测帧之间的特征相似度；

将大于预设相似阈值的所述特征相似度对应的红外视频帧作为有效视频帧；

基于任意两个有效视频帧之间的所述特征相似度，对所述有效视频帧进行聚类，得到不同的聚类簇。

进一步地，所述依据每个聚类簇内红外视频帧与当前视频帧中相同位置上像素点的灰度差异，获取当前视频帧中的异常温度区域的方法，包括：

计算每个聚类簇内所述有效视频帧中相同位置上像素点的灰度值的均值，作为每个聚类簇内有效视频帧中每个像素点的均灰度；将每个聚类簇内有效视频帧中像素点的均灰度按照预设顺序排列，得到每个聚类簇的特征向量；

获取每个聚类簇的特征向量中元素的方差作为每个聚类簇的热量异常度；选取最小的所述热量异常度对应的特征向量作为最佳向量；

将当前视频帧中像素点的灰度值按照预设顺序排列得到当前向量；

计算当前向量与最佳向量中相同下标对应的元素的数值之间的差值绝对值，作为当前向量中每个元素的温度差异值；将所述温度差异值大于预设差异阈值的元素在当前视频帧中对应的像素点构成的连通域，作为当前视频帧中的异常温度区域。

进一步地，所述基于每个所述异常温度区域监测食品加工设备的加工环境的方法，包括：

将每个所述异常温度区域内像素点的灰度值的均值作为每个异常温度区域的异常温度值；计算当前视频帧中除异常温度区域内像素点与非所述背景像素点外的其余像素点的灰度值的均值，作为当前视频帧的正常温度值；

判断每个异常温度区域的所述异常温度值与所述正常温度值之间的差值绝对值是否小于极限温度阈值，若是，则每个异常温度区域的加工环境为正常波动；若否，则每个异常温度区域的加工温度需要调整。

第二方面，本发明另一个实施例提供了一种用于食品加工设备的加工环境动态监测系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述任意一项方法的步骤。

本发明具有如下有益效果：

在本发明实施例中，为提高分析的准确性，对红外视频帧在多尺度下进行分析，存在异常温度的区域在红外视频帧中具有较大的表现能力，根据温度异常的区域块与其邻近块存在较大灰度差异的特征分析，以提高区域块的异常表现度，同时依据红外视频帧的图像金字塔的不同层相对应的区域块的异常表现程度，使筛选的关键块能准确呈现异常温度；因在获取差异区域过程中仅排除红外视频帧的背景区域，某些红外视频帧的差异区域仍可能存在相似的区域，则在红外视频帧中不同差异区域相对于聚类过程的重要程度不同；视频帧图像中差异区域与其他视频帧图像中对应区域的灰度差异与差异区域包含的关键块的数量，分别从差异区域整体特征与其包含的异常温度特征两方面反映差异区域对于聚类过程的重要程度，提高获取的聚类权重的准确性；不同红外视频帧的差异区域的灰度差异从温度方面反映红外视频帧之间相似程度，聚类权重从异常表现方面反映红外视频帧之间相似程度，将上述两种因素综合分析，使红外视频帧之间的特征相似度更加准确，进而利用特征相似度对红外视频帧聚类，提高聚类效果，使异常温度区域更加准确，提高对食品加工环境监测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于食品加工设备的加工环境动态监测方法的步骤流程图；

图2为本发明一个实施例所提供的区域块的邻近块示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于食品加工设备的加工环境动态监测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于食品加工设备的加工环境动态监测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的用于食品加工设备的加工环境动态监测方法的步骤流程图，该方法包括：

步骤S1：分别获取食品加工设备在食品搅拌时间段内的红外视频帧，以及当前时刻的红外视频帧，并将当前时刻的红外视频帧记为当前视频帧。

具体的，将在搅拌制作过程中需要加热的食品原料添加至食品加工设备中进行搅拌，使用红外热相机在搅拌器的上方拍摄从搅拌开始到搅拌混合完毕的食品搅拌时间段内食品加工设备所在环境的温度变化，将拍摄所得的视频划分为初始红外视频帧。为放大初始红外视频帧之间的差异并减少计算量，对初始红外视频帧进行采样，采样间隔为20帧，即从第一个初始红外视频帧开始每间隔二十个初始红外视频帧进行一次采样，将采样得到的初始红外视频帧作为食品搅拌时间段内的最终红外视频帧。

通过红外热相机采集当前时刻的食品加工设备所在环境的温度，将得到的图像作为初始当前视频帧。在本发明实施例中，使用加权平均法将食品搅拌时间段内的最终红外视频帧与初始当前视频帧转化为相应的灰度视频帧，得到食品搅拌时间段内红外视频帧与当前视频帧。其中，加权平均法为本领域技术人员公式技术，在此不再赘述。

需要说明的是，若食品搅拌时间段内初始红外视频帧的数量不足预设数量帧，为保证后续分析的准确性，不对初始红外视频帧进行采样，直接将食品搅拌时间段内初始红外视频帧进行灰度化作为红外视频帧。食品搅拌时间段为历史时间的同一种食品原料搅拌的时间段，当前时刻为当前次食品原料搅拌过程中的时刻。在本发明实施例中，预设数量取经验值500，采样间隔与预设数量可根据具体情况自行设置。

步骤S2：获取每个红外视频帧的图像金字塔，选取图像金字塔的任意一层的图像作为分析帧，将分析帧分为不同的区域块；获取每个区域块的邻近块，根据分析帧中每个区域块与其邻近块的灰度差异，以及每个区域块的邻近块之间的灰度差异，获取分析帧中每个区域块的异常表现度。

现有方法利用视频帧提取的特征向量对视频帧进行聚类，进而筛选出最佳特征视频帧，依据最佳特征视频帧与当前视频帧之间的差异获取异常温度区域。在将视频帧转化为特征向量时，会导致视频帧中像素点之间的关联被忽略掉，因此为了保留像素点之间的空间关系，选取对视频帧具有较大表现能力的区域即关键块。

为提高分析的准确性，对于每个红外视频帧，在本发明实施例中，选用图像金字塔算法对红外视频帧进行降采样，设置降采样比例为2，构建一个三层的图像金字塔；红外视频帧为其对应的图像金字塔的第一层图像。

需要说明的是，在本发明实施例中，选取高斯图像金字塔算法对红外视频帧进行降采样，降采样比例实施者可根据具体情况自行设置。其中，高斯图像金字塔算法为本领域技术人员公知技术，在此不再赘述。

为方便描述，将红外视频帧的图像金字塔的任意一层的图像作为分析帧。由于搅拌过程中会出现加热不均匀的情况，导致红外视频帧中不同区域的灰度值差异较大，为对搅拌过程的加热情况进行详细分析，本发明实施例中选用超像素分割算法将分析帧划分为不同的区域块。其中，超像素分割算法为本领域技术人员公知技术，在此不再赘述。

存在异常温度的区域在视频帧中具有较强的表现能力，温度异常的区域块与其周围区域块即邻近块之间存在较大灰度差异，根据上述特征获取区域块的异常表现度。

从分析帧中任意选取两个区域块依次作为第一块与第二块，若第一块的边缘上存在边缘像素点为第二块的边缘上的边缘像素点，则将第二块作为第一块的邻近块。

作为一个示例，图2为本发明一个实施例所提供的区域块的邻近块示意图，如图2所示，图2中s1、s2、s3与s4均为区域块，区域块s1的邻近块包括：区域块s2、s3，区域块s2的邻近块包括：区域块s1、s3、s4，区域块s3的邻近块包括：区域块s1、s2、s4，区域块s4的邻近块包括：区域块s2、s3。

分析帧中每个区域块的异常表现度的计算公式如下：

式中，Q为分析帧中每个区域块的所述异常表现度；为分析帧中每个区域块内所有像素点的灰度值的均值；/>为分析帧中所有像素点的灰度值的均值；n为分析帧中每个区域块的所述邻近块的总数量；/>为分析帧中每个区域块的第x个所述邻近块内所有像素点的灰度值的均值；/>为分析帧中每个区域块的第y个所述邻近块内所有像素点的灰度值的均值；/>为预设正数；/>为绝对值函数；Norm为归一化函数。

当越大时，区域块的灰度相较于分析帧的整体灰度之间的差异越大，说明区域块的温度出现异常的可能性越大，则异常表现度Q越大。若区域块的邻近块之间的灰度较为相似，说明区域块的邻近块对应区域的温度较为均匀，在此基础上，当区域块与其邻近块的灰度差异越大，则区域块对应区域的温度出现异常的可能性越大；当越大时，/>越大且/>越小，说明区域块与其邻近块的温度差异较大，且区域块的邻近块的温度较为均匀，则区域块的温度出现异常的可能性越大，则异常表现度Q越大。

根据上述分析帧中每个区域块的异常表现度的计算方法，获取每个红外视频帧的图像金字塔的每层的图像中每个区域块的异常表现度。

步骤S3：依据每个红外视频帧中每个区域块中像素点在图像金字塔的每一层的图像中对应的区域块的异常表现度，从每个红外视频帧的区域块中筛选出关键块。

具体的，为提高筛选的关键块的准确性，依据红外视频帧的图像金字塔的不同层相对应的区域块的异常表现程度之间的差异，进一步确定区域块的异常表现即关键度，使利用其确定的关键块能准确呈现异常温度的区域。

优选地，红外视频帧的每个区域块的关键度的具体获取方法为：对于每个红外视频帧，选取红外视频帧的图像金字塔的任意相邻两层的图像作为分析图像；将层数最小的分析图像作为第一分析图像，层数最大的分析图像作为第二分析图像；图像金字塔的第一层的图像为红外视频帧，图像金字塔的金字塔层数为3；选取第一分析图像中任意一个区域块作为分析块，选取分析块内任意一个像素点作为分析像素点，将分析像素点在第二分析图像中相对应的匹配像素点所处的区域块，作为分析像素点在第二分析图像中对应的区域块；依据每个红外视频帧中每个区域块的所述异常表现度，每个红外视频帧中每个区域块中像素点在所述图像金字塔的第二层的图像中对应区域块的异常表现度，以及每个红外视频帧中每个区域块中像素点在图像金字塔的第二层的图像中对应区域块中像素点，在所述图像金字塔的第三层的图像中对应区域块的异常表现度，得到每个红外视频帧中每个区域块的关键度。

需要说明的是，图像金字塔的每一层的图像中所有像素点在相邻层的图像中均能找到对应的匹配像素点的内容为公知技术，在此不再详细描述。

每个红外视频帧中每个区域块的关键度的计算公式如下：

式中，P为每个红外视频帧中每个区域块的关键度；为每个红外视频帧中每个区域块的异常表现度；/>为每个红外视频帧中每个区域块内像素点的总数量；/>为目标块的异常表现度，其中，目标块是每个红外视频帧中每个区域块内第/>个像素点在图像金字塔的第二层的图像中对应的区域块；/>为目标块内像素点的总数量；/>为目标块内第个像素点在图像金字塔的第三层的图像中对应的区域块的异常表现度；Norm为归一化函数。

若红外视频帧的某个区域块在其所在层次的异常表现程度越大，且在图像金字塔的其他层次中对应的区域块同样具有较高的异常表现，说明红外视频帧中该区域块为温度异常的区域的可能性越大。当越大时，说明在红外视频帧中区域块的温度异常程度即/>越大的同时/>越大，即红外视频帧中区域块中像素点在图像金字塔的第二层与第三层中对应的区域块的温度异常程度越大，进而表明红外视频帧的图像金字塔的不同层的图像中相对于的区域块具有较高的温度异常表现，则红外视频帧中区域块为异常的温度区域的可能性越大，需要重点分析该区域块，关键度P越大。

将关键度大于预设关键阈值的区域块作为每个红外视频帧中的关键块。需要说明的是，在本发明实施例中，预设关键阈值取经验值0.6，实施者可根据具体情况自行设置。

步骤S4：获得每个红外视频帧的差异区域；结合每个红外视频帧的每个差异区域内包含的关键块的数量，以及差异区域内像素点与像素点在其余红外视频帧中对应像素点的灰度差异，得到每个红外视频帧的每个差异区域的聚类权重。

由于红外视频帧中存在背景区域，且背景区域通常为搅拌设备，其不会被加热，则不同红外视频帧之间存在相似区域即背景区域，若直接利用整张红外视频帧进行分析，数据样本的信息冗余度较大，因此获取每个红外视频帧的非背景区域即差异区域。

优选地，差异区域的获取方法为：选取任意一个红外视频帧作为目标帧，选取目标帧中任意一个像素点作为目标像素点，若目标像素点的灰度值分别与目标像素点在除目标帧外的其余每个红外视频帧中对应像素点的灰度值均相等，则将目标像素点作为背景像素点；遍历目标帧中所有像素点，得到目标帧中所有背景像素点；将目标帧中非背景像素点构成的连通域作为目标帧的差异区域。

需要说明的是，每个红外视频帧的差异区域的获取方法与目标帧的差异区域的获取方法相同；由于使用同一红外热相机采集红外视频帧，则不同红外视频帧的尺寸相同，不同红外视频帧中像素点一一对应。

由于在获取差异区域的过程中仅排除所有红外视频帧的共有区域即背景区域，但某些红外视频帧的差异区域仍可能存在相似的区域，则在红外视频帧中不同差异区域相对于聚类过程的重要程度不同。一个视频帧图像中差异区域与其他视频帧图像中对应区域的灰度差异，从差异区域整体特征反映该差异区域对于聚类过程的重要程度；差异区域包含的关键块的数量从差异区域包含的异常温度特征反映该差异区域对于聚类过程的重要程度，将上述两种因素结合分析，提高获取的聚类权重的准确性。

从任意一个红外视频帧中分别任意选取一个差异区域作为特征区域，一个关键块作为特征块；若特征块内存在像素点处于特征区域内，则特征块为分析区域内包含的关键块。

每个红外视频帧的每个差异区域的聚类权重的计算公式如下：

式中，W为每个红外视频帧的每个差异区域的聚类权重；K为每个红外视频帧的每个差异区域内包含的关键块的总数量；为每个红外视频帧的每个差异区域内包含的第k个关键块的关键度；/>为每个红外视频帧的每个差异区域与其包含的第k个关键块产生的重叠区域内像素点的总数量；/>为每个红外视频帧的每个差异区域内包含的第k个关键块内像素点的总数量；U为红外视频帧的总数量；V为每个红外视频帧的每个差异区域内像素点的总数量；/>为每个红外视频帧的每个差异区域内第v个像素点的灰度值；/>为每个红外视频帧的每个差异区域内第v个像素点在除红外视频帧外的其余第u个红外视频帧中对应像素点的灰度值；/>为绝对值函数；Norm为归一化函数。

需要说明的是，为差异区域包含的第k个关键块在差异区域的完整程度，当差异区域与其包含的第k个关键块产生的重叠区域的面积即/>越大时，第k个关键块在差异区域越完整，差异区域包含温度异常区域的可能性越大，同时在上述基础上差异区域内包含的第k个关键块的关键度越大，使差异区域的异常表现越明显且准确，对聚类过程起到的作用越大，聚类权重W越大；当第k个关键块整个均在差异区域内时，/>。当K越大时，差异区域包含的关键块的数量越多，使差异区域的异常表现越明显，对聚类过程起到的作用越大，聚类权重W越大。当/>越大时，红外视频帧的每个差异区域与该差异区域在其余红外视频帧对应区域的灰度差异越大，说明每个红外视频帧与其余红外视频帧中对应区域的温度分布差异较大，相对于其余红外视频帧，差异区域中存在温度异常的区域的特征越大，对聚类过程起到的作用越大，聚类权重W越大。

步骤S5：根据任意两个红外视频帧的差异区域之间的灰度差异和聚类权重，对红外视频帧进行聚类得到不同的聚类簇；依据每个聚类簇内红外视频帧与当前视频帧中相同位置上像素点的灰度差异，获取当前视频帧中的异常温度区域。

任意两个红外视频帧的差异区域之间的灰度差异从温度方面反映红外视频帧之间相似程度，聚类权重从异常温度表现方面反映红外视频帧之间相似程度，将上述两种因素综合分析，使红外视频帧之间的特征相似度更加准确。

优选地，任意两个红外视频帧之间的特征相似度的具体获取步骤如下：

（1）获取初始相似度。

选取任意两个红外视频帧依次作为第一待测帧与第二待测帧；选取第一待测帧中任意一个差异区域作为待测区域，计算待测区域内每个像素点与像素点在第二待测帧中对应像素点的灰度值之间的差值绝对值的均值，作为待测区域相对于第二待测帧的灰度区域差；根据待测区域相对于第二待测帧的灰度区域差以及聚类权重，获取待测区域相对于第二待测帧的区域相似度；灰度区域差与区域相似度为负相关的关系，聚类权重与区域相似度为正相关的关系；将第一待测帧中所有差异区域相对于第二待测帧的区域相似度的均值，作为第一待测帧相对于第二待测帧的初始相似度。

第一待测帧相对于第二待测帧的初始相似度的计算公式具体实例如下：

式中，为第一待测帧相对于第二待测帧的初始相似度；A为第一待测帧中差异区域的总数量；/>为第一待测帧中第a个差异区域内像素点的总数量；/>为第一待测帧中第a个差异区域的聚类权重；/>为第一待测帧中第a个差异区域内第c个像素点的灰度值；/>为第一待测帧中第a个差异区域内第c个像素点在第二待测帧中对应像素点的灰度值；/>为预设正数，取经验值0.01，作用为防止分母为0导致分式无意义；/>为绝对值函数；Norm为归一化函数。

需要说明的是，当越小时，说明第一待测帧中差异区域相对于第二待测帧对应区域的温度分布越相似，初始相似度/>越大。当/>越大时，第一待测帧中差异区域温度异常的程度越大，本实施例中利用图像的温度异常程度大小衡量视频帧之间的相似情况。

（2）获取特征相似度。

获取第二待测帧相对于第一待测帧的初始相似度；计算第一待测帧相对于第二待测帧的初始相似度与第二待测帧相对于第一待测帧的初始相似度的均值，作为第一待测帧与第二待测帧之间的特征相似度。

需要说明的是，第二待测帧相对于第一待测帧的初始相似度的计算方法，与第一待测帧相对于第二待测帧的初始相似度的计算方法相同。根据第一待测帧与第二待测帧之间的特征相似度的计算方法，获取任意两个红外视频帧之间的特征相似度。

对于任意两个红外视频帧之间的特征相似度，将大于预设相似阈值的特征相似度对应的红外视频帧作为有效视频帧；基于任意两个有效视频帧之间的特征相似度，对有效视频帧进行聚类，得到不同的聚类簇。同一聚类簇内红外视频帧能够表现加热搅拌过程中某一阶段的环境温度特征。

作为一个示例，若存在三个红外视频帧依次为，若红外视频帧/>之间的特征相似度/>小于预设相似阈值，红外视频帧/>之间的特征相似度/>大于预设相似阈值，则红外视频帧/>均为有效视频帧。在上述前提下，若红外视频帧之间的特征相似度/>小于预设相似阈值，则红外视频帧/>为有效视频帧；若大于预设相似阈值，则红外视频帧/>为有效视频帧。

需要说明的是，若红外视频帧SP存在与除SP外的其余任意一个红外视频帧之间的特征相似度大于预设相似阈值，则红外视频帧SP为有效视频帧。在本发明实施例中，选用层次聚类算法对有效视频帧进行聚类，预设相似阈值取经验值0.5，实施者可根据具体情况自行设置。在本发明其他实施例中也可以选用DBSCAN算法与K均值聚类算法等聚类算法进行聚类，在此不再限制。

计算每个聚类簇内有效视频帧中相同位置上像素点的灰度值的均值，作为每个聚类簇内有效视频帧中每个像素点的均灰度；将每个聚类簇内有效视频帧中像素点的均灰度按照预设顺序排列，得到每个聚类簇的特征向量；获取每个聚类簇的特征向量中元素的方差作为每个聚类簇的热量异常度；选取最小的热量异常度对应的特征向量作为最佳向量。

需要说明的是，在本发明实施例中，预设顺序为从左到右、从上到下。当聚类簇的特征向量中元素的方差越小，说明对应聚类簇内有效视频帧中温度较为均匀，即有效视频帧中像素灰度分布越均匀，说明聚类簇内有效视频帧中环境温度对食品加工效果越好。

将当前视频帧中像素点的灰度值按照预设顺序排列得到当前向量；计算当前向量与最佳向量中相同下标对应的元素的数值之间的差值绝对值，作为当前向量中每个元素的温度差异值；将所述温度差异值大于预设差异阈值的元素在当前视频帧中对应的像素点构成的连通域，作为当前视频帧中的异常温度区域。

需要说明的是，在本发明实施例中，预设差异阈值取经验值10，实施者可根据具体情况自行设置。由于使用同一红外热相机采集红外视频帧，食品搅拌时间段内的红外视频帧与当前视频帧中像素点一一对应。

步骤S6：基于每个异常温度区域监测食品加工设备的加工环境。

将每个所述异常温度区域内像素点的灰度值的均值作为每个异常温度区域的异常温度值；计算当前视频帧中除异常温度区域内像素点与非背景像素点外的其余像素点的灰度值的均值，作为当前视频帧的正常温度值。

判断每个异常温度区域的异常温度值与正常温度值之间的差值绝对值是否小于预设极限温度阈值，若是，则每个异常温度区域的加工环境为正常波动；若否，则每个异常温度区域的加工温度需要调整，当每个异常温度区域的异常温度值大于正常温度值时，说明该异常温度区域的温度过高，该异常温度区域需要适当降低温度，反之，说明该异常温度区域的温度过低，该异常温度区域需要适当升高温度，以实现对食品加工设备的加工环境的动态监测。

需要说明的是，在本发明实施例中，预设极限温度阈值取经验值10，实施者可根据具体情况自行设置。

至此，本发明完成。

综上所述，在本发明实施例中，根据红外视频帧中区域块中像素点在图像金字塔的每层的图像中对应区域块的异常表现度，选取红外视频帧中关键块；获取红外视频帧的差异区域的聚类权重，并结合红外视频帧的差异区域之间的灰度差异，将红外视频帧聚类得到聚类簇；基于聚类簇内红外视频帧与当前视频帧之间的灰度差异，得到当前视频帧的异常温度区域，基于异常温度区域监测食品加工环境。本发明在对视频帧聚类过程考虑视频帧的差异区域的聚类权重，增加聚类效果，提高对食品加工环境监测的准确度。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种用于食品加工设备的加工环境动态监测系统，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述一种用于食品加工设备的加工环境动态监测方法实施例中的步骤，例如图1所示的步骤。该一种用于食品加工设备的加工环境动态监测方法在上述实施例中已经详细说明，不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于食品加工设备的加工环境动态监测方法，其特征在于，该方法包括：

分别获取食品加工设备在食品搅拌时间段内的红外视频帧，以及当前时刻的红外视频帧，并将当前时刻的红外视频帧记为当前视频帧；

获取每个红外视频帧的图像金字塔，选取所述图像金字塔的任意一层的图像作为分析帧，将分析帧分为不同的区域块；获取每个区域块的邻近块，根据分析帧中每个区域块与其邻近块的灰度差异，以及每个区域块的邻近块之间的灰度差异，获取分析帧中每个区域块的异常表现度；每个红外视频帧的图像金字塔的每层的图像中每个区域块的异常表现度的计算方法，与分析帧中每个区域块的异常表现度的计算方法相同；

依据每个红外视频帧中每个区域块中像素点在所述图像金字塔的每一层的图像中对应的区域块的所述异常表现度，从每个红外视频帧的区域块中筛选出关键块；

获得每个红外视频帧的差异区域；结合每个红外视频帧的每个差异区域内包含的所述关键块的数量，以及所述差异区域内像素点与所述像素点在其余红外视频帧中对应像素点的灰度差异，得到每个红外视频帧的每个差异区域的聚类权重；

根据任意两个红外视频帧的差异区域之间的灰度差异和所述聚类权重，对红外视频帧进行聚类得到不同的聚类簇；依据每个聚类簇内红外视频帧与当前视频帧中相同位置上像素点的灰度差异，获取当前视频帧中的异常温度区域；

基于每个所述异常温度区域监测食品加工设备的加工环境；

所述获取分析帧中每个区域块的异常表现度的方法，包括：

从分析帧中任意选取两个区域块依次作为第一块与第二块，若第一块的边缘上存在边缘像素点为第二块的边缘上的边缘像素点，则将第二块作为第一块的邻近块；

分析帧中每个区域块的异常表现度的计算公式如下：

；式中，Q为分析帧中每个区域块的所述异常表现度；/>为分析帧中每个区域块内所有像素点的灰度值的均值；/>为分析帧中所有像素点的灰度值的均值；n为分析帧中每个区域块的所述邻近块的总数量；/>为分析帧中每个区域块的第x个所述邻近块内所有像素点的灰度值的均值；/>为分析帧中每个区域块的第y个所述邻近块内所有像素点的灰度值的均值；/>为预设正数；/>为绝对值函数；Norm为归一化函数；

所述从每个红外视频帧的区域块中筛选出关键块的方法，包括：

对于每个红外视频帧，选取红外视频帧的图像金字塔的任意相邻两层的图像作为分析图像；将层数最小的分析图像作为第一分析图像，层数最大的分析图像作为第二分析图像；所述图像金字塔的第一层的图像为红外视频帧，所述图像金字塔的金字塔层数为3；

选取第一分析图像中任意一个区域块作为分析块，选取分析块内任意一个像素点作为分析像素点，将分析像素点在第二分析图像中相对应的匹配像素点所处的区域块，作为分析像素点在第二分析图像中对应的区域块；

依据每个红外视频帧中每个区域块的所述异常表现度，每个红外视频帧中每个区域块中像素点在所述图像金字塔的第二层的图像中对应区域块的异常表现度，以及每个红外视频帧中每个区域块中像素点在图像金字塔的第二层的图像中对应区域块中像素点，在所述图像金字塔的第三层的图像中对应区域块的异常表现度，得到每个红外视频帧中每个区域块的关键度；

将所述关键度大于预设关键阈值的区域块作为每个红外视频帧中的所述关键块；

所述每个红外视频帧中每个区域块的关键度的计算公式如下：

；式中，P为每个红外视频帧中每个区域块的所述关键度；/>为每个红外视频帧中每个区域块的所述异常表现度；/>为每个红外视频帧中每个区域块内像素点的总数量；/>为目标块的所述异常表现度，其中，所述目标块是每个红外视频帧中每个区域块内第/>个像素点在图像金字塔的第二层的图像中对应的区域块；/>为所述目标块内像素点的总数量；/>为所述目标块内第/>个像素点在图像金字塔的第三层的图像中对应的区域块的所述异常表现度；Norm为归一化函数；

所述获得每个红外视频帧的差异区域的方法，包括：

选取任意一个红外视频帧作为目标帧，选取目标帧中任意一个像素点作为目标像素点，若目标像素点的灰度值分别与目标像素点在除目标帧外的其余每个红外视频帧中对应像素点的灰度值均相等，则将目标像素点作为背景像素点；遍历目标帧中所有像素点，得到目标帧中所有背景像素点；

将目标帧中非背景像素点构成的连通域作为目标帧的差异区域；

所述每个红外视频帧的每个差异区域的聚类权重的获取方法，包括：

从任意一个红外视频帧中分别任意选取一个差异区域作为特征区域，一个关键块作为特征块；若特征块内存在像素点处于特征区域内，则特征块为分析区域内包含的关键块；

每个红外视频帧的每个差异区域的聚类权重的计算公式如下：

；式中，W为每个红外视频帧的每个差异区域的所述聚类权重；K为每个红外视频帧的每个差异区域内包含的所述关键块的总数量；/>为每个红外视频帧的每个差异区域内包含的第k个关键块的所述关键度；/>为每个红外视频帧的每个差异区域与其包含的第k个关键块产生的重叠区域内像素点的总数量；/>为每个红外视频帧的每个差异区域内包含的第k个关键块内像素点的总数量；U为红外视频帧的总数量；V为每个红外视频帧的每个差异区域内像素点的总数量；为每个红外视频帧的每个差异区域内第v个像素点的灰度值；/>为每个红外视频帧的每个差异区域内第v个像素点在除所述红外视频帧外的其余第u个红外视频帧中对应像素点的灰度值；/>为绝对值函数；Norm为归一化函数；

所述对红外视频帧进行聚类得到不同的聚类簇的方法，包括：

选取任意两个红外视频帧依次作为第一待测帧与第二待测帧；

选取第一待测帧中任意一个差异区域作为待测区域，计算待测区域内每个像素点与所述像素点在第二待测帧中对应像素点的灰度值之间的差值绝对值的均值，作为待测区域相对于第二待测帧的灰度区域差；

根据待测区域相对于第二待测帧的灰度区域差以及所述聚类权重，获取待测区域相对于第二待测帧的区域相似度；所述灰度区域差与所述区域相似度为负相关的关系，所述聚类权重与所述区域相似度为正相关的关系；

将第一待测帧中所有差异区域相对于第二待测帧的所述区域相似度的均值，作为第一待测帧相对于第二待测帧的初始相似度；获取第二待测帧相对于第一待测帧的所述初始相似度；计算第一待测帧相对于第二待测帧的初始相似度与第二待测帧相对于第一待测帧的初始相似度的均值，作为第一待测帧与第二待测帧之间的特征相似度；

将大于预设相似阈值的所述特征相似度对应的红外视频帧作为有效视频帧；

基于任意两个有效视频帧之间的所述特征相似度，对所述有效视频帧进行聚类，得到不同的聚类簇；

所述依据每个聚类簇内红外视频帧与当前视频帧中相同位置上像素点的灰度差异，获取当前视频帧中的异常温度区域的方法，包括：

计算每个聚类簇内所述有效视频帧中相同位置上像素点的灰度值的均值，作为每个聚类簇内有效视频帧中每个像素点的均灰度；将每个聚类簇内有效视频帧中像素点的均灰度按照预设顺序排列，得到每个聚类簇的特征向量；

获取每个聚类簇的特征向量中元素的方差作为每个聚类簇的热量异常度；选取最小的所述热量异常度对应的特征向量作为最佳向量；

将当前视频帧中像素点的灰度值按照预设顺序排列得到当前向量；

计算当前向量与最佳向量中相同下标对应的元素的数值之间的差值绝对值，作为当前向量中每个元素的温度差异值；将所述温度差异值大于预设差异阈值的元素在当前视频帧中对应的像素点构成的连通域，作为当前视频帧中的异常温度区域。

2.根据权利要求1所述的一种用于食品加工设备的加工环境动态监测方法，其特征在于，所述基于每个所述异常温度区域监测食品加工设备的加工环境的方法，包括：

将每个所述异常温度区域内像素点的灰度值的均值作为每个异常温度区域的异常温度值；计算当前视频帧中除异常温度区域内像素点与非所述背景像素点外的其余像素点的灰度值的均值，作为当前视频帧的正常温度值；

判断每个异常温度区域的所述异常温度值与所述正常温度值之间的差值绝对值是否小于极限温度阈值，若是，则每个异常温度区域的加工环境为正常波动；若否，则每个异常温度区域的加工温度需要调整。

3.一种用于食品加工设备的加工环境动态监测系统，其特征在于，该系统包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述权利要求1-2任意一项所述一种用于食品加工设备的加工环境动态监测方法的步骤。