CN116205914B - 一种防水涂料生产智能监测系统 - Google Patents

Abstract

本发明涉及图像识别技术领域，具体涉及一种防水涂料生产智能监测系统。该系统包括：获取模块，用于获取初始摆动图像，以初始摆动图像为起点，确定摆球的疑似中心位置；第一确定模块，用于根据待测图像中摆球的运动速度确定待测图像中摆球的第一运动复杂程度；第二确定模块，用于根据标记图像和标记图像的前一帧图像中摆球的运动加速度确定标记图像中摆球的第二运动复杂程度；智能监测模块，用于根据第一运动复杂程度和第二运动复杂程度确定标记搜索窗口的大小，根据标记搜索窗口确定摆球的目标位置；根据所有待测图像中摆球的目标位置，确定防水涂料的黏度。本发明能够有效提升防水涂料黏度确定的准确性与可靠性。

Description

一种防水涂料生产智能监测系统

技术领域

本发明涉及图像识别技术领域，具体涉及一种防水涂料生产智能监测系统。

背景技术

防水涂料是建筑施工常用的涂料之一，生产防水涂料的过程中，防水涂料的黏度是基本性能的一个重要指标，其与防水涂料涂在建筑表面后的防水效果有直接关系，为了保证建筑质量，对防水涂料的黏度检测十分重要。

相关技术中，通过拍摄摆球摆动过程中的图像，并根据图像中摆球的位置直接确定摆球的摆动情况，进而确定防水涂料的黏度，这种方式下，由于摆球在摆动过程中速度较快，且由于拍摄设备曝光时间的影响，使得图像中摆球会产生部分拖影，导致对摆球位置确定的准确性较低，进而影响防水涂料黏度确定的准确性与可靠性。

发明内容

为了解决防水涂料黏度确定的准确性不足的技术问题，本发明提供一种防水涂料生产智能监测系统，所采用的技术方案具体如下：

本发明提出了一种防水涂料生产智能监测系统，系统包括：

获取模块，用于获取防水涂料上方的摆球在摆动中的初始摆动图像，以所述初始摆动图像为起点，获取连续的预设数量帧的摆动图像作为待测图像，根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度；根据所述运动速度和所述运动加速度确定不同帧待测图像中摆球的疑似中心位置；

第一确定模块，用于根据所述待测图像中摆球的运动速度，确定所述待测图像中摆球运动变化的方向角和幅值，根据所述方向角和幅值，确定所述待测图像中摆球的第一运动复杂程度；

第二确定模块，用于任选某一帧待测图像作为标记图像，根据所述标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，根据所述加速度变化系数和所述标记图像中摆球的运动加速度，确定所述标记图像中摆球的第二运动复杂程度；

智能监测模块，用于根据所述第一运动复杂程度和所述第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，将标记图像中的疑似中心位置作为标记搜索窗口的中心点，根据所述标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置；根据所有待测图像中摆球的目标位置，确定所述防水涂料的黏度。

进一步地，所述根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度，包括：

基于光流法对相邻两帧待测图像进行光流分析，得到每帧待测图像的光流场信息；

对所述待测图像中疑似中心位置的光流场信息进行梯度分解，得到在第一方向上的第一运动速度分量和第二方向上的第二运动速度分量；

根据相邻两帧待测图像的第一运动速度分量的差值绝对值作为后一帧待测图像的第一运动加速度分量，根据相邻两帧待测图像的第二运动速度分量的差值绝对值作为后一帧待测图像的第二运动加速度分量；

将所述第一运动速度分量和第二运动速度分量作为对应待测图像中摆球的运动速度；将所述第一运动加速度分量和第二运动加速度分量作为对应待测图像中摆球的运动加速度。

进一步地，所述根据所述待测图像中摆球的运动速度，确定所述待测图像中摆球运动变化的方向角和幅值，包括：

基于方向角计算公式，根据相邻两帧待测图像中第一运动速度分量和第二运动速度分量计算得到对应相邻两帧的后一帧待测图像中摆球运动变化的方向角；

计算所述待测图像中摆球的第一运动速度分量平方值和第二运动速度分量平方值的和值开方值作为对应待测图像的总速度，将相邻两帧待测图像中总速度的差值作为对应相邻两帧的后一帧待测图像中摆球运动变化的幅值。

进一步地，所述根据所述方向角和幅值，确定所述待测图像中摆球的第一运动复杂程度，包括：

将每帧待测图像中摆球运动变化的方向角和幅值作为HOG算子的输入，经由HOG算子计算输出待测图像中摆球在不同预设方向上的方向频率，计算方向频率的平方值作为对应预设方向上的复杂度因子，计算所有预设方向上复杂度因子的和值归一化值作为第一运动复杂程度。

进一步地，所述根据所述标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，包括：

计算所述标记图像中摆球的第一运动加速度分量和标记图像的前一帧图像中摆球的第一运动加速度分量的差值绝对值作为第一加速度差异；

计算所述标记图像中摆球的第二运动加速度分量和标记图像的前一帧图像中摆球的第二运动加速度分量的差值绝对值作为第二加速度差异；

根据第一加速度差异和第二加速度差异计算得到标记图像中摆球的加速度变化系数，其中，所述第一加速度差异和所述加速度变化系数呈正相关关系，所述第二加速度差异和所述加速度变化系数呈正相关关系。

进一步地，所述根据所述加速度变化系数和所述标记图像中摆球的运动加速度，确定所述标记图像中摆球的第二运动复杂程度，包括：

计算所述标记图像中摆球的第一运动加速度分量平方值和第二运动加速度分量平方值的和值开方值作为标记图像的总加速度；

根据所述总加速度和所述加速度变化系数，计算得到第二运动复杂程度，其中，所述总加速度和第二运动复杂程度呈正相关关系，所述加速度变化系数和第二运动复杂程度呈正相关关系，所述第二运动复杂程度的取值为归一化后的数值。

进一步地，所述根据所述第一运动复杂程度和所述第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，包括：

计算所述第一运动复杂程度和所述第二运动复杂程度的乘积作为窗口影响系数；

计算所述窗口影响系数和预设窗口大小的乘积作为标记搜索窗口的大小。

进一步地，所述根据所述标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置，包括：

将所述标记搜索窗口内像素值的分布与预设标准图像内摆球运动对应的像素值分布进行匹配，确定所述标记搜索窗口内与预设标准图像内摆球的中心点相对应的点为所述标记图像中摆球的目标位置。

进一步地，所述根据所有待测图像中摆球的目标位置，确定所述防水涂料的黏度，包括：

将所有所述待测图像中摆球的目标位置输入至预训练的LSTM神经网络模型中，经由LSTM神经网络模型处理输出防水涂料的黏度。

本发明具有如下有益效果：

本发明通过相邻两帧待测图像的光流场信息确定摆球的运动速度和运动加速度，并根据摆球运动的速度和加速度确定疑似中心位置，可以理解的是，疑似中心位置具有一定的误差，因此本发明对运动速度进行分析，确定运动变化的方向角和幅值，从而确定摆球的第一运动复杂程度，并根据摆球的运动加速度确定加速度变化系数，进而确定摆球的第二运动复杂程度，由于第一运动复杂程度为摆球在所有待测图像中整体的运动复杂程度，而第二运动复杂程度为摆球在标记图像对应时刻的瞬时运动复杂程度，从而根据第一运动复杂程度和第二运动复杂程度确定标记搜索窗口，进而根据标记搜索窗口确定摆球的目标位置，能够准确对搜索窗口的大小进行自适应调整，从而在速度过快，复杂程度过高时，相应使用更大的搜索窗口进行处理，有效避免因搜索窗口设置过大或过小导致的效率问题和可靠性问题，保证目标位置确定的准确性，从而根据不同待测图像中对应的目标位置对防水涂料的黏度进行检测。综上，本发明能够有效提升防水涂料黏度确定的准确性与可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种防水涂料生产智能监测系统结构图；

图2为本发明一个实施例所提供的摆球摆动示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种防水涂料生产智能监测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种防水涂料生产智能监测系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种防水涂料生产智能监测系统结构图，该防水涂料生产智能监测系统10包括：获取模块101、第一确定模块102、第二确定模块103和智能监测模块104，其中：

本发明的一种具体使用场景可以例如为图2所示的使用场景，图2为本发明一个实施例所提供的摆球摆动示意图，在图2中，使用杆状物支撑摆动绳，通过悬吊物在涂料液面下进行摆动带动摆球摆动，而摄像机对摆球进行观测，以拍摄摆球在摆动过程中的图像。

获取模块101，用于获取防水涂料上方的摆球在摆动中的初始摆动图像，以初始摆动图像为起点，获取连续的预设数量帧的摆动图像作为待测图像，根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度；根据运动速度和运动加速度确定不同帧待测图像中摆球的疑似中心位置。

本发明实施例中，可以使用高精度工业相机获取摆球在摆动过程中的摆动图像，而后，将图像中摆球在竖直方向上对应的图像作为初始摆动图像，竖直方向则表示悬吊物在涂料液面下方，也即根据悬吊物的摆动带动摆球的摆动，可以根据摆球的摆动情况对防水涂料的液体阻力进行监测，从而获取防水涂料的黏度。

在本发明的另一些实施例中，初始摆动图像可以是悬吊物在一侧进入防水涂料液面时对应的图像，对此不做限制。

可以理解的是，相机在拍摄过程中由于曝光时间的影响，在成像中会对运动的物体产生残影，而残影则较大程度影响摆动图像中摆球位置的准确确定，进而影响对摆球运动状态的判断，影响最终防水涂料黏度的准确性，则本发明实施例在后续步骤中对该种情况进行处理。

其中，预设数量帧，为待测图像对应的帧数，可选地，预设数量帧为20帧，本发明实施例中可以周期性对摆动的摆球进行拍摄，例如每秒拍摄20次，而后，初始摆动图像往后统计20帧的图像作为待测图像，当然，预设数量帧可以根据实际检测需求进行调整，对此不做限制。可以理解的是，由于悬吊物在摆动到极限时会逆转摆动方向，则本发明为了便于计算，则可以在逆转摆动方向前获取待测图像，也即是说，待测图像均为逆转摆动方向前的图像，从而能够避免速度方向变化产生的速度损耗和加速度变化对最终结果的影响。

进一步地，本发明实施例中，根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度，包括：基于光流法对相邻两帧待测图像进行光流分析，得到每帧待测图像的光流场信息；对待测图像中疑似中心位置的光流场信息进行梯度分解，得到在第一方向上的第一运动速度分量和第二方向上的第二运动速度分量；根据相邻两帧待测图像的第一运动速度分量的差值绝对值作为后一帧待测图像的第一运动加速度分量，根据相邻两帧待测图像的第二运动速度分量的差值绝对值作为后一帧待测图像的第二运动加速度分量；将第一运动速度分量和第二运动速度分量作为对应待测图像中摆球的运动速度；将第一运动加速度分量和第二运动加速度分量作为对应待测图像中摆球的运动加速度。

其中，光流法为在不同帧的待测图像中，对待测图像中像素点在运动的瞬时速度进行计算的方法，光流法为本领域所熟知的技术，通过光流法可以对相邻两帧待测图像进行光流分析，得到每帧待测图像的光流场信息。

本发明实施例中，光流场信息可以具体包括待测图像中每个像素点的运动情况，包括运动方向的映射和对应的运动速度的映射，由此，可以根据待测图像的光流场信息，对待测图像中疑似中心位置的光流场信息进行梯度分解，得到对应第一方向和第二方向上的运动速度分量。

其中，第一方向和第二方向，可以具体例如为水平方向和垂直方向，当然，也可以根据实际检测需求对第一方向和第二方向进行设置，对此不做限制。

将疑似中心位置处的光流场信息进行梯度分解，得到对应第一方向上的第一运动速度分量和第二方向上的第二运动速度分量。并根据相邻两帧待测图像中疑似中心位置处的第一运动速度分量的差值绝对值和第二运动速度分量的差值绝对值，分别作为对应后一帧待测图像的第一运动加速度分量和第二运动加速度分量。其中，梯度分解，为对速度等矢量进行分解的方式，梯度分解为本领域所熟知的技术，对此不做赘述。

可以理解的是，在初始摆动图像对应的运动速度和运动加速度均可以设置为0，或者，也可以根据摆球摆动情况设置预设的数值，对此不做限制。

本发明实施例中，将第一运动速度分量和第二运动速度分量作为对应待测图像中摆球的运动速度；将第一运动加速度分量和第二运动加速度分量作为对应待测图像中摆球的运动加速度。

本发明在确定不同帧待测图像中摆球运动的运动速度和运动加速度之后，可以根据运动速度和运动加速度对摆球运动进行模拟，以确定不同帧的待测图像中摆球的疑似中心位置。

可以理解的是，由于摆球在运动过程中受到防水涂料阻力和防水涂料内部流体在运动时产生的作用力，因此，摆球运动无法有效按照计算得到的疑似中心位置进行逐帧运动，会产生一定的误差，而又由于在对防水涂料本身的黏度特性进行检测时，运动误差会较大程度影响最终得到的结果准确性，因此，本发明通过对疑似中心位置周围像素点进行进一步分析，得到实际的中心位置，这种方式下，由于进一步分析时无法有效确定摆球所对应的区域，因此，为了结果的准确性，降低分析过程的运算量，本发明在后续实施例对摆球运动时的运动复杂性进行分析。

第一确定模块102，用于根据待测图像中摆球的运动速度，确定待测图像中摆球运动变化的方向角和幅值，根据方向角和幅值，确定待测图像中摆球的第一运动复杂程度。

进一步地，本发明实施例中，根据待测图像中摆球的运动速度，确定待测图像中摆球运动变化的方向角和幅值，包括：基于方向角计算公式，根据相邻两帧待测图像中第一运动速度分量和第二运动速度分量计算得到对应相邻两帧的后一帧待测图像中摆球运动变化的方向角；计算待测图像中摆球的第一运动速度分量平方值和第二运动速度分量平方值的和值开方值作为对应待测图像的总速度，将相邻两帧待测图像中总速度的差值作为对应相邻两帧的后一帧待测图像中摆球运动变化的幅值。

其中，方向角计算公式可以具体例如为：

式中，表示第帧待测图像中摆球运动变化的方向角，表示待测图像帧数的 索引，表示第帧待测图像在第二方向上的第二运动速度分量，表示第一方 向，表示第二方向，表示第帧待测图像在第一方向上的第一运动速度分 量，表示第帧待测图像在第二方向上的第二运动速度分量，表示第帧待测图 像在第一方向上的第一运动速度分量，表示反正切函数。则表示第帧待测图像中摆球运动的速度的偏移角度，表示第帧待测图像中摆球 运动的速度的偏移角度，计算其差值作为对应的方向角。

其中，幅值计算公式可以具体例如为：

式中，表示第帧待测图像中摆球运动变化的幅值，其余各参数与本发明实 施例中方向角计算公式中对应参数的含义相同，在此不做进一步赘述。

本发明实施例中，计算得到每帧待测图像中方向角和幅值之后，可以根据方向角和幅值，对摆球运动进行分析。

进一步地，本发明实施例中，根据方向角和幅值，确定待测图像中摆球的第一运动复杂程度，包括：将每帧待测图像中摆球运动变化的方向角和幅值作为HOG算子的输入，经由HOG算子计算输出待测图像中摆球在不同预设方向上的方向频率，计算方向频率的平方值作为对应预设方向上的复杂度因子，计算所有预设方向上复杂度因子的和值归一化值作为第一运动复杂程度。

其中，方向梯度直方图（Histogram of Oriented Gradient，HOG）算子，为一种常用的特征提取方法，是本领域所熟知的技术，通过建立多个预设方向，并分析不同预设方向对应的频率，以实现对运动特征的提取，本发明的一种实施例中，通过预设9个预设方向，分别为0°，20°，40°，…，160°，使用加权投票统计的方式，得到摆球运动速度变化的梯度分布直方图，而后，对每个方向上的频率进行归一化处理得到对应摆球在不同预设方向上的方向频率。当然，在本发明的另一些实施例中，对预设方向的设置可以根据实际摆动情况进行调整，本发明对此不做限制。

本发明实施例中，第一运动复杂程度的计算公式可以具体如下式所示：

式中，表示第一运动复杂程度，表示预设方向的总数量，表示预设方向的索引，表示第个预设方向的方向频率，表示第个预设方向的复杂度因子，表示归一化函 数，在本发明的一个实施例中，归一化处理可以具体例如为最大最小值归一化处理，并且， 后续步骤中的归一化均可以采用最大最小值归一化处理，在本发明的其他实施例中可以根 据数值具体范围选择其他归一化方法，对此不再赘述。

也即是说，将不同方向上对应的复杂度因子进行累加得到对应的第一运动复杂程度，可以理解的是，在每个方向上的方向频率相同或相似时，对应的第一运动复杂程度较小，而在某一方向上的方向频率过大，则复杂度因子较大，对应的第一运动复杂程度越大，也即小球在运动时对应运动方向越复杂。

第二确定模块103，用于任选某一帧待测图像作为标记图像，根据标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，根据加速度变化系数和标记图像中摆球的运动加速度，确定标记图像中摆球的第二运动复杂程度。

进一步地，本发明实施例中，根据标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，包括：计算标记图像中摆球的第一运动加速度分量和标记图像的前一帧图像中摆球的第一运动加速度分量的差值绝对值作为第一加速度差异；计算标记图像中摆球的第二运动加速度分量和标记图像的前一帧图像中摆球的第二运动加速度分量的差值绝对值作为第二加速度差异；根据第一加速度差异和第二加速度差异计算得到标记图像中摆球的加速度变化系数，其中，第一加速度差异和加速度变化系数呈正相关关系，第二加速度差异和加速度变化系数呈正相关关系。

其中，正相关关系表示因变量会随着自变量的增大而增大，因变量会随着自变量的减小而减小，具体关系可以为相乘关系、相加关系、指数函数的幂等，由实际应用进行确定；负相关关系表示因变量会随着自变量的增大而减小，因变量会随着自变量的减小而增大，可以为相减关系、相除关系等，由实际应用进行确定。

本发明实施例中，可以任意选取某一帧待测图像作为标记图像，而后，对标记图像进行加速度分析。加速度变化系数的计算公式可以具体如下式所示：

式中，表示第帧待测图像的加速度变化系数，本发明实施例中，将第帧待测图 像作为标记图像，表示第一方向，表示第二方向，则对应的，表示第帧待测 图像在第一方向上的第一运动加速度分量，表示第帧待测图像在第一方向上的第一 运动加速度分量，表示第帧待测图像在第二方向上的第二运动加速度分量，表示第帧待测图像在第二方向上的第二运动加速度分量，表示求绝对值。表示第一加速度差异，表示第二加速度差异。

当然，实施者也可通过其他形式的公式表征加速度变化系数，例如：

其中，对应的参数与本发明实施例中加速度变化系数的计算公式中对应参数的含义相同，在此不做进一步赘述。

可以理解的是，加速度变化越大，则可以表示对应的速度变化越大，也即是说，在第一方向与第二方向上的运动加速度分量差异越大，则可以表示摆球在摆动过程中运动越不规律，第一加速度差异和加速度变化系数呈正相关关系，第二加速度差异和加速度变化系数呈正相关关系。

进一步地，本发明实施例中，根据加速度变化系数和标记图像中摆球的运动加速度，确定标记图像中摆球的第二运动复杂程度，包括：计算标记图像中摆球的第一运动加速度分量平方值和第二运动加速度分量平方值的和值开方值作为标记图像的总加速度；根据总加速度和加速度变化系数，计算得到第二运动复杂程度，其中，总加速度和第二运动复杂程度呈正相关关系，加速度变化系数和第二运动复杂程度呈正相关关系，第二运动复杂程度的取值为归一化后的数值。

在本发明的一些实施例中，第二运动复杂程度对应的计算公式可以具体例如为：

式中，表示第帧待测图像中摆球的第二运动复杂程度，将第帧待测图像作为 标记图像，表示第一方向，表示第二方向，表示第帧待测图像的加速度变化系数，表示第帧待测图像在第一方向上的第一运动加速度分量，表示第帧待测图像在 第二方向上的第二运动加速度分量，表示第帧待测图像的总加速度，表 示归一化处理。

可以理解的是，总加速度越大，表示对应标记图像中的摆球运动速度变化越大，而加速度变化系数越大可以表示摆球在摆动过程中加速度变化越大，运动越不规律，也即是说，总加速度和第二运动复杂程度呈正相关关系，加速度变化系数和第二运动复杂程度呈正相关关系，且第二运动复杂程度被用于表征在较短时间内标记图像中摆球对应的运动速度变化情况。

智能监测模块104，用于根据第一运动复杂程度和第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，将标记图像中的疑似中心位置作为标记搜索窗口的中心点，根据标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置；根据所有待测图像中摆球的目标位置，确定防水涂料的黏度。

进一步地，在本发明的一些实施例中，根据第一运动复杂程度和第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，包括：计算第一运动复杂程度和第二运动复杂程度的乘积作为窗口影响系数；计算窗口影响系数和预设窗口大小的乘积作为标记搜索窗口的大小。

其中，预设窗口大小，为对标记图像对应位置进行搜索的窗口大小，可选地，预设窗口大小可以具体例如为50×50的窗口大小，可以理解的是，直接对固定区域进行搜索时，由于运动状态的不确定性以及每帧待测图像中疑似中心位置的误差较大，则对固定区域进行搜索时往往需要对将固定区域设置的较大，以满足对应的图像搜索需求，这会导致对应计算量的增加，从而在影响最终准确性的同时影响处理效率，因此本发明对预设窗口大小进行自适应调整。

在本发明的一些实施例中，标记搜索窗口的大小的计算公式可以具体例如为：

式中，表示第帧待测图像对应的标记搜索窗口的大小，表示第一运动复杂程 度，表示第帧待测图像中摆球的第二运动复杂程度，表示预设窗口大小，表示 窗口影响系数。

由于第一运动复杂程度越大越可以表示摆球在所有待测图像中整体的运动趋势较为复杂，而第二运动复杂程度越大则越可以表示对应待测图像所拍摄时刻摆球的运动速度变化较大，因此，本发明通过计算第一运动复杂程度和第二运动复杂程度的乘积作为窗口影响系数，窗口影响系数越大，越表明需要使用对应较大的窗口进行处理，由此，得到标记搜索窗口的大小。

进一步地，本发明实施例中，根据标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置，包括：将标记搜索窗口内像素值的分布与预设标准图像内摆球运动对应的像素值分布进行匹配，确定标记搜索窗口内与预设标准图像内摆球的中心点相对应的点为标记图像中摆球的目标位置。

本发明在确定搜索标记窗口大小之后，可以根据搜索标记窗口大小内像素值的分布预设标准图像内摆球运动对应的像素值分布进行匹配，其中，预设标准图像为摆球在运动过程中对应的图像，由于摆球在不同初始速度情况下运动情况不同，所对应最终生成的拖影大小形状也不同，因此，本发明可以设置在不同初始速度情况下摆球的运动图像，得到预设标准图像，将对应的预设标准图像与搜索标记窗口大小的图像进行匹配，根据像素点像素值的分布确定最匹配的作为匹配标准图像。可以理解的是，图像匹配过程为本领域所熟知的技术，对此不再赘述。

在确定匹配标准图像之后，将标记搜索窗口内与预设标准图像内摆球的中心点相对应的点为标记图像中摆球的目标位置，也即是说，目标位置即为待测图像中摆球的中心点位置。当然，在本发明的另一些实施例中，还可以使用多种其他任意可能的实现方式获取目标位置，如对搜索标记窗口内的像素点进行边缘检测并进行相应处理，得到摆球的轮廓，从而得到摆球的中心点位置等，对此不做限制。

由此，准确确定所有待测图像中摆球的中心点位置，便于根据摆球的中心点位置对摆球的运动状态进行分析，从而得到防水涂料的黏度。

进一步地，本发明实施例中，根据所有待测图像中摆球的目标位置，确定防水涂料的黏度，包括：将所有待测图像中摆球的目标位置输入至预训练的LSTM神经网络模型中，经由LSTM神经网络模型处理输出防水涂料的黏度。

其中，长短期记忆（Long Short Term Memory，LSTM）神经网络模型，为一种特殊的循环神经网络（Recurrent Neural Networks，RNN）模型，LSTM神经网络模型为常用的一种神经网络模型，本发明实施例中，可以对LSTM神经网络模型进行预训练，其中，预训练过程也为本领域所熟知的过程，通过输入大量标准信息，迭代优化模型中的参数，以得到表现较优的LSTM神经网络模型，对模型的预训练过程不再赘述。

可选地，本发明实施例所使用的LSTM神经网络模型最终输出为全连接层，神经元个数为1，用于预测防水涂料的黏度，优化算法使用自适应矩估计（Adaptive MomentEstimation，Adam）优化器，最终输出的全连接层的函数使用sigmoid函数。

可以理解的是，由于不同黏度的防水涂料对摆球的阻力不同，也即在摆球运动过程中，不同时刻摆球对应的位置受阻力的影响会产生区别，基于该原则，在本发明的一些实施例中，通过将所有待测图像中摆球的目标位置输入至预训练的LSTM神经网络模型中，由于待测图像获取的时间点为周期性的时间点，则可以直接根据LSTM神经网络模型将连续多帧预测图像中摆球的目标位置与对应的不同历史模板图像中对应帧数的摆球的位置进行匹配，确定最匹配的一组历史模板图像，从而将最匹配的一组历史模板图像中对应的涂料黏度信息作为预测图像中防水涂料的黏度，或者，在本发明的另一些实施例中，也可以根据不同时间点待测图像中摆球目标位置的统计结果，经由LSTM神经网络模型计算得到摆球在运动时的阻力信息，从而根据先验经验，将阻力信息映射至黏度维度上，输出防水涂料的黏度，对此不做限制。

本发明实施例中，将所有待测图像中摆球的目标位置输入至预训练的LSTM神经网络模型中，经由LSTM神经网络模型处理输出防水涂料的黏度。

本发明通过相邻两帧待测图像的光流场信息确定摆球的运动速度和运动加速度，并根据摆球运动的速度和加速度确定疑似中心位置，可以理解的是，疑似中心位置具有一定的误差，因此本发明对运动速度进行分析，确定运动变化的方向角和幅值，从而确定摆球的第一运动复杂程度，并根据摆球的运动加速度确定加速度变化系数，进而确定摆球的第二运动复杂程度，由于第一运动复杂程度为摆球在所有待测图像中整体的运动复杂程度，而第二运动复杂程度为摆球在标记图像对应时刻的瞬时运动复杂程度，从而根据第一运动复杂程度和第二运动复杂程度确定标记搜索窗口，进而根据标记搜索窗口确定摆球的目标位置，能够准确对搜索窗口的大小进行自适应调整，从而在速度过快，复杂程度过高时，相应使用更大的搜索窗口进行处理，有效避免因搜索窗口设置过大或过小导致的效率问题和可靠性问题，保证目标位置确定的准确性，从而根据不同待测图像中对应的目标位置对防水涂料的黏度进行检测。综上，本发明能够有效提升防水涂料黏度确定的准确性与可靠性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (5)

1.一种防水涂料生产智能监测系统，其特征在于，所述系统包括：

获取模块，用于获取防水涂料上方的摆球在摆动中的初始摆动图像，以所述初始摆动图像为起点，获取连续的预设数量帧的摆动图像作为待测图像，根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度；根据所述运动速度和所述运动加速度确定不同帧待测图像中摆球的疑似中心位置；

第一确定模块，用于根据所述待测图像中摆球的运动速度，确定所述待测图像中摆球运动变化的方向角和幅值，根据所述方向角和幅值，确定所述待测图像中摆球的第一运动复杂程度；

第二确定模块，用于任选某一帧待测图像作为标记图像，根据所述标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，根据所述加速度变化系数和所述标记图像中摆球的运动加速度，确定所述标记图像中摆球的第二运动复杂程度；

智能监测模块，用于根据所述第一运动复杂程度和所述第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，将标记图像中的疑似中心位置作为标记搜索窗口的中心点，根据所述标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置；根据所有待测图像中摆球的目标位置，确定所述防水涂料的黏度；

所述根据所述方向角和幅值，确定所述待测图像中摆球的第一运动复杂程度，包括：

将每帧待测图像中摆球运动变化的方向角和幅值作为HOG算子的输入，经由HOG算子计算输出待测图像中摆球在不同预设方向上的方向频率，计算方向频率的平方值作为对应预设方向上的复杂度因子，计算所有预设方向上复杂度因子的和值归一化值作为第一运动复杂程度；

所述根据相邻两帧待测图像的光流场信息确定不同帧待测图像中摆球的运动速度和运动加速度，包括：

基于光流法对相邻两帧待测图像进行光流分析，得到每帧待测图像的光流场信息；

对所述待测图像中疑似中心位置的光流场信息进行梯度分解，得到在第一方向上的第一运动速度分量和第二方向上的第二运动速度分量；

根据相邻两帧待测图像的第一运动速度分量的差值绝对值作为后一帧待测图像的第一运动加速度分量，根据相邻两帧待测图像的第二运动速度分量的差值绝对值作为后一帧待测图像的第二运动加速度分量；

将所述第一运动速度分量和第二运动速度分量作为对应待测图像中摆球的运动速度；将所述第一运动加速度分量和第二运动加速度分量作为对应待测图像中摆球的运动加速度；

所述根据所述标记图像和标记图像的前一帧图像中摆球的运动加速度，确定加速度变化系数，包括：

计算所述标记图像中摆球的第一运动加速度分量和标记图像的前一帧图像中摆球的第一运动加速度分量的差值绝对值作为第一加速度差异；

计算所述标记图像中摆球的第二运动加速度分量和标记图像的前一帧图像中摆球的第二运动加速度分量的差值绝对值作为第二加速度差异；

根据第一加速度差异和第二加速度差异计算得到标记图像中摆球的加速度变化系数，其中，所述第一加速度差异和所述加速度变化系数呈正相关关系，所述第二加速度差异和所述加速度变化系数呈正相关关系；

所述根据所述加速度变化系数和所述标记图像中摆球的运动加速度，确定所述标记图像中摆球的第二运动复杂程度，包括：

计算所述标记图像中摆球的第一运动加速度分量平方值和第二运动加速度分量平方值的和值开方值作为标记图像的总加速度；

根据所述总加速度和所述加速度变化系数，计算得到第二运动复杂程度，其中，所述总加速度和第二运动复杂程度呈正相关关系，所述加速度变化系数和第二运动复杂程度呈正相关关系，所述第二运动复杂程度的取值为归一化后的数值。

2.如权利要求1所述的一种防水涂料生产智能监测系统，其特征在于，所述根据所述待测图像中摆球的运动速度，确定所述待测图像中摆球运动变化的方向角和幅值，包括：

基于方向角计算公式，根据相邻两帧待测图像中第一运动速度分量和第二运动速度分量计算得到对应相邻两帧的后一帧待测图像中摆球运动变化的方向角；

计算所述待测图像中摆球的第一运动速度分量平方值和第二运动速度分量平方值的和值开方值作为对应待测图像的总速度，将相邻两帧待测图像中总速度的差值作为对应相邻两帧的后一帧待测图像中摆球运动变化的幅值。

3.如权利要求1所述的一种防水涂料生产智能监测系统，其特征在于，所述根据所述第一运动复杂程度和所述第二运动复杂程度，确定标记图像对应的标记搜索窗口的大小，包括：

计算所述第一运动复杂程度和所述第二运动复杂程度的乘积作为窗口影响系数；

计算所述窗口影响系数和预设窗口大小的乘积作为标记搜索窗口的大小。

4.如权利要求1所述的一种防水涂料生产智能监测系统，其特征在于，所述根据所述标记搜索窗口内像素值的分布确定标记图像中摆球的目标位置，包括：

将所述标记搜索窗口内像素值的分布与预设标准图像内摆球运动对应的像素值分布进行匹配，确定所述标记搜索窗口内与预设标准图像内摆球的中心点相对应的点为所述标记图像中摆球的目标位置。

5.如权利要求1所述的一种防水涂料生产智能监测系统，其特征在于，所述根据所有待测图像中摆球的目标位置，确定所述防水涂料的黏度，包括：

将所有所述待测图像中摆球的目标位置输入至预训练的LSTM神经网络模型中，经由LSTM神经网络模型处理输出防水涂料的黏度。