CN115802027B - 基于图像处理的在线监控设备运行异常检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的在线监控设备运行异常检测方法，包括：根据实时获取的待检测在线监控设备的监控区域图像，确定待检测在线监控设备的色彩分析指标；获取待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像，确定各重叠背景区域图像中的优选连通域，根据优选连通域确定待检测在线监控设备的关联分析指标；根据色彩分析指标和关联分析指标，确定待检测在线监控设备的异常程度指标，根据异常程度指标判断待检测在线监控设备是否发生异常。本发明实现了待检测在线监控设备的运行异常检测，主要应用于在线监控设备运行检测领域，其提高了在线监控设备的异常检测结果的准确度。

Description

基于图像处理的在线监控设备运行异常检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的在线监控设备运行异常检测方法。

背景技术

在线监控设备在各行各业都有所涉及，在线监控设备的运行状态会影响着所采集的视频和图像的质量，如采集图像出现不清晰等问题，为了保证在线监控设备所采集的图像或视频质量，需要实时监测在线监控设备的运行状态。目前大多数的在线监控设备运行状态检测是通过人工来监测在线监控设备的状况，但是该方法的实时性较差，且人为检测存在较大的主观性，容易出现漏检或误检的情况，该方法的异常检测的准确度较低，同时，针对大规模的在线监控系统，其包含的在线监控设备的数量较多，人为检测的工作效率低下，容易消耗大量的人力资源。

随着图像数据处理技术的发展，现有提出了一种基于图像识别技术的机房设备在线识别方法，该方法通过对采集到的图像进行视觉增强处理，得到增强彩色图像，利用神经网络提取图像特征，根据图像特征对目标设备进行检测和识别，判断机房是否存在安全隐患和异常状态的设备。神经网络在进行特征提取时存在特征提取不完整的情况，其容易导致监控设备检测结果的准确性降低，且该方法需要人为大量标注，导致监控设备运行状态检测的工作量增大、精度降低。

发明内容

为了解决上述在线监控设备检测结果的准确性低的技术问题，本发明的目的在于提供一种基于图像处理的在线监控设备运行异常检测方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于图像处理的在线监控设备运行异常检测方法，该方法包括以下步骤：

实时获取待检测在线监控设备对应的不少于两帧的监控区域图像；

获取 LAB色彩空间中的各帧监控区域图像内每个像素点的第一色度和第二色度，根据所述第一色度和第二色度确定各帧监控区域图像的色度因子，根据所述色度因子确定待检测在线监控设备的色彩分析指标；

获取待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像，根据所述当前时刻的监控区域图像，确定待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像；

根据各重叠背景区域图像内每个像素点的灰度值和位置，确定各重叠背景区域图像内每个像素点的关键特征参数和梯度变化因子，根据所述每个像素点的关键特征参数和梯度变化因子，确定各重叠背景区域图像内每个像素点的描述子函数值；

根据所述描述子函数值确定各重叠背景区域图像中的优选连通域；根据所述优选连通域，确定待检测在线监控设备的关联分析指标；

根据待检测在线监控设备的色彩分析指标和关联分析指标，确定待检测在线监控设备的异常程度指标，根据所述异常程度指标，判断待检测在线监控设备是否发生异常。

进一步的，根据所述第一色度和第二色度确定各帧监控区域图像的色度因子，包括：

根据各帧监控区域图像中每个像素点的第一色度和第二色度，确定各帧监控区域图像对应的第一色度均值、第二色度均值、第一色度均方差以及第二色度均方差；

根据各帧监控区域图像对应的第一色度均值和第二色度均值，确定各帧监控区域图像的色度均值指标；

根据各帧监控区域图像对应的第一色度均方差和第二色度均方差，确定各帧监控区域图像的色度均方差指标；

根据各帧监控区域图像的色度均值指标和色度均方差指标，确定各帧监控区域图像的色度因子。

进一步的，根据各重叠背景区域图像内每个像素点的灰度值和位置，确定各重叠背景区域图像内每个像素点的关键特征参数和梯度变化因子，包括：

根据各重叠背景区域图像内每个像素点的灰度值，确定每个像素点对应的灰度共生矩阵；

根据每个像素点对应的灰度共生矩阵，确定每个像素点对应的灰度共生矩阵的关键特征参数；

根据各重叠背景区域图像内每个像素点的位置，确定每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数；

根据每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数，确定每个像素点的海森矩阵，根据所述每个像素点的海森矩阵，确定每个像素点的海森矩阵对应的第一特征值和第二特征值；

根据每个像素点的海森矩阵对应的第一特征值和第二特征值，确定每个像素点的梯度变化因子。

进一步的，所述描述子函数值的计算公式为：，其中，为各重叠背景区域图像内每个像素点的描述子函数值， Ent为各重叠背景区域图像内每个像素点的关键特征参数， TD为各重叠背景区域图像内每个像素点的梯度变化因子， exp( )为以自然常数为底的指数函数。

进一步的，根据所述优选连通域，确定待检测在线监控设备的关联分析指标，包括：

根据各重叠背景区域图像中的优选连通域，确定各优选连通域的颜色直方图；

计算待检测在线监控设备对应的优选连通域的颜色直方图与各相关在线监控设备对应的优选连通域的颜色直方图之间的距离值，根据所述距离值确定待检测在线监控设备的关联分析指标。

进一步的，所述关联分析指标的计算公式为：，其中， R _s 为待检测在线监控设备的关联分析指标， e为自然常数， J为待检测在线监控设备的相关在线监控设备的数量，为待检测在线监控设备对应的优选连通域的颜色直方图与第 j个相关在线监控设备对应的优选连通域的颜色直方图之间的距离值。

进一步的，根据所述色度因子确定待检测在线监控设备的色彩分析指标，包括：

从各帧监控区域图像的色度因子中选取出最大色度因子和最小色度因子，将最大色度因子与最小色度因子之和作为比值的分母，将最大色度因子和最小色度因子的差值绝对值作为比值的分子，将所述比值作为待检测在线监控设备的色彩分析指标。

进一步的，所述相关在线监控设备为待检测在线监控设备的邻域范围内、与待检测在线监控设备的监控区域存在重叠区域的其他在线监控设备。

进一步的，根据所述描述子函数值确定各重叠背景区域图像中的优选连通域，包括：

从各重叠背景区域图像中筛选出描述子函数值小于预设函数阈值的像素点，将该像素点作为优选像素点，获得各重叠背景区域图像中的各个优选像素点；

根据各重叠背景区域图像中的各个优选像素点，确定各重叠背景区域图像中的待选连通域，将每个重叠背景区域图像中面积最大的待选连通域作为优选连通域。

进一步的，根据所述异常程度指标，判断待检测在线监控设备是否发生异常，包括：

若待检测在线监控设备的异常程度指标大于预设检测阈值，则判定待检测在线监控设备发生异常，否则，判定待检测在线监控设备没有发生异常。

本发明具有如下有益效果：

本发明提供了一种基于图像处理的在线监控设备运行异常检测方法，该方法基于图像数据处理技术进行分析，适用于大规模的在线监控系统，鲁棒性较强，对实时获得的待检测在线监控设备对应的不少于两帧的监控区域图像进行分析处理，得到待检测在线监控设备的色彩分析指标，利用多帧图像所确定的色彩分析指标的参考性更高，且有助于提高在线监控设备运行异常检测的效率，该色彩分析指标是后续确定异常程度指标的关键指标；对待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像的图像特征进行分析，得到待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像，根据重叠背景区域图像从侧面分析待检测在线监控设备的运行状态，确定待检测在线监控设备与各相关在线监控设备之间的关联性程度，基于关联性程度对待检测在线监控设备的运行状态进行检测分析，有助于提高在线监控设备运行异常检测的准确度。由于在线监控设备所采集的图像随着外界环境的变化都有所差异，通过相关在线监控设备所采集图像的特征对待检测在线监控设备的运行状况进行联合分析，可避免仅根据待检测在线监控设备所获取的监控区域图像对其运行状况分析过程中的单一性、偶然性；根据重叠背景区域图像的特征信息可确定重叠背景区域图像中每个像素点的描述子函数值，基于描述子函数值得到重叠背景区域图像中的优选连通域，相比直接分析重叠背景区域图像的关联分析指标，从重叠背景区域图像中筛选出优选连通域，基于优选连通域所计算的关联分析指标的可靠性更高，有效减少了重叠背景区域图像的不均匀特性的影响，提高了待检测在线监控设备的关联分析指标的准确度；基于待检测在线监控设备的色彩分析指标和关联分析指标，从待检测在线监控设备所拍摄得到的监控区域图像的两个角度，来确定待检测在线监控设备的异常程度指标，有效提高待检测在线监控设备的异常程度指标的精确度，根据精确度较高的异常程度指标，判断待检测在线监控设备是否发生异常，有助于提高在线监控设备异常检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于图像处理的在线监控设备运行异常检测方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

对于规模较大的在线监控系统，为了实现对大规模在线监控系统中各个在线监控设备的运行状况进行分析检测，本实施例提供了一种基于图像处理的在线监控设备运行异常检测方法，如图1所示，包括以下步骤：

（1）实时获取待检测在线监控设备对应的不少于两帧的监控区域图像。

本实施例基于待检测在线监控设备所采集的图像数据，可以实现对待检测在线监控设备进行异常检测分析。首先，利用待检测在线监控设备实时采集监控区域的图像数据，采集的间隔时间可以为10分钟，也就是每间隔10分钟待检测在线监控设备就进行一次不少于两帧的监控区域图像采集。在采集监控区域图像时，需要使待检测在线监控设备的位置和相机视角保持固定不变，以保证在对监控区域图像进行分析时其背景图像不发生变化，其有助于提高在线监控设备运行状况检测的精确度。为了降低检测量，提高检测效率，将不少于两帧的监控区域图像作为后续待检测在线监控异常检测的基础数据。本实施例将实时获取30帧监控区域图像，在30帧监控区域图像中包含当前时刻的监控区域图像，30帧监控区域图像可用于后续的图像特征分析，监控区域图像的帧数可由实施者根据实际情况自行设置。

需要说明的是，相比人工定时监测，基于监控区域图像，对待检测在线监控设备进行运行异常检测，有助于提高在线监控设备运行异常检测的效率和准确性。为了及时检测待检测在线监控设备的最新运行状态，采集图像数据的过程需要连续实时获取。其次，在实际情况中为了保证监控区域的无遗漏监测，需要确保相邻的在线监控设备对应的监控区域存在重叠区域，以实现对监控区域的全面监测。

至此，本实施例可以基于待检测在线监控设备所采集的30帧监控区域图像，实现后续对待检测在线监控设备运行状况进行检测。

（2）获取 LAB色彩空间中的各帧监控区域图像内每个像素点的第一色度和第二色度，根据第一色度和第二色度确定各帧监控区域图像的色度因子，根据色度因子确定待检测在线监控设备的色彩分析指标。

首先，获取 LAB（Lab color space，颜色对立空间）色彩空间中的各帧监控区域图像内每个像素点的第一色度和第二色度，其步骤包括：

本实施例为了便于对各帧监控区域图像的图像特征进行直观分析，将各帧监控区域图像进行色彩空间转换处理，使各帧监控区域图像转换到 LAB颜色空间中，获得 LAB颜色空间中的各帧监控区域图像内每个像素点的A色度和B色度，A色度和B色度是指色彩三维空间的两个轴，获取 A色度和 B色度，有助于后续对各帧监控区域图像的颜色特征进行分析，本实施例可以将 A色度作为第一色度，可以将 B色度作为第二色度。将图像转换到 LAB颜色空间中的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

其次，根据第一色度和第二色度确定各帧监控区域图像的色度因子，其步骤包括：

（2-1）根据各帧监控区域图像中每个像素点的第一色度和第二色度，确定各帧监控区域图像对应的第一色度均值、第二色度均值、第一色度均方差以及第二色度均方差。

在本实施例中，基于各帧监控区域图像中每个像素点的第一色度和第二色度，可以通过计算获得各帧监控区域图像中所有像素点对应的第一色度均值、第二色度均值、第一色度均方差以及第二色度均方差，将各帧监控区域图像对应的第一色度均值记为，将第二色度均值记为 ，将第一色度均方差记为，将第二色度均方差记为。需要说明的是，计算均值和均方差的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（2-2）根据各帧监控区域图像对应的第一色度均值和第二色度均值，确定各帧监控区域图像的色度均值指标；根据各帧监控区域图像对应的第一色度均方差和第二色度均方差，确定各帧监控区域图像的色度均方差指标。

为了便于后续确定各帧监控区域图像的色度因子，本实施例基于各帧监控区域图像对应的第一色度均值和第二色度均值，计算各帧监控区域图像的色度均值指标，其计算公式可以为：，其中，为各帧监控区域图像的色度均值指标，为各帧监控区域图像对应的第一色度均值，为各帧监控区域图像对应的第二色度均值。

基于各帧监控区域图像对应的第一色度均方差和第二色度均方差，可以计算各帧监控区域图像的色度均方差指标，其计算公式可以为：，其中，为各帧监控区域图像的色度均方差指标，为各帧监控区域图像对应的第一色度均方差，为各帧监控区域图像对应的第二色度均方差。

需要说明的是，各帧监控区域图像均有其对应的色度均值指标和色度均方差指标，为了便于后续的计算，色度均值指标和色度均方差指标均为正数，色度均值指标和色度均方差指标可用于对各帧监控区域图像的颜色特征进行分析。

（2-3）根据各帧监控区域图像的色度均值指标和色度均方差指标，确定各帧监控区域图像的色度因子。

本实施例基于各帧监控区域图像对应的色度均值指标和色度均方差指标，可以构建色度因子模型，得到各帧监控区域图像的色度因子，色度因子的计算公式可以为：，其中，为各帧监控区域图像的色度因子，为各帧监控区域图像对应的色度均值指标，为各帧监控区域图像对应的色度均方差指标，ln( )为以自然常数为底的对数函数。

需要说明的是，每帧监控区域图像均有其对应的色度因子，基于色度因子的计算公式中的色度均值指标与色度因子为正相关，而色度均方差指标与色度因子为负相关，色度因子由色度均值和色度均方差计算得到的，从两个角度分析每帧监控区域图像的图像特征，所得到的可用于表征各帧监控区域图像的图像色彩状况的色度因子的准确度和参考价值会更高。

最后，根据色度因子确定待检测在线监控设备的色彩分析指标，其步骤包括：

从各帧监控区域图像的色度因子中选取出最大色度因子和最小色度因子，将最大色度因子与最小色度因子之和作为比值的分母，将最大色度因子和最小色度因子的差值绝对值作为比值的分子，将比值作为待检测在线监控设备的色彩分析指标。

在本实施例中，基于各帧监控区域图像的色度因子，可以得到待检测在线监控设备的色彩分析指标，色彩分析指标的计算公式可以为：，其中， C为待检测在线监控设备的色彩分析指标，为各帧监控区域图像对应的最大色度因子，为各帧监控区域图像对应的最小色度因子。

需要说明的是，色彩分析指标利用各帧监控区域图像对应的最大色度因子和最小色度因子，来表征待检测在线监控设备在连续采集监控区域图像时所采集的图像的颜色特征，可以将色彩分析指标作为待检测在线监控设备运行状况检测的特征参数，色彩分析指标可用于后续对待检测在线监控设备运行情况进行分析检测，待检测在线监控设备的色彩分析指标越大，说明待检测在线监控设备在进行图像采集过程中出现异常的可能性越高，那么待检测在线监控设备发生异常的概率就会越大。

（3）获取待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像，根据当前时刻的监控区域图像，确定待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像。

需要说明的是，为了提高待检测在线监控设备运行状况的检测精度，本实施例将基于待检测在线监控设备的邻域范围内、与待检测在线监控设备的监控区域存在重叠区域的其他在线监控设备的运行状况，也就是各相关在线监控设备的运行状况，从侧面对待检测在线监控设备的运行状况进行分析，提高了在线监控设备运行异常检测的准确度，邻域范围的大小可由实施者根据实际情况自行设定。

首先，获取待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像，其步骤包括：

在本实施例中，相关在线监控设备是指待检测在线监控设备的邻域范围内、与待检测在线监控设备的监控区域存在重叠区域的其他在线监控设备，相关在线监控设备的数量可以记为 J个，将待检测在线监控设备作为中心点，并将中心点周围的、与中心点的监控区域有重叠的其他在线监控设备作为邻接点，邻接点也可以为待检测在线监控设备的相关在线监控设备，利用中心点和邻接点可以采集到当前时刻的监控区域图像。至此，本实施例得到了待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像。

值得说明的是，为了实现全面监控，中心点与其邻接点的监控区域必然会存在相同的部分监控区域，也就是会存在重叠的监控区域。

然后，根据当前时刻的监控区域图像，确定待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像，其步骤包括：

本实施例利用背景差分法提取当前时刻的监控区域图像的背景区域，基于提取的背景区域可以得到待检测在线监控设备及其各相关在线监控设备对应的背景图像，根据背景图像确定待检测在线监控设备与各相关在线监控设备的背景图像的重叠区域，根据背景图像中的重叠区域，可以获得待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像，待检测在线监控设备和各相关在线监控设备均有其对应的重叠背景区域图像。重叠背景区域图像可以为同一监控区域在不同的在线监控设备下的背景图像数据，各重叠背景区域图像的获取过程可以是从不同的监控视角对同一个监控区域进行图像采集处理的过程。背景差分法提取背景区域的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

例如，待检测在线监控设备的背景图像为，待检测在线监控设备的某个监控视角对应的第 j个相关在线监控设备的背景图像为，获取背景图像为与背景图像为的重叠区域，将该重叠区域记为，待检测在线监控设备对应的重叠背景区域图像可以为，待检测在线监控设备的第 j个相关在线监控设备对应的重叠背景区域图像可以为。

（4）根据各重叠背景区域图像内每个像素点的灰度值和位置，确定各重叠背景区域图像内每个像素点的关键特征参数和梯度变化因子，根据每个像素点的关键特征参数和梯度变化因子，确定各重叠背景区域图像内每个像素点的描述子函数值。

需要说明的是，当重叠背景区域图像存在不均匀现象时，再分析不同的在线监控设备对应的同一监控区域的重叠背景区域图像之间的关联性就会比较困难，两个不同的在线监控设备受自身不均匀特性的影响，导致重叠背景区域图像存在较大差异，不能提取到重叠背景区域图像的精准图像特征，进而影响后续确定的关联性指标的准确度。为了实现对各重叠背景区域图像的图像特征进行准确分析，便于后续确定优选区域，需要确定各重叠背景区域图像内每个像素点的描述子函数值，其步骤包括：

（4-1）根据各重叠背景区域图像内每个像素点的灰度值，确定每个像素点对应的灰度共生矩阵。

本实施例以每个像素点为中心，获取每个像素点的预设尺寸为7x7的邻域范围，基于每个像素点及其邻域范围内每个像素点的灰度值，计算得到每个像素点对应的灰度共生矩阵，将灰度共生矩阵记为 H。计算灰度共生矩阵的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（4-2）根据每个像素点对应的灰度共生矩阵，确定每个像素点对应的灰度共生矩阵的关键特征参数。

在本实施例中，基于步骤（4-1）得到的每个像素点对应的灰度共生矩阵，计算得到灰度共生矩阵的关键特征参数，本实施例只确定灰度共生矩阵的关键特征参数中的熵，这里的灰度共生矩阵的关键特征参数也就是灰度共生矩阵的熵，将关键特征参数记为 Ent，关键特征参数可以用于表征重叠背景区域图像中每个像素点对应的局部范围内的像素点分布状况和非均匀程度。计算灰度共生矩阵的关键特征参数的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（4-3）根据各重叠背景区域图像内每个像素点的位置，确定每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数。

为了便于后续确定每个像素点的梯度变化因子，基于各重叠背景区域图像内每个像素点的位置，分别获取每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数，将 x方向的二阶偏导数记为，将 y方向的二阶偏导数记为，将 x方向的混合偏导数记为，将 y方向的混合偏导数记为。二阶偏导数和混合偏导数的计算过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（4-4）根据每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数，确定每个像素点的海森矩阵，根据每个像素点的海森矩阵，确定每个像素点的海森矩阵对应的第一特征值和第二特征值。

在本实施例中，根据每个像素点在 x方向、 y方向的二阶偏导数和混合偏导数，可以得到每个像素点的海森矩阵，海森矩阵可用于表征重叠背景区域图像中每个像素点的梯度变化特征。基于每个像素点的海森矩阵，可以计算每个像素点的海森矩阵对应的第一特征值和第二特征值，将第一特征值记为，将第二特征值记为。获取海森矩阵和海森矩阵对应的第一特征值和第二特征值的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（4-5）根据每个像素点的海森矩阵对应的第一特征值和第二特征值，确定每个像素点的梯度变化因子。

本实施例根据每个像素点的海森矩阵对应的第一特征值和第二特征值，确定每个像素点的梯度变化因子，梯度变化因子可以用于分析各重叠背景区域图像内每个像素点的纹理分布均匀程度，梯度变化因子的计算公式可以为： ，TD为每个像素点的梯度变化因子， e为自然常数，为每个像素点的海森矩阵对应的第一特征值，为每个像素点的海森矩阵对应的第二特征值。

需要说明的是，为了便于后续计算，利用梯度变化因子的计算公式将梯度变化因子转换成归一化后的数值，梯度变化因子的值域范围为0到1。若任意一个像素点的梯度变化因子越大，则说明该像素点处的纹理分布越不均匀。

（4-6）根据每个像素点的关键特征参数和梯度变化因子，确定各重叠背景区域图像内每个像素点的描述子函数值。

本实施例基于各重叠背景区域图像内每个像素点对应的局部范围内像素点分布状况和每个像素点的纹理分布情况，确定每个像素点的图像特征状态，也就是基于每个像素点的关键特征参数和梯度变化因子，计算各重叠背景区域图像内每个像素点的描述子函数值，描述子函数值的计算公式可以为：，其中，为各重叠背景区域图像内每个像素点的描述子函数值， Ent为各重叠背景区域图像内每个像素点的关键特征参数， TD为各重叠背景区域图像内每个像素点的梯度变化因子， exp( )为以自然常数为底的指数函数。

需要说明的是，每个像素点的描述子函数值为归一化后的数值，归一化处理有助于提高后续的计算效率。描述子函数值的计算公式中的关键特征参数 Ent、梯度变化因子 TD与描述子函数值为正相关，关键特征参数 Ent和梯度变化因子 TD越大，描述子函数值就会越大，若各重叠背景区域图像内任意一个像素点的描述子函数值越大，则说明该像素点处越有可能出现不均匀现象，描述子函数值是后续判断重叠背景区域图像是否均匀的重要指标。

（5）根据描述子函数值确定各重叠背景区域图像中的优选连通域；根据优选连通域，确定待检测在线监控设备的关联分析指标。

由于在线监控设备所采集的图像随着外界环境的变化都有所差异，通过相关在线监控设备所采集图像的特征对待检测在线监控设备的运行状况进行联合分析，可避免仅根据待检测在线监控设备所获取的监控区域图像对其运行状况分析过程中的单一性、偶然性，提高待检测在线监控设备运行异常检测的准确度，确定待检测在线监控设备的关联分析指标的步骤包括：

（5-1）根据描述子函数值确定各重叠背景区域图像中的优选连通域，其步骤包括：从各重叠背景区域图像中筛选出描述子函数值小于预设函数阈值的像素点，将该像素点作为优选像素点，获得各重叠背景区域图像中的各个优选像素点。根据各重叠背景区域图像中的各个优选像素点，确定各重叠背景区域图像中的待选连通域，将每个重叠背景区域图像中面积最大的待选连通域作为优选连通域，确定优选连通域的具体步骤为：

本实施例将于预设函数阈值设置为0.4，实施者可根据实际情况自行设置，将各重叠背景区域图像中描述子函数值小于预设函数阈值0.4的像素点作为优选像素点，进一步得到各重叠背景区域图像中的各个优选像素点。将各重叠背景区域图像中各个优选像素点所构成的连通域作为待选连通域，每个重叠背景区域图像中至少会有一个待选连通域，统计每个重叠背景区域图像中待选连通域的面积，该面积是指待选连通域内像素点的个数，将每个重叠背景区域图像中面积最大的待选连通域作为对应重叠背景区域图像中的优选连通域。

至此，本实施例实现了对各重叠背景区域图像中的优选连通域的提取。

（5-2）根据优选连通域，确定待检测在线监控设备的关联分析指标。

在本实施例中，基于各重叠背景区域图像中的优选连通域，可以对待检测在线监控设备和各相关在线监控设备之间的相关性进行分析，也就是确定待检测在线监控设备的关联分析指标，其步骤包括：（5-2-1）根据各重叠背景区域图像中的优选连通域，确定各优选连通域对应的颜色直方图。

本实施例为了便于后续计算关联分析指标，基于各重叠背景区域图像中的优选连通域，可以获得各优选连通域对应的颜色直方图。获取颜色直方图的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

（5-2-2）计算待检测在线监控设备对应的优选连通域的颜色直方图与各相关在线监控设备对应的优选连通域的颜色直方图之间的距离值，根据距离值确定待检测在线监控设备的关联分析指标。

需要说明的是，两个颜色直方图之间距离的计算可以为欧式距离，也可以为巴氏距离，可由实施者根据实际情况自行设定。在本实施例中，两个颜色直方图之间距离的计算为巴氏距离，计算获得待检测在线监控设备对应的优选连通域的颜色直方图与各相关在线监控设备对应的优选连通域的颜色直方图之间的巴氏距离，将该巴氏距离记为，，其中， j为待检测在线监控设备对应的第 j个相关在线监控设备， J为待检测在线监控设备的相关在线监控设备的数量，根据巴氏距离构建待检测在线监控设备的关联因子检测模型，得到待检测在线监控设备的关联分析指标，该关联分析指标可用于对待检测在线监控设备对应的优选连通域与各相关在线监控设备对应的优选连通域之间的图像特征相关程度进行检测分析，关联分析指标的计算公式可以为：，其中， R为待检测在线监控设备的关联分析指标， e为自然常数， J为待检测在线监控设备的相关在线监控设备的数量，为待检测在线监控设备对应的优选连通域对应的颜色直方图与第 j个相关在线监控设备对应的优选连通域对应的颜色直方图之间的距离值。

需要说明的是，关联分析指标的计算公式中的距离值与关联分析指标 R为负相关，距离值越小，关联分析指标 R就会越高，待检测在线监控设备的关联分析指标越高，待检测在线监控设备与各相关在线监控设备的相关程度越高，也就是待检测在线监控设备对应的优选连通域与各相关在线监控设备对应的优选连通域之间的图像特征相关程度就会越高，待检在线监控设备运行异常的可能性就会越小。

（6）根据待检测在线监控设备的色彩分析指标和关联分析指标，确定待检测在线监控设备的异常程度指标，根据异常程度指标，判断待检测在线监控设备是否发生异常，其步骤包括：

（6-1）根据待检测在线监控设备的色彩分析指标和关联分析指标，确定待检测在线监控设备的异常程度指标。

在本实施例中，基于待检测在线监控设备的监控区域图像的特征参数，也就是待检测在线监控设备的色彩分析指标，同时基于待检测在线监控设备与各相关在线监控设备之间的关联性，也就是待检测在线监控设备的关联分析指标，对待检测在线监控设备的运行情况进行检测，构建待检测在线监控设备的运行检测模型，确定待检测在线监控设备的异常程度指标，异常程度指标的计算公式为：，其中， Y为待检测在线监控设备的异常程度指标， C为待检测在线监控设备的色彩分析指标， R为待检测在线监控设备的关联分析指标。

需要说明的是，异常程度指标的计算公式中的色彩分析指标 C与异常程度指标 Y为正相关，也就是色彩分析指标 C越大，待检测在线监控设备的异常程度指标 Y就会越大，若异常程度指标 Y越大，待检测在线监控设备发生异常的可能性就会越大；关联分析指标 R与异常程度指标 Y为负相关，也就是关联分析指标 R越大，待检测在线监控设备的异常程度指标 Y就会越小，若异常程度指标 Y越小，待检测在线监控设备发生异常的可能性就会越小。

（6-2）根据异常程度指标，判断待检测在线监控设备是否发生异常。

对待检测在线监控设备的异常程度指标 Y进行归一化处理，以保证异常程度指标的值域范围为0到1之间，归一化处理的目的是为了便于直观分析待检测在线监控设备的运行情况，提高在线监控设备异常检测的准确性。本实施例将预设检测阈值设置为0.5，实施者可根据实际情况自行设置预设检测阈值的大小，若异常程度指标大于预设检测阈值，则判定待检测在线监控设备发生异常，检测系统将及时做出提示预警，尽快通知相关管理人员对待检测在线监控设备进行维修替换，否则，判定待检测在线监控设备没有发生异常。

本发明通过图像处理技术，对待检测在线监控设备与各相关在线监控设备对应的监控区域图像进行分析，得到可以判定待检测在线监控设备是否异常的两个指标，色彩分析指标和关联分析指标，进而实现了对待检测在线监控设备运行异常检测，提高了在线监控设备运行异常检测的检测准确度和检测效率。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (3)

1.一种基于图像处理的在线监控设备运行异常检测方法，其特征在于，包括以下步骤：

实时获取待检测在线监控设备对应的不少于两帧的监控区域图像；

获取LAB色彩空间中的各帧监控区域图像内每个像素点的第一色度和第二色度，根据所述第一色度和第二色度确定各帧监控区域图像的色度因子，根据所述色度因子确定待检测在线监控设备的色彩分析指标；

获取待检测在线监控设备及其各相关在线监控设备对应的当前时刻的监控区域图像，根据所述当前时刻的监控区域图像，确定待检测在线监控设备及其各相关在线监控设备对应的重叠背景区域图像；

根据各重叠背景区域图像内每个像素点的灰度值和位置，确定各重叠背景区域图像内每个像素点的关键特征参数和梯度变化因子，根据所述每个像素点的关键特征参数和梯度变化因子，确定各重叠背景区域图像内每个像素点的描述子函数值；

根据所述描述子函数值确定各重叠背景区域图像中的优选连通域；根据所述优选连通域，确定待检测在线监控设备的关联分析指标；

根据待检测在线监控设备的色彩分析指标和关联分析指标，确定待检测在线监控设备的异常程度指标，根据所述异常程度指标，判断待检测在线监控设备是否发生异常；

根据所述第一色度和第二色度确定各帧监控区域图像的色度因子，包括：

根据各帧监控区域图像中每个像素点的第一色度和第二色度，确定各帧监控区域图像对应的第一色度均值、第二色度均值、第一色度均方差以及第二色度均方差；

根据各帧监控区域图像对应的第一色度均值和第二色度均值，确定各帧监控区域图像的色度均值指标；

根据各帧监控区域图像对应的第一色度均方差和第二色度均方差，确定各帧监控区域图像的色度均方差指标；

根据各帧监控区域图像的色度均值指标和色度均方差指标，确定各帧监控区域图像的色度因子，所述色度因子的计算公式为：，其中为各帧监控区域图像的色度因子，为各帧监控区域图像对应的色度均值指标，为各帧监控区域图像对应的色度均方差指标，为以自然常数为底的对数函数；

根据各重叠背景区域图像内每个像素点的灰度值和位置，确定各重叠背景区域图像内每个像素点的关键特征参数和梯度变化因子，包括：

根据各重叠背景区域图像内每个像素点的灰度值，确定每个像素点对应的灰度共生矩阵；

根据每个像素点对应的灰度共生矩阵，确定每个像素点对应的灰度共生矩阵的关键特征参数；

根据各重叠背景区域图像内每个像素点的位置，确定每个像素点在x方向、y方向的二阶偏导数和混合偏导数；

根据每个像素点在x方向、y方向的二阶偏导数和混合偏导数，确定每个像素点的海森矩阵，根据所述每个像素点的海森矩阵，确定每个像素点的海森矩阵对应的第一特征值和第二特征值；

根据每个像素点的海森矩阵对应的第一特征值和第二特征值，确定每个像素点的梯度变化因子；

所述描述子函数值的计算公式为：，其中，为各重叠背景区域图像内每个像素点的描述子函数值，Ent为各重叠背景区域图像内每个像素点的关键特征参数，TD为各重叠背景区域图像内每个像素点的梯度变化因子，exp( )为以自然常数为底的指数函数；

根据所述优选连通域，确定待检测在线监控设备的关联分析指标，包括：

根据各重叠背景区域图像中的优选连通域，确定各优选连通域的颜色直方图；

计算待检测在线监控设备对应的优选连通域的颜色直方图与各相关在线监控设备对应的优选连通域的颜色直方图之间的距离值，根据所述距离值确定待检测在线监控设备的关联分析指标，所述关联分析指标的计算公式为：，其中，为待检测在线监控设备的关联分析指标，e为自然常数，J为待检测在线监控设备的相关在线监控设备的数量，为待检测在线监控设备对应的优选连通域的颜色直方图与第j个相关在线监控设备对应的优选连通域的颜色直方图之间的距离值；

根据所述色度因子确定待检测在线监控设备的色彩分析指标，包括：

从各帧监控区域图像的色度因子中选取出最大色度因子和最小色度因子，将最大色度因子与最小色度因子之和作为比值的分母，将最大色度因子和最小色度因子的差值绝对值作为比值的分子，将所述比值作为待检测在线监控设备的色彩分析指标；

根据所述描述子函数值确定各重叠背景区域图像中的优选连通域，包括：

从各重叠背景区域图像中筛选出描述子函数值小于预设函数阈值的像素点，将该像素点作为优选像素点，获得各重叠背景区域图像中的各个优选像素点；

根据各重叠背景区域图像中的各个优选像素点，确定各重叠背景区域图像中的待选连通域，将每个重叠背景区域图像中面积最大的待选连通域作为优选连通域；

所述异常程度指标的计算公式为：，其中，Y为待检测在线监控设备的异常程度指标，C为待检测在线监控设备的色彩分析指标，R为待检测在线监控设备的关联分析指标。

2.根据权利要求1所述的一种基于图像处理的在线监控设备运行异常检测方法，其特征在于，所述相关在线监控设备为待检测在线监控设备的邻域范围内、与待检测在线监控设备的监控区域存在重叠区域的其他在线监控设备。

3.根据权利要求1所述的一种基于图像处理的在线监控设备运行异常检测方法，其特征在于，根据所述异常程度指标，判断待检测在线监控设备是否发生异常，包括：

若待检测在线监控设备的异常程度指标大于预设检测阈值，则判定待检测在线监控设备发生异常，否则，判定待检测在线监控设备没有发生异常。

Images