CN116402863B - 一种建筑施工监控数据智能分析及预警系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种建筑施工监控数据智能分析及预警系统。该系统获取视频中每帧图像的灰度图像；根据相邻的灰度图像获取像素点的光流；根据光流的方向划分方向区间，根据方向区间中的光流获取特征光流；将特征光流排序，获取滑窗区域的运动特征序列；根据相邻滑窗区域的运动特征序列，获取滑窗区域的运动剧变系数，确定运动区域；根据运动区域中滑窗区域的运动剧变系数和方向区间的分布指数，获取灰度图像的变化熵；根据连续灰度图像的变化熵获取时序运动变化熵；根据时序运动变化熵确定监控视频中的运动异常并进行预警。本发明通过对运动区域进行自适应获取，提高对运动异常检测的准确性和预警的及时性。

Description

一种建筑施工监控数据智能分析及预警系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种建筑施工监控数据智能分析及预警系统。

背景技术

在建筑工地中，由于施工机械设备老化、相关操作人员操作失误以及高层建筑异物坠落等各种潜在风险的原因导致建筑工地中的安全问题频发，建筑施工人员的生命安全受到威胁。为了及时发现建筑工地中的异常，进行及时预警与处理，降低安全问题带来的影响。现有方法对建筑工地的监控视频进行分析，对各个视频数据帧进行图像分割，将各个视频数据帧中代表同一目标物体的区域进行光流检测，确定所检测的区域是否存在运动异常；因为视频中画面是杂乱且一直在变化，目标物体在视频中可能是静止的，因受到其他区域的影响，导致同一目标物体对应的区域在各个视频数据帧中的不同位置，使得同一目标物体的区域可能获取不准确，导致对目标物体的运动异常检测不准确，进而对视频中的运动异常检测不准确。

发明内容

为了解决区域获取不准确，导致视频中的运动异常检测不准确的技术问题，本发明的目的在于提供一种建筑施工监控数据智能分析及预警系统，所采用的技术方案具体如下：

本发明实施例中提供了一种建筑施工监控数据智能分析及预警系统，该系统包括以下：

数据获取模块，用于获取建筑施工监控视频中每帧图像的灰度图像；

运动特征序列获取模块，用于根据相邻的所述灰度图像，获取所述灰度图像中每个像素点的光流；在所述灰度图像中设定预设大小的滑窗，根据所述光流的方向划分不同的方向区间，根据所述方向区间中预设第一数量的光流，获取所述方向区间的特征光流；将所述特征光流根据所述方向区间进行排序，获取每个滑窗区域的运动特征序列；

运动区域获取模块，用于根据相邻所述滑窗区域之间的所述运动特征序列的差异，获取所述滑窗区域的运动剧变系数；根据所述滑窗区域的所述运动剧变系数与位置分布，确定所述灰度图像中的运动区域；

时序运动变化熵获取模块，用于根据所述运动区域中每个所述滑窗区域的所述运动剧变系数和出现在所述方向区间的分布指数，获取所述灰度图像的变化熵；根据连续预设第二数量所述灰度图像的所述变化熵和所述运动区域的面积，获取时序运动变化熵；

异常检测模块，用于根据所述时序运动变化熵确定建筑施工监控视频中的运动异常并进行预警。

进一步地，所述特征光流的获取方法，包括：

根据光流的方向范围，划分预设第三数量的等范围大小的方向区间；

根据光流的方向确定每个滑窗区域中属于所述方向区间的像素点；

将所述方向区间中的像素点根据光流从大到小进行排序，选取获得序列中的预设第一数量像素点的光流大小进行累加的结果作为所述方向区间的特征变化值；

将所述序列中的预设第一数量像素点的光流方向对应的角度的迭代平均数对应的方向，作为所述特征变化值的方向；

将具有方向的所述特征变化值作为所述方向区间的特征光流。

进一步地，所述运动特征序列的获取方法，包括：

将每个滑窗区域内的所述特征光流根据所述方向区间从小到大进行排序，获得序列作为对应滑窗区域的运动特征序列。

进一步地，所述运动剧变系数的获取方法，包括：

计算滑窗区域与任意一个相邻滑窗区域之间的所述运动特征序列中同一个所述方向区间对应的所述特征光流之间的欧式距离进行累加的结果作为相邻滑窗变化值；

获取每个滑窗区域与预设第四数量的相邻滑窗区域的之间的相邻滑窗变化值的均值作为对应滑窗区域的运动剧变系数。

进一步地，所述运动区域的获取方法，包括：

基于所述运动剧变系数通过K-Means聚类算法对所述灰度图像中的所有所述滑窗区域进行聚类，当整体区别值最小时，停止聚类；将作为聚类簇中心的滑窗区域作为中心区域；选取中心区域的运动剧变系数最大的聚类簇对应的区域作为运动区域；

所述整体区别值的获取方法为：获取每个聚类簇中的所述滑窗区域与所述中心区域之间的运动剧变系数的差异作为剧变系数差异；获取每个聚类簇中的所述滑窗区域与所述中心区域之间的欧氏距离作为位置距离；将每个聚类簇中的所述滑窗区域的所述剧变系数差异与所述位置距离的乘积进行累加的结果作为对应聚类簇的类别变化值；将所述灰度图像中所有的所述类别变化值相加的结果作为所述整体区别值。

进一步地，所述分布指数的获取方法，包括：

确定所述滑窗区域中每个所述方向区间中的像素点的数量作为区间像素点数量；

将所述区间像素点数量与所述滑窗区域的面积的比值作为区间像素点占比；

将所述区间像素点占比与所述方向区间数量的倒数的乘积作为所述方向区间的分布指数。

进一步地，所述变化熵的获取方法，包括：

将所述滑窗区域的所述运动剧变系数与每个所述方向区间的分布指数的熵的乘积作为区间系数，将所述滑窗区域中的所有所述区间系数进行累加的结果作为所述滑窗区域的区域变化熵；

获取所述运动区域中所有所述滑窗区域的所述区域变化熵的均值作为所述灰度图像的变化熵。

进一步地，所述时序运动变化熵的获取方法，包括：

将所述运动区域的面积与所述灰度图像的面积的比值作为运动权重；

将所述运动权重与所述变化熵的乘积作为所述灰度图像的参考变化熵；

获取连续的预设第二数量所述灰度图像的参考变化熵的均值作为时序运动变化熵。

进一步地，所述根据所述时序运动变化熵确定建筑施工监控视频中的运动异常并进行预警的方法，包括：

获取所述运动区域中的目标正常运动的时序运动变化熵作为标准时序运动变化熵；

获取所述运动区域中的目标实时运动的时序运动变化熵作为目标时序运动变化熵；

获取目标时序运动变化熵与标准时序运动变化熵的差异作为目标差异；

设置目标差异阈值，当所述目标差异大于目标差异阈值时，判定视频中的所述运动区域的目标发生了运动异常并及时进行预警。

进一步地，所述获取所述灰度图像中每个像素点的光流的方法，包括：

使用HS光流算法获取所述灰度图像中每个像素点的光流。

本发明具有如下有益效果：

获取灰度图像中每个像素点的光流，根据光流的方向划分方向区间，根据方向区间中预设数量像素点的光流，获取方向区间的特征光流，直接对方向区间进行分析，不再对每个像素点进行分析，避免了根据每个像素点的光流分析视频数据带来的实时性差的影响，同时减少了计算量，降低了单个像素点计算带来的误差；将特征光流进行排序，获取每个滑窗区域的运动特征序列，根据相邻滑窗区域之间的运动特征序列的欧式距离，获取滑窗区域的运动剧变系数，反映出滑窗区域像素点的变化程度，进而根据滑窗区域的运动剧变系数与位置分布，自适应确定灰度图像中的运动区域，使得获取的运动区域越准确，越贴合灰度图像中运动区域的实际分布，对视频中的运动异常检测越准确；进而，对运动区域中的滑窗区域进行详细分析，根据运动区域中每个滑窗区域的运动剧变系数和出现在方向区间的分布指数，获取灰度图像的变化熵，准确高效的确定灰度图像中的运动情况，进一步，根据连续的预设数量灰度图像的变化熵获取时序运动变化熵，规避了仅考虑相邻视频数据帧之间运动变化情况，导致对监控视频数据的分析发生偏差的影响，降低了误差的影响；使得，根据时序运动变化熵确定监控视频中的运动异常更加准确，进而，系统进行预警更准确及时。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种建筑施工监控数据智能分析及预警系统的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种建筑施工监控数据智能分析及预警系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种建筑施工监控数据智能分析及预警系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种建筑施工监控数据智能分析及预警系统的结构框图，该系统包括：数据获取模块10、运动特征序列获取模块20、运动区域获取模块30、时序运动变化熵获取模块40、异常检测模块50。

数据获取模块10，用于获取建筑施工监控视频中每帧图像的灰度图像。

具体的，在建筑工地中布设监控设备实时获取建筑工地的视频数据，为了确保获取的建筑工地监控视频图像的连贯性与流畅性，本发明实施例对采集获得的建筑施工监控视频数据帧进行初步筛选，设定视频数据帧数量阈值为15，当每秒获取的建筑施工监控视频数据帧的数量小于视频数据帧数量阈值时，则认为当前的监控设备出现了异常，采集的建筑施工监控视频数据不具备可靠性，将当前时间段的建筑施工监控视频数据直接舍去，不参与后续的进一步计算分析；当每秒获取的建筑施工监控视频数据帧的数量大于或等于视频数据帧数量阈值时，将当前时刻下的建筑施工监控视频数据帧作为待分析视频数据帧。正常情况下，通过建筑工地的监控设备采集获取的视频数据帧数FPS应大于25，即每秒有大于25张的建筑工地图像被采集，每秒采集获取的视频数据帧数越大，对应的视频越流畅，其中，一张视频数据帧对应一张图像。

采集获取的待分析视频数据帧的图像为RGB图像，为了避免后续对RGB三个不同通道的数据进行重复计算，对待分析视频数据帧的图像使用加权平均值灰度化方法获得灰度图像。同时，为了避免采集过程中的噪点对后续监控运动异常判别的精确度造成影响，本发明实施例使用高斯滤波对灰度图像进行去噪处理。其实加权平均值灰度化方法以及高斯滤波均为现有技术，不再进行过多赘述。

本发明另一个实施例中，可以使用平均值法、最大值法等其他方法对图像进行灰度化处理，在此不做限定。可以使用中值滤波、TV法去噪等其他方法对灰度图像进行去噪处理，在此不做限定。

运动特征序列获取模块20，用于根据相邻的灰度图像，获取灰度图像中每个像素点的光流；在灰度图像中设定预设大小的滑窗，根据光流的方向划分不同的方向区间，根据方向区间中预设第一数量的光流，获取方向区间的特征光流；将特征光流根据方向区间进行排序，获取每个滑窗区域的运动特征序列。

具体的，将灰度图像与相邻下一时刻下的灰度图像中的像素点的信息作为输入，使用HS光流算法获取灰度图像中每个像素点的光流，光流为矢量，具有方向和大小，即像素点在极短的时间间隔下移动的方向与距离或看作瞬时像素点移动的方向与距离。在本发明另一个实施例中，可以使用LK光流算法等其他方法获取灰度图像中每个像素点的的光流，在此不做限定。其中，HS光流算法以及LK光流算法为公知技术，在此不进行过多赘述。其中，一段视频的最后一张视频数据帧不参与计算，即最后一张视频数据帧对应的灰度图像中的每个像素点的光流不需要计算。

为了准确的对视频中的异常运动进行检测，本发明实施例对灰度图像进行详细分 析，设定33的滑窗且滑动步长为1，在每张待分析视频数据帧的灰度图像中的左上角开始 滑动，直至灰度图像的右下角。实施者可根据实际情况设定滑窗的大小与滑动步长，在此不 做限定。对每个滑窗区域进行分析，获取每个滑窗区域中像素点的整体运动情况即每个滑 窗区域的运动特征序列，获取每个滑窗区域的运动特征序列的具体方法如下：

（1）获取特征光流。

优选的，获取特征光流的方法为：根据光流的方向范围，划分预设第三数量的等范围大小的方向区间；根据光流的方向确定每个滑窗区域中属于方向区间的像素点；将方向区间中的像素点根据光流从大到小进行排序，选取获得序列中的预设第一数量像素点的光流大小进行累加的结果作为方向区间的特征变化值；将序列中的预设第一数量像素点的光流方向对应的角度的迭代平均数对应的方向，作为特征变化值的方向；将具有方向的特征变化值作为方向区间的特征光流。

作为一个示例，任意选取一个滑窗区域作为目标滑窗区域，为了对目标滑窗区域 进行分析，根据目标滑窗区域中像素点的光流方向确定目标滑窗区域中像素点所在的方向 区间，本发明实施例获取方向区间的方法为：像素点的光流方向范围为，将方向范围划分为12等份即12个方向区间，每个方向区间的大小为，实施者可以根据实际 情况设定光流方向范围划分的份数，在此不做限定。根据目标滑窗区域中每个像素点的光 流方向，确定目标滑窗区域中每个像素点所在的方向区间。以第i个方向区间为例，当第i个 方向区间中有像素点时，将第i个方向区间中的像素点根据光流的大小，从大到小进行排 序，获得第i个方向区间中像素点的序列，选取序列中的前3个像素点作为目标像素点，本发 明实施例将预设第一数量设定为3即目标像素点的数量为3，实施者可根据实际情况设定预 设第一数量的大小，在此不做限定。将目标像素点的光流大小进行累加的结果作为第i个方 向区间的特征变化值；若第i个方向区间中像素点的数量小于3，则将第i个方向区间中的所 有像素点作为目标像素点；当第i个方向区间中没有像素点时，将第i个方向区间的特征变 化值设为0。其中，获取第i个方向区间的特征变化值的公式为：

式中，为第i个方向区间的特征变化值；M为目标像素点的数量；为第j个目标 像素点的光流大小。

需要说明的是，越大，说明第j个目标像素点的位置变化越大，越大；因此， 越大，说明第i个方向区间内的像素点位置变化的越大，像素点对应区域越可能为运动区 域。其中，当不存在目标像素点时，为0。

为了获取特征光流，需要获取特征变化值的方向。本发明实施例为了获取第i个方 向区间的特征变化值的方向，将第i个方向区间中的目标像素点的光流方向对应的角度的 迭代平均数对应的方向作为第i个方向区间的特征变化值的方向。例如，3个目标像素点的 光流方向对应的角度分别为，先取的平分角构成，再令与的平分角构成 第i个方向区间的特征变化值的方向，若目标像素点为2个，则获取2个目标像素点的光流方 向对应的角度的均值作为第i个方向区间的特征变化值的方向；若目标像素点为1个，则将 该目标像素点的光流方向作为第i个方向区间的特征变化值的方向；若目标像素点为0个， 则将第i个方向区间的特征变化值的方向设定为0。

将具有方向的第i个方向区间的特征变化值作为第i个方向区间的特征光流。

根据获取第i个方向区间的特征光流的方法，获取目标滑窗区域中的每个方向区间的特征光流；进而获取每个滑窗区域下的每个方向区间的特征光流。

（2）获取运动特征序列。

优选的，本发明一个实施例中获取运动特征序列的方法为：将每个滑窗区域内的特征光流根据方向区间从小到大进行排序，获得序列作为对应滑窗区域的运动特征序列。

在本发明另一个实施例中也可采用从大到小的排列方式获得运动特征序列，在此不做赘述。

作为一个示例，以（1）获取特征光流中的目标滑窗区域为例，将目标滑窗区域中的特征光流根据所在方向区间的大小，从小到大进行排序，获得序列作为目标滑窗区域的运动特征序列。因为，方向区间划分为12个，因此，目标滑窗区域下的方向区间对应的特征光流为12个，对于不存在方向区间的特征光流用0补充。

根据获取目标滑窗区域的运动特征序列的方法，获取每个滑窗区域的运动特征序列。

HS光流算法获取每个像素点的光流，这种稠密光流不利于后续建筑工地监控数据的实时分析，本发明实施例不是对每个像素点进行分析，而是对每个滑窗区域进行分析，根据滑窗区域下每个方向区间的特征光流，获取每个滑窗区域的运动特征序列，减少了后续对建筑工地监控数据计算成本，一定程度上降低了计算的误差。

运动区域获取模块30，用于根据相邻滑窗区域之间的运动特征序列的差异，获取滑窗区域的运动剧变系数；根据滑窗区域的运动剧变系数与位置分布，确定灰度图像中的运动区域。

具体的，建筑工地的视频监控中的物体很多，有相对静止的物体，有相对运动的物体，因此，每张视频数据帧的灰度图像中比较杂乱，直接根据像素点的灰度值无法获取运动物体对应的运动区域，进而为了准确高效的确定视频中是否存在运动异常，本发明实施例根据滑窗区域的运动特征序列，对滑动区域进行分析，确定滑窗区域的运动情况，确定灰度图像中的运动区域。确定运动区域的具体方法如下：

（1）获取运动剧变系数。

为了准确高效的获取运动区域，本发明实施例对滑窗区域进行分析，确定每个滑窗区域的整体变化情况即运动剧变系数，其中，滑窗区域的运动剧变系数表征了滑窗区域对应的建筑工地监控区域中对应位置的运动变化剧烈程度的大小，滑窗的运动特征序列表征对应区域的运动特征，因此，可通过相邻滑窗区域之间运动特征序列的差异获取滑窗区域的运动剧变系数。

优选的，获取运动剧变系数的方法为：计算滑窗区域与任意一个相邻滑窗区域之间的运动特征序列中同一个方向区间对应的特征光流之间的欧式距离进行累加的结果作为相邻滑窗变化值；获取每个滑窗区域与预设第四数量的相邻滑窗区域的之间的相邻滑窗变化值的均值作为对应滑窗区域的运动剧变系数。

作为一个示例，以第k个滑窗区域为例，计算第k个滑窗区域的运动特征序列与一 个相邻滑窗区域的运动特征序列中同一个方向区间对应的特征光流之间的欧式距离进行 累加的结果作为第k个滑窗区域的相邻滑窗变化值。本发明实施例将预设第四数量设置为 4，实施者可根据实际情况设定预设第四数量的大小，在此不进行限定。获取第k个滑窗区域 与相邻的上、下、左、右4个滑窗区域之间的相邻滑窗变化值的均值作为第k个滑窗区域的运 动剧变系数。若第k个滑窗区域没有上、下、左、右4个相邻滑窗区域中的任意一个，则将第k 个滑窗区域直接舍去，不再参与后续视频异常检测的计算。当第k个滑窗区域存在相邻的 上、下、左、右4个滑窗区域时，获取第k个滑窗区域的运动剧变系数的公式为：

式中，为第k个滑窗区域的运动剧变系数；nbor为第k个滑窗区域的相邻滑窗区 域的数量，在本发明实施例中为4；nqu为第k个滑窗区域中的方向区间的数量，在本发明实 施例中为12；为第k个滑窗区域中的第y个方向区间的特征光流；为第k个 滑窗区域中的第y个方向区间的特征光流的方向；为第k个滑窗区域中的第y个方向区 间的特征光流的大小；为第k个滑窗区域的第x个相邻滑窗区域中的第y个方向 区间的特征光流；为第k个滑窗区域的第x个相邻滑窗区域中的第y个方向区间的特征 光流的方向；为第k个滑窗区域的第x个相邻滑窗区域中的第y个方向区间的特征光流 的大小；D为欧氏距离函数。

需要说明的是，相邻滑窗变化值越大，第k个滑 窗区域与第k个滑窗区域的第x个相邻滑窗区域之间的变化程度越大，第k个滑窗区域越可 能为运动区域，越大；因此，越大，说明第k个滑窗区域对应的建筑工地监控区域位 置的物体在相邻的两个视频数据帧之间的运动变化越大，第k个滑窗区域越可能为运动区 域。

根据获取第k个滑窗区域的运动剧变系数的方法，获取每个滑窗区域的运动剧变系数。

（2）确定运动区域。

滑窗区域的运动剧变系数表示了对应滑窗区域的运动变化特征，即运动变化特征越剧烈越可能是运动区域；进一步考虑滑窗区域的位置分布，因为滑窗区域为小区域，因此运动区域应呈现多个滑窗区域聚集的特征，因此考虑滑窗区域的运动剧变系数和位置分布即可确定灰度图像中的运动区域。根据滑窗区域的运动剧变系数与位置分布，自适应确定灰度图像中的运动区域，使得运动区域的获取更准确，有效避免了传统基于灰度值进行聚类时，由于运动区域像素点和背景区域像素点的灰度值相近导致最终聚类效果发生较大偏差，对运动区域获取不准确，进而对后续建筑工地异常状态捕捉不准确。

优选的，确定运动区域的方法为：基于运动剧变系数通过K-Means聚类算法对灰度图像中的所有滑窗区域进行聚类，当整体区别值最小时，停止聚类；将作为聚类簇中心的滑窗区域作为中心区域；选取中心区域的运动剧变系数最大的聚类簇对应的区域作为运动区域；整体区别值的获取方法为：获取每个聚类簇中的滑窗区域与中心区域之间的运动剧变系数的差异作为剧变系数差异；获取每个聚类簇中的滑窗区域与中心区域之间的欧氏距离作为位置距离；将每个聚类簇中的滑窗区域的剧变系数差异与位置距离的乘积进行累加的结果作为对应聚类簇的类别变化值；将灰度图像中所有的类别变化值相加的结果作为整体区别值。其中，K-Means聚类算法为公知技术，在此不再进行赘述。

作为一个示例，本发明实施例将K-Means聚类算法的K值设定为2，实施者可根据实际情况设定K值的大小，在此不做限定。通过K-Means聚类算法将视频数据帧的灰度图像中的滑窗区域划分为相对运动区域块类和相对静止区域块类。根据滑窗区域的运动剧变系数对每个滑窗区域进行聚类，确定灰度图像中的运动区域，当聚类结束后，两个聚类簇对应的区域分别为运动区域与静止区域，同一个区域中的运动剧变系数较为接近，实际情况下，同一个区域的位置也相对集中。为了获得更准确的聚类结果，使得灰度图像中的运动区域更准确，本发明实施例根据每个聚类簇中的滑窗区域与聚类中心的滑窗区域即中心区域之间的变化情况获取整体区别值，当整体区别值最小时，作为聚类停止的条件。其中，整体区别值的获取方法为：将每个滑窗区域的中心像素点的位置坐标作为对应滑窗区域的位置坐标，根据每个聚类簇中的滑窗区域与中心区域之间的位置的欧式距离和运动剧变系数的差异，获取整体区别值，整体区别值J的获取公式为：

式中，J为整体区别值；A为灰度图像中聚类簇的数量，在本发明实施例中为2；R为 第i个聚类簇中的滑窗区域的数量；为第i个聚类簇中的第j个滑窗区域的运动剧变系 数；为第i个聚类簇的中心区域的运动剧变系数；为第i个聚类簇中的第j个滑窗区 域的位置坐标；为第i个聚类簇的中心区域的位置坐标；为绝对值函数；D为欧式距离 函数。

需要说明的是，剧变系数差异越小，第j个滑窗区域越与第i个聚类簇 的中心区域越为一个类别，J越小；位置距离越小，第j个滑窗区域与第i个聚 类簇的中心区域之间的位置越靠近，第j个滑窗区域与第i个聚类簇的中心区域越可能为同 一个类别，J越小；因此，J越小，聚类簇的划分越准确，越符合灰度图像中运动区域与静止区 域的分布，区域划分的越准确。

将2个聚类簇中的中心区域的运动剧变系数最大的聚类簇对应的区域作为运动区域，至此，确定了灰度图像中的运动区域。本发明实施例的运动区域是根据灰度图像中的运动剧变系数自适应获取的，更贴合实际情况。

时序运动变化熵获取模块40，用于根据运动区域中每个滑窗区域的运动剧变系数和出现在方向区间的分布指数，获取灰度图像的变化熵；根据连续预设第二数量灰度图像的变化熵和运动区域的面积，获取时序运动变化熵。

具体的，灰度图像中的变化程度体现在灰度图像中的运动区域，因此对灰度图像中的运动区域进行分析，获取灰度图像的变化熵。获取变化熵的具体方法如下：

（1）获取分布指数。

为了准确的获取灰度图象的变化熵，需要确定灰度图像中运动区域中的所有滑窗区域的运动剧变系数，为了运动剧变系数更准确，本发明实施例考虑到像素点的光流方向变化，根据方向区间中像素点的数量，确定每个方向区间对运动剧变系数的影响程度即分布指数。

优选的，获取分布指数的方法为：确定滑窗区域中每个方向区间中的像素点的数量作为区间像素点数量；将区间像素点数量与滑窗区域的面积的比值作为区间像素点占比；将区间像素点占比与方向区间数量的倒数的乘积作为方向区间的分布指数。

作为一个示例，以运动特征序列获取模块20中的目标滑窗区域中的第a个方向区 间为例，获取第a个方向区间的分布指数的公式为：

式中，为目标滑窗区域中的第a个方向区间的分布指数；num为目标滑窗区域中 的划分的方向区间的总份数，本发明实施例设定为12；为目标滑窗区域中的第a个方向区 间的区间像素点数量；为目标滑窗区域的面积。

需要说明的是，越大，第a个方向区间的权重越大，第a个方向区间中的像素点对 目标滑窗区域的运动剧变系数的影响越大，越大；因此，越大，第a个方向区间中的像素 点的光流方向变化越大，对目标滑窗区域的运动剧变系数的影响越大。

根据获取目标滑窗区域中的第a个方向区间的分布指数的方法，获取每个滑窗区域中的每个方向区间的分布指数。

（2）获取变化熵。

优选的，获取变化熵的方法为：将滑窗区域的运动剧变系数与每个方向区间的分布指数的熵的乘积作为区间系数，将滑窗区域中的所有区间系数进行累加的结果作为滑窗区域的区域变化熵；获取运动区域中所有滑窗区域的区域变化熵的均值作为灰度图像的变化熵。

作为一个示例，任意选取一张灰度图像作为目标灰度图像，获取目标灰度图像的变化熵En的公式为：

式中，En为目标灰度图像的变化熵；G为目标灰度图像中运动区域中的滑窗区域的 数量；num为目标灰度图像中运动区域中的每个滑窗区域中的方向区间的总份数，本发明实 施例设定为12；为目标灰度图像中运动区域中的第t个滑窗区域的运动剧变系数；为 目标灰度图像中运动区域中的第t个滑窗区域中的第b个方向区间的分布指数；为 目标灰度图像中运动区域中的第t个滑窗区域中的第b个方向区间的分布指数的熵；为 以常数2为底数的对数函数。

需要说明的是，越大，说明目标灰度图像中运动区域中的第t个滑窗区域中的 像素点的变化程度越大，区间系数越大，En越大；越大，说明目标灰 度图像中运动区域中的第t个滑窗区域中的第b个方向区间中像素点的光流方向变化不均 匀，对目标灰度图像中运动区域中的第t个滑窗区域的运动剧变系数的影响越大，区间系数越大，En越大；因此，En越大，目标灰度图像中运动区域的像素点的变化程度 越大，光流变化特征越混乱，目标灰度图像中运动区域越可能存在运动异常。

根据获取目标灰度图像的变化熵的方法，获取每张待分析视频数据帧的灰度图像的变化熵。

因为监控视频是连续的，物体的运动也是一个连续的过程，为了更准确的分析物体的运动过程，本发明实施例对连续的视频数据帧的灰度图像进行分析，获取一定时间段内的时序运动变化熵。

优选的，获取时序运动变化熵的方法为：将运动区域的面积与灰度图像的面积的比值作为运动权重；将运动权重与变化熵的乘积作为灰度图像的参考变化熵；获取连续的预设第二数量灰度图像的参考变化熵的均值作为时序运动变化熵。

作为一个示例，当每秒采集的视频数据帧的数量越多，视频越流畅，为了加快获取时序运动变化熵，本发明实施例将预设第二数量设定为15，实施者可根据实际情况进行设定，在此不进行限定。以当前时刻的视频数据帧为例，获取当前时刻视频数据帧之前的连续14张视频数据帧，与当前时刻下的视频数据帧组合为一段连续的视频，获取该段视频对应时间段的时序运动变化熵；若当前时刻之前的视频数据帧不足14张，则向当前时刻的下一时刻进行获取，直至满足连续的15张视频数据帧。获取连续的15张视频数据帧的灰度图像对应的时间段内的时序运动变化熵E的公式为：

式中，E为连续的15张视频数据帧的灰度图像对应的时间段内的时序运动变化熵； Len为连续的视频数据帧的灰度图像的数量，本发明实施例设定为15；为灰度图像的 面积，每张灰度图像的面积相同；为连续的视频数据帧的灰度图像中的第s张灰度图 像中运动区域的像素点数量即运动区域的面积；为连续的视频数据帧的灰度图像中的 第s张灰度图像的变化熵。

需要说明使的是，运动权重越大，说明连续的视频数据帧的灰度图像中的第s 张灰度图像中运动区域的面积越大，参考变化熵越大，E越大；越大，说明连 续的视频数据帧的灰度图像中的第s张灰度图像中的像素点的光流变化特征越大，第s张灰 度图像中的运动区域的物体运动程度越剧烈，参考变化熵越大，E越大；因此，E 越大，连续的视频数据帧的灰度图像对应时间段内物体运动程度越大，越可能存在运动异 常。

异常检测模块50，用于根据时序运动变化熵确定建筑施工监控视频中的运动异常并进行预警。

具体的，对一定时间段内的连续视频数据帧的灰度图像的变化熵进行分析，计算该时间段的时序运动变化熵，规避了传统仅考虑相邻视频数据帧之间的运动变化情况，导致最终对建筑工地的监控视频数据分析发生偏差的影响，同时降低了误差带来的影响。

运动区域中的目标是处在运动过程中的，当运动区域的目标在正常运动时，获取时序运动变化熵作为一个标准，实时获取运动区域的目标的时序运动变化熵与标准进行比较，进而，及时发现运动区域中的目标是否发现了运动异常。

优选的，根据时序运动变化熵确定监控视频中运动异常并进行预警的方法为：获取运动区域中的目标正常运动的时序运动变化熵作为标准时序运动变化熵；获取运动区域中的目标实时运动的时序运动变化熵作为目标时序运动变化熵；获取目标时序运动变化熵与标准时序运动变化熵的差异作为目标差异；设置目标差异阈值，当目标差异大于目标差异阈值时，判定视频中的运动区域的目标发生了运动异常并及时进行预警。

作为一个示例，假设运动区域的目标为人，获取建筑工地人员正常步态行走时的时序运动变化熵即标准时序运动变化熵，获取实时下建筑工地人员行走的时序运动变化熵即目标时序运动变化熵，根据标准时序运动变化熵与目标时序运动变化熵获取目标差异dif的公式为：

式中，dif为目标差异；E为目标时序运动变化熵；为标准时序运动变化熵； 为绝对值函数。

需要说明的是，当建筑工地发生人员打斗等纠纷事件或发生危害情况时，视频中 的相关人员的行走状态与正常步态行走时会发生较大的差异，此时对应时间段内的目标时 序运动变化熵E越大，因此，dif越大；当dif越大，说明E与之间的差异越大，人的实时 行为越可能存在异常。

为了便于确定视频中的异常运动并及时预警，本发明实施例设定目标差异阈值为0.67，实施者可根据实际情况设定目标差异阈值的大小，在此不进行限定。将目标差异进行归一化处理，获得归一化后的目标差异，其中归一化方法包括函数转化、最大最小规范化、Sigmoid函数等，在此不做限定。当归一化后的目标差异大于目标差异阈值时，视频中人的行为存在异常，检测系统会发出预警，使得工作人员及时发现视频中的异常运动，及时采取措施，降低危害人员安全的风险。

在本发明另一个实施例中运动区域的目标可以为传送带，吊车等其他建筑工地中的运动设施或设备。

至此，本发明完成。

综上所述，本发明实施例获取建筑施工监控视频中每帧图像的灰度图像；根据相邻的灰度图像获取像素点的光流；根据光流的方向划分方向区间，根据方向区间中的光流获取特征光流；将特征光流排序，获取滑窗区域的运动特征序列；根据相邻滑窗区域的运动特征序列，获取滑窗区域的运动剧变系数，确定运动区域；根据运动区域中滑窗区域的运动剧变系数和方向区间的分布指数，获取灰度图像的变化熵；根据连续灰度图像的变化熵获取时序运动变化熵；根据时序运动变化熵确定监控视频中的运动异常并进行预警。本发明通过对运动区域进行自适应获取，提高对运动异常检测的准确性和预警的及时性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种建筑施工监控数据智能分析及预警系统，其特征在于，所述系统包括：

数据获取模块，用于获取建筑施工监控视频中每帧图像的灰度图像；

运动特征序列获取模块，用于根据相邻的所述灰度图像，获取所述灰度图像中每个像素点的光流；在所述灰度图像中设定预设大小的滑窗，根据所述光流的方向划分不同的方向区间，根据所述方向区间中预设第一数量的光流，获取所述方向区间的特征光流；将所述特征光流根据所述方向区间进行排序，获取每个滑窗区域的运动特征序列；

运动区域获取模块，用于根据相邻所述滑窗区域之间的所述运动特征序列的差异，获取所述滑窗区域的运动剧变系数；根据所述滑窗区域的所述运动剧变系数与位置分布，确定所述灰度图像中的运动区域；

时序运动变化熵获取模块，用于根据所述运动区域中每个所述滑窗区域的所述运动剧变系数和出现在所述方向区间的分布指数，获取所述灰度图像的变化熵；根据连续预设第二数量所述灰度图像的所述变化熵和所述运动区域的面积，获取时序运动变化熵；

异常检测模块，用于根据所述时序运动变化熵确定建筑施工监控视频中的运动异常并进行预警。

2.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述特征光流的获取方法，包括：

根据光流的方向范围，划分预设第三数量的等范围大小的方向区间；

根据光流的方向确定每个滑窗区域中属于所述方向区间的像素点；

将所述方向区间中的像素点根据光流从大到小进行排序，选取获得序列中的预设第一数量像素点的光流大小进行累加的结果作为所述方向区间的特征变化值；

将所述序列中的预设第一数量像素点的光流方向对应的角度的迭代平均数对应的方向，作为所述特征变化值的方向；

将具有方向的所述特征变化值作为所述方向区间的特征光流。

3.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述运动特征序列的获取方法，包括：

将每个滑窗区域内的所述特征光流根据所述方向区间从小到大进行排序，获得序列作为对应滑窗区域的运动特征序列。

4.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述运动剧变系数的获取方法，包括：

计算滑窗区域与任意一个相邻滑窗区域之间的所述运动特征序列中同一个所述方向区间对应的所述特征光流之间的欧式距离进行累加的结果作为相邻滑窗变化值；

获取每个滑窗区域与预设第四数量的相邻滑窗区域的之间的相邻滑窗变化值的均值作为对应滑窗区域的运动剧变系数。

5.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述运动区域的获取方法，包括：

基于所述运动剧变系数通过K-Means聚类算法对所述灰度图像中的所有所述滑窗区域进行聚类，当整体区别值最小时，停止聚类；将作为聚类簇中心的滑窗区域作为中心区域；选取中心区域的运动剧变系数最大的聚类簇对应的区域作为运动区域；

所述整体区别值的获取方法为：获取每个聚类簇中的所述滑窗区域与所述中心区域之间的运动剧变系数的差异作为剧变系数差异；获取每个聚类簇中的所述滑窗区域与所述中心区域之间的欧氏距离作为位置距离；将每个聚类簇中的所述滑窗区域的所述剧变系数差异与所述位置距离的乘积进行累加的结果作为对应聚类簇的类别变化值；将所述灰度图像中所有的所述类别变化值相加的结果作为所述整体区别值。

6.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述分布指数的获取方法，包括：

确定所述滑窗区域中每个所述方向区间中的像素点的数量作为区间像素点数量；

将所述区间像素点数量与所述滑窗区域的面积的比值作为区间像素点占比；

将所述区间像素点占比与所述方向区间数量的倒数的乘积作为所述方向区间的分布指数。

7.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述变化熵的获取方法，包括：

将所述滑窗区域的所述运动剧变系数与每个所述方向区间的分布指数的熵的乘积作为区间系数，将所述滑窗区域中的所有所述区间系数进行累加的结果作为所述滑窗区域的区域变化熵；

获取所述运动区域中所有所述滑窗区域的所述区域变化熵的均值作为所述灰度图像的变化熵。

8.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述时序运动变化熵的获取方法，包括：

将所述运动区域的面积与所述灰度图像的面积的比值作为运动权重；

将所述运动权重与所述变化熵的乘积作为所述灰度图像的参考变化熵；

获取连续的预设第二数量所述灰度图像的参考变化熵的均值作为时序运动变化熵。

9.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述根据所述时序运动变化熵确定建筑施工监控视频中的运动异常并进行预警的方法，包括：

获取所述运动区域中的目标正常运动的时序运动变化熵作为标准时序运动变化熵；

获取所述运动区域中的目标实时运动的时序运动变化熵作为目标时序运动变化熵；

获取目标时序运动变化熵与标准时序运动变化熵的差异作为目标差异；

设置目标差异阈值，当所述目标差异大于目标差异阈值时，判定视频中的所述运动区域的目标发生了运动异常并及时进行预警。

10.如权利要求1所述的一种建筑施工监控数据智能分析及预警系统，其特征在于，所述获取所述灰度图像中每个像素点的光流的方法，包括：

使用HS光流算法获取所述灰度图像中每个像素点的光流。