CN112257549B - 一种基于计算机视觉的楼面危险检测预警方法及系统 - Google Patents

Abstract

本发明公开一种基于计算机视觉的楼面危险检测预警方法及系统，属于计算机视觉领域。摄像机覆盖全部楼层，得到实时监控视频数据；采集包含人的数据，并对其进行标注，并进行数据增强，制作数据集；构建并训练目标检测模型；对最高层监控摄像机视频的每一帧进行目标检测，输出目标类别是人的位置信息；手动框选顶楼护栏在最高层监控摄像机中的ROI_box，计算目标类别是人所在位置与ROI_box之间的相对位置关系，进行越界判别；对所有监控摄像机视频的每一帧进行运动目标检测，使用多目标跟踪算法对检测的运动目标进行跟踪；判定运动目标的类别发出预警。本发明不仅可以对不同类型的危险进行预警，还可以直接保留危险发生的视频摘要，更直观且易于查证。

Description

一种基于计算机视觉的楼面危险检测预警方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于计算机视觉的楼面危险检测预警方法及系统。

背景技术

在日常生活中，由于人为或者气候所造成的高空抛物、墙皮脱落、空调外机的抖动和坠落等现象随时可能对人造成危险，因此，及时检测楼面危险至关重要，直接影响着人员安全。

目前，楼面的异常行为检测主要还是依靠人工查看监控摄像机画面来判断是否有危险。人工判断有危险但不能实时的发出危险警报，只能通过视频回放慢慢定位楼面危险发生的那个时间段，效率很低。专利CN105163067A公开了基于图像处理的高空抛物取证系统，针对监控获取的楼面图像，使用帧差法来检测运动目标，通过色彩信息在相邻图像中确定运动的位置信息从而判断是否是抛物；专利CN108200408A通过安装在楼顶或者每层楼窗户正上方的多个激光位移传感器能够对整栋楼的高空抛物进行精确的定位；专利CN206620226U通过控制单元控制一排发射器、一排反射器、若千排接收器用于检测高空抛物是否发生，并结合高清摄像头转动对应发生高空抛物的区域进行图像采集；专利CN109309811A使用多目标跟踪方法检测并跟踪运动目标并对运动目标进行抛物判断。

上述所说的都是高空抛物检测方法，通过帧差法很容易就将小物体漏检，不对运动目标进行跟踪很难判断一个物体是否属于抛物，而且只能检测高空抛物不能对其它的异常进行检测。

发明内容

本发明的目的在于提供一种基于计算机视觉的楼面危险检测预警方法及系统，以解决传统的高空抛物检测方法难以检测小物体、且只能检测高空抛物不能对其它的异常进行检测的问题。

为解决上述技术问题，本发明提供了一种基于计算机视觉的楼面危险检测预警方法，包括：

步骤1：摄像机覆盖全部楼层，得到实时监控视频数据；

步骤2：采集包含人的数据，并对其进行标注，并进行数据增强，制作数据集；

步骤3：构建并训练目标检测模型；

步骤4：对最高层监控摄像机视频的每一帧进行目标检测，输出目标类别是人的位置信息；

步骤5：手动框选顶楼护栏在最高层监控摄像机中的ROI_box，计算目标类别是人所在位置与ROI_box之间的相对位置关系，进行越界判别；

步骤6：对所有监控摄像机视频的每一帧进行运动目标检测，使用多目标跟踪算法对检测的运动目标进行跟踪；

步骤7：判定运动目标的类别发出预警。

可选的，所述步骤2包括：

步骤21：对采集到的图像进行高斯滤波处理，并采用双线性插值降采样方法，将图像的尺寸缩放为W*H，其中，W表示降采样后的图像宽度，H表示降采样后的图像高度；

步骤22：用矩形标记出图像中的人，类别为person；

步骤23：使用随机裁剪和混合两种方式对数据进行增强；

步骤24：将数据集划分为训练集、验证集和测试集。

可选的，所述随机裁剪是从原始图像中随机裁剪一部分区域作为训练集的扩展；所述混合指的是其以线性插值的方式来构建新的训练样本和标签，其公式为：

其中，(x_i,y_i)，(x_j,y_j)是原始数据集中的训练样本和其对应的标签，λ∈(0,1)。

可选的，所述步骤3包括：

构建目标检测模型，所述目标检测模型包括：基础特征提取单元、空间金字塔池化单元、特征聚合单元和稠密预测单元；

构建损失函数，所述损失函数包括回归框损失、置信度损失和分类损失，其中置信度损失和分类损失使用的交叉熵损失，回归框损失用的是Ciou损失，其公式如下：

其中，b,b^gt分别表示预测框和目标框的中心点，c表示预测框和目标框外接矩形对角线长度，ρ()表示欧式距离，α是权重函数，ν是用来衡量长宽比一致性的参数；R_CIoU表示惩罚项，IoU表示交并比，L_CoU表示交并比损失，w^gt表示目标框的宽度，h^gt表示目标框的高度，w表示预测框的宽度，h表示预测框的高度；

使用梯度下降法训练网络模型至网络收敛。

可选的，所述步骤4包括：

采用目标检测模型，检测图像中的目标类别和位置；

使用矩形框对图像中的目标进行标记。

可选的，所述步骤5包括：

计算目标检测算法输出的每个目标框的中心点坐标；

判断每个中心点坐标是否在ROI_box内部。

可选的，所述步骤6包括：

使用前N帧图像初始化高斯混合模型，N为5-30；

使用第N+1帧图像更新高斯混合模型，检测第N+1帧的运动目标，将每一个运动目标初始化为一个跟踪对象；

使用卡尔曼滤波预测第N+1中检测的运动目标在第N+2帧出现的位置；

使用高斯混合模型检测第N+2帧中的运动目标，通过匈牙利算法匹配高斯混合模型的检测结果和卡尔曼滤波的预测结果；没有匹配的检测结果则初始化为一个新的跟踪对象，没有匹配的预测结果则删除对应的跟踪对象。

可选的，所述步骤7包括：

步骤71：根据运动目标跟踪轨迹判断是否属于抛物，如果运动目标不属于抛物则对包括楼面广告牌和空调外机在内的潜在危险物进行抖动检测；

步骤72：根据不同预警类别生成相应的视频摘要和警报列表，将警报列表和视频摘要进行关联以便事后查看与追责；将处理后的视频分别通过显示单元和存储单元进行显示和存储。

可选的，所述步骤71包括如下步骤：

记录每个跟踪对象前m帧的中心点坐标，通过纵坐标的变化判断运动目标是否有下降趋势，判断下降趋势的公式如下：

y_m-y₁＞d

其中，y_m表示第m次检测为运动目标时的纵坐标，y₁表示第一次检测为运动目标；d表示纵坐标变化的阈值；

判断没有下降趋势的运动目标中心点坐标是否在ROI_box内部，若是，则及时发出潜在危险报警。

可选的，所述步骤72包括：

将发出警报的前F帧和后F帧组成视频摘要写入本地，并将发出警报的类型和时间写入警报列表，将警报列表和视频摘要进行关联，以便事后追责，然后对下一帧进行运动目标检测，依次进行循环；

将每一路摄像机处理的结果显示出来，并存储每一路的原始视频；通过警报列表每一条数据都可以查看对应的视频摘要。

本发明还提供了一种基于计算机视觉的楼面危险检测预警系统，包括：

多台监控摄像机、数据服务器和千兆网络交换机；多台监控摄像机完成楼层的全覆盖，多台监控摄像机的视频数据通过千兆网络交换机传输至数据服务器；

所述数据服务器用于保存采集到的视频数据，对数据进行标注，进行网络的训练，多运动目标的检测和跟踪，对视频数据进行跳楼检测，抛物检测，潜在危险物抖动检测。

在本发明提供的基于计算机视觉的楼面危险检测预警方法及系统中，摄像机覆盖全部楼层，得到实时监控视频数据；采集包含人的数据，并对其进行标注，并进行数据增强，制作数据集；构建并训练目标检测模型；对最高层监控摄像机视频的每一帧进行目标检测，输出目标类别是人的位置信息；手动框选顶楼护栏在最高层监控摄像机中的ROI_box，计算目标类别是人所在位置与ROI_box之间的相对位置关系，进行越界判别；对所有监控摄像机视频的每一帧进行运动目标检测，使用多目标跟踪算法对检测的运动目标进行跟踪；判定运动目标的类别发出预警。

本发明具有以下有益效果：

(1)通过空间金字塔池化单元和特征聚合单元，有效融合不同尺度的特征层信息，使目标检测网络能准确检测出图像中不同尺寸的目标；高斯混合模型结合多目标跟踪算法能有效减少抛物报警的虚警率，同时可以对潜在的危险物进行抖动预警；

(2)本发明通过多台监控摄像机完成整栋楼的覆盖，将每一路的数据通过交换机传输到数据处理服务器上进行处理，大大节省了人力巡视时间，减少了楼面危险检测的成本，对于不同高度的楼层具有较好推广能力。

附图说明

图1是基于计算机视觉的楼面危险检测预警系统示意图；

图2是基于计算机视觉的楼面危险检测预警方法示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种基于计算机视觉的楼面危险检测预警方法及系统作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

实施例一

本发明提供了一种基于计算机视觉的楼面危险检测预警系统，其结构如图1所示，包括多台高清监控摄像机(即监控1～监控n)、千兆网络交换机、数据服务器，所述高清监控摄像机和千兆网络交换机构成系统的数据采集部分；所述数据服务器用于保存采集到的高清视频数据，对数据进行标注，进行网络的训练，多运动目标的检测和跟踪，对视频数据进行跳楼检测，抛物检测，潜在危险物抖动检测。

本发明还提供了一种基于计算机视觉的楼面危险检测预警方法，包括：

步骤1：摄像机覆盖全部楼层，得到实时监控视频数据；

步骤2：采集包含人的数据，并对其进行标注，并进行数据增强，制作数据集；具体为：

步骤21：对采集到的图像进行高斯滤波处理，并采用双线性插值降采样方法，将图像的尺寸缩放为512*512，其中，512表示降采样后的图像宽度，512表示降采样后的图像高度；

步骤22：用矩形标记出图像中的人，类别为person；

步骤23：使用随机裁剪和混合两种方式对数据进行增强；

步骤24：将数据集划分为训练集、验证集和测试集；其中，

所述随机裁剪是从原始图像中随机裁剪一部分区域作为训练集的扩展；所述混合指的是其以线性插值的方式来构建新的训练样本和标签，其公式为：

其中，(x_i,y_i)，(x_j,y_j)是原始数据集中的训练样本和其对应的标签，λ∈(0,1)。

步骤3：构建并训练目标检测模型，具体为：

构建目标检测模型YOLOv4，所述目标检测模型包括：基础特征提取单元CSPDarknet53、空间金字塔池化单元SPP、特征聚合单元PAnet和稠密预测单元；

构建损失函数，所述损失函数包括回归框损失、置信度损失和分类损失，其中置信度损失和分类损失使用的交叉熵损失，回归框损失用的是Ciou损失，其公式如下：

其中，b,b^gt分别表示预测框和目标框的中心点，c表示预测框和目标框外接矩形对角线长度，ρ()表示欧式距离，α是权重函数，ν是用来衡量长宽比一致性的参数；R_CIoU表示惩罚项，IoU表示交并比，L_CoU表示交并比损失，w^gt表示目标框的宽度，h^gt表示目标框的高度，w表示预测框的宽度，h表示预测框的高度；

使用梯度下降法训练网络模型至网络收敛。

步骤4：对最高层监控摄像机视频的每一帧进行目标检测，输出目标类别是人的位置信息，具体为：

采用目标检测模型，检测图像中的目标类别和位置；

使用矩形框对图像中的目标进行标记。

步骤5：手动框选顶楼护栏在最高层监控摄像机中的ROI_box，顶楼在相机中成像区域，用一个矩形将它框出来，这个矩形用ROI_box来表示；计算目标类别是人所在位置与ROI_box之间的相对位置关系，进行越界判别，具体为：

计算目标检测算法输出的每个目标框的中心点坐标；

判断每个中心点坐标是否在ROI_box内部。

步骤6：对所有监控摄像机视频的每一帧进行运动目标检测，使用多目标跟踪算法(SimpleOnlineAndRealtimeTracking，SORT)对检测的运动目标进行跟踪，具体为：

使用前5帧图像初始化高斯混合模型；

使用第6帧图像更新高斯混合模型，检测第6帧的运动目标，将每一个运动目标初始化为一个跟踪对象；

使用卡尔曼滤波预测第6中检测的运动目标在第7帧出现的位置；

使用高斯混合模型检测第7帧中的运动目标，通过匈牙利算法匹配高斯混合模型的检测结果和卡尔曼滤波的预测结果；没有匹配的检测结果则初始化为一个新的跟踪对象，没有匹配的预测结果则删除对应的跟踪对象。

步骤7：判定运动目标的类别发出预警，具体为：

步骤71：根据运动目标跟踪轨迹判断是否属于抛物，如果运动目标不属于抛物则对包括楼面广告牌和空调外机在内的潜在危险物进行抖动检测；

步骤72：根据不同预警类别生成相应的视频摘要和警报列表，将警报列表和视频摘要进行关联以便事后查看与追责；将处理后的视频分别通过显示单元和存储单元进行显示和存储。

进一步的，所述步骤71包括如下步骤：

记录每个跟踪对象前10帧的中心点坐标，通过纵坐标的变化判断运动目标是否有下降趋势，判断下降趋势的公式如下：

y₁₀-y₁＞10

其中，y_m表示第10次检测为运动目标时的纵坐标，y¹表示第一次检测为运动目标；d表示纵坐标变化的阈值；

判断没有下降趋势的运动目标中心点坐标是否在ROI_box内部，若是，则及时发出潜在危险报警。

更进一步的，所述步骤72包括：

将发出警报的前75帧和后75帧组成视频摘要写入本地，并将发出警报的类型和时间写入警报列表，将警报列表和视频摘要进行关联，以便事后追责，然后对下一帧(即第8帧)进行运动目标检测，依次进行循环；

将每一路摄像机处理的结果显示出来，并存储每一路的原始视频；通过警报列表每一条数据都可以查看对应的视频摘要。

本发明能够实现楼面危险检测。相比传统的传感器检测，本发明以视觉算法来检测，不仅可以对不同类型的危险进行预警，还可以直接保留危险发生的视频摘要，更直观且易于查证；相比于用帧差法来检测运动目标，高斯混合模型的误检率更低，采用多目标跟踪算法跟踪检测的运动目标，通过跟踪轨迹来判断运动目标是否为抛物的准确性更高；手动设置潜在危险物所在的区域ROI_boxes可以实现广告牌和空调外机等潜在危险物的抖动预警。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (7)

1.一种基于计算机视觉的楼面危险检测预警方法，其特征在于，包括：

步骤1：摄像机覆盖全部楼层，得到实时监控视频数据；

步骤2：采集包含人的数据，并对其进行标注，并进行数据增强，制作数据集；

步骤3：构建并训练目标检测模型；

步骤4：对最高层监控摄像机视频的每一帧进行目标检测，输出目标类别是人的位置信息；

步骤5：手动框选顶楼护栏在最高层监控摄像机中的ROI_box，计算目标类别是人所在位置与ROI_box之间的相对位置关系，进行越界判别；

步骤6：对所有监控摄像机视频的每一帧进行运动目标检测，使用多目标跟踪算法对检测的运动目标进行跟踪；

步骤7：判定运动目标的类别发出预警；

所述步骤2包括：步骤21：对采集到的图像进行高斯滤波处理，并采用双线性插值降采样方法，将图像的尺寸缩放为W*H，其中，W表示降采样后的图像宽度，H表示降采样后的图像高度；

步骤22：用矩形标记出图像中的人，类别为person；

步骤23：使用随机裁剪和混合两种方式对数据进行增强；

步骤24：将数据集划分为训练集、验证集和测试集；

所述随机裁剪是从原始图像中随机裁剪一部分区域作为训练集的扩展；所述混合指的是其以线性插值的方式来构建新的训练样本和标签，其公式为：

其中，(x_i,y_i)，(x_j,y_j)是原始数据集中的训练样本和其对应的标签，λ∈(0,1)；

所述步骤3包括：构建目标检测模型，所述目标检测模型包括：基础特征提取单元、空间金字塔池化单元、特征聚合单元和稠密预测单元；

构建损失函数，所述损失函数包括回归框损失、置信度损失和分类损失，其中置信度损失和分类损失使用的交叉熵损失，回归框损失用的是Ciou损失，其公式如下：

其中，b,b^gt分别表示预测框和目标框的中心点，c表示预测框和目标框外接矩形对角线长度，ρ()表示欧式距离，α是权重函数，ν是用来衡量长宽比一致性的参数；R_CIoU表示惩罚项，IoU表示交并比，L_CoU表示交并比损失，w^gt表示目标框的宽度，h^gt表示目标框的高度，w表示预测框的宽度，h表示预测框的高度；

使用梯度下降法训练网络模型至网络收敛。

2.如权利要求1所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤4包括：

采用目标检测模型，检测图像中的目标类别和位置；

使用矩形框对图像中的目标进行标记。

3.如权利要求2所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤5包括：

计算目标检测算法输出的每个目标框的中心点坐标；

判断每个中心点坐标是否在ROI_box内部。

4.如权利要求3所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤6包括：

使用前N帧图像初始化高斯混合模型，N为5-30；

使用第N+1帧图像更新高斯混合模型，检测第N+1帧的运动目标，将每一个运动目标初始化为一个跟踪对象；

使用卡尔曼滤波预测第N+1中检测的运动目标在第N+2帧出现的位置；

使用高斯混合模型检测第N+2帧中的运动目标，通过匈牙利算法匹配高斯混合模型的检测结果和卡尔曼滤波的预测结果；没有匹配的检测结果则初始化为一个新的跟踪对象，没有匹配的预测结果则删除对应的跟踪对象。

5.如权利要求4所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤7包括：

步骤71：根据运动目标跟踪轨迹判断是否属于抛物，如果运动目标不属于抛物则对包括楼面广告牌和空调外机在内的潜在危险物进行抖动检测；

步骤72：根据不同预警类别生成相应的视频摘要和警报列表，将警报列表和视频摘要进行关联以便事后查看与追责；将处理后的视频分别通过显示单元和存储单元进行显示和存储。

6.如权利要求5所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤71包括如下步骤：

记录每个跟踪对象前m帧的中心点坐标，通过纵坐标的变化判断运动目标是否有下降趋势，判断下降趋势的公式如下：

y_m-y₁＞d

其中，y_m表示第m次检测为运动目标时的纵坐标，y₁表示第一次检测为运动目标；d表示纵坐标变化的阈值；

判断没有下降趋势的运动目标中心点坐标是否在ROI_box内部，若是，则及时发出潜在危险报警。

7.如权利要求6所述的基于计算机视觉的楼面危险检测预警方法，其特征在于，所述步骤72包括：

将发出警报的前F帧和后F帧组成视频摘要写入本地，并将发出警报的类型和时间写入警报列表，将警报列表和视频摘要进行关联，以便事后追责，然后对下一帧进行运动目标检测，依次进行循环；

将每一路摄像机处理的结果显示出来，并存储每一路的原始视频；通过警报列表每一条数据都可以查看对应的视频摘要。

Images