CN116129135A

CN116129135A - 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法

Info

Publication number: CN116129135A
Application number: CN202211343504.4A
Authority: CN
Inventors: 孙啸; 路学莹
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2022-10-28
Filing date: 2022-10-28
Publication date: 2023-05-16

Abstract

本发明公开了一种基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，包括如下步骤：步骤一、构建适用于小目标视觉识别的SEC4‑YOLOv5模型；步骤二、拟合吊钩高度和吊钩尺寸的插值函数；步骤三、利用SEC4‑YOLOv5模型的权重文件识别监控视频数据，得到施工人员位置信息、吊钩数据；步骤四、根据吊钩位置和高度划定危险区域；步骤五、结合施工人员位置信息计算危险系数；步骤六、通过比较计算出的危险系数与预设的安全报警阈值大小，来确定是否需要进行报警。由此可见，本发明采用优化的SEC4‑YOLOv5模型，实现特征通道自校准。提高模型识别检测精度，实现目标检测模型速度和精度的平衡，具有较强的鲁棒性。

Description

基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法

技术领域

本发明涉及一种塔吊安全预警方法，其基于小目标视觉识别和虚拟实体映射技术而实现。

背景技术

塔式起重机被广泛应用于施工现场的材料搬运工作中，塔机驾驶员对吊钩的位置信息往往通过观察的方式进行主观判断，吊钩位置的可靠性取决于塔机驾驶员的自身经验。施工现场环境复杂、人员密集、各工序作业范围交叉，使得塔式起重机在起重作业时存在较大的安全隐患。因此，为排除安全隐患，快速识别塔吊安全区域形成预警机制至关重要。

近年来，神经网络的深度学习模型作为一种新的技术手段，被广泛地应用于辅助施工现场安全管理工作。施工现场通过图像传感器获取的大量影像资料，可为目标检测算法的训练提供丰富的数据。计算机视觉技术的发展使得利用数字图像技术进行施工区域安全性的快速识别成为一种可行的方案，且目前未见有将深度学习技术应用于检测塔吊施工区域安全性的相关研究。

传统的目标检测算法需要人工设计特征算子提取图像特征，此种方式存在局限性，且模型识别精度低、泛化能力差。基于深度学习的目标检测算法，通过卷积神经网络自学习图像特征，模型速度和精度大幅提高，且具有较强的鲁棒性，包括以R-CNN为代表的两阶段目标检测算法和以YOLO为代表的单阶段目标检测算法。R-CNN系列算法检测精度高、速度慢，无法满足实时性要求。YOLO系列算法直接对输入图像中目标的类别的和位置进行回归，检测速度最快，易于工程部署，但对小目标的识别精度稍差。

发明内容

本发明针对现有技术的不足，提供一种基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其一方面改进了YOLOv5的特征融合网络，增加一个尺度的检测层，利用SENet注意力机制网络改进原有模型，实现特征通道自校准。另一方面，提供改进的危险系数计算模型，以对监控时间加以考虑，进一步提高安全预警结果的准确性，减小安全事故风险。

为实现上述的技术目的，本发明将采取如下的技术方案：

一种基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，包括如下步骤：

步骤一、构建适用于小目标视觉识别的SEC4-YOLOv5模型

利用SENet注意力机制网络改进既有的YOLOv5特征融合网络，并采用CIoU_LOSS函数替代既有YOLOv5特征融合网络中的GIoU_LOSS函数，以获得SEC4-YOLOv5模型，并分别采用训练集训练、验证集验证SEC4-YOLOv5模型，从而获得用于检测吊钩和施工人员的权重文件；

在SEC4-YOLOv5模型中增加能够去除误检吊钩目标的剔除误检模块；

步骤二、拟合吊钩高度和吊钩尺寸的插值函数；

步骤三、识别监控视频数据

利用SEC4-YOLOv5模型的权重文件识别塔式起重机变幅小车上的摄像头所拍摄的监控视频数据，并利用剔除误检模块去除误检吊钩目标，以得到施工人员位置信息、唯一吊钩的位置信息及其尺寸数据，并上传至云端数据库；

步骤四、根据吊钩位置和高度划定危险区域

根据步骤三识别出的吊钩的位置信息及其尺寸数据，利用插值函数计算出重物掉落高度，从而划定危险区域；

步骤五、结合施工人员位置信息计算危险系数

根据重物掉落高度、施工人员位置信息和监控时间计算危险系数；

步骤六、预警判断

通过比较步骤五计算出的危险系数与预设的安全报警阈值大小，来确定是否需要进行报警。

作为上述塔吊安全预警方法进一步改进，步骤一中，所采用的训练集和验证集通过下述方式构建：

步骤1.1.1、获取塔式起重机变幅小车的吊钩图像以及塔式起重机变幅小车所处施工现场的施工人员图像，以构建图像数据集；并将所述的图像数据集划分为两类，分别为训练集图像、验证集图像；训练集图像、验证集图像分别对应存放在图像训练集文件夹、图像验证集文件夹中；

步骤1.1.2、对步骤1.1所构建的图像数据集进行标注，以得到对应的标签文件；其中：训练集图像的标签文件存放在训练集标签文件夹中，验证集图像的标签文件存放在验证集标签文件夹中；

步骤1.1.1中图像训练集文件夹内的训练集图像、步骤1.1.2中的训练集标签文件夹的标签文件构成所述的训练集；

步骤1.1.1中图像验证集文件夹内的验证集图像、步骤1.1.2中验证集标签文件夹内的标签文件构成所述的验证集。

作为上述塔吊安全预警方法进一步改进，步骤1.1.1中，通过固定塔式起重机变幅小车上摄像头的拍摄角度，使摄像头位于吊钩正上方，收集不同光照条件、天气条件下拍摄的吊钩和施工人员图像，从而构建图像数据集；

步骤1.1.2中，利用LabelImg标注工具对吊钩和施工人员图像进行标注，以得到对应的标签文件。

作为上述塔吊安全预警方法进一步改进，步骤一中，SEC4-YOLOv5模型的训练过程具体包括如下步骤：

步骤1.2.1、对输入图像进行预处理操作；

步骤1.2.2、将经预处理后的图像输入主干特征提取网络Backbone中进行特征提取；所述主干特征提取网络的最后嵌入通道注意力SENet模块；

步骤1.2.3、提取的特征经Neck层通过FPN+PAN结构进行特征的传递融合操作，并在Neck层中增加一个小目标检测尺度，以增强对小目标特征的表达能力，输出4个多尺度特征图；

步骤1.2.4、Prediction层中，每个尺度的特征图的每个像素点都具有对应的3个先验框；将先验框映射至输入图像对目标物体的类别和位置进行回归，得到目标物体的预测框；

步骤1.2.5、根据目标物体的预测框和真实框构建损失函数LOSS，训练直至损失函数LOSS收敛；其中：损失函数LOSS中的边框回归损失函数选用CIoU_LOSS函数。

作为上述塔吊安全预警方法进一步改进，步骤1.2.2中，在Backbone中第4个BottleneckCSP结构后加入通道注意力SELayer模块，同时指定全局平均池化的通道数为BottleneckCSP输出特征图的通道数，利用SELayer模块强化网络对重要通道特征信息的学习；

所述步骤1.2.3中增加一个小目标检测尺度，具体方式如下：在Neck层的FPN中进行3次上采样，同时在PAN中进行3次下采样，通过进一步的加深网络拓宽到4个检测尺度，以增强对小目标特征的表达能力。

作为上述塔吊安全预警方法进一步改进，步骤一中，剔除误检模块首先利用SEC4-YOLOv5模型识别待检测图像中的吊钩，判断检测到的吊钩数量是否大于1，如果不大于1则输出识别到的吊钩结果，如果大于1则根据吊钩检测框的位置信息保留最靠近图像中心点的检测框，从而最大程度的剔除误检，计算公式如下：

p＝min(d_i)

式中，w_te、h_te是待检测图像的宽和高，w_in、h_in是输入模型后图像的宽和高，x_l、y_l是每张检测图像中第i个吊钩检测框左上点坐标，x_r、y_r是每张检测图像中第i个吊钩检测框右下点坐标，x_i、y_i是每张检测图像中第i个吊钩检测框中心点坐标，d_i是每张检测图像中第i个吊钩检测框中心距检测图像中心的欧氏距离，p是最终保留的唯一检测框。

作为上述塔吊安全预警方法进一步改进，步骤二中，插值函数的确定，具体包括以下步骤：

步骤2.1、采集一段吊钩自最低处匀速上升至最高处的视频数据；

步骤2.2、按相同的时间间隔截取图像，记录具有吊钩高度信息和吊钩尺寸信息的离散数据点，吊钩尺寸信息通过LabelImg标注工具所得到的标签文件可得，计算公式如下：

式中，w是吊钩外接矩形框的宽，h是吊钩外接矩形框的高，size是吊钩外接矩形框的对角线尺寸；

步骤2.3、在离散数据点的基础上补差连续函数，通过比较线性插值函数、二阶样条曲线插值函数和三界样条曲线插值函数的拟合程度，最终选用二阶样条曲线插值作为吊钩高度height与吊钩尺寸size的插值函数。

作为上述塔吊安全预警方法进一步改进，步骤四中，根据吊钩高度信息height确定危险区域的范围大小，具体是：当高度小于40米时危险区域半径为定值，当高度大于40米时危险区域半径是随高度增加的线性函数；危险区域的圆心为吊钩检测框中心。

作为上述塔吊安全预警方法进一步改进，步骤五中，危险系数D通过下式计算：

D＝L×E×C×R₁×R₂

L为事故发生的可能性；

E为处于危险环境的频率，通过建立施工人员距危险区域圆心的距离与概率密度函数的对应函数而算出；施工人员位置通过SEC4-YOLOv5模型识别出，危险区域圆心为通过SEC4-YOLOv5模型识别出的吊钩检测框的中心；

C为事故后果，根据重物掉落高度近似确定事故后果；

R₁为与视频监控时间所处月份相关的修正系数；其中：当视频监控时间处于事故高发月份时，R1＝1.2；当视频监控时间处于事故频发月份时，R1＝1.1；当视频监控时间处于其余月份时，R1＝1；

R₂为与视频监控时间所处时刻相关的修正系数；其中：当视频监控时间处于事故高发时刻时，R2＝1.2；当视频监控时间处于事故频发时刻时，R2＝1.1；当视频监控时间处于其余时刻时，R1＝1。

作为上述塔吊安全预警方法进一步改进，步骤六中，安全报警阈值D_max＝50；当实时计算的危险性水平D值超过安全报警阈值D_max时，系统向危险区域内人员发送警报，要求其退出危险区。

基于上述的技术目的，相对于现有技术，本发明具有如下的优势：

1.改进YOLOv5的特征融合网络，增加一个尺度的检测层，利用SENet注意力机制网络改进原有模型，实现特征通道自校准，针对预测框和目标框重叠时，GIoU_LOSS退化为IoU_LOSS收敛速度缓慢的问题，使用CIoU_LOSS替换GIoU_LOSS，加快模型收敛速度，提高边界框定位准确性。通过SEC4-YOLOv5小目标识别优化算法，在运算复杂度上升很小的代价下，提高模型识别检测精度，实现目标检测模型速度和精度的平衡，具有较强的鲁棒性。

2.提出一种虚拟实体映射的塔吊安全预警方法，有效利用监控视频信息，运用计算机视觉技术进行计算处理，使得施工人员作业时的危险性水平在监控视频中实时呈现，辅助施工现场的安全管理人员科学、高效监管塔吊施工现场安全性，减小安全事故风险。

附图说明

图1是本发明的流程示意图。

图2是本发明的SEC4-YOLOv5小目标识别优化算法结构图。

图3是本发明的实施例吊钩高度检测结果。

图4是本发明的实施例塔吊安全预警检测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、表达式和数值不限制本发明的范围。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

参照图1所示，本发明构建了一种基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，包括如下步骤：

步骤一、构建适用于小目标视觉识别的SEC4-YOLOv5模型

利用SENet注意力机制网络改进既有的YOLOv5特征融合网络，并采用CIoU_LOSS函数替代既有YOLOv5特征融合网络中的GIoU_LOSS函数，以获得SEC4-YOLOv5模型，并在SEC4-YOLOv5模型中增加能够去除误检吊钩目标的剔除误检模块；

分别采用训练集训练、验证集验证SEC4-YOLOv5模型，从而获得用于检测吊钩和施工人员的权重文件；

步骤二、拟合吊钩高度和吊钩尺寸的插值函数；

步骤三、识别监控视频数据

步骤四、根据吊钩位置和高度划定危险区域

步骤五、结合施工人员位置信息计算危险系数

步骤六、预警判断

通过比较步骤五计算出的危险系数与预设的安全报警阈值大小，来确定是否需要进行报警。当危险系数超过安全报警阈值后，系统向危险区域内人员发送警报，要求其退出危险区。其中：安全报警阈值是在平衡作业效率和作业安全的基础上确定。

所述步骤一中，所采用的训练集和验证集通过下述方式构建：固定塔式起重机变幅小车上摄像头的拍摄角度，使摄像头位于吊钩正上方，收集不同光照条件、天气条件下拍摄的不同高度的吊钩和施工人员图像1000张，构建图像数据集。利用LabelImg标注工具对图像进行人工标注，标注时划出图像中吊钩的最小外接矩形框并将其类别命名为“hook”，划出图像中施工人员的最小外接矩形框并将其类别命名为“person”，得到相对应的txt格式的标签文件，标签文件的内容依次为类别的id编号、归一化的目标框中心x坐标、归一化的目标框中心y坐标、归一化的目标框宽度w、归一化的目标框高度h，即目标的真实框信息。将图像数据集文件夹(images)划分为训练集文件夹(train)和验证集文件夹(val)，训练集文件夹(train)存放训练集图像(800张)，验证集文件夹(val)存放验证集图像(200张)，其中训练集和验证集的数量比例为8:2，同样标签文件夹(labels)划分为相应的训练集标签文件夹(train)和验证集标签文件夹(val)。

所述步骤一中，本发明参照图2利用YOLOv5s算法改进得到SEC4-YOLOv5s小目标识别优化算法(SEC4-YOLOv5模型)进行训练，具体包括以下步骤：

步骤1.2.1、对输入图像进行预处理操作，具体包括Mosaic数据增强、图像随机翻转、色彩空间hsv增强，增强模型鲁棒性；

步骤1.2.2、将经预处理后的图像输入主干特征提取网络Backbone中进行特征提取，所述主干特征提取网络由Focus模块、CONV模块、BottleneckCSP模块、SPP模块四种模块组成，进一步的，在主干特征提取网络Backbone的最后嵌入通道注意力SENet模块，强化网络对重要通道特征信息的学习；

进一步的，所述步骤1.2.2中，主干特征提取网络Backbone中五种模块具体如下：

步骤1.2.2.1、Focus模块对输入执行切片操作，将默认输入640*640*3的3通道图像隔像素取值从而分割为4个切片，每个切片大小为320*320*4，利用Concat操作将4个切片进行连接得到320*320*12的特征图，经32个卷积核卷积最终得到320*320*32的特征图，减少模型计算量的同时加快了计算速度；

步骤1.2.2.2、CONV模块即先后对输入执行卷积、归一化、激活操作，用于加深网络；

步骤1.2.2.3、BottleneckCSP模块主要由Bottleneck结构组成，BottleneckCSP模块是一种残差结构，先后经1*1卷积核和3*3卷积核卷积后与初始输入相加得到最终输出，BottleneckCSP模块将输入分入两个分支，分支一经1*1卷积核卷积操作特征图通道数减半，分支二先后经1*1卷积核卷积、BottleneckCSP结构、1*1卷积核卷积后特征图通道数同样减半，利用Concat函数将分支一和分支二的输出进行连接，经归一化、激活、1*1卷积核卷积操作后作为最终输出，输出特征图的大小与BottleneckCSP模块的输入特征图大小相同，该模块旨在更好的提取图像的深层特征；

步骤1.2.2.4、SPP模块的输入特征图大小为20*20*512，首先经1*1卷积核卷积后得到20*20*256的特征图，然后通过三个并行的最大池化层(5*5、9*9、13*13)采样后与其连接，最后利用512个卷积核进行卷积得到20*20*512的特征图，该模块实现了局部特征和全局特征的融合，丰富了特征图的表达能力；

步骤1.2.2.5、在Backbone中第4个BottleneckCSP结构后加入通道注意力SELayer模块，同时指定全局平均池化的通道数为BottleneckCSP输出特征图的通道数512，其中，SELayer模块包括挤压(Squeeze)、激励(Excitation)和缩放(Scale)，挤压操作通过全局平均池化将原始输入特征沿通道方向压缩成一维向量，即将一个20×20×512的原始输入特征压缩成1×1×512的特征，以获得每个通道的全局信息；激励操作通过两个全连接层利用缩放系数r对特征通道进行降维和升维，本实施例中缩放系数r取16，第一个全连接层将特征通道由1×1×512缩小为1×1×32以降低计算量，第二个全连接层使特征通道由1×1×32恢复为1×1×512，由此得到的标量即是各个通道的权重；缩放操作将激励操作得到的各个通道的权重(1×1×512)和原始输入特征(20×20×512)进行加权融合，输出加权后的特征图，利用SELayer模块强化网络对重要通道特征信息的学习，所述SELayer模块计算公式如下：

u′_c＝n_cu_c

式中，c是通道数，H、W是原始输入特征的高和宽，u_c(i，j)是原始输入特征，z_c是挤压操作后的结果，W₁、W₂是用于降维和升维的两个全连接层的权重，σ是ReLU激活函数，

是第一次全连接层经ReLU激活函数激活之后的结果，δ是Sigmoid激活函数，r是缩放系数用于控制模型复杂性，n_c是第二次全连接层经Sigmoid激活函数非线性激活后获得的权重，u′_c是经权重加权后的特征，i、j分别是特征像素点的高、宽坐标。

步骤1.2.3、提取的特征经Neck层通过FPN+PAN结构进行特征的传递融合操作，在Neck层中经两次上采样得到80*80特征图之后继续卷积、上采样得到160*160的特征图，然后与主干特征提取网络同尺度的特征图进行拼接融合得到160*160的检测尺度，同时原始经两次上采样后融合特征图得到的80*80检测尺度变为经三次上采样融合特征图后进行一次下采样融合特征图，其余两个检测尺度(40*40、20*20)依次类推，通过进一步的加深网络，以增强对小目标特征的表达能力，输出4个尺度特征图(20*20、40*40、80*80、160*160)。

步骤1.2.4、Prediction层输出4个尺度的特征图分别生成相应3组初始锚框尺寸的先验框，将不同尺寸的先验框映射至输入图像对目标物体的类别和位置进行回归，得到目标物体的预测框，结果代表每个网格点上3个先验框的内部是否包含物体、物体的种类以及先验框的调整参数，12组初始锚框尺寸如下表所示：

表格1

步骤1.2.5、根据目标物体的预测框和真实框构建损失函数LOSS，所述损失函数LOSS包含类别损失函数、置信度损失函数、边框回归损失函数，进一步的，将边框回归损失函数由GIoU_LOSS改为CIoU_LOSS，训练直至LOSS收敛，其中边框损失函数CIoU_LOSS的计算公式如下：

式中，B_p是预测框，B_gt是真实框，w^p和h^p分别表示预测框的宽和高，w^gt和h^gt分别表示真实框的宽和高，ρ表示预测框和真实框中心点之间的欧氏距离，c表示最小外接矩形框的对角线距离，v是衡量长宽比一致性的参数。

所述步骤二中，插值函数的确定，具体包括以下步骤：

步骤2.2、按相同的时间间隔(3秒)截取图像，记录具有吊钩高度信息和吊钩尺寸信息的离散数据点，吊钩尺寸信息通过LabelImg标注工具所得到的标签文件可得，计算时考虑标签文件中吊钩尺寸是归一化后的值，因此乘以扩大系数1000，计算公式如下：

步骤2.3、在离散数据点的基础上补差二阶样条曲线插值连续函数作为吊钩高度(height)与吊钩尺寸(size)的插值函数。

所述步骤一中，剔除误检模块首先利用训练好的YOLOv5s模型识别待检测图像中的吊钩，判断检测到的吊钩数量是否大于1，如果不大于1则输出识别到的吊钩结果，如果大于1则根据吊钩检测框的位置信息保留最靠近图像中心点的检测框，从而最大程度的剔除误检，计算公式如下：

p＝min(d_i)

所述步骤三中，在检测阶段，将监控视频输入检测模型，利用训练好的SEC4-YOLOv5s模型的权重文件识别每帧RGB图像数据中的吊钩和施工人员，利用剔除误检模块去除误检吊钩目标，得到唯一吊钩的位置信息和尺寸数据size，通过调用云端数据将其代入二阶样条曲线插值函数计算得到重物掉落高度hight，完成吊钩检测任务。根据吊钩高度信息height确定危险区域的范围大小，当高度小于40米时危险区域半径为定值，当高度大于40米时危险区域半径是随高度增加的线性函数，以吊钩检测框中心为危险区域的圆心划定危险区域，实时显示在监控视频中，完成危险区域划定任务。

所述步骤五中，危险系数通过修正后的作业条件危险性评价法获得，计算公式如下：

D＝L×E×C×R₁×R₂

L为事故发生的可能性，因为应用在具体塔机物体打击事故场景的危险性水平评价中，根据公式原定义取值1，表示可能性很小出乎意料；E为处于危险环境的频率，可用服从正态分布的概率密度函数对应计算，即建立人员距危险区域圆心的距离与概率密度函数的对应函数，则可以利用SEC4-YOLOv5小目标识别优化算法识别危险区域和人员位置后算出人员据危险区域圆心的距离，代入函数确定E值。(E值范围为原定义0-10内)；C为事故后果，可以用重物掉落高度近似确定事故后果，20m以下取值5，20到50米取值15，50米以上取值40；R₁为修正系数，通过分析117起物体打击事故调查报告，发现存在事故高发月份5月、7月、9月、10月，因此根据视频监控时间，高发月份对应的修正系数R1＝1.2，6月、12月事故频发月份对应的修正系数R1＝1.1，其余月份修正系数R1＝1；R₂为修正系数，通过分析117起物体打击事故调查报告，发现存在事故高发时刻8时、9时、11时，因此根据视频监控时间，高发时刻对应的修正系数R2＝1.2，10时、14时、15时、16时、17时、18时事故频发时刻对应的修正系数R2＝1.1，其余时刻修正系数R2＝1。

根据项目物体打击事故风险承受能力，确定最高愿意承受危险性水平D_max＝50，当实时计算的危险性水平D值超过安全报警阈值D_max时，系统向危险区域内人员发送警报，要求其退出危险区。

为了验证本实施例SEC4-YOLOv5s小目标识别优化算法的性能，在使用相同硬件配置和实验参数的前提下进行对比试验，部分训练环境：显卡为NVIDIA GeForce GTX1650，深度学习框架为Pytorch1.5，语言环境为python3.7，使用CUDA10.2和Cudnn7.6.5对GPU加速，输入图片尺寸大小为640*640，优化函数为SGD，训练动量为0.937，初始学习率为0.01，权重衰减为0.0005，批次大小为8，训练轮数100轮。使用精确率P(Precision)、召回率R(Recall)、平均精度AP(Average precision)、权重文件大小、单张图像检测时间作为模型性能评价指标，对比的网络模型包括YOLOv5s、YOLOv5m以及本实施例使用的SEC4-YOLOv5s算法，训练得到的模型性能评价指标如表2所示。

表格2不同模型对比实验数据

由表2可知，YOLOv5m较YOLOv5s各指标均有一定程度的提升，但YOLOv5m模型的大小是YOLOv5s的三倍，检测速度稍慢。YOLOv5m较YOLOv5s模型AP_0.5值提高了1.15％，AP_0.5-0.95值提高了2.66％。而本实施例所述的SEC4-YOLOv5s模型较YOLOv5s模型AP_0.5值提高了3.18％，AP_0.5-0.95值提高了2.99％，且模型权重文件仅增加2MB，单张图像检测速度与YOLOv5s模型相当。结果表明，SEC4-YOLOv5s模型在仅增加少量计算开销保证模型检测速度满足工程部署要求的前提下，模型性能得到明显提升。

利用小目标测试集(300张测试图像，且与训练集和验证集不交叉)分别对YOLOv5s模型和SEC4-YOLOv5s模型进行测试时，结果表明，YOLOv5s模型在对小目标吊钩检测识别时出现漏检现象，整体准确性较差，而SEC4-YOLOv5s模型特征提取能力增强，小目标漏检问题得到有效改善，预测精度得到显著提高。

利用一段监控视频对SEC4-YOLOv5s模型进行测试，模型能够较准确识别到吊钩和施工人员。高度检测结果如图3所示，吊钩高度偏低时检测结果有轻微波动，整体准确性较高。施工危险区域划定及危险性评价结果如图4所示，模型能够根据吊钩目标计算并划定危险区域(图中红圈区域)，实时计算危险性水平，当模型判断施工人员所处位置危险性水平较高时，施工人员预测矩形框显示红色，模型整体准确性较高。

Claims

1.一种基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，包括如下步骤：

步骤一、构建适用于小目标视觉识别的SEC4-YOLOv5模型

步骤二、拟合吊钩高度和吊钩尺寸的插值函数；

步骤三、识别监控视频数据

步骤四、根据吊钩位置和高度划定危险区域

步骤五、结合施工人员位置信息计算危险系数

步骤六、预警判断

2.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤一中，所采用的训练集和验证集通过下述方式构建：

3.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤1.1.1中，通过固定塔式起重机变幅小车上摄像头的拍摄角度，使摄像头位于吊钩正上方，收集不同光照条件、天气条件下拍摄的吊钩和施工人员图像，从而构建图像数据集；

4.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤一中，SEC4-YOLOv5模型的训练过程具体包括如下步骤：

步骤1.2.1、对输入图像进行预处理操作；

5.根据权利要求4所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤1.2.2中，在Backbone中第4个BottleneckCSP结构后加入通道注意力SELayer模块，同时指定全局平均池化的通道数为BottleneckCSP输出特征图的通道数，利用SELayer模块强化网络对重要通道特征信息的学习；

6.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤一中，剔除误检模块首先利用SEC4-YOLOv5模型识别待检测图像中的吊钩，判断检测到的吊钩数量是否大于1，如果不大于1则输出识别到的吊钩结果，如果大于1则根据吊钩检测框的位置信息保留最靠近图像中心点的检测框，从而最大程度的剔除误检，计算公式如下：

p＝min(d_i)

7.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤二中，插值函数的确定，具体包括以下步骤：

8.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤四中，根据吊钩高度信息height确定危险区域的范围大小，具体是：当高度小于40米时危险区域半径为定值，当高度大于40米时危险区域半径是随高度增加的线性函数；危险区域的圆心为吊钩检测框中心。

9.根据权利要求1所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤五中，危险系数D通过下式计算：

D＝L×E×C×R₁×R₂

L为事故发生的可能性；

C为事故后果，根据重物掉落高度近似确定事故后果；

10.根据权利要求9所述的基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法，其特征在于，步骤六中，安全报警阈值D_max＝50；当实时计算的危险性水平D值超过安全报警阈值D_max时，系统向危险区域内人员发送警报，要求其退出危险区。