CN110232320B - 实时检测工地现场工人危险靠近施工机械的方法及系统 - Google Patents

Abstract

本发明属于建设工程安全管理信息化领域，公开了一种实时检测工地现场工人危险靠近施工机械的方法，包括：步骤1，收集施工环境下包含目标对象的原始图像；步骤2，利用原始图像训练YOLOv2模型；步骤3，提取工地现场的实时视频流，由训练后的YOLOv2模型输出目标对象类型及位置；步骤4，基于输出的目标对象中机械的位置变化量判断机械是否处于工作状态；步骤5，计算工人和与其最近的工作状态下的机械之间的距离，并与相应的既定阈值对比，判断工人是否位于危险区域内。本发明通过实时提取视频流，识别图像中的机械和工人，判断机械的工作状态并测算工人与机械的距离，即时可靠，为避免工地现场人机碰撞事故的发生提供有力保障。

Description

实时检测工地现场工人危险靠近施工机械的方法及系统

技术领域

本发明属于建设工程安全管理信息化领域，更具体地，涉及一种实时检测工地现场工人危险靠近施工机械的方法。

背景技术

建设工程工地现场环境复杂，涉及人员、材料、机械众多，管理难度大。施工作业人员分散在重型施工机械周边，受嘈杂环境的影响，施工机械操作人员很难意识到工人的靠近，从而致使碰撞事故的发生。尽管施工工地上卡车、挖掘机等机械出于不同目的频繁进出作业，目前很少实施有效的系统进行交通管制。因此，工人与现场机械碰撞而引发致命事故的风险很大。

为此，安全管理人员力图借助安全装置来控制工地现场的风险因素，包括个人防护装备和安全护栏的使用。但是，施工作业变化迅速，事故根源随着建设过程动态变化。由于事故的复杂性和动态性，安全装置不适用于风险因素的主动控制。工作区域可能每天都在变化，使得防止碰撞事故的安全护栏等防护措施实施滞后，可靠性不够。

由此，一些研究学者试图借助传感技术改善这一问题。通过在工人和机械上安装全球定位系统(GPS)、射频识别(RFID)、超宽带(UWB)等传感装置，对工人和机械的运动轨迹进行定位。然而，大型施工工地上涉及众多人员和机械，这使得安装和校准这些仪器设备费时费力，且耗资较大。同时，工人对于佩戴这类型装置易表现出反感情绪，进而影响其工作状态。再者，上述传感器不能有效获取机械作业时的姿态等信息，无法分辨机械是否处于工作状态，难以生成机械作业下的动态危险区域，由此发布的警示信息不够科学合理。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种实时检测工地现场工人危险靠近施工机械的方法，其目的在于，通过先进的深度学习算法YOLOv2检测视频流中的工人及机械，进而测算工人与作业状态下机械间的距离，达到实时检测工人危险靠近作业状态下的机械这一不安全行为的目的。

为实现上述目的，按照本发明的一个方面，提供了一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，包括模型训练阶段和现场检测阶段：

所述模型训练阶段包括：

步骤1：收集施工环境下包含目标对象的原始图像，组成训练集；所述原始图像为目标对象同时包含施工机械和工人的图像，或者，所述原始图像包括以下图像中的至少两种：目标对象仅包含施工机械的图像、目标对象仅包含工人的图像以及目标对象同时包含施工机械和工人的图像；

步骤2：在原始图像中按照预设规则采用矩形框标记出目标对象，矩形框的位置表示目标对象的位置，原始图像中的目标对象所属类型及位置构成目标对象的真实值；利用标记后的原始图像作为输入，训练YOLOv2模型，由YOLOv2模型输出原始图像中的目标对象所属类型，并按照预设规则为识别出的目标对象添加矩形框，输出的矩形框表示识别出的目标对象的位置，输出的目标对象所属类型及位置构成目标对象的预测值；将预测值与真实值进行比较，若差异在预设范围内，训练结束；若差异超出预设范围，则调整YOLOv2模型并重新训练，直至差异缩小到预设范围内；

所述现场检测阶段包括：

步骤3：调用工地现场的实时视频流，将实时视频流分解为连续视频图像并输入训练好的YOLOv2模型，识别出目标对象并输出其类型以及按照预设规则为其标记的矩形框，矩形框的位置即目标对象位置；

步骤4：根据步骤3输出的矩形框在连续视频图像中的变化量是否超出预设值判断施工机械是否处于工作状态；

步骤5：根据步骤3输出的位置和步骤4识别的工作状态，计算工人和与其最近的处于工作状态下的施工机械之间的距离，并将该距离与相应施工机械的危险区域的既定阈值对比，判断是否工人是否位于危险区域。

进一步地，步骤1中训练集包含不同施工环境下，外形、姿态各异的机械和/或工人的图像。

进一步地，步骤4中，依据步骤3得到的矩形框在连续视频图像中的变化量是否超出预设范围，判断施工机械是否处于工作状态：若变化量超出预设范围，说明施工机械处于工作状态；否则，说明施工机械处于非工作状态。

进一步地，所述变化量是基于矩形框的对角线l及对角线l与水平方向的夹角θ的变化进行判断，计算公式如下：

其中，a为矩形框的长边，b为矩形框的短边；

仅当l与θ的取值在连续视频图像中的检测结果的变化量未超出预设值时，视施工机械处于非工作状态。

进一步地，步骤2中，YOLOv2模型输出矩形框的位置以及矩形框的类别的置信度J，以表示目标对象的位置和所属类别，置信度J计算公式如下：

J＝P(object)*IOU(x,object)

其中，P(object)为输出的矩形框包含目标对象的概率，IOU(x,object)为输出的矩形框与矩形框的真实值的重叠度。

进一步地，步骤5中，若输出结果中仅有同一类型的施工机械，计算工人与最近的施工机械之间的距离，并判断是否在危险区域范围内；

若输出结果中包含不同类型的施工机械，则对每个类型独立计算工人与最近的施工机械之间的距离，并判断该距离是否小于该类型机械的危险范围阈值。

为了实现上述目的，按照本发明的另一个方面，提供了一种实时检测工地现场工人危险靠近施工机械的系统，包括处理器、预训练程序模块和现场检测程序模块，其中：

所述预训练程序模块在被所述处理器调用时，执行如前所述的步骤1～2；

所述现场检测程序模块在被所述处理器调用时，执行如前所述的步骤3～5。

总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)与现有技术相比，本发明运用YOLOv2算法一步实现目标的检测和分类，在识别工人和挖掘机时既保证了准确率也满足了实时性要求；同时，本发明考虑了机械的工作状态，有效减少了误报事件的发生，该发明为避免复杂施工环境下碰撞事故的发生提供了重要保障；

(2)由于工地现场广泛布置着监控摄像头，本发明可以直接基于这些摄像头获取视频数据源并实时监控工地现场的不安全行为，实施成本低、不会对工人产生额外的设备佩戴要求，具有广泛应用和推广的潜力；

(3)由于本发明考虑了机械的工作状态，且YOLOv2模型能够识别出机械类型，从而易于与机械的危险区域的设定进行兼容计算，即：在本发明的基础上，还可以进一步考虑不同类型机械的外形特征、工作特性等因素，针对性地制定特定类型机械的动态危险区域范围，得到危险距离的阈值，而不是对各类型机械的危险区域不加区分，使得发布的预警信息更为科学可靠；

(4)利用YOLOv2输出的对象的矩形边界框的变化直接判断机械的运动状态，可以有效避免因工人靠近非工作状态机械产生的误报；同时，流程科学，保证了系统的实时性。

附图说明

图1是本发明的步骤示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本实施例提供一种实时检测工地现场工人危险靠近施工机械的方法，机械以挖掘机为例，参照图1，分为模型训练阶段和现场检测阶段两大部分，包括数据集准备、模型训练、模型测试、机械运动状态判断、距离测算及预警五个步骤，具体实施方式如下。

模型训练阶段：

步骤1：数据集准备，即收集施工环境下包含目标对象的原始图像，构成模型的训练集，需完成以下操作：

本实施例以目标对象的类型为挖掘机和工人为例(其他施工机械如推土机、起重机等与此过程相同，不再赘述)，为识别工人和挖掘机的危险靠近，需收集包含挖掘机和工人的图像，用于对象检测模型的训练。为避免产生较大的偏差，应考虑不同施工背景环境下的目标对象，如不同的光照条件、遮挡程度等，以确保数据集的多样性。本实施例优选YOLOv2网络模型作为对象检测模型。YOLOv2是一种物体检测网络，能够对图像中的物体进行识别、归类和框选，其构成和原理可以参照Redmon J,Farhadi A.[IEEE 2017IEEEConference on Computer Vision and Pattern Recognition(CVPR)-Honolulu,HI(2017.7.21-2017.7.26)]2017IEEE Conference on Computer Vision and PatternRecognition(CVPR)-YOLO9000:Better,Faster,Stronger[J].2017:6517-6525.

步骤2：模型训练，即利用训练集的图像训练YOLOv2算法的网络模型(简称YOLOv2模型)，检测图片中的工人和挖掘机。需完成以下操作：

(1)模型采用半监督学习的模式，需将图片中的挖掘机和工人标记出来，作为真实值，用于后续与YOLOv2模型识别出的预测值进行对比。

图片标记可以采用任意图片处理软件进行，优选地，本实施例利用labelimage图片标记软件按照预设的标记方法，将原始图像中的工人和挖掘机用矩形框进行人为标记，作为YOLOv2模型的输入。

(2)对标记后的原始图像进行预处理，将其统一处理为416*416的大小输入YOLOv2模型。标记后的原始图像经过YOLOv2模型的卷积层、池化层提取目标对象的特征，并通过批量归一化处理稳定模型训练过程，加速收敛和泛化模型。为提取图片中的细粒度特征，帮助模型更好的定位更小的特征，添加passthrough层以融合高分辨率卷积层和低分辨率卷积层的信息。

最终，YOLOv2模型从原始图像中识别出目标对象，并按照预设的标记方法输出目标对象的矩形框的位置(本实施例优选以矩形框的中心点的坐标表示矩形框的位置)及目标对象类别的置信度J，J表示目标对象为类型x(如工人、挖掘机、推土机、起重机等)的概率。

J＝P(object)*IOU(x,object) (1)

其中，P(object)为输出的矩形框包含目标对象的概率，IOU(x,object)为输出的矩形框与人工标记的矩形框(即目标对象的真实值)的重叠度。

利用矩形框进行标记的方法可以采用最小矩形包络法，或者对角顶点标记法；对角顶点标记法是指从目标对象的左上角开始画矩形至右下角，得到的矩形刚好包络整个目标对象。也可以采用其他常见的矩形标记方法，具体方法不限，关键在于人工标记和YOLOv2模型标记的规则要一致，即标记方法相同。

由于按照相同的标记方法进行标记，预先标记的矩形框和YOLOv2模型输出的矩形框具有良好的一致性，可以保证训练时与现场测试时数据的一致性及可比性，从而保证后续实测时矩形框对比的可靠性。

(3)利用YOLOv2模型的检测结果与标记的真实值计算矩形框的定位偏差，调整YOLOv2模型的卷积层、池化层参数以不断优化模型，调整过程及原理可以参照上述RedmonJ的论文。

在其他实施例中，也可以由YOLOv2模型输出矩形框的中心点坐标和长边、短边的长度，并与预先标记的矩形框的中心点坐标和长边、短边的长度进行偏差计算，进而调整YOLOv2模型的参数。

现场检测阶段：

步骤3：模型测试，即调用工地实时监控视频流，用于模型的性能测试，需完成以下操作：

(1)本实施例中，在工地安装的摄像头为海康威视摄像头，实时预览提取的实时视频流需要经过海康威视SDK接口调用函数命令，正确调用函数命令的顺序如下：NET_DVR_Init()→NET_DVR_Login()→NET_DVR_RealPlay()→NET_DVR_StopRealPlay()→NET_DVR_Logout()→NET_DVR_Cleanup()。

首先，初始化SDK系统，预分配内存；接着，分别定义一个用户参数和设备参数结构体，把设备的IP密码端口传递给定义的用户参数结构体；然后，调用NET_DVR_Login()函数注册用户设备，再定义一个IP设备资源及IP通道资源配置结构体，并获取设备的配置信息；进而直接从设备获取IP通道的信息，定义对应的通道号，调用实时预览参数结构体进行实时预览。使用完毕后，关闭预览、注销用户并释放SDK资源。由于每个摄像头都有自己的IP地址，而本实施例的YOLOv2模型安装在一个服务器上，为检测不同的施工场景，需要访问不同的摄像头，在每次访问不同的摄像头时需要进行如上的用户注册和注销操作。

(2)将获取的监控视频流输入训练好的YOLOv2模型进行识别，通过训练好的YOLOv2模型实时检测和标记视频图像中的挖掘机和工人。

步骤4：机械运动状态判断，即判断视频流中的挖掘机处于工作状态还是非工作状态，需完成以下操作：

(1)利用YOLOv2模型输出的矩形框对机械的运动状态进行判断。

评估变量选取挖掘机矩形框的对角线l及其与水平方向的夹角θ，仅当两者的取值在连续视频图像中的检测结果几乎不变时(可以预设一个范围来衡量检测结果是否变化)，挖掘机视为处于非工作状态，l和θ的计算公式如(2)所示，其中a为矩形框的长边，b为矩形框的短边。

步骤5：距离测算及预警，即计算工人与其最近的工作状态下的机械之间的距离，并判断是否发布危险预警，需完成以下操作：

(1)本实施例优选利用透视变换原理，将摄像头视角下获取的施工场景透视图变换成俯视图。具体步骤依次为：读取摄像机的内部参数、查找图像中四个已知点的像素坐标、计算原图与俯视图的变换矩阵、利用变换矩阵获得俯视图。进而根据设定的像素与实际距离的比值，测算工人与机械的距离。

(2)基于挖掘机的机械外形、工作特性及操作者的反应时间等因素预先设定挖掘机的动态危险区域范围，得到危险距离的阈值。依据测算的距离判断是否有工人落在这个范围内，若存在，则认为该工人实施了危险靠近工作设备的行为，进而可以发布预警，提醒该工人或现场管理人员。

由于本发明是实时提取视频流并对其包含的视频图像中的目标对象，如挖掘机、工人等进行检测、识别和标记，进而进行危险行为判断，因此可以实现危险行为的即时识别，只要工人进入危险区域范围就会立刻触发警报。而在考虑施工机械特性及操作者反应时间的情况下，假如实际设定的危险区域范围比真正易发生危险的区域稍大一些，则更可以达到提前预警的效果，确保危险行为监控的即时性和可靠性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，包括模型训练阶段和现场检测阶段：

所述模型训练阶段包括：

步骤1：收集施工环境下包含目标对象的原始图像，组成训练集；所述原始图像为目标对象同时包含施工机械和工人的图像，或者，所述原始图像包括以下图像中的至少两种：目标对象仅包含施工机械的图像、目标对象仅包含工人的图像以及目标对象同时包含施工机械和工人的图像；

步骤2：在原始图像中按照预设规则采用矩形框标记出目标对象，矩形框的位置表示目标对象的位置，原始图像中的目标对象所属类型及位置构成目标对象的真实值；利用标记后的原始图像作为输入，训练YOLOv2模型，由YOLOv2模型输出原始图像中的目标对象所属类型，并按照预设规则为识别出的目标对象添加矩形框，输出的矩形框表示识别出的目标对象的位置，输出的目标对象所属类型及位置构成目标对象的预测值；将预测值与真实值进行比较，若差异在预设范围内，训练结束；若差异超出预设范围，则调整YOLOv2模型并重新训练，直至差异缩小到预设范围内；

所述现场检测阶段包括：

步骤3：调用工地现场的实时视频流，将实时视频流分解为连续视频图像并输入训练好的YOLOv2模型，识别出目标对象并输出其类型以及按照预设规则为其标记的矩形框，矩形框的位置即目标对象位置；

步骤4：根据步骤3输出的矩形框在连续视频图像中的变化量是否超出预设值判断施工机械是否处于工作状态；

步骤5：根据步骤3输出的位置和步骤4识别的工作状态，计算工人和与其最近的处于工作状态下的施工机械之间的距离，并将该距离与相应施工机械的危险区域的既定阈值对比，判断是否工人是否位于危险区域。

2.根据权利要求1所述的一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，步骤1中训练集包含不同施工环境下，外形、姿态各异的机械和工人的图像。

3.根据权利要求2所述的一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，步骤4中，依据步骤3得到的矩形框在连续视频图像中的变化量是否超出预设范围，判断施工机械是否处于工作状态：若变化量超出预设范围，说明施工机械处于工作状态；否则，说明施工机械处于非工作状态。

4.根据权利要求3所述的一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，所述变化量是基于矩形框的对角线l及对角线l与水平方向的夹角θ的变化进行判断，计算公式如下：

其中，a为矩形框的长边，b为矩形框的短边；

仅当l与θ的取值在连续视频图像中的检测结果的变化量未超出预设值时，视施工机械处于非工作状态。

5.如权利要求1～4任意一项所述的一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，步骤2中，YOLOv2模型输出矩形框的位置以及矩形框的类别的置信度J，以表示目标对象的位置和所属类别，置信度J计算公式如下：

J＝P(object)*IOU(x,object)

其中，P(object)为输出的矩形框包含目标对象的概率，IOU(x,object)为输出的矩形框与矩形框的真实值的重叠度。

6.如权利要求1～4任意一项所述的一种实时检测工地现场工人危险靠近施工机械的方法，其特征在于，步骤5中，若输出结果中仅有同一类型的施工机械，计算工人与最近的处于工作状态下的施工机械之间的距离，并判断是否在危险区域范围内；

若输出结果中包含不同类型的施工机械，则对每个类型独立计算工人与最近的处于工作状态下的施工机械之间的距离，并判断该距离是否小于该类型机械的危险范围阈值。

7.一种实时检测工地现场工人危险靠近施工机械的系统，其特征在于，包括处理器、预训练程序模块和现场检测程序模块，其中：

所述预训练程序模块在被所述处理器调用时，执行如权利要求1～6任意一项所述的步骤1～2；

所述现场检测程序模块在被所述处理器调用时，执行如权利要求1～6任意一项所述的步骤3～5。

Images