CN109019335B - 一种基于深度学习的吊装安全距离检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的吊装安全距离检测方法，其包括：通过摄像头获取塔吊结构中吊钩周围的图像；针对获取图像中的工人和吊钩进行标记、制作成数据集；利用深度学习中的Faster R‑CNN对数据集进行训练；利用训练好的检测模型对图像中的工人和吊钩进行识别和定位；根据检测结果中的定位信息计算出图像中工人和吊钩的像素距离；再根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将工人与吊钩的像素距离换算成工人与吊钩垂直投影点的实际距离，进而实现对吊装安全距离的监测。本发明有效地解决了图像中工人和吊钩的识别定位问题，并且在安全距离检测上具有较高的精度。

Description

一种基于深度学习的吊装安全距离检测方法

技术领域

本发明属于土木工程施工机械安全监测领域，涉及到塔吊在吊装过程中工人与吊钩之间的安全距离检测方法。更确切的说，本发明涉及一种能够在吊装过程中，通过深度学习算法对图像中的工人和吊钩进行识别和定位，根据定位信息和换算方法实现工人与吊钩之间的安全距离检测。

背景技术

随着城镇人口的不断增加，对高层和超高层建筑的需求越来越大，为了提高施工机械化和工业化，塔吊被广泛应用在高层和超高层建筑的施工过程中。塔吊吊装的物体具有较高的势能、作业范围广、影响面积大。然而施工现场的设备和材料繁多，很容易遮挡塔吊司机的视线。为了能让塔吊司机更好地了解地面信息，位于地面的工作人员常常通过对讲机指导塔吊司机进行一些规避动作。

但是吊装过程中出现的安全事故依旧层出不穷，基于各类传感器的监测系统被开发完成，但是这类传感器更加关注塔吊自身的安全情况，并未侧重考虑塔吊对结构和工作人员的影响。在考虑到塔吊与其他结构物可能出现碰撞的情况下，一些研究人员建立了3D模型能够更好地体现建筑物和周围环境的三维信息，再结合上述传感器的应用对所吊装的物体进行实时定位，减少碰撞事故的发生。

目前已有的塔吊监测系统都只考虑自身的安全状态以及与周围结构物的碰撞情况，并没有把工作人员考虑在内。在施工现场，人员的安全问题永远是排在第一位的。因此需要对吊装过程中工人与吊钩之间的距离进行检测，要时刻保证其距离处于安全范围之内。目前常见的塔吊监测系统在吊钩正上方的吊臂位置往往会安装一个摄像头用来帮助塔吊司机增加吊钩下方的视野，及时做出规避动作。但是无法判断工人与吊钩之间的实际距离，无法定量地对吊装安全距离进行检测，然而该距离对吊装安全又是至关重要的。所以根据已有的监控设备，通过识别算法实现吊装安全距离的检测是很有意义的。

发明内容

鉴于已有技术存在的缺陷，本发明的目的是要提供一种基于深度学习的吊装安全距离检测方法，其根据现有的吊装安全监测系统中的摄像头，获取吊钩周围的图像，利用深度学习算法对图像中的工人和吊钩进行识别定位，根据检测结果中的定位信息得到工人与吊钩之间的像素距离，然后通过换算方法得到工人与吊钩垂直投影点之间的实际距离。从而达到吊装安全距离监测的目的

为了实现上述目的，本发明的技术方案：

一种基于深度学习的吊装安全距离检测方法，其特征在于，包括如下步骤：

步骤1、利用塔吊上已有的监测系统，获取吊钩正上方吊臂位置上的摄像头内部的图像；

步骤2、针对获取图像中的工人和吊钩进行标记、制作成数据集。数据集中80％用作训练集，20％用作测试集；

步骤3、利用深度学习算法对数据集进行训练；

步骤4、利用训练好的检测模型对图像中的工人和吊钩进行识别和定位，同时显示识别框的左上角和右下角两点坐标；

步骤5、根据检测结果中的定位信息计算出图像中吊钩的像素长度、吊钩的中心点坐标、工人的中心点坐标。进而得到吊钩和工人之间的像素距离；

步骤6、根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将工人与吊钩的像素距离换算成工人与吊钩垂直投影点的实际距离，进而实现对吊装安全距离的监测。

进一步的，步骤1中的摄像头垂直向下监控吊钩的状态，所拍摄图像可以查看吊钩周围的工人情况。

进一步的，步骤2中的数据集包含两类，一类是工人，另一类是吊钩。

进一步的，步骤6中换算是指：

由检测结果中的定位信息可知吊钩的像素长度、吊钩与工人之间的像素距离。此外吊钩的高度和摄像头的高度可由塔吊自身的监控系统得到。吊钩的真实长度可以现场测得。

对距离摄像头不同距离处的像素长度与实际长度的比值关系换算，对应的公式为：

h₁×v₁＝h₂×v₂ (1)

其中h₁、h₂为不同时刻物体与摄像头之间的距离，v₁和v₂分别是物体与摄像头距离为h₁和h₂时的图片中物体的像素长度与真实长度的比值；

其次，根据上式求解工人所处平面的像素长度与实际长度的比值，对应的公式为：

式中，h是摄像头距离地面的高度，h_d是吊钩距离地面的高度，L₁是吊钩在图像中的像素长度，L是吊钩的实际长度，v是所求的工人所处平面的像素长度与实际长度的比值；

然后，通过下列公式计算工人与吊钩垂直投影点的水平距离：

式中S为工人与吊钩垂直投影点的水平距离，S₁为工人与吊钩的像素距离，v是工人所处平面的像素长度与实际长度的比值。

与现有技术相比，本发明的有益效果：

本发明通过深度学习算法Faster R-CNN对图像中工人和吊钩进行识别定位，根据定位信息得到工人和吊钩之间的像素距离以及吊钩的像素长度，塔吊已有的监测系统可知吊钩的高度，摄像头的高度以及吊钩的实际长度，然后根据换算方法得到工人与吊钩之间的实际距离；本发明是一种快捷方便且相对准确的吊装安全距离检测方法，其有效解决了图像中工人与吊钩识别定位的困难以及工人与吊钩之间的距离检测问题。

附图说明

图1为本发明所述检测方法对应的步骤流程图；

图2为本发明所述实例—塔吊吊装安全距离检测示意图；

图3为本发明所述实例—实验人员分别处于3m尺子两端的图像识别结果；

图4为本发明所述实例—实验人员分别处于4m尺子两端的图像识别结果；

图5为本发明所述实例—实验人员分别处于5m尺子两端的图像识别结果；

图中：1塔吊；2摄像头；3吊钩；4工人；5吊钩的识别结果；6工人的识别结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示的一种基于深度学习的吊装安全距离检测方法，其特征在于，包括如下步骤：

步骤1、利用塔吊上已有的监测系统，获取吊钩正上方吊臂位置上的摄像头内部的图像；

步骤2、针对获取图像中的工人和吊钩进行标记、制作成数据集。数据集中80％用作训练集，20％用作测试集；

步骤3、利用深度学习算法对数据集进行训练；

步骤4、利用训练好的检测模型对图像中的工人和吊钩进行识别和定位，同时显示识别框的左上角和右下角两点坐标；

步骤5、根据检测结果中的定位信息计算出图像中吊钩的像素长度、吊钩的中心点坐标、工人的中心点坐标。进而得到吊钩和工人之间的像素距离；

步骤6、根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将工人与吊钩的像素距离换算成工人与吊钩垂直投影点的实际距离，进而实现对吊装安全距离的监测。

进一步的，步骤1中的摄像头垂直向下监控吊钩的状态，所拍摄图像可以查看吊钩周围的工人情况。

进一步的，步骤2中的数据集包含两类，一类是工人，另一类是吊钩。

进一步的，步骤6中换算是指：

由检测结果中的定位信息可知吊钩的像素长度、吊钩与工人之间的像素距离。此外吊钩的高度和摄像头的高度可由塔吊自身的监控系统得到。吊钩的真实长度可以现场测得。

对距离摄像头不同距离处的像素长度与实际长度的比值关系换算，对应的公式为：

h₁×v₁＝h₂×v₂ (4)

其中h₁、h₂为不同时刻物体与摄像头之间的距离，v₁和v₂分别是物体与摄像头距离为h₁和h₂时的图片中物体的像素长度与真实长度的比值；

其次，根据上式求解工人所处平面的像素长度与实际长度的比值，对应的公式为：

式中，h是摄像头距离地面的高度，h_d是吊钩距离地面的高度，L₁是吊钩在图像中的像素长度，L是吊钩的实际长度，v是所求的工人所处平面的像素长度与实际长度的比值；

然后，通过下列公式计算工人与吊钩垂直投影点的水平距离：

式中S为工人与吊钩垂直投影点的水平距离，S₁为工人与吊钩的像素距离，v是工人所处平面的像素长度与实际长度的比值。

下面以具体实验案例对本发明所述方案进行详细说明：

具体的：将本发明所述方案应用于塔吊吊装安全距离检测试验中，所述检测试验包括：施工现场中的塔吊一部，塔吊吊钩正上方的吊臂上安装的监控摄像头，其结构示意图见附图2；

在实验中两个实验人员分别站在一个5m长尺子的两端，然后利用吊臂上的摄像头采集图片。最后利用深度学习的训练模型对实验中采集的图片进行识别定位。根据定位信息和换算方法，计算两个实验人员之间实际距离并与真实距离对比测量误差。

实验思路：首先采集数据集，并对数据集进行标记；利用深度学习算法对数据集进行训练得到检测模型。两个实验人员处于摄像头镜头中分别站在尺子的两端，并对图像进行采集。利用检测模型对图像中的实验人员和吊钩进行识别定位，根据定位信息和换算方法实现两个实验人员之间距离的检测。

其具体包括如下步骤：

步骤1、利用塔吊上已有的监测系统，获取吊钩正上方吊臂位置上的摄像头内部的图像，共采集203张图片；

步骤2、针对获取图像中的工人和吊钩进行标记、制作成数据集。数据集中80％用作训练集，20％用作测试集；

步骤3、利用深度学习算法对数据集进行训练得到检测模型，模型的平均识别精度可达0.9756；

步骤4、两个试验人员分别站在5m尺子的两端，并用摄像头采集图片。利用训练好的检测模型对图像中的实验人员和吊钩进行识别定位。

步骤5、根据定位信息计算出图像中吊钩的像素长度、吊钩的中心点坐标、实验人员的中心点坐标。进而得到吊钩和实验人员之间的像素距离以及两个实验人员之间的像素距离；由于吊钩与实验人员之间的距离没法进行准确地对比。因此采用两个实验人员之间的距离进行对比，以此评估该检测方法的精度。

步骤6、根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将两个实验人员之间的像素距离换算成实际距离。本实例分别检测了当两个实验人员分别处于3m、4m和5m尺子两端时的距离，检测结果表明安全距离的平均测量误差为3.79％。因此该方法能够高精度地实现对吊装安全距离的监测。

综上所述，本发明提供了一种基于深度学习的吊装安全距离检测方法，避免图像中工人和吊钩的识别定位困难，并利用换算方法减少了对外界标定物的需求，提高安全距离的检测精度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的吊装安全距离检测方法，其特征在于，包括如下步骤：

步骤1、利用塔吊上已有的监控设备，获取吊臂位置的摄像头正下方吊钩周围的图像；

步骤2、针对获取图像中的工人和吊钩进行标记、制作成数据集；数据集中80％用作训练集，20％用作测试集；数据集包含两类标签，一类是工人，另一类是吊钩；

步骤3、利用深度学习算法对数据集进行训练；

步骤4、利用训练好的检测模型对图像中的工人和吊钩进行识别和定位，同时显示识别框的左上角和右下角两点坐标；

步骤5、根据检测结果中的定位信息计算出图像中吊钩的像素长度、吊钩的中心点坐标、工人的中心点坐标；进而得到吊钩和工人之间的像素距离；

步骤6、根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将工人与吊钩的像素距离换算成工人与吊钩垂直投影点的实际距离，进而实现对吊装安全距离的检测。

2.根据权利要求1所述的吊装安全距离检测方法，其特征在于，

步骤3中的深度学习算法主要以卷积神经网络为基础，在深度网络框架Faster R-CNN中对数据集进行训练评估，并在检测图像时显示定位信息。

3.根据权利要求1所述的吊装安全距离检测方法，其特征在于，步骤6中换算是指：由检测结果中的定位信息可知吊钩的像素长度、吊钩与工人之间的像素距离；此外吊钩的高度和摄像头的高度可由塔吊自身的监控系统得到；吊钩的真实长度现场测得；

对距离摄像头不同距离处的像素长度与实际长度的比值关系换算，对应的公式为：

h₁×v₁＝h₂×v₂

其中h₁、h₂为不同时刻物体与摄像头之间的距离，v₁和v₂分别是物体与摄像头距离为h₁和h₂时的图片中物体的像素长度与真实长度的比值；

其次，根据上式求解工人所处平面的像素长度与实际长度的比值，对应的公式为：式中，h是摄像头距离地面的高度，h_d是吊钩距离地面的高度，L₁是吊钩在图像中的像素长度，L是吊钩的实际长度，v是所求的工人所处平面的像素长度与实际长度的比值；

然后，通过下列公式计算工人与吊钩垂直投影点的水平距离：

式中S为工人与吊钩垂直投影点的水平距离，S₁为工人与吊钩的像素距离，v是工人所处平面的像素长度与实际长度的比值。