CN114003058A - 一种安全帽佩戴智慧巡检系统及方法 - Google Patents

Abstract

本发明提供了一种安全帽佩戴智慧巡检系统及方法,包括：无人机本体和地面遥控端；无人机本体上搭载有机载计算机和云台相机；机载计算机配置有深度神经网络识别检测模块，深度神经网络识别检测模块用于对云台相机获取的所述施工现场人员图片进行识别，并在图片中将佩戴安全帽和未带安全帽的人员进行区别标注；所述机载平台机载计算机还配置有处理模块，用于获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，并以及下发所述位置信息和压缩后的图片。本发明能够快速实时地在前端完成安全帽佩戴检测，检测结果通过窄带通信链路实时下发至地面遥控端，实现了智能化的实时巡检响应，极大的提高了巡检效率。

Description

一种安全帽佩戴智慧巡检系统及方法

技术领域

本发明涉及施工现场智能巡检技术领域，具体而言，涉及一种安全帽佩戴智慧巡检系统及方法。

背景技术

随着经济的发展，在建的大型建设工程越来越多，那么如何监督施工人员佩戴安全帽是一件很重要的事项，由于工地建设规模大、参与人员多、人员分散、施工情况多变，针对这些复杂情况，如何安全、准确、智能且实时的完成大型工地或施工现场人员的安全帽佩戴监测就显得尤为重要，无人机巡检是近年来兴起的一种高效、新颖的巡检方式，它在极大程度上节省了传统人力巡检的成本消耗，同时也可以极快的对大面积区域（包括一些复杂困难的场景：水面、工地、山地等）完成安全监测。

目前，常规的无人机巡检采用的是人工操控的巡检方式，飞手在手动控制无人机或者自动飞行时都需要人为筛选存在安全隐患状况的图片，在确定好后，手动拍摄保存到手机后，再借助通信软件上传给监测管理人员筛选，然后再执行安全响应的一些操作，整个过程相当耗费人力和物力，同时实时性也较差，执行过程不具备智慧管理，无法在较短时间做出安全响应操作。

另一种较为智能的无人机巡检是在上述系统上额外引入地面服务器的形式，即飞手通过APP大量采集来自无人机拍摄的图片，遥控端APP通过socket通信等手段将其转发给地面服务器，地面服务器引入深度学习下的识别检测算法筛选标注出目标，同时可以上传云端服务器给远程安全工作人员即时做出执法响应。这种方法智能程度得到一定提升，同时也可以在短时间做出响应。这种方式的缺点在于需要采集大量的图片送给地面服务器进行识别检测来达到智能化的程度，这样对APP到地面服务器的传输要求就较高，所以整体效率就不高。

由以上可以看出，现有的无人机巡检方式仍存在智能化程度不高，实时性传输性较差，无法在节省人力和物力的情况下实现快速响应。

发明内容

鉴于此，本发明提出了一种安全帽佩戴智慧巡检系统，旨在解决现有无人机巡检时，实时性传输性较差，无法在节省人力和物力的情况下实现快速响应的问题。

本发明提出了一种安全帽佩戴智慧巡检系统，包括：

无人机本体，其上搭载有机载计算机和云台相机 ；其中，

所述云台相机用于实时获取施工现场人员图片；

所述机载计算机配置有深度神经网络识别检测模块，所述深度神经网络识别检测模块用于对所述云台相机获取的所述施工现场人员图片进行识别，并在所述图片中将佩戴安全帽和未带安全帽的人员进行区别标注；

所述机载计算机还配置有处理模块，用于获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，以及下发所述位置信息和压缩后的图片；

地面遥控端，与所述机载计算机通过窄带通信链路通信，用于接收所述机载计算机下发的位置信息和压缩后的图片。

进一步地，上述安全帽佩戴智慧巡检系统中，所述处理模块还用于将其压缩后的图片转换为一维数据序列，并存储到发送缓冲池内，以及使用窗口大小为100字节的滑动窗口依次下发所述发送缓冲池中的数据到窄带通信链路。

进一步地，上述安全帽佩戴智慧巡检系统中，所述深度神经网络识别检测模块运行的目标检测算法为Yolo v3。

进一步地，上述安全帽佩戴智慧巡检系统中，所述深度神经网络识别检测模块选择佩戴安全帽和未佩戴安全帽的人员分别作为目标对象，设置对应的训练集，通过训练集对目标检测模型Yolo v3进行深度学习训练，将训练好的模型作为无人机的识别检测算法，并采用训练好的目标检测模型Yolo v3处理获取的图片，以识别出佩戴安全帽和未佩戴安全帽的人员图像，并分别采用不同的颜色在图片中进行标注。

进一步地，上述安全帽佩戴智慧巡检系统中，所述地面遥控端包括：一体化的遥控器和地面巡检协同装置；其中，所述遥控器与所述机载计算机通过窄带通信链路通信，用于接收所述无人机下发的位置信息和压缩后的图片；所述地面巡检协同装置用于获取所述遥控器接收的所述位置信息和所述压缩后的图片；所述地面巡检协同装置还用于对所述压缩后的图片进行解压缩。

进一步地，上述安全帽佩戴智慧巡检系统中，所述地面巡检协同装置还用于通过所述遥控器向所述无人机本体发送飞行和检测指令。

进一步地，上述安全帽佩戴智慧巡检系统中，所述地面巡检协同装置还用于接收一维数据序列，并将该一维数据序列存储到接收缓冲池内，并使用窗口大小为100字节的滑动窗口依次从所述接收缓冲池中获取所述一维数据序列，并处理压缩后的图片。

进一步地，上述安全帽佩戴智慧巡检系统中，还包括：云端监测平台；其中，所述云端监测平台与所述地面巡检协同装置通信，用以接收、存储并定位显示所述地面巡检协同装置传输的解压缩图片和位置信息，以作出预警。

进一步地，上述安全帽佩戴智慧巡检系统中，所述地面巡检协同装置通过4G或5G网络将解压缩后的图片和位置信息发送至云端监测平台。

进一步地，上述安全帽佩戴智慧巡检系统中，所述机载计算机与所述地面巡检协同装置通信，并根据所述地面巡检协同装置下发的指令，控制所述无人机本体飞行至目标施工现场。

本发明中，无人机本体上直接搭载机载计算机，其内置深度神经网络识别检测模块，能够快速实时地在前端完成安全帽佩戴检测，检测结果通过窄带通信链路实时下发至地面遥控端，有利于后台监控人员及时获取施工现场的具体位置以及具体人员的安全违规信息，进而能够对出现的安全隐患在极短时间内采取安全响应措施，相对于现有技术中的无人机巡检方案而言，实现了智能化的实时巡检响应，极大程度的提高了巡检效率。

另一方面，本发明还提出了一种安全帽佩戴智慧巡检方法，包括：

无人机本体上搭载的云台相机实时获取施工现场人员图片；

无人机本体上搭载的机载计算机中内置的深度神经网络识别检测模块对从所述云台相机获取的所述施工现场人员图片进行识别，并在所述图片中将佩戴安全帽和未带安全帽的人员进行区别标注；

无人机本体上搭载的机载计算机配置的处理模块获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，并下发所述位置信息和压缩后的图片；

地面遥控端接收所述机载计算机下发的位置信息和压缩后的图片。

本发明提供的安全帽佩戴智慧巡检方法，通过机载计算机将云台相机获取的施工现场人员图片进行识别并对佩戴安全帽和未带安全帽的人员进行区别标注后进行压缩，以地面遥控端作为中转桥梁，将压缩图片进行处理后，连通无人机本体的位置信息发送到云端监测平台，以使得云端监测平台的监控人员可以及时作出安全响应措施。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的安全帽佩戴智慧巡检系统的结构框图；

图2为本发明实施例提供的安全帽佩戴智慧巡检系统中窄带传输的数据链路图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

参阅图1，本发明实施例的安全帽佩戴智慧巡检系统包括：无人机本体100和地面遥控端200；无人机本体上搭载有机载计算机102和云台相机101；其中，云台相机101用于实时获取施工现场人员图片；所述机载计算机配置有深度神经网络识别检测模块，所述深度神经网络识别检测模块用于对所述云台相机101获取的所述施工现场人员图片进行识别，并在所述图片中将佩戴安全帽和未带安全帽的人员进行区别标注；所述机载计算机还配置有处理模块，用于获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，以及下发所述位置信息和压缩后的图片；地面遥控端与所述机载计算机通过窄带通信链路通信，用于接收所述机载计算机下发的位置信息和压缩后的图片。

具体而言，无人机本体上搭载有云台相机101和机载计算机102，机载计算机102作为巡检的主控模块，机载计算机102和云台相机101通过串口与无人机本体相连 ，且二者均通过无人机本体的外部供电口供电。机载计算机102上设置有控制模块，用以控制云台角度，进而可以实现对云台相机101的角度控制。

机载计算机102上配制有深度神经网络识别检测模块，能从云台相机101拍摄的施工现场人员图片中自动识别出佩戴安全帽的人员和未佩戴安全帽的人员，并标注出未佩戴安全帽的人员。本实施例中，深度神经网络识别检测模块运行的目标检测算法为Yolo v3。

进一步地，所述深度神经网络识别检测模块选择佩戴安全帽和未佩戴安全帽的人员分别作为目标对象，设置对应的训练集，通过训练集对目标检测模型Yolo v3进行深度学习训练，将训练好的模型作为无人机的识别检测算法，并采用训练好的目标检测模型Yolov3处理获取的图片，以识别出佩戴安全帽和未佩戴安全帽的人员图像，并分别采用不同的颜色在图片中进行标注。例如用蓝色标注佩戴安全帽的人员，用红色标注未佩戴安全帽的人员。

具体实施时，使用Yolo v3目标检测网络检测出人体在图中的位置，并截取检测得到的人体目标的头部区域，针对无人机拍摄图像中目标头部区域分辨率较低的问题，采用了基于深度学习的低分辨率的安全帽状态识别算法，该算法构建了一个基于 SRGAN 和ResNet50联合损失的超分辨率重建网络对低分辨率的头部图像进行像素恢复，该网络在恢复分辨率的同时可以让图像更好的被后续分类网络识别；利用迁移学习的方法训练了基于SRGAN 和ResNet50的安全帽佩戴分类网络来识别是否佩戴安全帽，最终根据坐标映射关系在原图中对佩戴安全帽和未佩戴安全帽的人员图像进行标注。基于该算法构建的深度神经网络识别检测模块，能够适用于复杂施工环境下工人安全帽佩戴检测的工作，为施工现场提供了一种新的管理机制，预防安全事故的发生，并提高施工人员的安全意识。

机载计算机102还配置有处理模块，该处理模块与深度神经网络识别检测模块通信，以获取标注处理后的图片，同时，该处理模块还与无人人本体上的GPS定位模块通信，以获取无人机本体当前所在的位置信息。

所述地面遥控端包括：一体化的遥控器201和地面巡检协同装置202；其中，所述遥控器与所述机载计算机102通过窄带通信链路通信，用于接收所述无人机下发的位置信息和压缩后的图片；所述地面巡检协同装置用于获取所述遥控器接收的所述位置信息和所述压缩后的图片；所述地面巡检协同装置还用于对所述压缩后的图片进行解压缩。

具体而言，地面巡检协同装置可以为平板电脑，其可以通过数据线与遥控器相连，并通过所述遥控器向所述无人机本体发送飞行和检测指令。可以通过平板电脑上的APP预先规划好无人机本体的航迹。机载计算机102与所述地面巡检协同装置通信，并根据所述地面巡检协同装置下发的指令，控制所述无人机本体飞行至目标施工现场。无人机本体在目标施工现场驻留，根据拍摄指令，获取施工现场人员图片，并对获取的施工现场人员图片处理后，将图片下发至所述地面遥控端。

上述显然可以得出，本发明提供的安全帽佩戴智慧巡检系统中，无人机本体上直接搭载机载计算机102，其内置深度神经网络识别检测模块，能够快速实时地在前端完成安全帽佩戴检测，检测结果通过窄带通信链路实时下发至地面遥控端，有利于后台监控人员及时获取施工现场的具体位置以及具体人员的安全违规信息，进而能够对出现的安全隐患在极短时间内采取安全响应措施，相对于现有技术中的无人机巡检方案而言，实现了智能化的实时巡检响应，极大程度的提高了巡检效率。

参阅图2，由于无人机分配给机载计算机102和地面遥控端直接通信的带宽有限（100 bytes），为了在窄带通信链路上有效传输图片，上述机载计算机102中的处理模块还用于将其压缩后的图片转换为一维数据序列，并存储到发送缓冲池内，以及使用窗口大小为100字节的滑动窗口依次下发所述发送缓冲池中的数据到窄带通信链路。

相应的，地面巡检协同装置还用于通过遥控器接收一维数据序列，并存储到接收缓冲池内，以及使用窗口大小为100字节的滑动窗口依次从所述接收缓冲池中获取的一维数据序列，并处理压缩后的图片。

具体而言，由于发送端图片数据传输完成后，需要再发送一个结束标志位表示该图片传输结束，为了避免影响后续图片的传输，接收缓存池比发送缓存池要多一个结束标志位。

具体实施时，首先在机载计算机102中对识别好的图片进行Jpeg压缩得到一维数据序列，由于压缩后的数据序列仍然大于通信带宽，需要将数据序列先存入发送端缓存池中，然后使用窗口大小为100字节的滑动窗口依次发送缓存池中的数据，地面巡检协同装置也开辟一个缓存池接收发送过来的数据，当发送端缓存池中的所有数据发送完成后，再发送一个结束标志位表示该图片发送完毕。地面巡检协同装置端检测到结束标志位后，提取缓存池中的数据，删除标志位并进行Jpeg解压缩得到恢复后的识别图片，最后将接收端缓存池清空。

可以看出，本实施例中的安全帽佩戴智慧巡检系统的通信链路直接使用遥控器与无人机本体之间的窄带通信链路，只要无人机未与遥控器失联，就可持续进行识别结果回传。经测试，本发明实施例中的窄带通信链路每秒能传输5KB左右的数据，而经过压缩后的图片大小也在几KB左右，因此可以实现实时的将压缩处理后的图片（几KB大小）传输至地面遥控端。本发明实施例中采用的通信链路虽然带宽（100 bytes）较窄，但与机载计算机102直接连接4G或5G网络进行图传的系统相比，避免了无人机本身高空的飞行环境对4G或5G信号的稳定性影响。因此，从图传链路上看，本系统具有较强的稳定性。

上述各实施例中，还包括：云端监测平台300；其中，所述云端监测平台300与所述地面巡检协同装置通信，用以接收、存储并定位显示所述地面巡检协同装置传输的压缩图片和位置信息，以作出预警。

具体而言，云端监测平台300绑定域名即可直接访问，是一个远程传输的子系统，对地面巡检协同装置回传的图片及状态位置信息进行保存。

地面巡检协同装置通过4G或5G网络将解压缩后的图片和位置信息发送至云端监测平台300。

上述各实施例中，以地面遥控端作为中转桥梁，将接收的压缩图片进行解压缩以完成恢复识别图片、并保存识别图片到地面巡检协同装置上、同时接收无人机自带的定位模块采集的无人机本体的位置信息（经纬度、高度），并将图片和位置信息发送到云端监测平台300，以使得云端监测平台300的监控人员可以及时作出安全响应措施。由于无人机本体上具有定位模块，地面巡检协同装置通过遥控器向无人机本体发送相应的指令，即可获取无人机的位置信息，云端监测平台300根据地面巡检协同装置发送的位置信息即可在自身内嵌的地图上定位出目标施工现场的具体位置；云端监测平台300中设置有存储模块，用以对每次获取的图片和位置信息进行存储，以便于监控人员查看历史数据，对不同情况的安全隐患及时采取相应的安全措施。

上述可以得出，上述实施例中，机载计算机102中内置的深度神经网络识别检测模块，能够快速实时地在前端完成安全帽佩戴检测，并将检测结果经地面遥控端中转至云端监测平台，使得后端监控管理人员可通过云端监测平台实时的获取施工现场的具体位置以及具体人员的安全违规信息，进而能够对出现的安全隐患在极短时间内采取安全响应措施，极大程度的提高了巡检效率。

本发明提供的安全帽佩戴智慧巡检系统的工作流程如下：

步骤1：检查无人机机翼、天线、电池、机载计算机安装、遥控的信号强度等，确认具备飞行条件后，打开地面巡检协同装置上的APP，查看云台相机和定位情况，根据实际情况选取手动飞行还是航线飞行，后台监控人员登录云端监测平台；

步骤2：无人机起飞后，可通过APP端向机载计算机发送开始检测信号；

步骤3：机载计算机收到检测信号后，获取相机视频流，通过内置目标识别检测算法智能分析相机视频流，根据实际情况自动调节云台相机的角度，存在未佩戴安全帽的情况便得到识别结果，然后进行压缩后通过遥控器发送给APP端；

步骤4：APP端对机载计算机返回的结果解压缩，备份储存在地面巡检协同装置上，同时发送到云端监测平台；

步骤5：APP端在收到识别结果后，工作人员点击获取状态，APP端向无人机发送指令，并获取与识别结果对应的无人机经纬度、高度、距离和剩余飞行时间，点击状态信息发送云平台监控端；该步骤中，无人机本身具有定位模块，可以实时提供GPS位置信息，地面巡检协同装置获取位置信息，只需按照规范通过遥控器发送控制指令给无人机本体，无人机本体就会下发相关的位置信息。

步骤6：云端监测平台在收到识别结果和对应状态信息后，刷新显示并根据收到的经纬度在地图中定位出安全隐患位置，监控人员及时做出安全响应措施，由于安全隐患情况可能不唯一，所以云平台对每次收到的结果进行储存，可方便监控人员随时查看。

综上，本发明提供的安全帽佩戴智慧巡检系统中，无人机上直接搭载机载计算机，其内置深度神经网络识别检测模块，能够快速实时地在前端完成安全帽佩戴检测，检测结果经地面遥控端中转至云端监测平台，使得后端监控管理人员可通过云端监测平台实时的获取施工现场的具体位置以及具体人员的安全违规信息，进而能够对出现的安全隐患在极短时间内采取安全响应措施，相对于现有技术中的无人机巡检方案而言，实现了智能化的实时巡检响应；且通过机载计算机即可获取到结果，极大程度的提高了巡检效率；

尤其是本发明直接使用遥控器与无人机之间的通信链路，只要无人机未与遥控器失联，就可持续进行识别结果的回传，通信链路虽然带宽（100 bytes）较窄，但与机载计算机直接连接4G或5G网络进行图传的系统相比，避免了无人机本身高空的飞行环境对4G或5G信号的稳定性的影响，具有较好的稳定性；

此外，由于遥控器和地面巡检协同装置是一体化设备，节约了硬件成本和人员成本，进而降低了巡检成本，而且不需要在APP端大量接收图片来保证巡检准确率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种安全帽佩戴智慧巡检系统，其特征在于，包括：

无人机本体，其上搭载有机载计算机和云台相机；其中，

所述云台相机用于实时获取施工现场人员图片；

所述机载计算机配置有深度神经网络识别检测模块，所述深度神经网络识别检测模块用于对所述云台相机获取的所述施工现场人员图片进行识别，并在所述图片中将佩戴安全帽和未带安全帽的人员进行区别标注；

所述机载计算机还配置有处理模块，用于获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，以及下发所述位置信息和压缩后的图片；

地面遥控端，与所述机载计算机通过窄带通信链路通信，用于接收所述机载计算机下发的位置信息和压缩后的图片。

2.根据权利要求1所述的安全帽佩戴智慧巡检系统，其特征在于，所述处理模块还用于将其压缩后的图片转换为一维数据序列，并存储到发送缓冲池内，以及使用窗口大小为100字节的滑动窗口依次下发所述发送缓冲池中的数据到窄带通信链路。

3.根据权利要求1所述的安全帽佩戴智慧巡检系统，其特征在于，所述深度神经网络识别检测模块运行的目标检测算法为Yolo v3。

4.根据权利要求1或3所述的安全帽佩戴智慧巡检系统，其特征在于，所述深度神经网络识别检测模块选择佩戴安全帽和未佩戴安全帽的人员分别作为目标对象，设置对应的训练集，通过训练集对目标检测模型Yolo v3进行深度学习训练，将训练好的模型作为无人机的识别检测算法，并采用训练好的目标检测模型Yolo v3处理获取的图片，以识别出佩戴安全帽和未佩戴安全帽的人员图像，并分别采用不同的颜色在图片中进行标注。

5.根据权利要求1所述的安全帽佩戴智慧巡检系统，其特征在于，所述地面遥控端包括：一体化的遥控器和地面巡检协同装置；其中，

所述遥控器与所述机载计算机通过窄带通信链路通信，用于接收所述无人机下发的位置信息和压缩后的图片；

所述地面巡检协同装置用于获取所述遥控器接收的所述位置信息和所述压缩后的图片；

所述地面巡检协同装置还用于对所述压缩后的图片进行解压缩。

6.根据权利要求5所述的安全帽佩戴智慧巡检系统，其特征在于，

所述地面巡检协同装置还用于通过所述遥控器向所述无人机本体发送飞行和检测指令。

7.根据权利要求5所述的安全帽佩戴智慧巡检系统，其特征在于，所述地面巡检协同装置还用于接收一维数据序列，并将该一维数据序列存储到接收缓冲池内，并使用窗口大小为100字节的滑动窗口依次从所述接收缓冲池中获取所述一维数据序列，并处理压缩后的图片。

8.根据权利要求5所述的安全帽佩戴智慧巡检系统，其特征在于，还包括：云端监测平台；其中，

所述云端监测平台与所述地面巡检协同装置通信，用以接收、存储并定位显示所述地面巡检协同装置传输的解压缩图片和位置信息，以作出预警。

9.根据权利要求8所述的安全帽佩戴智慧巡检系统，其特征在于，所述地面巡检协同装置通过4G或5G网络将解压缩后的图片和位置信息发送至云端监测平台。

10.根据权利要求1所述的安全帽佩戴智慧巡检系统，其特征在于，所述机载计算机与所述地面巡检协同装置通信，并根据所述地面巡检协同装置下发的指令，控制所述无人机本体飞行至目标施工现场。

11.一种安全帽佩戴智慧巡检方法，其特征在于，包括：

无人机本体上搭载的云台相机实时获取施工现场人员图片；

无人机本体上搭载的机载计算机中内置的深度神经网络识别检测模块对从所述云台相机获取的所述施工现场人员图片进行识别，并在所述图片中将佩戴安全帽和未带安全帽的人员进行区别标注；

无人机本体上搭载的机载计算机配置的处理模块获取标注处理后的所述图片，压缩所述标注处理后的图片，并获取当前无人机本体所在的位置信息，并下发所述位置信息和压缩后的图片；

地面遥控端接收所述机载计算机下发的位置信息和压缩后的图片。

Images