CN116012787A - 一种基于高空气球与无人机蜂群的安全监测方法及系统 - Google Patents

Abstract

本发明涉及无人机监测技术领域，具体涉及一种基于高空气球与无人机蜂群的安全监测方法及系统，方法如下步骤：将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；无人机蜂群基于识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。本发明基于高空气球，并融合卫星技术和无人机蜂群技术，可实现复杂环境背景下全场景、精准、无死角安全监测，准确识别并跟踪目标，使监测结果不受外部环境影响，保证监测结果的高准确度。

Description

一种基于高空气球与无人机蜂群的安全监测方法及系统

技术领域

本发明涉及无人机监测技术领域，具体而言，涉及一种基于高空气球与无人机蜂群的安全监测方法及系统。

背景技术

建筑工地安全巡查是建筑工地安全管理的基本工作，巡查方式可分为人工巡查、场内摄像机巡查、有人直升机巡查以及无人机巡查。尽管人工巡查是最常用的巡查方式，但一直存在着效率较慢的问题，场内摄像机巡查大多基于单一相机固定位置成像，受天气、人数、光照强度、拍摄角度和距离等因素的影响，存在检测准确度低、漏检率大、错检率高等问题；机巡方式正被广泛研究和应用，尤其是无人机巡查的安全高效特性，在建筑工地中具有越来越大的应用价值。

目前针对建筑工地无人机巡查的任务规划大多采用人工手动规划方式，此种方式虽然确保了无人机的飞行安全，但是效率较低，无法满足大规模无人机巡查的需要，同时手动规划方式很难在大区域内实现无死角的最优规划，无法实现全场景、精准、无死角安全监测，很难满足建筑工地安全管理的要求。

发明内容

本发明的目的在于提供一种基于高空气球与无人机蜂群的安全监测方法及系统，以解决背景技术中所指出的问题。

本发明的实施例通过以下技术方案实现：一种基于高空气球与无人机蜂群的安全监测方法，包括如下步骤：

将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；

利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；

无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。

根据一种优选实施方式，控制器以监控区域中心点为基准点，通过高空气球设置的遥感载荷反馈的视觉信息，实时调整连接高空气球的牵引绳，将高空气球布置在监控区域中心点正上方。

根据一种优选实施方式，所述遥感载荷为带广角镜头的工业相机。

根据一种优选实施方式，所述利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位包括：

实时获取监控区域俯视图，利用搭建的目标识别算法进行多个目标识别，获取监控区域中的目标区域以及目标物体；

基于所述目标区域以及目标物体坐标进行监控区域电子地图重建。

根据一种优选实施方式，所述单体目标判定包括：

基于所述重建后的电子地图，监控到监测区域运动物体或人员的位置与所述标区域或目标物体之间的距离，若所述运动物体或人员的位置与所述标区域或目标物体之间的距离小于预警阈值，则无人机蜂群执行单体目标跟踪。

根据一种优选实施方式，无人机蜂群基于运动物体或人员的数量确定无人机数量，执行一对一的单体目标跟踪。

根据一种优选实施方式，方法还包括：所述无人机蜂群在执行单体目标跟踪过程中，采用高分辨率面阵相机实时成像。

根据一种优选实施方式，所述无人机蜂群实时成像通过无线局域网反馈至后端计算单元，通过后端计算单元进行安全检测。

根据一种优选实施方式，所述无人机蜂群和后端计算单元在数据传输过程中，每架无人机均单独使用独立信道。

本发明还提供一种基于高空气球与无人机蜂群的安全监测系统，应用到如上述所述的方法，包括：

控制模块，用于将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；

整体目标处理模块，用于利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；

单体目标处理模块，用于无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。

本发明实施例的技术方案至少具有如下优点和有益效果：本发明所提供的一种基于高空气球与无人机蜂群的安全监测方法及系统，基于高空气球，并融合卫星技术和无人机蜂群技术，实现复杂环境背景下全场景、精准、无死角安全监测，准确识别并跟踪目标，使监测结果不受外部环境影响，保证监测结果的高准确度。

附图说明

图1为本发明实施例1提供的一种基于高空气球与无人机蜂群的安全监测方法的流程示意图；

图2为本发明实施例1提供的一种基于高空气球与无人机蜂群的安全监测系统的整体示意图；

图3为本发明实施例1提供的高空气球控制反馈图；

图4为本发明实施例1提供的高空气球控制流程图；

图5为本发明实施例1提供的无人机蜂群技术控制流程图；

图6为本发明实施例1提供的监控区域俯视图坐标系示意；

图7为本发明实施例1提供的背景融合原理示意；

图8为本发明实施例1提供的改进YOLOV5网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

实施例1

参考图1所示，图1为本发明实施例提供的一种基于高空气球与无人机蜂群的安全监测方法的流程示意图。

本发明实施例所提供的一种基于高空气球与无人机蜂群的安全监测方法，包括：

1)、运用高空气球和卫星技术，实现对监控区域所需检测目标的定位；具体步骤如下：

1-1)、参考图2所示，将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方。参考图3和图4所示，在本实施例的一种实施方式中，控制器以监控区域中心点为基准点，通过设置的同一遥感载荷实时采集基准点标定板的视觉信息，依据标定板视觉信息所转换得到的相应位置信息，从而调节电机，在本实施例的一种实施方式中，当高空气球偏离基准点时，同一控制器基于三个不同RS485串口，通过ModBus通信协议实现对三个电机的串行通信，同时对连接牵引绳的电机1、电机2、电机3发送调整信号，电机在接收到调整信号后调整连接高空气球的牵引绳，将高空气球布置在监控区域中心点正上方，以使得高空气球能够采集到监测区域的全场景，表达式如下：

ΔL＝G(Δx)

ΔH＝F(Δd)

上式中ΔL表示高空气球所需调整的位移量，Δx表示高空气球基于基准点偏移量，G表示基于基准点偏移量与所需调整位置间关系；ΔH表示高空气球所需调整高度，Δd表示遥感载荷所采集标定板尺寸变化量，F表示所采集标定板尺寸变化量与所需调整高度间关系。

1-2)、利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群。在本实施例的一种实施方式中，所述遥感载荷为带广角镜头的工业相机。所述利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位包括：

高空气球通过携带的工业相机实时获取监控区域俯视图并更新，利用搭建并训练完成的改进YOLOV5的目标识别算法进行多个目标识别，获取监控区域中的目标区域以及目标物体，原理参见图8所示；

1-2-1)、对上述所提改进YOLOV5的目标识别算法，本发明搭建并训练改进YOLOV5网络，本实施例的所述改进YOLOV5网络存在分别检测大、中、小三种尺寸分支；如上所述本发明存在多个目标，且各目标间尺寸变化较大，因网络卷积层用于图像特征提取，故运用数据库对其进行改进。具体为：训练过程中所提取各目标特征向量储存于数据库，识别时经卷积层后，比较提取的图像特征向量与数据库提存储图像特征向量相似度，判定所属分支并进行后续运算，从而减小计算量提高识别精度与速度。

通过卫星技术，运用二维相机实时获取监控区域俯视图并采集图像中的目标区域、目标物体进行定位，记录坐标并反馈至控制系统，控制系统基于所述目标区域以及目标物体坐标进行监控区域电子地图重建。在本实施例的一种实施方式中，所述定位步骤具体如下：

1-2-2)、对上述所获取的监控区域俯视图建立坐标系，具体参见如图6所示，获取目标区域在图像中的中心坐标(x₁，y₁)-(x_n，y_n)。

1-2-3)、建立相机坐标系、图像坐标系与世界坐标系关系，由上述所得目标区域在图像中的中心坐标(x₁，y₁)-(x_n，y_n)，求得目标在现场的实际坐标，计算表达式如下：

上式中，u₀、v₀表示图像坐标系与相机坐标系对应关系，f_x、f_y表示像素点横向、纵向与相机CCD传感器内部元件对应关系，R、T表示相机外部参数由相机所在位置确定，其中，R表示旋转，T表示位移，X_W、Y_W表示目标在现场的实际坐标，u、v表示上述中心坐标(x₁，y₁)-(x_n，y_n)，Z_C表示尺度因子。

其中，针对已识别的目标区域、目标物体，本实施例采用背景融合技术，在电子地图中将其去掉。参考图7所示，在本实施例的一种实施方式中，所述采用背景融合技术，在电子地图中将已识别的目标区域、目标物体去掉，具体如下：对一个窗口区域中的像素计算平均值，然后将窗口中计算得到的平均值设置为锚点上的像素值，其中任意一点的像素值都是周围M个像素的平均值，以此使目标区域与背景融合，表达式如下：

上式中，M表示卷积核个数，f表示卷积核面积，s表示窗口区域面积，f(x，y)表示卷积运算前中心像素值，g(x，y)表示卷积运算后中心像素值；具体运算方式为：设M为9，如图7中矩形框所示，若进行背景融合，则计算方式为(1+2+1+1+2+2+5+7+6)/9＝3，对应矩形框内中心值变为右图中心值3，并如上述以此计算灰色矩形框数值。

2)、无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测；具体步骤如下：

2-1)、单体目标判定，具体到本实施例中，所述单体目标判定包括：基于所述重建后的电子地图，监控到监测区域运动物体或人员的位置与所述标区域或目标物体之间的距离，若所述运动物体或人员的位置与所述标区域或目标物体之间的距离小于预警阈值，则无人机蜂群基于运动物体或人员的数量确定无人机数量，执行一对一的单体目标跟踪，实现一对一采集；在本实施例的一种实施方式中，无人机运动终点即为上述目标区域、目标物体坐标。

2-2)、单体目标跟踪，参考图5所示，具体到本实施例中，所述无人机蜂群在执行单体目标跟踪过程中，采用高分辨率面阵相机实时成像；在本发明实施例的一种实施方式中，采用DeepSort目标跟踪算法进行单体目标跟踪；具体如下所述：通过卡尔曼滤波处理执行单体目标跟踪过程中的帧间数据，进行位置预测，得到预测得到的轨迹Tracks，进一步使用添加了马氏距离和引入了余弦距离的匈牙利匹配算法将预测得到的轨迹Tracks和当前帧中的detections进行级联匹配和IOU匹配，以此提高匹配精度。所述马氏距离的表达式如下：

d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

上式中，d_j表示第j个检测框，d⁽¹⁾(i，j)表示第j个检测框和第i条轨迹之间的不确定度，y_i表示均值，S_i表示协方差矩阵。

所述余弦距离的表达式如下：

上式中，r_j表示卷积神经网络提取表面信息特征后输出的向量，i表示追踪序号，k表示单个目标被提取次数。

引入权重系数对马氏距离和余弦距离进行数据融合的表达式如下：

c_i，j＝λ*d⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)b_i，j

上式中，λ表示权重系数。

最后进行卡尔玛滤波更新，基于更新后的轨迹点进行目标跟踪。

所述无人机蜂群实时成像运用基于WiFi6无线局域网技术，通过TCP/IP通讯协议反馈清晰图像至后端计算单元，所述无人机蜂群和后端计算单元在数据传输过程中，每架无人机均单独使用独立信道，通过后端计算单元进行安全检测。在本实施例中，对上述反馈清晰图像进行安全算法检测，最终输出检测结果，所述检测结果包括对于各种检测目标的安全检测，如：安全帽下颌带是否佩戴检测、易燃易爆物品放置检测、大型施工设备安全距离检测等。所述安全算法针对不同检测目标对应不同检测算法，例如针对安全帽下颌带佩戴检测，可分为如下步骤：

2-2-1)、搭建并训练基于Facenet的人脸识别算法。

2-2-2)、从清晰图像中截取人脸部位图像；在本实施例中，将清晰图像输入多任务卷积神经网络，由多任务卷积神经网络将其分组成不同大小，然后将获取的图像金字塔传入P-Net，生成相对于原图坐标的人脸候选框，从中截取不同区域传入R-Net网络中，通过R-Net网络初步判断人脸框位置，再次截取框中区域传入O-Net网络中，得到人脸部位。

2-2-3)、通过与数据库比对确定安全帽佩戴人员身份；在本实施例中，Facenet将人脸部位图像通过深度神经网络和L2标准化编码成128维的特征向量并作为提取特征；利用欧氏距离将这咯昂个向量的距离进行比较，得出图像是否与数据库中的工作人员是同一个人，从而完成安全帽佩戴人员身份识别。

2-2-4)、通过搭建并训练YOLOX-S网络模型，对是否佩戴下颌带进行判断，反馈结果至可视化界面进行预警。

综上所述，本发明所提供的一种基于高空气球与无人机蜂群的安全监测方法及系统，基于高空气球，并融合卫星技术和无人机蜂群技术，实现复杂环境背景下全场景、精准、无死角安全监测，准确识别并跟踪目标，使监测结果不受外部环境影响，保证监测结果的高准确度。

本发明实施例还提供一种基于高空气球与无人机蜂群的安全监测系统，应用到如上述所述的方法，包括：

控制模块，用于将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；

整体目标处理模块，用于利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；

单体目标处理模块，用于无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于高空气球与无人机蜂群的安全监测方法，其特征在于，包括如下步骤：

将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；

利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；

无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。

2.如权利要求1所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，控制器以监控区域中心点为基准点，通过高空气球设置的遥感载荷反馈的视觉信息，实时调整连接高空气球的牵引绳，将高空气球布置在监控区域中心点正上方。

3.如权利要求1所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，所述遥感载荷为带广角镜头的工业相机。

4.如权利要求1至3任一项所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，所述利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位包括：

实时获取监控区域俯视图，利用搭建的目标识别算法进行多个目标识别，获取监控区域中的目标区域以及目标物体；

基于所述目标区域以及目标物体坐标进行监控区域电子地图重建。

5.如权利要求4所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，所述单体目标判定包括：

基于所述重建后的电子地图，监控到监测区域运动物体或人员的位置与所述标区域或目标物体之间的距离，若所述运动物体或人员的位置与所述标区域或目标物体之间的距离小于预警阈值，则无人机蜂群执行单体目标跟踪。

6.如权利要求5所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，无人机蜂群基于运动物体或人员的数量确定无人机数量，执行一对一的单体目标跟踪。

7.如权利要求6所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，方法还包括：所述无人机蜂群在执行单体目标跟踪过程中，采用高分辨率面阵相机实时成像。

8.如权利要求7所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，所述无人机蜂群实时成像通过无线局域网反馈至后端计算单元，通过后端计算单元进行安全检测。

9.如权利要求8所述的基于高空气球与无人机蜂群的安全监测方法，其特征在于，所述无人机蜂群和后端计算单元在数据传输过程中，每架无人机均单独使用独立信道。

10.一种基于高空气球与无人机蜂群的安全监测系统，应用到如权利要求1-9所述的方法，其特征在于，包括：

控制模块，用于将高空气球布置在监控区域上空，并使高空气球处于预设高度状态，将无人机蜂群布置在监控区域上方且使无人机蜂群位于高空气球下方；

整体目标处理模块，用于利用高空气球上设置的遥感载荷对监控区域实时成像以采集监控区域数据进行监控区域多个目标识别及定位，并将识别及定位数据下发至无人机蜂群；

单体目标处理模块，用于无人机蜂群基于所述识别及定位数据执行监控区域单体目标判定、跟踪及安全检测。

Images