CN117409340B - 无人机集群多视角融合航拍港口监控方法、系统、介质 - Google Patents

Abstract

本发明涉及一种无人机集群多视角融合航拍港口监控方法、系统、介质，方法包括如下步骤：通过路径规划将无人机集群部署至港口待巡查区域；采集无人机集群的多视角无死角视频流，通过改进的多视角弱小移动目标识别跟踪算法得到目标识别结果；针对多视角视频流进行多视角特征提取和特征匹配，为每个目标分配唯一的标签；基于无人机的坐标以及所述标签，利用无人机集群多目视觉中的每两个摄像头的目标识别结果计算置信度，对目标进行立体定位。与现有技术相比，本发明提出的无人机集群可以规避单架无人机难以避免的遮挡物导致目标丢失的问题；优化后的多目标特征提取与识别网络对于无人机集群高空俯拍地面弱小目标的识别精度更高、漏检误检率更低。

Description

无人机集群多视角融合航拍港口监控方法、系统、介质

技术领域

本发明涉及无人机技术领域，尤其是涉及一种无人机集群多视角融合航拍港口监控方法、系统、介质。

背景技术

现有技术中，面对如港口车辆以及人员等入侵的威胁，传统港口监控方法主要依靠单架无人机按照既定路线巡航，传统单架无人机监控方法存在不可避免的受到港口复杂地形因遮挡物而存在监控盲区，进而导致目标物识别丢失、无法跟踪的问题，同时单一视角无法对目标物进行立体位置测量。因此，传统无人机监控方法已经无法满足如今大型无人码头对于车辆等入侵安防需求。

同时，由于在无人机航拍大尺度下的例如车辆等弱小目标信息特征较少，传统的特征提取及目标识别网络如YOLOv5等无法对弱小目标进行特征提取与识别，单台无人机单一视角也会存在因港口地形复杂而遮挡目标进而无法连续提取特征的情况发生。因此，如何有效改进现有神经网络来对弱小目标进行多角度的特征匹配和提取，以解决弱小目标识别精确度低、误报率高等问题，是本领域亟需解决的技术难题。

因此，需要一种无人机集群多视角融合航拍港口安全监控方法，以解决传统单架无人机监控方法中存在的易受遮挡物影响而丢失目标信息，传统特征提取及目标识别网络对于大尺度下弱小目标及目标遮挡导致无法提取目标特征，单一视角无法对目标进行立体位置测量等问题。为港口安全监控提高效率和准确性，减少潜在车辆和人员等入侵威胁发生，在港口安全领域提供更可靠的保障。

发明内容

本发明的目的是使用无人机集群，使用改进优化的特征提取网络，通过多视角融合对弱小目标多视角特征提取并对目标进行多视角立体定位。

本发明的克服上述现有技术存在的缺陷而提供一种无人机集群多视角融合航拍港口监控方法、系统、介质，提高港口监控的及时发现、及时响应能力。

本发明的目的可以通过以下技术方案来实现：

本发明的一个方面，提供了一种无人机集群多视角融合航拍港口监控方法，包括如下步骤：

通过路径规划将无人机集群部署至港口待巡查区域；

采集无人机集群的多视角视频流，通过改进后的弱小移动目标识别跟踪方法得到目标识别结果；

针对所述视频流进行多视角特征提取和多视角特征匹配，为每个目标分配唯一的标签；

基于无人机的坐标以及所述标签，利用无人机集群多视角中的每两个摄像头的目标识别结果计算置信度，对目标进行立体定位。

作为优选的技术方案，通过弱小移动目标识别跟踪得到目标识别结果的过程包括：

利用基于HRNet的两段式检测神经网络计算瓦尔斯坦距离作为弱小目标gt框的重合度，得到弱小目标的目标识别结果。

作为优选的技术方案，所述的多视角目标识别结果包括多视角目标类别信息、多视角目标识别框信息和多视角目标置信度信息。

作为优选的技术方案，基于SIFT算法实现对多视角目标识别结果的特征提取，基于BF算法实现特征匹配。

作为优选的技术方案，多视角下目标的立体定位采用下式计算：

其中，为运动目标的坐标，/>为置信度计算符，/>为由编号为1和n的摄像头经过双目视觉定位得到的坐标。

作为优选的技术方案，所述的多视角特征提取过程中，多视角特征点的梯度方向由下式确定：

其中，为坐标在/>的像素点的灰度值，/>为/>处的梯度方向。

作为优选的技术方案，还包括如下步骤：

基于目标的类型和目标的坐标，生成监控报告。

本发明的另一个方面，提供了一种无人机集群多视角融合航拍港口监控系统，包括：

无人机集群全自动部署模块，用于将无人机集群部署至港口待巡查区域；

无人机集群港口安全无死区监控路径规划模块，用于实现无人机集群编队飞行控制和自适应无人机集群路径规划；

港口弱小移动目标识别及跟踪模块，用于各个无人机的视频流，通过改进优化后弱小移动目标识别跟踪得到目标识别结果；

多视角特征匹配模块，用于针对所述多视角视频流进行多视角特征提取和特征匹配，为每个目标分配唯一的标签；

基于置信度的多目视觉目标定位模块，用于利用无人机集群多目视觉中的每两个摄像头的目标识别结果计算置信度，得到目标的坐标。

作为优选的技术方案，所述的无人机集群自动部署模块包括无人机集群自动起降子模块、无人机集群自主循环充电子模块和无人机集群航拍设定子模块，所述无人机集群港口安全无死区监控路径规划模块包括无人机集群编队飞行控制子模块和可学习自适应无人机集群路径规划子模块。

本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述无人机集群多视角融合航拍港口监控方法的指令。

与现有技术相比，本发明具有以下有益效果：

提高港口监控的及时发现、及时响应能力：本申请使用无人机集群，使用改进优化的特征提取网络，通过多视角融合对弱小目标多视角特征提取并对目标进行多视角立体定位。本申请具有能够规避遮挡盲区影响、实现多视角无遮挡连续检测的能力；具有获得多角度目标物特征进行识别的能力；具有对弱小目标特征提取能力强、漏检误检率低的能力；具有使用多视角对目标进行精准立体定位的能力。改善了传统单一无人机难以避免的因遮挡物导致目标丢失的问题；改善了传统特征提取与目标识别网络无法对弱小目标提取特征的问题；改善了传统单一视角无法对目标进行立体定位的问题。

附图说明

图1为实施例中无人机集群多视角融合航拍港口监控系统的示意图；

图2为实施例中港口监控场景的示意图，

其中，1、无人机集群全自动部署模块，2、无人机集群港口安全无死区监控路径规划模块，3、港口弱小移动目标识别及跟踪模块，4、多视角特征匹配模块，5、基于置信度的多目视觉目标定位模块，6、无人机集群。

具体实施方式

实施例1

针对前述现有技术存在的问题，参见图1，本实施例提供了一种无人机集群多视角融合航拍港口监控系统，主要包括：

无人机集群部署调度子系统，其包括无人机集群全自动部署模块1和无人机集群港口安全无死区监控路径规划模块2。

多视角特征匹配危险目标识别跟踪子系统，其包括港口弱小移动目标识别及跟踪模块3、多视角特征匹配模块4和基于置信度的多目视觉目标定位模块5。

其中，各模块的详细说明如下。

无人机集群全自动部署模块1，用于完成无人机集群自动起降、循环充电和航拍设定功能。具体的，本模块包括无人机集群自动起降子模块、无人机集群自主循环充电子模块和无人机集群航拍设定子模块。

无人机集群港口安全无死区监控路径规划模块2，用于完成无人机集群编队飞行控制和可学习自适应无人机集群路径规划。本模块包括无人机集群编队飞行控制子模块和可学习自适应无人机集群路径规划子模块。可学习无人机集群路径规划子模块与无人机集群航拍设定子模块共同作用，实时传输多角度视频流至多视角特征匹配危险目标识别跟踪子系统。

港口弱小移动目标识别及跟踪模块3，用于识别无人机集群实时监控视频流中港口安全相关的车辆和人员等入侵。本模块使用两段式检测神经网络FasterRCNN，所述FasterRCNN的骨干网络部分使用高分辨率网络HRNet，该网络的标签分配策略采用针对弱小目标改进的RFLA策略，其使用瓦尔斯坦距离更直观反应弱小目标gt框的重合程度：

其中，为瓦尔斯坦距离，/>为高斯ERF函数，为高斯gt框。随后将输出的港口弱小移动目标识别结果传入多视角特征匹配模块4。/>作为标准2D高斯分布的平均向量，用理论感受野半径的一半来近似有效感受野半径/>，将有效感受野的范围建模为二维高斯分布：

其中，。

将gt框（，/>，/>，/>）建模为标准的2D高斯分布：

公式中，高斯有效感受野：，高斯gt框：/>。

多视角特征匹配模块4，用于将无人机集群实时监控视频流中不同角度的识别目标做特征匹配。本模块对无人机集群多视角港口弱小移动目标识别结果进行SIFT算法特征提取，特征点梯度方向如下：

其中，L(x,y)为每一个像素点，θ(x,y)为该特征点梯度方向。随后使用BF匹配算法对多视角目标进行特征匹配并分配唯一的检测目标标签，传入基于置信度的多目视觉目标定位预警模块5。

基于置信度的多目视觉目标定位预警模块5，用于对已识别目标进行世界坐标系高精度定位，并生成监控报告和预警信息以调动港口地面车辆安保人员可以及时采取相应的安全措施。本模块通过使用无人机集群多目视觉中的每两个摄像头的港口弱小移动目标识别结果和特征匹配分配的目标标签，根据无人机的GPS定位对该目标进行世界坐标系定位，随后根据无人机集群多视角计算置信度确定该目标的精确世界坐标：

其中，为被测目标精确世界坐标，/>为置信度计算符，/>为由编号为1和n无人机双目视觉定位的世界坐标。

双目视觉确定目标坐标的实现原理是利用视差原理通过测量同一物体在两个不同位置的成像之间的差异，计算出物体与相机之间的距离及三维坐标。

双目视觉确定目标坐标的过程如下：

Step1，标定相机：首先需要标定两个相机，以确定它们的位置和方向。这可以通过使用标定板或其它已知特征来实现。标定时需要采集多个不同角度和位置的标定板图像，并计算出每个相机的内参（如焦距、主点位置等）和外参（如旋转矩阵和平移矩阵）。

相机内参标定公式：

K = [f s 0; 0 f 0; 0 0 1]

其中 f 为焦距，s 为相机的偏移量，主点位置为 (0, 0)。

相机外参标定公式：

R = [r1 r2 r3]

T = [t1 t2 t3]

Xc = R Xw + T

其中 R 为旋转矩阵，T 为平移矩阵，r1、r2、r3 和 t1、t2、t3 分别为相应的元素。

Step2，计算三维坐标：根据目标物体在左右相机坐标系下的位置，计算出其三维坐标。根据三角形相似原理：

其中，为左相机成像面目标像素点坐标，/>为相机成像面横轴像素点数量，/>为目标物P在基线投影处H距离左相机OR的距离，f为焦距，z为目标物距离基线的距离，其计算公式如下：

其中，B为两个视觉摄像头的中心距，为右相机成像面目标像素点坐标。

基线在世界坐标系下斜率：

由此计算PH斜率：

计算H点坐标和/>

最终可以获得目标物P点坐标X3，Y3：

本系统通过对小目标特殊改进的目标识别算法加以多角度特征融合后通过无人机集群多目视觉定位基于置信度对目标进行精准定位，有效提高港口全方位监控应对车辆入侵威胁时的及时发现、及时响应能力，提高港口的安全性和应急响应能力。

实施例2

在实施例1的基础上，参见图2，本实施例提供了一种无人机集群多视角融合航拍港口监控方法，包括如下步骤：

S1，无人机集群自动部署及路径规划步骤。将港口重要监控区域划分成多个待巡查区域，针对不同地形复杂度对无人机集群的数量和编队进行规划，同时根据监控历史记录对曾经发生警告的区域自动调整无人机编队和巡逻路径以达到港口无死角监控。

S2，无人机集群多视角自动视频流传输步骤。控制无人机集群按照指定航线、航速及拍摄角度采集实时多视角视频流数据，上传至多视角特征匹配危险目标识别跟踪子系统，同时监测无人机集群的状态和数据。

S3，实时多视角视频流数据处理步骤。接收来自无人机集群6的实时多视角视频流数据，通过港口弱小移动目标识别及跟踪模块3识别港口安全相关弱小目标，随后通过多视角特征匹配模块4对多视角目标进行特征匹配并分配唯一的检测目标标签，最后通过基于置信度的多视角目标定位预警模块5，根据无人机的GPS定位对该目标进行世界坐标系定位，根据无人机集群多视角计算置信度确定该目标的精确世界坐标并生成监控报告。

传统单架无人机监控方法存在不可避免的受到港口复杂地形因遮挡物而存在监控盲区，进而导致目标物识别丢失、无法跟踪的问题，同时单一视角无法对目标物进行立体位置测量。

传统的特征提取及目标识别网络如YOLOv5等无法对弱小目标进行特征提取与识别，单台无人机单一视角也会存在因港口地形复杂而遮挡目标进而无法连续提取特征的情况发生。

针对上述问题，本发明使用无人机集群，使用改进优化的特征提取网络，通过多视角融合对弱小目标多视角特征提取并对目标进行多视角立体定位。本发明具有能够改善遮挡盲区影响、实现多视角无遮挡连续检测的能力；具有获得多角度目标物特征进行识别的能力；具有对弱小目标特征提取能力强、漏检误检率低的能力；具有使用多视角对目标进行精准立体定位的能力。改善了传统单一无人机难以避免的因遮挡物导致目标丢失的问题；改善了传统特征提取与目标识别网络无法对弱小目标提取特征的问题；改善了传统单一视角无法对目标进行立体定位的问题。

实施例3

在实施例1的基础上，本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行如实施例2所述无人机集群多视角融合航拍港口监控方法的指令。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种无人机集群多视角融合航拍港口监控方法，其特征在于，包括如下步骤：

通过路径规划将无人机集群部署至港口待巡查区域；

采集多视角无人机集群的视频流，通过弱小移动目标识别网络得到目标识别结果；

针对所述视频流进行多视角特征提取和特征匹配，为每个目标分配唯一的标签；

基于无人机集群的坐标以及所述标签，利用无人机集群多视角中的每两个摄像头的目标识别结果计算置信度，对目标进行立体定位，

其中，通过针对弱小目标改进后的特征提取与目标识别网络得到目标识别结果的过程包括：

利用基于HRNet的两段式检测神经网络优化计算瓦尔斯坦距离作为弱小目标gt框的重合度，得到弱小目标的目标识别结果，

目标的坐标采用下式计算：

，

其中，为运动目标的坐标，/>为置信度计算符，/>为由编号为1和n的摄像头经过双目视觉定位得到的坐标。

2.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，所述的目标识别结果包括多视角目标类别信息、多视角目标识别框信息和多视角目标置信度信息。

3.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，基于SIFT算法实现对多视角的目标识别结果的特征提取，基于BF算法实现特征匹配。

4.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，所述的特征提取过程中，特征点的梯度方向由下式确定：

，

其中，为坐标在/>的像素点的灰度值，/>为/>处的梯度方向。

5.一种无人机集群多视角融合航拍港口监控系统，其特征在于，包括：

无人机集群全自动部署模块，用于将无人机集群部署至港口待巡查区域；

无人机集群港口安全无死区监控路径规划模块，用于实现无人机集群编队飞行控制和自适应无人机集群路径规划；

港口弱小移动目标识别及跟踪模块，用于从多视角无人机集群的多视角视频流中通过对弱小目标优化后的特征提取和目标识别网络得到目标识别结果；

多视角特征匹配模块，用于针对所述多视角视频流进行多视角特征提取和多视角特征匹配，为每个目标分配唯一的标签；

基于置信度的多目视觉目标定位模块，用于利用无人机集群多视角中的每两个摄像头的目标识别结果计算置信度，对目标立体定位，

其中，通过针对弱小目标改进后的特征提取与目标识别网络得到目标识别结果的过程包括：

利用基于HRNet的两段式检测神经网络优化计算瓦尔斯坦距离作为弱小目标gt框的重合度，得到弱小目标的目标识别结果，

目标的坐标采用下式计算：

，

其中，为运动目标的坐标，/>为置信度计算符，/>为由编号为1和n的摄像头经过双目视觉定位得到的坐标。

6.根据权利要求5所述的一种无人机集群多视角融合航拍港口监控系统，其特征在于，所述的无人机集群自动部署模块包括无人机集群自动起降子模块、无人机集群自主循环充电子模块和无人机集群航拍设定子模块，所述无人机集群港口安全无死区监控路径规划模块包括无人机集群编队飞行控制子模块和可学习自适应无人机集群路径规划子模块。

7.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-4任一所述无人机集群多视角融合航拍港口监控方法的指令。