CN114973037A - 一种无人机智能检测与同步定位多目标的方法 - Google Patents

Abstract

本发明提供一种无人机智能检测与同步定位多目标的方法，属于无人机光电探测技术领域。本发明采用YOLOv5算法对无人机可见光吊舱拍摄的图像进行自动目标检测，结合无人机位姿、吊舱姿态和当前激光测距值，解算检测到的目标空间位置坐标。本发明将激光测距与无人机单目视觉测量融合，在无需操作激光测距仪对准目标的情况下，同步定位通过YOLOv5算法检测到的多个目标；本发明不需要无人机相对地面高度，不需要假设目标与无人机在地面投影点之间的区域平坦，通过带激光测距功能的吊舱，即可解决无人机智能检测与同步定位多个目标的技术问题。

Description

一种无人机智能检测与同步定位多目标的方法

技术领域

本发明属于无人机光电探测领域，具体涉及一种无人机使用带激光测距功能的光电吊舱智能检测与同步定位多个目标的方法。

背景技术

随着无人机技术的发展和应用的普及，使用其搭载的光电吊舱进行大范围快速探测成为许多应用领域的首选解决方案，例如军警安防、野外搜救、森林防火等。无人机光电吊舱探测在技术上的核心内容是：发现和定位目标。针对这两点，目前成熟的模式是无人机将光电吊舱实时拍摄的视频图像回传到地面端，人工发现目标，随后调整吊舱姿态，将激光测距仪对准目标，根据无人机位姿、吊舱姿态和激光测距值解算目标的空间坐标，即常说的“打点定位”。

计算机视觉技术飞速发展，应用在无人机光电吊舱探测中，已经能够智能地同步检测多个目标，例如发现野外被困的人员等。但是如何自主地同步定位多个目标，仍是一个亟需攻克的技术难题。依靠手动调整吊舱姿态对准每一个目标的定位方式，操作复杂，速度慢，一次操作仅能定位一个目标；尤其是固定翼无人机飞行速度比较快，人工很难完成多个目标的定位。因此，无人机载单个吊舱的多目标智能检测与同步定位技术是近年来的研究热点。

文献《Detection,Tracking,and Geolocation of Moving Vehicle From UAVUsing Monocular Camera》提出的一种利用无人机携带的单个吊舱对多个目标进行检测、跟踪与定位的方法，该方法不利用激光测距，而是引入无人机相对地面高度进行位置解算，假设目标和无人机在地面的投影点之间的区域是平坦的。这种假设通常难以满足，尤其是当目标与无人机地面投影点距离较远时，误差较大。

发明内容

本发明目的是提出一种无人机智能检测与定位多目标的方法，不需要无人机相对地面高度，不需要假设目标与无人机在地面投影点之间的区域平坦，通过带激光测距功能的吊舱，解决无人机智能检测与同步定位多个目标的技术问题。

为达到上述目的，解决上述技术问题，本发明采用YOLOv5算法对无人机可见光吊舱拍摄的图像进行自动目标检测，结合无人机位姿、吊舱姿态和当前激光测距值，解算检测到的目标空间位置坐标。

展开技术方案前，首先明确本发明中所需要用到的坐标系。

参考坐标系(n系)O-XYZ，用来表示无人机与目标在三维空间中绝对位置的坐标系，其中Z轴垂直于大地水平面向下。

无人机体坐标系(b系)O_b-X_bY_bZ_b，用来定义无人机相对于参考系姿态角的坐标系。

像素坐标系，用来定义目标在图像上位置的坐标系。

相机坐标系(c系)O_c-X_cY_cZ_c，也叫视线坐标系，相机(小孔)成像的空间投影坐标系。

并根据相关坐标系确定无人机和吊舱的姿态角：

本发明的技术方案如下：

第一步，获取当前时刻t吊舱拍摄的图像I、无人机的在参考系中的位置x_UAV＝(x_UAV,y_UAV,z_UAV)、无人机姿态角(φ,θ,ψ)、吊舱姿态角(α,β,γ)、吊舱激光测距值d₀(即吊舱视线与地面交点G到吊舱的斜距)等测量值。

第二步，采用YOLOv5算法模块对图像I进行自动目标检测。假设算法检测到N个目标，它们的中心点在三维空间中表示为P＝{P₁,…,P_N}，它们在图像上对应的点表示成P'＝{P'₁,…,P'_N}，即目标与光心连线和像平面的交点。如图1所示。P'在像素坐标系中的坐标为

即检测算法在图像上对目标的定位。后续操作流程如图2所示。

第三步，求解P'点在c系中的归一化坐标

P＝{P₁,…,P_N}在n系中的坐标表示为

其中

x_i表示X的第i列向量，

表示X的第i行向量。已知吊舱光学相机焦距为f，标定得到其内参数矩阵

其中

表示图像中心(视线轴与像平面交点)在像素坐标系中的坐标。利用以上参数，可由U计算P'在c系中的坐标V。按下式逐列归一化V得到单位方向矢量集合

第四步，由吊舱姿态角(α,β,γ)求解c系到b系的坐标转换矩阵

由无人机姿态角(φ,θ,ψ)求解b系到n系的坐标转换矩阵

最终可得c系到n系的坐标转换矩阵

多目标位置的求解思路是首先根据激光测距结果d₀求解G点在参考系中的高度，即坐标z_G的值，然后基于小范围内地面平坦的条件令所有目标点的Z坐标值都为z_G，求解出每个目标点的斜距d＝(d₁,…,d_N)，最后再代入公式，求解出(x_i,y_i),i＝1,...,N。

第五步，求解G点在n系中的坐标，获得其高度坐标z_G。设第i个目标到无人机的斜距表示为d_i，则可根据下式计算第i个目标在n系中的坐标。

已知G点斜距d₀，以及x_UAV，R和

代入(2)式可求解x_G＝(x_G,y_G,z_G)。

第六步，此处假设P＝{P₁,…,P_N}与G在同一水平高度上，即粗略认为包含目标点与G点的小范围内地面平坦，令z_i＝z_G,i＝1,...,N，即s₃＝z_G1_N，则根据

可求解d。其中，*表示Hadamard积。m×n的矩阵A＝[a_ij]和m×n的矩阵B＝[b_ij]的Hadamard积仍然是m×n的矩阵，其中(A*B)_ij＝a_ijb_ij。

第七步，求解s₁和s₂。根据

求解s₁和s₂，其中，⊙表示Khatri-Rao积。两个具有相同列数的矩阵

和

的Khatri-Rao积记为

它由两个矩阵的对应列向量的Kronecker积排列而成。m×n矩阵A＝[a₁,…,a_n]和p×q矩阵B的Kronecker积记为

最终得到目标在参考系中的坐标

本发明的有效收益如下：

1、本发明的突出的创新之处是将激光测距与无人机单目视觉测量融合，在无需操作激光测距仪对准目标的情况下，同步定位通过YOLOv5算法(YOLO自动目标检测系列第5个改进版本)检测到的多个目标。

2、本发明不需要无人机相对地面高度，不需要假设目标与无人机在地面投影点之间的区域平坦，通过带激光测距功能的吊舱，即可解决无人机智能检测与同步定位多个目标的技术问题。

3、本发明利用远距离激光测距值进行位置解算，仅假设多个目标和激光测距点的海拔高度一致(地面局部平坦)，通常激光测距点在目标位置附近，范围较小，误差相对较小。

附图说明

图1为本发明无人机吊舱定位目标示意图；

图2为本发明多目标定位流程示意图。

具体实施方式

下面结合附图说明，以如下定义的坐标系及姿态角为例，描述本发明的具体实施方式。

相关坐标系的定义：

1)参考坐标系(n系)O-XYZ，以无人机起飞地点为原点，X轴指向正北，Y轴指向正东，Z轴垂直于O-XY平面指向地心，即常用的北东地坐标系。

2)无人机体坐标系(b系)O_b-X_bY_bZ_b，原点O_b取在无人机质心处，坐标系与飞机固连，X_b轴在无人机对称平面内平行于机体轴线指向机头，Y_b轴垂直于无人机的对称平面指向机身右方，Z_b轴在无人机对称平面内，与X_b轴垂直并指向机身下方。

3)像素坐标系：原点是二维矩形图像的左上角点，U轴为图像上边沿指向右，V轴为图像左边沿指向下，图像位于小孔成像投影确定的三维空间位置处。

相机坐标系(c系)O_c-X_cY_cZ_c，也叫视线坐标系。O_c为相机的光心，Z_c轴指向相机视线方向(前方)，X_c轴与像素坐标系U轴平行指向右，Y_c轴与像素坐标系V轴平行指向下。不失一般性，忽略吊舱光心与无人机质心的距离，认为O_c与O_b重合。按以上定义的坐标系，按如下方式定义无人机和吊舱的姿态角：

1)无人机姿态角表示为(φ,θ,ψ)，其中偏航角φ是机体轴在水平(地平)面上的投影与X轴之间的夹角，右偏为正；俯仰角θ是机体轴与水平面之间的夹角，抬头为正；滚转角ψ是无人机对称平面与通过机体轴的铅垂平面间的夹角，右滚为正。

2)吊舱相对于无人机的姿态角(α,β,γ)，其中偏航角α是吊舱视线轴在b系X_bO_bY_b平面内投影与X_b轴的夹角，右偏为正；俯仰角β是视线轴与X_bO_bY_b平面之间的夹角，抬头为正；滚转角γ是吊舱Y_cO_cZ_c平面与无人机对称平面之间的夹角，右滚为正。

以上坐标系和姿态角的定义均是无人机导航领域常用坐标系定义。

按如上定义，方法的具体实施方式如下。

完成第一步与第二步后，获得无人机位置x_UAV＝(x_UAV,y_UAV,z_UAV)、无人机姿态角(φ,θ,ψ)、吊舱姿态角(α,β,γ)、吊舱激光测距值d₀、检测的目标在像素坐标系中的坐标矩阵U，另外已知相机的内参数矩阵K。

第三步，由像素坐标U求解c系中的归一化坐标

因为P'在像平面上，Z_c轴坐标都是焦距f，所以

按下式计算：

其中

即元素值全为1的行向量。V按下式逐列归一化。

第四步，由吊舱姿态角(α,β,γ)求解c系到b系的坐标转换矩阵

引入一个过渡坐标系O'-X'Y'Z'，即吊舱视线-右-下坐标系，O'与O_c重合，X'轴与Z_c重合，Y'与X_c重合，Z'与Y_c重合。目标先由c系向过渡坐标系转换，转换矩阵为

再由过渡坐标系向b系转换。最终由c系向b系转换矩阵为：

由无人机姿态角(φ,θ,ψ)求解b系到n系的坐标转换矩阵

为：

最终得c系到n系的坐标转换矩阵

第五步，求解G点在n系中的坐标，得到z_G。在当前坐标系定义下，G点与光心连线和像平面的交点在c系中的坐标

则

代入式(2)可得：

第六步，在小范围内，近似认为地面平坦，则s₃＝z_G1_N。根据

求解d。

第七步，根据

求解s₁和s₂，得到多个目标在n系中的位置坐标

以上仅为本发明的一个具体实施例，用于解释本发明，并非因此限制本发明的范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。

Claims (1)

1.一种无人机智能检测与定位多目标的方法，其特征在于，

开展无人机智能检测与定位多目标之前，明确使用的相关坐标系及姿态参数；

相关坐标系：

参考坐标系O-XYZ，用来表示无人机与目标在三维空间中绝对位置的坐标系，其中Z轴垂直于大地水平面向下；

无人机体坐标系O_b-X_bY_bZ_b，用来定义无人机相对于参考系姿态角的坐标系；

像素坐标系，用来定义目标在图像上位置的坐标系；

相机坐标系O_c-X_cY_cZ_c，相机成像的空间投影坐标系；

并根据相关坐标系定义无人机和吊舱的姿态角；

所述无人机智能检测与定位多目标的方法包括如下步骤：

第一步，获取当前时刻t吊舱拍摄的图像I、无人机在参考坐标系中的位置x_UAV＝(x_UAV,y_UAV,z_UAV)、无人机姿态角(φ,θ,ψ)、吊舱姿态角(α,β,γ)、吊舱激光测距值d₀的测量值；

第二步，使用YOLOv5算法模块对图像I进行自动目标检测；假设算法检测到N个目标，它们的中心点在三维空间中表示为P＝{P₁,…,P_N}，它们在图像上对应的点表示成P'＝{P'₁,…,P'_N}，即目标与光心连线和像平面的交点；P'在像素坐标系中的坐标为

即检测算法在图像上对目标的定位；

第三步，求解P'点在相机坐标系中的归一化坐标

P＝{P₁,…,P_N}在参考坐标系中的坐标表示为

其中

x_i表示X的第i列向量，

表示X的第i行向量；已知吊舱光学相机焦距为f，标定得到其内参数矩阵

其中

表示图像中心(视线轴与像平面交点)在像素坐标系中的坐标；利用以上参数，可由U计算P'在相机坐标系中的坐标V；逐列归一化V得到单位方向矢量集合

第四步，由吊舱姿态角(α,β,γ)求解相机坐标系到无人机体坐标系的坐标转换矩阵

由无人机姿态角(φ,θ,ψ)求解无人机体坐标系到惯性坐标系的坐标转换矩阵

最终获得相机坐标系到惯性坐标系的坐标转换矩阵

第五步，求解G点在参考坐标系中的坐标，获得其高度坐标z_G；

第六步，此处假设P＝{P₁,…,P_N}与G在同一水平高度上，认为包含目标点与G点的小范围内地面平坦，令z_i＝z_G,i＝1,…,N，即s₃＝z_G1_N，则能够求解目标点斜距矢量d；

第七步，求解s₁和s₂；结合第六步中求解的s₃，获得到目标在惯性系中的坐标

Images