CN112597799B - 一种基于视觉的固定翼飞行器飞行趋势判断方法 - Google Patents

Abstract

本发明提供了一种基于视觉的无人机飞行趋势判断方法，能够解决无人机集群编队飞行时面对强电磁干扰环境下丢失其他合作单位信息的问题。本发明基于深度学习网络进行编队集群飞行间个体间飞行趋势判断，通过使用视觉的方法，不会受到电磁干扰，在强电磁干扰的情况下仍然能正常工作，不受环境、气候等条件的影响；其中，使用基于深度学习网络的目标识别算法，具有鲁棒性高、抗干扰性强且能够同时识别多个目标的优点，除此之外，使用基于深度学习网络的目标识别算法在经过GPU加速后可以满足嵌入式平台的使用需求。本发明通过单目捷联式导引头实现可以有效提升检测距离。

Description

一种基于视觉的固定翼飞行器飞行趋势判断方法

技术领域

本发明属于无人机组群图像处理技术领域，具体涉及一种基于视觉的固定翼飞行器飞行趋势判断方法。

背景技术

随着反无人机集群技术的发展，战场复杂强电磁对抗环境会对依赖无线射频通信的无人机集群造成极大威胁，甚至致命影响。因此，研究在失去无射频通信联络后的新型多无人机组群机制，成为亟需研究的课题，以使无人机群在组网通信信息被干扰切断后，仍能实施组群任务。为应对无人机集群作战中的强电磁干扰环境，目前主要有三种技术途径：

(1)提高无线射频通信系统的抗干扰能力，但在极强的电磁屏蔽环境下，仅依靠无线通信系统的抗干扰能力显得力不从心。

(2)采用化学物质探测、自由空间光通信等新方式获取组群信息，但化学物质探测和自由空间光通信的应用场景极为有限。

(3)采用相机成像原理或图像处理技术的方法，但这些方法都在距离较远时表现较差且判断准确性较低。并且容易受到外界环境干扰，在不同环境中使用时鲁棒性差，并且传统方法的计算速度慢，无法满足嵌入式平台的实时性需求。

发明内容

有鉴于此，本发明提供了一种基于视觉的无人机飞行趋势判断方法，能够解决无人机集群编队飞行时面对强电磁干扰环境下丢失其他合作单位信息的问题。

为实现上述目的，本发明的一种基于视觉的固定翼飞行器飞行趋势判断方法，包括如下步骤：

S1、基于深度学习网络进行目标检测和相对姿态判断；

其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；

S2、基于先验知识进行目标边缘点提取；

S3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；

另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。

其中，具体地，S1中所述目标检测和相对姿态判断包括如下步骤：

制作数据集：设定观测无人机为无人机A，被测无人机为无人机B，得到相应的旋转矩阵：

求得无人机B在无人机A参考坐标系下的旋转矩阵R：

设旋转矩阵为：

其中，α、β和γ分别对应无人机B在以无人机A为参考坐标系下的滚转角、俯仰角和偏航角；求解无人机B在以无人机A为参考坐标系下的姿态角为：

θ_pitch＝β＝arcsin(-r₁₃)

设定来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化的一个相应的阈值；将数据集中的数据分为左上、上、右上、左、前、右、左下、下和右下9种不同的姿态。

其中，具体地，S2中所述基于先验知识的边缘点提取方法通过如下步骤实现：

通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：

式中，K为处理后的像素值，σ为方差；

在之后使用Canny算子和Sobel差分算子得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：

θ＝atan2(G_y，G_x)

式中，G_x和G_y代表Sobel算子提取的差分，θ为梯度方向；

在获取经过高斯滤波锐化后的目标边缘点后进行主成分分析后得到机体轴，根据机体轴的方向提取图像中无人机前翼所占的像素值；当图像中为无人机侧面投影时，获得无人机的机身长度和机身高度。

其中，具体地，S3中所述基于先验知识的目标测距通过如下步骤实现：

通过获得到合作单位目标的特征像素尺寸后，根据相机成像原理进行目标无人机的测距：当检测出的相对姿态为左或右侧时，带入公式：

其中，D为测出距离，H为目标无人机机身高，b_h为目标无人机身高像素尺寸；

其余姿态公式为：

其中，W为目标无人机主翼翼展，b_w为目标无人机主翼翼展像素尺寸；

在测出D后，根据姿态不同将目标无人机的在设相机光心在像素坐标系中的坐标为(C_x,C_y)，根据相机成像的原理，得到公式：

其中，(u，v)为目标无人机中心点在像素坐标系中的坐标。(X，Y，Z)^T为目标无人机在相机坐标系中的坐标，从而计算得到无人机相对于相机两个光轴的角度θ₁和θ₂：

θ₁和θ₂即为无人机B相对无人机A的两个角度；

根据θ₁和θ₂以及计算得到的(X，Y，Z)^T，初步实现对无人机的定位，并将其转化到世界坐标系中。

其中，具体地，S3中对合作单位的飞行趋势进行判断的方式为：

通过对比连续帧时目标的坐标化并结合检测出的相对姿态判断无人机最终的飞行趋势。

其中，所述S1中通过深度学习网络直接提取目标的关键点，并通过关键点的相对关系进行姿态判断。

其中，所述深度学习网络为卷积神经网络。

有益效果：

本发明基于深度学习网络进行编队集群飞行间个体间飞行趋势判断，通过使用视觉的方法，不会受到电磁干扰，在强电磁干扰的情况下仍然能正常工作，不受环境、气候等条件的影响；其中，使用基于深度学习网络的目标识别算法，具有鲁棒性高、抗干扰性强且能够同时识别多个目标的优点，除此之外，使用基于深度学习网络的目标识别算法在经过GPU加速后可以满足嵌入式平台的使用需求。

本发明通过单目捷联式导引头实现可以有效提升检测距离。

附图说明

图1为本发明技术方案关系图；

图2为本发明目标检测和初步测姿总体技术路线；

图3为本发明实例提供的9种目标相对姿态分类图例；

图4为本发明实例提供的目标相对姿态检测效果图；

图5为本发明边缘点特征提取方案设计图；

图6为本发明实例提供的边缘点提取效果图；

图7为本发明单目相机测距原理图；

图8为本发明实例提供的单目相机坐标系转换原理图。

图9为本发明实例提供的目标无人机定位效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例1：本实施例提供了一种基于视觉的固定翼飞行器飞行趋势判断方法，技术方案关系图如图1所示，采用基于卷积神经网络的集群编队无人机间的视觉测距和相对姿态判定，包括如下步骤：

S1、基于深度学习网络进行目标检测和相对姿态判断；

S2、基于先验知识进行目标边缘点提取：根据获取的相对姿态作为后续处理的先验知识提取图像中目标的某部分尺寸，以根据相机成像原理进行单目相机测距；

S3、基于已知尺寸进行目标测距：对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，其中，根据相机成像原理进行单目相机测距，从而对合作单位的飞行趋势进行判断。

另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断。

具体地，本实施例目标检测和初步测姿总体技术路线如图2所示，S1中所述目标检测和相对姿态判断包括如下步骤：

由于固定翼无人机的飞行姿态指的是无人机的三轴在空中相对于参考坐标系的状态。在描述无人机飞行状态时，通常使用基于世界坐标系得到的三个欧拉角(俯仰角θ，滚转角φ，偏航角ψ)进行表示。

当无人机的三个欧拉角已知时，从无人机到地面坐标系可以得到相应的旋转矩阵。设定观测无人机为无人机A，被测无人机为无人机B，则可得到相应的旋转矩阵：

可以求得无人机B在无人机A参考坐标系下的旋转矩阵R：

设旋转矩阵为：

其中，α，β，γ分别对应无人机B在以无人机A为参考坐标系下的滚转角，俯仰角和偏航角，由旋转矩阵公式可以求解无人机B在以无人机A为参考坐标系下的姿态角为：

θ_pitch＝β＝arcsin(-r₁₃)

由于在飞行器实际飞行时，飞行器会不可避免的出现摆动，因此，应设定一个相应的阈值来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化。

为了使神经网络能够有效地对目标无人机进行初步的相对姿态判断，将数据集中的数据分为图3所示的9种不同的姿态(左上、上、右上、左、前、右、左下、下和右下)。为令标签精度较高，在制作数据集时采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签，由于无人机在不同姿态时在图像中投影出的边缘特征和形状特征差别较大，因此可以使用卷积神经网络的目标检测算法对目标无人机相对姿态进行初步判断。最终检测效果如图4所示。

具体地，本实施例边缘点特征提取方案设计图如图5所示，S2中所述基于先验知识的边缘点提取方法可通过如下步骤实现：

通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：

式中，K为处理后的像素值，σ为方差。

使用高斯滤波能够很好的减少地平线或建筑物等边缘特征明显的噪音对目标产生的干扰，同时，在之后使用Canny算子和Sobel差分算子可以得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：

θ＝atan2(G_y，G_x)

式中，G_x和G_y代表Sobel算子提取的差分，θ为梯度方向。

在获取经过高斯滤波锐化后的目标边缘点后进行主成分分析后可以得到机体轴，根据机体轴的方向可以提取图像中无人机前翼所占的像素值。同理，当图像中为无人机侧面投影时，可以获得无人机的机身长度和机身高度。本实施例实例提供的边缘点提取效果图如图6所示。

具体地，本实施例单目相机测距原理图如图7所示，通过单目捷联式导引头实现可以有效提升检测距离。S3中所述基于先验知识的目标测距技术可通过如下步骤实现：

通过获得到合作单位目标的特征像素尺寸后，可以根据相机成像原理进行目标无人机的测距。即当检测出的相对姿态为左或右侧时，带入公式：

其中，D为测出距离，H为目标无人机机身高，b_h为目标无人机身高像素尺寸。

其余姿态公式为：

其中，D为测出距离，W为目标无人机主翼翼展，b_w为目标无人机主翼翼展像素尺寸。

在测出D后，可以根据姿态不同将目标无人机的在设相机光心在像素坐标系中的坐标为(C_x,C_y)，根据相机成像的原理，可以得到公式：

其中，(u，v)为目标无人机中心点在像素坐标系中的坐标。(X，Y，Z)^T为目标无人机在相机坐标系中的坐标，具体关系如图8所示。

从而可以计算得到无人机相对于相机两个光轴的角度θ₁和θ₂，即可得到：

θ₁和θ₂即为无人机B相对无人机A的两个角度。根据θ₁和θ₂以及计算得到的(X，Y，Z)^T即可初步实现对无人机的定位，并将其转化到世界坐标系中。

由于该方法是一个连续多帧观察的图像，因此，可以通过对比连续帧时目标的坐标化并结合检测出的相对姿态判断无人机最终的飞行趋势。最终飞行趋势如图9所示，其中蓝线为观测相机曲线，红线为目标无人机飞行曲线。左半侧为实际飞行路径，右侧为测量飞行路径，可以发现，测量无人机飞行路径与实际无人机飞行路径虽然存在一定偏差，但与实际无人机飞行曲线一致，因此可以结合深度学习网络测得的相对姿态进行飞行趋势判断。

实施例2：通过深度学习网络的方法直接提取目标的关键点，并通过关键点的相对关系进行姿态判断的方法与本发明实施例1原理类似，能够实现类似的检测效果。

综上，本发明将目标识别方法用于相对姿态的初步判断，并取得了较好的检测效果；利用目标无人机相对姿态这一先验知识在图像中有效降噪并提取了目标无人机的边缘特征点；通过坐标转化可以获得目标无人机在世界坐标系中的坐标，连续判断多帧图像计算出坐标的关系并结合目标识别方法判断出的相对姿态能够有效提升对目标无人机飞行趋势判断的准确性。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，包括如下步骤：

S1、基于深度学习网络进行目标检测和相对姿态判断；

其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；

S2、基于先验知识进行目标边缘点提取；

S3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；

另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断；具体地，S3中所述基于先验知识的目标测距通过如下步骤实现：

通过获得到合作单位目标的特征像素尺寸后，根据相机成像原理进行目标无人机的测距：当检测出的相对姿态为左或右侧时，带入公式：

其中，D为测出距离，H为目标无人机机身高，f_y是图像在垂直方向上的像素焦距，b_h为目标无人机身高像素尺寸；

其余姿态公式为：

其中，W为目标无人机主翼翼展，f_x是图像在水平方向上的像素焦距，b_w为目标无人机主翼翼展像素尺寸；

在测出D后，根据姿态不同将目标无人机的在设相机光心在像素坐标系中的坐标为(C_x,C_y)，根据相机成像的原理，得到公式：

其中，(u，v)为目标无人机中心点在像素坐标系中的坐标； (X，Y，Z)^T为目标无人机在相机坐标系中的坐标，从而计算得到无人机相对于相机两个光轴的角度θ₁和θ₂：

θ₁和θ₂即为无人机B相对无人机A的两个角度；

根据θ₁和θ₂以及计算得到的(X，Y，Z)^T，初步实现对无人机的定位，并将其转化到世界坐标系中。

2.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S1中所述目标检测和相对姿态判断包括如下步骤：

制作数据集：设定观测无人机为无人机A，被测无人机为无人机B，得到相应的旋转矩阵：

求得无人机B在无人机A参考坐标系下的旋转矩阵R：

设旋转矩阵为：

其中，α、β和γ分别对应无人机B在以无人机A为参考坐标系下的滚转角、俯仰角和偏航角；求解无人机B在以无人机A为参考坐标系下的姿态角为：

θ_pitch＝β＝arcsin(-r₁₃)

设定来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化的一个相应的阈值；将数据集中的数据分为左上、上、右上、左、前、右、左下、下和右下9种不同的姿态。

3.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S2中所述基于先验知识的边缘点提取方法通过如下步骤实现：

通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：

式中，K为处理后的像素值，σ为方差；

在之后使用Canny算子和Sobel差分算子得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：

θ＝atan2(G_y,G_x)

式中，G_x和G_y代表Sobel算子提取的差分，θ为梯度方向；

在获取经过高斯滤波锐化后的目标边缘点后进行主成分分析后得到机体轴，根据机体轴的方向提取图像中无人机前翼所占的像素值；当图像中为无人机侧面投影时，获得无人机的机身长度和机身高度。

4.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，

具体地，S3中对合作单位的飞行趋势进行判断的方式为：

通过对比连续帧时目标的坐标化并结合检测出的相对姿态判断无人机最终的飞行趋势。

5.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，所述S1中通过深度学习网络直接提取目标的关键点，并通过关键点的相对关系进行姿态判断。

6.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，所述深度学习网络为卷积神经网络。

Images