CN116203526B - 一种用于无人机飞行器的目标识别系统及方法 - Google Patents

Abstract

本发明公开了一种用于无人机飞行器的目标识别系统及方法，属于无人机识别技术领域，包括中转探测模块、图像获取模块、无线通信模块、图像识别模块。本发明通过设置的中转探测模块，在地面控制中心的雷达探测系统出现故障时及时启动，仍然能够对无人机进行及时精准的探测，保证了后续位置识别工作的相对准确性；通过设置的图像获取模块、图像识别模块，能够通过图像分析技术对无人机进行目标识别，进而获取无人机在地理坐标系下的实际位置坐标，实现对无人机飞行器位置的识别。

Description

一种用于无人机飞行器的目标识别系统及方法

技术领域

本发明涉及无人机识别技术领域，具体涉及一种用于无人机飞行器的目标识别系统及方法。

背景技术

在低飞无人机执行空中飞行任务（比如航拍、喷晒农药等）时，需要对无人机的运行轨迹进行识别，进而评估本次飞行任务的完成情况，现有技术主要是通过地面控制中心的雷达探测系统对无人机位置进行识别。但当地面控制中心的雷达探测系统出现故障时，便无法对无人机位置进行识别，给后续评估本次飞行任务的完成情况带来了一定的麻烦。上述问题亟待解决，为此，提出一种用于无人机飞行器的目标识别系统及方法。

发明内容

本发明所要解决的技术问题在于：如何解决当地面控制中心的雷达探测系统出现故障时，无法对无人机位置进行识别的问题，提供了一种用于无人机飞行器的目标识别系统。

本发明是通过以下技术方案解决上述技术问题的，本发明包括：中转探测模块、图像获取模块、无线通信模块、图像识别模块；

所述中转探测模块，用于在地面控制中心的雷达探测系统故障时，通过雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取自身所在空间位置坐标；

所述图像获取模块，用于获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

所述无线通信模块，用于并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；

所述图像识别模块，用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

更进一步地，所述中转探测模块包括雷达探测单元、回波成像单元、位置获取单元；所述雷达探测单元、所述回波成像单元、所述位置获取单元均安装在位于无人机执飞所在空域边角的系留气球的下端，并集成在同一箱体中，且系留气球位于无人机的上方；所述雷达探测单元用于对无人机进行雷达探测，获取无人机的回波信号数据，并将无人机的回波信号数据发送至所述回波成像单元中；所述回波成像单元用于根据无人机的回波信号数据生成无人机的雷达回波图，并将无人机的雷达回波图发送至无线通信模块中；所述位置获取单元用于获取中转探测模块在地理坐标系中的位置坐标，包括经度值、纬度值、高度值，将中转探测模块所在空间位置坐标发送至所述无线通信模块中。

更进一步地，所述位置获取单元包括经纬度获取单元、高度获取单元；其中，所述经纬度获取单元为GPS定位组件，用于获取中转探测模块所在空间位置的经度值、纬度值，所述高度获取单元为气压式高度表，用于获取中转探测模块所在空间位置的高度值。

更进一步地，所述图像获取模块包括无人机图像获取单元、图像预处理单元；所述无人机图像获取单元、图像预处理单元均安装在系留气球下端，与所述中转探测模块集成在一个箱体中，所述无人机图像获取单元用于获取俯拍状态下的无人机深度图像，并将无人机深度图像发送至所述图像预处理单元中；所述图像预处理单元用于对无人机深度图像进行预处理，并将预处理后的无人机深度图像发送至所述无线通信模块中。

更进一步地，所述无人机图像获取单元为深度相机，将中转探测模块所在空间位置坐标作为深度相机所在空间位置坐标。

更进一步地，所述无线通信模块包括并行发送单元、并行接收单元；所述并行发送单元设置在系留气球上，用于并行发送无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；所述并行接收单元设置在地面控制中心中，用于并行接收无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像。

更进一步地，所述图像识别模块设置在地面控制中心中，与所述无线通信模块中并行接收单元通信连接，包括雷达回波图识别单元、深度图像识别单元；所述雷达回波图识别单元用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息；所述深度图像识别单元用于根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

更进一步地，所述雷达回波图识别单元的具体处理过程如下：

S11：从无线通信模块中获取当前无人机的雷达回波图，利用已经过图像样本训练的第一目标识别网络对雷达回波图中的形状进行识别并分类，获取当前无人机的雷达回波图中的形状类别信息；

S12：根据获取的形状类别信息在本地数据库中进行查找，获取当前无人机的型号信息。

更进一步地，在所述步骤S12中，所述本地数据库包括类别-型号数据库与型号-预设飞行轨迹数据库，所述类别-型号数据库存储有雷达回波图中形状类别信息与无人机型号的对应关系，所述型号-预设飞行轨迹数据库中存储有无人机型号与预设飞行轨迹的对应关系。

更进一步地，所述深度图像识别单元的具体处理过程如下：

S21：从无线通信模块中获取预处理后的无人机深度图像，预处理后的无人机深度图像的图像坐标系X轴与地理坐标系下的任一经度线或纬度线平行，利用已经过图像样本训练的第二目标识别网络，对预处理后的无人机深度图像中无人机进行识别，获取无人机检测框，并将无人机检测框从图像中裁剪下来，获取无人机检测框图像；

S22：对无人机检测框图像中所像素点与深度相机的距离值进行算数平均计算，将计算得到的值作为无人机与深度相机在地理坐标系下的实际距离，也即无人机与中转探测模块在地理坐标系下的实际距离，记为H1；

S23：利用中转探测模块获取的在地理坐标系中的高度值H2减去H1得到无人机在地理坐标系下的实际高度，记为Hc；

S24：计算得到预处理后的无人机深度图像中心像素点C1与无人机检测框图像中心像素点C2之间的线段C1C2与图像坐标系X轴之间的夹角Z1，以及中心像素点C1与中心像素点C2之间的像素距离差，夹角Z1作为无人机、中转探测模块之间的连线与地理坐标系中任一经度线或纬度线的实际夹角，根据深度图像的图像坐标系中像素距离与地理坐标系中实际距离之间的比例关系，计算得到像素距离差所对应的在地理坐标系下的实际距离，记为L1；

S25：利用L1、夹角Z1之间的几何关系计算得到无人机在地理坐标系下的经度值Jc、纬度值Wc，进而获取无人机在地理坐标系下的实际位置坐标。

本发明还提供了一种用于无人机飞行器的目标识别方法，采用上述的目标识别系统对无人机进行目标识别工作，包括以下步骤：

S1：在地面控制中心的雷达探测系统故障时，启动中转探测模块，利用雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取中转探测模块所在空间位置坐标；

S2：通过系留气球上的图像获取模块获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

S3：通过无线通信模块并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像至地面控制中心；

S4：利用图像识别模块根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

本发明相比现有技术具有以下优点：该用于无人机飞行器的目标识别系统，通过设置的中转探测模块，在地面控制中心的雷达探测系统出现故障时及时启动，仍然能够对无人机进行及时精准的探测，保证了后续位置识别工作的相对准确性；通过设置的图像获取模块、图像识别模块，能够通过图像分析技术对无人机进行目标识别，进而获取无人机在地理坐标系下的实际位置坐标，实现对无人机飞行器位置的识别。

附图说明

图1是本发明实施例中的用于无人机飞行器的目标识别系统的结构示意图；

图2是本发明实施例中系留气球与无人机执飞所在空域边界的位置示意图（俯视）；

图3是本发明实施例中预处理后的无人机深度图像示意图（俯视）；

图4是本发明实施例中用于无人机飞行器的目标识别方法的流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1-3所示，本实施例提供一种技术方案：一种用于无人机飞行器的目标识别系统，包括中转探测模块、图像获取模块、无线通信模块、图像识别模块；

在本实施例中，所述中转探测模块，用于在地面控制中心的雷达探测系统故障时，通过雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取自身所在空间位置坐标；

具体的，所述中转探测模块包括雷达探测单元、回波成像单元、位置获取单元；所述雷达探测单元、所述回波成像单元、所述位置获取单元均安装在位于无人机执飞所在空域边角的系留气球的下端，系留气球位于无人机的上方，将系留气球设置在无人机执飞所在空域边角，能够有效地防止系留气球的系留拉索在无人机飞行过程中产生干涉，保证了不会对无人机飞行过程造成影响；所述雷达探测单元用于对无人机进行雷达探测，获取无人机的回波信号数据，并将无人机的回波信号数据发送至所述回波成像单元中；所述回波成像单元用于根据无人机的回波信号数据生成无人机的雷达回波图，并将无人机的雷达回波图发送至无线通信模块中；所述位置获取单元用于获取中转探测模块在地理坐标系中的位置坐标，包括经度值、纬度值、高度值，将中转探测模块所在空间位置坐标发送至所述无线通信模块中；通过设置的中转探测模块，在地面控制中心的雷达探测系统出现故障时及时启动，能够对无人机进行及时精准的探测，保证了后续识别工作的准确性；

作为更具体的，所述位置获取单元包括经纬度获取单元、高度获取单元；其中，所述经纬度获取单元为GPS定位组件，用于获取中转探测模块所在空间位置的经度值、纬度值，所述高度获取单元为气压式高度表，用于获取中转探测模块所在空间位置的高度值；采用气压式高度表获取中转探测模块所在空间位置的高度值更为准确，故舍弃GPS定位组件本能够获取的高度值，有利于后续识别工作的准确性。

在本实施例中，所述图像获取模块，用于获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

具体，所述图像获取模块包括无人机图像获取单元、图像预处理单元；所述无人机图像获取单元、图像预处理单元均安装在系留气球下端，与所述中转探测模块集成在一个箱体中，所述无人机图像获取单元用于获取俯拍状态下的无人机深度图像，并将无人机深度图像发送至所述图像预处理单元中；所述图像预处理单元用于对无人机深度图像进行预处理，并将预处理后的无人机深度图像发送至所述无线通信模块中。

作为更具体的，所述无人机图像获取单元为深度相机，由于无人机图像获取单元、图像预处理单元与所述中转探测模块位于同一箱体中，因此，将中转探测模块所在空间位置坐标视为深度相机所在空间位置坐标。

作为更具体的，所述系留气球位于无人机的上方。

作为更具体的，预处理的方式包括降噪、图像校正处理；其中，降噪采用高斯滤波降噪方式；在所述深度相机中安装有陀螺仪，用于实时检测在拍摄时深度相机当前姿态与标准姿态之间的角度偏差，然后根据角度偏差对无人机深度图像进行校正，使校正后的无人机深度图像的图像坐标系X轴与地理坐标系下的任一经度线或纬度线平行。

在本实施例中，所述无线通信模块，用于并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；

具体的，所述无线通信模块包括并行发送单元、并行接收单元；所述并行发送单元设置在系留气球上，用于并行发送无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；所述并行接收单元设置在地面控制中心中，用于并行接收无人机的雷达回波图、中转探测模块所在空间位置坐标（也即深度相机所在空间位置）、预处理后的无人机深度图像；并行通讯方式能够提高数据传输速度；

作为更具体的，所述并行发送单元、并行接收单元均基于5G通信模块实现。

在本实施例中，所述图像识别模块用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息；

具体的，所述图像识别模块设置在地面控制中心中，与所述无线通信模块中并行接收单元通信连接，包括雷达回波图识别单元、深度图像识别单元；所述雷达回波图识别单元用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息；所述深度图像识别单元用于根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

作为更具体的，所述雷达回波图识别单元的具体处理过程如下：

S11：从无线通信模块中获取当前无人机的雷达回波图，利用已经过图像样本训练的第一目标识别网络对雷达回波图中的形状进行识别并分类，获取当前无人机的雷达回波图中的形状类别信息；

S12：根据获取的形状类别信息在本地数据库中进行查找，获取当前无人机的型号信息。

在所述步骤S11中，第一目标识别网络基于YOLOv1目标检测网络实现，在检测到框之外，网络会通过softmax对框内目标进行分类。

在所述步骤S12中，所述本地数据库包括类别-型号数据库与型号-预设飞行轨迹数据库，所述类别-型号数据库存储有雷达回波图中形状类别信息与无人机型号的对应关系，所述型号-预设飞行轨迹数据库中存储有无人机型号与预设飞行轨迹的对应关系。预设飞行轨迹用于后续的轨迹比对工作中，当获取了无人机的实时位置信息后，进而结合时间信息获取无人机的实时飞行轨迹，从而实现和预设飞行轨迹比对。

作为更具体的，所述深度图像识别单元的具体处理过程如下：

S21：从无线通信模块中获取预处理后的无人机深度图像，利用已经过图像样本训练的第二目标识别网络，对预处理后的无人机深度图像中无人机进行识别，获取无人机检测框，并将无人机检测框从图像中裁剪下来，获取无人机检测框图像；

S22：对无人机检测框图像中所像素点与深度相机的距离值进行算数平均计算，将计算得到的值作为无人机与深度相机在地理坐标系下的实际距离，也即无人机与中转探测模块在地理坐标系下的实际距离，记为H1；

S23：利用中转探测模块获取的在地理坐标系中的高度值H2减去H1得到无人机在地理坐标系下的实际高度，记为Hc；

S24：计算得到预处理后的无人机深度图像中心像素点C1与无人机检测框图像中心像素点C2之间的线段C1C2与图像坐标系X轴之间的夹角Z1，以及中心像素点C1与中心像素点C2之间的像素距离差，夹角Z1可视为无人机、中转探测模块之间的连线与地理坐标系中任一经度线或纬度线的实际夹角，根据深度图像的图像坐标系中像素距离与地理坐标系中实际距离之间的比例关系，计算得到像素距离差所对应的在地理坐标系下的实际距离，记为L1；

S25：利用L1、夹角Z1之间的几何关系计算得到无人机在地理坐标系下的经度值Jc、纬度值Wc，进而获取无人机在地理坐标系下的实际位置坐标。

在所述步骤S21-S25中，将地理坐标系下的经度线、纬度线视为在同一平面内。

在所述步骤S21中，第二目标识别网络基于CNN目标检测网络实现。

在所述步骤S21中，预处理后的无人机深度图像的图像坐标系X轴与地理坐标系下的任一经度线或纬度线平行。

在本实施例中，无人机执飞所在空域仅有一架无人机，可有效避免出现无人机碰撞事故。

如图4所示，本实施例还提供了一种用于无人机飞行器的目标识别方法，采用上述的目标识别系统对无人机进行目标识别工作，包括以下步骤：

S1：在地面控制中心的雷达探测系统故障时，启动中转探测模块，利用雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取中转探测模块所在空间位置坐标；

S2：通过系留气球上的图像获取模块获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

S3：通过无线通信模块并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像至地面控制中心；

S4：利用图像识别模块根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

综上所述，上述实施例的用于无人机飞行器的目标识别系统，通过设置的中转探测模块，在地面控制中心的雷达探测系统出现故障时及时启动，仍然能够对无人机进行及时精准的探测，保证了后续位置识别工作的相对准确性；通过设置的图像获取模块、图像识别模块，能够通过图像分析技术对无人机进行目标识别，进而获取无人机在地理坐标系下的实际位置坐标，实现对无人机飞行器位置的识别。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种用于无人机飞行器的目标识别系统，其特征在于，包括：中转探测模块、图像获取模块、无线通信模块、图像识别模块；

所述中转探测模块，用于在地面控制中心的雷达探测系统故障时，通过雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取自身所在空间位置坐标；

所述图像获取模块，用于获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

所述无线通信模块，用于并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；

所述图像识别模块，用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息；

所述中转探测模块包括雷达探测单元、回波成像单元、位置获取单元；所述雷达探测单元、所述回波成像单元、所述位置获取单元均安装在位于无人机执飞所在空域边角的系留气球的下端，并集成在同一箱体中，且系留气球位于无人机的上方；所述雷达探测单元用于对无人机进行雷达探测，获取无人机的回波信号数据，并将无人机的回波信号数据发送至所述回波成像单元中；所述回波成像单元用于根据无人机的回波信号数据生成无人机的雷达回波图，并将无人机的雷达回波图发送至无线通信模块中；所述位置获取单元用于获取中转探测模块在地理坐标系中的位置坐标，包括经度值、纬度值、高度值，将中转探测模块所在空间位置坐标发送至所述无线通信模块中；

所述图像获取模块包括无人机图像获取单元、图像预处理单元；所述无人机图像获取单元、图像预处理单元均安装在系留气球下端，与所述中转探测模块集成在一个箱体中，所述无人机图像获取单元用于获取俯拍状态下的无人机深度图像，并将无人机深度图像发送至所述图像预处理单元中；所述图像预处理单元用于对无人机深度图像进行预处理，并将预处理后的无人机深度图像发送至所述无线通信模块中，所述无人机图像获取单元为深度相机，将中转探测模块所在空间位置坐标作为深度相机所在空间位置坐标；

所述无线通信模块包括并行发送单元、并行接收单元；所述并行发送单元设置在系留气球上，用于并行发送无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；所述并行接收单元设置在地面控制中心中，用于并行接收无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像；

所述图像识别模块设置在地面控制中心中，与所述无线通信模块中并行接收单元通信连接，包括雷达回波图识别单元、深度图像识别单元；所述雷达回波图识别单元用于根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息；所述深度图像识别单元用于根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息；

所述深度图像识别单元的具体处理过程如下：

S21：从无线通信模块中获取预处理后的无人机深度图像，预处理后的无人机深度图像的图像坐标系X轴与地理坐标系下的任一经度线或纬度线平行，利用已经过图像样本训练的第二目标识别网络，对预处理后的无人机深度图像中无人机进行识别，获取无人机检测框，并将无人机检测框从图像中裁剪下来，获取无人机检测框图像；

S22：对无人机检测框图像中所像素点与深度相机的距离值进行算数平均计算，将计算得到的值作为无人机与深度相机在地理坐标系下的实际距离，也即无人机与中转探测模块在地理坐标系下的实际距离，记为H1；

S23：利用中转探测模块获取的在地理坐标系中的高度值H2减去H1得到无人机在地理坐标系下的实际高度，记为Hc；

S24：计算得到预处理后的无人机深度图像中心像素点C1与无人机检测框图像中心像素点C2之间的线段C1C2与图像坐标系X轴之间的夹角Z1，以及中心像素点C1与中心像素点C2之间的像素距离差，夹角Z1作为无人机、中转探测模块之间的连线与地理坐标系中任一经度线或纬度线的实际夹角，根据深度图像的图像坐标系中像素距离与地理坐标系中实际距离之间的比例关系，计算得到像素距离差所对应的在地理坐标系下的实际距离，记为L1；

S25：利用L1、夹角Z1之间的几何关系计算得到无人机在地理坐标系下的经度值Jc、纬度值Wc，进而获取无人机在地理坐标系下的实际位置坐标。

2.根据权利要求1所述的一种用于无人机飞行器的目标识别系统，其特征在于：所述位置获取单元包括经纬度获取单元、高度获取单元；其中，所述经纬度获取单元为GPS定位组件，用于获取中转探测模块所在空间位置的经度值、纬度值，所述高度获取单元为气压式高度表，用于获取中转探测模块所在空间位置的高度值。

3.根据权利要求1所述的一种用于无人机飞行器的目标识别系统，其特征在于：所述雷达回波图识别单元的具体处理过程如下：

S11：从无线通信模块中获取当前无人机的雷达回波图，利用已经过图像样本训练的第一目标识别网络对雷达回波图中的形状进行识别并分类，获取当前无人机的雷达回波图中的形状类别信息；

S12：根据获取的形状类别信息在本地数据库中进行查找，获取当前无人机的型号信息。

4.根据权利要求3所述的一种用于无人机飞行器的目标识别系统，其特征在于：在所述步骤S12中，所述本地数据库包括类别-型号数据库与型号-预设飞行轨迹数据库，所述类别-型号数据库存储有雷达回波图中形状类别信息与无人机型号的对应关系，所述型号-预设飞行轨迹数据库中存储有无人机型号与预设飞行轨迹的对应关系。

5.一种用于无人机飞行器的目标识别方法，采用如权利要求4所述的目标识别系统对无人机进行目标识别工作，包括以下步骤：

S1：在地面控制中心的雷达探测系统故障时，启动中转探测模块，利用雷达探测获取无人机的回波信号数据，生成无人机的雷达回波图，并获取中转探测模块所在空间位置坐标；

S2：通过系留气球上的图像获取模块获取俯拍状态下的无人机深度图像，并对无人机深度图像进行预处理；

S3：通过无线通信模块并行传输无人机的雷达回波图、中转探测模块所在空间位置坐标、预处理后的无人机深度图像至地面控制中心；

S4：利用图像识别模块根据雷达回波图中的形状对当前无人机型号进行识别，获取当前无人机型号信息，并根据预处理后的无人机深度图像对当前无人机的实时位置进行识别，获取当前无人机的实时位置信息。

Images