CN114564049A

CN114564049A - 一种基于深度学习的无人机广域搜索的装置及方法

Info

Publication number: CN114564049A
Application number: CN202210279745.0A
Authority: CN
Inventors: 吴了泥; 郭伟杰; 李先江
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2022-05-31

Abstract

一种基于深度学习的无人机广域搜索的装置及方法，属于人工智能领域。装置包括无人机平台、嵌入式AI处理平台、高清相机阵列、光电吊舱、飞行控制计算机、数据传输设备和地面监控端。确定要搜寻的目标，初选几种适合使用的目标检测模型，对模型分别在准备好的目标数据集上用深度学习服务器训练，选择最合适的模型，保存训练时最好的一次模型权重；将嵌入式AI处理设备装载Ubuntu操作系统，配置目标检测算法运行环境；编写搜寻任务系统程序，设为开机启动程序；将所有设备装载到无人机平台，释放无人机执行任务；检测到疑似目标后，无人机降高盘旋调用光电吊舱低空确认目标。操作简单，成本和风险低；覆盖范围广，检测效率高，实时观察。

Description

一种基于深度学习的无人机广域搜索的装置及方法

技术领域

本发明属于人工智能领域，尤其是涉及一种基于深度学习的无人机广域搜索的装置及方法。

背景技术

地面目标搜索一向是比较费时费力的工作，尤其在广大的山区、沙漠等人烟稀少的地区，当前仍以大规模地面搜寻为主，需要与各层级政府协调，调动大量人员、车辆等资源。随着社会经济的发展，无人机技术在不断趋于成熟。无人机因其高耐用性、低成本、易于展开和灵活性高的特点，广泛应用于目标搜索任务中。光电吊舱在无人机平台的搭载与应用十分普遍，是目标搜索任务中最常使用的载荷之一。光电吊舱可以在无人机飞行过程中实时回传视频流，但缺点是像素较低，视场范围小。当需要在一个大的范围内进行扫描式搜索时，光电吊舱的执行效率显得有些吃力。

近年来，人工智能领域技术发展迅速，特别是计算机视觉方向的目标检测算法，无论是从检测的速度还是精度方面都有着长足的进步。由于对深度学习技术的不断深入探索，在目标检测领域已经发展出包括RCNN系列、SSD、YOLO系列在内的丰富多样的识别模型，并取得优秀的实际应用效果。

发明内容

本发明的目的在于针对现有技术的存在的局限，提供使用已经成熟的无人机技术搭载嵌入式AI处理平台和高清照机阵列，使用深度学习中目标检测的方法让无人机在高空中能够一次检测大范围地面环境并定位欲搜索目标物体的一种基于深度学习的无人机广域搜索的装置及方法。

为实现上述目的，本发明技术方案如下：

一种基于目标检测算法的无人机广域空间搜索的装置，包括无人机平台、嵌入式AI处理平台、高清相机阵列、光电吊舱、飞行控制计算机、数据传输设备和地面监控端；

所述嵌入式AI处理平台与高清相机阵列和光电吊舱使用USB连接以读取相机拍摄的视频图片数据，所述嵌入式AI处理平台与飞行控制计算机串口连接读取无人机相关数据信息；

所述数据传输设备连接所述嵌入式AI处理平台与地面监控端，所述数据传输设备还连接所述飞行控制计算机与地面监控端；

所述无人机平台，用于搭载嵌入式AI处理平台、摄像机、光电吊舱以及飞行控制计算机；

所述嵌入式AI处理平台，具有较强的复杂运算能力，拥有不同的数据接口，可以同时以多种方式与外部设备进行数据交互；该平台不仅需要负责相机拍照控制以及实时目标检测与定位等工作，还需要负责与无人机平台各硬件的通信；

所述高清相机阵列，为多个相机并行使用，一次拍摄非常广的地面区域，并将图片数据传入嵌入式AI处理平台；

所述光电吊舱包括摄像机和云台，用于发现疑似目标后近距离确认或排除目标。

所述飞行控制计算机是无人机的核心组成部分，用于负责无人机的飞行与控制，将无人机的实时位置、姿态、高度信息传给嵌入式AI处理平台和地面监控端；

所述数据传输设备分为数传链路和图传链路，可以分别传送信息数据和图片数据信息。设备主要任务是把嵌入式AI处理平台画面、光电吊舱以及无人机实时位置、姿态、高度信息传送给地面监控端，并转发地面监控端的命令给飞行控制计算机和嵌入式AI处理平台；

所述地面监控端，包括显示屏和地面站软件，用于监控无人机的状态，接收嵌入式AI处理平台传回的处理结果并实时显示。

进一步地，相机阵列由许多小的子相机组成，各子相机之间的距离不同，整个相机阵列就有不同的用途。当所有的子相机之间的距离比较小时，也就是相机紧挨着放在一起，这时整个相机阵列可以看作一个单中心投影相机。这时整个相机阵列可以用来产生超分辨率、高信噪比、高动态范围的照片。

具体的，所述高清相机阵列分别装载于无人机两侧，并且呈一字排开，在执行任务时无人机飞行在较高的空中，这样相机可以捕捉到无人机两边非常广的视野；为了保证不会有未检测到的盲区，两边相机拍照区域在无人机正下方处有小范围重叠。此外，无人机的飞行速度需要与相机拍照的时间间隔相匹配，在保证一定范围的区域重叠前提下，相机在下一次拍照时，无人机已经飞出上次拍照的区域，避免大范围的区域重叠。

更进一步地，所述目标检测算法模型可从MMDetection算法库选用，也可使用其它高效的算法，根据每次飞行搜索任务的不同，可以采用不同的检测算法；所述MMDetection算法库是一个目标检测工具箱，其中包含一组丰富的目标检测和实例分割方法以及相关的组件和模块，该目标检测工具箱开始基于赢得了COCO Challenge 2018检测赛道的MMDet团队的代码库，之后逐渐演变成一个统一的平台，涵盖许多流行的检测方法和当代模块。它不仅包括训练和推理代码，还提供了200多个网络模型的权重。

更进一步地，所述地面监控端包括显示屏和地面站软件，所述显示屏用于显示嵌入式AI处理平台传回的主机画面，可以实时观察系统运行的画面和处理结果；所述地面站软件，可以实时显示无人机的位置、姿态信息以及其他参数，发送命令控制无人机的飞行状态。

本发明还提供一种基于目标检测的无人机载广域目标搜寻方法，包括如下步骤：

S1、首先确定想要搜寻的目标，从互联网下载或者购买目标数据集；

S2、根据搜寻目标大小、搜寻地形和装置硬件等特性在MMDetection算法库等中初步选择几种适合使用的目标检测模型；

S3、对步骤S3中几种目标检测模型分别在准备好的目标数据集上使用深度学习服务器训练，比较其性能，选择最合适的模型，保存训练时最好的一次模型权重；

S4、将嵌入式AI处理设备装载Ubuntu操作系统，配置好目标检测算法运行环境；

S5、在步骤S4嵌入式AI处理设备平台中编写搜寻任务的系统程序，将系统程序设为嵌入式AI处理平台开机启动程序；

S6、将所有设备装载到无人机平台，释放无人机执行任务；

S7、检测到疑似目标后，无人机降高盘旋并调用光电吊舱低空确认目标。

进一步地，在步骤S5中，所述搜寻任务的系统程序设为机载设备开机启动程序，并对机载设备进行稳定性测试，以保证开机顺利执行预先设定的系统程序。

与传统广域搜索技术相比，本发明有以下突出的技术效果：

1、本发明是运用目前应用甚广的深度学习方法，将无人机技术与人工智能领域的方法相结合，使无人机在飞行过程中可以实时拍摄地面照片并加以识别，能够做到实时检测目标，并且能够跨越山川和地域，不受地形因素的制约，操作简单方便，成本低廉，降低技术和搜索人员在复杂环境中所遇到的风险；

2、与传统的卫星、雷达等遥感搜寻技术相比，本发明采用的是相机阵列，可以并行使用多个高清小相机，覆盖范围广，检测效率高。

3、本装置让高清相机阵列与光电吊舱结合使用，高清相机可以在高空拍摄地面图像，光电吊舱在无人机低空状态下用来确认目标，做到高空检测，低空确认。

4、本装置和方法通过地面站软件实时监控无人机飞行状态，工作人员可以看到嵌入式AI处理平台回传的图片数据流，实时观察检测的过程和结果。

附图说明

图1为本发明装置的整体架构图。

图2为本发明的实施步骤流程图。

图3为本发明的图像采集子系统工作流程图。

图4为本发明的目标检测子系统工作流程图。

图5为相机阵列在无人机平台左右的摆放方式示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

如图1所示，一种基于目标检测算法的无人机广域空间搜索的装置，包括无人机平台、嵌入式AI处理平台、高清相机阵列、光电吊舱、飞行控制计算机，数据传输设备，地面监控端。所述嵌入式AI处理平台与高清相机阵列和光电吊舱使用USB连接以读取相机拍摄的视频图片数据，所述嵌入式AI处理平台与飞行控制计算机串口连接读取无人机相关数据信息。

所述无人机平台，用于搭载嵌入式AI处理平台、摄像机、光电吊舱以及飞行计算机；

所述嵌入式AI处理平台，具有较强的复杂运算能力，拥有不同的数据接口，同时以多种方式与外部设备进行数据交互；该平台不仅需要负责相机拍照控制以及实时目标检测与定位等工作，还需要负责与无人机平台各硬件的通信；

所述高清相机阵列，是多个相机并行使用，可以一次拍摄非常广的地面区域，将图片数据传入嵌入式AI处理平台；

所述飞行控制计算机是无人机的核心组成部分，负责无人机的飞行与控制，将无人机的实时位置、姿态、高度信息传给嵌入式AI处理平台和地面监控端，；

所述数据传输设备分为数传链路和图传链路，可以分别传送信息数据和图片数据信息。设备主要任务是把嵌入式AI处理平台画面、光电吊舱以及无人机实时位置、姿态、高度信息传送给地面监控端，转发地面监控端的命令给飞行控制计算机和嵌入式AI处理平台；

具体的，所述高清相机阵列分别装载于无人机两侧，并且呈一字排开，在执行任务时无人机飞行在较高的空中，这样相机可以捕捉到无人机两边非常广的视野。为了保证不会有未检测到的盲区，两边相机拍照区域在无人机正下方处有小范围重叠。此外，无人机的飞行速度需要与相机拍照的时间间隔相匹配，在保证一定范围的区域重叠前提下，相机在下一次拍照时，无人机已经飞出上次拍照的区域，避免大范围的区域重叠。

更进一步地，所述目标检测算法模型可以从MMDetection算法库选用，也可以使用其它高效的算法，根据每次飞行搜索任务的不同，可以采用不同的检测算法。MMDetection算法库是一个目标检测工具箱，其中包含一组丰富的目标检测和实例分割方法以及相关的组件和模块。该工具箱一开始是基于赢得COCO Challenge 2018检测赛道的MMDet团队的代码库，之后逐渐演变成一个统一的平台，涵盖许多流行的检测方法和当代模块。它不仅包括训练和推理代码，还提供了200多个网络模型的权重。

更进一步地，所述地面监控端包括显示屏和地面站软件，所述显示屏用于显示嵌入式AI处理平台传回的主机画面，可以实时观察系统运行的画面和处理结果；所述地面站是一个软件，可以实时显示无人机的位置、姿态信息以及其他参数，发送命令控制无人机的飞行状态。

如图2所示，本发明还提供一种基于目标检测的无人机载广域目标搜寻方法，包括如下步骤：

S1、首先确定想要搜寻的目标，并从互联网下载或者购买目标数据集。

S2、根据搜寻目标大小、搜寻地形和装置硬件等特性在MMDetection算法库中初步选择几种适合使用的目标检测模型。

S3、对所述S3中几种模型分别在准备好的目标数据集上使用深度学习服务器进行训练，并比较其性能，选择最合适的模型，并保存训练时最好的一次模型权重。

S4、将嵌入式AI处理设备装载Ubuntu操作系统，并配置好目标检测算法运行环境。

S5、在所述S4嵌入式AI处理平台中编写搜寻任务的系统程序，并将此系统程序设为嵌入式AI处理平台开机启动程序。

S6、将本装置中所有设备装载到无人机平台，并释放无人机执行任务。

进一步地，将所述S5搜索任务系统程序设为机载设备开机启动程序，并对机载设备进行稳定性测试，保证其开机可以顺利的执行预先设定的系统程序。

进一步的，S5所述的系统分为两个子系统，即图像采集子系统和目标检测子系统。

具体的，图像采集子系统用于负责相机检测、拍照控制以及图像传输与存储等功能。该子系统的工作流程如图3所示。

1)相机检测

相机通过USB连接线与嵌入式处理平台连接，此步骤则是用于检查两者之间的连接状态。直到相机能被平台成功识别之后，才进入下一步骤的运行，否则将循环执行此步骤。

2)触发拍照

若相机已经成功连接，嵌入式处理平台将自动开始对相机进行拍照控制。系统设计了三种拍照模式，相机可以按自身最快响应速度进行拍照，也可以根据所设置的时间间隔进行定时拍照或根据所设置的距离间隔进行定距拍照。

3)读取照片

从相机中读取当前所拍摄的图像并传输至嵌入式处理平台中。出于提高效率的考虑，图像将直接从相机的内存中高速读取，然后暂存到嵌入式处理平台的内存中，不经过相机SD卡存储等低速环节。

4)读取信息

从无人机的飞行控制计算机中获取信息。飞行控制计算机是无人机的核心组成部分，用于负责无人机的飞行与控制。飞行控制计算机提供了精确的经纬度、速度、飞行高度与姿态信息，系统实时获取这些信息并与每一张航拍图像进行匹配。

5)本地存储

将嵌入式处理平台内存中的原始图像存至本地磁盘，同时存储对应的经纬度、速度、飞行高度与姿态信息。该步骤保留了全部原始未处理数据，可供后续离线分析使用。

6)存入队列

系统在内存中采用了队列机制，负责两个子系统间的数据交换。该步骤将内存中的原始图像和对应的参数信息放入队列中，供后续目标检测子系统继续处理。

具体的，目标检测子系统用于负责对图像进行目标检测、疑似目标定位以及实时回传至地面显示等功能。该子系统的工作流程如图4所示。

1)数据出队

经过图像采集子系统的处理后，原始图像和对应的无人机数据已经暂存在内存队列中。此步骤将所暂存的数据按先进先出原则成对取出，供后续的图像目标检测与疑似目标定位使用。

2)目标检测

对图像应用目标检测算法进行疑似目标识别。由于航空图像视场大、背景复杂、目标小且分布稀疏的特点，目标检测算法无法一次性检测整张图像，往往需要进行多次处理。在嵌入式处理平台中。在推理阶段，首先将图像直接分割成等大小的n*n块，n值的选择取决于图像的分辨率和待搜索目标的大小。若待搜索目标相对较小，则应选择大的n值进行更精细的识别；反之，n选择小值以节省硬件性能。然后，对所分割的每一块图像单独进行目标检测，全部处理完成后再将图像拼接，并截取疑似目标图像暂存于嵌入式处理平台的内存中。

3)目标定位

图像采集子系统会为每一张图像记录一个地理坐标，但所记录的坐标只是相机拍摄瞬间无人机的位置。设计算法将疑似目标的XY坐标映射到具体的地理坐标中。映射算法的处理流程描述如下：

a)根据无人机对地高度与相机的传感器尺寸、镜头焦距和分辨率参数，计算图像对应于真实区域的覆盖范围；

b)以图像中心点为坐标原点，对于图像中的每个坐标XY，根据无人机的飞行航向，将其旋转到北向坐标系；

c)根据相机分辨率与图像对应真实区域的覆盖范围，计算每个像元的宽度和高度；

d)结合像元大小与旋转到大地坐标系后的XY坐标，计算坐标XY相对于图像中心坐标的距离与方位；

e)图像中心点的地理坐标可视为与可视为与所记录的坐标等同，已知一点经纬度与另一点的距离和夹角，即可求得坐标XY所在位置的真实地理坐标。

4)本地存储

将检测后的图像与疑似目标定位信息存至本地磁盘，供后续离线分析使用。

5)结果回传

对疑似目标图像按检测结果评分进行进一步筛选、拼接，以方便通过图传链路实时回传至地面。

高清相机阵列在无人机平台左右的摆放方式可参考图5。

Claims

1.一种基于深度学习的无人机广域搜索的装置，其特征在于包括无人机平台、嵌入式AI处理平台、高清相机阵列、光电吊舱、飞行控制计算机、数据传输设备和地面监控端；

所述光电吊舱包括摄像机和云台，用于发现疑似目标后近距离确认或排除目标；

所述数据传输设备分为数传链路和图传链路，可以分别传送信息数据和图片数据信息；设备用于把嵌入式AI处理平台画面、光电吊舱以及无人机实时位置、姿态、高度信息传送给地面监控端，并转发地面监控端的命令给飞行控制计算机和嵌入式AI处理平台；

2.如权利要求1所述一种基于深度学习的无人机广域搜索的装置，其特征在于所述高清相机阵列由许多小的子相机组成，各子相机之间的距离不同，整个相机阵列就有不同的用途；当所有的子相机之间的距离比较小时，整个相机阵列作为一个单中心投影相机，用来产生超分辨率、高信噪比、高动态范围的照片。

3.如权利要求1所述一种基于深度学习的无人机广域搜索的装置，其特征在于所述高清相机阵列分别装载于无人机两侧，并且呈一字排开，在执行任务时无人机飞行在较高的空中，相机用于捕捉无人机两边广的视野；为保证不会有未检测到的盲区，两边相机拍照区域在无人机正下方处有小范围重叠；无人机的飞行速度要与相机拍照的时间间隔相匹配，在保证一定范围的区域重叠前提下，相机在下一次拍照时，无人机已经飞出上次拍照的区域，避免大范围的区域重叠。

4.如权利要求1所述一种基于深度学习的无人机广域搜索的装置，其特征在于所述地面监控端包括显示屏和地面站软件，所述显示屏用于显示嵌入式AI处理平台传回的主机画面，实时观察系统运行的画面和处理结果；所述地面站软件，用于实时显示无人机的位置、姿态信息以及其他参数，发送命令控制无人机的飞行状态。

5.一种基于目标检测的无人机载广域目标搜寻方法，其特征在于包括如下步骤：

S2、根据搜寻目标大小、搜寻地形和装置硬件等特性初步选择几种适合使用的目标检测模型；

S6、将所有设备装载到无人机平台，释放无人机执行任务；

6.如权利要求5所述一种基于目标检测的无人机载广域目标搜寻方法，其特征在于在步骤S2中，所述目标检测模型从MMDetection算法库选用，或使用其它高效算法，根据每次飞行搜索任务的不同，采用不同的检测算法；所述MMDetection算法库是一个目标检测工具箱，其中包含一组丰富的目标检测和实例分割方法以及相关的组件和模块，不仅包括训练和推理代码，还提供200多个网络模型的权重。

7.如权利要求5所述一种基于目标检测的无人机载广域目标搜寻方法，其特征在于在步骤S5中，所述搜寻任务的系统程序设为机载设备开机启动程序，并对机载设备进行稳定性测试，以保证开机顺利执行预先设定的系统程序。