CN112991487B - 一种多线程实时构建正射影像语义地图的系统 - Google Patents

Abstract

本发明公开了一种多线程实时构建正射影像语义地图的系统，包括无人机光电吊舱、AI边缘计算设备、电台和综合控制计算机；无人机光电吊舱，用于采集地面地形的航拍图像；AI边缘计算设备，用于根据航拍图像构建二维正射影像地图和对环境要素进行识别并分割；电台，用于将二维正射影像地图和环境要素的分割结果传输至综合控制计算机；综合控制计算机，用于根据分割结果对二维正射影像地图进行分色标注，形成二维正射影像语义化地图。本发明的目的在于提供一种多线程实时构建正射影像语义地图的系统，通过在无人机上搭建AI边缘计算设备，将二维正射影像地图的构建从地面工作站转移至AI边缘计算设备使得图像拼接的实时性和时效性更高。

Description

一种多线程实时构建正射影像语义地图的系统

技术领域

本发明涉及单兵侦察领域技术领域，尤其涉及一种多线程实时构建正射影像语义地图的系统。

背景技术

近年来，随着对无人机航测领域的深入探索，无人机倾斜摄影技术得到快速的发展。利用基于无人机倾斜摄影的平台，可以快速得到目标地区的大量视频图像地理细节信息，再通过高速的图传技术将视频和图像信息传输至地面工作站，并对获取的地图信息进行处理，来帮助从业人员更全面和直观的了解航测区域的实际情况。基于无人机航拍图像的地图即时拼接生成技术因其成本低廉、效率高、机动灵活、部署简洁等特点，被广泛运用在单兵班组战场侦察、目标识别与辅助导航等军事领域。但是，无人机作为一种微型化的航测平台，其飞行高度和吊舱镜组焦距有限，导致获取的单张航测图像对于需要侦测的全局环境而言信息细节较少。为了获得侦测区域的完整地理信息，需要把无人机按照既定航迹拍摄的对地图像进行一系列处理，包括校正、拼接等，最后合成一幅能够包含所有航拍区域的高分辨率二维正射影像地图。高分辨率二维正射影像地图包括了大量的地理信息，包括建筑、水域、道路、桥梁、植被等地理属性信息，利用人工智能技术将高分辨率二维正射影像地图进行快速环境要素识别和分割，提取出其中的语义信息，可以帮助从业人员快速了解目标区域的环境信息，并在地图上补齐所勘察所关注的信息要素，形成可被机器识别的语义化地图，有效的提升班组环境感知能力和地形勘察任务执行效率。

现有的基于无人机倾斜摄影的高分辨率二维正射影像地图构建均是离线构建，即选定无人机飞行航迹，飞行区域后，无人机先飞行采集航拍图像，等待无人机返航后导出飞行期间拍摄的航拍图像在地面工作站进行高分辨率二维正射影像地图构建。

通过现有方式探测不能实时有效反映目标区域的目标要素变化情况，且存在时效性差，信息不全面等问题，作业综合勘察能力被严重削弱，无法满足当前军事作业工程对实时性/准确率以及鲁棒性的要求。

发明内容

本发明的目的在于提供一种多线程实时构建正射影像语义地图的系统，通过在无人机上搭建AI边缘计算设备，将二维正射影像地图的构建从地面工作站或云端转移至无人机上的AI边缘计算设备，使得无人机在按照航线飞行的过程中便完成对二维正射影像地图的构建，从而使得图像拼接的实时性和时效性更高。

本发明通过下述技术方案实现：

多线程实时构建正射影像地图和地理信息要素的系统，包括无人机光电吊舱、AI边缘计算设备、电台以及综合控制计算机；

所述无人机光电吊舱，用于采集地面地形的航拍图像；

所述AI边缘计算设备，搭载于所述无人机吊舱平台上，用于根据所述航拍图像构建二维正射影像地图；还用于对所述二维正射影像地图中的环境要素进行识别并分割；

所述电台，用于将所述二维正射影像地图和所述环境要素的分割结果传输至所述综合控制计算机；

其中，所述分割结果为各分割区域的位置数据；

所述综合控制计算机，用于根据所述分割结果对所述二维正射影像地图进行分色标注，形成二维正射影像语义化地图。

优选地，所述AI边缘计算设备包括CPU和GPU；

所述CPU，用于根据所述航拍图像构建所述二维正射影像地图；

其中，所述CPU，设置有图像采集线程、图像拼接线程以及图像传输线程；

所述图像采集线程，用于从所述无人机光电吊舱获取所述航拍图像，并将所述航拍图像储存至CPU中的图像缓存队列；

所述图像拼接线程，用于从所述图像缓存队列中按时序读取所述航拍图像，按照图像深浅融合特征并结合所述航拍图像自带的POS数据信息对所述航拍图像进行拼接，直至得到所述二维正射影像地图；

所述图像传输线程，用于将所述图像拼接线程实时拼接的图像数据传输至所述综合控制计算机；

所述GPU，用于对所述二维正射影像地图中的环境要素进行识别并分割，以得到所述二维正射影像地图的语义化信息。

优选地，所述电台包括图传电台和数传电台；

所述图传电台，用于将所述二维正射影像地图传输至所述综合控制计算机；

所述数传电台，用于将所述分割结果传输至所述综合控制计算机。

优选地，所述综合控制计算机设置有可视化界面，以实时查看所述二维正射影像地图的动态拼接过程。

优选地，所述图像采集线程包括图像配准子进程，所述图像配准子进程包括以下处理过程：

提取所述航拍图像的特征点和参照图像的特征点；

将所述航拍图像的特征点和所述参照图像的特征点分别输入预先训练好的VGG-19网络，得到所述航拍图像的深度特征描述子和所述参照图像的深度特征描述子；

将所述航拍图像的颜色信息特征和尺度不变特征进行融合，得到所述航拍图像的浅层次融合特征；将所述参照图像的颜色信息特征和尺度不变特征进行融合，得到所述参照图像的浅层次融合特征；

将所述航拍图像的深度特征描述子和所述航拍图像的浅层次融合特征进行融合，得到所述航拍图像的深浅层次融合特征；将所述参照图像的深度特征描述子和所述参照图像的浅层次融合特征进行融合，得到所述参照图像的深浅层次融合特征；

将所述航拍图像的深浅层次融合特征和所述参照图像的深浅层次融合特征进行特征点匹配，并根据匹配结果进行插值和坐标转换，以获取配准结果。

优选地，所述图像采集线程还包括图像融合子进程，当所述图像配准子进程完成对所述航拍图像的配准后，所述图像融合子进程用于将配准后的所述航拍图像进行融合。

优选地，对所述二维正射影像地图中的环境要素进行识别并分割包括以下处理过程：

对所述二维正射影像地图进行裁剪，以获取固定尺寸的影像地图；

对所述影像地图交替进行14次卷积运算和6次池化运算，以提取所述影像地图的深度特征；

将所述深度特征分别进行4次不同大小的空洞卷积运算，以得到第一加强深度特征、第二加强深度特征、第三加强深度特征以及第四加强深度特征；

将所述第一加强深度特征、所述第二加强深度特征、所述第三加强深度特征以及所述第四加强深度特征通过串并联的方式进行连接、相加和合并，以获得所述影像地图的多尺度特征图的特征信息；

对所述多尺度特征图的特征信息依次进行上采样和卷积运算，再经过sigmoid函数将所述多尺度特征图的预测结果映射至[0,1]区间，以得到所述二维正射影像地图的环境要素预测结果。

本发明与现有技术相比，具有如下的优点和有益效果：

1、利用无人机搭载的AI边缘计算设备完成高分辨率二维正射影像地图的构建，以及高分辨率二维正射影像地图中的环境要素智能识别与分割，提取出了二维正射影像地图中的语义化信息。有效的避免了在云端或在地面端实现拼接可能会出现的传输延时过大导致采集图像队列溢出的问题；在边缘端实现二维正射影像地图生成使得图像拼接的实时性和时效性更高，同时也充分利用了AI边缘计算设备的计算资源，避免了为了传输更高分辨率航拍图像需要使用更大带宽更高功率的图传电台而导致的硬件资源性能过剩和浪费；

2、使用深浅层次融合特征的图像配准方法特征点匹配的精度更高，执行效率和实时性更高，同时还具有抗几何失真、抗光照变化等优点；

3、采用端到端的深度神经网络模型对二维正射影像地图进行识别和分割，同时使用指数线性单元为其激活函数，有效的避免了由于ReLU函数可能出现神经元“失活”和网络权值无法迭代更新的情况，而且不会增加网络模型训练的参数量。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本系统的硬件部署和信号走向框图；

图2为本发明图像配准线程算法流程图；

图3为本发明二维正射影像地图可视化界面的示意图；

图4为本发明二维正射影像地图生成和地形要素智能感知任务流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

一种多线程实时构建正射影像语义地图的系统，如图1所示，包括无人机光电吊舱、AI边缘计算设备、电台以及综合控制计算机；

无人机光电吊舱，用于采集地面地形的航拍图像；

AI边缘计算设备，搭载于无人机吊舱平台上，用于根据航拍图像构建二维正射影像地图；还用于对二维正射影像地图中的环境要素进行识别并分割；

电台，用于将二维正射影像地图和环境要素的分割结果传输至综合控制计算机；

其中，分割结果为各分割区域的位置数据；

综合控制计算机，用于根据分割结果对二维正射影像地图进行分色标注，形成二维正射影像语义化地图。

现有的基于无人机倾斜摄影的高分辨率二维正射影像地图构建均是离线构建，即选定无人机飞行航迹和飞行区域后，无人机先飞行采集视频图像，等待无人机返航后导出飞行期间拍摄的视频图像再在地面工作站进行高分辨率二维正射影像地图构建，因此存在时效性差等问题，无法满足当前军事作业工程对实时性、准确率以及鲁棒性的要求。

基于此，在本方案中，通过在无人机上搭建AI边缘计算设备，将二维正射影像地图的构建从地面工作站或云端转移至无人机上的AI边缘计算设备，使得无人机在按照航线飞行的过程中便完成对二维正射影像地图的构建，避免了在云端或在地面端构建二维正射影像地图时，因拼接出现的传输延时过大而导致采集图像队列溢出的问题；同时，由于二维正射影像地图的构建在边缘端实现，从而使得图像拼接的实时性和时效性更高，也避免了因离线构建时，需要传输高分辨率航拍图像而需要使用更大带宽和更高功率的图传电台而导致的硬件资源性能过剩和浪费等现象。

具体地，本实施例中的AI边缘计算设备包括CPU(中央处理器)和GPU(图像处理器)；其中，CPU用于根据航拍图像构建二维正射影像地图；GPU，用于对构建的二维正射影像地图中的环境要素进行快速识别和分割，得到二维正射影像地图的语义化信息。

考虑到AI边缘计算设备属于边缘计算设备，计算能力有限，为了有效的利用AI边缘计算设备的资源，提高航拍地图的实时拼接处理速度，在本实施例中采用了CPU多线程并发技术，在CPU中开辟了多个线程并行运算，在最大程度上利用了嵌入式平台的运算资源，提升了CPU的利用率，同时也有效的降低了无人机视频图像拼接处理的运行时间。

具体地，本实施例中的CPU开设了三个线程，包括图像采集线程、图像拼接线程以及图像传输线程；

图像采集线程，用于从无人机光电吊舱获取实时拍摄的航拍图像，并将获取的航拍图像储存至图像缓存队列；

图像拼接线程，用于从图像缓存队列中按时序读取航拍图像，并结合航拍图像自带的POS数据，依次进行图像配准和图像融合两个子流程。

在图像配准的过程中，如图2所示，首先提取待配准图像的特征点和参照图像的特征点，并分别将待配准图像的特征点和参照图像的特征点输入已经经过预训练的VGG-19网络中，输入的特征点经过VGG-19网络中多个交替的卷积层与池化层后，在网络的全连接层提取得到待配准图像的图像深度特征描述子(待配准图像的深层特征)和参照图像的图像深度特征描述子(参照图像的深层特征)；其次，再分别提取待配准图像和参照图像的图像颜色信息特征和尺度不变特征变换的复合特征(浅层融合特征)；然后，将待配准图像和参照图像的两种层次特征(深层特征和浅层融合特这)融合形成深浅层次融合特征；最后，将待配准图像的深浅层次融合特征和参照图像的深浅层次融合特征进行特征点匹配，并依据特征点的匹配结果完成图像的插值和坐标换算，最后输出基于复合特征对航拍影像地图快速配准结果。完成图像配准后便进入图像融合子线程，由于本申请并不涉及对图像融合的改进，因此，本实施例中不对图像融合的具体流程做进一步赘述。

图像传输线程，用于将图像拼接线程拼接的图像数据实时传输至综合控制计算机，即：AI边缘计算设备将每张新入地图进行拼接融合后的更新地图通过电台实时传送至综合控制计算机。

在本实施例中，首先利用卷积神经网络VGG19模型提取深度特征；其次再提取图像颜色信息特征和尺度不变特征变换的复合浅层次特征；最后将深度特征和浅层次特征融合形成深浅层次融合特征后再进行特征点对比，使航拍图像的内容得到更全面的表达。而传统的尺度不变特征变换算法只能描述图像的低层次特征，缺乏对深度特征表达。相比之下，本实施例所使用的深浅层次融合特征的图像配准方法特征点匹配的精度更高，执行效率和实时性更高，同时还具有抗几何失真、抗光照变化等优点。

进一步地，在本实施例中，为了实现对生成的二维正射影像地图进行快速识别和分割，得到二维正射影像地图的语义化信息。本实施例基于最佳的基础网络模型Unet模型结构，提出了一种端到端的深度神经网络模型EFBDNet，该EFBDNet网络模型主要由编码器、特征提升、解码器三大结构组成。

具体的，当使用该EFBDNet网络模型对二维正射影像地图进行快速识别和分割时，首先对CPU生成的二维正射影像地图进行一定的裁剪，形成多张固定尺寸的影像地图并输入编码器网络部分。编码器网络部分设计有7层，用于对输入的影像地图交替进行14次卷积运算和6次池化运算，从而使得影像地图的图像特征图分辨率缩小至原始输入图像大小的1/64，特征图像的通道数会增加为经过第一次卷积运算后获得的特征图通道数的12倍；随后，各特征图(经编码器网络部分提取的多个深度特征)进入特征提升网络结构部分，该部分一共进行了4种不同尺寸大小的空洞卷积运算，将经过不同大小的空洞卷积后的特征图通过串并联的方式进行连接，相加合并，获得多尺度特征图的特征信息，实现了特征提升；最后经过特征提升后的网络特征图输入解码器结构，此部分主要进行上采样和卷积运算，设计有7层，经过6次上采样，12次卷积运算，再经过sigmoid函数将特征图的预测结果映射至[0,1]区间，得到提取出的二维正射影像地图环境要素预测结果。

由于在该网络结构中使用了指数线性单元为其激活函数，因此可以有效的避免由于ReLU函数可能出现神经元“失活”和网络权值无法迭代更新的情况，同时还不会增加网络模型训练的参数量；其次，本方案在特征提升网络结构的中间添加了空洞卷积算子，目的是为了避免图像的信息细节出现损失，它在标准卷积核的基础上添加一定的零值进行填充，形成具有一定空洞率的卷积核。如此则可以在不降低空间分辨率的同时增大单个像素的感受野，并且保留原始航拍影像地图的细节信息。由于其插入的零值部分并不会参与运算，所以空洞部分不会增加额外的运算量，可以实现更好的语义分割效果。在形成了可训练的EFBDNet网络架构后，通过前期采集的各类航拍地图分割数据集输入网络进行训练，得到数据模型，导出后通过层间融合和张量融合后部署在AI边缘计算端，完成对生成的二维正射影像地图进行快速识别和分割，提取出地形全要素信息，包括建筑、水域、道路、桥梁、地形、植被等地理属性信息，并记录各分割区域的封闭位置数据，同时将封闭位置数据通过电台传输至综合控制计算机。

在本实施例中，利用了深度神经网络自主学习多层次特征的能力，提出了“Encoder-FeatrueBoost-Decoder”结构的深度神经网络模型EFBDNet，并利用了AI边缘计算设备(嵌入式GPU)的硬件优势对网络层间的横向或纵向合并(层间融合和张量融合)，使得层的数量大大减少，整个模型结构会更小，更快，更高效，最终实现了端到端的高分辨率二维正射影像地图地形全要素语义化信息的快速提取和精准分割。相比于传统的地面地理信息分割及提取方法，端到端的分类模型不需要不需要分步先提取出特定的手工设计特征再找寻其他特征最后再分割，而仅仅需要将原始数据输入到神经网络模型中即可得到二维正射影像地图地形全要素信息。

进一步地，本实施例中的电台包括图传电台和数传电台；

图传电台，用于将二维正射影像地图传输至综合控制计算机，保证无人机可以实现远距离高质量高速的图像传输；

数传电台，用于将分割结果传输至综合控制计算机。

进一步地，本实施例的综合控制计算机上设置有二维正射影像地图生成可视化界面，在该可视化界面中可以实时查看二维正射影像地图构建的动态过程，即无人机端每拼接一张航拍地图，综合控制计算机上的二维正射影像地图生成可视化界面就刷新一次。这样可以更直观和动态地展示无人机航迹、当前获取的航拍图像与实时拼接形成二维正射影像地图的同步过程。具体地，本实施例中的可视化界面共有3个窗口区域，分别是当前获取的最新一帧航拍图像显示区域(1号窗口)，航拍图像实时拼接显示区域(2号窗口)和无人机当前航迹栅格显示区域(3号窗口)。界面具体布局见如图3所示。

以下，对本实施例的工作流程做进一步说明，如图4所示：

(1)无人机光电吊舱参数设置，准备起飞

起飞前，操作人员设置好无人机飞行航迹、航向重叠比、旁向重叠比，飞行高度，影像分辨率，图像采集张数等参数，完成光电吊舱的初始化；

(2)无人机起飞至指定目标区域，开始按照事先设定好的方案采集目标区域影像地图；

(3)无人机机载AI边缘计算设备读取光电吊舱采集的视频图像

光电吊舱采集到航拍图像后，无人机机载AI边缘计算设备通过硬件采集卡读取图像进入AI边缘计算设备内存，等待被图像拼接线程读取；

(4)无人机机载AI边缘计算设备开辟多线程，分别进行采集图像传输、图像拼接以及拼接完成图像的实时传输；

(5)等待整个目标区域图像采集完毕，形成目标区域的二维正射影像地图

重复(4)中三个线程中的工作任务，直到无人机飞完整个既定的航迹，并形成目标区域的二维正射影像地图；

(6)对生成的二维正射影像地图进行快速识别和分割，分割的语义化信息结果通过数传电台传输至综合控制计算机；

(7)在二维正射影像地图上进行分割区域的分色标注显示，形成二维正射影像语义化地图；

综合控制计算机将接收到的各分割区域的封闭位置数据形成封闭的分色区域图，并绘制在二维正射影像地图上，形成可直观显示具有地理信息属性的二维正射影像语义化地图。

(8)二维正射影像语义化地图，显示在二维正射影像地图地理信息要素可视化界面中

二维正射影像地图地理信息要素可视化界面中显示完成地形要素信息叠加的二维正射影像语义化地图，操作人员可以通过鼠标等交互方式选取想要查看的某个地理属性区域的二维正射影像地图，当鼠标指向某个区域时，在二维正射影像地图地理信息要素可视化界面上该区域对应的二维正射影像语义化地图会被放大，用以突出显示。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种多线程实时构建正射影像语义地图的系统，其特征在于，包括无人机光电吊舱、AI边缘计算设备、电台以及综合控制计算机；

所述无人机光电吊舱，用于采集地面地形的航拍图像；

所述AI边缘计算设备，搭载于所述无人机吊舱平台上，用于根据所述航拍图像构建二维正射影像地图；还用于对所述二维正射影像地图中的环境要素进行识别并分割；

所述AI边缘计算设备包括CPU和GPU；

所述CPU，用于根据所述航拍图像构建所述二维正射影像地图；

其中，所述CPU，设置有图像采集线程、图像拼接线程以及图像传输线程；

所述图像采集线程，用于从所述无人机光电吊舱获取所述航拍图像，并将所述航拍图像储存至图像缓存队列；

所述图像采集线程包括图像配准子进程，所述图像配准子进程包括以下处理过程：

提取所述航拍图像的特征点和参照图像的特征点；

将所述航拍图像的特征点和所述参照图像的特征点分别输入预先训练好的VGG-19网络，得到所述航拍图像的深度特征描述子和所述参照图像的深度特征描述子；

将所述航拍图像的颜色信息特征和尺度不变特征进行融合，得到所述航拍图像的浅层次融合特征；将所述参照图像的颜色信息特征和尺度不变特征进行融合，得到所述参照图像的浅层次融合特征；

将所述航拍图像的深度特征描述子和所述航拍图像的浅层次融合特征进行融合，得到所述航拍图像的深浅层次融合特征；将所述参照图像的深度特征描述子和所述参照图像的浅层次融合特征进行融合，得到所述参照图像的深浅层次融合特征；

将所述航拍图像的深浅层次融合特征和所述参照图像的深浅层次融合特征进行特征点匹配，并根据匹配结果进行插值和坐标转换，以获取配准结果；

所述图像拼接线程，用于从所述图像缓存队列中按时序读取所述航拍图像，按照图像深浅融合特征并结合所述航拍图像自带的POS数据信息对所述航拍图像进行拼接，直至得到所述二维正射影像地图；

所述图像传输线程，用于将所述图像拼接线程实时拼接的图像数据传输至所述综合控制计算机；

所述GPU，用于对所述二维正射影像地图中的环境要素进行识别并分割，以得到所述二维正射影像地图的语义化信息；

所述电台，用于将所述二维正射影像地图和所述环境要素的分割结果传输至所述综合控制计算机；

其中，所述分割结果为各分割区域的位置数据或语义化信息；

所述综合控制计算机，用于根据所述分割结果对所述二维正射影像地图进行分色标注，形成二维正射影像语义化地图。

2.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述电台包括图传电台和数传电台；

所述图传电台，用于将所述二维正射影像地图传输至所述综合控制计算机；

所述数传电台，用于将所述分割结果传输至所述综合控制计算机。

3.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述综合控制计算机设置有可视化界面，以实时查看所述二维正射影像地图的动态拼接过程。

4.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，所述图像采集线程还包括图像融合子进程，当所述图像配准子进程完成对所述航拍图像的配准后，所述图像融合子进程用于将配准后的所述航拍图像进行融合。

5.根据权利要求1所述的一种多线程实时构建正射影像语义地图的系统，其特征在于，对所述二维正射影像地图中的环境要素进行识别并分割包括以下处理过程：

对所述二维正射影像地图进行裁剪，以获取固定尺寸的影像地图；

对所述影像地图交替进行14次卷积运算和6次池化运算，以提取所述影像地图的深度特征；

将所述深度特征分别进行4次不同大小的空洞卷积运算，以得到第一加强深度特征、第二加强深度特征、第三加强深度特征以及第四加强深度特征；

将所述第一加强深度特征、所述第二加强深度特征、所述第三加强深度特征以及所述第四加强深度特征通过串并联的方式进行连接、相加和合并，以获得所述影像地图的多尺度特征图的特征信息；

对所述多尺度特征图的特征信息依次进行上采样和卷积运算，再经过sigmoid函数将所述多尺度特征图的预测结果映射至[0,1]区间，以得到所述二维正射影像地图的环境要素预测结果。