CN105139350A - 一种无人机侦察图像地面实时重建处理系统 - Google Patents

Abstract

本发明公开了一种无人机侦察图像地面实时重建处理系统，属于无人机侦察图像处理技术领域。所述系统包括数据转换模块、图像预处理模块、几何校正模块、图像拼接模块、图像融合模块以及图像显示模块，本发明集成了多种无人机侦察图像处理功能，能够满足侦察图像处理的基本需求，应用范围广；能够通过网络传输实现机载与地面站的实时通信，在几何校正和图像拼接等方面能够实时处理机载设备获取的图像数据，能够快速进行目标定位，实时性较高。

Description

一种无人机侦察图像地面实时重建处理系统

技术领域

本发明属于无人机侦察图像处理技术领域，具体指一种无人机侦察图像地面实时重建处理系统。

背景技术

侦察是无人机与生俱来的使命，以无人机为载体的远距离非接触性侦察技术已成为情报收集的主要技术手段，相对卫星侦察具有其自身优点，如成本低、侦察地域控制灵活、不存在访问时间和周期限制、地面目标分辨率高等；相对有人侦察机而言，又昼夜可持续工作、不考虑飞行员疲劳和伤亡等因素。因此，鉴于无人机具有高分辨率、高灵活性、高效率和低成本的优势而被广泛应用于自然灾害区域评估、战场侦察、环境监测等军用和民用领域。

无人机在执行侦察任务时，利用机载传感器(红外/CCD)获取侦察区域的侦察图像，经信息传输系统传输到地面控制站供操作手解译、分析，获取图像中有用的信息，以期达到图像目标检测、目标识别、目标定位、灾害区域评估、环境监测等应用目的，如图1所示。但在实际应用的过程中，无人机侦察图像暴露出如下几个重要问题：1)无人机因自身姿态及成像平台的不稳定性、成像平台姿态的任意性、大气辐射散射等因素的影响，使获取的侦察图像发生严重的几何畸变，不利于对图像中目标进行有效定位；2)无人机因飞行高度、相机焦距等因素的影响，使得单幅侦察图像能够反映的地理范围较小，难以用一张侦察图像反映感兴趣区域全部的信息；3)因单一类型传感器成像原理的局限性，单一传感器拍摄获取的侦察图像往往不能反应侦察区域有效目标的所有细节信息。由于无人机侦察图像存在以上几大缺陷，严重影响了无人机的侦察效能。因此，亟需在无人机侦察图像应用现状和当前任务需求的基础上，以无人机侦察图像目标检测、识别与定位为应用背景，研制开发一种无人机侦察图像地面实时重建处理系统，有效解决无人机侦察图像在应用时暴露的若干问题，提高无人机侦察效能。

发明内容

本发明针对无人机侦察图像实际应用中存在的若干问题，结合侦察图像的应用目的，设计实现一套无人机侦察图像地面实时重建综合处理系统，有效协助地面站操作人员对无人机侦察图像进行解译、分析，从而快速准确的提取出图像中有用的目标信息。

无人机侦察图像地面实时重建综合处理系统主要包括以下几个功能模块：数据转换模块、图像预处理模块、几何校正模块、图像拼接模块、图像融合模块以及图像显示模块，所述的数据转换模块用于对遥感源数据进行接收，将遥感源数据转换成遥感图像或视频，并给出成像参数；所述的图像预处理模块对遥感图像进行预处理，当接收的遥感图像质量较差时，进行预处理操作，提高图像质量，作为图像拼接模块和几何校正模块的数据输入前端；所述的几何校正模块结合数据转换模块提供的成像参数，对图像预处理模块处理之后的图像数据进行校正处理，降低图像的畸变程度；图像拼接模块既可以处理校正之后的图像数据，也可以处理校正之前的图像数据；为了保证融合后图像的信息真实可靠，图像融合模块仅仅针对数据转换后的原始图像数据进行处理；图像显示模块承担结果显示和数据管理的功能，是数据转换、预处理、几何校正、图像拼接及图像融合等模块的处理结果展示窗口，并且根据几何校正模块、图像拼接模块处理后得到图像的地理信息进行集中统一管理。

本发明的主要优点在于：

(1)本发明设计了通用的数据转换接口，可以处理多种不同格式的数据，通用性强；

(2)本发明集成了多种无人机侦察图像处理功能，能够满足侦察图像处理的基本需求，应用范围广；

(3)本发明能够通过网络传输实现机载与地面站的实时通信，在几何校正和图像拼接等方面能够实时处理机载设备获取的图像数据，能够快速进行目标定位，实时性较高。

附图说明

图1为无人机侦察图像应用示意图；

图2为本发明系统整体结构示意图；

图3为本发明系统各模块之间关系图；

具体实施方式

下面结合附图对无人机侦察图像地面实时重建综合处理系统各个模块进行详细介绍。

本发明提供一种无人机侦察图像地面实时重建处理系统，具有一级功能区和二级功能区，如图2所示，所述系统包括数据转换模块、预处理模块、几何校正模块、图像拼接模块、图像融合模块和图像显示模块，上述模块组成所述系统的一级功能区。在所述系统的二级功能区，数据转换模块可以将不同机型对应的图像模式转换为YUV、BGR、BMP等格式的图像(序列)数据及相应参数并进行存储，为整个系统提供具有统一格式的数据；预处理模块、几何校正模块、图像拼接模块和图像融合模块均可以作为单独的应用，同时各模块之间具有联系。通过预处理模块对图像进行去雾、去噪、增强等处理，提高无人机图像质量，是后续处理的基础。几何校正模块则是为了确定图像的地理信息，包括进一步确定图像地理范围，对图像地理范围进行不加高程几何校正和加入高程几何校正等方式的处理，是图像拼接模块和图像显示模块的基础。图像拼接模块为了呈现更大视野范围的图像，包括基于SIFT(Scale-invariantfeaturetransform)图像拼接和基于地理信息拼接。图像融合模块则是针对多种传感器得到的图像进行融合，提供更为丰富的信息，包括基于SIFT特征图像融合和小波变换图像融合。所有的结果均在图像显示模块中呈现。下面结合图3对各个模块分别进行说明。

数据转换模块：针对不同机型、不同数据类型，数据转换模块设计了图像模式的选择，包括不同机型所对应的红外、可见光图像、数码相机大图、数码相机小图、CCD黑白、CCD彩色、模拟视频的选择等；在选定图像模式之后，通过解码，可以将遥感源数据转换成YUV、BGR、BMP等格式的图像或视频数据以及相应的成像参数，并进行存储，为后续一系列处理工作提供合适的数据接口类型。所述的成像参数主要包括：无人机飞行高度、无人机姿态角(包括方位角、俯仰角和横滚角)、云台姿态角(包括方位角和俯仰角)和载荷焦距等参数。

预处理模块：无人机在执行侦察任务时，往往都处于5000米左右的高空，由于受自然环境、天气、大气折射辐射等一系列因素的影响，导致图像在视觉上模糊不清，给目标的检测识别带来较大难度，预处理模块主要包括图像增强、图像去噪、图像去雾等功能。预处理模块可以提高后续图像处理的效果，主要体现在通过改善图像质量，可以显著提高SIFT特征点提取数量和精度，从而使得基于SIFT特征的图像拼接及图像融合获得更好的效果。

几何校正模块：主要功能是降低图像的几何畸变，实现图像与实际地理坐标相匹配的处理过程，从而确定图像中目标的地理信息，提高目标定位精度。本发明的几何校正模块主要是利用数据转换模块获取成像时刻相对应的遥感数据建立几何校正模型，实现原始侦察图像与地理坐标相匹配，将其重新定位到地理参考网络的过程，从而实现图像中目标的快速有效定位。本发明中系统级几何校正设计了三大二级功能：确定侦察图像的地理范围、不加高程时图像系统级几何校正、加入高程时图像系统级几何校正。其中，确定侦察图像的地理范围二级功能能够快速确定无人机侦察过的区域，有效防止对侦察区域侦察不够全面，同时也为获取侦察区域的高程数据提供了有效的地理范围信息；加入高程时图像系统级几何校正二级功能在实现图像几何校正的过程中，通过引入像物点的高程信息，降低了地面高程对几何校正结果的影响，提高目标定位精度。

图像拼接模块：图像拼接是为了解决单张图像视觉范围较小的问题，将具有一定重叠率的图像镶嵌到同一坐标系下，形成一幅宽视角、大视野的全景图像。根据实际应用的需求，本发明图像拼接模块设计了两个二级功能：基于SIFT特征的图像拼接和基于地理信息的图像拼接，其中基于SIFT特征的图像拼接具有良好的拼接效果，拼接误差能够控制在10个像素以内，但拼接结果不具有地理信息，无法完成图像中目标的准确定位；而基于地理信息的图像拼接借助于几何校正模块获取的图像地理信息对图像进行统一坐标系投影镶嵌，获取具有地理信息的全景图像，解决了全景图像目标定位的问题。

(1)基于SIFT特征的图像拼接；

基于SIFT特征的图像拼接是通过数据转换模块获取BMP或JPG格式图像后对其进行的拼接。加载待拼接图像，配置拼接参数，根据图像的特征选择不同的配置参数，提取图像SIFT特征进行匹配，计算相应的变换矩阵，最后执行拼接功能，完成图像拼接。需要人为确定的参数主要是针对SIFT特征提取环节，包括图像金字塔的层数和每层对应的组数、图像的起始尺度、拼接图像的上限尺寸、变换矩阵的种类以及插值的方法。

(2)基于地理信息的图像序列拼接；

基于地理信息的图像序列拼接不仅可以处理经数据转换模块获取的YUV、RGB等格式的序列，也可以实现经数据链实时传输获取的原始图像的处理。其中，基于地理信息的图像拼接是利用几何校正模块获取并输出的图像地理坐标信息及校正后的图像，将其投影变换到统一地理坐标系统下完成的图像拼接，拼接后的全景图像具有地理坐标信息，方便目标定位。

图像融合模块：为了解决单一传感器获取的侦察图像反映目标细节信息的能力不足的问题，本发明设计并实现了多光谱图像的融合功能。为了保证融合后图像的真实可靠性，该融合功能仅仅针对数据转换模块和预处理模块处理后的图像数据进行融合处理，包括基于特征匹配的多光谱图像融合和基于小波变换的红外和可见光图像的融合等。

图像显示模块：主要是将几何校正、基于地理信息图像拼接等具有地理信息的处理结果加载到图像显示模块中，根据地理信息对图像进行分层、分块操作，实现基于地理信息的集中统一管理，便于观察和查找。

Claims (6)

1.一种无人机侦察图像地面实时重建处理系统，其特征在于：包括数据转换模块、图像预处理模块、几何校正模块、图像拼接模块、图像融合模块以及图像显示模块，所述的数据转换模块用于对遥感源数据进行接收，将遥感源数据转换成遥感图像或视频，并给出成像参数；所述的图像预处理模块对遥感图像进行预处理，提高图像质量，作为图像拼接模块和几何校正模块的数据输入前端；所述的几何校正模块结合数据转换模块提供的成像参数，对图像预处理模块处理之后的图像数据进行校正处理，降低图像的畸变程度；图像拼接模块用于对预处理模块输出的图像数据或几何校正模块输出的图像数据进行拼接；图像融合模块用于对数据转换或预处理模块输出的图像数据进行图像融合处理；图像显示模块承担结果显示和数据管理的功能，是数据转换模块、预处理模块、几何校正模块、图像拼接模块及图像融合模块的输出结果显示窗口，并且根据几何校正模块、图像拼接模块处理后得到图像的地理信息进行集中统一管理。

2.根据权利要求1所述的一种无人机侦察图像地面实时重建处理系统，其特征在于：所述的几何校正模块的功能包括确定侦察图像的地理范围、不加高程时图像系统级几何校正和加入高程时图像系统级几何校正。

3.根据权利要求1所述的一种无人机侦察图像地面实时重建处理系统，其特征在于：所述的图像拼接模块实现基于SIFT特征的图像拼接或基于地理信息的图像拼接。

4.根据权利要求3所述的一种无人机侦察图像地面实时重建处理系统，其特征在于：基于SIFT特征的图像拼接是通过数据转换模块获取BMP或JPG格式图像后对其进行的拼接；加载待拼接图像，配置拼接参数，根据图像的特征选择不同的配置参数，提取图像SIFT特征进行匹配，计算相应的变化矩阵，最后执行拼接功能，完成图像拼接。

5.根据权利要求3所述的一种无人机侦察图像地面实时重建处理系统，其特征在于：基于地理信息的图像序列拼接是利用几何校正模块获取并输出的图像地理坐标信息及校正后的图像，将其投影变换到统一地理坐标系统下完成的图像拼接，拼接后的全景图像具有地理坐标信息。

6.根据权利要求1所述的一种无人机侦察图像地面实时重建处理系统，其特征在于：所述的图像融合处理包括基于特征匹配的多光谱图像融合和基于小波变换的红外和可见光图像的融合。