CN114693756B - 一种适用于机载光谱成像系统的实时图像处理装置及方法 - Google Patents

Abstract

本发明公开了适用于机载光谱成像系统的实时图像处理装置及方法，装置包括搭载于机载光谱成像系统的机上图像处理模块和位于地面接收处理系统的机下图像处理模块；所述机上图像处理模块用于实现机上航摄图像的实时配准与光谱信息分类处理；所述机下图像处理模块用于在地面端对航摄图像进行实时配准与拼接处理。本发明的实时图像处理装置通过机上和机下两个部分，可有效改善机载光谱成像系统实时图像快速配准与拼接的要求，在国土资源勘探、生态环境监测、城市遥感等领域发挥重要作用。

Description

一种适用于机载光谱成像系统的实时图像处理装置及方法

技术领域

本发明属于航摄影像处理技术领域，具体涉及一种适用于机载光谱成像系统的实时图像处理装置及方法。

背景技术

随着数字图像处理技术的发展及广泛应用，利用航摄图像进行空中检测预警、军事侦察、目标跟踪、数字地图生成、灾害监控等已经成为图像处理领域的热点问题。机载型光谱成像将遥感探测技术与光谱成像技术相结合，是以飞机为平台的光谱图像及相关遥感数据获取、处理及应用技术。通过机载型光谱成像系统，可获取飞行区域内的光谱遥感与图像数据，为地质调查、矿产勘查、地质环境监测领域的应用与研究提供光谱遥感数据和基础图像资料。正确利用这些信息可以有效提高矿产资源调查、环境监测、地理信息勘探等研究应用的精准度，对地质生态环境调查提供有力保障。但是随着航摄图像应用领域的扩大，对航摄图像的要求也越来越高，传统的单帧航摄图像由于其分辨率低、视野范围小的缺点已无法满足人们的应用需要，因此多帧图像的拼接技术应运而生。

目前，成像光谱仪主要有摆扫式、推扫式、窗扫式和凝视式四种方法实现空间成像。其中，凝视式高光谱成像仪使用面阵探测器依次记录二维空间各个波段的图像数据，不需要采用动镜或通过平台移动实现空间维成像，在实际应用中获得广泛关注。针对目前的凝视型机载型光谱成像系统，来自不同视角、不同场景的多幅图像可能存在重叠区域，对地理位置信息等内容的分析与处理造成了影响。因此亟需研发一种适用于凝视型机载光谱成像系统的实时图像处理装置。

发明内容

针对机载光谱成像系统对实时图像处理的需求，本发明提供了一种适用于机载光谱成像系统的实时图像处理装置，本发明的实时图像处理装置利用机上图像处理模块实现单组预设周期序列光谱图像的实时配准与光谱分类功能，机下图像处理模块实现多组预设周期序列高精度航摄光谱图像的快速配准与拼接功能。

本发明通过下述技术方案实现：

适用于机载光谱成像系统的实时图像处理装置，包括搭载于机载光谱成像系统的机上图像处理模块和位于地面接收处理系统的机下图像处理模块；

所述机上图像处理模块用于实现机上航摄图像的实时配准与光谱信息分类处理；

所述机下图像处理模块用于在地面接收处理系统对航摄图像进行实时配准与拼接处理。

优选的，本发明的实时图像处理装置还包括搭载于机载光谱成像系统的机下图像处理模块发射端和位于地面接收处理系统的机上图像处理模块接收端；

所述机下图像处理发射端用于将图像信息进行编码压缩，并将压缩后的图像信息传输给所述机下图像处理模块进行处理；

所述机上图像处理模块接收端用于接收所述机上图像处理模块发送的完成配准与光谱信息分类处理的图像信息，并进行显示和监控。

优选的，本发明的机载光谱成像系统还包括光学成像模块、机上驱动和控制模块、姿态识别装置、方位探测装置、信息采集模块和在线存储模块；

所述光学成像模块用于实时获取预设周期序列航摄图像的光谱原图和可见光原图，并调用校准数据对光谱原图进行校准得到校准图像，将校准图像与可见光原图一起发送给信息采集模块。

所述机上驱动和控制模块用于驱动所述信息采集模块和光学成像模块正常工作，并对光学成像模块中的设备单元进行控制和时序精确匹配；

所述姿态识别装置用于对机载光谱成像系统的姿态信息进行探测与采集，并将姿态信息发送给所述信息采集模块；

所述方位探测装置用于对机载光谱成像系统的航行信息和位置信息进行探测与采集并将航行信息和位置信息发送给所述信息采集模块；

所述信息采集模块用于接收所述光学成像模块、姿态识别装置和方位探测装置的信息并将其分别发送给所述机上图像处理模块、机下图像处理模块发射端以及在线存储模块。

优选的，本发明的光学成像模块包括搭载消色散镜头的可调滤光器、可见相机、搭载可见光镜头的可见彩色相机；

所述机上驱动和控制模块对所述可调滤光器和可见相机进行精确控制和时序精确匹配，实现可调滤光器在预设时间内、预设波长下进行图像的及时采集。

优选的，本发明的机上图像处理模块包括图像实时配准模块、光谱信息处理模块和第一图传发射端；

所述图像实时配准模块基于接收的图像信息进行图像配准与图像合成；

所述光谱信息处理模块对光谱图像进行分类与匹配，实现航摄图像的实时光谱信息分类与配准；

所述第一图传发射端将完成配准与处理的图像信息发送至地面接收处理系统。

优选的，本发明的机下图像处理模块发射端包括光谱图像视频编码模块和第二图传发射端；

所述光谱图像视频编码模块用于对接收的图像信息进行视频编码压缩；

所述第二图传发射端将压缩后的图像信息传输至所述机下图像处理模块。

优选的，本发明的机下图像处理模块包括第二图传接收端、光谱图像解耦模块、图像快速拼接模块、光谱信息处理模块和第二监视器；

所述第二图传接收端用于接收由所述机下图像处理模块发射端发送的实时图像信息；

所述光谱图像解耦模块对接收的图像信息进行图像解耦；

所述图像快速拼接模块和光谱信息处理模块分别对解耦后的图像信息进行图像快速配准与拼接和光谱分类与匹配；

所述第二监视器进行目标的机下拼接图像显示和监控。

优选的，本发明的机上图像处理模块接收端包括第一图传接收端和第一监视器；

所述第一图传接收端用于接收所述机上图像处理模块发送的完成配准与处理的图像信息；

所述第一监视器进行目标的机上配准图像显示。

第二方面，本发明提出了上述实时图像处理装置的工作方法，具体为：

通过机载光谱成像系统实时采集航摄图像，同时利用姿态识别装置和方位探测装置进行方位姿态信息的探测与采集；

通过机上图像处理模块对获取的单组预设周期序列的图像数据进行配准、校正和优化处理；对优化处理完成后的数据进行特征提取、匹配及识别分析；对识别到的特征信息进行分析，判断特征信息是否满足预设条件，如果不满足，

则采用自适应调控技术对设备参数进行调整，并返回数据采集步骤，直到识别的特征信息满足预设条件；

通过机下图像处理模块，对获取的多组预设周期序列的图像数据进行处理与分析，得到相关特征信息。

第三方面，本发明提出了上述实时图像处理装置的图像处理方法，包括图像特征匹配处理和拼接处理；

所述图像特征匹配处理过程具体包括：

通过机载光谱成像系统读入预设周期序列的航摄图像并判断是否为空，如不为空，则任意选取一张图像进行特征检测；

判断是否为第一组周期序列数据，如果是则记为前一帧特征，之后进行特征点提取与匹配，否则直接进行特征点提取与匹配；

判断是否匹配成功，如果是，则进入拼接处理过程，否则返回特征检测步骤；

所述拼接处理过程具体包括：

对特征匹配成功后的图像分别进行影像矫正、变换关系计算、多模图像融合处理，把多张图像转换成一个共同的坐标系，对多张图像进行拼接融合；

保存融合拼接内容并清理内存，拼接结束。

本发明具有如下的优点和有益效果：

本发明的实时图像处理装置通过机上和机下两个部分，可有效改善机载光谱成像系统实时图像快速配准与拼接的要求，在国土资源勘探、生态环境监测、城市遥感等领域发挥重要作用。

本发明的机上图像处理模块小型化轻量化（重量不超过3kg），可搭载于大多数小型飞行平台（含多旋翼无人机和固定翼无人机），实现工作波段覆盖420nm-2500nm（分波段实现）的高质量光谱图片采集，支持上位机远程控制功能。

本发明的机下图像处理模块支持深度学习算法移植，可进行实时航摄图片叠加到卫星地图等定制功能开发，预留航摄影像的目标检测和识别算法集成功能，可扩展性强。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例的装置原理框图。

图2为本发明实施例的装置工作流程示意图。

图3为本发明实施例的图像处理流程示意图。

具体实施方式

在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

在本发明的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。

在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本发明的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。

应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。

在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

针对目前的机载型光谱成像系统，实时图像处理与图像拼接技术能够在获取图像信息的同时进行图像处理与快速配准，将存在差异性的多幅图像进行对齐，变换到同一坐标系下，通过该技术，可以实现图像的快速配准与融合，在机载光谱成像领域具有较为强烈的应用需求。基于此，本实施例提供了一种适用于机载光谱成像系统的实时图像处理装置，通过机上和机下两个部分，实现了机载光谱成像系统与地面接收处理系统实现图像快速配准与拼接的要求。

具体如图1所示，本实施例的实时图像处理装置包括机上图像处理部分和机下图像处理部分，利用机载姿态识别系统和方位探测系统，为飞行器提供准确可靠的姿态、航行与位置信息，实现机上单组周期序列光谱图像的实时配准与光谱分类，以及机下多组周期序列高精度航摄光谱图像的配准与快速拼接功能。

其中，机上图像处理部分主要由机上图像处理模块和机下图像处理模块发射端构成，该机上图像处理部分搭载于机载光谱成像系统，实现机上对单组周期序列光谱图像的实时配准、光谱分类与匹配功能，并将图像信息传输至机下图像处理部分进行输出显示。

机下图像处理部分主要由机上图像处理模块接收端和机下图像处理模块构成，该机下图像处理部分在地面端通过图传设备与机载光谱成像系统通信连接，用于在地面端对多组周期序列的航摄图像进行实时配准与拼接处理，并对机上处理的图像进行接收和监控。

本实施例的机载光谱成像系统还包括光学成像模块、机上驱动和控制模块、姿态识别装置、方位探测装置、信息采集模块和在线存储模块等。机上驱动和控制模块分别与光学成像模块、信息采集模块双向连接，姿态识别装置、方位探测装置均与信息采集模块连接，信息采集模块与在线存储模块、机上图像处理模块和机下图像处理模块发射端连接。

光学成像模块处于系统最前端，由搭载消色散镜头的可调滤光器和可见相机，以及搭载可见光镜头的可见彩色相机构成。其中，消色散镜头、可调滤光器和可见相机组成光谱相机，用于实时获取预设周期序列的光谱原图，周期序列长度及步进大小可根据需要进行调整和设定；可见光镜头和可见彩色相机组成可见相机，用于实时获得高分辨率、大视场的可见图像，以帮助后续进行光谱图像的配准与拼接。为消除由不同消色散镜头、可调滤光器和可见相机组成的光谱相机拍摄能量差异导致的光谱原图差异，调用校准数据对实时获得的周期序列光谱原图进行校准得到校准后的周期序列光谱图像，与可见图像一起发送给信息采集模块。

机上驱动和控制模块主要功能为实现各模块的电控协调工作。机上驱动和控制模块用于驱动机上各模块正常工作，并对可调滤光器和可见相机进行精确控制和时序精确匹配，实现可调滤光器在预设的时间内、特定波长下进行图像的及时采集。本实施例采用可调滤光器，结合机上驱动和控制模块实现入射光的光谱电控时域调制。

姿态识别装置用于对机载光谱成像系统的姿态信息进行探测与采集，方位探测装置用于对机载光谱成像系统的航行信息和位置信息进行探测与采集，并将机载光谱成像系统的姿态、航行、位置信息发送给信息采集模块。

信息采集模块用于接收光学成像模块、姿态识别装置和方位探测装置的信息，并将其分为三路，一路发送至在线存储模块，用于实现图像数据的机上存储功能；一路发送至机上图像处理模块，用于开展机上单组周期序列光谱图像的实时配准与光谱信息处理；一路发送至机下图像处理模块发射端，用于开展光谱图像视频编码、传输至地面接收处理系统，为地面端开展机下图像快速拼接与处理提供数据保障。

单组预设周期序列的光谱原图由光谱相机获得的，经校准处理后存入信息采集模块，接着发送给机上图像处理模块进行图像配准与光谱信息分类。

本实施例在机上图像处理模块中，采用智能缩放技术、特征点提取与匹配以及光谱信息分类算法，以在机上实现规定周期序列的光谱图像实时配准和光谱信息分类功能，此外，模块预留了后续集成影像矫正、变化关系计算、图像融合等算法的移植空间。本实施例的机上图像处理模块包括图像实时配准模块、光谱信息处理模块和第一图传发射端。其中图像实时配准模块采用智能缩放技术和特征点提取与匹配算法，集成图像高保真插点算法，通过构建Hessian矩阵以计算特征值，构建尺度空间，定位特征点并确定特征点主方向，最后构造特征描述子来实现规定周期序列光谱图像的特征点匹配功能。光谱信息处理模块对完成实时配准后的预设周期序列光谱图像进行分类与匹配，实现单组周期序列光谱图像的光谱信息分类与匹配。机上图像处理模块支持2048*2048@25fps的图像实时配准，配准误差不大于5pixels，实现配准图像没有明显景深差、扭曲现象，定位误差不大于1m，支持上位机远程控制功能。最后，第一图传发射端将完成配准与光谱信息处理的图像发送至地面接收处理系统的机上图像处理模块接收端。

多组预设周期序列的光谱图像由光谱相机获得的，经校准处理后存入信息采集模块，接着发送给机下图像处理模块发射端进行数据压缩与传输。

本实施例的机下图像处理模块发射端主要包括光谱图像视频编码模块和第二图传发射端。其中光谱图像视频编码模块对实时获得的多组周期序列光谱图像信息进行压缩，利用第二图传发射端分组发送压缩后的图像信息传至地面接收处理系统的机下图像处理模块。

本实施例的机下图像处理模块采用特征点提取和匹配、影像矫正、变化关系计算和多模图像融合算法，以在机下实现多组周期序列光谱图像的配准与拼接功能。本实施例的机下图像处理模块包括第二图传接收端、光谱图像解耦模块、图像快速拼接模块、光谱信息处理模块和第二监视器。其中第二图传接收端接收由第二图传发射端发送的经编码压缩后的多组周期序列光谱图像，图像输入源为HDMI/USB/网络/SDI可选，接着发送给光谱图像解耦模块完成对接收的光谱图像的解耦。解耦后的多组周期序列光谱图像输入图像快速拼接模块，首先采用特征点提取与匹配算法，实现光谱图像的特征点匹配功能；接着采用影像矫正算法，通过仿射变换和透视变换两种方式，对因无人机飞行、偏航和滚转角等因素导致的同区域信息发生平移、旋转、投影等变换进行影像矫正；进行变换关系计算，通过图像的几何变换，把一系列图片转换成一个共同的坐标系；最后利用多模图像融合算法，根据变换关系计算确定两帧图之间待融合的部分后，通过图像分解、图像融合及图像重建三个步骤，完成对图像的融合，实现多组周期序列光谱图像的配准与拼接。机下图像处理模块支持不大于2048*2048@25fps的图像实时拼接，拼接误差不大于2pixels，无明显拼接错误与拼接痕迹。最后，第二监视器用于完成目标的机下拼接图像显示，图像输出方式为USB/网络可选。此外，机下图像处理模块支持深度学习算法移植，可进行实时航摄图片叠加到卫星地图等定制功能开发，预留了航摄影像的目标检测和识别算法集成能力，用于后续完成航摄过程中的指定目标检测与识别。

本实施例的机上图像处理模块接收端主要包括第一图传接收端和第一监视器，完成目标的机上配准图像显示和监控。其中第一图传接收端接收第一图传发射端发送的完成配准与光谱信息分类处理的图像信号，第一监视器进行目标的机上配准图像显示。

本实施例的实时图像处理装置的工作原理为：

机载光谱相机系统在飞行过程中使用光谱相机和可见相机对景物进行拍摄，在机上驱动和控制模块作用下，调用校准数据对来自景物的光谱原图进行校准；信息采集模块将光学成像模块的图像信号、姿态识别装置和方位探测装置的方位姿态信息在线存储，输出三路图像信号，一路保存于在线存储模块，一路发送给机上图像处理模块，另一路发送给机下图像处理模块发射端进行视频编码和发射；机上图像处理模块接收实时图像信号后，图像实时配准模块对单组周期序列光谱图像进行图像配准与图像合成，光谱信息处理模块对光谱图像进行分类与匹配，将完成配准与处理的图像利用第一图传发射端发送给第一图传接收端，最后通过第一监视器实现目标的机上配准图像显示；另一路实时图像信号首先通过光谱图像视频编码模块进行压缩编码，接着利用第二图传发射端发送给机下图像处理模块，位于地面端的第二图传接收端接收已压缩编码的实时图像信号后，利用光谱图像解耦模块对接收的图像信号进行解耦，图像快速拼接模块和光谱信息处理模块分别对解耦的图像信号进行拼接和光谱分类与匹配，最后通过第二监视器实现目标的机下拼接图像显示。

如图2所示，本实施例的实时图像处理装置的工作过程为：

机载光谱成像系统中的设备探测周围环境，进入巡航状态并采集航摄图像数据；同时利用姿态识别装置和方位探测装置进行姿态、航行、位置信息探测与采集；调用校准数据对获取的周期序列光谱图像进行校准。

在机上图像处理模块中，利用图像实时配准模块对获取的单组周期序列光谱图像进行图像数据快速处理工作，包括配准、校正及优化等；接着对处理完成后的数据进行图像数据智能分析工作，包括特征提取、匹配及识别等。利用光谱信息处理模块获取光强、光谱和目标特征等信息进行分析，判断是否满足预设要求（例如，信号强、信噪比高、特征明显等要求），如果不满足，则采用自适应调控方案对宽带、波长及谱段等装备参数进行快速调整。

同样地，在机下图像处理模块中，利用图像快速拼接模块，对获取的多组周期序列光谱图像进行图像快速处理与智能分析工作，利用光谱信息处理模块获取光强、光谱和目标特征等信息进行分析与判断。

机上和机下图像处理模块分别调整完成后重复开展数据的快速处理与智能分析过程，直到光强、光谱、目标特征信息满足预设要求后，将结果输出。

最后，地面接收处理系统中的第一监视器和第二监视器将结果输出。

如图3所示，本实施例的图像处理过程主要分为预前处理和拼接处理两个阶段。其中，预前处理过程具体包括：

机载光谱相机系统获取并读入单组或多组预设周期序列的光谱图像，输入图像实时配准模块，判断是否为空，如不为空，任意选取周期序列内的一张图像进行特征检测，判断是否为第一组周期序列图像，如果是则记为前一帧特征，之后进行特征点提取与匹配，否则进行特征点提取与匹配；判断是否匹配成功，如果是，则进入下一处理阶段，否则返回特征检测步骤。预前处理为循环处理流程，只有当图像特征匹配成功后，处理流程才会跳出。

拼接处理过程具体包括：

图像特征匹配成功后，地面接收处理系统中的图像快速拼接模块分别进行影像矫正、变换关系计算、多模图像融合处理，完成图像矫正并把一系列图片转换成一个共同的坐标系，对多组周期序列的光谱图像进行拼接融合，最后保存融合拼接内容并清理内存，拼接结束。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，包括搭载于机载光谱成像系统的机上图像处理模块和位于地面接收处理系统的机下图像处理模块；

所述机上图像处理模块用于实现机上航摄图像的实时配准与光谱信息分类处理；

所述机下图像处理模块用于在地面接收处理系统对航摄图像进行实时配准与拼接处理；还包括搭载于机载光谱成像系统的机下图像处理模块发射端和位于地面接收处理系统的机上图像处理模块接收端；

所述机下图像处理发射端用于将图像信息进行编码压缩，并将压缩后的图像信息传输给所述机下图像处理模块进行处理；

所述机上图像处理模块接收端用于接收所述机上图像处理模块发送的完成配准与光谱信息分类处理的图像信息，并进行显示和监控；所述机载光谱成像系统还包括光学成像模块、机上驱动和控制模块、姿态识别装置、方位探测装置、信息采集模块和在线存储模块；

所述光学成像模块用于实时获取预设周期序列的航摄图像的光谱原图和可见光原图，并调用校准数据对光谱原图进行校准得到校准图像，将校准图像与可见光原图一起发送给所述信息采集模块；

所述机上驱动和控制模块用于驱动所述信息采集模块和光学成像模块正常工作，并对光学成像模块中的设备单元进行控制和时序精确匹配；

所述姿态识别装置用于对机载光谱成像系统的姿态信息进行探测与采集，并将姿态信息发送给所述信息采集模块；

所述方位探测装置用于对机载光谱成像系统的航行信息和位置信息进行探测与采集并将航行信息和位置信息发送给所述信息采集模块；

所述信息采集模块用于接收所述光学成像模块、姿态识别装置和方位探测装置的信息并将其分别发送给所述机上图像处理模块、机下图像处理模块发射端以及在线存储模块。

2.根据权利要求1所述的一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，所述光学成像模块包括搭载消色散镜头的可调滤光器、可见相机、搭载可见光镜头的可见彩色相机；

所述机上驱动和控制模块对所述可调滤光器和可见相机进行精确控制和时序精确匹配，实现可调滤光器在预设时间内、预设波长下进行图像的及时采集。

3.根据权利要求1-2任一项所述的一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，所述机上图像处理模块包括图像实时配准模块、光谱信息处理模块和第一图传发射端；

所述图像实时配准模块基于接收的图像信息进行图像配准与图像合成；

所述光谱信息处理模块对光谱图像进行分类与匹配，实现航摄图像的实时光谱信息分类与配准；

所述第一图传发射端将完成配准与处理的图像信息发送至地面接收处理系统。

4.根据权利要求1-2任一项所述的一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，所述机下图像处理模块发射端包括光谱图像视频编码模块和第二图传发射端；

所述光谱图像视频编码模块用于对接收的图像信息进行视频编码压缩；

所述第二图传发射端将压缩后的图像信息传输至所述机下图像处理模块。

5.根据权利要求1-2任一项所述的一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，所述机下图像处理模块包括第二图传接收端、光谱图像解耦模块、图像快速拼接模块、光谱信息处理模块和第二监视器；

所述第二图传接收端用于接收由所述机下图像处理模块发射端发送的实时图像信息；

所述光谱图像解耦模块对接收的图像信息进行图像解耦；

所述图像快速拼接模块和光谱信息处理模块分别对解耦后的图像信息进行图像快速配准与拼接和光谱信息分类与匹配；

所述第二监视器进行目标的机下拼接图像显示和监控。

6.根据权利要求1-2任一项所述的一种适用于机载光谱成像系统的实时图像处理装置，其特征在于，所述机上图像处理模块接收端包括第一图传接收端和第一监视器；

所述第一图传接收端用于接收所述机上图像处理模块发送的完成配准与处理的图像信息；

所述第一监视器进行目标的机上配准图像显示。

7.基于权利要求1-6任一项所述的实时图像处理装置的方法，其特征在于，包括：

通过机载光谱成像系统实时采集航摄图像，同时利用姿态识别装置和方位探测装置进行方位姿态信息的探测与采集；

通过机上图像处理模块对获取的单组预设周期序列的图像数据进行配准、校正和优化处理；对优化处理完成后的数据进行特征提取、匹配及识别分析；对识别到的特征信息进行分析，判断特征信息是否满足预设条件，如果不满足，

则采用自适应调控技术对设备参数进行调整，并返回数据采集步骤，直到识别的特征信息满足预设条件；

通过机下图像处理模块，对获取的多组预设周期序列的图像数据进行处理与分析，得到相关特征信息。

8.基于权利要求1-6任一项所述的实时图像处理装置的方法，其特征在于，包括图像特征匹配处理和拼接处理；

所述图像特征匹配处理过程具体包括：

通过机载光谱成像系统读入预设周期序列的航摄图像并判断是否为空，如不为空，则任意选取一张图像进行特征检测；

判断是否为第一组周期序列数据，如果是则记为前一帧特征，之后进行特征点提取与匹配，否则直接进行特征点提取与匹配；

判断是否匹配成功，如果是，则进入拼接处理过程，否则返回特征检测步骤；

所述拼接处理过程具体包括：

对特征匹配成功后的图像分别进行影像矫正、变换关系计算、多模图像融合处理，把多张图像转换成一个共同的坐标系，对多张图像进行拼接融合；

保存融合拼接内容并清理内存，拼接结束。

Images