CN112559534B - 一种遥感影像数据归档管理系统及方法 - Google Patents

Abstract

本发明提供了一种遥感影像数据归档管理系统及方法，包括数据整合单元，被配置为对接收的航天、航空遥感影像数据进行整合；数据归档单元，被配置为对数据进行分类，不同类型的数据以不同文件形式进行存储；数据处理单元，包括多个任务处理节点，各个任务处理节点并行处理相应任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；数据存储单元，被配置为存储航天、航空遥感影像原始数据和处理结果。本发明能够实现海量多源异构遥感影像数据的统一高效管理与发布，有效提升数据共享服务水平。

Description

一种遥感影像数据归档管理系统及方法

技术领域

本发明属于遥感影像数据归档技术领域，具体涉及一种遥感影像数据归档管理系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来全球经济的迅速发展，地球环境与地球资源已经成为综合国力发展和国家竞争较量的焦点。我国非常重视对地观测遥感的发展，无论是在航天卫星领域，还是航空无人机等领域，都投入了大量的研发力量和人力物力，遥感数据获取途径不断拓展，数据资源不断丰富，遥感与地理信息应用领域不断拓宽。航空航天遥感影像数据类型越来越多，分辨率越来越高，数据量越来越大，预计数据量每年会有20％-30％增幅，未来3-5年，数据总量将达到PB级。

然而，随着影像数据越来越多，对于影像数据的归档管理难度也越来越高。面对数据量大、更新速度快、结构化与非结构化数据并存的大规模多源遥感影像数据，传统人工管理的方式效率低、易出错、耗费人力物力，不利于数据的共享、分发与应用，没有充分发挥影像数据的效益。

发明内容

本发明为了解决上述问题，提出了一种遥感影像数据归档管理系统及方法，本发明能够实现海量多源异构遥感影像数据的统一高效管理与发布，有效提升数据共享服务水平。

根据一些实施例，本发明采用如下技术方案：

一种遥感影像数据归档管理系统，包括：

数据整合单元，被配置为对接收的航天、航空遥感影像数据进行整合；

数据归档单元，被配置为对数据进行分类，不同类型的数据以不同文件形式进行存储；

数据处理单元，包括多个任务处理节点，各个任务处理节点并行处理相应任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；

数据存储单元，被配置为存储航天、航空遥感影像原始数据和处理结果。

作为可选择的实施方式，所述数据归档单元，所述文件形式包括tif影像文件、tfw文件、xml文件、ovr文件、xls元数据文件、txt文件和表格文件。

作为可选择的实施方式，所述数据处理单元，包括立体影像全局优化匹配模块，被配置为获取立体影像数据，对影像数据进行预处理和纹理分析，通过小波变换生成影像金字塔，对金字塔的顶层影像进行变换并进行基于消息传播的匹配，进行逐层匹配，生成数字表面模型。

作为可选择的实施方式，所述数据处理单元，包括可疑区域检测模块，被配置为生成立体影像的核线立体影像对，读取所述核线立体影像对，并通过对所述核线立体影像对的左核线影像和右核线影像分别进行小波变换，建立所述左核线影像和右核线影像的各自的影像金字塔；对顶层以下的每一层影像金字塔的左核线影像和右核线影像，逐层确定所述左核线影像和右核线影像中的可疑区域。

作为可选择的实施方式，所述数据处理单元，包括航天飞机雷达地形测绘辅助平差模块，被配置为降低立体影像分辨率，提取每个快视图像对的连接点，将快视图分辨率进行还原，结合航天飞机雷达地形测绘高程约束提取原始影像常规连接点，进行原始影响自由网评查，按照一定间距提取山顶特征点和平坦区域特征点，将两类特征点分别投射到原始影响上，提取稠密连接点。

作为可选择的实施方式，所述数据处理单元，包括数据查询检索模块，被配置为对包含空间信息的数据，采用空间数据集的方式进行管理，并且通过空间数据引擎建立格网索引，对于元数据信息采用数据库分区表进行管理，并建立数据库索引；基于输入的查询条件采用不同的索引进行检索操作。

作为可选择的实施方式，所述数据处理单元，包括覆盖图产品制作模块，被配置为基于输入的时间、数据类型、区域信息和云量信息，进行并发式地图瓦片绘制，生成覆盖范围产品。

作为可选择的实施方式，所述数据存储单元，包括：

第一数据存储模块，用于存储航空遥感影像原始数据；

第二数据存储模块，用于存储航天遥感影像原始数据；

第三数据存储模块，用于存储处理分析后的成果数据。

作为可选择的实施方式，所述数据存储单元，被配置为对数据进行建模和描述，数据建模是对数据元数据、空间化信息、数据类型和存储位置的实例化过程，描述信息包括数据元数据、空间化信息，不同信息分区存储。

一种遥感影像数据归档管理方法，包括以下步骤：

对接收的航天、航空遥感影像数据进行整合；

对整合后的数据进行分类，不同类型的数据以不同文件形式进行存储；

并行执行数据处理任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；

存储航天、航空遥感影像原始数据和数据处理任务得到的结果。

与现有技术相比，本发明的有益效果为：

本发明提供的数据管理系统能够实现数据源集中管理，改变原有基础数据分散管理现状，将海量多源遥感影像数据归一化处理、统一化存储、集中化管理，有效整合遥感数据资源，实现数据归档、统计等业务的自动化运行，实现数据查询、下载、分发等业务的网络化运行，实现数据处理、数据成果发布的快速性、高效性。

本发明提供的数据管理系统为多元的数据应用模式提供数据平台保障，能够适用于多源异构数据场景，与人工智能结合、与深度学习结合，挖掘影像数据的潜在价值。

本发明提供的数据管理系统能实现数据的在线、离线双模式服务，进行数据共享，用户通过数据流转节点可查阅、数据流转数量可统计、数据流转审批可追溯，建立海量多源遥感影像数据的共享桥梁，打破各系统信息交互壁垒，使得数据服务更加方便快捷、灵活高效、安全可靠。

本发明提供的数据管理系统有助于遥感影像数据及成果的信息化，海量多源遥感影像数据通过一定规则有机的整合起来，实现规范的数据存储、高效的信息共享、多元的信息应用，为经济和社会的发展将起到不可忽视的作用，特别是在国土、农业、林业、交通等行业，遥感数据的信息化将为行业的升级发展起到决定性作用。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为数据存储管理示意图；

图2为数据管理流程示意图；

图3为系统外部数据的数据流转流程示意图；

图4为系统内部数据的数据流转流程示意图；

图5为并行调度框架示意图；

图6为数据管理系统物理架构图；

图7为网络关系结构图；

图8为基于建模技术的数据管理流程示意图；

图9为基于自主任务的数据并行入库流程示意图；

图10为影像管理系统快速检索实现示意图；

图11(a)为本系统匹配有效高程点与SGM算法对比示意图；

图11(b)为本系统提取的DSM与其他商业软件提取的DSM地形方面的对比示意图；

图12为全局优化匹配策略自动生成DSM的具体过程；

图13为SRTM辅助平差流程。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供一种遥感影像数据归档管理系统，包括：

数据整合单元，被配置为对接收的航天、航空遥感影像数据进行整合；

数据归档单元，被配置为对数据进行分类，不同类型的数据以不同文件形式进行存储；

数据处理单元，包括多个任务处理节点，各个任务处理节点并行处理相应任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；

数据存储单元，被配置为存储航天、航空遥感影像原始数据和处理结果。

下面从不同单元进行详细描述。

首先是对数据进行入库、存储管理。入库的数据包括：

(1)航空遥感影像原始数据

主要包括ADS系列、UC系列、SWDC-4、SWDC-5、CS10000、DMCIII等，系统还需要支持扩展功能，满足后续新型航摄仪数据类型。

框幅式原始航片

框幅数据按航摄仪分为五种：SWDC-4、SWDC-5、UC系列、CS10000和DMCIII。数据格式为若干航片数据对应一个后缀为txt元数据文件，该元数据文件按行记录每一个航片对应空间位置信息，主要具体包括：GPS Time(s)，Easting(degrees)，Northing(degrees)，Ell Ht(metres)，Omega(deg)，Phi(deg)，Kap(deg)，Lat(deg)，Lon(deg)等属性信息，其中空间位置信息为点，用以定位该幅航片的中心点位置。航片数据为tiff格式。

ADS推扫式原始数据

分L0级、L1级、L2级等，L0级数据为原始数据，需要经过专门软件进行解压生成L1级数据，L1级数据及L2级数据数据量较大，仅需要备份管理L0级数据，提供的shp为某个架次的航线接合表，其中空间位置信息为多线。

(2)航天遥感影像原始数据

数据组织结构包括：tif影像文件，xml元数据文件，rpc文件以及其他一些辅助文件，georange文件夹保存影像文件的空间范围。

(3)成果数据包括：DOM、DEM、DLG以及点云数据。

DOM数据包括：卫星影像整景成果和1:500～1:25000DOM成果。

成果数据组织结构包括：tif影像文件、tfw文件、xml文件、ovr文件、xls元数据文件，以及一个shp空间范围结合表文件。

DEM成果数据，数据组织结构包括：按照《国家基本比例尺地形图分幅和编号》(GB/T 13989-2012)规定的1:10000图幅号作为文件夹名称，进行数据组织，元数据以excel文件形式存放。

DLG成果数据，数据组织结构包括：按照2012年制定的《国家基本比例尺地形图分幅和编号》的国家标准规定的图幅号作为文件夹名称，数据进行组织，元数据与数据实体分开存放，其中元数据以excel文件形式存放，元数据的组织同样是按照图幅号作为文件夹名称进行组织。

如图1所示，数据库存储与文件存储相结合。

综合利用不同类型数据库、文件存储系统进行各类数据的高效、安全存储。采用数据库存储与文件存储相结合的方式，其中数据库存储采用关系数据库(空间数据库)，文件存储采用共享文件存储。

1)从数据量角度考虑，遥感影像数据及产品成果数据量大，实体数据采用文件存储。

2)从数据结构角度考虑，元数据涉及空间数据、属性数据，统一采用采用关系数据库存储。

3)从应用需求角度考虑，空间图层数据主要用于浏览、提取等业务，采用空间数据库进行存储，对于影像文件等需要高IO操作的采用文件存储。

4)从数据安全迁移和成本角度考虑，对于访问量大的数据、近期访问数据以及最新成果保存在业务内网归档盘阵，本地根据需要清理历史数据实体，仅保留该数据的元信息。

以各生产部门汇交的不同来源、不同格式的航空遥感数据，各种航天卫星遥感影像数据，以及生产出来的产品成果数据等为主要数据来源，在山东省遥感影像综合数据库基础上，为生产、迁移、分发提供数据服务能力，包括数据归档服务、数据查询服务和数据提取服务，实现统一的数据访问服务，支持对文件、数据库格式的数据访问，屏蔽各种数据物理存储的差异，使数据的物理存储透明化，从而方便各个用户使用。

将每天获取和产生的海量遥感影像数据以及产品数据进行快速入库集中管理，采用基于任务的并行归档实现海量数据的快速入库。基于自主任务的数据并行入库技术流程，如图9所示，获取任务信息，进行写、读，获取待归档数据文件信息，进行写、读，归档任务信息元数据文件、文件列表信息和快试图文件，进行写、读，数据文件信息任务分配信息，用于对待拷贝数据，用负载均衡的方式分配给相应服务器，进行写、读，获得拷贝任务结果信息。

影像管理系统的重要目标是实现航空航天遥感影像数据与产品成果综合管理，因此有必要明晰各类数据在系统中的数据流转。数据管理整体流程如图2所示，具体包括：

(1)对于航空航天遥感数据以及产品成果数据，需要先由数据整合模块进行标准化数据整合工作，然后数据分类。数据整合模块包括对数据的完整性检查、可用性检查、数据类型识别等工作流程，完整性检查是对影像数据文件进行检查，检查是否缺少相关参考文件或属性文件，对文件缺失的数据予以剔除，确保数据的完整性；可用性检查主要是检查数据能否解压，文件是否有损坏，对检查发现的问题数据也予以剔除，确保数据的可用性。

(2)依据所归属的数据类别，进行元数据和辅助信息的提取。根据数据类别的不同，设计不同的数据库表，以确保每一类数据的元数据和辅助信息数据完整有效提取录入。

(3)对于数据的元数据信息、数据构成、辅助信息等进行数据格式及完整性检查，对于符合检查的进行数据数据归档入库，对信息缺失的数据进行标记处理，以便后期数据核查。

(4)数据依据分类设置，进行归档目录数据创建、元数据注册和数据体注入，完成数据归档工作。

(5)数据存储依据存储策略进行在线存储。新入库数据均采用在线存储，对历史数据或用户要求的其他使用频率低的数据进行离线存储。

(6)各业务系统通过查询检索接口进行数据查询，对于需要的数据进行提取。不同的业务用户有不同的权限，普通用户提交数据需求后，超级管理员用户对订单进行审核，通过后用户方可提取数据。

(7)通过数据同步实现内部数据和数据发布服务器的数据同步工作。

系统外部数据流转主要描述数据如何进入影像管理系统，以及如何通过系统将数据导出给用户。系统外部数据流转主要分为：数据归档、数据查询、数据提取以及数据同步，具体系统外部数据流转如图3所示。系统内部数据流转主要描述数据进入影像管理系统之后，如何在各个功能模块之间流转。影像管理系统按照数据归档任务将数据分类检验并归档入库，同时负责数据资源和系统维护管理，提供归档后的各类数据的查询检索服务并提供相关数据信息的统计与分析，为系统管理人员维护系统提供参考，并完成为互联网以及电子政务内网影像管理系统提供数据同步功能。具体的系统内部数据流转如图4所示。

当然，为了实现对数据进行更好的管理，可以设置各类数据存储空间选择、命名等操作的规范。这些都是本领域技术根据情况可以灵活设置的，在这里，不做详细介绍。

随着管理数据总量预计将达到PB级，对于数据归档、统计等业务，传统的单机处理模式已无法满足数据及时归档、高效统计的需求，系统建设需要采用并行架构设计。系统建设基于自主的并行计算框架进行实现，采用该框架，系统的并行处理能力与性能主要受制于并行任务处理节点的个数以及网络吞吐量和盘阵IO的性能。

并行调度框架支持并行资源调度、并行任务分配以及并行计算的执行，基于此框架研制数据归档子系统、数据检索子系统和统计分析子系统，实现归档、检索和统计业务的多机、多进程并行执行。在执行时，将数据归档、检索和统计任务分解成若干个子任务，并将这些子任务分配给相应的执行节点执行，各节点执行完成后，将执行结果汇总返回。通过将串行的流程并行分配执行，提高数据归档效率、加快数据查询速度、缩短数据统计时间。

如图5所示，在本系统中，采用并行调度。支持并行计算节点资源的注册和管理。可对节点的最大并行数和计算能力进行合理配置，以充分利用计算资源。实现任务并行调度算法。采用最优算法对任务项进行分组，根据各计算节点的资源占用情况及其性能，将任务项分派到节点上执行。提供任务调度服务，实现高可用机制，避免单点问题。基于插件和工作流的思想，进行并行任务的调度和分配。

如图6所示，在系统架构上，由服务器支持，在本实施例中，可以包括：计算层：包括并行计算服务器，任务分配调度服务器，以及应用服务器，用于并行归档、并行数据检索、并行数据清理、并行统计等业务的后台并行调度和计算。

存储层：包括数据库服务器，用于存储空间数据、属性数据、快视图数据、文档数据等内容，以满足大数据量情况下的高事务请求响应以及并发访问请求；存储设备，用于存储航空航天遥感影像及产品成果数据，移动硬盘用于数据的迁移和备份，在线存储为共享存储，离线存储为移动硬盘。

应用层：可以是工作站、台式机、笔记本或者远程桌面，用于客户端的数据管理、数据浏览查询等业务操作。

网络层：需要把计算层、存储层以及应用层串联起来，能够为相互之间提供高效的数据传输通道。

同时，为了支持用户访问、查阅相关数据，如图7所示，本系统提供内外网服务。如图7所示，具有3套网络，在3套网络分别部署，分别是业务内网、电子政务内网和互联网，业务内网是指采用Internet技术建立的单位内部专用网络，它以TCP/IP协议作为基础，以Web为核心应用，构成统一和便利的信息交换平台；电子政务内网是涉密的党政机关办公业务网络，与国际互联网物理隔离，在满足工作需求的前提下，覆盖范围尽可能小，对上与国家电子政务内网互联。它与外网之间不是通过传统的防火墙来隔离，而是通过网闸，仅以数据“摆渡”方式交换信息(网闸的HTTP、FTP、SMTP等通用协议全部关闭或不提供这些协议支持)，以便实现公共服务与内部业务流转的衔接；互联网也成为外网，连接外界所有的开放信息和资源，信息存储量大、信息传递迅速高效，面向的用户范围广，不受地域限制。

数据管理系统采用模块化设计，整套系统涵盖所有内网、互联网及政务网的功能，通过配置文件区分不同的网络并加载不同的功能模块，最终实现不同网络的适配：

业务内网系统：用户对象为内部用户，根据登录用户权限，可自动加载数据归档入库、空间检索、数据查询统计等模块，满足单位内部用户的日常工作需求，涵盖系统所有功能。系统需要管理所有原始数据影像以及产品成果影像，所有数据入库均需要通过内网系统实现，互联网系统以及电子政务内网系统所使用的数据以及数据编目，均需要通过内网系统数据同步功能实现，内网系统具有同步数据导出功能。

互联网系统：用户对象为公众用户，提供少量公开版数据的查询与下载功能，互联网系统的数据来源是通过与内网系统进行数据同步功能实现，互联网系统具有同步数据的导入功能。

电子政务内网系统：用户对象为政府用户，提供部分原始数据以及部分涉密数据的管理、查询功能，电子政务内网系统的数据来源是通过与内网系统进行数据同步功能实现，电子政务内网系统具有同步数据的导入功能。

业务内网系统、互联网系统以及电子政务内网系统之间，由于安全等级不同，3套网络彼此之间物理隔离，数据同步功能无法实现跨系统自动化，需要人工将同步的数据文件拷贝到互联网系统以及电子政务内网系统。

当然，在通信过程中，也需要一些数据的保密性、安全性保障措施，例如加密、设置权限、账户管理、数据一致性校验等等，这些均可以采用现有技术，在此不再赘述。

由于数据多来源、多标准、多格式，需要进行数据的统一规范存储，系统采用了基于建模技术的数据管理方式，如图8所示，数据建模过程可分为三个层次，分别是编目规划、数据建模以及物理存储。资源编目体系分三个层次，分别是编目节点、抽象节点、和数据节点。编目节点和数据节点只有一级，抽象节点有多级。编目节点为数据库的编目的根节点。抽象节点为数据的逻辑分类节点，数据节点为每一种数据产品的数据节点。对于每一个数据节点，影像管理系统采用建模的方式进行管理，而不是直接定义每一种数据产品。

数据建模是对一类数据进行模型化定义的过程，数据包括描述信息和实体两部分，其中描述信息包含数据元数据、空间化信息，实体包含影像快试图、影像实体，数据建模则是对数据元数据、空间化信息、数据类型、存储位置的实例化过程，这里空间化信息和存储位置是数据的扩展，不是必要条件。

影像管理系统采用编目和元数据结合的方式管理资料，以空间数据集方式管理空间数据，二者以一套统一的数据库管理基础平台作为基础，构建出符合各自特征的资源库，同时两者的资源编目都注册到资源目录管理系统，以支持资源信息的发布和共享。

影像管理系统基于数据建模的思想进行数据管理，形成了统一的数据入库维护管理工具。该工具采用插件模式开发，每增加一类数据仅开发对应的元数据采集插件就可以实现对该类数据的入库管理。这种管理方式可以极大的提高影像管理系统的可扩展性和易用性。

在数据处理时，数据管理系统包括工程建立子系统、控制点、检查点采集子系统、DSM编辑子系统、控制点、连接点提取与区域网平差子系统、DSM生产子系统、DOM生产子系统。

其中，工程建立子系统，用于根据设定的数据目录自动检索SC级卫星影像，对检索出的影像根据获取时间、位置、重叠度等指标进行立体影像对、立体影像对加多光谱影像、全色影像加同视角多光谱影像的匹配和分组；检查影像、RPC的完好性，并将所有影像显示为框图，可保存为shp文件。

控制点、检查点采集子系统，用于根据人工输入地面坐标，调出SC级影像，已设置控制底图的条件下同时调出控制底图，在一副图像上刺点后通过匹配获取重叠影像同名点，调出选用位置处的影像。

DSM编辑子系统，用于同时打开待编辑DSM和替补DSM(如SRTM)，勾选待编辑DSM漏洞区域，实现漏洞修补，同时打开待编辑DSM和DOM，在DOM上勾选水体区域，实现DSM上水体边界整齐裁切，实现建筑物的删除或选中区域的水面置平等。

控制点、连接点提取与平差子系统，用于集群环境下在参考底图和参考DEM自动匹配控制点(立体、非立体)、集群环境下面向立体影像处理的SRTM控制点获取(立体)、集群环境下连接点自动获取(立体、非立体)以及集群环境下区域网平差(立体、非立体)。

DSM生产子系统，用于集群环境下分景DSM自动生产、集群环境下DSM自动拼接、按度分幅、DSM匹配间距分1*1像素和2*2像素，DSM分辨率可调，以及支持二、三线阵立体影像匹配。

数据管理系统支持数据查询功能，主要由数据查询条件、查询结果、覆盖率结果三大模块组成，查询条件支持由手动绘制、行政区查询、图幅查询、文本导入和shp导入等空间范围查询方式，以及时间、分辨率、云量、传感器、图幅号等属性查询方式。为方便查询用户的不同需求，系统支持矢量底图和影像底图两种展示方式，另有影像注记底图和矢量注记底图，方便用户定位查询。

DOM生产子系统，用于集群环境下8比特、16比特正射影像纠正，集群环境下8比特、16比特全色与多光谱正射影像融合，集群环境下8比特RGB正射影像整体匀色。

在数据处理过程中，较为关键的技术方案主要包括以下：

(1)逐像素稠密匹配加全局优化

立体影像全局优化匹配算法以全局能量最小化为目标，通过基于能量方程的全局优化实现整体匹配。能量方程一般包括数据项和平滑项。数据项指立体影像对应某一视差的对应点的相似度，可以通过灰度距离、互信息、相关系数、CENSUS距离等一种或几种的组合表示；平滑项指相邻两个像素的视差出现变化时施加的惩罚参数，平滑项及其对应的全局优化方法是区别于局部匹配算法的关键步骤。全局优化匹配算法的本质是点的匹配度和视差平滑度在整个匹配区域内的平衡，多数条件下能获得优于局部匹配算法的结果。但全局优化匹配算法计算往往存在计算量大、内存消耗大等缺点，且全局优化会形成视差的聚合或延伸效应，而聚合或延伸的方向不一定会沿理想的方向进行，因此反而可能导致错误的匹配结果。

常见的全局优化匹配算法有置信度传播算法(Belief Propgation,BP)，图割算法(Graph Cuts,GC)，总变分(Total Variation,TV)及广义总变分(Total GeneralizedVariation,TGV)。传统的全局优化算法隐含一种“正面平行”(Frontal-Parallel)效应，即更“喜欢”或“擅长”匹配视差相同的平面，在视差变化的区域，尤其是视差变化的弱纹理区域，会出现“正面平行”效应导致的台阶状视差，而不是平滑的视差平面。近些年出现的改进算法通过过度参数化的方法，将每一点的视差初始化为一个随机平面，通过局部优化和全局优化的组合使用，对倾斜面取得了较好的匹配效果。但计算量较传统做法显著增加。

全局优化匹配方法以全局能量最小化为目标，通常采用如下形式的能量方程：

其中，E(D)表示全局能量大小，D表示整幅影像的“视差图”，q为像素p的相邻像素，Np表示像素p相邻像素的合集。Dp和Dq表示这两个像素的视差。C表示像素p在视差为Dp时的数据项，表示左右片像素的相似程度，S为平滑项，表示Dp和Dq不同时施加的惩罚。

在本实施例中，以消息传播方法作为全局优化的基本策略,采用金字塔匹配方法,用上一层金字塔影像匹配得到的视差作为当前层的视差初值和估计局部视差坡度的基础数据。假设已经得到上一层的视差图D0。通过线性插值得到当前层的视差初值D。

如图11(a)、(b)可以看出，系统匹配有效高程点和SGM算法对比，以及本系统提取的DSM与其他方法提取的DSM在地形方面对比，很明显，本管理系统的优化方法效果更好。

另外，在全自动正射影像生产过程中，传统的平差解算一般称立体影像条件为强交会条件，非侧摆成像的多幅影像交会为弱交会条件。卫星实际工作中为了获取特定区域的影像，往往观测角度是随机的，造成交会角度大小不一。本系统可以将不同传感器、任意交会角度的影像联合平差处理。精度方面，以某省全国土地利用调查数据为例，接边精度总体优于0.5个像元，最大不超过2个像元。实验以资源三号无控DOM为参考底图，DOM与底图套合精度总体优于1个像素，最大不超过3个像素。

通过在模型拼接/自由网平差中附加SRTM、GLAS等广义控制提高无控精度，采用基于消息传播的全局优化匹配策略自动生成DSM，如图12所示，包括：

1)立体影像及RPC导入：根据文件名区分前视、后视影像和对应RPC，RPC已经过平差校正。

2)影像预处理与纹理分析：影像预处理的一个关键步骤是确定影像的最小有效值，并将低于该值的DN值统一设为最小有效值，这样可以实现这些低值区域的平滑过渡，否则会出现一些虚假纹理影响匹配。卫星影像在灰度过低的区域如起伏较大的山区背光区域，容易出现较大面积无纹理或假纹理区域，这些区域通过基于局部窗口方差计算检测出来，这些区域的匹配代价统一设为一个固定数值，通过后面的匹配代价传播步骤可以实现平滑过渡。

3)生成影像金字塔：通过小波变换生成影像金字塔，存储在数据体的对角区域。这里的关键是金字塔的层数及设置的顶层搜索范围是否与地区内的高差对应。

4)基于CENSUS的顶层匹配：对顶层影像做CENSUS变换并进行基于消息传播的匹配，探测可疑区域，若出现大面积非纹理缺失导致的可疑区域，且区域的高程均接近最大或最小高程，则认为搜索范围设置过小，将搜索范围加大并再次对误差区域进行匹配，若误差区域不再表现为大面积区域，则顶层匹配结若区域减小且还有较大面积误差区域束，则仍需加大搜索范围，直到不存在因搜索范围导致的可疑区域(前后两次匹配结果无明显差异)。匹配的结果是正视影像每个像点的高程。

5)基于CENSUS和互信息(Mutual Information，以下简称MI)的逐层匹配、可疑区域检测与精化匹配：采用分块匹配，相邻两块影像有一定的重叠区域，对顶层以下的每一层影像逐层进行CENSUS变换，并利用上一层每个正视像点获取的高程计算前后视校正影像，计算MI查找表。当前层每个点的初始高程由上一层匹配的高程得到，每个点的搜索范围由该点邻域(邻域大小取决于局部高差)内的高程确定，并留有一定余量。进行基于MI和CENSUS的消息传播优化匹配，并根据平滑参数的设置和多路径独立匹配结果和聚合后的匹配结果间的差异性等多种方法确定可疑区域。根据正视影像和前后视校正影像在误匹配区域的纹理特征、误匹配区域周围高程和误匹配区域的匹配测度等对误匹配区域进行分类，并对不同类型的可疑区域进行精化匹配，精化匹配时MI查找表计算不使用可疑区域的影像。

6)生成DSM：底层匹配完成后，根据主影像像点、像点对应高程、RPC计算地面点，根据设置的DSM网格间距通过距离倒数加权法生成DSM。

7)DSM生成与拼接：根据设置的DSM网格间距通过距离倒数加权法生成DSM，将单模型DSM拼接为整幅DSM。在拼接过程中记录每个格网点对应的单模型序号，供DOM提取环节使用。

在可疑区域匹配时，可以选用以下方法：

1)生成立体影像的核线立体影像对，核线立体影像对包括左核线影像和右核线影像；

采用投影轨迹法生成立体影像的核线立体影像对。通过投影轨迹法生成立体影像的核线立体影像对是本领域的公知技术，在此不再赘述。

2)读取所述核线立体影像对，并通过对所述核线立体影像对的左核线影像和右核线影像分别进行小波变换，建立所述左核线影像和右核线影像的各自的影像金字塔，其中，所述影像金字塔包括多层金字塔影像，原始读取的左核线影像和右核线影像为第一层金字塔影像，经小波变换后得到的第二层及第二层以上的金字塔影像均包括一个影像区域和三个纹理区域；

影像金字塔指将影像进行降采样处理得到的缩小影像，即，影像金字塔就是长、宽依次递减二分之一的多个小波变换影像(及纹理影像)。

2)中的小波变换的过程具体包括：将第i层金字塔影像作为原核线影像，对所述第i层金字塔影像进行小波变换，得到第i+1层核线影像，i为大于1的整数，其中，所述第i+1层核线影像包括左上、右上、左下、右下四个区域的影像，其中，左上区域的影像为影像区域，其包含长宽均为原核线影像二分之一的缩小影像，右上、左下和右下这三个区域为纹理区域，其包含了原核线影像的纹理信息。小波变换后的三个纹理区域和影像区域的长宽相同。

得到左右核线影像的第二层金字塔影像后，将所述第二层金字塔影像作为新的原始影像，对其进行小波变换后得到第三层金字塔影像(包括一个影像区域和三个纹理区域)。依次类推，可以到第四、第五层金字塔影像。根据本发明的优选实施例，金字塔影像的层数为5层。

小波变换后的一个影像区域和三个纹理区域的灰度值都是在一个4*4窗口内根据滤波器系数加权累加求和的结果。具体的，根据下式计算小波变换后的影像区域第k行j列的灰度G0(j,k)，右上纹理区域第k行，W/2+j列的灰度G1(W/2+j,k)，左下纹理区域第H/2+k行，j列的灰度G2(j,H/2+k)，右下纹理区域第H/2+k行，W/2+j列的灰度G3(W/2+j,H/2+k)。

3)对于顶层以下的每一层影像金字塔的左核线影像和右核线影像，逐层确定所述左核线影像和右核线影像中的可疑区域；

设金字塔层数为n，则顶层为第n-1层，以下依次为n-2层、n-3层、...、0层，0层也成为底层，即初始左、右核线影像层。

将左、右核线影像每个像点的视差搜索范围都设为h，搜索起始视差设为-h/2。通常，通过SGM匹配方法获取金字塔顶层左、右核线影像视差。顶层不进行可疑区域检测。

4)对所述左核线影像-右核线影像匹配代价和右核线影像-左核线影像匹配代价进行全局优化，以基于不同路径组合和对应平滑模型获取多对视差图；

每个像点P对应搜索范围内的多个候选视差中只有一个视差是正确的，这需要通过步骤3.4的全局优化来确定每个像点的视差。

计算完所述左-右匹配代价和右-左匹配代价后，可以通过两种方法(局部算法和全局优化算法)获取像点的视差，全局优化算法较局部算法鲁棒性更强，有云区域和无云区域在匹配稳定性上对比更加明显，所以对所述左核线影像-右核线影像匹配代价和右核线影像-左核线影像匹配代价进行全局优化。

采用基于消息传播的优化策略，对所述左核线影像-右核线影像匹配代价和右核线影像-左核线影像匹配代价进行全局优化。消息传播的16个方向中心点表示接收消息的像素，周围16个像素表示16个传播来向上最近的像素。对每个像对匹配方向(左核线影像-右核线影像方向和右核线影像-左核线影像方向这两个方向)采用四种消息传播路径组合，分别是：

路径组合1：0、12、1、13；

路径组合2：4、14、5、15；

路径组合3：2、9、3、8；

路径组合4：6、11、7、10。

对路径组合1和2采用双参数模型，但参数P1、P2的大小不一致，对路径组合3和4采用Huber模型，但具体参数a大小也不一致。

全局优化之后将得到每个像点优化之后的匹配代价L，L的形式与全局数据项C类似，为一个长度等于像点搜索范围Dmax的数组。数组中最小值的序号Dmin(数组下标0，1，…，Dmax-1)加上该像点的最小视差Ds即该像点的视差Dend。该像点列坐标col和视差Dend相加得到右核线影像对应像点列坐标col’，左右准核线影像两个像点行坐标row相同。由左、右准核线影像像点坐标和左、右准核线影像各自RPC进行前方交会可以得到对应的地面坐标(经度L、纬度B和高程H)。

5)基于4)确定的基于不同路径组合和对应平滑模型获取的多对视差图，初步确定影像中的可疑区域。

本系统采用的SRTM辅助平差流程如图13所示，包括：

1)基于快视图的连接点提取

对获取的立体影像(设为资源三号)通过nxn像元灰度取均值的方式降低分辨率，资源三号01星正视影像降低8倍分辨率、前后视影像降低5倍分辨率，02星三视影像均降低8倍分辨率。相应的RPC参数LINE_OFF、LINE_SCALE、SAMP_OFF、SAMP_SCALE变换方法为：

LINE_SCALE＝LINE_SCALE/n，SAMP_SCALE＝SAMP_SCALE/n

LINE_OFF＝(LINE_OFF-n/2+0.5)/n，SAMP_OFF＝(SAMP_OFF-n/2+0.5)/n

首先通过SIFT匹配提取每个快视图像对(2或3视)的同名点，任意两个像对的正视影像间也提取同名像点。通过坐标比对的方法确定两个像对都有的点对，合并为一个多视同名点。

循环执行“同名点前方交会-获取每景影像的像点、地面点对-每景影像的RPC校正”，开始的几次(如5次)迭代只校正RPC的分子常数项，后面的迭代校正分子常数项和归一化经、维度对应的一阶项。

通过等步距检索的方法计算同名点物方高程和SRTM对应高程相关性最大的偏移量。将同名点物方坐标加上这个偏移量，并矫正所有影像的RPC。

2)将快视图RPC变换为原始分辨率RPC结合SRTM高程约束提取原始影像常规连接点

将原始影像RPC的有理多项式参数的分子常数项和经、纬度对应的一次项替换为校正后的快视图RPC对应参数。这时的RPC参数相对精度主要受限于快视的分辨率和快试图连接点的精度这两个因素，原始影像同名点的预测初始位置精度则受限于以上两个因素还受限于SRTM的局部高程与同名点对应高程的偏差大小，这个偏差大小显然与地形有关。对同轨立体成像来说，地形的影像主要体现在影像的行方向。因此将行方向的搜索范围设为一个较大的值，本文将列方向搜索范围设为5，行方向搜索范围设为9，匹配窗口设为15x15。首先提取主影像的harris特征点，通过相关系数法得到像素级精度的匹配点，然后通过最小二乘匹配得到亚像素位置，最小二乘匹配只考虑影像行方向的变形。通过相关系数门限和反向匹配初步剔除不符合条件的同名点。

常规连接点提取完成后采用与步骤1类似的方法进行自由网平差，不同的是每次迭代后，每景影像RPC校正完成，记录这景影像余差大于一定门限a的最大的几个点。将所有大残差点排序后，删除最大的一部分点(如20％)。门限a将随着迭代次数增加逐步缩小。

将所有RPC还原(快视RPC变换结果)，并重新迭代至稳定(迭代一定次数)。

3)SRTM特征点提取

山顶特征点采用局部差异性探测算子提取，按一定步距探测平坦特征点，假设当前坐标对应的SRTM行列号为(r,c)，以(r,c)为中心向8邻域方向搜索高程与(r,c)点高程只差大于一定门限的点，若一定搜索范围内8个方向都没找到高差超限的点，则该点为平坦特征点。

4)SRTM特征点对应的稠密连接点获取

两类特征点投射到原始影像上，获取一定大小的主影像和从影像，SGM物方方法进行逐像素稠密匹配，获取同名像点，将同名像点按45米一个点(大约为SRTM分辨率的一半)抽稀。

与山顶连接点不同的是，平坦稠密连接点首先通过形态滤波过滤掉可能存在的建筑等对应点，因为SRTM不包含这些信息。

5)附加SRTM约束的区域网平差

常规连接点前方交会和每景影像RPC校正两个步骤交替进行，利用当前RPC计算稠密连接点对应的地面点簇。与SRTM山顶点求最大相关点，获取水平偏移量和垂直偏移量。平坦区域稠密连接点只与对应SRTM求垂直偏移量。常规连接点对应地面点根据距离倒数加权法加上水平和垂直偏移量。

同时，本系统采用一种数字表面模型后处理及信息提取的方法，通过DSM自动获取城市建筑区域。首先通过空间层次分解和信息统计的方法识别非地面点。非地面点剔除后用周围高程拟合得到DTM(digital terrine model)，DSM高度减去DTM高度得到建筑区域信息，通过形态学变换去除噪声。

1)设置初始参数，包括窗口参数初值cr0＝50，有效点数阈值初值minmx0＝800，高程层次划分参数hoff＝2.0米，迭代次数xhnum＝3。

2)通过多次迭代，识别非地面点

识别非地面点的基本思想是在一个空间立方体中，地面点占多数，非地面点占少数，通过记录层次空间中的有效点数，分离出可能的非地面点，通过坡度、邻域支持度等信息的综合分析获取非地面点信息。

3)非地面点高度拟合

对每个无效点向8邻域方向探测有效点，并记录对应的探测距离，通过距离倒数加权法拟合非地面点的高程。

当然，上述实施例中的参数仅为示例，在其他实施例中，可以根据具体情况进行调整。

另外，鉴于数据管理中包含大量空间数据查询、组合数据查询、关联数据查询等复杂查询的特点，因此本影像管理系统采用空间数据查询与数据库组合的模式实现数据的快速检索。

影像管理系统将需要查询的空间信息和元数据信息均采用分区表的方式存储于数据库中。对于包含空间信息的数据，影像管理系统采用空间数据集的方式进行管理，并且通过空间数据引擎建立格网索引。对于元数据信息采用数据库分区表进行管理，并建立数据库索引。在进行数据检索操作时，影像管理系统会基于不同的查询条件采用不同的索引进行检索操作。

在进行数据查询时，影像管理系统综合运用多线程查询机制、分页查询机制、实时动态查询机制、索引管理机制，提高查询效率，提升用户体验。如图10所示。

同时，也支持数据浏览功能，是指对查询的影像结果进行浏览，系统支持影像框图浏览和快视图浏览。通过选中查询结果中记录的复选框，地图区域自动定位到该影像图形区域。

还提供数据归档统计，对所有归档的数据，按条件进行分类统计，默认选中全部数据类型，在查询结果柱形图中进行展示。也可以对当前库存数据按在线、离线分别进行分类统计。

针对磁盘空间不足时，提供数据迁移功能，将最长时间不用的数据进行迁移出磁盘，转存到外挂磁盘，腾出相应磁盘空间，并将记录写入数据库中，之后如果需要此数据时，再在系统中查询出该影像的具体存放位置，找出相应数据。

管理系统采用后台定期自动产品制作的方式实现覆盖产品快速出图的需求。影像管理系统可以基于用户定义的时间、数据类型、区域信息、云量信息进行后台自动覆盖产品制作，覆盖范围产品入库完成之后系统会对产品入库存档。用户使用时仅需要数据查询下载操作即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种遥感影像数据归档管理系统，其特征是：包括：

所述系统采用并行调度,并行调度框架支持并行资源调度、并行任务分配以及并行计算的执行，采用最优算法对任务项进行分组，根据各计算节点的资源占用情况及其性能，将任务项分派到节点上执行；

基于此框架，在执行时，将数据归档、检索和统计任务分解成若干个子任务，并将这些子任务分配给相应的执行节点执行，各节点执行完成后，将执行结果汇总返回；

所述系统包括数据整合单元、数据归档单元、数据处理单元以及数据存储单元；

所述数据整合单元，被配置为对接收的航天、航空遥感影像数据进行整合；

所述数据归档单元，被配置为对数据进行分类，不同类型的数据以不同文件形式进行存储；

所述数据处理单元，包括多个任务处理节点，各个任务处理节点并行处理相应任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；

所述数据存储单元，被配置为存储航天、航空遥感影像原始数据和处理结果；

所述数据处理单元，包括立体影像全局优化匹配模块，被配置为获取立体影像数据，对影像数据进行预处理和纹理分析，通过小波变换生成影像金字塔，对金字塔的顶层影像进行变换并进行基于消息传播的匹配，进行逐层匹配，生成数字表面模型；

基于CENSUS和互信息的逐层匹配、可疑区域检测与精化匹配：采用分块匹配，相邻两块影像有一定的重叠区域，对顶层以下的每一层影像逐层进行CENSUS变换，并利用上一层每个正视像点获取的高程计算前后视校正影像，计算互信息查找表；当前层每个点的初始高程由上一层匹配的高程得到，进行基于互信息查找表和CENSUS的消息传播优化匹配，并根据平滑参数的设置和多路径独立匹配结果和聚合后的匹配结果间的差异性确定可疑区域；根据正视影像和前后视校正影像在误匹配区域的纹理特征、误匹配区域周围高程和误匹配区域的匹配测度对误匹配区域进行分类，并对不同类型的可疑区域进行精化匹配。

2.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据归档单元中，文件形式包括tif影像文件、tfw文件、xml文件、ovr文件、xls元数据文件、txt文件和表格文件。

3.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据处理单元，包括可疑区域检测模块，被配置为生成立体影像的核线立体影像对，读取所述核线立体影像对，并通过对所述核线立体影像对的左核线影像和右核线影像分别进行小波变换，建立所述左核线影像和右核线影像的各自的影像金字塔；对顶层以下的每一层影像金字塔的左核线影像和右核线影像，逐层确定所述左核线影像和右核线影像中的可疑区域。

4.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据处理单元，包括航天飞机雷达地形测绘辅助平差模块，被配置为降低立体影像分辨率，提取每个快视图像对的连接点，将快视图分辨率进行还原，结合航天飞机雷达地形测绘高程约束提取原始影像常规连接点，进行原始影响自由网评查，按照一定间距提取山顶特征点和平坦区域特征点，将两类特征点分别投射到原始影响上，提取稠密连接点。

5.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据处理单元，包括数据查询检索模块，被配置为对包含空间信息的数据，采用空间数据集的方式进行管理，并且通过空间数据引擎建立格网索引，对于元数据信息采用数据库分区表进行管理，并建立数据库索引；基于输入的查询条件采用不同的索引进行检索操作。

6.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据处理单元，包括覆盖图产品制作模块，被配置为基于输入的时间、数据类型、区域信息和云量信息，进行并发式地图瓦片绘制，生成覆盖范围产品。

7.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据存储单元，包括：

第一数据存储模块，用于存储航空遥感影像原始数据；

第二数据存储模块，用于存储航天遥感影像原始数据；

第三数据存储模块，用于存储处理分析后的成果数据。

8.如权利要求1所述的一种遥感影像数据归档管理系统，其特征是：所述数据存储单元，被配置为对数据进行建模和描述，数据建模是对数据元数据、空间化信息、数据类型和存储位置的实例化过程，描述信息包括数据元数据、空间化信息，不同信息分区存储。

9.一种遥感影像数据归档管理方法，其特征是：包括以下步骤：

采用并行调度,并行调度框架支持并行资源调度、并行任务分配以及并行计算的执行，采用最优算法对任务项进行分组，根据各计算节点的资源占用情况及其性能，将任务项分派到节点上执行；

在执行时，将数据归档、检索和统计任务分解成若干个子任务，并将这些子任务分配给相应的执行节点执行，各节点执行完成后，将执行结果汇总返回；

对接收的航天、航空遥感影像数据进行整合；

对整合后的数据进行分类，不同类型的数据以不同文件形式进行存储；

并行执行数据处理任务，所述任务包括数据查询、数据清理、数据调度、数据特征提取、立体影像全局优化匹配、可疑匹配检测、区域网平差、数字表面模型提取与拼接中的若干个；

存储航天、航空遥感影像原始数据和数据处理任务得到的结果；

所述立体影像全局优化匹配包括：获取立体影像数据，对影像数据进行预处理和纹理分析，通过小波变换生成影像金字塔，对金字塔的顶层影像进行变换并进行基于消息传播的匹配，进行逐层匹配，生成数字表面模型；

基于CENSUS和互信息的逐层匹配、可疑区域检测与精化匹配：采用分块匹配，相邻两块影像有一定的重叠区域，对顶层以下的每一层影像逐层进行CENSUS变换，并利用上一层每个正视像点获取的高程计算前后视校正影像，计算互信息查找表；当前层每个点的初始高程由上一层匹配的高程得到，进行基于互信息查找表和CENSUS的消息传播优化匹配，并根据平滑参数的设置和多路径独立匹配结果和聚合后的匹配结果间的差异性确定可疑区域；根据正视影像和前后视校正影像在误匹配区域的纹理特征、误匹配区域周围高程和误匹配区域的匹配测度对误匹配区域进行分类，并对不同类型的可疑区域进行精化匹配。

Images