CN109508335B - 一种海量地杂波数据分类存储方法 - Google Patents

Abstract

本发明公开了一种海量地杂波数据分类存储方法，包括如下步骤：（1）构建基于ORACLE RAC共享存储集群架构的存储系统；（2）以构建数据存储表空间的方式实现对地杂波数据的存储管理；（4）基于视图虚拟的关联技术实现地杂波数据复合检索，数据检索类型由实际的地杂波应用场景决定。本发明所公开的海量地杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构构建地杂波数据管理硬件平台，使得系统具有负载均衡、高可用服务、可扩展性、通过并行执行技术提高事务响应时间。

Description

一种海量地杂波数据分类存储方法

技术领域

本发明属于海量地杂波数据存储管理领域，特别涉及该领域中的一种对不同雷达获取的不同背景类型的海量地杂波数据的分类存储方法。

背景技术

不同背景类型的地杂波(如沙漠、丘陵、高原、森林、城市等)对雷达目标检测性能的影响是非常巨大的，不同背景类型产生不一样的电磁散射特性。为此，需要大量采集不同背景类型、不同雷达波段的地杂波数据，进行地杂波幅度统计特性研究。随着现代雷达技术的飞速发展，雷达的通道数已由单通道发展到多通道，雷达接收机每秒采集的数据量由原来的MB量级迅速增加到GB量级。为此，需要一种高效的数据存储管理方法，实现对不同背景类型、不同波段条件下地杂波数据的存储管理，为地杂波特性研究分析提供高效的数据服务。

发明内容

本发明所要解决的技术问题就是提供一种可以解决地杂波数据高效存储管理与地杂波特性研究之间的效率问题、并能辅助分析研究地杂波特性的海量地杂波数据分类存储方法。

本发明采用如下技术方案：

一种海量地杂波数据分类存储方法，其改进之处在于，包括如下步骤：

(1)构建基于ORACLE RAC共享存储集群架构的存储系统；

(11)采用全冗余的SAN存储结构设计，由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成，服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接；

(12)地杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2；

(13)共享存储阵列用于安装RAC地杂波数据库，管理地杂波数据以及相关属性数据，同时还存放Oracle的数据文件、控制文件、联机日志文件和归档日志文件，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC地杂波数据库；

(2)以构建数据存储表空间的方式实现对地杂波数据的存储管理；

以数据类型为基础、不同波段为辅助，建立地杂波数据库的表空间，为数据的存储规划逻辑存储实体；

(21)数据量较大的数据，按波段分别建立大文件表空间；

(22)数据量较小的数据，采用小文件表空间进行管理；

(3)以构建分区的方式实现对地杂波数据的逻辑分类存储管理；

对于数据量较大的数据类型，以背景类型作为基础，按照波段—子背景类型作为分区划分依据，采用列表—列表组合分区的方式，实现对地杂波数据存储分区的规划；

(31)建立背景类型与背景子类型编码关系；

背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型；

(32)建立波段—子背景列表—列表组合分区；

(4)基于视图虚拟的关联技术实现地杂波数据复合检索，数据检索类型由实际的地杂波应用场景决定。

进一步的，步骤(13)中的相关属性数据包括但不限于地杂波脉冲压缩数据、特性分析数据、气象数据和背景类型数据。

进一步的，数据量较大的数据包括但不限于地杂波原始数据、地杂波脉冲压缩数据和地杂波散射系数数据。

进一步的，步骤(22)中数据量较小的数据包括但不限于气象数据、模型数据和地杂波特性分析数据。

进一步的，气象数据包括但不限于风速、风向和温度。

进一步的，在步骤(31)中，背景类型包括但不限于城镇、农业用地、牧场、森林、水面、湿地和荒地，城镇可再细分为居民地和商业区，农业用地可再细分为庄稼地和草地。

进一步的，步骤(32)中的分区类型包括但不限于地杂波原始数据列表—列表组合分区、地杂波脉冲压缩数据列表—列表组合分区和地杂波散射系数列表—列表组合分区。

本发明的有益效果是：

本发明所公开的海量地杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构构建地杂波数据管理硬件平台，使得系统具有负载均衡、高可用服务、可扩展性、通过并行执行技术提高事务响应时间；基于ORACLE大文件表空间与小文件表空间，实现对不同类型地杂波数据以及相关数据的逻辑存储设计，大幅减少了数据库需要管理的数据库文件数量，简化了数据库管理的难度；通过构建分区的方式，按照一定的数据组织分类方式进行分区存储，提高地杂波检索性能；采用视图虚拟关联技术，为地杂波特性分析提供数据复合和高效检索、数据快速提取等服务。

附图说明

图1是本发明实施例1步骤(11)中地杂波数据存储系统各组成部分之间的连接关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本申请文件中，

SAN存储结构：Storage Area Network,简称SAN，存储区域网络；

HBA卡：Host Bus Adapter，简称HBA，主机总线适配器；

FC交换机：Fibre Channel，简称FC，光纤通道；

数据库实例节点CLUTDB1：Clutter Database，简写CLUTDB，属于自己命名；

RAC地杂波数据库：Real Application Cluster，简称RAC，真正应用集群。

实施例1，本实施例公开了一种海量地杂波数据分类存储方法，具体步骤如下：

(1)构建基于ORACLE RAC共享存储集群架构的存储系统

在数据库存储系统的构建过程中，需要从实际的业务需求出发进行分析。如业务系统单一、历史数据和增量数据不大、性能和实时性要求不高，可以采用一个独立的数据库，部署在一台PC服务器即可满足要求；而对于数据量巨大、核心实体数据模型复杂、属性个数多(几十甚至上百个)，同时对数据库的实时性、可靠性、可用性、故障恢复等各方面要求都很高的数据库，则需要采用先进的集群系统，通过读写分离、水平切分、内存数据库和磁盘数据库混合集群的方式，实现对海量地杂波数据管理。为此提出了基于ORACLE RAC共享存储集群架构的存储系统，作为对地杂波数据存储管理的硬件平台。

(11)如图1所示，基于ORACLE RAC共享存储集群架构的地杂波数据存储系统，采用全冗余的SAN存储结构设计，基本由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成。服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接。

(12)地杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2。两个数据库实例节点同时对外提供地杂波数据检索、数据上传等服务，有利于提高数据访问的带宽、数据库的安全性等。

(13)共享存储阵列用于安装RAC地杂波数据库，管理地杂波数据以及相关属性数据，如地杂波脉冲压缩数据、特性分析数据、气象数据、背景类型数据等，同时还存放Oracle的数据文件、控制文件、联机日志文件、归档日志文件等，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC地杂波数据库。

(2)以构建数据存储表空间的方式实现对地杂波数据的存储管理

对于Oracle数据库来说，数据库中存储的数据最终在物理层面是通过一系列的数据文件来体现。而与之对应的逻辑结构层次就是表空间。表空间是逻辑实体，每个应用程序的表和索引都作为一个段存储，而这些段都存储在作为表空间成分的数据文件中。表空间分为大文件表空间与小文件表空间，在表空间容量与数据块大小一致的情况下，大文件表空间管理能力是小文件表空间管理的1024倍。依据实际地杂波数据情况，提出了以数据类型为基础、不同波段为辅助，建立地杂波数据库的表空间，为数据的存储规划逻辑存储实体。

(21)地杂波原始数据、地杂波脉冲压缩数据、地杂波散射系数数据等数据量比较大的数据，按波段分别建立大文件表空间，以地杂波脉冲压缩数据为例进行说明：

表空间命名规则：波段_杂波类型_数据类型_表空间类型。

如PBAND_PULSECOM_BIGTS，其中PBAND代表波段，LAND表示地杂波，PULSECOM代表脉冲压缩，BIGTS代表大文件表空间。

(22)气象数据(包括风速、风向、温度等)、模型数据、地杂波特性分析数据等数据量相对较小，采用小文件表空间进行管理。

如下例所示：

气象环境数据：WEATHER_ENVIR_SMALLTS

地杂波模型数据：LANDCLUTTER_MODEL_SMALLTS

表空间命名规则：数据类型_小文件表空间，如WEATHER_ENVIR代表气象环境，SMALLTS代表小文件表空间。

总的来说，在实际应用过程中，随着地杂波特性研究的深入、数据类型的增加，可以参照上述规则，对不同数据类型存储表空间进行更新，达到满足数据存储管理的目的。

(3)以构建分区方式实现对地杂波数据的逻辑分类存储管理

随着地杂波测量数据的不断入库，单表中存储的数据将不断增加，一个表具有几个TB甚至几十个TB的数据是司空见惯的事情。在这种情况下，如果仅仅采用索引技术，数据的查询、更新等各方面的性能将不可避免地出现下降。为此，提出通过创建分区的方式，按照一定的数据组织分类方式进行分区存储，提高地杂波检索性能。

Oracle提供多种不同的分区表与组合分区方法，如范围分区、散列分区、列表分区以及范围—散列分区、列表—列表分区、列表—范围分区等，不同的分区方法有不同的应用场景。地杂波与背景类型(如城镇、农业用地、牧场等)相关。因此，提出背景类型作为基础，按照波段—子背景类型作为分区划分依据，采用列表—列表组合分区的方式，实现对地杂波数据存储分区的规划。特别说明，构建分区的方式主要应用于具有数据量很大的数据类型，如地杂波原始数据、地杂波脉冲压缩数据、地杂波散射系数数据等。

(31)建立背景类型与背景子类型编码关系

当前背景类型主要分为城镇、农业用地、牧场、森林、水面、湿地、荒地，然后按照背景类型再细分，如城镇再细分为居民地、商业区两类，农业用地再分为庄稼地、草地等等。背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型，这样可以确保背景类型编码与子类型编码能对齐。背景类型与背景子类型编码对应关系如下表。

(32)建立波段—子背景列表—列表组合分区

根据数据类型的不同，建立不同波段—子背景列表—列表组合分区，如地杂波原始数据列表—列表组合分区、地杂波脉冲压缩数据列表—列表组合分区、地杂波散射系数列表—列表组合分区等。后期可以随着数据种类的增多，增加不同的列表—列表组合分区。以地杂波脉冲压缩数据为例进行说明，如下表所示：

说明：(a)列表分区，如PBAND_LAND_SIGMA_PART，其中PBAND代表P波段，LAND代表地杂波，SIGMA代表散射系数，PART代表分区；

(b)不同背景子类型子列表分区，如PBAND_SUBPART_1010，其中PBAND表示P波段，SUBPART代表子列表，1010代表背景类型为城镇，子背景类型为居民区。

(4)基于视图虚拟的关联技术实现对地杂波数据的复合检索

数据库构建的最终目的是提供数据库检索、统计等服务。一般情况下数据检索不是针对单一数据类型，通常属于综合、复杂的检索，如检索基于某一频段、带宽、背景情况下的地杂波脉冲压缩数据。为此，提出基于视图虚拟的关联不同表之间的数据，为地杂波数据检索提供服务。

数据检索类型由实际的地杂波应用场景决定，在构建好地杂波数据库的基础上，可以依据不同的应用场景，如气象数据—地杂波脉压数据检索视图、气象数据—地杂波散射系数检索视图等。对于气象数据—地杂波脉压数据检索视图来说，就可以通过SQL查询语句检索基于某一频段、带宽、温度、风速、风向复合查询条件下的地杂波脉冲压缩数据，也可以基于某一频段或带宽或风速或风向等单一条件的地杂波脉冲数据的检索。

本实施例所公开的海量地杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构的存储系统，采用大文件表空间和小文件表空间以及波段—子背景类型的列表—列表组合分区技术实现对地杂波数据的分类存储管理，最后采用视图虚拟的关联技术提供不同数据类型的复合检索服务，从而达到为地杂波特性研究提供高效服务的目的。

Claims (4)

1.一种海量地杂波数据分类存储方法，其特征在于，包括如下步骤：

（1）构建基于ORACLE RAC共享存储集群架构的存储系统；

（11）采用全冗余的SAN存储结构设计，由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成，服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接；

（12）地杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2；

（13）共享存储阵列用于安装RAC地杂波数据库，管理地杂波数据以及相关属性数据，同时还存放Oracle的数据文件、控制文件、联机日志文件和归档日志文件，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC地杂波数据库；

（2）以构建数据存储表空间的方式实现对地杂波数据的存储管理；

以数据类型为基础、不同波段为辅助，建立地杂波数据库的表空间，为数据的存储规划逻辑存储实体；

（21）数据量较大的数据，按波段分别建立大文件表空间；数据量较大的数据包括地杂波原始数据、地杂波脉冲压缩数据和地杂波散射系数数据；

（22）数据量较小的数据，采用小文件表空间进行管理；数据量较小的数据包括气象数据、模型数据和地杂波特性分析数据；

（3）以构建分区的方式实现对地杂波数据的逻辑分类存储管理；

对于数据量较大的数据类型，以背景类型作为基础，按照波段—子背景类型作为分区划分依据，采用列表—列表组合分区的方式，实现对地杂波数据存储分区的规划；

（31）建立背景类型与背景子类型编码关系；

背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型；背景类型包括城镇、农业用地、牧场、森林、水面、湿地和荒地，城镇可再细分为居民地和商业区，农业用地可再细分为庄稼地和草地；

（32）建立波段—子背景列表—列表组合分区；

（4）基于视图虚拟的关联技术实现地杂波数据复合检索，数据检索类型由实际的地杂波应用场景决定。

2.根据权利要求1所述的海量地杂波数据分类存储方法，其特征在于：步骤（13）中的相关属性数据包括地杂波脉冲压缩数据、特性分析数据、气象数据和背景类型数据。

3.根据权利要求1所述的海量地杂波数据分类存储方法，其特征在于：气象数据包括风速、风向和温度。

4.根据权利要求1所述的海量地杂波数据分类存储方法，其特征在于：步骤（32）中的分区类型包括地杂波原始数据列表—列表组合分区、地杂波脉冲压缩数据列表—列表组合分区和地杂波散射系数列表—列表组合分区。

Images