CN109542910B

CN109542910B - 一种海量海杂波数据分类存储方法

Info

Publication number: CN109542910B
Application number: CN201811462116.1A
Authority: CN
Inventors: 张浙东; 张玉石; 张金鹏; 李清亮; 黎鑫; 许心瑜; 夏晓云; 赵鹏; 朱秀芹; 尹志盈; 尹雅磊; 余运超; 李善斌
Original assignee: China Institute of Radio Wave Propagation CETC 22 Research Institute
Current assignee: China Institute of Radio Wave Propagation CETC 22 Research Institute
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2022-10-28
Anticipated expiration: 2038-12-03
Also published as: CN109542910A

Abstract

本发明公开了一种海量海杂波数据分类存储方法，包括如下步骤：（1）构建基于ORACLE RAC共享存储集群架构的存储系统；（2）构建数据存储表空间方式实现对海杂波数据存储管理；（3）构建分区方式实现对海杂波数据逻辑分类存储管理；（4）基于视图虚拟的关联技术实现海杂波数据复合检索，数据检索类型由实际的海杂波应用场景决定。本发明所公开的海量海杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构构建海杂波数据管理硬件平台，使得系统具有负载均衡、高可用服务、可扩展性、通过并行执行技术提高事务响应时间。

Description

一种海量海杂波数据分类存储方法

技术领域

本发明属于海量海杂波数据存储管理领域，特别涉及该领域中的一种对不同雷达获取的不同海况下海量海杂波数据的分类存储方法。

背景技术

海杂波对雷达目标检测性能的影响是非常巨大的，尤其是在高等级海况情况下，不同的海况(风速、风向、浪高、浪向等)情况，将生成不同的海面状态，不同的海面状态，产生不一样的电磁散射特性。为此，需要大量采集不同海况等级、不同雷达波段的海杂波数据，进行海杂波机理、幅度统计特性、谱特性等相关方面的研究。由于现代雷达技术的飞速发展，雷达的通道数已由单通道发展到多通道，雷达接收机每秒采集的数据量由原来的MB量级迅速增加到GB量级。为此，需要一种高效的数据存储管理方法，实现对不同海况、不同波段条件下海杂波数据的存储管理，为海杂波特性研究分析提供高效的数据服务。

发明内容

本发明所要解决的技术问题就是提供一种可以解决海杂波数据高效存储管理与海杂波特性研究之间的效率问题、并能辅助对海杂波特性进行分析研究的海量海杂波数据分类存储方法。

本发明采用如下技术方案：

一种海量海杂波数据分类存储方法，其改进之处在于，包括如下步骤：

(1)构建基于ORACLE RAC共享存储集群架构的存储系统；

(11)基于ORACLE RAC共享存储集群架构的海杂波数据存储系统，采用全冗余的SAN存储结构设计，由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成，服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接；

(12)海杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2；

(13)共享存储阵列用于安装RAC海杂波数据库，管理海杂波数据以及相关属性数据，同时还存放Oracle的数据文件、控制文件、联机日志文件和归档日志文件，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC海杂波数据库；

(2)构建数据存储表空间方式实现对海杂波数据存储管理；

以数据类型为基础、不同波段为辅助，建立海杂波数据库的表空间，为数据的存储规划逻辑存储实体；

(21)数据量较大的数据，按波段分别建立大文件表空间；

(22)数据量较小的数据，采用小文件表空间进行管理；

(3)构建分区方式实现对海杂波数据逻辑分类存储管理；

对于数据量较大的数据类型，按照波段—浪高作为分区划分依据，采用列表—列表组合分区的方式，实现对海杂波数据存储分区的规划；

(31)建立背景类型与背景子类型编码关系：背景类型为海面，背景子类型为1/3浪高，背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型；

(32)建立不同波段—子背景列表—列表组合分区；

(4)基于视图虚拟的关联技术实现海杂波数据复合检索，数据检索类型由实际的海杂波应用场景决定。

进一步的，在步骤(13)中，相关属性数据包括但不限于海杂波脉冲压缩数据、特性分析数据和海况数据。

进一步的，数据量较大的数据包括但不限于海杂波原始数据、海杂波脉冲压缩数据和海杂波散射系数数据。

进一步的，在步骤(22)中，数据量较小的数据包括但不限于海洋环境数据、模型数据和海杂波特性分析数据。

进一步的，海洋环境数据包括但不限于风速、风向、浪高和浪向。

进一步的，在步骤(32)中，分区类型包括但不限于海杂波原始数据列表—列表组合分区、海杂波脉冲压缩数据列表—列表组合分区和海杂波散射系数列表—列表组合分区。

本发明的有益效果是：

本发明所公开的海量海杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构构建海杂波数据管理硬件平台，使得系统具有负载均衡、高可用服务、可扩展性、通过并行执行技术提高事务响应时间；基于ORACLE大文件表空间与小文件表空间，实现对不同类型海杂波数据以及相关数据的物理存储设计，大幅减少了数据库需要管理的数据库文件数量，简化了数据库管理的难度；通过构建分区的方式，按照一定的数据组织分类方式进行分区存储，提高海杂波检索性能；采用视图虚拟关联技术，为海杂波特性分析提供数据复合和高效检索、数据快速提取等服务。

附图说明

图1是步骤(11)海杂波数据存储系统中各组成部分之间的连接关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本申请文件中：

SAN存储结构：Storage Area Network，简称SAN，存储区域网络；

HBA卡：Host Bus Adapter，简称HBA，主机总线适配器；

FC交换机：Fibre Channel，简称FC，光纤通道；

数据库实例节点CLUTDB1：Clutter Database，简写CLUTDB，属于自己命名；

RAC地杂波数据库：Real Application Cluster，简称RAC，真正应用集群。

实施例1，本实施例公开了一种海量海杂波数据分类存储方法，其具体步骤如下：

(1)构建基于ORACLE RAC共享存储集群架构的存储系统

在数据库存储系统的构建过程中，需要从实际的业务需求出发进行分析。如业务系统单一、历史数据和增量数据不大、性能和实时性要求不高，可以采用一个独立的数据库，部署在一台PC服务器即可满足要求；而对于数据量巨大、核心实体数据模型复杂、属性个数多(几十甚至上百个)，同时对数据库的实时性、可靠性、可用性、故障恢复等各方面要求都很高的数据库，则需要采用先进的集群系统，通过读写分离、水平切分、内存数据库和磁盘数据库混合集群的方式，实现对海量数据管理。为此提出了基于ORACLE RAC共享存储集群架构的存储系统，作为海杂波数据的存储管理的硬件平台。

(11)如图1所示，基于ORACLE RAC共享存储集群架构的海杂波数据存储系统，采用全冗余的SAN存储结构设计，基本由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成。服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接。

(12)海杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2。两个数据库实例节点同时对外提供海杂波数据检索、数据上传等服务，有利于提高数据访问的带宽、数据库的安全性等。

(13)共享存储阵列用于安装RAC海杂波数据库，管理海杂波数据以及相关属性数据，如海杂波脉冲压缩数据、特性分析数据、海况数据等，同时还存放Oracle的数据文件、控制文件、联机日志文件、归档日志文件等，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC海杂波数据库。

(2)构建数据存储表空间方式实现对海杂波数据存储管理

对于Oracle数据库来说，数据库中存储的数据最终在物理层面是通过一系列的数据文件来体现。而与之对应的逻辑结构层次就是表空间。表空间是逻辑实体，每个应用程序的表和索引都作为一个段存储，而这些段都存储在作为表空间成分的数据文件中。表空间分为大文件表空间与小文件表空间，在表空间容量与数据块大小一致的情况下，大文件表空间管理能力是小文件表空间管理的1024倍。依据实际海杂波数据情况，提出了以数据类型为基础、不同波段为辅助，建立海杂波数据库的表空间，为数据的存储规划逻辑存储实体。

(21)海杂波原始数据、海杂波脉冲压缩数据、海杂波散射系数数据等数据量比较大的数据，按波段分别建立大文件表空间，以海杂波脉冲压缩数据为例进行说明：

表空间命名规则：波段_杂波类型_数据类型_表空间类型。

如PBAND_OCEAN_PULSECOM_BIGTS，其中PBAND代表波段，OCEAN代表海杂波，PULSECOM代表脉冲压缩，BIGTS代表大文件表空间。

(22)海洋环境数据(包括风速、风向、浪高、浪向等)、模型数据、海杂波特性分析数据等数据量相对较小，采用小文件表空间进行管理。

如下例所示：

海洋环境数据：OCEAN_ENVIR_SMALLTS

海杂波模型数据：OCEAN_MODEL_SMALLTS

表空间命名规则：数据类型_小文件表空间，如OCEAN_ENVIR代表海洋环境，SMALLTS代表小文件表空间。

总的来说，在实际应用过程中，随着海杂波特性研究的深入、数据类型的增加，可以参照上述规则，对不同数据类型存储表空间进行更新，达到满足数据存储管理的目的。

(3)构建分区方式实现对海杂波数据逻辑分类存储管理

随着海杂波测量数据的不断入库，单表中存储的数据将不断增加，一个表具有几个TB甚至几十个TB的数据是司空见惯的事情。在这种情况下，如果仅仅采用索引技术，数据的查询、更新等各方面的性能将不可避免地出现下降。为此，提出通过创建分区的方式，按照一定的数据组织分类方式进行分区存储，提高海杂波检索性能。

Oracle提供多种不同的分区表与组合分区方法，如范围分区、散列分区、列表分区以及范围—散列分区、列表—列表分区、列表—范围分区等，不同的分区方法有不同的应用场景。海杂波与浪高、浪向密切相关，如果按照浪向来划分，存在粗细粒度界定的问题，即360度的浪向，按几度为间隔进行划分的问题。因此，提出按照波段—浪高作为分区划分依据，采用列表—列表组合分区的方式，实现对海杂波数据存储分区的规划。特别说明，构建分区的方式主要应用于具有数据量很大的数据类型，如海杂波原始数据、海杂波脉冲压缩数据、海杂波散射系数数据等。

(31)建立背景类型与背景子类型编码关系

背景类型为海面，背景子类型为1/3浪高。背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型，这样可以确保背景类型编码与子类型编码能对齐。背景类型与背景子类型编码对应关系表如下表：

(32)建立波段—子背景列表—列表组合分区

根据数据类型的不同，建立不同波段—子背景列表—列表组合分区，如海杂波原始数据列表—列表组合分区、海杂波脉冲压缩数据列表—列表组合分区、海杂波散射系数列表—列表组合分区等。后期可以随着数据种类的增多，增加不同的列表—列表组合分区。以海杂波脉冲压缩数据为例进行说明，如下表所示。

说明：(a)列表分区，如PBAND_SIGMA_PART，其中PBAND代表P波段，OCEAN代表海杂波，SIGMA代表散射系数，PART代表分区；

(b)不同背景子类型子列表分区，如PBAND_SUBPART_8010，其中PBAND表示P波段，SUBPART代表子列表，8010代表1/3浪高≤1(英尺)。

(4)基于视图虚拟的关联技术实现海杂波数据复合检索

数据库构建的最终目的是提供数据库检索、统计等服务。一般情况下数据检索不是针对单一数据类型，通常属于综合、复杂的检索，如检索基于某一频段、带宽、波高、浪向情况下的海杂波脉冲压缩数据。

数据检索类型由实际的海杂波应用场景决定，在建好海杂波数据库的基础上，可以依据不同的应用场景，如海洋环境数据—海杂波脉压数据检索视图、海洋环境数据—海杂波散射系数检索视图等。对于海洋环境数据—海杂波脉压数据检索视图来说，就可以通过SQL查询语句检索基于某一频段、带宽、波高、浪向复合查询情况下的海杂波脉冲压缩数据，也可以基于某一频段或带宽或波高等单一条件的海杂波脉冲数据的检索。

本实施例所公开的海量海杂波数据分类存储方法，基于ORACLE RAC共享存储集群架构的存储系统，采用大文件表空间和小文件表空间以及波段—子背景类型的列表—列表组合分区技术实现对海杂波数据的分类存储管理，最后采用视图虚拟的关联技术提供不同数据类型的复合检索服务，从而达到为海杂波特性研究提供高效服务的目的。

Claims

1.一种海量海杂波数据分类存储方法，其特征在于，包括如下步骤：

（1）构建基于ORACLE RAC共享存储集群架构的存储系统；

（11）基于ORACLE RAC共享存储集群架构的海杂波数据存储系统，采用全冗余的SAN存储结构设计，由2台服务器、4块8GB的双端口HBA卡、2台FC交换机、共享存储阵列以及光纤组成，服务器与交换机、交换机与共享存储阵列之间采用光纤进行冗余连接；

（12）海杂波数据库实例节点采用双活设计，在服务器A中部署数据库实例节点CLUTDB1，在服务器B中部署数据库实例节点CLUTDB2；

（13）共享存储阵列用于安装RAC海杂波数据库，管理海杂波数据以及相关属性数据，同时还存放Oracle的数据文件、控制文件、联机日志文件和归档日志文件，数据库实例节点CLUTDB1和CLUTDB2访问同一个RAC海杂波数据库；

（2）构建数据存储表空间方式实现对海杂波数据存储管理；

（21）数据量较大的数据，按波段分别建立大文件表空间；

（22）数据量较小的数据，采用小文件表空间进行管理；

（3）构建分区方式实现对海杂波数据逻辑分类存储管理；

（31）建立背景类型与背景子类型编码关系：背景类型为海面，背景子类型为1/3浪高，背景类型和背景子类型都以2位数字进行编码，而子类型的前两位为背景类型；

（32）建立不同波段—子背景列表—列表组合分区；

（4）基于视图虚拟的关联技术实现海杂波数据复合检索，数据检索类型由实际的海杂波应用场景决定。

2.根据权利要求1所述的海量海杂波数据分类存储方法，其特征在于：在步骤（13）中，相关属性数据包括但不限于海杂波脉冲压缩数据、特性分析数据和海况数据。

3.根据权利要求1所述的海量海杂波数据分类存储方法，其特征在于：数据量较大的数据包括但不限于海杂波原始数据、海杂波脉冲压缩数据和海杂波散射系数数据。

4.根据权利要求1所述的海量海杂波数据分类存储方法，其特征在于：在步骤（22）中，数据量较小的数据包括但不限于海洋环境数据、模型数据和海杂波特性分析数据。

5.根据权利要求4所述的海量海杂波数据分类存储方法，其特征在于：海洋环境数据包括但不限于风速、风向、浪高和浪向。

6.根据权利要求1所述的海量海杂波数据分类存储方法，其特征在于：在步骤（32）中，分区类型包括但不限于海杂波原始数据列表—列表组合分区、海杂波脉冲压缩数据列表—列表组合分区和海杂波散射系数列表—列表组合分区。