CN105243163A - 历史数据归档集成系统及方法 - Google Patents

Abstract

本发明提供一种历史数据归档集成系统及方法，设置生产库与在线历史库实时同步，所述在线历史库读写分离；分布存储所述生产库与所述在线历史库；为所述在线历史库设置数据库资源池，所述数据库资源池采用集群的方式管理。发明为客户提供多元化组合解决方案，以达到对数据全生命周期管理，在系统开发厂商及运维方配合下合理规划集成平台建设。

Description

历史数据归档集成系统及方法

技术领域

本发明涉及一种数据归档系统及方法，具体涉及一种历史数据归档集成系统以及方法。

背景技术

现有技术中，数据库环境都基于单个项目独立建设的，其特点为“烟囱式”，每套数据库服务器都有独立的存储和管理工具，相互不能共享资源，形成了一大堆孤立的数据库服务器。会导致以下问题：数据库服务器和存储设备规模大而分散，资源利用率低下；数据库环境的维护难度大，难以适应业务变化的需求；服务器数量和管理的总体成本偏高。

传统的独立部署模式导致服务器硬件资源难以合理分配，大部分系统CPU负载在20％以下，某些业务高峰期空闲主机资源无法做到动态分配；资源利用率低的同时也导致增加更多的冗余设备。

随着企业信息化的不断建设，机房资源已经成为瓶颈，提升优化迫在眉睫；机房空间前期规划不足，机房扩建成本昂贵，技术难点多。

随着信息系统运行年限越久，业务量和数据量不断增长，在信息化建设过程中，未考虑数据的生命周期，数据库臃肿存在风险；数据恢复难度大，周期长，需将历史数据下线分离。

因主机、数据库宕机等原因造成的数据库故障无法自动切换，部分应用业务中断无法被及时发现；因主机层面检修、内存扩容等需数据库停机操作无法在线操作，周期长，需要技术人员夜间操作，加大工作量及操作风险，且业务系统重大版本升级无环境测试。

因业务系统关联，导致多个业务系统从生产数据库重复抽数，接口冗余，无故增加数据库运行风险，及维护难度；对于数据流转无有效监控工具。

发明内容

为了解决上述问题，本发明提供一种历史数据归档集成系统及方法，解决因运行年限增加而导致数据库臃肿的业务系统来开展历史数据归档处理工作，从而遏制系统数据指数级增长的趋势，降低系统数据库运行风险。

本发明提供了如下的技术方案：

一种历史数据归档集成系统，包括生产库模块、在线历史库模块、离线归档库模块、高端分布式存储模块和高端分布式存储模块；

所述生产库模块作为写库，所述在线历史库模块作为读库；

所述生产库模块的数据实时同步到所述在线历史库模块；

所述在线历史库模块根据数据的活跃情况将部分数据存储到所述离线归档库模块；

所述高端分布式存储模块为所述在线历史数据库提供数据存储；

所述低端分布式存储模块为所述离线归档库模块提供数据存储。

优选的，所述高端分布式存储模块为一高端分布式存储一体机。

优选的，所述低端分布式存储模块为一PC服务器。

一种历史数据归档集成方法，

对数据进行分类；

设置生产库与在线历史库实时同步，设置生产库为读库，设置在线历史库为写库，实现读写分离；

设置离线归档数据库，存储不活跃数据；

分布存储所述离线归档数据库与所述在线历史库数据。

优选的，所述在线历史库采用高端分布式存储一体机存储数据。

优选的，所述离线数据归档库采用PC服务器存储数据。

进一步的，为所述在线历史库设置数据库资源池，所述数据库资源池采用集群的方式管理。

本发明的有益效果是：

1.生产库与在线历史库实时同步，在线历史库可用于读写分离，分担生产库负担，一库多用；

生产库与在线历史库采用GoldenGate/Streams技术实现生产库与在线历史库的实时同步，生产库的数据变化会实时的同步到在线历史库，在线历史库可以作为读库，生产库作为写库，实现读写分离，最大限度的减少生产库的负担。在线历史库的数据是生产库数据的一个超集，在对近年的历史数据进行查询时，可以直接到在线历史库进行查询，方便历史数据的追溯。目前主流的归档解决方案一般把归档数据作为文件形式存放，当需要查询历史数据时，需要对归档数据进行恢复，代价较高。也有些归档解决方案支持直接对归档的文件进行查询，例如IBMOptim，但查询效率非常低，而且需要对查询功能部分进行二次开发，成本较高。本发明采用在线历史库和离线归档库实现对数据的分级存放，既能保证历史数据的可追溯性，同时也实现了历史数据方便、高效的查询。

2.分布式存储降低硬件成本；

历史数据的重要特点之一是数据量庞大，为了存储这些海量级的历史数据，需要海量级的存储解决方案，然而传统的存储非常昂贵，且扩展性较差。为了解决这一问题，本发明采用分布式存储作为存储解决方案，分布式存储的特点是容量巨大、扩展性较高、价格低廉。在线历史库和离线归档库对于存储性能的要求完全不一样，在线历史库需要承担历史数据查询或者读写分离的工作，对于存储性能的要求较高，因此本发明采用公司自主研发的高端分布式存储一体机，保证在线历史库的高效稳定运行。而离线归档库对于存储的性能要求较低，因此采用自主研发的分布式存储技术，用普通PC服务器搭建分布式存储，大大降低了硬件成本。

3.在线历史库采用数据库资源池技术，降低在线历史库的硬件成本，使在线历史库高度集成，方便在线历史库的管理；

在线历史库能够很好的解决历史数据查询问题，但是需要为每一个生产库搭建一套在线历史库，对硬件的需求量较大，因此我们本发明采用数据库资源池技术，采用池化技术充分利用硬件资源，大大降低对硬件的需要。同时数据库采用集群的方式管理，采用集群软件对数据库进行管理，降低了管理的难度，提高整个平台的可维护性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一个较佳实施例的流程示意图；

图2是本发明一个较佳实施例数据分类示意图；

图3是本发明一个较佳实施例外部结构示意图。

具体实施方式

实施例1，如图1-3所示，本发明公开一种历史数据归档集成系统及方法，在本实施例中，包括如下步骤：

1、历史数据范围界定与分级

根据每个系统的业务需求和审计需求对生产数据进行历史数据范围界定，将据最近n年的活跃业务数据定级为活跃数据，这部分数据是日常业务必须的，经常访问和修改的数据；处于n年之前到n+m年之间数据在日常业务中不会进行访问和修改，只有在极少的特殊业务，例如历史查询、历史审计等情况才会进行访问，但绝对不会设计修改，这部分数据定义为次活跃数据；n+m年前的数据对于系统正常的业务及审计都不会再进行任何查询和修改，这部分数据定义为不活跃数据或者静态数据。

2、归档平台搭建

使用软硬件资源池技术，搭建一套或多套数据库资源池，作为在线历史数据归档平台，存储采用高端分布式存储。数据库资源池能够有效利用服务器资源，节省硬件成本；提高数据库容错能力，实现故障转移；整合数据库实例，降低维护难度。在线历史数据归档平台可用于对历史数据库的查询和读写分离，因此对于性能有一定要求，所以采用高端的分布式存储，提供良好的I/O性能。

使用低端分布式存储搭建一套离线数据归档平台，支持结构化和非结构化数据归档，支持多种多样的数据归档方式，包括离线逻辑备份、离线物理备份、离线非结构化转储、分布式数据库转储、表空间版本库管理等。

数据库资源池采用Severpool、RACONENODE、EXTENDRACONENODE技术实现，其中Severpool、RACONENODE为Oracle11G现有技术，但目前大部分客户的环境中还存在10G环境，为保证平台的通用性和兼容性，公司自主研发了EXTENDRACONENODE(ERON)，将RACONENODE扩展到10G，从而为数据库提供了完整的池化技术。

搭建分布式存储环境，客户可选择订购分布式文件系统一体机(存放非结构化数据)及分布式存储一体机(存放结构化数据)，历史数据归档集成平台解决方案同样提供分布式存储环境的定制搭建，可采购自主研发的分布式软件，利用普通两路PC服务器结合普通硬盘、SSD盘搭建分布式存储。

3、数据初始化阶段

使用Stream或GoldenGate将生产库数据全量同步到在线历史归档平台，后续生产库的操作也会由Stream或GoldenGate实时同步到在线历史归档平台。

4、历史数据下线阶段

将近n年的活跃数据保留在生产库中，n年前的数据从生产库上删除。在线历史库保留近n+m年的活跃和次活跃数据，n+m年前的静态数据通过RAMN备份或其他方式备份到离线数据归档平台，然后从在线历史库中删除n+m年前数据。

到此，生产库中只保留了近n年的活跃数据，在线历史数据归档平台保留了近n+m年的数据，包括活跃数据和次活跃数据，离线归档平台保留了n+m年前的静态数据，实现的数据的分级存储，历史数据从生产库中脱离，进行归档处理。

由于在线归档平台是生产库的超集，而且是实时同步的，如果生产库负担过重，可以将应用进行读写分离，生产库作为写库，在线历史库作为读库，分担生产库负担。另外如果偶尔会存在历史数据与在线数据联合查询的情况，可以在生产库和历史库直接建立DBLink或者物化视图等方式实现联合查询。

5、数据交换中心搭建

结合客户需求针对业务系统定制化修订数据交换中心平台管理系统并部署上线，功能包括数据流转状态监控、故障告警、自动故障切换、重启、节点资源一键灵活调度等。提供整个归档平台的可视化监控、图像界面操作，提高平台的易用性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种历史数据归档集成系统，其特征在于，包括生产库模块、在线历史库模块、离线归档库模块、高端分布式存储模块和高端分布式存储模块；

所述生产库模块作为写库，所述在线历史库模块作为读库；

所述生产库模块的数据实时同步到所述在线历史库模块；

所述在线历史库模块根据数据的活跃情况将部分数据存储到所述离线归档库模块；

所述高端分布式存储模块为所述在线历史数据库提供数据存储；

所述低端分布式存储模块为所述离线归档库模块提供数据存储。

2.根据权利要求1所述的历史数据归档集成系统，其特征在于，所述高端分布式存储模块为一高端分布式存储一体机。

3.根据权利要求1所述的历史数据归档集成系统，其特征在于，所述低端分布式存储模块为一PC服务器。

4.一种历史数据归档集成方法，其特征在于，

对数据进行分类；

设置生产库与在线历史库实时同步，设置生产库为读库，设置在线历史库为写库，实现读写分离；

设置离线归档数据库，存储不活跃数据；

分布存储所述离线归档数据库与所述在线历史库数据。

5.根据权利要求4所述的历史数据归档集成方法，其特征在于，所述在线历史库采用高端分布式存储一体机存储数据。

6.根据权利要求4所述的历史数据归档集成方法，其特征在于，所述离线数据归档库采用PC服务器存储数据。

7.根据权利要求4所述的历史数据归档集成方法，其特征在于，为所述在线历史库设置数据库资源池，所述数据库资源池采用集群的方式管理。