CN106886539B - 数据归档系统及方法 - Google Patents

Abstract

本申请涉及一种数据归档系统及方法。该系统包括：生产数据库，用于存储数据文件；生产数据库IO接口，与所述生产数据库连接，用以对所述生产数据库中存储的数据文件进行读、写、删、改操作；归档数据库，用于存放归档文件；归档数据库IO接口，与所述归档数据库连接，用于将所述生产数据库中的数据文件归档至归档数据库中，以及将所述归档数据库中数据文件读取并存储至生产数据库中；逆归档IO接口，与所述归档数据库连接，用于针对所述归档库数据中的文件进行删除。本申请的数据归档系统及方法能够实现对只读归档数据的修改、删除。

Description

数据归档系统及方法

技术领域

本发明涉及一种数据归档系统及方法。

背景技术

为了数据信息的真实性、安全性，某些大型数据管理系统的数据归档系统中，一旦文件被归档进入归档数据库中，即无法再进行导出、修改或删除等工作。如图1所示，以美国CSC(Computer Sciences Corporation)公司开发的LifeAsia系统中数据归档系统为例，其系统架构严格固定了文件IO程序，且其源代码不向客户提供。在应用层面，用户通过生产数据库IO接口102访问生产数据库100，对其中的文件能够进行读、写、删、改等操作；归档数据库101创建了相应的主库文件池，最多可存32个文件拷贝，而归档数据库IO接口103对归档数据库仅有读取的功能，生产数据库100拷贝文件一旦进入归档数据库101即无法再进行修改，对于某些有修改要求的用户即无法满足要求，例如人身寿险管理系统的返回交易需要更新历史数据，但是一旦历史数据被归档后，这些记录无法被删除和更新。

由于存在返回交易的行为，有时需要对已归档数据进行修改。但因无法对归档数据进行删除或更新，往往是将正确信息录入生产数据库，再重新归档至归档数据库中，但不能覆盖或删除原错误的已归档数据。常此以往造成归档数据库中储存资料严重的浪费。据统计，每7亿3千万数据仅有约2千万的有效记录数据。

为解决上述问题，业内曾有单独设计对归档数据库修改的外挂式工具，直接对归档库文件进行修改。但LifeAsia系统作为一封闭系统，其升级时一般将包含有生产数据库、归档数据库和文件IO接口的SMART层整体升级，借此来保证文件IO接口与生产数据库、归档数据库的数据安全性与一致性。前述使用外挂式工具直接对数据库内数据进行作业时经常会造成原始数据被错误篡改，产生极大的数据安全问题，同时数据库内的数据架构也会被改变，由此将影响SMART层的整体升级。

因此，需要一种新的数据归档系统及方法。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明提供一种数据归档系统及方法，能够对只读归档数据库文件进行修改。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，一种数据归档系统，包括：

生产数据库，用于存储数据文件；

生产数据库IO接口，与所述生产数据库连接，用以对所述生产数据库中存储的数据文件进行读、写、删、改操作；

归档数据库，用于存放归档文件；

归档数据库IO接口，与所述归档数据库连接，用于将所述生产数据库中的数据文件归档至归档数据库中，以及将所述归档数据库中数据文件读取并存储至生产数据库中；

逆归档IO接口，与所述归档数据库连接，用于针对所述归档库数据中的文件进行删除。

根据本公开一实施方式，所述归档数据库包括归档子库，所述逆归档IO接口对所述归档数据库的删除为归档子库级别的清空式删除。

根据本公开一实施方式，所归档数据库IO接口根据待修改归档文件的存储位置将待修改归档文件所在的归档子库及其之前全部的归档子库信息生成为一待迁移文件清单。

根据本公开一实施方式，所述逆归档IO接口对所述归档数据库的删除为清空所述待迁移文件清单内的全部归档子库。

根据本公开一实施方式，所述归档数据库IO接口，分别与所述生产数据库IO接口及所述归档数据库连接，用以通过所述生产数据库IO将自归档数据库中读取的归档文件存储至生产数据库中。

根据本公开一实施方式，所述归档数据库IO接口能够对生产数据库进行写入操作。

根据本公开一实施方式，所述生产数据库IO接口、归档数据库IO接口及逆归档IO接口具有统一或独立的可视界面，用以供操作者进行读取、保存或删除操作。

根据本公开一实施方式，所述逆归档IO接口对所述归档数据库的删除为对所述归档子库进行删除。

根据本公开的另一方面，一种数据归档方法，用以针对一数据库系统进行归档数据修改，所述数据库包括：生产数据库、生产数据库IO接口、归档数据库、归档数据库IO接口、逆归档IO接口，

所述归档数据修改包括以下步骤：

S1、接收一归档数据库修改指令，启动逆归档程序；

S2、通过归档数据库IO接口确定待修改归档数据文件的存储位置，将待修改数据文件所在的归档子库及该归档子库之前的全部归档子库的数据生成一待迁移文件清单；

S3、通过归档数据库IO接口将归档数据库中待迁移文件清单中的文件并读取并存储至生产数据库中；

S4、通过逆归档IO接口将归档数据库中待迁移文件清单中的全部归档子库清空；

S5、通过生产数据库IO接口对待修改归档数据文件进行修改；

S6、通过归档数据库IO接口将数据修改后的生产数据库中数据文件归档至归档数据库中。

根据本公开一实施方式，所述步骤S3中，归档数据库IO接口将待迁移文件清单中的文件存储至生产数据库中。

根据本公开一实施方式，所述步骤S3中，待迁移文件清单中的文件由归档数据库IO接口转至生产数据库IO接口，通过生产数据库IO接口存储至生产数据库中。

根据本公开一实施方式，所述述步骤S4中，逆归档IO接口自归档数据库IO接口接收所述待迁移文件清单。

本发明的数据归档系统及方法，在归档数据库原有接口与数据库架构上，增加了针对归档数据库的逆归档IO接口，将归档数据库中文件迁回至生产数据库中，再使用原有IO接口对生产数据库中的文件进行修改、删除等操作，在不触动SMART底层、不影响SMART升级的情况下实现对只读归档文件的修改。

附图说明

图1为现有数据归档系统组成示意图。

图2为数据归档系统的归档数据迁移路径图。

图3为根据本发明一实施例的数据归档系统组成示意图。

图4为根据本发明一实施例的对归档数据进行修改的流程图。

其中，附图标记说明如下：

100：生产数据库

101：归档数据库

102：生产数据库IO接口

103：归档数据库IO接口

104：逆归档IO接口

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图2为数据归档系统的归档数据迁移路径图。

如图2所示，以一储存了保单主要信息的保单主文件(CHDRPF文件)为例，当生产数据库100中产生一个新的CHDRPF文件，生产数据库100会保存该CHDRPF文件及与其相关的状态记录。一般情况下，系统会按照客户设定的时间长度来定期对生产数据库100中的文件及记录进行归档操作，例如可设定时间长度为每半年或每季度。但如在用户设定的时间长度内生产数据库100中的数据量达到一定规模后，系统也会自动对生产数据库100中的文件及记录进行归档操作。首次归档后，该CHDRPF文件及其状态记录被归档到归档数据库101中，归档数据库101将该CHDRPF文件及其状态记录存储到位置CHDRPF01子库中。当再次由生产数据库100向归档数据库101归档时，原CHDRPF01子库中的归档数据转移至CHDRPF02子库，生产数据库100中最新的CHDRPF文件及其状态记录存储到位置CHDRPF01子库中，至此完成第二次归档。此后每次由生产数据库100向归档数据库101归档时，均是将原归档子库保存的数据文件转移至下一归档子库中，生产数据库100中最新的CHDRPF文件及其状态记录存储到位置CHDRPF01子库中。一般情况下，归档数据库101中可包括有32个归档子库(CHDRPF01、CHDRPF02…CHDRPF32子库)和溢出文件子库。当存储的数量超过32个时，即会产生溢出的数据文件，存储入溢出文件子库中。进入溢出文件子库的数据文件将处于冷数据状态，不再进行调阅或修改。但归档子库(CHDRPF01、CHDRPF02…CHDRPF32子库)中的数据文件处于热数据状态，有调阅与修改等功能需求。LifeAsia系统还可处理诸如财务文件(ACMVPF)等数据文件。

图3为根据本发明一实施例的数据归档系统组成示意图。

如图3所示的数据归档系统，包括：

生产数据库100，用于存储数据文件。

生产数据库IO接口102，与生产数据库100连接，用以对生产数据库100中存储的数据文件进行读、写、删、改操作。

归档数据库101，用于存放归档文件。

归档数据库IO接口103，分别与生产数据库IO接口102及归档数据库101连接，用于将生产数据库100中的数据文件归档至归档数据库101中，以及将归档数据库101中数据文件读取存储至生产数据库100中。其具体作业为：归档数据库IO接口103可通过生产数据库IO接口102读取生产数据库100中数据并存储至归档数据库101中，同时生产数据库IO接口102将被读取文件自生产数据库100中删除；归档数据库IO接口103可读取归档数据库101中存储的归档文件；归档数据库IO接口103还可通过生产数据库IO接口102将自归档数据库101中读取的归档文件存储至生产数据库100中。但本发明对生产数据库IO接口102及归档数据库IO接口103的设置与作业并不限于此，归档数据库IO接口103也可直接与生产数据库100连接，用以对生产数据库100中存储的数据文件进行读、写、删、改操作，这样归档数据库IO接口103可直接将自归档数据库101中读取的归档文件存储至生产数据库100中。

逆归档IO接口104，与归档数据库101连接，用于针对归档库数据101中的文件进行删除。进一步地，逆归档IO接口104，可分别与归档数据库IO接口103及归档数据库101连接，用以针对归档库数据101中的被归档数据库IO接口103读取并存储至生产数据库100的文件进行删除。其中，上述归档数据库101中的被归档数据库IO接口103读取并存储至生产数据库100的文件清单可由归档数据库IO接口103生成并发送至逆归档IO接口104，但本发明并不限于此。逆归档IO接口104也可仅与归档数据库101连接，归档库数据101中的被归档数据库IO接口103读取并存储至生产数据库100的文件清单可由操作者通过逆归档IO接口104可视界面输入。

其中，生产数据库IO接口102、归档数据库IO接口103及逆归档IO接口104可具有可视界面，用以供操作者进行读取、保存、删除等各类数据作业。生产数据库IO接口102、归档数据库IO接口103及逆归档IO接口104的可视界面可以为统一界面，也可为独立的界面。

在本实施例中，以针对一保单主要信息的保单主文件(CHDRPF文件)进行保存、读取、归档、逆归档等操作为例。操作者通过生产数据库IO接口102的可视界面作业将CHDRPF文件保存至生产数据库100中。在归档前，如该CHDRPF文件需要进行修改或删除，可通过生产数据库IO接口102进行操作。当到达预定的归档时间或生产数据库100中的存储数据达到预定的数据量标准，则通过归档数据库IO接口103将生产数据库100中的文件数据归档至归档数据库101中，其中包括该CHDRPF文件。该归档作业可为系统自动操作，也可为操作者通过归档数据库IO接口103的可视界面进行人工操作。完成归档后，当操作者欲对归档数据库101中该CHDRPF文件进行修改时，则通过归档数据库IO接口103将归档数据库101中该CHDRPF文件所在的归档子库及该归档子库之前的所有归档子库的数据一并读取并存储至生产数据库100中。此阶段中归档数据库IO接口103的读取及存储操作如前所述，即可通过其自身对生产数据库100操作功能作业，也可通过生产数据库IO接口102进行作业，在此不再累述。接下来，再通过生产数据库IO接口102对该CHDRPF文件进行修改，待下一次归档作业时将本次读取并存储的数据文件在内的生产数据库100中所有文件全部归档至归档数据库101中。在归档数据库IO接口103完成将该CHDRPF文件的相关归档子库数据读取及存储至生产数据库100的作业后，逆归档IO接口104接受来自其可视界面或归档数据库IO接口103的待删除文件清单及删除指令，对归档库数据101中的被归档数据库IO接口103读取并存储至生产数据库100的归档子库进行删除清空。上述删除也可以是直接删除归档子库，本公开不以此为限。

本实施例的数据归档系统可以应用于美国CSC(Computer SciencesCorporation)公司开发的LifeAsia系统中，但本公开不以此为限。LifeAsia是亚洲最被广泛认可的在线、实时人身保险管理系统，其提供的功能包括新业务合同的签署、保险费计费、预期日期计算、保险费征收、保险费过期通知、年度处理、索赔处理和营销员管理等，功能庞大，数据量大。根据保险业务的特点，某些返回交易需要更新历史数据，使用本实施例的数据归档系统，即可将LifeAisa归档数据库中的文件迁移回生产数据库进行修改，实现归档数据的更新操作。

本发明提供的数据归档系统，与业内通常使用的外挂软件对归档数据库进行直接作业的方法有本质上的区别。外挂软件对归档数据库具有读、写、删、改等全部功能，其设计理念为通过外挂软件完全绕开原有封闭归档系统的功能局限，但这种做法仅考虑了操作灵活性，而未考虑系统安全性及LifeAsia系统等封闭式无归档数据修改功能的归档数据库的系统升级特性，因此往往造成数据篡改无法恢复或系统无法正常升级的问题。本发明提供的数据归档系统虽也采用了逆归档IO接口对归档数据库进行作业，但严格限定了该逆归档IO接口对归档数据库仅有删除功能，且该删除功能也进一步限定为对归档子库级别的整体清空式删除。同时对系统中原有的生产数据库IO接口及归档数据库IO接口的作业程序进行重新布置，并在逆归档IO接口的配合下，实现对待修改的归档数据文件的提取及迁移功能。本发明的设计最大限度地保留了原有系统的设计架构，避免了数据篡改或系统无法升级的技术缺陷。因此本发明提供的数据归档系统绝非本领域公知操作方法，也非本领域普通技术人员在无创造性劳动基础上可直接获得的。

图4为根据本发明一实施例的对归档数据进行修改的流程图。

如图4所示，本发明还提供了一种针对如LifeAsia系统等封闭式无归档数据修改功能的归档数据库进行数据修改的方法，包括以下步骤：S1、接收一归档数据库修改指令，启动逆归档程序；S2、通过归档数据库IO接口确定待修改归档数据文件的存储位置，将待修改数据文件所在的归档子库及该归档子库之前的所有归档子库的数据生成待迁移文件清单；S3、通过归档数据库IO接口将归档数据库中待迁移文件清单中的文件并读取并存储至生产数据库中；S4、通过逆归档IO接口将归档数据库中待迁移文件清单所包括的归档子库清空；S5、通过生产数据库IO接口对待修改归档数据文件进行修改；S6、通过归档数据库IO接口将数据修改后的生产数据库中数据文件归档至归档数据库中。

上述步骤S3中，归档数据库IO接口可具有对生产数据库存储的功能，进而将待迁移文件清单中的文件直接存储至生产数据库中；归档数据库IO接口也可不具有对生产数据库直接作业的功能，待迁移文件清单中的文件也可由归档数据库IO接口转至生产数据库IO接口，通过生产数据库IO接口存储至生产数据库中。

上述步骤S4中，逆归档IO接口可自归档数据库IO接口接收待迁移文件清单，也可由操作者输入待迁移文件清单。

以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。

Claims (8)

1.一种数据归档系统，其特征在于，包括：

生产数据库，用于存储数据文件；

生产数据库IO接口，与所述生产数据库连接，用以对所述生产数据库中存储的数据文件进行读、写、删、改操作；

归档数据库，用于存放归档文件，所述归档数据库为封闭式无归档数据修改功能的数据库；

归档数据库IO接口，与所述归档数据库连接，用于将所述生产数据库中的数据文件归档至归档数据库中，以及将所述归档数据库中数据文件读取并存储至生产数据库中；

逆归档IO接口，与所述归档数据库连接，用于针对所述归档数据库中的文件进行删除；

所述归档数据库包括归档子库，所述逆归档IO接口对所述归档数据库的删除为归档子库级别的清空式删除；

所归档数据库IO接口根据待修改归档文件的存储位置将待修改归档文件所在的归档子库及其之前全部的归档子库信息生成为一待迁移文件清单；

所述逆归档IO接口对所述归档数据库的删除为清空所述待迁移文件清单内的全部归档子库。

2.如权利要求1所述的数据归档系统，其特征在于，所述归档数据库IO接口，分别与所述生产数据库IO接口及所述归档数据库连接，用以通过所述生产数据库IO将自归档数据库中读取的归档文件存储至生产数据库中。

3.如权利要求1所述的数据归档系统，其特征在于，所述归档数据库IO接口能够对生产数据库进行写入操作。

4.如权利要求1所述的数据归档系统，其特征在于，所述生产数据库IO接口、归档数据库IO接口及逆归档IO接口具有统一或独立的可视界面，用以供操作者进行读取、保存或删除操作。

5.一种数据归档方法，用以针对一数据库系统进行归档数据修改，其特征在于，所述数据库包括：生产数据库、生产数据库IO接口、归档数据库、归档数据库IO接口、逆归档IO接口，所述归档数据库为封闭式无归档数据修改功能的数据库；

所述归档数据修改包括以下步骤：

S1、接收一归档数据库修改指令，启动逆归档程序；

S2、通过归档数据库IO接口确定待修改归档数据文件的存储位置，将待修改数据文件所在的归档子库及该归档子库之前的全部归档子库的数据生成一待迁移文件清单；

S3、通过归档数据库IO接口将归档数据库中待迁移文件清单中的文件并读取并存储至生产数据库中；

S4、通过逆归档IO接口将归档数据库中待迁移文件清单中的全部归档子库清空；

S5、通过生产数据库IO接口对待修改归档数据文件进行修改；

S6、通过归档数据库IO接口将数据修改后的生产数据库中数据文件归档至归档数据库中。

6.如权利要求5所述的数据归档方法，其特征在于，所述步骤S3中，归档数据库IO接口将待迁移文件清单中的文件存储至生产数据库中。

7.如权利要求5所述的数据归档方法，其特征在于，所述步骤S3中，待迁移文件清单中的文件由归档数据库IO接口转至生产数据库IO接口，通过生产数据库IO接口存储至生产数据库中。

8.如权利要求5-7中任一项所述的数据归档方法，其特征在于，所述步骤S4中，逆归档IO接口自归档数据库IO接口接收所述待迁移文件清单。