CN110618829B

CN110618829B - 一种升级数据库系统的业务数据检查方法及系统

Info

Publication number: CN110618829B
Application number: CN201910889934.8A
Authority: CN
Inventors: 张宁宁
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2023-04-28
Anticipated expiration: 2039-09-20
Also published as: CN110618829A

Abstract

本发明提出了一种升级数据库系统的业务数据检查方法及系统，其中，该方法包括：获取业务报表检查清单；根据业务报表检查清单，生成业务输入数据清单；将业务输入数据清单分别输入至升级前及升级后的数据库系统，经过处理后得到第一业务输出数据及第二业务输出数据；将第一业务输出数据同步至升级后的数据库系统，并将第二业务输出数据与第一业务输出数据进行自动化比对，获得比对结果；如果比对结果为不同，判定数据库升级存在异常，快速定位异常报表，以便进一步分析原因；如果比对结果为相同，判定数据库升级成功。该方法及系统采用自动化脚本进行业务数据的比对，保证了数据库升级前后加工数据的准确性，并且提高了业务数据检查的效率。

Description

一种升级数据库系统的业务数据检查方法及系统

技术领域

本发明涉及数据库升级技术领域，尤指一种升级数据库系统的业务数据检查方法及系统。

背景技术

目前，很多企业的ERP系统(Enterprise Resource Planning，企业资源计划)用的数据库版本都比较旧，且随着数据量的增加系统会逐渐变慢，为提高系统性能，升级数据库版本甚至升级数据库软件是必要的选择。

但是，在升级数据库过程中，如何保证升级后的数据库系统业务数据的准确性成为关键。针对业务数据检查的方法通常是利用人工检查，即每个人负责若干报表，各自在旧系统和新系统输入相同的数据，然后等系统批量加工或运行一段时间后，检查新旧系统数据结果是否相同。

该方案缺点是显而易见的，主要存在的问题有：

1、利用人工检查，费时费力，而且容易出错，效率较低。

2、对报表数据量较大的系统，需要大量人力参与，而且每个人单独编写测试案例和输入数据，往往要等各个报表输入数据都准备好后，系统统一进行批量加工，才能互不影响，不能并行的进行跑批，影响项目进度。

对此，如何保证数据库升级前后各个CSH程序、存储过程加工业务数据的正确性，如何高效地检查大量报表各个字段升级前后加工的一致性，成为升级过程中关注的重点。

综上来看，亟需一种可以保证升级前后加工数据正确性，且能高效检查升级前后加工一致性的技术方案。

发明内容

为解决现有技术存在的问题，本发明提出了一种升级数据库系统的业务数据检查方法及系统，可以保证数据库升级前后加工数据的正确性，同时提高业务数据检查的效率，避免手工每表每字段的比对。

在本发明一实施例中，提出了一种升级数据库系统的业务数据检查方法，该方法包括：

获取业务报表检查清单；

根据所述业务报表检查清单，生成业务输入数据清单；

将业务输入数据清单分别输入至升级前及升级后的数据库系统，经过批量处理后得到第一业务输出数据及第二业务输出数据；

将所述第一业务输出数据同步至所述升级后的数据库系统，并将第二业务输出数据与第一业务输出数据进行比对，获得比对结果；

如果比对结果为不同，判定数据库升级存在异常，如果比对结果为相同，判定数据库升级成功。

在本发明一实施例中，还提出了一种升级数据库系统的业务数据检查系统，该系统包括：

数据获取模块，用于获取业务报表检查清单；

数据输入模块，用于根据所述业务报表检查清单，生成业务输入数据清单，并将所述业务输入数据清单分别输入至升级前及升级后的数据库系统；

数据加工模块，用于分别调用升级前及升级后的数据库系统批量处理所述业务输入数据清单，得到第一业务输出数据及第二业务输出数据；

数据同步模块，用于将所述第一业务输出数据同步至所述升级后的数据库系统；

比对模块，用于将第二业务输出数据与第一业务输出数据进行比对，获得比对结果；

在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现升级数据库系统的业务数据检查方法。

在本发明一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行升级数据库系统的业务数据检查方法的计算机程序。

本发明提出的升级数据库系统的业务数据检查方法及系统采用自动化脚本进行业务数据的比对，保证了数据库升级前后加工数据的准确性，并且提高了业务数据检查的效率。

附图说明

图1是本发明一实施例的升级数据库系统的业务数据检查方法流程图。

图2是本发明一实施例的升级数据库系统的业务数据检查系统结构示意图。

图3是本发明一具体实施例的升级数据库系统的业务数据检查流程图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种升级数据库系统的业务数据检查方法及系统。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的升级数据库系统的业务数据检查方法流程图。如图1所示，该方法包括：

步骤S101，获取业务报表检查清单；并根据所述业务报表检查清单，生成业务输入数据清单。

步骤S102，将所述业务输入数据清单(业务输入数据)利用DMP分别输入至升级前及升级后的数据库系统。

步骤S103，分别执行升级前及升级后的数据库系统批量，经过处理后得到第一业务输出数据及第二业务输出数据。

步骤S104，将所述第一业务输出数据同步至所述升级后的数据库系统，并将第二业务输出数据与第一业务输出数据进行比对，获得比对结果；该比对过程为自动化比对；

如果比对结果为不同，判定数据库升级存在异常，根据比对结果可以快速定位异常报表，以便进一步分析原因，并进行修复；如果比对结果为相同，判定数据库升级成功。

前述步骤可以重复运行，以保证在问题修复后，重新调用升级前后系统批量，进行迭代测试，直至比对结果相同。

在一实施例中，步骤S101可以通过分析系统DML操作梳理出系统的业务报表检查清单，获取的业务报表检查清单包括Input表清单及Output清单。

具体的过程为：

利用自定义工具将数据库系统中的CSH程序及存储过程中使用到的ORACLE用户定义过程及函数列出清单，并根据加工过程逐级分析出使用到的Input及Output表的情况，生成Input表清单及Output清单，这些分析出的结果将作为下一步的参考。

步骤S102的具体过程为：在原有的CSH程序节点，根据Input表清单及Output表清单的信息，自动生成EXP语句(导入表语句)及IMP语句(导出表语句)，在升级前的数据库系统中生成业务输入DMP数据，并执行EXP语句将该数据导出；将业务输入DMP数据传输到升级后的数据库系统，并由升级后的数据库系统执行IMP语句，导入业务输入DMP数据；其中，业务输入数据清单是所述数据管理平台要用到的DMP文件，为接下来的新环境准备测试数据及对比数据。

在步骤S103中，将DMP文件同步同一环境，分别得到数据库系统升级前后的业务输出数据，具体过程为：

将业务输入数据清单输入至升级前的数据库系统中的一环境下，经过处理后得到第一业务输出数据；

利用数据管理平台，将业务输入数据清单利用DMP脚本同步输入至升级后的数据库系统中的同一所述环境下，经过处理后得到第二业务输出数据。

在升级前及升级后的数据库系统中，业务数据处理方式可以利用系统日常作业(例如，系统中CSH程序及ORACLE存储过程)进行批量化处理，分别生成升级前的数据库系统对应的第一业务输出数据及升级后的数据库系统对应的第二业务输出数据。

在得到业务输出数据后，可以将第一业务输出数据同步至升级后的数据库系统中，根据步骤S104，通过SQL脚本工具进行比对，利用MINUS(差集运算)操作可以方便高效地找出差异。

进一步的，可以利用select查询操作比对升级前后同一程序运行时间，方便高效的判断比对结果是否一致，升级是否成功。如果比对结果是不一致的，判定数据库升级存在异常，工作人员可以及时根据异常情况进行相应处理，如果比对结果是一致的，判定数据库升级成功。

本发明与现有技术相比：

1、现有的数据库升级时，进行业务校验是利用人工编制一些业务测试数据进行校验，无法从整体上判断每个节点是否正确，是否有遗漏。而本发明提出的升级数据库系统的业务数据检查方法可以等升级前后的数据库系统的所有业务完成一轮处理后，自动采集到真实的数据。

2、现有的测试数据编制好后，业务人员可能修改或补录，测试人员不能方便的识别是否有修改或新增数据，无法再次校验。而本发明利用的SQL脚本工具使比对更方便，随时可以修改且能反复使用。

3、从应用范围的广度横向比较：现有的技术的比对过程只能做基本数据的比对，应用范围不全面。本发明在所有业务加工完成后，可按各个子系统进行对比，应用范围更全面。

4、从检查的深度纵向比较：现有的校验工具只对一次或几次数据进行校验；本发明可以指定一时间范围，利用历史数据进行对比，计算各项增长率，更容易发现错误。

本发明提出的升级数据库系统的业务数据检查方法，采用自动化脚本，取代业务人员手工比对，节省人工成本且处理效率高；检查开始时间可以由业务人员自主决定，方便自由；通过比对报告全面展现数据情况，简单高效。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

基于同一发明构思，本发明还提出了一种升级数据库系统的业务数据检查系统，如图2所示，该系统包括：

数据获取模块100，用于获取业务报表检查清单；

数据输入模块200，用于根据所述业务报表检查清单，生成业务输入数据清单，并将所述业务输入数据清单分别输入至升级前及升级后的数据库系统；

数据加工模块300，用于分别调用升级前及升级后的数据库系统批量处理所述业务输入数据清单，得到第一业务输出数据及第二业务输出数据；

数据同步模块400，用于将所述第一业务输出数据同步至所述升级后的数据库系统；

比对模块500，用于将第二业务输出数据与第一业务输出数据进行比对，获得比对结果；

如果比对结果为不同，判定数据库升级存在异常，根据比对结果可以快速定位异常报表，以便进一步分析原因并修复；如果比对结果为相同，判定数据库升级成功。

前述模块所执行的过程可以重复运行，以保证在问题修复后，重新调用升级前后系统批量，进行迭代测试，直至比对结果相同。

应当注意，尽管在上文详细描述中提及了升级数据库系统的业务数据检查系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于同一发明构思，本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现升级数据库系统的业务数据检查方法。

基于同一发明构思，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行升级数据库系统的业务数据检查方法的计算机程序。

为了对上述升级数据库系统的业务数据检查方法及系统进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。

实施例一：

以某一数据库系统升级为例，如图3所示，升级数据库系统的业务数据检查流程为：

首先，结合步骤S1001，梳理系统处理中涉及的DML(Data ManipulationLanguage，数据操纵语言)，利用自定义工具将各个CSH程序、存储过程中使用到的ORACLE用户定义过程及函数列出清单，通过系统加工逐级分析出使用到的Input、Output表的情况，得到Input表清单及Output表清单。

其中，该步骤在实际应用中，属于一次性的工作，在梳理好表清单后，可以进行重复利用，多轮次进行业务数据的检查。

结合步骤S1002，自动生成EXP/IMP语句，以便进行DMP(Data ManagementPlatform，数据管理平台)操作。其中，EXP/IMP语句可以通过编写对应的操作指令，由系统自动生成。

具体的，在原有的CSH程序节点，根据Input表清单(输入表信息)及Output表清单(输出表信息)，自动生成EXP/IMP语句，在升级前的系统中生成要用到的DMP文件，执行EXP语句，导出DMP文件传输至升级后的数据库系统，由升级后的数据库系统执行IMP语句，导入DMP文件，保证两个系统输入数据一致。

结合步骤S1003，在升级前和升级后的数据库系统中的同一环境下，分别根据所输入的Input数据，进行处理后得到Output数据。将Output数据(old)同步至升级后数据库中，进一步利用SQL脚本，将升级前的数据库系统得到的Output数据(old)与升级后的数据库系统得到的Output数据(new)进行比对；该过程可以快速比对出Output数据上的不同，从而快速定位出哪个过程出现问题。这样，工作人员可以省时、省力、快速发现问题，并解决该些问题。

基于上述过程，可以快速生成差异报告，从而快速全面的了解此次比对情况差异；并且利用自动化的报表比对分析，能够简单高效地展现业务数据检查情况。现有的人工检查方式，需要等待所有业务人员输入完成Input数据，统一进行批量加工，会产生并行瓶颈，而本发明利用合并自动化完成Input数据输入和Output数据比对，即同样的输入数据，比对输出数据与升级前是否相同，避免了大量人员并行的瓶颈，可以多轮次进行比对，大大提高了效率。

实施例二：

以某一数据库系统为例，该系统共涉及36张报表，业务人员提供了业务数据检查清单，则需对报表进行检查。

第一步需要分别梳理出每个报表加工所需的源表数据，形成输入数据清单。清单中记录了每个报表对应的源表，每个报表对应多个源表。

根据输入数据表清单，利用本发明提出的升级数据库系统的业务数据检查方法，将升级前的数据库系统中这些表对应的数据利用DMP导出，并导入到升级后的数据库系统中。分别调用两个系统批量，批量都执行完成后，将升级前的数据库系统的输出数据利用DMP导出，并导入到升级后的数据库系统的不同用户下，以便进行对比。

进一步的，利用自动化SQL进行，比对输出数据中各个报表的生成记录数，每个字段的一致性，将差异结果直接展示出来，方便定位问题和修复。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims

1.一种升级数据库系统的业务数据检查方法，其特征在于，该方法包括：

获取业务报表检查清单；

根据所述业务报表检查清单，生成业务输入数据清单；

将所述业务输入数据清单分别输入至升级前及升级后的数据库系统，经过批量处理后得到第一业务输出数据及第二业务输出数据；

如果比对结果为不同，判定数据库升级存在异常，如果比对结果为相同，判定数据库升级成功；

其中，根据所述业务报表检查清单，生成业务输入数据清单，包括：

在CSH程序节点，根据所述业务报表检查清单，自动生成导出表语句及导入表语句，在升级前的数据库系统中生成业务输入数据清单，并执行所述导出表语句将所述业务输入数据清单导出；

将所述业务输入数据清单传输至升级后的数据库系统，并由升级后的数据库系统执行所述导入表语句，导入所述业务输入数据清单，其中，业务输入数据清单是数据管理平台要用到的DMP文件。

2.根据权利要求1所述的升级数据库系统的业务数据检查方法，其特征在于，获取业务报表检查清单，其中，

所述业务报表检查清单包括：Input表清单及Output表清单。

3.根据权利要求2所述的升级数据库系统的业务数据检查方法，其特征在于，获取业务报表检查清单，包括：

利用自定义工具将数据库系统中的CSH程序及存储过程中使用到的ORACLE用户定义过程及函数列出清单，并逐级分析出使用到的Input及Output表的情况，生成所述业务报表检查清单。

4.根据权利要求3所述的升级数据库系统的业务数据检查方法，其特征在于，将所述业务输入数据清单分别输入至升级前及升级后的数据库系统，经过批量处理后得到第一业务输出数据及第二业务输出数据，包括：

利用所述数据管理平台，将业务输入数据清单利用DMP脚本同步输入至升级后的数据库系统中的同一所述环境下，经过处理后得到第二业务输出数据。

5.根据权利要求4所述的升级数据库系统的业务数据检查方法，其特征在于，将所述业务输入数据清单分别输入至升级前及升级后的数据库系统，经过批量处理后得到第一业务输出数据及第二业务输出数据，包括：

在升级前及升级后的数据库系统中，利用系统中CSH程序及ORACLE存储过程进行批量化处理，分别生成升级前的数据库系统对应的第一业务输出数据及升级后的数据库系统对应的第二业务输出数据。

6.根据权利要求5所述的升级数据库系统的业务数据检查方法，其特征在于，将第二业务输出数据与第一业务输出数据进行比对，获得比对结果，包括：

将所述第二业务输出数据与第一业务输出数据利用SQL脚本进行差集运算，比对所述第二业务输出数据与第一业务输出数据的一致性。

7.一种升级数据库系统的业务数据检查系统，其特征在于，该系统包括：

数据获取模块，用于获取业务报表检查清单；

其中，数据输入模块具体用于：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。