CN105512017A - 一种数据库兼容性检测方法及设备 - Google Patents

Abstract

本申请公开了一种数据库兼容性检测方法，在获取测试基准数据以及基准文件之后，即根据SQL回归源文件对待检测数据库执行SQL回放处理；并将执行SQL回放处理后所得到的结果文件与基准文件进行内容对比，基于对比结果是否一致确定是否存在兼容性问题。该方法不仅能够高效可靠地发现数据库版本变化可能引入的兼容性风险，而且简单易行，便于实施。本申请同时还公开了一种数据库兼容性检测设备。

Description

一种数据库兼容性检测方法及设备

技术领域

本发明涉及通信技术领域，特别涉及一种数据库兼容性检测方法。本发明同时还涉及一种数据库兼容性检测设备。

背景技术

随着数据存储技术的发展，DBMS(DatabaseManagementSystem，数据库管理系统)以及SQL(StructuredQueryLanguage，结构化查询语言)越来越为人们所重视。数据库服务器一般指代通用关系型数据库管理系统，属于系统软件类型。可以是成熟稳定的商业数据库，例如，oracle，可以是开源的或者自研的数据库软件，例如，mysql、OceanBase等。而SQL则是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。SQL不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

数据库软件是一种比较底层的系统支撑软件，一般会有设计、开发、测试等角色，各司其职，当一个数据库版本开发完成后，就会交付到测试组进行产品验证。测试人员会根据产品的设计说明书和SQL指导手册、接口文档等技术资料，编写SQL测试用例。当一个新版本出来后，用上一个版本的case库回归老功能，同时，根据新版本的变更说明，补充新case。

目前的数据库领域的产品种类非常多，这些数据库均支持标准的SQL语法和JDBC访问接口。但是对于成长期的数据库来说，其架构经常变化，版本迭代很快，这样会造成SQL语法和API访问接口也会变动，给使用这些数据库的应用系统APP带来版本兼容性的风险。

为了避免数据库变动所带来的兼容性问题，现有的测试方法从数据库本身的角度出发，把数据库支持的SQL功能全部回归测试一遍，这是一种通用的SQL回归测试方法。具体地，现有技术中数据库新版本的交付过程如下：

首先，数据库版本的SQL测试：

1)根据SQL语法指导手册，编写case，构造case库；

2)数据库新版本交付后，用上一个版本的case库回归测试；

3)补充新的SQL用例到case库；

随后进行以下业务应用的集成测试：

1)大的版本变化，大回归，全面测试；

2)小的版本变化，小回归，主要流程测试；

在实现本发明的过程中，发明人发现以上测试方法存在着以下问题：

1)脱离了具体的业务应用场景，忽略了对业务逻辑的细微影响

该情况下，数据库版本的SQL本身可能是正确且符合预期的，但某个业务应用可能锁定了某些SQL执行结果的某个特定格式，这个格式的任何细微变化都会导致业务逻辑判断错误，而这种格式的变化可能是新的数据库版本本身就特意设计改进的地方。例如，空串(”)和空值(null)、时间字段格式、varchar长度限制、浮点数的精度、系统表定义等这些细微的变化，这些变化是开源或者自研数据库产品在发展初期版本迭代中经常遇到的问题，不可避免。

2)业务应用系统可能会漏测，把数据库版本变化带来的兼容性风险泄露到线上

众所周知，现在的很多业务应用系统是非常庞大的，业务逻辑复杂，特别是各种异常分支非常多，尤其是在互联网领域，业务产品的更新迭代很快很频繁，不可能每次测试都100％覆盖到所有分支的SQL，很容易泄露掉一些细节变化带来的兼容性风险。这些风险也许影响不会很大，例如，只是影响了APP界面的显示格式和用户体验，也许会将影响扩大，例如，浮点类型的精度可能会影响到涉及到金钱交易的问题。

在数据库更新迭代过程中，SQL语法比较大的变化一般在数据库系统自身的SQL回归测试中就能够发现，并预警出来，如果是非常细小的变化，不一定能够及时传递到使用数据库的业务应用端，即使事先知道了这些细小变化，业务应用的开发人员也很难在纷繁复杂的业务逻辑分支中很快找到受影响的点。因此，如何方便、快捷、高效地对数据库的兼容性进行检测，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种数据库兼容性检测方法，用以解决现有技术中数据库兼容性检测过程繁琐以及效率低下的问题，该方法包括：

获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合；

根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理；

将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比；

若所述基准文件与所述结果文件的内容一致，则确认所述待检测数据库不存在兼容性问题；

若所述基准文件与所述结果文件的内容不一致，则确认所述待检测数据库存在兼容性问题。

相应地，本发明还提出了一种数据库兼容性检测设备，其特征在于，包括：

获取模块，用于获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合；

处理模块，用于根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理；

对比模块，用于将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比；

若所述基准文件与所述结果文件的内容一致，所述对比模块确认所述待检测数据库不存在兼容性问题；

若所述基准文件与所述结果文件的内容不一致，所述对比模块确认所述待检测数据库存在兼容性问题。

由此可见，通过应用本发明以上技术方案，在获取测试基准数据以及基准文件之后，即根据SQL回归源文件对待检测数据库执行SQL回放处理；并将执行SQL回放处理后所得到的结果文件与基准文件进行内容对比，基于对比结果是否一致确定是否存在兼容性问题。该方法不仅能够高效可靠地发现数据库版本变化可能引入的兼容性风险，而且简单易行，便于实施。

附图说明

图1为本发明提出的一种数据库兼容性检测方法的流程示意图；

图2为本发明具体实施例所提出的数据库兼容性检测示意图；

图3为本发明提出的一种数据库兼容性检测设备的结构示意图。

具体实施方式

如背景技术所述，如果数据库新版本SQL有明显的变动，业务的回归测试一般是可以感知到的，如果数据库版本SQL是细微的变动，数据库测试人员会当作新的功能优化，补充新的case，由于变化不大，业务的回归测试也是小范围的，诸如，空串(”)和空值(null)、时间字段格式、varchar长度限制、浮点数的精度、系统表定义等这些细微的变化很容易被泄露掉。目前只有把这些细节都测试完整，并通知要求业务系统测试人员进行一次全面的集成测试才能避免该问题，该方法耗时耗力，且效率低下。因此本申请通过把数据库系统和业务应用融合起来，提供一种能够尽量规避人为的疏忽以及简单高效的兼容性检测方法。

如图1所示，为本发明提出的一种数据库兼容性检测方法流程示意图，包括如下步骤：

S101，获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合。

为了能够得到准确的基准文件以及SQL源文件，在该步骤之前，首先将确定所述测试基准数据；随后根据所述测试基准数据进行SQL录制处理，并按照业务逻辑执行的时序性进行记录；在将录制的SQL文件作为原始SQL文件并保持原生态格式之后，再进一步的对所述原始SQL进行SQL清洗，将经过所述SQL清洗后的具有业务逻辑时序性的SQL集合文件作为所述SQL回归源文件；最后根据所述在先数据库执行所述SQL回归源文件，并在全部执行成功后生成所述基准文件。

由于在先版本数据库和待检测版本数据库在初始测试的时候使用的数据是一样的，因此测试基准数据是在先版本数据库和待检测版本数据库共同基于的初始状态的数据集合，在后续回归测试的过程中，这个数据是可能变化的。例如update的SQL语句等，就会在测试过程中发生数据改变。

在上述过程中，可以通过将所述原始SQL文件内容的行中冗余信息进行剔除，以及将所述原始SQL文件的动态数据信息进行替换的方式，实现对所述原始SQL进行SQL清洗的过程。

S102，根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理。

具体地，该步骤根据所述待检测数据库执行所述SQL回归源文件，并在全部执行成功后生成所述结果文件。

S103，将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比。

需要说明的是，在S101以及S102中，所述基准文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据；所述结果文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据

S104，若所述基准文件与所述结果文件的内容一致，则确认所述待检测数据库不存在兼容性问题。

S105若所述基准文件与所述结果文件的内容不一致，则确认所述待检测数据库存在兼容性问题。

通过以上流程可以看出，基于本申请所提出的方法，能够高效可靠地发现成长期的数据库版本变化可能引入的兼容性风险；同时由于本申请将把数据库系统和业务应用系统进行了自动高效的融合，保持了业务逻辑的时序性和业务场景相关性，在不需要业务进行全面回归的情况下，就能发现数据库版本的兼容性问题，也相当于节省了成本。

为了进一步阐述本发明的技术思想，现结合如图2所示的具体实施例的流程示意图，对本发明的技术方案进行说明。本申请技术方案的出发点是在数据库自身测试和业务应用集成测试之间加入一个中间层，在业务第一次全面功能测试的过程中，按照特定的格式，记录SQL语句(录制)，这些SQL是具备业务的时序性的，也是原生态的。整个测试方法分为基准文件制作和测试回归执行两个部分，具体说明如下：

一、基准文件制作

整个测试方法的准备过程，在整个产品测试周期开始执行一次。

1、SQL录制

前提是确定测试基准数据，并将此作为以后回归测试的预置测试数据。录制过程中，按照业务逻辑执行的时序性进行记录，录制的SQL需要保持原生态格式，称之为原始SQL。

生成的录制文件名为：

业务名_版本_模块名_功能标识.sql

示例：taobaosale_v1.0.1_trade_refund.sql

YYYY-MM-DDHH:MM:SS.usSQL

示例：2014-08-0112:00:00.230987selecta.af1,b.bf1fromt1a,t2bwherea.af1＝b.bf1

2、SQL清洗

根据第1步录制的SQL文件，一般不能直接在数据库上跑，因为录制的时候，文件中需要有一些冗余的信息保留，以便SQL核查和校验，另外，还有一些动态的SQL数据信息需要特殊处理，例如，获取系统时间的函数gettime()之类的。在这一部，完全可以通过一些技术手段或者小工具，将SQL文件内容的行中冗余信息剔除，将动态数据信息替换，这个过程我们叫做SQL清洗。

3、SQL回归源

具有业务逻辑时序性的SQL集合文件，是由业务SQL录制形成的原始SQL经过SQL清洗产生的。

生成的SQL回归源文件名为：

业务名_版本_模块名_功能标识.test

4、执行SQL回归源

通过自动化脚本对SQL回归源文件运行的过程。执行过程中如果SQL执行失败，则会退出，需要分析失败原因。SQL全部执行成功，会生成基准文件。

5、基准文件

成功执行SQL回归源生成的文件，文件保存了执行过程中SQL运行数据以及结果数据，文件保持了回归源文件中的SQL的业务逻辑时序性。

生成的基准文件名为：

业务名_版本_模块名_功能标识.result

二、测试回归执行

整个测试方法的执行过程，在产品每个迭代版本中执行，可多次执行。

1、SQL回放

首先，恢复基准文件制作步骤中测试基准数据，通过自动化脚本运行准备步骤中生成的SQL回归源。

假设，某年某月某日，数据库版本有新版本发布，作为业务应用系统并不知道数据库变化的细节，不需要知道，也不可能100％知道，更加无法预测数据库版本的隐藏bug是否会触发兼容性风险，在这种情况下，执行SQL回放，清洗过的SQL文件是可以直接在数据库中执行的，而且，执行结果也是可预期的。

2、结果文件

同基准文件生成的原理相同，不同的地方是2次执行的数据库版本不相同。结果文件文件保持了回归源文件中的SQL的业务逻辑时序性。

一般数据库系统都支持SQL文件的批量执行功能，通过相关命令或者自动化脚本工具(这个工具很容易实现，不是本发明的内容)执行清洗后的SQL文件，生成新数据库版本环境下的SQL回归执行结果，保留了第1步的SQL时序性和完整性。

3、报告分析

对比分析结果文件与基准文件的内容(merge)，就完全可以发现数据库版本变化是否对业务功能会产生兼容性影响，如果SQL回放的结果和第一次保留的对比文件完全一致，则说明没有兼容性问题，反之，则说明数据库版本升级可能产生的兼容性问题，人工进行确认，防止了兼容性风险泄露。

为了达到以上技术目的，本申请还提出了一种数据库兼容性检测设备，如图3所示，包括：

获取模块310，用于获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合；

处理模块320，用于根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理；

对比模块330，用于将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比；

若所述基准文件与所述结果文件的内容一致，所述对比模块330确认所述待检测数据库不存在兼容性问题；

若所述基准文件与所述结果文件的内容不一致，所述对比模块330确认所述待检测数据库存在兼容性问题。

在具体的应用场景中，还包括：

确定模块，用于确定所述测试基准数据；

录制模块，用于根据所述测试基准数据进行SQL录制处理，并按照业务逻辑执行的时序性进行记录；

保存模块，用于将录制的SQL文件作为原始SQL文件并保持原生态格式；

清洗模块，用于对所述原始SQL进行SQL清洗，将经过所述SQL清洗后的具有业务逻辑时序性的SQL集合文件作为所述SQL回归源文件；

生成模块，用于根据所述在先数据库执行所述SQL回归源文件，并在全部执行成功后生成所述基准文件。

在具体的应用场景中，所述清洗模块，具体用于将所述原始SQL文件内容的行中冗余信息进行剔除，以及将所述原始SQL文件的动态数据信息进行替换。

在具体的应用场景中，所述处理模块，具体用于根据所述待检测数据库执行所述SQL回归源文件，并在全部执行成功后生成所述结果文件。

在具体的应用场景中，所述基准文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据；

所述结果文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据。

通过应用本发明以上技术方案，在获取测试基准数据以及基准文件之后，即根据SQL回归源文件对待检测数据库执行SQL回放处理；并将执行SQL回放处理后所得到的结果文件与基准文件进行内容对比，基于对比结果是否一致确定是否存在兼容性问题。该方法不仅能够高效可靠地发现数据库版本变化可能引入的兼容性风险，而且简单易行，便于实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种数据库兼容性检测方法，其特征在于，包括：

获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合；

根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理；

将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比；

若所述基准文件与所述结果文件的内容一致，则确认所述待检测数据库不存在兼容性问题；

若所述基准文件与所述结果文件的内容不一致，则确认所述待检测数据库存在兼容性问题。

2.如权利要求1所述的方法，其特征在于，在获取所述测试基准数据以及基准文件之前，还包括：

确定所述测试基准数据；

根据所述测试基准数据进行SQL录制处理，并按照业务逻辑执行的时序性进行记录；

将录制的SQL文件作为原始SQL文件并保持原生态格式；

对所述原始SQL进行SQL清洗，将经过所述SQL清洗后的具有业务逻辑时序性的SQL集合文件作为所述SQL回归源文件；

根据所述在先数据库执行所述SQL回归源文件，并在全部执行成功后生成所述基准文件。

3.如权利要求2所述的方法，其特征在于，对所述原始SQL进行SQL清洗，具体为：

将所述原始SQL文件内容的行中冗余信息进行剔除，以及将所述原始SQL文件的动态数据信息进行替换。

4.如权利要求1所述的方法，其特征在于，根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理，具体为：

根据所述待检测数据库执行所述SQL回归源文件，并在全部执行成功后生成所述结果文件。

5.如权利要求1-4任一项所述的方法，其特征在于，

所述基准文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据；

所述结果文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据。

6.一种数据库兼容性检测设备，其特征在于，包括：

获取模块，用于获取测试基准数据以及基准文件，所述基准文件是在针对在先数据库执行SQL回归源文件后生成的，所述SQL回归源文件根据所述测试基准数据生成，所述测试基准数据为所述在先数据库以及待检测数据库中共有的且不会发生改变的数据集合；

处理模块，用于根据所述SQL回归源文件对所述待检测数据库执行SQL回放处理；

对比模块，用于将执行所述SQL回放处理后所得到的结果文件与所述基准文件进行内容对比；

若所述基准文件与所述结果文件的内容一致，所述对比模块确认所述待检测数据库不存在兼容性问题；

若所述基准文件与所述结果文件的内容不一致，所述对比模块确认所述待检测数据库存在兼容性问题。

7.如权利要求6所述的设备，其特征在于，还包括：

确定模块，用于确定所述测试基准数据；

录制模块，用于根据所述测试基准数据进行SQL录制处理，并按照业务逻辑执行的时序性进行记录；

保存模块，用于将录制的SQL文件作为原始SQL文件并保持原生态格式；

清洗模块，用于对所述原始SQL进行SQL清洗，将经过所述SQL清洗后的具有业务逻辑时序性的SQL集合文件作为所述SQL回归源文件；

生成模块，用于根据所述在先数据库执行所述SQL回归源文件，并在全部执行成功后生成所述基准文件。

8.如权利要求7所述的设备，其特征在于，

所述清洗模块，具体用于将所述原始SQL文件内容的行中冗余信息进行剔除，以及将所述原始SQL文件的动态数据信息进行替换。

9.如权利要求6所述的设备，其特征在于，

所述处理模块，具体用于根据所述待检测数据库执行所述SQL回归源文件，并在全部执行成功后生成所述结果文件。

10.如权利要求1-4任一项所述的设备，其特征在于，

所述基准文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据；

所述结果文件保存有执行所述SQL回归源文件过程中的SQL运行数据以及结果数据。