CN106682101A - 一种数据库脚本运行异常检测的方法及系统 - Google Patents

Abstract

本发明涉及测试领域，尤其涉及一种数据库脚本运行异常检测的方法及系统。本发明通过解析数据库脚本中的数据库语句，得到关键字和运算符；从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；根据所述响应时长计算得到所述数据库语句的常规执行时长；比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句，测试工程师可根据出现异常的数据库语句快速排查出现异常的原因。

Description

一种数据库脚本运行异常检测的方法及系统

技术领域

本发明涉及测试领域，尤其涉及一种数据库脚本运行异常检测的方法及系统。

背景技术

在数据校验的过程中，不同测试工程师因为对业务和表结构的认识程度不同及对数据库语言掌握不同所编写的脚本执行效率存在差异，为了保障测试脚本的执行效率、当测试脚本运行异常时缩短测试工程师在脚本优化及解决异常问题方面的耗时，需要能够自动预估数据库脚本在正常运行环境下的执行时长，比较数据库脚本在实际运行环境中的实际执行时长，并给予测试工程师针对性解决异常问题建议的自动化工具，从而提高测试工程师的工作效率。

发明内容

本发明所要解决的技术问题是：提供一种数据库脚本运行异常检测的方法及系统，能够及时获取数据库脚本运行异常信息并定位出现异常的数据库语句。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种数据库脚本运行异常检测方法，包括：

解析数据库脚本中的数据库语句，得到关键字和运算符；

从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

上述的数据库脚本运行异常检测方法，其有益效果在于：通过解析数据库脚本中的数据库语句，得到所述数据库语句中包含的关键字和运算符。其中，关键字和运算符是影响数据库语句执行速度的关键因素。因此，根据预设复杂度评级表中所述关键字和所述运算符分别对应的响应时长，能够估算出所述数据库语句的常规执行时长。比较所述数据库语句的常规执行时长和所述数据库语句在实际运行环境中的实际执行时长，若所述实际执行时长大于所述常规执行时长，则所述数据库语句运行异常，测试工程师可根据所述数据库语句排查出现异常的原因。实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句。

本发明还提供一种数据库脚本运行异常检测系统，包括：

第一解析模块，用于解析数据库脚本中的数据库语句，得到关键字和运算符；

获取模块，用于从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

第一计算模块，用于根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较模块，用于比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

上述的数据库脚本运行异常检测系统，其有益效果在于：通过第一解析模块解析数据库脚本中的数据库语句，得到所述数据库语句中包含的关键字和运算符。通过获取模块获取预设复杂度评级表中所述关键字和所述运算符分别对应的响应时长。通过第一计算模块计算出执行所述数据库语句的常规执行时长。通过比较模块比较所述数据库语句的常规执行时长和所述数据库语句在实际运行环境中的实际执行时长，若所述实际执行时长大于所述常规执行时长，则所述数据库语句运行异常，测试工程师可根据所述数据库语句排查出现异常的原因。实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句。

附图说明

图1为本发明一种数据库脚本运行异常检测的方法流程框图；

图2为本发明一种数据库脚本运行异常检测的系统结构框图；

标号说明：

1、第一解析模块；2、获取模块；3、第一计算模块；4、比较模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过比较数据库语句的常规执行时长和数据库语句在实际运行环境中的实际执行时长，分析得出所述数据库语句是否处于异常运行状态。

请参照图1至图2，

如图1所示，本发明提供一种数据库脚本运行异常检测方法，包括：

解析数据库脚本中的数据库语句，得到关键字和运算符；

从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

进一步地，还包括：

预设索引记录表；

若在所述预设索引记录表中存在所述数据库语句中涉及的数据表的索引，则所述常规执行时长减少预设优化时长。

由上述描述可知，当数据库语句涉及的数据表存在索引时，考虑索引对数据库语句执行效率的优化作用，从而更精确地计算出数据库语句的常规执行时长。

进一步地，还包括：

预设数量级；

预设数据表响应时长；所述预设数据表响应时长为对数据量为所述预设数量级的数据表执行数据库简单语句操作的响应时长；

根据所述预设数量级、所述预设数据表响应时长和所述数据库语句中涉及的数据表的数量级，得到第一数据表响应时长；

所述常规执行时长增加所述第一数据表响应时长。

由上述描述可知，当数据库语句涉及的数据表的数量级较大时，会影响数据库语句的实际执行时长，考虑数据表的数量级对数据库语句执行时长的影响，从而更精确地计算出数据库语句的常规执行时长。

进一步地，还包括：

解析数据库脚本，得到嵌套语句；

解析所述嵌套语句为简单语句集合。

由上述描述可知，由于嵌套语句通常较为复杂，涉及较多的关键字、数据表和运算符等，将嵌套语句解析为简单语句集合，有利于定位出现异常的数据库语句具体为简单语句集合中的一简单语句。

进一步地，还包括：

若所述比较结果为实际执行时长大于所述常规执行时长，则推送数据库脚本运行异常的提示消息；所述提示信息包括所述数据库语句的位置信息、所述实际执行时长和所述常规执行时长。

由上述描述可知，相关人员可及时获知异常信息，并针对异常数据库语句查找相应的异常原因。

进一步地，还包括：

根据所述比较结果将所述数据库语句分为异常语句和无异常语句两类，得到分类列表；

根据数据库脚本中所述数据库语句的常规执行时长和实际执行时长生成详细列表；

根据所述分类列表和所述详细列表自动生成数据库脚本的运行报告。

由上述描述可知，相关人员可获知数据库脚本中各数据库语句的详细信息，为分析数据库执行脚本的效率提供数据。

如图2所示，本发明还提供一种数据库脚本运行异常检测系统，包括：

第一解析模块1，用于解析数据库脚本中的数据库语句，得到关键字和运算符；

获取模块2，用于从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

第一计算模块3，用于根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较模块4，用于比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

进一步地，还包括：

第一预设模块，用于预设索引记录表；

减模块，用于若在所述预设索引记录表中存在所述数据库语句中涉及的数据表的索引，则所述常规执行时长减少预设优化时长；

第二预设模块，用于预设数量级；

第三预设模块，用于预设数据表响应时长；所述预设数据表响应时长为对数据量为所述预设数量级的数据表执行数据库简单语句操作的响应时长；

第二计算模块，用于根据所述预设数量级、所述预设数据表响应时长和所述数据库语句中涉及的数据表的数量级，得到第一数据表响应时长；

加模块，用于所述常规执行时长增加所述第一数据表响应时长。

进一步地，还包括：

第二解析模块，用于解析数据库脚本，得到嵌套语句；

第三解析模块，用于解析所述嵌套语句为简单语句集合。

进一步地，还包括：

推送模块，用于若所述比较结果为实际执行时长大于所述常规执行时长，则推送数据库脚本运行异常的提示消息；所述提示信息包括所述数据库语句的位置信息、所述实际执行时长和所述常规执行时长；

分类模块，用于根据所述比较结果将所述数据库语句分为异常语句和无异常语句两类，得到分类列表；

第一生成模块，用于根据数据库脚本中所述数据库语句的常规执行时长和实际执行时长生成详细列表；

第二生成模块，用于根据所述分类列表和所述详细列表自动生成数据库脚本的运行报告。

本发明的实施例一为：

解析数据库脚本，得到嵌套语句；

解析所述嵌套语句为简单语句集合；

解析所述简单语句集合中的简单语句，得到关键字和运算符；

从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果；

若所述比较结果为实际执行时长大于所述常规执行时长，则推送数据库脚本运行异常的提示消息；所述提示信息包括所述数据库语句的位置信息、所述实际执行时长和所述常规执行时长。

根据所述比较结果将所述数据库语句分为异常语句和无异常语句两类，得到分类列表；

根据数据库脚本中所述数据库语句的常规执行时长和实际执行时长生成详细列表；

根据所述分类列表和所述详细列表自动生成数据库脚本的运行报告。

其中，关键字和运算符对应的响应时长是根据数据量级和sql优化的经验设置的。基本的定义原则是会破坏索引导致扫秒全表的关键字和运算符对应的响应时长长。例如，where子句中使用！＝或<>操作符，或or操作符来连接条件等等，会导致扫描全表。对于不破坏索引的关键字和运算符对应的预设的响应时长短，类似union这类的关键字不计响应时长。例如，数据表的数量级在10万的前提下，or关键字对应0.6s，LIKE关键字对应0.3s，LIKE和'％...'操作符对应0.9s等等。

在扫描数据表前，会先检测数据表的数量级。数量级按1万，10万，100万划分，1万起每增加10倍的数量响应时长乘以预设的系数1.2s，不同数量级根据系数的乘次得到不同的响应时长。

由上述描述可知，本实施例实现实时检测数据库语句在实际运行环境中的实际执行时长，通过比较数据库语句的常规执行时长和实际执行时长，分析得出所述数据库语句是否处于异常运行状态，若处于异常运行状态，则向相关人员发送提示信息，使测试工程师能够根据出现异常的数据库语句快速排查异常原因，提高测试工程师的工作效率。

本发明的实施例二为：

在实施例一的基础上，本实施例还包括：

预设索引记录表；

若在所述预设索引记录表中存在所述数据库语句中涉及的数据表的索引，则所述常规执行时长减少预设优化时长；

预设数量级；

预设数据表响应时长；所述预设数据表响应时长为对数据量为所述预设数量级的数据表执行数据库简单语句操作的响应时长；

根据所述预设数量级、所述预设数据表响应时长和所述数据库语句中涉及的数据表的数量级，得到第一数据表响应时长；

所述常规执行时长增加所述第一数据表响应时长。

由上述描述可知，本实施例在实施例一的基础上可更加精确地计算出数据库语句的常规执行时长。

本发明的实施例三为：

例如：数据库语句为：

select*from XUESHENG_ZZJY where ORGANIZATION_NO＝'3661000089'andRECORD_YEAR＝2016and BUSINESS_TYPE_NO＝365and SSZTXFSB＝0and ISNULL(TYPE_LAST,”)！＝'减少'and gj＝'中国'and NL＝17

union

select*from XUESHENG_ZZJY where ORGANIZATION_NO＝'3661000089'andRECORD_YEAR＝2016and BUSINESS_TYPE_NO＝365and SSZTXFSB＝0and ISNULL(TYPE_LAST,”)！＝'减少'and gj！＝'中国'and NL＝19；

对于并操作(union)的数据库语句，该关键字本身不造成开销，但是2个子句的开销叠才是完整语句的开销，所以该语句的常规执行时长＝子句A+子句B。该查询语句可以拆分为2个简单子句，由于where后面的4个字段是非聚集索引，根据预设的索引记录表，减少预设优化时长。此外，数据表的数量级是6万+，属于1万量级，计算得该语句的常规执行时长为(+0.25+0.25-0.25)*2＝0.5s内。

此外，还可对计算得到的常规执行时长进行修正。比如where子句中有类似num>xand num<y的子句，其中num字段的影响被期望修正。此时，可对x和y的范围大小进行判断，如果筛选的范围大于预设的阈值则适当增加时长，否则无需修正。

总的来说，修正可以认为是复杂度评级表计算方式的一种补充，可以不断补充常规执行时长的计算漏洞，使得计算所得的常规执行时长更加精确。

本发明的实施例四为：

第一解析模块解析数据库脚本中的数据库语句，得到关键字和运算符；

获取模块从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

第一计算模块根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较模块比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

由上述描述可知，本实施例提供一种数据库脚本运行异常检测的系统，实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句的功能。

综上所述，本发明提供的一种数据库脚本运行异常检测的方法，通过解析数据库脚本中的数据库语句，得到所述数据库语句中包含的关键字和运算符。其中，关键字和运算符是影响数据库语句执行速度的关键因素。因此，根据预设复杂度评级表中所述关键字和所述运算符分别对应的响应时长，能够估算出所述数据库语句的常规执行时长。比较所述数据库语句的常规执行时长和所述数据库语句在实际运行环境中的实际执行时长，若所述实际执行时长大于所述常规执行时长，则所述数据库语句运行异常，测试工程师可根据所述数据库语句排查出现异常的原因。实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句。进一步地，当数据库语句涉及的数据表存在索引时，考虑索引对数据库语句执行效率的优化作用，从而更精确地计算出数据库语句的常规执行时长。进一步地，当数据库语句涉及的数据表的数量级较大时，会影响数据库语句的实际执行时长，考虑数据表的数量级对数据库语句执行时长的影响，从而更精确地计算出数据库语句的常规执行时长。进一步地，由于嵌套语句通常较为复杂，涉及较多的关键字、数据表和运算符等，将嵌套语句解析为简单语句集合，有利于定位出现异常的数据库语句具体为简单语句集合中的一简单语句。进一步地，测试工程师可及时获知异常信息，并针对异常数据库语句查找相应的异常原因。进一步地，测试工程师可获知数据库脚本中各数据库语句的详细信息，为分析数据库执行脚本的效率提供数据。本发明提供一种数据库脚本运行异常检测的系统，实现及时获取数据库脚本运行异常信息并定位出现异常的数据库语句的功能。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据库脚本运行异常检测方法，其特征在于，包括：

解析数据库脚本中的数据库语句，得到关键字和运算符；

从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

2.根据权利要求1所述的数据库脚本运行异常检测方法，其特征在于，还包括：

预设索引记录表；

若在所述预设索引记录表中存在所述数据库语句中涉及的数据表的索引，则所述常规执行时长减少预设优化时长。

3.根据权利要求1所述的数据库脚本运行异常检测方法，其特征在于，还包括：

预设数量级；

预设数据表响应时长；所述预设数据表响应时长为对数据量为所述预设数量级的数据表执行数据库简单语句操作的响应时长；

根据所述预设数量级、所述预设数据表响应时长和所述数据库语句中涉及的数据表的数量级，得到第一数据表响应时长；

所述常规执行时长增加所述第一数据表响应时长。

4.根据权利要求1所述的数据库脚本运行异常检测方法，其特征在于，还包括：

解析数据库脚本，得到嵌套语句；

解析所述嵌套语句为简单语句集合。

5.根据权利要求1所述的数据库脚本运行异常检测方法，其特征在于，还包括：

若所述比较结果为实际执行时长大于所述常规执行时长，则推送数据库脚本运行异常的提示消息；所述提示信息包括所述数据库语句的位置信息、所述实际执行时长和所述常规执行时长。

6.根据权利要求1所述的数据库脚本运行异常检测方法，其特征在于，还包括：

根据所述比较结果将所述数据库语句分为异常语句和无异常语句两类，得到分类列表；

根据数据库脚本中所述数据库语句的常规执行时长和实际执行时长生成详细列表；

根据所述分类列表和所述详细列表自动生成数据库脚本的运行报告。

7.一种数据库脚本运行异常检测系统，其特征在于，包括：

第一解析模块，用于解析数据库脚本中的数据库语句，得到关键字和运算符；

获取模块，用于从预设复杂度评级表中分别获取所述关键字和所述运算符对应的响应时长；

第一计算模块，用于根据所述响应时长计算得到所述数据库语句的常规执行时长；

比较模块，用于比较所述数据库语句的实际执行时长和所述常规执行时长，得到比较结果。

8.根据权利要求7所述的数据库脚本运行异常检测系统，其特征在于，还包括：

第一预设模块，用于预设索引记录表；

减模块，用于若在所述预设索引记录表中存在所述数据库语句中涉及的数据表的索引，则所述常规执行时长减少预设优化时长；

第二预设模块，用于预设数量级；

第三预设模块，用于预设数据表响应时长；所述预设数据表响应时长为对数据量为所述预设数量级的数据表执行数据库简单语句操作的响应时长；

第二计算模块，用于根据所述预设数量级、所述预设数据表响应时长和所述数据库语句中涉及的数据表的数量级，得到第一数据表响应时长；

加模块，用于所述常规执行时长增加所述第一数据表响应时长。

9.根据权利要求7所述的数据库脚本运行异常检测系统，其特征在于，还包括：

第二解析模块，用于解析数据库脚本，得到嵌套语句；

第三解析模块，用于解析所述嵌套语句为简单语句集合。

10.根据权利要求7所述的数据库脚本运行异常检测系统，其特征在于，还包括：

推送模块，用于若所述比较结果为实际执行时长大于所述常规执行时长，则推送数据库脚本运行异常的提示消息；所述提示信息包括所述数据库语句的位置信息、所述实际执行时长和所述常规执行时长；

分类模块，用于根据所述比较结果将所述数据库语句分为异常语句和无异常语句两类，得到分类列表；

第一生成模块，用于根据数据库脚本中所述数据库语句的常规执行时长和实际执行时长生成详细列表；

第二生成模块，用于根据所述分类列表和所述详细列表自动生成数据库脚本的运行报告。