CN110413638A - 一种sql检测装置和方法 - Google Patents

Abstract

本申请提供了一种SQL检测装置和方法，其中该方法包括：检测应用程序向数据库发送的SQL语句；抓取所述SQL语句，将其与第一信息封装到第一报文；将所述第一报文传输给SQL审核模块；审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文；存储所述第二报文。

Description

一种SQL检测装置和方法

技术领域

本申请涉及金融系统数据库领域，具体而言，本申请涉及一种SQL检测装置和方法。

背景技术

在大数据时代中，数据库系统的数据类型与规模在不断扩增，这给数据库管理带来了极大挑战。而金融系统数据库对于数据库的性能要求尤其严格，包括但不限于以下方面：系统的TPS、QPS、响应时间以及并行处理能力,SQL语句的执行效率等等。

结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。事实上，系统中存在大量的具有性能问题的SQL语句，是影响数据库性能的最主要原因之一。

现有的金融系统中发现具有性能问题的SQL的方法，都是通过使用数据库慢SQL日志、大事务、长SQL等监控手段。这些监控手段的缺点是滞后性，都是在数据库系统整体变慢以后才能被监控发现。监控发现时，往往已经对上线运行中的数据库系统造成了响应时间变长、所有SQL语句执行变慢、CPU使用率急剧上升等严重问题。DBA等运维工程师只能够被动的应急处理，而无法做到提前检测出潜在的具有性能问题的SQL，从而避免由于SQL语句性能不佳而产生的数据库整体响应时间变长、所有SQL语句执行变慢、CPU使用率急剧上升等严重问题。

发明内容

本申请提供了一种SQL检测装置和方法，用于发现潜在的具有性能问题的SQL，本申请采用的技术方案如下：

第一方面，提供了一种SQL检测方法，该方法包括，

检测应用程序向数据库发送的SQL语句；

抓取所述SQL语句，将其与第一信息封装到第一报文；

将所述第一报文传输给SQL审核模块；

审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文；

存储所述第二报文。

可选地，在所述SQL检测方法中，将所述第二报文发送到评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。

可选地，在所述SQL检测方法中，所述第一报文的发送是异步或者同步的。

可选地，在所述SQL检测方法中，在所述审核所述SQL语句的步骤中，对所述SQL语句的处理是异步或同步的。

可选地，在所述SQL检测方法中，根据所述应用程序所使用代码的类型，来确定检测方式。

第二方面，提供了一种SQL检测装置，所述SQL检测装置包括：检测模块、抓取模块、传输模块、审核模块、存储模块，其中：

所述检测模块，用于检测应用程序向数据库发送的SQL语句；

所述抓取模块，用于抓取所述SQL语句，将其与第一信息封装到第一报文；

所述传输模块，用于将所述第一报文传输给SQL审核模块；

所述审核模块，用于审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文；

所述存储模块，用于存储所述第二报文。

可选地，在所述SQL检测装置中，还包括评价模块，将所述第二报文发送到所述评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。

可选地，在所述SQL检测装置中，所述传输模块将所述第一报文发送给消息队列，通过所述消息队列异步把所述第一报文发送给所述审核模块；或者所述模块直接将所述第一报文发送给所述审核模块。

可选地，在所述SQL检测装置中，所述审核模块，在所接收的第一报文的数量到达阀值后，开始对所述SQL语句的处理；或者所述审核模块，在接收所述第一报文后，即开始对所述SQL语句的处理。

可选地，在所述SQL检测装置中，根据所述应用程序所使用代码的类型，来确定所述检测模块和所述抓取模块。

本申请提供了一种SQL检测装置和方法，与现有技术通过使用数据库慢SQL日志、大事务、长SQL等监控手段发现具有性能问题的SQL语句相比，本申请采用在数据库上线前的测试阶段直接抓取应用程序向数据库发送的所有SQL语句，并对其进行审核的方式，来检测具有性能问题的SQL语句，以供后续优化，从而提前避免了由于SQL语句性能不高而导致的数据库整体响应时间变长、所有SQL语句执行变慢、CPU使用率急剧上升问题。本发明相对于现有技术的改进在于：现有技术通过慢SQL日志、大事务、长SQL等监控手段收集具有性能问题的SQL语句，这种方式只能筛选出符合特定条件的SQL语句，再对这部分SQL语句进行审核。由于其审核的对象本身就只是全部SQL语句中的一部分，显然这种方式无法检测出所有具有性能问题的SQL语句，进而无法完全避免由具有性能问题的SQL语句所导致的数据库整体响应时间变长、所有SQL语句执行变慢、CPU使用率急剧上升问题。本发明直接抓取应用程序向数据库发送的所有SQL语句，并对其进行审核，从而大大提高了检测率。另外，现有技术的监控手段均是在数据库系统整体变慢之后才能检测到相应的SQL语句，解决问题具有滞后性，本发明同时解决了系统问题发生后才能发现特定SQL语句需要被优化的滞后性问题。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的一种SQL检测方法的流程示意图；

图2为本申请实施例的一种SQL检测装置的审核模块的示意图；

图3为包括本申请实施例的一种SQL检测装置的系统的结构图。

具体实施方式

下面详细描述本申请的实施例，各实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例一

如图1所示，提供了一种SQL检测方法，该方法可以包括以下步骤：

步骤一，检测应用程序向数据库发送的SQL语句。

具体地，选择测试环境中的一台虚拟机，部署核心系统的Java应用程序。现有银行应用系统大部分都是使用Java程序编写。同时部署检测模块，在本实施例中检测模块的功能由Java版本的抓取SQL客户端来实现。抓取SQL客户端一般是在应用程序启动时被自动拉起，这种方式对应用程序影响最小。

应用程序启动后，抓取SQL客户端也正常运行。当测试人员进行功能测试时，应用程序向数据库发送对应的SQL语句。

例如发送的SQL语句为："SELECT\n\t\t\n\t\tACCOUNTING_STATUS,ACCOUNTING_STATUS_PREV,ACCOUNT_STATUS_UPD_DATE,ACCT_CLASS,ACCT_CLOSE_DATE,ACCT_CLOSE_REASON,ACCT_CLOSE_USER_ID,ACCT_DESC,ACCT_DUE_DATE,ACCT_EXEC,ACCT_LICENSE_DATE,ACCT_LICENSE_NO,ACCT_NAME,ACCT_NATURE,ACCT_OPEN_DATE,ACCT_REAL_FLAG,ACCT_SEQ_NO,ACCT_STATUS,ACCT_STATUS_PREV,ACCT_STATUS_UPD_DATE,ACCT_STOP_PAY,ACCT_TYPE,ACCT_VERIFICATION_IND,ADDTL_PRINCIPAL,ALL_DEP_IND,ALL_DRA_IND,ALT_ACCT_NAME,APPLY_BRANCH,APPROVAL_DATE,APPROVAL_STATUS,APPR_LETTER_NO,APPR_USER_ID,AUTO_RENEW_ROLLOVER,AUTO_SETTLE,BAL_TYPE,BASE_ACCT_NO,BRANCH,BUSINESS_UNIT,CARD_NO,CCY,CLIENT_NO,CLIENT_TYPE,CMISLOAN_NO,COMPANY,CUR_STAGE_NO,DAC_VALUE,DORMANT_DATE,EFFECT_DATE,FIVE_CATEGORY,FIXED_CALL,GL_TYPE,HOME_BRANCH,INTERNAL_KEY,INT_IND,LAST_CHANGE_DATE,LAST_CHANGE_USER_ID,LAST_MVMT_STATUS,LAST_TRAN_DATE,LEAD_ACCT_FLAG,LENDER,MAIN_BAL_FLAG,MAIN_INT_FLAG,MAIN_SETTLE_FLAG,MATURITY_DATE,MM_REF_NO,MULTI_BAL_TYPE,NOTICE_PERIOD,OLD_PROD_TYPE,OPEN_TRAN_DATE,ORIG_ACCT_OPEN_DATE,ORI_MATURITY_DATE,OSA_FLAG,OWNERSHIP_TYPE,PARENT_INTERNAL_KEY,PARTIAL_RENEW_ROLL,PROD_TYPE,PROFIT_CENTRE,REASON_CODE,REGEN_SCHEDULE,REGION_FLAG,RENEW_NO,ROLLOVER_NO,ROUTER_KEY,SCHED_MODE,SETTLE,SETTLE_DATE,SETTLE_USER_ID,SOURCE_MODULE,SOURCE_TYPE,SUB_PROJECT_NO,SUB_SCHED_MODE,TERM,TERMINAL_ID,TERM_TYPE,TIMES_RENEWED,TIMES_ROLLEDOVER,TRAN_TIME,TRAN_TIMESTAMP,USER_ID,XRATE,XRATE_ID,IS_POL_ACCT\n\t\n\t\tFROM mb_acct\n\t\tWHERE acct_status！＝'C'\n\t\tANDbase_acct_no\n\t\t＝？\n\t\t\n\t\t\n\t\t\n\t\t\tAND ACCT_SEQ_NO＝？\n\t\t\n\t\t\n\t\t\tAND router_key＝？\n\t\t\n\t\tORDER BY base_acct_no,ACCT_SEQ_NOASC"。

抓取SQL客户端检测到上述SQL语句后，进行抓取。

步骤二，抓取所述SQL语句，将其与第一信息封装到第一报文。

具体地，由抓取模块(本实施例中抓取模块的功能由抓取SQL客户端实现)抓取到SQL语句后，把环境信息D、应用名称CBS、时间戳201906271114、模块名modelBank等信息封装成json报文。详细的封装信息请参考表1。

表1封装第一报文

步骤三，将所述第一报文传输给SQL审核模块。

具体地，传输模块(本实施例中传输模块的功能由抓取SQL客户端实现)将封装好的json报文异步发给消息队列，消息队列再把json报文异步传输给SQL审核模块。异步传输相对于同步传输来说，性能更好。使用消息队列比直接调用api传输，性能更好。

步骤四，审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文。

具体地，如图2所示，SQL审核模块异步接收消息队列传输的报文。为了达到更好的性能，设置接收报文的阈值为10。

SQL审核模块异步接收json报文，当发现已接收10个时，开始进行预处理。把10个json报文中的SQL语句解析出来，进行格式化并去重。将去重后的SQL语句进行语法解析，根据已经配置好的审核规则进行规则匹配。然后把每条SQL语句审核后发现的性能问题已经修改建议，添加到SQL语句原来的json报文中，具体参考表2。例如：上述select语句，存在两个问题。问题1：where条件中使用了“！＝”，修改建议“<>才是标准SQL中的不等于运算符”。问题2：select语句中使用了order by，修改建议“当ORDER BY条件为表达式或函数时会使用到临时表，如果在未指定WHERE或WHERE条件返回的结果集较大时性能会很差”。

表2封装第二报文

步骤五，存储所述第二报文。

具体地，当SQL审核模块完成审核后，把审核后的第二报文，进行持久化存储。

实施例二

本发明的另一个实施例中，在实施例一的SQL检测方法的基础上，将所述第二报文发送到评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。

为了便于SQL评价模块的使用，可以把第二报文存储到MySQL数据库中。开发人员可以通过SQL评价模块，查看每一条有潜在性能问题的SQL语句，并按照修改意见进行SQL优化。同时，SQL评价模块可以根据每条有问题的SQL，按照危险级别进行扣分，来达到管控应用版本的目的。

实施例三

如图3所示，提供了一种SQL检测装置，其包括检测模块、抓取模块、传输模块、审核模块、存储模块。

检测模块，用于检测应用程序向数据库发送的SQL语句。

具体地，选择测试环境中的一台虚拟机，部署核心系统的Java应用程序。现有银行应用系统大部分都是使用Java程序编写。同时部署检测模块，在本实施例中检测模块的功能由Java版本的抓取SQL客户端来实现。抓取SQL客户端一般是在应用程序启动时被自动拉起，这种方式对应用程序影响最小。应用程序启动后，抓取SQL客户端也正常运行。当测试人员进行功能测试时，应用程序向数据库发送对应的SQL语句。抓取SQL客户端检测到上述SQL语句后，进行抓取。

抓取模块，用于抓取所述SQL语句，将其与第一信息封装到第一报文。具体地，由抓取模块(本实施例中抓取模块的功能由抓取SQL客户端实现)抓取到SQL语句后，把环境信息D、应用名称CBS、时间戳201906271114、模块名modelBank等信息封装成json报文。

传输模块，用于将所述第一报文传输给SQL审核模块。具体地，传输模块(本实施例中传输模块的功能由抓取SQL客户端实现)将封装好的json报文异步发给消息队列，消息队列再把json报文异步传输给SQL审核模块。异步传输相对于同步传输来说，性能更好。使用消息队列比直接调用api传输，性能更好。

审核模块，用于审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文。具体地，如图2所示，SQL审核模块异步接收消息队列传输的报文。为了达到更好的性能，设置接收报文的阈值为10。SQL审核模块异步接收json报文，当发现已接收10个时，开始进行预处理。把10个json报文中的SQL语句解析出来，进行格式化并去重。将去重后的SQL语句进行语法解析，根据已经配置好的审核规则进行规则匹配。然后把每条SQL语句审核后发现的性能问题已经修改建议，添加到SQL语句原来的json报文中。

存储模块，用于存储所述第二报文。具体地，当SQL审核模块完成审核后，把审核后的第二报文，进行持久化存储。

实施例四

在实施例三的基础上，SQL检测装置还包括评价模块。将所述第二报文发送到所述评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。为了便于SQL评价模块的使用，可以把第二报文存储到MySQL数据库中。开发人员可以通过SQL评价模块，查看每一条有潜在性能问题的SQL语句，并按照修改意见进行SQL优化。同时，SQL评价模块可以根据每条有问题的SQL，按照危险级别进行扣分，来达到管控应用版本的目的。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种SQL检测方法，其特征在于，包括如下步骤：

检测应用程序向数据库发送的SQL语句；

抓取所述SQL语句，将其与第一信息封装到第一报文；

将所述第一报文传输给SQL审核模块；

审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文；

存储所述第二报文。

2.根据权利要求1所述的SQL检测方法，其特征在于，将所述第二报文发送到评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。

3.根据权利要求1所述的SQL检测方法，其特征在于，所述第一报文的发送是异步或者同步的。

4.根据权利要求1所述的SQL检测方法，其特征在于，在所述审核所述SQL语句的步骤中，对所述SQL语句的处理是异步或同步的。

5.根据权利要求1所述的SQL检测方法，其特征在于，根据所述应用程序所使用代码的类型，来确定检测方式。

6.一种SQL检测装置，其特征在于，所述SQL检测装置包括：检测模块、抓取模块、传输模块、审核模块、存储模块，其中：

所述检测模块，用于检测应用程序向数据库发送的SQL语句；

所述抓取模块，用于抓取所述SQL语句，将其与第一信息封装到第一报文；

所述传输模块，用于将所述第一报文传输给SQL审核模块；

所述审核模块，用于审核所述SQL语句，将审核生成的第二信息添加到所述第一报文，形成第二报文；

所述存储模块，用于存储所述第二报文。

7.根据权利要求6所述的SQL检测装置，其特征在于，还包括评价模块，将所述第二报文发送到所述评价模块，所述评价模块按照评分规则对所述第二报文中的SQL语句进行评分和结果展示。

8.根据权利要求6所述的SQL检测装置，其特征在于，所述传输模块将所述第一报文发送给消息队列，通过所述消息队列异步把所述第一报文发送给所述审核模块；或者所述模块直接将所述第一报文发送给所述审核模块。

9.根据权利要求6所述的SQL检测装置，其特征在于，所述审核模块，在所接收的第一报文的数量到达阀值后，开始对所述SQL语句的处理；或者所述审核模块，在接收所述第一报文后，即开始对所述SQL语句的处理。

10.根据权利要求6所述的SQL检测装置，其特征在于，根据所述应用程序所使用代码的类型，来确定所述检测模块和所述抓取模块。