CN116775488A - 异常数据确定方法、装置、设备、介质及产品 - Google Patents

Abstract

本申请属于大数据技术领域，具体提供一种异常数据确定方法、装置、设备、介质及产品，该方法包括：获取应用软件的源代码文件；对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；判断各结构化查询语言语句是否属于分页查询类别；若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。本申请的方法，提高了确定结构化查询语言语句异常的准确性。

Description

异常数据确定方法、装置、设备、介质及产品

技术领域

本申请涉及大数据技术领域，尤其涉及一种异常数据确定方法、装置、设备、介质及产品。

背景技术

伴随计算机技术的飞速发展，银行信息化程度越来越高，信息化系统投产版本越来越多，在系统的使用过程中，内存溢出导致的生产事件频发。内存溢出是指程序在申请内存时，系统没有足够的内存空间供其使用，导致内存溢出。近些年来，因数据库查询大结果集导致的生产事件，在全部内存溢出生产事件中占比高，约占45％左右，其造成的直接影响是业务处理时间长。

目前为了避免大查询结果集生产事件发生，部分项目组在开发新功能时，会查询生产数据库，根据生产数据库表的数据量和表字段区间分布，分析查询SQL(英文为：Structured Query Language，中文为：结构化查询语言)是否存在异常情况。然后，这种方式忽略了条件查询为空时，出现的异常情况，因此，确定SQL异常的准确性有待进一步加强。

发明内容

本申请提供一种异常数据确定方法、装置、设备、介质及产品，用以解决目前确定SQL异常的准确性有待进一步加强的问题。

本申请第一方面提供一种异常数据确定方法，包括：

获取应用软件的源代码文件；所述源代码文件包括可扩展标记语言XML文件；所述应用软件的功能包括查询数据库存储的数据；

对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；

判断各结构化查询语言语句是否属于分页查询类别；

若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；

若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

进一步地，如上所述的方法，所述对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句，包括：

去除所述可扩展标记语言XML文件中的注释代码，以获取结构化查询语言语句对应的命名空间和唯一编码；

根据所述命名空间和所述唯一编码从可扩展标记语言XML文件中扫描到对应非完整语句；所述非完整语句为结构化查询语言语句的部分语句；

根据非完整语句中的包含代码关键字确定非完整语句对应的其他数据；

将所述非完整语句和所述其他数据进行整合，以生成对应结构化查询语言语句。

进一步地，如上所述的方法，所述判断各结构化查询语言语句是否属于分页查询类别，包括：

判断各结构化查询语言语句是否包括分页查询对应的代码；

若结构化查询语言语句包括分页查询对应的代码，则确定对应结构化查询语言语句属于分页查询类别。

进一步地，如上所述的方法，所述判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件，包括：

去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句；

从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件。

进一步地，如上所述的方法，所述去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句，包括：

按照检查代码对应的预设起始字符以及预设结束字符提取所述结构化查询语言语句中检查代码拼接的语句；

去除检查代码拼接的语句，生成对应剩余语句。

进一步地，如上所述的方法，所述从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件，包括：

判断所述剩余语句中是否存在多个选择标准代码关键字；

若确定所述剩余语句中存在多个选择标准代码关键字，则查找排序最后的选择标准代码关键字；

判断排序最后的选择标准代码关键字之后的代码数据中是否存在预设查询字符；

若确定排序最后的选择标准代码关键字之后的代码数据中存在预设查询字符，则确定排序最后的选择标准代码关键字存在查询条件。

进一步地，如上所述的方法，所述预设数据正常条件还包括以下一个或多个：

所述结构化查询语言语句中集合判断动作对应的代码符合集合判断动作对应的预设代码格式；

所述结构化查询语言语句中查询动作仅查询一条数据；

所述结构化查询语言语句中查询动作对应待查询表格的数据量小于预设数据量阈值；

所述若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句，包括：

若确定所述结构化查询语言语句中代码数据都不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

进一步地，如上所述的方法，所述对所述可扩展标记语言XML文件进行解析处理之前还包括：

判断所述源代码文件中是否存在结构化查询语言拦截器；

若确定不存在结构化查询语言拦截器，则执行所述对所述可扩展标记语言XML文件进行解析处理的步骤；

若确定存在结构化查询语言拦截器，则确定源代码文件中不存在异常语句。

本申请第二方面提供一种异常数据确定装置，包括：

获取模块，用于获取应用软件的源代码文件；所述源代码文件包括可扩展标记语言XML文件；所述应用软件的功能包括查询数据库存储的数据；

解析模块，用于对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；

第一判断模块，用于判断各结构化查询语言语句是否属于分页查询类别；

第二判断模块，用于若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；

确定模块，用于若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

进一步地，如上所述的装置，所述解析模块具体用于：

去除所述可扩展标记语言XML文件中的注释代码，以获取结构化查询语言语句对应的命名空间和唯一编码；根据所述命名空间和所述唯一编码从可扩展标记语言XML文件中扫描到对应非完整语句；所述非完整语句为结构化查询语言语句的部分语句；根据非完整语句中的包含代码关键字确定非完整语句对应的其他数据；将所述非完整语句和所述其他数据进行整合，以生成对应结构化查询语言语句。

进一步地，如上所述的装置，所述第一判断模块具体用于：

判断各结构化查询语言语句是否包括分页查询对应的代码；若结构化查询语言语句包括分页查询对应的代码，则确定对应结构化查询语言语句属于分页查询类别。

进一步地，如上所述的装置，所述第二判断模块在判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件时，具体用于：

去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句；从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件。

进一步地，如上所述的装置，所述第二判断模块在去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句时，具体用于：

按照检查代码对应的预设起始字符以及预设结束字符提取所述结构化查询语言语句中检查代码拼接的语句；去除检查代码拼接的语句，生成对应剩余语句。

进一步地，如上所述的装置，所述第二判断模块在从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件时，具体用于：

判断所述剩余语句中是否存在多个选择标准代码关键字；若确定所述剩余语句中存在多个选择标准代码关键字，则查找排序最后的选择标准代码关键字；判断排序最后的选择标准代码关键字之后的代码数据中是否存在预设查询字符；若确定排序最后的选择标准代码关键字之后的代码数据中存在预设查询字符，则确定排序最后的选择标准代码关键字存在查询条件。

进一步地，如上所述的装置，所述预设数据正常条件还包括以下一个或多个：

所述结构化查询语言语句中集合判断动作对应的代码符合集合判断动作对应的预设代码格式；

所述结构化查询语言语句中查询动作仅查询一条数据；

所述结构化查询语言语句中查询动作对应待查询表格的数据量小于预设数据量阈值；

所述确定模块具体用于：

若确定所述结构化查询语言语句中代码数据都不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

进一步地，如上所述的装置，所述装置还包括：

第三判断模块，用于判断所述源代码文件中是否存在结构化查询语言拦截器；若确定不存在结构化查询语言拦截器，则执行所述对所述可扩展标记语言XML文件进行解析处理的步骤；若确定存在结构化查询语言拦截器，则确定源代码文件中不存在异常语句。

本申请第三方面提供一种电子设备，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的异常数据确定方法。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的异常数据确定方法。

本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的异常数据确定方法。

本申请提供的一种异常数据确定方法、装置、设备、介质及产品，该方法包括：获取应用软件的源代码文件；所述源代码文件包括可扩展标记语言XML文件；所述应用软件的功能包括查询数据库存储的数据；对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；判断各结构化查询语言语句是否属于分页查询类别；若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。本申请的异常数据确定方法，通过静态解析扫描应用软件的源代码文件，对获取到的所有结构化查询语言语句进行是否属于分页查询类别的判定，同时，若确定所述结构化查询语言语句不属于分页查询类别，则进一步判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件，如选择标准代码关键字存在查询条件。通过分页查询类别和选择标准代码关键字存在查询条件的双重判断，囊括了不属于分页查询类别的异常情况以及条件查询为空时出现的异常情况，从而提高了确定结构化查询语言语句异常的准确性，使开发人员能及时修改，以避免内存溢出生产事件发生。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为可以实现本申请实施例的异常数据确定方法的场景图；

图2为本申请提供的异常数据确定方法的流程示意图一；

图3为本申请提供的异常数据确定方法的流程示意图二；

图4为本申请提供的异常数据确定方法的流程示意图三；

图5为本申请提供的异常数据确定装置的结构示意图；

图6为本申请提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，本公开异常数据确定方法、装置、设备、介质及产品可用于大数据技术领域。也可用于除大数据技术领域以外的任意领域。本公开异常数据确定方法、装置、设备、介质及产品应用领域不作限定。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。目前，为避免数据库查询大结果集导致内存溢出，数据库查询大结果集：程序通过SQL语句查询数据库，并将查询结果放在集合中，如果查询的数据量很大，例如单次查询100万等，则称为大结果集，主要分三个阶段，多种方式来避免，分别如下：

开发阶段

开发阶段，为避免数据库查询大结果集，会进行多方面考虑，首先会根据生产数据量和业务增长情况，预估查询是否需要分页。而开发人员通过预估生产数据量决定查询是否分页，很多情况下是基于已有某种查询条件的前提下预估的，未考虑查询条件全部为空的情况，同时未来数据增长不可能完全预期。

测试阶段

功能测试时，除了正常数据测试用例之外，还会考虑异常用例，例如边界值测试，一个参数为空或者全部参数为空，或者参数特殊值等等，当一个查询语句，查询参数很多时，需求变动很多的情况下，组合情况就比较多，测试时，遗漏案例不可避免，同时由于测试环境数据量和生产数据量不一致，某些情况下，即使测试到，但是由于数据量少，并不一定会导致内存溢出，因此很难发现问题。非功能测试时，测试数据库和生产数据库属于同一量级，但是测试人员会按照业务理解，确定哪些参数是必填，测试时，这些参数就不会为空，这种情况下，仅能测试有参数的条件下，是否存在大结果集异常，对于参数全为空的情况，是否存在大结果集异常是未知的。

执行阶段

为更有效的避免查询大结果集，出现了通过动态字节码增强技术来跟踪生产运行情况，当查询结果集超过预期时，则抛出异常或返回指定数量的数据，从而避免大结果集导致的内存溢出。这种方式对生产环境有一定的性能影响。

因此，针对目前执行阶段之前的阶段，忽略了条件查询为空时，出现的异常情况，因此，确定SQL异常的准确性有待进一步加强。

所以针对现有技术中由于目前确定SQL异常的准确性有待进一步加强的问题，发明人在研究中发现，为了解决该问题，可以通过静态扫描代码数据，即通过扫描源代码的方式检查代码存在的问题，并基于代码数据特征，如选择标准关键字的查询条件是否缺失，SQL语句是否属于分页查询类别等来进一步确定结构化查询语言语句SQL是否存在异常，提高确定SQL异常的准确性。

具体的，获取应用软件的源代码文件。源代码文件包括可扩展标记语言XML文件。应用软件的功能包括查询数据库存储的数据。

对可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句。

判断各结构化查询语言语句是否属于分页查询类别。

若确定结构化查询语言语句不属于分页查询类别，则判断结构化查询语言语句中代码数据是否满足预设数据正常条件。预设数据正常条件至少包括结构化查询语言语句中的选择标准代码关键字存在查询条件。

若确定结构化查询语言语句中代码数据不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

本申请的异常数据确定方法，通过静态解析扫描应用软件的源代码文件，对获取到的所有结构化查询语言语句进行是否属于分页查询类别的判定，同时，若确定结构化查询语言语句不属于分页查询类别，则进一步判断结构化查询语言语句中代码数据是否满足预设数据正常条件，如选择标准代码关键字存在查询条件。通过分页查询类别和选择标准代码关键字存在查询条件的双重判断，囊括了不属于分页查询类别的异常情况以及条件查询为空时出现的异常情况，从而提高了确定SQL异常的准确性。

发明人基于上述的创造性发现，提出了本申请的技术方案。

下面对本申请实施例提供的异常数据确定方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为第二电子设备。本申请实施例提供的异常数据确定方法对应的应用场景的网络架构中包括：第一电子设备1和第二电子设备2。第一电子设备1可以为异常检验服务器，第二电子设备2可以为应用服务器，应用服务器中装有对应应用软件，如业务流程处理软件等。

示例性的，当需要进行异常数据确定时，第二电子设备2发送对应应用软件的源代码文件至第一电子设备1。其中，源代码文件包括可扩展标记语言XML文件。第一电子设备1进行如下处理：①对源代码文件中的可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言SQL语句。②判断各结构化查询语言SQL语句是否属于分页查询类别。若确定结构化查询语言SQL语句不属于分页查询类别，则判断结构化查询语言SQL语句中代码数据是否满足预设数据正常条件。预设数据正常条件至少包括结构化查询语言SQL语句中的选择标准代码关键字如where代码关键字存在查询条件。③若确定结构化查询语言SQL语句中代码数据不满足预设数据正常条件，则确定结构化查询语言SQL语句为异常SQL语句。当确定SQL语句为异常SQL语句时，可以通过发送异常消息至用户终端的方式提示用户，也可以反馈异常消息至第二电子设备2。用户可以基于该异常消息对异常SQL语句进行修复处理。

下面结合说明书附图对本申请实施例进行介绍。

图2为本申请提供的异常数据确定方法的流程示意图一，如图2所示，本实施例中，本申请实施例的执行主体为异常数据确定装置，该异常数据确定装置可以集成在电子设备中。则本实施例提供的异常数据确定方法包括以下几个步骤：

步骤S101，获取应用软件的源代码文件。源代码文件包括可扩展标记语言XML文件。应用软件的功能包括查询数据库存储的数据。

本实施例中，源代码文件(也称源程序文件)是指未编译的按照一定的程序设计语言规范书写的文本文件。XML(英文全称为：Extensible Markup Language，中文为：可扩展标记语言)，是一种允许用户对自己的标记语言进行定义的源语言。可扩展标记语言XML文件中包含结构化查询语言语句。

步骤S102，对可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句。

本实施例中，对可扩展标记语言XML文件进行解析处理，以获取完整的结构化查询语言语句，为后续确定是否存在异常提供基础。

步骤S103，判断各结构化查询语言语句是否属于分页查询类别。

本实施例中，结构化查询语言语句存在多种类别，如条件查询、分组查询、排序查询、分页查询等，结构化查询语言语句可以同时具有一种或多种查询类别。分页查询对应的常用代码关键字可以为limit。分页查询：将过多的结果在有限的界面分多页展示，每页显示用户定义的行数。对于纯后台系统，分页查询目的避免数据一次全量加载内存，数据分多次查询，查询一次处理一次。

步骤S104，若确定结构化查询语言语句不属于分页查询类别，则判断结构化查询语言语句中代码数据是否满足预设数据正常条件。预设数据正常条件至少包括结构化查询语言语句中的选择标准代码关键字存在查询条件。

本实施例中，若结构化查询语言语句属于分页查询类别则代表结构化查询语言语句不存在异常，该异常指会导致查询大结果集的异常。选择标准代码关键字为where代码关键字，用于规定选择的标准。

预设数据正常条件与结构化查询语言语句中代码数据的代码特征相关，包括where代码关键字存在查询条件、查询动作、集合判断动作等。

where代码关键字存在查询条件时，一般不会出现where 1＝1，这种条件缺失情况，where关键字之后可能会存在and、＞、＜等字符。

步骤S105，若确定结构化查询语言语句中代码数据不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

异常语句指会造成查询大结果集异常的SQL语句。

本实施例的异常数据确定方法，通过静态解析扫描应用软件的源代码文件，对获取到的所有结构化查询语言语句进行是否属于分页查询类别的判定，同时，若确定结构化查询语言语句不属于分页查询类别，则进一步判断结构化查询语言语句中代码数据是否满足预设数据正常条件，如选择标准代码关键字存在查询条件。通过分页查询类别和选择标准代码关键字存在查询条件的双重判断，囊括了不属于分页查询类别的异常情况以及条件查询为空时出现的异常情况，从而提高了确定异常的准确性。

图3为本申请提供的异常数据确定方法的流程示意图二，如图3所示，本实施例提供的异常数据确定方法，是在本申请上一实施例提供的异常数据确定方法的基础上，进行了进一步的细化。则本实施例提供的异常数据确定方法包括以下步骤。

步骤S201，获取应用软件的源代码文件。

本实施例中，步骤201的实现方式与上一实施例的步骤101的实现方式类似，在此不再一一赘述。

步骤S202，去除可扩展标记语言XML文件中的注释代码，以获取结构化查询语言语句对应的命名空间和唯一编码。

本实施例中，可扩展标记语言XML文件中存在开发人员编写代码时标注的注释代码，在去除注释代码后，可以降低注释代码的干扰，以确定结构化查询语言语句对应的命名空间和唯一编码。结构化查询语言语句对应的命名空间用于避免唯一编码(如类型名称、实体集、函数等)出现名称冲突，唯一编码(英文全称为：Identity Document，英文简称为：ID)用于标识结构化查询语言语句。

通过结构化查询语言语句对应的命名空间和唯一编码可以快速查找该结构化查询语言语句。

可选的，本实施例中，S202之前还包括：

判断源代码文件中是否存在结构化查询语言拦截器。

若确定不存在结构化查询语言拦截器，则执行对可扩展标记语言XML文件进行解析处理的步骤。

若确定存在结构化查询语言拦截器，则确定源代码文件中不存在异常语句。

判断源代码文件中是否存在结构化查询语言拦截器可以通过源代码文件中是否包含拦截器对应的特定代码，若包含拦截器对应的特定代码则代表存在结构化查询语言拦截器。

当存在结构化查询语言拦截器时，代表源代码文件中不存在异常语句，即不会造成查询大结果集异常。当不存在结构化查询语言拦截器时，则代表源代码文件中可能存在异常语句，需要进一步确定。

步骤S203，根据命名空间和唯一编码从可扩展标记语言XML文件中扫描到对应非完整语句。其中，非完整语句为结构化查询语言语句的部分语句。

本实施例中，由于语句的特性，一般存在嵌入的数据，该数据实际位置在其他位置处，并通过包含代码关键字进行指引。因而，首先通过命名空间和唯一编码确定对应非完整语句。

步骤S204，根据非完整语句中的包含代码关键字确定非完整语句对应的其他数据。

本实施例中，通过包含代码关键字进行指引从而确定嵌入的其他数据。包含代码关键字为include如include refid。

步骤S205，将非完整语句和其他数据进行整合，以生成对应结构化查询语言语句。

在确定结构化查询语言语句后，可以分成多次扫描和确定是否异常，因而，可以针对每个结构化查询语言语句进行重复分析判断，从而避免造成重复确定异常的问题。

步骤S206，判断各结构化查询语言语句是否属于分页查询类别。

本实施例中，步骤206的实现方式与上一实施例的步骤103的实现方式类似，在此不再一一赘述。

可选的，本实施例中，S206可以具体为：

判断各结构化查询语言语句是否包括分页查询对应的代码。

若结构化查询语言语句包括分页查询对应的代码，则确定对应结构化查询语言语句属于分页查询类别。

分页查询对应的代码如limit关键字，或其他相关代码。

步骤S207，若确定结构化查询语言语句不属于分页查询类别，则判断结构化查询语言语句中代码数据是否满足预设数据正常条件。

本实施例中，步骤207的实现方式与上一实施例的步骤104的实现方式类似，在此不再一一赘述。

可选的，本实施例中，针对预设数据正常条件为结构化查询语言语句中的选择标准代码关键字存在查询条件时，S207中判断结构化查询语言语句中代码数据是否满足预设数据正常条件的流程，可以具体为：

去除结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句。

从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件。

检查代码为if test，用来检测某个条件是否成立。去除结构化查询语言语句中iftest代码拼接的语句，即假设if test代码拼接的语句中查询条件为空，此时，对剩余语句判断代码关键字是否存在查询条件。去除if test代码拼接的语句可以降低后续确定流程的干扰，提高确定效率。

可选的，本实施例中，去除结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句的流程可以具体为：

按照检查代码对应的预设起始字符以及预设结束字符提取结构化查询语言语句中检查代码拼接的语句。

去除检查代码拼接的语句，生成对应剩余语句。

if test代码中，如<if test></if><isNotEmpty></isNotEmpty>等类似if else代码，都是成对存在的，预设起始字符可以设为<，预设结束字符可以设为</，通过识别“<”和“</”特殊字符识别if test语句的开始和结束。

具体提取方式可以采用如下方式：

通过计数和入栈出栈的方式识别一个完整的if test语句，例如定义计数count＝0，开始标记是false，当扫描到“<”字符，则开始计数count＝count+1，并使得标记变成true，之后，若扫描到“</”字符则计数count＝count-1。此时，标记是true，且count＝0时，说明配对成功，去除该if test语句，重置count＝0，开始标记为false，进行下一次循环查找。

若扫描到“<”字符，则继续计数count＝count+1，并判断标记是否为true，若不是，则设置标记变成true，并继续扫描。若是，则继续扫描。扫描到不同符号的处理方式与上述处理方式相同，在此不再赘述。

可选的，本实施例中，从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件的流程可以具体为：

判断剩余语句中是否存在多个选择标准代码关键字。

若确定剩余语句中存在多个选择标准代码关键字，则查找排序最后的选择标准代码关键字。

判断排序最后的选择标准代码关键字之后的代码数据中是否存在预设查询字符。

若确定排序最后的选择标准代码关键字之后的代码数据中存在预设查询字符，则确定排序最后的选择标准代码关键字存在查询条件。

判断是否存在查询条件，比如可以判断是否传参，参数中是否有预设查询字符如“$”或“#”字符，存在则确定存在查询条件。同时，还可以去除区分度不明显的字段，例如del_flag等，原因是类似字段即使传参，查询结果集还是很大。

步骤S208，若确定结构化查询语言语句中代码数据不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

可选的，本实施例中，预设数据正常条件还包括以下一个或多个：

结构化查询语言语句中集合判断动作对应的代码符合集合判断动作对应的预设代码格式。集合判断动作对应的代码一般称作集合判断方法，该集合判断方法具有预设的格式和规则。若集合判断方法采用字符串判断方法，则会导致where条件进入foreach语句分支，导致语句出现异常。foreach语句为数组或对象集合中的每个元素重复一个嵌入语句组。

结构化查询语言语句中查询动作仅查询一条数据，如采用count(*)、sum、avg、max等的查询，仅查询一条数据。

结构化查询语言语句中查询动作对应待查询表格的数据量小于预设数据量阈值。

若确定结构化查询语言语句中代码数据不满足预设数据正常条件，则确定结构化查询语言语句为异常语句，包括：

若确定结构化查询语言语句中代码数据都不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

本实施例中，若都不满足预设数据正常条件，则代表结构化查询语言语句为异常语句，若满足部分预设数据正常条件，则可能需要进一步判断，如仅结构化查询语言语句中查询动作仅查询一条数据这一条件不满足则结构化查询语言语句可以初步确定为正常语句，若这一条件之外的其他条件不满足，则可以判定为异常。

为了进一步的说明本实施例的异常数据确定方法，下面将结合图4进行进一步说明。

本实施例的异常数据确定方法支持平台扫描和IDE(英文全称为：IntegratedDevelopment Environment，中文为：集成开发环境)插件扫描两种扫描。

平台扫描流程如下：

流水线推送扫描任务或自建扫描任务，后台系统自动扫描，识别异常SQL，如有问题则在网页前端展示，开发人员登录系统进行查询，并分析整改。

IDE插件扫描流程如下：

开发人员打开IDE开发工具，选择待扫描的代码工程或某个文件，点击“扫描”按钮，开发工具自动进行扫描，识别异常SQL，并在控制台展示结果，如有异常SQL，则分析整改。

平台扫描和IDE插件扫描区别：

相同点：都可以进行异常SQL识别，并对结果展示

不同点：平台扫描需要推送扫描任务或自建扫描任务，并且需登录系统查看扫描结果，IDE插件扫描在开发人员本地扫描，且扫描结果可以直接在IDE控制台查看。除此之外，平台扫描一般是在开发完成后，推送扫描，IDE插件扫描可以在开发阶段随时扫描，扫描更方便。两种扫描有各自的使用场景，满足各种扫描需求。

通常情况下未分页查询的SQL语句都认为是异常的SQL语句，但是一个系统中未分页的SQL语句特别多，全部扫描出来，让开发人员进行分析，工作量是非常巨大的。通过历次大结果集事件分析，原因都是参数为空，缺失where条件，从而导致全表扫描，最终导致内存溢出，本实施例的核心通过代码特征分析，识别可能出现where条件缺失的问题代码，从而避免查询大结果集。

目前软件开发中，SQL语句可写在XML中或通过注解实现，通过注解实现的SQL简单且不存在缺失where条件的情况。在XML中SQL，由于查询条件复杂，为实现一条查询语句动态拼接不同的参数，一般情况，会使用if else方式判断进行拼接查询条件，在参数全为空的时候，拼接where条件缺失，会出现where1＝1的错误情况。

本实施例的异常数据确定方法如图4所示，具体流程如下：

1)读取应用软件的源代码文件，识别是否存在SQL拦截器即图中的SQL拦截框架，若存在，则不存在异常，扫描结束，若不存在，则进行下一步。

2)解析源代码文件中的XML文件，解析过程去掉注释代码，获取每个SQL对应的命名空间和SQL的ID，根据命名空间和SQL的ID查找对应SQL，同时根据include refid，将include代码整合到一个对应SQL中。

3)根据当前扫描系统英文名、命名空间和SQL的ID判断当前SQL语句是否以前扫描了，如已经扫描过，则确定该SQL语句不是异常SQL语句，避免重复分析。

4)判断SQL语句是否为分页查询类别，如SQL语句已分页则不存在异常，未分页则进行后续检查。

5)判断SQL语句中集合判断方法是否正确，如不正确，则是异常SQL语句，如正确，则继续进行检查。

6)判断SQL语句中查询的方法是否是类似count(*)、sum、avg、max等的查询，该类型的查询只查询一条数据，不存在异常，如不是该类型的查询，则继续进行检查。

7)判断SQL语句查询的表是否涉及大表，如不涉及，则SQL语句不存在异常，涉及则继续进行检查。

8)去除SQL中类似<if test拼接的语句，并查找where关键字，如果涉及多处where，则查找最后一个where，如果没有where，则说明没有查询条件，则是异常SQL。

同时，进一步判断where条件之后是否传参来判断是否存在查询条件，如果未传参，则认为是异常SQL，如有参数，则没有异常，扫描结束。判断是否传参方法：参数中是否有“$”或“#”字符。

本实施例的异常数据确定方法，通过静态代码扫描的方式，识别所有的可能导致大结果集的异常SQL，以及写法错误的SQL语句，在投产前，开发人员对异常SQL进行分析并采用分页、参数非空判断、修改集合判断方法等方式进行整改，避免产生查询大结果集问题。

图5为本申请提供的异常数据确定装置的结构示意图，如图5所示，本实施例中，该异常数据确定装置300可以设置在电子设备中，异常数据确定装置300包括：

获取模块301，用于获取应用软件的源代码文件。源代码文件包括可扩展标记语言XML文件。应用软件的功能包括查询数据库存储的数据。

解析模块302，用于对可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句。

第一判断模块303，用于判断各结构化查询语言语句是否属于分页查询类别。

第二判断模块304，用于若确定结构化查询语言语句不属于分页查询类别，则判断结构化查询语言语句中代码数据是否满足预设数据正常条件。预设数据正常条件至少包括结构化查询语言语句中的选择标准代码关键字存在查询条件。

确定模块305，用于若确定结构化查询语言语句中代码数据不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

本实施例提供的异常数据确定装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。

本申请提供的异常数据确定装置在上一实施例提供的异常数据确定装置的基础上，对异常数据确定装置进行了进一步的细化，则异常数据确定装置300包括：

可选的，本实施例中，解析模块302具体用于：

去除可扩展标记语言XML文件中的注释代码，以获取结构化查询语言语句对应的命名空间和唯一编码。根据命名空间和唯一编码从可扩展标记语言XML文件中扫描到对应非完整语句。非完整语句为结构化查询语言语句的部分语句。根据非完整语句中的包含代码关键字确定非完整语句对应的其他数据。将非完整语句和其他数据进行整合，以生成对应结构化查询语言语句。

可选的，本实施例中，第一判断模块303具体用于：

判断各结构化查询语言语句是否包括分页查询对应的代码。若结构化查询语言语句包括分页查询对应的代码，则确定对应结构化查询语言语句属于分页查询类别。

可选的，本实施例中，第二判断模块304在判断结构化查询语言语句中代码数据是否满足预设数据正常条件时，具体用于：

去除结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句。从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件。

可选的，本实施例中，第二判断模块304在去除结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句时，具体用于：

按照检查代码对应的预设起始字符以及预设结束字符提取结构化查询语言语句中检查代码拼接的语句。去除检查代码拼接的语句，生成对应剩余语句。

可选的，本实施例中，第二判断模块304在从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件时，具体用于：

判断剩余语句中是否存在多个选择标准代码关键字。若确定剩余语句中存在多个选择标准代码关键字，则查找排序最后的选择标准代码关键字。判断排序最后的选择标准代码关键字之后的代码数据中是否存在预设查询字符。若确定排序最后的选择标准代码关键字之后的代码数据中存在预设查询字符，则确定排序最后的选择标准代码关键字存在查询条件。

可选的，本实施例中，预设数据正常条件还包括以下一个或多个：

结构化查询语言语句中集合判断动作对应的代码符合集合判断动作对应的预设代码格式。

结构化查询语言语句中查询动作仅查询一条数据。

结构化查询语言语句中查询动作对应待查询表格的数据量小于预设数据量阈值。

确定模块305具体用于：

若确定结构化查询语言语句中代码数据都不满足预设数据正常条件，则确定结构化查询语言语句为异常语句。

可选的，本实施例中，异常数据确定装置300还包括：

第三判断模块，用于判断源代码文件中是否存在结构化查询语言拦截器。若确定不存在结构化查询语言拦截器，则执行对可扩展标记语言XML文件进行解析处理的步骤。若确定存在结构化查询语言拦截器，则确定源代码文件中不存在异常语句。

本实施例提供的异常数据确定装置可以执行图2-图4所示方法实施例的技术方案，其实现原理和技术效果与图2-图4所示方法实施例类似，在此不再一一赘述。

根据本申请的实施例，本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

如图6所示，图6是本申请提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：处理器401和存储器402。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的异常数据确定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的异常数据确定方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的异常数据确定方法对应的程序指令/模块(例如，附图5所示的获取模块301、解析模块302、第一判断模块303、第二判断模块304和确定模块305)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的异常数据确定方法。

同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例的异常数据确定方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请实施例的其它实施方案。本申请旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种异常数据确定方法，其特征在于，包括：

获取应用软件的源代码文件；所述源代码文件包括可扩展标记语言XML文件；所述应用软件的功能包括查询数据库存储的数据；

对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；

判断各结构化查询语言语句是否属于分页查询类别；

若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；

若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

2.根据权利要求1所述的方法，其特征在于，所述对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句，包括：

去除所述可扩展标记语言XML文件中的注释代码，以获取结构化查询语言语句对应的命名空间和唯一编码；

根据所述命名空间和所述唯一编码从可扩展标记语言XML文件中扫描到对应非完整语句；所述非完整语句为结构化查询语言语句的部分语句；

根据非完整语句中的包含代码关键字确定非完整语句对应的其他数据；

将所述非完整语句和所述其他数据进行整合，以生成对应结构化查询语言语句。

3.根据权利要求1所述的方法，其特征在于，所述判断各结构化查询语言语句是否属于分页查询类别，包括：

判断各结构化查询语言语句是否包括分页查询对应的代码；

若结构化查询语言语句包括分页查询对应的代码，则确定对应结构化查询语言语句属于分页查询类别。

4.根据权利要求1所述的方法，其特征在于，所述判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件，包括：

去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句；

从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件。

5.根据权利要求4所述的方法，其特征在于，所述去除所述结构化查询语言语句中检查代码拼接的语句，生成对应剩余语句，包括：

按照检查代码对应的预设起始字符以及预设结束字符提取所述结构化查询语言语句中检查代码拼接的语句；

去除检查代码拼接的语句，生成对应剩余语句。

6.根据权利要求4所述的方法，其特征在于，所述从剩余语句中查找选择标准代码关键字，并判断选择标准代码关键字是否存在查询条件，包括：

判断所述剩余语句中是否存在多个选择标准代码关键字；

若确定所述剩余语句中存在多个选择标准代码关键字，则查找排序最后的选择标准代码关键字；

判断排序最后的选择标准代码关键字之后的代码数据中是否存在预设查询字符；

若确定排序最后的选择标准代码关键字之后的代码数据中存在预设查询字符，则确定排序最后的选择标准代码关键字存在查询条件。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述预设数据正常条件还包括以下一个或多个：

所述结构化查询语言语句中集合判断动作对应的代码符合集合判断动作对应的预设代码格式；

所述结构化查询语言语句中查询动作仅查询一条数据；

所述结构化查询语言语句中查询动作对应待查询表格的数据量小于预设数据量阈值；

所述若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句，包括：

若确定所述结构化查询语言语句中代码数据都不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述可扩展标记语言XML文件进行解析处理之前还包括：

判断所述源代码文件中是否存在结构化查询语言拦截器；

若确定不存在结构化查询语言拦截器，则执行所述对所述可扩展标记语言XML文件进行解析处理的步骤；

若确定存在结构化查询语言拦截器，则确定源代码文件中不存在异常语句。

9.一种异常数据确定装置，其特征在于，包括：

获取模块，用于获取应用软件的源代码文件；所述源代码文件包括可扩展标记语言XML文件；所述应用软件的功能包括查询数据库存储的数据；

解析模块，用于对所述可扩展标记语言XML文件进行解析处理，以获取所有结构化查询语言语句；

第一判断模块，用于判断各结构化查询语言语句是否属于分页查询类别；

第二判断模块，用于若确定所述结构化查询语言语句不属于分页查询类别，则判断所述结构化查询语言语句中代码数据是否满足预设数据正常条件；所述预设数据正常条件至少包括所述结构化查询语言语句中的选择标准代码关键字存在查询条件；

确定模块，用于若确定所述结构化查询语言语句中代码数据不满足预设数据正常条件，则确定所述结构化查询语言语句为异常语句。

10.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8任一项所述的异常数据确定方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的异常数据确定方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的异常数据确定方法。