CN113760945A - 一种审核sql语句的方法及装置 - Google Patents
一种审核sql语句的方法及装置 Download PDFInfo
- Publication number
- CN113760945A CN113760945A CN202010802592.4A CN202010802592A CN113760945A CN 113760945 A CN113760945 A CN 113760945A CN 202010802592 A CN202010802592 A CN 202010802592A CN 113760945 A CN113760945 A CN 113760945A
- Authority
- CN
- China
- Prior art keywords
- sql statement
- determining
- sql
- abnormal
- auditing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000002159 abnormal effect Effects 0.000 claims abstract description 141
- 238000012550 audit Methods 0.000 claims abstract description 59
- 238000005457 optimization Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract description 14
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000013515 script Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种审核SQL语句的方法及装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定待审核的至少一个SQL语句；根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出与所述第一SQL语句对应的提示信息。该实施方式实现了SQL语句的自动化审核，提高了SQL语句的审核效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种审核SQL语句的方法及装置。
背景技术
随着大数据的蓬勃发展，由Hive SQL组成的大数据任务，承载了越来越复杂的业务逻辑。Hive SQL的性能会直接影响执行业务方法时的资源消耗，因此，对Hive SQL的审核对提高业务性能尤为重要。
目前，对于Hive SQL的审核还停留在人工审核阶段，即研发或测试人员根据自身经验，对Hive SQL进行逐个审核。这种人工审核方式需要消耗较高的人力成本，并且降低了Hive SQL的审核效率。
发明内容
有鉴于此，本发明实施例提供一种审核SQL语句的方法及装置，实现了SQL语句的自动化审核，从而降低了SQL语句审核过程中的人力成本，提高了SQL语句的审核效率。并且，通过输出与待优化的第一SQL语句对应的提示信息，便于根据提示信息快速定位待优化的第一SQL语句，进而便于对第一SQL进行优化。
为实现上述目的，根据本发明实施例的一个方面，提供了一种审核SQL语句的方法。
本发明实施例的一种审核SQL语句的方法包括：确定待审核的至少一个SQL语句；
根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；
当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出与所述第一SQL语句对应的提示信息。
可选地，
所述确定是否存在与异常作业，以及所述从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，包括：
根据所述执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业；
确定构成所述异常作业的多个任务，当所述多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句。
可选地，
所述从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，包括：
确定构成所述异常作业的多个任务，当所述多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
可选地，该方法还包括：
根据所述第一异常任务和/或第二异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量、运算符和/或函数，并输出关于所述待优化的变量、运算符和/或函数的优化建议。
可选地，该方法还包括：
根据配置文件中的至少一个审核项目，对所述至少一个SQL语句进行审核，以确定所述至少一个SQL语句中是否存在待完善的第二SQL语句；
当存在所述第二SQL语句时，输出所述第二SQL语句中关于所述审核项目的待完善提示。
可选地，
所述至少一个审核项目包括：规范审核项目；所述根据配置文件，对所述至少一个SQL语句进行审核，包括：
采用正则表达式确定所述至少一个SQL语句中是否存在与所述规范审核项目相匹配的字符串；如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
可选地，
所述至少一个审核项目包括语法审核项目；所述根据配置文件，对所述至少一个SQL语句进行审核，包括：
对至少一个SQL语句进行语法解析，生成所述至少一个SQL语句对应的抽象语法树；
根据所述抽象语法树以及所述配置文件，确定所述至少一个SQL语句是否存在与所述语法审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
可选地，
对至少一个SQL语句中的注释信息和/或空白符进行预处理，并将预处理后的所述至少一个SQL语句作为所述待审核的至少一个SQL语句。
为实现上述目的，根据本发明实施例的又一方面，提供了一种审核SQL语句的装置。
本发明实施例的一种审核SQL语句的装置包括：确定模块和审核模块；其中，
所述确定模块，用于确定待审核的至少一个SQL语句；
所述审核模块，用于根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出所述第一SQL语句对应的提示信息。
可选地，
所述审核模块，用于根据所述执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业。
可选地，所述审核模块，用于确定构成所述异常作业的多个任务，当所述多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句；当所述多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
可选地，
所述审核模块，用于根据所述异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量和/或SQL连接运算符，并输出关于所述待优化的变量和/或SQL连接运算符的优化建议。
为实现上述目的，根据本发明实施例的又一方面，提供了一种审核SQL语句的电子设备。
本发明实施例的一种审核SQL语句的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种审核SQL语句的方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。
本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种审核SQL语句的方法。
上述发明中的一个实施例具有如下优点或有益效果：确定待审核的至少一个SQL语句后，根据执行该SQL语句得到的执行日志，确定是否存在异常作业，以对该至少一个SQL语句进行审核。当存在异常作业时，确定该异常作业对应的第一SQL语句，并输出与第一SQL语句对应的提示信息。由此实现了SQL语句的自动化审核，从而降低了SQL语句审核过程中的人力成本，提高了SQL语句的审核效率。并且，通过输出与待优化的第一SQL语句对应的提示信息，便于根据提示信息快速定位待优化的第一SQL语句，进而便于对第一SQL进行优化。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种审核SQL语句的方法的主要步骤的示意图；
图2是根据本发明实施例的另一种审核SQL语句的方法的主要步骤的示意图；
图3是根据本发明实施例的又一种审核SQL语句的方法的主要步骤的示意图；
图4是根据本发明实施例的一种审核SQL语句的装置的主要模块的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
如图1所示，本发明实施例的一种审核SQL语句的方法主要包括以下步骤：
步骤S101：确定待审核的至少一个SQL语句。
在本发明实施例中，SQL语句可以为Hive SQL语句。本发明实施例提供的审核SQL语句的方法可以对预存脚本中的SQL语句进行审核，也可以对通过交互界面获取的SQL语句进行审核。例如，预存的脚本可能是未经审核、但已在业务平台运行的脚本，这些预存脚本中的SQL语句可能存在不规范和/或低效的写法，通过本发明实施例提供的审核SQL语句的方法，可以对这些预存脚本中的SQL语句进行自动审核。再比如，开发人员可以通过交互界面输入Hive SQL语句，本发明实施例提供的审核SQL语句的方法可以对通过交互界面获取的Hive SQL语句进行自动审核。
为了便于提高SQL语句审核的效率和准确性，在本发明一个实施例中，在对SQL语句进行审核之前，可对SQL语句中的注释信息和/或空白符进行预处理，然后将预处理后的SQL语句作为待审核的SQL语句。以对通过交互界面获取到的SQL语句进行预处理为例，由于注释信息不影响SQL语句的执行，因此可删除SQL语句中的注释信息，以提高SQL语句审核的效率和准确性。另外，针对SQL语句中的回车符、空格符和制表符等空白符，可以将多个连续的空白符用一个空格或其他自定义字符替代，以提高SQL语句审核的效率和准确性。
步骤S102：根据运行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核。
步骤S103：当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出与所述第一SQL语句对应的提示信息。
其中，提示信息可以为对第一SQL语句进行高亮显示，或者与第一SQL语句存在对应的异常作业相关的语句。在本发明实施例中，提示信息用于提示开发和测试人员关注第一SQL语句的异常，其形式可以是多种多样的，不限于上述两种形式。
值得一提的是，在本发明实施例中，可以在开发阶段执行SQL语句后，就对执行SQL语句得到的执行日志进行分析，而不必在SQL语句上线后，才根据执行SQL语句而得到执行日志对其进行审核，以将SQL语句的审核前置到开发阶段，从而便于提早发现SQL语句中的问题，减少人力资源和机器资源的浪费。
下面以Hive SQL为例，对本发明实施例提供的SQL语句的审核方法进行详细说明。在执行Hive SQL语句后，得到的执行日志可以包括系统日志和作业(job)日志。其中，系统日志记录了Hive的运行情况和错误状况等，job日志记录了Hive中job执行的历史过程，包括job个数，job的执行时长等信息。
在确定异常作业对应的第一SQL语句时，可根据SQL的执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业。其中，对于构成所述异常作业的多个任务，当这多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句。对于构成所述异常作业的多个任务，当这多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
在执行Hive SQL语句时，每一个Hive SQL语句的执行均会生成相应的MapReduce任务，而每个MapReduce任务均会被初始化为一个job(作业)。因此，可根据Hive SQL语句对应的作业日志，获取job的基本信息，并统计job的个数和每个job的执行时长等。然后根据job的执行时长进行排序，以确定执行时长大于时长阈值的异常作业，一般来说，时长阈值可以为多个作业的执行时长的平均值的n倍，其中，n可以自定义，例如，n＝1。若作业的执行时长大于时长阈值，则说明该作业对应的SQL语句可能存在问题，才导致了该作业的执行时长过长，如存在数据倾斜或低效能的写法等。为了确定存在问题的SQL语句，可进一步根据job日志和执行计划信息，确定构成异常作业的任务。
对于构成异常作业的且串行执行的任务，可根据执行日志确定每个任务的消耗时长，然后确定消耗时长占异常作业的执行时长的比例，当该比例大于第一阈值时，则说明该消耗时长所对应的任务存在异常，即该任务为第一异常任务，则将该第一异常任务对应的SQL语句作为异常作业对应的第一SQL语句。可以理解的是，对于消耗时长占异常作业的执行时长的比例大于第一阈值的一个或多个任务，均可将其称为第一异常任务，也就是说，第一异常任务可以为一个或多个。其中，在确定第一异常任务时，可计算任务的消耗时长对应于作业的执行时长的占比，然后将占比进行由大到小进行排序，根据排序结果，确定排在前k1个的占比对应的任务为第一异常任务。其中，k1可以自定义，例如，当k1为1时，则将消耗时长占执行时长比例最大的作业作为第一异常作业。
另外，对于构成异常作业且并行执行的任务，也可根据执行日志确定每个任务的消耗时长，然后分别确定作业的执行时长与各个任务的消耗时长之间的差值，当该差值小于第二阈值时，将相应消耗时长所对应的任务作为第二异常任务，并将该第二异常任务对应的SQL语句作为异常作业对应的第一SQL语句。可以理解的是，与第一异常任务类似的，对于消耗时长与执行时长的差值小于第二阈值的一个或多个任务，均可将其称为第二异常任务，也就是说，第二异常任务可以为一个或多个。其中，任务的消耗时长与作业的执行时长之间的差值越小，说明单个任务的消耗时长越大，则说明该任务对应的SQL语句可能存在低效能写法，因此将该任务对应的SQL语句作为异常作业对应的第一SQL语句。
在确定出与异常作业对应的第一SQL语句之后，还可根据第一异常任务和/或第二异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量、运算符和/或函数，并输出关于所述待优化的变量、运算符和/或函数的优化建议。
例如，当采用left join关联多个表时，将导致相应任务的消耗时长较长。在此情况下，第一SQL语句中的待优化运算符即为left join，根据确定出的待优化运算符，可输出相应的优化建议。例如，针对left join，可输出增加索引、优化SQL和/或优化表结构的优化建议。另外，当存在某一个任务的消耗时长特别长，而其他任务的消耗时长均很短时，很可能是由于数据倾斜导致的。在此情况下，第一SQL语句中待优化的连接符即为聚合或join等连接符，且该连接符连接的表或数据集等变量即为第一SQL语句中待优化的变量。在此情况下，可输出关于待优化的表或数据集等变量中key分布情况的优化建议。例如，当导致数据倾斜的key为少数几个时，输出的优化建议为：将导致数据倾斜的key进行过滤。或者，若由聚合类(局部聚合或全局聚合)操作而发生数据倾斜时，输出的优化建议为：对于局部聚合，可为每个key打上1～m个随机数，然后再进行聚合；对于全局聚合，可对局部聚合的结果去掉打上随机数的前缀，再进行全局聚合。另外，当确定出第一SQL语句中存在待优化的函数时，可相应输出该函数的优化建议。
另外，对于SQL语句的系统日志，可对错误状况进行高亮展示，以对Hive运行中的错误状况进行提示，从而便于开发或检测人员快速了解错误状况。
根据上述实施例，如图2所示，本发明实施例提供的一种审核SQL语句的方法，可以包括以下步骤：
步骤S201：获取至少一个SQL语句，对获取的至少一个SQL语句中的注释信息和/或空白符进行预处理，并将预处理后的所述至少一个SQL语句作为待审核的至少一个SQL语句。
在此步骤中，可通过扫描已存在的脚本或通过交互界面获取SQL语句。
步骤S202：根据执行所述至少一个SQL语句得到的执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为异常作业。
步骤S203：对于构成所述异常作业的且串行执行的任务：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为与异常作业对应的第一SQL语句。
步骤S204：对于构成所述异常作业的且并行执行的任务：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值，并将所述第二异常任务对应的SQL语句作为与异常作业对应的第一SQL语句。
其中，上述步骤S203和步骤S204的执行顺序不分先后，即可以先执行步骤S203，后执行步骤S204；也可以先执行步骤S204，后执行S203；也可以同时执行S203和步骤S204。
步骤S205：根据所述第一异常任务和/或第二异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量、运算符和/或函数。
步骤S206：输出与所述第一SQL语句对应的提示信息、以及关于所述待优化的变量、运算符和/或函数的优化建议。
在本发明另一个实施例中，在执行SQL语句之前，还可根据配置文件对SQL进行审核。具体地，可根据配置文件中的至少一个审核项目，对所述至少一个SQL语句进行审核，以确定所述至少一个SQL语句中是否存在待完善的第二SQL语句；当存在所述第二SQL语句时，输出所述第二SQL语句中关于所述审核项目的待完善提示。
其中，配置文件中的审核项目可以是关于基本规范和语法的审核项目。待完善的第二SQL语句可以是需修改和待优化的SQL语句。具体地，在本发明一个实施例中，当配置文件中的至少一个审核项目包括规范审核项目时，可采用正则表达式确定所述至少一个SQL语句中、是否存在与所述规范审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
另外，配置文件还可包括第二SQL语句对应的完善等级，当待完善等级较高时(如为严重等级)，则说明第二SQL语句的问题较为严重，需要对其进行修改，此时可输出第二SQL语句的修改提示作为待完善提示；若待完善等级较低时(如为提醒等级)，则说明第二SQL语句的问题不是特别严重，对其进行优化即可，此时可输出第二SQL语句的优化提示作为待完善提示。
当配置文件中包括规范审核项目时，配置文件可以包括下表1所示的各个规范审核项目：
表1
其中，表命名规范可以是企业统一制定的规范，由此可以实现企业内部的规范统一。禁止的group by数字的写法可以如下所示：select a,b,c from tb1group by 1,2,3。在配置表1时，可采用相应正则表达式分别表征上述不同的规范审核项目。则在对SQL语句中的规范审核项目进行审核时，可采用正则表达式确定待审核的SQL语句中是否存在与上述表1中的规范审核项目对应相匹配的字符串，如果是，则说明待审核的SQL语句中存在不规范的写法，此时根据相匹配的字符串对应的待完善级别，相应输出修改提示或优化提示，以使开发或测试人员根据修改提示或优化提示快速定位至不规范的写法，便于后续开发或测试人员对不规范的写法进行修改。可以理解的是，当同时输出修改提示和优化提示时，可采用不同的展示方式展示修改提示和优化提示。例如，采用红色高亮显示需要修改的SQL语句，以作为修改提示，采用黄色高亮显示需要优化的SQL语句，以作为优化提示。
另外，本发明实施例提供的SQL语句的审核方法还能对SQL语句的性能进行审核，对SQL语句的性能审核主要是通过对SQL语句的语法进行审核来实现的。在此情况下，配置文件中的至少一个审核项目包括语法审核项目；在对SQL语句进行审核时，可对至少一个SQL语句进行语法解析，生成所述至少一个SQL语句对应的抽象语法树；然后根据所述抽象语法树以及所述配置文件，确定所述至少一个SQL语句是否存在与所述语法审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
当配置文件包括语法审核项目时，配置文件可以包括如下表2所示的各个语法审核项目：
表2
在本发明实施例中，可采用底层通过antlr4实现、引擎原生的SQL解析器对待审核的SQL语句进行解析，生成SQL语句对应的抽象语法树。在该抽象语法树的基础上，根据上述表2中语法审核项目的需求进一步对该抽象语法树进行处理，分离出关键信息，如where、join、group by和列信息等，以生成新的抽象语法树。然后，语法规则审核器可根据表2中制定好的语法审核项目，对新的抽象语法树进行分析对比，以确定待审核的SQL语句中是否存在与语法审核项目相匹配的字符串，如果是，则说明待审核的SQL语句中存在待完善的语法问题，则将存在语法问题的SQL语句作为待修改或待优化的第二SQL语句，并可根据确定出的语法问题的待完善级别，输出相应的修改提示或优化提示。
进一步地，在本发明实施例中，针对待修改或待优化的第二SQL语句，还可输出与规范审核项目和语法审核项目对应的修改建议或优化建议。例如，若SQL语句中缺少区分条件，可能导致计算的数据量增多，降低计算速度，因此，若第二SQL语句中缺少区分条件，则可输出修改建议为：保证where条件中至少存在dp、dt、end_date中任意一个分区条件，以减少数据量，提升计算速度。若第二SQL语句中存在与select*相匹配的字符串，则输出修改建议为：禁用select*，使得只获取必要的字段，以减少读取开销、中间表存储开销和数据整合开销。当第二SQL语句中存在与order by相匹配的字符串时，可输出优化建议为：避免使用order by，建议用sort by替换order by。这是因为order by是全局排序，会占用大量的资源，而sort by是局部排序，与当其与distribute by一起使用时，速度更快。另外，建议第二SQL语句在不会有重复值时使用UNION ALL而不是UNION，这是由于UNION会把两个结果集的所有数据放到临时表中后再进行去重操作，已减少数据量，而UNION ALL不会再对结果集进行去重操作。当第二SQL语句中存在同一个表与多个表相关联的情况时，输出相应的优化建议为：尽量使用相同字段对其进行关联，以减少job数；这是由于当多个表关联(outer join或者inner join)时，如果join的key相同，不管有多少个表，都会合并为一个MapReduce任务，这可能造成一个job的数据量较大，从而导致其执行时长过长。当第二SQL语句中存在与join on相匹配的字符串时，输出的修改建议为：on后必须加上关联条件，以避免出现笛卡尔积的情况，并且，on后关联条件要和join右侧表中的字段相关。若第二SQL语句中同时存在union all和group by，则建议union all在先、group by在后，以减少job数量，从而提升计算速度。当第二SQL语句中存在与distinct相匹配的字符串时，建议用group by代替distinct，以降低数据倾斜的风险。当存在与join操作对应的字符串是，建议将小表放在前面，大表放在后面，这是因为在Reduce阶段，位于Join操作符左边的表的内容会被加载进内存，载入条目较少的表，可以有效减少OOM(out of memory，内存溢出)，该操作可通过设置个参数set hive.auto.convert.join＝true实现。
修改建议或优化建议可以对应配置于配置文件中，在确定出待审核的SQL语句中存在与规范审核项目或语法审核项目相匹配的字符串时，则可相应输出该SQL语句的修改提示/优化提示、以及修改建议/优化建议。并且，配置文件可以数据库表的形式进行存储，配置文件中的各个规范审核项目和语法审核项目是可配置、可扩展的，当存在规范审核项目和语法审核项目的修改或新增等更新情况时，通过更新配置文件即可实现规范审核项目和语法审核项目的更新，以根据更新后的配置文件实现SQL语句的自动化审核。
根据上述实施例，如图3所示，本发明实施例提供的审核SQL语句的方法可以包括以下步骤：
步骤S301：获取至少一个SQL语句，对获取的至少一个SQL语句中的注释信息和/或空白符进行预处理，并将预处理后的所述至少一个SQL语句作为待审核的至少一个SQL语句。
在此步骤中，可通过扫描已存在的脚本或通过交互界面获取SQL语句。
步骤S302：根据配置文件中的规范审核项目，采用正则表达式确定所述至少一个SQL语句中、是否存在与所述规范审核项目相匹配的字符串，如果是，将相匹配的字符串所处的SQL语句确定为待完善的第二SQL语句。
步骤S303：对至少一个SQL语句进行语法解析，生成所述至少一个SQL语句对应的抽象语法树；根据所述抽象语法树以及配置文件中的语法审核项目，确定所述至少一个SQL语句是否存在与所述语法审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句确定为待完善的第二SQL语句。
其中，上述步骤S302和步骤S303的执行顺序不分先后，即可以先执行步骤S302，后执行步骤S303；也可以先执行步骤S303，后执行S302；也可以同时执行S302和步骤S303。
步骤S304：根据执行所述至少一个SQL语句得到的执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为异常作业。
步骤S305：对于构成所述异常作业的且串行执行的任务：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为与异常作业对应的第一SQL语句。
步骤S306：对于构成所述异常作业的且并行执行的任务：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值，并将所述第二异常任务对应的SQL语句作为与异常作业对应的第一SQL语句。
其中，上述步骤S305和步骤S306的执行顺序不分先后，即可以先执行步骤S305，后执行步骤S306；也可以先执行步骤S306，后执行S305；也可以同时执行S305和步骤S306。
步骤S307：根据所述第一异常任务和/或第二异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量、运算符和/或函数。
步骤S308：输出与所述第一SQL语句对应的提示信息、以及关于所述待优化的变量、运算符和/或函数的优化建议。
综上所述，当根据配置文件和执行日志对SQL语句进行自动化审核后，可输出相应的审核结果。审核结果可以包括以下任意一项或多项：扫描的SQL语句的数量、待修改/待优化的SQL语句(上述第一SQL语句和第二SQL语句)的数量、第一SQL语句和第二SQL语句对应的具体代码段，第一SQL语句的异常情况、第二SQL语句所对应的规范审核项目或语法审核项目、与异常作业对应的第一SQL语句以及待完善的第二SQL语句的修改提示和/或优化提示，以及对应的修改建议/优化建议。
根据本发明实施例的一种审核SQL语句的方法可以看出，确定待审核的至少一个SQL语句后，根据执行该SQL语句得到的执行日志，确定是否存在异常作业，以对该至少一个SQL语句进行审核。当存在异常作业时，确定该异常作业对应的第一SQL语句，并输出与第一SQL语句对应的提示信息。由此实现了SQL语句的自动化审核，从而降低了SQL语句审核过程中的人力成本，提高了SQL语句的审核效率。并且，通过输出与待优化的第一SQL语句对应的提示信息，便于根据提示信息快速定位待优化的第一SQL语句，进而便于对第一SQL进行优化。在具体实施过程中发现采用本发明实施例提供的审核SQL语句的方法，对SQL语句进行自动审核，相较于现有技术，审核效率提升了至少4倍。
图4是根据本发明实施例的一种审核SQL语句的装置的主要模块的示意图。
如图4所示，本发明实施例的一种审核SQL语句的装置400包括：确定模块401和审核模块402；其中，
所述确定模块401，用于确定待审核的至少一个SQL语句；
所述审核模块402，用于根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出所述第一SQL语句对应的提示信息。
在本发明一个实施例中，所述审核模块402，用于根据所述执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业；确定构成所述异常作业的多个任务，当所述多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句。
在本发明一个实施例中，所述审核模块402，用于确定构成所述异常作业的多个任务，当所述多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
在本发明一个实施例中，所述审核模块402，用于根据所述异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量和/或SQL连接运算符，并输出关于所述待优化的变量和/或SQL连接运算符的优化建议。
在本发明一个实施例中，所述审核模块402，还用于根据配置文件中的至少一个审核项目，对所述至少一个SQL语句进行审核，以确定所述至少一个SQL语句中是否存在待完善的第二SQL语句；当存在所述第二SQL语句时，输出所述第二SQL语句中关于所述审核项目的待完善提示。
在本发明一个实施例中，当所述至少一个审核项目包括：规范审核项目时；所述审核模块402，用于采用正则表达式确定所述至少一个SQL语句中、是否存在与所述规范审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
在本发明一个实施例中，当所述至少一个审核项目包括：语法审核项目时；所述审核模块402，用于对至少一个SQL语句进行语法解析，生成所述至少一个SQL语句对应的抽象语法树；根据所述抽象语法树以及所述配置文件，确定所述至少一个SQL语句是否存在与所述语法审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
在本发明一个实施例中，所述确定模块401，用于对至少一个SQL语句中的注释信息和/或空白符进行预处理，并将预处理后的所述至少一个SQL语句作为所述待审核的至少一个SQL语句。
根据本发明实施例的一种审核SQL语句的装置可以看出，确定待审核的至少一个SQL语句后，根据执行该SQL语句得到的执行日志，确定是否存在异常作业，以对该至少一个SQL语句进行审核。当存在异常作业时，确定该异常作业对应的第一SQL语句，并输出与第一SQL语句对应的提示信息。由此实现了SQL语句的自动化审核，从而降低了SQL语句审核过程中的人力成本，提高了SQL语句的审核效率。并且，通过输出与待优化的第一SQL语句对应的提示信息，便于根据提示信息快速定位待优化的第一SQL语句，进而便于对第一SQL进行优化。
图5示出了可以应用本发明实施例的一种审核SQL语句的方法或一种审核SQL语句的装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的审核SQL语句的方法一般由服务器505执行，相应地，审核SQL语句的装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括确定模块和审核模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，确定模块还可以被描述为“确定待审核的至少一个SQL语句的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：确定待审核的至少一个SQL语句；根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出与所述第一SQL语句对应的提示信息。
根据本发明实施例的技术方案，确定待审核的至少一个SQL语句后，根据执行该SQL语句得到的执行日志，确定是否存在异常作业，以对该至少一个SQL语句进行审核。当存在异常作业时，确定该异常作业对应的第一SQL语句，并输出与第一SQL语句对应的提示信息。由此实现了SQL语句的自动化审核，从而降低了SQL语句审核过程中的人力成本，提高了SQL语句的审核效率。并且，通过输出与待优化的第一SQL语句对应的提示信息，便于根据提示信息快速定位待优化的第一SQL语句，进而便于对第一SQL进行优化。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (14)
1.一种审核SQL语句的方法，其特征在于，包括：
确定待审核的至少一个SQL语句；
根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；
当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出与所述第一SQL语句对应的提示信息。
2.根据权利要求1所述的方法，其特征在于，所述确定是否存在与异常作业，包括：
根据所述执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业。
3.根据权利要求2所述的方法，其特征在于，所述从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，包括：
确定构成所述异常作业的多个任务，当所述多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句。
4.根据权利要求2所述的方法，其特征在于，所述从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，包括：
确定构成所述异常作业的多个任务，当所述多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
5.根据权利要求3或4所述的方法，其特征在于，还包括：
根据所述第一异常任务和/或第二异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量、运算符和/或函数，并输出关于所述待优化的变量、运算符和/或函数的优化建议。
6.根据权利要求1所述的方法，其特征在于，还包括：
根据配置文件中的至少一个审核项目，对所述至少一个SQL语句进行审核，以确定所述至少一个SQL语句中是否存在待完善的第二SQL语句；
当存在所述第二SQL语句时，输出所述第二SQL语句中关于所述审核项目的待完善提示。
7.根据权利要求6所述的方法，其特征在于，所述至少一个审核项目包括：规范审核项目；所述根据配置文件，对所述至少一个SQL语句进行审核，包括：
采用正则表达式确定所述至少一个SQL语句中是否存在与所述规范审核项目相匹配的字符串；如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
8.根据权利要求6所述的方法，其特征在于，所述至少一个审核项目包括语法审核项目；所述根据配置文件，对所述至少一个SQL语句进行审核，包括：
对至少一个SQL语句进行语法解析，生成所述至少一个SQL语句对应的抽象语法树；
根据所述抽象语法树以及所述配置文件，确定所述至少一个SQL语句是否存在与所述语法审核项目相匹配的字符串，如果是，将所述相匹配的字符串所处的SQL语句作为所述第二SQL语句。
9.根据权利要求1所述的方法，其特征在于，
对至少一个SQL语句中的注释信息和/或空白符进行预处理，并将预处理后的所述至少一个SQL语句作为所述待审核的至少一个SQL语句。
10.一种审核SQL语句的装置，其特征在于，包括：确定模块和审核模块；其中，
所述确定模块，用于确定待审核的至少一个SQL语句；
所述审核模块，用于根据执行所述至少一个SQL语句得到的执行日志，确定是否存在异常作业，以对所述至少一个SQL语句进行审核；当存在所述异常作业时，从所述至少一个SQL语句中确定所述异常作业对应的第一SQL语句，并输出所述第一SQL语句对应的提示信息。
11.根据权利要求10所述的装置，其特征在于，
所述审核模块，用于根据所述执行日志，确定作业的执行时长，将所述执行时长大于时长阈值的作业确定为所述异常作业；确定构成所述异常作业的多个任务，当所述多个任务为串行执行的任务时：根据所述执行日志，确定消耗时长占所述执行时长的比例大于第一阈值的第一异常任务，并将所述第一异常任务对应的SQL语句作为所述第一SQL语句；当所述多个任务为并行执行的任务时：根据所述执行日志，确定第二异常任务，所述第二异常任务的消耗时长与所述执行时长的差值小于第二阈值；将所述第二异常任务对应的SQL语句作为所述第一SQL语句。
12.根据权利要求10所述的装置，其特征在于，
所述审核模块，用于根据所述异常任务对应的执行日志，确定所述第一SQL语句中待优化的变量和/或SQL连接运算符，并输出关于所述待优化的变量和/或SQL连接运算符的优化建议。
13.一种审核SQL语句的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802592.4A CN113760945A (zh) | 2020-08-11 | 2020-08-11 | 一种审核sql语句的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010802592.4A CN113760945A (zh) | 2020-08-11 | 2020-08-11 | 一种审核sql语句的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760945A true CN113760945A (zh) | 2021-12-07 |
Family
ID=78785651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010802592.4A Pending CN113760945A (zh) | 2020-08-11 | 2020-08-11 | 一种审核sql语句的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760945A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160011926A1 (en) * | 2014-07-08 | 2016-01-14 | International Business Machines Corporation | Method for processing data quality exceptions in a data processing system |
| CN106980637A (zh) * | 2016-09-28 | 2017-07-25 | 平安科技（深圳）有限公司 | Sql审核方法和装置 |
| CN107391384A (zh) * | 2017-08-14 | 2017-11-24 | 中国银行股份有限公司 | 一种sql语句检测方法及系统 |
| CN108182215A (zh) * | 2017-12-22 | 2018-06-19 | 微梦创科网络科技（中国）有限公司 | 一种结构化查询语言sql性能统计的方法及装置 |
| CN109271295A (zh) * | 2018-09-19 | 2019-01-25 | 中国民航大学 | 一种云集群环境下的异常作业预测方法 |
| CN109491771A (zh) * | 2018-09-26 | 2019-03-19 | 平安医疗健康管理股份有限公司 | 基于系统性能优化的任务处理方法及相关设备 |
| CN111177181A (zh) * | 2019-12-11 | 2020-05-19 | 天翼电子商务有限公司 | Sql文本审核方法、系统、存储介质及装置 |
| CN111291990A (zh) * | 2020-02-04 | 2020-06-16 | 浙江大华技术股份有限公司 | 一种质量监控处理方法及装置 |
-
2020
- 2020-08-11 CN CN202010802592.4A patent/CN113760945A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160011926A1 (en) * | 2014-07-08 | 2016-01-14 | International Business Machines Corporation | Method for processing data quality exceptions in a data processing system |
| CN106980637A (zh) * | 2016-09-28 | 2017-07-25 | 平安科技（深圳）有限公司 | Sql审核方法和装置 |
| CN107391384A (zh) * | 2017-08-14 | 2017-11-24 | 中国银行股份有限公司 | 一种sql语句检测方法及系统 |
| CN108182215A (zh) * | 2017-12-22 | 2018-06-19 | 微梦创科网络科技（中国）有限公司 | 一种结构化查询语言sql性能统计的方法及装置 |
| CN109271295A (zh) * | 2018-09-19 | 2019-01-25 | 中国民航大学 | 一种云集群环境下的异常作业预测方法 |
| CN109491771A (zh) * | 2018-09-26 | 2019-03-19 | 平安医疗健康管理股份有限公司 | 基于系统性能优化的任务处理方法及相关设备 |
| CN111177181A (zh) * | 2019-12-11 | 2020-05-19 | 天翼电子商务有限公司 | Sql文本审核方法、系统、存储介质及装置 |
| CN111291990A (zh) * | 2020-02-04 | 2020-06-16 | 浙江大华技术股份有限公司 | 一种质量监控处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107644323B (zh) | 一种面向业务流的智能审核系统 | |
| CN111177231A (zh) | 报表生成方法和报表生成装置 | |
| CN109933514B (zh) | 一种数据测试方法和装置 | |
| CN111414376A (zh) | 一种数据预警方法和装置 | |
| CN114091426A (zh) | 一种处理数据仓库中字段数据的方法和装置 | |
| US11442930B2 (en) | Method, apparatus, device and storage medium for data aggregation | |
| CN111435406A (zh) | 一种纠正数据库语句拼写错误的方法和装置 | |
| CN110837356A (zh) | 一种数据处理方法和装置 | |
| CN113900944A (zh) | 一种应用于Flink SQL的逻辑验证方法和装置 | |
| CN109685375A (zh) | 一种基于半结构化文本数据的企业风险规则引擎运算方法 | |
| CN113138974B (zh) | 数据库合规检测的方法和装置 | |
| CN113760945A (zh) | 一种审核sql语句的方法及装置 | |
| CN110688355A (zh) | 变更容器状态的方法和装置 | |
| CN114661747A (zh) | 指标计算方法、装置、存储介质及计算机设备 | |
| US11347802B2 (en) | Query generation using natural language input | |
| CN112579673A (zh) | 一种多源数据处理方法及装置 | |
| CN113760969A (zh) | 一种基于ElasticSearch的数据查询方法和装置 | |
| CN113742321A (zh) | 一种数据更新的方法和装置 | |
| CN113779017A (zh) | 数据资产管理的方法和装置 | |
| CN112988778A (zh) | 一种处理数据库查询脚本的方法和装置 | |
| CN110851438A (zh) | 一种数据库索引优化建议与验证的方法和装置 | |
| CN112783615A (zh) | 一种数据处理任务的清理方法和装置 | |
| CN111127077A (zh) | 一种基于流计算的推荐方法和装置 | |
| CN111858917A (zh) | 文本分类方法和装置 | |
| CN116775030B (zh) | 一种安全基线的创建方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |