CN112445812A - 一种结构化查询语句处理方法及装置 - Google Patents
一种结构化查询语句处理方法及装置 Download PDFInfo
- Publication number
- CN112445812A CN112445812A CN202011374551.6A CN202011374551A CN112445812A CN 112445812 A CN112445812 A CN 112445812A CN 202011374551 A CN202011374551 A CN 202011374551A CN 112445812 A CN112445812 A CN 112445812A
- Authority
- CN
- China
- Prior art keywords
- structured query
- query statement
- rule
- score
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种结构化查询语句处理方法及装置,用以提高结构化查询语句的审核效率、统一化审核标准。方法包括:在接收到外部系统发送的数据查询请求时,获取查询请求中的结构化查询语句;对结构化查询语句进行语法解析,以检测结构化查询语句的语法是否正确;当结构化查询语句的语法正确时,确定结构化查询语句的评分,并将评分结果和触发规则详情返回给外部系统;当评分大于预设评分时,执行结构化查询语句;在结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。采用本申请所提供的方案,提高了结构化查询语句的审核效率,统一化审核标准,并且提升了数据查询效率,保障数据库集群稳定和数据安全。
Description
技术领域
本申请涉及数据库领域,特别涉及一种结构化查询语句处理方法及装置。
背景技术
SQL(Structured Query Language,结构化查询语句)是一种用于管理数据库的编程语言,通常情况下,可以通过结构化查询语句实现数据的存取、查询、更新与删除等功能,在数据查询时,高质量语句比低质量语句的数据查询效率相对较快,并且可以保障数据库性能,同时保证了数据安全。
随着大数据产业在各个行业落地生根,大多数情况下,需要基于海量数据进行数据查询,那么,对于结构化查询语句的质量要求会变得更高。在现有技术中,大多数情况下对于结构化查询语句的审核都采用人工审核的方式,一方面,人工审核不仅成本代价较高,而且审核效率低下;另一方面,由于技术人员水平不一,代码编写风格不统一,同时审核专家的规范标准也不统一,在规范落地和监督约束方面难以把控。
因此,提供一种对结构化查询语句进行评分的方案,有很大的必要性,本申请用于提供一种结构化查询语句处理方法,用以实现对结构化查询语句的智能化评分,从而取代人工审核结构化查询语句的方案,以提高结构化查询语句的审核效率、统一化审核标准,并保障数据库集群稳定和数据安全。
发明内容
本申请实施例的目的在于提供一种结构化查询语句处理方法及装置。
为了解决上述技术问题,本申请的实施例采用了如下技术方案:一种结构化查询语句处理方法,包括:
在接收到外部系统发送的数据查询请求时,获取所述查询请求中的结构化查询语句;
对所述结构化查询语句进行语法解析,以检测所述结构化查询语句的语法是否正确;
当所述结构化查询语句的语法正确时,确定所述结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统;
当评分大于预设评分时,执行所述结构化查询语句;
在所述结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
本申请的有益效果在于:在接收到外部系统发送的数据查询请求时,对查询请求中的结构化查询语句进行语法检查,在语法正确时确定结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统,在评分大于预设评分时执行结构化查询语句,否则,外部系统需要根据评分结果和触发规则详情整改结构化查询语句。从而实现对结构化查询语句语法的自动检查以及智能化评分,并且取代人工审核结构化查询语句的方案,提高了结构化查询语句的审核效率,统一化审核标准,同时,本申请仅执行高评分的结构化查询语句,也提升了数据查询效率,保障数据库集群的稳定和数据安全。
在一个实施例中,对所述结构化查询语句进行解析,包括:
获取所述结构化查询语句中的关键词;
根据所述关键词检测所述结构化查询语句是否有完整的语法结构;
当所述结构化查询语句有完整的语法结构时,确定所述结构化查询语句的语法正确。
在一个实施例中,确定所述结构化查询语句的评分,包括:
对所述结构化查询语句进行词法解析与语法解析,以生成所述结构化查询语句对应的待评测指标;
加载规则引擎内存中存储的评分规则;
根据所述评分规则对所述待评测指标进行评分。
在一个实施例中,所述根据所述评分规则对所述待评测指标进行评分,包括:
判断待评测指标触发的评分规则;
根据所述评分规则对所述待评测指标进行评分,其中,所述评分规则分为以下至少一种分类:
算力分类、安全分类、质量分类和军规分类。
在一个实施例中,当所述待评测指标触发的评分规则包括多条规则时,所述根据所述评分规则对所述待评测指标进行评分,包括:
确定所述结构化查询语句在各分类下的评分值;
当所述结构化查询语句在各分类下的评分值中存在小于0的值时,确定所述结构化查询语句的评分为0;
确定各分类下的最小评分值为所述结构化查询语句的最终评分。
在一个实施例中,所述方法还包括:
根据多条评分规则生成相对应的优化建议信息;
向所述外部系统发送评测结果、触发规则详情及所述优化建议信息。
在一个实施例中,在对所述结构化查询语句进行解析之前,所述方法还包括:
对所述结构化查询语句进行格式化处理。
本申请还提供一种结构化查询语句处理装置,包括:
获取模块,用于在接收到外部系统发送的数据查询请求时,获取所述查询请求中的结构化查询语句;
检测模块,用于对所述结构化查询语句进行语法解析,以检测所述结构化查询语句的语法是否正确;
评测模块,用于当所述结构化查询语句的语法正确时,确定所述结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统;
执行模块,用于当评分大于预设评分时,执行所述结构化查询语句;
发送模块,用于在所述结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
在一个实施例中,检测模块,包括:
获取子模块,用于获取所述结构化查询语句中的关键词;
检测子模块,用于根据所述关键词检测所述结构化查询语句是否有完整的语法结构;
确定子模块,用于当所述结构化查询语句有完整的语法结构时,确定所述结构化查询语句的语法正确。
在一个实施例中,确定模块,包括:
分析子模块,用于对所述结构化查询语句进行词法解析与语法解析,以生成所述结构化查询语句对应的待评测指标;
加载子模块,用于加载规则引擎内存中存储的评分规则;
评分子模块,用于根据所述评分规则对所述待评测指标进行评分。
附图说明
图1为本申请一实施例中一种结构化查询语句处理方法的流程图;
图2为本申请“天梯系统”的系统构架图;
图3为本申请另一实施例中一种结构化查询语句处理方法的流程图;
图4A为本申请一实施例中评分结果、触发规则和优化建议信息的显示界面示意图;
图4B为本申请一总体实施例对应的流程示意图;
图4C为本申请另一总体实施例对应的流程示意图;
图5为本申请一实施例中一种结构化查询语句处理装置的框图;
图6为本申请另一实施例中一种结构化查询语句处理装置的框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
图1为本申请实施例的一种结构化查询语句处理方法的流程图,该方法包括以下步骤S11-S15:
在步骤S11中,在接收到外部系统发送的数据查询请求时,获取查询请求中的结构化查询语句;
在步骤S12中,对结构化查询语句进行词法解析与语法解析,以检测结构化查询语句的语法是否正确;
在步骤S13中,当结构化查询语句的语法正确时,确定结构化查询语句的评分,并将评分结果和触发规则详情返回给外部系统;
在步骤S14中,当评分大于预设评分时,执行结构化查询语句;
在步骤S15中,在结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
SQL(Structured Query Language,结构化查询语句)是一种用于管理数据库的编程语言,本实施例可用于存储数据的数据库内置的SQL评分系统,也可以用于与数据库连接的,用于提供SQL评测服务的系统,在实际应用中,将该系统命名为“天梯系统”。
图2为本申请“天梯系统”的系统构架图,如图2所示,天梯系统主要提供SQL语句的代码美化服务、语法解析服务和规则引擎评测服务,将SQL语句首先通过代码美化服务进行格式化,再通过语法解析服务进行解析,校验语法正确与否,然后将语法正确的SQL词法解析后转换成相对应的指标,通过调用规则引擎服务对指标进行规则匹配处理,从而实现SQL的智能评测。SQL评测后会得到一个分数,如果该分数大等于预设分数,此处设定60分,则该SQL可以被执行,该系统会针对四大类(军规、算力、安全、质量)中分别给出触发规则详情与智能化优化建议,方便业务人员重新进行编辑整改,同时,业务人员还可以进行一个将SQL提交至人工审核的操作选项,如果提交了人工审核,需要专业DBA(DatabaseAdministrator,数据库管理员)进行后台审核SQL,这样也会面临两种情况,如果人工审核通过,该SQL可以被执行,否则,业务人员将会收到不通过的通知,同时也会收到DBA给出的专业建议。
当然,需要说明的是,上述示例仅仅是为了更加清楚详细地介绍本申请,而不用于限定本申请,那么,可以理解的是,本申请提供的代码美化、语法检查与智能评测功能,都可单独对外提供服务。本领域技术人员可以根据需求自行决定是否使用代码美化服务以及语法解析服务。
具体的,在本实施例中,在接收到外部系统发送的数据查询请求时,获取查询请求中的结构化查询语句;具体的,当用户通过外部系统向本地发送数据查询请求时,获取查询请求中携带的结构化查询语句。
在获取到查询请求中携带的结构化查询语句之后,对结构化查询语句进行语法解析,以检测结构化查询语句的语法是否正确;具体的,获取结构化查询语句中的关键词;根据关键词并根据抽象语法树检测结构化查询语句是否有完整的语法结构;若有完整的语法结构,确定结构化查询语句的语法正确,若没有完整的语法结构,则确定结构化查询语句语法错误,向用户反馈具体的错误信息。
当结构化查询语句的语法正确时,确定结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统,其中,评分结果和具体的规则触发详情是评测功能的主要结果,方便外部系统进行结构化查询语句的整改;本申请中,可以根据结构化查询语句触发的各种规则对结构化查询语句进行评分,例如,算力分类下的规则、安全分类下的规则、质量分类下的规则和军规分类下的规则。只有当评分大于预设评分时,才可以执行结构化查询语句;例如,当评分大于等于60分,则可以执行该结构化查询语句,并在结构化查询语句执行完毕后,将执行结果发送给数据查询请求的外部系统。由于本申请的执行主体只执行高评分的结构化查询语句,因此,提升了数据查询效率,保障数据库集群的稳定和数据安全性。
当然,可以理解的是,在本申请中,由于确定结构化查询语句的评分之后,会将评分结果和触发规则详情返回给所述外部系统,外部系统对应的用户需要针对评分结果和触发规则详情进行结构化查询语句的整改,因此,当评分大于预设评分时,也可以先不执行结构化查询语句,待外部系统对应的用户确定执行时再执行结构化查询语句,或者外部系统对应的用户针对评分结果和触发规则详情进行结构化查询语句的整改之后,向本地发送整改后的结构化查询语句,也可以再接收整改后的结构化查询语句,然后对整改后的结构化查询语句进行评分。
本申请的有益效果在于:在接收到外部系统发送的数据查询请求时,对查询请求中的结构化查询语句进行语法检查,并在语法正确时确定结构化查询语句的评分,并将评分结果和触发规则详情返回给外部系统,在评分大于预设评分时执行结构化查询语句。从而实现对结构化查询语句语法的自动检查以及智能化评分,从而取代人工审核结构化查询语句的方案,提高了结构化查询语句的审核效率,统一化审核标准,并且,本申请仅执行高评分的结构化查询语句,因此,也提升了数据查询效率,保障数据库集群稳定和数据安全。
在一个实施例中,如图3所示,上述步骤S12可被实施为如下步骤S31-S33:
在步骤S31中,获取结构化查询语句中的关键词;
在步骤S32中,根据关键词检测结构化查询语句是否有完整的语法结构;
在步骤S33中,当所述结构化查询语句有完整的语法结构时,确定结构化查询语句的语法正确。
本实施例中,获取结构化查询语句中的关键词;根据关键词检测结构化查询语句是否有完整的语法结构;若有完整的语法结构,确定结构化查询语句的语法正确。而结构化查询语句的语法正确也说明该结构化查询语句具备可执行的条件之一,若没有完整的语法结构,则确定结构化查询语句语法错误,向用户反馈具体的错误信息。
在一个实施例中,上述步骤S13可被实施为如下步骤A1-A3:
在步骤A1中,对结构化查询语句进行词法解析与语法解析,以生成结构化查询语句对应的待评测指标;
在步骤A2中,加载规则引擎内存中存储的评分规则;
在步骤A3中,根据评分规则对待评测指标进行评分。
对结构化查询语句进行词法解析与语法解析,以生成结构化查询语句对应的待评测指标;具体的,语法解析服务可由语法解析器实现,语法解析器主要由三个重要部分组成,分别是语法解析器、抽象语法树和访问者模式。在解析过程中,首先对SQL语句进行词法解析,以解析出SQL中的每个单词,再经过语法解析器生成包含SQL语句信息的抽象语法树,然后通过访问者模式对语法树进行处理,从而获取SQL语句的信息,最终生成相对应的指标。通过词法解析的每段SQL语句经过语法解析器都有相应的code(指标),scope(作用范围),value(值)三个属性。根据每段SQL语句生成相应的指标,使对SQL语句算力、安全、质量、军规上的约束与要求数字化。指标由语法解析SQL语句生成,包含了SQL语句的所有信息,因此,通过指标就可以体现出一段或多段SQL语句质量的高低。同时,也方便了规则引擎服务对指标的调用并进行规则匹配处理,即可得出最终SQL语句的得分。
在生成结构化查询语句对应的待评测指标之后,加载规则引擎内存中存储的评分规则;根据评分规则对待评测指标进行评分,具体的,该规则引擎中包含指标与评分的匹配规则,可以基于规则引擎中存储的规则与待评测指标进行匹配,并确定规则引擎中能够与待评测指标进行匹配的规则触发对应的得分值或扣分值。根据得分值或扣分值对待评测指标进行评分,进而实现对结构化查询语句的评分。
规则引擎服务可以使用Drools规则引擎,Drools是一款基于Java的开源规则引擎,将复杂多变的规则从硬解码中解放出来,以规则脚本的形式存放在文件中,使得规则的变更不需要修正代码与重启机器就可以立即在线上环境生效。在服务启动的时候从指定的路径加载规则文件,生成规则库。在调用评测功能时,将接收到的语法解析服务生成指标加载到引擎服务的工作内存中。通过规则与指标的匹配得到评测结果。
在一个实施例中,上述步骤A3可被实施为如下步骤B1-B2:
在步骤B1中,判断待评测指标触发的评分规则;
在步骤B2中,根据评分规则对待评测指标进行评分,其中,所述评分规则分为以下至少一种分类:
算力分类、安全分类、质量分类和军规分类。
本实施例中,判断待评测指标触发算力分类规则、安全分类规则、质量分类规则和军规分类规则中的一项或多项,根据所触发的评分规则对待评测指标进行评分。具体的,规则引擎服务模块主要根据不同算力,安全,质量,军规等规则分类,对不同代码段语法解析后生成的指标,与用户自定义规则进行匹配,最终实现对单条或多条SQL语句进行智能化评分的功能,并返回各分类规则的具体分数与最终分数。该模块应用的规则灵活配置,用户可根据不同的需求进行自定义规则,不需要修改代码便可实现不同规则的SQL语句智能评分功能。
对于规则引擎的配置,主要分为算力,安全,质量,军规四大类。具体如下:
算力代表SQL语句的复杂度(关键字个数,比如Join/Group By/Order By/Distinct/窗口函数/Insert Into等)、物理表的容量和数据量的大小限制。
安全代表规定用户权限,敏感字段等。
质量代表SQL语句建议的书写规范及影响质量的用法,比如,不建议IN值过多,表命名规范等。
军规代表为确保大数据平台运行稳定且有效,大数据平台的运营方所规定的SQL语句禁止的一项或多项规范,例如,该规范可以是如禁用UPDATE、禁止使用无条件DELETE,必须要有WHERE条件等。
规则引擎中的规则本身通常分为三部分:Attributes(属性)、LHS(条件)和RHS(结果),其中Attributes(属性)部分是可选的,其他都是必须配置的信息。
在一个实施例中,当待评测指标触发的评分规则包括多条规则时,上述步骤B2可被实施为如下步骤C1-C3:
在步骤C1中,确定结构化查询语句在各分类下的评分值;
在步骤C2中,当结构化查询语句在各分类下的评分值中存在小于0的值时,确定结构化查询语句的评分为0;
在步骤C3中,确定各分类下的最小评分值为结构化查询语句的最终评分。
选取其中一个指标来进行Drools规则引擎中每一条规则的匹配,确定结构化查询语句在各分类下的评分值。
例如,该指标触发的该条规则类型为军规分类,计算每个属于该指标触发属于军规分类的第x条规则累计扣分值Ax=Ax+Wx*100,其中该规则的累计扣分值Ax初始值为0,Wx为该规则的权重,Wx*100表示触发一个规则多要进行的扣分值,100表示满分为100分。x为属于军规分类的第x条规则。
而如果该指标触发的该条规则类型为算力分类,计算每个属于该指标触发属于算力分类的第y条规则累计扣分值By=By+Wy*100,其中该规则的累计扣分值By初始值为0,Wy为该规则的权重,Wy*100表示触发一个规则多要进行的扣分值,100表示满分为100分。y为属于算力分类的第y条规则。
而如果该指标触发的该条规则类型为安全分类,计算每个属于该指标触发属于安全分类的第p条规则累计扣分值Cp=Cp+Wp*100,其中该规则的累计扣分值Cp初始值为0,Wp为该规则的权重,Wp*100表示触发一个规则多要进行的扣分值,100表示满分为100分。p为属于安全分类的第p条规则。
而如果该指标触发的该条规则类型为质量分类,计算每个属于该指标触发属于质量分类的第q条规则累计扣分值Dq=Dq+Wq*100,其中该规则的累计扣分值Dq初始值为0,Wq为该规则的权重,Wq*100表示触发一个规则多要进行的扣分值,100表示满分为100分。q为属于质量分类的第q条规则。
判断该条指标是否与规则内存中的所有n条规则完成匹配,当匹配完成时,判断Ax是否小于军规分类第x条规则的最大扣分;如果小于,将军规分类第X条规则的最大扣分赋值给Ax;判断By是否小于算力分类第y条规则的最大扣分,如果小于,将算力分类第y条规则的最大扣分赋值给By;判断Cp是否小于安全分类第p条规则的最大扣分;如果小于,将安全分类第p条规则的最大扣分赋值给Cp;判断Dq是否小于质量分类第q条规则的最大扣分,如果小于,将质量分类第q条规则的最大扣分赋值给Dq,也就是说,每条规则会触发多次,但是该规则会有最大扣分,达到最大扣分值后,该规则不会再进行扣分。
最后计算得到:
1.第z个指标军规类型总扣分Ez=∑Ax;
2.第z个指标算力类型总扣分Fz=∑By;
3.第z个指标安全类型总扣分Gz=∑Cp;
4.第z个指标质量类型总扣分Hz=∑Hq;
那么,第z个指标的各分类下的评分值如下:
军规评分值:S1=100-∑Ez;
算力评分值:S2=100-∑Fz;
安全评分值:S3=100-∑Gz;
质量评分值:S4=100-∑Hz;
在计算出各个评分值中是否存在小于0的值,当结构化查询语句在各分类下的评分值中存在小于0的值时,确定结构化查询语句的评分为0;当结构化查询语句在各分类下的评分值都大于0时,确定各规则下的最小评分值为结构化查询语句的评分,也就是说,各类规则的最低分为0分,即最终评分最低分为0分。
需要说明的是,前述表达式Ax=Ax+Wx*100中,“=”前的“Ax”为“=”后的“Ax”的下一次累加值;那么,不难理解的是,By=By+Wy*100中,“=”前的“By”为“=”后的“By”的下一次累加值;Cp=Cp+Wp*100中,“=”前的“Cp”为“=”后的“Cp”的下一次累加值;Dq=Dq+Wq*100中,“=”前的“Dq”为“=”后的“Dq”的下一次累加值。也就是说,上述这些表达式均是为了表征对各规则下扣分值的累加过程,具体的累加次数视其触发的规则分类以及各规则分类下的不同子规则的次数而定,因此,采用了相同的字母进行表达累加前和累加后的扣分值。
在一个实施例中,方法还可被实施为如下步骤D1-D2:
在步骤D1中,根据多条评分规则生成相对应的优化建议信息;
在步骤D2中,向外部系统发送评测结果、触发规则详情及优化建议信息。
本实施例中,根据多条评分规则生成相应的优化建议信息,例如,一条结构化查询语句产生扣分,就可以基于其触发的评分规则生成相对应的优化建议信息,具体的,可以基于结构化查询语句触发的四大分类(军规分类、算力分类、安全分类、质量分类)下的规则分别给出合理化建议。也就是说,只要触发了任意评分规则,都会生成相应的优化建议信息,又例如,可以在每一类规则下都展示一个评分值,具体如图4A所示,当然,图4A仅为了便于本领域技术人员理解,在实际应用过程中,各栏目下可以显示更多细节,如果评分小于预设评分,向所述外部系统发送评测结果、触发规则详情及所述优化建议信息。
在一个实施例中,在步骤S12之前,方法还可被实施为如下步骤:
对结构化查询语句进行格式化处理。
本实施例中,对于结构化查询语句的格式化处理旨在对结构化查询语句进行美化操作,主要是根据结构化查询语句的关键词进行如“缩进”、“回车分隔”等操作,使结构化查询语句更加直观易懂,也便于设备对其进行检测、解析等操作。
图4B为本申请一总体实施例对应的流程示意图,包括以下步骤:
S101、业务人员或开发人员编写结构化查询语言SQL(Structured QueryLanguage)语句。
S102、对S101步骤中所有SQL语句进行代码美化操作,也称为格式化操作,主要是根据SQL语言关键词进行一系列缩进或回车分隔,使SQL语句变得更直观易懂、更美观。
S103、对S102步骤后的SQL进行语法检测,主要是对SQL语句通过Druid中解析模块进行语法解析,通过分析SQL语句中关键词进行处理,检测该语句是否拥有完整的SQL语法结构。如果通过语法检测,转到步骤S104,否则转到步骤S101。
S104、对通过语法检测后的SQL语句进行词法分析,并生成一系列相应指标,通过指标对Drools规则引擎中的规则进行匹配来对SQL语句进行评测。
S105、S104步骤会对整个SQL语句进行评测得到一个最终评分(即图4B中的SQL分数)。
S106、判断该最终是否大于等于60分(预设合格分)。如果大于等于60分,转到S107步骤,否则转到步骤S108。
S107、该步骤表示该SQL语句合格,可以执行SQL语句。
S108、系统根据SQL语句触发的四大分类(军规分类、算力分类、安全分类、质量分类)下的规则分别给出触发规则详情及对应的优化建议信息。
S109、判断业务人员或开发人员是否进行提交人工审核操作。如果是,转到步骤S110,否则转到步骤S101。
S110、数据库管理员(Database Administrator,简称DBA)进行人工审核,给出是否审核通过的通知。如果通过,转到步骤S107,否则转到步骤S111。
S111、DBA给出SQL语句评测不通过的合理化专业建议。
图4C为本申请另一总体实施例对应的流程示意图,包括以下步骤:
S201、对所有SQL语句进行语法检测。
S202、对所有SQL进行Lexer词法解析,词法解析后得到m个指标。
S203、加载Drools规则引擎内存中的所有规则。
S204、判断SQL语句词法解析后的m个指标是否匹配结束。如果是,转到步骤S212,否则转到步骤S205。
S205、选取其中一个指标来进行Drools规则引擎中每一条规则的匹配。
S206、确定该规则属于的分类(军规、算力、安全、质量);
S207、计算每个规则的累计扣分值;
S208、判断n条规则是否匹配结束,如果是,转到步骤S209,否则转到步骤S206;
S209、判断各分类规则中每个规则累计扣分是否小于该规则的最大扣分,如果是,转到步骤S211,否则转到步骤S210;
S210、将军规第x条规则的最大扣分赋值给Ax;将算力第y条规则的最大扣分赋值给By;将安全第p条规则的最大扣分赋值给Cp;将质量第q条规则的最大扣分赋值给Dq;
S211、第z个指标军规类型总扣分Ez=∑Ax;第z个指标算力类型总扣分Fz=∑By;第z个指标安全类型总扣分Gz=∑Cp;第z个指标质量类型总扣分Hz=∑Hq;
S212、m个指标全部匹配结束后的四大类下的得分(即评分值)如下:
军规得分:S1=100-∑Ez;算力得分:S2=100-∑Fz;安全得分:S3=100-∑Gz;质量得分:S4=100-∑Hz;其中∑为求和函数。
S213、判断军规得分S1、算力得分S2、安全得分S3、质量得分S4是否小于0。如果是转到步骤S215,否则转到步骤S214.
S214、取军规得分S1、算力得分S2、安全得分S3、质量得分S4中的最小值为SQL评测的最终得分。
S215、SQL评测最终评分为0。
需要说明的是,本申请支持对多种数据库进行语法检测和代码评测,包括但不限于MySQL、Oracle、PostgreSQL、FlinkSQL、PrestoDB。
图5为本申请实施例的一种结构化查询语句处理装置的框图,该装置包括以下模块:
获取模块51,用于在接收到外部系统发送的数据查询请求时,获取查询请求中的结构化查询语句;
检测模块52,用于对结构化查询语句进行语法解析,以检测结构化查询语句的语法是否正确;
评测模块53,用于当结构化查询语句的语法正确时,确定结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统;
执行模块54,用于当评分大于预设评分时,执行所述结构化查询语句;
发送模块55,用于在所述结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
在一个实施例中,如图6所示,检测模块52,包括:
获取子模块61,用于获取结构化查询语句中的关键词;
检测子模块62,用于根据关键词检测结构化查询语句是否有完整的语法结构;
确定子模块63,用于当结构化查询语句有完整的语法结构时,确定结构化查询语句的语法正确。
在一个实施例中,评测模块,包括:
分析子模块,用于对结构化查询语句进行词法解析与语法解析,以生成结构化查询语句对应的待评测指标;
加载子模块,用于加载规则引擎内存中存储的评分规则;
评分子模块,用于根据评分规则对待评测指标进行评分。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种结构化查询语句处理方法,其特征在于,包括:
在接收到外部系统发送的数据查询请求时,获取所述查询请求中的结构化查询语句;
对所述结构化查询语句进行语法解析,以检测所述结构化查询语句的语法是否正确;
当所述结构化查询语句的语法正确时,确定所述结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统;
当评分大于预设评分时,执行所述结构化查询语句;
在所述结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
2.如权利要求1所述的方法,其特征在于,对所述结构化查询语句进行解析,包括:
获取所述结构化查询语句中的关键词;
根据所述关键词检测所述结构化查询语句是否有完整的语法结构;
当所述结构化查询语句有完整的语法结构时,确定所述结构化查询语句的语法正确。
3.如权利要求1所述的方法,其特征在于,确定所述结构化查询语句的评分,包括:
对所述结构化查询语句进行词法解析与语法解析,以生成所述结构化查询语句对应的待评测指标;
加载规则引擎内存中存储的评分规则;
根据所述评分规则对所述待评测指标进行评分。
4.如权利要求3所述的方法,其特征在于,所述根据所述评分规则对所述待评测指标进行评分,包括:
判断待评测指标触发的评分规则;
根据所述评分规则对所述待评测指标进行评分,其中,所述评分规则分为以下至少一种分类:
算力分类、安全分类、质量分类和军规分类。
5.如权利要求4所述的方法,其特征在于,当所述待评测指标触发的评分规则包括多条规则时,根据所述评分规则对所述待评测指标进行评分,包括:
确定所述结构化查询语句在各分类下的评分值;
当所述结构化查询语句在各分类下的评分值中存在小于0的值时,确定所述结构化查询语句的评分为0;
确定各分类下的最小评分值为所述结构化查询语句的最终评分。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据多条评分规则生成相对应的优化建议信息;
向所述外部系统发送评测结果、触发规则详情及所述优化建议信息。
7.如权利要求1-6任意一项所述的方法,其特征在于,在对所述结构化查询语句进行解析之前,所述方法还包括:
对所述结构化查询语句进行格式化处理。
8.一种结构化查询语句处理装置,其特征在于,包括:
获取模块,用于在接收到外部系统发送的数据查询请求时,获取所述查询请求中的结构化查询语句;
检测模块,用于对所述结构化查询语句进行语法解析,以检测所述结构化查询语句的语法是否正确;
评测模块,用于当所述结构化查询语句的语法正确时,确定所述结构化查询语句的评分,并将评分结果和触发规则详情返回给所述外部系统;
执行模块,用于当评分大于预设评分时,执行所述结构化查询语句;
发送模块,用于在所述结构化查询语句执行完毕后,将执行结果发送给发送数据查询请求的外部系统。
9.如权利要求8所述的装置,其特征在于,检测模块,包括:
获取子模块,用于获取所述结构化查询语句中的关键词;
检测子模块,用于根据所述关键词检测所述结构化查询语句是否有完整的语法结构;
确定子模块,用于当所述结构化查询语句有完整的语法结构时,确定所述结构化查询语句的语法正确。
10.如权利要求8所述的装置,其特征在于,评测模块,包括:
分析子模块,用于对所述结构化查询语句进行词法解析与语法解析,以生成所述结构化查询语句对应的待评测指标;
加载子模块,用于加载规则引擎内存中存储的评分规则;
评分子模块,用于根据所述评分规则对所述待评测指标进行评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011374551.6A CN112445812B (zh) | 2020-11-27 | 2020-11-27 | 一种结构化查询语句处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011374551.6A CN112445812B (zh) | 2020-11-27 | 2020-11-27 | 一种结构化查询语句处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112445812A true CN112445812A (zh) | 2021-03-05 |
CN112445812B CN112445812B (zh) | 2022-09-20 |
Family
ID=74737950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011374551.6A Active CN112445812B (zh) | 2020-11-27 | 2020-11-27 | 一种结构化查询语句处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112445812B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486044A (zh) * | 2021-06-07 | 2021-10-08 | 广发银行股份有限公司 | 一种基于效率分析评分的数据查询调度方法及系统 |
CN118113302A (zh) * | 2024-04-30 | 2024-05-31 | 浪潮电子信息产业股份有限公司 | 一种树状中间表示生成方法、系统、设备、介质、产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104516882A (zh) * | 2013-09-26 | 2015-04-15 | 国际商业机器公司 | 确定sql语句的危害度的方法和设备 |
CN104572979A (zh) * | 2014-12-31 | 2015-04-29 | 北京锐安科技有限公司 | 一种处理结构化查询语言sql的方法及装置 |
CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
US20170132280A1 (en) * | 2014-07-23 | 2017-05-11 | Huawei Technologies Co., Ltd. | Database access method and apparatus, and database system |
CN107391384A (zh) * | 2017-08-14 | 2017-11-24 | 中国银行股份有限公司 | 一种sql语句检测方法及系统 |
WO2019127744A1 (zh) * | 2017-12-29 | 2019-07-04 | 上海跬智信息技术有限公司 | 一种olap数据模型自动建模的方法、分类器 |
CN110990420A (zh) * | 2019-11-27 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 数据查询方法、装置 |
CN111949541A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 多源数据库语句检查方法及装置 |
-
2020
- 2020-11-27 CN CN202011374551.6A patent/CN112445812B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104516882A (zh) * | 2013-09-26 | 2015-04-15 | 国际商业机器公司 | 确定sql语句的危害度的方法和设备 |
US20170132280A1 (en) * | 2014-07-23 | 2017-05-11 | Huawei Technologies Co., Ltd. | Database access method and apparatus, and database system |
CN104572979A (zh) * | 2014-12-31 | 2015-04-29 | 北京锐安科技有限公司 | 一种处理结构化查询语言sql的方法及装置 |
CN105677812A (zh) * | 2015-12-31 | 2016-06-15 | 华为技术有限公司 | 一种数据查询方法及数据查询装置 |
CN107391384A (zh) * | 2017-08-14 | 2017-11-24 | 中国银行股份有限公司 | 一种sql语句检测方法及系统 |
WO2019127744A1 (zh) * | 2017-12-29 | 2019-07-04 | 上海跬智信息技术有限公司 | 一种olap数据模型自动建模的方法、分类器 |
CN110990420A (zh) * | 2019-11-27 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 数据查询方法、装置 |
CN111949541A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 多源数据库语句检查方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486044A (zh) * | 2021-06-07 | 2021-10-08 | 广发银行股份有限公司 | 一种基于效率分析评分的数据查询调度方法及系统 |
CN118113302A (zh) * | 2024-04-30 | 2024-05-31 | 浪潮电子信息产业股份有限公司 | 一种树状中间表示生成方法、系统、设备、介质、产品 |
Also Published As
Publication number | Publication date |
---|---|
CN112445812B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107644323B (zh) | 一种面向业务流的智能审核系统 | |
JP3266246B2 (ja) | 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法 | |
EP3080721B1 (en) | Query techniques and ranking results for knowledge-based matching | |
US5748973A (en) | Advanced integrated requirements engineering system for CE-based requirements assessment | |
CN112445812B (zh) | 一种结构化查询语句处理方法及装置 | |
US11514701B2 (en) | System and method for global identification in a collection of documents | |
CN110795455A (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
CN111475525A (zh) | 基于结构化查询语言的脱敏方法、及其相关设备 | |
KR20140094003A (ko) | 변형 토큰 네트워크들에 기반한 데이터 클러스터링 | |
CN113110866A (zh) | 一种数据库变更脚本的评估方法及装置 | |
CN110543356A (zh) | 异常任务检测方法、装置、设备及计算机存储介质 | |
CN112035506A (zh) | 一种语义识别方法及其设备 | |
Freitas et al. | A distributional semantics approach for selective reasoning on commonsense graph knowledge bases | |
Maier et al. | Paraconsistent OWL and related logics | |
US11055353B2 (en) | Typeahead and autocomplete for natural language queries | |
CN114385763A (zh) | 数据血缘分析方法、装置、系统及可读存储介质 | |
Francia et al. | Towards conversational OLAP | |
Orogat et al. | CBench: Towards better evaluation of question answering over knowledge graphs | |
Huang et al. | Relationalizing Tables with Large Language Models: The Promise and Challenges | |
Fagin et al. | A relational framework for information extraction | |
Schneider et al. | Evaluating large language models in semantic parsing for conversational question answering over knowledge graphs | |
EA037156B1 (ru) | Способ поиска в тексте совпадений с шаблонами | |
CN112862334A (zh) | 基于语法分析树的指标体系构建方法、装置及计算机设备 | |
US20060020916A1 (en) | Automatic Derivation of Morphological, Syntactic, and Semantic Meaning from a Natural Language System Using a Monte Carlo Markov Chain Process | |
CN109977235A (zh) | 一种触发词的确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |