CN117951155A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117951155A CN117951155A CN202311271455.2A CN202311271455A CN117951155A CN 117951155 A CN117951155 A CN 117951155A CN 202311271455 A CN202311271455 A CN 202311271455A CN 117951155 A CN117951155 A CN 117951155A
- Authority
- CN
- China
- Prior art keywords
- data query
- time point
- query statement
- statement
- query request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000012986 modification Methods 0.000 claims abstract description 161
- 230000004048 modification Effects 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims description 60
- 238000004458 analytical method Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000013515 script Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000002715 modification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开实施例提供了数据处理方法、装置、电子设备以及存储介质,该方法包括:拦截携带有初始数据查询语句的第一数据查询请求;标记开始时间点并建立第一异步任务;调用第一线程根据初始数据查询语句进行数据查询,在数据查询之后标记结束时间点;调用第二线程执行第一异步任务得到第一修改方式;根据第一修改方式对初始数据查询语句进行修正得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求;获取第二数据查询请求的开始时间点和结束时间点;根据第一数据查询请求的开始时间点、结束时间点和第一修改方式及第二数据查询请求的开始时间点和结束时间点,生成第一修改方式的评价信息。以此,可以提高数据查询效率。
Description
技术领域
本申请涉及数据库技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着电子技术的发展,数据库技术的应用越来越普遍,其中,数据查询操作的使用频率很高。若数据查询语句的性能较差,可能导致利用数据查询语句进行数据查询处理所消耗的时间长度较长,需要用户等待查询结果,在数据查询涉及的数据量较大,或者,数据查询操作的数量较多的情况下,数据查询所需的等待时间长,查询效率低下,且给用户带来较差的体验。
发明内容
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质,以提高数据查询效率。
第一方面,本申请实施例提供了一种数据处理方法,包括:
拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取所述第二数据查询请求对应的开始时间点和结束时间点;
根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
第二方面,本申请实施例提供了一种数据处理装置,所述装置包括:
拦截单元,用于拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
建立单元,用于标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
标记单元,用于调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
执行单元,用于调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
生成单元,用于根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取单元,用于获取所述第二数据查询请求对应的开始时间点和结束时间点;
所述生成单元,还用于根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。第三方面,本申请实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的数据处理方法。
第三方面,本申请实施例提供了一种电子设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的数据处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如第一方面所述的数据处理方法。
可以看出,在本申请实施例中,首先,拦截第一数据查询请求;第一数据查询请求携带有初始数据查询语句;其次,标记第一数据查询请求对应的开始时间点并建立第一异步任务;然后,调用第一线程根据初始数据查询语句进行数据查询处理,在数据查询处理之后标记第一数据查询请求对应的结束时间点;接着,调用第二线程执行第一异步任务得到初始数据查询语句对应的第一修改方式;接下来,根据第一修改方式对初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求;然后,获取第二数据查询请求对应的开始时间点和结束时间点;最后,根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息。以此,一方面,通过拦截第一数据查询请求和建立第一异步任务,使得数据查询和获取用于修正初始数据查询语句的第一修改方式可以并行处理,减少等待时间,另一方面,针对修正初始数据查询语句之前的第一数据查询请求,在进行数据查询处理之前标记对应的开始时间点,在数据查询处理之后标记对应的结束时间点,获取修正初始数据查询语句之后的第二数据查询请求对应的开始时间点和结束时间点,可以得到语句优化之前的数据处理时间长度和语句优化之后的数据处理时间长度,两次数据查询对应的数据处理时间长度的变化可以直观地反映第一修改方式对应的修正处理对该初始数据查询语句所产生的作用,进而利用该两次数据查询对应的数据处理时间长度可以生成第一修改方式的评价信息,该评价信息可用于数据查询语句的数据分析,进而基于数据分析的结果可以确定适用于初始数据查询语句的修改方式,通过适用于初始数据查询语句的修改方式对初始数据查询语句进行修正处理,可以优化语句性能,缩短数据查询的等待时间,提高数据查询效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图;
图1为本申请实施例提供的一种数据处理方法实施环境的示意图;
图2为本申请实施例提供的一种数据处理方法的处理流程图;
图3a为本实施例提供的一种数据处理方法中应用服务端的工作原理图;
图3b为本实施例提供的一种数据处理方法中平台服务端的工作原理图;
图4为本实施例提供的另一种数据处理方法的处理流程图;
图5为本申请实施例提供的一种数据处理装置示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请的保护范围。
本说明书提供的一种数据处理方法实施例:
在存在海量的数据查询语句的情况下,研发人员的精力有限,不可能对每一个数据查询语句的性能依次优化,且并不是所有的数据查询语句的性能都需要优化。在数据查询场景中,用户调用数据查询语句进行数据查询处理并留下历史记录后,研发人员可以基于历史记录确定哪些数据查询语句存在优化需求,并针对性地修改该存在优化需求的数据查询语句。一方面,数据查询语句的优化滞后于数据查询,给用户留下了不好的体验;另一方面,对于部分数据查询语句,在该数据查询语句所查询的表数据量较大的情况下才会暴露出该数据查询语句亟需优化的问题。为了解决上述问题,本申请实施例提供了一种数据处理方法。
本说明书一个或多个实施例提供的数据处理方法,可适用于数据处理方法这一实施环境,如图1所示,该实施环境至少包括用于进行数据处理的服务器101,用于发送第一数据查询请求的终端设备102。
其中,服务器101可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是云计算平台中的一个或者多个云服务器,用于进行数据处理。
终端设备102,可以是手机、个人电脑、平板电脑、电子书阅读器、基于VR(VirtualReality,虚拟现实技术)进行信息交互的设备、车载终端、IoT设备、穿戴式智能设备、膝上型便携计算机和台式计算机等等;终端设备102可配置应用程序的客户端,该客户端的具体形式可以是应用程序、应用程序内的子程序、应用程序内的服务模块或者网页程序;该客户端可以发送第一数据查询请求。
该实施环境中,服务器101在数据处理的过程中,拦截由终端设备102发送的第一数据查询请求;第一数据查询请求携带有初始数据查询语句;其次,标记第一数据查询请求对应的开始时间点并建立第一异步任务;然后,调用第一线程根据初始数据查询语句进行数据查询处理,在数据查询处理之后标记第一数据查询请求对应的结束时间点;调用第二线程执行第一异步任务得到初始数据查询语句对应的第一修改方式;接着,根据第一修改方式对初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求;接下来,获取第二数据查询请求对应的开始时间点和结束时间点;最后,根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息。以此,一方面,通过拦截第一数据查询请求和建立第一异步任务,使得数据查询和获取用于修正初始数据查询语句的第一修改方式可以并行处理,减少等待时间,另一方面,针对修正初始数据查询语句之前的第一数据查询请求,在进行数据查询处理之前标记对应的开始时间点,在数据查询处理之后标记对应的结束时间点,获取修正初始数据查询语句之后的第二数据查询请求对应的开始时间点和结束时间点,可以得到语句优化之前的数据处理时间长度和语句优化之后的数据处理时间长度,两次数据查询对应的数据处理时间长度的变化可以直观地反映第一修改方式对应的修正处理对该初始数据查询语句所产生的作用,进而利用该两次数据查询对应的数据处理时间长度可以生成第一修改方式的评价信息,该评价信息可用于数据查询语句的数据分析,进而基于数据分析的结果可以确定适用于初始数据查询语句的修改方式,通过适用于初始数据查询语句的修改方式对初始数据查询语句进行修正处理,可以优化语句性能,缩短数据查询的等待时间,提高数据查询效率。
图2为本申请实施例提供的一种数据处理方法的处理流程图。参照图2,本实施例提供的数据处理方法,具体包括步骤S202至步骤S214。
步骤S202,拦截第一数据查询请求;第一数据查询请求携带有初始数据查询语句。
初始数据查询语句可以是未经过优化的数据查询语句。该未经过优化的数据查询语句的性能是未知的,可能存在优化需求,也可能无需优化。
数据查询语句可以是用于在指定存储区域中进行数据查询处理的编程语言。指定存储区域可以是数据库,也可以是其他具有数据存储功能的区域。
数据查询语句的性能会直接影响利用该数据查询语句进行数据查询处理所消耗的时间长度。在数据查询语句的性能较好的情况下,利用该数据查询语句进行数据查询处理所消耗的时间长度较短;在数据查询语句的性能较差的情况下,利用该数据查询语句进行数据查询处理所消耗的时间长度较长。
实际应用中,可以预先设置时间长度阈值,在数据查询语句对应的时间长度小于该时间长度阈值的情况下,确定该数据查询语句的性能符合预设性能要求无需优化;在数据查询语句对应的时间长度小于该时间长度阈值的情况下,确定该数据查询语句的性能较差需要对其进行优化。
本实施例提供的数据处理方法可以执行于测试环境中。
第一数据查询请求可以是在测试环境中由研发人员发出的,该第一数据查询请求可以用于测试初始数据查询语句的性能优劣。
通过在测试环境中执行数据处理方法,可以将数据查询语句中的性能隐患在上线之前预先暴露,并针对性优化,从而实现防患于未然,使上线之后用户使用的是优化之后的数据查询语句。
上线指的是发布编写有数据查询语句的控件,用户在执行数据查询操作时,无需自己编写数据查询语句,而是通过操控该控件触发该控件对应的数据查询语句的执行。
示例性地,数据查询语句可以是SQL(Structured Query Language,结构化查询语言)。
SQL是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
第一数据查询请求用于根据初始数据查询语句在指定存储区域进行数据查询处理。
拦截第一数据查询请求可以是通过预先配置的客户端插件拦截由客户端发送的第一数据查询请求。
示例性地,客户端插件可以是自定义mybatis拦截器,具体地,可以通过JAVA动态代理技术将mybatis对数据库的查询、更新操作的脚本进行增强处理,以实现拦截客户端发出的各个针对数据库的数据查询请求的目的。
JAVA动态代理是指在程序运行时可以运用反射机制动态创建代理类的“.class文件”。
步骤S204,标记第一数据查询请求对应的开始时间点并建立第一异步任务。
第一数据查询请求对应的开始时间点可以是在根据初始数据查询语句进行数据查询处理之前标记的时间点。
在JavaScript中,同步任务和异步任务都是指代码执行的方式。同步任务是指按照代码的书写顺序,依次执行的任务。每个任务需要等待前一个任务执行完成后才能执行。如果一个任务执行时间过长,会导致后续任务的延迟。异步任务是指不按照代码的书写顺序执行的任务,当代码执行到异步任务时,会将其放入任务队列中,并立即执行后续任务。异步任务通常是由浏览器或者Node.js提供的API触发的,比如Ajax请求、定时器、事件监听等。当异步任务完成后,会将其对应的回调函数放入任务队列中,等待主线程空闲时执行。
异步任务可以指一个进程中并发执行的任务,可通过多线程的方式实现,也可以指多个进程中并发执行的任务,可通过多进程、协程等方式实现。
本实施例中的第一异步任务是针对第一数据查询请求,通过多线程的方式实现的在数据查询进程中并发执行的任务。即在同一个进程中,调用不同的线程并发执行数据查询任务与第一异步任务。
数据查询任务可以用于根据初始数据查询语句进行数据查询处理。
可选地,第一异步任务也可以是针对第一数据查询请求,通过多进程的方式实现的与数据查询进程并发执行的任务。即在多个进程中并发执行数据查询任务与第一异步任务:在第一进程中执行数据查询任务,以及,在第二进程中执行第一异步任务。
通过协程的方式实现的第一异步任务可以参照通过多进程的方式实现的第一异步任务的对应说明部分。
第一异步任务可以用于根据预先配置的数据查询语句的分析方式对初始数据查询语句进行分析处理,得到初始数据查询语句对应的第一修改方式。
第一修改方式可以是对初始数据查询语句进行修改处理所采用的修改方式。
第一修改方式包括且不限于以下至少一者:建立索引、减少索引的数量、修改字段类型,等等。
通过按照第一修改方式对初始数据查询语句进行修改处理的目的是优化初始数据查询语句的性能。
另外,对于一部分数据查询语句,在该数据查询语句所查询的表数据量较大的情况下才会暴露出该数据查询语句亟需优化的问题,即在该数据查询语句对应的表数据量小于预设数据量阈值的情况下,利用该数据查询语句进行数据查询处理所消耗的时间长度小于时间长度阈值,在该数据查询语句对应的表数据量大于等于预设数据量阈值的情况下,利用该数据查询语句进行数据查询处理所消耗的时间长度大于时间长度阈值。考虑到该部分数据查询语句,在对数据查询语句进行性能优化之后,利用该数据查询语句进行数据查询处理所消耗的时间长度可能会缩短,也可能保持不变,但不会增长。
数据查询语句的分析方式可以表征从数据查询语句中提取的特征信息的信息类型、信息提取方式、信息处理方式以及处理后的特征信息与修改方式之间的对应关系,等等。数据查询语句的分析方式可以由业务人员根据工作经验配置。考虑到人工配置的分析方式可能是不完善的,根据该分析方式对初始数据查询语句进行分析处理,得到初始数据查询语句对应的第一修改方式,该第一修改方式可能有效且效果显著地提高初始数据查询语句的性能,可能有效但效果轻微地提高初始数据查询语句的性能,可能对初始数据查询语句的性能毫无影响,还可能降低初始数据查询语句的性能。
步骤S206,调用第一线程根据初始数据查询语句进行数据查询处理,在数据查询处理之后标记第一数据查询请求对应的结束时间点。
第一数据查询请求对应的结束时间点可以是在根据初始数据查询语句进行数据查询处理之后标记的时间点。该第一数据查询请求对应的开始时间点和结束时间点可以共同用于确定利用初始数据查询语句进行数据查询处理所消耗的时间长度。
调用第一线程根据初始数据查询语句进行数据查询处理,可以得到初始数据查询语句对应的数据查询结果,将该数据查询结果确定为目标数据。
根据初始数据查询语句进行数据查询处理可以是通过预设数据查询引擎运行该初始数据查询语句。
步骤S208,调用第二线程执行第一异步任务得到初始数据查询语句对应的第一修改方式。
第一线程和第二线程可以是两个不同的线程。其中,“第一”和“第二”仅仅是为了便于区分两个线程,不具有实际含义。
第一线程可以是被分配用于执行数据查询任务的线程,第二线程可以是被分配用于执行第一异步任务的线程。
步骤S206与步骤S208可以同时执行。
执行第一异步任务得到初始数据查询语句对应的第一修改方式,可以是根据预先配置的数据查询语句的分析方式对初始数据查询语句进行分析处理,得到初始数据查询语句对应的第一修改方式。
在一种具体的实现方式中,执行第一异步任务得到初始数据查询语句对应的第一修改方式,包括:基于初始数据查询语句,生成初始数据查询语句的查询操作参数的查询指令;执行查询指令,得到查询操作参数;根据预先配置的多个解析关键词对初始数据查询语句进行字符串匹配处理,得到初始数据查询语句的字符串匹配结果;根据数据查询语句的分析方式、查询操作参数和字符串匹配结果,生成初始数据查询语句的第一修改方式。
具体实施时,基于初始数据查询语句,生成初始数据查询语句的查询操作参数的查询指令,可以是按照预设改写方式对初始数据查询语句进行改写处理,得到初始数据查询语句的查询操作参数的的查询指令。
执行查询指令,得到查询操作参数,可以是执行该查询操作参数的的查询指令,得到初始数据查询语句对应的查询操作参数。在初始数据查询语句为SQL语句的情况下,查询操作参数可以是SQL执行计划。SQL执行计划是指SQL语句执行时数据库系统为其生成的一个操作集合,该操作集合记录了SQL语句如何通过索引、表扫描等方式访问数据库表,以及如何使用连接方式、排序等逻辑操作。
例如,初始数据查询语句为:select*from user。
预设改写方式为在初始数据查询语句之前增加“explain”。
SQL执行计划的查询指令为:explain select*from user。
执行该SQL执行计划的查询指令所得到的初始数据查询语句对应的SQL执行计划为:
{
"id":1,
"select_type":"SIMPLE",
"table":"user",
"type":"ALL",
"possible_keys":null,
"key":null,
"key_len":null,
"ref":null,
"Extra":null
}
其中,“id”字段用于指示初始数据查询语句的执行顺序。在多个数据查询语句中,id越大越先执行。
“select_type”字段用于指示初始数据查询语句对应的查询类型。
“table”字段用于指示初始数据查询语句所查询的表名。
“type”字段用于指示数据查询处理所使用的索引类型。
“possible_keys”字段用于指示数据查询处理可能会用到的索引。
“key”字段用于指示数据查询处理中实际使用的索引。
“key_len”字段用于指示索引使用的字节数。
“ref”字段用于指示初始数据查询语句所查询的表对应的索引字段关联了哪张表的哪个字段。
“extra”字段可提供额外的信息,能够帮助判断初始数据查询语句是否使用了覆盖索引、文件排序、使用了索引进行查询条件,等等。
上述例子中SQL执行计划所包括的字段和字段值仅仅是示例性的。
根据预先配置的多个解析关键词对初始数据查询语句进行字符串匹配处理,得到初始数据查询语句的字符串匹配结果,可以是利用多个解析关键词和字符串多模匹配算法对初始数据查询语句进行解析处理和关键词匹配处理,得到初始数据查询语句对应的特征信息,将该特征信息作为初始数据查询语句的字符串匹配结果。
具体实施时,根据数据查询语句的分析方式、查询操作参数和字符串匹配结果,生成初始数据查询语句的第一修改方式,可以是基于分析方式对分析器进行配置处理,将查询操作参数和字符串匹配结果输入分析器进行分析处理和修改方式查询处理,得到第一修改方式。
在一种具体的实现方式中,解析关键词包括元数据关键词和特殊字段关键词;根据预先配置的多个解析关键词对初始数据查询语句进行字符串匹配处理,得到初始数据查询语句的字符串匹配结果,包括:根据多个元数据关键词和预设的第一字典树对初始数据查询语句进行字符串匹配处理,得到目标数据在预设数据库中对应的数据表名、目标数据的字段名以及目标数据对应的查询条件;根据数据表名,获取对应的索引信息和表结构信息;根据索引信息和表结构信息,构建第二字典树;根据多个特殊字段关键词和第二字典树对初始数据查询语句进行字符串匹配处理,得到初始数据查询语句的字符串匹配结果。
元数据关键词可以是用于在初始数据查询语句提取对应的元数据的预设关键词。
元数据为定义数据结构的数据。
元数据关键词可以是根据初始数据查询语句对应的语法规则设置的。
预设的第一字典树可以是根据初始数据查询语句对应的语法规则设置的Tire树。
Tire树又称单词查找树,是一种树形结构,是一种哈希树的变种。Tire树是一种能够快速存储和查找一组字符串集合的数据结构,是以空间换时间,利用字符串的前缀来降低查询时间。
根据多个元数据关键词和预设的第一字典树对初始数据查询语句进行字符串匹配处理,得到目标数据在预设数据库中对应的数据表名、目标数据的字段名以及目标数据对应的查询条件,可以是利用多个元数据关键词和字符串匹配算法对初始数据查询语句进行解析处理和关键词匹配处理,得到目标数据在预设数据库中对应的数据表名、目标数据的字段名以及目标数据对应的查询条件。
根据数据表名,获取对应的索引信息和表结构信息,可以是根据数据表名生成用于查询该数据表名对应的索引信息的第一查询指令和用于查询该数据表名对应的表结构信息的第二查询指令,执行第一查询指令得到索引信息,以及,执行第二查询指令得到表结构信息。
例如,数据表名为“user”,执行show index from user命令获取该表的索引信息,执行show create table user命令获取该表的表结构信息。
根据索引信息和表结构信息,构建第二字典树。第二字典树可以是与第一字典树不同的另一个Tire树。
特殊字段包括且不限于:筛选条件的字段、排序字段以及分组字段。
筛选条件的字段指的是初始数据查询语句对应的数据查询条件中的字段。
例如,数据查询条件为:工作年限大于5年,则筛选条件的字段为“工作年限”。
排序字段指的是在数据查询结果为多个的情况下按照哪个字段的字段值升序或降序排列。
分组字段表示数据查询结果属于多个预设分组中的哪个分组。
特殊字段关键词是根据特殊字段和初始数据查询语句对应的语法规则设置的。
根据多个特殊字段关键词和第二字典树对初始数据查询语句进行字符串匹配处理,得到初始数据查询语句的字符串匹配结果,可以是利用多个特殊字段关键词和字符串匹配算法对初始数据查询语句进行解析处理和关键词匹配处理,得到初始数据查询语句中特殊字段的字段名称,将该字段名称确定为初始数据查询语句的字符串匹配结果。
在一种具体的实现方式中,第一数据查询请求携带有应用标识;根据数据表名,获取对应的索引信息和表结构信息之后,数据处理方法还包括:对应用标识和初始数据查询语句进行映射处理,得到散列值;根据散列值确定初始数据查询语句对应的记录类型;记录类型为插入和更新中的一者;按照记录类型对查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识进行记录处理,得到第一数据查询请求对应的优化参考记录;优化参考记录用于调整数据查询语句的分析方式。
具体实施时,对应用标识和初始数据查询语句进行映射处理,得到散列值,可以是通过预设散列函数对应用标识和初始数据查询语句进行映射处理,得到散列值。
预设散列函数可以是MD5信息摘要算法,也可以是其他散列函数。
MD5信息摘要算法(MD5 Message-Digest Algorithm)是一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值(hash value)。
应用标识可以用于标记唯一对应的应用服务,该应用服务与执行数据查询操作的ORM(Object Relational Mapping,对象关系映射)框架之间存在对应关系。
ORM框架用元数据来描述对象映射细节,是一种框架的格式。只要提供了持久化类与表的映射关系,ORM框架在运行时就能参照映射文件的信息,把对象持久化到数据库中。
通过ORM框架可以执行数据查询操作,即通过ORM框架运行初始数据查询语句,以生成第一数据查询请求的响应数据。
记录类型可以是插入和更新中的一者。
在根据散列值确定记录类型为插入的情况下,按照记录类型对查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识进行记录处理,可以是在预先配置的优化参考记录的存储区域中插入一条新的优化参考记录,该优化参考记录包括查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识中的至少一者。
例如,优化参考记录的存储区域包括优化参考记录1、优化参考记录2以及优化参考记录3。根据散列值确定记录类型为插入,则在优化参考记录的存储区域插入优化参考记录4,该优化参考记录4包括查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识。
在根据散列值确定记录类型为更新的情况下,按照记录类型对查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识进行记录处理,可以是根据该应用标识和初始数据查询语句在优化参考记录的存储区域中找到对应的历史优化参考记录,对该历史优化参考记录进行数据更新处理;数据更新后的历史优化参考记录包括查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识中的至少一者。
初始数据查询语句可以表征数据查询操作,应用标识可以表征数据查询操作。
例如,待记录的查询操作参数、初始数据查询语句、索引信息、表结构信息以及应用标识分别为查询操作参数2’、初始数据查询语句2、索引信息2’、表结构信息2’以及应用标识2。
优化参考记录的存储区域包括优化参考记录1、优化参考记录2以及优化参考记录3。优化参考记录1包括查询操作参数1、初始数据查询语句1、索引信息1、表结构信息1以及应用标识1;优化参考记录1包括查询操作参数2、初始数据查询语句2、索引信息2、表结构信息2以及应用标识2;优化参考记录3包括查询操作参数3、初始数据查询语句3、索引信息3、表结构信息3以及应用标识3。根据散列值确定记录类型为更新,根据应用标识2和初始数据查询语句2在优化参考记录的存储区域中找到对应的历史优化参考记录为优化参考记录2,对优化参考记录2进行数据更新处理,数据更新后的优化参考记录2包括:查询操作参数2’、初始数据查询语句2、索引信息2’、表结构信息2’以及应用标识2。
优化参考记录可以用于供业务人员进行数据分析,从而调整数据查询语句的分析方式。
在一种具体的实现方式中,查询操作参数包括额外字段信息;根据数据查询语句的分析方式、查询操作参数和字符串匹配结果,生成初始数据查询语句的第一修改方式,包括:根据额外字段信息,确定目标数据是否包括临时表的数据;若目标数据包括临时表的数据,则确定第一修改方式包括针对所述临时表的预设修正方式。
额外字段信息可以包括“extra”字段以及对应的字段值。
考虑到表数据量较大的情况下临时表会使初始数据查询语句的性能急剧下降,则在通过初始数据查询语句查询的目标数据包括临时表的数据的情况下,该初始数据查询语句在表数据量较小的情况下性能良好,在表数据量较大的情况下性能较差。为了防患于未然,需要在目标数据包括临时表的数据的情况下进行针对性地优化。
根据额外字段信息进行分析处理,可以确定目标数据是否包括临时表的数据,若是,则确定第一修改方式包括针对临时表的预设修正方式;若否,则说明无需针对临时表进行优化。
步骤S210,根据第一修改方式对初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求。
第一修正方式包括且不限于:建立索引、减少索引的数量、修改字段类型,等等。
在第一修正方式包括建立索引的情况下,可以在初始数据查询语句中新增索引建立指令,得到目标数据查询语句。
在第一修正方式包括减少索引数量的情况下,可以在初始数据查询语句中删除索引建立指令,得到目标数据查询语句。
在第一修正方式包括修改字段类型的情况下,可以对初始数据查询语句进行变更处理,得到目标数据查询语句;初始数据查询语句中指定字段的字段类型为第一字段类型,目标数据查询语句中该指定字段的字段类型为第二字段类型。指定字段和第二字段类型由第一修正方式确定。
第一字段类型和第二字段类型中,“第一”和“第二”用于区分两个不同的字段类型,不具有实际含义。
步骤S212,获取第二数据查询请求对应的开始时间点和结束时间点。
第二数据查询请求对应的开始时间点可以是根据目标数据查询语句进行数据查询处理之前的时间点,第二数据查询请求对应的结束时间点可以是根据目标数据查询语句进行数据查询处理之后的时间点。第二数据查询请求对应的开始时间点和结束时间点共同用于确定利用目标数据查询语句进行数据查询处理所消耗的时间长度。
在一种具体的实现方式中,获取第二数据查询请求对应的开始时间点和结束时间点,包括:标记第二数据查询请求对应的开始时间点;调用第一线程根据目标数据查询语句进行数据查询处理,在数据查询处理之后,标记第二数据查询请求对应的结束时间点。
第一线程可以是被分配用于执行数据查询任务的线程。
需要强调的是,考虑到线程分配存在随机性,在不同的时间点被分配用于执行数据查询任务的线程可能是不同的。故本实现方式中的第一线程与步骤206中的第一线程可能是同一个线程,也可能是不同的线程。
具体实施时,可以标记第二数据查询请求对应的开始时间点并建立第二异步任务;调用第一线程根据目标数据查询语句进行数据查询处理,在数据查询处理之后标记第二数据查询请求对应的结束时间点;调用第三线程执行第二异步任务得到目标数据查询语句对应的第二修改方式。
第二数据查询请求的处理流程可以参照步骤S204-S208的对应说明部分。
第三线程可以是被分配用于执行第二异步任务的线程。第一线程和第三线程可以是两个不同的线程。其中,“第一”和“第三”仅仅是为了便于区分两个线程,不具有实际含义。
考虑到第二数据查询请求中携带的目标数据查询语句是按照第一修改方式对初始数据查询语句进行修正处理后得到的数据查询语句,则获取的第二数据查询请求对应的第二修改方式可以是预设空值,该预设空值表征无需对目标数据查询语句进行修正。
步骤S214,根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息。
根据第一数据查询请求对应的开始时间点和结束时间点可以确定利用初始数据查询语句进行数据查询处理所消耗的时间长度,得到第一时间长度;根据第二数据查询请求对应的开始时间点和结束时间点可以确定利用目标数据查询语句进行数据查询处理所消耗的时间长度,得到第二时间长度。
若性能优化之后的第二时间长度小于性能优化之前的第一时间长度,说明第一修改方式可以有效提高初始数据查询语句的性能。考虑到临时表在表数据量不同的情况下可能导致数据查询语句的性能不同,在第一修改方式包括针对临时表的预设修正方式的情况下,若第二时间长度与第一时间长度之差小于等于预设时间长度阈值,说明该第一修改方式可能有效提高初始数据查询语句的性能,但由于第一数据查询请求对应的表数据量较小,则优化前后体现不出来性能的变化。
在第一修改方式不包括针对临时表的预设修正方式的情况下,若第二时间长度与第一时间长度之差小于等于预设时间长度阈值,说明第一修改方式未提高初始数据查询语句的性能。
若第二时间长度大于第一时间长度,可以说明第一修改方式对初始数据查询语句的性能起到了负面影响。
根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息,可以是根据第一数据查询请求对应的开始时间点和结束时间点,确定第一时间长度;根据第二数据查询请求对应的开始时间点和结束时间点,确定第二时间长度;根据第一时间长度和第二时间长度,确定第一修改方式的评价信息。
具体实施时,根据第一时间长度和第二时间长度,确定第一修改方式的评价信息可以是根据第一时间长度和第二时间长度的数值大小比较结果,确定第一修改方式的评价信息,也可以是根据第一时间长度与第二时间长度的差值与预设差值阈值的数值大小比较结果,确定第一修改方式的的评价信息。
在第一时间长度与第二时间长度的差值大于预设差值阈值的情况下,可以确定第一修改方式对性能优化的效果显著,能够满足性能优化需求,无需针对该第一修改方式调整数据查询语句的分析方式。
在第一修改方式不包括针对临时表的预设修正方式,且第一时间长度与第二时间长度的差值小于等于预设差值阈值的情况下,可以确定第一修改方式对性能优化的效果不明显,难以满足性能优化需求,需要进一步针对该第一修改方式对数据查询语句的分析方式进行调整和测试。
在一种具体的实现方式中,第一修改方式的数量为多个;生成携带有目标数据查询语句的第二数据查询请求,包括:生成每个第一修改方式对应的第二数据查询请求;第二数据查询请求携带有第一修改方式对应的目标数据查询语句;根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息,包括:根据第一数据查询请求对应的开始时间点和结束时间点,确定初始数据查询语句对应的第一时间长度;根据每个第二数据查询请求对应的开始时间点和结束时间点,确定每个目标数据查询语句对应的第二时间长度;根据第一时间长度和每个第二时间长度的排序结果,生成每个第一修改方式的评价信息。
第一数据查询请求对应的第一修改方式的数量可以是多个。
按照多个第一修改方式中的每个第一修改方式分别对初始目标数据查询语句进行修正处理,得到该第一修改方式对应的目标数据查询语句。
针对多个第一修改方式中的每个第一修改方式,生成该第一修改方式对应的第二数据查询请求,该第二数据查询请求携带有该第一修改方式对应的目标数据查询语句。
第一修改方式的评价信息包括第一修改方式的推荐顺序。
在各个第一修改方式有效的情况下,每个第二时间长度均小于等于第一时间长度,该情况下,可以根据每个第二时间长度的排序结果,生成每个第一修改方式的推荐顺序。
例如,多个第一修改方式包括修改方式1、修改方式2以及修改方式3。按照修改方式1对初始数据查询语句进行修正处理,得到目标数据查询语句1;按照修改方式2对初始数据查询语句进行修正处理,得到目标数据查询语句2;按照修改方式3对初始数据查询语句进行修正处理,得到目标数据查询语句3。初始数据查询语句对应的第一时间长度为T1,目标数据查询语句1对应的第二时间长度为T2,目标数据查询语句2对应的第二时间长度为T3,目标数据查询语句3对应的第二时间长度为T4。T1>T2>T3>T4,则修改方式3的推荐顺序为第1位,修改方式2的推荐顺序为第2位,修改方式1得到推荐顺序为第3位。
在如图1所示的实施例中,首先,拦截第一数据查询请求;第一数据查询请求携带有初始数据查询语句;其次,标记第一数据查询请求对应的开始时间点并建立第一异步任务;然后,调用第一线程根据初始数据查询语句进行数据查询处理,在数据查询处理之后标记第一数据查询请求对应的结束时间点;接着,调用第二线程执行第一异步任务得到初始数据查询语句对应的第一修改方式;接下来,根据第一修改方式对初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求;然后,获取第二数据查询请求对应的开始时间点和结束时间点;最后,根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息。以此,一方面,通过拦截第一数据查询请求和建立第一异步任务,使得数据查询和获取用于修正初始数据查询语句的第一修改方式可以并行处理,减少等待时间,另一方面,针对修正初始数据查询语句之前的第一数据查询请求,在进行数据查询处理之前标记对应的开始时间点,在数据查询处理之后标记对应的结束时间点,获取修正初始数据查询语句之后的第二数据查询请求对应的开始时间点和结束时间点,可以得到语句优化之前的数据处理时间长度和语句优化之后的数据处理时间长度,两次数据查询对应的数据处理时间长度的变化可以直观地反映第一修改方式对应的修正处理对该初始数据查询语句所产生的作用,进而利用该两次数据查询对应的数据处理时间长度可以生成第一修改方式的评价信息,该评价信息可用于数据查询语句的数据分析,进而基于数据分析的结果可以确定适用于初始数据查询语句的修改方式,通过适用于初始数据查询语句的修改方式对初始数据查询语句进行修正处理,可以优化语句性能,缩短数据查询的等待时间,提高数据查询效率。。
图3a为本实施例提供的一种数据处理方法中应用服务端的工作原理图;图3b为本实施例提供的一种数据处理方法中平台服务端的工作原理图。
如图3a所示,应用3012指的是执行数据查询操作的客户端,应用3012通过数据查询语言在数据库3014中进行数据查询处理。设置于客户端的插件3016拦截应用3012发出的数据查询语言且发送至应用服务端301。应用服务端301执行异步操作:根据数据查询语言生成对应的执行计划、表结构信息以及索引信息,并发送至平台服务端。
如图3b所示,步骤S302,存储优化参考记录。
该优化参考记录包括由应用服务端301发送的执行计划、表结构信息以及索引信息。
步骤S304,数据查询语言语法解析。
步骤S306,分析执行计划。
步骤S308,执行分析链的动态脚本。
步骤S310,分析预设参数。
预设参数可以是执行计划结果包括的字段。
预设参数包括且不限于:“select_type”字段、“type”字段、“key”字段和“key_len”以及“extra”字段。
例如,分析“type”字段,确认使用到的索引类型,索引类型包括且不限于:
system,const,eq-ref,……,ALL。
综合目标数据的数据表名、筛选条件字段、表索引信息以及上述的使用到的索引类型进行分析处理,确定是否数据查询处理过程中是否使用到了索引。
当“type”字段对应的字段值为ALL时,表示全表扫描性能极低需要紧急优化,优化方案可以为建议创建相关字段的索引。优化方案可以参照图2实施例中的第一修改方式的对应说明部分。
另外,还可以分析多条件查询,确定复合索引是否命中,以及,确定是否遵循了最左匹配的原则。
最左匹配原则是指在使用了联合索引的情况下,最左优先,以最左边为起点任何连续的索引都能匹配上。
步骤S312,输出优化方案。
由于技术构思相同,本实施例中描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。
图4为本实施例提供的另一种数据处理方法的处理流程图。
步骤S402,应用服务执行数据查询语言。
步骤S404,拦截器拦截数据查询语言。
步骤S406,执行异步任务。
步骤S408,解析数据查询语言。
步骤S410,生成三种执行命令。
三种执行指令分别为:执行计划的查询指令、表结构信息的查询指令以及索引信息的查询指令。
其中,表结构信息的查询指令以及索引信息的查询指令的执行时间位于执行计划的查询指令的执行时间之后。
步骤S412,通过插件执行命令返回结果集。
步骤S414,将结果集发送至平台服务端。
步骤S416,接受应用端发送的数据集。
步骤S418,根据数据查询语句和应用标识计算散列值。
步骤S420,将优化参考信息存入表中。
步骤S422,通过多模匹配算法解析数据查询语句。
步骤S424,执行计划结果分析。
步骤S426,执行第一分析器。
第一分析器的工作原理可以参照图3b中的步骤S310。
步骤S428,分析执行计划的预设字段。
步骤S430,分析多条件查询是否使用到复合索引、是否符合复合索引的最左匹配原则。
步骤S432,分析执行计划的预设参数。
步骤S434,执行自定义动态脚本分析链。
平台服务端可以提供图像化的动态脚本录入功能,研发人员自己编写分析策略的脚本。底层原理是通过GroovyScriptEngine脚本引擎加载自定义Groovy脚本去分析动态添加的分析策略方法。
以数据查询语句为sql为例,该脚本获取到客户端上报的执行计划结果、sql元数据、表字段结构数据;该脚本去解析出select*from user where userid=“100”的查询条件即userid=“100”,同时又去解析表字段userid的数据类型为整数的类型;通过分析确定条件查询userid的入参值与该表字段userid真实的类型是否一致;若发现sql传递的值为字符,而该字段的真实类型为整数类型,那么则输出需要修改sql的查询条件的类型值的优化建议方案。因为查询条件的值类型与mysql字段定义的类型不符合时,此时索引会失效会全表扫描所有数据,性能极差。
步骤S436,分析链的分析结果汇总为优化方案。
优化方案可以参照图2实施例中的第一修改方式的对应说明部分。
步骤S438,优化方案输出到前端界面供研发人员采用。
研发人员可以在管理界面查看各个业务系统产生的sql的性能分析表,同时提供了相关sql的优化方案。
由于技术构思相同,本实施例中描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。
在上述的实施例中,提供了一种数据处理方法,与之相对应的,基于相同的技术构思,本申请实施例还提供了一种数据处理装置,下面结合附图进行说明。
图5为本申请实施例提供的一种数据处理装置示意图。
本实施例提供一种数据处理装置500,包括:
拦截单元502,用于拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
建立单元504,用于标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
标记单元506,用于调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
执行单元508,用于调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
生成单元510,用于根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取单元512,用于获取所述第二数据查询请求对应的开始时间点和结束时间点;
所述生成单元510,还用于根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
可选地,执行单元508,具体用于:
基于所述初始数据查询语句,生成所述初始数据查询语句的查询操作参数的查询指令;
执行所述查询指令,得到所述查询操作参数;
根据预先配置的多个解析关键词对所述初始数据查询语句进行字符串匹配处理,得到所述初始数据查询语句的字符串匹配结果;
根据所述数据查询语句的分析方式、所述查询操作参数和所述字符串匹配结果,生成所述初始数据查询语句的第一修改方式。
可选地,所述解析关键词包括元数据关键词和特殊字段关键词;执行单元508,还用于:
根据多个所述元数据关键词和预设的第一字典树对所述初始数据查询语句进行字符串匹配处理,得到目标数据在预设数据库中对应的数据表名、所述目标数据的字段名以及所述目标数据对应的查询条件;
根据所述数据表名,获取对应的索引信息和表结构信息;
根据所述索引信息和所述表结构信息,构建第二字典树;
根据多个所述特殊字段关键词和所述第二字典树对所述初始数据查询语句进行字符串匹配处理,得到所述初始数据查询语句的字符串匹配结果。
可选地,所述第一数据查询请求携带有应用标识;数据处理装置500还包括:
映射单元,用于对所述应用标识和所述初始数据查询语句进行映射处理,得到散列值;
确定单元,用于根据所述散列值确定所述初始数据查询语句对应的记录类型;所述记录类型为插入和更新中的一者;
记录单元,用于按照所述记录类型对所述查询操作参数、所述初始数据查询语句、所述索引信息、所述表结构信息以及所述应用标识进行记录处理,得到所述第一数据查询请求对应的优化参考记录;所述优化参考记录用于调整所述数据查询语句的分析方式。
可选地,所述第一修改方式的数量为多个;所述生成单元510,具体用于:
生成每个所述第一修改方式对应的第二数据查询请求;所述第二数据查询请求携带有所述第一修改方式对应的目标数据查询语句;
根据所述第一数据查询请求对应的开始时间点和结束时间点,确定所述初始数据查询语句对应的第一时间长度;
根据每个所述第二数据查询请求对应的开始时间点和结束时间点,确定每个所述目标数据查询语句对应的第二时间长度;
根据所述第一时间长度和每个所述第二时间长度的排序结果,生成每个所述第一修改方式的评价信息。
可选地,所述查询操作参数包括额外字段信息;执行单元508,还用于:
根据所述额外字段信息,确定目标数据是否包括临时表的数据;
若所述目标数据包括临时表的数据,则确定所述第一修改方式包括针对所述临时表的预设修正方式。
可选地,获取单元512,具体用于:
标记所述第二数据查询请求对应的开始时间点;
调用所述第一线程根据所述目标数据查询语句进行数据查询处理,在所述数据查询处理之后,标记所述第二数据查询请求对应的结束时间点。
本申请实施例所提供的数据处理装置包括:拦截单元,用于拦截第一数据查询请求;第一数据查询请求携带有初始数据查询语句;建立单元,用于标记第一数据查询请求对应的开始时间点并建立第一异步任务;标记单元,用于调用第一线程根据初始数据查询语句进行数据查询处理,在数据查询处理之后标记第一数据查询请求对应的结束时间点;执行单元,用于调用第二线程执行第一异步任务得到初始数据查询语句对应的第一修改方式;生成单元,用于根据第一修改方式对初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有目标数据查询语句的第二数据查询请求;获取单元,用于获取第二数据查询请求对应的开始时间点和结束时间点;生成单元,还用于根据第一数据查询请求对应的开始时间点、结束时间点和第一修改方式以及第二数据查询请求对应的开始时间点和结束时间点,生成第一修改方式的评价信息。以此,一方面,通过拦截第一数据查询请求和建立第一异步任务,使得数据查询和获取用于修正初始数据查询语句的第一修改方式可以并行处理,减少等待时间,另一方面,针对修正初始数据查询语句之前的第一数据查询请求,在进行数据查询处理之前标记对应的开始时间点,在数据查询处理之后标记对应的结束时间点,获取修正初始数据查询语句之后的第二数据查询请求对应的开始时间点和结束时间点,可以得到语句优化之前的数据处理时间长度和语句优化之后的数据处理时间长度,两次数据查询对应的数据处理时间长度的变化可以直观地反映第一修改方式对应的修正处理对该初始数据查询语句所产生的作用,进而利用该两次数据查询对应的数据处理时间长度可以生成第一修改方式的评价信息,该评价信息可用于数据查询语句的数据分析,进而基于数据分析的结果可以确定适用于初始数据查询语句的修改方式,通过适用于初始数据查询语句的修改方式对初始数据查询语句进行修正处理,可以优化语句性能,缩短数据查询的等待时间,提高数据查询效率。
对应上述描述的一种数据处理方法,基于相同的技术构思,本申请实施例还提供一种电子设备,该电子设备用于执行上述提供的数据处理方法,图6为本申请实施例提供的一种电子设备的结构示意图。
如图6所示,电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器601和存储器602,存储器602中可以存储有一个或一个以上存储应用程序或数据。其中,存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地,处理器601可以设置为与存储器602通信,在电子设备上执行存储器602中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源603,一个或一个以上有线或无线网络接口604,一个或一个以上输入/输出接口605,一个或一个以上键盘606等。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取所述第二数据查询请求对应的开始时间点和结束时间点;
根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
本说明书提供的一种计算机可读存储介质实施例如下:
对应上述描述的一种数据处理方法,基于相同的技术构思,本申请实施例还提供一种计算机可读存储介质。
本实施例提供的计算机可读存储介质,用于存储计算机可执行指令,计算机可执行指令在被处理器执行时实现以下流程:
拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取所述第二数据查询请求对应的开始时间点和结束时间点;
根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
需要说明的是,本说明书中关于计算机可读存储介质的实施例与本说明书中关于数据处理方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应方法的实施,重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白,本申请实施例可提供为方法、系统或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取所述第二数据查询请求对应的开始时间点和结束时间点;
根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
2.根据权利要求1所述的方法,其特征在于,所述执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式,包括:
基于所述初始数据查询语句,生成所述初始数据查询语句的查询操作参数的查询指令;
执行所述查询指令,得到所述查询操作参数;
根据预先配置的多个解析关键词对所述初始数据查询语句进行字符串匹配处理,得到所述初始数据查询语句的字符串匹配结果;
根据所述数据查询语句的分析方式、所述查询操作参数和所述字符串匹配结果,生成所述初始数据查询语句的第一修改方式。
3.根据权利要求2所述的方法,其特征在于,所述解析关键词包括元数据关键词和特殊字段关键词;所述根据预先配置的多个解析关键词对所述初始数据查询语句进行字符串匹配处理,得到所述初始数据查询语句的字符串匹配结果,包括:
根据多个所述元数据关键词和预设的第一字典树对所述初始数据查询语句进行字符串匹配处理,得到目标数据在预设数据库中对应的数据表名、所述目标数据的字段名以及所述目标数据对应的查询条件;
根据所述数据表名,获取对应的索引信息和表结构信息;
根据所述索引信息和所述表结构信息,构建第二字典树;
根据多个所述特殊字段关键词和所述第二字典树对所述初始数据查询语句进行字符串匹配处理,得到所述初始数据查询语句的字符串匹配结果。
4.根据权利要求3所述的方法,其特征在于,所述第一数据查询请求携带有应用标识;所述根据所述数据表名,获取对应的索引信息和表结构信息之后,所述方法还包括:
对所述应用标识和所述初始数据查询语句进行映射处理,得到散列值;
根据所述散列值确定所述初始数据查询语句对应的记录类型;所述记录类型为插入和更新中的一者;
按照所述记录类型对所述查询操作参数、所述初始数据查询语句、所述索引信息、所述表结构信息以及所述应用标识进行记录处理,得到所述第一数据查询请求对应的优化参考记录;所述优化参考记录用于调整所述数据查询语句的分析方式。
5.根据权利要求1所述的方法,其特征在于,所述第一修改方式的数量为多个;所述生成携带有所述目标数据查询语句的第二数据查询请求,包括:
生成每个所述第一修改方式对应的第二数据查询请求;所述第二数据查询请求携带有所述第一修改方式对应的目标数据查询语句;
所述根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息,包括:
根据所述第一数据查询请求对应的开始时间点和结束时间点,确定所述初始数据查询语句对应的第一时间长度;
根据每个所述第二数据查询请求对应的开始时间点和结束时间点,确定每个所述目标数据查询语句对应的第二时间长度;
根据所述第一时间长度和每个所述第二时间长度的排序结果,生成每个所述第一修改方式的评价信息。
6.根据权利要求2所述的方法,其特征在于,所述查询操作参数包括额外字段信息;所述根据所述数据查询语句的分析方式、所述查询操作参数和所述字符串匹配结果,生成所述初始数据查询语句的第一修改方式,包括:
根据所述额外字段信息,确定目标数据是否包括临时表的数据;
若所述目标数据包括临时表的数据,则确定所述第一修改方式包括针对所述临时表的预设修正方式。
7.根据权利要求1所述的方法,其特征在于,所述获取所述第二数据查询请求对应的开始时间点和结束时间点,包括:
标记所述第二数据查询请求对应的开始时间点;
调用所述第一线程根据所述目标数据查询语句进行数据查询处理,在所述数据查询处理之后,标记所述第二数据查询请求对应的结束时间点。
8.一种数据处理装置,其特征在于,包括:
拦截单元,用于拦截第一数据查询请求;所述第一数据查询请求携带有初始数据查询语句;
建立单元,用于标记所述第一数据查询请求对应的开始时间点并建立第一异步任务;
标记单元,用于调用第一线程根据初始数据查询语句进行数据查询处理,在所述数据查询处理之后标记所述第一数据查询请求对应的结束时间点;
执行单元,用于调用第二线程执行所述第一异步任务得到所述初始数据查询语句对应的第一修改方式;
生成单元,用于根据所述第一修改方式对所述初始数据查询语句进行修正处理,得到目标数据查询语句,并生成携带有所述目标数据查询语句的第二数据查询请求;
获取单元,用于获取所述第二数据查询请求对应的开始时间点和结束时间点;
所述生成单元,还用于根据所述第一数据查询请求对应的开始时间点、结束时间点和所述第一修改方式以及所述第二数据查询请求对应的开始时间点和结束时间点,生成所述第一修改方式的评价信息。
9.一种电子设备,其特征在于,所述设备包括:
处理器;以及,被配置为存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-7任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令在被处理器执行时实现如权利要求1-7任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311271455.2A CN117951155A (zh) | 2023-09-27 | 2023-09-27 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311271455.2A CN117951155A (zh) | 2023-09-27 | 2023-09-27 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117951155A true CN117951155A (zh) | 2024-04-30 |
Family
ID=90799353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311271455.2A Pending CN117951155A (zh) | 2023-09-27 | 2023-09-27 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117951155A (zh) |
-
2023
- 2023-09-27 CN CN202311271455.2A patent/CN117951155A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10324909B2 (en) | Omega names: name generation and derivation utilizing nested three or more attributes | |
US9116968B2 (en) | Methods and apparatus related to graph transformation and synchronization | |
US9953639B2 (en) | Voice recognition system and construction method thereof | |
US20020116364A1 (en) | Database management program, a database managing method and an apparatus therefor | |
US9483508B1 (en) | Omega names: name generation and derivation | |
CN109597618B (zh) | 程序开发方法、装置、计算机设备及存储介质 | |
US20200142674A1 (en) | Extracting web api endpoint data from source code | |
CN113961768B (zh) | 敏感词检测方法、装置、计算机设备和存储介质 | |
CN108415998B (zh) | 应用依赖关系更新方法、终端、设备及存储介质 | |
CN111240772B (zh) | 一种基于区块链的数据处理方法、装置及存储介质 | |
CN112100152A (zh) | 业务数据处理方法、系统、服务器和可读存储介质 | |
CN108959294B (zh) | 一种访问搜索引擎的方法和装置 | |
CN117421302A (zh) | 一种数据处理方法及相关设备 | |
CN111125156A (zh) | 数据的查询方法、装置和电子设备 | |
CN113254470B (zh) | 一种数据更改方法、装置、计算机设备及存储介质 | |
CN117951155A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115455006A (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
CN114564208A (zh) | 安卓应用程序的反编译方法、电子设备和介质 | |
CN114547083A (zh) | 数据处理方法、装置及电子设备 | |
CN113342647A (zh) | 一种测试数据的生成方法及装置 | |
CN113254399A (zh) | 日志查询方法、装置、电子设备及介质 | |
CN113868249A (zh) | 一种数据存储方法、装置、计算机设备以及存储介质 | |
CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
CN113076330A (zh) | 查询处理方法、装置、数据库系统、电子设备及存储介质 | |
CN112749189A (zh) | 数据查询方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |