CN111506603A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111506603A
CN111506603A CN202010326138.6A CN202010326138A CN111506603A CN 111506603 A CN111506603 A CN 111506603A CN 202010326138 A CN202010326138 A CN 202010326138A CN 111506603 A CN111506603 A CN 111506603A
Authority
CN
China
Prior art keywords
plan
identification code
execution
cache
execution plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010326138.6A
Other languages
English (en)
Other versions
CN111506603B (zh
Inventor
宋鑫
韩朱忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN202010326138.6A priority Critical patent/CN111506603B/zh
Publication of CN111506603A publication Critical patent/CN111506603A/zh
Application granted granted Critical
Publication of CN111506603B publication Critical patent/CN111506603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24542Plan optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、设备及存储介质。包括:接收客户端发送的SQL语句,并生成所述SQL语句对应的标识码;从第一缓存中查找是否存在与所述标识码匹配的标识码;若存在,则将所述标识码发送至计划执行节点,使得所述计划执行节点根据所述标识码从第二缓存中获取目标执行计划,并根据所述目标执行计划处理数据。将执行计划的基本信息缓存于计划生成节点的第一缓存中,将执行计划缓存于计划执行节点的第二缓存中,当接收的SQL语句的标识码与缓存中的标识码匹配时,直接复用第二缓存中的执行计划,无需重新生成、打包、发送及解包执行计划,从而提高数据的处理效率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
计划重用是数据库管理系统中一种常见的查询优化手段,通过缓存已处理过的结构化查询语言(Structured Query Language,SQL)语句的执行计划,在后续的SQL语句到来时,如果后续的SQL语句与缓存的执行计划匹配,则直接获取缓存的执行计划,消除了后续SQL语句的解析、优化和执行计划生成的时间开销。
现有分布式数据库中的计划重用往往关注了计划的生成节点,而忽视了计划的执行节点。这意味着即使计划缓存匹配,生成节点上减少了计划生成时间,生成节点仍然需要将匹配到的计划打包发送给执行节点,执行节点随后解包计划并执行,影响执行计划的重用效率。
发明内容
本发明实施例提供一种数据处理方法、装置、设备及存储介质,可以提高数据处理效率。
第一方面,本发明实施例提供了一种数据处理方法,所述方法由计划生成节点执行,包括:
接收客户端发送的SQL语句,并生成所述SQL语句对应的标识码;
从第一缓存中查找是否存在与所述标识码匹配的标识码;
若存在,则将所述标识码发送至计划执行节点,使得所述计划执行节点根据所述标识码从第二缓存中获取目标执行计划,并根据所述目标执行计划处理数据。
第二方面,本发明实施例还提供了一种数据处理方法,所述方法由计划执行节点执行,包括:
接收计划生成节点发送的标识码;
根据所述标识码从第二缓存中获取目标执行计划;
根据所述目标执行计划处理数据。
第三方面,本发明实施例还提供了一种数据处理装置,所述装置设置于计划生成节点,包括:
标识码生成模块,用于接收客户端发送的SQL语句,并生成所述SQL语句对应的标识码;
匹配码查找模块,用于从第一缓存中查找是否存在与所述标识码匹配的标识码;
标识码发送模块,用于当第一缓存中存在与所述标识码匹配的标识码时,将所述标识码发送至计划执行节点,使得所述计划执行节点根据所述标识码从第二缓存中获取目标执行计划,并根据所述目标执行计划处理数据。
第四方面,本发明实施例还提供了一种数据处理装置,所述装置设置于计划执行节点,包括:
标识码接收模块,用于接收计划生成节点发送的标识码;
目标执行计划获取模块,用于根据所述标识码从第二缓存中获取目标执行计划;
数据处理模块,用于根据所述目标执行计划处理数据。
第五方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例所述的数据处理方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明实施例所述的数据处理方法。
本发明实施例提供的数据处理方法,首先接收客户端发送的SQL语句,并生成SQL语句对应的标识码,然后从第一缓存中查找是否存在与标识码匹配的标识码,若存在,则将标识码发送至计划执行节点,使得计划执行节点根据标识码从第二缓存中获取目标执行计划,并根据目标执行计划处理数据。将执行计划的基本信息缓存于计划生成节点的第一缓存中,将执行计划缓存于计划执行节点的第二缓存中,当接收的SQL语句的标识码与缓存中的标识码匹配时,直接复用第二缓存中的执行计划,无需重新生成、打包、发送及解包执行计划,从而提高数据的处理效率。
附图说明
图1是本发明实施例一中的一种数据处理方法的流程图;
图2是本发明实施例二中的一种数据处理方法的流程图;
图3是本发明实施例三中的一种数据处理装置的结构示意图;
图4是本发明实施例四中的一种数据处理装置的结构示意图;
图5是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据处理方法的流程图,本实施例可适用于对数据库数据进行处理的情况,该方法可以由数据处理装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有数据处理功能的设备中,该设备可以是计划生成节点。如图1所示,该方法具体包括如下步骤:
步骤110,接收客户端发送的SQL语句,并生成SQL语句对应的标识码。
其中,计划生成节点(SQL Processor,SP)负责对接收的SQL语句进行解析以生成执行计划,将执行计划按照通讯操作符分割得到一系列子计划,根据各计划对应的计划执行节点(Backend Processor,BP),将计划发送至对应的计划执行节点,使得计划执行节点根据执行计划处理数据。
本实施例中,生成SQL语句对应的标识码的过程可以是根据SQL字符串和用户环境生成唯一标识码ID。
步骤120,从第一缓存中查找是否存在与标识码匹配的标识码。
其中,第一缓存用于缓存已经生成的执行计划的基本信息,基本信息包括执行计划的标识码、执行计划对应的SQL字符串及执行计划对应的计划执行节点。示例性的,表1是本实施例中第一缓存存储的执行计划的基本信息的示例。
表1
标识码 ID a ID b ID c
SQL字符串 SQL a SQL b SQL c
位置信息 BP 1,BP2 BP 2 BP1,BP 2
从表1可以看出,第一缓存中存储有三个执行计划的基本信息。
步骤130,若存在,则将标识码发送至计划执行节点,使得计划执行节点根据标识码从第二缓存中获取目标执行计划,并根据目标执行计划处理数据。
其中,第二缓存用于存储执行计划的信息,包括:执行计划的标识码、计划生成节点及执行计划的内容。示例性的,表2和表3是本实施例中第二缓存存储的执行计划的信息的示例。
表2
标识码 ID a ID c
计划来源 SP1 SP1,SP3
计划内容 计划a 计划c
表3
标识码 ID a ID b ID c
计划来源 SP1 SP1,SP2 SP1,SP3
计划内容 计划a 计划b 计划c
假设表1是SP1的第一缓存,那么表2为BP1的第二缓存,表3为BP2的第二缓存。
可选的,计划执行节点处理数据完成后,向计划生成节点返回执行成功或失败的消息。
本实施例的技术方案,首先接收客户端发送的SQL语句,并生成SQL语句对应的标识码,然后从第一缓存中查找是否存在与标识码匹配的标识码,若存在,则将标识码发送至计划执行节点,使得计划执行节点根据标识码从第二缓存中获取目标执行计划,并根据目标执行计划处理数据。将执行计划的基本信息缓存于计划生成节点的第一缓存中,将执行计划缓存于计划执行节点的第二缓存中,当接收的SQL语句的标识码与缓存中的标识码匹配时,只需发送标识码,计划执行节点直接复用第二缓存中的执行计划,无需重新生成、打包、发送及解包执行计划,从而提高数据的处理效率。
可选的,在从第一缓存中查找是否存在与标识码匹配的标识码之后,还包括如下步骤:若第一缓存中不存在与标识码匹配的标识码,则生成SQL语句对应的执行计划;将执行计划发送至计划执行节点,使得计划执行节点根据执行计划处理数据。
具体的,若第一缓存中不存在与接收的SQL语句的标识码匹配的标识码,则计划生成节点对SQL语句进行解析生成对应的执行计划,并将执行计划发送至计划执行节点,使得计划执行节点根据执行计划处理数据。
可选的,在生成SQL语句对应的执行计划之后,还包括如下步骤:获取执行计划的基本信息;将基本信息存储至第一缓存中。
其中,基本信息包括:执行计划的标识码、执行计划对应的SQL字符串及执行计划对应的计划执行节点。将执行计划存储至第一缓存中,利于后续执行计划的复用。
可选的,将基本信息存储至第一缓存中的过程可以是:若第一缓存达到缓存上限,则确定第一待删除执行计划;将第一待删除执行计划从第一缓存中删除,并生成第一删除信息,第一删除信息包括第一待删除执行计划的标识码;将第一删除信息发送至第一待删除执行计划对应的计划执行节点,使得计划执行节点删除第二缓存中第一删除信息对应的执行计划;将基本信息存储至清理后的第一缓存中。若第二缓存中第一删除信息对应的执行计划的来源还有其他计划生成节点,则将该第一删除信息发送至其他计划生成节点。
示例性的,表1和表2为例,表1是SP1的第一缓存,表2是BP1的第二缓存,若SP1确定将ID c的基本信息删除,则将删除信息发送至BP1和BP2,BP1接收到删除信息后,将ID c对应的执行计划删除,同时将删除信息发送至SP3,使得SP3将ID c的基本信息删除。BP2接收到删除信息后,将ID c对应的执行计划删除,同时将删除信息发送至SP3,使得SP3将ID c的基本信息删除。对SP3而言,会收到两个删除ID c请求(分别来自BP1、BP2),SP3在删除ID c后,忽略第二次接收的删除ID c请求。
第一待删除执行计划的确定方式可以是,根据缓存至第一缓存的时间或被复用的次数来确定,例如:将最早存储至第一缓存或者复用次数最少的执行计划确定为第一待删除执行计划。
可选的,还包括如下步骤:接收计划执行节点发送的第二删除信息;删除第一缓存中第二删除信息对应的执行计划。
其中,第二删除信息包含第二待删除执行计划的标识码。
实施例二
图2为本发明实施例二提供的一种数据处理方法的流程图,本实施例可适用于对数据库数据进行处理的情况,该方法可以由数据处理装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有数据处理功能的设备中,该设备可以是计划执行节点。如图2所示,该方法具体包括如下步骤:
步骤210,接收计划生成节点发送的标识码。
其中,标识码可以是计划生成节点根据SQL语句的字符串及用户环境生成的。当计划执行节点接收计划生成节点发送的标识码时,表明该标识码对应的执行计划是存储在第二缓存中的。
步骤220,根据标识码从第二缓存中获取目标执行计划。
其中,第二缓存用于存储执行计划的信息,包括:执行计划的标识码、计划生成节点及执行计划的内容。根据标识码可以从第二缓存中获取到目标执行计划的内容。
步骤230,根据目标执行计划处理数据。
具体的,计划执行节点从第二缓存中获取到目标执行计划后,根据目标执行计划处理数据。
可选的,计划执行节点处理数据完成后,向计划生成节点返回执行成功或失败的消息。
可选的,还包括如下步骤:接收计划生成节点发送的执行计划;根据执行计划处理数据。
其中,执行计划是由计划生成节点解析SQL语句获得的。若计划执行节点接收计划生成节点发送的执行计划,表明执行计划不在第一缓存中,执行计划可能存在于第二缓存也可能不存在于第二缓存。如果存在,表明该SQL曾经由至少一个其他的计划生成节点接收并生成了执行计划发送给当前计划执行节点;如果不存在,表明该SQL此前还没有被其他任何计划生成节点接收或者曾经接收并添加至第一和第二缓存过,但是后来又从第一和第二缓存中被清理出去。具体的,计划执行节点对接收的执行计划进行解包处理并根据解包后的执行计划进行数据处理。
可选的,在接收计划生成节点发送的执行计划之后,还包括如下步骤:将执行计划的信息存储至第二缓存中。
其中,执行计划的信息包括:执行计划的标识码、计划生成节点及执行计划的内容。
具体的,将执行计划的信息存储至第二缓存中的过程可以是:若第二缓存达到缓存上限,则确定第二待删除执行计划;将第二待删除执行计划从第二缓存中删除,并生成第二删除信息,第二删除信息包括第二待删除执行计划的标识码;将第二删除信息发送至第二待删除执行计划对应的计划生成节点,使得计划生成节点删除第一缓存中第二删除信息对应的执行计划;将执行计划的信息存储至清理后的第二缓存中。若第一缓存中第二删除信息对应的执行计划还对应其他计划执行节点,则将第二删除信息发送至其他计划执行节点。
示例性的,以实施例一种的表1、表2和表3为例,表1是SP1的第一缓存,表2是BP1的第二缓存,表3是BP2的第二缓存,若BP1确定将ID a的基本信息删除,则将删除信息发送至SP1,BP1接收到删除信息后,将ID a对应的执行计划删除,同时将删除信息发送至BP2,使得BP2将ID a的基本信息删除。
第二待删除执行计划的确定方式可以是,根据缓存至第二缓存的时间或被复用的次数来确定,例如:将最早存储至第二缓存或者复用次数最少的执行计划确定为第二待删除执行计划。
可选的,还包括如下步骤:接收计划生成节点发送的第一删除信息;所述第一删除信息包含第一待删除执行计划的标识码;删除第二缓存中所述第一删除信息对应的执行计划。
本实施例的技术方案,接收计划生成节点发送的标识码,根据标识码从第二缓存中获取目标执行计划,根据目标执行计划处理数据。当接收的SQL语句的标识码与缓存中的标识码匹配时,只需发送标识码,计划执行节点直接复用第二缓存中的执行计划,无需重新生成、打包、发送及解包执行计划,从而提高数据的处理效率。
实施例三
图3为本发明实施例三提供的一种数据处理装置的结构示意图。该装置设置于计划生成节点,如图3所示,包括:标识码生成模块310,匹配码查找模块320和标识码发送模块330。
标识码生成模块310,用于接收客户端发送的SQL语句,并生成SQL语句对应的标识码;
匹配码查找模块320,用于从第一缓存中查找是否存在与标识码匹配的标识码;
标识码发送模块330,用于当第一缓存中存在与标识码匹配的标识码时,将标识码发送至计划执行节点,使得计划执行节点根据标识码从第二缓存中获取目标执行计划,并根据目标执行计划处理数据。
可选的,还包括执行计划生成模块,用于:
若第一缓存中不存在与标识码匹配的标识码,则生成SQL语句对应的执行计划;
将执行计划发送至计划执行节点,使得计划执行节点根据执行计划处理数据。
可选的,还包括第一计划缓存模块,用于:
获取执行计划的基本信息;基本信息包括:执行计划的标识码、执行计划对应的SQL字符串及执行计划对应的计划执行节点;
将基本信息存储至第一缓存中。
可选的,第一计划缓存模块,还用于:
若第一缓存达到缓存上限,则确定第一待删除执行计划;
将第一待删除执行计划从第一缓存中删除,并生成第一删除信息,第一删除信息包括第一待删除执行计划的标识码;
将第一删除信息发送至第一待删除执行计划对应的计划执行节点,使得计划执行节点删除第二缓存中第一删除信息对应的执行计划;
将基本信息存储至清理后的第一缓存中。
可选的,还包括,第一计划删除模块,用于:
接收计划执行节点发送的第二删除信息;第二删除信息包含第二待删除执行计划的标识码;
删除第一缓存中第二删除信息对应的执行计划。
实施例四
图4为本发明实施例四提供的一种数据处理装置的结构示意图。该装置设置于由计划执行节点,如图4所示,包括:标识码接收模块410,目标执行计划获取模块420和数据处理模块430。
标识码接收模块410,用于接收计划生成节点发送的标识码;
目标执行计划获取模块420,用于根据标识码从第二缓存中获取目标执行计划;
数据处理模块430,用于根据目标执行计划处理数据。
可选的,还包括:执行计划接收模块,用于:
接收计划生成节点发送的执行计划;
根据执行计划处理数据。
可选的,还包括:第二计划缓存模块,用于:
将执行计划的信息存储至第二缓存中;执行计划的信息包括:执行计划的标识码、计划生成节点及执行计划的内容。
可选的,第二计划缓存模块,还用于:
若第二缓存达到缓存上限,则确定第二待删除执行计划;
将第二待删除执行计划从第二缓存中删除,并生成第二删除信息,第二删除信息包括第二待删除执行计划的标识码;
将第二删除信息发送至第二待删除执行计划对应的计划生成节点,使得计划生成节点删除第一缓存中第二删除信息对应的执行计划;
将执行计划的信息存储至清理后的第二缓存中。
可选的,还包括:第二删除模块,用于:
接收计划生成节点发送的第一删除信息;第一删除信息包含第一待删除执行计划的标识码;
删除第二缓存中第一删除信息对应的执行计划。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备512典型的是承担数据处理功能的计算设备。
如图5所示,计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于:一个或者多个处理器516,存储装置528,连接不同系统组件(包括存储装置528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置528可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块526的程序536,可以存储在例如存储装置528中,这样的程序模块526包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块526通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、摄像头、显示器524等)通信,还可与一个或者多个使得用户能与该计算机设备512交互的设备通信,和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且,计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备512使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储装置528中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的数据处理方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据处理方法。
当然,本发明实施例所提供的一种计算机可读存储介质,其上存储的计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法由计划生成节点执行,包括:
接收客户端发送的SQL语句,并生成所述SQL语句对应的标识码;
从第一缓存中查找是否存在与所述标识码匹配的标识码;
若存在,则将所述标识码发送至计划执行节点,使得所述计划执行节点根据所述标识码从第二缓存中获取目标执行计划,并根据所述目标执行计划处理数据。
2.根据权利要求1所述的方法,其特征在于,在从第一缓存中查找是否存在与所述标识码匹配的标识码之后,还包括:
若第一缓存中不存在与所述标识码匹配的标识码,则生成所述SQL语句对应的执行计划;
将所述执行计划发送至计划执行节点,使得所述计划执行节点根据所述执行计划处理数据。
3.根据权利要求2所述的方法,其特征在于,在生成所述SQL语句对应的执行计划之后,还包括:
获取所述执行计划的基本信息;所述基本信息包括:执行计划的标识码、执行计划对应的SQL字符串及执行计划对应的计划执行节点;
将所述基本信息存储至第一缓存中。
4.根据权利要求3所述的方法,其特征在于,将所述基本信息存储至第一缓存中,包括:
若所述第一缓存达到缓存上限,则确定第一待删除执行计划;
将所述第一待删除执行计划从第一缓存中删除,并生成第一删除信息,所述第一删除信息包括第一待删除执行计划的标识码;
将所述第一删除信息发送至所述第一待删除执行计划对应的计划执行节点,使得所述计划执行节点删除第二缓存中所述第一删除信息对应的执行计划;
将所述基本信息存储至清理后的第一缓存中。
5.根据权利要求4所述的方法,其特征在于,还包括:
接收计划执行节点发送的第二删除信息;所述第二删除信息包含第二待删除执行计划的标识码;
删除第一缓存中所述第二删除信息对应的执行计划。
6.一种数据处理方法,其特征在于,所述方法由计划执行节点执行,包括:
接收计划生成节点发送的标识码;
根据所述标识码从第二缓存中获取目标执行计划;
根据所述目标执行计划处理数据。
7.根据权利要求6所述的方法,其特征在于,还包括:
接收计划生成节点发送的执行计划;
根据所述执行计划处理数据。
8.根据权利要求7所述的方法,其特征在于,在接收计划生成节点发送的执行计划之后,还包括:
将所述执行计划的信息存储至第二缓存中;所述执行计划的信息包括:执行计划的标识码、计划生成节点及执行计划的内容。
9.根据权利要求8所述的方法,其特征在于,将所述执行计划的信息存储至第二缓存中,包括:
若所述第二缓存达到缓存上限,则确定第二待删除执行计划;
将所述第二待删除执行计划从第二缓存中删除,并生成第二删除信息,所述第二删除信息包括第二待删除执行计划的标识码;
将所述第二删除信息发送至所述第二待删除执行计划对应的计划生成节点,使得所述计划生成节点删除第一缓存中所述第二删除信息对应的执行计划;
将所述执行计划的信息存储至清理后的第二缓存中。
10.根据权利要求9所述的方法,其特征在于,还包括:
接收计划生成节点发送的第一删除信息;所述第一删除信息包含第一待删除执行计划的标识码;
删除第二缓存中所述第一删除信息对应的执行计划。
11.一种数据处理装置,其特征在于,所述装置设置于计划生成节点,包括:
标识码生成模块,用于接收客户端发送的SQL语句,并生成所述SQL语句对应的标识码;
匹配码查找模块,用于从第一缓存中查找是否存在与所述标识码匹配的标识码;
标识码发送模块,用于当第一缓存中存在与所述标识码匹配的标识码时,将所述标识码发送至计划执行节点,使得所述计划执行节点根据所述标识码从第二缓存中获取目标执行计划,并根据所述目标执行计划处理数据。
12.一种数据处理装置,其特征在于,所述装置设置于计划执行节点,包括:
标识码接收模块,用于接收计划生成节点发送的标识码;
目标执行计划获取模块,用于根据所述标识码从第二缓存中获取目标执行计划;
数据处理模块,用于根据所述目标执行计划处理数据。
13.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-10中任一所述的数据处理方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-10中任一所述的数据处理方法。
CN202010326138.6A 2020-04-23 2020-04-23 数据处理方法、装置、设备及存储介质 Active CN111506603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326138.6A CN111506603B (zh) 2020-04-23 2020-04-23 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326138.6A CN111506603B (zh) 2020-04-23 2020-04-23 数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111506603A true CN111506603A (zh) 2020-08-07
CN111506603B CN111506603B (zh) 2024-03-26

Family

ID=71864308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326138.6A Active CN111506603B (zh) 2020-04-23 2020-04-23 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111506603B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015758A (zh) * 2020-08-27 2020-12-01 中国平安财产保险股份有限公司 产品取码方法、装置、计算机设备和存储介质
CN112417014A (zh) * 2020-11-16 2021-02-26 杭州安恒信息技术股份有限公司 动态修改执行计划方法、系统、计算机可读存储介质
CN115314718A (zh) * 2021-05-07 2022-11-08 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567006A (zh) * 2009-05-25 2009-10-28 中兴通讯股份有限公司 一种数据库系统及分布式sql语句执行计划重用方法
CN106897343A (zh) * 2016-07-20 2017-06-27 阿里巴巴集团控股有限公司 执行计划的查找方法、存储方法及装置
US20180285416A1 (en) * 2017-03-30 2018-10-04 Sap Se Automated application of query hints

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567006A (zh) * 2009-05-25 2009-10-28 中兴通讯股份有限公司 一种数据库系统及分布式sql语句执行计划重用方法
CN106897343A (zh) * 2016-07-20 2017-06-27 阿里巴巴集团控股有限公司 执行计划的查找方法、存储方法及装置
US20180285416A1 (en) * 2017-03-30 2018-10-04 Sap Se Automated application of query hints

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘光霆;何宏;: "ORACLE中SQL执行原理及性能优化研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015758A (zh) * 2020-08-27 2020-12-01 中国平安财产保险股份有限公司 产品取码方法、装置、计算机设备和存储介质
CN112015758B (zh) * 2020-08-27 2023-07-28 中国平安财产保险股份有限公司 产品取码方法、装置、计算机设备和存储介质
CN112417014A (zh) * 2020-11-16 2021-02-26 杭州安恒信息技术股份有限公司 动态修改执行计划方法、系统、计算机可读存储介质
CN115314718A (zh) * 2021-05-07 2022-11-08 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质
CN115314718B (zh) * 2021-05-07 2023-07-14 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111506603B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111506603B (zh) 数据处理方法、装置、设备及存储介质
KR20200104789A (ko) 데이터 저장 및 조회 방법, 장치, 기기 및 매체
CN113468128B (zh) 一种数据处理的方法、装置、电子设备及存储介质
CN106997393A (zh) 数据查询方法、装置、服务器及存储介质
CN102725753A (zh) 优化数据访问的方法及装置、优化数据存储的方法及装置
CN110688544A (zh) 一种查询数据库的方法、设备及存储介质
CN111737564B (zh) 一种信息查询方法、装置、设备及介质
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN111061740B (zh) 一种数据同步方法、设备和存储介质
CN109241100B (zh) 一种查询方法、装置、设备及存储介质
CN110958127B (zh) 一种异常处理方法、装置、设备和计算机存储介质
CN111597800A (zh) 同义句的获取方法及装置、设备及存储介质
CN109657167B (zh) 数据采集方法、装置、服务器及存储介质
US11544225B2 (en) Method and system for content agnostic file indexing
CN112487025A (zh) 数据查询方法、装置、电子设备及存储介质
CN111221888A (zh) 大数据分析系统及方法
CN112039975A (zh) 一种报文字段的处理方法、装置、设备及存储介质
CN116010461A (zh) 数据血缘关系解析方法及装置、存储介质及电子设备
CN114265966A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN110716946B (zh) 特征规则匹配库的更新方法、装置、存储介质及电子设备
CN110753136B (zh) 域名解析方法、装置、设备及存储介质
CN113127496B (zh) 数据库中变更数据的确定方法及装置、介质和设备
CN110515807B (zh) 一种数据库表监控方法、装置、设备及存储介质
CN112364268A (zh) 资源获取方法、装置、电子设备及存储介质
CN112231409A (zh) 数据库同步的初始化装载方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant