CN103310011A - 集群数据库系统环境下的数据查询解析方法 - Google Patents
集群数据库系统环境下的数据查询解析方法 Download PDFInfo
- Publication number
- CN103310011A CN103310011A CN2013102749208A CN201310274920A CN103310011A CN 103310011 A CN103310011 A CN 103310011A CN 2013102749208 A CN2013102749208 A CN 2013102749208A CN 201310274920 A CN201310274920 A CN 201310274920A CN 103310011 A CN103310011 A CN 103310011A
- Authority
- CN
- China
- Prior art keywords
- query
- sub
- query task
- tree
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集群数据库系统环境下的数据查询解析方法,包括:接收到来自客户端的为第一结构化查询语言SQL语句的查询请求后,对所述第一SQL语句进行语法解析,使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树;对所述语法树进行分析并构建相应的查询任务树;根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流;其中:所述查询任务树包括由多层级构成的多个查询任务节点,同一层级包括一个或多个查询任务节点,其中,一个查询任务节点对应一个查询任务,以及,同一层级的多个查询任务节点生成为相互间并行执行的查询任务。采用本发明,可充分利用无共享结构集群数据库系统的并行运行算能力。
Description
技术领域
本发明涉及数据处理技术领域,更具体地,涉及一种集群数据库系统环境下的数据查询解析方法。
背景技术
集群数据库系统通常由采用无共享结构(Shared-nothing)互联的多个数据库节点构成,并且,数据以分布式方式存储在各数据库节点中。
通常在集群数据库系统中,查询语句经过解析(可包括词法分析,语法分析和语义分解和优化),分解成查询执行任务,提交给数据库节点执行查询以获得查询结果。现有一种执行查询的方法是嵌套查询,例如,在一个SELECT语句的WHERE子句、FROM子句或HAVING子句中嵌套另一个SELECT语句的查询称为嵌套查询(又称子查询)。现有的嵌套查询会在多个数据表和数据库节点进行查询和交换,通常会导致复杂的查询算法,从而严重影响查询效率。
因此,需要一种改进的嵌套查询执行方式以实现集群数据库系统环境下的数据查询。
发明内容
为解决现有技术存在的问题,本发明提供了一种集群数据库系统环境下的数据查询解析方法,包括:
接收到来自客户端的为第一结构化查询语言SQL语句的查询请求后,对所述第一SQL语句进行语法解析,使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树,其中,所述SelectStmt结构体包括Select链表、From链表、Where链表、Groupby链表、Having链表、Orderby链表和Union链表;
对所述语法树进行分析并构建相应的查询任务树;
根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流;其中:
所述查询任务树包括由多层级构成的多个查询任务节点,同一层级包括一个或多个查询任务节点,其中,一个查询任务节点对应一个查询任务,以及,同一层级的多个查询任务节点生成为相互间并行执行的查询任务。
在可选实施例中,对所述语法树进行分析并构建相应的查询任务树包括:在判断出第一查询任务节点小数据表嵌套子查询时,提取所述第一查询任务节点中小数据表嵌套子查询语法树并构建为所述第一查询任务节点下的子节点,将查询结果集分发类型标记为ALL。
在可选实施例中,对所述语法树进行分析并构建相应的查询任务树包括:在判断出第二查询任务节点含大数据表嵌套子查询时,提取所述第二查询任务节点中大数据表嵌套子查询语法树并构建为所述第二查询任务节点下的子节点,将查询结果集分发类型标记为HASH。
在可选实施例中,根据预定的优化规则对所述查询任务树进行优化并生成查询任务流,包括:判断未处理的查询任务节点中是否有嵌套查询;在判断为是时,依次判断所述Select链表、From链表、Where链表、Having链表和Union链表中是否有嵌套查询;以及,对判断出有嵌套查询的链表构建对应的子查询任务树,并将所构建的子查询任务树插入到查询任务队列中,以及设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中。
在可选实施例中,所述预定的优化规则包括以下之一或任意组合:
每一个查询任务或子查询任务针对预设的一组数据库节点进行查询,其中,每一数据大表在该组数据库节点中的各数据库节点的分布规则相同,每一数据小表在该组数据库节点中的各数据库节点上设置有数据副本;
将过滤后的查询要求下发给子查询任务节点;
属于一个数据表的子查询结果集采用统一的别名。
在可选实施例中,对判断出有嵌套查询的链表构建对应的子查询任务树,并将所构建的子查询任务树插入到查询任务队列中,以及设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:
判断所述嵌套查询是否与外部数据表关联,
在判断出有关联时,构建子查询任务树节点,作为外部数据表查询任务树节点下的子节点,以及根据所述外部数据表的属性标注该查询结果集分发类型;
在判断出无关联时,构建子查询任务树节点,作为外部数据表查询任务树节点下的子节点,以及将该查询结果集分发类型标注为赋值方式ASSIGN。
在可选实施例中,设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:
在对子查询结果集采用统一的别名时,将所述子查询结果集的第一属性信息更新到相对应的后续查询子任务中,其中,所述子查询结果集的第一属性信息包括子查询结果集列以及子查询结果集别名。
在可选实施例中,设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:在对子查询结果采用中间变量存储时,将所述子查询结果的第二属性信息更新到相对应的链表的后续查询任务中,其中,所述子查询结果集的第二属性信息包括中间结果集名。
本发明实施例通过对查询语句的分解优化,构建并行执行的查询任务流,充分利用无共享结构集群数据库系统的并行运行算能力。
附图说明
图1是集群数据库系统环境下的数据查询的逻辑结构图。
图2是根据发明实施例的一种集群数据库系统环境下的数据查询解析方法的流程示意图。
图3是SelectStmt结构体的结构示意图。
图4是根据本发明一实施例的分解构造的查询任务树。
图5是根据本发明一实施例的嵌套查询优化流程的示意图。
具体实施方式
下面结合附图对本发明进行进一步地详细说明。
集群数据库查询服务的逻辑结构如图1所示,客户端将SQL(StructuredQuery Language,结构化查询语言)查询语句提交给查询服务器20。然后查询服务器20对SQL查询语句进行解析优化后生成并行执行查询任务流,提交给数据库节点30。各数据库节点30在接收到查询任务后执行查询,并获得查询结果,然后各数据库节点30将所得到的查询结果分别发送给查询服务器20。最后,查询服务器20将查询结果汇总,返回给客户端10。
图2是根据发明实施例的一种集群数据库系统环境下的数据查询解析方法的流程示意图。如图2所述,该数据查询解析方法包括以下步骤:
S201,接收到来自客户端的为第一SQL语句的查询请求后,对所述第一SQL语句进行语法解析,使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树。
在本发明实施例中,所述SelectStmt结构体包括Select链表、From链表、Where链表、Groupby链表、Having链表、Orderby链表和Union链表;
S202,对所述语法树进行分析并构建相应的查询任务树。
在本发明实施例中,所述查询任务树包括由多层级构成的多个查询任务节点,同一层级包括一个或多个查询任务节点,其中,一个查询任务节点对应一个查询任务,以及,同一层级的多个查询任务节点生成为相互间并行执行的查询任务。
S203,根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流。
在本发明实施例中,可以采用Lex(Lexical compiler)和Yacc(YetAnother Compiler Compiler)对SQL语句进行词法和语法解析。Lex和Yacc是现有进行词法和语法分析的工具,通过编写词法语法分析规则,构建出词法语法分析的代码。Lex用来实现词法分析模块,原理是利用有限状态自动机识别给定的正则表达式,把符合条件的字符串划为一个令牌(token)。Yacc用于实现语法分析模块,利用BNF解析语句,在不断规约的过程中,把SQL语句解析为一棵语法树。
在本发明实施例中,将语法解析后的SQL语句用一个SelectStmt结构体表示,此结构体是一颗语法树,如图3所示,包括select,from,where,groupby,having,orderby和union共7个链表,其中有些链表可以嵌套包含SelectStmt结构,而union链表内一定是SelectStmt结构。
嵌套查询可能出现在Select list,From list,Where list和Having list中。
图4是根据本发明一实施例的分解构造的查询任务树。图4中,查询子任务表示为处于不同的层级。每一个查询子任务节点都是一个单独执行的SQL语句,其执行结果可以采用外部表的形式进行保存。在本发明实施例中,查询任务流可以分解构造成查询任务树,每个查询子任务节点都是一个运算子,结构为(sql,exeNodelist,distNodelist,distType),其中:sql为执行的sql查询语句,exeNodelist为运行查询任务的数据库节点,distNodelist为查询结果集分发数据库节点,distType为分发类型。
例如,分发类型有HASH,RANGE,ALL,ASSIGN等。HASH指将结果集散列到distNodelist中,RANGE指将结果集排序存储到distNodelist中,ALL指将结果集全拷贝到distNodelist中,ASSIGN(赋值方式)指结果集为一个值,采用中间变量存储。
在一可选实施例中,提取查询任务节点中小表嵌套子查询语法树构建任务树节点,作为此查询任务节点的子节点插入到任务树中,标记结果集分发类型为ALL。构造子查询语句,作为字符串插入到父节点的相应位置
类似地,提取查询任务节点中大表嵌套子查询语法树构建任务树节点,作为此查询任务节点的子节点插入到任务树中,标记结果集分发类型为HASH。构造子查询语句,作为字符串插入到父节点的相应位置。
在本发明实施例中,根据数据的情况确定表的大小,如果是分布存储的表(即数据分块存放在多个数据节点中)则为大表,如果是复制表(即数据在多个节点上存储相同的副本)则为小表。
下面以在Having list中有嵌套查询进行举例说明。Having list中有嵌套查询的情况可以包括以下两种:
A)如果嵌套查询中与外部表有关联,则构造子查询任务树节点,作为外部表任务树节点的子节点插入到任务树中,如果嵌套查询为大表,则标记结果集分发类型为重划分HASH,否则标记结果集分发类型为全复制ALL。构造子查询语句,作为字符串插入到父节点Having list中。
B)如果嵌套查询中与外部表无关联,即嵌套查询只返回一个值,则构造子查询任务树节点,作为外部表任务树节点的子节点插入到任务中。而且,标记结果集分发类型为ASSIGN。将分发变量名作为字符串插入到父节点having list中。
可选地,在本发明实施例中,可以针对上面7个语义链表,进行分解和重组,构造查询任务树。其中,查询任务树中的各查询任务节点可包括7个语义链表中两个或多个。
进一步地,对查询任务树进行优化从而生成查询任务流。通过对并行查询树进行优化,构造左深树,然后生成并行执行任务流。对查询任务数进行优化的一种实现方式可以包括如下:
(1)除中间结果集外,每一个子查询任务只针对一个大表(含大表视图)进行查询。
(2)尽可能下发过滤查询,并将过滤后的查询要求下发到子查询任务节点,减少查询关联的数据量。
例如,如果一个子查询任务中含有过滤条件,且这个子查询任务还有子查询任务节点(即含有孩子节点),如果过滤条件只针对一个孩子节点中的数据表,则将此过滤条件下发给子任务节点执行。
(3)属于一个数据表的子查询结果集采用统一的别名。
每个查询任务节点包含一个PreSemantic列表,表示其子任务队列。
在本发明实施中,嵌套查询优化流程包括如下:
S501,开始;
S502,判断是否有未处理的Semantic节点,如果是,则执行步骤S503。如果否,则执行步骤S510:结束。
S503,提取Semantic节点;
S504,判断Semantic节点中是否有嵌套子查询,如果是,则执行步骤S505;如果否,则返回执行步骤S502。
S505,是否有Having list嵌套;如果是,则执行步骤S506,如果否,则执行步骤S509:
S506,判断嵌套子查询是否与外部表有关联;如果是,则执行步骤S507;如果否,则执行步骤S508。
S507,构造子查询任务树,将所构造的子查询任务树插入到Presemantic队列中,将查询结果集别名更新到having中。然后在执行步骤S507后,继续执行步骤S504。
S508,构造子查询任务树,将所构造的子查询任务树插入到Presemantic队列中,将查询结果赋值给变量,更新having组。然后在执行步骤S508后,继续执行步骤S504。
S509,将嵌套子查询提取出来,生成查询任务树并插入到Presemantic队列中,根据子查询表属性,将查询结果集的属性信息插入到相应的队列中。其中,与查询结果集相关的属性信息包括结果集名及其结构、存储位置等。
然后,在执行步骤S509后,继续执行步骤S504。
在本发明一可选实施例中,设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:在对子查询结果集采用统一的别名时,将该子查询结果集的第一属性信息更新到相对应的后续查询子任务中,其中,该子查询结果集的第一属性信息包括子查询结果集列以及子查询结果集别名。
在可选实施例中,设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:在对子查询结果采用中间变量存储时,将所述子查询结果的第二属性信息更新到相对应的链表的后续查询任务中,其中,所述子查询结果集的第二属性信息包括中间结果集名
本发明实施例通过对查询语句的分解优化,构建并行执行任务流,充分利用无共享结构集群数据库系统的并行运算能力,提高I/O代价+CPU代价查询效率。SQL查询的查询代价公式为:
查询代价=I/O代价+CPU代价+通信代价
进一步地,通过优先执行过滤查询缩小关联数据集,利用高速的集群内部网络,有效降低中间结果传输的时间损耗。而且通过采用中间结果分发机制(即对运算结果的分发操作),降低了查询的通信代价,并可保证结果的正确性。
在此提供的算法和实现不限于任何特定的计算机、虚拟系统或者其它设备。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或部件,以及此外可以把它们分成多个子模块或子单元或子部件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本申请的说明书中虽然描述了本发明实施例的大量具体细节,然而,能够理解,本发明实施例并不是必须在所有的具体细节情况下才能实施。在一些实例中,并未详细示出公知的方法、结构和技术,以便于清楚地理解本发明的发明主旨。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种集群数据库系统环境下的数据查询解析方法,包括:
接收到来自客户端的为第一结构化查询语言SQL语句的查询请求后,对所述第一SQL语句进行语法解析,使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树,其中,所述SelectStmt结构体包括Select链表、From链表、Where链表、Groupby链表、Having链表、Orderby链表和Union链表;
对所述语法树进行分析并构建相应的查询任务树;
根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流;其中:
所述查询任务树包括由多层级构成的多个查询任务节点,同一层级包括一个或多个查询任务节点,其中,一个查询任务节点对应一个查询任务,以及,同一层级的多个查询任务节点生成为相互间并行执行的查询任务。
2.根据权利要求1所述的数据查询解析方法,其特征在于,对所述语法树进行分析并构建相应的查询任务树包括:
在判断出第一查询任务节点含小数据表嵌套子查询时,提取所述第一查询任务节点中小数据表嵌套子查询语法树并构建为所述第一查询任务节点下的子节点,将查询结果集分发类型标记为全复制ALL。
3.根据权利要求1所述的数据查询解析方法,其特征在于,对所述语法树进行分析并构建相应的查询任务树包括:
在判断出第二查询任务节点含大数据表嵌套子查询时,提取所述第二查询任务节点中大数据表嵌套子查询语法树并构建为所述第二查询任务节点下的子节点,将查询结果集分发类型标记为重划分HASH。
4.根据权利要求2或3所述的数据查询解析方法,其特征在于,根据预定的优化规则对所述查询任务树进行优化并生成查询任务流,包括:
判断未处理的查询任务节点中是否有嵌套查询;
在判断为是时,依次判断所述Select链表、From链表、Where链表、Having链表和Union链表中是否有嵌套查询;
对判断出有嵌套查询的链表构建对应的子查询任务树,并将所构建的子查询任务树插入到查询任务队列中,以及设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中。
5.根据权利要求4所述的数据查询解析方法,其特征在于,所述预定的优化规则包括以下之一或任意组合:
每一个查询任务或子查询任务针对预设的一组数据库节点进行查询,其中,每一数据大表在该组数据库节点中的各数据库节点的分布规则相同,每一数据小表在该组数据库节点中的各数据库节点上设置有数据副本;
将过滤后的查询要求下发给子查询任务节点;
属于一个数据表的子查询结果集采用统一的别名。
6.根据权利要求5所述的数据查询解析方法,其特征在于,对判断出有嵌套查询的链表构建对应的子查询任务树,并将所构建的子查询任务树插入到查询任务队列中,以及设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:
判断所述嵌套查询是否与外部数据表关联,
在判断出有关联时,构建子查询任务树节点,作为外部数据表查询任务树节点下的子节点,以及根据所述外部数据表的属性标注该查询结果集分发类型;
在判断出无关联时,构建子查询任务树节点,作为外部数据表查询任务树节点下的子节点,以及将该查询结果集分发类型标注为赋值方式ASSIGN。
7.根据权利要求6所述的数据查询解析方法,其特征在于,设定将与所述子查询任务树对应的子查询结果更新到该有嵌套查询的链表的查询结果组中,包括:
在对子查询结果集采用统一的别名时,将所述子查询结果集的第一属性信息更新到相对应的后续查询子任务中,其中,所述子查询结果集的第一属性信息包括子查询结果集列以及子查询结果集别名;或者,
在对子查询结果采用中间变量存储时,将所述子查询结果的第二属性信息更新到相对应的链表的后续查询任务中,其中,所述子查询结果集的第二属性信息包括中间结果集名。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013102749208A CN103310011A (zh) | 2013-07-02 | 2013-07-02 | 集群数据库系统环境下的数据查询解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013102749208A CN103310011A (zh) | 2013-07-02 | 2013-07-02 | 集群数据库系统环境下的数据查询解析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103310011A true CN103310011A (zh) | 2013-09-18 |
Family
ID=49135229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013102749208A Pending CN103310011A (zh) | 2013-07-02 | 2013-07-02 | 集群数据库系统环境下的数据查询解析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103310011A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942294A (zh) * | 2014-04-11 | 2014-07-23 | 江苏物联网研究发展中心 | 智能交通领域中海量数据检索的查询规划方法 |
CN104135505A (zh) * | 2014-03-06 | 2014-11-05 | 清华大学 | 一种跨数据中心的数据联接方法及系统 |
CN104133831A (zh) * | 2014-02-25 | 2014-11-05 | 清华大学 | 跨域数据联接系统、跨域数据联接方法及节点 |
CN104391923A (zh) * | 2014-11-20 | 2015-03-04 | 北京锐安科技有限公司 | 一种查询数据集的方法及装置 |
CN104504154A (zh) * | 2015-01-14 | 2015-04-08 | 曙光信息产业(北京)有限公司 | 一种数据聚合查询的方法及装置 |
CN105426481A (zh) * | 2015-11-19 | 2016-03-23 | 北京京东尚科信息技术有限公司 | 处理数据的方法及装置 |
CN105718593A (zh) * | 2016-01-28 | 2016-06-29 | 长春师范大学 | 一种数据库查询优化方法及系统 |
CN105786808A (zh) * | 2014-12-15 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种用于分布式执行关系型计算指令的方法与设备 |
CN105993011A (zh) * | 2013-12-05 | 2016-10-05 | 甲骨文国际公司 | 跨多个输入数据流的样式匹配 |
CN106547796A (zh) * | 2015-09-23 | 2017-03-29 | 南京中兴新软件有限责任公司 | 数据库的执行方法及装置 |
CN107122437A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种支持多条件检索和实时分析的大数据处理方法 |
CN107273525A (zh) * | 2017-06-23 | 2017-10-20 | 上海携程商务有限公司 | 函数式查询方法及系统 |
CN107784032A (zh) * | 2016-08-31 | 2018-03-09 | 华为技术有限公司 | 一种数据查询结果的渐进式输出方法、装置及系统 |
CN108563509A (zh) * | 2018-04-28 | 2018-09-21 | 北京京东金融科技控股有限公司 | 数据查询实现方法、装置、介质及电子设备 |
CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
CN109992594A (zh) * | 2019-03-22 | 2019-07-09 | 跬云(上海)信息科技有限公司 | 基于预计算优化的分布式执行优化方法及系统 |
CN110678854A (zh) * | 2017-05-31 | 2020-01-10 | 华为技术有限公司 | 数据查询的方法和装置 |
CN111143330A (zh) * | 2019-12-27 | 2020-05-12 | 湖南亚信软件有限公司 | 一种多模态数据库解析引擎的实现方法及装置 |
CN111159203A (zh) * | 2019-12-31 | 2020-05-15 | 中科曙光国际信息产业有限公司 | 一种数据关联分析的方法、平台、电子设备及存储介质 |
CN111581237A (zh) * | 2019-02-15 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置、系统及电子设备 |
CN113255263A (zh) * | 2021-06-07 | 2021-08-13 | 上海国微思尔芯技术股份有限公司 | 颗粒带分割方法、装置、计算机设备和存储介质 |
CN113377808A (zh) * | 2021-06-03 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | Sql优化方法和装置 |
WO2022143685A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为技术有限公司 | 一种使用网络设备进行数据查询的系统、方法、及装置 |
US11507575B2 (en) * | 2019-11-21 | 2022-11-22 | Sap Se | Complex query rewriting |
US11586626B1 (en) | 2021-11-03 | 2023-02-21 | International Business Machines Corporation | Optimizing cloud query execution |
CN116738960A (zh) * | 2023-08-16 | 2023-09-12 | 深圳高灯计算机科技有限公司 | 单据数据处理方法、系统、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6112198A (en) * | 1997-06-30 | 2000-08-29 | International Business Machines Corporation | Optimization of data repartitioning during parallel query optimization |
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库系统 |
-
2013
- 2013-07-02 CN CN2013102749208A patent/CN103310011A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6112198A (en) * | 1997-06-30 | 2000-08-29 | International Business Machines Corporation | Optimization of data repartitioning during parallel query optimization |
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库系统 |
Non-Patent Citations (2)
Title |
---|
景宁,郑若忠,王鸿谷: "基于查询树的SQL优化方法", 《计算机工程与科学》 * |
邵秀丽,张琳,田振雷: "PostgreSQL 在异构数据集成中间件中的应用研究", 《计算机工程与设计》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105993011A (zh) * | 2013-12-05 | 2016-10-05 | 甲骨文国际公司 | 跨多个输入数据流的样式匹配 |
CN105993011B (zh) * | 2013-12-05 | 2020-03-10 | 甲骨文国际公司 | 跨多个输入数据流的样式匹配的方法、系统和设备 |
CN104133831B (zh) * | 2014-02-25 | 2017-07-07 | 清华大学 | 跨域数据联接系统、跨域数据联接方法及节点 |
CN104133831A (zh) * | 2014-02-25 | 2014-11-05 | 清华大学 | 跨域数据联接系统、跨域数据联接方法及节点 |
CN104135505A (zh) * | 2014-03-06 | 2014-11-05 | 清华大学 | 一种跨数据中心的数据联接方法及系统 |
CN104135505B (zh) * | 2014-03-06 | 2017-05-24 | 清华大学 | 一种跨数据中心的数据联接方法及系统 |
CN103942294A (zh) * | 2014-04-11 | 2014-07-23 | 江苏物联网研究发展中心 | 智能交通领域中海量数据检索的查询规划方法 |
CN103942294B (zh) * | 2014-04-11 | 2017-04-05 | 江苏物联网研究发展中心 | 智能交通领域中海量数据检索的查询规划方法 |
CN104391923A (zh) * | 2014-11-20 | 2015-03-04 | 北京锐安科技有限公司 | 一种查询数据集的方法及装置 |
CN105786808A (zh) * | 2014-12-15 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种用于分布式执行关系型计算指令的方法与设备 |
CN105786808B (zh) * | 2014-12-15 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 一种用于分布式执行关系型计算指令的方法与设备 |
CN104504154A (zh) * | 2015-01-14 | 2015-04-08 | 曙光信息产业(北京)有限公司 | 一种数据聚合查询的方法及装置 |
CN104504154B (zh) * | 2015-01-14 | 2018-01-16 | 曙光信息产业(北京)有限公司 | 一种数据聚合查询的方法及装置 |
CN106547796A (zh) * | 2015-09-23 | 2017-03-29 | 南京中兴新软件有限责任公司 | 数据库的执行方法及装置 |
CN106547796B (zh) * | 2015-09-23 | 2022-01-25 | 南京中兴新软件有限责任公司 | 数据库的执行方法及装置 |
CN105426481B (zh) * | 2015-11-19 | 2018-09-14 | 北京京东尚科信息技术有限公司 | 处理数据的方法及装置 |
CN105426481A (zh) * | 2015-11-19 | 2016-03-23 | 北京京东尚科信息技术有限公司 | 处理数据的方法及装置 |
CN105718593B (zh) * | 2016-01-28 | 2019-04-16 | 长春师范大学 | 一种数据库查询优化方法及系统 |
CN105718593A (zh) * | 2016-01-28 | 2016-06-29 | 长春师范大学 | 一种数据库查询优化方法及系统 |
CN107784032B (zh) * | 2016-08-31 | 2020-06-16 | 华为技术有限公司 | 一种数据查询结果的渐进式输出方法、装置及系统 |
CN107784032A (zh) * | 2016-08-31 | 2018-03-09 | 华为技术有限公司 | 一种数据查询结果的渐进式输出方法、装置及系统 |
CN107122437B (zh) * | 2017-04-19 | 2020-08-04 | 高新兴科技集团股份有限公司 | 一种支持多条件检索和实时分析的大数据处理方法 |
CN107122437A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种支持多条件检索和实时分析的大数据处理方法 |
CN110678854A (zh) * | 2017-05-31 | 2020-01-10 | 华为技术有限公司 | 数据查询的方法和装置 |
CN110678854B (zh) * | 2017-05-31 | 2021-10-15 | 华为技术有限公司 | 数据查询的方法和装置 |
CN107273525A (zh) * | 2017-06-23 | 2017-10-20 | 上海携程商务有限公司 | 函数式查询方法及系统 |
CN108563509A (zh) * | 2018-04-28 | 2018-09-21 | 北京京东金融科技控股有限公司 | 数据查询实现方法、装置、介质及电子设备 |
CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
CN111581237A (zh) * | 2019-02-15 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置、系统及电子设备 |
CN111581237B (zh) * | 2019-02-15 | 2023-06-09 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置、系统及电子设备 |
CN109992594A (zh) * | 2019-03-22 | 2019-07-09 | 跬云(上海)信息科技有限公司 | 基于预计算优化的分布式执行优化方法及系统 |
US11507575B2 (en) * | 2019-11-21 | 2022-11-22 | Sap Se | Complex query rewriting |
CN111143330A (zh) * | 2019-12-27 | 2020-05-12 | 湖南亚信软件有限公司 | 一种多模态数据库解析引擎的实现方法及装置 |
CN111143330B (zh) * | 2019-12-27 | 2023-10-03 | 湖南亚信软件有限公司 | 一种多模态数据库解析引擎的实现方法及装置 |
CN111159203A (zh) * | 2019-12-31 | 2020-05-15 | 中科曙光国际信息产业有限公司 | 一种数据关联分析的方法、平台、电子设备及存储介质 |
CN111159203B (zh) * | 2019-12-31 | 2023-10-31 | 中科曙光国际信息产业有限公司 | 一种数据关联分析的方法、平台、电子设备及存储介质 |
WO2022143685A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为技术有限公司 | 一种使用网络设备进行数据查询的系统、方法、及装置 |
CN113377808A (zh) * | 2021-06-03 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | Sql优化方法和装置 |
CN113255263A (zh) * | 2021-06-07 | 2021-08-13 | 上海国微思尔芯技术股份有限公司 | 颗粒带分割方法、装置、计算机设备和存储介质 |
US11586626B1 (en) | 2021-11-03 | 2023-02-21 | International Business Machines Corporation | Optimizing cloud query execution |
CN116738960A (zh) * | 2023-08-16 | 2023-09-12 | 深圳高灯计算机科技有限公司 | 单据数据处理方法、系统、计算机设备和存储介质 |
CN116738960B (zh) * | 2023-08-16 | 2024-04-30 | 深圳高灯计算机科技有限公司 | 单据数据处理方法、系统、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103310011A (zh) | 集群数据库系统环境下的数据查询解析方法 | |
Ali et al. | A survey of RDF stores & SPARQL engines for querying knowledge graphs | |
US10659467B1 (en) | Distributed storage and distributed processing query statement reconstruction in accordance with a policy | |
CN105335403B (zh) | 数据库访问方法及装置、数据库系统 | |
KR101432700B1 (ko) | 쿼리의 최적화를 위한 방법 | |
US8645399B2 (en) | Dynamic record blocking | |
US10268638B2 (en) | Limiting plan choice for database queries using plan constraints | |
US20190034540A1 (en) | Natural language search with semantic mapping and classification | |
US20150149436A1 (en) | Rewrite Constraints For Database Queries | |
CN110909016B (zh) | 基于数据库的重复关联检测方法、装置、设备及存储介质 | |
WO2018036549A1 (zh) | 分布式数据库查询方法、装置及管理系统 | |
US11914592B2 (en) | Systems and methods for processing structured queries over clusters | |
Bala et al. | P-ETL: Parallel-ETL based on the MapReduce paradigm | |
Bordawekar et al. | Statistics-based parallelization of XPath queries in shared memory systems | |
CN112579610A (zh) | 多数据源结构分析方法、系统、终端设备及存储介质 | |
Schlegel et al. | Balloon fusion: SPARQL rewriting based on unified co-reference information | |
Potter et al. | Dynamic data exchange in distributed RDF stores | |
Ge et al. | A cost-driven top-K queries optimization approach on federated RDF systems | |
US20150347506A1 (en) | Methods and apparatus for specifying query execution plans in database management systems | |
Muhammad et al. | Multi query optimization algorithm using semantic and heuristic approaches | |
Yuan et al. | Big RDF Data Storage, Computation, and Analysis: A Strawman's Arguments | |
Schäfer et al. | BETZE: benchmarking data exploration tools with (almost) zero effort | |
Zheng et al. | AWESOME: Empowering Scalable Data Science on Social Media Data with an Optimized Tri-Store Data System | |
Unbehauen et al. | SPARQL update queries over R2RML mapped data sources | |
Al-Harbi et al. | PHD-Store: an adaptive SPARQL engine with dynamic partitioning for distributed RDF repositories |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130918 |
|
RJ01 | Rejection of invention patent application after publication |