CN113704296A - 一种基于Spark SQL的计算下推查询优化方法 - Google Patents

一种基于Spark SQL的计算下推查询优化方法 Download PDF

Info

Publication number
CN113704296A
CN113704296A CN202110885275.8A CN202110885275A CN113704296A CN 113704296 A CN113704296 A CN 113704296A CN 202110885275 A CN202110885275 A CN 202110885275A CN 113704296 A CN113704296 A CN 113704296A
Authority
CN
China
Prior art keywords
spark
push
client
storage layer
zbsspark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110885275.8A
Other languages
English (en)
Inventor
魏力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yunxi Technology Co ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110885275.8A priority Critical patent/CN113704296A/zh
Publication of CN113704296A publication Critical patent/CN113704296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24547—Optimisations to support specific applications; Extensibility of optimisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/26—Special purpose or proprietary protocols or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于Spark SQL的计算下推查询优化方法，涉及数据处理技术领域，包括：ZNBase数据库的存储层和ZBSpark客户端；存储层用于提供数据的集中存储和管理，可以多节点部署，并支持分布式管理；ZBSpark客户端基于Apace Spark平台，用于通过SSL gRPC协议与ZNBase数据库的存储层进行数据传输；ZBSpark客户端中构建有PushDownExpr，有Spark SQL语句输入时，ZBSpark客户端首先对Spark SQL语句进行词法解析、语法分析以及语义分析，随后生成并执行逻辑计划和物理计划，并通过改写可扩展优化器Catalyst将操作符进行规则匹配，进而添加到PushDownExpr中，再随后ZBSpark客户端通过SSL gRPC协议将PushDownExpr传输到存储层，存储层通过PushDownExpr完成数据预处理，并返回至ZBSpark客户端。本发明可以减少IO、内存占用，提高ZBSpark客户端分析海量数据的性能。

Description

一种基于Spark SQL的计算下推查询优化方法
技术领域
本发明涉及技术数据处理领域，具体的说是一种基于Spark SQL的计算下推查询优化方法。
背景技术
大数据时代的来临，给各行各业带来了深刻的变革。国产数据库就像能源一样已经成为提升国家和企业竞争力的关键要素。在现有的浪潮云溪数据库ZNBase中，存储引擎基于KV存储，主要是面向交易的处理过程，即OLTP(On-Line Transaction Processing)服务，在数据分析时，通过JDBC连接ZNBase数据库时，因为没有在ZNBase端进行列裁减，需要将ZNBase的全量KV数据进行返回，IO开销和内存占用很大，并要在java端进行解码，解码KV比较慢，而且jdbc没有分布式并行，只有单任务，这就造成了jdbc连接ZNBase的查询性能很差。由此可以看到，jdbc连接ZNBase的痛点之一就在于没有进行算子下推。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于Spark SQL的计算下推查询优化方法，通过在ZNBase数据库的存储层进行列裁减、过滤、聚合和排序处理，减少IO、内存占用，最终提高ZBSpark客户端分析海量数据的性能。
本发明的一种基于Spark SQL的计算下推查询优化方法，解决上述技术问题采用的技术方案如下：
一种基于Spark SQL的计算下推查询优化方法，其实现涉及ZNBase数据库的存储层和ZBSpark客户端；
ZNBase数据库的存储层用于提供数据的集中存储和管理，可以多节点部署，并支持分布式管理；
ZBSpark客户端基于Apace Spark平台，用于通过SSL gRPC协议与ZNBase数据库的存储层进行数据传输；
ZBSpark客户端中构建有下推因子扩展器PushDownExpr，在有Spark SQL语句输入ZBSpark客户端时，ZBSpark客户端首先对输入的Spark SQL语句进行词法解析、语法分析以及语义分析，随后生成并执行逻辑计划和物理计划，在执行逻辑计划和物理计划过程中，通过改写可扩展优化器Catalyst将操作符进行规则匹配，进而添加到下推因子扩展器PushDownExpr中，再随后，ZBSpark客户端通过SSL gRPC协议将下推因子扩展器PushDownExpr传输到ZNBase数据库的存储层，最后，ZNBase数据库的存储层通过下推因子扩展器PushDownExpr完成数据预处理，并返回至ZBSpark客户端。
可选的，在ZBSpark客户端搭建spark集群，集群节点上运行有ZBSpark Driver进程和ZBSpark Executor进程，ZBSpark客户端通过ZBSpark Driver进程创建一批tasks，并将这一批tasks分配到不同ZBSpark Executor进程中执行，每个ZBSpark Executor进程持有一个线程池，每个线程执行一个task，去ZNBase数据库的存储层读取数据。
进一步可选的，所涉及ZBSpark客户端搭建spark集群时，要设置master节点和worker节点，一个集群有多个master节点和多个worker节点，ZBSpark Driver进程运行在master节点/worker节点上，ZBSpark Executor进程运行在worker节点上，且一个worker节点上可以部署多个ZBSpark Executor进程。
进一步可选的，所涉及ZBSpark客户端通过ZBSpark Driver进程首先创建sparkContext对象，随后向集群管理者申请资源，再随后调度和执行应用程序，读取ZNBase数据库存储层的元数据信息，进而将应用程序分成多个stage，为每个stage创建一批tasks，最后将这些tasks分配到各个ZBSpark Executor中执行。
进一步可选的，所涉及ZBSpark客户端通过ZBSpark Driver进程向集群管理者申请spark应用所需的资源后，集群管理者会根据spark应用所设置的参数在各个worker节点上分配一定数量的ZBSpark Executor进程，每个ZBSpark Executor进程都占用一定数量的cpu和memory；
ZBSpark Driver进程申请到spark应用所需的资源以后，即开始调度和执行应用程序，读取ZNBase数据库存储层的元数据信息。
可选的，所涉及下推因子扩展器PushDownExpr中包括投影下推、条件下推、聚合下推、order by/limit下推四种方式；
下推因子扩展器PushDownExpr通过至少一种下推方式完成数据预处理。
进一步可选的，所涉及投影下推即列裁剪，即下推因子扩展器PushDownExpr在返回ZBSpark客户端的数据中去掉对后续操作没用的列。
进一步可选的，所涉及条件下推即将filter算子下推到ZNBase数据库的存储层，存储层先进行预过滤，将符合条件的数据返回给ZBSpark客户端；
Spark SQL语句中的filter算子有两种，第一种逻辑过滤条件：And、Not、Or，第二种基本过滤条件：EqualNullSafe、EqualTo、GreaterThan、GreaterThanOrEqual、In、IsNotNull、IsNull、LessThan、LessThanOrEqual、StringContains、StringEndsWith、StringStartsWith。
进一步可选的，所涉及聚合下推是将聚合函数Count、Max、Min、Sum、Avg下推到ZNBase数据库的存储层，在存储层进行聚合求值，将求值结果返回给ZBSpark客户端。
进一步可选的，所涉及order by下推可以指定字段以Asc还是Desc排序，在PushDownExpr的OrderbyCols中指定排序列ID，在OrderDirections中指定是Asc还是Desc，0代表Asc，1代表Desc；
limit下推可以限定本次读取返回数据的行数。
本发明的一种基于Spark SQL的计算下推查询优化方法，与现有技术相比具有的有益效果是：
(1)本发明通过下推因子扩展器PushDownExpr在ZNBase数据库的存储层进行列裁减、过滤、聚合和排序处理，可以减少IO、内存占用，提高ZBSpark客户端分析海量数据的性能；
(2)本发明减少了ZNBase数据库的存储层向ZBSpark客户端返回的数据量，降低了gRPC网络传输的时延。
附图说明
附图1是本发明实现流程图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1，本实施例提出一种基于Spark SQL的计算下推查询优化方法，其实现涉及ZNBase数据库的存储层和ZBSpark客户端。
ZNBase数据库的存储层用于提供数据的集中存储和管理，可以多节点部署，并支持分布式管理。
ZBSpark客户端基于Apace Spark平台，用于通过SSL gRPC协议与ZNBase数据库的存储层进行数据传输。
ZBSpark客户端中构建有下推因子扩展器PushDownExpr，在有Spark SQL语句输入ZBSpark客户端时，ZBSpark客户端首先对输入的Spark SQL语句进行词法解析、语法分析以及语义分析，随后生成并执行逻辑计划和物理计划，在执行逻辑计划和物理计划过程中，通过改写可扩展优化器Catalyst将操作符进行规则匹配，进而添加到下推因子扩展器PushDownExpr中，再随后，ZBSpark客户端通过SSL gRPC协议将下推因子扩展器PushDownExpr传输到ZNBase数据库的存储层，最后，ZNBase数据库的存储层通过下推因子扩展器PushDownExpr完成数据预处理，并返回至ZBSpark客户端。
本实施例中，在ZBSpark客户端搭建spark集群，需要设置master节点和worker节点，一个集群有多个master节点和多个worker节点，ZBSpark Driver进程运行在master节点/worker节点上，ZBSpark Executor进程运行在worker节点上，且一个worker节点上可以部署多个ZBSpark Executor进程。
ZBSpark客户端通过ZBSpark Driver进程首先创建sparkContext对象，随后向集群管理者申请spark应用所需的资源，集群管理者会根据spark应用所设置的参数在各个worker节点上分配一定数量的ZBSpark Executor进程，每个ZBSpark Executor进程都占用一定数量的cpu和memory；再随后ZBSpark Driver进程开始调度和执行应用程序，读取ZNBase数据库存储层的元数据信息，进而将应用程序分成多个stage，为每个stage创建一批tasks，最后将这些tasks分配到各个ZBSpark Executor中执行；每个ZBSpark Executor进程持有一个线程池，每个线程执行一个task，去ZNBase数据库的存储层读取数据。
本实施例中，ZBSpark客户端中构建的下推因子扩展器PushDownExpr包括投影下推、条件下推、聚合下推、order by/limit下推四种方式，下推因子扩展器PushDownExpr通过至少一种下推方式完成数据预处理。
具体的说，投影下推即列裁剪，即下推因子扩展器PushDownExpr在返回ZBSpark客户端的数据中去掉对后续操作没用的列。
条件下推即将filter算子下推到ZNBase数据库的存储层，存储层先进行预过滤，将符合条件的数据返回给ZBSpark客户端；
Spark SQL语句中的filter算子有两种，第一种逻辑过滤条件：And、Not、Or，第二种基本过滤条件：EqualNullSafe、EqualTo、GreaterThan、GreaterThanOrEqual、In、IsNotNull、IsNull、LessThan、LessThanOrEqual、StringContains、StringEndsWith、StringStartsWith。
聚合下推是将聚合函数Count、Max、Min、Sum、Avg下推到ZNBase数据库的存储层，在存储层进行聚合求值，将求值结果返回给ZBSpark客户端。
order by下推可以指定字段以Asc还是Desc排序，在PushDownExpr的OrderbyCols中指定排序列ID，在OrderDirections中指定是Asc还是Desc，0代表Asc，1代表Desc；limit下推可以限定本次读取返回数据的行数。
综上可知，采用本发明的一种基于Spark SQL的计算下推查询优化方法，可以减少IO、内存占用，提高ZBSpark客户端分析海量数据的性能。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种基于Spark SQL的计算下推查询优化方法，其特征在于,其实现涉及ZNBase数据库的存储层和ZBSpark客户端；
所述ZNBase数据库的存储层用于提供数据的集中存储和管理，可以多节点部署，并支持分布式管理；
所述ZBSpark客户端基于Apace Spark平台，用于通过SSL gRPC协议与ZNBase数据库的存储层进行数据传输；
所述ZBSpark客户端中构建有下推因子扩展器PushDownExpr，在有Spark SQL语句输入所述ZBSpark客户端时，所述ZBSpark客户端首先对输入的Spark SQL语句进行词法解析、语法分析以及语义分析，随后生成并执行逻辑计划和物理计划，在执行逻辑计划和物理计划过程中，通过改写可扩展优化器Catalyst将操作符进行规则匹配，进而添加到下推因子扩展器PushDownExpr中，再随后，所述ZBSpark客户端通过SSL gRPC协议将下推因子扩展器PushDownExpr传输到ZNBase数据库的存储层，最后，所述ZNBase数据库的存储层通过下推因子扩展器PushDownExpr完成数据预处理，并返回至ZBSpark客户端。
2.根据权利要求1所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，在所述ZBSpark客户端搭建spark集群，集群节点上运行有ZBSpark Driver进程和ZBSparkExecutor进程，所述ZBSpark客户端通过ZBSpark Driver进程创建一批tasks，并将这一批tasks分配到不同ZBSpark Executor进程中执行，每个ZBSpark Executor进程持有一个线程池，每个线程执行一个task，去ZNBase数据库的存储层读取数据。
3.根据权利要求2所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述ZBSpark客户端搭建spark集群时，要设置master节点和worker节点，一个集群有多个master节点和多个worker节点，ZBSpark Driver进程运行在master节点/worker节点上，ZBSpark Executor进程运行在worker节点上，且一个worker节点上可以部署多个ZBSparkExecutor进程。
4.根据权利要求3所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述ZBSpark客户端通过ZBSpark Driver进程首先创建sparkContext对象，随后向集群管理者申请资源，再随后调度和执行应用程序，读取ZNBase数据库存储层的元数据信息，进而将应用程序分成多个stage，为每个stage创建一批tasks，最后将这些tasks分配到各个ZBSpark Executor中执行。
5.根据权利要求4所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述ZBSpark客户端通过ZBSpark Driver进程向集群管理者申请spark应用所需的资源后，集群管理者会根据spark应用所设置的参数在各个worker节点上分配一定数量的ZBSparkExecutor进程，每个ZBSpark Executor进程都占用一定数量的cpu和memory；
ZBSpark Driver进程申请到spark应用所需的资源以后，即开始调度和执行应用程序，读取ZNBase数据库存储层的元数据信息。
6.根据权利要求1所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述下推因子扩展器PushDownExpr中包括投影下推、条件下推、聚合下推、order by/limit下推四种方式；
所述下推因子扩展器PushDownExpr通过至少一种下推方式完成数据预处理。
7.根据权利要求6所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述投影下推即列裁剪，即下推因子扩展器PushDownExpr在返回ZBSpark客户端的数据中去掉对后续操作没用的列。
8.根据权利要求6所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述条件下推即将filter算子下推到ZNBase数据库的存储层，存储层先进行预过滤，将符合条件的数据返回给ZBSpark客户端；
Spark SQL语句中的filter算子有两种，第一种逻辑过滤条件：And、Not、Or，第二种基本过滤条件：EqualNullSafe、EqualTo、GreaterThan、GreaterThanOrEqual、In、IsNotNull、IsNull、LessThan、LessThanOrEqual、StringContains、StringEndsWith、StringStartsWith。
9.根据权利要求6所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述聚合下推是将聚合函数Count、Max、Min、Sum、Avg下推到ZNBase数据库的存储层，在存储层进行聚合求值，将求值结果返回给ZBSpark客户端。
10.根据权利要求6所述的一种基于Spark SQL的计算下推查询优化方法，其特征在于，所述order by下推可以指定字段以Asc还是Desc排序，在PushDownExpr的OrderbyCols中指定排序列ID，在OrderDirections中指定是Asc还是Desc，0代表Asc，1代表Desc；
所述limit下推可以限定本次读取返回数据的行数。
CN202110885275.8A 2021-08-03 2021-08-03 一种基于Spark SQL的计算下推查询优化方法 Pending CN113704296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885275.8A CN113704296A (zh) 2021-08-03 2021-08-03 一种基于Spark SQL的计算下推查询优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885275.8A CN113704296A (zh) 2021-08-03 2021-08-03 一种基于Spark SQL的计算下推查询优化方法

Publications (1)

Publication Number Publication Date
CN113704296A true CN113704296A (zh) 2021-11-26

Family

ID=78651442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885275.8A Pending CN113704296A (zh) 2021-08-03 2021-08-03 一种基于Spark SQL的计算下推查询优化方法

Country Status (1)

Country Link
CN (1) CN113704296A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964374A (zh) * 2023-02-22 2023-04-14 深圳计算科学研究院 一种基于预计算场景的查询处理方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122443A (zh) * 2017-04-24 2017-09-01 中国科学院软件研究所 一种基于Spark SQL的分布式全文检索系统及方法
CN108009270A (zh) * 2017-12-18 2018-05-08 江苏润和软件股份有限公司 一种基于分布式内存计算的文本检索方法
US20200151170A1 (en) * 2018-11-14 2020-05-14 Baidu Online Network Technology (Beijing) Co., Ltd. Spark query method and system supporting trusted computing
CN112084191A (zh) * 2020-09-03 2020-12-15 浪潮云信息技术股份公司 一种基于Spark SQL的OpenTsdb时序数据查询方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122443A (zh) * 2017-04-24 2017-09-01 中国科学院软件研究所 一种基于Spark SQL的分布式全文检索系统及方法
CN108009270A (zh) * 2017-12-18 2018-05-08 江苏润和软件股份有限公司 一种基于分布式内存计算的文本检索方法
US20200151170A1 (en) * 2018-11-14 2020-05-14 Baidu Online Network Technology (Beijing) Co., Ltd. Spark query method and system supporting trusted computing
CN112084191A (zh) * 2020-09-03 2020-12-15 浪潮云信息技术股份公司 一种基于Spark SQL的OpenTsdb时序数据查询方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGMOFANG10: "Spark中master、worker、executor和driver的关系", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/hongmofang10/article/details/84587262> *
小舰: "提高篇--大数据查询优化--查询下推（SparkSQL）", pages 1 - 3, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/133672824> *
拾荒路上的开拓者: "SparkSQL连接查询中的谓词下推处理", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/LINBE_blazers/article/details/100800317> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964374A (zh) * 2023-02-22 2023-04-14 深圳计算科学研究院 一种基于预计算场景的查询处理方法及其装置
CN115964374B (zh) * 2023-02-22 2023-09-26 深圳计算科学研究院 一种基于预计算场景的查询处理方法及其装置

Similar Documents

Publication Publication Date Title
CN102799622B (zh) 基于MapReduce扩展框架的分布式SQL查询方法
Tao et al. Minimal mapreduce algorithms
US7069264B2 (en) Stratified sampling of data in a database system
US20170116309A1 (en) System and method for automatic dependency analysis for use with a multidimensional database
US20090327220A1 (en) Automated client/server operation partitioning
US20070250517A1 (en) Method and Apparatus for Autonomically Maintaining Latent Auxiliary Database Structures for Use in Executing Database Queries
CN108073696B (zh) 基于分布式内存数据库的gis应用方法
CN105302657A (zh) 一种异常情况分析方法和装置
EP3384385B1 (en) Methods and systems for mapping object oriented/functional languages to database languages
WO2022083197A1 (zh) 数据处理方法、装置、电子设备和存储介质
CN111881326A (zh) 一种图数据存储方法、装置、设备及可读存储介质
CN116126950A (zh) 实时物化视图系统和方法
CN113704296A (zh) 一种基于Spark SQL的计算下推查询优化方法
Zou et al. Lachesis: automatic partitioning for UDF-centric analytics
CN112527836B (zh) 一种基于t-box平台的大数据查询方法
CN111984625B (zh) 数据库负载特征处理方法、装置、介质和电子设备
CN112182031A (zh) 数据查询方法及装置、存储介质、电子装置
CN115982230A (zh) 数据库的跨数据源查询方法、系统、设备及存储介质
CN114817226A (zh) 政府数据的处理方法及装置
US11386155B2 (en) Filter evaluation in a database system
CN113177089A (zh) 一种分布式数据存储引擎调度方法
Burdakov et al. Predicting SQL Query Execution Time with a Cost Model for Spark Platform.
Oh et al. Job-optimized map-side join processing using mapreduce and hbase with abstract RDF data
CN111046244A (zh) 基于PostGIS的电网资源图形叠加分析方法及装置
Alrahwan et al. ASCF: Optimization of the Apriori Algorithm Using Spark‐Based Cuckoo Filter Structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221214

Address after: Room 305-22, Building 2, No. 1158 Zhangdong Road and No. 1059 Dangui Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 200120

Applicant after: Shanghai Yunxi Technology Co.,Ltd.

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: Inspur cloud Information Technology Co.,Ltd.

TA01 Transfer of patent application right