CN113568931A - 一种数据访问请求的路由解析系统及方法 - Google Patents
一种数据访问请求的路由解析系统及方法 Download PDFInfo
- Publication number
- CN113568931A CN113568931A CN202010355312.XA CN202010355312A CN113568931A CN 113568931 A CN113568931 A CN 113568931A CN 202010355312 A CN202010355312 A CN 202010355312A CN 113568931 A CN113568931 A CN 113568931A
- Authority
- CN
- China
- Prior art keywords
- data query
- data
- engine
- request
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000007726 management method Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据访问请求的路由解析系统及方法，该路由解析系统事先录入了提供访问的所有数据的元数据信息。该系统根据接收到的数据查询请求以及所述元数据信息对该数据处理请求进行解析以获得包含该查询请求所涉及到的表资源存储类型、物理存储分布类型等信息的解析结果，然后根据所述解析结果以及预置的引擎筛选规则从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求。通过本发明提供的技术方案、用户不需要关心待查询数据的存储类型、物理存储的分布情况等底层信息就能方便获取所需要的数据、实现跨集群的数据查询，降低了用户在数据平台进行查询的门槛，扩展了平台的数据查询能力。
Description
技术领域
本发明提供的方案涉及数据存储访问领域，应用于具有多种数据查询引擎的数据访问平台中降低用户访问数据所需要的专业知识门槛；具体涉及一种数据访问请求的路由解析系统及方法。
背景技术
目前大数据领域存储技术层出不穷，常用的就有数据存储查询引擎Hive,ES,HBase,Kudu,ClickHouse等以及将这些存储查询引擎作为底层原料而发展出来的新型“存储+计算”型存储引擎如Kylin,Phoenix等。每个存储引擎为了向上对接业务应用、简化业务应用的使用过程，都会根据自身数据结构设计特点提供相应查询API包供上层应用进行调用，如RestHttp,JDBC,JavaClient等常用的API包。当数据平台单独采用某一种存储查询引擎作为查询工具一般不存在用户使用需要专业知识门槛的问题。而现实的情况是、由于每种存储查询引擎具有的特性特别贴合某个使用场景，为了同时支持多业务场景，数据平台内往往需要同时采用以上多种数据存储查询引擎对不同的数据进行存储、查询。当同一份数据会存储在多种不同的存储介质上时，不是所有引擎都能访问涉及的每个存储介质，比如数据存储在ES中，那只能spark，presto，es可以执行，其他执行引擎是访问不了的。这样当数据平台对外提供数据查询服务时由于采用各存储查询引擎存储的数据不互通，在用户进行数据查询时先要知道目标数据存储在什么地方，再从能够访问这个存储介质的执行引擎中选择最合适的。例如目标数据是存储于Hive表还是ES索引中、有多个ES集群的情况用户查询数据时需要指出具体哪一个ES集群。
另外目前平台无法联合多个集群的数据进行查询，当目标数据分布于多存储介质中时，只能分别采用不同的数据查询引擎计算并将数据导出后、在本地进行二次计算，这样无疑增加了用户的工作量。
发明内容
为了解决具有多种存储查询引擎的数据平台存在的各存储查询引擎存储的数据不互通，用户在进行数据查询时需要了解一定的存储底层专业知识的问题，降低用户使用门槛，扩展平台查询能力。
本发明旨在为上述数据平台提供一种根据用户输入SQL语句，后台服务自动根据所述SQL语句的语言特征参数自动适配具体SQL引擎、完成可能的跨集群查询的功能。
本发明提供的技术方案，具体实现为：
一种数据访问请求的路由解析系统，该系统配置多种数据查询引擎以向外提供数据查询服务，该系统设置有对提供访问的所有数据的元数据进行集中存储管理的元数据信息管理子系统；该路由解析系统根据接收外到的数据查询请求以及所述元数据信息管理子系统中元数据信息解析该数据处理请求；所述路由解析系统根据所述解析结果以及预置的引擎筛选规则，从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求。
其中、所述元数据管理子系统中存储的提供访问的所有数据的元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息以及对应的权限人员信息。所述数据查询请求的解析结果中包括目标数据查询类型、目标数据大小、查询所涉及的存储分区的个数以及所涉及的列、该次查询所涉及表资源的元数据信息。
具体地、本发明提供的路由解析系统还包括：请求路由服务模块，请求解析服务模块，引擎执行聚合协调模块。所述请求路由服务模块提供多种数据查询入口接收外部的数据查询请求，对接收的数据查询请求进行调度、根据调度结果依次将接收到的数据查询请求发送到所述请求解析服务模块、由所述请求解析服务模块进行解析，并将对应解析结果发送给引擎协调服务模块。所述请求解析服务模块，用于当被所述请求路由服务模块调用对某个数据查询请求进行解析时根据所述元数据管理子系统中的元数据信息对该数据查新进行解析，并将解析结果返回给所述请求路由服务模块。所述引擎执行聚合协调模块，用于根据所述请求路由服务模块发送的所述解析结果结合预置的引擎筛选规则，从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求。
进一步地，所述引擎执行聚合协调模块还根据所述解析结果，结合目标数据分布状况、数据查询引擎历史执行情况、各数据查询引擎实时资源占用情况中一种或多种因素，选择一个最优的执行引擎。
与上述数据访问请求的路由解析系统相对应，本发明还提供一种数据访问请求的路由解析方法，该方法包括：预先录入供访问的所有数据的元数据信息，所述元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息以及对应的权限人员信息；根据接收的数据查询请求以及所述元数据信息解析该数据查询请求以获得对应的解析结果；根据所述解析结果以及预置的筛选规则从可选的多个数据查询引擎中自动选出最优的数据查询引擎对该数据查询请求进行处理。
本发明所提供的上述数据访问请求的路由解析方法的具体实现过程与上述数据访问请求的路由解析系统的处理细节相对应。
附图说明
图1为本发明提供的数据访问请求的路由解析系统的系统框架示意图；
图2为本发明提供的数据访问请求的路由解析系统中元数据管理子系统的部分组成示意图；
图3为本发明提供的数据访问请求的路由解析系统中引擎协调服务模块的示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供的数据访问请求的路由解析系统包括请求路由服务模块，请求解析服务模块，元数据管理子系统以及由引擎协调服务模块和引擎执行器组成的引擎执行聚合协调模块。
其中、所述请求路由服务模块提供包括多种数据查询入口接收包括交互式查询、接口请求和定时任务在内的外部数据查询请求，对接收的数据查询请求进行调度、根据调度结果依次将接收到的数据查询请求发送到所述请求解析服务模块、由所述请求解析服务模块进行解析(1)，并将对应解析结果发送给引擎协调服务模块(5)。例如，按照接收到的数据查询请求的优先次序，先将优先级高的数据查询请求交由解析服务模块进行解析。
所述请求解析服务模块，用于当被所述请求路由服务模块调用对某个数据查询请求进行解析时根据所述元数据管理子系统中的元数据信息(2)，获取数据查询请求的目标数据对应的元数据信息对该数据查新进行解析(3)，并将解析结果返回给所述请求路由服务模块(4)。所述数据查询请求的解析结果中包括目标数据查询类型、目标数据大小、查询所涉及的存储分区的个数以及所涉及的列、该次查询所涉及表资源的元数据信息。如图2所示，所述元数据管理子系统中用于对提供访问的所有数据的元数据集中存储管理。所述元数据管理子系统中存储的提供访问的所有数据的元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息以及对应的权限人员信息。
所述引擎执行聚合协调模块，用于根据所述请求路由服务模块发送的所述解析结果以及预置的引擎筛选规则(6)，从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求(7)。当执行完该数据查询请求后，将获取的查询结果交由引擎执行器(8)转送引擎协调服务模块(9)，最后通过路由服务模块反馈给用户(10)。如图1所示，所述多种数据查询引擎包括SPARK，HIVE，PRESTO，ES，HBASE以及Kafka；数据查询引擎的种类不限于上述几种，任何可以用于数据平台提供数据查询服务的引擎都可以包括在内。
进一步地，所述引擎执行聚合协调模块根据所述请求路由服务模块发送的所述解析结果以及预置的引擎筛选规则(6)筛选出最优的数据查询引擎包括：根据所述解析结果，结合目标数据分布状况、数据查询引擎历史执行情况、各数据查询引擎实时资源占用情况中一种或多种因素，结合所述预置的引擎筛选规则选择一个最优的数据查询引擎作为执行引擎。如图3所示，所述引擎执行聚合协调模块中引擎协调服务模块还与数据平台的数据查询请求日志以及实时资源监控模块进行通信，用于获取数据查询引擎历史执行情况、各数据查询引擎处理节点实时资源占用情况。
所述引擎执行聚合协调模块依据的预置的引擎筛选规则，包括但不限于以下几种情况：当该次数据查询的目标数据存储分布类型是跨集群存储优先选用Spark；当该次数据查询类型是简单的历史数据预览则优先选用presto；当该次数据查询只是检索语句则优先选用ES；如果该次数据查询是预览实时日志则优先选用Kafka；若该次数据查询同时适用于两种以上所列的情况，则根据查询的目标数据的数据量及分区量过滤掉不适合的引擎后(例如presto不适合全表扫描大数据量)，对剩余的所有可执行数据查询引擎按预设的数据查询引擎历史执行经验优先次序进行排序得到数据查询引擎优先级队列；然后统计数据查询请求处理日志中与该次数据查询涉及的数据量、分区数量在预设差值范围内，和/或涉及的Schema相同的类似历史数据查询请求，根据所述类似历史数据查询请求的各数据查询引擎的处理效率调整所述数据查询引擎优先级队列(例如按照耗时较少的数据查询引擎优先级较高)；最后根据各数据查询引擎的处理节点实时资源占用情况从所述优先级队列选出能够处理所述数据查询请求的数据查询引擎作为候选引擎；在所述候选引擎中若最优执行引擎有空闲则提交，否则选择次优执行引擎、并以此类推。
此外，为了防止非授权用户使用数据平台查询无权获取的数据信息，设置所述请求路由服务模块接到数据查询请求对应的解析结果后，先根据所述解析结果中该次查询所涉及的表资源的元数据信息中包含的权限人员信息判断发起该次数据查询请求的用户是否为授权用户，若否、直接丢弃该次数据查询请求。
与上述数据访问请求的路由解析系统相对应，本发明还提供一种数据访问请求的路由解析方法，该方法包括：预先录入供访问的所有数据的元数据信息，所述元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息以及对应的权限人员信息；根据接收的数据查询请求以及所述元数据信息解析该数据查询请求以获得对应的解析结果；根据所述解析结果以及预置的筛选规则从可选的多个数据查询引擎中自动选出最优的数据查询引擎对该数据查询请求进行处理。
本发明所提供的上述数据访问请求的路由解析方法的具体实现过程与上述数据访问请求的路由解析系统的处理细节相对应。
通过本发明提供的访问请求的路由解析系统及方法，用户在无需知道目标数据存储在什么地方，以及无需知道该采用何种数据查询引擎进行查询的情况下，自动适配最优的数据查询引擎来执行用户的数据查询请求，降低用户使用数据平台进行数据查询的门槛，扩展了数据平台的查询能力。
Claims (11)
1.一种数据访问请求的路由解析系统，其特征在于，该系统配置多种数据查询引擎以向外提供数据查询服务，设置有对提供访问的所有数据的元数据集中存储管理的元数据信息管理子系统；该路由解析系统根据接收外到的数据查询请求以及所述元数据信息管理子系统中元数据信息解析该数据处理请求后，根据所述解析结果以及预置的引擎筛选规则从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求。
2.如权利要求1所述的路由解析系统，其特征在于，所述元数据管理子系统中存储的提供访问的所有数据的元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息；所述数据查询请求的解析结果中包括目标数据查询类型、目标数据大小、查询所涉及的存储分区的个数以及所涉及的列、该次查询所涉及表资源的元数据信息。
3.如权利要求1或2所述的路由解析系统，其特征在于，所述路由解析系统根据所述解析结果以及预置的引擎筛选规则从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求具体实现为：根据所述解析结果，结合目标数据分布状况、数据查询引擎历史执行情况、各数据查询引擎实时资源占用情况中一种或多种因素，结合所述预置的引擎筛选规则选择一个最优的数据查询引擎作为执行引擎。
4.如权利要求3所述的路由解析系统，其特征在于，所述路由解析系统还包括：请求路由服务模块，请求解析服务模块，引擎执行聚合协调模块；所述请求路由服务模块提供多种数据查询入口接收外部的数据查询请求，对接收的数据查询请求进行调度、根据调度结果依次将接收到的数据查询请求发送到所述请求解析服务模块、由所述请求解析服务模块进行解析，并将对应解析结果发送给引擎协调服务模块；所述请求解析服务模块，用于当被所述请求路由服务模块调用对某个数据查询请求进行解析时、根据所述元数据管理子系统中的元数据信息对该数据查新进行解析，并将解析结果返回给所述请求路由服务模块；所述引擎执行聚合协调模块，用于根据所述请求路由服务模块发送的所述解析结果以及预置的引擎筛选规则，从多种数据查询引擎中自动选出最优的数据查询引擎处理该数据查询请求。
5.如权利要求4所述的路由解析系统，其特征在于，所述多种数据查询引擎包括：Spark、ES、Presto、HBASE、Hive和Kafka；所述预置的引擎筛选规则包括：当该次数据查询的目标数据存储分布类型是跨集群存储优先选用Spark，当该次数据查询类型是简单的历史数据预览则优先选用presto，当该次数据查询只是检索语句则优先选用ES，如果该次数据查询是预览实时日志则优先选用Kafka；若该次数据查询同时适用于两种以上情况，则根据查询的数据量及分区量过滤掉不适合的引擎后，对剩余的所有可执行数据查询引擎按预设的数据查询引擎历史执行经验优先次序进行排序得到数据查询引擎优先级队列；然后统计数据查询请求处理日志中与该次数据查询涉及的数据量、分区数量在预设差值范围内，和/或涉及的Schema相同的类似历史数据查询请求，根据所述类似历史数据查询请求的各数据查询引擎的处理效率调整所述数据查询引擎优先级队列；根据各数据查询引擎的处理节点实时资源占用情况从所述优先级队列选出能够处理所述数据查询请求的数据查询引擎作为候选引擎；在所述候选引擎中若最优执行引擎有空闲则提交，否则选择次优执行引擎、并以此类推。
6.如权利要求4或5所述的路由解析系统，其特征在于，所述元数据管理子系统中存储的提供访问的所有数据的元数据信息还包括各个表资源对应的权限人员信息；所述请求路由服务模块接到数据查询请求对应的解析结果后，先根据所述解析结果中该次查询所涉及的表资源的元数据信息中包含的权限人员信息判断发起该次数据查询请求的用户是否为授权用户，若否、直接丢弃该次数据查询请求。
7.一种数据访问请求的路由解析方法，其特征在于，该方法包括：预先录入提供访问的所有数据的元数据信息，根据接收的数据查询请求以及所述元数据信息解析该数据查询请求以获得对应的解析结果；根据所述解析结果以及预置的筛选规则从可选的多个数据查询引擎中自动选出最优的数据查询引擎对该数据查询请求进行处理。
8.如权利要求7所述的数据访问请求的路由解析方法，其特征在于，所述元数据信息包括：各个表资源的存储类型、物理存储分布类型、数据层次、字段信息以及对应的权限人员信息；所述解析结果中包括目标数据查询类型、目标数据大小、查询所涉及的存储分区的个数以及所涉及的列、目标数据所涉及数据库中表的元数据信息。
9.如权利要求7或8所述的方法，其特征在于，所述自动选出最优的数据查询引擎处理该数据查询请求具体实现为：根据所述解析结果、结合目标数据分布状况、数据查询引擎历史执行情况、处理请求需要的开销和各数据查询引擎实时资源占用情况这些因素中的一种或多种选择出一个最优的执行引擎。
10.如权利要求9所述的方法，其特征在于，所述多种数据查询引擎包括：Spark、ES、Presto、HBASE、Hive和Kafka；所述预置的引擎筛选规则包括：当该次数据查询的目标数据的物理存储分布类型是跨集群存储优先选用Spark，当该次数据查询类型是简单的历史数据预览则优先选用presto，当该次数据查询只包含检索语句则优先选用ES，如果该次数据查询是预览实时日志则优先选用Kafka；若该次数据查询是适用于两种以上情况，则根据查询的数据量及分区量过滤掉不适合的引擎后，对剩余的所有可执行数据查询引擎按预设的数据查询引擎历史执行经验优先次序进行排序得到数据查询引擎优先级队列；然后统计数据查询请求处理日志中与该次数据查询涉及的数据量、分区数量在预设差值范围内、和/或涉及的Schema相同的类似历史数据查询请求，根据所述类似历史数据查询请求的各数据查询引擎的处理效率调整所述数据查询引擎优先级队列；根据各数据查询引擎的处理节点实时资源占用情况从所述优先级队列选出能够处理所述数据查询请求的数据查询引擎作为候选引擎；在所述候选引擎中若最优执行引擎有空闲则提交，否则选择次优执行引擎、并以此类推。
11.如权利要求7或8所述的路由解析系统，其特征在于，所述提供访问的所有数据的元数据信息还包括各个表资源对应的权限人员信息；所述请求路由服务模块接到数据查询请求对应的解析结果后，先根据所述解析结果中该次查询所涉及的表资源的元数据信息中包含的权限人员信息判断发起该次数据查询请求的用户是否为授权用户，若否、直接丢弃该次数据查询请求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010355312.XA CN113568931A (zh) | 2020-04-29 | 2020-04-29 | 一种数据访问请求的路由解析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010355312.XA CN113568931A (zh) | 2020-04-29 | 2020-04-29 | 一种数据访问请求的路由解析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113568931A true CN113568931A (zh) | 2021-10-29 |
Family
ID=78158415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010355312.XA Pending CN113568931A (zh) | 2020-04-29 | 2020-04-29 | 一种数据访问请求的路由解析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113568931A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116489085A (zh) * | 2023-03-28 | 2023-07-25 | 网根科技(青岛)有限公司 | 一种基于Handle的解析路由安全监测方法和系统 |
| CN117331513A (zh) * | 2023-12-01 | 2024-01-02 | 蒲惠智造科技股份有限公司 | 基于Hadoop架构的数据精简方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058622B1 (en) * | 2001-12-26 | 2006-06-06 | Tedesco Michael A | Method, apparatus and system for screening database queries prior to submission to a database |
| CN104750690A (zh) * | 2013-12-25 | 2015-07-01 | 中国移动通信集团公司 | 一种查询处理方法、装置及系统 |
| CN105787119A (zh) * | 2016-03-25 | 2016-07-20 | 盛趣信息技术（上海）有限公司 | 基于混合引擎的大数据处理方法及系统 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
| CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
| CN110019308A (zh) * | 2017-12-28 | 2019-07-16 | 中国移动通信集团海南有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN110222072A (zh) * | 2019-06-06 | 2019-09-10 | 江苏满运软件科技有限公司 | 数据查询平台、方法、设备和存储介质 |
| CN110807145A (zh) * | 2018-07-20 | 2020-02-18 | 中兴通讯股份有限公司 | 查询引擎获取方法、设备和计算机可读存储介质 |
| CN110825767A (zh) * | 2019-11-15 | 2020-02-21 | 江苏满运软件科技有限公司 | 数据查询方法、平台、设备及存储介质 |
| CN110837515A (zh) * | 2019-11-06 | 2020-02-25 | 北京天融信网络安全技术有限公司 | 一种基于数据库的数据处理方法及电子设备 |
-
2020
- 2020-04-29 CN CN202010355312.XA patent/CN113568931A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058622B1 (en) * | 2001-12-26 | 2006-06-06 | Tedesco Michael A | Method, apparatus and system for screening database queries prior to submission to a database |
| CN104750690A (zh) * | 2013-12-25 | 2015-07-01 | 中国移动通信集团公司 | 一种查询处理方法、装置及系统 |
| CN105787119A (zh) * | 2016-03-25 | 2016-07-20 | 盛趣信息技术（上海）有限公司 | 基于混合引擎的大数据处理方法及系统 |
| CN110019308A (zh) * | 2017-12-28 | 2019-07-16 | 中国移动通信集团海南有限公司 | 数据查询方法、装置、设备及存储介质 |
| CN109033123A (zh) * | 2018-05-31 | 2018-12-18 | 康键信息技术（深圳）有限公司 | 基于大数据的查询方法、装置、计算机设备和存储介质 |
| CN110807145A (zh) * | 2018-07-20 | 2020-02-18 | 中兴通讯股份有限公司 | 查询引擎获取方法、设备和计算机可读存储介质 |
| CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
| CN110222072A (zh) * | 2019-06-06 | 2019-09-10 | 江苏满运软件科技有限公司 | 数据查询平台、方法、设备和存储介质 |
| CN110837515A (zh) * | 2019-11-06 | 2020-02-25 | 北京天融信网络安全技术有限公司 | 一种基于数据库的数据处理方法及电子设备 |
| CN110825767A (zh) * | 2019-11-15 | 2020-02-21 | 江苏满运软件科技有限公司 | 数据查询方法、平台、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116489085A (zh) * | 2023-03-28 | 2023-07-25 | 网根科技(青岛)有限公司 | 一种基于Handle的解析路由安全监测方法和系统 |
| CN116489085B (zh) * | 2023-03-28 | 2023-10-27 | 网根科技(青岛)有限公司 | 一种基于Handle的解析路由安全监测方法和系统 |
| CN117331513A (zh) * | 2023-12-01 | 2024-01-02 | 蒲惠智造科技股份有限公司 | 基于Hadoop架构的数据精简方法和系统 |
| CN117331513B (zh) * | 2023-12-01 | 2024-03-19 | 蒲惠智造科技股份有限公司 | 基于Hadoop架构的数据精简方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11347761B1 (en) | System and methods for distributed database query engines | |
| US20150088807A1 (en) | System and method for granular scalability in analytical data processing | |
| US8386508B2 (en) | System and method for parallel query evaluation | |
| US6477523B1 (en) | Selectivity prediction with compressed histograms in a parallel processing database system | |
| WO2020211300A1 (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
| EP3014488B1 (en) | Incremental maintenance of range-partitioned statistics for query optimization | |
| US10223437B2 (en) | Adaptive data repartitioning and adaptive data replication | |
| US8661014B2 (en) | Stream processing by a query engine | |
| US20150154255A1 (en) | Estimating Statistics for Generating Execution Plans for Database Queries | |
| CN105824957A (zh) | 分布式内存列式数据库的查询引擎系统及查询方法 | |
| US11003649B2 (en) | Index establishment method and device | |
| CN110659327A (zh) | 实现异构数据库之间数据交互式查询的方法和相关装置 | |
| US9110947B1 (en) | Column-oriented task execution in a row-partitioned database system | |
| CN107291770B (zh) | 一种分布式系统中海量数据的查询方法及装置 | |
| CN110807145A (zh) | 查询引擎获取方法、设备和计算机可读存储介质 | |
| US9678999B1 (en) | Histogram generation on multiple dimensions | |
| CN113568931A (zh) | 一种数据访问请求的路由解析系统及方法 | |
| CN108073641B (zh) | 查询数据表的方法和装置 | |
| CN114756629A (zh) | 基于sql的多源异构数据交互分析引擎及方法 | |
| US9870399B1 (en) | Processing column-partitioned data for row-based operations in a database system | |
| US8046394B1 (en) | Dynamic partitioning for an ordered analytic function | |
| US20220215021A1 (en) | Data Query Method and Apparatus, Computing Device, and Storage Medium | |
| CN115982230A (zh) | 数据库的跨数据源查询方法、系统、设备及存储介质 | |
| US20140379691A1 (en) | Database query processing with reduce function configuration | |
| US9158815B2 (en) | Estimating a number of unique values in a list |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |