CN115062028B - 一种OLTP领域多表join查询的方法 - Google Patents

一种OLTP领域多表join查询的方法 Download PDF

Info

Publication number
CN115062028B
CN115062028B CN202210890452.6A CN202210890452A CN115062028B CN 115062028 B CN115062028 B CN 115062028B CN 202210890452 A CN202210890452 A CN 202210890452A CN 115062028 B CN115062028 B CN 115062028B
Authority
CN
China
Prior art keywords
data
stream
driven
driving
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210890452.6A
Other languages
English (en)
Other versions
CN115062028A (zh
Inventor
韩雷
马洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China State Construction eCommerce Co Ltd
Original Assignee
China State Construction eCommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China State Construction eCommerce Co Ltd filed Critical China State Construction eCommerce Co Ltd
Priority to CN202210890452.6A priority Critical patent/CN115062028B/zh
Publication of CN115062028A publication Critical patent/CN115062028A/zh
Application granted granted Critical
Publication of CN115062028B publication Critical patent/CN115062028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种OLTP领域多表join查询的方法，属于数据查询技术领域，包括在业务系统中发布宽表生成的配置规则并保存；对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；加载配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算并生成宽表数据；将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。本发明设计科学合理，使用方便，在业务系统进行数据库的增改查的过程中，无需关注宽表的逻辑，仅需宽表生成的配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算，借助服务器的海量存储能力，形成业务数据以供查询。

Description

一种OLTP领域多表join查询的方法
技术领域
本发明属于数据查询技术领域，具体涉及一种OLTP领域多表join查询的方法。
背景技术
在传统的OLTP领域，即关系型数据库中，系统需要实现大的列表查询，在需要列表查询时，运行驱动表 join连接多个被驱动表，然后在内存中生成所需的列表数据。如果关联的数据表少、列表的字段少、表中的数据体量不大、QPS（每秒查询率）不高的场景下，这种处理方式还可以支撑。但是在关联的数据表多、表中的数据体量较大的情况下，以此种这种方式支撑的系统查询对于硬件资源要求及系统运维人员的要求就会很高。
虽然在业界，也有很多基于Elasticsearch分布式搜索工具来存储大宽表，但是在OLTP领域里面，对于Elasticsearch的document构建来说，还是基于传统业务代码的硬编码处理。如此，导致宽表生成代码和真正的业务逻辑代码耦合，系统维护成本非常高，并且在难以维系超大数据量，成为所属技术领域技术人员亟待解决的技术问题。
因此，本发明提供了一种OLTP领域多表join查询的方法，以至少解决上述部分技术问题。
发明内容
本发明要解决的技术问题是：提供一种OLTP领域多表join查询的方法，以至少解决上述部分技术问题。
为实现上述目的，本发明采用的技术方案如下：
一种OLTP领域多表join查询的方法，包括以下步骤：
步骤S1、在业务系统中发布宽表生成的配置规则并保存；
步骤S2、对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；
步骤S3、加载配置规则，从kafka处理平台中获取Binlog数据，由flink流处理引擎实时计算并生成宽表数据；
步骤S4、将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。
进一步地，所述步骤S2中，将抓取的binlog数据转化为json格式并写入kafka处理平台中。
进一步地，所述步骤S1中，配置规则包括驱动表的存储结构和被驱动表的存储结构，驱动表的存储结构包括宽表名称、宽表中各驱动表、驱动表对应的关联键、驱动表需要查询的字段以及join引起的数据延迟时间，被驱动表的存储结构包括宽表名称、宽表中各被驱动表、被驱动表对应的关联键以及被驱动表需要查询的字段。
进一步地，所述步骤S2中，一个Mysql数据库的数据表对应kafka处理平台的一个数据流集合，并建立Mysql数据库的数据表和数据流集合的映射关系。
进一步地，所述步骤S3具体包括：步骤S31、由配置规则解析出Binlog数据对应的驱动表和被驱动表，根据映射关系在flink流处理引擎中生成数据源，由数据源形成多个数据流；步骤S32、由配置规则中的关联键将数据流依次连接形成一个链式的join流程，形成多流join的逻辑计划，由flink流处理引擎将逻辑计划转化为物理执行计划；步骤S33、通过自定义数据Sink，将物理执行计划生成的数据写入搜索服务器中以供数据查询。
进一步地，所述一个链式的join流程的形成方法具体包括：步骤S321，将输入的驱动表的数据流与第一个被驱动表的数据流关联形成连接流，再通过关联键进行hash分区，将数据流中基于相同关联键的数据分发至数据流集合的同一个patition中；步骤S322、采用延迟关联技术处理所述驱动表和被驱动表的数据，处理驱动表的数据时将驱动表和与驱动表相关联的被驱动表数据同时存放至flink流处理引擎的存储后端中，然后在驱动表的数据上注册一个定时器，当定时器触发时对驱动表的数据流和被驱动表的数据流关联并将关联好的连接流数据发送至下游；步骤S323、所述关联好的连接流继续关联被驱动表的数据直至关联至最后一个被驱动表，最终形成一个大宽表的逻辑构建。
进一步地，所述存储后端为RocksDB存储引擎。
进一步地，所述搜索引擎为Elasticsearch搜索引擎。
与现有技术相比，本发明具有以下有益效果：
本发明设计科学合理，使用方便，解决了现有宽表生成代码易与业务逻辑代码耦合、系统维护成本高、以及其维系数据量大的技术问题。业务系统在进行数据库的增删改差的过程中，无需关注宽表的逻辑，仅需宽表生成的配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算，借助服务器的海量存储能力，形成业务数据以供查询。本发明基于配置规则，用于清晰管理数据源与宽表的逻辑关系；基于flink流处理引擎天然的流式计算能力，具有较高的系统吞吐量，实现任务的横向扩展能力，提高整个系统的数据处理能力；借助服务器的海量分布式存储能力完成数据表全生命周期的数据存储业务；借助搜索引擎的全文索引能力，实现对宽表任意字段搜索，具有多维度的查询能力，避免了业务系统对查询维度的限制。
附图说明
图1为本发明方法流程图。
图2为本发明实施例中的一个驱动表的存储结构示意图。
图3为本发明实施例中的一个被驱动表的存储结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
术语解释：
OLTP为On-Line Transaction Processing，表示联机事务处理过程；
Join为程序语言，表示字符串，该字符串由包含在数组中的许多子字符串联接创建；
MySQL为一种关系型数据库管理系统；
Binlog为二进制日志；
flink为一种开源流处理框架；
Kafka为一种开源流处理平台；
kafka-connector为一种流式传输数据的框架；
debezium为一种捕获数据更改的平台；
JSON为JavaScript Object Notation，为一种轻量级的数据交换格式；
RichSinkFunction为flink框架中的一种抽象的数据输出函数;
Elasticsearch为一个搜索服务器；
hash为散列函数；
partition为一种计算机编程函数；
RocksDB 是一种可嵌入式的支持持久化的存储系统；
document为计算机术语，每一个载入浏览器的超文本标记语言文档都会成为document 对象。
如图1所示，本发明提供的一种OLTP领域多表join查询的方法，包括以下步骤：
步骤S1、在业务系统中发布宽表生成的配置规则并保存；
步骤S2、对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；
步骤S3、加载配置规则，从kafka处理平台中获取Binlog数据，由flink流处理引擎实时计算并生成宽表数据；
步骤S4、将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。
本发明设计科学合理，使用方便，解决了现有宽表生成代码易与业务逻辑代码耦合、系统维护成本高、以及其维系数据量大的技术问题。业务系统在进行数据库的增删改差的过程中，无需关注宽表的逻辑，仅需宽表生成的配置规则，从kafka处理平台中获取数据，由flink流处理引擎实时计算，借助服务器的海量存储能力，形成业务数据以供查询。本发明基于配置规则，用于清晰管理数据源与宽表的逻辑关系；基于flink流处理引擎天然的流式计算能力，具有较高的系统吞吐量，实现任务的横向扩展能力，提高整个系统的数据处理能力；借助服务器的海量分布式存储能力完成数据表全生命周期的数据存储业务；借助搜索引擎的全文索引能力，实现对宽表任意字段搜索，具有多维度的查询能力，避免了业务系统对查询维度的限制。
所述步骤S1中，配置规则包括驱动表的存储结构和被驱动表的存储结构，驱动表的存储结构包括宽表名称、宽表中各驱动表、驱动表对应的关联键、驱动表需要查询的字段以及join引起的数据延迟时间，被驱动表的存储结构包括宽表名称、宽表中各被驱动表、被驱动表对应的关联键以及被驱动表需要查询的字段。
实施例中的一个驱动表的存储结构如图2所示，实施例中的一个被驱动表的存储结构如图3所示。
所述步骤S2中，采用抓取工具kafka-connector和debezium对Mysql数据库中的Binlog数据抓取，所述抓取方法为现有技术，故此不做赘述。然后将抓取的binlog数据转化为json格式并写入kafka处理平台中。特别地，一个Mysql数据库的数据表对应kafka处理平台的一个数据流集合，并建立Mysql数据库的数据表和数据流集合的映射关系，即一个Mysql数据库的数据表和kafka处理平台的一个数据流集合一一对应。其中，Mysql数据库的数据表包括驱动表和被驱动表。
所述步骤S3具体包括：步骤S31、由配置规则解析出对应的驱动表和被驱动表，根据映射关系在flink流处理引擎中生成数据源，进一步形成数据流；步骤S32、由配置规则中的关联键将数据流依次连接形成一个链式的join流程，形成多流join的逻辑计划，再由flink流处理引擎转化为物理执行计划；步骤S33、由配置规则通过继承RichSinkFunction实现自定义数据sink，通过自定义数据Sink，将物理执行计划生成的数据写入搜索服务器中以供数据查询。所述搜索引擎为Elasticsearch搜索引擎，Elasticsearch搜索引擎具有全文索引能力和多维度的查询能力，可实现对宽表的任意字段搜索，避免业务系统对查询维度的限制。
所述一个链式的join流程的形成方法具体包括：步骤S321，将输入的驱动表的数据流与第一个被驱动表的数据流关联形成连接流，再通过关联键进行hash分区，将数据流中基于相同关联键的数据分发至数据流集合的同一个patition中；步骤S322、采用延迟关联技术处理所述驱动表和被驱动表的数据，处理驱动表的数据时将驱动表和与驱动表相关联的被驱动表数据同时存放至flink流处理引擎的存储后端中，然后在驱动表的数据上注册一个定时器，当定时器触发时对驱动表的数据流和被驱动表的数据流关联并将关联好的连接流数据发送至下游；步骤S323、所述关联好的连接流继续关联被驱动表的数据直至关联至最后一个被驱动表，最终形成一个大宽表的逻辑构建。其中，所述定时器为系统自有功能，定时器触发的时间间隔根据不同业务场景不同而动态配置。所述存储后端为RocksDB存储引擎，具有海量分布式存储能力，可实现数据表全生命周期的数据存储业务。
最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种OLTP领域多表join查询的方法，其特征在于，包括以下步骤：
步骤S1、在业务系统中发布宽表生成的配置规则并保存；
配置规则包括驱动表的存储结构和被驱动表的存储结构，驱动表的存储结构包括宽表名称、宽表中各驱动表、驱动表对应的关联键、驱动表需要查询的字段以及join引起的数据延迟时间，被驱动表的存储结构包括宽表名称、宽表中各被驱动表、被驱动表对应的关联键以及被驱动表需要查询的字段；
步骤S2、对Mysql数据库中的Binlog数据进行抓取、转化并写入kafka处理平台中；
一个Mysql数据库的数据表对应kafka处理平台的一个数据流集合，并建立Mysql数据库的数据表和数据流集合的映射关系；
步骤S3、加载配置规则，从kafka处理平台中获取Binlog数据，由flink流处理引擎实时计算并生成宽表数据；
所述步骤S3具体包括：步骤S31、由配置规则解析出Binlog数据对应的驱动表和被驱动表，根据映射关系在flink流处理引擎中生成数据源，由数据源形成多个数据流；步骤S32、由配置规则中的关联键将数据流依次连接形成一个链式的join流程，形成多流join的逻辑计划，由flink流处理引擎将逻辑计划转化为物理执行计划；步骤S33、通过自定义数据Sink，将物理执行计划生成的数据写入搜索服务器中以供数据查询；
所述一个链式的join流程的形成方法具体包括：步骤S321，将输入的驱动表的数据流与第一个被驱动表的数据流关联形成连接流，再通过关联键进行hash分区，将数据流中基于相同关联键的数据分发至数据流集合的同一个par tition中；步骤S322、采用延迟关联技术处理所述驱动表和被驱动表的数据，处理驱动表的数据时将驱动表和与驱动表相关联的被驱动表数据同时存放至flink流处理引擎的存储后端中，然后在驱动表的数据上注册一个定时器，当定时器触发时对驱动表的数据流和被驱动表的数据流关联并将关联好的连接流数据发送至下游；步骤S323、所述关联好的连接流继续关联被驱动表的数据直至关联至最后一个被驱动表，最终形成一个大宽表的逻辑构建；
步骤S4、将生成的宽表数据存储至服务器中并经搜索引擎提供数据查询。
2.根据权利要求1所述的一种OLTP领域多表join查询的方法，其特征在于，所述步骤S2中，将抓取的binlog数据转化为json格式并写入kafka处理平台中。
3.根据权利要求1所述的一种OLTP领域多表join查询的方法，其特征在于，所述存储后端为RocksDB存储引擎。
4.根据权利要求1所述的一种OLTP领域多表join查询的方法，其特征在于，所述搜索引擎为Elasticsearch搜索引擎。
CN202210890452.6A 2022-07-27 2022-07-27 一种OLTP领域多表join查询的方法 Active CN115062028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210890452.6A CN115062028B (zh) 2022-07-27 2022-07-27 一种OLTP领域多表join查询的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210890452.6A CN115062028B (zh) 2022-07-27 2022-07-27 一种OLTP领域多表join查询的方法

Publications (2)

Publication Number Publication Date
CN115062028A CN115062028A (zh) 2022-09-16
CN115062028B true CN115062028B (zh) 2023-01-06

Family

ID=83205645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210890452.6A Active CN115062028B (zh) 2022-07-27 2022-07-27 一种OLTP领域多表join查询的方法

Country Status (1)

Country Link
CN (1) CN115062028B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390040B (zh) * 2023-12-11 2024-03-29 深圳大道云科技有限公司 基于实时宽表的业务请求处理方法、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822747A (en) * 1996-08-23 1998-10-13 Tandem Computers, Inc. System and method for optimizing database queries
CN106156168A (zh) * 2015-04-16 2016-11-23 华为技术有限公司 在跨分区数据库中查询数据的方法及跨分区查询装置
CN107391719A (zh) * 2017-07-31 2017-11-24 南京邮电大学 一种云环境中分布式流数据处理方法及系统
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及系统
CN109684332A (zh) * 2018-12-20 2019-04-26 贵州工程应用技术学院 一种数据宽表生成方法、装置及系统
CN110362572A (zh) * 2019-06-25 2019-10-22 浙江邦盛科技有限公司 一种基于列式存储的时序数据库系统
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法
CN113468199A (zh) * 2021-07-29 2021-10-01 上海哔哩哔哩科技有限公司 索引更新方法及系统
CN113672671A (zh) * 2020-05-15 2021-11-19 西安京迅递供应链科技有限公司 一种实现数据加工的方法和装置
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务系统以及电子设备
CN114003568A (zh) * 2021-10-22 2022-02-01 深圳思为科技有限公司 数据处理的方法及相关装置
CN114579614A (zh) * 2022-02-11 2022-06-03 武汉物易云通网络科技有限公司 一种实时数据全量获取方法、装置及计算机设备
EP4020253A1 (en) * 2020-12-23 2022-06-29 Xiamen Meiya Pico Information Co., Ltd A data model creation method and terminal thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870401B2 (en) * 2014-04-17 2018-01-16 Wisoncsin Alumni Research Foundation Database system with highly denormalized database structure
CN110622152B (zh) * 2017-02-27 2021-04-13 分秒库公司 用于查询时间序列数据的可扩展数据库系统
CN109684352B (zh) * 2018-12-29 2020-12-01 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备
CN113570192A (zh) * 2021-06-21 2021-10-29 天津大学 一种基于大数据的农业社交智能服务系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822747A (en) * 1996-08-23 1998-10-13 Tandem Computers, Inc. System and method for optimizing database queries
CN106156168A (zh) * 2015-04-16 2016-11-23 华为技术有限公司 在跨分区数据库中查询数据的方法及跨分区查询装置
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及系统
CN107391719A (zh) * 2017-07-31 2017-11-24 南京邮电大学 一种云环境中分布式流数据处理方法及系统
CN109684332A (zh) * 2018-12-20 2019-04-26 贵州工程应用技术学院 一种数据宽表生成方法、装置及系统
CN110362572A (zh) * 2019-06-25 2019-10-22 浙江邦盛科技有限公司 一种基于列式存储的时序数据库系统
CN110489445A (zh) * 2019-08-02 2019-11-22 四川宏力信息科技有限责任公司 一种基于多形态复合的海量数据快速查询方法
CN113672671A (zh) * 2020-05-15 2021-11-19 西安京迅递供应链科技有限公司 一种实现数据加工的方法和装置
EP4020253A1 (en) * 2020-12-23 2022-06-29 Xiamen Meiya Pico Information Co., Ltd A data model creation method and terminal thereof
CN113468199A (zh) * 2021-07-29 2021-10-01 上海哔哩哔哩科技有限公司 索引更新方法及系统
CN114003568A (zh) * 2021-10-22 2022-02-01 深圳思为科技有限公司 数据处理的方法及相关装置
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务系统以及电子设备
CN114579614A (zh) * 2022-02-11 2022-06-03 武汉物易云通网络科技有限公司 一种实时数据全量获取方法、装置及计算机设备

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Analisis Perbandingan Optimasi Query Nasted Join dan Hash Join pada MySQL Server;Dewi M M 等;《Computer Science Research and Its Development Journal》;20170131;第9卷(第1期);31 *
mysql驱动表与被驱动表及join优化;卢士林;《https://blog.csdn.net/lovelessdream/article/details/104529735?ops_request_misc=&request_id=&biz_id=102&utm_term=mysql%20hash%20join%20%E9%A9%B1%E5%8A%A8%E8%A1%A8%20%E6%B5%81%E5%A4%84%E7%90%86》;20200227;1 *
Serverless data analytics with flint;Kim Y 等;《2018 IEEE 11th International Conference on Cloud Computing (CLOUD)》;20180911;451-455 *
基于MapReduce大数据并行处理的若干关键技术研究;张滨;《中国博士学位论文全文数据库信息科技辑》;20170515;I138-6 *
基于ORACLE数据库应用系统性能调整和优化研究;陈雍;《中国优秀硕士学位论文全文数据库信息科技辑》;20090715;I138-777 *
数据库 Hash Join的定义，原理，算法，成本，模式和位图;xibuhaohao;《https://www.cnblogs.com/xibuhaohao/p/11928995.html》;20191125;1 *
面向SaaS应用基于多宽表模式的多租户索引研究;张雅文等;《计算机应用与软件》;20180712(第07期);69-74 *
面向大规模网络流量数据的实时汇聚查询关键技术研究;郭庆等;《小型微型计算机系统》;20200529(第06期);196-202 *

Also Published As

Publication number Publication date
CN115062028A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
Ali et al. Comparison between SQL and NoSQL databases and their relationship with big data analytics
Borkar et al. Hyracks: A flexible and extensible foundation for data-intensive computing
Afrati et al. Optimizing multiway joins in a map-reduce environment
EP2572289B1 (en) Data storage and processing service
US8918363B2 (en) Data processing service
CN103246749B (zh) 面向分布式计算的矩阵数据库系统及其查询方法
CN112269792B (zh) 数据查询方法、装置、设备及计算机可读存储介质
US20090055370A1 (en) System and method for data warehousing and analytics on a distributed file system
US20100293135A1 (en) Highconcurrency query operator and method
Liang et al. Express supervision system based on NodeJS and MongoDB
CN103440288A (zh) 一种大数据存储方法及装置
WO2011126995A1 (en) Columnar storage representations of records
CN112015741A (zh) 一种海量数据的分库分表存储方法与装置
Fu et al. Geabase: A high-performance distributed graph database for industry-scale applications
Rodrigues et al. Big data processing tools: An experimental performance evaluation
CN115062028B (zh) 一种OLTP领域多表join查询的方法
Moussa Tpc-h benchmark analytics scenarios and performances on hadoop data clouds
Barkhordari et al. Atrak: a MapReduce-based data warehouse for big data
Hasan et al. Data transformation from sql to nosql mongodb based on r programming language
Sinthong et al. AFrame: Extending DataFrames for large-scale modern data analysis (Extended Version)
CN111125045A (zh) 一种轻量级etl处理平台
Arnold et al. HRDBMS: Combining the best of modern and traditional relational databases
CN110347755A (zh) 一种基于Hadoop和HBase的大数据多维数据分析方法及系统
Černjeka et al. NoSQL document store translation to data vault based EDW
US20220318314A1 (en) System and method of performing a query processing in a database system using distributed in-memory technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant