CN104348913A - 一种紧耦合可扩展的大数据交互方法 - Google Patents
一种紧耦合可扩展的大数据交互方法 Download PDFInfo
- Publication number
- CN104348913A CN104348913A CN201410585403.7A CN201410585403A CN104348913A CN 104348913 A CN104348913 A CN 104348913A CN 201410585403 A CN201410585403 A CN 201410585403A CN 104348913 A CN104348913 A CN 104348913A
- Authority
- CN
- China
- Prior art keywords
- read
- node
- write
- client
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010168 coupling process Methods 0.000 title claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 9
- 230000003993 interaction Effects 0.000 title claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012482 interaction analysis Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 241000251730 Chondrichthyes Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种紧耦合可扩展的大数据交互方法，通过构建分布式紧耦合的客户端驱动层，在保证一致性的基础上，能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，使系统在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求。上述方法可以保证数据的读写一致性，虽然单纯读操作会出现延迟现象，但可以保证读取版本的顺序一致。在需要读取最新版本情况下，可以主动执行一次数据同步过程。此外，该方法具备很好的容错性，只要失效节点数小于半数，其他节点读写数据不受影响，当节点回复后，只需一次读写操作通过步骤即可同步。
Description
技术领域
本发明涉及大数据技术领域, 具体地说是一种紧耦合可扩展的大数据交互方法。
背景技术
随着大数据时代的到来，针对行业大数据业务应用需求，面向数据密集型应用的计算模型和系统不断出现，如离线批处理系统MapReduce，海量数据高并发处理系统HBase，内存计算框架Spark和流式处理框架Storm，以及传统的高性能计算框架MPI等。在这些大数据处理模式中，由于都引入了新的编程模型，学习成本较大，因此，基于各类大数据处理系统构建与传统数据库应用为相似的交互分析模式和效果需求最为广泛。在交互分析中，数据以表的形式存储，以SQL语句作为编程接口，支持检索、统计、关联、排序等操作，达到高并发、低延迟的处理效果。当前出现的基于MapReduce的Hive，基于Spark的Shark都属于这一类交互分析引擎。
然而，现有的交互分析引擎，虽然支持表结构和SQL语句的模式，并且底层的数据系统采用分布式架构，但在实际应用中的交互分析效果依然很差。如Hive采用MapReduce引擎采用在各个处理阶段严格同步、步步物化的模式，处理延迟较大，Shark虽然基于内存计算引擎，通过流水化和中间结果缓存优化了处理性能，但由于其采用传统的Clinet/Sever模式，并且进行SQL解析、路径规划和元数据处理Server端仅支持单点部署，但制约了高并发的交互处理效果。因此，需要一种新型驱动架构，满足大数据的在线高并发交互分析需求。
发明内容
本发明的目的是提供一种紧耦合可扩展的大数据交互方法。
本发明的目的是按以下方式实现的，通过构建分布式紧耦合的客户端驱动层，在保证一致性的基础上，能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，使系统在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求，具体步骤如下：
1）在应用服务器中部署多个应用实例，各应用实例间进行负载均衡；
2）在每个实例的进程空间中动态链接客户端驱动，客户端接受应用发送的交互请求，完成Sql解析、执行路径优化、任务调度、发送操作请求和结果汇聚；
3）应用实例得到返回结果并在业务逻辑层处理，避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，由于上述架构的客户端驱动只需要保存少量系统的元数据状态，并且元数据是以读取和查询类操作为主，因此能够有效扩展、支持高并发，当发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性；
4）读写同步过程为每次读写时，先从本节点读到当前版本；进行数据更新后，版本号加1,向所有个节点发送写数据更新请求；节点收到新版本更新后，若之前没有同意更高的版本，则赞成返回，否则通知发送方最新的版本号；
5）当未收到半数以上同意票后，取各节点返回的最大的版本号，若最大版本号与自己发出的相同，表明更新冲突，等待最新版本数据同步，否则从半数以上个节点读取最新版本数据，当收到最新版本数据后，重新设置当前版本继续进行更新；
6）当收到半数个节点以上个同意票后，向所有节点提交结果；收到半数个节点的确认后，读写操作完成；
在以元数据读操作为主的类场景下具有很好的可扩展性，但发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性，多节点紧耦合系统的读写同步过程如下：
（1）每次读写时，先从本节点读到当前版本d v ；
（2）进行数据更新后，版本号v+1,向所有n个节点发送写请求d v+1；
（3）节点n i收到d v+1 后，若之前没有同意更高的版本，即v i<v+1则赞成返回，否则通知发送方最新的版本号v i ；
（4）当未收到半数以上同意票后，取各节点返回的最大的版本号v m ；
4.1）当v m= v+1,表明更新冲突，等待最新版本v m同步；
4.2）否则，向n/2+1个节点读取最新版本v m；
4.3）当收到最大版本号后，设置当前版本v= v m继续执行步骤（2）；
（5）否则，当收到半数n/2+1个节点以上个同意票后，向所有节点提交结果；
（6）收到n/2+1个节点的确认后，读写操作完成；
（7）单纯读操作受步骤（6）影响，会出现延迟现象，但能保证读取版本的顺序一致，在需要读取最新版本情况下，主动执行一次步骤4.1）以同步数据；
（8）只要失效节点数小于n/2+1，其他节点读写数据不受影响，当节点回复后，只需一次读写操作，通过步骤4.2）、4.3）即可同步。
本发明的目的有益效果是：上述方法可以保证数据的读写一致性，虽然单纯读操作会出现延迟现象，但可以保证读取版本的顺序一致。在需要读取最新版本情况下，可以主动执行一次数据同步过程。此外，该方法具备很好的容错性，只要失效节点数小于半数，其他节点读写数据不受影响，当节点回复后，只需一次读写操作通过步骤即可同步。
附图说明
图1是单客户端、单服务器系统架构图；
图2是单客户端、多服务端系统架构图；
图3是多客户端、多服务端分离系统架构图；
图4是多节点紧耦合系统架构图；
图5是多节点驱动架构的读写同步过程图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征的相互均在本发明的保护范围之内。
在传统的客户机服务器模式中，图1所示的单客户端、单服务器系统在服务端存在单点失效和性能瓶颈，图2所示单客户端、多服务端系统在服务端建立了集群，但在客户端存在单点失效和性能瓶颈，图3所示多客户端、多服务端分离系统在客户端和服务端分别建立集群，能够在两端分别进行负载均衡，虽然能够避免单点失效，提高并发性能，但若客户端和服务端采用物理隔离的部署方式则节点资源需求量太大，即便是采用物理集中的部署模式相互之间仍是多对多的复杂拓扑结构，各种路由消息、收发数据所产占用的系统和通信开销随着节点数目增加呈幂指数增长，在网络带宽受限的环境下严重影响了大数据系统的性能。
多节点紧耦合系统如图4所示：
（1）在应用服务器中部署n个应用实例，各应用实例间进行负载均衡；
（2）在每个实例的进程空间中动态链接客户端驱动；
（3）客户端驱动接受应用发送的交互请求，完成Sql解析、执行操作编译和路径优化、向分布式大数据处理系统发送操作请求；
（4）大数据处理系统在各处理节点上进行处理，并将结果返回给客户端驱动汇总处理；
（5）应用实例得到返回结果并在业务逻辑层处理；
上述架构能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，由于上述架构的客户端驱动只需要保存少量系统的元数据状态，并且元数据是以读取和查询类操作为主，因此能够有效扩展、支持高并发。
多节点紧耦合系统读写同步方法
上述在以元数据读操作为主的类场景下具有很好的可扩展性，但发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性。多节点紧耦合系统的读写同步过程如图5所示：
（1）每次读写时，先从本节点读到当前版本d v ；
（2）进行数据更新后，版本号v+1,向所有n个节点发送写请求d v+1；
（3）节点n i收到d v+1 后，若之前没有同意更高的版本，即v i<v+1则赞成返回，否则通知发送方最新的版本号v i
（4）当未收到半数以上同意票后，取各节点返回的最大的版本号v m,
4.1）当v m= v+1,表明更新冲突，等待最新版本v m同步；
4.2）否则，向n/2+1个节点读取最新版本v m，
4.3）当收到最大版本号后，设置当前版本v= v m继续进行（2）
（5）否则，当收到半数n/2+1个节点以上个同意票后，向所有节点提交结果；
（6）收到n/2+1个节点的确认后，读写操作完成。
上述方法可以保证数据的读写一致性，虽然单纯读操作受步骤（6）影响，会出现延迟现象，但可以保证读取版本的顺序一致。在需要读取最新版本情况下，可以主动执行一次步骤4.1）同步数据。此外，该方法具备很好的容错性，只要失效节点数小于n/2+1，其他节点读写数据不受影响，当节点回复后，只需一次读写操作，通过步骤4.2）、4.3）即可同步。
本发明提出的面向大数据交互处理的驱动架构及同步方法，可以应用到MapReduce、Spark、HBase等大数据处理系统上，通过在构建客户端驱动层，能够在保证一致性的基础上，使客户驱动层在在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求。以构建于MapReduce的驱动架构为例，在原先Hive的单点方式仅支持100个并发的情况下，使用5节点紧耦合驱动架构能使并发量达到500个。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种紧耦合可扩展的大数据交互方法, 其特征在于通过构建分布式紧耦合的客户端驱动层，在保证一致性的基础上，能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，使系统在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求，具体步骤如下：
1）在应用服务器中部署多个应用实例，各应用实例间进行负载均衡；
2）在每个实例的进程空间中动态链接客户端驱动，客户端接受应用发送的交互请求，完成Sql解析、执行路径优化、任务调度、发送操作请求和结果汇聚；
3）应用实例得到返回结果并在业务逻辑层处理，避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，由于上述架构的客户端驱动只需要保存少量系统的元数据状态，并且元数据是以读取和查询类操作为主，因此能够有效扩展、支持高并发，当发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性；
4）读写同步过程为每次读写时，先从本节点读到当前版本；进行数据更新后，版本号加1,向所有个节点发送写数据更新请求；节点收到新版本更新后，若之前没有同意更高的版本，则赞成返回，否则通知发送方最新的版本号；
5）当未收到半数以上同意票后，取各节点返回的最大的版本号，若最大版本号与自己发出的相同，表明更新冲突，等待最新版本数据同步，否则从半数以上个节点读取最新版本数据，当收到最新版本数据后，重新设置当前版本继续进行更新；
6）当收到半数个节点以上个同意票后，向所有节点提交结果；收到半数个节点的确认后，读写操作完成；
根据权利要求1所述的一种分布式多节点紧耦合大数据交互方法，其特征在于，在以元数据读操作为主的类场景下具有很好的可扩展性，但发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性，多节点紧耦合系统的读写同步过程如下：
（1）每次读写时，先从本节点读到当前版本d v ；
（2）进行数据更新后，版本号v+1,向所有n个节点发送写请求d v+1；
（3）节点n i收到d v+1 后，若之前没有同意更高的版本，即v i<v+1则赞成返回，否则通知发送方最新的版本号v i ；
（4）当未收到半数以上同意票后，取各节点返回的最大的版本号v m ；
4.1）当v m= v+1,表明更新冲突，等待最新版本v m同步；
4.2）否则，向n/2+1个节点读取最新版本v m；
4.3）当收到最大版本号后，设置当前版本v= v m继续执行步骤（2）；
（5）否则，当收到半数n/2+1个节点以上个同意票后，向所有节点提交结果；
（6）收到n/2+1个节点的确认后，读写操作完成；
（7）单纯读操作受步骤（6）影响，会出现延迟现象，但能保证读取版本的顺序一致，在需要读取最新版本情况下，主动执行一次步骤4.1）以同步数据；
（8）只要失效节点数小于n/2+1，其他节点读写数据不受影响，当节点回复后，只需一次读写操作，通过步骤4.2）、4.3）即可同步。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410585403.7A CN104348913B (zh) | 2014-10-28 | 2014-10-28 | 一种紧耦合可扩展的大数据交互方法 |
| PCT/CN2015/072975 WO2016065776A1 (zh) | 2014-10-28 | 2015-02-13 | 一种紧耦合可扩展的大数据交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410585403.7A CN104348913B (zh) | 2014-10-28 | 2014-10-28 | 一种紧耦合可扩展的大数据交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104348913A true CN104348913A (zh) | 2015-02-11 |
| CN104348913B CN104348913B (zh) | 2016-08-24 |
Family
ID=52503695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410585403.7A Active CN104348913B (zh) | 2014-10-28 | 2014-10-28 | 一种紧耦合可扩展的大数据交互方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104348913B (zh) |
| WO (1) | WO2016065776A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065776A1 (zh) * | 2014-10-28 | 2016-05-06 | 浪潮电子信息产业股份有限公司 | 一种紧耦合可扩展的大数据交互方法 |
| CN106599195A (zh) * | 2016-12-14 | 2017-04-26 | 北京邮电大学 | 一种海量网络数据环境下的元数据同步方法及系统 |
| CN108063780A (zh) * | 2016-11-08 | 2018-05-22 | 中国电信股份有限公司 | 用于动态复制数据的方法和系统 |
| CN108234641A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 基于分布式一致性协议实现的数据读写方法及装置 |
| CN109542872A (zh) * | 2018-10-26 | 2019-03-29 | 金蝶软件（中国）有限公司 | 数据读取方法、装置、计算机设备和存储介质 |
| CN110825309A (zh) * | 2018-08-08 | 2020-02-21 | 华为技术有限公司 | 数据读取方法、装置及系统、分布式系统 |
| CN111090665A (zh) * | 2019-11-15 | 2020-05-01 | 广东数果科技有限公司 | 一种数据任务调度方法及调度系统 |
| CN116483739A (zh) * | 2023-06-21 | 2023-07-25 | 深存科技(无锡)有限公司 | 基于hash计算的KV对快速写架构 |
| CN118656038A (zh) * | 2024-08-21 | 2024-09-17 | 苏州元脑智能科技有限公司 | 元数据同步方法、装置和存储系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023920A (zh) * | 2010-10-27 | 2011-04-20 | 西安交通大学 | 一种远程并行程序调试系统中基于树形的消息聚集方法 |
| CN102521044A (zh) * | 2011-12-30 | 2012-06-27 | 北京拓明科技有限公司 | 一种基于消息中间件的分布式任务调度方法及系统 |
| CN103188346A (zh) * | 2013-03-05 | 2013-07-03 | 北京航空航天大学 | 支持分布式决策的大规模高并发访问i/o服务器负载均衡系统 |
| CN103227754A (zh) * | 2013-04-16 | 2013-07-31 | 浪潮(北京)电子信息产业有限公司 | 一种高可用集群系统负载动态均衡方法及节点设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235807A (zh) * | 2013-04-19 | 2013-08-07 | 浪潮集团山东通用软件有限公司 | 一种支持高并发大数据量的数据抽取处理方法 |
| CN103218210B (zh) * | 2013-04-28 | 2015-08-26 | 北京航空航天大学 | 适于大数据高并发访问的文件级分条系统 |
| CN103428292A (zh) * | 2013-08-20 | 2013-12-04 | 浪潮集团有限公司 | 一种大数据有效存储的装置和方法 |
| CN104348913B (zh) * | 2014-10-28 | 2016-08-24 | 浪潮电子信息产业股份有限公司 | 一种紧耦合可扩展的大数据交互方法 |
-
2014
- 2014-10-28 CN CN201410585403.7A patent/CN104348913B/zh active Active
-
2015
- 2015-02-13 WO PCT/CN2015/072975 patent/WO2016065776A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023920A (zh) * | 2010-10-27 | 2011-04-20 | 西安交通大学 | 一种远程并行程序调试系统中基于树形的消息聚集方法 |
| CN102521044A (zh) * | 2011-12-30 | 2012-06-27 | 北京拓明科技有限公司 | 一种基于消息中间件的分布式任务调度方法及系统 |
| CN103188346A (zh) * | 2013-03-05 | 2013-07-03 | 北京航空航天大学 | 支持分布式决策的大规模高并发访问i/o服务器负载均衡系统 |
| CN103227754A (zh) * | 2013-04-16 | 2013-07-31 | 浪潮(北京)电子信息产业有限公司 | 一种高可用集群系统负载动态均衡方法及节点设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016065776A1 (zh) * | 2014-10-28 | 2016-05-06 | 浪潮电子信息产业股份有限公司 | 一种紧耦合可扩展的大数据交互方法 |
| CN108063780A (zh) * | 2016-11-08 | 2018-05-22 | 中国电信股份有限公司 | 用于动态复制数据的方法和系统 |
| CN108063780B (zh) * | 2016-11-08 | 2021-02-19 | 中国电信股份有限公司 | 用于动态复制数据的方法和系统 |
| CN106599195B (zh) * | 2016-12-14 | 2020-07-31 | 北京邮电大学 | 一种海量网络数据环境下的元数据同步方法及系统 |
| CN106599195A (zh) * | 2016-12-14 | 2017-04-26 | 北京邮电大学 | 一种海量网络数据环境下的元数据同步方法及系统 |
| CN108234641A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 基于分布式一致性协议实现的数据读写方法及装置 |
| CN108234641B (zh) * | 2017-12-29 | 2021-01-29 | 北京奇元科技有限公司 | 基于分布式一致性协议实现的数据读写方法及装置 |
| CN110825309A (zh) * | 2018-08-08 | 2020-02-21 | 华为技术有限公司 | 数据读取方法、装置及系统、分布式系统 |
| CN110825309B (zh) * | 2018-08-08 | 2021-06-29 | 华为技术有限公司 | 数据读取方法、装置及系统、分布式系统 |
| US11455117B2 (en) | 2018-08-08 | 2022-09-27 | Huawei Technologies Co., Ltd. | Data reading method, apparatus, and system, avoiding version rollback issues in distributed system |
| CN109542872A (zh) * | 2018-10-26 | 2019-03-29 | 金蝶软件（中国）有限公司 | 数据读取方法、装置、计算机设备和存储介质 |
| CN111090665A (zh) * | 2019-11-15 | 2020-05-01 | 广东数果科技有限公司 | 一种数据任务调度方法及调度系统 |
| CN116483739A (zh) * | 2023-06-21 | 2023-07-25 | 深存科技(无锡)有限公司 | 基于hash计算的KV对快速写架构 |
| CN116483739B (zh) * | 2023-06-21 | 2023-08-25 | 深存科技(无锡)有限公司 | 基于hash计算的KV对快速写架构 |
| CN118656038A (zh) * | 2024-08-21 | 2024-09-17 | 苏州元脑智能科技有限公司 | 元数据同步方法、装置和存储系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016065776A1 (zh) | 2016-05-06 |
| CN104348913B (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104348913A (zh) | 一种紧耦合可扩展的大数据交互方法 | |
| Lin et al. | Log analysis in cloud computing environment with Hadoop and Spark | |
| CN102663117B (zh) | 面向数据库与Hadoop混合平台的OLAP查询处理方法 | |
| EP3058690B1 (en) | System and method for creating a distributed transaction manager supporting repeatable read isolation level in a mpp database | |
| US9852230B2 (en) | Asynchronous message passing for large graph clustering | |
| US10545993B2 (en) | Methods and systems of CRDT arrays in a datanet | |
| CN108280522A (zh) | 一种插件式分布式机器学习计算框架及其数据处理方法 | |
| CN108121782A (zh) | 查询请求的分配方法、数据库中间件系统以及电子设备 | |
| US11068499B2 (en) | Method, device, and system for peer-to-peer data replication and method, device, and system for master node switching | |
| CN104484472A (zh) | 一种混合多种异构数据源的数据库集群及实现方法 | |
| CN102937964B (zh) | 基于分布式系统的智能数据服务方法 | |
| CN111008244A (zh) | 一种用于数据库的同步和分析方法及系统 | |
| Agneeswaran | Big-data–theoretical, engineering and analytics perspective | |
| CN102946410A (zh) | 网络同步方法和装置 | |
| CN102946411A (zh) | 网络同步系统 | |
| Li et al. | The overview of big data storage and management | |
| Pineda-Morales et al. | Towards multi-site metadata management for geographically distributed cloud workflows | |
| Senger et al. | BSP cost and scalability analysis for MapReduce operations | |
| Malik et al. | Optimistic synchronization of parallel simulations in cloud computing environments | |
| Panigrahi et al. | DATALET: An approach to manage big volume of data in cyber foraged environment | |
| Fu et al. | The survey of big data | |
| US11360866B2 (en) | Updating stateful system in server cluster | |
| CN105302817A (zh) | 分布式文件系统管理方法和装置 | |
| Wang et al. | A BSP-based parallel iterative processing system with multiple partition strategies for big graphs | |
| Yang et al. | Parameter communication consistency model for large-scale security monitoring based on mobile computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |