CN109597690A - 一种高性能云计算云爆发同步机制 - Google Patents

一种高性能云计算云爆发同步机制 Download PDF

Info

Publication number
CN109597690A
CN109597690A CN201811355964.2A CN201811355964A CN109597690A CN 109597690 A CN109597690 A CN 109597690A CN 201811355964 A CN201811355964 A CN 201811355964A CN 109597690 A CN109597690 A CN 109597690A
Authority
CN
China
Prior art keywords
cloud
event
synchronous
need
synchronization mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811355964.2A
Other languages
English (en)
Other versions
CN109597690B (zh
Inventor
朱兆生
江汉儒
吴健明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuansuan Intelligent Beijing Technology Co ltd
Zhejiang Yuansuan Technology Co ltd
Original Assignee
Far Wisdom (beijing) Technology Co Ltd
Zhejiang Far Count Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Far Wisdom (beijing) Technology Co Ltd, Zhejiang Far Count Cloud Computing Co Ltd filed Critical Far Wisdom (beijing) Technology Co Ltd
Priority to CN201811355964.2A priority Critical patent/CN109597690B/zh
Publication of CN109597690A publication Critical patent/CN109597690A/zh
Application granted granted Critical
Publication of CN109597690B publication Critical patent/CN109597690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Abstract

本发明公开了一种高性能云计算云爆发同步机制，属于云计算数据同步技术领域。现有的云爆发等解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。本发明包括任务调度器、同步器、虚拟集群管理器；本发明能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明方案合理，易于编程实现，提高云计算效率。

Description

一种高性能云计算云爆发同步机制
技术领域
本发明涉及一种高性能云计算云爆发同步机制，属于云计算数据同步技术领域。
背景技术
在高性能云计算领域中，随着复杂度、运算密集度以及研发需求大规模增加，该领域的企业内购置的多批次高性能运算集群将承载更高的运算能力、运算时间、运算量的压力。因此企业会采取云爆发等解决方案，一方面提供足够弹性的资源能够应对不同时段中的运算需求，另一方面能确保企业内部的关键性任务和数据优先处理。但传统云爆发的解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种能够有效进行数据同步，从而实现云数据的互通和本地访问的可用性和健壮性的高性能云计算云爆发同步机制。
为实现上述目的，本发明的技术方案为：
一种高性能云计算云爆发同步机制，包括任务调度器、同步器、虚拟集群管理器；
任务调度器，用于接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性；
虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；
同步器，用于任务同步；
任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；
其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；
当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件Event writer。
本发明能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明方案合理，易于编程实现，提高云计算效率。
作为优选技术措施，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器，把整个数据链进行分层次处理，便于编程实现。
作为优选技术措施，
同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致，从而确保数据一致性；
同步机制中的操作主要涉及原子操作，确保每次分配的同步事件都是唯一且单调递增的；
同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交(commit)或当遇到任意错误时执行回滚至事务初始状态，从而确保需同步一次性写入的日志结构LOG以及绑定的事件。
作为优选技术措施，需同步的事件写入机制：
需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写入日志结构LOG，每一次写入是由事件、序列号seq以及需同步端的写入时间组成的集合。当需同步端写入事件时，序列号seq原子性自增，一并提交(commit)事件及绑定序列号seq的日志结构LOG，以确保每次写入事件都是全量的日志结构LOG。这样做的好处是依附于日志结构LOG的特性，使得同步序列都有时序和因果关系，单独事件全量且独立，尤其是对于多云环境下，简化复杂的时序及因果关系，增强整体系统的健壮性。
作为优选技术措施，需同步端提供的未同步事件查询机制：
由于本发明中同步端会主动轮询需同步端，并获取未同步的事件进而同步，因此需同步端提供具体查询同步机制。该同步机制主要传入序列号seq以及需拉取事件的个数n作为参数，从而针对日志结构LOG全集查找最近大于序列号seq的n个事件。这样做保持查询的简单且去除需同步端维护过多的状态所导致的数据一致性问题。
作为优选技术措施，同步端轮询同步机制：
对于同步端，需维护最新已同步的最后的序列号；
当同步时，会先向需同步端通过最后的序列号查询未同步的事件，对于返回未同步的事件逐步根据事件(event)以及写入时间(tw)执行写入操作，并更新最后的序列号用于后续同步并最终提交(commit)该事务；这样做一是确保任意写入失败不会导致级连错误，其二是任意事务的失败下一次同步都会从最近一次已提交的序列号seq继续同步，从而对于系统的稳定性以及健壮性都有一定保障。
作为优选技术措施，多云环境下应用同步机制的步骤：
步骤1.当本地端云爆发至云端，即为确保本地端的可用性，而不完全实时依赖云端状态，即本地端作为同步端；
步骤2.云端作为需同步端，不断写入待同步状态，并提供未同步事件的查询接口；
步骤3.本地端作为同步端会间歇性向云端轮询未同步事件并同步自身状态。
作为优选技术措施，
这样确保同步期间，本地端依然能够处理运算，同时当云端出现故障或者不可用时，本地端依旧能访问已同步后的数据，同时云端需同步的数据不会丢失(除去存储故障)，当故障去除后，同步操作从最近的同步点开始继续同步，这样一是保障本地访问的高可用，二是保障整体系统的健壮性。
与现有技术相比，本发明具有以下有益效果：
本发明能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明方案合理，易于编程实现，提高云计算效率。
附图说明
图1是本发明实施例的模块顺序图；
图2是本发明需同步的事件写入机制示图；
图3为本发明需同步端提供的未同步事件查询机制示图；
图4为本发明同步端轮询同步机制示图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示，一种高性能云计算云爆发同步机制，其包括从爆发调度以及状态同步的整个生命周期，并包括以下步骤：
任务调度器接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性。
任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境等调度因子匹配最佳的云端集群，并提交相应输入至该集群。
其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态。
虚拟集群管理器接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理，当云端集群状态变更后，接收到状态通知并与同步器写入全量事件(Event writer)。
以下阐述具体同步机制
整个数据同步主要分为同步端与需同步端两端，同步端即为图1顺序图中的任务调度器，而需同步端则为虚拟集群管理以及同步器。
同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加(Append-only)特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致，从而确保数据一致性。
同步机制中的操作主要涉及原子操作，如序列号seq原子性自增，确保每次分配的同步事件都是唯一且单调递增的。
同步机制中涉及的事务(Transaction/Tx)用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交(commit)或当遇到任意错误时执行回滚至事务初始状态，从而确保需同步一次性写入的日志结构LOG以及绑定的事件。
如图2中需同步的事件写入机制所示，该同步机制主要描述需同步的事件写入机制，需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写入LOG，即每一次写入是由事件、序列号seq以及需同步端的写入时间组成的集合。当需同步端写入事件时，序列号seq原子性自增，一并提交(commit)事件及绑定序列号seq的LOG，以确保每次写入事件都是全量的LOG。这样做的好处是依附于LOG的特性，使得同步序列都有时序和因果关系，单独事件全量且独立，尤其是对于多云环境下，简化复杂的时序及因果关系，增强整体系统的健壮性。
如图3中需同步端提供的未同步事件查询机制所示，该同步机制主要描述需同步端提供的未同步事件查询。由于本发明中同步端会主动轮询需同步端，并获取未同步的事件进而同步，因此需同步端提供具体查询同步机制。该同步机制主要传入序列号seq以及需拉取事件的个数n作为参数，从而针对LOG全集查找最近大于序列号seq的n个事件。这样做保持查询的简单且去除需同步端维护过多的状态所导致的数据一致性问题。
如图4中所示同步端轮询同步机制所示，该同步机制主要描述同步端轮询同步的基本原理。对于同步端，需维护最新已同步的序列号。当同步时，会先向需同步端通过最后的序列号查询未同步的事件，对于返回未同步的事件逐步根据事件(event)以及写入时间(tw)执行写入操作，并更新最后的序列号用于后续同步并最终提交(commit)该事务。这样做一是确保任意写入失败不会导致级连错误，其二是任意事务的失败下一次同步都会从最近一次已提交的序列号seq继续同步，从而对于系统的稳定性以及健壮性都有一定保障。
以下阐述多云环境下应用上述同步机制的基本流程
1.当本地端云爆发至云端，即为确保本地端的可用性，而不完全实时依赖云端状态，因此需采用上述同步机机制--即本地端作为同步端。
2.云端作为需同步端会采用如图2所示需同步的事件写入机制原则，不断写入待同步状态(如，任务状态)，并提供未同步事件的查询接口(参见图3所示需同步端提供的未同步事件查询机制)。
3.本地端作为同步端会间歇性向云端轮询未同步事件并同步自身状态(参见图4所示同步端轮询同步机制)。
这样确保同步期间，本地端依然能够处理运算，同时当云端出现故障或者不可用时，本地端依旧能访问已同步后的数据，同时云端需同步的数据不会丢失(除去存储故障)，当故障去除后，同步操作从最近的同步点开始继续同步，这样一是保障本地访问的高可用，二是保障整体系统的健壮性。
高性能计算：通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计算资源操作)的计算系统和环境。虚拟集群：虚拟化多集群以提供统一化集群管理接口；云爆发是一个应用部署模式，其应用运行在私有云(privatecloud)或数据中心(data center)中，当计算能力的需求达到顶峰时则动态地向云服务器请求一定量的计算(或存储)能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种高性能云计算云爆发同步机制，其特征在于，包括任务调度器、同步器、虚拟集群管理器；
任务调度器，用于接受任务的提交，并进行任务调度；
虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；
同步器，用于任务同步；
任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；
其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；
当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件。
2.如权利要求1所述的一种高性能云计算云爆发同步机制，其特征在于，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器。
3.如权利要求2所述的一种高性能云计算云爆发同步机制，其特征在于，
同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致；
同步机制中的操作主要涉及原子操作；
同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交或当遇到任意错误时执行回滚至事务初始状态。
4.如权利要求3所述的一种高性能云计算云爆发同步机制，其特征在于，
需同步的事件写入机制：
需同步端自身维护序列号seq，即需同步端的时序ID且是单调递增的，并将序列号seq绑定的事件写入日志结构LOG，每一次写入是由事件、序列号seq以及需同步端的写入时间组成的集合；当需同步端写入事件时，序列号seq原子性自增，一并提交事件及绑定序列号seq的日志结构LOG，以确保每次写入事件都是全量的日志结构LOG。
5.如权利要求3所述的一种高性能云计算云爆发同步机制，其特征在于，
需同步端提供的未同步事件查询机制：
所述同步机制主要传入序列号seq以及需拉取事件的个数n作为参数，从而针对日志结构LOG全集查找最近大于序列号seq的n个事件。
6.如权利要求3所述的一种高性能云计算云爆发同步机制，其特征在于，
同步端轮询同步机制：
对于同步端，需维护最新已同步的序列号；
当同步时，会先向需同步端通过最后的序列号查询未同步的事件，对于返回未同步的事件逐步根据事件以及写入时间执行写入操作，并更新最后的序列号用于后续同步并最终提交该事务。
7.如权利要求1-6任一所述的一种高性能云计算云爆发同步机制，其特征在于，
多云环境下应用同步机制的步骤：
步骤1.当本地端云爆发至云端，即为确保本地端的可用性，而不完全实时依赖云端状态，即本地端作为同步端；
步骤2.云端作为需同步端，不断写入待同步状态，并提供未同步事件的查询接口；
步骤3.本地端作为同步端会间歇性向云端轮询未同步事件并同步自身状态。
8.如权利要求7所述的一种高性能云计算云爆发同步机制，其特征在于，
同步期间，本地端依然能够处理运算，同时当云端出现故障或者不可用时，本地端依旧能访问已同步后的数据，同时云端需同步的数据不会丢失，当故障去除后，同步操作从最近的同步点开始继续同步。
CN201811355964.2A 2018-11-14 2018-11-14 一种高性能云计算云爆发同步方法 Active CN109597690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811355964.2A CN109597690B (zh) 2018-11-14 2018-11-14 一种高性能云计算云爆发同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811355964.2A CN109597690B (zh) 2018-11-14 2018-11-14 一种高性能云计算云爆发同步方法

Publications (2)

Publication Number Publication Date
CN109597690A true CN109597690A (zh) 2019-04-09
CN109597690B CN109597690B (zh) 2019-10-22

Family

ID=65957294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811355964.2A Active CN109597690B (zh) 2018-11-14 2018-11-14 一种高性能云计算云爆发同步方法

Country Status (1)

Country Link
CN (1) CN109597690B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659138A (zh) * 2019-08-26 2020-01-07 平安科技（深圳）有限公司 基于定时任务的数据同步方法、装置、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005189A1 (en) * 2006-06-30 2008-01-03 Fujitsu Limited Computer readable recording medium having stored therein database synchronizing process program, and apparatus for and method of performing database synchronizing process
US20090077082A1 (en) * 2007-09-18 2009-03-19 Microsoft Corporation, Parallel nested transactions in transactional memory
CN102831156A (zh) * 2012-06-29 2012-12-19 浙江大学 一种云计算平台上的分布式事务处理方法
CN103812910A (zh) * 2012-11-14 2014-05-21 财团法人资讯工业策进会 通知并提供快速开启同步数据的方法以及系统
CN105468297A (zh) * 2015-11-18 2016-04-06 临沂大学 一种云存储系统内主从设备数据快速同步的方法
CN105701159A (zh) * 2015-12-30 2016-06-22 华为技术有限公司 一种数据同步装置和方法
CN107943555A (zh) * 2017-10-17 2018-04-20 华南理工大学 一种云计算环境下的大数据存储和处理平台及处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005189A1 (en) * 2006-06-30 2008-01-03 Fujitsu Limited Computer readable recording medium having stored therein database synchronizing process program, and apparatus for and method of performing database synchronizing process
US20090077082A1 (en) * 2007-09-18 2009-03-19 Microsoft Corporation, Parallel nested transactions in transactional memory
CN102831156A (zh) * 2012-06-29 2012-12-19 浙江大学 一种云计算平台上的分布式事务处理方法
CN103812910A (zh) * 2012-11-14 2014-05-21 财团法人资讯工业策进会 通知并提供快速开启同步数据的方法以及系统
CN105468297A (zh) * 2015-11-18 2016-04-06 临沂大学 一种云存储系统内主从设备数据快速同步的方法
CN105701159A (zh) * 2015-12-30 2016-06-22 华为技术有限公司 一种数据同步装置和方法
CN107943555A (zh) * 2017-10-17 2018-04-20 华南理工大学 一种云计算环境下的大数据存储和处理平台及处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659138A (zh) * 2019-08-26 2020-01-07 平安科技（深圳）有限公司 基于定时任务的数据同步方法、装置、终端及存储介质
CN110659138B (zh) * 2019-08-26 2024-03-15 平安科技（深圳）有限公司 基于定时任务的数据同步方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN109597690B (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
Hellings et al. Byshard: Sharding in a byzantine environment
Bravo et al. Saturn: A distributed metadata service for causal consistency
US8694647B2 (en) Read-only operations processing in a paxos replication system
US20180270297A1 (en) Command processing in distributed computing systems
Peluso et al. Score: A scalable one-copy serializable partial replication protocol
CN107148617B (zh) 日志协调存储组的自动配置
US20140279917A1 (en) Techniques To Parallelize CPU and IO Work of Log Writes
CN105871603B (zh) 一种基于内存数据网格的实时流式数据处理失效恢复系统及方法
CN109446395A (zh) 一种提高基于Hadoop大数据综合查询引擎效率的方法及系统
Martin et al. Active replication at (almost) no cost
CN102103518A (zh) 一种在虚拟化环境中管理资源的系统及其实现方法
Huang et al. Yugong: Geo-distributed data and job placement at scale
Wang et al. Improving mapreduce performance with partial speculative execution
Malik et al. An optimistic parallel simulation protocol for cloud computing environments
US11372871B1 (en) Programmable framework for distributed computation of statistical functions over time-based data
Xue et al. Processing concurrent graph analytics with decoupled computation model
Yang et al. Reliable computing service in massive-scale systems through rapid low-cost failover
CN109067841A (zh) 基于ZooKeeper的服务限流方法、系统、服务器及存储介质
CN106325984A (zh) 一种大数据任务调度装置
Memishi et al. Fault tolerance in MapReduce: A survey
Nawab et al. Message Futures: Fast Commitment of Transactions in Multi-datacenter Environments.
Cirne et al. Web-scale job scheduling
CN109597690B (zh) 一种高性能云计算云爆发同步方法
Pandey et al. LIFT-A new linear two-phase commit protocol
Liu et al. Towards low-latency I/O services for mixed workloads using ultra-low latency SSDs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 311799 Room 301, 688 Sunshine Road, Thousand Island Lake Town, Chunan County, Hangzhou, Zhejiang

Patentee after: Zhejiang yuansuan Technology Co.,Ltd.

Patentee after: YUANSUAN INTELLIGENT (BEIJING) TECHNOLOGY Co.,Ltd.

Address before: 311799 Room 301, 688 Sunshine Road, Thousand Island Lake Town, Chunan County, Hangzhou, Zhejiang

Patentee before: ZHEJIANG YUANSUAN CLOUD COMPUTING CO.,LTD.

Patentee before: YUANSUAN INTELLIGENT (BEIJING) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220927

Address after: 311799 Room 301, 688 Sunshine Road, Thousand Island Lake Town, Chunan County, Hangzhou, Zhejiang

Patentee after: Zhejiang yuansuan Technology Co.,Ltd.

Address before: 311799 Room 301, 688 Sunshine Road, Thousand Island Lake Town, Chunan County, Hangzhou, Zhejiang

Patentee before: Zhejiang yuansuan Technology Co.,Ltd.

Patentee before: YUANSUAN INTELLIGENT (BEIJING) TECHNOLOGY Co.,Ltd.