CN104580381A - 一种在多节点网络中执行作业任务的方法 - Google Patents

一种在多节点网络中执行作业任务的方法 Download PDF

Info

Publication number
CN104580381A
CN104580381A CN201410780849.5A CN201410780849A CN104580381A CN 104580381 A CN104580381 A CN 104580381A CN 201410780849 A CN201410780849 A CN 201410780849A CN 104580381 A CN104580381 A CN 104580381A
Authority
CN
China
Prior art keywords
node
metadata
task
grouping
subjob
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410780849.5A
Other languages
English (en)
Other versions
CN104580381B (zh
Inventor
徐礼正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI CAIYI INFORMATION TECHNOLOGY CO., LTD.
Original Assignee
Sea Of Clouds Science And Technology Ltd Can Be Thought In Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sea Of Clouds Science And Technology Ltd Can Be Thought In Beijing filed Critical Sea Of Clouds Science And Technology Ltd Can Be Thought In Beijing
Priority to CN201410780849.5A priority Critical patent/CN104580381B/zh
Publication of CN104580381A publication Critical patent/CN104580381A/zh
Application granted granted Critical
Publication of CN104580381B publication Critical patent/CN104580381B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

本申请提出了一种在多节点网络中执行作业任务的方法,包括:所述多节点网络中的当前节点接收作业任务;所述当前节点将所述作业任务分解为多个子作业任务;执行每一个子作业任务;所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果,并通过用户交互界面进行显示,并通过用户交互界面进行显示。本发明提出的在多节点网络中执行作业任务的方法,避免单个成员节点上存储元数据的负担;避免因服务节点故障造成的无法读取存储信息表的问题;减少节点冗余备份的负担;并减少单个节点的负载负担。

Description

一种在多节点网络中执行作业任务的方法
技术领域
本发明涉及计算机技术,特别涉及一种在多节点网络中执行作业任务的方法。
背景技术
现有计算机系统中,多节点网络中所有节点彼此相互连接,为了缓解单个节点上存储元数据的负载负担,将各个节点上分别存有一个或多个元数据,因此,当某一节点执行作业任务时,经常需要访问其他节点以获得所需的一个或多个元数据。然而现有技术中当某一节点出现故障时会出现其上存储的元数据不能被继续访问的问题。另一方面,当某一节点需要完成作业时,如果所述作业任务过大会造成某一节点的负载过重,导致不能及时完成。
发明内容
为解决上述现有技术所存在的问题,本发明引入独创的多级备份技术以及全新的负载均衡技术,提出了一种在多节点网络中执行作业任务的方法,所述多节点网络中包括彼此相互连接的多个网络节点,按照网段将所述多个网络节点划分到多个节点分组,每个节点分组中包括多个服务节点和多个成员节点;其中每一个成员节点中存储有多个元数据,每个元数据冗余存储在同一节点分组中的多个成员节点中;每一个服务节点中存储有所述多个元数据的存储位置的存储信息表,并且所述多个服务节点互为备份并同步更新,所述方法包括:所述多节点网络中的当前节点接收作业任务;所述当前节点将所述作业任务分解为多个子作业任务;对于每一个子作业任务,所述当前节点执行以下步骤:确定所述当前子作业任务所需要访问的一个或多个元数据;请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息,并接收所述具有最小负载的服务节点反馈的所述一个或多个元数据的存储位置信息;如果未能获得所有元数据的存储位置信息,则请求其他节点分组的服务节点提供未能获得的存储位置信息,直至获得所有元数据的存储位置信息;如果所述一个或多个元数据均来自同一存储位置,则将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务,否则所述当前节点根据所获得的所有元数据的存储位置信息获取所有需要访问的元数据并完成所述当前子作业任务;所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果,并通过用户交互界面进行显示,并通过用户交互界面进行显示。
优选地,所述每个元数据冗余存储在同一节点分组中的多个成员节点中包括:实时记录所述每个元数据的被访问日志,所述访问日志至少包括所述每个元数据的标识符和被访问的时间信息;周期性地计算所述每个元数据的单位时间访问量以及同一节点分组内所有元数据的单位时间平均访问量;将单位时间访问量大于单位时间平均访问量的元数据冗余存储在同一节点分组中的M个成员节点中,将单位时间访问量小于或等于单位时间平均访问量的元数据冗余存储在同一节点分组中的N个成员节点中,其中M>N。
优选地,所述请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息包括:将所述一个或多个元数据的标识符打包并发送给与所述当前节点属于同一节点分组的具有最小负载的服务节点;所述与所述当前节点属于同一节点分组的具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。
      优选地于,所述请求其他节点分组的服务节点提供未能获得的存储位置信息包括:将未能获得存储位置信息的一个或多个元数据的标识符打包并发送给与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点;所述与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。
      优选地,每个节点分组中的服务节点的数量为3。
      优选地,M为3,N为2。
      优选地,在步骤所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果之前还包括:接收其他节点发送的子作业任务的执行结果。
      优选地,在执行将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务期间,如果发现所述同一存储位置所在的节点负载超过预先设置的阈值,则将所有需要访问的元数据以及所述当前子作业任务发送给所述当前节点,并由所述当前节点完成所述当前子作业任务。
      优选地,所述当前节点将所有需要所述当前节点完成的子作业任务暂存在队列中,并根据所述当前节点依次执行所述队列中的子作业任务;其中,所述当前节点根据负载情况确定并发执行所述队列中的子作业任务的数量。
      优选地,如果所述当前节点中的队列中的子作业任务的数量超过预先设置的数量,则将后续需要加入队列的子作业任务及相关元数据发送给与所述当前节点在同一节点分组中的其他成员节点执行。
优选地,所述将后续需要加入队列的子作业任务及相关元数据发送给与所述当前节点在同一节点分组中的其他成员节点执行包括:将所述后续需要加入队列的子作业任务及相关元数据打包成待发送数据,将所述待发送数据发送给所述当前节点在同一节点分组中的负载最小的其他成员节点。
本发明相比现有技术,具有以下优点:
通过在服务节点上保存存储信息表并将多个元数据分别存储在多个成员节点上,使得避免单个成员节点上存储元数据的负担。
通过设置多个服务节点,从而实现在多个服务节点上备份保存存储信息表,使得避免因服务节点故障造成的无法读取存储信息表的问题。
通过根据元数据被访问的热度分别设置冗余备份的数量,使得尽量减少节点冗余备份的负担。
通过将作业任务分解并将子作业任务尽可能分配到其它节点执行,使得减少单个节点的负载负担。
附图说明
图1是根据本发明实施例的动态生成提醒信息的方法的流程图。
图2是根据本发明实施例的执行每一个子作业任务的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
根据本发明的实施例,所述多节点网络中包括彼此相互连接的多个网络节点,按照网段将所述多个网络节点划分到多个节点分组,每个节点分组中包括多个服务节点和多个成员节点;其中每一个成员节点中存储有多个元数据,每个元数据冗余存储在同一节点分组中的多个成员节点中;每一个服务节点中存储有所述多个元数据的存储位置的存储信息表,并且所述多个服务节点互为备份并同步更新。例如,每个节点分组中的服务节点的数量为3。每个节点分组中的成员节点的数量根据网段容量及网段内实际节点数量确定。
图1示出根据本发明实施例的在多节点网络中执行作业任务的方法的流程图。在步骤1中,所述多节点网络中的当前节点接收作业任务。所述当前节点是所述多节点网络中的任意一个成员节点。
在步骤2中、所述当前节点将所述作业任务分解为多个子作业任务。所述多个子作业任务可分别进行执行,包括顺序执行和并行执行。
在步骤3中、执行每一个子作业任务。如图2所示,对于每一个子作业任务,所述当前节点执行以下步骤:在步骤3.1中,确定所述当前子作业任务所需要访问的一个或多个元数据。在步骤3.2中,请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息,并接收所述具有最小负载的服务节点反馈的所述一个或多个元数据的存储位置信息,被请求的服务节点在其上保存的存储信息表中查找所述一个或多个元数据的存储位置信息,并将能够查询到的存储位置信息打包发送给当前节点。如果未能获得所有元数据的存储位置信息,则请求其他节点分组的服务节点提供未能获得的存储位置信息,直至获得所有元数据的存储位置信息。也就是说如果被请求的服务节点不能提供所有元数据的存储位置信息,则需要向其他节点分组中的服务节点请求未能获得的元数据的存储位置信息。在步骤3.3中,如果所述一个或多个元数据均来自同一存储位置,则将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务,否则所述当前节点根据所获得的所有元数据的存储位置信息获取所有需要访问的元数据并完成所述当前子作业任务;也就是说,如果当前节点中某一子任务作业所需的所有元数据均来自与该某一子作业任务处于同一节点分组的另一成员节点,则有所述另一成员节点完成所述子作业任务,否则由当前节点完成所述子作业任务。
在步骤4中、所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果,并通过用户交互界面进行显示,并通过用户交互界面进行显示。在本发明实施例中,在步骤所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果之前还包括:接收其他节点发送的子作业任务的执行结果。
在本发明实施例中,所述每个元数据冗余存储在同一节点分组中的多个成员节点中包括:实时记录所述每个元数据的被访问日志,所述访问日志至少包括所述每个元数据的标识符和被访问的时间信息。周期性地计算所述每个元数据的单位时间访问量以及同一节点分组内所有元数据的单位时间平均访问量。将单位时间访问量大于单位时间平均访问量的元数据冗余存储在同一节点分组中的M个成员节点中,将单位时间访问量小于或等于单位时间平均访问量的元数据冗余存储在同一节点分组中的N个成员节点中,其中M>N。例如,M为3,N为2。
在本发明实施例中,所述请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息包括:将所述一个或多个元数据的标识符打包并发送给与所述当前节点属于同一节点分组的具有最小负载的服务节点。所述与所述当前节点属于同一节点分组的具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。其中,当与所述当前节点属于同一节点分组的具有最小负载的服务节点接收到所述打包的标示符后,首先进行解包操作,然后再查询存储信息表。
在本发明实施例中,所述请求其他节点分组的服务节点提供未能获得的存储位置信息包括:将未能获得存储位置信息的一个或多个元数据的标识符打包并发送给与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点。所述与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。其中,与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点接收到打包后的标示符后,首先进行解包操作,然后再查询存储信息表。其中,所述当前节点接收到打包后的存储位置信息后,首先进行解包操作。
在本发明实施例中,在执行将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务期间,如果发现所述同一存储位置所在的节点负载超过预先设置的阈值,则将所有需要访问的元数据以及所述当前子作业任务发送给所述当前节点,并由所述当前节点完成所述当前子作业任务。所述当前节点将所有需要所述当前节点完成的子作业任务暂存在队列中,并根据所述当前节点依次执行所述队列中的子作业任务;其中,所述当前节点根据负载情况确定并发执行所述队列中的子作业任务的数量。如果所述当前节点中的队列中的子作业任务的数量超过预先设置的数量,则将后续需要加入队列的子作业任务及相关元数据发送给与所述当前节点在同一节点分组中的其他成员节点执行。所述将后续需要加入队列的子作业任务及相关元数据发送给与所述当前节点在同一节点分组中的其他成员节点执行包括:将所述后续需要加入队列的子作业任务及相关元数据打包成待发送数据,将所述待发送数据发送给所述当前节点在同一节点分组中的负载最小的其他成员节点。
综上所述,本发明提出的在多节点网络中执行作业任务的方法,避免单个成员节点上存储元数据的负担;避免因服务节点故障造成的无法读取存储信息表的问题;减少节点冗余备份的负担;并减少单个节点的负载负担。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种在多节点网络中执行作业任务的方法,所述多节点网络中包括彼此相互连接的多个网络节点,按照网段将所述多个网络节点划分到多个节点分组,每个节点分组中包括多个服务节点和多个成员节点;其中每一个成员节点中存储有多个元数据,每个元数据冗余存储在同一节点分组中的多个成员节点中;每一个服务节点中存储有所述多个元数据的存储位置的存储信息表,并且所述多个服务节点互为备份并同步更新,所述方法包括:
所述多节点网络中的当前节点接收作业任务;
所述当前节点将所述作业任务分解为多个子作业任务;
对于每一个子作业任务,所述当前节点执行以下步骤:
确定所述当前子作业任务所需要访问的一个或多个元数据;
请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息,并接收所述具有最小负载的服务节点反馈的所述一个或多个元数据的存储位置信息;如果未能获得所有元数据的存储位置信息,则请求其他节点分组的服务节点提供未能获得的存储位置信息,直至获得所有元数据的存储位置信息;
如果所述一个或多个元数据均来自同一存储位置,则将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务,否则所述当前节点根据所获得的所有元数据的存储位置信息获取所有需要访问的元数据并完成所述当前子作业任务;
       所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果,并通过用户交互界面进行显示,并通过用户交互界面进行显示。
2.根据权利要求1所述的方法,其特征在于,所述每个元数据冗余存储在同一节点分组中的多个成员节点中包括:
实时记录所述每个元数据的被访问日志,所述访问日志至少包括所述每个元数据的标识符和被访问的时间信息;
周期性地计算所述每个元数据的单位时间访问量以及同一节点分组内所有元数据的单位时间平均访问量;
将单位时间访问量大于单位时间平均访问量的元数据冗余存储在同一节点分组中的M个成员节点中,将单位时间访问量小于或等于单位时间平均访问量的元数据冗余存储在同一节点分组中的N个成员节点中,其中M>N。
3.根据权利要求2所述的方法,其特征在于,所述请求与所述当前节点属于同一节点分组的具有最小负载的服务节点提供所述一个或多个元数据的存储位置信息包括:
将所述一个或多个元数据的标识符打包并发送给与所述当前节点属于同一节点分组的具有最小负载的服务节点;
所述与所述当前节点属于同一节点分组的具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。
4. 根据权利要求3所述的方法,其特征在于,所述请求其他节点分组的服务节点提供未能获得的存储位置信息包括:
将未能获得存储位置信息的一个或多个元数据的标识符打包并发送给与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点;
所述与所述当前节点所在节点分组网段距离最近的节点分组中具有最小负载的服务节点查询存储信息表,并将匹配成功的一个或多个存储位置信息打包并发送给所述当前节点。
5. 根据权利要求1所述的方法,其特征在于,每个节点分组中的服务节点的数量为3。
6. 根据权利要求4所述的方法,其特征在于,M为3,N为2。
7. 根据权利要求1所述的方法,其特征在于,在步骤所述当前节点汇总所述多个子作业任务的执行结果并得到总体作业任务结果之前还包括:接收其他节点发送的子作业任务的执行结果。
8. 根据权利要求1所述的方法,其特征在于,在执行将所述当前子作业任务发送至所述同一存储位置所在的节点并由所述同一存储位置所在的节点完成所述当前子作业任务期间,如果发现所述同一存储位置所在的节点负载超过预先设置的阈值,则将所有需要访问的元数据以及所述当前子作业任务发送给所述当前节点,并由所述当前节点完成所述当前子作业任务。
9. 根据权利要求8所述的方法, 其特征在于,所述当前节点将所有需要所述当前节点完成的子作业任务暂存在队列中,并根据所述当前节点依次执行所述队列中的子作业任务;其中,所述当前节点根据负载情况确定并发执行所述队列中的子作业任务的数量。
10.     根据权利要求9所述的方法,其特征在于,如果所述当前节点中的队列中的子作业任务的数量超过预先设置的数量,则将后续需要加入队列的子作业任务及相关元数据发送给与所述当前节点在同一节点分组中的其他成员节点执行。
CN201410780849.5A 2014-12-17 2014-12-17 一种在多节点网络中执行作业任务的方法 Expired - Fee Related CN104580381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410780849.5A CN104580381B (zh) 2014-12-17 2014-12-17 一种在多节点网络中执行作业任务的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410780849.5A CN104580381B (zh) 2014-12-17 2014-12-17 一种在多节点网络中执行作业任务的方法

Publications (2)

Publication Number Publication Date
CN104580381A true CN104580381A (zh) 2015-04-29
CN104580381B CN104580381B (zh) 2018-02-06

Family

ID=53095539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410780849.5A Expired - Fee Related CN104580381B (zh) 2014-12-17 2014-12-17 一种在多节点网络中执行作业任务的方法

Country Status (1)

Country Link
CN (1) CN104580381B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786603A (zh) * 2016-02-29 2016-07-20 青岛海尔智能家电科技有限公司 一种基于分布式的高并发业务处理系统及方法
CN106713504A (zh) * 2017-02-17 2017-05-24 平安科技(深圳)有限公司 任务处理方法和系统
CN106777009A (zh) * 2016-12-07 2017-05-31 北京奇虎科技有限公司 智能设备及任务计划执行控制方法和装置
CN107423188A (zh) * 2016-03-07 2017-12-01 阿里巴巴集团控股有限公司 日志处理方法及设备
CN110753090A (zh) * 2019-09-20 2020-02-04 平安普惠企业管理有限公司 服务器集群的任务执行方法、装置、计算机设备及存储介质
CN113098854A (zh) * 2021-03-26 2021-07-09 深信服科技股份有限公司 任务编排方法、系统、存储介质和电子设备
CN115345728A (zh) * 2022-08-19 2022-11-15 中电金信软件有限公司 一种结算计息结息的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110173247A1 (en) * 2000-03-30 2011-07-14 Hubbard Edward A Massively Distributed Processing System Architecture, Scheduling, Unique Device Identification and Associated Methods
CN102882981A (zh) * 2012-10-19 2013-01-16 南京邮电大学 一种对等结构云平台下节点任务的负载均衡方法
CN103164261A (zh) * 2011-12-15 2013-06-19 中国移动通信集团公司 多中心数据任务处理方法、装置及系统
CN103188329A (zh) * 2011-12-31 2013-07-03 上海伊可夫信息科技有限公司 一种实时多任务远程网络控制系统
CN104184828A (zh) * 2014-09-09 2014-12-03 清华大学 混合网络系统、通信方法和网络节点

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110173247A1 (en) * 2000-03-30 2011-07-14 Hubbard Edward A Massively Distributed Processing System Architecture, Scheduling, Unique Device Identification and Associated Methods
CN103164261A (zh) * 2011-12-15 2013-06-19 中国移动通信集团公司 多中心数据任务处理方法、装置及系统
CN103188329A (zh) * 2011-12-31 2013-07-03 上海伊可夫信息科技有限公司 一种实时多任务远程网络控制系统
CN102882981A (zh) * 2012-10-19 2013-01-16 南京邮电大学 一种对等结构云平台下节点任务的负载均衡方法
CN104184828A (zh) * 2014-09-09 2014-12-03 清华大学 混合网络系统、通信方法和网络节点

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786603A (zh) * 2016-02-29 2016-07-20 青岛海尔智能家电科技有限公司 一种基于分布式的高并发业务处理系统及方法
CN105786603B (zh) * 2016-02-29 2022-03-11 青岛海尔智能家电科技有限公司 一种基于分布式的高并发业务处理系统及方法
CN107423188A (zh) * 2016-03-07 2017-12-01 阿里巴巴集团控股有限公司 日志处理方法及设备
CN107423188B (zh) * 2016-03-07 2021-05-07 阿里巴巴集团控股有限公司 日志处理方法及设备
CN106777009A (zh) * 2016-12-07 2017-05-31 北京奇虎科技有限公司 智能设备及任务计划执行控制方法和装置
CN106777009B (zh) * 2016-12-07 2019-12-13 北京安云世纪科技有限公司 智能设备及任务计划执行控制方法和装置
CN106713504A (zh) * 2017-02-17 2017-05-24 平安科技(深圳)有限公司 任务处理方法和系统
CN106713504B (zh) * 2017-02-17 2018-01-16 平安科技(深圳)有限公司 任务处理方法和系统
CN110753090A (zh) * 2019-09-20 2020-02-04 平安普惠企业管理有限公司 服务器集群的任务执行方法、装置、计算机设备及存储介质
CN113098854A (zh) * 2021-03-26 2021-07-09 深信服科技股份有限公司 任务编排方法、系统、存储介质和电子设备
CN115345728A (zh) * 2022-08-19 2022-11-15 中电金信软件有限公司 一种结算计息结息的方法及装置
CN115345728B (zh) * 2022-08-19 2023-11-03 中电金信软件有限公司 一种结算计息结息的方法及装置

Also Published As

Publication number Publication date
CN104580381B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN104580381A (zh) 一种在多节点网络中执行作业任务的方法
CN108780386B (zh) 一种数据存储的方法、装置和系统
US11301154B2 (en) Distributed storage method and device
US10019192B2 (en) Policy-based hierarchical data protection in distributed storage
CN102546782B (zh) 一种分布式系统及其数据操作方法
US9628438B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
JP5637552B2 (ja) ストレージシステム
US20150074672A1 (en) Asynchronous scheduling informed by job characteristics and anticipatory provisioning of data for real-time, parallel processing
CN111182067B (zh) 一种基于星际文件系统ipfs的数据写入方法及设备
US10356150B1 (en) Automated repartitioning of streaming data
CN104050250A (zh) 一种分布式键-值查询方法和查询引擎系统
US8930501B2 (en) Distributed data storage system and method
EP3180692A1 (en) Fault tolerant federation of computing clusters
CN105335448A (zh) 基于分布式环境的数据存储及处理系统
CN102591970A (zh) 一种分布式键-值查询方法和查询引擎系统
CN107450855B (zh) 一种用于分布式存储的模型可变的数据分布方法及系统
US20130254590A1 (en) Real time database system
CN104166589A (zh) 一种心跳包的处理方法和装置
US9197546B2 (en) System and method for providing a messaging cluster with hybrid partitions
CN108491163B (zh) 一种大数据处理方法、装置和存储介质
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN106326239A (zh) 分布式文件系统及其文件元信息管理方法
Gill et al. Dynamic cost-aware re-replication and rebalancing strategy in cloud system
CN107315745B (zh) 一种私信存储方法及系统
CN111930716A (zh) 一种数据库扩容方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150917

Address after: 225400, room 4, building 401, traffic district, Taixing Town, Taixing, Jiangsu

Applicant after: Ju Qiuping

Address before: 100020 Beijing city Chaoyang District auspicious A Jiahui International Center No. 14 block 1506

Applicant before: Sea of clouds Science and Technology Ltd. can be thought in Beijing

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Mao Gaofeng

Inventor before: Xu Lizheng

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180111

Address after: Room 501, room 2, No. 391, Guiping Road, Xuhui District, Shanghai

Applicant after: SHANGHAI CAIYI INFORMATION TECHNOLOGY CO., LTD.

Address before: 225400, room 4, building 401, traffic district, Taixing Town, Taixing, Jiangsu

Applicant before: Ju Qiuping

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180206

Termination date: 20191217