CN109347908B - 分布式异构计算的数据访问方法 - Google Patents

分布式异构计算的数据访问方法 Download PDF

Info

Publication number
CN109347908B
CN109347908B CN201811035133.7A CN201811035133A CN109347908B CN 109347908 B CN109347908 B CN 109347908B CN 201811035133 A CN201811035133 A CN 201811035133A CN 109347908 B CN109347908 B CN 109347908B
Authority
CN
China
Prior art keywords
data
computing
management system
networked
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811035133.7A
Other languages
English (en)
Other versions
CN109347908A (zh
Inventor
田浩来
陈少佳
邹佳恒
肖亮
王修库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Neutron Science Center
Original Assignee
Dongguan Neutron Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Neutron Science Center filed Critical Dongguan Neutron Science Center
Priority to CN201811035133.7A priority Critical patent/CN109347908B/zh
Publication of CN109347908A publication Critical patent/CN109347908A/zh
Application granted granted Critical
Publication of CN109347908B publication Critical patent/CN109347908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种用于分布式异构计算的数据访问方法，包括组织、管理和获取全局数据的方法和本地数据的方法。其中全局一致的数据组织方式和统一联网共享数据和本地共享数据的管理方法，使得分布式异构系统某一个数据消费计算节点，能从数据生产节点或联网数据管理系统中透明的按名获取联网共享数据；也使得计算节点内部各计算组件，能按名获取本地共享数据。由于不同异构计算设备、不同计算节点对相同的数据结构有不同的表达方式，该数据管理的方法和系统同时提供透明的数据转换操作，以适配分布式异构计算系统中各计算设备对数据格式和表达的不同要求。

Description

分布式异构计算的数据访问方法
技术领域
本公开涉及分布式异构计算技术领域，尤其涉及一种分布式异构计算的数据访问方法，具体包括分布式异构计算系统中管理全局数据集的方法和分布式异构计算系统中管理本地数据集的方法。
背景技术
近几年来，异构融合并行计算系统逐渐成为高性能低功耗计算的首选，随着GPU通用计算成功的启发，和CPU摩尔定律的失效，现代计算往往集成了多种计算设备，如用于人工智能的张量计算单元(TPU)，专用数字信号处理器(DSP)和现场可编程门阵列(FPGA)。这些不同的计算硬件通过总线构成异构计算单元，多个计算单元通过互联技术组成并行计算系统。由于每种计算硬件支持不同的数据结构，同时计算任务的不同数据对象分布在计算系统的不同计算单元中，因此对该类计算系统的数据管理造成了困难。传统并行计算系统采用消息传递接口(MPI)等协议进行通讯，该类协议普遍定义于上个世纪90年代，工作在CPU同质并行计算系统中，不用考虑计算单元和计算硬件的差异，此外MPI等协议主要针对大规模数值运算，其支持的数据类型较少，逐渐不适应现代异构融合并行计算系统。
发明内容
为了解决至少一个上述技术问题，本公开提供一种新的分布式异构计算的数据访问方法，具体包括分布式异构计算系统中管理全局数据集的方法和分布式异构计算系统中管理本地数据集的方法，通过以下技术方案实现。
一方面，本公开提供一种分布式异构计算系统中管理全局数据集的方法，包括以下步骤:
(1)分布式异构计算系统中的数据消费计算节点的计算组件向联网数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)联网数据管理系统根据数据请求，查询联网数据集，联网数据集由联网数据管理系统管理；
(3)联网数据管理系统根据查询结果，向数据消费计算节点的计算组件返回：(a)请求的数据对象，或(b)能提供数据对象的分布式异构计算系统中的数据生产节点的接入方式；
(4)数据消费计算节点的计算组件获得数据对象。
根据本公开的至少一个实施方式，分布式异构计算系统包括1个或2个以上的数据消费计算节点，以及1个或2个以上的数据生产节点；数据消费计算节点和数据生产节点运行联网数据管理系统。
根据本公开的至少一个实施方式，联网数据管理系统对数据生产节点进行维护：当某个数据生产节点失效时，联网数据管理系统自动删除该数据生产节点的接入方式，当某个数据生产节点上线时，联网数据管理系统自动增加该数据生产节点的接入方式。
根据本公开的至少一个实施方式，分布式异构计算系统包括1台或2台以上的服务器，服务器使得数据消费计算节点和数据生产节点运行的联网数据管理系统所管理的联网数据集保持全局一致。
根据本公开的至少一个实施方式，联网数据集的数据对象分为三类：(a)数据值，(b)数据帧，以及(c)数据流；其中，数据值存储在联网数据管理系统中，计算组件向联网数据管理系统提出请求后，联网数据管理系统查找后立刻向计算组件返回；数据帧和数据流存储在数据生产节点中，数据消费计算节点中的计算组件向联网数据管理系统提出请求后，联网数据管理系统向数据消费计算节点返回存储有数据帧或数据流的数据生产节点的接入方式，数据消费计算节点依据数据生产节点的接入方式，向数据生产节点请求数据帧或数据流。
根据本公开的至少一个实施方式，同一数据对象被2个以上的计算组件执行写操作时，联网数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，联网数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
另一方面，本公开提供一种分布式异构计算系统中管理本地数据集的方法，包括以下步骤：
(1)分布式异构计算系统中的数据消费计算节点的计算组件向本地数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)本地数据管理系统根据数据请求，查询本地数据集，本地数据集由本地数据管理系统管理；
(3)如果在本地数据集中查询到数据对象，则本地数据管理系统向计算组件返回数据对象；如果在本地数据集中未查询到数据对象，则计算组件向分布式异构计算系统中的联网数据管理系统发出请求；
(4)本地数据管理系统维护本地数据集和联网数据集之间的映射关系。
根据本公开的至少一个实施方式，本地数据集的数据对象分为两类：(a)计算机主存中的通用的数据对象，通用的数据对象能够被CPU直接处理；(b)异构计算设备特定的数据对象，特定的数据对象的数据结构由异构计算设备定义，异构计算设备提供该特定的数据对象在主存中的映射，CPU能够通过映射管理特定的数据对象。
根据本公开的至少一个实施方式，本地数据管理系统具有转换器，转换器能够将通用的数据对象编码成异构计算设备特定的数据对象，转换器能够将异构计算设备特定的数据对象解码为通用的数据对象；本地数据管理系统通过映射管理异构计算设备特定的数据对象。
根据本公开的至少一个实施方式，同一数据对象被2个以上的计算组件执行写操作时，本地数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，本地数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开一个实施方式的分布式异构计算系统中管理全局数据集的方法的流程示意图。
图2是本公开一个实施方式的分布式异构计算系统中管理本地数据集的方法的流程示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
如图1所示，本实施方式的分布式异构计算系统中管理全局数据集的方法，包括以下步骤:
(1)分布式异构计算系统中的数据消费计算节点的计算组件向联网数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)联网数据管理系统根据数据请求，查询联网数据集，联网数据集由联网数据管理系统管理；
(3)联网数据管理系统根据查询结果，向数据消费计算节点的计算组件返回：(a)请求的数据对象，或(b)能提供数据对象的分布式异构计算系统中的数据生产节点的接入方式；
(4)数据消费计算节点的计算组件获得数据对象。
根据本公开的至少一个实施方式，分布式异构计算系统包括1个或2个以上的数据消费计算节点，以及1个或2个以上的数据生产节点；数据消费计算节点和数据生产节点运行联网数据管理系统。
在本实施方式中，联网数据管理系统对数据生产节点进行维护：当某个数据生产节点失效时，联网数据管理系统自动删除该数据生产节点的接入方式，当某个数据生产节点上线时，联网数据管理系统自动增加该数据生产节点的接入方式。
在本实施方式中，分布式异构计算系统包括1台或2台以上的服务器，服务器使得数据消费计算节点和数据生产节点运行的联网数据管理系统所管理的联网数据集保持全局一致。
更详细的，分布式一致服务由服务器支持运行，并把其所管理的联网数据集同步到各运算节点的联网数据管理系统中。生产运算节点向其他计算节点提供数据帧或数据流。消费运算节点从其他计算节点获取数据帧或数据流。运算节点和运行分布一致性服务的服务器之间的通讯链路，包括以太网等通用互联标准和infiniBand等专用互联标准等。
在本实施方式中，联网数据集的数据对象分为三类：(a)数据值，(b)数据帧，以及(c)数据流；其中，数据值存储在联网数据管理系统中，计算组件向联网数据管理系统提出请求后，联网数据管理系统查找后立刻向计算组件返回；数据帧和数据流存储在数据生产节点中，数据消费计算节点中的计算组件向联网数据管理系统提出请求后，联网数据管理系统向数据消费计算节点返回存储有数据帧或数据流的数据生产节点的接入方式，数据消费计算节点依据数据生产节点的接入方式，向数据生产节点请求数据帧或数据流。
其中，数据流和数据帧的区别在于：(1)数据流是没有边界的，而数据帧是有明确的起始终止边界(即每帧都有明确的大小)；(2)数据流是动态的，而数据帧是静态的，也就是消费计算节点在不同时间获取的数据流所包括的消息是不同的，但是对数据帧来说，除非过期，消费计算节点在不同时间获取的数据帧所包括的消息是相同的；(3)数据生产节点将会产生持续的数据流，而只能产生有限的、可识别的、离散的数据帧。
在本实施方式中，同一数据对象被2个以上的计算组件执行写操作时，联网数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，联网数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
如图2所示，本实施方式的分布式异构计算系统中管理本地数据集的方法，包括以下步骤：
(1)分布式异构计算系统中的数据消费计算节点的计算组件向本地数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)本地数据管理系统根据数据请求，查询本地数据集，本地数据集由本地数据管理系统管理；
(3)如果在本地数据集中查询到数据对象，则本地数据管理系统向计算组件返回数据对象；如果在本地数据集中未查询到数据对象，则计算组件向分布式异构计算系统中的联网数据管理系统发出请求；
(4)本地数据管理系统维护本地数据集和联网数据集之间的映射关系。
具体地，步骤(3)中，计算组件可以以同步方式、异步方式或惰性赋值方式向分布式异构计算系统中的联网数据管理系统发出请求，具体如下：
同步方式：计算组件向联网数据管理系统发出数据请求，直至远程数据对象返回，并经过数据转换后存入本地缓存，并返回请求数据对象。
异步方式：计算组件向联网数据管理系统发出数据请求，并设置回调函数，计算组件继续执行其他操作，当远程数据对象返回后，触发回调函数，完成数据转换后存入本地缓存，并注册数据对象。
惰性赋值方式：计算组件向联网数据管理系统发出数据请求，并注册数据对象，只有当远程数据对象被使用的时候，该远程数据对象才被取回本地。
在本实施方式中，本地数据集的数据对象分为两类：(a)计算机主存中的通用的数据对象，通用的数据对象能够被CPU直接处理；(b)异构计算设备特定的数据对象，特定的数据对象的数据结构由异构计算设备定义，异构计算设备提供该特定的数据对象在主存中的映射，CPU能够通过映射管理特定的数据对象。
在本实施方式中，本地数据管理系统具有转换器，转换器能够将通用的数据对象编码成异构计算设备特定的数据对象，转换器能够将异构计算设备特定的数据对象解码为通用的数据对象；本地数据管理系统通过映射管理异构计算设备特定的数据对象。
在本实施方式中，同一数据对象被2个以上的计算组件执行写操作时，本地数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，本地数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
更详细的，本地数据管理系统和联网数据管理系统所管理的数据集由：(1)键值对(key-value)，或(2)树形结构(tree structure)构成，实现按名(key)或按路径(path)获取数据对象的模式，数据集包括(a)联网数据集(b)本地数据集，其中(a)联网数据集由联网数据管理系统管理，并通过分布一致性服务保证各计算节点联网数据集的一致性，联网数据集作用域为整个分布式异构计算系统；(b)本地数据集由本地数据管理系统管理，本地数据集作用域为本计算节点(多进程共享)或本计算组件(多线程共享或单线程使用)。
上述的分布式异构计算系统包括多个异构硬件设备，上述本地数据管理系统和联网数据管理系统可支持多种异构硬件设备，例如中央处理器、图形处理器、现场可编程门阵列、数字信号处理器以及集成众核。各硬件设备通过总线连接起来，包括PCI、PCIe和VME，并可以访问主存。
同一数据对象(本地数据或联网数据)可由一个或多个生产运算节点或异构计算设备提供，此情况称为“扇入”。同一数据对象也可被一个或多个消费运算节点或异构计算设备处理，此情况称为“扇出”。当扇入或扇出时，联网或本地数据管理系统将会提供同步机制，保证数据对象的完整性。
同一数据对象只由一个生产计算节点生产，并由一个或多个消费计算节点读取的情况下，生产计算节点可以通过无状态的方式进行写操作，即该数据对象的生产计算节点不考虑消费计算节点是否读取完整数据，即可自行删除数据对象，消费计算节点自行决定如何处理非完整数据。消费计算节点也可以通过无状态的方式进行读操作，即虽然联网数据管理系统中，没有特定名字或路径的数据对象，消费计算节点亦可请求该数据对象，直至数据对象被联网数据管理系统添加，且数据生产节点开始提供数据。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (9)

1.一种分布式异构计算系统中管理全局数据集的方法，其特征在于，所述方法包括以下步骤:
(1)分布式异构计算系统中的数据消费计算节点的计算组件向联网数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)所述联网数据管理系统根据所述数据请求，查询联网数据集，所述联网数据集由联网数据管理系统管理；
(3)所述联网数据管理系统根据查询结果，向所述数据消费计算节点的计算组件返回：(a)请求的所述数据对象，或(b)能提供所述数据对象的分布式异构计算系统中的数据生产节点的接入方式；
(4)所述数据消费计算节点的计算组件获得所述数据对象；
其中，所述数据生产节点向其他计算节点提供数据帧或者数据流，所述数据消费计算节点从其他计算节点获取数据帧或数据流；
其中，所述联网数据集的数据对象分为三类：(a)数据值，(b)数据帧，以及(c)数据流；其中，数据值存储在联网数据管理系统中，所述计算组件向联网数据管理系统提出请求后，联网数据管理系统查找后立刻向所述计算组件返回；数据帧和数据流存储在数据生产节点中，数据消费计算节点中的计算组件向联网数据管理系统提出请求后，联网数据管理系统向数据消费计算节点返回存储有所述数据帧或数据流的数据生产节点的接入方式，数据消费计算节点依据所述数据生产节点的接入方式，向数据生产节点请求所述数据帧或数据流。
2.根据权利要求1所述的方法，其特征在于，所述分布式异构计算系统包括1个或2个以上的数据消费计算节点，以及1个或2个以上的数据生产节点；所述数据消费计算节点和所述数据生产节点运行联网数据管理系统。
3.根据权利要求2所述的方法，其特征在于，所述联网数据管理系统对数据生产节点进行维护：当某个数据生产节点失效时，所述联网数据管理系统自动删除该数据生产节点的接入方式，当某个数据生产节点上线时，所述联网数据管理系统自动增加该数据生产节点的接入方式。
4.根据权利要求2或3所述的方法，其特征在于，所述分布式异构计算系统包括1台或2台以上的服务器，所述服务器使得所述数据消费计算节点和所述数据生产节点运行的联网数据管理系统所管理的联网数据集保持全局一致。
5.根据权利要求1-3中任一项所述的方法，其特征在于，同一数据对象被2个以上的计算组件执行写操作时，所述联网数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，所述联网数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
6.一种分布式异构计算系统中管理本地数据集的方法，其特征在于，包括以下步骤：
(1)分布式异构计算系统中的数据消费计算节点的计算组件向本地数据管理系统发出至少一条数据请求，请求获得数据对象；
(2)所述本地数据管理系统根据所述数据请求，查询本地数据集，所述本地数据集由本地数据管理系统管理；
(3)如果在本地数据集中查询到所述数据对象，则所述本地数据管理系统向所述计算组件返回所述数据对象；如果在本地数据集中未查询到所述数据对象，则所述计算组件向分布式异构计算系统中的联网数据管理系统发出请求；
(4)本地数据管理系统，维护本地数据集和联网数据集的映射关系；
其中，步骤(3)中，所述计算组件以同步方式、异步方式或惰性赋值方式向分布式异构计算系统中的联网数据管理系统发出请求，具体如下：
同步方式：计算组件向联网数据管理系统发出数据请求，直至远程数据对象返回，并经过数据转换后存入本地缓存，并返回请求数据对象；
异步方式：计算组件向联网数据管理系统发出数据请求，并设置回调函数，计算组件继续执行其他操作，当远程数据对象返回后，触发回调函数，完成数据转换后存入本地缓存，并注册数据对象；
惰性赋值方式：计算组件向联网数据管理系统发出数据请求，并注册数据对象，只有当远程数据对象被使用的时候，该远程数据对象才被取回本地。
7.根据权利要求6所述的方法，其特征在于，所述本地数据集的数据对象分为两类：(a)计算机主存中的通用的数据对象，所述通用的数据对象能够被CPU直接处理；(b)异构计算设备特定的数据对象，所述特定的数据对象的数据结构由所述异构计算设备定义，所述异构计算设备提供该特定的数据对象在主存中的映射，CPU能够通过映射管理所述特定的数据对象。
8.根据权利要求7所述的方法，其特征在于，所述本地数据管理系统具有转换器，所述转换器能够将所述通用的数据对象编码成异构计算设备特定的数据对象，所述转换器能够将异构计算设备特定的数据对象解码为所述通用的数据对象；本地数据管理系统通过所述映射管理异构计算设备特定的数据对象。
9.根据权利要求7-8中任一项所述的方法，其特征在于，同一数据对象被2个以上的计算组件执行写操作时，所述本地数据管理系统提供排他锁，保证同一时间只有一个计算组件能对同一数据对象执行写操作；同一数据对象被2个以上的计算组件执行读操作时，所述本地数据管理系统提供共享锁，保证所有计算组件都能完成读操作。
CN201811035133.7A 2018-09-06 2018-09-06 分布式异构计算的数据访问方法 Active CN109347908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811035133.7A CN109347908B (zh) 2018-09-06 2018-09-06 分布式异构计算的数据访问方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811035133.7A CN109347908B (zh) 2018-09-06 2018-09-06 分布式异构计算的数据访问方法

Publications (2)

Publication Number Publication Date
CN109347908A CN109347908A (zh) 2019-02-15
CN109347908B true CN109347908B (zh) 2021-10-08

Family

ID=65292214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811035133.7A Active CN109347908B (zh) 2018-09-06 2018-09-06 分布式异构计算的数据访问方法

Country Status (1)

Country Link
CN (1) CN109347908B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427690B (zh) * 2020-03-25 2023-04-18 杭州意能电力技术有限公司 分散处理单元并行计算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141370A (zh) * 2007-10-09 2008-03-12 南京财经大学 基于网格服务的电力企业实时数据处理方法
CN101702020A (zh) * 2009-10-22 2010-05-05 中国农业大学 基于网格的遥感数据的获取方法与装置
CN103534989A (zh) * 2011-05-14 2014-01-22 国际商业机器公司 在分布式结构协议（dfp）交换网络架构中的基于优先级的流控制
CN106970943A (zh) * 2017-02-21 2017-07-21 南京中新赛克科技有限责任公司 基于异构数据源和分布式文件系统的融合查询方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141370A (zh) * 2007-10-09 2008-03-12 南京财经大学 基于网格服务的电力企业实时数据处理方法
CN101702020A (zh) * 2009-10-22 2010-05-05 中国农业大学 基于网格的遥感数据的获取方法与装置
CN103534989A (zh) * 2011-05-14 2014-01-22 国际商业机器公司 在分布式结构协议（dfp）交换网络架构中的基于优先级的流控制
CN106970943A (zh) * 2017-02-21 2017-07-21 南京中新赛克科技有限责任公司 基于异构数据源和分布式文件系统的融合查询方法

Also Published As

Publication number Publication date
CN109347908A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
US10740196B2 (en) Event batching, output sequencing, and log based state storage in continuous query processing
JP6602355B2 (ja) クラウドベースの分散永続性及びキャッシュデータモデル
CN109144994B (zh) 索引更新方法、系统及相关装置
US8712961B2 (en) Database caching utilizing asynchronous log-based replication
US9146934B2 (en) Reduced disk space standby
JP6266630B2 (ja) アーカイブされたリレーションを有する連続クエリの管理
US8788760B2 (en) Adaptive caching of data
US9367251B2 (en) System and method of a shared memory hash table with notifications
US20180024863A1 (en) Task Scheduling and Resource Provisioning System and Method
TWI671643B (zh) 配置變更方法、設備及系統
US9143394B2 (en) System and method for graph based K-redundant resiliency for IT cloud
CN112074815A (zh) 输入和输出模式映射
WO2021155667A1 (zh) 模型训练方法、装置及集群系统
CN108139927B (zh) 联机事务处理系统中事务的基于动作的路由
CN112199427A (zh) 一种数据处理方法和系统
US10642750B2 (en) System and method of a shared memory hash table with notifications and reduced memory utilization
CN109347908B (zh) 分布式异构计算的数据访问方法
WO2021212493A1 (zh) 数据同步方法、装置、数据存储系统及计算机可读介质
CN112988897A (zh) 系统升级场景下的数据双向同步方法及装置
CN112052295A (zh) 一种数据同步方法、装置、电子设备和可读存储介质
CN105975546A (zh) 一种新型计算机监管系统
US11360866B2 (en) Updating stateful system in server cluster
CN108701035B (zh) 应用属性的管理
Qiu et al. Rta: Real time actionable events detection as a service
CN112307023B (zh) 基于事件心跳和多版本的Flink流维Join通用处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant