CN107153526A - 一种流式计算环境下的并行数据回流方法 - Google Patents

一种流式计算环境下的并行数据回流方法 Download PDF

Info

Publication number
CN107153526A
CN107153526A CN201710260797.2A CN201710260797A CN107153526A CN 107153526 A CN107153526 A CN 107153526A CN 201710260797 A CN201710260797 A CN 201710260797A CN 107153526 A CN107153526 A CN 107153526A
Authority
CN
China
Prior art keywords
data
queues
queue
tuple
topology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710260797.2A
Other languages
English (en)
Other versions
CN107153526B (zh
Inventor
陆佳炜
陈烘
周焕
马俊
高燕煦
李�杰
卢成炳
徐俊
肖刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710260797.2A priority Critical patent/CN107153526B/zh
Publication of CN107153526A publication Critical patent/CN107153526A/zh
Application granted granted Critical
Publication of CN107153526B publication Critical patent/CN107153526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06F9/3851—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution from multiple instruction streams, e.g. multistreaming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种面向实时流计算的并行数据回流方法，包括以下步骤：步骤(1)初始化三个队列；步骤(2)初始化一个管道Data Queue；步骤(3)Topology的Spout向Data Queue发起读请求；步骤(4)Data Queue读取三个队列中的数据；步骤(5)判断ToP指向的队列是否为空，若是，进行步骤(6)；若否，进行步骤(7)；步骤(6)将From队列中的数据复制到To队列中，并清空From队列；步骤(7)Topology获取Data Queue中的数据，当前Task向下游发送一个Tuple；步骤(8)当前Task等待发送Tuple的反馈，若发送失败或超时未反馈，则选择回流该Tuple；步骤(9)判断Topology是否可以停止，若否，则回到步骤(4)，否则，结束。本发明数据无状态且具有容错性；降低数据计算延迟，提高系统响应性；回流的数据会尽可能优先处理。

Description

一种流式计算环境下的并行数据回流方法
技术领域
本发明涉及信息技术领域，具体涉及一种流式计算环境下的并行数据回流方法。
背景技术
从社交网络资讯(以提供热门话题或实时搜索)到广告处理数据引擎，实时流计算在当今工业中被广泛地使用，如Apahe Storm，Twitter’s Heron，Apache Flink，SparkStreaming，Samza等。在这些系统中，数据的产生完全由数据源确定，数据源的动态变化及状态不统一导致数据流的速率呈现出了突发性的特征，而数据流的突发性特征常常导致过载的发生，发生过载还有以下几个原因：网络拥塞，资源利用率高，干扰，异质性，IO高频阻塞等。因此，在实时流计算中，过载是常见且难以避免的。
实时流计算已被许多知名企业应用于大数据计算领域，如淘宝实时分析、阿里云Galaxy实时计算、携程网站性能监控等。对于实时性系统，系统的响应性和稳定性是关注的重点。响应意味着降低处理数据的延迟，即数据计算延迟，例如，数据从它输入至系统中到其结果反映给用户所经过的时间；稳定性意味着系统能够稳定持久地在集群中运行。而过载的发生极易导致系统整体的数据计算延迟增加和不稳定甚至不可用。
在实时流计算系统中，计算结构是一个有向无环图(DAG)，称为拓扑(Topology)，拓扑由数据流(Steam)，数据流的生成者组件(Spout)和运算组件(Bolt)组成。Task是拓扑中Spout或Bolt在运行时的实例，执行Task的进程称为执行器(Executor)，执行器所在的服务器称为工作节点(Worker Node)。Stream由一连串Tuple序列组成，Tuple是在Topology中流动的数据对象。
Tuple丢失或Tuple处理时间超过Topology规定的处理时间都会导致Tuple重放，而Tuple的频繁重放是Topology过载的主要原因之一。此外，为了保证数据的容错性，实时流计算通常会在Spout中维护一个待发送队列，队列中的一条Tuple被发送出去之后不会被立即删除，而是维持一个“挂起”状态，直到该Tuple被Topology处理完成的信号到达。若数据在计算过程中失败，Topology可以重发处于“挂起”状态的数据，以实现数据的容错。但在大规模实时流计算中维护大量数据的状态无疑会增加系统的负载和复杂性。
数据容错是大数据计算中不可或缺的关键技术，由于进行大数据计算的分布式集群往往包含成千上万个节点，庞大的节点数量使得节点失效成为常态。Wang.Y提出了一种数据复制技术，它是一种多副本的数据容错技术。Plank.J.S提出了一种可扩展的数据容错技术，它是一种纠错码数据容错技术。随着数据规模的持续扩大，容错能力强且成本低的数据容错方法已成为研究的热点。
发明内容
为了克服现有的实时流计算中为解决数据容错而实现的有状态的数据处理方式增加了系统的复杂性的不足，此外，在Topology过载时，Tuple表现出频繁重放，这种有状态的解决方法无疑会增加系统的负载，而在大规模的分布式系统上，性能的任何改进都意味着基础设施成本的显著降低，以及最终用户的生产力的显著提高。本发明提出了一种容错的、数据无状态的并行数据回流方法，此方法是一种面向实时流计算的数据重放方式。
本发明提供如下的技术方案：
一种面向实时流计算的并行数据回流方法，所述回流方法包括以下步骤：
步骤(1)初始化三个队列，分别为Eden队列、From队列和To队列，它们分别由三个指针EdenP、FromP和ToP来标识；若Topology需要从外部数据源获取数据，则外部数据源的数据会先存入Eden队列；
步骤(2)初始化一个管道Data Queue，Data Queue负责从Eden队列、From队列和To队列中读取数据到Topology中，Data Queue通过指针(EdenP、FromP、ToP)来选择读取的队列；
步骤(3)Topology的Spout向Data Queue发起读请求；
步骤(4)Data Queue读取三个队列中的数据，供Spout使用；
步骤(5)判断ToP指向的队列是否为空，若是，进行步骤(6)；若否，进行步骤(7)；
步骤(6)将From队列中的数据复制到To队列中，并清空From队列；
步骤(7)Topology获取Data Queue中的数据，当前Task向下游发送一个Tuple；
步骤(8)当前Task等待发送Tuple的反馈，若发送失败或超时未反馈，则选择回流该Tuple，最长等待时间不超过TTL，TTL是Task之间消息传递的最长往返时间；
步骤(9)判断Topology是否可以停止，若否，则回到步骤(4)，否则，结束。
进一步，所述步骤(4)中，Data Queue读取三个队列中的数据的过程如下：
4.1)判断ToP指向的队列是否为空，若非空，进行步骤4.2，否则进行步骤4.3；
4.2)读取ToP指向的队列中的数据，进行步骤(5)；
4.3)读取EdenP指向的队列。
再进一步，所述步骤(6)中，将From队列中的数据复制到To队列中并清空From队列的过程如下：
6.1)设置空队列指针Change，Change赋值为ToP；
6.2)将ToP赋值为FromP；
6.3)将FromP赋值为Change。
更进一步，所述步骤(8)的过程如下：
8.1)在TTL时间内，下游Task是否确认收到该消息，若是则进行步骤8.2)，否则进行步骤8.3；
8.2)当前Tuple已处理成功，进行步骤(9)；
8.3)当前Tuple处理失败，将该Tuple写回FromP指向的队列，进行步骤(9)。
所述步骤(6)中，效果等同于From队列与To队列互换，该步骤由一个单独的线程Copy-thread负责执行，ToP指向的队列与Eden队列和From队列相比会被Data Queue优先读取。
所述步骤(8)中，在Topology中计算失败的数据被写回到FromP指向的队列，该步骤由一个单独的线程Backflow-thread负责执行；虽然Task等待发送出的Tuple反馈，但此处Tuple是无状态的，Task仅仅确认数据是否发送到下游Task，而不会对数据的处理过程进行跟踪。
在Topology运行过程中，上述步骤会持续进行，直到Topology显式地终止。初始化、数据的读取以及数据的计算在主线程(Main-thread)中执行，Copy-thread负责队列的替换(复制算法)，Backflow-thread负责数据的回流。由于To队列的优先读取与复制算法的存在，使得数据的容错可以得到保证。此外，虽然在复制期间(步骤6)To队列不可读，From队列不可写，但实际上使用的复制方法只是将指向From与To的指针进行替换，并清除From中的数据，此过程只需执行少量磁盘读写操作，因此算法执行速度得以保证。
本发明的有益效果是：实时流计算中的数据只有两种状态，分别是“未读取”和“已完成”。数据若在计算过程中失败会由Backflow-thread负责将数据回流，回流的数据由Copy-thread负责重新将数据放置待读取队列。因此，无需在数据计算过程中维持“挂起”状态和数据计算过程的跟踪，此外，由于To队列的优先读取，回流的数据不会长时间堆积在队列尾部。该方法的主要优点是：1)数据无状态且具有容错性；2)降低数据计算延迟，提高系统响应性；3)回流的数据会尽可能优先处理。
附图说明
图1是本发明实施例中Apahce Storm记录级容错示意图。
图2是本发明实施例中Kafka队列数据状态机示意图。
图3是本发明实施例中并行数据回流方法数据状态机示意图。
图4是本发明实施例中并行数据回流方法示意图。
具体实施方式
为使本发明的上述特征和过程更加明显易懂，下文特举实施例，并配合附图作详细说明如下。
参照图1～图4，一种面向实时流计算的并行数据回流方法，以Apahce Storm作为实时流计算系统，Apache Kafka作为数据队列。Apache Storm中的Spout分为可靠Spout和不可靠Spout。可靠的Spout实现了至少一次(at-least-once)语义，它会重发失败的Tuple，确保每一个Tuple至少被处理一次，它是一种数据有状态的实现方式；不可靠的Spout实现的是至多一次(at-most-once)语义，它不会对发送失败的Tuple做处理。由于Storm中Spout的数据发送方法nextTuple()和数据确认方法ack()/fail()在同一个线程中被串行调用，其中ack()是Tuple处理成功时调用的函数，fail()是Tuple处理失败时调用的函数。本发明的并行数据回流将ack()/fail()和nextTuple()放在不同的线程中执行，其中nextTuple在Main-thread中执行，ack()/fail()会在Backflow-thread中执行。
图1是Apahce Storm记录级容错示意图，本实施例中的并行数据回流依赖ApacheStorm的记录级容错实现。图中，ID值为1的数据流被完整执行指的是该数据流分别经过Bolt1或Bolt2，最终达到Bolt3。没有被完整执行指的是数据流在任意节点处理失败或处理超时。Storm的记录级容错是通过内置的确认器(Acker)实现的，通过对流中的数据分组进行编号，每次操作都产生新的操作数并进行异或(XOR)运算，因此若在运算中这些操作数都重复偶数次，则整个异或结果一定为零，Acker通过异或结果来实现全局路经的跟踪。基本流程是：在Topology中，系统每产生一个数据流分组，就会给这个分组分配一个根ID，ID由64位的整数构成。每当该分组被发送到一个Bolt时会产生一个新的ID，并将所发射分组的根ID和新产生的ID发送给确认器，确认器通过对这些ID进行异或运算来判断消息单元是否处理完成。
图2是Kafka队列数据状态机示意图。如图所示，为了保证可靠性，Kafka的一条消息在被处理的过程中处于“挂起”状态，并没有真正被取出，该状态直到消息处理完成信号到达后才会改变，结合图1，即Kafka中读取的数据必须由Storm的Acker进行全局的跟踪直到数据被完整执行的信号到达，数据的状态才会改变，这无疑会增加系统的负载和复杂性。初始数据处于“Open”状态，Topology读取(Read)该数据后，数据状态变为“Processed”，该状态即为“挂起”状态，若读取失败(Fail)则状态不变。数据若在计算过程中失败，“挂起”的数据会被重放(Replay)。若Topology返回该数据被完整执行的信号(“Success”)，则数据状态变为“Commit”。若信号“Commit”超时未到达，则该数据也会被重放(Replay)。
图3是并行数据回流方法数据状态机示意图。如图所示，本发明采用并行数据回流的方式，被读取的数据无“挂起”状态。初始数据处于“Open”状态，Topology读取(Read)该数据后，数据状态变为“Commit”，若读取失败(Fail)则状态不变。
图4是并行数据回流方法示意图。为了实现并行数据回流，Kafka Topic被拆分为三个并行的逻辑主题，分别作为Eden队列，From队列和To队列，其中Eden为原始队列，KafkaTopic可以理解为数据在Kafka逻辑上的分类。结合图3，作步骤说明如下：
步骤(1)初始化三个Kafka队列，分别为Eden队列、From队列和To队列，它们分别由三个指针EdenP(初始化时指向Eden队列)、FromP(初始化时指向From队列)和ToP(初始化时指向To队列)来标识；若Topology需要从外部数据源获取数据，则外部数据源的数据会先存入Eden队列；
步骤(2)初始化一个管道Data Queue，Data Queue负责从Eden队列、From队列和To队列中读取数据到Topology中，Data Queue通过指针(EdenP、FromP、ToP)来选择读取的队列；
步骤(3)Topology的Spout向Data Queue发起读请求，如图4中的①；
步骤(4)Data Queue读取三个队列中的数据，供Spout使用，其过程如下：
4.1)判断ToP指向的队列是否为空，若非空，进行步骤4.2)，否则进行步骤4.3；
4.2)读取ToP指向的队列中的数据，如图4中的②，进行步骤(5)；
4.3)读取EdenP指向的队列，如图4中的③；
步骤(5)判断ToP指向的队列是否为空，若是，进行步骤(6)；若否，进行步骤(7)；
步骤(6)将From队列中的数据复制到To队列中，并清空From队列，如图4中的④。实施例中复制前FromP队列有数据块A、E、H、G，其过程如下：
6.1)设置空队列指针Change，Change赋值为ToP；
6.2)将ToP赋值为FromP，此时Top指向的队列中有数据块A、E、H、G；
6.3)将FromP赋值为Change，此时FromP指向的队列为空；
步骤(7)Topology获取Data Queue中的数据，当前Task向下游发送一个Tuple，将Tuple的状态从“Open”改变“Commit”；
步骤(8)当前Task等待发送Tuple的反馈，最长等待时间不超过TTL，若发送失败或超时未反馈，则选择回流该Tuple，TTL是Task之间消息传递的最长往返时间，本实施例设置的TTL值为100毫秒，其过程如下：
8.1)在TTL时间内，下游Task是否确认收到该消息，若是则进行步骤8.2)，否则进行步骤8.3)；
8.2)当前Tuple已处理成功，进行步骤(9)；
8.3)当前Tuple处理失败，将该Tuple写回FromP指向的队列，写回的Tuple相当于一条新的消息，其状态为“Open”，进行步骤(9)；
步骤(9)判断Topology是否可以停止，若否，则回到步骤(4)，否则，结束。
该实施例中并行数据回流方法的实现依赖于Storm的记录级容错机制，即Tuple处理成功或失败时Spout的ack()/fail()方法会被调用。对于记录级容错，Storm通过确认器(Acker)确保每个Tuple在出错时被重发。本实施例在Storm的确认机制中嵌入了并行数据回流，并将确认机制和发送数据方法隔离在不同的线程中运行，其中fail()方法负责将失败的Tuple重新写回Kafka队列，相当于Backflow-thread线程。由于并行数据回流中的复制算法需要对Kafka的Topic进行扩展，因此KafkaSpout被创建时，除了负责读取原主题(Eden队列)中的数据，它还负责在Kafka中创建相应Topology的From主题和To主题，分别用于From队列与To队列，创建主题只会在Topology首次运行时执行，与复制算法一同由Copy-thread线程负责执行。Backflow-thread线程通过Storm提供的KafkaBolt发送Tuple到FromP指向的队列。当系统出现故障或过载时，因计算失败丢失的Tuple通过并行数据回流可以进行恢复，保证了数据的容错性。

Claims (6)

1.一种面向实时流计算的并行数据回流方法，其特征在于：所述回流方法包括以下步骤：
步骤(1)初始化三个队列，分别为Eden队列、From队列和To队列，它们分别由三个指针EdenP、FromP和ToP来标识；若Topology需要从外部数据源获取数据，则外部数据源的数据会先存入Eden队列；
步骤(2)初始化一个管道Data Queue，Data Queue负责从Eden队列、From队列和To队列中读取数据到Topology中，Data Queue通过指针(EdenP、FromP、ToP)来选择读取的队列；
步骤(3)Topology的Spout向Data Queue发起读请求；
步骤(4)Data Queue读取三个队列中的数据，供Spout使用；
步骤(5)判断ToP指向的队列是否为空，若是，进行步骤(6)；若否，进行步骤(7)；
步骤(6)将From队列中的数据复制到To队列中，并清空From队列；
步骤(7)Topology获取Data Queue中的数据，当前Task向下游发送一个Tuple；
步骤(8)当前Task等待发送Tuple的反馈，若发送失败或超时未反馈，则选择回流该Tuple，最长等待时间不超过TTL，TTL是Task之间消息传递的最长往返时间；
步骤(9)判断Topology是否可以停止，若否，则回到步骤(4)，否则，结束。
2.如权利要求1所述的一种面向实时流计算的并行数据回流方法，其特征在于：所述步骤(4)中，Data Queue读取三个队列中的数据的过程如下：
4.1)判断ToP指向的队列是否为空，若非空，进行步骤4.2，否则进行步骤4.3；
4.2)读取ToP指向的队列中的数据，进行步骤(5)；
4.3)读取EdenP指向的队列。
3.如权利要求1或2所述的一种面向实时流计算的并行数据回流方法，其特征在于：所述步骤(6)中，将From队列中的数据复制到To队列中并清空From队列的过程如下：
6.1)设置空队列指针Change，Change赋值为ToP；
6.2)将ToP赋值为FromP；
6.3)将FromP赋值为Change。
4.如权利要求1或2所述的一种面向实时流计算的并行数据回流方法，其特征在于：所述步骤(8)的过程如下：
8.1)在TTL时间内，下游Task是否确认收到该消息，若是则进行步骤8.2)，否则进行步骤8.3；
8.2)当前Tuple已处理成功，进行步骤(9)；
8.3)当前Tuple处理失败，将该Tuple写回FromP指向的队列，进行步骤(9)。
5.如权利要求1或2所述的一种面向实时流计算的并行数据回流方法，其特征在于：所述步骤(6)中，效果等同于From队列与To队列互换，该步骤由一个单独的线程Copy-thread负责执行，ToP指向的队列与Eden队列和From队列相比会被Data Queue优先读取。
6.如权利要求1或2所述的一种面向实时流计算的并行数据回流方法，其特征在于：所述步骤(8)中，在Topology中计算失败的数据被写回到FromP指向的队列，该步骤由一个单独的线程Backflow-thread负责执行；虽然Task等待发送出的Tuple反馈，但此处Tuple是无状态的，Task仅仅确认数据是否发送到下游Task，而不会对数据的处理过程进行跟踪。
CN201710260797.2A 2017-04-20 2017-04-20 一种流式计算环境下的并行数据回流方法 Active CN107153526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710260797.2A CN107153526B (zh) 2017-04-20 2017-04-20 一种流式计算环境下的并行数据回流方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710260797.2A CN107153526B (zh) 2017-04-20 2017-04-20 一种流式计算环境下的并行数据回流方法

Publications (2)

Publication Number Publication Date
CN107153526A true CN107153526A (zh) 2017-09-12
CN107153526B CN107153526B (zh) 2020-08-18

Family

ID=59793194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710260797.2A Active CN107153526B (zh) 2017-04-20 2017-04-20 一种流式计算环境下的并行数据回流方法

Country Status (1)

Country Link
CN (1) CN107153526B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289125A (zh) * 2018-01-26 2018-07-17 华南理工大学 基于流式处理的tcp会话重组与统计数据提取方法
CN110120959A (zh) * 2018-02-05 2019-08-13 北京京东尚科信息技术有限公司 大数据推送方法、装置、系统、设备及可读存储介质
CN110661726A (zh) * 2019-08-30 2020-01-07 视联动力信息技术股份有限公司 一种基于多链路聚合的数据发送方法和装置
CN113194000A (zh) * 2021-04-30 2021-07-30 上海金融期货信息技术有限公司 一种业务无关的分布式系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1571402A (zh) * 2004-05-10 2005-01-26 中兴通讯股份有限公司 正交频分复用多址接入系统中的数据包发送装置和方法
CN1829139A (zh) * 2006-03-30 2006-09-06 阿里巴巴公司 一种消息重发方法和系统
JP4434034B2 (ja) * 2005-02-18 2010-03-17 株式会社日立製作所 適応変調方式に適したベースバンド復調アーキテクチャ
US20110268088A1 (en) * 2008-12-30 2011-11-03 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and Method For Improved Handover Performance
CN102916738A (zh) * 2012-11-01 2013-02-06 中国电子科技集团公司第五十四研究所 一种基于fdma/dama卫星通信系统的数据可靠组播方法
CN103312477A (zh) * 2013-05-10 2013-09-18 大唐移动通信设备有限公司 一种重传数据的传输方法及设备
CN104050091A (zh) * 2012-12-28 2014-09-17 华耀(中国)科技有限公司 基于非一致性内存访问系统的网络设备及其设置方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1571402A (zh) * 2004-05-10 2005-01-26 中兴通讯股份有限公司 正交频分复用多址接入系统中的数据包发送装置和方法
JP4434034B2 (ja) * 2005-02-18 2010-03-17 株式会社日立製作所 適応変調方式に適したベースバンド復調アーキテクチャ
CN1829139A (zh) * 2006-03-30 2006-09-06 阿里巴巴公司 一种消息重发方法和系统
US20110268088A1 (en) * 2008-12-30 2011-11-03 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and Method For Improved Handover Performance
CN102916738A (zh) * 2012-11-01 2013-02-06 中国电子科技集团公司第五十四研究所 一种基于fdma/dama卫星通信系统的数据可靠组播方法
CN104050091A (zh) * 2012-12-28 2014-09-17 华耀(中国)科技有限公司 基于非一致性内存访问系统的网络设备及其设置方法
CN103312477A (zh) * 2013-05-10 2013-09-18 大唐移动通信设备有限公司 一种重传数据的传输方法及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289125A (zh) * 2018-01-26 2018-07-17 华南理工大学 基于流式处理的tcp会话重组与统计数据提取方法
CN108289125B (zh) * 2018-01-26 2021-05-28 华南理工大学 基于流式处理的tcp会话重组与统计数据提取方法
CN110120959A (zh) * 2018-02-05 2019-08-13 北京京东尚科信息技术有限公司 大数据推送方法、装置、系统、设备及可读存储介质
CN110120959B (zh) * 2018-02-05 2023-04-07 北京京东尚科信息技术有限公司 大数据推送方法、装置、系统、设备及可读存储介质
CN110661726A (zh) * 2019-08-30 2020-01-07 视联动力信息技术股份有限公司 一种基于多链路聚合的数据发送方法和装置
CN113194000A (zh) * 2021-04-30 2021-07-30 上海金融期货信息技术有限公司 一种业务无关的分布式系统
CN113194000B (zh) * 2021-04-30 2022-11-01 上海金融期货信息技术有限公司 一种业务无关的分布式系统

Also Published As

Publication number Publication date
CN107153526B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
JP6653358B2 (ja) 複数のシステムからのデータのブロックチェーンロギング
CN107153526A (zh) 一种流式计算环境下的并行数据回流方法
Xu et al. Stela: Enabling stream processing systems to scale-in and scale-out on-demand
CN106294357B (zh) 数据处理方法和流计算系统
US8743881B2 (en) Link data transmission method, node and system
US10382380B1 (en) Workload management service for first-in first-out queues for network-accessible queuing and messaging services
CN113641511B (zh) 一种消息通信方法和装置
JP2017531250A (ja) 粒状同期／半同期アーキテクチャ
CN106357463B (zh) 非入侵式的访问链路跟踪实现方法及其系统
CN112988398A (zh) 一种微服务动态伸缩及迁移方法和装置
CN107210967A (zh) 用于优化网络传输的系统和方法
CN106354566B (zh) 一种命令处理的方法以及服务器
CN104852867A (zh) 数据包转发方法、装置及系统
WO2024001024A1 (zh) 在区块链系统中执行交易的方法、区块链系统和节点
WO2016165422A1 (zh) 业务动态恢复的方法、装置及软件定义网络sdn控制器
CN110502583A (zh) 分布式数据同步方法、装置、设备及可读存储介质
Zhuang et al. Hoplite: efficient and fault-tolerant collective communication for task-based distributed systems
US11030220B2 (en) Global table management operations for multi-region replicated tables
CN104219163B (zh) 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法
CN101604270A (zh) 基于vxworks操作系统的ARINC429通信冗余方法
EP3396553B1 (en) Method and device for processing data after restart of node
CN100426241C (zh) 一种面向服务体系结构中消息层软中断处理方法
Edmondson et al. QoS-enabled distributed mutual exclusion in public clouds
WO2014075425A1 (zh) 数据处理方法、计算节点及系统
CN110086660A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant