CN107666516A - 一种基于消息热度保证kafka集群数据一致性的方法 - Google Patents

一种基于消息热度保证kafka集群数据一致性的方法 Download PDF

Info

Publication number
CN107666516A
CN107666516A CN201710855173.5A CN201710855173A CN107666516A CN 107666516 A CN107666516 A CN 107666516A CN 201710855173 A CN201710855173 A CN 201710855173A CN 107666516 A CN107666516 A CN 107666516A
Authority
CN
China
Prior art keywords
message
partition
mrow
copy
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710855173.5A
Other languages
English (en)
Inventor
蒋溢
郭宗怀
熊安萍
祝清意
詹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710855173.5A priority Critical patent/CN107666516A/zh
Publication of CN107666516A publication Critical patent/CN107666516A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于消息热度保证kafka集群数据一致性的方法，属于数据存储与消息中间件领域。该方法包括以下步骤：S1：建立计算机编程函数partition热度模型；S2：建立热度预估模型；S3：计算副本partition的更新频率；S4：建立副本自适应一致性策略。本发明结合了kafka消息队列可靠性和云存储系统中的自适应同步策略的各自优点，提出基于集群消息访问热度的kafka集群副本数据同步的自适应算法，并且在预测文件热度时结合了LRU算法和LFU算法，兼顾了访问时间和访问频率，使得预测结果更加符合实际值；保证了数据的可靠性，同时降低了集群内网络开销与内存、CPU等额外源开销，有效地平衡了系统的可用性和性能。

Description

一种基于消息热度保证kafka集群数据一致性的方法
技术领域
本发明属于数据存储与消息中间件领域，涉及一种基于消息热度保证kafka集群数据一致性的方法。
背景技术
近年来，随着互联网行业的不断发展，各种业务的数据量不断增多，在大数据处理环境下，类似如股票交易、实时天气预报、网络运维监控、电商实时推荐等推动了storm、s4、sparkstreaming等实时计算框架的部署应用。这些应用对业务系统的水平扩展、数据可靠性要求越来越高，同时系统对实现异步通信，高吞吐率和数据实时性处理要求不断提高。因此kafka的出现就理所当然了；越来越多的开源分布式处理系统都支持与Kafka集成，其中Spark Strea-ming作为后端流引擎配合Kafka作为前端消息系统正成为当前流处理系统的主流架构之一。然而由于kafka服务器出现故障，造成消息不能按时传递，消息丢失等等严重后果，因此在消息系统中如何保证消息的可靠性尤为重要；
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。为了保证kafak消息系统消息的可靠性，王岩等人提出一种基于Kafka的可靠的Consumer的设计方案，它基于kafka的lowLevelAPI保证consumer在消费时保证每条消息至少能被消费一次，实现数据在消费端的可靠性。但是这并不能保证消息在服务端能够不丢失，因此为了能实现在服务端能够保证消息的可靠性，杨冬晖等人提出一种分布式消息队列的保证消息可靠性的方法，其中文章介绍介绍了kafka系统的架构以及特征，重点介绍了分布式集群下kafka如何通过副本模式保证其消息的可靠传输；并通过实验验证其副本模式的可靠性。由于采用副本同步机制来保证数据的可靠性会带来额外的网络和资源开销，因此在同步副本数据时集群的开销会变得很大，因此如何在保持数据可靠性与系统性能之间保持平衡尤为重要。Kraska等人就提出一种云中可以根据应用的运行情况动态更改一致性水平的策略，将数据分为3类，根据一致性水平的不同对每类数据的处理方式也不同。但是其中第1类和第3类采用的仍是固定的一致性策略，有失灵活。Amin等人设计和评估了一个连续一致性的模型，将一致性水平单位化，用数字错误、顺序错误和陈旧性这3个指标来衡量一致性水平。此外，文中还设计了一个中间件来执行一致性水平之间的转换等操作。Wang Ximei提出了四种类别的一致性策略，根据文件的读频率和写频率，设计相应的一致性策略。在系统运行时，根据系统情况动态选择适合的一致性策略，从而实现可用性和性能之间的平衡。Ruay-Shiung Chang提出根据文件的读频率选择要更新的副本，当读频率大于阈值则更新所有的副本，否则只更新原始副本。荣翠芳提出了一种均衡性能的副本一致性算法，该算法通过结合aggressive-copy和lazy-copy两个算法，在网格中随机选择部分副本进行一致性更新。但因其将一致性水平连续化，分级过细，因此，一致性水平的不断转换造成操作代价急剧增长。王喜妹等人提出提出一种基于应用和用户需求的自适应的副本一致性维护机制，包括更新一致性和归并一致性。系统根据形式化的一致性需求实时调整一致性机制，达到副本一致性、可用性和系统性能之间的动态平衡。
发明内容
有鉴于此，本发明的目的在于提供一种基于消息热度保证kafka集群数据一致性的方法，通过副本机制及其一致性来保证消息队列的可靠性。根据Kafka消息队列的可靠性机制及其副本数据同步策略。针对kafka集群中应用和用户对数据一致性需求的差异，提出一种基于应用特性的自适应副本一致性策略，以达到允许应用根据统计特性在运行期间选择副本更新一致性策略，最大程度地满足应用和用户对一致性和可用性的需求。
为达到上述目的，本发明提供如下技术方案：
一种基于消息热度保证kafka集群数据一致性的方法，包括以下步骤：
S1：建立计算机编程函数partition热度模型；
S2：建立热度预估模型；
S3：计算副本partition的更新频率；
S4：建立副本partition自适应一致性策略。
进一步，所述S1具体为：
采用下式得到时间周期Ti内的加权平均访问次数：
其中Ei表示第i个时间周期Ti内Partition的加权平均访问次数；Xj为Ti内的第j个时间点的offset偏移量；Pj表示Ti内第j个时间点的权值函数，
其中，时间周期Ti包含了n个时间点，某个时间点用tj表示，其中σ∈{t1,t2,…,tj,…,tn}，j＝1,2,…,n；由于越靠近时间周期末尾对预测值影响越大，需要分母比分子大，加上一个常数Ψ；ω为一个给定的常数参数，当ω＝0时，上式是最近最不常用页面置换(Least Frequently Used,LFU)算法；当ω＝1时，上式是最近最少使用页面置换(LeastRecently Used,LRU)算法；当0＜ω＜1时，上式是LFU和LRU结合的算法；
用Partition的访问频率代表第i个时间周期Ti内消息访问热度，即：
Si＝Ei/Ti。
进一步，所述S2具体为：
在Kafka集群中消息的热度随着数据流的处理需求时刻变化，每间隔一个时间周期Ti计算一次partition的当前热度，即结合partition的历史热度设置不同权重，重新计算出partition预估热度值Hi：
H(i)＝ε.Si+(1-ε)H(i-1)
其中H(i)表示第i个Ti时间间隔时消息的历史热度，H(i-1)表示第i-1个Ti-1时间间隔时消息的历史热度，Si表示Ti内消息消息的当前热度；ε表示partition当前热度所占的权重，ε值越大则表示热度值影响越大，反之越小。
进一步，所述S3具体为：
副本partition更新频率Πi为：
Πi＝W/Ti
其中W表示某个时间Ti内partition增加的消息偏移量，Πi为某段时间内的副本更新频率。
进一步，所述S4具体为：
根据时间间隔Ti内partition的访问情况预测消息将来的访问行为，并以消息预估热度H(i)衡量它，结合副本partition的在某段时间内的更新频率Πi选择更合适的更新策略；
若H(i)/Πi＞1，则topic的消耗速率大于副本的更新速度，把该topic下符合该条件的partition副本放入ISR中，立刻同步副本消息；
若H(i)/Πi＜1，则topic的消耗速率小于副本的更新速度，把该topic下符合该条件的partition副本移出ISR，不进行副本数据同步，当集群中的网络开销不大时再把该partition放入ISR中进行数据同步。
本发明的有益效果在于：本发明结合了kafka消息队列可靠性和云存储系统中的自适应同步策略的各自优点，提出基于集群消息访问热度的kafka集群副本数据同步的自适应算法，并且在预测文件热度时结合了LRU(LeastRecently Used，最近最少使用)算法和LFU(Least Frequently Used，最不经常使用)算法，兼顾了访问时间和访问频率，使得预测结果更加符合实际值；为了可控性加入了常数ψ和ω；保证了数据的可靠性，同时降低了集群内网络开销与内存、CPU等额外源开销，有效地平衡了系统的可用性和性能。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1真实消息访问次数场景1；
图2真实消息访问次数场景2。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明的基本思想是：根据消息的历史访问频率和热度预测模型来预测此消息未来的访问热度，然后根据建立的消息分区副本计算得到副本的更新频率，最后根据自适应更新模型决定副本的更新机制。该算法可以使副本数据一致性与集群效率更好地平衡。
如图1、图2所示，为真实消息访问次数的2个场景。
平台由3台物理机器组成，其中三台都装有Kafka和zookeeper，每台机器的具体配置如下表所示：
硬件配置列表
每个节点上安装运行的是ubuntu操作系统，节点1、节点2，节点3用于搭建kafka集群和zookeeper集群。同时这三台机器还搭建了zookeeper集群，它们始终处于运行状态，监控kafka集群运行状态和维护ISR集合，并且三台机器的软硬件配置都是一样。
本发明的技术方案包括以下步骤：
步骤一：预测消息未来访问热度
首先设置不同的消费者，他们去消费同一个topic下的不同partition数据，并且他们消费数据的速度不相同，有大有小。这里设置consumerA是consumerB的两倍，而且是consumerC的三倍。在创建好消费者后，还需要生产者向kafka集群中不断地写入数据，在这里设置了三个生产者不断地向集群中分发消息；每隔时间tisr(zookeeper同步周期)通过get/consumers/[groupId]/offsets/[topic]/[partitionId]分别去获取partition的消费offset；重复上述的操作10次，根据热度预估模型得到消息未来时间T内的一个热度下表所示：
步骤二：计算partition副本的更新速率
在kafka集群中的所有副本的更新频率由于以下几种原因而不同，从而导致有的副本更新滞后，使得集群数据不同步造成数据丢失。因此副本的更新频率也会影响到kafka集群数据的一致性；根据副本更新频率模型：P＝W/T，计算集群中每个副本更新速率(offset/s)为如下表所示：
步骤三：选择副本的更新策略
根据上述的数据结合副本自适应更新策略，把需要更新的副本保留在ISR集合中，而不需要的更新的副本则把它移除集合中；因此如果当某个partition副本的更新速率大于预测partition消费热度时则把它移除ISR集合中，反之则保留在集合中，具体操作此ISR集合的方式为在zk中/brokers/topics/topicname/partitions/paritionid/state路径下更新最新的isr记录。
具体的算法描述如下所示：
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于消息热度保证kafka集群数据一致性的方法，其特征在于：该方法包括以下步骤：
S1：建立计算机编程函数partition热度模型；
S2：建立热度预估模型；
S3：计算副本partition的更新频率；
S4：建立副本partition自适应一致性策略。
2.如权利要求1所述的一种基于消息热度保证kafka集群数据一致性的方法，其特征在于：所述S1具体为：
采用下式得到时间周期Ti内的加权平均访问次数：
<mrow> <msub> <mi>E</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mn>1</mn> <mi>n</mi> </munderover> <msub> <mi>X</mi> <mi>j</mi> </msub> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>,</mo> <mrow> <mo>(</mo> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
其中Ei表示第i个时间周期Ti内Partition的加权平均访问次数；Xj为Ti内的第j个时间点的offset偏移量；Pj表示Ti内第j个时间点的权值函数，
<mrow> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mrow> <mi>&amp;Psi;</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mo>)</mo> </mrow> <mrow> <mi>&amp;omega;</mi> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </msup> <mo>,</mo> <mrow> <mo>(</mo> <mi>&amp;Psi;</mi> <mo>&gt;</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>&lt;</mo> <mi>&amp;omega;</mi> <mo>&lt;</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，时间周期Ti包含了n个时间点，某个时间点用tj表示，其中σ∈{t1,t2,…,tj,…,tn}，j＝1,2,…,n；由于越靠近时间周期末尾对预测值影响越大，需要分母比分子大，加上一个常数Ψ；ω为一个给定的常数参数，当ω＝0时，上式是最近最不常用页面置换(LeastFrequently Used,LFU)算法；当ω＝1时，上式是最近最少使用页面置换(Least RecentlyUsed,LRU)算法；当0＜ω＜1时，上式是LFU和LRU结合的算法；
用Partition的访问频率代表第i个时间周期Ti内消息访问热度，即：
Si＝Ei/Ti。
3.如权利要求1所述的一种基于消息热度保证kafka集群数据一致性的方法，其特征在于：所述S2具体为：
在Kafka集群中消息的热度随着数据流的处理需求时刻变化，每间隔一个时间周期Ti计算一次partition的当前热度，即结合partition的历史热度设置不同权重，重新计算出partition预估热度值Hi：
H(i)＝ε.Si+(1-ε)H(i-1)
其中H(i)表示第i个Ti时间间隔时消息的历史热度，H(i-1)表示第i-1个Ti-1时间间隔时消息的历史热度，Si表示Ti内消息消息的当前热度；ε表示partition当前热度所占的权重，ε值越大则表示热度值影响越大，反之越小。
4.如权利要求1所述的一种基于消息热度保证kafka集群数据一致性的方法，其特征在于：所述S3具体为：
副本partition更新频率Πi为：
Πi＝W/Ti
其中W表示某个时间Ti内partition增加的消息偏移量，Πi为某段时间内的副本更新频率。
5.如权利要求1所述的一种基于消息热度保证kafka集群数据一致性的方法，其特征在于：所述S4具体为：
根据时间间隔Ti内partition的访问情况预测消息将来的访问行为，并以消息预估热度H(i)衡量它，结合副本partition的在某段时间内的更新频率Πi选择更合适的更新策略；
若H(i)/Πi＞1，则topic的消耗速率大于副本的更新速度，把该topic下符合该条件的partition副本放入ISR中，立刻同步副本消息；
若H(i)/Πi＜1，则topic的消耗速率小于副本的更新速度，把该topic下符合该条件的partition副本移出ISR，不进行副本数据同步，当集群中的网络开销不大时再把该partition放入ISR中进行数据同步。
CN201710855173.5A 2017-09-20 2017-09-20 一种基于消息热度保证kafka集群数据一致性的方法 Pending CN107666516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710855173.5A CN107666516A (zh) 2017-09-20 2017-09-20 一种基于消息热度保证kafka集群数据一致性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710855173.5A CN107666516A (zh) 2017-09-20 2017-09-20 一种基于消息热度保证kafka集群数据一致性的方法

Publications (1)

Publication Number Publication Date
CN107666516A true CN107666516A (zh) 2018-02-06

Family

ID=61098040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710855173.5A Pending CN107666516A (zh) 2017-09-20 2017-09-20 一种基于消息热度保证kafka集群数据一致性的方法

Country Status (1)

Country Link
CN (1) CN107666516A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595483A (zh) * 2018-03-13 2018-09-28 腾讯科技（深圳）有限公司 数据处理方法及相关装置
CN108733808A (zh) * 2018-05-21 2018-11-02 试金石信用服务有限公司 大数据软件系统切换方法、系统、终端设备及存储介质
CN110674412A (zh) * 2019-08-20 2020-01-10 广州视源电子科技股份有限公司 资源的推荐信息推送方法及装置、电子设备
CN111163118A (zh) * 2018-11-07 2020-05-15 株式会社日立制作所 一种Kafka集群中的消息传输方法及装置
CN111163146A (zh) * 2019-12-24 2020-05-15 合肥凌极西雅电子科技有限公司 一种多媒体信息发布方法
CN111913837A (zh) * 2020-08-17 2020-11-10 普元信息技术股份有限公司 大数据环境下实现分布式中间件消息恢复策略管理的系统
CN112487093A (zh) * 2020-12-07 2021-03-12 浪潮云信息技术股份公司 一种分布式数据库的去中心化副本控制方法
CN113055430A (zh) * 2019-12-27 2021-06-29 华为技术有限公司 一种数据同步的方法及相关设备
CN113485973A (zh) * 2021-07-02 2021-10-08 中国联合网络通信集团有限公司 数据同步方法及装置
CN114793236A (zh) * 2021-12-14 2022-07-26 合肥哈工轩辕智能科技有限公司 一种高可用性的实时消息分发方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102511043A (zh) * 2011-11-26 2012-06-20 华为技术有限公司 缓存文件替换方法、装置及系统
US20130253718A1 (en) * 2012-03-23 2013-09-26 Power Analytics Corporation Systems and methods for integrated, model, and role-based management of a microgrid based on real-time power management
CN103440182A (zh) * 2013-09-12 2013-12-11 重庆大学 自适应分配方法及装置、自适应副本一致性方法
CN107169083A (zh) * 2017-05-11 2017-09-15 聚龙融创科技有限公司 公安卡口海量车辆数据存储与检索方法及装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102511043A (zh) * 2011-11-26 2012-06-20 华为技术有限公司 缓存文件替换方法、装置及系统
US20130253718A1 (en) * 2012-03-23 2013-09-26 Power Analytics Corporation Systems and methods for integrated, model, and role-based management of a microgrid based on real-time power management
CN103440182A (zh) * 2013-09-12 2013-12-11 重庆大学 自适应分配方法及装置、自适应副本一致性方法
CN107169083A (zh) * 2017-05-11 2017-09-15 聚龙融创科技有限公司 公安卡口海量车辆数据存储与检索方法及装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
娄超: "云存储环境中副本选择与一致性维护策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王岩: ""一种基于Kafka的可靠的Consumer的设计方案"", 《软件》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595483B (zh) * 2018-03-13 2020-11-24 腾讯科技（深圳）有限公司 数据处理方法及相关装置
CN108595483A (zh) * 2018-03-13 2018-09-28 腾讯科技（深圳）有限公司 数据处理方法及相关装置
CN108733808A (zh) * 2018-05-21 2018-11-02 试金石信用服务有限公司 大数据软件系统切换方法、系统、终端设备及存储介质
CN108733808B (zh) * 2018-05-21 2022-09-20 试金石信用服务有限公司 大数据软件系统切换方法、系统、终端设备及存储介质
CN111163118A (zh) * 2018-11-07 2020-05-15 株式会社日立制作所 一种Kafka集群中的消息传输方法及装置
CN111163118B (zh) * 2018-11-07 2023-04-07 株式会社日立制作所 一种Kafka集群中的消息传输方法及装置
CN110674412A (zh) * 2019-08-20 2020-01-10 广州视源电子科技股份有限公司 资源的推荐信息推送方法及装置、电子设备
CN111163146A (zh) * 2019-12-24 2020-05-15 合肥凌极西雅电子科技有限公司 一种多媒体信息发布方法
CN111163146B (zh) * 2019-12-24 2022-07-01 合肥凌极西雅电子科技有限公司 一种多媒体信息发布方法
CN113055430A (zh) * 2019-12-27 2021-06-29 华为技术有限公司 一种数据同步的方法及相关设备
CN111913837A (zh) * 2020-08-17 2020-11-10 普元信息技术股份有限公司 大数据环境下实现分布式中间件消息恢复策略管理的系统
CN112487093A (zh) * 2020-12-07 2021-03-12 浪潮云信息技术股份公司 一种分布式数据库的去中心化副本控制方法
CN113485973A (zh) * 2021-07-02 2021-10-08 中国联合网络通信集团有限公司 数据同步方法及装置
CN113485973B (zh) * 2021-07-02 2023-05-16 中国联合网络通信集团有限公司 数据同步方法及装置
CN114793236A (zh) * 2021-12-14 2022-07-26 合肥哈工轩辕智能科技有限公司 一种高可用性的实时消息分发方法及装置

Similar Documents

Publication Publication Date Title
CN107666516A (zh) 一种基于消息热度保证kafka集群数据一致性的方法
Zhong et al. A deep reinforcement learning-based framework for content caching
He et al. QoE-driven content-centric caching with deep reinforcement learning in edge-enabled IoT
Osamy et al. An information entropy based-clustering algorithm for heterogeneous wireless sensor networks
Fu et al. Soft actor–critic DRL for live transcoding and streaming in vehicular fog-computing-enabled IoV
JP6457447B2 (ja) データセンターのネットワークトラフィックスケジューリング方法及び装置
Wang et al. Accelerating federated learning with cluster construction and hierarchical aggregation
EP2975820B1 (en) Reputation-based strategy for forwarding and responding to interests over a content centric network
CN112822050B (zh) 用于部署网络切片的方法和装置
Li et al. Accurate learning or fast mixing? Dynamic adaptability of caching algorithms
CN108416465B (zh) 一种移动云环境下的工作流优化方法
Farahani et al. ES-HAS: an edge-and SDN-assisted framework for HTTP adaptive video streaming
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
Aloqaily et al. Blockchain and FL-based network resource management for interactive immersive services
CN109951317B (zh) 一种基于用户驱动的流行度感知模型的缓存替换方法
Cox et al. Aergia: leveraging heterogeneity in federated learning systems
CN105227665B (zh) 一种用于缓存节点的缓存置换方法
Li et al. SDN flow entry adaptive timeout mechanism based on resource preference
Jamali et al. Congestion control in high‐speed networks using the probabilistic estimation approach
Ghandeharizadeh et al. Cooperative caching techniques for continuous media in wireless home networks
CN116827515A (zh) 一种基于区块链和强化学习的雾计算系统性能优化算法
Yang et al. Hybrid cooperative caching based iot network considering the data cold start
CN111935781B (zh) 数据分享网络的控制方法、网络系统及相关装置
Gupta et al. Reliability aware load balancing algorithm for content delivery network
Jia et al. Social‐Aware Edge Caching Strategy of Video Resources in 5G Ultra‐Dense Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180206