CN116319786A - 一种双分布式微服务架构、调度算法和边云数据共享系统 - Google Patents
一种双分布式微服务架构、调度算法和边云数据共享系统 Download PDFInfo
- Publication number
- CN116319786A CN116319786A CN202310140803.6A CN202310140803A CN116319786A CN 116319786 A CN116319786 A CN 116319786A CN 202310140803 A CN202310140803 A CN 202310140803A CN 116319786 A CN116319786 A CN 116319786A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- nodes
- client
- server node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012423 maintenance Methods 0.000 claims abstract description 20
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用信息技术领域，提供了一种双分布式微服务架构、调度方法和边云数据共享系统，其中微服务架构基于一个半异构成本模型情况下，将边云数据共享系统问题表述为一个完全连通的边缘网络中的协作缓存优化问题，在强一致性分布式结构上利用预期缓存的概念，进一步研究降低成本花费设计。同时，微服务架构中所采用的调度方法对全局数据量基于服务端节点采用强一致性分布式算法进行维护，而对于有效数据地址信息则基于客户端节点采用最终一致性分布式算法进行维护，使得微服务架构更符合实际分布式环境下的成本驱动数据缓存，解决了分布式节点交流以及数据一致性维护的问题。采用该架构的边云数据共享系统也具有上述技术效果。
Description
技术领域
本申请属于信息技术领域，尤其涉及一种双分布式微服务架构、调度算法和边云数据共享系统。
背景技术
在现有分布式网络和边缘计算技术中，基于边缘的内容交付网络设计的边云数据共享系统目前在设计上，各公司主要是针对自身业务架构进行特定方向的优化，缺乏一个统一的总体优化思路。而分布式系统化使得问题变得更具复杂性，尤其是数据一致性问题导致可能的系统额外开销不可预计，尤其是因架构细化不完善导致的粒度过粗的分布式交互设计，进一步拉高分布式系统的搭建运行成本，导致主流公司在大部分项目设计上依旧偏向于集群式的架构，而对边缘节点的利用率较低，进一步导致延迟问题受限于物理距离而无法降低。现有技术存在不足。
发明内容
本申请的目的在于提供一种双分布式微服务架构、调度算法和边云数据共享系统，在全连通网络中通过设置缓存服务器(例如网络节点)来缓存共享一组数据之间的转移和复制操作，确保将数据转移至全局缓存最小费用节点，以此来将网络的总体服务成本降到最低。旨在解决分布式节点交流以及数据一致性维护的问题，进一步减少了分布式架构下全局数据缓存与传输的成本。
一方面，本申请提供了一种双分布式微服务架构，包括由至少一个缓存服务器节点和至少一个将所述缓存服务器节点接入因特网的数据中心集群；所述缓存服务器节点用于缓存数据；所述数据中心集群基于节点的形式来接受所述缓存服务器节点的服务注册；所述数据中心集群包括分别与所述缓存服务器节点连接的服务端节点和客户端节点；所述服务端节点和客户端节点通过彼此连接实现服务注册信息的共享。
另一方面，本申请还提供了一种调度方法，应用在上述微服务架构中；所述调度方法包括以下步骤：
s1.当缓存服务器节点需要数据满足服务请求时：与最初通信的客户端节点通信并查询是否有有效地址信息，若无则继续访问其余的客户端节点进行查询；若获取有效数据地址，则采用gRPC访问该地址对应的所述缓存服务器并获取数据包；
s2.当缓存服务器节点获得数据时：与服务端节点通信，令所述服务端节点维护的全局数据量+1；并将该数据在服务端节点间进行强一致性维护；与客户端节点通信并将本节点地址信息告知所述客户端节点，所述客户端节点间基于Gossip将地址信息进行最终一致性维护；以记录数据流向；
s3.所述缓存服务器节点决策数据调度策略时，与所述服务端节点通信，获取当前最新全局数据量；若当前数据不唯一时选择本地数据删除策略；若当前数据唯一则将数据再次缓存一个策略时间后再次查询，若依旧唯一则将数据转移至全局缓存最小费用节点；
s4.所述缓存服务器节点发生数据删除或迁移时，与所述服务端节点通信，令全局数据量-1；再与曾经与当前缓存服务器节点通信过的所述客户端节点再次通信，告知所述客户端节点，发生删除或迁移的数据，其地址已经失效；所述客户端节点基于之前记录的数据流向依次将该地址信息失效化。
另一方面，本申请还提供了一种基于上述微服务架构设计的边云数据共享系统，各分布式边缘节点间依据预缓存调度算法策略实现全局数据共享。
本申请在基于一个半异构成本模型情况下，将边云数据共享系统问题表述为一个完全连通的边缘网络中的协作缓存优化问题，在强一致性分布式结构上利用预期缓存的概念，优化了该算法使其具有确定性上界，进一步研究降低成本花费设计。同时，在分布式结构上，本申请对全局数据量基于服务端节点采用强一致性分布式算法进行维护，而对于有效数据地址信息则基于客户端节点采用最终一致性分布式算法进行维护。该算法使得原算法更符合实际分布式环境下的成本驱动数据缓存，解决了分布式节点交流以及数据一致性维护的问题；同时对于数据中心集群的分类使用进一步减少了分布式架构下全局数据缓存与传输的成本。
附图说明
图1是采用本申请实施例一提供的双分布式微服务架构的示意图；
图2是应用在本申请双分布式微服务架构中的调度方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下结合具体实施例对本申请的具体实现进行详细描述：
实施例一：
图1示出了本申请实施例一提供的一种双分布式微服务架构，为了便于说明，仅示出了与本申请实施例相关的部分，详述如下：
一方面，本申请提供了一种双分布式微服务架构，包括由至少一个缓存服务器节点和至少一个将缓存服务器节点接入因特网的数据中心集群；缓存服务器节点用于缓存数据；数据中心集群基于节点的形式来接受所述缓存服务器节点的服务注册；数据中心集群包括分别与缓存服务器节点连接的服务端节点和客户端节点；服务端节点和客户端节点通过彼此连接实现服务注册信息的共享。
其中，缓存服务器将自己能提供的服务在数据中心集群中进行注册后，可以方便其他节点访问其注册的服务。
进一步的，缓存服务器节点数量的数量大于等于2时，通过缓存来共享一组数据之间的转移和复制操作。
进一步的，所有注册到客户端节点的服务会被转发到服务端节点，客户端节点不持久化注册信息；客户端节点对缓存服务器节点的数据地址进行维护。
其中维护采用全局最终一致性维护。即对于有效数据地址，当存在有效数据时，只要存在一个以上的有效数据地址即可满足整个网络的需求。因此由客户端节点对数据地址进行维护，而本申请中采用Gossip算法在客户端节点间进行通信，因此有效数据地址的信息则在客户端节点间进行传递共享。
进一步的，服务端节点接受服务注册并将注册信息持久化保留；服务端节点间，基于Raft算法对缓存服务器节点的数据量进行维护。
其中维护采用全局强一致性维护。即全局数据量是缓存服务器节点进行数据调度/删除的关键依据，要随时可查询到服务端节点中当前全局数据量的准确信息并更新。因此需要强一致性分布式算法对该量进行维护。本申请的服务端节点间是基于Raft算法进行全局数据量的全局强一致性维护，因此服务端节点将全局数据量纳入维护范围以满足其在各服务端节点的共享。
若将有效地址信息也进行强一致性维护，虽然可能减少客户端节点间通信开销，但强一致性维护带来的额外开销将远大于最终一致性的开销，因此采取两套分布式架构分别维护两种不同的数据的设计能更好的优化微服务架构的全局消耗。
进一步的，当服务端节点的数量大于等于2时，其中一个服务端节点将变更为服务端领导节点；服务端领导节点负责同步注册的信息给服务端节点，同时也负责数据中心集群的所有节点的健康监测。
进一步的，服务端节点和客户端节点上均运行有代理程序，依据该代理程序的算法自动执行任务，与其他节点进行交互。
具体的，代理程序的核心是一组控制算法，为现有技术，本申请不做保护要求。
本申请的双分布式微服务架构基于边缘的内容分发网络且基于半异构成本模型来构建。因为成本模型为半异构的，即所有缓存节点间具有相同的传输成本，但每个缓存节点都有不一定相同同的缓存成本。而在分布式结构上，各服务端节点间数据一致性也是需要一定的成本花费的。因此，对于每个缓存服务器节点，需要分别与服务端节点和客户端节点进行数据信息交互。通过数据的地址信息和数据量信息分别在两套分布式系统内进行维护，使得两个关键量采用不同的分布式算法进行维护，减少了系统维护分布式数据一致性所付出的额外开销，以此得以尽可能地降低全局开销。
具体的，在一般集群下调度算法均为中央控制调度，每个缓存节点是被动地接受命令。而本申请的微服务架构基于分布式架构设计，其中每个节点是自发地参与到调度算法中，分布式边缘节点会自发地获取环境信息从而执行对应的策略行为。每个分布式边缘节点需要以下两点信息：全局是否存在对应数据，以及最低的路由成本获取对应数据的路径。为了动态维护这些全局信息，本申请的微服务架构设计的边云数据共享系统，各分布式边缘节点间依据预缓存调度算法策略实现全局数据共享，其双分布式架构的设计也进一步解决了各节点间延迟、伸缩扩展和数据安全问题。
实施例二：
另一方面，图2示出了本申请还提供了一种调度方法的具体流程，应用在上述微服务架构中；调度方法包括以下步骤：
s1.当缓存服务器节点需要数据满足服务请求时：与最初通信的客户端节点通信并查询是否有有效地址信息，若无则继续访问其余的客户端节点进行查询；若获取有效数据地址，则采用gRPC访问该地址对应的缓存服务器并获取数据包；
s2.当缓存服务器节点获得数据时：与服务端节点通信，令服务端节点维护的全局数据量+1；并将该数据在服务端节点间进行强一致性维护；与客户端节点通信并将本节点地址信息告知客户端节点，客户端节点间基于Gossip将地址信息进行最终一致性维护；以记录数据流向；
s3.缓存服务器节点决策数据调度策略时：与服务端节点通信，获取当前最新全局数据量；若当前数据不唯一时选择本地数据删除策略；若当前数据唯一则将数据再次缓存一个策略时间后再次查询，若依旧唯一则将数据转移至全局缓存最小费用节点；
s4.缓存服务器节点发生数据删除或迁移时：与服务端节点通信，令全局数据量-1；再与曾经与当前缓存服务器节点通信过的客户端节点再次通信，告知客户端节点，发生删除或迁移的数据，其地址已经失效；客户端节点基于之前记录的数据流向依次将该地址信息失效化。
进一步的，步骤s1中绩效访问其余的客户端节点时，避开最初通信的客户端节点的中采用Gossip算法的客户端节点。
进一步的，步骤s2中基于Raft策略记录log按逻辑时间确定数据的新旧来进行强一致性维护。
本申请的调度方法改进设计出了该基于双分布式架构的成本驱动的云数据缓存算法。将两个关键量(全局数据量和有效数据地址)采用不同的分布式算法以及不同类型的节点进行维护，进一步优化减少了系统维护分布式数据一致性所付出的额外开销。
具体的，因为有效地址和全局数据量这两种信息对一致性的需求不同。一致性需求越高，带来的整体网络的经济开销越大。有效地址相对全局数据量不需要那么高的一致性，所以二者单独维护能有效降低网络的开销。
实施例三：
另一方面，本申请还提供了一种基于上述微服务架构设计的边云数据共享系统，各分布式边缘节点间依据预缓存调度算法策略实现全局数据共享。
本申请以降低经济成本为目标，故需要在收益和成本之间找到一个良好的平衡。同时由于与云数据集群中心相比，分布式边缘节点的能力有限，因此在每个分布式边缘节点上配置的应用程序也要考虑其承受能力(例如，考虑的是每个节点的算力。算力强的可多配置一些，比如把强一致性维护任务交给这些节点进行)。将之前集群算法的各部分功能拆分解耦，不同节点在分布式系统中承担不同的功能，使本系统具有了更佳的可扩展性。
实施例四：
另一方面，本申请还提供了一种存储介质，存储介质存储有能够实现上述的调度方法的程序文件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
实施例五：
另一方面，本申请还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的调度方法。
在本申请实施例中，该调度方法可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本申请。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种双分布式微服务架构，其特征在于，包括由至少一个缓存服务器节点和至少一个将所述缓存服务器节点接入因特网的数据中心集群；所述缓存服务器节点用于缓存数据；所述数据中心集群基于节点的形式来接受所述缓存服务器节点的服务注册；所述数据中心集群包括分别与所述缓存服务器节点连接的服务端节点和客户端节点；所述服务端节点和客户端节点通过彼此连接实现服务注册信息的共享。
2.如权利要求1所述的微服务架构，其特征在于，所述缓存服务器节点数量的数量大于等于2时，通过缓存来共享一组数据之间的转移和复制操作。
3.如权利要求1所述的微服务架构，其特征在于，所有注册到所述客户端节点的服务会被转发到所述服务端节点，所述客户端节点不持久化注册信息；所述客户端节点对所述缓存服务器节点的数据地址进行维护。
4.如权利要求3所述的微服务架构，其特征在于，所述服务端节点接受服务注册并将注册信息持久化保留；所述服务端节点间，基于Raft算法对所述缓存服务器节点的数据量进行维护。
5.如权利要求4所述的微服务架构，其特征在于，当所述服务端节点的数量大于等于2时，其中一个服务端节点将变更为服务端领导节点；所述服务端领导节点负责同步注册的信息给所述服务端节点，同时也负责数据中心集群的所有节点的健康监测。
6.如权利要求5所述的微服务架构，其特征在于，所述服务端节点和所述客户端节点上均运行有代理程序，依据该代理程序的算法自动执行任务，与其他节点进行交互。
7.一种调度方法，其特征在于，应用在权利要求1至6任意一项所述微服务架构中；所述调度方法包括以下步骤：
s1.当缓存服务器节点需要数据满足服务请求时：与最初通信的客户端节点通信并查询是否有有效地址信息，若无则继续访问其余的客户端节点进行查询；若获取有效数据地址，则采用gRPC访问该地址对应的所述缓存服务器并获取数据包；
s2.当缓存服务器节点获得数据时：与服务端节点通信，令所述服务端节点维护的全局数据量+1；并将该数据在服务端节点间进行强一致性维护；与客户端节点通信并将本节点地址信息告知所述客户端节点，所述客户端节点间基于Gossip将地址信息进行最终一致性维护；以记录数据流向；
s3.所述缓存服务器节点决策数据调度策略时：与所述服务端节点通信，获取当前最新全局数据量；若当前数据不唯一时选择本地数据删除策略；若当前数据唯一则将数据再次缓存一个策略时间后再次查询，若依旧唯一则将数据转移至全局缓存最小费用节点；
s4.所述缓存服务器节点发生数据删除或迁移时：与所述服务端节点通信，令全局数据量-1；再与曾经与当前缓存服务器节点通信过的所述客户端节点再次通信，告知所述客户端节点，发生删除或迁移的数据，其地址已经失效；所述客户端节点基于之前记录的数据流向依次将该地址信息失效化。
8.如权利要求7所述的方法，其特征在于，所述步骤s1中绩效访问其余的客户端节点时，避开最初通信的客户端节点中采用Gossip算法的客户端节点。
9.如权利要求7所述的方法，其特征在于，所述步骤s2中基于Raft策略记录log按逻辑时间确定数据的新旧来进行强一致性维护。
10.一种基于权利要求1至6任一项所述微服务架构设计的边云数据共享系统，其特征在于，各分布式边缘节点间依据预缓存调度算法策略实现全局数据共享。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310140803.6A CN116319786A (zh) | 2023-02-15 | 2023-02-15 | 一种双分布式微服务架构、调度算法和边云数据共享系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310140803.6A CN116319786A (zh) | 2023-02-15 | 2023-02-15 | 一种双分布式微服务架构、调度算法和边云数据共享系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116319786A true CN116319786A (zh) | 2023-06-23 |
Family
ID=86788002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310140803.6A Pending CN116319786A (zh) | 2023-02-15 | 2023-02-15 | 一种双分布式微服务架构、调度算法和边云数据共享系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116319786A (zh) |
-
2023
- 2023-02-15 CN CN202310140803.6A patent/CN116319786A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109313644B (zh) | 数据库代理所用的系统和方法 | |
| EP1932322B1 (en) | System and method to maintain coherence of cache contents in a multi-tier software system aimed at interfacing large databases | |
| Bagrodia et al. | Vision, issues, and architecture for nomadic computing [and communications] | |
| US9330004B2 (en) | Data processing method, cache node, collaboration controller, and system | |
| KR100473671B1 (ko) | 협동 캐시 서버의 부하 조정 방법 | |
| US8396936B2 (en) | Computer system with cooperative cache | |
| CN110213352B (zh) | 名字空间统一的分散自治存储资源聚合方法 | |
| CN106775446B (zh) | 基于固态硬盘加速的分布式文件系统小文件访问方法 | |
| EP1667026A2 (en) | Managing replacement of data in a cache on a node based on caches of other nodes | |
| CN109344122B (zh) | 一种基于文件预创策略的分布式元数据管理方法及系统 | |
| JP5845877B2 (ja) | 情報処理装置、データ制御方法およびデータ制御プログラム | |
| US8543700B1 (en) | Asynchronous content transfer | |
| CN103140851B (zh) | 包括中间件机环境的系统 | |
| US9667735B2 (en) | Content centric networking | |
| CN112698941A (zh) | 一种基于动态负载均衡的实时数据库查询方法 | |
| CN116319786A (zh) | 一种双分布式微服务架构、调度算法和边云数据共享系统 | |
| CN112333027B (zh) | 基于软件定义网络的分布式虚拟网络监视器的实现方法 | |
| JP2002197002A (ja) | 自律分散型コンテンツ配信システム及び方法 | |
| US11093493B1 (en) | Dynamically switching between query and scan for optimizing table reads | |
| JP2022019145A (ja) | イベントストリーム処理方法及びイベントストリーム処理プログラム | |
| Huo et al. | Research on key technologies of edge cache in virtual data space across WAN | |
| Kalai Arasan et al. | A new GLoSM embedded virtual machine model for big data services in cloud storage systems | |
| Parthasarathy et al. | InterAct: Virtual sharing for interactive client-server applications | |
| US10148503B1 (en) | Mechanism for dynamic delivery of network configuration states to protocol heads | |
| JP2014203329A (ja) | ストレージシステム、ノード装置及びデータ管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |