CN111464611A - 动态复杂场景下固定云和边缘节点之间高效服务访问的方法 - Google Patents

动态复杂场景下固定云和边缘节点之间高效服务访问的方法 Download PDF

Info

Publication number
CN111464611A
CN111464611A CN202010234295.4A CN202010234295A CN111464611A CN 111464611 A CN111464611 A CN 111464611A CN 202010234295 A CN202010234295 A CN 202010234295A CN 111464611 A CN111464611 A CN 111464611A
Authority
CN
China
Prior art keywords
service
cloud
edge
edge node
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010234295.4A
Other languages
English (en)
Other versions
CN111464611B (zh
Inventor
李新明
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edge Intelligence Of Cas Co ltd
Original Assignee
Edge Intelligence Of Cas Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edge Intelligence Of Cas Co ltd filed Critical Edge Intelligence Of Cas Co ltd
Priority to CN202010234295.4A priority Critical patent/CN111464611B/zh
Publication of CN111464611A publication Critical patent/CN111464611A/zh
Application granted granted Critical
Publication of CN111464611B publication Critical patent/CN111464611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种动态复杂场景下固定云和边缘节点之间高效服务访问的方法,它包括以下步骤:(a)在固定云和边缘节点分层结构的基础上构建支持云边协同的分布式服务目录管理模型;(b)在所述分布式服务目录管理模型的基础上,进行基于“发布‑订阅”机制的云边、边边之间服务目录同步;(c)采用预测模型对边缘节点和特定单元的行为和路线进行动态预测,评估出边缘节点和特定单元之间的最优映射关系,加速服务的动态切换;所述边缘节点提供服务,所述特定单元使用服务;(d)通过面向云边协同的透明代理进行云边或边边之间多个服务实例之间的访问。能够实现动态复杂场景下固定云和边缘节点之间可靠、透明、高效的服务访问。

Description

动态复杂场景下固定云和边缘节点之间高效服务访问的方法
技术领域
本发明属于服务访问领域,涉及一种高效服务访问的方法,具体一种动态复杂场景下固 定云和边缘节点之间高效服务访问的方法。
背景技术
动态复杂场景中高机动性的特殊单元(或特定单元)访问服务目录管理时提出了面向云 (即固定云)边(即边缘节点)协同和动态复杂场景的版本管理与透明访问需求。
2005年,朱延东进行了信息网格环境下透明访问的相关研究,提出了运用元数据技术, 通过XML Schema进行建模,然后将元数据与目录服务结合提供元数据目录服务,最终实现 信息网格环境下高效、异构、透明地访问信息资源;同时研究了信息网格下的元数据体系, 通过元数据可以实现信息资源的异构与透明访问,进而研究如何将元数据结合目录服务技术, 以便提供元数据目录服务,用于信息资源元数据的发布、存储、查询及定位。这种传统的基 于集中式管理的服务目录构建方式无法解决动态复杂场景中的以下问题:(1)固定云服务中 心和边缘服务中心由于资源规模、网络带宽和延迟等方面的差异,所承担的角色以及启动的 服务实例存在配置和服务能力的差异,需要在构建服务目录模型时考虑这种差异性从而实现 更高的灵活性;(2)边缘节点和特殊单元具有高度的机动性和接入不确定性,并随着任务的 执行随时出现变更和接替,需要服务目录能够及时感知到变化并能快速进行更新;(3)由于 动态复杂场景的强对抗性和复杂性,导致固定云和边缘节点、边缘节点之间以及边缘节点到 特殊单元之间的通信链路存在带宽严重受限(如某些无线链路仅能达到9.6kbps带宽)、延迟 过大(达到秒级)、甚至时断时续无法保持在线的情况,为服务目录的一致性维护、及时更新 和快速切换带来了新的挑战。
发明内容
本发明目的是为了克服现有技术的不足而提供一种动态复杂场景下固定云和边缘节点 之间高效服务访问的方法,可以实现动态复杂场景下固定云和边缘节点之间可靠、透明、高 效的服务访问。
为达到上述目的,本发明所采用的技术方案为:一种动态复杂场景下固定云和边缘节点 之间高效服务访问的方法,它包括以下步骤:
(a)在固定云和边缘节点分层结构的基础上构建支持云边协同的分布式服务目录管理 模型;所述分布式服务目录管理模型采用基于分布式键值存储的服务目录存储机制和基于快 速服务查询列表的服务发现机制;
(b)在所述分布式服务目录管理模型的基础上,进行基于“发布-订阅”机制的云边、 边边之间服务目录同步;
(c)采用预测模型对边缘节点和特定单元的行为和路线进行动态预测,评估出边缘节 点和特定单元之间的最优映射关系,加速服务的动态切换;所述边缘节点提供服务,所述特 定单元使用服务;
(d)通过面向云边协同的透明代理进行云边或边边之间多个服务实例之间的访问。
优化地,步骤(a)中,在每个所述固定云或边缘节点自身上构建其所提供的每个服务 目录信息以构建全局的分布式服务目录,所述服务目录信息包括访问地址、位置、版本、协 议、存活时间、链路状态和链路是否有效。
进一步地,步骤(a)中,还对每个所述服务目录信息按基本信息、关键信息和详细信 息进行区分;将基本信息和关键信息构成服务摘要,根据网络条件实现动态更新;在网络带 宽允许时,更新详细信息,当网络带宽受限时,只更新摘要信息,并等待网络状况允许时再 更新详细信息。
优化地,步骤(b)中,在每个边缘节点上构建触发器,监听服务目录的增加、修改、删除等操作,生成日志记录;当另一边缘节点得到所述日志记录后,在其所保存的服务目录上,按照所接收到的日志记录中的变更记录进行操作即可实现服务目录的同步;所述日志记 录中记录了每个变更事件所涉及的服务名称、时间和操作等信息。
优化地,步骤(c)中,所述预测模型为马尔科夫模型,并进行以下操作:
(c1)对所述边缘节点服务覆盖的区域进行多尺度的划分,通过网格实现对其所处环境 的细粒度划分,从而基于实际路线的可达性特点对网络进行合并形成可能的运行轨迹区域, 并以此作为轨迹预测的数据基础;
(c2)根据任务规划、终端特点要素,基于历史真实轨迹数据计算对比在区域尺度运动 的边际熵和各阶条件熵;
(c3)采用哈希表实现多阶马尔科夫模型,在此基础上实现轨迹预测算法。
由于上述技术方案运用,本发明与现有技术相比具有下列优点:本发明动态复杂场景下 固定云和边缘节点之间高效服务访问的方法,通过在固定云和边缘节点分层结构的基础上构 建支持云边协同的分布式服务目录管理模型,通过基于“发布-订阅”机制的云边、边边之间 服务目录同步、加速服务的动态切换和透明代理访问,能够实现动态复杂场景下固定云和边 缘节点之间可靠、透明、高效的服务访问。
附图说明
图1为本发明分布式服务目录管理模型图;
图2为本发明元素数据模型图;
图3为本发明链路状态感知的报文分片大小自适应调整示意图;
图4为本发明不同优先级的消息队列图;
图5为本发明基于轨迹预测的服务快速切换图;
图6为本发明服务信息的缓存机制图;
图7为本发明事件丢失检测与恢复;
图8为本发明基于代理的服务透明路由。
具体实施方式
下面将结合附图对本发明优选实施方案进行详细说明。
本发明动态复杂场景下固定云和边缘节点之间高效服务访问的方法,它包括以下步骤:
(a)在固定云和边缘节点分层结构的基础上构建支持云边协同的分布式服务目录管理 模型;所述分布式服务目录管理模型采用基于分布式键值存储的服务目录存储机制和基于快 速服务查询列表的服务发现机制。
服务目录是实现云边协同服务的基础支撑能力之一,设置实现面向固定云与边缘节点、 边缘节点与边缘节点之间协同的分布式服务目录管理模型,在设计其分层结构的基础上,采 用分布式键值存储来提高可靠性和一致性,并设置高效的服务发现机制。
传统的服务目录系统大都采用集中式管理或是“单点集中+多点复制”的方式,导致会 出现性能瓶颈、单点失效等问题,并且扩展性和可靠性也不足。随着微服务等新型架构的兴 起,具有良好的可靠性和可扩展性的分布式服务目录逐渐成为主流的方式。在基于服务的机 动信息系统构建中,将一个原本独立的系统拆分成多个小型服务,这些小型服务都在各自独 立的进程中运行,服务之间通过基于HTTP的RESTful API进行通信协作。被拆分成的每一 个小型服务都围绕着系统中的某一项或一些耦合度较高的业务功能进行构建,并且每个服务 都维护着自身的数据存储、业务开发、自动化测试案例以及独立的部署机制。在机动场景下, 服务实例的网络位置都是动态变化的,而且因为扩展、失效和聚合等需求,服务实例会经常 动态改变。这给服务目录的管理模型以及相应的服务注册、服务发现、服务切换和透明访问 都带来了一定的挑战。
为此,借鉴当前主流的分布式服务目录管理思路,同时结合固定云和边缘节点之间的逻 辑关系,设置实现两层的分布式服务目录管模型。在每个固定云/边缘节点本身构建自己所提 供的每个服务目录信息(如访问地址、位置、版本、协议、存活时间、链路状态、链路状态 是否有效等)的基础上,构建全局的分布式服务目录,如图1所示。
针对单个服务目录内部:为了提高服务目录的可靠性和性能,采用多节点的目录服务。 在开始的时候,单个目录服务节点进入到初始化模式,这种模式允许它把自己选举为leader。 当leader被选举出来之后,别的目录服务节点就可以被加入到节点集中,从而保障了一致性 和安全性。最终,当最初的几台目录服务节点被加进来后,初始化模式可以被关闭。目录服 务节点加入服务节点集之后,它们会知道哪台机器是当前的leader。当一个RPC请求到达一 台非leader目录服务节点上时,该请求会被转发到leader上。如果这个请求是一个查询类型 (只读),leader会基于现在的状态机生成结果。如果这个请求是一个事物类型的请求(会修 改状态),leader会生成一个新的日志记录,并使用一致性协议把日志记录复制到多台机器上, 因此网络延迟对于性能的影响很大。基于这个原因,固定云、边缘云等数据中心会选出一个 独立的leader并且维护一份不相交的目录服务节点集。数据通过数据中心的方式做分割,每 个leader只对自己这个数据中心内的数据负责。当一个请求到达一个数据中心,这个请求会 被转发到正确的leader那里。
针对服务目录间的数据交换:为了减少同步所需的开销,实现可动态扩展的服务目录数 据结构,对每个服务的基本、关键的信息和详细信息进行区分,将其基本、关键信息等构成 服务摘要,根据网络条件实现动态更新。在网络带宽允许时,更新新增和修改服务的详细信 息,当网络带宽受限时,只更新摘要信息,并等待网络状况允许时再更新详细信息。同时, 为了进一步降低带宽需求,在服务目录的更新方式上,采用增量更新的方式,通过日志的方 式将每次发生的服务信息变更进行打包压缩并发送。
为了实现服务目录的可靠存储,实现基于分布式键值(Key-Value)存储的服务目录存储 机制。键值数据库是一种非关系型数据库,它使用键值元组来存储数据。键值数据库将数据 存储为键值对集合,其中键作为唯一标识符。键和值都可以是从简单对象到复杂复合对象的 任何内容。键值数据库是高度可分区的,并且允许以其他类型的数据库无法实现的规模进行 水平扩展。同时,结合高效的一致性协议,可实现分布式的可靠存储。Key-Value数据模型典 型的是采用哈希函数实现关键字到值的映射,查询时,基于关键字的哈希值直接定位到数据 所在的节点,实现快速查询,并支持大数据量和高并发查询。Key-Value键值对实际上是一 个服务名称到服务实例的(一对多)映射,即Key是标识每个服务的唯一关键字,Value是 该服务对应的一个或多个实例。为了提高访问效率,在内存中维护对Key的索引,而Value 信息则存储在磁盘中。同时,为了支撑服务的多个实例和多个版本,采用版本标识来记录服 务的多版本信息。为了提高可靠性,分布式键值存储通过使用一定的一致性协议(如Paxos、 Raft等)来实现数据在多个节点上一致性。在一致性协议的基础上,通过复制日志文件的方 式保证服务目录数据的一致性。当增加新的服务条目或进行更新时,首先存储到分布式键值 存储的主节点上,然后再通过一致性协议复制到分布式存储的所有成员中,以此维护各节点 状态的一致性,同时实现数据的可靠性。同时,由于采用了分布式的多副本存储,采用从副 本读取信息来提高服务目录访问的效率。
服务发现是指根据用户和应用的资源使用需求,通过服务发现算法和匹配算法获取搜索 满足业务目标的服务集合。传统的服务发现方法如基于OWL-S/WSMO的方法大多采取在服 务发现期间利用本体直接推理方式进行服务发现,这种方法通常因为耗时的本体推理而使得 服务发现的效率低下。为此,研究基于预推理和图存储技术建立快速服务查询列表的服务发 现方法。快速服务查询列表思想上主要借鉴了语义网络结构图的表示和存储方法。在此方法 中,用图的邻接表存储技术表示元素的基本数据模型(如图2所示)。邻接表是图的一种链式 存储结构,每个本体概念顶点对应为一个表头节点,而本体概念之间的不同语义关系用不同 类型的弧节点表示。基于快速服务查询列表的服务发现方法中,需要对服务请求的参数模型 进行语义封装,将相应参数映射到各自域模型的最佳本体概念。对相关的语义分析作了简化, 假设服务请求对应的参数为相应域模型的最佳本体匹配概念。根据服务匹配的要求,发现算 法首先进行服务请求模型的输出匹配,并对不同的服务匹配程度进行区分,同时定义从快速 服务查询列表选取服务模型满足服务请求输出的计算方法,从而确定满足请求输出的候选服 务集合列表。
匹配请求服务模型输出的候选服务集合主要依靠快速服务查询列表中请求输出参数所 对应的本体概念的数据向量列表进行集合的交并运算而成,且符合条件的候选服务集合需要 同时满足每个请求的输出。此外,对于不同的请求输出参数,不同的服务模型可能以不同的 匹配度进行匹配。服务发现过程可以从快速服务查询列表找到所有满足请求输出的各类服务 集合,还需要按照请求能提供的输入对选中的各项服务进行删除和匹配度顺序调整。如果请 求所提供的输入不能满足服务模型所要求的输入,则将其删除;然后重新按照请求输入参数 所确定的匹配度对服务模型进行最后的排序。相对基于直接推理的语义服务发现方法,基于 快速服务查询列表的服务发现方法具有以下好处:首先,服务发现的结果能取得传统语义服 务发现的质量;其次,发现的服务结果集能根据不同的匹配程度自动进行分类;最后,由于 在服务发现过程中避免采用本体推理,服务发现能给予业务快速响应。因此,含有丰富语义 信息且可同时避免大量推理计算的快速服务查询列表服务发现方法既保证了传统语义服务发 现方法所带来的高查全率和高查准率的好处,同时又实现了服务发现效率的提升。
(b)在所述分布式服务目录管理模型的基础上,进行基于“发布-订阅”机制的云边、 边边之间服务目录同步。由于机动环境(即特定环境或特定场景)下的动态性和复杂性,实 现云边、边边之间服务目录的同步是实现持续服务能力的前提。同时,机动环境下的窄带宽、 链路的断续性等物理条件使服务目录的实时同步变得不可行。为此,研究基于日志的服务目 录同步机制,首先设置基于日志的增量信息构建,然后面向机动环境下网络状况,从链路状 态感知的报文自适应传输、弱连接网络下的消息断点续传以及服务目录信息的传输保障等四 个方面实现增量信息的可靠传输。
在机动环境下,节点之间的链路存在较强的不稳定性,这给服务目录的同步带来了严峻 挑战,因此尽量减小服务目录同步所需的信息对实现同步效果十分重要。为此,研究实现基 于日志的服务目录增量信息构建,通过在每个节点上构建触发器,监听服务目录的增加、修 改、删除等操作,并生成日志记录。日志记录中记录了每个变更事件所涉及的服务名称、时 间和操作等信息。因此,当另一服务目录节点得到此日志记录后,可以在自己所保存的服务 目录上,按照所接收到的日志记录中的变更记录进行操作即可实现服务目录的同步。
在机动环境下,需要具备根据网络环境对日志增量信息进行自适应传输(如报文分片大 小)的能力,从而保证其能够在不同网络环境下提供可靠数据传输同时,提高数据传输速率 和传输质量。在发送增量信息之前,首先检测所要发送方向的网络服务带宽,然后在报文发 送过程中,实时地根据当前发送报文的反馈信息修正其所掌握的当前网络带宽、误码率等知 识,再根据事先建立或在线学习得到的报文传输策略选择模型来切换报文传输策略。具体通 过构建基于权重的长短期记忆模型和基于深度学习的报文传输策略选择两种方法实现上述目 标:前者通过长短期记忆判断当前网络状况,依据预定义的策略表切换传输策略;后者基于 项目组前期已经积累的大量较恶劣真实环境下各类报文传输数据和传输策略信息进行训练, 建立报文传输过程特征到传输策略的端到端模型。上述过程中网络状况感知算法的引入,可 以有效地了解网络环境,从而有针对性地对报文传输过程进行调优。
以报文传输策略之一的报文分片大小主动调整说明上述过程。在传统的数据传输服务 中,报文分片大小是固定的。但是,当网络带宽较小、误码率较高时,过大的报文分片会导 致反复重试、降低报文发送的成功率;而当网络带宽较大、误码率较低时,过小的报文分片 又会导致报头和报尾等开销过多、降低吞吐量。针对上述问题,引入报文分片大小在线调整 机制,根据前述实时网络状况感知的结果,有针对性的调整报文分片大小,从而在当前网络 状态下达到最佳性能。在此基础上,进一步引入分片大小在线学习模型:根据当前网络情况, 对不同的参数赋予不同的权重值,判断下一封报文合适的分片大小,并根据实际结果调整权 重值。通过切换分片模型,可使得信息传输达到最佳传输效果(如图3所示)。
机动环境下网络拓扑随时可能发生变化、信道随时可能会受到干扰,甚至正在进行数据 传输的连接随时可能会断开。这些异常均会导致信息发送异常或错误。为了保证在网络环境 出现异常情况下报文能够传递给接收方,需要解决消息断点续传问题。消息断点续传技术是 在消息传输时通过多级状态确认和跟踪来实现可靠传输:当某一个节点出现异常,消息发送 操作会终止,并记录下报文的当前完成位置(检查点),这样当传输恢复正常时,就能从此位 置开始继续传输,使报文最终能安全、完整到达对方服务。在断点续传的基础上,进一步引 入流水并发模型:在消息转发过程中,通过缓存、处理、转发多并发流水模型,建立多个线 程同时并发传输,优化报文传输过程、提高传输效率。
在机动环境下,网络中可能充斥着各类信息,这些信息将竞争网络资源。要保证服务目 录日志信息的传输时间约束、优先传递时敏信息,需要对消息和消息处理过程的优先级进行 赋值,在此基础上对消息传输过程和消息队列进行调度(如图4所示)。
在多跳路由的情况下,消息的传递将跨越多个节点。要避免消息优先级翻转,要保证每 一跳消息的传递都继承前一跳的消息优先级,并在消息中间节点的消息处理过程中根据实际 传输时间和其它参数进行适当补偿,实现端到端的实时属性。在本申请中,消息初始的优先 级由消息传输的时间约束映射而得,而中间节点消息处理过程的优先级拟由如下一些策略确 定,这些策略分别适用于不同的场景:
无优先级
消息处理函数没有优先级代表着该消息处理函数所要处理的消息没有任何时间相关的 服务质量的设置,因此可以认为该消息的优先级最低。
继承消息传输优先级
在当前消息传递完全按照预期在进行时(如时延与预期时延的偏差小于阈值),且消息 无需在节点上排队的情况下,消息处理函数将直接继承消息传输优先级的实时属性。
考虑消息传输延迟控制的优先级
在大并发环境消息往往需要在节点上进行排队,记录该消息进入队列的初始时间为T1, 消息开始处理的时间为T2,对该消息设定的消息传输延迟为T3,当前消息优先级、最大消息 优先级、最小消息优先级分别记为maxP、minP和currentP。本申请拟根据时间的变化消息处 理函数的优先级进行动态的调整,具体调整函数如下:
Figure RE-GDA0002476720580000071
基于时间过滤的优先级
该策略针对一类特殊的时敏信息:在一段时间内只要成功发送一条该类别的消息就能完 成这一发送任务。本申请拟对其进行以下处理:当消息在某一节点进入待处理队列时,如果 在T1~T1+T2这一段时间中,如果有同类消息进入队列,则直接将其丢弃。
(2)消息队列调度策略
本申请将对消息队列按优先级进行划分:(1)普通消息队列,即处理不带任何实时属性 的消息队列;(2)固定优先级的消息队列,即处理带优先级这一实时属性的消息队列;(3) 优先级动态变化的消息队列,即处理消息传输延迟控制、自动夭折和基于时间过滤的消息队 列。
对消息队列进行优先级的划分后,本申请拟将采用先进先出调度策略、按优先级调度和 时间轮转调度相结合的混合调度策略。具体实现方法如下:对于上述三个不同优先级的消息 队列,普通消息队列只有等固定优先级的消息队列和优先级动态变化的消息队列都为空时才 会被系统处理,且采用的是先进先出的调度策略。而当固定优先级的消息队列或是优先级动 态变化的消息队列不为空时,将采用按优先级调度和时间片轮转调度相结合的调度策略。本 项目提出的时间轮转调度指的是在固定优先级消息队列和动态变化的消息队列之间的时间轮 转,即系统在第一个时间片内处理固定优先级消息队列中的消息,采用按优先级调度的策略, 即优先级高的消息优先被处理。当该时间片快要结束时,优先级动态变化的消息队列会对队 列中所有的消息的优先级进行计算并按该计算结果对队列中消息进行排序。当到达第二个时 间片时,系统会按照先前计算的优先级结果对优先级动态变化的消息队列中的消息进行处理, 采用的是按优先级调度的策略。上述混合调度策略具有以下收益:(1)能够确保处理实时消 息优先执行;(2)能够很好的处理优先级动态变化的消息。因为处理消息传输延迟控制、自 动夭折和基于时间过滤的消息的优先级数值是随着时间不断变化的,显然不能一直对其进行 优先级数值的计算并对其按优先级数值的大小进行排序,否则会导致系统性能的下降。按照 本项目提出的调度方法能够兼顾消息优先级的动态变化和系统的性能。
(c)采用预测模型对边缘节点和特定单元的行为和路线进行动态预测,评估出边缘节 点和特定单元之间的最优映射关系,加速服务的动态切换;所述边缘节点提供服务,所述特 定单元使用服务。面向特定场景下边缘节点和特定单元(如动作或执行单元)的高度机动性, 通过采用马尔可夫链等合适的预测模型,对边缘节点和特定单元的行为和路线进行动态预测, 评估出最优的边缘节点和特定单元之间的映射关系,从而加速服务的动态切换。同时,对于 某个时间段或某项任务期间服务的访问热度,通过采用一定的预取和缓存机制,实现“热点” 条目在内存中的预先缓存,进一步提高服务的切换速度。
由于特定环境的高机动性,提供服务边缘节点和使用服务的特定单元的移动是不可避免 的,因此向某个特定单元提供服务的边缘节点必然会发生切换。如果能够提前对特定单元将 要进入的边缘节点服务区域进行预测,可减少特定单元所需服务的搜索和定位,从而有效减 少服务切换时间和特定单元的等待时间,保障特定任务的持续进行。另一方面,相对于特定 单元机动的不确定性,边缘节点和特定单元的机动路线往往需要配合特定意图从而具有一定 的前瞻性,这也给实现基于预测的服务快速切换带来了一定的可行性。
借鉴当前基于位置服务(LBS)领域的研究成果,采用目前成熟的马尔可夫链等预测模 型,对边缘节点和特定单元的行为和路线进行动态预测,如图5所示,尽早确定为特定单元 提供服务的边缘节点。对轨迹的预测采用基于服务区域多尺度划分技术和基于马尔科夫模型 终端轨迹预测机制,操作如下:(c1)对边缘节点服务覆盖的区域进行多尺度的划分,通过网 格实现对作z环境的细粒度划分。在此基础上,基于实际路线的可达性特点对网络进行合并 形成可能的运行轨迹区域,以此作为轨迹预测的数据基础;(c2)运动模式分析:在作z环境 下,根据任务规划、终端特点等要素,基于历史真实轨迹数据计算对比在区域尺度运动的边 际熵和各阶条件熵;(c2)轨迹预测:区别于传统的转移概率矩阵,主要采用哈希表实现多阶 马尔科夫模型,并在此基础上设计并实现轨迹预测算法。
在机动环境中(即特定环境),由于特定任务的执行需求,经常会在某个时间段或某个 特定步骤执行期间密集访问某个/某些特定的服务。如在特定单元行进期间需要频繁访问位置 服务来确定和及时调整方向与速度。为此,可以对类似的“热点”服务条目进行缓存,从而 加快服务的访问速度。对于服务节点切换的场景而言,缓存同样也可以加快切换速度,如特 定单元行进到某个边缘节点覆盖边界时,下一个提供服务的边缘节点可以根据当前边缘节点 的服务情况及时将相关服务进行预取和缓存,从而提高服务的切换速度。
缓存技术广泛应用于计算机系统的软硬件设计,用于提升系统的整体响应性能、减少数 据访问访问。同时,缓存已成为各类分布式系统的重要组件,解决高并发、海量数据场景下 热点数据访问的性能问题。其基本原理是将数据读取到速度更快的存储或移动到离用户/应用 更近的位置。为了实现对“热点”服务条目的缓存,在服务节点上分配一定的内存空间用于 存储这些条目。当特定单元发出服务请求时,服务代理首先检查缓存中是否保留有当前服务 的信息,如果有的话,则直接返回,否则从分布式键值数据库中读取,并按照一定的缓存替 换算法进行缓存更新。在缓存系统中,缓存替换算法是影响其性能的一个重要因素。已有的 缓存策略可以分为基于访问间隔的替换策略、基于访问频率的替换策略、基于对象大小的替 换策略和基于目标函数的替换策略。每种替换策略都有自己的优势和适用场景。在特定环境 中,考虑到在窄带宽、间歇性中断网络条件下对特定单元的及时响应,简单的基于访问间隔 或访问频率的替换策略将导致连接状况不佳的特定单元由于访问能力受限无法得到缓存带来 的性能提升,这类节点更需要使用缓存来实现快速响应。为此,设计代价感知的缓存替换策 略,在进行缓存更新时考虑客户端对某个服务条目的访问代价(包括带宽、延迟等),将具有 较大代价的条目维持在代理服务的缓存中,当一定间隔内无客户端访问时再将其替换(如图6所示)。
为了实现特定单元对服务信息更新的及时感知,采用“发布-订阅”机制实现服务信息 的异步更新。“发布-订阅”机制是分布式系统中的一种消息传输方式,有利于高效的构建异 构、高度动态、松散结合的应用。在其架构中,发布者和订阅者通过网络实现互联,发布者 以事件的形式将信息发布到网络上,订阅者通过发出订阅请求表示对特定的事件感兴趣,从 而实现当事件发生时,可以及时、可靠地得到信息。借助当前成熟、高效的远程过程调度(RPC) 等消息传输机制,在每个特定单元根据要访问的服务,在相应的服务目录节点上进行注册。 当服务信息发生变动时,特定单元将会以异步消息的方式及时获知变更信息。
在特定环境下,节点之间的链路存在较强的不稳定性,这给服务信息的及时更新带来了 严峻挑战,可能会导致没有担负任务的特定单元由于网络状况良好可以实时的更新,而参与 任务的特定单元由于地形、负载等因素导致网络链路质量不稳定,从而无法及时得到最新的 服务目录数据,这恰恰可能会对特定任务的执行带来不利影响。当存在大量的边缘节点时, 这个问题将更为突出,因为发布者相对有限的资源将主要用于响应链路质量良好的订阅者。 针对这一潜在问题,研究链路感知的订阅准入控制,根据订阅者的网络状态及时调整订阅准 入和数据分发策略。对于网络状态良好、带宽充足的特定单元,结合同步间隔、成功率等因 素,适当降低其订阅优先级和消息接收频率,从而将更多资源用于保障链路状况较差的特定 单元的服务信息同步。特定环境下网络的不稳定性带来的事件丢失同样会对基于“发布-订阅” 机制的服务目录同步机制造成影响。为此,研究基于事件编号的时间丢失检测与恢复机制。 通过实现约定一个事件编号规则,订阅者每次收到更新事件时对事件编号进行检查,如果发 现事件编号不连续,则认为发生了事件丢失,从而构建请求消息要求重传(如图7所示)。
(d)通过面向云边协同的透明代理进行云边或边边之间多个服务实例之间的访问。特 定环境下特定单元访问的服务主要来自于边缘节点,但由于高机动性以及抗毁接替的需要, 会有其它边缘节点甚至是固定云中心来接替服务的提供,为此,需要实现服务的透明切换技 术。服务代理是实现服务透明访问的主要手段之一;在这种模式下,可使用专门的硬件或独 立运行的软件来代理所有的请求,同时客户端不直接请求服务端,而是向代理发送请求,代 理再将所有的请求按照某种策略如轮询等方式发送给服务端并将服务端的结果返回给客户 端。另外,代理模式通常具备健康检查能力,可以移除故障的服务端实例(如图8所示)。
代理在实现服务透明访问的同时也具有一定的不足,主要是由于在客户端和服务端增加 了一级,有一定的性能损耗和延迟增加,因此,需要借助代理的部署方式和调度策略来提高 性能。设计实现分布式目录服务代理,在固定云和每个边缘节点之间部署相互协作的代理, 实现本地服务与远程服务、本地多个服务实例之间的快速判别,从而支持云边服务的透明访 问和切换。基于代理的云边一体服务路由中主要包括三部分:特定单元、目录服务器代理和 服务目录节点,其中代理作为目录服务系统面向用户的入口,和特定单元直接通信,并接收 特定单元的请求。服务目录节点之间(包括固定云节点和边缘云节点)通过同步机制实现服 务信息的一致。当特定单元请求服务时,代理接收到请求后,使用广播方式向各服务目录节 点发送服务请求,各服务目录节点根据请求实现本地服务与远程服务、本地多个服务实例之 间的快速判别,并向代理回送请求结果。在面向服务的设计模式下,面对大量用户的高并发 服务请求,需要部署大量的分布式服务实体。服务实体可以根据并发访问的压力进行在线伸 缩,为了使得用户透明访问这些服务,需要借助服务透明访问技术。服务透明访问技术拟解 决的关键问题就是新服务请求到达时,如何选择合适的服务实例进行服务分发,因此研究并 实现基于策略的服务负载均衡技术。
负载均衡是将用户请求的负载在后端服务实体之间进行平衡,将负载分配给多个服务提 供者进行响应,是解决高性能、单点故障,扩展性的有效解决方案。通过定义常用的负载均 衡应用场景,以及提供模块化的负载均衡策略自定义机制,实现多场景下的服务按需均衡分 发功能。负载均衡策略如下:
(1)基于轮循均衡的服务分发策略。对接收到的每一次服务请求,轮流分配给微服务 实体,从1至N然后重新开始。此种均衡算法适合于服务器组中的所有服务器都有相同的软 硬件配置并且平均服务请求相对均衡的情况。在此基础上可以引入权重轮循均衡(Weighted Round Robin)策略,即根据服务器的不同处理能力,给每个服务器分配不同的权值,使其能 够接受相应权值数的服务请求,此种均衡算法能确保高性能的服务器得到更多的使用率,避 免低性能的服务器负载过重。
(2)基于一致性哈希的服务分发策略。对接收到相同参数的服务请求总是分发至到同 一服务提供者。当某一台提供者出现故障时,原本发往该服务提供者的请求,基于虚拟节点, 均分至其它服务提供者,不会引起服务实体负载剧烈变动。
(3)基于最小负载的服务分发策略。主要均衡各服务实体之间的负载压力,避免部分 节点高负载带来的潜在故障风险。在此分发策略下,代理节点维护所有服务实体的负载信息, 并按照负载的大小对服务实体进行排序。当代理节点接收到新的服务请求时,直接选择最小 的服务实体作为服务分发目标。这种策略的优点是每次可以快速的选择负载最小的服务实体 进行服务分发,但是在并发请求较大时,存在着服务按负载排序频繁的不足。
(4)基于时延敏感的服务分发策略。主要对时延敏感的服务提供快速响应请求。通过 引入服务实体的平均响应时间指标,在加权综合考虑时间以及服务负载的条件下,选择最优 的服务实体作为服务分发的目标。在该策略下,通过调整时延指标的权重提高针对实时服务 的响应能力。
(5)基于用户自定义策略的服务分发策略。通过模块化设计,为用户提供自定义策略 实现接口,用户可以根据具体使用场景,综合考虑服务负载、服务响应时间、服务连接数、 服务位置、服务内容等多目标约束下的负载均衡策略,有针对性的实现自定义的服务负载均 衡策略。
服务目录的在线更新主要通过采用灵活的服务在线更新机制,解决如下两类问题,一是 服务故障场景下,服务的无缝迁移替换;二是边缘场景下,服务节点的动态加入和退出带来 的服务注册和失效。具体来说服务目录的在线更新主要包括以下几个方面:
(1)服务注册。在边缘服务节点动态加入时,或者因为服务故障引起服务重新建立时, 需要将新服务及时动态更新至服务目录。服务通过代理实现服务注册,注册完成后服务和代 理之间保持长连接,通过周期性的心跳监测实时感知服务的健康状况。代理和服务目录之间 通过消息的订阅发布机制实现服务缓存的更新以及服务目录的动态更新。通过引入服务代理 不仅降低了大规模服务场景下的服务目录压力,而且通过服务代理的缓存机制提高了服务发 现的效率。
(2)服务注销。在边缘节点动态退出、或者因为服务故障导致服务意外下线的场景下, 服务目录的及时更新显得尤为重要。在此场景下,代理节点首先会感知到服务的异常状态, 通过更新自己维护的服务节点信息,将此消息及时推送给服务目录。服务目录接收到服务实 体下线的消息后,更新本地服务目录,并将此更新推送给相关的消息订阅者,及时实现服务 目录的动态更新。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够 了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质 所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种动态复杂场景下固定云和边缘节点之间高效服务访问的方法,其特征在于,它包括以下步骤:
(a)在固定云和边缘节点分层结构的基础上构建支持云边协同的分布式服务目录管理模型;所述分布式服务目录管理模型采用基于分布式键值存储的服务目录存储机制和基于快速服务查询列表的服务发现机制;
(b)在所述分布式服务目录管理模型的基础上,进行基于“发布-订阅”机制的云边、边边之间服务目录同步;
(c)采用预测模型对边缘节点和特定单元的行为和路线进行动态预测,评估出边缘节点和特定单元之间的最优映射关系,加速服务的动态切换;所述边缘节点提供服务,所述特定单元使用服务;
(d)通过面向云边协同的透明代理进行云边或边边之间多个服务实例之间的访问。
2.根据权利要求1所述动态复杂场景下固定云和边缘节点之间高效服务访问的方法,其特征在于:步骤(a)中,在每个所述固定云或边缘节点自身上构建其所提供的每个服务目录信息以构建全局的分布式服务目录,所述服务目录信息包括访问地址、位置、版本、协议、存活时间、链路状态和链路是否有效。
3.根据权利要求2所述动态复杂场景下固定云和边缘节点之间高效服务访问的方法,其特征在于:步骤(a)中,还对每个所述服务目录信息按基本信息、关键信息和详细信息进行区分;将基本信息和关键信息构成服务摘要,根据网络条件实现动态更新;在网络带宽允许时,更新详细信息,当网络带宽受限时,只更新摘要信息,并等待网络状况允许时再更新详细信息。
4.根据权利要求1所述动态复杂场景下固定云和边缘节点之间高效服务访问的方法,其特征在于:步骤(b)中,在每个边缘节点上构建触发器,监听服务目录的增加、修改、删除等操作,生成日志记录;当另一边缘节点得到所述日志记录后,在其所保存的服务目录上,按照所接收到的日志记录中的变更记录进行操作即可实现服务目录的同步;所述日志记录中记录了每个变更事件所涉及的服务名称、时间和操作等信息。
5.根据权利要求1所述动态复杂场景下固定云和边缘节点之间高效服务访问的方法,其特征在于,步骤(c)中,所述预测模型为马尔科夫模型,并进行以下操作:
(c1)对所述边缘节点服务覆盖的区域进行多尺度的划分,通过网格实现对其所处环境的细粒度划分,从而基于实际路线的可达性特点对网络进行合并形成可能的运行轨迹区域,并以此作为轨迹预测的数据基础;
(c2)根据任务规划、终端特点要素,基于历史真实轨迹数据计算对比在区域尺度运动的边际熵和各阶条件熵;
(c3)采用哈希表实现多阶马尔科夫模型,在此基础上实现轨迹预测算法。
CN202010234295.4A 2020-03-30 2020-03-30 动态复杂场景下固定云和边缘节点之间高效服务访问的方法 Active CN111464611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010234295.4A CN111464611B (zh) 2020-03-30 2020-03-30 动态复杂场景下固定云和边缘节点之间高效服务访问的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010234295.4A CN111464611B (zh) 2020-03-30 2020-03-30 动态复杂场景下固定云和边缘节点之间高效服务访问的方法

Publications (2)

Publication Number Publication Date
CN111464611A true CN111464611A (zh) 2020-07-28
CN111464611B CN111464611B (zh) 2022-07-12

Family

ID=71679809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010234295.4A Active CN111464611B (zh) 2020-03-30 2020-03-30 动态复杂场景下固定云和边缘节点之间高效服务访问的方法

Country Status (1)

Country Link
CN (1) CN111464611B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967753A (zh) * 2020-08-10 2020-11-20 成都信息工程大学 面向制造任务执行的云制造环境信息感知系统和方法
CN112073441A (zh) * 2020-11-10 2020-12-11 中国人民解放军国防科技大学 基于本体推理的网络空间关键地形生成方法
CN112073980A (zh) * 2020-08-27 2020-12-11 北京邮电大学 一种移动边缘计算的服务迁移方法和系统
CN112256439A (zh) * 2020-12-08 2021-01-22 富通云腾科技有限公司 一种基于云计算资源池的服务目录动态更新系统及方法
CN112650585A (zh) * 2020-12-24 2021-04-13 山东大学 一种新型边缘-云协同边缘计算平台、方法及存储介质
CN113422801A (zh) * 2021-05-13 2021-09-21 河南师范大学 边缘网络节点内容分配方法、系统、装置及计算机设备
CN115174595A (zh) * 2022-07-07 2022-10-11 哈尔滨理工大学 一种基于端边云系统边云资源协同优化方案
CN115529315A (zh) * 2022-09-28 2022-12-27 云南电网有限责任公司电力科学研究院 一种云边协同系统
CN115840632A (zh) * 2023-02-21 2023-03-24 铜牛能源科技(山东)有限公司 基于时序数据库的分布式调度管理方法及系统
CN115883486A (zh) * 2022-11-25 2023-03-31 天津大学 边缘云混部场景下的服务动态纵向扩缩与保障方法及系统
CN116996528A (zh) * 2023-09-28 2023-11-03 中国电子科技集团公司第二十八研究所 一种面向高机动环境的边缘云内数据同步方法
CN117955979A (zh) * 2024-03-27 2024-04-30 中国电子科技集团公司第五十四研究所 一种基于机动通信节点的云网融合边缘信息服务方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539744A (zh) * 2015-01-26 2015-04-22 中国科学技术大学 一种两阶段协作的媒体边缘云调度方法及装置
KR20180124419A (ko) * 2017-05-11 2018-11-21 에스케이텔레콤 주식회사 분산형 클라우드 기반 어플리케이션 실행 시스템, 이에 적용되는 장치 및 장치의 동작 방법
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539744A (zh) * 2015-01-26 2015-04-22 中国科学技术大学 一种两阶段协作的媒体边缘云调度方法及装置
KR20180124419A (ko) * 2017-05-11 2018-11-21 에스케이텔레콤 주식회사 분산형 클라우드 기반 어플리케이션 실행 시스템, 이에 적용되는 장치 및 장치의 동작 방법
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范斌,等: "基于边云协同计算的智能审计系统架构技术", 《现代计算机》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967753A (zh) * 2020-08-10 2020-11-20 成都信息工程大学 面向制造任务执行的云制造环境信息感知系统和方法
CN111967753B (zh) * 2020-08-10 2023-06-02 成都信息工程大学 面向制造任务执行的云制造环境信息感知系统和方法
CN112073980A (zh) * 2020-08-27 2020-12-11 北京邮电大学 一种移动边缘计算的服务迁移方法和系统
CN112073980B (zh) * 2020-08-27 2022-01-21 北京邮电大学 一种移动边缘计算的服务迁移方法和系统
CN112073441B (zh) * 2020-11-10 2021-01-29 中国人民解放军国防科技大学 基于本体推理的网络空间关键地形生成方法
CN112073441A (zh) * 2020-11-10 2020-12-11 中国人民解放军国防科技大学 基于本体推理的网络空间关键地形生成方法
CN112256439B (zh) * 2020-12-08 2021-04-20 富通云腾科技有限公司 一种基于云计算资源池的服务目录动态更新系统及方法
CN112256439A (zh) * 2020-12-08 2021-01-22 富通云腾科技有限公司 一种基于云计算资源池的服务目录动态更新系统及方法
CN112650585A (zh) * 2020-12-24 2021-04-13 山东大学 一种新型边缘-云协同边缘计算平台、方法及存储介质
CN113422801A (zh) * 2021-05-13 2021-09-21 河南师范大学 边缘网络节点内容分配方法、系统、装置及计算机设备
CN115174595A (zh) * 2022-07-07 2022-10-11 哈尔滨理工大学 一种基于端边云系统边云资源协同优化方案
CN115529315B (zh) * 2022-09-28 2024-04-09 云南电网有限责任公司电力科学研究院 一种云边协同系统
CN115529315A (zh) * 2022-09-28 2022-12-27 云南电网有限责任公司电力科学研究院 一种云边协同系统
CN115883486A (zh) * 2022-11-25 2023-03-31 天津大学 边缘云混部场景下的服务动态纵向扩缩与保障方法及系统
CN115883486B (zh) * 2022-11-25 2024-05-03 天津大学 边缘云混部场景下的服务动态纵向扩缩与保障方法及系统
CN115840632A (zh) * 2023-02-21 2023-03-24 铜牛能源科技(山东)有限公司 基于时序数据库的分布式调度管理方法及系统
CN116996528A (zh) * 2023-09-28 2023-11-03 中国电子科技集团公司第二十八研究所 一种面向高机动环境的边缘云内数据同步方法
CN117955979A (zh) * 2024-03-27 2024-04-30 中国电子科技集团公司第五十四研究所 一种基于机动通信节点的云网融合边缘信息服务方法

Also Published As

Publication number Publication date
CN111464611B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111464611B (zh) 动态复杂场景下固定云和边缘节点之间高效服务访问的方法
Jimenez et al. On the controller placement for designing a distributed SDN control layer
US7457835B2 (en) Movement of data in a distributed database system to a storage location closest to a center of activity for the data
Abadi et al. The design of the borealis stream processing engine.
US9330004B2 (en) Data processing method, cache node, collaboration controller, and system
KR101438982B1 (ko) 무리 지능을 사용하는 대규모 분산 시스템에서 정보 라우팅을 위해 프레임워크를 이용하는 시스템 및 방법
Shojafar et al. FLAPS: bandwidth and delay-efficient distributed data searching in Fog-supported P2P content delivery networks
US8095495B2 (en) Exchange of syncronization data and metadata
CN102244685A (zh) 一种支持负载均衡的分布式缓存动态伸缩方法及系统
Starks et al. Mobile distributed complex event processing—Ubi Sumus? Quo vadimus?
Ying et al. Distributed operator placement and data caching in large-scale sensor networks
Sourlas et al. Mobility support through caching in content-based publish/subscribe networks
US7529196B2 (en) Routing a service query in an overlay network
Duan et al. A novel load balancing scheme for mobile edge computing
Chang et al. Write-aware replica placement for cloud computing
CN112698941A (zh) 一种基于动态负载均衡的实时数据库查询方法
Wu Deep reinforcement learning based multi-layered traffic scheduling scheme in data center networks
WO2022096137A1 (en) Methods, system, and devices for managing consistency between replicas
Jia et al. Cluster-based content caching driven by popularity prediction
CN103577424A (zh) 分布式数据库视图的实现方法及系统
Acharya Structuring distributed algorithms and services for networks with mobile hosts
Epifânio Replica Placement in Edge Computing
US20240046356A1 (en) System and method for managing events in a queue of a distributed network
Rane et al. Overview of Data Replication Strategies in Various Mobile Environment
Thiruvenkatam et al. A Novel Replication Protocol Using Scalable Partition Prediction and Information Estimation Algorithm for Improving DCN Data Availability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant