CN107005428B - 虚拟网络功能实例的状态复制的系统和方法 - Google Patents

虚拟网络功能实例的状态复制的系统和方法 Download PDF

Info

Publication number
CN107005428B
CN107005428B CN201580052729.6A CN201580052729A CN107005428B CN 107005428 B CN107005428 B CN 107005428B CN 201580052729 A CN201580052729 A CN 201580052729A CN 107005428 B CN107005428 B CN 107005428B
Authority
CN
China
Prior art keywords
virtual network
network function
vnf
pool
interface element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580052729.6A
Other languages
English (en)
Other versions
CN107005428A (zh
Inventor
D.科勒
W.塔维尼尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immac Nonprofit Association
Universiteit Gent
Koninklijke KPN NV
Original Assignee
Immac Nonprofit Association
Universiteit Gent
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immac Nonprofit Association, Universiteit Gent, Koninklijke KPN NV filed Critical Immac Nonprofit Association
Publication of CN107005428A publication Critical patent/CN107005428A/zh
Application granted granted Critical
Publication of CN107005428B publication Critical patent/CN107005428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0659Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances

Abstract

公开了将由VNF池(508)与控制实体(520)之间的接口元件(IE,510)实施的方法。VNF池(508)包括多个VNF实例(502),其包括至少第一和第二实例。控制实体(520)被配置成控制池(508)的VNF实例(502)。所述方法使得IE(510)能够帮助在第二VNF实例上复制第一VNF实例的状态。所述方法包括步骤:获得从控制实体(520)提供给第一VNF实例(502)的控制消息,将获得的控制消息至少提供给第一VNF实例和第二VNF实例(502),并且当接口元件(510)具有被提供给第一VNF实例(502)的控制消息和被提供给第二VNF实例(502)的控制消息两者的显式或隐式确认时向控制实体(520)提供控制消息的确认。

Description

虚拟网络功能实例的状态复制的系统和方法
技术领域
本公开一般地涉及虚拟网络功能(VNF)领域。特别地,尽管不一定,本公开涉及用于将VNF池的一个VNF实例的状态在该池的至少一个其它VNF实例上复制的方法、系统以及计算机程序产品。
背景技术
在常规电信网络中,在网络运营商和数据中心的网络中的专用特殊化硬件服务器上部署诸如防火墙、负载平衡器和无线接入网(WAN)优化器之类的功能。这些功能是重要的,因为其充当所有网络服务的构建块。近期趋势是将这些功能虚拟化,即通过将该功能实现为例如作为软件在通用服务器上运行的虚拟网络功能实例(VNF实例)来将其从其专用硬件解耦。
将网络功能部署为VNF实例的一个挑战是可靠性,因为此类功能的软件实例的可靠性机制当前与针对X9可用性设计的更常规的硬件实施方式相比不再同一水平上。
尝试确保VNF实施方式的可靠性的一个当前方法通过采用提供相同功能的多个VNF实例的VNF池来遵循可靠服务器池(RSerPool)架构。图1提供了RSerPool架构100的示意图,而图2提供了遵循图1中所示的RSerPool架构的VNF池架构200的示意图。
如图1中所示,RSerPool架构100利用三个类型的组件:池元件(PE)102、池注册器104以及池用户106。PE 102表示池108中的服务器,池108在图1的示例中被示为包括PE 102的三个实例,池108内的PE 102的所有实例被配置成通过实现某个网络功能来提供相同的网络服务。PU 106表示使用池108的服务的客户端。PR 104表示管理组件,管理池108以及图1中未示出的可能其它池。下面更详细地描述了PR 104和PU 106的功能。池108、PR 104以及PU 106使用聚合服务器接入协议(ASAP)进行通信,如用这些元件之间的双箭头所示。
图2的NVF池架构200通过采用VNF池208来遵循图1的架构,VNF池208包括不同的VNF实例作为池元件202(在图2的示例中示为元件VNFi1、i2以及i3),其被VNF注册器204管理且被配置成服务VNF池208的用户206。用户206的示例将是服务功能链(SFC)控制系统,其是负责如由IETF SFC工作组定义的SFC控制框架中所定义的来协调SFC的控制实体。VNF示例202类似于PE 102,VNF注册器204类似于PR 104,SFC控制系统206类似于PU 106,并且VNF池208类似于上述池108。类似于RSerPool架构100的元件,VNF实例202、VNF注册器204和用户206可以使用ASAP进行通信。
VNF池的引导过程也是从RSerPool架构继承的并在图3中描绘。首先,在VNF的上下文中将是VNF注册器204的PR 104使用ASAP消息302向各种池元件宣告其本身。在VNF的上下文中将是VFN i 202(例如VNF i1)的特定池元件PE 102然后可以使用ASAP消息304选择PR104来注册到池108中,其在VNF的上下文中将是VNF池208。一旦注册被确认,则PR 204被称为PR-H(归属池注册器),在图3中示为PR-H 306。从此刻起,向PR 104注册的PE 102的状态被PR 104经由保持活动消息308和310主动地监视,交换速率通常为大约几秒。在VNF的上下文中例如可以是SFC控制系统206的PU 106然后可以使用例如消息312从PR 104请求PE实例(即VNF实例)的服务,该过程称为“句柄(handle)解析”。响应于请求312,PR 104然后可以选择对应于特定PE 102的句柄312以返回到PU 106,例如基于静态或自适应策略。
如果PR 104检测到活动的PE关断,例如通过检测保持活动过程中的超时,则其可以朝着PU 106更新该句柄。另一方面,如果PU 106是将检测活动PE的故障的第一个,则其可以通知PR 104并请求替换句柄。
RSerPool被设计成是应用无关的。因此,同一池内的PE之间的状态复制被视为是池用户的任务。然而,RSerPool提供其ASAP消息传送协议所支持的某些支持机制。一个此类机制涉及到cookies,其是特定状态消息(“转储”),其可以使用活动PE的服务被从活动PE发送到PU以便为PU提供活动PE的最近状态。在活动PE有故障时,此信息可以被PU发送到新选择的PE。如本文中使用的术语“活动PE”或“主要PE”以及同样地术语“活动VNF实例”和“主要VNF实例”指的是对于其而言已由PU或VNF池的用户最后使用或者当前使用句柄的PE或VNF实例。
图4A提供了具有依赖于cookie消息402在活动VNF实例(在图4A中示为“PE1”)与PU106之间的规则交换的同一池的不同VNF实例之间的状态复制的默认故障转移过程的示意图。在这种情况下,PU 106本身负责在新选择的PE(在图4A中示为“PE2”)中恢复状态。图4A的过程图示出向PR 104注册的池108的PE 102的状态(在图4A的实例中—PE1和PE2)被PR-H104经由分别地用于PE2和PE1的保持活动消息404和408主动地监视,消息404和408类似于图3中所示的消息308。类似于图3中所示的消息310,消息406图示出PE2确认PR-H的KEEP_ALIVE消息404,而超时事件410图示出主要PE、PE1未确认KEEP_ALIVE消息408。当那种情况发生时,PR 104通知PU 106关于替换PE、PE2的信息,如用消息414所示,即PR 104向PU 106提供对PE2的句柄412,从而使得PE2或者主要PE活动。在接收到此通知之后,PU 106可以将经由cookie消息402接收到的用于PE1的所有状态信息朝着替换备用PE2传输,如在图4A中用消息414所示。PE2然后可以在步骤416中将其状态更新成PE1的状态。换言之,然后在PE2上复制PE1的状态。
在图4A中标记为“FAILOVER TIME 418”的双箭头图示出所谓的故障转移时间,其指的是从检测到活动PE、PE1的故障到在替换PE、PE2上还原PE1的状态的时间段。当以SFC的形式使用链接VNF来供应网络服务时,数据平面中的VNF故障的快速处理(即短的故障转移时间)是至关重要的。特别地,电信网络服务常常需要5 个9的可靠性和大约50毫秒(ms)的故障转移时间。无命中数据平面切换因此是例如用于防火墙网络功能或切换功能的非常需要的特征。
在尝试如图4A中所述的通过依赖于cookie/状态转储消息的主动交换来实现用于VNF池内的VNF实例的故障转移机制时存在多个问题。一个问题是VNF池的用户(其可以是与PU相同的实体)必须负责从主要PE到替换PE的状态复制,这并不始终是期望的。另一问题是许多网络功能保持状态,这可以容易地要求存储器的超过数百个MB,导致用于在切换到替换PE时使用cookie消息414来拷贝涉及到的状态的大约几秒至几分钟的延迟。又另一问题是从主要PE向PU提供cookie消息402起初在主要PE与PU之间使用显著的带宽。
例如,一大类别的VNF实例被控制/管理实体控制,该控制/管理实体本身可以是VNF。此类实体在本文中被称为“控制实体”或“\控制VNF”。这样的VNF实例和相应控制实体的示例包括OpenFlow交换机以及其使用控制实体与VNF实例之间的OpenFlow协议与OpenFlow控制器的交互来传送要安装在VNF实例上的规则、由管理或自动深度分组检查(DPI)或入侵检测模块配置的防火墙或者由网络配置协议(NETCONF)或者简单网络管理协议(SNMP)配置的更一般类别的网络功能。在OpenFlow的上下文中,然后由从控制实体传送到VNF实例的规则表来确定这样的VNF实例的状态,该表称为“流表”。在图4B中图示出此上下文中的默认故障转移过程。图4B与图4A的类似之处在于其图示出针对图4A描述的所有元件402-418(因此针对图4B未重复其描述),但是其还图示出控制消息422及其确认在控制VNF 420与主要PE、PE1之间的交换。如图4B中所示,控制消息422包括被示为RULE 1至RULEn的规则,其在先前描述的cookie消息402中被周期性地从主要PE、PE1提供给PU 106。这种情况下的cookie消息402包括流表426,其包括存储OpenFlow规则或流条目的数据结构。在OpenFlow交换机中的规则的数目n可以容易地大约为10K流条目,其表示针对多于数百MB存储器的状态,这导致显著故障转移时间。
虽然以上的讨论主要集中在故障转移过程上,但是在需要在不存在主要VNF的故障的情况下将VNF池的一个VNF实例的状态复制到池的至少一个其它VNF实例上的情形中出现类似的问题。这样的情形包括:例如将由一个VNF实例所提供的服务切换到VNF池的另一VNF实例,例如当在接近过载情形或者在两个VNF实例之间的服务的负载共享的情况中后一VNF实例具有更多容量的时候。故障转移时间418在这样的情形中也被关注,其中在该上下文中的术语“故障转移时间”最好被重命名成“切接时间”,因为它表示尽管没有真实故障发生但是在VNF池的两个不同的VNF实例之间切换所花费的时间。
在本领域中所需要的是将VNF池的一个VNF实例的状态复制到VNF池的至少一个其它VNF实例上的技术,其可以改善或消除以上讨论的缺点中的至少一些。
发明内容
如本领域的技术人员将领会到,可以将本发明的各方面体现为计算机系统、方法或计算机程序产品。因此,本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或在本文中可以全部一般地称为“电路”、“模块”或“系统”的将软件和硬件方面组合的实施例的形式。可以将在本公开中描述的功能实现为由计算机的微处理器执行的算法。此外,本发明的各方面可以采取用具有在其上面体现(例如存储)的计算机可读程序代码的一个或多个计算机可读介质体现的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述各项的任何适当组合。计算机可读存储介质的更特定示例(非穷举列表)将包括以下各项:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式压缩磁盘只读存储器(CD-ROM)、光学存储装置、磁存储设备或前述各项的任何适当组合。在本文档的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储程序以供指令执行系统、设备或装置使用或与之相结合地使用。
计算机可读信号介质可以包括传播数据信号,其具有在其中体现的计算机可读程序代码,例如在基带中或者作为载波的一部分。这样的传播信号可以采取各种形式中的任何一个,包括但不限于电磁、光学或其任何适当组合。计算机可读信号介质可以是并非计算机可读存储介质且可以传送、传播或传输程序以供指令执行系统、设备或装置使用或者与之相结合地使用的任何计算机可读介质。
可以使用任何适当的介质来传送在计算机可读介质上体现的程序代码,所述介质包括但不限于无线、有线、光纤、线缆、RF等或前述各项的任何适当组合。可以用一个或多个编程语言的任何组合来编写用于执行用于本发明的各方面的操作的计算机程序代码,所述编程语言包括诸如Java(TM)、Smalltalk、C++等面向对象编程语言和常规过程编程语言,诸如“C”编程语言或类似编程语言。程序代码可完全在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上且部分地在远程计算机上或者完全在远程计算机或服务器上执行。在后一种情形中,可以将远程计算机通过任何类型的网络连接到用户的计算机,所述网络包括局域网(LAN)或广域网(WAN),或者可进行到外部计算机的连接(例如,使用因特网服务提供商通过因特网)。
下面参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将理解的是可以用计算机程序指令来实现流程图图示和/或框图中的每个方框以及流程图图示和/或框图中的方框的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器,特别是微处理器或中央处理单元(CPU),以产生机器,使得指令在经由计算机、其它可编程数据处理设备或其它装置的处理器执行时创建用于实现在流程图和 /或(多个)框图方框中指定的功能/动作的构件。
这些计算机程序指令还可以被存储在计算机可读介质中,其可以引导计算机、其它可编程数据处理设备或其它装置以特定方式运行,使得存储在计算机可读介质中的指令产生一件制品,其包括实现在流程图和/或(多个)框图方框中指定的功能/动作的指令。
还可以将计算机程序指令加载到计算机、其它可编程数据处理设备或其它装置上以促使在计算机、其它可编程设备或其它装置上执行一系列操作步骤以产生计算机实现过程,使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或(多个)框图方框中指定的功能/动作的过程。
图中的流程图和框图图示出根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能以及操作。在这方面,流程图或框图中的每个方框可以表示模块、代码的段或部分,其包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。还应注意到的是在某些替换实施方式中,在方框中所注解的功能可以不按照图中所注解的顺序发生。例如,连续地示出的两个方框实际上可以基本上同时地执行或者各方框有时被按照相反顺序执行,取决于涉及到的功能。还将注意到的是可以用执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现框图和/或流程图图示中的每个方框以及框图和/或流程图图示中的方框的组合。
为了减少或消除上文所讨论的问题中的至少某些,根据本发明的实施例的一个方面,公开了将由VNF池与控制实体之间的接口元件执行的计算机实现方法。VNF池包括多个VNF实例,其至少包括第一VNF实例(VNF i1)和第二VNF实例(VNF i2)。控制实体被配置成控制VNF池的VNF实例。所述方法使得接口元件能够帮助至少在第二VNF实例上复制第一VNF实例的状态。所述方法包括步骤:以某种方式获得(即接收、拦截、确定等)从控制实体提供给第一VNF实例的控制消息,将获得的控制消息至少提供给第一VNF实例和第二VNF实例,并且当接口元件具有被提供给第一VNF实例的控制消息和被提供给第二VNF实例的控制消息两者的显式或隐式确认时向控制实体提供控制消息的确认。
如本文中使用的术语“VNF实例”指的是在计算机服务器(例如通用服务器)上运行的软件,从而向能够在多个用户之间共享其功能的物理网络功能的切片或者软件与物理网络功能的该切片两者的组合提供应用程序、计算机服务器、系统、硬件组件或网络功能的虚拟化。
如本文中所使用的术语“控制消息”指的是由控制实体发送且预定到达VNF实例的任何控制或管理消息。
本发明的实施例是基于这样的认识,即提供在VNF池的VNF实例与控制VNF实例的控制实体之间的接口元件允许将由控制实体发送到VNF实例中的一个的控制消息复制到其它VNF实例。由于由VNF实例接收到的控制消息定义其状态,所以这样的复制允许将一个VNF实例的状态复制在池内的一个或多个其它VNF实例上。因而,如本文中所使用的,表述“将一个VNF实例的状态复制到另一VNF实例上”以及类似的表述是指接口元件帮助将第一VNF实例的状态复制到第二VNF实例上,这通过接口元件将预定到第一VNF实例的控制消息不仅提供到第一VNF实例而且还提供到第二VNF实例。
状态复制进而在如下不同场景中提供各种优势:所述不同场景可能需要使对新VNF实例的句柄被提供到VNF池的用户,这要么代替于要么附加于被提供到池用户的对主要VNF实例的句柄,其中如本文中所使用的,术语“句柄”是指网络组件(在该上下文中是VNF实例)的可寻址的标识符,诸如例如IP或MAC地址。
一个这样的场景涉及故障转移,其中,如本文中所使用的,术语“故障转移”是指在先前活动(即主要)应用、计算机服务器、系统、硬件组件、虚拟机或网络的故障或异常终止时切换到冗余或备用(即辅助)的应用、计算机服务器、系统、硬件组件、虚拟机或网络。通过如本文中所述的接口元件帮助的在VNF池的不同VNF实例之间的状态复制允许在主要VNF实例出故障的情况下的快速恢复,这是因为池用户仅仅需要接收对VNF池中的其它VNF实例之一的句柄。对于池用户而言不再有必要在新选择的VNF实例中还原状态,因为在故障之前是主要VNF实例的出故障的VNF实例的状态已经被复制到新选择的VNF实例上。
虽然在本文中主要参考故障转移而描述了本发明的实施例,但是本领域技术人员将认识到将一个VNF实例的状态复制到VNF池的至少一个其它VNF实例上还在不存在VNF实例中任何故障的情况下提供优势。例如,使一个VNF实例的状态复制到至少一个其它VNF实例允许快速将前一VNF实例提供的服务切换到后一VNF实例,例如当后一VNF实例在接近过载情形的情况中具有更多容量的时候或当在两个VNF实例之间共享服务的时候。
如本文中所述的接口元件的实现方式提供一种更快速、更透明并且资源高效的机制用于将VNF池的一个VNF实例的状态复制到VNF池的一个或多个其它VNF实例,这在其中这样的状态复制可能被期望、尤其是用于配置密集的VNF实例的所有场景中。
在实施例中,VNF实例可以包括两个或多个VNF实例、优选地三个或多个VNF实例。接口元件将控制消息至少提供到第一VNF实例和第二VNF实例的步骤于是可以包括将控制消息提供到VNF池的至少两个、但是优选地所有VNF实例。在这样的实施例中,所述方法还可以包括以下步骤:接口元件识别接口元件没有从其接收到对控制消息的确认的VNF池的所述两个或多个VNF实例中的VNF实例,并且将对所识别的VNF实例的指示提供到VNF池的VNF实例向其注册的VNF池注册器(PR-H)。提供具有三个或多个VNF实例的VNF池允许以下可能性:将第一VNF实例的状态复制到更大数量的不同VNF实例上,因而在有必要从第一VNF实例切换到某个其它VNF实例的情况中增加可靠性。接口元件没有接收到对被提供到VNF实例之一的控制消息的确认指示了第一VNF实例的状态可能没有被复制到这样的VNF实例上。识别这样的VNF实例并且与VNF池注册器共享该信息允许接口元件更新由VNF池注册器所考虑的VNF池(即更新哪些VNF实例将被认为“在池中”),使得在切换的情况中,VNF池注册器将不会提供对其上可能没有复制第一VNF实例的状态的VNF实例之一的句柄。
在实施例中,所述方法还可以包括以下步骤:接口元件在接口元件与控制实体、第一VNF实例和第二VNF实例中的每一个之间建立基础通信信道、优选TCP信道。如在本文中所使用的,术语“基础通信信道”用于描述在两个端点之间的双向物理(例如导线)介质或双向逻辑介质(其可以在物理介质上被复用),在其上消息可以在任一方向上被交换,例如通过使用二进制编码的数据报。通过基础通信信道的通信可能易受窃听(所谓的“中间人”攻击),其中攻击者将会与两个端点进行独立连接并且在它们之间中继消息而不告知端点。
这样的基础通信信道的建立允许接口元件获得由控制VNF发送到VNF实例之一的控制消息并且将所获得的控制消息提供到其它VNF实例。
在一个实施例中,可以通过使用如本领域中已知的三路握手、例如3路的类TCP握手来建立基础通信信道。这样的实施例提供以下优势:在经由通信介质互连的两个过程之间提供对八位字节的流的可靠、有序且经误差检查的递送。
在涉及建立基础信道的一个另外的实施例中,VNF池的VNF实例可以包括两个或多个VNF实例、优选三个或多个VNF实例,并且接口元件建立基础通信信道的步骤可以包括在接口元件以及VNF池的VNF实例中的至少两个、但是优选全部中的每一个之间建立基础通信信道。在这样的实施例中,所述方法还可以包括以下步骤:接口元件识别与其不能建立基础通信信道和/或与其的基础通信信道断开的VNF池的VNF实例,以及接口元件将所识别的VNF实例的指示提供到VNF池的VNF实例向其注册的VNF池注册器(PR-H)。这样的实施例提供以下优势:在基础通信信道的建立和/或操作中的任何故障可以用作对VNF池注册器的指示以从VNF池中排除一些VNF实例,因为第一VNF实例的状态可能没有被成功地复制到与其尚未建立基础通信信道和/或与其的基础通信信道断开的VNF实例上。以此方式,在从一个VNF实例切换到另一VNF实例或在两个VNF实例之间的负载共享有必要的情况中,VNF池注册器将不提供对第一VNF实例的状态可能由于(多个)基础通信信道中的误差而尚未被复制在其上的VNF实例之一的句柄。
在实施例中,所述方法还可以包括以下步骤:接口元件在接口元件与控制实体、第一VNF实例、和第二VNF实例(以及优选地池中的所有VNF实例)中每一个之间所建立的基础通信信道上建立安全通信信道。
如本文中所使用的,术语“安全通信信道”用于描述诸如上述基础通信信道之类的通信信道,其也是机密且可信的。机密信道提供耐抗窃听(即读取内容)但不一定耐抗篡改的传递数据方式。可信通道提供耐抗篡改但不一定耐抗窃听的传递数据方式。因而,安全通信信道耐抗窃听和篡改二者。
建立安全通信信道有利地允许使在接口元件和控制VNF之间交换的数据以及在接口元件和VNF实例之间交换的数据安全。以此方式,多点连接性在控制实体和单独VNF实例之间是可能的,其耐抗偷听和篡改。接口元件因而可以被视为受信的中间人以促进在VNF实例和控制实体之间的安全连接性。
如本文中所使用的,可适用于基础信道和安全信道二者的表述“接口元件建立通信信道”仅仅是指以下事实:接口元件参与信道建立并且不指示哪个实体发起了这样的建立。在一些实施例中,可以是接口实体发起了特定通信信道的建立,而在其它实施例中,某个其它实体可以那样做,例如本文中所述的控制实体。
在一个另外的实施例中,(多个)安全通信信道可以包括(多个)基于SSL/TLS的信道。该实施例有利地允许使用标准化的握手过程,诸如例如基于SSL的4阶段握手,以在接口元件与控制VNF和不同VNF实例中的每一个之间建立安全信道。
在另一个另外的实施例中,在接口元件与控制实体、第一VNF实例、和第二VNF实例中每一个之间的安全通信信道可以基本上并行地被建立。该实施例提供了以下优势:加速在控制实体和单独VNF池实例之间的、耐抗偷听和篡改的多点连接性的建立。在实施例中,VNF实例可以包括两个或多个VNF实例、优选地三个或多个VNF实例,并且接口元件建立安全通信信道的步骤可以包括在接口元件与VNF池的VNF实例中的至少两个、但是优选全部中每一个之间建立安全通信信道。在这样的实施例中,所述方法还可以包括以下步骤:接口元件识别与其不能建立安全通信信道和/或与其的安全通信信道断开的VNF池的VNF实例,以及将所识别的VNF实例的指示提供到VNF池的VNF实例向其注册的VNF池注册器。该实施例可以提供以下优势:在安全通信信道的建立和/或操作中的任何故障可以用作对VNF池注册器的指示以从VNF池中排除一些VNF实例(即与其不能成功建立安全通信信道和/或与其的安全通信信道断开的那些VNF实例)。提供这样的指示允许接口元件更新由VNF池注册器所考虑的VNF池,使得在从一个VNF实例切换到另一VNF实例或在两个VNF实例之间的负载共享有必要的情况中,VNF池注册器将不提供对可能由于安全通信信道不存在而尚未被检测到的VNF实例之一的句柄。
根据本发明的另一方面,提供了用于实施如本文中所述的方法步骤的数据处理系统和节点(即设备或网络实体,诸如例如服务提供商蜂窝式电信网络的3GPP P-GW、S-GW)。数据处理系统和节点中的每一个至少包括被配置成实施本文中所述方法步骤的处理器。这样的数据处理系统可以被包括在节点内。
根据本发明的又另一方面,公开了一种系统。所述系统可以包括VNF池,所述VNF池包括有至少包括第一VNF实例(VNF i1)和第二VNF实例(VNF i2)的多个VNF实例、被配置成控制VNF池的VNF实例的控制实体,以及通信地连接到VNF实例和控制实体的接口实体,所述接口实体至少包括被配置成实施本文中所述方法步骤的处理器。在实施例中,这样的系统还可以包括VNF池的VNF实例向其注册的VNF池注册器,所述VNF池注册器通信地连接到接口元件并且被配置成至少从接口元件接收由接口元件根据上述不同实施例所识别的VNF实例。在一个另外的实施例中,VNF池注册器还可以被配置成在第一VNF实例的故障或不恰当操作的情况中和/或在将使用在数据平面中的两个或多个VNF实例之间负载共享的情况中向池用户提供对第二VNF实例的句柄。池用户随后可以重配置网络以使用可替换的VNF实例。
本公开还可以涉及在计算机可读存储介质上实现的计算机程序以及存储此类计算程序的优选地非暂时的计算机可读存储介质。计算机程序可以包括软件代码部分,其被配置成当在计算机上运行时执行根据本公开中描述的任何方法的方法步骤。
将参考附图来进一步图解本公开,附图示意性地示出了根据本公开的实施例。将理解的是本公开不以任何方式局限于这些特定实施例。此外,本公开设想任何实施例和限制的组合。
附图说明
将通过参考附图中所示的示例性实施例来更详细地解释本发明的方面,在所述附图中:
图1提供了根据现有技术的RSerPool架构的示意性图示;
图2提供了遵循图1中所示RSerPool架构的VNF池架构的示意性图示;
图3提供了如从图1的RSerPool架构继承的并且可适用于图2的VNF池架构的VNF池的引导过程的示意性图示;
图4A提供了默认故障转移过程的示意性图示,所述默认故障转移过程具有在相同池的不同VNF实例之间的状态复制,其依赖于在活动的VNF实例与PU之间的cookie消息的规律交换;
图4B提供了当不同VNF实例的状态通过由控制实体提供到相应VNF实例的控制消息来被定义的时候图4A的默认故障转移过程的示意性图示;
图5提供了根据本发明的一个实施例的VNF池架构的示意性图示;
图6提供了根据本发明的一个实施例将第一VNF实例的状态复制到第二VNF实例上的示意性图示;
图7提供了根据本发明的一个实施例的用于设置单独基础通信信道的引导过程的示意性图示;
图8图示了在客户端和服务器过程之间的现有标准化的基于SSL的4阶段握手;
图9提供了根据本发明的一个实施例的设置单独安全通信信道的示意性图示;
图10提供了根据本发明的一个实施例的当不同VNF实例的状态通过由控制实体提供到相应VNF实例的控制消息来被定义的时候的故障转移过程的示意性图示;
图11提供了根据本发明的一个实施例的可以与如本文中所述的接口元件的功能性一起使用的数据平面架构的示意性图示;
图12提供了根据本发明的一个实施例的图示了可以用于实施本文中所述方法步骤的示例性数据处理系统的框图;以及
图13提供了可以用于实现本文中所述接口元件的功能性的电信系统的示意性图示。
具体实施方式
图5提供了根据本发明的一个实施例的VNF池架构500的示意性图示。类似于上述架构200,VNF池架构500利用三种类型的组件:1)多个池元件502,被示出为三个VNF实例502:VNF i1、VNF i2以及VNF i3,2)池注册器,示出为VNF注册器504,以及3)池用户,被示出为PU 506。VNF实例502中的每一个可以是服务器。VNF实例502全部执行相同的网络功能并且一起可以形成VNF池508。虽然池508在图5的示例中被示出为包括池元件的三个实例,但是本发明的实施例可适用于任何数目的池元件,等于或大于两个。PU 506是客户端,诸如例如SFC控制系统,其使用池508的服务。VNF注册器504被配置成执行池508的VNF实例502的注册和管理功能并且将对单独VNF实例502的句柄提供给PU 506,如当前在本领域中所进行的并且如以上针对与图1相关联的PR组件以及针对与图2相关联的VNF注册器组件所概述的。VNF池508的VNF实例502、VNF注册器504以及PU 506可以通过使用ASAP而与彼此通信,如利用这些元件之间的双箭头所示的。
架构500还图示了控制实体520,所述控制实体520是控制/管理实体,其自身可以是但不必是VNF,负责控制VNF实例502。如上所述,VNF实例502的状态通过从控制实体520传送到VNF实例502中每一个的控制消息而被确定。被实现为受以上提供的控制实体所控制的VNF实例的网络功能的示例在此处可适用并且因此不被重复。
架构500还通过包括接口元件510来被表征。接口元件510提供在VNF池508的VNF实例502与控制实体520之间的接口,因为它可以获得来自控制实体520的预定用于VNF实例502中之一的消息并且然后将所获得的控制消息提供给相应的VNF实例以及提供给VNF池508内的其它VNF实例。以此方式,接口元件510用作在控制实体520与单独VNF实例502之间的逻辑VNF接口。这在下述图6的消息传递图解中被图示。
虽然图5图示了从与其的配置或交互建立特定VNF实例的状态的单个控制实体520,但是可以不总是这种情况。换言之,不一定地,VNF实例的状态可以被缩减至与单个控制实体的交互。在这样的情况中,如本文中针对控制实体520所述的相同原理可以应用于VNF实例的所有其它接口,其中接口元件510将会再次用作逻辑VNF接口。
如图6中所示,首先,接口元件510获得控制消息602。考虑到在该时间,活动的VNF实例、即针对其VNF注册器504将句柄提供给PU 506的VNF实例是VNF i1并且消息602由控制实体520发送到VNF i1。接口元件510可以以许多不同的方式获得这样的控制消息,所述不同的方式的全部都在本发明的范围内。例如,接口元件510可以通过从物理点对点或多点介质(LAN)所接收的数据报而拦截消息602。在另一示例中,接口元件510可以从控制实体520(即控制实体520有意将针对VNF i1的消息602传输到接口元件510)接收消息602,因为在接口元件510和控制实体520之间存在所建立的基础通信信道,诸如TCP信道。接口元件510然后可以将控制消息602不仅提供到消息起初预定到的VNF i1,而且还提供到VNF池508的至少一个其它VNF实例。这在图6中利用接口元件510将消息602的拷贝、包括消息602的消息或指示接收和/或指示消息602的内容的消息分别作为消息604和608提供给第一和第二VNF实例而被示出。通过将预定用于一个VNF实例的消息602提供到那个和至少一个其它VNF实例,接口元件510使得能够将第一VNF实例的状态复制到第二VNF实例上。
在实施例中,接口元件510可以被配置成基本上并行地提供消息604和608。
在供应了消息604之后的某点处,接口元件从第一VNF实例获得第一VNF实例接收了消息604的确认。类似地,在供应了消息608之后的某点处,接口元件从第二VNF实例获得第二VNF实例接收了消息608的确认。来自第一和第二VNF实例的确认在图6中分别被图示为消息606和610。
一旦接口元件510具有了来自第一和第二VNF实例二者的、它们已经分别接收了消息604和608的确认,它就将确认消息612提供给控制实体520,因而指示了第一VNF实例的状态被复制到第二VNF实例上,因为它们已经成功地接收了相同的控制消息。由于接口元件510从控制实体520获得了控制消息并且将确认返回给控制实体,所以它充当用于控制实体520的逻辑VNF接口。
本领域技术人员将会认识到除了接收显式确认消息606和610之外,存在其他的方式来用于接口元件510具有这样的确认,其全部都在本发明的范围内。例如,与TCP一致地(即当在接口实体510与第一和第二VNF实例中的每一个之间存在基础TCP信道的时候),当CTRL_MSGs<n>604和608得到序列号(n)、而不是分别利用消息606和610来显式确认这些消息的时候,相应的VNF实例可以隐式地对接收进行确认,例如通过发送消息“我准备好接收CTRL_MSG<n+1>”。在另一示例中,如果控制消息602具有格式“设置规则X=<…>”,那么从每个VNF实例返回到接口元件510的消息606和610可以具有格式“报告:规则X=<…>”。在又另一示例中,当不存在被发送到接口元件510的显式或隐式确认消息时,接口元件可以被配置成通过如下而获得这样的确认:要求控制实体520针对经改变的状态而显式地轮询以验证它被改变。接口元件510然后将被涉及在虚拟化功能性中,这通过将对该轮询的响应合并到单个消息中并且在过程中获得期望的确认。其中接口元件510以一种方式从一个VNF实例获得确认而同时以另一方式从另一VNF实例获得确认的实施例也是可能的。
类似于以上的讨论,虽然确认612在图6中被图示为显式确认消息,但是在各种实施例中,接口元件510可以被配置成以其它格式提供这样的确认,要么显式要么隐式,例如以上述任何方式。
虽然图6图示了仅仅针对VNF池508的第一和第二VNF实例而复制状态,但是在其中存在执行相同网络功能的多个VNF实例的其它实施例中,可以为这些VNF实例中的更多并且优选地为其中的全部执行这样的复制。然后接口元件510可以被配置成向VNF注册器504提供指示,如第一VNF实例的状态已经被复制到哪些VNF实例,因而更新VNF注册器504认为哪些VNF实例在VNF池508内。优选地,有可能第一VNF实例的状态不能被复制到的VNF实例(例如由于接口元件510没有获得如图6中所述的确认)从VNF池508中被取出,因为VNF注册器将不会把对这样的VNF实例的句柄提供给PU 506。
通过自动复制如上所述的控制命令而将一个VNF实例的状态复制到至少一个其它VNF实例上确保这些VNF实例的状态从它们的配置改变的时刻起是同步的,而不主动需要在VNF实例和PU 506之间或在VNF实例它们自身之间发送消息。在这样的情况中,从对新VNF实例的句柄需要被提供到PU 506(要么代替于要么附加于所提供的旧句柄)的时刻起,VNF注册器504可以立即选择对注册器认为形成池508的VNF实例的句柄中的任一个,因为先前活动的VNF实例的状态已经被复制到这些VNF实例。这允许更快速的故障转移、切换或负载共享以及改善总体网络资源使用。
在接口元件510和控制实体520之间以及在接口元件510与参与状态复制的池中VNF实例中的每一个之间的可靠通信可以通过在这些组件之间建立基础通信信道、例如以TCP信道的形式而被实现。通过在基础通信信道上还建立安全通信信道、诸如例如SSL/TLS信道,可以保证在所涉及的实体之间交换数据中的安全性。因而,在实施例中,接口元件510可以被配置成建立与控制实体520的基础通信信道,以便确保可靠性,并且优选地还建立与控制实体520的安全通信信道以便确保安全性。类似地,接口元件510可以被配置成建立与将参与复制的单独VNF实例中的每一个的基础通信信道以及优选地安全通信信道,这通过设置与这些实例的单独通信会话。
图7提供了根据本发明的一个实施例的用于设置单独基础通信信道的引导过程的示意性图示。
信道的设置通常涉及类握手机制。图7图示了用于类TCP三路握手的过程的特定示例。在图7中所示的示例中,假定基础连接的建立由控制实体520通过将SYN消息702发送朝向它所控制的主要VNF实例而被发起。继续图6的示例,第一VNF实例VNF i1被视为是主要VNF实例。由于第一VNF实例所执行的网络功能冗余地通过VNF池508而被实现,所以SYN消息由接口元件510处理,所述接口元件510再次充当逻辑VNF接口。其次,接口元件510发起朝向VNF池508的至少第一和第二、但是优选地所有VNF实例502的镜像SYN消息。优选地,该过程并行地发生。朝向第一和第二VNF实例的经复制的SYN消息在图7中分别被示出为消息704和708。
响应于该SYN消息,相应的VNF实例利用SYN+ACK消息朝向接口实体510回应,在图7中针对第一和第二VNF实例分别被示出为消息706和710。当由接口元件510至少从第一和第二VNF实例、但是优选地通过VNF池508的所有VNF实例接收到SYN+ACK消息时,接口元件510将SYN+ACK消息712返回朝向控制实体520以进入握手的第二阶段。后者触发控制实体520利用最终ACK消息714而朝向接口元件510回应。在接口元件510发起与单独VNF实例建立基础通信信道的层级上,ACK现在从接口元件510被发送朝向单独的VNF实例,作为握手的最后阶段,在图7中针对第一和第二VNF实例分别被示出为消息716和718。
当SYN+ACK消息没有被接口元件510从至少第一和第二VNF实例接收到的时候或它没有从SYN消息被提供到的所有VNF实例被接收到的时候,接口元件510可以确定握手过程失败并且VNF保护机制不引导,并且优选地将对此的指示提供到控制实体520。建立基础通信信道的过程然后可以被重复。
在实施例中,接口元件510可以被配置成在基础通信信道的建立中的任何点处将故障的指示提供给VNF注册器504。进而,VNF注册器可以考虑更新它考虑哪些VNF实例502将被包括在VNF池508内。例如,如果没有从接口元件510将SYN消息复制到的VNF实例之一接收到SYN消息的确认,则接口元件可以识别这样的VNF实例并且将该信息提供给VNF注册器504,所述VNF注册器504然后将从VNF池508中排除该VNF实例。
一旦基础通信信道、诸如图7中所图示的TCP连接已经被设置,就可以在基础信道顶上、以更高层握手机制设置安全通信信道、诸如例如基于SSL/TLS的信道。再次,所提议的解决方案目的在于在VNF池508的至少两个、但是优选地所有VNF实例与接口元件510之间以及在接口元件510与控制实体520之间设置安全信道。这要求每个所涉及的节点、即VNF实例502、控制实体520以及接口元件510具有私有/公共密钥对以及对该公共密钥进行签名的证书。在各种实施例中,这些密钥可以是通过单独的VNF实例自生成和自签名的,或可以在与受信证书机构的交互中被接收。在该设置中,接口元件510的密钥对可以表示控制实体520与其对接的逻辑VNF的密钥对。
图8图示了在客户端和服务器之间的现有标准化的基于SSL的4阶段握手过程。如图8中所示,你好消息(阶段1)涉及会话ID、密钥交换算法、MAC算法、加密算法的协商,以及初始随机数的交换。接下来,服务器可以发送其证书以及密钥交换消息,并且它可以请求客户端发送证书。服务器然后用信号通知你好阶段的结束(阶段2)。随后,客户端发送证书(如果被请求的话)并且可以发送显式证书验证消息,并且客户端总是发送其密钥交换消息(阶段3)。最终,密码规范被改变并且握手完成(阶段4)。如本领域技术人员将会认识到的,密码规范可以指定大量数据加密算法,诸如例如DES,和散列算法,诸如例如MD5或SHA-1,并且可以定义密码属性,诸如散列大小。在图8中,虚线指示了消息是可选的,而实线指示了消息对于握手成功是强制性的。
图9提供了根据本发明的一个实施例的设置单独安全通信信道的示意性图示。特别地,图9图示了三个安全SSL信道的并行设置,其各自遵循如在图8中所描绘的4阶段握手机制。一个信道在控制实体520和接口元件510之间,其中图8的4阶段握手机制被指示为4路SSL握手902。另一信道在第一VNF实例VNF i1和接口元件510之间,其中图8的4阶段握手机制被指示为4路SSL握手906。第三信道在第二VNF实例VNF i2和接口元件510之间,其中图8的4阶段握手机制被指示为4路SSL握手904。
如以上针对基础通信信道所描述的,在实施例中,接口元件510可以被配置成在安全通信信道的建立中的任何点处将故障的指示提供给VNF注册器504。进而,VNF注册器可以考虑更新它考虑哪些VNF实例502将被包括在VNF池508内。
在优选的实施例中,与图6相关联地描述的复制机制仅仅在一旦设置如针对图7所述的基础通信信道以及优选地还有如针对图9所述的安全通信信道的引导过程已经成功被执行的情况下(即当控制信道被视为活动的时候)被执行。
不像现有技术,所提议的解决方案不需要在VNF实例502和PU 506之间用于状态复制的附加带宽,因为不需要cookie消息。另外,在所提议的解决方案中切换到或激活新VNF实例的结果得到的过程现在可以显著更快。这些优势可以通过往回返回到图4A而被看到,并且注意到其中在相同池的不同VNF实例之间的状态复制依赖于使用如上所述的架构500的故障转移过程将不需要步骤402、414和416。被提供用于图4A的故障转移过程的描述的其余部分将会可适用于架构500,其中PE 1被VNF i1取代,PE 2被VNF i2取代,PR-H 104被VNF注册器504取代,并且PU 106被PU 506取代,其图示和描述因此在此不被重复。从朝向PE1的连接性出故障的时间起,即从保持活动超时起,VNF注册器504可以利用朝向第二VNF实例VNF i2的句柄来通知PU 506。从该消息被PU 506接收的时刻起,故障转移可以被视为完成,因为VNF i1的状态作为上述过程的结果已经被连续地复制到VNF i2上。
图10提供了根据本发明的一个实施例的当不同VNF实例502的状态通过由控制实体520提供到相应VNF实例的控制消息来被定义的时候的默认故障转移过程的示意性图示。图10可比于图4B,所述图4B图示了根据现有技术的类似场景。因而,图10还图示了在被考虑的VNF实例502是OpenFlow-控制的网络功能、诸如例如OpenFlow防火墙的情况中的过程。如图10中利用消息1002所示出的,控制实体520、在该情况中是OpenFlow控制器将新的流条目(例如规则x)传送到活动的VNF实例,即针对其VNF注册器504将句柄提供给PU 506的VNF实例,在该示例中是VNF i1,并且接口元件510获得消息。接口元件510将该控制信息复制朝向单独的池元件,在该情况中OpenFlow交换机VNF i1和VNF i2,以如与图6相关联所述的方式、具有如与图7和9相关联地描述的在所涉及实体之间所建立的通信信道,其分别利用消息1008和1004而被示出。还如以上针对图6所描述的,接口元件510将确认发送朝向控制实体520,在图10中利用消息1012而被示出,这仅仅在接口元件510具有来自VNF实例VNF i1和VNF i2的确认(在图10中分别利用显式消息1010和1006而被示出)的时候。如上所述,该过程确保单独池元件VNF i1和VNF i2的状态总是同步的。同时,在VNF注册器504(PR-H)和VNF实例i1和i2之间的保持活动过程监控这些池元件是否仍恰当地操作,在图10中分别利用消息1018和1014而被示出。在主要池元件VNF i1故障时,对应的保持活动会话超时(在图10中利用步骤1020而被示出),并且VNF注册器504利用以对VNF i2的句柄的形式的新句柄来更新PU 506(例如SFC控制系统),在图10中利用步骤1022来被示出(假如在池元件VNF i2的情况下没有故障,在图10中利用步骤1016而被示出)。这使得PU 506能够重供应关于数据平面的网络/服务功能链配置。由于状态已经被连续地保持同步,所以一旦数据平面切换完成就完成了故障转移,其涉及接收到PU 506所更新的句柄以及在网络中执行数据平面切换。由于不再有任何附加状态需要被复制,所以恢复可以是即时的。
由于本发明的实施例可以用于使能在数据平面中的无命中切换,所以可以使用网络保护技术、即积极主动供应备份路径。在保护的情况中,网络控制系统必须在故障实际发生之前知道备份VNF实例的句柄,以便能够预供应朝向备份VNF的网络路径。可替换VNF实例的句柄可以被交换,例如通过从VNF注册器(PR-H)朝向PU的扩展句柄消息314,包括:i)活动句柄,以及ii)备份VNF的句柄。如本领域中已知的,当使用网络保护的时候,故障或/和警报指示信号从网络控制系统(其可以是PU 506自身,或直接被PU 506通知的网络控制系统)发送朝向分支点,所述分支点需要从故障被检测到并且从PR-H朝向进行控制的实例(在该情况中是PU 506,例如SFC控制系统)进行通知的时刻起在主要和备份分段/路径之间切换。
网络保护技术已知为递送在小于50ms中的网络恢复时间。图11提供了根据本发明的一个实施例的可以与如本文中所述的接口元件510的功能性一起使用的数据平面架构1100的示意性图示。
图11图示了VNF池508,其具有两个池元件,主要(第一)VNF实例VNF i1和备份(第二)VNF实例VNF i2。在第一和第二VNF 502与控制实体520之间的控制接口由如上所述的接口元件510来处置。在数据平面中,VNF i1和VNF i2中的每一个可以具有n个接口,在图11中被示出为接口if1到ifn,其经由互连网络而互连到n个服务附连点(SAP),在图11中示出为两个SAP—SAP1 1102到SAP2 1104。在主要和备份VNF实例的VNF接口和SAP之间的网络路径的部分可能向上重叠到分支点,所述分支点在图11中被示出为分支点b1到bn,其中b1是用于到第一接口的网络路径的分支点,直到bn,针对到第n接口的网络路径的分支点。PU 506的一个作用是要确保朝向备份VNF实例的网络路径将被供应,例如通过使用OpenFlow控制或一般化的/多协议标注切换(G/MPLS)信令协议。从指示PU 506使用可替换VNF实例的时间起,它可以采取行动以将SAP之间的网络路径改变成朝向备份VNF。在使用保护技术的情况下,这涉及指示分支点朝向备份分段而切换,即通过使用图11中所示的虚线互连而进行切换。
本文中所述的将由接口实体510执行的方法步骤可以通过任何种类的数据处理系统来被执行,所述数据处理系统至少包括被配置成实施这些方法步骤的处理器。这样的数据处理系统的示例在图12中被图示为数据处理系统1200,并且在哪里可以实现这样的数据处理系统的讨论在图12的描述之后被提供。
数据处理系统1200可以包括通过系统总线1210而耦合到存储器元件1204的至少一个处理器1202。因而,数据处理系统可以将程序代码存储在存储器元件1204内。此外,处理器1202可以执行经由系统总线1210而从存储器元件1204所访问的程序代码。在一个方面中,数据处理系统1200可以被实现为适合用于存储和/或执行程序代码的计算机。然而,应当领会到,系统1200可以以能够执行本说明书内所述的功能的、包括处理器和存储器的任何系统的形式来被实现。
存储器元件1204可以包括一个或多个物理存储器设备,诸如例如本地存储器1206和一个或多个大量存储设备1208。本地存储器可以是指一般在程序代码的实际执行期间所使用的随机存取存储器或(多个)其它非永久存储器设备。大量存储设备可以被实现为硬驱动器或其它永久数据存储设备。处理系统1200还可以包括一个或多个高速缓存存储器(未示出),所述高速缓存存储器提供至少某种程序代码的暂时存储以便减少在执行期间必须从大量存储设备1208检索程序代码的次数。
被描绘为输入设备1212和输出设备1214的输入/输出(I/O)设备可选地可以耦合到数据处理系统。输入设备的示例可以包括但不限于例如键盘、定点设备、诸如鼠标、等等。输出设备的示例可以包括但不限于例如监视器或显示器、扬声器等等。输入设备和/或输出设备可以耦合到数据处理系统,要么直接地要么通过居间I/O控制器。网络适配器1216也可以耦合到数据处理系统,使得它能够变成通过居间私有或公共网络而耦合到其它系统、计算机系统、远程网络设备、和/或远程存储设备。网络适配器可以特别地包括数据接收器1218以用于接收由所述系统、设备和/或网络对所述数据传送的数据以及数据传送器1220以用于将数据传送到所述系统、设备和/或网络。调制解调器、线缆调制解调器以及以太网卡是可以与数据处理系统1200一起使用的不同类型的网络适配器的示例。
存储器元件1204可以存储应用(未示出)。应当领会到,数据处理系统1200还可以执行操作系统(未示出),其可以促进应用的执行。以可执行程序代码的形式所实现的应用可以通过数据处理系统1200、例如通过处理器1202来被执行。响应于执行应用,数据处理系统1200可以被配置成执行本文中所述的一个或多个方法步骤。
本领域技术人员将认识到虽然元件1202-1220在图12中被示出为分离的元件,但是在其它实施例中,它们的功能性可以在较少数目的单独元件中被实现或者分布在大量组件上。
图13提供了电信系统1300的示意性图示。电信系统1300包括无线电接入网络1302(还在图13中被指示为E-UTRAN或RAN)以及核心网络1304,其包含各种元件或节点,如以下进一步详细描述的。
在图13的电信系统中,三代网络一起被示意性地描绘以用于简明的目的。架构和概览的更详细的描述可以在3GPP TS 23.002中被找到,所述3GPP TS 23.002通过引用以其全部被包括在本申请中。
图13的较低的分支表示GPRS或UMTS电信网络。
对于GSM/GPRS电信网络(即2G/2.5G电信网络),无线电接入网络1302包括多个基站(BSC和BTS的组合)以及一个或多个无线电网络控制器(RNC),其在图13中没有单独地示出。核心网络1304包括网关GPRS支持节点(GGSN)、服务GPRS支持节点(SGSN,用于GPRS)或移动切换中心(MSC,用于GSM,在图13中未示出),以及与认证中心(AuC)组合的归属位置寄存器(HLR)。HLR包含针对移动设备1306(有时被称为“用户装备”(UE)或用户设备)的订户信息并且AuC包含将用于认证和密钥协定(AKA)过程的共享的秘密密钥K。
对于UMTS无线电接入网络(UTRAN)(即3G电信网络),无线电接入网络1302还包括连接到多个NodeB的无线电网络控制器(RNC),也未示出。在核心网络1304中,GGSN和SGSN/MSC常规地连接到HLR/AuC,所述HLR/AuC包含移动设备1306的订户信息以及共享的秘密密钥K。
应当注意到,GSM和UMTS网络中的RNC功能性在形式上是RAN的部分。RNC功能性可以实现在一个或多个基站中。这样的配置已知为折叠的架构。
图13中的较高分支表示下一代电信网络,其通常被指示为长期演进(LTE)系统或演进的分组系统(EPS)(即4G电信网络)。在这样的网络中,被指示为E-UTRAN的无线电接入网络1302包括演进的NodeB(eNodeB或eNB),所述演进的NodeB为移动设备1306提供无线接入。核心网络1304包括PDN网关(P-GW)和服务网关(S-GW)。EPS的E-UTRAN经由分组网络连接到S-GW。S-GW连接到归属订户服务器HSS以及移动性管理实体MME以用于信令目的。HSS包括订阅简档贮存库SPR并且与认证中心(AuC)组合,所述认证中心(AuC)存储用于AKA过程的共享的秘密密钥K。EPS网络的一般架构的另外的信息可以在3GPP TS 23.401中找到。
对于GPRS、UMTS和LTE电信网络,核心网络1304一般通过使用例如网关(例如P-GW)而连接到另外的网络1308、例如因特网。
在各种实施例中,本文中所述的接口元件510可以被实现在硬件、软件、或硬件和软件的组合中。例如,在图13所图示的网络中,被配置成充当本文中所述的接口元件510的数据处理系统1200可以被实现为S-GW、P-GW或SGSN或核心网络的GGSN的一部分,或者如本文中所述的接口元件510可以被实现为在核心网络的这些元件中之一或组合上的软件功能。当然,除了通过3GGP、例如WiMAX所定义的之外的架构也可以使用在本公开内容的上下文内。
本发明的各种实施例可以被实现为程序产品以供计算机系统或处理器来使用,其中程序产品的(多个)程序定义实施例的功能(包括本文中所述的方法)。在一个实施例中,(多个)程序可以被包含在各种非暂时性计算机可读存储介质(一般被称为“存储装置”)上,其中如本文中所使用,表述“非暂时性计算机可读存储介质”包括所有计算机可读介质,其中唯一的例外是暂时性、传播信号。在另一实施例中,(多个)程序可以被包含在各种暂时性计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于:(i)在其上永久地存储了信息的非可写存储介质(例如计算机内的只读存储器设备、诸如通过CD-ROM驱动器可读的CD-ROM盘、ROM芯片或任何类型的固态非易失性半导体存储器);以及(ii)在其上存储了可更改信息的可写存储介质(例如闪速存储器、在盘驱动器内的软盘、或硬盘驱动器、或任何类型的固态随机存取半导体存储器)。计算机程序可以运行在本文中所述的处理器1202上。
将理解到,关于任何一个实施例所描述的任何特征可以单独地被使用、或与所描述的其它特征相组合地被使用,并且还可以与任何其它实施例或任何其它实施例的任何组合的一个或多个特征相组合地被使用。此外,本发明不限于上述实施例,上述实施例可以在随附权利要求的范围内变化。
本文中所使用的术语仅仅用于描述特定实施例的目的并且不意图限制本发明。如本文中所使用的,单数形式“一”、“一个”和“该”意图也包括复数形式,除非上下文清楚地另行指示。还将理解到,术语“包括”和/或“包括了”当在本说明书中被使用时指定所叙述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
在以下权利要求中的所有构件或步骤加功能元件的对应结构、材料、动作和等同物意图包括用于与如特别要求保护的其它所要求保护的元件相组合地执行功能的任何结构、材料或动作。本发明的描述已经被呈现用于说明和描述的目的,但是不意图是穷举的或限于以所公开形式的本发明。对于本领域普通技术人员而言,在不偏离本发明的情况下,许多修改和变型将是明显的。实施例被选择和描述以便最好地解释本发明的原理和实践应用,并且使得本领域其他普通技术人员能够针对具有如适于所设想的特定使用的各种修改的各种实施例而理解本发明。

Claims (14)

1.一种由虚拟网络功能池(508)与控制实体(520)之间的接口元件(510)执行的方法,所述虚拟网络功能池包括多个虚拟网络功能实例,其至少包括第一虚拟网络功能实例和第二虚拟网络功能实例,所述控制实体(520)被配置成控制虚拟网络功能池的虚拟网络功能实例,以帮助至少在第二虚拟网络功能实例上复制第一虚拟网络功能实例的状态,所述方法包括步骤:
—接口元件获得从所述控制实体到第一虚拟网络功能实例的控制消息;
—所述接口元件至少向第一虚拟网络功能实例和第二虚拟网络功能实例提供控制消息或其衍生物;以及
—当所述接口元件具有提供给第一虚拟网络功能实例的控制消息或其衍生物的确认和提供给第二虚拟网络功能实例的控制消息或其衍生物的确认时,所述接口元件向控制实体提供控制消息的确认。
2.根据权利要求1所述的方法,其中,所述虚拟网络功能实例包括两个或更多虚拟网络功能实例,其中,所述接口元件至少向第一虚拟网络功能实例和第二虚拟网络功能实例提供控制消息的步骤包括向虚拟网络功能池的虚拟网络功能实例中的至少两个提供控制消息;以及其中,所述方法还包括步骤:
—所述接口元件识别虚拟网络功能池的虚拟网络功能实例,接口元件从该虚拟网络功能实例未接收到控制消息的确认;以及
—所述接口元件向虚拟网络功能池注册器(504)提供已识别虚拟网络功能实例的指示,所述虚拟网络功能池的所述虚拟网络功能实例向该虚拟网络功能池注册器(504)注册。
3.根据权利要求1-2之一所述的方法,还包括在所述接口元件与所述控制实体、所述第一虚拟网络功能实例以及所述第二虚拟网络功能实例中的每一个之间建立基础通信信道的步骤。
4.根据权利要求3所述的方法,其中,所述虚拟网络功能实例包括两个或更多虚拟网络功能实例,其中,所述接口元件建立基础通信信道的步骤包括在所述接口元件与所述虚拟网络功能池的所述虚拟网络功能实例中的至少两个的每一个之间建立基础通信信道,并且其中,所述方法还包括步骤:
—所述接口元件识别虚拟网络功能池的虚拟网络功能实例,与该虚拟网络功能实例不能建立基础通信信道和/或该基础通信信道断开;以及
—所述接口元件向虚拟网络功能池注册器(504)提供已识别虚拟网络功能实例的指示,所述虚拟网络功能池的所述虚拟网络功能实例向该虚拟网络功能池注册器(504)注册。
5.根据权利要求3所述的方法,还包括所述接口元件在已在所述接口元件与所述控制实体、所述第一虚拟网络功能实例以及所述第二虚拟网络功能实例中每一个之间建立的基础通信信道之上建立安全通信信道的步骤。
6.根据权利要求5所述的方法,其中,所述安全通信通道包括基于SSL/TLS的信道。
7.根据权利要求5所述的方法,其中,接口元件与控制实体、第一虚拟网络功能实例和第二虚拟网络功能实例中的每一个之间的安全通信信道是并行地建立的。
8.根据权利要求5所述的方法,其中,所述虚拟网络功能实例包括两个或更多虚拟网络功能实例,其中,所述接口元件建立安全通信信道的步骤包括在所述接口元件与所述虚拟网络功能池的所述虚拟网络功能实例中的至少两个的每一个之间建立安全通信信道,并且其中,所述方法还包括步骤:
—所述接口元件识别虚拟网络功能池的虚拟网络功能实例,与该虚拟网络功能实例不能建立安全通信信道和/或该安全通信信道断开;以及
—所述接口元件向虚拟网络功能池注册器提供已识别虚拟网络功能实例的指示,所述虚拟网络功能池的所述虚拟网络功能实例向该虚拟网络功能池注册器注册。
9.一种计算机可读非暂时存储介质,存储软件代码部分,其被配置成用于当在处理器上执行时执行根据权利要求1—8中的任一项所述的方法步骤。
10.一种数据处理系统(1200),包括被配置成实施根据权利要求1-8中的任一项所述的方法步骤的装置。
11.一种用于虚拟网络功能实例的状态复制的系统(500),包括:
—虚拟网络功能池(508),包括多个虚拟网络功能实例(502),其至少包括第一虚拟网络功能实例和第二虚拟网络功能实例;
—控制实体(520),其被配置成控制所述虚拟网络功能池的虚拟网络功能实例;以及
—接口元件(510),其被通信连接到所述虚拟网络功能实例中的每一个和所述控制实体,
其中,所述接口元件被配置成
—获得从所述控制实体到第一虚拟网络功能实例的控制消息;
—至少向第一虚拟网络功能实例和第二虚拟网络功能实例提供控制消息或其衍生物;以及
—当所述接口元件具有提供给第一虚拟网络功能实例的控制消息或其衍生物的确认和提供给第二虚拟网络功能实例的控制消息或其衍生物的确认时,向控制实体提供控制消息的确认。
12.根据权利要求11所述的系统,还包括:
—虚拟网络功能池注册器(504),所述虚拟网络功能池的所述虚拟网络功能实例向其注册,所述虚拟网络功能池注册器被通信连接到所述接口元件并被配置成根据权利要求2、3、4和8中的任一项而至少从所述接口元件接收由所述接口元件识别的虚拟网络功能实例。
13.根据权利要求12所述的系统,其中,所述虚拟网络功能池注册器进一步被配置成在从第一虚拟网络功能实例进行切换的情况下向池用户(506)提供对备用虚拟网络功能实例的句柄。
14.根据权利要求12所述的系统,其中,所述虚拟网络功能池注册器进一步被配置成在数据平面中的至少第一虚拟网络功能实例与第二虚拟网络功能实例之间的负载共享的情况下向池用户提供对第二虚拟网络功能实例的句柄。
CN201580052729.6A 2014-09-29 2015-09-28 虚拟网络功能实例的状态复制的系统和方法 Active CN107005428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14186821 2014-09-29
EP14186821.6 2014-09-29
PCT/EP2015/072201 WO2016050663A1 (en) 2014-09-29 2015-09-28 State replication of virtual network function instances

Publications (2)

Publication Number Publication Date
CN107005428A CN107005428A (zh) 2017-08-01
CN107005428B true CN107005428B (zh) 2020-08-14

Family

ID=51626428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052729.6A Active CN107005428B (zh) 2014-09-29 2015-09-28 虚拟网络功能实例的状态复制的系统和方法

Country Status (7)

Country Link
US (1) US10931742B2 (zh)
EP (1) EP3202086B1 (zh)
JP (1) JP6491745B2 (zh)
CN (1) CN107005428B (zh)
DK (1) DK3202086T3 (zh)
ES (1) ES2876311T3 (zh)
WO (1) WO2016050663A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606718B1 (en) * 2013-12-19 2020-03-31 Amdocs Development Limited System, method, and computer program for managing fault recovery in network function virtualization (Nfv) based networks
GB2531546B (en) 2014-10-21 2016-10-12 Ibm Collaborative maintenance of software programs
CN106330779B (zh) * 2015-06-23 2019-07-26 联想企业解决方案(新加坡)有限公司 服务器、物理交换机以及通信系统
EP3300298B1 (en) * 2015-06-30 2020-11-25 Huawei Technologies Co., Ltd. Method and apparatus for switching vnf
US10430240B2 (en) * 2015-10-13 2019-10-01 Palantir Technologies Inc. Fault-tolerant and highly-available configuration of distributed services
JP6735413B2 (ja) * 2016-08-18 2020-08-05 テレフオンアクチーボラゲット エルエム エリクソン(パブル) Nfvシステムのためのネットワーク・サービス設計及びデプロイメント・プロセス
US10469359B2 (en) * 2016-11-03 2019-11-05 Futurewei Technologies, Inc. Global resource orchestration system for network function virtualization
CN106533987B (zh) * 2016-11-15 2020-02-21 郑州云海信息技术有限公司 一种nfv加速资源与通用计算资源智能切换方法及系统
WO2018090386A1 (zh) 2016-11-21 2018-05-24 华为技术有限公司 一种nf组件异常的处理方法、设备及系统
US10117116B1 (en) 2017-04-27 2018-10-30 At&T Intellectual Property I, L.P. System and method supporting delivery of network accessible services to connected devices of a local environment
US10735275B2 (en) 2017-06-16 2020-08-04 Cisco Technology, Inc. Releasing and retaining resources for use in a NFV environment
CN109286494B (zh) * 2017-07-20 2020-10-23 华为技术有限公司 一种虚拟网络功能vnf的初始化凭据生成方法及设备
EP3701385A4 (en) * 2017-10-23 2021-06-23 Nokia Solutions and Networks Oy PROCEDURE AND SYSTEM FOR THE AUTOMATIC SELECTION OF VIRTUAL NETWORK FUNCTIONS (VNF) IN A COMMUNICATION NETWORK
US11528328B2 (en) 2017-12-15 2022-12-13 Nokia Technologies Oy Stateless network function support in the core network
US10432524B2 (en) 2017-12-20 2019-10-01 At&T Intellectual Property I, L.P. Parallelism for virtual network functions in service function chains
US10764118B1 (en) * 2018-01-05 2020-09-01 Open Invention Network Llc EMS resolution of split-brain virtual network function components
JP6973300B2 (ja) * 2018-06-04 2021-11-24 日本電信電話株式会社 サービスチェイン設計装置、サービスチェイン設計方法、および、サービスチェイン設計プログラム
CN110611926B (zh) * 2018-06-15 2021-06-01 华为技术有限公司 一种告警的方法及装置
CN110661641B (zh) * 2018-06-29 2021-07-16 华为技术有限公司 一种虚拟网络功能vnf部署方法及装置
US10819743B2 (en) * 2018-11-05 2020-10-27 Nanning Fugui Precision Industrial Co., Ltd. Anti-replay processing method and device utilizing the same
CN110109724A (zh) * 2019-04-29 2019-08-09 珠海豹好玩科技有限公司 一种显示方法、装置、终端及存储介质
US11323310B2 (en) * 2019-06-24 2022-05-03 Allot Ltd. Method, device, and system for providing hot reservation for in-line deployed network functions with multiple network interfaces
US10833981B1 (en) * 2019-06-24 2020-11-10 Allot Ltd. Method, device, and system for providing hot reservation for in-line deployed network functions with multiple network interfaces
JP7435743B2 (ja) 2020-03-24 2024-02-21 日本電信電話株式会社 ルータ装置、パケット転送方法及びパケット転送プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815006A (zh) * 2010-03-02 2010-08-25 中兴通讯股份有限公司 一种穿越运营商网络的链路汇聚控制方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934839A (zh) * 2004-06-29 2007-03-21 西门子公司 提供支持一项业务或一组业务的可靠的服务器功能的方法
US7660306B1 (en) * 2006-01-12 2010-02-09 Chelsio Communications, Inc. Virtualizing the operation of intelligent network interface circuitry
US7990241B2 (en) * 2008-01-22 2011-08-02 Thermo Fisher Scientific, Inc. Encapsulated switches employing mercury substitute and methods of manufacture thereof
JP5151807B2 (ja) * 2008-08-26 2013-02-27 富士通株式会社 通信装置及び保守管理メッセージ終端方法
US9198222B2 (en) * 2008-10-22 2015-11-24 International Business Machines Corporation Telecommunication network
CN103607349B (zh) * 2013-11-14 2017-02-22 华为技术有限公司 虚拟网络中确定路由的方法及运营商边缘设备
WO2015120878A1 (en) * 2014-02-11 2015-08-20 Nokia Solutions And Networks Oy Integrity control in service chaining
US20150381423A1 (en) * 2014-06-26 2015-12-31 Futurewei Technologies, Inc. System and Method for Virtual Network Function Policy Management

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815006A (zh) * 2010-03-02 2010-08-25 中兴通讯股份有限公司 一种穿越运营商网络的链路汇聚控制方法和系统

Also Published As

Publication number Publication date
EP3202086B1 (en) 2021-03-17
CN107005428A (zh) 2017-08-01
US10931742B2 (en) 2021-02-23
JP6491745B2 (ja) 2019-03-27
WO2016050663A1 (en) 2016-04-07
US20170331884A1 (en) 2017-11-16
JP2018501530A (ja) 2018-01-18
ES2876311T3 (es) 2021-11-12
EP3202086A1 (en) 2017-08-09
DK3202086T3 (da) 2021-06-07

Similar Documents

Publication Publication Date Title
CN107005428B (zh) 虚拟网络功能实例的状态复制的系统和方法
US9641415B2 (en) Method and system for seamless SCTP failover between SCTP servers running on different machines
US7801135B2 (en) Transport protocol connection synchronization
US20180359668A1 (en) Operation of a serving node in a network
Sidki et al. Fault tolerant mechanisms for SDN controllers
US10897509B2 (en) Dynamic detection of inactive virtual private network clients
WO2016082412A1 (zh) 实现数据可靠传输的方法、装置及计算机存储介质
JP5419907B2 (ja) ネットワークシステム、及び通信復旧方法
WO2015184739A1 (zh) 故障检测方法及装置
US20190306007A1 (en) Mechanism for rapid network failure detection for faster switch-over in server-to-server applications
US20180205659A1 (en) Processing method, apparatus, and system for a service flow processing policy
US20160080424A1 (en) Apparatus and method for reestablishing a security association used for communication between communication devices
EP3150020B1 (en) Re-establishment of a failed communication session
US10581669B2 (en) Restoring control-plane connectivity with a network management entity
WO2020057445A1 (zh) 一种通信系统、方法及装置
US20200120134A1 (en) Synchronizing link and event detection mechanisms with a secure session associated with the link
CN107104919B (zh) 防火墙设备、流控制传输协议sctp报文的处理方法
TWI740210B (zh) 終端設備管理方法及伺服器
US10382274B2 (en) System and method for wide area zero-configuration network auto configuration
WO2014205735A1 (zh) 一种通信方法和设备
WO2019056206A1 (en) MULTINUEUD SUPPORT FOR SCTP COMMUNICATIONS
WO2016206299A1 (zh) 一种会话保活方法及装置
WO2015109514A1 (zh) 一种数据包发送方法、移动路由器及网络设备
CN117858147A (zh) 一种容灾处理方法及相关设备
CN114079956A (zh) 业务保障方法、系统、存储介质和服务提供系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant