CN110178341A - 具有数据中心部署的电信网络 - Google Patents

具有数据中心部署的电信网络 Download PDF

Info

Publication number
CN110178341A
CN110178341A CN201780083415.1A CN201780083415A CN110178341A CN 110178341 A CN110178341 A CN 110178341A CN 201780083415 A CN201780083415 A CN 201780083415A CN 110178341 A CN110178341 A CN 110178341A
Authority
CN
China
Prior art keywords
node
message
data center
access point
control message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780083415.1A
Other languages
English (en)
Other versions
CN110178341B (zh
Inventor
B·拉杜诺维克
C·格坎特西迪斯
T·卡拉基亚尼斯
P·J·马兰迪
B·Q·阮
M·J·巴尔克威尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110178341A publication Critical patent/CN110178341A/zh
Application granted granted Critical
Publication of CN110178341B publication Critical patent/CN110178341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0659—Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1034—Reaction to server failures by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

在各种示例中，存在电信网络的电信网络接入点，在电信网络中，使用包括多个互连计算节点的数据中心来实现控制平面。接入点包括保持封装的控制消息的日志的存储器，控制消息是电信网络的控制协议的消息。接入点具有处理器，处理器被配置为对于要由接入点向数据中心中的节点发送的控制消息：生成消息标识符；将控制消息封装在数据中心的通信协议的分组中，将消息标识符添加到封装的控制消息的头部；向数据中心的节点发送封装的控制消息；并且将封装的控制消息和控制平面的节点的记录存储在日志中。

Description

具有数据中心部署的电信网络
背景技术
当今的蜂窝网络(诸如第四代、长期演进(4G/LTE)蜂窝网络等)依赖于复杂且昂贵的基础设施。该基础设施包括被配置为提供高可靠性并且由电信网络提供商提供的专用硬件。随着蜂窝网络的发展，电信网络提供商必须向基础设施中添加，并且如果由于设备故障而发生错误，则网络提供商负责替换网络节点和其他设备。
下面描述的实施例不限于解决已知电信网络的任何或所有缺点的实现。
发明内容
以下呈现本公开的简化概述以便向读者提供基本理解。本概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化的形式呈现本文中公开的一些概念，作为稍后呈现的更详细描述的序言。
在各种示例中，存在一种电信网络的电信网络接入点，在电信网络中，使用包括多个互连计算节点的数据中心来实现控制平面。接入点包括保持封装的控制消息的日志的存储器，控制消息是电信网络的控制协议的消息。接入点具有被配置为对于要由接入点向数据中心中的节点发送的控制消息：
生成消息标识符；
将控制消息封装在数据中心的通信协议的分组中，将消息标识符添加到封装的控制消息的头部；
向数据中心的节点发送封装的控制消息；以及
将封装的控制消息和控制平面的节点的记录存储在日志中。
在一些示例中，存在一种数据中心计算节点，其包括执行蜂窝电信网络的控制平面节点的处理器。该节点具有存储从接入点接收的最后的封装的控制消息的标识符的存储器。该节点具有代理，代理被配置为对于从接入点接收的封装的控制消息，检查封装的控制消息的标识符，并且如果标识符低于从接入点接收的最后的封装的控制消息的标识符，则忽略封装的控制消息；否则使用在处理器处执行的控制平面节点来处理控制消息。
在一些示例中，存在一种数据中心计算节点，其包括执行蜂窝电信网络的路由节点的处理器。计算节点具有存储路由表的本地版本的高速缓存，其中路由表保持在路由节点经由蜂窝电信网络的控制平面节点可访问的持久存储中。计算节点具有代理，代理被配置为根据路由表的本地版本来路由在计算节点处接收的数据分组，其中数据分组的目的地在路由表的本地版本中可获取；并且如果数据分组的目的地在路由表的本地版本中不可获取，则从能够访问持久存储的控制节点请求路由数据。
将能够更容易理解很多伴随特征，因为这些特征通过参考结合附图考虑的以下详细描述将变得更好理解。
附图说明
从以下根据附图阅读的详细描述中将能够更好地理解本说明书，其中：
图1是具有使用数据中心至少部分部署的核心网络的蜂窝电信网络的示意图；
图1A是图1的核心网络的控制平面的更详细的示意图；
图1B是图1的核心网络的数据平面的更详细的示意图；
图2是由蜂窝电信网络的接入点使用的控制消息传递协议的消息序列图，其中控制平面至少部分使用数据中心来实现；
图2a是图1的核心网络的控制节点处的操作方法的流程图；
图2b是图1的蜂窝电信网络的接入点处的操作方法的流程图；
图3是在实现控制节点的数据中心处的第一故障类型的情况下由接入点使用的消息传递协议的消息序列图；
图4是在实现控制节点的数据中心处的第二故障类型的情况下由接入点使用的消息传递协议的消息序列图；
图5是在实现控制节点的数据中心处的第三故障类型的情况下由接入点使用的消息传递协议的消息序列图；
图6是用于给出定时器功能的控制消息传递协议的一部分的消息序列图；
图7是在核心网络的数据平面处使用的消息传递协议的消息序列图，其中数据平面的至少一部分在数据中心处实现；
图8示出了蜂窝网络接入点的实施例在其中实现的示例性的基于计算的设备，；
图9示出了数据中心计算节点的实施例在其中实现的示例性的基于计算的设备。
在附图中，相同的附图标记用于表示相同的部件。
具体实施方式
以下结合附图提供的详细描述旨在作为本示例的描述，而非旨在表示构造或利用本示例的唯一形式。该描述阐述了示例的功能和用于构造和操作示例的操作序列。然而，相同或等同的功能和序列可以通过不同的示例来实现。
如上所述，蜂窝电信网络通常使用专用基础设施来部署，以便实现高可靠性和/或高服务质量。蜂窝电信网络包括复杂且昂贵的基础设施，该基础设施专用于蜂窝电信网络并且通常由网络提供商拥有、维护和管理。这给网络提供商带来了沉重的负担。此外，由现有电信基础设施提供商使用的集中式网络架构导致核心网络设备的高带宽要求以及用户与服务器之间的长通信路径，这浪费了网络资源并且增加了延迟。随着第四代长期演进(4GLTE)技术的出现，终端用户对大容量数据应用的需求正在增加。然而，由于其集中性，现有的核心电信基础设施不能满足这种需求。
本文中描述的技术旨在通过至少部分使用云基础设施来部署电信网络来减轻网络提供商的负担。云基础设施提供分散式计算、智能存储和按需弹性服务。云基础设施不一定专用于电信网络；也就是说，云基础设施可以在提供电信网络功能的同时用于其他任务。这提高了资源的有效使用，因为云基础设施用于很多任务而不是单个专用任务。网络提供商能够将复杂的基础设施的维护、管理、升级和配置的负担转移给云提供商。通过使用云基础设施部署该功能，减少了电信网络基础设施的复杂性，因为云基础设施更灵活(因为它可用于很多任务)，并且可以以高效的方式扩展、维护和管理。
使用云基础设施来部署核心蜂窝电信网络的全部或部分并不是直截了当的。蜂窝电信网络使用在假定所使用的基础设施高度可靠并且对故障具有鲁棒性的情况下设计的通信协议。但是，对于固有地不可靠的云基础设施而言，情况并非如此。此外，由蜂窝电信网络使用的通信协议与由典型的云基础设施使用的通信协议不兼容。由蜂窝电信网络使用的通信协议由标准组织很好地定义，以便支持由不同制造商提供的设备的互操作性。然而，很难在云数据中心中实现电信基础设施的部署，其中该云数据中心本质上不依赖于由电信网络标准组织采用的设计原则。由云数据中心使用的架构和协议通常是在假定不可靠硬件、节点之间的连接丢失、分组丢失以及根据需求随时间变化的服务质量的波动的情况下设计的。
本技术使用云基础设施来部署核心蜂窝电信网络的全部或一部分。这是通过仔细地设计在控制平面中使用的新的通信协议来实现的，该通信协议封装了标准电信网络的控制消息并且增加了在故障情况下支持恢复的特征。在一些示例中，在数据平面中使用新的通信协议，其中数据平面部署在云中，具有在云基础设施发生故障的情况下恢复路由表的设备。蜂窝电信网络的控制平面包括核心电信网络的节点处的功能，这些节点执行电信网络中的节点的行为的管理，诸如以控制分组如何在网络的各个部分中路由。蜂窝电信网络的数据平面包括核心电信网络的节点的功能，这些节点执行分组的路由。
图1是示出两个小区100、102的蜂窝电信网络的示意图，但实际上存在更多的小区。每个小区是接入点106周围的地理区域，在该区域内，移动电话或其他通信设备(称为用户设备(UE))能够与接入点通信。每个接入点能够与核心网络109通信，核心网络109路由消息并且提供控制功能，诸如以允许移动电话在蜂窝网络的小区之间的切换、服务质量管理、多代无线电接入技术之间的协调、安全性和认证等。
核心网络109可以被认为包括控制平面110和数据平面112。数据平面112处理核心网络109的节点之间的数据(包括消息内容)的路由，以便在诸如发送和接收用户设备107等各方之间或者在用户设备与通信网络节点之间传送数据。控制平面110处理控制消息的通信，这些控制消息用于控制核心网络109的节点和/或接入点106以支持如上所述的控制功能。
在本文中描述的各种示例中，控制平面110使用包括数据中心108的云基础设施来部署。数据中心包括使用网络互连的多个计算节点。数据中心包括在计算节点之间分配计算工作的一个或多个负载均衡器。数据中心固有地是不可靠的，因为预期核心网络的一个或多个计算节点和/或部分或接入网络在任何时间都会发生故障或被替换。在一些示例中，数据中心执行多于一种类型的服务，诸如用作电信网络数据平面并且为非电信相关任务提供云计算服务。
在本文中描述的各种示例中，数据平面112使用专用硬件114来部署，如在传统电信核心网络中那样。也就是说，控制平面110使用数据中心来部署，而数据平面112使用专用的复杂电信基础设施114来部署。
在本文中描述的其他示例中，数据平面112部署在接入点的代理104处。
在本文中描述的其他示例中，控制平面110和数据平面112使用数据中心108来部署。
各种混合部署是可能的。例如，数据平面112使用以下中的一个或多个的组合来部署：专用硬件114、接入点104处的功能和数据中心108计算节点。
图1A是图1的核心网络109的控制平面110的更详细的示意图。控制平面110包括负载均衡器116和多个互连的控制节点，诸如移动性管理实体(MME)118或其他控制节点。负载均衡器116连接到控制节点118。控制平面110还包括彼此连接并且连接到控制节点的网络的多个复制节点120。复制节点用于创建信息的持久存储，该信息用于在某些情况下从数据中心108处的故障中进行恢复。
一个或多个接入点106能够与负载均衡器116通信，使得接入点106形成用于访问控制平面110的无线电接入网络。每个接入点106包括代理104，代理104用于封装电信网络的控制消息，诸如由第三代合作伙伴项目(3GPP)规定的4G(第四代)长期演进(LTE)蜂窝网络的S1消息、或其他控制消息。封装以如下这样的方式进行，该方式使得封装的控制消息可以经由负载均衡器116在接入点106处的代理与数据中心108的控制平面节点之间的通信链路上发送。通信链路使用传输控制协议(TCP)或由数据中心使用的任何其他通信协议。由数据中心的负载均衡器使用的通信协议能够支持接入点与控制平面节点之间的链路的通信协议。
控制平面的控制节点118是诸如虚拟机或其他计算节点等数据中心108的计算节点，并且具有诸如移动性管理实体(MME)或其他控制节点等蜂窝电信网络的控制节点的功能。控制节点118中的个体控制节点具有代理，代理能够识别由接入点发送的封装的控制消息并且以如下这样的方式进行响应，该方式支持在数据中心108处发生故障的情况下恢复或平稳地发生故障。
复制节点120也是数据中心108的计算节点。尽管复制节点120在图1A中被示出为单独的实体，但是这些节点也可以分布在控制节点上。也就是说，数据中心108的单个虚拟机可以实现复制节点120和控制节点118两者。
在一些示例中，假定负载均衡器始终将从特定接入点接收的消息定向到相同的MME。例如，负载均衡器实现一致的散列方案。
图1B是图1的核心网络的数据平面的更详细的示意图。在这种情况下，数据平面使用云中的数据中心108来部署。数据平面包括至少一个负载均衡器116。图1B示出了两个负载均衡器116，但这不是必需的，因为可以使用单个负载均衡器116。负载均衡器连接到多个路由节点124，每个路由节点124部署在数据中心108的计算节点(诸如虚拟机)上。在示例中，路由节点124是4G LTE电信网络的集成服务和分组网关(SPGW)。然而，通过使用路由信息来选择适当路由，可以使用能够通过数据平面112将数据内容的分组转发到指定目的地的任何路由节点。每个路由节点具有路由表126的本地存储以及访问数据平面和/或控制平面中的持久路由存储128的能力。在一些示例中，持久路由存储128包括多个复制节点。注意，尽管图1B将持久路由存储128示出为在数据平面中，但是该存储可以在控制平面和/或数据平面中。
控制平面110连接到数据平面112。例如，控制平面110的一个或多个控制节点能够更新持久路由存储128，以便改变用于在数据平面112中路由分组的路径。这在图1B中通过连接到持久路由存储128的控制平面110来表示。在一些情况下，持久路由存储128与图1A的分布式存储120是一体的。在一些情况下，持久路由存储128使用远程字典服务器持久键值存储来实现。
因特网在图1B中示出为经由负载均衡器116连接到数据平面。以这种方式，UE 107能够使用部署在云数据中心中的电信网络从因特网访问数据。图1B中的因特网的示例并非旨在限制技术，因为也可以使用内联网或其他类型的基于分组的通信网络。
图2是由蜂窝电信网络的接入点使用的控制消息传递协议的消息序列图，其中控制平面至少部分使用数据中心来实现。消息序列图中的每条竖直线表示实体，并且竖直线之间的箭头表示在实体之间发送的消息。箭头的相对竖直位置表示消息的时间顺序。
图2包括以下实体：诸如智能电话或其他无线电通信设备等用户设备200、蜂窝电信无线电接入网络的enodeB 202或其他接入点、数据中心的负载均衡器204、实现控制节点的数据中心(VM1)的虚拟机206(诸如4G蜂窝电信网络的移动性管理实体)、在数据中心的计算、存储和协调节点处实现的复制节点208(诸如中心数据的第二虚拟机210(VM2)和数据中心的第三虚拟机(VM3))。数据中心的虚拟机如环214所示互连并且连接到负载均衡器204。复制节点208是数据中心处的多个复制节点之一，其中这些复制节点如环240所示互连。
在图2和图3至8中，为了清楚起见，未示出接入点202处的代理和每个MME处的代理。但是，所描述的消息传递协议使用这些代理来实现。
由于双箭头216所示的控制消息流，用户设备(UE)200和VM1 206处的MME已经彼此相关联。该关联可以通过负载均衡器204来实现，该负载均衡器204确保来自一个UE 200的消息到达相同的MME(直到该关联由于新的MME的故障或添加而改变)。作为该关联的结果，UE 200可以知道MME1的标识符MME1-ID，并且MME1知道UE的标识符UE-ID。在一些情况下，UE200实际上不知道与其一起工作的MME的身份；负载均衡器204将来自UE 200的分组转发到相同的MME，并且因此UE 200能够通过知道负载均衡器的ID 来操作。因此，MME-ID可以用于标识数据中心，并且在数据中心内，负载均衡器将分组分配给部署MME的个体节点。该关联通过UE向MME发送附加消息来实现的，MME由UE基于由MME向UE提供的加权因子来选择。附加消息包括UE的标识符。作为附加过程的一部分，MME向UE发送包括MME的标识符的消息。以类似的方式，由于双箭头218所示的控制消息流，UE 200已经与接入点202相关联。因此，UE200知道接入点的标识符eNB-ID，并且接入点知道UE的标识符UE-ID和MME1-ID。
假定接入点具有要发送给MME1的控制消息。例如，为了管理UE 200的移动性。在4G蜂窝电信网络中，这通过使用4G电信标准通信协议从接入点202向MME1发送S1控制消息来实现。但是，MME1部署在数据中心中的VM1处，并且数据中心无法接收S1控制消息。为了解决该问题，接入点202建立通过数据中心的负载均衡器204到MME之一的传输控制协议(TCP)通信信道。TCP通信信道仅是一个示例，而非旨在限制技术。接入点202能够通过能够传送基于分组的通信消息的负载均衡器204与MME建立任何双向通信信道。接入点将S1控制消息封装在TCP分组的有效载荷中，并且通过TCP信道将封装的控制消息222发送到负载均衡器。负载均衡器通过已经建立的TCP信道220将封装的控制消息转发到箭头224所示的数据中心的VM1处的MME1。
由于数据中心固有地是不可靠的，因此可以预期数据中心中将会发生故障。例如，VM1可能发生故障。为了使得电信网络能够从这样的故障中恢复，或者平稳地发生故障，接入点202创建它发送的封装的控制消息的日志。该日志用于使得接入点能够在数据中心处发生故障并且封装的控制消息未被确认的情况下重新发送封装的控制消息。数据中心具有内置的恢复机制，在VM发生故障的情况下，该恢复机制使得其他VM之一可以接管故障VM的角色。由于轮询机制或以其他方式，负载均衡器会知道任何故障VM。负载均衡器会知道接管故障VM角色的VM的身份，或者它自己决定将业务重定向到哪个VM。
在一些示例中，数据中心的复制节点240用于创建诸如MME1等MME的状态的持久存储。该持久存储用于支持从数据中心处的故障中恢复，诸如在VM1使用其MME功能来处理控制消息的操作期间的VM1的故障。但是，拥有复制节点240和创建持久存储不是必需的。在一些示例中，接入点处的日志用于在不使用复制节点240的情况下实现粗粒度恢复或平稳地发生故障。当复制节点240用于给出MME的状态的持久存储时，恢复是更细粒度的，如下面更详细描述的。
在使用复制节点240的情况下，MME1在接收到封装的控制消息224时，继续在复制节点240之一处创建锁定。这通过向复制节点240之一发送消息226来进行。锁定将存储器固定在相应的复制节点处，使得它以如下的方式存储MME1的当前状态，该方式使得除了MME1之外的任何实体都不能覆盖或更新存储器，直到锁定被释放。一旦成功创建了锁定，MME1就继续处理228来自封装的控制消息的有效载荷的控制消息。其通过在VM1处执行标准4G MME处理以使用标准4G MME处理来实现这一点。处理228的结果可以是生成和发送一个或多个新的S1控制消息。例如，S1控制消息将被发送到接入点202。为了实现这一点，VM1以与接入点相同的方式封装新的S1控制消息，并且将封装的新的S1控制消息发送给接入点202，如图2中的箭头230所示。
作为处理228的结果，MME1的状态改变。通过向复制节点208发送消息来在持久存储中更新232状态。一旦状态被更新，MME1就向复制节点发送消息234以释放锁定。
然后，MME1向接入点发送确认消息236以确认接收到封装的控制消息。
图2A是图2的MME1 206处的方法的流程图。如上所述，MME 206与UE 200相关联。MME1 206从使用虚拟机部署MME 206的数据中心的负载均衡器204接收封装的控制消息。MME1 206检查封装的控制消息的消息标识符以查看MME1 206是否已经接收到封装的控制消息。如果MME已经接收到封装的控制消息，则其忽略256在操作252处接收的消息。如果MME尚未接收到封装的控制消息，则其更新其已经接收的封装的控制消息的日志258。其在复制节点240处创建锁定260，如上面参考图2所述，其中复制节点是一起保持MME1的状态的持久存储的多个复制节点之一。MME1继续从封装中移除控制消息，并且使用4G或在数据中心中的VM1处执行的适用于控制消息的其他功能来处理262控制消息。结果，如上所述，MME1使用封装生成和发送264零个、一个或多个新的控制消息。在MME1处产生的任何状态改变都存储在持久存储中，并且然后MME1通过向复制节点发送消息来释放266锁定。MME1向接入点发送268确认消息以确认接收到在操作252处接收的封装的控制消息。
图2B是诸如图2的接入点202等接入点处的方法的流程图。如上所述，接入点变为与UE 200相关联270，并且如上所述，接入点也变为与MME1相关联272。
接入点经由负载均衡器与MME1建立274TCP(或其他合适的通信链路)。接入点为要发送的控制消息生成276消息标识符。它将控制消息封装278在适合于通过TCP或其他通信链路发送到MME1的消息中。这通过将控制消息放置在与负载均衡器的通信链路的消息传递协议中形成的新消息(诸如因特网协议消息)的有效载荷中来进行。接入点将信息添加到封装的控制消息的头部。添加的信息包括封装的控制消息的标识符，可选地包括接入点的标识符、控制消息被发送到的MME的标识符、以及可选地控制消息的类型。
接入点将封装的控制消息发送280到数据中心，并且在接入点处更新282日志。日志存储所发送的消息的副本，并且可选地更新最近发送的控制消息的消息ID的记录。
接入点等待并且检查284它是否从数据中心接收到关于已经接收到封装的控制消息的确认。如果在指定时间内没有接收到确认，则接入点重新发送286封装的控制消息。如果接收到确认，则接入点检查288确认消息的消息ID是否适当。例如，它检查消息ID是否低于接入点处的最近接收的消息的消息ID。如果消息ID不适当，则接入点忽略290确认。如果消息ID是适当的，则接入点通过递增最近接收的消息的ID来更新292日志。
现在描述各种示例，其中在数据中心处存在故障并且这些故障是不同类型的。在每种情况下，通过使用以下一个或多个来描述如何从故障中恢复或平稳地发生故障：接入点处的代理、MME处的代理、用于创建MME状态的持久存储的复制节点。
在图2和图3至6中，在接入点与数据中心的虚拟机之间建立TCP通信链路。在检测到故障的情况下，诸如VM的故障、分组的丢弃或其他类型的故障，重新建立TCP通信链路。
图3是类似于图2的消息序列图，其示出了在接收到封装的控制消息之后VM1处发生故障的情况。箭头216、218、220、222和224示出了与图2的对应编号的箭头中的相同的消息流。封装的控制消息经由消息224到达VM1。然后VM1发生故障300并且不能继续进行图2所示的操作，诸如创建锁定，处理控制消息，更新持久存储的状态，释放锁定以及发送确认消息。负载均衡器检测到302VM1的故障，例如，由于数据中心的负载均衡器与它在其之间均衡负载的VM之间的轮询机制。
接入点202在发送控制消息222的指定时间内没有接收到304确认消息。因此，假定在操作220处建立的TCP信道已经到期，它与VM 210建立306TCP信道。(注意，如上所述，可以使用其他类型的通信信道而不是TCP。)接入点202重新发送来自操作222的封装的控制消息308。不对来自操作222的封装的控制消息308进行改变，仅仅是重新发送它。这是可能的，因为负载均衡器知道支持MME1的VM1已经发生故障。来自操作222的封装的控制消息308被寻址到已经发生故障的MME1，并且负载均衡器识别出这一点并且将封装的控制消息310转发给VM2。因此，VM2接管MME1的角色。
图4是类似于图2的消息序列图，其用于在VM1创建锁定之后VM1发生故障的情况。消息216、218、220、222、224、226与图2中的相同。在复制节点208处创建锁定之后，在VM1处存在故障400。复制节点208处的锁定在指定时间之后到期402而没有与VM1通信。负载均衡器204使用轮询机制或以其他方式检测VM1的故障。
接入点202在发送封装的控制消息222的指定时间内没有接收到404确认消息。接入点与VM建立TCP或其他通信信道406，并且以其原始形式410重新发送408封装的控制消息222。负载均衡器204知道VM1已经发生故障并且将封装的控制消息410转发到VM2 210，VM2210因此接管VM1的前一角色。在另一示例中，并非VM2接管VM1的前一角色，而是VM1的前一功能由数据中心的一个或多个其他VM以非正式方式给出。例如，负载均衡器将控制消息310发送到VM2，VM2使用从复制节点208检索的相关状态信息来处理控制消息。为了最小化开销，将与MME1相关的控制消息发送到VM2，但这不是必需的，因为也可以使用数据的任何其他VM。
图5是类似于图2的消息序列图，其用于在VM1已经处理控制消息之后VM1发生故障的情况。图5类似于图2，并且直到更新持久存储232以反映MME1的新状态的消息流和处理与图2的相同。此时，VM1处发生故障。复制节点处的锁定在指定时间之后到期504而没有与VM1通信。负载均衡器使用轮询机制或以其他方式检测到502VM1的故障。VM2接管506由负载均衡器指示的VM1的角色。VM2能够从使用复制节点创建的持久存储中检索MME1的当前状态。因此，VM2向接入点发送确认消息508。
在各种示例中，接入点202处的代理被配置为给出定时器功能。定时器是要在指定持续时间之后发生并且要由控制平面节点之一触发的事件。由于控制平面节点部署在数据中心中并且预期会发生故障，因此本技术使得定时器能够在接入点代理处实现，如现在参考图6解释的。
VM1 206处的代理通过已经建立的TCP通信信道或任何其他合适的通信信道向接入点202发送定时器请求消息600。定时器请求消息600包括定时器标识符和超时值作为有效载荷。定时器请求消息的头部包括消息标识符、定时器请求消息600将被发送到的接入点的标识符、发送定时器请求消息的控制节点的标识符、以及类型值。类型值指示该消息是定时器请求消息。
消息标识符由VM1处的代理生成。
接入点接收消息600并且将消息600识别为来自类型值的定时器请求消息。
接入点将定时器602添加到接入点处的定时器列表。定时器列表是当前在接入点处正在等待的定时器的列表。例如，列表中的每个条目包括：定时器标识符、接入点标识符、控制节点标识符(MME1-ID)和超时值，该超时值是定时器的持续时间或定时器到期的时间。接入点202向VM1 206发送确认消息ACK以确认接收到定时器。
时间过去并且最终接入点处的定时器到期604。接入点然后将定时器到期消息606发送到负载均衡器，负载均衡器将定时器到期消息608转发到VM1 206处的MME1。当VM1处的代理时接收到定时器到期消息608时，与定时器相对应的定时事件被处理610。
然后，VM1 206处的MME向接入点发送删除消息612以删除定时器。删除消息包括定时器标识符。当接入点接收到删除消息612时，它删除具有适当的定时器标识符614的定时器。
在VM1处的MME已经发送定时器删除消息612之后，MME将不再响应于该定时器的定时器到期消息606。
定时器请求消息600、定时器到期消息606和定时器删除消息612以不同的组合来使用，以便实现不同的功能，诸如重置定时器。重置定时器通过以下方式来进行：首先删除定时器(使用删除定时器消息612)并且随后使用定时器请求消息600建立新的定时器。
在图6的示例中，eNB 202可能在极少数情况下发生故障。在这种情况下，部分接入网络发生故障。这种类型的故障表示eNB 202的UE不能发送和接收通信，并且因此接入网络的提供商负责修复接入网络。
因此，在图6的协议中，当MME向eNodeB发送TCP消息并且作为响应接收到ACK时，这表示定时器被安全地存储在eNodeB处。由于VM在发送TCP ACK之后但在提交之前可能会发生故障，因此反过来这并不成立，并且这已经如在本文档中在前面所解释的解决了。
在一些示例中，图6的过程被扩展，使得定时器请求消息600具有由VM1生成的消息标识符。eNB 202检查消息标识符并且拒绝重复。这可以确保执行相同作业的两个VM没有两次生成相同的定时器(因为数据中心假定一个VM发生故障但其没有发生故障)。
在一些示例中，数据中心用于部署蜂窝电信网络核心的控制平面的至少一部分和数据平面的至少一部分。数据平面包括路由节点124，路由节点124将分组通过核心网络路由到其目的地。在示例中，每个路由节点124部署在数据中心节点处，诸如虚拟机(VM)。这使得蜂窝电信网络提供商能够更好地管理基础设施并且更高效地使用该基础设施。但是，需要规划数据中心节点的故障，因为这些节点固有地是不可靠的。
分组如何被路由通过核心网络的管理影响数据平面节点之间的通信链路的负载均衡和带宽容量，从而影响UE处经历的服务质量。在路由节点124处接收的分组根据分组的头部中的目的地地址信息和路由表中的信息进行路由。路由表可以保持在分布式持久存储(参见图1B的128)或其他持久存储中，并且由控制平面更新(如由图1B的从控制平面110到持久路由存储128的箭头所示)。以这种方式，控制平面能够控制负载均衡和服务质量。
在本文中描述的各种示例中，个体路由节点124保持在分布式持久存储128中保持的路由表的本地高速缓存126，其中分布式持久存储包括多个互连节点，诸如虚拟机或其他计算实体。本地高速缓存126根据路由节点124与持久路由存储128之间的通信以特定间隔进行更新，并且因此是持久存储中的路由表的良好工作版本，但不保证始终是最新的副本。在一些示例中，持久路由存储128被保持在复制节点208处，复制节点208保持MME的持久状态。在这种情况下，实现MME的VM还实现核心电信网络的控制平面与数据平面之间的控制连接。以这种方式，数据平面的路由节点不需要执行分布式持久存储中保持的数据的任何更新。这种配置是有益的，因为它消除了由于部署在数据中心中的路由节点的故障而考虑恢复状态的需要。由于控制平面负责更新状态(包括路由表状态)，因此尽管数据中心部署的固有的可靠性，数据中心部署仍然能够很好地工作。这是因为，诸如参考图2至6描述的方法用于考虑固有的不可靠性。
为了考虑路由表的持久存储由控制平面而不是数据平面进行更新的事实(如在一些传统蜂窝电信核心网络中的情况)，使用诸如图7的方法。这使得路由节点能够使用持久路由表的本地高速缓存，即使这些本地高速缓存并不总是最新的。
图7是示出路由节点702的消息序列图，路由节点702在该示例中是具有4G蜂窝电信网络的SPGW(集成服务和分组网关)的功能的数据中心的虚拟机。路由节点具有用于个体UE-MME对的本地版本的路由表的多个高速缓存700。
图7的消息序列图还示出了另一路由节点704、诸如部署MME 706的VM等控制平面节点、以及作为一起形成路由表710的持久分布式存储的多个持久存储节点708之一的持久存储节点708。
当路由节点702诸如从负载均衡器或从另一路由节点接收到数据分组712时，它在分组的头部中查找数据分组的源地址和目的地地址。它从其本地存储中寻找适当的缓存路由表，并且查找目的地地址。如果存在目的地地址的条目，则路由节点702将数据分组转发716到路由表中列出的路由节点(或其他实体)。假定这是图7的示例中的路由节点704。
如果在适当的高速缓存的路由表中没有找到718目的地地址的条目，则路由节点702将路由请求消息720发送到持久存储节点708。持久存储节点做出路由节点702已经请求了路由数据的记录。持久存储节点708将所请求的路由数据发送回726路由节点702。路由节点702现在具有转发分组730所需要的数据，并且将分组发送到诸如节点704等另一路由节点。
如果持久存储节点708没有找到持久存储中可获取的所请求的路由的条目，则它向路由节点702发送回没有条目消息730。然后分组被丢弃736，因为路由节点不知道接下来将数据分组转发到哪里。
如果持久路由表发生变化，或者MME 706处的定时器738到期，则部署在VM的MME向路由节点702发送更新消息740。路由节点更新其路由表744的高速缓存，并且将确认消息742发送回MME 706。在高速缓存中保持路由表的SPGW VM的列表存储在持久存储中。因此，MME使用图7的请求739来获取该列表，并且接收应答而不是存储列表本身，因为它不可靠。
如果在时间段746期间没有对路由表的本地高速缓存的更新，则路由节点寻求更新其高速缓存748并且向MME 706发送更新请求750。
如果在控制平面中处理路由表状态的管理，则数据中心部署仍然需要解决用作数据平面路由节点的数据中心节点的固有的不可靠性。这通过使用负载均衡器来实现，该负载均衡器使用轮询机制或以其他方式检测数据中心节点是否发生故障。负载均衡器分配数据中心的另一节点以获取故障节点的前一角色。负载均衡器将被寻址到故障节点的数据分组转发到已经接管故障节点的角色的节点。例如，负载均衡器使用分发模式，从而始终将具有给定源地址和目的地地址的分组转发到特定路由节点。在示例中，分发模式被称为源IP(因特网协议)亲和性。
图8是用于实现本技术的蜂窝电信网络的接入点106的示意图。它包括由软件、硬件和固件的任何组合形成的代理122，代理122实现图2至6中的任何一个的方法。接入点具有一个或多个射频天线800以及连接到天线800的接收器802和发射器805，以用于使得射频信号能够被传输到UE和数据中心的节点以及从UE和数据中心的节点接收射频信号。模数转换器814将射频信号转换为数字形式，反之亦然。多路复用器808对分组进行多路复用或解多路复用以在接入点的单个通信信道中容纳若干信号。电源806向天线800和接入点电子器件提供电力。接入点电子器件还包括用于实现存储在存储器812中的指令的一个或多个处理器810以及用于驱动发射器804和接收器802的驱动器电子器件816。
图9示出了一些示例的示例性的基于计算的设备900的各种组件，这些组件被实现为任何形式的计算和/或电子设备，并且使用这些组件实现了部署蜂窝电信控制或数据平面的节点的数据中心节点的实施例。
基于计算的设备900包括一个或多个处理器912，处理器912是微处理器、控制器或用于处理计算机可执行指令以控制设备的操作以便实现蜂窝电信网络的核心的节点的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的情况下，处理器912包括用硬件(而不是软件或固件)实现图2至7中的任何一个的方法的一部分的一个或多个固定功能块(也称为加速器)。在基于计算的设备处提供包括管理程序910的平台软件，以使得一个或多个虚拟机902能够在基于计算的设备处执行。
计算机可执行指令使用由基于计算的设备900可访问的任何计算机可读介质来提供。计算机可读介质包括例如计算机存储介质(诸如存储器914)和通信介质。诸如存储器914等计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性的可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者用于存储用于由计算设备访问的信息的任何其他非传输介质。相反，通信介质在诸如载波或其他传输机制等调制数据信号中实现计算机可读指令、数据结构、程序模块等。如本文中定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应当被解释为传播信号本身。虽然计算机存储介质(存储器914)被示出为在基于计算的设备内，但是应当理解，在一些示例中，存储装置是远程分布或定位的并且经由网络或其他通信链路来访问(例如，使用网卡916或任何其他合适的通信接口)。例如，网卡916使得基于计算的设备能够连接到数据中心的网络。
作为本文中描述的其他示例的替代或补充，示例包括以下各项的任何组合：
一种电信网络的电信网络接入点，在电信网络中，使用包括多个互连计算节点的数据中心来实现控制平面，接入点包括：
存储器，保持封装的控制消息的日志，控制消息是电信网络的控制协议的消息；
处理器，被配置为对于要由接入点向数据中心中的节点发送的控制消息：
生成消息标识符；
将控制消息封装在数据中心的通信协议的分组中，将消息标识符添加到封装的控制消息的头部；
向数据中心的节点发送封装的控制消息；以及
将封装的控制消息和控制平面的节点的记录存储在日志中。
上述电信网络接入点，其中处理器被配置为建立与数据中心的节点的通信链路，其中通信链路与数据中心的通信协议兼容，并且处理器被配置为通过通信链路发送封装的控制消息。
上述电信网络接入点，其中数据中心的节点是负载均衡器，负载均衡器被配置为标识数据中心的故障节点并且向数据中心的相同的替代节点转发意图用于故障节点的消息。
上述电信网络接入点，其中处理器被配置为响应于从节点接收到确认而从日志中清除封装的控制消息，确认包括封装的控制消息的消息标识符。
上述电信网络接入点，其中处理器被配置为响应于在接收到确认之前的时间限制的到期，向节点重新发送封装的控制消息。
上述电信网络接入点，其中处理器被配置为使用与在首次发送封装的控制消息时在封装的控制消息中使用的相同的目的地细节来向节点重新发送封装的控制消息。
上述电信网络接入点，其中处理器被配置为如果确认包括低于或等于存储在节点的日志中的最后消息标识符的消息标识符，则忽略确认。
上述电信网络接入点，存储器存储一个或多个定时器的列表，每个定时器包括定时器标识符和到期时间；每个定时器从数据中心的计算节点接收。
上述电信网络接入点，其中处理器被配置为在到达定时器列表中的定时器的到期时间的情况下，向数据中心发送定时器到期消息。
一种数据中心计算节点，包括：
处理器，执行蜂窝电信网络的控制平面节点；
存储器，存储从接入点接收的最后的封装的控制消息的标识符；
代理，被配置为对于从接入点接收的封装的控制消息，检查封装的控制消息的标识符，并且如果标识符低于从接入点接收的最后的封装的控制消息的标识符，则忽略封装的控制消息；否则使用在处理器处执行的控制平面节点来处理控制消息。
上述数据中心计算节点，其中代理被配置为在由控制平面节点处理控制消息的情况下，在由控制平面节点处理控制消息之前，在控制平面节点的状态的持久存储上建立锁定。
上述数据中心计算节点，其中代理被配置为在释放锁定之前更新持久存储以反映控制平面节点的当前状态。
上述数据中心计算节点，其中代理被配置为在由控制平面节点处理控制消息之后，向接入点发送包括封装的控制消息的标识符的确认消息。
上述数据中心计算节点，其中代理被配置为在接入点处实现定时器过程，使得在数据中心计算节点发生故障的情况下，定时器过程独立于数据中心计算节点。
上述数据中心计算节点，其中代理被配置为通过向接入点发送定时器请求消息来在接入点处实现定时器过程，定时器请求消息包括定时器标识符和到期时间。
上述数据中心计算节点，被配置为从电信网络的路由节点接收请求，路由节点在数据中心处实现，请求是对于来自数据中心计算节点可访问的路由表的持久存储的路由数据的。
上述数据中心计算节点，被配置为更新持久存储处的路由表并且向在数据中心处实现的电信网络的一个或多个路由节点发送关于路由表的更新的信息。
一种数据中心计算节点，包括：
处理器，执行蜂窝电信网络的路由节点；
高速缓存，存储路由表的本地版本，其中路由表被保持在路由节点经由蜂窝电信网络的控制平面节点可访问的持久存储中；
代理，被配置为根据路由表的本地版本来路由在计算节点处接收的数据分组，其中数据分组的目的地在路由表的本地版本中可获取；并且如果数据分组的目的地在路由表的本地版本中不可获取，则从能够访问持久存储的控制节点请求路由数据。
上述数据中心计算节点，其中处理器被配置为向控制节点发送对路由表的本地版本的更新的请求。
上述数据中心计算节点，其中处理器被配置为在指定时间内没有从控制节点接收到更新的情况下发送请求。
一种电信网络的电信网络接入点处的方法，在电信网络中，使用包括多个互连计算节点的数据中心来实现控制平面，该方法包括：
存储封装的控制消息的日志，控制消息是电信网络的控制协议的消息；
对于要由接入点向数据中心中的节点发送的控制消息：
生成消息标识符；
将控制消息封装在数据中心的通信协议的分组中，将消息标识符添加到封装的控制消息的头部；
向数据中心的节点发送封装的控制消息；以及
将封装的控制消息和控制平面的节点的记录存储在日志中。
一种数据中心计算节点处的方法，包括：
执行蜂窝电信网络的控制平面节点；
存储从接入点接收的最后的封装的控制消息的标识符；
对于从接入点接收的封装的控制消息，检查封装的控制消息的标识符，并且如果标识符低于从接入点接收的最后的封装的控制消息的标识符，则忽略封装的控制消息；否则使用正在执行的控制平面节点来处理控制消息。
一种数据中心计算节点处的方法，包括：
执行蜂窝电信网络的路由节点；
高速缓存路由表的本地版本，其中路由表被保持在路由节点经由蜂窝电信网络的控制平面节点可访问的持久存储中；
根据路由表的本地版本来路由在计算节点处接收的数据分组，其中数据分组的目的地在路由表的本地版本中可获取；并且如果数据分组的目的地在路由表的本地版本中不可获取，则从能够访问持久存储的控制节点请求路由数据。
术语“计算机”或“基于计算的设备”在本文中用于指代具有处理能力使得其能够执行指令的任何设备。本领域技术人员将认识到，这样的处理能力被合并到很多不同的设备中，并且因此术语“计算机”和“基于计算的设备”各自包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏机、个人数字助理、可穿戴计算机和很多其他设备。
在一些示例中，本文中描述的方法通过有形存储介质上的机器可读形式的软件来执行，例如，以包括计算机程序代码装置的计算机程序的形式，计算机程序代码装置适于在程序在计算机上运行时执行本文中描述的一种或多种方法的所有操作，并且其中计算机程序可以在计算机可读介质上实施。软件适合于在并行处理器或串行处理器上执行，使得方法操作可以以任何合适的顺序或同时执行。
这承认软件是有价值的单独可交易的商品。旨在包含运行或控制“虚拟”或标准硬件的软件，以执行期望功能。还旨在包含“描述”或定义硬件配置的软件以执行期望功能，诸如用于设计硅芯片或用于配置通用可编程芯片的HDL(硬件描述语言)软件。
本领域技术人员将认识到，用于存储程序指令的存储设备可选地分布在网络上。例如，远程计算机能够存储被描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并且下载部分或全部软件以运行程序。替代地，本地计算机可以根据需要下载软件的片段，或者在本地终端处执行一些软件指令并且在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已知的常规技术，全部或一部分软件指令可以由诸如数字信号处理器(DSP)、可编程逻辑阵列等专用电路来执行。
如本领域技术人员很清楚的，可以扩展或改变本文中给出的任何范围或设备值而不丧失所寻求的效果。
尽管用结构特征和/或方法动作特定的语言描述了本主题，但是应理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。而是，上述具体特征和动作被公开作为实现权利要求的示例形式。
应当理解，上述益处和优点可以涉及一个实施例或可以涉及若干实施例。实施例不限于解决任何或所有所述问题的那些实施例，也不限于具有任何或所有所述益处和优点的那些实施例。将进一步理解，对“一个(an)”项目的引用是指那些项目中的一个或多个。
本文中描述的方法的操作可以以任何合适的顺序进行，或者在适当的情况下同时进行。另外，在不脱离本文中描述的主题的范围的情况下，可以从任何方法中删除各个框。上述任何示例的各方面可以与所描述的任何其他示例的各方面组合以形成另外的示例而不会丧失所寻求的效果。
术语“包括(comprising)”在本文中用于表示包括所标识的方法框或元素，但是这样的框或元素不包括排他列表，并且方法或装置可以包含附加的框或元素。
术语“子集”在本文中用于指代适当的子集，使得集合的子集并非包括集合的所有元素(即，子集中缺少集合的至少一个元素)。
应当理解，以上描述仅作为示例给出，并且本领域技术人员可以进行各种修改。以上说明书、示例和数据提供了示例性实施例的结构和使用的完整描述。尽管上面已经以一定程度的特殊性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的范围的情况下对所公开的实施例进行多种改变。

Claims (15)

1.一种电信网络的电信网络接入点，在所述电信网络中，控制平面使用包括多个互连计算节点的数据中心被实现，所述接入点包括：
存储器，保持封装的控制消息的日志，所述控制消息是所述电信网络的控制协议的消息；
处理器，被配置为对于要由所述接入点向所述数据中心中的节点发送的控制消息：
生成消息标识符；
将所述控制消息封装在所述数据中心的通信协议的分组中，将所述消息标识符添加到所述封装的控制消息的头部；
向所述数据中心的所述节点发送所述封装的控制消息；以及
将所述封装的控制消息和控制平面的节点的记录存储在所述日志中。
2.根据权利要求1所述的电信网络接入点，其中所述处理器被配置为建立与所述数据中心的所述节点的通信链路，其中所述通信链路与所述数据中心的所述通信协议兼容，并且所述处理器被配置为通过所述通信链路发送所述封装的控制消息。
3.根据权利要求2所述的电信网络接入点，其中所述数据中心的所述节点是负载均衡器，所述负载均衡器被配置为标识所述数据中心的故障节点并且向所述数据中心的相同的替代节点转发意图用于所述故障节点的消息。
4.根据前述权利要求中任一项所述的电信网络接入点，其中所述处理器被配置为响应于从所述节点接收到确认，从所述日志中清除所述封装的控制消息，所述确认包括所述封装的控制消息的所述消息标识符。
5.根据权利要求4所述的电信网络接入点，其中所述处理器被配置为响应于在接收到所述确认之前的时间限制的到期，向所述节点重新发送所述封装的控制消息。
6.根据权利要求4所述的电信网络接入点，其中所述处理器被配置为使用与在所述封装的控制消息被首次发送时，在所述封装的控制消息中使用的相同的目的地细节，向所述节点重新发送所述封装的控制消息。
7.根据权利要求4所述的电信网络接入点，其中所述处理器被配置为在所述确认包括低于或等于存储在针对所述节点的所述日志中的最后的消息标识符的消息标识符的情况下，忽略所述确认。
8.根据前述权利要求中任一项所述的电信网络接入点，所述存储器存储一个或多个定时器的列表，每个定时器包括定时器标识符和到期时间；每个定时器已经从所述数据中心的计算节点被接收。
9.根据权利要求8所述的电信网络接入点，其中所述处理器被配置为在到达所述定时器的列表中的定时器的到期时间的情况下，向所述数据中心发送定时器到期消息。
10.一种数据中心计算节点，包括：
处理器，执行蜂窝电信网络的控制平面节点；
存储器，存储从接入点接收的最后的封装的控制消息的标识符；
代理，被配置为对于从接入点接收的封装的控制消息，检查所述封装的控制消息的标识符，并且在所述标识符低于从所述接入点接收的所述最后的封装的控制消息的所述标识符的情况下，忽略所述封装的控制消息；否则使用在所述处理器处执行的所述控制平面节点来处理所述控制消息。
11.根据权利要求10所述的数据中心计算节点，其中所述代理被配置为在所述控制消息由所述控制平面节点处理的情况下，在所述控制消息由所述控制平面节点处理之前，在所述控制平面节点的状态的持久存储上建立锁定。
12.根据权利要求11所述的数据中心计算节点，其中所述代理被配置为在释放所述锁定之前更新所述持久存储以反映所述控制平面节点的当前状态。
13.根据权利要求10所述的数据中心计算节点，其中所述代理被配置为在由所述控制平面节点处理所述控制消息之后，向所述接入点发送包括所述封装的控制消息的所述标识符的确认消息。
14.根据权利要求10所述的数据中心计算节点，其中所述代理被配置为在所述接入点处实现定时器过程，使得在所述数据中心计算节点发生故障的情况下，所述定时器过程独立于所述数据中心计算节点。
15.根据权利要求14所述的数据中心计算节点，其中所述代理被配置为通过向所述接入点发送定时器请求消息，在所述接入点处实现定时器过程，所述定时器请求消息包括定时器标识符和到期时间。
CN201780083415.1A 2017-01-13 2017-12-19 具有数据中心部署的电信网络 Active CN110178341B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/406,348 US10374829B2 (en) 2017-01-13 2017-01-13 Telecommunications network with data centre deployment
US15/406,348 2017-01-13
PCT/US2017/067155 WO2018132223A1 (en) 2017-01-13 2017-12-19 Telecommunications network with data centre deployment

Publications (2)

Publication Number Publication Date
CN110178341A true CN110178341A (zh) 2019-08-27
CN110178341B CN110178341B (zh) 2021-12-03

Family

ID=61006338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083415.1A Active CN110178341B (zh) 2017-01-13 2017-12-19 具有数据中心部署的电信网络

Country Status (4)

Country Link
US (2) US10374829B2 (zh)
EP (1) EP3568952B1 (zh)
CN (1) CN110178341B (zh)
WO (1) WO2018132223A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016014728A1 (en) 2014-07-22 2016-01-28 Parallel Wireless, Inc. Signaling storm reduction from radio networks
US11159980B2 (en) 2014-07-22 2021-10-26 Parallel Wireless, Inc. Signaling storm reduction from radio networks
US10735996B2 (en) * 2017-01-23 2020-08-04 Parallel Wireless, Inc. Systems and methods for a scalable heterogeneous network orchestrator
US11650862B2 (en) 2018-07-31 2023-05-16 Parallel Wireless, Inc. Service bus for telecom infrastructure
US10624148B1 (en) * 2018-11-05 2020-04-14 Microsoft Tehnology Licensing, LLC Implementation of core cellular networking stack on cloud infrastructure
US20220317912A1 (en) * 2020-05-08 2022-10-06 Pure Storage, Inc. Non-Disruptively Moving A Storage Fleet Control Plane
US11159617B1 (en) * 2021-01-22 2021-10-26 Juniper Networks, Inc Apparatus, system, and method for synchronizing replicated objects across network nodes in highly scaled environments

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072608A1 (en) * 2010-09-21 2012-03-22 Edgecast Networks, Inc. Scalability and Redundancy Enhancements for Content Streaming
US20120303835A1 (en) * 2011-05-23 2012-11-29 Telefonaktiebolaget Lm Ericsson (Publ) Implementing EPC in a Cloud Computer with Openflow Data Plane
CN103067428A (zh) * 2011-10-21 2013-04-24 华为技术有限公司 基站、服务处理方法和云计算系统
CN104521196A (zh) * 2012-06-06 2015-04-15 瞻博网络公司 针对虚拟网络分组流的物理路径确定
US20150169396A1 (en) * 2013-12-12 2015-06-18 Talkatone, Inc. Redundant encoding
US20150195178A1 (en) * 2014-01-09 2015-07-09 Ciena Corporation Method for resource optimized network virtualization overlay transport in virtualized data center environments
CN105164975A (zh) * 2013-04-10 2015-12-16 华为技术有限公司 用于控制平面参考模型框架的系统和方法
CN105469581A (zh) * 2016-01-04 2016-04-06 天泽信息产业股份有限公司 全站仪远程控制系统及远程控制方法
WO2016082328A1 (zh) * 2014-11-24 2016-06-02 中兴通讯股份有限公司 一种信令监控方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449547B (zh) * 2006-05-19 2012-11-14 交互数字技术公司 用于经由因特网的媒体无关消息传递的方法和设备
US7894334B2 (en) 2008-08-15 2011-02-22 Telefonaktiebolaget L M Ericsson Hierarchical redundancy for a distributed control plane
EP2748972A1 (en) 2011-11-29 2014-07-02 Telefonaktiebolaget L M Ericsson (publ) Recovery of split architecture control plane
US9917800B2 (en) * 2012-08-24 2018-03-13 Cisco Technology, Inc. System and method for centralized virtual interface card driver logging in a network environment
US8937953B2 (en) 2012-08-28 2015-01-20 Cisco Technology, Inc. System and method for routing using path identifiers
US8693374B1 (en) 2012-12-18 2014-04-08 Juniper Networks, Inc. Centralized control of an aggregation network with a reduced control plane
WO2015010730A1 (en) 2013-07-24 2015-01-29 Nokia Solutions And Networks Gmbh & Co. Kg Network consolidation by means of virtualization
US9282133B2 (en) 2013-12-12 2016-03-08 Ooma, Inc. Communicating control information within a real-time stream
CN106464583A (zh) 2014-05-05 2017-02-22 瑞典爱立信有限公司 实现具有开放流数据和控制平面的云计算机中的3g分组核心
US10003641B2 (en) * 2014-09-16 2018-06-19 Telefonaktiebolaget Lm Ericsson (Publ) Method and system of session-aware load balancing
US10228874B2 (en) * 2016-12-29 2019-03-12 Intel Corporation Persistent storage device with a virtual function controller

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072608A1 (en) * 2010-09-21 2012-03-22 Edgecast Networks, Inc. Scalability and Redundancy Enhancements for Content Streaming
US20120303835A1 (en) * 2011-05-23 2012-11-29 Telefonaktiebolaget Lm Ericsson (Publ) Implementing EPC in a Cloud Computer with Openflow Data Plane
CN103067428A (zh) * 2011-10-21 2013-04-24 华为技术有限公司 基站、服务处理方法和云计算系统
CN104521196A (zh) * 2012-06-06 2015-04-15 瞻博网络公司 针对虚拟网络分组流的物理路径确定
CN105164975A (zh) * 2013-04-10 2015-12-16 华为技术有限公司 用于控制平面参考模型框架的系统和方法
US20150169396A1 (en) * 2013-12-12 2015-06-18 Talkatone, Inc. Redundant encoding
US20150195178A1 (en) * 2014-01-09 2015-07-09 Ciena Corporation Method for resource optimized network virtualization overlay transport in virtualized data center environments
WO2016082328A1 (zh) * 2014-11-24 2016-06-02 中兴通讯股份有限公司 一种信令监控方法及系统
CN105704755A (zh) * 2014-11-24 2016-06-22 中兴通讯股份有限公司 一种信令监控方法及系统
CN105469581A (zh) * 2016-01-04 2016-04-06 天泽信息产业股份有限公司 全站仪远程控制系统及远程控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
5G PPP ARCHITECTURE WORKING GROUP: ""View on 5G Architecture "", 《HTTPS://5G-PPP.EU/WP-CONTENT/UPLOADS/2014/02/5G-PPP-5G-ARCHITECTURE-WP-FOR-PUBLIC-CONSULTATION.PDF》 *
佚名: ""5G Network Architecture 5G Network Architecture A High-Level Perspective "", 《HTTPS://WWW.HUAWEI.COM/MINISITE/HWMBBF16/INSIGHTS/5G-NEWORK-ARCHITECTURE-WHITEPAPER-EN.PDF》 *
佚名: ""E-UTRAN控制平面协议"", 《HTTPS://WENKU.BAIDU.COM/VIEW/E085EA53647D27284B73518C.HTML》 *
佚名: ""LTE协议之用户面与控制面UE侧协议结构"", 《HTTPS://BLOG.CSDN.NET/FB2058/ARTICLE/DETAILS/43524991》 *
孟凡宇: ""NFV控制平面与数据平面分离及状态迁移机制的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
US11444806B2 (en) 2022-09-13
US20180205574A1 (en) 2018-07-19
EP3568952A1 (en) 2019-11-20
CN110178341B (zh) 2021-12-03
EP3568952B1 (en) 2023-04-05
US20200028712A1 (en) 2020-01-23
US10374829B2 (en) 2019-08-06
WO2018132223A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN110178341A (zh) 具有数据中心部署的电信网络
JP7332637B2 (ja) Ｉａｂネットワークにおけるｉａｂノード情報の処理方法及び装置
CN102857974B (zh) 具有用于锚定用户会话的分散控制平面的移动网关
CN109548095B (zh) 切换服务小区的方法及装置
JP2022093474A (ja) 情報伝送方法及び装置
Shah et al. TurboEPC: Leveraging dataplane programmability to accelerate the mobile packet core
CN110830538B (zh) 一种消息传输方法、装置及存储介质
US10313282B1 (en) Flexible middleware messaging system
US11444840B2 (en) Virtualized networking application and infrastructure
US20210243613A1 (en) Method for managing first access network node, apparatus, generalized node-b, gnb, of 5g network, non-transitory computer-readable medium, computer program product, and data set
JP7334243B2 (ja) 無線通信システムにおいて、モバイルエッジコンピューティングの移転を支援する方法及びその装置
JP2024513811A (ja) 無線式ネットワーク向けのカスタマイズ可能データ処理ネットワーク機能
Huff et al. RFT: Scalable and fault-tolerant microservices for the O-RAN control plane
Xia et al. Adapting named data networking (NDN) for better consumer mobility support in LEO satellite networks
CN111771356A (zh) 用于在云无线接入网络中的用户转移的方法和装置
CN103535075A (zh) 移动设备驱动的信息交换
CN102438273B (zh) 集群网元间ip通信方法及相关装置和通信系统
CN102281580A (zh) M2m系统及其业务处理方法
KR20180060908A (ko) 객체 이동성을 제공하는 통신 방법 및 장치
CN112543511A (zh) 一种提供、发现移动边缘计算的方法及设备、装置、介质
CN101179850A (zh) 一种在基站实现非同步无线链路重配的方法
Kulkarni et al. Dynamic Reconfiguration of Wireless Sensor Networks.
CN116319514B (zh) 一种数据处理方法和相关装置
CN108965494A (zh) 数据系统中数据传输方法和装置
CN112532728B (zh) 一种确定性的机载高性能文件传输方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant