CN105743962A - 端对端数据中心性能控制 - Google Patents

端对端数据中心性能控制 Download PDF

Info

Publication number
CN105743962A
CN105743962A CN201510813997.7A CN201510813997A CN105743962A CN 105743962 A CN105743962 A CN 105743962A CN 201510813997 A CN201510813997 A CN 201510813997A CN 105743962 A CN105743962 A CN 105743962A
Authority
CN
China
Prior art keywords
quality
service
data center
node
center performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510813997.7A
Other languages
English (en)
Inventor
A.J.赫德里奇
P.康诺
D.库马
A.W.明
R.伊耶
D.J.达勒
K.索德
J.B.肖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105743962A publication Critical patent/CN105743962A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5019Ensuring fulfilment of SLA
    • H04L41/5025Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/091Measuring contribution of individual network components to actual service level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15Use in a specific computing environment
    • G06F2212/152Virtualized environment, e.g. logically partitioned system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60Details of cache memory
    • G06F2212/601Reconfiguration of cache memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

在实施例中,描述了与端对端数据中心性能控制关联的设备、方法和存储介质(暂时性和非暂时性的)。在各种实施例中,用于计算的设备可接收数据中心性能目标,至少部分基于从多个节点收集的服务质量数据确定端对端数据中心性能等级,并至少部分基于所确定的端对端数据中心性能等级与数据中心性能目标的比较结果发送缓和命令。在各种实施例中,用于计算的设备可包含一个或多个处理器、存储器、用于接收对应于服务等级协定的数据中心性能目标的数据中心性能监视器,以及用于至少部分基于端对端数据中心性能等级与数据中心性能目标的比较结果发送缓和命令的缓和模块。

Description

端对端数据中心性能控制
技术领域
本公开涉及数据处理领域,具体地说,涉及至少部分基于对于多个节点收集的服务质量数据的端对端数据中心性能控制。
背景技术
本文提供的背景描述是为了一般性地呈现本公开的上下文。除非在本文中另有指示,否则在这部分描述的资料不是本申请中权利要求书的现有技术,并且不通过包含在这部分中而被承认为现有技术。
数据中心正在变得越来越整合,这在管理应用性能上引入了众多挑战。在若干应用同时运行在任何给定平台上的整合环境中,或在虚拟化环境(诸如使用软件定义的连网或网络功能虚拟化的环境)中,可能使用之前存在的方法和技术难以预测和控制给定线程将看到的性能。随着服务器整合增加和虚拟机(VM)计数增加,数据中心内的争用源增加。这些争用源可包含在核内的线程之间、在级2(L2)高速缓存上的线程之间、在核下带宽的线程之间、在互连带宽的线程之间、在级3(L3)高速缓存空间和带宽的线程、加速器和输入/输出(IO)之间、在带宽的线程与加速器之间以及在网络上竞争的应用和流程之间的争用。这些组合的争用源增加了给定工作流的性能预测的困难。当考虑应用的最终用户的观点时,诸如与云服务后端基础设施通信的智能电话应用的响应时间,这可能具有严重后果。此外,组合的争用源也可引起向用户递送网页时的巨大延迟,并且例如可影响一般在数据中心内的云服务提供(诸如云对云计算部署)的感知到的性能。
附图说明
通过结合附图的如下详细描述将容易理解实施例。为了便于此描述,相似的附图标记标明相似的结构元件。在附图的各图中通过示例的方式而非通过限制的方式来图示实施例。
图1是按照各种实施例的用于在操作环境中计算的设备的框图。
图2是按照各种实施例的数据中心的框图。
图3是按照各种实施例的网络功能虚拟化系统的框图。
图4是按照各种实施例的网络功能虚拟化服务等级协定监视系统的框图。
图5是用于端对端数据中心性能控制的示例过程的流程图。
图6是用于端对端数据中心性能控制节点级操作的示例过程的流程图。
图7图示按照各种实施例适合于实践本公开各个方面的示例计算环境。
图8图示按照各种实施例具有配置成使设备能够实践本公开各个方面的指令的示例存储介质。
具体实施方式
在如下详细描述中,参考形成其一部分的附图,其中通篇相似的附图标记标明相似部分,并且其中通过图示方式示出可实施的实施例。要理解到,可利用其它实施例,并且可进行结构或逻辑改变,而不脱离本公开的范围。因此,如下详细描述并不被视为限制意义,并且实施例的范围由所附权利要求以及它们的等同物定义。
各种操作以最有助于理解所要求权利的主题的方式依次描述为多个分立动作或操作。然而,描述的次序不应该被视为暗示这些操作一定是次序相关的。具体地说,这些操作可以不按呈现的次序执行。所描述的操作可按与所描述的实施例不同的次序执行。可执行各种附加操作和/或在附加实施例中可省略所描述的操作。
为了本公开的目的,短语“A和/或B”意味着(A)、(B)或(A和B)。为了本公开的目的,短语“A、B和/或C”意味着(A);(B);(C);(A和B);(A和C);(B和C)或(A、B和C)。
描述可使用“在一个实施例中”或“在实施例中”的短语,它们可各指的是相同或不同实施例中的一个或多个实施例。此外,相对于本公开实施例所使用的术语“包括”、“包含”、“具有”等是同义词。
本文所使用的术语“逻辑”和“模块”可指的是、作为其一部分或者包含:专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或群)和/或执行一个或多个软件或固件程序的存储器(共享的、专用的或群)、组合逻辑电路和/或提供所描述功能性的其它适合的组件。术语“模块”可指的是配置成执行或引起执行符合本公开的一个或多个操作的软件、固件和/或电路。软件可实施为记录在非暂时性计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可实施为硬编码在(例如非易失性)存储器件中的代码、指令或指令集和/或数据。在本文任何实施例中所使用的“电路”例如可包括硬连线电路、可编程电路(诸如包括一个或多个单独指令处理核的计算机处理器)、状态机电路、软件和/或存储由可编程电路执行的指令的固件(单个或以任何组合)。模块可共同或单独实施为形成计算装置一部分的电路。本文所使用的术语“处理器”可以是处理器核。
现在参考图1,图示按照各种实施例与本公开的端对端数据中心性能控制教导结合的用于计算的设备100。如所示,设备100可包含若干组件102-174,包含中央策略服务器102(也称为编排器)和多个平台节点104,配置成在网络106上彼此协作以在中央策略服务器102的控制/编排下通过平台节点104提供计算。在实施例中,中央策略服务器102可配置成按照服务级协定(SLA)监视数据中心性能,以检测在平台节点104上执行的工作负载之间的争用源,并使用有选择地布置在平台节点104上的服务质量(QoS)监视和执行硬件仪器缓和它们。在各种实施例中,节点104可以是安装在机架上的服务器系统。QoS监视和执行硬件仪器可包含由管芯上或管芯外QoS硬件仪器提供的优先化业务的机制。在实施例中,QoS硬件仪器可包含末级高速缓存QoS硬件仪器158,其可包含高速缓存占用监视硬件、高速缓存未中监视计数器和对数据被填充到高速缓存哪里(例如经由统计极限或严格的容量极限)的控制。在各种实施例中,由QoS硬件仪器提供的QoS监视机制可提供与通过竞争业务流来使用各种系统资源相关的QoS监视数据。在实施例中,由QoS仪器提供的QoS执行机制可规定在竞争的业务流之间的系统资源分配。
在实施例中,中央策略服务器102可包含一个或多个处理器或处理器核108、系统存储器110、数据中心性能监视器112和由一个或多个处理器108操作的模块116,它们可耦合在一起,并配置成彼此协作。在实施例中,可作为模块116的一部分包含数据中心性能监视器112的部分或全部。平台节点104可包含一个或多个处理器或处理器核117、存储器118和由一个或多个处理器117操作的节点管理模块119,它们可耦合在一起,并配置成彼此协作。为了此申请的目的,包括权利要求书,术语“处理器”和“处理器核”可视为同义词,除非上下文另有明确要求。在实施例中,有关与多个平台元件关联的多类型QoS仪器的控制可由充当编排器的中央策略服务器102协调,以监视与工作负载、流、任务或虚拟机的实际性能相关的性能目标,并按照服务级协定(SLA)调节QoS仪器控制以维护系统内的工作负载、流或任务的性能要求。在各种实施例中,SLA可采取性能目标(以操作/秒为单位)、用户定义的度量、响应时间(等待时间)或其它性能测量的形式。在实施例中,SLA可至少部分基于从数据中心掌管或管理软件传下来的性能目标进行管理。
在各种实施例中,在由SLA建立的目标以下的性能可采取如下形式:更大等待时间(例如400ms而不是目标150ms)或更少操作/秒(例如30,000操作/秒而不是50,000目标操作/秒),并且在目标以上的性能可采取如下形式:更低等待时间(例如100ms而不是目标150ms)或更多操作/秒(例如75,000操作/秒而不是50,000目标操作/秒)。中央策略服务器102可使用QoS仪器通过增加或减少参数(诸如与线程或工作负载关联的高速缓存空间和处理器核)以升高或降低线程或工作负载的性能等级并促使其性能等级更靠近与线程或工作负载关联的目标,来调整工作负载的性能。在实施例中,对于单个高速缓存级、高速缓存级的组合或所有高速缓存级,高速缓存空间可被重新分布在线程或工作负载上。在实施例中,当较低优先权工作负载已经满足了它们的对应性能目标时,通过用QoS仪器进行调整,可给高优先权工作负载附加资源,或者所有剩余资源,使得高优先权工作负载接收增加的性能,即便它超过了其对应SLA。在实施例中,通过用QoS仪器进行调整,具有低优先权等级或中优先权等级的较低优先权工作负载按照它们的关联SLA可被提供有仅对应于保证的最小服务等级的性能等级,使得较高优先权工作负载或实例可运行得尽可能快。在实施例中,中央策略服务器102当性能目标满足时可提供附加资源或重新均衡工作负载和资源,以便增加性能等级,诸如吞吐量。在实施例中,这可作为最优化或性能最大化过程发生,即便一些或所有运行的工作负载、线程或实例都满足它们的相应性能目标。
在实施例中,用于监视或执行的QoS硬件仪器可包含但不限于可允许管理程序监视在应用级和虚拟机级的末级高速缓存使用情况的管芯上平台QoS(PQoS)机制以及同时多线程(SMT)QoS、高速缓存QoS和存储器QoS,其可用于监视业务流资源利用并优先化业务。在各种实施例中,用于监视和执行的QoS硬件仪器可包含但不限于管芯外机制,诸如外围组件互连快速(PCIe)QoS、以太网QoS、长期演进(LTE)QoS、演进的节点B(eNB)QoS、英特尔快速路径互连(QPI)QoS、Keizer技术接口(KTI)QoS、因特网协议版本6(IPv6)QoS、英特尔片上系统构造(IOSF)QoS、传送控制协议(TCP)QoS、数据中心桥接(DCB)QoS和许多其它技术来监视和执行在网络接口卡(NIC)/交换机/网络级的QoS。在各种实施例中,一些或所有QoS或PQoS硬件仪器可提供监视能力和执行能力之一或二者,诸如当读取时通过提供QoS监视数据,或者当写入QoS硬件仪器寄存器或向QoS仪器传递具体数据时通过规定资源分配作为执行机制。在实施例中,PQoS硬件仪器可包含L3高速缓存监视和L3高速缓存执行、重新分配和重新分布能力。
一般而言,在实施例中,可包含在节点管理模块119中的软件代理可配置成运行在每个节点104上,以监视本地节点系统,向可充当数据中心编排器的中央策略服务器102提供包含QoS数据的遥测,并执行从中央策略服务器102接收的策略、命令或指令。节点管理模块119可包含QoS监视和执行仪器枚举模块、争用定位模块、缓和模块以及数据接收和报告模块。在各种实施例中,中央策略服务器102可充当数据中心编排器,以检查工作负载、性能目标、工作负载节点映射以及进行资源分配确定(诸如,给web服务器VM多少高速缓存或者为防火墙VM预留多少存储器带宽)的资源争用等级,并且这些确定被下传到节点104,运行这些应用以便执行。中央策略服务器102可基于数据中心性能等级和供系统管理员或用户使用的QoS监视和执行数据生成并存储策划、性能数据和遥测。中央策略服务器102可维护数据中心的全局观点,包含可用的相对正在使用的资源、正在使用的应用、流、VM和工作负载、端对端性能目标和流每个部分的性能预算,并且可使用这个信息进行数据中心级和节点级资源分配优化(例如,向高速缓存敏感并且正在预期性能等级以下执行的流中间的节点上的工作负载分配更多L3高速缓存)。在实施例中,中央策略服务器102还可存储性能数据表(例如作为行x列格式或键-值格式)。
在各种实施例中,数据中心性能监视器112可包含:节点监视器120,用于监视多个节点的性能等级;以及节点聚合模块121,由一个或多个处理器108操作以聚合多个节点的性能等级来确定聚合的性能等级。在实施例中,模块116可包含:性能分布模块122,至少部分基于数据中心性能目标确定多个节点中每个节点的节点性能目标;争用定位模块123,发送争用定位命令并接收争用定位响应;缓和模块124,至少部分基于争用定位响应发送缓和命令;以及一个或多个其它模块126。在实施例中,争用定位模块123可基于QoS硬件监视仪器定期从节点104接收与对于各种资源的争用相关的数据,无需首先发送争用定位命令,并且缓和模块124可至少部分基于这个定期接收的数据发送缓和命令。在实施例中,缓和命令可包含从包含如下指令的一组缓和命令中选择的缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及向工作负载提供附加高速缓存空间的指令。在实施例中,要发出哪些缓和命令的判定可至少部分基于由至少一个模块122-124和126执行的动作。在执行调整以减少工作负载性能的实施例中,缓和命令可包含从包含如下指令的一组缓和命令中选择的缓和命令:提供更少存储器的指令、移除处理器核的指令、提供更少网络带宽的指令、提供更少存储器带宽的指令、向服务过度的装置提供更少IO带宽的指令、使用SMTQoS提供更少按线程资源的指令以及向工作负载提供更少高速缓存空间的指令。在各种实施例中,缓和命令还可包含使用另一QoS执行机制的指令。
在实施例中,一个或多个平台节点104可包含互连132以允许存储器、高速缓存、存储装置和接口与一个或多个处理器117通信。在各种实施例中,节点104可包含与网络接口卡(NIC)136进行数据通信的输入/输出(I/O)接口134,以便于节点104与中央策略服务器102之间通过网络106进行通信。在实施例中,例如,每个节点104还可包含一个或多个高速缓存资源,诸如共享L2高速缓存138和末级高速缓存140,诸如L3高速缓存。在实施例中,每个节点104还可包含一个或多个其它级高速缓存(例如L1、L4等)。一个或多个工作负载或虚拟机,诸如第一工作负载142和第二工作负载144,可由一个或多个处理器117操作。
在实施例中,节点104可包含监视并执行服务质量等级的若干机制或硬件钩(hook),包含:同时多线程(SMT)QoS硬件仪器152,用于解决处理器核内线程之间的性能问题;L2QoS硬件仪器154,用于解决共享L2高速缓存138上线程之间的性能问题;L2外部带宽QoS硬件仪器156,其可与可配置速率限制器157一起工作,以便解决核外带宽的线程之间的性能问题;以及末级QoS硬件仪器158,用于解决末级高速缓存资源之间的性能问题。在实施例中,末级高速缓存QoS硬件仪器158可以如下方式提供监视并执行向与工作负载(诸如第一工作负载142和第二工作负载144)关联的线程分配末级高速缓存140的机制:使得高优先权工作负载160比中等优先权工作负载162接收的末级高速缓存140资源的比例更大,中等优先权工作负载162又比低优先权工作负载164接收的末级高速缓存140资源的比例更大。在实施例中,末级高速缓存140的资源可被分类成更大或更小的优先权等级。在各种实施例中,末级高速缓存QoS硬件仪器158可用于解决末级高速缓存140空间和带宽的线程、加速器和IO操作之间的性能问题。中央策略服务器102可能能够查询每个节点104以确定每个节点上的硬件支持能力,诸如哪些QoS硬件仪器可用于在任何给定节点上使用。节点104可响应于该查询而枚举可用的QoS硬件仪器,并将包含对应于QoS硬件仪器的数据的回复发送回中央策略服务器102。在各种实施例中,此数据可由中央策略服务器102用于确定哪些缓和命令被发送到哪些节点。数据中心可包含同时部署的具有可变寿命和硬件能力的节点104的异构编队。在此类异构环境中,从中央策略服务器102发送到节点的命令可至少部分基于在任何给定节点上可用的硬件能力而从一个节点到另一个节点变化。
在实施例中,设备100还可包含与存储器118关联的存储器QoS硬件仪器166以及存储器118与互连132之间的接口、与互连132关联的互连QoS硬件仪器168以解决互连带宽的线程之间的性能问题、与IO接口134关联的IOQoS硬件仪器170以解决IO带宽的线程与加速器之间以及在网络106上竞争的应用和流之间的性能问题、与NIC136关联的基于队列的QoS硬件仪器172以及与网络106关联的网络QoS硬件仪器174。在各种实施例中,PQoS可包含QoS硬件仪器监视或执行能力以及其它QoS硬件仪器中的一个或多个。
现在参考图2,图示按照各种实施例与本公开的端对端数据中心性能控制教导结合的数据中心200的框图。对于实施例,入局数据业务202可以从公用因特网204通过入口点(其可以是第一网络接口206)进入数据中心200。在实施例中,出局数据业务208可在出口点(其可以是第二网络接口210)离开数据中心200。可从入口点到出口点测量端对端数据中心等待时间(Lat-E2E)212。在各种实施例中,可作为编排器(诸如相对于图1描述的中央策略服务器102)的数据中心监视器214可监视服务于数据业务的多个节点。在示例配置中,数据中心200可包含第一节点216(诸如防火墙)、第二节点218(诸如负载均衡器)、第三节点220(诸如动态内容服务器)、第四节点222(诸如具有存储器内高速缓存的静态内容服务器)和第五节点224(诸如提供动态广告插入的服务器)。在各种实施例中,每一个节点216-224都可包含诸如相对于节点104描述的组件的组件。这些节点216、218、220、222和224一起连同数据中心监视器214可彼此协作,以使数据中心监视器214能够监视并执行数据中心200性能等级(诸如Lat-E2E212),以满足对应于各种SLA的工作负载的数据中心性能目标。
端对端数据中心等待时间Lat-E2E212或总数据中心等待时间可被计算为所有网络等待时间和计算等待时间之和:
尽管上式中未反映出,但总数据中心等待时间的计算将通过使用并行操作之间的最大等待时间而不是对所有并行等待时间求和,而将并行操作考虑进去。
相对于图2中所示的数据中心200,网络等待时间显示为LatN*,而计算等待时间显示为LatC*。如所示,网络等待时间包含第一网络接口206与第一节点216之间的第一网络等待时间LatN1240、第一节点216与第二节点218之间的第二网络等待时间LatN2242、与业务进入第三节点220关联的网络等待时间(显示为LatN3a234)、与业务进入第四节点222关联的网络等待时间(显示为LatN4a236)、与业务离开第三节点220关联的网络等待时间(显示为LatN3b238)、与业务离开第四节点222关联的网络等待时间(显示为LatN4b240)以及第五节点224与第二网络接口210之间的网络等待时间(显示为LatN5242)。还示出了与每个节点关联的计算等待时间,其中LatC1230、LatC2232、LatC3234、LatC4236和LatC5238分别对应于第一节点216至第五节点224。与应用到图2所示的等待时间一样,Lat-E2E212可描述为:
相对于图2,为了便于理解,上式有些简化,因为它没有明确考虑到可并行执行由第三节点220和第四节点222执行的操作或者对于某些流仅执行它们中一个的可能性。在实施例中,在计算端对端数据中心性能时,可对于任何给定流,使用第二节点218与第五节点224之间的最大等待时间(max([LatN3a+LatC3+LatN3b],[LatN4a+LatC4+LatN4b])),而不是对与第三节点220和第四节点222关联的所有等待时间求和。通过以此方式看待端对端数据中心性能,端对端数据中心性能目标可被量化、分解并归属于数据中心服务链中的各个代理。在实施例中,数据中心监视器214可将性能目标(诸如等待时间)分解成按节点的计算预算,这又可导出资源指配和分配。数据中心监视器214也可将性能目标(诸如等待时间)分解成与每个网络分段上的网络等待时间相关的按网络的分段预算。示例网络分段可以是在第一节点216与第二节点218之间示出的路径,其中在路径每端的节点(节点216、218)与网络分段关联。在实施例中,和与网络分段关联的一个或多个节点协作的数据中心监视器214可使用QoS监视或执行硬件仪器监视或执行和与它们关联的网络分段相关的网络分段预算。在实施例中,在将性能目标(诸如等待时间)分解成按节点的计算预算和/或按网络的分段网络等待时间预算的这些过程中,可使用性能分布模块122。
通过图示的方式,与图2相关的示例将满足对于web托管流需要250毫秒(ms)的端对端数据中心等待时间的SLA。这对于Lat-E2E212将导致250ms的端对端数据中心性能目标。如果第一节点216(防火墙)、第二节点218(负载均衡器)和第五节点224(动态广告插入)在组合的计算等待时间和网络等待时间中各需要10ms,则这在组合的计算等待时间和网络等待时间中为第三节点220(动态内容服务器)和第四节点222(静态内容服务器)留下220ms,以对于这个示例web托管流递送它们的结果。在相对于诸如高速缓存空间、网络带宽、等待时间和存储器带宽以及线程、核和插槽调度的资源确定数据中心200内的资源分配时,数据中心监视器214也可考虑与可能需要10ms响应时间或更少响应时间的数据中心200中的其它活动流(诸如,较低SLA网站(例如500ms)或IP语音(VoIP)音频业务)相关的要求。与工作负载优先权组合的端对端性能目标、工作负载高速缓存、存储器、计算和IO敏感度和QoS监视数据可由数据中心监视器214组合,以确定节点上的各个工作负载的资源分配。
现在参考图3,示出了按照各种实施例与本公开的端对端数据中心性能控制教导结合的网络功能虚拟化(NFV)系统300的框图。在实施例中,NFV环境可包含软件定义的连网(SDN)控制器302,其可包含相对于数据中心监视器214或中央策略服务器102描述的一些或所有功能性和组件。在各种实施例中,SDN控制器302可与服务器节点304进行数据通信,服务器节点304可包含相对于节点104、216、218、220、222或224描述的一些或所有功能性和组件。在实施例中,多个服务器节点304可与SDN控制器302进行数据通信。NFV环境300还可包含配置成与SDN控制器302协作以向一个或多个服务器节点304分布策略并执行的策略引擎306。在实施例中,SDN控制器302和策略引擎306可包含在单个计算装置中,或者可分布在多个计算装置之间。服务器节点304可包含用于入局数据业务的第一NIC308和用于出局数据业务的第二NIC310。
两个流,高优先权流和低优先权流,被显示为穿过服务器节点304。高优先权流可通过NIC308进入,在传给第二NIC310之前,然后传给运行在第一虚拟机(VM)314上的第一虚拟化网络功能(VNF)312,然后传给运行在第二VM318的第二VNF316,然后传给运行在第三VM322上的第三VNF320。以类似方式,示出较低优先权流例如通过NIC308进入,在传给第二NIC310之前,传给运行在第四VM332上的第四VNF330,然后传给运行在第五VM336上的第五VNF,然后传给运行在第六VM340上的第六VNF338。尽管它们在图3中被显示为截然不同的,但在各种实施例中,一些或所有VM或VNF可以相同,并且可使用不同数量的VM或VNF。
服务器节点304可监视运行通过节点的流,并向SDN控制器302发送遥测,包含与资源利用和性能等级(诸如,响应时间、网络和存储器带宽利用)相关的QoS监视数据以及资源使用(诸如,高速缓存占用等级)。在各种实施例中,服务器节点304可使用QoS机制(诸如相对于图1描述的仪器)监视流。在各种实施例中,与性能目标相比较,SDN控制器302可至少部分基于从服务器节点304接收的遥测监视性能等级。如果性能等级不满足目标,则SDN控制器302可命令服务器节点304进行资源分配改变,以满足性能要求。资源分配改变可包含如下这样的参数:使用诸如相对于图1描述的那些硬件QoS仪器,将更多共享高速缓存分配给性能欠缺应用、分配更多存储器带宽、一个或多个附加核或附加网络带宽。在实施例中,例如,资源分配改变可至少部分基于检测到争用源,诸如可由争用定位模块124提供。
图4示出了按照各种实施例与本公开的端对端数据中心性能控制教导结合的网络功能虚拟化(NFV)服务级协定(SLA)监视系统400的框图。在实施例中,NFV租户402(诸如服务提供商或云租户)可与操作支持系统/商业支持系统(OSS/BSS)404(诸如记账或客户关怀系统)通信,以购买服务的期望SLA。这些服务可由租户402监视和审查以便遵循SLA。在实施例中,OSS/BSS404向虚拟基础设施编排器406提供SLA请求。
编排器406可包含SLA控制器,还有其它能力。SLA控制器可将高级SLA翻译成SLA要求的系统级集合,其中平台服务质量PQoS是许多可能要求的一个示例。编排器406可将系统SLA要求递送到运行在虚拟基础设施管理器(VIM)408上的网络功能虚拟化基础设施(NFVI)代理407。在各种实施例中,编排器406还可包含策略管理、审查和报告能力。
VIM408可包含NFVI代理407,其从多个平台(诸如NFVI410中的平台430和平台474)上搜集PQoS数据。NFVI可以是广义系统框架,诸如由欧洲电信标准协会(ETSI)NFV标准诸如ETSIGSNFV002v1.1.1(2013年10月)描述的。在各种实施例中,VIM408可包含由NFVI代理407在跟踪PQoS数据时使用的NFVI供应和PQoS跟踪数据库(DB)412。VIM408还可包含由NFVI代理407在将SLA映射到NFVI410上的工作负载和VNF时使用的SLA到NFVI映射DB414。在各种实施例中,在NFVI410中执行的工作负载与传统数据中心中的工作负载相比较可能相对长寿命,允许在主动或被动模式监视和执行PQoS。较短寿命的、快速的或暂时性的工作负载可从属于可由编排器406和VIM408监视和执行的服务类,使得当具有类似工作负载的作业工作流在随后时间运行时,可给它适当按平台的资源分配(例如高速缓存空间、存储器)以满足性能目标。
每个平台可包含耦合在一起并布置成彼此协作的一个或多个处理器432、存储器434、总线436(诸如双数据速率(DDR)或外围组件互连快速(PCIe)总线)、IO/NIC组件438、存储装置440和遥测仪器442(诸如相对于图1描述的QoS仪器)。在实施例中,平台430、474可基于Intel?Xeon?DP平台,诸如使用Xeon?E5-2600v3处理器的平台。NFVI代理407还可按照SLA映射具有期望PQoS的可用PQoS,并执行缓和,如果需要满足SLA的话。在各种实施例中,PQoS可包含相对于图1描述的一些或所有QoS硬件仪器或其它QoS仪器。在实施例中,NFVI代理407可跨NFVI410供应、安装、配置和缓和VNF或工作负载,以按照SLA实现期望PQoS。基本输入/输出(BIOS)(诸如统一可扩展固件接口(UEFI)BIOS450)可运行在一些或所有平台430、474上。此外,管理程序452或虚拟机监视器(VMM)可在一些或所有平台430、474上运行VNF或VM。在各种实施例中,操作系统(OS)或云OS可运行在一些或所有平台430、474上。
在实施例中,平台430、474可运行在一个或多个VNF(诸如VNF-1460至VNF-n470)上,VNF可包含一个或多个VNF组件(VNFC),诸如第一VNFC462和第二VNFC464至第nVNFC466。例如,VNF可承担各种功能,诸如服务网关(SGW)或分组数据网网关(PGW)。平台SLA代理454可运行在一些或所有平台430、474上,并执行VNF供应、配置和更新功能,以及从平台QoS监视仪器(包含但不限于与I/O总线、存储装置、CPU寄存器和高速缓存关联的仪器)和存储器搜集统计和数据。给予SLA代理454特权以读和写平台上的各种PQoS参数和寄存器,使得它可从PQoS监视仪器搜集数据,并向PQoS监视仪器写数据。
图5描绘了按照各种实施例用于端对端数据中心性能控制的示例处理器500,其可由相对于图1-4描述的设备100、数据中心监视器214、NFV系统300或NFVSLA监视系统400实现。在各种实施例中,过程500可由数据中心性能监视器112、节点监视器120、节点聚合模块121、性能分布模块122和/或争用定位模块123执行。在其它实施例中,过程500可用更多或更少的模块和/或用不同次序的一些操作执行。
在实施例中,该过程可包含块502,其中控制器(诸如数据中心性能监视器112、数据中心监视器214、SDN控制器302或编排器406)可接收工作负载和性能目标,诸如端对端数据中心性能目标。在操作504,服务级协定(SLA)可被映射到工作负载。在块506,例如,数据中心性能监视器112和性能分布模块122可将工作负载映射到诸如节点104、相对于图2描述的节点216-224、节点304的节点或平台430或474。在实施例中,控制器可维护所有数据中心资源和利用(诸如,高速缓存空间、存储器和网络利用)的映射。在实施例中,在块506,可确定按网络的分段性能目标,诸如按网络的分段等待时间预算。在实施例中,在操作508,可接收来自节点的QoS遥测,诸如,数据中心性能监视器112从QoS仪器152、154、156、158、166、168、170、172和174接收遥测。在实施例中,来自节点的QoS遥测可包含对应于网络分段性能等级(诸如,网络分段上的网络等待时间)的数据。在实施例中,可执行节点性能等级与节点性能目标或网络分段性能等级与网络分段性能目标的比较。在块510,在各种实施例中,节点聚合模块121可聚合来自节点的遥测。在操作512,可确定端对端数据中心性能等级。
在判定块514,可以确定,所确定的端对端数据中心性能等级在端对端数据中心性能目标以下。如果端对端数据中心性能等级不在端对端数据中心性能目标以下,则过程可返回到块508。在各种实施例中,如果端对端数据中心性能等级在端对端数据中心性能目标以下,则在块518可执行争用定位,诸如争用定位模块123向节点104发送命令,其中节点管理模块119中的节点争用定位模块可执行争用定位过程,并将响应发送回数据中心控制器,诸如数据中心性能监视器112或数据中心监视器214。在实施例中,争用定位可包含向与网络分段关联的节点发送争用定位命令。
在附加实施例中,在判定块514可以确定,所确定的端对端数据中心性能等级是否在端对端数据中心性能目标以上(例如,当目标是50,000操作/秒时,端对端数据中心性能等级是100,000操作/秒)。在实施例中,在判定块514可以确定,所确定的端对端数据中心性能等级是否超出距端对端数据中心性能目标的预先定义范围(例如,超出目标等待时间加上或减去25ms)。如果端对端性能等级不在端对端数据中心性能目标以上,或者在这些实施例的预先定义的范围之内,则该过程可返回到块508。如果端对端性能等级在性能目标以上或超出这些实施例的范围,则该过程可进行到块518,或者可选地可直接进行到块520。
在操作520,缓和命令可由数据中心控制设备(诸如数据中心性能监视器112或数据中心监视器214)发送到一个或多个节点(诸如节点104)。在各种实施例中,缓和命令可至少部分基于争用定位响应,并且可包含从包含如下指令的一组缓和命令中选择的缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及向工作负载提供附加高速缓存空间的指令。比如,当其预算是250ms时花300ms服务于请求的web服务器可被给附加高速缓存或CPU核,以平均上更快完成工作。在实施例中,过程500然后可返回到块506,在此工作负载可被重新映射到一个或多个节点。在工作负载性能被降低的附加实施例中,缓和命令可包含从包含如下指令的一组缓和命令中选择的缓和命令:提供更少存储器的指令、移除处理器核的指令、提供更少网络带宽的指令、提供更少存储器带宽的指令、向服务过度的装置提供更少IO带宽的指令、使用SMTQoS提供更少按线程资源的指令以及向工作负载提供更少高速缓存空间的指令。
图6是用于端对端数据中心性能控制节点级操作的示例过程600的流程图。在实施例中,过程600可由运行在节点104上的节点管理模块119执行,并且可包含可构造为线程的多个组件。在块602,例如,诸如可由运行在节点104上的节点管理模块119枚举QoS硬件能力,诸如由QoS监视和执行仪器提供的各种机制。在实施例中,例如,可枚举SMTQoS仪器152、L2QoS仪器154、L2外部带宽QoS仪器156、末级高速缓存QoS仪器158、互连QoS仪器168、IOQoS仪器170和基于队列的QoS仪器172的监视和执行能力。在各种实施例中,在操作604,节点可向数据中心监视器(诸如数据中心性能监视器112或数据中心监视器214)报告枚举的QoS硬件能力。在块606,可向数据中心监视器报告遥测,包含与运行在节点上的工作负载相关的QoS数据和性能信息。
在判定块608,例如,可以确定节点是否已经从数据中心监视器或中央策略服务器(诸如中央策略服务器102或策略引擎306)接收到任何新策略。如果在判定块608确定已经接收到新策略,则可在操作610应用它们。如果在判定块608确定未接收到新策略,或者如果在块610已经应用新策略,则在判定块612可以确定是否已经接收到争用定位请求。如果已经接收到争用定位请求,则在块614可执行争用定位。在实施例中,节点104可执行争用定位,其包含确定在该节点上最普遍的争用源。比如,如果流播应用与节点104上的web服务器协同定位,则争用定位可指示,高速缓存和存储器带宽被争用,web服务器是高速缓存敏感的,并且最佳行动路线可能是约束流播应用的高速缓存利用。
节点104的争用定位可包含枚举可用的QoS监视仪器,以及测量在所有共享资源的争用,诸如确定哪些线程正在使用最多高速缓存空间、存储器带宽、IO、网络使用情况、盘带宽或输入/输出操作/秒(IOPS)。争用定位可还包含检测所关注工作负载的初始争用源,所关注工作负载可以是最高优先权工作负载,它们可能已经被标识为不满足SLA、等待时间或性能目标。检测初始争用源可包含检查每个所关注线程、应用或VM的高速缓存或存储器使用,以及标识过度利用高速缓存或存储器空间(例如使用大于50%的高速缓存)的线程。检测初始争用源可还包含通过确定盘或固态驱动器(SSD)带宽和IOPS利用以及网络带宽利用来检查每个所关注线程、应用或VM的IO利用。检测初始争用源可还包含检查支持QoS监视仪器的其它可能资源,诸如L2高速缓存争用或SMT线程争用。争用定位还可包含聚合所关注线程、应用或VM的数据,以确定在哪里争用最严重,以及对应于线程、应用或VM的高速缓存、存储器、IO或网络敏感的工作负载可如何。争用定位可还包含至少部分基于聚合数据生成缓和检测争用的推荐动作的概述。在操作616,争用定位数据可被发送到数据中心监视器。在各种实施例中,争用定位数据可包含缓和争用的推荐动作的概述以及概述的争用状况数据。在实施例中,在块614可执行争用定位,并且在块616可发送争用数据,即便在判定块612确定未接收到争用请求。在实施例中,看看是否已经接收到争用请求的检查(诸如,相对于判定块612所描述的)可以不执行,并且节点104可定期向数据中心监视器或中央策略服务器报告数据,而不首先接收请求。
如果在判定块612确定未接收到争用定位请求,或者在操作616已经发送了争用数据,则在判定块618可以确定是否已经接收到缓和请求。如果已经接收到缓和请求,其在各种实施例中可采取含有一个或多个指令的缓和命令形式,则在块620可执行缓和。在实施例中,缓和命令可包含从包含如下指令的一组缓和命令中选择的缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及向工作负载提供附加高速缓存空间的指令或使用QoS执行机制的其它指令。
由节点104的缓和可包含:枚举节点上的可用QoS执行仪器,使用硬件QoS仪器至少部分基于缓和命令进行对资源分配的改变,以及报告回数据中心监视器(诸如,中央策略服务器102或数据中心监视器214)所请求的缓和操作是否成功。如果在块602已经执行了缓和,或者在判定块618确定未接收到缓和请求,则过程600可返回到块606,在此向数据中心监视器报告更新的性能和QoS。在备选实施例中,数据中心监视器可向节点发送性能目标,其中节点进行资源分配确定,无需接收争用请求或缓和请求,其中节点向数据中心监视器发送更少的数据,其可指示概述级的数据、当前状况的指示以及在节点上现在是否满足性能目标。
在各种实施例中,可包含在节点管理模块119中的工作负载管理器可与过程600并行运行或顺序运行,以在节点104从中央策略服务器102接收工作负载发动请求,启动工作负载,将工作负载放在特定插槽或核上,根据需要迁移核或插槽上的工作负载,并执行与节点上的VM迁移相关的动作,诸如暂停、关机、保存或移动上下文动作。
现在参考图7,按照各种实施例图示适合于用于实践早先相对于图1-4所描述的本公开的示例计算机700。如所示,计算机700可包含一个或多个处理器或处理器核702以及系统存储器704。为了此申请的目的,包括权利要求书,术语“处理器”和“处理器核”可被视为同义词,除非上下文另有明确要求。此外,计算机700可包含一个或多个图形处理器705、大容量存储装置706(诸如磁盘、硬驱、压缩盘只读存储器(CD-ROM)等等)、输入/输出装置708(诸如显示器、键盘、光标控制、遥控器、游戏控制器、图像捕获装置等等)、传感器集线器709和通信接口710(诸如网络接口卡、调制解调器、红外接收器、无线电接收器(例如蓝牙)等等)。元件可经由系统总线712彼此耦合,系统总线712可表示一个或多个总线。在多总线的情况下,它们可由一个或多个总线桥(未示出)桥接。
这些元件中的每个元件都可执行本领域已知的其常规功能。具体地说,可采用系统存储器704和大容量存储装置706来存储实现与中央策略服务器102、节点104、数据中心监视器214、节点216、218、220、222或224、SDN控制器302、策略引擎306、节点304、编排器406、VIM408、NFV租户402、OSS/BSS404或平台430、474关联的操作(例如对于图1所示的数据中心性能监视器112、模块119、121、122、123、124和126描述的操作或者在图5的过程500或图6的过程600中示出的操作)的编程指令的工作拷贝和永久拷贝,统称为计算逻辑722。在各种实施例中,还可采用系统存储器704和大容量存储装置706来存储实现与图3-4中示出的工作负载142、144、VM314、318、322、332、336、340或者VNF312、316、320、330、334、338、462、464、466、470关联的操作的编程指令的工作拷贝和永久拷贝。各种元件可通过汇编指令或处理器702支持的字节代码或可被编译或翻译成此类指令的高级语言(诸如例如C语言)实现。
编程指令的永久拷贝可在工厂或在现场例如通过分布介质(未示出)诸如压缩盘(CD)或通过通信接口710(从分布服务器(未示出))被放入大容量存储装置706中。也就是说,具有代理程序实现的一个或多个分布介质可用于分布代理并对各种计算装置编程。
这些元件702-712的编号、能力和/或容量可根据计算机700是固定计算装置(诸如服务器、编排器、机顶盒或台式计算机)还是移动计算装置(诸如平板计算装置、膝上型计算机或智能电话)而变化。它们的构成是以其它方式已知的,并且因而将不进一步描述。
图8图示按照各种实施例具有配置成实施与早先描述的中央策略服务器102、节点104、数据中心监视器214、节点216、218、220、222或224、SDN控制器302、策略引擎306、节点304、编排器406、VIM408、NFV租户402、OSS/BSS404或平台430、474关联的所有操作或选择的操作的指令的至少一个非暂时性计算机可读存储介质802的示例。如所图示的,至少一个计算机可读存储介质802可包含若干编程指令804。存储介质802可表示在本领域已知的广泛范围的永久存储介质,包含但不限于闪存、动态随机存取存储器、静态随机存取存储器、光盘、磁盘等。在各种实施例中,编程指令804可配置成响应于编程指令的执行而使装置(例如,计算机700、中央策略服务器102、节点104、数据中心监视器214、节点216、218、220、222或224、SDN控制器302、策略引擎306、节点304、编排器406、VIM408、NFV租户402、OSS/BSS404或平台430、474)能够执行(例如但不限于)对于图1所示的数据中心性能监视器112、模块119、121、122、123、124和126描述的各种操作、图5的过程500或图6的过程600的操作、图3-4中示出的工作负载142、144、VM314、318、322、332、336、340或VNF312、316、320、330、334、338、462、464、466、470。在备选实施例中,编程指令804可布置在多计算机可读存储介质802上。在又一些实施例中,计算机可读存储介质802可以是暂时性的,诸如信号。
参考回到图7,对于一个实施例,至少一个处理器702可与具有计算逻辑722的存储器封装在一起,计算逻辑722配置成实施对于数据中心性能监视器112描述的方面、图1所示的模块119、121、122、123、124和126、图5的过程500或图6的过程600的操作、工作负载142、144、VM314、318、322、332、336、340或图3-4所示的VNF312、316、320、330、334、338、462、464、466、470。对于一个实施例,至少一个处理器702可与具有计算逻辑722的存储器封装在一起以形成封装中系统(SiP),计算逻辑722配置成实施对于数据中心性能监视器112描述的方面、图1所示的模块119、121、122、123、124和126、图5的过程500或图6的过程600的操作、工作负载142、144、VM314、318、322、332、336、340或图3-4所示的VNF312、316、320、330、334、338、462、464、466、470。对于一个实施例,至少一个处理器702可与具有计算逻辑722的存储器集成在同一管芯上,计算逻辑722配置成实施对于数据中心性能监视器112描述的方面、图1所示的模块119、121、122、123、124和126、图5的过程500或图6的过程600的操作、工作负载142、144、VM314、318、322、332、336、340或图3-4所示的VNF312、316、320、330、334、338、462、464、466、470。对于一实施例,至少一个处理器702可与具有配置成实施图5的过程500或图6的过程600的方面的计算逻辑722的存储器封装在一起以形成片上系统(SoC)。
用于执行上述技术的机器可读介质(包含非易失性机器可读介质,诸如机器可读存储介质)、方法、系统和装置是本文公开的实施例的说明性示例。附加地,上述交互中的其它装置可配置成执行各种公开技术。
示例
示例1可包含用于控制计算的设备,包括:一个或多个处理器;存储器,与所述一个或多个处理器耦合;数据中心性能监视器,接收对应于服务等级协定的数据中心性能目标,至少部分基于由与一个或多个节点关联的一个或多个服务质量监视硬件仪器对于所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级,并且比较确定的所述端对端数据中心性能等级与接收的所述数据中心性能目标;以及缓和模块,由所述一个或多个处理器操作以至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
示例2可包含示例1的主题,还包括:争用定位模块,由所述一个或多个处理器操作以响应于所述端对端数据中心性能等级与所述数据中心性能目标的比较而发送争用定位命令,其中所述争用定位模块还由所述一个或多个处理器操作以接收争用定位响应,并且其中所述缓和命令也至少部分基于所述争用定位响应。
示例3可包含示例2的主题,还包括:性能分布模块,由所述一个或多个处理器操作以至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标,其中所述数据中心监视器至少部分基于与所述节点关联的一个或多个服务质量监视硬件仪器确定所述多个节点中每个节点的节点性能等级,并且比较确定的每个节点性能等级与其对应节点性能目标,其中所述争用定位模块向节点性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令,并从争用定位命令所发送到的每个节点接收争用定位响应,并且其中所述缓和模块向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令。
示例4可包含示例1-2中任一示例的主题,其中所述缓和模块响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令。
示例5可包含示例1的主题,其中所述数据中心性能监视器接收对应于多个服务等级协定的多个数据中心性能目标,至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级,并且比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标,其中所述缓和模块向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令,并且其中所述缓和模块向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
示例6可包含示例1-5中任一示例的主题,其中所述数据中心性能监视器包括:节点监视器,监视所述多个节点的性能等级;以及节点聚合模块,由所述一个或多个处理器操作以聚合所述多个节点的所述性能等级,以确定聚合的性能等级,其中所述数据中心性能模块至少部分基于所述聚合的数据中心性能等级确定所述端对端数据中心性能等级。
示例7可包含示例6的主题,其中所述一个或多个服务质量监视硬件仪器和所述一个或多个服务质量执行硬件仪器各包含同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制中的至少一个。
示例8可包含示例1-6中任一示例的主题,其中所述一个或多个服务质量监视硬件仪器和所述一个或多个服务质量执行硬件仪器各包含同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制中的至少一个。
示例9可包含用于控制计算的方法,包括:由用于计算的设备接收数据中心性能目标;由所述设备至少部分基于由一个或多个服务质量监视硬件仪器从所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级,所述一个或多个服务质量监视硬件仪器与所述一个或多个节点关联;由所述设备比较确定的所述端对端数据中心性能等级与所述数据中心性能目标;以及由所述设备至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
示例10可包含示例9的主题,还包括:由所述设备响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而发送争用定位命令;以及由所述设备接收争用定位响应,其中发送所述缓和命令也至少部分基于所述争用定位响应。
示例11可包含示例10的主题,还包括:由所述设备至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标,其中由所述设备确定端对端数据中心性能等级包括至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定所述多个节点中每个节点的节点性能等级,并且比较确定的每个节点性能等级与其对应节点性能目标,其中由所述设备发送争用定位命令包括向性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令,并且其中由所述设备接收争用定位响应包括从争用定位命令所发送到的每个节点接收争用定位响应,并且其中由所述设备发送缓和命令包括向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令。
示例12可包含示例9的主题,其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令。
示例13可包含示例9的主题,其中由所述设备接收数据中心性能目标包括接收对应于多个服务等级协定的多个数据中心性能目标,其中由所述设备确定端对端数据中心性能等级包括至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级,并且其中由所述设备比较包括比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标,其中由所述设备发送缓和命令包括向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令,并且其中由所述设备发送缓和命令包括向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
示例14可包含示例9-13中任一示例的主题,其中由所述设备确定端对端数据中心性能等级包括:确定所述多个节点的性能等级;以及聚合所述多个节点的所述性能等级以确定聚合的性能等级,其中由所述设备确定所述端对端性能等级也至少部分基于所述聚合的性能等级。
示例15可包含示例14的主题,其中由所述设备确定端对端数据中心性能等级包括至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
示例16可包含示例9-13中任一示例的主题,其中由所述设备确定端对端数据中心性能等级包括至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
示例17可包含至少一个非暂时性计算机可读介质,其包括其上存储的指令,所述指令响应于由用于计算的设备对指令的执行使所述设备:在数据中心性能监视器接收数据中心性能目标;至少部分基于由与一个或多个节点关联的一个或多个服务质量监视硬件仪器从所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级;比较确定的所述端对端数据中心性能等级与所述数据中心性能目标;以及至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
示例18可包含示例17的主题,其中使所述设备还:响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而发送争用定位命令;以及接收争用定位响应,其中使所述设备发送至少部分基于所述争用定位响应发送缓和命令。
示例19可包含示例18的主题,其中使所述设备还:至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标;至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定多个节点中每个节点的节点性能等级,并且比较确定的每个节点性能等级与其对应节点性能目标;向性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令;从争用定位命令所发送到的每个节点接收争用定位响应;向从其处接收到争用定位响应的节点中的至少一个节点发送缓和命令。
示例20可包含示例17的主题,其中使所述设备响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令。
示例21可包含示例17的主题,其中使所述设备还:接收对应于多个服务等级协定的多个数据中心性能目标,至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级;比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标;向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令;并且向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
示例22可包含示例17-21中任一示例的主题,其中使所述设备还:确定多个节点的性能等级;聚合多个节点的性能等级以确定聚合的性能等级;以及至少部分基于聚合的数据中心性能等级确定端对端数据中心性能等级。
示例23可包含示例22的主题,其中使所述设备还:至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;以及响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
示例24可包含示例17-21中任一示例的主题,其中使所述设备还:至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;以及响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
示例25可包含示例17的主题,其中使所述设备还:至少部分基于数据中心性能目标确定多个网络分段中每个分段的每网络分段性能目标;至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定多个网络分段中每个分段的网络分段性能等级;比较确定的每个网络分段性能等级与其对应网络分段性能预算;至少部分基于确定的网络分段性能等级与其对应网络分段性能预算的比较向与网络分段关联的节点发送争用定位命令;从发送争用定位命令的节点接收争用定位响应;以及向接收到争用定位响应的节点发送缓和命令。
示例26可包含用于控制计算的设备,包括:用于接收数据中心性能目标的部件;用于至少部分基于由与一个或多个节点关联的一个或多个服务质量监视硬件仪器从数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级的部件;用于比较确定的端对端数据中心性能等级与数据中心性能目标的部件;以及用于至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令的部件,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
示例27可包含示例26的主题,还包括:用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而发送争用定位命令的部件;以及用于接收争用定位响应的部件,其中用于发送所述缓和命令的部件也至少部分基于所述争用定位响应发送所述缓和命令。
示例28可包含示例27的主题,还包括:用于至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标的部件,其中用于确定端对端数据中心性能等级的部件包括用于至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定所述多个节点中每个节点的节点性能等级的部件,以及用于比较确定的每个节点性能等级与其对应节点性能目标的部件,其中用于发送争用定位命令的部件包括用于向性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令的部件,并且其中用于接收争用定位响应的部件包括用于从争用定位命令所发送到的每个节点接收争用定位响应的部件,并且其中用于发送缓和命令的部件包括用于向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令的部件。
示例29可包含示例26的主题,其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令的部件。
示例30可包含示例26的主题,其中用于接收数据中心性能目标的所述部件包括用于接收对应于多个服务等级协定的多个数据中心性能目标的部件,其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级的部件,并且其中用于比较的所述部件包括用于比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标的部件,其中用于发送缓和命令的所述部件包括用于向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令的部件,并且其中用于发送缓和命令的所述部件包括用于向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令的部件:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
示例31可包含示例26-30中任一示例的主题,其中用于确定端对端数据中心性能等级的所述部件包括:用于确定所述多个节点的性能等级的部件;以及用于聚合所述多个节点的所述性能等级以确定聚合的性能等级的部件,其中用于确定所述端对端性能等级的所述部件也至少部分基于所述聚合的性能等级确定所述端对端性能等级。
示例32可包含示例31的主题,其中用于发送缓和命令的所述部件包括用于向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令的部件:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令,并且其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
示例33可包含示例26-30中任一示例的主题,其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
尽管为了描述目的本文已经图示和描述了某些实施例,但打算实现相同目的的各种备选和/或等同实施例或实现可代替所示出和描述的实施例,而没有脱离本公开的范围。本申请打算涵盖本文讨论的实施例的任何修改或变型。因此,显然意图是,本文描述的实施例仅由权利要求书限制。
虽然本公开叙述了“一个”或“第一”元件或其等同物,但此类公开包含一个或多个此类元件,既不要求也不排除两个或更多此类元件。另外,所标识元件的序数指示(例如第一、第二或第三)用于区分这些元件,并不指示或暗示所需数量或所限制数量的此类元件,它们也不指示此类元件的具体位置或次序,除非另外明确声明。

Claims (24)

1.一种用于控制计算的设备,包括:
一个或多个处理器;
与所述一个或多个处理器耦合的存储器;
数据中心性能监视器,用于接收对应于服务等级协定的数据中心性能目标,至少部分基于由一个或多个服务质量监视硬件仪器对于所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级,所述一个或多个服务质量监视硬件仪器与所述一个或多个节点关联,并且比较确定的所述端对端数据中心性能等级与接收的所述数据中心性能目标;以及
缓和模块,由所述一个或多个处理器操作以至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的所述比较的结果发送缓和命令,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
2.如权利要求1所述的设备,还包括:争用定位模块,其由所述一个或多个处理器操作以响应于所述端对端数据中心性能等级与所述数据中心性能目标的比较而发送争用定位命令,其中所述争用定位模块还由所述一个或多个处理器操作以接收争用定位响应,并且其中所述缓和命令也至少部分基于所述争用定位响应。
3.如权利要求2所述的设备,还包括:性能分布模块,由所述一个或多个处理器操作以至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标,其中所述数据中心监视器至少部分基于与所述节点关联的一个或多个服务质量监视硬件仪器确定所述多个节点中每个节点的节点性能等级,并且比较确定的每个节点性能等级与其对应节点性能目标,其中所述争用定位模块向节点性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令,并从争用定位命令所发送到的每个节点接收争用定位响应,并且其中所述缓和模块向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令。
4.如权利要求1所述的设备,其中所述缓和模块响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令。
5.如权利要求1所述的设备,其中所述数据中心性能监视器接收对应于多个服务等级协定的多个数据中心性能目标,至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级,并且比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标,其中所述缓和模块向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令,并且其中所述缓和模块向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
6.如权利要求1-5中任一项所述的设备,其中所述数据中心性能监视器包括:
节点监视器,用于监视所述多个节点的性能等级;以及
节点聚合模块,由所述一个或多个处理器操作以聚合所述多个节点的所述性能等级来确定聚合的性能等级,
其中所述数据中心性能模块至少部分基于所述聚合的数据中心性能等级确定所述端对端数据中心性能等级。
7.如权利要求6所述的设备,其中所述一个或多个服务质量监视硬件仪器和所述一个或多个服务质量执行硬件仪器各包含同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制中的至少一个。
8.如权利要求1-5中任一项所述的设备,其中所述一个或多个服务质量监视硬件仪器和所述一个或多个服务质量执行硬件仪器各包含同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制中的至少一个。
9.一种用于计算的方法,包括:
由用于计算的设备接收数据中心性能目标;
由所述设备至少部分基于由一个或多个服务质量监视硬件仪器从所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级,所述一个或多个服务质量监视硬件仪器与所述一个或多个节点关联;
由所述设备比较确定的所述端对端数据中心性能等级与所述数据中心性能目标;以及
由所述设备至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
10.如权利要求9所述的方法,还包括:
由所述设备响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而发送争用定位命令;以及
由所述设备接收争用定位响应,其中发送所述缓和命令也至少部分基于所述争用定位响应。
11.如权利要求10所述的方法,还包括:
由所述设备至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标,其中由所述设备确定端对端数据中心性能等级包括至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定所述多个节点中每个节点的节点性能等级,并且比较确定的每个节点性能等级与其对应节点性能目标,其中由所述设备发送争用定位命令包括向性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令,并且其中由所述设备接收争用定位响应包括从争用定位命令所发送到的每个节点接收争用定位响应,并且其中由所述设备发送缓和命令包括向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令。
12.如权利要求9所述的方法,其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令。
13.如权利要求9所述的方法,其中由所述设备接收数据中心性能目标包括接收对应于多个服务等级协定的多个数据中心性能目标,其中由所述设备确定端对端数据中心性能等级包括至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级,并且其中由所述设备比较包括比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标,其中由所述设备发送缓和命令包括向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令,并且其中由所述设备发送缓和命令包括向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
14.如权利要求9-13中任一项所述的方法,其中由所述设备确定端对端数据中心性能等级包括:
确定所述多个节点的性能等级;以及
聚合所述多个节点的所述性能等级以确定聚合的性能等级,其中由所述设备确定所述端对端性能等级也至少部分基于所述聚合的性能等级。
15.如权利要求14所述的方法,其中由所述设备确定端对端数据中心性能等级包括至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
16.如权利要求9-13中任一项所述的方法,其中由所述设备确定端对端数据中心性能等级包括至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中由所述设备发送缓和命令包括响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
17.一种用于控制计算的设备,包括:
用于接收数据中心性能目标的部件;
用于至少部分基于由一个或多个服务质量监视硬件仪器从所述数据中心的多个节点收集的服务质量数据确定端对端数据中心性能等级的部件,所述一个或多个服务质量监视硬件仪器与所述一个或多个节点关联;
用于比较确定的所述端对端数据中心性能等级与所述数据中心性能目标的部件;以及
用于至少部分基于所述端对端数据中心性能等级与所述数据中心性能目标的比较结果发送缓和命令的部件,其中所述缓和命令被发送到所述节点中的一个或多个节点上的一个或多个服务质量执行硬件仪器。
18.如权利要求17所述的设备,还包括:
用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而发送争用定位命令的部件;以及
用于接收争用定位响应的部件,其中用于发送所述缓和命令的部件也至少部分基于所述争用定位响应发送所述缓和命令。
19.如权利要求18所述的设备,还包括:
用于至少部分基于所述数据中心性能目标确定所述多个节点中每个节点的节点性能目标的部件,其中用于确定端对端数据中心性能等级的部件包括用于至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定所述多个节点中每个节点的节点性能等级的部件,以及用于比较确定的每个节点性能等级与其对应节点性能目标的部件,其中用于发送争用定位命令的部件包括用于向性能等级被确定为在其对应节点性能目标以下的每个节点发送争用定位命令的部件,并且其中用于接收争用定位响应的部件包括用于从争用定位命令所发送到的每个节点接收争用定位响应的部件,并且其中用于发送缓和命令的部件包括用于向从其处接收到争用定位响应的节点中的至少一个节点发送节点缓和命令的部件。
20.如权利要求17所述的设备,其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以上而发送缓和命令的部件。
21.如权利要求17所述的设备,其中用于接收数据中心性能目标的所述部件包括用于接收对应于多个服务等级协定的多个数据中心性能目标的部件,其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于由一个或多个服务质量监视硬件仪器收集的服务质量数据确定对应于所述多个数据中心性能目标中每个目标的多个端对端数据中心性能等级的部件,并且其中用于比较的所述部件包括用于比较确定的每一个所述端对端数据中心性能等级与所述对应数据中心性能目标的部件,其中用于发送缓和命令的所述部件包括用于向运行对应于端对端数据中心性能等级被确定为小于其对应数据中心性能目标的工作负载的节点发送缓和命令的部件,并且其中用于发送缓和命令的所述部件包括用于向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令的部件:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令。
22.如权利要求17-21中任一项所述的设备,其中用于确定端对端数据中心性能等级的所述部件包括:
用于确定所述多个节点的性能等级的部件;以及
用于聚合所述多个节点的所述性能等级以确定聚合的性能等级的部件,其中用于确定所述端对端性能等级的所述部件也至少部分基于所述聚合的性能等级确定所述端对端性能等级。
23.如权利要求22所述的设备,其中用于发送缓和命令的所述部件包括用于向所述工作负载发送从包含如下指令的一组缓和命令中选择的至少一个缓和命令的部件:提供附加存储器的指令、提供附加处理器核的指令、提供附加网络带宽的指令、提供附加存储器带宽的指令、向服务不足的装置提供附加IO带宽的指令、使用SMTQoS提供附加的按线程资源的指令以及提供附加高速缓存空间的指令,并且其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
24.如权利要求17-21中任一项所述的设备,其中用于确定端对端数据中心性能等级的所述部件包括用于至少部分基于通过如下一个或多个机制收集的服务质量数据确定端对端数据中心性能等级的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制;并且其中用于发送缓和命令的所述部件包括用于响应于所述端对端数据中心性能等级被确定为在所述数据中心性能目标以下而至少部分基于如下一个或多个机制发送缓和命令的部件:同时多线程服务质量机制、L2高速缓存服务质量机制、L2外部带宽服务质量机制、互连服务质量机制、存储器带宽服务质量机制、输入/输出服务质量机制、末级高速缓存服务质量机制或网络服务质量机制。
CN201510813997.7A 2014-12-23 2015-11-23 端对端数据中心性能控制 Pending CN105743962A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/581,595 US9769050B2 (en) 2014-12-23 2014-12-23 End-to-end datacenter performance control
US14/581595 2014-12-23

Publications (1)

Publication Number Publication Date
CN105743962A true CN105743962A (zh) 2016-07-06

Family

ID=54703788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510813997.7A Pending CN105743962A (zh) 2014-12-23 2015-11-23 端对端数据中心性能控制

Country Status (5)

Country Link
US (1) US9769050B2 (zh)
EP (1) EP3038291B1 (zh)
JP (1) JP6278320B2 (zh)
KR (1) KR101782345B1 (zh)
CN (1) CN105743962A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018149272A1 (zh) * 2017-02-20 2018-08-23 华为技术有限公司 基于sla的资源分配方法和nfvo
CN110297710A (zh) * 2018-03-23 2019-10-01 畅想科技有限公司 用于多资源仲裁的公共优先级信息
WO2020034639A1 (en) * 2019-03-26 2020-02-20 Zte Corporation Method and apparatus for monitoring performance
CN112000298A (zh) * 2020-08-31 2020-11-27 北京计算机技术及应用研究所 基于io加权公平排队的存储服务质量保障系统
CN112075056A (zh) * 2018-05-03 2020-12-11 诺基亚通信公司 用于测试网络服务的方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9817684B2 (en) * 2012-10-16 2017-11-14 Intel Corporation Cross-function virtualization of a telecom core network
US10291472B2 (en) 2015-07-29 2019-05-14 AppFormix, Inc. Assessment of operational states of a computing environment
US10581687B2 (en) 2013-09-26 2020-03-03 Appformix Inc. Real-time cloud-infrastructure policy implementation and management
US20160261523A1 (en) * 2015-03-06 2016-09-08 Apollo Education Group, Inc. Dynamically tuning system components for improved overall system performance
US9838272B2 (en) * 2015-04-13 2017-12-05 Ciena Corporation Service enhancement discovery for connectivity traits and virtual network functions in network services
US9942631B2 (en) * 2015-09-25 2018-04-10 Intel Corporation Out-of-band platform tuning and configuration
US10541900B2 (en) * 2016-02-01 2020-01-21 Arista Networks, Inc. Hierarchical time stamping
US9967136B2 (en) * 2016-03-28 2018-05-08 Dell Products L.P. System and method for policy-based smart placement for network function virtualization
US10491688B2 (en) * 2016-04-29 2019-11-26 Hewlett Packard Enterprise Development Lp Virtualized network function placements
WO2018028781A1 (en) * 2016-08-10 2018-02-15 NEC Laboratories Europe GmbH Method for managing computational resources of a data center
US10534712B1 (en) * 2016-08-29 2020-01-14 Infinidat Ltd. Service level agreement based management of a pre-cache module
US11064019B2 (en) * 2016-09-14 2021-07-13 Advanced Micro Devices, Inc. Dynamic configuration of inter-chip and on-chip networks in cloud computing system
US10331485B2 (en) * 2016-11-18 2019-06-25 Huawei Technologies Co., Ltd. Method and system for meeting multiple SLAS with partial QoS control
US20180173547A1 (en) * 2016-12-20 2018-06-21 Intel Corporation Pinning of virtual network function (vnf) deployments using hardware metrics
US11005968B2 (en) * 2017-02-17 2021-05-11 Intel Corporation Fabric support for quality of service
US11068314B2 (en) * 2017-03-29 2021-07-20 Juniper Networks, Inc. Micro-level monitoring, visibility and control of shared resources internal to a processor of a host machine for a virtual environment
US10355912B2 (en) 2017-04-06 2019-07-16 At&T Intellectual Property I, L.P. Network trouble shooting digital assistant system
US11323327B1 (en) 2017-04-19 2022-05-03 Juniper Networks, Inc. Virtualization infrastructure element monitoring and policy control in a cloud environment using profiles
KR101889657B1 (ko) * 2017-04-27 2018-08-20 서울대학교산학협력단 빅데이터 워크로드 처리를 위한 메모리 서브시스템 자원 관리 방법
US10958990B2 (en) * 2017-05-03 2021-03-23 Intel Corporation Trusted platform telemetry mechanisms inaccessible to software
US11500681B2 (en) * 2017-06-29 2022-11-15 Intel Corporation Technologies for managing quality of service platform interconnects
CN111095900B (zh) * 2017-09-05 2023-03-31 诺基亚通信公司 用于分布式云环境中sla管理的方法和装置
CN109756356B (zh) 2017-11-07 2021-09-21 华为技术有限公司 设备升级方法及装置
US11016746B2 (en) 2018-01-17 2021-05-25 Kymeta Corporation Method and apparatus for remotely updating satellite devices
KR102062332B1 (ko) * 2018-04-03 2020-01-03 서울대학교산학협력단 처리 시간에 민감한 워크로드에 대한 메모리 대역폭 할당 방법 및 장치
KR102025426B1 (ko) 2018-05-11 2019-09-25 한국전자통신연구원 Sdn 기반의 통신 노드에서의 트래픽 과적에 따른 서비스 품질 저하를 해소하기 위한 대역폭 제어 방법 및 장치
US11431648B2 (en) 2018-06-11 2022-08-30 Intel Corporation Technologies for providing adaptive utilization of different interconnects for workloads
EP3609128A1 (en) 2018-08-07 2020-02-12 Siemens Aktiengesellschaft Communication system, provider node, communication node and method for providing a virtual network function to a customer node
US11888710B2 (en) * 2018-09-25 2024-01-30 Intel Corporation Technologies for managing cache quality of service
US10831543B2 (en) * 2018-11-16 2020-11-10 International Business Machines Corporation Contention-aware resource provisioning in heterogeneous processors
US10887196B2 (en) * 2018-11-28 2021-01-05 Microsoft Technology Licensing, Llc Efficient metric calculation with recursive data processing
CN109710270A (zh) * 2018-12-29 2019-05-03 北京神州绿盟信息安全科技股份有限公司 一种安全应用交付方法、装置以及存储介质
SG11202108341TA (en) * 2019-02-27 2021-09-29 Singapore Telecommunications Ltd System for optimising data communication
US11099999B2 (en) * 2019-04-19 2021-08-24 Chengdu Haiguang Integrated Circuit Design Co., Ltd. Cache management method, cache controller, processor and storage medium
US11115284B1 (en) * 2020-03-31 2021-09-07 Atlassian Pty Ltd. Techniques for dynamic rate-limiting
US11494081B2 (en) 2020-10-09 2022-11-08 Seagate Technology Llc System and method for using telemetry data to change operation of storage middleware client of a data center
US11700304B2 (en) * 2020-11-19 2023-07-11 Deixis, PBC Confirmation of service levels via distributed ledgers
LU500282B1 (en) * 2021-06-16 2022-12-16 Microsoft Technology Licensing Llc Dynamic performance monitoring virtualization support
US11733729B2 (en) * 2021-09-27 2023-08-22 International Business Machines Corporation Centralized imposing of multi-cloud clock speeds
CN114760221B (zh) * 2022-03-31 2024-02-23 深信服科技股份有限公司 一种业务监控方法、系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089014A1 (en) * 2001-04-26 2002-11-07 Creekpath Systems, Inc. A system for global and local data resource management for service guarantees
US20050131982A1 (en) * 2003-12-15 2005-06-16 Yasushi Yamasaki System, method and program for allocating computer resources
US20090222553A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Monitoring network performance to identify sources of network performance degradation
US20140095691A1 (en) * 2012-09-28 2014-04-03 Mrittika Ganguli Managing data center resources to achieve a quality of service
CN104113585A (zh) * 2013-04-19 2014-10-22 国际商业机器公司 用于产生指示负载平衡状态的硬件级中断的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2001502A (en) 1934-05-05 1935-05-14 Spencer White & Prentis Inc Excavating, hoisting, dumping, and conveying apparatus
US7877435B2 (en) 2002-06-20 2011-01-25 International Business Machines Corporation Method and system for transaction pipeline decomposition
JP3916652B2 (ja) 2006-10-20 2007-05-16 株式会社日立製作所 リソース割り当てシステム、方法及びプログラム
US8190930B2 (en) 2009-03-30 2012-05-29 Intel Corporation Methods and apparatuses for controlling thread contention
US20150263906A1 (en) * 2014-03-14 2015-09-17 Avni Networks Inc. Method and apparatus for ensuring application and network service performance in an automated manner

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089014A1 (en) * 2001-04-26 2002-11-07 Creekpath Systems, Inc. A system for global and local data resource management for service guarantees
EP1381977A1 (en) * 2001-04-26 2004-01-21 Creekpath Systems, Inc. A system for global and local data resource management for service guarantees
US20050131982A1 (en) * 2003-12-15 2005-06-16 Yasushi Yamasaki System, method and program for allocating computer resources
US20090222553A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Monitoring network performance to identify sources of network performance degradation
US20140095691A1 (en) * 2012-09-28 2014-04-03 Mrittika Ganguli Managing data center resources to achieve a quality of service
CN104113585A (zh) * 2013-04-19 2014-10-22 国际商业机器公司 用于产生指示负载平衡状态的硬件级中断的方法和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018149272A1 (zh) * 2017-02-20 2018-08-23 华为技术有限公司 基于sla的资源分配方法和nfvo
CN108462592A (zh) * 2017-02-20 2018-08-28 华为技术有限公司 基于sla的资源分配方法和nfvo
CN110297710A (zh) * 2018-03-23 2019-10-01 畅想科技有限公司 用于多资源仲裁的公共优先级信息
CN110297710B (zh) * 2018-03-23 2022-05-10 畅想科技有限公司 用于多资源仲裁的公共优先级信息
US12008397B2 (en) 2018-03-23 2024-06-11 Imagination Technologies Limited Common priority information for multiple resource arbitration
CN112075056A (zh) * 2018-05-03 2020-12-11 诺基亚通信公司 用于测试网络服务的方法
WO2020034639A1 (en) * 2019-03-26 2020-02-20 Zte Corporation Method and apparatus for monitoring performance
CN112000298A (zh) * 2020-08-31 2020-11-27 北京计算机技术及应用研究所 基于io加权公平排队的存储服务质量保障系统
CN112000298B (zh) * 2020-08-31 2024-04-19 北京计算机技术及应用研究所 基于io加权公平排队的存储服务质量保障系统

Also Published As

Publication number Publication date
EP3038291A1 (en) 2016-06-29
US20160182345A1 (en) 2016-06-23
KR101782345B1 (ko) 2017-09-27
EP3038291B1 (en) 2019-10-02
KR20160076969A (ko) 2016-07-01
JP2016119064A (ja) 2016-06-30
JP6278320B2 (ja) 2018-02-14
US9769050B2 (en) 2017-09-19

Similar Documents

Publication Publication Date Title
CN105743962A (zh) 端对端数据中心性能控制
EP3637733B1 (en) Load balancing engine, client, distributed computing system, and load balancing method
US10250525B2 (en) Intent-based services orchestration
US9755990B2 (en) Automated reconfiguration of shared network resources
US8863138B2 (en) Application service performance in cloud computing
Ashok et al. Vehicular cloud computing through dynamic computation offloading
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
WO2016119412A1 (zh) 一种云平台上的资源伸缩方法和一种云平台
WO2018194836A1 (en) Systems and methods for proactively and reactively allocating resources in cloud-based networks
JP2015056182A5 (zh)
WO2019091387A1 (en) Method and system for provisioning resources in cloud computing
CN107689882A (zh) 一种虚拟化网络中业务部署的方法和装置
US10944581B2 (en) Increasing processing capacity of processor cores during initial program load processing
US10931548B1 (en) Collecting health monitoring data pertaining to an application from a selected set of service engines
US10454844B2 (en) Dynamic capacity planning for application delivery platform across multiple cloud deployment
KR20150009662A (ko) 가상 데스크톱 서비스 제공 방법 및 장치
US20200319890A1 (en) Increasing resources for partition to compensate for input/output (i/o) recovery event
US10884845B2 (en) Increasing processing capacity of processor cores during initial program load processing
CN107888717A (zh) 一种域名确定方法、装置及电子设备
KR20170120335A (ko) 네트워크 기능 가상화 시스템 상의 컴퓨팅 리소스 관리 장치 및 방법
CN112422440A (zh) 一种应用于服务器的流量控制方法以及相关装置
CN114625500A (zh) 云环境下拓扑感知的微服务应用调度的方法及应用
US10884818B2 (en) Increasing processing capacity of virtual machines
CN109729113A (zh) 管理专用处理资源的方法、服务器系统和计算机程序产品
Carvalho et al. Edge servers placement in mobile edge computing using stochastic Petri nets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706

RJ01 Rejection of invention patent application after publication