CN106817243A - 服务器资源的管理系统及其管理方法 - Google Patents

服务器资源的管理系统及其管理方法 Download PDF

Info

Publication number
CN106817243A
CN106817243A CN201510952387.5A CN201510952387A CN106817243A CN 106817243 A CN106817243 A CN 106817243A CN 201510952387 A CN201510952387 A CN 201510952387A CN 106817243 A CN106817243 A CN 106817243A
Authority
CN
China
Prior art keywords
virtual machine
resource
server
efficiency
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510952387.5A
Other languages
English (en)
Inventor
李恩齐
陈俊宏
洪建国
陈文广
方天戟
李振忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN106817243A publication Critical patent/CN106817243A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0895Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H04L41/0897Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities by horizontal or vertical scaling of resources, or by migrating entities, e.g. virtual resources or entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种服务器资源的管理系统及管理方法,用以管理多个服务器的资源,该方法包括下列步骤:由一资源状态监测器,收集该等服务器内各资源的各效能监测数据及该等服务器内多个虚拟机器的运行状态数据;由一异常分析与判断器,分析该等运行状态数据及该等效能监测数据,以在判断该等虚拟机器内有一效能异常的虚拟机器时,自动发出一触发信号;以及由一资源调配器,相应该触发信号,自动对该效能异常的虚拟机器执行一处理,其中该处理包括对该效能异常的虚拟机器进行一限制处理、一移转处理以及一资源调配的至少其中一动作。

Description

服务器资源的管理系统及其管理方法
技术领域
本发明涉及资源管理系统及其方法,特别涉及一种可用以管理多个台服务器与虚拟机器的服务器资源的管理系统及其方法。
背景技术
近年来,随着科技快速进展,计算机系统的虚拟化技术已经变得相当盛行。虚拟化技术已经成为云端运算基础建设服务(IaaS)的技术主流之一,各家厂商为提供不间断的虚拟机器租用服务以达到高度服务层级协议(ServiceLevel Agreement,SLA)的目标,为确保服务正常,大多数服务提供者会在机房安装监控软件,除监控运行的效能是否正常,甚至预判异常情形的发生,并在问题发生前可在第一时间做出补救措施。监控软件的监控范围包含软硬件的效能监控、设备异常监控或者是数据安全等。监测项目可区分可分为单一监控与多项目监控,单一监控软件会有其专注的项目,如专注于监控网络流量分组分析或监控与维护SAS接口的存储设备,而多项目则提供常见的效能监控,如虚拟机器CPU、存储器与硬盘读写等效能。
一般采用免费监控软件的目的以降低成本为考量,因整合性监控软件的费用高昂,成本较高且企业监控的目的不一,多数企业只使用到部分监控项目,降低整合监控的效益,若采用多套的免费监控软件可满足基本的监控需求,则可能会偏向采取免费监控软件。此外,为确保整体运行正常而安装多套监控软件,除互为备援外,亦提供更详细的监控信息。因此,不同监控软件间的整合就成为必须解决的课题,管理者必须进行多套监控软件的安装设定,再按时开启多套监控软件进行信息检视与监控,对此造成管理者监控上需耗费大量的时间与心力。此外,许多免费监控软件提供强大监控功能,但却缺少告警或须再额外安装主动告警的功能,管理者无法在异常时及时发现并进行后续紧急处置,往往造成异常处理的时间延宕。
发明内容
本发明一实施例提供一种服务器资源的管理方法,用以管理多个服务器的资源,包括下列步骤:由一资源状态监测器,收集该等服务器内各资源的各效能监测数据及该等服务器内多个虚拟机器的运行状态数据;由一异常分析与判断器,分析该等运行状态数据及该等效能监测数据,以在判断该等虚拟机器内有一效能异常的虚拟机器时,自动发出一触发信号;以及由一资源调配器,相应该触发信号,自动对该效能异常的虚拟机器执行一处理,其中该处理包括对该效能异常的虚拟机器进行一限制处理、一移转处理以及一资源调配的至少其中一动作。
本发明另一实施例提供一种服务器资源的管理系统,包括多个服务器、多个虚拟机器以及一管理装置。虚拟机器分别设置在服务器中。管理装置通过一网络耦接于服务器,包括一资源状态监测器、一异常分析与判断器以及一资源调配器。资源状态监测器耦接服务器,用以收集服务器内各资源的各效能监测数据及虚拟机器内的运行状态数据。异常分析与判断器耦接资源状态监测器,用于分析收集的运行状态数据及效能监测数据,以判断虚拟机器内是否有效能异常的虚拟机器,并在判断有效能异常的虚拟机器时,自动发出一触发信号。资源调配器耦接异常分析与判断器,相应触发信号,自动对效能异常的虚拟机器执行一处理,其中处理包括对效能异常的虚拟机器进行一限制处理、一移转处理以及一资源调配的至少其中一动作。
本发明的方法可经由本发明的系统来实作,其为可执行特定功能的硬件或固件,也可以通过程序代码方式收录于一记录介质中,并结合特定硬件来实作。当程序代码被电子装置、处理器、计算机或机器载入且执行时,电子装置、处理器、计算机或机器变成用以实行本发明的装置或系统。
附图说明
图1显示本发明一实施例的服务器资源的管理动态资源管理系统的示意图。
图2显示本发明一实施例的服务器资源的管理方法的流程图。
图3显示本发明一实施例的资源分区的示意图。
图4显示本发明一实施例的移转处理的示意图。
图5A与图5B显示本发明另一实施例的动态资源管理方法的示意图。
【符号说明】
10~服务器资源的管理系统;
100~虚拟机器群组;
102、104、106、108、110~虚拟机器;
202、204、206、208~服务器;
300~网络;
400~管理装置;
402~资源状态监测器;
404~异常分析与判断器;
406~资源调配器;
408~数据库;
S202、S204、S206~执行步骤;
P1、P2、P3~资源分区;以及
S502、S504、…、S532~执行步骤。
具体实施方式
为使本发明的上述和其他目的、特征、和优点能更明显易懂,下文特举出优选实施例,并配合附图,作详细说明如下。注意的是,本章节所叙述的是实施本发明的最佳方式,目的在于说明本发明的精神而非用以限定本发明的保护范围,应理解下列实施例可经由软件、硬件、固件、或上述任意组合来实现。
本发明实施例提供一种服务器资源的管理系统及其服务器资源的管理方法,可通过监测与处置方式,收集服务器与虚拟机器的各项数据,当出现异常时,依照虚拟机器运行服务与虚拟分区搭配运行资源的比重为依据,自动完成后续自动化处理例如限制与移转等操作,以全自动方式降低人为操作错误排除或处理时间的延宕,可达到有效管理与有效降低处理过程延误所造成的损失影响。
图1显示本发明一实施例的服务器资源的管理系统10的示意图。如图1所示,服务器资源的管理系统10(以下简称管理系统10)包括至少一虚拟机器群组100、多台服务器202、204、206及208以及一管理装置400。虚拟机器群组100包括多个虚拟机器102、104、106、108、110,其中每一虚拟机器可执行一至数个运算程序或应用程序以运行或提供特定的服务。其中,虚拟机器102、104、106、108、110分别配置在服务器202、204、206及208之中且每一虚拟机器可分别对应至其中一服务器来运行,而每一服务器可包括一或多个虚拟机器。举例来说,在一实施例中,虚拟机器102可配置在服务器202上,虚拟机器104可配置在服务器204上,虚拟机器106可配置在服务器206及虚拟机器108与110可配置在服务器208上,但本发明并不限于此。具体来说,虚拟机器102配置在服务器202上表示虚拟机器102会在服务器202上启动并利用服务器202上的各项系统资源如处理器、存储器等运行指定的服务或应用程序。服务器202、204、206及208可通过一物理网络300例如有线网络如互联网和/或无线网络例如宽带码分多工接入系统(WCDMA)网络、3G网络、无线局域网络(WLAN)、蓝牙网络等等各种无线网络来连线至管理装置400,用以与管理装置400执行彼此之间的通信与数据传输。
管理装置400可用以通过网络300对服务器202、204、206及208进行各项管理,包括如收集各服务器内的各项效能监测数据以及各虚拟机器的运行状态、分配虚拟机器的位置等等。举例来说,效能监测数据可包括软硬件的效能监控、设备异常监控或者是数据安全例如虚拟机器CPU、存储器与硬盘读写等效能等,虚拟机器的运行状态则用以表示虚拟机器的运作情形。详细的效能监测数据以及虚拟机器的运行状态与分配细节将在下进行说明。管理装置400包括至少一资源状态监测器402、一异常分析与判断器404、一资源调配器406以及一数据库408。资源状态监测器402耦接虚拟机器102-110,可用以收集所有服务器202-208内与虚拟机器102-110内的各项所需数据。异常分析与判断器404耦接资源状态监测器402,可用于对资源状态监测器402所收集到的数据进行分析并进行异常判断。资源调配器406耦接异常分析与判断器404,可在异常分析与判断器404判断出有异常发生时,自动对异常的虚拟机器执行指定的后续处理。数据库408可用以存储各项数据,例如欲监测的资源项目数据、产品知识数据以及包括异常的触发条件定义的异常诊断规则数据,用以提供作为数据收集与异常判断的准则,以供异常判断与处理器404根据收集到的运行状态数据及效能监测数据判断虚拟机器内是否有效能异常的虚拟机器。具体来说,管理装置400可控制资源状态监测器402、一异常分析与判断器404以及资源调配器406的运作来执行本申请的服务器资源的管理方法,其细节将在后进行说明。
然而,本领域技术人员应可理解本发明并不限于此。例如,管理系统10亦能包括多个虚拟机器群组,其中每一虚拟机器群组皆具有对应的资源状态监测器以及多个虚拟机器,管理装置也可设置在服务器202-208的其中一台或设置为另一台独立的服务器。此外,服务器的数目与虚拟机器的数目也可依实际需求与架构任意调整。本领域技术人员应可理解本发明的管理装置400、资源状态监测器402、异常分析与判断器404以及资源调配器406等元件可具有足够的硬件电路、元件和/或配合的软件、固件及其组合来实现各项所需的功能。
图2显示一依据本发明实施例的服务器资源的管理方法的流程图。请同时参照图1与图2。依据本发明实施例的服务器资源的管理方法可以适用于图1的管理系统10,可用以藉由管理装置400远端管理各服务器与各虚拟机器。
在步骤S202中,资源状态监测器402周期性地收集各服务器内各资源的效能监测数据及各虚拟机器的运行状态数据。举例来说,资源状态监测器402可针对服务器内各资源的效能及各虚拟机器的运行状态提供基本的监控,例如:包含虚拟机器处理器的使用率(VM CPU Usage)、存储器使用压力(MemoryUsage Pressure)、每秒硬盘读写的数据量(Disk Read/Write Data per Second)与网络每秒发收的数据量(Network Sent/Received Data per Second)、特定应用程序的存储器使用空间监控,如:MySQL DB的存储器使用量等,通过资源监控机制取得数据后存入数据库408中,以完成监控数据的收集。在一实施例中,数据库408可事先存储有监控数据,用以定义要监控那些项目以及那些状态等,资源状态监测器402则依据此资源状态监测器402可针对服务器内各资源的效能及各虚拟机器的运行状态收集服务器内的效能监测数据及各虚拟机器内的运行状态数据。在另一实施例中,为确保监控软件与其监控项目的支持可进行弹性扩充,本发明更提供汇入产品知识程序库的扩充方式来提供监控数据,通过简易操作管理组件的汇入,可将监控软件的监控项目、监控目标与数值单位如监控虚拟机器心跳率(Heartbeat)、网络异常分组与CPU温度检测等等数据提供给资源状态监测器402,使资源状态监测器依汇入的监控信息进行管理系统10中的监控项目收集。
在步骤S204中,异常分析与判断器404分析收集到的运行状态数据及效能监测数据,据此判断虚拟机器内是否有效能异常的虚拟机器,并在判断有效能异常的虚拟机器时,自动发出一触发信号。具体来说,数据库408中可预先设定有调节设定定义数据,异常分析与判断器404可依据调节设定定义数据,得到异常的触发条件以调节异常判断。调节设定定义数据用以定义异常事件的触发条件,可针对每个监测项目设定一触发条件,例如可对监测的虚拟机器的基本效能包括虚拟机器CPU使用率(VM CPU Usage)、存储器使用压力(Memory Usage Pressure)、每秒硬盘读写的数据量(Disk Read/Write Dataper Second)与网络每秒发收的数据量(Network Sent/Received Data per Second)等设定一上限值,当发现其中某一项目达到上限值,便表示发生效能异常。例如,当虚拟机器的网络发送流量超过多少Mbps并且持续几分钟时会占用服务器过多流量,进而导致其他虚拟机器服务中断时可判断为效能异常。在一实施例中,假设效能监测数据包括各服务器的整体与CPU温度、硬盘空间与健康状态,则当一服务器的CPU温度高于一上限度数(例如:超过50度以上)或者硬盘健康状态异常(例如:硬盘坏轨数超过10个)时,即判定异常,此时异常分析与判断器404可认定该服务器须进行维修而不再运行任何虚拟机器。当某一虚拟机器运行的资源不足够或其触发条件已符合时,异常分析与判断器404可判定其为效能异常的虚拟机器,并且在判定有效能异常的虚拟机器时,自动发出一触发信号。此触发信号将发送至资源调配器406。
当收到异常分析与判断器404所发出的触发信号时,在步骤S206中,资源调配器406相应触发信号,自动执行限制处理、移转处理、资源调配的至少其中之一动作。具体来说,资源调配器406可依据管理者预先定义的触发资源调节的条件,提供主动告警与虚拟机器移转机制,依照现行资源使用与服务器效能配合资源使用权重的概念来进行后续的处理,亦即,选择性执行限制处理、移转处理、资源调配等动作,以完成自动化调节资源的目标。其中,限制处理对该效能异常的虚拟机器进行资源限制的动作,移转处理将效能异常的虚拟机器搬移至一移转服务器运行,资源调配对效能异常的虚拟机器进行资源调配的动作。
针对限制处理,资源调配器406会自动判断效能异常的虚拟机器的类型,并依据其类型,进行资源的限制,设定资源使用的上限值。例如,若该虚拟机器属于可限制流量的机器,当异常发生时,可对流量作上下限的设定,例如可针对硬盘设定每秒的读写次数(Input/Output Operations Per Second,IOPS)与网络流量设定服务质量参数(QoS),限制流量的上限值,确保不会影响到该服务器上的其他虚拟机器。其中,IOPS表示计算机存储装置(如硬盘(HDD)、固态硬盘(SSD)或存储局域网络(SAN))的效能测试的测量方式,单位为每秒的读写次数。
在一实施例中,资源调配器406进行移转处理自效能异常的虚拟机器所在的服务器(例如:服务器202)以外的服务器中,找出一移转服务器(例如:服务器204)以及将效能异常的虚拟机器移转至移转服务器上运行。具体来说,资源调配器406可持续检测触发信号中所表示的异常项目,异常项目持续发生例如当虚拟机器面对突发的效能需求持续的发生如CPU使用率持续超过80%会判定为异常,自动触发移转机制,判定该虚拟机器运行的服务,依据该虚拟机器的运算资源需求从剩余的服务器中找出一最佳的移转服务器,以确保运行效能。
在一实施例中,资源调配器406进行资源调配针对效能异常的虚拟机器所在的服务器进行资源调配的动作。举例来说,假设效能异常的虚拟机器在服务器202上运行,则资源调配器406可重新分配服务器202上的其他虚拟机器的运行资源,以使效能异常的虚拟机器重新获得足够的运行资源。
在一些实施例中,为了使虚拟机器运作效能与物理机器(例如:服务器)可运作的虚拟机器数目上取得平衡,本发明更提供关于资源分区设定管理机制。资源分区设定管理依资源使用需求,建立数个资源分区,再对每个资源分区分别设定不同的触发条件。资源调配器406可参考资源分区设定管理,依据资源权重与效能需求,建立多个资源分区,并依据效能异常的虚拟机器所在的资源分区信息进行上述处理。资源分区信息会记录每个虚拟机器是在那个资源分区中。
举例来说,参见图3,显示本发明一实施例的资源分区的示意图。如图3,资源分区可分为高可用性资源区P1、标准可用性区P2与节能分区P3,其中,服务器202与虚拟机器102属于高可用性资源区P1,服务器204、206与虚拟机器104与106属于标准可用性区P2,服务器208与虚拟机器108与116则属于节能分区P3。每分区P1-P3具有不同的资源调节设定,会对资源调节设定上下限,如网络I/O读取不超过10GB等,并且每个资源分区对异常事件触发的定义都有不同的容忍范围。举例来说,高可用性资源区P1可用以提供一般虚拟机器运行,其服务器的硬盘采用丛集的设定,并且要求资源(例如:CPU、存储器与网络读写流量)较为平均,但对于CPU与存储器的要求会优于硬盘I/O效能。此外,若虚拟机器运行网络相关服务,其网络I/O特别要求,如运行网页、DHCP或Active Directory(AD)网域服务等,故像这类型的服务器在做数据调整时,不能过于集中在同一服务器上,且服务器上运行的虚拟机器不能过多。
标准可用性区P2的服务器的硬盘则不采用丛集的设定,每台服务器彼此独立运行,因此服务器的硬盘I/O不会彼此影响,其较丛集区更适合硬盘I/O的效能优先的服务,尤其为运行数据库(Database)的虚拟机器的硬盘高I/O需求。
节能分区P3则依据一节能策略或节能规则,对节能分区P3中的服务器进行节能控制。举例来说,在一实施例中,节能策略可包括在一指定时间中(例如:晚上时),将节能分区P3中的虚拟机器集中至少数台服务器中运行,以达到节能目的。具体来说,资源调配器406可将对白天有特别的效能需求或其效能或运算需求会较晚上高的虚拟机器,例如:虚拟机器服务的备援或提供虚拟桌面基础(Virtual Desktop Infra-structure,VDI)服务的虚拟机器,将其通过移转方式集中在节能分区P3,依管理者设定的固定时间,将未运行虚拟机器的服务器进行自动暂停或减少流量与硬盘存取的数量,达到节能目的。举例来说,在节能分区P3的服务器中运行的虚拟机器对白天对运算资源的需求较高,晚上对运算资源的需求较低,因此在晚上的时候,资源调配器406可自动将节能分区P3中的虚拟机器集中在某几台服务器上,让该分区其它服务器进入休眠状态,以节省电源。
异常分析与判断器404可依数据库408中的资源设定定义数据与资源分区管理设定数据,例如:虚拟机器使用目的与安装的虚拟机器内的应用程序类型,以及配合调节设定定义所判定的健康情况,判定各虚拟机器是否为异常,并自动判断异异常项目持续时间,当异常发生,且重复次数与持续时间超出预期值时,会自动发出触发信号或开启告警通知。
资源调配器406会再依异常状况,提供前述自动处理方式。具体来说,资源调配器406会依据异常判断结果,进行三种处理模式。第一种处理为限制处理,在虚拟机器突然异常的情况下,有可能是受攻击导致数据处理流量突然变多,即时的对数据流量设定限制,以保护其它虚拟机器可运作正常。在一实施例中,资源调配器406可在同一资源分区进行上述限制处理。第二种处理为移转处理,针对持续发生的异常现象,重新分配分区与选择适当的服务器,相反地,针对不符合该分区要求的虚拟机器,重新分配到适合分区与适当的服务器。第三种处理为资源调配,可在同一分区内,进行资源调整。
在一实施例中,资源调配器406进行限制处理限制效能异常的虚拟机器的至少一资源使用并在再次检测到该异常解除后,解除效能异常的虚拟机器的资源使用的限制。在一些实施例中,资源调配器406进行限制处理将效能异常的虚拟机器的运行参数自一第一运行参数调整为一第二运行参数,并在再次检测到异常解除后,还原效能异常的虚拟机器的运行参数为第一运行参数。藉由上述的运行参数调整,可对效能异常的虚拟机器的服务器提供特定资源使用上的限制,以保护服务器,使其能正常运行其他虚拟机器。举例来说,资源调配器406可自动判断效能异常的虚拟机器的类型与所在的资源分区设定,若该虚拟机器属于可限制流量的机器,当异常发生时,可依前述方式进行限制处理,对其使用资源例如流量作上下限的设定,以确保不会影响到该服务器上的其他虚拟机器。藉此,当运行网络服务的虚拟机器受到网络攻击造成突发性的大量网络流量时,可通过设定IOPS与QoS来限制网络流量,等到预设的等待时间过后,若判断已恢复正常再自动恢复成原来的IOPS与QoS设定,可避免整个系统遭到恶意破坏或骇客攻击。
在一实施例中,资源调配器406更在进行移转处理时,依据效能异常的虚拟机器的运行服务类型及运行所需资源,决定优先移转至该等资源分区中的那个资源分区。举例来说,针对移转处理,资源调配器406可自动依于虚拟机器面对突发的效能需求持续的发生,自动触发移转机制。例如,当某一虚拟机器的CPU使用率持续超过80%则判定为效能异常的虚拟机器,须做移转以去确保运行效能,代表该虚拟机有高运算需求,则第一步可先判定该虚拟机器运行的服务,适合运行于高可用性分区P1(亦即:网络流量I/O优先)或标准可用分区P2(亦即:硬盘I/O优先),再依以下的运算公式取得该分区整体分数最高的服务器作为最佳的移转服务器:
项目分数=服务器资源权重*资源阈值*效能比例;
整体分数=CPU项目分数+存储器项目分数+硬盘项目分数+网络流量项目分数,
其中,服务器资源权重依据服务器各项资源(硬件设备)的效能事先设定一权重,效能越高的资源可设定更高的权重。举例来说,以硬盘读写效能为例,SAS优于SATA再优于IDE,网络流量为10Gbps网卡带宽较1Gbps和100Mbps可提供更快得网络收发流量,故SAS的硬盘的权重会高于SATA的。资源阈值为虚拟机器异常的资源,例如:虚拟机器CPU使用率过高,故移转的服务器在其余资源满足运行需求下,须能提供更好得CPU效能,若为服务器异常,则该项为1。效能比例为该服务器自身运行的效能,其运算公式为:
举例来说,假设三台服务器的CPU使用率分别为60%、70%与80%时,则三台服务器的效能比例为1+(80-60)/80=1.25、1+(80-70)/80=1.125、以及1+(80-80)/80=1。之后,资源调配器406可根据前述公式的运算结果从剩余的服务器中找出一最佳的服务器作为移转服务器,并将效能异常的虚拟机器搬移至该移转服务器上执行。关于移转处理的例子请参见图4。
图4显示一依据本发明实施例的移转处理的示意图。如图4所示,一开始时,虚拟机器102与104配置在服务器202上,虚拟机器108与110可配置在服务器204上。假设虚拟机器102的CPU使用率持续超过80%超过一段既定时间,则异常分析与判断器404将判定虚拟机器102为效能异常的虚拟机器并发出触发信号,使资源调配器406相应触发信号中的异常项目数据判定须做移转以去确保运行效能,因此资源调配器406便根据前述运算公式找出适合进行移转的服务器,在此例中为服务器204,并且将虚拟机器102移转至服务器204上。
在一实施例中,资源调配器406可在将效能异常的虚拟机器移转至移转服务器上运行之后,等待一既定等待时间,并在既定等待时间过后,判断效能异常的虚拟机器是否恢复正常。当虚拟机器移转完成之后,资源调配器406可更进一步进行一网络确认的机制与进行停止处置的等待时间设定,例如:网络确认机制包括VLan、IP Ping与服务Port的确认,以确保移转后的网络正常,此外,为减少移转后效能降至正常而造成再次运算进行移转,导致环境出现多余且无意义的移转操作,反而影响服务器间整体效能,故等待自动化移转完成后则进行停止处置的等待时间,例如:预设为1小时,这段等待时间中将只做效能监控而不执行预先定义的异常处理机制。
图5A及图5B是以流程图举例说明管理系统10的服务器资源的管理方法。
首先,在步骤S502中,资源状态监测器402与异常分析与判断器404分别自数据库408取得监控数据与触发条件;接着,在步骤S504中,资源状态监测器402依据监控数据中所表示的欲监测项目,收集各服务器内各资源的效能监测数据及各虚拟机器的运行状态数据;在步骤S506中,异常分析与判断器404分析资源状态监测器402所收集到的各项数据并与步骤S502中所取得的触发条件进行比较,判断是否有符合的触发条件。若是,发出触发信号,进入步骤S508;若否,回到步骤S504重新收集数据与后续比对。
在步骤S508中,资源调配器406准备进行异常处理,先判断效能异常的虚拟机器运行服务,以得知其资源需求,包括虚拟机器所在的分区信息、运行服务的类型与所需资源等等,接着,在步骤S510中,根据判断结果或预设的处理机制,进行限制处理或移转处理。当判断结果为需执行步骤S512的限制处理时,进入步骤S514至S518;当判断结果为需执行步骤S520的移转处理时,进入图5B所示的步骤S522至S532。
在步骤S514的限制处理流程中,资源调配器406调整该效能异常的虚拟机器的设定数据,对其使用资源例如流量作上下限的设定,例如:调整IOPS或QoS设定数据来限制网络流量;之后,在步骤S516中,资源调配器406等待一预设的等待时间,例如:1小时,并在等待时间过后,判断该虚拟机器的效能是否已正常。若是,进入步骤S518;若否,则回到步骤S514,继续虚拟机器的设定数据,重新设定流量。
在步骤S518中,资源调配器406判断该虚拟机器的效能已恢复正常,表示异常已排除,便将其虚拟机器设定数据恢复为虚拟机器设定数据的原设定值,解除流量限制,流程结束。如此一来,通过对虚拟机器的使用资源例如流量作上下限的设定,可确保不会影响到该服务器上的其他虚拟机器的运行,并可避免整个系统遭到恶意破坏或骇客攻击。
如图5B所示,在步骤S522的移转处理流程中,资源调配器406可依据前述说明的运算公式与计算方式先进行权重与效能指标运算,计算出一最佳的移转服务器。接着,在步骤S524中,资源调配器406是否有适合的移转服务器。若是,进入步骤S528,准备进行如前述图4所示的移转;若否,进入步骤S526,资源调配器406发出讯息或信件告警管理者有异常发生且无合适的服务器可进行移转,以通知管理者即时进行后续处理。
在步骤S528中,资源调配器406将效能异常的该虚拟机器转移至最佳的移转服务器上运行。当虚拟机器移转完成之后,接着,在步骤S530中,资源调配器406进行一网络确认机制例如VLan、IP Ping与服务Port的确认,以确认移转后的网络是否为正常。若是,进入步骤S532;若否,回到步骤S522,重新从其他服务器中,依据权重与效能指标运算,计算出另一最佳的移转服务器,再执行后续的移转。
在步骤S532中,资源调配器406进行停止处置的等待时间,等待一预设的等待时间,例如:1小时,这段等待时间中将只做效能监控而不执行预先定义的异常处理机制,并在等待时间过后,判断该虚拟机器的异常是否已解除。若是,表示移转后异常解除,流程结束;若否,表示移转后异常仍未解除,回到步骤S522,重新从其他服务器中,依据权重与效能指标运算,计算出另一最佳的移转服务器,再执行后续的移转。如此一来,可减少移转后效能降至正常而造成再次运算进行移转,导致环境出现多余且无意义的移转操作。
在一些实施例中,若资源调配器406分析取得的效能监控数据,发现该虚拟机器在使用率较低的时段(如:白天比晚上有较高的运算需求,晚上则是使用率较低的时段),则资源调配器406可将其分配至节能分区。在节能分区内,资源调配器406在使用率较低的时段,自动调节分区内每台服务器的虚拟机器运行数量,如:将虚拟机器集中在某几台服务器上,并将空闲的服务器进入休眠,等待到使用率较高的时段,再将虚拟机器移回合适的服务器上。
因此,依据本发明的服务器资源的管理系统及其方法,可自动收集服务器与虚拟机器的各项数据,并依据预设的触发条件进行异常判断,当出现异常时,依照虚拟机器运行服务与虚拟分区搭配运行资源的比重为依据,自动完成后续自动化处理,可降低人为操作错误排除或处理时间的延宕,达到有效管理的目的。
本发明的方法,或特定形态或其部分,可以以程序代码的形态存在。程序代码可以包含在物理介质,如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读取)存储介质,亦或不限于外在形式的计算机程序产品,其中,当程序代码被机器,如计算机载入且执行时,此机器变成用以参与本发明的装置。程序代码也可通过一些传送介质,如电线或电缆、光纤、或是任何传输形态进行传送,其中,当程序代码被机器,如计算机接收、载入且执行时,此机器变成用以参与本发明的装置。当在一般用途处理器实作时,程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。
虽然本发明已以优选实施例公开如上,然其并非用以限定本发明,本领域技术人员,在不脱离本发明的精神和范围内,当可做些许更动与润饰,因此本发明的保护范围当视所附权利要求书界定范围为准。

Claims (10)

1.一种服务器资源的管理方法,用以管理多个服务器的资源,包括下列步骤:
由资源状态监测器,收集所述服务器内各资源的各效能监测数据及所述服务器内多个虚拟机器的运行状态数据;
由异常分析与判断器,分析所述运行状态数据及所述效能监测数据,以在判断所述虚拟机器内有效能异常的虚拟机器时,自动发出触发信号;以及
由资源调配器,相应该触发信号,自动对该效能异常的虚拟机器执行处理,其中该处理包括对该效能异常的虚拟机器进行限制处理、移转处理以及资源调配的至少其中一动作。
2.如权利要求1所述的管理方法,其中该资源调配器更依据资源权重与效能需求,建立多个资源分区,并依据该效能异常的虚拟机器所在的资源分区信息进行该处理。
3.如权利要求2所述的管理方法,其中该资源分区还包括节能分区,该节能分区包括所述服务器中的多个第一服务器,并且该资源调配器依据节能策略,对所述第一服务器中的多个虚拟机器进行节能控制。
4.如权利要求2所述的管理方法,其中该资源调配器进行该移转处理自所述服务器中,找出移转服务器以及将该效能异常的虚拟机器移转至该移转服务器上运行。
5.如权利要求4所述的管理方法,其中该资源调配器还在进行该移转处理时,依据该效能异常的虚拟机器的运行服务类型及运行所需资源,决定优先移转至所述资源分区中的那个资源分区。
6.如权利要求2所述的管理方法,其中该资源调配器进行该资源调配针对该效能异常的虚拟机器所在的服务器进行资源调配的动作。
7.如权利要求2所述的管理方法,其中该资源调配器进行该限制处理限制该效能异常的虚拟机器的至少一资源使用并在再次检测到该异常解除后,解除该效能异常的虚拟机器的该资源使用的限制。
8.如权利要求3所述的管理方法,其中该资源调配器进行该限制处理将该效能异常的虚拟机器的运行参数自第一运行参数调整为第二运行参数,并在再次检测到该异常解除后,还原该效能异常的虚拟机器的运行参数为该第一运行参数。
9.一种服务器资源的管理系统,包括:
多个服务器;
多个虚拟机器,其中所述虚拟机器分别设置在所述服务器中;以及
管理装置,通过网络耦接于所述服务器,包括:
资源状态监测器,耦接所述服务器,收集所述服务器内各资源的各效能监测数据及所述虚拟机器内的运行状态数据;
异常分析与判断器,耦接该资源状态监测器,用于分析所述运行状态数据及所述效能监测数据,以判断所述虚拟机器内是否有效能异常的虚拟机器,并在判断有效能异常的虚拟机器时,自动发出触发信号;以及
资源调配器,耦接该异常分析与判断器,相应该触发信号,自动对该效能异常的虚拟机器执行处理,
其中该处理包括对该效能异常的虚拟机器进行限制处理、移转处理以及资源调配的至少其中一动作。
10.如权利要求9所述的管理系统,还包括数据库,用以存储异常诊断规则数据,以供该异常判断与处理器根据所述运行状态数据及所述效能监测数据判断所述虚拟机器内是否有效能异常的虚拟机器。
CN201510952387.5A 2015-12-01 2015-12-17 服务器资源的管理系统及其管理方法 Pending CN106817243A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104140049A TWI595760B (zh) 2015-12-01 2015-12-01 伺服器資源之管理系統及其管理方法
TW104140049 2015-12-01

Publications (1)

Publication Number Publication Date
CN106817243A true CN106817243A (zh) 2017-06-09

Family

ID=58776821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510952387.5A Pending CN106817243A (zh) 2015-12-01 2015-12-17 服务器资源的管理系统及其管理方法

Country Status (3)

Country Link
US (1) US20170155560A1 (zh)
CN (1) CN106817243A (zh)
TW (1) TWI595760B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427604A (zh) * 2018-02-06 2018-08-21 华为技术有限公司 集群的资源调整方法、装置及云平台
CN109032904A (zh) * 2018-07-19 2018-12-18 郑州云海信息技术有限公司 被监控、管理服务器及数据获取、分析方法和管理系统
CN109327352A (zh) * 2018-09-25 2019-02-12 郑州云海信息技术有限公司 一种获取服务器信息的方法及装置
CN109598511A (zh) * 2018-11-05 2019-04-09 阿里巴巴集团控股有限公司 一种账户风险识别方法、装置及设备
CN110347474A (zh) * 2019-05-30 2019-10-18 苏州浪潮智能科技有限公司 一种管理虚拟机的方法及装置
CN112799896A (zh) * 2021-01-29 2021-05-14 中国工商银行股份有限公司 分布式存储硬盘故障处理方法及装置
WO2022199316A1 (zh) * 2021-03-22 2022-09-29 阿里巴巴(中国)有限公司 控制方法、装置及计算设备
WO2024021498A1 (zh) * 2022-07-29 2024-02-01 天翼云科技有限公司 虚拟资源的数据处理方法及装置、存储介质、处理器

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208051B2 (en) * 2012-12-26 2015-12-08 Bmc Software, Inc. Automatic creation of graph time layer of model of computer network objects and relationships
JP6819131B2 (ja) * 2016-08-18 2021-01-27 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US10938593B2 (en) * 2016-09-24 2021-03-02 Apple Inc. Anomaly detection by resident device
US10990467B2 (en) 2016-12-15 2021-04-27 Nutanix, Inc. Accessing computing resource attributes of an external service provider
US10732962B1 (en) 2018-04-12 2020-08-04 Amazon Technologies, Inc. End-to-end deployment infrastructure
JP6724960B2 (ja) * 2018-09-14 2020-07-15 株式会社安川電機 リソース監視システム、リソース監視方法、及びプログラム
US10884845B2 (en) 2018-11-08 2021-01-05 International Business Machines Corporation Increasing processing capacity of processor cores during initial program load processing
US10944581B2 (en) 2018-11-08 2021-03-09 International Business Machines Corporation Increasing processing capacity of processor cores during initial program load processing
US10884818B2 (en) * 2018-11-08 2021-01-05 International Business Machines Corporation Increasing processing capacity of virtual machines
CN109768884A (zh) * 2018-12-26 2019-05-17 京信通信系统(中国)有限公司 通信系统及其高可用性的实现方法、装置和计算机设备
US10990434B2 (en) 2019-02-05 2021-04-27 International Business Machines Corporation Increasing processing capacity of virtual machines for an abnormal event
CN109933476A (zh) * 2019-03-20 2019-06-25 浪潮商用机器有限公司 一种OpenPOWER服务器性能的显示方法和装置
US11327767B2 (en) 2019-04-05 2022-05-10 International Business Machines Corporation Increasing resources for partition to compensate for input/output (I/O) recovery event
US11099838B1 (en) * 2020-02-26 2021-08-24 Quanta Computer Inc. Method and system for recovery for custom integrated circuit
CN111586129A (zh) * 2020-04-28 2020-08-25 北京奇艺世纪科技有限公司 针对数据同步的报警方法、装置、电子设备及存储介质
US11516096B2 (en) * 2020-06-17 2022-11-29 Red Hat, Inc. Automatically managing performance of software in a distributed computing environment
CN111901405B (zh) * 2020-07-21 2023-05-05 国云科技股份有限公司 一种多节点监控方法、装置、电子设备及存储介质
CN114416274A (zh) * 2021-10-18 2022-04-29 徐州医科大学 一种虚拟资源管理系统及其方法
CN113780481B (zh) * 2021-11-11 2022-04-08 中国南方电网有限责任公司超高压输电公司广州局 电力设备的监控方法、装置、计算机设备和存储介质
CN114640607B (zh) * 2022-05-12 2022-08-12 武汉四通信息服务有限公司 监控服务注册方法、装置、计算机设备和存储介质
TWI827203B (zh) * 2022-08-18 2023-12-21 中華電信股份有限公司 容器之惡意檔案的驗證系統和驗證方法
US12058203B2 (en) * 2022-12-30 2024-08-06 Stclab. Co., Ltd. Entry management server, system, method for digital service-based traffic orchestration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072527A (ja) * 2005-09-02 2007-03-22 Tokai Univ 複数の属性を持つ段取りを伴う動的ロットサイズスケジューリングのための方法
CN103677958A (zh) * 2013-12-13 2014-03-26 华为技术有限公司 一种虚拟化集群的资源调度方法及装置
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925923B1 (en) * 2008-01-31 2011-04-12 Hewlett-Packard Development Company, L.P. Migrating a virtual machine in response to failure of an instruction to execute
US20110196968A1 (en) * 2009-03-25 2011-08-11 Hitachi, Ltd. Computer system, resource management server for computer system, and resource management method for computer system
FR2977050A1 (fr) * 2011-06-24 2012-12-28 France Telecom Procede de detection d'attaques et de protection
CN102724277B (zh) * 2012-05-04 2016-01-06 华为技术有限公司 虚拟机热迁移和部署的方法、服务器及集群系统
CN102819465B (zh) * 2012-06-29 2014-09-24 华中科技大学 一种虚拟化环境中故障恢复的方法
US10298512B2 (en) * 2015-06-26 2019-05-21 Vmware, Inc. System and method for performing resource allocation for a host computer cluster

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072527A (ja) * 2005-09-02 2007-03-22 Tokai Univ 複数の属性を持つ段取りを伴う動的ロットサイズスケジューリングのための方法
CN103677958A (zh) * 2013-12-13 2014-03-26 华为技术有限公司 一种虚拟化集群的资源调度方法及装置
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427604A (zh) * 2018-02-06 2018-08-21 华为技术有限公司 集群的资源调整方法、装置及云平台
WO2019153697A1 (zh) * 2018-02-06 2019-08-15 华为技术有限公司 集群的资源调整方法、装置及云平台
CN109032904A (zh) * 2018-07-19 2018-12-18 郑州云海信息技术有限公司 被监控、管理服务器及数据获取、分析方法和管理系统
CN109327352A (zh) * 2018-09-25 2019-02-12 郑州云海信息技术有限公司 一种获取服务器信息的方法及装置
CN109598511A (zh) * 2018-11-05 2019-04-09 阿里巴巴集团控股有限公司 一种账户风险识别方法、装置及设备
CN109598511B (zh) * 2018-11-05 2023-06-20 创新先进技术有限公司 一种账户风险识别方法、装置及设备
CN110347474A (zh) * 2019-05-30 2019-10-18 苏州浪潮智能科技有限公司 一种管理虚拟机的方法及装置
CN112799896A (zh) * 2021-01-29 2021-05-14 中国工商银行股份有限公司 分布式存储硬盘故障处理方法及装置
WO2022199316A1 (zh) * 2021-03-22 2022-09-29 阿里巴巴(中国)有限公司 控制方法、装置及计算设备
WO2024021498A1 (zh) * 2022-07-29 2024-02-01 天翼云科技有限公司 虚拟资源的数据处理方法及装置、存储介质、处理器

Also Published As

Publication number Publication date
TWI595760B (zh) 2017-08-11
TW201722109A (zh) 2017-06-16
US20170155560A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
CN106817243A (zh) 服务器资源的管理系统及其管理方法
US10429921B2 (en) Datacenter power management optimizations
US9875111B2 (en) Information handling system performance optimization system
TWI493331B (zh) 經由虛擬化機會之電力最佳化
JP4922834B2 (ja) コンピュータシステムに存在するリソースの性能を監視する装置及び方法
JP5496518B2 (ja) 集中電力管理方法、装置側エージェント、集中電力管理コントローラ及び集中電源管理システム
CN114328102B (zh) 设备状态监控方法、装置、设备及计算机可读存储介质
US9292371B1 (en) Systems and methods for preventing failures of nodes in clusters
CN101635652B (zh) 多核系统的故障恢复方法和设备
US9806959B2 (en) Baseboard management controller (BMC) to host communication through device independent universal serial bus (USB) interface
CN103530193A (zh) 用于调节应用进程的方法和设备
US10235062B1 (en) Selection of computer resources to perform file operations in a power-efficient manner
CN109032863A (zh) 一种NVMe固态硬盘及其故障原因的确定方法、系统
JP7436737B1 (ja) マルチベンダーを支援するサーバ管理システム
CN103647723A (zh) 一种流量监控的方法和系统
CN113672345A (zh) 一种基于io预测的云虚拟化引擎分布式资源调度方法
Di Sanzo et al. Machine learning for achieving self-* properties and seamless execution of applications in the cloud
CN102983989A (zh) 一种服务器虚拟地址的迁移方法、装置和设备
CN101488105A (zh) 实现存储双控制器高可用性的方法及存储双控制器系统
US20200218633A1 (en) Technologies for monitoring health of a process on a compute device
CN116483613B (zh) 故障内存条的处理方法及装置、电子设备及存储介质
CN112379640B (zh) 分布式智能感知控制器
JP2014513344A (ja) ソフトウェア・オブジェクトをバックグラウンドで移動させる方法及び装置
US20140337650A1 (en) System and Method for Power Management in a Multiple-Initiator Storage System
JP2007257645A (ja) 資産情報の一元管理を行うコンピュータシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170609

WD01 Invention patent application deemed withdrawn after publication