CN109391564A - 判断来自网络装置的操作数据及发送其给网络装置的方法 - Google Patents
判断来自网络装置的操作数据及发送其给网络装置的方法 Download PDFInfo
- Publication number
- CN109391564A CN109391564A CN201810025932.XA CN201810025932A CN109391564A CN 109391564 A CN109391564 A CN 109391564A CN 201810025932 A CN201810025932 A CN 201810025932A CN 109391564 A CN109391564 A CN 109391564A
- Authority
- CN
- China
- Prior art keywords
- network equipment
- rack
- operation data
- grouping
- management controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
- H04L49/354—Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/40—Constructional details, e.g. power supply, mechanical construction or backplane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/40—Constructional details, e.g. power supply, mechanical construction or backplane
- H04L49/405—Physical details, e.g. power supply, mechanical construction or backplane of ATM switches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Small-Scale Networks (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
公开了一种使用例如LLDP信息的探索分组的系统及方法,以判断机架系统的操作状态。网络装置连接到交换器的端口。操作数据可通过探索分组发送或接收至网络装置。操作数据可由网络装置的管理代理判断且通过探索分组发送到管理代理。操作数据可由管理控制器判断且发送至网络装置。
Description
技术领域
本发明是有关于一种判断来自于网络装置的操作数据的方法及发送操作数据给网络装置的方法,且特别是有关于一种识别关于机架式装置的操作数据的判断来自于网络装置的操作数据的方法及发送操作数据给网络装置的方法。
背景技术
计算应用程序的云端(cloud)的出现增加了对离线安装的需求,如已知的数据中心(data center),其储存数据且执行远程计算机装置用户所存取的应用程序。这样的数据中心通常具有大量的服务器、交换器(switch)及储存装置,以储存及管理数据,这样这些数据可让远程计算机用户以便利方式存取。典型的数据中心具有物理机架结构,其具有相应的电源和通信连接。数个机架成数列配置在数据中心的至少一间房间。每个机架包括一个具有垂直方向插槽的框架(frame)或可以容纳多个装置的机箱,其中装置例如是服务器、交换器及储存装置。在现代数据中心的这种机架结构中堆栈了许多这样的装置。例如,一些数据中心拥有数以万计的服务器,以及相应的储存装置及网络交换器。因此,典型的数据中心可能包括数万或甚至数十万个装置配置在数百或数千个单独机架。数据中心通常在控制中心有一个管理系统来监视及确保设备能够适当运作。为了有效管理,管理员需要依靠数据中心的装置的状态的即时信息。
如图1所示的典型的机架系统10,机架系统10包括耦接到背板(backplane)14的机架管理控制器(rack management controller,RMC)12。背板14连接到网络装置16,且监视网络装置16的功耗及其它操作数据。网络装置16可以是服务器(server)、交换器(switch)、路由器(router)等等。每个网络装置16包括与背板14通信的背板管理控制器18。机架系统10具有框架,其具有保持网络装置16的多个物理插槽。背板14可以连接到每个网络装置16。网络装置16也可以具有网络接口(network interface)以经由交换装置(switch device)建立与数据中心管理软件的连接。
机架管理控制器12在数据中心的管理中扮演重要角色。机架管理控制器12收集数据中心管理软件的机架操作信息,例如:(1)机架总功耗;(2)来自每个网络装置的IP地址列表;(3)整体及个别机架组件的健康状况;(4)机架风扇和散热状态。数据中心管理软件可以使用这样的信息来执行数个功能,如机架功率上限(rack power capping)或对机架的所有管理单元进行机架ID的更新,其中管理单元例如是机架管理控制器12。因此,藉由机架管理控制器12对这些信息的收集,管理者可以远程监视数据中心的每个机架系统的数个装置的执行。
有一些已知的机架管理控制器12与背板14通信的实施方式。例如,机架管理控制器12可使用内部整合电路(inter-integrated circuit protocol,I2C)、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)或与网络装置16的背板管理控制器18进行操作数据通信的网络。然而,这样的系统通常需要专有的硬件设计,如增加背板14以进行机架管理控制器12与网络装置16上的背板管理控制器18之间的I2C或UART连接的路由通信(route)。对专用背板的需求增加了系统成本。
其它通信媒体可用以交换机架或机架管理控制器的数个网络装置之间的操作数据。图2图示了另一机架系统50,包括机架管理控制器52,其中机架管理控制器52通过网络连接(network connection)耦接于管理交换器(management switch)54。网络连接是独立虚拟局域网(VLAN),其包含机架管理控制器52及管理交换器54。管理交换器54包括通过个别的背板管理控制器58连接于数个网络装置56的端口(port)。网络装置56也可做为独立VLAN的端口。因此,机架管理控制器52可通过网络从网络装置56获得装置操作数据。这样的信息可通过IP网络协议传送,其中通信协议例如是智能平台管理接口(intelligentplatform management interface,IPMI)协议、Redfish协议,或甚至由网络装置56用来与网络交换数据的网络协议。
这种IP网络管理接口的缺点在于,基于安全,管理交换器54需要机架范围VLAN以隔离机架管理接口。另外,将独立IP地址部署到每个管理组件是一个挑战,因而增加了机架系统50的复杂性。
因此,需要一种可以支持机架管理数据而不使用单独背板的机架管理系统。机架管理系统有需要避免使用VLAN来确保安全性。此外,机架管理系统也有允许在机架管理控制器与机架装置之间交换操作数据的需要。
发明内容
根据本发明的一个实施例,提出一种判断来自于网络装置的操作数据的方法。网络装置耦接于一管理控制器,且方法包括以下步骤:连接网络装置至交换器的一个端口;根据网络装置的操作,判断操作数据;以及,发送包含操作数据的探索分组至管理控制器。
根据本发明的另一个实施例,提出一种发送操作数据给网络装置的方法。网络装置耦接于管理控制器。方法包括以下步骤:连接网络装置至交换器的一个端口;判断与网络装置的操作相关的操作数据;以及,发送包含操作数据的探索分组至网络装置。
附图说明
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合所附图式详细说明如下:
图1图示现有的通过背板与具有I2C或UART的网络装置通信的数据中心的机架系统。
图2图示现有的具有连接至网络装置的网络连接的数据中心的机架系统。
图3图示机架系统的示意图,其中机架系统允许机架管理控制器在不需额外背板硬件或独立网络的情况下监视网络装置。
图4图示机架系统的后视图,其中机架系统具有机架装置的共享电源(功率架)。
图5图示机架系统的后视图,其中机架系统具有每个机架装置的一个独立电源。
图6图示机架系统的以太网络示意图,其中以太网络允许通过LLDP分组收集操作数据。
图7图示LLDP分组的示意图,其中LLDP分组储存功耗信息。
图8A图示LLDP分组的示意图,其中LLDP分组包括系统节点的IP地址信息。
图8B图示端口与对应的IP地址的表格,其中IP地址由图8A的LLDP分组产生。
图9A图示LLDP分组的示意图,其中LLDP分组包括系统节点的健康状态。
图9B图示端口与对应的健康状态的表格,其中健康状态由图9A的LLDP分组使用。
图10图示LLDP分组的示意图,其中LLDP分组包含功率上限数据。
图11图示LLDP分组的示意图,其中LLDP分组包含机架ID数据。
图12图示机架系统的方块图,其中机架系统具有外部机架管理控制器。
图13图示由图6的机架管理控制器执行代码以使用LLDP分组从网络装置获得操作数据的流程图。
图14图示由图6的机架管理控制器执行代码以使用LLDP分组发送操作数据至网络装置的流程图。
具体实施方式
本发明容易产生许多不同形式的实施例。附图中示出且在本文中将详细说明代表性实施例,同时应理解,本发明被认为是本发明玄理的例子且本发明不是意要将本发明的广泛方面限于所示的实施例,就此种程度来说,例如,不应通过暗示、推理或其他方式将摘要、发明内容和详细说明书部分公开的但是未在请求项中明确陈述的要素和限制因素单独地或共同地并入请求项。为了本详细说明的目的(除非明确否定或逻辑上禁止):单数的范围包含了复数个,反之亦然;且词语“包含”或“含有”或“具有”的意思是“包含但是不限于”。此外,例如就“在、接近或接近在”或者“在…的3至5%内”或“在可接受的制造公差内”或其任何逻辑组合的意义上来说,此能够使用例如“约”、“几乎”、“大概”等近似词语。
图3图示了可配置在数据中心的机架系统100的示意图。机架系统100包括具有多个插槽(slot)或机箱(chassis)。每个插槽可以容纳至少一个网络装置,例如与机架系统100相关联的服务器。其它网络装置可包括交换器、路由器、服务器等。在本实施例中,机架系统100包括管理交换器110,其具有多个端口112。管理交换器110受控于机架管理控制器。每个端口可以连接到位于机架框架的插槽中的数个网络装置120之一。每个网络装置120包括监视对应的网络装置120的操作数据的背板管理控制器122。这样的操作数据可以包括风扇状态、风扇速度、组件的热状态、功耗、CPU利用率、I/O利用率、内存利用率、CPU错误、内存错误等。例如,功耗可以由背板管理控制器122藉由监视每个网络装置120上的电源供应器124来判断。
机架系统100允许机架管理控制器软件堆栈(stack to),以在管理交换器110的机架管理控制器上执行。因此,在本实施例中,机架管理控制器用作机架系统100的机架管理控制器。或者,也可以使用带有“远程交换LLDP控制”的独立机架管理控制器。代替使用IP协议作为管理网络信息传输协议(management network message transport protocol),链路层探索协议(link-layer discovery protocol,LLDP)信号被用于机架管理控制器114和其它管理单元之间的传输控制信息,其中的管理单元例如是机架系统100中的网络装置120的背板管理控制器122。
根据LLDP的信息的特征在于分组范围受限于链路,该链路存在于管理交换器120的交换端口与连接的网络装置的管理单元之间。到特定网络装置的LLDP不被发送到连接到管理交换器120的其它端口的装置。根据此特征,利用LLDP信号建立的该链路成为机架管理控制器与特定网络装置之间的安全链路,在不执行认证(authentication)的情况下允许管理信息的交换。
通过来自LLDP信号的信息所接收的信息,机架管理控制器(rack managementcontroller,RMC)可以从网络装置120收集基于机架的信息,例如:(1)机架总功耗;(2)IP地址列表;(3)整体及个人机架组件健康状况;以及(4)机架风扇和散热状态。机架系统100上的此信息可以通过管理网络发送到数据中心管理软件。机架管理控制器114还可以通过向网络装置120发送LLDP信号来执行机架功率上限或者将机架识别信息更新到机架系统100的装置120的所有管理单元。可被发送的其它命令可以包括开启电源/关闭电源、识别LED控制及用于网络装置120的背板管理控制器的任何控制信号。
机架管理控制器114可以将总机架功耗报告给数据中心管理系统上的数据中心管理软件。基于机架的功耗,数据中心管理软件可以将新的工作量安排到机架系统,例如数据中心内最适合耗功的机架系统100,以防止机架功耗过大。
图4图示了包括被称为功率架(power shelf)的机架电源系统410的开放计算项目(Open Compute Project,OCP)型机架400的后视图。机架400包括诸如服务器的多个网络装置420。功率架410包括由电源控制器(未示出)操作的电源,该电源控制器供电给机架400中的所有网络装置420。例如功率架410的每个功率架包括机架管理控制器422,机架管理控制器422直接连接到功率架410的数个电源控制器。因此,电源控制器监视功率架的总功率,且允许机架管理控制器422使用上述LLDP方法容易地报告机架总功耗。或者,网络控制器可以与功率架相关联,并将电力状态发送到机架管理控制器422。
图5图示了保持网络装置510的EIA机架500,每个网络装置具有自己的电源供应器512。机架500也保持管理交换器514及数据交换器516。在本实施例中,管理交换器514包括机架管理控制器(未示出)。管理交换器514及数据交换器516具有用于连接到网络装置510的数个端口。例如是19”电子工业联盟(Electronic Industries Alliance,EIA)型机架500中的服务器的网络装置510各自具有单独的电源供应器512,因此系统不能收集机架管理控制器直接完成机架总功耗。在机架管理控制器上运行的算法可以通过从各个LLDP信号判断每个装置的单独功耗来判断总机架功耗。
在以太网交换网络环境中,出于管理目的,每个节点都有一个具有安全网络连接(与特定数据网络隔离)的管理代理。连接管理代理与网络装置的安全网络可被称为管理网络。图6图示了包括用于数据中心的以太网交换网络环境,其中该数据中心耦合到子系统602、604及606的管理节点600。在本实施例中,管理节点600与子系统602、604及606处于相同的网络。在本实施例中,子系统602、604及606中的每一个表示与图3中的机架系统300类似的独立机架系统。示例子系统602包括多个计算机系统节点622、624及626及至少一个以太网交换装置630。在这个示例中的每个节点622、624及626连接到以太网交换装置630的网络端口,因此也被认为是与以太网交换装置630一起安装在机架上的网络装置。节点622、624及626中的每一个都具有管理代理,例如是将网络端口连接到以太网交换装置的交换端口(switching port)的控制器,其中以太网交换装置例如是以太网交换装置630。以太网交换装置630包括一些端口632、一些管理端口634及控制器636,控制器636可用作机架管理控制器。管理节点(administration node)640可以在管理节点中,或者可以连接到管理节点(administration node)600。管理节点640可以在任何时间查询所有子系统602、604及606的总功耗,这可以由管理节点600决定。
当具有管理代理的系统节点加入子系统602、604或606中的一者时,新系统节点的网络端口连接到子系统的以太网交换装置的一个端口。例如是背板管理控制器的管理代理(在系统节点内)嵌入由管理节点600发送的应用程序,其使操作数据能够探索分组(discovery packet)携带且通知给以太网交换装置630,其中的操作数据例如是功耗数据、风扇操作数据、热数据、标识数据等。
图7图示了包含来自例如节点622、624或626的系统节点之一(如图6所示)的消耗功率数据的探索分组700的示意图。在本实施例中,探索分组700可以根据例如链路层探索协议(LLDP)的公共网络协议(public networking protocol)或者根据例如思科探索协议(Cisco Discovery Protocol,CDP)的专有协议来格式化。探索分组700包括时间长度值(TLV)结构710、712及714的序列。每个时间长度值结构710、712及714包括组织定义的信息串(information string)。在本实施例中,TLV结构714中的一个包括类型字段720、长度字段722及功耗数据字段724。在本实施例中,类型字段720包括指示功耗的代码(code),长度字段722包括指示TLV的长度的数据,且功耗数据字段724包括来自发送探索分组700的系统节点的功耗值。
在图6的示例中,例如以太网交换装置630(对应到系统节点622、624与626的管理代理)的以太网交换装置接收例如是图7的分组700的探索分组,且从分组中检索操作数据。在本实施例中,可以从例如图7的分组700的探索分组中读取来自该节点的功耗数据。在图6所示,然后以太网交换装置630收集功率数据并且对子系统602中的每个网络装置的功率数据进行求和。然后,以太网交换装置630接着通过管理端口634通知且发送子系统602的总功耗数据给管理节点(MN)600。此过程可以由事件触发,或基于系统需求及应用设计从以太网交换装置630周期性地报告给管理节点600。
可由图6的管理节点600使用的另一方法是LLDP机架总功耗算法。通过这种方法,利用例如图7的分组700的预先配置的探索分组,任何子系统(如图6中的子系统602、604及606)内的总功耗可以直接由以太网交换装置获得。因为管理节点不通过IP通信查询每个节点的功耗数据,因此图3中的管理节点600的负载(loading)可以降低。相反,管理节点只是查询以太网交换装置,例如是图6中对应的子系统602的以太网交换装置630。该系统还改进了传统的机架式设计。功耗不仅仅是由供电给一群节点的电源单元(power supply unit,PSU)所测量,而是加总来自每个节点的功耗。因此,系统允许通过每个节点的功率信息进行管理。此外,以太网交换装置可主动检测插入的节点并判断以太网交换装置的子系统的最新电力数据。
可以使用不同类型的LLDP分组来收集特定子系统中的不同组件的IP地址及位置信息,然后将此数据报告给可能在图6中的管理节点600上运行的数据中心管理软件。此过程是一个重要的机架探索特征。在本实施例中,图1中以太网交换装置630上的机架管理控制器可使用例如是图8A的LLDP分组800的LLDP分组,从机架的所有管理代理去收集IP地址。
在本实施例中,探索分组800可以根据例如链路层探索协议(LLDP)的公共网络协议,或根据例如思科探索协议(CDP)的专有协议来格式化。探索分组800包括时间长度值(TLV)结构810、812及814的序列。每个时间长度值结构810、812及814包括组织定义的信息串。在本实施例中,TLV结构814中的一个包括类型字段820、长度字段822及IP地址字段824。在本实施例中,类型字段820包括指示包含UP地址的TLV结构814的代码。长度字段822包括指示TLV的长度的数据。IP地址字段824包括来自发送探索分组800的系统节点的IP地址及端口号码。
在从节点收集类似于图8A中的探索分组800的探索分组后,图6的以太网交换装置630的机架管理控制器可提供IP地址列表给管理节点600。图8B图示了可被产生且包含IP地址及特定子系统的组件(节点)的对应的端口号码的表格(table)850,其中的特定子系统例如是图6的子系统620,其表示机架系统的多个装置。
可采用图6的管理节点600的LLDP分组收集的操作数据的另一方法是从机架的所有管理代理的状态信息。在数据被收集后,例如以太网交换装置630的以太网交换装置的RMC可提供图6的管理节点600的个体的且整体的健康状态。在本实施例中,系统节点有三个健康状态级别:良好(OK)、警告(warning)及临界(critical)。当然也可以使用其它类型或级别的健康状态。在本实施例中,在从机架中的网络装置接收到所有探索分组后,RMC可以对整个机架状态进行分类。在本实施例中,若所有管理代理向RMC报告“正常”,则整体健康状态为“良好”。若任何管理代理向RMC报告“严重”,则总体健康状态为“警告”。若没有管理代理向RMC报告“临界”,但其中一些管理代理向RMC报告为“警告”,则整体健康状态将变为“警告”。
如图9A所示,在本实施例中,探索分组900可以根据例如链路层探索协议(LLDP)的公共网络协议或根据例如思科探索协议(CDP)的专有协议来格式化。探索分组900包括时间长度值(TLV)结构910、912及914的序列。每个时间长度值结构910、912及914包括组织定义的信息串。在本实施例中,TLV结构914中的一个包括类型字段920、长度字段922和健康状态字段924。在本实施例中,类型字段920包括指示包含TLV结构914的状态的代码(code)。长度字段922包括指示TLV的长度的数据。健康状态字段924包括发送探索分组900的系统节点的三个状态类别中的一个。
图9B图示了由图6的以太网交换装置的机架管理控制器,依据接收相似于图9B的探索分组的探索分组所编译(compile)的状态标识符和端口号码的表格950。表格950因此提供一对例如图2的子系统602的特定机架上的每个节点的状态的参考。如上所述,端口10具有“警告”状态,因此在表格950中将整个机架状态设置为警告。
机架管理控制器还可以使用LLDP分组命令管理代理来限制关联节点的最大功耗。在这样的过程中,管理节点600将总机架功率限制值发送到图6的以太网交换装置630上的机架管理控制器。然后,机架管理控制器向管理代理发送最大功率,以通过例如图10所示的LLDP分组1000的LLDP分组执行机架功率上限。在本实施例中,机架管理控制器可判断每个节点的功率上限,并通过LLDP分组发送适当的值。
如图10所示,探索分组1000可根据例如链路层探索协议(LLDP)的公共网络协议或根据诸如思科探索协议(CDP)的专有协议来格式化。探索分组1000包括时间长度值(TLV)结构1010、1012及1014的序列。每个时间长度值结构1010、1012及1014包括组织定义的信息串。在本实施例中,TLV结构1014中的一个包括类型字段1020、长度字段1022及最大功率字段1024。类型字段1020包括指示包含最大功率的TLV结构1014的代码。长度字段1022包括指示TLV的长度的数据。最大功率字段1024可以被发送到接收探索分组1000的系统节点的特定值或最大功率值。在读取探索分组后,管理代理,例如系统节点的背板管理控制器,将功率限制在最大功率值。
每个机架系统可以具有机架ID。机架ID可以由图6的管理节点600设定,且基于例如是子系统602的特定机架子系统,机架ID被发送到与例如以太网交换装置630的交换器有关的机架管理控制器。RMC的MAC地址或其UUID或任何其它唯一标识符可以是被指定为机架ID的候选者(candidate)。RMC可通过图11的LLDP分组1100来部署机架ID给每个系统节点的每个管理代理。因此,每个系统节点通过机架ID与特定机架建立关联。
如图11所示,探索分组1100可根据例如链路层探索协议(LLDP)的公共网络协议或根据诸如思科探索协议(CDP)的专有协议来格式化。探索分组1100包括时间长度值(TLV)结构1110、1112及1114的序列。每个时间长度值结构1110、1112及1114包括组织定义的信息串。在本实施例中,TLV结构1014中的一个包括类型字段1120、长度字段1122及机架ID字段1124。类型字段1120包括指示包含机架ID的TLV结构1114的代码。长度字段1122包括指示TLV的长度的数据。机架ID字段1124包括被安装在探索分组1100的系统节点的机架的机架ID。在读取探索分组后,管理代理,例如是系统节点的控制器的管理代理与机架ID建立关联。
如上所述,机架管理控制器可以直接嵌入到交换器中以指引LLDP信息做为图6的管理节点600。或者,没有嵌入到交换器中的机架管理控制器也可以支持基于LLDP的管理信息。图12图示了另一个机架系统1200,其包括通过管理端口连接到机架管理控制器1220的交换器1210。例如网络装置1230的机架装置被耦合到交换器1210的一系列的端口1212。每个网络装置1230包括以背板管理控制器1232形式的管理代理。机架管理控制器1220位于交换器1210外部。本例中的机架管理控制器1220包括远程交换器LLDP控制1222。外部RMC可以使用交换器导出API或CLI去收集及控制交换器LLDP,以实现交换器的嵌入式RMC的类似功能,其中交换器能指引操作(handle)交换LLDP。
因为可以将LLDP分组定向到单个节点,因此在机架系统的管理网络中使用LLDP分组可防止使用IP信息网络的过载。因此,上述机架管理控制器可以支持没有专有背板及相应的I2C或UART信号的标准19“EIA机架,以判断操作状态。此外,使用LLDP作为传输协议不需要额外的安全措施或IP地址规定。或者,单个LLDP分组可以包括数个不同的TLV结构,每个TLV结构包含不同类型的操作数据。如上所述,网络装置的管理代理可以报告功耗、健康状态、风扇状态和热状态以外的其它类型的操作数据。
图13图示了图6所示的机架管理控制器执行代码以使用LLDP分组获得操作数据的流程图。图13的流程是用于机架管理控制器的机器可读指令的示范例代表,其中机架管理控制器不是嵌入图6的以太网交换装置630,就是位于例如是图12的机架管理控制器1220外。在本实施例中,机器可读指令包括一种算法,用以被以下组件执行:(a)处理器,(b)控制器及/或(c)一个或多个其它合适的处理装置。算法可以内嵌在实体媒体(tangible media)的软件内,其中实体媒体例如是闪存(flash memory)、CD-ROM、软磁盘(floppy disk)、硬盘(hard disk)、数字视频光盘(digital video disk,DVD)(多功能光盘(versatile disk))或其它储存装置,但本领域通常技术人员可容易地认识到,整个算法及/或其部分可选地由公知方式由除处理器以外的装置执行及/或以固件或专用硬件实现(例如,可由特殊应用集成电路(application specific integrated circuit,ASIC)、可编程逻辑器件(programmable logic device,PLD)、现场可编程逻辑装置(field programmable logicdevice,FPLD)、现场可编程逻辑门阵列(field programmable gate array,FPGA)、离散逻辑等来实现)。例如,接口的任何或所有组件可由软件、硬件及/或韧体实现。而且,图13的流程所表示的一些或全部机器可读指令也可手动地实现。此外,虽然图13所示的流程图描述了示例算法,然本领域通常技术人员将容易理解,可以替代地使用许多其它机器可读指令的方法。例如,可以改变方块的执行顺序,及/或可以改变,删除或组合所述的一些方块。
在本实施例中,机架管理控制器获知例如是图6的装置622的网络装置的连接(或联机)(步骤1300)。机架管理控制器发送嵌入在管理代理上的报告应用,其中的管理代理例如是与图6的装置622相关联的背板管理控制器(步骤1302)。机架管理控制器从装置622接收例如是功耗的操作数据(步骤1304)。报告应用指引管理代理去格式化例如是图7的分组700的专用LLDP分组的数据(步骤S1306)。LLDP分组被发送到机架管理控制器(步骤1308)。图6的以太网交换装置630的机架管理控制器编译来自于机架系统的每个装置的LLDP分组的操作数据(步骤S1310)。然后,整体机架状态发送到例如图6的管理节点600的管理控制器(步骤1312)。
图14图示了图6所示的机架管理控制器执行代码以使用LLDP分组发送操作数据到机架系统网络装置的流程图。在本实施例中,机架管理控制器获知例如图6的装置622的网络装置的连接(或联机)(步骤1400)。机架管理控制器发送嵌入在管理代理上的报告应用,其中的管理代理例如是与图6的装置622相关联的背板管理控制器(步骤1402)。机架管理控制器从图6的管理节点600接收例如是机架ID信息或功率上限的操作数据(步骤1404)。机架管理控制器将例如图10的分组1000的专用LLDP分组格式化(步骤1406)。LLDP分组被发送到例如是图6的装置622的网络装置(步骤1408)。接收LLDP分组且由装置622的管理代理读取操作数据(步骤1410)。然后根据例如功率上限的操作数据改变装置622的操作(步骤1412)。当然,若操作数据例如是机架ID的信息,则不改变装置622的操作。
用在本申请的术语如组件、模块、系统等一般是指计算机相关的实体,可为硬件(如电路)、硬件和软件的组合、软件和与具有一个或多个特定功能相关的运算机器的实体的其中一者。举例而言,组件可例如是,但并未限制于,在处理器执行的程序(如数字信号处理器)、处理器、对象、可执行的程序、执行线程、程序、及/或计算机。举例而言,在控制器执行的应用程序和控制器皆可为组件。一个或多个组件可位于处理器及/或执行线程里,且组件可集中于计算机及/或分散于两个或多个组件之间。进一步而言,装置可为,以特定设计之硬件形成;藉由执行软件可使一般硬件特别化使其可执行特定的功能;软件储存于计算机可读取的媒体;或上述的组合。
一般的运算装置包含多个媒体,其包含计算机可读取的储存媒体及/或通信媒体,其中这两个使用的术语如下所述并不相同。计算机可读取的储存媒体为任何有用的可被计算机存取的储存媒体,一般具有非瞬时的特性且可同时包含挥发性和非挥发性媒体,可移除或不可移除媒体。举例而言,但并未限制于,计算机可读取的储存媒体可由用于储存信息的任何方法或科技来实现,例如计算机可读取的指令、程序模块、具结构的数据或是非结构的数据。计算机可读取的储存媒体包含,但并未限制于,随机存取内存、只读存储器、电子抹除式可复写只读存储器、闪存或其它内存科技、光盘、数字多功能激光视盘或其它光学式储存盘片、卡盒式磁带、卡带、磁盘或其它磁储存装置、或其它可用于储存想要的信息的有形的及/或非瞬时媒体。计算机可读取的储存媒体可由一个或多个现场的或远程的运算装置进行存取,例如通过存取要求、查询或其它撷取数据的协议,对多个关于储存在媒体的信息的进行操作。
这里使用的术语仅是为了描述特定实施例的目的,而不意于限制本发明。如这里所使用的,单数形式“一”、“一个”和“该”也意在包含复数形式,除非上下文清楚表明并非如此。还将理解,扩增性用语“包含”(“including”或“includes”)、“具有”(“having”或“has”)、“有”(“with”)或其变形,使用于说明书细部及/或请求项中,此些用语隐含的用法类似于“包含”(“comprising”)。
除非另外定义,于此处使用的全部字词(包括技术及科学字词)具有与本技术领域中具有通常知识者的通常理解相同的意思。将进一步理解的是,例如定义于通用字典中的那些字词应被解读为具有与其于相关领域的文章中的含义一致的含义,而不过于理想或过度地解释,除非本文中已明确地如此定义。
综上所述,虽然本发明已以实施例公开如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视后附的申请权利要求所界定者为准。
符号说明
10、50、100、1200:机架系统
12、52、114、422、1220:机架管理控制器
14:背板
16、56、120、420、510、1230:网络装置
18、58、122、1232:背板管理控制器
54、110、514:管理交换器
112、632、1212:端口
124:电源供应器
400、500:机架
410:电源系统(功率架)
516:数据交换器
512:电源供应器
1210:交换器
1222:远程交换器LLDP控制
602、604、606:子系统
600、640:管理节点
622、624及626:计算机系统节点
630:以太网交换装置
634:管理端口
636:控制器
710、712、714、810、812、814、910、912、914、1010、1012、1014、1110、1112、1114:时间长度值结构
720、820、920、1020、1120:类型字段
722、822、922、1022、1122:长度字段
724:功耗数据字段
1024:最大功率字段
700、800、900、1000、1100:分组
824:IP地址字段
850、950:表格
924:健康状态字段
1124:机架ID字段
1300、1302、1304、1306、1308、1310、1312、1400、1402、1404、1406、1408、1410、1412:步骤
Claims (10)
1.一种判断来自于网络装置的操作数据的方法,该网络装置耦接于管理控制器,且该方法包括:
连接该网络装置至交换器的一个端口;
根据该网络装置的操作,判断该操作数据;以及
发送包含该操作数据的探索分组至该管理控制器。
2.根据权利要求1所述的方法,其中该操作数据是该网络装置的功耗或该网络装置的健康状态,或该探索分组以预设时间周期发送,或该探索分组根据该管理控制器的命令发送。
3.根据权利要求1所述的方法,其中该管理控制器是该交换器的一部分,或该管理控制器是该交换器之外的组件。
4.根据权利要求2所述的方法,其中该网络装置是机架的多个网络装置中的一个;该方法更包括:从接收来自于该机架的该些网络装置的多个探索分组判断机架功耗。
5.根据权利要求1所述的方法,更包括:嵌入应用程序于该网络装置的管理代理,该管理代理可操作在判断该网络装置的操作数据,且该嵌入的应用程序可操作在格式化该探索分组。
6.一种发送操作数据给网络装置的方法,该网络装置耦接于管理控制器,该方法包括:
连接该网络装置至交换器的一个端口;
判断与该网络装置的操作相关的操作数据;以及
发送包含该操作数据的探索分组至该网络装置。
7.根据权利要求6所述的方法,更包括:根据该操作数据,改变该网络装置的该操作。
8.根据权利要求6所述的方法,其中该操作数据是该网络装置的最大功率上限。
9.根据权利要求6所述的方法,其中该管理控制器是机架管理控制器,其中该网络装置与机架相关联,且该操作数据是该机架的机架标识。
10.根据权利要求6所述的方法,更包括:嵌入应用程序于该网络装置的管理代理,且该嵌入的应用程序可操作在读取该探索分组的该操作数据。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762544603P | 2017-08-11 | 2017-08-11 | |
US62/544,603 | 2017-08-11 | ||
US15/798,951 US10797959B2 (en) | 2017-08-11 | 2017-10-31 | LLDP based rack management controller |
US15/798,951 | 2017-10-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109391564A true CN109391564A (zh) | 2019-02-26 |
CN109391564B CN109391564B (zh) | 2021-09-07 |
Family
ID=60972012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810025932.XA Active CN109391564B (zh) | 2017-08-11 | 2018-01-11 | 判断来自网络装置的操作数据及发送其给网络装置的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10797959B2 (zh) |
EP (1) | EP3442165A1 (zh) |
JP (1) | JP2019036939A (zh) |
CN (1) | CN109391564B (zh) |
TW (1) | TWI647930B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10277353B1 (en) * | 2017-12-19 | 2019-04-30 | Juniper Networks, Inc. | Wavelength provisioning for customer premise equipment (CPE) in dense wavelength-division multiplex (DWDM) networks |
US10924454B2 (en) * | 2018-03-06 | 2021-02-16 | Kaloom Inc. | Computing device and method for generating a fabric-wide IPV6 address |
US10673695B2 (en) * | 2018-03-06 | 2020-06-02 | Kaloom Inc. | Computing device and method for performing a fabric deployment in a data center |
US11005667B2 (en) | 2018-03-19 | 2021-05-11 | Kaloom Inc. | Computing device and method for performing a secure neighbor discovery |
US10873500B2 (en) | 2018-03-06 | 2020-12-22 | Kaloom Inc. | Computing device and method for generating a link IPV6 address |
US11329886B2 (en) * | 2018-09-28 | 2022-05-10 | Arista Networks, Inc. | Automatic classification of network devices in a network |
US11747886B2 (en) | 2022-02-02 | 2023-09-05 | Hewlett Packard Enterprise Development Lp | Response mechanisms of a power sourcing equipment to a swap event of a power supply unit |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207514A (zh) * | 2006-12-22 | 2008-06-25 | 友劲科技股份有限公司 | 网络装置发现方法 |
CN101335747A (zh) * | 2007-07-01 | 2008-12-31 | 华为技术有限公司 | 通信地址通知、探索及通信检测、恢复方法及其装置 |
US20100039935A1 (en) * | 2007-12-21 | 2010-02-18 | World Wide Packets, Inc. | Deactivating a Packet Tunnel Based On At Least One Performance Characteristic |
US8710983B2 (en) * | 2012-05-07 | 2014-04-29 | Integrated Security Corporation | Intelligent sensor network |
US20140122910A1 (en) * | 2012-10-25 | 2014-05-01 | Inventec Corporation | Rack server system and operation method thereof |
US20160020993A1 (en) * | 2014-07-21 | 2016-01-21 | Big Switch Networks, Inc. | Systems and methods for performing debugging operations on networks using a controller |
US20160055354A1 (en) * | 2014-08-19 | 2016-02-25 | Dell Products L.P. | Supporting port security on power-over-ethernet enabled ports |
US20170063637A1 (en) * | 2013-06-06 | 2017-03-02 | Dell Products L.P. | System and method for base topology selection |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2362578A1 (en) | 2010-02-15 | 2011-08-31 | Broadcom Corporation | Method and system for managing network power policy and configuration of data center bridging |
US9001827B2 (en) * | 2010-12-17 | 2015-04-07 | Big Switch Networks, Inc. | Methods for configuring network switches |
JP2012227804A (ja) | 2011-04-21 | 2012-11-15 | Buffalo Inc | 情報処理装置および情報処理装置の制御方法 |
US8416796B2 (en) * | 2011-05-06 | 2013-04-09 | Big Switch Networks, Inc. | Systems and methods for managing virtual switches |
US10142160B1 (en) * | 2011-10-04 | 2018-11-27 | Big Switch Networks, Inc. | System and methods for managing network hardware address requests with a controller |
US8856384B2 (en) * | 2011-10-14 | 2014-10-07 | Big Switch Networks, Inc. | System and methods for managing network protocol address assignment with a controller |
US8824506B2 (en) * | 2012-01-05 | 2014-09-02 | International Business Machines Corporation | Fragmentation of link layer discovery protocol packets |
US9270791B2 (en) * | 2012-04-30 | 2016-02-23 | Dell Products, Lp | Discovery and configuration of network devices via data link layer communications |
US9184980B1 (en) * | 2012-07-25 | 2015-11-10 | Google, Inc. | Process for traversing through large rest data graph |
US9130824B2 (en) | 2013-01-08 | 2015-09-08 | American Megatrends, Inc. | Chassis management implementation by management instance on baseboard management controller managing multiple computer nodes |
US9525750B2 (en) * | 2013-02-13 | 2016-12-20 | Viavi Solutions Inc. | Method of collecting information about test devices in a network |
CN104009937B (zh) * | 2013-02-22 | 2018-03-02 | 中兴通讯股份有限公司 | 一种增强型传输选择标准配置信息传输方法及装置 |
CN103782553B (zh) * | 2013-09-03 | 2017-07-14 | 华为技术有限公司 | 一种链路发现方法、sdn控制器及设备 |
JP6296534B2 (ja) | 2013-10-11 | 2018-03-20 | 日本電信電話株式会社 | 通信装置の省電力制御方法及び通信装置 |
US9294347B2 (en) | 2014-03-20 | 2016-03-22 | Dell Products Lp | Systems and methods for automatic access layer configuration |
US9935831B1 (en) * | 2014-06-03 | 2018-04-03 | Big Switch Networks, Inc. | Systems and methods for controlling network switches using a switch modeling interface at a controller |
US10044795B2 (en) | 2014-07-11 | 2018-08-07 | Vmware Inc. | Methods and apparatus for rack deployments for virtual computing environments |
US10250529B2 (en) * | 2014-07-21 | 2019-04-02 | Big Switch Networks, Inc. | Systems and methods for performing logical network forwarding using a controller |
JP2016111648A (ja) | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 通信制御プログラム、通信制御装置、通信システム、及び、通信制御方法 |
US9985886B2 (en) * | 2015-03-27 | 2018-05-29 | Intel Corporation | Technologies for network packet pacing during segmentation operations |
US10439322B1 (en) * | 2018-06-05 | 2019-10-08 | Te Connectivity Corporation | Connector system for a wearable article |
US10924995B2 (en) * | 2018-09-19 | 2021-02-16 | Hewlett Packard Enterprise Development Lp | Wake-up radio roaming |
-
2017
- 2017-10-31 US US15/798,951 patent/US10797959B2/en active Active
- 2017-12-18 TW TW106144394A patent/TWI647930B/zh active
-
2018
- 2018-01-09 EP EP18150794.8A patent/EP3442165A1/en not_active Withdrawn
- 2018-01-11 CN CN201810025932.XA patent/CN109391564B/zh active Active
- 2018-02-14 JP JP2018023646A patent/JP2019036939A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207514A (zh) * | 2006-12-22 | 2008-06-25 | 友劲科技股份有限公司 | 网络装置发现方法 |
CN101335747A (zh) * | 2007-07-01 | 2008-12-31 | 华为技术有限公司 | 通信地址通知、探索及通信检测、恢复方法及其装置 |
US20100039935A1 (en) * | 2007-12-21 | 2010-02-18 | World Wide Packets, Inc. | Deactivating a Packet Tunnel Based On At Least One Performance Characteristic |
US8710983B2 (en) * | 2012-05-07 | 2014-04-29 | Integrated Security Corporation | Intelligent sensor network |
US20140122910A1 (en) * | 2012-10-25 | 2014-05-01 | Inventec Corporation | Rack server system and operation method thereof |
US20170063637A1 (en) * | 2013-06-06 | 2017-03-02 | Dell Products L.P. | System and method for base topology selection |
US20160020993A1 (en) * | 2014-07-21 | 2016-01-21 | Big Switch Networks, Inc. | Systems and methods for performing debugging operations on networks using a controller |
US20160055354A1 (en) * | 2014-08-19 | 2016-02-25 | Dell Products L.P. | Supporting port security on power-over-ethernet enabled ports |
Also Published As
Publication number | Publication date |
---|---|
US20190052538A1 (en) | 2019-02-14 |
US10797959B2 (en) | 2020-10-06 |
TWI647930B (zh) | 2019-01-11 |
CN109391564B (zh) | 2021-09-07 |
EP3442165A1 (en) | 2019-02-13 |
TW201911817A (zh) | 2019-03-16 |
JP2019036939A (ja) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109391564A (zh) | 判断来自网络装置的操作数据及发送其给网络装置的方法 | |
CN104335535B (zh) | 使用生成树和网络交换元件资源在网络中路由信息流的方法、装置及系统 | |
TWI483581B (zh) | 用以搜尋網路裝置之方法及設備 | |
CN105407028B (zh) | 用于高频宽伺服器管理的方法与系统 | |
CN107170474B (zh) | 可扩展存储盒、计算机实施方法以及计算机可读存储装置 | |
US8332670B2 (en) | Method and apparatus for discovery and detection of relationship between device and power distribution outlet | |
CN105404366B (zh) | 在服务器机架系统中的备份管理控制的方法及服务器机架 | |
Mahadevan et al. | On energy efficiency for enterprise and data center networks | |
JP5831264B2 (ja) | 情報処理システム、情報処理装置およびプログラム | |
JP5496518B2 (ja) | 集中電力管理方法、装置側エージェント、集中電力管理コントローラ及び集中電源管理システム | |
CN107070726A (zh) | 一种基于mdc的综合管理方法 | |
US8634328B2 (en) | Endpoint-to-endpoint communications status monitoring | |
CN103262472B (zh) | 计算机系统、控制器、控制器管理器和通信路由分析方法 | |
CN106605392A (zh) | 用于使用控制器在网络上进行操作的系统和方法 | |
US20110258302A1 (en) | System And Method For Remotely Determining Identification And Physical Location Of Equipment In A Rack | |
CN109089398A (zh) | 决定设备机架的插槽位置的系统 | |
Bautista et al. | Collecting, monitoring, and analyzing facility and systems data at the national energy research scientific computing center | |
Li et al. | Willow: Saving data center network energy for network-limited flows | |
CN105379206B (zh) | 网络中的报文处理方法、转发设备和报文处理系统 | |
CN109510856A (zh) | 通过存储域网络中的目标设备对交替主要成员端口的标识 | |
CN102752142A (zh) | 一种基于多维建模的信息系统的监控方法及监控系统 | |
CN109587207A (zh) | 用于自动发现网络设备的系统和方法 | |
CN108199860A (zh) | 一种告警处理方法及网络设备 | |
CN103428021B (zh) | 机柜级服务器、机柜级服务器节点信息管理方法和系统 | |
CN108737163A (zh) | 一种基于OpenFlow协议的SDN控制器应用性能分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |