CN107346293A - 动态重新配置系统的至少一外围总线交换器的方法及系统 - Google Patents
动态重新配置系统的至少一外围总线交换器的方法及系统 Download PDFInfo
- Publication number
- CN107346293A CN107346293A CN201610659018.1A CN201610659018A CN107346293A CN 107346293 A CN107346293 A CN 107346293A CN 201610659018 A CN201610659018 A CN 201610659018A CN 107346293 A CN107346293 A CN 107346293A
- Authority
- CN
- China
- Prior art keywords
- peripheral bus
- mentioned
- exchanger
- server
- port
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7202—Allocation control and policies
Abstract
动态重新配置系统的至少一外围总线交换器的方法及系统,该方法包括:检测一服务器系统是否连接至上述系统的每个外围总线插槽,以产生一检测结果;根据上述检测结果,为上述至少一外围总线交换器选择一外围总线交换器拓朴;以及根据上述外围总线交换器拓朴,将上述至少一总线拓朴交换器的每一端口设定为一上游端口配置或一下游端口配置。
Description
技术领域
本发明涉及服务器系统,特别涉及外围总线交换器的动态重新配置的系统及方法。
背景技术
桌上型计算机及游戏计算机通常通过使用专用于驱动一或多个计算机显示器的一图形子系统以保存(conserve)中央处理单元资源。图形处理单元(graphics processingunit,GPU)位于图形子系统的心脏。中央处理单元设计为有效率地执行种类繁多的算法(algorithm)的一通用处理器。然而,图形处理由有限的且众所皆知的算法集丛(set)所构成。图形处理单元为一专用处理器,上述专用处理器擅长在图形处理上的处理但不一定在擅长在其他工作上的处理。
随着计算机系统的进步,图形处理单元在复杂性及计算能力上变得越来越先进。由于计算能力上的增加,图形处理单元现在可执行图形处理及更多通用计算工作。
最近的一项创新(innovation)是一通用目的图形处理单元(GPGPU)。图形处理单元的图形能力也让图形处理单元非常适合于其他数学式密集型的应用程序(mathematically intensive applications)。主要的图形芯片制造商已经开始支持图形处理单元的非图形应用程序的使用。这有时候被称为图形处理单元加速(GPUacceleration)。
为了建立一通用目的图形处理单元服务器,一管理者将安装一图形处理单元卡至具有先决(prerequisite)外部总线插槽空间及宽度以容纳图形处理单元卡的一服务器。然而,大部分服务器只有少量的外部总线插槽。
发明内容
下列段落提供本发明一或多个实施例中的简单摘要以提供本发明技术的基本理解。此摘要并非本发明技术的所有考虑的实施例的扩展概观,且不是用以分辨所有例子的关键或重要元件也不是描述本发明中任何或所有方面的范围。其目的是以一简单形式呈现一或多个实施例中的一些概念以做为本发明稍后描述的详细说明部分的前言。
在本发明的某些实施例中,一种通过一管理控制器动态重新配置一系统的至少一外围总线交换器的方法,包括:检测一服务器系统是否连接至上述系统的每个外围总线插槽,以产生一检测结果;根据上述检测结果,为上述至少一外围总线交换器选择一外围总线交换器拓朴;以及根据上述外围总线交换器拓朴,将上述至少一总线拓朴交换器的每一端口设定为一上游端口配置或一下游端口配置。
在本发明的某些实施例中,一种通过一管理控制器动态重新配置一系统的至少一外围总线交换器的系统,包括:至少一外围总线交换器,上述至少一外围总线交换器的每一个连接至一外围总线插槽;至少一图形处理单元,连接至上述至少一外围总线交换器的一下游端口;以及一管理控制器,连接至上述至少一外围总线交换器,用以:检测一服务器系统是否连接至每个外围总线插槽,以产生一检测结果;根据上述检测结果,为至少一外围总线交换器选择一外围总线交换器拓朴;以及根据上述外围总线交换器拓朴,将上述至少一总线拓朴交换器的每一端口设定为一上游端口配置或一下游端口配置。
附图说明
本发明的实施例将可参考附图与后续的详细说明而得知,其中:
图1是描绘出一快速外围组件互连架构的一实施例的一方块图;
图2是描绘出用以动态重新配置外围总线交换器的一第一范例系统配置的一方块图;
图3是描绘出用以动态重新配置外围总线交换器的一第二范例系统配置的一方块图;
图4是描绘出用以动态重新配置外围总线交换器的一第三范例系统配置的一方块图;
图5是描绘出用以存储一系统配置的一第一范例服务器的一方块图;
图6是描绘出用以存储一系统配置的一第二范例服务器的一方块图;
图7是描绘出用以动态重新配置外围总线交换器的一范例方法;以及
图8是描绘出计算机系统的一实施例的方块图。
【符号说明】
100~快速外围组件互连架构;
110、510、610~中央处理单元;
120~根联合体;
121、820~存储器;
122、140~快速外围组件互连端点;
124~快速外围组件互连电桥;
130、220、320、322、420、422、530、630~快速外围组件互连交换器;
200~第一范例系统配置;
210、840~处理器;
230、330、332、430、432~快速外围组件互连插槽;
240、340、440~图形处理单元;
252、254、256、352、354、356、358、452、454、456、458~路径;
360、362、460~服务器;
300~第二范例系统配置;
400~第三范例系统配置;
500~第一范例服务器;
520、620~基板管理控制器;
540、640~非易失性存储器;
600~第二范例服务器;
650~串行外围接口电桥;
710、720、730~步骤;
800~计算机系统;
810~基本输入输出系统;
830~存储单元;
850~网络接口;
860~北桥;
870~南桥;
880~管理控制器。
具体实施方式
在以下的描述中,各种实施例将通过举例的方式来说明,而不受在附图中的数字所限制。本发明内容参考各种实施例且在本发明中不一定是同一个实施例,且意味着至少一个实施例被引用。本发明对具体的实施方式和其他具体的实施细节进行了讨论。然而,应当理解的是这仅是为了说明性的目的所进行。本领域技术人员应了解本发明的其他元件及配置可在不脱离所要求保护的主题的范围和精神的情况下使用。
本发明提供一种通过使用通用目的图形处理器(GPGPU)以动态重新配置外围总线交换器的方法。上述方法允许一服务器系统弹性地调整以作为包括大量通用目的图形处理器的一特殊化的通用目的图形处理器服务器(specialized GPGPU server)。上述特殊化的通用目的图形处理器服务器可提供通用目的图形处理器资源至其他服务器。
图1是描绘出一快速外围组件互连(PCIe)架构100的一实施例的一方块图。快速外围组件互连为一高速串行(serial)计算机扩展总线标准,用以取代较旧的外围控制器接口(PCI)、互连扩展总线(PCI-X)及加速图形端口(AGP)总线标准。快速外围组件互连操作于一用户端(consumer)、服务器及工业应用(industrial application)中,例如:一主机板等级互连(mother-board level interconnect)以连接安装于主机板的外围设备、一被动(passive)背板互连、以及用以附加板的一扩展卡接口。
可以理解的是,为了方便说明,本发明使用快速外围组件互连于其他外围装置架构及总线标准上。如上所述,本发明也可实现于其他外围装置架构及总线标准上。
在现今许多计算机中,从消费者笔记型计算机及桌上型计算机至企业型数据服务器,快速外围组件互连总线作为一主要的主机板等级互连,将主系统处理器连接至集成外围设备(integrated-peripherals)(例如:安装于表面的集成电路)以及附加的外围设备(例如:扩展卡)。在这些系统中,为了与大部分旧式的外围控制器接口相容,快速外围组件互连总线与一或多个旧式的(legacy)外围控制器接口总线共存。
快速外围组件互连总线连结支持任意两端点间的全双工(full-duplex)通信,且在多个终端的并行(concurrent)存取上没有既有(inherent)限制。快速外围组件互连装置通过称为一互连或一连结(link)的一逻辑连接(logical connection)进行通信。一连结是一点对点的通信通道,通信通道介于两个快速外围组件互连端口之间以允许两个快速外围组件互连端口传送及接收普通的外围控制器接口要求(配置、输入/输出,或存储器读/写)及中断信号(interrupt)。在物理层中,一连结由一或多个通道(lane)所组成。低速外围设备(例如:802.11Wi-Fi卡)使用一单一通道(x1)连结,而一图形处理单元使用一较宽及较快速的16通道(x16)连结。
一快速外围组件互连卡(例如:一图形处理单元卡)适合它物理尺寸或较大的物理尺寸(x16为所使用最大的插槽)的插槽,但可能不适合较小的快速外围组件互连插槽。举例而言,一x16卡可能不适合一x4或x8的快速外围组件互连插槽。有些插槽使用开放式插槽以允许物理上较长的卡且协商出(negotiate)最佳的可用的电子性及逻辑性连接。
快速外围组件互连架构100包括一中央处理单元110、一根联合体(root complex)120、一存储器121、一快速外围组件互连交换器130、以及多个快速外围组件互连端点122、140以及快速外围组件互连电桥124。
根联合体120为中央处理单元110、多个快速外围组件互连总线及甚至可能其他多个芯片间的一接口(例如:处理器接口、动态随机存取存储器接口,诸如此类的接口),其中多个快速外围组件互连总线可包含多个元件。根联合体120可支持一或多个称为根端口(root port)的快速外围组件互连端口,且逻辑性地聚集多个快速外围组件互连分层结构定义域(hierarchy domains)至一单一快速外围组件互连分层结构。根联合体120包括通过快速外围组件互连连结的多个根端口以连接至中央处理单元110、快速外围组件互连交换器130以及多个快速外围组件互连端点。每个根端口定义出一分隔的(separate)分层结构定义域,上述分层结构定义域包括包含一或多个交换器元件及快速外围组件互连端点122、140以及快速外围组件互连电桥124的一单一端点或一子分层结构。
快速外围组件互连交换器130允许更多装置与一单一根端口进行连接。快速外围组件互连交换器130作为一分组路由器且辨识哪个路径需要根据它的位置或其他路由信息以得到一个给定的分组。快速外围组件互连交换器130具有许多下游端口(朝端点方向)但只有一上游端口(朝根联合体120方向)。快速外围组件互连电桥124提供一接口以连接至其他种类的总线(例如:外围控制器接口或互连扩展总线或甚至其他快速外围组件互连总线)。上游方向代表数据从快速外围组件互连端点122、140以及快速外围组件互连电桥124流至中央处理单元110,而下游方向代表数据从中央处理单元110流至快速外围组件互连端点122、140以及快速外围组件互连电桥124。
快速外围组件互连端点装置(例如:图形处理单元)可连接至快速外围组件互连端点122、140以及快速外围组件互连电桥124。快速外围组件互连端点装置常驻(reside)于快速外围组件互连树状拓朴的分支的底部,且包括面朝根联合体120的一单一上游端口。
图2是描绘出用以动态重新配置外围总线交换器的一第一范例系统配置200的一方块图。一服务器202包括一或多个处理器210、多个快速外围组件互连交换器220、多个快速外围组件互连插槽230以及多个图形处理单元240。第一范例系统配置200为包括多个中央处理单元及多个图形处理单元的一图形处理单元服务器202的代表例,而不是不包括多个中央处理单元的图形处理单元服务器的代表例。第一范例系统配置200中的图形处理单元服务器202不提供图形处理单元资源至其他服务器。
多个快速外围组件互连交换器220导引(direct)处理器210与快速外围组件互连端点(例如:快速外围组件互连插槽230及图形处理单元240)间的数据。每个快速外围组件互连交换器220包括用以连接至系统的其他元件的多个端口。每个快速外围组件互连交换器220包括一或多个下游端口,上述下游端口用以将路径256连接至图形处理单元240。每个快速外围组件互连交换器220包括一或多个上游端口,上述上游端口用以将路径254连接至快速外围组件互连插槽230。每个快速外围组件互连交换器220还包括一上游端口,上游端口用以将路径252连接至中央处理单元210。
每个快速外围组件互连交换器220连接至一管理控制器(未图示),管理控制器用以将快速外围组件互连交换器220的每个端口动态设定为图2所示的第一范例系统配置200中一上游端口(朝处理器方向)或一下游端口(朝一快速外围组件互连端点方向)。
图3是描绘出用以动态重新配置外围总线交换器的一第二范例系统配置300的一方块图。一服务器302包括多个快速外围组件互连交换器320、322,多个快速外围组件互连插槽330、332以及多个图形处理单元340。第二范例系统配置300与第一范例系统配置200的不同处在于服务器302的快速外围组件互连插槽330、332与其他服务器(服务器360、362)进行连接。在本发明的某些实施例中,服务器302可与服务器202相同。在本发明的某些实施例中,服务器302不包括任何中央处理单元。服务器302可提供图形处理单元资源至服务器360、362。服务器360通过快速外围组件互连插槽330或332中之一个连接至服务器302。服务器362通过快速外围组件互连插槽330或332中的一个连接至服务器302。
多个快速外围组件互连交换器320、322导引服务器360、362、快速外围组件互连插槽330、332以及图形处理单元340间的数据。每个快速外围组件互连插槽330、332包括用以连接至系统的其他元件的多个端口。快速外围组件互连插槽330、332包括一或多个下游端口,上述下游端口用以将路径356连接至图形处理单元340。在本发明的某些实施例中,每个快速外围组件互连插槽330、332还包括一下游端口,上述下游端口用以将路径358连接至快速外围组件互连交换器320、322。
在本发明的某些实施例中,服务器360通过快速外围组件互连插槽330将路径352连接至快速外围组件互连交换器320的一上游端口。服务器362通过快速外围组件互连插槽330将路径352连接至快速外围组件互连交换器320的一上游端口。对服务器360及362而言,仅需要一上游连接(路径352)。因此,对服务器360及362而言,仅需要在一快速外围组件互连交换器320上的一上游端口。快速外围组件互连交换器320、322的所有其他端口皆设定为下游端口。没有连接至服务器360、362的快速外围组件互连插槽332连接至快速外围组件互连交换器322的下游端口。
在本发明的某些实施例中,服务器360通过快速外围组件互连插槽332将路径354连接至快速外围组件互连交换器322。服务器362通过快速外围组件互连插槽332将路径354连接至快速外围组件互连交换器322的一上游端口。没有连接至服务器360、362的快速外围组件互连插槽330连接至快速外围组件互连交换器320的下游端口。
每个快速外围组件互连交换器320、322连接至一管理控制器(未图示),管理控制器用以将快速外围组件互连交换器320、322的每个端口动态设定为图3所示的第二范例系统配置300中一上游端口(朝服务器360或362的处理器方向)或一下游端口(朝其他所有端口方向)。
图4是描绘出用以动态重新配置外围总线交换器的一第三范例系统配置400的一方块图。服务器402包括快速外围组件互连交换器420、422、快速外围组件互连插槽430、432以及图形处理单元440。第三范例系统配置400与第二范例系统配置300的不同处在于一快速外围组件互连插槽430、432连接至一服务器460。在本发明的某些实施例中,服务器402不包括任何中央处理单元。服务器402可提供图形处理单元资源至服务器460。服务器460通过四个快速外围组件互连插槽430、432的任意一个连接至服务器402。
快速外围组件互连交换器420、422导引服务器460、362、快速外围组件互连插槽430、432以及图形处理单元440间的数据。每个快速外围组件互连交换器420、422包括用以连接至系统的其他元件的多个端口。快速外围组件互连交换器420、422包括一或多个下游端口,下游端口用以将路径456连接至图形处理单元440。在本发明的某些实施例中,每个快速外围组件互连交换器420、422还包括一下游端口,下游端口用以将路径458连接至快速外围组件互连交换器420、422。
在本发明的某些实施例中,服务器460通过快速外围组件互连插槽430将路径452连接至快速外围组件互连交换器420的一上游端口。对服务器460而言,仅需要一上游连接(路径452)。因此,对服务器460而言,仅需要在一快速外围组件互连交换器420上的一上游端口。快速外围组件互连交换器420、422的所有其他端口皆设定为下游端口。没有连接至服务器460的快速外围组件互连插槽432连接至快速外围组件互连交换器422的下游端口。
在本发明的某些实施例中,服务器460通过快速外围组件互连插槽432的一个将路径454连接至快速外围组件互连交换器422。没有连接至服务器460的快速外围组件互连插槽连接至快速外围组件互连交换器的下游端口。
每个快速外围组件互连交换器420、422连接至一管理控制器(未图示),管理控制器用以将快速外围组件互连交换器420、422的每个端口动态设定为图4所示的第三范例系统配置400中的一上游端口(朝服务器460的处理器方向)或一下游端口(朝其他所有端口方向)。
图5是描绘出用以存储一系统配置的一第一范例服务器500的一方块图。第一范例服务器500包括一中央处理单元510、一基板管理控制器(baseboard managementcontroller,BMC)520、一快速外围组件互连交换器530以及一非易失性存储器540。
基板管理控制器520为管理系统管理软件与平台硬件间的多个接口之一微控制器。在某些实施例中,每个基板管理控制器520用以管理在第一范例服务器500内的多个硬件元件(例如:多个处理器、存储器、存储装置、服务器机架电源供应单元、风扇、电路板、诸如此类的硬件元件)。
基板管理控制器520为智能平台管理接口总线子系统204的一部分。智能平台管理接口总线子系统204可独立操作于第一范例服务器500的其他部分,且甚至当第一范例服务器500的电源关闭(power down)或关闭(shut off)时智能平台管理接口总线子系统204仍具有功能(function)。当第一范例服务器500关机(shut down)时,智能平台管理接口总线子系统204甚至可以在备用电源或在一个低功率模式下操作。
基板管理控制器520使用智能平台管理接口(IPMI)协议与多个服务器元件进行通信。智能平台管理接口用于一独立的计算机子系统的一组规范,该组规范用以管理且监控一计算机系统的中央处理单元、固件以及操作系统,并且由多个系统管理者进行频外管理及监控。基板管理控制器520可使用任何总线接口(例如:系统管理总线、RS-232串行总线、内部集成电路(Inter-Integrated Circuit,IIC)协议、以太、智能平台管理接口总线,LPC总线,诸如此类的总线接口)连接至多个服务器元件(例如:南桥240或网络接口控制器270)。内部集成电路协议的特色为使用一7位或一10位地址空间(address space)的一串行数据线(Serial Data Line)及一串行时钟线(Serial Clock Line)的一多主控(multi-master)、多从控(multi-slave)、单端式(single-ended)、串行计算机(serial computer)的总线。系统管理总线(SMBus)协议的特征为衍生自内部集成电路协议的一单端式、双线式(two-wire)总线,以及使用内部集成电路硬件及内部集成电路定址(addressing)。智能平台管理接口总线为用以连接服务器内多个版的一基于串行总线的内部集成电路。在某些实施例中,基板管理控制器520使用内部集成电路协议与快速外围组件互连交换器530进行通信。
基板管理控制器520检测一服务器系统是否连接至系统的每个外围总线以产生一检测结果,且根据检测结果对至少一外围总线交换器选择一外围总线交换器拓朴。基板管理控制器520根据外围总线交换器拓朴设定至少一外围总线交换器的每一端口至一上游端口或一下游端口。
在本发明的某些实施例中,基板管理控制器520存储一检测到的配置(例如:其他服务器是否通过一或多个外围总线插槽连接至第一范例服务器500以及其他服务器通过一或多个外围总线插槽连接至第一范例服务器500的地方)至非易失性存储器540供后续回收及利用。
举例而言,若基板管理控制器520仅检测到连接至系统的一外围总线插槽的一单一服务器系统,基板管理控制器520选择一外围总线交换器拓朴,该外围总线交换器拓朴将一端口设定为上游端口配置并且将所有其他端口设定为下游端口配置。
若基板管理控制器520检测到一第一外围总线插槽连接至一第一服务器系统且一第二外围总线插槽连接至一第二服务器系统,基板管理控制器520选择一外围总线交换器拓朴,该外围总线交换器拓朴(1)将连接一第一外围总线插槽的至少一外围总线交换器的一第一端口设定为上游端口配置;(2)将连接一第二外围总线插槽的至少一外围总线交换器的一第二端口设定为上游端口配置;并且(3)将其他所有端口设定为下游端口配置。
若基板管理控制器520检测到没有任何外围总线插槽连接至服务器系统时,基板管理控制器520选择一外围总线交换器拓朴,该外围总线交换器拓朴将至少一外围总线交换器进行设定以连接至第一范例服务器500的一中央处理单元。
在本发明的某些实施例中,基板管理控制器520传送一内部集成电路信号至一外围总线交换器。快速外围组件互连交换器530将服务器配置写入至非易失性存储器540。
图6是描绘出用以存储一系统配置的一第二范例服务器600的一方块图。第二范例服务器600包括一中央处理单元610、一基板管理控制器620、一快速外围组件互连交换器630、一串行外围接口(Serial Peripheral Interface,SPI)电桥650以及一非易失性存储器640。第二范例服务器600与图5的第一范例服务器500的不同之处在于基板管理控制器620通过将一内部集成电路信号传送至串行外围接口电桥650以存储服务器配置。串行外围接口电桥650转换一串行外围接口信号以将服务器配置写入至非易失性存储器640。
图7是描绘出通过一管理控制器(例如:图5的基板管理控制器520或图6的基板管理控制器620)用以动态重新配置外围总线交换器的一范例方法。步骤710中,管理控制器检测一服务器系统是否连接至系统的每个外围总线插槽以产生一检测结果。
步骤720中,管理控制器根据检测结果为至少一外围总线交换器选择一外围总线交换器拓朴。
步骤730中,管理控制器根据外围总线交换器拓朴将至少一外围总线交换器的每一端口设定为一上游端口配置或一下游端口配置。
图8为计算机系统800的一实施例的方块图。计算机系统800可包括一处理器840、一网络接口850、一管理控制器880、一存储器820、一存储单元830、一基本输入输出系统810、一北桥860以及一南桥870。
计算机系统800可为一服务器(例如:一数据中心之一服务器机架中的一个)或一个人计算机。处理器(例如:中央处理单元)840为一主机板上的一芯片(chip)以读取和执行存储于存储器820上的程序指令。处理器840可为具有单处理内核的单一CPU、具有多处理内核的单一CPU,或多个CPU。一或多个总线(未图示)在多个计算机元件(例如:处理器840、存储器820、存储单元830和网络接口850)间传送指令和应用程序数据。
存储器820包括用以暂时性地或永久性地存储数据或程序的任意物理装置(例如:各种形式的随机存取存储器(RAM))。存储单元830包括用在非易失性数据存储的任意物理装置(例如:一硬盘(HDD)或一随身碟)。存储单元830具有比存储器820更大的容量且更经济的每单位存储,但存储单元830具有比存储器820更低的传送速率。
基本输入输出系统810包括一基本输入输出系统(BIOS)或其后继者(successors)或等效元件(equivalents),例如,遵循一扩展可扩展固件接口(EFI)或一统一扩展可扩展固件接口(UEFI)规范的基本输入输出系统。基本输入输出系统810包括位于一计算机系统800的主机板(mother board)上的一基本输入输出系统芯片,用以存储一基本输入输出系统软件程序。基本输入输出系统810存储一固件,此固件搭配着为基本输入输出系统810所指定的一组配置于计算机系统第一次开机时被执行。基本输入输出系统固件和基本输入输出系统配置可被存储于一非易失性存储器(例如:非易失性随机存取存储器)或一只读存储器(例如:快闪存储器)中。快闪存储器是可被电性抹除(erased)且重新编程(reprogram)的一非易失性计算机存储介质(non-volatile computer storage medium)。
每次计算机系统800被启动时,基本输入输出系统810可当作一串程序被读取与执行。基本输入输出系统810可根据一组配置去辨识、初始化与测试存在于计算机系统中的硬件。基本输入输出系统810可进行在计算机系统800上的自我检测(self-test),例如开机自我检测(Power-on-Self-Test,POST)。自我检测可测试多种硬件元件(例如:硬盘、光学读取装置、冷却装置、存储器模块、扩展卡等等)的功能。基本输入输出系统可定址和分配存储器820中的一个区域用以存储一操作系统。然后,基本输入输出系统810就可以把计算机系统的控制权交给操作系统。
计算机系统800中的基本输入输出系统810可包括一基本输入输出系统配置,上述基本输入输出系统配置定义基本输入输出系统810如何控制在计算机系统800中的多种硬件单元。基本输入输出系统配置可判断计算机系统800中多种硬件单元启动的顺序。基本输入输出系统810可提供一个允许设定许多不同参数的接口(例如,基本输入输出系统设置选单),通过此接口,使用者可以修改不同于基本输入输出系统的预设配置的各种参数。举例来说,一使用者(例如:系统管理者)可使用基本输入输出系统810设定(specify)时刻和总线速度、确认哪些外围设备连接至计算机系统、设定监控系统的健康状态(monitoring ofhealth)(例如:风扇速度和中央处理单元的温度限制)、以及设定多种其他可影响计算机系统整体效能和使用功率的参数。
管理控制器880可为设置于计算机系统的主机板的一特殊化微控制器。举例而言,管理控制器880可为一基板管理控制器。管理控制器880可管理在系统管理软件与平台硬件间的接口。设置于计算机系统中的不同种类的感应器可回报参数(例如:温度、冷却风扇速度、功率状态、操作系统的状态等等)给管理控制器880。管理控制器880可以监控感应器,若任何参数没有在规定的范围内,管理控制器880拥有可藉由网络接口850传送警告讯息给系统管理者的能力,并指出系统的潜在错误(failure)。系统管理者也可远端地与管理控制器880通信,进行校正的动作(例如:系统的重新设定(resetting)或冷开机(power cycling))用以回复系统的功能。
北桥860可为设置于主机板上可直接连接至处理器840或可整合至处理器840的一芯片。举例而言,北桥860与南桥870可组合成一单一的芯片(single die)。北桥860与南桥870管理处理器840与主机板上其他端口分之间的通信。北桥860管理比南桥860的更高效能的工作。北桥860也管理多个处理器840、存储器820以及图像控制器(未图示)间的通信。举例而言,北桥860可包括一图像控制器。
南桥870可为设置于主机板上连接至北桥860的一芯片,但与北桥860不同的地方在于南桥870无直接连接至处理器840。南桥870管理多个输入/输出功能(例如:计算机系统800的通用串行总线、音频、串行、基本输入输出系统、串行ATA(SATA)、快速外围组件互连(Peripheral Component Interconnect bus)、互连扩展总线(PCI eXtended(PCI-X)bus)、快速外围组件快速外围组件互连、工业标准结构总线(ISA bus)、串行外围接口总线(SPIbus)、e-串行外围接口总线(eSPI bus)、系统管理总线(SMBus))。南桥870可连接至管理控制器、直接存储器存取(DMAs)控制器、可编程中断控制器(PICs)、及即时时钟;或管理控制器、直接存储器存取(DMAs)控制器、可编程中断控制器(PICs)、及即时时钟可包括于南桥870内。在某些实施例中,在北桥860整合至处理器840时,南桥870直接连接至处理器840。
多种具说明性的逻辑区块、模块、及电路以及在此所公开的各种情况可实施在或执行于一般用途处理器、数字信号处理器(digital signal processor,DSP)、特定应用集成电路(application specific integrated circuit,ASIC)、现场可编程门列(fieldprogrammable gate array,FPGA)或其他可编程逻辑装置、离散门(discrete gate)或晶体管逻辑(transistor logic)、离散硬件元件、或任何以上的组合的设计以完成在此文内描述的功能。一般用途处理器可能是微处理器,但也可能是任何常规处理器、控制器、微控制器、或状态机。处理器可由计算机设备的组合所构成,例如:数字信号处理器(DSP)及一微计算机的组合、多组微计算机、一组至多组微计算机以及一数字信号处理器内核、或任何其他类似的配置。
本发明的说明书所公开的方法和算法的步骤,可以直接通过执行一处理器直接应用在硬件以及软件模块或两者的结合上。软件模块存储在随机存取存储器(Random AccessMemory,RAM)、快闪存储器(flash memory)、只读存储器(Read-Only Memory,ROM)、可抹除可编程只读存储器(EPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、暂存器、硬盘、便携式应碟、光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)或在此领域已知技术中任何其它计算机可读取的存储介质格式中。存储介质可耦接至一处理器,例如可存储介质读取信息且写入信息至存储介质的处理器。在某些实施例中,存储介质可与处理器整合在一起。处理器与存储介质可设置于一特殊应用集成电路(ASIC)之中。特殊应用集成电路(ASIC)可设置于一使用者端(user terminal)中。在某些实施例中,存储介质可与处理器整合在一起。处理器与存储介质可设置成一使用者端(user terminal)中的分离的元件。
在某些设计中,前述的功能可以硬件、软件、固件或其组合的方式加以实现。若以软件的方式实现,前述的功能可存储于一非易失性计算机可读取介质上的一个或多个指令或编码,或存储于一非易失性计算机可读取介质上的一个或多个指令或编码。非易失性计算机可读取介质包含任何有助于将一计算机程序由一地方传送至至另一地方的介质。存储介质可为被通用型或专用型计算机所存取的任何可能的介质。举例而言,此计算机可读取介质包括动态存取存储器(RAM)、只读存储器(ROM)、电子抹除式可编程只读存储器(EEPROM)、只读光盘CDROM或其它光学存储碟、磁盘存储装置或其它其他磁性存储装置,或任何可承载或存储指令型式或数据结构型式的所需程序代码并且可由通用或专用计算机或通用或专用处理器所存取的其它介质。举例而言,前述的碟片可为光盘(CD)、激光盘、光学盘、数字影音光盘(DVD)、软盘(floppy disk)或蓝光光盘,这些碟片藉由激光光来重制(reproduce)数据,而磁盘则利用磁性来重制(reproduce)数据。前面公开的组合亦属于非易失性计算机可读取介质的范围。
然而以上所述仅为本公开的优选实施例而已,当不能以此限定本公开实施的范围,即大凡依本公开权利要求书及发明说明内容所作的简单的等效变化与修饰,皆仍属本公开专利涵盖的范围内。另外,本公开的任一实施例或权利要求书不须达成本公开所公开的全端口目的或优点或特点。此外,摘要端口分和标题仅是用来辅助专利文件搜寻之用,并非用来限制本公开的权利范围。
Claims (10)
1.一种通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,包括:
检测服务器系统是否连接至上述系统的每个外围总线插槽,以产生检测结果;
根据上述检测结果,为上述至少一外围总线交换器选择外围总线交换器拓朴;以及
根据上述外围总线交换器拓朴,将上述至少一总线拓朴交换器的每一端口设定为上游端口配置或下游端口配置。
2.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中上述上游端口配置用以连接至根联合体。
3.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中上述下游端口配置用以连接至外围总线端点。
4.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中当检测出没有外围总线插槽连接至上述服务器系统时,上述外围总线交换器拓朴将上述至少一外围总线交换器的每一个进行设定以连接至上述系统之一中央处理单元。
5.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中当检测到上述第一外围总线插槽连接至第一服务器系统及上述第二外围总线插槽连接至第二服务器系统时,上述外围总线交换器拓朴将连接至第一外围总线插槽的上述至少一外围总线交换器的第一端口设定为上述上游端口配置;将连接至第二外围总线插槽的上述至少一外围总线交换器的第二端口以设定为上述上游端口配置;并且将其他所有端口设定为上述下游端口配置。
6.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中当仅检测到单一个服务器系统连接至上述系统之一外围总线插槽时,上述外围总线交换器拓朴将上述至少一外围总线交换器之一端口设定为上述上游端口配置且将上述至少一外围总线交换器的所有其他端口设定为上述下游端口配置。
7.如权利要求1所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,还包括:
针对服务器位置及服务器数量,存储服务器配置至非易失性存储器;以及
从上述系统的上述非易失性存储器中读取上述服务器配置。
8.如权利要求7所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中存储上述服务器配置的步骤包括传送内部集成电路信号至串行外围接口电桥以使得上述内部集成电路信号转换后的串行外围接口总线信号将上述服务器配置写入至上述非易失性存储器。
9.如权利要求7所述的通过管理控制器动态重新配置系统的至少一外围总线交换器的方法,其中存储上述服务器配置的步骤包括传送内部集成电路信号至外围总线交换器,其中上述外围总线交换器将上述服务器配置写入至上述非易失性存储器。
10.一种通过管理控制器动态重新配置系统的至少一外围总线交换器的系统,包括:
至少一外围总线交换器,上述至少一外围总线交换器的每一个连接至外围总线插槽;
至少一图形处理单元,连接至上述至少一外围总线交换器之一的下游端口;以及
管理控制器,连接至上述至少一外围总线交换器,用以:
检测服务器系统是否连接至每个外围总线插槽,以产生检测结果;
根据上述检测结果,为至少一外围总线交换器选择外围总线交换器拓朴;以及
根据上述外围总线交换器拓朴,将上述至少一总线拓朴交换器的每一端口设定为上游端口配置或下游端口配置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/149,032 US10387346B2 (en) | 2016-05-06 | 2016-05-06 | Dynamic PCIE switch reconfiguration mechanism |
US15/149,032 | 2016-05-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107346293A true CN107346293A (zh) | 2017-11-14 |
CN107346293B CN107346293B (zh) | 2019-08-16 |
Family
ID=58671518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610659018.1A Active CN107346293B (zh) | 2016-05-06 | 2016-08-12 | 动态重新配置系统的至少一外围总线交换器的方法及系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10387346B2 (zh) |
EP (1) | EP3242218B1 (zh) |
JP (1) | JP6360588B2 (zh) |
CN (1) | CN107346293B (zh) |
TW (1) | TWI631470B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021521A (zh) * | 2017-12-01 | 2018-05-11 | 郑州云海信息技术有限公司 | 一种基于bmc更改系统拓扑配置的架构以及级联配置方法 |
CN110389917A (zh) * | 2018-04-20 | 2019-10-29 | 纬颖科技服务股份有限公司 | 用于图形处理器的存储装置以及配置设定调整方法 |
CN110888498A (zh) * | 2018-09-07 | 2020-03-17 | 广达电脑股份有限公司 | 计算装置及快速周边组件互连基板 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11042496B1 (en) * | 2016-08-17 | 2021-06-22 | Amazon Technologies, Inc. | Peer-to-peer PCI topology |
CN108540319A (zh) * | 2018-04-02 | 2018-09-14 | 郑州云海信息技术有限公司 | 一种异构计算拓扑切换方法、系统及板卡 |
CN108845970B (zh) * | 2018-05-30 | 2021-07-27 | 郑州云海信息技术有限公司 | 一种自由切换gpu服务器拓扑的装置及方法 |
CN109032978A (zh) * | 2018-05-31 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种基于bmc的文件传输方法、装置、设备及介质 |
CN109002591B (zh) * | 2018-06-26 | 2021-11-09 | 郑州云海信息技术有限公司 | 一种从服务器主板端调整PCIe拓扑的方法和系统 |
US10855518B2 (en) * | 2018-11-07 | 2020-12-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Computer having an embedded switch |
US10833949B2 (en) | 2018-11-20 | 2020-11-10 | Amazon Technologies, Inc | Extension resource groups of provider network services |
US10585833B1 (en) | 2019-01-28 | 2020-03-10 | Quanta Computer Inc. | Flexible PCIe topology |
US10809789B1 (en) * | 2019-07-17 | 2020-10-20 | Dell Products L.P. | Peripheral component protection in information handling systems |
US11520530B2 (en) * | 2019-09-24 | 2022-12-06 | Amazon Technologies, Inc. | Peripheral device for configuring compute instances at client-selected servers |
US11064017B2 (en) | 2019-09-24 | 2021-07-13 | Amazon Technologies, Inc. | Peripheral device enabling virtualized computing service extensions |
EP3841530B1 (en) * | 2019-11-15 | 2023-11-08 | Kunlunxin Technology (Beijing) Company Limited | Distributed ai training topology based on flexible cable connection |
US11569997B1 (en) | 2020-03-09 | 2023-01-31 | Amazon Technologies, Inc. | Security mechanisms for data plane extensions of provider network services |
TWI750726B (zh) * | 2020-07-09 | 2021-12-21 | 緯穎科技服務股份有限公司 | 伺服器裝置及其伺服模組連接辨識方法 |
US11509751B2 (en) * | 2020-12-23 | 2022-11-22 | Dell Products L.P. | Self-describing system using single-source/multi-destination cable |
TWI793548B (zh) * | 2021-03-16 | 2023-02-21 | 英業達股份有限公司 | 自動調整PCIe通道配置之電路結構與方法 |
CN114968862B (zh) * | 2022-08-01 | 2022-11-11 | 摩尔线程智能科技(北京)有限责任公司 | 图形处理器管理方法、装置和存储介质 |
CN116185599A (zh) * | 2022-10-25 | 2023-05-30 | 阿里巴巴(中国)有限公司 | 异构服务器系统及其使用方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2606396Y (zh) * | 2002-11-18 | 2004-03-10 | 威盛电子股份有限公司 | 可使用除错系统开机的计算机系统 |
CN1592895A (zh) * | 2001-11-30 | 2005-03-09 | 先进微装置公司 | 多功能处理机计算机系统中的连接线用转接输入/输出节点 |
CN1811744A (zh) * | 2005-01-28 | 2006-08-02 | 富士通株式会社 | 通过串行总线互连多个处理节点的装置 |
CN102819517A (zh) * | 2011-06-08 | 2012-12-12 | 鸿富锦精密工业(深圳)有限公司 | Pcie接口卡 |
US20140281057A1 (en) * | 2013-03-15 | 2014-09-18 | Lsi Corporation | Unified message-based communications |
CN104598403A (zh) * | 2015-01-14 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种基于pcie交换器的集群存储系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7099969B2 (en) * | 2003-11-06 | 2006-08-29 | Dell Products L.P. | Dynamic reconfiguration of PCI Express links |
ATE350711T1 (de) * | 2004-02-27 | 2007-01-15 | Freescale Semiconductor Inc | Usb-sender |
US7539809B2 (en) * | 2005-08-19 | 2009-05-26 | Dell Products L.P. | System and method for dynamic adjustment of an information handling systems graphics bus |
US20080240230A1 (en) * | 2007-03-29 | 2008-10-02 | Horizon Semiconductors Ltd. | Media processor with an integrated TV receiver |
TW201015336A (en) * | 2008-10-03 | 2010-04-16 | Accusys Technology Ltd | Shared-storage bus switch |
US8742814B2 (en) * | 2009-07-15 | 2014-06-03 | Yehuda Binder | Sequentially operated modules |
US8891543B1 (en) * | 2011-05-23 | 2014-11-18 | Pluribus Networks Inc. | Method and system for processing packets in a network device |
JP2014527227A (ja) * | 2011-07-25 | 2014-10-09 | サーバジー・インコーポレイテツド | 低電力コンピューターシステムを構築するための方法およびシステム |
JPWO2013168289A1 (ja) * | 2012-05-11 | 2015-12-24 | 富士通株式会社 | 電子機器およびその制御方法 |
US9086919B2 (en) * | 2012-08-23 | 2015-07-21 | Dell Products, Lp | Fabric independent PCIe cluster manager |
CN203241876U (zh) * | 2013-05-09 | 2013-10-16 | 浪潮电子信息产业股份有限公司 | 一种自适应配置的pcie扩展箱 |
KR20150047785A (ko) * | 2013-10-25 | 2015-05-06 | 삼성전자주식회사 | 서버 시스템 및 스토리지 시스템 |
MY175303A (en) * | 2014-09-11 | 2020-06-18 | Intel Corp | Apparatus for sideband signaling, method for sideband signaling and system for sideband signaling |
US9582366B2 (en) * | 2014-11-21 | 2017-02-28 | International Business Machines Corporation | Detecting and sparing of optical PCIE cable channel attached IO drawer |
US9860113B2 (en) * | 2015-10-21 | 2018-01-02 | International Business Machines Corporation | Using an out-of-band network to reconfigure a bus interface port |
-
2016
- 2016-05-06 US US15/149,032 patent/US10387346B2/en active Active
- 2016-07-21 TW TW105123006A patent/TWI631470B/zh active
- 2016-08-12 CN CN201610659018.1A patent/CN107346293B/zh active Active
-
2017
- 2017-04-26 JP JP2017087142A patent/JP6360588B2/ja active Active
- 2017-05-05 EP EP17169698.2A patent/EP3242218B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1592895A (zh) * | 2001-11-30 | 2005-03-09 | 先进微装置公司 | 多功能处理机计算机系统中的连接线用转接输入/输出节点 |
CN1320469C (zh) * | 2001-11-30 | 2007-06-06 | 先进微装置公司 | 多功能处理机计算机系统中的连接线用转接输入/输出节点 |
CN2606396Y (zh) * | 2002-11-18 | 2004-03-10 | 威盛电子股份有限公司 | 可使用除错系统开机的计算机系统 |
CN1811744A (zh) * | 2005-01-28 | 2006-08-02 | 富士通株式会社 | 通过串行总线互连多个处理节点的装置 |
CN102819517A (zh) * | 2011-06-08 | 2012-12-12 | 鸿富锦精密工业(深圳)有限公司 | Pcie接口卡 |
US20140281057A1 (en) * | 2013-03-15 | 2014-09-18 | Lsi Corporation | Unified message-based communications |
CN104598403A (zh) * | 2015-01-14 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种基于pcie交换器的集群存储系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021521A (zh) * | 2017-12-01 | 2018-05-11 | 郑州云海信息技术有限公司 | 一种基于bmc更改系统拓扑配置的架构以及级联配置方法 |
CN110389917A (zh) * | 2018-04-20 | 2019-10-29 | 纬颖科技服务股份有限公司 | 用于图形处理器的存储装置以及配置设定调整方法 |
CN110389917B (zh) * | 2018-04-20 | 2020-08-04 | 纬颖科技服务股份有限公司 | 用于图形处理器的存储装置以及配置设定调整方法 |
CN110888498A (zh) * | 2018-09-07 | 2020-03-17 | 广达电脑股份有限公司 | 计算装置及快速周边组件互连基板 |
CN110888498B (zh) * | 2018-09-07 | 2021-08-13 | 广达电脑股份有限公司 | 计算装置及快速周边组件互连基板 |
Also Published As
Publication number | Publication date |
---|---|
TWI631470B (zh) | 2018-08-01 |
EP3242218B1 (en) | 2020-01-15 |
TW201740282A (zh) | 2017-11-16 |
JP2017201517A (ja) | 2017-11-09 |
EP3242218A1 (en) | 2017-11-08 |
US20170322899A1 (en) | 2017-11-09 |
CN107346293B (zh) | 2019-08-16 |
JP6360588B2 (ja) | 2018-07-18 |
US10387346B2 (en) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107346293B (zh) | 动态重新配置系统的至少一外围总线交换器的方法及系统 | |
CN107526665A (zh) | 机箱管理系统及机箱管理方法 | |
CN105938450B (zh) | 自动除错信息收集的方法及系统 | |
CN105404366B (zh) | 在服务器机架系统中的备份管理控制的方法及服务器机架 | |
US10127170B2 (en) | High density serial over LAN management system | |
US8015353B2 (en) | Method for automatic RAID configuration on data storage media | |
US8738817B2 (en) | System and method for mapping a logical drive status to a physical drive status for multiple storage drives having different storage technologies within a server | |
US20070094472A1 (en) | Method for persistent mapping of disk drive identifiers to server connection slots | |
US9367510B2 (en) | Backplane controller for handling two SES sidebands using one SMBUS controller and handler controls blinking of LEDs of drives installed on backplane | |
US7734839B1 (en) | Method and integrated circuit for providing enclosure management services utilizing multiple interfaces and protocols | |
US9806959B2 (en) | Baseboard management controller (BMC) to host communication through device independent universal serial bus (USB) interface | |
CN105718408A (zh) | 可热插拔的计算系统、计算机实施方法及系统 | |
US9734106B2 (en) | Systems and methods for providing connections to an information handling system | |
US20170220506A1 (en) | Modular Software Defined Storage Technology | |
TWI665554B (zh) | 熱插拔控制電路及相關儲存伺服器系統 | |
CN106598898A (zh) | 共享总线端口的系统及共享总线端口的方法 | |
CN115525597A (zh) | 基板管理控制器系统及使用该系统的多节点电脑系统 | |
US9749189B2 (en) | Generating graphical diagram of physical layout of computer platforms | |
TW201214126A (en) | Embedded programmable module for host controller configurability | |
CN112000545A (zh) | 一种图形处理器板卡和图形处理器管理方法 | |
CN106557119B (zh) | 利用通用滑动部件来共享输入/输出的系统及方法 | |
CN107340815B (zh) | 机动服务器配置系统及方法 | |
US11467780B1 (en) | System and method for automatic identification and bios configuration of drives in a backplane | |
US11093431B2 (en) | Automated device discovery system | |
US7496747B2 (en) | Redundant link mezzanine daughter card |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |