CN111581050A - 机箱、机箱监控系统及监控方法 - Google Patents

机箱、机箱监控系统及监控方法 Download PDF

Info

Publication number
CN111581050A
CN111581050A CN202010286608.0A CN202010286608A CN111581050A CN 111581050 A CN111581050 A CN 111581050A CN 202010286608 A CN202010286608 A CN 202010286608A CN 111581050 A CN111581050 A CN 111581050A
Authority
CN
China
Prior art keywords
host
pcie
execution result
pcie switch
ses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010286608.0A
Other languages
English (en)
Other versions
CN111581050B (zh
Inventor
张凯
杨坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Celestica Technology Consultancy Shanghai Co Ltd
Original Assignee
Celestica Technology Consultancy Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Celestica Technology Consultancy Shanghai Co Ltd filed Critical Celestica Technology Consultancy Shanghai Co Ltd
Priority to CN202010286608.0A priority Critical patent/CN111581050B/zh
Publication of CN111581050A publication Critical patent/CN111581050A/zh
Priority to US17/227,389 priority patent/US20210318976A1/en
Application granted granted Critical
Publication of CN111581050B publication Critical patent/CN111581050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0036—Small computer system interface [SCSI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种机箱、机箱监控系统及监控方法，所述机箱包括：至少一个PCIe设备；PCIe交换机，包括用于与电子装置的主机连接的上游桥接端口和用于与所述PCIe设备连接的至少一个下游桥接端口；虚拟终端节点，配置于PCIe交换机中，接收由主机发送的SES指令，令PCIe交换机中固件执行所述SES指令，并在PCIe交换机中固件根据SES指令生成执行结果后，将执行结果反馈给主机，以使得主机根据执行结果监控机箱。本发明中，于机箱中的PCIe交换机内配置虚拟终端节点(EP)，基于此虚拟的EP，电子装置直接通过PCIe链路传送SES指令到机箱中的PCIe交换机(Switch)来监控机箱以获得监控结果。

Description

机箱、机箱监控系统及监控方法
技术领域
本发明涉及服务器技术领域，特别是涉及机箱技术领域。
背景技术
PCI-Express(Peripheral Component Interconnect-Express)是一种高速串行计算机扩展总线标准，它原来的名称为“3GIO”，是由英特尔在2001年提出的，旨在替代旧的PCI，PCI-X和AGP总线标准。PCIE属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(QOS)等功能。
随着PCIe总线由板级总线向RACK级总线延伸，PCIe Switch(交换机)已单独在机箱中出现，这类机箱可用于扩展整个系统的计算，存储，图形处理，网络处理能力。原本的SES(SCSI Enclosure Service)是基于SCSI(Small Computer System Interface，小型计算机系统接口)和SAS(Serial Attached SCSI，串行连接SCSI接口)链路传输进而对JBOD((Just a Bunch Of Disks，磁盘簇))机箱进行监控管理接口，不能适用于包含有PCIe设备(比如PCIe SSD)的机箱管理。现有的机箱监控管理都是基于BMC(Baseboard ManagementController，基板管理控制器)的带外监控，而BMC对于PCIe SSD的监控和管理存在一定的局限性，且增加硬件成本。另外一个PCIe的Native PCIe Enclosure Management实现可以解决PCIe SSD管理的问题，但它的需要一定的硬件电路支持且功能仅局限在PCIe SSD灯的管理上。
发明内容
鉴于以上所述现有技术的缺陷，本发明的目的在于提供一种机箱、机箱监控系统及监控方法，用于解决现有技术中无法对配置有PCIe设备的机箱进行监控管理的问题。
为实现上述目的及其他相关目的，本发明提供一种机箱，通过PCIe链路与电子装置通信，所述机箱包括：至少一个PCIe设备；PCIe交换机，包括用于与电子装置的主机连接的上游桥接端口和用于与所述PCIe设备连接的至少一个下游桥接端口；虚拟终端节点，配置于所述PCIe交换机中，接收由所述主机发送的SES指令，令所述PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
于本发明的一实施例中，所述PCIe交换机中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点向所述主机发送用于告知已生成执行结果的事件通知；所述主机在接收到所述事件通知后，向所述虚拟终端节点发送一读取指令，所述虚拟终端节点将所述PCIe交换机固件的执行结果反馈至所述主机。
于本发明的一实施例中，所述PCIe交换机通过固件创建的管理线程执行所述SES指令。
于本发明的一实施例中，在所述PCIe交换机与所述主机的通信中，所述电子装置的主机启动时PCIe标准枚举过程中发现所述PCIe交换机中的所述虚拟终端节点，以供后续所述主机向所述虚拟终端节点发送SES指令。
于本发明的一实施例中，所述PCIe设备为PCIe SSD，PCIe GPU卡，PCIe NIC卡或PCIe交换机。
于本发明的一实施例中，所述虚拟终端节点还接收由所述主机发送指定指令，令所述PCIe交换机中固件执行所述指定指令，并在所述PCIe交换机中固件根据所述指定指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果获取所述机箱或者所述PCIe交换机的指定信息。
本发明的实施例还提供一种机箱监控系统，所述机箱监控系统包括：如上所述的机箱；电子装置，通过PCIe链路与所述机箱通信，向所述虚拟终端节点发送SES指令，通过所述虚拟终端节点获取所述SES指令的执行结果，并根据所述执行结果监控所述机箱。
于本发明的一实施例中，所述电子装置显示所述执行结果以监控所述机箱。
本发明的实施例还提供一种机箱监控方法，所述机箱监控方法包括：于机箱中配置PCIe交换机、至少一个PCIe设备和虚拟终端节点；电子装置的主机向机箱中配置的所述虚拟终端节点发送SES指令；所述虚拟终端节点令机箱中的PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
于本发明的一实施例中，所述将所述执行结果反馈给所述主机的一种实现方式包括：所述PCIe交换机中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点向所述主机发送用于告知已生成执行结果的事件通知；所述主机在接收到所述事件通知后，向所述虚拟终端节点发送一读取指令；所述虚拟终端节点将所述PCIe交换机固件的执行结果反馈至所述主机。
如上所述，本发明的一种机箱、机箱监控系统及监控方法，具有以下有益效果：
1、本发明中，于机箱中的PCIe交换机内配置虚拟终端节点(EP)，基于此虚拟的EP，电子装置直接通过PCIe链路传送SES指令到机箱中的PCIe交换机(Switch)来监控机箱以获得监控结果。
2、本发明只要在机箱中的PCIe Switch上实现SES over PCIe的服务，就可在任意形态的(服务器，个人计算机，数据中心等)电子装置提供完整的SES服务，这大幅降低了监控管理机箱所需的硬件成本并大幅提高了机箱的效率及操作便利性。
附图说明
图1显示为本发明的一实施例中机箱监控系统的整体结构图。
图2显示为本发明的一实施例中PCIe交换机的结构原理意图。
图3显示为本发明的一实施例中机箱监控方法的流程示意图。
元件标号说明
100 机箱
110 PCIe交换机
111 虚拟终端节点
112 上游桥接端口
113 下游桥接端口
120 PCIe设备
200 电子装置
210 主机
S100～S300 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图3。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明实施例的目的在于提供一种机箱、机箱监控系统及监控方法，用于解决现有技术中无法对配置有PCIe设备的机箱进行监控管理的问题。
本发明实施例提供了一种机箱、机箱监控系统及监控方法，本实施例只要在PCIeSwitch(交换机)的固件上实现SES over PCIe的服务，就可在任意形态的(服务器，个人计算机，数据中心等)电子装置上提供完整的SES服务。
以下将详细阐述本实施例的一种机箱、机箱监控系统及监控方法的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种机箱、机箱监控系统及监控方法。
实施例1
如图1所示，本实施例提供一种机箱监控系统，所述机箱监控系统包括：电子装置200(Server，Controller)和机箱100。
于本实施例中，所述电子装置200通过PCIe链路与所述机箱100通信，向所述机箱100发送SES指令以监控所述机箱100。
所述电子装置200例如也可以是包括存储器、存储控制器、一个或多个处理器(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的个人计算机；所述个人计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal DigitalAssistant，简称PDA)等个人电脑。在另一些实施方式中，所述电子装置200还可以是服务器或数据中心，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
所述电子装置200的存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器1101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
于本实施例中，所述机箱100包括PCIe交换机110(PCIe Switch)，藕接到PCIe交换机110的至少一个PCIe设备120(图中所示的PCIe设备1，PCIe设备2，…，PCIe设备N)，以及配置于所述PCIe交换机110中的虚拟终端节点111(Virtual Function Endpoint，简称虚拟EP)。
PCIe交换机110(PCIe Switch)下面可以藕接任意功能PCIe设备120，所述PCIe设备120包括但不限于PCIe SSD，PCIe GPU卡，PCIe NIC卡或PCIe交换机。
于本实施例中，如图2所示，PCIe交换机110由一个用于连接上游端口的PCI-to-PCI Bridge(P2P)和多个用于连接下游端口P2P组成。即PCIe交换机110包括用于与电子装置200的主机210连接的上游桥接端口112(PCI-to-PCI Bridge，简称P2P)和用于与所述PCIe设备120连接的至少一个下游桥接端口113(PCI-to-PCI Bridge，简称P2P)(图2中所示的下游桥接端口1，下游桥接端口2，…，下游桥接端口N)。
所以本实施例中，上游桥接端口112向上连接电子装置200的主机210(Host)，下游桥接端口113向下连接PCIe设备120，当所述PCIe设备120也为PCIe交换机110时，下游端口也可以作为扩展口用于级联多级PCIe交换机110来扩展更大的PCIe拓扑(PCIe Topology)结构。在PCIe交换机110的机箱100级联的情况下，需要电子装置200的主机210(Host)预留分配足够内存资源。
电子装置200通过PCIe传输协议传输SES(SCSI Enclosure Service)命令到PCIe交换机110，PCIe交换机110中的固件执行SES命令以监控机箱100。PCIe交换机110将SES命令执行结果再传送到电子装置200中。
为实现利用电子装置200对机箱100的监控，PCIe交换机110可以实现通过PCIe链路提供的SES over PCIe服务，并同时在电子装置200的主机210(Host)中的应用程序和驱动实现通过PCIe链路提供的SES服务的机箱100管理功能。
为实现SES over PCIe服务，PCIe交换机110可以实现一个虚拟终端节点111(Virtual Function Endpoint，简称虚拟EP)用于提供基于SES的Enclosure管理功能。基于此虚拟的EP，PCIe交换机110会实现一个管理线程用于接收并处理Host传送的管理指令，包括SES指令。
虚拟终端节点111(Virtual EP)是在PCIe交换机的内部实现的一个可被电子装置200的主机210(Host)发现的虚拟功能终端(Virtual Function Endpoint)。该虚拟终端节点111(Virtual EP)一定程度上依附于物理的硬件支持，可用于实现管理功能或者I/O功能，管理功能可以是基于SES的机箱100管理功能。电子装置200中主机210(Host)对机箱100的监控管理过程就是主机210(Host)和虚拟终端节点111(Virtual EP)之间进行的数据交互过程。PCIe交换机内部可以实现多个虚拟终端节点111(Virtual EP)用于不同的功能，此处不做限制。
于本实施例中，在所述PCIe交换机110与电子装置200的主机210的通信中，所述电子装置200的主机210启动时PCIe标准枚举过程中发现所述PCIe交换机中的所述虚拟终端节点111，以供后续所述主机210向所述虚拟终端节点111发送SES指令。
电子装置200向所述虚拟终端节点111发送SES指令，通过所述虚拟终端节点111获取所述SES指令的执行结果，并根据所述执行结果监控所述机箱100；所述电子装置200显示所述执行结果以监控所述机箱100。
具体地，于本实施例中，所述虚拟终端节点111配置于所述PCIe交换机110中，在主机210启动时PCIe标准枚举过程中被发现，接收所述电子装置200的主机210发送的SES指令，令所述PCIe交换机110中固件执行所述SES指令，并在所述PCIe交换机110中固件根据所述SES指令生成执行结果后，所述虚拟终端节点111将所述执行结果反馈给所述主机210，以使得所述主机210根据所述执行结果监控所述机箱100。
其中，所述虚拟终端节点111(虚拟EP)是固件(固件(Firmware)是一类特定的计算机软件，可为设备的特定硬件提供底层控制。固件可以为更复杂的设备软件(允许更多的硬件独立性)提供标准化的操作环境，或者对于不那么复杂的设备，可以充当设备的完整操作系统，执行所有控制，监视和数据处理功能。本实施例中固件是指运行在PCIe switch内部嵌入式处理器上的软件，例如可以是一个RTOS)按照PCIe标准协议虚拟出的一个功能单元，是PCIe交换机中被调度SES管理程序抽象给电子装置200的主机210(Host)的可访问对象，SES管理线程才是SES指令最终的直接执行单元，所述虚拟终端节点111是PCIe交换机中的SES管理程序和电子装置200的主机210(Host)应用程序用以访问和控制交互的协议窗口。
于本实施例中，所述PCIe交换机110通过固件创建的管理线程执行所述SES指令。在所述PCIe交换机110中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点111向所述主机210发送用于告知已生成执行结果的事件通知；所述主机210在接收到所述事件通知后，向所述虚拟终端节点111发送一读取指令，所述虚拟终端节点111根据所述读取指令从所述PCIe交换机110读取所述执行结果，并将所述PCIe交换机110固件的执行结果反馈至所述主机210。
其中，当所述PCIe交换机110接收到包含SES指令时，所述PCIe交换机110中固件会执行SES指令以监控机箱100。上述SES指令包括但不限于指示取得机箱100内温度、电压和风扇等机箱100状态的指令，也可以包括控制机箱100的控制指令，比如控制硬盘上下电，控制风扇转速等。也就是说用户可以通过电子装置200主机210(Host)的应用程序和驱动将SES指令传到机箱100的PCIe交换机110来达到监控机箱100内元件状态信息，或控制机箱100及机箱100内的元件的目的。
具体地，于本实施例中，所述虚拟终端节点111(Virtual EP)和电子装置200的主机210(Host)通过PCIe链路交互过程如下：
电子装置200的主机210(Host)可通过应用程序和驱动将SES指令通过PCIe链路传送到PCIe交换机的虚拟终端节点111。PCIe交换机会利用固件创建一个(或多个)管理线程专门处理Host发送过来的管理指令(比如SES指令或其他管理命令比如Inquiry指令等)。若电子装置200的主机210(Host)传送过来的指令是SES指令，则PCIe交换机固件中的管理线程会去执行SES指令并将SES指令的执行结果保存在PCIe交换机中，再通过虚拟的EP发送事件(event)通知电子装置200Host数据已经Ready，最后电子装置200的主机210(Host)会通过PCIe链路传送读取指令到PCIe交换机中虚拟终端节点111中来读取保存在PCIe交换机中的SES指令的执行结果。最后SES指令的执行结果，例如回传的机箱100状态信息或风扇控制信息等都会通过电子装置200的应用程序显示出来。
此外，于本实施例中，所述虚拟终端节点111还接收由所述主机210发送指定指令，令所述PCIe交换机110执行所述指定指令，并在所述PCIe交换机110中固件根据所述指定指令生成执行结果后，将所述PCIe交换机110中固件的执行结果反馈给所述主机210，以使得所述主机210根据所述执行结果获取所述机箱100或者所述PCIe交换机110的的指定信息。
也就是说，电子装置200的主机210(Host)也可发送除SES命令外的其他管理命令到PCIe交换机用于查看或监控除机箱100管理之外的其他信息，比如PCIe交换机定制的特殊管理信息。
由上可见，本实施例中的机箱100监控系统可利用电子装置200直接通过PCIe链路传送SES指令到机箱100中的PCIe交换机来监控机箱100以获得监控结果，对于PCIe交换机下接PCIe SSD的JBOF机箱100监控，原有的主机210(Host)的基于SES接口的机箱100管理应用程序可部分复用。此外，本实施例中的机箱100监控系统不需要额外通过BMC(BaseboardManagement Controller，基板管理控制器)来监控机箱100，因此可以减少硬件成本且高效的取得完整的机箱100信息并在电子装置200的相关应用程序上显示。本实施例中的机箱100监控系统只要在PCIe交换机的固件上实现SES over PCIe的服务，就可在任意形态的(服务器，个人计算机，数据中心等)电子装置200提供完整的SES服务，这大幅降低了监控管理所需的硬件成本并大幅提高了机箱100的效率及操作便利性。
此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的技术特征引入，但这并不表明本实施例中不存在其它的结构和功能特征。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例2
如图3所示，本实施例提供一种机箱监控方法，所述机箱监控方法包括：
步骤S100，于机箱中配置PCIe交换机、至少一个PCIe设备和虚拟终端节点；
步骤S200，电子装置的主机向机箱中配置的所述虚拟终端节点发送SES指令；
步骤S300，所述虚拟终端节点令机箱中的PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
PCIe交换机(PCIe Switch)下面可以藕接任意功能PCIe设备，所述PCIe设备为但不限于PCIe SSD，PCIe GPU卡，PCIe NIC卡或PCIe交换机。
于本实施例中，PCIe交换机由一个用于连接上游端口的PCI-to-PCI Bridge(P2P)和多个用于连接下游端口P2P组成。即PCIe交换机包括用于与电子装置的主机连接的上游桥接端口(PCI-to-PCI Bridge，简称P2P)和用于与所述PCIe设备连接的至少一个下游桥接端口(PCI-to-PCI Bridge，简称P2P)。
所以本实施例中，上游桥接端口向上连接电子装置的主机(Host)，下游桥接端口向下连接PCIe设备，当所述PCIe设备也为PCIe交换机时，下游端口也可以作为扩展口用于级联多级PCIe交换机来扩展更大的PCIe拓扑(PCIe Topology)结构。在PCIe交换机机箱级联的情况下，需要电子装置主机(Host)预留分配足够内存资源。
电子装置通过PCIe传输协议传输SES(SCSI Enclosure Service)命令到PCIe交换机，PCIe交换机中固件执行SES命令以监控机箱。PCIe交换机将SES命令执行结果再传送到电子装置中。
为实现利用电子装置对机箱的监控，PCIe交换机件可以实现通过PCIe链路提供的SES over PCIe服务，并同时在电子装置主机(Host)中的应用程序和驱动实现通过PCIe链路提供的SES服务的机箱管理功能。
为实现SES over PCIe服务，PCIe交换机可以实现一个虚拟终端节点(VirtualFunction Endpoint，简称虚拟EP)用于提供基于SES的Enclosure管理功能。基于此虚拟的EP，PCIe交换机会实现一个管理线程用于接收并处理Host传送的管理指令，包括SES指令。
虚拟终端节点(Virtual EP)是在PCIe交换机的内部实现的一个可被电子装置的主机(Host)发现的虚拟功能终端(Virtual Function Endpoint)。该虚拟终端节点(Virtual EP)一定程度上依附于物理的硬件支持，可用于实现管理功能或者I/O功能，管理功能可以是基于SES的机箱管理功能。电子装置中主机(Host)对机箱的监控管理过程就是主机(Host)和虚拟终端节点(Virtual EP)之间进行的数据交互过程。PCIe交换机内部可以实现多个虚拟终端节点(Virtual EP)用于不同的功能，此处不做限制。
于本实施例中，在所述PCIe交换机与电子装置的主机的通信中，所述电子装置的主机启动时PCIe标准枚举过程中发现所述交换机中的所述虚拟终端节点，以供后续所述主机向所述虚拟终端节点发送SES指令。
电子装置向所述虚拟终端节点发送SES指令，通过所述虚拟终端节点获取所述SES指令的执行结果，并根据所述执行结果监控所述机箱；所述电子装置显示所述执行结果以监控所述机箱。
具体地，于本实施例中，所述虚拟终端节点配置于所述PCIe交换机中，在主机启动时PCIe标准枚举过程中被发现，接收所述电子装置的主机发送的SES指令，令所述PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
于本实施例中，所述将所述执行结果反馈给所述主机的一种实现方式包括：
所述PCIe交换机中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点向所述主机发送用于告知已生成执行结果的事件通知；所述主机在接收到所述事件通知后，向所述虚拟终端节点发送一读取指令；所述虚拟终端节点根据所述读取指令从所述PCIe交换机读取所述执行结果，所述虚拟终端节点将所述PCIe交换机固件的执行结果反馈至所述主机。
其中，所述虚拟终端节点(虚拟EP)是固件(固件(Firmware)是一类特定的计算机软件，可为设备的特定硬件提供底层控制。固件可以为更复杂的设备软件(允许更多的硬件独立性)提供标准化的操作环境，或者对于不那么复杂的设备，可以充当设备的完整操作系统，执行所有控制，监视和数据处理功能。本实施例中固件是指运行在PCIe switch内部嵌入式处理器上的软件，例如可以是一个RTOS)按照PCIe标准协议虚拟出的一个功能单元，是PCIe交换机中被调度SES管理程序抽象给电子装置的主机(Host)的可访问对象，SES管理线程才是SES指令最终的直接执行单元，所述虚拟终端节点是PCIe交换机中的SES管理程序和电子装置的主机(Host)应用程序用以访问和控制交互的协议窗口。
其中，当所述PCIe交换机接收到包含SES指令时，所述PCIe交换机中固件会执行SES指令。上述SES指令是包括但不限于指示取得机箱内温度、电压和风扇等机箱状态的指令，也包含控制机箱的控制指令，比如控制硬盘上下电，控制风扇转速等。也就是说用户可以通过电子装置主机(Host)的应用程序和驱动将SES指令传到机箱的PCIe交换机来达到监控机箱内元件状态信息，或控制机箱及机箱内的元件的目的。
具体地，于本实施例中，所述虚拟终端节点(Virtual EP)和电子装置的主机(Host)通过PCIe链路交互过程如下：
电子装置的主机(Host)可通过应用程序和驱动将SES指令通过PCIe链路传送到PCIe交换机的虚拟终端节点。PCIe交换机会利用固件创建一个(或多个)管理线程专门处理Host发送过来的管理指令(比如SES指令或其他管理命令比如Inquiry指令等)。若电子装置Host传送过来的指令是SES指令，则PCIe交换机固件中的管理线程会去执行SES指令并将SES指令的执行结果保存在PCIe交换机中，再通过虚拟的EP发送事件(event)通知电子装置Host数据已经Ready，最后电子装置Host会通过PCIe链路传送读取指令到PCIe交换机中虚拟终端节点中来读取保存在PCIe交换机中的SES指令的执行结果。最后SES指令的执行结果，例如回传的机箱状态信息或风扇控制信息等都会通过电子装置的应用程序显示出来。
此外，于本实施例中，所述虚拟终端节点还接收由所述主机发送指定指令，令所述PCIe交换机中固件执行所述指定指令，并在所述PCIe交换机中固件根据所述指定指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果获取所述机箱或者所述PCIe交换机的指定信息。
也就是说，电子装置的主机(Host)也可发送除SES命令外的其他管理命令到PCIe交换机用于查看或监控除机箱管理之外的其他信息，比如PCIe交换机定制的特殊管理信息。
综上所述，本发明中，于机箱中的PCIe交换机内配置虚拟终端节点(EP)，基于此虚拟的EP，电子装置直接通过PCIe链路传送SES指令到机箱中的PCIe交换机(Switch)来监控机箱以获得监控结果；本发明只要在机箱中的PCIe Switch上实现SES over PCIe的服务，就可在任意形态的(服务器，个人计算机，数据中心等)电子装置提供完整的SES服务，这大幅降低了监控管理机箱所需的硬件成本并大幅提高了机箱的效率及操作便利性。所以，本发明有效克服了现有技术中的缺陷而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种机箱，通过PCIe链路与电子装置通信，其特征在于：所述机箱包括：
至少一个PCIe设备；
PCIe交换机，包括用于与电子装置的主机连接的上游桥接端口和用于与所述PCIe设备连接的至少一个下游桥接端口；
虚拟终端节点，配置于所述PCIe交换机中，接收由所述主机发送的SES指令，令所述PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
2.根据权利要求1所述的机箱，其特征在于：所述PCIe交换机中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点向所述主机发送用于告知已生成执行结果的事件通知；所述主机在接收到所述事件通知后，向所述虚拟终端节点发送一读取指令，所述虚拟终端节点将所述PCIe交换机固件的执行结果反馈至所述主机。
3.根据权利要求1或2所述的机箱，其特征在于：所述PCIe交换机通过固件创建的管理线程执行所述SES指令。
4.根据权利要求1或2所述的机箱，其特征在于：在所述PCIe交换机与所述主机的通信中，所述电子装置的主机启动时PCIe标准枚举过程中发现所述PCIe交换机中的所述虚拟终端节点，以供后续所述主机向所述虚拟终端节点发送SES指令。
5.根据权利要求1所述的机箱，其特征在于：所述PCIe设备为PCIe SSD，PCIe GPU卡，PCIe NIC卡或PCIe交换机。
6.根据权利要求1所述的机箱，其特征在于：所述虚拟终端节点还接收由所述主机发送指定指令，令所述PCIe交换机中固件执行所述指定指令，并在所述PCIe交换机中固件根据所述指定指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果获取所述机箱或者所述PCIe交换机的指定信息。
7.一种机箱监控系统，其特征在于：所述机箱监控系统包括：
如权利要求1至权利要求6任一权利要求所述的机箱；
电子装置，通过PCIe链路与所述机箱通信，向所述虚拟终端节点发送SES指令，通过所述虚拟终端节点获取所述SES指令的执行结果，并根据所述执行结果监控所述机箱。
8.根据权利要求7所述的机箱监控系统，其特征在于：所述电子装置显示所述执行结果以监控所述机箱。
9.一种机箱监控方法，其特征在于：所述机箱监控方法包括：
于机箱中配置PCIe交换机、至少一个PCIe设备和虚拟终端节点；
电子装置的主机向机箱中配置的所述虚拟终端节点发送SES指令；
所述虚拟终端节点令机箱中的PCIe交换机中固件执行所述SES指令，并在所述PCIe交换机中固件根据所述SES指令生成执行结果后，将所述执行结果反馈给所述主机，以使得所述主机根据所述执行结果监控所述机箱。
10.根据权利要求9所述的机箱监控方法，其特征在于：所述将所述执行结果反馈给所述主机的一种实现方式包括：
所述PCIe交换机中固件根据所述SES指令生成执行结果后，通过所述虚拟终端节点向所述主机发送用于告知已生成执行结果的事件通知；
所述主机在接收到所述事件通知后，向所述虚拟终端节点发送一读取指令；
所述虚拟终端节点将所述PCIe交换机固件的执行结果反馈至所述主机。
CN202010286608.0A 2020-04-13 2020-04-13 机箱、机箱监控系统及监控方法 Active CN111581050B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010286608.0A CN111581050B (zh) 2020-04-13 2020-04-13 机箱、机箱监控系统及监控方法
US17/227,389 US20210318976A1 (en) 2020-04-13 2021-04-12 Chassis, chassis monitoring system, and chassis monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286608.0A CN111581050B (zh) 2020-04-13 2020-04-13 机箱、机箱监控系统及监控方法

Publications (2)

Publication Number Publication Date
CN111581050A true CN111581050A (zh) 2020-08-25
CN111581050B CN111581050B (zh) 2023-06-27

Family

ID=72111545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286608.0A Active CN111581050B (zh) 2020-04-13 2020-04-13 机箱、机箱监控系统及监控方法

Country Status (2)

Country Link
US (1) US20210318976A1 (zh)
CN (1) CN111581050B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI816476B (zh) * 2022-07-15 2023-09-21 新加坡商鴻運科股份有限公司 硬碟機定位系統、方法、伺服器及存儲介質

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11762437B2 (en) * 2019-12-13 2023-09-19 Hewlett Packard Enterprise Development Lp Expansion fan device with adjustable fan
US20230012822A1 (en) * 2021-07-18 2023-01-19 Elastics.cloud, Inc. Composable infrastructure enabled by heterogeneous architecture, delivered by cxl based cached switch soc

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103701680A (zh) * 2013-12-17 2014-04-02 杭州华为数字技术有限公司 一种跨PCIe域报文传输的方法、设备及系统
US20150032910A1 (en) * 2013-07-25 2015-01-29 International Business Machines Corporation Input/output monitoring mechanism
CN105159851A (zh) * 2015-07-02 2015-12-16 浪潮(北京)电子信息产业有限公司 多控存储系统
US20180052793A1 (en) * 2016-01-13 2018-02-22 Huawei Technologies Co., Ltd. Switching Device, Peripheral Component Interconnect Express System, and Method for Initializing Peripheral Component Interconnect Express System
CN109062753A (zh) * 2018-06-01 2018-12-21 新华三技术有限公司成都分公司 一种硬盘监控系统以及监控方法
CN109918259A (zh) * 2017-12-12 2019-06-21 纬颖科技服务股份有限公司 机箱监控系统及机箱监控方法
CN110311843A (zh) * 2018-03-27 2019-10-08 北京深鉴智能科技有限公司 基于PCIe链路的通信方法、装置、电子设备、存储介质
US10521376B1 (en) * 2018-03-15 2019-12-31 Seagate Technology Llc Enclosure management over PCIE

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150032910A1 (en) * 2013-07-25 2015-01-29 International Business Machines Corporation Input/output monitoring mechanism
CN103701680A (zh) * 2013-12-17 2014-04-02 杭州华为数字技术有限公司 一种跨PCIe域报文传输的方法、设备及系统
CN105159851A (zh) * 2015-07-02 2015-12-16 浪潮(北京)电子信息产业有限公司 多控存储系统
US20180052793A1 (en) * 2016-01-13 2018-02-22 Huawei Technologies Co., Ltd. Switching Device, Peripheral Component Interconnect Express System, and Method for Initializing Peripheral Component Interconnect Express System
CN109918259A (zh) * 2017-12-12 2019-06-21 纬颖科技服务股份有限公司 机箱监控系统及机箱监控方法
US10521376B1 (en) * 2018-03-15 2019-12-31 Seagate Technology Llc Enclosure management over PCIE
CN110311843A (zh) * 2018-03-27 2019-10-08 北京深鉴智能科技有限公司 基于PCIe链路的通信方法、装置、电子设备、存储介质
CN109062753A (zh) * 2018-06-01 2018-12-21 新华三技术有限公司成都分公司 一种硬盘监控系统以及监控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王曦: "一种RAID系统箱体管理的设计" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI816476B (zh) * 2022-07-15 2023-09-21 新加坡商鴻運科股份有限公司 硬碟機定位系統、方法、伺服器及存儲介質

Also Published As

Publication number Publication date
US20210318976A1 (en) 2021-10-14
CN111581050B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US20210318976A1 (en) Chassis, chassis monitoring system, and chassis monitoring method
US11775464B2 (en) Computer system and a computer device
US10083141B2 (en) Computer system and method for accessing endpoint device in computer system
US10699668B1 (en) Configurable video redirection in a data center
US20200242067A1 (en) System and Method for I/O Aware Processor Configuration
CN112181942A (zh) 时序数据库系统和数据处理方法及装置
US11934289B2 (en) Graph-based data multi-operation system
TW202111555A (zh) 處理器/端點通信耦合件組態系統
CN116010307A (zh) 服务器资源分配系统、方法和装置
CN112564924B (zh) 计算机扩展卡及区块链终端设备
US11061838B1 (en) System and method for graphics processing unit management infrastructure for real time data collection
CN112579507A (zh) 宿主机与bmc通信的方法、bios、操作系统、bmc和服务器
CN112732627B (zh) 一种ocp装置和服务器
US11347675B2 (en) System and method for dynamically configuring storage mapping
CN113703851B (zh) 服务器背板的配置方法、装置、系统、设备及存储介质
US11755518B2 (en) Control of Thunderbolt/DisplayPort multiplexor for discrete USB-C graphics processor
WO2024066857A1 (zh) 一种电子设备、处理器、数据传输方法及装置
US20240028209A1 (en) Distributed region tracking for tiered memory systems
TWI774464B (zh) 經擴展可用性計算系統
US20230350824A1 (en) Peripheral component interconnect express device and operating method thereof
US20240028201A1 (en) Optimal memory tiering of large memory systems using a minimal number of processors
TW202318193A (zh) 工作負載整合平台的遠端控制系統及控制方法
CN116166327A (zh) 系统开机方法及其相关电脑系统
JP2020053030A (ja) プロセッサモジュールのフレキシブル接続
CN114116385A (zh) 一种主控一体式服务器及服务器远程监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant