CN108829515A - 一种云端平台计算系统及其应用方法 - Google Patents

Abstract

本发明涉及一种云端平台计算系统及其应用方法，包括：服务端和节点端。服务端由接入服务器构成，用于该云端平台计算系统的用户及计算资源的管理和调度；节点端由多个计算节点及辅助硬件构成，为云端平台计算系统提供异构计算资源；计算节点通过局域网与接入服务器进行交互。每个计算节点包含SoC主控模块和异构计算处理模块；SoC主控模块可运行操作系统，为用户提供相应异构计算处理模块的使用环境和管理功能；异构计算处理模块用于逻辑功能或加速算法的实现与部署。用户通过登录接入服务器，申请和使用计算节点。使用内容包括：用户通过接入服务器进入SoC主控模块的操作系统，对异构计算处理模块进行使用、管理、配置、调试及监控等操作。

Description

一种云端平台计算系统及其应用方法

技术领域

本发明涉及计算机体系结构以及异构处理系统领域，特别涉及一种云端平台计算系统及其应用方法。

背景技术

随着云计算、大数据、物联网等概念的兴起，异构计算系统逐渐成为产业发展的必然选择。相比于单一的CPU系统，在特定的应用场景下(如人工智能等)，异构计算系统往往能够达到几十甚至上百倍的性能提升。然而开发、部署一个异构计算系统往往需要高成本和长周期的投入，为了追求经济与效益的最优化，异构计算云平台应用而生。常见的异构计算云平台主要有FPGA云平台、GPU云平台以及谷歌公司的TPU云平台等。

以FPGA云为例，由于半导体工艺的发展速度逐渐成为制约计算机系统性能的瓶颈，传统的串行处理技术已经不能满足人们的需求，人们开始把注意力放在可并行计算的FPGA上。FPGA以其高能效和可多次编程的优势，逐渐成为突破现有系统性能瓶颈的解决方案之一。在媒体压缩、加解密、人工智能(AI)及大数据处理等领域，FPGA方案较传统CPU和GPU往往可达到几倍甚至几十倍的能效提升。然而FPGA开发的技术门槛较高，搭建FPGA硬件平台更是高成本、长周期。为了追求经济与效益的最优化，FPGA云平台应运而生。运营商为用户提供稳定的FPGA硬件平台以及一整套的开发环境，用户支付相对较低的价格就可以使用到高端的FPGA资源，快速的开始项目开发工作。最近几年，FPGA云的发展尤为迅猛，2017年4月美国亚马逊公司的FPGA EC2实例F1正式上线，同年国内互联网公司也纷纷宣布开展FPGA云加速器业务。

目前商用的FPGA云平台、GPU云平台以及TPU云平台等，都是基于X86服务器加FPGA/GPU/TPU架构，后文将主要以FPGA云平台进行对比说明。

现有的主要运营商的FPGA云平台基本框架如图2所示，主要分三部分：客户端、服务端和FPGA节点端。客户端安装在用户的本地PC上，用于登录和使用云平台(也可以通过网页或SSH工具登录和使用云平台)。服务端由一台或多台X86服务器组成，服务端集成了应用程序开发、FPGA加速逻辑开发所需的全套开发工具。节点端由一个或多个FPGA节点构成，并部署在服务端的X86服务器机箱里。客户端与服务端通过互联网进行数据交互，服务端与节点端通过PCIe接口进行数据交互。

服务端与FPGA节点通过PCIe接口进行数据交互。受限于接口形式，FPGA节点需部署在X86服务器机箱里。一台X86服务器根据自身机箱尺寸以及主板PCIe的接口数量，可部署的FPGA节点数量通常不会超过8个。如亚马逊的FPGA EC2实例F1，每个F1实例计算池上最多可配置8个FPGA节点。即使阿里云F3实例中也最多有16片FPGA芯片(双芯片板卡)。在现有的云框架下，FPGA节点很难进行高密度的部署，如果进行大量部署，需要大量的X86服务器，部署成本高，且占用大量的物理空间。

现有FPGA云计算平台将X86服务器与FPGA节点作为一种资源提供给用户，这种使用模式偏商业化，针对不同的用户群体，这种模式并不是最优的，如果用户使用FPGA云平台的目的仅仅是想学习或者使用FPGA可编程逻辑资源进行相关的逻辑设计、验证(比如教学领域)，对X86服务器并没有太大的需求，在这种场景下，X86服务器加FPGA节点这种架构显然存在性能上的浪费。

此外，在X86服务器加FPGA节点这种架构下，FPGA资源的部署和管理并不灵活。比如FPGA节点必须要满足X86服务器PCIe设备的物理尺寸，X86服务器很难对多个PCIe接口上的FPGA节点进行动态的上电和下电。

综上所述，现有的FPGA云平台很难高密度的部署FPGA节点；针对特定的用户群体，会造成X86服务器资源的浪费；在现有框架下部署和管理FPGA节点并不灵活。

发明内容

为了解决上述技术问题，本发明目的在于提供一种高密度、低部署成本、低功耗、管理灵活的基于接入服务器、SoC主控模块、异构计算处理模块的云端平台计算系统的搭建方法。本发明可用于构建FPGA云平台，但并不局限于FPGA云平台。

具体地说，本发明公开了一种云端平台计算系统，其中包括：服务端和节点端，其中该服务端由接入服务器构成，用于管理和调度该云端平台计算系统的用户及计算资源；

该节点端由多个计算节点以及辅助硬件构成，该计算节点包含SoC主控模块和异构计算处理模块，该SoC主控模块为用户提供该异构计算处理模块辅助软件的使用部署及开发环境，该异构计算处理模块用于逻辑功能或加速算法的实现与部署；

该节点端通过该云端平台计算系统内部局域网与该服务端进行信息交互。

该云端平台计算系统，其中该SoC主控模块运行操作系统，结合该接入服务器，为用户提供异构计算处理模块的使用环境和管理功能。

该云端平台计算系统，其中该辅助硬件包括：

交换机，用于构成该云端平台计算系统内部的局域网；

电源控制单元，受该服务端的控制，用于动态的对该计算节点进行上电和下电。

该云端平台计算系统，其中该SoC主控模块与该异构计算处理模块为同一个芯片上的两个不同部分，或为同一电路板卡上的两个芯片，或分别为两块不同的电路板卡；该SoC主控模块与该异构计算处理模块之间通过片内总线、PCIe、以太网或定制总线协议进行通信。

该云端平台计算系统，其中该SoC主控模块与该异构计算处理模块间还配备逻辑或物理通路，用于对该异构计算处理模块进行配置和调试，并对该异构计算处理模块的工作状态以及性能参数进行监控。

该云端平台计算系统，其中该计算节点间通过PCIe、以太网、定制总线协议进行通信，将多个计算节点相连以建立一个组合计算节点为用户提供服务。

该云端平台计算系统，其中将每个该计算节点虚拟化为多个，以分给不同的用户使用。

该云端平台计算系统，其中该SoC主控模块为ARM或RISC-V等RISC体系架构的硬核处理器；该异构计算处理模块为ASIC、TPU、GPU和/或FPGA可编程逻辑资源。

本发明还提供了一种该云端平台计算系统的应用方法，其中用户通过互联网访问该服务端，以使用该节点端的计算节点，使用内容包括：用户通过接入服务器进入SoC主控模块的操作系统，对异构计算处理模块进行使用、管理、配置、调试及监控等操作，以及对SoC主控模块上的辅助软件进行开发和使用等操作。

该云端平台计算系统的应用方法，其中用户访问该服务端过程具体包括：当该服务端接收到用户的访问请求时，检测当前该节点端是否有空闲的计算节点，如果有，则该服务端对空闲的计算节点实施上电、初始化操作，完成后将其分配给用户使用，待用户使用完成后，对相应节点进行状态检测、断电操作。

本发明的技术优势包括：

本发明中的云计算平台，可将异构计算资源高密度、低成本的部署在云端的定制机箱中。本发明集成了平台管理、维护软件，以及多种在云端技术开发中所需的软硬件支持，为用户提供一个方便快捷的云端计算资源使用环境。

以FPGA云平台为例，区别于国内外互联网公司近两年开始提供的FPGA异构加速云平台，在本发明框架下构建的FPGA云平台(后文称SoC FPGA云平台，用以区分现有的商用FPGA云平台)将SoC FPGA(即含有硬核处理器和可编程逻辑资源的FPGA器件)作为计算节点，具有总线扩展互连和资源虚拟、池化等技术，并且基于SoC FPGA中的处理器硬核进行FPGA逻辑资源的使用、管理、配置、调试及监控等操作。“总线扩展互联”指的是将SoC FPGA的片内总线扩展到片外，与其他的计算节点相连，建立节点与节点间的数据通路，把多个节点的资源连接在一起供用户使用。“虚拟”指的是将一个节点的逻辑资源虚拟成多个，即把一个节点的逻辑资源分成多块，不同的块可以分给不同的用户使用。“池化”指的是把所有的计算节点看做一个资源池，用户不需要知道计算节点的具体位置，平台管理软件在资源池中随机为用户分配计算节点。

本发明无需像现有FPGA云那样为每个或每几个(通常不超过8个)FPGA节点配备一台标准的高端X86服务器，在节省平台购置和运维成本的同时，大幅度提升加速效能比。

SoC FPGA云平台上的硬件资源将实现分时复用与动态调度。对于大规模处理的需求，本发明将基于上述虚拟、池化技术，将云平台中物理硬件资源虚拟化为多个虚拟的独立的逻辑资源，从而支持大规模的并行处理。“分时复用”指的是节点并不专属于某个用户，而是根据用户的登录和使用情况进行分配。“动态调度”指的是云平台可以动态、随机地为用户分配计算节点资源。

SoC FPGA云平台实现定制开发流程，SoC主控模块由SoC FPGA中的硬核处理器实现，异构计算处理模块由SoC FPGA中的可编程逻辑资源实现，硬核处理器与FPGA中的可编程逻辑资源通过片内总线实现两部分的互连。定制开发流程及硬件逻辑资源划分使用户更加专注自身逻辑功能实现，摆脱云平台底层接口逻辑的开发细节及工具影响，缩短开发周期。

SoC FPGA云平台全面融合标准x86高性能计算、ARM通用软件可编程计算及FPGA硬件可编程计算等三种异构资源，通过在不同软件栈层次对逻辑资源进行逻辑抽象并提供软件编程接口，实现系统级软-硬件资源协同运行。

在本设计中，计算节点不需要X86服务器，也不需要部署在服务器机箱内部，因此将大幅度降低云平台的部署和维护成本，同时降低了系统的整体功耗。本设计中不同的硬件单元采用以太网进行数据交互，接口形式比现有FPGA云平台的PCIe接口更灵活，计算节点可以很方便的高密度部署在定制机箱中，节省大量的物理空间。在云平台的管理上，本设计所采用的架构更简单，管理、维护更灵活，功耗更低。

附图说明

图1为本发明的整体系统框架图；

图2为现有技术中的FPGA云平台基本框架图；

图3为本发明SoC FPGA云平台实施例的基本硬件框架图。

具体实施方式

本发明公开了一种云端平台计算系统，其中包括：服务端和节点端，其中该服务端由一台或多台接入服务器构成，用于该云端平台计算系统的用户及计算资源的管理和调度。

该节点端由多个计算节点以及辅助硬件构成，该计算节点包含SoC主控模块和异构计算处理模块，该SoC主控模块为用户提供异构计算处理模块辅助软件的使用部署及简易开发环境，异构计算处理模块用于逻辑功能或加速算法的实现与部署。辅助软件指的是用户通过SoC主控模块使用异构计算处理模块中的逻辑功能或加速算法时，SoC主控模块需要具备相关的软件或者驱动的支持，即辅助软件。

以SoC FPGA云平台的为例，计算节点由SoC FPGA器件构成，SoC主控模块由SoCFPGA器件的硬核处理器构成，异构计算处理模块由SoC FPGA器件的可编程逻辑资源构成。计算节点为用户提供异构计算资源(可编程逻辑资源)以及对异构计算资源进行使用、管理、配置、调试及监控等操作的软硬件支持。

该节点端通过该云端平台计算系统内部局域网与该服务端进行数据交互(包括数据及管理信息)。

该SoC主控模块运行linux操作系统，结合接入服务器，为用户提供相应异构计算处理模块的使用环境和管理功能。

该SoC FPGA云平台，其中该辅助硬件包括：

交换机，用于构成该云端平台计算系统的内部局域网；

电源控制单元，受该服务器的控制，用于动态的对该芯片进行上电和下电。

该SoC FPGA云平台，其中SoC主控模块与异构计算处理模块之间通过片内总线进行信息交互。

该SoC FPGA云平台，其中SoC FPGA的片内总线可扩展到片外，与其他的节点相连，将多个计算节点连接成一个组合计算节点，为用户提供服务。

该SoC FPGA云平台，其中集合所有的该计算节点作为资源池，将计算节点随机分配给用户使用，用户不需要知道所使用的计算节点的具体位置。

该SoC FPGA云平台，其中将该节点的逻辑资源虚拟成多个，以分给不同的用户使用。

该SoC FPGA云平台，其中该硬核处理器为ARM或RISC-V等RISC架构。

该SoC FPGA云平台，完全兼容现有主流的FPGA开发工具，不需要额外的开发、调试工具。

本发明还提供了一种该云端平台计算系统的应用方法，其中用户通过互联网访问该服务端，以使用该节点端的计算节点，使用内容包括：用户通过接入服务器进入SoC主控模块的操作系统，对异构计算处理模块进行使用、管理、配置、调试及监控等操作，以及对SoC主控模块上的辅助软件进行开发和使用等操作。

该云端平台计算系统的应用方法，其中用户访问该服务端过程具体包括：当该服务端接收到用户的访问请求时，会检测当前该节点端是否有空闲的计算节点，如果有，则该服务端对空闲的计算节点实施上电、初始化操作，完成后将其分配给用户使用，待用户使用完成后，对相应节点进行资源回收、断电操作。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

SoC FPGA云平台一实施例的整体系统框架如图3所示，该实施例建立了一个SoCFPGA云平台，SoC FPGA器件选择Xilinx公司的MPSoC(multiprocessor system-on-chip)FPGA系列。系统大体分三部分：客户端、服务端和节点端。

客户端安装在用户的本地PC或服务器上，用户通过客户端申请和使用云端的MPSoC FPGA节点，同时SoC FPGA云平台也支持通过网页的方式申请和使用MPSoC FPGA节点。其中需要注意的是本发明不以MPSoC FPGA芯片为限，随着技术的更新其可为任意包含硬核处理器和可编程逻辑资源的计算芯片；

服务端主要由一台接入服务器构成，负责用户及计算资源的管理和调度；

节点端由多个MPSoC FPGA节点以及配套的辅助硬件构成，并被高密度的部署在定制机箱中，节点端与服务端通过局域网进行数据交互。

与现有的商业FPGA云平台不同，该SoC FPGA云平台的计算节点采用MPSoC FPGA作为主控器件，MPSoC FPGA内部集成了ARM硬核处理器和FPGA可编程逻辑资源。ARM硬核处理器运行Linux系统，ARM硬核处理器结合接入服务器，为用户提供相应异构计算处理模块(即FPGA可编程逻辑资源)的使用环境和管理功能。SoC FPGA云平台为用户提供一个FPGA可编程逻辑资源的云端使用环境，用可以通过ARM硬核处理器运行中运行的Linux系统对FPGA可编程逻辑资源进行使用、管理、配置、调试及监控等操作，也可以在该Linux系统中开发和部署相关的辅助软件(如对部署在FPGA可编程逻辑资源中的加速算法的软件和驱动方面的支持)。

不同于现有云平台以X86服务器加FPGA节点为基本框架，该SoC FPGA云平台提出了一种以MPSoC FPGA作为计算节点的设计思路，MPSoC FPGA的硬核处理器运行Linux系统，用以取代现有云平台的X86服务器，MPSoC FPGA的可编程逻辑资源用来做异构加速单元，用以取代现有云平台的FPGA节点，SoC FPGA的硬核处理器与可编程逻辑资源间通过片内AMBA(Advanced Microcontroller Bus Architecture)总线进行数据交互，取代现有云平台的PCIe接口，在物理形式上每一个MPSoC FPGA节点就等效于现有FPGA云平台的一个X86服务器加FPGA节点。

现有FPGA云平台的使用理念偏向于为用户提供一个带FPGA异构加速板卡的X86服务器，SoC FPGA云平台的使用理念偏向于为用户提供一个FPGA可编程逻辑资源的使用环境。

用户通过客户端申请和使用节点端的MPSoC FPGA节点，申请成功后，用户可以通过MPSoC FPGA节点中的Linux系统中，对FPGA可编程逻辑部分进行使用、管理、配置、调试及监控等操作。“使用”指的是利用FPGA可编程逻辑资源完成特定逻辑功能或加速算法。“管理”指的是对FPGA可编程逻辑资源的使用和分配(比如在虚拟化场景下)进行管理。“配置”指的是将FPGA开发工具生产的比特流文件加载到FPGA可编程逻辑部分，使其实现特定的逻辑功能或加速算法。“调试”指的是对FPGA可编程逻辑部分的逻辑功能或加速算法进行远程在线调试，用以发现并修复其中的错误。“监测”指的是监测FPGA可编程逻辑部分的工作状态以及一些性能指标。

服务端主要由一台接入服务器构成，负责登录账户的管理以及整个云平台的调度与维护，其工作流程大致如下：当服务端接收到用户的申请请求时，会检测当前是否有空闲的MPSoC FPGA节点，如果有，则随机分配MPSoC FPGA节点供用户使用，并对MPSoC FPGA节点实施上电、初始化等操作，待用户使用完成后在对该MPSoC FPGA节点进行资源回收、断电等操作。

节点端主要由多个MPSoC FPGA节点以及配套的辅助硬件组成，辅助硬件主要包括电源、交换机、电源控制单元等，这些硬件单元同计算节点一起被高密度的部署在定制机箱中。MPSoC FPGA节点和电源控制单元通过局域网与接入服务器相连，电源控制单元直接受接入服务器控制，实现动态的对MPSoC FPGA节点进行上电和下电。

接入服务器为一台商用标准服务器，在该服务器上集成了自研的SoC FPGA云平台智能管理和动态调度软件，保证云平台高效稳定的运行。

FPGA云平台的节点端由两套定制机箱组成，机箱为220V交流供电，每套机箱内部集成了电源、交换机、电源控制单元、风扇等硬件，每台定制机箱内部可部署多个(例如32个或者更多)MPSoC FPGA节点。机箱为MPSoC FPGA节点提供网络、供电、机械、散热、信号数据输入输出支撑，支持MPSoC FPGA节点的远程启动与智能管理。机箱对外提供网络、USB、视频等输入输出接口。在物理结构上，定制机箱采用标准宽度尺寸，兼容标准机架。MPSoC FPGA节点采用Xilinx的MPSoC作为主控器件，其硬核处理器运行Linux系统，系统中集成了使用、管理、配置、调试及监控FPGA可编程逻辑资源所需的辅助软件及相关驱动。

本发明提供的云服务器定制机箱，可以承载SoC FPGA以及上述各种模块，如GPU、TPU和定制ASIC等。机箱可提供包括机械结构上和供电散热等方面的支持。只需SoC主控模块通过接入服务器与外部互联网相连，异构计算处理模块不用联网，完全依靠SoC主控模块便可完成特定的逻辑功能或加速算法。

虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (10)

1.一种云端平台计算系统，其特征在于，包括：服务端和节点端，其中该服务端由接入服务器构成，用于管理和调度该云端平台计算系统的用户及计算资源；

该节点端由多个计算节点以及辅助硬件构成，该计算节点包含SoC主控模块和异构计算处理模块，该SoC主控模块为用户提供该异构计算处理模块辅助软件的使用部署及开发环境，该异构计算处理模块用于逻辑功能或加速算法的实现与部署；

该节点端通过该云端平台计算系统内部局域网与该服务端进行信息交互。

2.如权利要求1所述的云端平台计算系统，其特征在于，该SoC主控模块运行操作系统，结合该接入服务器，为用户提供异构计算处理模块的使用环境和管理功能。

3.如权利要求1或2所述的云端平台计算系统，其特征在于，该辅助硬件包括：

交换机，用于构成该云端平台计算系统的内部局域网；

电源控制单元，受该服务端的控制，用于动态的对该计算节点进行上电和下电。

4.如权利要求1或2所述的云端平台计算系统，其特征在于，该SoC主控模块与该异构计算处理模块为同一个芯片上的两个不同部分，或为同一电路板卡上的两个芯片，或分别为两块不同的电路板卡；该SoC主控模块与该异构计算处理模块之间通过片内总线、PCIe、以太网或定制总线协议进行通信。

5.如权利要求4所述的云端平台计算系统，其特征在于，该SoC主控模块与该异构计算处理模块间还配备逻辑或物理通路，用于对该异构计算处理模块进行配置和调试，并对该异构计算处理模块的工作状态以及性能参数进行监控。

6.如权利要求1或2所述的云端平台计算系统，其特征在于，该计算节点之间通过PCIe、以太网、定制总线协议进行通信，将多个计算节点相连以建立一个组合计算节点为用户提供服务。

7.如权利要求1或2所述的云端平台计算系统，其特征在于，将每个该计算节点虚拟化为多个，以分给不同的用户使用。

8.如权利要求1或2所述的云端平台计算系统，其特征在于，该SoC主控模块为ARM或RISC-V等RISC体系架构的硬核处理器；该异构计算处理模块为ASIC、TPU、GPU和/或FPGA可编程逻辑资源。

9.一种如权利要求1～8中任一项所述的云端平台计算系统的应用方法，其特征在于，用户通过互联网访问该服务端，以使用该节点端的计算节点，使用内容包括：用户通过接入服务器进入SoC主控模块的操作系统，对异构计算处理模块进行使用、管理、配置、调试及监控等操作，以及对SoC主控模块上的辅助软件进行开发和使用等操作。

10.如权利要求9所述的云端平台计算系统的应用方法，其特征在于，用户访问该服务端过程具体包括：当该服务端接收到用户的访问请求时，检测当前该节点端是否有空闲的计算节点，如果有，则该服务端对空闲的计算节点实施上电、初始化操作，完成后将其分配给用户使用，待用户使用完成后，对相应计算节点进行资源回收、断电操作。