CN110647380B - 用于支持边缘计算的超融合服务器系统 - Google Patents

Abstract

本发明提供了一种为边缘计算提供服务的超融合系统，针对边缘计算场景对人工智能计算、信息安全、存储能力和应用软件部署的特别需求，通过软件、硬件一体化实现了高性能、低功耗且有效使用空间的高效能计算平台。边缘计算涉及大量的数据采集和数据处理(机器学习模型推理操作)，又因其部署接近应用场所，对空间和功耗有严格要求。针对应用的多样性，需要在软件系统与软件应用的部署方面提供足够的灵活性。本项发明设计了有效解决边缘计算设备所面临的技术挑战的专用计算平台，通过容器虚拟化软件技术为整合各种专用硬件加速设备构建边缘计算应用提供了安全、便捷的手段，可以有效适配多种对计算、数据容量有极端要求的边缘计算场景。

Description

用于支持边缘计算的超融合服务器系统

技术领域

本发明属于涉及信息技术领域，尤其是涉及用于支持边缘计算和智能化应用的计算系统，采用超融合技术来支持边缘计算带来的计算性能、应用开发部署、数据容量、功效要求和精简空间占用的挑战.

背景技术

近年来，随着物联网技术的飞速发展和相关应用的不断落地，传统的基于集中式计算的云计算实现无法实现对物联网终端设备带来的海量数据处理、分析和推理所带来的计算压力和网络传输延迟进行及时响应，因此边缘计算技术应运而生，通过将部分计算功能向传感器端前移来实现对大量前端传感器带来的计算压力的分担和数据存储与通信压力的缓冲。

边缘计算实现了部分在传统云计算IDC中部署的计算密集型应用软件功能，例如图像处理和人工智能分析功能。由于部署环境的限制，所能提供电力和散热能力比云计算IDC要低，因此边缘计算对功效比的要求非常严苛，在处理计算和存储时对低功耗、低空间占用和散热有高要求。

基于上述技术要求，本项专利提供了通过专有计算加速技术和高性能、大容量存储技术来实现支持高密度、低功耗的计算存储超融合运算系统，作为服务于边缘计算的基础设施。在用户应用开发和部署方面，为避免不同硬件平台所带来开发、部署和维护的难度，本项发明在软件层面以虚拟化方式将各种专有硬件进行抽象化和模块化，简化用户的开发、部署过程，通过远程控制帮助用户简化应用维护和更新。

发明内容

针对边缘计算对计算、存储、功效和简化应用开发、部署的要求，本发明的目的是提供一种可以快速、便捷的开发、部署智能化应用的具备高性能计算、存储能力和高密度、低功耗能力的计算系统。系统总体架构分三层：应用与管理层、资源虚拟化与调度管理层和硬件层(参见附图4)。

最底层是硬件实现，其具体硬件特性包括：

1.专有计算加速硬件系统，通过PCIe总线整合(参见附图1)，加速系统具备如下能力：

a.对基于人工智能特别是神经网络计算的特殊架构，即提供基于向量和张量计算的专门运算单元，从而达到加速神经网络推理计算的要求；

b.加速系统提供不少于16GB的本地存储以供处理高容量传感器数据，也可保障缓存多个神经网络模型供应用进行切换；

c.加速器件实现采用专有ASIC或FPGA方式。

2.专有高性能存储系统，通过PCIe总线整合(参见附图1)，存储系统具备如下能力：

a.提供2.5PB存储容量，同时具备低功耗、高密度的特点，并具备容量可扩展能力；

b.提供两层控制器服务(参见附图8)，上层是双文件系统服务器，互为备份，提供NFS/CIFS文件服务协议支持，下层是双存储控制器，互为备份，提供基本的块存储服务，并实现高速数据缓存；

c.存储系统提供不低于18GB/秒的高速读写能力；

d.通过高速以太网、IB网络或光纤接口提供数据服务。

3.通过PCIe总线整合物联网传感器数据采集系统，通过PCIe总线整合(参见附图1)，实现对物联网前端设备的数据流接入。

在硬件层之上通过虚拟化软件，将不同的硬件系统以模块化的方式进行抽象，为应用构建与编排提供服务。

具体内容如下：

1.通过容器虚拟化技术将硬件组件模块化，具体包括：

a.将计算加速、存储系统、数据采集和网络系统分别以docker容器为单位管理；

b.在每个docker容器内，配置相关硬件对应的驱动系统，通过容器对不同硬件进行隔离以实现虚拟化软件层面的故障隔离服务，避免因单个硬件故障导致整个系统镜像崩溃而影响用户的多个应用；

c.容器之间通过TCP协议或文件交换实现数据通信；

2.docker容器内预装应用计算框架，包括机器学习计算框架，包括tensorflow、caffee2等，实现对智能计算应用的支持，大数据处理框架，包括kaffka，stream，Spark驱动接口，以及文件系统驱动：NFS,HDFS等；

3.通过对容器进行编排和数据路由来实现智能应用的灵活定制，容器的定制通过一个控制器容器(ctrld)来实现，ctrld可以实现依据应用对所需的容器组建进行组合、编排和数据路由连接，以及对容器内部的机器学习模型进行更新；

4.控制器容器(ctrld)提供提供远程控制服务接口，实现用户进行远程应用发布和更新、容器组织与应用构建、的能力，

最上层的应用与管理层通过远程控制与管理接口向超融合服务器系统实现应用构建、部署、生命周期管理，具体包括：

1.向docker容器发布应用程序代码，包括通过python、Java实现的智能应用程序代码和以神经网络模型方式发布的智能数据分析、推理模型，该模型通过预装的tensorflow或caffee2引擎来运行；

2.通过控制系统将以docker容器为单位的应用模块进行组织，构建智能应用，以附图5的为例，容器集群包含5个docker容器，分别做视频信号采集与预处理、音频信号采集与预处理、SSD目标检测、数字音频信号识别、消防预警系统业务逻辑，IoT传感器采集到的视频、音频信号分别经过两个预处理模块发送至目标检测和音频信号识别系统，识别出的特别目标和音频通过消防预警业务逻辑模块进行最终分析决策来确定是否发出消防告警；

3.应用代码和神经网络模型下发到docker容器的过程参见附图6a，应用代码和模型在IDC的开发环境调试完毕后通过互联网加密链路或专线连接向边缘计算超融合服务器进行应用发布，发布内容参见附图6b，包扩代码、神经网络模型或docker容器镜像(将应用模块直接以容器镜像的方式发布)；

4.数据传输管理，边缘计算超融合服务器前置了数据分析处理服务和数据缓存，但数据仍需上传置云计算IDC,远程控制系统共过负责数据备份的docker容器将边缘计算超融合服务器缓存的数据通过加密链路或专线上传至IDC数据池(参见附图7).

本项发明的上述技术方案有益结果如下：

边缘计算应用通常涉及与人工智能结合的海量数据处理(例如对大规模视频流的图像帧筛选和识别)，本项发明所述的技术方案提供一种用于解决边缘计算所需要的软硬件一体化解决方案，为用户提供高效、便捷的应用部署能力。基于超融合的硬件架构有效的解决了边缘计算应用(特别是基于人工智能技术的应用)对高功效计算和高性能、大容量存储的需求。基于虚拟化和模块化的软件架构帮助用户实现快速灵活开发、部署、更新和维护智能化应用的能力，同时以基于docker容器的虚拟化实现硬件设备隔离对维护系统稳定性、避免因单个应用故障导致整个边缘计算服务器故障。

附图说明

图1是硬件总体结构图

图2系统逻辑分层

图3容器内部结构：软件应用与硬件驱动系统

图4系统逻辑架构与容器的关联

图5基于容器集群的智能应用：消防预警系统

图6云计算IDC到边缘服务器(Edge Server)的数据传输

图7边缘服务器(Edge Server)到云计算IDC的数据传输

图8存储系统实现架构

具体实施方式

本发明具体分三层实现(参照附图2)：硬件层、虚拟化与资源管理层和应用与管理层。下面分别介绍各层实现。

硬件层分为：AI加速系统、数据采集系统、集群/应用控制系统、数据存储系统和通用网络接口设备及部分，统一通过PCIe总线实现交联(参见附图1)，每个模块功能实现如下：

1.AI加速系统：针对智能应用(AI计算)，特别是神经网络计算所需要的大量张量和向量计算，通过定制化的张量和向量计算单元实现在降低功耗的同时对智能应用计算吞吐量的提升。AI加速系统的物理实现通过提供张量与向量计算的专用计算芯片或以FPGA芯片实现。该芯片具备独立存储空间，可实现独立的应用部署，也可通过PCIe总线与其他加速设备协同；

2.数据采集系统：以工业标准的协议实现数据采集，目前主要支持视频、音频采集，在数据采集设备上配置专用数据解码芯片(例如H.264)，可实时将视频或音频流数据分解，供AI加速系统进行处理(例如图像识别)，数据采集系统通过PCIe总线与AI加速系统和存储系统进行数据交互；

3.集群/应用控制系统：通过传统x86架构实现基于CPU的设备控制系统，主要提供对docker容器集群的管理和资源调度，同时为实现远程控制的容器系统提供计算和存储支持；

4.数据存储系统：存储设备的架构以传统双控制器Server SAN架构为基础，在此之上扩展双文件系统服务，并提供高速TCP/IB服务。在文件系统层面实现对虚拟化平台的支持，即为docker容器提供专用的文件设备驱动，实现高性能、高可用数据服务。文件系统本身支持POSIX、NFS、HDFS多种制式，为用户的应用开发与部署提供便利。存储介质可以SAS机械盘或SSD闪存实现，设备本身具有低功耗、高I/O速率、高密度能力；

5.通用网络接口设备以高速TCP链路或光纤专线方式实现与云计算IDC的数据对接，网络设备通过PCIe总线与其他硬件系统交联。

资源虚拟化与调度管理层分为：docker容器虚拟化、容器生命周期管理、容器集群管理与编排，和控制器容器ctrld实现。每个模块功能实现如下：

1.docker容器虚拟化：以docker容器的方式对AI计算加速、数据采集、通用计算(CPU和内存)、高速网络和存储系统实现虚拟化，例如在单个docker容器内实现对AI计算加速设备的封装(参见附图4)从而支撑神经网络计算服务；

2.容器生命周期管理：用于实现对AI计算加速、数据采集、通用计算(CPU和内存)、高速网络和存储系统资源的分配与释放，上述计算、存储、网络资源通过docker容器进行封装，因而上述资源的管理可以通过docker容器的创建与释放实现资源本身的分配与释放；

3.容器集群管理与编排：用于实现基于对不同计算资源进行组合的应用构建，可通过对对应资源封装的docker容器进行组合(数据连接和路由)来实现(参见附图5“消防预警系统”的例子)，因而容器集群管理与编排是实现应用构建的基础；

4.控制器容器ctrld：作为单独的系统级docker容器，负责实现应用级容器的生命周期管理.

应用与管理层通过容器进行应用管理与发布，并为用户提供远程接口实现对应用管理和发布的控制。容器分为两类：

1.应用级容器，负责封装硬件系统和应用驱动/计算框架，接收并运行用户应用代码，动态组织与联动并以此构建智能应用；

2.系统级容器(即控制器容器ctrld)负责管理应用容器的生命周期，向应用容器发布用户应用代码、模型，实现对应用模型的组合、编排与数据路由。

控制器容器本身采用双活互备，即同时运行两个ctrld，一主一从。当主ctrld故障失效时，从ctrld自动转为主ctrld并重启动原来的主ctrld作为从ctrld。应用与管理层的功能由控制器容器(ctrld)负责实现，包括：应用发布、资源调度、远程应用生命周期管理，每个模块功能实现如下：

1.应用发布：

a.通过远程接口实现用户对应用容器的代码、模型加载；

b.通过远程接口实现用户对应用容器的组织、编排和数据路由连接；

c.通过远程接口实现用户对组织完成的应用容器集群以智能应用的方式进行应用服务启动、停止、更新和删除。

2.资源调度：

a.通过远程接口实现应用容器与硬件设备的对接，包括设备驱动安装和应用技术框架接口、驱动的安装；

b.通过远程接口实现对应用容器的运行调动和调度策略编排。

3.远程应用生命周期管理：通过远程接口实现对管理硬件设备的应用容器的生命周期管理，包括创建、删除和硬件驱动、应用框架驱动的更新。

Claims (1)

1.用于支撑边缘计算的超融合服务器系统，采用超融合技术来解决边缘计算带来的计算性能、应用开发部署、数据容量、功效要求和精简空间占用的技术难题，超融合服务器系统分为三层：硬件层、资源虚拟化与调度管理层和应用与管理层；

I.硬件层通过集成高性能计算加速系统、数据采集、高速网络和专有存储系统实现，具体包括：

a.AI加速系统：针对智能应用，神经网络计算所需要的张量和向量计算，通过定制化的张量和向量计算单元实现在降低功耗的同时对智能应用计算吞吐量的提升，AI加速系统的物理实现通过提供张量与向量计算的专用计算芯片或以FPGA芯片实现，该芯片具备独立存储空间，实现独立的应用部署或通过PCIe总线与其他加速设备协同；

b.数据采集系统：以工业标准的协议实现数据采集，支持视频、音频采集，在数据采集设备上配置专用数据解码芯片，实时将视频或音频流数据分解，供AI加速系统进行处理，数据采集系统通过PCIe总线与AI加速系统和存储系统进行数据交互；

c.集群/应用控制系统：通过传统x86架构实现基于CPU的设备控制系统，提供对docker容器集群的管理和资源调度，同时为实现远程控制的容器系统提供计算和存储支持；

d.数据存储系统：存储设备的架构以传统双控制器Server SAN架构为基础，在此之上扩展双文件系统服务，并提供高速TCP/IB服务，在文件系统层面实现对虚拟化平台的支持，为docker容器提供专用的文件设备驱动，文件系统本身支持POSIX、NFS、HDFS多种制式，存储介质以SAS机械盘或SSD闪存实现；

e.通用网络接口设备以高速TCP链路或光纤专线方式实现与云计算IDC的数据对接，网络设备通过PCIe总线与其他硬件系统交联，AI加速系统、数据采集系统、集群/应用控制系统、数据存储系统和通用网络接口设备及部分，统一通过PCIe总线实现交联；

II.资源虚拟化与调度管理层分为：docker容器虚拟化、容器生命周期管理、容器集群管理与编排，和控制器容器ctrld实现；

a.docker容器虚拟化：以docker容器的方式对AI计算加速、数据采集、通用计算、高速网络和存储系统实现虚拟化，在单个docker容器内实现对AI计算加速设备的封装从而支撑神经网络计算服务；

b.容器生命周期管理：用于实现对AI计算加速、数据采集、通用计算、高速网络和存储系统资源的分配与释放，计算、存储、网络资源通过docker容器进行封装，因而上述资源的管理通过docker容器的创建与释放实现资源本身的分配与释放；

c.容器集群管理与编排：用于实现基于对不同计算资源进行组合的应用构建，通过对对应资源封装的docker容器进行组合来实现，因而容器集群管理与编排是实现应用构建的基础；

控制器容器ctrld：作为单独的系统级docker容器，负责实现应用级容器的生命周期管理；

III.应用与管理层的功能由控制器容器负责实现如下功能：

a.应用发布：

i.通过远程接口实现用户对应用容器的代码、模型加载；

ii.通过远程接口实现用户对应用容器的组织、编排和数据路由连接；

iii.通过远程接口实现用户对组织完成的应用容器集群以智能应用的方式进行应用服务启动、停止、更新和删除；

b.资源调度：

i.通过远程接口实现应用容器与硬件设备的对接，包括设备驱动安装和应用技术框架接口、驱动的安装；

ii.通过远程接口实现对应用容器的运行调动和调度策略编排；

c.远程应用生命周期管理：通过远程接口实现对管理硬件设备的应用容器的生命周期管理，包括创建、删除和硬件驱动、应用框架驱动的更新。

Images