CN218298998U - 小型化通用ai计算结构、电路板及装置 - Google Patents

Abstract

本实用新型公开了一种小型化通用AI计算结构、电路板及装置，通过CPU单元、AI单元、IO单元、电源单元及高速连接器构成小型化通用AI计算结构，以及CPU单元配置有第一连接器及第二连接器，AI单元配置有第三连接器，IO单元配置有第一组接口及与第二组接口，电源单元分别与第一连接器、第二连接器、第三连接器电连接，高速连接器用于与外部电路电连接。一方面，当结构中的各单元出现硬件损坏需要更换时，由于各连接器存在，在更换一损坏单元时不会影响到其余单元，则相比现有技术更便于更换硬件，降低更换难度。另一方面，通过高速连接器的设置能够实现可插拔功能，快速与外部电路(电路板)进行插接、连接。

Description

小型化通用AI计算结构、电路板及装置

技术领域

本实用新型涉及人工智能技术领域，具体为一种小型化通用AI计算结构、电路板及装置。

背景技术

目前，面向边缘端的人工智能计算硬件平台需要采用AI芯片(ArtificialIntelligence，人工智能)构建核心计算模块，该模块使用带有主机处理器的CNN(Convolutional Neural Networks，卷积神经网络)来执行人工智能任务，例如目标检测、图像分类、语义分割等应用，通过加载AI数据模型和算子，实现诸如人脸识别、汽车自动驾驶、电磁频谱的自动识别、无人机自主导航等智能计算应用。

AI核心计算模块大多采用基于GPU(Graphic Processing Unit，图形处理器)、APU(Accelerated Processing Units，加速处理器)、NPU(neural-network processingunits，网络处理器)等AI SoC芯片，以及基于ANN(CNN卷积神经网络和DNN深度神经网络)人工神经网络架构，来实现OpenVPX的3U、 6U的标准规范，但是其计算性能存在不足，且还存在集成度低，从而不利于应用在小型计算装置内。同时，又基于集成度低，无法形成模块化，此类人工智能计算硬件也不便于与外部电路连接。

而为了提高计算性能，也有一些集成度较高的人工智能计算硬件，但这些集成度较高的人工智能计算硬件在遇到硬件损坏时，基于相连接的线路较为复杂，造成硬件更换困难的技术问题。

因此，现有技术有待于改善。

实用新型内容

本实用新型的主要目的在于提出一种小型化通用AI计算结构、电路板及装置，旨在解决背景技术中所提及的现有的人工智能计算硬件存在的硬件更换困难的技术问题。

本实用新型的第一方面，提供了一种小型化通用AI计算结构，所述小型化通用AI计算结构包括：

CPU单元，所述CPU单元配置有第一连接器及第二连接器；

AI单元，所述AI单元配置有第三连接器；

IO单元，所述IO单元配置有第一组接口及与第二组接口；

电源单元，所述电源单元分别与所述第一连接器、所述第二连接器、所述第三连接器电连接；

高速连接器，所述高速连接器用于与外部电路电连接；

其中，所述第一组接口与所述第一连接器电连接，所述第二组接口与所述高速连接器电连接，所述CPU单元与所述AI单元呈上下堆叠分布。

本发明的第二方面，提供了一种电路板，电路板包括如第一方面的小型化通用AI计算结构。

本发明的第三方面，提供了一种计算装置，计算装置包括如第一方面的小型化通用AI计算结构。

本实用新型的小型化通用AI计算结构、电路板及装置，通过CPU单元、 AI单元、IO单元、电源单元及高速连接器构成小型化通用AI计算结构，以及 CPU单元配置有第一连接器及第二连接器，AI单元配置有第三连接器，IO单元配置有第一组接口及与第二组接口，电源单元分别与第一连接器、第二连接器、第三连接器电连接，高速连接器用于与外部电路电连接。一方面，当结构中的各单元出现硬件损坏需要更换时，由于各连接器存在，在更换一损坏单元时不会影响到其余单元，则相比现有技术更便于更换硬件，降低更换难度。另一方面，通过高速连接器的设置能够实现可插拔功能，快速与外部电路(电路板)进行插接、连接。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型小型化通用AI计算结构的结构连接示意图；

图2为本实用新型小型化通用AI计算结构中嵌入式CPU的部分引脚示意图；

图3为本实用新型实施例所提供的嵌入式CPU内存通道互联示意图；

图4为本实用新型小型化通用AI计算结构中AI SoC芯片的部分引脚示意图。

本实用新型目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。

需要注意的是，相关术语如“第一”、“第二”等可以用于描述各种组件，但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如，不脱离本实用新型的范围，第一组件可以被称为第二组件，并且第二组件类似地也可以被称为第一组件。术语“和/或”是指相关项和描述项的任何一个或多个的组合。

本申请的实施例中特有的缩略语或自定义的名词，其具体解释如下：

AI：Artificial Intelligence，人工智能；

SoC：System on Chip，片上系统，一般是指1个芯片上集成多个处理器或者多个功能芯片；

ANN：Analog Neural Network，人工神经网络；

CNN：Convolutional Neural Network，卷积神经网络；

DNN：Dynamic Neural Network，深度神经网络；

SNN：special needs network，脉冲神经网络；

GPU：Graphic Processing Unit，图形处理器；

APU：Accelerated Processing Units，加速处理器；

NPU：neural-network processing units，神经网络处理器；

TPU：Tensor Processing Unit，张量处理器；

FPGA：field program gate way，现场可编程门阵列；

CPU:Central Processing Unit，中央处理器；

SRIO:Serial SRIO，高速串行IO口；

PCIE:Peripheral Component Interconnect Express，高速串行计算机扩展总线标准；

mSATA:Mini Serial ATA，硬盘接口；

SATA:Serial ATA，串行ATA总线；

DDR4：DDR4 SDRAM；

3U：一种欧式标准模块尺寸，100mmX160mm；

6U：一种欧式标准模块尺寸，233.35mmX160mm；

VPX属于VITA46的一种标准名称，定义模块、背板、系统互连的一个系统规范；目前广泛应用于航空、航天、电信、铁路等工业领域；

VITA74 VITA组织的一个标准规范，定义了一种小型化的系统标准规范，广泛应用于航天卫星、机器人等小型工业平台；

VNX属于VITA74标准的一种名称。

请参阅图1，图1示出本实用新型实施例所提供的小型化通用AI计算结构的结构示意图；该小型化通用AI计算结构包括CPU单元、AI单元、IO单元、电源单元及高速连接器。

具体的，CPU单元表示能够主要实现数据采集、数据记录和加卸载、系统控制配置管理、数据通信等功能的器件，其配置有第一连接器及第二连接器；其中，第一连接器、第二连接器表示具备公端、母端的连接器，通过公端、母端传递讯息或电流，来实现多个器件间连接作用。

具体的，AI单元表示能够实现核心计算加速功能的器件，其配置有第三连接器；其中，第三连接器表示具备公端、母端的连接器，通过公端、母端传递讯息或电流，来实现多个器件间连接作用。

具体的，IO单元表示能够将来自CPU单元传输的数据进行人工智能的类脑计算的器件，其配置有第一组接口及与第二组接口，一般的，该第一组接口与第二组接口属于对接关系。IO单元主要提供更多扩展接口，实现更多线路连通。

具体的，电源单元表示能够为CPU单元、AI单元、IO单元提供供电电压的器件，其分别与第一连接器、第二连接器、第三连接器电连接，从而能够为各单元提供供电电压，保证各单元工作。

具体的，高速连接器表示加固集成化的连接器，其用于用于与外部电路电连接，实现快速插接；其中，该外部电路指不属于小型化通用AI计算结构本身的电路；例如，将该高速连接器与一电路板连接时，该电路板视作外部电路。

其中，第一组接口与第一连接器电连接，第二组接口与高速连接器电连接；以及CPU单元与AI单元呈上下堆叠分布(减少所占用的空间)，由此能够使得整个小型化通用AI计算结构形成一体式模块，其模块尺寸为89mm X 78mm X 19mm(长、宽、高)，满足VITA74(VNX)标准规范的模块尺寸。一方面，当结构中的各单元出现硬件损坏需要更换时，由于各连接器存在，在更换一损坏单元时不会影响到其余单元，则相比现有技术更便于更换硬件，降低更换难度。另一方面，通过高速连接器的设置能够实现可插拔功能，快速与外部电路(电路板)进行插接、连接。

在本实施例中，CPU单元包括嵌入式CPU芯片、第一DDR4内存、第一 Flash模块及第一SSD模块；第一DDR4内存、第一Flash模块及第一SSD模块均与嵌入式CPU芯片电连接，第一连接器及第二连接器均配置于嵌入式CPU 芯片上。即CPU单元作为一层电路板，在该一层电路板上集成嵌入式CPU芯片、第一DDR4内存、第一Flash模块及第一SSD模块，第一DDR4内存能够为嵌入式CPU芯片提高增加数据预取值(频率、带宽)，以及第一Flash模块提供数据缓存功能，第一SSD模块提供数据存储功能。

请参阅图2，图2示出本实用新型实施例所提供的嵌入式CPU芯片的部分引脚示意图；该嵌入式CPU芯片可以采用飞腾FT2000/4国产处理器，其为高性能处理器，支持DPDK功能，大大提高了发包速度。其主要技术指标包括：处理器集成了4个64位FTC663高性能核，主频2.6～3.0GHz；集成2个 DDR4-3200通道，支持对DDR存储数据进行实时加密内置密码加速引擎；集成34Lanes PCIe3.0接口：2个X16(每个可拆分成2个X8)，2个X1；集成2 个千兆Ethernet接口(RGMII),支持10/100/1000Mbps自适应；集成4个UART，一个LPC Master，32个GPIO，4个I2C，一个QSPI，2个通用SPI，2个WDT，一个RTC；采用1144引脚FCPBGA封装，芯片尺寸为35mm*35mm；工业级工作温度范围为-40～85℃；集成系统级安全机制，能够满足复杂应用场景下的性能需求和安全可信需求。

请参阅图3，FT-2000/4处理器片内集成2个DDR3内存控制器LMU0和 LMU1，可以采用板贴内存颗粒方式来完成板卡的内存单元设计，来应对整机尺寸、散热、振动、冲击等一系列环境因素。并使用两通道各4GB正反贴的方式来实现技术指标内存容量8GB的要求。同时选用DDR3内存颗粒 HXI15H4G800AF–13K作为板卡的DDR3内存颗粒，HXI15H4G800AF–13K是紫光推出的容量为4Gbit的内存颗粒。

具体的，右边边框代表通道LMU0，左边边框代表通道LMU1。每个通道各贴8PCS512MB DDR3芯片。以及DDR3内存布线时，64位数据DATA线共分为8组，采用点对点拓扑的走线方式，而为了消除走线上的延迟，地址线和控制线采用FLY-BY拓扑的走线方式。

在本实施例中，AI单元包括AI SoC芯片、第二DDR4内存、第二Flash 模块及第二SSD模块，第二DDR4内存、第二Flash模块及第二SSD模块均与 AI SoC芯片电连接，第三连接器配置于AI SoC芯片上。即AI单元也作为一层电路板，在该一层电路板上集成AI SoC芯片、第二DDR4内存、第二Flash模块及第二SSD模块，第二DDR4内存能够为AI SoC芯片提高增加数据预取值 (频率、带宽)，以及第二Flash模块提供数据缓存功能，第二SSD模块提供数据存储功能。

请参阅图4，图4示出本实用新型实施例所提供的AI SoC芯片的部分引脚示意图；AI SoC芯片可以采用灵汐公司的型号KA200的芯片，其技术指标包括：神经元数量25万个，神经突触2500万个，算力32TOPS@INT8， 16TFlops@FP16，片外存储器容量8GB内存LPDDR4X8G内存位宽64bit，内存峰值带宽34.1GB/s，eMMC存储器容量：32GB，支持从eMMC启动；图像处理能力：独特内置硬件图像处理加速引擎Resize、Mirror、Flip、Rotate、 Crop、Padding、C2C；编解码能力：支持H.264、H.265、VP9、MPEG4视频格式硬件解码，最高视频解码性能480fps@1920*1080；支持H.264、H.265视频格式硬件编码，最高视频编码性能240fps@1920*1080；支持JPEG图像硬件解码，最高图像解码性能300fps@1920*1080，支持JPEG图像硬件编码，最高图像编码性能200fps@1920*108；内置硬件图像处理加速引擎；视频编解码，图像处理，图像编解码，计算加速；支持Tensorflow和Pytorch框架的神经网络模型部署；兼容人工神经网络(CNN/DNN等)和脉冲神经网络(SNN)。

在本实施例中，嵌入式CPU还具有第一组PCIE引脚，AI SoC芯片上具有第二组PCIE引脚，第一组PCIE引脚经第一连接器、第三连接器与第二组PCIE 引脚电连接。则通过PCIE引脚建立高速传输通道，实现嵌入式CPU、AI SoC 芯片间的信息高速传输。

在本实施例中，嵌入式CPU还具有第一输入输出引脚，AI SoC芯片上具有第二输入输出引脚，第一输入输出引脚经第二连接器、第三连接器与第二输入输出引脚电连接。其中，输入输出引脚为SPI引脚、GPIO引脚及I2C引脚中的一种或者多种，来建立相关传输通道，以实现嵌入式CPU、AI SoC芯片间信息传输。

在本实施例中，嵌入式CPU还具有SATA引脚、USB引脚、1G以太网引脚及10G以太网引脚，SATA引脚、USB引脚、1G以太网引脚及10G以太网引脚经第二连接器与IO单元的第一组接口电连接；即嵌入式CPU通过集成更多引脚，扩展相应的功能，来应用于更多使用场景。

在本实施例中，电源单元包括电源管理模块及DC-DC模块，电源管理模块同时与DC-DC模块、第二连接器、第三连接器电连接，DC-DC模块同时与第一连接器、高速连接器电连接，从而实现对于各单元的供电。

下面为本实施例的小型化通用AI计算结构在进行实施时的上下电过程：

小型化通用AI计算结构安装到系统背板(或者是插接在电路板时)，此时小型化通用AI计算结构处于待机状态，输入电压是+3.3V待机供电，待机状态时嵌入式CPU处于最小模式工作状态，主要检测IPMI的数据，接收来自主系统的控制命令，同时检测来自电源单元的管理芯片的GPIO信号，判断系统上电信号，控制电源单元的上下电；CPU单元的嵌入式CPU通过IO单元的 10G/1G以太网和接口接收来自传感器端的数据，并进行控制配置，把系统需要的数据通过PCIex4总线发送到AI SoC芯片进行处理，接收来自AI SoC处理器的结果数据进行分析，把结果通过10G/1G以太网接口发送到主系统。DDR4 内存作为嵌入式CPU的数据缓存，DDR4内存作为AI计算的数据缓存，两者通过DMA方式传输，可以减少处理器的工作负载。Flash20加载系统固件软件，实现CPU单元的上电初始化工作，并进行从SSD固态盘引导操作系统，启动应用软件。AI单元的AI SoC芯片主要完成对来自CPU单元传输的数据进行人工智能的类脑计算，AI SoC芯片集成ANN/SNN专用处理器、视频编解码器和图像预处理引擎，具有神经元和神经突触，对生物神经网络的高效计算能力，针对网络的连接稀疏性、事件稀疏性进行高度优化，系统具有较典型的冯诺依曼架构的CPU芯片、APU神经网络处理芯片和GPU图形处理器芯片组成的异构片上系统，支持常用的传统深度学习网络以及ANN/SNN融合的异构网络计算算法，针对网络的连接稀疏性、事件稀疏性建立异构模型的无缝信息交换机制，实现异构神经网络在类脑芯片上的高效部署；AI单元作为EP端设备模式时，作为CPU单元的异构PCIe设备，Flash 70加载固件软件，完成AI单元的上电初始化功能，接收来自CPU单元的命令，完成相关任务，AI单元作为RC 根设备模式时，作为一个计算节点完成AI计算任务，此时通过1路1G以太网接口完成与CPU单元的数据通信，Flash 70加载固件软件，完成AI单元的上电初始化功能，并引导SSD固态盘80操作系统，加载应用软件完成AI计算任务，此工作模式下，CPU单元与AI单元通过1G以太网实现数据通信，单模块上具有2个计算节点，通过异构类脑计算中间件软件实现分布式异构计算。电源单元通过电源管理芯片完成电源的上下点控制，和模块上的所有芯片的电源供电，具有动态管理电源功能，根据使用场景，接收来自CPU的命令，动态开关每个芯片的电源供电，实现能耗管理功能。

综合上述，本实用新型提供的小型化通用AI计算结构的模块体积为89mm X 78mmX 19mm≈132cm³；总功耗小于30W，集成1个通用计算单元和1个 AI计算单元，实现AI算力32TOPS@INT8@15W，通用计算性能为 12TFLOPS@6W；模块综合指标是AI算力0.24TOPS/cm3@INT8+通用性能 0.09FLOPS/cm3；AI算力2.1TOPS/w@INT8+通用性能2TFLOPS/w。即系统集成2个计算节点，功能上既可以实现数据采集和通用计算，又可以实现AI加速计算的应用，AI计算同时支持DNN和SNN2种不同的神经网络算法，应用更广泛。

相比Intel公司的Loihi芯片和IBM公司的TrueNorth芯片，支持神经元数量更高，软件工具链支持更加完善。相比Nvdia公司的Xavier芯片，本模块在同等算力的情况下，可以发挥异构融合的优势，结合ANN和SNN的优势特点，并发挥存算一体的优势，提供更高的能效比。

同时，脉冲神经网络(Spiking Neural Network,SNN)包含具有时序动力学特性的神经元节点、稳态-可塑性平衡的突触结构、功能特异性的网络环路等，高度借鉴了生物启发的局部非监督(如脉冲时序依赖可塑性、短时突触可塑性、局部稳态调节等)、全局弱监督(如多巴胺奖赏学习、基于能量的函数优化等) 的生物优化方法，因此具有强大的时空信息表征、异步事件信息处理、网络自组织学习等能力。综合性能效能比优于其他模块指标，可广泛应用于所有环境领域的智能计算信息系统。

以上仅为本实用新型的优选实施例，并非因此限制本实用新型的专利范围，凡是利用本实用新型说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本实用新型的专利保护范围内。

Claims (10)

1.一种小型化通用AI计算结构，其特征在于，所述小型化通用AI计算结构包括：

CPU单元，所述CPU单元配置有第一连接器及第二连接器；

AI单元，所述AI单元配置有第三连接器；

IO单元，所述IO单元配置有第一组接口及与第二组接口；

电源单元，所述电源单元分别与所述第一连接器、所述第二连接器、所述第三连接器电连接；

高速连接器，所述高速连接器用于与外部电路电连接；

其中，所述第一组接口与所述第一连接器电连接，所述第二组接口与所述高速连接器电连接，所述CPU单元与所述AI单元呈上下堆叠分布。

2.如权利要求1所述小型化通用AI计算结构，其特征在于，所述CPU单元包括嵌入式CPU芯片、第一DDR4内存、第一Flash模块及第一SSD模块；

所述第一DDR4内存、第一Flash模块及第一SSD模块均与所述嵌入式CPU芯片电连接，所述第一连接器及第二连接器均配置于所述嵌入式CPU芯片上。

3.如权利要求2所述小型化通用AI计算结构，其特征在于，所述AI单元包括AI SoC芯片、第二DDR4内存、第二Flash模块及第二SSD模块；

所述第二DDR4内存、第二Flash模块及第二SSD模块均与所述AI SoC芯片电连接，所述第三连接器配置于所述AI SoC芯片上。

4.如权利要求3所述小型化通用AI计算结构，其特征在于，所述嵌入式CPU上具有第一组PCIE引脚，所述AI SoC芯片上具有第二组PCIE引脚，所述第一组PCIE引脚经所述第一连接器、第三连接器与所述第二组PCIE引脚电连接。

5.如权利要求3所述小型化通用AI计算结构，其特征在于，所述嵌入式CPU上具有第一输入输出引脚，所述AI SoC芯片上具有第二输入输出引脚，所述第一输入输出引脚经所述第二连接器、第三连接器与所述第二输入输出引脚电连接。

6.如权利要求5所述小型化通用AI计算结构，其特征在于，所述输入输出引脚为SPI引脚、GPIO引脚及I2C引脚中的一种或者多种。

7.如权利要求3所述小型化通用AI计算结构，其特征在于，所述嵌入式CPU上具有SATA引脚、USB引脚、1G以太网引脚及10G以太网引脚，所述SATA引脚、USB引脚、1G以太网引脚及10G以太网引脚经所述第二连接器与所述IO单元的第一组接口电连接。

8.如权利要求1-7任一项所述小型化通用AI计算结构，其特征在于，所述电源单元包括电源管理模块及DC-DC模块，所述电源管理模块同时与所述DC-DC模块、所述第二连接器、所述第三连接器电连接，所述DC-DC模块同时与所述第一连接器、所述高速连接器电连接。

9.一种电路板，其特征在于，所述电路板包括如权利要求1-8任一项所述的小型化通用AI计算结构。

10.一种计算装置，其特征在于，所述计算装置包括如权利要求1-8任一项所述的小型化通用AI计算结构。

Images