CN208903299U - 一种ai智能专用计算卡及其构成的边缘网络 - Google Patents
一种ai智能专用计算卡及其构成的边缘网络 Download PDFInfo
- Publication number
- CN208903299U CN208903299U CN201821918647.2U CN201821918647U CN208903299U CN 208903299 U CN208903299 U CN 208903299U CN 201821918647 U CN201821918647 U CN 201821918647U CN 208903299 U CN208903299 U CN 208903299U
- Authority
- CN
- China
- Prior art keywords
- dedicated computing
- processor
- intelligence dedicated
- intelligence
- gpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000003313 weakening effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本实用新型公开一种AI智能专用计算卡及其构成的边缘网络,其中,本申请采用基于ARM的第一主处理器、基于ARM的第二主处理器、第一GPU处理器、第二GPU处理器构成的异质组合架构,不仅具有非常好的价格优势,同时本申请将图像视频的预处理和AI运算的神经网络加速分别采用不同的GPU处理器实现,使得视觉推理和神经网络优化得到了更好的硬件支持,同时,这种多个处理器的异质组合构成的计算卡,非常有利于AI应用的开发,透过单一API进行相对应的优化,可以解决很多问题。此外,基于上述AI智能专用计算卡构成的边缘网络不设置或者设置弱化处理的中心服务器,进一步提高了整体的AI运算速度。
Description
技术领域
本实用新型涉及物联网技术领域,具体涉及一种基于AI人工智能的专用计算装置。
背景技术
随着互联网和信息行业的快速发展,各种声音、图像、视频数据均呈井喷式的发展,大数据处理已经逐步取代传统的人工数据处理,其中,深度学习技术引发了人工智能(简称AI)应用的高速发展,引领人类由信息时代进入智能时代,而人工智能技术的应用又推动了大数据分析处理能力的再一次飞跃。
深度学习本质是一种机器学习技术,需要强大的硬件计算能力,来完成复杂的数据处理和运算。对于如此庞大的数据处理和运算,现有的人工智能解决方案一般有三种:一是最普遍的云端方案,将数据上传至服务器进行识别;第二种则是专用工控机或者FPGA板方案;第三种将AI识别算法直接集成到ASIC芯片上。其中,第一种方案中,普遍采用集中式应用计算,中心的计算负载异常大,随着应用规模的不断扩大,重型化的应用使得中心式计算不堪重负,从而影响AI运算能力和速度。第二种方案中,专用工控机或者FPGA板方案通常是混合了多个CPU和FPGA处理芯片,不仅成本高昂,而且芯片与芯片之间的传输带宽、信号干扰导致整体性能无法达到与其成本匹配的高性能,因此不利于应用的实际落地。而第三种由于ASIC芯片成本高昂,且人工智能的市场成熟度普遍不高,还不足以支撑芯片的销量。
此外,人工智能的应用,如阿法狗打败冠军棋手、餐厅搭配送餐机器人、京东研究配送机器人、医院通过深度学习进行辅诊等,然而大部分仍然停留于研究验证阶段,目前可行性相对较高的落地应用场景主要集中在语音识别(如智能音箱、智能客服等)、人脸识别(如人证比对、黑名单布控等)。国内外巨头虽然免费开放部分了应用算法,但也只能帮助没AI能力的小厂家完成部分应用研究的验证工作,无法真正产品化。国内其他厂家想要具有AI能力,需要花费较大的成本投入;另外,目前大多数的落地应用均属于集中式计算应用,中心的计算负载异常大,随着应用规模的不断扩大,重型化的应用使得中心式计算不堪重负。目前市面上的产品虽然也有一些轻量化应用,如人脸抓拍相机,但该应用也仅仅只能支持人脸抓拍,升级改造麻烦,同时售价不菲,对于需要大批量部署的应用场景,成本高到客户无法接受,而且无法充分利用原先已部署、不带AI功能的设备,造成严重的资源浪费。重新部署各种AI识别应用,又需要巨大的成本。
实用新型内容
在下文中给出了关于本实用新型实施例的简要概述,以便提供关于本实用新型的某些方面的基本理解。应当理解,以下概述并不是关于本实用新型的穷举性概述。它并不是意图确定本实用新型的关键或重要部分,也不是意图限定本实用新型的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
为了解决落地成本高、弱中心化、资源浪费等问题,根据本申请的一个方面,提供一种成本低廉、基于边缘计算的AI智能专用计算卡,其包括第一主处理器、第二主处理器、第一GPU处理器、第二GPU处理器、电源模块、高速内存、无线通讯模块和接口模块;其中,第一主处理器和第二主处理器均为基于ARM的处理器,第一GPU处理器用于图像视频的预处理,第二GPU处理器用于AI运算加速;第一主处理器和第二主处理器相互连接,第一GPU处理器和第二GPU处理器相互连接,高速内存、无线通讯模块和接口模块分别连接至第一主处理器或者第二主处理器,电源模块为第一主处理器、第二主处理器、第一GPU处理器和第二GPU处理器供电。
决定AI运算等级的基本要素在于计算卡的AI运算能力,高速的运算速度能保证更强的计算能力,当系统执行高速计算时,直流压降和噪声会更大,因此,对电源的要求也就更高,基于此,本申请对于计算卡上的元器件的布局进行如下设置:所述电源模块包括第一电源管理芯片、第二电源管理芯片,第一电源管理芯片和第一GPU处理器均与第一主处理器电性连接构成第一运算单元,第二电源管理芯片和第二GPU处理器均与第二主处理器电性连接构成第二运算单元,第一运算单元和第二运算单元并列设置在电路板上,第一电源管理芯片和第二电源管理芯片并列设置,第一GPU处理器和第二GPU处理器并列设置,第一主处理器和第二主处理器并列设置。该AI智能专用计算卡采用上述布局,不仅更利于布线,保证芯片与芯片之间的传输带宽,而且该方式的供电更加稳定可靠,并可降低信号的干扰。
为了进一步降低信号干扰,第一运算单元和第二运算单元通过零欧姆电阻共地连接。
根据本申请的另一方面,还提供一种由上述AI智能专用计算卡构成的边缘网络,其包括多个AI智能专用计算卡和中心服务器,多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡建立相互通信连接;各AI智能专用计算卡均和中心服务器建立通讯连接。中心服务器作为数据中心,各AI智能专用计算卡根据预设设置的策略与中心服务器进行数据同步,确保数据的实时更新,此外,每个AI智能专用计算卡可仅同步与之相关的数据,在需要使用其自身没有保存的数据时,通过相互连接的AI智能专用计算卡来进行互通有无,该配置方案不仅可保证AI处理速度,而且还可将各AI智能专用计算卡作为计算节点或神经元节点,保证整个边缘网络的整体计算能力。也即本申请没有依赖于中心服务器对所有的数据进行处理和反馈,不采用现有技术的集中式计算,而是采用边缘计算的网络架构,该弱中心化的处理减轻了中心的计算负载,提高了AI计算能力。
根据本申请的再一方面,还提供一种由上述AI智能专用计算卡构成的边缘网络,其包括多个AI智能专用计算卡,多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡相互通信。也即本申请没有设置中心服务器,而是采用AI智能专用计算卡自行对其接入的数据进行处理,该去中心化的处理更进一步提高了AI运算速度。
与现有技术相比,本申请具有如下优势:
1、通过传统的多个CPU和多个FPGA的架构转换为GPU(和VPU)以及ARM处理器的异质组合架构,与传统的架构相比,具有非常好的价格优势;
2、同时本申请将图像视频的预处理和AI运算的神经网络加速分别采用不同的GPU实现,使得视觉推理和神经网络优化得到了更好的硬件支持,同时,这种多个处理器的异质组合构成的计算卡,非常有利于AI应用的开发,透过单一API进行相对应的优化,可以解决很多问题。
3、本申请的AI智能专用计算卡部署非常简单,可通过网口、USB接口、视频输入输出接口和音频输入输出接口直连到外设(例如摄像头)上,也可通过将外设和AI智能专用计算卡部署在同一网络里面通过无线模块建立通讯连接,可无缝对接现有90%以上的摄像头,可将不具备AI智能的现有摄像头非常容易的转换为AI智能摄像头。
综上,本申请的AI智能专用计算卡可有效解决现有人工智能应用落地成本高、中心化负载大、资源浪费等问题,具有非常好的经济效益和广阔的市场前景。
附图说明
本实用新型可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本实用新型的优选实施例和解释本实用新型的原理和优点。在附图中:
图1为本实用新型的AI智能专用计算卡的架构示意图;
图2为本实用新型的实施例1的AI智能专用计算卡构成的边缘网络的网络架构图;
图3为本实用新型的实施例2的AI智能专用计算卡构成的边缘网络的网络架构图。
具体实施方式
下面将参照附图来说明本实用新型的实施例。在本实用新型的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本实用新型无关的、本领域普通技术人员已知的部件和处理的表示和描述。
参见图1,本申请的AI智能专用计算卡,包括第一主处理器、第二主处理器、第一GPU处理器、第二GPU处理器、第一电源管理芯片、第二电源管理芯片、高速内存、无线通讯模块和接口模块。
其中,第一主处理器和第二主处理器均为基于ARM的处理器,第一GPU处理器用于图像视频的预处理,第二GPU处理器用于AI运算加速。接口模块包括视频输入输出接口、音频输入输出接口、RJ45网口、USB接口,此外,为了方便扩展,接口模块还包括PCI(Peripheral Component Interconnect,外设部件互连标准)插槽,通过PCI插槽可接入一个或多个符合PCI标准的扩展卡,以适合不同的应用。
第一主处理器和第二主处理器相互连接,第一GPU处理器和第二GPU处理器相互连接,高速内存和无线通讯模块分别连接至第一主处理器或者第二主处理器,接口模块的不同接口可分别连接至第一主处理器或者第二主处理器,第一电源管理芯片和第二电源管理芯片为系统供电。
本申请通过传统的多个CPU和多个FPGA的架构转换为GPU(和VPU)以及ARM处理器的异质组合架构,与传统的架构相比,具有非常好的价格优势,同时本申请将图像视频的预处理和AI运算的神经网络加速分别采用不同的GPU实现,使得视觉推理和神经网络优化得到了更好的硬件支持,同时,这种多个处理器的异质组合构成的计算卡,非常有利于AI应用的开发,透过单一API进行相对应的优化,可以解决很多问题。本申请的AI智能专用计算卡可无缝对接现有90%以上的摄像头,可将不具备AI智能的现有摄像头非常容易的转换为AI智能摄像头。
决定AI运算等级的基本要素在于计算卡的AI运算能力,高速的运算速度能保证更强的计算能力,当系统执行高速计算时,直流压降和噪声会更大,因此,对电源的要求也就更高,基于此,参见图1,本申请对于计算卡上的元器件的布局进行如下设置:第一电源管理芯片和第一GPU处理器均与第一主处理器电性连接构成第一运算单元,第二电源管理芯片和第二GPU处理器均与第二主处理器电性连接构成第二运算单元,第一运算单元和第二运算单元并列设置在电路板上,第一电源管理芯片和第二电源管理芯片并列设置,第一GPU处理器和第二GPU处理器并列设置,第一主处理器和第二主处理器并列设置。此外,为了进一步降低信号干扰,第一运算单元和第二运算单元通过零欧姆电阻共地连接。
该AI智能专用计算卡采用上述布局,不仅更利于布线,保证芯片与芯片之间的传输带宽,而且该方式的供电更加稳定可靠,并可降低信号的干扰。
实施例1
参见图2,作为一个具体的实施例,一种由上述AI智能专用计算卡构成的边缘网络,其包括多个AI智能专用计算卡和中心服务器,多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡建立相互通信连接;各AI智能专用计算卡均和中心服务器建立通讯连接。中心服务器作为数据中心,各AI智能专用计算卡根据预设设置的策略与中心服务器进行数据同步,确保数据的实时更新,此外,每个AI智能专用计算卡可仅同步与之相关的数据,在需要使用其自身没有保存的数据时,通过相互连接的AI智能专用计算卡来进行互通有无,该配置方案不仅可保证AI处理速度,而且还可将各AI智能专用计算卡作为计算节点或神经元节点,保证整个边缘网络的整体计算能力。也即本申请没有依赖于中心服务器对所有的数据进行处理和反馈,不采用现有技术的集中式计算,而是采用边缘计算的网络架构,该弱中心化的处理减轻了中心的计算负载,提高了AI计算能力。
实施例2
与实施例1不同的是,本实施例中采用去中心化的做法,本实施例的基于上述AI智能专用计算卡构成的边缘网络,其包括多个AI智能专用计算卡,多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡相互通信。也即本申请没有设置中心服务器,而是采用AI智能专用计算卡自行对其接入的数据进行处理,该去中心化的处理更进一步提高了AI运算速度。
本申请通过上述方案,其基于ARM设计,使得外观设计只有一个电视盒子大小,远小于传统AI应用场景,大大降低了部署难度和工程成本,从而拓宽了AI应用场景。同时,通过对电路模块的设计,使得网络更加轻便,更加适合加速卡运行。此外,通过设计计算卡的电路元件布局,使得芯片与芯片之间的传输带宽以及供电更加稳定可靠,并可降低信号的干扰。
本方案尤其适用于对现有无AI智能的外设转换为AI智能外设,例如应用于人脸识别时,只需要通过直连或者无线网络将该AI智能专用计算卡与摄像头部署在同一网络内即可,本申请的计算卡可连接1路摄像头、2路摄像头、4路或者更多路摄像头。计算卡部署后,对连接至该计算卡的每一路摄像头的数据进行独立处理,从而避免了服务器的分布式管理,实现边缘计算,达到弱中心化的目的。
本申请的方案非常容易扩展,应用场合非常广泛,只要有摄像头的应用场合,都可以通过本方案的AI智能z换用计算卡以最低成本实现AI应用,让AI价格平民化,同时还可以有效推进各种AI应用场景的落地,如新零售、雪亮社区、智能楼宇管家、智能前台等场景。
尽管上面已经通过对本实用新型的具体实施例的描述对本实用新型进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本实用新型的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本实用新型的保护范围内。
Claims (9)
1.一种AI智能专用计算卡,其特征在于:包括第一主处理器、第二主处理器、第一GPU处理器、第二GPU处理器、电源模块、高速内存和接口模块;其中,第一主处理器和第二主处理器均为基于ARM的处理器,第一GPU处理器用于图像视频的预处理,第二GPU处理器用于AI运算加速;第一主处理器和第二主处理器相互连接,第一GPU处理器和第二GPU处理器相互连接,高速内存和接口模块分别连接至第一主处理器或者第二主处理器,电源模块为第一主处理器、第二主处理器、第一GPU处理器和第二GPU处理器供电。
2.根据权利要求1所述的AI智能专用计算卡,其特征在于:其还包括无线通讯模块,无线通讯模块连接至第一主处理器或者第二主处理器。
3.根据权利要求1或2所述的AI智能专用计算卡,其特征在于:所述电源模块包括第一电源管理芯片、第二电源管理芯片,第一电源管理芯片和第一GPU处理器均与第一主处理器电性连接构成第一运算单元,第二电源管理芯片和第二GPU处理器均与第二主处理器电性连接构成第二运算单元,第一运算单元和第二运算单元并列设置在电路板上,第一电源管理芯片和第二电源管理芯片并列设置,第一GPU处理器和第二GPU处理器并列设置,第一主处理器和第二主处理器并列设置。
4.根据权利要求3所述的AI智能专用计算卡,其特征在于:所述第一运算单元和第二运算单元通过零欧姆电阻共地连接。
5.根据权利要求1所述的AI智能专用计算卡,其特征在于:所述接口模块包括视频输入输出接口和音频输入输出接口。
6.根据权利要求5所述的AI智能专用计算卡,其特征在于:所述接口模块还包括RJ45网口和USB接口。
7.根据权利要求5或6所述的AI智能专用计算卡,其特征在于:所述接口模块还包括PCI插槽。
8.一种AI智能专用计算卡构成的边缘网络,其特征在于:包括多个AI智能专用计算卡和中心服务器,AI智能专用计算卡为权利要求1-7任一所述的AI智能专用计算卡;
多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡建立相互通信连接;各AI智能专用计算卡均和中心服务器建立通讯连接。
9.一种AI智能专用计算卡构成的边缘网络,其特征在于:包括多个AI智能专用计算卡,AI智能专用计算卡为权利要求1-7任一所述的AI智能专用计算卡;
多个AI智能专用计算卡中,位于预设距离范围内的两个AI智能专用计算卡相互通信。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201821918647.2U CN208903299U (zh) | 2018-11-21 | 2018-11-21 | 一种ai智能专用计算卡及其构成的边缘网络 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201821918647.2U CN208903299U (zh) | 2018-11-21 | 2018-11-21 | 一种ai智能专用计算卡及其构成的边缘网络 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN208903299U true CN208903299U (zh) | 2019-05-24 |
Family
ID=66578129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201821918647.2U Expired - Fee Related CN208903299U (zh) | 2018-11-21 | 2018-11-21 | 一种ai智能专用计算卡及其构成的边缘网络 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN208903299U (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738163A (zh) * | 2020-06-23 | 2020-10-02 | 广东辰启科技有限责任公司 | 一种边缘计算盒子前端识别的处理方法 |
CN112214450A (zh) * | 2020-10-12 | 2021-01-12 | 湃方科技(天津)有限责任公司 | 一种边缘智能soc处理器、电子设备 |
CN114168308A (zh) * | 2020-09-10 | 2022-03-11 | 苏州星克人工智能科技有限公司 | 基于嵌入式处理的边缘计算方法及其设备 |
WO2022088800A1 (zh) * | 2020-10-29 | 2022-05-05 | 苏州浪潮智能科技有限公司 | 一种服务器的电源控制方法、系统及装置 |
-
2018
- 2018-11-21 CN CN201821918647.2U patent/CN208903299U/zh not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738163A (zh) * | 2020-06-23 | 2020-10-02 | 广东辰启科技有限责任公司 | 一种边缘计算盒子前端识别的处理方法 |
CN114168308A (zh) * | 2020-09-10 | 2022-03-11 | 苏州星克人工智能科技有限公司 | 基于嵌入式处理的边缘计算方法及其设备 |
CN112214450A (zh) * | 2020-10-12 | 2021-01-12 | 湃方科技(天津)有限责任公司 | 一种边缘智能soc处理器、电子设备 |
WO2022088800A1 (zh) * | 2020-10-29 | 2022-05-05 | 苏州浪潮智能科技有限公司 | 一种服务器的电源控制方法、系统及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN208903299U (zh) | 一种ai智能专用计算卡及其构成的边缘网络 | |
CN113115241B (zh) | 一种基于工业大脑的工业互联网系统 | |
WO2019227837A1 (zh) | 一种自由切换gpu服务器拓扑的装置及方法 | |
CN101216777B (zh) | 一种多虚拟机环境下的快速部署系统 | |
CN107659437A (zh) | 一种整机柜计算资源池资源自动识别系统及方法 | |
CN105045820A (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
CN102164184A (zh) | 云计算网络中计算机实体的接入和管理方法及云计算网络 | |
CN108449401A (zh) | 一种基于区块链技术的算力共享方法及系统 | |
CN109510713A (zh) | 一种基于区块链的流量共享激励方法 | |
CN103473636A (zh) | 一种收集、分析和分发网络商业信息的系统数据组件 | |
CN105339899A (zh) | 用于在软件定义网络中使应用程序集群的方法和控制器 | |
CN103617255A (zh) | 一种用于电力信息系统的业务数据交换同步系统及方法 | |
CN108985954A (zh) | 一种建立各标识的关联关系的方法以及相关设备 | |
CN105959347A (zh) | 一种基于p2p网络的全数字协同仿真系统通信方法 | |
CN103325371A (zh) | 基于云的语音识别系统与方法 | |
CN105847339A (zh) | 智慧医疗服务平台 | |
CN107480094A (zh) | 一种融合架构的池化服务器系统架构 | |
CN106230995A (zh) | 一种m2m消息通信中间平台及其通信方法 | |
CN101751297A (zh) | 一种可承受大量用户登录的信息系统及实现方法 | |
CN107480302A (zh) | 一种基于企业级应用场景的松耦合数据集成同步实现方法 | |
CN209216091U (zh) | 一种用于高速通信的ai智能计算卡 | |
CN116578420A (zh) | 水务智联设备及其控制方法 | |
CN104166581A (zh) | 一种面向增量制造设备的虚拟化方法 | |
Zhuang et al. | Using 5G mobile to enable the growing slate of VR and AR applications | |
CN115374949A (zh) | 分布式量子计算系统和资源管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190524 |
|
CF01 | Termination of patent right due to non-payment of annual fee |