CN105760324B - 数据处理装置和服务器 - Google Patents
数据处理装置和服务器 Download PDFInfo
- Publication number
- CN105760324B CN105760324B CN201610312586.4A CN201610312586A CN105760324B CN 105760324 B CN105760324 B CN 105760324B CN 201610312586 A CN201610312586 A CN 201610312586A CN 105760324 B CN105760324 B CN 105760324B
- Authority
- CN
- China
- Prior art keywords
- node chip
- data processing
- data
- node
- chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 266
- 238000004891 communication Methods 0.000 claims abstract description 87
- 239000010410 layer Substances 0.000 claims description 54
- 238000011144 upstream manufacturing Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 10
- 239000002356 single layer Substances 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 102100035964 Gastrokine-2 Human genes 0.000 claims description 4
- 101001075215 Homo sapiens Gastrokine-2 Proteins 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multi Processors (AREA)
Abstract
本发明实施例提供了一种数据处理装置和服务器，其中，数据处理装置包括N个依次通信连接的节点芯片，N个节点芯片形成一个节点芯片组，位于节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口；其中，N的取值为大于1的整数；节点芯片组通过首个芯片上的外部接口接收数据处理任务，通过节点芯片组中的一个以上节点芯片对数据处理任务进行处理，并通过外部接口返回数据处理结果。本发明实施例可以提供较强的数据处理能力，包括计算能力。
Description
技术领域
本发明涉及数据处理技术，尤其涉及一种数据处理装置和服务器。
背景技术
目前，深度学习是机器学习研究中的一个新的领域，是所有高科技研究和开发中最热门的领域之一，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
深度学习的关键是DNN(Deep Neural Network，深度神经网络)，由于DNN具有深层结构、数千万参数需要学习，因此DNN的预测和训练过程需要巨大的计算能力。由于采用SIMD(Single Instruction Multiple Data，单指令多数据流)架构特性，GPU(GraphicsProcessing Unit，图形处理器)具有强大的计算能力，在深度学习领域的应用大大优于传统的CPU(Central Processing Unit，中央处理器)，目前作为通行的DNN计算平台处于主导地位。现有采用GPU实现的DNN计算平台中，一张GPU上只搭载一颗GPU芯片，GPU插入到服务器主板的PCIE插槽中。
在实现本发明的过程中，发明人发现，现有技术采用GPU实现的DNN计算平台至少存在以下问题：
由于GPU的出现旨在促进通用科学计算任务，它不是专门为DNN设计开发的，因此其单GPU芯片架构限制了其计算能力，无法满足DNN对计算能力的需求；
如要扩充计算能力，就需要在同一台服务器中插入多张GPU，然而，由于一台服务器主板上的PCIE插槽数目有限，可支持的GPU数目也就受到限制，因此可支持的计算能力仍然受到限制。
发明内容
本发明实施例所要解决的其中一个技术问题是，提供一种数据处理装置和服务器，以提供较强的数据处理能力，包括计算能力。
为解决上述技术问题，根据本发明实施例的一个方面，提供一种数据处理装置，包括N个依次通信连接的节点芯片，所述N个节点芯片形成一个节点芯片组，位于所述节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口；其中，N的取值为大于1的整数；
所述节点芯片组通过所述首个芯片上的外部接口接收数据处理任务，通过所述节点芯片组中的一个以上节点芯片对所述数据处理任务进行处理，并通过所述外部接口返回数据处理结果。
在另一个实施例的数据处理装置中，所述节点芯片上设置有串行器/解串器SERDES接口；相邻节点芯片之间具体通过SERDES接口，采用SERDES通信通道进行通信连接；
或者
所述节点芯片上设置有总线和接口标准PCIE接口；相邻节点芯片之间具体通过PCIE接口，采用PCIE通信通道进行通信连接。
在另一个实施例的数据处理装置中，所述节点芯片包括多个计算单元；
所述数据处理任务包括深度神经网络DNN的数据处理任务。
在另一个实施例的数据处理装置中，每个节点芯片中的多个计算单元被分为不同的计算单元组；
所述节点芯片组具体通过一个节点芯片对所述数据处理任务进行处理；
所述一个节点芯片对所述数据处理任务进行处理时，具体用于在下行通信方向接收数据处理任务，根据预先配置的执行策略，分别通过不同的计算单元组，依次对DNN中各个层或连续多个层的数据处理任务进行处理，并在得到处理结果数据后，通过上行通信通道将所述处理结果数据传输给所述外部接口。
在另一个实施例的数据处理装置中，所述一个节点芯片具体为所述首节点芯片。
在另一个实施例的数据处理装置中，所述节点芯片组具体通过下行通信方向的前M个节点芯片，分别根据预先配置的执行策略，依次对DNN中各个层的数据处理任务进行处理；其中，M的取值为小于或等于N的整数；
所述M个节点芯片中具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
在另一个实施例的数据处理装置中，所述节点芯片组具体通过每个节点芯片，分别根据预先配置的执行策略，对DNN一个层的数据处理任务进行处理，并在得到处理结果数据后传输给下行通信方向的相邻节点芯片；
所述节点芯片组中下行通信方向的末节点芯片具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
在另一个实施例的数据处理装置中，所述外部接口包括PCIE接口。
在另一个实施例的数据处理装置中，还包括：
预先向所述节点芯片组中的各节点芯片配置执行策略。
根据本发明实施例的另一个方面，提供一种一种服务器，包括主板，所述主板上具有一个以上卡槽，还包括一个以上如权利要求1至11任意一项所述的数据处理装置，所述数据处理装置中的首节点芯片以插接方式插入主板上的卡槽中时，首节点芯片通过外部接口与主板进行数据交互。
基于本发明上述实施例提供的数据处理装置和服务器，每个数据处理装置包括多个依次通信连接的节点芯片，多个节点芯片形成一个节点芯片组，位于节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口，可以连接到主板上，该节点芯片组通过首个芯片上的外部接口接收数据处理任务，然后通过节点芯片组中的一个以上节点芯片对数据处理任务进行处理，然后通过外部接口返回数据处理结果。由于每个数据处理装置中，只需要一个节点芯片与外部设备通信连接，节点芯片组中的节点芯片的数量可以根据数据处理任务的处理性能需求无限扩展，但是只需一个节点芯片与外部设备(例如，主板)进行通信连接即可，因此无需占用外部设备的通信接口，例如卡槽，因此本发明实施例中数据处理装置和服务器的数据处理能力，例如计算能力，易于扩展，从而根据任务需要提供足够的数据处理能力，且避免了扩展数据处理能力需增加外部设备的通信接口所产生的成本。
本发明实施例的数据处理能力(例如计算能力)易于扩展，可适用于对DNN或其他任意网络中数据处理任务的处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式对本发明的技术方案做进一步的详细描述。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明数据处理装置一个实施例的结构示意图。
图2为现有DNN计算平台采用的单机多GPU的一个数据并行框架示意图。
图3为本发明数据处理装置另一实施例的示意图。
图4为本发明服务器一个实施例的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本发明数据处理装置一个实施例的结构示意图。如图1所示，该实施例的数据处理装置包括N个依次通信连接的节点芯片(Node)，N个节点芯片形成一个节点芯片组，位于节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口，首节点芯片可以通过该外部接口接入外部设备，例如服务器中的主板上，从而实现节点芯片组与主板的通信连接，实现节点芯片组与服务器中CPU(中央控制单元)之间的数据交互。其中，N的取值为大于1的整数。节点芯片组通过首个芯片上的外部接口接收数据处理任务，例如计算任务，通过节点芯片组中的一个以上节点芯片对该数据处理任务进行处理，并通过外部接口返回数据处理结果。
示例性地，上述首节点芯片上的外部接口可以是一个PCIE(总线和接口标准)接口，以接入外部设备的PCIE插槽中。另外，外部接口也可以是其他接口，只要与接入的外部设备的接口类型匹配即可。另外，首节点芯片的外部接口具体基于FPGA(现场可编程门阵列)方式实现，这样可以根据用户需求灵活定制。本发明实施例中，各节点芯片可以示例性地采用ASIC(Application Specific Integrated Circuit，专用集成电路)实现。具体地，通过节点芯片组中的一个以上节点芯片对该数据处理任务进行处理时，各节点芯片可以各自执行预先配置的固件来对该数据处理任务进行相应的处理，从而实现节点芯片组对数据处理任务的处理。
基于本发明上述实施例提供的数据处理装置，包括多个依次通信连接的节点芯片，多个节点芯片形成一个节点芯片组，位于节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口，可以连接到主板上，该节点芯片组通过首个芯片上的外部接口接收数据处理任务，然后通过节点芯片组中的一个以上节点芯片对数据处理任务进行处理，然后通过外部接口返回数据处理结果。由于每个数据处理装置中，只需要一个节点芯片与外部设备通信连接，节点芯片组中的节点芯片的数量可以根据数据处理任务的处理性能需求无限扩展，但是只需一个节点芯片与外部设备(例如，主板)进行通信连接即可，因此无需占用外部设备的通信接口，例如卡槽，因此本发明实施例中数据处理装置和服务器的数据处理能力，例如计算能力，易于扩展，从而根据任务需要提供足够的数据处理能力，且避免了扩展数据处理能力需增加外部设备的通信接口所产生的成本。
本发明实施例的数据处理能力(例如计算能力)易于扩展，可适用于对DNN或其他任意网络中数据处理任务的处理。
图2为现有DNN计算平台采用的单机多GPU的一个数据并行框架示意图。在现有的DNN计算平台中，一张GPU上只搭载一颗GPU芯片，GPU再插入到服务器主板的PCIE卡槽中。在图2所示的数据并行框架中，可能存在以下两种数据通信情况：
情况1：在同一台服务器上的不同GPU卡之间通信，例如，从一个服务器上的GPU A向GPU B发送数据包。GPU之间通过PCIE连接，因此GPU之间的数据包需要通过该服务器主板上的PCIE交换芯片来完成传输，该情况1中，数据包的传输顺序是:
GPU A→PCIE Hub(集线器)→GPU B。
情况2：在不同服务器上的GPU之间通信，例如，从一个服务器上的GPU A向另一服务器上的GPU C发送数据包。由于两个GPU之间的数据包需要通过交换网络才能到达目的地，该情况2中，数据包的传输顺序是:
一个服务器上GPU A→PCIE Hub→网卡→网络交换机→另一服务器上网卡→PCIEHub→GPU C。
由此，若需要同一个服务器上的多个GPU协作处理同一个DNN的数据处理任务，由于不同GPU之间的通信需要通过主板进行，GPU之间的数据传输时延较大；如果同一个服务器上的所有GPU仍不足以支持同一个DNN的数据处理任务，则还需要多个服务器上的GPU之间进行通信，则除了需要通过多个服务器上的主板转发外，还需要经过网卡、网络和网络交换机进行，不同服务器上GPU之间的数据传输时延更大。因此现有采用单机多GPU的DNN计算平台对DNN的数据处理任务的处理效率低下。
而本发明实施例的数据处理装置中，节点芯片组中的节点芯片易于扩展，可以扩展出任意多个节点芯片，从而使得单个数据处理装置即具有强大的数据处理能力，由于数据处理装置中节点芯片之间直接通信，无需通过服务器的主板、以及网络进行数据转发，因此相对于现有技术具有较小的传输时延。
在本发明上述数据处理装置实施例的一个具体示例中，各节点芯片上可以分别设置PCIE接口，节点芯片组中的相邻节点芯片之间，具体可以通过芯片上的PCIE接口，采用PCOE通信通道进行通信连接。
或者，在本发明上述数据处理装置实施例的另一个具体示例中，各节点芯片上可以分别设置SERDES(串行器/解串器)接口，节点芯片组中的相邻节点芯片之间，具体可以通过芯片上的SERDES接口，采用SERDES通信通道进行通信连接。
SERDES是一种主流的TDM(时分多路复用)、P2P(点对点)的串行通信技术，即：在发送端多路低速并行信号被转换成高速串行信号，经过传输媒体(光缆或铜线)，最后在接收端高速串行信号重新转换成低速并行信号。这种点对点的串行通信技术充分利用传输媒体的信道容量，减少了所需的传输信道和器件引脚数目，突破了传统并行I/O接口的数据传输瓶颈，大大降低通信成本：一是采用差分信号传输代替单端信号传输，从而增强了抗噪声、抗干扰能力；二是采用时钟和数据恢复技术代替同时传输数据和时钟，从而解决了限制数据传输速率的信号时钟偏移问题。因此，本发明实施例中，在节点芯片之间采用SERDES通信通道，有效减少了数据传输延迟。
另外，节点芯片组中的相邻节点芯片之间也可采用其它高速率低延迟的通信通道进行通信连接。
另外，在本发明任一实施例的数据处理装置中，针对DNN或类似数据流向具有特殊性的网络，由于数据处理任务的数据量大于数据处理结果，具有通信连接关系的各芯片之间的通信通道可以设置为非对称的，本发明实施例可以设置通信通道在下行通信方向的传输带宽大于上行通信方向的传输带宽，即：数据处理任务发送方向(Tx)和数据处理结果接收方向(Rx)的传输带宽不同。例如，针对DNN的数据处理任务，可以设置SERDES通信通道在数据处理任务发送方向Tx的传输带宽大于接收方向Rx的传输带宽。
在本发明上述任一实施例的数据处理装置中，每个节点芯片具体可以包括多个计算单元，例如上千个计算单元。本发明实施例的数据处理装置可用于对包括但不限于DNN的数据处理任务进行处理。在以下的特定实施例中，以对DNN的数据处理任务进行处理为例对本发明实施例的数据处理装置进行进一步详细说明，但是，本领域技术人员基于本发明实施例的记载，可以知悉本发明实施例的数据处理装置基于类似的方式对其他网络中数据处理任务进行处理的具体实现。
采用发明实施例的数据处理装置对DNN的数据处理任务进行计算处理时，可以示例性而非限制性地采用以下策略：
在第一种策略中，节点芯片组通过其中的一个节点芯片运算处理DNN中全部层的数据处理任务。具体地，若本次只有一个数据处理任务，例如待处理的图片，可基于数据传输时延考虑，可以通过节点芯片组中下行通信方向的首节点芯片运算处理DNN中全部层的数据处理任务。若本次有多个数据处理任务，则可以分别通过节点芯片组中的一个节点芯片运算处理一个数据处理任务，在同一时刻，每一个节点芯片在处理不同的数据处理任务，节点芯片之间不需要针对数据处理任务进行数据交互，数据传输路径上的节点芯片只需要进行数据转发即可。该工作模式也称为batch展开模式，适用于单节点芯片模式，可适用于特别小型的DNN，一个节点芯片就足以高效完成一个DNN中所有的数据处理任务，这种情况下，DNN的数据处理任务数据由服务器中的CPU通过主板下发给上述首节点芯片，首节点芯片对DNN中全部层的数据处理任务进行运算处理，运算完毕之后再沿与任务数据相反的方向将处理结果数据回传给CPU。
在第二种策略中，节点芯片组具体通过下行通信方向的前M个节点芯片，依次对DNN中各个层的数据处理任务进行处理。其中，M的取值为等于N的整数。该工作模式也称为层内展开模式。具体地，通过前M个节点芯片，先处理DNN一个层的数据处理任务，本层的数据处理任务运算处理完成后再一起开始运算处理下一层的数据处理任务。例如，对于N和M的取值为4、对一个4层DNN的处理为例，DNN第一层的数据处理任务分成4份，分别交由4个节点芯片进行计算处理，4个节点芯片同时执行第一层的数据处理任务，得到作为第一层数据处理结果的输出神经元数据将作为下一层计算处理的输入数据，第一层的所有数据处理任务完成后，一起开始第二层数据处理任务的计算处理。第二层的数据处理任务同样分为四份，分别由4个节点芯片进行计算处理。处理第二层的数据处理任务时，每一个节点芯片的输入数据除了本节点芯片计算处理上一层数据处理任务产生的结果数据之外，还用到其它3个节点芯片计算处理上一层数据处理任务产生的结果数据，4个节点芯片之间，可以通过相邻节点芯片之间的通信通道进行数据交换。以此类推，4个节点芯片共同完成DNN所有层的计算处理。
在第三种策略中，节点芯片组分别通过每个节点芯片对DNN一个层的数据处理任务进行处理。该工作模式也称为层间展开模式。例如，对于节点芯片组包括4个节点芯片、对一个4层DNN的处理为例，基于该策略，将整个DNN网络的数据处理任务按四层分成4份，分别交由第一个节点芯片、第二个节点芯片、第三个节点芯片和第四个节点芯片进行计算处理，即：第一个节点芯片处理DNN第一层的数据处理任务，第二个节点芯片处理DNN第二层的数据处理任务，第三个节点芯片处理DNN第三层的数据处理任务，第四个节点芯片处理DNN第四层的数据处理任务。实际处理时，可以先将第一个数据处理任务，例如一个图片，输入到第一个节点芯片，第一个节点芯片处理完成后将得到的输出数据通过相邻节点间的通信通道传给第二个节点芯片，然后由第二个节点芯片进行DNN第二层数据处理任务的计算处理，处理完成后将得到的输出数据通过相邻节点间的通信通道传给第三个节点芯片，以此类推。在第一个节点芯片将处理第一个数据处理任务的输出数据通过相邻节点间的通信通道传给第二个节点芯片后，第一个节点芯片便可以开始计算处理第二个数据处理任务的第一层，以此类推，四个节点芯片实现了数据处理任务的Pipeline(流水线)处理。其中，该第一个节点芯片、第二个节点芯片、第三个节点芯片和第四个节点芯片的节点编号可以按照任意需求指定，例如可以按照下行通信方向对节点芯片依次编号，也可以按照上行通信方向对节点芯片依次编号。
在第四种策略中，节点芯片组具体通过下行通信方向的前M个节点芯片，依次对DNN中各个层的数据处理任务进行处理，通过下行通信方向的后N-M个节点芯片，依次对另一DNN中各个层的数据处理任务进行处理。其中，M的取值为小于N的整数，该工作模式也称为层内和层间同时展开模式。具体地，通过前M个节点芯片，先处理一个DNN一个层的数据处理任务，本层的数据处理任务运算处理完成后再一起开始运算处理下一层的数据处理任务；通过后N-M个节点芯片，先处理另一个DNN一个层的数据处理任务，本层的数据处理任务运算处理完成后再一起开始运算处理下一层的数据处理任务。具体的处理方式可以参考上述第二种策略和第三种策略。
与上述第一种策略对应地，在本发明上述数据处理装置实施例的一个具体示例中，每个节点芯片中的多个计算单元被分为不同的计算单元组，节点芯片组具体通过一个节点芯片对所述数据处理任务进行处理，该一个节点芯片对数据处理任务进行处理时，具体用于在下行通信方向接收数据处理任务，根据预先配置的执行策略，分别通过不同的计算单元组，依次对DNN中各个层或连续多个层的数据处理任务进行处理，并在得到处理结果数据后，依次通过上行通信通道将处理结果数据传输给外部接口，以便通过外部接口将数据处理结果返回主板。具体地，上述一个节点芯片可以是首节点芯片，以便节省处理传输时延。该具体示例可用于对特别小型DNN网络中数据处理任务的处理。
与上述第二种策略对应地，在本发明上述数据处理装置实施例的另一个具体示例中，节点芯片组具体通过下行通信方向的前M个节点芯片，分别根据预先配置的执行策略，依次对DNN中各个层的数据处理任务进行处理。其中，M的取值为小于或等于N的整数。M个节点芯片中具体在得到处理结果数据后，依次通过上行通信通道将处理结果数据传输给首节点芯片。在对一层数据处理任务进行运算处理时，节点芯片组中各节点芯片具体通过相邻节点芯片间的互联通路进行数据互通，协同完成任务。
例如针对DNN，由于DNN是一层一层的，比如说有十层，下一层数据处理任务需要等到当前一层数据处理任务处理完之后才能开始处理，层间数据处理任务存在依赖关系，但同一层的数据处理任务可以并行处理，因此，本发明实施例的具体示例中，节点芯片组中的各节点芯片可以同时处理DNN同一层的数据处理任务，例如这一层的数据处理任务包括十亿次运算操作，节点芯片组中包括四个节点芯片，可以将这一层的十亿次操作分为四部分让节点芯片组中的四个节点分别去运算，只需占用服务器中的一个卡槽便可提供相对于现有的单个GPU成倍增强的数据处理能力。
与上述第三种策略对应地，在本发明上述数据处理装置实施例的又一个具体示例中，节点芯片组具体通过每个节点芯片，分别根据预先配置的执行策略，对DNN一个层的数据处理任务进行处理，即：每个节点芯片分别处理DNN一个层的数据处理任务，并在得到处理结果数据后传输给下行通信方向的相邻节点芯片。节点芯片组中下行通信方向的末节点芯片具体在得到处理结果数据后，依次通过上行通信通道将处理结果数据传输给首节点芯片。
在本发明上述各实施例的数据处理装置中，节点芯片组中的各节点芯片分别被配置一个地址，在各节点芯片中、以及主机的CPU中分别设置一个地址列表，该地址列表中包括CPU和个节点芯片的地址；另外，根据如上述示例的几种策略，预先向节点芯片组中的各节点芯片配置需要其执行的固件(firmware，即：程序)，节点芯片通过执行该程序实现进行相应的数据处理操作，执行固件中的子程序所要实现的操作涉及到与其他节点芯片的数据交互时，子程序中包括该其他节点芯片的地址以及具体数据交互的操作程序代码，例如，在对DNN的数据处理任务进行计算处理的过程中，第二节点芯片与第三节点芯片交互DNN第一层的数据处理结果数据时，第二节点芯片中实现该操作的子程序便包括第三节点芯片的地址和与第三节点芯片交互DNN第一层的数据处理结果数据的操作程序代码；第四节点芯片需要将DNN最后的数据处理结果上行返回CPU时，第四节点芯片中实现该操作的子程序便包括第三节点芯片的地址和向第三节点芯片发送数据处理结果的操作程序代码，第三节点芯片中实现该操作的子程序便包括第二节点芯片的地址和向第二节点芯片转发数据处理结果的操作程序代码，以此类推，第一节点芯片中实现该操作的子程序便包括CPU的地址和向CPU发送数据处理结果的操作程序代码。在一个具体示例中，在各节点芯片启动时，从板载的只读存储器(ROM)里将固件加载到节点芯片的微控制器(MCU)中，节点芯片通过执行其中的固件来处理相应的数据处理任务。另外，在一个具体示例中，也可以通过CPU分别向各节点芯片组中的各节点芯片发送需要其执行的固件，各节点芯片分别将固件配置在节点芯片的微控制器中。其中的执行策略可以根据需求随时修改。各节点芯片中的固件可以根据不同的执行策略、针对的具体DNN应用、节点芯片组中包括的节点芯片数量的不同具体配置。执行策略、针对的具体DNN应用、节点芯片组中包括的节点芯片数量变化时，可以重新配置各节点芯片中的固件。
在具体示例中，可以根据需要配置，各节点芯片对DNN的数据处理任务计算处理完毕得到数据处理结果后，可以由节点芯片组中的某一节点芯片对节点芯片中所有节点芯片的数据处理结果数据汇总后沿上行通信通道依次发送给CPU，也可以由各节点芯片分别将得到的数据处理结果数据沿上行通信通道依次发送给CPU，由CPU汇总得到最终的数据处理结果。
图3为本发明数据处理装置另一实施例的示意图。如图3所示，与图1所示的实施例相比，该实施例的数据处理装置还包括N个分别与各节点芯片通信连接的存储单元，以便进行相应的信息存储，例如对处理数据处理任务得到的各种数据、训练数据等数据进行存储。作为本发明实施例的一个具体示例而非限制，该存储单元可以是DDR(双倍速率同步动态随机存储器)、LPDDR(低功率双倍速率同步动态随机存储器)、GDDR(图形双倍速率同步动态随机存储器)、HBM(高带宽存储器)、或者HMC(混合存储立方体存储器)，另外，也可以是其它类型的高速存储器。
作为示例，在图3仅示出了节点芯片组包括四个节点芯片的一个示例，本领域技术人员基于本发明实施例的记载，可以了解，节点芯片组中可根据需要设置所需数量的节点芯片的具体实现。
本发明一个实施例提供的服务器中，包括主板，主板上具有一个以上卡槽，还包括一个以上数据处理装置，该数据处理装置中的首节点芯片以插接方式插入主板上的卡槽中时，首节点芯片通过外部接口与主板进行数据交互。其中的数据处理装置具体可以基于本发明上述任一实施例数据处理装置的结构实现。
基于本发明上述实施例提供的服务器，包括多个本发明上述实施例的数据处理装置，数据处理能力强大且易于扩展，不会受到主板卡槽数量的限制，且避免了扩展数据处理能力需增加外部设备的通信接口所产生的成本。
图4为本发明服务器一个实施例的示意图，图4所示的服务器实施例中，仅示例性地示出了服务器包括两个数据处理装置的一个具体示例。
在本发明上述任一实施例服务器的一个具体示例中，首节点芯片的外部接口为PCIE接口，主板上的卡槽具体为PCIE插槽。另外，首节点芯片的外部接口与主板上的卡槽也可以采用其他标准实现，只要二者类型匹配即可。
另外，在本发明服务器的另一实施例中，还可以包括与主板连接的、用于与其他服务器进行数据交互的外部通信接口。示例性地，外部通信接口可以是以太网接口，例如40/100G以太网接口，具体的选择可可以根据不同的应用场景灵活决定。例如，若要搭建一个云服务器中心，则外部通信接口相应设置为以太网接口。
综上所述，由于本发明实施例提出了一种新的拓扑结构，该拓扑结构可更适合诸如DNN或深度学习的大运算量硬件加速平台的优化实现。
本发明实施例提供了如下技术方案：
1、一种数据处理装置，包括N个依次通信连接的节点芯片，所述N个节点芯片形成一个节点芯片组，位于所述节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口；其中，N的取值为大于1的整数；
所述节点芯片组通过所述首个芯片上的外部接口接收数据处理任务，通过所述节点芯片组中的一个以上节点芯片对所述数据处理任务进行处理，并通过所述外部接口返回数据处理结果。
2、根据1所述的数据处理装置，所述节点芯片上设置有串行器/解串器SERDES接口；相邻节点芯片之间具体通过SERDES接口，采用SERDES通信通道进行通信连接；
或者
所述节点芯片上设置有总线和接口标准PCIE接口；相邻节点芯片之间具体通过PCIE接口，采用PCIE通信通道进行通信连接。
3、根据1或2所述的数据处理装置，所述节点芯片包括多个计算单元；
所述数据处理任务包括深度神经网络DNN的数据处理任务。
4、根据3所述的数据处理装置，每个节点芯片中的多个计算单元被分为不同的计算单元组；
所述节点芯片组具体通过一个节点芯片对所述数据处理任务进行处理；
所述一个节点芯片对所述数据处理任务进行处理时，具体用于在下行通信方向接收数据处理任务，根据预先配置的执行策略，分别通过不同的计算单元组，依次对DNN中各个层或连续多个层的数据处理任务进行处理，并在得到处理结果数据后，通过上行通信通道将所述处理结果数据传输给所述外部接口。
5、根据4所述的数据处理装置，所述一个节点芯片具体为所述首节点芯片。
6、根据3所述的数据处理装置，所述节点芯片组具体通过下行通信方向的前M个节点芯片，分别根据预先配置的执行策略，依次对DNN中各个层的数据处理任务进行处理；其中，M的取值为小于或等于N的整数；
所述M个节点芯片中具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
7、根据3所述的数据处理装置，所述节点芯片组具体通过每个节点芯片，分别根据预先配置的执行策略，对DNN一个层的数据处理任务进行处理，并在得到处理结果数据后传输给下行通信方向的相邻节点芯片；
所述节点芯片组中下行通信方向的末节点芯片具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
8、根据1至7任意一项所述的数据处理装置，所述外部接口包括PCIE接口。
9、根据4至7任意一项所述的数据处理装置，还包括：
预先向所述节点芯片组中的各节点芯片配置执行策略。
10、根据1至9任意一项所述的数据处理装置，还包括N个分别与各节点芯片通信连接的存储单元。
11、根据10所述的数据处理装置，所述存储单元包括双倍速率同步动态随机存储器DDR、低功率双倍速率同步动态随机存储器LPDDR、图形双倍速率同步动态随机存储器GDDR、高带宽存储器HBM、或者混合存储立方体存储器HMC。
12、一种服务器，包括主板，所述主板上具有一个以上卡槽，还包括一个以上如1至11任意一项所述的数据处理装置，所述数据处理装置中的首节点芯片以插接方式插入主板上的卡槽中时，首节点芯片通过外部接口与主板进行数据交互。
13、根据12所述的服务器，所述首节点芯片的外部接口为总线和接口标准PCIE接口时，所述卡槽具体为PCIE插槽。
14、根据12或13所述的服务器，还包括与主板连接的、用于与其他服务器进行数据交互的外部通信接口。
15、根据14所述的服务器，所述外部通信接口包括以太网接口。
本发明实施例，具有以下总的有益技术效果：
当计算能力不足时，可以通过扩展节点芯片来实现算力的提升，大大增强了系统的可扩展性和可伸缩性，付出的代价相对较低，提供的最大计算能力远远超过现在的GPU，整个产品的物理大小也比较紧凑；
节点芯片组中的多个节点芯片仅占用主板上的一个卡槽，易于扩展节点芯片，提升服务器的数据处理能力；
首节点芯片的外部接口可以采用FPGA方式实现，可以根据客户需求灵活定制；
各节点芯片间通信的延迟可控，大部分的情况下都是节点芯片之间利用高速通信通道直接进行通信。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所公开的实施例的任意之一都可以以任意的组合方式来使用。
本发明实施例的各个部件可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器、ASIC或者数字信号处理器(DSP)来实现根据本发明实施例的装置、系统、服务器中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在说明书中，不应将位于括号之间的任何参考符号构造成对本发明实施例的限制。单词“包含”不排除存在未列出的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种数据处理装置，其特征在于，包括N个依次通信连接的节点芯片，每个节点芯片包括多个计算单元，所述N个节点芯片形成一个节点芯片组，位于所述节点芯片组中下行通信方向的首节点芯片设置有用于与主板连接的外部接口；其中，N的取值为大于1的整数；
其中，所述节点芯片组通过所述首节点芯片上的外部接口接收数据处理任务，所述节点芯片组中的一个以上节点芯片通过所述多个计算单元对所述数据处理任务进行处理，并通过所述外部接口返回数据处理结果；
所述节点芯片上设置有串行器/解串器SERDES接口；相邻节点芯片之间具体通过SERDES接口，采用SERDES通信通道进行通信连接；
或者
所述节点芯片上设置有总线和接口标准PCIE接口；相邻节点芯片之间具体通过PCIE接口，采用PCIE通信通道进行通信连接；
所述数据处理任务包括深度神经网络DNN的数据处理任务；
每个节点芯片中的多个计算单元被分为不同的计算单元组；
所述节点芯片组具体通过一个节点芯片对所述数据处理任务进行处理；
所述一个节点芯片对所述数据处理任务进行处理时，具体用于在下行通信方向接收数据处理任务，根据预先配置的执行策略，分别通过不同的计算单元组，依次对DNN中各个层或连续多个层的数据处理任务进行处理，并在得到处理结果数据后，通过上行通信通道将所述处理结果数据传输给所述外部接口。
2.根据权利要求1所述的数据处理装置，其特征在于，所述一个节点芯片具体为所述首节点芯片。
3.根据权利要求1所述的数据处理装置，其特征在于，所述节点芯片组具体通过下行通信方向的前M个节点芯片，分别根据预先配置的执行策略，依次对DNN中各个层的数据处理任务进行处理；其中，M的取值为小于或等于N的整数；
所述M个节点芯片中具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
4.根据权利要求1所述的数据处理装置，其特征在于，所述节点芯片组具体通过每个节点芯片，分别根据预先配置的执行策略，对DNN一个层的数据处理任务进行处理，并在得到处理结果数据后传输给下行通信方向的相邻节点芯片；
所述节点芯片组中下行通信方向的末节点芯片具体在得到处理结果数据后，依次通过上行通信通道将所述处理结果数据传输给所述首节点芯片。
5.根据权利要求1至4任意一项所述的数据处理装置，其特征在于，所述外部接口包括PCIE接口。
6.根据权利要求1至4任意一项所述的数据处理装置，其特征在于，还包括：
预先向所述节点芯片组中的各节点芯片配置执行策略。
7.根据权利要求1至4任意一项所述的数据处理装置，其特征在于，还包括N个分别与各节点芯片通信连接的存储单元。
8.根据权利要求5任意一项所述的数据处理装置，其特征在于，还包括N个分别与各节点芯片通信连接的存储单元。
9.根据权利要求6任意一项所述的数据处理装置，其特征在于，还包括N个分别与各节点芯片通信连接的存储单元。
10.根据权利要求7所述的数据处理装置，其特征在于，所述存储单元包括双倍速率同步动态随机存储器DDR、低功率双倍速率同步动态随机存储器LPDDR、图形双倍速率同步动态随机存储器GDDR、高带宽存储器HBM、或者混合存储立方体存储器HMC。
11.根据权利要求8或9所述的数据处理装置，其特征在于，所述存储单元包括双倍速率同步动态随机存储器DDR、低功率双倍速率同步动态随机存储器LPDDR、图形双倍速率同步动态随机存储器GDDR、高带宽存储器HBM、或者混合存储立方体存储器HMC。
12.一种服务器，包括主板，所述主板上具有一个以上卡槽，其特征在于，还包括一个以上如权利要求1至11任意一项所述的数据处理装置，所述数据处理装置中的首节点芯片以插接方式插入主板上的卡槽中时，首节点芯片通过外部接口与主板进行数据交互。
13.根据权利要求12所述的服务器，其特征在于，所述首节点芯片的外部接口为总线和接口标准PCIE接口时，所述卡槽具体为PCIE插槽。
14.根据权利要求12或13所述的服务器，其特征在于，还包括与主板连接的、用于与其他服务器进行数据交互的外部通信接口。
15.根据权利要求14所述的服务器，其特征在于，所述外部通信接口包括以太网接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610312586.4A CN105760324B (zh) | 2016-05-11 | 2016-05-11 | 数据处理装置和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610312586.4A CN105760324B (zh) | 2016-05-11 | 2016-05-11 | 数据处理装置和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105760324A CN105760324A (zh) | 2016-07-13 |
| CN105760324B true CN105760324B (zh) | 2019-11-15 |
Family
ID=56323969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610312586.4A Active CN105760324B (zh) | 2016-05-11 | 2016-05-11 | 数据处理装置和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105760324B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256643A (zh) * | 2016-12-29 | 2018-07-06 | 上海寒武纪信息科技有限公司 | 一种基于hmc的神经网络运算装置和方法 |
| CN106776461A (zh) * | 2017-01-13 | 2017-05-31 | 算丰科技（北京）有限公司 | 数据处理装置和服务器 |
| CN109150808B (zh) * | 2017-06-19 | 2021-11-09 | 华为技术有限公司 | 通信方法、装置和系统 |
| CN109784125A (zh) * | 2017-11-10 | 2019-05-21 | 福州瑞芯微电子股份有限公司 | 深度学习网络处理装置、方法及图像处理单元 |
| CN109840140A (zh) * | 2017-11-28 | 2019-06-04 | 北京比特大陆科技有限公司 | 一种运算系统及相应的电子设备 |
| CN108255756B (zh) * | 2017-12-12 | 2020-06-19 | 深圳比特微电子科技有限公司 | 一种多芯片串联通信系统 |
| CN108304924B (zh) * | 2017-12-21 | 2021-10-12 | 内蒙古工业大学 | 一种深度置信网的流水线式预训练方法 |
| CN109947556A (zh) * | 2017-12-21 | 2019-06-28 | 北京比特大陆科技有限公司 | 任务分配方法 |
| CN109947605A (zh) * | 2017-12-21 | 2019-06-28 | 北京比特大陆科技有限公司 | 故障诊断方法 |
| CN109947555A (zh) * | 2017-12-21 | 2019-06-28 | 北京比特大陆科技有限公司 | 数据处理装置、数据发送方法及计算设备 |
| CN108388532A (zh) * | 2018-03-13 | 2018-08-10 | 算丰科技（北京）有限公司 | 可配置硬件算力的ai运算加速板卡及其处理方法、服务器 |
| CN108304341A (zh) * | 2018-03-13 | 2018-07-20 | 算丰科技（北京）有限公司 | Ai芯片高速传输架构、ai运算板卡及服务器 |
| CN109101451A (zh) * | 2018-07-12 | 2018-12-28 | 比飞力（深圳）科技有限公司 | 芯片串联电路、计算设备及通信方法 |
| CN109062856B (zh) * | 2018-07-17 | 2021-09-21 | 北京比特大陆科技有限公司 | 计算处理装置和方法、电子设备 |
| WO2020107460A1 (zh) * | 2018-11-30 | 2020-06-04 | 北京比特大陆科技有限公司 | 运算方法、芯片、系统、可读存储介质及计算机程序产品 |
| CN109684256A (zh) * | 2018-12-21 | 2019-04-26 | 联想(北京)有限公司 | 服务器及数据传输方法 |
| CN109889305B (zh) * | 2018-12-29 | 2022-05-03 | 惠州市蓝微电子有限公司 | 通信帧转发方法、通信节点、多节点通信方法及装置 |
| CN111382857B (zh) * | 2018-12-29 | 2023-07-18 | 上海寒武纪信息科技有限公司 | 任务处理装置、神经网络处理器芯片、组合装置以及电子设备 |
| CN114088224B (zh) * | 2021-11-22 | 2024-04-05 | 上海聪链信息科技有限公司 | 计算板芯片温度监测系统 |
| CN117632825B (zh) * | 2024-01-25 | 2024-04-09 | 南京仁芯科技有限公司 | 一种多路复用通信系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103680496A (zh) * | 2013-12-19 | 2014-03-26 | 百度在线网络技术（北京）有限公司 | 基于深层神经网络的声学模型训练方法、主机和系统 |
| CN104915917A (zh) * | 2015-06-01 | 2015-09-16 | 浪潮电子信息产业股份有限公司 | 一种GPU机箱、PCIe交换装置以及服务器系统 |
-
2016
- 2016-05-11 CN CN201610312586.4A patent/CN105760324B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103680496A (zh) * | 2013-12-19 | 2014-03-26 | 百度在线网络技术（北京）有限公司 | 基于深层神经网络的声学模型训练方法、主机和系统 |
| CN104915917A (zh) * | 2015-06-01 | 2015-09-16 | 浪潮电子信息产业股份有限公司 | 一种GPU机箱、PCIe交换装置以及服务器系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105760324A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105760324B (zh) | 数据处理装置和服务器 | |
| CN105956659B (zh) | 数据处理装置和系统、服务器 | |
| US10606787B2 (en) | Methods and apparatuses for providing data received by a state machine engine | |
| CN109219821B (zh) | 运算装置和方法 | |
| US11392740B2 (en) | Dataflow function offload to reconfigurable processors | |
| CN106776461A (zh) | 数据处理装置和服务器 | |
| US20060117126A1 (en) | Processing unit for efficiently determining a packet's destination in a packet-switched network | |
| CN108510064A (zh) | 包括多个核心处理模块的人工神经网络的处理系统及方法 | |
| CN205983537U (zh) | 数据处理装置和系统、服务器 | |
| US20140369347A1 (en) | Increasing radixes of digital data switches, communications switches, and related components and methods | |
| CN209149287U (zh) | 大数据运算加速系统 | |
| Dorta et al. | AER-SRT: Scalable spike distribution by means of synchronous serial ring topology address event representation | |
| WO2022133047A1 (en) | Dataflow function offload to reconfigurable processors | |
| CN205827367U (zh) | 数据处理装置和服务器 | |
| CN209560543U (zh) | 大数据运算芯片 | |
| CN110413564A (zh) | Ai训练推理服务器、系统和方法 | |
| KR100947446B1 (ko) | Ｖｌｉｗ 프로세서 | |
| CN206400534U (zh) | 数据处理装置和服务器 | |
| CN209543343U (zh) | 大数据运算加速系统 | |
| CN116991483B (zh) | 一种针对语言模型计算的流水线并行方法及装置 | |
| US10990408B1 (en) | Place and route aware data pipelining | |
| US11934337B2 (en) | Chip and multi-chip system as well as electronic device and data transmission method | |
| RU2686017C1 (ru) | Реконфигурируемый вычислительный модуль | |
| CN112740192B (zh) | 大数据运算加速系统及数据传输方法 | |
| Paulson | The ins and outs of new local I/O trends |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170831 Address after: 100029 Beijing city Haidian District Baosheng Road No. 1 Building No. 25 hospital three layer 301 Applicant after: Feng Feng Technology (Beijing) Co., Ltd. Address before: 100029 Beijing, Haidian District North Austrian industrial base project, building 2, floor 6 Applicant before: BEIJING BITMAIN TECHNOLOGY CO., LTD. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190423 Address after: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing Applicant after: BEIJING BITMAIN TECHNOLOGY CO., LTD. Address before: 300029 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, 301 Applicant before: Feng Feng Technology (Beijing) Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210820 Address after: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301 Patentee after: SUANFENG TECHNOLOGY (BEIJING) Co.,Ltd. Address before: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing Patentee before: BITMAIN TECHNOLOGIES Inc. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220224 Address after: 100176 901, floor 9, building 8, courtyard 8, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone) Patentee after: Beijing suneng Technology Co.,Ltd. Address before: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301 Patentee before: SUANFENG TECHNOLOGY (BEIJING) CO.,LTD. |
|
| TR01 | Transfer of patent right |