CN111382117A - 发送装置、神经网络处理器芯片、组合装置以及电子设备 - Google Patents

Abstract

本申请涉及一种发送装置、神经网络处理器芯片、组合装置以及电子设备，所述装置包括：多个人工智能处理器(专用处理器可以包括多个人工智能处理器)和多通道内存之外，还可以包含其它配套部件。该配套部件包括但不限于：内存控制器、总线、接口。专用处理器通过接口与外部设备之间进行指令传输以及数据传输。

Description

发送装置、神经网络处理器芯片、组合装置以及电子设备

技术领域

本申请涉及人工智能技术领域，特别是涉及一种发送装置、神经网络处理器芯片、组合装置以及电子设备。

背景技术

随着人工智能技术的发展，主操作端已不能满足现有算法的计算需求，神经网络专用芯片营运而生。实践证明，人工智能计算任务相对于通用处理任务或图像处理任务而言，具有独特的数据结构、存储方式、计算模式等，因而可以设计专用集成电路为人工智能计算任务重新分配芯片计算资源，实现低功耗、低延迟、高吞吐率的计算。NPU(Neuralnetwork Processing Unit)是一种专用集成电路，可以实现人工智能计算任务，例如神经网络计算，其具有低功耗、高效能、小面积的特点。

根据摩尔定律和Dennard Scaling定律，单核高效能处理器的计算能力会因为物理因素的限制达到瓶颈。为了提高计算并行性，业界的芯片设计逐渐转向多核高效率处理器设计上。不仅如此，随着高性能计算机和数据中心的发展，越来越多的计算资源被集中起来，多芯片协同处理已是常态。为了实现基于NPU的高处理性能和高可扩展的AI处理系统，NPU芯片间需要支持高效的数据传输。

但是目前还没有一种装置能够支持NPU芯片间的数据传输。

发明内容

基于此，有必要针对上述技术问题，提供一种发送装置。

一种发送装置，所述发送装置设置于芯片中，所述装置包括：发送配置电路，发送控制电路以及发送端口电路；所述发送控制电路分别与所述发送配置电路、所述发送端口电路相连。

在其中一个实施例中，所述发送配置电路包括配置信息获取电路和配置信息解析电路；所述配置信息获取电路分别与所述配置信息解析电路、所述发送控制电路相连。

在其中一个实施例中，所述装置与存储器相连，其中，所述存储器与发送端口电路相连，所述存储用于存储待发送数据。

在其中一个实施例中，存储器包括：同步动态随机存取存储器或双倍速率同步动态随机存取存储器。

在其中一个实施例中，所述发送配置电路、所述发送控制电路分别与主操作端连接。

在其中一个实施例中，所述发送配置电路，发送控制电路以及发送端口电路之间的相连方式包括无线连接、电气连接。

在其中一个实施例中，所述发送配置电路中生成至少一条通信描述符。

在其中一个实施例中，所述发送描述符包括待发送数据的源地址、所述待发送数据的目的地址、所述待发送数据的偏移量以及所述待发送数据的数据块大小中的一种或几种。

一种神经网络处理器芯片，所述芯片包括如上所述的发送装置。

在其中一个实施例中，所述芯片还包括计算装置，所述发送装置与所述计算装置相连。

一种组合装置，所述组合装置包括多个上述的芯片，所述组合装置中的所述芯片两两相连。

在其中一个实施例中，所述组合装置中的上一芯片的发送端口电路与下一芯片中的接收装置相连。

在其中一个实施例中，所述组合装置中的上一芯片的发送端口电路与下一芯片中的接收装置通过高速串行扩展线路相连。

一种电子设备，所述电子设备包括如上述的神经网络处理器芯片。

上述发送装置，所述发送装置设置于芯片中，通过发送装置中的发送配置电路、发送控制电路以及发送端口电路之间的相互配合，实现了芯片之间的数据传输。

附图说明

图1为一个实施例中提供的一种通信系统示意图；

图2为一个实施例中提供的发送装置的内部结构图；

图3为一个实施例中提供的组合装置示意图；

图4为一个实施例提供的数据发送方法流程示意图；

图5为一个实施例提供的数据发送装置示意图；

图6为一个实施例中提供的板卡示意图；

图7为一个实施例中提供的主板示意图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，请一并参阅图1，提供了一种通信系统。如图1所述的通信系统包括：接收装置110，发送装置120，计算装置130，存储器140，所述计算装置130一端与接收装置110相连，另一端与发送装置120相连。具体地，所述接收装置110、所述发送装置120分别与所述存储器140相连。

在一个实施例中，请一并参阅图2，提供了发送装置120的内部结构图。发送装置120包括：发送配置电路121，发送控制电路123以及发送端口电路122；所述发送控制电路123分别与所述发送配置电路121、所述发送端口电路相连。

在其中一个实施例中，发送配置电路121包括配置信息获取电路1211和配置信息解析电路1212；所述配置信息获取电路1211分别与所述配置信息解析电路1212、所述发送控制电路123相连。所述发送装置120与存储器140相连，其中，所述存储器140分别与发送端口电路122、发送配置电路121相连，所述存储器140用于存储待发送数据和配置信息。可选地，配置信息解析电路生成的通信描述符存储于描述符缓存中。该描述符缓存位于发送装置内部。在其中一个实施例中，所述待发送数据和所述通信描述符对应存储。

在其中一个实施例中，所述发送配置电路121、所述发送控制电路123分别与主操作端150连接。具体地，发送配置电路从主操作端150获取发送配置信息，发送控制电路123从主操作端获取控制指令。

在其中一个实施例中，请一并参阅图3，提供了一种组合装置。所述组合装置包括多个神经网络处理芯片200，且所述神经网络处理芯片200之间依次相连。其中，神经网络处理芯片之间可以任意两个芯片之间都相连，还可以相邻的两个芯片之间相连。

在其中一个实施例中，每个所述神经网络处理芯片都与主操作端150相连。在其中一个实施例中，每个神经网络处理芯片中包括如图1所示的通信系统100，所述通信系统100包括接收装置110、发送装置120、计算装置130以及存储器140。

在其中一个实施例中，提供了一种电子设备，所述电子设备包括神经网络处理芯片200。其中，所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。

其中，上述任一实施例中的元件之间的连接关系，可以是电连接或无线连接。

在一个实施例中，请一并参阅图4，提供了一种数据发送方法，本申请提供的数据发送方法，可以应用于如图1-3所示的装置中，所述接收方法包括：

步骤S710，获取通信配置信息队列和待发送数据。其中所述通信配置信息队列为对芯片与芯片之间传输进行配置的信息队列。其中待发送数据可以是上述实施例中的通信数据、计算结果还可以是其他需要进行发送的数据。

步骤S720，对所述通信配置信息队列中的至少一条通信配置信息进行解析，得到对应的通信描述符。其中所述通信描述符为描述发送方法所经过过程的信息。其中，通信配置信息队列包含至少一条通信配置信息。具体地，当通信配置队列中存在多个通信配置信息时，分别对通信配置信息进行解析，得到对应于通信配置信息的通信描述符。

步骤S730，根据所述通信描述符，发送所述待发送数据。

在一个实施例中，步骤S710，所述获取通信配置信息队列和待发送数据包括：

步骤S711，检测存储空间中所述待发送数据是否完整。具体地，待发送数据是否完整是指待发送数据在数据量，数据大小是否与预设描述相符。

在其中一个实施例中，步骤S711，所述检测存储空间中的通信配置信息和所述待发送数据是否完整包括：

步骤S7111，获取地址选择信号。具体的，地址选择信号是指能够反映待发送数据是否完整和准确的信号。

步骤S7112,判断所述地址选择信号是否有效。步骤S7113，若所述地址选择信号有效，则确定所述存储空间中的所述通信配置信息和所述待发送数据完整。在其中一个实施例中，若地址选择信号无效，则确定待发送数据不完整。

步骤S712，若所述存储空间中的所述待发送数据完整，则获取所述通信配置信息队列和所述待发送数据。通过本实施中的方法，能够保证待传输数据的准确性。

在一个实施例中，步骤S720，所述对所述通信配置信息队列中的至少一条通信配置信息进行解析，分别得到对应的通信描述符包括：

步骤S721，获取发送控制指令。具体地，当发送模式为普通发送模式时，从主操作端获取发送控制指令；当发送模式为硬件加速模式时，从计算装置获取发送控制指令。可以理解地，主操作端在芯片内部，计算装置在芯片内部。当从计算装置中获取发送指令时，进行的是芯片内部传输提高了传输速度。

步骤S722,根据所述发送控制指令，按预设规则在所述配置信息队列中读取至少一条所述通信配置信息。具体地，预设规则是预先设置好的读取规则，可以是按照配置信息在配置信息队列中的存放顺序进行读取，也可以按照其他预定规则进行读取。

步骤S723，对至少一条所述通信配置信息进行解析，分别得到对应的所述通信描述符。在其中一个实施例中，给每条通信描述符分配通信描述符标识；

根据所述通信描述符标识，读取对应的通信描述符。具体地，不同的通信描述符通过各自的通信描述符区分。在其中一个实施例中，多个通信描述符中的最后一个被读取的通信描述符有通信描述符标识E。当读取到该通信描述符标识E时，表示该多个通信描述符已全部读取完成。

在一个实施例中，所述发送方法还包括：根据所述通信描述符，得到发送模式符；根据所述发送模式符，得到所述发送方法为普通发送模式还是硬件加速发送模式。例如，根据通信描述符，生成发送模式符Type1，当Type1＝0表示普通数据传输，当Type1＝2表示硬件加速传输。在另一个实施例中，当Type1＝1时，表示芯片与主操作端的通信。其中，普通数据传输是指芯片与芯片之间的数据传输，且发送控制指令来自于主操作端。其中，硬件加速传输是指芯片与芯片之间的数据传输，且发送控制指令来自芯片内部的计算装置。

在一个实施例中，所述方法还包括：

步骤S740，对每条所述通信描述符和每条所述通信描述符对应的所述待发送数据进行打包，得到传输数据包。具体地，传输数据包包括将每条通信描述符和每条通信描述符对应的待发送数据进行压缩，得到的压缩包。

步骤S750，获取待发送数据的目标发送芯片的标识信息。具体地，在开始传输任务时，分别为每个芯片分配各自的标识信息。根据目标发送芯片的标识信息，能够准确定位目标发送芯片。

步骤S760，根据所述标识信息，发送所述传输数据包。

应该理解的是，虽然图4流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，请一并参阅图5，提供了一种数据发送装置，所述装置包括：

获取模块701，用于获取通信配置信息队列和待发送数据；

解析模块702，用于对所述通信配置信息队列中的至少一条通信配置信息进行解析，分别得到对应的通信描述符；

数据发送模块703，用于根据所述通信描述符，发送所述待发送数据。

关于数据发送装置的具体限定可以参见上文中对于数据发送方法的限定，在此不再赘述。上述数据接收装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，本申请还提供一种板卡，该板卡应用于数据通信方法中，该板卡可以包括：多个人工智能处理器，多个人工智能处理器对应的内存为多通道内存；其中，目标人工智能处理器用于在通过目标并行线程接收CPU发出的人工智能处理器计算指令后，通过与所述目标并行线程对应的内存通道，根据所述人工智能处理器计算指令对所述内存通道对应的物理内存进行访问；所述目标人工智能处理器为所述多个人工智能处理器中的任一人工智能处理器，所述目标并行线程为所述CPU启动的多个并行线程中的任一个；所述多个并行线程中至少有两个线程对应不同的内存通道。

参见图6所示，上述板卡除了包括上述多个人工智能处理器411(专用处理器41可以包括多个人工智能处理器411)和多通道内存42之外，还可以包含其它配套部件。该配套部件包括但不限于：内存控制器43、总线、接口44。专用处理器41通过接口44与外部设备之间进行指令传输以及数据传输。可选的，外部设备可以为主操作端(CPU)。

本实施例提供的板卡，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，本申请还提供一种主板，应用于神经网络数据处理方法中，如图7所示，该主板包括：主操作端和上述实施例提供的板卡。

本实施例提供的主板，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，提供一种电子设备，该电子设备应用于数据通信方法中，该电子设备包括如图7所示的主板。该主板包括CPU和板卡，板卡包括多个人工智能处理器，多个人工智能处理器对应的内存为多通道内存；其中，目标人工智能处理器用于在通过目标并行线程接收主操作端CPU发出的人工智能处理器计算指令后，通过与所述目标并行线程对应的内存通道，根据所述人工智能处理器计算指令对所述内存通道对应的物理内存进行访问；所述目标人工智能处理器为所述多个人工智能处理器中的任一人工智能处理器，所述目标并行线程为所述CPU启动的多个并行线程中的任一个；所述多个并行线程中至少有两个线程对应不同的内存通道。

可选的，电子设备可以包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储通信配置信息或通信描述符。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据通信方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以上任一实施例所述方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种发送装置，其特征在于，所述发送装置设置于芯片中，所述装置包括：发送配置电路，发送控制电路以及发送端口电路；所述发送控制电路分别与所述发送配置电路、所述发送端口电路相连。

2.根据权利要求1所述的装置，其特征在于，所述发送配置电路包括配置信息获取电路和配置信息解析电路；所述配置信息获取电路分别与所述配置信息解析电路、所述发送控制电路相连。

3.根据权利要求2所述的装置，其特征在于，所述装置与存储器、相连，其中，所述存储器与发送端口电路相连，所述存储器用于存储待发送数据。

4.根据权利要求3所述的装置，其特征在于，存储器包括：同步动态随机存取存储器或双倍速率同步动态随机存取存储器。

5.根据权利要求1所述的装置，其特征在于，所述发送配置电路、所述发送控制电路分别与主操作端连接。

6.根据权利要求1所述的装置，其特征在于，所述发送配置电路，发送控制电路以及发送端口电路之间的相连方式包括无线连接、电气连接。

7.根据权利要求1所述的装置，其特征在于，所述发送配置电路中生成至少一条通信描述符。

8.根据权利要求1任意一项所述的装置，其特征在于，所述发送描述符包括待发送数据的源地址、所述待发送数据的目的地址、所述待发送数据的偏移量以及所述待发送数据的数据块大小中的一种或几种。

9.一种神经网络处理器芯片，其特征在于，所述芯片包括如权利要求1中所述的发送装置。

10.根据权利要求9所述的芯片，其特征在于，所述芯片还包括计算装置，所述发送装置与所述计算装置相连。

11.一种组合装置，其特征在于，所述组合装置包括多个如权利要求5所述的芯片，所述组合装置中的所述芯片两两相连。

12.根据权利要求11所述的组合装置，其特征在于，所述组合装置中的上一芯片的发送端口电路与下一芯片中的接收装置相连。

13.根据权利要求12所述的组合装置，其特征在于，所述组合装置中的上一芯片的发送端口电路与下一芯片中的接收装置通过高速串行扩展线路相连。

14.一种电子设备，其特征在于，所述电子设备包括如所述权利要求9所述的神经网络处理器芯片。

Images