CN109670578A - 神经网络首层卷积层数据处理方法、装置及计算机设备 - Google Patents

Abstract

本申请提供一种神经网络首层卷积层数据处理方法、装置及计算机设备，神经网络首层卷积层只需要调用一次神经网络首层卷积层数据处理方法，就可以实现对原始图像数据进行首层卷积处理，减少了实现一次首层卷积处理调用算子的数量。

Description

神经网络首层卷积层数据处理方法、装置及计算机设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种神经网络首层卷积层数据处理方法、装置及计算机设备。

背景技术

随着数字电子技术的不断发展，各类人工智能(Artificial Intelligence，AI)芯片的快速发展对于高性能数据处理系统的要求也越来越高。神经网络算法作为智能芯片广泛应用的算法之一，利用神经网络进行图像处理也被广泛应用。

通常，神经网络可以采用卷积算法，在中央处理单元(CPU)上对图像数据进行首层卷积处理。但是，传统的卷积算法对原始图像数据进行首层卷积处理的完整性较差，导致首层卷积处理过程中需要调用算子的数量较多，影响处理效率。

发明内容

基于此，有必要针对上述技术问题，提供一种神经网络首层卷积层数据处理方法、装置及计算机设备。

本发明实施例提供一种神经网络首层卷积层数据处理方法，所述方法包括：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

在其中一个实施例中，所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据之前，所述方法还包括：

所述首层卷积层判断是否需要对所述待处理数据进行预处理；

若需要，则所述首层卷积层根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

在其中一个实施例中，所述方法还包括：

若不需要，则所述首层卷积层将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

在其中一个实施例中，所述预处理参数包括第一预处理参数以及第二预处理参数；所述首层卷积层根据所述预处理参数，对待处理数据进行预处理，得到第一数据，包括：

所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果；

所述首层卷积层根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

在其中一个实施例中，所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果，包括：

所述首层卷积层获取均值，所述均值根据所述神经网络的训练数据训练得到；

所述首层卷积层对所述待处理数据与所述均值进行减法运算，得到所述第一运算结果。

在其中一个实施例中，所述根据所述第二预处理参数对所述第一运算结果进行第二运算，得到所述第一数据，包括：

所述首层卷积层获取标准差，所述标准差根据所述神经网络的训练数据训练得到；

所述首层卷积层对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

在其中一个实施例中，所述卷积参数包括卷积核和偏置，所述首层卷积层根据所述卷积参数，对所述第一数据进行卷积运算，得到卷积运算结果，包括：

所述首层卷积层对所述第一数据与所述卷积核以及所述偏置进行卷积运算，得到卷积运算结果。

本发明实施例提供一种神经网络首层卷积层数据处理装置，所述神经网络首层卷积层数据处理装置应用于神经网络首层卷积层，所述神经网络首层卷积层数据处理装置包括：获取模块、预处理模块以及卷积运算模块；

其中，所述获取模块，用于获取待处理数据，所述待处理数据包括原始图像数据；

所述预处理模块，用于根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述卷积运算模块，用于根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

在其中一个实施例中，所述装置还包括：判断模块以及第一确定模块；

其中，所述判断模块，用于判断是否需要对所述待处理数据进行预处理；

所述第一确定模块，用于所述判断模块判断需要时，则所述首层卷积层根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

在其中一个实施例中，所述装置还包括第二确定模块；

其中，所述第二确定模块，用于所述判断模块判断不需要对所述待处理数据进行预处理时，则将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

在其中一个实施例中，所述预处理参数包括第一预处理参数以及第二预处理参数；所述预处理模块包括：第一运算单元以及第二运算单元；

其中，所述第一运算单元，用于根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果。

所述第二运算单元，用于根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

在其中一个实施例中，所述第一运算单元包括：第一获取子单元以及减法运算子单元；

所述第一获取子单元，用于获取均值，所述均值根据所述神经网络的训练数据训练得到；

所述减法运算子单元，用于对所述待处理数据与所述均值进行减法运算，得到所述第一运算结果。

在其中一个实施例中，所述第二运算单元包括：第二获取子单元以及除法运算子单元；

其中，所述第二获取子单元，用于获取标准差，所述标准差根据所述神经网络的训练数据训练得到；

所述除法运算子单元，用于对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

在其中一个实施例中，所述卷积运算模块，具体用于对所述第一数据与所述卷积核以及所述偏置进行卷积运算，得到卷积运算结果。

本发明实施例提供一种计算机设备，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

本发明实施例提供的一种可读存储介质，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

本实施例提供的神经网络首层卷积层数据处理方法、装置及计算机设备，所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据，所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据，所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果，计算机设备只需要调用一次该方法就可以实现对原始图像数据进行首层卷积处理，从而减少实现一次首层卷积处理调用算子的数量。

本发明实施例提供的一种机器学习运算装置，该机器学习运算装置包括一个或者多个所述的神经网络首层卷积层数据处理装置；该机器学习运算装置用于从其它处理装置中获取待运算数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其它处理装置；

当所述机器学习运算装置包含多个所述神经网络首层卷积层数据处理装置时，所述多个所述神经网络首层卷积层数据处理装置间可以通过特定的结构进行链接并传输数据；

其中，多个所述神经网络首层卷积层数据处理装置通过PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述神经网络首层卷积层数据处理装置共享同一控制系统或拥有各自的控制系统；多个所述数据处理装置共享内存或者拥有各自的内存；多个所述神经网络首层卷积层数据处理装置的互联方式是任意互联拓扑。

本发明实施例提供的一种组合处理装置，该组合处理装置包括如所述的机器学习处理装置、通用互联接口，和其它处理装置；该机器学习运算装置与上述其它处理装置进行交互，共同完成用户指定的操作；该组合处理装置还可以包括存储装置，该存储装置分别与所述机器学习运算装置和所述其它处理装置连接，用于保存所述机器学习运算装置和所述其它处理装置的数据。

本发明实施例提供的一种神经网络芯片，该神经网络芯片包括上述所述的神经网络首层卷积层数据处理装置、上述所述的机器学习运算装置或者上述所述的组合处理装置。

本发明实施例提供的一种神经网络芯片封装结构，该神经网络芯片封装结构包括上述所述的神经网络芯片。

本发明实施例提供的一种板卡，该板卡包括上述所述的神经网络芯片封装结构。

本发明实施例提供了一种电子装置，该电子装置包括上述所述的神经网络芯片或者上述所述的板卡。

本发明实施例提供的一种芯片，包括至少一个如上述任一项所述的神经网络首层卷积层数据处理装置。

本发明实施例提供的一种电子设备，包括如所述的芯片。

附图说明

图1为一个实施例提供的神经网络首层卷积层数据处理方法的流程示意图；

图2为另一个实施例提供的数据预处理的方法流程示意图；

图3为一实施例提供的神经网络首层卷积层数据处理装置结构示意图；

图4为一实施例提供的神经网络首层卷积层数据处理装置的具体结构示意图；

图5为一个实施例提供的计算机设备内部结构示意图；

图6为一实施例提供的一种组合处理装置的结构图；

图7为一实施例提供的另一种组合处理装置的结构图；

图8为一实施例提供的一种板卡的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的神经网络首层卷积层数据处理方法可应用于AI芯片、现场可编程门阵列FPGA(Field－Programmable Gate Array，FPGA)芯片、或者是其它的硬件电路设备中对原始图像数据进行卷积运算。

需要说明的是，本公开实施例提供的神经网络首层卷积层数据处理方法，其执行主体可以是神经网络首层卷积层数据处理装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示为一实施例提供的一种神经网络首层卷积层数据处理方法的流程示意图，本实施例涉及的是对数据进行卷积运算的过程。如图1所示，该方法包括：

S101、所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据。

具体的，神经网络的首层卷积层可以获取待处理数据，该待处理数据可以理解为未经过预处理的原始图像数据，并且也可以为训练神经网络，或者推理神经网络输入的神经元数据。

S102、所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据。

具体的，上述预处理参数可以为算术运算参数。可选的，预处理可以为算术运算处理。例如，神经网络在处理图片时，通常对原始图像数据进行预处理，对原始图像数据进行归一化，可以提高神经网络的处理效率及处理结果的准确率。

S103、所述首层卷积层根据卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

具体的，神经网络的首层卷积层可以根据卷积参数对第一数据进行卷积处理，得到卷积运算结果。可选的，卷积处理可以提取图像数据中的卷积特征。

本实施例提供的一种神经网络首层卷积层数据处理方法，所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据，所述首层卷积层根据预处理参数对所述待处理数据进行预处理，得到第一数据，所述首层卷积层根据卷积参数对所述第一数据进行卷积处理，得到卷积运算结果，神经网络的首层卷积层只需要调用一次该方法，就可以实现对原始图像数据进行首层卷积运算，减少了实现一次首层卷积运算调用算子的数量。

在其中一个实施例中，上述S102中所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据之前，所述方法还包括：

S104、所述首层卷积层判断是否需要对所述待处理数据进行预处理。

需要说明的是，神经网络的首层卷积层可以根据需求，确定对待处理数据是否需要进行预处理。若需求，则神经网络的首层卷积层可以对该待处理数据进行预处理，否则，神经网络的首层卷积层不需要对待处理数据进行预处理。

S105、若需要，则所述首层卷积层根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

具体的，若神经网络的首层卷积层根据需求，确定对待处理数据需要进行预处理，则神经网络的首层卷积层可以执行S102的步骤。

可选的，上述S104中所述首层卷积层判断是否需要对所述待处理数据进行预处理之后，所述方法还包括：若不需要对所述待处理数据进行预处理，则所述首层卷积层将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

需要说明的是，若神经网络的首层卷积层判断对待处理数据不需要进行预处理，则神经网络的首层卷积层可以将待处理数据作为第一数据，直接执行S103的步骤。还可以理解为，若神经网络的首层卷积层不需要对待处理数据进行预处理时，则神经网络的首层卷积层可以将预处理参数设置为零值，对待处理数据进行预处理后得到第一数据，并根据卷积参数对第一数据进行卷积处理得到卷积运算结果，此时，第一数据可以等于待处理数据。

可选的，首层卷积层可以通过读取预设的标志位的方式，判断是否需要对待处理数据需要进行预处理。例如，标志位可以为“0”或“1”，“0”为不需要，“1”为需要。可选的，使用者可以根据需求设置标志位，首层卷积层可以通过读取标志位，判断是否需要对待处理数据进行预处理。

本实施例提供的一种神经网络首层卷积层数据处理方法，神经网络的首层卷积层判断是否需要对所述待处理数据进行预处理，若需要，则所述首层卷积层根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据，神经网络的首层卷积层只需要调用一次该方法，就可以实现对原始图像数据进行首层卷积运算，减少了实现一次首层卷积运算调用算子的数量；另外，如果神经网络的首层卷积层不需要对待处理数据进行预处理，则可以减少神经网络的运算量，提高神经网络的处理效率。

图2为又一个实施例提供的神经网络首层卷积层数据处理方法的流程示意图。上述预处理参数包括第一预处理参数以及第二预处理参数，如图2所示，上述S102中所述首层卷积层根据所述预处理参数对待处理数据进行预处理，得到第一数据，包括：

S1021、所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果。

可选的，上述S1021中所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果，包括：所述首层卷积层获取均值，所述均值根据所述神经网络的训练数据训练得到；对所述待处理数据与所述均值进行减法运算，得到第一运算结果。

具体的，上述第一预处理参数可以为根据神经网络的训练数据训练得到的均值，第一运算可以为减法运算。可选的，神经网络的首层卷积层可以调用减法算子，对待处理数据与获得的均值进行减法运算，得到减法运算结果，也就是第一运算结果。可选的，神经网络的首层卷积层可以对上述待处理数据执行减法运算。

S1022、所述首层卷积层根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

可选的，上述S1022中所述首层卷积层根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据，包括：所述首层卷积层获取标准差，所述标准差根据所述神经网络的训练数据训练得到；对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

具体的，上述第二预处理参数可以为根据神经网络的训练数据训练得到的标准差，第二运算可以为除法运算。可选的，神经网络的首层卷积层可以调用除法算子，对减法运算结果与获得的标准差进行除法运算，得到除法运算结果，该除法运算结果也就是第一数据。可选的，神经网络的首层卷积层可以继续对上述第一运算结果执行除法运算。

或者，若不需要对待处理数据进行预处理，也就是说，神经网络的首层卷积层不需要对待处理数据进行减法运算以及除法运算，则神经网络的首层卷积层可以将第一预处理参数，以及第二预处理参数(即标准差)均设置为零值，对待处理数据进行第一运算以及第二运算，得到第一数据，此时，该第一数据也可以等于待处理数据。

本实施例提供的一种神经网络首层卷积层数据处理方法，所述首层卷积层根据所述第一预处理参数对所述待处理数据进行第一运算，得到第一运算结果，并根据所述第二预处理参数对所述第一运算结果进行第二运算，得到所述第一数据，进而对第一数据进行卷积处理，得到卷积运算结果，神经网络的首层卷积层只需要调用一次该方法就可以实现对原始图像数据进行首层卷积处理，减少了实现一次首层卷积处理调用算子的数量。

作为其中一个实施例，所述卷积参数包括卷积核和偏置，上述S103中所述首层卷积层根据所述卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果，包括：所述首层卷积层对所述第一数据与所述卷积核以及所述偏置进行卷积处理，得到卷积运算结果。

具体的，神经网络的首层卷积层对原始图像数据进行首层卷积处理过程中，可以调用乘法算子对第一数据与卷积核进行乘法运算，得到乘法运算结果，并调用加法算子，对乘法运算结果与偏置数据进行加法运算，得到卷积运算结果。

需要说明的是，若不需要对待处理数据进行预处理，则神经网络的首层卷积层可以将预处理参数设置为零值，通过所设置预处理参数的数值“0”对待处理数据进行预处理后，得到第一数据，再对第一数据进行卷积处理，得到卷积运算结果，从而实现不对待处理数据进行预处理的目的。可选的，上述卷积运算结果可以为神经网络，或者推理神经网络实际输入的数据。

本实施例提供的一种神经网络首层卷积层数据处理方法，所述首层卷积层对所述第一数据与所述卷积核以及所述偏置进行卷积处理，得到卷积运算结果，神经网络的首层卷积层只需要调用一次该方法，就可以实现对原始图像数据进行首层卷积处理，减少了实现一次首层卷积处理调用算子的数量。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

关于神经网络首层卷积层数据处理装置的具体限定可以参见上文中，对于神经网络首层卷积层数据处理方法的限定，在此不再赘述。上述神经网络首层卷积层数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于神经网络首层卷积层数据处理装置中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图3为一实施例提供的神经网络首层卷积层数据处理装置结构示意图。所述神经网络首层卷积层数据处理装置应用于神经网络首层卷积层，如图3所示，所述神经网络首层卷积层数据处理装置可以包括：获取模块11、预处理模块12以及卷积处理模块13；

具体的，所述获取模块11，用于获取待处理数据，所述待处理数据包括原始图像数据；

所述预处理模块12，用于根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述卷积处理模块13，用于根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，所述数据处理装置还包括：判断模块14和第一确定模块15；

具体的，所述判断模块14，用于判断是否需要对所述待处理数据进行预处理；

所述第一确定模块15，用于所述判断模块14判断需要时，则根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，所述数据处理装置还包括：第二确定模块16；

具体的，所述第二确定模块16，用于所述判断模块14判断不需要对所述待处理数据进行预处理时，则将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图4为另一个实施例提供的神经网络首层卷积层数据处理装置的结构示意图。所述预处理参数包括第一预处理参数以及第二预处理参数，如图4所示，所述预处理模块12具体包括：第一运算单元121以及第二运算单元122；

具体的，所述第一运算单元121，用于根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果；

所述第二运算单元122，用于根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，所述第一运算单元121包括：第一获取子单元1211和减法运算子单元1212；

具体的，所述第一获取子单元1211，用于获取均值，所述均值根据所述神经网络的训练数据训练得到；

所述减法运算子单元1212，用于对所述待处理数据与所述均值进行减法运算，得到所述第一运算结果。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，所述第二运算单元122包括：第二获取子单元1221和除法运算子单元1222；

具体的，所述第二获取子单元1221，用于获取标准差，所述标准差根据所述神经网络的训练数据训练得到；

所述除法运算子单元1222，用于对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，所述卷积处理模块13，具体用于对所述第一数据与所述卷积核以及所述偏置进行卷积运算，得到卷积运算结果。

本实施例提供的神经网络首层卷积层数据处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本申请实施例还提供了一个机器学习运算装置，其包括一个或多个在本申请中提到的神经网络首层卷积层数据处理装置，用于从其它处理装置中获取待运算数据和控制信息，执行指定的机器学习运算，执行结果通过I/O接口传递给外围设备。外围设备譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口，服务器。当包含一个以上神经网络首层卷积层数据处理装置时，神经网络首层卷积层数据处理装置间可以通过特定的结构进行链接并传输数据，譬如，通过快速外部设备互连总线进行互联并传输数据，以支持更大规模的机器学习的运算。此时，可以共享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。

该机器学习运算装置具有较高的兼容性，可通过快速外部设备互连接口与各种类型的服务器相连接。

本申请实施例还提供了一个组合处理装置，其包括上述的机器学习运算装置，通用互联接口，和其它处理装置。机器学习运算装置与其它处理装置进行交互，共同完成用户指定的操作。图6为组合处理装置的示意图。

其它处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其它处理装置所包括的处理器数量不做限制。其它处理装置作为机器学习运算装置与外部数据和控制的接口，包括数据搬运，完成对本机器学习运算装置的开启、停止等基本控制；其它处理装置也可以和机器学习运算装置协作共同完成运算任务。

通用互联接口，用于在所述机器学习运算装置与其它处理装置间传输数据和控制指令。该机器学习运算装置从其它处理装置中获取所需的输入数据，写入机器学习运算装置片上的存储装置；可以从其它处理装置中获取控制指令，写入机器学习运算装置片上的控制缓存；也可以读取机器学习运算装置的存储模块中的数据并传输给其它处理装置。

可选的，该结构如图7所示，还可以包括存储装置，存储装置分别与所述机器学习运算装置和所述其它处理装置连接。存储装置用于保存在所述机器学习运算装置和所述其它处理装置的数据，尤其适用于所需要运算的数据在本机器学习运算装置或其它处理装置的内部存储中无法全部保存的数据。

该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。

在一些实施例里，还申请了一种芯片，其包括了上述机器学习运算装置或组合处理装置。

在一些实施例里，申请了一种芯片封装结构，其包括了上述芯片。

在一些实施例里，申请了一种板卡，其包括了上述芯片封装结构。如图8所示，图8提供了一种板卡，上述板卡除了包括上述芯片389以外，还可以包括其它的配套部件，该配套部件包括但不限于：存储器件390、接收装置391和控制器件392；

所述存储器件390与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。

DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。

在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。

所述接收装置与所述芯片封装结构内的芯片电连接。所述接收装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接收装置可以为标准快速外部设备互连接口。比如，待处理的数据由服务器通过标准快速外部设备互连接口传递至所述芯片，实现数据转移。优选的，当采用快速外部设备互连3.0X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接收装置还可以是其它的接口，本申请并不限制上述其它的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接收装置传送回外部设备(例如服务器)。

所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。

在一些实施例里，申请了一种电子设备，其包括了上述板卡。

电子设备可以为数据处理器、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。

所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的电路组合，但是本领域技术人员应该知悉，本申请并不受所描述的电路组合方式的限制，因为依据本申请，某些电路可以采用其它方式或者结构实现。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的器件和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种神经网络首层卷积层数据处理方法，其特征在于，所述方法包括：

所述首层卷积层获取待处理数据，所述待处理数据包括原始图像数据；

所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述首层卷积层根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

2.根据权利要求1所述的方法，其特征在于，所述首层卷积层根据预处理参数，对所述待处理数据进行预处理，得到第一数据之前，所述方法还包括：

所述首层卷积层判断是否需要对所述待处理数据进行预处理；

若需要，则所述首层卷积层根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若不需要，则所述首层卷积层将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

4.根据权利要求1所述的方法，其特征在于，所述预处理参数包括第一预处理参数以及第二预处理参数；所述首层卷积层根据所述预处理参数，对待处理数据进行预处理，得到第一数据，包括：

所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果；

所述首层卷积层根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

5.根据权利要求4所述的方法，其特征在于，所述首层卷积层根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果，包括：

所述首层卷积层获取均值，所述均值根据所述神经网络的训练数据训练得到；

所述首层卷积层对所述待处理数据与所述均值进行减法运算，得到所述第一运算结果。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第二预处理参数对所述第一运算结果进行第二运算，得到所述第一数据，包括：

所述首层卷积层获取标准差，所述标准差根据所述神经网络的训练数据训练得到；

所述首层卷积层对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

7.根据权利要求1所述的方法，其特征在于，所述卷积参数包括卷积核和偏置，所述首层卷积层根据所述卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果，包括：

所述首层卷积层对所述第一数据与所述卷积核以及所述偏置进行卷积处理，得到卷积运算结果。

8.一种神经网络首层卷积层数据处理装置，其特征在于，所述神经网络首层卷积层数据处理装置应用于神经网络首层卷积层，所述神经网络首层卷积层数据处理装置包括：获取模块、预处理模块以及卷积运算模块；

其中，所述获取模块，用于获取待处理数据，所述待处理数据包括原始图像数据；

所述预处理模块，用于根据预处理参数，对所述待处理数据进行预处理，得到第一数据；

所述卷积运算模块，用于根据卷积参数，对所述第一数据进行卷积处理，得到卷积运算结果。

9.根据权利要求8所述的数据处理装置，其特征在于，所述装置还包括：判断模块以及第一确定模块；

其中，所述判断模块，用于判断是否需要对所述待处理数据进行预处理；

所述第一确定模块，用于所述判断模块判断需要时，则根据所述预处理参数，对所述待处理数据进行预处理，得到第一数据。

10.根据权利要求8所述的数据处理装置，其特征在于，所述装置还包括第二确定模块；

其中，所述第二确定模块，用于所述判断模块判断不需要对所述待处理数据进行预处理时，则将所述待处理数据作为第一数据，并根据所述卷积参数对所述第一数据进行卷积处理，得到卷积运算结果。

11.根据权利要求8所述的数据处理装置，其特征在于，所述预处理参数包括第一预处理参数以及第二预处理参数；所述预处理模块包括：第一运算单元以及第二运算单元；

其中，所述第一运算单元，用于根据所述第一预处理参数，对所述待处理数据进行第一运算，得到第一运算结果；

所述第二运算单元，用于根据所述第二预处理参数，对所述第一运算结果进行第二运算，得到所述第一数据。

12.根据权利要求11所述的数据处理装置，其特征在于，所述第一运算单元包括：第一获取子单元以及减法运算子单元；

所述第一获取子单元，用于获取均值，所述均值根据所述神经网络的训练数据训练得到；

所述减法运算子单元，用于对所述待处理数据与所述均值进行减法运算，得到所述第一运算结果。

13.根据权利要求12所述的数据处理装置，其特征在于，所述第二运算单元包括：第二获取子单元以及除法运算子单元；

其中，所述第二获取子单元，用于获取标准差，所述标准差根据所述神经网络的训练数据训练得到；

所述除法运算子单元，用于对所述第一运算结果与所述标准差进行除法运算，得到所述第一数据。

14.根据权利要求8所述的数据处理装置，其特征在于，所述卷积运算模块，用于对所述第一数据与所述卷积核以及所述偏置进行卷积运算，得到卷积运算结果。

15.一种计算机设备，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

16.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

17.一种机器学习运算装置，其特征在于，所述机器学习运算装置包括一个或多个如权利要求8-14任一项所述的神经网络首层卷积层数据处理装置，用于从其它处理装置中获取待运算输入数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其它处理装置；

当所述机器学习运算装置包含多个所述神经网络首层卷积层数据处理装置时，所述多个所述计算装置间可以通过特定的结构进行连接并传输数据；

其中，多个所述数据处理装置通过PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述神经网络首层卷积层数据处理装置共享同一控制系统或拥有各自的控制系统；多个所述神经网络首层卷积层数据处理装置共享内存或者拥有各自的内存；多个所述神经网络首层卷积层数据处理装置的互联方式是任意互联拓扑。

18.一种组合处理装置，其特征在于，所述组合处理装置包括如权利要求17所述的机器学习运算装置，通用互联接口和其它处理装置；

所述机器学习运算装置与所述其它处理装置进行交互，共同完成用户指定的计算操作。

19.根据权利要求18所述的组合处理装置，其特征在于，还包括：存储装置，该存储装置分别与所述机器学习运算装置和所述其它处理装置连接，用于保存所述机器学习运算装置和所述其它处理装置的数据。

20.一种神经网络芯片，其特征在于，所述机器学习芯片包括如权利要求17所述的机器学习运算装置或如权利要求18所述的组合处理装置或如权利要求18所述的组合处理装置。

21.一种电子设备，其特征在于，所述电子设备包括如所述权利要求20所述的芯片。

22.一种板卡，其特征在于，所述板卡包括：存储器件、接收装置和控制器件以及如权利要求20所述的神经网络芯片；

其中，所述神经网络芯片与所述存储器件、所述控制器件以及所述接收装置分别连接；

所述存储器件，用于存储数据；

所述接收装置，用于实现所述芯片与外部设备之间的数据传输；

所述控制器件，用于对所述芯片的状态进行监控。

23.根据权利要求22所述的板卡，其特征在于，

所述存储器件包括：多组存储单元，每一组所述存储单元与所述芯片通过总线连接，所述存储单元为：DDR SDRAM；

所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；

所述接收装置为：标准PCIE接口。