CN111193916B - 运算方法 - Google Patents

Abstract

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

Description

运算方法

技术领域

本公开涉及人工智能技术领域，尤其涉及一种运算方法、装置及相关产品。

背景技术

在人工智能技术领域，深度学习技术目前在图像、视频处理领域已有较为广泛的应用，基于特定的数据集训练完成的神经网络，可以在分类和检测任务中达到较高的准确率。但是，由于受限于训练过程中使用的数据集和预处理工具，训练完成的神经网络通常仅能用在与训练集类型相同/数据格式一致的应用环境下，其可复用性不高。如果需要使用不同类型的输入数据，通常要进行重训练，或对输入数据进行预处理，导致网络预处理时间长，数据处理效率低。

发明内容

有鉴于此，本公开提出了一种运算方法、装置及相关产品，通过根据第一格式和第二格式调整Caffe图像处理模型的模型定义文件，以使根据调整后的模型定义文件生成的Caffe图像处理模型所支持的输入数据格式为第一格式，有效提高了Caffe图像处理模型的匹配度和复用性。

根据本公开的一方面，一种运算方法，其特征在于，所述方法应用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：

在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；

在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式。

在一种可能的实现方式中，所述第一格式和所述第二格式为三基色图像数据格式；

其中，根据所述第一格式及所述第二格式，调整所述模型定义文件，包括：

根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件。

在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序相同；

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

在所述模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序不同；

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在所述首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的所述首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同；

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同，且所述第二格式比所述第一格式多余的通道权重为零；

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整所述卷积核中剩余的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序相同，且所述第二格式比所述第一格式多余的通道权重为零；

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；

其中，根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：

在所述模型定义文件中添加第一数据转换层，所述第一数据转换层位于首层卷积层之前，用于将所述第一格式的输入图像数据转换为所述第二格式。

在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；

其中，根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：

在所述模型定义文件中添加第二数据转换层，所述第二数据转换层用于将所述第一格式的输入图像数据转换为第三格式；

根据所述第三格式，修改所述模型定义文件中的首层卷积层，以使所述首层卷积层支持所述第三格式的输入图像数据，

其中，所述第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。

在一种可能的实现方式中，所述第二数据转换层，位于所述Caffe图像处理模型的首层卷积层之前。

在一种可能的实现方式中，其中，根据所述第三格式，修改所述模型定义文件中的首层卷积层，包括：

调整所述首层卷积层对应的卷积核的通道顺序，并在所述卷积核中添加卷积核权重为零的卷积通道，以使调整后的所述首层卷积层所支持的输入数据为所述第三格式。

在一种可能的实现方式中，所述方法还包括：

在接收到所述待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；

将所述输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。

根据本公开的一方面，提供了一种运算装置，其特征在于，所述运算装置用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：

判断模块，用于在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；

调整模块，用于在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式。

在一种可能的实现方式中，所述第一格式和所述第二格式为三基色图像数据格式；

其中，所述调整模块，包括：

第一调整子模块，用于根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件。

在一种可能的实现方式中，所述第二格式的通道个数少于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序相同；

其中，所述第一调整子模块，包括：

第一调整单元，用于在所述模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，第二格式的通道个数少于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序不同；

其中，所述第一调整子模块，包括：

第二调整单元，用于调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在所述首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的所述首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同；

其中，所述第一调整子模块，包括：

第三调整单元，用于调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同，且所述第二格式比所述第一格式多余的通道权重为零；

其中，所述第一调整子模块，包括：

第三调整单元，用于将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整所述卷积核中剩余的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第二格式的通道个数大于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序相同，且所述第二格式比所述第一格式多余的通道权重为零；

其中，所述第一调整子模块，包括：

第四调整单元，用于将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；

其中，所述调整模块，包括：

第二调整子模块，用于在所述模型定义文件中添加第一数据转换层，所述第一数据转换层位于首层卷积层之前，用于将所述第一格式的输入图像数据转换为所述第二格式。

在一种可能的实现方式中，所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式；

其中，所述调整模块，包括：

第三调整子模块，用于在所述模型定义文件中添加第二数据转换层，所述第二数据转换层用于将所述第一格式的输入图像数据转换为第三格式；

第四调整子模块，用于根据所述第三格式，修改所述模型定义文件中的首层卷积层，以使所述首层卷积层支持所述第三格式的输入图像数据，

其中，所述第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。

在一种可能的实现方式中，所述第四调整子模块，包括：

第四调整单元，用于调整所述首层卷积层对应的卷积核的通道顺序，并在所述卷积核中添加卷积核权重为零的卷积通道，以使调整后的所述首层卷积层所支持的输入数据为所述第三格式。

在一种可能的实现方式中，还包括：

模型生成模块，用于在接收到所述待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；

输入处理模块，用于将所述输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。

根据本公开的另一方面，还提供了一种神经网络芯片，其特征在于，所述芯片包括如上任意一项所述的运算装置。

根据本公开的一方面，提供了一种电子设备，其特征在于，所述电子设备包括如上所述的神经网络芯片。

根据本公开的另一方面，还提供了一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及如上所述的神经网络芯片；

其中，所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；

所述存储器件，用于存储数据；

所述接口装置，用于实现所述神经网络芯片与外部设备之间的数据传输；

所述控制器件，用于对所述神经网络芯片的状态进行监控。

在一种可能的实现方式中，所述存储器件包括：多组存储单元，每一组所述存储单元与所述神经网络芯片通过总线连接，所述存储单元为：DDR SDRAM；

所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；

所述接口装置为：标准PCIE接口。

上述运算方法，在判断出待处理任务的输入图像数据的第一格式与Caffe 图像处理模型所支持的输入数据的第二格式不一致时，通过根据第一格式和第二格式调整Caffe图像处理模型的模型定义文件，以使根据调整后的模型定义文件生成的Caffe图像处理模型所支持的输入数据格式为第一格式。由此，当进行待处理任务的处理时，即使待处理任务的输入图像的数据格式与Caffe 图像处理模型所支持的输入数据格式不一致，其仍能够顺利写入根据调整后的模型定义文件生成的Caffe图像处理模型中，这就有效提高了Caffe图像处理模型的匹配度和复用性。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的运算方法的流程图；

图2a和图2b示出根据本公开一实施例的BGR模型的首层卷积层的示意图；

图3a和图3b示出根据本公开一实施例的输入图像数据的第一格式为 ARGB图像下卷积核的调整示意图；

图4示出根据本公开一实施例的输入图像数据的第一格式为YUV图像的处理流程的示意图；

图5示出根据本公开一实施例的运算方法的流程图；

图6示出根据本公开一实施例的运算装置的框图；

图7示出根据本公开一实施例的板卡的结构框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

请参阅图1，图1示出了根据本公开一实施例的运算方法的流程图。其中，需要说明的是，本公开一实施例的运算方法可应用于服务器或终端中。其包括：

步骤S100，在接收到待处理任务时，判断待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致。

步骤S200，在第一格式与第二格式不一致时，根据第一格式与第二格式，调整Caffe图像处理模型的模型定义文件，以使根据调整后的模型定义文件生成的Caffe图像处理模型所支持的输入数据为第一格式。

上述运算方法，在接收到的待处理任务的输入图像数据的第一格式与 Caffe图像处理模型所能够支持的输入数据的第二格式不一致时，在Caffe图像处理模型端，可以根据第一格式与第二格式对Caffe图像处理模型的模型定义文件进行调整，以代替在CPU端进行输入图像数据的格式转换和预处理的操作。本公开实施例不需要进行复杂的运算，也不需要占用大量的运算资源，有效提高了数据处理效率，节省了网络预处理时间。

其中，应当指出的是，在本公开上述一实施例中，Caffe图像处理模型可以为基于深度学习的卷积神经网络框架(Convolutional Architecture for Fast FeatureEmbedding，简称Caffe)。

同时，还需要指出的是，上述运算方法可以是在训练得到的卷积神经网络(即Caffe图像处理模型)上进行的。其中，本领域技术人员可以理解的是，用于生成Caffe图像处理模型的文件包括两个：一个为结构文件(Prototxt，简称pt)，也就是前面所述的模型定义文件；另一个则为权重文件(caffemodel)。上述运算方法中所调整的对象可以是存储在磁盘中的模型定义文件(pt)。

其通过对Caffe图像处理模型的模型定义文件进行调整，可以使得不论输入图像数据为何种格式，模型定义文件可以对应输入图像数据的具体数据格式进行相应的调整，进而根据调整后的模型定义文件生成相应的Caffe图像处理模型。本公开实施例中生成的Caffe图像处理模型能够顺序读取不同格式类型的输入图像数据，并对读取到的输入图像数据进行处理，有效提高了Caffe 图像处理模型的复用性和匹配度。

并且，本公开实施例提供的方法可以只对Caffe图像处理模型的模型定义文件进行调整，其相较于传统的在CPU端对输入图像进行数据转换和预处理的方式，不需要进行复杂的运算，也不需要占用大量的运算资源。并且相较于传统的在神经网络中使用数据拆分再合并的方式，本公开实施例提供的方法不需要加入额外计算的神经网络结构，不需要对网络结构进行手工调整，避免了较多的额外操作，最终有效提高了图像处理效率，节省了图像处理时间，降低了资源消耗。

进一步的，图像数据的表征通常包含有两种。一种为：采用三基色(红 red，绿green，蓝blue)加光系统原理描述图像颜色。即，采用记录像素的三基色的数据格式(如：BGR格式)进行图像颜色的表征(三基色图像数据格式)。另一种则为：按照亮度和色差的原理描述图像颜色。即，采用记录像素的亮度及色度的数据格式(如：YUV格式)进行图像颜色的表征(亮度- 色度图像数据格式)。

基于常规数据集训练生成的卷积神经网络通常为三通道(OpenCV下默认为BGR)输入，即Caffe图像处理模型通常支持的输入数据格式为BGR格式。本文以下描述的实施方式以Caffe图像处理模型所支持的数据格式为BGR 格式为例进行说明。可以理解的是，以下所描述的Caffe图像处理模型所支持的数据格式为BGR格式仅作为举例说明，其不具有限定作用。本领域技术人员根据本公开提供的实施方式，还可以基于输入数据格式为四通道输入的 Caffe图像处理模型进行处理，此处不进行赘述。

图2a和图2b示出根据本公开一实施例的BGR模型的首层卷积层的示意图。参阅图2b，在上述BGR三通道输入的Caffe图像处理模型中，首层卷积层所对应的卷积核权重规模为3*Kh*Kw，分别对应BGR三通道下的卷积窗口 (Kh*Kw)。

在一种可能的实施方式中，第一格式和第二格式均为三基色图像数据格式时，第一格式与第二格式的区别在于，通道顺序(红绿蓝三基色的排列顺序)和通道个数不一致。因此，此时，根据第一格式及第二格式，调整模型定义文件时，可根据第一格式与第二格式的通道个数及通道顺序来进行模型定义文件的调整。

即，根据第一格式与第二格式的通道个数以及通道顺序的不同，对模型定义文件中的首层卷积层的卷积核进行通道的添加、删除、以及对通道顺序进行重新排列等方式的调整，以使调整后的模型定义文件中的首层卷积层能够支持第一格式的输入图像数据。

在一种可能的实现方式中，当第二格式的通道个数少于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序相同时，根据第一格式与第二格式的通道个数以及通道顺序，调整模型定义文件可包括：

在模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

如：第一格式为：ABGR格式，第二格式为：BGR格式，Caffe图像处理模型的模型定义文件中，首层卷积层对应的卷积核权重分别对应排列顺序为 BGR三通道下的卷积窗口。在进行模型定义文件的调整时，在模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，使得调整后的模型定义文件中首层卷积层对应的卷积核权重分别对应排列顺序为ABGR 四通道的卷积窗口。

在第一格式与第二格式均为记录像素的三基色的数据格式，区别仅在于通道个数不同，且第一格式的通道个数少于第二格式的通道个数时，在模型定义文件中的首层卷积层对应的卷积核对应添加一卷积通道即可，操作简单，易于实现。

进一步的，当第二格式的通道个数少于第一格式的通道个数，且第二格式的通道顺序与第一格式的通道顺序不同时，此时，第一格式与第二格式的区别则不仅仅在于通道个数的不同，其通道顺序也是不同的。因此，此时根据第一格式与第二格式的通道个数以及通道顺序，调整模型定义文件，则具体包括：

调整模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的首层卷积层支持第一格式的输入图像数据。

图3a和图3b示出根据本公开一实施例的输入图像数据的第一格式为 ARGB图像下卷积核的调整示意图。参阅图3a，第一格式为ARGB格式，第二格式为BGR格式，Caffe图像处理模型的模型定义文件中首层卷积层对应的卷积核权重分别对应排列顺序为BGR三通道下的卷积窗口。如图3b所示，在进行模型定义文件的调整时，可以将首层卷积层对用的卷积核权重调整为对应RGB三通道下的卷积窗口，并在调整后的卷积核权重中添加一权重值为零的A卷积通道，使得调整后的模型定义文件中首层卷积层对应的卷积核权重所对应的卷积窗口为ARGB四通道的卷积窗口。

即，当输入图像数据的第一格式为ARGB格式，Caffe图像处理模型支持的第二格式为BGR格式时，可以重新排列模型定义文件中首层卷积层的卷积核权重，并附加一个权重值为0的A通道，使输入图像数据在经过卷积核运算后，其结果等同于BGR输入的运算结果。上述调整操作在整个网络的运行过程中，对首层卷积层的卷积核权重进行一次重新排列，输入图像数据不需要进行预处理，无需用户进行额外操作，即可自动实现BGR权重到ARGB权重的转换，且权重转换在整个应用运行过程中仅发生一次，有效减少了预处理的时间，提高了网络的处理效率。

在一种可能的实现方式中，当第二格式的通道个数等于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序不同时，此时，第一格式与第二格式的区别仅在于通道顺序不同。因此，此时对模型定义文件进行调整时，具体为：

调整模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

如：第一格式为BGR格式，第二格式为RGB格式时，此时，Caffe图像处理模型的模型定义文件中首层卷积层对应的卷积核权重分别对应排列顺序为RGB三通道下的卷积窗口。由于第二格式的通道个数与第一格式的通道个数相同，因此不需要进行通道个数的修改，只需要进行通道顺序的调整即可。由此，此时对模型定义文件的调整为：将模型定义文件中的首层卷积层对应的卷积核的通道顺序由RGB调整为BGR即可。

同理，在上述情况下，也只需对模型定义文件中的首层卷积层对应的卷积核通道顺序进行调整一下即可。操作简单，易于实现。

作为一种可能的实现方式，第二格式的通道个数大于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序不同，且第二格式比第一格式多余的通道权重为零时，此时对模型定义文件进行的调整可以为：

将模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整卷积核中剩余的通道顺序，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

如：第一格式为BGR格式，第二格式为RGB0格式，此时，Caffe图像处理模型的模型定义文件中首层卷积层对应的卷积核权重分别对应排列顺序为RGB0四通道下的卷积窗口。在这种情况下，对模型定义文件中的首层卷积层的卷积核进行调整时，只需将权值为0的卷积通道删除，并对删除后剩余的三通道(RGB)的顺序进行调整，将其调整为BGR通道顺序即可。

作为一种可能的实现方式，第二格式的通道个数大于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序相同，且第二格式比第一格式多余的通道权重为零时，此时对模型定义文件进行的调整可以为：

将模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

如：第一格式为BGR格式，第二格式为BGR0格式，此时，Caffe图像处理模型的模型定义文件中首层卷积层对应的卷积核权重分别对应排列顺序为BGR0四通道下的卷积窗口。在这种情况下，对模型定义文件中的首层卷积层的卷积核进行调整时，同样只需将权值为0的卷积通道删除即可。

作为一种可能的实施方式，当第一格式为亮度-色度图像数据格式(即， YUV格式)，第二格式为三基色图像数据格式(如，BGR格式或ARGB格式等)时，此时由于第一格式与第二格式的表征原理不同，因此，此时对模型定义文件进行调整时，需要对第一格式进行格式转换。由此，在该种情况下，根据第一格式及第二格式修改模型定义文件，具体包括：

在模型定义文件中添加第一数据转换层，第一数据转换层位于首层卷积层之前，用于将第一格式的输入图像数据转换为第二格式。

可以在模型定义文件中的首层卷积层之前添加第一数据转换层，通过增加的第一数据转换层，将第一格式直接转换为第二格式。

如：第一格式为YUV格式，第二格式为ABGR格式时，对模型定义文件的调整可以为：在模型定义文件的首层卷积层之前添加第一数据转换层，由第一数据转换层将YUV格式直接转换为ABGR格式。

作为一种可能的实施方式，当第一格式与第二格式采用不同的表征方式进行图像数据的表征(即，第一格式为YUV格式，第二格式为BGR格式)时，由于第一格式转换为第二格式时，其转换过程相对来说比较复杂，为了更进一步地降低调整的难度，根据第一格式及第二格式修改模型定义文件时，还包括：

首先，在模型定义文件中添加第二数据转换层，第二数据转换层用于将第一格式的输入图像数据转换为第三格式，添加位置可以为首层卷积层之前。同时，第三格式为四通道数据格式，四通道包括三原色通道(B、G、R)和一个额外的透明度通道(A)。即，第三格式可以为对A、B、G和R四个通道进行排列组合后的其中任意一种格式。可以根据第三格式，修改模型定义文件中的首层卷积层，以使首层卷积层支持第三格式的输入图像数据。

在上述情况下进行模型定义文件的修改时，添加的第二数据转换层可以用于将第一格式先转换为第三格式。其中，转换后得到的第三格式与第二格式采用相同的像素表征方式(即，均采用记录像素的三基色的方式)，再根据转换后的第三格式对模型定义文件中的首层卷积层进行修改，降低了用于进行数据格式转换的第二数据转换层的添加难度系数，进一步简化了处理过程，使得本公开的运算方法更加易于实现。

图4示出根据本公开一实施例的输入图像数据的第一格式为YUV图像的处理流程的示意图。参阅图4，第一格式为YUV格式，第二格式为BGR格式时，在Caffe图像处理模型的模型定义文件中，对YUV格式进行转换时，可以通过在Caffe图像处理模型的模型定义文件中添加一特定的网络层： MLUYUVtoRGB层(即，第二数据转换层)，由该层提供多种转换模式，如：将YUV格式的图像数据转换为RGB0格式、BGR0格式或ARGB格式。再根据转换结果(即，转换后的第三格式)对Caffe图像处理模型中的首层卷积层进行调整，以使首层卷积层所支持的输入数据格式为第三格式。

当第一格式为YUV格式(输入图像数据为YUV图像)时，只需要在Caffe 图像处理模型中插入对应的第二数据转换层，由第二数据转换层对YUV图像进行格式转换后，再根据转换后的数据格式进行首层卷积层的调整，即可实现对YUV图像的支持，操作简便，图像处理效率较高。

此处，需要说明的是，在Caffe图像处理模型中插入数据转换层的操作可以通过用户操作直接在Caffe图像处理模型中插入来实现，也可通过计算机指令来实现。本公开对此不做限定。

进一步的，在上述第一格式为YUV格式、第二格式为BGR格式的实施方式中，根据第三格式，修改模型定义文件中的首层卷积层，以使首层卷积层所支持的输入数据为第三格式时，其可以包括：

在转换得到的第三格式为ARGB格式时，与第一格式为ARGB格式、第二格式为BGR格式的情况相同，此时对首层卷积层的调整可直接采用上述相关的操作方式。即，调整首层卷积层对应的卷积核的卷积通道顺序，并在卷积核中添加一A卷积通道，以使首层卷积层所支持的输入数据为ARGB格式。其中，A卷积通道的卷积核权重为零。

同理，在转换得到的第三格式为BGRA格式时，同样只需调整首层卷积层对应的卷积核的卷积通道顺序，并在卷积核中添加一A卷积通道，以使首层卷积层所支持的输入数据为BGRA格式即可。其中，A卷积通道的卷积核权重同样为零。

应当指出的是，在首层卷积层之前添加第二数据转换层，有第二数据转换层对第一格式进行转换得到的第三格式可以为多种四通道格式。为了方便辨识最终转换得到的第三格式的具体格式信息，可以将第二数据转换层转换得到的第三格式设置为默认格式(ARGB格式)。当用户需要转换为除ARGB 格式之外的其他四通道数据格式时，可以通过在首层卷积层设置格式参数，通过该格式参数来指示最终转换得到的第三格式的具体格式信息。

此处，应当说明的是，用户在首层卷积层中附加的格式参数可以为 yuv_input。当格式参数设置为yuv_input：BGR0时，表明当前对YUV输入图像转换后的第三格式为BGR0格式。

另外，在上述实施方式中，格式参数也可采用其他方式来实现，此处不进行具体限定。

由此，当输入图像数据的数据格式(第一格式)为YUV格式时，用户仅需在Caffe图像处理模型中插入对应的第二数据转换层(MLUYUVtoRGB层)，并对首层卷积层增加额外的用于指示转换后的格式信息的格式参数 yuv_input，实现对YUV格式的输入图像的支持，操作简便，图像处理效率高。

图5示出根据本公开一实施例的运算方法的流程图。在一种可能的实施方式中，参阅图5，所述运算方法还可包括：

步骤S300，在接收到待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型。

步骤S400，将输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。

即，通过上述任意一种方式对Caffe图像处理模型的模型定义文件进行修改之后，即可根据修改后的模型定义文件和之前训练得到的权重文件生成相应的Caffe图像处理模型。可以将接收到的待处理任务的输入图像数据(如： ARGB格式的输入图像数据或YUV格式的输入图像数据)输入至生成的Caffe 图像处理模型中进行处理。Caffe图像处理模型可以读取输入图像数据并进行相应的处理，得到图像处理结果，实现Caffe图像处理模型支持多类型的图像输入的目的，有效提高生成的Caffe图像处理模型的复用性。

综述，上述任意一种运算方法，在输入图像数据的数据格式(第一格式) 与Caffe图像处理模型所能够支持的数据格式(第二格式)不一致时，采用在 Caffe图像处理模型端，根据第一格式及第二格式对Caffe图像处理模型的模型定义文件进行调整。相较于传统的使用CPU进行数据格式转换和预处理的方式，避免了每张输入图像均需要在CPU上完成图像通道重排列的过程以及复杂的运算的过程，避免了大量CPU的运算资源的消耗。相较于传统的在神经网络中使用数据拆分再合并的方式处理ARGB等四通道输入图像的方式，上述任意一种运算方法不需要用户较多的额外操作，克服了传统的修改神经网络方式所导致的较大改动、处理复杂、难以调试的缺陷。

图6示出了本公开一实施例的运算装置100的框图。参阅图6，运算装置 100用于异构计算架构中，异构计算架构包括通用处理器和人工智能处理器，包括：

判断模块110，用于在接收到待处理任务时，判断待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；

调整模块120，用于在第一格式与第二格式不一致时，根据第一格式及第二格式，调整Caffe图像处理模型的模型定义文件，以使根据调整后的模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为第一格式。

在一种可能的实现方式中，第一格式和第二格式为三基色图像数据格式；

其中，调整模块120，包括：

第一调整子模块，用于根据第一格式与第二格式的通道个数以及通道顺序，调整模型定义文件。

在一种可能的实现方式中，第二格式的通道个数少于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序相同；

其中，第一调整子模块，包括：

第一调整单元，用于在模型定义文件中的首层卷积层对应的卷积核添加卷积核权重为零的卷积通道，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

在一种可能的实现方式中，第二格式的通道个数少于第一格式的通道个数，且第二格式的通道顺序与第一格式的通道顺序不同；

其中，第一调整子模块，包括：

第二调整单元，用于调整模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的首层卷积层支持第一格式的输入图像数据。

在一种可能的实现方式中，第二格式的通道个数等于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序不同；

其中，第一调整子模块，包括：

第三调整单元，用于调整模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

在一种可能的实现方式中，第二格式的通道个数大于第一格式的通道个数，且第一格式的通道顺序与第二格式的通道顺序不同，且第二格式比第一格式多余的通道权重为零；

其中，第一调整子模块，包括：

第三调整单元，用于将模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，并调整卷积核中剩余的通道顺序，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

在一种可能的实现方式中，第二格式的通道个数大于第一格式的通道个数，且第二格式的通道顺序与第一格式的通道顺序相同，且第二格式比第一格式多余的通道权重为零；

其中，第一调整子模块，包括：

第四调整单元，用于将模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的模型定义文件中的首层卷积层支持第一格式的输入图像数据。

在一种可能的实现方式中，第一格式为亮度-色度图像数据格式，第二格式为三基色图像数据格式；

其中，调整模块120，包括：

第二调整子模块，用于在模型定义文件中添加第一数据转换层，第一数据转换层位于首层卷积层之前，用于将第一格式的输入图像数据转换为第二格式。

在一种可能的实现方式中，第一格式为亮度-色度图像数据格式，第二格式为三基色图像数据格式；

其中，调整模块120，包括：

第三调整子模块，用于在模型定义文件中添加第二数据转换层，第二数据转换层用于将第一格式的输入图像数据转换为第三格式；

第四调整子模块，用于根据第三格式，修改模型定义文件中的首层卷积层，以使首层卷积层支持第三格式的输入图像数据，

其中，第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。

在一种可能的实现方式中，第四调整子模块，包括：

第四调整单元，用于调整首层卷积层对应的卷积核的通道顺序，并在卷积核中添加卷积核权重为零的卷积通道，以使调整后的首层卷积层所支持的输入数据为第三格式。

在一种可能的实现方式中，还包括：

模型生成模块，用于在接收到待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；

输入处理模块，用于将输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。

在一种可能的实现方式中，还公开了一种芯片，其包括了上述运算装置 100。

在一种可能的实现方式中，公开了一种芯片封装结构，其包括了上述芯片。

在一种可能的实现方式中，还公开了一种板卡，其包括了上述芯片封装结构。参阅图7，图7提供了一种板卡，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；

所述存储器件390与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。

DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit 用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。

在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。

所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用 PCIE 3.0X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本申请并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。

所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。

在一些实施例里，申请了一种电子设备，其包括了上述板卡。

电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。

所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种运算方法，其特征在于，所述方法应用于异构计算架构中，所述异构计算架构包括通用处理器和人工智能处理器，包括：

在接收到待处理任务时，判断所述待处理任务的输入图像数据的第一格式与预设的Caffe图像处理模型所支持的输入数据的第二格式是否一致；

在所述第一格式与所述第二格式不一致时，根据所述第一格式及所述第二格式，调整所述Caffe图像处理模型的模型定义文件，以使根据调整后的所述模型定义文件生成的Caffe图像处理模型所支持的输入图像数据为所述第一格式，

其中，所述方法还包括：

在所述第一格式和所述第二格式为三基色图像数据格式、且在所述第二格式的通道个数少于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序不同时，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，

其中，根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，并在所述首层卷积层对应的卷积核中添加卷积核权重为零的卷积通道，以使修改后的所述首层卷积层支持所述第一格式的输入图像数据。

2.根据权利要求1所述方法，其特征在于，在所述第二格式的通道个数等于所述第一格式的通道个数，且所述第一格式的通道顺序与所述第二格式的通道顺序不同时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

调整所述模型定义文件中的首层卷积层对应的卷积核的通道顺序，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

3.根据权利要求1所述方法，其特征在于，在所述第二格式的通道个数大于所述第一格式的通道个数，且所述第二格式的通道顺序与所述第一格式的通道顺序相同，且所述第二格式比所述第一格式多余的通道权重为零时，所述根据第一格式与所述第二格式的通道个数以及通道顺序，调整所述模型定义文件，包括：

将所述模型定义文件中的首层卷积层对应的卷积核的权重为零的卷积通道删除，以使调整后的所述模型定义文件中的首层卷积层支持所述第一格式的输入图像数据。

4.根据权利要求1所述方法，其特征在于，在所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式时，所述根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：

在所述模型定义文件中添加第一数据转换层，所述第一数据转换层位于首层卷积层之前，用于将所述第一格式的输入图像数据转换为所述第二格式。

5.根据权利要求1所述方法，其特征在于，在所述第一格式为亮度-色度图像数据格式，所述第二格式为三基色图像数据格式时，所述根据所述第一格式及所述第二格式，修改所述模型定义文件，包括：

在所述模型定义文件中添加第二数据转换层，所述第二数据转换层用于将所述第一格式的输入图像数据转换为第三格式；

根据所述第三格式，修改所述模型定义文件中的首层卷积层，以使所述首层卷积层支持所述第三格式的输入图像数据，

其中，所述第三格式为四通道数据格式，四通道包括三原色通道和一个额外的透明度通道。

6.根据权利要求5所述方法，其特征在于，所述第二数据转换层，位于所述Caffe图像处理模型的首层卷积层之前。

7.根据权利要求5所述方法，其特征在于，根据所述第三格式，修改所述模型定义文件中的首层卷积层，包括：

调整所述首层卷积层对应的卷积核的通道顺序，并在所述卷积核中添加卷积核权重为零的卷积通道，以使调整后的所述首层卷积层所支持的输入数据为所述第三格式。

8.根据权利要求1-7中任意一项所述方法，其特征在于，所述方法还包括：

在接收到所述待处理任务的输入图像数据时，根据调整后的模型定义文件和权重文件，生成Caffe图像处理模型；

将所述输入图像数据输入生成的Caffe图像处理模型中处理，得到图像处理结果。

Images