CN109740730A - 运算方法、装置及相关产品 - Google Patents
运算方法、装置及相关产品 Download PDFInfo
- Publication number
- CN109740730A CN109740730A CN201811535360.6A CN201811535360A CN109740730A CN 109740730 A CN109740730 A CN 109740730A CN 201811535360 A CN201811535360 A CN 201811535360A CN 109740730 A CN109740730 A CN 109740730A
- Authority
- CN
- China
- Prior art keywords
- operator
- input data
- splicing
- artificial intelligence
- scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存子模块、指令缓存子模块和存储队列子模块；所述指令缓存子模块，用于存储所述人工神经网络运算关联的计算指令；所述指令处理子模块，用于对所述计算指令解析得到多个运算指令；所述存储队列子模块，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。
Description
技术领域
本公开涉及机器学习技术领域，尤其涉及一种运算方法、装置及相关产品。
背景技术
神经网络算法是最近非常流行的一种机器学习算法，在各种领域中都取得了非常好的效果，比如图像识别，语音识别，自然语言处理等。随着神经网络算法的发展，算法的复杂度也越来越高，为了提高识别度，模型的规模也在逐渐增大。用GPU和CPU处理起这些大规模的模型，要花费大量的计算时间，并且耗电量很大。在这种情况下，新的人工智能处理器被提出以提高神经网络模型的运算速度，节约运算时间，降低功耗。然而，当前对新的人工智能处理器的算法支持却远远不够。
发明内容
根据本公开的一个方面，提出了一种运算方法，所述方法包括：
获取人工智能算子库中的缩放算子以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
在一种可能的实施方式中，所述将所述缩放算子与所述基础算子进行拼接以形成拼接算子，包括：
将所述缩放算子作为所述基础算子的前级算子。
在一种可能的实施方式中，所述基础算子包括最大值下标获取算子，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
在一种可能的实施方式中，所述将所述缩放算子与所述基础算子进行拼接以形成拼接算子，包括：
将所述基础算子作为所述缩放算子的前级算子。
在一种可能的实施方式中，所述基础算子包括指数算子，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
在一种可能的实施方式中，所述基础算子包括对数算子，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
在一种可能的实施方式中，所述基础算子包括归一化算子，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
在一种可能的实施方式中，所述拼接算子应用于软件调用层级中的应用程序层，所述深度学习算子库位于软件调用层级中的算子库层，所述人工智能处理器位于软件调用层级中的芯片层。
根据本公开的另一方面，提出了一种运算装置，所述装置包括：
获取模块，用于获取人工智能算子库中的缩放算子以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
运算模块，连接于所述获取模块，用于将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
在一种可能的实施方式中，所述运算模块包括：
第一运算子模块，用于将所述缩放算子作为所述基础算子的前级算子。
在一种可能的实施方式中，所述基础算子包括最大值下标获取算子，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
在一种可能的实施方式中，所述运算模块还包括：
第二运算子模块，用于将所述基础算子作为所述缩放算子的前级算子。
在一种可能的实施方式中，所述基础算子包括指数算子，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
在一种可能的实施方式中，所述基础算子包括对数算子，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
在一种可能的实施方式中，所述基础算子包括归一化算子，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
根据本公开的另一方面，提出了一种人工智能处理装置，所述装置包括：
主处理器，用于执行所述的方法，以获取拼接算子，所述拼接算子用于对所述输入数据执行相应的运算操作；
人工智能处理器，电连接于所述主处理器；
所述主处理器还用于向人工智能处理器发送输入数据及所述拼接算子，所述人工智能处理器被配置为：
接收主处理器发送的所述输入数据及拼接算子；
利用所述拼接算子对所述输入数据进行人工智能运算以获得运算结果；
将所述运算结果发送给所述主处理器。
在一种可能的实施方式中，所述主处理器还包括主处理器存储空间，用于存储所述拼接算子，其中，
所述主处理器还用于提供输入数据及存储在所述主处理器存储空间中的拼接算子。
在一种可能的实施方式中，所述人工智能处理器将运算结果通过I/O接口传递给所述主处理器；
当所述装置包含多个所述人工智能处理器时，所述多个所述人工智能处理器间可以通过特定的结构进行连接并传输数据；
其中，多个所述人工智能处理器通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的人工智能的运算；多个所述人工智能处理器共享同一控制系统或拥有各自的控制系统；多个所述人工智能处理器共享内存或者拥有各自的内存；多个所述人工智能处理器的互联方式是任意互联拓扑。
在一种可能的实施方式中，所述的装置，还包括：存储装置，该存储装置分别与所述人工智能处理器和所述主处理器连接，用于保存所述人工智能处理器装置和所述主处理器的数据。
根据本公开的另一方面，提出了一种人工智能芯片，所述人工智能芯片包括所述的人工智能处理装置。
根据本公开的另一方面，提出了一种电子设备，所述电子设备包括所述的人工智能芯片。
根据本公开的另一方面，提出了一种板卡，所述板卡包括：存储器件、接口装置和控制器件以及所述的人工智能芯片；
其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述芯片与外部设备之间的数据传输；
所述控制器件，用于对所述芯片的状态进行监控。
在一种可能的实施方式中，所述存储器件包括：多组存储单元，每一组所述存储单元与所述芯片通过总线连接，所述存储单元为：DDR SDRAM；
所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
所述接口装置为：标准PCIE接口。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
通过以上方法，本公开可以获取人工智能算子库中的缩放算子及基础算子，将所述缩放算子与所述基础算子进行拼接以形成拼接算子，形成的拼接算子可以用于支持新的人工智能处理器，以提高新的人工智能处理器在进行神经网络模型的运算时的运算效率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出了根据本公开一实施方式的运算方法的流程图。
图2示出了根据本公开一实施方式的软件调用层级关系示意图。
图3示出了根据本公开一实施方式的拼接算子的示意图。
图4a-图4d示出了根据本公开一实施方式的拼接算子的示意图。
图5示出了根据本公开一实施方式的运算装置的框图。
图6示出了根据本公开一实施方式的运算装置的框图。
图7示出了根据本公开一实施方式的人工智能处理装置的框图。
图8示出了根据本公开一实施方式的人工智能处理装置的框图。
图9示出了根据本公开一实施方式的人工智能处理器的框图。
图10示出了根据本公开一实施方式的主处理电路331的框图。
图11示出了根据本公开一实施方式的人工智能处理器的示意图。
图12示出了根据本公开一实施方式的人工智能处理器的示意图。
图13示出了根据本公开一实施方式的一种板卡。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
请参阅图1，图1示出了根据本公开一实施方式的运算方法的流程图。
所述方法可以应用于服务器或终端中，如图1所示，所述方法包括：
步骤S110，获取人工智能算子库中的缩放算子(scale)以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
步骤S120，将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
通过以上方法，本公开可以获取人工智能算子库中的缩放算子及基础算子，将所述缩放算子与所述基础算子进行拼接以形成拼接算子，形成的拼接算子可以用于支持新的人工智能处理器，以提高新的人工智能处理器在进行神经网络模型的运算时的运算效率。
通过以上方法形成的拼接算子，可以作为人工智能运算的一部分，当拼接算子运用于人工智能处理器中进行人工智能运算时，可以实现包括但不限于语音识别、图像识别等应用，通过结合变形算子及基础算子形成拼接算子，可以使得人工智能处理器可以更好地实现人工智能运算。
在一种可能的实施方式中，算子(operator)可以为人工智能中常用的算法，又被称为层，操作，节点.每个神经网络都对应着一个网络结构图，而图中的节点即为算子。
可预先设置有人工智能算子库，人工智能算子库中可以包括多个基础算子(例如卷积算子、全连接算子、池化算子、激活算子等)，各个基础算子可以被包括但不限于中央处理器CPU、图像处理器GPU等处理器调用以实现对应的基础功能。
在一种可能的实施方式中，输入数据的维度可以为4，当第一输入数据为图片数据时，第一输入数据的各个维度可以表示图片数量、图片通道(Channel)数量、图片高度、图片宽度。在其他实施方式中，当第一输入数据为图片数据，但第一输入数据的维度小于4 时(例如为3)，第一输入数据的各个维度可以表示图片数量、图片通道数量、图片高度、图片宽度中的任意3种。
在一种可能的实施方式中，所述缩放算子可以通过如下公式实现：
Y＝nX+m，其中，X表示输入数据，n表示缩放倍数，m表示位移数，Y表示缩放运算结果，其中，n和m可以表示标量，也可以表示张量，根据该公式获得的缩放算子，其运算过程类似于向量乘法运算。
在一种可能的实施方式中，步骤S120将所述缩放算子与所述基础算子进行拼接以形成拼接算子，可以包括：
将所述缩放算子作为所述基础算子的前级算子。
在一种可能的实施方式中，所述基础算子包括最大值下标获取算子(argmax)，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
在一个示例中，如果输入数据为[1,2]，如果要获得第一维最小值的下标，则首先通过缩放算子将输入数据进行缩放处理，从而得到输入数据的相反数[-1,-2]，在利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值“-1”的下标(1)，从而得到了输入数据[1,2]在第一维上最小值“1”的下标(1)。
在另一个示例中，如果输入数据为[[1,2,3],[4,5,6],[9,8,7]]，如果要获得第二维最小值的下标，则首先通过缩放算子将输入数据进行缩放处理，从而得到输入数据的相反数[[-1,-2,-3],[-4,-5,-6],[-9,-8,-7]]，在利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上的三个最大值“-1”、“-2”、“-3”的下标(1，1，1)，从而得到了输入数据[[1,2,3],[4,5,6],[9,8,7]]在第二维上最小值“1”、“2”、“3”的下标(1，1，1)。
在一种可能的实施方式中，所述指定维度可以在输入数据携带的参数中指定，或通过其他方式指定，本公开不做限定。
在一个应用示例中，当需要利用人工智能运算来进行语音识别、图像处理时，可以利用本公开一实施方式中的最小值下标获取拼接算子(最大值下标获取算子+缩放算子)来进行对数运算，从而在需要对输入数据进行处理以获得类似输入数据在指定维度的最小值的下标时，可以利用最小值下标获取拼接算子对输入数据进行缩放处理，以得到输入数据的相反数，并利用最小值下标获取拼接算子获取输入数据的相反数在指定维度的最大值的下标，从而得到最后的运算结果。采用本公开所述的最小值下标获取拼接算子，可以更加便利地执行人工智能运算以实现包括但不限于图像处理、语音识别等应用，从而提高人工智能运算的效率。
通过以上方法，可以利用缩放算子及最大值下标获取算子形成拼接算子，该拼接算子可以对输入数据进行处理，从而获得输入数据在指定维度上的最小值的下标。
在一种可能的实施方式中，所述基础算子还可以包括对数算子(log)，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
在一种可能的实施方式中，所述对数算子为以自然常数e为底的对数算子，其中，所述对数运算结果为：log(x+1)，x表示输入数据。
在其他实施方式中，所述对数算子还可以以其他自然常数为底，例如10等，在此不做限定。
在一个示例中，如果要对输入数据x进行log(x+1)的运算，则可以首先利用缩放算子对输入数据进行移位，将输入数据x缩放为x+1，然后利用对数算子对缩放后的数据(x+1)进行对数运算，从而得到对数运算结果log(x+1)。
在一个应用示例中，当需要利用人工智能运算来进行语音识别、图像处理时，可以利用本公开一实施方式中的对数拼接算子(对数算子+缩放算子)来进行对数运算，从而在需要对输入数据进行处理以获得类似log(x+1)运算结果时，可以利用对数拼接算子对输入数据进行对数化处理，以得到输入数据的对数运算结果，并利用对数拼接算子对对数运算结果进行缩放运算，从而得到最后的运算结果。采用本公开所述的对数拼接算子，可以更加便利地执行人工智能运算以实现包括但不限于图像处理、语音识别等应用，从而提高人工智能运算的效率。
通过以上方法，本公开可以利用缩放算子及对数算子形成拼接算子，该拼接算子可以对输入数据进行处理，从而获得输入数据移位后的对数函数值。
在一种可能的实施方式中，步骤S120将所述缩放算子与所述基础算子进行拼接以形成拼接算子，还可以包括：
将所述基础算子作为所述缩放算子的前级算子。
在一种可能的实施方式中，所述基础算子包括指数算子(exp)，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
在一种可能的实施方式中，所述指数算子为以自然常数e为底的指数算子，其中，
所述缩放后的运算结果为：e(y)-1，y表示输入数据。
举例而言，如果要获得对于输入数据y来说的e(y)-1的值，则可以首先利用指数算子对输入数据y进行处理，从而得到运算结果e(y)，然后利用缩放算子将运算结果e(y)进行缩放处理，从而得到缩放后的运算结果e(y)-1。
在一个应用示例中，当需要利用人工智能运算来进行语音识别、图像处理时，可以利用本公开一实施方式中的指数拼接算子(指数算子+缩放算子)来进行指数运算，从而在需要对输入数据进行处理以获得类似e(y)-1运算结果时，可以利用指数拼接算子对输入数据进行指数化处理，以得到输入数据的指数运算结果，并利用指数拼接算子对指数运算结果进行缩放运算，从而得到最后的运算结果。采用本公开所述的指数拼接算子，可以更加便利地执行人工智能运算以实现包括但不限于图像处理、语音识别等应用，从而提高人工智能运算的效率。
通过以上方式，本公开可以利用缩放算子及指数算子形成拼接算子，该拼接算子可以对输入数据进行处理，从而获得输入数据移位后的指数函数值。
在一种可能的实施方式中，所述基础算子包括归一化算子(batchnorm)，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
在一种可能的实施方式中，所述归一化算子可以通过如下公式实现：
其中，data[:,i,:,…]为输入数据，data_mean[i]为期望值，data_var[i]为标准差，ε为常数。
在一个示例中，如果要获得输入数据data[:,i,:,…]的归一化结果out[:,i,:,…]：
其中，gamma[i]为缩放倍数，beta[i]表示位移数，
则可以首先利用归一化算子对输入数据data[:,i,:,…]进行归一化处理，得到式1所示的归一化结果，然后利用缩放算子对归一化算子的归一化结果进行缩放处理，从而得到缩放后的如式2所示归一化结果。
在一个应用示例中，当需要利用人工智能运算来进行语音识别、图像处理时，可以利用本公开一实施方式中的归一化拼接算子(归一化算子+缩放算子)来进行归一化运算，从而在需要对输入数据进行归一化处理从而得到如式2所示归一化结果时，可以利用归一化拼接算子对输入数据进行归一化处理，以得到式1所示的归一化结果，并利用归一化拼接算子对归一化后的输入数据进行缩放运算，从而得到最后的运算结果。采用本公开所述的归一化拼接算子，可以更加便利地执行人工智能运算以实现包括但不限于图像处理、语音识别等应用，从而提高人工智能运算的效率。
通过以上方式，本公开可以利用缩放算子及归一化算子形成拼接算子，该拼接算子可以对输入数据进行归一化处理及缩放处理，从而获得输入数据的归一化结果。
请参阅图2，图2示出了根据本公开一实施方式的软件调用层级关系示意图。
如图2所示，软件调用层级关系从上到下依次包括应用程序层、框架层、算子库层、驱动层、芯片层，其中，通过前述运算方法获得的拼接算子可以应用于应用程序层，人工智能算子库可以在算子库层中，人工智能处理器可以位于芯片层中，驱动层可以包括用于驱动芯片层工作的驱动程序。
通过以上介绍可知，利用算子库层中的变形算子及基础算子形成拼接算子后，可以直接被应用程序层调用以应用于应用程序层中，从而在人工智能运算中实现对应的功能，避免了在应用程序层要进行人工智能运算时每一次都需要从算子库层中调取变形算子及基础算子的情况，从而改善了人工智能运算的执行过程。
请参阅图3，图3示出了根据本公开一实施方式的拼接算子的示意图。
如图3所示，所述拼接算子包括：
缩放算子10，用于将输入数据进行缩放运算；
基础算子20，用于对输入数据执行相应的运算操作；
其中，所述拼接算子用于执行相应的拼接运算操作，以执行人工智能运算；
其中，所述缩放算子10及所述基础算子20来自于人工智能算子库。
通过以上拼接算子，本公开可以利用缩放算子10对输入数据缩放运算处理，利用基础算子20对输入数据执行相应的运算操作。
请参阅图4a-图4d，图4a-图4d示出了根据本公开一实施方式的拼接算子的示意图。
如图4a所示，在一种可能的实施方式中，所述基础算子20为最大值下标获取算子21，所述最大值下标获取算子20用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
如图4b所示，在一种可能的实施方式中，所述基础算子20包括指数算子22，所述指数算子22用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
如图4c所示，在一种可能的实施方式中，所述基础算子20包括对数算子23，所述对数算子23用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
如图4d所示，在一种可能的实施方式中，所述基础算子20包括归一化算子24，所述归一化算子24用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
请参阅图5，图5示出了根据本公开一实施方式的运算装置的框图。
如图5所示，所述装置包括：
获取模块80，用于获取人工智能算子库中的缩放算子以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
运算模块90，连接于所述获取模块80，用于将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
通过以上装置，本公开可以获取人工智能算子库中的缩放算子及基础算子，将所述缩放算子与所述基础算子进行拼接以形成拼接算子，形成的拼接算子可以用于支持新的人工智能处理器，以提高新的人工智能处理器在进行神经网络模型的运算时的运算效率。
请参阅图6，图6示出了根据本公开一实施方式的运算装置的框图。
在一种可能的实施方式中，如图6所示，运算模块90包括：
第一运算子模块910，用于将所述缩放算子作为所述基础算子的前级算子。
在一种可能的实施方式中，所述基础算子包括最大值下标获取算子，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
在一种可能的实施方式中，所述运算模块还包括：
第二运算子模块920，用于将所述基础算子作为所述缩放算子的前级算子。
在一种可能的实施方式中，所述基础算子包括指数算子，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
在一种可能的实施方式中，所述指数算子为以自然常数e为底的指数算子，其中，
所述缩放后的运算结果为：e(y)-1，y表示输入数据。
在一种可能的实施方式中，所述基础算子包括对数算子，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
在一种可能的实施方式中，所述对数算子为以自然常数e为底的对数算子，其中，
所述对数运算结果为：log(x+1)，x表示输入数据。
在一种可能的实施方式中，所述基础算子包括归一化算子，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
在一种可能的实施方式中，
所述归一化结果为：
其中，data[:,i,:,…]为输入数据，data_mean[i] 为期望值，data_var[i]为标准差，ε为常数；
所述缩放后的归一化结果为：
其中，out[:,i,:,…]为缩放后的归一化结果，gamma[i]为缩放倍数，beta[i]表示位移数。
请参阅图7，图7示出了根据本公开一实施方式的人工智能处理装置的框图。
在一种可能的实施方式中，如图7所示，
主处理器50，用于执行所述的方法，以获取拼接算子，所述拼接算子用于对所述输入数据执行相应的运算操作；
人工智能处理器60，电连接于所述主处理器50；
所述主处理器50还用于向人工智能处理器60发送输入数据及所述拼接算子，所述人工智能处理器60被配置为：
接收主处理器50发送的所述输入数据及拼接算子；
利用所述拼接算子对所述输入数据进行人工智能运算以获得运算结果；
将所述运算结果发送给所述主处理器50。
在一种可能的实施方式中，主处理器50可以包括主处理器存储空间，用于存储主处理器50执行所述的运算方法获得的拼接算子，其中，
所述主处理器50还用于提供输入数据及存储在所述主处理器存储空间中的拼接算子。
应该明白的是，主处理器50可以在获得数据后，执行所述运算方法，获得拼接算子，并同时将获得的拼接算子发送给人工智能处理器60进行处理。主处理器50也可以将存储的拼接算子发送给人工智能处理器60，从而实现将预先存储的拼接算子发送给人工智能处理器60，人工智能处理器60根据接收到的拼接算子及输入数据进行人工智能运算。以上两种方式，前一种可视为线上即时处理的方式，后一种可视为线下处理方式。
在一种可能的实施方式中，如图5、图6所示的装置可以在主处理器50中实现。
在一种可能的实施方式中，主处理器50可以是中央处理器CPU，也可以是其他类型的处理器，例如图像处理器GPU。应该明白的是，所述拼接算子为通过前述运算方法获得的拼接算子，对拼接算子的具体介绍请参考之前的描述，在此不再赘述。
在一种可能的实施方式中，人工智能处理装置可以是由多个相同的处理器形成的，例如多个处理器(XPU)形成类似于主处理器50+人工智能处理器60的架构。也可是是由一个处理器形成了，在这种情况下，处理器既可以执行前述的运算方法，从而得到拼接算子，也可以通过拼接算子对输入数据进行人工智能运算，从而得到输出结果。在本实施方式中，处理器的类型可以是现有的，也可以是新提出的新型处理器，本公开不做限定。
在一种可能的实施方式中，主处理器50可以作为人工智能处理装置与外部数据和控制的接口，包括数据搬运，完成对本人工智能处理装置的开启、停止等基本控制；其他处理装置也可以和人工智能处理装置协作共同完成运算任务。
在一种可能的实施方式中，人工智能处理装置可以包括一个以上人工智能处理器，人工智能处理器间可以通过特定的结构进行链接并传输数据，譬如，通过PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算。此时，可以共享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。
该人工智能处理装置具有较高的兼容性，可通过PCIE接口与各种类型的服务器相连接。
请参阅图8，图8示出了根据本公开一实施方式的人工智能处理装置的框图。
在一种可能的实施方式中，如图8所示，主处理器50和人工智能处理器60可以通过通用互联接口(如I/O接口)连接，用于在主处理器50和人工智能处理器60间传输数据和控制指令。该人工智能处理器60从主处理器50中获取所需的输入数据(包括拼接算子)，写入人工智能处理装置片上的存储装置；可以从主处理器50中获取控制指令，写入人工智能处理装置片上的控制缓存；也可以读取人工智能处理器60的存储模块中的数据并传输给其他处理装置。
在一种可能的实施方式中，人工智能处理装置还可以包括存储装置，存储装置分别与所述人工智能处理装置和所述其他处理装置连接。存储装置用于保存在所述人工智能处理装置和所述其他处理装置的数据，尤其适用于所需要运算的数据在本人工智能处理装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。通过以上人工智能处理装置，本公开可以通过主处理器将输入数据及拼接算子传输给人工智能处理器，人工智能处理对输入数据利用拼接算子执行人工智能运算的操作，从而得到运算结果，并将运算结果发送给主处理器。
应该明白的是，人工智能处理器60可以是单个的可用于人工智能运算的处理器，也可以是多种不同处理器的组合。人工智能处理器应用于人工智能运算，人工智能运算包括机器学习运算，类脑运算，等等。其中，机器学习运算包括神经网络运算、k-means运算、支持向量机运算等。该人工智能处理器60具体可以包括GPU(Graphics Processing Unit，图形处理器单元)、NPU(Neural-Network Processing Unit，神经网络处理器单元)、DSP(Digital Signal Process，数字信号处理)、现场可编程门阵列(Field－ProgrammableGate Array，FPGA)芯片的一种或组合。
在一种可能的实施方式中，人工智能处理器60如图9所示。请参阅图9，图9示出了根据本公开一实施方式的人工智能处理器的框图。
如图9所示，所述人工智能处理器30包括控制模块32、运算模块33及存储模块31，所述运算模块33包括主处理电路331和多个从处理电路332(图中从处理电路的数目是示例性的)。
所述控制模块32，用于获取输入数据及计算指令；
所述控制模块32，还用于解析该计算指令得到多个运算指令，将该多个运算指令以及所述输入数据发送给所述主处理电路331；
所述主处理电路331，用于对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令；
所述多个从处理电路332，用于依据从所述主处理电路331传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路331；
所述主处理电路331，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
本公开所述的人工智能处理器30在接收到输入数据及计算指令后，对输入数据执行相应的运算操作，从而获得所述计算结果。
本公开所述的人工智能处理器可以支持机器学习以及一些非机器学习的人工智能算法。
上述计算指令包括但不限于：正向运算指令或反向训练指令，本申请具体实施方式并不限制上述计算指令的具体表现形式。
在一种可能的实施方式中，在人工智能处理30获得所述计算结果后，可将所述计算结果发送给中央处理器CPU或图像处理器GPU等其他处理器。
所述运算指令为人工智能处理器30根据拼接算子获得的可运行代码，上述可运行代码包括但不限于：正向运算指令或反向训练指令，或其他神经网络运算指令等等，本申请具体实施方式并不限制上述计算指令的具体表现形式。
在一种可能的实施方式中，所述人工智能处理器30可以通过数据传输模块360得到，该数据传输模块360具体可以为一个或多个数据I/O接口或I/O引脚。
所述主处理电路331，用于对所述待运算数据执行前序处理以获得处理后的运算数据，并与所述多个从处理电路之间传输所述运算数据、中间结果及运算指令中的至少一种。
请一并参阅图10，图10示出了根据本公开一实施方式的主处理电路331的框图。
如图10所示，主处理电路331可以包括：转换处理电路113、激活处理电路111、加法处理电路112中的一种或任意组合。
所述转换处理电路113，用于对所述数据执行所述前序处理，所述前序处理可为：将主处理电路331接收的数据或中间结果执行第一数据结构与第二数据结构之间的互换(例如连续数据与离散数据的转换)；或将主处理电路331接收的数据或中间结果执行第一数据类型与第二数据类型之间的互换(例如定点类型与浮点类型的转换)。
所述激活处理电路111，用于执行所述后续处理，具体为执行主处理电路331内数据的激活运算；
所述加法处理电路112，用于执行所述后续处理，具体为执行加法运算或累加运算。
每个从处理电路332，用于根据所述主处理电路331传输的运算数据及运算指令执行中间运算得到中间结果，并将所述中间结果传输给所述主处理电路331；
所述主处理电路331，用于对多个中间结果执行后续处理得到所述运算指令的最终计算结果。
所述控制模块32还用于根据所述状态信息生成调试结果，并向所述状态信息获取装置40输出调试结果。
存储模块31用于根据运算指令，存储所述运算过程中的状态信息，其中，所述状态信息包括所述主处理电路331的前序处理过程中的状态信息、所述多个从处理电路332的中间运算过程中的状态信息、所述主处理电路331的后续处理过程中的状态信息中的至少一种。所述存储模块可以包括片上存储子模块310，所述片上存储子模块310可以包括高速暂存存储器。
存储模块31还可以包括寄存器、缓存中的一个或者任意组合，具体的，所述缓存，用于存储所述计算指令；所述寄存器，用于存储所述神经网络模型、所述数据和标量；所述缓存为高速暂存缓存。
在一种可能的实施方式中，控制模块32可以包括：指令缓存子模块320、指令处理子模块321和存储队列子模块323；
指令缓存子模块320，用于存储所述神经网络模型关联的计算指令；
所述指令处理子模块321，用于对所述计算指令解析得到多个运算指令；
存储队列子模块323，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。
举例说明，在一种可能的实施方式中，主处理电路331也可以包括一个控制模块32，该控制模块32可以包括主指令处理子模块，具体用于将指令译码成微指令。当然在一种可能的实施方式中，从处理电路332也可以包括另一个控制模块32，该另一个控制模块32包括从指令处理子模块，具体用于接收并处理微指令。上述微指令可以为指令的下一级指令，该微指令可以通过对指令的拆分或解码后获得，能被进一步解码为各部件、各模块或各处理电路的控制信号。
在一种可选方案中，该计算指令的结构可以如下表一所示。
表一
| 操作码 | 寄存器或立即数 | 寄存器/立即数 | ... |
上表中的省略号表示可以包括多个寄存器或立即数。
在另一种可选方案中，该计算指令可以包括：一个或多个操作域以及一个操作码。该计算指令可以包括神经网络运算指令。以神经网络运算指令为例，如表1所示，其中，寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以为操作域。其中，每个寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以是一个或者多个寄存器的号码。例如，如下表二所示。
表二
上述寄存器可以为片外存储器，当然在实际应用中，也可以为片内存储器，用于存储数据，该数据具体可以为t维数据，t为大于等于1的整数，例如，t＝1时，为1维数据，即向量，如t＝2时，为2维数据，即矩阵，如t＝3或3以上时，为多维张量。
可选的，该控制模块32还可以包括：
依赖关系处理子模块322，用于在具有多个运算指令时，确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，则将所述第一运算指令缓存在所述指令缓存子模块内，在所述第零运算指令执行完毕后，从所述指令缓存子模块提取所述第一运算指令传输至所述运算模块；
所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据(例如矩阵)的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需矩阵的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，则确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，则确定所述第一运算指令与所述第零运算指令不具有关联关系。
请参阅图11，图11示出了根据本公开一实施方式的人工智能处理器的示意图。
在一种可能的实施方式中，运算模块33如图11所示，可以包括分支处理电路333；其具体的连接结构如图11所示，其中，
主处理电路331与分支处理电路333连接，分支处理电路333与多个从处理电路332连接；
分支处理电路333，用于执行转发主处理电路331与从处理电路332之间的数据或指令。
在一种可能的实施方式中，以神经网络运算中的全连接运算为例，过程可以为：y＝f (wx+b)，其中，x为输入神经元矩阵，w为权值矩阵，b为偏置标量，f为激活函数，具体可以为：sigmoid函数，tanh、relu、softmax函数中的任意一个。这里假设为二叉树结构，具有8个从处理电路，其实现的方法可以为：
控制模块从存储模块31内获取输入神经元矩阵x，权值矩阵w以及全连接运算指令，将输入神经元矩阵x，权值矩阵w以及全连接运算指令传输给主处理电路；
主处理电路将输入神经元矩阵x拆分成8个子矩阵，然后将8个子矩阵通过树型模块分发给8个从处理电路，将权值矩阵w广播给8个从处理电路，
从处理电路并行执行8个子矩阵与权值矩阵w的乘法运算和累加运算得到8个中间结果，将8个中间结果发送给主处理电路；
主处理电路，用于将8个中间结果排序得到wx的运算结果，将该运算结果执行偏置b 的运算后执行激活操作得到最终结果y，将最终结果y发送至控制模块，控制模块将该最终结果y输出或存储至存储模块31内。
如图11所示的神经网络运算装置执行神经网络正向运算指令的方法具体可以为：
控制模块32从存储模块31内提取运算数据(例如神经网络正向运算指令、神经网络运算指令)对应的操作域以及至少一个操作码，控制模块32将该操作域传输至数据访问模块，将该至少一个操作码发送至运算模块。
控制模块32从存储模块31内提取该操作域对应的权值w和偏置b(当b为0时，不需要提取偏置b)，将权值w和偏置b传输至运算模块的主处理电路，控制模块从存储模块31内提取输入数据Xi，将该输入数据Xi发送至主处理电路。
主处理电路将输入数据Xi拆分成n个数据块；
控制模块32的指令处理子模块321依据该至少一个操作码确定乘法指令、偏置指令和累加指令，将乘法指令、偏置指令和累加指令发送至主处理电路，主处理电路将该乘法指令、权值w以广播的方式发送给多个从处理电路，将该n个数据块分发给该多个从处理电路(例如具有n个从处理电路，那么每个从处理电路发送一个数据块)；多个从处理电路，用于依据该乘法指令将该权值w与接收到的数据块执行乘法运算得到中间结果，将该中间结果发送至主处理电路，该主处理电路依据该累加指令将多个从处理电路发送的中间结果执行累加运算得到累加结果，依据该偏执指令将该累加结果执行加偏执b得到最终结果，将该最终结果发送至该控制模块。
另外，加法运算和乘法运算的顺序可以调换。
本申请提供的技术方案通过一个指令即神经网络运算指令即实现了神经网络的乘法运算以及偏置运算，在神经网络计算的中间结果均无需存储或提取，减少了中间数据的存储以及提取操作，所以其具有减少对应的操作步骤，提高神经网络的计算效果的优点。
请参阅图12，图12示出了根据本公开一实施方式的人工智能处理器的示意图。
在一种可能的实施方式中，运算模块33如图12所示，可以包括一个主处理电路331和多个从处理电路332。
在一种可能的实施方式中，如图12所示，多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个从处理电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1 列的m个从处理电路，需要说明的是，如图12所示的K个从处理电路仅包括第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路，即该k个从处理电路为多个从处理电路中直接与主处理电路连接的从处理电路。
K个从处理电路，用于在所述主处理电路以及多个从处理电路之间的数据以及指令的转发。
在一些实施例里，还申请了一种芯片，其包括了上述人工智能处理装置。
在一些实施例里，申请了一种芯片封装结构，其包括了上述芯片。
在一些实施例里，申请了一种板卡，其包括了上述芯片封装结构。
请参阅图13，图13示出了根据本公开一实施方式的一种板卡，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；
所述存储器件390与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中 64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用 DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用PCIE 3.0X 16接口传输时，理论带宽可达到 16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本申请并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一些实施例里，申请了一种电子设备，其包括了上述板卡。
电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器 (英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (23)
1.一种运算方法，其特征在于，所述方法包括：
获取人工智能算子库中的缩放算子以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
2.根据权利要求1所述的方法，其特征在于，所述将所述缩放算子与所述基础算子进行拼接以形成拼接算子，包括：
将所述缩放算子作为所述基础算子的前级算子。
3.根据权利要求2所述的方法，其特征在于，所述基础算子包括最大值下标获取算子，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
4.根据权利要求1所述的方法，其特征在于，所述将所述缩放算子与所述基础算子进行拼接以形成拼接算子，包括：
将所述基础算子作为所述缩放算子的前级算子。
5.根据权利要求4所述的方法，其特征在于，所述基础算子包括指数算子，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
6.根据权利要求2所述的方法，其特征在于，所述基础算子包括对数算子，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
7.根据权利要求4所述的方法，其特征在于，所述基础算子包括归一化算子，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
8.根据权利要求1所述的方法，其特征在于，所述拼接算子应用于软件调用层级中的应用程序层，所述深度学习算子库位于软件调用层级中的算子库层，所述人工智能处理器位于软件调用层级中的芯片层。
9.一种运算装置，其特征在于，所述装置包括：
获取模块，用于获取人工智能算子库中的缩放算子以及基础算子，所述缩放算子用于将输入数据进行缩放运算，所述基础算子用于对输入数据执行相应的运算操作；
运算模块，连接于所述获取模块，用于将所述缩放算子与所述基础算子进行拼接以形成拼接算子，
其中，所述拼接算子用于在人工智能处理器中对输入数据执行相应的拼接运算操作，以执行人工智能运算。
10.根据权利要求9所述的装置，其特征在于，所述运算模块包括：
第一运算子模块，用于将所述缩放算子作为所述基础算子的前级算子。
11.根据权利要求10所述的装置，其特征在于，所述基础算子包括最大值下标获取算子，所述最大值下标获取算子用于获取输入数据中指定维度最大值的下标，其中，所述拼接算子用于获取输入数据在指定维度上最小值的下标，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的相反数；
利用所述最大值下标获取算子获取所述输入数据的相反数在指定维度上最大值的下标。
12.根据权利要求9所述的装置，其特征在于，所述运算模块还包括：
第二运算子模块，用于将所述基础算子作为所述缩放算子的前级算子。
13.根据权利要求12所述的装置，其特征在于，所述基础算子包括指数算子，所述指数算子用于对输入数据进行指数运算，其中，所述拼接运算操作包括：
利用所述指数算子对输入数据进行处理，得到运算结果；
利用所述缩放算子将所述运算结果进行缩放处理，从而得到缩放后的运算结果。
14.根据权利要求10所述的装置，其特征在于，所述基础算子包括对数算子，所述对数算子用于对输入数据进行对数处理，其中，所述拼接运算操作包括：
利用缩放算子将输入数据进行缩放处理，从而得到所述输入数据的缩放结果；
利用所述对数算子对所述输入数据的缩放结果进行对数运算，从而得到对数运算结果。
15.根据权利要求12所述的装置，其特征在于，所述基础算子包括归一化算子，所述归一化算子用于对输入数据进行归一化处理，其中，所述拼接运算操作包括：
利用所述归一化算子对输入数据进行归一化处理，得到归一化结果；
利用所述缩放算子将所述归一化结果进行缩放处理，从而得到缩放后的归一化结果。
16.一种人工智能处理装置，其特征在于，所述装置包括：
主处理器，用于执行如权利要求1-8任一项所述的方法，以获取拼接算子，所述拼接算子用于对所述输入数据执行相应的运算操作；
人工智能处理器，电连接于所述主处理器；
所述主处理器还用于向人工智能处理器发送输入数据及所述拼接算子，所述人工智能处理器被配置为：
接收主处理器发送的所述输入数据及拼接算子；
利用所述拼接算子对所述输入数据进行人工智能运算以获得运算结果；
将所述运算结果发送给所述主处理器。
17.根据权利要求16所述的装置，其特征在于，所述主处理器还包括主处理器存储空间，用于存储所述拼接算子，其中，
所述主处理器还用于提供输入数据及存储在所述主处理器存储空间中的拼接算子。
18.根据权利要求16所述的装置，其特征在于，所述人工智能处理器将运算结果通过I/O接口传递给所述主处理器；
当所述装置包含多个所述人工智能处理器时，所述多个所述人工智能处理器间可以通过特定的结构进行连接并传输数据；
其中，多个所述人工智能处理器通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的人工智能的运算；多个所述人工智能处理器共享同一控制系统或拥有各自的控制系统；多个所述人工智能处理器共享内存或者拥有各自的内存；多个所述人工智能处理器的互联方式是任意互联拓扑。
19.根据权利要求16所述的装置，其特征在于，还包括：存储装置，该存储装置分别与所述人工智能处理器和所述主处理器连接，用于保存所述人工智能处理器装置和所述主处理器的数据。
20.一种人工智能芯片，其特征在于，所述人工智能芯片包括如权利要求16-19任一项所述的人工智能处理装置。
21.一种电子设备，其特征在于，所述电子设备包括如所述权利要求20所述的芯片。
22.一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及如权利要求20所述的人工智能芯片；
其中，所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述芯片与外部设备之间的数据传输；
所述控制器件，用于对所述芯片的状态进行监控。
23.根据权利要求22所述的板卡，其特征在于，
所述存储器件包括：多组存储单元，每一组所述存储单元与所述芯片通过总线连接，所述存储单元为：DDR SDRAM；
所述芯片包括：DDR控制器，用于对每个所述存储单元的数据传输与数据存储的控制；
所述接口装置为：标准PCIE接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535360.6A CN109740730B (zh) | 2018-12-14 | 2018-12-14 | 运算方法、装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535360.6A CN109740730B (zh) | 2018-12-14 | 2018-12-14 | 运算方法、装置及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109740730A true CN109740730A (zh) | 2019-05-10 |
| CN109740730B CN109740730B (zh) | 2020-10-23 |
Family
ID=66359675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811535360.6A Active CN109740730B (zh) | 2018-12-14 | 2018-12-14 | 运算方法、装置及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740730B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949317A (zh) * | 2019-05-17 | 2020-11-17 | 上海寒武纪信息科技有限公司 | 指令处理方法、装置及相关产品 |
| CN112765541A (zh) * | 2019-11-01 | 2021-05-07 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101206561A (zh) * | 2006-12-22 | 2008-06-25 | 上海贝岭股份有限公司 | 一种专用运算单元alu |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| CN106383695A (zh) * | 2016-09-14 | 2017-02-08 | 中国科学技术大学苏州研究院 | 基于fpga的聚类算法的加速系统及其设计方法 |
| WO2018006470A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 人工智能处理方法及装置 |
| CN107621932A (zh) * | 2017-09-25 | 2018-01-23 | 威创集团股份有限公司 | 显示图像的局部放大方法和装置 |
| CN107621934A (zh) * | 2017-07-28 | 2018-01-23 | 中国人民解放军国防信息学院 | 基于组件化、图形化算子的评估指标计算方法及装置 |
| CN107729523A (zh) * | 2017-10-27 | 2018-02-23 | 平安科技（深圳）有限公司 | 数据服务方法、电子装置及存储介质 |
| CN107967135A (zh) * | 2017-10-31 | 2018-04-27 | 平安科技（深圳）有限公司 | 计算引擎实现方法、电子装置及存储介质 |
| CN108052934A (zh) * | 2018-01-29 | 2018-05-18 | 安徽云塔电子科技有限公司 | 一种智能传感器系统架构及其实现方法、装置 |
| US20180322606A1 (en) * | 2017-05-05 | 2018-11-08 | Intel Corporation | Data parallelism and halo exchange for distributed machine learning |
-
2018
- 2018-12-14 CN CN201811535360.6A patent/CN109740730B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101206561A (zh) * | 2006-12-22 | 2008-06-25 | 上海贝岭股份有限公司 | 一种专用运算单元alu |
| CN103235974A (zh) * | 2013-04-25 | 2013-08-07 | 中国科学院地理科学与资源研究所 | 一种提高海量空间数据处理效率的方法 |
| WO2018006470A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 人工智能处理方法及装置 |
| CN106383695A (zh) * | 2016-09-14 | 2017-02-08 | 中国科学技术大学苏州研究院 | 基于fpga的聚类算法的加速系统及其设计方法 |
| US20180322606A1 (en) * | 2017-05-05 | 2018-11-08 | Intel Corporation | Data parallelism and halo exchange for distributed machine learning |
| CN107621934A (zh) * | 2017-07-28 | 2018-01-23 | 中国人民解放军国防信息学院 | 基于组件化、图形化算子的评估指标计算方法及装置 |
| CN107621932A (zh) * | 2017-09-25 | 2018-01-23 | 威创集团股份有限公司 | 显示图像的局部放大方法和装置 |
| CN107729523A (zh) * | 2017-10-27 | 2018-02-23 | 平安科技（深圳）有限公司 | 数据服务方法、电子装置及存储介质 |
| CN107967135A (zh) * | 2017-10-31 | 2018-04-27 | 平安科技（深圳）有限公司 | 计算引擎实现方法、电子装置及存储介质 |
| CN108052934A (zh) * | 2018-01-29 | 2018-05-18 | 安徽云塔电子科技有限公司 | 一种智能传感器系统架构及其实现方法、装置 |
Non-Patent Citations (2)
| Title |
|---|
| YAZDI HM ET AL: "《Artificial Intelligence in Designing Non Geometric Brace Systems》", 《2009 WRI GLOBAL CONGRESS ON INTELLIGENT SYSTEMS》 * |
| 张志刚: "《基于多视点获取图像的拼接算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949317A (zh) * | 2019-05-17 | 2020-11-17 | 上海寒武纪信息科技有限公司 | 指令处理方法、装置及相关产品 |
| CN112765541A (zh) * | 2019-11-01 | 2021-05-07 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN112765541B (zh) * | 2019-11-01 | 2024-02-23 | 中科寒武纪科技股份有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109740730B (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657782A (zh) | 运算方法、装置及相关产品 | |
| CN109685201A (zh) | 运算方法、装置及相关产品 | |
| CN109522052A (zh) | 一种计算装置及板卡 | |
| CN109543832A (zh) | 一种计算装置及板卡 | |
| TWI803663B (zh) | 一種運算裝置和運算方法 | |
| CN109740739A (zh) | 神经网络计算装置、神经网络计算方法及相关产品 | |
| CN109189474A (zh) | 神经网络处理装置及其执行向量加和指令的方法 | |
| CN109104876A (zh) | 一种运算装置及相关产品 | |
| CN109740754A (zh) | 神经网络计算装置、神经网络计算方法及相关产品 | |
| CN109754359A (zh) | 一种应用于卷积神经网络的池化处理的方法及系统 | |
| CN110147249A (zh) | 一种网络模型的计算方法及装置 | |
| CN110059797A (zh) | 一种计算装置及相关产品 | |
| CN111047022B (zh) | 一种计算装置及相关产品 | |
| CN109754074A (zh) | 一种神经网络量化方法、装置以及相关产品 | |
| CN109739703A (zh) | 调错方法及相关产品 | |
| CN110163349A (zh) | 一种网络模型的计算方法及装置 | |
| CN109726822A (zh) | 运算方法、装置及相关产品 | |
| CN109740730A (zh) | 运算方法、装置及相关产品 | |
| CN110059809A (zh) | 一种计算装置及相关产品 | |
| CN109740729A (zh) | 运算方法、装置及相关产品 | |
| CN109711538A (zh) | 运算方法、装置及相关产品 | |
| CN109753319A (zh) | 一种释放动态链接库的装置及相关产品 | |
| CN109711540B (zh) | 一种计算装置及板卡 | |
| CN109726800A (zh) | 运算方法、装置及相关产品 | |
| CN109993290A (zh) | 集成电路芯片装置及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing Applicant after: Zhongke Cambrian Technology Co., Ltd Address before: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing Applicant before: Beijing Zhongke Cambrian Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200910 Address after: Room 611-194, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, hi tech Zone, Hefei City, Anhui Province Applicant after: Anhui Cambrian Information Technology Co., Ltd Address before: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing Applicant before: Zhongke Cambrian Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |