CN114358252A - 目标神经网络模型中的操作执行方法及装置、存储介质 - Google Patents

Abstract

本发明公开了一种目标神经网络模型中的操作执行方法及装置、存储介质，其中，上述方法包括：在目标神经网络模型中的多头注意力层执行目标运算操作时，获取多头注意力层的输入参数，其中，输入参数包括多个待处理的特征矩阵，目标运算操作用于对输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在第一函数中的一组权重矩阵中存在允许合并的多个权重矩阵；在目标存储空间中读取第二函数中的目标权重矩阵，其中，第二函数是将第一函数中的多个权重矩阵合并之后得到的函数，目标权重矩阵是对多个权重矩阵进行合并操作得到的矩阵；在多头注意力层对多头注意力层的输入参数以及目标权重矩阵执行第二函数的运算操作，得到目标操作结果。

Description

目标神经网络模型中的操作执行方法及装置、存储介质

技术领域

本发明涉及通信领域，具体而言，涉及一种目标神经网络模型中的操作执行方法及装置、存储介质。

背景技术

Transformer是一个序列到序列的模型，它使用大量的自注意力机制提取序列之间的信息。此架构解决了传统循环神经网络难以并行化的缺点，可以处理长序列数据，避免了梯度消失和梯度爆炸等问题。并且，由于Transformer强大的特征表达能力，Transformer架构从自然语音处理领域迅速辐射到其他人工智能领域(如计算机视觉等)，并且逐渐成为一种通用的解决方案。

但是，在使用了Transformer架构的目标神经网络模型中，具有庞大的矩阵运算量，例如在Transformer架构的多头注意力层中，存在多个权重矩阵需要与输入的特征矩阵进行计算，使得多头注意力层在计算的过程中，矩阵计算的次数非常多，且每次矩阵计算需要访问内存。进而，现有的多头注意力层在进行矩阵计算的过程中，计算效率较低。

针对相关技术，在目标神经网络模型的多头注意力层进行矩阵计算的过程中，计算效率较低的问题，目前尚未提出有效的解决方案。

因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

发明内容

本发明实施例提供了一种目标神经网络模型中的操作执行方法及装置、存储介质，以至少解决在目标神经网络模型的多头注意力层进行矩阵计算的过程中，计算效率较低的问题。

根据本发明实施例的一方面，提供一种目标神经网络模型中的操作执行方法，包括：在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

根据本发明实施例的另一方面，还提供了一种目标神经网络模型中的操作执行装置，包括：获取模块，用于在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；读取模块，用于在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；运算模块，用于在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标神经网络模型中的操作执行方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述目标神经网络模型中的操作执行方法。

通过本发明，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，并在目标存储空间中读取第二函数中的目标权重矩阵，进而在所述多头注意力层对输入参数以及目标权重矩阵执行第二函数的运算操作，得到目标操作结果。由于第二函数是将第一函数中的多个权重矩阵合并之后得到的函数，且所述目标权重矩阵是对第一函数中多个权重矩阵进行合并操作得到的矩阵，进而多头注意力层在获取输入参数以后，使用目标权重矩阵通过第二函数来进行计算比使用多个权重矩阵通过第一函数的计算效率要高。进而采用上述技术方案，解决了在目标神经网络模型的多头注意力层进行矩阵计算的过程中，计算效率较低的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示例性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的目标神经网络模型中的操作执行方法的计算机终端的硬件结构框图；

图2是根据本发明实施例的目标神经网络模型中的操作执行方法的流程图；

图3是根据本发明实施例的多头注意力层的处理示意图(一)；

图4是根据本发明实施例的多头注意力层的处理示意图(二)；

图5是根据本发明实施例的多头注意力层的处理示意图(三)；

图6是根据本发明实施例的目标神经网络模型中的操作执行装置的结构框图(一)；

图7是根据本发明实施例的目标神经网络模型中的操作执行装置的结构框图(二)。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的目标神经网络模型中的操作执行方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标神经网络模型中的操作执行方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

为了解决上述问题，在本实施例中提供了一种目标神经网络模型中的操作执行方法，图2是根据本发明实施例的目标神经网络模型中的操作执行方法的流程图，该流程包括如下步骤：

步骤S202，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

需要说明的是，输入参数包括：查询矩阵Q，键矩阵K，值矩阵V。

步骤S204，在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

需要说明的是，在多头注意力层中存在目标运算操作与目标权重矩阵的映射关系，具体的，在检测到需要执行目标运算操作的时候，并不执行目标运算操作，而是根据映射关系得到一个目标存储空间的目标地址，进而根据目标地址去目标存储空间中获取目标权重矩阵。需要说明的是，目标存储空间包括但不限于：内存、硬盘。本实施例的目标存储空间以内存为例。

步骤S206，在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

也就是说，在获取到目标权重矩阵以后，多头注意力层会对输入参数以及目标权重矩阵来执行第二函数的运算操作，而不是根据输入参数以及所述多个权重矩阵去执行第一函数的运算操作。

通过上述步骤，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，并在目标存储空间中读取第二函数中的目标权重矩阵，进而在所述多头注意力层对输入参数以及目标权重矩阵执行第二函数的运算操作，得到目标操作结果。由于第二函数是将第一函数中的多个权重矩阵合并之后得到的函数，且所述目标权重矩阵是对第一函数中多个权重矩阵进行合并操作得到的矩阵，进而多头注意力层在获取输入参数以后，使用目标权重矩阵通过第二函数来进行计算比使用多个权重矩阵通过第一函数的计算效率要高。进而采用上述技术方案，解决了在目标神经网络模型的多头注意力层进行矩阵计算的过程中，计算效率较低的问题。

需要说明的是，上述目标神经网络模型包括但不限于：机器翻译神经网络模型，图像识别神经网络模型，分类神经网络模型等。

在一个示例性的实施例中，本申请实施例应用在图像识别神经网络模型的时候，可以提高图像识别神经网络模型中多头注意力层进行矩阵计算的计算效率，进而提高了图像识别的识别效率。

为了更好的理解，在一个示例性的实施例中，获取所述多头注意力层的输入参数之前，需要获取所述预先确定取值的一组权重矩阵；将所述一组权重矩阵中允许合并的所述多个权重矩阵进行合并，得到所述目标权重矩阵；将所述目标权重矩阵存储在所述目标存储空间中。

需要说明的是，上述一组权重矩阵是多头注意力层在进行网络训练过程中确定的。在网络训练完以后，多头注意力层会将一组权重矩阵中允许合并的多个权重矩阵进行合并，进而得到目标权重矩阵。

具体的，在一个可选的实施例中，上述将一组权重矩阵中允许合并的所述多个权重矩阵进行合并，得到所述目标权重矩阵，可以通过以下方式实现：通过以下合并操作，得到所述目标权重矩阵：

W_{re_proj}＝W_v·W_proj，其中，所述目标权重矩阵包括W_atten和W_{re_proj}，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵。需要说明的是，上述scale是预设值。

需要说明的是，在一个示例性的实施例中，在执行所述合并操作之前，还需要按照如下操作对W_q和

的维度进行调整：将

调整为

并将

调整为

按照如下操作对W_v、W_proj和W_{re_proj}的维度进行调整：将

调整为

将

调整为

并

调整为

其中，d_model表示模型输入向量进行特征嵌入之后的特征向量维度，d_k表示键向量进行多头注意力映射之后的特征向量维度，n_heads表示多头注意力中注意力头的个数，d_v表示值向量进行多头注意力映射之后的特征向量维度。

在一个示例性的实施例中，在多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果，可以通过以下方式实现：通过执行以下所述第二函数的运算操作，得到所述目标操作结果：Y＝((Query·W_atten·Key^T)·Value)·W_{re_proj}，其中，Y表示所述目标操作结果，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，Query表示所述查询矩阵，Key表示所述键矩阵，Value表示所述值矩阵，所述目标权重矩阵包括W_atten和W_{re_proj}其中，

W_{re_proj}＝W_v·W_proj，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵；其中，所述第一函数为如下函数：

其中，scale是预设值。

也就是说，在多头注意力层获取输入参数以前，将需要进行第一函数计算的一组权重矩阵W_q，W_k，W_v，W_proj先从内存中读取出来，并将其中允许合并的权重矩阵进行合并操作，具体的，将W_q，W_k进行合并操作，得到目标权重矩阵W_atten，将W_v，W_proj进行合并操作，得到目标权重矩阵W_{re_proj}，进而将合并后的目标权重矩阵保存至内存中，使得在多头注意力层获取到输入参数以后，直接从内存中获取目标权重矩阵进行第二函数的计算，而不是从内存中读取一组权重矩阵进行第一函数的计算，减少从内存中读取数据的次数，提高了多头注意力层的计算效率。同时，上述方法也减少了所需的存储空间。

为了更好的理解，以下进行具体说明，图3是根据本发明实施例的多头注意力层的处理示意图(一)，在现有技术中，多头注意力层在获取到输入：参数查询矩阵Query、键矩阵Key、值矩阵Value以后，会进行第一函数的计算，具体的，会执行以下步骤：

步骤S1：从内存中获取查询矩阵Query对应的权重矩阵W_q，并将查询矩阵Query与权重矩阵W_q的运算结果1保存至内存中；

步骤S2：从内存中获取键矩阵Key对应的权重矩阵W_k，并将键矩阵矩阵Key与权重矩阵W_k的运算结果2保存至内存中；

步骤S3：从内存中获取值矩阵Value对应的权重矩阵W_v，并将值矩阵Value与权重矩阵W_v的运算结果3保存至内存中；

步骤S4：从内存中获取运算结果1与运算结果2，并进行运算处理，进而将得到的运算结果4保存至内存中；

步骤S5：从内存中获取运算结果3与运算结果4，并进行运算处理，进而将得到的运算结果5保存至内存中；

步骤S6：从内存中获取运算结果5与权重矩阵W_proj，并进行运算处理，进而将得到的最终计算结果保存至内存中。

可见，上述步骤S1-S6会执行7次读取数据操作，6次存放数据操作以及6次运算操作。

图4是根据本发明实施例的多头注意力层的处理示意图(二)，如果在获取输入参数以前，将一组权重矩阵中允许合并的权重矩阵进行合并操作，将合并后的目标权重矩阵存放在内存中，进而在多头注意力层获取到输入参数以后，如图4所示，使用从内存中读取目标权重矩阵，进而通过目标权重矩阵和输入参数来执行第二函数的计算，则会大大计算效率，具体的，多头注意力层会执行以下操作：

步骤S1：从内存中获取目标权重矩阵W_atten，并将查询矩阵Query，键矩阵Key与目标权重矩阵W_atten的运算结果1保存至内存中；

步骤S2：从内存中获取运算结果1，并将运算结果1与值矩阵Value的运算结果2保存至内存中；

步骤S3：从内存中运算结果2与目标权重矩阵W_{re_proj}，并进行运算处理，进而将得到的最终计算结果保存至内存中。

可见，上述步骤S1-S3会执行4次读取数据操作，3次存放数据操作以及3次运算操作。

由于上述过程只是多头注意力层的一次计算，进而对于多头注意力层在执行多次上述过程而言，通过使用目标权重矩阵和第二函数来进行计算，可以大大提高计算效率。

在一个示例性的实施例中，当目标神经网络模型为图像识别神经网络模型时，则在获取所述多头注意力层的输入参数之前，还需要获取待进行图像识别的原始对象信息；获取所述原始对象信息的一个或多个维度的特征；根据所述一个或多个维度的特征，确定所述多个待处理的特征矩阵。

进一步地，在一个示例性的实施例中，在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果之后，还需要根据所述目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息。

也就是说，采用上述技术方案，提高了在图像识别神经网络模型在进行图像识别的过程中的识别效率，减少了图像识别的时长。

在一个示例性的实施例中，上述获取待进行图像识别的原始对象信息，包括：获取待确定目标对象的原始图像。需要说明的是，目标对象包括但不限于：人、动物、物体等。

在一个示例性的实施例中，上述根据目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息，包括：根据所述目标操作结果，确定所述原始图像的目标对象信息。

进一步地，在一个示例性的实施例中，当目标神经网络模型为机器翻译神经网络模型时，则在获取所述多头注意力层的输入参数之前，还需要获取待进行机器翻译的原始对象信息；获取所述原始对象信息的一个或多个维度的特征；根据所述一个或多个维度的特征，确定所述多个待处理的特征矩阵。

进一步地，在一个示例性的实施例中，在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果之后，还需要根据所述目标操作结果，确定对所述原始对象信息进行机器翻译得到的目标对象信息。

也就是说，采用上述技术方案，提高了在机器翻译神经网络模型在进行机器翻译的过程中，机器翻译的翻译效率，减少了机器翻译的时长。

在一个示例性的实施例中，上述获取待进行机器翻译的原始对象信息，包括：获取待确定语义的原始语句。

在一个示例性的实施例中，上述根据目标操作结果，确定对所述原始对象信息进行机器翻译得到的目标对象信息，包括：根据所述目标操作结果，确定所述原始语句的语义信息。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述目标神经网络模型中的操作执行方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：

在一个可选的实施例中，Transformer架构中的多头注意力层的实现主要是通过对查询矩阵(Query)、键矩阵(Key)和值矩阵(Value)进行线性映射再点积求解的过程。经典的Transformer多头注意力求解过程中包含了大量的矩阵乘法运算和线性变换导致计算开销很大。其算法原理如下：

公式一：

其中，Q为多头映射的查询矩阵Q＝(Query·W_q)。K为多头映射的键矩阵K＝(Key·W_k)。V为多头映射的值矩阵V＝(Value·W_v)。

针对Transformer模型的这个特征，本申请提出了一种基于算子融合的能显著提高transformer网络推理时效率的方法。利用矩阵乘法的结合律，简单高效的将复杂多头映射—反映射权重在多头注意力层获取输入参数以前，提前融合成两个权重矩阵。

首先，将上述多头注意力的公式一展开如下：

公式二：

其中，W_q、

W_v和W_proj是网络训练好的权重矩阵，在推理的过程中是不变的。因此可以提前将其结合减少网络推理时的运算量。经过算子融合的多头注意力层如下：

公式三：((Query·W_atten·Key^T)·Value)·W_{re_proj}；

其中，

W_{re_proj}＝W_v·W_proj。该方法可以显著降低多头注意力推理过程的乘法运算次数，加速多头注意力运算。

由于原过程中，(Query·W_q)线性映射后需要进行维度变化拆分出head维度

同样的

和(Value·W_v)也需要进行同样的维度变化，造成推理过程中的资源消耗。在本申请中，类似的维度变化直接可以在推理前求解W_atten和W_{re_proj}时进行。在求解W_atten过程中，

先对W_q和

进行维度变化使得

所以

在求解W_{re_proj}的过程中，

但是还需对W_{re_proj}进行一次维度变化使得W_{re_proj}可以起到融合多头的作用：

至此可以在推理阶段之前将维度变化操作融入矩阵乘法运算中，减少了计算过程中维度变化带来的计算资源浪费。

另外，((Query·W_atten·Key^T)·Value)操作对比

将带来内存方面的优化空间。相较于过去的方式，推理时必须首先分别计算(Query·W_q)和

再求得

和(Value·W_v)，最后相乘得到结果。这个计算过程是不连续的，数据需要不断的in-out缓存，访存的效率不高。而改进之后的过程，矩阵乘法是连续的，且由于矩阵乘法的并行性，可以对访存进行优化。图5是根据本发明实施例的多头注意力层的处理示意图(三)，如图5在计算过程中，分配一块blocksize×max(len_k,d_model)的高速内存，将运算结果保存在此内存中达到减少内存IO耗时的目的。

具体的，在一个示例性的实施例中，取查询矩阵Query维度为[1,300,700]，键矩阵Key维度为[1,600,700]，值矩阵Value维度为[1,600,700]，注意力头个数n_head＝12，查询矩阵和键矩阵的线性映射长度为400，值矩阵的线性映射长度为500。则传统transformer的推理速度与基于算子融合Transformer的推理速度对比如下表所示：

	传统	算子融合
			推理速度	0.1450	0.0720

可见本申请对降低Transformer网络多头注意力层推理速度有显著效果。

即本申请在多头注意力层进行实际推理前将权重矩阵进行融合，降低了多头注意力层在进行推理的过程中的运算次数，提高了运算效率。相对于其他解决方案，该方法减少权重矩阵维度，从而降低了推理模型所需的存储空间。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了一种目标神经网络模型中的操作执行装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的目标神经网络模型中的操作执行装置的结构框图(一)，该装置包括：

获取模块62，用于在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

读取模块64，用于在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

运算模块66，用于在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

通过上述装置，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，并在目标存储空间中读取第二函数中的目标权重矩阵，进而在所述多头注意力层对输入参数以及目标权重矩阵执行第二函数的运算操作，得到目标操作结果。由于第二函数是将第一函数中的多个权重矩阵合并之后得到的函数，且所述目标权重矩阵是对第一函数中多个权重矩阵进行合并操作得到的矩阵，进而多头注意力层在获取输入参数以后，使用目标权重矩阵通过第二函数来进行计算比使用多个权重矩阵通过第一函数的计算效率要高。进而采用上述技术方案，解决了在目标神经网络模型的多头注意力层进行矩阵计算的过程中，计算效率较低的问题。

图7是根据本发明实施例的目标神经网络模型中的操作执行装置的结构框图(二)，该装置包括：处理模块68。

在一个示例性的实施例中，处理模块68用于获取所述预先确定取值的一组权重矩阵；将所述一组权重矩阵中允许合并的所述多个权重矩阵进行合并，得到所述目标权重矩阵；将所述目标权重矩阵存储在所述目标存储空间中。

在一个示例性的实施例中，处理模块68还用于通过以下合并操作，得到所述目标权重矩阵：

W_{re_proj}＝W_v·W_proj，其中，所述目标权重矩阵包括W_atten和W_{re_proj}，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵。

在一个示例性的实施例中，处理模块68还用于按照如下操作对W_q和

的维度进行调整：将

调整为

并将

调整为

按照如下操作对W_v、W_proj和W_{re_proj}的维度进行调整：将

调整为

将

调整为

并

调整为

其中，d_model表示模型输入向量进行特征嵌入之后的特征向量维度，d_k表示键向量进行多头注意力映射之后的特征向量维度，n_heads表示多头注意力中注意力头的个数，d_v表示值向量进行多头注意力映射之后的特征向量维度。

在一个示例性的实施例中，运算模块66还用于通过执行以下所述第二函数的运算操作，得到所述目标操作结果：

其中，Y表示所述目标操作结果，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，Query表示所述查询矩阵，Key表示所述键矩阵，Value表示所述值矩阵，所述目标权重矩阵包括W_atten和W_{re_proj}；其中，

W_{re_proj}＝W_v·W_proj，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵；其中，所述第一函数为如下函数：

其中，scale是预设值。

在一个示例性的实施例中，处理模块68还用于在获取所述多头注意力层的输入参数之前，所述方法还包括：获取待进行图像识别的原始对象信息；获取所述原始对象信息的一个或多个维度的特征；根据所述一个或多个维度的特征，确定所述多个待处理的特征矩阵；在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果之后，所述方法还包括：根据所述目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息。

在一个示例性的实施例中，处理模块68还用于所述获取待进行图像识别的原始对象信息，包括：获取待确定目标对象的原始图像；所述根据所述目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息，包括：根据所述目标操作结果，确定所述原始图像的目标对象信息。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

S2，在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

S3，在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

S2，在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

S3，在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标神经网络模型中的操作执行方法，其特征在于，包括：

在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

2.根据权利要求1所述的方法，其特征在于，在所述获取所述多头注意力层的输入参数之前，所述方法还包括：

获取所述预先确定取值的一组权重矩阵；

将所述一组权重矩阵中允许合并的所述多个权重矩阵进行合并，得到所述目标权重矩阵；

将所述目标权重矩阵存储在所述目标存储空间中。

3.根据权利要求2所述的方法，其特征在于，所述将所述一组权重矩阵中允许合并的所述多个权重矩阵进行合并，得到所述目标权重矩阵，包括：

通过以下合并操作，得到所述目标权重矩阵：

W_{re_proj}＝W_v·W_proj，

其中，所述目标权重矩阵包括W_atten和W_{re_proj}，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵。

4.根据权利要求3所述的方法，其特征在于，在执行所述合并操作之前，所述方法还包括：

按照如下操作对W_q和

的维度进行调整：

将

调整为

并将

调整为

其中，d_model表示模型输入向量进行特征嵌入之后的特征向量维度，d_k表示键向量进行多头注意力映射之后的特征向量维度，n_heads表示多头注意力中注意力头的个数；

按照如下操作对W_v、W_proj和W_{re_proj}的维度进行调整：

将

调整为

将

调整为

并

调整为

其中，d_v表示值向量进行多头注意力映射之后的特征向量维度。

5.根据权利要求1所述的方法，其特征在于，所述在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果，包括：

通过执行以下所述第二函数的运算操作，得到所述目标操作结果：

Y＝((Query·W_atten·Key^T)·Value)·W_{re_proj}，

其中，Y表示所述目标操作结果，所述输入参数中的所述多个待处理的特征矩阵包括查询矩阵、键矩阵和值矩阵，Query表示所述查询矩阵，Key表示所述键矩阵，Value表示所述值矩阵，所述目标权重矩阵包括W_atten和W_{re_proj}；

其中，

W_{re_proj}＝W_v·W_proj，所述一组权重矩阵包括与所述查询矩阵对应的第一权重矩阵W_q、与所述键矩阵对应的第二权重矩阵W_k、与所述值矩阵对应的第三权重矩阵W_v、以及第四权重矩阵W_proj，W_q和W_k是允许合并的权重矩阵，W_v和W_proj是允许合并的权重矩阵；

其中，所述第一函数为如下函数：

其中，scale是预设值。

6.根据权利要求1至5中任一项所述的方法，其特征在于，

在获取所述多头注意力层的输入参数之前，所述方法还包括：获取待进行图像识别的原始对象信息；获取所述原始对象信息的一个或多个维度的特征；根据所述一个或多个维度的特征，确定所述多个待处理的特征矩阵；

在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果之后，所述方法还包括：根据所述目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息。

7.根据权利要求6所述的方法，其特征在于，

所述获取待进行图像识别的原始对象信息，包括：获取待确定目标对象的原始图像；

所述根据所述目标操作结果，确定对所述原始对象信息进行图像识别得到的目标对象信息，包括：根据所述目标操作结果，确定所述原始图像的目标对象信息。

8.一种目标神经网络模型中的操作执行装置，其特征在于，包括：

获取模块，用于在目标神经网络模型中的多头注意力层执行目标运算操作时，获取所述多头注意力层的输入参数，其中，所述多头注意力层的输入参数包括多个待处理的特征矩阵，所述目标运算操作用于对所述多头注意力层的输入参数与预先确定取值的一组权重矩阵进行第一函数的运算操作，在所述第一函数中的所述一组权重矩阵中存在允许合并的多个权重矩阵；

读取模块，用于在目标存储空间中读取第二函数中的目标权重矩阵，其中，所述第二函数是将所述第一函数中的多个权重矩阵合并之后得到的函数，所述目标权重矩阵是对所述多个权重矩阵进行合并操作得到的矩阵；

运算模块，用于在所述多头注意力层对所述多头注意力层的输入参数以及所述目标权重矩阵执行所述第二函数的运算操作，得到目标操作结果。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images