CN113642319A - 文本处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了文本处理方法、装置、电子设备及存储介质，涉及深度学习以及自然语言处理等人工智能领域，其中的方法可包括：针对待处理的文本，分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N‑1个头对应的注意力模式不同，N表示头数，为大于一的正整数；利用所述Transformer模型进行文本处理。应用本公开所述方案，可提升模型性能及相应地提升文本处理效果等。

Description

文本处理方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，特别涉及深度学习以及自然语言处理等领域的文本处理方法、装置、电子设备及存储介质。

背景技术

在实际应用中，可借助于转换器(Transformer)模型实现对于待处理的文本的预定处理，如机器翻译、情感识别等。

Transformer模型通常采用多头注意力(multi-head-attention)机制，即包括多个注意力模块，时间复杂度很高，而且所述时间复杂度会随着文本长度的增大而增大，文本长度通常是指词例(token)数量。

为降低时间复杂度，提升文本处理效率，可采用计算稀疏化方法，如稀疏自注意力(Longformer)方法，但这种方法中每个头(head)都采用相同的注意力模式(attentionpattern)，从而影响了模型性能，降低了文本处理效果等。

发明内容

本公开提供了文本处理方法、装置、电子设备及存储介质。

一种文本处理方法，包括：

针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

利用所述Transformer模型进行文本处理。

一种文本处理装置，包括：设置模块以及处理模块；

所述设置模块，用于针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

所述处理模块，用于利用所述Transformer模型进行文本处理。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：各个头不再采用相同的注意力模式，而是不同的头可对应不同的注意力模式，从而增大了token之间的连通性，进而提升了模型性能，并相应地提升了文本处理效果等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述文本处理方法实施例的流程图；

图2为本公开所述设置各头分别对应的全局模式的方法实施例的流程图；

图3为本公开所述不同头对应的注意力模式示意图；

图4为本公开所述文本处理装置实施例400的组成结构示意图；

图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本公开所述文本处理方法实施例的流程图。如图1所示，包括以下具体实现。

在步骤101中，针对待处理的文本，分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数。

在步骤102中，利用所述Transformer模型进行文本处理。

可以看出，上述方法实施例所述方案中，各个头不再采用相同的注意力模式，而是不同的头可对应不同的注意力模式，从而增大了token之间的连通性，进而提升了模型性能，并相应地提升了文本处理效果等。

N的具体取值可根据实际需要而定，针对N个头，可分别设置对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同。也就是说，对于N个头对应的共N个注意力模式，其中至少包括两种不同的注意力模式。

本公开的一个实施例中，所述注意力模式可包括：局部模式(local pattern)和全局模式(global pattern)，即注意力模式可由局部模式和全局模式组成。其中，局部模式也可称为局部注意力(local attention)，全局模式也可称为全局注意力(globalattention)。

本公开的一个实施例中，可设置各头对应相同的局部模式。即可为各头设置统一的局部模式，这样，对于任意的两个头，只需通过设置不同的全局模式，即可达到设置不同的注意力模式的效果，从而简化了设置过程，提升了处理效率等。

本公开的一个实施例中，可设置各头分别对应不同的全局模式，其中，每两个相邻的头对应的全局模式之间的变化规律可相同。

比如，N的取值为4，那么针对第1个头、第2个头、第3个头和第4个头，可分别设置不同的全局模式，即可设置任意两个头对应的全局模式均不相同。

通过上述处理，可进一步增大token之间的连通性，从而进一步提升了模型性能及提升了文本处理效果等。

本公开的一个实施例中，设置各头分别对应不同的全局模式的具体实现方式可如图2所示。

图2为本公开所述设置各头分别对应的全局模式的方法实施例的流程图。如图2所示，具体包括以下实现方式。

在步骤201中，针对第1个头，设置其对应的全局模式。

所述全局模式的具体形式不作限制。

在步骤202中，针对第i个头，按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式。

i的初始取值为2。

另外，所述预定调整规律具体为何种规律不作限制。

在步骤203中，确定i是否等于N，N表示头数，若是，则结束流程，否则，执行步骤204。

若i等于N，表示所有的头均已设置完成，相应地，可结束流程，否则，可针对下一个头继续进行处理。

在步骤204中，令i＝i+1，之后重复执行步骤202。

即可将i的取值加1，得到更新后的i，根据更新后的i，针对第i个头，重复执行步骤202。

假设N的取值为4，那么可按照图2所示实施例中的方法，依次得到各头对应的全局模式。

可以看出，按照上述方法进行全局模式的设置后，每两个相邻的头对应的全局模式之间的变化规律相同，能够让更多的token有机会成为全局token，而且，通过规律性调整，可快速高效地实现对于各头对应的全局模式的设置等。

作为一个示例，图3为本公开所述不同头对应的注意力模式示意图。

如图3所示，每个头可分别对应相同的局部模式，但分别对应不同的全局模式，图3所示局部模式为现有技术中的模式。

如图3所示，大正方形表示注意力矩阵，假设待处理的文本中包括10(数字仅为举例)个token，那么注意力矩阵的长和宽两个方向上将分别包括10个小正方形，每个小正方形分别对应一个token。

如图3所示，以第1个头为例，其中的深色的小正方形组成的斜线表示局部模式，深色的小正方形组成的横线和竖线表示全局模式。

可以看出，对于第i个头，1≤i≤N，随着i的不断增大，对应的全局模式呈现出规律性的变化。如图3所示，即对应的横线和竖线均发生规律性的移动，每次移动的方式即每次移动的幅度相同。若第1个头对应的全局模式和第N个头对应的全局模式分别如图3所示，那么每次移动的幅度可视N的取值等而定。

相应地，以第1个头为例，如图3所示，各token的感受野将分别如下所示：

如前所述，每个小正方形可分别对应一个token，假设按照从上到下的顺序将各token分别编号为token1、token2、token3、……、token M，M表示token数量；

那么对于token1来说，其感受野(Receptive Field)为全局的，即包括所有的token；

对于token2来说，其感受野也是全局的，即和token1相同，包括所有的token；

对于token3来说，其感受野中包括token1、token2、token3、token4和token5共5个token；

对于token4来说，其感受野中包括token1、token2、token4、token5和token6共5个token；

对于token5来说，其感受野中包括token1、token2、token5、token6和token7共5个token；

其它token的感受野参见图3中所示，不再一一赘述。

借助于本公开所述Transformer模型，可实现针对待处理的文本的预定处理，如机器翻译、情感识别等，如可利用所述Transformer模型进行语义表达编码等，具体实现为现有技术。

由于按照本公开所述方式设置各头对应的注意力模式后，Transformer模型的性能得到了提升，那么相应地，利用该Transformer模型进行文本处理，可提升文本处理的效果，如可提升机器翻译的准确性或情感识别结果的准确性等。

需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

图4为本公开所述文本处理装置实施例400的组成结构示意图。如图4所示，包括：设置模块401以及处理模块402。

设置模块401，用于针对待处理的文本，分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数。

处理模块402，用于利用所述Transformer模型进行文本处理。

可以看出，采用上述装置实施例所述方案，各个头不再采用相同的注意力模式，而是不同的头可对应不同的注意力模式，从而增大了token之间的连通性，进而提升了模型性能，并相应地提升了文本处理效果等。

N的具体取值可根据实际需要而定，针对N个头，设置模块401可分别设置对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同。也就是说，对于N个头对应的共N个注意力模式，其中至少包括两种不同的注意力模式。

本公开的一个实施例中，所述注意力模式可包括：局部模式和全局模式，即注意力模式可由局部模式和全局模式组成。

本公开的一个实施例中，设置模块401可设置各头对应相同的局部模式，即可为各头设置统一的局部模式，这样，对于任意的两个头，只需通过设置不同的全局模式，即可达到设置不同的注意力模式的效果。

本公开的一个实施例中，设置模块401可设置各头分别对应不同的全局模式，其中，每两个相邻的头对应的全局模式之间的变化规律可相同。

本公开的一个实施例中，设置模块401可针对第1个头，设置其对应的全局模式，并针对第i个头，i的初始取值为2，执行以下第一处理：按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式，若确定i等于N，则结束处理，否则，令i＝i+1，并针对第i个头，重复执行第一处理。

假设N的取值为4，那么针对第1个头，可设置其对应的全局模式，之后，针对第2个头，可按照预定调整规律，对第1个头对应的全局模式进行调整，将调整后的全局模式作为第2个头对应的全局模式，之后，针对第3个头，可按照预定调整规律，对第2个头对应的全局模式进行调整，将调整后的全局模式作为第3个头对应的全局模式，之后，针对第4个头，可按照预定调整规律，对第3个头对应的全局模式进行调整，将调整后的全局模式作为第4个头对应的全局模式。

完成上述处理后，处理模块402可借助于所述Transformer模型，实现针对待处理的文本的预定处理，如机器翻译、情感识别等，如可利用所述Transformer模型进行语义表达编码等。

图4所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

由于按照本公开所述方式设置各头对应的注意力模式后，Transformer模型的性能得到了提升，那么相应地，利用该Transformer模型进行文本处理，可提升文本处理的效果，如可提升机器翻译的准确性或情感识别结果的准确性等。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

本公开所述方案可应用于人工智能领域，特别涉及深度学习以及自然语言处理等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种文本处理方法，包括：

针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

利用所述Transformer模型进行文本处理。

2.根据权利要求1所述的方法，其中，所述注意力模式包括：局部模式和全局模式。

3.根据权利要求2所述的方法，其中，所述分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式包括：设置各头对应相同的局部模式。

4.根据权利要求2或3所述的方法，其中，所述分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式包括：

设置各头分别对应不同的全局模式，其中，每两个相邻的头对应的全局模式之间的变化规律相同。

5.根据权利要求4所述的方法，其中，所述设置各头分别对应不同的全局模式包括：

针对第1个头，设置其对应的全局模式；

针对第i个头，i的初始取值为2，执行以下第一处理：

按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式；

若确定i等于N，则结束处理，否则，令i＝i+1，并针对第i个头，重复执行所述第一处理。

6.一种文本处理装置，包括：设置模块以及处理模块；

所述设置模块，用于针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

所述处理模块，用于利用所述Transformer模型进行文本处理。

7.根据权利要求6所述的装置，其中，所述注意力模式包括：局部模式和全局模式。

8.根据权利要求7所述的装置，其中，所述设置模块设置各头对应相同的局部模式。

9.根据权利要求7或8所述的装置，其中，

所述设置模块设置各头分别对应不同的全局模式，其中，每两个相邻的头对应的全局模式之间的变化规律相同。

10.根据权利要求9所述的装置，其中，

所述设置模块针对第1个头，设置其对应的全局模式，针对第i个头，i的初始取值为2，执行以下第一处理：按照预定调整规律，对第i-1个头对应的全局模式进行调整，将调整后的全局模式作为第i个头对应的全局模式，若确定i等于N，则结束处理，否则，令i＝i+1，并针对第i个头，重复执行所述第一处理。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

Images