CN111626062B

CN111626062B - 文本语义编码方法及系统

Info

Publication number: CN111626062B
Application number: CN202010476386.9A
Authority: CN
Inventors: 吴仁守
Original assignee: Sipic Technology Co Ltd
Current assignee: Sipic Technology Co Ltd
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2023-05-30
Anticipated expiration: 2040-05-29
Also published as: CN111626062A

Abstract

本发明实施例提供一种文本语义编码方法。该方法包括：分别利用字编码器、词编码器对文本进行语义编码，对文本的字编码的结果拼接以及对文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；将拼接后得到的字语义编码和词语义编码导入基于多头注意力机制的交互匹配层；将交互匹配层得到的融合字词语义编码确定为文本的字词语义编码。本发明实施例还提供一种文本语义编码系统。本发明实施例提出了一种基于多层字词融合的编码器，该编码器在对字、词进行语义编码后，对得到的字、词语义编码进行交互，然后通过自适应训练的门控单元对交互后的字、词语义编码进行融合，蕴含了更深度的字词语义信息，作为最终的文本语义表示。

Description

文本语义编码方法及系统

技术领域

本发明涉及智能语音领域，尤其涉及一种文本语义编码方法及系统。

背景技术

随着神经网络模型的不断发展，越来越多的自然语言处理任务都使用了神经网络模型。而文本语义编码器作为基于神经网络模型的自然语言处理任务的第一步，编码效果的好坏直接影响了模型的性能。现有基于神经网络的文本语义编码器通常按词(例如：信用|额度|要|怎样|才|可以|增加)来对输入文本进行切分，然后根据词表将不同的词语映射为对应的id，然后进一步对输入文本进行语义编码。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

按词切分文本存在以下两个缺陷：

1.分词算法可能出错，而错误的分词将会严重影响后续的自然语言处理任务，导致模型出错。

例如：南京市长江大桥。

正确分词：南京市|长江大桥。

错误分词：南京|市长|江大桥。

2.词表过大且无法包含所有词。当输入文本分词得到的词语不在词表中时，一般会使用同一个特殊标识来替代(例如<UNK>)，因此对于不在词表中的词语，模型无法区分，从而影响模型性能。以问题匹配任务为例，如下例子，当王大明和李二强不在词典中时，基于词的编码器对两个文本的编码输出是相同的，导致后续的问题匹配模型无法区别两个句子的语义是否相似。

例如：

句一：王大明是谁＝＝》王大明|是|谁＝＝》<UNK>|是|谁。

句二：李二强是谁＝＝》李二强|是|谁＝＝》<UNK>|是|谁。

3.分别对字和词进行语义编码后，将词语中包含的字的语义编码和该词的语义编码进行拼接，作为最终的语义编码。

例：南京市|长江大桥＝＝》(E_南京市|E_南|E_京|E_市)|(E_长江大桥|E_长|E_江|E_大|E_桥)

其中，E_a代表词a对应的语义编码。该方法虽然可以缓解按字或按词分割的缺陷，但是仅仅将字、词语义编码进行拼接，没有对字、词语义编码进行交互，而有效的交互可以更好的融合字、词语义编码的特点。

发明内容

为了至少解决现有技术中分词算法可能出错，词表过大且无法包含所有词，拼接无法融合字词语义编码的特点，使得分词效果差的问题。

第一方面，本发明实施例提供一种文本语义编码方法，包括：

分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；

将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；

将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。

第二方面，本发明实施例提供一种文本语义编码系统，包括：

语义编码确定程序模块，用于分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；

交互匹配程序模块，用于将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；

语义编码程序模块，用于将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的文本语义编码方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的文本语义编码方法的步骤。

本发明实施例的有益效果在于：本方法提出了一种基于多层字词融合的编码器，该编码器在对字、词进行语义编码后，通过一个匹配层对得到的字、词语义编码进行交互，然后通过一个自适应训练的门控单元对交互后的字、词语义编码进行融合，蕴含了更深度的字词语义信息，作为最终的文本语义表示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种文本语义编码方法的流程图；

图2是本发明一实施例提供的一种文本语义编码方法的基于多层字词融合的文本语义编码器的示意图；

图3是本发明一实施例提供的一种文本语义编码方法的多头注意力机制的示意图；

图4是本发明一实施例提供的一种文本语义编码系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明一实施例提供的一种文本语义编码方法的流程图，包括如下步骤：

S11：分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；

S12：将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；

S13：将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。

在本实施方式中，为了融合字词的语义编码，本方法提出了基于多层字词融合的文本语义编码器，如图2所示，其主要包含三个组件字编码器、词编码器和字词融合单元。可以将文本语义编码器适配到智能电子设备中，例如智能音响。

对于步骤S11，智能电子设备分别利用文本语义编码器中的字编码器、词编码器对用户输入的文本进行语义编码，字编码器按照自身的结构对用户输入的文本进行解码拼接，同样的词编码器也按照自身的结构对用户输入的文本进行解码拼接，进而获得了包含上下文的字语义编码和词语义编码。

作为一种实施方式，在本实施例中，步骤S11还包括：

将文本分别输入至字编码器以及词编码器，其中所述字编码器、词编码器包括：输入层、嵌入层以及卷积层；

基于所述字编码器、词编码器的输入层和嵌入层确定所述文本的字嵌入向量、词嵌入向量；

基于所述字编码器、词编码器的卷积层内单个卷积层对所述字嵌入向量、词嵌入向量进行编码，确定第一字语义编码、第一词语义编码，

基于所述字编码器、词编码器的卷积层内多个卷积层对所述第一字语义编码、第一词语义编码进行二次编码，将所述多个卷积层的输出拼接，获得为包含所述文本的上下文的第二字语义编码以及第二词语义编码。

在本实施方式中，具体的：字编码器主要包含输入层、嵌入层、包含多卷积核的多卷基层和一个门控单元。

输入层：将文本按字分割后得到字序列(c₁,c₂,…,c_n)作为输入，其中c_i代表字序列中的第i个字，n代表字序列的大小。输入层将输入的字序列通过字表转换为对应的id并输出。

嵌入层：使用预训练的嵌入向量作为嵌入表，将输入层得到的字序列id通过id转换为对应的嵌入向量，并输出。

包含多卷积核的多卷基层包含两层卷积，第一层包含一个卷积核k＝1的卷基层来对输入的嵌入向量序列进行编码，得到x1。第二层包含卷积核k分别为3,5,7的三个卷基层，来对第一层的编码结果进行二次编码，将三个不同卷积层的输出拼接作为最终的语义编码x2。优点：不仅对单个词进行编码，同时对窗口为3、5、7内的上下文进行编码，得到语义更加丰富的语义编码。

词编码器与字编码器类似，不同之处在于其输入为文本按词分割后的词语序列(w₁,w₂,…,w_m)，其中w_i代表词语序列中的第i个词语，m代表词语序列的大小。输入层将词序列通过词表转换为对应的id并输出。后续操作与字编码器类似，具体细节在此不再赘述。

进一步地，基于所述字编码器、词编码器的门控单元将所述第一字语义编码以及所述第二字语义编码、所述第一词语义编码以及所述第二词语义编码融合，确定包含字和上下文的第三字语义编码以及包含词和上下文的第三词语义编码。

在本实施方式中，门控单元将包含多卷积核的多卷基层的第一层的输出x1和的二层的输出x2进行融合，将单个词的编码信息和包含上下文的编码信息进行融合得到包含单词和上下文信息的语义编码xc。具体操作如下：

g＝sigmod(W₁x₁)

r＝tanh(W₂x₂)

x_c＝g*r+(1-g)*x₂

其中，sigmod()和tanh()为激活函数，g和r为上述两行公式的输出。

对于步骤S12，将步骤S11得到的字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层。其中，基于多头注意力机制的交互匹配层所在的字词融合单元包含一个交互匹配层和一个门控单元，其中门控单元与前面介绍的一致，不过输入换为包含单词和上下文信息的语义编码x_c和交互匹配层的输出。

作为一种实施方式，所述基于多头注意力机制的交互匹配层至少包括：字-词-字注意力机制的匹配交互层；

通过所述字-词-字注意力机制的匹配交互层对所述字语义编码和所述词语义编码进行线性变换；

在所述线性变换后进行预设数量的缩放点积注意力机制，将得到预设数量的缩放点积结果进行拼接，将拼接后的缩放点积结果进行线性变换，得到所述字-词-字注意力机制的匹配交互层的融合结果。

在本实施方式中，多头的注意力机制如图3所示：

多头注意力机制中，Query(V)，Key(K)，Value(V)，其中，V＝Q＝x_c，K＝x_w，图中最上一个线性层Linear的输出即为模型得到的融合字词信息的语义编码，可以作为不同自然语言处理-模型的语义表示输入。例如在文本匹配任务、摘要生成任务和机器翻译任务等。在机制中，V、K、Q首先进过一个线性变换，然后进行多次缩放点积注意力机制，这里多次就是所谓的多头，每一次算一个头。其中，每次Q，K，V进行线性变换的参数W是不同的。得到h次缩放点积注意力机制的结果后，将它们进行拼接，再进行一次线性变换得到最终的多头注意力机制的结果。

经过实验，字-词-字方式进行交互匹配效果最佳。如背景技术中所介绍，按词切分文本存在以下两个缺陷：1.分词算法可能出错；2.词表过大且无法包含所有词。因此，为了减小上述缺陷的影响，以字信息为主，使用词信息来对字信息进行补充增加词语特征。另外，实验结果显示进行多次会使模型过拟合，效果不会提升，还略有下降，而且速度会变慢。

通过该实施方式可以看出，本方法提出了一种基于多层字词融合的编码器，该编码器在对字、词进行语义编码后，通过一个匹配层对得到的字、词语义编码进行交互，然后通过一个自适应训练的门控单元对交互后的字、词语义编码进行融合，蕴含了更深度的字词语义信息，作为最终的文本语义表示。

如图4所示为本发明一实施例提供的一种文本语义编码系统的结构示意图，该系统可执行上述任意实施例所述的文本语义编码方法，并配置在终端中。

本实施例提供的一种文本语义编码系统包括：语义编码确定程序模块11，交互匹配程序模块12和语义编码程序模块13。

其中，语义编码确定程序模块11用于分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；交互匹配程序模块12用于将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；语义编码程序模块13用于将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。

进一步地，所述基于多头注意力机制的交互匹配层至少包括：字-词-字注意力机制的匹配交互层；

进一步地，所述语义编码确定程序模块用于：

进一步地，所述字编码器、词编码器还包括门控单元；

语义编码确定程序模块还用于：基于所述字编码器、词编码器的门控单元将所述第一字语义编码以及所述第二字语义编码、所述第一词语义编码以及所述第二词语义编码融合，确定包含字和上下文的第三字语义编码以及包含词和上下文的第三词语义编码。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的文本语义编码方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的文本语义编码方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的文本语义编码方法的步骤。

本申请实施例的客户端以多种形式存在，包括但不限于：

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据处理功能的电子装置。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种文本语义编码方法，包括：

将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的匹配交互层；其中，所述基于多头注意力机制的匹配交互层至少包括：字-词-字注意力机制的匹配交互层；

在所述线性变换后进行预设数量的缩放点积注意力机制，将得到预设数量的缩放点积结果进行拼接，将拼接后的缩放点积结果进行线性变换，得到所述字-词-字注意力机制的匹配交互层的融合字词语义编码；

将所述匹配交互层得到的融合字词语义编码确定为所述文本的字词语义编码。

2.根据权利要求1所述的方法，其中，所述分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码包括：

3.根据权利要求2所述的方法，其中，所述字编码器、词编码器还包括门控单元；

基于所述字编码器、词编码器的门控单元将所述第一字语义编码以及所述第二字语义编码、所述第一词语义编码以及所述第二词语义编码融合，确定包含字和上下文的第三字语义编码以及包含词和上下文的第三词语义编码。

4.一种文本语义编码系统，包括：

交互匹配程序模块，用于将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的匹配交互层；其中，所述基于多头注意力机制的匹配交互层至少包括：字-词-字注意力机制的匹配交互层；

语义编码程序模块，用于将所述匹配交互层得到的融合字词语义编码确定为所述文本的字词语义编码。

5.根据权利要求4所述的系统，其中，所述语义编码确定程序模块用于：

6.根据权利要求5所述的系统，其中，所述字编码器、词编码器还包括门控单元；

7.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述方法的步骤。

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3中任一项所述方法的步骤。