CN109325103B - 一种序列学习的动态标识符表示方法、装置及系统 - Google Patents

Abstract

本发明提供了一种序列学习的动态标识符表示方法、装置及系统，所述方法包括：将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量；将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。使用本发明DTR模块的LSTM模型能够更快和更稳定的收敛，更好的理解未知标识符，并且能够提供更有竞争力的准确率，而且相比传统LSTM方法，其词汇量小得多。

Description

一种序列学习的动态标识符表示方法、装置及系统

技术领域

本发明涉及计算机软件工程技术领域，尤其是涉及一种序列学习的动态标识符表示方法、装置及系统。

背景技术

序列学习在自然语言处理(NLP)和程序源代码分析中扮演着重要角色。标识符的表示对于序列学习非常重要。

离散标识符的表示方法是序列学习中非常重要。通常的办法是使用一个静态一对一查找表来生成输入标识符的持续静态嵌入，并且使用一个单一嵌入来表示所有的标识符。但是，一个标识符的确切意义经常随着其出现的语境的变化而变化，所以静态嵌入方法不能总是准确的表达一个标识符的确切含义，尤其是对那些多义词和未知标识符而言。

发明内容

为解决以上问题，在本发明中，提出了一种基于记忆槽的动态标识符表示(Dynamic Token Representation，DTR)模块，考虑了动态表示生成过程中的当前语境。其中，标识符表示通过结合记忆槽中存储的语素向量而动态产生，考虑了当前语境。本发明设计了一个人工数据集(SAS)和两个NLP工业级数据集(Java source、Yahoo Answers)，分析了程序代码。

具体的，本发明提供了一种序列学习的动态标识符表示方法，包括：

将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量；

将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；

将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。

优选的，所述相关性运算采用相关性函数。

优选的，所述相关性函数是拼接函数。

优选的，所述组合向量是基于组合权重的概率分布函数。

优选的，所述记忆槽的数量是有限个而且每个槽之间互不相同。

优选的，所述Softmax子模块使用L1-正则化算法。

优选的，所述记忆槽是一个二维矩阵，以存储多义词向量，其中，每个槽内存储一个多义词向量。

优选的，所述线性运算的组合权重根据所述相关性向量而产生。

根据本发明的另一个方面，本发明还提供了一种序列学习的动态标识符表示模块，包括如下顺序相连的如下结构：

相关性子模块，将语境向量和标识符向量作为所述相关性子模块的输入，做相关性运算，得到相关性向量；

Softmax子模块，将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；

记忆槽，将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。

根据本发明的另一个方面，本发明还提供了一种序列学习的动态标识符表示装置，包括：一个如上所述的动态标识符表示模块，以及与所述动态标识符表示模块相串连的循环神经网络单元(RNN)或长短期记忆网络(LSTM)。

根据本发明的另一个方面，本发明还提供了一种序列学习的动态标识符表示系统，包括：一个或多个串联的如上所述的动态标识符表示装置。

本发明的优点在于：使用本发明DTR模块的LSTM模型能够更快和更稳定的收敛，更好的理解未知标识符，并且能够提供更有竞争力的准确率，而且相比传统LSTM方法，其词汇量小得多。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明序列学习的动态标识符表示方法流程图。

图2为本发明的一种DTR-RNN装置结构示意图。

图3为本发明的一种DTR-LSTM系统结构示意图。

图4为本发明的一种DTR-LSTM系统与传统LSTM在SAS人工数据集上的学习曲线示意图。

图5为本发明的一种DTR-LSTM系统与传统LSTM在Java source数据集上的学习曲线对比示意图。

图6为本发明的一种DTR-LSTM系统与传统LSTM在Yahoo！Answers数据集上的词汇量对于准确率的影响效果示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了解决静态嵌入方法面临的问题，本发明使用记忆槽来存储多义词向量，每个多义词向量放入一个对应的记忆槽中。然后标识符可以通过组合这些多义词向量而进行表示。由于组合权重是根据当前语境而动态产生的，所述表示就是动态的、语境相关的。另外，本发明的模块完全是可通用的：它可以适用于任何嵌入技术和任何一种基于循环神经网络(RNN)或长短期记忆网络(LSTM)的模型。

实施例1

图1为本发明序列学习的动态标识符表示方法流程图。包括如下步骤：

S1、将语境向量和标识符向量作为输入，输入相关性子模块中，做相关性运算，得到相关性向量。所述相关性运算可以采用很多相关性函数，最简单的相关性函数是拼接函数。设语境向量的维度为n，标识符向量的维度为m，则该拼接函数的维度为n+m。另一个可以采用的相关性函数是全连接变形的拼接函数。一个设计良好的相关性函数能够获得更好的性能。

S2、将所述相关性向量输入Softmax子模块中，做归一化运算(softmax)，得到组合向量。所述组合向量是基于组合权重的概率分布函数。无论组合权重是如何产生的，该归一化运算都是必需的。一旦完成归一化，那么结果向量(即上述组合向量)就可以认为是一个概率分布函数。然后，所述组合权重必须是稀疏的，这意味着每个标识符的相当数量的记忆槽应该是有限的和不同的。最后，softmax函数是简单而漂亮的。Softmax自然的将输入向量映射为概率分布。当应用L1-正则化时，softmax函数输出稀疏概率分布。

S3、将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。所述记忆槽是一个二维矩阵，存储多义词向量，其中，每个槽内存储一个多义词向量。基于这些槽的线性组合可以认为是标识符的表示。由于槽的组合权重是根据相关性向量而产生的，因此组合向量是语境相关的。

实施例2

根据本发明的另一个方面，本发明还提供了一种序列学习的动态标识符表示模块。包括如下顺序相连的如下结构：

相关性子模块，将语境向量和标识符向量作为所述相关性子模块的输入，做相关性运算，得到相关性向量。所述相关性运算可以采用很多相关性函数，最简单的相关性函数是拼接函数。设语境向量的维度为n，标识符向量的维度为m，则该拼接函数的维度为n+m。另一个可以采用的相关性函数是全连接变形的拼接函数。一个设计良好的相关性函数能够获得更好的性能。

Softmax子模块，将所述相关性向量输入Softmax子模块中，做归一化运算(softmax)，得到组合向量。所述组合向量是基于组合权重的概率分布函数。无论组合权重是如何产生的，该归一化运算都是必需的。一旦完成归一化，那么结果向量(即上述组合向量)就可以认为是一个概率分布函数。然后，所述组合权重必须是稀疏的，这意味着每个标识符的相当数量的记忆槽应该是有限的和不同的。最后，softmax函数是简单而漂亮的。Softmax自然的将输入向量映射为概率分布。当应用L1-正则化时，softmax函数输出稀疏概率分布。

记忆槽，将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示。所述记忆槽是一个二维矩阵，存储多义词向量，其中，每个槽内存储一个多义词向量。基于这些槽的线性组合可以认为是标识符的表示。由于槽的组合权重是根据相关性向量而产生的，因此组合向量是语境相关的。

实施例3

如图2所示，根据本发明的另一个方面，本发明还提供了一种DTR-RNN模型。所述DTR-RNN模型是具有DTR模块的一群RNN变体。这里的DTR模块的结构和功能与上述实施例2中完全相同，在此不再赘述。普通的RNN将查找表产生的标识符嵌入作为单元输入，而本发明的DTR-RNN模型则产生了动态标识符表示作为RNN单元的输入。如此，当前语境信息就被编码入RNN单元之中，这样DTR模块将隐藏状态作为语境向量。然后DTR模块的输出作为RNN单元的输入。对每个时间步而言，DTR模块将当前时间步的标识符(作为标识符向量)和上一个时间步的隐藏状态(作为语境向量)作为输入，并向RNN单元输出一个动态标识符表示。这里的RNN单元表示RNN的各种可能变体，包括传统RNN和LSTM(长短期记忆网络)等。

训练过程仍然使用反向传播算法(BP)和梯度下降算法(GD)。在每个反向传播步骤，所述记忆槽可以被认为是一个矩阵，并且与其他训练参数一样进行更新。

可通用性是本发明的DTR模块的最显著特征之一。DTR模块嵌入RNN结构中作为插入模块，介于词嵌入阶段和RNN计算阶段之间。如此，任何类型的RNN变体和任何嵌入产生方法都可以使用本发明所述的DTR模块。

实施例4

如图3所示，根据本发明的另一个方面，本发明还提供了一种DTR-LSTM系统，其具有DTR模块。这里的DTR模块的结构和功能与上述实施例2中完全相同，在此不再赘述。所述DTR-LSTM系统包括多个LSTM单元和多个DTR模块。所述LSTM单元与基础LSTM一样，具有计算和更新功能。DTR模块产生动态标识符表示。

实验及结果

为了展示本发明的技术效果，本发明还做了对照实验。结果如下：

表1

表1显示了DTR-LSTM和LSTM在SAS人工数据集上的测试准确率结果。左边一栏是收敛规则(Criterion of Convergence)。从该表可以看出，DTR-LSTM比LSTM更快的满足收敛。DTR-LSTM在大概10个迭代次数(epoch)之后就满足了最后的收敛，而LSTM则需要在40个迭代次数之后才能满足最后的收敛。如图4所示，DTR-LSTM稳定而快速的到达最终收敛，而LSTM则缓慢的多。图4上的箭头表示使用早停(early-stopping)时的可能停止点。LSTM的学习曲线具有多得多的箭头，表明LSTM学习序列的能力更为笨拙。而DTR-LSTM可以稳定而快速的学习序列。另外，LSTM的学习曲线增长的更为“丑陋”，而DTR-LSTM的学习过程像教科书案例一样，更为优雅。

表2

表2的上半部分表示查找表的超参数和LSTM及DTR-LSTM的记忆槽的参数情况，下半部分表示每种模型在Java Source数据集上的准确率的实验结果。其中，B代表LSTM，D代表DTR，LT代表查找表。而DTR-LSTM的准确率表现要远远好于LSTM，即使当查找表被极度压缩时也不例外。图5的学习曲线表明，证明了DTR模块帮助LSTM更快和更稳定的到达收敛，同时在词汇量还很小的情况下实现了高准确率。

Java Source数据集提供了很多未知标识符，该数据集的试验结果达到了我们的预期，即理解未知标识符。并且DTR-LSTM的性能证实了DTR模块的创意是正确的。

表3

表3的上半部分表示查找表的超参数和LSTM及DTR-LSTM的记忆槽的参数情况，下半部分表示每种模型在Yahoo！Answers数据集上的准确率的实验结果。其中，B代表LSTM，D代表DTR，LT代表查找表。从表中可以看出，DTR-LSTM(S和L)在大概2个迭代次数的时候满足收敛，而LSTM(S和L)至少需要4个迭代次数才能够满足收敛。因此，可以得到结论是，DTR模块帮助更快和更稳定的达到瘦脸。

词汇量大小在训练中很关键，而DTR模块的一个主要目标就是要压缩词汇量。因此我们进行了另一项实验来评估查找表大小(或词汇量大小)对于DTR-LSTM和LSTM的影响。对于DTR模块，我们有经验认为槽的数量应该等于或者数量级上与词汇量大小相同，因此词汇量大小设置为0.3k到10k。训练Yahoo！Answers数据集非常耗费时间，原因是它的数据量太大，因此本发明使用早停技术来减少训练时间。

如图6所示，为本发明的一种DTR-LSTM系统与传统LSTM在Yahoo！Answers数据集上的词汇量对于准确率的影响效果示意图。横轴为词汇量的log值，纵轴为准确率。可见，当词汇量大小从大到小减少时(图6从右至左移动)，LSTM的准确率几乎按照线性降低，而DTR-LSTM的准确率在到达一定阈值后几乎不再下降。这表明对查找表的压缩是可行的。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种序列学习的动态标识符表示方法，其特征在于，包括：

将语境向量和标识符向量作为输入，输入相关性子模块中，采用相关性函数做相关性运算，得到相关性向量；

将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；所述组合向量是基于组合权重的概率分布函数；

将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示；所述记忆槽是一个二维矩阵，以存储多义词向量，其中，每个槽内存储一个多义词向量。

2.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：

所述相关性函数是拼接函数。

3.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：

所述记忆槽的数量是有限个而且每个槽之间互不相同。

4.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：

所述Softmax子模块使用L1-正则化算法。

5.根据权利要求1所述的序列学习的动态标识符表示方法，其特征在于：

所述线性运算的组合权重根据所述相关性向量而产生。

6.一种序列学习的动态标识符表示模块，其特征在于，包括如下顺序相连的如下结构：

相关性子模块，将语境向量和标识符向量作为所述相关性子模块的输入，采用相关性函数做相关性运算，得到相关性向量；

Softmax子模块，将所述相关性向量输入Softmax子模块中，做归一化运算，得到组合向量；所述组合向量是基于组合权重的概率分布函数；

记忆槽，将所述组合向量输入记忆槽，使得所述记忆槽中的槽之间根据所述组合向量做线性运算，得到所述动态标识符表示；所述记忆槽是一个二维矩阵，以存储多义词向量，其中，每个槽内存储一个多义词向量。

7.一种序列学习的动态标识符表示装置，其特征在于，包括：

一个如权利要求6所述的动态标识符表示模块，以及与所述动态标识符表示模块相串连的循环神经网络单元(RNN)或长短期记忆网络(LSTM)。

8.一种序列学习的动态标识符表示系统，其特征在于，包括：

一个或多个串联的如权利要求7所述的动态标识符表示装置。

Images