CN111488137B - 一种基于共同注意力表征学习的代码搜索方法 - Google Patents

Abstract

本发明涉及一种基于共同注意力表征学习的代码搜索方法，包括取每个代码特征和该代码所对应的描述；分别采用三个独立的CNN神经网络嵌入方法名、词语和描述，用LSTM网络嵌入API序列得到相应的特征矩阵；然后将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵；引入经神经网络学习的参数矩阵，得到用于代码和其描述的共同注意力表征；将大量相互匹配的代码和描述作为模型输入，同步更新网络参数，得到优化的模型；代码搜索预测，将相关度排在前k个的向量c所对应的代码作为推荐列表输出。该方法在MRR方面表现优异，而且本发明模型结构简单，在模型训练上的运行速度和相应速度上都很快。

Description

一种基于共同注意力表征学习的代码搜索方法

技术领域

本发明涉及代码搜索技术领域，特别涉及一种基于共同注意力表征学习的代码搜索方法。

背景技术

在软件开发过程中，开发人员通常花费19％的时间搜索一些可重用的代码示例，以节省他们的开发工作。为了提高开发效率，开发人员经常从大规模开放源代码存储库(例如GitHub)中搜索和重用现有代码。

早期研究首先利用信息检索(IR)技术，例如基于Lucene的模型Koders，Krugle和Google代码搜索。但是这些模型只是将代码和搜索查询作为普通的Web搜索引擎文本，而忽略了上下文中的编程信息。为了捕获代码和查询中的编程语义，研究人员提出了许多模型。代表性模型之一是Erik等人提出的Sourcerer。将Lucene与代码结构信息集成在一起。另一个是Fei等人提出的CodeHow，它将用户查询识别为相关API，并使用扩展布尔模型执行代码搜索。

然而，上述模型未能填补代码中的编程语言和查询中的自然语言之间的语义鸿沟。为了解决这个问题，Gu等人提出了一种基于深度学习的模型，称为DeepCS。这是最先进的方法之一。DeepCS通过两个独立的LSTM(长期和短期记忆)将代码和查询嵌入到向量空间，最后将余弦相似度更高的代码返回给搜索查询。他们的实验结果表明，DeepCS的性能明显优于传统模型，包括Sourcerer和CodeHow。

尽管DeepCS相对于传统模型具有优势，但我们发现，联合嵌入并不能完全捕获代码和查询之间的语义相关性。例如，图1，DeepCS只能将查询中的单词“file”与代码中的两个API“createNewFile()”和“FileWriter()”相关联，因为它们都包含关键字“file”。但是，根据开发人员的理解，其他四个API也应与关键字“file”密切相关，包括“BufferedWriter()”，“write()”，“flush()”和“close()”。在实践中,任务(或查询)描述中使用的单词与任务相关的API之间会存在语义上的差距。因此，我们假设在没有完全理解这种语义相关性的情况下，DeepCS不太可能将预期的代码返回给开发人员的查询。

发明内容

针对现有技术存在的上述问题，本发明的要解决的技术问题是：如何提供一种可以准确有效进行代码检索的方法，该方法可以捕获代码和查询之间的依赖关系。

为解决上述技术问题，本发明采用如下技术方案：一种基于共同注意力表征学习的代

码搜索方法，包括如下步骤：

S100：取每个代码特征和该代码所对应的描述，每个代码都包含三个特征：方法名，API序列和词语；分别采用三个独立的CNN神经网络嵌入方法名、词语和描述，用LSTM网络嵌入API序列得到相应的特征矩阵；

S200：然后将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵；

S300：通过引入经神经网络学习的参数矩阵，计算代码和与其对应的描述的相关矩阵，并沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征；

S400：将大量相互匹配的代码和描述作为CARLCS-CNN模型的输入，通过损失函数，采用梯度下降法同步更新所述三个独立的CNN神经网络和LSTM网络的参数，得到优化的CARLCS-CNN模型；

S500：代码搜索预测，采用S100的方法将大规模代码库中代码嵌入优化的CARLCS-CNN模型中，将大规模代码库中的每个代码均由一个向量c表示，研发人员将待预测的代码输入优化的CARLCS-CNN模型中，得到待预测向量p，计算待预测向量p与每个向量c之间的相关度，将相关度排在前k个的向量c所对应的代码作为推荐列表输出。

作为改进，所述S100中CNN神经网络嵌入方法名得到特征矩阵M的过程如下：

S110：提取方法名中的单词序列，令m_i∈R^k为与方法名序列中第i个单词相对应的k维单词向量，长度为n的序列表示为式(1.1)：

其中

是拼接运算符；

S111：从单词m_i：i+h-1的窗口生成特征c_i

c_i＝f(W_M*m_i：i+h-1+b)  (1.2)；

其中b∈R是偏差项，*是卷积算子，f是非线性函数，该过滤器应用于方法名序列m_i：h，m_2：h+1，...，m_n-h+1：n中每个可能的单词窗口，以生成特征图：

M_h＝[c₁，c₂，...，c_n-h+1]  (1.3)；

S112：使用W_M∈R^k×h三种类型的过滤器，三个过滤器窗口大小h在2到4之间变化，每种类型的过滤器的数量为d，通过所述三个过滤器实现卷积运算，以提取三个独特的特征图，分别为M_h1，M_h2，M_h3∈R^d×(n-h+1)，然后，将三个特征图拼接为一个统一的特征图得到特征矩阵M：

作为改进，所述S100中CNN神经网络嵌入词语得到特征矩阵T的过程如下：

一组长度为n的k维单词被连接为t_1：n，使用三种类型的过滤器W_T∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图T_h1，T_h2，T_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵T中：

c_i＝f(W_T*t_i：i+h-1+b)  (2.1)；

T_h＝[c₁，c₂，...，c_n-h+1]  (2.2)；

作为改进，所述S100中LSTM网络嵌入API序列得到特征矩阵A的过程如下：

S130：a_i∈R^k是API序列中第i个词的k维词向量，长度为n的API序列拼接为a_1：n，隐藏状态h_i∈R^d为时间步长i的表示，可以通过双向LSTM获得，隐藏状态的表示如下所示：

S131：时间步骤i的最终隐藏状态h_i是正向LSTM和反向LSTM的拼接：

S132：将所有输出的隐藏状态连接到特征矩阵A∈R^d×n来嵌入API序列：

其中n是隐藏状态的数量。

作为改进，所述S100中CNN神经网络嵌入描述得到特征矩阵的过程如下：

d_i∈R^k是与描述中的第i个词相对应的k维词向量，长度描述表示为d_1：n，使用三种类型的过滤器W_D∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图D_h1，D_h2，D_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵D：

c_i＝f(W_D*d_i：i+h-1+b)  (4.1)；

D_h＝[c₁，c₂，...，c_n-h+1]  (4.2)；

作为改进，所述S200中将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵过程如下：

将三个代码特征嵌入到三个矩阵之后，将它们合并为一个矩阵C∈R^d×p作为代码的特征矩阵(5.1)：

作为改进，所述S300中计算代码和与其对应的描述的相关矩阵过程如下：

通过代码特征和该代码所对应的描述后，可以得到两个特征矩阵C∈R^d×p和D∈R^{d ×q}，在此，p和q分别表示嵌入代码特征和代码所对应的描述的大小，通过引入经神经网络学习的参数矩阵U∈R^d×d，计算如下的相关矩阵F∈R^d×d：

F＝tanh(C^TUD)  (6.1)；

其中，F中的每个元素F_i，j表示两个对齐向量之间的语义相关性，即第i个代码字C_i，第j个描述字D_j。

作为改进，所述S300中沿着相关矩阵行和列进行最大池化操作，得到用于代码和其

描述的共同注意力表征的过程如下：

S310：F上的行和列进行最大池化操作，以获得代码和该代码所对应的描述的语义向量g^C∈R^p和g^D∈R^q，g^C的第i个元素表示代码C中第i个单词与其描述D中最相关的单词之间的重要性得分，同样，g^D的第i个元素表示描述D中第i个单词与代码C中最相关的词之间的重要性得分；

所述最大池化操作如下：

其中，语义向量g^C和g^D通过如下方式获得：

S311：在语义向量g^C和g^D上使用softmax激活函数，以生成代码和描述的注意力向量a^C∈R^p和a^D∈R^q；

S312：在特征矩阵C，D和注意力向量a^C，a^D之间实现点积，以分别生成用于代码和描述的共同注意力表征r^C∈R^d和r^D∈R^d：

r^C＝Ca^C  (7.7)；

r^D＝Da^D  (7.8)。

作为改进，所述S400得到优化的CARLCS-CNN模型的过程如下：

S410:基本假设是学习一个映射，该映射将生成更多相似的代码与其对应的描述的表征，该映射将描述的表征和正确的代码靠近在一起，同时最小化以下的损失：

其中θ表示模型参数，G表示训练数据集；

S411:使用Adam算法使损失函数最小化；

S412:注意力向量用于引导池化层在相关性矩阵F上执行列级和行级最大池化，在梯度下降阶段，模型参数θ通过反向传播更新，代码和描述的表征r^C和r^D也同时更新。

作为改进，所述S500中计算待预测向量p与每个向量c之间相关度的过程如下：

采用如下公式计算待预测向量p与每个向量c之间的相关度：

相对于现有技术，本发明至少具有如下优点：

本发明提供的方法利用与共同注意力机制相关联的CNN在独立嵌入后学习代码和查询的相互依赖的表征。自动化测试表明，本发明提供的方法在MRR方面表现优异，而且，本发明方法中的模型结构不复杂，在模型训练上的运行速度和相应速度上都很快。

附图说明

图1为本发明方法的流程简图。

图2为本发明方法的总体框架图。

图3为自动化测试中两个查询和对应的标签代码。

图4为CARLCS-CNN和DeepCS的性能与描述长度的关系。

图5为CARLCS-CNN的性能与卷积核数量的关系。

图6为现有方法检索代码时，代码与描述中相关联的词语的示例。

具体实施方式

下面对本发明作进一步详细说明。

本发明方法首先使用卷积神经网络(CNN)来嵌入代码和查询，因为CNN能更好地捕获查询和代码中的信息关键字。然后，CARLCS-CNN通过共同注意力机制学习嵌入后代码和查询的相互依赖的表征。共同注意力机制基于嵌入代码和查询来学习相关性矩阵，并利用对该矩阵的行/列最大池化来使模型专注于代码和查询之间相关联的关键字。这样，它们的语义相关性可以直接影响相应的表征。

参见图1和图2，一种基于共同注意力表征学习的代码搜索方法，包括如下步骤：

S100:取每个代码特征和该代码所对应的描述，每个代码都包含三个特征：方法名，API序列和词语；分别采用三个独立的CNN神经网络嵌入方法名、词语和描述，用LSTM网络嵌入API序列得到相应的特征矩阵。

作为改进，所述S100中CNN神经网络嵌入方法名得到特征矩阵M的过程如下：

方法名的单词序列是通过驼峰分词来提取的。例如，方法名“readFile”被分为单词“read”和“file”。很容易发现方法名的单词序列的长度很短。我们经验性地发现训练数据中每个方法名序列的平均长度为2.3。方法名序列是对代码功能的详尽总结，这意味着方法名称序列包含了代码的抽象语义特征。而CNN神经网络擅长提取鲁棒的抽象特征。

S110:提取方法名中的单词序列，令m_i∈R^k为与方法名序列中第i个单词相对应的k维单词向量，长度为n的序列表示为式(1.1)：

其中

是拼接运算符；通常，让m_i：i+j表示单词m_i，m_i+1，...，m_i+j.的拼接，卷积运算涉及一个卷积核W_M∈R^k×h，该卷积核应用于每个单词的窗口以产生特征；

S111：从单词m_i：i+h-1的窗口生成特征c_i

c_i＝f(W_M*m_i：i+h-1+b)  (1.2)；

其中b∈R是偏差项，*是卷积算子，f是非线性函数，例如双曲正切函数。该过滤器应用于方法名序列m_i：h，m_2：h+1，...，m_n-h+1：n中每个可能的单词窗口，以生成特征图：

M_h＝[c₁，c₂，...，c_n-h+1]  (1.3)；

S112：使用W_M∈R^k×h三种类型的过滤器，三个过滤器窗口大小h在2到4之间变化，每种类型的过滤器的数量为d，通过所述三个过滤器实现卷积运算，以提取三个独特的特征图，分别为M_h1，M_h2，M_h3∈R^d×(n-h+1)，然后，将三个特征图拼接为一个统一的特征图得到特征矩阵M：

作为改进，所述S100中CNN神经网络嵌入词语得到特征矩阵T的过程如下：

词语是从方法体中解析出来的单词包，在嵌入之前进行了数据预处理，数据预处理期间删除了重复的单词，停用词和Java关键字，这意味着词语是代码的信息关键字。

一组长度为n的k维单词被连接为t_1：n，使用三种类型的过滤器W_T∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图T_h1，T_h2，T_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵T中：

c_i＝f(W_T*t_i：i+h-1+b)  (2.1)；

T_h＝[c₁，c₂，...，c_n-h+1]  (2.2)；

作为改进，所述S100中LSTM网络嵌入API序列得到特征矩阵A的过程如下：

考虑到API序列的动态顺序特征，我们用LSTM进行API序列的嵌入。

S130：a_i∈R^k是API序列中第i个词的k维词向量，长度为n的API序列拼接为a_1：n，隐藏状态h_i∈R^d为时间步长i的表示，可以通过双向LSTM获得，，通常，在双向LSTM中，前向LSTM的隐藏状态

通过考虑其前一个记忆单元

先前的隐藏状态

和当前输入a_i来更新。同时，后向LSTM的隐藏状态

由其后面的存储单元

下一隐藏状态

和输入字向量a_i更新形成。隐藏状态的表示如下所示：

S131：时间步骤i的最终隐藏状态h_i是正向LSTM和反向LSTM的拼接：

S132：将所有输出的隐藏状态连接到特征矩阵A∈R^d×n来嵌入API序列：

其中n是隐藏状态的数量。

作为改进，所述S100中CNN神经网络嵌入描述得到特征矩阵的过程如下：

经研究发现描述的长度通常很短，发明人对1万个测试数据进行了统计研究，发现95.48％的描述中包含的单词数不超过20个，但是，描述中包含的信息性关键字反映了开发人员的意图。

d_i∈R^k是与描述中的第i个词相对应的k维词向量，长度描述表示为d_1：n，使用三种类型的过滤器W_D∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图D_h1，D_h2，D_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵D：

c_i＝f(W_D*d_i：i+h-1+b)  (4.1)；

D_h＝[c₁，c₂，...，c_n-h+1]  (4.2)；

S200：然后将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵。

具体地，所述S200中将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵过程如下：

将三个代码特征嵌入到三个矩阵之后，将它们合并为一个矩阵C∈R^d×p作为代码的特征矩阵(5.1)：

S300：通过引入经神经网络学习的参数矩阵，计算代码和与其对应的描述的相关矩阵，并沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征。

作为改进，所述S300中计算代码和与其对应的描述的相关矩阵过程如下：

通过代码特征和该代码所对应的描述后，可以得到两个特征矩阵C∈R^d×p和D∈R^{d ×q}，在此，p和q分别表示嵌入代码特征和代码所对应的描述的大小，通过引入经神经网络学习的参数矩阵U∈R^d×d，计算如下的相关矩阵F∈R^d×d：

F＝tanh(C^TUD)  (6.1)；

相关性矩阵F可以集中地注意到嵌入代码和描述字词的语义相关性。其中，F中的每个元素F_i，j表示两个对齐向量之间的语义相关性，即第i个代码字C_i，第j个描述字D_j。具体地，F中的第i行表示描述中的每个单词与第i个代码词的语义相关性，同样，F中的第j列表示代码中每个单词与第j个描述单词的语义相关性。

作为改进，所述S300中沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征的过程如下：

S310：F上的行和列进行最大池化操作，以获得代码和该代码所对应的描述的语义向量g^C∈R^p和g^D∈R^q，g^C的第i个元素表示代码C中第i个单词与其描述D中最相关的单词之间的重要性得分，同样，g^D的第i个元素表示描述D中第i个单词与代码C中最相关的词之间的重要性得分；

最大池化性能优于平均池化。这可以解释为最大池化可以捕获代码和描述中每个单词之间最重要的语义相关性(值最高的一个)。

所述最大池化操作如下：

其中，语义向量g^C和g^D通过如下方式获得：

S311：在语义向量g^C和g^D上使用softmax激活函数，以生成代码和描述的注意力向量a^C∈R^p和a^D∈R^q。softmax函数将第j个元素

和

转换为注意力比率

和

例如，a^C和a^D中的第j个元素的计算如下：

S312：在特征矩阵C，D和注意力向量a^C，a^D之间实现点积，以分别生成用于代码和描述的共同注意力表征r^C∈R^d和r^D∈R^d：

r^C＝Ca^C  (7.7)；

r^D＝Da^D  (7.8)。

S400：将大量相互匹配的代码和描述作为CARLCS-CNN模型的输入，通过损失函数，采用梯度下降法同步更新所述三个独立的CNN神经网络和LSTM网络的参数，得到优化的CARLCS-CNN模型。

作为改进，所述S400得到优化的CARLCS-CNN模型的过程如下：

S410：基本假设是学习一个映射，该映射将生成更多相似的代码与其对应的描述的表征，该映射将描述的表征和正确的代码靠近在一起，同时最小化以下的损失：

其中θ表示模型参数，G表示训练数据集，对于每个代码段c，都有一个肯定描述d+(对c的正确描述)和一个从d+池中随机选择的否定描述d-(对c的不正确描述)。sim表示代码和描述之间的相似性得分。β是一个小的边距约束。本发明用余弦相似度测量并将固定的β值设置为0.05。

S411：使用Adam算法使损失函数最小化；Adam算法为现有技术，此处不再赘述。

在训练过程中，共同注意力机制会学习代码和描述的表征之间的相似性度量。这种相似性度量用于计算两个方向上的代码和描述的注意力向量。

S412：注意力向量用于引导池化层在相关性矩阵F上执行列级和行级最大池化，在梯度下降阶段，模型参数θ通过反向传播更新，代码和描述的表征r^C和r^D也同时更新。

S500：代码搜索预测，采用S100的方法将大规模代码库中代码嵌入优化的CARLCS-CNN模型中，将大规模代码库中的每个代码均由一个向量c表示，研发人员将待预测的代码输入优化的CARLCS-CNN模型中，得到待预测向量p，计算待预测向量p与每个向量c之间的相关度，将相关度排在前k个的向量c所对应的代码作为推荐列表输出。

作为改进，所述S500中计算待预测向量p与每个向量c之间相关度的过程如下：

采用如下公式计算待预测向量p与每个向量c之间的相关度即计算待预测向量p与每个向量c之间的余弦相似度：

对比实验：

从以下五个方向出发(RQ)：

RQ1：模型CARLCS-CNN的性能？

对比CARLCS-CNN的性能是否优于最新的代码搜索模型DeepCS。如果CARLCS-CNN显示出优于DeepCS的优势，则CARLCS-CNN学习到的共同注意力表征将对代码搜索很有帮助。

RQ2：模型CARLCS-CNN的效率？

比较CARLCS-CNN和DeepCS之间的训练和测试时间，并测试了所提出的模型是否可以大量节省计算资源。更快的模型表明在实践中更有价值的应用。

RQ3：CNN组件如何影响模型性能？

本发明使用CNN嵌入代码和描述，而DeepCS使用的LSTM。此RQ旨在评估，与LSTM相比，CNN是否可以更好地理解查询和代码中的单词语义。

RQ4：三个代码特征对模型性能的影响。

在CARLCS-CNN中，代码分别由三个特征(即方法名，API序列和词语)表示。为了分析它们对模型性能的影响，我们分别运行了包含单个特征的CARLCS-CNN模型，并研究将这三个特征一起使用是否是最佳选择。

RQ5：不同的参数设置对模型性能的影响。

CARLCS-CNN包含两个重要参数，这些参数极大地影响了模型的性能。第一个是CNN中的过滤器数量，该过滤器可从代码和查询中学习深度表征。另一个是描述的长度，它决定了代码描述中可用于模型优化的信息量。

数据集

我们对Gu等人的训练和测试数据进行了实验。训练数据包含从2008年8月到2016年6月创建的GitHub存储库中的至少18个星标的Java项目中的18233872个代码方法。在Gu等人的测试数据中，有10,000个代码查询对。为了评估CARLCS-CNN，我们将10k个查询用作模型输入，而将相应的代码视为标签。这种自动化评估可以避免人工检查中的偏差，并确保测试规模。表1显示了30个查询示例，图3显示了两个相应的代码示例。表2列出了查询中字数的分布。我们可以观察到95.48％的查询包含不超过20个单词，因为开发人员更喜欢信息丰富的关键字进行代码搜索。

表1为自动化测试集中30个查询例子。

表2为自动化测试集中1万个查询的字数统计

评价指标

为了评估所提出的模型CARLCS-CNN的性能，我们利用了两个常见的评估指标：Recall@k和MRR。详细信息如下：

Recall@k:与之相关的代码能排在列表的前k个位置的查询数量的比例：

Q是我们的自动评估中的10,000个查询，σ是一个指标函数，如果可以在排名前k的列表中找到第i个查询(Qi)对应的代码，则返回1；否则返回0。我们分别评估了Recall@1，Recall@5和Recall@10。

MRR:所有查询的倒数排名的平均值。MRR的计算过程为：

其中Q是自动化测试中的1万个查询；

是与排名列表中的第i个查询(Qi)相关的标签代码的排名。与Recall不同，MRR使用倒数排名作为衡量的权重。同时，由于开发人员更喜欢通过短代码检验来找到期望的代码，因此，我们仅仅在前十名列表中测试MRR。换句话说，当对Qi的排名不超过10时，则1/RankQi等于0。

试验结果：

RQ1:模型性能

表3比较了最新模型DeepCS和CARLCS-CNN模型之间的代码搜索性能。结果显示DeepCS的MRR为0.408，Recall@1/5/10的值分别为0.413/0.591/0.683。CARLCS-CNN的MRR为0.517，Recall@1/5/10的值分别为0.528/0.698/0.773。CARLCS-CNN在Recall@1，Recall@5，Recall@10和MRR方面比DeepCS分别提高了27.84％，18.10％，13.17％和26.72％。

此外，为了分析CARLCS-CNN和DeepCS之间的统计差异，、对CARLCS-CNN和DeepCS的MRR应用了Wilcoxon符号秩检验，显著性水平为5％。p值小于0.01，，表明CARLCS-CNN相对于DeepCS的改善在统计学意义上是显着的。这些结果表明，共同注意力表征学习对代码搜索是有益的。

表3为CARLCS-CNN模型与DeepCS模型之间代码搜索性能的对比

结论：我们提出的CARLCS-CNN模型在MRR和Recall两个指标上能够显著地提升DeepCS模型。

RQ2:模型效率

表4比较了在Gu等人的数据集上的训练和测试时间。在相同的实验设置下进行效率比较。结果表明，DeepCS花费约50个小时进行训练，并花费1.2秒响应每个代码搜索查询。模型CARLCS-CNN需要10个小时的时间训练，响应每个查询需要0.3秒。因此，与DeepCS相比，CARLCS-CNN在模型训练中的速度快5倍，在模型测试中的速度快4倍。这些结果表明，考虑到实际使用情况，CARLCS-CNN是更好的选择。CARLCS-CNN更快，因为它是基于CNN的模型。它的网络结构比基于LSTM的DeepCS更简单，因此整个工作过程可以更快。所有实验均在一台具有256GB内存的Nvidia Titan V GPU的服务器上实施。

表4为CARLCS-CNN模型与DeepCS模型在训练过程和测试过程所用时间的对比

结论：与DeepCS模型相比，CARLCS-CNN模型在训练中快5倍，在模型测试中快4倍。

RQ3:CNN组件的影响

CNN是CARLCS-CNN中嵌入代码和查询的重要组件。与DeepCS不同，我们用CNN代替LSTM。因为我们假设CNN可以更好地捕获查询和代码中的含有丰富信息的单词。为了研究上述替换对模型性能的影响，我们还使用DeepCS的原始LSTM实施了一个共同注意力表征学习模型。我们将这样的模型命名为CARLCS-LSTM。

表5显示CARLCS-LSTM的MRR为0.482，Recall@1/5/10分别为0.490/0.661/0.741。我们还可以注意到CARLCS-LSTM的MRR与CARLCS-CNN相比降低了6.77％，表明将CNN嵌入与共同注意力的表征学习相结合可以进一步提高代码搜索的效率。此外，我们可以观察到，尽管CARLCS-LSTM和DeepCS共享相同的嵌入框架，但CARLCS-LSTM中的共同关注力表征显示出优势，其MRR比DeepCS的MRR高18.14％。

表5为CARLCS-LSTM模型与CARLCS-CNN模型之间代码搜索性能的对比。

结论：对于基于共同注意力表征学习的代码搜索，与LSTM相比，CNN是更好的词嵌入选择。

RQ4:代码各特征的影响

所有比较的模型DeepCS，CARLCS-LSTM和CARLCS-CNN都使用三种代码特征作为输入，包括方法名(M)，API序列(A)和词语(T)。为了研究这三个特征的相对重要性，我们一次运行了三个具有单独特征的模型。从表6中，我们可以观察到三个模型显示出相似的结果。具体来说，当仅使用一个特征作为模型输入时，其性能会大大降低，DeepCS的MRR(M/A/T)与DeepCS(M+A+T)相比从0.408下降了超过26.72％；CARLCS-LSTM(M/A/T)的MRR相对于CARLCS-LSTM(M+A +T)从0.482降低了至少30.71％；CARLCS-CNN(M/A/T)的MRR下降了27.66％，而CARLCS-CNN(M+A +T)的MRR则为0.517。因此，组合三个代码特征优于仅使用一个代码特征。另外，我们可以注意到特征M(方法名)对模型性能的影响最大。这是因为方法名是代码的简短摘要，并且通常使用与查询相同的词。

此外，为了调查这三个特征的必要性，表7显示了通过一次删除一个特征对它们进行灵敏度分析的方法。我们可以观察到，所有特征都对模型的性能有利，因为当删除方法名，API序列和词语特征时，MRR分别下降了39.07％，20.12％和11.80％。

表6为DeepCS模型、CARLCS-LSTM模型与CARLCS-CNN模型应用不同特征后搜索性能的对比

表7为CARLCS-CNN模型三个特征的敏感性分析

结论：将代码的三个特征全部作为模型的输入是有必要的；其中方法名对模型的性能影响最大。

RQ5：参数设置的影响

在CARLCS-CNN中，描述长度和过滤器数量是影响代码搜索效率的两个重要参数。描述长度决定了描述中要考虑多少信息以进行模型优化。图4显示了当长度设置为60时，CARLCS-CNN的MRR达到最佳。随着长度的增加性能将不再提高，但会增加模型的复杂性，60是描述长度的最佳选择。对于DeepCS，我们可以观察到理想的描述长度为30，但与CARLCS-CNN不同，添加该长度对模型性能有负面影响。这种比较表明，CARLCS-CNN对描述中的噪声具有鲁棒性。图5展示了CNN中使用各种数量的过滤器的CARLCS-CNN的性能。我们可以观察到，在大多数情况下，无论过滤器数量急剧增加，CARLCS-CNN都显示出稳定的性能，但是当过滤器数量为250时，CARLCS-CNN可获得最佳性能。因此，选择合适的过滤器数量对于模型优化是必要的。

结论：对于CARLCS-CNN模型，描述长度的最佳选择是60，将过滤器数量设置为250更有利于提升代码搜索的性能。

本发明提供的模型利用与共同注意力机制相关联的CNN在独立嵌入后学习代码和查询的相互依赖的表征。自动化测试表明，CARLCS-CNN在MRR方面明显优于DeepCS26.72％。此外，由于CARLCS-CNN的网络结构不复杂，在模型训练上的运行速度比DeepCS快5倍，在模型测试上快4倍。因此，共同注意力表征学习对于代码搜索是有益的。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于共同注意力表征学习的代码搜索方法，其特征在于，包括如下步骤：

S100：取每个代码特征和该代码所对应的描述，每个代码都包含三个特征：方法名，API序列和词语；构建CARLCS-CNN模型，所述CARLCS-CNN模型包括采用三个独立的CNN神经网络嵌入方法名、词语和描述，用LSTM网络嵌入API序列得到相应的特征矩阵；

所述CNN神经网络嵌入方法名得到特征矩阵M的过程如下：

S110：提取方法名中的单词序列，令m_i∈R^k为与方法名序列中第i个单词相对应的k维单词向量，长度为n的序列表示为式(1.1)：

其中

是拼接运算符；

S111：从单词m_i：i+h-1的窗口生成特征c_i

c_i＝f(W_M*m_i：i+h-1+b)     (1.2)；

其中b∈R是偏差项，*是卷积算子，f是非线性函数，该过滤器W_M应用于方法名序列m_i：h，m_2：h+1，...，m_n-h+1：n中每个可能的单词窗口，以生成特征图：

M_h＝[c₁，c₂，...，c_n-h+1]    (1.3)；

S112：使用W_M∈R^k×h三种类型的过滤器，三个过滤器窗口大小h在2到4之间变化，每种类型的过滤器的数量为d，通过所述三个过滤器实现卷积运算，以提取三个独特的特征图，分别为M_h1，M_h2，M_h3∈R^d×(n-h+1)，然后，将三个特征图拼接为一个统一的特征图得到特征矩阵M：

所述CNN神经网络嵌入词语得到特征矩阵T的过程如下：

一组长度为n的k维单词被连接为t_1：n，使用三种类型的过滤器W_T∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图T_h1，T_h2，T_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵T中：

c_i＝f(W_T*t_i：i+h-1+b)    (2.1)；

T_h＝[c₁，c₂，...，c_n-h+1]    (2.2)；

所述LSTM网络嵌入API序列得到特征矩阵A的过程如下：

S130：a_i∈R^k是API序列中第i个词的k维词向量，长度为n的API序列拼接为a_1：n，隐藏状态h_i∈R^d为时间步长i的表示，可以通过双向LSTM获得，隐藏状态的表示如下所示：

S131：时间步骤i的最终隐藏状态h_i是正向LSTM和反向LSTM的拼接：

S132：将所有输出的隐藏状态连接到特征矩阵A∈R^d×n来嵌入API序列：

其中n是隐藏状态的数量；

所述CNN神经网络嵌入描述得到特征矩阵的过程如下：

d_i∈R^k是与描述中的第i个词相对应的k维词向量，长度描述表示为d_1：n，使用三种类型的过滤器W_D∈R^k×h，其窗口大小h从2到4进行卷积，每种类型的过滤器的数量为d，将三种类型的过滤器应用于每个单词的窗口，得到三个对应的特征图D_h1，D_h2，D_h3∈R^d×(n-h+1)，将三个特征图拼接为一个统一的特征图得到特征矩阵D：

c_i＝f(W_D*d_i：i+h-1+b)    (4.1)；

D_h＝[c₁，c₂，...，c_n-h+1]    (4.2)；

S200：然后将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵；

S300：通过引入经神经网络学习的参数矩阵，计算代码和与其对应的描述的相关矩阵，并沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征；

S400：将大量相互匹配的代码和描述作为CARLCS-CNN模型的输入，通过损失函数，采用梯度下降法同步更新所述三个独立的CNN神经网络和LSTM网络的参数，得到优化的CARLCS-CNN模型；

S500：代码搜索预测，采用S100的方法将大规模代码库中代码嵌入优化的CARLCS-CNN模型中，将大规模代码库中的每个代码均由一个向量c表示，研发人员将待预测的代码输入优化的CARLCS-CNN模型中，得到待预测向量p，计算待预测向量p与每个向量c之间的相关度，将相关度排在前k个的向量c所对应的代码作为推荐列表输出。

2.如权利要求1所述的基于共同注意力表征学习的代码搜索方法，其特征在于，所述S200中将方法名，API序列和词语对应的特征矩阵合并为一个矩阵作为每个代码的特征矩阵过程如下：

将三个代码特征嵌入到三个矩阵之后，将它们合并为一个矩阵C∈R^d×p作为代码的特征矩阵(5.1)：

3.如权利要求2所述的基于共同注意力表征学习的代码搜索方法，其特征在于，所述S300中计算代码和与其对应的描述的相关矩阵过程如下：

通过代码特征和该代码所对应的描述后，可以得到两个特征矩阵C∈R^d×p和D∈R^d×q，在此，p和q分别表示嵌入代码特征和代码所对应的描述的大小，通过引入经神经网络学习的参数矩阵U∈R^d×d，计算如下的相关矩阵F∈R^d×d：

F＝tanh(C^TUD)    (6.1)；

其中，F中的每个元素F_i，j表示两个对齐向量之间的语义相关性，即第i个代码字C_i，第j个描述字D_j。

4.如权利要求3所述的基于共同注意力表征学习的代码搜索方法，其特征在于，所述S300中沿着相关矩阵行和列进行最大池化操作，得到用于代码和其描述的共同注意力表征的过程如下：

S310：F上的行和列进行最大池化操作，以获得代码和该代码所对应的描述的语义向量g^C∈R^p和g^D∈R^q，g^C的第i个元素表示代码C中第i个单词与其描述D中最相关的单词之间的重要性得分，同样，g^D的第i个元素表示描述D中第i个单词与代码C中最相关的词之间的重要性得分；

所述最大池化操作如下：

其中，语义向量g^C和g^D通过如下方式获得：

S311：在语义向量g^C和g^D上使用softmax激活函数，以生成代码和描述的注意力向量a^C∈R^p和a^D∈R^q；

S312：在特征矩阵C，D和注意力向量a^C，a^D之间实现点积，以分别生成用于代码和描述的共同注意力表征r^C∈R^d和r^D∈R^d：

r^C＝Ca^C    (7.7)；

r^D＝Da^D    (7.8)。

5.如权利要求4所述的基于共同注意力表征学习的代码搜索方法，其特征在于，所述S400得到优化的CARLCS-CNN模型的过程如下：

S410：基本假设是学习一个映射，该映射将生成更多相似的代码与其对应的描述的表征，该映射将描述的表征和正确的代码靠近在一起，同时最小化以下的损失：

其中θ表示模型参数，G表示训练数据集；

S411：使用Adam算法使损失函数最小化；

S412：注意力向量用于引导池化层在相关性矩阵F上执行列级和行级最大池化，在梯度下降阶段，模型参数θ通过反向传播更新，代码和描述的表征r^C和r^D也同时更新。

6.如权利要求5所述的基于共同注意力表征学习的代码搜索方法，其特征在于，所述S500中计算待预测向量p与每个向量c之间相关度的过程如下：

采用如下公式计算待预测向量p与每个向量c之间的相关度：

Images