CN112035347B - 一种源代码的自动异常处理方法 - Google Patents

Abstract

本发明实现了一种源代码的自动异常处理方法，通过检测定位异常代码和生成处理对应异常的代码两个步骤，以LSTM神经网络方法作为基础方法，对未经过异常处理的代码进行代码异常的检测与定位，并生成相应的catch语句。本发明技术方案能够突破异常处理原则违反检测技术的应用范围限制，自动地检测待开发代码中存在的异常，同时解决异常处理代码推荐技术中存在的代码不完整性导致仍依赖开发者等现有自动化手段无法解决的问题。

Description

一种源代码的自动异常处理方法

技术领域

本发明涉及人工智能领域，尤其涉及一种源代码的自动异常处理方法。

背景技术

源代码异常处理(Exception Handling)是面向对象程序语言中提供的一种处理源代码中存在的异常以及从中恢复的有效机制。这种机制一般以“try”和“catch”关键字来实现，比如Java和C#语言。异常处理机制通过这种方式能够很好地分离处理错误的代码与正常代码，有助于程序理解和维护。缺少或者不正确地使用异常处理往往会导致严重的问题，例如系统崩溃或者信息泄露。因此对于开发者来说，异常处理是非常重要的。然而在实际的软件中，异常处理的代码质量低下且容易产生缺陷。这一方面在于开发者倾向于忽略异常处理，直到某个错误发生才去检查异常；另一方面编写异常处理的代码也是比较困难的，尤其是涉及到软件版本演化。综上，为了帮助开发者编写高质量的异常处理代码，自动化的异常处理技术是必要的。

现有的相关技术主要包括两个方面：异常处理原则违反检测以及异常处理代码推荐。在检测上，典型的技术包括对try和catch代码块内的方法调用序列进行关联规则挖掘(Association Rule Mining)，从而检测源代码中是否有违反规则的调用。在推荐上，现有的技术大多面向开发中的代码进行代码样例或者异常类型以及API调用的推荐。比如，给定一段未经过异常处理的代码，通过从GitHub的软件仓库中检索相似的包含try-catch的代码来作为代码样例推荐给开发者，从而帮助其完成自己的代码开发。此外，也有技术利用模糊理论(Fuzzy Theory)和N-gram模型来推荐可能产生的异常类型以及能够处理这种异常的相应的API。

上述现有技术在应用中存在如下需要解决的问题：

1.检测异常代码规则违反行为的技术是建立在已有try-catch代码块的基础上的，然而这正是自动化异常处理的目标，即生成这些代码，因此该类技术无法适用到此文的场景。

2.异常处理代码推荐的技术存在两个问题：第一，假设开发者会主动寻求关于编写异常处理代码的帮助，并且知道try-catch代码块应该在哪些位置编写，但实际上与之相反；第二，即使推荐出的代码样例或者API能够帮助开发者设计try-block的逻辑，开发者仍然需要编写或修改这些代码以形成完整的异常处理代码。

发明内容

为了解决目前源代码自动异常处理方法的一些弊端，我们提出一种源代码的自动异常处理方法，其包括两个步骤：

步骤一：检测定位异常代码步骤：首先读取未经过异常处理的代码，对所述代码进行代码异常的检测与定位，对检测出存在潜在的异常的代码行添加相应的try关键字进行异常的捕获，具体地，根据代码的顺序性，将所述代码表示成语句序列，利用LSTM神经网络将各个语句转换为向量形式，并利用另一个LSTM对得到的向量序列建模，并且在两个LSTM的输出上使用注意力机制得到语句中的词的权重以及语句之间的权重分配，从而提升整体的检测性能；

步骤二：生成处理对应异常的代码步骤：具体地，使用两个独立的LSTM神经网络作为编码器，分别对try代码块以及其之前的代码进行编码，经过注意力模块得到两个上下文向量，对两者进行加权累加融合为一个向量后，利用程序切片技术以try内的语句作为切片准则，反向迭代查找其依赖的语句，在此基础上进行掩码处理输入到新的注意力模块得到额外的上下文向量，最后把两个上下文向量拼接到一起得到最终的向量并利用LSTM解码器生成相应的catch语句，即为用于处理异常的代码；

最终输出结果为所述用于处理异常的代码。

所述检测定位异常代码步骤中，所述检测定位异常代码步骤中的所述对得到的向量序列建模过程的具体方法为：首先将该代码切分成以行为单位的语句序列S＝{s₁，s₂，...，s_K}，K表示语句的数量，

其中i为语句的编号，s表示不包含空行和注释行的每一行语句，c表示每一行代码中的单个词，L为单个语句的最大词数，对于每个语句s_i，首先将其中的每个词以词嵌入的形式转换为向量表示，记为

其中W_e是词嵌入矩阵，t表示词的位置，使用LSTM对该语句中的词进一步编码，即在每个位置t上，通过下式得到其隐藏状态向量，h即为隐藏状态向量：

进一步地，使用双向的LSTM来学习词之间的依赖关系，即

从而构成所述向量序列建模。

所述检测定位异常代码步骤中，所述得到语句中的词的权重以及语句之间的权重分配的具体方法为：利用注意力机制学习出词的权重，并以加权累加的方式得到该语句的向量，定义s_k是该语句的向量表示，在得到所述语句的向量序列之后使用另外的LSTM对语句之间的依赖关系建模，表示为：

h_k＝BiLSTM(s_k)

并使用注意力机制对得到的隐藏状态在不进行累加操作前提下进行分配权重：

u_k＝tanh(W_sh_k+b_s)

h′_k＝a_kh_k

其中W_s和b_s分别为转换矩阵和偏置项，tanh为激活函数，u_s是随机初始化的固定的向量，α_k表示计算得到的权重，h′_k是经过权重转换的隐藏状态向量，基于以上隐藏状态向量，利用分类器预测是否会出现异常的概率

其中W_p和b_p分别为转换矩阵和偏置项，sigmoid为激活函数，在训练时，使用二分交叉熵作为损失函数：

其中y表示真实的标签，N表示训练集的样本数目，Θ表示需要学习的所有参数，训练完成后，根据预测的概率

设定阈值δ来决定预测的标签，着大于该阈值，则预测为Y，也就是该语句会抛出异常，需要添加到try语句内，否则为N，与之相反。

所述生成处理对应异常的代码步骤中，所述对try代码块以及其之前的代码进行编码过程为：命名try之前的代码为前置代码，try之内的代码为try代码块，用W＝{w₁，w₂，...，w_n}表示，首先利用双向的LSTM对W进行编码，得到隐藏状态：

h_t＝BiLSTM(w_t，h_t-1).

这里t表示其位置，在解码器部分使用LSTM对给定的上下文向量进行解码，当生成第j个词的时候，解码器的隐藏状态向量q_j的更新方式为：

q_j＝LSTM(q_j-1，y_j-1)

其中y_j-1表示上一个生成的词，若j为第一个词，则其值为起始符。

所述生成处理对应异常的代码步骤中，所述对try代码块以及其之前的代码进行编码过程为：命名try之前的代码为前置代码，try之内的代码为try代码块，用W＝{w₁，w₂，...，w_n}表示，首先利用双向的LSTM对W进行编码，得到隐藏状态：

h_t＝BiLSTM(w_t，h_t-1)

这里t表示其位置，在解码器部分使用LSTM对给定的上下文向量进行解码，当生成第j个词的时候，解码器的隐藏状态向量q_j的更新方式为：

q_j＝LSTM(q_j-1，y_j-1)

其中y_j-1表示上一个生成的词，若j为第一个词，则其值为起始符。

所述生成处理对应异常的代码步骤中，对上下文向量进行加权累加融合过程具体为：对于隐藏状态向量每个q_j，使用注意力机制得到相应的上下文向量v_j，此部分的Attention函数由以下公式得到：f_t＝tanh(W_ch_t+b_c)，

其中W_c和b_c分别表示参数矩阵以及偏置项，记上述函数为v_j＝Attention(q_j，H)，类似地，利用另外的双向LSTM可以得到所述前置代码的隐藏状态H′＝{h₁′，h₂′，...，h_n′}，即h′_t＝BiLSTM(d_t，h′_t-1)，其中D＝{d₁，d₂，...，d_m}，为try代码块的另一种编码，接下来使用注意力机制得到对应的上下文向量v_j′，也就是v_j′＝Attention(q_j，H′)，那么将两个上下文向量加权累加，得到新的上下文向量

其中W₁和W₂分别为待学习的权重。

所述生成处理对应异常的代码步骤中，所述得到额外的上下文向量过程具体为：切片的结果为对所述前置代码进行标注，若其中的词与try代码块有依赖关系则标记为1，否则为0，假设得到的标注序列为LI＝{l₁，l₂，...，l_m}，则将其作为掩码融入到原始的注意力机制中，即得到额外的上下文向量

所述生成处理对应异常的代码步骤中，把上下文向量拼接并生成相应的catch语句过程具体为：将

和

拼接到一起并进行维度的降低转化得到最终的上下文向量V_j，生成第j个词的概率为：

p(y_j|y₁，......，y_j-1，C)＝softmax(W_gV_j+b_g)

其中W_g和b_g分别为转换矩阵和偏置项，C表示前置代码和try代码块，训练检测定位异常代码步骤和生成处理对应异常的代码步骤中神经网络共同构成的模型的损失函数为

其中N仍然表示训练集的样本数目，M表示待生成的catch语句的最大词数，Θ表示需要学习的所有参数，在生成词时，根据计算得到的概率，选取词表中最大概率的词。

与现有技术相比，本发明的方法具有以下优势：

本申请的源代码自动异常处理方法能够突破异常处理原则违反检测技术的应用范围限制，自动地检测待开发代码中存在的异常；同时解决异常处理代码推荐技术中存在的代码不完整性导致仍依赖开发者的问题，生成完整的代码以提升其实用性。

附图说明

图1检测定位异常代码以及生成处理对应异常的代码图示；

图2异常检测与定位机制整体架构；

图3异常处理代码生成机制整体架构

具体实施方式

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。

针对现有技术存在的缺点，本发明提出了一种基于深度学习的源代码异常处理的技术方案。该方法的整体流程分为两步：检测定位异常代码以及生成处理对应异常的代码。其样例如图1所示。

对于给定的未经过异常处理的代码，首先进行代码异常的检测与定位，如图1所示，检测出原始代码中第8行存在潜在的异常，因此添加相应的tr_y关键字进行异常的捕获。具体地，考虑到代码的顺序性，将代码的异常定位问题转化为序列标注问题。在此之上，将代码进一步地表示成语句序列，以逐个判断语句是否存在潜在异常。对于这种表示，利用LSTM神经网络将各个语句转换为向量形式，然后再次利用另一个LSTM对得到的向量序列建模，并且在两个LSTM的输出上使用注意力机制(Attention Mechanism)得到语句中的词的权重以及语句之间的权重分配，从而提升整体的检测性能。

其次是异常处理代码的自动生成。本方法将try语句内的代码以及try之前的代码看做两种不同的上下文，并且利用程序切片技术(Program Slicing)增强try与其之前的代码之间的依赖关系。具体地，首先使用两个独立的LSTM神经网络作为编码器，分别对try代码块以及其之前的代码进行编码，经过注意力模块得到两个上下文向量；对两者进行加权累加融合为一个向量后，以try内的语句作为切片准则，反向迭代查找其依赖的语句，在此基础上进行掩码处理输入到新的注意力模块得到额外的上下文向量；最后把两个上下文向量拼接到一起得到最终的向量并利用LSTM解码器生成相应的catch语句，也就是用于处理异常的代码。

异常检测与定位

该部分的整体模型框架如图2。

对于给定的不包含try-catch语句的代码，本方法首先将该代码切分成以行为单位的语句序列S＝{s₁，s₂，...，s_K}，这里K表示语句的数量。而

其中i为语句的编号，s表示不包含空行和注释行的每一行语句，c表示每一行代码中的单个词，L为单个语句的最大词数。对于每个语句s_i，首先将其中的每个词以词嵌入的形式转换为向量表示，记为

其中W_e是词嵌入矩阵，t表示词的位置。接下来使用LSTM对该语句中的词进一步编码，即在每个位置t上，通过下式得到其隐藏状态向量：

进一步地，使用双向的LSTM来学习词之间的依赖关系，即

在此基础上，利用注意力机制学习出词的权重，并以加权累加的方式得到该语句的向量，此过程用公式表述如下：

其中，W_ω和b_ω分别为转换矩阵和偏置项，tanh为激活函数。u_ω是随机初始化的固定的向量，

表示计算得到的权重，s_i是该语句的向量表示。

在得到上述的语句向量序列之后，本方法对语句之间的依赖关系建模，这里使用另外的LSTM实现，也就是：

h_i＝BiLSTM(s_i).

类似地，仍然使用注意力机制对得到的隐藏状态进行分配权重，不同的是不进行累加操作，该计算过程如下：

u_k＝tanh(W_sh_k+b_s)

h′_k＝a_kh_k

其中W_s和b_s分别为转换矩阵和偏置项，tanh为激活函数，u_s是随机初始化的固定的向量，α_k表示计算得到的权重，h′_k是经过权重转换的隐藏状态向量，基于以上隐藏状态向量，利用分类器预测是否会出现异常的概率

这里W_p和b_p分别为转换矩阵和偏置项，sigmoid为激活函数。在训练时，使用二分交叉熵作为损失函数，即：

其中y表示真实的标签，N表示训练集的样本数目，Θ表示需要学习的所有参数。训练完成后，根据预测的概率

设定阈值δ来决定预测的标签，若大于该阈值，则预测为Y，也就是该语句会抛出异常，需要添加到try语句内，否则为N，与之相反。

异常处理代码生成

该部分的整体模型框架如图3。

对于已经定位异常的代码，即添加了try语句的代码，此部分的目标为生成相应的catch语句以处理捕捉到的异常。为了便于描述，本文将try之前的代码命名为前置代码，而try之内的代码为try代码块。假定D＝{d₁，d₂，...，d_m}和W＝{w₁，w₂，...，w_n}分别表示两种代码，这里m和n表示代码中词的最大编号。首先利用双向的LSTM对W进行编码，得到隐藏状态：

h_t＝BiLSTM(w_t，h_t-1).

这里t表示其位置。简便起见，将所有的隐藏状态记为H＝{h₁，h₂，...，h_n}。在解码器部分使用LSTM对给定的上下文向量进行解码，当生成第i个词的时候，解码器的隐藏状态向量q_i的更新方式为：

q_i＝LSTM(q_i-1，y_i-1)，

其中y_i-1表示上一个生成的词，若i为第一个词，则其值为起始符<s>。于是对于隐藏状态向量每个q_i，可以使用注意力机制得到相应的上下文向量v_i。这里的计算方式与前文一致，此部分的Attention函数由以下公式得到：

f_t＝tanh(W_ch_t+b_c)，

其中W_c和b_c分别表示参数矩阵以及偏置项，记上述函数为v_i＝Attention(q_i，H)。

类似地，利用另外的双向LSTM可以得到所述前置代码的隐藏状态H′＝{h₁′，h₂′，...，h_n′}，即h′_t＝BiLSTM(d_t，h′_t-1)，接下来使用注意力机制得到对应的上下文向量v′_i，也就是v_i′＝Attention(q_i，H′)，以如下方式将两个上下文向量加权累加，得到新的上下文向量

其中W₁和W₂分别为待学习的权重。

为了刻画try代码块与前置代码之间的依赖关系，本方法提出了基于程序切片的注意力机制。如前文所述，切片的结果为对所述前置代码进行标注，若其中的词与try代码块有依赖关系则标记为1，否则为0。假设得到的标注序列为L＝{l₁，l₂，...，l_m}，则将其作为掩码融入到原始的注意力机制中，即得到额外的上下文向量

将

和

拼接到一起并进行维度的降低转化得到最终的上下文向量V_i。于是生成第i个词的概率可以用如下公式得到：

p(y_i|y₁，...，y_i-1，C)＝softmax(W_gV_i+b_g)，

这里W_g和b_g分别为转换矩阵和偏置项，C表示前置代码和try代码块。训练该模型的损失函数为

其中N表示训练集的样本数目，M表示待生成的catch语句的最大词数，Θ表示需要学习的所有参数。在生成词时，根据计算得到的概率，选取词表中最大概率的词即可。

Claims (7)

1.一种源代码的自动异常处理方法，其特征在于：所述方法包括两个步骤：

步骤一：检测定位异常代码步骤：首先读取未经过异常处理的代码，对所述代码进行代码异常的检测与定位，对检测出存在潜在的异常的代码行添加相应的try关键字进行异常的捕获，具体地，根据代码的顺序性，将所述代码表示成语句序列，利用LSTM神经网络将各个语句转换为向量形式，并利用另一个LSTM对得到的向量序列建模，并且在两个LSTM的输出上使用注意力机制得到语句中的词的权重以及语句之间的权重分配，从而提升整体的检测性能；

步骤二：生成处理对应异常的代码步骤：具体地，使用两个独立的LSTM神经网络作为编码器，分别对try代码块以及其之前的代码进行编码，经过注意力模块得到两个上下文向量，对两者进行加权累加融合为一个向量后，利用程序切片技术以try内的语句作为切片准则，反向迭代查找其依赖的语句，在此基础上进行掩码处理输入到新的注意力模块得到额外的上下文向量，最后把两个上下文向量拼接到一起得到最终的向量并利用LSTM解码器生成相应的catch语句，即为用于处理异常的代码；

最终输出结果为所述用于处理异常的代码。

2.根据权利要求1所述一种源代码的自动异常处理方法，其特征在于：所述检测定位异常代码步骤中，所述对得到的向量序列建模过程的具体方法为：首先将该代码切分成以行为单位的语句序列S＝{s₁,s₂,…,s_K}，K表示语句的数量，

其中i为语句的编号，s表示不包含空行和注释行的每一行语句，c表示每一行代码中的单个词，L为单个语句的最大词数，对于每个语句s_i，首先将其中的每个词以词嵌入的形式转换为向量表示，记为

其中W_e是词嵌入矩阵，t表示词的位置，使用LSTM对该语句中的词进一步编码，即在每个位置t上，通过下式得到其隐藏状态向量，h即为隐藏状态向量，那么：

进一步地，使用双向的LSTM来学习词之间的依赖关系，即

从而构成所述向量序列建模。

3.根据权利要求2所述一种源代码的自动异常处理方法，其特征在于：所述检测定位异常代码步骤中，所述得到语句中的词的权重以及语句之间的权重分配的具体方法为：利用注意力机制学习出词的权重，并以加权累加的方式得到该语句的向量，定义s_k是该语句的向量表示，在得到所述语句的向量序列之后使用另外的LSTM对语句之间的依赖关系建模，表示为：

h_k＝BiLSTM(s_k)

并使用注意力机制对得到的隐藏状态在不进行累加操作前提下进行分配权重：

u_k＝tanh(W_sh_k+b_s)

h′_k＝a_kh_k

其中W_s和b_s分别为转换矩阵和偏置项，tanh为激活函数，u_s是随机初始化的固定的向量，α_k表示计算得到的权重，h′_k是经过权重转换的隐藏状态向量，基于以上隐藏状态向量，利用分类器预测是否会出现异常的概率

其中W_p和b_p分别为转换矩阵和偏置项，sigmoid为激活函数，在训练时，使用二分交叉熵作为损失函数：

其中y表示真实的标签，N表示训练集的样本数目，Θ表示需要学习的所有参数，训练完成后，根据预测的概率

设定阈值δ来决定预测的标签，若大于该阈值，则预测为Y，也就是该语句会抛出异常，需要添加到try语句内，否则为N，与之相反。

4.根据权利要求3所述一种源代码的自动异常处理方法，其特征在于：所述生成处理对应异常的代码步骤中，所述对try代码块以及其之前的代码进行编码过程为：命名try之前的代码为前置代码，try之内的代码为try代码块，用W＝{w₁,w₂,…,w_n}表示，首先利用双向的LSTM对W进行编码，得到隐藏状态：

h_t＝BiLSTM(w_t，h_t-1)

这里t表示其位置，在解码器部分使用LSTM对给定的上下文向量进行解码，当生成第j个词的时候，解码器的隐藏状态向量q_j的更新方式为：

q_j＝LSTM(q_j-1，y_j-1)

其中y_j-1表示上一个生成的词，若j为第一个词，则其值为起始符。

5.根据权利要求4所述一种源代码的自动异常处理方法，其特征在于：所述生成处理对应异常的代码步骤中，对上下文向量进行加权累加融合过程具体为：对于隐藏状态向量每个q_j，使用注意力机制得到相应的上下文向量v_j，此部分的Attention函数由以下公式得到：f_t＝tanh(W_ch_t+b_c)，

其中W_c和b_c分别表示参数矩阵以及偏置项，记上述函数为v_j＝Attention(q_j,H)，利用另外的双向LSTM可以得到所述前置代码的隐藏状态H′＝{h₁′,h₂′,…,h_n′}，即h′_t＝BiLSTM(d_t,h′_t-1)，其中D＝{d₁,d₂,…,d_m}，为try代码块的另一种编码，接下来使用注意力机制得到对应的上下文向量v_j′，也就是v_j′＝Attention(q_j,H′)，那么将两个上下文向量加权累加，得到新的上下文向量

其中W₁和W₂分别为待学习的权重。

6.根据权利要求5所述一种源代码的自动异常处理方法，其特征在于：所述生成处理对应异常的代码步骤中，所述得到额外的上下文向量过程具体为：切片的结果为对所述前置代码进行标注，若其中的词与try代码块有依赖关系则标记为1，否则为0，假设得到的标注序列为LI＝{l₁,l₂,…,l_m}，则将其作为掩码融入到原始的注意力机制中，即得到额外的上下文向量

7.根据权利要求6所述一种源代码的自动异常处理方法，其特征在于：所述生成处理对应异常的代码步骤中，把上下文向量拼接并生成相应的catch语句过程具体为：将

和

拼接到一起并进行维度的降低转化得到最终的上下文向量V_j，生成第j个词的概率为：

p(y_j|y₁,……,y_j-1,C)＝softmax(W_gV_j+b_g)

其中W_g和b_g分别为转换矩阵和偏置项，C表示前置代码和try代码块，训练检测定位异常代码步骤和生成处理对应异常的代码步骤中神经网络共同构成的模型的损失函数为

其中N仍然表示训练集的样本数目，M表示待生成的catch语句的最大词数，Θ表示需要学习的所有参数，在生成词时，根据计算得到的概率，选取词表中最大概率的词。

Images