CN112241676A - 一种地形杂物自动识别的方法 - Google Patents

Abstract

本发明为一种地形杂物自动识别的方法，涉及一种基于深度学习的地形杂物识别系统。该系统对基于无人机航拍技术获取的低精度三维地形点云数据做一系列处理。针对低精度地形特征信息有限的问题，重构了地形点云的几何特征和颜色特征，设计了一种多属性描述符，描述输入地形点云中每个点的局部信息；然后通过在无监督分类中使用多属性描述符，将地形点云聚合成若干超级点，以降低计算复杂；接着定义一个有向属性图，将超级点组合成一个图结构，即超点图；最后，利用提出的基于深度图卷积的LSTM算法对超点图的节点进行分类。该系统最终可以对地形点云中的杂物进行语义分割，将地形中的杂物通过不同的颜色加以显示。通过进一步的研究与分析，可以为地形分析等提供基础的技术支持。

Description

一种地形杂物自动识别的方法

技术领域

本发明属于点云语义分割方法在大尺度低精度的室外地形点云分割中的应用，主要涉及一种针对于大尺度地形杂物识别的地形杂物自动识别的方法。

背景技术

随着工程建设行业的迅猛发展，地形测量与地质勘探需求不断变化，越来越关注高效、精确地对地形地貌的勘测与测量。另一方面，无人机遥感技术在地形采集过程中处理成本低、自动化程度高，使得无人机已经成为当前地形采集的重要工具。

无人机遥感获得的数字地表模型DSM(Digital Surface Model)包含了地表建筑物、桥梁和树木等除地面以外的其它地形杂物。在三维地形建模中，地形杂物不仅影响了测量的精确性，而且增加地形测量中数据的处理量。

传统方法中，去除地形杂物的方法主要有“点云分层和分块”、“点云切片”、基于点云均匀度的植被点剔除和滤波处理。这些方法虽然能够去除地形点云中的杂物，但同时也会剔除地形中的部分有用数据，容易造成地形特征信息的丢失。

近年来，点云语义分割在单体目标识别和场景分割等领域广泛应用。利用语义分割方法，可以实现室内场景语义分割、室内三维点云模型语义分割，除此之外也可以基于机器学习对室内点云语义分割、基于点云数据进行三维目标识别和模型分割等，但均无法应对室外大场景的大尺度激光点云。

而针对室外场景进行处理的方法大多是利用算法直接对点云进行特征提取和语义识别，提取到的特征不能够很好的表示原始数据且不够全面。

现有的杂物去除方法在地形点云杂物去除方面，在很大程度上会受到数据密度分布、物体拓扑关系和特征描述性强的弱影响，存在很大的不确定性。

此外，地形的存储结构分为图形和图像两种形式。基于图像的方法提出较早，发展也较为完善。在语义分割研究方面，图像方面也具有更多研究背景。

除了传统的将3D点云投影到2D图像后作为CNN的输入的3D点云语义分割方法外,还有可以保留3D点云中的结构信息的基于监督的3DCNN的VoxNet网络模型和基于点云体素化的OctNet网络模型。这些网络能够有效地保留点云中的结构信息，但没有考虑到点云的颜色、强度等信息。在此之后的PointNet、PointNet++和PointCNN网络模型虽充分利用了点云的多模态信息,减小了复杂度,但这种模型无法解决大规模点云中存在的缺乏清晰的结构、以及训练过程中训练样本不均衡的问题。

作为图片的一种新型的组织形式，图形以矢量表示，具有放大后不会模糊的特性，同时可以直观的表达物体的三维立体信息，在图片的表达上具有很好的优势。但是基于图形的地形处理方法出现较晚，缺少对地形场景理解和语义处理技术相关研究。

发明内容

针对上述现有技术中存在的问题与缺陷，本发明的目的是提供一种地形杂物自动识别的方法，以解决大型低精度地形点云杂物识别局部稀疏点云结构的分类效果差，难以识别细粒度模式识别和复杂场景泛化能力弱等问题。

实现上述本发明目的所采用的技术方案是是一种地形杂物自动识别的方法，包括如下步骤：

步骤1：获取低精度地形点云数据，并发送给后台处理；

步骤2：拓展额外的属性维度，以描述输入点云中每个点的局部信息；

步骤3：利用无监督分类将地形点分解为几个最小区间，定义超点；

步骤4：定义一个有向属性图，将超级点组合成一个图结构，构造超点图；

步骤5：利用Pointnet将每个输入超点嵌入到一个固定维数的矢量中；

步骤6：利用循环图卷积网络提取超点特征，并实现超点图的识别和分类。

进一步讲，步骤1所述用户可利用无人机遥感技术采集地形数据获得数字地表模型DSM和图像模型JPG。将获取到的文件导入本发明中的计算机程序，对于导入的两种不同格式的文件进行数据匹配，得到地形点云文件。

进一步讲，步骤2中通过拓展额外的属性维度来描述输入点云中每个点的局部信息的具体实现为：

步骤2.1：构造多属性描述符，构造公式为：

ρ_i＝(GE_i(c_i,l_i,s_i,v_i,e_i),CR_i(a_i,b_i,r_i))

其中，GE_i是几何描述符，由五个自定义的几何尺度组成；CR_i是颜色描述符，由三个颜色尺寸组成。

步骤2.2：设计一个包含曲率、线性、平面、空间和垂直度的五维几何描述符，用以描述空间地形点云，公式为：

其中,δ₁，δ₂，δ₃(δ₁＞δ₂＞δ₃)是点云邻域位置协方差矩阵的三个特征值，τ₁，τ₂，τ₃是分别与δ₁，δ₂，δ₃相关联的三个特征向量。

步骤2.3：为了准确描述每个点的颜色层次差异，在公式3-1和3-2中使用LAB颜色坐标系中范围从0到1的两个颜色分量(等式3-3)和(等式3-4)。公式3-2处理地形点云的色域较宽。

a_i＝5[f(X/X_n)-f(Y/X_n)]

b_i＝2[f(Y/Y_n)-f(Z/Z_n)]

步骤2.4：定义色曲率，以更好地描述每个点之间的色差，公式如下：

其中，θ₁，θ₂，θ₃(θ₁＞θ₂＞θ₃)是点云领域RGB颜色协方差矩阵的三个特征值，范围为[0，1]。

进一步讲，步骤3利用无监督分类将地形点分解为几个最小区间具体实现为：

步骤3.1：引入cut-pusit算法，对全局能量问题采用无监督分类将地形点分解为几个最小划分。我们通过将最小分割定义为以下方程式中的正常连接组件的解来改进全局能量算法：

其中，[·]是艾弗森括号，如果在艾弗森括号中满足条件，则表示1，否则表示0。

表示与边缘长度的线性关系递减。μ是一个表示正则化强度的变量，该强度决定了所得划分的粗糙度。

最终，形成超点P＝{P₁，P₂，P₃，…，P_k}，用来描述我们的几何简单元素。

进一步讲，步骤4构造超点图的具体实现如下：

步骤4.1：基于上述地形超点P，将其定义为具有超点P、超边E和超边的边缘特征γ三个分量的有向属性图G＝(P，E，γ)，即超点图。基于Voronoi邻接图定义超边E，如果两个超点M和N可以通过至少一条边进行连接，则这两个点将构成一组超边。公式如下：

步骤4.2：由超边连接的两个超点计算超边的边缘特征。边缘特征的七个元素描述了不同的超边缘特征，其中，定义|M|为超点M中包含的点数，length(M)＝λ₁，surface(M)＝λ₁·λ₂，volume(M)＝λ₁·λ₂·λ₃，λ₁，λ₂，λ₃是每个超点中包含的点位置的协方差的特征值，并按递减值排序。空间特征

在以下公式中定义：

其中，L_i表示超点P_i的3D位置。

进一步讲，步骤5利用Pointnet实现超点嵌入具体如下：

步骤5.1：利用Pointnet网络将输入的每个超点P_i嵌入到固定大小维度d_z的向量中，形成超点描述符z_i；

步骤5.2：将每个超点缩放为单位球体U_si，公式如下：

U_si＝{L_i，o_i，gf_i}

其中，o_i表示观测值，gf_i表示几何特征。

步骤5.3：利用多层感知器MLP实现特征增强，通过最大池化聚合超点特征，以实现在Pointnet网络中的超点嵌入，形成刻画超点特征的超点描述符向量z_i。

进一步讲，步骤6利用循环图卷积网络提取超点特征，并实现超点图的识和分类具体如下：

步骤6.1：利用图卷积网络Fnet得到超点数据的特征向量f_(i，j)。

步骤6.1.1：引入边缘条件卷积ECC网络，利用多层感知器连续处理超点的属性F_ji以动态生成卷积权重，公式如下：

步骤6.1.2，Θ表示多层感知器，W_e表示对特定边缘向量进行回归，生成的边缘权重向量；m_i表示对每个元素执行矢量乘法得到的循环卷积权重。

根据每个超点S_i的嵌入z_i和超点在SPG中与周围超点的联系，经过如式的多层卷积，结合ECC生成卷积权重m_i，对超点数据进行特征提取，得到超点数据的特征向量f_(i，j)，公式如下：

f_(i，j)＝Relu(m_i·[Z_i]+b_i)

其中，Relu表示激活函数层。

步骤6.2：引入LSTM门控神经单元，利用LSTM的遗忘层，根据特征向量f_(i，j)和输入消息x_t控制输入点云特征保留或遗忘，完成LSTM的多次迭代后，得到最后的特征图。

步骤6.2.1：将形成的每个超点S_i的特征向量f_(i，j)作为隐藏状态保存在LSTM中，再由Pointnet网络获得的嵌入z_i将隐藏状态初始化得到初始隐藏状态h₀。

步骤6.2.2：LSTM通过遗忘层决定细胞状态需要丢弃的信息。根据h_t-1和x_t的信息来输出0～1之间的向量，以控制第四步中细胞状态C_t-1中信息的保留或遗忘，公式如下：

f_t＝σ(W_f[h_t-1，x_t]+k_f)

其中：h_t-1表示上一时刻的隐藏状态，x_t表示当前时刻的判断信息。

步骤6.2.3：通过输入门决定细胞状态需要添加的信息。以隐藏状态h_t-1和判断信息x_t作为输入，通过输入门控神经网络单元，生成细胞状态更新控制因子i_t；进一步利用细胞候选信息层，得到候选细胞信息

公式如下：

i_t＝σ(W_i·[h_t-1，x_i]+k_i)

其中，i_t表示细胞更新控制因子，

表示候选细胞信息，tanh表示激活函数层。

步骤6.2.4：通过输出门将细胞信息更新为新细胞信息，公式如下：

其中，f_t表示遗忘层，决定遗忘细胞信息C_t-1中的哪一部分，i_t表示决定细胞更新的因素，决定细胞信息C_t-1更新的候选信息，从而得到新细胞信息C_t。

步骤6.2.5：更新完细胞状态后，输入的h_t-1和x_t通过全连接层得到判断条件o_t，以判断输出细胞的哪些状态特征。据此，将经过激活函数层的新细胞状态C_t与判断条件o_t相乘即得到当前迭代输出h_t，公式如下：

o_t＝σ(W_o·[h_t-1，x_t]+k_o)

h_t＝o_t·tanh(C_t)

其中，h_t表示当前迭代过程的输出，即为下一层迭代过程的输入状态。

本发明的有益效果是：本发明通过结合多属性描述子，图卷积和LSTM对地形杂物进行识别和分割。提出的多属性描述符可以获取低精度地形点云的隐藏信息，门控图卷积结构可以有效提高网络在低精度大型网络上的语义分割能力，LSTM网络可以实现较高精度的杂物识别。

随着工程建设行业的迅猛发展，地形测量与地质勘探需求不断变化，越来越关注高效、精确地对地形地貌的勘测与测量。另一方面，无人机遥感技术在地形采集过程中处理成本低、自动化程度高，使得无人机已经成为当前地形采集的重要工具。

无人机遥感获得的数字地表模型DSM(Digital Surface Model)包含了地表建筑物、桥梁和树木等除地面以外的其它地形杂物。在三维地形建模中，地形杂物不仅影响了测量的精确性，而且增加地形测量中数据的处理量。

附图说明

图1是本发明地形杂物自动识别的方法的系统原理示意图；

图2为原始点云与预测点云示意图；

图3为各个阶段点云状态示意图，(a)为原始点云，(b)为划分地形分区后的点云，(c)为超点图，(d)为预测结果图；

图4为导入点云数据的示意图；

图5为输出的结果文件可视化展示图；

图6为点云总体场景图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举事例只用于解释本发明，并非用于限定本发明的范围。

本发明的数据来自无人机遥感技术获取的黄土高原地形，获取的地形点云数据量大，精度较低，局部杂物点云数据稀疏。获取的地形数据东西约3.5千米，南北约2.5千米，面积约8.75千米。图6展示了转换后的点云场景图。

本发明中对于输入的地形点云场景需要重构地形点云的几何特征和颜色特征并从中提取多属性描述符来获取更多的局部信息。之后将多属性描述符应用到无监督分类中将点云分为若干分区，即超点。将相邻的超点使用具有丰富属性的超边相连以构成图结构。之后通过Pointnet网络进行图嵌入。最后利用基于LSTM的循环图卷积网络进行上下文分类以得到最终的预测结果,工作流程图如图1所示,图2为原始点云与预测点云示意图,图3为各个阶段点云状态示意图，(a)为原始点云，(b)为划分地形分区后的点云，(c)为超点图，(d)为预测结果图。

一种地形杂物自动识别的方法，包含如下步骤:

第1步，用户可利用无人机遥感技术采集地形数据获得数字地表模型DSM和图像模型JPG，将两种文件导入计算机程序得到低精度地形点云数据，同时预先计算额外维度以确定标签点和点云场景之间的对应关系。对于场景中的每个已标注的点，该点的标签映射设置为1。

第2步，由于地形点云场景精度低，因而所包含的可用信息较少，为此，需要拓展额外的可用维度来描述输入点云中每个点的局部信息，从而构造多属性描述符，构造公式为：

ρ_i＝(GE_i(c_i，l_i，s_i，v_i，e_i)，CR_i(a_i，b_i，r_i))

其中，GE_i是几何描述符，由五个自定义的几何尺度组成，用来描述地形点云的几何空间特征；CR_i是颜色描述符，由三个颜色尺寸组成，用来描述点云的颜色特征。

为了更好地描述点云的几何空间特征，需要从点云中提取几何描述符。几何描述符GE_i之中需要包含曲率、线性、平面、空间和垂直度五个几何属性，见表1。

为了准确描述每个点的颜色层次差异，需要使用LAB颜色坐标系中范围从0到1的两个颜色分量A和B。与RGB颜色坐标系相比，LAB颜色坐标系具有更广的色域和更高的颜色识别度，RGB坐标系与LAB颜色坐标系的转换公式如所示：

为了更好的描述色差，如下公式中给出了颜色曲率的定义，其中，θ₁，θ₂，θ₃(θ₁＞θ₂＞θ₃)是点云领域RGB颜色协方差矩阵的三个特征值，范围在[0，1]：

所提取到的多属性描述子如表1所示：

第3步，通过引入cut-pusit切割追求算法，对全局能量问题采用无监督分类将地形点分解为几个最小划分。通过将最小除法定义为以下方程式中的正常连接组件的解来改进全局能量算法，其中，[·]是艾弗森括号，如果在艾弗森括号中满足条件，则表示1，否则表示0。

表示与边缘长度的线性关系递减。μ是一个表示正则化强度的变量，该强度决定了所得划分的粗糙度，最终，形成超点P＝{P₁，P₂，P₃，…，P_k}，用来描述我们的几何简单元素。其中，超点的颜色不具有特殊含义，为随机赋予：

图4为导入点云数据的示意图，图5为输出的结果文件可视化展示图，图6为点云总体场景图。

第4步，基于上述地形超点P，将其定义为具有超点P、超边E和超边的边缘特征γ三个分量的有向属性图G＝(P，E，γ)，即超点图。基于Voronoi邻接图定义超边E，如果两个超点M和N可以通过至少一条边进行连接，则这两个点将构成一组超边。公式如下：

超边的边缘特征则又超边所连接的两个超点所决定。表2中描述了两个超级点M和N之间的超边特征。

表2中边缘特征的七个元素描述了不同的超边缘特征

其中，定义|M|为超点M中包含的点数，length(M)＝λ₁，surface(M)＝λ₁·λ₂，volume(M)＝λ₁·λ₂·λ₃，λ₁，λ₂，λ₃是每个超点中包含的点位置的协方差的特征值，并按递减值排序。空间特征

在以下公式中定义，其中，L_i表示超点P_i的3D位置：

第5步，利用Pointnet网络将输入的每个超点P_i嵌入到固定大小维度d_z的向量中，形成超点描述符z_i

将每个超点缩放为单位球体U_si，公式如下：

U_si＝{L_i，o_i，gf_i}

其中，o_i表示观测值，gf_i表示几何特征。

利用多层感知器MLP实现特征增强，通过最大池化聚合超点特征，以实现在Pointnet网络中的超点嵌入，形成刻画超点特征的超点描述符向量z_i。

第6步，利用图卷积网络Fnet得到超点数据的特征向量f_(i，j)。

引入边缘条件卷积ECC网络，利用多层感知器连续处理超点的属性F_ji以动态生成卷积权重，公式如下：

Θ表示多层感知器，W_e表示对特定边缘向量进行回归，生成的边缘权重向量；m_i表示对每个元素执行矢量乘法得到的循环卷积权重。

其次，根据每个超点S_i的嵌入z_i和超点在SPG中与周围超点的联系，经过如下式的多层卷积，结合ECC生成卷积权重m_i，对超点数据进行特征提取，得到超点数据的特征向量f_(i，j)，公式如下：

f_(i，j)＝Rglu(m_i·[z_i]+b_i)

其中，Relu表示激活函数层。

引入LSTM门控神经单元，利用LSTM的遗忘层，根据特征向量f_(i，j)和输入消息x_t控制输入点云特征保留或遗忘，完成LSTM的多次迭代后，得到最后的特征图。

将形成的每个超点S_i的特征向量f_(i，j)作为隐藏状态保存在LSTM中，再由Pointnet网络获得的嵌入z_i将隐藏状态初始化得到初始隐藏状态h₀。

LSTM通过遗忘层决定细胞状态需要丢弃的信息。根据h_t-1和x_t的信息来输出0～1之间的向量，以控制第四步中细胞状态C_t-1中信息的保留或遗忘，公式如下：

f_t＝σ(W_f[h_t-1，x_t]+k_f)

其中：h_t-1表示上一时刻的隐藏状态，x_t表示当前时刻的判断信息。

通过输入门决定细胞状态需要添加的信息。以隐藏状态h_t-1和判断信息x_t作为输入，通过输入门控神经网络单元，生成细胞状态更新控制因子i_t；进一步利用细胞候选信息层，得到候选细胞信息

公式如下：

i_t＝σ(W_i·[h_t-1，x_i]+k_i)

其中，i_t表示细胞更新控制因子，

表示候选细胞信息，tanh表示激活函数层。

通过输出门将细胞信息更新为新细胞信息，公式如下：

其中，f_t表示遗忘层，决定遗忘细胞信息C_t-1中的哪一部分，i_t表示决定细胞更新的因素，决定细胞信息C_t-1更新的候选信息，从而得到新细胞信息C_t。

更新完细胞状态后，输入的h_t-1和x_t通过全连接层得到判断条件o_t，以判断输出细胞的哪些状态特征。据此，将经过激活函数层的新细胞状态C_t与判断条件o_t相乘即得到当前迭代输出h_t，公式如下：

o_t＝σ(W_o·[h_t-1，x_t]+k_o)

h_t＝o_t·tanh(C_t)

其中，h_t表示当前迭代过程的输出，即为下一层迭代过程的输入状态。

Claims (6)

1.一种地形杂物自动识别的方法，其特征在于，包括如下步骤：

步骤1：获取低精度地形点云数据，并发送给后台处理；

步骤2：拓展额外的属性维度，以描述输入点云中每个点的局部信息；

步骤3：利用无监督分类将地形点分解为几个最小区间，定义超点；

步骤4：定义一个有向属性图，将超级点组合成一个图结构，构造超点图；

步骤5：利用Pointnet将每个输入超点嵌入到一个固定维数的矢量中；

步骤6：利用循环图卷积网络提取超点特征，并实现超点图的识别和分类。

2.根据权利要求1所述一种地形杂物自动识别方法，其特征在于，步骤2中拓展额外的属性维度，以描述输入点云中每个点的局部信息的具体实现如下：

步骤2.1：构造多属性描述符扩展可用维数来描述输入每个点的局部信息，结合几何和纹理的原始信息，构造多属性描述符，构造公式为：

ρ_i＝(GE_i(c_i，l_i，s_i，v_i，e_i)，CR_i(a_i，b_i，r_i))

步骤2.2：GE_i是几何描述符，是一个包含曲率、线性、平面、空间和垂直度的五维几何描述符，用以描述空间地形点云，线性、平面、空间和垂直度均可由点云邻域位置协方差矩阵的三个特征值δ₁，δ₂，δ₃(δ₁＞δ₂＞δ₃)计算得到，曲率可由与δ₁，δ₂，δ₃相关联的三个特征向量τ₁，τ₂，τ₃计算得到；

步骤2.3：CR_i是颜色描述符，由三个颜色尺寸组成，用为了准确描述每个点的颜色层次差异，在公式中使用LAB颜色坐标系中范围从0到1的两个颜色分量，并定义了颜色曲率，以更好地描述每个点之间的色差。

3.根据权利要求1所述一种地形杂物自动识别的方法，其特征在于，步骤3中利用无监督分类将地形点分解为几个最小区间的具体实现如下：

步骤3.1：引入截断追踪算法，对全局能量问题采用无监督分类将地形点分解为几个最小划分，通过将最小除法定义为以下方程式中的正常连接组件的解来改进全局能量算法：

其中，[·]是艾弗森括号，如果在艾弗森括号中满足条件，则表示1，否则表示0，

表示与边缘长度的线性关系递减，μ是一个表示正则化强度的变量，该强度决定了所得划分的粗糙度；

步骤3.2：方程的解，常数连通分量，定义了超点，超点P＝{P₁,P₂,P₃,…,P_k}，用来描述简单几何元素。

4.根据权利要求1所述一种地形杂物自动识别方法，其特征在于，步骤4中构造超点图的具体实现如下：

步骤4.1：基于上述地形超点P，将其定义为具有超点P、超边E和超边的边缘特征γ三个分量的有向属性图G＝(P，E，γ)，即超点图，基于Voronoi邻接图定义超边E，如果两个超点M和N可以通过至少一条边进行连接，则这两个点将构成一组超边，公式如下：

步骤4.2：由超边连接的两个超点计算超边的边缘特征，并由edge连接。

5.根据权利要求1所述一种地形杂物自动识别方法，其特征在于，步骤5中利用Pointnet将每个输入超点嵌入到一个固定维数的矢量中的具体实现如下：

步骤5.1：将一般特征提取网络中的处理对象替换为标准向量，替换公式如下：

z_i＝I(P_i，d_z)

其中，I是嵌入操作，d_z是超点嵌入的向量维数；

步骤5.2：将每个超级点按一定尺度缩放成一个单位球，尺寸计算公式如下：

U_si＝{L_i，o_i，gf_i}

其中，o_i是观测值，gf_i是超点的几何特征；

步骤5.3：在空间转换网络T-net对输入超点数据进行对齐的基础上，采用多层感知器MLP实现特征增强，并利用最大池聚合超点特征实现点网络的超点嵌入。

6.根据权利要求1所述一种地形杂物自动识别方法，其特征在于，步骤6中利用循环图卷积网络提取超点特征，并实现超点图的识别和分类，包括如下步骤：

步骤6.1：利用多层感知器动态生成卷积权值，多层感知机处理方程如下：

其中，Θ是一个多层感知机，W_e是一个特定的边向量；m_i是循环卷积权重；

步骤6.2：结合ECC，利用f网图卷积神经网络生成卷积权值，得到超点数据的特征向量，多层卷积处理方程如下：

f_(i，j)＝Relu(m_i·[z_i]+b_i)

其中，Relu是激活函数层，W_i是一个人工赋予的重量；

步骤6.3：将每个超点的特征向量作为隐藏状态存储在LSTM中，用Pointnet网络嵌入的超点描述符初始化初始隐藏状态，以初始单元状态作为输入信息，由数据变量填充过程产生的初始隐藏状态生成判断信息；

步骤6.4：通过计算求得方程中介于0和1之间的向量，计算方程如下：

f_t＝σ(W_f[h_t-1，x_t]+k_f)

其中，h_t-1是前一时刻的隐藏状态，x_t是当前时刻的判断信息；

步骤6.5：通过LSTM的输入门来确定添加到单元状态的信息；

以隐藏状态和判断信息为输入，输入门控神经网络单元生成一个小区状态更新控制因子。控制因子更新公式如下：

i_t＝σ(W_i·[h_t-1，x_i]+b_i)

利用细胞的候选信息层，进一步优化候选细胞信息。优化候选分区的公式如下：

其中，i_t是一个细胞更新控制因子，

是候选细胞信息，tanh是激活函数；

步骤6.6：将旧的单元信息更新为新的单元信息，更新公式如下：

其中，f_t是遗忘层，C_t-1是细胞信息，i_t是细胞更新因子，它决定了要更新的细胞信息的候选信息，并获得新的细胞信息；

步骤6.7：在更新单元状态后，通过输入完全连接层计算判断条件，确定单元状态特征的输出，计算方程如下：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(C_t)

其中，h_t是当前迭代的输出。

Images