CN107766894B - 基于注意力机制和深度学习的遥感图像自然语言生成方法 - Google Patents

Abstract

本发明公开一种基于注意力机制和深度学习的遥感图像自然语言生成方法，该方法包括以下步骤：步骤一、预处理遥感图像和对应的自然语言描述。步骤二、将降噪后的遥感图像输入到密集定位卷积神经网络(Intensive Positioning Convolution Neural Network，简称IPCNN)中。步骤三、将步骤二获得的区域块输入到重分配长短期记忆网络(Reassignment Long‑Short Term Memory，简称RLSTM)中。进入到RLSTM的权重分配层中，利用多层网络函数分别求得每个区域的权重，最后通过RLSTM的深度输出层实现自然语言描述的整体输出。步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型，得到句子的打分。步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，等待调用。

Description

基于注意力机制和深度学习的遥感图像自然语言生成方法

技术领域

本发明涉及注意力机制，深度学习，遥感图像自然语言生成。

背景技术

近年来，航天技术作为获取信息的核心技术发展十分迅速，卫星遥感技术作为其中一个重要分支不仅在分辨率上有了较大的提高，而且已经逐步具备了全天时、全天候、实时传输的能力。高分辨率遥感图像作为信息的有效载体，扩宽了人眼的视野范围，提高了目标观察精度，在资源勘探、环境监测、自然灾害预防等方面发挥着非常重要的作用。

在日益增长的遥感应用需求下，如何方便、快捷地获取遥感图像中的信息是一个重要研究方向。尤其是没有相关背景知识的一般用户需要一种更易于使用的系统去使用遥感数据。因而，由遥感图像自动生成人可理解的自然语言描述受到了学术界的广泛关注。

大部分遥感图像工作都是关于遥感图像分类、目标检测和场景分类等。遥感图像自然语言描述与上述这些任务的区别在于它的目标是产生全面的句子而不是预测单个标签或单词。目前在这方面，国内几乎没有成型的框架，国外也只是刚刚起步

现在的遥感图像自然语言描述主要由两部分组成。第一部分，遥感图像的多目标检测。首先用区域提取技术从原图中提取候选区域块，然后利用分类器将候选区域块分类。在候选区域块分类阶段使用深度特征作为分类器的输入，一般使用卷积神经网络(Convolutional Neural Network，简称CNN)提取深度特征。第二部分，把标签信息处理成自然语言。主要是采用经典范式框架，这个模型是基于模板的方法设计的，将特征填充到特定的句式框架中，句式框架可以使用预定义模板，可以轻松设计新的模板。

当前遥感图像自然语言描述方法具有一定的局限性：(1)遥感图片一般像素大，目标占比小。在卷积神经网络的训练阶段，一般的解决模式都是直接把原图及其标注信息输入网络，从而导致网络忽略很多背景信息、只关注于目标特征信息的标签。(2)由于传统的自然语言处理采用的是经典范式框架，这种框架是基于模板的方法设计的，具有语言限制。给出的描述模式化，并不灵活和人性化，并且有很多信息在模式化中被省略，造成了信息的流失。

近年来，随着深度学习的兴起，基于注意力机制的神经网络成为了最近神经网络研究的一个热点。注意力机制是一种策略，最早是在视觉图像领域提出来的。注意力机制的思想是提高有用信息的权重，从而让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量。从应用层面上来说，注意力机制分为空间注意力机制和时间注意力机制。

本发明基于空间注意力机制提出了密集定位层，这个密集定位层可以预测图片中含有重要信息的区域，并围绕这些区域输出多个区域描述块。本发明把密集定位层加入卷积神经网络形成了新的目标检测框架：密集定位卷积神经网络(Intensive PositioningConvolutionNeural Network，简称IPCNN)。同时本发明基于时间注意力机制提出了权重分配层，这个权重分配层可以对特征信息的权重进行重新分配，加强重要信息的权重。本发明把权重分配层加入循环神经网络形成了新的语言框架：重分配长短期记忆网络(Reassignment Long-Short Term Memory，简称RLSTM)。

综上所述，本发明提出的基于注意力机制和深度学习的遥感图像自然语言生成方法。如图1，整体框架由三个过程组成：首先，预处理遥感图像和对应的自然语言描述，对遥感图像进行降噪处理，把自然语言描述切片，将字符构建成一个字典以备调用。然后将遥感图像输入到IPCNN中，在通过IPCNN的密集定位层时，预测图片中的一系列感兴趣的区域并输出多个区域块。之后将区域块输入到RLSTM中，利用RLSTM的权重分配层，对显著的特征进行参数权重重新分配，接着输入RLSTM的循环神经网络中，处理成可理解的自然语言描述。最后将自然语言描述输入遥感图像语言描述打分模型中，标记分数后输入到数据库中，等待调用，输出相应的描述。

发明内容：

一种基于注意力机制和深度学习的遥感图像自然语言生成方法，发明内容主要包括：遥感图像字幕的流程框架，预处理遥感图像和对应的自然语言描述，设计了密集定位层，将它和卷积神经网络结合，构建出新的目标检测框架，设计了权重分配层，将它与循环神经网络结合，构建出新的语言框架，以及遥感图像语言描述打分模型的构建。

一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：至少包括以下步骤：

步骤一、预处理遥感图像和对应的自然语言描述，对遥感图像进行降噪处理，把自然语言描述切片，将字符构建成一个字典以备后续调用。

步骤二、将降噪后的遥感图像输入到密集定位卷积神经网络(IntensivePositioning ConvolutionNeural Network，简称IPCNN)中。图像在经过IPCNN前面的卷积层和池化层之后，进入到IPCNN的密集定位层。密集定位层接收到的是有关激活值的输入张量，它能够识别感兴趣的空间区域并且从每一个区域平滑得提取一个固定尺寸的表示。最后通过IPCNN的识别网络将来自密集定位层的每个区域的特征扁平化后，获得区域块。

步骤三、将步骤二获得的区域块输入到重分配长短期记忆网络(ReassignmentLong-Short TermMemory，简称RLSTM)中。首先进入到RLSTM的权重分配层中，将一个区域块均匀地切割成多个区域，并且对每个区域的标签进行编码。接着获取这个区域块在多层网络中的不同时刻的隐藏状态与分割成的每个区域的编码，利用多层网络函数分别求得每个区域的权重。接着整合这些区域的权重得到整张图片关于这个区域块信息的动态表示。然后将这些信息的动态表示输入到RLSTM的循环神经网络中，最后通过RLSTM的深度输出层实现自然语言描述的整体输出。

步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型。考虑生成的自然语言描述C的任一单词序列。首先计算其在C中出现的次数，然后统计其在各参考句子中分别出现的次数的最大值，将该值与次数的较小者记作该单词序列的匹配次数。之后，再把每个单词序列的计算结果累加起来，乘一个惩罚因子得到句子的打分。

步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，如果有搜索特定标签则输出特定标签下得分前十的句子，否则输出所有语句中得分前十的句子。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、对遥感图像和对应的自然语言描述进行预处理操作，对遥感图像进行降噪处理，能有效消除周期性的干涉图形，不仅使得原图细节更加丰富，而且能够降低目标识别网络对干扰数据的过拟合，使得网络能够输出更好的特征。把自然语言描述切片，将字符构建成一个字典，就是提前将相应的字符映射成向量，能有效的提高语言模型的运算速度。

2、在IPCNN中，首先图像通过IPCNN的卷积层和池化层处理，接着输入密集定位层。密集定位层能够对感兴趣区域增加权重，并且可以从每一个区域平滑得提取一个固定尺寸的表示。与现有网络相比较，在更加精确地提取目标特征的情况下，还提高了对背景信息的利用。在IPCNN中用双线性插值进行池化操作。这样做的好处在于可以预测变形候选区域，并且可以使梯度传到输入的坐标上，使得网络训练的速度大大加快。最后通过IPCNN的识别网络将来自密集定位层的每个区域的特征扁平化，这样做可以降低维度，加快后续模型的运算时间。

3、在RLSTM中，权重分配层对区域块进行处理分别得到每个区域块中不同区域的权重。接着利用多层网络函数计算得到整个区域块的信息的动态表示。这样做可以给不同单词分配不同的注意力大小。跟经典范式框架相比，重要单词自身的信息被强调，背景信息同样被赋予注意力，则最后呈现出的句子会比之前多出很多细节信息。接着把权重和区域块输入RLSTM中的循环神经网络中，词向量在经过循环神经网络的处理后，会极大的增强语言描述的可读性。

4、将自然语言描述输入遥感图像语言描述打分模型。由于一张图片对应多个区域，一个区域对应多条语句，所以最后得到的数据量庞大且杂乱。本发明将自然语言描述输入遥感图像语言描述打分模型，对信息的价值进行标记，然后将标记过后的数据放入数据库中。和之前的遥感字幕框架比起来，这样既不会忽略一些细节信息，又保证了调用时最有价值的信息会首先出现，节约了使用者大量的时间。

附图说明：

图1.方法框架流程图

图2.目标检测框架流程图

图3.自然语言框架流程图

具体实施方式：

步骤一、预处理遥感图像和对应的自然语言描述。

(1)对遥感图像进行降噪处理，由于周期性噪声一般重叠在原图像上，成为周期性的干涉图形，具有不同的幅度、频率、和相位。用槽形滤波的方法来消除。对于消除尖峰噪声，特别是与扫描方向不平行的，用傅立叶变换进行滤波处理来消除。

(2)把自然语言描述切片，将字符构建成一个字典，以备后续调用。

步骤二、利用降噪后的遥感图像对IPCNN进行训练。

(1)模型结构

如图2，模型主体使用VGG-16结构。它由13个3×3卷积层和嵌入其中的5个2×2最大值池化层(maxpooling)组成，本模型移除了最后的池化层，加入了密集定位层。遥感图片经过卷积层和池化层处理以后进入密集定位层。

(2)卷积层

卷积层接收到的是降噪后的遥感图像，卷积运算的目的是提取输入的不同特征。卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。

输入：每个神经元的权重θ_(n-i)(n-j)，图像向量x_ij

输出：

(3)池化层

池化层接收到的是卷积后的特征图。池化运算的目的是为了减少特征图，池化操作对每个深度切片独立，规模一般为2＊2，相对于卷积层进行卷积运算。这里采用最大池化的方法，即取4个点的最大值。

(4)密集定位层

密集定位层接收到的是经过池化操作的特征图的输入张量，它能够识别感兴趣的空间区域并且从每一个区域平滑得提取一个固定尺寸的表示。本模型中用双线性插值代替了矩形框池化(RoI pooling)。

输入/输出：对于输入的C×W0×H0张量(C，W0，H0代表通道，长，宽)。网络选择B个感兴趣的区域，并且对于这些区域给出了三个输出张量，分别是：

区域坐标：一个B×4大小的矩阵。

区域得分：长度为B，给出了每个输出区域的置信度得分。

区域特征：一个B×C×X×Y大小的张量，给出了输出区域的特征。X，Y代表网格大小。

下面为具体计算步骤：

卷积区域：把W0×H0网格中的每一个点映射回W×H的原始图像平面中，并且以该投影点为中心考虑k个不同大小比例的区域盒子。定位层对每个区域盒子都进行置信度得分和四个标量的预测。

盒回归：利用区域的中心坐标和它的长宽，以及模型预测出的四个标量来计算输出区域的中心和长宽。输出区域的具体参数计算如下：

x＝x_a+t_xw_a y＝y_a+t_yh_a (1)

w＝w_aexp(t_w) h＝h_aexp(h_w) (2)

盒抽样：由于产生的区域特征过多，代价太大，所以要对其进行二次抽样。

在测试阶段使用非极大值抑制算法(Non-maximum suppression,简称NMS)对候选区域的置信度得分进行选择，得到排名最靠前的300个感兴趣的区域。定位层最后得到的就是包含坐标的B×4和包含得分的B的两个张量。

双线性插值：经过采样过后的区域特征，其大小和比例都是不一样的。考虑到要与语言模型相连接，必须要从这些不同大小尺寸的区域中提取出固定尺寸的特征表示。这里面使用抽样网格，其大小为X×Y×2。V是对U的特征进行插值后得到的新的特征图。所以根据U中坐标就可以计算出V中对应元素的值。采样核k表示为：

其中：

k(d)＝max(0,1-|d|) (4)由于抽样网格是候选区坐标的线性函数，所以梯度就可以被传送回预测的区域特征坐标。对于所有采样区域，进行双线性插值后得到了大小为B×C×X×Y的张量，而这也是定位层最终的输出形式。

(3)识别网络

这一个网络的作用就是将来自定位层的每个区域的特征扁平化为一个向量并将其传至两个全连接层，这两层都是使用了线性修正单元(Rectified Linear Unit，简称ReLU)并且使用了丢弃算法。每一个区域从而能够产生一个维数为D＝4096的代码，里面包含了这一个区域中的视觉信息。所有正区域的代码被收集到了一个大小为B×D的矩阵中，然后被传送至语言模型中。同时识别网络也再次完善了每个区域特征的置信度和位置。这两者来自于每个区域所对应的D维代码的线性变换。

步骤三、将IPCNN中得到的区域块输入到RLSTM中。

(1)对IPCNN中得到的特征图进行分割

特征图均匀地切割成多个区域，表示为

a＝{a₁,...,a_L},a_i∈R^D (5)

L表示切割的区域个数。如区域大小为14×14，D＝196。输出的主题y可以编码为

y＝{y₁,...,y_C},y_i∈R^K (6)

K是字典的单词个数，C是句子长度。

y_i的形式为(0,0,…,0,1,0,…,0,0)，即只有第i处位置为1，其它位置为0。

(2)权重分配层

利用特征图分割成的多个区域进行运算：

e_ti＝f_att(a_i,h_t-1) (7)

其中i表示第i个特征区域，共L个。

函数f_att采用多层网络实现，利用前一时刻的隐藏状态h_t-1与L个特征区域，分别得到每个区域的权重α_ti。

权重α_ti可以理解为下一步选择哪一个特征区域的概率。

是对整张图片部分信息的动态表示。

s_t,i指是否选择L个特征图中的第i个，如果设置成1，表示选中，0表示不选中。

在权重分配中，只有唯一的选中。

变量如下计算

p(s_t,i＝1∣s_j＜t,a)＝α_t,i (10)

设置logp(y|a)函数的下限为目标函数L_s:

对其进行参数求导有

为减少估计方差，可采用冲量方式，第k个小批量的时候

为进一步减少估计方差，引入多项式分布(Multinomial Distribution)的熵H(s)

λ_r与λ_e是两个超参。

以上参数求导优化的过程就是强化学习，每次选择下一个特征图的过程都朝目标更好的方向变化。

(3)循环神经网络

将权重信息输入循环神经网络中

如图3，可知神经元中的函数表示：

c_t＝f_t⊙c_t-1+i_t⊙g_t (17)

h_t＝o_t⊙tanh(c_t) (18)其中σ是S型函数(sigmoid)函数，⊙表示同位置的元素相乘。

i_t,f_t,o_t分别为输入门、遗忘门、输出门，g_t是对输入的转化，c_t是cell状态，h_t是隐藏状态。

E∈R^K×m，通过随机初始化学习到的矩阵。

语言模型中的记忆单元与隐藏单元的初始值，是两个不同的多层感知机，采用所有特征区域的平均值来进行预测的:

而最终的自然语言描述，采用深度输出层实现

其中L_o∈R^K×m，L_h∈R^m×n，L_z∈R^m×D。

步骤四、将RLSTM中生成的自然语言描述输入遥感图像语言描述打分模型。

(1)精确度计算

考虑模型生成的句子c的全部单词序列(n-gram),考察其中的任一单词序列：首先计算其在c中出现的次数Count(n-gram)，然后统计其在各参考句子中分别出现的次数的最大值，将该值与Count(n-gram)的较小者记作该单词序列的匹配次数Count_clip(n-gram)之后，再把每个单词序列的计算结果累加起来，得到句子的结果。所以精确度(precision)可以用如下方式计算：

式中{Candidates}代表需要评测的多句译文的集合。当n取1时，

就是句子c的长度。

(2)惩罚因子计算

由于精确度对短句子评分不客观，如果模型只翻译最有把握的片段，那么就可以得到高分，因此要对短句子进行惩罚。

惩罚的方式就是在原先的评价指标值上乘一个惩罚因子(brevity penaltyfactor)：当模型给出的译文句子c的长度l_c要比参考句子的长度l_s长时，就不进行惩罚，即惩罚因子为1，否则就惩罚：

式中的l_c代表模型给出的测试集全部句子译文的长度总和，l_s代表与模型给出译文句子长度最接近的参考译文的长度。

(3)最终评分公式

综合起来，打分模型的评分公式采用的是对数加权平均值(这是因为当n增大时评分会指数级减小)，再乘上惩罚因子：

式中的N通常取4，权重w_n通常取

(几何平均)。最终评分在0到1之间，1表示完全与人工翻译一致。

步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，如果有搜索特定标签则输出特定标签下得分前十的句子，否则输出所有语句中得分前十的句子。

Claims (5)

1.一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：至少包括以下步骤：

步骤一、预处理遥感图像和对应的自然语言描述，对遥感图像进行降噪处理，把自然语言描述切片，将字符构建成一个字典以备后续调用；

步骤二、密集定位卷积神经网络IPCNN包括卷积层、池化层、密集定位层和识别网络，将降噪后的遥感图像输入到密集定位卷积神经网络，图像在经过卷积层和池化层之后，进入到密集定位层，密集定位层接收到的是有关激活值的输入张量，它能够识别感兴趣的空间区域并且从每一个区域平滑得提取一个固定尺寸的表示，最后通过识别网络将来自密集定位层的每个区域的特征扁平化后，获得区域块；

步骤三、重分配长短期记忆网络RLSTM包括权重分配层、循环神经网络和深度输出层，将步骤二获得的区域块输入到重分配长短期记忆网络中，首先进入到权重分配层中，将一个区域块均匀地切割成多个区域，并且对每个区域的标签进行编码，接着获取这个区域块在多层网络中的不同时刻的隐藏状态与分割成的每个区域的编码，利用多层网络函数分别求得每个区域的权重，接着整合这些区域的权重得到整张图片关于这个区域块信息的动态表示，然后将这些信息的动态表示输入到循环神经网络中，最后通过深度输出层实现自然语言描述的整体输出；

步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型，考虑生成的自然语言描述C的任一单词序列n-gram，首先计算单词序列n-gram在自然语言描述C中出现的次数Count，然后统计单词序列n-gram在各参考句子中分别出现的次数的最大值，将该最大值与Count中的较小者记作单词序列n-gram的匹配次数，之后，再把每个单词序列n-gram的计算结果累加起来，乘一个惩罚因子得到自然语言描述C的打分；

步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，如果有搜索特定标签则输出特定标签下得分前十的句子，否则输出所有语句中得分前十的句子。

2.根据权利要求1所述的一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：步骤一中采用如下方法对遥感图像和对应的自然语言描述进行预处理：利用槽形滤波和傅立叶变换的方法对遥感图像进行降噪处理，能有效消除周期性的干涉图形，不仅使得原图细节更加丰富，而且能够降低目标识别网络对干扰数据的过拟合，使得网络能够输出更好的特征，把自然语言描述切片，将字符构建成一个字典，就是提前将相应的字符映射成向量，能有效的提高语言模型的运算速度。

3.根据权利要求1所述的一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：所述步骤二中利用IPCNN对步骤一中的降噪遥感图像进行处理，首先图像通过IPCNN的卷积层和池化层处理，接着输入密集定位层，密集定位层能够对感兴趣区域增加权重，并且可以从每一个区域平滑的提取一个固定尺寸的表示，与现有网络相比较，在更加精确地提取目标特征的情况下，还提高了对背景信息的利用，在IPCNN中用双线性插值进行池化操作，这样做的好处在于可以预测变形候选区域，并且可以使梯度传到输入的坐标上，使得网络训练的速度大大加快，最后通过IPCNN的识别网络将来自密集定位层的每个区域的特征扁平化，这样做可以降低维度，加快后续模型的运算时间。

4.根据权利要求1所述的一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：所述步骤三中利用RLSTM对步骤二中得到的区域块进行处理，在RLSTM中，权重分配层对区域块进行处理分别得到每个区域块中不同区域的权重，接着利用多层网络函数计算得到整个区域块的信息的动态表示，这样做可以给不同单词分配不同的注意力大小，跟经典范式框架相比，重要单词自身的信息被强调，背景信息同样被赋予注意力，则最后呈现出的句子会比之前多出很多细节信息，接着把权重和区域块输入RLSTM中的循环神经网络中，词向量在经过循环神经网络的处理后，会极大的增强语言描述的可读性。

5.根据权利要求1所述的一种基于注意力机制和深度学习的遥感图像自然语言生成方法，其特征在于：所述步骤四，步骤五对步骤三中生成的自然语言描述进行进一步处理，将自然语言描述输入遥感图像语言描述打分模型，由于一张图片对应多个区域，一个区域对应多条语句，所以最后得到的数据量庞大且杂乱，将自然语言描述输入遥感图像语言描述打分模型，对信息的价值进行标记，然后将标记过后的数据放入数据库中，和之前的遥感字幕框架比起来，这样既不会忽略一些细节信息，又保证了调用时最有价值的信息会首先出现，节约了使用者大量的时间。

Images