CN108052512B - 一种基于深度注意力机制的图像描述生成方法 - Google Patents

Abstract

本发明涉及一种基于深度注意力机制的图像描述生成方法，所述方法包括：深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型；图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述。与现有技术相比，本发明具有信息提取有效性强、深度表达能力高以及描述准确等优点。

Description

一种基于深度注意力机制的图像描述生成方法

技术领域

本发明涉及图像理解领域，尤其是涉及一种基于深度注意力机制的图像描述生成方法。

背景技术

图像标题生成是一项极具挑战性的工作，在婴幼儿早期教育、视觉障碍辅助、人机交互等领域具有广泛的应用前景。它结合了自然语言处理与计算机视觉两个领域，将一副自然图像使用自然语言的形式描述出来，或者说将图像翻译成自然语言。它首先要求系统能够准确理解图像中的内容，如识别出图像中的场景、各种对象、对象的属性、正在发生的动作及对象之间的关系等；然后根据语法规则及语言结构，生成人们能够理解的句子。

人们已提出多种方法来解决这一难题，包括基于模板的方法、基于语义迁移的方法，基于神经机器翻译的方法及混合方法等。随着深度学习技术，尤其是CNN技术在语言识别和视觉领域连续取得突破，目前基于神经机器翻译及其与其他视觉技术混合的方法已成为解决该问题的主流。这类方法考虑了CNN模型能够提取抽象性及表达能力更强的图像特征，能够为后续的语言生成模型提供可靠的可视化信息。但这些方法过于依赖前期的视觉技术，处理过程复杂，对系统后端生成句子的语言模型优化不足；在使用LSTM单元生成句子时，其模型深度较浅(常使用1层或2层LSTM)，生成的句子语义信息不强，整体性能难以改善。

发明内容

本发明的目的是针对上述问题提供一种基于深度注意力机制的图像描述生成方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度注意力机制的图像描述生成方法，所述方法包括：

深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型；

图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述。

优选地，所述深度长短期记忆网络模型建立步骤包括：

A1)将训练图片通过卷积神经网络，得到训练图片的特征图和特征向量；

A2)建立长短期记忆网络模型，并在长短期记忆网络模型的每两个连接层之间添加注意力机制函数；

A3)将训练图片的描述信息和步骤A1)中得到的特征图与特征向量，输入到步骤A2)中添加了注意力机制函数的长短期记忆网络模型后，对长短期记忆网络模型进行训练，得到深度长短期记忆网络模型。

优选地，所述步骤A2)包括：

A21)通过设置输入门、输出门、遗忘门和记忆单元，构建长短期记忆网络模型中的长短期记忆单元；

A22)设置长短期记忆网络模型中每一个连接层的时间步长和隐层单元的个数；

A23)在长短期记忆网络模型的每一个连接层的长短期记忆单元后添加注意力机制函数，所述注意力机制函数包括两个输入端和一个输出端，所述两个输入端的维度分别与通过卷积神经网络的特征图的维度和隐层单元参数的维度相等，所述输出端的维度与通过卷积神经网络提取的训练图片特征向量维度相等。

优选地，所述长短期记忆网络模型中每一个连接层的时间步长与所有训练图片的描述信息的平均句子长度相等。

优选地，所述隐层单元的个数为512个。

优选地，所述注意力机制函数具体为：

其中，k表示第k层长短期记忆单元，t表示时间步，a_i表示特征图的第i部分，整个特征图为{a₁,a₂,…,a_i,…a_L}，

表示第k-1层长短期记忆单元的隐层输出，f_att表示多层感知机，

为特征图第i部分与当前时间步有关的相似性结果，

为特征图第i部分所占的全局比重，

为注意力，Φ为Φ函数。

优选地，所述步骤A3)包括：

A31)将所有训练图片的描述信息对应的所有单词编码后映射为嵌入式向量；

A32)在第一个时间步，将步骤A1)中得到的特征向量作为全局信息输入到长短期记忆网络模型中；

A33)每一层的长短期记忆单元的输入包括上一层的长短期记忆单元输出、特征注意力计算值和与该层顺序相对应的单词的嵌入式向量，依层传递得到训练图片的输出描述信息；

A34)根据输出描述信息与实际描述信息的误差，对长短期记忆网络模型的参数进行优化，得到深度长短期记忆网络模型。

优选地，所述特征注意力计算值的计算方式具体为：将相应的长短期记忆单元的输出和步骤A1)中得到的特征图作为输入，通过注意力机制函数进行计算，得到特征注意力计算值。

优选地，所述相应的长短期记忆单元的输出包括上一层的长短期记忆单元的输出、当前长短期单元以前所有层的长短期记忆单元的输出或当前长短期单元的前两层的长短期记忆单元的输出。

优选地，所述步骤A34)包括：

A341)通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，并对计算得到的所有误差进行求和；

A342)将步骤A341)求和得到的结果相对于添加了注意力机制函数的长短期记忆网络模型进行求导，并将求导的结果传递回添加了注意力机制函数的长短期记忆网络模型中；

A343)将添加了注意力机制函数的长短期记忆网络模型关于求导的结果的输出作为训练后的模型参数，得到深度长短期记忆网络模型。

与现有技术相比，本发明具有以下有益效果：

(1)通过在现有的长短期记忆网络中添加注意力机制函数，在每层长短期记忆网络单元之间，利用当前时间步的语言模型参数计算所需的图像特征，并提取出来到下一层长短期记忆网络单元中，采用当前时间步的参数，可以保证注意力从当前词逐步过渡到预测词，逐层以此提取，直到最后的预测结果，从而可以有效提取相关信息，提升图像描述的准确程度。

(2)通过添加注意力机制函数，在每一层之间都加入所需的经过卷积神经网络提取的图像特征，与单词信息一起预测下一个单词，从而使得输出的单词更加准确，进一步提升了图像描述生成的方法性能，通过试验可以证明，本方法最终的图像描述准确程度，在不同的数据集上均超过同类的其他模型。

(3)由于本申请提出的方法是通过构建多层长短期记忆网络并在网络之间添加注意力机制函数，因此本方法可以通过逐层提取相关图片信息，对可视化信息和语言信息进行更多层次的变换，从而提高生成句子的语义表达能力，深度表达能力得到了大大的提高。

附图说明

图1为高认知度的神经网络训练模型建立步骤的方法流程图；

图2为三种注意力传递方法的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提出了一种基于深度注意力机制的图像描述生成方法，包括：

深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型；

图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述。

其中，深度长短期记忆网络模型建立步骤如图1所示，包括：

A1)将训练图片通过卷积神经网络(CNN)，得到训练图片的特征图和特征向量；

A2)建立长短期记忆网络模型(LSTM)，并在长短期记忆网络模型的每两个连接层之间添加注意力机制函数，具体包括：

A21)通过设置输入门、输出门、遗忘门和记忆单元，构建长短期记忆网络模型中的长短期记忆单元；

A22)设置长短期记忆网络模型中每一个连接层的时间步长和隐层单元的个数，具体为：每一个连接层的时间步长与所有训练图片的描述信息的平均句子长度相等，隐层单元的个数通过人为确定，一般为512个；

A23)在长短期记忆网络模型的每一个连接层的长短期记忆单元后添加注意力机制函数，注意力机制函数包括两个输入端和一个输出端，两个输入端的维度分别与通过卷积神经网络的特征图的维度和隐层单元参数的维度相等，输出端的维度与通过卷积神经网络提取的训练图片特征向量维度相等，该注意力函数具体为：

其中，k表示第k层长短期记忆单元，t表示时间步，a_i表示特征图的第i部分，整个特征图为{a₁,a₂,…,a_i,…a_L}，

表示第k-1层长短期记忆单元的隐层输出，f_att表示多层感知机，

为特征图第i部分与当前时间步有关的相似性结果，

为特征图第i部分所占的全局比重，

为注意力，Φ为Φ函数；

A3)将训练图片的描述信息和步骤A1)中得到的特征图与特征向量，输入到步骤A2)中添加了注意力机制函数的长短期记忆网络模型后，对长短期记忆网络模型进行训练，得到深度长短期记忆网络模型，具体包括：

A31)将所有训练图片的描述信息对应的所有单词编码后映射为嵌入式向量；

A32)在第一个时间步，将步骤A1)中得到的特征向量作为全局信息输入到长短期记忆网络模型中；

A33)每一层的长短期记忆单元的输入包括上一层的长短期记忆单元输出、特征注意力计算值和与该层顺序相对应的单词的嵌入式向量，依层传递得到训练图片的输出描述信息，其中的特征注意力计算值的计算方式具体为：将相应的长短期记忆单元的输出和步骤A1)中得到的特征图作为输入，通过注意力机制函数进行计算，得到特征注意力计算值，而所谓的相应的长短期记忆单元的输出包括上一层的长短期记忆单元的输出、当前长短期单元以前所有层的长短期记忆单元的输出或当前长短期单元的前两层的长短期记忆单元的输出；

A34)根据输出描述信息与实际描述信息的误差，对长短期记忆网络模型的参数进行优化，得到深度长短期记忆网络模型，包括：

A341)通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，并对计算得到的所有误差进行求和；

A342)将步骤A341)求和得到的结果相对于添加了注意力机制函数的长短期记忆网络模型进行求导，并将求导的结果传递回添加了注意力机制函数的长短期记忆网络模型中；

A343)将添加了注意力机制函数的长短期记忆网络模型关于求导的结果的输出作为训练后的模型参数，得到深度长短期记忆网络模型。

根据上述步骤，进行具体的图像描述信息提取，在这一过程中建立的深度长短期记忆网络模型的过程如下：

(1)制作训练集、验证集和测试集，使用ResNet-101或GoogLeNet模型提取图像的CNN特征；具体过程包括：

(11)将训练集、验证集和测试集转换为hdf5格式，每张图像对应五个标签，每个标签为该图像所对应的参考句子；

(12)读取图像，将图像描述数据集中的图像缩放至224×224大小；

(13)调用GoogLeNet在Imagenet大规模数据集上已优化完毕的参数集合做为预训练模型，对GoogLeNet进行初始化；

(14)将图像块输入CNN网络，提取图像的CNN特征图及特征向量，该CNN特征图维度为7×7×512维，特征向量维度为512维。

(2)建立深层LSTM网络，层数可调，在每两层LSTM之间加入注意力函数：

(21)构建LSTM单元，其中输入门、遗忘门、输出门、记忆单元和输出依次为i_t、f_t、o_t、c_t和h_t，其中k、j表示第几层LSTM，当k＝1时，注意力函数不起作用：

在上述公式中，t表示第t个时间步，t与句子长度有关；其中k、j表示第几层LSTM(以下参数解释k、j省略)，当k＝1时，注意力函数不起作用。x_t、g_t、h_t-1分别表示第t个时间步输入的单词、第t个时间步计算的注意力与第t-1个时间步LSTM隐层的输出；(w_x)_i、(w_g)_i、(w_h)_i、b_i分别表示输入门x_t、g_t、h_t-1(第t个时间步输入的单词、第t个时间步计算的注意力与第t-1个时间步LSTM隐层的输出)在sigma函数中的权重和偏置，同理：(w_x)_f、(w_g)_f、(w_h)_f、b_f分别表示遗忘门x_t、g_t、h_t-1在sigma函数中的权重和偏置，(w_x)_o、(w_g)_o、(w_h)_o、b_o分别表示输出门x_t、g_t、h_t-1在sigma函数中的权重和偏置，(w_x)_c、(w_g)_c、(w_h)_c、b_c分别表示记忆单元其中一个单项式中

中，x_t、g_t、h_t-1在Tanh函数中的权重和偏置，

表示乘积操作。

(22)根据训练集中参考句子的情况，生成单词表，对于MSCOCO数据集，单词表长度为9567，对于Flickr30K数据集，单词表长度为7050；并统计数据集中参考句子的长度，根据该长度设置步长，本实施例中将每层LSTM的步长设置为16；在MSCOCO数据集和Flickr30K数据集上，其隐层输出设置为512；

(23)在每层LSTM单元后面加上注意力机制函数，设置输入(输入有两个)维度分别同等于CNN处理后的特征图与LSTM隐层状态，输出维度为等同于CNN处理后的特征向量。

(3)将经过全连接层处理的特征向量作为图片全局信息输入到LSTM中，特征图输入到注意力函数中，采用三种不同的连接方式处理注意力，对深度LSTM模型进行训练，注意力函数为：

其中，以下k均表示第k层LSTM单元，t表示时间步。这里用a_i表示图片特征图的第i部分，整个特征图为{a₁,a₂,…,a_i,…a_L}，

表示第k-1层LSTM的隐层输出，f_att表示一个多层感知机(一种前馈人工神经网络模型)，该感知机处理得到

为图片特征图第i部分与当前时间步有关的相似性的结果，经过指数函数处理后，计算

即第i部分所占全局的比重，最后利用Φ函数，根据特征图与对应部分的所得权重计算注意力

(31)对单词表中的每个单词采用One-Hot方式进行编码，编码维度为单词表的长度；

(32)将描述参考句子中每个单词的One-Hot编码映射为一个嵌入式向量，并设置向量维度；

(33)在第一个时间步，将经过CNN全连接层处理的特征向量作为图片全局信息输入到LSTM中，之后将每个单词的嵌入式向量作为第一层LSTM的输入，并将第一层LSTM的输出和图像CNN特征图输入到注意力函数中计算特征注意力，以此类推，每一层采用相同的方式计算。

(34)从第二层开始，采用三种方式处理注意力机制，将注意力机制作为输入所需层增加额外的图片信息，如图2所示。第一种方式逐层传递注意力，即第一层计算的注意力转给第二层，第二层计算的注意力传给第三层，以此类推，图(2a)；第二种方式是将前面所有层的注意力信息一起传给下一层，即第一层给第二层，第一层和第二层一起给第三层，第一层到第三层一起给第四层，以此类推，图(2b)；第三种方法是借鉴ResNet-101的方法，隔层增加注意力机制，即在第一种的方法上，隔层的注意力也传递给下一层，即第一层给第三层，之后类似，图(2c)。

(35)使用交叉熵函数计算网络输出的每个单词与实际值之间的误差，并对每张图像中生成句子的每个单词与所有参考句子中单词的误差进行求和，具体表现为：

则，系统目标为优化整个模型的参数θ，使得预测的句子概率最大，损失函数L最小。其中，S表示预测的句子，I表示图片信息(包含特征图与特征向量)，p表示输出的概率，log为取对数操作。采用链式法则计算预测句子的概率为：

s_t表示第t时间步预测的单词，s_1:t-1表示第1时间步到t-1时间步预测的单词，N为预测句子的总的时间步(第0时间步为输入图像，即图片I中的特征向量)，并采用随机梯度下降的方法对误差进行修正，优化整个模型的参数

其中α表示学习率。

通过上述步骤，即可完成对深度长短期记忆网络模型的训练，从而可以使用训练好的模型对测试集上的图片进行预测，生成图片描述。

为了验证上述方法的性能，设计了以下实验。

在两个公开数据集上(MSCOCO、Flickr30K)采用两个网络模型(ResNet-101与GoogleNet)使用本方法进行训练以及测试，使用BLEU、METEOR和CIDEr标准来对生成的句子进行评价。为便于对比，使用Google的NIC模型作为基准模型(baseline)，分别设置语言模型层数为1、2和3(NIC-1、NIC-2和NIC-3)；并将注意力机制作为另一个基准模型(Attention与Attention+fc)，该基准即为语言模型只有一层的情况。在MSCOCO数据集上，其训练集有113287张图像，验证集和验证集各有5000张图像，每张图像有5条以上人工标注的参考句子；在Flickr30K数据集上，共有31783张图像，使用其中的29000张图像作为训练集，1000张图像作为测试集，其他作为验证集。在各数据集上不同网络模型上的实验结果如表1、表2、表3所示。

表1在ResNet-101两个数据集上性能表现

表2在GoogleNet两个数据集上性能表现

表3采用ResNet-101在MSCOCO数据集与前一时间步注意力对比

method	CIDEr	B-3	B-4	METEOR
					Previous-attention-3	103.1	43.6	33.2	25.9
Previous-attention-4	104.3	43.9	33.6	25.8
					Previous-attention-5	103.6	44.2	34.0	26.0
S-Attention-3	105.2	43.7	33.7	26.4
					S-Attention-4	105.6	44.3	34.5	26.5
S-Attention-5	104.1	44.0	33.8	26.4

通过实验可以证实，在ResNet-101模型中：在MSCOCO上，其CIDEr和BLEU4分别达到了105.9和34.5，在Flickr30K上，其B-4达到了24.0；在GoogleNet中，在MSCOCO上，其CIDEr和BLEU4分别达到了102.0和32.7，在Flickr30K上，其B-4达到了24.0，均超过同类其他模型。

Claims (8)

1.一种基于深度注意力机制的图像描述生成方法，其特征在于，所述方法包括：

深度长短期记忆网络模型建立步骤，通过在长短期记忆网络模型的单元之间添加注意力机制函数，并利用卷积神经网络提取的训练图片特征和训练图片的描述信息对添加了注意力机制函数的长短期记忆网络进行训练，得到深度长短期记忆网络模型，

图像描述生成步骤，将待生成描述的图像依次通过卷积神经网络模型和深度长短期记忆网络模型，生成与图像对应的描述；

所述深度长短期记忆网络模型建立步骤包括：

A1)将训练图片通过卷积神经网络，得到训练图片的特征图和特征向量，

A2)建立长短期记忆网络模型，并在长短期记忆网络模型的每两个连接层之间添加注意力机制函数，

A3)将训练图片的描述信息和步骤A1)中得到的特征图与特征向量，输入到步骤A2)中添加了注意力机制函数的长短期记忆网络模型后，对长短期记忆网络模型进行训练，得到深度长短期记忆网络模型；

所述步骤A2)包括：

A21)通过设置输入门、输出门、遗忘门和记忆单元，构建长短期记忆网络模型中的长短期记忆单元，

A22)设置长短期记忆网络模型中每一个连接层的时间步长和隐层单元的个数，

A23)在长短期记忆网络模型的每一个连接层的长短期记忆单元后添加注意力机制函数，所述注意力机制函数包括两个输入端和一个输出端，所述两个输入端的维度分别与通过卷积神经网络的特征图的维度和隐层单元参数的维度相等，所述输出端的维度与通过卷积神经网络提取的训练图片特征向量维度相等。

2.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述长短期记忆网络模型中每一个连接层的时间步长与所有训练图片的描述信息的平均句子长度相等。

3.根据权利要求1述的基于深度注意力机制的图像描述生成方法，其特征在于，所述隐层单元的个数为512个。

4.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述注意力机制函数具体为：

其中，k表示第k层长短期记忆单元，t表示时间步，a_i表示特征图的第i部分，整个特征图为{a₁,a₂,…,a_i,…a_L}，

表示第k-1层长短期记忆单元的隐层输出，f_att表示多层感知机，

为特征图第i部分与当前时间步有关的相似性结果，

为特征图第i部分所占的全局比重，

为注意力，Φ为Φ函数。

5.根据权利要求1所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述步骤A3)包括：

A31)将所有训练图片的描述信息对应的所有单词编码后映射为嵌入式向量；

A32)在第一个时间步，将步骤A1)中得到的特征向量作为全局信息输入到长短期记忆网络模型中；

A33)每一层的长短期记忆单元的输入包括上一层的长短期记忆单元输出、特征注意力计算值和与该层顺序相对应的单词的嵌入式向量，依层传递得到训练图片的输出描述信息；

A34)根据输出描述信息与实际描述信息的误差，对长短期记忆网络模型的参数进行优化，得到深度长短期记忆网络模型。

6.根据权利要求5所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述特征注意力计算值的计算方式具体为：将相应的长短期记忆单元的输出和步骤A1)中得到的特征图作为输入，通过注意力机制函数进行计算，得到特征注意力计算值。

7.根据权利要求6所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述相应的长短期记忆单元的输出包括上一层的长短期记忆单元的输出、当前长短期单元以前所有层的长短期记忆单元的输出或当前长短期单元的前两层的长短期记忆单元的输出。

8.根据权利要求5所述的基于深度注意力机制的图像描述生成方法，其特征在于，所述步骤A34)包括：

A341)通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，并对计算得到的所有误差进行求和；

A342)将步骤A341)求和得到的结果相对于添加了注意力机制函数的长短期记忆网络模型进行求导，并将求导的结果传递回添加了注意力机制函数的长短期记忆网络模型中；

A343)将添加了注意力机制函数的长短期记忆网络模型关于求导的结果的输出作为训练后的模型参数，得到深度长短期记忆网络模型。

Images