CN114782698A - 基于位置引导Transformer的图像描述生成方法、装置和计算机设备 - Google Patents

基于位置引导Transformer的图像描述生成方法、装置和计算机设备 Download PDF

Info

Publication number
CN114782698A
CN114782698A CN202210550930.9A CN202210550930A CN114782698A CN 114782698 A CN114782698 A CN 114782698A CN 202210550930 A CN202210550930 A CN 202210550930A CN 114782698 A CN114782698 A CN 114782698A
Authority
CN
China
Prior art keywords
attention
grid
image
model
position code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210550930.9A
Other languages
English (en)
Inventor
杨有
胡峻滔
姚露
安永志
潘龙越
郝子娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN202210550930.9A priority Critical patent/CN114782698A/zh
Publication of CN114782698A publication Critical patent/CN114782698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉和自然语言处理技术领域，公开了一种基于位置引导Transformer的图像描述生成方法，包括：提取图像的网格特征并进行扁平化处理得到输入向量；计算相对位置编码和绝对位置编码；将上述向量和编码输入预设的位置引导Transformer模型，得到描述图像的语句；位置引导Transformer模型包括编码器和解码器，其均由多个堆叠的注意力块组成，编码器的每个注意力块包括双位置注意力层和前馈神经网络，解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。本发明提供的基于位置引导Transformer的图像描述生成方法、装置和计算机设备，将绝对位置编码和相对位置编码同时引入自注意力模块，并在其内部对图像特征进行组归一化，提高了模型的表现力。

Description

基于位置引导Transformer的图像描述生成方法、装置和计算 机设备
技术领域
本发明涉及计算机视觉和自然语言处理技术领域，特别涉及一种基于位置引导Transformer的图像描述生成方法、装置和计算机设备。
背景技术
图像描述生成是一个多模态任务，旨在自动生成图像中视觉内容的自然语言描述。它不仅要求了模型对视觉和语言的理解，而且还要有能力对齐跨模态表示。图像描述生成模型广泛地使用了编码器-解码器范式,其中卷积神经网络(Convolutional NeuralNetwork,CNN)被用来编码视觉特征，而循环神经网络(Recurrent Neural Network,RNN)被用来将CNN的输出解码为自然句子。此外，基于注意力的方法探索了视觉表征和自然句子之间的互动，并关注突出的信息。具体来说，注意力机制通过生成每个输入图像的空间投影来指导每个单词的解码，以此提高性能。随着Transformer的发展,在图像描述生成模型中，自注意力模块在探索视觉特征和文字之间的相关性方面发挥了重要作用。
然而，传统的基于Transformer的框架在图像描述生成中考虑图像中视觉内容之间的几何关系方面有一定困难，不能防止自我注意中每层输入的分布变化，同时也很难捕捉到视觉元素之间的相互位置信息的交互，这限制了图像描述生成任务的表达能力。
发明内容
本发明提供了一种基于位置引导Transformer的图像描述生成方法、装置和计算机设备，将绝对位置编码和相对位置编码同时引入自注意力模块，并在其内部对图像特征进行组归一化，提高了模型的有效性。
本发明提供了一种基于位置引导Transformer的图像描述生成方法，包括：
获取图像，并提取所述图像的网格特征；
将所述网格特征进行扁平化处理，得到输入向量；
根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
进一步地，所述根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码的步骤，包括：
采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：
Figure BDA0003650684460000021
Figure BDA0003650684460000022
Figure BDA0003650684460000023
其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PEi；PEj]表示拼接，p表示行或列的位置，m表示p的维度，dmodel表示所述位置引导Transformer模型的维度；
计算所述网格特征的平滑相对位置编码；其中，计算公式包括：
Figure BDA0003650684460000024
其中，
Figure BDA0003650684460000025
表示平滑相对位置编码，
Figure BDA0003650684460000026
表示符号函数，cx和cy表示网格特征的中心坐标，w表示网格特征的宽度，h表示网格特征的高度；
将所述平滑相对位置编码投影到
Figure BDA0003650684460000027
其中，公式为：
Figure BDA0003650684460000028
其中，FC(·)表示全连接层对应的映射函数，Emb表示原始Tansformer模型中对应的嵌入函数，σ为ReLU激活函数。
进一步地，所述将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤，包括：
将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果；
将所述编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句。
进一步地，所述将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果的步骤中，对于第(l+1)层：
将所述相对位置编码、绝对位置编码、输入向量输入双位置注意力层进行计算，得到第一计算结果；其中，计算公式为：
MHBPA(Fl，Fl，Fl，APE，RPE)＝Concat(head1，…，headh)Wo
headi＝BPA(Fl，Fl，Fl，APE，RPE)
其中，
Figure BDA0003650684460000031
表示输入向量，
Figure BDA0003650684460000032
表示网格特征的绝对位置编码，RPE∈RN×N表示网格特征的相对位置编码，MHBPA(Fl，Fl，Fl，APE，RPE)表示第一计算结果Hl+1；
将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA0003650684460000033
其中，计算公式为：
Hl+1＝MHBPA(Fl，Fl，Fl，APB，RPE)
Figure BDA0003650684460000034
将所述注意力结果输入所述编码器的前馈神经网络进行计算，得到第二计算结果Fl+1；其中，计算公式为：
Figure BDA0003650684460000035
将第二计算结果Fl+1输入第(l+2)层进行计算，以此类推，直到所有双位置注意力层均计算后，完成多级编码。
进一步地，所述将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA0003650684460000036
的步骤中，注意力结果ZBPA为经过组归一化后的注意力结果；其中，组归一化方法包括：
Figure BDA0003650684460000037
其中，X、Y代表输入和输出，
Figure BDA0003650684460000038
Var[x]是x的均值和方差，∈是常数，γ、β是可学习的仿射参数；
Qn＝GN(Q)
Figure BDA0003650684460000039
其中，Q、Qn对应X、Y，分别代表输入和输出；
Figure BDA00036506844600000310
EBPA＝S′n+log(Ω)
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中，PQ，PK分别为q和k的绝对位置编码，
Figure BDA00036506844600000311
为查询依赖偏置，
Figure BDA00036506844600000312
为关键值依赖偏置，S′n代表缩放分数，Ω为
Figure BDA0003650684460000041
进一步地，将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤之后，还包括：
采用交叉熵损失函数训练所述位置引导Transformer模型；其公式为：
Figure BDA0003650684460000042
其中，Pθ为位置引导Transformer模型给定的概率分布；
采用自批评序列训练使负期望奖赏LRL(θ)最小化：
Figure BDA0003650684460000043
Figure BDA0003650684460000044
Figure BDA0003650684460000045
其中，r(y1：T)为奖赏函数，即CIDEr分数的计算，k为波束尺寸，
Figure BDA0003650684460000046
为第i个句子，b为被采样序列获得奖励的平均值计算而来的基线。
进一步地，所述采用自批评序列训练使负的预期奖赏LRL(θ)最小化的步骤中，对所述位置引导Transformer模型训练设定次数，选取所述设定次数中CIDEr分数最高的一次的位置引导Transformer模型作为初始模型，对所述初始模型采用自批评序列训练进行调整。
本发明还提供了一种基于位置引导Transformer的图像描述生成装置，包括：
获取模块，用于获取图像，并提取所述图像的网格特征；
处理模块，用于将所述网格特征进行扁平化处理，得到输入向量；
编码模块，用于根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
输入模块，用于将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果为：
1、将绝对位置编码和相对位置编码同时引入自注意力模块，形成了双位置注意力模块，结合绝对和相对位置编码来衡量视觉特征和其内部位置信息之间的贡献。
2、使用组归一化方法，它利用多头注意力内部的通道级依赖性来减轻注意力模块中分布的偏移。
3、将双位置注意力模块和组归一化方法应用到位置引导Transformer模型中，为图像描述生成任务探索更准确的位置表示；在MSCOCO数据集上进行验证时，本发明中的位置引导Transformer模型在离线和在线测试中取得与非预训练的最先进方法相竞争的性能，证明了模型的有效性。
附图说明
图1为本发明中位置引导Transformer模型的结构示意图。
图2为本发明一实施例的方法流程示意图。
图3为本发明中相对位置编码的函数图像示意图。
图4为本发明一实施例的装置结构示意图。
图5为本发明一实施例的计算机设备内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1-2所示，本发明提供了一种基于位置引导Transformer的图像描述生成方法，包括：
S1、获取图像，并提取所述图像的网格特征；
S2、将所述网格特征进行扁平化处理，得到输入向量；
S3、根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
S4、将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
如上述步骤S1-S4所述，图像描述生成是一个多模态任务，旨在自动生成图像中视觉内容的自然语言描述。其不仅要求了模型对视觉和语言的理解，而且还要有能力对齐跨模态表示。图像描述生成模型广泛地使用了编码器-解码器范式，其中卷积神经网络(Convolutional Neural Network,CNN)被用来编码视觉特征，而循环神经网络(RecurrentNeural Network,RNN)被用来将CNN的输出解码为自然句子，此外，注意力机制通过生成每个输入图像的空间投影来指导每个单词的解码，以此提高性能。
如图2所示，获取一张图像，采用Faster R-CNN模型得到该图像的网格特征，卷积神经网络(Convolutional Neural Network,CNN)用于对图像内容进行向量化处理，并使用(Recurrent Neural Network,RNN)将向量解码成句子。得到图片的网格特征后，根据网格特征得到网格特征的相对位置编码和绝对位置编码；同时，将网格特征进行扁平化处理，得到输入向量，记录为
Figure BDA0003650684460000061
最后将这些向量和相对位置编码、绝对位置编码送入预设的位置引导Transformer模型，得到描述所述图像的语句。预设的位置引导Transformer模型，即PGT(Position-Guided Transformer)。在整体架构中采用了编码器-解码器范式，位置引导Transformer模型由一个图像特征编码器和一个描述句子解码器组成，两者都由L个堆叠的注意力块组成，每个注意力块包括多头注意力层和前馈神经网络，块内还有几个子层，他们都带有残差连接和层归一化。在编码器中，双位置注意力(BPA)模块用于捕捉全面的位置信息并学习复杂的几何表示，使用编码之后的特征，解码器可以逐词地生成描述。
传统的自注意力模块很难捕捉到视觉元素之间的相互位置信息的交互，限制了图像描述生成任务的表达能力。对于绝对位置编码(Absolute Position Encoding,APE)而言，尽管可以使用正弦嵌入来获取位置信息，但使用相对位置编码(Relative PositionEncoding,RPE)会获得更好的性能。然而，RPE缺乏固定的位置信息。例如，图像中不同物体之间的相对顺序或距离。为了解决上述问题，本发明提出双位置注意力(Bi-PositionalAttention,BPA)模块学习一个更全面的位置嵌入，增强图像中物体间的空间相关性，将BPA模块和GN方法都应用到位置引导Transformer模型(Position-Guided Transformer,PGT)中，即，将原始Transformer的自注意力模块替换为BPA模块，并在其内部对图像特征施以组归一化，然后将其用于图像描述生成任务，其中使用的视觉特征是网格特征，BPA可以建模更复杂的空间关系。采用了组归一化(Group Normalization,GN)方法来提取多头注意中更丰富的通道级特征，GN使模型能够灵活地捕捉每组的不同分布。
基于Transformer的框架在考虑图像中视觉内容之间的几何关系方面是很困难的，同时也不能防止自我注意中每层输入的分布变化。因此，本发明提出了一个双位置注意力(Bi-Positional Attention,BPA)模块，其结合了绝对和相对位置编码，以精确探索图像中的物体及其几何信息之间的内部关系。此外，还在BPA内部使用了组归一化(GroupNormalization,GN)方法，以缓解分布的偏移，并更好地利用视觉特征的通道依赖性。本发明将BPA和GN应用到原始的Transformer中，构成了位置引导Transformer(Position-Guided Transformer,PGT)网络，其学习了更全面的位置表征，以增强图像描述生成任务中物体间的空间互动。与非预训练的最先进方法相比，在MSCOCO基准数据集上的实验结果表明，本发明的PGT取得了有竞争力的性能，在Karpathy分割上用单个模型达到了134.2％的CIDEr分数，在官方测试服务器上使用集成模型设置达到了136.2％的CIDEr分数。
在一个实施例中，所述根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码的步骤，包括：
S31、采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：
Figure BDA0003650684460000071
Figure BDA0003650684460000072
Figure BDA0003650684460000073
其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PEi；PEj]表示拼接，p表示行或列的位置，m表示p的维度，dmodel表示所述位置引导Transformer模型的维度；
S32、计算所述网格特征的平滑相对位置编码；其中，计算公式包括：
Figure BDA0003650684460000074
其中，
Figure BDA0003650684460000075
表示平滑相对位置编码，
Figure BDA0003650684460000076
表示符号函数，cx和cy表示网格特征的中心坐标，w表示网格特征的宽度，h表示网格特征的高度；
S33、将所述平滑相对位置编码投影到
Figure BDA0003650684460000077
其中，公式为：
Figure BDA0003650684460000078
其中，FC(·)表示全连接层对应的映射函数，Emb表示原始Tansformer模型中对应的嵌入函数，σ为ReLU激活函数。
如上述步骤S31-S33所述，位置表征在捕捉单词的位置方面起着重要作用，位置表征能指导模型区分物体的位置，或整合物体间的相对位置信息。故，需要根据网格特征得到网格特征的相对位置编码和绝对位置编码。
绝对位置编码(Absolute Position Encoding,APE)：
绝对位置编码(Absolute Position Encoding,APE)用于探索Transformer模型的序列顺序，APE为输入标记的每个位置建立一个单独的映射。此外，在自注意力中引入两个输入序列间的相对位置编码(Relative Position Encoding,RPE)，进一步利用RPE来增强视觉任务中的相对位置表征。
每个位置所对应的独一无二的表示都是通过APE获得的，采用正弦波位置编码的拼接和扁平化处理来获取每个图像中可用的APE，整个操作的定义如下：
APE(i,j)＝[PEi；PEj]
其中，i，j是一个网格的行嵌入和列嵌入，[·；·]代表拼接操作。
Figure BDA0003650684460000081
可以被定义为:
Figure BDA0003650684460000082
Figure BDA0003650684460000083
其中p可以是行或者列的位置，m是p的维度，dmodel代表模型的维度。
相对位置编码(Relative Position Encoding,RPE)：
APE传达了一些位置信息，但其很难捕捉到图像中物体之间的几何关系。因此，需要计算网格特征的RPE。
给定一组网格特征，每个网格可以表示为(cx,cy,w,h)，其中cx和cy代表网格的中心坐标，w和h代表其宽度和高度。两个网格i和j之间的几何关系被定义为一个4维向量
Figure BDA0003650684460000084
将该向量命名为中心坐标相对位置编码(center-coordinaterelative position encoding,CRPE)：
Figure BDA0003650684460000085
然后
Figure BDA0003650684460000086
会被投影到一个更高维的特征
Figure BDA0003650684460000087
Figure BDA0003650684460000088
其中Emb表示原始Tansformer模型中对应的嵌入函数，FC(·)表示全连接层对应的映射函数，σ是ReLU激活函数。
当计算网格的中心坐标结果，即|cxi-cxj|和|cyi-cyj|，必须将结果限制为略大于0来作为函数y＝log(|x|)的输入。此外，函数相对于Y轴是对称的，两边的结果完全相同，这可能导致该模型只区分距离，而不是网格特征中的相对方向。此外，当输入足够小的时候，如果稍微改变它，由于对数函数的特性，输出会有很大的变化。为了克服上述限制，引入了另一种方法来计算该4维向量
Figure BDA0003650684460000091
这被称为平滑相对位置编码(Smooth RelativePosition Encoding,SRPE)。如图3所示，图3示出了两个函数的图像，展示了两种方法之间的差异。通过使用SRPE，计算相对坐标的结果变化更加平滑，从而提高了相对位置信息的表现力，因此，采用如下公式计算SRPE：
Figure BDA0003650684460000092
其中
Figure BDA0003650684460000093
代表符号函数，而其输入是对应的中心坐标cx或cy。
Figure BDA0003650684460000094
同样会被投影到一个更高维的特征
Figure BDA0003650684460000095
如公式：
Figure BDA0003650684460000096
在一个实施例中，所述将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤，包括：
S41、将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果；
S42、将所述编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句。
如上述步骤S41-S42所述，在多级编码时，第L个块的输出会被送入到第(L+1)个块中作为第(L+1)个块的输入，第(L+1)个块的输出又会被送入到第(L+2)个块中，以此类推。PGT，即本发明的位置引导Transformer模型的解码器与原始Transformer的解码器保持一致，由一个捕捉词级交互的掩码多头注意力、一个探索视觉和文本特征关系的交叉多头注意力以及一个前馈神经网络组成。将编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句；解码器没有使用BPA(Bi-Positional Attention，双位置注意力)模块，因为解码器中的单词输入的长度是可变的，来自图像特征的位置表示可能会对单词的位置嵌入造成扰动。
在一个实施例中，所述将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果的步骤中，对于第(l+1)层：
S411、将所述相对位置编码、绝对位置编码、输入向量输入双位置注意力层进行计算，得到第一计算结果；其中，计算公式为：
MHBPA(Fl，Fl，Fl，APE，RPE)＝Concat(head1，…，headh)Wo
headi＝BPA(Fl，Fl，Fl，APE，RPE)
其中，
Figure BDA0003650684460000101
表示输入向量，
Figure BDA0003650684460000102
表示网格特征的绝对位置编码，RPE∈RN×N表示网格特征的相对位置编码，MHBPA(Fl，Fl，Fl，APE，RPE)表示第一计算结果Fl+1；
S412、将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA0003650684460000103
其中，计算公式为：
Hl+1＝MHBPA(Fl，Fl，Fl，APB，RPE)
Figure BDA0003650684460000104
S413、将所述注意力结果输入所述编码器的前馈神经网络进行计算，得到第二计算结果Fl+1；其中，计算公式为：
Figure BDA0003650684460000105
S414、将第二计算结果Fl+1输入第(l+2)层进行计算，以此类推，直到所有双位置注意力层均计算后，完成多级编码。
如上述步骤S411-S414所述，将网格特征进行扁平化处理，得到输入向量
Figure BDA0003650684460000106
后，将其送入PGT的编码器，具体地，对于第(l+1)层，模型的输入
Figure BDA0003650684460000107
首先会被送入多头BPA模块(Multi＝Head BPA，MHBPA)
MHBPA(Fl，Fl，Fl，APE，RPE)＝Concat(head1，…，headh)Wo
headi＝BPA(Fl，Fl，Fl，APE，RPE)
其中，
Figure BDA0003650684460000108
和RPE∈RN×N分别是网格特征的绝对和相对位置编码。MHBPA的输出Hl+1会经过一个残差连接以及层归一化：
Hl+1＝MHBPA(Fl，Fl，Fl，APB，RPE)
Figure BDA0003650684460000109
其中，
Figure BDA00036506844600001010
是注意力结果。然后
Figure BDA00036506844600001011
会被送入一个前馈神经网络(feed-forwardneural network，FFN)，它也是带有一个残差连接和一个层归一化的：
Figure BDA00036506844600001012
最终，在多级编码之后，第L层得到的输出FL将进入解码层中。
在一个实施例中，所述将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA00036506844600001013
的步骤中，注意力结果ZBPA为经过组归一化后的注意力结果；其中，组归一化方法包括：
Figure BDA0003650684460000111
其中，X、Y代表输入和输出，
Figure BDA0003650684460000112
Var[x]是x的均值和方差，∈是常数，γ、β是可学习的仿射参数；
Qn＝GN(Q)
Figure BDA0003650684460000113
其中，Q、Qn对应X、Y，分别代表输入和输出；
Figure BDA0003650684460000114
EBPA＝S′n+log(Ω)
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中，PQ，PK分别为q和k的绝对位置编码，
Figure BDA0003650684460000115
为查询依赖偏置，
Figure BDA0003650684460000116
为关键值依赖偏置，S′n代表缩放分数，Ω为
Figure BDA0003650684460000117
如上所述，传统的Transformer模型，对于自注意力层：自注意力层聚合了整个输入的信息。给定从输入中提取的特征X，注意力函数能够捕捉到X内部的相互作用。矩阵Q、K和V是通过将输入特征X线性投影在三个可学习的权重矩阵，即Wq，Wk和Wv上得到的，其公式如下：
S＝QKT
Figure BDA0003650684460000118
Z＝Attention(Q，K，V)＝softmax(Sn)·V
其中
Figure BDA0003650684460000119
dmodel是特征的维度，N是每个图像中的网格数，S是通过两个不同的输入矩阵计算出的分数，Sn是softmax函数中为了梯度稳定的缩放分数，
Figure BDA00036506844600001110
代表缩放因子，Z是计算后所得的矩阵。
为了使自注意层捕获到更丰富的表征，Transformer采用了多头注意力机制，其中维度为dmodel的Q，K，V会分别被线型地投影h次，使其维度分别变为dk，dk和dv，即dk＝dv＝dmodel/h.该操作的定义如下：
Figure BDA00036506844600001111
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
其中
Figure BDA00036506844600001112
是参数矩阵。
对于前馈神经网络：
每个编码器和解码器中多头注意力层的输出H会被送入一个前馈神经网络，该网络由两个带有ReLU激活函数的线性变换组成，其表示为如下公式：
FFN(H)＝ReLU(HW1+b1)W2+b2
其中W1，W2，b1，b2是可学习的参数。隐藏层的维度dh is set是大于dmodel的。
对于残差连接和归一化：
子层(Sublayer)的输入Hin和输出Hout通过一个残差块和层归一化进行连接，表示为：
Hout＝LayerNorm(Hin+Sublayer(Hin))
其中，Sublayer(·)表示一个网络模块对应的映射函数，该网络模块可以是BPA模型中的注意力层，也可以是BPA模型中的前馈神经网络。
在发明中的BPA模块中，首先将绝对位置编码(Absolute Position Encoding，APE)引入位置引导Transformer模型，APE有助于模型准确区分物体的位置。将Q和K相乘形成基于内容的注意，将APE分别与Q和K相乘，形成位置引导的注意并引导模型关注相对重要的位置信息，将三个注意力结果相加，得到BPA中的注意力得分，其公式为：
Figure BDA0003650684460000121
Figure BDA0003650684460000122
其中PQ，PK分别为q和k的APE，位置引导的注意力结果
Figure BDA0003650684460000123
和
Figure BDA0003650684460000124
被分别命名为查询依赖偏置和关键值依赖偏置，S′n代表缩放分数。
除此之外，采用RPE来调整比例得分，它能更好地将相对位置信息聚合到自注意力中。其表达式如下：
EBPA＝S′n+log(Ω)
其中Ω可以是上述的
Figure BDA0003650684460000125
或者
Figure BDA0003650684460000126
EBPA是BPA的最终注意力分数。
注意到V在前述传统Transformer模型的公式Z＝Attention(Q，K，V)＝softmax(Sn)·V中不涉及任何位置信息。因此，引入了V的绝对位置编码，即值依赖偏置PV：
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中ZBPA是BPA的输出，前述三个偏置将其统一命名为绝对位置偏置(AbsolutePositional Bias，APB)。
本发明中，为了缓解内部协变量偏移，稳定自注意力模块的训练，早期在图像描述生成中使用了实例归一化(Instance Normalization，IN)。然而，IN只是依靠空间维度来计算均值和方差，没有利用通道级的依赖性，而这个依赖性这对于图像描述生成模型捕捉不同的表征是至关重要的。为了解决这个问题，本发明在多头注意力中使用了组归一化的方法(GN)以学习更灵活和多样化的分布，从而提高探索物体间几何关系的能力。GN进行以下计算：
Figure BDA0003650684460000131
其中x，y代表输入和输出，
Figure BDA0003650684460000132
Var[x]是x的均值和方差，∈是一个很小的常数，γ，βare是可学习的仿射参数，上述等式可以被表示为y＝GN(x)。
在多头注意力的
Figure BDA0003650684460000133
上实施归一化。H代表头指数，即要进行归一化的那个通道。将H通道分为H/2组，该操作定义为：
Qn＝GN(Q)
其中Qn代表已经被归一化的Q，因此，BPA中的分数计算表示如下：
Figure BDA0003650684460000134
与前述相同的是，得到的结果S′BPA经过计算，最终得到的注意力结果ZBPA将被送入编码器的下一个阶段。其中，采用上述的公式为：
Figure BDA0003650684460000135
EBPA＝S′n+log(Ω)
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中，PQ，PK分别为q和k的绝对位置编码，
Figure BDA0003650684460000136
为查询依赖偏置，
Figure BDA0003650684460000137
为关键值依赖偏置，S′n代表缩放分数，Ω为
Figure BDA0003650684460000138
在一个实施例中，所述将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤之后，还包括：
S5、采用交叉熵损失函数训练所述位置引导Transformer模型；其公式为：
Figure BDA0003650684460000139
其中，Pθ为位置引导Transformer模型给定的概率分布；
S6、采用自批评序列训练使负期望奖赏LRL(θ)最小化：
Figure BDA00036506844600001310
Figure BDA00036506844600001311
Figure BDA00036506844600001312
其中，r(y1：T)为奖赏函数，即CIDEr分数的计算，k为波束尺寸，
Figure BDA0003650684460000141
为第i个句子，b为被采样序列获得奖励的平均值计算而来的基线。
如上所述，使用交叉熵损失来预先训练优化位置引导Transformer模型模型。给定一个真实标签
Figure BDA0003650684460000142
一个来自真实标签句子中第t个时间步的单词
Figure BDA0003650684460000143
以及一个带参数θ的图像描述生成模型，目标是使交叉熵损失函数LXE(θ)最小化，其定义如下：
Figure BDA0003650684460000144
其中Pθ由模型给定的概率分布。
然后，采用自批评序列训练(Self-Critical Sequence Training,SCST)来微调不可微的指标。SCST可以克服暴露偏差的问题，明显提高图像描述生成系统的性能。SCST的目标是使负的预期奖赏LRL(θ)最小化：
Figure BDA0003650684460000145
其中r(·)奖赏函数，也就是CIDEr评分的计算。用一个样本的预期奖赏函数的梯度
Figure BDA0003650684460000146
可以被近似表达为：
Figure BDA0003650684460000147
Figure BDA0003650684460000148
其中k是波束尺寸，
Figure BDA0003650684460000149
第i个句子，b是由被采样序列获得奖励的平均值计算而来的基线。
在一个实施例中，所述采用自批评序列训练使负的预期奖赏LRL(θ)最小化的步骤中，对所述位置引导Transformer模型训练设定次数，选取所述设定次数中CIDEr分数最高的一次的位置引导Transformer模型作为初始模型，对所述初始模型采用自批评序列训练进行调整。
如上述所，在具体实验中，所有实验都是在MSCOCO数据集上进行的，其是一个标准的用于图像描述生成任务的数据集。如，该数据集共有123287张图片，其中有82783张和40504张分别用于训练和验证。每张图片都标注有5个不同的句子，遵循Karpathy划分，其是一个在离线测试中应用最广泛的划分数据集的方法。该划分方法中包含了113287张带有5个标注句子的训练集图像，5000张验证集图像，以及5000张测试集图像。本发明采用了五个标准的评价指标，即BLEU、METEOR、ROUGE-L、CIDEr、和SPICE来评价生成句子的质量。BLEU和METEOR都是为机器翻译设计的。ROUGE-L是一个用于文本摘要的召回导向的评价指标。值得注意的是，CIDEr和SPICE是专门针对图像描述生成任务提出的评价指标，也是本发明主要考量的指标。
使用已经在ImageNet上预训练完成的带有ResNeXt-101骨干网络的Faster R-CNN来提取图像的网格特征。网格尺寸设置为7×7，输入特征的维度设置为2048，编码器和解码器的堆叠数为4。编码器和解码器的维度为512，注意力头数为4，前馈神经网络的内层维度为2048，神经网络的丢弃比率为0.1。使用Adam优化器来训练模型，在交叉熵训练阶段，为模型热身3轮，其中的学习率会线型地增加到1×10-4，在第4～10轮，将学习率设置到1×10-4；在第11～12轮，学习率设置到2×10-5；在第13～15轮，学习率设置到4×10-6，在第16～20轮，学习率设置到8×10-7。随后的30轮训练使用自批评序列训练，其中的学习率设置为5×10-6并且每10轮训练就退火0.2，批次大小设置为40，束搜索的尺寸设置为5。首先使用交叉熵损失进行训练，然后选择在验证集上达到最高CIDEr分数的那个模型作为初始模型，再使用自批评序列训练对其进行微调。
如图4所示，本发明还提供了一种基于位置引导Transformer的图像描述生成装置，包括：
获取模块1，用于获取图像，并提取所述图像的网格特征；
处理模块2，用于将所述网格特征进行扁平化处理，得到输入向量；
编码模块3，用于根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
输入模块4，用于将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
在一个实施例中，编码模块3，包括：
第一计算单元，用于采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：
Figure BDA0003650684460000151
Figure BDA0003650684460000152
Figure BDA0003650684460000161
其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PEi；PEj]表示拼接，p表示行或列的位置，m表示p的维度，dmodel表示所述位置引导Transformer模型的维度；
第二计算单元，用于计算所述网格特征的平滑相对位置编码；其中，计算公式包括：
Figure BDA0003650684460000162
其中，
Figure BDA0003650684460000163
表示平滑相对位置编码，
Figure BDA0003650684460000164
表示符号函数，cx和cy表示网格特征的中心坐标，w表示网格特征的宽度，h表示网格特征的高度；
投影单元，用于将所述平滑相对位置编码投影到
Figure BDA0003650684460000165
其中，公式为：
Figure BDA0003650684460000166
其中，FC(·)表示全连接层对应的映射函数，Emb表示原始Tansformer模型中对应的嵌入函数，σ为ReLU激活函数。
在一个实施例中，输入模块4，包括：
多级编码单元，用于将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果；
输入单元，用于将所述编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句。
在一个实施例中，多级编码单元中，对于第(l+1)层：
将所述相对位置编码、绝对位置编码、输入向量输入双位置注意力层进行计算，得到第一计算结果；其中，计算公式为：
MHBPA(Fl，Fl，Fl，APE，RPE)＝Concat(head1，…，headh)Wo
headi＝BPA(Fl，Fl，Fl，APE，RPE)
其中，
Figure BDA0003650684460000167
表示输入向量，
Figure BDA0003650684460000168
表示网格特征的绝对位置编码，RPE∈RN×N表示网格特征的相对位置编码，MHBPA(Fl，Fl，Fl，APE，RPE)表示第一计算结果Hl+1；
将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA0003650684460000169
其中，计算公式为：
Hl+1＝MHBPA(Fl，Fl，Fl，APB，RPE)
Figure BDA0003650684460000171
将所述注意力结果输入所述编码器的前馈神经网络进行计算，得到第二计算结果Fl+1；其中，计算公式为：
Figure BDA0003650684460000172
将第二计算结果Fl+1输入第(l+2)层进行计算，以此类推，直到所有双位置注意力层均计算后，完成多级编码。
在一个实施例中，所述将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure BDA0003650684460000173
的步骤中，注意力结果ZBPA为经过组归一化后的注意力结果；其中，组归一化方法包括：
Figure BDA0003650684460000174
其中，X、Y代表输入和输出，
Figure BDA0003650684460000175
Var[x]是x的均值和方差，∈是常数，γ、β是可学习的仿射参数；
Qn＝GN(Q)
Figure BDA0003650684460000176
其中，Q、Qn对应X、Y，分别代表输入和输出；
Figure BDA0003650684460000177
EBPA＝S′n+log(Ω)
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中，PQ，PK分别为q和k的绝对位置编码，
Figure BDA0003650684460000178
为查询依赖偏置，
Figure BDA0003650684460000179
为关键值依赖偏置，S′n代表缩放分数，Ω为
Figure BDA00036506844600001710
在一个实施例中，还包括：
训练模块，用于采用交叉熵损失函数训练所述位置引导Transformer模型；其公式为：
Figure BDA00036506844600001711
其中，Pθ为位置引导Transformer模型给定的概率分布；
自批评序列训练模块，用于采用自批评序列训练使负期望奖赏LRL(θ)最小化：
Figure BDA00036506844600001712
Figure BDA00036506844600001713
Figure BDA0003650684460000181
其中，r(y1：T)为奖赏函数，即CIDEr分数的计算，k为波束尺寸，
Figure BDA0003650684460000182
为第i个句子，b为被采样序列获得奖励的平均值计算而来的基线。
在一个实施例中，自批评序列训练模块中，对所述位置引导Transformer模型训练设定次数，选取所述设定次数中CIDEr分数最高的一次的位置引导Transformer模型作为初始模型，对所述初始模型采用自批评序列训练进行调整。
上述各模块、单元均是用于对应执行上述基于位置引导Transformer的图像描述生成方法中的各个步骤，其具体实现方式参照上述方法实施例所述，在此不再进行赘述。
如图5所示，本发明还提供了一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于位置引导Transformer的图像描述生成方法的过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于位置引导Transformer的图像描述生成方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一个基于位置引导Transformer的图像描述生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于位置引导Transformer的图像描述生成方法，其特征在于，包括：
获取图像，并提取所述图像的网格特征；
将所述网格特征进行扁平化处理，得到输入向量；
根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
2.根据权利要求1所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码的步骤，包括：
采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：
Figure FDA0003650684450000011
Figure FDA0003650684450000012
Figure FDA0003650684450000013
其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PEi；PEj]表示拼接，p表示行或列的位置，m表示p的维度，dmodel表示所述位置引导Transformer模型的维度；
计算所述网格特征的平滑相对位置编码；其中，计算公式包括：
Figure FDA0003650684450000014
其中，
Figure FDA0003650684450000015
表示平滑相对位置编码，
Figure FDA0003650684450000016
表示符号函数，cx和cy表示网格特征的中心坐标，w表示网格特征的宽度，h表示网格特征的高度；
将所述平滑相对位置编码投影到
Figure FDA0003650684450000017
其中，公式为：
Figure FDA0003650684450000021
其中，FC(·)表示全连接层对应的映射函数，Emb表示原始Tansformer模型中对应的嵌入函数，σ为ReLU激活函数。
3.根据权利要求2所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤，包括：
将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果；
将所述编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句。
4.根据权利要求3所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果的步骤中，对于第(l+1)层：
将所述相对位置编码、绝对位置编码、输入向量输入双位置注意力层进行计算，得到第一计算结果；其中，计算公式为：
MHBPA(Fl，Fl，Fl，APE，RPE)＝Concat(head1，…，headh)WO
headi＝BPA(Fl，Fl，Fl，APE，RPE)
其中，
Figure FDA0003650684450000022
表示输入向量，
Figure FDA0003650684450000023
表示网格特征的绝对位置编码，RPE∈RN×N表示网格特征的相对位置编码，MHBPA(Fl，Fl，Fl，APE，RPE)表示第一计算结果Hl+1；
将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure FDA0003650684450000024
其中，计算公式为：
Hl+1＝MHBPA(Fl，Fl，Fl，APB，RPE)
Figure FDA0003650684450000025
将所述注意力结果输入所述编码器的前馈神经网络进行计算，得到第二计算结果Fl+1；其中，计算公式为：
Figure FDA0003650684450000026
将第二计算结果Fl+1输入第(l+2)层进行计算，以此类推，直到所有双位置注意力层均计算后，完成多级编码。
5.根据权利要求4所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述将所述第一计算结果Hl+1进行层归一化得到注意力结果
Figure FDA0003650684450000031
的步骤中，注意力结果ZBPA为经过组归一化后的注意力结果；其中，组归一化方法包括：
Figure FDA0003650684450000032
其中，X、Y代表输入和输出，
Figure FDA0003650684450000033
Var[x]是x的均值和方差，∈是常数，γ、β是可学习的仿射参数；
Qn＝GN(Q)
Figure FDA0003650684450000034
其中，Q、Qn对应X、Y，分别代表输入和输出；
Figure FDA0003650684450000035
EBPA＝S′n+log(Ω)
ZBPA＝BPA(Q，K，V，APB，RPE)＝softmax(EBPA)·(V+PV)
其中，PQ,PK分别为q和k的绝对位置编码，
Figure FDA0003650684450000036
为查询依赖偏置，
Figure FDA0003650684450000037
为关键值依赖偏置，S′n代表缩放分数，Ω为
Figure FDA0003650684450000038
6.根据权利要求1所述的基于位置引导Transformer的图像描述生成方法，其特征在于，将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤之后，还包括：
采用交叉熵损失函数训练所述位置引导Transformer模型；其公式为：
Figure FDA0003650684450000039
其中，Pθ为位置引导Transformer模型给定的概率分布；
采用自批评序列训练使负期望奖赏LRL(θ)最小化：
Figure FDA00036506844500000310
Figure FDA00036506844500000311
Figure FDA0003650684450000041
其中，r(y1：T)为奖赏函数，即CIDEr分数的计算，k为波束尺寸，
Figure FDA0003650684450000042
为第i个句子，b为被采样序列获得奖励的平均值计算而来的基线。
7.根据权利要求6所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述采用自批评序列训练使负的预期奖赏LRL(θ)最小化的步骤中，对所述位置引导Transformer模型训练设定次数，选取所述设定次数中CIDEr分数最高的一次的位置引导Transformer模型作为初始模型，对所述初始模型采用自批评序列训练进行调整。
8.一种基于位置引导Transformer的图像描述生成装置，其特征在于，包括：
获取模块，用于获取图像，并提取所述图像的网格特征；
处理模块，用于将所述网格特征进行扁平化处理，得到输入向量；
编码模块，用于根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；
输入模块，用于将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202210550930.9A 2022-05-18 2022-05-18 基于位置引导Transformer的图像描述生成方法、装置和计算机设备 Pending CN114782698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550930.9A CN114782698A (zh) 2022-05-18 2022-05-18 基于位置引导Transformer的图像描述生成方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550930.9A CN114782698A (zh) 2022-05-18 2022-05-18 基于位置引导Transformer的图像描述生成方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114782698A true CN114782698A (zh) 2022-07-22

Family

ID=82409266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550930.9A Pending CN114782698A (zh) 2022-05-18 2022-05-18 基于位置引导Transformer的图像描述生成方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114782698A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用
CN115661929A (zh) * 2022-10-28 2023-01-31 北京此刻启动科技有限公司 一种时序特征编码方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375589A (zh) * 2022-10-25 2022-11-22 城云科技（中国）有限公司 一种去除图像阴影模型及其构建方法、装置及应用
CN115661929A (zh) * 2022-10-28 2023-01-31 北京此刻启动科技有限公司 一种时序特征编码方法、装置、电子设备及存储介质
CN115661929B (zh) * 2022-10-28 2023-11-17 北京此刻启动科技有限公司 一种时序特征编码方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Kang et al. Convolve, attend and spell: An attention-based sequence-to-sequence model for handwritten word recognition
RU2691214C1 (ru) Распознавание текста с использованием искусственного интеллекта
CN114782698A (zh) 基于位置引导Transformer的图像描述生成方法、装置和计算机设备
Tang et al. Improving speech translation by understanding and learning from the auxiliary text translation task
CN111291183B (zh) 利用文本分类模型进行分类预测的方法及装置
CN113591546B (zh) 语义增强型场景文本识别方法及装置
Ren et al. A sequence to sequence learning for Chinese grammatical error correction
CN111695052A (zh) 标签分类方法、数据处理设备、可读存储介质
CN116861014B (zh) 一种基于预训练语言模型的图像信息抽取方法及装置
Chen Model reprogramming: Resource-efficient cross-domain machine learning
CN110852110A (zh) 目标语句提取方法、问题生成方法以及信息处理设备
CN113361251A (zh) 一种基于多阶段生成对抗网络的文本生成图像方法及系统
Yin et al. Transcribing content from structural images with spotlight mechanism
CN113822125B (zh) 唇语识别模型的处理方法、装置、计算机设备和存储介质
Zhang et al. An improved approach based on CNN-RNNs for mathematical expression recognition
CN111695053A (zh) 序列标注方法、数据处理设备、可读存储介质
Kim et al. Cross-modal distillation with audio–text fusion for fine-grained emotion classification using BERT and Wav2vec 2.0
CN114818669A (zh) 一种人名纠错模型的构建方法和计算机设备
Cui et al. An end-to-end network for irregular printed Mongolian recognition
CN112949628B (zh) 一种基于嵌入-混合的轨迹数据增强及轨迹识别方法
Momeni et al. A transformer-based approach for arabic offline handwritten text recognition
CN116304710A (zh) 补充样本生成方法、装置、设备和存储介质
US20230154221A1 (en) Unified pretraining framework for document understanding
WO2023065027A1 (en) Translation model with learned position and corrective loss
CN115620314A (zh) 文本识别方法、答案文本的验证方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination