CN111581961A - 一种中文视觉词汇表构建的图像内容自动描述方法 - Google Patents

一种中文视觉词汇表构建的图像内容自动描述方法 Download PDF

Info

Publication number
CN111581961A
CN111581961A CN202010374110.XA CN202010374110A CN111581961A CN 111581961 A CN111581961 A CN 111581961A CN 202010374110 A CN202010374110 A CN 202010374110A CN 111581961 A CN111581961 A CN 111581961A
Authority
CN
China
Prior art keywords
image
chinese
vocabulary
network
visual vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010374110.XA
Other languages
English (en)
Other versions
CN111581961B (zh
Inventor
张凯
周建设
刘杰
吕学强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202010374110.XA priority Critical patent/CN111581961B/zh
Priority to PCT/CN2020/102234 priority patent/WO2021223323A1/zh
Publication of CN111581961A publication Critical patent/CN111581961A/zh
Application granted granted Critical
Publication of CN111581961B publication Critical patent/CN111581961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种中文视觉词汇表构建的图像内容自动描述方法，包括按顺序进行的步骤a，使用中文分词工具将单张图片对应的若干个描述语句进行分词处理，并根据统计的词频有选择地保留词表中的名词、动词和形容词，再将保留下来的词语构成中文视觉词汇表；步骤b，基于中文词汇表预测网络对中文视觉词汇表进行预测获得图像标注信息；步骤c，基于图像自动描述模型，使用编码器提取出图像卷积特征，再使用解码器将图像卷积特征作为初始输入解码为中文描述语句；本发明通过词汇表预测网络对图像词汇表进行预测可以获得图像标注信息，在中文视觉词汇表预测网络中添加残差结构，可以有效地解决随着中文视觉词汇表预测网络层数加深。

Description

一种中文视觉词汇表构建的图像内容自动描述方法
技术领域
本发明涉及图像语义理解技术，具体提供一种多通道中文视觉词汇表构建的图像内容自动描述方法。
背景技术
图像语义理解技术融合了计算机视觉和自然语言处理两个研究方向，是目前人工智能领域的一项研究热点，也是缩减图像的低层特征和高层语义之间的语义鸿沟的有效方法。图像语义理解技术为机器提供了处理多模态数据的能力，可以有效地缩减图像的低层特征和高层语义之间的语义鸿沟，其核心技术是结合计算机视觉和自然语言处理的相关知识，对图像的内容进行分析、理解，以文本语义信息的形式反馈。
当前，使用中文对图像描述的语句自动生成质量较低，除了图像处理技术的瓶颈。究其原因，一方面是中文的图像描述数据较少且质量较差，限制了图像内容自动生成的发展，另一方面是中文词语的含义丰富，句子结构复杂，同样也存在着语义理解的难题。
发明内容
鉴于上述现有技术中的存在的难题或缺陷，对图像内容理解的中文句子自动生成是其中一重点突破领域，考虑到图像内容目标检测网络往往只能检测到图中的部分物体信息，并且只能提供物体名词信息，无法提供物体相关的属性和动作等关键的信息，在进行句子自动生成中遇到困难；另一方面，通过挖掘图像的描述文本中可以利用的信息，将图像的描述文本进行分词和词性标注等处理，得到图像的标注信息，进而形成中文视觉词汇表也是一个关键，而且词汇表中不仅包括有名词，还包括了谓词、形容词等，词汇表中信息更加丰富，可以使得在进行模型训练中获得更多的语义信息，进而可以更好的应用到图像内容的自动描述过程。
一种中文视觉词汇表构建的图像内容自动描述方法，包括按顺序进行的如下：
步骤a，使用中文分词工具将单张图片对应的若干个描述语句进行分词处理，并根据统计的词频有选择地保留词表中的名词、动词和形容词，再将保留下来的词语构成中文视觉词汇表；
步骤b，基于中文词汇表预测网络对中文视觉词汇表进行预测获得图像标注信息；
步骤c，基于图像自动描述模型，使用编码器提取出图像卷积特征，再使用解码器将图像卷积特征作为初始输入解码为中文描述语句。
较为优选的，还包括步骤c后的步骤d，基于标签信息匹配的模型对描述生成网络的损失函数进行优化。
较为优选的：所述中文词汇表预测网络由基于卷积神经网络的特征提取网络和特征分类网络两个部分组成，所述特征提取网络将基于标签词表数据集上预训练的数据网络的平均池化的输出当作图像特征，输入所述特征分类网络的输入层，并由所述特征分类网络的输出层输出预测图像所对应的中文标签信息。
较为优选的：所述图像自动描述模型进行预测时，解码器首先接受图像卷积特征，并忽略这一时刻的输出；然后输入一个开始符号<Start>和预测标签特征后，解码器输出一个由词表中词语被预测的概率组成的向量，根据输出向量选取概率最大的词语作为本时刻输出；再把这个词语和预测标签特征作为下一时刻的输入，继续进行预测，直到预测出结束符号<End>：
较为优选的：所述编码器包括卷积、下采样和激活操作中的一种或多种。
较为优选的：所述特征分类网络是基于残差连接的三层全连通网络，其中包括输入层、三个隐藏层、两个残差连接以及输出层，所述残差连接添加在第一层全连接与第三层全连接之间、第二层全连接与第三层全连接之间。
较为优选的：所述解码器能够接收图像预测标签特征，并利用预测标签特征引导中文描述语句的生成。
较为优选的：所述步骤d中的基于标签信息匹配的模型优化具体为计算图像词表特征与解码器最终时刻细胞状态之间的距离，作为一个额外项加入损失函数中，并在模型训练时尽可能缩短标签特征与细胞状态的距离。
较为优选的：所述计算距离的方法采用曼哈顿距离或欧式距离。
有益效果：
本发明提供一种中文视觉词汇表构建的图像内容自动描述方法，具体使用一种中文视觉词汇表构建的图像自动描述生成模型，首先设计了一种中文视觉词汇表预测网络，通过词汇表预测网络对图像词汇表进行预测可以获得图像标注信息，在中文视觉词汇表预测网络中添加残差结构，可以有效地解决随着中文视觉词汇表预测网络层数加深，而导致的网络退化问题；其次使用了一种L-LSTM架构，可以将图像中文视觉词汇表特征引入描述生成网络中；此外，对描述生成网络的损失函数进行优化，缩短图像中文视觉词汇表特征与L-LSTM的细胞状态之间的距离，使得生成的图像描述语句与图像中文视觉词汇表更加贴近，最后通过各种方法验证模型的有效性。
附图说明
图1为图像自动描述模型整体架构示意图；
图2为L-LSTM模型架构图。
具体实施方式
下面首先对本发明所涉及的图像自动生成描述技术的现状进行分析：
目前的图像自动描述生成方法可总结为三大类别，分别为基于模板的方法、基于相似度检索的方法、基于深度学习的方法。
得益于图像物体识别技术的发展，研究人员提出了基于模板的图像描述生成方法。具体为通过目标识别检测出图像中的物体及其属性信息，然后将这些信息以恰当的方式嵌入到预先设计好的模板中。2010年，Farhadi等人使用检测器检测到图像中的物体去推断<物体，动作，场景>三元组，并使用模板将其转化为描述文本。2011年,Yang等人用隐马尔科夫模型选择可能的对象、动词、介词及场景类型填充句子模板。2013年， Kulkarni等人提出了Baby Talk模型，使用条件随机场(Conditional Random Field, CRF)对检测到的物体、属性、关系进行标注，最终使用模板生成描述语句。此类方法得到的描述语句受到模板的限制，显得内容生硬，不够灵活。
基于相似度检索的方法是利用图像传统视觉特征的相似度进行检索，将相似性高的图像的描述文本作为候选答案，或者将图像特征与文本特征映射到同一特征空间，从中检索出与待描述图像相似高的文本作为候选结果。2011年，Ordonez等人提出利用图像的全局特征在百万图像库中进行检索，并将最相似的图像的描述作为待描述图像的描述文本。2014年，Gong等人则是使用典型关联分析(Canonical Correlation Analysis， CCA)，把图像和文本映射到同一特征空间，建立对应关系，并从数据库中检索与图像最相似的文本。2015年，Hodosh等人提出使用核典型关联分析(Kernel Canonical CorrelationAnalysis，KCCA)方法学习图像和文本两个模态的公共特征空间，利用核函数将原始特征与高维特征进行映射，使用K近邻方法进行检索。这类方法不能完全根据图像内容产生语句，也无法产生数据库中不存在的描述语句。
随着深度学习的兴起，研究人员们提出了基于深度学习的图像描述方法。2014年，Mao等人提出了多模态循环神经网络(m-RNN)，使用卷积神经网络对图像进行编码，提取出图像卷积特征，并将此特征在每一时刻输入多模态循环神经网络中进行解码，生成描述单词。同年，Vinyals等人提出了基于卷积神经网络和长短期记忆网络(Long Short TermMemory，LSTM)的图像描述生成模型(Neural Image Caption，NIC)，不同于Mao的是，NIC模型使用LSTM建立语言模型生成描述语句，只将卷积神经网络提取图像卷积特征在开始时刻输入到LSTM中，没有在每一个时刻都进行输入，取得了很好的效果。随后，研究人员们对于NIC模型做出了改进，生成描述文本的质量也得到了提升。2015年，Xu等首次在模型中引入两种注意力机制(Attention Mechanism)，即Soft-Attention和Hard-Attention使得模型能够捕捉到图像的局部信息，在生成描述语句的过程中始终将CNN产生的低层特征图(Feature Map)输入到注意力机制中，注意力机制会从中选择某些特征图作为视觉信息输入LSTM。在每一轮生成描述单词后，模型都重新聚焦于图像的某些特征图，得到新的视觉信息输入到 LSTM中。2016年Lu等人提出一种基于Spatial Attention的图像描述模型，通过Spatial Attention使得模型可以自主决定使用图像信息还是使用语言模型信息。同年，Jia等使用语义信息指导LSTM生成描述，与基于相似度检索的方法类似，首先在图像-文本向量空间中检索出与图像特征最相似的描述文本特征，再将其作为指导信息输入到LSTM中，生成描述语句。2017年，汤鹏杰等人通过迁移学习的方法，分别训练场景分类网络用以捕捉图像的场景先验信息和物体分类网络用以捕捉图像的物体类别先验信息，再将图像的场景先验信息和物体类别先验信息融入模型中，协同生成图像的描述句子，提高句子生成质量。2018年，刘畅等人改变解码器结构，在解码器中加入栈式隐层和普通隐层，提高了语言模型的学习能力。刘泽宇、蓝玮毓对中文图像描述进行了研究，同样在NIC模型的基础上进行优化，刘泽宇等人提出基于多模态神经网络的图像中文摘要生成方法，在“编码-解码”模型中引入多标签关键词特征预测网络，首先利用关键词特征预测网络提取图像关键词特征，再将关键词特征以不同的方式输入到LSTM中进行解码，蓝玮毓则是利用深度模型对图像进行标签预测，并使用标签对解码器结果进行重新排序，改善了句子生成质量。同年，Lu等提出的神经网络方法可以自动生成一个句子模板，将模板中的空槽和图片中物体捆绑在一起。在生成每个词语时，模型会决定选择文本词汇还是视觉词汇。
本发明使用了一种中文视觉词汇表的构建来实现对图像内容的自动描述，方法使用 Flickr8kc、Flickr30kc中文图像描述数据集。具体实现过程集合附图1-2进行描述：
1.构建图像中文视觉词汇表的预测网络
在图像描述的数据集中，每幅图片对应着五个描述语句，每个句子都可以生动地描述图像的内容。本发明的方法是选择句子中的名词、动词和形容词作为要预测的图像内容标签。更具体地说，首先使用中文分词工具Boson将描述语句进行分词处理，并根据统计的词频有选择地保留词表中的名词、动词和形容词，再将保留下来的词语构成标签词表，并根据标签词表为每一幅图片标注标签信息，这样就获得了标签预测网络的训练数据。
本方法中使用的图像标签预测网络由2个部分组成，一是基于CNN的特征提取网络，二是特征分类网络。
其中，特征提取网络使用的是在ImageNet数据集上预训练的Resnet-152网络，ResNet-152是ImageNet2015图像分类比赛中的冠军模型，将Resnet-152网络的平均池化的输出当作图像特征，用于后续的特征分类网络。特征分类网络是基于残差连接的三层全连通网络，其中包括输入层、三个隐藏层、两个残差连接以及输出层。输入层用于接收由resnet-152提取的图像特征，输出层用于预测图像所对应的标签信息。由于每幅图中的包含的标签不止一个，所以这是一个多标签分类问题，我们将输出层的激活函数设置为Sigmoid函数。传统的深度学习特征分类网络只是一个单层的全连接网络。随着特征分类网络深度的增加，模型的表达能力增强，但模型的训练变得困难，出现了网络退化问题，即随着模型深度的增加，模型的准确率下降。我们受到ResNet残差结构的启发，在第一层全连接与第三层全连接之间、第二层全连接与第三层全连接之间添加了残差连接，这种做法不仅没有增加模型的复杂度，而且提高了模型的准确率。
2.基于中文视觉词汇表的图像自动描述模型
本发明中所提出的中文描述生成模型由两个部分组成，分别为卷积神经网络CNN和融合标签信息的长短期记忆网络L-LSTM，其架构是使用CNN作为编码器，提取出图像卷积特征，再使用L-LSTM作为解码器，将图像卷积特征作为初始输入解码为目标描述语句。
具体地，在模型进行预测时，L-LSTM首先接受图像卷积特征，并忽略这一时刻的输出；然后输入一个开始符号<Start>和预测标签特征后，L-LSTM输出一个由词表中词语被预测的概率组成的向量，根据输出向量选取概率最大的词语作为本时刻输出；再把这个词语和预测标签特征作为下一时刻的输入，继续进行预测，直到预测出结束符号 <End>，整体架构如图1所示。
图像自动描述模型中的编码器CNN是一种用于处理网格化数据的神经网络。CNN模型由一系列的变换模块组成，例如卷积、激活、下采样等。用深度CNN模型提取图像特征，图像数据需要经过多次的卷积、下采样和激活等操作，其提取出的特征更加抽象，表达能力更强，在图像分类与识别、目标检测、场景理解等视觉任务上取得了显著的效果。
图像自动描述模型中的解码器L-LSTM是由本文提出的一种能够融合标签信息的长短期记忆网络，如图2所示。L-LSTM与LSTM相同之处在于，通过不同的“门”的结构向细胞状态c中增加或去除信息，其中忘记门(Forget Gate)用于决定从前一时刻的细胞状态ct-1中保留或丢弃哪些语义信息；输入门(Input Gate)用于决定哪些语义信息输入到本时刻的细胞状态ct中；输出门(Output Gate)用于决定从本时刻的细胞状态ct中输出哪些语义信息。不同之处在于，L-LSTM能够接收图像预测标签特征l，并利用预测标签特征引导描述语句的生成。具体公式如下:
ft＝σg(Wfxt+Ufht-1+Vfl+bf) (1)
it＝σg(Wixt+Uiht-1+Vil+bi) (2)
ot＝σg(Woxt+Uoht-1+Vol+bo) (3)
gt＝σh(Wcxt+Ucht-1+Vcl+bc) (4)
ct＝ft*ct-1+it*gt (5)
ht＝ot*ct (6)
其中W，U，V，b表示在L-LSTM中需要训练的权重和偏置，xt表示L-LSTM的输入向量，l表示预测的标签特征，ht表示L-LSTM的隐藏状态，ct表示L-LSTM的单元状态，ft表示L-LSTM的“遗忘门”的激活向量，it表示L-LSTM的“输入门”的激活向量，ot表示L-LSTM的“输出门”的激活向量，*表示点乘，下标t表示时间σg表示Sigmoid函数，σh表示Tanh函数。
在“编码-解码”过程中CIC模型需要最大化给定图像生成目标描述语句的概率，由式(7)表示：
Figure RE-GDA0002538927190000071
其中，I表示输入图像，Y表示任意一个不定长度的目标描述语句，由单词
Y0，Y1，...，YN构成，θ表示模型参数。
3.图像自动描述模型训练过程模型训练的过程如下：
（1）通过卷积神经网络ResNet-152提取图像卷积特征Ic。通过标签预测网络提取图像标签特征l；
(2)将图像卷积特征Ic作为L-LSTM第一时刻的输入；
x-1＝Ic (8)
(3)将目标语句中的单词独热向量Yt，t∈{0，...，N-1}，经过词嵌入后的单词特征向量WeYt和图像标签特征l作为L-LSTM其他时刻的输入，可以得到 L-LSTM的隐藏状态ht以及词语预测概率pt+1；
xt＝WeYt，[∈{0，…，N-1} (9)
ht＝L-LSTM(xt，l，ht-1，ct-1) (10)
pt+1＝Softmax([ht]) (11)
(4)最终使用词语预测概率pt+1与最后时刻的细胞状态c计算模型的损失，并使用随机梯度下降进行优化，损失计算方法如式(7)所示。
其中，We为词嵌入矩阵，Yt表示独热向量，Y0与Yn分别为特殊的起始符<Start>和结束符<End>用来表示句子的开始与结束。当L-LSTM预测下一个词为结束符时，表示已经生成了一个完整的句子。
4.模型效果验证
数据集
本发明使用的数据集是Flickr8kc和Flickr30kc。采用机器翻译的方法，将英文图像描述数据集Flickr8k和Flickr30k翻译为中文版本。Flickr8kc数据集中包含8000 张标注图像，40000条中文描述语句。Flickr30kc数据集中包含30000张标注图像， 150000条中文描述语句。本发明使用图像分割方法对Flickr8kc和Flickr30kc进行分割，其中Flickr8kc包括6000张训练数据，1000张验证数据，1000张测试数据， Flickr30kc包括28000张训练数据，1000张验证数据，1000张测试数据。
系统配置
环境配置如下:操作系统为Ubuntu16.03.1、开发语言为Python2.7，深度学习框架为TensorFlow1.6。Flickr8kc训练集包括6000幅图像、30000个中文描述语句和7784 个词语。Flickr30kc训练集包括28000张图片，140000个中文描述语句和19735个词语。为了消除低频词的干扰，保留了同一张图片的5个中文描述语句中至少出现2次的名词、动词以及形容词，并且整体词频大于20次的词语当作词汇表。词汇表预测网络参数配置，如下表所示。
表1中文视觉词汇表预测网络参数配置
Figure RE-GDA0002538927190000081
标签预测网络采用的评价标准为precision-i、recall-i和f-i。precision-i表示前k个预测标签的准确率。recall-i表示前i个预测标签的召回率。f-i是前i个预测标签的准确率和召回率的调和平均值。
中文图像描述网络训练集数据与词汇表预测网络相同，与其不同的是筛选出词频大于5的词语当作词表，最终Flickr8kc词表包括2625个词语，Flickr30kc词表包括7108 个词语。中文视觉词汇表的图像自动描述模型参数配置如下：
表2基于中文视觉词汇表的图像自动描述模型网络参数配置
Figure RE-GDA0002538927190000082
Figure RE-GDA0002538927190000091
图像视觉词汇表预测网络评估
下面两个表分别显示了不同词汇表预测网络的precision-i、recall-i和f-i的结果，one表示特征分类网络为单层全连接的网络，two表示两层全连接的网络，three 表示三层全连接的网络，this代表本发明使用的词汇表预测网络。
我们以表4中的Flickr8kc标签预测网络结果为例，将所提出的this网络与one、two、three进行比较。实验表明，随着网络层次的增加，出现了网络退化的现象，即网络的准确率和召回率下降的问题。one和three之间的准确率下降了0.4％，召回率下降了0.48％。而本发明提出的this是在three的基础上加入残差结构的网络，将准确率和召回率分别提高到了33.49％，39.54％，说明了发明提出方法的可以解决网络退化问题。但从整体来看，中文词表预测网络的准确率与召回率仍有很大的提高的空间。
表3标签预测网络1层结果比较
Figure RE-GDA0002538927190000092
表4标签预测网络5层结果比较
Figure RE-GDA0002538927190000093
优化损失函数
本发明使用了一种基于标签信息匹配的模型优化方法，对图像描述生成的原始损失函数进行优化。观察L-LSTM的内部结构就可以了解到L-LSTM通过“输入门”与“遗忘门”将输入信息选择性地保存在细胞状态c中，并利用“输出门”控制细胞状态c中的信息进行输出，细胞状态c中的信息在一定程度上影响了描述词语的生成。图像的标签信息可以在一定程度上对图像内容进行刻画。计算图像词表特征与L-LSTM最终时刻细胞状态c之间的距离，作为一个额外项加入损失函数中。在模型训练时尽可能缩短标签特征与细胞状态c的距离，可以使得L-LSTM的中保存的信息更加贴近于图像的标签信息，有助于生成质量更高的描述语句。探索不同的计算距离的方法，例如曼哈顿距离、欧式距离等，具体如下。
CityBlockDistance(l，c)＝ (12)
Figure RE-GDA0002538927190000101
Figure RE-GDA0002538927190000102
其中，c表示L-LSTM的细胞状态，l表示图像标签特征。原始损失函数为每个时刻输出正确单词概率的负对数和，将标签特征与细胞状态c的距离添加到原始损失函数中，如下式所示。
Figure RE-GDA0002538927190000103
以曼哈顿距离为例，对超参数α进行选择。α取值范围为(0，1)，步长为0.1。当α的值为0.2为实验效果最佳。故此，将α值经验地设定为0.2。
本发明将中文视觉词汇表的图像自动描述模型简称为IADCVV，表示网络中只是通过L-LSTM引入图像标签特征，并没有优化损失函数。在IADCVV的基础上使用损失函数优化方法并通过曼哈顿距离计算L-LSTM的细胞状态c与图像词表特征之间的相似度称为IADCVV-CB。而IADCVV-E、IADCVV-C是使用欧式距离、余弦值来衡量相似度。通过实验对比如下：
以下表统计为例，首先，可以看出IADCVV比基线Google模型的实验效果提高了2.8％，2.7％，5.3％，说明了在网络中加入图像视觉词汇表特征的方法可以有效地提高图像描述模型生成语句的质量。其次，IADCVV-CB和IADCVV-E与IADCVV相比又有不同程度的提升，说明了缩短图像标签特征与L-LSTM细胞状态之间的距离可以进一步优化图像描述模型生成语句的质量。IADCVV-C与IADCVV相比值有所降低，说明了需要选择合适距离计算方法来缩短图像标签特征与L-LSTM细胞状态之间的距离。IADCVV-CB和 IADCVV-E的效果更好，说明曼哈顿距离比欧氏距离更加适合计算图像标签特征与 L-LSTM细胞状态之间的距离。
IADCVV在Flickr8kc上结果对比
Figure RE-GDA0002538927190000104
Figure RE-GDA0002538927190000111
IADCVV在Flickr30kc上结果对比
Figure RE-GDA0002538927190000112
通过上表分析，展示了所有模型实验结果的对比。可以看出本发明所提模型效果与已知现有模型相比有了较大的提升。
本发明使用一种中文视觉词汇表构建的图像自动描述生成模型。首先设计了一种中文视觉词汇表预测网络，通过词汇表预测网络对图像词汇表进行预测可以获得图像标注信息，在中文视觉词汇表预测网络中添加残差结构，可以有效地解决随着中文视觉词汇表预测网络层数加深，而导致的网络退化问题。
其次使用了一种L-LSTM架构，可以将图像中文视觉词汇表特征引入描述生成网络中。此外，对描述生成网络的损失函数进行优化，缩短图像中文视觉词汇表特征与 L-LSTM的细胞状态之间的距离，使得生成的图像描述语句与图像中文视觉词汇表更加贴近。最后通过各种方法验证模型的有效性。
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (9)

1.一种中文视觉词汇表构建的图像内容自动描述方法，其特征在于，包括按顺序进行的如下：
步骤a，使用中文分词工具将单张图片对应的若干个描述语句进行分词处理，并根据统计的词频有选择地保留词表中的名词、动词和形容词，再将保留下来的词语构成中文视觉词汇表；
步骤b，基于中文词汇表预测网络对中文视觉词汇表进行预测获得图像标注信息；
步骤c，基于图像自动描述模型，使用编码器提取出图像卷积特征，再使用解码器将图像卷积特征作为初始输入解码为中文描述语句。
2.如权利要求1所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：还包括步骤c后的步骤d，基于标签信息匹配的模型对描述生成网络的损失函数进行优化。
3.如权利要求1所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述中文词汇表预测网络由基于卷积神经网络的特征提取网络和特征分类网络两个部分组成，所述特征提取网络将基于标签词表数据集上预训练的数据网络的平均池化的输出当作图像特征，输入所述特征分类网络的输入层，并由所述特征分类网络的输出层输出预测图像所对应的中文标签信息。
4.如权利要求1所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述图像自动描述模型进行预测时，解码器首先接受图像卷积特征，并忽略这一时刻的输出；然后输入一个开始符号<Start>和预测标签特征后，解码器输出一个由词表中词语被预测的概率组成的向量，根据输出向量选取概率最大的词语作为本时刻输出；再把这个词语和预测标签特征作为下一时刻的输入，继续进行预测，直到预测出结束符号<End>。
5.如权利要求1所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述编码器包括卷积、下采样和激活操作中的一种或多种。
6.如权利要求3所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述特征分类网络是基于残差连接的三层全连通网络，其中包括输入层、三个隐藏层、两个残差连接以及输出层，所述残差连接添加在第一层全连接与第三层全连接之间、第二层全连接与第三层全连接之间。
7.如权利要求4所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述解码器能够接收图像预测标签特征，并利用预测标签特征引导中文描述语句的生成。
8.如权利要求2所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述步骤d中的基于标签信息匹配的模型优化具体为计算图像词表特征与解码器最终时刻细胞状态之间的距离，作为一个额外项加入损失函数中，并在模型训练时尽可能缩短标签特征与细胞状态的距离。
9.如权利要求8所述的中文视觉词汇表构建的图像内容自动描述方法，其特征在于：所述计算距离的方法采用曼哈顿距离或欧式距离。
CN202010374110.XA 2020-05-06 2020-05-06 一种中文视觉词汇表构建的图像内容自动描述方法 Active CN111581961B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010374110.XA CN111581961B (zh) 2020-05-06 2020-05-06 一种中文视觉词汇表构建的图像内容自动描述方法
PCT/CN2020/102234 WO2021223323A1 (zh) 2020-05-06 2020-07-16 一种中文视觉词汇表构建的图像内容自动描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010374110.XA CN111581961B (zh) 2020-05-06 2020-05-06 一种中文视觉词汇表构建的图像内容自动描述方法

Publications (2)

Publication Number Publication Date
CN111581961A true CN111581961A (zh) 2020-08-25
CN111581961B CN111581961B (zh) 2022-06-21

Family

ID=72116901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010374110.XA Active CN111581961B (zh) 2020-05-06 2020-05-06 一种中文视觉词汇表构建的图像内容自动描述方法

Country Status (2)

Country Link
CN (1) CN111581961B (zh)
WO (1) WO2021223323A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052906A (zh) * 2020-09-14 2020-12-08 南京大学 一种基于指针网络的图像描述优化方法
CN112328782A (zh) * 2020-11-04 2021-02-05 福州大学 一种融合图像过滤器的多模态摘要生成方法
CN113408430A (zh) * 2021-06-22 2021-09-17 哈尔滨理工大学 基于多级策略和深度强化学习框架的图像中文描述系统及方法
CN113792617A (zh) * 2021-08-26 2021-12-14 电子科技大学 一种结合图像信息和文本信息的图像解译方法
CN115034235A (zh) * 2022-01-08 2022-09-09 昆明理工大学 多模态神经机器翻译的双级交互式多模态混合编码器及编码方法
CN116071641A (zh) * 2023-04-06 2023-05-05 中国石油大学(华东) 一种水下图像中文描述生成方法、装置、设备及存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049501B (zh) * 2021-11-22 2024-06-21 江苏科技大学 融合集束搜索的图像描述生成方法、系统、介质及设备
CN114119975A (zh) * 2021-11-25 2022-03-01 中国人民公安大学 一种语言引导的跨模态实例分割方法
CN114238563A (zh) * 2021-12-08 2022-03-25 齐鲁工业大学 基于多角度交互的中文句子对语义智能匹配方法和装置
CN114528918B (zh) * 2022-01-14 2024-09-24 重庆邮电大学 一种基于二维卷积和lstm的高光谱图像分类方法及系统
CN114549850B (zh) * 2022-01-24 2023-08-08 西北大学 一种解决模态缺失问题的多模态图像美学质量评价方法
CN114469661B (zh) * 2022-02-24 2023-10-03 沈阳理工大学 一种基于编码解码技术的视觉内容导盲辅助系统及方法
CN114663915B (zh) * 2022-03-04 2024-04-05 西安交通大学 基于Transformer模型的图像人-物交互定位方法及系统
CN114596588B (zh) * 2022-03-11 2024-05-31 中山大学 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置
CN114694062A (zh) * 2022-03-16 2022-07-01 东南大学 融合表情信息的密集视频描述方法及系统
CN114707523B (zh) * 2022-04-20 2024-03-08 合肥工业大学 基于交互式Transformer的图像-多语言字幕转换方法
CN114781393B (zh) * 2022-04-20 2023-05-26 平安科技（深圳）有限公司 图像描述生成方法和装置、电子设备及存储介质
CN114882488B (zh) * 2022-05-18 2024-06-28 北京理工大学 基于深度学习与注意力机制的多源遥感图像信息处理方法
CN114943921A (zh) * 2022-05-31 2022-08-26 西安电子科技大学 一种融合多粒度视频语义信息的视频文本描述方法
CN115909317B (zh) * 2022-07-15 2024-07-05 广州珠江在线多媒体信息有限公司 一种三维模型-文本联合表达的学习方法及系统
CN115171889B (zh) * 2022-09-09 2023-01-06 紫东信息科技(苏州)有限公司 一种小样本胃部肿瘤诊断系统
CN116012685B (zh) * 2022-12-20 2023-06-16 中国科学院空天信息创新研究院 一种基于关系序列与视觉序列融合的图像描述生成方法
CN115953779B (zh) * 2023-03-03 2023-06-16 中国科学技术大学 基于文本对抗生成网络的无监督图像描述生成方法
CN116204674B (zh) * 2023-04-28 2023-07-18 中国科学技术大学 一种基于视觉概念词关联结构化建模的图像描述方法
CN116543289B (zh) * 2023-05-10 2023-11-21 南通大学 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
CN116502092A (zh) * 2023-06-26 2023-07-28 国网智能电网研究院有限公司 多源异构数据的语义对齐方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599198A (zh) * 2016-12-14 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种多级联结循环神经网络的图像描述方法
US20180143966A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Spatial Attention Model for Image Captioning
CN108830287A (zh) * 2018-04-18 2018-11-16 哈尔滨理工大学 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN110046226A (zh) * 2019-04-17 2019-07-23 桂林电子科技大学 一种基于分布词向量cnn-rnn网络的图像描述方法
CN110111399A (zh) * 2019-04-24 2019-08-09 上海理工大学 一种基于视觉注意力的图像文本生成方法
CN110598713A (zh) * 2019-08-06 2019-12-20 厦门大学 基于深度神经网络的智能图像自动描述方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042782B2 (en) * 2017-03-20 2021-06-22 Intel Corporation Topic-guided model for image captioning system
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180143966A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Spatial Attention Model for Image Captioning
CN106599198A (zh) * 2016-12-14 2017-04-26 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种多级联结循环神经网络的图像描述方法
CN108830287A (zh) * 2018-04-18 2018-11-16 哈尔滨理工大学 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN110046226A (zh) * 2019-04-17 2019-07-23 桂林电子科技大学 一种基于分布词向量cnn-rnn网络的图像描述方法
CN110111399A (zh) * 2019-04-24 2019-08-09 上海理工大学 一种基于视觉注意力的图像文本生成方法
CN110598713A (zh) * 2019-08-06 2019-12-20 厦门大学 基于深度神经网络的智能图像自动描述方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHILIANG ZHANG 等: "《Generating Descriptive Visual Words and Visual Phrases for Large-Scale Image Applications》", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
XINGYI SONG 等: "《A Deep Neural Network Sentence Level Classification Method with Context Information》", 《ARXIV:1809.00934》 *
刘泽宇等: "基于多模态神经网络的图像中文摘要生成方法", 《中文信息学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052906A (zh) * 2020-09-14 2020-12-08 南京大学 一种基于指针网络的图像描述优化方法
CN112052906B (zh) * 2020-09-14 2024-02-02 南京大学 一种基于指针网络的图像描述优化方法
CN112328782A (zh) * 2020-11-04 2021-02-05 福州大学 一种融合图像过滤器的多模态摘要生成方法
CN113408430A (zh) * 2021-06-22 2021-09-17 哈尔滨理工大学 基于多级策略和深度强化学习框架的图像中文描述系统及方法
CN113408430B (zh) * 2021-06-22 2022-09-09 哈尔滨理工大学 基于多级策略和深度强化学习框架的图像中文描述系统及方法
CN113792617A (zh) * 2021-08-26 2021-12-14 电子科技大学 一种结合图像信息和文本信息的图像解译方法
CN113792617B (zh) * 2021-08-26 2023-04-18 电子科技大学 一种结合图像信息和文本信息的图像解译方法
CN115034235A (zh) * 2022-01-08 2022-09-09 昆明理工大学 多模态神经机器翻译的双级交互式多模态混合编码器及编码方法
CN116071641A (zh) * 2023-04-06 2023-05-05 中国石油大学(华东) 一种水下图像中文描述生成方法、装置、设备及存储介质
CN116071641B (zh) * 2023-04-06 2023-08-04 中国石油大学(华东) 一种水下图像中文描述生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021223323A1 (zh) 2021-11-11
CN111581961B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN111581961B (zh) 一种中文视觉词汇表构建的图像内容自动描述方法
Wang et al. Image captioning with deep bidirectional LSTMs and multi-task learning
CN108733792B (zh) 一种实体关系抽取方法
Gao et al. Video captioning with attention-based LSTM and semantic consistency
Lopez et al. Deep Learning applied to NLP
CN117076653B (zh) 基于思维链及可视化提升上下文学习知识库问答方法
CN112818670B (zh) 可分解变分自动编码器句子表示中的切分语法和语义
CN110516530A (zh) 一种基于非对齐多视图特征增强的图像描述方法
CN115221325A (zh) 一种基于标签语义学习和注意力调整机制的文本分类方法
CN113157886B (zh) 一种自动问答生成方法、系统、终端及可读存储介质
CN111274829A (zh) 一种利用跨语言信息的序列标注方法
CN111581964A (zh) 一种汉语古籍的主题分析方法
CN114461890A (zh) 分层多模态的知识产权搜索引擎方法与系统
CN114580428A (zh) 融合多任务和多标签学习的司法领域深度事件抽取方法
US20230298630A1 (en) Apparatuses and methods for selectively inserting text into a video resume
Rasool et al. WRS: a novel word-embedding method for real-time sentiment with integrated LSTM-CNN model
Perez-Martin et al. A comprehensive review of the video-to-text problem
CN115730232A (zh) 基于主题相关的异构图神经网络跨语言文本分类方法
CN110347853B (zh) 一种基于循环神经网络的图像哈希码生成方法
Parvin et al. Transformer-based local-global guidance for image captioning
CN114881043A (zh) 基于深度学习模型的法律文书语义相似度评估方法及系统
CN118260439A (zh) 密集架系统的信息管理系统及方法
CN117493608B (zh) 一种文本视频检索方法、系统及计算机存储介质
CN114722798A (zh) 一种基于卷积神经网络和注意力机制的反讽识别模型
CN113240033A (zh) 一种基于场景图高阶语义结构的视觉关系检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant