CN110135441B - 一种图像的文本描述方法及装置 - Google Patents

一种图像的文本描述方法及装置 Download PDF

Info

Publication number
CN110135441B
CN110135441B CN201910414090.1A CN201910414090A CN110135441B CN 110135441 B CN110135441 B CN 110135441B CN 201910414090 A CN201910414090 A CN 201910414090A CN 110135441 B CN110135441 B CN 110135441B
Authority
CN
China
Prior art keywords
sentence
vector
text
neural network
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910414090.1A
Other languages
English (en)
Other versions
CN110135441A (zh
Inventor
李睿凡
梁昊雨
石祎晖
冯方向
张光卫
王小捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910414090.1A priority Critical patent/CN110135441B/zh
Publication of CN110135441A publication Critical patent/CN110135441A/zh
Application granted granted Critical
Publication of CN110135441B publication Critical patent/CN110135441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像的文本描述方法及装置，方法包括：获取待描述图像，提取待描述图像的多个区域特征和一个全局特征；将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；将句子指导向量输入文本描述神经网络中的词汇子网络，得到描述文本；由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，提高了生成的文本段落中句子之间的连贯性，此外，相较于现有的基于循环神经网络的方案，降低了训练过程的计算复杂度。

Description

一种图像的文本描述方法及装置
技术领域
本发明涉及图像描述技术领域，特别是涉及一种图像的文本描述方法及装置。
背景技术
图像描述是指用自然语言描述给定图像的内容，通过借用注意力机制增强的编码器-解码器框架，单句描述任务已经取得了较大进展。然而，一个句子不足以描述一个语义丰富的图像。因此，人们又提出了图像段落描述，即使用连贯的段落来描述图像。
现有的图像段落描述是基于RNN(Recurrent Neural Network，循环神经网络)的，这种方式存在以下缺陷：
首先，RNN很难记忆长期信息，从而限制了其在语言建模上的性能。使用RNN解码器生成的句子的连贯性较低。其次，由于RNN的序列特点，RNN 解码器的训练算法具有很高的计算复杂度。
发明内容
本发明实施例的目的在于提供一种图像的文本描述方法及装置，以实现增强文本描述的连贯性，并降低计算复杂度。具体技术方案如下：
为了实现上述目的，本发明实施例提供了一种图像的文本描述方法，方法包括：
获取待描述图像；
提取所述待描述图像的多个区域特征和一个全局特征；
将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
将所述句子指导向量输入所述文本描述神经网络中的词汇级子网络，得到描述文本；所述文本描述神经网络是根据训练集训练得到的，所述训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本及所述样本描述文本中包含的样本句子数目。
可选的，所述句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，所述将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量的步骤，包括：
获取当前已生成的每个句子文本；
将所述每个句子文本输入所述句子嵌入层，得到所述每个句子文本的句子嵌入向量；
将所述每个句子嵌入向量均与所述全局特征的向量拼接，得到多个拼接向量；
将每个所述拼接向量输入所述门控卷积层，得到针对当前待生成句子的隐藏向量；
将所述区域特征的向量和所述隐藏向量输入所述区域感知层，得到针对当前待生成句子的句子指导向量。
可选的，所述门控卷积层根据所述每个拼接向量，得到针对当前待生成句子的隐藏向量，包括：
基于每个所述拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以及门控向量；
基于所述综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量。
可选的，所述区域感知层根据所述区域特征的向量，和所述隐藏向量得到针对当前待生成句子的句子指导向量，包括：
基于所述区域特征的向量，以及所述隐藏向量，计算针对每个所述区域特征的向量的权重；
基于所述权重，计算针对当前待生成句子的加权区域特征向量；
基于所述加权区域特征向量，以及所述隐藏向量，计算针对当前待生成句子的句子指导向量。
可选的，所述文本描述神经网络采用如下步骤训练获得：
获取预设的神经网络模型和所述训练集；
将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目；
基于得到的描述文本以及句子数目，和所述训练集中包含的所述样本描述文本及样本句子数目，确定损失值；
根据所述损失值确定所述神经网络模型是否收敛；
若否，则调整所述神经网络模型中的参数值，并返回将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目的步骤；
若是，则将当前的神经网络模型确定为文本描述神经网络。
为了实现上述目的，本发明实施例还提供了一种图像的文本描述装置，所述装置包括：
获取模块，用于获取待描述图像；
提取模块，用于提取所述待描述图像的多个区域特征和一个全局特征；
第一输入模块，用于将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
第二输入模块，用于将所述句子指导向量输入所述文本描述神经网络中的词汇级子网络，得到描述文本；所述文本描述神经网络是根据训练集训练得到的，所述训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本及所述样本描述文本中包含的样本句子数目。
可选的，所述句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，所述第一输入模块，具体用于：
获取当前已生成的每个句子文本；
将所述每个句子文本输入所述句子嵌入层，得到所述每个句子文本的句子嵌入向量；
将所述每个句子嵌入向量均与所述全局特征的向量拼接，得到多个拼接向量；
将每个所述拼接向量输入所述门控卷积层，得到针对当前待生成句子的隐藏向量；
将所述区域特征的向量和所述隐藏向量输入所述区域感知层，得到针对当前待生成句子的句子指导向量。
所述门控卷积层，具体用于：
基于每个所述拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以及门控向量；
基于所述综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量。
所述区域感知层，具体用于：
基于所述区域特征的向量，以及所述隐藏向量，计算针对每个所述区域特征的向量的权重；
基于所述权重，计算针对当前待生成句子的加权区域特征向量；
基于所述加权区域特征向量，以及所述隐藏向量，计算针对当前待生成句子的句子指导向量。
可选的，所述装置还包括训练模块，所述训练模块，具体用于：
获取预设的神经网络模型和所述训练集；
将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目；
基于得到的描述文本以及句子数目，和所述训练集中包含的所述样本描述文本及样本句子数目，确定损失值；
根据所述损失值确定所述神经网络模型是否收敛；
若否，则调整所述神经网络模型中的参数值，并返回将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目的步骤；
若是，则将当前的神经网络模型确定为文本描述神经网络。
为了实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为了解决上述技术问题，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本发明实施例提供的图像的文本描述方法及装置，能够获取待描述图像，提取待描述图像的多个区域特征和一个全局特征；将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；将句子指导向量输入文本描述神经网络中的词汇子网络，得到描述文本；由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，提高了生成的文本段落中句子之间的连贯性，此外，相较于现有的未进行分级训练的方案，降低了训练过程的计算复杂度。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像的文本描述方法的一种流程图；
图2为本发明实施例提供的待描述图像的一种示意图；
图3为本发明实施例提供的图像的文本描述方法的一种流程示意图；
图4为本发明实施例提供的图像的文本描述方法的另一种流程示意图；
图5为本发明实施例提供的图像的文本描述装置的一种结构示意图；
图6为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了增强文本描述的连贯性，并降低计算复杂度，本发明实施例提供了一种图像的文本描述方法，参见图1，图1为本发明实施例提供的图像的文本描述方法的一种流程图，该方法可以应用于电子设备，方法包括以下步骤：
S101：获取待描述图像。
本发明实施例中，待描述图像可以是包含一定场景信息的图像，举例来讲，参见图2，图2是本发明实施例提供的待描述图像的一种示意图。
S102：提取待描述图像的多个区域特征和一个全局特征。
在本步骤中，可以采用图片特征提取器来提取待描述图像的区域特征和全局特征。
一种实施例中，可以采用图像编码器来检测待描述图像中的不同图像区域，并提取每个图像区域的特征，得到一组区域特征{v1,v2,…vl}，其中，l表示区域特征的数目。此外，为了获得待描述图像的全局性表示，可以通过按位最大操作得到一个池化特征将该池化特征作为待描述图像的全局特征。
S103：将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量。
本发明实施例中，文本描述神经网络可以由句子级子网络和词汇级子网络组成，其中，句子级子网络以及词汇级子网络均可以是CNN(Convolutional Neural Networks，卷积神经网络)。
文本描述神经网络是根据训练集预先训练完成的，训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本及样本描述文本中包含的样本句子数目。
为了便于理解，可以参见图3，图3为本发明实施例提供的图像的文本描述方法的一种流程示意图。
如图3所示，图片特征提取器提取出的图片特征输入句子级子网络后，能够输出句子指导向量，词汇级子网络根据句子指导向量生成针对待描述图像的段落描述文本。
S104：将句子指导向量输入文本描述神经网络中的词汇级子网络，得到描述文本。
本发明实施例中，句子指导向量能够指导词汇级子网络生成词汇。将句子指导向量输入词汇级子网络，即可得到由多个句子组成的段落文本描述。
可见，应用本发明实施例提供的图像的文本描述方法，能够获取待描述图像，提取待描述图像的多个特征区域和一个全局特征，将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量，将句子指导向量输入文本描述神经网络中的词汇级子网络，得到描述文本。由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，此外，相比于现有的RNN解码器，降低了计算复杂度。
在本发明的一种实施例中，句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，上述步骤S103，具体可以包括以下细化步骤：
步骤11：获取当前已生成的每个句子文本；
为了便于理解，结合图4进行说明，图4为本发明实施例提供的图像的文本描述方法的另一种流程示意图。
如图4所示，本发明实施例中，生成的整个段落描述文本中包含M个句子，表示为：
Figure GDA0002333361430000071
生成段落描述文本的过程中，句子级子 网络能够根据当前已生成的每个句子，确定下一个待生成句子的指导向量，词汇级子网络再根据该指导向量生成下一个句子。
其中，句子级子网络包含的句子嵌入层的作用是将当前已生成的句子文本转换为向量的形式。
本步骤中，可以确定当前已生成的句子文本。特别的，由于段落中的第一个句子文本之前不存在已生成的句子，因此可以预先设置一个初始句子文本，正如图4中所示的初始句子<S>。
步骤12：将每个句子文本输入句子嵌入层，得到每个句子文本的句子嵌入向量；
在本发明的一种实施例中，可以将每次生成的句子文本输入句子嵌入层，得到该句子文本对应的句子嵌入向量。
参见图4，初始句子<S>输入句子嵌入层后得到第一个句子嵌入向量
Figure GDA0002333361430000081
生成的第一个句子文本输入句子嵌入层后得到第二个句子嵌入向量
Figure GDA0002333361430000083
以此类推。
步骤13：将每个句子嵌入向量均与全局特征的向量拼接，得到多个拼接向量；
在本步骤中，可以将当前生成的句子嵌入向量与待描述图像的全局特征的向量拼接，得到拼接向量。从而，拼接向量既包含了当前已生成句子的特征，又包含了图像的全局特征。
举例来讲，如图4所示，待描述图像的全局特征的向量表示为Vp，那么在生成第一个句子文本过程中，Vp与第一个句子嵌入向量
Figure GDA0002333361430000084
进行拼接，可以得到第一个拼接向量
Figure GDA0002333361430000085
其中concat表示向量的拼接。
步骤14：将每个拼接向量输入门控卷积层，得到针对当前待生成句子的隐藏向量；
在本发明实施例中，对于要生成的第i个句子，门控卷积层采用先前已生成的所有句子对应的拼接向量作为输入，生成针对当前待生成的第i个句子的隐藏向量
Figure GDA0002333361430000086
在本发明的一种实施例中，上述步骤14，具体可以包括以下细化步骤：
步骤14.a：基于每个拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以及门控向量；
本发明实施例中，门控卷积层是包含门控线性单元的卷积网络，输入已生成的句子对应的拼接向量，能够输出针对当前待生成句子的综合语义向量
Figure GDA0002333361430000091
以及门控向量
Figure GDA0002333361430000092
为了便于说明，以生成第三个句子
Figure GDA0002333361430000093
的过程为例进行说明。参见图4，将第一个拼接向量I1，第二个拼接向量I2以及第三个拼接向量I3均作为门控卷积层的输入，门控卷积层输出针对待生成的第三个句子的综合语义向量
Figure GDA0002333361430000094
及门控向量
在本发明的一种实施例中，训练完成的门控卷积层可以基于如下公式生成综合语义向量以及门控向量。
Figure GDA0002333361430000097
其中，I<i表示第i个待生成句子之前已生成的句子对应的拼接向量，Wa，ba， Wb，bb均为训练参数。
步骤14.b：基于综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量。
在本发明的一种实施例中，可以基于如下公式，生成针对当前待生成句子的隐藏向量：
Figure GDA0002333361430000098
其中，上式所表示的操作为语义筛选运算。具体的，符号⊙表示逐元素乘法运算，σ表示sigmoid函数，即σ(x)＝1/(1+e-x)。综合语义向量
Figure GDA0002333361430000099
包含了已生成句子的信息，
Figure GDA00023333614300000910
函数能够选择性的记忆
Figure GDA00023333614300000911
中的信息。
步骤15：将区域特征的向量和隐藏向量输入区域感知层，得到针对当前待生成句子的句子指导向量。
在本发明的一种实施例中，针对当前待生成的第i个句子，可以将步骤15 中得到的隐藏向量
Figure GDA0002333361430000101
以及待描述图像的区域特征的向量共同输入区域感知层，从而得到针对待生成的第i个句子的句子指导向量。
其中，上述步骤15可以包括以下细化步骤：
步骤15.a：基于区域特征的向量，以及隐藏向量，计算针对每个区域特征的向量的权重；
在本发明的一种实施例中，可以基于如下公式，计算针对当前待生成的第 i个句子的各个区域特征的向量的权重：
Figure GDA0002333361430000102
其中，vl表示第l个区域特征的向量，Wa为训练参数，sil表示针对待生成的第i个句子的第l个区域特征的向量的权重。
步骤15.b：基于权重，计算针对当前待生成句子的加权区域特征向量；
在本发明的一种实施例中，针对每一个待生成句子，可以根据步骤15.a计算得到的权重，计算一个加权区域特征向量。
具体的，针对当前待生成的第i个句子，可以基于如下公式，计算加权区域特征向量：
Figure GDA0002333361430000103
其中，
Figure GDA0002333361430000104
表示针对当前待生成的第i个句子的加权区域特征向量。
步骤15.c：基于加权区域特征向量，以及隐藏向量，计算针对当前待生成句子的句子指导向量。
在本发明的一种实施例中，针对当前待生成的第i个句子，基于如下公式计算句子指导向量：
Figure GDA0002333361430000105
其中，Gi表示针对当前待生成的第i个句子的句子指导向量，f表示激活函数，例如ReLU(Rectified Linear Unit，线性整流函数)，Wag，bag均为训练参数。
在本发明的一种实施例中，句子级子网络生成针对当前待生成的第i个句子的指导向量Gi后，词汇级子网络可以在指导向量Gi的指导下，为第i个句子生成单词。
针对每一个句子中当前要生成单词的预测依赖于该句子中先前已生成的所有单词。特别的，由于每一句话中的第一个词汇之前不存在已生成的词汇，因此可以预先设置一个初始词汇。
在本发明的一种实施例中，词汇级子网络中包含词汇嵌入层，其作用是将生成的词汇转换为向量的形式。可以用
Figure GDA0002333361430000111
表示第i个句子中第一个词汇，即初始词汇的嵌入向量，用
Figure GDA0002333361430000112
表示第i个句子中的第二个词汇，以此类推。
在本发明的一种实施例中，在生成第i个句子的第j个词汇时，词汇级子网络以第i个句子的指导向量Gi以及第i个句子先前已生成的词汇的嵌入向量作为输入，即：
Figure GDA0002333361430000113
其中，
Figure GDA0002333361430000114
表示第i个句子的第j个词汇的隐藏向量。
在本发明的一种实施例中，词汇级子网络可以根据隐藏向量，来生成相应的词汇。
一种实施例中，可以基于如下公式预测单词的分布：
Figure GDA0002333361430000115
其中，Wp表示训练参数，softmax表示一种回归函数，pi,j表示第i个句子中第j个单词的预测分布。
在本发明的一种实施例中，文本描述神经网络可以采用如下步骤训练得到：
步骤21：获取预设的神经网络模型和训练集；
步骤22：将样本图像的区域特征和全局特征输入神经网络模型，得到描述文本以及描述文本中包含的句子数目；
步骤23：基于得到的描述文本以及句子数目，和训练集中包含的样本描述文本以及样本句子数目，确定损失值；
步骤24：根据损失值确定神经网络模型是否收敛；若否，则执行步骤25，若是，则执行步骤26；
步骤25：调整神经网络模型中的参数值，并返回步骤22；
步骤26：将当前的神经网络模型确定为文本描述神经网络。
在本发明的一种实施例中，可以将损失函数定义为句子层的损失和词汇层的损失的加权和，其中，句子层的损失为描述文本段落中句子的个数的损失，词汇层的损失为句子中单词预测分布的损失。
具体的，总损失函数
Figure GDA0002333361430000125
可以表示为：
Figure GDA0002333361430000121
其中，M表示句子的总数，Ni表示第i个句子中单词的总数，λs表示句子级损失的权重，λw表示词汇级损失的权重，表示句子级损失函数，pi表示第i 个句子的停止分布，符号II{·}表示指示函数；
Figure GDA0002333361430000123
表示词汇级损失函数，
Figure GDA0002333361430000124
表示训练样本中第i个句子中第j个单词的真实分布。
相应于本发明实施例提供的图像的文本描述方法，本发明实施例还提供了一种图像的文本描述装置，参见图5，图5为本发明实施例提供的图像的文本描述装置的一种结构示意图，装置包括：
获取模块501，用于获取待描述图像；
提取模块502，用于提取待描述图像的多个区域特征和一个全局特征；
第一输入模块503，用于将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
第二输入模块504，用于将句子指导向量输入文本描述神经网络中的词汇级子网络，得到描述文本；描述文本神经网络是根据训练集训练得到的，训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本以及样本描述文本中包含的样本句子数目。
在本发明的一种实施例中，句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，第一输入模块503，具体用于：
获取当前已生成的每个句子文本；
将每个句子文本输入句子嵌入层，得到每个句子文本的句子嵌入向量；
将每个句子嵌入向量均与全局特征的向量拼接，得到多个拼接向量；
将每个拼接向量输入门控卷积层，得到针对当前待生成句子的隐藏向量；
将区域特征的向量和隐藏向量输入区域感知层，得到针对当前待生成句子的句子指导向量。
在本发明的一种实施例中，门控卷积层，具体用于：
基于每个拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以及门控向量；
基于综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量。
在本发明的一种实施例中，区域感知层，具体用于：
基于区域特征的向量，以及隐藏向量，计算针对每个区域特征的向量的权重；
基于权重，计算针对当前待生成句子的加权区域特征向量；
基于加权区域特征向量，以及隐藏向量，计算针对当前待生成句子的句子指导向量。
在本发明的一种实施例中，装置还包括训练模块，训练模块具体用于：
获取预设的神经网络模型和训练集；
将样本图像的区域特征和全局特征输入神经网络模型，得到描述文本以及描述文本中包含的句子数目；
基于得到的描述文本以及句子数目，和训练集中包含的样本描述文本及样本句子数目，确定损失值；
根据损失值确定神经网络模型是否收敛；
若否，则调整神经网络模型中的参数值，并返回将样本图像的区域特征和全局特征输入神经网络模型，得到描述文本以及描述文本中包含的句子数目的步骤；
若是，则将当前的神经网络模型确定为文本描述神经网络。
本发明实施例提供的图像的文本描述装置，能够获取待描述图像，提取待描述图像的多个区域特征和一个全局特征；将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；将句子指导向量输入文本描述神经网络中的词汇子网络，得到描述文本；由于采用句子级子网络和词汇级子网络的分层结构，能够捕捉段落中句子之间的连贯性，提高了生成的文本段落中句子之间的连贯性，此外，相较于现有的未进行分级训练的方案，降低了训练过程的计算复杂度。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取待描述图像；
提取待描述图像的多个区域特征和一个全局特征；
将区域特征、全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
将句子指导向量输入文本描述神经网络中的词汇级子网络，得到描述文本。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器 (DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于相同的发明构思，根据上述图像的文本描述方法实施例，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述图1，3和4所示的任一图像的文本描述方法步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种图像的文本描述方法，其特征在于，所述方法包括：
获取待描述图像；
提取所述待描述图像的多个区域特征和一个全局特征；
将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
将所述句子指导向量输入所述文本描述神经网络中的词汇级子网络，得到描述文本；所述文本描述神经网络是根据训练集训练得到的，所述训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本及所述样本描述文本中包含的样本句子数目；
所述句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，所述将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量的步骤，包括：
获取当前已生成的每个句子文本；
将所述每个句子文本输入所述句子嵌入层，得到所述每个句子文本的句子嵌入向量；
将所述每个句子嵌入向量均与所述全局特征的向量拼接，得到多个拼接向量；
将每个所述拼接向量输入所述门控卷积层，得到针对当前待生成句子的隐藏向量；
将所述区域特征的向量和所述隐藏向量输入所述区域感知层，得到针对当前待生成句子的句子指导向量。
2.根据权利要求1所述的方法，其特征在于，所述门控卷积层根据所述每个拼接向量，得到针对当前待生成句子的隐藏向量，包括：
基于每个所述拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以及门控向量；
基于所述综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量。
3.根据权利要求2所述的方法，其特征在于，所述区域感知层根据所述区域特征的向量，和所述隐藏向量得到针对当前待生成句子的句子指导向量，包括：
基于所述区域特征的向量，以及所述隐藏向量，计算针对每个所述区域特征的向量的权重；
基于所述权重，计算针对当前待生成句子的加权区域特征向量；
基于所述加权区域特征向量，以及所述隐藏向量，计算针对当前待生成句子的句子指导向量。
4.根据权利要求1所述的方法，其特征在于，所述文本描述神经网络采用如下步骤训练获得：
获取预设的神经网络模型和所述训练集；
将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目；
基于得到的描述文本以及句子数目，和所述训练集中包含的所述样本描述文本及样本句子数目，确定损失值；
根据所述损失值确定所述神经网络模型是否收敛；
若否，则调整所述神经网络模型中的参数值，并返回将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目的步骤；
若是，则将当前的神经网络模型确定为文本描述神经网络。
5.一种图像的文本描述装置，其特征在于，所述装置包括：
获取模块，用于获取待描述图像；
提取模块，用于提取所述待描述图像的多个区域特征和一个全局特征；
第一输入模块，用于将所述区域特征、所述全局特征输入预先训练的文本描述神经网络中的句子级子网络，得到针对每个待生成句子的句子指导向量；
第二输入模块，用于将所述句子指导向量输入所述文本描述神经网络中的词汇级子网络，得到描述文本；所述文本描述神经网络是根据训练集训练得到的，所述训练集包括：多个样本图像的区域特征和全局特征，以及每个样本图像对应的样本描述文本及所述样本描述文本中包含的样本句子数目；
所述句子级子网络中包含句子嵌入层，门控卷积层和区域感知层，所述第一输入模块，具体用于：
获取当前已生成的每个句子文本；
将所述每个句子文本输入所述句子嵌入层，得到所述每个句子文本的句子嵌入向量；
将所述每个句子嵌入向量均与所述全局特征的向量拼接，得到多个拼接向量；
将每个所述拼接向量输入所述门控卷积层，得到针对当前待生成句子的隐藏向量；
将所述区域特征的向量和所述隐藏向量输入所述区域感知层，得到针对当前待生成句子的句子指导向量。
6.根据权利要求5所述的装置，其特征在于，所述门控卷积层，具体用于：
基于每个所述拼接向量进行卷积运算，得到针对当前待生成句子的综合语义向量以门控向量；
基于所述综合语义向量，以及门控向量，进行语义筛选运算，得到针对当前待生成句子的隐藏向量；
所述区域感知层，具体用于：
基于所述区域特征的向量，以及所述隐藏向量，计算针对每个所述区域特征的向量的权重；
基于所述权重，计算针对当前待生成句子的加权区域特征向量；
基于所述加权区域特征向量，以及所述隐藏向量，计算针对当前待生成句子的句子指导向量。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块，具体用于：
获取预设的神经网络模型和所述训练集；
将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目；
基于得到的描述文本以及句子数目，和所述训练集中包含的所述样本描述文本及样本句子数目，确定损失值；
根据所述损失值确定所述神经网络模型是否收敛；
若否，则调整所述神经网络模型中的参数值，并返回将所述样本图像的区域特征和全局特征输入所述神经网络模型，得到描述文本以及所述描述文本中包含的句子数目的步骤；
若是，则将当前的神经网络模型确定为文本描述神经网络。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
CN201910414090.1A 2019-05-17 2019-05-17 一种图像的文本描述方法及装置 Active CN110135441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414090.1A CN110135441B (zh) 2019-05-17 2019-05-17 一种图像的文本描述方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414090.1A CN110135441B (zh) 2019-05-17 2019-05-17 一种图像的文本描述方法及装置

Publications (2)

Publication Number Publication Date
CN110135441A CN110135441A (zh) 2019-08-16
CN110135441B true CN110135441B (zh) 2020-03-03

Family

ID=67575053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414090.1A Active CN110135441B (zh) 2019-05-17 2019-05-17 一种图像的文本描述方法及装置

Country Status (1)

Country Link
CN (1) CN110135441B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260740B (zh) * 2020-01-16 2023-05-23 华南理工大学 一种基于生成对抗网络的文本到图像生成方法
CN111248716B (zh) * 2020-01-16 2021-09-14 珠海格力电器股份有限公司 食材的烹饪控制方法、图像处理方法、装置及烹饪设备
CN112016573B (zh) * 2020-10-16 2021-04-30 北京世纪好未来教育科技有限公司 弹幕生成方法、装置、电子设备及计算机存储介质
CN114186568B (zh) * 2021-12-16 2022-08-02 北京邮电大学 一种基于关系编码和层次注意力机制的图像段落描述方法
CN114399646B (zh) * 2021-12-21 2022-09-20 北京中科明彦科技有限公司 一种基于Transformer结构的图像描述方法和装置
CN117237834A (zh) * 2022-06-08 2023-12-15 华为技术有限公司 图像描述方法、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002852A (zh) * 2018-07-11 2018-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792534B2 (en) * 2016-01-13 2017-10-17 Adobe Systems Incorporated Semantic natural language vector space
US11250311B2 (en) * 2017-03-15 2022-02-15 Salesforce.Com, Inc. Deep neural network-based decision network
US11113599B2 (en) * 2017-06-22 2021-09-07 Adobe Inc. Image captioning utilizing semantic text modeling and adversarial learning
CN109670576B (zh) * 2018-11-29 2022-09-13 中山大学 一种多尺度视觉关注图像描述方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002852A (zh) * 2018-07-11 2018-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A Hierarchical Approach for Generating Descriptive Image Paragraphs";Krause J;《arXiv》;20170410;第1-9页 *

Also Published As

Publication number Publication date
CN110135441A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135441B (zh) 一种图像的文本描述方法及装置
US11100921B2 (en) Pinyin-based method and apparatus for semantic recognition, and system for human-machine dialog
CN110377716B (zh) 对话的交互方法、装置及计算机可读存储介质
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN109960747B (zh) 视频描述信息的生成方法、视频处理方法、相应的装置
US20210200961A1 (en) Context-based multi-turn dialogue method and storage medium
KR20190085098A (ko) 키워드 추출 방법, 컴퓨터 장치, 및 저장 매체
CN110717514A (zh) 会话意图识别方法、装置、计算机设备和存储介质
CN110704576B (zh) 一种基于文本的实体关系抽取方法及装置
CN110223671B (zh) 语言韵律边界预测方法、装置、系统和存储介质
CN111967264B (zh) 一种命名实体识别方法
CN111223476B (zh) 语音特征向量的提取方法、装置、计算机设备和存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN111226275A (zh) 基于韵律特征预测的语音合成方法、装置、终端及介质
CN114818729A (zh) 一种训练语义识别模型、查找语句的方法、装置及介质
CN113158687A (zh) 语义的消歧方法及装置、存储介质、电子装置
CN114973086A (zh) 视频处理方法、装置、电子设备及存储介质
CN113672731B (zh) 基于领域信息的情感分析方法、装置、设备及存储介质
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
CN113449081A (zh) 文本特征的提取方法、装置、计算机设备及存储介质
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN111599363B (zh) 一种语音识别的方法及其装置
CN113096646B (zh) 音频识别方法、装置、电子设备及存储介质
CN113761874A (zh) 事件事实性预测方法、装置、电子设备与存储介质
CN110442706B (zh) 一种文本摘要生成的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant