CN113157889A - 一种基于主题损失的视觉问答模型构建方法 - Google Patents
一种基于主题损失的视觉问答模型构建方法 Download PDFInfo
- Publication number
- CN113157889A CN113157889A CN202110430766.3A CN202110430766A CN113157889A CN 113157889 A CN113157889 A CN 113157889A CN 202110430766 A CN202110430766 A CN 202110430766A CN 113157889 A CN113157889 A CN 113157889A
- Authority
- CN
- China
- Prior art keywords
- output
- question
- model
- visual
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 72
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims abstract description 19
- 239000010410 layer Substances 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 239000002356 single layer Substances 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 5
- 238000007710 freezing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000013145 classification model Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000000611 regression analysis Methods 0.000 claims description 2
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于主题损失的视觉问答模型构建方法，所述视觉问答模型包括三个部分：视觉特征提取部分、问题提取部分和信息融合部分，在视觉问答模型中设计有一种损失函数，用于约束视觉问答中回答的生成与图像内容相关；使用卷积神经网络(CNN)和长短时记忆网络(LSTM)进行视觉问答任务，同时使用适用于多主题的损失函数。本发明对图像和问题分别编码后输出的向量进行融合，并执行视觉问答任务。同时由于许多主题的关键词数量较多，添加适用针对不同主题的损失函数将取得更好的效果。通过视觉问答，人们可以从图像中获得更多想要的信息，该技术可应用于智能拍照指导、艺术品评价指导、机器人智能交互等等应用领域，对计算机视觉和模式识别的影响深远。
Description
技术领域
本发明涉及计算机视觉、图像处理、自然语言处理等学科，提出了一种基于主题损失的视觉问答模型构建方法，可以完成适应不同主题的，针对视觉信息和文本信息的跨模态问答。
背景技术
随着图像数据和视频数据在互联网时代的传播，人们对图像数据的质量提出了更高的要求。对于如何将图像处理为更符合人类喜好的形式，成为了计算机视觉与图像处理的重要任务。结合了计算机视觉、图像处理、自然语言处理等学科，有关于不同主题的图像问答的研究在这种背景下产生。
图像视觉问答(Image Question Answer)指的是根据已知的图像和对应的问题，由计算机算法结合图像和问题并输出回答的技术。该技术是建立在图像质量评价(ImageQuality Assessment)基础上的扩展性研究。
视觉问答是横跨计算机视觉和自然语言处理的难题，其任务不仅要求图像特征的提取，也要求文字部分特征的提取。与看图说话任务不同的是，简单的融合图像和文字特征往往并不能得到所需要的特征，即回答。在以往的研究中，研究者会通过施加注意力机制给图片或文字以获得较好的结果，但由于特征空间不同，且图片存在超高的维度的张量特征，因此很难从众多的图像特征中获得所想要的特征。
另一方面，视觉问答的问答往往具有高度模板化的趋势，这也是图像或文字特征数量过少所导致的结果。不论是Visual Madlibs还是更大的VQA，超过95％的回答都是2个单词以内的简单回答，且存在相当多的模板化问题，询问的是图片中的对象颜色、数量、位置等和目标检测相关的任务。部分问题甚至存在虽然是视觉问答，但实际上是多项的问答选择题任务的情况。这说明目前尚无法从有限的数据中获得所想获得足够多的特征，在满足特征数量足够多的前提下，视觉问答的回答才有可能会变长。
借由大量的数据作为基础，将可以以足够高的标准挖掘出足够多的图片和对应的评论，再进一步将评论转为所需的问答对。以主观化评价的统计特征代理客观化的评价是目前图像问答任务中常见的一种方法。
发明内容
本发明的技术解决问题：可以使用在不同主题数据集上的迁移学习和双层LSTM，构建专门的有针对性的视觉问答模型。同时使用适合各自主题的损失函数，即回答与主题中心词汇的相关性作为模型进一步优化的长处。在构建模型中，充分考虑了不同主题的视觉问答中存在的多种情况，设计出具有针对性的模型。
本发明的技术解决方案为一种基于主题损失的视觉问答模型构建方法，所述视觉问答模型包括三个部分：视觉提取部分、问题提取部分和信息融合部分，在视觉问答模型中设计有一种损失函数，用于约束视觉问答中回答的生成与图像内容相关；具体包括如下步骤：
步骤1、构建视觉特征提取部分：在AVA数据集上，使用VGG图像分类算法进行图像的分数回归模型，使得该分数回归模型为标准均方误差低于0.5的评分模型，进一步通过迁移学习将回归模型迁移至需要视觉特征的数据集上，在迁移学习中冻结神经网络的全部网络权重参数；
步骤2、构建文字特征提取部分：使用了三种问题特征提取方法，分别是单词袋模型、单层LSTM网络与双层LSTM网络，进行文字特征提取；其输入为已知的语言段落，通过文字特征提取，输出为视觉问答模型中的回答；
步骤3、构建信息融合部分，将以张量表示的视觉特征和文字特征输入至一个全连接层，该全连接层包括2个1000维的全连接单元和2个非线性函数，最终通过Softmax函数将输出压缩至所需要的范围，该部分的输出为由多个词汇链接而成的问句；
步骤4、设置多主题的损失函数为信息融合部分的损失函数，信息融合部分为对问句生成的回归任务，损失函数具体表示为生成的问句和参考问句之间在词频分布上的差。
进一步的，所述步骤1如下：
(1)已知ImageNet数据集上的基于VGG19网络的图像分类模型和已知的AVA图片分数回归任务，使用ImageNet数据集上的预训练模型，修改最后一层全连接层的输出参数，并加入Softmax函数，使得输出张量的大小与AVA数据集上的评分范围匹配，之后使用预训练模型在AVA数据集上进行图像评分的回归分析，通过神经网络的训练获得能回归得到评分的模型；
(2)使用在AVA数据集上训练好的图像评分模型进行迁移学习，对评分模型中的网络权重参数进行冻结，仅保留全连接层的参数可被更新，获得冻结的参数模型后得到视觉特征提取模型，其输入为图像，输出为图像的视觉特征。
进一步的，所述步骤2如下：
(1)构建文字特征提取部分包括三种操作：单词袋模型、单层LSTM和双层LSTM，该部分算法同时进行三种操作，并选择其中输出词汇数量最多的一种方法；其中，单词袋模型由词袋为基础，词袋具体表示为一个键为词汇，值为词汇的频率的字典；通过glove600词向量库，将词袋转为词汇-频率-词向量的新字典，通过计算每个句子中与全部词汇在词向量上距离最近的词汇，以得到该句子的中心词汇，将其作为文字特征进行提取。
单层LSTM为单向的LSTM，单向的长短时记忆网络，将词汇转为词向量后作为输入，每个长短时记忆单元包括三个部分：输入门、记忆门、输出门；对于每个门单位的状态，将根据时间进行动态的调整，其中输入门为上一个单元的词向量输出，初始记忆单元的输入为空，记忆门的输入为输入门的输出，同时将通过计算与前几个记忆门的相关性进行回归计算，得到最相关的词向量，输出为输出门的输入，输出门的输出为下一个输入门的输入，最后一个输出门的输出默认为停止符；
双层LSTM为双向的LSTM，与单向的LSTM不同，能同时进行两个方向的词汇生成操作。单层LSTM为从左到右，依次产生符合要求的词汇，而双层LSTM为从左到右和从右到左两个方向的词汇生成，两个方向中的记忆门单元共享神经网络的权重参数；
(2)然后处理文字信息，通过词向量和长短记忆网络，词汇的频率信息和词汇之间的相关联的信息，通过多个由输入门单元、输出门单元、遗忘门单元构成神经元函数，输出所需要的文字的信息，该步骤的输出向量的长度也设置为足够的1000维；对于同一批的图像和问答信息，视觉特征提取部分和文字特征提取部分将得到同样批次信息且维度一样的张量特征，这些特征将被设计为信息融合部分的输入；该部分最后连接一个全连接层，输出张量。
进一步的，所述步骤3如下：
(1)信息融合部分的输入为视觉特征提取部分的全连接层输出和文字特征提取部分的全连接层输出，为了保证输入能够匹配，两个全连接层都设计为统一的1024维大小；之后的部分由三个全连接层组成；
(2)通过三层全连接层和两个激活函数，每个批次间的图像和文字信息将被融合，信息的融合将不仅局限于图像和其对应的问答之间；该部分的作用是让神经网络能给予全体数据集而非部分图片做出问答的预测，最终输出的向量也被设置为1000维，输出的张量不直接表示为回答，而是可能的回答的概率分布，根据全体问答所计算得到的词向量，计算最为可能的回答，并与真实值计算损失函数。
进一步的，所述损失函数定义如下：
loss＝lossBCE+lossGiven themes
其中，lossBCE为交叉熵损失函数，表示为：
其中n表示批量大小，wn表示权重；
作为批量大小为n时预测的输出值，yn代表批量大小为n时输入值x对应的输出值。
基于LDA主题提取所获得的主题词的给定主题的损失，
其中，output表示输出，Topici为第i个主题。
有益效果：
本发明使用卷积神经网络(CNN)和长短时记忆网络(LSTM)进行视觉问答任务，同时使用适用于多主题的损失函数。本发明对图像和问题分别编码后输出的向量进行融合，并执行视觉问答任务。同时由于许多主题的关键词数量较多，添加适用针对不同主题的损失函数将取得更好的效果。通过视觉问答，人们可以从图像中获得更多想要的信息，该技术可应用于智能拍照指导、艺术品评价指导、机器人智能交互等等应用领域，对计算机视觉和模式识别的影响深远。
附图说明
图1为本发明的视觉特征提取部分示意图；
图2为本发明网络整体架构设计。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
根据本发明的一个实施例，一种基于主题损失的视觉问答模型构建方法，所述视觉问答模型包括三个部分：视觉特征提取部分、问题提取部分和信息融合部分，在视觉问答模型中设计有一种损失函数，用于约束视觉问答中回答的生成与图像内容相关；具体包括如下步骤：
步骤1、构建视觉特征提取部分：在AVA数据集上，使用VGG图像分类算法进行图像的分数回归模型，使得该分数回归模型为标准均方误差低于0.5的评分模型，进一步通过迁移学习将回归模型迁移至需要视觉特征的数据集上，在迁移学习中冻结神经网络的全部网络权重参数；
步骤2、构建文字特征提取部分：使用了三种问题特征提取方法，分别是单词袋模型、单层LSTM网络与双层LSTM网络，进行文字特征提取；其输入为已知的语言段落，通过文字特征提取，输出为视觉问答模型中的回答；
步骤3、构建信息融合部分，将以张量表示的视觉特征和文字特征输入至一个全连接层，该全连接层包括2个1000维的全连接单元和2个非线性函数，最终通过Softmax函数将输出压缩至所需要的范围，该部分的输出为由多个词汇链接而成的问句；
步骤4、设置多主题的损失函数为信息融合部分的损失函数，信息融合部分为对问句生成的回归任务，损失函数具体表示为生成的问句和参考问句之间在词频分布上的差。
下面对各部分进行详细介绍。
(1)视觉特征提取部分。在进行视觉特征提取时，需要参考使用已知的图像评分模型用于提取图像的不同主题特征。本发明中需要使用含有大量给定主题的图像的数据集来进行训练，且保证每张图片均有对应的评分。在该模型上训练卷积神经网络可获得模型参数，即本文所需要的用于提取图像主题特征的参数。该部分使用的神经网络为VGG19，是一种层数较少但参数量较多的经典神经网络模型。
VGG19来源于ImageNet图像分类任务，在该网络中，最后一层网络为全连接层，之后输出图像类别信息。而在AVA图像评分任务中，将在全连接层后加上Softmax层，目的在于将输出的图像特征压缩至固定的分数范围，由于网络模型中的大部分参数并未发生变动，因此可直接迁移学习ImageNet上已经训练完备的模型。
在图像特征学习任务中，直接迁移使用AVA图像评分任务中的模型，并不对其进行神经网络权重参数的反向回传，仅执行前向计算，该操作被称之为神经网络权重的冻结。
同时，对最后一层全连接层进行梯度的计算与更新。由于全连接层的参数量极大(如在VGG19网络结构中，最后一层全连接层的参数量大于之前全部参数量之和)，且全连接层的特征学习能力较弱，因此可实现部分权重更新，以满足在部分文字相关的特征的学习要求。
(2)文字特征提取部分。单词袋模型考察问题中的前1000个单词用于计算词袋，该词袋被定义为一个字典，其中字典的键为词汇或词组，字典的值为出现的频率。同时由于问题的第一个词汇，即疑问词和回答密切相关，因此加入了少量的疑问词(如how，what，which)，最终的词袋模型包括1005个词汇。
单层LSTM表示为包括一个隐藏层的长短时记忆网络，网络的输入为1024维。且由于问题的输入是按批次进行输入，因此每个问题都将经过全连接层和非线性函数(本文中选择tanh函数)进行维度压缩，压缩至300维。由于所有句子均需要维度压缩，因此词向量的输入词汇中包括训练集中全部的疑问词。
双层LSTM表示为包括两个隐藏层的长短时记忆网络，网络的输入为2048维，也使用全连接层和非线性函数进行维度压缩，与单层LSTM不同的是，双层LSTM能获得更多的词汇信息，同时能将模型视作为简单的编码器-解码器模型。
(3)信息融合部分。无论是简单的词向量模型，还是双层LSTM模型，均可获得维度为1024维的文字特征。而在经过给定主题数据集上的与训练后所获得的模型，可通过冻结参数与全连接层训练获得1024维的图像主题特征。两种特征将被输入至一个全连接层，该层包括2个1000维的全连接单元和2个非线性函数，最终通过softmax函数将输出压缩至所需要的范围。
对于问题的回答设计，一般分为选择题和开放题。由于有些主题性较强，因此选择题被设计为从若干的选项中挑选正确的选项，其答案来自于包括正确答案在内的随机5个回答。而开放题被设计为与回答相关的，且包括正确答案的5个回答或10个回答。
根据本发明的一个实施例，总体的网络架构如图2所示。
(4)主题损失设计部分。传统的损失函数为交叉熵损失函数(Binary CrossEntropy Loss，BCELoss)，这是一种用于多分类的损失函数，在视觉问答的任务中，最为简单的回答，如yes/no等可视作是一种选择，而一个单词的回答也可视作是更大范围的选择题。
以二分类为例，交叉熵损失函数的计算如下：
将回答视作随机变量，对于二分类任务而言，二分类的交叉熵形式为：
其中
作为预测的输出值在0到1之间，y代表输入值x对应的输出值，而对于批量样本(x1，y1)，(x2，y2)…等可对交叉熵求和或求均值：
在torch框架中，交叉熵损失函数表示为：
其中n表示批量大小，wn表示权重，
作为批量大小为n时预测的输出值，yn代表批量大小为n时输入值x对应的输出值。
在交叉熵损失函数的基础上，本发明设计了基于LDA主题提取所获得的主题词的给定主题的损失。以LDA所获得的主题数量为10为例：
其中，output表示输出，Topici为第i个主题
最终总的损失函数为二者之和，即：
loss＝lossBCE+lossGiven themes
根据本发明的一个实施例，在计算机中实现上述建模方法，具体的，图像特征提取部分为使用冻结的卷积网络提取特征的操作，主要依靠算法框架对该步骤的支持。冻结参数对于算法的另外一个优点是加速模型训练，使之快速收敛。
文字特征提取部分为使用双层的LSTM提取特征的操作，在构建词向量时需要去掉部分词频过低的罕见词汇。
模型实现分为设置参数、输入数据集、网络定义、迭代器生成、目标函数与优化、模型训练与保存模型文件几个步骤。
设置参数包括批处理大小，问题的词向量大小，LSTM大小，RNN层数，联合嵌入层大小；
输入数据集包括归一化图像的特征，设计参数；
网络定义包括视觉问答部分，即输入词向量和RNN编码器，另一部分是多模态部分，读取仅前向通过VGG19网络的图像特征，使用矩阵乘法组合不同空间的特征参数；
迭代器生成部分设计每次训练的下一个批次参数，且每次进行迭代时均使用验证集的数据进行验证(数据在创建时已经随机化)，将每个批次的数据导入GPU；
目标函数与优化步骤需要首先将数据载入到网络参数中，将梯度数据清零，获得一个批次的数据量，对词向量和LSTM部分进行前向计算，以及多模态和损失函数的前向计算，之后对编码器进行反向回传，更新此步骤的权重参数，对词向量和LSTM部分进行反向回传，更新参数，定义损失函数和梯度下降的优化器形式，本发明使用的梯度下降策略为每迭代10次损失函数为上次的0.95倍；训练部分，由于在当前的设置下，损失函数逐渐减小，因此神经网络永远不会过拟合，可使用所有的数据进行训练，最终步骤为保存模型文件。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于主题损失的视觉问答模型构建方法，所述视觉问答模型包括三个部分：视觉特征提取部分、问题提取部分和信息融合部分，在视觉问答模型中设计有一种损失函数，用于约束视觉问答中回答的生成与图像内容相关；其特征在于，具体包括如下步骤：
步骤1、构建视觉特征提取部分：在AVA数据集上，使用VGG图像分类算法进行图像的分数回归模型，使得该分数回归模型为标准均方误差低于0.5的评分模型，进一步通过迁移学习将回归模型迁移至需要视觉特征的数据集上，在迁移学习中冻结神经网络的全部网络权重参数；
步骤2、构建文字特征提取部分：使用了三种问题特征提取方法，分别是单词袋模型、单层LSTM网络与双层LSTM网络，进行文字特征提取；其输入为已知的语言段落，通过文字特征提取，输出为视觉问答模型中的回答；
步骤3、构建信息融合部分，将以张量表示的视觉特征和文字特征输入至一个全连接层，该全连接层包括2个1000维的全连接单元和2个非线性函数，最终通过Softmax函数将输出压缩至所需要的范围，该部分的输出为由多个词汇链接而成的问句；
步骤4、设置多主题的损失函数为信息融合部分的损失函数，信息融合部分为对问句生成的回归任务，损失函数具体表示为生成的问句和参考问句之间在词频分布上的差。
2.根据权利要求1所述的一种基于主题损失的视觉问答模型构建方法，其特征在于，所述步骤1如下：
(1)已知ImageNet数据集上的基于VGG19网络的图像分类模型和已知的AVA图片分数回归任务，使用ImageNet数据集上的预训练模型，修改最后一层全连接层的输出参数，并加入Softmax函数，使得输出张量的大小与AVA数据集上的评分范围匹配，之后使用预训练模型在AVA数据集上进行图像评分的回归分析，通过神经网络的训练获得能回归得到评分的模型；
(2)使用在AVA数据集上训练好的图像评分模型进行迁移学习，对评分模型中的网络权重参数进行冻结，仅保留全连接层的参数可被更新，获得冻结的参数模型后得到视觉特征提取模型，其输入为图像，输出为图像的视觉特征。
3.根据权利要求1所述的一种基于主题损失的视觉问答模型构建方法，其特征在于，所述步骤2如下：
(1)构建文字特征提取部分包括三种操作：单词袋模型、单层LSTM和双层LSTM，该部分算法同时进行三种操作，并选择其中输出词汇数量最多的一种方法；其中，单词袋模型由词袋为基础，词袋具体表示为一个键为词汇，值为词汇的频率的字典；通过glove600词向量库，将词袋转为词汇-频率-词向量的新字典，通过计算每个句子中与全部词汇在词向量上距离最近的词汇，以得到该句子的中心词汇，将其作为文字特征进行提取；
单层LSTM为单向的LSTM，单向的长短时记忆网络，将词汇转为词向量后作为输入，每个长短时记忆单元包括三个部分：输入门、记忆门、输出门；对于每个门单位的状态，将根据时间进行动态的调整，其中输入门为上一个单元的词向量输出，初始记忆单元的输入为空，记忆门的输入为输入门的输出，同时将通过计算与前几个记忆门的相关性进行回归计算，得到最相关的词向量，输出为输出门的输入，输出门的输出为下一个输入门的输入，最后一个输出门的输出默认为停止符；
双层LSTM为双向的LSTM，与单向的LSTM不同，能同时进行两个方向的词汇生成操作。单层LSTM为从左到右，依次产生符合要求的词汇，而双层LSTM为从左到右和从右到左两个方向的词汇生成，两个方向中的记忆门单元共享神经网络的权重参数；
(2)然后处理文字信息，通过词向量和长短记忆网络，词汇的频率信息和词汇之间的相关联的信息，通过多个由输入门单元、输出门单元、遗忘门单元构成神经元函数，输出所需要的文字的信息，该步骤的输出向量的长度也设置为足够的1000维；对于同一批的图像和问答信息，视觉特征提取部分和文字特征提取部分将得到同样批次信息且维度一样的张量特征，这些特征将被设计为信息融合部分的输入；该部分最后连接一个全连接层，输出张量。
4.根据权利要求1所述的一种基于主题损失的视觉问答模型构建方法，其特征在于，所述步骤3如下：
(1)信息融合部分的输入为视觉特征提取部分的全连接层输出和文字特征提取部分的全连接层输出，为了保证输入能够匹配，两个全连接层都设计为统一的1024维大小；之后的部分由三个全连接层组成；
(2)通过三层全连接层和两个激活函数，每个批次间的图像和文字信息将被融合，信息的融合将不仅局限于图像和其对应的问答之间；该部分的作用是让神经网络能给予全体数据集而非部分图片做出问答的预测，最终输出的向量也被设置为1000维，输出的张量不直接表示为回答，而是可能的回答的概率分布，根据全体问答所计算得到的词向量，计算最为可能的回答，并与真实值计算损失函数。
5.根据权利要求1所述的一种基于主题损失的视觉问答模型构建方法，其特征在于，所述损失函数定义如下：
loss＝lossBCE+lossGiven themes
其中，lossBCE为交叉熵损失函数，表示为：
其中n表示批量大小，wn表示权重；
作为批量大小为n时预测的输出值，yn代表批量大小为n时输入值x对应的输出值；
基于LDA主题提取所获得的主题词的给定主题的损失，
其中，output表示输出，Topici为第i个主题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110430766.3A CN113157889A (zh) | 2021-04-21 | 2021-04-21 | 一种基于主题损失的视觉问答模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110430766.3A CN113157889A (zh) | 2021-04-21 | 2021-04-21 | 一种基于主题损失的视觉问答模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113157889A true CN113157889A (zh) | 2021-07-23 |
Family
ID=76867649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110430766.3A Pending CN113157889A (zh) | 2021-04-21 | 2021-04-21 | 一种基于主题损失的视觉问答模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157889A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780370A (zh) * | 2021-08-23 | 2021-12-10 | 咪咕文化科技有限公司 | 视觉问答方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110213A (zh) * | 2018-01-24 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 挖掘用户职业的方法、装置、计算机可读存储介质和终端设备 |
| CN110377710A (zh) * | 2019-06-17 | 2019-10-25 | 杭州电子科技大学 | 一种基于多模态融合的视觉问答融合增强方法 |
| CN110619213A (zh) * | 2018-06-20 | 2019-12-27 | 深信服科技股份有限公司 | 基于多模型特征的恶意软件识别方法、系统及相关装置 |
| CN110765755A (zh) * | 2019-10-28 | 2020-02-07 | 桂林电子科技大学 | 一种基于双重选择门的语义相似度特征提取方法 |
| CN111008293A (zh) * | 2018-10-06 | 2020-04-14 | 上海交通大学 | 基于结构化语义表示的视觉问答方法 |
| CN111079427A (zh) * | 2019-12-20 | 2020-04-28 | 北京金睛云华科技有限公司 | 一种垃圾邮件识别方法及系统 |
| WO2020119631A1 (zh) * | 2018-12-12 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种轻量视觉问答系统及方法 |
| CN111797873A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
| CN112006678A (zh) * | 2020-09-10 | 2020-12-01 | 齐鲁工业大学 | 基于AlexNet和迁移学习相结合的心电图异常识别方法及系统 |
| CN112182205A (zh) * | 2020-08-24 | 2021-01-05 | 华北电力大学（保定） | 一种利用文字识别识别电气设备中监测数据的处理方法 |
| CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
| CN112464656A (zh) * | 2020-11-30 | 2021-03-09 | 科大讯飞股份有限公司 | 关键词抽取方法、装置、电子设备和存储介质 |
| CN112633257A (zh) * | 2021-01-28 | 2021-04-09 | 华东交通大学 | 基于改良卷积神经网络的马铃薯病害识别方法 |
-
2021
- 2021-04-21 CN CN202110430766.3A patent/CN113157889A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110213A (zh) * | 2018-01-24 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 挖掘用户职业的方法、装置、计算机可读存储介质和终端设备 |
| CN110619213A (zh) * | 2018-06-20 | 2019-12-27 | 深信服科技股份有限公司 | 基于多模型特征的恶意软件识别方法、系统及相关装置 |
| CN111008293A (zh) * | 2018-10-06 | 2020-04-14 | 上海交通大学 | 基于结构化语义表示的视觉问答方法 |
| WO2020119631A1 (zh) * | 2018-12-12 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种轻量视觉问答系统及方法 |
| CN111797873A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
| CN110377710A (zh) * | 2019-06-17 | 2019-10-25 | 杭州电子科技大学 | 一种基于多模态融合的视觉问答融合增强方法 |
| CN110765755A (zh) * | 2019-10-28 | 2020-02-07 | 桂林电子科技大学 | 一种基于双重选择门的语义相似度特征提取方法 |
| CN111079427A (zh) * | 2019-12-20 | 2020-04-28 | 北京金睛云华科技有限公司 | 一种垃圾邮件识别方法及系统 |
| CN112182205A (zh) * | 2020-08-24 | 2021-01-05 | 华北电力大学（保定） | 一种利用文字识别识别电气设备中监测数据的处理方法 |
| CN112006678A (zh) * | 2020-09-10 | 2020-12-01 | 齐鲁工业大学 | 基于AlexNet和迁移学习相结合的心电图异常识别方法及系统 |
| CN112464656A (zh) * | 2020-11-30 | 2021-03-09 | 科大讯飞股份有限公司 | 关键词抽取方法、装置、电子设备和存储介质 |
| CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
| CN112633257A (zh) * | 2021-01-28 | 2021-04-09 | 华东交通大学 | 基于改良卷积神经网络的马铃薯病害识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780370A (zh) * | 2021-08-23 | 2021-12-10 | 咪咕文化科技有限公司 | 视觉问答方法、装置、设备及存储介质 |
| CN113780370B (zh) * | 2021-08-23 | 2024-05-07 | 咪咕文化科技有限公司 | 视觉问答方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109947912B (zh) | 一种基于段落内部推理和联合问题答案匹配的模型方法 | |
| CN108733792B (zh) | 一种实体关系抽取方法 | |
| CN109614471B (zh) | 一种基于生成式对抗网络的开放式问题自动生成方法 | |
| CN111160467A (zh) | 一种基于条件随机场和内部语义注意力的图像描述方法 | |
| CN110390397A (zh) | 一种文本蕴含识别方法及装置 | |
| CN111898374B (zh) | 文本识别方法、装置、存储介质和电子设备 | |
| CN110580288A (zh) | 基于人工智能的文本分类方法和装置 | |
| CN113886626B (zh) | 基于多重注意力机制的动态记忆网络模型的视觉问答方法 | |
| CN114818691A (zh) | 文章内容的评价方法、装置、设备及介质 | |
| WO2021057884A1 (zh) | 语句复述方法、训练语句复述模型的方法及其装置 | |
| CN112527966A (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
| Luo et al. | English text quality analysis based on recurrent neural network and semantic segmentation | |
| CN113204970A (zh) | 一种BERT-BiLSTM-CRF命名实体检测模型及装置 | |
| CN113657380A (zh) | 融合多模态注意力机制的图像美学质量评价方法 | |
| CN115510814A (zh) | 一种基于双重规划的篇章级复杂问题生成方法 | |
| CN114168707A (zh) | 一种面向推荐的情绪型对话方法 | |
| CN114462420A (zh) | 一种基于特征融合模型的虚假新闻检测方法 | |
| CN116187349A (zh) | 一种基于场景图关系信息增强的视觉问答方法 | |
| CN113887836B (zh) | 一种融合事件环境信息的叙述性事件预测方法 | |
| CN114510576A (zh) | 一种基于BERT和BiGRU融合注意力机制的实体关系抽取方法 | |
| CN116543289B (zh) | 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法 | |
| CN110889505A (zh) | 一种图文序列匹配的跨媒体综合推理方法和系统 | |
| CN117094395B (zh) | 对知识图谱进行补全的方法、装置和计算机存储介质 | |
| CN113157889A (zh) | 一种基于主题损失的视觉问答模型构建方法 | |
| CN114282528A (zh) | 一种关键词提取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |