CN115019142B - 基于融合特征的图像标题生成方法、系统、电子设备 - Google Patents

基于融合特征的图像标题生成方法、系统、电子设备 Download PDF

Info

Publication number
CN115019142B
CN115019142B CN202210665448.XA CN202210665448A CN115019142B CN 115019142 B CN115019142 B CN 115019142B CN 202210665448 A CN202210665448 A CN 202210665448A CN 115019142 B CN115019142 B CN 115019142B
Authority
CN
China
Prior art keywords
feature
fusion
image
channel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210665448.XA
Other languages
English (en)
Other versions
CN115019142A (zh
Inventor
梅红岩
耿耀港
李文潇
李凯
李雨恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University of Technology
Original Assignee
Liaoning University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University of Technology filed Critical Liaoning University of Technology
Priority to CN202210665448.XA priority Critical patent/CN115019142B/zh
Publication of CN115019142A publication Critical patent/CN115019142A/zh
Application granted granted Critical
Publication of CN115019142B publication Critical patent/CN115019142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于融合特征的图像标题生成方法，通过SE通道特征提取模块获取目标图像的通道级特征；通过节点嵌入区域特征提取模块获取目标图像的区域级特征；通过特征融合模块基于注意力机制对通道级特征与区域级特征进行融合以获取融合特征；通过LSTM解码器对融合特征进行解码以在LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对目标单词进行组句子处理以形成与目标图像相对应的图像标题，使用模型创新地融合图像和文本间的特征,使得提取到的图像特征具有类似视觉注意力的特性,有效缩减训练的时间，改善注意力权重的可解释性，统一视觉图像和语言理解间的跨模块特征。

Description

基于融合特征的图像标题生成方法、系统、电子设备
技术领域
本发明涉及传播动力学技术领域，更为具体地，涉及一种基于融合特征的图像标题生成方法、系统、电子设备。
背景技术
随着多媒体技术和计算机网络的快速发展，数据的多模态性日显突出，数据量爆发式增长，学术界和企业界对多模态数据的处理的需求也日益迫切。
图像标题生成任务是由Farhadi[1]等人在2010年提出，其任务是通过模型实现从图像模态到文本模态的模态转换,具体化表示为二元组(I，S)，模型完成图像模态I(Image)到文本模态S(Sentence)的模态转换。图像标题生成任务是计算机视觉领域(ComputerVision，CV)和自然语言处理领域(Natural Language Processing，NLP)的交叉任务。这项任务对有一定生活经验的人类来说非常简单，但是对于计算机来说却有着巨大的挑战性，这不仅要求计算机能够理解图像的内容，而且还要求计算机能够生成符合人类语言习惯的句子。图像标题生成任务，在图像理解、人机交互和视觉障碍患者辅助和新闻领域等领域有着重要的作用，由于其重要性和挑战性，逐渐成为人工智能领域研究的一个热点。
自图像标题生成任务被提出以来，经过研究者们的科研探索，目前图像标题生成主要有以下几种基本方法：基于模板的方法，该方法需要人工设计句法模板，依赖于硬解码的视觉概念，受到图像检测质量，句法模板数量等条件的限制，且该方法生成的标题，语法形式单一，标题的多样性不足；基于检索的方法，该方法由整体的数据驱动生成图像标题，基于输入图像，在数据库中检索相似图像以及描述该图像的人工合成短语，该方法生成标题的质量依赖于输入图像与数据库中图像的相似程度，且难以保证标题语义的正确性；
因此，亟需一种能够融合图像和文本间特征,使得提取到的图像特征具有类似视觉注意力的特性,有效缩减训练的时间，改善注意力权重的可解释性的基于融合特征的图像标题生成方法。
发明内容
鉴于上述问题，本发明的目的是提供一种基于融合特征的图像标题生成方法，以解决目前的图像标题生成方法中，当前标题形式单一，且准确性较差的问题。
本发明提供的一种基于融合特征的图像标题生成方法，其中，包括：
搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
优选地，所述搭建并训练图神经网络以形成融合特征目标标题生成模型，包括：
通过网络检索获取MSCOCO数据集；
将所述MSCOCO数据集输入预搭建的图神经网络中进行反复训练，直至所述图神经网络的输出信息的损失函数小于预设的训练阈值，并将最后一次训练的图神经网络作为融合特征目标标题生成模型；其中，
所述图神经网络遵循编码器-解码器结构。
优选地，通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征，包括：
将所述SE通道特征提取模块嵌入在预设的ResNet-101神经网络中；
所述SE通道特征提取模块嵌入在ResNet-101神经网络的残差运算中进行SE操作；并且，将最后一次SE操作形成的SE操作特征作为通道级特征。
优选地，所述SE操作包括：
对所述目标图像进行图像转换处理形成多维张量数据；
根据所述多维张量数据确定所述目标图像的特征图；
对所述特征图进行压缩操作以获取所述特征图的标量，基于所述标量计算所述目标图像的全局特征；其中，所述压缩操作为：对所述特征图中的元素进行逐行逐列累加，并除以元素总数以获取所述标量；
使用Sigmo id函数对所述全局特征进行激活处理以获取通道级特征注意力权重；
将所述全局特征中每个通道的特征与和各个通道相对应的通道级特征注意力权重相乘以获取各个通道的SE操作特征。
优选地，所述通过所述融合特征编码器中的节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征，包括：
通过目标检测技术检测所述目标图像，以获取所述目标图像的区域视觉特征、对象信息、对象属性信息、对象间关系信息，及锚框位置；
根据所述对象信息、对象属性信息、对象间关系信息建立关于松鼠目标图像的有向图结构，并将所述有向图结构的节点编码为X，X＝{x1，···，x|V|}；其中，xi为所述有向图结构的各个节点对应的区域视觉特征，|V|为所述有向图结构的节点个数；
基于所述节点编码对所述有向结构中的各个节点进行类型嵌入以获取与所述对象信息相对应的对象类型信息；
使用GCN网络对所述有向图结构的各个节点进行信息提取操作以将所述节点的邻接节点的邻接信息汇聚在各个节点中，并将各个节点的原始信息与所述临界信息相加输入至预设的ReLU激活函数中以获取节点特征，以及，将所述GCN网络最后一层输出的节点特征作为所述目标图像的区域级特征。
优选地，所述通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征，包括：
通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行向量拼接操作以获取拼接向量：
F＝concat(Fc,Fr)
其中，F为拼接向量，Fc为通道级特征，Fr为区域级特征；
基于预设的参数对所述拼接向量进行注意力权重的计算以获取注意力权重；
对所述拼接向量与所述注意力权重进行乘融合操作以获取融合特征。
优选地，所述通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题，包括：
通过所述LSTM解码器将所述融合特征初始化为LSTM的细胞状态和隐藏层状态，并根据所述细胞状态和所述隐藏状态进行线性变换，以获取与所述隐藏状态对应的维度数据；
将所述维度数据输入至所述LSTM解码器的Softmax层，以生成与所述LSTM解码器中的字典相对应的词汇可能性，并选取所述词汇可能性最大的词汇作为目标单词；
按照预设的语句生成规则对所获取的所有的目标单词根据汉语语法进行排序以形成与所述目标图像相对应的图像标题。
本发明还提供一种基于融合特征的图像标题生成系统，实现如前所述的基于融合特征的图像标题生成方法，包括：
模型训练单元，用于搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通道特征提取单元，用于通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；
区域特征提取单元，用于通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
融合特征获取单元，用于通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
图像标题生成单元，用于通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的基于融合特征的图像标题生成方法中的步骤。
从上面的技术方案可知，本发明提供的基于融合特征的图像标题生成方法，首先搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；通过SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取目标图像的通道级特征；通过节点嵌入区域特征提取模块基于目标检测技术对目标图像进行区域特征提取以获取目标图像的区域级特征；通过特征融合模块基于注意力机制对通道级特征与区域级特征进行融合以获取融合特征；通过LSTM解码器对融合特征进行解码以在LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对目标单词进行组句子处理以形成与目标图像相对应的图像标题，如此，在采用通道特征和区域特征结合的方式后，句子的语义信息更加丰富，表达出图像中更多的信息，使用模型创新地融合图像和文本间的特征,使得提取到的图像特征具有类似视觉注意力的特性,能够有效缩减训练的时间，结合采用了融合注意力机制的双层长短期记忆网络能改善注意力权重的可解释性，进一步统一视觉图像和语言理解间的跨模块特征。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于融合特征的图像标题生成方法的流程图；
图2为根据本发明实施例的基于融合特征的图像标题生成方法所涉及的SE通道特征提取示意图；
图3为根据本发明实施例的基于融合特征的图像标题生成方法的双层LSTM解码流程图；
图4为根据本发明实施例的基于融合特征的图像标题生成系统的示意图；
图5为根据本发明实施例的电子设备的示意图。
具体实施方式
自图像标题生成任务被提出以来，经过研究者们的科研探索，目前图像标题生成主要有以下几种基本方法：基于模板的方法，该方法需要人工设计句法模板，依赖于硬解码的视觉概念，受到图像检测质量，句法模板数量等条件的限制，且该方法生成的标题，语法形式单一，标题的多样性不足；基于检索的方法，该方法由整体的数据驱动生成图像标题，基于输入图像，在数据库中检索相似图像以及描述该图像的人工合成短语，该方法生成标题的质量依赖于输入图像与数据库中图像的相似程度，且难以保证标题语义的正确性。
针对上述问题，本发明提供一种基于融合特征的图像标题生成方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于融合特征的图像标题生成方法、系统、电子设备，图1-图5对本发明实施例的进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于融合特征的图像标题生成方法，包括：
S1：搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
S2：通过所述融合特征编码器中的SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；S3：通过所述融合特征编码器中的节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
S4：通过所述融合特征编码器中的特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
S5：通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
如图1所示，步骤S1为搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器的过程；该基于融合特征的图像标题生成模型的目标是根据指定的图像I生成流畅且含有丰富语义信息的句子y＝{y1，……，yT}。模型遵循编码器-解码器结构，由一个融合特征编码器和解码器组成。
其中，搭建并训练图神经网络以形成融合特征目标标题生成模型，包括：
通过网络检索获取MSCOCO数据集；
将所述MSCOCO数据集输入预搭建的图神经网络中进行反复训练，直至所述图神经网络的输出信息的损失函数小于预设的训练阈值，并将最后一次训练的图神经网络作为融合特征目标标题生成模型；其中，
所述图神经网络遵循编码器-解码器结构。
在本实施例中，用于训练神经网络的数据集主要依赖经过目标检测技术处理的MSCOCO数据集，MSCOCO数据集是微软公司针对计算机视觉任务构建的，一个大型的、丰富的物体检测，分割和图像标题生成的标准化数据集，可通过官网链接地址http：//cocodataset.org下载获取。
更为具体的，在以往的工作中，模型一般采用CNN提取的通道级特征或GCN提取的区域级特征，这两种特征各有优点和弊端，在单一使用时容易放大两者的缺陷，因此，本实施例中的基于融合特征的图像标题生成方法中的融合特征编码器由SE通道特征提取模块、节点嵌入区域特征提取模块和基于注意力机制的特征融合模块构成。
其中，SE通道特征提取模块负责提取图像的通道级特征，节点嵌入区域特征模组提取图像的区域级特征，然后通过两种注意力机制，对其进行加权融合，使模型在获得丰富语义信息的同时，获得更多细粒度的信息。
在图1所示的实施例中，步骤S2、步骤S3为并列步骤，其不分先后，可同时进行，也可分别先后进行；步骤S2为通过所述融合特征编码器中的SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征的过程；步骤S3为通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征的过程；
其中，在通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征的过程中，包括：
将所述SE通道特征提取模块嵌入在预设的ResNet-101神经网络中；
所述SE通道特征提取模块嵌入在ResNet-101神经网络的残差运算中进行SE操作；并且，将最后一次SE操作形成的SE操作特征作为通道级特征。
所述SE操作包括：
对所述目标图像进行图像转换处理形成多维张量数据；
根据所述多维张量数据确定所述目标图像的特征图；
对所述特征图进行压缩操作以获取所述特征图的标量，基于所述标量计算所述目标图像的全局特征；其中，所述压缩操作为：对所述特征图中的元素进行逐行逐列累加，并除以元素总数以获取所述标量；
使用Sigmoid函数对所述全局特征进行激活处理以获取通道级特征注意力权重；
将所述全局特征中每个通道的特征与和各个通道相对应的通道级特征注意力权重相乘以获取各个通道的SE操作特征。
如图1、图2共同所示，SE通道特征提取模块：SE通道特征提取模块用于进行SE通道特征提取，即对每一张通道特征图进行运算，计算出其权重，然后将权重与通道特征图融合，SE通道特征提取模块其主体为嵌入SE(Squeeze and Excitation)操作的CNN，在本实施例中采用的CNN是凭借其优异性能广泛应用在深度学习领域的ResNet-101网络，ResNet-101基本原理是通过引入残差操作(如图2所示)解决深层神经网络反向传播时梯度消失和梯度爆炸的问题。而SE通道特征提取模块则是在ResNet-101的基础上进行了改进，我们选择在每一次残差操作中，加入SE操作，使网络能够动态的关注图像的通道特征图。
更为具体的，在一个具体实施例中，通过所述融合特征编码器中的SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征的具体步骤为：
第一步，通过Pytorch框架中的工具，将欲获取的PIL格式的图像转化为多维张量数据，便于神经网络运算训练，该多维张量数据在本实施例中为三维张量数据，其维度为I(H，W，C)，其中H为图像的高度，W为图像的宽度，C为通道数，彩色图片的通道数为R，G，B三通道，而灰度图为单通道；三维张量数据就是三个矩阵，通道数对应矩阵的数量；一个矩阵对应一个特征图。
第二步，对特征图进行压缩操作，通过对特征图中元素逐行逐列累加，除以元素总数，得到代表特征图的一个标量zc，然后将所有特征图计算得到的标量整合为全局特征Z：
Z＝{z1,z2,...,zc}
其中，Ic代表图像的通道特征图，Fsq代表压缩操作函数，c为通道特征图的数量，c∈{1,2，...C}，i，j为通道特征图矩阵的行和列，i∈{1,2，...H}，j∈{1,2，...W}，zc为图像单张特征图的标量映射，而Z为图像的全局特征，维度为(1,1，C)。
第三步，模块对Z使用Sigmoid函数进行激活操作，目的是将zc映射为0到1之间的注意力权重。首先，将Z与参数矩阵W1相乘输入到ReLU激活函数中，保证输出为正数，然后将结果与参数矩阵W2相乘输入Sigmo id激活函数中，得到0到1之间的注意力权重，其具体含义是计算模型在生成标题时应该在每张特征图上分多少注意力：
s＝Fex(z)＝σ(W2δ(W1z)) (2)
其中，Fex代表激活操作函数，其输入为z，s为图像的通道级特征注意力权重，δ为ReLU函数，保证输出为正数，W1和W2为需要学习的权重参数，σ为Sigmoid激活函数。
第四步，模块将每个通道的通道级特征注意力权重与该通道的特征相乘以获取SE操作特征(也可称为通道级特征，但在本实施例中将最后一层SE操作的通道级特征作为最终输出的通道级特征结果)，公式如下：
Fc＝Fscale(Ic,Sc)＝Sc*Ic (3)
其中，Fscale(*)为对齐函数，Fc是我们模块要获取到的注意力关注后的图像的SE操作特征。
以上步骤为模型的SE操作，将SE操作嵌入到了ResNet-101的每一个残差运算中，由于ResNet-101是一个深层次的神经网络，因此取最后一层SE操作的SE操作特征输出，作为我们最终的通道级特征结果Fc。
在图1所示的实施例中，步骤S3为通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征的过程；
通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征，包括：
S31：通过目标检测技术检测所述目标图像，以获取所述目标图像的区域视觉特征、对象信息、对象属性信息、对象间关系信息，及锚框位置；
S32：根据所述对象信息、对象属性信息、对象间关系信息建立关于松鼠目标图像的有向图结构，并将所述有向图结构的节点编码为X，X＝{x1，···，x|V|}；其中，xi为所述有向图结构的各个节点对应的区域视觉特征，|V|为所述有向图结构的节点个数；
S33：基于所述节点编码对所述有向结构中的各个节点进行类型嵌入以获取与所述对象信息相对应的对象类型信息；
S34：使用GCN网络对所述有向图结构的各个节点进行信息提取操作以将所述节点的邻接节点的邻接信息汇聚在各个节点中，并将各个节点的原始信息与所述临界信息相加输入至预设的ReLU激活函数中以获取节点特征，以及，将所述GCN网络最后一层输出的节点特征作为所述目标图像的区域级特征。
具体的，在图1所示的实施例中，该节点嵌入区域特征提取模块主体为GCN网络，该模块首先通过目标检测技术检测图中的对象，对象属性和对象间的关系等信息，及其在图片中对应的锚框位置；而后通过单张图片中对象、对象属性、对象关系信息，构建有向图结构；再将图节点初步编码为X，X＝{x1，···，x|V|}，这里xi为有向图节点对应区域的视觉特征(由目标检测技术提取)，|V|代表的是节点的个数。
更为具体的，在进行了上述初步编码后，为了使模型能够区分该节点的类型以及更好的获取该节点和邻接点的语义信息，再对节点类型进行嵌入，节点嵌入的公式如下：
其中，Wr为角色嵌入矩阵，维度为(3，d)，d为特征维数，Wr[k]表示Wr的第k行，pos[i]为位置嵌入，以区分与同一对象连接的不同属性节点的顺序。
在进行节点嵌入之后，节点特征中包含了节点的类型信息。使用GCN对xi进行特征提取操作，其目的是将xi节点的邻接点的信息汇聚到xi中，主要操作方法是将xi的邻居节点信息逐个累加，除以邻居节点的数量，再与xi的原始信息相加，输入给ReLU激活函数后，得到新的xi节点特征，其公式如下：
其中表示关系r～∈R下第i个节点的邻居，σ为ReLU激活函数，W*(l)为第l个GCN层需要学习的参数。利用一层为每个节点从其直接邻居节点带来上下文，而叠加多层可以在图中编码更广泛的上下文。其中，在本具体实施例中，使模型堆叠L层，然后使用最后的L层的输出作为我们最终的节点嵌入X，再取X的平均值，作为图像的区域级特征Fr。
在图1所示的实施例中，步骤S4为通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征的过程；其中，通过所述融合特征编码器中的特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征，包括：
S41：通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行向量拼接操作以获取拼接向量：
F＝concat(Fc,Fr)
其中，F为拼接向量，Fc为通道级特征，Fr为区域级特征；
S42：基于预设的参数对所述拼接向量进行注意力权重的计算以获取注意力权重；
S43：对所述拼接向量与所述注意力权重进行乘融合操作以获取融合特征。
更为具体的，基于注意力机制的特征融合模块，其作用为使用注意力机制将两种级别的特征进行加权融合，其融合方式我们选择了向量拼接的方式，其目的为避免两种级别特征融合后的融合噪声问题，其流程如下：
首先，模型对两种级别的特征进行向量拼接操作，公式如下：
F＝concat(Fc,Fr) (5)
然后，模型对特征进行注意力权重的计算，公式如下：
β＝σ(W2δ(W1F)) (6)
其中，W*为学习的参数。最后，将图像特征与其注意力权重进行乘融合操作，公式如下：
在图1所示的实施例中，步骤S5为通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题的过程；其中，
通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题，包括：
S51：通过所述LSTM解码器将所述融合特征初始化为LSTM的细胞状态和隐藏层状态，并根据所述细胞状态和所述隐藏状态进行线性变换，以获取与所述隐藏状态对应的维度数据；
S52：将所述维度数据输入至所述LSTM解码器的Softmax层，以生成与所述LSTM解码器中的字典相对应的词汇可能性，并选取所述词汇可能性最大的词汇作为目标单词；
S53：按照预设的语句生成规则对所获取的所有的目标单词根据汉语语法进行排序以形成与所述目标图像相对应的图像标题。
如图1、图3共同所示，模型经过编码器的一系列运算后，得到了注意力关注后的融合特征F，双层LSTM的工作用于进行双层LST解码工作，即在F的指导下按时间步生成单词，最终组合成句子。
更为具体的，第一步，首先将上文获取到的融合特征初始化为LSTM的细胞状态和隐藏层状态/>其中a代表Attention LSTM中的变量，L代表Language LSTM中的变量。
第二步，将开始标志<SOS>通过词嵌入(Word Embedding)技术，将其转换为矩阵形式W0。然后我们将W0和拼接为一个矩阵/>并将其传输到Attention LSTM，通过LSTM的计算公式，计算出Attention LSTM新的时间步的隐藏状态/>和新的细胞状态/>计算公式如下：
ftt＝σg(Wfxt+Ufht-1+bf) (8)
it＝σg(Wixt+Uiht-1+bi) (9)
ot＝σg(Woxt+Uoht-1+bo) (10)
ht＝ot*tanh(Ct) (13)
第三步，将传入Language LSTM中，通过LSTM计算公式计算出Language LSTM在时间步1的隐藏状态/>并更新/>
第四步，将进行线性变换，将/>的维度变换为/>其维度为(1，n)，其中n是词典的长度。
第五步，将输入Softmax层，计算出时间步1时，生成词典中各个单词的可能性，取最大值，作为时间步1生成的单词x1。
第六步，将时间步1时的和x1传入时间步2时的Attention LSTM，重复上述五个步骤，指导模型生成结束标志<EOS>，代表标题全部生成完成。
在应用之前，运用了两种评价指标进行评估，由评估实验结果可以得出本实施例中融合特征目标标题生成模型的每个组成部分对模型性能的影响，首先第一行采用传统CNN+LSTM经典方式提取图像通道级特征，作为baseline。第二行在其基础上将CNN优化为GCN使模型提取图像的区域级特征，模型在各项指标上均由一定程度的提升，然后，针对融合特征的四种方式分别进行了消融实验，由其指标可见，使用向量拼接和注意力融合的方式，性能最佳。
通过对比实验可知，模型(融合特征目标标题生成模型)在BLEU-1和BLEU-4得分保持在基线水平的同时，CIDEr得分比表中最优得分有0.4分的提升，可见在采用通道特征和区域特征结合的方式后，句子的语义信息更加丰富，表达出了图像中更多的信息。另一方面，为了验证模型中各模块对模型整体性能的影响，在5条参考标题，beamsearch为3的条件下，进行多组对比实验得出：使用模型创新地融合了图像和文本间的特征,使得提取到的图像特征具有类似视觉注意力的特性,该模型精简的参数量能有效缩减训练的时间。结合采用了融合注意力机制的双层长短期记忆网络能改善注意力权重的可解释性。该算法进一步统一视觉图像和语言理解间的跨模块特征。实验表明,该算法在各评价指标上都有着优异的表现，提高了标题自动生成的质量。
如上所述，本发明提供的基于融合特征的图像标题生成方法，首先搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；通过融合特征编码器中的SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取目标图像的通道级特征；通过融合特征编码器中的节点嵌入区域特征提取模块基于目标检测技术对目标图像进行区域特征提取以获取目标图像的区域级特征；通过融合特征编码器中的特征融合模块基于注意力机制对通道级特征与区域级特征进行融合以获取融合特征；通过LSTM解码器对融合特征进行解码以在LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对目标单词进行组句子处理以形成与目标图像相对应的图像标题，如此，在采用通道特征和区域特征结合的方式后，句子的语义信息更加丰富，表达出图像中更多的信息，使用模型创新地融合图像和文本间的特征,使得提取到的图像特征具有类似视觉注意力的特性,能够有效缩减训练的时间，结合采用了融合注意力机制的双层长短期记忆网络能改善注意力权重的可解释性，进一步统一视觉图像和语言理解间的跨模块特征。
如图4所示，本发明还提供一种基于融合特征的图像标题生成系统100，实现如前所述的基于融合特征的图像标题生成方法，包括；
模型训练单元101，用于搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通道特征提取单元102，用于通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；
区域特征提取单元103，用于通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
融合特征获取单元104，用于通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
图像标题生成单元105，用于通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
所述基于融合特征的图像标题生成系统的具体实现方法可上述基于融合特征的图像标题生成方法对应实施例中相关步骤的描述，在此不作赘述。
本发明提供的基于融合特征的图像标题生成系统，首先通过模型训练单元101搭建并训练图神经网络以形成融合特征目标标题生成模型；然后利用通道特征提取单元102通过融合特征编码器中的SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取目标图像的通道级特征；再利用区域特征提取单元103通过融合特征编码器中的节点嵌入区域特征提取模块基于目标检测技术对目标图像进行区域特征提取以获取目标图像的区域级特征；利用融合特征获取单元104通过融合特征编码器中的特征融合模块基于注意力机制对通道级特征与区域级特征进行融合以获取融合特征；通过图像标题生成单元105通过LSTM解码器对融合特征进行解码以在LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对目标单词进行组句子处理以形成与目标图像相对应的图像标题，如此，在采用通道特征和区域特征结合的方式后，句子的语义信息更加丰富，表达出图像中更多的信息，使用模型创新地融合图像和文本间的特征,使得提取到的图像特征具有类似视觉注意力的特性,能够有效缩减训练的时间，结合采用了融合注意力机制的双层长短期记忆网络能改善注意力权重的可解释性，进一步统一视觉图像和语言理解间的跨模块特征。
如图5所示，本发明还提供一种电子设备，该电子设备包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
该存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的基于融合特征的图像标题生成方法中的步骤。
本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于融合特征的图像标题生成程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；
通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
如上参照附图以示例的方式描述了根据本发明提出的基于融合特征的图像标题生成方法、系统、电子设备。但是，本领域技术人员应当理解，对于上述本发明所提出的基于融合特征的图像标题生成方法、系统、电子设备，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (9)

1.一种基于融合特征的图像标题生成方法，其特征在于，包括：
搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
2.如权利要求1所述的基于融合特征的图像标题生成方法，其特征在于，所述搭建并训练图神经网络以形成融合特征目标标题生成模型，包括：
通过网络检索获取MSCOCO数据集；
将所述MSCOCO数据集输入预搭建的图神经网络中进行反复训练，直至所述图神经网络的输出信息的损失函数小于预设的训练阈值，并将最后一次训练的图神经网络作为融合特征目标标题生成模型；其中，
所述图神经网络遵循编码器-解码器结构。
3.如权利要求2所述的基于融合特征的图像标题生成方法，其特征在于，通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征，包括：
将所述SE通道特征提取模块嵌入在预设的ResNet-101神经网络中；
所述SE通道特征提取模块嵌入在ResNet-101神经网络的残差运算中进行SE操作；并且，将最后一次SE操作形成的SE操作特征作为通道级特征。
4.如权利要求3所述的基于融合特征的图像标题生成方法，其特征在于，所述SE操作包括：
对所述目标图像进行图像转换处理形成多维张量数据；
根据所述多维张量数据确定所述目标图像的特征图；
对所述特征图进行压缩操作以获取所述特征图的标量，基于所述标量计算所述目标图像的全局特征；其中，所述压缩操作为：对所述特征图中的元素进行逐行逐列累加，并除以元素总数以获取所述标量；
使用Sigmoid函数对所述全局特征进行激活处理以获取通道级特征注意力权重；
将所述全局特征中每个通道的特征与和各个通道相对应的通道级特征注意力权重相乘以获取各个通道的SE操作特征。
5.如权利要求4所述的基于融合特征的图像标题生成方法，其特征在于，所述通过所述融合特征编码器中的节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征，包括：
通过目标检测技术检测所述目标图像，以获取所述目标图像的区域视觉特征、对象信息、对象属性信息、对象间关系信息，及锚框位置；
根据所述对象信息、对象属性信息、对象间关系信息建立关于松鼠目标图像的有向图结构，并将所述有向图结构的节点编码为X，X＝{x1，···，x|V|}；其中，xi为所述有向图结构的各个节点对应的区域视觉特征，|V|为所述有向图结构的节点个数；
基于所述节点编码对所述有向图结构中的各个节点进行类型嵌入以获取与所述对象信息相对应的对象类型信息；
使用GCN网络对所述有向图结构的各个节点进行信息提取操作，以将所述节点的邻接节点的邻接信息汇聚在各个节点中，并将各个节点的原始信息与所述邻接信息相加输入至预设的ReLU激活函数中以获取节点特征，以及，将所述GCN网络最后一层输出的节点特征作为所述目标图像的区域级特征。
6.如权利要求5所述的基于融合特征的图像标题生成方法，其特征在于，所述通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征，包括：
通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行向量拼接操作以获取拼接向量：
F＝concat(Fc,Fr)
其中，F为拼接向量，Fc为通道级特征，Fr为区域级特征；
基于预设的参数对所述拼接向量进行注意力权重的计算以获取注意力权重；
对所述拼接向量与所述注意力权重进行乘融合操作以获取融合特征。
7.如权利要求5所述的基于融合特征的图像标题生成方法，其特征在于，所述通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题，包括：
通过所述LSTM解码器将所述融合特征初始化为LSTM的细胞状态和隐藏层状态，并根据所述细胞状态和所述隐藏状态进行线性变换，以获取与所述隐藏状态对应的维度数据；
将所述维度数据输入至所述LSTM解码器的Softmax层，以生成与所述LSTM解码器中的字典相对应的词汇可能性，并选取所述词汇可能性最大的词汇作为目标单词；
按照预设的语句生成规则对所获取的所有的目标单词根据汉语语法进行排序以形成与所述目标图像相对应的图像标题。
8.一种基于融合特征的图像标题生成系统，实现如权利要求1-7任一所述的基于融合特征的图像标题生成方法，包括；
模型训练单元，用于搭建并训练图神经网络以形成融合特征目标标题生成模型；其中，所述融合特征目标标题生成模型包括融合特征编码器和双层LSTM解码器；其中，所述融合特征编码器中至少包括SE通道特征提取模块、节点嵌入区域特征提取模块和特征融合模块；
通道特征提取单元，用于通过所述SE通道特征提取模块基于残差操作对预采集的目标图像进行通道特征提取以获取所述目标图像的通道级特征；
区域特征提取单元，用于通过所述节点嵌入区域特征提取模块基于目标检测技术对所述目标图像进行区域特征提取以获取所述目标图像的区域级特征；
融合特征获取单元，用于通过所述特征融合模块基于注意力机制对所述通道级特征与所述区域级特征进行融合以获取融合特征；
图像标题生成单元，用于通过所述LSTM解码器对所述融合特征进行解码以在所述LSTM解码器的字典中选择目标单词，并按照预设的语句生成规则对所述目标单词进行组句子处理以形成与所述目标图像相对应的图像标题。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的基于融合特征的图像标题生成方法中的步骤。
CN202210665448.XA 2022-06-14 2022-06-14 基于融合特征的图像标题生成方法、系统、电子设备 Active CN115019142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665448.XA CN115019142B (zh) 2022-06-14 2022-06-14 基于融合特征的图像标题生成方法、系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665448.XA CN115019142B (zh) 2022-06-14 2022-06-14 基于融合特征的图像标题生成方法、系统、电子设备

Publications (2)

Publication Number Publication Date
CN115019142A CN115019142A (zh) 2022-09-06
CN115019142B true CN115019142B (zh) 2024-03-29

Family

ID=83075722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665448.XA Active CN115019142B (zh) 2022-06-14 2022-06-14 基于融合特征的图像标题生成方法、系统、电子设备

Country Status (1)

Country Link
CN (1) CN115019142B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496061B (zh) * 2022-09-30 2023-06-20 内蒙古财经大学 一种神经网络标题生成模型的构建方法
CN117036967B (zh) * 2023-10-08 2024-01-19 江西师范大学 一种非视觉感知区域通道注意力的遥感图像描述方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444968A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种基于注意力融合的图像描述生成方法
WO2021037113A1 (zh) * 2019-08-27 2021-03-04 北京金山数字娱乐科技有限公司 一种图像描述的方法及装置、计算设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250568B2 (en) * 2020-03-06 2022-02-15 Bostongene Corporation Techniques for determining tissue characteristics using multiplexed immunofluorescence imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021037113A1 (zh) * 2019-08-27 2021-03-04 北京金山数字娱乐科技有限公司 一种图像描述的方法及装置、计算设备和存储介质
CN111444968A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种基于注意力融合的图像描述生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
跨层多模型特征融合与因果卷积解码的图像描述;罗会兰;岳亮亮;;中国图象图形学报;20200812(08);全文 *

Also Published As

Publication number Publication date
CN115019142A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN115019142B (zh) 基于融合特征的图像标题生成方法、系统、电子设备
CN111666427B (zh) 一种实体关系联合抽取方法、装置、设备及介质
CN112015868B (zh) 基于知识图谱补全的问答方法
CN114020862A (zh) 一种面向煤矿安全规程的检索式智能问答系统及方法
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN115618045B (zh) 一种视觉问答方法、装置及存储介质
CN113792177B (zh) 基于知识引导深度注意力网络的场景文字视觉问答方法
CN111263238B (zh) 基于人工智能的生成视频评论的方法及设备
CN111401084A (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN114419387A (zh) 基于预训练模型和召回排序的跨模态检索系统及方法
CN113392265A (zh) 多媒体处理方法、装置及设备
CN116932722A (zh) 一种基于跨模态数据融合的医学视觉问答方法及系统
CN114387537A (zh) 一种基于描述文本的视频问答方法
CN115858847A (zh) 基于跨模态注意力保留的组合式查询图像检索方法
CN117010387A (zh) 融合注意力机制的RoBERTa-BiLSTM-CRF语音对话文本命名实体识别系统
CN113569068B (zh) 描述内容生成方法、视觉内容的编码、解码方法、装置
CN116361490B (zh) 基于图神经网络的实体与关系抽取方法、系统、电子设备
CN117235261A (zh) 一种多模态方面级情感分析方法、装置、设备及存储介质
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN113052156A (zh) 光学字符识别方法、装置、电子设备和存储介质
CN114580397A (zh) 一种谩骂评论的检测方法及系统
CN114218439A (zh) 一种基于自驱动孪生采样和推理的视频问答方法
CN111259650A (zh) 基于类标序列生成式对抗模型的文本自动生成方法
CN114238579B (zh) 文本分析方法、装置、介质和计算设备
CN117648429B (zh) 基于多模态自适应检索式增强大模型的问答方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant