CN113010720B - 一种基于关键对象特征的深度监督跨模态检索方法 - Google Patents

Abstract

本发明提供一种基于关键对象特征的深度监督跨模态检索方法，具体包括：首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。

Description

一种基于关键对象特征的深度监督跨模态检索方法

技术领域

本发明涉及计算机视觉和模式识别领域，特别是指一种基于关键对象特征的深度监督跨模态检索方法。

背景技术

跨模态检索旨在于在不同模态的数据间(图像、文本、语音、视频等)进行检索，如图像检索文本、文本检索音频、音频检索视频等等，具有非常重要的应用价值。跨模态检索的应用场景非常广泛，例如视频网站的精彩片段检索、个性化语义短视频检索等。随着多模态、多媒体数据的爆炸式增长，跨模态检索已经成为学术界和工业界的研究热点之一。

然而不同模态的数据间往往呈现底层特征异构而高层语义相关的特性。例如老虎这一语义，在图像特征的表示上有SIFT、LBP等，但是文本特征的表示是字典向量等。由此可见，从特征的描述上同一语义在不同模态数据的表达类型完全不同。因此，跨模态检索的研究十分具有挑战性。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出基于关键对象特征的深度监督跨模态检索方法，首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。

本发明采用如下技术方案：

一种基于关键对象特征的深度监督跨模态检索方法，包括如下步骤：

建立图像特征提取网络和文本特征提取网络，接收图像文本对

其中

是输入图像数据，

是输入的文本数据，n表示图像文本对的数量，每个图像文本对对应一个标签向量

c是数据集中的类别数，且定义若第i个实例属于第j类，则y_ji＝1，否则y_ji＝0；

分别用图像特征提取网络提取图像的深度特征表征向量F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]，文本特征提取网络提取文本的深度特征表征向量F^T＝[f^t ₁,f^t ₂,...,f^t _n]；

再分别将F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]和F^T＝[f^t ₁,f^t ₂,...,f^t _n]送入注意力网络中，提取图像的关键特征U＝[u₁,u₂,...,u_n]，图像的辅助特征

以及文本的关键特征V＝[v₁,v₂,...,v_n]和文本的辅助特征

融合后的图像表征为

融合后的文本表征为

其中α＝τ＝0.8，β＝γ＝0.2为超参数；

将F^I _final和F^T _final在公共空间损失、标签空间损失和模态间不变性损失监督下进行训练学习，得到最后的网络模型算法。

具体地，所述的图像特征提取网络为19层的VggNet网络，初始参数在 Imagenet上进行预训练得到，VggNet19网络最后一层全连接层中的隐藏神经元数目设置为d，其中d为公共空间的维数。

具体地，所述的文本特征提取网络为Sentence-CNN网络，Sentence-CNN网络加上两层全连接层网络，所述两层全连接层网络的隐含层单元数分别为2048 和1024。

具体地，所述的注意力网络包括图像注意力网络，图像注意力网络由三层网络构成，其中包括卷积层、tanh函数层和阈值筛选层，其中卷积层由1×1的卷积核构成。

具体地，所述图像注意力网络中每个层的作用以及最终实现图像关键特征和辅助特征的分离用数学公式表达如下：

卷积层：M_i＝Conv(U)；

tanh函数层：

阈值筛选层：

最终实现图像关键特征和辅助特征的分离：

其中δ是超参数由实验测试所得。

具体地，所述的注意力网络还包括文本注意力网络，所述文本注意力网络包含三层网络：全连接层、tanh函数层和阈值筛选层。

具体地，所述文本注意力网络中每个层的作用以及最终实现文本的关键特征和辅助特征的分离可用数学公式表达如下：

全连接层：M_i＝fc(V)；

tanh函数层：

阈值筛选层：

其中ε＝0.1。

具体地，所述的标签空间损失具体计算为：

将F^I _final和F^T _final通过一个线性映射层得到

和

进而计算得到标签空间损失：

其中Y＝[y₁,y₂,...,y_n]，|| ||_F表示Frobenius范数。

具体地，所述的公共空间损失具体计算为：

其中公式第一项为模态间损失，第二项为图像模态内损失，第三项为文本模态内损失，

1{.}表示如果两个输入向量属于同一类则为1，不是同一类则为0。

具体地，其所述的模态不变性损失为：

|| ||_F表示Frobenius范数。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)本发明提出一种基于关键对象特征的深度监督跨模态检索方法，首先构建特征学习模块抽取每个模态的深度特征，设计每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后设计了三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法着重于充分考虑关键特征对相似性度量得有效性，充分利用关键特征和辅助特征进行图像和文本模态的语义表征，不仅提高了跨模态检索的精度还加快了检索速度。

附图说明

图1为本发明实施例提供的一种基于关键对象特征的深度监督跨模态检索方法流程图；

图2为本发明实施例提供的基于关键对象特征的深度监督跨模态检索方法的框架示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明提出一种基于关键对象特征的深度监督跨模态检索方法，首先构建特征学习模块抽取每个模态的深度特征，设计每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后设计了三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习；本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。

如图1，为本发明实施例提供的一种基于关键对象特征的深度监督跨模态检索方法流程图；如图2为本发明实施例提供的基于关键对象特征的深度监督跨模态检索方法的框架示意图，具体步骤如下：

S101：建立图像特征提取网络和文本特征提取网络，接收图像文本对

其中

是输入图像数据，

是输入的文本数据，n表示图像文本对的数量，每个图像文本对对应一个标签向量

c是数据集中的类别数，且定义若第i个实例属于第j类，则y_ji＝1，否则y_ji＝0；

所述的

是图像的原始像素特征，

是通过Word2Vec自然语言模型抽取的特征矢量，且Word2Vec模型在Google News上进行预训练。

S102：分别用图像特征提取网络提取图像的深度特征表征向量 F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]，文本特征提取网络提取文本的深度特征表征向量F^T＝[f^t ₁,f^t ₂,...,f^t _n]；

所述的图像特征提取网络为19层的VggNet网络构成，其初始参数在 Imagenet上进行预训练得到，为了适应本算法将VggNet19网络最后一层全连接层中的隐藏神经元数目设置为d，其中d为公共空间的维数；所述的文本特征提取网络为Sentence-CNN网络，为了适应本算法在Sentence-CNN网络最后加上两层全连接层网络，其隐含层单元数分别为2048和1024，且图像网络和文本网络的最后两层共享参数。

S103：再分别将F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]和F^T＝[f^t ₁,f^t ₂,...,f^t _n]送入注意力网络中，提取图像的关键特征U＝[u₁,u₂,...,u_n]，图像的辅助特征

以及文本的关键特征V＝[v₁,v₂,...,v_n]和文本的辅助特征

融合后的图像表征为

融合后的文本表征为

其中α＝τ＝0.8，β＝γ＝0.2为超参数；

注意力网络包括图像注意力网络和文本注意力网络；所述的图像注意力网络由三层网络构成，其中包括卷积层、tanh函数层和阈值筛选层，其中卷积层由1×1的卷积核构成，每个层的作用以及最终实现图像关键特征和辅助特征的分离用数学公式表达如下：

其中δ＝0.05是超参数由实验测试所得；

所述的文本注意力网络也有三层网络构成，全连接层、tanh函数层和阈值筛选层每个层的作用以及最终实现文本的关键特征和辅助特征的分离可用数学公式表达如下：

其中ε＝0.1是超参数由实验测试所得，最终的图像表征为

文本表征为

其中α＝τ＝0.8，β＝γ＝0.2为超参数。

S104：将F^I _final和F^T _final在公共空间损失、标签空间损失和模态间不变性损失监督下进行训练学习，得到最后的网络模型算法。

所述的标签空间的损失首先将F^I _final和F^T _final通过一个线性映射层得到

和

其最后的目标函数定义为：

其中Y＝[y₁,y₂,...,y_n]，|| ||_F表示Frobenius范数。

进一步的，步骤4)中，其所述的公共空间的损失为：

其中公式第一项为模态间损失，第二项为图像模态内损失，第三项为文本模态内损失，

1{.}表示如果两个输入向量属于同一类则为1，不是同一类则为0.

进一步的，步骤4)中，所述的模态不变性损失为：

最终得目标函数为：l＝l₁+λl₂+ηl₃

其中λ＝0.1，η＝0.001。

本发明提出一种基于关键对象特征的深度监督跨模态检索方法，首先构建特征学习模块抽取每个模态的深度特征，设计每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后设计了三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法着重于充分考虑关键特征对相似性度量得有效性，充分利用关键特征和辅助特征进行图像和文本模态的语义表征，不仅提高了跨模态检索的精度还加快了检索速度。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (6)

1.一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，包括如下步骤：

建立图像特征提取网络和文本特征提取网络，接收图像文本对

其中

是输入图像数据，

是输入的文本数据，n表示图像文本对的数量，每个图像文本对对应一个标签向量

c是数据集中的类别数，且定义若第i个实例属于第j类，则y_ji＝1，否则y_ji＝0；

分别用图像特征提取网络提取图像的深度特征表征向量F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]，文本特征提取网络提取文本的深度特征表征向量F^T＝[f^t ₁,f^t ₂,...,f^t _n]；再分别将F^I＝[fⁱ ₁,fⁱ ₂,...,fⁱ _n]和F^T＝[f^t ₁,f^t ₂,...,f^t _n]送入注意力网络中，提取图像的关键特征U＝[u₁,u₂,...,u_n]，图像的辅助特征

以及文本的关键特征V＝[v₁,v₂,...,v_n]和文本的辅助特征

融合后的图像表征为

文本表征为

其中α＝τ，β＝γ为超参数；

将F^I _final和F^T _final在公共空间损失、标签空间损失和模态间不变性损失监督下进行训练学习，得到最后的网络模型算法；

所述的注意力网络包括图像注意力网络，图像注意力网络由三层网络构成，其中包括图像卷积层、图像tanh函数层和图像阈值筛选层，其中卷积层由1×1的卷积核构成；

所述图像注意力网络中每个层的作用以及最终实现图像关键特征和辅助特征的分离用数学公式表达如下：

图像卷积层：M_i＝Conv(U)；

图像tanh函数层：

图像阈值筛选层：

最终实现图像关键特征和辅助特征的分离：

其中δ是超参数由实验测试所得；

所述的注意力网络还包括文本注意力网络，所述文本注意力网络包含三层网络：文本全连接层、文本tanh函数层和文本阈值筛选层；

所述文本注意力网络中每个层的作用以及最终实现文本的关键特征和辅助特征的分离可用数学公式表达如下：

文本全连接层：M_i＝fc(V)；

文本tanh函数层：

文本阈值筛选层：

最终实现文本的关键特征和辅助特征的分离：

其中ε是超参数由实验测试所得。

2.根据权利要求1所述的一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，所述的图像特征提取网络为19层的VggNet网络，初始参数在Imagenet上进行预训练得到，VggNet19网络最后一层全连接层中的隐藏神经元数目设置为d，其中d为公共空间的维数。

3.根据权利要求2所述的一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，所述的文本特征提取网络为Sentence-CNN网络，Sentence-CNN网络加上两层全连接层网络，所述两层全连接层网络的隐含层单元数分别为2048和1024。

4.根据权利要求1所述的一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，所述的标签空间损失具体计算为：

将F^I _final和F^T _final通过一个线性映射层得到

和

进而计算得到标签空间损失：

其中Y＝[y₁,y₂,...,y_n]，|| ||_F表示Frobenius范数。

5.根据权利要求1所述的一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，所述的公共空间损失具体计算为：

其中公式第一项为模态间损失，第二项为图像模态内损失，第三项为文本模态内损失，

1{.}表示如果两个输入向量属于同一类则为1，不是同一类则为0。

6.根据权利要求1所述的一种基于关键对象特征的深度监督跨模态检索方法，其特征在于，其所述的模态不变性损失为：

|| ||_F表示Frobenius范数。

Images