CN113779278A - 一种基于统一双分支网络的细粒度跨媒体检索方法 - Google Patents

一种基于统一双分支网络的细粒度跨媒体检索方法 Download PDF

Info

Publication number
CN113779278A
CN113779278A CN202111344346.XA CN202111344346A CN113779278A CN 113779278 A CN113779278 A CN 113779278A CN 202111344346 A CN202111344346 A CN 202111344346A CN 113779278 A CN113779278 A CN 113779278A
Authority
CN
China
Prior art keywords
media
feature
unified
branch
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111344346.XA
Other languages
English (en)
Inventor
沈复民
姚亚洲
孙泽人
陈涛
张传一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Code Geek Technology Co ltd
Original Assignee
Nanjing Code Geek Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Code Geek Technology Co ltd filed Critical Nanjing Code Geek Technology Co ltd
Priority to CN202111344346.XA priority Critical patent/CN113779278A/zh
Publication of CN113779278A publication Critical patent/CN113779278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于统一双分支网络的细粒度跨媒体检索方法，采取统一的深度卷积神经网络结构提取初步公共特征，再通过计算量较低的媒体专属分支来修正公共特征所缺失的媒体独立特性。对于统一概率特征分支，不区分媒体类型统一使用交叉熵损失来学习概率特征。对于媒体特征分支，通过为每种媒体类型使用专属的模块来获取各种媒体类型的独立特征。然后，将概率特征和媒体特征相结合，得到最终的公共特征，并用于检索过程。该网络结构采用一个统一的卷积网络作为主干，计算成本相对较低，同时兼顾了每种媒体类型的独立特性，能够有效地提取各种媒体类型的特征。

Description

一种基于统一双分支网络的细粒度跨媒体检索方法
技术领域
本发明属于计算机深度神经网络学习技术领域，具体地说，涉及一种基于统一双分支网络的细粒度跨媒体检索方法。
背景技术
近些年来，基于深度神经网络的公共空间学习法是跨媒体检索领域最常采用的一类方法。将不同媒体类型的输入数据通过深度神经网络映射到共同特征空间中，并根据输入样本对应的公共特征与数据集中候选对象的相似性排序来生成检索结果。为了获得共同特征空间，该方法通常分为两类，基于媒体专用网络的方法和基于媒体统一网络的方法。媒体专用网络为每种媒体类型构建其专用网络，这些专用网络的网络结构和网络参数各不相同，需要分别训练。该方法依赖于复杂而耗时的网络结构，在训练过程中可能导致难以承担的计算开销和时间成本。而媒体统一网络，不区分输入样本的媒体类型，采用统一的网络结构同时学习各种媒体的公共表征。虽然与第一类方法相比，媒体统一网络方法可以大大减少计算量，但同时可能会损失一些媒体独特信息而对公共特征的准确性和查询结果产生不利影响。
为了同时学习多种媒体的统一表征，近年来研究者们提出了一系列统一的深度模型。其中 He 等人提出了一个统一深度模型 FGCN，该模型可以同时学习不同的媒体类型，而无需区别对待。它使用了三个约束项来进行公共特征学习：分类约束保证了细粒度子类别的区分特征的学习，中心约束保证了同一子类中特征的紧致性，排序约束保证了特征在不同子类别中的稀疏性。实验所展现的性能指标证明了该方法的有效性，但由于该方法在一定程度上忽略了媒体独特信息，检索性能仍有较大改进空间。
发明内容
本发明针对现有技术的上述缺陷和需求，提出了一种基于统一双分支网络的细粒度跨媒体检索方法，结合了媒体统一网络与媒体专用网络的优点，采取统一的深度卷积神经网络结构提取初步公共特征，再通过计算量较低的媒体专属分支来修正公共特征所缺失的媒体独立特性。使用一个统一的卷积神经网络作为前提提取卷积特征的主干网络，在得到卷积特征后分为统一概率特征分支和媒体独立特征分支。对于统一概率特征分支，不区分媒体类型统一使用交叉熵损失来学习概率特征。对于媒体特征分支，通过为每种媒体类型使用专属的模块来获取各种媒体类型的独立特征。然后，将概率特征和媒体特征相结合，得到最终的公共特征，并用于检索过程。该网络结构采用一个统一的卷积网络作为主干，计算成本相对较低，同时兼顾了每种媒体类型的独立特性，能够有效地提取各种媒体类型的特征。
本发明具体实现内容如下：
本发明提出了一种基于统一双分支网络的细粒度跨媒体检索方法，包括以下步骤：
步骤1：使用样本训练集训练统一双分支网络模型；所述统一双分支网络模型包括 统一卷积神经网络特征提取模块、统一概率特征分支、媒体独立特征分支和跨媒体公共特 征结合模块；所述统一卷积神经网络特征分别与统一概率特征分支、媒体独立特征分支连 接，用于提取出统一的共同卷积特征
Figure 100002_DEST_PATH_IMAGE001
；所述统一概率特征分支和媒体独立特征分支的 输出端分别与所述媒体独立特征分支连接；所述统一概率特征分支用于不区分媒体类型对 输入的特征进行统一概率特征
Figure 759089DEST_PATH_IMAGE002
的学习；所述媒体独立特征分支用于对输入的特征采用 各自对应的媒体类型分别进行学习获得对应的媒体独立特征
Figure 100002_DEST_PATH_IMAGE003
；所述跨媒体公共特征 结合模块用于将统一概率特征分支得到的统一概率特征
Figure 959257DEST_PATH_IMAGE002
和媒体独立特征
Figure 391375DEST_PATH_IMAGE003
进行 融合得到跨媒体公共特征
Figure 281971DEST_PATH_IMAGE004
；
步骤2：将步骤1采用样本训练集训练统一双分支网络模型时，将通过媒体独立特 征分支对样本训练集处理得到的媒体独立特征
Figure 79026DEST_PATH_IMAGE003
进行保存；
步骤3：使用训练好的统一双分支网络模型对实际的输入样本进行处理获得输入 样本的跨媒体公共特征
Figure 2376DEST_PATH_IMAGE004
。
为了更好地实现本发明，进一步地，所述步骤3的具体操作为：
步骤3.1：通过统一卷积神经网络特征提取模块提取输入样本的共同卷积特征
Figure 175868DEST_PATH_IMAGE001
；
步骤3.2：将获得的共同卷积特征
Figure 248866DEST_PATH_IMAGE001
分别输入到统一概率特征分支、媒体独立 特征分支；
步骤3.3：通过统一概率特征分支对共同卷积特征
Figure 216822DEST_PATH_IMAGE001
进行处理，得到输入样本 的统一概率特征
Figure 312954DEST_PATH_IMAGE002
；通过媒体独立特征分支对共同卷积特征
Figure 837608DEST_PATH_IMAGE001
进行处理，得到输入 样本的媒体独立特征
Figure 702795DEST_PATH_IMAGE003
；
步骤3.4：设定概率修正特征
Figure 100002_DEST_PATH_IMAGE005
；所述概率修正特征
Figure 841653DEST_PATH_IMAGE005
为与跨媒体的统一概 率特征
Figure 487398DEST_PATH_IMAGE002
格式相同的全0向量；
步骤3.5：基于同媒体类型的相似性度量的有效性，使用余弦距离计算输入样本的 媒体独立特征
Figure 737113DEST_PATH_IMAGE003
到步骤2中保存的样本训练集中的同媒体类型的媒体独立特征
Figure 722387DEST_PATH_IMAGE003
的 相似性；将计算得到的相似性按照相似性高低进行排序并选取前K个与输入样本最相近的 训练样本，将对应的余弦距离记为
Figure 343730DEST_PATH_IMAGE006
，训练样本对应的真实标签记为
Figure 100002_DEST_PATH_IMAGE007
；
步骤3.6：使用步骤3.5计算得到的余弦距离和真实标签对初始的概率修正特征
Figure 414454DEST_PATH_IMAGE005
进行更新；
步骤3.7：采用跨媒体公共特征结合模块将输入样本的统一概率特征
Figure 530178DEST_PATH_IMAGE002
和更新 后的概率修正特征
Figure 369958DEST_PATH_IMAGE005
进行融合得到输入样本的公共特征
Figure 850618DEST_PATH_IMAGE004
。
为了更好地实现本发明，进一步地，所述步骤3.6的具体操作为：
步骤3.6.1：使用K个输入样本中的每一个样本来对概率修正特征
Figure 956108DEST_PATH_IMAGE005
进行更新， 具体更新操作为：通过同媒体相似性度量，获取数据库中与输入最相似的训练样本属于的 类别标签，修正概率修正特征
Figure 813206DEST_PATH_IMAGE005
的对应于某一个真实标签对于的类别的概率值，对于某 一个真实标签对于的类别概率值
Figure 569809DEST_PATH_IMAGE008
的具体更新公式如下：
Figure 100002_DEST_PATH_IMAGE009
；
步骤3.6.2：将更新后的修正概率修正特征
Figure 221370DEST_PATH_IMAGE005
与统一概率特征
Figure 592920DEST_PATH_IMAGE002
加权组合， 得到最终的跨媒体公共特征
Figure 237396DEST_PATH_IMAGE004
，具体加权组合公式如下：
Figure 786189DEST_PATH_IMAGE010
；
式中，α为自定义的加权权重值。
为了更好地实现本发明，进一步地，所述α取值为0.1。
为了更好地实现本发明，进一步地，所述统一卷积神经网络特征提取模块采用ResNet-50网络、AlexNet网络或者VGGNet网络作为主干网络。
为了更好地实现本发明，进一步地，所述统一卷积神经网络特征提取模块采用ResNet-50网络作为主干网络，将ResNet-50网络的全局平均池化层的内核大小从s调整为2s；并将ResNet-50网络中最后的全连接层去除；对于输入统一卷积神经网络特征提取模块的不同媒体类型的样本图像，首先统一输入格式为2N×2N×3的数值矩阵，然后再输入到统一卷积神经网络特征提取模块。
为了更好地实现本发明，进一步地，在所述统一概率特征中采用一层全连接层，将 统一卷积神经网络特征提取模块得到的共同卷积特征
Figure 936548DEST_PATH_IMAGE001
的Y维特征向量映射为W维的概 率特征；其中，Y为共同卷积特征
Figure 203581DEST_PATH_IMAGE001
原本的维度；W为细粒度类别数，也是映射后的共同卷 积特征
Figure 402482DEST_PATH_IMAGE001
的向量维度；
采用softmax函数作为统一卷积神经网络特征提取模块的全连接层的映射函数。
为了更好地实现本发明，进一步地，在所述统一卷积神经网络特征提取模块进行 映射处理时，采用交叉熵损失函数作为语义对齐的损失函数
Figure 100002_DEST_PATH_IMAGE011
。
为了更好地实现本发明，进一步地，在所述媒体独立特征分支中，设置四个独立的全连接层，分别对特定的不同的媒体类型的特征进行处理；所述媒体类型包括图片、文字、视频、音频；
通过四个独立的全连接层接收统一卷积神经网络特征提取模块发送来的的共同 卷积特征
Figure 618830DEST_PATH_IMAGE001
，分别对共同卷积特征
Figure 877773DEST_PATH_IMAGE001
进行处理，得到Y维的图像独立特征
Figure 694420DEST_PATH_IMAGE012
、音频 独立特征
Figure 100002_DEST_PATH_IMAGE013
、文字独立特征
Figure 745946DEST_PATH_IMAGE014
和视频独立特征
Figure 100002_DEST_PATH_IMAGE015
。
为了更好地实现本发明，进一步地，在媒体独立特征分支的四个独立的全连接层 中对图像独立特征
Figure 331648DEST_PATH_IMAGE012
、音频独立特征
Figure 761492DEST_PATH_IMAGE013
、文字独立特征
Figure 737538DEST_PATH_IMAGE014
和视频独立特征
Figure 91290DEST_PATH_IMAGE015
进行提 取时，采用中心损失函数
Figure 734761DEST_PATH_IMAGE016
和三元组损失函数
Figure 100002_DEST_PATH_IMAGE017
作为损失函数。
为了更好地实现本发明，进一步地，在训练过程中，将每个媒体类型下的中心损失 函数
Figure 132245DEST_PATH_IMAGE016
的类别中心都随着训练过程迭代更新。
本发明与现有技术相比具有以下优点及有益效果：
（1）本发明使用一个统一的卷积神经网络作为前提提取卷积特征的主干网络，在得到卷积特征后分为统一概率特征分支和媒体独立特征分支。对于统一概率特征分支，不区分媒体类型统一使用交叉熵损失来学习概率特征。对于媒体特征分支，通过为每种媒体类型使用专属的模块来获取各种媒体类型的独立特征。然后，将概率特征和媒体特征相结合，得到最终的公共特征，并用于检索过程。该网络结构采用一个统一的卷积网络作为主干，计算成本相对较低，同时兼顾了每种媒体类型的独立特性，能够有效地提取各种媒体类型的特征。
（2）通过各种预处理方法统一输入格式，并使用统一深度网络同时处理多种媒体类型的数据，有效减少了媒体鸿沟导致的异质性差异。
（3）使用媒体独立特征分支考虑了输入数据的媒体独特信息，而 FGCN 对所有输入到网络的数据的处理过程是完全一致的。
（4）通过使用中心损失函数和三元组损失函数的约束媒体独立特征分支，使得各种媒体类型的细粒度的语义特征表示更为准确。
附图说明
图1为本发明采用的网络结构具体框架示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出了一种基于统一双分支网络的细粒度跨媒体检索方法，如图1所示，包括以下步骤：
步骤1：使用样本训练集训练统一双分支网络模型；所述统一双分支网络模型包括 统一卷积神经网络特征提取模块、统一概率特征分支、媒体独立特征分支和跨媒体公共特 征结合模块；所述统一卷积神经网络特征分别与统一概率特征分支、媒体独立特征分支连 接，用于提取出统一的共同卷积特征
Figure 861166DEST_PATH_IMAGE001
；所述统一概率特征分支和媒体独立特征分支的 输出端分别与所述媒体独立特征分支连接；所述统一概率特征分支用于不区分媒体类型对 输入的特征进行统一概率特征
Figure 939981DEST_PATH_IMAGE002
的学习；所述媒体独立特征分支用于对输入的特征采用 各自对应的媒体类型分别进行学习获得对应的媒体独立特征
Figure 437958DEST_PATH_IMAGE003
；所述跨媒体公共特征 结合模块用于将统一概率特征分支得到的统一概率特征
Figure 255610DEST_PATH_IMAGE002
和媒体独立特征
Figure 471828DEST_PATH_IMAGE003
进行 融合得到跨媒体公共特征
Figure 354333DEST_PATH_IMAGE004
；
步骤2：将步骤1采用样本训练集训练统一双分支网络模型时，将通过媒体独立特 征分支对样本训练集处理得到的媒体独立特征
Figure 769134DEST_PATH_IMAGE003
进行保存；
步骤3：使用训练好的统一双分支网络模型对实际的输入样本进行处理获得输入 样本的跨媒体公共特征
Figure 711682DEST_PATH_IMAGE004
。
工作原理：利用统一的一组深度神经网络提取各种媒体类型的样本概率特征，以统一概率特征为主体。利用同媒体检索的准确性，获取媒体独立特征从而进一步修正统一概率特征。将统一概率特征和媒体独立特征相结合，得到最终的跨媒体公共特征，在此空间中，不同媒体类型的样本得以进行相似性度量。在常用的细粒度基准数据集和传统粗粒度数据集上的实验表明：本发明降低了跨媒体检测的计算成本，能够有效提高检索性能。
实施例2：
本实施例在上述实施例1的基础上，为了更好地实现本发明，进一步地，所述步骤3的具体操作为：
步骤3.1：通过统一卷积神经网络特征提取模块提取输入样本的共同卷积特征
Figure 149617DEST_PATH_IMAGE001
；
步骤3.2：将获得的共同卷积特征
Figure 383283DEST_PATH_IMAGE001
分别输入到统一概率特征分支、媒体独立 特征分支；
步骤3.3：通过统一概率特征分支对共同卷积特征
Figure 855853DEST_PATH_IMAGE001
进行处理，得到输入样本 的统一概率特征
Figure 766040DEST_PATH_IMAGE002
；通过媒体独立特征分支对共同卷积特征
Figure 691271DEST_PATH_IMAGE001
进行处理，得到输入 样本的媒体独立特征
Figure 915579DEST_PATH_IMAGE003
；
步骤3.4：设定概率修正特征
Figure 806437DEST_PATH_IMAGE005
；所述概率修正特征
Figure 90788DEST_PATH_IMAGE005
为与跨媒体的统一概 率特征
Figure 503314DEST_PATH_IMAGE002
格式相同的全0向量；
步骤3.5：基于同媒体类型的相似性度量的有效性，使用余弦距离计算输入样本的 媒体独立特征
Figure 328051DEST_PATH_IMAGE003
到步骤2中保存的样本训练集中的同媒体类型的媒体独立特征
Figure 509633DEST_PATH_IMAGE003
的 相似性；将计算得到的相似性按照相似性高低进行排序并选取前K个与输入样本最相近的 训练样本，将对应的余弦距离记为
Figure 964886DEST_PATH_IMAGE006
，训练样本对应的真实标签记为
Figure 677758DEST_PATH_IMAGE007
；
步骤3.6：使用步骤3.5计算得到的余弦距离和真实标签对初始的概率修正特征
Figure 243868DEST_PATH_IMAGE005
进行更新；
步骤3.7：采用跨媒体公共特征结合模块将输入样本的统一概率特征
Figure 279957DEST_PATH_IMAGE002
和更新 后的概率修正特征
Figure 968428DEST_PATH_IMAGE005
进行融合得到输入样本的公共特征
Figure 355547DEST_PATH_IMAGE004
。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1-2任一项的基础上，为了更好地实现本发明，进一步地，所述步骤3.6的具体操作为：
步骤3.6.1：使用K个输入样本中的每一个样本来对概率修正特征
Figure 459769DEST_PATH_IMAGE005
进行更新， 具体更新操作为：通过同媒体相似性度量，获取数据库中与输入最相似的训练样本属于的 类别标签，修正概率修正特征
Figure 615944DEST_PATH_IMAGE005
的对应于某一个真实标签对于的类别的概率值，对于某 一个真实标签对于的类别概率值
Figure 727513DEST_PATH_IMAGE008
的具体更新公式如下：
Figure 336349DEST_PATH_IMAGE009
；
步骤3.6.2：将更新后的修正概率修正特征
Figure 509841DEST_PATH_IMAGE005
与统一概率特征
Figure 582839DEST_PATH_IMAGE002
加权组合， 得到最终的跨媒体公共特征
Figure 550795DEST_PATH_IMAGE004
，具体加权组合公式如下：
Figure 646927DEST_PATH_IMAGE010
；
式中，α为自定义的加权权重值。
本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上，为了更好地实现本发明，进一步地， 在所述统一概率特征中采用一层全连接层，将统一卷积神经网络特征提取模块得到的共同 卷积特征
Figure 92952DEST_PATH_IMAGE001
的Y维特征向量映射为W维的概率特征；其中，Y为共同卷积特征
Figure 410670DEST_PATH_IMAGE001
原本 的维度；W为细粒度类别数，也是映射后的共同卷积特征
Figure 549527DEST_PATH_IMAGE001
的向量维度；
采用softmax函数作为统一卷积神经网络特征提取模块的全连接层的映射函数；
在所述统一卷积神经网络特征提取模块进行映射处理时，采用交叉熵损失函数作 为语义对齐的损失函数
Figure 132955DEST_PATH_IMAGE011
。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上，为了更好地实现本发明，进一步地，在所述媒体独立特征分支中，设置四个独立的全连接层，分别对特定的不同的媒体类型的特征进行处理；所述媒体类型包括图片、文字、视频、音频；
通过四个独立的全连接层接收统一卷积神经网络特征提取模块发送来的的共同 卷积特征
Figure 382671DEST_PATH_IMAGE001
，分别对共同卷积特征
Figure 367944DEST_PATH_IMAGE001
进行处理，得到Y维的图像独立特征
Figure 677703DEST_PATH_IMAGE012
、音频 独立特征
Figure 748427DEST_PATH_IMAGE013
、文字独立特征
Figure 864151DEST_PATH_IMAGE014
和视频独立特征
Figure 703931DEST_PATH_IMAGE015
。
进一步地，在媒体独立特征分支的四个独立的全连接层中对图像独立特征
Figure 184591DEST_PATH_IMAGE012
、 音频独立特征
Figure 290081DEST_PATH_IMAGE013
、文字独立特征
Figure 147179DEST_PATH_IMAGE014
和视频独立特征
Figure 841465DEST_PATH_IMAGE015
进行提取时，采用中心损失函数
Figure 493026DEST_PATH_IMAGE016
和三元组损失函数
Figure 600660DEST_PATH_IMAGE017
作为损失函数。
同时，在训练过程中，将每个媒体类型下的中心损失函数
Figure 995869DEST_PATH_IMAGE016
的类别中心都随着 训练过程迭代更新。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项的基础上，给出一个实际实施举例：
本实施例提出的一种基于统一双分支网络的细粒度跨媒体检索方法，基于统一双 分支深度神经网络 DBFC 以对不同媒体类型的数据进行公共特征提取。如图1所示，将各种 媒体类型的输入格式统一为
Figure 544662DEST_PATH_IMAGE018
的数值矩阵后，输入到主干网络 ResNet-50提取到卷 积特征，主干网络也可以用 AlexNet或VGGNet等其他深度卷积网络代替。
本发明对 ResNet-50 网络做了以下修改：
（1）因为网络的输入格式原本是
Figure DEST_PATH_IMAGE019
（其中3为彩色图像的RGB三通道），而本发明 的输入格式为
Figure 935499DEST_PATH_IMAGE018
，所以将 ResNet50的全局平均池化层的内核大小从原本的s调整为 2s；
（2）使用本发明提出的分支结构代替原本的全连接层，图中
Figure 202532DEST_PATH_IMAGE020
是 ResNet-50 全 连接层之前大小为Y的一维卷积特征向量，图中上半个灰色部分是受交叉熵损失约束的统 一概率特征（Probabilistic Feature）分支，图中下半个灰色部分是受中心损失和三元组 损失约束的媒体独立特征（Media-Specific Feature）分支。通过合并两个分支的特征得到 最终共同特征（Common Feature）。
统一双分支网络框架分为四个部分：作为提取共同的卷积特征的主干网络的ResNet50、统一概率特征分支、媒体独立特征分支、跨媒体共同特征；以下分别对统一概率特征分支、媒体独立特征分支、跨媒体共同特征依次说明。
统一概率特征分支：
为了解决媒体鸿沟，获取公共特征，本发明构造了统一概率特征分支。通过充分利 用数据的语义类别信息构造跨媒体公共特征。具体地，使用一层全连接层将ResNet-50得到
Figure 135853DEST_PATH_IMAGE020
维特征向量映射为W维的概率特征，其W是本发明的细粒度类别数。为了使构造的特征 能够跨媒体地表达细粒度语义信息，本发明使用交叉熵损失函数约束统一概率特征，并采 用softmax函数作为全连接层的映射函数，语义对齐的损失函数
Figure DEST_PATH_IMAGE021
如下：
Figure 867049DEST_PATH_IMAGE022
；
其中
Figure 125992DEST_PATH_IMAGE021
表示交叉熵损失函数，I、T、V、A分别表示图像、文本、音频和视频媒体类 型。以图像类型输入为例，
Figure DEST_PATH_IMAGE023
表示第k个图像样本特征，
Figure 427791DEST_PATH_IMAGE024
表示第k个图像样本的真实细粒度 类别。B为从整个训练集中均匀随机抽取的一个批次大小，该批次中每个媒体类型的样本数 为
Figure DEST_PATH_IMAGE025
的四分之一。
实验研究表明，不同媒体类型的相同细粒度类别的样本的卷积特征差别较大，经过同一个特定的全连接层被映射为概率特征后，不同媒体的独立信息会大幅损失。可能会导致检索结果不够理想。为此，本发明构建媒体独立特征分支以解决此问题。
媒体独立特征分支：
以往基于统一网络结构的方法，在提取概率特征的过程中往往会忽略媒体独特信 息，造成媒体独立特征丢失，因此本发明通过构建媒体独立特征分支以解决媒体独特信息 丢失问题，进一步提高检索性能。在这个分支中，使用四个独立的全连接层，每个全连接层 专门负责一类特定的媒体类型。例如，一个图像样本在被 ResNet-50 模块处理之后得到Y 维
Figure 430382DEST_PATH_IMAGE020
特征向量，输入到专用于图像媒体类型的全连接层
Figure 16085DEST_PATH_IMAGE026
中提取图像独立特征
Figure DEST_PATH_IMAGE027
。
为了确保媒体独立特征分支可以精准提取每种媒体类型的独特信息，此处使用中心损失函数（Center Loss）来减小每种媒体内的同类数据之间的差距。中心损失函数通过设置中心点，优化各样本点到中心点的距离并迭代更新中心点位置，从而减少类内差异，实现类内紧凑。
中心R损失函数
Figure 180350DEST_PATH_IMAGE028
如下：
Figure DEST_PATH_IMAGE029
以图像为例，
Figure 733560DEST_PATH_IMAGE030
表示第k个图像样本特征，
Figure DEST_PATH_IMAGE031
表示
Figure 274262DEST_PATH_IMAGE032
所属的真实类别所对应的中 心点。每个媒体类型有W个类别中心点，4 种媒体类型共 4W 个中心点，表示该种媒体的该 种细粒度类型的样本特征中心。类别中心
Figure DEST_PATH_IMAGE033
不是定值，会随着训练过程迭代更新。
Figure 714471DEST_PATH_IMAGE028
的 梯度计算公式如下：
Figure 315217DEST_PATH_IMAGE034
Figure 778559DEST_PATH_IMAGE028
中类别中心
Figure DEST_PATH_IMAGE035
的更新公式如下：
Figure 936002DEST_PATH_IMAGE036
其中条件表达式
Figure DEST_PATH_IMAGE037
表示当输入样本的真实类别
Figure 433979DEST_PATH_IMAGE038
等于类别中心
Figure DEST_PATH_IMAGE039
的类别
Figure 2364DEST_PATH_IMAGE040
时，
Figure DEST_PATH_IMAGE041
的值为 1，否则为 0。具体地，类别中心的更新过程中，只有当输入类别是
Figure 533096DEST_PATH_IMAGE040
时才会更新
Figure 415601DEST_PATH_IMAGE042
，即每个类别的样本特征只更新它所属的类别中心。
中心损失专注于约束类内紧凑，减小类内距离，而不增加类间距离，但是这可能导致所有中心的过度集中。为了解决这个问题，采用三元组损失函数(Triplet Loss)在保证类内紧凑的同时尽量增加类间距离。
跨媒体公共特征:
将上述统一概率特征和媒体度量特征线性组合得到跨媒体公共特征，跨媒体公共 特征是跨媒体相似性度量的基础，是实现跨媒体检索的必要途径。本发明的最终跨媒体关 联损失函数
Figure DEST_PATH_IMAGE043
是由以上两个分支的三个损失函数线性加权得到，在基于语义类别信息的基 础上，弥补了不同媒体类型的独立信息差异，跨媒体关联损失函数
Figure 768085DEST_PATH_IMAGE043
公式如下：
Figure 507371DEST_PATH_IMAGE044
通过最小化该目标函数，
Figure DEST_PATH_IMAGE045
可以提升统一概率特征的语义类别表达能力，构成 跨媒体公共特征的主体。
Figure 945306DEST_PATH_IMAGE046
将每个媒体类型的不同语义类别的数据约束在其语义中 心，减少了同类样本之间的数据分布差距。
Figure DEST_PATH_IMAGE047
通过减小同类间的差距，增大不同类的差 距，进一步实现类内紧凑类间远离。因此，本发明提出的网络体系结构可以有效地学习不同 媒体类型的细粒度语义信息之间的关联，提高跨媒体检索的准确性。
输入样本通过统一概率特征分支得到概率特征
Figure 444551DEST_PATH_IMAGE048
，以及通过媒体独立特征分 支得到媒体独立特征
Figure DEST_PATH_IMAGE049
后，使用本发明提出的联合算法将
Figure 651542DEST_PATH_IMAGE050
与
Figure DEST_PATH_IMAGE051
相结合，得 到输入样本的最终的跨媒体公共特征
Figure 827308DEST_PATH_IMAGE052
用于跨媒体相似性度量。
联合算法的核心思想基于跨媒体相似性度量的媒体鸿沟问题和同媒体相似性度量的有效性之间的互补。具体来说，由于媒体之间的特征分布和数据表示的巨大差异，将不同媒体类型的样本经过深度卷积网络得到的卷积特征，甚至所属于同一个语义类别都会有非常明显的差异。若不映射成概率特征，几乎无法做到有效的跨媒体相似性度量。然而，同媒体样本的卷积特征则没有这种问题，可以保证同语义类别的样本相互靠近，不同语义类别的样本相互远离，有着优良的相似性度量效果。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
实施例7：
本实施例在上述实施例1-6任一项的基础上，基于以上思想，本发明提出了一种通 过同媒体检索的有效性优化统一概率特征的联合算法 CMJA（Cross-Media Joint Algorithm）。其中同媒体检索的度量特征就是媒体独立特征分支得到的
Figure 752539DEST_PATH_IMAGE051
。算法流程 如下：
（1） 将DBFC网络训练完成并收敛后，获取训练集所有样本的媒体独立特征
Figure 976847DEST_PATH_IMAGE051
并保存；
（2） 获取每个输入样本的统一概率特征
Figure 615507DEST_PATH_IMAGE048
和媒体独立特征
Figure 899858DEST_PATH_IMAGE051
；
（3） 为每个输入样本初始化一个概率特征修正向量
Figure DEST_PATH_IMAGE053
，
Figure 46806DEST_PATH_IMAGE053
是一个全0的W 维向量，其下标与概率特征
Figure 137121DEST_PATH_IMAGE048
的下标一一对应，均表示W个细粒度类别的概率；
（4） 基于同媒体相似性度量的有效性，使用余弦距离计算输入样本的
Figure 318704DEST_PATH_IMAGE051
到同 媒体其他所有训练样本的
Figure 773956DEST_PATH_IMAGE051
的相似性。将相似性排序并取前K个与输入样本最相近的 训练样本，将对应的余弦距离记为
Figure 486828DEST_PATH_IMAGE054
，训练样本对应的真实标签记为
Figure DEST_PATH_IMAGE055
，余弦距离公式如下：
Figure 52939DEST_PATH_IMAGE056
（5） 使用每个
Figure DEST_PATH_IMAGE057
，更新
Figure 151345DEST_PATH_IMAGE053
。核心思想是通过同媒体相似性度量，获取数据 库中与输入最相似的训练样本属于的类别标签，修正
Figure 777498DEST_PATH_IMAGE053
的对应于该类别标签的概率 值，
Figure 899038DEST_PATH_IMAGE058
更新公式如下：
Figure 268840DEST_PATH_IMAGE009
（6） 将更新后的概率特征修正向量
Figure 739529DEST_PATH_IMAGE053
与统一概率特征
Figure DEST_PATH_IMAGE059
线性加权组合， 得到最终的跨媒体公共特征
Figure 536583DEST_PATH_IMAGE060
，公式如下：
Figure DEST_PATH_IMAGE061
此处的权重α是一个预定义超参数，经过实验测试分析，在α=1时，检索效果最好。
本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (11)

1.一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，包括以下步骤：
步骤1：使用样本训练集训练统一双分支网络模型；所述统一双分支网络模型包括统一 卷积神经网络特征提取模块、统一概率特征分支、媒体独立特征分支和跨媒体公共特征结 合模块；所述统一卷积神经网络特征分别与统一概率特征分支、媒体独立特征分支连接，用 于提取出统一的共同卷积特征
Figure DEST_PATH_IMAGE001
；所述统一概率特征分支和媒体独立特征分支的输出 端分别与所述媒体独立特征分支连接；所述统一概率特征分支用于不区分媒体类型对输入 的特征进行统一概率特征
Figure 759579DEST_PATH_IMAGE002
的学习；所述媒体独立特征分支用于对输入的特征采用各自 对应的媒体类型分别进行学习获得对应的媒体独立特征
Figure DEST_PATH_IMAGE003
；所述跨媒体公共特征结合 模块用于将统一概率特征分支得到的统一概率特征
Figure 676719DEST_PATH_IMAGE002
和媒体独立特征
Figure 456456DEST_PATH_IMAGE003
进行融合 得到跨媒体公共特征
Figure 851666DEST_PATH_IMAGE004
；
步骤2：将步骤1采用样本训练集训练统一双分支网络模型时，将通过媒体独立特征分 支对样本训练集处理得到的媒体独立特征
Figure 666038DEST_PATH_IMAGE003
进行保存；
步骤3：使用训练好的统一双分支网络模型对实际的输入样本进行处理获得输入样本 的跨媒体公共特征
Figure 488500DEST_PATH_IMAGE004
。
2.如权利要求1所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，所述步骤3的具体操作为：
步骤3.1：通过统一卷积神经网络特征提取模块提取输入样本的共同卷积特征
Figure 817851DEST_PATH_IMAGE001
；
步骤3.2：将获得的共同卷积特征
Figure 16751DEST_PATH_IMAGE001
分别输入到统一概率特征分支、媒体独立特征 分支；
步骤3.3：通过统一概率特征分支对共同卷积特征
Figure 685630DEST_PATH_IMAGE001
进行处理，得到输入样本的统 一概率特征
Figure 678993DEST_PATH_IMAGE002
；通过媒体独立特征分支对共同卷积特征
Figure 246372DEST_PATH_IMAGE001
进行处理，得到输入样本 的媒体独立特征
Figure 983384DEST_PATH_IMAGE003
；
步骤3.4：设定概率修正特征
Figure DEST_PATH_IMAGE005
；所述概率修正特征
Figure 506769DEST_PATH_IMAGE005
为与跨媒体的统一概率特 征
Figure 998930DEST_PATH_IMAGE002
格式相同的全0向量；
步骤3.5：基于同媒体类型的相似性度量的有效性，使用余弦距离计算输入样本的媒体 独立特征
Figure 240556DEST_PATH_IMAGE003
到步骤2中保存的样本训练集中的同媒体类型的媒体独立特征
Figure 515679DEST_PATH_IMAGE003
的相似 性；将计算得到的相似性按照相似性高低进行排序并选取前K个与输入样本最相近的训练 样本，将对应的余弦距离记为
Figure 473664DEST_PATH_IMAGE006
，训练样本对应的真实标签记为
Figure DEST_PATH_IMAGE007
；
步骤3.6：使用步骤3.5计算得到的余弦距离和真实标签对初始的概率修正特征
Figure 808831DEST_PATH_IMAGE005
进行更新；
步骤3.7：采用跨媒体公共特征结合模块将输入样本的统一概率特征
Figure 537752DEST_PATH_IMAGE002
和更新后的 概率修正特征
Figure 678884DEST_PATH_IMAGE005
进行融合得到输入样本的公共特征
Figure 176861DEST_PATH_IMAGE004
。
3.如权利要求2所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，所述步骤3.6的具体操作为：
步骤3.6.1：使用K个输入样本中的每一个样本来对概率修正特征
Figure 948508DEST_PATH_IMAGE005
进行更新，具体 更新操作为：通过同媒体相似性度量，获取数据库中与输入最相似的训练样本属于的类别 标签，修正概率修正特征
Figure 712196DEST_PATH_IMAGE005
的对应于某一个真实标签对于的类别的概率值，对于某一个 真实标签对于的类别概率值
Figure 594701DEST_PATH_IMAGE008
的具体更新公式如下：
Figure DEST_PATH_IMAGE009
；
式中，max()函数为取最大值函数，取括号中值最大的一项的值；
步骤3.6.2：将更新后的修正概率修正特征
Figure 947185DEST_PATH_IMAGE005
与统一概率特征
Figure 952050DEST_PATH_IMAGE002
加权组合，得到 最终的跨媒体公共特征
Figure 389985DEST_PATH_IMAGE004
，具体加权组合公式如下：
Figure 810602DEST_PATH_IMAGE010
；
式中，α为自定义的加权权重值。
4.如权利要求3所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，所述α取值为0.1。
5.如权利要求1所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，所述统一卷积神经网络特征提取模块采用ResNet-50网络、AlexNet网络或者VGGNet网络作为主干网络。
6.如权利要求5所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，所述统一卷积神经网络特征提取模块采用ResNet-50网络作为主干网络，将ResNet-50网络的全局平均池化层的内核大小从s调整为2s；并将ResNet-50网络中最后的全连接层去除；对于输入统一卷积神经网络特征提取模块的不同媒体类型的样本图像，首先统一输入格式为2N×2N×3的数值矩阵，然后再输入到统一卷积神经网络特征提取模块。
7.如权利要求1所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在 于，在所述统一概率特征中采用一层全连接层，将统一卷积神经网络特征提取模块得到的 共同卷积特征
Figure 283172DEST_PATH_IMAGE001
的Y维特征向量映射为W维的概率特征；其中，Y为共同卷积特征
Figure 708206DEST_PATH_IMAGE001
原本的维度；W为细粒度类别数，也是映射后的共同卷积特征
Figure 633436DEST_PATH_IMAGE001
的向量维度；
采用softmax函数作为统一卷积神经网络特征提取模块的全连接层的映射函数。
8.如权利要求7所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在 于，在所述统一卷积神经网络特征提取模块进行映射处理时，采用交叉熵损失函数作为语 义对齐的损失函数
Figure DEST_PATH_IMAGE011
。
9.如权利要求1所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在于，在所述媒体独立特征分支中，设置四个独立的全连接层，分别对特定的不同的媒体类型的特征进行处理；所述媒体类型包括图片、文字、视频、音频；
通过四个独立的全连接层接收统一卷积神经网络特征提取模块发送来的的共同卷积 特征
Figure 920061DEST_PATH_IMAGE001
，分别对共同卷积特征
Figure 981558DEST_PATH_IMAGE001
进行处理，得到Y维的图像独立特征
Figure 265909DEST_PATH_IMAGE012
、音频独立 特征
Figure DEST_PATH_IMAGE013
、文字独立特征
Figure 491485DEST_PATH_IMAGE014
和视频独立特征
Figure DEST_PATH_IMAGE015
。
10.如权利要求9所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征在 于，在媒体独立特征分支的四个独立的全连接层中对图像独立特征
Figure 519484DEST_PATH_IMAGE012
、音频独立特征
Figure 701066DEST_PATH_IMAGE013
、文字独立特征
Figure 953056DEST_PATH_IMAGE014
和视频独立特征
Figure 852879DEST_PATH_IMAGE015
进行提取时，采用中心损失函数
Figure 418990DEST_PATH_IMAGE016
和三元 组损失函数
Figure DEST_PATH_IMAGE017
作为损失函数。
11.如权利要求10所述的一种基于统一双分支网络的细粒度跨媒体检索方法，其特征 在于，在训练过程中，将每个媒体类型下的中心损失函数
Figure 46891DEST_PATH_IMAGE016
的类别中心都随着训练过程 迭代更新。
CN202111344346.XA 2021-11-15 2021-11-15 一种基于统一双分支网络的细粒度跨媒体检索方法 Pending CN113779278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111344346.XA CN113779278A (zh) 2021-11-15 2021-11-15 一种基于统一双分支网络的细粒度跨媒体检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344346.XA CN113779278A (zh) 2021-11-15 2021-11-15 一种基于统一双分支网络的细粒度跨媒体检索方法

Publications (1)

Publication Number Publication Date
CN113779278A true CN113779278A (zh) 2021-12-10

Family

ID=78873924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344346.XA Pending CN113779278A (zh) 2021-11-15 2021-11-15 一种基于统一双分支网络的细粒度跨媒体检索方法

Country Status (1)

Country Link
CN (1) CN113779278A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166684A (zh) * 2014-07-24 2014-11-26 北京大学 一种基于统一稀疏表示的跨媒体检索方法
CN110781319A (zh) * 2019-09-17 2020-02-11 北京邮电大学 跨媒体大数据的公共语义表示、搜索方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166684A (zh) * 2014-07-24 2014-11-26 北京大学 一种基于统一稀疏表示的跨媒体检索方法
CN110781319A (zh) * 2019-09-17 2020-02-11 北京邮电大学 跨媒体大数据的公共语义表示、搜索方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIONG WANG 等: "DBFC‑Net: a uniform framework for fine‑grained cross‑media retrieval", 《MULTIMEDIA SYSTEMS》 *

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN109993236B (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN110956185B (zh) 一种图像显著目标的检测方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN110321830A (zh) 一种基于神经网络的中文字符串图片ocr识别方法
CN112347284B (zh) 一种组合商标图像检索方法
CN111598004B (zh) 一种渐进增强自学习的无监督跨领域行人再识别方法
WO2021022571A1 (zh) 一种基于交互建模的多标记距离度量学习方法
CN111950528A (zh) 图表识别模型训练方法以及装置
CN111598167B (zh) 基于图学习的小样本图像识别方法及系统
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
Liu et al. Bilaterally normalized scale-consistent sinkhorn distance for few-shot image classification
CN112418067A (zh) 一种基于深度学习模型的简便人脸识别在线学习方法
CN117409456A (zh) 基于图匹配机制的非对齐多视图多标记学习方法
CN111144469A (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN113779278A (zh) 一种基于统一双分支网络的细粒度跨媒体检索方法
CN112784927B (zh) 一种基于在线学习的半自动图像标注方法
CN109871835B (zh) 一种基于互斥正则化技术的人脸识别方法
Zhu et al. Quadruplet-based deep hashing for image retrieval
CN112819098A (zh) 一种基于三元组和差额度量的域自适应方法
Zhang et al. Class-based Core Feature Extraction Network for Few-shot Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211210

RJ01 Rejection of invention patent application after publication