CN116662597A - 一种域适应检索方法、装置、设备及介质 - Google Patents

一种域适应检索方法、装置、设备及介质 Download PDF

Info

Publication number
CN116662597A
CN116662597A CN202310782859.1A CN202310782859A CN116662597A CN 116662597 A CN116662597 A CN 116662597A CN 202310782859 A CN202310782859 A CN 202310782859A CN 116662597 A CN116662597 A CN 116662597A
Authority
CN
China
Prior art keywords
domain
target
projection
source domain
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310782859.1A
Other languages
English (en)
Inventor
房小兆
刘源源
曾峙翔
胡曦
韩娜
周郭许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202310782859.1A priority Critical patent/CN116662597A/zh
Publication of CN116662597A publication Critical patent/CN116662597A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种域适应检索方法、装置、设备及介质，包括获取图像数据集，对图像数据集进行特征提取，确定源域向量和目标域向量；将源域向量和目标域向量输入至预设初始子空间进行学习，生成源域投影和目标域投影，实时统计迭代次数；对源域投影和目标域投影进行哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值；若迭代次数达到预设次数或目标函数损失值收敛，确定目标子空间和目标投影矩阵；采用目标子空间和目标投影矩阵对目标域查询样本进行检索，输出域适应检索结果。解决了现有技术中将未知类别的目标域样本进行分布，导致域适应检索的效果不理想的技术问题。

Description

一种域适应检索方法、装置、设备及介质
技术领域
本发明涉及图像检索技术领域，尤其涉及一种域适应检索方法、装置、设备及介质。
背景技术
近年来，随着互联网的发展与社交媒体的流行，数字图像数据的规模显示出爆炸式的增长，人们对于图像检索的需求量也显著增加，例如，在网上购物场景中，用户上传自己感兴趣的商品图片，通过与检索数据库中的图片进行匹配，从平台上查询相相应的商品。
由于图像采集来源的差异，检索性能提升遇到了更为现实的挑战——查询中的图像往往与检索池中的图像来自不同域，即由于受光照、角度、背景等的影响，图像的数据分布存在着显著差异，这种差异被称作域偏移，在现阶段中，通过域适应检索能够缓解不同域间的域偏移，提升检索性能。
在现有的域适应检索方法中，大多通过减少域差异来缓解由域间隔引起的不良影响，同时，在解决跨域问题时，让所有样本在由标签构造的相似度矩阵的监督下学习一个域公共的类别子空间，但这样容易使得在子空间中没有位于源域样本附近的同类的目标域样本不能很好地被分类，且由于目标域样本中缺乏标签，容易出现将未知类别的目标域样本进行分布，导致域适应检索的效果不理想。
发明内容
本发明提供了一种域适应检索方法、装置、设备及介质，解决了现有技术中容易使得在子空间中没有位于源域样本附近的同类的目标域样本不能很好地被分类，且由于目标域样本中缺乏标签，容易出现将未知类别的目标域样本进行分布，导致域适应检索的效果不理想的技术问题。
本发明第一方面提供的一种域适应检索方法，包括：
获取图像数据集，对所述图像数据集进行特征提取，确定第一特征向量集，所述第一特征向量集包括多个源域向量和多个目标域向量；
将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；
对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值；
当所述迭代次数达到预设次数或所述目标函数损失值收敛时，确定目标子空间和目标投影矩阵；
采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
可选地，所述哈希码包括源域哈希码和目标域哈希码；所述对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值的步骤，包括：
基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签；
采用全部所述目标伪标签关联的目标伪标签矩阵、所述源域向量关联的源域标签矩阵、所述源域哈希码、所述目标域哈希码、所述投影矩阵、所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影，计算目标函数损失值；
所述目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；/>为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
可选地，所述基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签的步骤，包括：
根据预设第一公式采用多个所述源域投影、多个所述目标域投影和全部所述源域向量对应的多个源域标签进行运算，确定全部所述目标域向量对应的多个源域类集群中心和多个第一概率；
基于多个所述目标域投影和多个所述源域标签，输出多个初始目标域簇中心；
通过预设匹配矩阵条件对多个所述源域类集群中心和多个所述初始目标域簇中心进行距离匹配，生成多个目标域簇中心；
根据预设第二公式采用多个所述目标域簇中心和多个所述目标域投影进行运算，输出全部所述目标域向量对应的多个第二概率；
根据预设第三公式采用多个所述第一概率和多个所述第二概率进行运算，确定全部所述目标域向量对应的多个目标概率和多个目标伪标签；
所述预设第三公式具体为：
式中，p(yk|xt)为目标概率；p1(yk|xt)为第一概率；p2(yk|xt)为第二概率；为目标伪标签；yk为第k个类别的源域样本标签；K为类别数量；xt为目标域向量集t中的目标域向量。
可选地，所述采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果的步骤，包括：
基于所述目标子空间、所述目标投影矩阵和目标域查询样本，确定查询哈希码；
采用所述目标投影矩阵关联的全部所述哈希码构建检索池；
计算所述查询哈希码和所述检索池的汉明距离，输出域适应检索结果；
所述查询哈希码的计算公式为：
式中，为查询哈希码；/>为目标投影矩阵；/>为目标子空间；xtest为目标域查询样本；/>为第k个类别的哈希码的簇中心；/>为L2范数。
可选地，当所述迭代次数未达到所述预设次数且所述目标函数损失值未收敛时，在所述目标伪标签矩阵中选取任一类所述目标伪标签对应的多个初始目标域向量元素；
采用所述迭代次数、所述初始目标域向量元素的个数值和所述预设次数计算样本选取值；
按照全部所述初始目标域向量元素关联的目标概率对全部所述初始目标域向量元素进行降序排序；
在全部所述初始目标域向量元素中顺序选取所述样本选取值的多个目标域向量元素，并采用全部所述目标域向量元素更新所述预设初始子空间；
接着跳转执行所述将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至所述迭代次数达到预设次数或所述目标函数损失值收敛。
可选地，所述预设第一公式具体为：
式中，为第k个类别的源域类集群中心；ns为源域向量集s中的样本数量；Zsi为源域投影；yk为第k个类别的源域样本标签；δ()为指示函数；/>为源域标签；p1(yk|xt)为第一概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；K为类别数量；
所述预设第二公式具体为：
式中，p2(yk|xt)为第二概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；为第k个类别的目标域簇中心；K为类别数量；yk为第k个类别的源域样本标签。
本发明第二方面提供的一种域适应检索装置，包括：
获取数据模块，用于获取图像数据集，对所述图像数据集进行特征提取，确定第一特征向量集，所述第一特征向量集包括多个源域向量和多个目标域向量；
生成投影模块，用于将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；
计算损失值模块，用于对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值；
确定数据模块，用于当所述迭代次数达到预设次数或所述目标函数损失值收敛时，确定目标子空间和目标投影矩阵；
输出结果模块，用于采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
可选地，所述哈希码包括源域哈希码和目标域哈希码；所述计算损失值模块包括：
确定伪标签子模块，用于基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签；
确定损失值子模块，用于采用全部所述目标伪标签关联的目标伪标签矩阵、所述源域向量关联的源域标签矩阵、所述源域哈希码、所述目标域哈希码、所述投影矩阵、所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影，计算目标函数损失值；
所述目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；/>为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的域适应检索方法的步骤。
本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的域适应检索方法。
从以上技术方案可以看出，本发明具有以下优点：
1、本发明提出为不同的类别学习不同的域公共的子空间，以增强各类别间的差异显著性，可进一步缓解负迁移问题。与传统方法直接学习一个共享子空间，不区分不同类别样本的策略不同，本发明为不同类学习的子空间在功能上相当于分类器，可以同时得到各样本在子空间上的投影。其优点在于可将来自不同域的同类样本学习集中到同一个子空间中，从而有效避免了在同一个类别子空间中考虑样本的域差异，因此本发明对不同类的样本有更强的分类优势以及可进一步缩小同类的样本间域差异，进而获得更好的域适应检索的效果。
2、本发明基于选择性伪标签策略提出了子空间的渐进学习过程。与传统的硬伪标签策略的静态选择不同，其优点在于可以在每轮迭代中动态地选择目标域样本加入训练，通过在迭代过程中选择携带更好伪标签的目标域样本，一方面使伪标签的估计更加可靠，另一方面可以避免硬伪标签策略由于错误的积累而导致的质量降低。最终通过反复的迭代调整实现子空间的渐进学习。
3、本发明首先通过在源域样本标签的监督下，由源域样本初始化多个类特定的子空间。然后，由于选择性伪标签的关键是每轮选取伪标签准确度最较高前一小部分样本加入下一轮的训练，这意味着每轮将选择一部分伪标签可靠的目标域样本加入子空间的学习，从而对源域样本学得的子空间进行调整和细化。这样，学习到的子空间是域公共的，即跨域问题在这一步骤中得到解决；且子空间本身是类特定的，样本只会参与同类别子空间的学习，因此模式崩溃问题会得到极大缓解。本发明中使用的选择性伪标签策略引入了一种通过结构化预测的伪标记，且最终得到的伪标签质量上有很大的提升，可以认为参与子空间学习的目标域伪标签是可靠的。最后，本发明直接使用样本在子空间上的投影来学习哈希码，由于各类别有着不同的子空间，用这些投影学习到的哈希码也具备一定的判别性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种域适应检索方法的步骤流程图；
图2为本发明实施例提供的一种域适应检索方法训练框架的示意图；
图3为本发明实施例提供的另一种域适应检索方法的步骤流程图；
图4为本发明实施例提供的一种域适应检索装置的结构框图。
具体实施方式
本发明实施例提供了一种域适应检索方法、装置、设备及介质，用于解决现有技术中容易使得在子空间中没有位于源域样本附近的同类的目标域样本不能很好地被分类，且由于目标域样本中缺乏标签，容易出现将未知类别的目标域样本进行分布，导致域适应检索的效果不理想的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种。
本发明提供的一种域适应检索方法，包括：
步骤101、获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量。
第一特征向量集包括源域向量集和目标域向量集，源域向量集包括多个源域向量，目标域向量集包括多个目标域向量。
值得一提的是，首先获取跨域数据集，接着随机选择10％的目标域图像作为测试集数据，对测试集数据进行特征提取，得到测试向量集，其余图像作为训练集数据，即图像数据集，并对图像数据集中的全部图像进行特征提取，得到第一特征向量集，即各个源域图像对应的源域向量和各个目标域图像对应的目标域向量，其中，跨域数据集包括源域图像集和目标域图像集，测试向量集包括多个目标域查询样本。
示例性地，假设有着ns个样本的有标签的源域和有着nt个样本的目标域/>其中/>是两域样本的特征向量，d是特征维度且表示与源域样本对应的源域标签。定义/>为目标域伪标签。假设标域和源域的分布分别遵循p和q，则p≠q，即为遵循两个不相等的分布，本发明为源域Ds学习一组哈希码/>和为目标域Dt学习一组哈希码/>其中，/>为源域第i个源域向量对应的的哈希码；/>为目标域第i个目标域向量对应的的哈希码；r是哈希码长度。则整个检索池可以表示为B＝[Bs,Bt]∈{-1,1}r×n，其中，Bs为源域检索池；Bt目标域检索池。
在本实施例中，获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量。
步骤102、将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数。
值得一提的是，假设源域样本和目标域样本共享K个类对应的K个类特定的域公共子空间，每个子空间各对应一个类别，这些共享的子空间就作为知识转移的桥梁，将知识从样本量充足，有标签信息监督的源域转移到样本量较少，无标签信息的目标域。最后学习到的K个子空间可以看作是K个类分类器，在测试阶段使用这些分类器UK和学习到的投影矩阵Pk为测试样本分类，以进行更精确的检索。
进一步地，由于源域标签是已知的，我们首先由源域样本学习初始的共享子空间U＝{U1,…,UK}，即采用全部源域向量初始化子空间，得到预设子空间，本发明选择k子空间学习作为子空间学习的目标，并且使用平方距离度量用于学习子空间的x和Uk间的差距，其中，U是三维的变量，可以理解为K个二维变量组合而成，Uk是其中的第K个二维变量，即将/>定义为维数是D的子空间k的基，然后通过选择有可靠伪标签的目标域样本，对子空间进行逐步细化。
在本实施例中，将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数。
步骤103、对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值。
值得一提的是，要获得二进制哈希码，最直接的方法是使用符号函数sgn(·)将数据点量化到汉明立方体中最近的顶点。然而，该方案通常会导致严重的局部信息丢失。本发明通过样本在其类别子空间上的投影Z，可以认为是保留了样本特征信息且具有类判别性的，因此可以直接使用各域样本的投影Z来学习哈希码，以此建立哈希码与样本特征之间的联系。于是有量化损失表示如下：
式中，为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类别的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；/>为目标域向量集t中的第k个类别的目标域投影矩阵；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数；B为哈希码变量；P为投影矩阵变量。
进一步地，目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；/>为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
在本实施例中，对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值。
步骤104、当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵。
值得一提的是，通过迭代更新目标函数中的各变量，直到目标函数收敛或迭代次数达到最大迭代次数T，确定所需的输出，即将当前迭代次数对应的投影矩阵和预设子空间作为目标投影矩阵和目标子空间，以及目标投影矩阵关联的在迭代更新过程中获得的全部哈希码。
在本实施例中，当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵。
步骤105、采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
值得一提的是，根据学习到的目标投影矩阵、目标子空间以及在更新迭代过程中得到的全部哈希码对输入的目标域查询样本进行查询检索，输出域适应检索结果。
在本实施例中，采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
请参阅图2，示例性地，首先将源域图像和目标域图像输入至卷积神经网络(CNN)进行特征提取，得到对应的源域向量Xs和目标域向量Xt，然后对源域向量Xs、源域向量Xs对应的源域标签Ys以及目标域向量Xt进行类特定子空间学习，输出源域投影Zs和目标域投影Zt；接着对源域投影Zs和目标域投影Zt进行判别性哈希码学习，生成源域哈希码Bs和目标域哈希码Bt；同时，基于选择性伪标签策略，根据源域投影Zs和目标域投影Zt进行预测，确定目标伪标签对应的目标伪标签矩阵并采用目标伪标签矩阵/>对子空间进行更新。
在本发明实施例中，获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量；将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值；当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵；采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。解决了现有技术中容易使得在子空间中没有位于源域样本附近的同类的目标域样本不能很好地被分类，且由于目标域样本中缺乏标签，容易出现将未知类别的目标域样本进行分布，导致域适应检索的效果不理想的技术问题。
请参阅图3，图3为本发明实施例提供的另一种域适应检索方法的步骤流程图。
本发明提供的一种域适应检索方法，包括：
步骤301、获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量。
在本实施例中，获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量。
步骤302、将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数。
在本实施例中，将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数。
步骤303、对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值。
哈希码包括源域哈希码和目标域哈希码。
进一步地，步骤303可以包括以下子步骤：
S31、基于全部源域向量对应的多个源域投影、全部目标域向量对应的多个目标域投影和全部源域向量，确定全部目标域向量对应的多个目标伪标签。
值得一提的是，未标记的目标域向量的标记可以和子空间U的学习互相促进，因此使用源域向量和目标域向量在子空间中的投影Zs、Zt来作为原样本在子空间中的表示，本发明中使用的选择性伪标签策略结合最近类原型预测和结构化预测进行目标伪标签的预测。
S32、采用全部目标伪标签关联的目标伪标签矩阵、源域向量关联的源域标签矩阵、源域哈希码、目标域哈希码、投影矩阵、源域向量、目标域向量、预设初始子空间、源域投影和目标域投影，计算目标函数损失值。
目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第I个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；/>为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
进一步地，S31可以包括以下子步骤：
S311、根据预设第一公式采用多个源域投影、多个目标域投影和全部源域向量对应的多个源域标签进行运算，确定全部目标域向量对应的多个源域类集群中心和多个第一概率。
值得一提的是，最近类原型倾向于向距离源域集群中心较近的样本输出高的概率。主要操作是将目标域投影与源集群中心进行集中化(即均值减法，是所有源和目标域样本表示的均值)和/>归一化，以促进子空间中不同类的可分性。示例性地，对于任意一个标签集Y中的标签y，它的类原型被定义为：标签为y的源样本在其子空间上的投影(即Zs)的平均向量。
进一步地，预设第一公式具体为：
式中，为第k个类别的源域类集群中心；ns为源域向量集s中的样本数量；Zsi为源域投影；yk为第k个类别的源域样本标签；δ()为指示函数；/>为源域标签；p1(yk|xt)为第一概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；K为类别数量。
S312、基于多个目标域投影和多个源域标签，输出多个初始目标域簇中心。
初始目标域簇中心的运算过程为：
式中，为第i个初始目标域簇中心；ns为源域向量集s中的样本数量；Zti为目标域投影；yk为第k个类别的源域样本标签；δ()为指示函数；/>为源域标签。
S313、通过预设匹配矩阵条件对多个源域类集群中心和多个初始目标域簇中心进行距离匹配，生成多个目标域簇中心。
值得一提的是，目标域样本的内在结构为目标域样本的分类提供了许多有效信息，结构化预测的方式正是考虑了目标域样本的结构信息。具体来说，使用k-means在目标样本投影上生成|K|个簇，集群中心用与源样本投影计算平均向量相同的方式来计算。然后，在来自目标域的簇和来自源域的类之间，进行一一匹配并拉近匹配对之间的距离。这导致不管是来自源域还是目标域的样本，同类的样本能更加集中，其中，设定A∈{0,1}K×K表示一对一的匹配矩阵，例如，Akj＝1表示第i个目标域簇与第j个源域类是匹配的。
预设匹配矩阵条件具体为：
式中，Aij为i行j列的匹配矩阵；d()为匹配函数；为第j个源域类集群中心；/>为第i个初始目标域簇中心。
S314、根据预设第二公式采用多个目标域簇中心和多个目标域投影进行运算，输出全部目标域向量对应的多个第二概率。
预设第二公式具体为：
式中，p2(yk|xt)为第二概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；为第k个类别的目标域簇中心；K为类别数量；yk为第k个类别的源域样本标签。
S315、根据预设第三公式采用多个第一概率和多个第二概率进行运算，确定全部目标域向量对应的多个目标概率和多个目标伪标签。
值得一提的是，基于上述操作得到目标伪标签后，在学习类别子空间的过程中，又选择性地更新伪标签，以实现逐渐选择有着可靠伪标签的目标域样本加入到类别子空间中，来学习到得到一组最优的子空间U及目标域伪标签。
预设第三公式具体为：
式中，p(yk|xt)为目标概率；p1(yk|xt)为第一概率；p2(yk|xt)为第二概率；为目标伪标签；yk为第k个类别的源域样本标签；K为类别数量；xt为目标域向量集t中的目标域向量。
在本实施例中，对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值。
步骤304、当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵。
在本实施例中，当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵。
步骤305、采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
进一步地，步骤305可以包括以下子步骤：
S51、基于目标子空间、目标投影矩阵和目标域查询样本，确定查询哈希码。
查询哈希码的计算公式为：
式中，为查询哈希码；/>为目标投影矩阵；/>为目标子空间；xtest为目标域查询样本；/>为第k个类别的哈希码的簇中心；/>为L2范数。
S52、采用目标投影矩阵关联的全部哈希码构建检索池。
采用目标投影矩阵关联的全部哈希码构建检索池，即将迭代更新过程中学习到的全部源域哈希码和全部目标域哈希码分别作为源域检索池和目标域检索池，对于跨域检索，则采用源域检索池进行检索，对于单域检索，则采用目标域检索池进行检索。
S53、计算查询哈希码和检索池的汉明距离，输出域适应检索结果。
值得一提的是，计算查询哈希码与学习到的整个检索池的汉明距离，输出域适应检索结果，最后，计算检索精度以评估整个模型的单域/跨域检索性能。
在本实施例中，采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
步骤306、当迭代次数未达到预设次数且目标函数损失值未收敛时，在目标伪标签矩阵中选取任一类目标伪标签对应的多个初始目标域向量元素。
值得一提的是，计算出每个目标域向量对应的目标伪标签后，就能知道目标域向量集中有几类向量；采用带有目标伪标签的目标域向量更新经过初始化后的目标伪标签矩阵，并在目标伪标签矩阵中随机选取出一类向量对应的全部初始目标域向量元素，即目标域样本向量。
在本实施例中，当迭代次数未达到预设次数且目标函数损失值未收敛时，在目标伪标签矩阵中选取任一类目标伪标签对应的多个初始目标域向量元素。
步骤307、采用迭代次数、初始目标域向量元素的个数值和预设次数计算样本选取值。
值得一提的是，需要计算样本选取值，根据样本选取值在一类向量对应的全部初始目标域向量元素中选取目标样本对预设子空间进行更新，样本选取值的计算公式为：其中，l为样本选取值；t为迭代次数；/>为第k类的初始目标域向量元素的个数值；T为预设次数。
在本实施例中，采用迭代次数、初始目标域向量元素的个数值和预设次数计算样本选取值。
步骤308、按照全部初始目标域向量元素关联的目标概率对全部初始目标域向量元素进行降序排序。
值得一提的是，根据初始目标域向量元素，即带有目标伪标签的目标域向量的目标概率的大小对其进行从大到小的排序。
示例性地，为了挑选更准确的目标域伪标签加入训练，从第一轮迭代中生成伪标签后，对于任一类c∈Y,首先选取伪标记为c，即第c类的个目标域样本。然后从较高概率开始选取/>个该类样本，形成子集Sk，该子集即是下一轮迭代时参与学习的目标域样本及其伪标签。
在本实施例中，按照全部初始目标域向量元素关联的目标概率对全部初始目标域向量元素进行降序排序。
步骤309、在全部初始目标域向量元素中顺序选取样本选取值的多个目标域向量元素，并采用全部目标域向量元素更新预设初始子空间。
值得一提的是，在目标域向量对应的目标伪标签矩阵的指示下选择目标域样本加入到相应的类别子空间中，预设子空间学习的目标函数表示如下：
式中，Yik为源域标签矩阵；为源域向量集s中的第i个源域向量；Uk为第k类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为源域投影和目标域投影的集合；/>为弗罗比尼乌斯范数；U为子空间变量；Z为投影变量。
进一步地，随着迭代次数的增加，根据方法中使用的选择性伪标签策略，第t轮中每个类别会有个样本被挑选出，连同其刚学习到的伪标签矩阵一起参与下一轮中子空间Uk的学习，如此进行迭代交替学习。这个过程中，由于挑选的依据是所学习到的伪标签的概率值高低，因此即每一轮中参加学习子空间的目标域样本，其伪标签质量是较高的，这使子空间的学习中错误积累更少，更有利于学习到最优的子空间Uk。当迭代轮数t达到提前设定的最大迭代次数T时，每个类别将挑选出/>个样本，即所有样本都参与最后一轮的学习。最后一轮得到的子空间Uk即为我们所求的最优子空间Uk。
在本实施例中，在全部初始目标域向量元素中顺序选取样本选取值的多个目标域向量元素，并采用全部目标域向量元素更新预设初始子空间。
步骤310、接着跳转执行将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至迭代次数达到预设次数或目标函数损失值收敛。
值得一提的是，采用全部目标域向量元素更新预设初始子空间，并返回302步骤，即跳转执行将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至目标函数损失值收敛。
在本实施例中，接着跳转执行将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至迭代次数达到预设次数或目标函数损失值收敛。
在本发明实施例中，获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量；将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值；当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵；采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。解决了现有技术中容易使得在子空间中没有位于源域样本附近的同类的目标域样本不能很好地被分类，且由于目标域样本中缺乏标签，容易出现将未知类别的目标域样本进行分布，导致域适应检索的效果不理想的技术问题。
请参阅图4，图4为本发明实施例提供的一种域适应检索装置的结构框图。
获取数据模块401，用于获取图像数据集，对图像数据集进行特征提取，确定第一特征向量集，第一特征向量集包括多个源域向量和多个目标域向量；
生成投影模块402，用于将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；
计算损失值模块403，用于对源域投影和目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合源域向量、目标域向量、预设初始子空间、源域投影和目标域投影计算目标函数损失值；
确定数据模块404，用于当迭代次数达到预设次数或目标函数损失值收敛时，确定目标子空间和目标投影矩阵；
输出结果模块405，用于采用目标子空间和目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
进一步地，计算损失值模块403包括：
确定伪标签子模块，用于基于全部源域向量对应的多个源域投影、全部目标域向量对应的多个目标域投影和全部源域向量，确定全部目标域向量对应的多个目标伪标签；
计算子模块，用于采用全部目标伪标签关联的目标伪标签矩阵、源域向量关联的源域标签矩阵、源域哈希码、目标域哈希码、投影矩阵、源域向量、目标域向量、预设初始子空间、源域投影和目标域投影，计算目标函数损失值；
目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；/>为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
进一步地，确定伪标签子模块包括：
第一运算单元，用于根据预设第一公式采用多个源域投影、多个目标域投影和全部源域向量对应的多个源域标签进行运算，确定全部目标域向量对应的多个源域类集群中心和多个第一概率；
第二运算单元，用于基于多个目标域投影和多个源域标签，输出多个初始目标域簇中心；
第三运算单元，用于通过预设匹配矩阵条件对多个源域类集群中心和多个初始目标域簇中心进行距离匹配，生成多个目标域簇中心；
第四运算单元，用于根据预设第二公式采用多个目标域簇中心和多个目标域投影进行运算，输出全部目标域向量对应的多个第二概率；
第五运算单元，用于根据预设第三公式采用多个第一概率和多个第二概率进行运算，确定全部目标域向量对应的多个目标概率和多个目标伪标签；
预设第三公式具体为：
式中，p(yk|xt)为目标概率；p1(yk|xt)为第一概率；p2(yk|xt)为第二概率；为目标伪标签；yk为第k个类别的源域样本标签；K为类别数量；xt为目标域向量集t中的目标域向量。
进一步地，输出结果模块405包括：
计算哈希码子模块，用于基于目标子空间、目标投影矩阵和目标域查询样本，确定查询哈希码；
构建检索池子模块，用于采用目标投影矩阵关联的全部哈希码构建检索池；
输出子模块，用于计算查询哈希码和检索池的汉明距离，输出域适应检索结果；
查询哈希码的计算公式为：
式中，为查询哈希码；/>为目标投影矩阵；/>为目标子空间；xtest为目标域查询样本；/>为第k个类别的哈希码的簇中心；/>为L2范数。
进一步地，还包括：
选取模块，用于当迭代次数未达到预设次数且目标函数损失值未收敛时，在目标伪标签矩阵中选取任一类目标伪标签对应的多个初始目标域向量元素；
第二运算模块，用于采用迭代次数、初始目标域向量元素的个数值和预设次数计算样本选取值；
排序模块，用于按照全部初始目标域向量元素关联的目标概率对全部初始目标域向量元素进行降序排序；
更新模块，用于在全部初始目标域向量元素中顺序选取样本选取值的多个目标域向量元素，并采用全部目标域向量元素更新预设初始子空间；
跳转模块，用于接着跳转执行将源域向量和目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至迭代次数达到预设次数或目标函数损失值收敛。
进一步地，预设第一公式具体为：
式中，为第k个类别的源域类集群中心；ns为源域向量集s中的样本数量；Zsi为源域投影；yk为第k个类别的源域样本标签；δ()为指示函数；/>为源域标签；p1(yk|xt)为第一概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；K为类别数量；
预设第二公式具体为：
式中，p2(yk|xt)为第二概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；为第k个类别的目标域簇中心；K为类别数量；yk为第k个类别的源域样本标签。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、模块、子模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种域适应检索方法，其特征在于，包括：
获取图像数据集，对所述图像数据集进行特征提取，确定第一特征向量集，所述第一特征向量集包括多个源域向量和多个目标域向量；
将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；
对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值；
当所述迭代次数达到预设次数或所述目标函数损失值收敛时，确定目标子空间和目标投影矩阵；
采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
2.根据权利要求1所述的域适应检索方法，其特征在于，所述哈希码包括源域哈希码和目标域哈希码；所述对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值的步骤，包括：
基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签；
采用全部所述目标伪标签关联的目标伪标签矩阵、所述源域向量关联的源域标签矩阵、所述源域哈希码、所述目标域哈希码、所述投影矩阵、所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影，计算目标函数损失值；
所述目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；/>为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；/>为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
3.根据权利要求2所述的域适应检索方法，其特征在于，所述基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签的步骤，包括：
根据预设第一公式采用多个所述源域投影、多个所述目标域投影和全部所述源域向量对应的多个源域标签进行运算，确定全部所述目标域向量对应的多个源域类集群中心和多个第一概率；
基于多个所述目标域投影和多个所述源域标签，输出多个初始目标域簇中心；
通过预设匹配矩阵条件对多个所述源域类集群中心和多个所述初始目标域簇中心进行距离匹配，生成多个目标域簇中心；
根据预设第二公式采用多个所述目标域簇中心和多个所述目标域投影进行运算，输出全部所述目标域向量对应的多个第二概率；
根据预设第三公式采用多个所述第一概率和多个所述第二概率进行运算，确定全部所述目标域向量对应的多个目标概率和多个目标伪标签；
所述预设第三公式具体为：
式中，p(yk|xt)为目标概率；p1(yk|xt)为第一概率；p2(yk|xt)为第二概率；为目标伪标签；yk为第k个类别的源域样本标签；K为类别数量；xt为目标域向量集t中的目标域向量。
4.根据权利要求1所述的域适应检索方法，其特征在于，所述采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果的步骤，包括：
基于所述目标子空间、所述目标投影矩阵和目标域查询样本，确定查询哈希码；
采用所述目标投影矩阵关联的全部所述哈希码构建检索池；
计算所述查询哈希码和所述检索池的汉明距离，输出域适应检索结果；
所述查询哈希码的计算公式为：
式中，为查询哈希码；/>为目标投影矩阵；/>为目标子空间；xtest为目标域查询样本；/>为第k个类别的哈希码的簇中心；/>为L2范数。
5.根据权利要求3所述的域适应检索方法，其特征在于，还包括：
当所述迭代次数未达到所述预设次数且所述目标函数损失值未收敛时，在所述目标伪标签矩阵中选取任一类所述目标伪标签对应的多个初始目标域向量元素；
采用所述迭代次数、所述初始目标域向量元素的个数值和所述预设次数计算样本选取值；
按照全部所述初始目标域向量元素关联的目标概率对全部所述初始目标域向量元素进行降序排序；
在全部所述初始目标域向量元素中顺序选取所述样本选取值的多个目标域向量元素，并采用全部所述目标域向量元素更新所述预设初始子空间；
接着跳转执行所述将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数的步骤，直至所述迭代次数达到预设次数或所述目标函数损失值收敛。
6.根据权利要求3所述的域适应检索方法，其特征在于，所述预设第一公式具体为：
式中，为第k个类别的源域类集群中心；ns为源域向量集s中的样本数量；Zsi为源域投影；yk为第k个类别的源域样本标签；δ()为指示函数；/>为源域标签；p1(yk|xt)为第一概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；K为类别数量；
所述预设第二公式具体为：
式中，p2(yk|xt)为第二概率；Zt为目标域向量集t中的目标域向量对应的目标域投影；为第k个类别的目标域簇中心；K为类别数量；yk为第k个类别的源域样本标签。
7.一种域适应检索装置，其特征在于，包括：
获取数据模块，用于获取图像数据集，对所述图像数据集进行特征提取，确定第一特征向量集，所述第一特征向量集包括多个源域向量和多个目标域向量；
生成投影模块，用于将所述源域向量和所述目标域向量输入至预设初始子空间进行类特定学习，生成源域投影和目标域投影，并实时统计迭代次数；
计算损失值模块，用于对所述源域投影和所述目标域投影进行判别性哈希码学习，输出哈希码和投影矩阵，并结合所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影计算目标函数损失值；
确定数据模块，用于当所述迭代次数达到预设次数或所述目标函数损失值收敛时，确定目标子空间和目标投影矩阵；
输出结果模块，用于采用所述目标子空间和所述目标投影矩阵对目标域查询样本进行查询检索，输出域适应检索结果。
8.根据权利要求7所述的域适应检索装置，其特征在于，所述哈希码包括源域哈希码和目标域哈希码；所述计算损失值模块包括：
确定伪标签子模块，用于基于全部所述源域向量对应的多个源域投影、全部所述目标域向量对应的多个目标域投影和全部所述源域向量，确定全部所述目标域向量对应的多个目标伪标签；
确定损失值子模块，用于采用全部所述目标伪标签关联的目标伪标签矩阵、所述源域向量关联的源域标签矩阵、所述源域哈希码、所述目标域哈希码、所述投影矩阵、所述源域向量、所述目标域向量、所述预设初始子空间、所述源域投影和所述目标域投影，计算目标函数损失值；
所述目标函数损失值对应的目标函数为：
式中，为目标函数损失值；K为类别数量；ns为源域向量集s中的样本数量；nt为目标域向量集t中的样本数量；Yik为源域标签矩阵；/>为源域向量集s中的第i个源域向量；Uk为第k个类的预设初始子空间；/>为源域向量集s中的第k个类别的第i个源域投影；Wjk为目标伪标签矩阵；/>为目标域向量集t中的第j个目标域向量；/>为目标域向量集t中的第k个类别的第j个目标域投影；λ为惩罚因子；Zk为第k个类的源域投影和目标域投影的集合；/>为源域向量集s中的第k个类别的源域哈希码；Pk为第k个类的投影矩阵；/>为源域向量集s中的第k个类别的源域投影矩阵；/>为目标域向量集t中的第k个类别的目标域哈希码；/>为目标域向量集t中的第k个类别的目标域投影矩阵；/>为正交约束；I为单位矩阵；为Uk的转置；Bs为源域哈希码矩阵；Bt为目标域哈希码矩阵；/>为弗罗比尼乌斯范数。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的域适应检索方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-7任一项所述的域适应检索方法。
CN202310782859.1A 2023-06-28 2023-06-28 一种域适应检索方法、装置、设备及介质 Pending CN116662597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310782859.1A CN116662597A (zh) 2023-06-28 2023-06-28 一种域适应检索方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310782859.1A CN116662597A (zh) 2023-06-28 2023-06-28 一种域适应检索方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116662597A true CN116662597A (zh) 2023-08-29

Family

ID=87720761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310782859.1A Pending CN116662597A (zh) 2023-06-28 2023-06-28 一种域适应检索方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116662597A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237857A (zh) * 2023-11-13 2023-12-15 腾讯科技（深圳）有限公司 视频理解任务的执行方法、装置和存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237857A (zh) * 2023-11-13 2023-12-15 腾讯科技（深圳）有限公司 视频理解任务的执行方法、装置和存储介质及电子设备
CN117237857B (zh) * 2023-11-13 2024-02-09 腾讯科技（深圳）有限公司 视频理解任务的执行方法、装置和存储介质及电子设备

Similar Documents

Publication Publication Date Title
Hao et al. HSME: Hypersphere manifold embedding for visible thermal person re-identification
Roy et al. Metric-learning-based deep hashing network for content-based retrieval of remote sensing images
Zhu et al. Graph PCA hashing for similarity search
CN110059198B (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
US10438091B2 (en) Method and apparatus for recognizing image content
Zheng et al. A deep and autoregressive approach for topic modeling of multimodal data
Van Der Maaten Barnes-hut-sne
Geng et al. DAML: Domain adaptation metric learning
CN108132968A (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Gao et al. Sparse online learning of image similarity
Song et al. Deep memory network for cross-modal retrieval
Cong et al. Self-supervised online metric learning with low rank constraint for scene categorization
Wei et al. Joint optimization toward effective and efficient image search
Gao et al. Weakly supervised visual dictionary learning by harnessing image attributes
CN111080551B (zh) 基于深度卷积特征和语义近邻的多标签图像补全方法
Lin et al. Fast class-wise updating for online hashing
Liu et al. Evolutionary compact embedding for large-scale image classification
US7277893B2 (en) System and method of flexible data reduction for arbitrary applications
CN116662597A (zh) 一种域适应检索方法、装置、设备及介质
Li et al. Structure guided deep neural network for unsupervised active learning
Cho et al. Genetic evolution processing of data structures for image classification
Guo et al. On trivial solution and high correlation problems in deep supervised hashing
Hong et al. Fried binary embedding: From high-dimensional visual features to high-dimensional binary codes
Everett et al. Protocaps: A fast and non-iterative capsule network routing method
Zamzami et al. Proportional data modeling via selection and estimation of a finite mixture of scaled Dirichlet distributions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination