CN116244483A - 一种基于数据合成的大规模零样本数据检索方法及系统 - Google Patents

一种基于数据合成的大规模零样本数据检索方法及系统 Download PDF

Info

Publication number
CN116244483A
CN116244483A CN202310530108.0A CN202310530108A CN116244483A CN 116244483 A CN116244483 A CN 116244483A CN 202310530108 A CN202310530108 A CN 202310530108A CN 116244483 A CN116244483 A CN 116244483A
Authority
CN
China
Prior art keywords
data
sample
class
hash code
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310530108.0A
Other languages
English (en)
Other versions
CN116244483B (zh
Inventor
刘兴波
李雪茹
张雪凝
聂秀山
王少华
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310530108.0A priority Critical patent/CN116244483B/zh
Publication of CN116244483A publication Critical patent/CN116244483A/zh
Application granted granted Critical
Publication of CN116244483B publication Critical patent/CN116244483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据合成的大规模零样本数据检索方法及系统，涉及信息检索技术领域。首先对仅有属性矢量，没有视觉特征数据的原始数据样本，获取其视觉特征数据对原始数据样本进行补充。利用哈希码学习方法通过训练样本训练得到对应的哈希码和哈希码学习目标函数，并存入检索数据库；对于待检索未知类样本，将其进行哈希码计算得到待检索未知类样本的哈希码；最后将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，得到检索结果。本发明克服了现有方法不考虑未知类样本的问题，并且考虑成对相似性、类标签和类属性来训练模型，实现了高效准确的大规模零样本数据检索。

Description

一种基于数据合成的大规模零样本数据检索方法及系统
技术领域
本发明涉及信息检索技术领域，尤其涉及一种基于数据合成的大规模零样本数据检索方法及系统。
背景技术
由于互联网上的大规模多媒体数据不断增长，大规模检索越来越受到人们的关注。哈希是一种流行的最近邻检索技术，可以高效检索大规模多媒体数据，它学习保持原样本空间相似性的哈希函数，将高维数据编码为紧凑的二进制码，并基于逐位异或操作实现高效的相似性搜索。从而实现更短的检索响应时间和更少的计算成本。
然而，传统的监督哈希方法面临巨大的挑战：新兴语义概念和多媒体数据增长迅猛，由于高昂的人工标注成本，监督知识不能得到及时更新。对于已知类别的样本，现有的监督哈希方法可以达到令人满意的效果，因为有可靠的监督信息指导学习过程，但是这些方法不能泛化到未知类别，也就是训练数据中不包含的类别；另外，新兴语义概念可能会导致一些没有视觉数据特征的新类（未知类）出现，现有的哈希方法没有考虑到解决这类场景。
零样本哈希可以通过构建通用的哈希模型，从而对已知类别和未知类别都能较好地进行哈希编码。但是现有的零样本哈希检索方法存在以下问题：（1）现有的零样本哈希方法没有考虑那些只有属性矢量，没有视觉特征数据的未知类样本（未知类没有视觉特征数据，原本存在的已知类有视觉特征数据）。（2）对于同时含有已知类别和未知类别的混合数据，只考虑已知类别的数据，忽略未知类别，因此不适合混合未知数据的数据检索。（3）在哈希码学习中，大多数方法忽略了类属性信息，只考虑同质属性（比如猫和狗都属于“动物”）而忽略异质属性（比如鸟和飞机共享“翅膀”这一属性），不利于将监督知识从已知类迁移到未知类。
因此，现有的零样本哈希方法无法针对只有属性矢量，没有视觉特征数据的未知类样本利用同时考虑成对相似性、类标签和类属性来训练模型的方式来迁移监督知识,从而降低了大规模数据检索的准确程度。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种基于数据合成的大规模零样本数据检索方法及系统，对于只有属性矢量，没有视觉特征数据的未知类样本，提出利用属性特征合成视觉特征数据。对于哈希码的学习阶段，考虑了标签信息并使用成对相似性来增强语义信息。还将视觉数据特征与类属性相结合，考虑已知类和未知类之间的关系，将监督信息从已知类传递到未知类，大大提高了检索精度。
为了实现上述目的，本发明是通过如下的技术方案来实现：
本发明第一方面提供了一种基于数据合成的大规模零样本数据检索方法，包括以下步骤：
获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；
将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；
获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；
利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；
获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；
将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。
本发明第二方面提供了一种基于数据合成的大规模零样本数据检索系统，包括：
样本处理模块，被配置为获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；
将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；
获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；
利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；
哈希码矩阵生成模块，被配置为获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；
检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。
以上一个或多个技术方案存在以下有益效果：
本发明公开了一种基于数据合成的大规模零样本数据检索方法及系统，对于一些只有属性矢量，没有视觉特征数据的未知类样本，引入语义数据空间作为中介从属性矢量反推得到视觉特征的数据。克服了现有零样本哈希算法直接从属性映射到特征数据导致部分信息被忽略的缺陷。
本发明通过对已知类别的样本数据进行处理获得哈希码存入检索库中，并通过已知类别的样本数据哈希码的获取方法进行拓展得到未知类别哈希码的获取方法，从而实现混合未知数据的数据检索。
本发明将成对相似性、语义标签和类别属性集成到一个框架中，以充分挖掘语义信息。具体将数据特征与类别属性相结合，以获得每个实例的类别表示向量。同时考虑成对相似矩阵和语义标签等监督信息，因此可以更好地捕捉已知类和未知类之间的关系，将监督知识从已知类转移到未知类，从而指导哈希码学习。克服了现有零样本哈希方法不能同时考虑成对相似性、类标签和类属性来训练模型的缺陷。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一中基于数据合成的大规模零样本数据检索方法流程图；
图2为本发明实施例二中基于数据合成的大规模零样本数据检索系统框架图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
应当说明的是，本发明实施例中，涉及到已知类和未知类样本等相关的数据，当本发明以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
实施例一：
本发明实施例一提供了一种基于数据合成的大规模零样本数据检索方法，如图1所示，首先对仅有属性矢量，没有视觉特征数据的未知类样本，获取其视觉特征数据对未知类样本进行补充，之后利用训练样本训练哈希码学习目标函数，对训练样本及检索集进行哈希码计算。获取待检索未知类样本，通过哈希码学习目标函数得到对应的哈希码；最后将待检索未知类样本的哈希码与检索数据库中的哈希码通过0/1异或运算计算海明距离，按照海明距离从小到大排列返回相似数据，根据相似数据得到检索结果。
具体包括以下步骤：
S101：对仅有属性矢量，没有视觉特征数据的未知类样本，获取其视觉特征数据，进而通过训练得到的哈希码学习目标函数得到对应的哈希码。
本步骤中，获取仅有属性矢量，没有视觉特征数据的未知类样本。需要说明的是，该未知类样本均为仅用于测试和检索的未知类别。
本步骤中，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据。
传统做法直接从属性映射到特征数据上会造成这样的结果：反推回去的视觉数据其实是语义数据，只有那些可以反应语义信息的视觉数据的主成分会被得到。因此本实施例将语义空间
Figure SMS_1
作为中介，先从属性数据反推语义数据，再从语义函数反推视觉数据，这样保证了信息的完整性，使其在反推过程中不会被遗漏。
具体的，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间
Figure SMS_2
从属性数据反推语义数据项；第二项是将语义空间
Figure SMS_3
作为中介反推得到视觉数据项；第三项是关于语义空间
Figure SMS_4
的正则化项。其中作为中介的语义空间
Figure SMS_5
可以避免只有那些可以反应语义信息的视觉数据的主成分被得到，使得到的视觉数据有更丰富的细节。
（1）引入一个语义空间
Figure SMS_6
从属性数据反推语义数据项，其公式为：
Figure SMS_7
（2）将语义空间
Figure SMS_8
作为中介反推得到视觉数据项，使用下面线性函数：
Figure SMS_9
（3）语义空间
Figure SMS_10
的正则化项，引入正则化项后，得到最终的目标函数为：
Figure SMS_11
其中，
Figure SMS_12
是矩阵的Frobenius范数，
Figure SMS_13
是作为中介的语义数据空间，
Figure SMS_14
为属性数据，
Figure SMS_15
是从属性空间到语义空间的映射矩阵，
Figure SMS_16
是从语义数据到视觉数据的映射矩阵，
Figure SMS_17
为视觉数据，
Figure SMS_18
是正则化项参数。
根据上述目标函数对原始数据样本进行处理得到视觉特征数据。
之后，将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；需要特别说明的是，检索集中的已知类数据集为区别于训练样本中已知类数据的自身携带的数据集。
获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；
更为具体的，在仅有属性矢量，没有视觉特征数据的未知类样本通过属性矢量得到视觉特征后，首先对补充以后的未知类样本进行测试样本和检索集的划分，一部分作为测试样本，另一部分和已知类数据集一起构成检索集。而训练样本则为与检索集中已知类数据集不同的现有的已知类数据集。零样本哈希的设定是训练样本均为已知类样本，测试样本均为未知类样本，检索集既有已知类和未知类样本，检索集本身有除去训练样本的已知类数据。本实施例中，所有已知类样本均包含固有视觉数据特征，而未知类样本需要先进行视觉特征数据的计算，再将得到的视觉特征数据进行补充合成才能得到包含视觉数据特征的数据。这样训练样本均为已知类，测试样本均为未知类。之后根据处理过的训练样本训练得到哈希码学习目标函数；测试样本用于对训练得到的哈希码学习目标函数进行测试。训练过程中将训练样本中数据特征与类别属性结合，考虑成对相似性和标签信息得到最终的哈希码学习目标函数。其中，训练过程中将训练样本视觉数据特征与类别属性结合，考虑成对相似性和标签信息得到最终的哈希码学习目标函数的具体过程为：提取训练样本的样本特征，根据数据类别信息为样本添加语义标签，构成标签矩阵。基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵。根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习。
在一种具体的实施方式中，对于训练样本的样本特征，通常采用SIFT特征，GIST特征或者深度特征等。语义标签指用于区别数据类别信息的标签向量，通常采用独热码表示，例如，待处理数据包含三个类别，将分别表示为[1 0 0]，[0 1 0]，[0 0 1]。对于成对相似矩阵来说，虽然其可以从标签矩阵构造出来，但它仍然具有信息性。对于属性空间学习，提取每个类名的单词向量作为每个类的属性。采用Glove方法为每个类提取300维实值向量，称为类-属性矩阵。将特征与类属性相结合，以获得实例中每个类的语义类表示。通过学习每个实例的类别表示，可以更好地捕捉已知类和未知类之间的关系。
在一种具体的实施方式中，对仅有属性矢量，没有视觉特征数据的未知类样本进行补充后，得到具有丰富细节的测试样本。接下来对训练样本进行处理，处理过程包括：训练样本记为
Figure SMS_19
，且
Figure SMS_20
，其中
Figure SMS_21
为图像数据的维度，
Figure SMS_22
为训练样本的数量，x为训练样本中的样本，
Figure SMS_23
表示全体实数。训练样本
Figure SMS_24
的非线性变换可能有助于提高数据的可分性，从而提高性能。因此，通过以下映射预处理每个数据，将训练样本
Figure SMS_25
通过高斯核函数映射到高维空间。
Figure SMS_26
其中，
Figure SMS_27
为映射函数，本实施例中为高斯核函数。
Figure SMS_28
是从训练样本
Figure SMS_29
中随机抽样的
Figure SMS_30
个锚点，
Figure SMS_31
表示其中的第i个锚点。锚点在这里是指所有图像样本点中具有一定代表性的一小部分样本点。所有图像样本点都可以用这些锚点的线性组合来表示。锚点的选取可以是任意的，也可以用聚类算法（如k-means）得到的聚类中心。
Figure SMS_32
是带宽参数，实验中设置为1。f(
Figure SMS_33
)定义为从非线性嵌入特征空间到海明空间的哈希码学习目标函数：
f(
Figure SMS_34
)
Figure SMS_35
其中,
Figure SMS_36
是转换矩阵，
Figure SMS_37
是哈希码长，
Figure SMS_38
是锚点数量。
在一种具体的实施方式中，基于上述哈希码学习目标函数，将训练样本中数据特征与类别属性结合，考虑成对相似性和标签信息构建哈希码学习目标函数，该哈希码学习目标函数由五项构成：第一项是图像哈希码
Figure SMS_39
项，
Figure SMS_40
项是图像哈希学习的目的项，将图像转化为低维紧凑的哈希码，学习的紧凑二进制哈希码可以高效地索引大规模数据，图像检索所需要的时间缩短、空间大大缩小。通过第一项平方损失确保原始数据内核特征映射的质量；第二项是相似性保持项，为了保持训练数据的局部结构信息；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项，为了避免特征波动的影响，提高泛化能力。因此构建哈希码学习目标函数的具体步骤为：
（1）图像哈希码
Figure SMS_41
项：通过符号函数来获得哈希码
Figure SMS_42
，
Figure SMS_43
。
Figure SMS_44
是一个逐元素符号函数，如果
Figure SMS_45
则
Figure SMS_46
，否则
Figure SMS_47
。通过下面定义如下平方损失来确保内核特征映射的质量：
Figure SMS_48
Figure SMS_49
Figure SMS_50
其中，P是转换矩阵，B为哈希码B，
Figure SMS_51
为映射函数，
Figure SMS_52
是哈希码长，
Figure SMS_53
为训练样本的数量。
（2）相似性保持项：为保持训练数据的局部结构信息，考虑下列损失：
Figure SMS_54
其中，
Figure SMS_56
表示第
Figure SMS_60
张图像与第
Figure SMS_64
张图像之间的相似度，1为相似，0为不相似。从标签矩阵构建成对相似矩阵
Figure SMS_57
，标签向量中有一个元素相同即认为是相似。例如，假设有三个实例，它们的标签是
Figure SMS_59
，
Figure SMS_65
和
Figure SMS_67
，那么
Figure SMS_55
和
Figure SMS_61
的值都是1即为相似。
Figure SMS_66
、
Figure SMS_69
为两个不同训练样本，
Figure SMS_58
为训练样本的数量，f(
Figure SMS_62
)为从非线性嵌入特征空间到海明空间的哈希码学习目标函数。如果两个训练样本
Figure SMS_63
、
Figure SMS_68
在原始空间中相似，那么希望它们海明空间中共享相似的二进制码。
（3）标签矩阵嵌入项：虽然可以从标签矩阵中构建上文的成对相似矩阵
Figure SMS_70
，但是标签矩阵仍然具有信息量。如果有实例1：
Figure SMS_71
、实例2：
Figure SMS_72
、实例3：
Figure SMS_73
三个实例。
Figure SMS_74
和
Figure SMS_75
的值都是1，事实上，实例2和实例3更为相似，因此有必要把标签矩阵
Figure SMS_76
也嵌入到哈希码的学习过程中。其公式表示为：
Figure SMS_77
其中
Figure SMS_78
是从实例矩阵
Figure SMS_79
到
Figure SMS_80
的投影矩阵，B为哈希码B，
Figure SMS_81
为种类个数，
Figure SMS_82
是哈希码长。
Figure SMS_83
，
Figure SMS_84
为第i个实例，i=1，2，3……n，n为训练样本的数量。
（4）属性空间学习项：提取每个类名的单词向量作为每个类的属性。在这个过程中，本实施例采用Glove方法为每个类提取300维实值向量，称为类-属性矩阵A。在获得类属性矩阵后，特征与类属性相结合，以获得实例中每个类的语义类表示。通过学习每个实例的类别表示，可以更好地捕捉已知类和未知类之间的关系。
为了改善属性空间的语义信息，将标签信息嵌入到属性空间中。
Figure SMS_85
Figure SMS_86
Figure SMS_87
其中，
Figure SMS_88
表示属性空间，
Figure SMS_89
表示对
Figure SMS_90
增加标签约束，
Figure SMS_91
表示映射函数，A表示类-属性矩阵，L表示实例矩阵。
（5）正则化项：
Figure SMS_92
其中，
Figure SMS_94
表示正则化函数，
Figure SMS_98
、
Figure SMS_99
和
Figure SMS_95
表示不同项的权衡参数，P表示转换矩阵，
Figure SMS_97
表示对
Figure SMS_100
增加标签约束，
Figure SMS_101
表示从实例矩阵
Figure SMS_93
到
Figure SMS_96
的投影矩阵，B为哈希码B。
得到最终的目标函数为：
Figure SMS_102
+
Figure SMS_103
Figure SMS_104
Figure SMS_105
其中，
Figure SMS_107
表示正则化函数，
Figure SMS_110
、
Figure SMS_114
和
Figure SMS_109
表示不同项的权衡参数，P表示转换矩阵，
Figure SMS_111
表示对
Figure SMS_115
增加标签约束，
Figure SMS_118
表示从实例矩阵
Figure SMS_106
到
Figure SMS_113
的投影矩阵，B为哈希码B，
Figure SMS_116
表示映射函数，A表示类-属性矩阵，L表示实例矩阵，
Figure SMS_119
是哈希码长，
Figure SMS_108
为训练样本的数量，
Figure SMS_112
和
Figure SMS_117
为平衡参数，
Figure SMS_120
为迹范数。
S102：获取待检索未知类样本，并将其进行哈希码计算得到待检索未知类样本的哈希码，本实施例中根据已知类哈希码获取方法得到的哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码。
在一种具体的实施方式中，在测试数据的哈希码矩阵的过程中，将待检索的样本经过
Figure SMS_121
后得到相应的哈希码B，自变量如果大于0取值为1，自变量小于0取值为-1，根据得到的取值生成测试数据的哈希码矩阵。
S103:将待检索未知类样本的哈希码与检索数据库中的哈希码通过0/1异或运算计算海明距离，按照海明距离从小到大排列返回相似数据，根据相似数据得到检索结果。
此处需要说明的是，对数据集进行划分，其中测试样本与训练样本类别间没有交集，也就是所谓已知类和未知类。本实施例通过集成各种图像监督信息保持数据间的潜在语义关联信息，同时学习与原数据尽可能保持一致的哈希码，结合约束项，建立目标函数；在查询阶段，通过目标函数得到的映射矩阵，生成测试数据集的哈希码，实现零样本数据检索。
为了验证本实施例方法在数据检索上的优越性，选择3个公开的数据集上进行实验，其中包括CIFAR-10数据集，ImageNet数据集和AwA 数据集，每个实验中都测试了3种哈希码位数（32，64，128位）的性能表现，并与现有的4种方法：IMH（Inductive hashing onmanifolds，流形归纳哈希）、SDH（Supervised discrete hashing，监督离散哈希）、COSDISH（Column sampling based discrete supervised hashing，基于列抽样的监督离散哈希）、ZSH（Zero-shot hashing via transferring supervised knowledge，基于监督知识迁移的零样本哈希）进行了比较。检索评价采用MAP。从实验结果中均可以看出本发明的方法性能较好。
其中，MAP（Mean Average Precision，平均精度均值）：是对多个查询语句的AveP（Average Precision，平均精度）求均值，具体计算如下：
首先，把准确率P’看做是召回率R’的函数，也就是随着召回率R’从0到1，准确率P’的变化情况，把召回率recall当成横坐标，precision当成纵坐标，即可得到常用的precision-recall曲线，这条曲线是单调递减的。假设N个样本中有M个正例，那么会得到M个recall值（1/M，2/M……M/M），对于每个recall值r，可以计算出对应（r’>r）的最大precision，然后对这M个precision值取平均即得到最后的AP值。
当M足够大时，MAP计算公式就可以写成：
Figure SMS_122
其中，R’为召回率，P’为准确率，MAP为平均精度均值。
其实就是precision-recall曲线下方的部分面积。准确率和召回率是互相影响的，理想情况是想让两者都大，但一般情况是：准确率高，召回率低；召回率高，准确率低。所以曲线下方面积越大越理想。MAP越接近于1，模型效果越好。其性能比较数据如表1、2、3所示：
表1 本实施例方法与其他算法MAP性能比较（CIFAR-10数据集）
Figure SMS_123
，
表2 本实施例方法与其他算法MAP性能比较（ImageNet数据集）
Figure SMS_124
，
表3 本实施例方法与其他算法MAP性能比较（AwA 数据集）
Figure SMS_125
，
如表1、表2和表3所示，在这三个数据集上进行了对比实验，数据检索任务哈希码从32比特变化到128比特，本实施例方法的MAP值优于其他对比实验方法，证明了本文哈希方法生成哈希码的效果好于其他的方法。对于每种哈希方法，哈希码长度越长，模型性能越好，这是因为越长的哈希码意味着包含更多的信息，效果越理想。
实施例二：
本发明实施例二提供了一种基于数据合成的大规模零样本数据检索系统，如图2所示，包括样本处理模块、哈希码矩阵生成模块和检索结果获取模块。
其中，样本处理模块，被配置为将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充，将补充后的未知类样本进行测试样本与并入检索集的划分（检索集本身有除去训练样本的已知类样本）。对于已知类训练样本，将样本中数据特征与类别属性结合，考虑成对相似性和标签信息构建哈希码学习目标函数，利用哈希码学习目标函数对训练样本进行计算得到对应的哈希码和哈希码学习目标函数。
在一种具体的实施方式中，样本处理模块包括第一目标函数模块、第二目标函数模块、测试样本模块和训练样本模块。
具体的，第一目标函数模块用于构建从属性矢量到视觉特征数据的目标函数，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项。
测试样本模块用于采用测试样本对训练得到的哈希码学习目标函数进行测试。
训练样本模块用于获取现有的已知类训练样本，对现有的已知类训练样本进行处理，其中，训练样本中的已知类数据与检索集中的已知类数据不同。
第二目标函数模块用于构建哈希码学习目标函数，所述哈希码学习目标函数由五项构成：第一项是哈希码
Figure SMS_126
项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。
哈希码矩阵生成模块，被配置为根据训练阶段得到的哈希码学习目标函数对检索集进行哈希编码；获取待检索未知类样本，根据已知类哈希码获取方法对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码。
检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。
以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于数据合成的大规模零样本数据检索方法，其特征在于，包括以下步骤：
获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；
将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；
获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；
利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；
获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；
将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。
2.如权利要求1所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项。
3.如权利要求1所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述测试样本用于对训练得到的哈希码学习目标函数进行测试。
4.如权利要求3所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述训练样本中的已知类数据与检索集中的已知类数据不同。
5.如权利要求1所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述哈希码学习目标函数由五项构成：第一项是哈希码
Figure QLYQS_1
项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。
6.一种基于数据合成的大规模零样本数据检索系统，其特征在于，包括：
样本处理模块，被配置为获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；
将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；
获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；
利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；
哈希码矩阵生成模块被配置为获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；
检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。
7.如权利要求6所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述样本处理模块包括第一目标函数模块，所述第一目标函数模块用于构建从属性矢量到视觉特征数据的目标函数，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项。
8.如权利要求6所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述样本处理模块包括测试样本模块和训练样本模块，所述测试样本模块用于采用测试样本对训练得到的哈希码学习目标函数进行测试。
9.如权利要求8所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述训练样本模块用于获取现有的已知类训练样本，对现有的已知类训练样本进行处理，其中，训练样本中的已知类数据与检索集中的已知类数据不同。
10.如权利要求6所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述样本处理模块包括第二目标函数模块，所述第二目标函数模块用于构建哈希码学习目标函数，哈希码学习目标函数由五项构成：第一项是哈希码
Figure QLYQS_2
项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。
CN202310530108.0A 2023-05-12 2023-05-12 一种基于数据合成的大规模零样本数据检索方法及系统 Active CN116244483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530108.0A CN116244483B (zh) 2023-05-12 2023-05-12 一种基于数据合成的大规模零样本数据检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530108.0A CN116244483B (zh) 2023-05-12 2023-05-12 一种基于数据合成的大规模零样本数据检索方法及系统

Publications (2)

Publication Number Publication Date
CN116244483A true CN116244483A (zh) 2023-06-09
CN116244483B CN116244483B (zh) 2023-07-28

Family

ID=86633486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530108.0A Active CN116244483B (zh) 2023-05-12 2023-05-12 一种基于数据合成的大规模零样本数据检索方法及系统

Country Status (1)

Country Link
CN (1) CN116244483B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118332153A (zh) * 2024-06-13 2024-07-12 宁波大学 一种基于图像块和属性对齐的图像检索方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376051A (zh) * 2014-10-30 2015-02-25 南京信息工程大学 随机结构保形哈希信息检索方法
CN110795590A (zh) * 2019-09-30 2020-02-14 武汉大学 基于直推式零样本哈希的多标签图像检索方法及设备
CN111274424A (zh) * 2020-01-08 2020-06-12 大连理工大学 一种零样本图像检索的语义增强哈希方法
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
CN111930972A (zh) * 2020-08-04 2020-11-13 山东大学 利用标签层次信息的多媒体数据跨模态检索方法及系统
CN112597324A (zh) * 2020-12-15 2021-04-02 武汉工程大学 一种基于相关滤波的图像哈希索引构建方法、系统及设备
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN114943017A (zh) * 2022-06-20 2022-08-26 昆明理工大学 一种基于相似性零样本哈希的跨模态检索方法
CN115098707A (zh) * 2022-06-24 2022-09-23 山东大学 基于零样本学习的跨模态哈希检索方法及系统
CN115795065A (zh) * 2022-11-04 2023-03-14 山东建筑大学 基于带权哈希码的多媒体数据跨模态检索方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376051A (zh) * 2014-10-30 2015-02-25 南京信息工程大学 随机结构保形哈希信息检索方法
CN110795590A (zh) * 2019-09-30 2020-02-14 武汉大学 基于直推式零样本哈希的多标签图像检索方法及设备
CN111274424A (zh) * 2020-01-08 2020-06-12 大连理工大学 一种零样本图像检索的语义增强哈希方法
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
CN111930972A (zh) * 2020-08-04 2020-11-13 山东大学 利用标签层次信息的多媒体数据跨模态检索方法及系统
CN112597324A (zh) * 2020-12-15 2021-04-02 武汉工程大学 一种基于相关滤波的图像哈希索引构建方法、系统及设备
WO2022155994A1 (zh) * 2021-01-21 2022-07-28 深圳大学 基于注意力的深度跨模态哈希检索方法、装置及相关设备
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
CN114943017A (zh) * 2022-06-20 2022-08-26 昆明理工大学 一种基于相似性零样本哈希的跨模态检索方法
CN115098707A (zh) * 2022-06-24 2022-09-23 山东大学 基于零样本学习的跨模态哈希检索方法及系统
CN115795065A (zh) * 2022-11-04 2023-03-14 山东建筑大学 基于带权哈希码的多媒体数据跨模态检索方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG SHI; XINSHAN NIE; XINGBO LIU; LU YANG; YILONG YIN;: "Zero-Shot Hashing via Asymmetric Ratio Similarity Matrix", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, pages 5426 - 5437 *
刘昊鑫;吴小俊;庾骏;: "联合哈希特征和分类器学习的跨模态检索算法", 模式识别与人工智能, no. 02, pages 69 - 74 *
高远;: "基于零样本学习的跨模态深度哈希算法", 中国优秀硕士学位论文全文数据库, pages 138 - 1493 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118332153A (zh) * 2024-06-13 2024-07-12 宁波大学 一种基于图像块和属性对齐的图像检索方法

Also Published As

Publication number Publication date
CN116244483B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN109472033B (zh) 文本中的实体关系抽取方法及系统、存储介质、电子设备
CN109815364B (zh) 一种海量视频特征提取、存储和检索方法及系统
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
US20170337260A1 (en) Method and device for storing data
CN110399515B (zh) 图片检索方法、装置及图片检索系统
CN110334186B (zh) 数据查询方法、装置、计算机设备及计算机可读存储介质
CN102542067A (zh) 基于尺度学习和关联标号传播的自动图像语义标注方法
CN116244483B (zh) 一种基于数据合成的大规模零样本数据检索方法及系统
CN112395412B (zh) 文本分类的方法、装置以及计算机可读介质
CN114444507A (zh) 基于水环境知识图谱增强关系的上下文参数中文实体预测方法
CN108491543A (zh) 图像检索方法、图像存储方法及图像检索系统
CN115688779B (zh) 一种基于自监督深度学习的地址识别方法
CN116975340A (zh) 信息检索方法、装置、设备、程序产品及存储介质
KR20120047622A (ko) 디지털 콘텐츠 관리 시스템 및 방법
CN113420642A (zh) 一种基于类别语义特征重加权的小样本目标检测方法及系统
CN117668180A (zh) 文档问答方法、文档问答设备以及可读存储介质
CN114282513A (zh) 文本语义相似度的匹配方法、系统、智能终端及存储介质
CN113377844A (zh) 面向大型关系型数据库的对话式数据模糊检索方法及装置
CN111597336B (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN117708282A (zh) 一种基于大语言模型的知识问答方法及系统
CN109255098B (zh) 一种基于重构约束的矩阵分解哈希方法
CN114691907B (zh) 一种跨模态检索的方法、设备及介质
CN113743118B (zh) 基于融合关系信息编码的法律文书中的实体关系抽取方法
CN113886602B (zh) 一种基于多粒度认知的领域知识库实体识别方法
CN114090813B (zh) 基于多通道特征融合的变分自编码器平衡哈希遥感图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant