CN116244483B - 一种基于数据合成的大规模零样本数据检索方法及系统 - Google Patents

Abstract

本发明公开了一种基于数据合成的大规模零样本数据检索方法及系统，涉及信息检索技术领域。首先对仅有属性矢量，没有视觉特征数据的原始数据样本，获取其视觉特征数据对原始数据样本进行补充。利用哈希码学习方法通过训练样本训练得到对应的哈希码和哈希码学习目标函数，并存入检索数据库；对于待检索未知类样本，将其进行哈希码计算得到待检索未知类样本的哈希码；最后将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，得到检索结果。本发明克服了现有方法不考虑未知类样本的问题，并且考虑成对相似性、类标签和类属性来训练模型，实现了高效准确的大规模零样本数据检索。

Description

一种基于数据合成的大规模零样本数据检索方法及系统

技术领域

本发明涉及信息检索技术领域，尤其涉及一种基于数据合成的大规模零样本数据检索方法及系统。

背景技术

由于互联网上的大规模多媒体数据不断增长，大规模检索越来越受到人们的关注。哈希是一种流行的最近邻检索技术，可以高效检索大规模多媒体数据，它学习保持原样本空间相似性的哈希函数，将高维数据编码为紧凑的二进制码，并基于逐位异或操作实现高效的相似性搜索。从而实现更短的检索响应时间和更少的计算成本。

然而，传统的监督哈希方法面临巨大的挑战：新兴语义概念和多媒体数据增长迅猛，由于高昂的人工标注成本，监督知识不能得到及时更新。对于已知类别的样本，现有的监督哈希方法可以达到令人满意的效果，因为有可靠的监督信息指导学习过程，但是这些方法不能泛化到未知类别，也就是训练数据中不包含的类别；另外，新兴语义概念可能会导致一些没有视觉数据特征的新类（未知类）出现，现有的哈希方法没有考虑到解决这类场景。

零样本哈希可以通过构建通用的哈希模型，从而对已知类别和未知类别都能较好地进行哈希编码。但是现有的零样本哈希检索方法存在以下问题：（1）现有的零样本哈希方法没有考虑那些只有属性矢量，没有视觉特征数据的未知类样本（未知类没有视觉特征数据，原本存在的已知类有视觉特征数据）。（2）对于同时含有已知类别和未知类别的混合数据，只考虑已知类别的数据，忽略未知类别，因此不适合混合未知数据的数据检索。（3）在哈希码学习中，大多数方法忽略了类属性信息，只考虑同质属性（比如猫和狗都属于“动物”）而忽略异质属性（比如鸟和飞机共享“翅膀”这一属性），不利于将监督知识从已知类迁移到未知类。

因此，现有的零样本哈希方法无法针对只有属性矢量，没有视觉特征数据的未知类样本利用同时考虑成对相似性、类标签和类属性来训练模型的方式来迁移监督知识,从而降低了大规模数据检索的准确程度。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于数据合成的大规模零样本数据检索方法及系统，对于只有属性矢量，没有视觉特征数据的未知类样本，提出利用属性特征合成视觉特征数据。对于哈希码的学习阶段，考虑了标签信息并使用成对相似性来增强语义信息。还将视觉数据特征与类属性相结合，考虑已知类和未知类之间的关系，将监督信息从已知类传递到未知类，大大提高了检索精度。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明第一方面提供了一种基于数据合成的大规模零样本数据检索方法，包括以下步骤：

获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；

将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；

获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；

利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；

获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；

将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。

本发明第二方面提供了一种基于数据合成的大规模零样本数据检索系统，包括：

样本处理模块，被配置为获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；

将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；

获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；

利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；

哈希码矩阵生成模块，被配置为获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；

检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。

以上一个或多个技术方案存在以下有益效果：

本发明公开了一种基于数据合成的大规模零样本数据检索方法及系统，对于一些只有属性矢量，没有视觉特征数据的未知类样本，引入语义数据空间作为中介从属性矢量反推得到视觉特征的数据。克服了现有零样本哈希算法直接从属性映射到特征数据导致部分信息被忽略的缺陷。

本发明通过对已知类别的样本数据进行处理获得哈希码存入检索库中，并通过已知类别的样本数据哈希码的获取方法进行拓展得到未知类别哈希码的获取方法，从而实现混合未知数据的数据检索。

本发明将成对相似性、语义标签和类别属性集成到一个框架中，以充分挖掘语义信息。具体将数据特征与类别属性相结合，以获得每个实例的类别表示向量。同时考虑成对相似矩阵和语义标签等监督信息，因此可以更好地捕捉已知类和未知类之间的关系，将监督知识从已知类转移到未知类，从而指导哈希码学习。克服了现有零样本哈希方法不能同时考虑成对相似性、类标签和类属性来训练模型的缺陷。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中基于数据合成的大规模零样本数据检索方法流程图；

图2为本发明实施例二中基于数据合成的大规模零样本数据检索系统框架图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

应当说明的是，本发明实施例中，涉及到已知类和未知类样本等相关的数据，当本发明以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

实施例一：

本发明实施例一提供了一种基于数据合成的大规模零样本数据检索方法，如图1所示，首先对仅有属性矢量，没有视觉特征数据的未知类样本，获取其视觉特征数据对未知类样本进行补充，之后利用训练样本训练哈希码学习目标函数，对训练样本及检索集进行哈希码计算。获取待检索未知类样本，通过哈希码学习目标函数得到对应的哈希码；最后将待检索未知类样本的哈希码与检索数据库中的哈希码通过0/1异或运算计算海明距离，按照海明距离从小到大排列返回相似数据，根据相似数据得到检索结果。

具体包括以下步骤：

S101：对仅有属性矢量，没有视觉特征数据的未知类样本，获取其视觉特征数据，进而通过训练得到的哈希码学习目标函数得到对应的哈希码。

本步骤中，获取仅有属性矢量，没有视觉特征数据的未知类样本。需要说明的是，该未知类样本均为仅用于测试和检索的未知类别。

本步骤中，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据。

传统做法直接从属性映射到特征数据上会造成这样的结果：反推回去的视觉数据其实是语义数据，只有那些可以反应语义信息的视觉数据的主成分会被得到。因此本实施例将语义空间作为中介，先从属性数据反推语义数据，再从语义函数反推视觉数据，这样保证了信息的完整性，使其在反推过程中不会被遗漏。

具体的，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间/>作为中介反推得到视觉数据项；第三项是关于语义空间/>的正则化项。其中作为中介的语义空间/>可以避免只有那些可以反应语义信息的视觉数据的主成分被得到，使得到的视觉数据有更丰富的细节。

（1）引入一个语义空间从属性数据反推语义数据项，其公式为：

（2）将语义空间作为中介反推得到视觉数据项，使用下面线性函数：

（3）语义空间的正则化项，引入正则化项后，得到最终的目标函数为：

其中，是矩阵的Frobenius范数，/>是作为中介的语义数据空间，/>为属性数据，/>是从属性空间到语义空间的映射矩阵，/>是从语义数据到视觉数据的映射矩阵，/>为视觉数据，/>是正则化项参数。

根据上述目标函数对原始数据样本进行处理得到视觉特征数据。

之后，将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；需要特别说明的是，检索集中的已知类数据集为区别于训练样本中已知类数据的自身携带的数据集。

获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；

更为具体的，在仅有属性矢量，没有视觉特征数据的未知类样本通过属性矢量得到视觉特征后，首先对补充以后的未知类样本进行测试样本和检索集的划分，一部分作为测试样本，另一部分和已知类数据集一起构成检索集。而训练样本则为与检索集中已知类数据集不同的现有的已知类数据集。零样本哈希的设定是训练样本均为已知类样本，测试样本均为未知类样本，检索集既有已知类和未知类样本，检索集本身有除去训练样本的已知类数据。本实施例中，所有已知类样本均包含固有视觉数据特征，而未知类样本需要先进行视觉特征数据的计算，再将得到的视觉特征数据进行补充合成才能得到包含视觉数据特征的数据。这样训练样本均为已知类，测试样本均为未知类。之后根据处理过的训练样本训练得到哈希码学习目标函数；测试样本用于对训练得到的哈希码学习目标函数进行测试。训练过程中将训练样本中数据特征与类别属性结合，考虑成对相似性和标签信息得到最终的哈希码学习目标函数。其中，训练过程中将训练样本视觉数据特征与类别属性结合，考虑成对相似性和标签信息得到最终的哈希码学习目标函数的具体过程为：提取训练样本的样本特征，根据数据类别信息为样本添加语义标签，构成标签矩阵。基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵。根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习。

在一种具体的实施方式中，对于训练样本的样本特征，通常采用SIFT特征，GIST特征或者深度特征等。语义标签指用于区别数据类别信息的标签向量，通常采用独热码表示，例如，待处理数据包含三个类别，将分别表示为[1 0 0]，[0 1 0]，[0 0 1]。对于成对相似矩阵来说，虽然其可以从标签矩阵构造出来，但它仍然具有信息性。对于属性空间学习，提取每个类名的单词向量作为每个类的属性。采用Glove方法为每个类提取300维实值向量，称为类-属性矩阵。将特征与类属性相结合，以获得实例中每个类的语义类表示。通过学习每个实例的类别表示，可以更好地捕捉已知类和未知类之间的关系。

在一种具体的实施方式中，对仅有属性矢量，没有视觉特征数据的未知类样本进行补充后，得到具有丰富细节的测试样本。接下来对训练样本进行处理，处理过程包括：训练样本记为，且/>，其中/>为图像数据的维度，/>为训练样本的数量，x为训练样本中的样本，/>表示全体实数。训练样本/>的非线性变换可能有助于提高数据的可分性，从而提高性能。因此，通过以下映射预处理每个数据，将训练样本/>通过高斯核函数映射到高维空间。

其中，为映射函数，本实施例中为高斯核函数。/>是从训练样本/>中随机抽样的/>个锚点，/>表示其中的第i个锚点。锚点在这里是指所有图像样本点中具有一定代表性的一小部分样本点。所有图像样本点都可以用这些锚点的线性组合来表示。锚点的选取可以是任意的，也可以用聚类算法（如k-means）得到的聚类中心。/>是带宽参数，实验中设置为1。f(/> )定义为从非线性嵌入特征空间到海明空间的哈希码学习目标函数：

f( )/>

其中,是转换矩阵，/>是哈希码长，/>是锚点数量。

在一种具体的实施方式中，基于上述哈希码学习目标函数，将训练样本中数据特征与类别属性结合，考虑成对相似性和标签信息构建哈希码学习目标函数，该哈希码学习目标函数由五项构成：第一项是图像哈希码项，/>项是图像哈希学习的目的项，将图像转化为低维紧凑的哈希码，学习的紧凑二进制哈希码可以高效地索引大规模数据，图像检索所需要的时间缩短、空间大大缩小。通过第一项平方损失确保原始数据内核特征映射的质量；第二项是相似性保持项，为了保持训练数据的局部结构信息；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项，为了避免特征波动的影响，提高泛化能力。因此构建哈希码学习目标函数的具体步骤为：

（1）图像哈希码项：通过符号函数来获得哈希码/>，/>。/>是一个逐元素符号函数，如果/>则/>，否则/>。通过下面定义如下平方损失来确保内核特征映射的质量：

其中，P是转换矩阵，B为哈希码B，为映射函数，/>是哈希码长，/>为训练样本的数量。

（2）相似性保持项：为保持训练数据的局部结构信息，考虑下列损失：

其中，表示第/>张图像与第/>张图像之间的相似度，1为相似，0为不相似。从标签矩阵构建成对相似矩阵/>，标签向量中有一个元素相同即认为是相似。例如，假设有三个实例，它们的标签是/>，/>和/>，那么/>和/>的值都是1即为相似。/>、为两个不同训练样本，/>为训练样本的数量，f(/> )为从非线性嵌入特征空间到海明空间的哈希码学习目标函数。如果两个训练样本/>、/>在原始空间中相似，那么希望它们海明空间中共享相似的二进制码。

（3）标签矩阵嵌入项：虽然可以从标签矩阵中构建上文的成对相似矩阵，但是标签矩阵仍然具有信息量。如果有实例1：/>、实例2：/>、实例3：/>三个实例。/>和/>的值都是1，事实上，实例2和实例3更为相似，因此有必要把标签矩阵/>也嵌入到哈希码的学习过程中。其公式表示为：

其中是从实例矩阵/>到/>的投影矩阵，B为哈希码B，/>为种类个数，/>是哈希码长。/>，/>为第i个实例，i=1，2，3……n，n为训练样本的数量。

（4）属性空间学习项：提取每个类名的单词向量作为每个类的属性。在这个过程中，本实施例采用Glove方法为每个类提取300维实值向量，称为类-属性矩阵A。在获得类属性矩阵后，特征与类属性相结合，以获得实例中每个类的语义类表示。通过学习每个实例的类别表示，可以更好地捕捉已知类和未知类之间的关系。

为了改善属性空间的语义信息，将标签信息嵌入到属性空间中。

其中，表示属性空间，/>表示对/>增加标签约束，/>表示映射函数，A表示类-属性矩阵，L表示实例矩阵。

（5）正则化项：

其中，表示正则化函数，/>、/>和/>表示不同项的权衡参数，P表示转换矩阵，/>表示对/>增加标签约束，/>表示从实例矩阵/>到/>的投影矩阵，B为哈希码B。

得到最终的目标函数为：

+

其中，表示正则化函数，/>、/>和/>表示不同项的权衡参数，P表示转换矩阵，/>表示对/>增加标签约束，/>表示从实例矩阵/>到/>的投影矩阵，B为哈希码B，/>表示映射函数，A表示类-属性矩阵，L表示实例矩阵，/>是哈希码长，/>为训练样本的数量，/>和/>为平衡参数，/>为迹范数。

S102：获取待检索未知类样本，并将其进行哈希码计算得到待检索未知类样本的哈希码，本实施例中根据已知类哈希码获取方法得到的哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码。

在一种具体的实施方式中，在测试数据的哈希码矩阵的过程中，将待检索的样本经过后得到相应的哈希码B，自变量如果大于0取值为1，自变量小于0取值为-1，根据得到的取值生成测试数据的哈希码矩阵。

S103:将待检索未知类样本的哈希码与检索数据库中的哈希码通过0/1异或运算计算海明距离，按照海明距离从小到大排列返回相似数据，根据相似数据得到检索结果。

此处需要说明的是，对数据集进行划分，其中测试样本与训练样本类别间没有交集，也就是所谓已知类和未知类。本实施例通过集成各种图像监督信息保持数据间的潜在语义关联信息，同时学习与原数据尽可能保持一致的哈希码，结合约束项，建立目标函数；在查询阶段，通过目标函数得到的映射矩阵，生成测试数据集的哈希码，实现零样本数据检索。

为了验证本实施例方法在数据检索上的优越性，选择3个公开的数据集上进行实验，其中包括CIFAR-10数据集，ImageNet数据集和AwA 数据集，每个实验中都测试了3种哈希码位数（32，64，128位）的性能表现，并与现有的4种方法：IMH（Inductive hashing onmanifolds，流形归纳哈希）、SDH（Supervised discrete hashing，监督离散哈希）、COSDISH（Column sampling based discrete supervised hashing，基于列抽样的监督离散哈希）、ZSH（Zero-shot hashing via transferring supervised knowledge，基于监督知识迁移的零样本哈希）进行了比较。检索评价采用MAP。从实验结果中均可以看出本发明的方法性能较好。

其中，MAP（Mean Average Precision，平均精度均值）：是对多个查询语句的AveP（Average Precision，平均精度）求均值，具体计算如下：

首先，把准确率P’看做是召回率R’的函数，也就是随着召回率R’从0到1，准确率P’的变化情况，把召回率recall当成横坐标，precision当成纵坐标，即可得到常用的precision-recall曲线，这条曲线是单调递减的。假设N个样本中有M个正例，那么会得到M个recall值（1/M，2/M……M/M），对于每个recall值r，可以计算出对应（r’>r）的最大precision，然后对这M个precision值取平均即得到最后的AP值。

当M足够大时，MAP计算公式就可以写成：

其中，R’为召回率，P’为准确率，MAP为平均精度均值。

其实就是precision-recall曲线下方的部分面积。准确率和召回率是互相影响的，理想情况是想让两者都大，但一般情况是：准确率高，召回率低；召回率高，准确率低。所以曲线下方面积越大越理想。MAP越接近于1，模型效果越好。其性能比较数据如表1、2、3所示：

表1 本实施例方法与其他算法MAP性能比较（CIFAR-10数据集）

，

表2 本实施例方法与其他算法MAP性能比较（ImageNet数据集）

，

表3 本实施例方法与其他算法MAP性能比较（AwA 数据集）

，

如表1、表2和表3所示，在这三个数据集上进行了对比实验，数据检索任务哈希码从32比特变化到128比特，本实施例方法的MAP值优于其他对比实验方法，证明了本文哈希方法生成哈希码的效果好于其他的方法。对于每种哈希方法，哈希码长度越长，模型性能越好，这是因为越长的哈希码意味着包含更多的信息，效果越理想。

实施例二：

本发明实施例二提供了一种基于数据合成的大规模零样本数据检索系统，如图2所示，包括样本处理模块、哈希码矩阵生成模块和检索结果获取模块。

其中，样本处理模块，被配置为将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充，将补充后的未知类样本进行测试样本与并入检索集的划分（检索集本身有除去训练样本的已知类样本）。对于已知类训练样本，将样本中数据特征与类别属性结合，考虑成对相似性和标签信息构建哈希码学习目标函数，利用哈希码学习目标函数对训练样本进行计算得到对应的哈希码和哈希码学习目标函数。

在一种具体的实施方式中，样本处理模块包括第一目标函数模块、第二目标函数模块、测试样本模块和训练样本模块。

具体的，第一目标函数模块用于构建从属性矢量到视觉特征数据的目标函数，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项。

测试样本模块用于采用测试样本对训练得到的哈希码学习目标函数进行测试。

训练样本模块用于获取现有的已知类训练样本，对现有的已知类训练样本进行处理，其中，训练样本中的已知类数据与检索集中的已知类数据不同。

第二目标函数模块用于构建哈希码学习目标函数，所述哈希码学习目标函数由五项构成：第一项是哈希码项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。

哈希码矩阵生成模块，被配置为根据训练阶段得到的哈希码学习目标函数对检索集进行哈希编码；获取待检索未知类样本，根据已知类哈希码获取方法对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码。

检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于数据合成的大规模零样本数据检索方法，其特征在于，包括以下步骤：

获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；所述从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项；

将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；其中，已知类数据集为区别于训练样本中已知类数据的自身携带的数据集；

获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；

利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；

获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；

将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。

2.如权利要求1所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述测试样本用于对训练得到的哈希码学习目标函数进行测试。

3.如权利要求2所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述训练样本中的已知类数据与检索集中的已知类数据不同。

4.如权利要求1所述的基于数据合成的大规模零样本数据检索方法，其特征在于，所述哈希码学习目标函数由五项构成：第一项是哈希码项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。

5.一种基于数据合成的大规模零样本数据检索系统，其特征在于，包括：

样本处理模块，被配置为获取仅有属性矢量，没有视觉特征数据的未知类样本，通过从属性矢量到视觉特征数据的目标函数对未知类样本进行处理得到视觉特征数据；所述样本处理模块包括第一目标函数模块，所述第一目标函数模块用于构建从属性矢量到视觉特征数据的目标函数，从属性矢量到视觉特征数据的目标函数由三项构成，第一项是引入一个语义空间从属性数据反推语义数据项；第二项是将语义空间作为中介反推得到视觉数据项；第三项是关于语义空间的正则化项；

将得到的视觉特征数据对仅有属性矢量，没有视觉特征数据的未知类样本进行补充；将补充后的未知类样本随机划分为两部分，一部分补充后的未知类样本作为测试样本，另一部分补充后的未知类样本与已知类数据集构成检索集；其中，已知类数据集为区别于训练样本中已知类数据的自身携带的数据集；

获取现有的已知类训练样本，对现有的已知类训练样本进行处理，根据处理过的训练样本训练得到哈希码学习目标函数；具体步骤为：根据数据类别信息为训练样本添加语义标签，构成标签矩阵；基于每个类类名提取标签矩阵的实值向量构成类-属性矩阵；根据类-属性矩阵对哈希码学习目标函数进行已知类和未知类之间的关系学习得到最终的哈希码学习目标函数；

利用哈希码学习目标函数对训练样本与检索集分别进行计算，得到训练样本与检索集对应的哈希码；将得到的哈希码存入检索数据库中；

哈希码矩阵生成模块被配置为获取待检索未知类样本，根据哈希码学习目标函数对待检索未知类样本进行未知类样本拓展得到待检索未知类样本的哈希码；

检索结果获取模块，被配置为将待检索未知类样本的哈希码与检索数据库中的哈希码通过异或运算计算海明距离，按照海明距离从小到大排列返回检索结果。

6.如权利要求5所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述样本处理模块包括测试样本模块和训练样本模块，所述测试样本模块用于采用测试样本对训练得到的哈希码学习目标函数进行测试。

7.如权利要求6所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述训练样本模块用于获取现有的已知类训练样本，对现有的已知类训练样本进行处理，其中，训练样本中的已知类数据与检索集中的已知类数据不同。

8.如权利要求5所述的基于数据合成的大规模零样本数据检索系统，其特征在于，所述样本处理模块包括第二目标函数模块，所述第二目标函数模块用于构建哈希码学习目标函数，哈希码学习目标函数由五项构成：第一项是哈希码项；第二项是相似性保持项；第三项是标签矩阵嵌入项，第四项是属性空间学习项；第五项是正则化项。