CN110471942B - 一种基于均衡哈希编码的飞行器查询方法及系统 - Google Patents

Abstract

本发明公开一种基于均衡哈希编码的飞行器查询方法及系统。本方法为：利用数据集中每一飞行器的飞行参数数据和飞行条件数据建模表示对应的飞行器；为每一个编码后的飞行器生成对应的向量空间用于限制生成哈希编码的均衡性以及可辨别性，确定出飞行器的哈希编码方式；利用上述确定的哈希编码方式对目标飞行器进行哈希编码；然后利用飞行器的哈希编码信息进行匹配查询，最终得到数据集中与目标飞行器匹配的飞行器。本发明采用无需人工介入的无监督学习方式，对飞行器进行均衡哈希编码，有效降低飞行器存储代价，并基于编码后的飞行器进行检索操作。

Description

一种基于均衡哈希编码的飞行器查询方法及系统

技术领域

本发明属于信息技术领域，涉及利用计算机辅助挖掘和建模飞行器，具体涉及一种基于均衡哈希编码的飞行器查询方法，采用无需人工介入的无监督学习方式，对飞行器进行均衡哈希编码，并基于编码后的飞行器进行查询操作，供用户获得符合条件的飞行器查询结果。

背景技术

气动特性分析与气动不确定度分析对于飞行器的研制有着重大价值和意义，然而对于即将研制的飞行器而言，计算其对应的气动特性和气动不确定涉及到大量的数据以及复杂的计算。所以我们希望可以从已有的飞行器中进行检索，找到与新研制飞行器最相似的一个，从而通过已有的飞行器的历史数据来辅助分析新研制飞行器进行气动特性分析和气动不确定度分析。

目前，飞行器的相似搜索是一个具有挑战性的工作，有如下两方面的原因：1.工程上通常基于外形参数和飞行条件建模来表示飞行器，建模得到的数据维度较高，所以算法的设计需要满足高维度的需求；2.建模得到的飞行器数据量往往较大，直接通过建模原始数据进行飞行器的检索需要耗费较多的时间，从而使得相似飞行器的查询速度会受到影响。鉴于上述问题，本发明借鉴搜索引擎或图像检索中的检索策略，对于飞行器的检索进行最近邻搜索(approximate nearest neighbor,ANN)从而克服上述飞行器检索遇到的两方面的问题。在目前最近邻搜索的技术中，哈希编码技术因为其常数级别的检索速度与低内存开销而受到广泛的使用。哈希编码的方法就是将高维度的数据映射为低维度的二进制哈希编码，从而基于映射后的哈希编码进行数据的检索。

为了将原始飞行器通过哈希编码映射的方法获得高质量的紧凑二进制哈希编码，常常不仅需要设计一个好的映射关系，将数据进行哈希编码，同时还要尽可能的保证编码后的哈希编码的均衡性。所谓的哈希编码的均衡性指的就是，在每一位的哈希编码上的分布式均匀的，这样可以使得同样长度的哈希编码可以携带更多的信息。

过去几年在利用哈希编码进行检索的研究领域已经提出了许多不同的哈希编码的方法，这些方法可以分为两大类：数据无关(data-independent)方法和数据相关(data-dependent)方法。数据无关的方法中最著名的方法是局部敏感散列(Locality SensitiveHashing,LSH)方法[Gionis,A.,Indyk,P.,Motwani,R.:Similarity search in highdimensions via hashing.In:VLDB’99,Proceedings of 25th InternationalConference on Very Large Data Bases,September 7-10,1999,Edinburgh,Scotland,UK.pp.518–529(1999)]。LSH方法使用简单的随机投影作为散列函数来学习紧凑的哈希编码。不幸的是，LSH方法通常需要很长的散列码才能达到很好的精度，增加了更大的存储空间。为了改进LSH方法，很多科学家为此付出很多努力，提出了以下的改进方案，比如将内核学习与LSH相结合[Kulis,B.,Grauman,K.:Kernelized locality-sensitive hashing forscalable image search.In:IEEE 12th International Conference on ComputerVision,ICCV]，以帮助从标准度量空间推广相似性搜索，或者是提供散列函数的效率和准确度或更快的计算[Li,P.,Hastie,T.,Church,K.W.:Very sparse randomprojections.In:Proceedings of the Twelfth ACM SIGKDD International Conferenceon Knowledge Discovery]，也有科学家提出随机哈希函数满足不同距离度量的局部敏感属性[Charikar,M.:Similarity estimation techniques from roundingalgorithms.In:Proceedings on 34th Annual ACM Symposium on Theory ofComputing,May 19-21]。与这种与数据无关的方法相比，用于生成更有效的哈希函数的是数据相关方法。依赖于数据的方法旨在从特定数据集中学习散列函数，以便散列代码空间中最近邻居搜索的结果与原始空间中的相似。数据依赖方法可以进一步分为两类：无监督方法和监督方法。监督方法试图使用监督(标记)的数据信息学习哈希编码，如监督哈希[Li,Q.,Sun,Z.,He,R.,Tan,T.:Deep supervised discrete hashing.In:Advances inNeural Information Processing Systems 2017]，通过图像表示学习的监督哈希方法[Xia,R.,Pan,Y.,Lai,H.,Liu,C.,Yan,S.:Supervised hashing for image retrievalvia image representation learning.In:Proceedings of the Twenty-Eighth AAAIConference on Artificial Intelligence,July 27-31,2014]。因为本发明提出的是一种无监督的方法，所以就不再去赘述与比较有监督的方法。无监督的哈希编码方法主要包括有包括语义散列(Semantic Hashing,SH)[Salakhutdinov,R.,Hinton,G.E.:Semantichashing.Int.J.Approx.Reasoning 50(7),2009],通过堆栈限制玻尔兹曼机器(RBM)学习二进制的哈希编码。K-means Hashing(KMH)[He,K.,Wen,F.,Sun,J.:K-means hashing:Anaffinity-preserving quantization method for learning binary compact codes.In:2013IEEE Conference on Computer Vision and Pattern Recognition,Portland,OR,USA,June 23-28,2013]方法通过最小化量化单元和聚类中心之间的汉明距离来学习哈希编码。尽管这些方法在某些数据集上取得了令人满意的性能，但他们忽略对于哈希编码均衡性的考虑。Sepctral Hashing(SpeH)[Weiss,Y.,Torralba,A.,Fergus,R.:Spectralhashing.In:Advances in Neural Information Processing Systems 21,Proceedingsof the Twenty-Second Annual Conference on Neural Information ProcessingSystems,2008]相比于LSH和SH表现出检索结果明显的提升。SpeH方法是基于频谱图划分并考虑平衡约束学习散列码。迭代量化(Iterative Quantization,ITQ)[Gong,Y.,Lazebnik,S.:Iterative quantization:A procrustean approach to learning binary codes.In:The 24th IEEE Conference on Computer Vision and Pattern Recognition,CVPR2011,Colorado Springs,CO,USA,20-25June 2011.pp.817–824(2011)]是一种检索速度快，并且在已有的哈希编码方法中极具竞争力的哈希方法。ITQ方法是同时学习正交旋转矩阵来细化PCA学习的初始投影矩阵，并最大化每个二进制位的方差以获得更好的紧凑的哈希编码。ITQ和SpeH都考虑了哈希编码的均衡性，但它们都是基于PCA方法而设计的均衡哈希编码方法，所以当数据中大部分数据集中在最主要的几个方向变化时，这两种方法的性能会受到大大地降低。

从前面的介绍来看，提出一种均衡哈希码编码的方法，解决哈希学习中哈希码编码不均衡的问题，从而可用更短的编码来代表更多的信息，进一步优化飞行器检索的问题，是非常有必要，也是很有实际应用价值的。

发明内容

针对上述问题，本发明的目的在于提供一种基于均衡哈希编码的飞行器查询方法及系统，采用无需人工介入的无监督学习方式，对飞行器进行均衡哈希编码，有效降低飞行器存储代价，并基于编码后的飞行器进行检索操作。本发明涉及到的技术包括将原始飞行器通过哈希编码为二进制形式，并约束编码后为均衡二进制编码，以及基于汉明距离进行编码后飞行器相似检索。

为实现上述目的，本发明采用如下技术方案：

一种基于均衡哈希编码的飞行器查询方法，其步骤包括：

1)对存储的飞行器数据集进行预处理；

2)利用数据集中每一飞行器的飞行参数数据和飞行条件数据建模表示对应的飞行器；

3)构建合适的目标函数学习飞行器的哈希编码形式；即利用每一飞行器的飞行参数数据和飞行条件数据对飞行器进行编码，然后为每一个编码后的飞行器生成对应的向量空间；

4)根据生成的向量空间限制生成哈希编码的均衡性以及可辨别性；

5)用户根据需求设定生成哈希编码的位数，然后重复所述步骤3)至所述步骤4)直到所生成的哈希编码满足检索的要求；

6)通过最终生成的哈希编码来表征数据集中的飞行器和目标飞行器，然后利用飞行器的编码信息进行匹配查询，最终得到与目标飞行器匹配的飞行器。

一种基于均衡哈希编码的飞行器查询系统，其包括：

数据存储模块，负责存储飞行器数据集以及最终新的表征形式数据；

飞行器建模模块，负责按照飞行参数数据和飞行条件数据建模来表示飞行器；

数据预处理模块，负责对飞行器数据预处理；

目标函数学习模块，负责构建和学习相应的哈希编码学习的目标函数；

向量空间表示模块，连接目标函数模块以及哈希编码均衡性和可辨别性的限制模块，生成飞行器的向量空间表示，即生成飞行器的哈希编码；

均衡性限制模块，确保生成的哈希编码均衡分布；

可辨别性限制模块，确保生成的不同哈希编码间的可辨别性越大越好；

哈希码位数设置模块，供用户进行交互操作，可以设置生成的哈希编码的位数；

汉明距离计算模块，计算生成后的不同飞行器的哈希编码间的汉明距离；

检索模块，根据汉明距离计算模块所得的计算结果，返回与目标飞行器相似度高的检索结果。

与现有技术相比，本发明的积极效果为：

本发明采用无用户介入的无监督学习方式，提出一种基于均衡哈希编码的飞行器检索方法，对飞行器数据进行编码压缩操作，并基于编码后的飞行器进行检索操作，供用户获得飞行器检索结果。本发明可支持海量飞行器数据或是图像数据自动进行哈希学习、生成均衡的哈希编码，并基于新的表征形式进行飞行器数据或图像数据的检操作。本发明具有低开销、高表达、多适用的优点。

附图说明

图1是本发明实施例的基于均衡哈希编码的检索系统的组成结构示意图。

图2是本发明实施例的基于均衡哈希编码的检索方法的步骤流程图。

具体实施方式

下面通过具体实施例并配合附图，对本发明做详细的说明。

图1本发明实施例的基于均衡哈希编码的检索系统的组成结构示意图，对其中所示各模块的功能分别说明如下：

数据存储模块：用于存储原始数据集，为专利的核心算法模块提供存储数据、保存运算结果的服务，可采用但不限于dat，csv等文件类型的存储方式。

飞行器建模模块：连接数据存储模块，提供通过飞行器外形参数数据和飞行条件参数进行建模的服务，最大程度建模飞行器数据，保证检索质量的作用。

数据预处理模块：连接飞行器建模模块，对飞行器数据进行预处理，包括缺失数据补充、插值计算等，从而得到不包含缺失值的更加完整的飞行器数据。

目标函数学习模块：本模块是系统的核心模块，经建模后和预处理之后，本模块进行哈希编码目标函数的构建和学习，逐步学习与原飞行器数据所在空间表示形式一样的映射后的数据形式，获取确定飞行器的哈希编码方式的目标函数。

均衡性限制模块：本模块是获得均衡哈希编码的核心模块，通过最大化编码分布方差B的限制，使得目标函数学习模块最终学习到的哈希编码在每一位的编码上的分布是均匀的，这样可以使得同样长度的哈希编码可以携带更多的信息，以便提高检索质量的作用。

可辨别性限制模块：本模块是获得具有辨别性哈希编码的核心模块，通过最小化原始数据与编码后数据之差的Frobenius范数

使得编码后不同数据间的差异大，即不同编码之间的可辨别性高。

哈希码位数设置模块：连接均衡性限制模块和可辨别性限制模块以及目标函数学习模块，本模块主要根据目标函数学习获得的结果可控的反馈进行调整编码的位数。一般来说根据存储空间需求以及查询精确进行确定，常用的位数设置为8,64,128,256；位数越长检索精确度越高，位数越长存储空间占用越大，所以改模块可以进行这两个方面的协调，以便获得高质量的编码结果。

向量空间表示模块：本模块是为了获得最终哈希编码而设置，同时生成的结果也会调用数据存储模块进行储存。

汉明距离计算模块：本模块是通过计算不同哈希编码间的汉明距离来辨别不同飞行器间是否相似，并输入至检索模块，做最终的飞行器检索操作。

检索模块：连接汉明距离计算模块，根据距离计算函数进行检索并将检索结果展现给最终用户。

图2是本发明实施例的基于均衡哈希编码的检索方法的步骤流程图。对其中各步骤具体说明如下：

1.准备，文档存储

选取适当的存储方式，可采用但不局限与dat，csv等存储方式。

2.通过飞行器外观数据与飞行条件建模

通过飞行器外形参数数据和飞行条件参数进行建模的服务，最大程度建模飞行器数据，保证检索质量的作用。

3.数据预处理

对飞行器数据进行预处理，包括缺失数据补充、插值计算等，从而得到不包含缺失值的更加完整的飞行器数据。

4.均衡哈希编码学习

4.1变量介绍

我们用X代表训练数据集，训练集包含有N个样本，每个样本有K维的特征，所以X∈R^K×N。通过哈希编码学习后得到的目标编码为B＝{B¹,B²,…,B^N}，保持飞行器编码前与飞行器编码后的映射信息用字典D表示。

4.2具有均衡性和可辨别性哈希码的目标函数构建

4.2.1可辨别性哈希编码的生成

本发明在构建哈希编码时希望可以将输入的数据映射为紧凑同时具有辨别性的哈希编码，这样对于不同的哈希编码而言可以更好地进行区分。所以我们希望原始数据进行投影后与映射后的数据之间的量化损失越小越好，所以可辨别性哈希编码的生成就是要去求解如下这样的目标函数：

s.t.Bⁱ∈{-1,1}^L

其中Bⁱ表示的是第i个飞行器的哈希编码，{-1,1}^L表示长度为L的哈希编码并且每一位的编码都是-1或者1，‖·‖_F表示Frobenius范数。所以上述目标函数越小的话学习到的哈希编码与原始空间表示形式的差距就会越小，同时哈希编码的可辨别性就会越高。

4.2.2均衡哈希编码的生成

本发明在构建哈希编码时希望生成的编码是均衡的，即一串哈希编码上的每一位是1或者0的概率为50％，这样可以使得生成的哈希编码的方差最大化，从而使得生成的哈希编码是均衡的，进一步使得同样长度的哈希编码可以携带更多的信息，故可以用更短的哈希编码完成检索的结果。为了获得均衡的哈希码，本发明需要最大化下面的目标函数：

其中h_l(x)函数表示将原始数据x映射为哈希编码，var[]表示求解方差函数。本发明可以通过最大化上面的函数从而使得哈希编码是均衡的，但由于Bⁱ是离散的，所以上述的优化很难做到。于是本发明做了条件宽松，得到如下新的均衡性限制函数：

其中N表示样本总数量，tr()表示求解矩阵的迹，所以为了获得均衡的哈希编码，本发明在优化目标函数时考虑以下的限制条件：

4.2.3总体目标函数表示形式

根据4.2.1和4.2.2的描述，本发明可以得到最终均衡哈希编码学习的目标函数如下所示：

s.t.Bⁱ∈{-1,1}^L

其中λ是可调控的参数，用于平衡量化损失与均衡限制对于总体的影响。

4.3块坐标下降求解法

4.2.3中的目标函数因为包含离散值，所以直接求解较为困难，所以对于4.2.3的目标函数进行了如下的近似转换：

其中δ(·)是sigmoid函数，sgn(·)是阶跃函数。对于4.3提出的进行求解的目标函数，我们也应用块坐标求解法进行目标函数的求解。

固定B，求解D。当把B固定后4.3的目标函数变成了一个最小二乘法求解的问题，我们可以直接计算它的梯度为：

根据计算的梯度可以对于矩阵D进行更新。

固定D，更新B。当矩阵D被固定后，4.3的目标函数并不能直接求解，因为是离散值进行求解。所以将其分为两个阶段进行求解。第一，将矩阵B作为一个连续值的矩阵进行求解；第二，当矩阵B的值被确定后，再对求解后的矩阵B进行离散值的限制，从而完成矩阵B的更新，具体的操作如下所示：

B＝sgn(δ(B))

4.4哈希编码汉明距离的计算

在信息领域，两个长度相等的字符串的海明距离是在相同位置上不同的字符的个数，也就是将一个字符串替换成另一个字符串需要的替换的次数。

例如：

xxxxyy和xxxxzz的汉明距离是2；

111100和111111的汉明距离是2；

对于二进制数字来说，汉明距离的结果相当于a^b结果中1的个数。根据4.3学习得到的哈希编码对于不同的编码之间进行汉明距离的计算，随后返回汉明距离最小的前K个哈希编码，即这K个哈希编码便是与目标飞行器对应的检索结果。

5.检索结果

对于输入的原始飞行器数据，返回对应的前K个汉明距离最小飞行器，即为本轮的检索结果。

尽管前面公开的内容示出了本发明的示例性实施例，但应注意，在不背离权利要求限定的本发明的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的结构，权利要求的组成元件可以用任何功能等效的元件替代。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于均衡哈希编码的飞行器查询方法，其步骤为：

1)利用数据集中每一飞行器的飞行参数数据和飞行条件数据建模表示对应的飞行器；

2)利用设定的目标函数确定数据集中飞行器的哈希编码方式；其中，所述目标函数为

X代表数据集，数据集包含有N个样本，每个样本有K维的特征，X∈R^K×N；数据集中飞行器的目标编码为B＝{B¹，B²，…，B^N}，B^N为第N个飞行器的哈希编码，D表示保持映射前后信息的字典，tr()表示求解矩阵的迹，λ是可调控的参数，{-1，1}^L表示长度为L的哈希编码并且每一位的编码都是-1或者1；

3)利用步骤2)中确定的哈希编码方式对目标飞行器进行哈希编码；然后利用飞行器的哈希编码信息进行匹配查询，最终得到数据集中与目标飞行器匹配的飞行器；其中确定的哈希编码满足均衡性限制函数

2.如权利要求1所述的方法，其特征在于，用块坐标求解法进行目标函数的求解，得到最终确定的哈希编码方式。

3.如权利要求1或2所述的方法，其特征在于，将所述目标函数转换为min_D，B||X-D*

进行求解，确定数据集中飞行器的哈希编码方式；其中，δ(·)是sigmoid函数，sgn(δ(B))为阶跃函数。

4.如权利要求1所述的方法，其特征在于，利用飞行器的哈希编码信息进行匹配查询的方法为：计算目标飞行器的哈希编码与数据集中飞行器的哈希编码之间的汉明距离，返回汉明距离最小的前若干个哈希编码对应的飞行器为数据集中与目标飞行器匹配的飞行器。

5.一种基于均衡哈希编码的飞行器查询系统，其特征在于，包括

数据存储模块，用于存储各飞行器的飞行参数数据和飞行条件数据的数据集；

飞行器建模模块，用于利用数据集中每一飞行器的飞行参数数据和飞行条件数据建模表示对应的飞行器；

目标函数学习模块，用于获取确定飞行器的哈希编码方式的目标函数；其中，所述目标函数为

X代表数据集，数据集包含有N个样本，每个样本有K维的特征，X∈R^K×N；数据集中飞行器的目标编码为B＝{b₁，b₂，…，b_N}，B^N为第N个飞行器的哈希编码，D表示保持映射前后信息的字典，tr()表示求解矩阵的迹，λ是可调控的参数，{-1，1}^L表示长度为L的哈希编码并且每一位的编码都是-1或者1；

均衡性限制模块，用于通过最大化编码分布方差的限制，使得目标函数学习模块最终确定的哈希编码在每一位的编码上的分布是均匀的；其中确定的哈希编码满足均衡性限制函数

可辨别性限制模块，用于通过最小化原始数据与编码后数据之差的Frobenius范数，使得不同编码之间的可辨别性高；

哈希码位数设置模块，用于根据目标函数学习获得的结果可控的反馈进行调整编码的位数；

汉明距离计算模块，用于通过计算不同哈希编码间的汉明距离来辨别不同飞行器间是否相似；

检索模块，用于利用飞行器的汉明距离确定数据集中与目标飞行器匹配的飞行器。

6.如权利要求5所述的系统，其特征在于，用块坐标求解法进行目标函数的求解，得到最终确定的哈希编码方式。

7.如权利要求5或6所述的系统，其特征在于，将所述目标函数转换为

进行求解，确定数据集中飞行器的哈希编码方式；其中，δ(·)是sigmoid函数，sgn(δ(B))为阶跃函数。

8.如权利要求5所述的系统，其特征在于，还包括一数据预处理模块，用于对飞行器数据进行缺失数据补充、插值计算，得到不包含缺失值的飞行器数据。

Images