CN111522975B - 等价连续变化的二值离散优化的非线性哈希图像检索方法 - Google Patents

等价连续变化的二值离散优化的非线性哈希图像检索方法 Download PDF

Info

Publication number
CN111522975B
CN111522975B CN202010161507.0A CN202010161507A CN111522975B CN 111522975 B CN111522975 B CN 111522975B CN 202010161507 A CN202010161507 A CN 202010161507A CN 111522975 B CN111522975 B CN 111522975B
Authority
CN
China
Prior art keywords
hash
optimization problem
binary
equivalent
binary discrete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010161507.0A
Other languages
English (en)
Other versions
CN111522975A (zh
Inventor
马青
白琮
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010161507.0A priority Critical patent/CN111522975B/zh
Publication of CN111522975A publication Critical patent/CN111522975A/zh
Application granted granted Critical
Publication of CN111522975B publication Critical patent/CN111522975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于等价连续变化二值离散优化的非线性哈希图像检索方法，包括以下步骤：步骤一、把一般哈希模型量化后得到的二值离散优化问题转为等价的连续优化问题，得到相应最优解；步骤二、从待查图像集D随机选取部分图像组成训练图像集T；步骤三、通过三层全连接网络构建非线性哈希函数；步骤四、通过量化相似性保持损失函数以及添加离散正交约束和位平衡约束，得到非线性哈希目标函数；步骤五、优化目标函数，用随机梯度下降法对网络参数进行优化，对二值码采用步骤一方法进行优化，并给出收敛性分析；步骤六、训练哈希函数；步骤七、计算哈希码进行图像检索。本发明累计误差较小、连续优化问题和二值离散优化问题等价、优化收敛、检索精度高。

Description

等价连续变化的二值离散优化的非线性哈希图像检索方法
技术领域
本发明涉及大数据领域的大数据处理与分析和计算机视觉领域的图像检索，特别用于哈希学习中离散优化方法和哈希学习图像检索。
背景技术
随着信息技术的快速发展以及大数据技术的推动，互联网、手机、物流网每天都会产生海量的图像数据，随之而来的存储和传输上的要求使得传统的图像检索技术已经不能适应大规模图像搜索，快速和紧凑的特征表示带来的高效的检索方法得到了广泛的研究。
哈希学习作为快速紧凑的特征表示的一种代表性方法，由于其效率高、占用存储空间小等特性，已经被广泛的用于大规模图像检索当中。哈希学习主要利用机器学习的方法从数据中学习到哈希函数，从而将高维复杂数据映射成紧凑的低维二进制码，并尽可能地保留原始图像空间中的近邻关系。这个过程通常可以量化为二值离散优化问题，但由于二值离散优化问题是NP问题，无法直接进行求解，因此很多方法都是采用混合整数优化方法，首先把二值码松弛为连续值进行优化，得到连续下的最优解，其次把连续最优值取整得到优化二值解。但在优化的过程中会造成累计误差较大、连续优化问题和二值离散优化问题不等价、优化不收敛等问题。
发明内容
为了克服现有哈希学习图像检索优化方法中存在的累计误差较大、连续优化问题和二值离散优化问题不等价、优化不收敛的不足，本发明提供一种累计误差较小、连续优化问题和二值离散优化问题等价、优化收敛的基于等价连续变化二值离散优化的非线性哈希图像检索。
本发明解决其技术问题所采用的技术方案是：
一种基于等价连续变化的二值离散优化的非线性哈希图像检索，包括以下步骤：
步骤1：提出基于等价连续变化的面对一般哈希学习模型的二值离散优化方法，过程如下：
步骤1.1：构建量化后的一般哈希学习模型，即为一个二值离散优化问题；
步骤1.2：把步骤1.1得到的二值离散优化问题等价转化为连续优化问题1；
步骤1.3：求解步骤1.2得到的连续优化问题；
步骤1.4：对步骤1.3得到的优化方法进行收敛性分析；
步骤1.5：对步骤1.1得到的二值离散优化问题添加正交约束和位平衡约束，并给出相应的优化方法和收敛性分析；
步骤2：从图像数据集中随机选取部分图像组成查询图像集Q，剩下图像组成待查图像集D，并从待查图像集D随机选取部分图像组成训练图像集T；
步骤3：对图像数据集采用深度残差网络提取深度特征，并采用主成分分析法将深度特征降维；
步骤4:通过三层全连接网络构建非线性哈希函数；
步骤5：通过量化相似性保持损失函数以及添加正则项、离散正交约束和位平衡约束，得到非线性哈希学习目标函数；
步骤6：根据交替方向法对步骤5得到的目标函数中的网络参数、二值码依次进行优化；
步骤7：分批输入训练图像集T的深度特征和标签信息，根据步骤6依次迭代至收敛，将得到的最优全连接网络权重系数代入步骤4得到哈希函数；
步骤8：通过步骤7得到的非线性哈希函数计算查询图像集和待查图像集的图像的哈希码，对查询图像集Q中每一张图像，计算其哈希码与待查图像集D中所有图像的哈希码的汉明距离，并根据汉明距离从小到大排序后得到检索结果；
经过以上的步骤，即得到基于等价连续变化的二值离散优化的非线性哈希图像检索。
进一步，所述步骤1.2的过程如下：
步骤1.2.1：把二值码等价为两个连续集合的交点；
步骤1.2.2：把步骤1.1得到的二值离散优化问题根据步骤1.2.1引入新的变量转化为等价的连续优化问题。
再进一步，所述步骤1.3的过程如下：
步骤1.3.1：对步骤1.2得到的连续优化问题通过引入新的变量把约束条件等价为约束等式，并加入约束目标函数，把连续优化问题1进一步等价为另一个连续优化问题；
步骤1.3.2：对步骤1.3.1得到的连续优化问题写出拉格朗日增广函数：
步骤1.3.3：用ADMM方法给出步骤1.3.2得到的拉格朗日增广函数的解的迭代过程，按迭代过程依次进行迭代。
更进一步，所述步骤1.4的过程如下：
步骤1.4.1：给出假设条件，并给出一些例子说明此假设条件易满足；
步骤1.4.2：在假设条件成立下证明由步骤1.3给出的迭代序列对应的拉格朗日增广函数值是递减的；
步骤1.4.3：在假设条件成立下证明由步骤1.3给出的迭代序列是有界的；
步骤1.4.4：在假设条件下证明由步骤1.3给出的迭代序列的任意聚点都收敛于步骤1.3给出的连续优化问题的平衡点；
步骤1.4.5：在假设条件下证明由步骤1.3给出的迭代序列全局收敛于步骤1.3 给出的连续优化问题的平衡点；
步骤1.4.6：给出了一个常用的哈希学习模型的二值离散方法并证明其收敛性。
所述步骤1.5的过程如下：
步骤1.5.1：添加位平衡约束，可以通过在目标函数上添加约束项转为步骤1.1 下的二值离散优化问题，同样可以采用步骤1.3的迭代方法，而且在满足假设条件的情况下同样满足全局收敛性；
步骤1.5.2：添加正交约束，引入新变量后可采用步骤1.3.1的方法化为等价的连续优化问题，同样可以采用步骤1.3的迭代方法，而且在满足假设条件的情况下同样满足全局收敛性。
所述步骤6的过程如下：
步骤6.1：网络参数优化，用随机梯度下降法和反向传播法进行优化；
步骤6.2：二值码优化，采用步骤1的基于等价连续变化的二值离散优化方法进行优化，并给出相应收敛性分析。本发明的技术构思为：首先提出了针对一般哈希模型的一种基于等价连续变化的二值离散优化方法，把一般的二值离散优化问题转化为等价的连续优化问题，采用ADMM优化方法得到相应的等价连续优化问题的最优解，并对此优化过程进行了收敛性分析，并证明了此最优解在满足一定条件下是全局收敛的，并且在二值离散优化问题上添加了正交约束和位平衡约束。其次把此二值离散优化方法应用于非线性离散哈希学习以及相应的图像检索过程中，通过构造非线性哈希函数、量化相似性误差以及添加正则项、正交约束和位平衡约束，采用前面所提出的二值离散优化方法和交替优化方法对目标函数进行优化，并进一步证明了此优化解是全局最优解，得到了一个鲁棒的保语义相似性的哈希函数，在检索中使用此哈希函数将目标图像特征转为哈希码，通过比较哈希码之间的汉明距离进行图像检索。
本发明的有益效果：把一般的哈希学习模型得到的二值离散优化问题转化为等价的连续优化问题，采用ADMM优化方法得到相应的等价连续优化问题的最优解，并对此优化过程进行了收敛性分析，并证明了此最优解在满足一定条件下是全局收敛的，并且在二值离散优化问题上添加了正交约束和位平衡约束，并给出了相应的优化方法和收敛性分析，并把此二值离散优化方法应用于非线性离散哈希学习以及相应的图像检索过程中，通过构造非线性哈希函数、量化相似性误差以及添加正则项、正交约束和位平衡约束，采用上面所提出的二值优化方法和交替优化方法对目标函数进行优化，并进一步证明了此优化解是全局最优解，得到了一个鲁棒的保语义相似性的哈希函数，在检索中使用此哈希函数将目标图像特征转为哈希码，通过比较哈希码之间的汉明距离进行图像检索。本发明把一般哈希学习模型经过量化后得到的二值离散优化问题转化为等价的连续优化问题，解决了二值优化过程中的松弛不等价问题，保证了优化的收敛性，可以用于一般的哈希学习模型，具有普适性；利用非线性函数和语义信息学习哈希函数，使得我们构建的哈希学习函数具有了更强的语义学习能力，挖掘更充分的图像之间的结构信息；引入正交约束和位平衡约束使哈希码具有更大的独立性和有效性，优化方法同样在一定条件下全局收敛，进一步加强查询的准确性。
附图说明
图1是基于等价连续变化的二值离散优化的非线性哈希图像检索方法框架示意图。
图2是基于等价连续变化的面对一般哈希学习模型的二值离散优化方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图对本发明进一步详细说明。
参照图1和图2，一种基于等价连续变化的二值离散优化的非线性哈希图像检索方法，包括以下步骤：
步骤1：参照图2，得到基于等价连续变化的面对一般哈希学习模型的二值离散优化方法，过程如下：
步骤1.1:构建量化后的一般哈希学习模型，即为一个二值离散优化问题：
Figure BDA0002405964110000061
其中B为原始图像集
Figure BDA0002405964110000062
对应的哈希码集，f(B)为一般哈希学习模型的目标函数。
步骤1.2：把步骤1.1得到的二值离散优化问题等价转化为连续优化问题，过程如下：
步骤1.2.1：把二值码等价为两个连续集合的交点，即：
Figure BDA0002405964110000063
其中Cb＝[-1,1]n×s，
Figure BDA0002405964110000064
||·||p表示Lp范数。
步骤1.2.2：把步骤1.1的一般哈希模型(1)转为等价的连续模型，即：
Figure BDA0002405964110000065
步骤1.3：对步骤1.2得到的连续优化问题(2)进行求解，给出迭代过程，过程如下：
步骤1.3.1：引入新的变量把约束条件等价为约束等式，并加入约束目标，把优化问题(3)等价转为下面等价模型：
Figure BDA0002405964110000066
其中C＝[C1；C2]，G＝[En；En]，
Figure BDA0002405964110000067
IA(C)是一个示性函数，即当C∈A时取0反之取+∞，E,O分别表示单位矩阵和零矩阵。
步骤1.3.2：给出优化问题(4)的拉格朗日增广函数，即：
Figure BDA0002405964110000071
其中γ,σ是正参数，Λ是参数矩阵，||·||表示Frobenius范数。
步骤1.3.3：按ADMM给出(5)的迭代过程，即按下面依次迭代：
Figure BDA0002405964110000072
步骤1.4：对步骤3得到的优化方法进行收敛性分析，证明满足一定条件下此优化方法得到的解是全局最优解，过程如下：
步骤1.4.1：给出以下假设条件：
Assumption 1：f,γ,σ满足：
(a1)f是二阶可微且为半代数函数；
(a2)存在τ＞0满足
Figure BDA0002405964110000073
(a3)
Figure BDA0002405964110000074
(a4)τ＜σ；
步骤1.4.2：证明了在满足Assumption 1下，由(6)得到的迭代序列
Figure BDA0002405964110000075
单调下降；
步骤1.4.3：证明了在满足Assumption 1下，由(6)得到的迭代序列
Figure BDA0002405964110000076
是有界的；
步骤1.4.4：证明了在满足Assumption 1下，由(6)得到的迭代序列
Figure BDA0002405964110000077
的任意一个聚点收敛到问题(4)的平衡点；
步骤1.4.5：证明了在满足Assumption 1下，由(6)得到的迭代序列
Figure BDA0002405964110000078
全局收敛到问题(4)的平衡点；
步骤1.4.6：给出了一个常用的哈希模型的二值离散优化算法并证明其收敛性，即
f(B)＝tr(BT AB)+αtr(PT B)， (7)
其中A为实对称阵，α为正常数，此时只需A的最小特征值大于0，即可满足Assumption 1，即由(6)得到的迭代序列全局收敛；
步骤1.5：对步骤1得到的二值离散优化问题添加正交约束和位平衡约束，并给出相应的优化方法，过程如下：
步骤1.5.1：添加位平衡约束，即问题(1)变为：
Figure BDA0002405964110000081
其等价为
Figure BDA0002405964110000082
其中1,0分别表示全为1和全为0的向量，(9)同样可以采用步骤3的迭代方法，而且在函数f满足Assumption 1的情况下问题(9)同样满足全局收敛性。
步骤1.5.2：添加正交约束，则问题(1)可转化为：
Figure BDA0002405964110000083
同样令C＝[C1；C2；C3]，G＝[En；En；En]即可采用步骤3的迭代方法，而且在函数f满足Assumption 1的情况下问题(10)同样满足全局收敛性；
步骤2：本实施案例中的图像分为10类，每类图像有60000张图像。从每类里随机选取100张图像一共1000张图像组成查询图像集Q，剩下59000张图像组成待查图像集D，并从待查图像集D中每类随机选取500张图像一共5000张图像组成训练图像集T；
步骤3：对图像数据集采用深度残差网络提取1024维深度特征，并用主成分分析法降维至200维；
步骤4:通过三层全连接网络构建非线性哈希函数，即：
h(x)＝sign(tanh(W(2)(tanh(W(1)x+c(1)))+c(2))) (11)
其中，sign(·)为符号函数，x为数据集图像特征，W、c表示各全连接层的参数。
令标签矩阵为
Figure BDA0002405964110000091
yi表示第i个图像的标签，令 F＝tanh(W(2)(tanh(W(1)X+c(1)))+c(2))和B＝sign(F)。
步骤5:通过量化相似性保持损失函数以及添加正则项、离散正交约束和位平衡约束，得到非线性哈希学习目标函数；
步骤5.1：构建相似性保持损失函数，即保证同一类别的哈希码的汉明距离小，不同类别的哈希码的汉明距离大，由于同一类别的图像和不同类别的图像数量不均衡，因此采用了加权相似矩阵，即：
Figure BDA0002405964110000092
其中
Figure BDA0002405964110000094
ls为同一类别对的数量，ld为不同类别对的数量，进一步(12)等价为
Qs＝tr(FTMF) (13)
其中M＝K-S,D为对角阵，Ki,i＝∑jSij.
步骤5.2：由于B＝sign(F)等价于优化问题
Figure BDA0002405964110000095
可以保证训练与检索过程一致，令：
Figure BDA0002405964110000096
和Qf＝Qs+λQb；
步骤5.3：加入正交离散约束和位平衡约束，保证二值码的独立性和均衡性，并加入正则项，得到目标函数，即：
Figure BDA0002405964110000101
s.t.B∈{-1,1},1TB＝0,BTB＝nEs (15)
步骤6：根据交替方向法对步骤5得到的目标函数中的网络参数、二值码依次进行优化，过程如下：
步骤6.1：网络优化，固定B不变，即优化：
Figure BDA0002405964110000102
步骤6.1.1：用随机梯度下降法和反向传播法进行优化，
Figure BDA0002405964110000103
而
Figure BDA0002405964110000104
其中F(1)＝tanh(W(1)X+c(1)),F(0)＝X。
进一步有：
Figure BDA0002405964110000105
Figure BDA0002405964110000106
其中Z(m)＝W(m)X+c(m),m＝1,2，⊙表示矩阵对应元素相乘并全部相加；
步骤6.1.2：网络参数用随机梯度下降法迭代：
Figure BDA0002405964110000107
Figure BDA0002405964110000108
步骤6.2：二值码优化，采用前述中的基于等价连续变化的二值离散优化方法进行优化，过程如下：
步骤6.2.1：固定网络参数不变，即优化
Figure BDA0002405964110000109
步骤6.2.2：用前述的基于等价连续变化的二值离散优化方法的步骤3和步骤5 给出拉格朗日增广函数：
Figure BDA0002405964110000111
步骤6.2.3：按照(6)给出迭代序列依次进行迭代，过程如下：
步骤6.2.3.1：更新
Figure BDA0002405964110000112
计算可得Bk+1满足：
Figure BDA0002405964110000113
步骤6.2.3.2：更新
Figure BDA0002405964110000114
由于C＝[C1；C2；C3]，分成三个子问题：
Figure BDA0002405964110000115
子问题：经过计算后得到C1 k+1满足：
Figure BDA0002405964110000116
Figure BDA0002405964110000117
子问题：经过计算后得到C2 k+1满足：
Figure BDA0002405964110000118
其中P表示投影函数；
Figure BDA0002405964110000119
子问题：
Figure BDA00024059641100001110
子问题可表示为：
Figure BDA00024059641100001111
利用SVD分解和QR分解可以得到优化解；
步骤6.2.3.3：更新
Figure BDA00024059641100001112
可得
Figure BDA00024059641100001113
步骤6.2.3.4：更新Λk+1:＝Λk+σ(GBk+1-Ck+1-Zk+1)；
步骤6.2.4：给出收敛性分析，证明上述迭代过程产生的序列全局收敛到二值优化问题的平衡点；
步骤7：分批输入训练图像集T的深度特征和标签信息，根据步骤6依次迭代至收敛，将得到的最优全连接网络权重系数代入步骤4得到哈希函数；
步骤8：通过步骤7得到的非线性哈希函数计算查询图像集和待查图像集的图像的哈希码，对查询图像集Q中每一张图像，计算其哈希码与待查图像集D中所有图像的哈希码的汉明距离，并根据汉明距离从小到大排序后得到检索结果；
经过以上的步骤，即得到基于等价连续变化二值离散优化的非线性哈希图像检索。以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种等价连续变化的二值离散优化的非线性哈希图像检索方法，其特征在于，所述方法包括以下步骤：
步骤1：提出基于等价连续变化的面对一般哈希学习模型的二值离散优化方法，过程如下：
步骤1.1:构建量化后的一般哈希学习模型，所述量化后的一般哈希学习模型为一个二值离散优化问题：
Figure FDA0003371588890000011
其中B为原始图像集
Figure FDA0003371588890000012
对应的哈希码集，f(B)为一般哈希学习模型的目标函数；
步骤1.2：把步骤1.1得到的二值离散优化问题等价转化为连续优化问题，过程如下：
步骤1.2.1：把二值码等价为两个连续集合的交点，即：
Figure FDA0003371588890000013
其中Cb＝[-1,1]n×s，
Figure FDA0003371588890000014
||·||p表示Lp范数；
步骤1.2.2：把步骤1.1的一般哈希模型(1)转为等价的连续模型，即：
Figure FDA0003371588890000015
步骤1.3：对步骤1.2得到的连续优化问题(2)进行求解，给出迭代过程，过程如下：
步骤1.3.1：引入新的变量把约束条件等价为约束等式，并加入约束目标，把优化问题(3)等价转为下面等价模型：
Figure FDA0003371588890000016
其中C＝[C1；C2]，G＝[En；En]，
Figure FDA0003371588890000017
IA(C)是一个示性函数，即当C∈A时取0反之取+∞，E,O分别表示单位矩阵和零矩阵；
步骤1.3.2：给出优化问题(4)的拉格朗日增广函数，即：
Figure FDA0003371588890000018
其中γ,σ是正参数，Λ是参数矩阵，||·||表示Frobenius范数；
步骤1.3.3：按ADMM给出(5)的迭代过程，即按下面依次迭代：
Figure FDA0003371588890000021
步骤1.4：对步骤1.3得到的优化方法进行收敛性分析；
步骤1.5：对步骤1.1得到的二值离散优化问题添加正交约束和位平衡约束，并给出相应的优化方法和收敛性分析；
步骤2：从图像数据集中随机选取部分图像组成查询图像集Q，剩下图像组成待查图像集D，并从待查图像集D随机选取部分图像组成训练图像集T；
步骤3：对图像数据集采用深度残差网络提取深度特征，并采用主成分分析法将深度特征降维；
步骤4:通过三层全连接网络构建非线性哈希函数；
步骤5：通过量化相似性保持损失函数以及添加正则项、离散正交约束和位平衡约束，得到非线性哈希学习目标函数；
步骤6：根据交替方向法对步骤5得到的目标函数中的网络参数、二值码依次进行优化；
步骤7：分批输入训练图像集T的深度特征和标签信息，根据步骤6依次迭代至收敛，将得到的最优全连接网络权重系数代入步骤4得到哈希函数；
步骤8：通过步骤7得到的非线性哈希函数计算查询图像集和待查图像集的图像的哈希码，对查询图像集Q中每一张图像，计算其哈希码与待查图像集D中所有图像的哈希码的汉明距离，并根据汉明距离从小到大排序后得到检索结果；
经过以上的步骤，即得到基于等价连续变化二值离散优化的非线性哈希图像检索。
2.如权利要求1所述的等价连续变化的二值离散优化的非线性哈希图像检索方法，其特征在于，所述步骤1.4的过程如下：
步骤1.4.1：给出假设条件，并给出一些例子说明此假设条件易满足；
步骤1.4.2：在假设条件成立下证明由步骤1.3给出的迭代序列对应的拉格朗日增广函数值是递减的；
步骤1.4.3：在假设条件成立下证明由步骤1.3给出的迭代序列是有界的；
步骤1.4.4：在假设条件下证明由步骤1.3给出的迭代序列的任意聚点都收敛于步骤1.3给出的连续优化问题的平衡点；
步骤1.4.5：在假设条件下证明由步骤1.3给出的迭代序列全局收敛于步骤1.3给出的连续优化问题的平衡点；
步骤1.4.6：给出了一个常用的哈希学习模型的二值离散方法并证明其收敛性。
3.如权利要求1所述的等价连续变化的二值离散优化的非线性哈希图像检索方法，其特征在于，所述步骤1.5的过程如下：
步骤1.5.1：添加位平衡约束，通过在目标函数上添加约束项转为步骤1.1下的二值离散优化问题，同样采用步骤1.3的迭代方法，而且在满足假设条件的情况下同样满足全局收敛性；
步骤1.5.2：添加正交约束，引入新变量后采用步骤1.3.1的方法化为等价的连续优化问题，同样采用步骤1.3的迭代方法，而且在满足假设条件的情况下同样满足全局收敛性。
4.如权利要求1所述的等价连续变化的二值离散优化的非线性哈希图像检索方法，其特征在于，所述步骤6的过程如下：
步骤6.1：网络参数优化，用随机梯度下降法和反向传播法进行优化；
步骤6.2：二值码优化，采用步骤1的基于等价连续变化的二值离散优化方法进行优化，并给出相应收敛性分析。
CN202010161507.0A 2020-03-10 2020-03-10 等价连续变化的二值离散优化的非线性哈希图像检索方法 Active CN111522975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161507.0A CN111522975B (zh) 2020-03-10 2020-03-10 等价连续变化的二值离散优化的非线性哈希图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161507.0A CN111522975B (zh) 2020-03-10 2020-03-10 等价连续变化的二值离散优化的非线性哈希图像检索方法

Publications (2)

Publication Number Publication Date
CN111522975A CN111522975A (zh) 2020-08-11
CN111522975B true CN111522975B (zh) 2022-04-08

Family

ID=71910187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161507.0A Active CN111522975B (zh) 2020-03-10 2020-03-10 等价连续变化的二值离散优化的非线性哈希图像检索方法

Country Status (1)

Country Link
CN (1) CN111522975B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069173A (zh) * 2015-09-10 2015-11-18 天津中科智能识别产业技术研究院有限公司 基于有监督的拓扑保持哈希的快速图像检索方法
CN108427729A (zh) * 2018-02-23 2018-08-21 浙江工业大学 一种基于深度残差网络与哈希编码的大规模图片检索方法
CN109766469A (zh) * 2018-12-14 2019-05-17 浙江工业大学 一种基于深度哈希学习优化的图像检索方法
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068023A1 (en) * 2016-09-07 2018-03-08 Facebook, Inc. Similarity Search Using Polysemous Codes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069173A (zh) * 2015-09-10 2015-11-18 天津中科智能识别产业技术研究院有限公司 基于有监督的拓扑保持哈希的快速图像检索方法
CN108427729A (zh) * 2018-02-23 2018-08-21 浙江工业大学 一种基于深度残差网络与哈希编码的大规模图片检索方法
CN109766469A (zh) * 2018-12-14 2019-05-17 浙江工业大学 一种基于深度哈希学习优化的图像检索方法
CN110765281A (zh) * 2019-11-04 2020-02-07 山东浪潮人工智能研究院有限公司 一种多语义深度监督跨模态哈希检索方法

Also Published As

Publication number Publication date
CN111522975A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110807154B (zh) 一种基于混合深度学习模型的推荐方法与系统
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
Wang et al. A deep convolutional neural network for topology optimization with perceptible generalization ability
CN111461157B (zh) 一种基于自学习的跨模态哈希检索方法
Yin et al. Incomplete multi-view clustering via subspace learning
CN109766469B (zh) 一种基于深度哈希学习优化的图像检索方法
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN109284411B (zh) 一种基于有监督超图离散化图像二值编码方法
CN114329232A (zh) 一种基于科研网络的用户画像构建方法和系统
CN112800344B (zh) 一种基于深度神经网络的电影推荐方法
CN111832637B (zh) 基于交替方向乘子法admm的分布式深度学习分类方法
Nie et al. Robust subspace clustering with low-rank structure constraint
CN112733027A (zh) 一种基于局部和全局表示模型联合学习的混合推荐算法
CN111026887B (zh) 一种跨媒体检索的方法及系统
Liu et al. An improved Adam optimization algorithm combining adaptive coefficients and composite gradients based on randomized block coordinate descent
Zhang et al. CapsNet-based supervised hashing
CN111046280B (zh) 一种应用fm的跨领域推荐方法
CN111522975B (zh) 等价连续变化的二值离散优化的非线性哈希图像检索方法
CN116244484B (zh) 一种面向不平衡数据的联邦跨模态检索方法及系统
CN111563180A (zh) 一种基于深度哈希方法的商标图像检索方法
CN114281950B (zh) 基于多图加权融合的数据检索方法与系统
CN116340635A (zh) 物品推荐方法、模型训练方法、装置及设备
Zhao et al. Dual alignment self-supervised incomplete multi-view subspace clustering network
CN110794893A (zh) 一种面向量子计算的多层噪声高精度温度控制方法
CN117593527B (zh) 一种基于链式感知的指向性3d实例分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant