CN109284411A - 一种基于有监督超图离散化图像二值编码方法 - Google Patents

一种基于有监督超图离散化图像二值编码方法 Download PDF

Info

Publication number
CN109284411A
CN109284411A CN201810402753.3A CN201810402753A CN109284411A CN 109284411 A CN109284411 A CN 109284411A CN 201810402753 A CN201810402753 A CN 201810402753A CN 109284411 A CN109284411 A CN 109284411A
Authority
CN
China
Prior art keywords
hypergraph
function
hash
vertex
supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810402753.3A
Other languages
English (en)
Other versions
CN109284411B (zh
Inventor
王轩
张喜
漆舒汉
蒋琳
廖清
姚霖
李晔
关键
刘泽超
吴宇琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Publication of CN109284411A publication Critical patent/CN109284411A/zh
Application granted granted Critical
Publication of CN109284411B publication Critical patent/CN109284411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2451Classification techniques relating to the decision surface linear, e.g. hyperplane

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及图像数据处理领域,特别涉及一种基于有监督超图离散化图像二值编码方法。该方法包括以下步骤:S1.假设一个由n幅图像组成训练集,将训练集所有样本通过学习哈希函数映射到汉明空间的二值化哈希码;S2.定义一个线性多分类模型,采用优化函数对离散化变量进行优化,得出第一目标函数;S3.采用超图对数据哈希码之间的距离度量一致性进行约束,得出第二目标函数;S4.整合第一目标函数和第二目标函数,得到完整的目标函数,采用“位循环坐标下降方法”学习哈希码矩阵,并通过迭代运算优化目标函数。本发明既可以保持数据在原始空间相似性,又能提高检索的准确率。

Description

一种基于有监督超图离散化图像二值编码方法
技术领域
本发明涉及图像数据处理领域,特别涉及一种基于有监督超图离散化图像二值编码方 法。
背景技术
随着互联网的快速发展,互联网上图像的数据量呈现出爆炸式的增长。与此同时,迅速 增长的图片资源使得用户难以在浩如烟海的图像中找到真正所需要的图片信息。基于文本的 传统图像检索方法是采用人工的手段对图像标注,利用文字标签信息进行检索。但是,随着 图像数据的快速增加,人工标注图片太过费力,耗时较长,并带有主观偏差,而且有些图片 根本无法用文本信息来进行描述。因此基于内容的图像检索(CBIR)便应运而生。
基于内容的图像检索(CBIR)核心是利用图像的可视化特征对图像进行检索,典型的 CBIR系统,允许用户输入一张图片,以检索具有相同或者相似内容的图片。CBIR所面临的 一个基本问题是当特征维度高且数据量非常庞大时,数据存储空间将随着特征维度的增加, 迅速增加,检索效率会随之降低,这种现象称为“维度灾难”。
为了解决这个问题,人们发明了哈希的相关算法,即基于哈希的图像检索方法,可以有 效解决维度灾难带来检索效率低等问题。哈希方法引入近似的概念,认为在大规模数据检 索中,用户更注重的是检索效率,而对检索的准确性不做过高的要求。对于大规模数据的检 索,近似的检索结果就能满足用户的检索需求。从而在解决实际大规模数据检索问题时,可 以合理的牺牲检索精度,来提高检索的效率。
基于哈希的图像检索方法,寻求在保持原始空间相似性前提下,将高维数据通过哈希函 数映射到汉明空间,并保持原始空间的语义相似性,因此可以直接在汉明空间,用汉明距离 代替原始空间的欧氏距离行快速检索,同时还能保持较高的准确性。通过线下学习原始数据 的哈希码,对于新查询的数据,可以大幅提高其在数据中的检索速度,满足实际的检索需求。
发明内容
本发明提供一种基于有监督超图离散化图像二值编码方法,旨在解决大规模图像数据的 检索质量和检索效率问题。
本发明提供一种种基于有监督超图离散化图像二值编码方法,包括以下步骤:
S1.假设一个由n幅图像组成训练集,将训练集所有样本通过学习哈希函数映射到汉明 空间的二值化哈希码;
S2.定义一个线性多分类模型,采用优化函数对离散化变量进行优化,得出第一目标函 数;
S3.采用超图对数据哈希码之间的距离度量一致性进行约束,得出第二目标函数;
S4.整合第一目标函数和第二目标函数,得到完整的目标函数,采用“位循环坐标下降 方法”学习哈希码矩阵,并通过迭代运算优化目标函数。
作为本发明的进一步改进,所述步骤S1具体包括:
假设训练集{(xi∈R1×d),i=1,2,...,n}由n幅图像组成,其中xi表示第i幅图像的d维特征 向量,用X=[x1,...,xn]∈Rd×n表示训练集,{(bi∈{-1,+1}1×r),i=1,2,...,n}是训练集所有样本通 过学习哈希函数映射到汉明空间的二值化哈希码,每个样本的哈希码长度为r,r取值一般较 小数十位到数百位不等,哈希码码位取值为-1或者+1,用B=[b1,...,bn]∈{-1,+1}r×n表示训练 集对应的哈希编码结果;
学习得到一系列哈希函数:
H(x)={h1(x),…,hk(x)} (2-1)
将哈希函数值进行量化成二值化的哈希码,过程如下:
bi=sgn(H(xi)),i=1,...,n (2-2)
sgn(·)是符号函数;
哈希函数采用如下非线性形式:
H(x)=PTΦ(x) (2-3)
其中P=[p1,p2,…,pr]∈Rd×r是哈希函数的线性变换矩阵,Φ(x)是关于原始图像的非线 性映射函数:
Φ(x)=[exp(||x-a1||2/σ),exp(||x-a2||2/σ),...,exp(||x-am||2/σ)]T
是一组从训练集中随机选取的锚点,σ是一个常数。
作为本发明的进一步改进,所述步骤S2具体包括:
现定义一个线性多分类模型如下所示:
y=F(b)=WTb=[w1 Tb,....,wr Tb]T (2-4)
其中{wk∈Rr×1,k=1,...,C}是数据样本所属类别k的参数向量,总共有C个类别,y∈Rr×1是各个类别的激活值,与标签对应。根据WTb的最大值yk对应的类标,将样本数据点x分类 到第k个类别。采用下面的优化函数:
上式中是分类损失函数,表示训练集的分类误差,度量学习到哈希码的分 类质量。λ是正则化参数,Y=[y1,...,yn]∈RC×n是训练集的真实标签矩阵,满足下面的约束 条件。||·||是L2范数。α是哈希函数H(xi)拟合哈希码bi错误率的惩罚参数。理论上,bi与 H(xi)之间距离尽量小,所以参数α的值尽量大。b
用矩阵表示进行化简:
作为本发明的进一步改进,所述步骤S3包括:
S31.超图构建:
构建超图表示为G=(V,E,W),V表示顶点集合,E表示超边集合,W表示超边对应的权 重集合,其中,训练集中的每一个数据点可以表示为一个顶点,而每个顶点与他的k-近邻 的数据点表示为一条超边。
作为本发明的进一步改进,所述步骤S31具体为:
超图G用|V|×|E|规模的关联矩阵(|·|表示求基数操作),G中的顶点vi与超边ej的 关联度可以表示为:
其中dist(xi,xj)表示顶点vi与vj之间的距离,dist(xi,xj)=||xi-xj||2,kdist(vj)表示顶 点vj与他的k-近邻顶点集合。对于每条超边的度δ(ej)被定义为
相似度一致性通过超边包含的顶点之间的特征的相似度来计算:
其中,a和b表示任意两个顶点,σej是规范化因子,本文采用该超边所包含的顶点之间距离的平均值作为规范化因子:
作为本发明的进一步改进,所述步骤S3包括:
S32.构建损失项如式:
其中是超图中两个顶点之间的权重,其中Lhyper是超图的 归一化拉普拉斯矩阵,根据Lhyperm=I-M计算:其中Dv,De,Dw是图像特征所构建超图对应的顶点的度、超边的度和超边权重的对角矩阵,构造如下:
作为本发明的进一步改进,所述步骤S4包括:
整合第一目标函数和第二目标函数,得到完整的目标函数:
作为本发明的进一步改进,所述在优化目标函数式2-13时需要优化的参数是B,W,H, 分步优化该三个参数。包括:
H-Step在求解H时,应固定B和W,将其视为常数:
minα||B-H(X)||2=||B-PTΦ(X)||2 (2-14)
2-14式对P求偏导为0,求得解析解为:P=(Φ(X)Φ(X)T)-1Φ(X)BT
W-Step在求解W时,应固定H和B,将其视为常数:
min||Y-WTB||2+λ||W||2 (2-15)
2-15式对W求偏导为0,求得解析解为W=(BBT+λI)-1BYT
B-step在求解B时,按照求解W和H一样的方法,应固定W和H,将其转化成如下形式:
对2-16进行化简成如下的形式:
其中M采用归一化拉普拉斯矩阵L=I-M,引入辅助变量Q=WY+αH(X),2-17式等价于2-18:
作为本发明的进一步改进,所述采用“位循环坐标下降方法”学习哈希码B矩阵的过程 为:
先令bT是B的第l行向量,B′是B去掉b剩余的部分。相似的,qT是Q的第l行向量,Q′是Q去掉q剩余的部分,vT是Q的第l行向量,W′是W去掉v剩余的部分,将上式进行化简:
式中||bvT||2=Tr(vbTbvT)=nvvT=const,同理,
Tr(BTQ)=const+qTb (2-20)
对于tr(BMBT)按照逐位下降法思想,化简为:
Tr(BMBT)=const+bTMb (2-21)
那么式子2-15等价形式如下式(4-19)所示:
作为本发明的进一步改进,2-22式使用“符号梯度”方法进行求解,定义一个局部函数 来线性替代f(b)在点bj+1处的取值,使用作为f(b)的近似函数对b作离散优化; 给定bj,在推导bj+1时,有
对于bj+1要保证它的存在,引入一个指示函数并更新bj
bj+1:=sgn(C(▽f(bj),bj))=sgn(C(B′W′v-q-βMbj),bj) (2-23)
当所有元素不再更新时,终止迭代。
本发明的有益效果是:本发明通过机器学习方法,构建高效哈希函数,将原始空间中的 数据特征映射到汉明空间,保持数据相似性,在汉明空间中计算哈希码相似度。在学习哈希 函数时,利用数据的标签信息对图像语义信息的表示作用,同时引入超图方法,通过超图构 建数据内部高阶语义相关性,保证数据在原始空间和在汉明空间距离一致性。在学习哈希函 数时放弃“松弛”的策略,直接对离散变量约束优化问题进行求解。采用“离散循环坐标下 降”算法,引入一个辅助变量,逐位学习所有样本数据的哈希码。在逐位学习哈希码过程中, 构造非线性哈希函数,因为非线性函数与线性函数相比对特征具有更好的表达能力。同时, 利用标签信息,学习二值化哈希码可以认为是对二值化特征向量进行分类,采用线性分类器 对哈希码进行二值分类,生成二值化哈希码的区分性更强。本方法充分考虑近似样本点对在 汉明空间与原始语义一致的原则,原始空间近似样本点对映射到汉明空间之后,哈希码尽量 一致,而且产生紧致的哈希码。既可以保持数据在原始空间相似性,又能提高检索的准确率。
附图说明
图1是本发明中基于哈希的图像检索框架图;
图2是本发明中普通连通图与超图的对比图;
图3是本发明中验方法的在采用不同码长时的结果对比图;
图4是本发明中不同实验方法的准确率-召回率曲线对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发 明进行进一步详细说明。
本发明的一种基于有监督超图离散化图像二值编码方法具体如下:
1、假设与定义
假设训练集{(xi∈R1×d),i=1,2,...,n}由n幅图像组成,其中xi表示第i幅图像的d维特征 向量,用X=[x1,...,xn]∈Rd×n表示训练集,{(bi∈{-1,+1}1×r),i=1,2,...,n}是训练集所有样本通 过学习哈希函数映射到汉明空间的二值化哈希码,每个样本的哈希码长度为r,r取值一般较 小数十位到数百位不等,哈希码码位取值为-1或者+1。用B=[b1,...,bn]∈{-1,+1}r×n表示训练 集对应的哈希编码结果。哈希学习的目的是学习训练集X的二值化的哈希码B,并尽量保持 语义相似性。
基于哈希的图像检索算法目标是学习得到一系列哈希函数:
H(x)={h1(x),…,hk(x)} (2-1)
然后将哈希函数值进行量化成二值化的哈希码,过程如下:
bi=sgn(H(xi)),i=1,...,n (2-2)
sgn(·)是符号函数,哈希函数采用非线性哈希函数,非线性变换相比线性变换,对原始 数据特征具有更强的表达能力,能够产生紧致的哈希码,而且这些哈希码可以保持原始数据 的近邻性。哈希函数采用如下非线性形式:
H(x)=PTΦ(x) (2-3)
其中P=[p1,p2,…,pr]∈Rd×r是哈希函数的线性变换矩阵,Φ(x)是关于原始图像的非线 性映射函数:
Φ(x)=[exp(||x-a1||2/σ),exp(||x-a2||2/σ),...,exp(||x-am||2/σ)]T
是一组从训练集中随机选取的锚点,σ是一个常数。H(x)相当于将训练样本X经 过非线性映射后做旋转,旋转后数据样本的维度较低,起到降维的作用,其次,旋转后的矩 阵相比原始数据具有可区分性,生成对应的二值化的哈希码能够近似表示原始数据。
2、有监督学习的离散哈希
为了充分利用数据样本点的标签信息,考虑使用线性分类框架解决学习哈希码问题,等 价于将学习最优线性分类器和学习最优哈希码结合起来同时学习,希望学习到的哈希码,对 线性分类器的分类是最优的。现定义一个线性多分类模型如下所示:
其中{wk∈Rr×1,k=1,...,C}是数据样本所属类别k的参数向量,总共有C个类别,y∈Rr×1是各个类别的激活值,与标签对应。根据WTb的最大值yk对应的类标,将样本数据点x分类 到第k个类别。采用下面的优化函数:
上式中是分类损失函数,表示训练集的分类误差,度量学习到哈希码的分 类质量。λ是正则化参数,Y=[y1,...,yn]∈RC×n是训练集的真实标签矩阵,满足下面的约束 条件。||·||是L2范数。α是哈希函数H(xi)拟合哈希码bi错误率的惩罚参数。理论上,bi与H(xi) 之间距离尽量小,所以参数α的值尽量大。b
用矩阵表示进行化简:
上式优化模型直接对离散化变量优化,令bi∈{-1,+1}r×n替换bi=sgn(H(xi)),这样可以 减小在量化过程中产生的量化误差,提高哈希码的质量。因为如果采用“松弛“策略,令 bi=sgn(H(xi)),放弃bi的离散约束限制,获得bi的近似解,再采用量化措施,获得二值化哈 希码,会产生量化误差,大部分现存算法都采用这种措施,很显然这类方法获得的解是次最 优解。
3、基于超图距离度量一致性的哈希函数
由于学习哈希的准则是原始空间中相近的两个数据点映射到汉明空间生成的哈希码之 间应当具有较小的汉明距离。上述的有监督模型和量化损失模型都并未对这一点作直接约 束。本方法根据谱图分析理论,引入超图(Hypergraph)的概念,对数据哈希码之间的距离 度量一致性进行约束。
3.1、超图构建
与普通的连通图不同,超图是一种在谱图的基础上进行拓展能表示顶点之间连接关系的 方法。图2中分别展示了一个简单的谱图、超图模型以及图与超图之间的联系。在谱图中, 一条边通常只连接两个顶点,而在超图中,每一条超边可能同时连接三个以上顶点。同时, 谱图中,边与边之间最多只能共享一个顶点,而在超图中超边之间可能同时共享多个顶点。 从以上几点区别可以看出,谱图只能描述数据点之间的简单关系,而超图则可以表示数据之 间的某些高阶关系。
对于图像的特征oi来讲,其构建的超图可以表示为G=(V,E,W),V表示顶点集合,E表示超边集合,W表示超边对应的权重集合。训练集中的每一个数据点可以表示为一个顶点, 而每个顶点与他的k-近邻的数据点表示为一条超边。在超图中,通常超边的数量与顶点的 数量是相等的,而每条超边包含k+1个顶点。顶点之间的相似性通过原始特征之间的距离 来度量。具体来讲,超图G可以用|V|×|E|规模的关联矩阵(|·|表示求基数操作),G中的 顶点vi与超边ej的关联度可以表示为:
其中dist(xi,xj)表示顶点vi与vj之间的距离,dist(xi,xj)=||xi-xj||2,kdist(vj)表示顶 点vj与他的k-近邻顶点集合。对于每条超边的度δ(ej)被定义为
由于每条超边都包含了k+1个顶点,因此每条超边的度都为k+1。因此,为了衡量不同超边的重要性,本文采用了相似度一致性来度量超边的权重。在本文中,相似度一致性通过超边包含的顶点之间的特征的相似度来计算:
其中,a和b表示任意两个顶点,σej是规范化因子,本文采用该超边所包含的顶点之间距离的平均值作为规范化因子:
3.2、采用超图正则化的哈希函数
采用超图实现对哈希码的距离度量一致性约束,实际上是要求数据在映射至汉明空间后 的距离度量与超图构建的流形空间内的距离度量相一致。即在原特征构成的流形空间内,在 局部空间内呈线性关系的数据点之间都是相似的,在映射至汉明空间后,数据点之间的汉明 距离仍然要求较小,反之,在原流形空间中距离较远的数据点,在映射至汉明空间后,数据 点之间的汉明距离则要求较远。由于超图可以保留数据流形空间内部的高阶关系,所以采用 超图对映射特征进行约束可以有效改善映射后特征的平滑度,构建损失项如式:
其中Aij=Σe∈EΣ(i,j)∈e(w(e)/δ(e))是超图中两个顶点之间的权重,其中Lhyper是超图的 归一化拉普拉斯矩阵,可以根据Lhyperm=I-M计算:其中Dv, De,Dw是图像特征所构建超图对应的顶点的度、超边的度和超边权重的对角矩阵,构造如 下:
4、优化方法
通过对目标函数2-6和2-11的整合,得到完整目标函数:
在优化目标函数式2-13时需要优化的参数是B,W,H。一次优化所有的参数十分困难, 采用分布优化策略。
H-Step在求解H时,应固定B和W,将其视为常数:
min α||B-H(X)||2=||B-PTΦ(X)||2 (2-14)
2-14式对P求偏导为0,求得解析解为:P=(Φ(X)Φ(X)T)-1Φ(X)BT
W-Step在求解W时,应固定H和B,将其视为常数:
min||Y-WTB||2+λ||W||2 (2-15)
2-15式对W求偏导为0,求得解析解为W=(BBT+λI)-1BYT
B-step在求解B时,按照求解W和H一样的方法,应固定W和H,将其转化成如下形式:
但是自变量B∈{-1,+1}r×n取值-1或者+1是离散值,导致G(B)是非凸的不连续函数,无 法通过普通数值求解方法求解出B。大部分现存算法都是采用“松弛措施”,先将B的子元 素bi∈{-1,+1}n放松为{-1≤bij≤+1,j=1,…n},再通过普通数值解求解方法,求解出最优值B。 但是这类方法基本上都忽视了由于“松弛”导致的误差问题,误差积累会影响哈希码的质量。 本文对约束变量B仍要求取离散值,采用“位循环坐标下降”方法,进行r次迭代运算, 在迭代到第k次时,计算所有样本n的第k位哈希码,效率非常高效。
对2-16进行化简成如下的形式:
其中M采用归一化拉普拉斯矩阵L=I-M,引入辅助变量Q=WY+αH(X),2-17式等价于2-18
采用“位循环坐标下降方法”学习哈希码B矩阵,逐位学习B,B是长度为r的哈希码,样本数量为n,在学习过程中先学习所有样本的第1位哈希码,接着在第一位哈希码基础上学 习第2位哈希码,如此迭代r次,即可完成n个样本的所有r位哈希码矩阵B的学习。
具体过程是先令bT是B的第l行向量,B′是B去掉b剩余的部分。相似的,qT是Q的第l行 向量,Q′是Q去掉q剩余的部分,vT是Q的第l行向量,W′是W去掉v剩余的部分,将上式进行化简:
式中||bvT||2=Tr(vbTbvT)=nvvT=const,同理,
Tr(BTQ)=const+qTb (2-20)
对于tr(BMBT)按照逐位下降法思想,化简为:
Tr(BMBT)=const+bTMb (2-21)
那么式子2-15等价形式如下式(4-19)所示:
模型2-22是一个二次离散优化问题,使用“符号梯度”方法进行求解,符号梯度算法 采用一个简单的迭代上升过程,在第j次算法迭代,我们定义一个局部函数来线性替代 f(b)在点bj+1处的取值,使用作为f(b)的近似函数对b作离散优化。给定bj,在推导bj+1时,有此处有这么一种情形,导数▽f(bj)的值 全为0的情况,对于bj+1要保证它的存在,引入一个指示函数采用下面 的策略更新bj
bj+1:=sgn(C(▽f(bj),bj))=sgn(C(B′W′v-q-βMbj),bj) (2-23)
当所有元素不再更新时,终止迭代。现在分析上述式子的收敛性,由于矩阵M是低秩 半正定,f函数是一个凸函数,因而对任意的b有进而有由于f(bj)是收敛的,那么bj也是收敛的。
本发明通过实验进行验证:
1、实验设置
为了验证本方法的有效性,将本方法应用在公开数据集Caltech-256上进行实验。.
Caltech-256:包含30607张彩色图像,该数据集由256个类(包括动物、交通工具、花等) 组成,每个类包含不少于80幅图像,大多数图像为中等分辨率。该图像数据集有复杂的背 景且类内各个物体之间变化很大,该数据集并没有提供特征数据,实验分别提取gist和cnn 特征。实验时随机选取1000图片数据作为查询数据集,余下的数据作为训练集。
本方法实验开发环境如表1所示:
表1、实验开发环境
在采用哈希方法的图像检索时,由于学习哈希码的过程是在离线方式训练的。在这个过 程中将学习到的训练集哈希码存入数据库中。在查询一幅图像时,首先通过哈希函数对图像 进行哈希编码,然后将得到的哈希码与数据库中保存的哈希码进行对比,计算相似度。这个 过程是通过计算机硬件“异或”操作完成,速度较快。
一般在评价一个图像检索技术的好坏,主要是从准确率(Precision)、召回率(Recall)、 平均准确率均值(MAP)等几个方面进行衡量。
准确率也叫查准率,是指检索出的相关文档与检索出的文档总数的比例。
召回率也叫查全率,是指检索出的相关文档数和文档库中所有的相关文档数的比例。
平均准确率均值表示不同召回率的点上的正确率的平均值,
2、现有方法对比
(1)LSH:位置敏感哈希(Locality Sensitive Hashing),基于随机投影的哈希方法,投影 矩阵服从高斯分布。
(2)ITQ:迭代量化哈希(Iterative Quantization Hashing),采用PCA降维方法,并做正 交随机旋转。
(3)SH:谱哈希(Spectral Hashing),采用谱分析和拉普拉斯算子求解哈希码。
(4)AGH:锚图(Hashing with Graphs),采用流形学习、锚点以及分层哈希策略。
(5)SDH:监督离散哈希(Supervised Discrete Hashing),直接求解离散变量的目标函数。
3、实验结果
实验结果如图3和图4所示:
图3展示了所有算法在三个数据集上平均准确率的均值(MAP)随编码码长的变化曲线。 当编码长度较短时,基于随机投影的方法(LSH)的MAP值较低,而基于机器学习的方法 (ITQ、SH、AGH、SDH)有相对较高的MAP。当编码码长增加时,基于机器学习的方法 的性能提升效果明显。当编码码长小于64位时,采用”离散“的优化方法如SDH以及本方 法,效果要明显好于采用”松弛“的优化方法,表明离散地优化方式学习到的哈希码更紧致。 同时本文提出的离散图哈希方法主要对相似样本进行约束,同时结合“离散”优化策略,即 使码长较短性能指标均优于其他哈希方法。
图4展示了所有算法在汉明半径为2、编码码长为64位,准确率-召回率变化曲线图。 准确率-召回率曲线很好反映了检索性能好坏。他们与横轴与纵轴的坐标面积是MAP,从实 验结果可以明显看出,本方法的检索性能要好于其他对比算法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明 的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本 发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于有监督超图离散化图像二值编码方法,其特征在于,包括以下步骤:
S1.假设一个由n幅图像组成训练集,将训练集所有样本通过学习哈希函数映射到汉明空间的二值化哈希码;
S2.定义一个线性多分类模型,采用优化函数对离散化变量进行优化,得出第一目标函数;
S3.采用超图对数据哈希码之间的距离度量一致性进行约束,得出第二目标函数;
S4.整合第一目标函数和第二目标函数,得到完整的目标函数,采用“位循环坐标下降方法”学习哈希码矩阵,并通过迭代运算优化目标函数。
2.根据权利要求1所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S1具体包括:
假设训练集{(xi∈R1×d),i=1,2,...,n}由n幅图像组成,其中xi表示第i幅图像的d维特征向量,用X=[x1,...,xn]∈Rd×n表示训练集,{(bi∈{-1,+1}1×r),i=1,2,...,n}是训练集所有样本通过学习哈希函数映射到汉明空间的二值化哈希码,每个样本的哈希码长度为r,r取值一般较小数十位到数百位不等,哈希码码位取值为-1或者+1,用B=[b1,...,bn]∈{-1,+1}r×n表示训练集对应的哈希编码结果;
学习得到一系列哈希函数:
H(x)={h1(x),…,hk(x)} (2-1)
将哈希函数值进行量化成二值化的哈希码,过程如下:
bi=sgn(H(xi)),i=1,...,n (2-2)
sgn(·)是符号函数;
哈希函数采用如下非线性形式:
H(x)=PTΦ(x) (2-3)
其中P=[p1,p2,…,pr]∈Rd×r是哈希函数的线性变换矩阵,Φ(x)是关于原始图像的非线性映射函数:
Φ(x)=[exp(||x-a1||2/σ),exp(||x-a2||2/σ),...,exp(||x-am||2/σ)]T
是一组从训练集中随机选取的锚点,σ是一个常数。
3.根据权利要求1所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S2具体包括:
现定义一个线性多分类模型如下所示:
y=F(b)=WTb=[w1 Tb,....,wr Tb]T (2-4)
其中{wk∈Rr×1,k=1,...,C}是数据样本所属类别k的参数向量,总共有C个类别,y∈Rr ×1是各个类别的激活值,与标签对应。根据WTb的最大值yk对应的类标,将样本数据点x分类到第k个类别。采用下面的优化函数:
上式中是分类损失函数,表示训练集的分类误差,度量学习到哈希码的分类质量。λ是正则化参数,Y=[y1,...,yn]∈RC×n是训练集的真实标签矩阵,满足下面的约束条件。||·||是L2范数。α是哈希函数H(xi)拟合哈希码bi错误率的惩罚参数。理论上,bi与H(xi)之间距离尽量小,所以参数α的值尽量大。b
用矩阵表示进行化简:
4.根据权利要求1所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S3包括:
S31.超图构建:
构建超图表示为G=(V,E,W),V表示顶点集合,E表示超边集合,W表示超边对应的权重集合,其中,训练集中的每一个数据点可以表示为一个顶点,而每个顶点与他的k-近邻的数据点表示为一条超边。
5.根据权利要求4所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S31具体为:
超图G用|V|×|E|规模的关联矩阵(|·|表示求基数操作),G中的顶点vi与超边ej的关联度可以表示为:
其中dist(xi,xj)表示顶点vi与vj之间的距离,dist(xi,xj)=||xi-xj||2,kdist(vj)表示顶点vj与他的k-近邻顶点集合。对于每条超边的度δ(ej)被定义为
相似度一致性通过超边包含的顶点之间的特征的相似度来计算:
其中,a和b表示任意两个顶点,σej是规范化因子,本文采用该超边所包含的顶点之间距离的平均值作为规范化因子:
6.根据权利要求1所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S3包括:
S32.构建损失项如式:
其中Aij=∑e∈E(i,j)∈e(w(e)/δ(e))是超图中两个顶点之间的权重,其中Lhyper是超图的归一化拉普拉斯矩阵,根据Lhyperm=I-M计算:其中Dv,De,Dw是图像特征所构建超图对应的顶点的度、超边的度和超边权重的对角矩阵,构造如下:
7.根据权利要求1所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述步骤S4包括:
整合第一目标函数和第二目标函数,得到完整的目标函数:
8.根据权利要求7所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述在优化目标函数式2-13时需要优化的参数是B,W,H,分步优化该三个参数。包括:
H-Step在求解H时,应固定B和W,将其视为常数:
minα||B-H(X)||2=||B-PTΦ(X)||2 (2-14)
2-14式对P求偏导为0,求得解析解为:P=(Φ(X)Φ(X)T)-1Φ(X)BT
W-Step在求解W时,应固定H和B,将其视为常数:
min||Y-WTB||2+λ||W||2 (2-15)
2-15式对W求偏导为0,求得解析解为W=(BBT+λI)-1BYT
B-step在求解B时,按照求解W和H一样的方法,应固定W和H,将其转化成如下形式:
对2-16进行化简成如下的形式:
其中M采用归一化拉普拉斯矩阵L=I-M,引入辅助变量Q=WY+αH(X),2-17式等价于2-18:
9.根据权利要求8所述的基于有监督超图离散化图像二值编码方法,其特征在于,所述采用“位循环坐标下降方法”学习哈希码B矩阵的过程为:
先令bT是B的第l行向量,B′是B去掉b剩余的部分。相似的,qT是Q的第l行向量,Q′是Q去掉q剩余的部分,vT是Q的第l行向量,W′是W去掉v剩余的部分,将上式进行化简:
式中||bvT||2=Tr(vbTbvT)=nvvT=const,同理,
Tr(BTQ)=const+qTb (2-20)
对于tr(BMBT)按照逐位下降法思想,化简为:
Tr(BMBT)=const+bTMb (2-21)
那么式子2-15等价形式如下式(4-19)所示:
s.t.b∈{-1,+1}n (2-22)。
10.根据权利要求9所述的基于有监督超图离散化图像二值编码方法,其特征在于,2-22式使用“符号梯度”方法进行求解,定义一个局部函数来线性替代f(b)在点bj+1处的取值,使用作为f(b)的近似函数对b作离散优化;
给定bj,在推导bj+1时,有
对于bj+1要保证它的存在,引入一个指示函数并更新bj
当所有元素不再更新时,终止迭代。
CN201810402753.3A 2017-07-19 2018-04-28 一种基于有监督超图离散化图像二值编码方法 Active CN109284411B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017105918672 2017-07-19
CN201710591867 2017-07-19

Publications (2)

Publication Number Publication Date
CN109284411A true CN109284411A (zh) 2019-01-29
CN109284411B CN109284411B (zh) 2022-03-18

Family

ID=65185686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810402753.3A Active CN109284411B (zh) 2017-07-19 2018-04-28 一种基于有监督超图离散化图像二值编码方法

Country Status (1)

Country Link
CN (1) CN109284411B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597298A (zh) * 2020-03-26 2020-08-28 浙江工业大学 一种基于深度对抗离散哈希学习的跨模态检索方法及装置
CN111881312A (zh) * 2020-07-24 2020-11-03 成都成信高科信息技术有限公司 一种图像数据集分类划分方法
CN113704532A (zh) * 2020-11-25 2021-11-26 天翼智慧家庭科技有限公司 一种提升图片检索召回率的方法和系统
CN113723550A (zh) * 2021-09-06 2021-11-30 珠海横琴跨境说网络科技有限公司 基于超图的同时优化代价与误检率的异常检测方法及系统
WO2022012178A1 (zh) * 2020-07-16 2022-01-20 北京字节跳动网络技术有限公司 用于生成目标函数的方法、装置、电子设备和计算机可读介质
CN114022701A (zh) * 2021-10-21 2022-02-08 南京审计大学 基于近邻监督离散判别哈希的图像分类方法
CN114491115A (zh) * 2022-02-17 2022-05-13 重庆邮电大学 一种基于深度哈希的多模型融合的集成图像检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103793467A (zh) * 2013-09-10 2014-05-14 浙江鸿程计算机系统有限公司 一种基于超图和动态规划的大数据实时查询优化方法
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN106776896A (zh) * 2016-11-30 2017-05-31 董强 一种快速的图融合图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103793467A (zh) * 2013-09-10 2014-05-14 浙江鸿程计算机系统有限公司 一种基于超图和动态规划的大数据实时查询优化方法
US20160358043A1 (en) * 2015-06-05 2016-12-08 At&T Intellectual Property I, L.P. Hash codes for images
CN106776896A (zh) * 2016-11-30 2017-05-31 董强 一种快速的图融合图像检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUMIN SHEN等: "Supervised discrete hashing", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YANG LIU 等: "Hypergraph spectral hashing for image retrieval with heterogeneous social contexts", 《NEUROCOMPUTING》 *
李炳杰主编: "《数学建模教程》", 31 August 2012, 陕西师范大学出版总社有限公司 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597298A (zh) * 2020-03-26 2020-08-28 浙江工业大学 一种基于深度对抗离散哈希学习的跨模态检索方法及装置
WO2022012178A1 (zh) * 2020-07-16 2022-01-20 北京字节跳动网络技术有限公司 用于生成目标函数的方法、装置、电子设备和计算机可读介质
CN111881312A (zh) * 2020-07-24 2020-11-03 成都成信高科信息技术有限公司 一种图像数据集分类划分方法
CN113704532A (zh) * 2020-11-25 2021-11-26 天翼智慧家庭科技有限公司 一种提升图片检索召回率的方法和系统
CN113704532B (zh) * 2020-11-25 2024-04-26 天翼数字生活科技有限公司 一种提升图片检索召回率的方法和系统
CN113723550A (zh) * 2021-09-06 2021-11-30 珠海横琴跨境说网络科技有限公司 基于超图的同时优化代价与误检率的异常检测方法及系统
CN113723550B (zh) * 2021-09-06 2023-12-05 珠海横琴跨境说网络科技有限公司 基于超图的同时优化代价与误检率的异常检测方法及系统
CN114022701A (zh) * 2021-10-21 2022-02-08 南京审计大学 基于近邻监督离散判别哈希的图像分类方法
CN114022701B (zh) * 2021-10-21 2022-06-24 南京审计大学 基于近邻监督离散判别哈希的图像分类方法
CN114491115A (zh) * 2022-02-17 2022-05-13 重庆邮电大学 一种基于深度哈希的多模型融合的集成图像检索方法

Also Published As

Publication number Publication date
CN109284411B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN109284411A (zh) 一种基于有监督超图离散化图像二值编码方法
Kulis et al. Fast similarity search for learned metrics
CN105469096B (zh) 一种基于哈希二值编码的特征袋图像检索方法
CN101539930B (zh) 一种相关反馈图像检索方法
US20210182611A1 (en) Training data acquisition method and device, server and storage medium
CN110059198A (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN107402993B (zh) 基于判别性关联最大化哈希的跨模态检索方法
Xu et al. Remote sensing image scene classification based on generative adversarial networks
CN106021364A (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
Serra et al. Gold: Gaussians of local descriptors for image representation
CN103186538A (zh) 一种图像分类方法和装置、图像检索方法和装置
CN105354595A (zh) 一种鲁棒视觉图像分类方法及系统
CN109766469A (zh) 一种基于深度哈希学习优化的图像检索方法
CN115080801B (zh) 基于联邦学习和数据二进制表示的跨模态检索方法及系统
CN102324038A (zh) 一种基于数字图像的植物种类识别方法
CN109145143A (zh) 图像检索中的序列约束哈希算法
CN109948735A (zh) 一种多标签分类方法、系统、装置及存储介质
CN112862015A (zh) 一种基于超图神经网络的论文分类方法及系统
CN110688474A (zh) 基于深度学习与链接预测的嵌入表示获得及引文推荐方法
CN110188825A (zh) 基于离散多视图聚类的图像聚类方法、系统、设备及介质
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
Sasikala et al. Efficient content based image retrieval system with metadata processing
Meng et al. Merged region based image retrieval
CN110245248A (zh) 一种遥感影像关键字查询方法
Jian-Xiang et al. Application of genetic algorithm in document clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant