发明内容
本发明提供了一种用于图像检索的基于流形正则化的半监督排序学习法,本发明提高了检索与排序性能,充分利用了标注信息,提高了检索精度,详见下文描述:
一种用于图像检索的基于流形正则化的半监督排序学习方法,所述方法包括以下步骤:
(1)从数据库或者初始基于文本的网络搜索结果中提取视觉特征组成图像样本集合;
(2)对所述图像样本集合按照与查询主题相关性的程度划分为三个等级2、1和0,2表示与查询非常相关,1表示一般相关,0表示不相关;
(3)计算未标注图像样本的伪相关等级信息yi;
(4)计算两个图像样本之间的距离;
(5)通过所述两个图像样本之间的距离构造拉普拉斯流形正则化项;
(6)通过所述拉普拉斯流形正则化项构造目标函数;
(7)求解所述目标函数获取各个图像样本的排序分数,把排序后的结果反馈给用户。
所述计算未标注图像样本的伪相关等级信息yi具体包括:
1)计算重构系数cij;
对未标注图像样本集合XU中的每一个图像样本xi,在标注图像样本集合XL中选择前k1近邻图像样本作为所述图像样本xi的近邻样本,所述图像样本xi由k1近邻图像样本重构所得到的重构系数cij:
上述最小化有两个限制:1)若xj不是xi的k1个近邻点之一,则cij=0;2)
2)通过所述重构系数cij计算伪相关等级信息yi;
通过每个未标注图像样本的所述重构系数得到重构向量ci;
ci=[cil,...,cil],伪相关等级信息yi为:
其中,yj是标注图像样本xj相应的标号,l+1≤i≤n。
所述计算两个图像样本之间的距离具体包括;
1)当两个图像样本都是标注图像样本时,获取对应的相关性等级标号,计算两个图像样本之间的距离;
2)当两个图像样本都是未标注图像样本时,通过所述伪相关等级信息计算两个图像样本之间的距离;
3)当一个图像样本是标注图像样本,另一个是未标注图像样本时,通过相关性等级标号和所述伪相关等级信息计算两个图像样本之间的距离。
所述通过两个图像样本之间的距离构造拉普拉斯流形正则化项具体包括:
1)计算两个图像样本之间的相似度Apq;
对任意两个图像样本xp、xq,若xp是xq的k2个近邻点之一或xq是xp的k2近邻点之一,则两个图像样本之间的相似度计算公式如下:
否则,A
pq=0;
d(x
p,x
q)表示两个图像样本x
p、x
q之间的距离;
2)通过相似度Apq构造拉普拉斯流形正则化项。
所述目标函数项具体为:
s.t.wTzt≥b-rt,t=1,...,h
rt≥0,t=1,...,h
其中,zt=xm-xr,xm、xr为标注图像样本中的任意两个样本,m和r的取值范围为1,...,l,且xm比xr的相关性高,b为自定义常数,rt为松弛项,C为惩罚因子,t=1,...,h;w为投影向量。
本发明提供的技术方案的有益效果是:
(1)新颖性:①提出了一种新的伪标注方法,该方法从样本重构的角度,利用有限的标注样本获得未标注样本的伪标注信息;②将标注样本的标注信息及未标注样本的伪标注信息应用于样本间的相似度计算中;③通过流形正则化学习引入未标注的样本,利用样本及样本的相关性等级信息构造新的样本点,并将流形正则化学习与新样本点相结合得到一种新的排序学习方法。
(2)有效性:通过实验证明本方法在图像搜索重排序的实验中的性能明显的优于现有技术,能够有效的利用少量的监督信息提高排序性能。
(3)半监督性:本方法是一种典型的半监督学习方法,能够同时利用标注样本以及大量的无标注样本。
(4)实用性:简单可行,可以用在多媒体检索中的视觉搜索重排序、个性化推荐等与排序相关的领域;本发明提高了检索与排序性能,充分利用了标注信息,提高了检索精度。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了提高检索与排序性能,充分利用标注信息,提高检索精度,本发明实施例提供了一种用于图像检索的基于流形正则化的半监督排序学习方法,参见图1,详见下文描述:
101:从数据库或者初始基于文本的网络搜索结果中提取视觉特征组成图像样本集合;
102:对图像样本集合按照与查询主题相关性的程度划分为三个等级2、1和0,2表示与查询非常相关,1表示一般相关,0表示不相关;
设图像样本集合为X=[x1,...,xl,xl+1,...,xn]∈Rd×n,R表示实数,d表示图像样本的特征维数,n表示图像样本个数,l表示标注图像样本个数。设XL=[x1,...,xl]为标注图像样本集合,XU=[xl+1,...,xn]为未标注图像样本集合。对已知的图像样本集合按照与查询主题相关性的程度划分为三个等级2、1和0。2表示与查询非常相关,1表示一般相关,0表示不相关,对任意一个图像样本xe(1≤e≤n),相应的标号为ye,则ye∈{0,1,2},YL=[y1,...,yl]T为标注图像样本集合所对应的标注向量。
103:计算未标注图像样本的伪相关等级信息yi;
其中,该步骤具体包括:
1)计算重构系数cij;
对未标注图像样本集合XU中的每一个图像样本xi,在标注图像样本集合XL中选择前k1近邻图像样本作为图像样本xi的近邻样本,利用重构的思想,图像样本xi由k1近邻图像样本重构所得到的重构系数cij:
上述最小化有两个限制:1)若xj不是xi的k1个近邻点之一,则cij=0;2)
2)通过重构系数cij计算伪相关等级信息yi。
通过每个未标注图像样本的重构系数得到重构向量ci;
ci=[ci1,...,cil](l+1≤i≤n),利用如下公式得到未标注图像样本集合XU中的每一个图像样本xi的伪相关等级信息yi:
其中,yj是标注图像样本xj相应的标号,l+1≤i≤n。
104:计算两个图像样本之间的距离;
该步骤具体包括:
1)当两个图像样本都是标注图像样本时,获取对应的相关性等级标号,计算两个图像样本之间的距离;
2)当两个图像样本都是未标注图像样本时,通过伪相关等级信息计算两个图像样本之间的距离;
3)当一个图像样本是标注图像样本,另一个是未标注图像样本时,通过相关性等级标号和伪相关等级信息计算两个图像样本之间的距离。
其中,图像样本之间的距离公式为:
d(xp,xq)=(|yp-yq|+1)||xp-xq||(3)
xp、xq分别代表标注图像样本或未标注图像样本,yp、yq分别代表相关性等级标号或伪相关等级信息。
105:通过两个图像样本之间的距离构造拉普拉斯流形正则化项;
1)计算两个图像样本之间的相似度Apq;
对任意两个图像样本xp、xq,若xp是xq的k2个近邻点之一或xq是xp的k2近邻点之一,则两个图像样本之间的相似度计算公式如下:
否则,Apq=0。
参数σ定义为
2)通过相似度Apq构造拉普拉斯流形正则化项。
对于排序学习假设学习到了一个投影向量w∈Rd,使得每一个图像样本xe的排序分数为fe=wTxe。根据流形正则化准则,认为对于两个视觉上比较相似的图像样本,其排序分数也应该一致,基于此,构建拉普拉斯流形正则化项,即:
其中,fp、fq是图像样本xp、xq的排序分数。
106:通过拉普拉斯流形正则化项构造目标函数项;
首先利用标注图像样本的相关性等级信息构造新图像样本:
如果x
m>x
r(表示x
m比x
r的相关性高),m和r的取值范围为1,...,l,则定义z
t=x
m-x
r(t=1,...,h),其中h为构造的新图像样本的个数,然后构造目标函数如下:
s.t.wTzt≥b-rt,t=1,...,h
rt≥0,t=1,...,h
其中,b为自定义常数,控制不同相关性等级样本的排序分数的差值。rt(t=1,...,h)为松弛项,C为惩罚因子。
107:求解目标函数获取各个图像样本的排序分数,把排序后的结果反馈给用户。
令
其中,L=D-A是拉普拉斯矩阵,A为由元素A
pq构成的矩阵,D是对角阵,其中对角线元素为
以拉格朗日乘子αt≥0,βt≥0(t=1,...,h)分别乘以约束项并将其附加到目标函数上得到拉格朗日函数:
得到目标函数对偶规划为:
s.t.0≤αt≤C
其中,(XLXT)+表示XLXT的伪逆矩阵。
通过求解二次规划问题得到α
t(t=1,...,h)的值,又
因此可以求得投影向量w。对于每一个图像样本x
e利用f
e=w
Tx
e可以求得该图像样本的排序分数。按照排序分数的高低对图像样本进行排序,把排序后的结果反馈给用户。
下面以一个具体的实验来验证本发明实施例提供的一种用于图像检索的基于流形正则化的半监督排序学习方法的可行性,详见下文描述:
实验采用微软的MSRA-MM1.0图像数据库包含68个查询,共65443幅图片。每个查询所对应的图像样本按照初始排序搜索结果的顺序进行排列,查询的类别涉及物体、人物、事件和环境等。在该数据库中图像样本被提前标注为非常相关2、一般相关1、不相关0三种相关性等级。由于初始搜索结果中位置越靠后与查询相关的图像样本的数目越少,因此仅使用每个查询的前500幅图片进行重排序实验。试验中,选取数据库提供的颜色矩特征(225维)、颜色相关图特征(144维)、小波纹理特征(128维)、边缘特征(75维)、HSV颜色直方图特征(64维)、RGB颜色直方图(256维)以及人脸特征(7维)共899维作为图像样本的特征向量。在每个查询中,为每个相关性等级各标注5个图像样本,组成该查询的标注图像样本集合。实验的结果采用通用准则NDCGK衡量前K幅图像的排序性能,K表示图像的深度。完美的排序中的NDCGK应始终为1。实验中引入初始的排序性能、以及经典的排序学习方法Ranking SVM的排序性能进行对比,得到对68个查询的排序性能取平均得到的实验结果如下:
其中,Baseline是指初始的排序性能,Ranking SVM是指利用排序学习方法进行排序所得到的排序性能。通过表可以看出,相比于初始的排序结果,本方法所提出的方案性能获得显著提高;相比于经典的排序学习算法Ranking SVM,本方法所提出的方案明显的优于Ranking SVM。
综上所述,本发明实施例提供了一种用于图像检索的基于流形正则化的半监督排序学习方法,该方法从样本重构的角度,利用有限的标注样本获得未标注样本的伪标注信息;将标注样本的标注信息及未标注样本的伪标注信息应用于样本间的相似度计算中;通过流形正则化学习引入未标注的样本,利用样本及样本的相关性等级信息构造新的样本点,并将流形正则化学习与新样本点相结合得到一种新的排序学习方法;通过实验证明本方法在图像搜索重排序的实验中的性能明显的优于现有技术,能够有效的利用少量的监督信息提高排序性能;本方法是一种典型的半监督学习方法,能够同时利用标注样本以及大量的无标注样本;简单可行,可以用在多媒体检索中的视觉搜索重排序、个性化推荐等与排序相关的领域;本发明实施例提高了检索与排序性能,充分利用了标注信息,提高了检索精度。
视频检索若通过首先提取视频的关键帧,将视频检索转换成图像检索的形式,然后利用上述方法进行检索,同样属于本专利的保护范围。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。