一种图像检索方法
技术领域
本发明涉及图像处理领域,尤其涉及一种图像检索方法。
背景技术
目前,基于内容的图像检索方法已经得到了越来越广泛的应用,其中查询扩展方法是提高其查询性能的最有效方法之一,而在查询扩展方法中选择好的扩展图像是重要一步。现有扩展图像的选择方法是在第一次查询的基础上,通过基于特征点的几何验证技术进行扩展图像的选择。这种方法进行的扩展图像选择有扩展图像特征单一、易出错等问题。传统的基于相关反馈的图像检索技术侧重于利用多次相关性反馈的结果构建出一个更好的检索模型。它们一般需要多次反馈和比较大量的人工标注,这会使用户在图像检索的过程中丧失耐心,并不能成为一个好的交互式检索解决方案。
因此,在市场中急需提供一种能够减少用户标注,并且更加准确地实现图像检索的方法。
发明内容
本发明旨在提供一种图像检索方法,以解决目前进行的图像检索过程中出现的扩展图像特征单一、易出错等影响图像检索准确度问题,以及人工标注工作量大的问题。
本发明的发明目的是通过下述技术方案来实现的:
一种图形检索方法,包括如下步骤:
步骤S1:对被查图像库中的被查图像抽取图像特征,并对所述被查图像及查询图像进行特征描述,以形成被查图像特征描述及查询图像特征描述;
步骤S2:利用卷积神经网络AlexNet抽取所述被查图像和查询图像的最后一个全连接层的图像特征,并进行特征描述,以形成深度学习图像特征描述;
步骤S3:将查询图像特征描述同被查图像特征描述进行综合比对,利用所述查询图像特征描述对被查图像进行图像相似度度量,得到按相似度从大到小排序的图像查询反馈列表;
步骤S4:取查询图像作为正例,步骤S3中的图像查询反馈列表的前n′幅图像以及后n″幅伪负例图像作为无标数据组成训练集,并结合步骤S2得到的深度学习图像特征描述训练得到一个样本选取分类器;
步骤S5:利用步骤S4中得到的样本选取分类器对步骤S3中的图像查询反馈列表的前n′幅图像进行分类预测以形成样本选取分类库,并根据步骤S2得到的深度学习图像特征描述从所述样本选取分类库中取g幅最靠近分类面的图像;
步骤S6:取步骤S3中图像查询反馈列表中的前m幅图像,连同步骤S5中得到的g幅最靠近分类面的图像组成一个待标注图像库,将所述待标注图像库提交给用户做标注,符合所述查询图像特征描述的标为正图像,否则标为负图像;
步骤S7:将步骤S6中所述正图像的特征与查询图像的特征进行特征融合,得到融合图像特征描述;
步骤S8:利用步骤S7中所述融合图像特征描述重新对被查图像库中的被查图像进行相似度度量,得到最终的查询结果。
进一步的,所述步骤S1:对被查图像库中的被查图像抽取图像特征,并对被查图像及查询图像进行特征描述,以形成被查图像特征描述及查询图像特征描述,具体包括如下步骤:
步骤S1.1:利用VLFeat开源工具对被查图像库中每个被查图像提取SIFT特征点,将SIFT特征点进行L2归一化处理,随机采样部分特征点,并利用K-Means方法训练D个聚类中心,所有聚类中心构成D维词典;
步骤S1.2:利用上一步得到的D维词典,对被查图像及查询图像进行特征描述,分别得到被查图像及查询图像的D维的特征向量,设Q为查询图像的特征向量,Ii(i=1,2,…,N)为被查图像的特征向量。
进一步的,所述步骤S2:利用卷积神经网络AlexNet抽取被查图像和查询图像的最后一个全连接层的图像特征,并进行特征描述,以形成深度学习图像特征描述,具体包括如下步骤:
利用卷积神经网络AlexNet抽取被查图像和查询图像的最后一个全连接层4096维的图像特征,并进行特征描述,以形成深度学习图像特征描述,得到被查图像深度学习特征向量φi(i=1,2,…,N),以及查询图像深度学习特征向量φQ。
进一步的,所述步骤S3:将查询图像特征描述同被查图像特征描述进行综合比对,利用所述查询图像特征描述对被查图像进行图像相似度度量,得到按相似度从大到小排序的图像查询反馈列表,具体包括如下步骤:
将查询图像的特征向量Q同被查图像的特征向量Ii(i=1,2,…,N)进行综合比对,利用非对称距离度量查询图像的特征向量Q与被查图像的特征向量Ii(i=1,2,…,N)的相似度,得到被查图像按相似度从大到小排序的图像查询反馈列表,其中非对称距离度量的计算方法为:
disAS(Q,Ii)=wQ||Q-min(Q,Ii)||+||Xj-min(Q,Ii)||
其中,wQ为非对称权重。
进一步的,所述步骤S4中,采用PU-Learning方法训练样本选取分类器,所述样本选取分类器参数为:
其中
ΦU=[φ1,φ2,…,φn′],
ΦN=[φN-n″+1,φN-n″+2,…,φN];
π和π*为[0,1]区间内的参数,λ为正则化参数。
进一步的,所述步骤S5中最靠近分类面的图像选取方法为:对步骤S3中的图像查询反馈列表前n′幅图像进行分类预测,得到包含有分类相关度数值Si=αTφi的样本选取分类库,从样本选取分类库中选取分类相关度数值最接近0的图像。
进一步的,所述步骤S7:将步骤S6中所述正图像的特征与查询图像的特征进行特征融合,得到融合图像特征描述,具体包括如下步骤:
将步骤S6中所述正图像对应的特征向量vi(i=1,2…,z)与查询图像的特征向量Q进行均值特征融合,得到的融合图像特征向量为:
本发明的有益效果:本发明利用主动学习方法实现图像检索中的查询扩展方法,本发明利用第一次检索出的相似度最大的前几幅图像与样本选取分类库中最不确定(最含信息量的)的图像构成反馈标注图像的查询扩展图像的选择方法,相比于传统的相关反馈方法,能够在少量用户标注的前提下,实现更准确的图像检索;同时首次提出将第一次检索出的相似度最小的伪负例图像信息加入到PU-Learning学习的过程中,提高了样本选取分类器的训练精度。
附图说明
图1为本发明所述的一种图像检索方法流程图。
具体实施方式
以下参照附图1,结合具体的实施方式对本发明作进一步的说明。
本发明所述的一种图形检索方法,包括如下步骤:
步骤S1:对被查图像库中的被查图像抽取图像特征,并对被查图像及查询图像进行特征描述,以形成被查图像特征描述及查询图像特征描述。
步骤S2:利用卷积神经网络AlexNet抽取所述被查图像和查询图像的最后一个全连接层的图像特征,并进行特征描述,以形成深度学习图像特征描述。
步骤S3:将查询图像特征描述同被查图像特征描述进行综合比对,利用所述查询图像特征描述对被查图像进行图像相似度度量,得到按相似度从大到小排序的图像查询反馈列表。
步骤S4:取查询图像作为正例,步骤S3中的图像查询反馈列表的前n′幅图像以及后n″幅伪负例图像作为无标数据组成训练集,并结合步骤S2得到的深度学习图像特征描述训练得到一个样本选取分类器。
样本选取分类器的本质是一个二分类器,它可以用分类的方法来判断被查图像库中的图像是否与查询图像相关。本发明在PU-Learning方法的基础上,额外考虑了将图像查询反馈列表中后n″幅图像作为伪负例信息,从本质上最小化了无标数据错分类的期望,从而能够获取一个准确的二分类器。
步骤S5:利用步骤S4中得到的样本选取分类器对步骤S3中的图像查询反馈列表的前n′幅图像进行分类预测以形成样本选取分类库,并根据步骤S2得到的深度学习图像特征描述从所述样本选取分类库中取g幅最靠近分类面的图像。
步骤S6:取步骤S3中图像查询反馈列表中的前m幅图像,连同步骤S5中得到的g幅最靠近分类面的图像组成一个待标注图像库,将所述待标注图像库提交给用户做标注,符合所述查询图像特征描述的标为正图像,否则标为负图像。
本发明利用第一次检索出的相似度最大的前几幅图像与样本选取分类库中最不确定(最含信息量的)的图像构成反馈标注图像的查询扩展图像的选择方法,相比于传统的相关反馈方法能够更加提高图像检索的精确度。
步骤S7:将步骤S6中所述正图像的特征与查询图像的特征进行特征融合,得到融合图像特征描述。
步骤S8:利用步骤S7中所述融合图像特征描述重新对被查图像库中的被查图像进行相似度度量,得到最终的查询结果。
本发明在解决图像查询扩展中,选择更适合让用户标注的扩展图像,实现了在有限的人机交互前提下,达到了更好的扩展图像选择的目的。
实施例
(1)利用VLFeat等开源工具对被查图像库中每个被查图像提取SIFT特征点,将SIFT特征点进行L2归一化处理(即将SIFT特征点的L2模长变为1),随机采样部分特征点,并利用K-Means方法训练D个聚类中心,所有聚类中心构成D维词典;
(2)利用上一步得到的D维词典,对被查图像及查询图像进行特征描述,分别得到被查图像及查询图像的D维的特征向量,设Q为查询图像的特征向量,Ii(i=1,2,…,N)为被查图像的特征向量;
(3)利用卷积神经网络AlexNet抽取被查图像的最后一个全连接层4096维的图像特征,并进行特征描述,以形成深度学习图像特征描述,具体包括被查图像深度学习特征向量φi(i=1,2,…,N),以及查询图像深度学习特征向量φQ;
(4)将查询图像的特征向量Q同被查图像的特征向量Ii(i=1,2,…,N)进行综合比对,利用非对称距离度量查询图像的特征向量Q与被查图像的特征向量Ii(i=1,2,…,N)的相似度,得到各被查图像按相似度从大到小排序的图像查询反馈列表,其中非对称距离度量的计算方法为:
disAS(Q,Ii)=wQ||Q-min(Q,Ii)||+||Xj-min(Q,Ii)||
其中,wQ为非对称权重;
(5)取查询图像以及上一步得到的相似度排序前200的图像和相似度排序后100幅伪负例图像作为训练集,采用PU-Learning方法训练样本选取分类器,样本选取分类器参数为:
其中
ΦU=[φ1,φ2,…,φn′],
ΦN=[φN-n″+1,φN-n″+2,…,φN];
π和π*为[0,1]区间内的参数,λ为正则化参数;
(6)利用训练好的样本选取分类器对步骤(4)中相似度排序前200图像进行分类预测,得到包含有分类相关度数值Si=αTφi的样本选取分类库,从样本选取分类库中选取分类相关度数值最接近0的前25幅图像;
(7)取步骤(4)中相似度排序的前5幅图像,连同上一步得到的25幅最靠近分类面的图像组成一个待标注图像库,将所述待标注图像库提交给用户做标注,符合所述查询图像特征描述的标为正图像,不符合所述查询图像特征描述的标为负图像;
(8)将上一步中的正图像对应的特征向量vi(i=1,2…,z)与查询图像的特征向量Q进行均值融合,得到融合图像的特征向量
(9)利用非对称距离重新度量步骤(8)中得到的融合图像的特征向量Q′与被查图像的特征向量Ii的相似度,得到新的被查图像相似度大小的排序。
本发明利用主动学习方法实现图像检索中的查询扩展方法,本发明利用第一次检索出的相似度最大的前几幅图像与样本选取分类库中最不确定(最含信息量的)的图像构成反馈标注图像的查询扩展图像的选择方法,相比于传统的相关反馈方法,能够在少量用户标注的前提下,实现更准确的图像检索;同时首次提出将第一次检索出的相似度最小的伪负例图像信息加入到PU-Learning学习的过程中,提高了样本选取分类器的训练精度。
当然应意识到,虽然通过本发明的示例已经进行了前面的描述,但是对本发明做出的将对本领域的技术人员显而易见的这样和其他的改进及改变应认为落入如本文提出的本发明宽广范围内。因此,尽管本发明已经参照了优选的实施方式进行描述,但是,其意并不是使具新颖性的设备由此而受到限制,相反,其旨在包括符合上述公开部分、权利要求的广阔范围之内的各种改进和等同修改。