CN107506400B - 一种基于认知特征和流形排序的图像检索方法 - Google Patents

一种基于认知特征和流形排序的图像检索方法 Download PDF

Info

Publication number
CN107506400B
CN107506400B CN201710652692.1A CN201710652692A CN107506400B CN 107506400 B CN107506400 B CN 107506400B CN 201710652692 A CN201710652692 A CN 201710652692A CN 107506400 B CN107506400 B CN 107506400B
Authority
CN
China
Prior art keywords
image
color
sample
indicate
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710652692.1A
Other languages
English (en)
Other versions
CN107506400A (zh
Inventor
王飞龙
冯林
吴俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201710652692.1A priority Critical patent/CN107506400B/zh
Publication of CN107506400A publication Critical patent/CN107506400A/zh
Application granted granted Critical
Publication of CN107506400B publication Critical patent/CN107506400B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明涉及计算机视觉中图像检索领域，公开了一种基于认知特征和流形排序的图像检索方法，包括：首先分别提取查询样本和数据库图像的视觉特征向量；然后利用流形学习算法验证视觉特征的流形结构保持特性，样本流形分布假设是流形排序算法的基础；利用流形排序算法计算数据库图像与该查询样本的相似性得分，输出得分最高的部分数据库图像即为检索结果。该图像检索方法能够根据样本特征之间的流形结构找出最相似的检索图像结果。

Description

一种基于认知特征和流形排序的图像检索方法
技术领域
本发明涉及计算机视觉中图像检索技术领域，特别涉及一种图像特征特征提取方法及图像检索框架，适用于图像特征分析，图像检索，样本相似性排序等方面。
背景技术
随着视觉图像在互联网和移动终端的急速增长，以及其潜在的巨大商业价值，使得图像检索一直是计算机视觉领域的研究热点。而图像数据的海量性、复杂性和多样性也给视觉图像的实时处理带来了挑战，高效且精确的图像检索系统是目前急需解决的问题。目前基于内容的图像检索系统旨在以图像自身的视觉属性为特征进行图像之间的相似性学习，其中图像特征提取和相似性度量方法是影响检索系统性能的主要因素。然而，目前这些检索系统中特征提取和相似性度量学习都是独立进行的，即通过图像内容学习视觉特征，然后再根据该特征进行度量学习，以此构建图像检索模型。而且在图像检索中，图像特征的区分性和可解释性仍存在不足。通过人脑视觉认知机制的启发，可以模拟分析图像内容的认知过程，图像特征和相似性排序能够融合成整体。
本领域中存在对图像检索框架中特征提取和相似性排序的兼容性分析的需要。
发明内容
本发明的目的是：为解决上述现有技术中存在的问题，提供一种基于认知特征和流形排序的图像检索框架。
为达到上述目的，本发明采用的技术方案是：提供了一种基于认知特征和流形排序的图像检索框架，具体包括以下步骤：
步骤100：数据模块收集数据库中的图像样本，查询图像是用户输入的已知图像样本；
步骤200：图像特征提取模块分别提取查询图像和数据库中所有图像的视觉特征向量；
步骤300：流形排序模块利用流形排序算法计算数据库图像样本特征向量与查询样本的相似性得分；
步骤400：将流形排序模块得到的相似性得分进行由大到小排序；
步骤500：输出模块将排序模块得到的前N幅图像输出，N为用户设定的检索返回数目。
所述步骤200中图像特征提取方法包括以下子步骤：
步骤210：将原图像的RGB颜色空间转化到HSV颜色空间；
步骤220：分别计算图像中每个像素点位置的量化颜色值和梯度方向值，其中每一像素点的量化颜色值取值范围是0～71，梯度方向值取值范围是0～11；
步骤230：利用3*3d大小的模块检测图像，依次滑动模块，检测图像中除边界区域外的所有像素点，比较中心像素点与周围8个邻居之间视觉属性是否相同；
步骤240：选择中心像素点与邻居存在相似量化颜色值或量化梯度方向值的区域，分别得到原始图像的颜色和梯度感知一致区域；
步骤250：对检测的图像区域进行特征统计，分别计算颜色和梯度区域图中的颜色差分特征，将HSV颜色空间转化成笛卡尔坐标系统H'S'V'，H'＝S*cos(H)，S'＝S*sin(H)和V'＝V。其计算公式为：
其中
在公式(1)中，表示颜色差分特征向量，Tk(k＝1,2)表示像素点的基础属性，其中T1表示颜色值，T2表示梯度方向值。gc表示中心像素点，gi表示该点的邻居像素点，在计算过程中需要对图像感知一致区域中所有有效像素点进行遍历。公式(2)中δi(gc,gi)表示邻居点gi与gc是否具有相同的基础属性Tk。公式(3)中di表示邻居点gi与gc的颜色差分。表示图像中基础属性为Tk的中心像素点gc。
步骤260：对检测的图像区域进行特征统计，分别计算颜色和梯度区域图中的基元频率特征。其计算公式为：
公式(4)中的表示图像的基元频率特征。其中N表示图像感知一致区域中的所有有效像素点的个数。
步骤270：联合步骤250和步骤260中得到的颜色差分特征和基元频率特征，得到描述一致性区域的特征向量为：
公式(5)中h1和h2分别表示颜色和梯度方向感知一致性特征。
步骤280：通过设定权值拼接，联合颜色和梯度方向感知一致性特征，计算公式为：
h＝[β1·h1 β2·h2] (6)
公式(6)中β1和β2分别表示颜色和梯度方向特征所占的权重系数。
所述步骤300包括以下步骤：
步骤310：将查询样本q和数据库中所有图像H作为节点构建近邻图矩阵，利用L1距离查找每个样本的k最近邻，以高斯核函数作为近邻样本的权重，计算近邻图矩阵W。
步骤320：将矩阵W进行对称标准化，计算公式为：
S＝D-1/2WD-1/2 (7)
公式(7)中矩阵D是对角矩阵，D＝∑jWij。
步骤330：假设数据库样本的初始相似性得分为y0，选择L1距离度量下的前P个图像作为种子节点其对应的相似性得分和近邻矩阵分别为和
步骤340：将样本的初始得分进行迭代传播直到收敛解f*；或者利用公式(8)直接求其收敛解f*：
其中I表示单位矩阵，参数α∈(0,1)。
步骤350：将种子节点得分f*嵌入到整体数据库样本中得到得分ft；
步骤360：将上步中的得分ft在数据库中进行一次传播ft+1＝αSft+(1-α)y0；
步骤370：对ft+1进行由大到小排序，选择前P个样本作为新的种子节点，重复步骤340-370，直到种子节点不再变化；
所述步骤400包括以下步骤：
步骤410：将流形排序输出的相似性得分进行由大到小排序；
步骤420：输出前N个得分最高的样本节点对应的图像；
所述数据模块收集的数据包括：图像数据库和用户给定的单个图像。
本发明的有益效果是：本发明提供了一种新的图像特征提取方法，可以提取出图像内容的全局特征，提高了图像内容的区分度，而且能够有效保持图像潜在的流形结构。利用流形排序算法计算数据库样本与查询图像之间的相似性得分，能够有效地利用数据库样本之间的流形结构，而且选择少量种子节点进行优化排序也得降低算法时间复杂度。最终形成的图像检索框架可以有效地提高图像检索任务的精度。
附图说明
图1是本发明的基于认知特征和流形排序的图像检索方法流程图。
图2是本发明实施基于认知特征和流行排序图像检索方法流程图样例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2所示，本实施例方法，包括：
步骤201：给定图像检索系统所需的图像数据库样本集，让用户指定输入所需检索的单幅查询图像样本；
步骤202：对于查询图像和数据库图像集，分别检测每幅图像的感知一致性区域；
步骤203：针对每幅图像检测出的感知一致性区域，分别提取颜色差分特征和基元频率特征，并利用权值拼接联合这两种特征得到最终的图像特征向量；
步骤204：利用图像数据库中图像特征向量计算近邻矩阵W，并将矩阵W进行对称标准化，S＝D-1/2WD-1/2，其中矩阵D是对角矩阵，D＝∑jWij；
步骤205：利用流行排序算法计算数据库样本与查询图像之间的相似性得分值；
步骤206：对计算得到的相似性得分值进行由大到小排序，得分越高表示该样本与查询图像的相似性程度越高；
步骤207：用户设定好所需输出的检索图像数目N，然后按照排序好的数据库样本输出前N幅图像作为用户所需的检索结果。
本实施例，通过提取图像的视觉认知特征，并且将该特征与流形排序算法结合，以此计算数据库样本与查询图像之间的相似性程度，明显提高了图像检索的准确率。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于认知特征和流形排序的图像检索方法，具体包括以下步骤：
步骤100：数据模块(101)收集数据库中的图像样本，查询图像是用户输入的已知图像样本；
步骤200：图像特征提取模块(102)分别提取查询图像和数据库中所有图像的视觉特征向量；
所述步骤200中图像特征提取方法包括以下子步骤：
步骤210：将原图像的RGB颜色空间转化到HSV颜色空间；
步骤220：分别计算图像中每个像素点位置的量化颜色值和梯度方向值，其中每一像素点的量化颜色值取值范围是0～71，梯度方向值取值范围是0～11；
步骤230：利用3*3大小的模块检测图像，依次滑动模块，检测图像中除边界区域外的所有像素点，比较中心像素点与周围8个邻居之间视觉属性是否相同；
步骤240：选择中心像素点与邻居存在相似量化颜色值或量化梯度方向值的区域，分别得到原始图像的颜色和梯度感知一致区域；
步骤250：对检测的图像区域进行特征统计，分别计算颜色和梯度区域图中的颜色差分特征，将HSV颜色空间转化成笛卡尔坐标系统H'S'V'，H'＝S*cos(H)，S'＝S*sin(H)和V'＝V；其计算公式为：
其中
在公式(1)中，表示颜色差分特征向量，Tk(k＝1,2)表示像素点的基础属性，其中T1表示颜色值，T2表示梯度方向值；gc表示中心像素点，gi表示该点的邻居像素点，在计算过程中需要对图像感知一致区域中所有有效像素点进行遍历；公式(2)中δi(gc,gi)表示邻居点gi与gc是否具有相同的基础属性Tk；公式(3)中di表示邻居点gi与gc的颜色差分；χTk(gc)表示图像中基础属性为Tk的中心像素点gc；
步骤260：对检测的图像区域进行特征统计，分别计算颜色和梯度区域图中的基元频率特征；其计算公式为：
公式(4)中的表示图像的基元频率特征；其中N表示图像感知一致区域中的所有有效像素点的个数；
步骤270：联合步骤250和步骤260中得到的颜色差分特征和基元频率特征，得到描述一致性区域的特征向量为：
公式(5)中h1和h2分别表示颜色和梯度方向感知一致性特征；
步骤280：通过设定权值拼接，联合颜色和梯度方向感知一致性特征h，其计算公式为：
h＝[β1·h1 β2·h2] (6)
公式(6)中β1和β2分别表示颜色和梯度方向特征所占的权重系数；
步骤300：流形排序模块(103)利用流形排序算法计算数据库图像样本特征向量与查询样本的相似性得分；
所述步骤300包括以下步骤：
步骤310：将查询样本q和数据库中所有图像H作为节点构建近邻图矩阵，利用L1距离查找每个样本的k最近邻，以高斯核函数作为近邻样本的权重，计算近邻图矩阵W；
步骤320：将矩阵W进行对称标准化，计算公式为：
S＝D-1/2WD-1/2 (7)
公式(7)中矩阵D是对角矩阵，D＝∑jWij，其中，Wij为矩阵W中的元素；
步骤330：假设数据库样本的初始相似性得分为y0，选择L1距离度量下的前P个图像作为种子节点其对应的相似性得分和近邻矩阵分别为和
步骤340：将样本的初始得分进行迭代传播直到收敛解f*；或者利用公式(8)直接求其收敛解f*：
其中I表示单位矩阵，参数α∈(0,1)；
步骤350：将种子节点得分f*嵌入到整体数据库样本中得到得分ft；
步骤360：将步骤350中的得分ft在数据库中进行一次传播ft+1＝αSft+(1-α)y0；
步骤370：对ft+1进行由大到小排序，选择前P个样本作为新的种子节点，重复步骤340-370，直到种子节点不再变化；
步骤400：将流形排序模块(103)得到的相似性得分进行由大到小排序；
步骤500：输出模块(105)将流形排序模块(103)得到的前N幅图像输出，N为用户设定的检索返回数目。
2.根据权利要求1所述的一种基于认知特征和流形排序的图像检索方法，其特征在于，所述步骤400包括以下步骤：
步骤410：将流形排序输出的相似性得分进行由大到小排序；
步骤420：输出前N个得分最高的样本节点对应的图像。
3.根据权利要求1所述的一种基于认知特征和流形排序的图像检索方法，其特征在于，所述数据模块(101)收集的数据包括：图像数据库和用户给定的单个图像。
CN201710652692.1A 2017-08-02 2017-08-02 一种基于认知特征和流形排序的图像检索方法 Expired - Fee Related CN107506400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710652692.1A CN107506400B (zh) 2017-08-02 2017-08-02 一种基于认知特征和流形排序的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710652692.1A CN107506400B (zh) 2017-08-02 2017-08-02 一种基于认知特征和流形排序的图像检索方法

Publications (2)

Publication Number Publication Date
CN107506400A CN107506400A (zh) 2017-12-22
CN107506400B true CN107506400B (zh) 2019-06-25

Family

ID=60689827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710652692.1A Expired - Fee Related CN107506400B (zh) 2017-08-02 2017-08-02 一种基于认知特征和流形排序的图像检索方法

Country Status (1)

Country Link
CN (1) CN107506400B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898136B (zh) * 2018-07-04 2021-09-17 安徽大学 一种跨模态图像显著性检测方法
CN112182026A (zh) * 2020-09-10 2021-01-05 广西电网有限责任公司崇左供电局 一种考虑流形排序算法的电网截面数据检索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881449A (zh) * 2015-05-15 2015-09-02 西安电子科技大学 基于流形学习数据压缩哈希的图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190026B2 (en) * 2013-03-14 2015-11-17 Canon Kabushiki Kaisha Systems and methods for feature fusion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881449A (zh) * 2015-05-15 2015-09-02 西安电子科技大学 基于流形学习数据压缩哈希的图像检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络和流形排序的图像检索算法;刘兵等;《计算机应用》;20160110;第36卷(第2期);531-534、540
基于基元相关性描述子的图像检索;吴俊等;《计算机研究与发展》;20161231;第53卷(第12期);2824-2835

Also Published As

Publication number Publication date
CN107506400A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
CN106611427B (zh) 基于候选区域融合的视频显著性检测方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
WO2020125216A1 (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110363134B (zh) 一种基于语义分割的人脸遮挡区定位方法
US9373040B2 (en) Image matching using motion manifolds
CN105389562B (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN105303152B (zh) 一种人体再识别方法
US8743119B2 (en) Model-based face image super-resolution
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN103824272A (zh) 基于k近邻重识别的人脸超分辨率重建方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN104820841B (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN109886351A (zh) 高光谱数据和高分辨率图像融合方法
CN108550132A (zh) 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法
CN107506400B (zh) 一种基于认知特征和流形排序的图像检索方法
CN104899604B (zh) 一种基于数据集合并的特征级融合方法
Liu et al. HVS-based perception-driven no-reference omnidirectional image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190625

Termination date: 20210802