CN104615642B - 基于局部邻域约束的空间验证的错误匹配检测方法 - Google Patents
基于局部邻域约束的空间验证的错误匹配检测方法 Download PDFInfo
- Publication number
- CN104615642B CN104615642B CN201410778037.7A CN201410778037A CN104615642B CN 104615642 B CN104615642 B CN 104615642B CN 201410778037 A CN201410778037 A CN 201410778037A CN 104615642 B CN104615642 B CN 104615642B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msup
- image
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Abstract
一种基于局部邻域约束的空间验证的错误匹配检测方法，属于图像识别领域。本发明的目的是通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致几何变换的基于局部邻域约束的空间验证的错误匹配检测方法。本发明的步骤是：服务器中图像库图像预先处理，用尺度不变特征变换计算查询图像的SIFT特征，然后使用该词袋模型同样生成一个全局直方图，再使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征，获得最终几何得分，最后对初始检索结果重新排序，得到最终的检索结果。本发明减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。
Description
技术领域
本发明属于图像识别领域。
背景技术
近几年，在移动计算平台实现PC机上运行的视觉应用成为研究者和使用者的关注点，使用配备相机的手机启动有关视觉目标的搜索查询被称为基于移动平台的目标检索。其在查询电影、光盘（CD）、印刷媒体、识别周围建筑物、艺术品等方面有广泛的应用。在该项技术中，图像间特征误匹配的检测是影响检索性能的重要因素，因此如何利用计算特征间几何变换关系优化候选结果，是这项技术的核心。
基于查询图像与图像库中所有图像进行相似性比较，由于图像库中图像在在色调、光照、尺度、旋转和遮挡等方面有些不同，这使得在大规模图像库下检索相似图片变得十分困难。
目前众多研究在得到匹配特征后，主要通过几何约束的方式在几何验证步骤中过滤错误的匹配特征对。这些方法通常计算整幅图像中的所有匹配特征对是否满足一致的几何变换关系。然而，在几何验证步骤中，不相关匹配特征的计算对于改善检索性能的作用不大。不论相似区域是图像的一部分还是整幅图像，均满足局部区域中形变相似的特点，因此只需要验证局部区域内的匹配特征是否满足一致的几何关系即可，没有必要计算局部区域外的不相关匹配特征。
发明内容
本发明的目的是通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致几何变换的基于局部邻域约束的空间验证的错误匹配检测方法。
本发明的步骤是：
a、服务器中图像库图像预先处理：使用一些关键的特征点
来表示一幅图像，用一个尺度不变特征点来表示，其包含的信息有：特征点的描述符des、特征点的位置信息(x,y)、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图，每幅图像都用这个全局直方图表示；
b、用尺度不变特征变换计算查询图像的SIFT特征
；
c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图；
d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；
e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤a中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征；
①根据查询图像的SIFT特征与前1000幅检索图像中每幅图像的SIFT特征是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对，其中和分别是查询图像与检索图像的特征；
②在步骤①中选择一个匹配对 作为测试匹配特征，验证其是否正确；
③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义，其中与表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数；
④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：
其中dist(,)指两点的欧氏距离；
⑤计算该匹配对的局部邻域约束值，
其中是步骤①中匹配特征对的数量，指步骤④中局部邻域内共同匹配特征的个数；
⑥通过测试中心匹配对的局部邻域内共同匹配特征在横向与纵向中的排列顺序是否一致，验证该测试匹配特征是否正确；
⑦根据步骤⑥得到的查询图像与候选图像中测试中心匹配对的局部邻域内共同匹配对间的横向坐标关系与纵向坐标关系，对其验证否一致，验证定义式如下：
，
；
⑧根据步骤5.7所得局部邻域中匹配特征在横向与纵向的验证信息，计算该测试中心匹配特征在局部邻域内的几何得分，
其中，表示局部邻域匹配特征中，id号为n的特征与id号为m的特征之间的约束关系；
⑨如果该得分大于阈值，判断测试匹配对正确，反之，错误，定义阈值
；
⑩重复步骤②到步骤⑨，直到测试完所有匹配特征对为止；
f、根据步骤e中基于局部邻域约束的空间验证的错误匹配检测方法保留下来的匹配特征数量作为查询图像与检索图像间的最终几何得分；
g、最后根据步骤f得到的几何得分从大到下的顺序，对初始检索结果重新排序，得到最终的检索结果。
本发明步骤e中第⑥步是：建立查询图像与候选图像间匹配特征点的排序列表，该列表是根据步骤e第①步所得查询图像与候选图像匹配特征点的位置信息，并以横向与纵向两种方式将特征点的坐标升序排列，生成特征点的横向排列序号与纵向排列序号。
本发明提出了基于局部区域加权空间约束的错误匹配检测方法，通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。本发明的方法具有以下优点：
本发明对于计算整幅图像中的所有匹配特征对是否满足一致的几何变换关系时，参与计算的不相关匹配特征影响了检索性能的这种缺点。提出了基于局部区域加权空间约束的错误匹配检测方法，通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。
本发明是一种较快有效的几何验证方法，它能更加鲁棒地检测错误匹配；本发明不仅非常简单，而且具有较强的理论背景，本发明通过局部区域内匹配特征对的数量，定义该匹配特征的局部权重，进而过滤不相关的匹配特征对，最后计算相关匹配特征是否满足一致的几何变换。通过去除不相关的匹配特征对，减少了几何验证阶段特征的数量，降低了几何验证阶段的计算时间；同时也提高了检索的准确度。并且能从理论角度证明可以处理造成检索图像与目标图像差异的相似性，处理效率很高。
附图说明
图1是本发明局部区域的加权示例流程图；
图2是不同值的检索性能对比；
图3是不同方法的检索实例,箭头左边为查询图像，箭头右边为前10幅检索图像。(a) BoW; (b) LGSS; (c) WGC; (d) LGC; (e) TSP; (f) RANSAC; (g) GC; (h) Ourmethod。
具体实施方式
本发明的步骤是（局部区域的加权示例流程图见图1）：
a、服务器中图像库图像预先处理：使用一些关键的特征点 来表示一幅图像，用一个尺度不变特征点（即SIFT特征，一种流行的图像表示特征）来表示，其包含的信息有：特征点的描述符des（128个浮点数组成）、特征点的位置信息(x,y) （所处图像那个位置，一般用横纵坐标表示）、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图（大小为1*10 6数组，索引对应的值即为直方图对应柱子的高度），每幅图像都用这个全局直方图表示；
词袋模型具体执行方案：根据图像库中所有图像的所有SIFT特征点的描述符使用分层k-means聚类方法，把SIFT特征点描述符分成106类（每一类的中心都用128个浮点数表示，和SIFT描述符形式一致），然后构建一个有1*106个柱子的直方图（柱子的高度表示落在对应聚类中心的点的个数）。具体过程是：通过计算每幅图像的SIFT描述符与聚类中心的欧式距离,将该点放入直方图中与其距离最小的聚类中心对应的柱子中。（全局直方图的有106个柱子，代表106个视觉单词，每个柱子的高度代表落入该聚类中心的SIFT特征点的个数）。
分级Kmeans聚类：聚类就是将相似的SIFT描述符分别分成不同类别的过程。Kmeans聚类就是将SIFT描述符分成K个类，并且获得这K个类的中心，成为聚类中心。分级Kmeans聚类是一种Kmeans聚类算法，其可获得一个具有层次的分类，像一颗倒了的树。分级Kmeans可以得到一个从粗略到细致的分类，每一层的聚类中心的个数是上一层的聚类中心个数乘以分支数量。最细致的一层有K个聚类中心。
b、图像库所有图像处理完之后，用尺度不变特征变换计算查询图像的SIFT特征（描述符des，尺度scl，方向orien，位置(x,y)）。
c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图（1*106的数组）。
d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；
倒排索引结构：我们对于每一幅图像都有一个直方图表示，这些直方图的格子数量一样，但是每个格子的高度不一样。倒排索引结构是这样一个结构，其在每一个格子上建立一个存储结构，存储的是在这个格子上高度不为0的图片直方图的图片名、该图片属于这个格子的特征点信息，以及在这个格子上的高度。通过倒排索引结构，可以很方便地找到在一个格子上存在有效高度的图片。查询图像的SIFT特征可以通过倒排索引结构找到在图像库中与其匹配的SIFT特征 ，最后并根据查询图像与图像库每幅图像匹配SIFT特征的数量定义为相似性得分，并从大到小的顺序，将图像库每幅图像进行排序，得到一个初始检索结果。
e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤a中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征。
①根据查询图像的SIFT特征与前1000幅检索图像中每幅图像的SIFT特征是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对，其中和分别是查询图像与检索图像的特征。
②在步骤①中选择一个匹配对 作为测试匹配特征，验证其是否正确。
③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义，其中与表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数。
④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：
其中dist(,)指两点的欧氏距离。
⑤计算该匹配对的局部邻域约束值，
其中是步骤①中匹配特征对的数量，指步骤④中局部邻域内共同匹配特征的个数；当约束值大于某一阈值时，阈值定义为，进而计算其局部邻域内的共同匹配对是否满足一致的几何关系；否则，判断为错误匹配对。
⑥通过测试中心匹配对的局部邻域内共同匹配特征在横向与纵向中的排列顺序是否一致，验证该测试匹配特征是否正确。
⑦根据步骤⑥得到的查询图像与候选图像中测试中心匹配对的局部邻域内共同匹配对间的横向坐标关系与纵向坐标关系，对其验证否一致，验证定义式如下：
，
。
当查询图像中与候选图像中同时大于0，或者，同时小于0时，该匹配特征对，在横向坐标关系中，验证正确，，即cond1;若大于0，小于0，或者小于0，大于0时，验证错误，，即cond2;同理，当，同时大于0，或者同时小于0时，匹配特征对在纵向坐标关系中，验证正确，，即cond3;反之，验证错误，，即cond4。
⑧根据步骤5.7所得局部邻域中匹配特征在横向与纵向的验证信息，计算该测试中心匹配特征在局部邻域内的几何得分，
其中，表示局部邻域匹配特征中，id号为n的特征与id号为m的特征之间的约束关系。为了提高计算效率，本文并非验证共同匹配对中所有特征点间的约束关系，只是计算了共同匹配特征点的排序列表中相邻特征id号间的约束关系。因此该约束关系可表示为，特征id号为n是大于特征id号为m的最小id号。图2所示，当测试中心匹配对为，m=3时，在查询图像的局部邻域内共同匹配特征中，大于特征的id号3的最小id号为特征id号5，因此n=5。几何得分表示中心匹配对的局部邻域内所有共同匹配特征点在横向坐标关系与纵向坐标关系中，排列顺序一致的最多数量。
⑨如果该得分大于阈值，判断测试匹配对正确，反之，错误，定义阈值。
⑩重复步骤②到步骤⑨，直到测试完所有匹配特征对为止。
f、根据步骤e中基于局部邻域约束的空间验证的错误匹配检测方法保留下来的匹配特征数量作为查询图像与检索图像间的最终几何得分。
g、最后根据步骤f得到的几何得分从大到下的顺序，对初始检索结果重新排序，得到最终的检索结果。
本发明步骤e中第⑥步是：建立查询图像与候选图像间匹配特征点的排序列表，该列表是根据步骤e第①步所得查询图像与候选图像匹配特征点的位置信息，并以横向与纵向两种方式将特征点的坐标升序排列，生成特征点的横向排列序号与纵向排列序号。
根据图1所示，如下给出查询图像中匹配特征点的排序列表的实例。
然后，根据以上得到的测试中心匹配对的局部邻域内共同匹配特征与匹配特征点在排序列表中的特征排列序号，计算测试中心匹配中，局部邻域内共同匹配特征间的位置关系，计算如下：
，，其中，，，并且n>m。
，分别表示在测试中心匹配对的局部邻域内共同匹配对中，特征q n 与特征q m 间的横向坐标关系与纵向坐标关系。当大于0时，表示中心匹配对的局部邻域内共同匹配对中特征q n 在特征q m 的右边，大于0时，表示中心匹配对中局部邻域内共同匹配对中特征q n 在特征q m 的上边；当，都小于0时，反之。
实施例1：首先，对于实施步骤说明中的一些概念进行解释。
一、训练过程实施步骤
1. 首先获得图像数据集中每一幅图像的SIFT特征点和描述符。
2. 对于数据集中所有图像的描述符构成的集合，使用分级Kmeans聚类的方法进行聚类，从而获得一个1M大小的视觉词词汇树。
3. 对于数据集中的每一幅图像，利用词汇树对其特征点和描述符进行量化，从而获得对应的直方图表示。
4. 在生成每一幅图像直方图的时候，同时生成所有图像直方图的倒排索引结构。生成一幅图像的直方图后，遍历直方图的每个格子，若一个格子上的值不为0，则在这个倒排索引结构的这个格子对应的索引下，加入一个键值对。这个键值对是以图片文件名为键，这个格子上的高度为值。这样处理完数据集中所有的图片之后，就能在一个直方图格子对应的索引之下，找到在这个格子上的值不为0的所有图片以及其在这个格子上的值。
5. 将词汇树和倒排索引结构存到磁盘上，完成训练过程。
二、检索过程实施步骤
1. 首先读入检索图像库的词汇树和倒排索引结构，完成初始化工作。
2. 等待检索请求，获得查询图像的SIFT特征点（描述符，位置信息）。
3. 根据查询图像的SIFT特征点的描述符，利用词汇树生成检索图像的直方图表示。
4. 在倒排索引结构上，遍历查询图像直方图上不为0的格子对应的索引项，将此项中不为0的图片名加入结果集。即至少要与检索图像有一丝相似性的图片才会被加入结果集。
5. 在倒排索引的每一个索引项上，遍历存在与结果集中的图片名，计算在这个格子上与检索图像的相似得分，并进行累加。这样遍历完之后，就能获得相似图片集及其相似得分。
6. 对相似图片集按照相似性从大到小进行排序，然后使用后验证算法，对这个序列进行重排，从而获得最终的图片相似性序列。
下面，对本发明的实施示例进行具体描述。
1.SIFT：Scale-invariant feature transform，尺度不变特征转换，是用于图像处理领域的一种描述子。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
2. SIFT特征点：在尺度不变特征转换之中获得的一种图像上的兴趣点。这些点是在图像的尺度空间之中通过高斯微分函数检测出来的，其对于尺度和旋转具有不变性，是一种能够很好表现图像特性的特征点。
3.SIFT描述符：以SIFT特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个格子的方向直方图，最后每一个特征点获得4×4×8的128维特征描述符。
4.分级Kmeans聚类：聚类就是将相似的SIFT描述符分别分成不同类别的过程。Kmeans聚类就是将SIFT描述符分成K个类，并且获得这K个类的中心，成为聚类中心。分级Kmeans聚类是一种Kmeans聚类算法，其可获得一个具有层次的分类，像一颗倒了的树。分级Kmeans可以得到一个从粗略到细致的分类，每一层的聚类中心的个数是上一层的聚类中心个数乘以分支数量。最细致的一层有K个聚类中心。
5.词汇树：通过分级Kmeans聚类得出来的聚类中心的总称。其具有层次结构，每一层聚类中心代表了对SIFT描述符的一个分类。
6.倒排索引结构：我们对于每一幅图像都有一个直方图表示，这些直方图的格子数量一样，但是每个格子的高度不一样。倒排索引结构是这样一个结构，其在每一个格子上建立一个存储结构，存储的是在这个格子上高度不为0的图片直方图的图片名、该图片属于这个格子的特征点信息，以及在这个格子上的高度。通过倒排索引结构，可以很方便地找到在一个格子上存在有效高度的图片。
实施例2：
数据集：采用两个较为流行的数据集作为被检索数据集，分别是DupImage数据集和Mobile数据集。其中DupImage数据集一共含有1104张图像，组数一共为33组，随机选择100幅作为测试图像。而Mobile包含400幅图像。同时也提供了通过手机拍摄的测试图像集，共2500幅。以Top-10作为衡量精确度的标准。此外，为了让示例变得更加真实，本实施例还特别采用了混淆图片数据集Ukbenchc，使最终两组数据集的图像总数均为10000幅。
评价指标：对于DupImage数据集本实施例使用能够体现图像检索性能的通用平均检索精确度（mAP）以及平均检索时间来检验本发明与其他业界最优方法来进行比较。对于Mobile数据集本实施例使用能够体现图像检索性能的通用平均检索精确度（Top-10）以及平均检索时间来检验本发明与其他业界最优方法来进行比较。
在DupImage数据集中，通过不同值，对比检索性能，从而选择最佳的的值。
分别在两种数据集下，使用本发明选择的最佳值及业界最优方法（RANSAC[3]、WGC[4]、LGSS[6]、LGC[9]、TSP[5]、GC[8]）分别去除初始特征匹配对中的错误匹配。
使所有方法对初始检索结果重排序，并根据几何得分得出最终检索结果。
由排名结果得到各个方法和本发明的平均检索精确度与平均检索时间，以用于比较。
方案示例的比较结果如表所示。
表1关于检索精确度的分析，传统的BoW忽略了特征间的几何关系，影响检索效率。因此本发明提出局部邻域约束的空间验证方法，增加特征间的几何关系，提高检索性能。关于其它几何验证方法，LGSS两点编码时，验证特征匹配很不稳定；WGC主要假设查询图像与候选图像的变换一致，却无法处理图像间的非刚性形变；RANSAC与TSP都是只编码了特征点的位置信息，无法全面反应匹配特征间的空间关系；虽然GC完全利用特征的几何信息（尺度，方向，空间位置），但不相关特征在后验证中的计算也对检索性能产生了影响；对于LGC,在几何编码中只是计算了最邻近的10对匹配特征的相关信息，如果局部区域内并不存在匹配特征，此时不相关特征仍然会计算在后验证步骤中；以上叙述的原因都会影响检索性能。关于每幅图像的平均查询时间的分析，在众多几何验证方法的对比中可看出，相比WGC（0.3237秒），LGSS（0.4008秒）计算的是两点的距离比，而不是简单的加减运算；LGC（0.5261秒）又额外的考虑了最邻近的10对匹配特征的信息，精确计算了匹配特征间的变换矩阵；GC（2.4377秒）提出了更加复杂的编码方法（轴线编码和方形编码），严格的描述了局部特征间的几何关系；TSP（7.7272秒）通过更多的点计算特征间的几何关系；由于RANSAC（15.1747秒）通过大量的随机取样，计算仿射变换，因此耗时最多。最后，SVLRC在验证特征间几何关系的前提下，通过定义匹配特征中局部邻域的约束方法，过滤不相关的匹配特征对，不仅减少了后验证阶段特征的计算数量，也提高了验证错误匹配特征的准确度。
Claims (2)
1.一种基于局部邻域约束的空间验证的错误匹配检测方法，其特征在于：
a、服务器中图像库图像预先处理：使用一些关键的特征点di′(xi′，yi′，desi′，scli′，θi′，orieni′)来表示一幅图像，用一个尺度不变特征点来表示，其包含的信息有：特征点的描述符des、特征点的位置信息(x,y)、特征点的尺度scl、特征点的方向orien，并使用词袋模型生成全局直方图，每幅图像都用这个全局直方图表示；
b、用尺度不变特征变换计算查询图像的SIFT特征
qi(xi，yi，desi，scli，θi，orieni)；
c、根据步骤b所得图像SIFT特征的描述符，使用该词袋模型同样生成一个全局直方图；
d、对步骤c与步骤a所得全局直方图利用倒排索引结构计算查询图像与图像库每幅图像的相似得分，并记录图像库图像中最相似的前1000幅检索图像序号；
e、根据步骤b中查询图像SIFT特征的位置信息和尺度，与步骤d中所得的前1000幅检索图像SIFT特征的位置、和尺度，使用基于局部区域加权空间约束的错误匹配检测方法，去除错误的匹配特征；①根据查询图像的SIFT特征Q＝(q1，q2，...，qK)与前1000幅检索图像中每幅图像的SIFT特征D＝(d1′，d2′，...，dK′)是否同时量化为相同视觉词，寻找查询图像与每幅检索图像的匹配特征对M(Q，D)＝{(qi，di′)|qi∈Q，di′∈D}，其中qi和di′分别是查询图像与检索图像的特征；
②在步骤①中选择一个匹配对(qi(xi，yi，desi，scli，θi)，di′(xi′，yi′，desi′，scli′，θi′))作为测试匹配特征，验证其是否正确；
③定义步骤②中测试匹配特征的局部区域，其区域范围的距离定义 其中scli与scli′表示步骤b查询图像匹配特征的尺度参数与步骤a中候选图像匹配特征的尺度参数；
④挑选局部区域中的共同匹配特征，计算该匹配对的局部邻域约束值；共同匹配特征定义如下：
<mrow>
<msub>
<mi>ComMatch</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
</msub>
<mo>=</mo>
<mo>{</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
<mo>&Element;</mo>
<mi>M</mi>
<mo>(</mo>
<mi>q</mi>
<mo>,</mo>
<mi>d</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>r</mi>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>j</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>r</mi>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>}</mo>
</mrow>
其中dist(,)指两点的欧氏距离；
⑤计算该匹配对的局部邻域约束值，
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>n</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>a</mi>
<mi>int</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>m</mi>
<mi>M</mi>
<mi>a</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>-</mo>
<mfrac>
<msub>
<mi>C</mi>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>m</mi>
<mi>M</mi>
<mi>a</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
</mfrac>
</mrow>
其中CM(Q，D)是步骤①中匹配特征对的数量，指步骤④中局部邻域内共同匹配特征的个数；
⑥通过测试中心匹配对的局部邻域内共同匹配特征在横向与纵向中的排列顺序是否一致，验证该测试匹配特征是否正确；
⑦根据步骤⑥得到的查询图像与候选图像中测试中心匹配对的局部邻域内共同匹配对间的横向坐标关系与纵向坐标关系，对其验证否一致，验证定义式如下：
<mrow>
<mi>V</mi>
<mi>e</mi>
<mi>r</mi>
<mi>i</mi>
<mi>f</mi>
<mi>y</mi>
<mo>_</mo>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>d</mi>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>d</mi>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
<mrow>
<mi>V</mi>
<mi>e</mi>
<mi>r</mi>
<mi>i</mi>
<mi>f</mi>
<mi>y</mi>
<mo>_</mo>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>d</mi>
<mn>3</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>d</mi>
<mn>4</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
⑧根据步骤5.7所得局部邻域中匹配特征在横向与纵向的验证信息，计算该测试中心匹配特征在局部邻域内的几何得分，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>S</mi>
<mi>c</mi>
<mi>o</mi>
<mi>r</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>max</mi>
<mrow>
<mo>(</mo>
<munder>
<munder>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
<mo>&Element;</mo>
<msub>
<mi>CbmMatch</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
</msub>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
<mo>&Element;</mo>
<msub>
<mi>CbmMatch</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
</msub>
</mrow>
</munder>
<mrow>
<mi>m</mi>
<mo>&RightArrow;</mo>
<mi>n</mi>
</mrow>
</munder>
<mi>V</mi>
<mi>e</mi>
<mi>r</mi>
<mi>i</mi>
<mi>f</mi>
<mi>y</mi>
<mo>_</mo>
<mi>x</mi>
<mo>(</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>i</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>m</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>q</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中，m→n表示局部邻域匹配特征中，id号为n的特征与id号为m的特征之间的约束关系；⑨如果该得分大于阈值δ2，判断测试匹配对(qi，di′)正确，反之，错误，定义阈值
⑩重复步骤②到步骤⑨，直到测试完所有匹配特征对为止；
f、根据步骤e中基于局部邻域约束的空间验证的错误匹配检测方法保留下来的匹配特征数量作为查询图像与检索图像间的最终几何得分；
g、最后根据步骤f得到的几何得分从大到小的顺序，对初始检索结果重新排序，得到最终的检索结果。
2.根据权利要求1所述的基于局部邻域约束的空间验证的错误匹配检测方法，其特征在于：步骤e中第⑥步是：建立查询图像与候选图像间匹配特征点的排序列表，该列表是根据步骤e第①步所得查询图像与候选图像匹配特征点的位置信息，并以横向与纵向两种方式将特征点的坐标升序排列，生成特征点的横向排列序号#num_x与纵向排列序号#num_y。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410778037.7A CN104615642B (zh) | 2014-12-17 | 2014-12-17 | 基于局部邻域约束的空间验证的错误匹配检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410778037.7A CN104615642B (zh) | 2014-12-17 | 2014-12-17 | 基于局部邻域约束的空间验证的错误匹配检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104615642A CN104615642A (zh) | 2015-05-13 |
| CN104615642B true CN104615642B (zh) | 2017-09-29 |
Family
ID=53150086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410778037.7A Active CN104615642B (zh) | 2014-12-17 | 2014-12-17 | 基于局部邻域约束的空间验证的错误匹配检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104615642B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292171A (zh) * | 2016-04-13 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 用于识别压缩文件子类型的方法、病毒检测方法及装置 |
| CN106547867B (zh) * | 2016-11-01 | 2020-07-17 | 电子科技大学 | 图像检索中基于密度的几何校验方法 |
| CN106991431B (zh) * | 2017-03-03 | 2020-02-07 | 杭州电子科技大学 | 一种局部特征点匹配对的后验证方法 |
| CN107452004B (zh) * | 2017-08-08 | 2020-06-05 | 北京深境智能科技有限公司 | 一种鲁棒的基于超像素局部特征的图像匹配方法 |
| CN108182220A (zh) * | 2017-12-25 | 2018-06-19 | 重庆邮电大学 | 云服务器中基于用户隐私保护的图像检索方法 |
| CN108897747A (zh) * | 2018-04-03 | 2018-11-27 | 南昌奇眸科技有限公司 | 一种商标图形相似度比对方法 |
| CN108710690A (zh) * | 2018-05-22 | 2018-10-26 | 长春师范大学 | 基于几何验证的医学图像检索方法 |
| CN109101985A (zh) * | 2018-06-03 | 2018-12-28 | 东南大学 | 一种基于自适应邻域测试的图像误匹配点对剔除方法 |
| CN109300170B (zh) * | 2018-10-18 | 2022-10-28 | 云南大学 | 肖像照片光影传递方法 |
| CN113609279B (zh) * | 2021-08-05 | 2023-12-08 | 湖南特能博世科技有限公司 | 一种物料型号提取方法、装置及计算机设备 |
| CN114332510B (zh) * | 2022-01-04 | 2024-03-22 | 安徽大学 | 一种层次化的图像匹配方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008023280A2 (en) * | 2006-06-12 | 2008-02-28 | Fotonation Vision Limited | Advances in extending the aam techniques from grayscale to color images |
| CN101777059B (zh) * | 2009-12-16 | 2011-12-07 | 中国科学院自动化研究所 | 一种提取地标性场景摘要的方法 |
-
2014
- 2014-12-17 CN CN201410778037.7A patent/CN104615642B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008023280A2 (en) * | 2006-06-12 | 2008-02-28 | Fotonation Vision Limited | Advances in extending the aam techniques from grayscale to color images |
| CN101777059B (zh) * | 2009-12-16 | 2011-12-07 | 中国科学院自动化研究所 | 一种提取地标性场景摘要的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于分级显著信息的空间编码方法;赵宏伟等;《电子学报》;20140930;第42卷(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104615642A (zh) | 2015-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104615642B (zh) | 基于局部邻域约束的空间验证的错误匹配检测方法 | |
| Zhou et al. | Recent advance in content-based image retrieval: A literature survey | |
| CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| Gordo | Supervised mid-level features for word image representation | |
| CN109241317B (zh) | 基于深度学习网络中度量损失的行人哈希检索方法 | |
| Yang et al. | Local difference binary for ultrafast and distinctive feature description | |
| JP5522408B2 (ja) | パターン認識装置 | |
| CN102208038B (zh) | 基于视觉词典的图像分类方法 | |
| CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| US20150003723A1 (en) | System and method of detecting objects in scene point cloud | |
| Shuai et al. | Fingerprint indexing based on composite set of reduced SIFT features | |
| CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN104392253B (zh) | 一种草图数据集的交互式类别标注方法 | |
| CN101567051A (zh) | 一种基于特征点的图像配准方法 | |
| CN104966081B (zh) | 书脊图像识别方法 | |
| CN105654122B (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN105184260A (zh) | 一种图像特征提取方法及行人检测方法及装置 | |
| Gonzalez-Diaz et al. | Neighborhood matching for image retrieval | |
| Wang et al. | S 3 d: scalable pedestrian detection via score scale surface discrimination | |
| CN113420291A (zh) | 基于权重集成的入侵检测特征选择方法 | |
| CN113255604A (zh) | 基于深度学习网络的行人重识别方法、装置、设备及介质 | |
| CN110674334B (zh) | 基于一致性区域深度学习特征的近重复图像检索方法 | |
| Pourian et al. | Pixnet: A localized feature representation for classification and visual search | |
| CN105975643A (zh) | 一种基于文本索引的实时图像检索方法 | |
| Yeh et al. | A string matching approach for visual retrieval and classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |