CN108960268A - 图像匹配方法及装置 - Google Patents

图像匹配方法及装置 Download PDF

Info

Publication number
CN108960268A
CN108960268A CN201711254540.2A CN201711254540A CN108960268A CN 108960268 A CN108960268 A CN 108960268A CN 201711254540 A CN201711254540 A CN 201711254540A CN 108960268 A CN108960268 A CN 108960268A
Authority
CN
China
Prior art keywords
image
cluster
matching
matched
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711254540.2A
Other languages
English (en)
Inventor
潘景良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ju Da Technology Co Ltd
Original Assignee
Ju Da Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ju Da Technology Co Ltd filed Critical Ju Da Technology Co Ltd
Priority to CN201711254540.2A priority Critical patent/CN108960268A/zh
Publication of CN108960268A publication Critical patent/CN108960268A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开图像匹配方法及装置，该图像匹配方法包括特征提取、初步匹配、建立备选图像集、聚类筛选、最终匹配等步骤。本发明各步骤各司其职，采用初步匹配为最终匹配奠定基础，大大降低了聚类筛选步骤的计算复杂度，计算速度更快，而引用的聚类操作，提高了本方法的鲁棒性，匹配精度更高。

Description

图像匹配方法及装置
技术领域
本发明属于图像识别领域，具体涉及一种图像匹配方法及装置。
背景技术
图像匹配是计算机视觉中一个非常重要的研究课题，广泛应用于图像配准、目标检测、目标识别和图像检索等领域中。图像匹配技术主要在两幅或多幅图中识别出同名点。现图像匹配技术可应用于如下场景中，譬如在火车站利用摄像机从拍摄到的人群中寻找与通缉犯照片相近的人。再比如生产线上利用摄像机拍摄工件，检查它们是否存在与残次品库中保存图案相近的。再譬如在手机等移动设备上进行拍照，与数据库内照片进行对比，找出最接近的图像。
然而，现有的图像匹配方法其鲁棒性差，精度也达不到要求。
发明内容
为了解决上述技术问题，本发明提出了一种图像匹配方法及装置。
为了达到上述目的，本发明的技术方案如下：
图像匹配方法包括以下步骤：
1)特征提取，用于对待匹配图像及图像库内的图像进行特征提取；
2)初步匹配，用于将特征提取后的待匹配图像与特征提取后图像库内的图像进行逐一特征匹配，并对两者匹配度打分；
3)建立备选图像集，根据匹配度得分情况，对图像库内的图像进行排序，将排序后匹配度得分前L个图像作为备选图像集；
4)聚类筛选，对备选图像集内的图像进行聚类操作，获取多个聚类子集，选取其中一个聚类子集作为目标图像集；
5)最终匹配，在目标图像集内，选取距离聚类中心最近的图像，该图像即为与待匹配图像相匹配的图像。
本发明一种图像匹配方法从特征提取、初步匹配、建立备选图像集、聚类筛选到最终匹配，各步骤各司其职，采用初步匹配为最终匹配奠定基础，大大降低了聚类筛选步骤的计算复杂度，计算速度更快，而引用的聚类操作，提高了本方法的鲁棒性，匹配精度更高。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，步骤1)中的特征提取可采用SIFT算法或HOG算法或SURF算法。
采用上述优选的方案，SIFT算法对光照变化，图像尺寸变化，目标位置变化等鲁棒性较高，能有效的在各种变化场景下实现图像的匹配。HOG算法对人体特征提取更为敏感且高效。SURF算法是加快版本的SIFT算法，其运行更快。在具体操作的过程中，可根据具体的需要选择合适的特征提取算法。
作为优选的方案，步骤2)中，采用差值函数实现匹配度打分，具体为以下公式：
score＝||b-a||2；
其中，a为待匹配图像的特征，b为图像库内某一图像的特征，||●||2表示求二范数。
采用上述优选的方案，对于匹配度的打分，采用差值函数来实现，即将图像库内某一图像的特征和待匹配图像的特征作差，得到一个差值矩阵，对该差值矩阵进行平方和，即为最后得分。采用该种匹配度打分方法，其运行速度较快，得到的备选图像集更精准。
作为优选的方案，在步骤4中，采用DBSCAN算法实现聚类操作，具体为最小化以下公式：
其中，P为总聚类数目；
L为备选图像集内图像数目；
xl为第l个图像；
up为第p个聚类的聚类中心；
rl，p为二值函数，用于表征xl是否属于第p个聚类。
采用上述优选的方案，聚类筛选操作采用DBSCAN算法进行完成，相比于传统聚类算法，DBSCAN算法是一个比较有代表性的基于密度的聚类算法。与划分和层次的聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN算法具有聚类数目不必固定的特点，更适合本申请的技术方案。
作为优选的方案，在步骤4)中，当获取两个聚类子集时，人工选取其中一个聚类子集作为目标图像的图像集。
采用上述优选的方案，固定了聚类的数目，当获取两个聚类子集时，由于无法判定哪个聚类子集是正确聚类集，哪个是异值点聚类集，因此把两个聚类集的聚类中心图像都输出，输出后人工去选择出正确的输出图像，操作更便捷快速，且匹配误差率小。采用固定聚类数目的方法，更加简便，聚类效率更高，时间更短。
作为优选的方案，在步骤4)和5)中，当获取两个聚类子集时，将该两个聚类子集的聚类中心图像输出，聚类中心图像即为距离其所属聚类子集的聚类中心最近的图像，人工选取其中一个图像，该图像即为与待匹配图像相匹配的图像。
采用上述优选的方案，便于人工去选择出正确的图像，匹配精度高，匹配速度快。
作为优选的方案，在步骤4)中，当获取三个以上的聚类子集时，选取容积最大的聚类子集作为目标图像的图像集。
采用上述优选的方案，当聚类的数目不确定时，可能为三个、四个或五个以上的聚类子集时，其聚类结果将会是正确的聚类集在一类，其他异值点每类异值在一类。基于此，每类异值理论上容积都会较小，远小于正确聚类集。因此，本申请取容积最大的聚类子集作为目标图像的图像集。
作为优选的方案，步骤5)中，目标图像集的聚类中心通过对目标图像集内的图像求取平均值来获得。
采用上述优选的方案，操作简单，运行速度快。
图像匹配装置，包括：
第一采集模块，用于采集多个图像，形成用于匹配的图像库；
第二采集模块，用于采集待匹配图像；
图像匹配模块，分别与第一采集模块和第二采集模块连接，图像匹配模块利用图像匹配方法将待匹配图像与图像库内的图像进行匹配，从图像库内找出与待匹配图像相匹配的图像。
本发明公开一种图像匹配装置，其结构简单，可以有效将图像进行匹配，匹配速度快，匹配精度高。
作为优选的方案，第一采集模块为扫地机器人，第二采集模块为移动客户端。
采用上述优选的方案，移动客户端可以有效便捷的利用图像匹配技术对扫地机器人进行控制。
附图说明
图1为本发明实施例提供的图像匹配方法的流程图。
图2为本发明实施例提供的图像匹配装置的结构示意图。
图3为本发明实施例提供的手机和扫地机器人的图像匹配流程图。
其中：1第一采集模块、2第二采集模块、3图像匹配模块。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
为了达到本发明的目的，一种图像匹配方法及装置的其中一些实施例中，
如图1所示，图像匹配方法包括以下步骤：
1)特征提取，用于对待匹配图像及图像库内的图像进行特征提取；
2)初步匹配，用于将特征提取后的待匹配图像与特征提取后图像库内的图像进行逐一特征匹配，并对两者匹配度打分；
3)建立备选图像集，根据匹配度得分情况，对图像库内的图像进行排序，将排序后匹配度得分前L个图像作为备选图像集；
4)聚类筛选，对备选图像集内的图像进行聚类操作，获取多个聚类子集，选取其中一个聚类子集作为目标图像集；
5)最终匹配，在目标图像集内，选取距离聚类中心最近的图像，该图像即为与待匹配图像相匹配的图像。
本发明一种图像匹配方法从特征提取、初步匹配、建立备选图像集、聚类筛选到最终匹配，各步骤各司其职，采用初步匹配为最终匹配奠定基础，大大降低了聚类筛选步骤的计算复杂度，计算速度更快，而引用的聚类操作，提高了本方法的鲁棒性，匹配精度更高。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤1)中的特征提取采用SIFT算法。
采用上述优选的方案，SIFT算法对光照变化，图像尺寸变化，目标位置变化等鲁棒性较高，能有效的在各种变化场景下实现图像的匹配。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤1)中的特征提取采用HOG算法。
采用上述优选的方案，HOG算法对人体特征提取更为敏感且高效。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤1)中的特征提取SURF算法。
采用上述优选的方案，SURF算法是加快版本的SIFT算法，其运行更快。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤2)中，采用差值函数实现匹配度打分，具体为以下公式：
score＝||b-a||2；
其中，a为待匹配图像的特征，b为图像库内某一图像的特征，||●||2表示求二范数。
采用上述优选的方案，对于匹配度的打分，采用差值函数来实现，即将图像库内某一图像的特征和待匹配图像的特征作差，得到一个差值矩阵，对该差值矩阵进行平方和，即为最后得分。采用该种匹配度打分方法，其运行速度较快，得到的备选图像集更精准。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤4中，采用DBSCAN算法实现聚类操作，具体为最小化以下公式：
其中，P为总聚类数目；
L为备选图像集内图像数目；
xl为第l个图像；
up为第p个聚类的聚类中心；
rl，p为二值函数，用于表征xl是否属于第p个聚类。
采用上述优选的方案，聚类筛选操作采用DBSCAN算法进行完成，相比于传统聚类算法，DBSCAN算法是一个比较有代表性的基于密度的聚类算法。与划分和层次的聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN算法具有聚类数目不必固定的特点，更适合本申请的技术方案。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤4)和5)中，当获取两个聚类子集时，将该两个聚类子集的聚类中心图像输出，聚类中心图像即为距离其所属聚类子集的聚类中心最近的图像，人工选取其中一个图像，该图像即为与待匹配图像相匹配的图像。
采用上述优选的方案，固定了聚类的数目，当获取两个聚类子集时，由于无法判定哪个聚类子集是正确聚类集，哪个是异值点聚类集，因此把两个聚类集的聚类中心图像都输出，输出后人工去选择出正确的输出图像，操作更便捷快速，且匹配误差率小。采用固定聚类数目的方法，更加简便，聚类效率更高，时间更短。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，在步骤4)中，当获取三个以上的聚类子集时，选取容积最大的聚类子集作为目标图像的图像集。
采用上述优选的方案，当聚类的数目不确定时，可能为三个、四个或五个以上的聚类子集时，其聚类结果将会是正确的聚类集在一类，其他异值点每类异值在一类。基于此，每类异值理论上容积都会较小，远小于正确聚类集。因此，本申请取容积最大的聚类子集作为目标图像的图像集。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤5)中，目标图像集的聚类中心通过对目标图像集内的图像求取平均值来获得。
采用上述优选的方案，操作简单，运行速度快。
本发明在公开一种图像匹配方法的基础上还公开了一种图像匹配装置，如图2所示，其包括：
第一采集模块1，用于采集多个图像，形成用于匹配的图像库；
第二采集模块2，用于采集待匹配图像；
图像匹配模块3，分别与第一采集模块1和第二采集模块2连接，图像匹配模块3利用图像匹配方法将待匹配图像与图像库内的图像进行匹配，从图像库内找出与待匹配图像相匹配的图像。
本发明一种图像匹配装置结构简单，可以有效将图像进行匹配，匹配速度快，匹配精度高。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，第一采集模块1为扫地机器人，第二采集模块2为移动客户端。
采用上述优选的方案，移动客户端可以为手机、电脑、笔记本、pad中的一种，移动客户端可以有效便捷的利用图像匹配技术对扫地机器人进行控制。
举例，如图3所示，以对60平方的室内进行了图像匹配过程为实例。
第一，在建库过程中，采用扫地机器人在室内各个角落拍摄四百幅图像作为图像库。
第二，随机选取了室内区域一个角落，采用手机进行拍摄，作为待匹配图像。
第三，将待匹配图像发送到图像匹配模块3，图像匹配模块3可以为扫地机器人内部的处理单元，也可以是与手机和扫地机器人分别独立的一个后台处理器。
第四，图像匹配模块3获取待匹配图像后，先进行特征提取，并根据提取到的特征进行图像的初步匹配。在初步匹配后进行排序，从图像库中选择出的排序前十个图像作为备选图像集，假设其中有六幅是正确匹配，四幅错误匹配。基于此，进行了图像聚类筛选，十幅图像被聚成两个聚类集，其中六幅正确匹配和一幅错误匹配被聚到一个聚类集，剩下三幅错误匹配被聚到另一个聚类集。将两个聚类集的聚类中心图像都输出到手机，输出后让用户自行去选择出正确的输出图像，选择出图像库中与手机拍摄的待匹配图像相匹配的图像。
采用以上的方式，扫地机器人可以得到手机拍摄的目标区域的准确区域，更便于控制扫地机器人到达该区域进行打扫。用户可以直接通过图片拍摄方式控制扫地机器人到达指定区域进行打扫，大大简化了扫地机器人的控制方式，提高用户的使用舒适度。
在上述的实例中，也可以选择容积较大即含有七幅图像的聚类集，找到其聚类中心，选取了离聚类中心最近的图像，作为匹配输出。
在其他实施例中，第一采集模块1和第二采集模块2还可以为其他控制装置或工作设备，其主要原理仍是利用控制装置拍摄图像的方式来控制工作设备到达拍摄图像所指定的位置。
以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.图像匹配方法，其特征在于，包括以下步骤：
1)特征提取，用于对待匹配图像及图像库内的图像进行特征提取；
2)初步匹配，用于将特征提取后的待匹配图像与特征提取后图像库内的图像进行逐一特征匹配，并对两者匹配度打分；
3)建立备选图像集，根据匹配度得分情况，对图像库内的图像进行排序，将排序后匹配度得分前L个图像作为备选图像集；
4)聚类筛选，对备选图像集内的图像进行聚类操作，获取多个聚类子集，选取其中一个聚类子集作为目标图像集；
5)最终匹配，在目标图像集内，选取距离聚类中心最近的图像，该图像即为与待匹配图像相匹配的图像。
2.根据权利要求1所述的图像匹配方法，其特征在于，所述步骤1)中的特征提取可采用SIFT算法或HOG算法或SURF算法。
3.根据权利要求1所述的图像匹配方法，其特征在于，所述步骤2)中，采用差值函数实现匹配度打分，具体为以下公式：
score＝||b-a||2；
其中，a为待匹配图像的特征，b为图像库内某一图像的特征，||●||2表示求二范数。
4.根据权利要求1所述的图像匹配方法，其特征在于，在所述步骤4中，采用DBSCAN算法实现聚类操作，具体为最小化以下公式：
其中，P为总聚类数目；
L为备选图像集内图像数目；
xl为第l个图像；
up为第p个聚类的聚类中心；
rl，p为二值函数，用于表征xl是否属于第p个聚类。
5.根据权利要求1所述的图像匹配方法，其特征在于，在所述步骤4)中，当获取两个聚类子集时，人工选取其中一个聚类子集作为目标图像的图像集。
6.根据权利要求5所述的图像匹配方法，其特征在于，在所述步骤4)和5)中，当获取两个聚类子集时，将该两个聚类子集的聚类中心图像输出，所述聚类中心图像即为距离其所属聚类子集的聚类中心最近的图像，人工选取其中一个图像，该图像即为与待匹配图像相匹配的图像。
7.根据权利要求1所述的图像匹配方法，其特征在于，在所述步骤4)中，当获取三个以上的聚类子集时，选取容积最大的聚类子集作为目标图像的图像集。
8.根据权利要求1所述的图像匹配方法，其特征在于，所述步骤5)中，所述目标图像集的聚类中心通过对目标图像集内的图像求取平均值来获得。
9.图像匹配装置，其特征在于，包括：
第一采集模块，用于采集多个图像，形成用于匹配的图像库；
第二采集模块，用于采集待匹配图像；
图像匹配模块，分别与所述第一采集模块和第二采集模块连接，所述图像匹配模块利用如权利要求1-8任一项所述的图像匹配方法将待匹配图像与图像库内的图像进行匹配，从图像库内找出与待匹配图像相匹配的图像。
10.根据权利要求9所述的图像匹配装置，其特征在于，所述第一采集模块为扫地机器人，所述第二采集模块为移动客户端。
CN201711254540.2A 2017-12-01 2017-12-01 图像匹配方法及装置 Pending CN108960268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711254540.2A CN108960268A (zh) 2017-12-01 2017-12-01 图像匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711254540.2A CN108960268A (zh) 2017-12-01 2017-12-01 图像匹配方法及装置

Publications (1)

Publication Number Publication Date
CN108960268A true CN108960268A (zh) 2018-12-07

Family

ID=64495631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711254540.2A Pending CN108960268A (zh) 2017-12-01 2017-12-01 图像匹配方法及装置

Country Status (1)

Country Link
CN (1) CN108960268A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201200A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Visual search accuracy with hamming distance order statistics learning
CN104102909A (zh) * 2014-07-23 2014-10-15 中科联合自动化科技无锡有限公司 基于多重视觉信息的车辆特征定位及匹配方法
CN105354578A (zh) * 2015-10-27 2016-02-24 安徽大学 一种多目标物体图像匹配方法
CN105426924A (zh) * 2015-12-14 2016-03-23 北京工业大学 一种基于图像中层特征的场景分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201200A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Visual search accuracy with hamming distance order statistics learning
CN104102909A (zh) * 2014-07-23 2014-10-15 中科联合自动化科技无锡有限公司 基于多重视觉信息的车辆特征定位及匹配方法
CN105354578A (zh) * 2015-10-27 2016-02-24 安徽大学 一种多目标物体图像匹配方法
CN105426924A (zh) * 2015-12-14 2016-03-23 北京工业大学 一种基于图像中层特征的场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴文芳: "基于高阶空间特征提取的图像检索", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
WO2021057744A1 (zh) 定位方法及装置、设备、存储介质
CN100580691C (zh) 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法
CN103946891B (zh) 局部特征量提取装置和局部特征量提取方法
Zhang et al. Ev-loc: integrating electronic and visual signals for accurate localization
CN107369183A (zh) 面向mar的基于图优化slam的跟踪注册方法及系统
CN108875907B (zh) 一种基于深度学习的指纹识别方法和装置
JP7430243B2 (ja) 視覚的測位方法及び関連装置
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
CN106778615B (zh) 一种识别用户身份的方法、装置和物业服务机器人
CN109635686A (zh) 结合人脸与外观的两阶段行人搜索方法
CN106817677A (zh) 一种基于多传感器的室内目标信息识别方法、装置及系统
CN113935358A (zh) 一种行人追踪方法、设备和存储介质
CN116052218B (zh) 一种行人重识别方法
CN105631404B (zh) 对照片进行聚类的方法及装置
Ji et al. Attention transfer (ANT) network for view-invariant action recognition
Cheng et al. DRNet: Towards fast, accurate and practical dish recognition
CN111652260B (zh) 一种人脸聚类样本数量的选择方法及系统
CN108960268A (zh) 图像匹配方法及装置
Sui et al. An accurate indoor localization approach using cellphone camera
EP4054157A1 (en) System and method for monitoring activity in a gym environment
Proenca et al. SHREC’15 Track: Retrieval of Oobjects captured with kinect one camera
CN112905816B (zh) 虹膜搜索识别方法、装置、处理器及电子装置
Wang et al. Cross-modal local shortest path and global enhancement for visible-thermal person re-identification
Wang et al. Global and part feature fusion for cross-modality person re-identification
Bimber et al. PhoneGuide: Adaptive image classification for mobile museum guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207