CN107452004B - 一种鲁棒的基于超像素局部特征的图像匹配方法 - Google Patents

一种鲁棒的基于超像素局部特征的图像匹配方法 Download PDF

Info

Publication number
CN107452004B
CN107452004B CN201710671416.XA CN201710671416A CN107452004B CN 107452004 B CN107452004 B CN 107452004B CN 201710671416 A CN201710671416 A CN 201710671416A CN 107452004 B CN107452004 B CN 107452004B
Authority
CN
China
Prior art keywords
matching
superpixel
super
images
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710671416.XA
Other languages
English (en)
Other versions
CN107452004A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deep Ai Intelligent Technology Co ltd
Original Assignee
Beijing Deep Ai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deep Ai Intelligent Technology Co ltd filed Critical Beijing Deep Ai Intelligent Technology Co ltd
Priority to CN201710671416.XA priority Critical patent/CN107452004B/zh
Publication of CN107452004A publication Critical patent/CN107452004A/zh
Application granted granted Critical
Publication of CN107452004B publication Critical patent/CN107452004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明给出了一种鲁棒的基于超像素局部特征的图像匹配方法，针对两幅图像，计算两幅图像之间的对应点，并进行如下操作步骤：S01对两幅图像分别进行超像素分割，记录所有超像素的位置和区域；S02将两幅图像分别划分为若干区域；S03选择两幅图像中任意一对区域作为两个待匹配区域；S04获得这两个区域中的对应超像素及其匹配可信度；S05选择匹配可信度最高的结果作为两幅图像之间的最终匹配结果。

Description

一种鲁棒的基于超像素局部特征的图像匹配方法
技术领域
本发明涉及一种图像匹配方法，尤其是一种鲁棒的基于超像素局部特征的图像匹配方法。
背景技术
图像匹配是指在两幅图像之间寻找对应点的问题，该问题是计算机视觉、模式识别等领域中的基础问题之一，解决该问题的方法在图像识别、立体配准、全景拼接、物体跟踪、运动分析等应用中得到广泛使用。
现有图像匹配方法主要分为两类：
1)基于区块的图像匹配方法；
2)基于局部特征的匹配方法。
基于区块的图像匹配方法是将图像划分为区块，利用区块之前的相似性将区块对应匹配起来，或者以像素为单位，度量以像素为中心的区块之间的相似性，从而建立像素点之间的对应关系。区块的相似性一般基于灰度、颜色、纹理等全局特征来进行度量。该方法具有方法简单，适用广泛的优点，但区块的划分方式较难确定，计算量大且准确性难以保证，易受物体遮挡、缺失、光照变化等情况的影响而发生匹配错误。
基于局部特征的图像匹配方法是从图像中提取具有显著特征的点，并确定该点对应的局部区域，对该局部区域进行描述(称为局部特征)，然后根据相应描述进行局部特征之间的匹配。常用的局部特征提取与描述算法有Harris角点、SIFT、SURF、ORB等。该方法计算量较小，局部区域的大小是自适应确定的，对局部特征的描述也考虑了对物体遮挡、缺失、光照变化等因素的处理，因此计算结果更为稳定。但该方法提取局部特征的依据是特征点在纹理上具有显著特性，因此对于缺少显著特性的图像，如墙面、地面、天空、大海等，由于提取局部特征点太少或错误，从而易匹配失败，适用性有一定的限制。
发明内容
本发明要解决的技术问题是提供一种简单的鲁棒的基于超像素局部特征的图像匹配方法。
为解决上述技术问题，本发明提供一种鲁棒的基于超像素局部特征的图像匹配方法，针对两幅图像，计算两幅图像之间的对应点，并进行如下操作步骤：S01对两幅图像分别进行超像素分割，记录所有超像素的位置和区域；S02将两幅图像分别划分为若干区域；S03选择两幅图像中任意一对区域作为两个待匹配区域；S04获得这两个区域中的对应超像素及其匹配可信度；S05选择匹配可信度最高的结果作为两幅图像之间的最终匹配结果。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的改进：S04的操作步骤如下：S001计算超像素局部特征；S002获取可容许的超像素匹配对；S003形成不发生冲突的超像素匹配对的所有可能的组合；S004获得各自的匹配可信度以及相应的匹配结果；S005选择最优匹配可信度所对应的匹配结果，作为两个区域之间的最终匹配结果。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述S001中，确定包含在两个区域中的所有超像素，以这些超像素的每个超像素质心为中心，分别计算相应的局部特征(局部特征的计算模式可以选用现有算法)。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述S002中，针对两个待匹配的区域，计算这两个区域之间所有两两超像素局部特征之间的距离，并由小到大进行排列；对于一个区域中的每个超像素局部特征，确定另一区域中距离其最近的前N个超像素局部特征，作为可容许的超像素匹配对。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述S003中，分别计算两组匹配对(此处的匹配对即可容许的超像素匹配对)内两组超像素质心坐标在x和y坐标上的位移，并确认这两组匹配对不发生冲突或者发生冲突。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：两组匹配对不发生冲突或者发生冲突的计算方法如下：两组对应的超像素质心坐标<(x1y1) (x1' y1')>和<(x2 y2) (x'2 y'2)>；计算这两组超像素质心坐标在x和y坐标上的位移s：s＝(x1 y1)-(x2 y2)，s'＝(x1' y1')-(x'2 y'2)；其中s表示一幅图像上两个超像素质心之间在x和y坐标上的位移，s’表示在另一幅图像上对应两个超像素之间在x和y坐标上的位移；如果s′-s≤ε，则认为这两组匹配对不发生冲突，否则认为其发生冲突；ε为预先设定的阈值。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述S004中，将形成的每一种不发生冲突的超像素匹配对的组合，分别进行匹配计算，以获得各自的匹配可信度以及相应的匹配结果。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述S005中，根据S004的匹配结果，计算两组超像素之间的几何变换：经过几何变换后两个超像素匹配对之间的距离误差小于给定阈值，则认为其符合匹配精度，否则认为其不符合匹配精度；确认符合匹配精度要求的超像素匹配对是对应的，否则是不对应的。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述匹配可信度的计算方法如下：C＝N1/(N2+γ·N3)，其中N1为符合匹配精度要求的超像素匹配对的数量，N2为预先设定的符合匹配精度要求的超像素匹配对的最小数量，N3为不发生冲突的超像素匹配对的组合中超像素匹配对的数量，γ为[0,1]之间取值的系数。
作为对本发明所述的鲁棒的基于超像素局部特征的图像匹配方法的进一步改进：所述的超像素是指按超像素计算方法所获得的内部特征一致且与周边特征不一致的小区域；所述两幅图像中任意一对区域为一幅图像中的一个区域和另一幅图像中的一个区域。
本发明的目的是提出一种鲁棒的图像匹配方法，实现在各种应用场景下快速、高精度、高可靠性的图像匹配。
主要解决如下的技术问题：
1)提出一种将区块思路和局部特征思路相结合的图像匹配算法框架，基于超像素局部特征，使得方法适用场景广泛且计算稳定；
2)提出一种区域匹配寻优的方法，以提高计算速度以及计算精度；
3)提出一种基于位置约束来限定可行匹配的方法，进一步提高计算精度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1是本发明的算法流程图。
具体实施方式
实施例1图1给出了一种鲁棒的基于超像素局部特征的图像匹配方法，主要针对两幅图像，计算两幅图像之间的对应点，其计算步骤如下：
步骤1、对两幅图像分别进行超像素分割(如比如可采用采用SLIC超像素分割方法)，记录所有超像素(所谓超像素是指按超像素计算方法所获得的内部特征一致且与周边特征不一致的小区域)的位置和区域。
步骤2、将两幅图像分别划分为若干区域；每次只从两幅图像中各自取一个区域，进行两个区域之间的超像素匹配。本发明并未用整张图像以像素为单位进行匹配，而是划分为超像素，并按区域进行匹配，由于超像素个数远远小于像素个数，且区域面积远远小于图像面积，从而加快了匹配速度，同时超像素内部特征一致且与周围特征不一致，又保证了计算精度。
步骤3、针对步骤2中所确定的两幅图像中的任意一对区域(即一幅图像中的一个区域和另一幅图像中的一个区域)，作为两个待匹配区域，分别执行以下步骤，以获得这两个区域中的对应超像素及其匹配可信度：
步骤3.1、确定包含在两个区域中的所有超像素，以这些超像素的每个超像素质心为中心，分别计算相应的局部特征，称为超像素局部特征；比如可以超像素质心为中心，提取ORB局部特征。
步骤3.2、针对两个待匹配的区域，计算这两个区域之间所有两两超像素局部特征之间的距离。度量两两超像素局部特征之间的距离可采用欧式距离，其计算公式如下：
Figure BDA0001373124940000041
其中
Figure BDA0001373124940000042
为两个超像素局部特征，n为特征维数。将计算得到的距离由小到大进行排列。对于一个区域中的每个超像素局部特征，利用K-近邻(KNN)的方式确定另一区域中距离其最近的前N个超像素局部特征，作为可容许的超像素匹配对。
步骤3.3、根据步骤3.2所获得的可容许的超像素匹配对，形成不发生冲突的超像素匹配对的所有可能的组合。其中不发生冲突的超像素匹配对的确定方法是：确定不发生冲突的超像素匹配对的方法如下：对于两组匹配对，分别有两组对应的超像素质心坐标<(x1 y1) (x1' y1')>和<(x2 y2) (x'2 y'2)>，计算这两组超像素质心坐标在x和y坐标上的位移s：s＝(x1 y1)-(x2 y2)，s'＝(x1' y1')-(x'2 y'2)，其中s表示一幅图像上两个超像素质心之间在x和y坐标上的位移，s’表示在另一幅图像上对应两个超像素之间在x和y坐标上的位移。如果s′-s≤ε(ε为预先设定的阈值)，则认为这两组匹配对不发生冲突，否则认为其发生冲突。
步骤3.4、针对步骤3.3所形成的每一种不发生冲突的超像素匹配对的组合，分别进行匹配计算，获得各自的匹配可信度以及相应的匹配结果(即超像素质心之间的对应关系)。
步骤3.5、在步骤3.4计算出的每一种不发生冲突的超像素匹配对的组合所对应的匹配可信度中，从中选择最优匹配可信度所对应的匹配结果，作为两个区域之间的最终匹配结果。其中匹配可信度的计算方法是：C＝N1/(N2+γ·N3)，其中C为匹配可信度，N1为符合匹配精度要求的超像素匹配对的数量，N2为预先设定的符合匹配精度要求的超像素匹配对的最小数量，N3为不发生冲突的超像素匹配对的组合中超像素匹配对的数量，γ为[0,1]之间取值的系数。上述符合匹配精度要求的匹配对，是指根据不发生冲突的超像素匹配对的组合所确定的匹配结果，来计算两组超像素之间的几何变换，如经过几何变换后两个超像素匹配对之间的距离误差小于给定阈值，则认为其符合匹配精度，否则认为其不符合匹配精度。只有符合匹配精度要求的超像素匹配对才被认为是对应的，否则是不对应的。
步骤4、在通过步骤3所计算得到的两幅图像中任意一对区域的超像素对应结果中，比较其匹配可信度，选择匹配可信度最高的结果作为两幅图像之间的最终匹配结果。
通过本实施例的相关技术，可在各种实际应用场景下获得快速、高精度、高可靠的图像匹配效果。例如本发明已在全景拼接等领域中得到实际应用，其实测效果表明：通过使用本发明的方法，图像匹配的成功率达99％以上。
本发明的方法对比已有图像匹配技术，改进点在于：
1)将超像素与局部特征结合，并应用于图像匹配问题，从而结合了区块思路与局部特征思路的优点，既适用面广泛，又具有很高的鲁棒性；
2)采用区域匹配寻优的思路，而不是在整幅图像上匹配，从而进一步提高了计算速度和计算精度；
3)引入全局结构约束的思路，不仅充分考虑了超像素局部特征之间的相似信息，还考虑了对应点对之间的相对位置信息，从而进一步保证了匹配准确性。
最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (5)

1.一种鲁棒的基于超像素局部特征的图像匹配方法，其特征在于：针对两幅图像，计算两幅图像之间的对应点，并进行如下操作步骤：
S01对两幅图像分别进行超像素分割，记录所有超像素的位置和区域；
S02将两幅图像分别划分为若干区域；
S03选择两幅图像中任意一对区域作为两个待匹配区域；
S04获得这两个待匹配区域中的对应超像素及其匹配可信度；
其中，所述匹配可信度的计算方法如下：
C＝N1/(N2+γ·N3)
其中，C为匹配可信度，N1为符合匹配精度要求的超像素匹配对的数量，N2为预先设定的符合匹配精度要求的超像素匹配对的最小数量，N3为不发生冲突的超像素匹配对的组合中超像素匹配对的数量，γ为0到1之间取值的系数；
S04，具体包括如下子步骤：
S001计算超像素局部特征；
其中，所述S001中确定包含在两个区域中的所有超像素，以这些超像素的每个超像素质心为中心，分别计算相应的局部特征，称为超像素局部特征，具体以超像素质心为中心，提取ORB局部特征；
S002获取可容许的超像素匹配对，即针对两个待匹配的区域，计算这两个区域之间所有两两超像素局部特征之间的距离，并由小到大进行排列；
对于一个区域中的每个超像素局部特征，确定另一区域中距离其最近的前N个超像素局部特征，作为可容许的超像素匹配对；
S003形成不发生冲突的超像素匹配对的所有可能的组合；
其中，所述S003中，分别计算两组匹配对内两组超像素质心坐标在x和y坐标上的位移，并确认这两组匹配对不发生冲突或者发生冲突；
其中，两组匹配对不发生冲突或者发生冲突的计算方法如下：
两组对应的超像素质心坐标<(x1,y1),(x′1,y′1)>和<(x2,y2),(x′2,y′2)>；
计算这两组超像素质心坐标在x和y坐标上的位移s：
Figure FDA0002457836240000011
其中，s表示一幅图像上两个超像素质心之间在x和y坐标上的位移，s′表示在另一幅图像上对应两个超像素之间在x和y坐标上的位移；
如果s′-s≤ε，则认为这两组匹配对不发生冲突，否则认为其发生冲突；
ε为预先设定的阈值；
S004获得各自的匹配可信度以及相应的匹配结果；
其中，所述S004中，将形成的每一种不发生冲突的超像素匹配对的组合，分别进行匹配计算，以获得各自的匹配可信度以及相应的匹配结果；
S005选择最优匹配可信度所对应的匹配结果，作为两个区域之间的最终匹配结果；
其中，所述S005中，根据S004的匹配结果，计算两组超像素之间的几何变换：
经过几何变换后两个超像素匹配对之间的距离误差小于给定阈值，则认为其符合匹配精度，否则认为其不符合匹配精度；
确认符合匹配精度要求的超像素匹配对是对应的，否则是不对应的；
S05选择匹配可信度最高的结果作为两幅图像之间的最终匹配结果。
2.根据权利要求1所述的鲁棒的基于超像素局部特征的图像匹配方法，其特征在于：所述S02中将两幅图像分别划分为若干区域，具体为：每次只从两幅图像中各自取一个区域，进行两个区域之间的超像素匹配。
3.根据权利要求1所述的鲁棒的基于超像素局部特征的图像匹配方法，其特征在于：所述S03中两幅图像中任意一对区域为一幅图像中的一个区域和另一幅图像中的一个区域。
4.根据权利要求1所述的鲁棒的基于超像素局部特征的图像匹配方法，其特征在于：所述S002，具体为：针对两个待匹配的区域，计算这两个区域之间所有两两超像素局部特征之间的距离；
度量两两超像素局部特征之间的距离采用欧式距离，其计算公式如下：
Figure FDA0002457836240000021
其中，
Figure FDA0002457836240000022
为两个超像素局部特征，n为特征维数；将计算得到的距离由小到大进行排列；对于一个区域中的每个超像素局部特征，利用K-近邻(KNN)的方式确定另一区域中距离其最近的前N个超像素局部特征，作为可容许的超像素匹配对。
5.根据权利要求1所述的鲁棒的基于超像素局部特征的图像匹配方法，其特征在于：所述S004中相应的匹配结果即超像素质心之间的对应关系。
CN201710671416.XA 2017-08-08 2017-08-08 一种鲁棒的基于超像素局部特征的图像匹配方法 Active CN107452004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710671416.XA CN107452004B (zh) 2017-08-08 2017-08-08 一种鲁棒的基于超像素局部特征的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710671416.XA CN107452004B (zh) 2017-08-08 2017-08-08 一种鲁棒的基于超像素局部特征的图像匹配方法

Publications (2)

Publication Number Publication Date
CN107452004A CN107452004A (zh) 2017-12-08
CN107452004B true CN107452004B (zh) 2020-06-05

Family

ID=60491176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710671416.XA Active CN107452004B (zh) 2017-08-08 2017-08-08 一种鲁棒的基于超像素局部特征的图像匹配方法

Country Status (1)

Country Link
CN (1) CN107452004B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615642A (zh) * 2014-12-17 2015-05-13 吉林大学 基于局部邻域约束的空间验证的错误匹配检测方法
EP2966613A1 (en) * 2014-07-10 2016-01-13 Thomson Licensing Method and apparatus for generating a super-resolved image from an input image
CN105427308A (zh) * 2015-11-20 2016-03-23 中国地质大学（武汉） 一种稀疏和稠密特征匹配结合的图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930539B (zh) * 2012-10-25 2015-08-26 江苏物联网研究发展中心 基于动态图匹配的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2966613A1 (en) * 2014-07-10 2016-01-13 Thomson Licensing Method and apparatus for generating a super-resolved image from an input image
CN104615642A (zh) * 2014-12-17 2015-05-13 吉林大学 基于局部邻域约束的空间验证的错误匹配检测方法
CN105427308A (zh) * 2015-11-20 2016-03-23 中国地质大学（武汉） 一种稀疏和稠密特征匹配结合的图像配准方法

Also Published As

Publication number Publication date
CN107452004A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
JP7134012B2 (ja) 視差推定装置及び方法
US9153066B2 (en) Image processing device, imaging device, and image processing method
WO2019007004A1 (zh) 用于行人重识别的图像特征提取方法
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
JP2015133101A (ja) シーンの画像の記述子を構成する方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
KR101812664B1 (ko) 가분적 외곽선을 가지는 다시점 객체 추출 방법 및 장치
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
CN107452004B (zh) 一种鲁棒的基于超像素局部特征的图像匹配方法
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
Remondino et al. Overview and experiences in automated markerless image orientation
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
CN116823895A (zh) 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Shen et al. A 3D modeling method of indoor objects using Kinect sensor
CN114565653B (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
US20220156977A1 (en) Calibration apparatus, calibration method, and non-transitory computer readable medium storing program
CN113902846B (zh) 一种基于单目深度相机和里程传感器的室内三维建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant