CN108805915B - 一种抗视角变化的近景影像区域特征匹配方法 - Google Patents

一种抗视角变化的近景影像区域特征匹配方法 Download PDF

Info

Publication number
CN108805915B
CN108805915B CN201810355977.3A CN201810355977A CN108805915B CN 108805915 B CN108805915 B CN 108805915B CN 201810355977 A CN201810355977 A CN 201810355977A CN 108805915 B CN108805915 B CN 108805915B
Authority
CN
China
Prior art keywords
neighborhood
matching
lbp
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810355977.3A
Other languages
English (en)
Other versions
CN108805915A (zh
Inventor
朱邦彦
储征伟
毛羽丰
刘文伍
段伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Surveying And Mapping Research Institute Co ltd
Original Assignee
Nanjing Surveying And Mapping Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Surveying And Mapping Research Institute Co ltd filed Critical Nanjing Surveying And Mapping Research Institute Co ltd
Priority to CN201810355977.3A priority Critical patent/CN108805915B/zh
Publication of CN108805915A publication Critical patent/CN108805915A/zh
Application granted granted Critical
Publication of CN108805915B publication Critical patent/CN108805915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种抗视角变换的近景影像区域特征匹配方法，包括如下步骤：提取最大稳定极值区域MSER；确定局部二值模式LBP邻域形状、大小和旋转方向；提取五种LBP特征并计算联合统计直方图；比较各个特征区域联合统计直方图相似度完成粗匹配；基于RANSAC与基本矩阵估计剔除粗差点；对匹配区域进行质心偏移修正完成精匹配。本发明利用一种改进的局部二值模式LBP计算方法，直接对不规则MSER区域中的每一个像素进行编码，避免了传统方法中拟合SIFT匹配区域所带来的拟合误差和边界误差，其本身具有计算复杂度低、无需训练学习等优点，其对于线性的亮度变化保持稳定，对非线性的光照变化存在容错能力，提高了区域特征匹配的可靠性，降低了计算复杂度。

Description

一种抗视角变化的近景影像区域特征匹配方法
技术领域
本发明涉及一种抗视角变换的近景影像区域特征匹配方法，本发明所属技术领域为属于摄影测量领域。
背景技术
影像匹配即找寻影像之间的同名点是影像定向和模型连接的前提和关键。在一些狭窄的隧洞中，沿着主光轴采集序列影像，相邻影像是沿摄影机光轴移动所构成的平行序列影像，得到的是一种尺度渐进变化的影像序列，且所成图像间会因为相机所处位置的调整而呈现较大尺度和视角变换的情况，其特点包括：基线不是大致平行于影像而是大致垂直于影像，影像的重叠范围是沿着影像的辐射线方向，影像间尺度变化较大、影像重叠区域的分辨率差别较大、同名点视角差异大。其对于一般立体像对而言具有很大的差别，不能采用针对传统立体影像的匹配方法。
最大稳定极值区域（MSER）是一种十分具有影响力的区域检测算子，图像中的最大稳定极值区域指的是一个由彼此相连的一个像元集合，该集合中的每个像元的像素值全部大于或者全部小于包围这个区域的边界的每个像元的像素值，该区域具有严格意义上的仿射不变性。对于视角变换，MSER在处理结构型图像和纹理型图像都有十分明显的优越性。
传统的最大稳定极值区域匹配方法是将特征区域归一化后用SIFT算子描述，但是SIFT描述MSER特征区域有其不足，第一，在构造描述算法前需要把不规则区域进行椭圆形状拟合，该过程会产生拟合误差和降低匹配性能，特别是对于大视角变换图像更为明显；第二，其基于几何固定位置（圆形邻域）划分子区域，这样会产生边界误差；第三，其计算复杂度高，导致大大提高了图像特征提取的时间复杂度。
发明内容
为了解决上述现有技术中减少拟合匹配区域所带来的拟合误差和边界误差的影响，本发明提供给了一种对于线性的亮度变化保持稳定，对非线性的光照变化存在一定的容错能力，提高了区域特征匹配的可靠性，并降低计算复杂度的抗视角变化的近景影像区域特征匹配方法。
本发明的目的是这样实现的：
一种抗视角变换的近景影像区域特征匹配方法，包括如下步骤：
第一步，提取匹配影像内的最大稳定极值区域MSER；
第二步，采用直接最小二乘法对提取出的形状不规则的最大稳定极值区域拟合椭圆，并以此确定局部二值模式LBP邻域大小和编码起始方向；
第三步，提取五种LBP特征；
第四步，计算各特征区域的五种LBP特征的联合统计直方图；
第五步，利用相关系数比较各个特征区域的联合统计直方图相似度，从而进行特征区域的初步匹配；
第六步，利用RANSAC与八点法相结合的策略估计基本矩阵，剔除粗差点；
第七步，利用最小二乘匹配法对已配对特征区域的椭圆中心进行微调，得到更为精确的匹配点对；
上述方法工作原理包括：最大稳定极值区域原理、局部二值模式原理和计算机视觉原理；其工作过程如下：
①先分别提取要进行特征匹配的两张影像上的最大稳定极值区域；
②对两张影像上的所有最大稳定极值区域拟合椭圆，并确定所有最大稳定极值区域局部二值模式特征的椭圆邻域大小和起始编码方向；
③计算两张影像上所有最大稳定极值区的五种局部二值模式特征；
④计算两张影像上所有最大稳定极值区的局部二值模式特征直方图；
Figure 60713DEST_PATH_IMAGE001
计算两张影像上特征区域的局部二值模式特征直方图相似度，完成粗匹配
Figure 585236DEST_PATH_IMAGE002
估计基本矩阵，剃除粗差点；
Figure 339565DEST_PATH_IMAGE003
利用最小二乘匹配法对粗匹配结果进行微调，得到更为精确的匹配结果；
第二步中所述LBP邻域为椭圆形，其大小为：若某一特征区域的拟合椭圆长半轴为A、短半轴为B，则LBP椭圆形邻域的长半轴为a、b，他们之间的关系为：a=A/10, b=B/10；
第二步中所述主方向：采用椭圆右侧长半轴方向为主方向，即以此方向为LBP初始编码方向，顺时针进行编码；
第三步中所述五种LBP特征，计算公式为别为：
Figure 342156DEST_PATH_IMAGE004
其中，g c为邻域中心点的像素灰度值，c 1为图像中所有像素灰度的均值；
Figure 6487DEST_PATH_IMAGE005
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p,Rl为第l重半径邻域中第p个采样点的像素灰度值，g c为邻域中心点的像素灰度值；
Figure 436331DEST_PATH_IMAGE006
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure 943536DEST_PATH_IMAGE007
，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值，g c为邻域中心点的像素灰度值，而
Figure 749818DEST_PATH_IMAGE008
是在第l个半径邻域中的
Figure 127710DEST_PATH_IMAGE009
的均值；
Figure 869401DEST_PATH_IMAGE010
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p+1,Rl 为第l重半径邻域中第p+1个采样点的像素灰度值，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值；
Figure 598322DEST_PATH_IMAGE011
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p+1,Rl 为第l重半径邻域中第p+1个采样点的像素灰度值，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值，
Figure 208295DEST_PATH_IMAGE012
为第l个半径领域中所有
Figure 971852DEST_PATH_IMAGE013
的均值；
第五步中所述相关系数的阈值可根据实际情况设置，推荐阈值为0.95，高于这一阈值即认为是一对相匹配特征区域；
积极有益效果：与现有技术相比，本发明所提供的抗视角变换的近景影像区域特征匹配方法具有两方面的优点：采取了不同半径LBP邻域参与计算，提高了区域特征匹配的可靠性；对椭圆拟合区域不做归一化处理，降低了计算复杂度，节省了计算时间。
附图说明
图1为本发明实施例的流程图。
具体实施方式
下面结合附图及具体实施例，对本发明进一步的说明：
实施例
根据图1所示的方法流程，以“地质勘探洞近景摄影测量影像匹配”为应用实例，对本发明进一步阐明：
沿着洞轴方向一前一后拍了两张影像，属于平行摄影测量方式，即摄影基线与相机主光轴一致，对这两张影像进行特征区域的匹配；过程如下：
（1）分别提取两张影像上的最大稳定极值区域（MSER）；
（2）假设一张影像上有n个最大稳定极值区域，对所有提取出的形状不规则的最大稳定极值区域进行椭圆拟合，得到n个椭圆，其长短半轴分别为A 1, B 1, A 2, B 2,...,A n, B n,其长半轴与屏幕坐标系y轴正方向的夹角分别为α 1, α 2,...,α n；则各最大稳定极值区域的椭圆形LBP邻域也可以确定：其长半轴分别为a 1=A 1/10, a 2=A 2/10, ..., a n=A n/10; 短半轴分别为b 1=B 1/10, b 2=B 2/10, ..., b n=B n/10；椭圆形LBP邻域的旋转角度也可以确定，分别为α 1, α 2,...,α n；若选择多重LBP邻域来计算，则第2重邻域长短半轴分别为第1重邻域的2倍，第3重邻域长短半轴分别为第一重邻域的3倍，以此类推；
（3）按以下公式计算n个最大稳定极值区域各自的5种局部二值模式（LBP）特征：
Figure 477919DEST_PATH_IMAGE014
其中，g c为邻域中心点的像素灰度值，c 1为图像中所有像素灰度的均值；
Figure 835083DEST_PATH_IMAGE005
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p,Rl为第l重半径邻域中第p个采样点的像素灰度值，g c为邻域中心点的像素灰度值；
Figure 983167DEST_PATH_IMAGE006
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure 601230DEST_PATH_IMAGE007
，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值，g c为邻域中心点的像素灰度值，而
Figure 543779DEST_PATH_IMAGE008
是在第l个半径邻域中的
Figure 981713DEST_PATH_IMAGE009
的均值；
Figure 808855DEST_PATH_IMAGE015
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p+1,Rl 为第l重半径邻域中第p+1个采样点的像素灰度值，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值；
Figure 281424DEST_PATH_IMAGE011
其中，P为邻域采样点个数，L为不同半径邻域的个数，g p+1,Rl 为第l重半径邻域中第p+1个采样点的像素灰度值，g p,Rl 为第l重半径邻域中第p个采样点的像素灰度值，
Figure 660453DEST_PATH_IMAGE012
为第l个半径领域中所有
Figure 585684DEST_PATH_IMAGE016
的均值；
（4）计算两张影像上所有最大稳定极值区的5种局部二值模式特征直方图，将5种直方图归一化并连接在一起；
（5）利用相关系数比较各个特征区域的联合统计直方图相似度，根据实际需要设置阈值，推荐设置为0.95，高于这一阈值即认为是一对匹配特征区域，从而进行特征区域的初步匹配；
（6）本文利用RANSAC与八点法相结合的策略估计基本矩阵，具体步骤如下：
a) RANSAC选取8对匹配特征点，并用八点法估计初始基本矩阵F；
b) 基本矩阵F与距离阈值结合求得当前的匹配一致集S’；
c) 如果当前匹配一致集的点对个数与原始集合S中的点对个数的比值大于阈值，终止迭代；否则，返回步骤（a）；
d) 利用Levenberg-Marquardt方法对基本矩阵进行优化，并用优化后的矩阵重新判断内点和外点，得到优化后的匹配特征点对；
（7）利用最小二乘匹配法对已配对特征区域的椭圆中心进行微调，计算最佳匹配点位，得到更为精确的匹配点对。
本发明所提供的抗视角变换的近景影像区域特征匹配方法具有两方面的优点：采取了不同半径LBP邻域参与计算，提高了区域特征匹配的可靠性；对椭圆拟合区域不做归一化处理，降低了计算复杂度，节省了计算时间。
以上所述和描述了本发明的基本原理、主要特征和本发明的优点，仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明要求的保护范围之内。

Claims (1)

1.一种抗视角变换的近景影像区域特征匹配方法，其特征在于，包括如下步骤：
第一步，提取匹配影像内的最大稳定极值区域MSER；
第二步，采用直接最小二乘法对提取出的形状不规则的最大稳定极值区域拟合椭圆，并以此确定局部二值模式LBP邻域大小和编码起始方向；采用椭圆右侧长半轴方向为主方向，即以此方向为LBP初始编码方向，顺时针进行编码；假设一张影像上有n个最大稳定极值区域，对所有提取出的形状不规则的最大稳定极值区域进行椭圆拟合，得到n个椭圆，其长短半轴分别为(A1,B1,)、(A2,B2,)、...,(An,Bn,)其长半轴与屏幕坐标系y轴正方向的夹角分别为α1,α2,...,αn；则各最大稳定极值区域的椭圆形LBP邻域也可以确定：其长半轴分别为a1＝A1/10,a2＝A2/10,...,an＝An/10；短半轴分别为b1＝B1/10,b2＝B2/10,...,bn＝Bn/10；椭圆形LBP邻域的旋转角度也可以确定，分别为α1,α2,...,αn；
第三步，提取五种LBP特征；按以下公式计算n个最大稳定极值区域各自的5种局部二值模式LBP特征：
Figure FDA0003448241330000011
其中，gc为邻域中心点的像素灰度值，c1为图像中所有像素灰度的均值；
Figure FDA0003448241330000012
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure FDA00034482413300000110
为第l重半径邻域中第p个采样点的像素灰度值，gc为邻域中心点的像素灰度值；
Figure FDA0003448241330000013
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure FDA0003448241330000014
Figure FDA0003448241330000015
为第l重半径邻域中第p个采样点的像素灰度值，gc为邻域中心点的像素灰度值，而
Figure FDA0003448241330000016
是在第l个半径邻域中的
Figure FDA00034482413300000111
的均值；
Figure FDA0003448241330000017
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure FDA0003448241330000018
为第l重半径邻域中第p+1个采样点的像素灰度值，
Figure FDA0003448241330000019
为第l重半径邻域中第p个采样点的像素灰度值；
Figure FDA0003448241330000021
其中，P为邻域采样点个数，L为不同半径邻域的个数，
Figure FDA0003448241330000022
为第l重半径邻域中第p+1个采样点的像素灰度值，
Figure FDA0003448241330000023
为第l重半径邻域中第p个采样点的像素灰度值，
Figure FDA0003448241330000024
为第l个半径领域中所有
Figure FDA0003448241330000025
的均值；
第四步，计算各特征区域的五种LBP特征的联合统计直方图；计算两张影像上所有最大稳定极值区的5种局部二值模式特征直方图，将5种直方图归一化并连接在一起；
第五步，利用相关系数比较各个特征区域的联合统计直方图相似度，从而进行特征区域的初步匹配；利用相关系数比较各个特征区域的联合统计直方图相似度，根据实际需要设置阈值为0.95，高于这一阈值即认为是一对匹配特征区域，从而进行特征区域的初步匹配；
第六步，利用RANSAC与八点法相结合的策略估计基本矩阵，剔除粗差点；
第七步，利用最小二乘匹配法对已配对特征区域的椭圆中心进行微调，得到更为精确的匹配点对。
CN201810355977.3A 2018-04-19 2018-04-19 一种抗视角变化的近景影像区域特征匹配方法 Active CN108805915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810355977.3A CN108805915B (zh) 2018-04-19 2018-04-19 一种抗视角变化的近景影像区域特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810355977.3A CN108805915B (zh) 2018-04-19 2018-04-19 一种抗视角变化的近景影像区域特征匹配方法

Publications (2)

Publication Number Publication Date
CN108805915A CN108805915A (zh) 2018-11-13
CN108805915B true CN108805915B (zh) 2022-02-15

Family

ID=64092957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810355977.3A Active CN108805915B (zh) 2018-04-19 2018-04-19 一种抗视角变化的近景影像区域特征匹配方法

Country Status (1)

Country Link
CN (1) CN108805915B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222700A (zh) * 2019-05-30 2019-09-10 五邑大学 基于多尺度特征与宽度学习的sar图像识别方法及装置
CN110348458B (zh) * 2019-06-27 2022-09-30 河南科技大学 一种基于局部方向极值模式的图像纹理分类方法
CN111046906B (zh) * 2019-10-31 2023-10-31 中国资源卫星应用中心 一种面状特征点可靠加密匹配方法和系统
CN111311596A (zh) * 2020-03-23 2020-06-19 南京市测绘勘察研究院股份有限公司 一种基于改进lbp特征的遥感影像变化检测方法
CN113160076A (zh) * 2021-04-06 2021-07-23 中航航空电子有限公司 一种基于目标边缘邻域信息的地物红外目标截获方法
CN117570881B (zh) * 2024-01-17 2024-05-17 贵州省第一测绘院(贵州省北斗导航位置服务中心) 一种国土资源调查用土地面积测量系统及测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799901A (zh) * 2012-07-10 2012-11-28 辉路科技（北京）有限公司 一种多角度人脸检测方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310365A1 (en) * 2014-04-25 2015-10-29 Xerox Corporation System and method for video-based detection of goods received event in a vehicular drive-thru

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799901A (zh) * 2012-07-10 2012-11-28 辉路科技（北京）有限公司 一种多角度人脸检测方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
End-to-End Text Recognition using Local Ternary Patterns, MSER and Deep Convolutional Nets;Michael Opitz等;《2014 11th IAPR International Workshop on Document Analysis Systems》;20141231;全文 *
基于仿射不变性的环境减灾卫星影像特征提取与匹配;葛帅;《万方学位论文全文数据库》;20110928;全文 *
基于选权迭代法的SAR图像配准应用研究;张博雅;《现代测绘》;20171130;全文 *

Also Published As

Publication number Publication date
CN108805915A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805915B (zh) 一种抗视角变化的近景影像区域特征匹配方法
CN109544636B (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN107316031B (zh) 用于行人重识别的图像特征提取方法
Concha et al. DPPTAM: Dense piecewise planar tracking and mapping from a monocular sequence
WO2017049994A1 (zh) 一种高光谱图像角点检测方法与系统
CN108364272A (zh) 一种高性能红外-可见光融合探测方法
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN103080979B (zh) 从照片合成肖像素描的系统和方法
CN110992263B (zh) 一种图像拼接方法及系统
CN105809626A (zh) 一种自适应光线补偿的视频图像拼接方法
Pascoe et al. Robust direct visual localisation using normalised information distance.
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN103136525A (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
Xiao et al. An enhanced adaptive coupled-layer LGTracker++
CN111091111A (zh) 一种车底危险目标识别方法
CN111192194A (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN104268550A (zh) 特征提取方法及装置
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN111311657B (zh) 一种基于改进角点主方向分配的红外图像同源配准方法
CN110322476B (zh) 一种改进stc和surf特征联合优化的目标跟踪方法
CN117315716A (zh) 一种基于双相似度分割的遮挡行人重识别方法及装置
CN115358990A (zh) 一种基于对称轮廓中心距离比的快速角点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant