CN106408023A - 基于点组比较策略的图像特征点二值描述及匹配方法 - Google Patents

基于点组比较策略的图像特征点二值描述及匹配方法 Download PDF

Info

Publication number
CN106408023A
CN106408023A CN201610832237.5A CN201610832237A CN106408023A CN 106408023 A CN106408023 A CN 106408023A CN 201610832237 A CN201610832237 A CN 201610832237A CN 106408023 A CN106408023 A CN 106408023A
Authority
CN
China
Prior art keywords
point
circle
sampled
feature
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610832237.5A
Other languages
English (en)
Other versions
CN106408023B (zh
Inventor
刘红敏
王志衡
司马海峰
霍占强
贾利琴
姜国权
王静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201610832237.5A priority Critical patent/CN106408023B/zh
Publication of CN106408023A publication Critical patent/CN106408023A/zh
Application granted granted Critical
Publication of CN106408023B publication Critical patent/CN106408023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明基于点组比较策略的图像特征点二值描述及匹配方法，包括：采集图像并进行预处理、使用SIFT或者Harris角点检测算法在两幅图像上分别提取特征点、确定特征点支撑区域并计算特征点主方向、选择特征点支撑区域内的32个采样点、确定特征点支撑区域内的144组采样点对、基于点组比较策略进行二值化处理、构造特征点的二值特征描述子、基于二值特征描述子并利用NNDR准则进行特征点匹配。本发明提供的方法比已有直接比较单个像素点灰度值的二值描述及匹配方法具有更好的稳定性。

Description

基于点组比较策略的图像特征点二值描述及匹配方法
技术领域
本发明涉及图像处理中特征点匹配领域，特别是数字图像中二值描述子的构建及特征点匹配方法。
背景技术
以SIFT技术（D. Lowe, Distinctive image features from scale-invariantkeypoints, International Journal of Computer Vision. 2004, 60(2): 91–110）的提出及应用为重要标志，特征点匹配技术在目标识别，目标追踪，场景拼接等许多场景中取得了广泛应用。近年来随着移动智能设备的迅速广泛应用，存储空间小、处理效率高的特征点二值描述及匹配方法成为重要技术及研究热点。
已有出现的特征点二值描述方法主要有BRISK（S. Leutenegger, M. Chli, andR. Siegwart. Brisk: Binary robust invariant scalable keypoints. InternationalConference on Computer Vision. 2011, 2548-2555）、FREAK（A. Ahi, R. Ortiz and P.Vandergheynst. FREAK: fast retina keypoint. IEEE Conference on ComputerVision and Pattern Recognition. 2012, 2069-2076）以及BRIEF（M. Calonder, V.Lepetit and M. Ozuysal, et al. BRIEF: Computing a local binary descriptorvery fast, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2012, 34(7):1281-1298）等。三种描述子的主要原理都是先采用固定模板或者随机模板在特征点支撑区域内进行采样，然后将采样点组成点对并比较采样点灰度大小来进行二值化，最后将二值结果组成描述子。但是，已有二值描述子比较采样点灰度值的方式都是直接对两个采样点的灰度值进行比较，这就导致如下问题：1）图像中单个像素点的灰度值很容易受到噪音的影响导致比较结果不稳定；2)当两个比较的采样点灰度值比较接近时二值化结果非常不稳定。由于二值结果的不稳定将直接导致最终获得的二值描述子性能也不稳定，故需要研究更加稳定的特征点二值描述及匹配方法。
发明内容
本发明针对已有二值匹配描述子在进行单个像素的灰度比较时易受到噪音影响而不稳定等缺点，提出一种基于点组匹配策略的图像特征点二值描述及匹配方法，主要包括以下步骤：
步骤S1：采集图像并进行预处理；
步骤S2：使用SIFT或者Harris角点检测算法在两幅图像上分别提取特征点；
步骤S3：确定特征点支撑区域并计算特征点主方向；
步骤S4：选择特征点支撑区域内的32个采样点；
步骤S5：确定特征点支撑区域内的144组采样点对；
步骤S6：基于点组比较策略进行二值化处理；
步骤S61: 确定采样点的局部像素点；
步骤S62: 比较局部像素点灰度值；
步骤S63: 对点组比较结果进行二值化；
步骤S7：构造特征点的二值特征描述子；
步骤S8：基于二值特征描述子并利用NNDR准则进行特征点匹配。
与当前已有的BRISK、FREAK、BRIEF等二值描述子相比较，本发明提供的二值描述子构建及特征点匹配方法，不是直接比较两个采样点的灰度大小，而是选择以采样点为中心的五个局部像素点进行比较，根据五对局部像素点的比较结果，选取出现次数最多的比较结果作为采样点对的最终比较结果。显然，五对局部像素点进行比较的结果比单对采样点比较的结果更加稳定，即使个别采样点的灰度值受到噪音影响而改变，最终的二值化结果也能够保持相对稳定。因此，本发明提供的方法比已有方法具有更稳定的优点。
附图说明
图1为本发明基于点组比较策略的图像特征点二值描述及匹配方法流程图。
图2为本发明提供的方法步骤S4选择特征点支撑区域内的32个采样点的示意图。
具体实施方式
如图1所示为本发明基于点组比较策略的图像特征点二值描述及匹配方法流程图，主要包括以下步骤：采集图像并进行预处理、使用SIFT或者Harris角点检测算法在两幅图像上分别提取特征点、确定特征点支撑区域并计算特征点主方向、选择特征点支撑区域内的32个采样点、确定特征点支撑区域内的144组采样点对、基于点组比较策略进行二值化处理、构造特征点的二值特征描述子、基于二值特征描述子并利用NNDR准则进行特征点匹配。各步骤的具体实施细节如下：
步骤S1:采集图像并进行预处理，具体方式为，采集同一场景不同视角下两幅不同图像并输入计算机，将彩色图像转化为灰度图像后进行高斯平滑处理。
步骤S2:使用SIFT或者Harris角点检测算法在两幅图像上分别提取特征点。
步骤S3：确定特征点支撑区域并计算特征点主方向，具体方式为，对于任一特征点P ，将以点P 为圆心、R 为半径的圆形区域G R (P )确定为点P 的支撑区域，其中R 取22或33，计算G R (P )内所有像素的梯度均值[g x , g y ]，将该梯度均值对应的方向θ =atan(g y ,g x )确定为特征点P 的主方向。
步骤S4：选择特征点支撑区域内的32个采样点，具体方式为，对于任一特征点P ，以点P 为中心、主方向为起始方向顺时针确定均匀分布的8条射线l 1、l 2、l 3、l 4、l 5、l 6、l 7、l 8将G R (P )分为8等份；以点P 为中心、分别以、R 为半径确定四个同心圆O 1、O 2、O 3、O 4，将四个同心圆与8条射线的32个交点确定为采样点，如图2所示。
步骤S5：确定特征点支撑区域内的144组采样点对，具体方式为，对于步骤S4获得的圆O 1和圆O 2，考虑圆O 1上的8个采样点，对于其中任一采样点X i ，选择圆O 2上距离X i 最近的三个采样点与点X i 组成采样点对，获得8×3=24组采样点对；按此方式将圆O 1和圆O 3、圆O 1和圆O 4、圆O 2和圆O 3、圆O 2和圆O 4、圆O 3和圆O 4上的采样点进行组合，共计获得8×3×6 = 144组采样点对。
步骤S6：基于点组比较策略进行二值化处理，具体方式如下：
步骤S61: 确定采样点的局部像素点，具体方式为，考虑特征点P 支撑区域G R (P )内的任一采样点X i ，将X i 记为X i0，以X i0为圆心、r 为半径确定一个圆周O r (X i0)，r 一般取值2或3，延长线段与圆周O r (X i0)交于X i1，在圆周O r (X i0)上以X i1为起始点，顺时针确定4个均匀分布的点X i1、X i2、X i3、X i4将圆周分为4等份，记f (X ik ) (k =0、1、2、3、4)表示点X ik 处的灰度值；
步骤S62: 比较局部像素点灰度值，具体方式为，考虑步骤S5确定的一组采样点对(X i ，X j )，按步骤S61所述方式确定两个点组{X ik }、{X jk }，分别比较五组采样点(X ik ，X jk )(k =0、1、2、3、4)的灰度值并进行二值化：
；
步骤S63: 对点组比较结果进行二值化，具体二值化公式为，
。
步骤S7: 构造特征点的二值特征描述子，具体方式为，对于任一特征点P ，将步骤S5确定的144组采样点对按照步骤S6进行二值化，并将144个二值化结果连接获得特征点P的144维二值特征描述子。
步骤S8：基于二值特征描述子并利用NNDR准则进行特征点匹配，具体方式为，对于第1幅图像中任一特征点P ，记第2幅图像中与P 的二值特征描述子之间距离最小的特征点为P 1'，其距离值记为d 1，同时与P 的二值特征描述子之间距离次小的特征点为P 2'，其距离值记为d 2，如果小于阈值T ，则将特征点(P ，P 1')确定为一组匹配点并输出，其中T的取值为0.6~0.85。
与当前已有的BRISK、FREAK、BRIEF等二值描述子相比较，本发明提供的二值描述子构建及特征点匹配方法，不是直接比较两个采样点的灰度大小，而是选择以采样点为中心的五个局部像素点进行比较，根据五对局部像素点的比较结果，选取出现次数最多的比较结果作为采样点对的最终比较结果。显然，五对局部像素点进行比较的结果比单对采样点比较的结果更加稳定，即使个别采样点的灰度值受到噪音影响而改变，最终的二值化结果也能够保持相对稳定。因此，本发明提供的方法比已有方法具有更稳定的优点。

Claims (1)

1.一种基于点组比较策略的图像特征点二值描述及匹配方法，其特征在于，该方法具体包括如下步骤：
步骤S1:采集图像并进行预处理，具体方式为，采集同一场景不同视角下两幅不同图像并输入计算机，将彩色图像转化为灰度图像后进行高斯平滑处理；
步骤S2:使用SIFT或者Harris角点检测算法在两幅图像上分别提取特征点；
步骤S3： 确定特征点支撑区域并计算特征点主方向，具体方式为，对于任一特征点P ，将以点P 为圆心、R 为半径的圆形区域G R (P )确定为点P 的支撑区域，其中R 取22或33，计算G R (P )内所有像素的梯度均值[g x , g y ]，将该梯度均值对应的方向θ =atan(g y , g x )确定为特征点P 的主方向；
步骤S4： 选择特征点支撑区域内的32个采样点，具体方式为，对于任一特征点P ，以点P 为中心、主方向为起始方向顺时针确定均匀分布的8条射线l 1、l 2、l 3、l 4、l 5、l 6、l 7、l 8将G R (P )分为8等份；以点P 为中心、分别以、R 为半径确定四个同心圆O 1、O 2、O 3、O 4，将四个同心圆与8条射线的32个交点确定为采样点；
步骤S5：确定特征点支撑区域内的144组采样点对，具体方式为，对于步骤S4获得的圆O 1和圆O 2，考虑圆O 1上的8个采样点，对于其中任一采样点X i ，选择圆O 2上距离X i 最近的三个采样点与点X i 组成采样点对，获得8×3=24组采样点对；按此方式将圆O 1和圆O 3、圆O 1和圆O 4、圆O 2和圆O 3、圆O 2和圆O 4、圆O 3和圆O 4上的采样点进行组合，共计获得8×3×6 =144组采样点对；
步骤S6：基于点组比较策略进行二值化处理，具体方式如下：
步骤S61: 确定采样点的局部像素点，具体方式为，考虑特征点P 支撑区域G R (P )内的任一采样点X i ，将X i 记为X i0，以X i0为圆心、r 为半径确定一个圆周O r (X i0)，r 一般取值2或3，延长线段与圆周O r (X i0)交于X i1，在圆周O r (X i0)上以X i1为起始点，顺时针确定4个均匀分布的点X i1、X i2、X i3、X i4将圆周分为4等份，记f (X ik ) (k =0、1、2、3、4)表示点X ik 处的灰度值；
步骤S62:比较局部像素点灰度值，具体方式为，考虑步骤S5确定的一组采样点对(X i ，X j )，按步骤S61所述方式确定两个点组{X ik }、{X jk }，分别比较五组采样点(X ik ，X jk )(k=0、1、2、3、4)的灰度值并进行二值化：
；
步骤S63: 对点组比较结果进行二值化，具体二值化公式为，
；
步骤S7:构造特征点的二值特征描述子，具体方式为，对于任一特征点P ，将步骤S5确定的144组采样点对按照步骤S6进行二值化，并将144个二值化结果连接获得特征点P 的144维二值特征描述子；
步骤S8：基于二值特征描述子并利用NNDR准则进行特征点匹配，具体方式为，对于第1幅图像中任一特征点P ，记第2幅图像中与P 的二值特征描述子之间距离最小的特征点为P 1'，其距离值记为d 1，同时与P 的二值特征描述子之间距离次小的特征点为P 2'，其距离值记为d 2，如果小于阈值T ，则将特征点(P ，P 1')确定为一组匹配点并输出，其中T的取值为0.6~0.85。
CN201610832237.5A 2016-09-20 2016-09-20 基于点组比较策略的图像特征点二值描述及匹配方法 Active CN106408023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610832237.5A CN106408023B (zh) 2016-09-20 2016-09-20 基于点组比较策略的图像特征点二值描述及匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610832237.5A CN106408023B (zh) 2016-09-20 2016-09-20 基于点组比较策略的图像特征点二值描述及匹配方法

Publications (2)

Publication Number Publication Date
CN106408023A true CN106408023A (zh) 2017-02-15
CN106408023B CN106408023B (zh) 2019-05-14

Family

ID=57996719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610832237.5A Active CN106408023B (zh) 2016-09-20 2016-09-20 基于点组比较策略的图像特征点二值描述及匹配方法

Country Status (1)

Country Link
CN (1) CN106408023B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980852A (zh) * 2017-03-22 2017-07-25 嘉兴闻达信息科技有限公司 基于角点检测与匹配的药品识别系统及其识别方法
CN108182438A (zh) * 2018-01-17 2018-06-19 清华大学 基于深度强化学习的图二值特征学习方法及装置
CN110472543A (zh) * 2019-08-05 2019-11-19 电子科技大学 一种基于局部连接特征匹配的机械图纸对比方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819636A (zh) * 2010-03-30 2010-09-01 河南理工大学 数字图像中不规则区域自动匹配方法
US20140270491A1 (en) * 2013-03-14 2014-09-18 Navteq B.V. Acceleration of Linear Classifiers
CN104616300A (zh) * 2015-02-03 2015-05-13 清华大学 基于采样模式分离的图像匹配方法及装置
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN105740899A (zh) * 2016-01-29 2016-07-06 长安大学 一种机器视觉图像特征点检测与匹配复合的优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819636A (zh) * 2010-03-30 2010-09-01 河南理工大学 数字图像中不规则区域自动匹配方法
US20140270491A1 (en) * 2013-03-14 2014-09-18 Navteq B.V. Acceleration of Linear Classifiers
CN104616300A (zh) * 2015-02-03 2015-05-13 清华大学 基于采样模式分离的图像匹配方法及装置
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN105740899A (zh) * 2016-01-29 2016-07-06 长安大学 一种机器视觉图像特征点检测与匹配复合的优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGGUANG XU.ETC: "Binary Keypoint Descriptor for Accelerated Matching", 《2012 FOURTH INTERNATIONAL SYMPOSIUM ON INFORMATION SCIENCE AND ENGINEERING》 *
霍占强等: "一种基于距离变换的不规则区域匹配算法", 《计算机工程与科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980852A (zh) * 2017-03-22 2017-07-25 嘉兴闻达信息科技有限公司 基于角点检测与匹配的药品识别系统及其识别方法
CN108182438A (zh) * 2018-01-17 2018-06-19 清华大学 基于深度强化学习的图二值特征学习方法及装置
CN108182438B (zh) * 2018-01-17 2020-09-25 清华大学 基于深度强化学习的图二值特征学习方法及装置
CN110472543A (zh) * 2019-08-05 2019-11-19 电子科技大学 一种基于局部连接特征匹配的机械图纸对比方法
CN110472543B (zh) * 2019-08-05 2022-10-25 电子科技大学 一种基于局部连接特征匹配的机械图纸对比方法

Also Published As

Publication number Publication date
CN106408023B (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN110598554B (zh) 基于对抗学习的多人姿态估计方法
CN110728263B (zh) 一种基于距离选择的强判别特征学习的行人重识别方法
US9824258B2 (en) Method and apparatus for fingerprint identification
CN109614922A (zh) 一种动静态手势识别方法和系统
Yang et al. Bi-directional progressive guidance network for RGB-D salient object detection
CN107844795A (zh) 基于主成分分析的卷积神经网络特征提取方法
CN104376334B (zh) 一种多尺度特征融合的行人比对方法
CN108009637B (zh) 基于跨层特征提取的像素级台标识别网络的台标分割方法
CN106408023A (zh) 基于点组比较策略的图像特征点二值描述及匹配方法
CN108334875A (zh) 基于自适应多阈值的静脉特征提取方法
CN108537732A (zh) 基于pca-sift的快速图像拼接方法
CN104834909B (zh) 一种基于Gabor综合特征的图像特征描述方法
LU503034B1 (en) Palmprint Recognition Method Based on Fusion Depth Network
CN103996023A (zh) 基于深度信念网络的光场人脸识别方法
CN109785349A (zh) 一种基于圆模型的极坐标边缘编码方法
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN106408022B (zh) 基于简易采样方式和三值化策略的二值描述子构建方法
CN106485264B (zh) 基于梯度序划分及映射策略的曲线描述及匹配方法
CN105373795B (zh) 二进制图像特征提取方法及系统
CN112232249A (zh) 一种基于深度特征的遥感图像变化检测方法及装置
CN104751412B (zh) 一种基于仿射不变特征的图像拼接方法
CN107016414A (zh) 一种脚印的识别方法
Kang et al. An adaptive fusion panoramic image mosaic algorithm based on circular LBP feature and HSV color system
CN109993782B (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置
CN104700401B (zh) 一种基于K‑Means聚类法的图像仿射变换控制点选取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant