CN111027572B - 一种基于sift算法的单幅图像算法 - Google Patents

一种基于sift算法的单幅图像算法 Download PDF

Info

Publication number
CN111027572B
CN111027572B CN201911212478.XA CN201911212478A CN111027572B CN 111027572 B CN111027572 B CN 111027572B CN 201911212478 A CN201911212478 A CN 201911212478A CN 111027572 B CN111027572 B CN 111027572B
Authority
CN
China
Prior art keywords
key
image
points
matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911212478.XA
Other languages
English (en)
Other versions
CN111027572A (zh
Inventor
冯晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Police Academy
Original Assignee
Hunan Police Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Police Academy filed Critical Hunan Police Academy
Priority to CN201911212478.XA priority Critical patent/CN111027572B/zh
Publication of CN111027572A publication Critical patent/CN111027572A/zh
Application granted granted Critical
Publication of CN111027572B publication Critical patent/CN111027572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SIFT算法的单幅图像算法，包含以下步骤：A、采集图像，采用SIFT算法对整幅图像进行尺度空间极值检测，得到整幅图像上的关键点，对这些关键点进行排序得到关键点序列；B、按序列顺序，对图像中得到的第一个关键点的描述子进行位置、方向的对称变换；C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点，即匹配点。D、如符合匹配条件，在关键点序列中剔除上一步得到的匹配点对，在关键点序列中继续找出一个新的关键点，对其进行位置、方向的调整。E、重复步骤B‑D，直至所有的关键点都完成匹配，本发明实现了单幅图像中对应特征点的匹配。为后续基于单幅图像的三维重建和测量提供了基础。

Description

一种基于SIFT算法的单幅图像算法
技术领域
本发明涉及图像处理领域，具体是一种基于SIFT算法的单幅图像算法。
背景技术
立体视觉检测技术因其具有可靠简便、非接触、操作简单等优点，在交通安全监控、智能导航、工业在线测量、自动化控制、装备制造及虚拟现实等领域具有十分广阔的应用前景。双摄像机立体视觉检测系统是目前立体视觉检测中最为典型、应用最为广泛的系统。在一些空间狭小、高温高湿、动态环境以及系统成本限制等一些特殊的应用环境或场合下，双摄像机立体视觉难以实现立体测量等目的，一些学者开展了基于平面镜配合的单目立体视觉研究，典型的有天津大学的邾继贵等设计的四块平面镜配合单摄像机的立体视觉测量系统，伊利诺伊大学芝加哥分校的Goshtasby和Gruver等采用两块平面反射镜和一台摄像机组成立体视觉测量系统，还有一些采用一块平面反射镜和一台摄像机组成体视觉测量系统。
由于sift算法是以特征点及其邻域的特征方向形成描述子为基础进行匹配运算的，而描述子具有旋转不变性，即无论两幅图像以怎样的形式旋转，只要含有共同特征，都能进行匹配，对于单幅图像上基于多块(2块或4块)平面镜配合的单摄像机传感器获取的图像来说，由于其获取的像的性质相同(同时为虚像)，像与像之间存在一致性，故可以直接采用双目立体匹配的算法来完成匹配过程。但是对于基于一块平面镜配合的单摄像机立体视觉获取的图像来说，图像中既包含物体本身的实像，也包括通过平面镜获得的虚像，在一副图像中获取的两个像的性质不同，特征点的相关特征并不一致，因此，不能直接套用传统的立体匹配算法进行立体匹配。
发明内容
本发明的目的在于提供一种基于SIFT算法的单幅图像算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于SIFT算法的单幅图像算法，包含以下步骤：
A、采集图像，采用SIFT算法对整幅图像进行尺度空间极值检测，得到整幅图像上的关键点，对这些关键点进行排序得到关键点序列；
B、按序列顺序，对图像中得到的第一个关键点的描述子进行位置、方向的对称变换；
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点，即匹配点。
D、如符合匹配条件，在关键点序列中剔除上一步得到的匹配点对，在关键点序列中继续找出一个新的关键点，对其进行位置、方向的调整。
E、重复步骤B-D，直至所有的关键点都完成匹配。
作为本发明的进一步方案：在SIFT算法中，特征点检测出来后，需要对关键特征点进行描述。
作为本发明的进一步方案：描述的具体步骤如下：用一组向量将这个关键点描述出来，这个向量是该区域图像信息的一种抽象，具有唯一性，用来作为目标匹配的依据，为解决旋转不变性，需要寻找特征点的主方向，即在特征点附近的一个邻域内计算每个点的梯度幅值和角度，根据角度作为横坐标计算直方图，直方图纵坐标为幅值的叠加，选取纵坐标最大的方向作为特征点的主方向，以特征点为原点，以主方向为轴，建立坐标系。
作为本发明的进一步方案：所述图像的采集需要一台CCD摄像机和一块平面反射镜。
作为本发明的进一步方案：所述图像的成像过程如下：CCD摄像机，在CCD摄像机前放置一面平面镜，对于平面镜前的一待测物体P，其在镜中的虚像为P′，调整摄像机的摆放角度以及平面镜与CCD摄像机的距离，使物体P和平面镜中的虚像P′同时在摄像机中成像，在一张图像中获得两个不同视角的目标图像。
与现有技术相比，本发明的有益效果是：本发明基于SIFT算法的单幅图像算法可以较好的实现单幅图像中对应特征点的匹配。为后续基于单幅图像的三维重建和测量提供了基础。
附图说明
图1为单摄像机立体视觉传感器示意图；
图2为将坐标移至关键点主方向示意图。
图3为单幅图像中对应关键点的描述关系图。
图4为邻域种子点的位置关系图。
图5为角度分配图。
图6为区域分配图。
图7为基于SIFT算法的单幅图匹配算法流程图。
图8为匹配点对数变化曲线。
图9为正确率变化曲线。
图10为耗时随匹配阈值变化曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-10，实施例1：本发明实施例中，一种基于SIFT算法的单幅图像算法，和双目立体视觉成像一样，单摄像机立体视觉成像也是通过空间点在摄像机像平面上的透视成像来实现的。该成像设备主要由一台电荷耦器件(CCD)摄像机和一块平面反射镜组成，其光路原理如图1所示。固定CCD摄像机，在CCD摄像机前放置一面平面镜，对于平面镜前的一待测物体P，其在镜中的虚像为P′，调整摄像机的摆放角度以及平面镜与CCD摄像机的距离，使物体P和平面镜中的虚像P′同时在摄像机中成像，在一张图像中获得两个不同视角的目标图像，由于存在一定的虚拟立体视差，故可以实现立体测量。本实验布置实际上相当于真实摄像机和镜面中的虚拟摄像机从两个不同位置对目标物体P进行拍摄获取两幅图像.因此具有双目立体视觉的功能。
在SIFT算法中，特征点检测出来后，需要对关键特征点进行描述。用一组向量将这个关键点描述出来，这个向量是该区域图像信息的一种抽象，具有唯一性，用来作为目标匹配的依据。为解决旋转不变性，需要寻找特征点的主方向，即在特征点附近的一个邻域(公式1)内计算每个点的梯度幅值和角度，根据角度作为横坐标计算直方图，直方图纵坐标为幅值的叠加，选取纵坐标最大的方向作为特征点的主方向(公式2)。以某特征点为原点，以主方向为轴，建立坐标系。
Ωr＝{Xj:||Xj-X||≤r} (1)
其中，分别表示特征点X邻域中某点的梯度和梯度幅角。
设旋转前和旋转后邻域内采样点的坐标分别为(x,y)和关系如下。
对于单幅图像中物体的两个特征像点来说，经过旋转，将X坐标轴方向与某特征点的梯度主方向重合，图3左侧图和图3中间图中的四角星为物体同一特征点邻域的两个像点，这两个像点同样对应三维物体的某一点，由于平面镜成像的特点，图3左侧图和3中间图的一对特征点的主方向并不一致，将图3中间图旋转至和图3左侧图的x轴方向一致，即得到图3右侧图。
可以看出，将图3中间图绕自身的坐标系原点旋转后，由于特征点具有旋转不变性，其邻域的像素分布是相同的；对于图3左侧图和图3中间图来说，两者的x轴方向一致，Y轴方向相反，由此可以得出。
实施例2：在实施例1的基础上，控制系统中还可以预设相应数据，传感器装置实时采集数据与预设值数据比对，由控制系统自行启动相应设备，做到智能防范。让没有人的时候也不会出现长时间高温长时间低温等情况。
由于sift算子的平移不变性，将图c平移至与图a的X轴重合，该关键点的邻域点在各自坐标系下的坐标位置(图a和图c标记四角星的位置)关于X轴对称，即：对于真实图像中某关键点邻域一点的像素坐标为(u,v),其在镜像图像中的位置为(u',v')，有：
设该点的梯度为：
其中，梯度方向为：即：关键点的两个对应邻域点的梯度方向关于x轴对称；
因此，将虚像中关键点邻域点的位置、梯度方向做关于X轴的对称后，实像和虚像对应关键点的描述子具有一致性，即两者是一对匹配点。
种子点也可以翻转，取关键点邻域8×8的窗口，分成4×4共16个区域即16个种子点，在每2×2个邻域窗口上即一个种子点上计算8个方向的梯度高斯加权直方柱图，将同方向的梯度值累加得到一个8维的向量，在关键点邻域使用16个种子点共128维向量来描述，如图4所示。因此对于每个种子点来说，依然满足上述的对称条件。将该点做关于X轴的对称。
设某个种子点p(i,j,k),i表示该种子点距离关键点的x坐标，j表示该种子点距离关键点的y坐标，i,j＝1,2,3,4。k表示该种子点8个方向上的梯度向量，k＝(k1,k2,k3,k4,k5,k6,k7,k8)。
转换后的种子点p'及梯度方向k'为：
p'＝(i',j',k')＝(i,-j,k')；k'＝(k1,k8,k7,k6,k5,k4,k3,k2)。
采用前述SIFT算法获得整幅图像上的关键点特征向量后，将所有的关键点按顺序排列，取第一个关键点，将其所有的种子点都进行转换，得到转换后的对应关键点，
比较该关键点和图像中其余所有关键点的欧式距离，找到距离最小的关键点，即为匹配点；然后在原图像上将该匹配点对剔除，在原图像上取第二个关键点，进行上述循环，直至所有的关键点都完成匹配。
基于上述原理分析：本发明的具体算法如下：
A、采集图像，采用SIFT算法对整幅图像进行尺度空间极值检测，得到整幅图像上的关键点，对这些关键点进行排序得到关键点序列；
B、按序列顺序，对图像中得到的第一个关键点的描述子进行位置、方向的对称变换；
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点，即匹配点。
D、如符合匹配条件，在关键点序列中剔除上一步得到的匹配点对，在关键点序列中继续找出一个新的关键点，对其进行位置、方向的调整。
E、重复步骤B-D，直至所有的关键点都完成匹配。
实验结果：实验分别在光轴和镜面不平行、光轴和镜面平行的情况下获取的图像进行立体匹配。分别在阈值＝(0.8、0.7、0.6)时得到了几组的匹配效果，实验结果如下表所示：
表1各图像的sift算法匹配效果对比表
在实验时分别采用两幅不同的图像在不同的阈值计算匹配点数，在计算正确率时，采用RANSAC算法匹配的结果为准，将获取的匹配点数与之相比即得到正确率。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种基于SIFT算法的单幅图像算法，其特征在于，包含以下步骤：
A、采集图像，图像的采集需要一台CCD摄像机和一块平面反射镜，所述图像的成像过程如下：CCD摄像机，在CCD摄像机前放置一面平面镜，对于平面镜前的一待测物体P，其在镜中的虚像为P′，调整摄像机的摆放角度以及平面镜与CCD摄像机的距离，使物体P和平面镜中的虚像P′同时在摄像机中成像，在一张图像中获得两个不同视角的目标图像，采用SIFT算法对整幅图像进行尺度空间极值检测，得到整幅图像上的关键点，对这些关键点进行排序得到关键点序列，在SIFT算法中，特征点检测出来后，需要对关键特征点进行描述，描述的具体步骤如下：用一组向量将这个关键点描述出来，这个向量是关键点的一种抽象，具有唯一性，用来作为目标匹配的依据，为解决旋转不变性，需要寻找特征点的主方向，即在特征点附近的一个邻域内计算每个点的梯度幅值和角度，根据角度作为横坐标计算直方图，直方图纵坐标为幅值的叠加，选取纵坐标最大的方向作为特征点的主方向，以特征点为原点，以主方向为轴，建立坐标系；
B、按序列顺序，对图像中得到的第一个关键点的描述子进行位置、方向的对称变换；
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点，即匹配点；
D、如符合匹配条件，在关键点序列中剔除上一步得到的匹配点对，在关键点序列中继续找出一个新的关键点，对其进行位置、方向的调整；
E、重复步骤B-D，直至所有的关键点都完成匹配。
CN201911212478.XA 2019-12-02 2019-12-02 一种基于sift算法的单幅图像算法 Active CN111027572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911212478.XA CN111027572B (zh) 2019-12-02 2019-12-02 一种基于sift算法的单幅图像算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911212478.XA CN111027572B (zh) 2019-12-02 2019-12-02 一种基于sift算法的单幅图像算法

Publications (2)

Publication Number Publication Date
CN111027572A CN111027572A (zh) 2020-04-17
CN111027572B true CN111027572B (zh) 2023-08-22

Family

ID=70207665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911212478.XA Active CN111027572B (zh) 2019-12-02 2019-12-02 一种基于sift算法的单幅图像算法

Country Status (1)

Country Link
CN (1) CN111027572B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916445A (zh) * 2010-08-25 2010-12-15 天津大学 一种基于仿射参数估计的图像配准方法
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN104182973A (zh) * 2014-08-11 2014-12-03 福州大学 基于圆形描述算子csift的图像复制粘贴检测方法
CN204100990U (zh) * 2014-07-03 2015-01-14 冯晓锋 一种基于平面镜成像的单摄像机立体视觉传感器装置
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN108416812A (zh) * 2018-03-20 2018-08-17 中国电子科技集团公司第五十四研究所 一种单摄像机镜像双目视觉系统的标定方法
WO2019134327A1 (zh) * 2018-01-03 2019-07-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441489B2 (en) * 2008-12-31 2013-05-14 Intel Corporation System and method for SIFT implementation and optimization
US8798377B2 (en) * 2010-02-08 2014-08-05 Telefonica, S.A. Efficient scale-space extraction and description of interest points
US9697233B2 (en) * 2014-08-12 2017-07-04 Paypal, Inc. Image processing and matching

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916445A (zh) * 2010-08-25 2010-12-15 天津大学 一种基于仿射参数估计的图像配准方法
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN204100990U (zh) * 2014-07-03 2015-01-14 冯晓锋 一种基于平面镜成像的单摄像机立体视觉传感器装置
CN104182973A (zh) * 2014-08-11 2014-12-03 福州大学 基于圆形描述算子csift的图像复制粘贴检测方法
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
WO2019134327A1 (zh) * 2018-01-03 2019-07-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN108416812A (zh) * 2018-03-20 2018-08-17 中国电子科技集团公司第五十四研究所 一种单摄像机镜像双目视觉系统的标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于平面镜成像的单摄像机立体视觉传感器研究;冯晓锋;《光学学报》;全文 *

Also Published As

Publication number Publication date
CN111027572A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
Zhang et al. 3D dynamic scene analysis: a stereo based approach
CN105043350A (zh) 一种双目视觉测量方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN102222348A (zh) 一种三维目标运动矢量计算方法
CN110120013A (zh) 一种点云拼接方法及装置
CN111462198A (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
Morita et al. Measurement in three dimensions by motion stereo and spherical mapping
CN110197104B (zh) 基于车辆的测距方法及装置
CN103006332A (zh) 手术刀跟踪方法与装置及数字立体显微镜系统
Seetharaman et al. A piecewise affine model for image registration in nonrigid motion analysis
CN111027572B (zh) 一种基于sift算法的单幅图像算法
CN112329723A (zh) 一种基于双目相机的多人人体3d骨骼关键点定位方法
Grimson Why stereo vision is not always about 3D reconstruction
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
CN114199205B (zh) 基于改进四叉树orb算法的双目测距方法
CN116402867A (zh) 融合sift和ransac的三维重建图像对齐的方法
CN106548482B (zh) 一种基于稀疏匹配与图像边缘的稠密匹配方法及系统
Xu et al. Research on target tracking algorithm based on parallel binocular camera
Yao et al. Identification and location of catenary insulator in complex background based on machine vision
CN112396633A (zh) 基于单摄像机的目标跟踪及轨迹三维重现方法和装置
Jagadeeswari et al. A comparative study based on video stitching methods
Gu et al. Research on static vision-based target localization for astronaut assistant robots
Xie et al. Real-time reconstruction of unstructured scenes based on binocular vision depth
Jiang et al. Research on Target Ranging of Mobile Robot Based on Binocular Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant