CN111027572B - 一种基于sift算法的单幅图像算法 - Google Patents
一种基于sift算法的单幅图像算法 Download PDFInfo
- Publication number
- CN111027572B CN111027572B CN201911212478.XA CN201911212478A CN111027572B CN 111027572 B CN111027572 B CN 111027572B CN 201911212478 A CN201911212478 A CN 201911212478A CN 111027572 B CN111027572 B CN 111027572B
- Authority
- CN
- China
- Prior art keywords
- key
- image
- points
- matching
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 240000004282 Grewia occidentalis Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241001632422 Radiola linoides Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SIFT算法的单幅图像算法,包含以下步骤:A、采集图像,采用SIFT算法对整幅图像进行尺度空间极值检测,得到整幅图像上的关键点,对这些关键点进行排序得到关键点序列;B、按序列顺序,对图像中得到的第一个关键点的描述子进行位置、方向的对称变换;C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点,即匹配点。D、如符合匹配条件,在关键点序列中剔除上一步得到的匹配点对,在关键点序列中继续找出一个新的关键点,对其进行位置、方向的调整。E、重复步骤B‑D,直至所有的关键点都完成匹配,本发明实现了单幅图像中对应特征点的匹配。为后续基于单幅图像的三维重建和测量提供了基础。
Description
技术领域
本发明涉及图像处理领域,具体是一种基于SIFT算法的单幅图像算法。
背景技术
立体视觉检测技术因其具有可靠简便、非接触、操作简单等优点,在交通安全监控、智能导航、工业在线测量、自动化控制、装备制造及虚拟现实等领域具有十分广阔的应用前景。双摄像机立体视觉检测系统是目前立体视觉检测中最为典型、应用最为广泛的系统。在一些空间狭小、高温高湿、动态环境以及系统成本限制等一些特殊的应用环境或场合下,双摄像机立体视觉难以实现立体测量等目的,一些学者开展了基于平面镜配合的单目立体视觉研究,典型的有天津大学的邾继贵等设计的四块平面镜配合单摄像机的立体视觉测量系统,伊利诺伊大学芝加哥分校的Goshtasby和Gruver等采用两块平面反射镜和一台摄像机组成立体视觉测量系统,还有一些采用一块平面反射镜和一台摄像机组成体视觉测量系统。
由于sift算法是以特征点及其邻域的特征方向形成描述子为基础进行匹配运算的,而描述子具有旋转不变性,即无论两幅图像以怎样的形式旋转,只要含有共同特征,都能进行匹配,对于单幅图像上基于多块(2块或4块)平面镜配合的单摄像机传感器获取的图像来说,由于其获取的像的性质相同(同时为虚像),像与像之间存在一致性,故可以直接采用双目立体匹配的算法来完成匹配过程。但是对于基于一块平面镜配合的单摄像机立体视觉获取的图像来说,图像中既包含物体本身的实像,也包括通过平面镜获得的虚像,在一副图像中获取的两个像的性质不同,特征点的相关特征并不一致,因此,不能直接套用传统的立体匹配算法进行立体匹配。
发明内容
本发明的目的在于提供一种基于SIFT算法的单幅图像算法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于SIFT算法的单幅图像算法,包含以下步骤:
A、采集图像,采用SIFT算法对整幅图像进行尺度空间极值检测,得到整幅图像上的关键点,对这些关键点进行排序得到关键点序列;
B、按序列顺序,对图像中得到的第一个关键点的描述子进行位置、方向的对称变换;
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点,即匹配点。
D、如符合匹配条件,在关键点序列中剔除上一步得到的匹配点对,在关键点序列中继续找出一个新的关键点,对其进行位置、方向的调整。
E、重复步骤B-D,直至所有的关键点都完成匹配。
作为本发明的进一步方案:在SIFT算法中,特征点检测出来后,需要对关键特征点进行描述。
作为本发明的进一步方案:描述的具体步骤如下:用一组向量将这个关键点描述出来,这个向量是该区域图像信息的一种抽象,具有唯一性,用来作为目标匹配的依据,为解决旋转不变性,需要寻找特征点的主方向,即在特征点附近的一个邻域内计算每个点的梯度幅值和角度,根据角度作为横坐标计算直方图,直方图纵坐标为幅值的叠加,选取纵坐标最大的方向作为特征点的主方向,以特征点为原点,以主方向为轴,建立坐标系。
作为本发明的进一步方案:所述图像的采集需要一台CCD摄像机和一块平面反射镜。
作为本发明的进一步方案:所述图像的成像过程如下:CCD摄像机,在CCD摄像机前放置一面平面镜,对于平面镜前的一待测物体P,其在镜中的虚像为P′,调整摄像机的摆放角度以及平面镜与CCD摄像机的距离,使物体P和平面镜中的虚像P′同时在摄像机中成像,在一张图像中获得两个不同视角的目标图像。
与现有技术相比,本发明的有益效果是:本发明基于SIFT算法的单幅图像算法可以较好的实现单幅图像中对应特征点的匹配。为后续基于单幅图像的三维重建和测量提供了基础。
附图说明
图1为单摄像机立体视觉传感器示意图;
图2为将坐标移至关键点主方向示意图。
图3为单幅图像中对应关键点的描述关系图。
图4为邻域种子点的位置关系图。
图5为角度分配图。
图6为区域分配图。
图7为基于SIFT算法的单幅图匹配算法流程图。
图8为匹配点对数变化曲线。
图9为正确率变化曲线。
图10为耗时随匹配阈值变化曲线。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-10,实施例1:本发明实施例中,一种基于SIFT算法的单幅图像算法,和双目立体视觉成像一样,单摄像机立体视觉成像也是通过空间点在摄像机像平面上的透视成像来实现的。该成像设备主要由一台电荷耦器件(CCD)摄像机和一块平面反射镜组成,其光路原理如图1所示。固定CCD摄像机,在CCD摄像机前放置一面平面镜,对于平面镜前的一待测物体P,其在镜中的虚像为P′,调整摄像机的摆放角度以及平面镜与CCD摄像机的距离,使物体P和平面镜中的虚像P′同时在摄像机中成像,在一张图像中获得两个不同视角的目标图像,由于存在一定的虚拟立体视差,故可以实现立体测量。本实验布置实际上相当于真实摄像机和镜面中的虚拟摄像机从两个不同位置对目标物体P进行拍摄获取两幅图像.因此具有双目立体视觉的功能。
在SIFT算法中,特征点检测出来后,需要对关键特征点进行描述。用一组向量将这个关键点描述出来,这个向量是该区域图像信息的一种抽象,具有唯一性,用来作为目标匹配的依据。为解决旋转不变性,需要寻找特征点的主方向,即在特征点附近的一个邻域(公式1)内计算每个点的梯度幅值和角度,根据角度作为横坐标计算直方图,直方图纵坐标为幅值的叠加,选取纵坐标最大的方向作为特征点的主方向(公式2)。以某特征点为原点,以主方向为轴,建立坐标系。
Ωr={Xj:||Xj-X||≤r} (1)
其中,分别表示特征点X邻域中某点的梯度和梯度幅角。
设旋转前和旋转后邻域内采样点的坐标分别为(x,y)和关系如下。
对于单幅图像中物体的两个特征像点来说,经过旋转,将X坐标轴方向与某特征点的梯度主方向重合,图3左侧图和图3中间图中的四角星为物体同一特征点邻域的两个像点,这两个像点同样对应三维物体的某一点,由于平面镜成像的特点,图3左侧图和3中间图的一对特征点的主方向并不一致,将图3中间图旋转至和图3左侧图的x轴方向一致,即得到图3右侧图。
可以看出,将图3中间图绕自身的坐标系原点旋转后,由于特征点具有旋转不变性,其邻域的像素分布是相同的;对于图3左侧图和图3中间图来说,两者的x轴方向一致,Y轴方向相反,由此可以得出。
实施例2:在实施例1的基础上,控制系统中还可以预设相应数据,传感器装置实时采集数据与预设值数据比对,由控制系统自行启动相应设备,做到智能防范。让没有人的时候也不会出现长时间高温长时间低温等情况。
由于sift算子的平移不变性,将图c平移至与图a的X轴重合,该关键点的邻域点在各自坐标系下的坐标位置(图a和图c标记四角星的位置)关于X轴对称,即:对于真实图像中某关键点邻域一点的像素坐标为(u,v),其在镜像图像中的位置为(u',v'),有:
设该点的梯度为:
其中,梯度方向为:即:关键点的两个对应邻域点的梯度方向关于x轴对称;
因此,将虚像中关键点邻域点的位置、梯度方向做关于X轴的对称后,实像和虚像对应关键点的描述子具有一致性,即两者是一对匹配点。
种子点也可以翻转,取关键点邻域8×8的窗口,分成4×4共16个区域即16个种子点,在每2×2个邻域窗口上即一个种子点上计算8个方向的梯度高斯加权直方柱图,将同方向的梯度值累加得到一个8维的向量,在关键点邻域使用16个种子点共128维向量来描述,如图4所示。因此对于每个种子点来说,依然满足上述的对称条件。将该点做关于X轴的对称。
设某个种子点p(i,j,k),i表示该种子点距离关键点的x坐标,j表示该种子点距离关键点的y坐标,i,j=1,2,3,4。k表示该种子点8个方向上的梯度向量,k=(k1,k2,k3,k4,k5,k6,k7,k8)。
转换后的种子点p'及梯度方向k'为:
p'=(i',j',k')=(i,-j,k');k'=(k1,k8,k7,k6,k5,k4,k3,k2)。
采用前述SIFT算法获得整幅图像上的关键点特征向量后,将所有的关键点按顺序排列,取第一个关键点,将其所有的种子点都进行转换,得到转换后的对应关键点,
比较该关键点和图像中其余所有关键点的欧式距离,找到距离最小的关键点,即为匹配点;然后在原图像上将该匹配点对剔除,在原图像上取第二个关键点,进行上述循环,直至所有的关键点都完成匹配。
基于上述原理分析:本发明的具体算法如下:
A、采集图像,采用SIFT算法对整幅图像进行尺度空间极值检测,得到整幅图像上的关键点,对这些关键点进行排序得到关键点序列;
B、按序列顺序,对图像中得到的第一个关键点的描述子进行位置、方向的对称变换;
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点,即匹配点。
D、如符合匹配条件,在关键点序列中剔除上一步得到的匹配点对,在关键点序列中继续找出一个新的关键点,对其进行位置、方向的调整。
E、重复步骤B-D,直至所有的关键点都完成匹配。
实验结果:实验分别在光轴和镜面不平行、光轴和镜面平行的情况下获取的图像进行立体匹配。分别在阈值=(0.8、0.7、0.6)时得到了几组的匹配效果,实验结果如下表所示:
表1各图像的sift算法匹配效果对比表
在实验时分别采用两幅不同的图像在不同的阈值计算匹配点数,在计算正确率时,采用RANSAC算法匹配的结果为准,将获取的匹配点数与之相比即得到正确率。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种基于SIFT算法的单幅图像算法,其特征在于,包含以下步骤:
A、采集图像,图像的采集需要一台CCD摄像机和一块平面反射镜,所述图像的成像过程如下:CCD摄像机,在CCD摄像机前放置一面平面镜,对于平面镜前的一待测物体P,其在镜中的虚像为P′,调整摄像机的摆放角度以及平面镜与CCD摄像机的距离,使物体P和平面镜中的虚像P′同时在摄像机中成像,在一张图像中获得两个不同视角的目标图像,采用SIFT算法对整幅图像进行尺度空间极值检测,得到整幅图像上的关键点,对这些关键点进行排序得到关键点序列,在SIFT算法中,特征点检测出来后,需要对关键特征点进行描述,描述的具体步骤如下:用一组向量将这个关键点描述出来,这个向量是关键点的一种抽象,具有唯一性,用来作为目标匹配的依据,为解决旋转不变性,需要寻找特征点的主方向,即在特征点附近的一个邻域内计算每个点的梯度幅值和角度,根据角度作为横坐标计算直方图,直方图纵坐标为幅值的叠加,选取纵坐标最大的方向作为特征点的主方向,以特征点为原点,以主方向为轴,建立坐标系;
B、按序列顺序,对图像中得到的第一个关键点的描述子进行位置、方向的对称变换;
C、在其余关键点中按照匹配原则寻找距离上一步变换后的关键点最小的关键点,即匹配点;
D、如符合匹配条件,在关键点序列中剔除上一步得到的匹配点对,在关键点序列中继续找出一个新的关键点,对其进行位置、方向的调整;
E、重复步骤B-D,直至所有的关键点都完成匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911212478.XA CN111027572B (zh) | 2019-12-02 | 2019-12-02 | 一种基于sift算法的单幅图像算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911212478.XA CN111027572B (zh) | 2019-12-02 | 2019-12-02 | 一种基于sift算法的单幅图像算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111027572A CN111027572A (zh) | 2020-04-17 |
CN111027572B true CN111027572B (zh) | 2023-08-22 |
Family
ID=70207665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911212478.XA Active CN111027572B (zh) | 2019-12-02 | 2019-12-02 | 一种基于sift算法的单幅图像算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111027572B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916445A (zh) * | 2010-08-25 | 2010-12-15 | 天津大学 | 一种基于仿射参数估计的图像配准方法 |
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
CN104182973A (zh) * | 2014-08-11 | 2014-12-03 | 福州大学 | 基于圆形描述算子csift的图像复制粘贴检测方法 |
CN204100990U (zh) * | 2014-07-03 | 2015-01-14 | 冯晓锋 | 一种基于平面镜成像的单摄像机立体视觉传感器装置 |
CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
CN108416812A (zh) * | 2018-03-20 | 2018-08-17 | 中国电子科技集团公司第五十四研究所 | 一种单摄像机镜像双目视觉系统的标定方法 |
WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8441489B2 (en) * | 2008-12-31 | 2013-05-14 | Intel Corporation | System and method for SIFT implementation and optimization |
US8798377B2 (en) * | 2010-02-08 | 2014-08-05 | Telefonica, S.A. | Efficient scale-space extraction and description of interest points |
US9697233B2 (en) * | 2014-08-12 | 2017-07-04 | Paypal, Inc. | Image processing and matching |
-
2019
- 2019-12-02 CN CN201911212478.XA patent/CN111027572B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916445A (zh) * | 2010-08-25 | 2010-12-15 | 天津大学 | 一种基于仿射参数估计的图像配准方法 |
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
CN204100990U (zh) * | 2014-07-03 | 2015-01-14 | 冯晓锋 | 一种基于平面镜成像的单摄像机立体视觉传感器装置 |
CN104182973A (zh) * | 2014-08-11 | 2014-12-03 | 福州大学 | 基于圆形描述算子csift的图像复制粘贴检测方法 |
CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
WO2019134327A1 (zh) * | 2018-01-03 | 2019-07-11 | 东北大学 | 一种基于边缘检测与sift的人脸表情识别特征提取方法 |
CN108416812A (zh) * | 2018-03-20 | 2018-08-17 | 中国电子科技集团公司第五十四研究所 | 一种单摄像机镜像双目视觉系统的标定方法 |
Non-Patent Citations (1)
Title |
---|
基于平面镜成像的单摄像机立体视觉传感器研究;冯晓锋;《光学学报》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111027572A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
CN105043350A (zh) | 一种双目视觉测量方法 | |
CN114119739A (zh) | 一种基于双目视觉的手部关键点空间坐标获取方法 | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN110120013A (zh) | 一种点云拼接方法及装置 | |
Chen et al. | Extrinsic calibration of a laser range finder and a camera based on the automatic detection of line feature | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
CN112329723A (zh) | 一种基于双目相机的多人人体3d骨骼关键点定位方法 | |
CN111027572B (zh) | 一种基于sift算法的单幅图像算法 | |
CN108537831B (zh) | 对增材制造工件进行ct成像的方法及装置 | |
CN114199205B (zh) | 基于改进四叉树orb算法的双目测距方法 | |
CN116630423A (zh) | 一种基于orb特征的微小型机器人多目标双目定位方法及系统 | |
CN116379936A (zh) | 一种基于双目相机的智能识别距离测算方法及装置 | |
Xu et al. | Research on target tracking algorithm based on parallel binocular camera | |
Yao et al. | Identification and location of catenary insulator in complex background based on machine vision | |
Jagadeeswari et al. | A comparative study based on video stitching methods | |
Xie et al. | Real-time reconstruction of unstructured scenes based on binocular vision depth | |
Jiang et al. | Research on Target Ranging of Mobile Robot Based on Binocular Vision | |
CN107610170B (zh) | 多目图像重聚焦的深度获取方法及系统 | |
CN112396633A (zh) | 基于单摄像机的目标跟踪及轨迹三维重现方法和装置 | |
Gu et al. | Research on static vision-based target localization for astronaut assistant robots | |
Rahmat et al. | Stereo Camera Calibration For Autonomous Car Applications | |
Bae et al. | Geometric symmetry using rotational scanning method for circular form detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |