CN111223133B - 一种异源图像的配准方法 - Google Patents
一种异源图像的配准方法 Download PDFInfo
- Publication number
- CN111223133B CN111223133B CN202010012243.2A CN202010012243A CN111223133B CN 111223133 B CN111223133 B CN 111223133B CN 202010012243 A CN202010012243 A CN 202010012243A CN 111223133 B CN111223133 B CN 111223133B
- Authority
- CN
- China
- Prior art keywords
- point
- registration
- image
- corner
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理的技术领域,公开了一种异源图像的配准方法,包括分别在计算待配准的两张红外和可见光图像内的多个角点,以角点所在的对角线作为其主方向;以主方向作为基准方向,计算以角点为中心的邻域梯度向量,进而获得每个角点对应的尺度不变特征描述子即SIFT描述子;利用每个角点对应的SIFT描述子,对待配准的两张红外和可见光图像的先进行粗配准再进行精配准,获得最准确的配准点集。整个算法计算简洁高效,准确率高,提高了红外和可见光图像配准的准确率,为立体视觉的应用解决了关键性的问题,扩展了其应用范围和领域。
Description
技术领域
本发明涉及图像处理的技术领域,尤其涉及一种异源图像的配准方法。
背景技术
电网电气设备的智能监测与自主诊断方法的研究和开发已经成为当前智能电网搭建的一个重要环节,对提高电力系统运行的安全性和可靠性具有重要意义。随着各类机器人和无人机在变电站及输电线运维中的应用和发展,以红外成像仪和可见光成像仪为核心的基于传感器图像处理的电气设备状态监测系统在高效性和自主性上展现了极大的潜力。
目前计算机视觉领域广泛应用双目视觉技术进行图像深度测量或是目标测距工作,但大多采用同源双目视觉技术,包括可见光-可见光双目和红外-红外双目视觉。可见光-可见光双目视觉具有成本低廉、测距精度高、标定简单、分辨率高等优点,但无法反映物体的温度信息,广泛用于物体三维重建和目标测距工作;红外-红外双目视觉具有能反映环境温度特征、物体轮廓特征等优点,但其成本高昂、测距精度低,用途较少。而电网运行单位既需要得到目标设备的红外信息,也需要设备的可见光信息,以便工作人员更准确地对电气设备图像进行识别和对设备温度状态的评估。
对于电网运行单位的应用需求,可见光-红外相机组成的红外和可见光双目视觉技术既可获得设备电力设备的空间位置信息,对电力设备进行准确定位,还可以通过该信息完成电力设备三维重构以及校正红外图像的温度数据等工作。
红外和可见光双目立体视觉结合可见光图像与红外图像两者的优势,弥补了同源传感器信息单一的缺点,但不同于同源图像配准的是红外和可见光图像配准难度较大,配准精度不高。此外当前的图像配准算法大多针对同源图像,且配准精度较高,而红外和可见光图像因为成像原理的不同,导致两者包含的像素差异较大,而红外和可见光双目视觉的应用必须解决这一问题。红外和可见光图像的配准不仅仅是立体视觉的关键性环节,还是图像融合、图像识别、人脸识别、医学影像诊断等领域的决定性环节。
发明内容
本发明提供了一种异源图像的配准方法,解决了现有红外和可见光图像配准难度较大,配准精度不高等问题。
本发明可通过以下技术方案实现:
一种异源图像的配准方法,包括以下步骤:
步骤一、分别计算待配准的两张红外和可见光图像内的多个角点,以角点所在的对角线作为其主方向;
步骤二、以主方向作为基准方向,计算以角点为中心的邻域梯度向量,进而获得每个角点对应的尺度不变特征描述子即SIFT描述子;
步骤三、利用每个角点对应的SIFT描述子,对待配准的两张红外和可见光图像的先进行粗配准再进行精配准,获得最准确的配准点集。
进一步,利用曲率尺度空间CSS角点提取算法,分别对待配准的两张红外和可见光图像进行角点提取;在每个角点PC所在的轮廓曲线上,取位于角点PC左侧的一点作为左特征点PL,右侧的一点作为右特征点PR,利用其对应的像素坐标,构建左特征向量右特征向量以其和向量作为角点PC的主方向向量。
进一步,记角点PC对应的像素坐标为(xC,yC),取角点PC所在轮廓曲线上左侧一定数量的点对应的像素坐标的平均值作为左特征点PL,记为(xL,yL),取角点PC所在轮廓曲线上右侧一定数量的点对应的像素坐标的平均值作为右特征点PL,记为(xR,yR),则左特征向量右特征向量以及其和向量的计算如下:
其中,Ls表示轮廓曲线上的像素取样个数;Lc表示整条轮廓曲线的像素个数;cp表示轮廓曲线上的像素点集合,cp(i)表示轮廓曲线上第i个像素点的坐标值;
最终角点的主方向计算公式如下:
进一步,以每个角点为中心,将其对应的邻域等分成多个子区域;以角点的主方向为基准方向,将每个子区域等分成多个梯度方向,计算每个梯度方向对应的梯度向量并对角度大于π的梯度向量的幅值累加到其反方向的梯度向量的幅值上;对所有梯度向量的幅值进行分段处理,完成所有角点对应的SIFT描述子的计算。
进一步,将每个子区域等分成8个梯度方向;将所有梯度向量的幅值按照降序排列,处于前20%的幅值均调整为1,20%~40%的幅值均调整为0.75,40%~60%的幅值均调整为0.5,60%~80%的幅值均调整为0.25,最后20%的幅值均调整为0。
进一步,获得最准确的配准点集的计算方法包括以下步骤:
步骤Ⅰ、利用尺度大小不同的多个SIFT模板分别对其中一张待配准的红外和可见光图像提取SIFT描述子,采用最近邻优先BBF结合双边匹配算法,将其与另一张待配准的红外和可见光图像的SIFT描述子分别进行粗配准,获取多个粗配准点集;
步骤Ⅱ、采用倾斜角一致性匹配方法,对粗配准获得的配准点集进行精配准;
步骤Ⅲ,利用双阈值RANSAC算法对精配准后的配准点集进行筛选,再经过亚像素优化处理后,获得最准确的匹配点集。
进一步,倾斜角一致性匹配方法包括以下步骤:
步骤2)、计算点集中各个配准点对对应的主方向的角度差值,将所有的角度差值进行等角度间隔划分,取角度间隔中角度差值个数最多对应的角度作为旋转角度,对所述另一张待配准的红外和可见光图像中的所有像素坐标进行坐标旋转;
步骤4)、将所有的连线倾斜角向下取整后进行等角度间隔划分,筛选出角度间隔中连线倾斜角个数最多对应的配准点对,再计算这些配准点对连线的长度平均值,筛选出长度平均值的误差允许范围内的配准点对,获得精匹配点集合分别记为
进一步,双阈值RANSAC算法和亚像素优化处理方法包括以下步骤:
本发明有益的技术效果在于:
考虑到红外图像的纹理信息缺失严重,本发明通过曲率尺度空间 CSS角点提取算法提取的角点大部分分布在可见光图像和红外图像的轮廓上,这样获取的角点中能够用于配准的个数更多,后续的配准效果更具鲁棒性。
由于红外图像和可见光图像的分辨率差别比较大,本发明通过图像预处理、粗配准期间分别对分辨率的调整,使两者尽可能地接近,减少由于图像本身差异所导致的配准误差,同时,在计算SIFT描述子时,对梯度幅值进行分段处理,降低可见光图像的细节纹理比红外图像多带来的梯度差异大问题,另外,通过倾斜角一致性匹配方法进行精配准后,再利用双阈值RANSAC算法对精配准后的配准点集进行筛选,再经过亚像素优化处理后,获得最准确的匹配点集,提高了配准精度。
整个计算过程的简单快捷,准确率高,提高了红外和可见光图像配准的准确率,为立体视觉的应用解决了关键性的问题,扩展了其应用范围和领域。
附图说明
图1为本发明的总体流程示意图;
图2为本发明的角点的分布示意图;
图3为本发明的角点主方法的计算示意图;
图4为本发明的梯度直方图的统计示例示意图;
图5为本发明的粗配准后的结果示意图;
图6为本发明的精配准后的结果示意图。
具体实施方式
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
无论是双目立体视觉技术,还是图像融合领域,图像的自动配准工作都是不可或缺的,例如医疗行业中对颅部或眼球的多张扫描图像进行配准并融合得出最清晰的诊断图像,地质测量中对无人机拍摄的遥感图像进行配准并拼接。在研究电力设备空间位置测量的过程中,必须对红外-可见光图像进行配准,以获得误差较小的测量结果。
与同源图像配准不同的是,红外-可见光图像之间色彩和分辨率差异大,并且红外图像纹理不清晰,噪声相对较大,导致两者的配准难度大,精度低。
如图1所示,本发明提供了一种异源图像的配准方法,主要是先从待配准的两张红外和可见光图像中分别提取多个角点,根据角点对应的像素坐标及轮廓曲线信息,以其所在的对角线作为角点的主方向,然后,计算每个角点对应的尺度不变特征描述子即SIFT描述子,最后,利用SIFT描述子,对待配准的两张红外和可见光图像先进行粗配准再进行精配准,在精配准时,采用倾斜角一致性匹配方法对粗配准获得的配准点集进行初步筛选,再利用双阈值RANSAC算法对进行再次筛选,最后经过亚像素优化处理获得最准确的匹配点集。具体包括以下步骤:
步骤一、图像预处理,并且根据图像质量的高低决定是否需要滤波操作。首先,对图像的灰度值的重新分布,先对灰度图像进行线性变换,再将灰度值拉伸到0-255之间,具体公式如下:
其次,对图像的分辨率进行调整,以待配准的两张红外和可见光图像中高度最小者的分辨率为基准分辨率,等比例缩放另一幅图像,如200*400与400*800的待配准的两张红外和可见光图像,需要将 400*800缩放为200*400的比例,以便后续采用相同尺寸的模板进行 SIFT描述子提取,为后续实现尺度不变性做准备。
步骤二、分别计算待配准的两张红外和可见光图像内的多个角点,以角点所在的对角线作为其主方向。
角点是图像中亮度发生剧烈变化或者图像边缘曲线上曲率极大值点。由于红外图像的细节纹理丢失严重,最为显著的角点极大部分分布在物体轮廓上,而可见光图像则较为清晰,包含清晰的轮廓和纹理信息,因此,基于轮廓的特征点提取使得红外-可见光的相应匹配点更多,匹配效果的鲁棒性更好。本申请采用曲率尺度空间CSS角点提取算法,分别对待配准的两张红外和可见光图像进行角点提取,如图2所示,以此作为配准所用的特征点,其基本做法是首先,用Canny 算子提取原始图像轮廓,从边缘图像中提取轮廓取消,填充轮廓曲线中的断点,找到T型交岔点,标记为T型角点;然后,用一个较高的尺度来计算轮廓曲线上任意一点处的曲率,把局部曲率最大点作为候选角点,如果某个候选点处的曲率大于阈值,并且大约是相邻局部曲率最小点处的曲率的两倍,则把该角点作为正确角点;在较低的尺度下对已提取的角点进行定位;最后,把T型角点和提取出来的角点进行比较,剔除两个相隔较近的其中一个角点。
经典的几类主方向分配方法都依赖图像的灰度相似性,而红外和可见光的灰度差异极大,采用传统的主方向分配方法显然不够鲁棒,因此,本申请采用对角线的主方向分配方法。即在每个角点PC所在的轮廓曲线上,取位于角点PC左侧的一点作为左特征点PL,右侧的一点作为右特征点PR,如图3所示,利用其对应的像素坐标,构建左特征向量右特征向量以其和向量作为角点PC的主方向向量。
记角点PC对应的像素坐标为(xC,yC),取角点PC所在轮廓曲线上左侧一定数量的点对应的像素坐标的平均值作为左特征点PL,记为 (xL,yL),取角点PC所在轮廓曲线上右侧一定数量的点对应的像素坐标的平均值作为右特征点PR,记为(xR,yR),其具体数量可以根据实际情况而定,则左特征向量右特征向量以及其和向量的计算如下:
其中,Ls表示轮廓曲线上的像素取样个数,取样个数越少,主方向对图像旋转越敏感同时短轮廓上的特征点方向确定越准确,取样个数越多,主方向对旋转越稳定同时短轮廓上的特征点方向误差越大;Lc表示整条轮廓曲线的像素个数;cp表示轮廓曲线上的像素点集合, cp(i)表示轮廓曲线上第i个像素点的坐标值。
最终角点的主方向计算公式如下:
利用该公式即可保证主方向的旋转不变性,特征点的主方向向量永远指向轮廓曲线的凹侧,由上述式子可知主方向取值范围为[0, 2π)。
步骤三、以主方向作为基准方向,计算以角点为中心的邻域梯度向量,进而获得每个角点对应的尺度不变特征描述子即SIFT描述子。
为了保证SIFT描述子的旋转不变性,计算角点的邻域梯度方向的过程中,以角点主方向为基准方向,即0°方向。根据研究经验,一般取角点为中心的邻域为4*4邻域,将其划分为16个子区域,每个子区域计算8、10或16个梯度方向,即把360°以22.5°、36°或者45°为间隔进行等分,本申请优选16个梯度方向。用一个梯度直方柱代表一个梯度方向,以8个梯度方向为例。白色区域的梯度统计后得到8个梯度向量,则所有子区域组成4*4*8=128维向量。
但是电力设备红外和可见光图像中存在大量的梯度反向的情况,而为了保证局部强度不变性,则需要对邻域梯度方向做出修改。首先,为了将梯度方向限制在(0,180°)内,把幅值相差180°的梯度幅值累加,即将180°~360°中梯度向量对应累加到反方向的0°~180°的梯度向量上,以此解决梯度反向的问题。其次,将所有梯度向量的幅值按照降序排列,处于前20%的幅值均调整为1,20%~40%的幅值均调整为0.75,40%~60%的幅值均调整为0.5,60%~80%的幅值均调整为0.25,最后20%的幅值均调整为0。这样可以降低可见光图像的细节纹理比红外图像多带来的梯度差异大问题,分段调整能更好的呈现图像边缘的梯度信息,此外,在最后的归一化过程中无需进行截断,因为CSS角点本身位于红外图像和可见光图像的边缘,邻域内的梯度信息丰富,进行截断会使得梯度信息丢失严重。
经过上述两步处理方法后,记第i行第j列子区域的梯度向量为Hij,整个邻域的梯度向量即SIFT描述子记为
步骤四、利用每个角点对应的SIFT描述子,对待配准的两张红外和可见光图像的先进行粗配准再进行精配准,获得最准确的配准点集,具体如下:
步骤Ⅰ、利用尺度大小不同的多个SIFT模板分别对其中一张待配准的红外和可见光图像提取SIFT描述子,采用最近邻优先Best Bin First,BBF结合双边匹配算法,将其与另一张待配准的红外和可见光图像的SIFT描述子分别进行粗配准,获取多组粗配准点集。
为了解决有的红外图像和可见光图像视角不一致导致的视野缩放问题,本申请对可见光图像进行0.5倍到2倍邻域大小的模板提取 SIFT描述子,而对红外图像的SIFT描述子提取固定为1.0倍,36*36 像素邻域大小的模板,根据实际应用情况,对可见光图像提取SIFT 描述子采用的SIFT模板尺度设置0.5、0.75、1.0、1.5、2.0倍,故可提取五组SIFT描述子,对红外图像采用的SIFT模板尺度设置为1.0 倍,故获取一组SIFT描述子。
然后,利用最近邻优先Best-Bin-First(BBF)结合双边匹配算法,将可见光图像的五组SIFT描述子分别与红外图像的一组SIFT描述子进行粗配准,获得五组配准点集,选取配准点对最多的一组用于精配准,标记为N对红外图像I1和可见光图像I2的候选配准点集合分别为
步骤Ⅱ、采用倾斜角一致性匹配方法,对粗配准获得的配准点集进行精配准,具体如下:
首先,用于精配准的一组配准点集,其对应可见光图像的SIFT描述子提取所用的SIFT模板尺度的倒数作为最佳图像缩放比例s,对可见光图像的分辨率进行调整,调整后的红外图像I1和可见光图像I2的分辨率分别标记为[M1×N1]、s[M1×N1]。
然后,计算点集中各个配准点对对应的主方向的角度差值,将所有的角度差值进行等角度间隔划分,一般取两度,取角度间隔中角度差值个数最多对应的角度ΔΦ作为旋转角度,即可见光图像I2相对红外图像I1的旋转角,因此,利用如下公式,对待配准的红外图像中的所有像素坐标进行坐标旋转。
再次、将待配准的两张红外和可见光图像即红外图像和正确缩放后的可见光图像在x方向上进行拼接,根据图像之间的仿射变换关系,在图像没有明显畸变且ΔΦ与真实旋转角差异较小,例如旋转角度在(–10°,10°)区间内的情况下,正确的匹配点对之间的连线彼此大致平行且长度大致相等,根据这一特性,构建配准点对连线集合θi、di分别表示连线倾斜角和长度,其计算公式如下:
最后、将所有的连线倾斜角向下取整后进行等角度间隔划分,筛选出角度间隔中连线倾斜角个数最多对应的配准点对,再计算这些配准点对连线的长度平均值筛选出长度平均值的误差允许范围内的配准点对,可设定允许误差为εd,长度允许区间为获得精匹配点集分别记为当然对于连续倾斜角的判定也可以采用长度平均值的判定方法,即设定角度间隔中连线倾斜角个数最多对应的连线倾斜角为θm,设定角度允许误差为εθ,角度允许区间为[θm–εθ,θm+εθ],则将连线集合K中θi处于角度允许区间外的连线对应的配准点对视为明显错配点进行剔除。
步骤Ⅲ,利用双阈值RANSAC算法对精配准后的配准点集进行筛选,再经过亚像素优化处理后,获得最准确的匹配点集,具体如下:
面积约束判定设置为:若随机产生的三个点对在各自的图像中围成的像素面积小于所在图像总面积的1/T,则跳过该组点的拟合,因为所围面积过小的组合拟合结果误差大,进行面积约束能有效减少运行时间并增加准确率。
步骤④、由于红外和可见光图像分辨率差异较大,且配准点均为像素级配准点,因此,采用亚像素级优化处理能够有效减小误差。即对像素级匹配点集中的每个点构建方形区域,计算方形区域中的每个点到最优平面的距离,保留最小距离对应的点作为优化后的点,获得最准确的配准点集
利用如下方程式,建立配准点集P2pixel中每个元素p2i的方形邻域,
p'2i={(x'2i,y'2i)|x2i-a*dp<x'2i<x2i+a*dp,y2i-a*dp<y'2i<y2i+a*dp}
其中,a表示方形邻域边长的一半,dp表示亚像素间距。
为了验证本发明的方法的可行性,使用不同算法对自建红外-可见光图像数据库进行配准实验,实验内容包括:
(1)无明显缩放、无旋转实验;
(2)不同旋转角度实验;
(3)含缩放及旋转角度实验;
(4)含噪声测试。
实验平台:
MATLAB 2017b,
算法参数设置:
无旋转角度实验中取Ls=2,含旋转角度测试中取Ls=6;配准点连线倾斜角允许误差εθ=7°,配准点距离允许误差 RANSAC算法迭代次数200次,距离阈值εp=M1/150,面积约束比例 1/T=1/20;亚像素优化邻域边长2a=8,dp=0.2。
评价指标:
(1)均方根误差Root Mean Squard Error(RMSE)
其中(xi,yi)图像配准得到的配准点坐标,(x’i,y’i)为配准点经过理论透视变换矩阵后的理论配准点坐标。该指标能客观反映配准算法的匹配精度高,其值越小,配准精度越高。
(2)查准率Precision、查全率Recall、匹配得分Matching Score
查准率代表正确配准点数量占所有配准点数量的比例,其值越大,反映错配准点去除算法越准确;查全率代表正确配准点占所有对应特征点的比例,其值越大,反映配准算法越准确;配准得分代表正确配准点占特征点总数量的比例,其值越大,反映特征点和描述子提取算法的精准度越高。
配准点集P1result中与理论匹配点像素距离误差Δd=||(xi,yi)–(x’i, y’i)||<εd1的点视为正确配准点(Correct Match),εd1<Δd<εd2的点视为不准确配准点(InaccurateMatch),Δd>εd2的点视为错误配准点 (Incorrect Match)。
(3)信息熵Entropy
最终得到配准点集的信息熵
信息熵值越大,反映配准点在空间分布上的离散程度更高,则由配准点计算得到的变换参数更准确,配准算法效果更好。
本发明采用五种不同的算法,分别是SIFT、SURF、CSS-SIFT、 Harris-SIFT、Harris-SI-PIIFD,对自建电气设备红外和可见光数据库内的六幅图像对比,各项指标见下表所示。
由本发明得到的结果和传统的四类方法结果对比可见,本发明的红外和可见光图像配准方法在保持最高查准率的情况下依然有最高的准确率,同时均方根误差最小,综合得分F1-score最高。最为显著的是,本发明方法在配准过程中得到的正确配准点对数是其它方法的两倍以上,并且配准点在图像上的分布离散程度也最为全面。由实验结果说明,本发明方法的实用性较高,较以往的方法有更为准确的结果。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,因此,本发明的保护范围由所附权利要求书限定。
Claims (6)
1.一种异源图像的配准方法,其特征在于包括以下步骤:
步骤一、利用曲率尺度空间CSS角点提取算法,分别计算待配准的一张红外图像和一张可见光图像内的多个角点,以角点所在的对角线作为其主方向;
步骤二、以角点主方向作为基准方向,计算以角点为中心的邻域梯度向量,进而获得每个角点对应的尺度不变特征描述子即SIFT描述子;
步骤三、利用每个角点对应的SIFT描述子,对待配准的红外图像和可见光图像的先进行粗配准再进行精配准,获得最准确的配准点集。
4.根据权利要求3所述的异源图像的配准方法,其特征在于:将每个子区域等分成8个梯度方向;将所有梯度向量的幅值按照降序排列,处于前20%的幅值均调整为1,20%~40%的幅值均调整为0.75,40%~60%的幅值均调整为0.5,60%~80%的幅值均调整为0.25,最后20%的幅值均调整为0。
5.根据权利要求1所述的异源图像的配准方法,其特征在于获得最准确的配准点坐标集合的计算方法包括以下步骤:
步骤Ⅰ、利用尺度大小不同的多个SIFT模板分别对其中一张待配准的红外或可见光图像提取SIFT描述子,采用最近邻优先Best Bin First BBF结合双边匹配算法,将其与另一张待配准的可见光或红外图像的SIFT描述子分别进行粗配准,获取多组粗配准点集;
步骤Ⅱ、采用倾斜角一致性匹配方法,对粗配准点集进行精配准,具体包括:
步骤2)、计算点集中各个配准点对对应的主方向的角度差值,将所有的角度差值进行等角度间隔划分,取角度间隔中角度差值个数最多对应的角度作为旋转角度,对所述另一张待配准的红外和可见光图像中的所有像素坐标进行坐标旋转;
步骤4)、将所有的连线倾斜角向下取整后进行等角度间隔划分,筛选出角度间隔中连线倾斜角个数最多对应的配准点对,再计算这些配准点对连线的长度平均值,筛选出长度平均值的误差允许范围内的配准点对,获得精匹配点集合分别记为
步骤Ⅲ、利用双阈值RANSAC算法对精配准后的配准点集进行筛选,再经过亚像素优化处理后,获得最准确的匹配点集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010012243.2A CN111223133B (zh) | 2020-01-07 | 2020-01-07 | 一种异源图像的配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010012243.2A CN111223133B (zh) | 2020-01-07 | 2020-01-07 | 一种异源图像的配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111223133A CN111223133A (zh) | 2020-06-02 |
CN111223133B true CN111223133B (zh) | 2022-10-11 |
Family
ID=70825934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010012243.2A Active CN111223133B (zh) | 2020-01-07 | 2020-01-07 | 一种异源图像的配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111223133B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111683234B (zh) * | 2020-06-04 | 2022-05-31 | 深圳开立生物医疗科技股份有限公司 | 一种内窥镜成像方法、装置及相关设备 |
WO2021248270A1 (zh) * | 2020-06-08 | 2021-12-16 | 上海交通大学 | 一种异源图像配准方法及系统 |
CN111798560B (zh) * | 2020-06-09 | 2023-09-01 | 同济大学 | 一种电力设备红外热像测温数据三维实景模型可视化方法 |
CN112070813A (zh) * | 2020-08-21 | 2020-12-11 | 国网山东省电力公司青岛供电公司 | 一种基于连线特征一致性的特征匹配方法 |
CN112070812A (zh) * | 2020-08-21 | 2020-12-11 | 广东电网有限责任公司广州供电局 | 一种用于电气设备的特征描述符生成方法 |
CN112966576B (zh) * | 2021-02-24 | 2022-09-16 | 西南交通大学 | 基于多光源图像的绝缘子水冲洗机器人瞄准系统及方法 |
CN113284124B (zh) * | 2021-06-07 | 2022-02-11 | 南京航空航天大学 | 一种基于无人机视觉的光伏面板缺陷检测方法 |
CN113409372B (zh) * | 2021-06-25 | 2023-03-24 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
CN113409370B (zh) * | 2021-06-25 | 2023-04-18 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
CN114820737B (zh) * | 2022-05-18 | 2024-05-07 | 浙江圣海亚诺信息技术有限责任公司 | 一种基于结构特征的遥感图像配准方法 |
CN116188975A (zh) * | 2023-01-03 | 2023-05-30 | 国网江西省电力有限公司电力科学研究院 | 一种空地视角融合的电力设备故障识别方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427298A (zh) * | 2015-11-12 | 2016-03-23 | 西安电子科技大学 | 基于各向异性梯度尺度空间的遥感图像配准方法 |
CN105930848A (zh) * | 2016-04-08 | 2016-09-07 | 西安电子科技大学 | 基于sar-sift特征的sar图像目标识别方法 |
CN106373088A (zh) * | 2016-08-25 | 2017-02-01 | 中国电子科技集团公司第十研究所 | 大倾斜低重叠率航空图像的快速拼接方法 |
CN109118528A (zh) * | 2018-07-24 | 2019-01-01 | 西安工程大学 | 基于区域分块的奇异值分解图像匹配算法 |
CN110148162A (zh) * | 2019-04-29 | 2019-08-20 | 河海大学 | 一种基于复合算子的异源图像匹配方法 |
CN110223330A (zh) * | 2019-06-12 | 2019-09-10 | 国网河北省电力有限公司沧州供电分公司 | 一种可见光和红外图像的配准方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10013765B2 (en) * | 2016-08-19 | 2018-07-03 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for image registrations |
-
2020
- 2020-01-07 CN CN202010012243.2A patent/CN111223133B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427298A (zh) * | 2015-11-12 | 2016-03-23 | 西安电子科技大学 | 基于各向异性梯度尺度空间的遥感图像配准方法 |
CN105930848A (zh) * | 2016-04-08 | 2016-09-07 | 西安电子科技大学 | 基于sar-sift特征的sar图像目标识别方法 |
CN106373088A (zh) * | 2016-08-25 | 2017-02-01 | 中国电子科技集团公司第十研究所 | 大倾斜低重叠率航空图像的快速拼接方法 |
CN109118528A (zh) * | 2018-07-24 | 2019-01-01 | 西安工程大学 | 基于区域分块的奇异值分解图像匹配算法 |
CN110148162A (zh) * | 2019-04-29 | 2019-08-20 | 河海大学 | 一种基于复合算子的异源图像匹配方法 |
CN110223330A (zh) * | 2019-06-12 | 2019-09-10 | 国网河北省电力有限公司沧州供电分公司 | 一种可见光和红外图像的配准方法及系统 |
Non-Patent Citations (3)
Title |
---|
"Availability and maintenance modeling for GIS equipment served in high-speed railway under incomplete maintenance";Q. Wang等;《IEEE Trans》;20180531;第33卷(第5期);全文 * |
"Fault-cause identification method based on adaptive deep belief network and time–frequency characteristics of travelling wave";Hanqing Liang等;《IET Generation, Transmission & Distribution》;20190531;全文 * |
基于改进的Harris角点检测在岩心图像拼接中的应用;孔紫阳等;《微计算机信息》;20101115(第32期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111223133A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111223133B (zh) | 一种异源图像的配准方法 | |
CN111340701B (zh) | 一种基于聚类法筛选匹配点的电路板图像拼接方法 | |
Kurka et al. | Applications of image processing in robotics and instrumentation | |
CN112085772B (zh) | 一种遥感图像配准方法及装置 | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
CN111462198B (zh) | 一种尺度、旋转和辐射不变性的多模态影像配准方法 | |
US20150199573A1 (en) | Global Scene Descriptors for Matching Manhattan Scenes using Edge Maps Associated with Vanishing Points | |
CN110120013B (zh) | 一种点云拼接方法及装置 | |
CN110260818B (zh) | 一种基于双目视觉的电子连接器鲁棒检测方法 | |
CN110763204A (zh) | 一种平面编码靶标及其位姿测量方法 | |
CN114255197A (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
CN113884002A (zh) | 基于二三维信息融合的受电弓滑板上表面检测系统及方法 | |
CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
CN107679542B (zh) | 一种双摄像头立体视觉识别方法及系统 | |
CN113065532A (zh) | 一种基于rgbd图像的坐姿几何参数检测方法及系统 | |
CN115880373A (zh) | 基于新型编码特征的立体视觉系统的标定板及标定方法 | |
CN110838146A (zh) | 一种共面交比约束的同名点匹配方法、系统、装置及介质 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
Yao et al. | Robust Harris corner matching based on the quasi-homography transform and self-adaptive window for wide-baseline stereo images | |
CN104966283A (zh) | 图像分层配准方法 | |
CN111311657B (zh) | 一种基于改进角点主方向分配的红外图像同源配准方法 | |
CN117314986A (zh) | 基于语义分割的无人机跨模态配电设备巡检图像配准方法 | |
CN110956640B (zh) | 一种异源图像边缘点检测与配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |