CN115641367A - 一种基于多级特征匹配的红外和可见光图像配准方法 - Google Patents
一种基于多级特征匹配的红外和可见光图像配准方法 Download PDFInfo
- Publication number
- CN115641367A CN115641367A CN202211390084.5A CN202211390084A CN115641367A CN 115641367 A CN115641367 A CN 115641367A CN 202211390084 A CN202211390084 A CN 202211390084A CN 115641367 A CN115641367 A CN 115641367A
- Authority
- CN
- China
- Prior art keywords
- infrared
- feature
- visible light
- matching
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000003708 edge detection Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims 1
- 230000005764 inhibitory process Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于多级特征匹配的红外与可见光图像配准方法，属于图像配准技术领域，解决了现有红外与可见光图像配准精度低的问题，步骤1，边缘检测：采用边缘检测算子分别提取出红外与可见光图像的边缘轮廓图；步骤2，特征提取：采用特征提取算法分别提取红外与可见光边缘图像中的特征点；步骤3，特征描述：采用质心法和同心圆描述方法获得特征点的方向并构建对应的特征描述子；步骤4，特征匹配：采用基于偏移一致性的多级特征匹配算法完成红外与可见光图像中特征点对的删除及匹配；步骤5，几何变换：采用提纯后的特征点对计算几何变换模型的最优解，得到最终的配准图像。本发明提高了匹配速度；提高了匹配点对的正确率，从而实现高精度配准。
Description
技术领域
本发明涉及一种基于多级特征匹配的红外与可见光图像配准方法，属于图像配准技术领域。
背景技术
图像配准作为图像拼接和图像融合不可或缺的前提条件，也是其重要的性能保障，图像配准的精准程度将直接影响图像拼接和图像融合的图像质量性能。其中红外与可见光图像的配准是多传感器图像配准的一种重要类别。因此，通过配准技术使红外图像与可见光图像达到几何意义上的对齐，从而更好地将多种传感器获取的图像有效地结合起来，生成具有高质量的融合图像是非常必要的。然而，由于红外与可见光图像的成像原理不同，如何准确描述提取到的特征和提高配准精度一直是本领域的难点和痛点。
中国专利公开号为“CN111369605A”，名称为“一种基于边缘特征的红外与可见光图像的配准方法和系统”，该方法首先通过结构化随机森林边缘检测提取出红外与可见光图像的边缘图像并通过边缘特征构造红外与可见光图像的主方向矩阵；接着，利用SURF提取边缘图像特征点中方向稳定的特征点；然后，利用高斯加权法计算特征点对应的描述符；最后，通过欧式距离比和随机抽样一致算法实现特征点的匹配，完成配准。该方法得到的配准图像误匹配率高，配准精度低，同时实现过程复杂。
发明内容
本发明解决了现有红外与可见光图像配准精度低的问题，提供了一种基于多级特征匹配的红外与可见光图像配准方法。使得到的配准图像误匹配点对数更少，配准精度更高，同时本发明提出的配准方法复杂度较低，配准效率更高。
本发明解决技术问题的方案是：
一种基于多级特征匹配的红外与可见光图像配准方法，包括如下步骤：
步骤1，边缘检测：采用边缘检测算子分别提取出红外与可见光图像的边缘轮廓图；
步骤2，特征提取：采用特征提取算法分别提取红外与可见光边缘图像中的特征点；
步骤3，特征描述：采用质心法和同心圆描述方法获得特征点的方向并构建对应的特征描述子；
步骤4，特征匹配：采用基于偏移一致性的多级特征匹配算法完成红外与可见光图像中特征点对的删除及匹配；
步骤5，几何变换：采用提纯后的特征点对计算几何变换模型的最优解，得到最终的配准图像。
所述步骤1中，首先，将图像与高斯函数进行卷积处理，通过平滑滤波消除噪声的干扰；然后，计算图像的梯度值和对应的方向，并对梯度值和方向角进行非极大值抑制，找出边缘中的一条细线，使得边缘像素位置的检测更准确；最后，通过双阈值法将细线中断开的部分连接起来，即可得到红外和可见光图像各自的边缘轮廓图。
所述步骤2中，首先，采用SIFT算法分别提取红外与可见光边缘图像中的特征点。先利用高斯核函数进行卷积运算，并不断下采样得到一系列尺度空间，再将相邻两层做差分运算，得到高斯差分金字塔DOG，然后将每个像素点与上下左右前后相对比，保留极值，直至提取出所有特征点。最后通过高斯差分函数的二阶泰勒展开式精确定位特征点的位置和尺度，同时去掉不稳定的特征点。
所述步骤3中，首先，每个特征点都包括位置、尺度和方向3种信息，位置和尺度信息可通过步骤2获得；然后，方向信息采用图像亮度质心不变矩的方向矢量计算方法获得，质心的位置通过面积积分法确定；最后，对局部特征进行描述，即构建特征描述子来描述每一个特征点与周围图像的相互关系。
所述步骤4中，首先，利用红外与可见光图像中正确匹配点对之间连线的长度和倾斜角度不变原理，使用偏移一致性判断法则做特征点的粗匹配；然后，通过特征描述子对待配准的红外与可见光图像的特征点集进行由粗到细的多级匹配筛选，获得最准确的配准点集，构建正确的配准关系。
所述步骤5中，首先，红外与可见光图像配准过程中使用的几何变换为仿射变换，采用最小二乘法对提纯后的点进行参数估计得到仿射变换矩阵的最优解；然后，根据仿射变换参数将红外图像对齐到可见光图像，即可完成整个红外与可见光图像配准过程。
本发明的有益效果如下：
1、在特征描述过程中引入质心法和同心圆提高特征点描述子的准确性，增强其旋转不变性同时提高了匹配速度。
2、在特征匹配的过程中引入了基于偏移一致性的约束条件，并通过多级匹配进行筛选，提高了匹配点对的正确率，从而实现高精度配准。
附图说明
图1为本发明一种基于多级特征匹配的红外与可见光图像配准方法流程图。
图2为本发明所述的特征描述子构建的同心圆示意图。
图3为本发明所述的红外与可见光图像配准结果示意图。
图4为本发明所述的配准完成的棋盘格示意图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
如图1所示，本发明提供了一种基于多级特征匹配的红外与可见光图像配准方法，该方法具体包括如下步骤：
步骤1，边缘检测。首先，将图像与高斯函数进行卷积处理，通过平滑滤波消除噪声的干扰；然后，计算图像的梯度值和对应的方向，并对梯度值和方向角进行非极大值抑制，找出边缘中的一条细线，使得边缘像素位置的检测更准确；最后，通过双阈值法将细线中断开的部分连接起来，即可得到红外和可见光图像各自的边缘轮廓图。
步骤2，特征提取。首先，采用SIFT算法分别提取红外与可见光边缘图像中的特征点。先利用高斯核函数进行卷积运算，并不断下采样得到一系列尺度空间，再将相邻两层做差分运算，得到高斯差分金字塔DOG，然后将每个像素点与上下左右前后相对比，保留极值，直至提取出所有特征点。最后通过高斯差分函数的二阶泰勒展开式精确定位特征点的位置和尺度，同时去掉不稳定的特征点。
步骤3，特征描述。首先，每个特征点都包括位置、尺度和方向3种信息。位置和尺度信息可通过步骤2获得；然后，方向信息采用图像亮度质心不变矩的方向矢量计算方法获得，质心的位置通过面积积分法确定；最后，对局部特征进行描述，即构建特征描述子来描述每一个特征点与周围图像的相互关系。
步骤4，特征匹配。首先，利用红外与可见光图像中正确匹配点对之间连线的长度和倾斜角度不变原理，使用偏移一致性判断法则做特征点的粗匹配；然后，通过特征描述子对待配准的红外与可见光图像的特征点集进行由粗到细的多级匹配筛选，获得最准确的配准点集，构建正确的配准关系。
步骤5，几何变换。首先，红外与可见光图像配准过程中使用的几何变换为仿射变换，采用最小二乘法对提纯后的点进行参数估计得到仿射变换矩阵的最优解；然后，根据仿射变换参数将红外图像对齐到可见光图像，即可完成整个红外与可见光图像配准过程。
实施例：
如图1所示，一种基于多级特征匹配的红外与可见光图像配准方法，该方法包括如下步骤：
步骤1，边缘检测。边缘检测算子采用Canny。Canny通过使用四个掩膜分别检测不同方向的边缘并与原始图像作卷积，得到像素点最大值及其方向，再从有高亮度梯度的点出发开始跟踪直到回到起点从而得到边缘检测图。通过双阈值检测可确定真实和潜在的边缘。
步骤2，特征提取。采用SIFT算法分别提取红外与可见光边缘图像中的特征点。先利用高斯核函数进行卷积运算，并不断下采样得到一系列尺度空间，再将相邻两层做差分运算，得到高斯差分金字塔DOG，然后将每个像素点与其相邻尺度和同尺度3*3邻域中26个像素点进行比较，保留极值，直至提取出所有特征点。最后通过高斯差分函数的二阶泰勒展开式精确定位特征点的位置和尺度，同时去掉不稳定的特征点。
步骤3，特征描述。提出了一种采用质心法和同心圆特征描述方法，获得特征点的方向并构建对应的特征描述子。首先通过高斯差分函数的二阶泰勒展开式精确定位特征点的位置和尺度；然后利用面积积分法计算每个像素的面积积分系数和质心坐标，再采用图像亮度质心不变矩的方向矢量计算方法建立从特征点O到亮度质心A的方向向量
即为特征点的方向；最后，对局部特征进行描述，即构建特征描述子来描述每一个特征点与周围图像的相互关系。
上述面积积分系数和质心坐标计算方式为：在特征点O(xo,yo)所对应的尺度空间中，将每个像素当作1×1的正方形，以特征点O(xo,yo)为圆心，3σ为半径做圆形区域，每个像素对应的面积积分系数Sxy为该像素与圆形区域重叠的面积值。当像素完全位于圆形区域内时，该像素的面积积分系数Sxy为1，对应的质心坐标为该像素点的坐标(xi,yi)；当有部分重叠时，该像素的面积积分系数Sxy为重叠部分的面积值，对应的质心坐标(xi,yi)通过几何形心的计算方法得到。
上述主方向计算方式为：首先，计算特征点O的图像矩,
其中Sxy为面积积分系数，(xi,yi)为该像素点的质心坐标，I(x,y)为该像素对应的灰度值，m,n分别为x,y对应的阶数，其取值为0或1，对应得到F00,F01,F10。计算特征点O圆形区域的亮度质心A(xc,yc),
圆形区域的方向向量
与X轴的夹角θ定义为特征点的主方向，即
其中上述(xc，yc)为方向向量
上的任意一点坐标，(xo,yo)为原点坐标。向量描述子计算方式为：将坐标轴旋转θ角度与主方向重合，构造一个以特征点为中心，半径为8的同心圆环区域，如图2所示。使用下式计算每个像素的梯度幅值和辐角。
其中，m(x,y)表示梯度的大小，而θ表示像素点的方向角，L(x,y)表示像素点的灰度值。每个特征点分为8个圆环子区域，每个子区域形成一个8维的灰度直方图向量。首先，统计第一个圆环内像素在8个方向上的梯度累加值(每一个圆环在旋转前后只有位置信息发生变换，而相对信息保持不变)；然后，将梯度累加值按照最大值循环移位的方式作为特征描述符的第1～8个向量；最后，按上述方法统计其余圆环内像素8个方向上的梯度累加值，一共生成8×8＝64维向量作为特征点的描述符。
步骤4，特征匹配。提出基于偏移一致性的多级特征匹配算法来完成红外与可见光图像中特征点对的删除及匹配。首先，利用红外与可见光图像中正确匹配点对之间连线的长度和倾斜角度不变原理，使用偏移一致性判断法则做特征点的粗匹配；然后，通过特征描述子对待配准的红外与可见光图像的特征点集进行由粗到细的多级匹配筛选，获得最准确的配准点集，构建正确的配准关系。特征点匹配结果示意图如图3所示。基于偏移一致性的多级匹配算法步骤如下：
(1)首先，采用欧式距离衡量特征点之间的相似性，即比较最邻近与次邻近的欧式距离间的比值是否小于给定的阈值q，判断是否为正确匹配对,其中q取值为0.8。
(2)然后，采用本发明提出的偏移一致性原则进一步剔除错误匹配，具体如下：
设红外图像中两点A1(x1,y1)和A2(x2,y2)分别与可见光图像中两点B1(m1,n1)和B2(m2,n2)对应匹配，若满足下式，则这两对匹配点倾斜方向相同，可视为正确匹配。
上式中Tα为常数，取值为5。
(3)最后采用随机采样一致性找出使内点数目最多的变换矩阵，将通过变换矩阵所判断出的外点剔除。
步骤5，几何变换。几何变换采用仿射变换。利用提纯后的点对计算仿射变换模型的最优解，得到最终的配准图像。本发明采用最小二乘法对提纯后的点进行参数估计得到变换矩阵的最优解。最终配准完成的棋盘格示意图，如图4所示。
Claims (6)
1.一种基于多级特征匹配的红外与可见光图像配准方法，其特征是，该方法包括如下步骤：
步骤1，边缘检测：采用边缘检测算子分别提取出红外与可见光图像的边缘轮廓图；
步骤2，特征提取：采用特征提取算法分别提取红外与可见光边缘图像中的特征点；
步骤3，特征描述：采用质心法和同心圆描述方法获得特征点的方向并构建对应的特征描述子；
步骤4，特征匹配：采用基于偏移一致性的多级特征匹配算法完成红外与可见光图像中特征点对的删除及匹配；
步骤5，几何变换：采用提纯后的特征点对计算几何变换模型的最优解，得到最终的配准图像。
2.根据权利要求1所述的一种基于多级特征匹配的红外与可见光图像配准方法，其特征在于，所述步骤1中，首先，将图像与高斯函数进行卷积处理，通过平滑滤波消除噪声的干扰；然后，计算图像的梯度值和对应的方向，并对梯度值和方向角进行非极大值抑制，找出边缘中的一条细线，使得边缘像素位置的检测更准确；最后，通过双阈值法将细线中断开的部分连接起来，即可得到红外和可见光图像各自的边缘轮廓图。
3.根据权利要求1所述的一种基于多级特征匹配的红外与可见光图像配准方法，其特征在于，所述步骤2中，首先，采用SIFT算法分别提取红外与可见光边缘图像中的特征点。先利用高斯核函数进行卷积运算，并不断下采样得到一系列尺度空间，再将相邻两层做差分运算，得到高斯差分金字塔DOG，然后将每个像素点与上下左右前后相对比，保留极值，直至提取出所有特征点。最后通过高斯差分函数的二阶泰勒展开式精确定位特征点的位置和尺度，同时去掉不稳定的特征点。
4.根据权利要求1所述的一种基于多级特征匹配的红外与可见光图像配准方法，其特征在于，所述步骤3中，首先，每个特征点都包括位置、尺度和方向3种信息。位置和尺度信息可通过步骤2获得；然后，方向信息采用图像亮度质心不变矩的方向矢量计算方法获得，质心的位置通过面积积分法确定；最后，对局部特征进行描述，即构建特征描述子来描述每一个特征点与周围图像的相互关系。
5.根据权利要求1所述的一种基于多级特征匹配的红外与可见光图像配准方法，其特征在于，所述步骤4中，首先，利用红外与可见光图像中正确匹配点对之间连线的长度和倾斜角度不变原理，使用偏移一致性判断法则做特征点的粗匹配；然后，通过特征描述子对待配准的红外与可见光图像的特征点集进行由粗到细的多级匹配筛选，获得最准确的配准点集，构建正确的配准关系。
6.根据权利要求1所述的一种基于多级特征匹配的红外与可见光图像配准方法，其特征在于，所述步骤5中，首先，红外与可见光图像配准过程中使用的几何变换为仿射变换，采用最小二乘法对提纯后的点进行参数估计得到仿射变换矩阵的最优解；然后，根据仿射变换参数将红外图像对齐到可见光图像，即可完成整个红外与可见光图像配准过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211390084.5A CN115641367A (zh) | 2022-11-08 | 2022-11-08 | 一种基于多级特征匹配的红外和可见光图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211390084.5A CN115641367A (zh) | 2022-11-08 | 2022-11-08 | 一种基于多级特征匹配的红外和可见光图像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115641367A true CN115641367A (zh) | 2023-01-24 |
Family
ID=84948312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211390084.5A Pending CN115641367A (zh) | 2022-11-08 | 2022-11-08 | 一种基于多级特征匹配的红外和可见光图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115641367A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385502A (zh) * | 2023-03-09 | 2023-07-04 | 武汉大学 | 一种基于几何约束下区域搜索的图像配准方法 |
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369605A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学 | 一种基于边缘特征的红外与可见光图像的配准方法和系统 |
-
2022
- 2022-11-08 CN CN202211390084.5A patent/CN115641367A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369605A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学 | 一种基于边缘特征的红外与可见光图像的配准方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 朱德鹏等: "RI-MFM: A Novel Infrared and Visible Image Registration with Rotation Invariance and Multilevel Feature Matching", 《ELECTRONICS》, 10 September 2022 (2022-09-10) * |
| 王炳健;卢刚;黄洋;李庆;秦翰林;: "基于Shape Context和尺度不变特征变换的多模图像自动配准方法", 强激光与粒子束, no. 12, 15 December 2011 (2011-12-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385502A (zh) * | 2023-03-09 | 2023-07-04 | 武汉大学 | 一种基于几何约束下区域搜索的图像配准方法 |
| CN116385502B (zh) * | 2023-03-09 | 2024-04-19 | 武汉大学 | 一种基于几何约束下区域搜索的图像配准方法 |
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN116665256B (zh) * | 2023-06-05 | 2024-03-15 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106919944B (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| CN111311679B (zh) | 一种基于深度相机的自由漂浮目标位姿估计方法 | |
| CN115641367A (zh) | 一种基于多级特征匹配的红外和可见光图像配准方法 | |
| US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
| CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
| CN111340701B (zh) | 一种基于聚类法筛选匹配点的电路板图像拼接方法 | |
| CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
| CN102819839B (zh) | 多特征多级别的红外与高光谱图像的高精度配准方法 | |
| CN106682700A (zh) | 一种基于关键点描述算子的分块快速匹配算法 | |
| CN102800099B (zh) | 多特征多级别的可见光与高光谱图像高精度配准方法 | |
| CN105631872B (zh) | 基于多特征点的遥感图像配准方法 | |
| CN102800097A (zh) | 多特征多级别的可见光与红外图像高精度配准方法 | |
| CN107862708A (zh) | 一种sar与可见光图像配准方法 | |
| CN114331879B (zh) | 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 | |
| CN107610166A (zh) | 一种基于线性特征区域分割的平面地图图像配准方法 | |
| CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
| CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
| CN110111375A (zh) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 | |
| CN111340134B (zh) | 一种基于局部动态规整的快速模板匹配方法 | |
| CN110246165B (zh) | 提高可见光图像与sar图像配准速度的方法及系统 | |
| CN117745780A (zh) | 一种基于孤立簇去除的室外大场景3d点云配准方法 | |
| CN106651756B (zh) | 一种基于sift和验证机制的图像配准方法 | |
| CN115205558B (zh) | 一种具有旋转和尺度不变性的多模态影像匹配方法及装置 | |
| CN117173437A (zh) | 多维定向自相似特征的多模态遥感影像混合匹配方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |