CN114331879A - 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 - Google Patents

Abstract

本发明提供一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，属于多源图像配准领域，首先对可见光与红外图像进行DoG特征检测，获得图像斑点特征的位置信息和尺度信息，计算可见光图像与红外图像在多尺度空间下的一阶梯度幅值和幅角，对红外图像一阶梯度幅值进行去噪和限制对比度自适应直方图均衡化处理，然后分别对处理的红外图像一阶梯度幅值和可见光图像一阶梯度幅值求取二阶梯度，使用SIFT或GLOH直方图统计特征描述法，求红外与可见光图像二阶梯度生成特征点的特征描述子，最后通过匹配的特征点计算出图像几何变换模型参数H。本发明可以自动实现红外与可见光图像的亚像素对齐的功能，算法智能，实现方便，应用范围广。

Description

一种均衡化二阶梯度直方图描述子的可见光与红外图像配准 方法

技术领域

本发明属于多源图像配准领域，尤其涉及基于特征点匹配的可见光与红外图像配准方法，具体说的是一种基于限制对比度自适应均衡化二阶梯度直方图描述子的可见光与红外图像配准方法。

背景技术

在信息传感器的发展和电脑软硬件的发展的技术基础上，在机器感知复杂环境的实际需求下，多源信息融合技术越发重要。在计算机视觉和图像处理领域，来自于多种传感器的多源图像或视频数据的融合可以得到更多的环境视觉信息，能更加有利于后续的数据分析操作和对拍摄环境变换的鲁棒性。多源图像也被称为多模态图像或异质图像。红外与可见光图像就属于一种多源图像，把这两种图像进行融合可以集合红外图像全天候工作和可见光图像成像清晰的优势。

在多源图像进行融合之前，首先必须对图像进行精确对齐，这一过程也被称为图像配准。图像配准是图像处理领域和计算机视觉领域的基本课题。顾名思义，图像配准是把两幅或多幅图像在视觉上对齐的操作。异质图像配准即把不同传感器获取的图像进行对齐的操作。

目前，国内在红外与可见光图像配准领域的研究有以下特点：

(1)基于边缘轮廓等二值结构特征的图像配准方法。现有公开专利中大都使用的是这种方法。该方法为了消除红外和可见光图像的灰度信息非线性差异，提取二者具备的相同结构特征，然而这种方法舍弃了图像中绝大部分信息，所提取的二值特征所包含的信息往往不能支撑红外和可见光图像进行良好的配准，而且很依赖于边缘等结构特征的提取效果。经过实验发现，在很多场景下边缘提取的效果并不好，尤其是对于红外图像的边缘提取。

公开号为CN112288758A专利申请公开一种电力设备红外与可见光图像配准方法，该方法首先分别对可见光和红外图像进行预处理，而后通过一定方法提取图像的边缘，基于图像的边缘检测出图像特征点，并以特征点为中心，生成图像边缘的直方图统计描述子。再根据这些特征点及其描述子来配准图像。该方法的缺陷为受边缘噪声的影响大，且生成的边缘直方图描述子的描述能力有限，同样受边缘噪声的影响比较大，更难以应对形变较大的图像配准问题。同样，授权公开号为CN110223330B专利申请公开一种可见光和红外图像的配准方法及系统，公开号为CN110428455A的专利申请公开一种可见光图像与远红外图像目标配准方法，其都使用了图像边缘的相似性或者由其生成的直方图统计描述子来进行图像的配准，这些方法均存在上述缺陷。

(2)基于参数搜索寻优和图像相似性度量结合的图像配准方法。该方法根据图像间的相似性度量准则来寻找使图像对齐的最佳变换参数，由于该方法使用的是搜索算法，运算复杂度高，只能在较小的参数范围内搜索，所以往往无法直接用于图像配准工作，常和其它方法结合作为精配准方法来使用。该方法最为关键的步骤是设计图像间的相似性度量函数。

公开号为CN110969669A专利申请公开“基于互信息配准的可见光与红外相机联合标定方法”，该方法联合基于图像点邻域互信息的点匹配方法和相机的内外参来进行双目立体校正，该方法实际上已经严格限制了可见光与红外图像配准的应用范围，且红外与可见光图像间的互信息并不是一种很好的相似性度量函数，它的收敛性和准确度并不高。公开号为CN111583315A的中国专利申请公开了一种新的可见光图像和红外图像配准方法及装置，其使用边缘的重合度作为图像间的相似性度量，使用边缘作为相似性度量，其收敛性很差，非常依赖于边缘的提取效果。

(3)基于关键区域提取的图像配准方法。由于多源图像配准问题的困难性，复杂场景多源图像的配准问题更加难以解决，由此，该方法只选择图像中比较关键的区域进行图像配准，有的方法采用了人为选取关键区域的方法，有的方法采用了关键区域提取算法来提取图像的关键区域。该方法实际上是一种对于困难的多源图像配准问题的折中方法，它不能从根本上解决多源图像配准的难题，依赖于关键区域提取算法的效果。

公开号为CN102855621A的中国专利申请公开了一种基于显著性区域分析的红外与可见光遥感图像配准方法，根据经纬度信息获取相同尺度和方向的红外与可见光图像，根据特征一致性原则提取红外图像中有利于进行特征匹配的显著性区域。再使用SIFT特征点计算特征描述子进行图像配准。公开号为CN103714548A的中国专利申请公开了基于视觉注意的红外图像与可见光图像配准方法，其提取图像显著性区域并对其进行基于互相关相似性度量来寻找图像配准参数。这些方法都存在着上述的问题，难以从根本上解决可见光与红外图像配准的问题。

(4)基于图像关键区域的可见光与红外图像配准方法。由于多源图像配准问题的困难性，复杂场景多源图像的配准问题更加难以解决，由此，该方法只选择图像中比较关键的区域进行图像配准，有的方法采用了人为选取关键区域的方法，有的方法采用了关键区域提取算法来提取图像的关键区域。该方法实际上是一种对于困难的多源图像配准问题的折中方法，它不能从根本上解决多源图像配准的难题，依赖于关键区域提取算法的效果。

因此，现有技术中关于红外与可见光图像配准存在多种不足，需要开发一种新型的一种可见光与红外图像配准方法，以克服现有技术的缺陷。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，通过设计出新颖独特的处理方法，可以自动实现红外与可见光图像的亚像素对齐的功能，算法智能，实现方便，应用范围广。

为实现上述目的，本发明提供了一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其包括如下步骤：

S1：分别对可见光与红外图像进行DoG(DoG简称高斯差分金字塔)特征检测，检测出图像斑点特征的位置信息和尺度信息，

S2：计算可见光图像与红外图像在多尺度空间下的一阶梯度幅值和幅角，

S3：对红外图像一阶梯度幅值进行去噪和限制对比度自适应直方图均衡化处理，

S4：分别对处理后的红外图像一阶梯度幅值和可见光图像一阶梯度幅值求取二阶梯度，

S5：使用SIFT或GLOH直方图统计特征描述方法，根据上述过程求得红外与可见光图像二阶梯度生成特征点的特征描述子，

S6：根据特征描述信息进行特征点匹配，通过匹配的特征点计算出图像几何变换模型参数H。

进一步的，步骤S6中，根据特征点描述信息进行特征点初始匹配，采用RANSAC算法去除误匹配，通过匹配的特征点计算处图像几何变换模型参数H。

进一步的，步骤S1中，进行DoG特征检测时，DoG算子是通过不同方差的高斯算子做差值形成，斑点检测过程是使用不同方差的DoG算子与图像相卷积形成图像高斯差分多尺度层、然后同时在尺度空间和位置空间寻找极值的过程，图像高斯差分多尺度层能直接通过图像高斯多尺度层相减得到。

进一步的，步骤S1具体包括如下子步骤：

S11：使用不同方差的高斯核与图像进行卷积得到图像高斯多尺度层，

S12：将步骤S11获得的图像高斯多尺度层的相邻层相减，得到图像高斯差分多尺度层，图像高斯差分多尺度层为三维数据，

S13：对图像高斯差分多尺度层这一三维数据进行空间取极值，保留极值存在的尺度δ和位置(x,y)作为斑点的尺度信息和位置信息。

进一步的，步骤S5包括如下子步骤：

S51：对于已经检测到的特征点，可知该特征点的特征尺度值，根据这一尺度值，得到其高斯平滑图像L(x,y,σ)：

其中，G(x,y,σ)是指尺度为σ的高斯核函数，I(x,y)是指源图像，x是指图像横坐标，y是指图像纵坐标，

S52：以特征点为中心的区域内图像梯度的幅值和幅角计算公式如下：

其中，L(x,y,σ)代表与方差为σ的高斯核卷积后的图像像素点，m(x,y,σ)代表梯度的幅值，θ(x,y,σ)代表梯度的幅角，其中，x是指图像横坐标，y是指图像纵坐标，

S53：梯度方向直方图将梯度幅角0～360度的范围平均分为36个柱，统计每个幅角范围内所对应的梯度幅值和，直方图的峰值代表该特征点处邻域内图像梯度的主方向，将该主方向作为特征点的主方向。

进一步的，步骤S5中，SIFT直方图统计特征描述方法中SIFT特征描述子生成的具体实施步骤为：

S54：计算出关键点主方向后将坐标轴旋转为关键点的方向，

S55：根据检测到的斑点特征尺度确定特征描述区域的边长R，把以特征点为中心、边长为R的正方形区域等分为16个子区域，

S56：在上述每个子区域构建8方向的梯度直方图，整个正方形区域共计生成16×8＝128维的特征向量。

进一步的，步骤S5中，GLOH直方图统计特征描述方法中，GLOH特征描述子生成的具体实施步骤为：

S54：计算出关键点主方向后将坐标轴旋转为关键点的方向，

S55：根据检测到的斑点尺度，确定特征点邻域范围，在极坐标系下划分特征点邻域区域，把其邻域区域划分为如图所示的17个子区域，

S56：在上述每个子区域构建16方向的梯度直方图，整个正方形区域共计生成17×16＝272维的特征向量，

S57：对上述生成的272维特征向量进行PCA降维，经过降维得到128维特征向量。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

目前，各种场景信息分析系统对多源信息融合的需求越来越大，但多源图像的配准却是一个难以解决的问题，尤其对于可见光和红外图像的配准问题，目前缺乏一种鲁棒性很强配准方法，由此，本发明申请提供一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法。

本发明采用了红外图像梯度特征表示方法，该方法提取红外图像的一阶梯度特征，并对红外图像的一阶梯度幅值进行限制对比度自适应均衡化(简称：CLAHE)处理，使得红外图像梯度幅值更接近可将光图像梯度幅值，可以更好的适用于红外和可见光这两种模态图像的信息匹配。

此外，本发明采用了可以减少异质图像间灰度信息非线性关系干扰的直方图特征描述方法，即为，对红外图像的一阶梯度幅值进行CLAHE处理，然后求取处理后的梯度幅值图像的梯度得到红外图像的二阶梯度。求取可见光图像的一阶梯度幅值的梯度得到可见光图像的二阶梯度，用SIFT或GLOH直方图特征描述方法来生成上述二阶梯度的特征描述子。

进一步的，本发明采用了可见光与红外图像的二阶梯度特征表示方法，即分别对可见光图像的梯度幅值和经过CLAHE处理的红外图像的梯度幅值求取二阶梯度，这种二阶梯度特征保留了可见光与红外图像中的大量信息，又在一定程度上消除了两类图像中存在的非线性差异性信息。

本发明的图像配准方法可以实现红外与可见光图像亚像素级对齐，为后续的多模态图像融合等图像处理工作提供了先决条件。本发明的图像配准方法实际上是提供了一种红外与可见光图像的相似的模式表示方法，也可以作为红外与可将光图像的一种相似性度量方法。本发明方法可以自动实现红外与可见光图像的配准，实现方便，算法智能，该方法还可以推广到其它异质图像配准问题中，适用的场景范围广，具备较高的实用性。

附图说明

图1是本发明实施例提供的红外与可见光图像自适应均衡化二阶梯度直方图描述与匹配的主要流程示意图；

图2是本发明实施例提供的DoG算子的形成和斑点检测过程示意图；

图3是本发明实施例提供的图像梯度统计直方图和特征点主方向的计算过程示意图；

图4是本发明实施例提供的SIFT与GLOH特征描述向量的生成过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

目前的特征匹配方法大都针对于同质图像，特征描述子的设计目的一般都是精确描述图像局部区域的像素信息特性，如SIFT、SURF、ORB特征提取和描述方法。这些方法应用于同质图像的配准对齐问题现已比较成熟。然而，异质图像间的灰度信息存在非线性差异，所以反应同一场景相同位置的图像局部区域生成的特征描述算子会有较大差异。针对可见光与红外图像间的灰度信息非线性差异问题，本发明提出了一种基于自适应均衡化二阶梯度直方图的特征描述方法

图1显示了红外与可见光图像自适应均衡化二阶梯度直方图描述与匹配的主体流程，具体实施步骤为：

1、分别对可见光与红外图像进行DoG(高斯差分金字塔)特征检测，检测出图像斑点特征的位置信息和尺度信息；

2、计算可见光图像与红外图像在多尺度空间下的一阶梯度幅角

和一阶梯度幅值

3、对

进行去噪和限制对比度自适应直方图均衡化处理得到

4、分别提取

和

的梯度得到

和

5、根据提取到的特征点信息和

计算特征主方向；

6、使用SIFT或GLOH直方图统计特征描述方法，根据提取到的特征点信息和

分别生成可见光图像与红外图像的特征点描述信息；

7、根据特征点描述信息进行特征点初始匹配；

8、采用RANSAC算法去除误匹配，计算几何变换模型参数H。

图2是本发明实施例提供的DoG算子的形成和斑点检测过程示意图，由图可知，DoG算子是通过不同方差的高斯算子做差值形成，斑点检测过程是使用不同方差的DoG算子与图像相卷积形成图像高斯差分多尺度层，然后同时在尺度空间和位置空间寻找极值的过程。高斯差分多尺度层可以直接通过图像高斯多尺度层相减得到，具体实施步骤为：

1、使用不同方差的高斯核与图像进行卷积得到图像高斯多尺度层。

2、得到的图像高斯多尺度层相邻层相减，得到图像高斯差分多尺度层。

3、对图像高斯差分多尺度层这一三维数据空间取极值，保留极值存在的尺度δ和位置(x,y)作为斑点的尺度信息和位置信息。

图3是本发明实施例提供的图像梯度统计直方图和特征点主方向的计算过程示意图，由图可知，图左侧为图像部分区域的梯度示意图，其中一个小方格代表图像中的一个像素点，一个黑色箭头代表该像素点位置的梯度，包含了幅值和方向，对这个图像区域的梯度信息进行统计，形成梯度统计直方图，具体实施步骤为：

1、对于已经检测到的特征点，可知该特征点的特征尺度值，根据这一尺度值，得到其高斯平滑图像L(x,y,σ)，

其中，G(x,y,σ)是指尺度为σ的高斯核函数，I(x,y)是指源图像，x是指图像横坐标，y是指图像纵坐标。

2、以特征点为中心的区域内图像梯度的幅值和幅角计算公式如下：

其中，L(x,y,σ)代表与方差为σ的高斯核卷积后的图像像素点，m(x,y,σ)代表梯度的幅值，θ(x,y,σ)代表梯度的幅角，其中，x,y代表图像横纵坐标值。

3、梯度方向直方图将梯度幅角0～360度的范围平均分为36个柱(bins)，平均每10度一个柱，统计每个幅角范围内所对应的梯度幅值和，直方图的峰值代表该特征点处邻域内图像梯度的主方向，将该主方向作为特征点的主方向。

图4是本发明实施例提供的SIFT与GLOH特征描述向量的生成过程示意图，由图可知，计算出关键点主方向后将坐标轴旋转为关键点的方向，然后统计旋转后区域的梯度值，一般的方式是把特征区域划分为多个子区域，在每个子区域内统计梯度方向直方图，不同的特征描述方法所划分子区域的方式也有所不同。SIFT特征描述方法在笛卡尔坐标系下划分特征描述子区域，GLOH特征描述方法在极坐标系下划分特征描述子区域。SIFT特征描述子生成的具体实施步骤为：

(1)计算出关键点主方向后将坐标轴旋转为关键点的方向

(2)根据检测到的斑点特征尺度确定特征描述区域的边长R，把以特征点为中心边长为R的正方形区域等分为16个子区域。

(3)在上述每个子区域构建8方向的梯度直方图，整个正方形区域共计生成16×8＝128维的特征向量。

GLOH特征描述子生成的具体实施步骤为：

1、计算出关键点主方向后将坐标轴旋转为关键点的方向

2、如图4所示，根据检测到的斑点尺度，确定特征点邻域范围，在极坐标系下划分特征点邻域区域，把其邻域区域划分为如图所示的17个子区域

3、在上述每个子区域构建16方向的梯度直方图，整个正方形区域共计生成17×16＝272维的特征向量。

4、对上述生成的272维特征向量进行PCA降维，经过降维得到128维特征向量。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，其包括如下步骤：

S1：分别对可见光与红外图像进行DoG特征检测，检测出图像斑点特征的位置信息和尺度信息，

S2：计算可见光图像与红外图像在多尺度空间下的一阶梯度幅值和幅角，

S3：对红外图像一阶梯度幅值进行去噪和限制对比度自适应直方图均衡化处理，

S4：分别对处理后的红外图像一阶梯度幅值和可见光图像一阶梯度幅值求取二阶梯度，

S5：使用SIFT或GLOH直方图统计特征描述方法，根据上述过程求得红外与可见光图像二阶梯度生成特征点的特征描述子，

S6：根据特征描述信息进行特征点匹配，通过匹配的特征点计算出图像几何变换模型参数H。

2.如权利要求1所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S6中，根据特征点描述信息进行特征点初始匹配，采用RANSAC算法去除误匹配，通过匹配的特征点计算处图像几何变换模型参数H。

3.如权利要求2所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S1中，进行DoG特征检测时，DoG算子是通过不同方差的高斯算子做差值形成，斑点检测过程是使用不同方差的DoG算子与图像相卷积形成图像高斯差分多尺度层、然后同时在尺度空间和位置空间寻找极值的过程，图像高斯差分多尺度层能直接通过图像高斯多尺度层相减得到。

4.如权利要求3所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S1具体包括如下子步骤：

S11：使用不同方差的高斯核与图像进行卷积得到图像高斯多尺度层，

S12：将步骤S11获得的图像高斯多尺度层的相邻层相减，得到图像高斯差分多尺度层，图像高斯差分多尺度层为三维数据，

S13：对图像高斯差分多尺度层这一三维数据进行空间取极值，保留极值存在的尺度δ和位置(x,y)作为斑点的尺度信息和位置信息。

5.如权利要求4所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S5包括如下子步骤：

S51：对于已经检测到的特征点，可知该特征点的特征尺度值，根据这一尺度值，得到其高斯平滑图像L(x,y,σ)：

其中，G(x,y,σ)是指尺度为σ的高斯核函数，I(x,y)是指源图像，x是指图像横坐标，y是指图像纵坐标，

S52：以特征点为中心的区域内图像梯度的幅值和幅角计算公式如下：

其中，L(x,y,σ)代表与方差为σ的高斯核卷积后的图像像素点，m(x,y,σ)代表梯度的幅值，θ(x,y,σ)代表梯度的幅角，其中，x是指图像横坐标，y是指图像纵坐标，

S53：梯度方向直方图将梯度幅角0～360度的范围平均分为36个柱，统计每个幅角范围内所对应的梯度幅值和，直方图的峰值代表该特征点处邻域内图像梯度的主方向，将该主方向作为特征点的主方向。

6.如权利要求5所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S5中，SIFT直方图统计特征描述方法中SIFT特征描述子生成的具体实施步骤为：

S54：计算出关键点主方向后将坐标轴旋转为关键点的方向，

S55：根据检测到的斑点特征尺度确定特征描述区域的边长R，把以特征点为中心、边长为R的正方形区域等分为16个子区域，

S56：在上述每个子区域构建8方向的梯度直方图，整个正方形区域共计生成16×8＝128维的特征向量。

7.如权利要求5所述的一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法，其特征在于，步骤S5中，GLOH直方图统计特征描述方法中，GLOH特征描述子生成的具体实施步骤为：

S54：计算出关键点主方向后将坐标轴旋转为关键点的方向，

S55：根据检测到的斑点尺度，确定特征点邻域范围，在极坐标系下划分特征点邻域区域，把其邻域区域划分为如图所示的17个子区域，

S56：在上述每个子区域构建16方向的梯度直方图，整个正方形区域共计生成17×16＝272维的特征向量，

S57：对上述生成的272维特征向量进行PCA降维，经过降维得到128维特征向量。

Images