CN109858527A - 一种图像融合方法 - Google Patents

Abstract

本发明提供了一种图像融合方法，其中所述方法包括：预处理原始图像；基于所述预处理得到的图像进行特征点检测；基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；对所述图像集合中的图像进行相机参数估计；基于所述相机参数估计，对图像进行波形校正和拼接；基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。通过本发明的图像融合方法得到的融合图像的鲁棒性更高、精度更好，并且计算速度更快。

Description

一种图像融合方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像融合方法。

背景技术

近年来，视频监控系统已经成为轨道交通车辆段必不可少的一种管理手段，管理人员不需要亲临现场就能掌握大量现场信息，减少了许多人力和物力的开销。通过监控系统可以提高管理和监督的效果，同时降低事故发生概率，保证轨道交通正常稳定运行。

但是，现有视频监控系统在视频融合展示方面具有关键检测区域的视频监控视角小、视野范围狭窄等缺点，无法满足全部监控需求。目前，部分研究人员引入sift方法来解决现有视频监控系统上述问题，sift方法具有较低的鲁棒性、精度也较差、计算速度较慢等缺点，现有技术中相关技术问题依然丞待解决。

发明内容

为解决上述现有技术中的技术问题，本发明提出一种图像融合方法。

一种图像融合方法，所述方法包括：

预处理原始图像；

基于所述预处理得到的图像进行特征点检测；

基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；

基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；

对所述图像集合中的图像进行相机参数估计；

基于所述相机参数估计，对图像进行波形校正和拼接；

基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。

进一步地，所述预处理原始图像包括对原始图像进行平滑、中值滤波、边缘检测和梯度算子中至少一种预处理。

进一步地，所述基于预处理图像进行特征点检测包括:

构建图像的黑塞矩阵，生成所有的兴趣点；

构建图像的尺度空间，尺度空间由O组L层组成，同一组间不同层间图像使用相同尺寸的滤波器，该滤波器的模糊系数逐渐增大，不同组间图像的尺寸都是一致的，但不同组间图像使用的盒式滤波器的模板尺寸逐渐增大；

进行图像特征点定位，将经过黑塞矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；

确定特征点主方向分配，在特征点的圆形邻域内，统计60度扇形内所有点的水平方向和垂直方向的harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征总和，将特征值最大的扇形的方向作为该特征点的主方向；

生成特征点描述子，在特征点周围取一个4*4的矩形区域块，所取矩形区域方向沿特征点的主方向，每块矩形区域内统计25个像素的harr小波特征；

特征点匹配，计算图像中两个特征点间的欧式距离，并判断两个特征点间的黑塞矩阵迹。

进一步地，在所述生成特征点描述子中，矩形区域中像素的harr小波特征包括相对于所述特征点主方向的水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向的harr小波特征。

进一步地，在所述特征点匹配中，两个特征点的黑塞矩阵迹的正负号相同，两个特征点具有相同方向上的对比度变化，欧氏距离越短，两个特征点的匹配度越好；两个特征点的黑塞矩阵迹的正负号不同，两个特征点的对比度变化方向相反，直接排除匹配。

进一步地，在所述基于特征点对图像进行匹配并计算任意两个图像间图像匹配组合的置信度中，采用RANSAC算法对图像变换矩阵进行求解，使用最近邻方法和次近邻方法对图像的特征点进行匹配，保存两个图像间具有最优置信度的图像匹配组合。

进一步地，所述基于所述置信度对所有图像匹配组合进行排序并将置信度高的图像匹配组合保存到同一图像集合包括：预先设定一个阈值N，N≥0.6，将置信度高于阈值的图像匹配组合保存到同一图像集合中，删除置信度低的图像匹配组合。

进一步地，所述对图像集合中的图像进行相机参数估计包括估计相机内部参数和相机外部参数，其中，所述相机内部参数包括相机焦距f，图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数u₀和图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数v₀；所述相机外部参数包括旋转矩阵R和平移向量T。

进一步地，所述基于相机参数的估计对图像进行波形校正和拼接，其中，所述波形校正包括通过得到图像的上升向量u，再将上升向量u进行整体旋转，其中，n为图像数量，X为一张图像的相机参数中水平轴上的一个向量，X^T为X向量的转置向量，u为上升向量；所述拼接包括根据图像间变换矩阵H对相应图像进行变换，确定图像间的重叠区域，并将待融和图像映射转换坐标系到一幅新的空白图像中，形成拼接图像。

进一步地，所述多波段融合的算法步骤包括：

计算所有输入图像的高斯金字塔；

基于高斯金字塔，计算所有输入图像的拉普拉斯金字塔；

将所有输入图像中处于同一级的拉普拉斯金字塔进行融合，并计算融合图像的拉普拉斯金字塔；

将融合图像中的高层拉普拉斯金字塔依次扩展，直至和融合图像的底层拉普拉斯金字塔的分辨率相同；

将融合图像扩展后得到的多层图像依次叠加，得到输出图像。

本发明首先预处理原始图像；然后基于所述预处理得到的图像进行特征点检测；再基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；对所述图像集合中的图像进行相机参数估计；基于所述相机参数估计，对图像进行波形校正和拼接；最后基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。与现有技术相比，通过本发明的图像融合方法得到的融合图像的鲁棒性更高、精度更好，并且计算速度更快。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的一种图像融合方法的流程示意图；

图2示出了根据本发明实施例中图像特征点检测的流程示意图；

图3示出了根据本发明实施例中图像多波段融合算法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明实施例的一种图像融合方法的流程示意图。如图所示，本发明实施例首先需要预处理原始图像；然后基于所述预处理得到的图像进行特征点检测；再基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；对所述图像集合中的图像进行相机参数估计；基于所述相机参数估计，对图像进行波形校正和拼接；最后基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。

其中，预处理原始图像包括对原始图像进行平滑、中值滤波、边缘检测和梯度算子等处理，用于消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和简化数据，从而提高后续对图像进行特征点检测、匹配和图像融合的可靠性。

图2示出了根据本发明实施例中图像特征点检测的流程示意图，其中，图像的特征点是指图像中具有鲜明特性并能够有效反映图像本质特征，能够标识图像中目标物体的点，图像的特征点在基于特征点的图像匹配算法中有着十分重要的作用，通过特征点的匹配能够完成图像的匹配。如图所示，本发明实施例图像特征点检测算法的具体步骤如下：

步骤一：构建图像黑塞矩阵，生成所有的兴趣点，用于后续步骤的图像特征点的提取；

步骤二：构建图像尺度空间。该尺度空间是由O组L层组成。在传统图像融合技术特征点检测主要采用的sift算法中，下一组图像的尺寸是上一组的一半，同一组间图像尺寸一样，但是所使用的高斯模糊系数逐渐增大；而在本发明实施例的图像特征点检测算法中，同一组间不同层间使用相同尺寸的滤波器，该滤波器的模糊系数逐渐增大，不同组间图像的尺寸都是一致的，但不同组间图像使用的盒式滤波器的模板尺寸逐渐增大；

步骤三：进行图像特征点定位。本发明实施例中定位图像特征点的方法和sift算法中定位图像特征点的方法保持一致，都是将经过黑塞矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；

步骤四：确定特征点主方向分配。与sift算法确定特征点方向分配的方法不同，在本发明实施例图像特征点检测算法中采用统计特征点圆形邻域内的harr小波特征来确定特征点主方向分配，即在特征点的圆形邻域内，统计60度扇形内所有点的水平方向和垂直方向的harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，然后将特征值最大的扇形的方向作为该特征点的主方向；

步骤五：生成特征点描述子。本发明实施例图像特征点检测算法是在特征点周围取一个4*4的矩形区域块，所取得矩形区域方向是沿特征点的主方向，每块矩形区域内统计25个像素的水平方向和垂直方向的harr小波特征。需要说明的是，这里的水平方向和垂直方向都是相对特征点主方向而言的，并且该harr小波特征为相对于所述特征点主方向的水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向的harr小波特征；

步骤六：特征点匹配。本发明实施例图像特征点检测算法是通过计算图像中两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好；不同于sift算法，本发明实施例的图像特征点检测算法在特征点匹配过程中还加入了黑塞矩阵迹的判断，包括对特征点的黑塞矩阵迹进行计算判断，如果两个特征点的矩阵迹的正负号相同，代表这两个特征具有相同方向上的对比度变化，再结合欧氏距离判断特征点间的匹配度；如果两个特征点的矩阵迹的正负号不同，说明这两个特征点的对比度变化方向是相反的，即使此时两个特征点欧氏距离为0，也直接予以排除，不对这两个特征点进行匹配。综合上述步骤，与现有的图像融合技术中特征点检测sift算法相比，图像特征点检测算法提高了图像融合的鲁棒性、精度和计算速度。

检测图像特征点完成后，本发明实施例使用最近邻方法和次近邻方法对图像特征点进行匹配，并计算任意两个图像间图像匹配组合的置信度，保存两个图像间具有最优置信度的图像匹配组合；其中，采用RANSAC算法对图像变换矩阵进行求解，提高了图像匹配的精度。

然后基于图像匹配组合的置信度对所有图像匹配组合进行排序，置信度区间为0到1.0之间，预先设定一个阈值N，优选的，N≥0.6。将置信度高于阈值N的图像匹配组合保存到同一图像集合中，并删除置信度低于阈值N的图像间的匹配组合，排除错误的匹配组合，保证在图像集合的图像能进行正确匹配。

对图像集合中的图像进行相机参数估计，图像的相机参数包括相机内部参数和相机外部参数。相机内部参数包括：相机焦距f、图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数u₀和图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数v₀。其中，相机焦距f包括f_x和f_y，f_x为所拍摄物体到相机距离乘以物体在图像中横向宽度除物体实际宽度，f_y为所拍摄物体到相机距离乘以物体在图像中纵向高度除物体实际高度；相机外部参数包括：旋转矩阵R和平移向量T。其中，相机在空间内X轴、Y轴和Z轴三个轴的旋转参数分别是w、δ和θ，把每个轴的3*3旋转矩阵进行组合，即矩阵之间相乘得到集合相机三个轴旋转信息的旋转矩阵R，其大小是3*3；相机的平移向量T包括相机空间内X轴、Y轴和Z轴三个轴的平移参数T_x、T_y和T_z。

得到图像的相机参数估计结果后，再对图像进行波形校正和拼接。为了修正拼接后图像可能存在的水平方向上的波状效应，需要对图像进行波形校正，波形校正包括：寻找图像的上升向量u，通常情况下图像的相机参数水平轴X向量位于一个平面，通过找到X向量的协方差矩阵的零向量，就可找到上升向量u，即通过得出上升向量u，再将这个垂直X向量的u向量进行整体旋转，便能有效消除图像融合后的波状效应，其中，n为图像数量，X为一张图像的相机参数水平轴上的一个向量，X^T为X向量的转置向量，u为上升向量。实际算法中使用OpenCV中的wave_correct函数进行波形校正计算；完成图像波形校正后，需要对图像进行拼接。其中，求解变换矩阵H是图像拼接配准的核心，变换矩阵H的计算方法如下：首先检测图像中特征点，然后计算特征点之间的匹配和图像间变换矩阵的初始值，接着迭代精炼变换矩阵，再进行引导匹配，即用估计的变换矩阵去定义对极线附近的搜索区域，进一步确定特征点的对应，最后重复迭代精炼和引导匹配，直至对应点的数目稳定为止。获得变换矩阵H后，根据图像间变换矩阵H对相应图像进行变换，确定图像间的重叠区域，并将待融合图像映射转换坐标系到一幅新的空白图像中，从而形成拼接图像，并能保证拼接图像真实可靠、误差小。

最后基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。其中，多波段融合的基本思想是图像可以分解为不同频率的图像的叠加，类似于傅里叶变换，在不同的频率上，应该使用不同的权重来进行融合。在低频部分应该使用波长较宽的加权信号，例如：高斯核函数中σ比较大，其中，σ为函数的宽度参数,控制了函数的径向作用范围；在高频部分应该使用较窄的加权信号，例如：高斯核函数的σ比较小。图3示出了根据本发明实施例中图像多波段融合算法的流程示意图。如图所示，所述多波段融合的算法步骤包括：计算所有输入图像的高斯金字塔；通过高斯金字塔，计算所有输入图像的拉普拉斯金字塔；然后将所有输入图像中处于同一级的拉普拉斯金字塔进行融合，并计算融合图像的拉普拉斯金字塔；再将融合图像中的高层拉普拉斯金字塔依次扩展，直至和融合图像的底层拉普拉斯金字塔的分辨率相同；将融合图像扩展后得到的多层图像依次叠加，得到输出图像。其中，可以将拉普拉斯金字塔理解为高斯金字塔的逆形式。

示例性的，对输入图像A和B进行多波段融合，步骤如下：

步骤一：计算输入图像的高斯金字塔，记为GA0,GA1,…,GAn和GB0,GB1,…,GBn；

步骤二：基于高斯金字塔，计算所有输入图像的拉普拉斯金字塔，记为LA0,LA1,…,LAn和LB0,LB1,…,LBn；

步骤三：将A图像和B图像中处于同一级的拉普拉斯金字塔进行融合，例如：A、B位于拼接缝两侧，使用简单的线性融合对A和B进行融合，记融合图像为C，C的拉普拉斯金字塔记为LC0,LC1,…,LCn，其中，LCn通过对LAn和LBn进行简单线性融合得到；

步骤四：将C图像中拉普拉斯金字塔的分辨率由底层往高层依次扩展，直至和LC0相同分辨率，记为LC0,LC10,LC20，…,LCn0；

步骤五：将步骤四中扩展得到的C图像不同层LC0,LC10,LC20，…,LCn0依次叠加，得到最终输出图像C′。

得到了最终输出图像C′之后，再基于输入图像A和输入图像B的亮度和色彩，对图像C′采用Gray World色彩均衡算法或基于参考白的算法进行光照补偿，调整图像C′的亮度和色彩，消除了图像A、B和C′之间的色彩偏差，使得融合图像的展示效果与原始图像相符合。

与现有技术检测图像特征点采用的sift算法相比，本发明实施例在图像融合技术中采用的图像特征点检测算法具有更高的鲁棒性、更好的精度和更快的计算速度；同时，本发明实施例采用多波段融合方法实现了图像间无缝融合和集中展示，扩大了融合图像的视角和范围。

本发明实施例首先预处理原始图像；然后基于所述预处理得到的图像进行特征点检测；再基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；对所述图像集合中的图像进行相机参数估计；基于所述相机参数估计，对图像进行波形校正和拼接；最后基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。与现有技术相比，通过本发明实施例的图像融合方法得到的融合图像的鲁棒性更高、精度更好，并且计算速度更快。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像融合方法，所述方法包括：

预处理原始图像；

基于所述预处理得到的图像进行特征点检测；

基于所述特征点对图像进行匹配，并计算任意两个图像间匹配组合的置信度；

基于所述置信度对所有图像匹配组合进行排序，将置信度高的图像匹配组合保存到同一图像集合；

对所述图像集合中的图像进行相机参数估计；

基于所述相机参数估计，对图像进行波形校正和拼接；

基于所述波形校正和拼接图像进行多波段融合，并对融合后的输出图像进行光照补偿。

2.根据权利要求1所述的图像融合方法，其特征在于，所述预处理原始图像包括：对原始图像进行平滑、中值滤波、边缘检测和梯度算子中至少一种预处理。

3.根据权利要求1所述的图像融合方法，其特征在于，所述基于预处理图像进行特征点检测包括:

构建图像的黑塞矩阵，生成所有的兴趣点；

构建图像的尺度空间，尺度空间由O组L层组成，同一组间不同层间图像使用相同尺寸的滤波器，该滤波器的模糊系数逐渐增大，不同组间图像的尺寸都是一致的，但不同组间图像使用的盒式滤波器的模板尺寸逐渐增大；

进行图像特征点定位，将经过黑塞矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；

确定特征点主方向分配，在特征点的圆形邻域内，统计60度扇形内所有点的水平方向和垂直方向的harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征总和，将特征值最大的扇形的方向作为该特征点的主方向；

生成特征点描述子，在特征点周围取一个4*4的矩形区域块，所取矩形区域方向沿特征点的主方向，每块矩形区域内统计25个像素的harr小波特征；

特征点匹配，计算图像中两个特征点间的欧式距离，并判断两个特征点间的黑塞矩阵迹。

4.根据权利要求3所述的图像融合方法，其特征在于，在所述生成特征点描述子中，矩形区域中像素的harr小波特征包括相对于所述特征点主方向的水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向的harr小波特征。

5.根据权利要求3所述的图像融合方法，其特征在于，在所述特征点匹配中，

两个特征点的黑塞矩阵迹的正负号相同，两个特征点具有相同方向上的对比度变化，欧氏距离越短，两个特征点的匹配度越好；

两个特征点的黑塞矩阵迹的正负号不同，两个特征点的对比度变化方向相反，直接排除匹配。

6.根据权利要求1所述的图像融合方法，其特征在于，在所述基于特征点对图像进行匹配并计算任意两个图像间图像匹配组合的置信度中，采用RANSAC算法对图像变换矩阵进行求解，使用最近邻方法和次近邻方法对图像的特征点进行匹配，保存两个图像间具有最优置信度的图像匹配组合。

7.根据权利要求1所述的图像融合方法，其特征在于，所述基于所述置信度对所有图像匹配组合进行排序并将置信度高的图像匹配组合保存到同一图像集合包括：预先设定一个阈值N，N≥0.6，将置信度高于阈值的图像匹配组合保存到同一图像集合中，删除置信度低的图像匹配组合。

8.根据权利要求1所述的图像融合方法，其特征在于，所述对图像集合中的图像进行相机参数估计包括估计相机内部参数和相机外部参数，其中，

所述相机内部参数包括相机焦距f，图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数u₀和图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数v₀；

所述相机外部参数包括旋转矩阵R和平移向量T。

9.根据权利要求1所述的图像融合方法，其特征在于，所述基于相机参数的估计对图像进行波形校正和拼接，其中，

所述波形校正包括通过得到图像的上升向量u，再将上升向量u进行整体旋转，其中，n为图像数量，X为一张图像的相机参数中水平轴上的一个向量，X^T为X向量的转置向量，u为上升向量；

所述拼接包括根据图像间变换矩阵H对相应图像进行变换，确定图像间的重叠区域，并将待融和图像映射转换坐标系到一幅新的空白图像中，形成拼接图像。

10.根据权利要求1所述的图像融合方法，其特征在于，所述多波段融合的算法步骤包括：

计算所有输入图像的高斯金字塔；

基于高斯金字塔，计算所有输入图像的拉普拉斯金字塔；

将所有输入图像中处于同一级的拉普拉斯金字塔进行融合，并计算融合图像的拉普拉斯金字塔；

将融合图像中的高层拉普拉斯金字塔依次扩展，直至和融合图像的底层拉普拉斯金字塔的分辨率相同；

将融合图像扩展后得到的多层图像依次叠加，得到输出图像。