CN113095358A - 一种图像融合方法及系统 - Google Patents

Abstract

本发明提供了一种图像融合方法及系统，属于目标检测技术领域，本发明提供的一种图像融合方法，首先获取待融合图像，然后将待融合图像输入到多个卷积神经网络层中，在卷积神经网络提取目标特征过程中，将所有层的输出进行拼接馈送至下一层，使得每一层之间相关信息得到补充，增强语义信息表征能力的同时增强特征图的分辨率，显著提高对目标物体的预测精度。本发明还提供了一种图像融合系统，通过利用特征融合模块对待融合图像进行特征提取可以扩展了时间以及空间上的观测范围，增强了数据的可信任度以及网络分辨能力，加强了待融合图像特征的传播，更有效的利用了特征，增强了图像信息的利用效率，提升了图像的检测识别能力。

Description

一种图像融合方法及系统

技术领域

本发明属于目标检测技术领域，更具体地说，是涉及一种图像融合方法及系统。

背景技术

在图像信息处理过程中，图像融合是其重要组成部分，它能够同时利用在同一场景获取的多种传感器图像信息，将其结合并输出一幅更适合于计算机处理与分析的融合图像。它可以明显的改善同一场景中单一传感器获取图像信息的不足，在提高结果图像的清晰度的同时提高图像信息包含量，更加有利于获取更为准确、可靠以及全面的目标信息，因此，对图像融合进行研究具有重要意义。

融合图像的过程在不同的层次上进行可以分为像素级融合，特征级融合以及决策级融合三种。

对于像素级融合，是由Burt最早提出基于拉普拉斯金字塔变换的融合方法。该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合,实际上该方法是选取了局部亮度差异较大的点。这一过程粗略地模拟了人眼双目观察事物的过程。用拉普拉斯金字塔得到的融合图像不能很好地满足人类的视觉心理。在图像融合领域中,比率低通金字塔和最大值原则被用于可见光和红外图像的融合。比率低通金字塔虽然符合人眼的视觉特征,但由于噪声的局部对比度一般都较大,基于比率低通金字塔的融合算法对噪声比较敏感,且不稳定。为了解决这一问题，Burt等人提出了基于梯度金字塔变换的融合方法, 该方法采用了匹配与显著性测度的融合规则。Richard等人给出了以上三种金字塔用于图像融合的定性和定量的结果。另外,Baron和Thomas提出一种基于纹理单元的金字塔算法，它在每层图像中采用24个纹理滤波器以获取不同方向的细节信息。与梯度金字塔算法相比，它能够提取出更多的细节信息。但像素级图像融合的局限性也非常明显，由于它是对像素点进行处理的，因此计算机需要对大量数据进行操作，消耗的时间会比较长，不能够及时地将融合后的图像显示出来，无法实现图像的实时处理；此外在进行数据通信时，由于融合后的图像信息量较大，很容易受到噪声的干扰。

特征级图像融合是从源图像中将特征信息提取出来，这些特征信息是观察者对源图像中目标或感兴趣的区域，如边缘、人物、建筑或车辆等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。对融合后的特征进行目标识别的精确度明显的高于原始图像的精确度。特征级融合对图像信息进行了压缩，再用计算机进行分析与处理时，所消耗的内存和时间与像素级融合相比都会减少，所需图像的实时性就会有所提高。特征级图像融合对图像匹配的精确度的要求没有第一层那么高，计算速度也比第一层快，可是它提取图像特征作为融合信息，所以会丢掉很多的细节性特征。

决策级图像融合是以认知为基础的方法，它不仅是最高层次的图像融合方法，抽象等级也是最高的。决策级图像融合是有针对性的，根据所提问题的具体要求，将来自特征级图像所得到的特征信息加以利用，然后根据一定的准则以及每个决策的可信度(目标存在的概率)直接作出最优决策。三个融合层级中，决策级图像融合的计算量是最小的，可是这种方法对前一个层级有很强的依赖性，得到的图像与前两种融合方法相比不是很清晰。并且将决策级图像融合实现起来比较困难。

由此可见，现有的像素级融合方法具有计算量大，消耗时间长，无法实现图像的实时处理的缺点，而特征级融合在融合过程中会丢失很多细节性特征；决策级融合实现起来比较困难，并且融合后图像并不清晰。

发明内容

本发明的目的在于提供一种图像融合方法及系统，旨在解决现有图像融合方法在对图像信号进行融合处理时，计算量大，消耗时间长，在融合过程中会丢失很多细节性特征，且融合后图像清晰度不高的问题。

为实现上述目的，本发明采用的技术方案是：一种图像融合方法，包括：

步骤1：获取待融合图像；

步骤2：将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；

步骤3：根据多个所述联合特征图对目标物体进行预测。

优选的，所述卷积神经网络层包括：卷积层和池化层。

优选的，在所述步骤1：获取待融合图像，之前还包括：

获取图像数据；所述图像数据包括：相机图像、热红外线图像、遥感影像、全息照片、超声图像和X光图像中的至少两种或者多种；

将所述图像数据的尺寸调节到一致，生成尺寸一致的图像数据；

对所述尺寸一致的图像数据进行预处理，得到所述待融合图像。

优选的，所述图像数据采集的内容为同一场景。

优选的，所述对所述尺寸一致的图像数据进行预处理，得到所述待融合图像，包括：

以每一个所述尺寸一致的图像数据中的每个像素为中心取一个邻域，计算邻域中所有像素的灰度平均值，作为中心像素的输出，得到滤波后的图像数据，其中，中心像素的输出公式为：

其中，G(j,k)表示中心像素，N×N表示邻域，A表示邻域像素组成的点集合，d(m,n)表示邻域上的像素点；

利用二阶算子模型对所述滤波后的图像数据进行锐化处理得到锐化后的图像数据；

对所有所述锐化后的图像数据进行叠加处理生成所述待融合图像。

优选的，所述二阶算子模型为：

其中，g(x,y)表示锐化后的图像数据，f(x,y)表示滤波后的图像数据，α表示调节因子，

优选的，所述对所有所述锐化后的图像数据进行叠加处理生成所述待融合图像，包括：

获取每一个所述锐化后的图像数据上像素点的灰度值；

将所述锐化后的图像数据上相应像素点的灰度值相加，得到相加后的相应像素点的灰度值；

将所述相加后的相应像素点的灰度值与预设系数相乘，得到叠加后的相应像素点的灰度值；

根据所述叠加后的相应像素点的灰度值得到所述待融合图像。

本发明还提供了一种图像融合系统，包括：

待融合图像获取模块，用于获取待融合图像；

特征融合模块，用于将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；

目标物体预测模块，用于根据多个所述联合特征图对目标物体进行预测。

本发明提供的一种图像融合方法及系统的有益效果在于：与现有技术相比，本发明的一种图像融合方法，首先获取待融合图像，然后将待融合图像输入到多个卷积神经网络层中，在卷积神经网络提取目标特征过程中，将所有层的输出进行拼接馈送至下一层，使得每一层之间相关信息得到补充，这样可以在增强语义信息表征能力的同时增强特征图的分辨率以及几何信息的表征能力，可以显著提高对目标物体的预测精度。本发明还提供了一种图像融合系统，包括待融合图像获取模块、特征融合模块和目标物体预测模块；本发明通过利用特征融合模块对待融合图像进行特征提取可以扩展了时间以及空间上的观测范围，增强了数据的可信任度以及网络分辨能力，加强了待融合图像特征的传播，更有效的利用了特征，增强了图像信息的利用效率，提升了图像的检测识别能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像融合方法流程图；

图2为本发明实施例提供的多传感器图像数据融合示意图；

图3为本发明实施例提供的特征层融合原理图；

图4为本发明实施例提供的高低层特征融合示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的目的在于提供一种图像融合方法及系统，针对仅利用单一传感器获取图像信息较少，很容易造成误匹配的现象。为了解决上述问题，利用对不同知识源和传感器采集的信息进行融合，以实现更好的图像观测以及理解。

实施例1：

请参阅图1，现对本发明提供的一种图像融合方法进行说明。一种图像融合方法，包括：

步骤1：获取待融合图像；

在实际应用中，通常利用不同传感器获取同一场景中具有不同图像信息的图像，将它们同时输入到同一神经网络中。不同传感器可以为相机、红外热成像仪、遥感卫星、全息照相机、超声扫描仪和X光成像仪等。其中，待融合图像包括：相机图像、热红外线图像、遥感影像、全息照片、超声图像和X光图像中的至少两种或者多种。

步骤2：将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；所述卷积神经网络层包括：卷积层和池化层；

如图2-3所示，传感器之间的冗余信息增强了系统的可靠性，传感器之间的互补信息扩充了单个图像的信息容量。每种传感器从图像中提取具有代表性的特征，将这些特征融合成单一的特征向量,本发明中采用的高低层特征融合方法由于没有对每个像素点都进行融合，所以计算量相对较小，处理时间较短。当利用神经网络对传感器采集的图像进行检测识别时，低层网络层的分辨率较高，学习到的是图片的一些细节特征，而高层网络层的分辨率低，学习到的更多的是一些语义特征。针对低层和高层网络各自的优缺点，高低层特征融合方法使网络每一层的输入都是前面所有网络层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入，在增强几何细节信息表征能力的同时，增强图像分辨率以及语义信息表征能力，提高检测能力。

在本发明中，利用卷积核对输入图像进行卷积操作，分别得到同一尺寸的不同特征图，并把这些特征图在特征层面上进行融合，得到联合特征。

联合特征通过多个卷积层分别得到不同尺度的特征图(每个卷积层的输入都是基于之前所有卷积层的输出拼接而成的)，由此将低层和高层特征进行融合。高低层特征融合在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来。它在增强几何细节信息表征能力的同时，增强图像分辨率以及语义信息表征能力，也就是说它加强了特征信息在网络层之间的传播，而仅仅增加了少量的参数量。

在卷积神经网络中，假设有L个网络层，那么就会有L个连接，但是在高低层特征融合中，会有L(L+1)/2个连接。简单来说就是每一层的输入来自前面所有层的输出的并集，如图4所示：X0是输入，H1的输入是X0，H2的输入是X0和X1(X1是H1的输出),H3的输入是X0、X1和X2(X2是H2的输出)，以此类推直到最后一层。本发明中将低层和高层特征进行融合缓解了梯度消失的问题，鼓励特征复用，加强了特征传播，使得信息在整个网络中的传播过程中保持地更好，更有效地利用了特征，可以训练识别精度更高的目标检测模型。

步骤3：根据多个所述联合特征图对目标物体进行预测。

本发明提出的一种图像融合方法，首先基于多尺度图像输入可以分别从不同传感器中获取不同的图像信息(如颜色信息，纹理信息等)，来增强图像信息内容。然后在卷积神经网络提取目标特征过程中将所有层的输出进行拼接馈送至下一层，使得每一层之间相关信息得到补充，这样可以在增强语义信息表征能力的同时增强特征图的分辨率以及几何信息的表征能力。最后根据多个所述联合特征图利用SVM分类器对目标物体进行预测，可以显著提高对目标物体的预测精度。

实施例2：

作为本发明的另一种实施方式，本发明在所述步骤1：获取待融合图像，之前还包括：

获取图像数据；所述图像数据采集的内容为同一场景；所述图像数据包括：相机图像、热红外线图像、遥感影像、全息照片、超声图像和X光图像中的至少两种或者多种；

在实际应用中，通常利用不同传感器获取同一场景中具有不同图像信息的图像，将它们同时输入到同一神经网络中。不同传感器可以为相机、红外热成像仪、遥感卫星、全息照相机、超声扫描仪和X光成像仪等。

将所述图像数据的尺寸调节到一致，生成尺寸一致的图像数据；

对所述尺寸一致的图像数据进行预处理，得到所述待融合图像。

具体的，以每一个所述尺寸一致的图像数据中的每个像素为中心取一个邻域，计算邻域中所有像素的灰度平均值，作为中心像素的输出，得到滤波后的图像数据，其中，中心像素的输出公式为：

其中，G(j,k)表示中心像素，N×N表示邻域，A表示邻域像素组成的点集合，d(m,n)表示邻域上的像素点；

本发明通过选取一个邻域，计算邻域中所有像素的灰度平均值，并将其作为中心像素的输出，可以有效消除图像传感器在进行图像采集过程中产生的图像噪声，提高后续目标预测的精度。

利用二阶算子模型对所述滤波后的图像数据进行锐化处理得到锐化后的图像数据；所述二阶算子模型为：

其中，g(x,y)表示锐化后的图像数据，f(x,y)表示滤波后的图像数据，α表示调节因子，

本发明利用二阶算子模型对图像进行图像增强，可以将原来不清晰的图像变得清晰，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果。

对所有所述锐化后的图像数据进行叠加处理生成所述待融合图像。

具体的：

获取每一个所述锐化后的图像数据上像素点的灰度值；

将所述锐化后的图像数据上相应像素点的灰度值相加，得到相加后的相应像素点的灰度值；

将所述相加后的相应像素点的灰度值与预设系数相乘，得到叠加后的相应像素点的灰度值；

根据所述叠加后的相应像素点的灰度值得到所述待融合图像。

本发明通过将锐化后的图像数据上相应像素点的灰度值相加再相乘可以将不同传感器获取的图像特征进行局部强化，方便后续神经网络对图像特征的提取。

本发明还提供了一种图像融合系统，包括：

待融合图像获取模块，用于获取待融合图像；

特征融合模块，用于将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；

目标物体预测模块，用于根据多个所述联合特征图对目标物体进行预测。

本发明提出的一种图像融合方法及系统，首先利用多个传感器获取图像数据，扩展了时间以及空间上的观测范围，增强了数据的可信任度以及网络分辨能力。其次基于卷积神经网络的高低层特征融合，加强了特征的传播，更有效的利用了特征，增强了图像信息的利用效率，提升了图像的检测识别能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像融合方法，其特征在于，包括：

步骤1：获取待融合图像；

步骤2：将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；

步骤3：根据多个所述联合特征图对目标物体进行预测。

2.如权利要求1所述的一种图像融合方法，其特征在于，所述卷积神经网络层包括：卷积层和池化层。

3.如权利要求1所述的一种图像融合方法，其特征在于，在所述步骤1：获取待融合图像，之前还包括：

获取图像数据；所述图像数据包括：相机图像、热红外线图像、遥感影像、全息照片、超声图像和X光图像中的至少两种或者多种；

将所述图像数据的尺寸调节到一致，生成尺寸一致的图像数据；

对所述尺寸一致的图像数据进行预处理，得到所述待融合图像。

4.如权利要求3所述的一种图像融合方法，其特征在于，所述图像数据采集的内容为同一场景。

5.如权利要求3所述的一种图像融合方法，其特征在于，所述对所述尺寸一致的图像数据进行预处理，得到所述待融合图像，包括：

以每一个所述尺寸一致的图像数据中的每个像素为中心取一个邻域，计算邻域中所有像素的灰度平均值，作为中心像素的输出，得到滤波后的图像数据，其中，中心像素的输出公式为：

其中，G(j,k)表示中心像素，N×N表示邻域，A表示邻域像素组成的点集合，d(m,n)表示邻域上的像素点；

利用二阶算子模型对所述滤波后的图像数据进行锐化处理得到锐化后的图像数据；

对所有所述锐化后的图像数据进行叠加处理生成所述待融合图像。

6.如权利要求5所述的一种图像融合方法，其特征在于，所述二阶算子模型为：

g(x,y)＝f(x,y)-α▽²f

其中，g(x,y)表示锐化后的图像数据，f(x,y)表示滤波后的图像数据，α表示调节因子，▽²f＝[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)。

7.如权利要求6所述的一种图像融合方法，其特征在于，所述对所有所述锐化后的图像数据进行叠加处理生成所述待融合图像，包括：

获取每一个所述锐化后的图像数据上像素点的灰度值；

将所述锐化后的图像数据上相应像素点的灰度值相加，得到相加后的相应像素点的灰度值；

将所述相加后的相应像素点的灰度值与预设系数相乘，得到叠加后的相应像素点的灰度值；

根据所述叠加后的相应像素点的灰度值得到所述待融合图像。

8.一种图像融合系统，其特征在于，包括：

待融合图像获取模块，用于获取待融合图像；

特征融合模块，用于将所述待融合图像依次输入到多个卷积神经网络层中进行特征融合，得到多个联合特征图；其中，每一个卷积神经网络层的输入为之前所有卷积神经网络层的输出并集；

目标物体预测模块，用于根据多个所述联合特征图对目标物体进行预测。

Images