CN106709898A - 一种图像融合方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像融合方法及装置，其中，所述方法在生成原始图像对应的拉普拉斯金字塔和对融合后的拉普拉斯金字塔进行重构得到相应的高斯金字塔时，分别基于各层设定窗口的低通滤波对金字塔的各层进行模糊处理。所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。由于采用本发明实施例提出的十字形窗口或X形窗口的低通滤波进行模糊处理时的计算量明显低于现有的采用矩形窗口的低通滤波进行模糊处理时的计算量，因此本方法能够显著提升图像融合效率，进而满足较高分辨率的视频实时融合拼接的需求。

Description

一种图像融合方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像融合方法及装置。

背景技术

基于传统的金字塔融合算法对图像进行融合时，是采用矩形窗口的低通滤波对金字塔的各层进行上采样或下采样，计算量大，融合效率低，无法满足虚拟现实技术中对较高分辨率的视频进行实时融合拼接的需求。

发明内容

有鉴于此，本发明的目的在于提供一种图像融合方法及装置，以改善上述问题。

本发明较佳实施例提供一种图像融合方法，该方法包括：对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；对上述生成的两个拉普拉斯金字塔进行融合；基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

本发明另一较佳实施例提供一种图像融合装置，该装置包括：金字塔生成模块，用于对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；金字塔融合模块，用于对上述生成的两个拉普拉斯金字塔进行融合；金字塔重构模块，用于基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

本发明较佳实施例提供的图像融合方法及装置中，在由第一图像、第二图像生成各自对应的多层拉普拉斯金字塔时，以及在对融合后的拉普拉斯金字塔进行重构得到融合后的图像的高斯金字塔时，是分别基于各层设定窗口的低通滤波对金字塔的各层进行模糊处理。所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。由于采用本发明实施例提出的十字形窗口或X形窗口的低通滤波进行模糊处理时的计算量明显低于采用矩形窗口的低通滤波进行模糊处理时的计算量(参见后续具体实施方式部分的详细阐述)，因此本方法能够显著提升图像融合效率，进而满足较高分辨率的视频实时融合拼接的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像处理设备的方框示意图；

图2为本发明实施例提供的应用于图1中所示图像处理设备的图像融合方法的流程图；

图3A为本发明实施例提供的基于矩形窗口的低通滤波进行模糊处理的示意图；

图3B为本发明实施例提供的基于十字形窗口的低通滤波进行模糊处理的示意图；

图3C为本发明实施例提供的基于X形窗口的低通滤波进行模糊处理的示意图；

图4为本发明实施例提供的基于高斯金字塔生成相应的拉普拉斯金字塔的过程示意图；

图5为本发明实施例提供的对拉普拉斯金字塔进行重构得到相应的高斯金字塔的过程示意图；

图6为本发明实施例提供的两幅图像的重叠区域的示意图；

图7为本发明实施例提供的在两幅图像的重叠区域内根据计算出的拼接线确定的融合区域的示意图；

图8为本发明实施例提供的一种图像融合装置的功能模块框图。

图标：100-图像处理设备；110-存储器；120-处理器；130-图像融合装置；1302-金字塔生成模块；1304-金字塔融合模块；1306-金字塔重构模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，是本发明实施例提供的一种应用所述图像融合方法的图像处理设备100的方框示意图。所述图像处理设备100可以是，但不限于，个人电脑、服务器等。如图1所示，该图像处理设备100包括存储器110、处理器120以及图像融合装置130。

所述存储器110与所述处理器120之间电性连接以实现数据的传输或交互。所述图像融合装置130包括至少一个可以软件或固件的形式存储于所述存储器110中或固化在所述图像处理设备100的操作系统中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述图像融合装置130包括计算机程序。所述处理器120在接收到执行指令后，执行所述程序，下述本发明任一实施例揭示的流过程定义的图像处理设备100所执行的方法可以应用于处理器120中，或者由处理器120实现。

请参阅图2，是本发明实施例提供的应用于图1中所示图像处理设备100的图像融合方法的流程图。所应说明的是，本实施例提供的方法不以图2及以下所述的具体顺序为限制。下面将对图2示出的各步骤作详细阐述。

步骤S101，对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔。

本实施例中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。

基于本发明实施例提出的十字形或X形窗口的低通滤波对图像进行模糊处理时的计算量相较于已有的基于矩形窗口的低通滤波的计算量明显降低。具体详见图3A所提供的一种示例，其中(a)部分的每一个方框代表一个像素点，方框内的数值代表对应像素点的灰度值。当基于3×3矩形窗口的低通滤波对(a)中灰色区域内的灰度值为“96”的中心像素点进行模糊处理时，需要所述灰色区域内的9个灰度值构成的矩阵与(b)部分的权重矩阵进行卷积，计算出该像素点模糊后的灰度值“92”(见(c)部分灰色区域)。也就是说，利用3×3矩形窗口的低通滤波对图像进行模糊处理时，需要访问8个邻域像素点，进而卷积计算时需要进行9次乘法、8次加法以及1次除法运算。

如图3B所示，若采用十字形窗口的低通滤波对上述同一像素点进行模糊处理，则仅需要访问该像素点的4个邻域像素点。与对应的权重矩阵进行卷积时，便仅需进行5次乘法、4次加法以及1次除法。如图3C所示，采用X形窗口的低通滤波时，同样仅需进行5次乘法、4次加法以及1次除法。

由上述内容可以看出，基于十字形或X形窗口的低通滤波进行模糊时的卷积计算次数明显少于基于矩形窗口的低通滤波进行模糊时的卷积计算次数。就上述的示例而言，将矩形窗口更改为十字形或X形窗口可以近乎提升一半的模糊效率。

下面，不失一般性地，仅以第一图像为例详细地描述所述基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的过程。

首先，基于所述第一图像生成多层的高斯金字塔。具体生成过程可以为：将所述第一图像的原图作为所述高斯金字塔的第一层图像G₀；通过低通滤波对所述G₀进行模糊处理及下采样(去除偶数行和偶数列)后，得到第二层图像G₁；然后，再基于所述G₁重复上述的模糊处理及下采样操作，得到第三层图像G₂，如此反复迭代多次后，依次得到G₃，G₄，……G_N；由G₀至G_N所形成的金字塔型的图像数据结构即为对应于所述第一图像的高斯金字塔。

本实施例中，在由底层图像G_i生成上层图像G_i+1时，其中i＝0，1,2,…,N-1，可以选择性的采用矩形窗口的低通滤波、十字形窗口的低通滤波或者X形窗口的低通滤波进行模糊处理。不过，可以理解的是，由于十字形窗口与X形窗口的低通滤波通常具有几乎等同的模糊效果以及模糊效率，所以在实际应用过程中可以两者择其一。例如，在生成所述第一图像的高斯金字塔时，可以一律采用上述三种窗口形式的低通滤波中的任意一种，或者一部分采用矩形窗口、另一部分采用十字形窗口的低通滤波，再或者一部分采用矩形窗口、另一部分采用X形窗口的低通滤波。

其次，再基于所述高斯金字塔生成相应的拉普拉斯金字塔。如图4所示，所述拉普拉斯金字塔的生成过程为：首先，将高斯金字塔中的最顶层图像G_N同样作为该拉普拉斯金字塔的最顶层图像L_N；然后根据L_i＝G_i-*G_i+1生成该拉普拉斯金字塔的其余层图像，其中，i＝0，1,2,…,N-1，*G_i+1是对G_i进行上采样(将原来下采样时去掉的偶数行和偶数列进行补0)，并通过低通滤波对上采样后的图像进行模糊处理后得到的。

本实施例中，作为一种优选，可以选择在生成所述拉普拉斯金字塔的第二层图像L₁和第一层图像L₀的过程中，采用所述十字形或X形窗口的低通滤波对高斯金字塔的第三层G₂和第二层G₁进行模糊处理，而在生成所述拉普拉斯金字塔的其余层图像(除L_N外)时，则采用所述矩形窗口的低通滤波。例如，在生成上述L₁和L₀时，可以均采用十字形窗口的低通滤波，或者均采用X形窗口的低通滤波。当然，这也并不排除在其他实施方式中，还可以其中一层采用十字形窗口，而另一层采用X形窗口。

该种实施方式中，在生成所述拉普拉斯金字塔时，由于仅在高斯金字塔的G₂层和G₁层应用十字形或X形窗口的低通滤波进行模糊处理，所以与现有的全部采用矩形窗口的低通滤波相比，可以在优化模糊效率的同时，基本保持同样的模糊效果。

当然，可以理解的是，除上述优选实施方式外，在其他实施方式中，还可以是仅在生成第一层图像L₀时应用所述十字形或X形窗口的低通滤波，其余层全部采用矩形窗口的低通滤波。或者，在生成包括第一层图像L₀在内的多层图像时采用所述十字形或X形窗口的低通滤波，其余层采用矩形窗口的低通滤波。

步骤S103，对上述生成的两个拉普拉斯金字塔进行融合。

本实施例中，可以基于已有的技术将第一图像的拉普拉斯金字塔与第二图像的拉普拉斯金字塔进行融合，这不是本发明实施例所关注的重点，在此不再赘述。

步骤S105，基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

为了便于区分描述，此处将所述融合后的拉普拉斯金字塔所包括的各层图像记作LP₀,LP₁,……,LP_N。如图5所示，对该拉普拉斯金字塔进行重构得到相应的高斯金字塔的过程可以为：首先，将最顶层图像LP_N同样作为该高斯金字塔的最顶层图像G'_N；然后，根据G'_i＝LP_i+*G'_i+1生成该高斯金字塔的其余层图像，其中，i＝0，1,2,…,N-1，*G'_i+1是对G'_i+1进行上采样并通过低通滤波对上采样后的图像进行模糊处理后得到的。重构后得到的高斯金字塔的第一层G'₀即为欲获取的所述第一图像与第二图像融合后的图像。

本实施例中，作为一种实施方式，可以选择至少在重构所述高斯金字塔的第一层图像G'₀时采用十字形或X形窗口的低通滤波对G'₁进行模糊处理。特别地，其中较为优选的是，在生成第二层图像G'₁和第一层图像G'₀时采用所述十字形或X形窗口的低通滤波，而生成其余层图像时采用已有的矩形窗口的低通滤波。

需要特别说明的是，为了更进一步优化融合效率，在其他实施例中，应用上述图像融合方法进行图像融合时可以仅针对第一图像与第二图像的重叠区域进行图像融合，或者是仅针对根据在重叠区域内计算出的拼接线所确定的融合区域进行图像融合，而无需对整幅图像进行融合，如此可以进一步提升模糊效率，进而提升图像融合速度。

详细地，计算所述第一图像与第二图像的重叠区域的方式可以是：首先，提取第一图像和第二图像的关联特征点；然后，根据上述关联特征点的位置坐标的对应关系计算出第一图像和第二图像之间的几何位置映射矩阵；再将所述第一图像中的每个像素的位置坐标乘以所述几何位置映射矩阵的逆矩阵，使得所述第一图像映射到所述第二图像所在的几何空间中；最后，根据位于同一几何空间的第一图像与第二图像中像素的位置坐标的重叠关系，计算出所述重叠区域。作为一种示例，如图6所示，图中阴影填充的部分即为本示例中计算出的第一图像与第二图像的重叠区域。获取重叠区域后，仅需要分别针对第一图像上的重叠区域和第二图像上的重叠区域，基于所述各层设定窗口的低通滤波生成相应的拉普拉斯金字塔。不难看出，仅对两幅图像的重叠区域进行融合相比于现有的基于整幅图像进行融合的方式必然具有更高的融合效率。

更进一步，本实施例提供的方法还可以基于确定出的重叠区域进一步缩小融合范围。例如，具体可以为，如图7所示，在重叠区域内计算两幅图像的拼接线，然后基于该拼接线确定融合区域，其中，所述融合区域小于所述重叠区域。本实施例中，作为一种可能的实施方式，所述融合区域的确定可以与高斯金字塔的层数相关，例如第i层图像上的融合区域为拼接线左右两侧的2ⁱ⁺¹个像素所确定的范围。也就是说，在对图像上的重叠区域生成相应的高斯金字塔后，仅需要针对高斯金字塔中每一层图像上对应设定的融合范围生成相应的拉普拉斯金字塔，如此相比于针对重叠区域的融合更加优化了融合效率。

请参阅图8，是本发明实施例提供的所述图像融合装置130的功能模块框图。该图像融合装置130包括金字塔生成模块1302、金字塔融合模块1304以及金字塔重构模块1306。

所述金字塔生成模块1302，于对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。

所述金字塔融合模块1304，用于对上述生成的两个拉普拉斯金字塔进行融合。

所述金字塔重构模块1306，用于基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

本实施例中，各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再赘述。

综上所述，本发明实施例提供的图像融合方法及装置中，对第一图像和第二图像进行融合时，若将缩小图像融合范围与在生成融合图像的过程中在金字塔的部分图像层应用十字形或X形窗口的低通滤波进行模糊处理的技术相结合，可以有效优化融合效率，满足高分辨率视频实时融合拼接的需求。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (12)

1.一种图像融合方法，其特征在于，该方法包括：

对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；

对上述生成的两个拉普拉斯金字塔进行融合；

基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

2.根据权利要求1所述的方法，其特征在于，所述对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的步骤包括：

计算所述第一图像和第二图像的重叠区域；

对所述第一图像上的重叠区域和第二图像上的重叠区域，分别基于所述各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔。

3.根据权利要求1所述的方法，其特征在于，所述对于待融合的第一图像和第二图像，分别基于设定窗口的低通滤波生成相应的拉普拉斯金字塔的步骤包括：

计算所述第一图像和第二图像的重叠区域；

在所述重叠区域内，计算所述第一图像和第二图像的拼接线；

根据所述拼接线确定所述第一图像和第二图像的融合区域，其中所述融合区域小于所述重叠区域；

对所述第一图像上的融合区域和第二图像上的融合区域，分别基于所述各层设定窗口的低通滤波生成相应的拉普拉斯金字塔。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的步骤包括：

生成高斯金字塔；

由该高斯金字塔生成所述相应的多层拉普拉斯金字塔，其中，生成该拉普拉斯金字塔的过程中至少在该高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。

5.根据权利要求2或3所述的方法，其特征在于，计算所述第一图像和第二图像的重叠区域的步骤包括：

提取第一图像和第二图像的关联特征点；

根据上述关联特征点的位置坐标的对应关系计算出第一图像和第二图像之间的几何位置映射矩阵；

将所述第一图像中的每个像素的位置坐标乘以所述几何位置映射矩阵的逆矩阵，使得所述第一图像映射到所述第二图像所在的几何空间中；

根据位于同一几何空间的第一图像与第二图像中像素的位置坐标的重叠关系，计算出所述重叠区域。

6.根据权利要求1所述的方法，其特征在于，基于所述设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像的步骤包括：

对融合后的拉普拉斯金字塔进行重构得到融合后的高斯金字塔，其中，重构过程中至少在该高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。

7.一种图像融合装置，其特征在于，该装置包括：

金字塔生成模块，用于对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；

金字塔融合模块，用于对上述生成的两个拉普拉斯金字塔进行融合；及

金字塔重构模块，用于基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

8.根据权利要求7所述的装置，其特征在于，所述金字塔生成模块对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的方式包括：

计算所述第一图像和第二图像的重叠区域；

对所述第一图像上的重叠区域和第二图像上的重叠区域，分别基于所述各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔。

9.根据权利要求7所述的装置，其特征在于，所述金字塔生成模块对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的方式包括：

计算所述第一图像和第二图像的重叠区域；

在所述重叠区域内，计算所述第一图像和第二图像的拼接线；

根据所述拼接线确定所述第一图像和第二图像的融合区域，其中所述融合区域小于所述重叠区域；

对所述第一图像上的融合区域和第二图像上的融合区域，分别基于所述各层设定窗口的低通滤波生成相应的拉普拉斯金字塔。

10.根据权利要求7-9任意一项所述的装置，其特征在于，所述金字塔生成模块基于所述各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的方式包括：

生成多层高斯金字塔；

由该多层高斯金字塔生成所述相应的多层拉普拉斯金字塔，其中，生成过程中至少在该多层高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。

11.根据权利要求8或9所述的装置，其特征在于，所述金字塔生成模块计算所述第一图像和第二图像的重叠区域的方式包括：

提取第一图像和第二图像的关联特征点；

根据上述关联特征点的位置坐标的对应关系计算出第一图像和第二图像之间的几何位置映射矩阵；

将所述第一图像中的每个像素的位置坐标乘以所述几何位置映射矩阵的逆矩阵，使得所述第一图像映射到所述第二图像所在的几何空间中；

根据位于同一几何空间的第一图像与第二图像中像素的位置坐标的重叠关系，计算出所述重叠区域。

12.根据权利要求7所述的装置，其特征在于，所述金字塔重构模块基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像的方式包括：

对融合后的拉普拉斯金字塔进行重构得到融合后的高斯金字塔，其中，重构过程中至少在该高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。