CN106875371A - 基于Bayer格式的图像融合方法及图像融合装置 - Google Patents

Abstract

本发明提供了一种基于Bayer格式的图像融合方法及图像融合装置，该图像融合方法包括：获取待融合的多帧Bayer图像；分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；根据所述融合后的亮度分量和色度分量，生成融合后的图像。本发明的技术方案有效减少了图像融合时的计算量，进而降低了对系统资源的消耗，提高了图像融合算法的效率，满足了实时性的要求，并能有效提高了融合后图像的清晰度。

Description

基于Bayer格式的图像融合方法及图像融合装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于Bayer格式的图像融合方法及图像融合装置。

背景技术

图像融合是将不同传感器或相同传感器获得的多幅图像进行综合处理，得到一张满足某种需求的新图像。不同特性的传感器获取图像信息是有所差异的，即使是采用相同的传感器，在不同观测时间或不同观测角度获取的信息也可能不同，图像融合能充分利用多幅图像中的冗余信息和互补信息来融合得到效果较好的图像。

对于多聚焦图像来说，由于光学传感器设备有限的视差深度，导致很难获得一个多点聚焦的图像，因为传感器无法给出距离远近不同的物体相同的图像分辨率，这种情况下通常会导致图像聚焦在某一区域或者某一侧，而另一区域或另一侧会出现模糊的现象。多聚焦图像融合可以将传感器在同一位置拍摄到的几幅图像经过适当的图像融合算法合成一副多聚焦的高清晰度图像。

图像融合通常分3个层次：像素级、特征级和决策级。像素级融合最大优点是能保持尽可能多的现场数据，提供其他融合层次所不能提供的细微信息，但是计算量大，冗余度高，实时性差；特征级融合方式损失了一部分信息，属于中间级的融合；决策级融合与像素级融合相比，处理的数据量大为减少，但是这种融合方式损失信息量最大。目前大多数图像融合算法的自适应性差，算法的实时性有待提高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种基于Bayer格式的图像融合方法及图像融合装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种基于Bayer格式的图像融合方法，包括：

获取待融合的多帧Bayer图像；

分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；

对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；

根据所述融合后的亮度分量和色度分量，生成融合后的图像。

在本发明的一些实施例中，基于前述方案，分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量的步骤，包括：

根据所述每帧Bayer图像中的每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量和色度分量；

根据所述每帧Bayer图像中的所有2×2的小块对应的亮度分量和色度分量，计算所述多帧Bayer图像融合后的亮度分量和色度分量。

在本发明的一些实施例中，基于前述方案，根据以下公式计算所述每个2×2的小块对应的亮度分量和色度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个绿色像素的像素值；B表示所述每个2×2的小块内的蓝色像素的像素值；R表示所述每个2×2的小块内的红色像素的像素值；Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量；C_r和C_b分别表示所述每个2×2的小块对应的两个色度分量。

在本发明的一些实施例中，基于前述方案，对所述多帧Bayer图像的亮度分量进行融合处理，包括：

对所述每帧Bayer图像的亮度分量进行分解，得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理，得到融合后的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理，包括：

采用区域标准差最大准则对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理。

在本发明的一些实施例中，基于前述方案，对所述多帧Bayer图像的亮度分量对应的低频分量进行融合处理，包括：

计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值，并将计算得到的加权平均值作为所述融合后的低频分量。

在本发明的一些实施例中，基于前述方案，在计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值之前，对所述多帧Bayer图像的亮度分量对应的低频分量进行直方图均衡化处理。

在本发明的一些实施例中，基于前述方案，对所述每帧Bayer图像的亮度分量进行分解的步骤，包括：对所述每帧Bayer图像的亮度分量进行小波变换处理，以得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量的步骤，包括：对所述融合后的高频分量和低频分量进行小波逆变换处理，以得到所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，对所述多帧Bayer图像的色度分量进行融合处理，包括：将所述多帧Bayer图像的色度分量的最大值作为融合后的色度分量。

在本发明的一些实施例中，基于前述方案，根据所述融合后的亮度分量和色度分量，生成融合后的图像的步骤，包括：

对所述融合后的亮度分量和色度分量进行合并处理，得到YC_rC_b数据；

将所述YC_rC_b数据转换为Bayer图像；

根据转换得到的Bayer图像，生成RGB图像。

根据本发明的另一方面，还一种基于Bayer格式的图像融合装置，包括：

获取单元，用于获取待融合的多帧Bayer图像；

处理单元，用于分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；

融合单元，用于对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；

生成单元，用于根据所述融合后的亮度分量和色度分量，生成融合后的图像。

在本发明的一些实施例中，基于前述方案，所述处理单元配置为：

根据所述每帧Bayer图像中的每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量和色度分量；

根据所述每帧Bayer图像中的所有2×2的小块对应的亮度分量和色度分量，计算所述多帧Bayer图像融合后的亮度分量和色度分量。

在本发明的一些实施例中，基于前述方案，根据以下公式计算所述每个2×2的小块对应的亮度分量和色度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个绿色像素的像素值；B表示所述每个2×2的小块内的蓝色像素的像素值；R表示所述每个2×2的小块内的红色像素的像素值；Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量；C_r和C_b分别表示所述每个2×2的小块对应的两个色度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元配置为：

对所述每帧Bayer图像的亮度分量进行分解，得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理，得到融合后的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元配置为：采用区域标准差最大准则对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理。

在本发明的一些实施例中，基于前述方案，所述融合单元配置为：计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值，并将计算得到的加权平均值作为所述融合后的低频分量。

在本发明的一些实施例中，基于前述方案，在计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值之前，对所述多帧Bayer图像的亮度分量对应的低频分量进行直方图均衡化处理。

在本发明的一些实施例中，基于前述方案，所述融合单元配置为：

对所述每帧Bayer图像的亮度分量进行小波变换处理，以得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述融合后的高频分量和低频分量进行小波逆变换处理，以得到所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元配置为：将所述多帧Bayer图像的色度分量的最大值作为融合后的色度分量。

在本发明的一些实施例中，基于前述方案，所述生成单元配置为：

对所述融合后的亮度分量和色度分量进行合并处理，得到YC_rC_b数据；

将所述YC_rC_b数据转换为Bayer图像；

根据转换得到的Bayer图像，生成RGB图像。

在本发明的一些实施例所提供的技术方案中，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像融合时的计算量，进而降低了对系统资源的消耗，提高了图像融合算法的效率，满足了实时性的要求。

在本发明的一些实施例所提供的技术方案中，通过在融合亮度分量对应的低频分量之前，利用直方图均衡的方法对低频分量进行处理，使得整体数据的分布更加均衡，清晰度更高，从而确保融合后的图像更适合人眼特性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像融合方法的流程图；

图2示意性示出了根据本发明的实施例的对多帧Bayer图像的亮度分量进行融合处理的流程图；

图3示意性示出了根据本发明的第二个实施例的基于Bayer格式的图像融合方法的流程图；

图4示意性示出了Bayer格式图像的结构图；

图5示意性示出了RGB空间与YC_rC_b空间之间的转换过程示意图；

图6示意性示出了根据本发明的实施例的基于Bayer格式的图像融合装置的框图；

图7示意性示出了根据本发明的实施例的图像融合处理前后的对比效果示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的第一个实施例的基于Bayer格式的图像融合方法的流程图。

具体地，参照图1，根据本发明的第一个实施例的基于Bayer格式的图像融合方法包括以下步骤：

步骤S102，获取待融合的多帧Bayer图像；

步骤S104，分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；

步骤S106，对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；

步骤S108，根据所述融合后的亮度分量和色度分量，生成融合后的图像。

以下针对每个步骤进行详细说明：

在步骤S102中，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像融合时的计算量，进而降低了对系统资源的消耗，提高了图像融合算法的效率，满足了实时性的要求。

在步骤S104中，根据本发明的示例性实施例，分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量的步骤，包括：

根据所述每帧Bayer图像中的每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量和色度分量；

根据所述每帧Bayer图像中的所有2×2的小块对应的亮度分量和色度分量，计算所述多帧Bayer图像融合后的亮度分量和色度分量。

在本发明的一些实施例中，基于前述方案，根据以下公式计算所述每个2×2的小块对应的亮度分量和色度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个绿色像素的像素值；B表示所述每个2×2的小块内的蓝色像素的像素值；R表示所述每个2×2的小块内的红色像素的像素值；Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量；C_r和C_b分别表示所述每个2×2的小块对应的两个色度分量。

对于步骤S106，以下分别介绍如何对所述多帧Bayer图像的亮度分量和色度分量进行融合处理：

一、多帧Bayer图像的亮度分量的融合处理：

根据本发明的示例实施例，如图2所示，对所述多帧Bayer图像的亮度分量进行融合处理，包括：

步骤S202：对所述每帧Bayer图像的亮度分量进行分解，得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量。

根据本发明的示例性实施例，步骤S202包括：对所述每帧Bayer图像的亮度分量进行小波变换处理，以得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量。

步骤S204：对所述多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理，得到融合后的高频分量和低频分量。

步骤S206：基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量。

根据本发明的示例性实施例，步骤S206包括：对所述融合后的高频分量和低频分量进行小波逆变换处理，以得到所述多帧Bayer图像融合后的亮度分量。

以下具体介绍步骤S204中对多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理的过程：

1、多帧Bayer图像的亮度分量对应的高频分量的融合处理：

在本发明的一些实施例中，对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理，包括：

采用区域标准差最大准则对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理。

具体包括如下步骤：

(1)将多帧Bayer图像的亮度分量对应的高频分量分别分成5×5的字块。

需要说明的是：此处5×5的字块仅为示例，也可以分为其它尺寸的字块，如可以分为3×3的字块或7×7的字块。

(2)计算每个字块的方差，局部区域标准差的计算公式如下：

其中，M、N表示局部区域内的行数和列数；p_i,j表示当前局部区域内的一个像素灰度值；为当前局部区域像素的灰度均值；STD表示局部区域标准差。

(3)融合多帧Bayer图像的亮度分量对应的高频分量。

融合后的高频分量的确定方法：根据上述步骤(2)的方法分别求取以当前像素为中心的局部区域标准差，选取局部区域标准差最大的图像的高频分量作为融合后的高频分量。

2、多帧Bayer图像的亮度分量对应的低频分量的融合处理：

在本发明的一些实施例中，对所述多帧Bayer图像的亮度分量对应的低频分量进行融合处理，包括：

计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值，并将计算得到的加权平均值作为所述融合后的低频分量。

需要说明的是，对多帧Bayer图像的亮度分量对应的低频分量进行融合时还可以采用其它的方法，比如也可以将多帧Bayer图像的亮度分量对应的低频分量的均值作为融合后的低频分量。

根据本发明的示例性实施例，在计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值之前，对所述多帧Bayer图像的亮度分量对应的低频分量进行直方图均衡化处理。

需要说明的是，通过在融合亮度分量对应的低频分量之前，利用直方图均衡的方法对低频分量进行处理，使得整体数据的分布更加均衡，清晰度更高，从而确保融合后的图像更适合人眼特性。

二、多帧Bayer图像的色度分量的融合处理：

根据本发明的示例实施例，对所述多帧Bayer图像的色度分量进行融合处理，包括：将所述多帧Bayer图像的色度分量的最大值作为融合后的色度分量。

在步骤S108中，根据所述融合后的亮度分量和色度分量，生成融合后的图像的步骤，包括：

对所述融合后的亮度分量和色度分量进行合并处理，得到YC_rC_b数据；

将所述YC_rC_b数据转换为Bayer图像；

根据转换得到的Bayer图像，生成RGB图像。

以下结合图3，以对两帧Bayer图像进行融合为例，详细说明根据本发明的实施例的图像融合方案。

参照图3，在获取到两幅Bayer图像之后执行步骤302a和步骤302b。其中，步骤302a和步骤302b可以是同时执行的，也可以是依次执行的。

在步骤302a和步骤302b中，以Bayer图像2×2的块为单位，依据人眼视觉YC_rC_b模型，分别提取两幅待融合图像的亮度分量Y和两个色度分量C_r与C_b，得到两个亮度图像F_A与F_B，以及色度分量C_rA、C_rB、C_bA、C_bA。

参照图4所示的Bayer图像结构，Bayer图像中每个像素仅占有R、G、B中的一个通道的颜色值，R、B颜色通道的像素数为RGB图像的1/4，因此直接对Bayer格式的图像进行处理时，其硬件资源消耗可以减少为前者的1/3，可以极大地提高算法的运行速度。

在人眼视觉当中，人眼对绿色最敏感、其次是红色，再者是蓝色，YC_rC_b是符合人眼视觉特征的模型。参照图4，Bayer原始图像可以看作以2×2的块为单位，由许多GB/RG小块组成的集合。利用像素间的相似性，可以将每个2×2小块中的R、G、B像素值通过转换成YC_rC_b空间的亮度分量和色度分量，两者之间的空间转换过程如图5所示，具体转换公式如公式1所示：

在公式1中，G^ul和G^lr分别表示Bayer图像中2×2小块中左上角的G值和右下角的G值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b为两个色度分量；B和R分别为Bayer图像中蓝色像素值和红色值像素。

利用公式1分别提取两个Bayer图像亮度分量和色度分量，得到的亮度图像分别记为：F_A、F_B；色度图像分别记为：C_rA、C_rB、C_bA、C_bA。

在步骤304中，对步骤302b中的两个亮度图像进行二维Mallat小波快速分解，得到三个高频分量和一个低频分量。

具体地，根据二维Mallat小波快速算法对步骤302b中的两个亮度分量进行小波变换处理，其中，图像第j次小波分解后生成三个高频分量(i＝H,V,D，分别表示水平方向、垂直方向以及对角方向的高频分量)和一个低频分量C_j；m和n分别对应于图像的行和列；j表示小波分解尺度。Mallat小波分解公式为：

在公式2中，H_m，H_n为小波分解过程中的低通滤波器；G_m、G_n为小波分解过程中的高通滤波器。

由公式2进行小波分解，图像F_A第j次小波分解后生成三个高频分量低频分量为C_j(F_C)；同样的图像F_B第j次小波分解后生成三个高频分量低频分量为C_j(F_B)。

小波逆变换即小波重构公式为：

在公式3中，H^*、G^*分别为H、G的共轭转置矩阵。

在步骤304得到高频分量和低频分量之后，采用不同的融合策略对两幅图像的亮度图像的高频分量和低频分量进行融合。

具体地，在步骤306中，采用基于窗口融合规则和局部方差方法融合两个亮度图像的高频分量，获得融合后的新的高频分量。

对于图像F_A和F_B的高频分量，基于窗口融合规则的如下所示：

如果满足|α₁-α₂|＞T，那么取较大的高频分量作为融合后的高频分量，如公式4所示：

若不满足|α₁-α₂|＞T，则融合后的高频分量取两幅图像的加权平均值，如公式5所示：

在公式5中，α₁和α₂分别为两个亮度图像F_A和F_B的权系数，α₁和α₂的表达式如公式6和公式7所示。T为阈值(0＜T＜1)，在本发明的优选实施例中，可以取0.07。

在公式6和公式7中，V(F_A,p)、V(F_B,p)分别表示亮度图像F_A和F_B在p点处高频系数的局部方差，如公式8和公式9所示：

在公式8和公式9中，Q的区域大小为3×3，像素点q属于该区域；w(q)为加权系数，当点q离点p越近，权值越大，权值表达式如公式10所示；μ为该区域方差的均值。

由于传统融合算法在处理高频分量时一般采用取最大值法，当两幅图像的细节都很丰富是，就容易丢失其中一副图像的细节信息。本发明实施例的技术方案中采用基于窗口融合规则和局部方差方法处理高频分量，在高频分量的融合中，给定阈值T后，若两亮度图像的高频分量差异大于等于T，说明两图像细节差异较大，这时取小波系数更大值进行高频分量融合；如果差异小于T，表明图像细节都丰富，此时采用加权求和进行融合，图像融合的过程中考虑了图像某一区域内的像素之间的相关性，突出了图像局部特征和细节信息，这样能获得良好的融合效果。

需要说明的是，在步骤306中以窗口融合规则和局部方差方法实现了对高频分量的融合，在本发明的其它实施例中，也可以采用区域标准差最大准则来融合高频分量。

在步骤308中，采用直方图均衡和加权平均的方法融合两个亮度图像的低频分量，获得融合后的新的低频分量。

具体地，先通过直方图均衡的方法使得低频数据分布更加均衡，清晰度更高，从而使图像更适合人眼特性，在采用加权平均融合规则进行融合，融合后的新的低频分量为C_j(F_C)。

在步骤310中，基于步骤306和步骤308获得的融合后的高频分量和低频分量，采用小波逆变换重构得到融合后的新的亮度分量。

具体地，利用公式3对步骤306和步骤308获得的新的高频分量和低频分量进行小波逆变换，得到新的亮度分量Y_C。

在步骤S312中，采用取较大值的方法融合处理两图像的色度分量。

在成像系统中，假设所有像素点均得到适度的曝光，使其颜色最为鲜艳，此时色度分量应该接近其最大值。因此在融合亮度分量之后，对色度分量C_rA、C_rB、C_bA、C_bA，分别取最大值的方法作为色度分量的融合色度分量，具体参照公式11和公式12所示：

C_rC＝max(C_rA,C_rB) (公式11)

C_bC＝max(C_bA,C_bB) (公式12)

在公式11和公式12中，C_rC、C_bC为融合后的两个色度分量。

在步骤314中，合并步骤310和步骤312中得到的亮度分量Y_C和色度分量C_rC、C_bC，再将YC_rC_b数据转换成Bayer图像数据。

其中，将宽动态的YC_rC_b空间的数据转换成宽动态的Bayer格式数据的公式如公式13所示：

在公式13中，G^ul和G^lr分别表示Bayer图像中2×2小块中左上角的G值和右下角的G值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量；C_r和C_b为两个色度分量；B和R分别为Bayer图像中蓝色像素值和红色值像素。

在步骤318中，采用去马赛克算法将Bayer图像恢复成真彩色的RGB图像。

图6示意性示出了根据本发明的实施例的基于Bayer格式的图像融合装置的框图。

参照图6，根据本发明的实施例的基于Bayer格式的图像融合装置600，包括：获取单元602、处理单元604、融合单元606和生成单元608。

具体地，获取单元602用于获取待融合的多帧Bayer图像；处理单元604用于分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；融合单元606用于对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；生成单元608用于根据所述融合后的亮度分量和色度分量，生成融合后的图像。

在本发明的一些实施例中，基于前述方案，所述处理单元604配置为：

根据所述每帧Bayer图像中的每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量和色度分量；

根据所述每帧Bayer图像中的所有2×2的小块对应的亮度分量和色度分量，计算所述多帧Bayer图像融合后的亮度分量和色度分量。

在本发明的一些实施例中，基于前述方案，根据以下公式计算所述每个2×2的小块对应的亮度分量和色度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个绿色像素的像素值；B表示所述每个2×2的小块内的蓝色像素的像素值；R表示所述每个2×2的小块内的红色像素的像素值；Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量；C_r和C_b分别表示所述每个2×2的小块对应的两个色度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元606配置为：

对所述每帧Bayer图像的亮度分量进行分解，得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理，得到融合后的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元606配置为：采用区域标准差最大准则对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理。

在本发明的一些实施例中，基于前述方案，所述融合单元606配置为：计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值，并将计算得到的加权平均值作为所述融合后的低频分量。

在本发明的一些实施例中，基于前述方案，在计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值之前，对所述多帧Bayer图像的亮度分量对应的低频分量进行直方图均衡化处理。

在本发明的一些实施例中，基于前述方案，所述融合单元606配置为：

对所述每帧Bayer图像的亮度分量进行小波变换处理，以得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述融合后的高频分量和低频分量进行小波逆变换处理，以得到所述多帧Bayer图像融合后的亮度分量。

在本发明的一些实施例中，基于前述方案，所述融合单元606配置为：将所述多帧Bayer图像的色度分量的最大值作为融合后的色度分量。

在本发明的一些实施例中，基于前述方案，所述生成单元608配置为：

对所述融合后的亮度分量和色度分量进行合并处理，得到YC_rC_b数据；

将所述YC_rC_b数据转换为Bayer图像；

根据转换得到的Bayer图像，生成RGB图像。

如图7所示，图(a)和图(b)分别为处理前的两幅相同场景但分辨率不同的图像，图(c)为通过本发明实施例的算法处理后的效果图。可见，经过本发明实施例的算法处理后的图像吸收了两幅原始图像各自的特点，融合后的图像的局部特征和细节信息更加突出，清晰度更高。同时，由于本发明实施例的算法直接处理Bayer图像信息，节省了系统资源，算法运行速度更快，能满足实时性要求。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于Bayer格式的图像融合方法，其特征在于，包括：

获取待融合的多帧Bayer图像；

分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；

对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；

根据所述融合后的亮度分量和色度分量，生成融合后的图像。

2.根据权利要求1所述的基于Bayer格式的图像融合方法，其特征在于，分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量的步骤，包括：

根据所述每帧Bayer图像中的每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量和色度分量；

根据所述每帧Bayer图像中的所有2×2的小块对应的亮度分量和色度分量，计算所述多帧Bayer图像融合后的亮度分量和色度分量。

3.根据权利要求2所述的基于Bayer格式的图像融合方法，其特征在于，根据以下公式计算所述每个2×2的小块对应的亮度分量和色度分量：

$\left[\begin{array}{c}{Y}^{ul}\\ Y^{lr}\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{cccc}128.6& 0& 25& 65.5\\ 0& 128.6& 25& 65.5\\ -37.1& -37.1& 112& -37.8\\ -46.9& -46.9& -18.2& 112\end{array}\right]\left[\begin{array}{c}{G}^{ul}\\ G^{lr}\\ B\\ R\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 128\\ 128\end{array}\right]$

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个绿色像素的像素值；B表示所述每个2×2的小块内的蓝色像素的像素值；R表示所述每个2×2的小块内的红色像素的像素值；Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量；C_r和C_b分别表示所述每个2×2的小块对应的两个色度分量。

4.根据权利要求1所述的基于Bayer格式的图像融合方法，其特征在于，对所述多帧Bayer图像的亮度分量进行融合处理，包括：

对所述每帧Bayer图像的亮度分量进行分解，得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

对所述多帧Bayer图像的亮度分量对应的高频分量和低频分量分别进行融合处理，得到融合后的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量。

5.根据权利要求4所述的基于Bayer格式的图像融合方法，其特征在于，对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理，包括：

采用区域标准差最大准则对所述多帧Bayer图像的亮度分量对应的高频分量进行融合处理。

6.根据权利要求4所述的基于Bayer格式的图像融合方法，其特征在于，对所述多帧Bayer图像的亮度分量对应的低频分量进行融合处理，包括：

计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值，并将计算得到的加权平均值作为所述融合后的低频分量。

7.根据权利要求6所述的基于Bayer格式的图像融合方法，其特征在于，在计算所述多帧Bayer图像的亮度分量对应的低频分量的加权平均值之前，对所述多帧Bayer图像的亮度分量对应的低频分量进行直方图均衡化处理。

8.根据权利要求4所述的基于Bayer格式的图像融合方法，其特征在于：

对所述每帧Bayer图像的亮度分量进行分解的步骤，包括：对所述每帧Bayer图像的亮度分量进行小波变换处理，以得到所述每帧Bayer图像的亮度分量对应的高频分量和低频分量；

基于所述融合后的高频分量和低频分量，生成所述多帧Bayer图像融合后的亮度分量的步骤，包括：对所述融合后的高频分量和低频分量进行小波逆变换处理，以得到所述多帧Bayer图像融合后的亮度分量。

9.根据权利要求1至8中任一项所述的基于Bayer格式的图像融合方法，其特征在于，对所述多帧Bayer图像的色度分量进行融合处理，包括：

将所述多帧Bayer图像的色度分量的最大值作为融合后的色度分量。

10.一种基于Bayer格式的图像融合装置，其特征在于，包括：

获取单元，用于获取待融合的多帧Bayer图像；

处理单元，用于分别提取所述多帧Bayer图像中每帧Bayer图像的亮度分量和色度分量；

融合单元，用于对所述多帧Bayer图像的亮度分量和色度分量分别进行融合处理，得到所述多帧Bayer图像融合后的亮度分量和色度分量；

生成单元，用于根据所述融合后的亮度分量和色度分量，生成融合后的图像。