CN110363732A - 一种图像融合方法及其装置 - Google Patents

Abstract

本申请提供一种图像融合方法及其装置，该方法包括：将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。该方法可以提升低照度环境下图像的亮度，保持图像的色彩信息，提升融合后的图像的质量。

Description

一种图像融合方法及其装置

技术领域

本申请涉及图像处理技术，尤其涉及一种图像融合方法及其装置。

背景技术

在视频监控过程中，当外部环境亮度角度(如夜间)时，为了获取良好的监控图像质量，往往需要高能量密度的可见光补光灯照射。该补光灯对人眼刺激较大，容易对过往的行人及车辆驾驶人造成短暂的视觉盲区，从而导致严重的光污染甚至交通事故。

人眼对红外光线感知弱甚至无感知，而监控设备中的成像系统(包含镜头及传感器)对近红外光线任具有良好的成像能力。因此，采取红外照明并成像可以解决光污染问题。但红外图像存在无颜色、层次感比较差的问题。

发明内容

有鉴于此，本申请提供一种图像融合方法及其装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像融合方法，应用于图像采集设备，该方法包括：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

可选的，所述根据所述融合权重对所述第一亮度图像和所述第二亮度图像进行亮度融合之前，还包括：

对所述第一亮度图像进行细节计算，以得到第一细节图像，以及对所述第二亮度图进行细节计算，以得到第二细节图像；

所述根据所述融合权重对所述第一亮度图像和所述第二亮度图像进行亮度融合，包括：

根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合。

可选的，所述对所述第一亮度图像进行细节计算，以得到第一细节图像，包括：

对所述第一亮度图像进行均值滤波，以得到第一均值图像；

对所述第一亮度图像和所述第一均值图像进行求差，以得到第一差值图像；

对所述第一差值图像进行截止操作，以得到所述第一细节图像。

可选的，所述对所述第二亮度图像进行细节计算，以得到第二细节图像，包括：

对所述第二亮度图像进行均值滤波，以得到第二均值图像；

对所述第二亮度图像和所述第二均值图像进行求差，以得到第二差值图像；

对所述第二差值图像进行截止操作，以得到所述第二细节图像。

可选的，对差值图像进行截止操作通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为细节图像中像素点P的亮度细节，Diff_p为差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

可选的，所述根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合包括：

对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：

Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为所述第一亮度图像中该位置的像素点的亮度值，wt为所述融合权重图中该位置的像素点的融合权重，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Detail_nir为所述第一细节图像中该位置的像素点的亮度细节，Detail_LL为所述第二细节图像中该位置的像素点的亮度细节。

可选的，所述根据所述第一亮度图像进行近红外图像融合权重计算，包括：

对于所述第一亮度图像中任一像素点，根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重；其中，所述亮度映射模型记录有亮度值与融合权重的对应关系。

可选的，所述根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像，包括：

对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为所述RGB图像中该位置的像素点的R、G、B三通道值，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Y为所述亮度融合图像中该位置的像素点的亮度值。

根据本申请实施例的第二方面，提供一种图像融合装置，应用于图像采集设备，该装置包括：

第一可见光处理单元，用于将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像；

第一红外处理单元，用于将所述图像采集设备采集的近红外图像转换为第一亮度图像；

第二可见光处理单元，用于将所述RGB亮度图像转换为第二亮度图像；

第二红外处理单元，用于根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

亮度融合单元，用于根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

RGB融合单元，用于根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

可选的，所述第二可见光处理单元，还用于对所述第一亮度图像进行细节计算，以得到第一细节图像；

所述第二红外处理单元，还用于对所述第二亮度图进行细节计算，以得到第二细节图像；

所述亮度融合单元，具体用于根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合。

可选的，所述第二可见光处理单元，具体用于对所述第一亮度图像进行均值滤波，以得到第一均值图像；对所述第一亮度图像和所述第一均值图像进行求差，以得到第一差值图像；对所述第一差值图像进行截止操作，以得到所述第一细节图像。

可选的，所述第二红外处理单元，具体用于对所述第二亮度图像进行均值滤波，以得到第二均值图像；对所述第二亮度图像和所述第二均值图像进行求差，以得到第二差值图像；对所述第二差值图像进行截止操作，以得到所述第二细节图像。

可选的，对差值图像进行截止操作通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为细节图像中像素点P的亮度细节，Diff_p为差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

可选的，所述亮度融合单元，具体用于对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：

Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为所述第一亮度图像中该位置的像素点的亮度值，wt为所述融合权重图中该位置的像素点的融合权重，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Detail_nir为所述第一细节图像中该位置的像素点的亮度细节，Detail_LL为所述第二细节图像中该位置的像素点的亮度细节。

可选的，所述第二红外处理单元，具体用于对于所述第一亮度图像中任一像素点，根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重；其中，所述亮度映射模型记录有亮度值与融合权重的对应关系。

可选的，所述RGB融合单元，具体用于对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为所述RGB图像中该位置的像素点的R、G、B三通道值，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Y为所述亮度融合图像中该位置的像素点的亮度值。

根据本申请实施例的第三方面，提供一种图像融合装置，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

根据本申请实施例的第四方面，提供一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

本申请实施例的图像融合方法，通过将图像采集设备采集的可见光图像转换为RGB图像，以及，将图像采集设备采集的近红外图像转换为第一亮度图像，然后，将RGB亮度图像转换为第二亮度图像，以及根据第一亮度图像进行近红外图像融合权重计算，以得到近红外图像的融合权重图，进而，根据融合权重图对第一亮度图像和第二亮度图像进行亮度融合，以得到亮度融合图像，并根据第二亮度图像、亮度融合图像以及RGB图像进行RGB融合，以得到融合后的RGB图像，实现了可见光图像和近红外图像的融合，提升了低照度环境下图像的亮度的同时，保持了图像的色彩信息，提升了融合后的图像的质量。

附图说明

图1是本申请一示例性实施例示出的一种图像融合方法的流程图；

图2是本申请一示例性实施例示出的一种亮度映射模型的示意图；

图3是本申请又一示例性实施例示出的一种图像融合方法的流程图；

图4是本申请一示例性实施例示出的一种细节计算的流程示意图；

图5是本申请一示例性实施例示出的一种融合权重计算的流程示意图；

图6是本申请又一示例性实施例示出的一种图像融合方法的流程图；

图7是本申请一示例性实施例示出的一种图像融合装置的结构示意图；

图8是本申请一示例性实施例示出的一种图像融合装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图像融合方法的流程示意图，其中，该图像融合方法可以应用于图像采集设备，如视频监控场景中的监控摄像头，如图1所示，该图像融合方法可以包括以下步骤：

步骤S100、将图像采集设备采集的可见光图像转换为RGB图像。

步骤S110、将图像采集设备采集的近红外图像转换为第一亮度图像。

本申请实施例中，当图像采集设备所处区域的外部环境亮度较低时，图像采集设备需要通过红外补光，此时，图像采集设备会同时采集可见光图像和近红外图像，并通过可见光图像和近红外图像融合的方式提高图像质量。

本申请实施例中，图像采集设备采集到可见光图像和近红外图像之后，一方面可以将可见光图像转换为RGB(Red，Green，Blue，红绿蓝)图像，另一方面可以将近红外图像转换为红外亮度图像(也可以称为红外Y通道图像，本文中称为第一亮度图像)。

举例来说，对于可见光图像，图像采集设备可以通过AWB(Automatic WhiteBalance，自动白平衡)校正恢复可见光图像颜色，并进行DENOISE(降噪)处理，然后，进行通过DEMOISC(去马赛克)处理将可见光图像插值到RGB图像，并对该RGB图像进行GAMMA(伽马)校正以提升图像亮度；对于近红外图像，图像采集设备可以通过DEMOSIC处理将近红外图像插值到RGB图像，并对该RGB图像进行GAMMA校正以提升图像亮度，进而，将该RGB图像转换为亮度图像，并通过Y通道配准处理将近红外图像和对应的可见光图像按像素对齐，其具体实现可以参见现有相关技术中的相关描述，本申请实施例在此不做赘述。

需要说明的是，步骤S100与步骤S110之间并不存在必然的时序关系，即可以先执行步骤S100中的操作，后执行步骤S110中的操作；也可以先执行步骤S110中的操作，后执行步骤S100中的操作；还可以并发执行步骤S100和步骤S110中的操作。

步骤S120、将该RGB图像转换为第二亮度图像。

本申请实施例中，图像采集设备将可见光图像转换为RGB图像之后，可以将该RGB图像转换为可见光亮度图像(也可以称为可见光Y通道图像，本文中称为第二亮度图像)。

举例来说，图像采集设备可以通过以下公式将RGB图像转换为第二亮度图像：

y_p＝(R_p*77+G_p*150+B_p*29)/256

其中，R_p、G_p、B_p分别为该RGB图像中像素点P处的三通道值，y_p为第二亮度图像中像素点P处的亮度通道值，像素点P为RGB图像中任一像素点，RGB图像中的像素点P与第二亮度图像中的像素点P的位置相同。

步骤S130、根据第一亮度图像进行近红外图像融合权重计算，以得到近红外图像的融合权重。

本申请实施例中，图像采集模块将近红外图像转换为第一亮度图像之后，还可以根据该第一亮度图像进行近红外图像融合权重计算，以确定对可见光图像和近红外图像进行亮度融合时，近红外图像中各像素点的亮度值的权重，从而得到近红外图像的融合权重；权重，该近红外图像的融合权重中记录了对可见光图像和近红外图像进行亮度融合时，近红外图像中各像素点的亮度值的权重。

其中，在图像较暗的部分(即第一亮度图像中亮度值较低(如低于预设阈值，该阈值可以根据实际场景设定)的部分像素点)，可以增大融合图像中近红外图像的像素点亮度值的权重，以提高融合后图像的亮度。在图像较亮部分(即第一亮度图中亮度值较高(如高于预设阈值，该阈值可以根据实际场景设定)的部分像素点)，可以降低近红外图像的像素点的亮度值的权重，以便融合后的图像中可以保留更多可见光图像中的细节。

在本申请其中一个实施例中，上述根据第一亮度图像进行近红外图像融合权重计算，可以包括：

对于第一亮度图像中任一像素点，可以根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重。

在该实施例中，为了确定近红外图像融合权重，可以预先设定亮度映射模型，该亮度映射模型可以记录亮度值与融合权重的对应关系。

相应地，图像采集设备将近红外图像转换为第一亮度图像之后，可以分别根据各像素点的亮度值查询该亮度映射模型，以得到各像素点的融合权重。

举例来说，请参见图2，为本申请实施例提供的一种亮度映射模型的示意图，如图2所示，该亮度映射模型由min_wt，min_limit和max_limit这三个参数进行控制，该亮度映射模型的横坐标为亮度值，纵坐标为融合权重。其中：

对于第一亮度图像中的任一像素点，当其亮度值小于min_limit时，其融合权重为255；当其亮度值大于max_limit时，其融合权重为min_wt；当其亮度值处于[min_limit，max_limit]，其融合权重随亮度值的增大而逐渐减小，其亮度值和融合权重的具体映射关系可以根据实际亮度映射模型确定。

其中，参数min_wt，min_limit和max_limit的值可以为经验值，例如，可以分别为180，200，250。

需要说明的是，在该实施例中，为了优化图像融合效果，在基于亮度映射模型确定近红外图像的融合权重图之后，还可以对该融合权重图进行均值滤波处理，其具体实现在此不做赘述。

需要说明的是，步骤S120与步骤S130之间并不存在必然的时序关系，即可以先执行步骤S120中的操作，后执行步骤S130中的操作；也可以先执行步骤S130中的操作，后执行步骤S120中的操作；还可以并发执行步骤S120和步骤S130中的操作。

步骤S140、根据融合权重图对第一亮度图像和第二亮度图像进行亮度融合，以得到亮度融合图像。

本申请实施例中，图像采集设备在得到了近红外图像的融合权重图之后，可以根据该融合权重图对步骤S110中得到的第一亮度图像以及步骤S120中得到的第二亮度图像进行亮度融合处理，以得到亮度融合图像。

步骤S150、根据第二亮度图像、亮度融合图像以及RGB图像进行RGB融合，以得到融合后的RGB图像。

本申请实施例中，图像采集设备得到了亮度融合图像之后，可以根据该亮度融合图像、步骤S120中得到的第二亮度图像以及步骤S100中得到的RGB图像进行RGB融合处理，以得到融合后的RGB图像。

在本申请其中一个实施例中，上述根据第二亮度图像、亮度融合图像以及RGB图像进行RGB融合，以得到融合后的RGB图像，可以包括：

对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为RGB图像(融合前的RGB图像)中该位置的像素点的R、G、B三通道值，Y_LL为第二亮度图像中该位置的像素点的亮度值，Y为亮度融合图像中该位置的像素点的亮度值。

其中，当Y_LL＞0时，若V_in为RGB图像中该位置的像素点的R通道值时，则V_out为融合后的RGB图像中该位置的像素点的R通道值；若V_in为RGB图像中该位置的像素点的G通道值时，则V_out为融合后的RGB图像中该位置的像素点的G通道值；若V_in为RGB图像中该位置的像素点的B通道值时，则V_out为融合后的RGB图像中该位置的像素点的B通道值。

当Y_LL＝0时，融合后的RGB图像中同一像素点的R、G、B三通道值相等。

应该认识到，该实施例中描述的进行RGB融合的方式仅仅是本申请实施例中实现RGB融合的一种具体示例，而并不是对本申请保护范围的限定，在本申请实施例的基础上，本领域技术人员在未付出创造性劳动前提下对本申请实施例中的RGB融合方式进行的调整和变型均应属于本申请保护范围。

可见，在图1所示方法流程中，在融合可见光图像和近红外图像时，通过近红外图像获取场景理想的亮度信息，并从可见光图像中获取色彩信息，在此基础上对可见光图像和近红外图像进行亮度和色彩的融合，在提升低照度环境下(即外部环境亮度较低的场景下)图像的亮度的同时，保持了图像的色彩信息，提升了融合后的图像的质量。

请参见图3，为本申请实施例提供的另一种图像融合方法的流程示意图，其中，该图像融合方法可以应用于图像采集设备，如视频监控场景中的监控摄像头，如图3所示，该图像融合方法可以包括以下步骤：

步骤S300、将图像采集设备采集的可见光图像转换为RGB图像。

步骤S310、将图像采集设备采集的近红外图像转换为第一亮度图像。

步骤S320、将该RGB图像转换为第二亮度图像。

步骤S330、根据第一亮度图像进行近红外图像融合权重计算，以得到近红外图像的融合权重。

本申请实施例中，步骤S300～步骤S330的具体实现可以参见步骤S100～步骤S130中的相关描述，本申请实施例在此不再赘述。

步骤S340、对第一亮度图像进行细节计算，以得到第一细节图像。

步骤S350、对第二亮度图像进行细节计算，以得到第二细节图像。

本申请实施例中，为了提升融合后的图像的细节信息，图像采集设备得到第一亮度图像(第二亮度图像)之后，还可以对第一亮度图像(第二亮度图像)进行细节计算，以得到对应的细节图像(本文中将第一亮度图像通过细节计算得到的细节图像称为第一细节图像，将第二亮度图像通过细节计算得到的细节图像称为第二细节图像)。

在本申请其中一个实施例中，上述对第一亮度图像进行细节计算，以得到第一细节图像，可以包括：

对第一亮度图像进行均值滤波，以得到第一均值图像；

对第一亮度图像和第一均指图像进行求差，以得到第一差值图像；

对第一差值图像进行截止操作，以得到第一细节图像。

在该实施例中，图像采集设备得到第一亮度图像之后，可以对第一亮度图像进行均值滤波，以得到对应的均值图像(本文中称为第一均值图像)。

例如，图像采集设备可以对第一亮度图像进行半径为r(r为经验值，可以根据实际场景设定)的均值滤波，以得到第一均值图像。

在该实施例中，图像采集设备得到第一均值图像之后，可以对第一亮度图像和第一均值图像进行求差，以得到有符号的差值图像(本文中称为第一差值图像)。

考虑到第一亮度图像和第一均值图像进行求差后会被放大。例如，假设第一亮度图像和第一均值图像均为8bit图像，则对第一亮度图像和第一均值图像进行求差会得到9bit的差值图像。因此，图像采集设备得到第一差值图像之后，还需要对第一差值图像进行截止操作，将其截止到指定区间，以得到对应的细节图像(本文中称为第一细节图像)。

在该实施例其中一个实施方式中，上述对第一差值图像进行截止操作，可以通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为第一细节图像中像素点P的亮度细节，Diff_p为第一差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

其中，str、deNirMin以及deNirMax均为经验值，例如，str取值可以为64，deNirMin取值可以为-64，deNirMax取值可以为32。

本申请实施例中，图像采集设备对第二亮度图像进行细节计算，以得到第二细节图像的具体实现可以参见上述对第一亮度图像进行细节计算，以得到第一细节图像的相关描述，本申请实施例在此不再赘述。

需要说明的是，步骤S340与步骤S350之间并不存在必然的时序关系，即可以先执行步骤S340中的操作，后执行步骤S350中的操作；也可以先执行步骤S350中的操作，后执行步骤S340中的操作；还可以并发执行步骤S340和步骤S350中的操作。

步骤S360、根据融合权重、第一细节图像以及第二细节图像对第一亮度图像和第二亮度图像进行亮度融合。

本申请实施例中图像采集设备得到第一细节图像以及第二细节图像之后，可以根据该第一细节图像、第二细节图像以及步骤S330中得到的融合权重对步骤S310中得到的第一亮度图像和步骤S320中得到的第二亮度图像进行亮度融合。

在本申请其中一个实施例中，上述根据融合权重、第一细节图像以及第二细节图像对第一亮度图像和第二亮度图像进行亮度融合，可以包括：

对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：

Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为第一亮度图像中该位置的像素点的亮度值，wt为融合权重图中该位置的像素点的融合权重，Y_LL为第二亮度图像中该位置的像素点的亮度值，Detail_nir为第一细节图像中该位置的像素点的亮度细节，Detail_LL为第二细节图像中该位置的像素点的亮度细节。

步骤S370、根据第二亮度图像、亮度融合图像以及RGB图像进行RGB融合，以得到融合后的RGB图像。

本申请实施例中，步骤S370的具体实现可以参见步骤S150中的相关描述，本申请实施例在此不再赘述。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

在该实施例中，以图像采集设备采集到的可见光图像以及近红外图像均为8bit图像为例。

但应该认识到，图像采集设备采集的可见光图像以及近红外图像并不限于8bit图像，也可以为12bit图像或16bit图像。

在该实施例中，图像采集设备采集到可见光图像以及近红外图像之后，对于可见光图像，可以分别进行AWB校正、DENOISE处理、DEMOSIC处理以及GAMMA校正，得到8bit可见光RGB图像；对于近红外图像，可以分别进行DEMOSIC处理、GAMMA校正、RGB2Y(RGB to Y，将RGB图像转换为Y通道图像，即亮度图像)处理以及Y通道配准，得到8bit红外亮度图像。

对于8bit可见光图像，图像采集设备可以通过RGB2Y处理将其转换为8bit亮度图像，并对该8bit亮度图像进行细节计算，以得到8bit细节图像。

其中，图像采集设备对8bit可见光亮度图像进行细节计算的流程示意图可以参见图4，其中，图像采集设备可以对8bit可见光亮度图像进行半径为r的均值滤波，以得到8bit均值图像，然后，对8bit可见光亮度图像和8bit均值图像进行求差，得到9bit有符号的差值图像，进而，通过截止操作，将9bit有符号的差值图像截止到指定区间([deNirMin,deNirMax])，以得到8bit可见光细节图。

对于8bit红外亮度图像，图像采集设备一方面可以对其进行融合权重计算。

其中，图像采集设备对8bit红外亮度图像进行融合权重计算的流程图可以如图5所示，其中，图像采集设备可以根据8bit红外亮度图像中各像素点的亮度值查询预设亮度映射模型(可以如图2所示)，得到各像素点的融合权重，以得到8bit融合权重图，并对8bit融合权重图进行均值滤波。

另一方面，图像采集设备可以对8bit红外亮度图像进行细节计算，以得到8bit红外细节图像，其具体实现可以参见上述图像设备对8bit可见光亮度图像的相关描述，本申请实施例在此不再赘述。

图像采集设备得到8bit可见光细节图像和8bit红外细节图像之后，可以根据该8bit可见光细节图像、8bit红外细节图像以及8bit融合权重图对8bit可见光亮度图像和8bit红外亮度图像进行亮度融合，并根据融合后的亮度图、8bit可见光亮度图以及8bit可见光RGB图像进行RGB融合处理，以得到融合后的RGB图像，实现可见光图像和近红外图像的融合，其流程图可以如图6所示。

本申请实施例中，通过将图像采集设备采集的可见光图像转换为RGB图像，以及，将图像采集设备采集的近红外图像转换为第一亮度图像，然后，将RGB亮度图像转换为第二亮度图像，以及根据第一亮度图像进行近红外图像融合权重计算，以得到近红外图像的融合权重图，进而，根据融合权重图对第一亮度图像和第二亮度图像进行亮度融合，以得到亮度融合图像，并根据第二亮度图像、亮度融合图像以及RGB图像进行RGB融合，以得到融合后的RGB图像，实现了可见光图像和近红外图像的融合，提升了低照度环境下图像的亮度的同时，保持了图像的色彩信息，提升了融合后的图像的质量。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图7，为本申请实施例提供的一种图像融合装置的结构示意图，其中，该图像融合装置可以应用于上述方法实施例中的图像采集设备，如图7所示，该图像融合装置可以包括：

第一可见光处理单元710，用于将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像；

第一红外处理单元720，用于将所述图像采集设备采集的近红外图像转换为第一亮度图像；

第二可见光处理单元730，用于将所述RGB亮度图像转换为第二亮度图像；

第二红外处理单元740，用于根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

亮度融合单元750，用于根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

RGB融合单元760，用于根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

在一种可选的实施方式中，所述第二可见光处理单元730，还用于对所述第一亮度图像进行细节计算，以得到第一细节图像；

所述第二红外处理单元740，还用于对所述第二亮度图进行细节计算，以得到第二细节图像；

所述亮度融合单元750，具体用于根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合。

在一种可选的实施方式中，所述第二可见光处理单元730，具体用于对所述第一亮度图像进行均值滤波，以得到第一均值图像；对所述第一亮度图像和所述第一均值图像进行求差，以得到第一差值图像；对所述第一差值图像进行截止操作，以得到所述第一细节图像。

在一种可选的实施方式中，所述第二红外处理单元740，具体用于对所述第二亮度图像进行均值滤波，以得到第二均值图像；对所述第二亮度图像和所述第二均值图像进行求差，以得到第二差值图像；对所述第二差值图像进行截止操作，以得到所述第二细节图像。

在一种可选的实施方式中，对差值图像进行截止操作通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为细节图像中像素点P的亮度细节，Diff_p为差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

在一种可选的实施方式中，所述亮度融合单元750，具体用于对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：

Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为所述第一亮度图像中该位置的像素点的亮度值，wt为所述融合权重图中该位置的像素点的融合权重，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Detail_nir为所述第一细节图像中该位置的像素点的亮度细节，Detail_LL为所述第二细节图像中该位置的像素点的亮度细节。

在一种可选的实施方式中，所述第二红外处理单元740，具体用于对于所述第一亮度图像中任一像素点，根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重；其中，所述亮度映射模型记录有亮度值与融合权重的对应关系。

在一种可选的实施方式中，所述RGB融合单元760，具体用于对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为所述RGB图像中该位置的像素点的R、G、B三通道值，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Y为所述亮度融合图像中该位置的像素点的亮度值。

请参见图8，为本申请实施例提供的一种图像融合装置的硬件结构示意图。该图像融合装置可以包括处理器801、存储有机器可执行指令的机器可读存储介质802。处理器801与机器可读存储介质802可经由系统总线803通信。并且，通过读取并执行机器可读存储介质802中与图像融合逻辑对应的机器可执行指令，处理器801可执行上文描述的图像融合方法。

本文中提到的机器可读存储介质802可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质，例如图8中的机器可读存储介质802，所述机器可执行指令可由图像融合装置中的处理器801执行以实现以上描述的图像融合方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种图像融合方法，应用于图像采集设备，其特征在于，该方法包括：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述融合权重对所述第一亮度图像和所述第二亮度图像进行亮度融合之前，还包括：

对所述第一亮度图像进行细节计算，以得到第一细节图像，以及对所述第二亮度图进行细节计算，以得到第二细节图像；

所述根据所述融合权重对所述第一亮度图像和所述第二亮度图像进行亮度融合，包括：

根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一亮度图像进行细节计算，以得到第一细节图像，包括：

对所述第一亮度图像进行均值滤波，以得到第一均值图像；

对所述第一亮度图像和所述第一均值图像进行求差，以得到第一差值图像；

对所述第一差值图像进行截止操作，以得到所述第一细节图像。

4.根据权利要求2所述的方法，其特征在于，所述对所述第二亮度图像进行细节计算，以得到第二细节图像，包括：

对所述第二亮度图像进行均值滤波，以得到第二均值图像；

对所述第二亮度图像和所述第二均值图像进行求差，以得到第二差值图像；

对所述第二差值图像进行截止操作，以得到所述第二细节图像。

5.根据权利要求3或4所述的方法，其特征在于，对差值图像进行截止操作通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为细节图像中像素点P的亮度细节，Diff_p为差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

6.根据权利要求2所述的方法，其特征在于，所述根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合包括：

对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为所述第一亮度图像中该位置的像素点的亮度值，wt为所述融合权重图中该位置的像素点的融合权重，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Detail_nir为所述第一细节图像中该位置的像素点的亮度细节，Detail_LL为所述第二细节图像中该位置的像素点的亮度细节。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一亮度图像进行近红外图像融合权重计算，包括：

对于所述第一亮度图像中任一像素点，根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重；其中，所述亮度映射模型记录有亮度值与融合权重的对应关系。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像，包括：

对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为所述RGB图像中该位置的像素点的R、G、B三通道值，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Y为所述亮度融合图像中该位置的像素点的亮度值。

9.一种图像融合装置，应用于图像采集设备，其特征在于，该装置包括：

第一可见光处理单元，用于将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像；

第一红外处理单元，用于将所述图像采集设备采集的近红外图像转换为第一亮度图像；

第二可见光处理单元，用于将所述RGB亮度图像转换为第二亮度图像；

第二红外处理单元，用于根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

亮度融合单元，用于根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

RGB融合单元，用于根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

10.根据权利要求9所述的装置，其特征在于，

所述第二可见光处理单元，还用于对所述第一亮度图像进行细节计算，以得到第一细节图像；

所述第二红外处理单元，还用于对所述第二亮度图进行细节计算，以得到第二细节图像；

所述亮度融合单元，具体用于根据所述融合权重、所述第一细节图像以及所述第二细节图像对所述第一亮度图像和所述第二亮度图像进行亮度融合。

11.根据权利要求10所述的装置，其特征在于，

所述第二可见光处理单元，具体用于对所述第一亮度图像进行均值滤波，以得到第一均值图像；对所述第一亮度图像和所述第一均值图像进行求差，以得到第一差值图像；对所述第一差值图像进行截止操作，以得到所述第一细节图像。

12.根据权利要求10所述的装置，其特征在于，

所述第二红外处理单元，具体用于对所述第二亮度图像进行均值滤波，以得到第二均值图像；对所述第二亮度图像和所述第二均值图像进行求差，以得到第二差值图像；对所述第二差值图像进行截止操作，以得到所述第二细节图像。

13.根据权利要求11或12所述的装置，其特征在于，对差值图像进行截止操作通过以下公式实现：

Detail_p＝CLIP(Diff_p*str/128，deNirMin,deNirMax)

其中，Detail_p为细节图像中像素点P的亮度细节，Diff_p为差值图像中像素点P的值，str为细节强度控制参数，[deNirMin，deNirMax]为截止区间，CLIP()为截止计算。

14.根据权利要求10所述的装置，其特征在于，

所述亮度融合单元，具体用于对于任一位置的像素点，通过以下公式确定该像素点的融合亮度Y：

Y＝CLIP(((Y_nir*wt+Y_LL*(256-wt))/256+Detail_nir+Detail_LL)，0，255)

其中，Y_nir为所述第一亮度图像中该位置的像素点的亮度值，wt为所述融合权重图中该位置的像素点的融合权重，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Detail_nir为所述第一细节图像中该位置的像素点的亮度细节，Detail_LL为所述第二细节图像中该位置的像素点的亮度细节。

15.根据权利要求9所述的装置，其特征在于，

所述第二红外处理单元，具体用于对于所述第一亮度图像中任一像素点，根据该像素点的亮度值查询预设的亮度映射模型，以确定该亮度值对应的融合权重；其中，所述亮度映射模型记录有亮度值与融合权重的对应关系。

16.根据权利要求9所述的装置，其特征在于，

所述RGB融合单元，具体用于对于任一位置的像素点，通过以下公式确定该像素点的R、G、B三通道值V_out：

当Y_LL＞0时，V_out＝CLIP(V_in*Y/Y_LL，0，255)

当Y_LL＝0时，V_out＝CLIP(Y，0，255)

其中，Vin为所述RGB图像中该位置的像素点的R、G、B三通道值，Y_LL为所述第二亮度图像中该位置的像素点的亮度值，Y为所述亮度融合图像中该位置的像素点的亮度值。

17.一种图像融合装置，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。

18.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：

将所述图像采集设备采集的可见光图像转换为红绿蓝RGB图像，以及，将所述图像采集设备采集的近红外图像转换为第一亮度图像；

将所述RGB亮度图像转换为第二亮度图像，以及根据所述第一亮度图像进行近红外图像融合权重计算，以得到所述近红外图像的融合权重图；

根据所述融合权重图对所述第一亮度图像和所述第二亮度图像进行亮度融合，以得到亮度融合图像；

根据所述第二亮度图像、所述亮度融合图像以及所述RGB图像进行RGB融合，以得到融合后的RGB图像。