CN112767298B - 一种可见光图像和红外图像的融合方法、装置 - Google Patents

Abstract

本申请公开了可见光图像和红外图像的融合方法，融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：可见光图像中具有彩色信息的第一像素点的第一亮度分量被融合的第一比例趋于第一值，可见光图像中具有非彩色信息的第一像素点的第一亮度分量被融合的第一比例趋于第二值，红外图像中第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例；将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像。本申请使得融合图像中的彩色区域更接近可见光图像中的彩色信息，非彩色区域更接近红外图像的亮度信息。

Description

一种可见光图像和红外图像的融合方法、装置

技术领域

本发明涉及图像融合领域，特别地，涉及一种可见光图像和红外图像的融合方法。

背景技术

现有的红外图像和可见光图像的融合方法，一种偏重于可见光的图像效果，一种偏重于红外图像的图像效果。偏重于红外图像效果的融合方法，信噪比好，色彩失真较大；偏重于可见光图像效果的融合方法，色彩还原较好，信噪比较差。

发明内容

本发明提供了一种可见光图像和红外图像的融合方法，在达到较佳信噪比的同时，保持可见光图像的色彩。

本发明提供的一种可见光图像和红外图像的融合方法是这样实现的：

融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

在所述第一像素点具有彩色信息时，则所述第一像素点的第一亮度分量被融合的第一比例趋于第一值，第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

在所述第一像素点具有非彩色信息时，则所述第一像素点的第一亮度分量被融合的第三比例趋于第二值，第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；

将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，

第一像素点、第二像素点、第三像素点在图像中的位置对应；

第一值大于第二值。

较佳地，所述第一值、第二值与第一像素点的RGB通道的像素值相关；

所述第一比例大于第二比例；

所述第三比例小于第四比例。

较佳地，在所述第一像素点具有彩色信息时，该第一像素点的RGB通道中最大像素值与最小像素值之差小于设定的第一阈值的像素点，

在所述第一像素点具有非彩色信息时，该第一像素点RGB通道中最大像素值与最小像素值之差大于等于所述设定第一阈值的像素点；

所述设定第一阈值根据第一像素点的亮度分量、以及设定的系数确定；

所述第一像素点、第二像素点、第三像素点具有相同的像素坐标信息。

较佳地，所述融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，包括：

利用可见光图像，获取可见光图像的暗通道图像，使得暗通道图像像素点的像素值满足：在所述第一像素点具有非彩色信息、且RGB通道最大像素值不小于设定的第二阈值时，暗通道图像中的像素点的像素值趋于较大；在所述第一像素点具有彩色信息、或者所述第一像素点具有非彩色信息且RGB通道最大像素值小于所述第二阈值时，暗通道图像中的像素点的像素值趋于较小；

利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值；

利用第一融合权值和第二融合权值，对可见光图像中第一像素点的第一亮度分量、以及红外图像中第二像素点的第二亮度分量分别进行加权融合；

其中，第一融合权值与第二融合权值之和为1。

较佳地，所述利用可见光图像，获取可见光图像的暗通道图像，包括：

对于可见光图像中每个第一像素点，提取该第一像素点的RGB通道中的最小像素值，作为暗通道图像中与该第一像素点在图像中的位置对应的第四像素点的第一像素值，

以暗通道图像中该第四像素点为中心，选取其邻域范围内的最小像素值，替换该第四像素点的第一像素值，得到该第四像素点的第二像素值。

较佳地，所述利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值，包括：

将暗通道图像中每个第四像素点的第二像素值除以暗通道图像像素值取值上限，所得到的结果作为第二融合权值，

将1减去第二融合权值之后的剩余融合权值，作为第一融合权值。

较佳地，所述利用第一融合权值和第二融合权值，对可见光图像中第一像素点的第一亮度分量、以及红外图像中第二像素点的第二亮度分量分别进行加权融合，包括：

对于可见光图像中每个第一像素点，将第一融合权值加权该第一像素点的第一亮度分量，得到加权后的第一亮度分量；

将第二融合权值加权红外图像中第二像素点的第二亮度分量，得到加权后的第二亮度分量；

将加权后的第一亮度分量与加权后的第二亮度分量相加，得到第三像素点的融合亮度分量。

较佳地，所述将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，包括：

将可见光图像中第一像素点的色彩分量进行降噪处理，

将第三像素点的融合亮度分量与第一像素点降噪后的UV分量进行融合。

本发明还提供一种可见光图像和红外图像的融合装置，该装置包括，

第一融合模块，用于融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

在所述第一像素点具有彩色信息时，则所述第一像素点的第一亮度分量被融合的第一比例趋于第一值，第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

在所述第一像素点具有非彩色信息时，则所述第一像素点的第一亮度分量被融合的第三比例趋于第二值，第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；

第二融合模块，用于将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，

第一像素点、第二像素点、第三像素点在图像中的位置对应；

第一值大于第二值。

较佳地，所述第一融合模块包括，

暗通道图像生成子模块，利用可见光图像，获取可见光图像的暗通道图像，使得：暗通道图像像素点的像素值满足：在所述第一像素点具有非彩色信息、且RGB通道最大像素值不小于设定的第二阈值时，暗通道图像中的像素点的像素值趋于较大；在所述第一像素点具有彩色信息、或者所述第一像素点具有非彩色信息且RGB通道最大像素值小于所述第二阈值时，暗通道图像中的像素点的像素值趋于较小；

融合权值确定子模块，利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值；

亮度融合子模块，利用第一融合权值和第二融合权值，对第一像素点的第一亮度分量、以及第二像素点第二亮度分量分别进行加权融合。

本申请提供的一种可见光图像和红外图像的融合方法，通过采用可见光图像中具有彩色信息的第一像素点的第一亮度分量被融合的第一比例趋于第一值，红外图像中第二像素点的第二亮度分量被融合的第二比例趋于除第一比例之外的剩余比例，可见光图像中具有非彩色信息的第一像素点的第一亮度分量被融合的第三比例趋于第二值，红外图像中第二像素点的第二亮度分量被融合的第四比例趋于除第一比例之外的剩余比例的策略来进行亮度分量融合，使得融合图像中的彩色区域更接近可见光图像中的彩色信息，非彩色区域更接近红外图像的亮度信息，从而从整体而言，既保持了可见光图像的彩色，又保持了红外图像较好的信噪比，达到较佳的融合效果。

附图说明

图1为本申请实施例可见光图像和红外图像的融合方法的一种流程示意图。

图2为本申请实施例可见光图像和红外图像的融合方法的一种流程示意图。

图3为本实施例融合过程中所涉及的各物理量的一种关系示意图。

图4为本实施例融合装置的一种示意图。

图5为本实施例融合装置的另一种示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

申请人通过对红外图像的大量数据分析发现，对人眼的视觉感而言，导致红外图像与可见光图像的融合图像中色彩不理想的原因，并不是可见光图像中色彩信息本身，而是由于融合图像的亮度导致了色彩不理想；

从像素值的角度而言，如果图像中的任一像素点的RGB(红绿蓝)通道中最大像素值与最小像素值之差小于设定的第一阈值，则该像素点具有非彩色信息，否则，该像素点具有彩色信息。所述第一阈值根据像素点的亮度分量、以及设定系数确定。即Threshold＝slope*Y，其中Y为可见光图像中像素点的亮度分量，slope为设定的系数，取值范围(0,1)，从而第一阈值与亮度相关，亮度越大，第一阈值越大。

作为一个例子，当RGB＝(10,15,20)，亮度分量Y＝14，设定系数为0.2，则设定第一阈值为3；当RGB＝(200,215,220)，亮度分量Y＝211，设定系数为0.2，则设定第一阈值为42。

从人眼的视觉感而言，白色、灰色、黑色属于非彩色，其余为彩色。作为一个例子，对于位宽为8比特的图像，RGB通道取值均为255为白色像素点，RGB通道取值均为0为黑色像素点，RGB通道的取值相同为灰色像素点。

有鉴于此，本申请通过可见光图像的暗通道图像来确定可见光图像中第一像素点第一亮度分量的第一融合权值、以及红外图像中第二像素点第二亮度分量的第二融合权值，使得融合图像中的第三像素点的融合亮度分量中：

可见光图像中具有彩色信息的第一像素点的第一亮度分量尽可能多地被融合，剩余融合亮度分量来自于红外图像中第二像素点的第二亮度分量，

可见光图像中具有非彩色信息的第一像素点的亮度分量尽可能少地被融合，剩余融合亮度分量来自于红外图像中第二像素点的第二亮度分量。

参见图1所示，图1为本申请实施例可见光图像和红外图像的融合方法的一种流程示意图。该方法包括，

步骤101，融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

当第一像素点具有彩色信息时，该第一亮度分量被融合的第一比例趋于第一值，红外图像中第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

当第一像素点具有非彩色信息时，该第一像素点的第一亮度分量被融合的第三比例趋于第二值，红外图像中第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；较佳地，所述第一值、第二值与第一像素点的RGB通道的像素值相关；所述第一比例大于第二比例；所述第三比例小于第四比例。

步骤102，将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，第一像素点、第二像素点、第三像素点在各自图像中的位置对应，作为一个例子，第一像素点、第二像素点、第三像素点具有相同的像素坐标信息；

第一值大于第二值。

本申请对具有彩色信息的第一像素点和具有非彩色信息的第一像素点的亮度分量采用不同融合策略，从而使得融合图像中彩色区域的色彩信息更接近可见光图像中的色彩信息，非彩色区域保持了红外图像的信噪比。

为便于理解本申请，以下进行具体说明。

参见图2所示，图2为本申请实施例可见光图像和红外图像的融合方法的一种流程示意图。该方法包括，

步骤201，鉴于待融合的可见光图像和红外图像通常分别来自于可见光传感器和红外传感器，实际应用中，可见光图像与红外图像的像素尺寸、图像畸变可能不同，故而，较佳地，将可见光图像中的第一像素点和红外图像中的第二像素点进行匹配，以使得可见光图像的第一像素点所对应的空间点和红外图像的第二像素点所对应的空间点相同，这样，可以得到配准后的可见光图像和配准后的红外图像。

较佳地，配准后的可见光图像的位宽与配准后的红外图像的位宽相同。

步骤202，基于可见光图像，获取暗通道图像。

若可见光图像的图像数据格式为RGB格式，则对于可见光图像中的每个第一像素点，提取该第一像素点的RGB通道中的最小像素值，得到暗通道图像中第四像素点的第一像素值，再以该暗通道图像中的每个第四像素点为中心，取一定大小的邻域窗口，以邻域范围内的最小像素值代替该第四像素点的第一像素值，得到该第四像素点的第二像素值，作为暗通道图像中第四像素点的像素值。

其中，第一像素点与第四像素点在图像中的位置对应，作为一个例子，第一像素点与第四像素点的像素坐标相同。

若可见光图像的图像数据格式为YUV格式，则先将其转换为RGB格式，再获取暗通道图像。

用数学式表示为：

dark(i,j)＝min_(i,j)∈Ω(R(i,j)，G(i,j)，B(i,j))

其中，dark(i,j)表示暗通道图像中第四像素点(i,j)的像素值，即，第二像素值；

R(i,j)，G(i,j)，B(i,j)分别表示可见光图像中第一像素点(i,j)的R、G、B通道的像素值，其中的最小像素值即为第一像素值；

(i,j)表示像素点的坐标信息，

Ω表示以第四像素点(i,j)为中心的邻域范围内的像素点集合。

通过暗通道图像，使得：

当第一像素点具有非彩色信息、且RGB通道最大像素值不小于第二阈值时，对应的暗通道图像像素点的像素值趋于较大；

而当第一像素点具有彩色信息、或者第一像素点具有非彩色信息且RGB通道最大像素值小于第二阈值时，对应的暗通道图像像素点的像素值趋于较小。其中，第二阈值根据人眼视觉为黑色来设定，以使得RGB通道最大像素值小于第二阈值的第一像素点为黑色像素点。

获取暗通道图像的方式有利于提高暗通道图像的信噪比，也从而有利于提高融合图像的信噪比。

步骤203，利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值。

在该步骤中，根据暗通道图像的位宽，可以确定暗通道图像像素值取值范围中的最大值。计算暗通道图像中每个第四像素点的像素值所占像素值的最大取值的比例，作为第二融合权值，也就是说，将每个第四像素点的第二像素值除以暗通道图像像素值取值范围中的最大值，所得到的结果作为第二融合权值，

用数学式表示为：

其中，wt₂(i,j)为第二像素点(i,j)的第二融合权值，2^b-1为暗通道图像像素值取值上限，b为暗通道图像的位宽。例如，对于8比特位宽的图像，取值上限为255。

根据第二融合权值，确定第一融合权值为：

wt₁(i,j)1-wt₂(i,j)其中，wt₁(i,j)为第一像素点(i,j)的第一融合权值，其为1减去第二融合权值之后的剩余融合权值。

鉴于具有非彩色信息的第一像素点中，除RGB通道最大像素值小于第二阈值之外的其余第一像素点对应的暗通道图像像素点的像素值较大，而具有彩色信息的第一像素点、以及具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点对应的暗通道图像像素点的像素值较小，故而，具有非彩色信息的第一像素点中，除RGB通道最大像素值小于第二阈值之外的其余第一像素点的第一融合权值较小，第二像素点的第二融合权值较大，具有彩色信息的第一像素点、以及具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点的第一融合权值较大，第二像素点的第二融合权值较小。

步骤204，分别提取可见光图像中每个第一像素点的第一亮度分量、红外图像中每个第二像素点的第二亮度分量。

在该步骤中，若可见光图像的图像数据格式为RGB格式，则先将其转换为YUV格式，然后提取第一亮度分量Y_vis(亮度信息)；若为YUV数据，则可直接分离第一亮度分量Y和UV分量(色度信息)。

步骤205，将可见光图像中第一像素点的第一亮度分量与红外图像中第二像素点的第二亮度分量按照所述融合权值进行融合，得到融合图像中第三像素点的融合亮度分量。

在该步骤中，用第一融合权值加权可见光图像中第一像素点的第一亮度分量，得到加权后的第一亮度分量，用第二融合权值加权红外图像中第二像素点的第二亮度分量，得到加权后的第二亮度分量，将加权后的第一亮度分量与加权后的第二亮度分量进行累加，得到融合图像中第三像素点的融合亮度分量。

用数学式表示为：

Y_merge(i,j)＝wt₁(i,j)*Y_vis(i,j)+wt₂(i,j)*Y_nir(i,j)

＝(1-wt₂(i,j))*Y_vis(i,j)+wt₂(i,j)*Y_nir(i,j)

其中，Y_merge(i,j)表示融合图像中第三像素点(i,j)的融合亮度分量，Y_vis(i,j)表示可见光图像中第一像素点(i,j)的第一亮度分量，Y_nir(i,j)表示红外图像中第二像素点(i,j)的第二亮度分量。

结合具有非彩色信息的第一像素点中，除RGB通道最大像素值小于第二阈值之外的其余第一像素点的第一融合权值较小，第二像素点的第二融合权值较大；具有彩色信息的第一像素点、以及具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点的第一融合权值较大，第二像素点的第二融合权值较小，可见，融合图像中第三像素点的融合亮度分量中：

由于具有彩色信息的第一像素点、以及具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点的第一融合权值较大，相对而言，第二像素点的第二融合权值较小，这样，可见光图像中具有彩色信息的第一像素点、以及具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点的第一亮度分量会尽可能多地被融合，相对而言，红外图像中第二像素点的第二亮度分量尽可能少地被融合，

具有非彩色信息的第一像素点中，除RGB通道最大像素值小于第二阈值之外的其余第一像素点的第一融合权值较小，相对而言，第二像素点的第二融合权值较大，这样，可见光图像中具有非彩色信息的第一像素点中，除RGB通道最大像素值小于第二阈值之外的其余第一像素点的第一亮度分量尽可能少地被融合，相对而言，红外图像中第二像素点的第二亮度分量尽可能多地被融合。

步骤206，将融合亮度分量与可见光图像中的UV分量进行融合，得到融合图像。

在该步骤中，将每个第三像素点的融合亮度分量与第一像素点的UV分量作为该第三像素点的YUV格式的像素值，所有的第三像素点形成融合图像。

较佳地，对色彩信息进行降噪处理，例如，采用高斯滤波方式对UV分量进行滤波，以去除部分色彩噪声，再将降噪后的UV分量与融合亮度分量进行融合，得到第三像素点的YUV格式的像素值。

采用本申请实施例的融合方法，利用暗通道图像来确定亮度分量的融合权值，具有彩色信息的第一像素点、以及具有黑色信息的第一像素点的第一亮度分量得以较多地被融合，使得融合图像中的彩色信息以及黑色信息更接近可见光图像中彩色信息，保持了可见光色彩，融合图像中的除黑色信息之外的非彩色信息更接近红外图像，保持了较好的信噪比。这样，从整体上来说，既保持了可见光图像的颜色，保持了红外图像的信噪比。

所应理解的是，作为一种演变，上述具有非彩色信息且RGB通道最大像素值小于第二阈值的第一像素点也可以归为具有彩色信息的第一像素点来进行亮度分量的融合。作为一个例子，通过调整融合权值，可使得：可见光图像中具有彩色信息的第一像素点的第一亮度分量被融合的第一比例，大于，具有非彩色信息的第一像素点的第一亮度分量被融合的第三比例；对应地，与可见光图像中具有彩色信息的第一像素点对应的所述红外图像中第二像素点的第二亮度分量被融合的第二比例，小于或等于，与可见光图像中具有非彩色信息的第一像素点对应的所述红外图像中第二像素点的第二亮度分量被融合的第四比例。

类推地，通过调整融合权值，也可使得：可见光图像中具有彩色信息的第一像素点的第一亮度分量被融合的第一比例趋于第一值，红外图像中第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例；可见光图像中具有非彩色信息的第一像素点的第一亮度分量被融合的第三比例趋于第二值，红外图像中第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例。

如此一来，便可使得可见光图像中具有彩色信息的第一像素点的第一亮度分量尽可能多地被融合，剩余融合亮度分量来自于红外图像中第二像素点的第二亮度分量；可见光图像中具有非彩色信息的第一像素点的亮度分量尽可能少地被融合，剩余融合亮度分量来自于红外图像中第二像素点的第二亮度分量。

参见图3所示，图3为本实施例融合过程中所涉及的各物理量的一种关系示意图。按照步骤202、203逐像素点地得到第一融合权值和第二融合权值之后，利用第一融合权值逐像素点地加权第一亮度分量，利用第二融合权值逐像素点地加权第二亮度分量，然后逐像素点地将加权后的第一亮度分量与加权后的第二亮度分量进行融合，得到第三像素点的融合亮度分量。

参见图4所示，图4为本实施例融合装置的一种示意图。该融合装置包括：

第一融合模块，用于融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

在所述第一像素点具有彩色信息时，则所述第一像素点的第一亮度分量被融合的第一比例趋于第一值，第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

在所述第一像素点具有非彩色信息时，则所述第一像素点的第一亮度分量被融合的第三比例趋于第二值，第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；第二融合模块，用于将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，第一像素点、第二像素点、第三像素点在图像中的位置对应。

较佳地，所述第一融合模块包括，

暗通道图像生成子模块，用于利用可见光图像，获取可见光图像的暗通道图像，使得：在所述第一像素点具有非彩色信息、且RGB通道最大像素值不小于设定的第二阈值时，暗通道图像中的像素点的像素值趋于较大；在所述第一像素点具有彩色信息、或者所述第一像素点具有非彩色信息且RGB通道最大像素值小于所述第二阈值时，暗通道图像中的像素点的像素值趋于较小；

融合权值确定子模块，用于利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值；

亮度融合子模块，用于利用第一融合权值和第二融合权值，对第一像素点的第一亮度分量、以及第二像素点第二亮度分量分别进行加权融合。

参见图5所示，图5为本实施例融合装置的另一种示意图。该融合装置包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置执行所述计算机程序实现本申请融合方法的步骤。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请所述融合方法的步骤。

对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种可见光图像和红外图像的融合方法，其特征在于，该方法包括，

融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

在所述第一像素点具有彩色信息时，该第一像素点RGB通道中最大像素值与最小像素值之差大于等于设定的第一阈值，则所述第一像素点的第一亮度分量被融合的第一比例趋于第一值，第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

在所述第一像素点具有非彩色信息时，该第一像素点的RGB通道中最大像素值与最小像素值之差小于所述第一阈值，则所述第一像素点的第一亮度分量被融合的第三比例趋于第二值，第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；

将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，

第一像素点、第二像素点、第三像素点在图像中的位置对应；

第一值大于第二值。

2.如权利要求1所述的融合方法，其特征在于，所述第一值、第二值与第一像素点的RGB通道的像素值相关；

所述第一比例大于第二比例；

所述第三比例小于第四比例。

3.如权利要求1或2所述的融合方法，其特征在于，所述设定第一阈值根据第一像素点的亮度分量、以及设定的系数确定；

所述第一像素点、第二像素点、第三像素点具有相同的像素坐标信息。

4.如权利要求3所述的融合方法，其特征在于，所述融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，包括：

利用可见光图像，获取可见光图像的暗通道图像，使得暗通道图像像素点的像素值满足：在所述第一像素点具有非彩色信息、且RGB通道最大像素值不小于设定的第二阈值时，暗通道图像中的像素点的像素值趋于较大；在所述第一像素点具有彩色信息、或者所述第一像素点具有非彩色信息且RGB通道最大像素值小于所述第二阈值时，暗通道图像中的像素点的像素值趋于较小；

利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值；

利用第一融合权值和第二融合权值，对可见光图像中第一像素点的第一亮度分量、以及红外图像中第二像素点的第二亮度分量分别进行加权融合；

其中，第一融合权值与第二融合权值之和为1。

5.如权利要求4所述的融合方法，其特征在于，所述利用可见光图像，获取可见光图像的暗通道图像，包括：

对于可见光图像中每个第一像素点，提取该第一像素点的RGB通道中的最小像素值，作为暗通道图像中与该第一像素点在图像中的位置对应的第四像素点的第一像素值，

以暗通道图像中该第四像素点为中心，选取其邻域范围内的最小像素值，替换该第四像素点的第一像素值，得到该第四像素点的第二像素值。

6.如权利要求4所述的融合方法，其特征在于，所述利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值，包括：

将暗通道图像中每个第四像素点的第二像素值除以暗通道图像像素值取值上限，所得到的结果作为第二融合权值，

将1减去第二融合权值之后的剩余融合权值，作为第一融合权值。

7.如权利要求4所述的融合方法，其特征在于，所述利用第一融合权值和第二融合权值，对可见光图像中第一像素点的第一亮度分量、以及红外图像中第二像素点的第二亮度分量分别进行加权融合，包括：

对于可见光图像中每个第一像素点，将第一融合权值加权该第一像素点的第一亮度分量，得到加权后的第一亮度分量；

将第二融合权值加权红外图像中第二像素点的第二亮度分量，得到加权后的第二亮度分量；

将加权后的第一亮度分量与加权后的第二亮度分量相加，得到第三像素点的融合亮度分量。

8.如权利要求1所述的融合方法，其特征在于，所述将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，包括：

将可见光图像中第一像素点的色彩分量进行降噪处理，

将第三像素点的融合亮度分量与第一像素点降噪后的UV分量进行融合。

9.一种可见光图像和红外图像的融合装置，其特征在于，该装置包括，

第一融合模块，用于融合可见光图像中第一像素点的第一亮度分量和红外图像中第二像素点的第二亮度分量，使得融合图像中第三像素点的融合亮度分量满足：

在所述第一像素点具有彩色信息时，该第一像素点RGB通道中最大像素值与最小像素值之差大于等于设定的第一阈值，则所述第一像素点的第一亮度分量被融合的第一比例趋于第一值，第二像素点的第二亮度分量被融合的第二比例为除第一比例之外的剩余比例，

在所述第一像素点具有非彩色信息时，该第一像素点的RGB通道中最大像素值与最小像素值之差小于所述第一阈值，则所述第一像素点的第一亮度分量被融合的第三比例趋于第二值，第二像素点的第二亮度分量被融合的第四比例为除第三比例之外的剩余比例；

第二融合模块，用于将第三像素点的融合亮度分量与可见光图像中第一像素点的色彩分量融合，得到融合图像；

其中，

第一像素点、第二像素点、第三像素点在图像中的位置对应；

第一值大于第二值。

10.如权利要求9所述的融合装置，其特征在于，所述第一融合模块包括，

暗通道图像生成子模块，利用可见光图像，获取可见光图像的暗通道图像，使得：暗通道图像像素点的像素值满足：在所述第一像素点具有非彩色信息、且RGB通道最大像素值不小于设定的第二阈值时，暗通道图像中的像素点的像素值趋于较大；在所述第一像素点具有彩色信息、或者所述第一像素点具有非彩色信息且RGB通道最大像素值小于所述第二阈值时，暗通道图像中的像素点的像素值趋于较小；

融合权值确定子模块，利用暗通道图像，确定用于融合可见光图像中第一像素点的第一亮度分量的第一融合权值、以及用于融合红外图像中第二像素点的第二亮度分量的第二融合权值；

亮度融合子模块，利用第一融合权值和第二融合权值，对第一像素点的第一亮度分量、以及第二像素点第二亮度分量分别进行加权融合。

Images