CN113538303B - 图像融合方法 - Google Patents

图像融合方法 Download PDF

Info

Publication number
CN113538303B
CN113538303B CN202010310011.5A CN202010310011A CN113538303B CN 113538303 B CN113538303 B CN 113538303B CN 202010310011 A CN202010310011 A CN 202010310011A CN 113538303 B CN113538303 B CN 113538303B
Authority
CN
China
Prior art keywords
frequency component
low
fusion
pixel point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310011.5A
Other languages
English (en)
Other versions
CN113538303A (zh
Inventor
傅斌
田仁富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010310011.5A priority Critical patent/CN113538303B/zh
Publication of CN113538303A publication Critical patent/CN113538303A/zh
Application granted granted Critical
Publication of CN113538303B publication Critical patent/CN113538303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出图像融合方法。方法包括：获取可见光图像及与其配准的红外光图像；获取可见光图像中的第一亮度信息及红外光图像中的第二亮度信息；获取第一亮度信息的第一低频分量和第一高频分量、及第二亮度信息的第二低频分量和第二高频分量；利用第一低频分量与第二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量；利用融合权重矩阵对第一低频分量和第三低频分量进行加权融合，得到融合低频分量；利用融合低频分量、第一高频分量和第二高频分量得到融合亮度信息；根据融合亮度信息和可见光图像的颜色信息，得到融合图像。本发明实施例在保证颜色真实性的基础上，提升了融合图像的信噪比和细节显示效果。

Description

图像融合方法
技术领域
本发明涉及图像处理技术领域，尤其涉及图像融合方法。
背景技术
目前，在图像处理领域中有许多图像融合的方案，多数是利用单摄像头分光结构或者双摄像头结构来获取不同谱段的信息，基本以可见光图像和非可见光图像为主，然后结合两者的优势进行图像融合，从而得到更好的图像效果。
尽管各个方案的融合算法迥异，但想要达到的最终目的确是一致的，即提升低照度下的图像效果，体现在信噪比、颜色、细节轮廓等多个方面。但是物体对于不同光谱的反射和吸收特性不同，因此同一物体在可见光图像和红外图像里的亮度及纹理表现可能差异很大，尤其是在低照度环境下。对于监控领域而言，在合理的补光条件下，往往非可见光图像的信噪比和景物的纹理较优，但非可见光图像不具备真实颜色信息，因此选用过多红外信息容易导致颜色失真、纹理表现不自然等现象。因此，如何在提升信噪比和细节的同时下，保证颜色的真实性和整体画面的自然度是图像融合算法的主要难点之一。
发明内容
本发明实施例提出图像融合方法，以使得融合图像既具备颜色真实性，又提高信噪比和细节显示效果。
本发明实施例的技术方案是这样实现的：
一种图像融合方法，该方法包括：
获取可见光图像、以及与所述可见光图像配准的红外光图像；
获取所述可见光图像中的第一亮度信息、以及所述红外光图像中的第二亮度信息；
基于预先设定的滤波参数，获取所述第一亮度信息的第一低频分量和第一高频分量、以及所述第二亮度信息的第二低频分量和第二高频分量，其中，所述滤波参数根据所述可见光图像和所述红外光图像的成像场景的照度水平确定；
利用所述第一低频分量与所述第二低频分量之间的残差数据补偿所述第二低频分量，得到第三低频分量；
利用所述第一低频分量和所述第三低频分量的差值确定融合权重矩阵；
利用所述融合权重矩阵对所述第一低频分量和所述第三低频分量进行加权融合，得到融合低频分量，其中，所述融合权重矩阵中的各融合权重因子产生使所述融合低频分量相比于所述第二亮度信息更接近所述第一亮度信息的融合趋势；
利用所述融合低频分量、以及所述第一高频分量和所述第二高频分量得到融合亮度信息；
根据所述融合亮度信息和所述可见光图像的颜色信息，得到所述融合图像。
所述第一低频分量和所述第二低频分量均为在所述可见光图像和所述红外光图像的原始尺度下获得的低频分量，所述第一高频分量和所述第二高频分量均包括在大于所述原始尺度的多个不同尺度下获得的高频分量。
所述第一低频分量和所述第一高频分量是利用金字塔多尺度分解法从所述可见光图像中得到的，所述第二低频分量和所述第二高频分量是利用所述金字塔多尺度分解法从所述红外光图像中得到的。
利用所述第一低频分量与所述第二低频分量之间的残差数据补偿所述第二低频分量，得到第三低频分量，包括：
确定所述第一低频分量与所述第二低频分量之间的所述残差数据；
利用预先设定的空域滤波算子、与所述第一低频分量关联的第一值域滤波算子、与所述第二低频分量关联的第二值域滤波算子、以及与所述残差数据关联的第三值域滤波算子，对所述残差数据进行滤波处理；
将滤波处理后的所述残差数据与所述第二低频分量融合，得到所述第三低频分量。
确定所述第一低频分量与所述第二低频分量之间的所述残差数据，包括：
Figure BDA0002457282980000031
其中，(i,j)为图像中的像素点的坐标，RDbase(i,j)为像素点(i,j)的所述残差数据，VSbase(i,j)为像素点(i,j)的所述第一低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，k和M为预设系数。
利用预先设定的空域滤波算子、与所述第一低频分量关联的第一值域滤波算子、与所述第二低频分量关联的第二值域滤波算子、以及与所述残差数据关联的第三值域滤波算子，对所述残差数据进行滤波处理，包括：
Figure BDA0002457282980000032
H(m,n)＝Hp(m,n)*HRD(m,n)*HVS(m,n)*HIR(m,n)，其中：
Figure BDA0002457282980000033
Figure BDA0002457282980000034
Figure BDA0002457282980000035
Figure BDA0002457282980000036
其中，RDbaseflt(i,j)为像素点(i,j)的滤波后的残差数据，(m,n)为像素点(i,j)的邻域Ω中的像素点，H(m,n)为像素点(m,n)的滤波算子，Hp(m,n)为像素点(m,n)的所述空域滤波算子，HRD(m,n)为像素点(m,n)的所述第三值域滤波算子，HVS(m,n)为像素点(m,n)的所述第一值域滤波算子，HIR(m,n)为像素点(m,n)的所述第二值域滤波算子，RDbase(i,j)为像素点(i,j)的所述残差数据，RDbase(m,n)为像素点(m,n)的所述残差数据，VSbase(i,j)为像素点(i,j)的所述第一低频分量，VSbase(m,n)为像素点(m,n)的所述第一低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，IRbase(m,n)为像素点(m,n)的所述第二低频分量，w1、w2、w3、w4、σ1、σ2、σ3、σ4为预设参数。
将滤波处理后的所述残差数据与所述第二低频分量融合，得到所述第三低频分量，包括：
Nbase(i,j)＝IRbase(i,j)+k*RDbaseflt(i,j)-M
其中，Nbase(i,j)为像素点(i,j)的所述第三低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，RDbaseflt(i,j)为像素点(i,j)的滤波后的所述残差数据，k和M为预设系数。
利用所述第一低频分量和所述第三低频分量的差值确定融合权重矩阵，包括：
Figure BDA0002457282980000041
其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)
fs(VSbase(i,j))＝CLIP(α*(VSbase(i,j))ratio,smin,smax)
Figure BDA0002457282980000042
w_mix(i,j)为像素点(i,j)的融合权重因子，VSbase(i,j)为像素点(i,j)的所述第一低频分量，Nbase(i,j)为像素点(i,j)的所述第三低频分量，fs(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，smin、smax分别为预设最小值限值、最大值限值，A和B为预设系数。
利用所述融合权重矩阵对所述第一低频分量和所述第三低频分量进行加权融合，得到融合低频分量，包括：
Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)
其中，Megbase(i,j)为像素点(i,j)的所述融合低频分量。
利用所述融合低频分量、以及所述第一高频分量和所述第二高频分量得到融合亮度信息，包括：
以所述原始尺度重构所述第一高频分量和所述第二高频分量，分别得到关联所述第一高频分量的第三高频分量、以及关联所述第二高频分量的第四高频分量；
将所述第三高频分量和所述第四高频分量融合，得到所述融合高频分量；
将所述融合低频分量与所述融合高频分量叠加，得到所述融合亮度信息。
本发明实施例中，通过获取可见光图像和红外光图像的亮度信息的第一、二低频分量和第一、二高频分量，并利用第一、二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量，接着将第一、三低频分量进行加权融合，得到融合低频分量，该融合低频分量在基础亮度上接近可见光图像的亮度信息；然后将融合低频分量和第一、二高频分量进行融合，得到融合亮度信息，该融合亮度信息与可见光图像的亮度信息非常接近，再与可见光图像的颜色信息进行融合，从而使得融合图像既具备颜色真实性，又提高了信噪比和细节显示效果。
附图说明
图1为本发明一实施例提供的图像融合方法流程图；
图2为本发明另一实施例提供的图像融合方法流程图；
图3为本发明又一实施例提供的图像融合方法流程图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明一实施例提供的图像融合方法流程图，其具体步骤如下：
步骤101：获取可见光图像、以及与可见光图像配准的红外光图像。
步骤102：获取可见光图像中的第一亮度信息、以及红外光图像中的第二亮度信息。步骤103：基于预先设定的滤波参数，获取第一亮度信息的第一低频分量和第一高频分量、以及第二亮度信息的第二低频分量和第二高频分量，其中，滤波参数根据可见光图像和红外光图像的成像场景的照度水平确定。
步骤104：利用第一低频分量与第二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量。
步骤105：利用第一低频分量和第三低频分量的差值确定融合权重矩阵。
步骤106：利用融合权重矩阵对第一低频分量和第三低频分量进行加权融合，得到融合低频分量，其中，融合权重矩阵中的各融合权重因子产生使融合低频分量相比于第二亮度信息更接近第一亮度信息的融合趋势。
步骤107：利用融合低频分量、以及第一高频分量和第二高频分量得到融合亮度信息。
步骤108：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。
上述实施例中，通过获取可见光图像和红外光图像的亮度信息的第一、二低频分量和第一、二高频分量，并利用第一、二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量，接着将第一、三低频分量进行加权融合，得到融合低频分量，该融合低频分量在基础亮度上接近可见光图像的亮度信息；然后将融合低频分量和第一、二高频分量进行融合，得到融合亮度融合信息，该亮度融合亮度信息与可见光图像的亮度信息非常接近，再与可见光图像的颜色信息进行融合，从而使得融合图像既具备颜色真实性，又提高了信噪比和细节显示效果。
图2为本发明另一实施例提供的图像融合方法流程图，其具体步骤如下：
步骤201：获取可见光图像、以及与可见光图像配准的红外光图像。
步骤202：获取可见光图像中的第一亮度信息、以及红外光图像中的第二亮度信息。
步骤203：基于预先设定的滤波参数，获取第一亮度信息的第一低频分量和第一高频分量、以及第二亮度信息的第二低频分量和第二高频分量，其中，滤波参数根据可见光图像和红外光图像的成像场景的照度水平确定。其中，第一低频分量和第二低频分量均为在可见光图像和红外光图像的原始尺度下获得的低频分量，第一高频分量和第二高频分量均包括在大于原始尺度的多个不同尺度下获得的高频分量。
一可选实施例中，第一低频分量和第一高频分量是利用金字塔多尺度分解法从可见光图像中得到的，第二低频分量和第二高频分量是利用相同的金字塔多尺度分解法从红外光图像中得到的。
步骤204：利用第一低频分量与第二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量。
一可选实施例中，本步骤具体包括：确定第一低频分量与第二低频分量之间的残差数据；利用预先设定的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，对残差数据进行滤波处理；将滤波处理后的残差数据与第二低频分量融合，得到第三低频分量。
步骤205：利用第一低频分量和第三低频分量的差值确定融合权重矩阵。
一可选实施例中，本步骤具体包括：
Figure BDA0002457282980000071
其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)
fs(VSbase(i,j))＝CLIP(α*(VSbase(i,j))ratio,smin,smax)
Figure BDA0002457282980000081
w_mix(i,j)为像素点(i,j)的融合权重因子，VSbase(i,j)为像素点(i,j)的第一低频分量，Nbase(i,j)为像素点(i,j)的第三低频分量，fs(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，smin、smax分别为预设最小值限值、最大值限值，A和B为预设系数。
步骤206：利用融合权重矩阵对第一低频分量和第三低频分量进行加权融合，得到融合低频分量，其中，融合权重矩阵中的各融合权重因子产生使融合低频分量相比于第二亮度信息更接近第一亮度信息的融合趋势。
一可选实施例中，本步骤具体包括：
Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)
其中，Megbase(i,j)为像素点(i,j)的融合低频分量。
步骤207：以原始尺度重构第一高频分量和第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量；将第三高频分量和第四高频分量融合，得到融合高频分量；将融合低频分量与融合高频分量叠加，得到融合亮度信息。
步骤208：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。
上述实施例中，通过获取可见光图像和红外光图像在大于原始尺度的多个不同尺度下的第一、二高频分量，以及原始尺度下的第一、二低频分量，并以原始尺度重构第一高频分量和第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量，再将第三高频分量和第四高频分量融合，得到融合高频分量，然后将融合低频分量与融合高频分量叠加，得到融合亮度信息，从而使得融合亮度信息更加接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果。
图3为本发明又一实施例提供的图像融合方法流程图，其具体步骤如下：
步骤301：同时采用可见光传感器和红外光传感器采集同一区域的图像，分别得到可见光图像和红外光图像；采用配准算法将两幅图像对应的像素点进行匹配，得到配准后的可见光图像和红外光图像。
步骤302：从可见光图像中分离出第一亮度信息和颜色信息，从红外光图像中分离出第二亮度信息。
若图像为YUV格式，则Y分量即为亮度信息，U、V分量即为颜色信息。
若图像为RGB格式，则先将图像转换为YUV格式。
步骤303：基于预先设定的低通滤波参数，采用金字塔多尺度分解法，分别获取可见光图像的第一亮度信息在原始尺度下的第一低频分量、红外光图像的第二亮度信息在原始尺度下的第二低频分量，以及，可见光图像的第一亮度信息在大于原始尺度的多个不同尺度下的第一高频分量、红外光图像的第二亮度信息在大于原始尺度的多个不同尺度下的第二高频分量。
本步骤中，首先将只包含原始亮度信息的图像(即只包含第一亮度信息的可见光图像或者只包含第二亮度信息的红外光图像)作为最底层(第0层)图像G0，利用预设的低通滤波算法对其进行滤波，然后对滤波后的图像进行下采样，得到上一层(第1层)的图像G1，重复上面的滤波和下采样操作，反复迭代多次，便得到一个金字塔形的多层(即多尺度)图像。自下而上每一层的像素数都不断减少，变得越来越粗糙。
其中，滤波算法可采用高斯滤波，窗口为5*5，均值为0，标准差为2，下采样尺度可为1/2，金字塔层数可为3层。
对于除第0层图像G0外的每一层图像Gm，先对Gm进行上采样再进行低通滤波，就得到下一层(m-1层)的低频图像，该低频图像中的每个像素点对应一个低频分量；每一层的原始图像Gm减去该层的低频图像，就得到该层的高频图像，该高频图像中的每个像素点对应一个高频分量。
步骤304：根据第一低频分量和第二低频分量，计算残差数据。
可选地，
Figure BDA0002457282980000101
其中，(i,j)为像素点的坐标，RDbase(i,j)为像素点(i,j)的残差数据，VSbase(i,j)为像素点(i,j)的第一低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，k和M为预设系数，1≤k≤4，较佳地，k＝2，M为像素值位宽最大值，例如位宽为8bit时，M为255，k和M的作用是将RDbase(i,j)的值域范围[-255,255]映射至低频分量的值域范围[0,255]内。
步骤305：根据残差数据的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，计算残差数据的滤波算子。
本步骤具体包括：
H(m,n)＝Hp(m,n)*HRD(m,n)*HVS(m,n)*HIR(m,n)，其中：
Figure BDA0002457282980000102
Figure BDA0002457282980000103
Figure BDA0002457282980000104
Figure BDA0002457282980000105
(m,n)为像素点(i,j)的邻域Ω中的像素点，假设邻域半径为r，则m的取值范围为i-r<m<i+r，n的取值范围为j-r<n<j+r；H(m,n)为像素点(m,n)的残差数据的滤波算子，Hp(m,n)为像素点(m,n)的残差数据的空域滤波算子，HRD(m,n)为与像素点(m,n)的残差数据关联的第三值域滤波算子，HVS(m,n)为与像素点(m,n)的第一低频分量关联的第一值域滤波算子，HIR(m,n)为与像素点(m,n)的第二低频分量关联的第二值域滤波算子，RDbase(i,j)为像素点(i,j)的残差数据，RDbase(m,n)为像素点(m,n)的残差数据，VSbase(i,j)为像素点(i,j)的第一低频分量，VSbase(m,n)为像素点(m,n)的第一低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，IRbase(m,n)为像素点(m,n)的第二低频分量，w1、w2、w3、w4、σ1、σ2、σ3、σ4为预设参数，0≤w1、w2、w3、w4≤5，1≤σ1、σ2、σ3、σ4≤255，较佳地，w1＝w4＝2，w2＝w3＝1。
步骤306：根据残差数据的滤波算子，对残差数据进行加权滤波。
本步骤具体包括：
Figure BDA0002457282980000111
其中，RDbaseflt(i,j)为像素点(i,j)的滤波后的残差数据。
步骤307：将滤波后的残差数据与第二低频分量进行融合，得到第三低频分量。
可选地，本步骤具体包括：
Nbase(i,j)＝IRbase(i,j)+k*RDbaseflt(i,j)-M
其中，Nbase(i,j)为像素点(i,j)的第三低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，RDbaseflt(i,j)为像素点(i,j)的滤波后的残差数据，k和M为预设系数，1≤k≤4，较佳地，k＝2，M为像素值位宽最大值，例如位宽为8bit时，M为255。
步骤308：根据第三低频分量和第一低频分量的差值计算融合权重矩阵，根据融合权重矩阵对第三低频分量和第一低频分量进行加权计算，得到融合低频分量。
可选地，本步骤中，根据第三低频分量和第一低频分量的差值计算融合权重矩阵包括：
Figure BDA0002457282980000112
其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)
fs(VSbase(i,j))＝CLIP(α*(VSbase(i,j))ratio,smin,smax)
Figure BDA0002457282980000121
w_mix(i,j)为像素点(i,j)的融合权重因子，一幅低频图像中的所有像素点的融合权重因子构成了融合权重矩阵，VSbase(i,j)为像素点(i,j)的第一低频分量，Nbase(i,j)为像素点(i,j)的第三低频分量，fs(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，一般地，1≤α≤20，较佳地，α＝5，0≤ratio≤255，smin、smax分别为预设最小值限值、最大值限值，0≤smin、smax≤512，且，smax>smin，A和B为预设系数，0≤A+B≤255，较佳地，A＝255。
根据融合权重矩阵对第三低频分量和第一低频分量进行加权计算，得到融合低频分量包括：
Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)
其中，Megbase(i,j)为像素点(i,j)的融合低频分量。
步骤309：以原始尺度重构多尺度的第一高频分量和所多尺度的第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量；将第三高频分量和第四高频分量融合，得到融合高频分量。
对每一层的可见光图像的第一亮度信息的高频图像即第一高频分量和红外光图像的第二亮度信息的高频图像即第二高频分量进行融合，当对所有层的可见光图像的第一亮度信息的高频图像和红外光图像的第二亮度信息的高频图像都融合完成后；再从最上层融合图像开始，对该层融合图像先进行上采样再进行滤波后叠加到下一层的融合图像上，直到叠加到第一层融合图像上后，再进行上采样和滤波，得到原尺度的融合高频图像即融合高频分量。
本步骤中，对每一层的可见光图像的第一亮度信息的高频图像即第一高频分量和红外光图像的第二亮度信息的高频图像即第二高频分量进行融合，具体的融合方法并不进行限定，例如：可采用加权融合，也可以根据梯度、强度等方面来选择合适的高频信息。
步骤310：将融合低频分量和融合高频分量叠加，得到融合亮度信息。
步骤311：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。
上述实施例的有益技术效果如下：
一、通过获取可见光图像和红外光图像的亮度信息的第一、二低频分量和第一、二高频分量，并利用第一、二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量，接着将第一、三低频分量进行加权融合，得到融合低频分量，该融合低频分量在基础亮度上接近可见光图像的亮度信息；然后将融合低频分量和第一、二高频分量进行融合，得到融合亮度融合信息，该亮度融合亮度信息与可见光图像的亮度信息非常接近，再与可见光图像的颜色信息进行融合，从而使得融合图像既具备颜色真实性，又提高了信噪比和细节显示效果；
二、通过获取可见光图像和红外光图像在大于原始尺度的多个不同尺度下的第一、二高频分量，并以原始尺度重构第一高频分量和第二高频分量后再进行融合，得到融合高频分量，然后将融合低频分量与融合高频分量叠加，得到融合亮度信息，从而使得融合亮度信息更加接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果；
三、通过残差数据的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，联合计算残差数据的滤波算子对残差数据计算滤波，使得残差数据滤除了大量噪声的同时，又保留了可见光与非可见光低频信息中各自的优势内容，从而保证了最终的融合图像的显示效果；
四、融合权重矩阵考虑了亮度差异和基础亮度值，亮度差异越大，选取可见光低频信息越多，同时随基础亮度增大，权重变化越大，从而使得融合亮度信息进一步接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果。
本发明实施例还提供一种电子设备，该电子设备包括处理器，该处理器用于执行如步骤101～108，或者步骤201～208，或者步骤301～311所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像融合方法，其特征在于，所述图像融合方法包括：
获取可见光图像、以及与所述可见光图像配准的红外光图像；
获取所述可见光图像中的第一亮度信息、以及所述红外光图像中的第二亮度信息；
基于预先设定的滤波参数，获取所述第一亮度信息的第一低频分量和第一高频分量、以及所述第二亮度信息的第二低频分量和第二高频分量，其中，所述滤波参数根据所述可见光图像和所述红外光图像的成像场景的照度水平确定；
利用所述第一低频分量与所述第二低频分量之间的残差数据补偿所述第二低频分量，得到第三低频分量；
利用所述第一低频分量和所述第三低频分量的差值确定融合权重矩阵；
利用所述融合权重矩阵对所述第一低频分量和所述第三低频分量进行加权融合，得到融合低频分量，其中，所述融合权重矩阵中的各融合权重因子产生使所述融合低频分量相比于所述第二亮度信息更接近所述第一亮度信息的融合趋势；
利用所述融合低频分量、以及所述第一高频分量和所述第二高频分量得到融合亮度信息；
根据所述融合亮度信息和所述可见光图像的颜色信息，得到所述融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述第一低频分量和所述第二低频分量均为在所述可见光图像和所述红外光图像的原始尺度下获得的低频分量，所述第一高频分量和所述第二高频分量均包括在大于所述原始尺度的多个不同尺度下获得的高频分量。
3.根据权利要求2所述的图像融合方法，其特征在于，所述第一低频分量和所述第一高频分量是利用金字塔多尺度分解法从所述可见光图像中得到的，所述第二低频分量和所述第二高频分量是利用所述金字塔多尺度分解法从所述红外光图像中得到的。
4.根据权利要求1所述的图像融合方法，其特征在于，利用所述第一低频分量与所述第二低频分量之间的残差数据补偿所述第二低频分量，得到第三低频分量，包括：
确定所述第一低频分量与所述第二低频分量之间的所述残差数据；
利用预先设定的空域滤波算子、与所述第一低频分量关联的第一值域滤波算子、与所述第二低频分量关联的第二值域滤波算子、以及与所述残差数据关联的第三值域滤波算子，对所述残差数据进行滤波处理；
将滤波处理后的所述残差数据与所述第二低频分量融合，得到所述第三低频分量。
5.根据权利要求4所述的图像融合方法，其特征在于，确定所述第一低频分量与所述第二低频分量之间的所述残差数据，包括：
Figure FDA0002457282970000021
其中，(i,j)为像素点的坐标，RDbase(i,j)为像素点(i,j)的所述残差数据，VSbase(i,j)为像素点(i,j)的所述第一低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，k和M为预设系数。
6.根据权利要求4所述的图像融合方法，其特征在于，利用预先设定的空域滤波算子、与所述第一低频分量关联的第一值域滤波算子、与所述第二低频分量关联的第二值域滤波算子、以及与所述残差数据关联的第三值域滤波算子，对所述残差数据进行滤波处理，包括：
Figure FDA0002457282970000022
H(m,n)＝Hp(m,n)*HRD(m,n)*HVS(m,n)*HIR(m,n)，其中：
Figure FDA0002457282970000031
Figure FDA0002457282970000032
Figure FDA0002457282970000033
Figure FDA0002457282970000034
其中，RDbaseflt(i,j)为像素点(i,j)的滤波后的残差数据，(m,n)为像素点(i,j)的邻域Ω中的像素点，H(m,n)为像素点(m,n)的滤波算子，Hp(m,n)为像素点(m,n)的所述空域滤波算子，HRD(m,n)为像素点(m,n)的所述第三值域滤波算子，HVS(m,n)为像素点(m,n)的所述第一值域滤波算子，HIR(m,n)为像素点(m,n)的所述第二值域滤波算子，RDbase(i,j)为像素点(i,j)的所述残差数据，RDbase(m,n)为像素点(m,n)的所述残差数据，VSbase(i,j)为像素点(i,j)的所述第一低频分量，VSbase(m,n)为像素点(m,n)的所述第一低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，IRbase(m,n)为像素点(m,n)的所述第二低频分量，w1、w2、w3、w4、σ1、σ2、σ3、σ4为预设参数。
7.根据权利要求4所述的图像融合方法，其特征在于，将滤波处理后的所述残差数据与所述第二低频分量融合，得到所述第三低频分量，包括：
Nbase(i,j)＝IRbase(i,j)+k*RDbaseflt(i,j)-M
其中，Nbase(i,j)为像素点(i,j)的所述第三低频分量，IRbase(i,j)为像素点(i,j)的所述第二低频分量，RDbaseflt(i,j)为像素点(i,j)的滤波后的所述残差数据，k和M为预设系数。
8.根据权利要求1所述的图像融合方法，其特征在于，利用所述第一低频分量和所述第三低频分量的差值确定融合权重矩阵，包括：
Figure FDA0002457282970000035
其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)
fs(VSbase(i,j))＝CLIP(α*(VSbase(i,j))ratio,smin,smax)
Figure FDA0002457282970000041
w_mix(i,j)为像素点(i,j)的融合权重因子，VSbase(i,j)为像素点(i,j)的所述第一低频分量，Nbase(i,j)为像素点(i,j)的所述第三低频分量，fs(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，smin、smax分别为预设最小值限值、最大值限值，A和B为预设系数。
9.根据权利要求8所述的图像融合方法，其特征在于，利用所述融合权重矩阵对所述第一低频分量和所述第三低频分量进行加权融合，得到融合低频分量，包括：
Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)
其中，Megbase(i,j)为像素点(i,j)的所述融合低频分量。
10.根据权利要求2所述的图像融合方法，其特征在于，利用所述融合低频分量、以及所述第一高频分量和所述第二高频分量得到融合亮度信息，包括：
以所述原始尺度重构所述第一高频分量和所述第二高频分量，分别得到关联所述第一高频分量的第三高频分量、以及关联所述第二高频分量的第四高频分量；
将所述第三高频分量和所述第四高频分量融合，得到所述融合高频分量；
将所述融合低频分量与所述融合高频分量叠加，得到所述融合亮度信息。
CN202010310011.5A 2020-04-20 2020-04-20 图像融合方法 Active CN113538303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310011.5A CN113538303B (zh) 2020-04-20 2020-04-20 图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310011.5A CN113538303B (zh) 2020-04-20 2020-04-20 图像融合方法

Publications (2)

Publication Number Publication Date
CN113538303A CN113538303A (zh) 2021-10-22
CN113538303B true CN113538303B (zh) 2023-05-26

Family

ID=78123535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310011.5A Active CN113538303B (zh) 2020-04-20 2020-04-20 图像融合方法

Country Status (1)

Country Link
CN (1) CN113538303B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549382B (zh) * 2022-02-21 2023-08-11 北京爱芯科技有限公司 一种红外图像与可见光图像融合的方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN107945149A (zh) * 2017-12-21 2018-04-20 西安工业大学 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法
CN109064436A (zh) * 2018-07-10 2018-12-21 西安天盈光电科技有限公司 图像融合方法
CN109658371A (zh) * 2018-12-05 2019-04-19 北京林业大学 红外图像与可见光图像的融合方法、系统及相关设备
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN110136183A (zh) * 2018-02-09 2019-08-16 华为技术有限公司 一种图像处理的方法以及相关设备
CN110378861A (zh) * 2019-05-24 2019-10-25 浙江大华技术股份有限公司 一种图像融合方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107945149A (zh) * 2017-12-21 2018-04-20 西安工业大学 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法
CN110136183A (zh) * 2018-02-09 2019-08-16 华为技术有限公司 一种图像处理的方法以及相关设备
CN109064436A (zh) * 2018-07-10 2018-12-21 西安天盈光电科技有限公司 图像融合方法
CN109658371A (zh) * 2018-12-05 2019-04-19 北京林业大学 红外图像与可见光图像的融合方法、系统及相关设备
CN110378861A (zh) * 2019-05-24 2019-10-25 浙江大华技术股份有限公司 一种图像融合方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Infrared and visible image fusion methods and applications: A survey;Ma, JY，et al.;《Information Fusion》;第45卷(第1期);153-178 *
基于NSCT和Bilateral滤波器的含噪声图像融合;沈瑜;党建武;王阳萍;;兰州交通大学学报(第04期);全文 *
苹果采摘机器人夜间图像边缘保持的Retinex增强算法;姬伟 等;《农业工程学报》;189-196 *

Also Published As

Publication number Publication date
CN113538303A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110175964B (zh) 一种基于拉普拉斯金字塔的Retinex图像增强方法
US9406148B2 (en) Image processing method and apparatus, and shooting terminal
Kim et al. Natural HDR image tone mapping based on retinex
CN111260580B (zh) 图像去噪方法、计算机装置及计算机可读存储介质
JP4862897B2 (ja) 画像処理方法
KR20130077726A (ko) 디지털 사진에서 노이즈를 제거하는 장치 및 방법
CN112561804A (zh) 基于多尺度细节增强的低光照水下图像增强方法
CN111462028A (zh) 基于相位一致性和目标增强的红外和可见光图像融合方法
Gao et al. A novel UAV sensing image defogging method
CN113538303B (zh) 图像融合方法
CN108694708A (zh) 基于图像边缘提取的小波变换图像融合方法
KR20140109801A (ko) 3d이미지 품질을 향상시키는 방법과 장치
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
CN110175959B (zh) 一种台风云图增强方法
CN117115612A (zh) 基于多传感器图像增强优化的多通道图像融合方法及系统
JP4359662B2 (ja) カラー画像の露出補正方法
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CN116109511A (zh) 红外图像边缘增强的方法和系统
CN111028184B (zh) 一种图像增强方法及系统
CN113284058B (zh) 一种基于迁移理论的水下图像增强方法
Vonikakis et al. Multi-scale image contrast enhancement
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
CN116433540B (zh) 一种红外图像增强方法及系统
Singh et al. Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters
CN116630218B (zh) 一种基于边缘保持平滑金字塔的多曝光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant