CN113362261B - 图像融合方法 - Google Patents

图像融合方法 Download PDF

Info

Publication number
CN113362261B
CN113362261B CN202010142139.5A CN202010142139A CN113362261B CN 113362261 B CN113362261 B CN 113362261B CN 202010142139 A CN202010142139 A CN 202010142139A CN 113362261 B CN113362261 B CN 113362261B
Authority
CN
China
Prior art keywords
image
fusion
visible light
color
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010142139.5A
Other languages
English (en)
Other versions
CN113362261A (zh
Inventor
申俊飞
田仁富
刘刚
曾峰
徐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010142139.5A priority Critical patent/CN113362261B/zh
Publication of CN113362261A publication Critical patent/CN113362261A/zh
Application granted granted Critical
Publication of CN113362261B publication Critical patent/CN113362261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了图像融合方法。基于本发明，在一次融合得到的第一融合图像的基础上，可以利用颜色迁移实施二次融合，以使第一融合图像的亮度和颜色都可以向可见光图像迁移，从而可以得到亮度和颜色更接近可见光图像的第二融合图像。由此，以第二融合图像作为图像融合的输出结果，可以降低由于红外图像存在的亮度差异而在融合图像中引发的颜色失真。

Description

图像融合方法
技术领域
本发明涉及图像处理技术，特别涉及一种图像融合方法。
背景技术
图像融合可以将红外图像中体现的目标红外辐射特性与可见光图像中体现的目标反射特性融合在一幅图像中，以实现红外图像与可见光图像的信息互补，从而得到轮廓清晰、背景细节对比度高的融合图像。
然而，由于不同目标物体在光谱红外段的发射率差异较大，因而导致红外图像中呈现出的不同目标物体会存在过大的亮度差异，从而，这样的亮度差异容易导致融合图像中出现颜色的失真。
发明内容
在一个实施例中，提供了一种图像融合方法，包括：
获取可见光图像和红外图像；
通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像；
通过对第一融合图像进行颜色迁移，得到第二融合图像；
其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色。
可选地，将可见光图像从RGB色彩空间映射到YUV色彩空间；利用可见光图像和红外图像的亮度，在YUV色彩空间对可见光图像进行亮度融合；将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像；其中，利用可见光图像和红外图像的亮度，在YUV色彩空间对可见光图像进行亮度融合包括：根据可见光图像和红外图像的亮度，确定可见光图像和红外图像的亮度融合权重；其中，可见光图像和红外图像之间的亮度差越大，可见光图像的亮度融合权重越高；可见光图像和红外图像之间的亮度差越小，红外图像的亮度融合权重越高；利用确定的亮度融合权重，将可见光图像和红外图像的亮度融合。
可选地，根据可见光图像和红外图像的亮度，确定可见光图像和红外图像的亮度融合权重包括：在预先创建的亮度融合策略模型曲面中，查找与可见光图像和红外图像的亮度相匹配的亮度融合权重；其中，亮度融合策略模型曲面表示在可见光图像和红外光图像的不同亮度条件下，可见光图像的亮度融合权重；并且，亮度融合策略模型曲面由Gamma曲线族拟合形成，Gamma曲线族中的各条Gamma曲线分别表示在可见光图像具有不同亮度时，可见光图像和红外光图像之间的亮度差与可见光图像的亮度融合权重的对应关系。
可选地，通过对可见光图像和红外图像进行亮度和颜色的融合之后，进一步包括：利用预先创建的色域映射关系，在RGB色彩空间对第一融合图像进行色域映射；其中，色域映射关系是利用标定色卡在参考亮度环境下的可见光参考图像的参考颜色分量、以及该标定色卡的色卡融合图像的实测颜色分量确定的，并且，标定色卡的色卡融合图像由标定色卡在场景亮度环境下的可见光实测图像和红外实测图像融合得到，场景亮度环境为获取到的可见光图像和红外图像的拍摄亮度环境。
可选地，获取可见光图像在选定色彩空间的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间的第二颜色分量统计数据；基于以第一颜色分量统计数据和第二颜色分量统计数据对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像。
可选地，获取可见光图像在选定色彩空间的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间的第二颜色分量统计数据，包括：将可见光图像和第一融合图像由RGB空间映射到1αβ色彩空间，并且，计算可见光图像的第一像素点集合在1αβ色彩空间中的第一颜色分量统计数据、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在1αβ色彩空间中的第二颜色分量统计数据；以及，基于以第一颜色分量统计数据和第二颜色分量统计数据对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像包括：利用第一颜色分量统计数据、以及第二颜色分量统计数据，对第一融合图像的第二像素点集合进行颜色分量补偿更新，并且，将完成颜色分量补偿更新的第一融合图像由1αβ色彩空间映射到RGB空间，得到第二融合图像。
可选地，计算可见光图像的第一像素点集合在1αβ色彩空间中的第一颜色分量统计数据、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在1αβ色彩空间中的第二颜色分量统计数据，包括：计算第一像素点集合在1αβ色彩空间中的第一颜色分量均值和第一颜色分量方差、以及第二像素点集合在1αβ色彩空间中的第二颜色分量均值和第二颜色分量方差。
可选地，获取可见光图像在选定色彩空间的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间的第二颜色分量统计数据之前，进一步包括：在图像尺寸范围内划分局部窗口，用于将第一颜色分量统计数据和第二颜色分量统计数据的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿，限定为以局部窗口为粒度。
在另一个实施例中，提供了另外一种图像融合方法，包括：
获取在同一时刻采集到的可见光图像和红外光图像；
将可见光图像和红外图像融合得到第一融合图像；
获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差；
基于以第一颜色分量均值和第一颜色分量方差、以及第二颜色分量均值和第二颜色分量方差对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像。
可选地，获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差，包括：将可见光图像和第一融合图像由RGB空间映射到选定色彩空间；计算可见光图像的第一像素点集合在选定色彩空间中的第一颜色分量的第一均值和第一方差、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在选定色彩空间中的第二颜色分量的第二均值和第二方差。
可选地，将可见光图像和第一融合图像由RGB空间映射到选定色彩空间包括：将可见光图像和第一融合图像从RGB色彩空间映射到过渡色彩空间，其中，过渡色彩空间具有比RGB色彩空间更高的人眼视觉特性匹配度；将可见光图像和第一融合图像从过渡色彩空间映射到选定色彩空间，其中，选定色彩空间为具有比色彩空间更低的信道相关性的1αβ色彩空间。
可选地，计算可见光图像的第一像素点集合在选定色彩空间中的第一颜色分量的第一均值和第一方差、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在选定色彩空间中的第二颜色分量的第二均值和第二方差，包括：计算第一像素点集合中的各像素点的第一1分量的第一1均值和第一1方差、第一α分量的第一α均值和第一α方差、以及第一β分量的第一β均值和第一β方差；计算第二像素点集合中的各像素点的第二1分量的第二1均值和第二1方差、第二α分量的第二α均值和第二α方差、以及第二β分量的第二β均值和第二β方差。
可选地，基于以第一颜色分量均值和第一颜色分量方差、以及第二颜色分量均值和第二颜色分量方差对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像，包括：利用第一1均值和第一1方差、以及第二1均值和第二1方差，将第二像素点集合中的各像素点的第二1分量补偿更新为第三1分量；利用第一α均值和第一α方差、以及第二α均值和第二α方差，将第二像素点集合中的各像素点的第二α分量补偿更新为第三α分量；利用第一β均值和第一β方差、以及第二β均值和第二β方差，将第二像素点集合中的各像素点的第二β分量补偿更新为第三β分量；以及，将第二像素点集合中的各像素点被补偿更新为具有第三1分量、第三α分量以及第三β分量的第一融合图像，从1αβ色彩空间映射回RGB色彩空间，得到第二融合图像。
可选地，获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差之前，进一步包括：在图像尺寸范围内划分局部窗口，用于将第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿，限定为以局部窗口为粒度。
可选地，获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差之前，进一步包括：在图像尺寸范围内划分局部窗口，用于在针对每个局部窗口执行第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿时，将可见光图像和红外图像中圈定在该局部窗口内的像素分别确定为第一像素集合和第二像素集合。
可选地，在图像尺寸范围内划分局部窗口，包括：利用可见光图像的RGB颜色分量与红外图像的亮度分量，得到包含RGB颜色分量和亮度分量的高维图像；在高维图像中识别图像结构特征、并提取识别到的图像结构特征的边缘；在由图像特征的边缘包围的特征平坦区域设定具有第一尺寸的局部窗口、在图像特征的边缘处设定具有第二尺寸的局部窗口，其中，所述第二尺寸小于所述第一尺寸。
可选地，在图像尺寸范围内划分局部窗口，包括：获取预先根据处理器的负载容忍值配置的窗口尺寸阈值；在图像尺寸范围内划分形成不小于窗口尺寸阈值的局部窗口；其中，配置的窗口尺寸阈值与处理器的负载容忍值成反比。
基于上述实施例，在一次融合得到的第一融合图像的基础上，可以利用颜色迁移实施二次融合，以使第一融合图像的亮度和颜色都可以向可见光图像迁移，从而可以得到亮度和颜色更接近可见光图像的第二融合图像。由此，以第二融合图像作为图像融合的输出结果，可以降低由于红外图像存在的亮度差异而在融合图像中引发的颜色失真。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：
图1为一个实施例中的图像融合方法的示例性流程示意图；
图2为如图1所示的图像融合方法基于颜色空间转换实现一次融合的优化流程示意图；
图3为在如图2所示优化流程的基础上进一步引入基于亮度差的自适应亮度融合机制的扩展流程示意图；
图4为适用于如图3所示扩展流程的亮度融合策略模型曲面的原理性示意图；
图5a和图5b为用于拟合形成如图4所示的亮度融合策略模型曲面的Gamma曲线族的实例曲线示意图；
图6为用于创建如图4所示的亮度融合策略模型曲面的策略模型建模方法的示例性流程示意图；
图7为如图6所示的策略模型建模方法的实例流程示意图；
图8为利用如图4所示的亮度融合策略模型曲面实施单次融合的图像融合方法的示例性流程示意图；
图9为在如图2所示优化流程的基础上进一步引入基于色域映射关系的回映机制的扩展流程示意图；
图10为用于创建如图8所示扩展流程中使用的色域映射关系的映射建模方法的示例性流程示意图；
图11为如图1所示的图像融合方法实现颜色迁移时的优化流程示意图；
图12为如图11所示优化流程中的颜色迁移实例的流程示意图；
图13为如图1所示的图像融合方法实现局部颜色迁移时的优化流程示意图；
图14为另一个实施例中的另外一种图像融合方法的示例性流程示意图；
图15为如图14所示的图像融合方法实现局部颜色迁移时的优化流程示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。
图1为一个实施例中的图像融合方法的示例性流程示意图。请参见图1，在一个实施例中，一种图像融合方法可以包括：
S110：获取可见光图像和红外图像。其中，本步骤获取的可见光图像和红外图像，可以是在同一时刻采集到的可见光图像和红外光图像。
S130：通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像。本步骤可以认为是图像融合方法中实施一次融合的步骤。
S130：通过对第一融合图像进行颜色迁移，得到第二融合图像，其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色。本步骤可以认为是图像融合方法中实施二次融合的步骤。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
基于上述流程，在一次融合得到的第一融合图像的基础上，可以利用颜色迁移实施二次融合，以使第一融合图像的亮度和颜色都可以向可见光图像迁移。即，在颜色迁移的过程中同时将第一融合图像的亮度和颜色向可见光图像的亮度和颜色迁移，从而，可以得到亮度和颜色更接近可见光图像的第二融合图像。由此，以第二融合图像作为图像融合的输出结果，可以降低由于红外图像存在的亮度差异而在融合图像中引发的颜色失真。
上述实施例中，S130实施的一次融合可以是不同于颜色迁移的其他融合方式。例如，S130可以基于颜色空间转换对可见光图像和红外图像进行亮度和颜色的融合，以得到第一融合图像。
图2为如图1所示的图像融合方法基于颜色空间转换实现一次融合的优化流程示意图。请参见图2，该实施例中的图像融合方法可以扩展为包括如下步骤：
S210：获取可见光图像和红外图像。
S221：将可见光图像从RGB色彩空间映射到具有亮度分量的YUV色彩空间。其中，RGB色彩空间是基于红(R)、绿(G)、蓝(B)三原色的色彩空间，YUV色彩空间是基于亮度分量Y和色度分量U和V的色彩空间。
S222：利用可见光图像和红外图像的亮度(例如Y分量)，在YUV色彩空间对可见光图像进行亮度融合。
S223：将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像。
上述步骤S221～S223可以认为是图像融合方法中实施一次融合的步骤。
S230：通过对第一融合图像进行颜色迁移，得到第二融合图像，其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色。本步骤可以认为是图像融合方法中实施二次融合的步骤。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
其中，上述步骤S222是通过将红外图像中的细节引入可见光图像中，以降低可见光图像中的噪声，即，尽量保持可见光图像中的颜色信息、同时提高可见光图像的信噪比。若上述步骤S222在亮度融合时从红外图像中引入的亮度分量比重不合理，则容易导致可见光图像在亮度融合后的亮度变化不当，从而，在通过步骤S223将完成亮度融合的可见光图像映射回第一色彩空间后，会导致得到的第一融合图像的颜色相较于可见光图像的原色存在明显失真。即便在之后的二次融合有助于矫正这样的颜色失真，但也存在颜色失真的程度过重的情况，此时，二次融合对颜色失真的矫正效力可能会达不到预期。
为了结合二次融合共同实施对颜色失真的矫正，在该实施例中，可以引入基于亮度差的自适应亮度融合机制。即，上述步骤S222可以将可见光图像和红外图像的亮度差作为亮度融合比重的判断依据，当可见光图像与红外图像之间的亮度差异较小时，亮度融合对颜色的影响较小，此时，红外图像的亮度融合比重可以设定的较高，以尽可能提升一次融合后得到的第一融合图像的信噪比；而在可见光图像与红外图像之间的亮度差异较大时，亮度融合容易对颜色产生失真的影响，此时，可见光图像的亮度融合比重可以较高，以抑制一次融合后得到的第一融合图像的颜色失真。
图3为在如图2所示优化流程的基础上进一步引入基于亮度差的自适应亮度融合机制的扩展流程示意图。请参见图3，当基于颜色空间转换实现一次融合时，该实施例中的图像融合方法可以进一步扩展为包括如下步骤：
S310：获取可见光图像和红外图像。
S321：将可见光图像从RGB色彩空间映射到具有亮度分量的YUV色彩空间。
S322a：根据可见光图像和红外图像的亮度，确定可见光图像和红外图像的亮度融合权重；其中，可见光图像和红外图像之间的亮度差越大，可见光图像的亮度融合权重越高；可见光图像和红外图像之间的亮度差越小，红外图像的亮度融合权重越高。
S322b：利用确定的亮度融合权重，将可见光图像和红外图像的亮度融合。
S323：将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像。
上述步骤S321～S323可以认为是图像融合方法中实施一次融合的步骤。
S330：通过对第一融合图像进行颜色迁移，得到第二融合图像，其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色。本步骤可以认为是图像融合方法中实施二次融合的步骤。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
图4为适用于如图3所示扩展流程的亮度融合策略模型曲面的原理性示意图。请参见图4，上述步骤S321可以在预先创建的亮度融合策略模型曲面400中，查找与可见光图像和红外图像的亮度相匹配的亮度融合权重。
在图4中，亮度融合策略模型曲面400创建在以可见光图像的亮度vis和红外图像的亮度nir以及可见光图像的亮度融合权重weight_v(vis，nir)(取值可以在0～1的范围内)为坐标定义的三维坐标系中，并且可以表示在可见光图像的亮度vis(取值可以在0～1的范围内)和红外光图像的亮度nir(取值可以在0～1的范围内)的不同亮度条件下，可见光图像的亮度融合权重weight_v(vis，nir)。
并且，如图4所示的亮度融合策略模型曲面400可以由Gamma曲线族拟合形成，Gamma曲线族中的各条Gamma曲线可以创建在以可见光图像和红外光图像之间的亮度差、以及可见光图像的亮度融合权重为坐标定义的二维坐标系中，并且可以分别表示在可见光图像具有不同亮度时，可见光图像和红外光图像之间的亮度差与可见光图像的亮度融合权重的对应关系。例如，Gamma曲线族中的各条Gamma曲线可以满足如下的表达式(1-1)、(1-2)以及(1-3)：
weight_v(vis，nir)＝weight_max·(|nir-vis|)r_merge (1-1)
weight_max＝1-(1-ratio_min)·visr_ratio (1-2)
r_merge＝(r_max-r_min)·vis+r_min (1-3)
其中，weight_max(取值可以在0～1的范围内)表示可见光图像在不同亮度(亮度vis不同取值)时的最大融合比例上限，最大融合比例上限weight_max可以利用最大亮度融合权重阈值ratio_min(取值可以在0～1的范围内)、以及表示weight_max随可见光图像的亮度vis变化的变化速率的曲率变化率r_ratio(取值可以在0～1的范围内)确定；并且，r_merge(取值可以在0～1的范围内)表示可见光图像在不同亮度(亮度vis不同取值)时的亮度融合权重，亮度融合权重r_merge可以利用Gamma系数r_max和r_min(取值可以在0～1的范围内)确定。从而，以可见光图像在不同亮度时的最大融合比例上限weight_max和亮度融合权重为约束r_merge，可以按照表达式(1-1)创建以可见光图像与红外图像的亮度差|nir-vis|为变量Gamma曲线族。
图5a和图5b为用于拟合形成如图4所示的亮度融合策略模型曲面的Gamma曲线族的实例曲线示意图。图5a中示出的Gamma曲线，表示可见光图像的亮度vis取0(对应实际亮度值0的归一化相对亮度值)时，可见光图像和红外光图像之间的亮度差|nir-vis|与可见光图像的亮度融合权重的对应关系，此时的最大融合比例上限weight_max最大值取1。图5b中示出的Gamma曲线，表示可见光图像的亮度vis取1(对应实际亮度值255的归一化相对亮度值)时，可见光图像和红外光图像之间的亮度差|nir-vis|与可见光图像的亮度融合权重的对应关系，此时的最大融合比例上限weight_max的最大取值为最大亮度融合权重阈值ratio_min。
作为一种优选方案，可见光图像的最大亮度融合权重阈值ratio_min、曲率变化率r_merge、以及Gamma系数r_max和r_min中的至少之一可以设定为可配值参数，即，可以认为，Gamma曲线族中的各条Gamma曲线由下述至少之一的可配置参数约束可见光图像的最大亮度融合权重阈值ratio_min、曲率变化率r_merge、以及Gamma系数r_max和r_min。从而，基于可配置参数，可以实现亮度融合策略模型曲面400的可配置，以灵活制定亮度融合策略。
图6为用于创建如图4所示的亮度融合策略模型曲面的策略模型建模方法的示例性流程示意图。请参见图6，为了创建如图4所示的亮度融合策略模型曲面，该实施例中提供的一种用于亮度融合的策略模型建模方法可以包括：
S610：获取可配置参数，其中，获取的可配置参数包括可见光图像的最大亮度融合权重阈值、曲率变化率、以及Gamma系数中的至少之一。
S620：以获取到的可配置参数为约束，创建Gamma曲线族，其中，Gamma曲线族中的各条Gamma曲线分别表示在可见光图像具有不同亮度时，可见光图像和红外光图像之间的亮度差与可见光图像的亮度融合权重的对应关系。
S630：利用Gamma曲线族拟合形成亮度融合策略模型曲面，其中，亮度融合策略模型曲面表示在可见光图像和红外光图像的不同亮度条件下，可见光图像的亮度融合权重；并且，可见光图像和红外图像之间的亮度差越大，可见光图像的亮度融合权重越高；可见光图像和红外图像之间的亮度差越小，可见光图像的亮度融合权重越低。
至此，亮度融合策略模型曲面的一次策略模型建模过程结束。当需要调整亮度融合策略模型曲面时，可以重新确定可配置参数，并再次执行上述流程。
图7为如图6所示的策略模型建模方法的实例流程示意图。请参见图7，在获取的可配置参数包括可见光图像的最大亮度融合权重阈值、曲率变化率、以及Gamma系数的情况下，如图6所示的流程可以实例化为包括如下步骤：
S710：获取可配置参数，其中，获取的可配置参数包括可见光图像的最大亮度融合权重阈值、曲率变化率、以及Gamma系数。
S721：利用最大亮度融合权重阈值和曲率变化率，确定可见光图像在不同亮度时的最大融合比例上限；
S722：利用Gamma系数，确定可见光图像在不同亮度时的亮度融合权重；
S730：以可见光图像在不同亮度时的最大融合比例上限和亮度融合权重为约束，创建以可见光图像与红外图像的亮度差为变量的Gamma曲线族。
S740：在以可见光图像和红外图像的亮度以及可见光图像的亮度融合权重为坐标定义的三维坐标系中，利用Gamma曲线族拟合形成亮度融合策略模型曲面；其中，Gamma曲线创建在以可见光图像和红外光图像之间的亮度差、以及可见光图像的亮度融合权重为坐标定义的二维坐标系中。
至此，亮度融合策略模型曲面的一次策略模型建模过程结束。当需要调整亮度融合策略模型曲面时，可以重新确定可配置参数，并再次执行上述流程。
若利用上述如图6或图7所示的流程创建的亮度融合策略模型曲面实现一次融合过程中的亮度融合，则，即便不执行基于颜色迁移的二次融合，也仍然可以降低图像融合由于红外图像的亮度差异而引起的颜色失真。
图8为利用如图4所示的亮度融合策略模型曲面实施单次融合的图像融合方法的示例性流程示意图。请参见图8，该实施例中的图像融合方法可以包括：
S810：获取可见光图像和红外图像。
S820：将可见光图像从RGB色彩空间映射到具有亮度分量的YUV色彩空间。
S821：在亮度融合策略模型曲面中，查找与可见光图像和红外图像的亮度相匹配的亮度融合权重，其中，亮度融合策略模型曲面可以是利用如图6所示的策略模型建模方法得到的。
S822：利用确定的亮度融合权重，将可见光图像和红外图像的亮度融合。
S830：将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像。
至此，可以将第一融合图像作为图像融合的结果输出。
上述如图8所示的流程，旨在说明利用如图6或图7所示的策略模型建模方法得到的亮度融合策略模型曲面实施亮度融合，其产生的对颜色失真的改善效果可以不依赖于基于颜色迁移的二次融合，并且基于颜色迁移的二次融合的改善效果互不冲突(可以作为基础性效果与于基于颜色迁移的二次融合叠加)。
对于一次融合过程，除了可以对亮度融合实施上述优化改进之外，还可以对色域映射过程实施优化。
图9为在如图2所示优化流程的基础上进一步引入基于色域映射关系的回映机制的扩展流程示意图。请参见图9，当基于亮度融合和色域映射实现一次融合时，该实施例中的图像融合方法可以进一步扩展为包括如下步骤：
S910：获取可见光图像和红外图像。
S921：将可见光图像从RGB色彩空间映射到具有亮度分量的YUV色彩空间。
S922：利用可见光图像和红外图像的亮度(例如Y分量)，在YUV色彩空间对可见光图像进行亮度融合。
S923：将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像。
上述步骤S921～S923可以认为是图像融合方法中实施一次融合的步骤。
S930：利用预先创建的色域映射关系，在第一色彩空间对第一融合图像进行色域映射。其中，色域映射关系是利用标定色卡在参考亮度环境下的可见光参考图像的参考颜色分量、以及该标定色卡的色卡融合图像的实测颜色分量确定的，并且，标定色卡的色卡融合图像由标定色卡在场景亮度环境下的可见光实测图像和红外实测图像融合得到，场景亮度环境为获取到的可见光图像和红外图像的拍摄亮度环境。
上述步骤S930可以认为是图像融合方法中实施一次融合的补充步骤。
S940：通过对完成色域映射的第一融合图像进行颜色迁移，得到第二融合图像，其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色。本步骤可以认为是图像融合方法中实施二次融合的步骤。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
由于上述步骤S930使用的色域映射关系可以体现期望的参考亮度环境、以及可见光图像和红外图像实际的拍摄亮度环境对颜色产生的差异，因此，利用这样的色域映射关系对第一融合图像进行色域映射，可以使得到的第一融合图像的颜色更接近参考亮度环境下的目标真实颜色。
并且，上述流程中的S922可以利用如图6或图7所示的策略模型建模方法得到的亮度融合策略模型曲面实施亮度融合，但步骤S930并不依赖于S922采用何种方式实施亮度融合。
为了更好地理解上述步骤S930使用的色域映射关系，下面结合一流程说明该色域映射关系的创建过程。
图10为用于创建如图8所示扩展流程中使用的色域映射关系的映射建模方法的示例性流程示意图。请参见图10，图9中的步骤S923使用的色域映射关系，可以通过执行如下步骤创建得到：
S1010：获取标定色卡在参考亮度环境下的可见光参考图像、以及该标定色卡在场景亮度环境下的可见光实测图像和红外实测图像。其中，参考亮度环境可以为可以使色卡的颜色保真度达到预期的理想亮度环境，场景亮度环境可以为如图1、图2、图3、图8或图9获取到的可见光图像和红外图像的拍摄亮度环境。
S1020：将标定色卡的可见光实测图像从RGB色彩空间映射到YUV色彩空间。
S1030：利用标定色卡的可见光实测图像和红外实测图像的亮度(例如Y分量)，在YUV色彩空间对可见光实测图像进行亮度融合。
其中，S1022进行亮度融合的方式，可以与步骤S922实施亮度融合的方式相同。
S1040：将完成亮度融合的可见光实测图像从YUV色彩空间映射回TGB色彩空间，得到色卡融合图像。
S1050：利用标定色卡在参考亮度环境下的可见光参考图像的参考颜色分量、以及该标定色卡的色卡融合图像的实测颜色分量，创建色域映射关系。
至此，基于指定的标定色卡的色域映射关系的创建过程结束。
以上是对一次融合过程的各种优化方案的详尽说明。下面，再介绍二次融合的颜色迁移过程。其中，二次融合的颜色迁移，可以采用全局迁移或者局部迁移的方式。
图11为如图1所示的图像融合方法实现颜色迁移时的优化流程示意图。请参见图11，如图1所示的图像融合方法可以扩展为包括如下的步骤：
S1110：获取可见光图像和红外图像。
S1120：通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像。其中，步骤S1120可以认为是图像融合方法中实施一次融合的步骤，并且，步骤S1120可以适用前文所述的一次融合过程的各种优化方案。
S1131：获取可见光图像在选定色彩空间的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间的第二颜色分量统计数据。
S1132：基于以第一颜色分量统计数据和第二颜色分量统计数据对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
图12为如图11所示优化流程中的颜色迁移实例的流程示意图。请参见图12，在以选定色彩空间为1αβ色彩空间为例的一个具体实例中，如图11所示优化流程中的颜色迁移过程(S1131～S1132)可以具体包括：
S1131a：将可见光图像和第一融合图像从RGB色彩空间映射到1αβ色彩空间。
例如，可以先将可见光图像和第一融合图像从RGB色彩空间映射到过渡色彩空间，然后再将可见光图像和第一融合图像从过渡色彩空间映射到1αβ色彩空间。
其中，过渡色彩空间具有比RGB色彩空间更高的人眼视觉特性匹配度，例如，第三色彩空间可以为基于人类视网膜吸收短波光线的锥体细胞(S锥体)、吸收中波的锥体(M锥体)、吸收长波光线的锥体(L锥体)的LMS颜色空间。若过渡色彩空间为LMS色彩空间，则上述步骤S1131可以表示为下述的表达式(2-1)：
对于表达式(2-1)中的矩阵系数p11～p33，可以代入具体数值，下述的表达式(2-2)为表达式(2-1)代入范例时的形态：
通过上述步骤S1131a将可见光图像和第一融合图像从RGB色彩空间到过渡色彩空间的映射，可以提升可见光图像和第一融合图像的视觉特性水平。
另外，由于LMS色彩空间中的数据比较分散，因此可以进一步对映射在LMS色彩空间的可见光图像和第一融合图像的分量分布集中化处理，例如，对可见光图像和第一融合图像的L、M、S分量实施以10为底的对数变换，使数据分布更加集中，更符合人眼的视觉感受。例如，该分布集中化处理的过程可以表示为如下的表达式(3)：
1αβ色彩空间具有比过渡色彩空间(LMS色彩空间)更低的信道相关性，将可见光图像和第一融合图像从过渡色彩空间映射到1αβ色彩空间可以表示为下述的表达式(4-1)：
对于表达式(4-1)中的矩阵系数c11～c33以及k11～k33，可以代入具体数值，下述的表达式(4-2)为表达式(4-1)代入范例时的形态：
通过上述步骤S1131a将可见光图像和第一融合图像从过渡色彩空间到1αβ色彩空间的映射，可以降低可见光图像和第一融合图像的亮度与颜色之间的相关性水平。
S1131b：计算可见光图像的第一像素点集合在1αβ色彩空间中的第一颜色分量统计数据、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在1αβ色彩空间中的第二颜色分量统计数据。例如，第一颜色分量统计数据和第二颜色分量统计数据都可以包括诸如均值等一阶统计值和/或诸如方差等二阶统计值。
S1132a：利用第一颜色分量统计数据、以及第二颜色分量统计数据，对第一融合图像的第二像素点集合进行颜色分量补偿更新。
以第一颜色分量统计数据和第二颜色分量统计数据包括一阶统计值和二阶统计值为例，其中，一阶统计值包括可见光图像的第一像素集合和第一融合图像的第二像素集合中各像素的1、α和β在全图的均值，二阶统计值包括可见光图像的第一像素集合和第一融合图像的第二像素集合中各像素的1、α和β在全图的方差，上述步骤S1132a可以表示为如下的表达式(5-1)、(5-2)、(5-3)：
其中：
为可见光图像的第一像素集合中单个像素的1分量(第一1分量)的均值(第一1均值)、/>为可见光图像的第一像素集合中单个像素的α分量(第一α分量)的均值(第一α均值)、/>为可见光图像的第一像素集合中单个像素的β分量(第一β分量)的均值(第一β均值)；
为可见光图像的第一像素集合中单个像素的1分量(第一1分量)的方差(第一1方差)、/>为可见光图像的第一像素集合中单个像素的α分量(第一α分量)的方差(第一α方差)、/>为可见光图像的第一像素集合中单个像素的β分量(第一β分量)的方差(第一β方差)；
为第一融合图像的第二像素集合中单个像素的1分量(第二1分量)的均值(第二1均值)、/>为第一融合图像的第二像素集合中单个像素的α分量(第二α分量)的均值(第二α均值)、/>为第一融合图像的第二像素集合中单个像素的β分量(第二β分量)的均值(第二β均值)；
为第一融合图像的第二像素集合中单个像素的1分量(第二1分量)的方差(第二1方差)、/>为第一融合图像的第二像素集合中单个像素的α分量(第二α分量)的方差(第二α方差)、/>为第一融合图像的β分量(第二β分量)的方差(第二β方差)；
lref为第一融合图像的第二像素集合中单个像素的1分量在从RGB空间映射到1αβ色彩空间时的原值(第二1分量)、lmerge为第一融合图像的1分量(第二1分量)经颜色分量补偿更新后的融合值(第三1分量)、αref为第一融合图像的第二像素集合中单个像素的α分量在从RGB空间映射到1αβ色彩空间时的原值(第二α分量)、αmerge为第一融合图像的α分量(第二α分量)经颜色分量补偿更新后的融合值(第三α分量)、βref为第一融合图像的第二像素集合中单个像素的β分量在从RGB空间映射到1αβ色彩空间时的原值(第二β分量)、βmerge为第一融合图像的β分量(第二β分量)经颜色分量补偿更新后的融合值(第三β分量)。
S1132b：将完成颜色分量补偿更新的第一融合图像由1αβ色彩空间映射到RGB空间，得到第二融合图像。
仍以过渡色彩空间为LMS色彩空间为例，上述步骤S1132b首先可以参照表达式(6-1)对完成颜色迁移的图像从1αβ色彩空间映射至LMS色彩空间：
对于表达式(6-1)中的矩阵系数c11～c33以及k11～k33，可以代入具体数值，下述的表达式(6-2)为表达式(6-1)代入范例时的形态：
若在前述步骤S1132b执行了分布集中化处理，则在映射至LMS颜色空间后，还可以执行逆向的分布扩散化处理，例如对L、M、S分量的指数变换，其过程可以表示为如下的表达式(7)：
此后，再从LMS颜色空间映射回RGB空间，其过程可以表示为表达式(8-1)：
对于表达式(8-1)中的矩阵系数q11～q33，可以代入具体数值，下述的表达式(8-2)为表达式(8-1)代入范例时的形态：
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
上述流程中，可见光图像的第一像素点集合可以为可见光图像的全局像素集合，此时，第一融合图像的第二像素点集合为第一融合图像的全局像素集合，从而可以实现全局颜色迁移。或者，可见光图像的第一像素点集合也可以为可见光图像的局部区域的像素集合，此时，第一融合图像的第二像素点集合为第一融合图像在与第一像素集合具有相同位置和相同尺寸的局部区域的像素集合，从而可以实现局部颜色迁移。
图13为如图1所示的图像融合方法实现局部颜色迁移时的优化流程示意图。请参见图13，对于局部颜色迁移的方式，如图1所示的图像融合方法可以扩展为包括如下的步骤：
S1310：获取可见光图像和红外图像。
S1321：通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像。其中，步骤S1321可以认为是图像融合方法中实施一次融合的步骤，并且，步骤S1321可以适用前文所述的一次融合过程的各种优化方案。
S1322：在图像尺寸范围内划分局部窗口，用于将第一颜色分量统计数据和第二颜色分量统计数据的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿，限定为以局部窗口为粒度。例如，在针对每个局部窗口执行第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿时，将可见光图像和红外图像中圈定在该局部窗口内的像素分别确定为第一像素集合和第二像素集合。
其中，S1322可以根据可见光图像和红外图像的图像特征划分局部窗口。例如，可以先利用可见光图像的RGB颜色分量与红外图像的亮度分量，得到包含RGB颜色分量和亮度分量的高维图像；然后在高维图像中识别图像结构特征、并提取识别到的图像结构特征的边缘；最后，根据提取的边缘设定局部窗口。对于根据图像特征划分局部窗口的方式，可以在图像特征平坦分布的第一区域设定具有第一尺寸的局部窗口，在第一区域边缘的第二区域设定具有第二尺寸的局部窗口，第二尺寸小于第一尺寸。
或者，S1322也可以获取预先根据处理器的负载容忍值配置的窗口尺寸阈值，并且在图像尺寸范围内划分形成不小于窗口尺寸阈值的局部窗口。配置的窗口尺寸阈值可以与处理器的负载容忍值成反比。即，处理器的负载容忍值越高，配置的窗口尺寸阈值可以越小；反之，处理器的负载容忍值越低，配置的窗口尺寸阈值可以越大。
S1331：获取可见光图像在选定色彩空间处于每个局部窗口范围内的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间处于每个局部窗口范围内的第二颜色分量统计数据。即，将第一颜色分量统计值以及第二颜色分量统计值的获取(例如如图12所示的S1131b实现的获取)，限定为以局部窗口为粒度。
S1332：基于以每个局部窗口范围内的第一颜色分量统计数据和第二颜色分量统计数据对第一融合图像在选定色彩空间处于相同局部窗口范围内的颜色分量局部迁移补偿，得到第二融合图像。即，将对第一融合图像在选定色彩空间的颜色分量迁移补偿(例如如图12所示的S1132a实现的迁移补偿)，限定为以局部窗口为粒度。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
相比于全局颜色迁移的流程，如图13所示流程实现的局部颜色迁移能够参考图像局部特性(例如饱和度以及亮暗对比度)，而更有针对性地分区域实施颜色迁移，因而能够产生效果更优的二次融合。
图14为另一个实施例中的另外一种图像融合方法的示例性流程示意图。请参见图14，该图像融合方法更关注于在首次融合之后以颜色迁移实现的二次融合，并且包括：
S1410：获取在同一时刻采集到的可见光图像和红外光图像。
S1420：将可见光图像和红外图像融合得到第一融合图像。
S1430：获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差。
S1440：基于以每个局部窗口范围内的第一颜色分量均值和第一颜色分量方差、以及第二颜色分量均值和第二颜色分量方差对第一融合图像在选定色彩空间处于相同局部窗口的颜色分量局部迁移补偿，得到第二融合图像。
上述流程中的S1430的原理可以类似于如图12所示的流程中的S1131a和S1131b，并且可以包括：
a、将可见光图像和第一融合图像由RGB空间映射到选定色彩空间，例如，先将可见光图像和第一融合图像从RGB色彩空间映射到过渡色彩空间(过渡色彩空间具有比RGB色彩空间更高的人眼视觉特性匹配度)，再将可见光图像和第一融合图像从过渡色彩空间映射到选定色彩空间，其中，选定色彩空间可以为具有比色彩空间更低的信道相关性的1αβ色彩空间；
b、计算可见光图像的第一像素点集合在选定色彩空间中的第一颜色分量的第一均值和第一方差、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在选定色彩空间中的第二颜色分量的第二均值和第二方差，例如：
计算第一像素点集合中的各像素点的第一1分量的第一1均值和第一1方差、第一α分量的第一α均值和第一α方差、以及第一β分量的第一β均值和第一β方差；
计算第二像素点集合中的各像素点的第二1分量的第二1均值和第二1方差、第二α分量的第二α均值和第二α方差、以及第二β分量的第二β均值和第二β方差。
上述流程中的S1440的原理可以类似于如图12所示的流程中的S1132a和S1132b，并且可以包括：
利用第一1均值和第一1方差、以及第二1均值和第二1方差，将第二像素点集合中的各像素点的第二1分量补偿更新为第三1分量，例如可以参照表达式(5-1)；
利用第一α均值和第一α方差、以及第二α均值和第二α方差，将第二像素点集合中的各像素点的第二α分量补偿更新为第三α分量，例如可以参照表达式(5-2)；
利用第一β均值和第一β方差、以及第二β均值和第二β方差，将第二像素点集合中的各像素点的第二β分量补偿更新为第三β分量，例如可以参照表达式(5-3)；
将第二像素点集合中的各像素点被补偿更新为具有第三1分量、第三α分量以及第三β分量的第一融合图像，从1αβ色彩空间映射回RGB色彩空间，得到第二融合图像。
如图14所示的另外一种图像融合方法，同样可以支持全局颜色迁移或者局部颜色迁移。
图15为如图14所示的图像融合方法实现局部颜色迁移时的优化流程示意图。请参见图15，对于局部颜色迁移的方式，如图14所示的图像融合方法可以扩展为包括如下的步骤：
S1510：获取在同一时刻采集到的可见光图像和红外光图像。
S1521：将可见光图像和红外图像融合得到第一融合图像。
S1522：在图像尺寸范围内划分局部窗口，用于将第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿，限定为以局部窗口为粒度。
例如，在图像尺寸范围内划分局部窗口，可以用于在针对每个局部窗口执行第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿时，将可见光图像和红外图像中圈定在该局部窗口内的像素分别确定为第一像素集合和第二像素集合。并且，局部窗口的划分方式，可以适用如图13所示流程中的S1322采用的划分方式。
S1530：获取可见光图像在选定色彩空间处于每个局部窗口范围内的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间处于每个局部窗口范围内的第二颜色分量均值和第二颜色分量方差。.
S1540：基于以每个局部窗口范围内的第一颜色分量均值和第一颜色分量方差、以及第二颜色分量均值和第二颜色分量方差对第一融合图像在选定色彩空间处于相同局部窗口范围内的颜色分量局部迁移补偿，得到第二融合图像。
至此，以第二融合图像作为图像融合输出结果的一次处理过程结束。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种图像融合方法，其特征在于，包括：
获取可见光图像和红外图像；
通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像；
通过对第一融合图像进行颜色迁移，得到第二融合图像；
其中，第二融合图像据至少具有比第一融合图像更接近可见光图像的亮度和颜色并且，通过对第一融合图像进行颜色迁移，得到第二融合图像包括以在图像尺寸范围内划分的局部窗口为粒度执行的如下步骤：
获取可见光图像在选定色彩空间处于每个局部窗口范围内的第一颜色分量统计数据、以及第一融合图像在该选定色彩空间处于每个局部窗口范围内的第二颜色分量统计数据；
基于以每个局部窗口范围内的第一颜色分量统计数据和第二颜色分量统计数据对第一融合图像在选定色彩空间处于相同局部窗口范围内的颜色分量局部迁移补偿，得到第二融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，通过对可见光图像和红外图像进行亮度和颜色的融合，得到第一融合图像包括：
将可见光图像从RGB色彩空间映射到YUV色彩空间；
利用可见光图像和红外图像的亮度，在YUV色彩空间对可见光图像进行亮度融合；
将完成亮度融合的可见光图像从YUV色彩空间映射回RGB色彩空间，得到第一融合图像；
其中，利用可见光图像和红外图像的亮度，在YUV色彩空间对可见光图像进行亮度融合包括：
根据可见光图像和红外图像的亮度，确定可见光图像和红外图像的亮度融合权重；其中，可见光图像和红外图像之间的亮度差越大，可见光图像的亮度融合权重越高；可见光图像和红外图像之间的亮度差越小，红外图像的亮度融合权重越高；
利用确定的亮度融合权重，将可见光图像和红外图像的亮度融合。
3.根据权利要求1所述的图像融合方法，其特征在于，局部窗口是根据可见光图像和红外图像的图像特征划分的。
4.根据权利要求3所述的图像融合方法，其特征在于，根据可见光图像和红外图像的图像特征划分局部窗口的过程包括：
利用可见光图像的RGB颜色分量与红外图像的亮度分量，得到包含RGB颜色分量和亮度分量的高维图像；
在高维图像中识别图像结构特征、并提取识别到的图像结构特征的边缘；
在由图像特征的边缘包围的特征平坦区域设定具有第一尺寸的局部窗口、在图像特征的边缘处设定具有第二尺寸的局部窗口，其中，所述第二尺寸小于所述第一尺寸。
5.一种图像融合方法，其特征在于，包括：
获取在同一时刻采集到的可见光图像和红外光图像；
将可见光图像和红外图像融合得到第一融合图像；
将可见光图像和第一融合图像从RGB色彩空间映射到过渡色彩空间，其中，过渡色彩空间具有比RGB色彩空间更高的人眼视觉特性匹配度；
将可见光图像和第一融合图像从过渡色彩空间映射到选定色彩空间，其中，选定色彩空间为具有比色彩空间更低的信道相关性的1αβ色彩空间；
获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差；
基于以第一颜色分量均值和第一颜色分量方差、以及第二颜色分量均值和第二颜色分量方差对第一融合图像在选定色彩空间的颜色分量迁移补偿，得到第二融合图像；
其中，获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差之前，还包括：在图像尺寸范围内划分局部窗口，用于将第一颜色分量均值和第一颜色分量方差以及第二颜色分量均值和第二颜色分量方差的获取、以及对第一融合图像在选定色彩空间的颜色分量迁移补偿，限定为以局部窗口为粒度。
6.根据权利要求5所述的图像融合方法，其特征在于，获取可见光图像在选定色彩空间的第一颜色分量均值和第一颜色分量方差、以及第一融合图像在该选定色彩空间的第二颜色分量均值和第二颜色分量方差，包括：
计算可见光图像的第一像素点集合在选定色彩空间中的第一颜色分量的第一均值和第一方差、以及第一融合图像中与第一像素点集合位置相同的第二像素点集合在选定色彩空间中的第二颜色分量的第二均值和第二方差。
7.根据权利要求5所述的图像融合方法，其特征在于，在图像尺寸范围内划分局部窗口，包括：
利用可见光图像的RGB颜色分量与红外图像的亮度分量，得到包含RGB颜色分量和亮度分量的高维图像；
在高维图像中识别图像结构特征、并提取识别到的图像结构特征的边缘；
在由图像特征的边缘包围的特征平坦区域设定具有第一尺寸的局部窗口、在图像特征的边缘处设定具有第二尺寸的局部窗口，其中，所述第二尺寸小于所述第一尺寸。
8.根据权利要求5所述的图像融合方法，其特征在于，在图像尺寸范围内划分局部窗口，包括：
获取预先根据处理器的负载容忍值配置的窗口尺寸阈值；
在图像尺寸范围内划分形成不小于窗口尺寸阈值的局部窗口；
其中，配置的窗口尺寸阈值与处理器的负载容忍值成反比。
CN202010142139.5A 2020-03-04 2020-03-04 图像融合方法 Active CN113362261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142139.5A CN113362261B (zh) 2020-03-04 2020-03-04 图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142139.5A CN113362261B (zh) 2020-03-04 2020-03-04 图像融合方法

Publications (2)

Publication Number Publication Date
CN113362261A CN113362261A (zh) 2021-09-07
CN113362261B true CN113362261B (zh) 2023-08-11

Family

ID=77523425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142139.5A Active CN113362261B (zh) 2020-03-04 2020-03-04 图像融合方法

Country Status (1)

Country Link
CN (1) CN113362261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781350B (zh) * 2021-09-16 2023-11-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298769A (zh) * 2011-06-11 2011-12-28 浙江理工大学 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
WO2014174347A1 (en) * 2013-04-26 2014-10-30 Sony Corporation Image processing method and apparatus and electronic device
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106780311A (zh) * 2016-12-22 2017-05-31 华侨大学 一种结合皮肤粗糙度的快速人脸图像美化方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所（中国船舶重工集团公司第七七研究所） 一种基于像素级的快速图像融合算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298769A (zh) * 2011-06-11 2011-12-28 浙江理工大学 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
WO2014174347A1 (en) * 2013-04-26 2014-10-30 Sony Corporation Image processing method and apparatus and electronic device
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106780311A (zh) * 2016-12-22 2017-05-31 华侨大学 一种结合皮肤粗糙度的快速人脸图像美化方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所（中国船舶重工集团公司第七七研究所） 一种基于像素级的快速图像融合算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Infrared and visible image fusion via gradient transfer and total variation minimization;Jiayi Ma，et al;Information Fusion;31;100-109 *

Also Published As

Publication number Publication date
CN113362261A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Wang et al. Single underwater image restoration using adaptive attenuation-curve prior
CN103051905B (zh) 使用噪声优化的选择标准计算场景白点
CN109410126B (zh) 一种细节增强与亮度自适应的高动态范围图像的色调映射方法
EP3542347B1 (en) Fast fourier color constancy
KR101309498B1 (ko) 높은 동적 범위 이미지 매핑을 위한 히스토그램 조정
EP1435560A2 (en) Method and apparatus for generating user preference data regarding image colour and method and apparatus for converting image colour preference
US8009905B2 (en) System, medium, and method with noise reducing adaptive saturation adjustment
US6724942B1 (en) Image processing method and system
US10580122B2 (en) Method and system for image enhancement
CN110248170B (zh) 图像色彩调整方法及装置
US8861849B2 (en) Image processing
CN113362261B (zh) 图像融合方法
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
US7570809B1 (en) Method for automatic color balancing in digital images
JP2006325015A (ja) 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
JP5719123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108806638A (zh) 一种图像的显示方法及其装置
WO2008102296A2 (en) Method for enhancing the depth sensation of an image
JP2002077616A (ja) 画像処理方法、装置および記録媒体
Zhou et al. Underwater image enhancement method based on color correction and three-interval histogram stretching
Wu et al. Underwater optical image processing based on double threshold judgements and optimized red dark channel prior method
Kunkel et al. Perceptual design for high dynamic range systems
CN106575434A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
US10326971B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
Wang et al. A new single image dehazing method with MSRCR algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant