CN114841904A - 图像融合方法、电子设备及存储装置 - Google Patents

Abstract

本申请提供了一种图像融合方法、电子设备及存储装置，所述图像融合方法，包括：获得对当前场景采集获得的可见光图像和非可见光图像；针对所述可见光图像中的至少部分第一像素点，从所述非可见光图像中获得与所述第一像素点对应的第二像素点；其中，所述第一像素点与对应的所述第二像素点代表同一目标；基于所述第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合亮度；基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例；基于所述颜色调整比例调整所述第一像素点的初始颜色以获得融合颜色；基于所述融合亮度和所述融合颜色获得调整后的第一像素点。通过上述设计方式，本申请能够提高融合效果。

Description

图像融合方法、电子设备及存储装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像融合方法、电子 设备及存储装置。

背景技术

随着人们对监控要求的不断提高，图像融合技术已经成为视频监控 的热门技术之一。通过多传感器设备，采集不同光波段的图像，进行多 图像融合处理，得到细节丰富且具有色彩的融合图像。具体的，多图像 融合方法的步骤一般包括：通过多传感器设备，同时获取可见光图像和 非可见光图像，对两种不同图像的信息进行配准和融合处理，生成具有两种图像特征和细节信息的融合图像。但是现有的图像融合方法存在融 合效果差的问题。

发明内容

本申请提供一种图像融合方法、电子设备及存储装置，以提高融合 效果。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图 像融合方法，包括：获得对当前场景采集获得的可见光图像和红外图像 非可见光图像；针对所述可见光图像中的至少部分第一像素点，从所述 红外图像非可见光图像中获得与所述第一像素点对应的第二像素点；其 中，所述第一像素点与对应的所述第二像素点代表同一目标；基于所述 第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合 亮度；基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一 像素点的颜色调整比例；基于所述颜色调整比例调整所述第一像素点的 初始颜色以获得融合颜色；基于所述融合亮度和所述融合颜色获得调整 后的第一像素点。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种 电子设备，包括相互耦接的存储器和处理器，所述存储器中存储有程序 指令，所述处理器用于执行所述程序指令以实现上述任一实施例中所述 的图像融合方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种 存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实 现上述任一实施例中所述的图像融合方法。

区别于现有技术情况，本申请的有益效果是：本申请所提供的图像 融合方法中，从可见光图像的像素点的角度对可见光图像和非可见光图 像的亮度和颜色进行融合，以提高融合后的图像效果。此外，本申请中 通过融合亮度、可见光图像中第一像素点的第一亮度以及非可见光图像 中对应的第二像素点的第二亮度确定颜色调整比例，并基于该颜色调整 比例调整第一像素点的初始颜色，以实现第一像素点的融合颜色的自适 应调整，以提高色彩饱和度，使其与融合亮度更匹配。

另外，本申请中通过人眼对颜色的敏感度进行色噪抑制比例计算， 实现低照图像中色噪和色偏的去除；且该融合方法在处理过程中没有窗 口滤波，计算量较少，易于设备移植，能够明显消除色噪和偏色。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本申请图像融合方法一实施方式的流程示意图；

图2为自定义第一亮度与上限值一实施方式的曲线示意图；

图3为人眼对RGB敏感度一实施方式的示意图；

图4为图1中步骤S105对应的一实施方式的流程示意图；

图5为图4中步骤S201对应的一实施方式的流程示意图；

图6为采用本申请图像融合方法处理前后可见光图像一实施方式的 对比示意图；

图7为本申请图像融合装置一实施方式的框架示意图；

图8为本申请电子设备一实施方式的结构示意图；

图9为本申请存储装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实 施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本 申请保护的范围。

请参阅图1，图1为本申请图像融合方法一实施方式的流程示意图， 该图像融合方法包括：

S101：获得对当前场景采集获得的可见光图像和非可见光图像。

具体地，可见光图像和非可见光图像可以是由多个传感器对当前场 景同时采集获得，或者，可见光图像和非可见光图像也可由同一传感器 对当前场景分时采集获得。可选地，该非可见光图像可以为近红外图像、 红外图像、或透雾图像等。

例如，在安防领域，夜晚低照场景和雾霾场景，需要采集更多的图 像信息来提高监控效果。多传感器设备中的近红外波段传感器，既可以 在夜间低照环境下获取噪声较小、细节清楚的近红外图像，又可以在雾 霾天气中获取细节更多的透雾图像。通过与可见光波段传感器获取的可 见光图像进行融合处理，得到包括色彩和细节的融合图像。尤其适用于 道路监控中，路灯和车灯的色温不一致，导致同一场景出现多种色温的 场景中。

S102：针对可见光图像中的至少部分第一像素点，从非可见光图像 中获得与第一像素点对应的第二像素点；其中，第一像素点与对应的第 二像素点代表同一目标。

具体地，当可见光图像和非可见光图像由同一传感器采集获得时， 同一目标(例如，车灯、车标等)在可见光图像和非可见光图像中的坐 标相同，此时可以通过查询坐标的方式从非可见光图像中获得与第一像 素点对应的第二像素点。当可见光图像和非可见光图像由不同传感器采 集获得时，可见光图像和非可见光图像中对应同一目标的像素点的坐标 可能不一致，此时可以对非可见光图像或可见光图像进行处理，以使得 可见光图像和非可见光图像中对应同一目标的像素点坐标相同，以便于 后续处理。

此外，在本申请中，可以针对可见光图像中的所有第一像素点进行 后续处理过程。或者，也可仅针对可见光图像中预定区域(例如，非背 景区域)内的所有第一像素点进行后续处理过程。

S103：基于第一像素点的第一亮度和对应的第二像素点的第二亮度 获得融合亮度。

具体地，上述第一像素点和第二像素点的数据以YUV形式存储， 其中，Y代表亮度值，UV代表颜色信息，U代表色度值，V代表浓度 值。上述步骤S103的实现过程可以为：提取第一像素点的Y信息以获 得第一亮度visy、以及提取第二像素点的Y信息以获得第二亮度niry； 将第一像素点的第一亮度visy、与第一像素点对应的第二像素点的第二 亮度niry采用加权、基于能量信息选择、或频域选择等融合方式进行处 理以获得融合亮度fy。

以加权融合方式为例，以公式表示如下：fy＝a*visy+b*niry；其中， fy为融合亮度；a和b是范围为[0,1]的加权系数，且a与b的和为1；例 如，a和b可以设置为0.5；visy为第一亮度；niry为第二亮度。

S104：基于融合亮度、第一亮度和第二亮度确定第一像素点的颜色 调整比例。

具体地，实现上述步骤S104时可以根据场景特征来选择不同的方 法获得颜色调整比例。此时，在上述步骤S104之前，还包括：基于可 见光图像确定当前场景的场景特征；其中，场景特征包括大面积单色场 景、微光场景或无光场景。例如，可以基于可见光图像中的UV信息获 得白平衡值，当白平衡值超过第一阈值，则认为当前场景的场景特征为 大面积单色场景。又例如，可以基于可见光图像中的Y信息获得平均亮 度值，当平均亮度值低于第二阈值且超过第三阈值，则认为当前场景的 场景特征为微光场景；当平均亮度值低于第三阈值，则认为当前场景的 场景特征为无光场景；其中，第三阈值小于第二阈值。需要说明的是， 上述获得当前场景的场景特征时，基于的是整个可见光图像，而非单个 第一像素点。

进一步，上述步骤S104的具体实现过程可以为：基于场景特征、 融合亮度、第一亮度和第二亮度确定第一像素点的颜色调整比例。上述 颜色调整比例的物理意义是对输入的可见光图像的颜色信息进行调整， 以得到融合图像的颜色信息。

在一个应用场景中，响应于当前场景为大面积单色场景或微光场景， 上述获得颜色调整比例uv_p的过程为：

A1、基于融合亮度fy、第一亮度visy和第二亮度niry确定非局部 系数α。

具体地，非局部系数α用来校正大面积单色场景的偏色问题，主要 可以通过第一亮度visy和第二亮度niry的差值大小、融合亮度fy与第 一亮度visy的占比来决定颜色的恢复程度。上述确定非局部系数α的具 体过程包括：获得第一亮度visy与第二亮度niry的第一差值，并获得融 合亮度fy与第一差值的绝对值的第三比值；获得融合亮度fy与第一亮度visy的第一和值，并获得第一和值与255的第四比值；将第三比值与 第四比值之和作为非局部系数α。以公式表示如下：

α＝fy/abs(visy-niry)+(fy+visy)/255。

B1、获得融合亮度fy与非局部系数α的第一乘积，并将第一乘积 与第一亮度visy的第一比值作为颜色调整比例uv_p。以公式表示如下：

uv_p＝fy*α/visy。

此外，在通过上述方式获得颜色调整比例uv_p之后，为了防止颜 色溢出，例如，防止后续通过颜色调整比例uv_p调整颜色后蓝色会溢 出为紫色等现象，会对颜色调整比例uv_p的大小进行限制。其具体过 程可以为：

A2、基于第一亮度visy确定上限值up_max。

例如，响应于颜色调整比例uv_p小于或等于1，将上限值up_max 设置为一；响应于颜色调整比例uv_p大于1，获得以2为底第一亮度 visy的第二对数，并将第二对数的二分之一作为上限值up_max。以公式 表示如下：

当然，在其他实施例中，如图2所示，图2为自定义第一亮度与上 限值一实施方式的曲线示意图。用户可以根据第一亮度visy的大小直接 从图2中获得对应的上限值up_max。

B2、响应于颜色调整比例uv_p大于上限值up_max，将上限值 up_max作为颜色调整比例uv_p；响应于颜色调整比例uv_p小于或等于 上限值up_max，颜色调整比例uv_p保持原值。

在另一个应用场景中，响应于当前场景为无光场景，上述获得颜色 调整比例uv_p的过程为：

A3、基于融合亮度fy、第一亮度visy和第二亮度niry确定非局部 系数α，以及将融合亮度fy与第一亮度visy的第二比值作为初始比例 系数uv_s。

具体地，获得非局部系数α的过程可参见上述步骤A1，在此不再 赘述。初始比例系数uv_s的计算过程以公式表示如下：

uv_s＝fy/visy。

B3、基于初始比例系数以及非局部系数确定压缩比例系数。

具体地，上述步骤B3的具体实现过程可以为：响应于初始比例系 数uv_s小于或等于第一数值，将初始比例系数uv_s作为压缩比例系数 uv_c。响应于初始比例系数uv_s大于第一数值且小于或等于第二数值， 将非局部系数α和初始比例系数uv_s的第二乘积作为压缩比例系数 uv_c；其中，第二数值大于第一数值。响应于初始比例系数uv_s大于第 二数值，获得第一常数与初始比例系数uv_s的第三乘积，获得以2为底 第三乘积的第一对数，并将第一对数与第二常数的第二差值作为压缩比 例系数uv_c。其中，上述第一常数和第二常数的作用是使得计算获得的 压缩比例系数uv_c可以为整数，本申请对于第一常数和第二常数的取值 并无限定。当第一数值为1，第二数值为2，第一常数为256，第二常数 为8时，上述确定压缩比例系数uv_c的过程以公式表示如下：

C3、将初始比例系数uv_s和压缩比例系数uv_c进行加权求和以获 得颜色调整比例uv_p。

具体地，加权求和的计算过程以公式表示如下：

uv_p＝β*uv_s+(1-β)*uv_c；其中，β为取值为[0,1]的权重系数。

此外，在通过上述方式获得颜色调整比例uv_p之后，为了防止颜 色溢出，可以对颜色调整比例uv_p的大小进行限制，具体限制过程可 参见上述步骤A2-B2，在此不再赘述。

上述根据场景特征选择相应的颜色调整比例uv_p的获得过程，可 以自适应提升色彩鲜艳度，使融合颜色更接近可见路颜色，更自然，也 解决了融合亮度跳变或可见亮度域红外亮度差异较大导致颜色恢复异 常的问题。当然，在其他实施例中，也可不区分场景特征，不同场景特 征可以均使用上述两种方式中的其中一种计算获得颜色调整比例uv_p。

S105：基于颜色调整比例调整第一像素点的初始颜色以获得融合颜 色。

具体地，一般而言，从人眼感知度或者刺激度入手，分析较暗的RGB 不同比例颜色，在经过比例放大后，人眼区别出颜色的界限。如图3所 示，图3为人眼对RGB敏感度一实施方式的示意图。第一列颜色是RGB 三通道值一起增大的情形，第二列颜色是R通道值增大的情形，第三列 颜色是G通道值增大的情形，第四列颜色是B通道值增大的情形。其中， 人眼对不同列颜色分辨能力不同，人眼对绿色最敏感、红色次之、蓝色 最弱。根据这个结论，根据人眼对颜色的敏感度，来生成色噪抑制比例， 对可见光图像中UV颜色进行色噪和色偏去除，即消除人眼不敏感的颜 色，防止融合后被放大成色噪或色偏，提高融合图像质量。具体过程请 参阅图4，图4为图1中步骤S105对应的一实施方式的流程示意图，上 述步骤S105具体包括：

S201：基于第一像素点的初始颜色获得色噪抑制比例。

具体地，请参阅图5，图5为图4中步骤S201对应的一实施方式的 流程示意图，上述步骤S201具体包括：

S301：获得第一像素点的各个颜色通道的通道值，并根据各个颜色 通道的通道值获得基础值。

具体地，可以将第一像素点的YUV数据格式转化为RGB数据格式， 具体转换过程是通用过程，在此不再详述。上述基础值base可以采用如 下任一公式计算获得：

base＝max(R,G,B)；

或，base＝(R+G+B)/3；

或，base＝0.299*R+0.587*G+0.114*B；

其中，R为第一像素点的红色通道的通道值，G为第一像素点的绿 色通道的通道值，B为第一像素点的蓝色通道的通道值，max表示取最 大值。

S302：将每个颜色通道的通道值与基础值的第三差值的绝对值作为 对应颜色通道的条件判断值。

具体地，以公式表示如下：

Rc＝abs(R-base)；

Gc＝abs(G-base)；

Bc＝abs(B-base)；

其中，Rc为第一像素点的红色通道的条件判断值，Gc为第一像素 点的绿色通道的条件判断值，Bc为第一像素点的蓝色通道的条件判断值， abs代表取绝对值。

S303：基于各个颜色通道的条件判断值和对应的通道阈值确定色噪 抑制比例；其中，第一像素点包括红色通道、蓝色通道和绿色通道，红 色通道的通道阈值Rthr大于绿色通道的通道阈值Gthr且小于蓝色通道 的通道阈值Bthr。

具体地，Rthr/Gthr/Bthr表示人眼对RGB三通道颜色的敏感度，值 越小越敏感，则结合图3可以获得上述三个颜色的通道阈值的大小关系 为Gthr<Rthr<Bthr，Rthr、Gthr和Bthr取值范围是0到255，例如Gthr 为5，Rthr为10，Bthr为15。

进一步，上述步骤S303的具体实现过程可以为：

A4、响应于至少两个颜色通道的条件判断值均分别小于对应的通道 阈值，则获得去色噪参数an和颜色敏感参数xn的第五乘积，获得第五 乘积与256的第五比值，将第五比值与去色噪强度参数RGBthrn之和作 为色噪抑制比例cnw；其中，去色噪参数an基于去色噪强度参数RGBthrn 和去色噪范围参数Tthr获得，颜色敏感参数xn基于小于对应通道阈值的至少两个颜色通道的条件判断值和通道阈值获得。

具体地，当所有颜色通道的条件判断值均分别小于对应的通道阈值 时，获得255与去色噪强度参数的第四差值，并获得第四差值与N倍的 去色噪范围参数的第六比值，将归一化后的第六比值作为去色噪参数； 颜色敏感参数等于各个颜色通道的条件判断值与对应通道阈值的乘积 之和。以公式表示如下：当Rc<Rthr且Gc<Gthr且Bc<Bthr时，

x1＝Rthr*Rc+Gthr*Gc+Bthr*Bc。

其中，N取值为3；a1为去色噪参数，用来控制去噪强度和去噪范 围，由RGBthr1和Tthr计算得到；RGBthr1为去色噪强度参数，表示去 色噪强度，取值范围是0到255；Tthr为去色噪范围参数，取值越大去 噪范围越大，其取值范围是0到255，例如Tthr为25；x1表示图像中 不同区域颜色的敏感度大小，由Rthr/Gthr/Bthr和Rc/Gc/Bc计算得到。

而仅两个颜色通道的条件判断值小于对应颜色通道阈值时，获得 255与去色噪强度参数的第五差值，并获得第五差值与M倍的去色噪范 围参数的第七比值，将归一化后的第七比值作为去色噪参数；颜色敏感 参数等于条件判断值小于对应颜色通道阈值的两个颜色通道的条件判 断值与对应通道阈值的乘积之和；其中，M小于N，且不同情况下的去 色噪强度参数相同或不同。以公式表示如下：

当Rc<Rthr且Gc<Gthr且Bc≥Bthr，

当Rc≥Rthr且Gc<Gthr且Bc<Bthr，

当Rc<Rthr且Gc≥Gthr且Bc<Bthr，

x2＝Rthr*Rc+Gthr*Gc；

x3＝Gthr*Gc+Bthr*Bc；

x4＝Rthr*Rc+Bthr*Bc。

其中，M取值为2；a2、a3、a4为去色噪参数，用来控制去噪强度 和去噪范围，分别由对应的RGBthrn和Tthr计算得到； RGBthr2、RGBthr3、RGBthr4为去色噪强度参数，表示去色噪强度，取 值范围是0到255；Tthr为去色噪范围参数，取值越大去噪范围越大， 其取值范围是0到255，例如Tthr为25；x2、x3、x4表示图像中不同 区域颜色的敏感度大小。当然，在其他实施例中，M和N的取值也可为 其他，只要N大于M即可。

需要说明的是，上述RGBthr1、RGBthr2、RGBthr3、RGBthr4的取 值大小可以相同或者不同，例如， RGBthr1、RGBthr2、RGBthr3、RGBthr4均可取值为70等。

B4、响应于最多一个颜色通道的条件判断值小于对应的通道阈值， 则将256作为色噪抑制比例cnw。

具体地，当Rc<Rthr且Gc≥Gthr且Bc≥Bthr时，或，当 Rc≥Rthr且Gc＜Gthr且Bc≥Bthr时，或，当Rc≥Rthr且Gc≥Gthr且Bc＜Bthr时，或，当Rc≥Rthr且Gc≥Gthr且Bc≥Bthr时， cnw＝256，即不用进行色噪抑制。

以上色噪抑制比例cnw的计算方法，可以调整去噪强度、去噪范围、 RGB三通道的影响程度。应用该色噪抑制方法，可以最大程度地消除低 照图像中的色噪和色偏影响，而不损失真实物体的颜色，提高融合图像 的颜色质量。

S202：获得颜色调整比例uv_p和色噪抑制比例cnw的第四乘积， 并对第四乘积进行归一化处理以获得比例系数p。

具体地，以公式表示为：p＝uv_p*cnw/256。

S203：基于比例系数p和第一像素点的初始颜色获得调整后的融合 颜色。

具体地，可以将比例系数p应用到第一像素点的初始颜色UV信息 中，以获得调整后的融合颜色UV信息。具体过程可以为：获得第一像 素点的色度值与第三常数的第六差值，并获得第六差值与比例系数的第 六乘积，将第六乘积与第三常数之和作为调整后的色度值；以及获得第 一像素点的浓度值与第三常数的第七差值，并获得第七差值与比例系数的第七乘积，将第七乘积与第三常数之和作为调整后的浓度值。以公式 表示如下：

Us＝(U-128)*p+128；

Vs＝(V-128)*p+128；

其中，第三常数为128，这个是存储时业内通用转换常数；U为调 整融合前第一像素点的色度值；Us为调整融合后第一像素点的色度值； V为调整融合前第一像素点的浓度值；Vs为调整融合后第一像素点的浓 度值。

当获得调整融合后的第一像素点的色度值Us和浓度值Vs之后，还 可对其进行限幅，以降低溢色情况的发生。具体过程可以为：响应于调 整融合后的色度值Us或浓度值Vs小于0，将小于0的色度值Us或浓 度值Vs设置为0；响应于调整融合后的色度值Us或浓度值Vs大于255， 将大于255的色度值Vs或浓度值Vs设置为255。响应于调整融合后的 色度值Vs或浓度值Vs大于或等于0且小于或等于255，则保持调整融 合后的色度值Vs或浓度值Vs不变。

在上述实施例中，基于颜色调整比例获得融合颜色时，引入了色噪 抑制比例；当然，在其他实施例中，也可不引入色噪抑制比例，可以直 接将颜色调整比例作为上述比例系数p。

S106：基于融合亮度和融合颜色获得调整后的第一像素点。

具体地，可以将融合亮度fy、融合后的色度值Us和融合后的浓度 值Vs进行合并以获得调整后的第一像素点。

在一个应用场景中，如图6所示，图6为采用本申请图像融合方法 处理前后可见光图像一实施方式的对比示意图。从对比图中可以看出采 用本申请所提供的方法可以有效提高可见光图像的色彩饱和度，对于消 除色噪和偏色效果明显。

总而言之，本申请所提供的图像融合方法中，通过比例调整方法进 行颜色提升，实现融合颜色自适应调整色彩饱和度，与融合亮度更匹配； 通过人眼对颜色的敏感度进行色噪权重计算，实现低照图像中色噪和色 偏的去除；且该方法在处理过程中没有窗口滤波，计算量较少，易于设 备移植，消除色噪和偏色效果明显。且在计算颜色调整比例时，是通过 融合亮度和可见亮度比值调整的方法，结合对数压缩和上限曲线映射的 方法，来实现融合颜色自适应调整色彩饱和度。在计算色噪抑制比例时， 是通过分析人眼在低照下的色彩的分辨能力，判断色噪强度、色噪范围 和颜色敏感度的相互关系，来实现消除低照图像中的色噪和色偏影响。

请参阅图7，图7为本申请图像融合装置一实施方式的框架示意图。 该图像融合装置包括：第一获得模块10、确定模块12、调整模块14和 第二获得模块16。

其中，第一获得模块10用于获得对当前场景采集获得的可见光图 像和非可见光图像；针对可见光图像中的至少部分第一像素点，从非可 见光图像中获得与第一像素点对应的第二像素点；其中，第一像素点与 对应的第二像素点代表同一目标；并基于第一像素点的第一亮度和对应 的第二像素点的第二亮度获得融合亮度。确定模块12与第一获得模块10连接，用于基于融合亮度、第一亮度和第二亮度确定第一像素点的颜 色调整比例。调整模块14与确定模块12连接，用于基于颜色调整比例 调整第一像素点的初始颜色以获得融合颜色。第二获得模块16与调整 模块14连接，用于基于融合亮度和融合颜色获得调整后的第一像素点。

请参阅图8，图8为本申请电子设备一实施方式的结构示意图。该 电子设备包括：相互耦接的存储器32和处理器30，存储器32中存储有 程序指令，处理器30用于执行程序指令以实现上述任一图像融合方法。 具体地，电子设备包括但不限于：台式计算机、笔记本电脑、平板电脑、 服务器等，在此不做限定。此外，处理器30还可以称为CPU(CenterProcessing Unit,中央处理单元)。处理器30可能是一种集成电路芯片， 具有信号处理能力。处理器30还可以是、通用处理器、数字信号处理 器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、 分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何 常规的处理器等。另外，处理器30可以由集成电路芯片共同实现。

请参阅图9，图9为本申请存储装置一实施方式的结构示意图，该 存储装置50存储有能够被处理器运行的程序指令500，程序指令500用 于实现上述任一图像融合方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装 置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅 是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实 际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可 以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接 口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形 式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中 的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集 成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以 采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销 售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理 解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该 技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)或处理器(processor) 执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包 括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机 存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可 以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围， 凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或 直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保 护范围内。

Claims (14)

1.一种图像融合方法，其特征在于，包括：

获得对当前场景采集获得的可见光图像和非可见光图像；

针对所述可见光图像中的至少部分第一像素点，从所述非可见光图像中获得与所述第一像素点对应的第二像素点；其中，所述第一像素点与对应的所述第二像素点代表同一目标；

基于所述第一像素点的第一亮度和对应的所述第二像素点的第二亮度获得融合亮度；

基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例；

基于所述颜色调整比例调整所述第一像素点的初始颜色以获得融合颜色；

基于所述融合亮度和所述融合颜色获得调整后的第一像素点。

2.根据权利要求1所述的图像融合方法，其特征在于，

所述基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤之前，包括：基于所述可见光图像确定所述当前场景的场景特征；其中，所述场景特征包括大面积单色场景、微光场景或无光场景；

所述基于所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤，包括：基于所述场景特征、所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例。

3.根据权利要求2所述的图像融合方法，其特征在于，所述基于所述场景特征、所述融合亮度、所述第一亮度和所述第二亮度确定所述第一像素点的颜色调整比例的步骤，包括：

响应于所述当前场景为大面积单色场景或微光场景，基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数；获得所述融合亮度与所述非局部系数的第一乘积，并将所述第一乘积与所述第一亮度的第一比值作为所述颜色调整比例；

响应于所述当前场景为无光场景，基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数，以及将所述融合亮度与所述第一亮度的第二比值作为初始比例系数；基于所述初始比例系数以及所述非局部系数确定压缩比例系数；将所述初始比例系数和所述压缩比例系数进行加权求和以获得所述颜色调整比例。

4.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述融合亮度、所述第一亮度和所述第二亮度确定非局部系数的步骤，包括：

获得所述第一亮度与所述第二亮度的第一差值，并获得所述融合亮度与所述第一差值的绝对值的第三比值；

获得所述融合亮度与所述第一亮度的第一和值，并获得所述第一和值与255的第四比值；

将所述第三比值与所述第四比值之和作为所述非局部系数。

5.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述初始比例系数以及所述非局部系数确定压缩比例系数的步骤，包括：

响应于所述初始比例系数小于或等于第一数值，将所述初始比例系数作为所述压缩比例系数；

响应于所述初始比例系数大于第一数值且小于或等于第二数值，将所述非局部系数和所述初始比例系数的第二乘积作为所述压缩比例系数；其中，所述第二数值大于所述第一数值；

响应于所述初始比例系数大于所述第二数值，获得第一常数与所述初始比例系数的第三乘积，获得以2为底所述第三乘积的第一对数，并将所述第一对数与第二常数的第二差值作为所述压缩比例系数。

6.根据权利要求1-5任一项所述的图像融合方法，其特征在于，所述基于所述颜色调整比例调整所述第一像素点的颜色以获得融合颜色的步骤之前，包括：

基于所述第一亮度确定上限值；

响应于所述颜色调整比例大于所述上限值，将所述上限值作为所述颜色调整比例；

响应于所述颜色调整比例小于或等于所述上限值，所述颜色调整比例保持原值。

7.根据权利要求6所述的图像融合方法，其特征在于，所述基于所述第一亮度确定上限值的步骤，包括：

响应于所述颜色调整比例小于或等于1，将所述上限值设置为一；

响应于所述颜色调整比例大于1，获得以2为底所述第一亮度的第二对数，并将所述第二对数的二分之一作为所述上限值。

8.根据权利要求1所述的图像融合方法，其特征在于，所述基于所述颜色调整比例调整所述第一像素点的初始颜色以获得融合颜色的步骤，包括：

基于所述第一像素点的初始颜色获得色噪抑制比例；

获得所述颜色调整比例和所述色噪抑制比例的第四乘积，并对所述第四乘积进行归一化处理以获得比例系数；

基于所述比例系数和所述第一像素点的初始颜色获得调整后的融合颜色。

9.根据权利要求8所述的图像融合方法，其特征在于，所述基于所述第一像素点的初始颜色获得色噪抑制比例的步骤，包括：

获得所述第一像素点的各个颜色通道的通道值，并根据各个颜色通道的通道值获得基础值；

将每个颜色通道的通道值与所述基础值的第三差值的绝对值作为对应颜色通道的条件判断值；

基于各个颜色通道的条件判断值和对应的通道阈值确定所述色噪抑制比例；其中，所述第一像素点包括红色通道、蓝色通道和绿色通道，所述红色通道的通道阈值大于所述绿色通道的通道阈值且小于所述蓝色通道的通道阈值。

10.根据权利要求9所述的图像融合方法，其特征在于，所述基于各个颜色通道的条件判断值和对应的通道阈值确定所述色噪抑制比例的步骤，包括：

响应于至少两个颜色通道的条件判断值均分别小于对应的通道阈值，则获得去色噪参数和颜色敏感参数的第五乘积，获得所述第五乘积与256的第五比值，将所述第五比值与去色噪强度参数之和作为所述色噪抑制比例；其中，所述去色噪参数基于所述去色噪强度参数和去色噪范围参数获得，所述颜色敏感参数基于小于对应通道阈值的所述至少两个颜色通道的条件判断值和所述通道阈值获得；

响应于最多一个颜色通道的条件判断值小于对应的通道阈值，则将256作为所述色噪抑制比例。

11.根据权利要求10所述的图像融合方法，其特征在于，

当所有颜色通道的条件判断值均分别小于对应的通道阈值时，获得255与所述去色噪强度参数的第四差值，并获得所述第四差值与N倍的所述去色噪范围参数的第六比值，将归一化后的第六比值作为所述去色噪参数；所述颜色敏感参数等于各个颜色通道的条件判断值与对应通道阈值的乘积之和；

当仅两个颜色通道的条件判断值小于对应颜色通道阈值时，获得255与所述去色噪强度参数的第五差值，并获得所述第五差值与M倍的所述去色噪范围参数的第七比值，将归一化后的第七比值作为所述去色噪参数；所述颜色敏感参数等于条件判断值小于对应颜色通道阈值的两个颜色通道的条件判断值与对应通道阈值的乘积之和；其中，M小于N，且不同情况下的所述去色噪强度参数相同或不同。

12.根据权利要求8所述的图像融合方法，其特征在于，所述基于所述比例系数和所述第一像素点的初始颜色获得调整后的融合颜色的步骤，包括：

获得所述第一像素点的色度值与第三常数的第六差值，并获得所述第六差值与所述比例系数的第六乘积，将所述第六乘积与所述第三常数之和作为调整后的色度值；以及获得所述第一像素点的浓度值与所述第三常数的第七差值，并获得所述第七差值与所述比例系数的第七乘积，将所述第七乘积与所述第三常数之和作为调整后的浓度值；

响应于所述色度值或所述浓度值小于0，将小于0的所述色度值或所述浓度值设置为0；响应于所述色度值或所述浓度值大于255，将大于255的所述色度值或所述浓度值设置为255。

13.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至12中任一项所述的图像融合方法。

14.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至12中任一项所述的图像融合方法。

Images