CN117218047A - 一种图像融合方法、装置、电子设备及存储介质 - Google Patents

一种图像融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117218047A
CN117218047A CN202311209463.4A CN202311209463A CN117218047A CN 117218047 A CN117218047 A CN 117218047A CN 202311209463 A CN202311209463 A CN 202311209463A CN 117218047 A CN117218047 A CN 117218047A
Authority
CN
China
Prior art keywords
color
pixel
image
weight
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311209463.4A
Other languages
English (en)
Inventor
金益如
唐杰
姜蘅育
唐宁秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Micro Image Software Co ltd
Original Assignee
Hangzhou Micro Image Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Micro Image Software Co ltd filed Critical Hangzhou Micro Image Software Co ltd
Priority to CN202311209463.4A priority Critical patent/CN117218047A/zh
Publication of CN117218047A publication Critical patent/CN117218047A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Radiation Pyrometers (AREA)

Abstract

本申请实施例提供了一种图像融合方法、装置、电子设备及存储介质，该方法包括：获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。本申请实施例可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题。

Description

一种图像融合方法、装置、电子设备及存储介质
技术领域
本申请涉及图像融合技术领域，特别是涉及一种图像融合方法、装置、电子设备及存储介质。
背景技术
可见光图像具有丰富的亮度及纹理信息，能保留物体的色彩及轮廓，通过人眼观察即可获得图像所包含的大部分信息，如物体的尺寸、位置等。热成像图像为热辐射扫描器接收和记录目标物发射的热辐射能而形成的图像，例如，采用热红外扫描器可以采集彩色热图像等。根据热辐射差异可以区分热成像图像中的目标与背景，使得热成像图像具有更强的抗干扰能力和穿透性。但热成像图像分辨率低，仅能得到目标大致的轮廓而丢失了大部分的背景信息。
为了使图像在具有可见光纹理信息的同时具有较好的目标指示能力，可以将可见光图像与热成像图像进行融合，目前热成像图像与可见光图像的融合一般是基于图像的亮度空间进行融合的，容易产生偏色问题，图像融合效果并不理想。
发明内容
本申请实施例的目的在于提供一种图像融合方法、装置、电子设备及存储介质，以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。具体技术方案如下：
第一方面，本申请实施例提供了一种图像融合方法，所述方法包括：
获取可见光图像和热成像图像；
根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重，其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
可选的，所述热成像图像为灰度图像；
所述根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤，包括：
基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重。
可选的，所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤，包括：
基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值，其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值；
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0。
可选的，所述方法还包括：
基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值；
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系。
可选的，所述方法还包括：
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。
可选的，所述第一预设权重为所述第二预设权重为/>
所述确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重的步骤，包括：
按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量。
可选的，计算背景均值阈值以及高温目标阈值的方式，包括：
基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vdown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值。
可选的，所述对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合的步骤，包括：
根据所述热成像图像中像素的亮度分量的第一预设亮度权重，以及所述可见光图像中像素的亮度分量的第二预设亮度权重，对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合。
可选的，所述彩色热图像的颜色空间不包括亮度空间；
在所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤之前，所述方法还包括：
按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
第二方面，本申请实施例提供了一种图像融合装置，所述装置包括：
图像获取模块，用于获取可见光图像和热成像图像；
色彩权重确定模块，用于根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重，其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
分量融合模块，用于根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
可选的，所述热成像图像为灰度图像；
所述色彩权重确定模块，包括：
彩色热图像获取子模块，用于基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
色彩权重确定子模块，用于根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重。
可选的，所述色彩权重确定子模块，包括：
背景均值阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值，其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值；
第一确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0。
所述装置还包括：
高温目标阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值；
第二确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系。
所述装置还包括：
第三确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。
可选的，所述第一预设权重为所述第二预设权重为/>
所述第二确定子单元，包括：
权重确定子单元，用于按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量。
可选的，所述装置还包括阈值计算模块，所述阈值计算模块用于计算背景均值阈值以及高温目标阈值，包括：
阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vdown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Vmean为所述彩色热图像中各像素的亮度分量的均值。
所述分量融合模块，包括：
亮度分量融合子模块，用于根据所述热成像图像中像素的亮度分量的第一预设亮度权重，以及所述可见光图像中像素的亮度分量的第二预设亮度权重，对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合。
可选的，所述彩色热图像的颜色空间不包括亮度空间；
所述装置还包括：
彩色热图像获取模块，用于在所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤之前，按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
第三方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。
本申请实施例有益效果：
本申请实施例提供的方案中，电子设备可以获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例所提供的一种图像融合方法的流程图；
图2为图1所示实施例中步骤S102的一种具体流程图；
图3为图2所示实施例中步骤S202的一种具体流程图；
图4为本申请实施例所提供的图像融合方法的一种具体流程图；
图5为本申请实施例所提供的一种图像融合装置的结构示意图；
图6为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果，本申请实施例提供了一种图像融合方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本申请实施例所提供的一种图像融合方法进行介绍。
本申请实施例提供的一种图像融合方法，可以应用于任意需要进行图像融合的设备，例如，可以为笔记本电脑、服务器、图像处理器、台式机等，在此不做具体限定，为了描述清楚，以下称为电子设备。
如图1所示，一种图像融合方法，所述方法包括：
S101，获取可见光图像和热成像图像；
S102，根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重；
其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
S103，根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
可见，在本申请实施例所提供的方案中，电子设备可以获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。
在步骤S101中，电子设备可以获取可见光图像和热成像图像。可见光图像为图像采集设备采集的图像，其中，图像采集设备可以为相机、摄像机、手机、平板电脑等，在此不做具体限定。可见光图像为彩色图像，可以保留所拍摄的目标的色彩和轮廓。热成像图像为热辐射扫描器接收和记录目标物发射的热辐射能而形成的图像。例如，红外热成像仪可以基于探测目标的红外辐射，得到目标的红外图像。热成像图像可以为灰度图像，也可以为彩色图像。
为了对可见光图像中像素的色彩分量与热成像图像中像素的色彩分量进行融合、以及对可见光图像中像素的亮度分量与热成像图像中像素的亮度分量进行融合，电子设备需要确定可见光图像中像素的色彩分量与热成像图像中像素的色彩分量的融合比例、以及可见光图像中像素的亮度分量与热成像图像中像素的亮度分量的融合比例。
在一种实施方式中，电子设备可以根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，即执行步骤S102。其中，第一色彩权重以及第二色彩权重是针对热成像图像中各像素而言的，如果热成像图像中像素数量为N，那么第一色彩权重的数量与第二色彩权重的数量均为N。各第一色彩权重可能相同，可能不同。同样的，各第二色彩权重可能相同，也可能不同。
由于在物体的温度高于绝对零度的情况下，均能产生热辐射，因此热成像图像各像素可以反映物体的温度的高低，那么，为了在对可见光图像中像素的色彩分量与热成像图像中像素的色彩分量进行融合、对可见光图像中像素的亮度分量与热成像图像中像素的亮度分量进行融合，得到融合后的图像的情况下，使融合后的图像色彩均匀，电子设备可以根据热成像图像各像素所反映的温度的高低，确定可见光图像中像素的色彩分量与热成像图像中像素的色彩分量的融合权重。
具体来说，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系。也即热成像图像中像素所反映的温度越低，像素的色彩分量的第一色彩权重越小，热成像图像中像素所反映的温度越高，像素的色彩分量的第一色彩权重越大。
热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，该负相关关系至少可以包括以下情况：
第一种情况下，可以将温度分为多个温度区间，从温度区间与第一色彩权重的整体趋势上看，每个温度区间对应的第一色彩权重与温度区间的温度成负相关关系。具体来说，热成像图像中像素所反映的温度在同一温度区间的像素对应的色彩分量的第一色彩权重可以相同，也可以不同。
如果热成像图像中像素所反映的温度在同一温度区间的像素对应的色彩分量的第一色彩权重不同，在该温度区间内，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重也可以为负相关关系，例如，可以为反比例关系等。
例如，根据热成像图像对应的拍摄场景温度，将温度分为三个温度区间，分别为第一温度区间、第二温度区间、第三温度区间以及第四温度区间。其中，第一温度区间、第二温度区间、第三温度区间以及第四温度区间的温度逐渐升高。那么电子设备可以确定热成像图像中像素所反映的温度在第一温度区间时，其对应的色彩分量的第一色彩权重可以为1，热成像图像中像素所反映的温度在第二温度区间时，其对应的色彩分量的第一色彩权重可以为0.8，热成像图像中像素所反映的温度在第三温度区间时，其对应的色彩分量的第一色彩权重可以为0.4，热成像图像中像素所反映的温度在第四温度区间时，其对应的色彩分量的第一色彩权重可以为0.1。
当然，针对某个温度区间而言，在该温度区间内，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重也可以为负相关关系，以上述第三温度区间为例，针对热成像图像中像素所反映的温度在第三温度区间内的像素，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重可以为反比例关系。
第二种情况下，可以将温度分为多个温度区间，上述负相关关系可以为：在某个或某些温度区间内，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重也可以为负相关关系。其中，负相关关系具体可以为反比例关系等。
例如，根据热成像图像对应的拍摄场景温度，将温度分为三个温度区间，分别为第一温度区间、第二温度区间以及第三温度区间，那么针对第二温度区间，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重可以为负相关关系。又例如，那么针对第二温度区间，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重可以为负相关关系。同时，针对第三温度区间，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重也可以为负相关关系。
在步骤S103中，电子设备可以根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。其中，热成像图像中像素的色彩分量基于该像素的灰度值进行彩色映射得到的。也就是说，如果热成像图像是灰度图像，电子设备可以将该灰度图像转换为对应的彩色图像，且彩色图像中的颜色空间中包括亮度空间。
在一种实施方式中，电子设备可以根据热成像图像中像素的亮度分量的第一预设亮度权重，以及可见光图像中像素的亮度分量的第二预设亮度权重，对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合。其中，第一预设亮度权重与第二预设亮度权重可以根据实际需求进行设置，也可以根据多次对图像进行融合所确定的亮度融合比例进行设置，这都是可以的。第一预设亮度权重与第二预设亮度权重的和为1。
例如，电子设备确定热成像图像中各像素的色彩分量的第一色彩权重为Wfir_n，以及可见光图像中像素的色彩分量的第二色彩权重Wvis_n，其中，n＝1，2，3……N，第一预设亮度权重与第二预设亮度权重均为0.5。那么，电子设备可以根据第一色彩权重Wfir_n以及第二色彩权重Wvis_n，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并根据热成像图像中像素的亮度分量的第一预设亮度权重0.5，以及可见光图像中像素的亮度分量的第二预设亮度权重0.5，对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。
如果可见光图像与热成像图像均为彩色图像，所对应的颜色空间可以为RGB、YUV(Luminance Chrominance Chroma，亮度色度色度)、HSV(Hue Saturation Value，色调，饱和度，明度)、HLS(Hue Lightness Saturation，色相饱和度明度)等。如果可见光图像与热成像图像所对应的颜色空间为RGB颜色空间，那么需要对可见光图像与热成像图像进行颜色空间转换处理，以使经过颜色空间转换的可见光图像与热成像图像的颜色空间中包括亮度空间。
电子设备在确定热成像图像中像素的色彩分量的第一色彩权重以及可见光图像中像素的色彩分量的第二色彩权重，可以根据第一色彩权重和第二色彩权重，以及热成像图像与可见光图像对应的颜色空间所包括的色彩分量，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行加权求和，得到融合后的图像中对应的像素点的色彩分量。并根据第一预设亮度权重和第二预设亮度权重，以及热成像图像与可见光图像对应的颜色空间所包括的亮度分量，对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量加权求和，得到融合后的图像中对应的像素点的亮度分量。
示例性地，可见光图像与热成像图像所对应的颜色空间为RGB，那么电子设备可以将可见光图像与热成像图像的颜色空间转换为YUV，YUV颜色空间包括亮度分量Y分量、色彩分量U分量以及色彩分量V分量。电子设备在确定热成像图像中像素的色彩分量的第一色彩权重Wfir、可见光图像中像素的色彩分量的第二色彩权重Wvis，热成像图像中像素的亮度分量的第一预设亮度权重W′fir以及可见光图像中像素的亮度分量的第二预设亮度权重W′vis后，可以按照以下公式，根据第一色彩权重Wfir和第二色彩权重Wvis对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并根据第一预设亮度权重W′fir与第二预设亮度权重W′bis，对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到YUV颜色空间所包括的YUV各分量的融合结果：
其中，Yfir(i)表示热成像图像中第i个像素的Y分量，Yvis(i)表示可见光图像中第i个像素的Y分量，Ufir(i)表示热成像图像中第i个像素的U分量，Uvis(i)表示可见光图像中第i个像素的U分量，Vfir(i)表示热成像图像中第i个像素的V分量，Vvis(i)表示可见光图像中第i个像素的V分量，YOUT(i)为融合后的图像中第i个像素的Y分量，UOUT(i)为融合后的图像中第i个像素的U分量，VOUT(i)为融合后的图像中第i个像素的V分量。
这样电子设备在得到各像素的亮度分量和色彩分量后，可以得到融合后的图像，进而对融合的图像进行颜色空间反变换，得到颜色空间为RGB的图像。
需要说明的是，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，和对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合的顺序在此不做限定。也就是说，在电子设备对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合后，即可得到融合后的图像。
在本实施例的方案中，由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。
此外，由于本申请实施例基于热成像图像各像素所反映的温度的高低确定色彩分量权重，这样使得低温区域与高温区域颜色差异更明显，高温区域与高温区域颜色差异小，低温区域与低温区域颜色差异小。并且本申请实施例实现复杂度较低，能更好的实时的反映图像的可见光细节与热成像温度。
作为本申请实施例的一种实施方式，上述热成像图像为灰度图像；
如图2所示，上述根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤，可以包括：
S201，基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
如果热成像图像为灰度图像，电子设备可以基于热成像图像中像素的灰度值，对热成像图像进行伪彩色变换处理，得到彩色热图像。如果彩色热图像的颜色空间不包括亮度空间，那么电子设备可以按照一定颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，使得经过颜色空间转换处理的彩色热图像对应的颜色空间包括亮度空间。
伪彩色变换是一种常用的增强技术，其实质是将8位的灰度图像转变成24位伪彩色图像，在变换过程中，需要选取一个映射函数，这个函数可以是线性的，也可以是非线性的，以完成对像素的彩色变换。在一种实施方式中，电子设备可以确定三个映射函数，将灰度图像中各像素映射至R、G、B各分量，进而将R、G、B三个分量进行融合叠加，得到该热成像图像的彩色热图像。
示例性地，电子设备可以按照如下公式，将灰度图像中各像素映射至R、G、B各分量：
其中f(x,y)表示灰度图像中坐标为(x,y)的像素点的像素值，Tr、Tg、Tb分别为将像素映射至R、G、B分量所对应的映射函数，R(x,y)、G(x,y)、B(x,y)为坐标为(x,y)的像素点的像素值映射至R分量、G分量、B分量的数值。其中，具体的映射方式可以根据实际情况进行设置。
在热成像图像中，以灰度值的大小来表示热辐射能量的强弱，灰度值越小说明能量越低，灰度值越大说明能量越高，那么在将按照从小到大排列的灰度值映射到R、G、B各分量的情况下，会按照映射函数呈线性升高，这样可以分别表示出R、G、B各分量的映射情况。通过这种映射可以在不同的温度区域，较容易的分辨出高温与低温，进而使最终变换后的彩色热图像层次分明，更容易辨别出不同的温度区域。
RGB是使用最多的颜色空间，可以由三个通道表示一幅图像，即红色(R)、绿色(G)和蓝色(B)三个通道。RGB颜色空间是图像处理中最基本、最常用的，也是面向硬件的颜色空间。RGB颜色空间利用三个颜色分量的线性组合来表示颜色，任何颜色均与该三个颜色分量有关，该三个颜色分量的不同组合几乎可以形成所有的其他颜色。由于RGB三个颜色分量是高度相关的，所以连续变换颜色时并不直观，对图像的颜色进行调整需要更改RGB三个颜色分量才行。因此，RGB颜色空间适合于显示系统，并不适合于图像处理。
相比RGB色彩模型，YUV、HSV等模型更接近人类对彩色的感知经验，可以直观地表达颜色的色调、鲜艳程度和明暗程度，方便人眼进行颜色感知。因此，在彩色热图像为RGB图像的情况下，电子设备可以按照包括亮度空间的颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，得到转换后的彩色热图像。
S202，根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重。
在电子设备将热成像图像转换为彩色热图像后，该彩色热图像中像素包括色彩分量与亮度分量，其中，亮度分量的大小可以用于表征温度的高低，因此可以采用亮度分量反映温度信息。那么电子设备可以根据彩色热图像中各像素的亮度分量所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重。
示例性地，在彩色热图像中像素的亮度分量过小时，如该亮度分量小于第一预设亮度分量阈值，表示热成像图像中像素所反映的温度过低，可以保留热成像图像中像素所反映的温度信息，那么电子设备可以确定热成像图像中像素的色彩分量的第一色彩权重为1，相应的可见光图像中像素的色彩分量的第二色彩权重为0。
在彩色热图像中像素的亮度分量过大时，如该亮度分量大于第二预设亮度分量阈值，表示热成像图像中像素所反映的温度过高，可以根据实际需求采用固定的温度信息，那么电子设备可以确定热成像图像中像素的色彩分量第一色彩权重为固定值，可见光图像中像素的色彩分量的第二色彩权重满足与第一色彩权重和为1即可。
在彩色热图像中像素的亮度分量属于合理区间时，如该亮度分量不小于第一预设亮度分量阈值，且不大于第二预设亮度分量阈值，表示热成像图像中像素所反映的温度位于正常温度区间时，电子设备可以按照彩色热图像中像素的亮度分量所反映的温度与第一色彩权重的关系成负相关关系，确定热成像图像中像素的色彩分量第一色彩权重。即彩色热图像中像素的亮度分量越小，第一色彩权重越大；彩色热图像中像素的亮度分量越大，第一色彩权重越小。
那么在第一色彩权重与第二色彩权重和为1的情况下，第一色彩权重越大，第二色彩权重越小，第一色彩权重越小，第二色彩权重越大。这样，第一色彩权重与第二色彩权重可以反映温度的高低，进而使融合后的图像可以反映温度的高低。
可见，在本实施例中，电子设备可以基于灰度图像中像素的灰度值，对灰度图像进行伪彩色变换处理，得到彩色热图像，根据彩色热图像中各像素的亮度分量所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重。由于亮度分量的大小可以反映温度的高低，因此，第一色彩权重与第二色彩权重可以反映温度的高低，进而使融合后的图像可以反映温度的分布情况，并且可以使按照第一色彩权重和第二色彩权重融合的色彩分量与人类感知相适应，以获得更好的视觉效果。
作为本申请实施例的一种实施方式，如图3所示，上述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的的步骤，可以包括：
S301，基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值；
其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值。
基于热成像图像中合理的温度范围，可以设置最低阈值与最高阈值，即在温度低于最低阈值时，保留温度信息；在温度高于最高阈值时，采用固定温度信息。那么，对于彩色热图像来说，电子设备可以确定两个亮度分量阈值，进而根据彩色热图像中像素对应的亮度分量与两个亮度分量阈值的大小关系，确定第一色彩权重和第二色彩权重。
在一种实施方式中，电子设备可以基于彩色热图像中各像素的亮度分量，计算得到背景均值阈值。其中，背景均值阈值表征热成像图像中背景像素的像素值均值。示例性地，彩色热图像中各像素的亮度分量分别为Y1、Y2、Y3……YN，电子设备可以计算彩色热图像中各像素的亮度分量的平均值，即计算(Y1+Y2+……+YN)/N，将计算结果作为背景均值阈值。
S302，针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0。
作为一种实施方式，针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于背景均值阈值，表示该像素所反映的温度过低，那么可以保留该像素所反映的温度信息，进而确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重为0。也即第一色彩权重和第二色彩权重使得融合后的图像中该像素点对应的像素值仅表征该像素点在热成像图像中的温度信息。这样在热成像图像中温度过低的像素的色彩分量的第一色彩权重最大。
作为本申请实施例的一种实施方式，上述方法还可以包括：
基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值。针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系。
在一种实施方式中，电子设备可以基于彩色热图像中各像素的亮度分量，计算得到高温目标阈值。其中，高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值。示例性地，彩色热图像中各像素的亮度分量分别为Y1、Y2、Y3……YN，电子设备可以计算彩色热图像中各像素的亮度分量的最高值的二分之一，作为高温目标阈值。其中，背景均值阈值小于高温目标阈值。
如果该像素对应的亮度分量不小于背景均值阈值，且该像素的亮度分量不大于高温目标阈值，表示该像素所反映的温度位于合理的温度区间，电子设备可以按照彩色热图像中像素所反映的亮度信息与第一色彩权重成反比例的关系，确定热成像图像中像素的色彩分量的第一色彩权重为第一权重，进而确定可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重。其中，第一权重和第二权重使得融合后的图像中该像素点对应的像素值与热成像图像中的温度信息成反比例关系。
例如，电子设备可以按照公式确定热成像图像中像素的色彩分量第一色彩权重，按照/>确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重。其中，Y(i)为该像素对应的亮度分量，Ymax为彩色热图像中各像素的亮度分量的最大值，Ymean为彩色热图像中各像素的亮度分量的均值。即彩色热图像中亮度分量越小，第一色彩权重越大；彩色热图像中亮度分量越大，第一色彩权重越小。
作为本申请实施例的一种实施方式，上述方法还可以包括：
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。
如果该像素对应的亮度分量大于高温目标阈值，表示该像素所反映的温度过高，可以降低温度的影响力，使其影响力最小，根据实际需求采用固定值，确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，并确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。其中，第一预设权重与第二预设权重和为1。
在电子设备计算得到背景均值阈值以及高温目标阈值后，针对彩色热图像的每个像素，可以根据该像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重。
针对彩色热图像的每个像素，该像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系可以包括以下三种情况：该像素对应的亮度分量小于背景均值阈值、该像素对应的亮度分量大于高温目标阈值，以及该像素对应的亮度分量不小于背景均值阈值，且不大于高温目标阈值。
在该像素对应的亮度分量小于背景均值阈值时，该像素点的色彩分量的第一色彩权重最大；在该像素对应的亮度分量大于高温目标阈值时，该像素点的色彩分量的第一色彩权重最小；在该像素对应的亮度分量不小于背景均值阈值，且不大于高温目标阈值时，该像素点的色彩分量的第一色彩权重在最大第一色彩权重与最小第一色彩权重之间。因此，从温度区间与第一色彩权重的整体趋势上看，每个温度区间对应的第一色彩权重与温度区间的温度成负相关关系。
并且在该像素对应的亮度分量不小于背景均值阈值，且不大于高温目标阈值时，像素的色彩分量的第一色彩权重与像素所反映的温度信息成反比例的关系。因此，从温度区间与第一色彩权重的整体趋势上看，每个温度区间对应的第一色彩权重与温度区间的温度成负相关关系，并且，针对其中像素对应的亮度分量不小于背景均值阈值，且不大于高温目标阈值这一区间，热成像图像中像素所反映的温度与该像素对应的色彩分量的第一色彩权重也为负相关关系。
示例性地，电子设备可以按照以下公式，根据该像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重：
其中，Y(i)为该像素对应的亮度分量，Vup为高温目标阈值，Vdown为背景均值阈值，Ymax为彩色热图像中各像素的亮度分量的最大值，Ymean为彩色热图像中各像素的亮度分量的均值，Wfir为第一色彩权重，Wvis为第二色彩权重。
当该像素对应的亮度分量小于背景均值阈值时，完全保留热成像的温度信息(即温度低且不关注)。当该像素对应的亮度分量不小于背景均值阈值，且该像素的亮度分量不大于高温目标阈值，第一色彩权重与热成像图像中像素所反映的温度信息成反比，即温度越低，越保留原始的温度分布，温度越接近最高温，越降低其温度分布的影响力。当该像素对应的亮度分量大于高温目标阈值时，确定固定温度阈值(即确定第一色彩权重为固定值)，其中，温度阈值可调节。
可见，在本实施例中，电子设备基于彩色热图像中各像素的亮度分量，计算得到背景均值阈值以及高温目标阈值，针对彩色热图像的每个像素，根据该像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重，这样第一色彩权重与第二色彩权重可以反映温度的高低，进而使融合后的图像可以反映温度的分布情况。
作为本申请实施例的一种实施方式，所述第一预设权重为所述第二预设权重为/>
上述确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重的步骤，包括：
按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量。
在一种实施方式中，针对彩色热图像的每个像素，如果该像素对应的亮度分量小于背景均值阈值，电子设备可以确定第一权重为1，第二权重为0，这样第一权重和第二权重可以使得融合后的图像中该像素点对应的像素值仅表征该像素点在热成像图像中的温度信息。
在一种实施方式中，针对彩色热图像的每个像素，如果该像素对应的亮度分量大于高温目标阈值，电子设备可以确定第一预设权重为第二预设权重为其中，Ymax为彩色热图像中各像素的亮度分量的最大值，Ymean为彩色热图像中各像素的亮度分量的均值，Vup为高温目标阈值。
这样得到的第一预设权重与第二预设权重均为固定值，当然，可以根据实际需求调整计算公式的参数，以得到对应的第一预设权重与第二预设权重。
在一种实施方式中，针对彩色热图像的每个像素，如果该像素对应的亮度分量不小于背景均值阈值，且该像素的亮度分量不大于高温目标阈值，电子设备可以按照公式Wvis＝1-Wfir，计算得到第一权重Wfir以及第二权重Wvis。其中，Ymax为彩色热图像中各像素的亮度分量的最大值，Ymean为彩色热图像中各像素的亮度分量的均值，Vup为高温目标阈值，Y(i)为该像素对应的亮度分量。
这样在像素对应的亮度分量Y(i)较大时，第一权重较小；在像素对应的亮度分量Y(i)较小时，第一权重较大。也即彩色热图像中像素所反映的亮度信息与第一色彩权重成反比例的关系。
可见，在本实施例中，电子设备可以确定第一预设权重为第二预设权重为/>并按照公式/>Wvis＝1-Wfir，计算得到第一权重Wfir以及第二权重Wvis。这样确定每个像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及在可见光图像中对应的像素点的色彩分量的第二色彩权重，可以使得第一色彩权重和第二色彩权重可以反映温度的高低，进而使融合后的图像可以反映温度的分布情况。
作为本申请实施例的一种实施方式，计算背景均值阈值以及高温目标阈值的方式，可以包括：
基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vdown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值。
在一种实施方式中，电子设备可以基于彩色热图像中各像素的亮度分量，按照公式Vup＝Ymax/2与Vdown＝Ymean，计算得到背景均值阈值Vdown以及高温目标阈值Vup。其中，Ymax为彩色热图像中各像素的亮度分量的最大值，Ymean为彩色热图像中各像素的亮度分量的均值。
高温目标阈值Vup是作为合理温度区域的上阈值，可以基于彩色热图像中各像素的亮度分量的最大值进行确定。背景均值阈值Vdown是作为合理温度区域的下阈值，可以基于彩色热图像中各像素的亮度分量的均值进行确定。高温目标阈值Vup不小于背景均值阈值Vdown。
如果出现高温目标阈值下于背景均值阈值的情况，即Vup<Vdown，需要重新确定高温目标阈值。在一种实施方式中，可以将高温目标阈值Vup与背景均值阈值Vdown进行互换，即Vup＝Vdown。
可见，在本实施例中，电子设备可以基于彩色热图像中各像素的亮度分量，按照公式Vup＝Ymax/2与Vdown＝Ymean，计算得到背景均值阈值Vdown以及高温目标阈值Vup。进而根据彩色热图像中像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定每个像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及在可见光图像中对应的像素点的色彩分量的第二色彩权重。
作为本申请实施例的一种实施方式，上述彩色热图像的颜色空间不包括亮度空间；
在所述针对所述彩色热图像的每个像素，根据该像素对应的亮度分量与所述背景均值阈值和所述高温目标阈值的大小关系，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重的步骤之前，上述方法还可以包括：
按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
如果彩色热图像的颜色空间中不包括亮度空间，如RGB图像，那么该RGB图像对应的RGB颜色空间适合于显示系统，并不适合于图像处理。因此，电子设备可以按照包括亮度空间的目标颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，得到目标颜色空间的彩色热图像，以使彩色热图像可以更适用于图像处理。其中，目标颜色空间包括亮度空间，可以为YUV颜色空间、HSV颜色空间、HLS颜色空间等，在此不做具体限定。
例如，彩色热图像为RGB图像，目标颜色空间为YUV颜色空间，电子设备可以按照YUV颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，得到YUV颜色空间的彩色热图像。
YUV(亦称YcrCb)是被欧洲电视系统所采用的一种颜色编码方法。在现代彩色电视系统中，通常采用三管彩色摄像机或彩色CCD(Charge Coupled Device电荷耦合器件)摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB分量，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V)，最后发送端将亮度和两个色差信号分别进行编码，用同一信道发送出去。
这种色彩的表示方法就是所谓的YUV颜色空间表示。采用YUV颜色空间的重要因素是亮度信号Y和色度信号U、V是分离的。与RGB视频信号传输相比，其最大的优点在于只需占用极少的频宽(RGB要求三个独立的视频信号同时传输)。其中“Y”表示明亮度，也就是灰阶值；而“U”和“V”表示的则是色度，可以描述影像色彩及饱和度，用于指定像素的颜色。
其中，“亮度”可以通过RGB输入信号建立，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。
示例性地，YUV和RGB互相转换的公式如下所示(其中，RGB取值范围均为0-255)：
Y＝0.299R+0.587G+0.114B；U＝-0.147R-0.289G+0.436B；V＝0.615R-0.515G-0.100B；
R＝Y+1.14V；G＝Y-0.39U-0.58V；B＝Y+2.03U；
这样电子设备可以根据YUV和RGB互相转换的公式，将彩色热图像转换到YUV颜色空间，得到YUV颜色空间的彩色热图像。目前，在图像处理中，使用较多颜色空间还有HSV颜色空间，该颜色空间比RGB更接近人们对彩色的感知经验。HSV颜色空间可以直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。通常可以用于分割指定颜色的物体。
如果电子设备按照包括亮度空间的目标颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，在得到融合后的图像后，可以对融合后的图像进行颜色空间反转换，以得到具有原始颜色空间的图像。
可见，在本实施例中，电子设备可以按照目标颜色空间对应的转换方式，对彩色热图像进行颜色空间转换处理，得到目标颜色空间的彩色热图像，其中，目标颜色空间包括亮度空间。这样彩色热图像包括亮度分量，电子设备可以根据彩色热图像中像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定每个像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及在可见光图像中对应的像素点的色彩分量的第二色彩权重。
图4为本申请实施例所提供的图像融合方法的一种具体流程图。下面结合图4对本申请实施例所提供的图像融合方法进行举例介绍。如图4所示，本申请实施例所提供的图像融合方法可以包括以下步骤：
S401，可见光输入；
可见光图像采集设备可以对目标进行拍摄，得到可见光图像。这样电子设备可以获取可见光图像。可见光图像一般为彩色图像。
S402，热辐射输入；
在目标发射热辐射的情况下，热辐射扫描器可以采集与记录热辐射以形成热成像图像。电子设备可以获取到热成像图像。
S403，获取红外强度图像；
如果热辐射扫描器为热红外扫描器的情况下，电子设备获取到的热成像图像为红外强度图像。
S404，彩色映射；
如果红外强度图像为灰度图像，电子设备可以对该红外强度图像进行伪彩色变换，以将该灰度图像转换为伪彩色图像，例如，将该灰度图像转换为RGB图像。
S405，色彩空间转换；
如果伪彩色图像中不包括亮度分量，不适用于图像处理，那么电子设备可以对伪彩色图像进行颜色空间转换处理，得到目标颜色空间的彩色热图像。例如，将RGB图像转换为YUV图像，使彩色热图像中包括亮度分量。
S406，融合比例计算；
电子设备可以基于彩色热图像中各像素的亮度分量，计算得到背景均值阈值以及高温目标阈值。那么针对彩色热图像的每个像素，电子设备可以根据该像素对应的亮度分量与背景均值阈值和高温目标阈值的大小关系，确定该像素在热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在可见光图像中对应的像素点的色彩分量的第二色彩权重。
S407，亮度分量融合；
电子设备可以根据热成像图像中像素的亮度分量的第一预设亮度权重，以及可见光图像中像素的亮度分量的第二预设亮度权重，对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合。其中，第一预设亮度分量与第二预设亮度权重可以根据实际需求进行设置。
S408，色彩分量融合；
电子设备确定第一色彩权重与第二色彩权重后，可以根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合。
S409，色彩空间反转换；
S410，输出融合图像。
在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合后，得到融合后的图像，可以将融合后的图像进行颜色空间反变换，进而获得具有原始颜色空间的图像。
可见，在本申请实施例所提供的方案中，电子设备可以获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。
相应于上述一种图像融合方法，本申请实施例还提供了一种图像融合装置。下面对本申请实施例所提供的一种图像融合装置进行介绍。
如图5所示，一种图像融合装置，所述装置包括：
图像获取模块510，用于获取可见光图像和热成像图像；
色彩权重确定模块520，用于根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重，其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
融合图像获取模块530，用于根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
可见，在本申请实施例所提供的方案中，电子设备可以获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。
作为本申请实施例的一种实施方式，所述热成像图像为灰度图像；
上述色彩权重确定模块520，可以包括：
彩色热图像获取子模块，用于基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
色彩权重确定子模块，用于根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重。
作为本申请实施例的一种实施方式，上述色彩权重确定子模块，可以包括：
背景均值阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值以及高温目标阈值，其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值；
第一确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0。
作为本申请实施例的一种实施方式，上述装置还可以包括：
高温目标阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值；
第二确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系。
作为本申请实施例的一种实施方式，上述装置还可以包括：
第三确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。
作为本申请实施例的一种实施方式，上述第一预设权重为上述第二预设权重为/>
上述第二确定子单元，可以包括：
权重确定子单元，用于按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量。
作为本申请实施例的一种实施方式，上述装置还可以包括阈值计算模块，所述阈值计算模块用于计算背景均值阈值以及高温目标阈值，可以包括
阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vdown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值。
作为本申请实施例的一种实施方式，上述分量融合模块，可以包括：
亮度分量融合子模块，用于根据所述热成像图像中像素的亮度分量的第一预设亮度权重，以及所述可见光图像中像素的亮度分量的第二预设亮度权重，对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合。
作为本申请实施例的一种实施方式，上述彩色热图像的颜色空间不包括亮度空间；
上述装置还可以包括：
彩色热图像获取模块，用于在所述针对所述彩色热图像的每个像素，根据该像素对应的亮度分量与所述背景均值阈值和所述高温目标阈值的大小关系，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重，以及确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重的步骤之前，按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
本申请实施例还提供了一种电子设备，如图6所示，包括:
存储器601，用于存放计算机程序；
处理器602，用于执行存储器601上所存放的程序时，实现上述任一实施例所述的图像融合方法。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器602、通信接口、存储器601通过通信总线完成相互间的通信。
可见，在本申请实施例所提供的方案中，电子设备可以获取可见光图像和热成像图像，根据热成像图像各像素所反映的温度的高低，确定热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重，其中，热成像图像中像素的色彩分量的第一色彩权重与热成像图像中像素所反映的温度的关系为负相关关系，根据第一色彩权重以及第二色彩权重，对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，并对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像。由于热成像图像中像素的色彩分量的第一色彩权重，以及可见光图像中像素的色彩分量的第二色彩权重是根据热成像图像各像素所反映的温度的高低确定的，因此在对热成像图像中像素的色彩分量与可见光图像中像素的色彩分量进行融合，且对热成像图像中像素的亮度分量与可见光图像中像素的亮度分量进行融合，得到融合后的图像的情况下，可以使融合后的图像反映温度的高低，使融合后的图像的色彩分布更平滑，进而可以降低热成像图像与可见光图像进行融合得到的图像的偏色的问题，提高图像融合效果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像融合方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像融合方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种图像融合方法，其特征在于，所述方法包括：
获取可见光图像和热成像图像；
根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重，其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
2.根据权利要求1所述的方法，其特征在于，所述热成像图像为灰度图像；
所述根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤，包括：
基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重。
3.根据权利要求2所述的方法，其特征在于，所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤，包括：
基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值，其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值；
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值；
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重。
6.根据权利要求5所述的方法，其特征在于，所述第一预设权重为所述第二预设权重为/>
所述确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重的步骤，包括：
按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量。
7.根据权利要求4-6任一项所述的方法，其特征在于，计算背景均值阈值以及高温目标阈值的方式，包括：
基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vdown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值。
8.根据权利要求4-6任一项所述的方法，其特征在于，所述对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合的步骤，包括：
根据所述热成像图像中像素的亮度分量的第一预设亮度权重，以及所述可见光图像中像素的亮度分量的第二预设亮度权重，对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合。
9.根据权利要求2所述的方法，其特征在于，所述彩色热图像的颜色空间不包括亮度空间；
在所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤之前，所述方法还包括：
按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
10.一种图像融合装置，其特征在于，所述装置包括：
图像获取模块，用于获取可见光图像和热成像图像；
色彩权重确定模块，用于根据所述热成像图像各像素所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重，其中，所述热成像图像中像素的色彩分量的第一色彩权重与所述热成像图像中像素所反映的温度的关系为负相关关系；
分量融合模块，用于根据所述第一色彩权重以及所述第二色彩权重，对所述热成像图像中像素的色彩分量与所述可见光图像中像素的色彩分量进行融合，并对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合，得到融合后的图像。
11.根据权利要求10所述的装置，其特征在于，所述热成像图像为灰度图像；
所述色彩权重确定模块，包括：
彩色热图像获取子模块，用于基于所述灰度图像中像素的灰度值，对所述灰度图像进行伪彩色变换处理，得到彩色热图像；
色彩权重确定子模块，用于根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重；
所述色彩权重确定子模块，包括：
背景均值阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到背景均值阈值，其中，所述背景均值阈值表征热成像图像中背景像素的像素值均值；
第一确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量小于所述背景均值阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为1，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为0；
所述装置还包括：
高温目标阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，计算得到高温目标阈值，其中，所述高温目标阈值表征热成像图像中温度高于预设温度的目标对应的像素值；
第二确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量不小于所述背景均值阈值，且该像素的亮度分量不大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二权重，其中，所述第一权重和所述第二权重使得融合后的图像中该像素点对应的像素值与所述热成像图像中的温度信息成反比例关系；
所述装置还包括：
第三确定单元，用于针对所述彩色热图像的每个像素，如果该像素对应的亮度分量大于所述高温目标阈值，确定该像素在所述热成像图像中对应的像素点的色彩分量的第一色彩权重为第一预设权重，确定该像素在所述可见光图像中对应的像素点的色彩分量的第二色彩权重为第二预设权重；
所述第一预设权重为所述第二预设权重为/>
所述第二确定子单元，包括：
权重确定子单元，用于按照以下公式计算得到第一权重Wfir以及第二权重Wvis：
Wvis＝1-Wfir
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Vmean为所述彩色热图像中各像素的亮度分量的均值，Vup为所述高温目标阈值，Y(i)为所述该像素对应的亮度分量；
所述装置还包括阈值计算模块，所述阈值计算模块用于计算背景均值阈值以及高温目标阈值，包括：
阈值计算单元，用于基于所述彩色热图像中各像素的亮度分量，按照以下公式计算得到背景均值阈值Vdown以及高温目标阈值Vup：
Vup＝Ymax/2
Vfown＝Ymean
其中，Ymax为所述彩色热图像中各像素的亮度分量的最大值，Ymean为所述彩色热图像中各像素的亮度分量的均值；
所述分量融合模块，包括：
亮度分量融合子模块，用于根据所述热成像图像中像素的亮度分量的第一预设亮度权重，以及所述可见光图像中像素的亮度分量的第二预设亮度权重，对所述热成像图像中像素的亮度分量与所述可见光图像中像素的亮度分量进行融合；
所述彩色热图像的颜色空间不包括亮度空间；
所述装置还包括：
彩色热图像获取模块，用于在所述根据所述彩色热图像中各像素的亮度分量所反映的温度的高低，确定所述热成像图像中像素的色彩分量的第一色彩权重，以及所述可见光图像中像素的色彩分量的第二色彩权重的步骤之前，按照目标颜色空间对应的转换方式，对所述彩色热图像进行颜色空间转换处理，得到所述目标颜色空间的彩色热图像，其中，所述目标颜色空间包括亮度空间。
12.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
CN202311209463.4A 2023-09-18 2023-09-18 一种图像融合方法、装置、电子设备及存储介质 Pending CN117218047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311209463.4A CN117218047A (zh) 2023-09-18 2023-09-18 一种图像融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311209463.4A CN117218047A (zh) 2023-09-18 2023-09-18 一种图像融合方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117218047A true CN117218047A (zh) 2023-12-12

Family

ID=89049150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311209463.4A Pending CN117218047A (zh) 2023-09-18 2023-09-18 一种图像融合方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117218047A (zh)

Similar Documents

Publication Publication Date Title
US10535125B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
US10645268B2 (en) Image processing method and apparatus of terminal, and terminal
JP4040625B2 (ja) 画像処理装置、プリンタ装置、撮影装置、及びテレビ受像装置
JP2005210526A (ja) 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
JP4883007B2 (ja) 画像処理装置、画像処理プログラム、および、画像処理方法
KR100993153B1 (ko) 고급 색도 강화
CN111163268B (zh) 一种图像处理方法、装置以及计算机存储介质
US9961236B2 (en) 3D color mapping and tuning in an image processing pipeline
CN114693580B (zh) 图像处理方法及其相关设备
CN110796628B (zh) 图像融合方法、装置、拍摄装置及存储介质
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN115802183B (zh) 图像处理方法及其相关设备
JP2003102031A (ja) 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法、画像処理システム、および画像データファイルにおけるデータ構造
KR20070091208A (ko) 자동 백색 밸런스 제어
CN114584752B (zh) 图像颜色还原方法及相关设备
US20080310710A1 (en) Direct calibration of color imaging devices
CN106575434A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
CN115660997B (zh) 一种图像数据处理方法、装置及电子设备
CN117218047A (zh) 一种图像融合方法、装置、电子设备及存储介质
JP2006222783A (ja) 色変換テーブルの作成
CN113139923B (zh) 图像融合方法、装置、电子设备和存储介质
CN115706765A (zh) 视频处理方法、装置、电子设备和存储介质
JP3539883B2 (ja) 画像処理方法および装置、記録媒体、撮像装置並びに画像再生装置
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination