CN116309224A - 图像融合方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像融合方法、装置、终端及计算机可读存储介质，图像融合方法通过获取彩色图像和黑白图像，检测黑白图像上的运行目标，以确定包含所述运行目标的待处理区域；将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据；基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像；基于彩色图像和黑白校正图像进行融合，生成融合图像。本申请中通过基于成像效果更优的彩色图像对应的第二图像数据与黑白图像对应的第一图像数据之间的差异，对黑白图像进行校正，进而避免融合图像中目标的颜色出现失真的问题。

Description

图像融合方法、装置、终端及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、终端及计算机可读存储介质。

背景技术

可见光与红外融合图像的类自然色还原技术是现今国内外高性能夜视技术发展的重要方向之一，该技术有效提高了人们对目标的探测和场景理解能力。

由于红外摄像头的感光度优于可见光摄像头，故在拍摄场景有灯光等光线的时候，很容易出现红外图像与可见光图像的灰度信息差距较大的问题，而可见光图像的图像细节效果反而更优。这种情况下，如果直接融合红外图像和可见光图像会导致融合图像效果较差。

发明内容

本发明主要解决的技术问题是提供一种图像融合方法、装置、终端及计算机可读存储介质，解决现有技术中融合图像的颜色出现失真的问题。

为解决上述技术问题，本发明采用的第一个技术方案是：提供一种图像融合方法，融合方法包括：

获取彩色图像和黑白图像，彩色图像和黑白图像的拍摄对象相同，且彩色图像和黑白图像已完成配准；

检测黑白图像上的运动目标，以确定包含所述运行目标的待处理区域；

将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据；

基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像；

基于彩色图像和黑白校正图像进行融合，生成融合图像。

其中，第一图像数据包括第一亮度分量数据；第二图像数据包括第二亮度分量数据和色度分量数据；

基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像，包括：

基于色度分量数据，确定第一图像数据和第二图像数据之间的参考相关度；

基于参考相关度与第二亮度分量数据的对应关系，确定第一亮度分量数据的参考亮度数据；

响应于第一亮度分量数据不符合参考亮度数据，则基于第一亮度分量数据与参考亮度数据之间的差异对黑白图像进行校正，得到黑白校正图像。

其中，基于色度分量数据，确定第一图像数据和第二图像数据之间的参考相关度，包括：

基于色度分量数据与最大色度阈值之间的比值，确定第一图像数据和第二图像数据之间的参考相关度；参考相关度的取值范围为0～1。

其中，基于参考相关度与第二亮度分量数据的对应关系，确定第一亮度分量数据的参考亮度数据，包括：

响应于参考相关度为1，则第一亮度分量数据的参考亮度数据等于第二亮度分量数据。

其中，参考亮度数据包括参考阈值范围；参考阈值范围包括最大参考阈值和最小参考阈值；

基于参考相关度与第二亮度分量数据的对应关系，确定第一亮度分量数据的参考亮度数据，包括：

基于第二亮度分量数据与参考相关度的比值，确定第一亮度分量数据的最大参考阈值；

基于第二亮度分量数据与预设值和参考相关度的差值之间的比值，确定第一亮度分量数据的最小参考阈值。

其中，待处理区域至少为两个；

基于第一亮度分量数据与参考亮度数据之间的差异对黑白图像进行校正，包括：

基于各待处理区域对应的第一亮度分量数据与第二亮度分量数据之间的比值，确定各待处理区域对应的检测相关度；

基于最大的检测相关度对应的待处理区域对应的参考亮度数据与第一亮度分量数据之间的差异对黑白图像进行校正，得到各待处理区域分别对应的第一亮度分量更新数据；

基于各待处理区域对应的第一亮度分量更新数据与第二亮度分量数据，确定各待处理区域对应的更新相关度；

基于各待处理区域对应的更新相关度之间的差异是否符合预设要求，确定是否继续对黑白图像进行校正。

其中，至少两个待处理区域包括第一目标区域和第二目标区域；

基于各待处理区域对应的更新相关度之间的差异是否符合预设要求，确定是否继续对黑白图像进行校正，还包括：

响应于第一目标区域和第二目标区域分别对应的更新相关度之间的差值不符合预设要求，且第一目标区域的更新相关度大于第二目标区域的更新相关度，则基于第二目标区域对应的参考亮度数据与第一亮度分量数据之间的差值对第二目标区域进行校正。

为解决上述技术问题，本发明采用的第二个技术方案是：提供一种图像融合装置，图像融合装置包括：

获取模块，用于获取彩色图像和黑白图像，彩色图像和黑白图像的拍摄对象相同，且彩色图像和黑白图像已完成配准；

检测模块，用于检测黑白图像上的运动目标，以确定包含所述运行目标的待处理区域；

转换模块，用于将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据；

校正模块，用于基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像；

融合模块，用于基于彩色图像和黑白校正图像进行融合，生成融合图像。

为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述图像融合方法中的步骤。

为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像融合方法中的步骤。

本发明的有益效果是：区别于现有技术的情况，提供的一种图像融合方法、装置、终端及计算机可读存储介质，图像融合方法通过获取彩色图像和黑白图像，彩色图像和黑白图像的拍摄对象相同，且彩色图像和黑白图像已完成配准；检测黑白图像上的运行目标，以确定包含所述运行目标的待处理区域；将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据；基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像；基于彩色图像和黑白校正图像进行融合，生成融合图像。本申请中通过基于成像效果更优的彩色图像对应的第二图像数据与黑白图像对应的第一图像数据之间的差异，对黑白图像进行校正，以缩小黑白图像与彩色图像的图像数据之间的差异，进而避免融合图像中目标的颜色出现失真的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的图像融合方法的流程示意图；

图2是图1提供的图像融合方法中步骤S4一具体实施例的流程示意图；

图3是本发明提供的图像融合装置一实施例的框架示意图；

图4是本发明提供的终端一实施例的框架示意图；

图5为本发明提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种图像融合方法做进一步详细描述。

请参阅图1，图1是本发明提供的图像融合方法的流程示意图。本实施例中提供一种图像融合方法，该图像融合方法适用于对视频流中各视频帧中的运动目标的颜色进行良好还原。该图像融合方法包括如下步骤。

S1：获取彩色图像和黑白图像。

在本发明实施例中，彩色图像和黑白图像可以是由不同的摄像头拍摄获取的，也可以是由同一摄像头拍摄获取的，下面分别举例进行说明：

第一种，由不同摄像头获取。

以智能手机为例，智能手机上设置有至少两个摄像头，其中，一个为RGB摄像头，一个为红外摄像头。当用户需要拍摄某运动目标时，将两个摄像头对准拍摄对象，并点击智能手机屏幕上的拍摄按钮，则控制RGB摄像头获取拍摄对象的彩色图像，并控制红外摄像头获取拍摄对象的黑白图像。在其他实施例中，也可以通过棱镜单摄相机分别获取彩色图像和黑白图像。

第二种，由同一摄像头获取。

以智能相机为例，智能相机上的摄像头具备彩色图像拍摄和黑白图像拍摄两种拍摄功能。当用户需要拍摄某运动目标时，将摄像头对准拍摄对象，并点击智能相机上的拍摄按钮，则通过该次点击控制摄像头获取拍摄对象的彩色图像，并同样通过该次点击控制摄像头获取拍摄对象的黑白图像，其中，获取彩色图像和黑白图像的先后顺序不作限制。进一步，为了便于后续图片融合，可以设置获取彩色图像和获取黑白图像的时间间隔小于一预设时间长度。

当然，在具体实施过程中，彩色图像和黑白图像可以如上述两种情况所示，由同一设备上的摄像头获取，也可以由不同设备上的摄像头分别获取，举例来说：

可以设置两个不同的监控摄像头安装在不同位置，两个监控摄像头面向同一拍摄对象，且与一控制设备连接，当用户在控制设备上进行拍摄操作时，一个监控摄像头获取拍摄对象的黑白图像，另一个监控摄像头获取拍摄对象的彩色图像。

本实施例中的彩色图像和黑白图像的拍摄对象相同，将彩色图像和黑白图像进行配准，以将同一像素点在彩色图像中的位置与在黑白图像中的位置进行一一对应，建立映射关系。

S2：检测黑白图像上的运动目标，以确定包含运行目标的待处理区域。

具体地，在获得黑白图像和彩色图像后，检测黑白图像上的运动目标，以确定包含运行目标的待处理区域。其中，待处理区域包含拍摄目标。

在本发明实施例中，检测待处理区域可以采用设置临界像素值来筛选运动目标的方法，也可以用大量样本进行机器模型训练后，采用机器模型来检测待处理区域的方法，在此不作限制，也不再一一列举。

以设置临界像素值来筛选待处理区域为例，临界像素值可以是像素的亮度值或像素的强度值，可以设置临界像素值为像素的亮度值250，检测黑白图像上像素的亮度值超过250的区域，以检测出的像素的亮度值超过250的区域作为待处理区域。当然，在具体实施过程中，临界像素值也可以设置为像素的亮度值为200、220或240等数值，具体由技术人员根据图像需求和经验数据来确定，在此不作限制。

在具体实施过程中，可以直接以检测出的运动目标区域作为待处理区域，也可以是对检测出的运动目标区域进行分区后的区域作为待处理区域，下面分别进行说明：

第一种，直接以检测出的运动目标区域作为待处理区域。

具体地，通过设置临界像素值或设置机器模型等方式来检测出黑白图像上的运动目标区域，并直接以检测出的运动目标区域作为待处理区域。

第二种，对检测出的运动目标区域进行分区后的区域作为待处理区域。

具体地，考虑到检测出的运动目标区域有可能存在零星的区域，为了减少后续进行图像融合时的处理计算量以及提高融合后图像的整体流畅度，可以对运动目标区域进行分区，以分区后的区域作为一个或多个待处理区域。

S3：将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据。

具体地，为了便于校正黑白图像的亮度，将采集的黑白图像中待处理区域在RGB色彩空间的图像数据转化至目标色彩空间，以便于获取待处理区域对应的亮度分量。

其中，目标色彩空间可以为HSV色彩空间、HSL色彩空间、LAB色彩空间、YUV色彩空间，也可以为其他能够表示黑白图像的亮度分量的色彩空间。

以下实施例中，以目标色彩空间为YUV色彩空间为例进行详细阐述。

基于本领域熟知的RGB色彩空间转换YUV色彩空间的转换方式将黑白图像中待处理区域在RGB色彩空间的R通道分量、G通道分量和B通道分量进行转换得到待处理区域的第一图像数据。其中，第一图像数据包括第一亮度分量数据。具体地，第一亮度分量数据为第一Y分量数据。

可以基于相同的方式将彩色图像中配准待处理区域的部分在RGB色彩空间的R通道分量、G通道分量和B通道分量进行转换得到待处理区域的第二图像数据。其中，第二图像数据包括第二亮度分量数据和色度分量数据。具体地，第二亮度分量数据为第二Y分量数据；色度分量数据为UV分量数据。

S4：基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像。

请参阅图2，图2是图1提供的图像融合方法中步骤S4一具体实施例的流程示意图。

具体地，对黑白图像的亮度进行校正具体包括如下步骤。

S41：基于色度分量数据，确定第一图像数据和第二图像数据之间的参考相关度。

具体地，基于色度分量数据与最大色度阈值之间的比值，确定第一图像数据和第二图像数据之间的参考相关度；参考相关度的取值范围为0～1。

在本实施例中，最大色度阈值为255，第一图像数据和第二图像数据之间对应的参考相关度为目标曝光区域对应的UV分量数据与255的比值。由于彩色图像和黑白图像的差异为亮度信息，目标曝光区域的UV分量数据为定值，因此即可确定目标曝光区域对应的参考相关度Coinx。

S42：基于参考相关度与第二亮度分量数据的对应关系，确定第一亮度分量数据的参考亮度数据。

具体地，参考亮度数据包括参考阈值范围；参考阈值范围包括最大参考阈值和最小参考阈值。基于第二亮度分量数据与参考相关度与的比值，确定第一亮度分量数据的最大参考阈值。基于第二亮度分量数据与预设值和参考相关度之间的差值之间的比值，确定第一亮度分量数据的最小参考阈值。

在一实施例中，基于UV分量数据和第二Y分量数据的比值得到第一比值Ra；基于UV分量数据和第一Y分量数据的比值得到第二比值Rb。

基于第二比值Rb是否处于预设范围内，确定是否对第一亮度分量数据进行调整。本实施例中，预设范围为[Coinx*Ra，(A-Coinx)*Ra]。其中，A为预设值，本实施例中A的取值为2，也可以根据实际情况设定其他数值。根据阈值范围确定参考阈值范围，即可得到参考阈值范围为[第二Y分量数据/(A-Coinx)，第二Y分量数据/Coinx]。

如果第一亮度分量数据处于参考阈值范围内，则确定不需要对第一亮度分量数据进行校正。

如果第一亮度分量数据未处于参考阈值范围内，则确定对第一亮度分量数据进行校正，调整至第一亮度分量数据处于参考阈值范围内。具体地，将参考阈值范围作为第一亮度分量数据的参考亮度数据。

当目标曝光区域对应的参考相关度Coinx较大时，为了确保融合图像中拍摄目标的颜色不失真，则需要第一Y分量数据与第二Y分量数据尽量保持一致。例如，响应于参考相关度为1，则第一亮度分量数据的参考亮度数据等于第二亮度分量数据。

当目标曝光区域对应的参考相关度Coinx较小时，只需要保证第一Y分量数据与第二Y分量数据的偏差不超过2倍即可，以此即可将拍摄目标的颜色的良好还原。

S43：响应于第一亮度分量数据不符合参考亮度数据，则基于第一亮度分量数据与参考亮度数据之间的差异对黑白图像进行校正，得到黑白校正图像。

在一实施例中，当待处理区域为一个时；则基于待处理区域对应的第一亮度分量数据与参考亮度数据之间的差异对黑白图像进行校正，得到黑白校正图像。

具体地，基于待处理区域对应的第一Y分量数据与参考亮度数据之间的差异对黑白图像进行校正，以使待处理区域对应的检测相关度超过阈值，即待处理区域的第一Y分量数据尽可能的接近第二Y分量数据。例如，校正得到的黑白校正图像中对应待处理区域的校测相关度为1。其中，校正得到的黑白校正图像中对应待处理区域的第二比值Rb处于参考阈值范围内。

在一实施例中，待处理区域至少为两个。基于各待处理区域对应的第一亮度分量数据与第二亮度分量数据，确定各待处理区域对应的检测相关度。具体地，基于待处理区域对应的第二亮度分量数据与第一亮度分量数据的比值，确定待处理区域对应的检测相关度。

将各待处理区域对应的检测相关度进行比较，选取最大的检测相关度。

基于最大的检测相关度对应的待处理区域对应的参考亮度数据与第一亮度分量数据之间的差异对黑白图像进行校正，得到第一校正图像；计算各待处理区域在第一校正图像中对应的第一亮度分量，作为第一亮度分量更新数据。

基于各待处理区域对应的第一亮度分量更新数据与第二亮度分量数据，确定各待处理区域对应的更新相关度。

基于各待处理区域对应的更新相关度之间的差异是否符合预设要求，确定是否继续对黑白图像进行校正。

响应于待处理区域对应的更新相关度之间的差异均符合预设要求，则确定第一校正图像为黑白校正图像。

响应于待处理区域对应的更新相关度之间的差异不符合预设要求，则继续对黑白图像进行校正。

具体地，至少两个待处理区域包括第一目标区域和第二目标区域；响应于第一目标区域和第二目标区域分别对应的更新相关度之间的差异不符合预设要求，且第一目标区域的更新相关度大于第二目标区域的更新相关度，则基于第二目标区域对应的参考亮度数据与第一亮度分量数据之间的差异对第二目标区域进行校正。例如，第一目标区域的更新相关度为1，第二目标区域的更新相关度为0.6，则基于第二目标区域对应的参考亮度数据与第一亮度分量数据之间的差异对第二目标区域进行校正，以实现对第二目标区域的局部调整，避免影响黑白图像的其他区域的亮度。

S5：基于彩色图像和黑白校正图像进行融合，生成融合图像。

具体地，通过同位像素融合算法将彩色图像和黑白校正图像中分别对应的相同的像素逐个进行融合，生成融合图像。

在一实施例中，将单个像素在彩色图像中的第二Y分量数据与在黑白校正图像中的第一Y分量数据进行算法融合。

可以根据黑白校正图像和/或彩色图像中各个位置之间强度，确定图像中的各像素点的类别。其中，类别包括中低频像素和高频像素。

响应于待融合的像素点为中低频像素，像素在彩色图像中的第二Y分量数据表示为vis_LM；像素在黑白校正图像中的第一Y分量数据表示为nir_LM。融合图像中该像素点的对应的Y分量为fusion_LM＝max(vis_LM，nir_LM)，该像素点的能量变化系数记为c，c＝fusion_LM/vis_LM。由于UV分量来源于彩色图像，最终的融合图像中该像素点的对应的UV分量为能量变化系数与UV分量数据的乘积，即UV＝c*UV分量数据。

响应于待融合的像素点为高频像素，像素在彩色图像中的第二Y分量数据表示为vis_H；像素在黑白校正图像中的第一Y分量数据表示为nir_H。融合图像中该像素点的对应的Y分量为fusion_H＝vis_H*alpha+nir_H*(1-alpha)。alpha表示像素在彩色图像的像素高频分量的权重，例如，像素A在彩色图像的高频分量计算值为100，在黑白图像的高频分量计算值为200，那么alpha＝100/(100+200)。该像素点的能量变化系数记为c，c＝fusion_H/vis_H。由于UV分量来源于彩色图像，最终的融合图像中该像素点的对应的UV分量为能量变化系数与UV分量数据的乘积，即UV＝c*UV分量数据。

根据本领域熟知的YUV色彩空间与RGB色彩空间之间的转换关系，将融合图像对应的Y分量和UV分量，转换得到融合图像对应的RGB数据，进而呈现颜色还原度良好的融合图像。

在一实施例中，可以仅基于上述实施例提出的图像融合方法对黑白图像和彩色图像进行处理，得到颜色还原度良好的融合图像；也可以将上述实施例提出的图像融合方法与其他图像融合方法或颜色还原方法进行叠加，以进一步提高图像还原效果。

本实施例提供的图像融合方法通过获取彩色图像和黑白图像，彩色图像和黑白图像的拍摄对象相同，且彩色图像和黑白图像已完成配准；检测黑白图像上的运行目标，以确定包含所述运行目标的待处理区域；将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据；基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像；基于彩色图像和黑白校正图像进行融合，生成融合图像。本申请中通过基于成像效果更优的彩色图像对应的第二图像数据与黑白图像对应的第一图像数据之间的差异，对黑白图像进行校正，以缩小黑白图像与彩色图像的图像数据之间的差异，进而避免融合图像中目标的颜色出现失真的问题。

请参阅图3，图3是本发明提供的图像融合装置一实施例的框架示意图。本实施例提供一种图像融合装置60，图像融合装置60包括获取模块61、检测模块62、转换模块63、校正模块64和融合模块65。

获取模块61用于获取彩色图像和黑白图像，彩色图像和黑白图像的拍摄对象相同，且彩色图像和黑白图像已完成配准。

检测模块62用于黑白图像上的运动目标，以确定包含所述运行目标的待处理区域。

转换模块63用于将黑白图像中待处理区域转换至目标色彩空间，得到第一图像数据；将彩色图像中配准待处理区域的部分转换至目标色彩空间，得到第二图像数据。

校正模块64用于基于第二图像数据和第一图像数据之间的差异对黑白图像进行校正，得到黑白校正图像。

融合模块65用于基于彩色图像和黑白校正图像进行融合，生成融合图像。

本实施例提供的图像融合装置，通过基于成像效果更优的彩色图像对应的第二图像数据与黑白图像对应的第一图像数据之间的差异，对黑白图像进行校正，以缩小黑白图像与彩色图像的图像数据之间的差异，进而避免融合图像中目标的颜色出现失真的问题。

请参阅图4，图4是本发明提供的终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一图像融合方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器82用于控制其自身以及存储器81以实现上述任一图像融合方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。

请参阅图5，图5为本发明提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一图像融合方法实施例的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像融合方法，其特征在于，所述融合方法包括：

获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同，且所述彩色图像和所述黑白图像已完成配准；

检测所述黑白图像上的运动目标，以确定包含所述运行目标的待处理区域；

将所述黑白图像中所述待处理区域转换至目标色彩空间，得到第一图像数据；将所述彩色图像中配准所述待处理区域的部分转换至所述目标色彩空间，得到第二图像数据；

基于所述第二图像数据和所述第一图像数据之间的差异对所述黑白图像进行校正，得到黑白校正图像；

基于所述彩色图像和所述黑白校正图像进行融合，生成融合图像。

2.根据权利要求1所述的图像融合方法，其特征在于，所述第一图像数据包括第一亮度分量数据；所述第二图像数据包括第二亮度分量数据和色度分量数据；

所述基于所述第二图像数据和所述第一图像数据之间的差异对所述黑白图像进行校正，得到黑白校正图像，包括：

基于所述色度分量数据，确定所述第一图像数据和所述第二图像数据之间的参考相关度；

基于所述参考相关度与所述第二亮度分量数据的对应关系，确定所述第一亮度分量数据的参考亮度数据；

响应于所述第一亮度分量数据不符合所述参考亮度数据，则基于所述第一亮度分量数据与所述参考亮度数据之间的差异对所述黑白图像进行校正，得到所述黑白校正图像。

3.根据权利要求2所述的图像融合方法，其特征在于，

所述基于所述色度分量数据，确定所述第一图像数据和所述第二图像数据之间的参考相关度，包括：

基于所述色度分量数据与最大色度阈值之间的比值，确定所述第一图像数据和所述第二图像数据之间的所述参考相关度；所述参考相关度的取值范围为0～1。

4.根据权利要求2所述的图像融合方法，其特征在于，

所述基于所述参考相关度与所述第二亮度分量数据的对应关系，确定所述第一亮度分量数据的参考亮度数据，包括：

响应于所述参考相关度为1，则所述第一亮度分量数据的参考亮度数据等于所述第二亮度分量数据。

5.根据权利要求2所述的图像融合方法，其特征在于，所述参考亮度数据包括参考阈值范围；所述参考阈值范围包括最大参考阈值和最小参考阈值；

所述基于所述参考相关度与所述第二亮度分量数据的对应关系，确定所述第一亮度分量数据的参考亮度数据，包括：

基于所述第二亮度分量数据与所述参考相关度的比值，确定所述第一亮度分量数据的最大参考阈值；

基于所述第二亮度分量数据与预设值和所述参考相关度的差值之间的比值，确定所述第一亮度分量数据的最小参考阈值。

6.根据权利要求2所述的图像融合方法，其特征在于，所述待处理区域至少为两个；

所述基于所述第一亮度分量数据与所述参考亮度数据之间的差异对所述黑白图像进行校正，包括：

基于各所述待处理区域对应的所述第一亮度分量数据与所述第二亮度分量数据之间的比值，确定各所述待处理区域对应的检测相关度；

基于最大的所述检测相关度对应的所述待处理区域对应的所述参考亮度数据与所述第一亮度分量数据之间的差异对所述黑白图像进行校正，得到各所述待处理区域分别对应的第一亮度分量更新数据；

基于各所述待处理区域对应的所述第一亮度分量更新数据与所述第二亮度分量数据，确定各所述待处理区域对应的更新相关度；

基于各所述待处理区域对应的所述更新相关度之间的差异是否符合预设要求，确定是否继续对所述黑白图像进行校正。

7.根据权利要求6所述的图像融合方法，其特征在于，所述至少两个待处理区域包括第一目标区域和第二目标区域；

所述基于各所述待处理区域对应的所述更新相关度之间的差异是否符合预设要求，确定是否继续对所述黑白图像进行校正，还包括：

响应于所述第一目标区域和所述第二目标区域分别对应的所述更新相关度之间的差值不符合所述预设要求，且所述第一目标区域的更新相关度大于所述第二目标区域的更新相关度，则基于所述第二目标区域对应的所述参考亮度数据与所述第一亮度分量数据之间的差值对所述第二目标区域进行校正。

8.一种图像融合装置，其特征在于，所述融合装置包括：

获取模块，用于获取彩色图像和黑白图像，所述彩色图像和所述黑白图像的拍摄对象相同，且所述彩色图像和所述黑白图像已完成配准；

检测模块，用于检测所述黑白图像上的运动目标，以确定包含所述运行目标的待处理区域；

转换模块，用于将所述黑白图像中所述待处理区域转换至目标色彩空间，得到第一图像数据；将所述彩色图像中配准所述待处理区域的部分转换至所述目标色彩空间，得到第二图像数据；

校正模块，用于基于所述第二图像数据和所述第一图像数据之间的差异对所述黑白图像进行校正，得到黑白校正图像；

融合模块，用于基于所述彩色图像和所述黑白校正图像进行融合，生成融合图像。

9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1～7任一项所述的图像融合方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述的图像融合方法中的步骤。

Images