CN111586314B

CN111586314B - 一种图像融合方法、装置以及计算机存储介质

Info

Publication number: CN111586314B
Application number: CN202010451537.5A
Authority: CN
Inventors: 瞿二平
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2021-09-10
Anticipated expiration: 2040-05-25
Also published as: CN111586314A

Abstract

本申请公开了一种图像融合方法、装置以及计算机存储介质，该图像融合方法包括：获取可见光图像组和红外光图像组；通过智能算法分析可见光图像组和/或红外光图像组的画面，获得可见光图像组和红外光图像组的拍摄场景信息；当拍摄场景信息为车拍摄场景时，采用第一曝光参数对红外光图像组进行处理；当拍摄场景信息为人拍摄场景时，采用第二曝光参数对红外光图像组进行处理；将可见光图像组和处理后的红外光图像组进行融合；其中，第一曝光参数的曝光时间大于第二曝光参数的曝光时间，和/或第一曝光参数的亮块数据权值小于第二曝光参数的亮块数据权值。通过上述方法，本申请能够对整体图像的图像质量进行优化，保证了整体场景的图像效果。

Description

一种图像融合方法、装置以及计算机存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置以及计算机存储介质。

背景技术

在相关技术中，会利用融合相机对交通场景中的物体进行拍照，对于不同的交通场景，可见光与红外光的融合方式是需要有差异的。但是常规的做法是比对红外光与可见光两路通道的数据或者通过分析红外光通道的红外光成分来识别拍照场景，进而确定可见光与红外光的融合方式，但是相关技术中的上述方法会存在不精确的问题，最终融合会出现效果无法兼顾不同交通场景的问题。

发明内容

本申请提供一种图像处理方法、装置以及计算机存储介质，以解决现有技术中图像融合无法兼顾不同交通场景的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像融合方法，所述图像融合方法包括：

获取融合相机拍摄的可见光图像组和红外光图像组；

通过智能算法分析所述可见光图像组和/或所述红外光图像组的画面，获得所述可见光图像组和所述红外光图像组的拍摄场景信息；

当所述拍摄场景信息为车拍摄场景时，采用第一曝光参数对所述红外光图像组进行处理；

当所述拍摄场景信息为人拍摄场景时，采用第二曝光参数对所述红外光图像组进行处理；

将所述可见光图像组和处理后的红外光图像组进行融合，得到融合图像组；

其中，所述第一曝光参数的曝光时间大于所述第二曝光参数的曝光时间，和/或所述第一曝光参数的亮块数据权值小于所述第二曝光参数的亮块数据权值。

其中，所述通过智能算法分析所述可见光图像组和/或所述红外光图像组的画面，获得所述可见光图像组和所述红外光图像组的拍摄场景信息的步骤，包括：

通过智能算法分析所述可见光图像组和/或所述红外光图像组中相邻图像相同目标的像素位移值；

当所述像素位移值处于第一位移范围时，判定所述拍摄场景信息为所述车拍摄场景；

当所述像素位移值处于第二位移范围时，判定所述拍摄场景信息为所述人拍摄场景；

其中，所述第一位移范围的数值大于所述第二位移范围的数值。

其中，所述采用第一曝光参数对所述红外光图像组进行处理的步骤，包括：

将所述红外光图像组的曝光时间配置为小于或等于5ms，和/或将所述红外光图像组的亮块数据权值配置为低于其他数据权值。

其中，所述采用第二曝光参数对所述红外光图像组进行处理的步骤，包括：

将所述红外光图像组的曝光时间配置为小于或等于12ms，和/或将所述红外光图像组的亮块数据权值配置为高于其他数据权值。

其中，所述图像融合方法还包括：

当所述拍摄场景信息为人拍摄场景时，将所述红外图像组的亮区作为所述红外图像组的曝光区域进行曝光。

其中，所述将所述可见光图像组和处理后的红外光图像组进行融合的步骤，包括：

当所述拍摄场景信息为车拍摄场景时，以所述可见光图像组的可见光路信息作为基础数据层，并按照所述可见光图像组和所述处理后的红外光图像组的整体亮度比，叠加所述可见光图像组的高频亮度信息以及所述处理后的红外光图像组的高频亮度信息；

或者，当所述拍摄场景信息为人拍摄场景时，以所述红外光图像组的红外光路信息作为基础数据层，并按照所述可见光图像组和所述处理后的红外光图像组的整体亮度比，叠加所述可见光图像组的高频亮度信息以及所述处理后的红外光图像组的高频亮度信息。

其中，所述图像融合方法还包括：

当所述拍摄场景信息为车拍摄场景时，对所述红外光图像组进行整体画面暗区的提亮；

当所述拍摄场景信息为人拍摄场景时，采用红外光谱灯光对所述红外光图像组进行补光。

其中，所述图像融合方法还包括：

采用同位像素融合算法将所述可见光图像组和所述处理后的红外光图像组进行融合，得到所述融合图像组。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像融合装置，所述图像融合装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述图像融合方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述图像融合方法的步骤。

区别于现有技术，本申请的有益效果在于：图像融合装置获取融合相机拍摄的可见光图像组和红外光图像组；通过智能算法分析可见光图像组和/或红外光图像组的画面，获得可见光图像组和红外光图像组的拍摄场景信息；当拍摄场景信息为车拍摄场景时，采用第一曝光参数对红外光图像组进行处理；当拍摄场景信息为人拍摄场景时，采用第二曝光参数对红外光图像组进行处理；将可见光图像组和处理后的红外光图像组进行融合，得到融合图像组；其中，第一曝光参数的曝光时间大于第二曝光参数的曝光时间，和/或第一曝光参数的亮块数据权值小于第二曝光参数的亮块数据权值。通过上述方法，本申请能够对整体图像的图像质量进行优化，保证了整体场景的图像效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的图像处理方法第一实施例的流程示意图；

图2是本申请提供的曝光时间设置的原理示意图；

图3是本申请提供的图像处理方法第二实施例的流程示意图；

图4是本申请提供的图像处理方法第三实施例的流程示意图；

图5是本申请提供的图像处理装置一实施例的结构示意图；

图6是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术图像融合无法兼顾不同交通场景的问题，本申请提出一种图像处理方法，采取的是曝光时间调整优化模糊以及融合参数调整优化整体图像的方式，对于融合相机有很好的效果帮助，在解决了运动物体需要优化图像质量外，同时还兼顾了整体场景的图像效果。

具体请参阅图1，图1是本申请提供的图像处理方法第一实施例的流程示意图。本申请的图像处理方法应用于一种图像处理装置，其中，本申请的图像处理装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，图像处理装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

如图1所示，本实施例的图像处理方法具体包括以下步骤：

S101：获取融合相机拍摄的可见光图像组和红外光图像组。

其中，融合相机指的是双传感器组合成的相机方案，其中一路传感器采集可见光信息，即采集可见光图像组，另外一路传感器采集红外光信息，即采集红外光图像组。

具体地，可见光图像组的可见光路，即感受可见光，依赖可见光进行成像的相机数据通路。红外光图像组的红外光路，即感受红外光，依赖红外光进行成像的相机数据通路。其中，可见光图像组包括连续多帧的可见光图像，红外光图像组包括连续多帧的红外光图像。

S102：通过智能算法分析可见光图像组和/或红外光图像组的画面，获得可见光图像组和红外光图像组的拍摄场景信息。

其中，由于可见光图像和红外光图像是基于相同的拍摄场景的成像，只是成像光源不同，实质上场景内容相同。图像处理装置可以通过智能算法分析可见光图像组或红外光图像组的画面，得到拍摄图像时的拍摄场景信息。其中，智能算法即根据融合相机的画面进行分析，将其中的静态物体和动态物体进行分析，得到物体的属性，如运动人的性别，身高，表情等属性。

在本实施例中，图像处理装置通过智能算法主要获取的是拍摄场景中的物体的运动属性，如运动速度。

以可见光图像组为例，具体地，图像处理装置通过智能算法分析连续多帧的可见光图像中相同目标的像素位移值，用相邻图像的像素位移值表示可见光图像组中运动物体的移动速度。

图像处理装置默认设置初始场景为车场景，在后续的处理过程中采用自学习场景来调整不同的智能场景策略。具体地，当图像处理装置检测到可见光图像中运动物体数量大于1个，且与相邻可见光图像相同运动物体的像素位移值小于等于1时，图像处理装置将当前场景设置为人拍摄场景。当图像处理装置检测到可见光图像中运动物体数量大于5个，且与相邻可见光图像相同运动物体的像素位移值大于等于3时，图像处理装置将当前场景设置为车拍摄场景。

需要说明的是，运动物体速度的判定属于经验值判定，工作人员可以根据工作需要设置不同的像素位移值阈值。

S103：当拍摄场景信息为车拍摄场景时，采用第一曝光参数对红外光图像组进行处理。

S104：当拍摄场景信息为人拍摄场景时，采用第二曝光参数对红外光图像组进行处理。

其中，当拍摄场景信息为车拍摄场景时，为保证车辆的最佳可识别状态，根据传感器的曝光累计特性，将曝光时间配置为小于或等于5ms，这样能够保证车辆的最佳抓拍，而且保证了车牌的可清晰辨认。

曝光时间的设置原理请参阅图2，在拍摄过程中，pixel shift(像素偏移)与运动物体的速度强相关，在车拍摄场景中，pixel shift大于5个pixel时，图像中就会出现模糊现象。图2中的max pixel shift(最大像素偏移)表示1个VSync(垂直同期，VerticalSynchronization)中运动物体的位移偏差，通过调整exposure time(曝光时间)会对pixelshift产生影响，且exposure time越小，pixel shift越小，拍摄的图像越不会模糊。因此，本实施例的图像处理装置将曝光时间配置为小于或等于5ms，5ms相较于1VSync的40ms小很多，能够大幅度减缓模糊现象。

为了实现车拍摄场景下融合相机的最佳图像效果以及最佳智能抓拍效果，图像处理装置还可以对红外光路进行整体画面暗区的提亮。另外，考虑到汽车尾灯光谱大部分位于红外光谱中，红外光路会存在汽车在画面中有刹车行为时，汽车尾灯亮起导致画面突然变亮，停止刹车后，汽车尾灯关闭导致画面突然变暗的情况。大量汽车出现在画面中则会加剧画面亮度突然发生变化的情况，所以红外光路会非常容易受到影响。对此，本实施例的图像处理装置对红外光路曝光策略进行调整，具体如下：

在融合相机开启自动曝光功能时，融合相机会自动根据画面亮度调整曝光时间。为了适应画面亮度突然发生变化的情况，图像处理装置将影响自动曝光功能的权值进行调整，如：将图像数据中占比20％的最亮块数据权重降低到1，其他区域数据权重提高到9，即降低亮区对自动曝光功能的影响。根据上述调整权值的方式，可以减小汽车尾灯在此场景中的影响，从而得到较佳的图像效果，通过当前步骤的操作，使得红外光路整体亮度不会因为路面上汽车数量多，尾灯数量多而造成AE(自动曝光)调暗画面的情况出现。

当拍摄场景信息为人拍摄场景时，融合相机采用的是红外光谱灯光对红外光图像组进行补光。考虑到人的运动速度相对车辆较低，将曝光时间配置为小于或等于12ms，这样能够保证人的最佳抓拍，保证了人脸的可清晰辨认。

图像处理装置通过配置红外光路曝光时间低于12ms，保证了人移动时，人脸不会发生明显模糊现象。同时，红外光路开启高亮过曝移植功能，高亮过曝移植功能具体可以实现为：加大亮度域0-255区间中的200-255亮区的权重到6，其他亮度域权重为1，这样当人脸出现在画面中时，红外光集中在人脸上导致的过曝现象消失，AE调节人脸到不过曝程度。

进一步地，由于融合相机作为光源发射体，以融合相机作为0距离位置，距离越近光线越强。当行人从远处走到近处时，在默认的自动曝光功能下，人体会出现明显过曝现象。图像处理装置针对红外光路启动防过曝机制，以画面中的亮区作为红外光路曝光区域进行曝光，保证行人从远处走到近处时，能够一直保持人脸以及人体清晰不过曝的状态。

S105：将可见光图像组和处理后的红外光图像组进行融合，得到融合图像组。

其中，图像处理装置将可见光图像组的可见光路成像数据与红外光图像组的红外光路成像数据采用同位素融合算法进行融合，最终输出一幅合并的数据画面，即融合图像组。融合图像组结合了可见光路和红外光路成像的优势，能够对整体图像的图像质量进行优化，保证了整体场景的图像效果。

具体地，同位融合算法通过运算，对可见光图像和红外光图像相同位置的像素点进行融合。融合算法将可见光路的YUV数据分成Y分量与UV分量，将可见光路的Y分量与红外光路的Y分量(红外光路只有Y分量)进行算法融合。Y分量的融合方法为：以单个像素为例，如p位置像素为中低频像素区域时，可见光通道p位置像素Y分量为vis_LM，红外光通道p位置像素Y分量为nir_LM，那么融合后的p位置像素Y分量为fusion_LM＝max(vis_LM,nir_LM)，p位置的能量变化系数记为c＝fusion_LM/vis_LM；UV分量来源于可见光路，最终的融合图像像素UV＝c*可见光路图像像素UV分量。如p位置像素为高频像素区域，可见光通道p位置像素Y分量为vis_H，红外光通道p位置像素Y分量为nir_H，那么融合后的p位置像素Y分量为fusion_H＝vis_H*alpha+nir_H*(1-alpha)。其中，alpha权重由可见光路与红外光路整体亮度比决定，即可见光路整体亮度与红外光路整体亮度比例作为alpha值p位置的能量变化系数记为c＝fusion_LM/vis_LM，UV分量来源于可见光路，最终的融合图像像素UV＝c*可见光路图像像素UV分量。至此融合图像的YUV数据都已经确定，最终的融合效果即为符合预期的智能场景融合效果。

在本实施例中，图像融合装置获取融合相机拍摄的可见光图像组和红外光图像组；通过智能算法分析可见光图像组和/或红外光图像组的画面，获得可见光图像组和红外光图像组的拍摄场景信息；当拍摄场景信息为车拍摄场景时，采用第一曝光参数对红外光图像组进行处理；当拍摄场景信息为人拍摄场景时，采用第二曝光参数对红外光图像组进行处理；将可见光图像组和处理后的红外光图像组进行融合，得到融合图像组；其中，第一曝光参数的曝光时间大于第二曝光参数的曝光时间，和/或第一曝光参数的亮块数据权值小于第二曝光参数的亮块数据权值。通过上述方法，本申请能够对整体图像的图像质量进行优化，保证了整体场景的图像效果。

在上述图像处理方法实施例的步骤105的基础上，本申请还提供了另一种具体的图像处理方法，具体请参阅图3，图3是本申请提供的图像处理方法第二实施例的流程示意图。

如图3所示，本实施例的图像处理方法具体包括以下步骤：

S201：当拍摄场景信息为车拍摄场景时，以可见光图像组的可见光路信息作为基础数据层。

其中，监控车拍摄场景时，汽车尾灯光谱分布介于红色可见光与红外光临界处之间，且汽车尾灯光谱大部分落在红外光路中，以及红外光对国内车牌整体的反射率相对可见光对国内车牌整体的反射率明显要高。因此图像处理装置在调整融合策略权重时，倾向于使用可见光路作为基础数据层，再将红外光路数据与可见光路数据进行融合。

其中，基础数据层指的是提供Y分量高频信息部分的数据层，在车拍摄场景中，车牌信息主要来源于可见光路，因此将可见光路作为基础数据层。

S202：按照可见光图像组和处理后的红外光图像组的整体亮度比，叠加可见光图像组的高频亮度信息以及处理后的红外光图像组的高频亮度信息。

具体地，高频像素区域的融合计算方式如下：

fusion_H＝vis_H*alpha+nir_H*(1-alpha)

其中，fusion_H表示融合图像高频信息，vis_H表示可见光路高频信息，nir_H表示红外光路高频信息，alpha权重由可见光路与红外光路整体亮度比决定，可见光路整体亮度与红外光路整体亮度比例作为alpha值。

在上述图像处理方法实施例的步骤105的基础上，本申请还提供了另一种具体的图像处理方法，具体请参阅图4，图4是本申请提供的图像处理方法第三实施例的流程示意图。

如图4所示，本实施例的图像处理方法具体包括以下步骤：

S301：当拍摄场景信息为人拍摄场景时，以红外光图像组的红外光路信息作为基础数据层。

其中，监控人拍摄场景时，虑到人的皮肤对于红外光具有良好的反射率，以及融合相机采取的是红外光谱灯光进行补光。因此，监控人拍摄场景中，在融合算法调整策略权重时，由于红外光路的人脸高频信息要远多于可见光路，图像处理装置会倾向于使用红外光路作为基础数据层，再将可见光路数据与红外光路数据进行融合。其中，可见光路进行颜色信息的补充和整体暗区亮度的补充。

S302：按照可见光图像组和处理后的红外光图像组的整体亮度比，叠加可见光图像组的高频亮度信息以及处理后的红外光图像组的高频亮度信息。

其中，车拍摄场景融合算法实现与人拍摄场景融合算法实现一致，只是AE参数配置差异，导致两个光路高频信息有明显差异，从而融合效果会有区别，在此不再赘述。

为了实现上述实施例的图像处理方法，本申请还提供了一种图像处理装置，具体请参阅图5，图5是本申请提供的图像处理装置一实施例的结构示意图。

如图5所示，本实施例的图像处理装置500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的图像处理方法。

在本实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。GPU的用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图6所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请图像处理方法实施例中所述的方法。

本申请图像处理方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种图像融合方法，其特征在于，所述图像融合方法包括：

获取融合相机拍摄的可见光图像组和红外光图像组；

其中，所述第一曝光参数的曝光时间小于所述第二曝光参数的曝光时间，和/或所述第一曝光参数的亮块数据权值小于所述第二曝光参数的亮块数据权值。

2.根据权利要求1所述的图像融合方法，其特征在于，

所述通过智能算法分析所述可见光图像组和/或所述红外光图像组的画面，获得所述可见光图像组和所述红外光图像组的拍摄场景信息的步骤，包括：

3.根据权利要求2所述的图像融合方法，其特征在于，

所述采用第一曝光参数对所述红外光图像组进行处理的步骤，包括：

4.根据权利要求2所述的图像融合方法，其特征在于，

所述采用第二曝光参数对所述红外光图像组进行处理的步骤，包括：

5.根据权利要求4所述的图像融合方法，其特征在于，

所述图像融合方法还包括：

当所述拍摄场景信息为人拍摄场景时，将所述红外光图像组的亮区作为所述红外光图像组的曝光区域进行曝光。

6.根据权利要求2所述的图像融合方法，其特征在于，

所述将所述可见光图像组和处理后的红外光图像组进行融合的步骤，包括：

7.根据权利要求1所述的图像融合方法，其特征在于，

所述图像融合方法还包括：

8.根据权利要求1所述的图像融合方法，其特征在于，

所述图像融合方法还包括：

9.一种图像融合装置，其特征在于，所述图像融合装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1～8中任一项所述图像融合方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1～8中任一项所述图像融合方法的步骤。