CN113421195A - 一种图像处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：获取同一个采集时刻的可见光图像和红外光图像，可见光图像包括可见光亮度通道，红外光图像包括红外光亮度通道；确定红外光亮度通道与可见光亮度通道之间的差分图像；基于差分图像生成第一权重图，差分图像包括多个差分值，第一权重图包括所述多个差分值对应的多个权重值；基于第一权重图确定可见光亮度通道的可见光权重图，基于可见光权重图确定红外光亮度通道的红外光权重图；对可见光亮度通道、可见光权重图、红外光亮度通道以及红外光权重图进行加权运算，得到融合亮度通道；基于融合亮度通道生成目标图像。通过本申请的技术方案，能够有效抑制车灯光晕，且不会影响整体的图像效果。

Description

一种图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

在前端设备(如模拟摄像机、网络摄像机等)采集目标场景的图像时，图像中通常会出现车灯光晕现象，导致图像质量较差。车灯光晕是指：在夜间行车时，若开启车辆的远光灯来获得更加明亮的路面视野，则远光灯的强光进入前端设备时，会导致远光灯周围区域的像素过曝，车身颜色发白，引起大片光晕，这些现象就是车灯光晕，车灯光晕会影响成像质量，造成图像效果差。

为了解决车灯光晕造成图像质量较差等问题，需要对图像中的车灯光晕进行抑制，而为了对车灯光晕进行抑制，从光学角度上考虑，可以加强补光灯中心的光斑强度，以更高的亮度来压制远光灯的强光。比如说，使用白光气体的爆闪灯，在采集图像时拉高爆闪灯进行高亮曝光，从而有效抑制远光灯造成的车灯光晕。但是，在采集图像时拉高爆闪灯进行高亮曝光时，爆闪灯会产生比较强的光污染，对驾驶员的人眼有比较强的刺激，存在交通安全隐患。

发明内容

本申请提供一种图像处理方法，所述方法包括：

获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

基于所述第一权重图确定所述可见光亮度通道的可见光权重图，并基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

基于所述融合亮度通道生成目标图像。

示例性的，所述确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像，包括：对所述可见光亮度通道进行均值滤波，得到可见光亮度特征图，对所述红外光亮度通道进行均值滤波，得到红外光亮度特征图；

基于所述红外光亮度特征图与所述可见光亮度特征图的差值，确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

其中，若所述差分图像中的差分值为负值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值暗；

若所述差分图像中的差分值为正值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值亮。

示例性的，所述基于所述第一权重图确定所述可见光亮度通道的可见光权重图，包括：确定所述可见光图像对应的亮度特征图，并对所述亮度特征图进行均值滤波，得到第二权重图，所述第二权重图包括多个权重值；

基于所述第一权重图和所述第二权重图确定所述可见光权重图；其中，针对每个像素点，若该像素点对应的第一权重值大于该像素点在所述第二权重图中对应的第二权重值，则将所述第一权重值确定为该像素点在所述可见光权重图中对应的权重值；若所述第一权重值不大于所述第二权重值，则将所述第二权重值确定为该像素点在所述可见光权重图中对应的权重值；所述第一权重值为最大权重值与该像素点在所述第一权重图中对应的权重值之差。

示例性的，所述确定所述可见光图像对应的亮度特征图，包括：

确定所述可见光图像对应的R通道、G通道和B通道；

针对每个像素点，从该像素点在所述R通道中对应的像素值、该像素点在所述G通道中对应的像素值和该像素点在所述B通道中对应的像素值中选取最大像素值；基于所有像素点对应的最大像素值确定所述亮度特征图。

示例性的，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值。

示例性的，所述基于所述差分图像生成第一权重图，包括：

针对所述差分图像中的每个差分值，通过该差分值查询已配置的差分权重映射关系，得到与该差分值对应的权重值；

基于所述差分图像中所有差分值对应的权重值生成第一权重图；

其中，所述差分权重映射关系包括差分值与权重值的对应关系；

在所述差分权重映射关系中，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值。

示例性的，所述可见光图像包括可见光色度通道，所述基于所述融合亮度通道生成目标图像，包括：基于所述融合亮度通道和所述可见光亮度通道确定增益值；基于所述可见光色度通道和所述增益值确定融合色度通道；基于所述融合亮度通道和所述融合色度通道生成目标图像。

本申请提供一种图像处理装置，所述装置包括：

获取模块，用于获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定模块，用于确定红外光亮度通道与可见光亮度通道之间的差分图像；

生成模块，用于基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

所述确定模块，还用于基于所述第一权重图确定所述可见光亮度通道的可见光权重图，基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

处理模块，用于对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

所述生成模块，还用于基于所述融合亮度通道生成目标图像。

示例性的，所述确定模块基于所述第一权重图确定所述可见光亮度通道的可见光权重图时具体用于：确定所述可见光图像对应的亮度特征图，并对所述亮度特征图进行均值滤波，得到第二权重图，所述第二权重图包括多个权重值；

基于所述第一权重图和所述第二权重图确定所述可见光权重图；其中，针对每个像素点，若该像素点对应的第一权重值大于该像素点在所述第二权重图中对应的第二权重值，则将所述第一权重值确定为该像素点在所述可见光权重图中对应的权重值；若所述第一权重值不大于所述第二权重值，则将所述第二权重值确定为该像素点在所述可见光权重图中对应的权重值；所述第一权重值为最大权重值与该像素点在所述第一权重图中对应的权重值之差。

本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

基于所述第一权重图确定所述可见光亮度通道的可见光权重图，并基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

基于所述融合亮度通道生成目标图像。

由以上技术方案可见，本申请实施例中，红外光图像是基于红外爆闪(人眼不可见)补光得到的图像，红外光图像的亮度大于车辆远光灯的强光，因此，红外光图像的车灯周围的成像十分清晰，通过确定红外光图像与可见光图像之间的差分图像，并基于差分图像生成权重图，基于权重图对可见光图像(即白光图像)和红外光图像进行融合，得到融合后的目标图像，在图像融合时，可以基于权重图确定可见光图像的权重和红外光图像的权重，对于车灯区域，基于权重图确定的红外光图像的权重较大，从而能够利用红外成像下车灯区域无光晕的特点，有效抑制车灯光晕，对于非车灯区域，基于权重图确定的可见光图像的权重较大，从而不会影响整体的图像效果，即不会影响亮度和车身颜色等成像效果，不会对车身其它区域的融合带来偏色问题。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的图像处理方法的流程示意图；

图2A-图2C是本申请一种实施方式中的红外光图像和可见光图像的示意图；

图3是本申请一种实施方式中的图像处理方法的流程示意图；

图4是本申请一种实施方式中的差分权重映射曲线的示意图；

图5是本申请一种实施方式中的目标图像的示意图；

图6是本申请一种实施方式中的图像处理装置的结构示意图；

图7是本申请一种实施方式中的图像处理设备的硬件结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例提出一种图像处理方法，可以应用于前端设备(如网络摄像机、模拟摄像机等)，也可以应用于后端设备(如服务器、管理设备、存储设备等)。若该方法应用于前端设备，则前端设备采集针对同一目标场景的可见光图像和红外光图像，基于可见光图像和红外光图像，前端设备采用本申请实施例进行图像处理。若该方法应用于后端设备，则前端设备采集针对同一目标场景的可见光图像和红外光图像，将可见光图像和红外光图像发送给后端设备，后端设备基于可见光图像和红外光图像，采用本申请实施例进行图像处理。

可见光图像和红外光图像是针对同一目标场景的图像，且可见光图像和红外光图像的采集时刻相同，即可见光图像的曝光时长与红外光图像的曝光时长相同，比如说，可见光图像的曝光起始时刻可以与红外光图像的曝光起始时刻相同，可见光图像的曝光结束时刻可以与红外光图像的曝光结束时刻相同。

本实施例中，可以对可见光图像和红外光图像进行融合，得到融合后的目标图像，在图像融合时，通过确定红外光图像与可见光图像之间的差分图像，并基于差分图像生成权重图，基于权重图可见光图像的权重和红外光图像的权重，从而能够利用红外成像下车灯区域无光晕的特点，有效抑制车灯光晕，且不会影响整体的图像效果，即不会影响亮度和车身颜色等成像效果。

以下结合具体实施例，对本申请实施例的技术方案进行说明。

参见图1所示，为图像处理方法的流程示意图，该方法可以包括：

步骤101，获取同一个采集时刻的可见光图像和红外光图像，该可见光图像可以包括可见光亮度通道，该红外光图像可以包括红外光亮度通道。

示例性的，可以获取同一个采集时刻的可见光图像和红外光图像。该可见光图像可以为YUV(明亮度色度)格式的可见光图像，该可见光图像可以包括亮度通道Y0、色度通道U0和色度通道V0，可以将亮度通道Y0记为可见光亮度通道，将色度通道U0和色度通道V0记为可见光色度通道。该红外光图像可以包括亮度通道Y1，可以将亮度通道Y1记为红外光亮度通道。

在一种可能的实施方式中，前端设备可以为双传感器的前端设备，双传感器是指可见光传感器和红外光传感器。可见光传感器是获取物体可见光强度的传感器，将可见光传感器采集到的图像称为可见光图像。红外光传感器是获取物体红外光强度的传感器，将红外光传感器采集到的图像称为红外光图像。

针对双传感器的前端设备来说，可以通过前端设备的双传感器获取到同一个采集时刻的可见光图像和红外光图像。若前端设备得到的可见光图像是RGB(Red Green Blue，红色绿色蓝色)格式的可见光图像，则可以将RGB格式的可见光图像转换为YUV格式的可见光图像，若前端设备得到的可见光图像是YUV格式的可见光图像，则保持可见光图像为YUV格式。在YUV格式的可见光图像中，可以包括亮度通道Y0、色度通道U0和色度通道V0。针对前端设备得到的红外光图像，该红外光图像可以只包括一个亮度通道Y1。

步骤102，确定红外光亮度通道与可见光亮度通道之间的差分图像，该差分图像可以包括多个差分值，每个差分值表示亮度值的亮暗比较情况。

在一种可能的实施方式中，可以基于红外光亮度通道与可见光亮度通道的差值，确定红外光亮度通道与可见光亮度通道之间的差分图像。比如说，针对像素点(x,y)来说，x表示横坐标，y表示纵坐标，将像素点(x,y)在红外光亮度通道中的亮度值与像素点(x,y)在可见光亮度通道中的亮度值的差值，作为像素点(x,y)在差分图像中的差分值。对每个像素点执行上述处理后，可以得到每个像素点在差分图像中的差分值，将所有像素点在差分图像中的差分值组成差分图像。

针对差分图像中的每个差分值来说，若该差分值为负值，则表示红外光亮度通道中的亮度值比可见光亮度通道中的亮度值暗，也就是说，红外光亮度通道中的亮度值小于可见光亮度通道中的亮度值。若该差分值为正值，则表示红外光亮度通道中的亮度值比可见光亮度通道中的亮度值亮，也就是说，红外光亮度通道中的亮度值大于可见光亮度通道中的亮度值。若该差分值为0，则表示红外光亮度通道中的亮度值与可见光亮度通道中的亮度值相同。

比如说，若像素点(x,y)在差分图像中的差分值为负值，则表示像素点(x,y)在红外光亮度通道中的亮度值小于像素点(x,y)在可见光亮度通道中的亮度值。

若像素点(x,y)在差分图像中的差分值为正值，则表示像素点(x,y)在红外光亮度通道中的亮度值大于像素点(x,y)在可见光亮度通道中的亮度值。

在另一种可能的实施方式中，可以对可见光亮度通道进行均值滤波，得到可见光亮度特征图，并对红外光亮度通道进行均值滤波，得到红外光亮度特征图。然后，基于红外光亮度特征图与可见光亮度特征图的差值，确定红外光亮度通道与可见光亮度通道之间的差分图像。比如说，针对像素点(x,y)来说，x表示横坐标，y表示纵坐标，将像素点(x,y)在红外光亮度特征图中的亮度值与像素点(x,y)在可见光亮度特征图中的亮度值的差值，作为像素点(x,y)在差分图像中的差分值。在对每个像素点执行上述处理后，就可以得到每个像素点在差分图像中的差分值，将所有像素点在差分图像中的差分值组成差分图像。

针对差分图像中的每个差分值来说，若该差分值为负值，则表示红外光亮度特征图中的亮度值比可见光亮度特征图中的亮度值暗，即红外光亮度特征图中的亮度值小于可见光亮度特征图中的亮度值。若该差分值为正值，则表示红外光亮度特征图中的亮度值比可见光亮度特征图中的亮度值亮，即红外光亮度特征图中的亮度值大于可见光亮度特征图中的亮度值。若该差分值为0，则表示红外光亮度特征图中的亮度值与可见光亮度特征图中的亮度值相同。

比如说，若像素点(x,y)在差分图像中的差分值为负值，则表示像素点(x,y)在红外光亮度特征图中的亮度值小于像素点(x,y)在可见光亮度特征图中的亮度值。若像素点(x,y)在差分图像中的差分值为正值，则表示像素点(x,y)在红外光亮度特征图中的亮度值大于像素点(x,y)在可见光亮度特征图中的亮度值。

示例性的，由于红外光亮度通道的亮度值的取值范围是[0,255]，可见光亮度通道的亮度值的取值范围是[0,255]，红外光亮度特征图的亮度值的取值范围是[0,255]，可见光亮度特征图的亮度值的取值范围是[0,255]，因此，在将红外光亮度特征图中的亮度值与可见光亮度特征图中的亮度值的差值，作为差分图像中的差分值时，差分值的取值范围可以是[-255,255]。负值代表红外光亮度比可见光亮度暗，差分值的数值越小则亮度越暗，正值代表红外光亮度比可见光亮度亮，差分值的数值越大则亮度越亮，0代表红外光亮度与可见光亮度相同。

步骤103，基于差分图像生成第一权重图，该第一权重图可以包括多个差分值对应的多个权重值。示例性的，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值可以变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值可以变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值可以为固定权重值。

示例性的，第一阈值可以为正数值，第二阈值可以为负数值。针对差分图像中的多个差分值以及第一权重图中的多个权重值来说，当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值可以为固定权重值。当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值从该固定权重值逐渐降低到最小权重值。当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值从最大权重值逐渐降低到该固定权重值。

在一种可能的实施方式中，针对差分图像中的每个差分值，可以通过该差分值查询已配置的差分权重映射关系，得到与该差分值对应的权重值；基于差分图像中所有差分值对应的权重值生成第一权重图。比如说，针对像素点(x,y)来说，x表示横坐标，y表示纵坐标，从差分图像中选取像素点(x,y)的差分值，通过像素点(x,y)的差分值查询差分权重映射关系，得到像素点(x,y)的差分值对应的权重值，即像素点(x,y)的权重值。在对差分图像中每个像素点进行上述处理后，可以得到差分图像中每个像素点的权重值，将这些像素点的权重值组成第一权重图，即，该第一权重图可以包括多个差分值对应的多个权重值。

示例性的，该差分权重映射关系可以包括差分值与权重值的对应关系，并且，在该差分权重映射关系中，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值可以变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值可以变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值可以为固定权重值。

步骤104，基于该第一权重图确定可见光亮度通道的可见光权重图，并基于该可见光权重图确定红外光亮度通道的红外光权重图。示例性的，该可见光权重图可以包括可见光亮度通道中每个像素点的亮度值对应的权重值，该红外光权重图可以包括红外光亮度通道中每个像素点的亮度值对应的权重值。

在一种可能的实施方式中，可以基于第一权重图确定可见光权重图，比如说，针对每个像素点，将该像素点对应的第一权重值确定为该像素点在可见光权重图中对应的权重值，第一权重值为最大权重值(如256)与该像素点在第一权重图中对应的权重值之差。然后，将所有像素点在可见光权重图中对应的权重值组成可见光权重图。比如说，针对像素点(x,y)来说，假设像素点(x,y)在第一权重图中对应的权重值为q1，则像素点(x,y)对应的第一权重值为256-q1，即像素点(x,y)在可见光权重图中对应的权重值为256-q1，在此基础上，可以将所有像素点在可见光权重图中对应的权重值组成可见光权重图。

在另一种可能的实施方式中，可以先确定可见光图像对应的亮度特征图，并对该亮度特征图进行均值滤波，得到第二权重图，该第二权重图包括多个权重值。然后，基于第一权重图和第二权重图确定可见光权重图。比如说，针对每个像素点，若该像素点对应的第一权重值大于该像素点在第二权重图中对应的第二权重值，则可以将该第一权重值确定为该像素点在可见光权重图中对应的权重值。若该像素点对应的第一权重值不大于该第二权重值，则可以将该第二权重值确定为该像素点在可见光权重图中对应的权重值；该第一权重值可以为最大权重值与该像素点在第一权重图中对应的权重值之差。

示例性的，确定可见光图像对应的亮度特征图，可以包括但不限于：确定该可见光图像对应的R通道、G通道和B通道；针对每个像素点，从该像素点在R通道中对应的像素值、该像素点在G通道中对应的像素值和该像素点在B通道中对应的像素值中选取最大像素值；基于所有像素点对应的最大像素值确定亮度特征图，即将这些像素点对应的最大像素值组成该亮度特征图。

针对基于第一权重图和第二权重图确定可见光权重图的过程，针对像素点(x,y)来说，假设像素点(x,y)在第一权重图中对应的权重值为q1，像素点(x,y)在第二权重图中对应的权重值为q2，则像素点(x,y)对应的第一权重值为256-q1，像素点(x,y)对应的第二权重值为q2，基于此，若(256-q1)大于q2，则像素点(x,y)在可见光权重图中对应的权重值为(256-q1)，若(256-q1)不大于q2，则像素点(x,y)在可见光权重图中对应的权重值为q2。在此基础上，可以将所有像素点在可见光权重图中对应的权重值组成可见光权重图。

针对基于可见光权重图确定红外光亮度通道的红外光权重图的过程，在一种可能的实施方式中，针对每个像素点来说，可以将该像素点对应的第三权重值确定为该像素点在红外光权重图中对应的权重值，该第三权重值可以为最大权重值(如256)与该像素点在可见光权重图中对应的权重值之差。然后，将所有像素点在红外光权重图中对应的权重值组成红外光权重图。

步骤105，对可见光亮度通道、可见光权重图、红外光亮度通道以及红外光权重图进行加权运算，得到融合亮度通道。比如说，针对像素点(x,y)来说，对像素点(x,y)在可见光亮度通道中对应的亮度值、像素点(x,y)在可见光权重图中对应的权重值，像素点(x,y)在红外光亮度通道中对应的亮度值、像素点(x,y)在红外光权重图中对应的权重值进行加权运算，得到像素点(x,y)在融合亮度通道中的亮度值。在对每个像素点执行上述处理后，可以得到每个像素点在融合亮度通道中的亮度值，将所有像素点在融合亮度通道中的亮度值组成融合亮度通道。

步骤106，基于融合亮度通道生成目标图像。

示例性的，可见光图像还可以包括可见光色度通道，可以基于融合亮度通道和可见光亮度通道确定增益值，并基于可见光色度通道和该增益值确定融合色度通道，并基于该融合亮度通道和该融合色度通道生成目标图像。

由以上技术方案可见，本申请实施例中，红外光图像是基于红外爆闪(人眼不可见)补光得到的图像，红外光图像的亮度大于车辆远光灯的强光，因此，红外光图像的车灯周围的成像十分清晰，通过确定红外光图像与可见光图像之间的差分图像，并基于差分图像生成权重图，基于权重图对可见光图像(即白光图像)和红外光图像进行融合，得到融合后的目标图像，在图像融合时，可以基于权重图确定可见光图像的权重和红外光图像的权重，对于车灯区域，基于权重图确定的红外光图像的权重较大，从而能够利用红外成像下车灯区域无光晕的特点，有效抑制车灯光晕，对于非车灯区域，基于权重图确定的可见光图像的权重较大，从而不会影响整体的图像效果，即不会影响亮度和车身颜色等成像效果，不会对车身其它区域的融合带来偏色问题。

以下结合具体应用场景，对本申请实施例的图像处理方法进行说明。

车灯光晕会影响成像质量，造成图像效果较差，参见图2A所示，为存在车灯光晕的示意图，车灯光晕造成整体图像效果较差。为了解决车灯光晕造成图像质量较差等问题，本实施例中，可以采用多光谱融合方法，对同一个采集时刻的可见光图像和红外光图像进行融合，以达到降低车灯光晕的目的。红外光图像是基于红外爆闪补光得到的图像，红外光图像的亮度大于车辆远光灯的强光，因此，红外光图像的车灯周围的成像十分清晰，参见图2B和图2C所示，为存在车灯光晕的可见光图像和不存在车灯光晕的红外光图像的示意图。

参见图3所示，为图像处理方法的流程示意图，该方法可以包括：

步骤301，通过前端设备的双传感器获取到同一个采集时刻的可见光图像和红外光图像，该可见光图像可以为RGB格式的可见光图像。

示例性的，可见光图像的尺寸与红外光图像的尺寸相同，即可见光图像的宽度与红外光图像的宽度相同，可见光图像的高度与红外光图像的高度相同。

步骤302，将RGB格式的可见光图像转换为YUV格式的可见光图像，至此，得到同一个采集时刻的YUV格式的可见光图像和红外光图像。

YUV格式的可见光图像包括亮度通道Y0、色度通道U0和色度通道V0，亮度通道Y0为可见光亮度通道，色度通道U0和色度通道V0为可见光色度通道。红外光图像可以包括亮度通道Y1，亮度通道Y1为红外光亮度通道。

步骤303，对可见光亮度通道进行均值滤波，得到可见光亮度特征图。

示例性的，可以采用第一预设窗口(如5*5的窗口、6*6的窗口等，对此第一预设窗口不做限制)对亮度通道Y0进行均值滤波，将均值滤波后的亮度通道Y0称为可见光亮度特征图，可以将可见光亮度特征图记为L0。

示例性的，均值滤波是指：在图像上对目标像素给一个模板，模板包括目标像素及目标像素的周围像素(以目标像素为中心的N个像素构成模板，且包括目标像素本身，模板中像素数量基于窗口确定，如5*5的窗口N为25，6*6的窗口N为36)，再用模板中全体像素的平均值来代替目标像素的像素值。

比如说，针对可见光亮度通道中的像素点(x,y)来说，像素点(x,y)作为目标像素，以像素点(x,y)为中心构建尺寸为第一预设窗口的模板，将该模板内所有像素点的亮度值的平均值，作为像素点(x,y)在可见光亮度特征图L0中的亮度值。

显然，针对可见光亮度通道中的每个像素点进行上述处理后，就可以得到该像素点在可见光亮度特征图L0中的亮度值，然后，可以可见光亮度通道中的将所有像素点在可见光亮度特征图L0中的亮度值组成可见光亮度特征图L0。

步骤304，对红外光亮度通道进行均值滤波，得到红外光亮度特征图。

示例性的，可以采用第二预设窗口(如5*5的窗口、6*6的窗口等，对此第二预设窗口不做限制)对亮度通道Y1进行均值滤波，将均值滤波后的亮度通道Y1称为红外光亮度特征图，可以将红外光亮度特征图记为L1。

示例性的，第二预设窗口与第一预设窗口可以相同，也可以不同。

示例性的，对红外光亮度通道Y1进行均值滤波的过程，可以参见对可见光亮度通道Y0进行均值滤波的过程，在此不再重复赘述。

步骤305，基于红外光亮度特征图L1与可见光亮度特征图L0的差值，确定红外光亮度通道与可见光亮度通道之间的差分图像，记为Diff图像。

比如说，针对像素点(x,y)来说，将像素点(x,y)在红外光亮度特征图L1中的亮度值与像素点(x,y)在可见光亮度特征图L0中的亮度值的差值，作为像素点(x,y)在Diff图像中的差分值，为了区分方便，可以将两个亮度值之间的差值记为差分值。在对每个像素点执行上述处理后，就可以得到每个像素点在Diff图像中的差分值，并可以将所有像素点在Diff图像中的差分值组成Diff图像。

红外光亮度特征图L1的亮度值的取值范围是[0,255]，可见光亮度特征图L0的亮度值的取值范围是[0,255]，Diff图像的差分值的取值范围是[-255,255]。

若差分值为负值，则表示红外光亮度特征图L1中的亮度值比可见光亮度特征图L0中的亮度值暗，即红外光亮度特征图L1中的亮度值更小，显然，负值代表红外光亮度比可见光亮度暗，差分值的数值越小则亮度越暗。

若差分值为正值，则表示红外光亮度特征图L1中的亮度值比可见光亮度特征图L0中的亮度值亮，即红外光亮度特征图L1中的亮度值更大，显然，正值代表红外光亮度比可见光亮度亮，差分值的数值越大则亮度越亮。

若差分值为0，则表示红外光亮度特征图L1中的亮度值与可见光亮度特征图L0中的亮度值相同，即0代表红外光亮度与可见光亮度相同。

步骤306，基于差分图像生成第一权重图，该第一权重图包括多个权重值。

比如说，针对像素点(x,y)来说，基于像素点(x,y)在差分图像中的差分值确定像素点(x,y)在第一权重图中的权重值，在对每个像素点执行上述处理后，就可以得到每个像素点在第一权重图中的权重值，并将所有像素点在第一权重图中的权重值组成第一权重图，第一权重图中的权重值可以是红外光图像的权重值。

在一种可能的实施方式中，可以预先配置差分权重映射关系，该差分权重映射关系包括差分值与权重值的对应关系。在差分权重映射关系中，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值可以为固定权重值。其中，第一阈值可以为正数值，第二阈值可以为负数值。

以差分权重映射关系是差分权重映射曲线为例，则该差分权重映射曲线的一个示例可以参见图4所示，在图4中，横坐标用于表示差分值，纵坐标用于表示权重值，即该差分权重映射曲线用于表示差分值与权重值的对应关系。

由于差分图像的差分值的取值范围是[-255,255]，因此，图4中差分值的取值范围是[-255,255]。权重值的取值范围是[最小权重值,最大权重值]，最小权重值可以是大于或等于0的数值，根据经验配置，对此最小权重值的取值不做限制，如最小权重值为0、10、20等，图4中以最小权重值是0为例。最大权重值可以是小于或等于256的数值，根据经验配置，对此最大权重值的取值不做限制，如最大权重值为256、240、220等，图4中以最大权重值是160为例。

示例性的，可以预先配置一个固定权重值，该固定权重值可以是大于最小权重值且小于最大权重值的数值，可以根据经验配置，对此固定权重值的取值不做限制，如固定权重值可以为80、100、120等，图4中以100为例。

示例性的，可以配置第一阈值和第二阈值，第一阈值可以为小于255的正数值，第二阈值可以为大于-255的负数值，对此第一阈值和第二阈值不做限制。

从图4可以看出，当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值，也就是说，差分值从第二阈值到第一阈值变化时，这些差分值对应的权重值均为固定权重值100。当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值从固定权重值逐渐降低到最小权重值，也就是说，差分值从第一阈值到255变化时，这些差分值对应的权重值从固定权重值100逐渐降低到最小权重值0。当差分值为小于第二阈值的负数时，随着差分值绝对值的减小(即差分值的增加)，差分值对应的权重值从最大权重值逐渐降低到固定权重值，也就是说，差分值从-255到第二阈值变化时，这些差分值对应的权重值从最大权重值160逐渐降低到固定权重值100。

在图4中，变化线是以直线为例，实际应用中，变化线还可以是曲线，或先直线后曲线，或先曲线后直线，对此不做限制，只要满足上述从最大权重值逐渐降低到固定权重值、从固定权重值逐渐降低到最小权重值的关系即可。

针对差分图像中的每个像素点，以像素点(x,y)来说，可以通过像素点(x,y)在差分图像中的差分值查询图4所示的差分权重映射曲线，得到像素点(x,y)的权重值，这个权重值就是像素点(x,y)在第一权重图中的权重值，显然，在对差分图像中的每个像素点执行上述处理后，就可以得到每个像素点的权重值，这些像素点的权重值就组成第一权重图，即第一权重图包括多个像素点的权重值。

由于差分权重映射曲线具有图4所示的关系，因此，基于差分权重映射曲线查询得到每个像素点的权重值，并将这些像素点的权重值组成第一权重图后，第一权重图中的所有权重值也满足如下关系：当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值。当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值从固定权重值逐渐降低到最小权重值。当差分值为小于第二阈值的负数时，随着差分值绝对值的减小(即差分值的增加)，差分值对应的权重值从最大权重值逐渐降低到固定权重值。

综上所述，可以基于差分图像生成第一权重图，将第一权重图记为W1，第一权重图W1的值域范围是[最小权重值,最大权重值]，以最小权重值是0，最大权重值是255为例，则第一权重图W1的值域范围是[0,255]，以最小权重值是0，最大权重值是160为例，则第一权重图W1的值域范围是[0,160]。

示例性的，第一权重图W1中的权重值可以是红外光图像的权重值，因此，若第一权重图W1中的权重值越小，则代表融合时，红外光图像的权重值越小，可见光图像的权重值越大(可见光图像的权重值与红外光图像的权重值之和为固定值，一个权重值越小，另一个权重值越大)，若第一权重图W1中的权重值越大，则代表融合时，红外光图像的权重值越大，可见光图像的权重值越小。

示例性的，采用图4所示的差分权重映射关系，其原因在于：

在红外光图像比可见光图像暗的区域(即可见光图像的亮度大，可能存在车灯光晕)，需要更多的使用红外光图像中的亮度值，以抑制车灯光晕。参见上述实施例，当差分值是负值时，代表红外光亮度比可见光亮度暗，且差分值的数值越小则亮度越暗，基于此，当差分值为小于第二阈值的负数时，表示红外光亮度比可见光亮度暗，差分权重映射关系中的权重值需要较大，且权重值较大表示红外光图像的权重值较大，从而更多的使用红外光图像中的亮度值。

当差分值为小于第二阈值的负数时，随着差分值从-255到第二阈值的变化，这些差分值对应的权重值从最大权重值逐渐降低到固定权重值。固定权重值到最大权重值之间的每个权重值均比较大，保证更多的使用红外光图像中的亮度值。显然，差分值越小，则红外光图像比可见光图像越暗，红外光图像的权重值越大，从而更多的使用红外光图像中的亮度值，有效抑制车灯光晕。

在红外光图像比可见光图像亮的区域(即可见光图像的亮度小，不是车灯光晕区域，如车身区域等)，需要更多的使用可见光图像中的亮度值，以避免融合图像的偏色问题。参见上述实施例，当差分值是正值时，代表红外光亮度比可见光亮度更亮，且差分值的数值越大则亮度越亮，基于此，当差分值为大于第一阈值的正数时，表示红外光亮度比可见光亮度更亮，差分权重映射关系中的权重值需要较小，且权重值较小用于表示红外光图像的权重值较小，也就是说，可见光图像的权重值较大，从而更多的使用可见光图像中的亮度值。

当差分值为大于第一阈值的正数时，随着差分值从第一阈值到255的变化，这些差分值对应的权重值从固定权重值逐渐降低到最小权重值，固定权重值到最大权重值之间的每个权重值均比较小，即红外光图像的权重值较小，也就是可见光图像的权重值较大，保证更多的使用可见光图像中的亮度值。

显然，差分值越大(从第一阈值到255)，则红外光图像比可见光图像越亮，红外光图像的权重值越小(从固定权重值到最小权重值)，可见光图像的权重值越大，从而更多的使用可见光图像中的亮度值，有效避免融合图像的偏色。

在红外光图像与可见光图像的亮度接近的区域，可以更多的使用红外光图像中的亮度值，或者，也可以均衡使用红外光图像中的亮度值和可见光图像中的亮度值。参见上述实施例，当差分值是0时，代表红外光亮度与可见光亮度相同，基于此，当差分值大于第二阈值且小于第一阈值时，表示红外光图像与可见光图像的亮度接近，差分权重映射关系中的权重值可以为固定权重值。

固定权重值可以是一个较大的权重值，从而更多的使用红外光图像中的亮度值。或者，固定权重值也可以是一个适中权重值，使得红外光图像的权重值(即固定权重值)和可见光图像的权重值(与固定权重值相同或者接近)相同或者接近，从而均衡的使用红外光图像中的亮度值和可见光图像中的亮度值。

当差分值大于第二阈值且小于第一阈值时，随着差分值从第二阈值到第一阈值的变化，这些差分值对应的权重值均为固定权重值，从而更多的使用红外光图像中的亮度值，有效抑制车灯光晕。或者，均衡的使用红外光图像中的亮度值和可见光图像中的亮度值，有效抑制车灯光晕，并避免融合图像的偏色。

步骤307，确定可见光图像对应的亮度特征图，并对该亮度特征图进行均值滤波，得到第二权重图，该第二权重图可以包括多个权重值。

示例性的，可以将YUV格式的可见光图像转换为RGB格式的可见光图像(若步骤301中已得到RGB格式的可见光图像，则不需要转换操作)，该RGB格式的可见光图像包括R通道、G通道和B通道。针对每个像素点来说，以像素点(x,y)为例，从像素点(x,y)在R通道中对应的像素值、像素点(x,y)在G通道中对应的像素值和像素点(x,y)在B通道中对应的像素值中选取最大像素值，这个最大像素值就是像素点(x,y)在亮度特征图中的像素值。针对每个像素点进行上述处理后，就可以将所有像素点在亮度特征图中的像素值组成亮度特征图。

示例性的，从像素点(x,y)在R通道中对应的像素值、像素点(x,y)在G通道中对应的像素值和像素点(x,y)在B通道中对应的像素值中选取最大像素值，可以通过如下公式表示：F1＝Max(R1,G1,B1)，F1表示像素点(x,y)在亮度特征图中的像素值，R1表示像素点(x,y)在R通道中对应的像素值，G1表示像素点(x,y)在G通道中对应的像素值，B1表示像素点(x,y)在B通道中对应的像素值。

在得到亮度特征图后，可以对亮度特征图进行均值滤波，均值滤波过程可以参见步骤303，在此不再重复赘述。在对亮度特征图进行均值滤波后，将均值滤波后的图像记为第二权重图W0，第二权重图W0中的像素值为权重值，即第二权重图W0包括多个权重值，且这些权重值是可见光图像对应的权重值。

步骤308，基于第一权重图和第二权重图确定可见光亮度通道的可见光权重图，并基于可见光权重图确定红外光亮度通道的红外光权重图，该可见光权重图可以包括可见光亮度通道中每个像素点的亮度值对应的权重值，该红外光权重图可以包括红外光亮度通道中每个像素点的亮度值对应的权重值。

示例性的，针对每个像素点来说，以像素点(x,y)为例，确定像素点(x,y)在第一权重图中对应的权重值s1，s1表示红外光图像的权重值，基于s1确定可见光图像的权重值，如可见光图像的权重值与红外光图像的权重值之和为最大权重值(如256)，确定可见光图像的权重值为s2，s2＝256-s1。确定像素点(x,y)在第二权重图中对应的权重值s3。基于此，若s2大于s3，则像素点(x,y)在可见光权重图中对应的权重值为s2，若s2不大于s3，则像素点(x,y)在可见光权重图中对应的权重值为s3。综上所述，可以得到每个像素点在可见光权重图中对应的权重值，并将所有像素点在可见光权重图中对应的权重值组成可见光权重图。

示例性的，针对每个像素点来说，以像素点(x,y)为例，可以确定像素点(x,y)在可见光权重图中对应的权重值k1，并基于k1确定像素点(x,y)在红外光权重图中对应的权重值，如可见光权重图中的权重值与红外光权重图中的权重值之和为最大权重值(如256)，则确定像素点(x,y)在红外光权重图中对应的权重值为k2，k2＝256-k1。综上所述，可以得到每个像素点在红外光权重图中对应的权重值，并将所有像素点在红外光权重图中对应的权重值组成红外光权重图。

步骤309，对可见光亮度通道、可见光权重图、红外光亮度通道以及红外光权重图进行加权运算，得到融合亮度通道。比如说，针对每个像素点来说，以像素点(x,y)为例，采用如下公式进行加权运算：Y＝(W0*Y0+W1*Y1)/256。Y0表示像素点(x,y)在可见光亮度通道中对应的亮度值，W0表示像素点(x,y)在可见光权重图中对应的权重值，Y1表示像素点(x,y)在红外光亮度通道中对应的亮度值，W1表示像素点(x,y)在红外光权重图中对应的权重值，Y表示像素点(x,y)在融合亮度通道中的亮度值，256表示最大权重值，W0与W1之和为256。

步骤310，基于融合亮度通道和可见光亮度通道确定增益值，并基于可见光色度通道和该增益值确定融合色度通道。例如，基于色度通道U0和该增益值确定融合色度U通道，并基于色度通道V0和该增益值确定融合色度V通道。

比如说，针对每个像素点来说，以像素点(x,y)为例，采用如下公式确定融合色度通道：U＝U0*Y/Y0，V＝V0*Y/Y0。Y表示像素点(x,y)在融合亮度通道中的亮度值，Y0表示像素点(x,y)在可见光亮度通道中对应的亮度值，Y/Y0表示像素点(x,y)的增益值，U0表示像素点(x,y)在色度通道U0中对应的色度值，U表示像素点(x,y)在融合色度U通道中对应的色度值，V0表示像素点(x,y)在色度通道V0中对应的色度值，V表示像素点(x,y)在融合色度V通道中对应的色度值。

步骤311，基于融合亮度通道和融合色度通道生成目标图像。

比如说，将融合亮度通道、融合色度U通道和融合色度V通道组成一帧YUV格式的新图像，将YUV格式的新图像作为目标图像，或者，将YUV格式的新图像转换为RGB格式的新图像，将RGB格式的新图像作为目标图像。

由以上技术方案可见，本申请实施例中，红外光图像是基于红外爆闪(人眼不可见)补光得到的图像，红外光图像的亮度大于车辆远光灯的强光，因此，红外光图像的车灯周围的成像十分清晰，通过对可见光图像(即白光图像)和红外光图像进行融合，得到融合后的目标图像时，能够利用红外成像下车灯区域无光晕的特点，有效抑制车灯光晕，且不会影响整体的图像效果，即不会影响亮度和车身颜色等成像效果，不会对车身其它区域的融合带来偏色问题。参见图5所示，为融合后的目标图像，显然，目标图像能够有效抑制车灯光晕。

基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图6所示，为所述装置的结构示意图，所述装置包括：获取模块61，用于获取同一个采集时刻的可见光图像和红外光图像，可见光图像包括可见光亮度通道，红外光图像包括红外光亮度通道；确定模块62，用于确定红外光亮度通道与可见光亮度通道之间的差分图像；生成模块63，用于基于差分图像生成第一权重图，差分图像包括多个差分值，第一权重图包括所述多个差分值对应的多个权重值；所述确定模块62，还用于基于第一权重图确定可见光亮度通道的可见光权重图，基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；处理模块64，用于对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；所述生成模块63，还用于基于所述融合亮度通道生成目标图像。

示例性的，所述确定模块62确定红外光亮度通道与可见光亮度通道之间的差分图像时具体用于：对所述可见光亮度通道进行均值滤波，得到可见光亮度特征图，对所述红外光亮度通道进行均值滤波，得到红外光亮度特征图；基于所述红外光亮度特征图与所述可见光亮度特征图的差值，确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；其中，若所述差分图像中的差分值为负值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值暗；若所述差分图像中的差分值为正值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值亮。

示例性的，所述确定模块62基于所述第一权重图确定所述可见光亮度通道的可见光权重图时具体用于：确定所述可见光图像对应的亮度特征图，并对所述亮度特征图进行均值滤波，得到第二权重图，所述第二权重图包括多个权重值；基于所述第一权重图和所述第二权重图确定所述可见光权重图；其中，针对每个像素点，若该像素点对应的第一权重值大于该像素点在所述第二权重图中对应的第二权重值，则将所述第一权重值确定为该像素点在所述可见光权重图中对应的权重值；若所述第一权重值不大于所述第二权重值，则将所述第二权重值确定为该像素点在所述可见光权重图中对应的权重值；所述第一权重值为最大权重值与该像素点在所述第一权重图中对应的权重值之差。

示例性的，所述确定模块62确定所述可见光图像对应的亮度特征图时具体用于：确定所述可见光图像对应的R通道、G通道和B通道；针对每个像素点，从该像素点在所述R通道中对应的像素值、该像素点在所述G通道中对应的像素值和该像素点在所述B通道中对应的像素值中选取最大像素值；基于所有像素点对应的最大像素值确定所述亮度特征图。

示例性的，所述可见光图像包括可见光色度通道，所述生成模块63基于所述融合亮度通道生成目标图像时具体用于：基于所述融合亮度通道和所述可见光亮度通道确定增益值；基于所述可见光色度通道和所述增益值确定融合色度通道；基于所述融合亮度通道和所述融合色度通道生成目标图像。

基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理设备，参见图7所示，所述图像处理设备可以包括：处理器71和机器可读存储介质72，所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令；所述处理器71用于执行机器可执行指令，以实现如下步骤：

获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

基于所述差分图像生成第一权重图，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

基于所述第一权重图确定所述可见光亮度通道的可见光权重图，并基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

基于所述融合亮度通道生成目标图像。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

基于所述第一权重图确定所述可见光亮度通道的可见光权重图，并基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

基于所述融合亮度通道生成目标图像。

2.根据权利要求1所述的方法，其特征在于，所述确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像，包括：

对所述可见光亮度通道进行均值滤波，得到可见光亮度特征图，对所述红外光亮度通道进行均值滤波，得到红外光亮度特征图；

基于所述红外光亮度特征图与所述可见光亮度特征图的差值，确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

其中，若所述差分图像中的差分值为负值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值暗；

若所述差分图像中的差分值为正值，则表示所述红外光亮度特征图中的亮度值比所述可见光亮度特征图中的亮度值亮。

3.根据权利要求1所述的方法，其特征在于，

所述基于所述第一权重图确定所述可见光亮度通道的可见光权重图，包括：

确定所述可见光图像对应的亮度特征图，并对所述亮度特征图进行均值滤波，得到第二权重图，所述第二权重图包括多个权重值；

基于所述第一权重图和所述第二权重图确定所述可见光权重图；其中，针对每个像素点，若该像素点对应的第一权重值大于该像素点在所述第二权重图中对应的第二权重值，则将所述第一权重值确定为该像素点在所述可见光权重图中对应的权重值；若所述第一权重值不大于所述第二权重值，则将所述第二权重值确定为该像素点在所述可见光权重图中对应的权重值；所述第一权重值为最大权重值与该像素点在所述第一权重图中对应的权重值之差。

4.根据权利要求3所述的方法，其特征在于，

所述确定所述可见光图像对应的亮度特征图，包括：

确定所述可见光图像对应的R通道、G通道和B通道；

针对每个像素点，从该像素点在所述R通道中对应的像素值、该像素点在所述G通道中对应的像素值和该像素点在所述B通道中对应的像素值中选取最大像素值；基于所有像素点对应的最大像素值确定所述亮度特征图。

5.根据权利要求1或3所述的方法，其特征在于，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值。

6.根据权利要求1或3所述的方法，其特征在于，

所述基于所述差分图像生成第一权重图，包括：

针对所述差分图像中的每个差分值，通过该差分值查询已配置的差分权重映射关系，得到与该差分值对应的权重值；

基于所述差分图像中所有差分值对应的权重值生成第一权重图；

其中，所述差分权重映射关系包括差分值与权重值的对应关系；

在所述差分权重映射关系中，当差分值为大于第一阈值的正数时，随着差分值的增加，差分值对应的权重值变小；当差分值为小于第二阈值的负数时，随着差分值绝对值的减小，差分值对应的权重值变小；当差分值大于第二阈值且小于第一阈值时，差分值对应的权重值为固定权重值。

7.根据权利要求1所述的方法，其特征在于，所述可见光图像包括可见光色度通道，所述基于所述融合亮度通道生成目标图像，包括：

基于所述融合亮度通道和所述可见光亮度通道确定增益值；

基于所述可见光色度通道和所述增益值确定融合色度通道；

基于所述融合亮度通道和所述融合色度通道生成目标图像。

8.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定模块，用于确定红外光亮度通道与可见光亮度通道之间的差分图像；

生成模块，用于基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

所述确定模块，还用于基于所述第一权重图确定所述可见光亮度通道的可见光权重图，基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

处理模块，用于对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

所述生成模块，还用于基于所述融合亮度通道生成目标图像。

9.根据权利要求8所述的装置，其特征在于，所述确定模块基于所述第一权重图确定所述可见光亮度通道的可见光权重图时具体用于：

确定所述可见光图像对应的亮度特征图，并对所述亮度特征图进行均值滤波，得到第二权重图，所述第二权重图包括多个权重值；

基于所述第一权重图和所述第二权重图确定所述可见光权重图；其中，针对每个像素点，若该像素点对应的第一权重值大于该像素点在所述第二权重图中对应的第二权重值，则将所述第一权重值确定为该像素点在所述可见光权重图中对应的权重值；若所述第一权重值不大于所述第二权重值，则将所述第二权重值确定为该像素点在所述可见光权重图中对应的权重值；所述第一权重值为最大权重值与该像素点在所述第一权重图中对应的权重值之差。

10.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取同一个采集时刻的可见光图像和红外光图像，所述可见光图像包括可见光亮度通道，所述红外光图像包括红外光亮度通道；

确定所述红外光亮度通道与所述可见光亮度通道之间的差分图像；

基于所述差分图像生成第一权重图；其中，所述差分图像包括多个差分值，所述第一权重图包括所述多个差分值对应的多个权重值；

基于所述第一权重图确定所述可见光亮度通道的可见光权重图，并基于所述可见光权重图确定所述红外光亮度通道的红外光权重图；

对所述可见光亮度通道、所述可见光权重图、所述红外光亮度通道以及所述红外光权重图进行加权运算，得到融合亮度通道；

基于所述融合亮度通道生成目标图像。

Images