CN113781375B - 一种基于多曝光融合的车载视觉增强方法 - Google Patents

Abstract

本发明公开了一种基于多曝光融合的车载视觉增强方法，预先采集实际驾驶环境的多曝光图像序列，方法包括下列步骤：训练用于评价图像边缘特征相似性的自关注模块，通过相似特征点位计算单应变换矩阵，实现多曝光图像序列对齐；构建上下文聚合网络(CAN)评估多曝光图像序列的高对比度区域，生成图像权重分布图；将输出的权重图进行归一化后输入导向滤波器，去除非边缘权重噪声，利用权重图提取对应图像的高对比度图像分量进行加权融合，输出高质量的驾驶环境图像。本发明提出的方法，能够有效地恢复光照变化场景中高光和阴影区域的细节特征，并对后续的功能性算法具有增强效果。

Description

一种基于多曝光融合的车载视觉增强方法

技术领域

本发明涉及无人驾驶的环境感知领域，特别是指一种基于多曝光融合的车载视觉增强方法。

背景技术

在车辆安全监控和自动驾驶方面，车载视觉作为车辆感知模块的基础，与许多环境感知任务密切相关，例如场景理解和目标检测。目前，很多的无人驾驶的视觉感知算法能够在光照稳定的条件下实现高精度应用。但是在面对光照变化的场景下，这些算法并不能有效保持其精度的稳定性。因为大部分的视觉处理算法通常需要根据图像的颜色、边缘和纹理进行判断。但是通过车载视觉采集的光照变化场景图像会出现大面积的高光和阴影区域，这些区域场景的成像主要受制于摄像头的动态范围限制，不能完全映射真实环境的颜色和边缘特征。当图像特征丢失时，大部分的视觉感知算法无法保证其原有的准确性和稳定性。因此，如何在光照变化的场景中增强车载视觉采集图像质量，是实现视觉感知算法实际应用于无人驾驶的关键。

目前，许多经典的视觉增强方法已经被广泛应用于无人驾驶的环境感知领域，主要可分为以下几类：1)图像空间域和频率域增强技术，主要从图像的数学模型改善图像信息分布结构；2)深度学习视觉增强技术，基于神经网络构建目标导向的端到端视觉增强模型；3)多传感融合增强技术，融合多传感数据信息提升多维度视觉感知特征信息；上述方法对于消除小范围的光照影响具有良好的作用，但对于光照变化带来的大规模细节丢失，上述方法无法从图像特征还原超越相机动态范围的真实细节。

多曝光融合增强技术对于还原光照变化场景的细节是一种经济高效的解决方案，其可通过融合多个不同曝光的图像生成保留正确曝光元素的高质量图像。但是，由于目前的多曝光算法都不是专门为自动驾驶的视觉任务进行设计，大部分算法对于图像色彩的修正会影响车辆视觉的功能性算法精度，而且，大量的运算时间也使得这项技术无法应用于实际自动驾驶车辆的实时环境感知处理。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于多曝光融合的车载视觉增强方法，用于提升光照变化场景下的车载视觉图像质量和后续功能性视觉算法的性能。

本发明采用如下技术方案：

一种基于多曝光融合的车载视觉增强方法，包括如下步骤：

1)使用用于评价图像边缘特征相似性的自关注模块，寻找匹配特征对，计算单应变换矩阵，实现多曝光图像序列对齐；

2)构建评估图像像素质量的上下文聚合网络，输入多曝光图像序列，根据高对比度区域特征，生成对应图像权重分布图；

3)将输出的权重分布图进行归一化，并构建边缘导向滤波器，然后输入权重分布图去除非边缘权重噪声，利用权重分布图提取对应图像分量进行图像融合。

所述使用用于评价图像边缘特征相似性的自关注模块，寻找匹配特征对，具体包括：

选择曝光值(CV)为[-2，2]的中等曝光的图像作为对齐基准图像，CV为(2，4]的高曝光图像和CV为[-4，-2)的低曝光图像作为对齐目标图像。

使用Sobel算子提取高、中、低曝光层级的图像边缘，具体为：

其中，I表示图像像素矩阵，E_x和E_y分别表示图像关于水平方向和垂直方向的边缘梯度，E表示图像边缘梯度值。

调整图像序列的边缘数据结构，与基准图像边缘特征生成对应特征对，具体为：

其中，E_r和E_t分别代表基准图像边缘和目标图像边缘,R代表实数集，H和W分别代表图像长宽尺寸。

通过1×1卷积核提取边缘特征，相乘生成互相关矩阵，具体为：

T_i＝ε_r(E_r)^Tε_t(E_t)

其中，{ε_r,ε_t}为对应卷积核。

通过Softmax函数对互关注矩阵做归一化，获得关于匹配关系归一化矩阵T_s∈R^{HW ×HW}，计算匹配特征对间的空间匹配相似性，并对相似点位做强映射关系匹配，具体为：

其中，T_s代表具有映射关系的归一化矩阵，i和j分别表示矩阵内对应像素位置。

整个过程以均方根误差(MSE)作为损失函数进行，其输入为经过Sobel算子提取的多曝光图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，网络卷积核包括用于评价相关性的对应卷积核{ε_r,ε_t}，以及其所生成的归一化相关矩阵Softmax函数。其中，均方误差(MSE)函数表达式为：

其中，y_m是网络中目标图像的第m个真实值，y′_m是基准图像的第m个输出的预测值，M表示匹配样本总数。

所述计算单应变换矩阵，即通过遍历强映射关系中匹配的特征对，记录各自特征点的图像坐标，根据相机投影模型，可得到不同曝光特征点空间位置的坐标转换关系，具体为：

其中，(x_r,y_r)为基准图像坐标，(x_t,y_t)为目标图像坐标，G∈3×3为两图像对应的单应矩阵，单应矩阵中包含图像间的旋转和平移关系，求解其中参数具体为：

其中，{a₁ a₂ … a₉}为单应矩阵G中的各元素。

一般令a₉＝1，可知方程共存8个未知数，共需8组方程求解。对上述矩阵仅而言，需要有4对不共线的匹配点对，即可通过SVD分解进行单应矩阵求解。在程序中，由于匹配点对较多，在计算单应矩阵部分采用RANSAC算法剔除匹配点对。

所述实现多曝光图像序列对齐，具体包括：

给定基准图像和参考图像中像素点矩阵(x_r,y_r)和(x_t,y_t)，通过所述的单应变化矩阵，对全体像素点做单应变化转换，具体为：

其中，(x_r,y_r)为基准图像坐标，(x_t,y_t)为目标图像坐标，G∈3×3为两图像对应的单应矩阵。

单应变换后，目标图像向基准图像做空间上的旋转和平移，使二者能够在空间位置上完全匹配。单应变换后，校准区域的无内容像素以黑色像素填充，所得的图像大小综合二者的最大匹配面积进行删减。

所述构建评估图像像素质量的上下文聚合网络(CAN)，具体为：

以卷积神经网络为框架，由7个卷积层串联组成，每个卷积层内容是根据前一层使用膨胀卷积核计算得出，在前5层卷积层中，膨胀卷积核尺寸随着网络深度逐渐增加，后2层使用线性的卷积核映射出权重图。

每层卷积后使用自适应归一化改进算子来提高图像处理算子的近似准确率，具体为：

Φ(Z)＝μ_sZ+μ′_sBN(Z)

其中，Z为卷积层的输出特征，BN(·)为自适应归一化算子，μ_s和μ′_s分别为可以反向学习的标量权重。

然后，使用LReLU函数作为损失函数，具体为：

LReLU(Z)＝max(γ_rZ,Z)

其中，γ_r>0，为网络函数固定参数。

所述输入多曝光图像序列，根据高对比度区域特征，生成对应图像权重分布图，具体为：

将根据已标注的多曝光图和提取的权重图作为训练集，以SSIM作为损失函数完成网络模型训练，函数具体表达式为

其中，u_x和u_y分别表示所需的x批次和给定融合的y批次的平均强度。σ_x和σ_y分别表示为x和y的局部方差，σ_xy表示它们的协方差。C₁和C₂是保持函数稳定的常数项。

将上一步骤中对齐后的多曝光图像作为模型输入端输入，训练完的模型将根据已完成的高对比度区域特征分类，生成对应图像权重分布图进行输出。

所述将输出的权重分布图进行归一化，具体包括：

通过从权重图中提取不同曝光下的图像分量，获得不同动态范围的高质量细节。但实际上，在多次曝光条件下，对于对比度较高的图像区域的预测权重往往过大，这使得同一像素的权重之和远大于1，最终导致融合图像中的颜色饱和。因此，为了保证融合图像的真实性，通过归一化约束来限制权重图序列的最终强度范围，具体表达式如下：

其中n为图像序列的编号，N为输入图像序列的长度，W_n(r,c)和W′_n(r,c)为对应像素位置(r,c)上的权重。

所述构建边缘导向滤波器，具体包括：以CAN提取的权重图作为输入，以通过Sobel算子提取边缘图像作为引导，基于引导滤波模型，构建边缘导向滤波，具体表达式如下：

其中，G为边缘导向图，W^*为滤波后的权重分布，n为对应图像序列的编号，a_k和b_k为导向滤波系数，ω_k为滤波窗口大小。

此处，输出图像可以看成导向图I的一个局部线性变换，其中k是局部化的窗口的中点，因此，属于窗口(ω_k,ω_k)的像素区域可用导向图对应的像素通过(a_k,b_k)的系数进行带有正则项的岭回归方程求解，表达式如下：

其中，W为输入权重图像,为输入权重图像对应第k个局部化窗口的像素集合，μ_k和σ_k分别为对应第k个局部化窗口的滤波系数，ω为窗口总数，ε为滤波器固定常数项。

所述利用权重分布图提取对应图像分量进行图像融合，具体为：

将滤波后的权重图序列，通过与图像的Hadamard乘积，提取对应不同曝光权重的图像分量，然后将这些分量进行线性叠加，得到最终的融合图像，表达式如下：

其中，W^*为去除非边缘噪声的权重分布，I表示图像像素矩阵，n为对应图像序列的编号，⊙表示为Hadamard积，Y为最终融合图像。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

(1)为了保证多曝光图像在融合时不会因为相机组视场偏移而产生伪影，本发明基于深度学习的自关注机制原理，建立评价边缘特征相似性的图像对齐模块，提高多曝光图像应用于实际环境的抗干扰能力，有效抑制融合过程中图像的伪影生成。

(2)为了避免图像融合时大范围的色彩校正对后续功能性算法的影响，本发明构建基于上下文聚合网络训练用于评估曝光权重的预测模型，并以权重归一化和导向滤波完成加权叠加融合，所有的图像分量提取均来源于原图像有效曝光分量，有效替代了传统算法基于空间域和频率域的色彩映射步骤，提高了视觉增强算法对于后续功能性算法的适用性。

(3)为了优化传统算法中繁杂的多曝光图像融合过程，本发明基于端到端的输入输出结构建立多曝光图像对齐和权重预测模型，有效减少大量图像处理算子运行时所占用的计算机内存空间，提高了处理算法的实时性要求。

附图说明

图1是本发明所述的一种基于多曝光融合的车载视觉增强方法的总体结构框图；

图2是本发明所述的多曝光图像对齐处理过程；

图3是本发明所述的不同曝光条件下的边缘对齐示意图；图3(a)表示曝光值(CV)为(2，4]的高曝光图像，图3(b)表示CV为[-2，2]的中等曝光，图3(c)表示CV为[-4，-2)的低曝光图像。

图4是本发明所述的不同曝光条件下的边缘分布图；图4(a)表示高曝光条件下的图像边缘分布图，图4(b)表示中等曝光条件下的图像边缘分布图，图4(c)表示低曝光条件下的图像边缘分布图；

图5是本发明所述的不同曝光条件下的边缘对齐示意图；

图6是本发明所述的多曝光权重提取网络示意图；

图7是本发明所述的多曝光图像序列归一化导向滤波融合示意图；

图8是本发明所述的多曝光图像权重提取融合过程示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明涉及一种基于多曝光融合的车载视觉增强方法，包括以下步骤：(1)训练用于评价图像边缘特征相似性的自关注模块，通过相似特征点位计算单应变换矩阵，实现多曝光图像序列对齐；(2)构建上下文聚合网络(CAN)评估多曝光图像序列的高对比度区域，生成图像权重分布图；(3)将输出的权重图进行归一化后输入导向滤波器，去除非边缘权重噪声，利用权重图提取对应图像的高对比度图像分量进行加权融合，输出高质量的驾驶环境图像。

下面结合附图对本发明进一步作具体实施方式的描述。

如附图1所示，本发明所述的一种基于多曝光融合的车载视觉增强方法框图包括以下步骤：

S101：训练用于评价图像边缘特征相似性的自关注模块，通过相似特征点位计算单应变换矩阵，实现多曝光图像序列对齐；

在进行车载多目图像采集时，经常受相机震动等外部因素影响，使得图像序列出现视场偏移现象，如果直接进行融合会导致大量的伪影产生。因此，在进行多曝光融合前必须对图像序列进行对齐。但是，由于不同图像的曝光度不同，使得很多基于光度损失的经典对准算法不适用，而图像边缘对于曝光度的变化并不敏感，因此，提出用于评价图像边缘特征相似性的自关注模块来设计对齐网络，用以解决多曝光图像的对齐问题。

本发明实施通过边缘特征作为主要处理特征来寻找到多曝光图像特征对的最优匹配映射，并利用自我关注机制去计算参考特征与目标特征间的互相似性，附图2是本发明所述的多曝光图像对齐处理过程。实现对齐的本质在于如何让目标图像向参考图像进行扭曲映射，多曝光图像对齐通常选取中等曝光的图像作为参考图像，因为他的动态范围能够更好的涉及各层级曝光图像的动态范围。

附图3是本发明所述的不同曝光条件下的采集图像。首先，选择如附图3(a)所示，CV为[-2，2]的中等曝光的图像作为对齐基准图像，并选择如附图3(b)所示，CV为(2，4]的高曝光图像，以及如附图3(c)所示，CV为[-4，-2)的低曝光图像作为对齐目标图像。

在输入层方面，边缘特征是多曝光图像中最稳定的特征。用Sobel卷积核提取的边缘特征如附图4所示，不同的曝光条件下同样物体的边缘轮廓基本一致。根据公式(1)使用Sobel算子提取高、中、低曝光层级的图像边缘，高、中、低曝光层级的图像边缘的边缘提取效果分别如附图4(a)、(b)、(c)所示。

公式(1)：

其中，I表示图像像素矩阵，E_x和E_y分别表示图像关于水平方向和垂直方向的边缘梯度，E表示图像边缘梯度值。

然后，将边缘特征作为参考来寻找到多曝光图像特征对的最优匹配映射。同时，用自我关注机制去计算基准特征与目标特征间的互相似性。具体步骤包括，将参考图像与目标图像的边缘特征E_r∈R^H×W，E_t∈R^H×W进行重塑，转换组成匹配特征对{E_r，E_t}∈R^1×HW，其中R代表实数集，H和W分别代表图像长宽尺寸。并如公式(2)所示，分别通过1×1卷积核{ε_r，ε_t}提取边缘特征，相乘生成互相关矩阵T_s∈R^HW×HW,。

公式(2)：

T_i＝ε_r(E_r)^Tε_t(E_t)

其中，T_s代表具有映射关系的归一化矩阵，i和j分别表示矩阵内对应像素位置，{ε_r,ε_t}为对应卷积核。随后使用Softmax归一化得到匹配特征对间的弱注意力映射T_s∈R^{HW ×HW},T_s代表每个特征点空间位置的匹配概率。通过引入边缘概率密度作为匹配评估的损失函数，可以利用无监督的方式来训练自关注模块。但是，不同曝光下的特征缺失是不可避免的，弱注意力映射T_i并不能确保特征点的匹配关系准确且唯一。参考SIFT中匹配点的唯一性，根据公式(3)可构造强注意力映射T_h∈R^HW×HW。

公式(3)：

其中，整个过程以均方根误差作为损失函数进行，其输入为经过Sobel算子提取的多曝光图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，网络卷积核包括用于评价相关性的对应卷积核{ε_r,ε_t}，以及其所生成的归一化相关矩阵Softmax函数，如公式(4)所示，这一过程采用MSE均方误差函数用于指导自关注模块训练。

公式(4)：

其中，y_m是网络中目标图像的第m个真实值，y′_m是基准图像的第m个输出的预测值，M表示匹配样本总数。

通过遍历强映射关系T_h中匹配的特征对，记录各自特征点的图像坐标，根据相机投影模型，根据公式(5)可得到不同曝光特征点空间位置的坐标转换关系。

公式(5)：

其中，(x_r,y_r)为基准图像坐标，(x_t,y_t)为目标图像坐标，G∈3×3为两图像对应的单应矩阵，单应矩阵中包含图像间的旋转和平移关系，根据公式(6)和公式(7)可求解其中参数。

公式(6)：

公式(7)：

其中，{a₁ a₂ … a₉}为单应矩阵G中的各元素。一般令a₉＝1，可知方程共存8个未知数，共需8组方程求解。对求解上述公式(5)和公式(6)而言，仅需要有4对不共线的匹配点对，即可通过SVD分解进行单应矩阵求解。在程序中，由于匹配点对较多，在计算单应矩阵部分采用RANSAC算法剔除匹配点对。导入强映射关系包含关键边缘点的强映射关系，解析后获得实现匹配的边缘点对，将匹配关系具象化可见附图5。

此外，标定后的相机视场具有较高的鲁棒性，图像的抖动情况基本满足单应矩阵的变化规律，就算两幅图像的单应矩阵便可完成图像对准。单应变换后，目标图像向基准图像做空间上的旋转和平移，使二者能够在空间位置上完全匹配。单应变换后，校准区域的无内容像素以黑色像素填充，所得的图像大小综合二者的最大匹配面积进行删减，最终可获得对齐后多曝光图像序列。

S102：构建上下文聚合网络(CAN)评估多曝光图像序列的高对比度区域，生成图像权重分布图；

经过对准的多曝光图像基本满足空间上的对应关系，融合的核心工作便在于保持图像序列中感兴趣的部分来合成所需的图像。这个过程通常以一组质量度量进行指导，质量度量通常以图像对比度、饱和度等进行评价从而生成相关的权重图，然后将权重图序列和对应图像序列进行加权混合获得融合图像。但是，传统方法采用逐相素计算权重的方式会占用大量的内存空间，为解决这一问题，我们使用卷积神经网络来近似传统的权重提取算子。

但是大部分的网络受限于卷积核的感受野，其对于曝光权重的分配都只是侧重于局部特征的质量。很难像传统的权重提取算子一样聚合图像的全局和局部差异来对像素进行分类。为改进处理方案，选择带膨胀卷积的CAN来改进权重提取。因为该网络具有优秀的感受野，可以在不牺牲空间分辨率的前提下，更深层次地聚集上下文信息，从而完成图像的全局信息聚集和计算。

与大多数CAN结构相同，本方案的网络包括输入层、卷积计算层和激励层，层的集合表示为：{L⁰,L¹,…,L⁸}，如附图6所示。其中，L⁰为对齐后的图像I∈R^H×W×3，L⁸为输出的权重图W∈R^H×W×1。网络包含7个卷积层，每个卷积层内容是根据前一层通过膨胀卷积核计算得出，在前5层卷积层中，膨胀尺寸随着网络深度逐渐增加，直至后两层我们使用线性的卷积核映射出权重图。

此外，本方法的网络不做池化，因为使用了膨胀卷积，再做池化会使特征图损失很多信息。每层网络后，我们使用自适应规范化改进批量标准化(BN)来提高图像处理算子的近似准确率。因为批量通常都比较小，仅使用批量标准化可能会因为小批次的均值和方差无法匹配训练样本偏差而导致错误。因此，根据公式(8)，可在每个卷积层之后通过赋予每个批次学习权重避免这个问题。

公式(8)：

Φ(Z)＝μ_sZ+μ′_sBN(Z)

其中，Z为卷积层的输出特征，BN(·)为批量标准化算子，μ_s和μ′_s分别为可以反向学习的标量权重，可以通过反向传播进行学习。SSIM被引入作为训练模型的损失函数。与大多数神经网络一样，为了更好的保持图像序列的本地结构信息，采用公式(9)所示的渗漏整流线性单元(LReLU)作为激活函数。

公式(9)：

LReLU(Z)＝max(γ_rZ,Z)

其中，公式(9)中γ_r>0为网络固定参数。

整个CAN网络输入为经过对齐后的多曝光图像序列，输出为评价多曝光图像的权重分布图，其中，网络采用SSIM结构相似性函数用于指导自关注模块训练，SSIM结构相似性函数具体如公式(10)所示。

公式(10)：

其中，u_x和u_y分别表示所需的x批次和给定融合的y批次的平均强度。σ_x和σ_y分别表示为x和y的局部方差，σ_xy表示它们的协方差。C₁和C₂是保持函数稳定的常数项。

根据不同曝光条件下的图像纹理特征，训练后的模型可以高度模拟传统的图像描述子来提取图像权重，并整合输出多曝光图像权重分布图。

S103：将输出的权重图进行归一化后输入导向滤波器，去除非边缘权重噪声，利用权重图提取对应图像的高对比度图像分量进行加权融合，输出高质量的驾驶环境图像。

通过构建的权重预测模型，可以获得对齐图像与之对应的曝光权重图。一般情况下，由权重图提取不同曝光下的图像分量便可以得到不同动态范围的高质量图像细节。但实际上，在多个曝光条件下都能有较高对比度的图像区域，模型往往会赋予过大权重，使得区域内同一像素的不同权重之和远大于1，从而导致在融合图像中出现色彩饱和。因此，为了保证融合图像还原真实，必须通过归一化约束限制权重图序列的最终强度范围，如公式(11)所示。

公式(11)：

其中，n为曝光图像序列的编号，N为输入图像序列的长度，W_n(i,j)为对应像素位置(i,j)的权重。

但是，直接加权融合往往会导致图像出现大范围的失真，具体表现为在原本清晰边缘周围出现令人不安的晕圈。这是因为权重预测过程中使用了空洞卷积，空洞卷积可能会使空间上的连续的边缘信息丢失，产生大量非边缘噪声导致图像部分边缘区域出现强度扩散。导向滤波器被证明能够在消除非边缘噪声，因此，引入导向滤波器可有效消除权重图中的非边缘噪声，过程如附图7所示。

本步骤实施通过以CAN提取的权重图作为输入，以通过Sobel算子提取边缘图像作为引导，根据导向滤波公式(12)，进行导向滤波。

公式(12)：

其中，G为边缘导向图，W^*为滤波后的权重分布，n为对应图像序列的编号，a_k和b_k为导向滤波系数，ω_k为滤波窗口大小；

此处，输出图像可以看成导向图I的一个局部线性变换，其中k是局部化的窗口的中点，因此，属于窗口(ω_k,ω_k)的像素区域可用导向图对应的像素通过(a_k,b_k)的系数进行带有正则项的岭回归方程求解，如公式(13)所示。

公式(13)：

其中，W为输入权重图像,为输入权重图像对应第k个局部化窗口的像素集合，μ_k和σ_k分别为对应第k个局部化窗口的滤波系数，ω为窗口总数，ε为滤波器固定常数项。

滤波后的权重图序列，通过与图像的Hadamard乘积，可以提取对应不同曝光权重的图像分量，将这些分量进行线性叠加，即可到最终的融合图像，这一过程可用公式(14)表示。

公式(14)：

其中，⊙表示为Hadamard积，Y为最终融合图像。附图8为最终权重序列与原始图像的融合过程示意图。从附图8的最终结果中可以看出融合后的图像可以更好地继承原始图像序列曝光良好的部分，边缘部分的色彩细节过度保持原图特征，且单独与各种曝光条件下的图像相比，融合图像可显示出更多层次的图像细节，更适用于自动驾驶的环境感知处理。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种基于多曝光融合的车载视觉增强方法，其特征在于，包括如下步骤：

1)使用用于评价图像边缘特征相似性的自关注模块，寻找匹配特征对，计算单应变换矩阵，实现多曝光图像序列对齐；

2)构建评估图像像素质量的上下文聚合网络，输入多曝光图像序列，根据高对比度区域特征，生成对应图像权重分布图；

3)将输出的权重分布图进行归一化，并构建边缘导向滤波器，然后输入权重分布图去除非边缘权重噪声，利用权重分布图提取对应图像分量进行图像融合；

所述使用用于评价图像边缘特征相似性的自关注模块，寻找匹配特征对，具体包括：

选择曝光值为[-2，2]的中等曝光的图像作为对齐基准图像，曝光值为(2，4]的高曝光图像和曝光值为[-4，-2)的低曝光图像作为对齐目标图像；

使用Sobel算子提取高、中、低曝光层级的图像边缘，具体为：

其中，I表示图像像素矩阵，E_x和E_y分别表示图像关于水平方向和垂直方向的边缘梯度，E表示图像边缘梯度值；

调整图像序列的边缘数据结构，与基准图像边缘特征生成对应特征对，具体为：

其中，E_r和E_t分别代表基准图像边缘和目标图像边缘，R代表实数集，H和W分别代表图像长宽尺寸；

通过1×1卷积核提取边缘特征，相乘生成互相关矩阵，具体为：

T_i＝ε_r(E_r)^Tε_t(E_t)

其中，{ε_r,ε_t}为对应卷积核；

通过Softmax函数对互关注矩阵做归一化，获得关于匹配关系归一化矩阵T_s∈R^HW×HW，计算匹配特征对间的空间匹配相似性，并对相似点位做强映射关系匹配，具体为：

其中，T_s代表具有映射关系的归一化矩阵，i和j分别表示矩阵内对应像素位置；

整个过程以均方根误差作为损失函数进行，其输入为经过Sobel算子提取的多曝光图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，网络卷积核包括用于评价相关性的对应卷积核{ε_r,ε_t}，以及其所生成的归一化相关矩阵Softmax函数；

其中，采用MSE均方误差函数用于指导自关注模块训练，具体为：

其中，y_m是网络中目标图像的第m个真实值，y′_m是基准图像的第m个输出的预测值，M表示匹配样本总数。

2.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述计算单应变换矩阵，具体包括：

通过遍历所述强映射匹配关系的特征对，记录各自特征点的图像坐标，根据相机投影模型，可得到不同曝光特征点空间位置的坐标转换关系，具体为：

其中，(x_r,y_r)为基准图像坐标，(x_t,y_t)为目标图像坐标，G∈3×3为两图像对应的单应矩阵，单应矩阵中包含图像间的旋转和平移关系，求解其中参数具体为：

其中，{a₁ a₂ … a₉}为单应矩阵G中的各元素。

3.根据权利要求2所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述实现多曝光图像序列对齐，具体为：

给定基准图像和参考图像中像素点矩阵(x_r,y_r)和(x_t,y_t)，通过所述的单应变换矩阵，对全体像素点做单应变化转换，具体为：

其中，(x_r,y_r)为基准图像坐标，(x_t,y_t)为目标图像坐标，H∈3×3为两图像对应的单应矩阵；

单应变换后，目标图像向基准图像做空间上的旋转和平移，使二者能够在空间位置上完全匹配；单应变换后，校准区域的无内容像素以黑色像素填充，所得的图像大小综合二者的最大匹配面积进行删减。

4.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，构建评估图像像素质量的上下文聚合网络，具体为：

所述上下文聚合网络以卷积神经网络为框架，由7个卷积层串联组成，每个卷积层内容是根据前一层使用膨胀卷积核计算得出，在前5层卷积层中，膨胀卷积核尺寸随着网络深度逐渐增加，最后两层使用线性的卷积核映射出权重图；

每层卷积后使用自适应归一化改进算子来提高图像处理算子的近似准确率，具体为：

Φ(Z)＝μ_sZ+μ′_sBN(Z)

其中，Z为卷积层的输出特征，BN(·)为自适应归一化算子，μ_s和μ′_s分别为可以反向学习的标量权重；

然后，使用LReLU函数作为损失函数，具体为：

LReLU(Z)＝max(γ_rZ,Z)

其中，γ_r>0，为网络函数固定参数。

5.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，输入多曝光图像序列，根据高对比度区域特征，生成对应图像权重分布图，还包括：

整个上下文聚合网络输入为经过对齐后的多曝光图像序列，输出为评价多曝光图像的权重分布图，其中，网络采用SSIM结构相似性函数用于指导上下文聚合网络训练，SSIM结构相似性函数具体为：

其中，u_x和u_y分别表示所需的x批次和给定融合的y批次的平均强度；σ_x和σ_y分别表示为x和y的局部方差，σ_xy表示它们的协方差；C₁和C₂是保持函数稳定的常数项；

已训练的网络卷积层可以模拟图像处理算子，根据输入多曝光图像的高对比度区域特征进行提取，完成图像区域分量的权重评价，最后进行区域聚合，输出评价多曝光图像分量的权重分布图。

6.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述将输出的权重分布图进行归一化，具体为：

根据评价多曝光图像分量的权重分布图，通过计算每个像素的加权平均值来融合多曝光图像；对N个多曝光图像序列的权重映射值进行归一化，使其在每个像素(r,c)位置的和为1，具体表达式如下：

其中n为图像序列的编号，N为输入图像序列的长度，W_n(r,c)和W′_n(r,c)为对应像素位置(r,c)上的权重。

7.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述构建边缘导向滤波器，具体为：

以上下文聚合网络提取的权重图作为输入，以通过Sobel算子提取边缘图像作为引导，基于引导滤波模型，构建边缘导向滤波，具体表达式如下：

其中，G为边缘导向图，W^*为滤波后的权重分布，n为对应图像序列的编号，a_k和b_k为导向滤波系数，ω_k为滤波窗口大小。

8.根据权利要求7所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述输入权重分布图去除非边缘权重噪声，具体为：

输出图像为导向图I的局部线性变换，其中k是局部化的窗口的中点，属于窗口(ω_k,ω_k)的像素区域用导向图对应的像素通过(a_k,b_k)的系数进行带有正则项的岭回归方程求解，具体为：

其中，W为输入权重图像,为输入权重图像对应第k个局部化窗口的像素集合，μ_k和σ_k分别为对应第k个局部化窗口的滤波系数，ω为窗口总数，ε为滤波器固定常数项。

9.根据权利要求1所述的一种基于多曝光融合的车载视觉增强方法，其特征在于，所述利用权重分布图提取对应图像分量进行图像融合，具体为：

滤波后的权重图序列，通过与图像的Hadamard乘积，提取对应不同曝光权重的图像分量，将图像分量进行线性叠加，得到最终的融合图像，表达式如下：

其中，W^*为去除非边缘噪声的权重分布，I表示图像像素矩阵，n为对应图像序列的编号，⊙表示为Hadamard积，Y为最终融合图像。