CN110378857A - 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 - Google Patents

Abstract

本方法涉及一种夜间车载视频中挡风玻璃上的反射层移除算法。算法包括三个部分。首先，检测反射区域并将其分为主要反射和次要反射；其次，对主要反射区进行抑制；最后，移除主反射区域残留和次反射，获得反射移除结果。本方法利用梯度先验以及反射出现的特点自动地检测图像中存在的反射然后将其分为主要反射和次要反射，对不同程度的反射定制个性化移除策略，显着得提高了反射移除方法效率；通过降低主反射区域的梯度来抑制主要反射，减少了移除结果中的反射残留；基于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的一阶、二阶导数建模反射移除问题，有效地移除了反射，并保持了图像的亮度与色度。

Description

一种用于移除夜间车载视频中挡风玻璃上反射层的方法

技术领域

本方法属于机器视觉领域，涉及一种夜间车载视频中挡风玻璃上的反射层移除方法，可 以移除夜间车载视频中在挡风玻璃上出现的反射层。

背景技术

随着我国汽车保有量快速、持续地增长，人们更加倾向于选择选购一些汽车用品辅助驾 驶以提高行车安全系数。行车记录仪能透过车辆挡风玻璃记录车辆行驶途中周围环境并能保 存汽车各种数据有效地保障司机人身财产安全而备受消费者青睐。

然而，当车辆在夜间行驶时，城市里面的各种灯光在车辆挡风玻璃的折射以及灰尘的作 用下会在挡风玻璃上形成反射层，反射层的存在降低了行车记录视频的可读性，这给相关部 门依据车载视频内容处理交通事故时带来不便。因此，移除夜间车载视频中挡风玻璃上的反 射很具实际应用价值，具有很大的市场需求。用于去除白天场景中普通玻璃上的反射的方法 已被广泛研究。这些方法全部基于Fischler在1982年提出的混合图像成像理论：一副含反射 图像是背景层与反射层的线性组合。根据所使用的图像的数量可以将这些方法大致分为两种 基于多幅的图像方法和基于单幅图像的方法。基于多图像的方法通常需要在特定条件下拍摄 同一场景的多幅图像。一般来说，通过这些方法可以得到可靠的结果，但对场景信息的特殊 要求限制了它们的实际应用。相比之下，基于单幅图像的算法更实用。Levin和Weiss采用 自然图像的梯度稀疏先验来移除反射，显着提高了反射移除效果。然而，该方法依赖于正确 地标记背景和反射边缘，这需要相当高的人力成本。除此以外，方法可能在纹理区域中不能 将反射彻底移除。Li和Brown提出了一种基于梯度先验的方法，可以自动从一幅图像中提 取两个图层，要求这两个图层中反射层要比背景层更平滑。这种方法效果好，速度快。但是 当不满足梯度先验时，反射分离并不彻底。此外，由该方法得到的结果容易产生色移。Nikolaos 应用laplacian数据保真度项和L0先验来制定反射抑制问题。在他们的结果中，图像的细节 保存完好。但是，主反射区域中存在反射残留物。Wan在2018年提出了一种区域感知反射 移除方法，应用内容和渐变先验来恢复缺失的内容并分离反射，当整个图像都被反射覆盖时， 该方法不能将反射被完全去除，而且，一旦背景纹理丰富，方法的性能就会下降。此外，Simon C、Huang Z以及Cheong JY都提出了车载视频中挡风玻璃上反射层移除方法，但是这些方法 的应用场景仅适用于移除白天场景由车内静止物体产生的反射。因为，此类方法大多依赖先 验：车辆行驶时不同于不断变化的景象，挡风玻璃上的反射层是静止不变的。但是，夜间车 载视频中的反射层在车辆行驶期间是动态的而不是静态的，因此，像现存方法一样应用反射 层的静态属性来解决这个问题是不可行的。而且，在夜间受颜色各异和亮度不均的灯光影响 行车记录仪所获得的图像存在照明不均匀，颜色不正确和细节不清晰的问题，使得图像很难 处理。因此，从夜间车载视频中去除挡风玻璃上的反射十分具挑战性。到目前为止，还没有 相关方法提出。

本方法利用梯度先验以及反射在夜间车载视频中出现的特点自动地检测图像中存在的反 射然后将其分为主要反射和次要反射，有效避免了在反射移除的过程中损失无反射区域的细 节，将主要反射与次要反射分开，对不同程度的反射定制个性化移除策略，显着得提高了反射 移除方法效率；通过降低主反射区域的梯度来抑制主要反射减少了移除结果中的反射残留； 基于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的 一阶、二阶导数建模反射移除问题，有效地移除了主要反射残留和次要反射，同时提高了算 法对于图像中亮度与色度的保持能力。

发明内容

本方法利用梯度先验以及反射在夜间车载视频中出现的特点自动地检测图像中存在的 反射然后将其分为主要反射和次要反射，有效避免了在反射移除的过程中损失无反射区域的 细节，将主要反射与次要反射分开，对不同程度的反射定制个性化移除策略，显着得提高了反 射移除方法效率；通过降低主反射区域的梯度来抑制主要反射减少了结果中的反射残留；基 于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的一 阶、二阶导数建模反射移除问题，有效地移除了主要反射残留和次要反射，同时提高了算法 对于图像中亮度与色度的保持能力。实现本方法的技术方案，包括所述算法包括三个步骤：

步骤1：对图像中含有反射的区域进行检测，将检测到的反射分为主要反射和次要反射；

步骤2：抑制主要反射；

步骤3：移除主要反射残留和次要反射。

与现有技术相比，本方法的突出特点是：

1.利用梯度先验结合反射出现的特点实现了反射存在区域的自动检测，无需人工标注， 人力成本低；

2.针对不同特点的反射，制定不同的移除策略，一定程度上避免了反射移除不彻底的情 况，反射移除效果好；

3.本方法不仅考虑了纹理细节在背景层和反射层分布同时考虑了亮度和色度在两层的 分布情况，得到的反射移除结果更符合人眼视觉感受；

4.本方法不仅可以用于去除夜间车载视频中挡风玻璃上的反射，同样可用于移除白天场 景下拍摄的普通玻璃上出现的反射，适用范围广。

附图说明

图1本方法的流程图。

图2：白天真实场景中玻璃上的反射移除结果。2-1为输入图像，2-2为groundtruth， 2-3为本方法反射移除结果。

图3：夜间车载视频中挡风玻璃上的反射移除结果。3-1为输入图像，3-2为groundtruth， 3-3为本方法反射移除结果。

具体实施方式

将行车记录仪中的车载视频导出，将视频处理成图像帧作为输入，经过本方法的处理以 后即可得到反射移除结果。

我们选取SIR²中有对应真实无反射层的图像作为测试图像，以SSIM为评价指标，从客 观角度来评价由本算法得到的结果，数据结果对比如表1所示。

表1 各种方法结果的SSIM比较

由表可知，本方法结果的SSIM除了图2(d)其它图像均高于其他方法由此可得出由我们 的方法得出的结果与更接近ground truth。

Claims (1)

1.一种夜间车载视频中挡风玻璃上的反射移除算法，所述算法包括三个部分：

首先，检测反射区域并将其分为主要反射和次要反射；其次，对主要反射进行抑制；最后，移除主反射区域残留和次反射，获得反射移除结果，包括以下步骤：

A.检测反射区域：该算法基于一个事实：当使用安装在挡风玻璃后面的摄像机拍摄图像时，为了获得清晰的背景层，通常需要根据背景层的景深来设置摄像机的焦距；而出现在挡风玻璃上的反射层的景深与背景层不一致；因此，图像中的反射层因为散焦而变得模糊，这会使得反射层的梯度比背景层的梯度小，基于这点，选择输入图像I数值在0.17到0.3之间的Sobel梯度，就可以得到反射层的边缘E_R；然后，对E_R应用形态学膨胀操作，选取E_R中最大的联通域，该区域即为主反射区域I_M的掩模，称之为掩模Mask1；通过大量的实验得出夜间车载视频的左下区域是驾驶者的主要视觉区，其大小为输入图像I高度的1/5，宽度的1/2，即使该区域不属于主反射区域，此区域内的反射也应被移除；相应的E_R左下区域为是次要反射的掩膜，称之为Mask2；接下来，画出Mask1和Mask2的最小的外接矩形，该矩形的边界平行应与图像边界平行，将此矩形作为I的掩膜，将其与I相乘J即可获得待进一步处理的反射区域I_R；I_N是非反射区等于I-I_R；I_R-I_M的结果为次要反射I_E；

B.主要反射抑制：因为背景层和反射层有不同的模糊度，所以二者对应的梯度也存在差异；利用它们之间的梯度差异来区分图像的背景边缘；具体做法如下：首先用平均滤波器对I进行平滑，得到模糊图像I_b，然后用以下公式计算I和I_b的梯度图之间的梯度差：

其中，矩阵P和Q分别由p′_ij和q′_ij；p_ij和q_ij是I(i，j)和I_b(i，j)的梯度，τ取一个小值以避免分母为零；

然后，可以得到I和I_b的梯度差异置信图GD，再通过以下公式来将属于反射层的像素从GD中剔除即可得到背景层边缘E_B：

E_B＝H(GD-τ_s) (2)

其中，H(.)是阶跃函数，τ_s是用来确定显著性边缘是否属于背景层的阈值；W和H分别是GD的宽度和高度；

接下来，将Laplacian保真项与L0先验组合起来，来求解主要反射抑制问题，构建的目标函数如下所示：

其中，η为正则化参数，随着η增大，更多的梯度被移除，本方法中将η设为0.002；#表示统计满足的像素数目，其中L_MB是I_M的背景层；先验项CCT)在平滑图像的同时保持图像中结构的连续性，而Laplacian保真项可以很好的保持细节的一致，用E_B来精化Laplacian保真度项写作为可以使得梯度图中只包含属于L_MB的梯度，这样做加快了主要反射抑制的速度；

利用半二次分裂法和Adam法来优化目标函数；在得到的主反射抑制结果中较大的梯度被很好地保留下来，而一些很可能属于反射层的小梯度被设置为0，经过此过程，主反射的梯度被减小；

C.反射移除：因为，主反射抑制的目的在于减小主要反射的梯度大小而非将其完全移除，所以在主反射抑制结果L_MB中可能会存在反射残留；在此步骤中这些残留将与次要反射将组合成为一个整体I′_R一起被移除；其中，I′_R＝L_MB+L_E；在主要反射被抑制后，I′_R的反射层L′_RR的梯度范围变更窄，其梯度直方图呈短尾分布，而I′_R的背景层L′_RB的梯度直方图则呈现出长尾分布；

根据背景层与反射层梯度直方图分布不同的性质，通过构建如下目标函数可以将反射移除：

其中，ρ(x)＝min{x²/k，1}，k＝10^-4，函数ρ(.)类似于稀疏惩罚； S为像素索引，f_K指代不同的导数滤波器，分别为水平、竖直方向的一阶导数滤波器f₁＝[-1，1]，f₂＝[-1，1]^T和二阶Laplace滤波器和f₃＝[0，1，0；1，-4，1；0，1，0]；λ是控制反射层的平滑度的参数，随着λ增加，反射层也变得更平滑，根据经验把它设为1，γ是控制输入图像亮度和色度在两层分布的权重参数；将γ设置为不同值对反射移除过程的影响如图3所示；γ的范围从0到1，随着γ的减少，更多的颜色和亮度分量被划分到反射层，实验表明，γ＝0.12可以产生不错的反射移除结果；

用I′_R-L′_RB来替代L′_RR则式(6)可以写作下式：

上式中是一阶导数和二阶导数和常数项的组合，一阶导数滤波器有助于恢复L′_RB中的显著边缘，而Laplace二阶导数滤波器可以编码L′_RR中平滑的变化；因为，输入图像的色度和亮度几乎都是由背景层提供的，反射层提供的很少，而式中γ×L′_RB项控制了保留在背景层中的色度以及亮度分量有效地避免了全局色移，这样不仅考虑到了梯度在背景层与反射层中的分布，同时考虑图像的亮度和色度在两层中的分布；

接下来使用应用半二次分裂法来优化式7，引入辅助变量得到新的目标函数如下式：

其中，β是权重初始值为20，每增加一次迭代β就乘以2，随着β的增大得到式(8)的解就会越接近式(7)的解；保持β固定不变，交替计算L′_RB更新来最小化(8)：

更新保持L′_RB不变，更新

计算L′_RB：保持不变，则式(8)为L′_RB的二次函数，假设满足圆形边界条件，我们可以应用2D FFT来对卷积矩阵F^K进行对角化，可以直接找到最优L′_RB：

其中，^*为是复共轭，表示对矩阵进行快速傅里叶变换，E为元素全为1的矩阵，上式的乘法以及除法都在矩阵元素间进行的；

到目前为止，我们得到I′_R的反射去除结果L′_RB；然后L′_RB加上I_N即为I的最终反射去除结果。