CN110378857B - 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 - Google Patents
一种用于移除夜间车载视频中挡风玻璃上反射层的方法 Download PDFInfo
- Publication number
- CN110378857B CN110378857B CN201910664636.9A CN201910664636A CN110378857B CN 110378857 B CN110378857 B CN 110378857B CN 201910664636 A CN201910664636 A CN 201910664636A CN 110378857 B CN110378857 B CN 110378857B
- Authority
- CN
- China
- Prior art keywords
- reflection
- gradient
- image
- area
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 230000001629 suppression Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims 4
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims 2
- 238000009499 grossing Methods 0.000 claims 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims 1
- 230000010339 dilation Effects 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本方法涉及一种夜间车载视频中挡风玻璃上的反射层移除算法。算法包括三个部分。首先，检测反射区域并将其分为主要反射和次要反射；其次，对主要反射区进行抑制；最后，移除主反射区域残留和次反射，获得反射移除结果。本方法利用梯度先验以及反射出现的特点自动地检测图像中存在的反射然后将其分为主要反射和次要反射，对不同程度的反射定制个性化移除策略，显着得提高了反射移除方法效率；通过降低主反射区域的梯度来抑制主要反射，减少了移除结果中的反射残留；基于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的一阶、二阶导数建模反射移除问题，有效地移除了反射，并保持了图像的亮度与色度。
Description
技术领域
本方法属于机器视觉领域，涉及一种夜间车载视频中挡风玻璃上的反射层移除方法，可 以移除夜间车载视频中在挡风玻璃上出现的反射层。
背景技术
随着我国汽车保有量快速、持续地增长，人们更加倾向于选择选购一些汽车用品辅助驾 驶以提高行车安全系数。行车记录仪能透过车辆挡风玻璃记录车辆行驶途中周围环境并能保 存汽车各种数据有效地保障司机人身财产安全而备受消费者青睐。
然而，当车辆在夜间行驶时，城市里面的各种灯光在车辆挡风玻璃的折射以及灰尘的作 用下会在挡风玻璃上形成反射层，反射层的存在降低了行车记录视频的可读性，这给相关部 门依据车载视频内容处理交通事故时带来不便。因此，移除夜间车载视频中挡风玻璃上的反射很具实际应用价值，具有很大的市场需求。用于去除白天场景中普通玻璃上的反射的方法 已被广泛研究。这些方法全部基于Fischler在1982年提出的混合图像成像理论：一副含反射 图像是背景层与反射层的线性组合。根据所使用的图像的数量可以将这些方法大致分为两种 基于多幅的图像方法和基于单幅图像的方法。基于多图像的方法通常需要在特定条件下拍摄 同一场景的多幅图像。一般来说，通过这些方法可以得到可靠的结果，但对场景信息的特殊要求限制了它们的实际应用。相比之下，基于单幅图像的算法更实用。Levin和Weiss采用 自然图像的梯度稀疏先验来移除反射，显着提高了反射移除效果。然而，该方法依赖于正确 地标记背景和反射边缘，这需要相当高的人力成本。除此以外，方法可能在纹理区域中不能将反射彻底移除。Li和Brown提出了一种基于梯度先验的方法，可以自动从一幅图像中提 取两个图层，要求这两个图层中反射层要比背景层更平滑。这种方法效果好，速度快。但是 当不满足梯度先验时，反射分离并不彻底。此外，由该方法得到的结果容易产生色移。Nikolaos 应用laplacian数据保真度项和L0先验来制定反射抑制问题。在他们的结果中，图像的细节 保存完好。但是，主反射区域中存在反射残留物。Wan在2018年提出了一种区域感知反射 移除方法，应用内容和渐变先验来恢复缺失的内容并分离反射，当整个图像都被反射覆盖时，该方法不能将反射被完全去除，而且，一旦背景纹理丰富，方法的性能就会下降。此外，Simon C、Huang Z以及Cheong JY都提出了车载视频中挡风玻璃上反射层移除方法，但是这些方法 的应用场景仅适用于移除白天场景由车内静止物体产生的反射。因为，此类方法大多依赖先 验：车辆行驶时不同于不断变化的景象，挡风玻璃上的反射层是静止不变的。但是，夜间车载视频中的反射层在车辆行驶期间是动态的而不是静态的，因此，像现存方法一样应用反射 层的静态属性来解决这个问题是不可行的。而且，在夜间受颜色各异和亮度不均的灯光影响 行车记录仪所获得的图像存在照明不均匀，颜色不正确和细节不清晰的问题，使得图像很难 处理。因此，从夜间车载视频中去除挡风玻璃上的反射十分具挑战性。到目前为止，还没有相关方法提出。
本方法利用梯度先验以及反射在夜间车载视频中出现的特点自动地检测图像中存在的反 射然后将其分为主要反射和次要反射，有效避免了在反射移除的过程中损失无反射区域的细 节，将主要反射与次要反射分开，对不同程度的反射定制个性化移除策略，显着得提高了反射移除方法效率；通过降低主反射区域的梯度来抑制主要反射减少了移除结果中的反射残留； 基于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的 一阶、二阶导数建模反射移除问题，有效地移除了主要反射残留和次要反射，同时提高了算 法对于图像中亮度与色度的保持能力。
发明内容
本方法利用梯度先验以及反射在夜间车载视频中出现的特点自动地检测图像中存在的 反射然后将其分为主要反射和次要反射，有效避免了在反射移除的过程中损失无反射区域的 细节，将主要反射与次要反射分开，对不同程度的反射定制个性化移除策略，显着得提高了反射移除方法效率；通过降低主反射区域的梯度来抑制主要反射减少了结果中的反射残留；基 于背景层与反射层的梯度直方图不同分布的特性，利用提出的亮度、色度保真项和图像的一 阶、二阶导数建模反射移除问题，有效地移除了主要反射残留和次要反射，同时提高了算法 对于图像中亮度与色度的保持能力。实现本方法的技术方案，包括所述算法包括三个步骤：
步骤1：对图像中含有反射的区域进行检测，将检测到的反射分为主要反射和次要反射；
步骤2：抑制主要反射；
步骤3：移除主要反射残留和次要反射。
与现有技术相比，本方法的突出特点是：
1.利用梯度先验结合反射出现的特点实现了反射存在区域的自动检测，无需人工标注， 人力成本低；
2.针对不同特点的反射，制定不同的移除策略，一定程度上避免了反射移除不彻底的情 况，反射移除效果好；
3.本方法不仅考虑了纹理细节在背景层和反射层分布同时考虑了亮度和色度在两层的 分布情况，得到的反射移除结果更符合人眼视觉感受；
4.本方法不仅可以用于去除夜间车载视频中挡风玻璃上的反射，同样可用于移除白天场 景下拍摄的普通玻璃上出现的反射，适用范围广。
附图说明
图1本方法的流程图。
图2：白天真实场景中玻璃上的反射移除结果。2-1为输入图像，2-2为groundtruth， 2-3为本方法反射移除结果。
图3：夜间车载视频中挡风玻璃上的反射移除结果。3-1为输入图像，3-2为groundtruth， 3-3为本方法反射移除结果。
具体实施方式
将行车记录仪中的车载视频导出，将视频处理成图像帧作为输入，经过本方法的处理以 后即可得到反射移除结果。
我们选取SIR2中有对应真实无反射层的图像作为测试图像，以SSIM为评价指标，从客 观角度来评价由本算法得到的结果，数据结果对比如表1所示。
表1 各种方法结果的SSIM比较
由表可知，本方法结果的SSIM除了图2(d)其它图像均高于其他方法由此可得出由我们 的方法得出的结果与更接近ground truth。
Claims (1)
1.一种用于移除夜间车载视频中挡风玻璃上反射层的方法，所述方法包括三个部分：首先，检测反射区域并将其分为主要反射和次要反射；其次，对主要反射进行抑制；最后，移除主反射区域残留和次反射，获得反射移除结果，包括以下步骤：
A.检测反射区域：选择输入图像I数值在0.17到0.3之间的Sobel梯度，得到反射层的边缘ER；然后，对ER应用形态学膨胀操作，选取ER中最大的联通域，该区域即为主反射区域IM的掩模，称之为掩模Mask1；夜间车载视频的左下区域是驾驶者的主要视觉区，其大小为输入图像I高度的1/5，宽度的1/2，ER左下区域是次要反射的掩膜，称之为Mask2；画出Mask1和Mask2的最小的外接矩形，该矩形的边界应与图像边界平行，将此矩形作为I的掩膜，将其与I相乘即可获得待进一步处理的反射区域IR；IN是非反射区等于I-IR；IR-IM的结果为次要反射IE；
B.主要反射抑制：首先用平均滤波器对I进行平滑，得到模糊图像Ib，然后用以下公式计算I和Ib的梯度图之间的梯度差：
其中，矩阵P和Q分别由p′ij和q′ij构成：pij和qij是I(i，j)和Ib(i，j)的梯度，τ的取值避免分母为零；
然后，得到I和Ib的梯度差异置信图GD，再通过以下公式将属于反射层的像素从GD中剔除即可得到背景层边缘EB：
EB＝H(GD-τs) (2)
其中，H(.)是阶跃函数，τs是用来确定显著性边缘是否属于背景层的阈值；W和H分别是GD的宽度和高度；
接下来，将Laplacian保真项与L0先验组合起来，求解主要反射抑制问题，构建的目标函数如下所示：
其中，η为正则化参数，随着η增大，更多的梯度被移除，将η设为0.002；#表示统计满足的像素数目，其中LMB是IM的背景层；先验项C()在平滑图像的同时保持图像中结构的连续性，而Laplacian保真项/>可以很好的保持细节的一致，用EB来精化Laplacian保真度项写作为/>可以使得梯度图中只包含属于LMB的梯度，这样做加快了主要反射抑制的速度；
利用半二次分裂法和Adam法来优化目标函数；
C.反射移除：在主反射抑制结果LMB中存在反射残留；这些残留与次要反射组合成为一个整体I′R一起被移除；其中，I′R＝LMB+LE；在主要反射被抑制后，I′R的反射层L′RR的梯度范围变更窄，其梯度直方图呈短尾分布，而I′R的背景层L′RB的梯度直方图则呈现出长尾分布；
根据背景层与反射层梯度直方图分布不同的性质，通过构建如下目标函数可以将反射移除：
其中，ρ(x)＝min{x2/k，1}，k＝10-4，函数ρ(.)类似于稀疏惩罚； S为像素索引，fK指代不同的导数滤波器，分别为水平、竖直方向的一阶导数滤波器f1＝[-1，1]，f2＝[-1，1]T和二阶Laplace滤波器和f3＝[0，1，0；1，-4，1；0，1，0]；λ是控制反射层平滑度的参数，随着λ增加，反射层也变得更平滑，根据经验把它设为1，γ是控制输入图像亮度和色度在两层分布的权重参数；γ＝0.12；
用I′R-L′RB来替代L′RR则式(6)表达为式(7)：
上式中是一阶导数、二阶导数和常数项的组合，一阶导数滤波器有助于恢复L′RB中的显著边缘，而Laplace二阶导数滤波器编码L′RR中平滑的变化；接下来应用半二次分裂法来优化式(7)，引入辅助变量得到新的目标函数如下式：
其中，β是权重初始值为20，每增加一次迭代β就乘以2，随着β的增大得到式(8)的解就会越接近式(7)的解；保持β固定不变，交替计算L′RB更新来最小化(8)：
更新保持L′RB不变，更新/>
计算L′RB：保持不变，则式(8)为L′RB的二次函数，假设满足圆形边界条件，应用2D FFT对卷积矩阵FK进行对角化，直接找到最优L′RB：
L′RB＝F-1(A) (10)
其中，*为是复共轭，F(.)表示对矩阵进行快速傅里叶变换，E为元素全为1的矩阵，上式的乘法以及除法都在矩阵元素间进行的；
得到I′R的反射去除结果L′RB；然后L′RB加上IN即为I的最终反射去除结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910664636.9A CN110378857B (zh) | 2019-07-22 | 2019-07-22 | 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910664636.9A CN110378857B (zh) | 2019-07-22 | 2019-07-22 | 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378857A CN110378857A (zh) | 2019-10-25 |
| CN110378857B true CN110378857B (zh) | 2023-11-28 |
Family
ID=68255010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910664636.9A Active CN110378857B (zh) | 2019-07-22 | 2019-07-22 | 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378857B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022222080A1 (zh) * | 2021-04-21 | 2022-10-27 | 浙江大学 | 一种基于位置感知的单图像反射层移除方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015103867A (ja) * | 2013-11-21 | 2015-06-04 | 矢崎エナジーシステム株式会社 | 車載画像処理装置 |
| CN105844595A (zh) * | 2016-03-14 | 2016-08-10 | 天津工业大学 | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 |
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
| CN108734670A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 单幅夜间弱照度雾霾图像的复原算法 |
-
2019
- 2019-07-22 CN CN201910664636.9A patent/CN110378857B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015103867A (ja) * | 2013-11-21 | 2015-06-04 | 矢崎エナジーシステム株式会社 | 車載画像処理装置 |
| CN105844595A (zh) * | 2016-03-14 | 2016-08-10 | 天津工业大学 | 基于大气反射-散射原理构建模型复原夜间交通视频车灯的方法 |
| CN108734670A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 单幅夜间弱照度雾霾图像的复原算法 |
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
Non-Patent Citations (2)
| Title |
|---|
| 史珂 ; 郑鑫毅 ; 汤春明 ; 魏鑫 ; 张新新 ; 杜月新 ; 乐娟 ; .近红外图像增强与彩色化算法.科技与创新.2018,(第02期),全文. * |
| 汤春明 ; 董燕成 ; 孙欣 ; 林骏 ; 廉政 ; .单幅夜间弱照度雾霾图像的复原算法.计算机辅助设计与图形学学报.2018,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378857A (zh) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
| CN106530246B (zh) | 基于暗通道与非局部先验的图像去雾方法及系统 | |
| US10424054B2 (en) | Low-illumination image processing method and device | |
| KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
| CN101783012B (zh) | 一种基于暗原色的自动图像去雾方法 | |
| CN103914813B (zh) | 彩色雾霾图像去雾与光照补偿的复原方法 | |
| CN107977942B (zh) | 一种基于多聚焦融合的单幅图像的复原方法 | |
| CN102665034A (zh) | 一种针对摄像机采集视频的夜间效果去除方法 | |
| Park et al. | Single image haze removal with WLS-based edge-preserving smoothing filter | |
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN104599256A (zh) | 基于单幅图像的去除图像雨线的方法和系统 | |
| Halmaoui et al. | Contrast restoration of road images taken in foggy weather | |
| CN116823686A (zh) | 一种基于图像增强的夜间红外与可见光图像融合方法 | |
| CN110378857B (zh) | 一种用于移除夜间车载视频中挡风玻璃上反射层的方法 | |
| CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
| CN103208107A (zh) | 终端、图像的修复方法和装置 | |
| CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
| CN108629750A (zh) | 一种夜间去雾方法、终端设备及存储介质 | |
| CN106504216B (zh) | 基于变分模型的单幅图像去雾方法 | |
| KR101998027B1 (ko) | 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템 | |
| Wang et al. | A novel visibility restoration algorithm for single hazy images | |
| Lai et al. | Single image dehazing with optimal transmission map | |
| Tao et al. | Improved Retinex for low illumination image enhancement of nighttime traffic | |
| Guislain et al. | Detecting and correcting shadows in urban point clouds and image collections | |
| Kurihara et al. | Low-light image enhancement via adaptive shape and texture prior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231102 Address after: 6-2, No. 1, Chunhui South Road, Dadukou District, Chongqing 400000 Applicant after: CHONGQING YOUQING TECHNOLOGY CO.,LTD. Address before: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Applicant before: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd. Effective date of registration: 20231102 Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Applicant after: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd. Address before: 300387 Tianjin University of Technology, 399, Bingshui West Road, Xiqing, Tianjin Applicant before: TIANJIN POLYTECHNIC University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |