CN106651939A - 基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法 - Google Patents

Abstract

通过分析夜间复杂环境的光源成份，应用大气散射原理建立模型复原夜间交通视频多景深车灯，先根据光源对交通摄像机成像的贡献程度不同，重新定义夜间场景的环境光；然后估计模型的未知参量透射率、环境光和场景深度，得到只有车灯和少数强反射光斑的复原结果；再从复原结果中根据车灯的几何形状特征筛除非车灯光斑，最后提取到长距离景深中的车灯。实验数据表明，我们构建的模型能够有效地复原夜间交通视频中的多景深车灯，筛选方法能够有效地抑制环境光和路面反射光。

Description

基于大气散射原理构建模型检测夜间交通视频多景深车灯的 方法

技术领域

本方法涉及的是基于大气散射原理构建模型检测夜间交通视频多景深车灯的方法。首先分析夜间实际交通环境的光源成份及其作用，然后根据大气散射构建车灯复原模型，在重新定义环境光后，对模型中未知参量，如透射率、环境光以及场景景深等提出了新的估计方法，得到只含有车灯和少量路面反射光的复原结果，最后对复原结果按照景深距离分成远、中和近三个区域，按照车灯几何特征分别筛选以提高车灯检测率。

背景技术

据2016年5月的新闻报道，发生在夜间的交通事故要比白天高1.5倍，数据显示60％的重大交通死亡事故发生在夜间。因此，夜间交通视频智能监控算法的研究日益受到重视。由于夜间环境光照有限，车的外形轮廓、颜色等特征无法准确提取，而车前灯在行驶过程中的特征相对显著、稳定，因此它是夜间车辆检测的主要目标。由于远景处车前灯在视频中非常小，以及夜间环境光、车灯路面反射光等干扰的存在，导致目前算法的车灯检测率低，检测距离短。如何在延长检测距离的同时还能提高车灯检测率，是目前该领域研究的重点和难点。

由于视频远景处车辆密集，这部分区域的车前灯在周围光照影响下看起来模糊一片，很难提取单个车灯，所以现有算法只是对视频中、近景区域进行车灯检测及跟踪。基于机器学习检测车灯的方法，首先对图像的中、近景区域阈值分割再应用形态学去噪，然后利用离线学习的Adaboost分类器对候选光斑分类，以筛除非车灯光斑。这类方法需要大量的样本对模型训练，而且在利用形态学去噪时改变了车灯的形状，从而影响了下一步的筛选。基于物理模型检测车灯的方法，应用Bouguer光衰减模型和改进的LOG算法对视频图像处理，得到路面反射抑制图和反射增强图，然后通过马尔科夫随机场来检测车灯。这类方法只是对近景处车灯进行检测，对于车道线和车灯在路面的反射光抑制效果不理想，而且马尔科夫随机场的计算量较大。基于图像RGB的方法检测车灯，先通过求视频图像的RGB变异度来区分车灯和非车灯，然后计算它们的近似圆度来筛选非车灯。这类方法同样只是对近景处的车灯进行检测，当车灯的亮度值较暗或路面反射光的亮度值接近车灯时，容易造成漏检或误检，且文中也没有考虑到车灯粘连的情况。

针对以上问题，本方法应用大气散射原理重新构建模型，进一步延长夜间交通视频中车灯的检测距离：首先通过对夜间环境光成份的分析重新建模，然后对模型中的参数进行估计，复原出直射光源形成的光斑后，对复原结果进行再次筛选，最后实现远、中和近景处的车灯检测。相比于同类先进方法，本专利所提方法具有更高的检测率。

发明内容

本方法为了从夜间复杂的光照环境下提取到车灯，通过分析夜间环境的光源成份及其作用，根据大气反散射原理构建复原模型。主要内容有：模型构建，复原图像获取以及车灯筛选。

1、模型构建

夜间场景中的大气光(包括太阳光、天空光、地表反射光等)相比于其它光源的亮度，对摄像机成像的影响可以忽略不计。进入摄像机的光主要有车前灯和它在路面上的反射光，以及夜间场景中的环境光，如图1所示。其中环境光包括路灯、交通信号灯、广告牌灯和街牌装饰灯等，路面反射光主要是由车前灯投射到路面产生的。

McCartney所提出的大气散射物理模型，即公式(1)分为两部分：直接衰减模型和环境光模型，即公式(2)和(3)。

E(x)＝E_dt(x)+E_a(x) (1)

E_a(x)＝A_b(x)(1-t(x)) (3)

其中式(1)中的E(x)表示摄像机采集到的图像；式(2)中的I₀(x)是在理想情况下要复原的车灯，t(x)＝e^-β(λ)d(x)是图像的透射率，d(x)是夜间场景的景深；式(3)中A_b(x)是夜间场景的环境光。

当车灯功率较大，投射到路面的反射光E(x)_reflection接近甚至等于车灯亮度时，它会类似光源，同前灯一起被摄像机成像，因此将(1)式分解为(4)式。受车灯亮度和路面光滑程度等影响，E(x)_reflection的求解过程非常复杂，不能通过计算直接求出。

E(x)＝E_dt(x)+E_a(x)+E_reflection(x) (4)

由于车灯的颜色、功率各不相同，其在路面的反射光所表现的形式也不同。根据车灯反射光的亮度强弱分为强反射光和弱反射光。通过分析像素亮度值，知道弱反射光与环境光相似，而强反射光与车灯相似，会和车灯一起被复原，因此把式(2)中的理想车灯部分进一步拆分为车灯I₀(x)和强反射光I_r(x)，如式(5)。

根据光源对成像的贡献不同，将夜间场景中的所有光源分为直射光和环境光，所要提取的车前灯属于直射光源。这里把环境光E_a(x)重新分解为：背景环境光A_b(x)，即无车前灯的夜间场景；以及车灯区域环境光A_l(x)，包括车辆经过时路面的弱反射光、车灯在传播过程中的散射光等。为了表示A_b(x)和A_l(x)对成像的不同影响，引入ω₁、ω₂两个权值，将(3)改为(6)：

E_a(x)＝(ω₁A_b(x)+ω₂A_l(x))(1-t(x)) (6)

其中，ω₁A_b(x)+ω₂A_l(x)是夜间场景中所有环境光的总和。因为影响成像的主导光源是A_l(x)，令ω₁、ω₂分别取0.4和0.6。最终，构建的车灯复原模型如式(7)：

由于I_r(x)的像素亮度值与车灯很接近，因此通过式(7)所复原的结果中还含有I_r(x)，需要将其进一步筛除，使最终的提取结果只含有车灯光斑。

2、模型中未知的参量估计

夜间场景中的光源为点光源，本文认为悬浮在空气中的颗粒对点光源的散射主要为单次散射。因为复原目标是车灯I₀(x)，所以需要对式(7)中的未知参量t(x)、A(x)和d(x)进行估计。

a.透射率估计

透射率t(x)是入射光经过媒质折射后剩下的部分与入射光的比值。利用暗原色先验理论估计透射率，所得的结果中含有块效应，虽然引入了导向滤波来优化，但是会模糊车灯边缘，应用起来效果不理想；考虑到利用原始的灰度图像取反归一化之后的结果与暗原色先验理论求得的透射率有一定的相似性，如图2(a)(b)所示。而且不会产生块效应和模糊目标边缘，算法的运算速度有所提升，因此这里利用这种方法估计透射率。

在这里对估计结果具有相似性进行了推理证明：

设原灰度图像为I(x)，归一化后为I’(x)，即式(8)：

然后对I’(x)进行取反得到图像t(x)，即式(9)：

t(x)＝1-I′(x) (9)

根据环境光公式(3)，可以推导得到其中从形式上看这和式(8)、式(9)是一样的；从物理意义上分析，中A(x)对应的，是当无车驶过时间图像的最亮值，相当于式(8)中的max(I(x))，而也可以改写为的形式，由于夜间图像的最暗值接近于0，因此中的I”(x)也可看作是对E_a(x)进行了如式(8)的归一化处理。而利用暗原色先验原理估计得到的图像透射率为其中，C对应彩色图像的R、G、B三个通道，Ω(x)是图像的15x15局部区域，y是区域内的像素点，E^C(y)对应的是各通道图像，A^C是对应各通道中的环境光。

暗原色先验理论中也提到，事实上是对有雾图像的归一化，因此这一过程与(8)意义上相同，与式(9)都是对归一化后的图像进行取反。通过以上证明，认为利用灰度图像取反估计透射率，原理正确。

b.估计环境光A(x)

背景环境光A_b(x)是夜间场景固有的环境光，只受路灯、广告牌等因素的影响，一般情况下这些光源不会改变，是一常数，经过大量的视频测试和数据统计，A_b(x)取122。对于车灯区域环境光A_l(x)的求解，首先在图像上划定路面区域；然后在该区域用式(10)去除车灯和强反射光的影响，结果如图3所示。

其中是对车灯和强反射光处理之后的图像。

最后利用暗原色先验理论估计环境光的方法求得A_l(x)：先对图3求暗通道，然后对图中像素点的亮度值按从大到小顺序排列，取前0.5％最亮的像素点。

c.估计景深d(x)

夜间场景深度d(x)是指场景中各光源到摄像机的距离。对于同一场景不同景深的两个光源，在传播过程中由于衰减程度不同，对成像的贡献也不同。这里通过透射率公式t(x)＝e^-β(λ)d(x)，如式(11)推出d(x)：

其中β是总散射系数，λ为可见光的波长。

在可见光中，Rayleigh的大气散射定律证明了散射系数与可见光波长的关系满足：其中0≤γ≤4，它取决于大气中颗粒大小的分布情况。由于在给定的场景下，大气中的颗粒是均匀分布的，因此是β一固定值。因此，式(11)可改写为：

通过大量的实验数据统计和分析得出，当β＝10时，车灯的复原效果最佳。

3、复原图像

由公式(7)可以得到复原后的图像I(x)如公式(13)所示：

其中，I(x)＝I₀(x)+I_r(x)。为了避免分母为零加了t₀，令t₀＝0.01。把估计出来的参数t(x)、A(x)和d(x)代入式(13)中，就可以得到最终的复原结果，如图4所示。本文检测的最远距离是从当前拍摄位置到下一个红绿灯处，实际距离为350米，即红线以下的区域。

4、车灯筛选

从图4(b)中可以看出，通过模型复原得到的结果，能够去掉环境光并抑制了大量的路面反射光。由于一些大功率车灯在路面和车身上的反射光亮度接近于车灯，这些光也会被复原出来，需要进一步筛除。通过对视频的分析，我们利用车灯质心的纵坐标，把每一帧分为近景、中景和远景三部分，如图5所示。

(1)远景处如图5中ABCD所围成的区域。由于距离较远，加上其它光源的影响，车灯比较模糊，形状近似圆形。设置面积阈值Th1＝5，先去除车身的小反射光斑和一些噪声光斑，再通过圆形度M和长宽比H/W，去除细长的地面反射光和公交车牌灯光。满足M≤0.85或者M≥1.2，H＜3且W/H＞1.4和W＜3且H/W＞1.5，都被筛除。

(2)中景处如图5中CDEF所围成的区域。相比远景处车灯，该区域车灯和其反射光形状特征较明显，受其它光源影响较小。利用面积阈值Th2＝15去除车身的反射光斑，如果H/W＞1.8，认为是路面的长反射区，被筛除。

(3)近景处如图5中EFGH所围成的区域。因为这个区域的车灯形状很明显，不受其它光源的影响，只有少数的车身反射光和路面反射光干扰。先通过面积阈值Th3＝20去除车身的反射光斑，如果H/W＞2.5，认为是路面的长反射区，被筛除。

附图说明

图1光源基本组成框架示意图

图2不同方法得到的透射率(a)暗原色先验理论估计透射率的方法 (a)取反归一化估计透射率的方法

图3路面区域的环境光(a)路面区域的划定 (b)路面区域去车灯和强反射光处理

图4复原结果(a)原始视频 (b)本方法的复原结果

图5图像区域划分示意图

图6基于大气反射-散射模型的复原图像中交通视频车灯检测方法与本方法的复原结果在近景处对比

图7基于大气反射-散射模型的复原图像中交通视频车灯检测方法与本方法的复原结果在中、近景处对比(a)第1帧 (b)第121帧 (c)第241帧

图8基于大气反射-散射模型的复原图像中交通视频车灯检测方法与本方法的复原结果在远、中、近景处对比(a)第1帧 (b)第121帧 (c)第241帧

图9基于大气反射-散射模型的复原图像中交通视频车灯检测结果与本方法检测结果对比(a)第1帧 (b)第121帧 (c)第241帧

图10基于大气反射-散射模型的复原图像中车灯检测方法与本方法车灯统计对比

具体实施方式

本方法共测试了9段视频，分别为898、868、951、2428、1350、1500、2309、2308和1799帧，均由索尼HDR-550d摄像机在夜模式下拍摄。摄像机架设于天津某一过街天桥，拍摄角度与水平方向呈30o，帧率为25f/s，每帧图像大小为576x720，检测的是350米内的所有车辆。我们采用Jaccard系数评估算法性能，其中检测率E＝TP/(FP+TP+FN)，误检率FPR＝FP/(FP+TP+FN)，漏检率FNR＝FN/(FP+TP+FN)，这里TP表示正确检测数，FP表示错误检测数，FN表示漏检数。

由于基于大气反射-散射模型的复原图像中交通视频车灯检测结果已与Bouguer+LoG算法车灯检测结果作对比，比Bouguer+LoG算法好，因此我们在这里只与基于大气反射-散射模型的复原图像中交通视频车灯检测方法进行比较：具体是对模型复原结果以及筛选后的检测结果分别进行比较。衡量模型复原结果的优越性，一是要看它对视频中的环境光和部分车灯反射光的抑制效果；二是要评价算法的自适应性，即是否能够对不同景深中的车灯具有稳定的复原结果。图6～8是本方法与基于大气反射-散射模型的复原图像中交通视频车灯检测算法分别在各种景深中对车灯复原结果的对比。其中第1行是原始视频图像，第2行和第3行分别是基于大气反射-散射模型的复原图像中交通视频车灯检测算法与本算法对车灯的复原结果。由图6、7对比可知，基于大气反射-散射模型的复原图像中交通视频车灯检测方法的复原结果除了留下了大量的车灯反射光区以及车道线(如图中矩形框)之外，还存在着车灯丢失(如图中椭圆框)，以及车身的弱反射光及非车灯弱光源(如图中三角形框)。尤其在图8(f)中，基于大气反射-散射模型的复原图像中交通视频车灯检测算法的复原结果全白，是由于求取透射率时用到了取整。而我们所构建的模型，不仅能够很好地抑制车灯反射光和白色车道线，而且能够准确地保留车灯。

表1是与基于大气反射-散射模型的复原图像中交通视频车灯检测算法与本文的复原结果与进行统计对比，可以看出本文的复原结果要比基于大气反射-散射模型的复原图像中交通视频车灯检测算法好。

图9是本文与基于大气反射-散射模型的复原图像中交通视频车灯检测算法通过进一步筛选后的车灯检测结果对比。其中第1行是原始视频，第2行和第3行分别为基于大气反射-散射模型的复原图像中交通视频车灯检测算法和本专利的检测结果。基于大气反射-散射模型的复原图像中交通视频车灯检测算法的检测结果中，除了有车灯丢失的情况，还存在大量的车灯反射光，车灯的漏检数和误检数偏高。主要原因是基于大气反射-散射模型的复原图像中交通视频车灯检测算法提出的模型在中远处的车辆复原时效果不理想，且在筛选时对每一帧要重新调整6个阈值。我们构建的模型对环境光和车灯的反射光斑抑制效果比较好，自适应性强，所以车灯筛选时虽然所拍摄视频中远景处车灯受干扰因素多，但只需要对圆形度和长宽比这2个阈值在小范围内调整，就能够很好的保留车灯，去除非车灯光斑。

表1前灯提取结果对比

本方法对9段视频共计14492帧中的360辆车进行车灯检测结果统计，基于大气反射-散射模型的复原图像中交通视频车灯检测算法共丢失了1829帧，即单帧复原结果为零，而我们所提出的模型没有出现这种情况，且本文的平均检测率较之提高了31.39％，平均漏检率降低了20.93％，平均误检率降低了10.46％。通过绘制统计曲线与文献[5]在检测率、误检率和漏检率进行了对比，如图10所示。从中可以看出本文的最高检测率为93.51％，最低漏检率、误检率分别是0％和5.41％。

Claims (1)

1.一种基于大气散射原理构建复原模型，提取多景深的夜间交通视频车灯的方法，所述方法包括以下步骤：

A.模型构建

McCartney提出的大气散射物理模型，即公式(1)分为两部分：直接衰减模型和环境光模型，分别如公式(2)和(3)：

E(x)＝E(x)＝E_dt(x)+E_a(x) (1)

$E_{dt}\left(x\right)=\frac{I_0\left(x\right)t\left(x\right)}{d^2\left(x\right)}---\left(2\right)$

E_a(x)＝A_b(x)(1-t(x)) (3)

其中式(1)中的E(x)表示摄像机采集到的图像；式(2)中的I₀(x)是在理想情况下要复原的车灯，t(x)＝e^-β(λ)d(x)是图像的透射率，d(x)是夜间场景的景深；式(3)中A_b(x)是夜间场景的环境光；当车灯功率较大，投射到路面的反射光E(x)_reflection接近甚至等于车灯亮度时，它会类似光源，同前灯一起被摄像机成像，因此将(1)式分解为(4)式：

E(x)＝E_dt(x)+E_a(x)+e_reflection(x) (4)

根据车灯反射光的亮度强弱分为强反射光和弱反射光，弱反射光与环境光相似，而强反射光与车灯相似，会和车灯一起被复原，因此把式(2)中的理想车灯部分进一步拆分为车灯I₀(x)和强反射光I_x(x)，如式(5)所示：

$E_{dt}\left(x\right)=\frac{\left(I_0\right(x)+I_r(x\left)\right)t\left(x\right)}{d^2\left(x\right)}---\left(5\right)$

根据光源对成像的贡献不同，这里把环境光E_a(x)重新分解为：背景环境光A_b(x)，即无车前灯的夜间场景，以及车灯区域环境光A_l(x)，包括车辆经过时路面的弱反射光、车灯在传播过程中的散射光等；根据A_b(x)和A_l(x)对成像的不同影响，引入ω₁、ω₂两个权值，将(3)改为(6)：

E_a(x)＝(ω₁A_b(x)+ω₂A_l(x))(1-t(x)) (6)

最终，构建的车灯复原模型如式(7)：

$E\left(x\right)=\frac{\left(I_0\right(x)+I_r(x\left)\right)t\left(x\right)}{d^2\left(x\right)}+\left({\mathrm{\ω}}_1{A}_b\right(x)+{\mathrm{\ω}}_2{A}_l(x\left)\right)(1-t(x\left)\right)---\left(7\right)$

B.估计参量

公式(7)复原I₀(x)，需要对未知参量t(x)、A(x)和d(x)进行估计：首先利用原始图像归取反一化得到透射率t(x)，然后对环境光重新定义分为背景环境光A_b(x)和车灯区域环境光A_l(x)，对图像划定车灯区域后，再利用暗原色先验理论估计车灯区域环境光A_l(x)，然后根据透射率t(x)＝e^-β(λ)d(x)估计图像的景深参数d(x)；

①由于利用暗原色先验理论估计的透射率和对原图像取反归一化后的图像具有一定的相似，因此可以先对图像取反即式(8)，后再对取反后的图像归一化即式(9)，得到透射率图像t(x)：

$I^{\′}\left(x\right)=\frac{I\left(x\right)-min\left(I\right(x))}{\max \left(I\right(x))-\min \left(I\right(x))}---\left(8\right)$

t(x)＝1-I′(x) (9)

②对与车灯区域环境光A_l(x)，首先在图像上划定路面区域，然后在该区域用式(10)去除车灯和强反射光的影响，

$E_{road}^C\left(x\right)=min\left(E^C\right(x),255-E^C(x\left)\right)---\left(10\right)$

其中是对车灯和强反射光处理之后的图像；

最后利用暗原色先验理论估计得到车灯区域环境光A_l(x)：先对所得的结果求暗通道，然后对图中像素点的亮度值按从大到小顺序排列，取前0.5％最亮的像素点；

③由透射率公式t(x)＝e^-β(λ)d(x)，可以推出d(x)：

$d\left(x\right)=-\frac{ln\left(t\right(x),t_0)}{\mathrm{\β}\left(\mathrm{\λ}\right)}---\left(11\right)$

其中β是总散射系数，λ为可见光的波长；由于在给定的场景下，大气中的颗粒是均匀分布，因此认为β是一常数，所以可以根据式(12)估计夜间环境的景深：

$d\left(x\right)=-\frac{ln\left(t\right(x),t_0)}{\mathrm{\β}}---\left(12\right)$

C.复原图像

由公式(7)可以得到复原后的图像I(x)如公式(13)所示：

$I\left(x\right)=\frac{d^2\left(x\right)\left(E\right(x)-({\mathrm{\ω}}_1{A}_b\left(x\right)+{\mathrm{\ω}}_2{A}_l\left(x\right)\left)\right(1-t\left(x\right)\left)\right)}{max\left(t\right(x),t_0)}---\left(13\right)$

其中I(x)＝I₀(x)+I_r(x)，t₀为防止分母为零而设；

D.车灯筛选

通过模型复原得到的结果，能够去掉环境光并抑制了大量的路面反射光，由于一些大功率车灯在路面和车身上的反射光亮度接近于车灯，这些光也会被复原出来，需要进一步筛除；通过对视频的分析，可利用车灯质心的纵坐标，把每一帧图像分为近景、中景和远景三部分分别对非车灯光斑的筛选；

远景处区域，由于距离较远，加上其它光源的影响，车灯比较模糊，形状近似圆形；设置面积阈值Th1＝5，先去除车身的小反射光斑和一些噪声光斑，再通过圆形度M和长宽比H/W，去除细长的地面反射光和公交车牌灯光，满足M≤0.85或者M≥1.2，H＜3且W/H＞1.4和W＜3且H/W＞1.5，都被筛除；

中景处区域，相比远景处车灯，该区域车灯和其反射光形状特征较明显，受其它光源影响较小，利用面积阈值Th2＝15去除车身的反射光斑，如果H/W＞1.8，认为是路面的长反射区，被筛除；

近景处区域，因为这个区域的车灯形状很明显，不受其它光源的影响，只有少数的车身反射光和路面反射光干扰，先通过面积阈值Th3＝20去除车身的反射光斑，如果H/W＞2.5，认为是路面的长反射区，被筛除。