CN103630496B - 基于路面视亮度和最小二乘法的交通视频能见度检测方法 - Google Patents

Abstract

本发明公开了一种基于路面视亮度和最小二乘法的视频能见度检测方法，属于视频图像处理、能见度检测技术领域，本发明包括以下步骤：1）道路交通视频图像采集；2）对采集的图像进行PTZ摄像机标定，提取路面兴趣域ROI；3）提取ROI中亮度一致的像素点组成的路面区域，并计算路面视亮度值；4）结合Koschmieder理论和最小二乘法原理，建立视亮度差平方目标函数，求消光系数k的最优解；5）将消光系数k的最优解转换成图像的能见度距离V_met；6）画出能见度值随时间变化曲线，观测能见度情况并作出预判。经过实验论证，本发明能与目前常用的交通路况监控系统兼容，计算精度高、速度快、对噪声鲁棒性好，应用前景广泛。

Description

基于路面视亮度和最小二乘法的交通视频能见度检测方法

技术领域

本发明涉及视频图像处理、能见度检测技术领域，更具体地说，涉及一种基于路面视亮度和最小二乘法的交通视频能见度检测方法。

背景技术

雾、霾等恶劣天气是严重影响高速公路道路行车安全的因素，每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生。据有关研究报道，发生在特殊天气下的交通事故占总交通事故的24%左右。因此，及时、准确、有效地对恶劣天气道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵，动辄几十万，且无法密集布设，同时能见度监测仪采用大气对光的动态散射机理，取样空间有限，仅为米级，难以真实反映50m-200m的能见度。因此，急需在实时性、准确性、检测范围等方面寻求能够替代甚至超越能见度仪的检测方法。

近年来，基于视频处理的能见度检测方法因其速度快、成本低、自动化程度高等优点广受国内外学者的青睐。美国明尼苏达州大学的Taek Mu Kwon于2004年发表的《Atmosphericvisibility measurements using video cameras,Relative visibility》一文中提出了基于固定距离目标物的视频能见度检测方法，该方法需人工放置目标物，操作烦琐、成本高，且对检测路段的地形环境有较高要求。2005年美国麻省理工学院（MIT）的Hallowellrg在《Automated extractionof weather variables from camera imagery》一文中提出基于标志图像计算相对能见度的方法，通过与样本库中的能见度已知的图像作对比，得出待检测场景图像的相对能见度，该方法无需人工干预，较为方便，但难以应用于高速公路上的PTZ摄像机。Nicolas Hautiere在《MachineVision and Applications》上发表的《Automatic fog detection and estimation of visibility distancethrough use of an onboard camera》一文中提出了基于求取路面特征亮度曲线的二阶拐点来估算能见度值的方法，但该方法具有场景上的局限性，由于实际摄像机架设的角度，当前道路画面不一定能计算出二阶拐点。Babari R等人研究了场景的物理特性，在2011年发表的《Visibilitymonitoring using conventional roadside cameras:Shedding light on and solving a multi-nationalroad safety problem》的一文中用非线性数据回归的方式求解能见度，此方法需要对场景采集大量图像作为样本用于机器学习，工作量大。

国内方面，能见度检测领域已有多年研究，并已在崇启、沪宁等多条高速公路上投入使用。其中，李勃等在2009年的《计算机辅助设计与图形学学报》上发表的《无需人工标记的视频对比度道路能见度检测》一文及专利号为ZL201110028103.5等相关专利中提出了无需人工标记的基于视频图像对比度的检测方法（以下简称对比度法）；陈钊正等人在《仪器仪表学报》上发表的《基于小波变换的视频能见度检测算法研究与实现》一文中提出了基于小波变换的视频能见度检测方法（以下简称小波方法），采用小波变换提取图像边缘特征点，使提取的能见度值符合人眼的特征。上述两种方法在能见度检测方面均有一定技术进步，但这两种方法均需对像素点进行逐个计算，计算量较大，而且易受摄像机晃动等因素的影响，尤其是对比度法，对图像中出现的镜头污渍、车辆等图像噪声较为敏感，容易使检测结果发生突变影响能见度检测结果的准确性和稳定性。

发明内容

1.发明要解决的技术问题

本发明的目的在于克服现有技术中进行道路能见度检测时，使用传统的能见度仪价格昂贵，传统的检测方法又存在精度低、稳定性不高且时效性差的问题，提供了一种基于摄像机标定、视亮度计算和目标函数最优化的交通视频能见度检测方法，本发明主要用于采用PTZ摄像机的高速公路监测系统，首先对PTZ摄像机采集的视频图像进行处理，提取满足条件的路面区域，保证路面高度和亮度的一致性，排除周围噪声干扰，解决了传统方法稳定性差的问题，并且在计算能见度值时仅对满足条件的路面区域以图像行为单位进行计算，而非对整个图像的所有像素点逐一进行计算，提高了计算速度，更加适用于实时监测。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征是读取道路交通视频中路面的视亮度值并结合最小二乘法建立目标函数计算出能见度值V_met，包括以下步骤：

1）道路交通视频图像采集；

2）对步骤1）采集的一帧视频图像进行PTZ摄像机标定，检测车道分割线，提取视频图像中的路面兴趣域ROI；

3）在步骤2）提取的路面兴趣域ROI中采用特定区域增长准则，提取ROI中亮度一致的像素点组成的路面区域，并计算路面视亮度值；

4）结合Koschmieder理论和最小二乘法原理，建立视亮度差平方目标函数，求此目标函数取得最小值时消光系数k的最优解，所述的视亮度差平方目标函数为：

$\min Q(L_0,k)=\min \underset{i=1}{\overset{h}{\mathrm{\Σ}}}{[L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right)]}^2---\left(7\right);$

5）由雾天大气光学原理，将步骤4）获得的消光系数k的最优解转换成步骤1）采集的一帧图像的能见度距离V_met；

6）重复步骤2）到5）计算步骤1）采集图像的能见度距离V_met，并画出能见度值随时间变化的曲线，据此观测道路能见度情况并作出预判。

更进一步地，步骤1）所述的道路交通视频图像采集具体要求为：使用高速公路外场路测PTZ摄像机进行视频图像采集，采集的视频图像需满足图像最底端一行像素区域显示离摄像机的距离不超过20米，图像最顶端一行像素区域显示离摄像机的距离大于200米；采集视频图像时，每隔10分钟截取一帧图像，连续截取15～30帧图像。

更进一步地，步骤2）所述提取视频图像路面兴趣域ROI的具体操作步骤为：

a、对步骤1）采集的一帧视频图像进行PTZ摄像机标定，建立PTZ摄像机成像模型，得出路面坐标系、摄像机坐标系与成像平面间的变换关系，计算视频图像中路面区域与摄像机的距离；其中，PTZ摄像机成像模型包括3个坐标系：

路面坐标系（X_w,Y_w,Z_w），摄像机坐标系（X_i,Y_i,Z_i）以及像平面坐标系（u,v），路面坐标系原点O_w为摄像机光轴与路面的交点；X_w轴正向水平指向路面右侧，Y_w轴正向沿路面方向指向前方，Z_w轴正向垂直于路面向上；摄像机坐标系原点O为摄像机光心位置，Z_i轴为摄像机光轴位置，X_i-Y_i平面平行于像平面；（u,v）分别对应像平面的横坐标和纵坐标，习惯将图像像素位置以行和列表达，因此，u又称为图像列坐标，v称为图像行坐标；

路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系为：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\θ}& -\cos \mathrm{\θ}& H\cos \mathrm{\θ}\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}& H\sin \mathrm{\θ}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_i}\left(\begin{array}{cccc}-f& 0& 0& 0\\ 0& -f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)---\left(2\right)$

其中，θ为摄像机光轴与路面夹角，H为摄像机光心距路面的垂直距离，f为镜头有效焦距；

根据上述路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系，推算出实际路面上一点到摄像机坐标系的垂直距离d_i与该点在像平面坐标系上对应像素点的坐标(u,v)的对应关系：

$d_i=\left\{\begin{array}{cc}\frac{\mathrm{\λ}}{(v_i-v_h)},& v_i>v_h\\ \∞,& v_i\≤v_h\end{array}\right.,\mathrm{\λ}=\frac{\mathrm{Hf}}{{\cos }^2\mathrm{\θ}}---\left(3\right)$

其中，v_i为路面上一点在像平面坐标系中的行坐标，v_h为灭点在像平面坐标系中的行坐标，所述的灭点表示视频图像中车道分割线与无限远处交汇的点；

b、采用抛物线拟合视频图像中路面车道分割线，通过随机霍夫变换检测车道分割线在图像中的投影，车道分割线间的区域即为当前图像的路面兴趣域ROI。

更进一步地，步骤3）所述计算路面视亮度值的具体操作为：

A、设置步骤2）获得的路面兴趣域ROI中最下面一行为种子区域，计算种子区域的灰度中值，记为median(p_s)；选择像素点(u,v)的亮度值p(u,v)与该像素点上一行3邻域内像素点的亮度值之差作为判别阈值若像素点的亮度值p(u,v)与种子区域的灰度中值之间满足下式所示约束关系，则认为所述像素点是与种子区域亮度一致的路面上的点：

$p(u,v)-\mathrm{median}\left(p_s\right)\&le;{\mathrm{\&rho;n}}_r\min G_{\max }^{\mathrm{\&alpha;}},(\mathrm{\&rho;}<1,\mathrm{\&alpha;}=-\mathrm{1,0,1})---\left(4\right)$

式中，n_r表示待判断像素点与初始种子区域中值点相隔的行数，即两点在像平面坐标系中的纵坐标之差；

依照自下而上、从左至右原则逐行扫描，对扫描的像素点根据上述特定区域增长准则判断亮度一致性，提取ROI中亮度一致的像素点组成的路面区域；

B、获得所述亮度一致的像素点组成的路面区域后，计算该路面区域内第v行中的连续像素点集，所述的连续像素点集是指满足像素点亮度连续性的像素点集，选取包含像素点数量最多的连续像素点集P_max(u,v)，记P_max(u,v)包含的像素点数量为len(v)，并计算该连续像素点集的亮度中值，此亮度中值即作为第v行的路面视亮度值；将第v_i行的路面视亮度值记为L(v_i)，则L(v_i)＝median(P_max(v_i))  （5）；

更进一步地，步骤4）所述获得消光系数k的最优解的过程为：

根据Koschmieder理论得视频图像显示的路面上第v_i行到摄像机坐标系的垂直距离d_i与视频图像中实际路面视亮度值L(d_i)的关系式：

$L\left(d_i\right)=L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})---\left(6\right)$

式中，k为大气消光系数，L₀为路面固有亮度，L_f为天空背景亮度；

根据最小二乘法原理，建立目标函数如下：

$\min Q(L_0,k)=\min \underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{[L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right)]}^2---\left(7\right)$

利用所述目标函数分别对L₀和k求偏导得：

$\begin{array}{c}\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}[L\left(d_i\right)e^{-{\mathrm{kd}}_i}-L_f(e^{-{\mathrm{kd}}_i}-e^{-2{\mathrm{kd}}_i})]\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i{e}^{-2{\mathrm{kd}}_i}=\\ \underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}L\left(d_i\right)d_i{e}^{-{\mathrm{kd}}_i}\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{e}^{-2{\mathrm{kd}}_i}-L_f\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i(e^{-{\mathrm{kd}}_i}-e^{-2k{d}_i})\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{e}^{-2{\mathrm{kd}}_i}\end{array}---\left(12\right)$

式中，h为视频图像像素总行数，d_i可由式（3）计算得出；L_f为天空背景亮度，取车道分割线与无限远处交汇点的视亮度值；L(d_i)由式（5）路面视亮度值通过式（3）的距离转换得出；只有k是未知数，解方程得到k。

更进一步地，步骤5）所述能见度距离V_met与消光系数k之间的转换关系为：

$V_{\mathrm{met}}=-\frac{1}{k}\ln \left(\frac{C_d}{C_0}\right)=-\frac{1}{k}\ln \left(0.05\right)\&ap;\frac{3}{k}---\left(13\right)$

式中，C_d表示实际亮度对比度，即路面实际亮度L(d_i)与背景亮度L_f之差的绝对值与背景亮度L_f的比值，C₀表示固有亮度对比度，即路面固有亮度L₀与背景亮度L_f之差的绝对值与背景亮度L_f的比值。

3.有益效果

采用本发明提供的技术方案，与已有的技术相比，具有如下显著效果：

（1）本发明的基于路面视亮度和最小二乘法的交通视频能见度检测方法，采用PTZ摄像机采集道路交通视频图像，利用视频图像处理手段计算雾天的能见度值；无需设置任何人工标志物，充分利用了公路上已经布设的路况摄像机，无附加成本，监测直观，处理及时，具有重要的社会经济效益，与能见度仪和以往的检测方法对比，具有明显优势；

（2）本发明的基于路面视亮度和最小二乘法的交通视频能见度检测方法，提取满足条件的路面区域进行逐行计算，避免了对比度法和小波方法需对像素点进行逐个计算，计算量大，而且易受摄像机晃动等因素的影响，准确性和稳定性差的问题，排除了周围噪声干扰，计算速度快，准确率高，稳定性好，适用于实时监测；

（3）本发明的基于路面视亮度和最小二乘法的交通视频能见度检测方法，在现有路况监控系统之上，采用监控系统的通信链路和相关设备进行能见度检测所需的视频采集和结果的发布，并已在沪宁、宁连、宁常等路段试用。对高速沿路分布的监控视频逐一进行能见度检测，进而开展全路段的能见度统计分析，反馈给运管部门，实时发布路况能见度信息，给出相应路段的车辆限速，以及路由迂回等信息，具有广阔的应用前景和推广价值。

附图说明

图1为本发明中建立的PTZ摄像机成像模型示意图；

图2为本发明中提取出的车道分割线示意图；

图3为本发明中执行特定区域增长准则所选取的种子点上3邻域示意图；

图4中的（a）为本发明中采集的雾天交通视频原图，图4中的（b）为雾天交通视频原图对应的区域增长效果图；

图5为本发明中计算路面视亮度值时所选取的目标行最长连续像素点集示意图；

图6为本发明中得出的路面视亮度-距离特征曲线；

图7为本发明的基于路面视亮度和最小二乘法的交通视频能见度检测方法流程图；

图8中的（a）～（p）为本发明不同时段采集的雾天视频图像；

图9为本发明与采用能见度仪、小波方法、对比度法检测得到的能见度距离对比曲线；

图10为本发明与小波方法、对比度法相对于能见度仪检测得到的能见度距离的误差曲线图；

图11为本发明图8中的（p）显示的雾天交通图像对应的Q-k曲线；

图12为本发明不同时段采集的雾天视频图像对应的路面固有亮度L₀值的波动情况。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合附图，本实施例的基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征是读取道路交通视频中路面的视亮度值并结合最小二乘法建立目标函数计算出能见度值V_met，包括以下步骤：

1）道路交通视频图像采集：使用高速公路外场路测PTZ摄像机进行雾天视频图像采集，由于能见度低于20米时，高速公路会封路；超过200米时视野良好无需监测，所以一般较为关注的是20～200米之间的能见度距离，因此，采集的视频图像需满足图像最底端一行像素区域显示离摄像机的距离不超过20米，图像最顶端一行像素区域显示离摄像机的距离大于200米。采集视频图像时，每隔10分钟截取一帧图像，连续截取15～30帧图像。

2）对步骤1）采集的一帧视频图像进行PTZ摄像机标定，检测车道分割线，提取视频图像中的路面兴趣域ROI。具体操作步骤为：

a、对步骤1）采集的一帧视频图像进行PTZ摄像机标定，建立PTZ摄像机成像模型（参见图1），得出路面坐标系、摄像机坐标系与成像平面间的变换关系，计算视频图像中路面区域与摄像机的距离。其中，PTZ摄像机成像模型包括3个坐标系：

路面坐标系（X_w,Y_w,Z_w），摄像机坐标系（X_i,Y_i,Z_i）以及像平面坐标系（u,v），路面坐标系原点O_w为摄像机光轴与路面的交点；X_w轴正向水平指向路面右侧，Y_w轴正向沿路面方向指向前方，Z_w轴正向垂直于路面向上；摄像机坐标系原点O为摄像机光心位置，Z_i轴为摄像机光轴位置，X_i-Y_i平面平行于像平面；（u,v）分别对应像平面的横坐标和纵坐标，习惯将图像像素位置以行和列表达，因此，u又称为图像列坐标，v称为图像行坐标。

路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系为：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\&theta;}& -\cos \mathrm{\&theta;}& H\cos \mathrm{\&theta;}\\ 0& \cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& H\sin \mathrm{\&theta;}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_i}\left(\begin{array}{cccc}-f& 0& 0& 0\\ 0& -f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)---\left(2\right)$

其中，θ为摄像机光轴与路面夹角，H为摄像机光心距路面的垂直距离，f为镜头有效焦距。

根据上述路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系，推算出实际路面上一点到摄像机坐标系的垂直距离d_i与该点在像平面坐标系上对应像素点的坐标(u,v)的对应关系：

$d_i=\left\{\begin{array}{cc}\frac{\mathrm{\&lambda;}}{(v_i-v_h)},& v_i>v_h\\ \&infin;,& v_i\&le;v_h\end{array}\right.,\mathrm{\&lambda;}=\frac{\mathrm{Hf}}{{\cos }^2\mathrm{\&theta;}}---\left(3\right)$

其中，v_i为路面上一点在像平面坐标系中的行坐标，v_h为灭点在像平面坐标系中的行坐标，所述的灭点表示视频图像中车道分割线与无限远处交汇的点。

对于式中的λ，只需在视频图像中找到一条清晰的车道分割线，车道分割线头端到摄像机坐标系的距离为d₂，车道分割线尾端到摄像机坐标系的距离为d₁，由于实际高速公路的车道分割线有固定长度6m，且车道线到摄像机距离较远因此近似认为d₂-d₁=6，并读出该车道分割线头尾的行坐标v₁、v₂，代入式（3）可以计算得到：

$\mathrm{\&lambda;}=\frac{d_2-d_1}{\frac{1}{v_2-v_h}-\frac{1}{v_1-v_h}}=\frac{6}{\frac{1}{v_2-v_h}-\frac{1}{v_1-v_h}}---\left(14\right)$

b、在路面成像过程中，由于真实三维空间和图像二维空间转换的关系，容易丢失物体高度信息，如路侧路基、建筑成像可能在地平线之上等，这将导致提取到的图像特征点难以通过摄像机标定转换为具体的能见度值。为了避免这种情况，本实施例采用抛物线拟合路面车道分割线，通过随机霍夫变换检测车道分割线在图像中的投影，如图2所示，车道分割线间的区域即为当前图像的路面兴趣域ROI。

3）在步骤2）提取的路面兴趣域ROI中采用特定区域增长准则，提取ROI中亮度一致的像素点组成的路面区域，并计算路面视亮度值。具体操作为：

A、为了排除路侧树木、路基等干扰，使得提取出的路面区域亮度具有一致性，避免像素点亮度的突变，本发明实施例采用了特定区域增长准则，由于处理视频图像时采取从下至上逐行、从左至右逐点的顺序，因此设置步骤2）获得的路面兴趣域ROI中最下面一行为种子区域，计算种子区域的灰度中值，记为median(p_s)，种子区域的灰度中值对应的像素点即为种子点。令种子区域的上一行像素点为目标区域，逐行向上处理图像，选择像素点(u,v)的亮度值p(u,v)与该像素点上一行3邻域内像素点的亮度值之差作为判别阈值如图3所示，若像素点的亮度值p(u,v)与种子区域的灰度中值之间满足下式所示约束关系，则认为所述像素点是与种子区域亮度一致的路面上的点：

$p(u,v)-\mathrm{median}\left(p_s\right)\&le;{\mathrm{\&rho;n}}_r\min G_{\max }^{\mathrm{\&alpha;}},(\mathrm{\&rho;}<1,\mathrm{\&alpha;}=-\mathrm{1,0,1})---\left(4\right)$

式中，n_r表示待判断像素点与初始种子区域中值点相隔的行数，即两点在像平面坐标系中的纵坐标之差。α取-1、0、1分别表征目标像素点左上方邻域像素(u-1,v-1)、正上方邻域像素(u,v-1)、右上方邻域像素(u+1,v-1)，ρ为小于1的常数，ρ越小约束越紧，ρ越接近1约束越松。

由于灰度图像的亮度范围是0～255，假设图像相邻两行的亮度阈值是8，若不加上述约束条件，32行之后白色的点和黑色的点就会同时被当成与路面亮度一致的点而被加到路面区域中，这样是不符合实际的。

依照自下而上、从左至右原则逐行扫描，获得满足亮度一致性的像素点后，采用Nagao中值滤波滤除由于路基、绿化带、车辆等所导致的路面噪点，将满足高度、亮度一致性的像素点加入到路面区域中，得到精确增长出的ROI中亮度一致的像素点组成的路面区域。图4中的（a）为本实施例步骤1）采集的雾天交通视频原图，该图的区域增长效果图参见图4中的（b）。

B、获得所述亮度一致的像素点组成的路面区域后，该路面区域去除了行驶车辆、中间绿化带、树木阴影、车道分割线等的影响。但是，对于该路面区域的每一行，亮度值会出现不连续的情况。因此，不能直接取每行路面中点的亮度值作为该行路面的视亮度值。本实施例先计算该路面区域内第v行中的连续像素点集，所述的连续像素点集是指满足像素点亮度连续性的像素点集，选取包含像素点数量最多的连续像素点集P_max(u,v)，记P_max(u,v)包含的像素点数量为len(v)，并计算该连续像素点集的亮度中值，此亮度中值即作为第v行的路面视亮度值，如图5所示。将第v_i行的路面视亮度值记为L(v_i)，则

L(v_i)＝median(P_max(v_i))  （5）。

图5是对图4中的（a）所示雾天交通视频图像经过分割去噪后提取出的路面区域，按照上述原则，对整幅图像以行为单位，计算第vi行对应的视亮度特征L(v_i)，并画出路面亮度-距离特征曲线L(v)-v，如图6所示，随着距离的变化，路面亮度变化是缓慢且连续的。进而通过式（3）进行实际距离与图像坐标的转换，也即得出路面视亮度值与实际距离L(d_i)-d_i的亮度真值曲线。

4）结合Koschmieder理论和最小二乘法原理，建立视亮度差平方目标函数，求此目标函数取得最小值时消光系数k的最优解：

光在介质中传播时，在其传播路径上能量不断地损耗。根据Koschmieder理论，令k表示大气消光系数，某一固定亮度的物体在距离人眼距离为d_i处的视亮度L(d_i)与物体本身亮度L₀及背景亮度L_f关系如下式：

$L\left(d_i\right)=L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})---\left(6\right)$

对给定的数据(x_i,y_i)，i=0,1,2,…,n，在取定的函数类Φ中，求p(x)∈Φ，使得误差δ_i＝|p(x_i)-y_i|,i=0,1,2,…,n，的平方和最小，即

$\min \underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_i^2=\min \underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{(p\left(x_i\right)-y_i)}^2---\left(15\right)$

则函数p(x)为最小二乘解，求p(x)的方法称为最小二乘逼近。

对离散数据点进行最小二乘逼近求解一般分为线性最小二乘逼近和非线性最小二乘逼近。线性最小二乘逼近形如f(x)=a₁r₁(x)+a₂r₂(x)+…+a_mr_m(x)，其中a₁,a₂,…,a_m为待定系数。非线性最小二乘逼近形式多样，一般考虑先将其线性化，比如y=ae^bx可化为lny=bx+lna。

根据最小二乘准则，确定a₁,a₂,…,a_m的准则使n个点(x_i,y_i)与曲线y=f(x)的距离δ_i的平方和最小。

记作：

$J(a_1,a_2,L,a_m)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_i^2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left[f(x_i-y_i)\right]}^2=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{[\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{a}_k{r}_k\left(x_i\right)-y_i]}^2---\left(16\right)$

问题归结为，求a₁,a₂,…,a_m使J(a₁,a₂,…,a_m)最小。将J(a₁,a₂,…,a_m)看作是a₁,a₂,…,a_m的m元函数，最小二乘问题就是这个m元函数的最小值问题。

由极值的必要条件：

$\frac{\&PartialD;J}{{\&PartialD;a}_i}=0,i=\mathrm{1,2},L,m---\left(17\right)$

得：

R^TRa＝R^Ty

其中， $\left[\begin{array}{cc}{r}_1\left(x_1\right)L& r_m\left(x_1\right)\\ M& M\\ r_1\left(x_n\right)L& r_m\left(x_n\right)\end{array}\right],a=\left[\begin{array}{c}{a}_1\\ M\\ a_m\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ M\\ y_n\end{array}\right]---\left(18\right)$

解此方程组便可得到拟合系数a₁,a₂,…,a_m。

结合上述Koschmieder理论和最小二乘法原理，假设取不同的k和L₀值（0<k<1，0<L₀<255）代入式（6）计算视频图像每行对应的视亮度，便能得到许多条对应不同(k,L₀)的L(d_i)-d_i曲线，若将此曲线与亮度真值曲线拟合，根据最小二乘法原理，当两条曲线无限接近时，则此时的(k,L₀)即目标图像实际对应的消光系数和固有亮度。因此，本实施例以假设曲线与真实目标曲线的差平方建立目标函数，根据最小二乘法逼近原理，计算目标函数Q(k,L₀)取得最小值时(k,L₀)的最优解。

结合式（6）和式（15）建立目标函数：

$\min Q(L_0,k)=\min \underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{[L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right)]}^2---\left(7\right)$

目标函数对L₀求偏导，有：

$\frac{\&PartialD;Q(L_0,k)}{{\&PartialD;L}_0}=\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}2[L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right)]e^{-{\mathrm{kd}}_i}---\left(8\right)$

根据极值条件，式(8)=0，化简得：

$L_0=\frac{\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}[L\left(d_i\right)e^{-k{d}_i}-L_f(e^{-k{d}_i}-e^{-2{\mathrm{kd}}_i})]}{\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{e}^{-2k{d}_i}}---\left(9\right)$

由式（9）可以得出L₀和k之间的关系，随后将目标函数对k求偏导：

$\frac{\&PartialD;Q(L_0,k)}{\&PartialD;k}\underset{i=1}{\mathrm{\&Sigma;}}2[L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right)](L_f-L_0)d_i{e}^{-{\mathrm{kd}}_i}---\left(10\right)$

同样的，据最优解处条件有式（10）=0，并据一般情况L_f≠L₀，化简得：

$L_0\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i{e}^{-2{\mathrm{kd}}_i}+L_f\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i{e}^{-{\mathrm{kd}}_i}(1-e^{-{\mathrm{kd}}_i})=\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}L\left(d_i\right)d_i{e}^{-{\mathrm{kd}}_i}---\left(11\right)$

将式（9）代入式（11），经过整理得：

$\begin{array}{c}\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}[L\left(d_i\right)e^{-{\mathrm{kd}}_i}-L_f(e^{-{\mathrm{kd}}_i}-e^{-2{\mathrm{kd}}_i})]\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i{e}^{-2{\mathrm{kd}}_i}=\\ \underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}L\left(d_i\right)d_i{e}^{-{\mathrm{kd}}_i}\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{e}^{-2{\mathrm{kd}}_i}-L_f\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{d}_i(e^{-{\mathrm{kd}}_i}-e^{-2k{d}_i})\&CenterDot;\underset{i=1}{\overset{h}{\mathrm{\&Sigma;}}}{e}^{-2{\mathrm{kd}}_i}\end{array}---\left(12\right)$

式中，h为视频图像像素总行数，d_i为路面上第v_i行到摄像机坐标系的垂直距离，可由式（3）计算得出；L_f为天空背景亮度，取车道分割线与无限远处交汇点的视亮度值；L(d_i)为直接从视频图像中得到的实际路面视亮度值，作为目标真值，L(d_i)由式（5）路面视亮度值通过式（3）的距离转换得出；k为消光系数，只有k是未知数，解方程得到k。并根据式（9）求得路面固有亮度L₀的值。

此处值得说明的是，实际求解k的过程中，由于k可能是实数或虚数，计算机并不能“智能”地直接给出k的解，因此需对k设定一个初值，并给定一个k的取值范围，从初值附近找到k的实数近似解。k的初值一般取0.015（对应能见度分水岭200米），以0.0001为间隔向上、向下取值，最小取到0.0015（对应能见度1000米，路况很好无需监测），最大取到0.15（对应能见度20米，禁止通行）。本实施例基于路面视亮度和最小二乘法的交通视频能见度检测方法具体流程如图7所示。

5）由雾天大气光学原理，将步骤4）获得的消光系数k的最优解转换成步骤1）采集的一帧图像的能见度距离V_met。

根据CIE（国际照明委员会）的定义，目标物相对于背景对比度大于0.05的像素点，人眼才能够区分出来，用C_d表示实际亮度对比度，即路面实际亮度L(d_i)与背景亮度L_f之差的绝对值与背景亮度L_f的比值，C₀表示固有亮度对比度，即路面固有亮度L₀与背景亮度L_f之差的绝对值与背景亮度L_f的比值，当C_d=0.05时，对于临界位置处的黑色目标物（C₀=1），代入式（6）可以推算出此时的d_i也即对应的大气能见距离V_met为：

$V_{\mathrm{met}}=-\frac{1}{k}\ln \left(\frac{C_d}{C_0}\right)=-\frac{1}{k}\ln \left(0.05\right)\&ap;\frac{3}{k}---\left(13\right)$

至此计算出一帧图像对应的能见度值。

6）重复步骤2）到5）计算步骤1）采集图像的能见度距离V_met，并画出能见度值随时间变化的曲线，据此观测道路能见度变化情况并作出预判。

选择典型雾天天气情况，从8:03-10:33每10min截取一帧图像，如图8中的（a）～（p）所示的16帧图像，以此作为测试序列，分别将本发明测试结果与能见度仪测值、基于小波变换的视频能见度检测方法、基于视频图像对比度的检测方法测试结果进行对比，考察性能优劣。其中，用于测量真值的仪器是芬兰VAISALA公司生产的PWD22前向散射能见度计，精确度为±1.5%。

对于不同时刻的测试图像，图8中标注出了应用本实施例得出的相应能见度值。不难发现，该结果与人眼观测数值十分吻合。为了更加客观，图9同时给出了能见度仪测值、小波方法、对比度法和本实施例的计算结果。

从统计结果中可以看出，小波方法在雾浓度较低时检测结果偏大，且易受到摄像机晃动等因素影响；对比度法对图像中出现的镜头污渍、车辆等噪声较为敏感，容易发生跳变；而本实施例先从整个图像进行处理和提取路面兴趣域，不易受噪声影响，有较好的鲁棒性。由图可见，本实施例结果在大部分数值上与真值近乎一致，只有少部分数值略有偏差，同时经观察，本实施例能更好地反映相邻两个能见度值之间的变化，与真值变化趋势完全一致，这一特点也为将来应用本实施例进行雾霾消散情况的预测提供了支持。

图10为本实施例及其他方法相对于能见度仪测量值的误差曲线图，表1给出了三种方法的平均误差和准确率。由数据得出，本实施例误差均在10m以内，平均误差只有5m左右，这样微小的误差在高速公路实际应用中是可以忽略的。通过客观数值准确率的对比，显见本实施例的方法精确度更高。

表1准确率比较表

	小波方法	对比度法	本发明
				平均误差(m)	11.8750	14.8125	5.1256
准确率(％)	97.94	85.1	94.8

跟据本实施例的阐述，能见度检测问题归结为求目标函数极小值的问题。为此，以图8中的（p）显示的雾天交通图像为例，从0～0.2之间以0.001取不同的消光系数k值代入式（7）计算Q，得到如图11所示曲线，可见Q为凸函数，有且仅有一个极小值，符合本实施例的阐述。

再者，由消光系数k值可以据式（9）反推出路面固有亮度L₀的值，图12本实施例不同时段采集的雾天视频图像对应的路面固有亮度L₀值的波动情况。路面固有亮度是根据CIE相应测试标准得出的一个路面固有特征，针对一个固定的场景，L₀是一个定值。由图12可见，同一段道路在不同时刻下计算得出的固有亮度值L₀基本维持稳定，均值为85.5，符合上述标准，说明本实施例具有较好的稳定性。

表2给出了本实施例和其他两种方法在测试环境下的计算速率及资源利用率。小波方法和对比度法是逐点进行处理，而本实施例则是以行为单位进行计算，并采用了最小二乘法进行逼近求解，减小了计算开销。

表2计算速率比较表

	小波方法	对比度法	本发明
				计算时间(秒)	1.7429	2.2648	0.7139
CPU利用(％)	36	40	25

本实施例充分利用了路况PTZ摄像机的视频图像，无需设置任何人工标志物，无附加成本；提取满足条件的路面区域进行逐行计算，具有较快的计算速度，适用于实时监测。经过测试论证，由于结合了最小二乘法的原理，检测准确率高，且不易受到周围噪声干扰，稳定性好。另外，本实施例的方法在现有路况监控系统之上，采用监控系统的通信链路和相关设备进行能见度检测所需的视频采集和结果的发布，并已在沪宁、宁连、宁常等路段试用。对高速沿路分布的监控视频逐一进行能见度检测，进而开展全路段的能见度统计分析，反馈给运管部门，实时发布路况能见度信息，给出相应路段的车辆限速，以及路由迂回等信息，还能够完全准确地反映能见度值变化的趋势，这一特点为进行雾霾消长情况的预测提供了支持，具有广泛的应用前景。

Claims (4)

1.基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征是读取道路交通视频中路面的视亮度值并结合最小二乘法建立目标函数计算出能见度值V_met，包括以下步骤：

1)道路交通视频图像采集；

2)对步骤1)采集的一帧视频图像进行PTZ摄像机标定，采用抛物线拟合视频图像中路面车道分割线，通过随机霍夫变换检测车道分割线，提取车道分割线间的路面区域作为兴趣域ROI；

3)在步骤2)提取的路面兴趣域ROI中采用式(4)的特定区域增长准则，提取ROI中亮度一致的像素点组成的路面区域，并计算路面视亮度值；具体操作为：

A、设置步骤2)获得的路面兴趣域ROI中最下面一行为种子区域，计算种子区域的灰度中值，记为median(p_s)；选择像素点(u,v)的亮度值p(u,v)与该像素点上一行3邻域内像素点的亮度值之差作为判别阈值若像素点的亮度值p(u,v)与种子区域的灰度中值之间满足下式所示约束关系，则认为所述像素点是与种子区域亮度一致的路面上的点：

$p(u,v)-median\left(p_s\right)\&le;{\mathrm{\&rho;n}}_r{\mathrm{minG}}_{max}^{\mathrm{\&alpha;}},$ 其中，ρ<1,α＝-1,0,1   (4)

式中，n_r表示待判断像素点与初始种子区域中值点相隔的行数，即两点在像平面坐标系中的纵坐标之差；

依照自下而上、从左至右原则逐行扫描，对扫描的像素点根据上述特定区域增长准则判断亮度一致性，获得亮度一致性的像素点后，采用Nagao中值滤波将满足高度、亮度一致性的像素点加入到路面区域中，提取ROI中亮度一致的像素点组成的路面区域；

B、获得所述亮度一致的像素点组成的路面区域后，计算该路面区域内第v行中的连续像素点集，所述的连续像素点集是指满足像素点亮度连续性的像素点集，选取包含像素点数量最多的连续像素点集P_max(u,v)，记P_max(u,v)包含的像素点数量为len(v)，并计算该连续像素点集的亮度中值，此亮度中值即作为第v行的路面视亮度值；将第v_i行的路面视亮度值记为L(v_i)，则L(v_i)＝median(P_max(v_i))   (5)；

4)结合Koschmieder理论和最小二乘法原理，建立视亮度差平方目标函数，求此目标函数取得最小值时消光系数k的最优解，获得消光系数k的最优解的过程为：

根据Koschmieder理论得视频图像显示的路面上第v_i行到摄像机坐标系的垂直距离d_i与视频图像中实际路面视亮度值L(d_i)的关系式：

$L\left(d_i\right)=L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})---\left(6\right)$

式中，k为大气消光系数，L₀为路面固有亮度，L_f为天空背景亮度；

根据最小二乘法原理，建立目标函数如下：

$\min Q(L_0,k)=min\underset{i=1}{\overset{h}{\&Sigma;}}\&lsqb;L_0{e}^{-{\mathrm{kd}}_i}+L_f(1-e^{-{\mathrm{kd}}_i})-L\left(d_i\right){\&rsqb;}^2---\left(7\right)$

利用所述目标函数分别对L₀和k求偏导得：

$\begin{array}{c}\underset{i=1}{\overset{h}{\&Sigma;}}\&lsqb;L\left(d_i\right)e^{-{\mathrm{kd}}_i}-L_f(e^{-{\mathrm{kd}}_i}-e^{-2{\mathrm{kd}}_i})\&rsqb;\&CenterDot;\underset{i=1}{\overset{h}{\&Sigma;}}{d}_i{e}^{-2{\mathrm{kd}}_i}=\\ \underset{i=1}{\overset{h}{\&Sigma;}}L\left(d_i\right)d_i{e}^{-{\mathrm{kd}}_i}\&CenterDot;\underset{i=1}{\overset{h}{\&Sigma;}}{e}^{-2{\mathrm{kd}}_i}-L_f\underset{i=1}{\overset{h}{\&Sigma;}}{d}_i(e^{-{\mathrm{kd}}_i}-e^{-2{\mathrm{kd}}_i})\&CenterDot;\underset{i=1}{\overset{h}{\&Sigma;}}{e}^{-2{\mathrm{kd}}_i}\end{array}---\left(12\right)$

式中，h为视频图像像素总行数，L_f为天空背景亮度，取车道分割线与无限远处交汇点的视亮度值；

5)由雾天大气光学原理，将步骤4)获得的消光系数k的最优解转换成步骤1)采集的一帧图像的能见度距离V_me，转换公式如下；

$V_{met}\&ap;\frac{3}{k};$

6)重复步骤2)到5)计算步骤1)采集图像的能见度距离V_met，并画出能见度值随时间变化的曲线，据此观测道路能见度变化情况并作出预判。

2.根据权利要求1所述的基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征在于：步骤1)所述的道路交通视频图像采集具体要求为：使用高速公路外场路测PTZ摄像机进行视频图像采集，采集的视频图像需满足图像最底端一行像素区域显示离摄像机的距离不超过20米，图像最顶端一行像素区域显示离摄像机的距离大于200米；采集视频图像时，每隔10分钟截取一帧图像，连续截取15～30帧图像。

3.根据权利要求2所述的基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征在于：步骤2)所述提取视频图像路面兴趣域ROI的具体操作步骤为：

a、对步骤1)采集的一帧视频图像进行PTZ摄像机标定，建立PTZ摄像机成像模型，得出路面坐标系、摄像机坐标系与成像平面间的变换关系，计算视频图像中路面区域与摄像机的距离；其中，PTZ摄像机成像模型包括3个坐标系：

路面坐标系(X_w,Y_w,Z_w)，摄像机坐标系(X_i,Y_i,Z_i)以及像平面坐标系(u,v)，路面坐标系原点O_w为摄像机光轴与路面的交点；X_w轴正向水平指向路面右侧，Y_w轴正向沿路面方向指向前方，Z_w轴正向垂直于路面向上；摄像机坐标系原点O为摄像机光心位置，Z_i轴为摄像机光轴位置，X_i-Y_i平面平行于像平面；(u,v)分别对应像平面的横坐标和纵坐标，习惯将图像像素位置以行和列表达，因此，u又称为图像列坐标，v称为图像行坐标；

路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系为：

$\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& -\sin \mathrm{\&theta;}& -cos\mathrm{\&theta;}& Hcos\mathrm{\&theta;}\\ 0& \cos \mathrm{\&theta;}& -sin\mathrm{\&theta;}& Hsin\mathrm{\&theta;}\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(1\right)$

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_i}\left(\begin{array}{cccc}-f& 0& 0& 0\\ 0& -f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)---\left(2\right)$

其中，θ为摄像机光轴与路面夹角，H为摄像机光心距路面的垂直距离，f为镜头有效焦距；

根据上述路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系，推算出实际路面上一点到摄像机坐标系的垂直距离d_i与该点在像平面坐标系上对应像素点的坐标(u,v)的对应关系：

$d_i=\left\{\begin{array}{cc}\frac{\mathrm{\&lambda;}}{(v_i-v_h)},& v_i>v_h\\ \mathrm{\&infin;},& v_i\&le;v_h\end{array}\right.,\mathrm{\&lambda;}=\frac{Hf}{{\cos }^2\mathrm{\&theta;}}---\left(3\right)$

其中，v_i为路面上一点在像平面坐标系中的行坐标，v_h为灭点在像平面坐标系中的行坐标，所述的灭点表示视频图像中车道分割线与无限远处交汇的点；

b、采用抛物线拟合视频图像中路面车道分割线，通过随机霍夫变换检测车道分割线在图像中的投影，车道分割线间的区域即为当前图像的路面兴趣域ROI。

4.根据权利要求3所述的基于路面视亮度和最小二乘法的交通视频能见度检测方法，其特征在于：步骤5)所述能见度距离V_met与消光系数k之间的转换关系为：

$V_{met}=-\frac{1}{k}ln\left(\frac{C_d}{C_0}\right)=-\frac{1}{k}ln\left(0.05\right)\&ap;\frac{3}{k}---\left(13\right)$

式中，C_d表示实际亮度对比度，即路面实际亮度L(d_i)与背景亮度L_f之差的绝对值与背景亮度L_f的比值，C₀表示固有亮度对比度，即路面固有亮度L₀与背景亮度L_f之差的绝对值与背景亮度L_f的比值。