CN105740835A - 夜视环境下基于车载相机的前方车辆检测方法 - Google Patents

Abstract

一种夜视环境下基于车载相机的前方车辆检测方法，涉及一种对前方车辆进行检测的方法，它首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。本发明具有可减少复杂背景干扰、降低潮湿路边的反光强度、可对尾灯进行检测、保持头灯外观形状、可提高相关系数计算精度、计算求解过程简单、可加快检测速度和保持车辆检测准确性的特点，能够在夜视环境下实现对前方车的准确检测和稳定跟踪。

Description

夜视环境下基于车载相机的前方车辆检测方法

技术领域

本发明涉及一种对前方车辆进行检测的方法，特别是一种夜视环境下基于车载相机的前方车辆检测方法。

背景技术

道路上的其它车辆是驾驶员驾驶过程中必须关注的信息。自动检测其它车辆位置的辅助驾驶系统有广泛的用途，如：碰撞告警、盲区监控、自动巡航等。车载可见光相机是一种广泛用于实现此类功能的廉价传感装置。但在夜间，可见光视频中的视觉信息非常有限。许多譬如道路标志、车道线、水平线之类背景信息和车身结构，车辆颜色等目标信息几乎完全不可用。黑暗的夜间环境下，最为显著的车辆信息是车辆的前灯和尾灯。虽然车灯的外观各有不同，但他们都必须遵循行业规范进行设计，视频图像处理系统可以利用这些遵循规范设计的前后灯特征进行夜间车辆检测。但在夜间用基于车灯的检测方法进行车辆检测时，容易受到发射光、路灯干扰，同时，由于相机的自动曝光机制，导致夜间的车辆前灯成像出现巨大光斑、尾灯因为饱和而失去其色彩特征，这些都是夜视环境下基于车灯进行车辆检测的困难所在。

中国专利（公开号：103440771A）“模糊隶属度和反馈修正在夜间交通视频车辆检测的应用”公开了一种夜间复杂车辆检测的方法。利用频域的同态滤波和时域的方位模糊技术对车灯进行提取，再利用成功配对车灯的统计信息对车灯进行配对，最后对车辆加以追踪，并引入车辆追踪反馈修正机制，实现夜间车辆的检测与追踪。但该专利方法公开是车辆检测仅仅基于车辆前灯，没有对尾灯进行检测，且其在车灯配对过程中没有考虑因为超车、转弯等造成的投影扭曲现象。该专利提供的方法比较适合固定相机应用场合。

论文“基于尾灯跟踪的夜间车辆检测”（通信技术，2012,45(10):58-60）中给出一种基于尾灯跟踪的夜间车辆检测方法，该技术公开了对尾灯进行检测的技术，即是先通过HSV颜色模型对尾灯的颜色信息进行分割，辨认出车辆位置，再通过区域边界锁定车灯边缘信息对车辆进行跟踪。但该文方法没有对车灯的对称相关信息进行计算，简单认为在同一个水平横轴上的一对车灯即属于同一辆目标车辆，同时，正如论文结尾部分所指出，该文方法容易受到道路两旁有颜色的路牌或广告牌干扰，另外，路面雨水也会影响该文方法的检测效果。

发明内容

本发明要解决的技术问题是：提供一种夜视环境下基于车载相机的前方车辆检测方法，以实现在夜视环境下对前方车辆的准确检测。

解决上述技术问题的技术方案是：一种夜视环境下基于车载相机的前方车辆检测方法，该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。

本发明的进一步技术方案是：该方法包括以下步骤：

S1.相机设置：

设置车载相机低曝光参数，加置偏光镜；

S2.样本收集与统计分析：

采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；

S3.读入视频帧，并分割车灯：

读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；

S4.进行车灯配对：

在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；

S5.车灯双重跟踪：

对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；

S6.输出结果：

输出检测到的车灯对目标及其运动轨迹。

本发明的再进一步技术方案是：在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：

设置车载相机增益为ISO=100，EV=100，曝光值为10，并在车载相机镜头前加置偏光镜。

本发明的再进一步技术方案是：所述的步骤S2的具体方法如下：

S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；

S22.对前灯的亮度进行统计分析，并求出其均值和方差；

取N个前灯像素，N≥80000，令第i个像素的亮度为G_i,则均值与方差分别为

，

其中，分别代表前灯亮度的均值与方差；

S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：

取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素（R，G，B）分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，

其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素（C₁₁,C₂₂,C₃₃）即分别为（R，G，B）三个分量的方差，因此其标准差分别为：，，；

S24.计算车灯对的圆形度比的均差和方差：

先计算车灯对的圆形度比，该圆形度比的计算公式为：

其中，分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：

其中，为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；

然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值和方差，

S25.计算车灯对的中心连线角度的均差和方差：

先计算车灯对的中心连线角度，该中心连线角度的计算方式为：

其中，、分别为第J个车灯，第K个车灯中心点坐标；

然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值和方差；

S26.计算车灯对的相关系数的均差和方差：

先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量和，计算这两个向量的相关系数，

计算其对应像素亮度的相关系数如下：

其中，为向量T与I之间的协方差，和分别代表向量T和I的方差；

对于头灯，计算其像素亮度的相关系数，并进一步计算头灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵。

本发明的更进一步技术方案是：在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：

S31.读入视频帧，先进行中值滤波处理；

S32.用基于canny边缘检测的区域生长法分割前灯：

以拍摄该帧图像的最大亮度的80～95%作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，Canny算法中低阈值选择为图像最大亮度的4%，高阈值选择为图像最高亮度的10%；

S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：

计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：

其中，代表输入像素()分量组成的向量，即，取阈值Th,若则判断该像素为尾灯像素；

S34.对头灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；

S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。

本发明的更进一步技术方案是：在步骤S4中，所述的进行车灯配对的具体方法如下：

S41.车灯初步过滤：

对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；

S42.投影扭曲补偿：

对通过初步过滤的车灯对进行投影扭曲补偿；

S43.计算车灯对的相关系数：

计算车灯对的相关系数，判定车灯对是否为车灯对目标。

本发明的更进一步技术方案是：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：

S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于，则由车灯i和车灯j组成的车灯对通过圆形度测试；

S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。

本发明的更进一步技术方案是：在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：

S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；

S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；

S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为（x₀,y₀）,（x₁,y₁）,（x₂,y₂）,（x₃,y₃）；

S424.计算梯形的如下六个坐标差量：

，，，

，，；

S425.计算从梯形转换为标准单位正方形的转换矩阵和单位正方形转换为矩形转换的转换矩阵，并由和得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，

其中，，

其中，，

。

本发明的更进一步技术方案是：在步骤S43中，所述的计算车灯对的相关系数的方法如下：

S431.对于头灯，计算经投影扭曲补偿后的车灯对的相关系数，若其相关系数大于

，则该对头灯通过相关系数测试，和分别代表的均值与标准方差；

S432.对于尾灯，先分别计算三个分量的相关系数，并构成相关系数向量，然后计算该向量与样本库平均向量的马氏距离，若该距离小于2*,则认为该尾灯对通过相关系数测试。

本发明的更进一步技术方案是：在步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：

S51.对检测到的车灯进行状态机转换检测：

对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：、和，其中，代表若一个稳定目标连续帧丢失，则将其状态转换为临时目标；代表若一个临时目标连续帧被检测到，则将其状态转换为稳定目标；代表若一个临时目标连续帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器和，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，大于等于T_ts则将其该目标的状态转换为“stable”；若大于等于则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器，记录其连续未被检测到的帧数，若达到帧，则将其状态转换为“temp”；

S52.初始化卡尔曼跟踪的各种参数；

S53.读入图像帧；

S54.利用卡尔曼滤波算法对所有目标进行检测：

利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其达到则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其达到则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若计算器达到，则将其状态转换为“temp”，否则保持为“stable”；

S55.输出所有稳定目标；

S56.检测本图像帧出现的新目标；

S57.更新所有目标的卡尔曼跟踪参数；

S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。

由于采用上述技术方案，本发明之夜视环境下基于车载相机的前方车辆检测方法与现有技术相比，具有以下有益效果：

1.可减少复杂背景干扰，降低潮湿路边的反光强度：

本发明通过对车灯进行检测与跟踪的车载相机进行曝光控制，可减少复杂背景干扰，利用加置的偏光镜降低潮湿路边的反光强度。

2.可对尾灯进行检测：

现有技术在对前方车辆进行检测时，一些没有检测尾灯，一些检测尾灯采用HSV空间中基于某一分量的阈值分割，没有充分利用颜色特征的空间信息。而本发明采用基于(R,G,B)颜色向量的马氏距离进行尾灯分割，充分利用了尾灯的颜色空间特征，从而可对尾灯进行准确有效的检测。

3.可排除尾灯、街灯、装饰灯等的干扰，保持头灯外观形状：

现有技术在对前方车辆进行检测时，在头灯分割过程中，一般采用阈值分割，在阈值分割过程中，较高的阈值容易导致车灯成像中亮度稍低的像素被排除，从而导致分割结果不能保持头灯外观形状。较低的阈值又会将亮度稍低的尾灯、街灯、装饰灯误分割为头灯。而本发明采用区域生长和边缘检测相结合的方法，一方面较高种子选择阈值排除了尾灯、街灯、装饰灯的干扰，另一方面又能将头灯成像中亮度稍低像素通过连通域进行增长，从而保持头灯外观形状。

4.可提高相关系数计算精度：

现有技术一般假定目标车辆车灯所在平面和检测车的相机平面是平行的，从而不考虑投影扭曲，而这种假设在城市道路存在较多转弯和超车的情形下是不成立的。在超车或转弯的情形下，目标车辆车灯所在平面和检测车的相机平面不再平行，从而产生了投影扭曲。为了更精确地计算车灯对之间的相关系数，本发明采用由粗到细的两步法进行车灯配对判定。即先用圆形度比和中心连线角度进行初级筛选，然后对通过初级筛选的车灯对进行投影扭曲补偿，再对补偿后的车灯对计算相关系数。因此，本发明可提高相关系数计算精度。

5.计算求解过程简单：

在进行投影扭曲补偿计算的过程中，本申请的发明人发现，在以车辆前进方向为Y轴正方向，以车身从左到右的车宽方向为X轴正方向，垂直路面向上为Z轴方向的三维世界坐标中，目标车辆车灯包围矩形框与检测车相机平面的投影变形主要是在目标车辆转弯或超车时，目标车辆车灯包围框框绕Z轴旋转造成的，城市平整路面的前提下，绕X轴和Y轴旋转的角度非常小，同时由于车灯外接包围的高度远小于其长度，因此，矩形包围盒垂直于XY平面的直线在相机平面上的投影仍然是垂直于XY平面的，即，其外接包围盒是一个底边垂直于所拍摄图像的梯形。本发明利用这个性质，可以对投影矩阵求解过程进行了极大简化。

6.可加快检测速度和保持车辆检测的准确性：

本发明采用状态机和卡尔曼滤波双重跟踪的机制，一方面利用卡尔曼滤波算法的预测功能，加快检测速度，另一方面通过多帧确认的状态转换机制保持了车辆检测的准确性，消除静止的路灯、广告牌对检测结果的影响。

因此，基于上述1-6点有益效果，本发明能够在夜视环境下实现对前方车辆的准确检测和稳定跟踪。

下面，结合附图和实施例对本发明之夜视环境下基于车载相机的前方车辆检测方法的技术特征作进一步的说明。

附图说明

图1：本发明的总体流程图，

图2-1～图2-3：本发明步骤S42所述的投影扭曲补偿计算示意图：

图2-1：先求出外接梯形的两条垂直于所截取图像底边的边的示意图，

图2-2：做出两个分别连接两个车灯最高位置像素点和最低像素的连线的示意图，

图2-3：以梯形的左下顶点作为坐标原点，建立坐标系的示意图；

图3：本发明步骤S5所述的车灯双重跟踪流程图。

具体实施例

实施例一：

一种夜视环境下基于车载相机的前方车辆检测方法，该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测（JohnCanny于1986年开发出的多级边缘检测算法）的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。该方法包括以下步骤：

S1.相机设置：

设置车载相机低曝光参数，加置偏光镜；

S2.样本收集与统计分析：

采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；

S3.读入视频帧，并分割车灯：

读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；

S4.进行车灯配对：

在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；

S5.车灯双重跟踪：

对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；

S6.输出结果：

输出检测到的车灯对目标及其运动轨迹。

在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：

设置车载相机增益为ISO=100，EV=100，曝光值为10，并在车载相机镜头前加置偏光镜。

所述的步骤S2的具体方法如下：

S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；

S22.对前灯的亮度进行统计分析，并求出其均值和方差；

取N个前灯像素，N≥80000，令第i个像素的亮度为G_i,则均值与方差分别为

，

其中，分别代表前灯亮度的均值与方差；

S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：

取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素（R，G，B）分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，

其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素（C₁₁,C₂₂,C₃₃）即分别为（R，G，B）三个分量的方差，因此其标准差分别为：，，；

S24.计算车灯对的圆形度比的均差和方差：

先计算车灯对的圆形度比，该圆形度比的计算公式为：

其中，分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：

其中，为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；

然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值和方差，

S25.计算车灯对的中心连线角度的均差和方差：

先计算车灯对的中心连线角度，该中心连线角度的计算方式为：

其中，、分别为第J个车灯，第K个车灯中心点坐标；

然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值和方差；

S26.计算车灯对的相关系数的均差和方差：

先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量和，计算这两个向量的相关系数，

计算其对应像素亮度的相关系数如下：

其中，为向量T与I之间的协方差，和分别代表向量T和I的方差；

对于头灯，计算其像素亮度的相关系数，并进一步计算头灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵。

在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：

S31.读入视频帧，先进行中值滤波处理；

S32.用基于canny边缘检测的区域生长法分割前灯：

以拍摄该帧图像的最大亮度的80～95%作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，Canny算法中低阈值选择为图像最大亮度的4%，高阈值选择为图像最高亮度的10%；

S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：

计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：

其中，代表输入像素()分量组成的向量，即，取阈值Th,若则判断该像素为尾灯像素；

S34.对头灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；

S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。

在步骤S4中，所述的进行车灯配对的具体方法如下：

S41.车灯初步过滤：

对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；

S42.投影扭曲补偿：

对通过初步过滤的车灯对进行投影扭曲补偿；

S43.计算车灯对的相关系数：

计算车灯对的相关系数，判定车灯对是否为车灯对目标。

其中：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：

S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于，则由车灯i和车灯j组成的车灯对通过圆形度测试；

S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。

在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：

S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；

S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；

S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为（x₀,y₀）,（x₁,y₁）,（x₂,y₂）,（x₃,y₃）；

S424.计算梯形的如下六个坐标差量：

，，，

，，；

S425.计算从梯形转换为标准单位正方形的转换矩阵和单位正方形转换为矩形转换的转换矩阵，并由和得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，

其中，，

其中，，

。

在步骤S43中，所述的计算车灯对的相关系数的方法如下：

S431.对于头灯，计算经投影扭曲补偿后的车灯对的相关系数，若其相关系数大于

，则该对头灯通过相关系数测试，和分别代表的均值与标准方差；

S432.对于尾灯，先分别计算三个分量的相关系数，并构成相关系数向量，然后计算该向量与样本库平均向量的马氏距离，若该距离小于2*,则认为该尾灯对通过相关系数测试。

在上述步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：

S51.对检测到的车灯进行状态机转换检测：

对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：、和，其中，代表若一个稳定目标连续帧丢失，则将其状态转换为临时目标；代表若一个临时目标连续帧被检测到，则将其状态转换为稳定目标；代表若一个临时目标连续帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器和，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，大于等于T_ts则将其该目标的状态转换为“stable”；若大于等于则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器，记录其连续未被检测到的帧数，若达到帧，则将其状态转换为“temp”；

S52.初始化卡尔曼跟踪的各种参数；

S53.读入图像帧；

S54.利用卡尔曼滤波算法对所有目标进行检测：

利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其达到则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其达到则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若计算器达到，则将其状态转换为“temp”，否则保持为“stable”；

S55.输出所有稳定目标；

S56.检测本图像帧出现的新目标；

S57.更新所有目标的卡尔曼跟踪参数；

S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。

作为上述实施例一的一种变换，所述的车载相机也可以是车载摄像机或其它视频采集系统。

Claims (10)

1.一种夜视环境下基于车载相机的前方车辆检测方法，其特征在于：该方法是首先对车灯进行检测与跟踪的车载相机进行曝光控制和偏振光消除，然后分别利用结合canny边缘检测的区域生长法和基于马氏距离的彩色图像阈值分割方法进行前灯和尾灯分割；此基础上，进行车灯配对，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；最后采用基于卡尔曼滤波和状态机转换对目标进行跟踪确认。

2.根据权利要求1所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：该方法包括以下步骤：

S1.相机设置：

设置车载相机低曝光参数，加置偏光镜；

S2.样本收集与统计分析：

采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波，然后对前灯的亮度、尾灯RGB颜色向量、车灯对的圆形度比和中心连线角度、车灯对的相关系数进行统计分析，分别求出其均值和方差；

S3.读入视频帧，并分割车灯：

读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯；

S4.进行车灯配对：

在车灯配对过程中，采用初步过滤和投影扭曲补偿提高相关系数的计算精度；

S5.车灯双重跟踪：

对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认；

S6.输出结果：

输出检测到的车灯对目标及其运动轨迹。

3.根据权利要求2所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S1中，所述的设置车载相机低曝光参数，加置偏光镜的方法如下：

设置车载相机增益为ISO=100，EV=100，曝光值为10，并在车载相机镜头前加置偏光镜。

4.根据权利要求2所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：所述的步骤S2的具体方法如下：

S21.采集不同气候条件、灯光条件的前灯和尾灯数据各500～1000对，先对采集的车灯图像进行中值滤波；

S22.对前灯的亮度进行统计分析，并求出其均值和方差；

取N个前灯像素，N≥80000，令第i个像素的亮度为G_i,则均值与方差分别为

，

其中，分别代表前灯亮度的均值与方差；

S23.对尾灯RGB颜色向量的统计分析，并求出其均值和方差：

取N个尾灯像素，N≥80000，令每个像素的R、G、B三个分量值为随机变量，则每个像素（R，G，B）分量构成一个随机向量，计算所有N个向量的平均向量和协方差矩阵，

其中，为平均向量，C为协方差矩阵，由协方差矩阵的性质可知，其对角线元素（C₁₁,C₂₂,C₃₃）即分别为（R，G，B）三个分量的方差，因此其标准差分别为：，，；

S24.计算车灯对的圆形度比的均差和方差：

先计算车灯对的圆形度比，该圆形度比的计算公式为：

其中，分别代表第J个车灯，第K个车灯的圆形度，车灯圆形度的计算方法为：

其中，为车灯的圆形度，一个车灯连通区域的面积A用该连通区域的像素数总和来表示，周长P用连通区域的边界上的像素数来表示；

然后分别计算采集到的500～1000对前灯、尾灯的圆形度比的均值和方差，

S25.计算车灯对的中心连线角度的均差和方差：

先计算车灯对的中心连线角度，该中心连线角度的计算方式为：

其中，、分别为第J个车灯，第K个车灯中心点坐标；

然后分别计算采集到的500～1000对前灯、尾灯的中心连线角度的均值和方差；

S26.计算车灯对的相关系数的均差和方差：

先计算车灯对的相关系数，该车灯对的相关系数的计算方法是，取某对车灯中的一个为模板，将另一个车灯进行水平翻转，该两个车灯的相应位置的像素亮度构成向量和，计算这两个向量的相关系数，

计算其对应像素亮度的相关系数如下：

其中，为向量T与I之间的协方差，和分别代表向量T和I的方差；

对于头灯，计算其像素亮度的相关系数，并进一步计算头灯像素亮度相关系数的方差和均值；对于尾灯，分别计算其样本数据库中三个分量的相关系数的平均值并构成平均相关系数向量和三个分量的相关系数的协方差矩阵。

5.根据权利要求4所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S3中，所述的读入视频帧，并用基于canny边缘检测的区域生长法分割前灯，用基于马氏距离的彩色图像阈值分割方法分割尾灯的方法如下：

S31.读入视频帧，先进行中值滤波处理；

S32.用基于canny边缘检测的区域生长法分割前灯：

以拍摄该帧图像的最大亮度的80～95%作为种子点，进行区域生长，区域生长的准则是与种子点亮度差小于50的且与已生长区域8连通；将canny算法检测到的边缘作为区域生长的停止准则，Canny算法中低阈值选择为图像最大亮度的4%，高阈值选择为图像最高亮度的10%；

S33.用基于马氏距离的彩色图像阈值分割方法分割尾灯：

计算每个像素与样本像素库中的平均向量的马氏距离，其计算方法如下：

其中，代表输入像素()分量组成的向量，即，取阈值Th,若则判断该像素为尾灯像素；

S34.对头灯和尾灯的分割图像进行形态学闭操作以消除噪声和连接阈值过程分开的相邻区域；

S35.屏蔽采集图像的上1/3部分，应对街灯的干扰问题。

6.根据权利要求4所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S4中，所述的进行车灯配对的具体方法如下：

S41.车灯初步过滤：

对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤；

S42.投影扭曲补偿：

对通过初步过滤的车灯对进行投影扭曲补偿；

S43.计算车灯对的相关系数：

计算车灯对的相关系数，判定车灯对是否为车灯对目标。

7.根据权利要求6所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S41中，所述的对分割出的前灯和尾灯用圆形度比和中心连线角度进行初步过滤的方法如下：

S411.计算分割出的车灯之间的圆形度比，若车灯i和车灯j的圆形度比大于，则由车灯i和车灯j组成的车灯对通过圆形度测试；

S412.计算分割出的车灯之间的中心连线角度，若两个车灯中心连线角度小于，则由该两个车灯组成的车灯对通过中心连线角度测试；同时通过圆形度比测试和中心连线角度测试的车灯对作为候选车灯对，若一个车灯可以与多个车灯组合成车灯对通过初选，则选圆形度比最接近1，中心连线角度最接近0的一对作为候选的车灯对。

8.根据权利要求6所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S42中，所述的对通过初步过滤的车灯对进行投影扭曲补偿的方法如下：

S421.将要进行投影扭曲补偿计算的外接车灯包围框视为底边垂直于图像底边的梯形，先求出外接梯形的两条垂直于所截取图像底边的边；

S422.做出两个分别连接两个车灯最高位置像素点和最低像素的连线；

S423.以梯形的左下顶点作为坐标原点，建立坐标系，从坐标原点出发，从下左至上，从左至右，分别令其坐标为（x₀,y₀）,（x₁,y₁）,（x₂,y₂）,（x₃,y₃）；

S424.计算梯形的如下六个坐标差量：

，，，

，，；

S425.计算从梯形转换为标准单位正方形的转换矩阵和单位正方形转换为矩形转换的转换矩阵，并由和得到将投影变形后的梯形映射到其外接矩形的转换矩形Rec，

其中，，

其中，，

。

9.根据权利要求6所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S43中，所述的计算车灯对的相关系数的方法如下：

S431.对于头灯，计算经投影扭曲补偿后的车灯对的相关系数，若其相关系数大于

，则该对头灯通过相关系数测试，和分别代表的均值与标准方差；

S432.对于尾灯，先分别计算三个分量的相关系数，并构成相关系数向量，然后计算该向量与样本库平均向量的马氏距离，若该距离小于2*,则认为该尾灯对通过相关系数测试。

10.根据权利要求2至9任一权利要求所述的夜视环境下基于车载相机的前方车辆检测方法，其特征在于：在步骤S5中，所述的对判定为车灯对目标的车辆进行基于状态机转换和卡尔曼滤波的双重跟踪确认的方法如下：

S51.对检测到的车灯进行状态机转换检测：

对检测到的车灯设立状态机，定义两个状态：稳定目标，标记为stable；临时目标，标记为temp；规定三个阈值：、和，其中，代表若一个稳定目标连续帧丢失，则将其状态转换为临时目标；代表若一个临时目标连续帧被检测到，则将其状态转换为稳定目标；代表若一个临时目标连续帧没有检测到，将其从系统的目标库中删除不再进行跟踪；将所有新检测到目标设置为临时目标，并设置两个计数器和，分别记录临时目标被连续检测到和连续丢失的帧数，分别记录其被连续检测到和连续丢失的帧数，大于等于T_ts则将其该目标的状态转换为“stable”；若大于等于则将该目标删除，不再跟踪；对所有稳定目标设置一个计算器，记录其连续未被检测到的帧数，若达到帧，则将其状态转换为“temp”；

S52.初始化卡尔曼跟踪的各种参数；

S53.读入图像帧；

S54.利用卡尔曼滤波算法对所有目标进行检测：

利用卡尔曼滤波算法对所有目标进行位置预测，从预测位置的邻域开始，检测上一帧出现过的车灯对，对于上一帧状态为“temp”的目标，若本轮继续检测到，且其达到则将其状态设置为“stable”，否则保持为“temp”；若本轮没有被检测到，且其达到则将该目标删除，否则同样保持为“temp”；对于上一帧状态为“stable”的目标，若本轮继续检测到，则将其状态保持为“stable”；若本帧未被检测到，且其若计算器达到，则将其状态转换为“temp”，否则保持为“stable”；

S55.输出所有稳定目标；

S56.检测本图像帧出现的新目标；

S57.更新所有目标的卡尔曼跟踪参数；

S58.判断所有图像帧是否读取完毕，如果是，则结束；否则重复步骤S53。