CN106934808B - 一种视觉感知下汽车前灯尾灯识别跟踪方法 - Google Patents

Abstract

本发明公开了一种视觉感知下汽车前灯尾灯识别跟踪方法，该方法包括以下步骤：视频图像采集、局域空间车灯检测、全局空间车辆检测、车灯轨迹实时跟踪、矩阵式LED颗粒控制。基于智能图像识别与跟踪技术，利用摄像头对汽车前方车头和车尾目标进行采集与存储，结合目标检测跟踪技术和反馈修正模型，实现前方车辆对于本车的方位、速度和位置运动参量检测；以视觉图像感知参量为控制输入量，通过图像视野与LED光照区域映射模型，对矩阵式LED大灯中单颗或者成组灯光亮弱进行自适应控制。本发明能在复杂灯光条件下实现多目标车辆稳定跟踪，基于跟踪结果实时对汽车前照灯进行调节，可用于汽车辅助驾驶中大灯智能控制服务。

Description

一种视觉感知下汽车前灯尾灯识别跟踪方法

技术领域

本发明涉及一种汽车灯光检测方法，具体涉及一种视觉感知下汽车前灯尾灯识别跟踪方法。

背景技术

随着计算机技术、传感网络技术、新能源、以及智能控制技术等学科的飞速发展，使汽车高级辅助驾驶、安全互联等技术的应用得到不断拓展，在车联网、智能汽车乃至无人驾驶汽车的驱动下推动整个汽车产业的创新。车辆照明作为汽车设计的重要组成部分，是驾驶员夜间行驶过程中视觉神经接收到最多最重要的信息，夜间驾驶车辆的主要问题就是前方道路视线的问题，虽然晚上车流量一般比较低，但交通事故发生率比较高。究其原因，由于远光灯的照射范围太远或者其不正确的使用，车前远光大灯在辅助驾驶员进行夜间安全行车的同时，远光模式会对来车驾驶员造成视觉疲劳从而会引起炫目，给汽车行驶安全带来隐患，有数据表明占总交通事故47％的夜间交通事故中不正确使用远光灯是一个主要原因。因此，随着人们对驾驶的安全性和舒适性提出了越来越高的要求，研究新的照明技术来提高驾驶辅助安全具有重要的理论意义和实际应用价值。

发明内容

针对现有技术存在的问题，本发明提供一种视觉感知下汽车前灯尾灯识别跟踪方法，解决现有汽车前照大灯无法根据前方车辆自适应调整的问题。

本发明一种视觉感知下汽车前灯尾灯识别跟踪方法，其技术方案为：采用视觉图像序列信号进行基于自适应亮度阈值的局部车灯提取，输入图像金字塔序列进行全局车头车尾检测，并将其作为局部车灯检测的补充信息和约束条件，结合视觉传感系统、物像探测距离以及感光特性对车灯运动轨迹进行跟踪，基于图像视觉感知的车灯位置与LED光照区域分布，对汽车矩阵式LED进行自适应控制。本发明一种视觉感知下汽车前灯尾灯识别跟踪方法；包括以下步骤：

步骤1)中，在干扰灯光过滤下利用车灯区域亮度特性进行自适应亮度阈值处理，进行局域空间内车灯识别，具体步骤为：

(1)基于聚类的图像二值化方法，以最大类间方差法确定灰度阈值，分割出图片中车前大灯的亮度高区域；

(2)通过孤立噪点去除、闭运算目标填充以及连通性分析，根据车灯形态学形成一个闭合的连通区域；

(3)基于背景光斑、路灯区域的区域链表，在多约束条件下将各区域的基本信息与车灯进行匹配；

(4)在HSV空间分析尾灯样本获得二值图像掩码Mask，进行轮廓填充得到车尾灯区域并加入预跟踪队列Qtrack。

步骤2)中，基于视频图像颜色空间转换处理，构建图像金字塔序列来对全局空间内车头车尾位置进行定位，具体步骤为：

(1)针对采集输入的图像进行图像颜色空间转换，转换成RGB颜色空间，并依次对图像进行0.9比例的缩放，构建输入图像的金字塔序列。

(2)金字塔图像中每一幅图像的梯度、角度、梯度直方图等信息，组合成图像的特征金字塔。

(3)利用boost训练得到特征模型，对特征金字塔进行滑动窗口扫描，得到每幅图像中可能存在的车灯目标。

(4)通过使用极大值抑制贪婪算法，对车灯目标进行合并，并根据位置信息排除干扰，取得最终的车灯位置目标。

步骤3)中，基于视觉传感系统、物像探测距离以及感光特性来跟踪车灯运动轨迹并自适应控制矩阵式LED车灯，具体步骤为：

(1)输入车灯目标的中心坐标以及速度，利用卡尔曼滤波器进行特征跟踪。

(2)利用当前得到的最近邻目标信息，对状态方程进行更新与修正，对目标运动轨迹进行约束，判断目标是否在检测区域内。

(3)利用灯光分区信息对图像进行分区标定，左右两侧分为L₁，L₂，L₃，L₄，L₅区。

(4)根据车灯目标当前存在的位置，关闭当前区域内的LED灯光。

本发明的有益效果是：采用视觉图像采集系统获得前车前灯尾灯图像参数，提出了一种结合局部车灯与全局车辆特征的智能大灯控制方法，该方法可以适应汽车在夜间行车过程中背景时变、目标时变、路况时变、车况时变、采集图像分辨率变化等影响，准确地检测跟踪车灯或者车辆的移动轨迹，能够连续定位图像中的车灯部位，根据车辆检测到对面车灯位置关闭或者调整相应的LED颗粒亮度，使得司机在车辆行驶过程中具有最佳的灯光照明环境，不会给目标车辆甚至行人等目标造成光线干扰，保障汽车在夜间行车过程的安全性和舒适性，可以用于汽车辅助驾驶中的大灯智能控制服务。

附图说明

图1是本发明实施例的汽车矩阵式LED车灯控制系统结构图。

图2是本发明实施例的汽车矩阵式LED车灯定位算法流程图。

图3是本发明实施例的汽车矩阵式LED车灯配光分布图。

图4是本发明实施例的汽车矩阵式LED车灯照射效果示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本实施例用于汽车LED车灯颗粒控制技术，主要由视频图像采集、局部车灯检测、全局车辆检测、车辆车灯跟踪以及LED灯光控制组成。为使本发明的目的、技术方案和优点更加清楚明白，结合以下具体实施，对本发明进一步详细说明。

图1是汽车LED车灯控制系统结构图，通过摄像头实时采集高清视频图像，分辨率为1920*1080，视频场景为车内前方中央位置，通过基于自适应亮度阈值的局部车灯提取，构建输入图像金字塔序列进行全局车头车尾检测，基于图像视觉感知的车灯位置与LED光照区域分布，对汽车矩阵式LED进行自适应控制。

图2是汽车矩阵式LED车灯定位算法流程图，由于夜间环境下光照条件较差，汽车前照灯亮度明显大于背景灯光。车灯区域最主要的特征就是区域亮度高，本发明采用基于自适应亮度阈值的前灯提取方法，前大灯检测具体步骤为：

(1)自适应二值化：利用最大类间方差法自适应地确定灰度阈值，基于聚类的图像二值化方法，车灯区域内和区域外为两类类间像素，可以有效地分割出图片中亮度高区域，并且对变化的环境和光源光照有很好的自适应性。

(2)形态学分析：经过自适应二值化后将目标图像的车灯凸显出来，基于前灯高亮且近似对称，通过开运算去除孤立噪点、闭运算填充目标内部以及连通性分析，车灯所在的区域形成了一个闭合的连通区域A_m，且面积大于一定的阈值T_m。

(3)车灯配对：完成形态学分析中的区域提取后，获得了一个保护车灯以及其他背景光斑、路灯区域的区域链表，将各区域的基本信息进行车灯匹配，有如下约束条件：(a)连通区域的面积A_c，一个车灯连通区域的面积用该连连通区域的像素总和来表示；(b)连通区域的中心坐标X_cY_c，每个连通区域的中心坐标(X_c，Y_c)需要记录下来，作为其他约束条件的基础；(c)连通区域的水平距离，根据连通区域的中心坐标计算出各个连通区域间的水平距离。由于车辆两个车灯距离相对稳定，且不同区域的水平距离可以表示为参考距离D_r，准确地判断同一个车辆在图像中远近不同位置时的车灯间距，继而进行匹配；(d)车灯分析区域的匹配坐标验证，在全局车头检测区域Rect中，阈值法区域的左右车灯必须在全局车辆模型范围内，车灯连通中心坐标在车头区域满足以下条件：

其中X_gap，Y_gap表示为车灯相对车身的水平和竖直方向的间距经验值，Rect_x，Rect_y，Rect_w，Rect_h为全局车辆检测结果矩形区域；(e)前述连通区域面积、连通区域中心坐标以及连通区域水平距离三个约束条件必须在合理的区间范围，才能被最终判断为真实的汽车前灯并对其进行配对组合，为防止某一个帧的误匹配，根据连续2～3帧的历史匹配结果进行比较判断，匹配成功加入预跟踪队列Qtrack中。

基于夜间环境下的尾灯特殊性，可以将其转换为更接近人眼的色彩感知空间，即HSV颜色空间，车尾大灯检测具体步骤为：

给定一幅RGB彩色空间，每个HSV的分类的计算如下：

在HSV空间进行车尾灯区域分割：

(1)收集大量的车尾灯样本在HSV空间分布，车灯在HSV空间的分布阈值如下H：9°～342°，S：0.4645～1.0，V：0.2～1.0，在HSV空间中的范围可以对车灯进行检测，得到二值图像掩码Mask。

(2)尾灯区域提取，在二值掩码Mask基础上，首先进行形态学分析去除车身上的光斑以及大片干扰区域得到可疑候选的尾灯区域C_d，然后在所有尾灯区域进行轮廓填充，即可获得比较好的车尾灯区域。

(3)尾灯匹配：参考前灯匹配过程，匹配成功加入统一的预跟踪队列Qtrack。

根据摄像头获取采集到的视频信息，将颜色空间转换至RGB空间，以约为0.9的倍数进行缩小，构建图像金字塔，并保留帧的时间戳信息，可以表示为

R′＝Y′+1.140V′

G'＝Y'-0.394U'-0.581V'

B′＝Y′+2.032U′

其中：R’，G’，B’分别是图像的红，绿，蓝三通道的像素值。Y’，V’，U’为采集的图像颜色空间。

在图像金字塔中，将每一幅图像平均采样为原图的一半后，分别计算红，绿，蓝三个通道的梯度幅值与方向，取其中幅值最大的值为特征幅值作为第一个特征，幅值与方向计算公式为：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

其中：x，y为图像中每个像素点的坐标，I表示该像素点的值。

将原图像划分为若干个单元，每个单元的大小为2*2，分别以2*2统计梯度方向直方图，将0～360°划分为6个梯度方向，分别是bin₁表示0～60°，bin₂表示60～120°，bin₃表示120°到180°，bin₄表示180°到240°，bin₅表示240°到300°，bin₆表示300°到360°，将2*2的单元中按角度方向进行分类，梯度幅值累加作为该bin的值进行存储，因此整幅图可以形成6幅特征图像，作为第二至七个特征。

针对每一幅特征图像采用3*3高斯核滤波器进行平滑处理，降低特征的维度空间，计算每个金字塔的特征图像，高斯核公式为：

本发明使用采用跳变步长为4对金字塔特征图像进行滑动窗口扫描，使用boost方式对扫描滑动窗口进行判断，取得车灯目标区域；基于上一步过程中车灯目标得分，对所有车灯目标得分进行排序处理，根据得分结果采用极大值抑制输出结果，得到最终的车灯检测区域；根据检测得到的车灯位置，对车灯进行跟踪从而获取车辆运动轨迹。

本发明实例中，采用卡尔曼滤波的方法对车灯进行跟踪，将车灯的中心位置及速度信息作为系统的状态变量，x^～＝[x_p,y_p,x_s,y_s]，其中x_p和y_p代表车灯中心位置的图像x和y坐标，x_s和y_s表示车辆在x与y方向上的运动速度。基于Kalman车灯跟踪主要分为预测和跟更新两部分：

(1)预测。对状态变量和状态误差方差进行估计，可以写为：

其中：

为上一时刻k-1的状态，F为状态转移矩阵，

为预测的当前时刻状态，即是当前时刻的车辆位置与速度。

对于状态误差协方差矩阵P与处理噪声协方差Q，P_k＝F*P_k-1*F^t+Q，其中k-1表示上一时刻，k表示当前时刻，F^t表示状态转移矩阵F的转置。

(2)更新。在车灯跟踪过程中，把当前时刻的预测位置距离最近的观测目标作为观察值

如果没有找到观察值，则不更新，重新执行预测。

为了对车灯位置进行更新，首先按照下式计算卡尔曼增益K_k：

K_k＝P_k*H^t*(H*P_k*H^t+R)^-1

其中：H为观测矩阵，H^t为观测矩阵H的转置，R为观测噪声协方差矩阵；增益K_k的值越大，表示更新率越小，观测值的比重就越小。

利用预测值、观测值以及卡尔曼增益K_k，对当前时刻k的状态变量与误差协方差矩阵进行更新，得到目标车辆在当前位置更新的状态估计值

可以估计得到当前时刻k的车辆位置。以此类推，就可以得到目标车辆的运动轨迹。如果某个目标连续三帧没有得到匹配或者连续一帧没有检测到，说明该目标处于图像边缘区域并已经驶出检测区域或者目标已经丢失，则删除该目标。

图3是本发明实施例的汽车矩阵式LED车灯配光分布图。本发明实例中，根据大灯的分区配置对摄像头采集到的图像进行标定处理。将整幅图像以中间为界，左右两边分别划分为L1，L2，L3，L4，L5分区，其中L1区域为0°～0.645°，L2区域为0.645°～1.289°，L3区域为1.289°～2.577°，L4区域为2.577°～5.144°，L5为5.144°～10.206°。基于图像跟踪得到灯光估计坐标，对相应区域中的灯光进行控制。

图4是本发明实施例的汽车矩阵式LED车灯照射效果示意图。A1图为远光灯全开时，位于车辆正前方的目标车辆，在横向上被远光完全覆盖，此时必将造成目标车辆驾驶员的炫目；A2为采用本发明后，远光灯系统检测到车辆前方的目标车辆，通过计算判断其位置和距离，控制相应的LED灯关闭，从而使目标车辆避免被远光照射，但是在目标车辆以外的区域，依然被远光灯覆盖；B1图为远光灯全开时，位于车辆正前方的目标车辆，在竖向上被远光完全覆盖，此时必将造成目标车辆驾驶员的炫目；B2为采用本发明后，远光灯系统检测到车辆前方的目标车辆，通过计算判断其位置和距离，控制相应的LED灯关闭，从而使目标车辆避免被远光照射，但是在目标车辆以外的区域，依然被远光灯覆盖，既避免了目标车辆被远光灯干扰，有最大程度的保证了驾驶车辆司机的视野范围。

本发明主要检测同向和逆向行驶的道路上存在的车辆目标，检测到目标进入一定范围后，对汽车远光灯进行调整，防止车辆目标接近时驾驶员出现炫光，减少夜间交通道路事故的发生。采用视觉图像检测的方式，能够在夜间实时有效对车辆灯光进行检测并排除错误虚假的干扰目标，并对车灯类型进行分类与跟踪，最终控制前照灯进行开关处理。通过本发明，可以在保证己方一直在远光灯模式下行驶，己方司机可以更加专注的驾驶，也能始终保持最佳视野，最大限度的保证夜间行车的安全和舒适性；同时，也不会给车辆甚至行人等目标造成光线干扰，有效的保证各方的安全及舒适。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应在本发明的保护范围之内。

Claims (4)

1.一种视觉感知下汽车前灯尾灯识别跟踪方法，包括视频图像采集、局域空间车灯检测、全局空间车辆检测、车灯轨迹实时跟踪以及矩阵式LED颗粒控制，首先以车灯连通区域面积、中心坐标、水平距离、参考距离以及坐标匹配为约束条件，进行自适应二值化处理、车灯形态学分析和区域信息车灯配对；继而基于颜色空间转换构建图像金字塔序列对全局车头车尾进行检测，在排除干扰下采用极大值抑制贪婪算法，获得前方车辆对于本车的方位、速度和位置运动参量；以视觉感知获得的方位信息作为反馈，建立图像视野与LED光照间的对偶映射模型，对汽车矩阵式LED前照大灯中单颗乃至成组灯光亮弱进行控制，实现汽车LED前照灯自适应调节，其特征在于：

步骤1)在干扰灯光过滤下利用车灯区域亮度特性进行自适应亮度阈值处理，进行局域空间内车灯识别；

步骤2)基于视频图像颜色空间转换处理，构建图像金字塔序列来对全局空间内车头车尾位置进行定位；

步骤3)基于视觉传感系统、物像探测距离以及感光特性来跟踪车灯运动轨迹并自适应控制矩阵式LED车灯；

前大灯检测具体步骤为：

(1)自适应二值化：利用最大类间方差法自适应地确定灰度阈值，基于聚类的图像二值化方法，车灯区域内和区域外为两类类间像素，有效地分割出图片中亮度高区域，并且对变化的环境和光源光照有很好的自适应性；

(2)形态学分析：经过自适应二值化后将目标图像的车灯凸显出来，基于前灯高亮且近似对称，通过开运算去除孤立噪点、闭运算填充目标内部以及连通性分析，车灯所在的区域形成了一个闭合的连通区域A_m，且面积大于一定的阈值T_m；

(3)车灯配对：完成形态学分析中的区域提取后，获得了一个保护车灯以及其他背景光斑、路灯区域的区域链表，将各区域的基本信息进行车灯匹配，有如下约束条件：(a)连通区域的面积A_c，一个车灯连通区域的面积用该连通区域的像素总和来表示；(b)连通区域的中心坐标X_cY_c，每个连通区域的中心坐标(X_c，Y_c)需要记录下来，作为其他约束条件的基础；(c)连通区域的水平距离，根据连通区域的中心坐标计算出各个连通区域间的水平距离，由于车辆两个车灯距离相对稳定，且不同区域的水平距离可以表示为参考距离D_r，准确地判断同一个车辆在图像中远近不同位置时的车灯间距，继而进行匹配；(d)车灯分析区域的匹配坐标验证，在全局车头检测区域Rect中，阈值法区域的左右车灯必须在全局车辆模型范围内，车灯连通中心坐标在车头区域满足以下条件：

其中X_gap，Y_gap表示为车灯相对车身的水平和竖直方向的间距经验值，Rect_x，Rect_y，Rect_w，Rect_h为全局车辆检测结果矩形区域；(e)前述连通区域面积、连通区域中心坐标以及连通区域水平距离三个约束条件必须在合理的区间范围，才能被最终判断为真实的汽车前灯并对其进行配对组合，为防止某一个帧的误匹配，根据连续2～3帧的历史匹配结果进行比较判断，匹配成功加入预跟踪队列Qtrack中；

基于夜间环境下的尾灯特殊性，将其转换为更接近人眼的色彩感知空间，即HSV颜色空间，车尾大灯检测具体步骤为：

给定一幅RGB彩色空间，每个HSV的分类的计算如下：

在HSV空间进行车尾灯区域分割：

(1)收集大量的车尾灯样本在HSV空间分布，车灯在HSV空间的分布阈值如下H：9°～342°，S：0.4645～1.0，V：0.2～1.0，在HSV空间中的范围可以对车灯进行检测，得到二值图像掩码Mask；

(2)尾灯区域提取，在二值掩码Mask基础上，首先进行形态学分析去除车身上的光斑以及大片干扰区域得到可疑候选的尾灯区域C_d，然后在所有尾灯区域进行轮廓填充，即可获得比较好的车尾灯区域；

(3)尾灯匹配：参考前灯匹配过程，匹配成功加入统一的预跟踪队列Qtrack；

根据摄像头获取采集到的视频信息，将颜色空间转换至RGB空间，以约为0.9的倍数进行缩小，构建图像金字塔，并保留帧的时间戳信息，可以表示为

R'＝Y'+1.140V'

G'＝Y'-0.394U'-0.581V'

B'＝Y'+2.032U'

其中：R’，G’，B’分别是图像的红，绿，蓝三通道的像素值，Y’，V’，U’为采集的图像颜色空间；

在图像金字塔中，将每一幅图像平均采样为原图的一半后，分别计算红，绿，蓝三个通道的梯度幅值与方向，取其中幅值最大的值为特征幅值作为第一个特征，幅值与方向计算公式为：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

其中：x，y为图像中每个像素点的坐标，I表示该像素点的值；

将原图像划分为若干个单元，每个单元的大小为2*2，分别以2*2统计梯度方向直方图，将0～360°划分为6个梯度方向，分别是bin₁表示0～60°，bin₂表示60～120°，bin₃表示120°到180°，bin₄表示180°到240°，bin₅表示240°到300°，bin₆表示300°到360°，将2*2的单元中按角度方向进行分类，梯度幅值累加作为该bin的值进行存储，因此整幅图可以形成6幅特征图像，作为第二至七个特征；

针对每一幅特征图像采用3*3高斯核滤波器进行平滑处理，降低特征的维度空间，计算每个金字塔的特征图像，高斯核公式为：

采用跳变步长为4对金字塔特征图像进行滑动窗口扫描，使用boost方式对扫描滑动窗口进行判断，取得车灯目标区域；基于上一步过程中车灯目标得分，对所有车灯目标得分进行排序处理，根据得分结果采用极大值抑制输出结果，得到最终的车灯检测区域；根据检测得到的车灯位置，对车灯进行跟踪从而获取车辆运动轨迹。

2.根据权利要求1所述的一种视觉感知下汽车前灯尾灯识别跟踪方法，其特征在于：所述步骤1)中，在干扰灯光过滤下利用车灯区域亮度特性进行自适应亮度阈值处理，进行局域空间内车灯识别，具体为：利用最大类间方差法自适应地确定灰度阈值分割图像中高亮区域，结合孤立噪点去除、闭运算目标填充以及连通性分析，基于车灯形态学分析获得保护车灯以及背景光斑、路灯区域的区域链表，以包含车灯连通区域面积、中心坐标、水平距离、参考距离以及坐标匹配为约束条件对车灯进行识别。

3.根据权利要求1所述的一种视觉感知下汽车前灯尾灯识别跟踪方法，其特征在于：所述步骤2)中，基于视频图像颜色空间转换处理，构建图像金字塔序列来对全局空间内车头车尾位置进行定位，具体为：基于原视频图像进行颜色空间转换，获得图像梯度、角度、梯度直方图参量组成图像的特征金字塔，采用boost训练获得特征模型对特征金字塔进行滑动窗口扫描，利用极大值抑制贪婪算法对车灯目标进行合并，根据位置信息排除干扰得到车灯的位置。

4.根据权利要求1所述的一种视觉感知下汽车前灯尾灯识别跟踪方法，其特征在于：所述步骤3)中，基于视觉传感系统、物像探测距离以及感光特性来跟踪车灯运动轨迹并自适应控制矩阵式LED车灯，具体为：基于视觉感知获得车灯的中心坐标以及移动速度，根据最近邻目标信息利用卡尔曼滤波器进行方程更新以及目标跟踪，结合摄像头视野与LED车灯光照区域的映射关系，精确地控制对应LED颗粒的亮弱，使得汽车LED颗粒根据前方车辆车头和车尾灯光位置产生明暗不同的照明区域。

Images