CN104766308A - 一种道路车辆阴影特征提取方法 - Google Patents

Abstract

本发明公开了一种道路车辆阴影特征提取方法。本发明首先通过几何约束的方法缩减需处理的数据并提取图像中的路面区域，对路面区域进行高斯卷积获得阴影的灰度上限阈值，通过该阈值按行扫描图像，获得影线的集合，记录影线的位置信息。然后根据其上下邻域之间的差值将影将其分为基准影线与普通影线，将基准影线保存于结果集中，通过普通影线与基准影线之间的位置关系融合来模拟车辆的阴影特征，提取可能包含车辆的区域。本发明通过影线的提取与融合模拟现有的基于区域的特征提取方法，对绝大多数的车辆有着较好的提取效果。本发明耗时较少，漏检率较低，特别是对远方车辆有着较好的检测效果，提高了系统的检测率。

Description

一种道路车辆阴影特征提取方法

技术领域

本发明属于特征提取技术领域，尤其涉及一种道路车辆阴影特征提取方法，具体的涉及一种基于阴影直线融合的车辆阴影特征提取方法。

背景技术

随着交通事业的高速发展，交通安全变得越来越重要。高级驾驶辅助系统(advanced driver assistance systems)中的前方车辆的检测是系统的中心问题。车辆特征提取技术(Hypothesis Generation)是前方车辆检测技术中的关键一环,通过提取图像中可能含有车辆的特征区域，实现高效车辆检测。车辆的阴影特征是前方车辆底部连续且面积较大的阴影区域，图像中的车辆阴影特征的平均灰度总是低于其邻域且与车辆一一对应，其位于车辆底部，便于定位图像中的前方车辆，因此阴影特征是道路车辆检测中常用特征之一。

现有的提取车辆阴影特征算法大多利用颜色分割的方法检测和提取阴影区域，一般通过阴影阈值将原图像进行二值化处理，并在二值图像中进行图像分割，通过对分割结果的形状判断找出近似矩形的区域，确定车辆阴影区域。这类方法对近距离车辆阴影检测的准确率较高，但是，对于远处车辆不太明显的阴影，上述固定阈值的阴影区域分割提取和区域筛选算法极易产生漏检，严重影响车辆检测性能。

发明内容

本发明的目的是针对现有技术的不足，提出一种道路车辆阴影特征提取方法。

本发明解决其技术问题采用的技术方案如下：

一种道路车辆阴影特征提取方法，包括如下步骤：

步骤1：视频数据的提取与预处理

1-1、从摄像头读取前方车辆的视频数据，对视频数据中的每帧图像进行几何约束限制；

设视频数据中的原图像A的宽和高分别为Aw、Ah，通过几何约束限制对原图像A进行截取，获得截取后的图像B；图像B的宽度为[Aw/4,3×Aw/4]，B的高度为[Ah/2-Ah/10,Ah-Ah/10]；

1-2、提取HSV通道中的V分量作为单通道图像VImg；

1-3、提取单通道图像VImg的二值化边缘图SImg；

步骤2：阴影阈值计算

2-1、记录单通道图像VImg的宽度MaxWidth与长度MaxHeight，从底部开始扫描单通道图像VImg的每一列，每列上找到一个像素点A，该像素点A使得二值化边缘图SImg在该像素点A的值为0；

2-2、在同一列上，从该像素点A开始逐点向上扫描，计算相邻两个像素点的差值，若其中像素点B存在差值的突变δV，则记录该列上像素点A到像素点B之间的距离highIndex，并将距离highIndex压入高度队列HVector；

2-3、待所有列扫描完成后，保留单通道图像VImg上每列中像素点A到像素点B之间的所有像素，保留的所有像素点形成路面图RoadImg，对路面 图RoadImg进行卷积求出均值mean与标准差stdev，并求出阴影阈值threshold：

threshold＝mean-3×stdev；

步骤3：通过阴影阈值threshold提取影线

3-1、通过阴影阈值threshold，自底向上对单通道图像VImg的每一行进行扫描，具体扫描如下：

从左向右扫描单通道图像VImg中的一行像素点，如果扫描到的像素点p的灰度值小于阴影阈值threshold，且像素点p点未被包括到任意一条影线中，则认定像素点p为阴影点，并将像素点p作为一条影线的起始点；

3-2、创建构成影线的点集C_p；

将与像素点p同行且位于像素点p右侧的像素点依次加入点集C_p，直至点集C_p的平均灰度大于阴影阈值threshold或超出该行范围，将点集Cp视为一条影线，记录其左右端点(p,s)与行号，并将该影线放入影线集合S_SL中；

所述的s为该影线的终点的像素点；

3-3、对影线的补全，如果像素点s右侧1/5长度范围内存在阴影点i，则将从像素点s到像素点i之间的像素的灰度值设为阴影阈值threshold，重复步骤3-2；

步骤4：对影线集合S_SL进行分类，提取基准影线

求出影线集合S_SL中每一条影线SL上邻域和下邻域的亮度均值Gb、Gl，并计算Gb与Gl的差值；如果Gb与Gl的差值大于阴影阈值threshold，则认定该条影线SL为阴影区域底层的基准影线BSLine，将其存储于B_SL中；如 果Gb与Gl的差值小于等于阴影阈值threshold，则认为其为普通影线FSL；

所述的B_SL为存储基准影线的数据结构，是一个长度与单通道图像VImg宽度相等的数组；当需要存储基准影线BSLine时，更新基准影线BSLine范围内数组B_SL中的元素，该元素记录了基准影线BSLine的行号Row；

所述的基准影线BSLine范围指从该基准影线BSLine的起始点到终点的所有像素点；

步骤5：通过影线融合的方法获取阴影区域

获取与步骤4得到的普通影线FSL相匹配的基准影线BSL；根据普通影线FSL与基准影线BSL位置关系进行融合，从而拟合车辆阴影区域；

5-1、融合普通影线FSL与基准影线BSL，当len(OverRider)>0且HM<10×len(BSL)/9时，则认为普通影线FSL与基准影线BSL之间存在匹配关系，其中len(OverRider)为普通影线FSL与基准影线BSL的重叠区域OverRider的长度，HM为融合影线FSL与基准影线BSL之间的高度差，len(BSL)为与普通影线FSL相匹配的基准影线BSL的长度；设单通道图像VImg宽度为MaxWidth，则融合后所得的基准影线BSL的长度上限阈值L为0.2×MaxWidth；

普通影线FSL与基准影线BSL具体匹配处理如下：

设普通影线FSL的起点为P(Px，Y)，终点为S(Sx，Y)；

如果(Px，Sx)的区间内不存在基准影线BSL，或普通影线FSL的纵坐标Y与基准影线BSL的纵坐标的高度差HM大于基准影线BSL的长度len(BSL)，则普通影线FSL与基准影线BSL无法融合；因此计算普通影线FSL的水平边缘均值Ve与长度len(FSL)；若Ve大于50且len(FSL)小于长度上限阈值L， 则将普通影线FSL视为一条基准影线BSLine并更新B_SL；否则将普通影线FSL丢弃；

如果(Px，Sx)的区间中存在基准影线BSL，且基准影线BSL的坐标范围未超出区间(Px，Sx)，则表示普通影线FSL完全覆盖了基准影线BSL；如果普通影线FSL的长度未超出长度上限阈值L，则更新基准影线BSL的长度，使得基准影线BSL覆盖普通影线FSL；如果在区间(Px，Sx)中存在多条基准影线BSL，则将多条基准影线BSL组合为一条基准影线BSL，并将多条基准影线BSL中高度最大值作为组合后基准影线BSL的纵坐标；

所述的多条基准影线BSL组合为一条基准影线BSL具体如下：

记录多条基准影线BSL中最大的高度值M，然后将所有的基准影线BSL删除，将区间(Px，Sx)中B_SL的元素全部置为M，表示一条高度为M，左右边界与普通影线FSL相同的基准影线BSL；

如果普通影线FSL未完全覆盖基准影线BSL，则根据普通影线FSL与基准影线BSL重叠区域的长度len(OverRider)与高度差HM决定是否融合影线；

如len(OverRider)<len(FSL)/2，且HM>3×len(FSL)/2，则更新普通影线FSL，将普通影线FSL中与基准影线BSL重叠的范围删除；否则认定普通影线FSL存在于基准影线BSL所决定的阴影区域中，更新基准影线BSL的位置信息使其能够完全包含普通影线FSL；

所述的基准影线BSL的位置信息的更新方法如下：

设基准影线BSL的起点为m(mx，y)，终点为n(nx，y)；根据普通影线FSL扩展基准影线BSL的左右端点，形成新的基准影线BSL，其起点为M(Mx＝min(mx,Px)，y),其终点为N(Nx＝max(nx,Sx)，y)。

本发明的有益效果如下：

本发明采用了基于影线的方法提取阴影特征，通过影线的提取与融合模拟现有的基于区域的特征提取方法，对绝大多数的车辆有着较好的提取效果。较之已存在的阴影特征提取方法，本发明耗时较少，漏检率较低，特别是对远方车辆有着较好的检测效果，提高了系统的检测率。

附图说明

图1为本发明检测前车车辆的流程图。

图2为阴影区域说明图。

图3为影线融合的算法示意图。

图4为原有特征提取算法与本算法的效果对比图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。

如图1所示，一种道路车辆阴影特征提取方法，具体步骤如下：

步骤1：视频数据的提取与预处理：

1-1、从摄像头读取前方车辆的视频数据，对视频数据中的每帧图像进行几何约束限制。

设视频数据中的原图像A的宽和高分别为Aw、Ah，通过几何约束限制对原图像A进行截取，获得截取后的图像B；图像B的宽度为[Aw/4,3×Aw/4]，B的高度为[Ah/2-Ah/10,Ah-Ah/10]。

1-2、提取HSV通道中的V分量作为单通道图像VImg。

1-3、提取单通道图像VImg的二值化边缘图SImg。

步骤2：阴影阈值计算

2-1、记录单通道图像VImg的宽度MaxWidth与长度MaxHeight，从底部开始扫描单通道图像VImg的每一列，每列上找到一个像素点A，该像素 点A使得二值化边缘图SImg在该像素点A的值为0；

2-2、在同一列上，从该像素点A开始逐点向上扫描，计算相邻两个像素点的差值，若其中像素点B存在差值的突变δV，则记录该列上像素点A到像素点B之间的距离highIndex，并将距离highIndex压入高度队列HVector；

2-3、待所有列扫描完成后，保留单通道图像VImg上每列中像素点A到像素点B之间的所有像素，保留的所有像素点形成路面图RoadImg，对路面图RoadImg进行卷积求出均值mean与标准差stdev，并求出阴影阈值threshold：

threshold＝mean-3×stdev。

步骤3：通过阴影阈值threshold提取影线

3-1、通过阴影阈值threshold，自底向上对单通道图像VImg的每一行进行扫描，具体扫描如下：

从左向右扫描单通道图像VImg中的一行(R)像素点，如果扫描到的像素点p的灰度值小于阴影阈值threshold，且像素点p点未被包括到任意一条影线中，则认定像素点p为阴影点，并将像素点p作为一条影线的起始点。

3-2、创建构成影线的点集C_p；

将与像素点p同行且位于像素点p右侧的像素点依次加入点集C_p，直至点集C_p的平均灰度大于阴影阈值threshold或超出该行范围，将点集C_p视为一条影线，记录其左右端点(p,s)与行号(R)，并将该影线放入影线集合S_SL中。

所述的s为该影线的终点(最右侧)的像素点；

3-3、对影线的补全，如果像素点s右侧1/5长度(该长度为影线自身长度)范围内存在阴影点i，则将从像素点s到像素点i之间的像素的灰度值设为阴影阈值threshold，重复步骤3-2。

步骤4：对影线集合S_SL进行分类，提取基准影线

求出影线集合S_SL中每一条影线SL上邻域和下邻域的亮度均值Gb、Gl，并计算Gb与Gl的差值；如果Gb与Gl的差值大于阴影阈值threshold，则认定该条影线SL为阴影区域底层的基准影线BSLine，将其存储于B_SL中；如果Gb与Gl的差值小于等于阴影阈值threshold，则认为其为普通影线FSL。

所述的B_SL为存储基准影线的数据结构，是一个长度与单通道图像VImg宽度相等的数组；当需要存储基准影线BSLine时，更新基准影线BSLine范围内数组B_SL中的元素，该元素记录了基准影线BSLine的行号Row。

所述的基准影线BSLine范围指从该基准影线BSLine的起始点到终点的所有像素点。

步骤5：通过影线融合的方法获取阴影区域

获取与步骤4得到的普通影线FSL相匹配的基准影线BSL；根据普通影线FSL与基准影线BSL位置关系进行融合，从而拟合车辆阴影区域。

5-1、融合普通影线FSL与基准影线BSL，当len(OverRider)>0且HM<10×len(BSL)/9时，则认为普通影线FSL与基准影线BSL之间存在匹配关系，其中len(OverRider)为普通影线FSL与基准影线BSL的重叠区域OverRider的长度，HM为融合影线FSL与基准影线BSL之间的高度差， len(BSL)为与普通影线FSL相匹配的基准影线BSL的长度；设单通道图像VImg宽度为MaxWidth，则融合后所得的基准影线BSL的长度上限阈值L为0.2×MaxWidth

普通影线FSL与基准影线BSL具体匹配处理如下：

设普通影线FSL的起点为P(Px，Y)，终点为S(Sx，Y)。

如果(Px，Sx)的区间内不存在基准影线BSL，或普通影线FSL的纵坐标Y与基准影线BSL的纵坐标的高度差HM大于基准影线BSL的长度len(BSL)，则普通影线FSL与基准影线BSL无法融合；因此计算普通影线FSL的水平边缘均值Ve与长度len(FSL)。若Ve大于50(经验阈值)且len(FSL)小于长度上限阈值L，则将普通影线FSL视为一条基准影线BSLine，并更新B_SL；否则将普通影线FSL丢弃。

如图3中所示，本行row中的三条影线SLa、SLb、SLc与B_SL中的基准影线BSL没有覆盖区域，而SLb的长度过短，SLc的水平边缘均值较低，因此，将SLa作为一条基准影线BSLine，放入B_SL中。

如果(Px，Sx)的区间中存在基准影线BSL，且基准影线BSL的坐标范围未超出区间(Px，Sx)，则表示普通影线FSL完全覆盖了基准影线BSL。如果普通影线FSL的长度未超出长度上限阈值L，则更新基准影线BSL的长度，使得基准影线BSL覆盖普通影线FSL。如果在区间(Px，Sx)中存在多条基准影线BSL，则将多条基准影线BSL组合为一条基准影线BSL，并将多条基准影线BSL中高度最大值作为组合后基准影线BSL的纵坐标；

所述的多条基准影线BSL组合为一条基准影线BSL具体如下：

记录多条基准影线BSL中最大的高度值M，然后将所有的基准影线 BSL删除，将区间(Px，Sx)中B_SL的元素全部置为M，表示一条高度为M，左右边界与普通影线FSL相同的基准影线BSL。

如图3中所示，普通影线FSL覆盖了基准影线BSL，将多条影线连到一起。图4(step3)则表示了实际融合的过程。

如果普通影线FSL未完全覆盖基准影线BSL，则根据普通影线FSL与基准影线BSL重叠区域的长度len(OverRider)与高度差HM决定是否融合影线。

如len(OverRider)<len(FSL)/2，且HM>3×len(FSL)/2，则更新普通影线FSL，将普通影线FSL中与基准影线BSL重叠的范围删除。否则认定普通影线FSL存在于基准影线BSL所决定的阴影区域中，更新基准影线BSL的位置信息使其能够完全包含普通影线FSL。

所述的基准影线BSL的位置信息的更新方法如下：

设基准影线BSL的起点为m(mx，y)，终点为n(nx，y)。根据普通影线FSL扩展基准影线BSL的左右端点，形成新的基准影线BSL，其起点为M(Mx＝min(mx,Px)，y),其终点为N(Nx＝max(nx,Sx)，y)。

如图3中所示，当前的普通影线FSL部分被覆盖，然而其重叠区域较小，因此，通过其高度差进行判断，认为两条影线虽然存在覆盖，但高度差过大，因此普通影线FSL与基准影线BSL分别属于不同的阴影区域。

本发明提出的提取算法与现有方法的对比如图4所示。其中SA为原有方法的提取效果，而SL则为本发明的提取效果。可以看出本发明耗时降低，且漏检率有着明显的降低。特别是对于较远距离的车辆，本发明的检测率远远高于现有方法。

Claims (1)

1.一种道路车辆阴影特征提取方法，其特征在于包括如下步骤：

步骤1：视频数据的提取与预处理

1-1、从摄像头读取前方车辆的视频数据，对视频数据中的每帧图像进行几何约束限制；

设视频数据中的原图像A的宽和高分别为Aw、Ah，通过几何约束限制对原图像A进行截取，获得截取后的图像B；图像B的宽度为[Aw/4,3×Aw/4]，B的高度为[Ah/2-Ah/10,Ah-Ah/10]；

1-2、提取HSV通道中的V分量作为单通道图像VImg；

1-3、提取单通道图像VImg的二值化边缘图SImg；

步骤2：阴影阈值计算

2-1、记录单通道图像VImg的宽度MaxWidth与长度MaxHeight，从底部开始扫描单通道图像VImg的每一列，每列上找到一个像素点A，该像素点A使得二值化边缘图SImg在该像素点A的值为0；

2-2、在同一列上，从该像素点A开始逐点向上扫描，计算相邻两个像素点的差值，若其中像素点B存在差值的突变δV，则记录该列上像素点A到像素点B之间的距离highIndex，并将距离highIndex压入高度队列HVector；

2-3、待所有列扫描完成后，保留单通道图像VImg上每列中像素点A到像素点B之间的所有像素，保留的所有像素点形成路面图RoadImg，对路面图RoadImg进行卷积求出均值mean与标准差stdev，并求出阴影阈值threshold：

threshold＝mean-3×stdev；

步骤3：通过阴影阈值threshold提取影线

3-1、通过阴影阈值threshold，自底向上对单通道图像VImg的每一行进行扫描，具体扫描如下：

从左向右扫描单通道图像VImg中的一行像素点，如果扫描到的像素点p的灰度值小于阴影阈值threshold，且像素点p点未被包括到任意一条影线中，则认定像素点p为阴影点，并将像素点p作为一条影线的起始点；

3-2、创建构成影线的点集C_p；

将与像素点p同行且位于像素点p右侧的像素点依次加入点集C_p，直至点集C_p的平均灰度大于阴影阈值threshold或超出该行范围，将点集C_p视为一条影线，记录其左右端点(p,s)与行号，并将该影线放入影线集合S_SL中；

所述的s为该影线的终点的像素点；

3-3、对影线的补全，如果像素点s右侧1/5长度范围内存在阴影点i，则将从像素点s到像素点i之间的像素的灰度值设为阴影阈值threshold，重复步骤3-2；

步骤4：对影线集合S_SL进行分类，提取基准影线

求出影线集合S_SL中每一条影线SL上邻域和下邻域的亮度均值Gb、Gl，并计算Gb与Gl的差值；如果Gb与Gl的差值大于阴影阈值threshold，则认定该条影线SL为阴影区域底层的基准影线BSLine，将其存储于B_SL中；如果Gb与Gl的差值小于等于阴影阈值threshold，则认为其为普通影线FSL；

所述的B_SL为存储基准影线的数据结构，是一个长度与单通道图像VImg宽度相等的数组；当需要存储基准影线BSLine时，更新基准影线BSLine范围内数组B_SL中的元素，该元素记录了基准影线BSLine的行号Row；

所述的基准影线BSLine范围指从该基准影线BSLine的起始点到终点的所有像素点；

步骤5：通过影线融合的方法获取阴影区域

获取与步骤4得到的普通影线FSL相匹配的基准影线BSL；根据普通影线FSL与基准影线BSL位置关系进行融合，从而拟合车辆阴影区域；

5-1、融合普通影线FSL与基准影线BSL，当len(OverRider)>0且HM<10×len(BSL)/9时，则认为普通影线FSL与基准影线BSL之间存在匹配关系，其中len(OverRider)为普通影线FSL与基准影线BSL的重叠区域OverRider的长度，HM为融合影线FSL与基准影线BSL之间的高度差，len(BSL)为与普通影线FSL相匹配的基准影线BSL的长度；设单通道图像VImg宽度为MaxWidth，则融合后所得的基准影线BSL的长度上限阈值L为0.2×MaxWidth；

普通影线FSL与基准影线BSL具体匹配处理如下：

设普通影线FSL的起点为P(Px，Y)，终点为S(Sx，Y)；

如果(Px，Sx)的区间内不存在基准影线BSL，或普通影线FSL的纵坐标Y与基准影线BSL的纵坐标的高度差HM大于基准影线BSL的长度len(BSL)，则普通影线FSL与基准影线BSL无法融合；因此计算普通影线FSL的水平边缘均值Ve与长度len(FSL)；若Ve大于50且len(FSL)小于长度上限阈值L，则将普通影线FSL视为一条基准影线BSLine并更新B_SL；否则将普通影线FSL丢弃；

如果(Px，Sx)的区间中存在基准影线BSL，且基准影线BSL的坐标范围未超出区间(Px，Sx)，则表示普通影线FSL完全覆盖了基准影线BSL；如果普通影线FSL的长度未超出长度上限阈值L，则更新基准影线BSL的长度，使得基准影线BSL覆盖普通影线FSL；如果在区间(Px，Sx)中存在多条基准影线BSL，则将多条基准影线BSL组合为一条基准影线BSL，并将多条基准影线BSL中高度最大值作为组合后基准影线BSL的纵坐标；

所述的多条基准影线BSL组合为一条基准影线BSL具体如下：

记录多条基准影线BSL中最大的高度值M，然后将所有的基准影线BSL删除，将区间(Px，Sx)中B_SL的元素全部置为M，表示一条高度为M，左右边界与普通影线FSL相同的基准影线BSL；

如果普通影线FSL未完全覆盖基准影线BSL，则根据普通影线FSL与基准影线BSL重叠区域的长度len(OverRider)与高度差HM决定是否融合影线；

如len(OverRider)<len(FSL)/2，且HM>3×len(FSL)/2，则更新普通影线FSL，将普通影线FSL中与基准影线BSL重叠的范围删除；否则认定普通影线FSL存在于基准影线BSL所决定的阴影区域中，更新基准影线BSL的位置信息使其能够完全包含普通影线FSL；

所述的基准影线BSL的位置信息的更新方法如下：

设基准影线BSL的起点为m(mx，y)，终点为n(nx，y)；根据普通影线FSL扩展基准影线BSL的左右端点，形成新的基准影线BSL，其起点为M(Mx＝min(mx,Px)，y),其终点为N(Nx＝max(nx,Sx)，y)。