CN111488808B - 基于交通违法图像数据的车道线检测方法 - Google Patents

Abstract

本发明公开了一种基于交通违法图像数据的车道线检测方法，属于图像处理领域。该方法的具体步骤为：S1：读入多张由同一交通违法抓拍设备沿相同视角拍摄到的交通违法图片，每张交通违法图片中均含有待检测的车道线；S2：分别对每一张交通违法图片进行车道线检测；S3：针对多张交通违法图片中的所有合并线段，再次进行聚类和多线段拟合，使每个类别的所有合并线段最终融合成一条车道线。该方法具有较好的实时性与准确性，能够大量节省原本标注各个设备下的车道线信息所需的人工成本，加快二次违法检测程序的运行。

Description

基于交通违法图像数据的车道线检测方法

技术领域

本发明属于图像处理领域，具体涉及到一种基于交通违法数据中的车道线检测方法。

背景技术

近年来随着交通设施和违法抓拍系统的健全，在一定程度上减少了交通事故的发生。但是其违法数据都是由人工筛选，分类出违法、不违法数据。其数据量庞大，人工效率低，故而存在许多交通违法行为的二次检测方法，而本文方法主要是针对于车道线检测以便帮助这些二次违法检测程序的判断。同时近年来随着科技逐步发展，越来越多的学者开始关注和研究车道线的检测。车道线识别的方法主要有hough变换方法和基于道路模型方法等。he/Rong等人使用Canny算子进行边缘检测，配合Hough变换方法进行车道线检测，时间复杂度较高，而且其车道线检测的适用范围小，主要是针对无人驾驶数据的车道线检测，而且其只关注左右两个车道。而对于违法抓拍数据中的车道线检测，其包含多条车道线的检测，与其场景复杂，车道线受光照、破损、车辆遮挡等影响。如何从此类复杂的图像数据中准确检测出车道线，是亟待解决的技术问题。

本文介绍基于交通违法数据中的车道线检测方法，使用深度学习中目标检测模型对干扰物体检测并进行去噪，通过自适应阈值的边缘检测方法，从而缩小感兴趣区域、降低车道线识别的算法复杂度。之后，通过同一路口的多张图像进行拟合直线，检测出我们需要关注的车道线。最后，我们通过实时系统验证了所提算法的实时性与有效性。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于交通违法图像数据的车道线检测方法，使其能从复杂的交通违法图像数据中准确检测出车道线。

为实现上述发明目的，本发明所采用的具体技术方案如下：

一种基于交通违法图像数据的车道线检测方法，其步骤如下：

S1：读入多张由同一交通违法抓拍设备沿相同视角拍摄到的交通违法图片，每张交通违法图片中均含有待检测的车道线；

S2：分别对每一张交通违法图片进行车道线检测，检测方法如S201～S206：

S21：使用目标检测模型对交通违法图片进行干扰物检测，所述干扰物包括图像中的车辆和行人；

S22：利用边缘检测方法对交通违法图片进行边缘检测，得到图像中目标轮廓的二值化图像；

S23：基于S21中检测到的干扰物位置信息，在S22的二值化图像中抹去干扰物所占空间内的所有轮廓数据，得到去噪图像；

S24：针对所述去噪图像，使用霍夫直线检测方法得到图像中所有的线段；

S25：以所述去噪图像中两两线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有线段进行聚类，将所有线段分为若干类别；

S26：分别针对S25中获得的每个类别，将该类别下的所有线段进行多线段拟合，使每个类别的所有线段最终融合成一条合并线段；

S3：针对多张交通违法图片中的所有合并线段，以所述两两合并线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有合并线段进行聚类，将所有合并线段分为若干类别；针对合并线段的每个类别，将该类别下的所有合并线段进行多线段拟合，使每个类别的所有合并线段最终融合成一条车道线。

在上述技术方案基础上，本发明的各步骤还可以采用如下优选方式实现。

优选的，所述的S1中，读入的交通违法图片数量为3张或3张以上图像。

优选的，所述的S22中，所述边缘检测方法为自适应阈值的Canny边缘检测算法。

优选的，所述的S23中，去噪图像的获取方法为：获取S21中检测到的所有干扰物的最小外包围框的位置信息，然后在S22中获取的二值化图像中，抹去落入任意一个最小外包围框内的轮廓数据，最终得到去除干扰物的去噪图像。

优选的，所述的S24中，霍夫直线检测方法检测时，最小线段长度设为图像高度的五分之一，同一方向上两条线段判定为一条线段的最大允许间隔为图像高度的二十八分之一。

优选的，所述的基于线段间距可变聚类中心的聚类方法步骤如下：

S251：针对图像中的任意两条线段，计算两条线段之间的最短距离，若两条线段相交则最短距离为0，若两条线段不相交则最短距离为两条线段的4个端点到另一条线段距离的最小值；

S252：将图像中的所有线段设为第一集合；

S252：从第一集合中任选一条作为初始聚类中心加入初始化为空集的第二集合，分别判断所述第一集合中的剩余线段与当前作为初始聚类中心的线段之间的最短距离是否超过距离阈值，若第一集合中的某条线段小于距离阈值，则将其从第一集合中删除并加入第二集合中，遍历完第一集合中的所有线段后将第二集合中的所有线段作为一个类别；

S253：不断重复S252，直至第一集合为空集，即完成图像中所有线段的聚类。

优选的，所述的多线段拟合方法为：对于任意一个类别下的所有线段，将所有线段在图像中覆盖的所有像素点作为样本点，通过最小二乘法对所有样本点进行线性拟合，得到一条拟合直线；然后从拟合直线上截取在所有线段的上边界和下边界范围内的线段，得到一条合并线段。

优选的，对于任意一个类别下的所有线段，在采用所述的多线段拟合方法之前，应预先对线段进行平滑去噪处理。

本发明相对于现有技术而言，具有以下有益效果：

本发明提出的基于交通违法图像数据的车道线检测方法，使用深度学习中目标检测模型对干扰物体检测并进行去噪，通过自适应阈值的边缘检测方法，从而缩小感兴趣区域、降低车道线识别的算法复杂度。该方法通过同一路口的多张图像进行拟合直线，即可检测出图像中的完整车道线。该方法具有较好的实时性与准确性，能够大量节省原本标注各个设备下的车道线信息所需的人工成本，加快二次违法检测程序的运行。

附图说明

图1为本发明的基于交通违法图像数据的车道线检测方法流程图；

图2为实施例中初始读入的3张交通违法图片；

图3为3张交通违法图片的二值化图像；

图4为3张交通违法图片中各自提取的所有线段的示意图；

图5为3张交通违法图片中经过多线段拟合得到的合并线段示意图；

图6为3张交通违法图片中的合并线段经过聚类、拟合后的车道线示意图；

图7为该方法提取的4条车道线加载于原始交通违法图片上的示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步阐述和说明。

如图1所示，在本发明的一种优选实现方式中，提供了一种基于交通违法图像数据的车道线检测方法，其具体步骤如下：

S1：读入多张由同一交通违法抓拍设备沿相同视角拍摄到的交通违法图片，每张交通违法图片中均含有待检测的车道线。考虑到检测的准确性，读入的交通违法图片数量应当保持3张或3张以上图像。当路面干扰物较多，单张图片中车道线被阻挡比例较大时，图片数量应当适当扩大。

而且由于本发明中的车道线是通过直线检测后拟合得到的，因此需要保证各张图片中车道线的位置时固定不变的。基于此，交通违法抓拍设备优选采用固定的定点摄像头，其安装位置、拍摄角度、拍摄参数均保持相同，保证拍摄的交通违法图像中除了车辆之外的背景(包括车道线位置)也保持相同。

S2：分别对每一张交通违法图片进行车道线检测，检测方法如S201～S206：

S21：使用目标检测模型对交通违法图片进行干扰物检测，由于交通违法图片一般拍摄的是道路及两侧的图像，因此图像中的干扰物主要是车辆和行人。此处，目标检测模型可以是任意能够检测出图像中此类目标的神经网络模型，例如 YOLO模型。为了便于后续调用，检测结果中需要保存干扰物所占空间的位置和大小信息，可以以最小外包围框的角点、包围框长度和包围框宽度的三元组形式保存。

S22：利用边缘检测方法对交通违法图片进行边缘检测，得到图像中目标轮廓的二值化图像。边缘检测方法应当能够适应白天和夜间图像的边缘轮廓检测，优选推荐自适应阈值的Canny边缘检测算法。

S23：基于S21中检测到的干扰物位置信息，在S22的二值化图像中抹去干扰物所占空间内的所有轮廓数据，得到去噪图像。由于在S21中以及检测并保存了的所有干扰物的最小外包围框的位置信息，因此此处去噪图像的获取方法为：在前一步获取的二值化图像中，按照最小外包围框在二值化图像中映射的空间位置，抹去落入任意一个最小外包围框内的轮廓数据，由此从图像中去除了车辆、行人等非车道线干扰物的影响，得到去除干扰物的去噪图像。

S24：由于车道线一般都是直线，而路上的其他非车道线物体大多呈非直线形式，因此可以针对上述得到的去噪图像，使用霍夫直线检测方法得到图像中所有的线段，这些线段就是可能的车道线。霍夫直线检测方法中的各参数，需要基于多次试验进行确定，以便于准确检测出图像中的车道线。由于车道线本身具有一定宽度，因此二值化图像中同一车道线会检测出多条直线段，需要进一步对这些直线段进行合并处理。

S25：以去噪图像中两两线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有线段进行聚类，将所有线段分为若干类别。此处，基于线段间距可变聚类中心的聚类方法具体步骤如 S251～S253：

S251：针对去噪图像中的任意两条线段，计算两条线段之间的最短距离。由于两条线段之间可能是相交的，也可能是不相交的，因此可以先通过算法判断两条线段是否相交，在分别针对这两种情况计算其最短距离：若两条线段相交，则最短距离为0；若两条线段不相交，则两条线段一共有4个端点，分别计算每个端点到另一条线段的垂直距离，然后从4个距离值中选择最小值作为两条线段之间的最短距离。

S252：将去噪图像中的所有线段设为第一集合；

S252：从第一集合中任选一条作为初始聚类中心加入初始化为空集的第二集合，分别判断第一集合中的剩余线段与当前作为初始聚类中心的线段之间的最短距离是否超过距离阈值，若第一集合中的某条线段小于距离阈值，则将其从第一集合中删除并加入第二集合中，遍历完第一集合中的所有线段后将第二集合中的所有线段作为一个类别；

S253：不断重复S252，直至第一集合为空集，即完成图像中所有线段的聚类。

一般来说，最终的聚类类别数与图像中的车道线数量是相同的。因此，如果类别数过多，则需要进一步判断是否存在其他被错误识别呈车道线的目标。

S26：分别针对S25中获得的每个类别，将该类别下的所有线段进行多线段拟合，使每个类别的所有线段最终融合成一条合并线段。

对于每个类别下的所有线段，进行多线段拟合方法可以采用如下具体方式：对于任意一个类别下的所有线段，由于线段本身具有一定宽度，因此每条线段均在图像中覆盖部分像素点，每个像素点均具有坐标；将所有线段在图像中覆盖的所有像素点作为样本点，即可通过最小二乘法对所有样本点进行线性拟合，得到一条拟合直线。由于线性拟合得到的是一条无限长的直线，因此需要对其进行截断。而违章图像一般是从上往下拍摄的，车道线在图像中是从下往上延伸的，因此截断时可以在所有线段覆盖的像素点中，查找位于最上方的像素点和位于最下方的像素点，由此确定车道线的上边界和下边界，然后从拟合直线上截取处于上边界和下边界范围内的这一段线段，得到一条合并线段。

另外，在进行S26的多线段拟合过程中，由于是以像素点为样本点拟合的，因此假如二值化图像中的线段本身存在噪点，其会对拟合产生不利影响，进来在进行多线段拟合之前，预先对线段进行平滑去噪处理，去除没用的噪点。

经过上述步骤，可以在每张交通违法图片中检测到车道线(即合并线段)，但此时由于图像中车辆、行人等干扰物的覆盖，车道线并不完整，可能一条车道线被分断成了多段。因此需要进一步进行后续处理。

S3：针对多张交通违法图片中的所有合并线段，同样参照S25中的做法，以两两合并线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有合并线段进行聚类，同属于一条车道线的合并线段其间距必然很小，因此通过聚类就可以将所有合并线段分为若干类别。一般来说，最终的聚类类别数与图像中的车道线数量是相同的。此处基于线段间距可变聚类中心的聚类方法具体参见前述的S251～S253，不再赘述。

同样的，参照S26中的做法，再针对合并线段的每个类别，将该类别下的所有合并线段进行多线段拟合，使每个类别的所有合并线段最终融合成一条车道线。此处多线段拟合的具体方法也参见前述的S26，不再赘述。

当所有交通违法图片中的合并线段被聚类、拟合后，就得到了图像中的所有车道线。因此，通过本发明的方法，无需进行人工标记，就可以由计算机直接识别出图像中的车道线，同时不受干扰物的影响。

下面将上述方法应用至具体实施例中，以展示其具体实现过程和技术效果。

实施例

步骤1.读入某一设备下的3张或3张以上图像

首先，导入同一卡口号的交通违法图像数据，本实施例中单次导入张数为3 张，导入的3张图像如图2所示。这些图像为同一个前端固定摄像头抓拍的违法变道数据，用于通过二次违法检测程序判断该违法车辆是否压线变道。但图像中的车道线未标记，而且部分车道线被车辆阻挡，因此需要通过本发明的方法检测图像中的两条中心车道线以及两条侧边缘的车道线并标记。

步骤2.采用自适应阈值方法对图像进行边缘检测，并对二值化图像使用目标检测模型去噪，得到每一张交通违法图片中的车道线

(1)载入单张交通违法图像，使用目标检测模型(如YOLO)对干扰物体 (主要为车辆和行人)进行定位检测，并记录其最小外包围框的位置信息。

(2)对单张交通违法图像进行自适应阈值的边缘检测方法。经实验结果表明，自适应阈值的边缘检测方法优于固定阈值法，在图像中的环境为黑夜、雾天或雨天的情况下，二值化图像仍能清晰的摹绘出车道线的轮廓。

本实施例中采用自适应阈值的Canny边缘检测算法，算法具体步骤如下：

1.求取灰度图像的梯度图image和梯度的最大值maxv；

2.设置梯度图的直方图hist的hist_size＝maxv,ranges在[0,maxv]范围内，并计算直方图hist；

3.设置非边缘像素点占整幅图像像素点的比例PercOfPixelsNoEdges；

4.设置total阈值，total＝size.height*size.width*PercOfPixelsNoEdges；

5.遍历直方图hist中，每个梯度值对应的像素点个数，并求和保存在sum变量中；

6.如果sum变量的值大于total的值，退出hist遍历的循环；

7.计算Canny的低阈值和高阈值。

a.如果某一像素位置的幅值超过高阈值,该像素被保留为边缘像素。

b.如果某一像素位置的幅值小于低阈值,该像素被排除。

c.如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。

8.使用第七步中得到的高低阈值对图像进行边缘检测，得到二值化图像。

(3)在使用自适应阈值的边缘检测方法，得到二值化图像后，载入第一步中记录的干扰物体的外包围框位置，然后对二值化图像上的对应外包围框内的边缘轮廓数据进行抹除。

(4)对同一设备下的所有3张图像进行如上1-3步，得到的二值化图像如图3所示。

(5)使用霍夫直线检测得到图像中所有的线段，并记录结果，霍夫直线检测的参数设置如下：

lines＝cv2.HoughLinesP(edges,1,np.pi/180,118,minLineLength＝edges.Shape[0]/5,maxLineGap＝edges.Shape[0]/28)

即：最小线段长度minLineLength为图像高度的五分之一，同一方向上两条线段判定为一条线段的最大允许间隔(断裂)maxLineGap为图像高度的二十八分之一。以上参数根据实际数据聚类分析得到。

霍夫直线检测的结果如图4所示，此时每一条车道线位置具有多条线段，需要进一步进行合并。

(6)使用基于距离的聚类方法对直线进行聚类并拟合直线：

根据图像分析可知，最终结果我们只需要四条车道线。而霍夫检测得到的直线繁多，而且不知道这些直线总共归属于几条车道线。因此本文对基于距离的聚类方法进行改进，使用两两线段之间的最短距离作为距离衡量标准，聚类中心可变，称之为基于线段间距可变聚类中心的聚类方法，该聚类方法的具体步骤如下：

1)计算两线段之间的距离：给出线段端点A1、A2的坐标，构成线段A1A2，再给出线段端点B1、B2的坐标，构成线段B1B2，求线段A1A2与线段B1B2 的最短距离：

a.区别两条线段的位置关系的不同情况：

1两线段相交成X型；

2两线段相交成T型；

3两线段相交成^型,其中有两点重合；

4四个点在一条直线上,视为相交；

5两线段不相交。

b.判断两线段是否相交

上述1、2、3、4是两条线段相交的情况，而对于两线段相交的情况，距离直接为0。

c.若两线段不相交,则求两线段最短距离

线段A1A2与线段B1B2的距离为以下四个距离中最小的一个：

1.点A1到线段B1B2的距离；

2.点A2到线段B1B2的距离；

3.点B1到线段A1A2的距离；

4.点B2到线段A1A2的距离。

2)设定聚类的距离阈值，单张图像中所有的线段为集合A＝{L1，L2，L3···，Ln}随机选择一条线段L1为初始聚类中心，加入集合B中，故B＝{L1}。对A 中的所有线段计算与B中线段的距离若小于距离阈值则加入集合B中。从集合 A中删除线段Lm添加至B中，则有B＝{L1，Lm}，A＝{不含L1和Lm}，对集合B中的线段一一与集合A中的线段计算距离，小于距离阈值则加入B中，直到集合B的大小不再变化。

3)再从集合A中剩余的线段随机选取下一条线段L2作为下一个聚类中心，重复第二步中的步骤，直至集合A为空。最终结果可得到n个聚类类别即集合 B1、B2、B3…Bn。在这n个集合中，两两集合中的一个集合里的某一线段必定与其另一集合中的每一线段距离大于距离阈值，并在其同一集合中存在一条线段与之距离小于距离阈值。

4)对n个聚类结果得到的集合B1-Bn中的线段，首先对线段进行平滑去噪，然后对每个类别中的所有线段，采用前述的最小二乘法进行多线段拟合，得到n 条合并线段。由于本发明的图像中，一共具有4条车道线，因此n＝4。

经此步骤得到的图像效果如图5所示，此时每张图像中均提取到了车道线，但是由于每张图像中均存在干扰物，车道线并不是连续的。但由于不同图像中具有车道线的不同子段，因此结合其他的图像进行拼接再拟合，既可以得到完整的车道线。

步骤3.聚类、拟合各张图像中的得到的合并线段

针对步骤2中得到的同一设备下的多张图像中的合并线段，可以进行再次聚类和再次多线段拟合。此时，聚类和多线段拟合的原理均同步骤2，不同点在于步骤2取用的距离阈值较大，而步骤3取用的距离阈值可以更小。本步骤中，得到的图像效果如图6所示，此时不同图像中的合并线段被融合成了一条完整的车道线。

由此，图像中的车道线被完整的提取出来，车道线的信息可以单独保存下来，用于后续调用。

由于车道线本身具有一定宽度，在实际使用时，可以以该车道线为中心，按照预设的线宽度向两侧扩展，得到想要的车道线标记效果。具体的线宽度数值可以根据试验确定最佳取值，同一固定摄像头的取值一般是固定的。

经过如上步骤即可得到检测出车道线，检测出车道线之后，即可对这一摄像头设备下违法抓拍图像中的违法车辆和车道线位置进行逻辑判别。图7中展示了车道线线段显示在原始违法图像上的效果。本发明方法不详细介绍二次违法检测方法，只提供车道线检测方法，方便违法检测程序对违法数据的判断省去人工描绘。具体的违法检测方法可以采用现有技术，例如当违法车辆的车身面积被车道线切割成两边的车身面积都大于车身的0.25则违法，不属于本发明的重点。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种基于交通违法图像数据的车道线检测方法，其特征在于，步骤如下：

S1：读入多张由同一交通违法抓拍设备沿相同视角拍摄到的交通违法图片，每张交通违法图片中均含有待检测的车道线；

S2：分别对每一张交通违法图片进行车道线检测，检测方法如S21~S26：

S21：使用目标检测模型对交通违法图片进行干扰物检测，所述干扰物包括图像中的车辆和行人；

S22：利用边缘检测方法对交通违法图片进行边缘检测，得到图像中目标轮廓的二值化图像；

S23：基于S21中检测到的干扰物位置信息，在S22的二值化图像中抹去干扰物所占空间内的所有轮廓数据，得到去噪图像；

S24：针对所述去噪图像，使用霍夫直线检测方法得到图像中所有的线段；

S25：以所述去噪图像中两两线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有线段进行聚类，将所有线段分为若干类别；所述的基于线段间距可变聚类中心的聚类方法步骤如下：

S251：针对图像中的任意两条线段，计算两条线段之间的最短距离，若两条线段相交则最短距离为0，若两条线段不相交则最短距离为两条线段的4个端点到另一条线段距离的最小值；

S252：将图像中的所有线段设为第一集合；

S252：从第一集合中任选一条作为初始聚类中心加入初始化为空集的第二集合，分别判断所述第一集合中的剩余线段与当前作为初始聚类中心的线段之间的最短距离是否超过距离阈值，若第一集合中的某条线段小于距离阈值，则将其从第一集合中删除并加入第二集合中，遍历完第一集合中的所有线段后将第二集合中的所有线段作为一个类别；

S253：不断重复S252，直至第一集合为空集，即完成图像中所有线段的聚类；

S26：分别针对S25中获得的每个类别，将该类别下的所有线段进行多线段拟合，使每个类别的所有线段最终融合成一条合并线段；

S3：针对多张交通违法图片中的所有合并线段，以所述两两合并线段之间的最短距离作为距离衡量标准，采用基于线段间距可变聚类中心的聚类方法对图像中的所有合并线段进行聚类，将所有合并线段分为若干类别；针对合并线段的每个类别，将该类别下的所有合并线段进行多线段拟合，使每个类别的所有合并线段最终融合成一条车道线。

2.如权利要求1所述的基于交通违法图像数据的车道线检测方法，其特征在于，所述的S1中，读入的交通违法图片数量为3张以上图像。

3.如权利要求1所述的基于交通违法图像数据的车道线检测方法，其特征在于，所述的S22中，所述边缘检测方法为自适应阈值的Canny边缘检测算法。

4.如权利要求1所述的基于交通违法图像数据的车道线检测方法，其特征在于，所述的S23中，去噪图像的获取方法为：获取S21中检测到的所有干扰物的最小外包围框的位置信息，然后在S22中获取的二值化图像中，抹去落入任意一个最小外包围框内的轮廓数据，最终得到去除干扰物的去噪图像。

5.如权利要求1所述的基于交通违法图像数据的车道线检测方法，其特征在于，所述的S24中，霍夫直线检测方法检测时，最小线段长度设为图像高度的五分之一，同一方向上两条线段判定为一条线段的最大允许间隔为图像高度的二十八分之一。

6.如权利要求1所述的基于交通违法图像数据的车道线检测方法，其特征在于，所述的多线段拟合方法为：对于任意一个类别下的所有线段，将所有线段在图像中覆盖的所有像素点作为样本点，通过最小二乘法对所有样本点进行线性拟合，得到一条拟合直线；然后从拟合直线上截取在所有线段的上边界和下边界范围内的线段，得到一条合并线段。

7.如权利要求6所述的基于交通违法图像数据的车道线检测方法，其特征在于，对于任意一个类别下的所有线段，在采用所述的多线段拟合方法之前，应预先对线段进行平滑去噪处理。