CN110163109B - 一种车道线标注方法及装置 - Google Patents

一种车道线标注方法及装置 Download PDF

Info

Publication number
CN110163109B
CN110163109B CN201910329628.9A CN201910329628A CN110163109B CN 110163109 B CN110163109 B CN 110163109B CN 201910329628 A CN201910329628 A CN 201910329628A CN 110163109 B CN110163109 B CN 110163109B
Authority
CN
China
Prior art keywords
lane line
pixel point
lane
pixel
reconstructed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910329628.9A
Other languages
English (en)
Other versions
CN110163109A (zh
Inventor
周章伟
李乾坤
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910329628.9A priority Critical patent/CN110163109B/zh
Publication of CN110163109A publication Critical patent/CN110163109A/zh
Application granted granted Critical
Publication of CN110163109B publication Critical patent/CN110163109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种车道线标注方法及装置,其中,该方法包括:对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;标注所述车道线,可以解决相关技术中复杂环境中不能准确监测出车道线的问题,可以在复杂环境中同时能够运行在嵌入式设备中,快速准确检测出车道线。

Description

一种车道线标注方法及装置
技术领域
本发明涉及图像处理领域,具体而言,涉及一种车道线标注方法及装置。
背景技术
电警场景中车道线、停止线自动标注问题,该线条的检测是为了监控车辆是否违章变道,等待红灯时是否超过停止线。由于电警场景环境比较复杂,车辆,人行道,行人均会对车道线检测产生干扰。且电警场景车辆密集,很难寻找到一张车道线没有被车辆遮挡的图片。综上原因,目前并没有针对电警场景车道线自动标注方案实现。针对车道线检测,目前有传统方法和深度学习两种主流方案。
传统方法检测车道线一般采用边缘提取,然后对图像进行hough变换处理,得到若干条线段,对于斜率与截距相似的直线段进行合并处理,最后求合并后的直线段的灭点,满足灭点的线段作为车道线。现有的传统方法虽然能把车道线检出,但同时会增加许多误检,如栏杆、树木、车辆、交通标示符等,这些样本无法用传统的方法检出。因为不论用边缘提取、阈值分割等方法都只能针对特定的场景做处理,鲁棒性不强,无法适用任意环境下的车道线检测,而且有些物体如栏杆,其RGB值及形状都和车道线极其相似,只能根据物体周围环境区分。
另一种是采用深度学习方案检测车道线。相关技术中,提出利用预先训练的深度学习模型,提取图像中各个像素的分类信息。像素分为车道线类和非车道线类。在背景干净的道路中,可以比较准确的检测出车道线,但采用resnet18,该网络模型较大,无法在嵌入式设备中使用,同时耗时也较多。
针对相关技术中复杂环境中不能准确监测出车道线的问题,尚未提出解决方案。
发明内容
本发明实施例提供了一种车道线标注方法及装置,以至少解决相关技术中复杂环境中不能准确监测出车道线的问题。
根据本发明的一个实施例,提供了一种车道线标注方法,包括:
对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
标注所述车道线。
可选地,对所述重建图像中每一个像素点进行分类包括:
将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
可选地,将聚类后的车道线进行拟合包括:
将所述重建图像中聚类后的像素点利用最小二乘法进行车道线拟合。
可选地,对所述分类后的重建图像进行车道线聚类包括:
从右下顶点开始,依次从右往左,从下往上搜索,记录所述重建图像中像素值为T的像素点对应的坐标信息;
根据所述坐标信息将所述像素值为T的像素点进行聚类。
可选地,根据所述坐标信息将所述像素值为T的像素点进行聚类包括:
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location+m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离locatio[n]k的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
可选地,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像包括:
通过车检器对视频流中的车辆进行检测;
记录每一帧中非车辆位置的像素大小;
对所述视频流中多帧非车辆位置像素进行统计,利用统计学恢复出一张没有车辆的重建图像。
根据本发明的另一个实施例,还提供了一种车道线标注装置,包括:
检测模块,用于对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
分类模块,用于对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
聚类拟合模块,用于根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
标注模块,用于标注所述车道线。
可选地,所述分类模块包括:
标记单元,用于将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
可选地,所述聚类拟合模块,还用于将所述重建图像中聚类后的像素点利用最小二乘法进行车道线拟合。
可选地,所述聚类拟合模块包括:
记录单元,用于从右下顶点开始,依次从右往左,从下往上搜索,记录所述重建图像中像素值为T的像素点对应的坐标信息;
聚类单元,用于根据所述坐标信息将所述像素值为T的像素点进行聚类。
可选地,所述聚类单元,还用于
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location+m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离locatio[n]k的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
可选地,所述检测模块包括:
检测单元,用于通过车检器对视频流中的车辆进行检测;
记录单元,用于记录每一帧中非车辆位置的像素大小;
统计单元,用于对所述视频流中多帧非车辆位置像素进行统计,利用统计学恢复出一张没有车辆的重建图像。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;标注所述车道线,可以解决相关技术中复杂环境中不能准确监测出车道线的问题,可以在复杂环境中同时能够运行在嵌入式设备中,快速准确检测出车道线。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种车道线标注方法的移动终端的硬件结构框图;
图2是根据本发明实施例的一种车道线标注方法的流程图;
图3是根据本发明实施例的车道线标注的流程图;
图4是根据本发明实施例的车道线标注中感兴趣区域的示意图;
图5是根据本发明实施例的电警场景和重建后电警场景的示意图;
图6是根据本发明实施例的事件联动的视频显示装置的框图;
图7是根据本发明实施例的Mobilenet-Fcn网络结构的框图;
图8是根据本发明实施例的Mobilenet-Fcn网络输出灰度化处理的示意图;
图9是根据本发明实施例的车道线拟合结果的示意图;
图10是根据本发明实施例的车道线标注装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种车道线标注方法的移动终端的硬件结构框图,如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的报文接收方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的车道线标注方法,图2是根据本发明实施例的一种车道线标注方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
进一步地,上述步骤S202具体可以包括:通过车检器对视频流中的车辆检测;记录每一帧中非车辆位置的像素大小;对所述视频流中多帧非车辆位置像素进行统计,利用统计学恢复出一张没有车辆的重建图像。
步骤S204,对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
步骤S206,根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
步骤S208,标注所述车道线。
通过上述步骤S202至S208,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;根据分类后的重建图像进行车道线聚类并拟合;标注所述车道线,可以解决相关技术中复杂环境中不能准确监测出车道线的问题,可以在复杂环境中同时能够运行在嵌入式设备中,快速准确检测出车道线。
本发明实施例中,上述步骤S204具体可以包括:
将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
本发明实施例中,上述步骤S206具体可以包括:
对所述前景对应的像素点进行聚类;具体地,从右下顶点开始,依次从右往左,从下往上搜索,记录像素值为T的像素点对应的坐标信息;根据所述坐标信息将所述像素值为T的像素点进行聚类。
将所述重建图像中聚类后的像素点利用最小二乘法进行车道线拟合。
进一步地,根据所述坐标信息将所述像素值为T的像素点进行聚类具体可以包括:
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location+m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离locatio[n]k的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
下面对本发明实施例进行详细说明。
图3是根据本发明实施例的车道线标注的流程图,如图3所示,包括预处理、模型预测、后处理三个阶段。其中预处理阶段是利用车检器检测一段视频流中的车辆,记录每每一帧中非车辆位置的像素大小,对视频流中若干帧非车辆位置像素进行统计,利用统计学方法恢复一张没有车辆的图片。在重建的道路中进行人行道检测,人行道下方的区域即是本提案要检测的区域,检测该区域的车道线、停止线。图4是根据本发明实施例的车道线标注中感兴趣区域的示意图,如图4所示,将感兴趣ROI区域经过resize后输入Mobilenet-Fcn网络,对图片中每个像素点进行分类,分为背景、前景两类,前景即是要检测的车道线和停止线(下文统称车道线)。对判断为前景的像素点进行聚类,一类聚为车道线,另一类聚为停止线。将聚类后的像素点利用最小二乘法进行车道线拟合,并将斜率与截距相近的车道线合并。
图5是根据本发明实施例的电警场景和重建后电警场景的示意图,如图5所示,在电警场景中,车辆常常会遮挡人行道、停止线、车道线,导致车道线和人行道现误检,因此需要对车辆进行过滤,通过多张图片恢复出较为干净的路面。图6是根据本发明实施例的道路重建的流程图,如图6所示,包括:
步骤S602,将一段视频流输入车检器中,视频中直行、左转、右转的车辆均要运动起来;或在运动的过程中随机选择N张图片作为输入。
步骤S604,像素点是否在车辆区域中,在判断结果为是的情况下,执行步骤S606,否则执行S608。
步骤S606,RGB置0,若集合为空,标示某点始终有车辆,则将此点的RGB值置为0。
步骤S608,存入集合;
假设图片的分辨率为W*H,图片中每一个像素点的集合容量为N*3。将图片依次送入车检器中,判断图片中各个像素点是否包含车辆,若不包含,将此像素的RGB值依次存入该像素对应的集合;若此像素被判断在车辆区域内,则舍去该像素点。
步骤S610,分别对每个像素集合中的RGB求平均值,此值作为重建后图片该点的像素值;
步骤S612,对得到的重建图像进行中值滤波,平滑图像,重建道路。
图7是根据本发明实施例的Mobilenet-Fcn网络结构的框图,如图7所示,该网络的上半部分为Mobilenet,用于图像特征提取。Mobilenet使用了deep-wise的卷积方式代替原有的传统3D卷积,减少了卷积的冗余表达,参数量缩小为3D卷积的1/10,而精度却未受到损失,在参数数量明显下降之后,该卷积网络可以用在嵌入式平台中。网络的后半部分是利用反卷积将网络的输出大小恢复至原图像大小并对每一个像素点进行分类。对Mobilenet最以后一层进行反卷积会导致图像失去很多语义信息,而网络的前面几层保留很多图像边缘、色彩、轮廓等信息,因此本提案将网络的前几层串接到反卷积过程中,该方法可以恢复更多图像信息从而达到像素分类的目的。
图8是根据本发明实施例的Mobilenet-Fcn网络输出灰度化处理的示意图,如图8所示,将Mobilenet-Fcn网络输出结果灰度化后即得到上述图像,共有4条车道线,1条停止线。这5条线段的像素值相同,记为T。本提案根据车道线停止线位置,宽度等信息进行聚类,算法流程如下:
初始化,从右下顶点开始,依次从右往左,从下往上搜索,若在第z行搜索到像素值为T,记录该像素值横坐标的位置,location[1]=x;location[1]为搜索到的第1条车道线在第z行最右侧位置横坐标,用于区别停止线和车道线。
另起一行,继续右往左,从下往上搜索,若搜索到像素值为T,该像素值位置为i,若满足i>location[k]-n且i<location[k]+m,在512*256的图像中,n取10,m取2,k从1到num,num为搜索到的车道线总数,则将该像素放入第k条车道线集合中,并更新location[k]为第k条车道线在该行的最右侧坐标,否则执行步骤3。
若当前像素值为T,且不满足步骤2,计算当前像素横坐标位置距离location[k]的最近距离d1,若满足d1>T1,T1为相邻车道线间距预设宽度,令num加1,将该点放入新的车道线集合中,将所有判断为车道线集合中的点进行标记。
重复步骤2-3,直至没有判断为车道线类别的点为止。
取num条车道线集合中纵坐标的最小值,记为y,对图像高度从0到y+w进行搜索,w为停止线预设宽度。若当前像素值为T且该点没有标记车道线中的点。则将该点存入停止线集合中。遍历完成后,搜索结束。
图9是根据本发明实施例的车道线拟合结果的示意图,如图9所示,对上述的容器中点进行拟合,得到车道线。以图像左下点为原点,宽度方向为y轴,高度方向为x轴建立直角坐标系。直线方程
Figure BDA0002037282900000111
为容器中点的坐标,损失函数:
Figure BDA0002037282900000112
Figure BDA0002037282900000113
损失函数分别对k,b求偏导:
Figure BDA0002037282900000114
Figure BDA0002037282900000115
Figure BDA0002037282900000116
Figure BDA0002037282900000117
Figure BDA0002037282900000118
本发明实施例解决了复杂场景中车道线、停止线自动标注问题。首次提出的利用车检器进行道路重建的方案,重建后的道路可以清晰的看见车道线、停止线、人行道以及地面转向标示符,有助于提高检测的准确度。传统的人工车道线标注是挑选一张车辆较少的图片进行标注,该方法效率低同时在主干道上很难找没有车辆的图片。
不仅检测出车道线,还通过一些策略将车道线与停止线分开,目前的车道线检测方案中尚无检测停止线功能。
通过检测人行道将检测区域由整副图像变为人行道以下区域,该策略大大减少了车道线的误检率。
在背景干净的道路中,相关技术中的方法可以比较准确的检测出车道线,但特征提取采用resnet18,该网络模型较大,无法在嵌入式设备中使用,同时耗时也较多。本发明实施例所设计的Mobilenet-Fcn网络只有14M,可以实时运行在嵌入式设备中。
实施例2
根据本发明的另一个实施例,还提供了一种车道线标注装置,图10是根据本发明实施例的车道线标注装置的框图,如图10所示,包括:
检测模块102,用于对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
分类模块104,用于对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
聚类拟合模块106,用于根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
标注模块108,用于标注所述车道线。
可选地,所述分类模块104包括:
标记单元,用于将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
可选地,所述聚类拟合模块106,还用于将所述重建图像中聚类后的像素点利用最小二乘法进行车道线拟合。
可选地,所述聚类拟合模块包括:
记录单元,用于从右下顶点开始,依次从右往左,从下往上搜索,记录所述重建图像中像素值为T的像素点对应的坐标信息;
聚类单元,用于根据所述坐标信息将所述像素值为T的像素点进行聚类。
可选地,所述聚类单元,还用于
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location+m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离locatio[n]k的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
可选地,所述检测模块102包括:
检测单元,用于通过车检器对视频流中的车辆进行检测;
记录单元,用于记录每一帧中非车辆位置的像素大小;
统计单元,用于对所述视频流中多帧非车辆位置像素进行统计,利用统计学恢复出一张没有车辆的重建图像。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
S2,对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
S3,根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
S4,标注所述车道线。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
S2,对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
S3,根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
S4,标注所述车道线。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种车道线标注方法,其特征在于,包括:
对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
标注所述车道线;
其中,对所述分类后的重建图像进行车道线聚类包括:
从右下顶点开始,依次从右往左,从下往上搜索,记录所述重建图像中像素值为T的像素点对应的坐标信息;
根据所述坐标信息将所述像素值为T的像素点进行聚类,包括:
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location[k] +m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离location[k]的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
2.根据权利要求1所述的方法,其特征在于,对所述重建图像中每一个像素点进行分类包括:
将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
3.根据权利要求1所述的方法,其特征在于,将聚类后的车道线进行拟合包括:
将所述重建图像中聚类后的像素点利用最小二乘法进行车道线拟合。
4.根据权利要求1至3中任一项所述的方法,其特征在于,对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像包括:
通过车检器对视频流中的车辆进行检测;
记录每一帧中非车辆位置的像素大小;
对所述视频流中多帧非车辆位置像素进行统计,利用统计学恢复出一张没有车辆的重建图像。
5.一种车道线标注装置,其特征在于,包括:
检测模块,用于对视频流中的车辆进行检测,恢复出一张没有车辆的重建图像;
分类模块,用于对所述重建图像进行特征提取,并对所述重建图像中每一个像素点进行分类;
聚类拟合模块,用于根据分类后的重建图像进行车道线聚类,并将聚类后的车道线进行拟合;
标注模块,用于标注所述车道线;
其中,所述聚类拟合模块包括:
记录单元,用于从右下顶点开始,依次从右往左,从下往上搜索,记录所述重建图像中像素值为T的像素点对应的坐标信息;
聚类单元,用于根据所述坐标信息将所述像素值为T的像素点进行聚类,包括:
将搜索到的第1个像素值为T的像素点的横坐标确定为第一条车道线最右侧的横坐标location[1]=x1
重复判断搜索到的像素值为T的第i个像素点的横坐标xi是否满足xi>location[k]-n且xi<location[k] +m,其中,i大于1;
在判断结果为是的情况下,将所述第i个像素点放入第k条车道线集合中,1≤k≤num,其中,num为搜索到的车道线总数;
在判断结果为否的情况下,计算第i个像素点的横坐标xi距离location[k]的最近距离d1,若满足d1>T1,将所述第i个像素点放入第k+1条车道线集合中,其中,T1为相邻车道线间距预设宽度;
num+1,i++,直到将所有像素值为T的像素点放入车道线集合中;
取num条车道线集合中纵坐标的最小值y,对图像高度从0到y+w进行搜索,其中,w为停止线预设宽度;若当前像素点的像素值为T且所述像素点不属于车道线集合中的点,将所述像素点存入停止线集合中。
6.根据权利要求5所述的装置,其特征在于,所述分类模块包括:
标记单元,用于将所述重建图像中的每个像素点标记为背景和前景,其中,所述前景包括车道线和停止线。
7.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
CN201910329628.9A 2019-04-23 2019-04-23 一种车道线标注方法及装置 Active CN110163109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910329628.9A CN110163109B (zh) 2019-04-23 2019-04-23 一种车道线标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910329628.9A CN110163109B (zh) 2019-04-23 2019-04-23 一种车道线标注方法及装置

Publications (2)

Publication Number Publication Date
CN110163109A CN110163109A (zh) 2019-08-23
CN110163109B true CN110163109B (zh) 2021-09-17

Family

ID=67639891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910329628.9A Active CN110163109B (zh) 2019-04-23 2019-04-23 一种车道线标注方法及装置

Country Status (1)

Country Link
CN (1) CN110163109B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569796A (zh) * 2019-09-09 2019-12-13 南京东控智能交通研究院有限公司 一种车道线动态检测和车道分界线的拟合方法
CN111222405A (zh) * 2019-11-15 2020-06-02 北京邮电大学 车道线的检测方法、装置、电子设备及可读存储介质
CN111368804A (zh) * 2020-03-31 2020-07-03 河北科技大学 车道线检测方法、系统及终端设备
CN112101163A (zh) * 2020-09-04 2020-12-18 淮阴工学院 一种车道线检测方法
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105320927A (zh) * 2015-03-25 2016-02-10 中科院微电子研究所昆山分所 车道线检测方法及系统
CN105893949A (zh) * 2016-03-29 2016-08-24 西南交通大学 一种复杂路况场景下的车道线检测方法
CN108052880A (zh) * 2017-11-29 2018-05-18 南京大学 交通监控场景虚实车道线检测方法
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术(北京)有限公司 车道线处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529488A (zh) * 2016-11-18 2017-03-22 北京联合大学 一种基于orb特征提取的车道线检测方法
CN106529493B (zh) * 2016-11-22 2019-12-20 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学(武汉) 一种智能辅助驾驶方法及系统
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN108229327B (zh) * 2017-12-07 2021-05-18 北京中科慧眼科技有限公司 一种基于背景重建的车道线检测方法、装置与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320927A (zh) * 2015-03-25 2016-02-10 中科院微电子研究所昆山分所 车道线检测方法及系统
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105893949A (zh) * 2016-03-29 2016-08-24 西南交通大学 一种复杂路况场景下的车道线检测方法
CN108052880A (zh) * 2017-11-29 2018-05-18 南京大学 交通监控场景虚实车道线检测方法
CN109214334A (zh) * 2018-09-03 2019-01-15 百度在线网络技术(北京)有限公司 车道线处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Approach of Lane Detection Based on Inverse Perspective Mapping;Jun Wang;《2014 IEEE 17th International Conference on Intelligent Transportation Systems》;20141011;第35-38页 *

Also Published As

Publication number Publication date
CN110163109A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110163109B (zh) 一种车道线标注方法及装置
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN101872416B (zh) 对道路图像进行车牌识别的方法和系统
KR101589711B1 (ko) 비디오 데이터의 처리 방법 및 시스템
CN107180230B (zh) 通用车牌识别方法
CN105320923A (zh) 车型识别方法及装置
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN107590486B (zh) 运动目标识别方法和系统、自行车流量统计方法和设备
CN103093198A (zh) 一种人群密度监测方法及装置
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN103971524A (zh) 一种基于机器视觉的交通流量检测方法
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
Ghahremannezhad et al. Automatic road detection in traffic videos
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
Helala et al. Road boundary detection in challenging scenarios
Kamenetsky et al. Aerial car detection and urban understanding
Zheng et al. Character segmentation for license plate recognition by K-means algorithm
CN108205670A (zh) 一种车牌识别方法及装置
CN114841874B (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant