CN108345855A - 一种车道压线检测方法及系统 - Google Patents

一种车道压线检测方法及系统 Download PDF

Info

Publication number
CN108345855A
CN108345855A CN201810128866.9A CN201810128866A CN108345855A CN 108345855 A CN108345855 A CN 108345855A CN 201810128866 A CN201810128866 A CN 201810128866A CN 108345855 A CN108345855 A CN 108345855A
Authority
CN
China
Prior art keywords
wheel
image
bird
eye view
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810128866.9A
Other languages
English (en)
Other versions
CN108345855B (zh
Inventor
王飞跃
胡成云
周锐
陈世超
邹杰
窦思远
曹东璞
李力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wufang Smart Car Technology Co ltd
Original Assignee
Qingdao Hui Tuo Intelligent Machine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hui Tuo Intelligent Machine Co Ltd filed Critical Qingdao Hui Tuo Intelligent Machine Co Ltd
Priority to CN201810128866.9A priority Critical patent/CN108345855B/zh
Publication of CN108345855A publication Critical patent/CN108345855A/zh
Application granted granted Critical
Publication of CN108345855B publication Critical patent/CN108345855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一种车道压线检测方法及系统,其中,该方法包括:获取对应于一车轮的当前时刻的鸟瞰道路图像;根据用于获取鸟瞰道路图像的摄像机的设置参数确定车轮的车轮外侧边缘切线;对鸟瞰道路图像进行图像处理,确定车道边缘线;判断车道边缘线与车轮外侧边缘切线是否相交,其中,如果二者相交,则判定车轮存在压线行为。由于车轮的鸟瞰道路图像是通过固定在车轮上方地摄像机采集到的,因此车轮外侧的切线方程也就可以经过简单的计算确定出,这样有助于避免对图像中的车轮图形进行识别,从而降低了处理器的数据处理负担,简化了数据运算过程,提高了数据运算效率。

Description

一种车道压线检测方法及系统
技术领域
本发明涉及自动驾驶测评技术领域,具体地说,涉及一种车道压线检测方法及系统。
背景技术
随着无人驾驶技术的飞速发展,与之相关的测试评价技术也在同步发展。初期,各个研发单位根据自身情况对其研发车辆的单项或部分功能要求进行测试评价。而随着系统集成技术和无人驾驶技术的成熟,也出现了以智能车比赛为主的第三方评价机构。
在无人驾驶汽车测试领域,行进过程中的无人驾驶车辆是否压车道线是对于评价其智能性的一项重要指标。现有的判断智能车是否压车道线和违反交通规则的方法通常是由裁判来进行人工判别。然而,裁判的观察存在着很大的主观性和倾向性,并且由于比赛进程紧张以及裁判观察的角度、能见度等因素的影响,测试结果很可能有失公平和客观性。
发明内容
为解决上述问题,本发明提供了一种车道压线检测方法,所述方法包括:
步骤一、获取对应于一车轮的当前时刻的鸟瞰道路图像;
步骤二、根据用于获取所述鸟瞰道路图像的摄像机的设置参数确定所述车轮的车轮外侧边缘切线;
步骤三、对所述鸟瞰道路图像进行图像处理,确定车道边缘线;
步骤四、判断所述车道边缘线与所述车轮外侧边缘切线是否相交,其中,如果二者相交,则判定所述车轮存在压线行为。
根据本发明的一个实施例,在所述步骤二中,根据获取到的用于采集所述鸟瞰道路图像的摄像机的摄像机视角、摄像机安装点高度、摄像机安装点与车轮平面之间的距离、轮胎偏转角度以及车轮宽度确定所述车轮外侧边缘切线。
根据本发明的一个实施例,根据如下表达式确定所述轮胎偏转角度:
β=ζα
其中,β表示轮胎偏转角度,ζ表示转换系数,α表示方向盘转角。
根据本发明的一个实施例,在所述步骤三中,
对所述鸟瞰道路图像进行图像预处理,得到二值化图像;
对所述二值化图像进行车道边缘线提取,得到所述车道边缘线。
根据本发明的一个实施例,在所述步骤三中,对所述鸟瞰道路图像进行图像预处理的步骤包括:
对所述鸟瞰道路图像进行灰度化处理,得到原始灰度图像;
对所述原始灰度图像进行去噪处理,并对去噪处理后的灰度图像进行灰度拉伸处理,得到第一中间图像;
对所述第一中间图像进行边缘检测,得到所述第一中间图像对应的边缘检测图像;
对所述边缘检测图像进行二值化处理,得到所述二值化图像。
根据本发明的一个实施例,对所述二值化图像进行车道边缘线提取的步骤包括:
对所述二值化图像中当前帧所对应的感兴趣区域的边缘像素点进行极坐标转换,统计极坐标空间内各个点所经过的曲线的数量;
确定极坐标空间内经过曲线数量最多的点,并根据该点确定出平面直角坐标系中相对应的直线,从而得到所述车道边缘线。
根据本发明的一个实施例,所述方法还根据所述当前帧所对应的感兴趣区域进行感兴趣区域的更新,从而得到下一帧所对应的感兴趣区域。
根据本发明的一个实施例,利用有限差分扩展卡尔曼滤波算法对当前帧所对应的感兴趣区域进行感兴趣区域的更新,并将更新后的区域向外扩展预设个像素,从而得到下一帧所对应的感兴趣区域。
本发明还提供了一种车道线压线检测系统,所述系统包括:
摄像机,其设置在车轮上方,用于采集该车轮所对应的的鸟瞰道路图像;
数据处理装置,其与所述摄像机连接,用于根据所述摄像机的设置参数确定所述车轮的车轮外侧边缘切线,还用于对所述鸟瞰道路图像进行图像处理来确定车道边缘线,并判断所述车道边缘线与所述车轮外侧边缘切线是否相交,其中,如果二者相交,则判定所述车轮存在压线行为。
根据本发明的一个实施例,所述数据处理装置包括:
车轮外侧边缘切线确定模块,其用于根据获取到的所述摄像机的设置参数、车轮宽度和轮胎偏转角度确定所述车轮外侧边缘切线,其中,所述摄像机的设置参数包括一下所列项中的任一项或几项:
摄像机视角、摄像机安装点高度以及摄像机安装点与车轮平面之间的距离。
根据本发明的一个实施例,所述数据处理装置还包括:
车道边缘线确定模块,其与所述摄像机连接,用于对当前时刻的鸟瞰道路图像进行预处理,得到二值化图像,并对所述二值化图像进行车道边缘线提取,从而确定出所述车道边缘线。
根据本发明的一个实施例,所述车道边缘线确定模块配置为:
对所述二值化图像中当前帧所对应的感兴趣区域的边缘像素点进行极坐标转换,统计极坐标空间内各个点所经过的曲线的数量;
确定极坐标空间内经过曲线数量最多的点,并根据该点确定出平面直角坐标系中相对应的直线,从而得到所述车道边缘线。
根据本发明的一个实施例,所述数据处理装置还配置为利用有限差分扩展卡尔曼滤波算法对当前帧所对应的感兴趣区域进行感兴趣区域的更新,并将更新后的区域向外扩展预设个像素,从而得到下一帧所对应的感兴趣区域。
本发明所提供的车道压线检测方法以及系统能够基于采集到的与车轮相对应的鸟瞰道路图像来判断某一时刻该车轮是否存在压线行为。由于车轮的鸟瞰道路图像是通过固定在车轮上方地摄像机采集到的,因此车轮外侧的切线方程也就可以经过简单的计算确定出,这样有助于避免对图像中的车轮图形进行识别,从而降低了处理器的数据处理负担,简化了数据运算过程,提高了数据运算效率。
该系统以及方法能够有效提高车辆监测过程中对于车辆(例如无人驾驶车辆)的车道压线检测项目裁定的智能性。同时,该系统以及方法还能够很大程度地增加监控指挥中心对于无人驾驶汽车实时行驶情况的监测可靠性。
此外,本发明所提供的车道压线检测方法以及系统采用精度较高的有限差分代替偏导数的计算进行线性化处理,相对于扩展卡尔曼滤波中的Taylor级数的一阶展开,其精度更高且增强了滤波收敛性,同时避免了每个滤波周期都要计算的jacobian矩阵,大大减少了运算量,能够精确地预估下一帧图像中车道线位置,缩小搜索范围。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图做简单的介绍:
图1是根据本发明一个实施例的车道线压线检测系统的结构示意图;
图2是根据本发明一个实施例的车道线压线检测方法的实现流程示意图;
图3是根据本发明一个实施例的摄像机的安装示意图;
图4是根据本发明一个实施例的确定车道边缘线的实现流程示意图;
图5是根据本发明一个实施例的对鸟瞰道路图像进行图像预处理的实现流程示意图;
图6是根据本发明一个实施例的根据二值化图像确定车道边缘线的实现流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
同时,在以下说明中,出于解释的目的而阐述了许多具体细节,以提供对本发明实施例的彻底理解。然而,对本领域的技术人员来说显而易见的是,本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术中,对于车道线压线检测的方法通常是由工作人员进行人工检测,而人工检测的主观性会对检测结果产生较大影响。同时,现有技术中还存在利用GPS数据进行车道线压线检测的方法,这些方法是利用GPS设备的无线传递来在监控指挥中心将智能驾驶车辆的实时行驶轨迹在比赛现场卫星图中拟合,从而对智能驾驶车辆的行驶路况进行实时监测。然而,由于卫星图的显像限制和轨迹拟合存在误差,因此这种方法对车道压线监测的实时性以及可靠性受到限制。
针对现有技术中所存在的上述问题,本发明提供了一种新的车道线压线检测方法以及车道线压线检测系统,该方法以及系统能够基于所获取到的鸟瞰道路图像来对车辆的压线状态进行实时监测。
图1示出了本实施例所提供的车道线压线检测系统的结构示意图,图2示出了本实施例所提供的车道线压线检测方法的实现流程示意图,以下结合图1和图2来对本实施例所提供的车道线压线检测的原理以及过程作进一步地阐述。
如图1和图2所示,本实施例所提供的车道线压线检测系统优选地包括:摄像机101和数据处理装置102。其中,摄像机设置在被测车辆的车轮上方,其用于获取对应车轮的鸟瞰道路图像。
具体地,如图3所示,本实施例中,由于需要分别对车辆的四个车轮的压线状态进行检测,因此车道线压线检测系统优选地包括四个摄像机,这四个摄像机分别架设在四个车轮(即车轮1、车轮2、车轮3和车轮4)附近(例如车轮上方指定位置处),从而对应地获取各个车轮送对应的鸟瞰道路图像。
由于该车道线压线检测系统以及车道线压线检测方法判断各个车轮是否压线的原理以及过程相同,故在此仅以其中一个车轮(例如车轮1)为例来进行说明。
数据处理装置102与摄像机101连接,其能够在步骤S201中接收摄像机101所传输来的车轮1所对应的鸟瞰道路图像,并在步骤S202中根据摄像机的设置参数来确定车轮1的车轮外侧边缘切线。在步骤S203中,数据处理装置102会对步骤S201中所获取到的车轮1所对应的鸟瞰道路图像进行图像处理,从而确定出车道边缘线。
在得到车轮1的车轮外侧边缘切线以及车道边缘线以后,数据处理装置102会在步骤S204中判断车道边缘线与车道外侧边缘切线是否相交。其中,如果车道边缘线与车道外侧边缘切线相交,那么数据处理装置102也就可以在步骤S205中判定此时车轮1存在压线行为;而如果车道边缘线与车道外侧边缘切线不相交,那么数据处理装置102也就可以判定此时车轮1不存在压线行为。
需要指出的是,本发明并不对数据处理装置102确定车轮外侧边缘切线与确定车道边缘线的具体先后顺序进行限定。
基于相同原理,数据处理装置102也还可以基于其它车轮所对应的鸟瞰道路图像来分别确定其它车轮当前(即在当前帧下)是否存在压线行为。
本实施例中,数据处理装置102优选地包括车轮外侧边缘切线确定模块102a和车道边缘线确定模块102b。车轮外侧边缘切线确定模块102a优选地根据获取到的摄像机的设置参数、车轮宽度和轮胎偏转角度确定车轮外侧边缘切线。其中,摄像机的设置参数包括:摄像机视角、摄像机安装点高度以及摄像机安装点与车轮平面之间的距离。
如图3所示,本实施例中,该车道线压线检测系统还包括方向盘转角传感器5。其中,方向盘转角传感器5用于检测方向盘转角。车轮外侧边缘切线确定模块102a与方向盘转角传感器连接,其能够根据方向盘转角来确定出轮胎偏转角度。
具体地,本实施例中,车轮外侧边缘切线确定模块102a优选地根据如下表达式确定轮胎偏转角度:
β=ζα (1)
其中,β表示轮胎偏转角度,ζ表示转换系数,α表示方向盘转角。其中,转换系数ζ表征方向盘转角到轮胎转角的转换系数。
车轮外侧边缘切线确定模块102a优选的根据如下表达式来确定车轮外侧边缘切线:
y=f(κ,β,d,H,l) (2)
其中,κ表示摄像机视角,d表示车轮宽度,H表示摄像机安装点高度,l表示摄像机安装点与车轮平面之间的距离。
当然,在本发明的其它实施例中,车轮外侧边缘切线确定模块102a还可以采用其它合理的方式来确定车轮外侧边缘切线,本发明不限于此。例如,在本发明的一个实施例中,车轮外侧边缘切线确定模块102a还可以根据车轮宽度、轮胎偏转角度以及以上所列地摄像机的设置参数中的某一项或某几项来确定车轮外侧边缘切线。
车道边缘线确定模块102b与摄像机101连接,其能够对摄像机101所传输来的对应于车轮1的当前时刻的鸟瞰道路图像进行图像处理,从而确定出车道边缘线。具体地,如图4所示,本实施例中,车道边缘线确定模块102b首先会在步骤S401中对鸟瞰道路图像进行图像预处理来得到二值化图像,随后再在步骤S402中对步骤S401中所得到二值化图像进行车道边缘线提取,从而得到车轮1周围的车道边缘线。
图5示出了本实施例中车道边缘线确定模块102b对鸟瞰道路图像进行图像预处理的具体实现流程示意图。
如图5所示,本实施例中,车道边缘线确定模块102b首先会在步骤S501中对鸟瞰道路图像进行灰度处理,得到原始灰度图像。具体地,本实施例中,车道边缘线确定模块102b优选地采用加权平均法来对摄像机101所传输来的彩色图像进行灰度化处理,从而得到原始灰度图像。
在得到原始灰度图像后,车道边缘线确定模块102b会在步骤S502中对上述原始灰度图像进行去噪处理,并对去噪处理后的灰度图像进行灰度拉伸处理,得到第一中间图像。通过对图像进行灰度拉伸,车道边缘线确定模块102b能够改变原始图像数据所占用地灰度范围,从而改善图像视觉效果。
本实施例中,车道边缘线确定模块102b优选地对步骤S501所得到的灰度图像进行中值滤波,以此去除图像中的相关噪声(例如椒盐噪声和脉冲噪声等)。当然,在本发明的其它实施例中,车道边缘线确定模块102b还可以采用其它合理方式对原始灰度图像进行滤波处理,本发明不限于此。
在完成灰度拉伸处理后,如图5所示,车道边缘线确定模块102b此时会在步骤S503中对步骤S502中所得到的第一中间图像进行边缘检测,从而得到边缘检测图像。具体地,本实施例中,车道边缘线确定模块102b优选地采用Canny算子来对上述第一中间图像进行边缘检测,从而得到图像边缘信息。
在得到边缘检测图像后,车道边缘线确定模块102b则会在步骤S504中对上述边缘检测图像进行二值化处理,这样也就可以得到二值化图像。
需要指出地是,在本发明的不同实施例中,根据实际需要,车道边缘线确定模块102b可以采用其它合理算子来对图像进行预处理操作,同时,车道边缘线确定模块102b对图像所进行的预处理操作既可以仅包含以上所列项中的某几项(例如省去步骤S502和步骤S503中的某一图像处理过程),也可以包含其它未列出的合理项,本发明不限于此。
在得到二值化图像后,本实施例中,车道边缘线确定模块102b会对二值化图像进行车道边缘线提取,从而得到车轮1周围的车道边缘线。
具体地,如图6所示,本实施例中,车道边缘线确定模块102b会在步骤S601中对所得到的二值化图像中当前帧所对应的感兴趣区域的边缘像素点进行极坐标转换。
本实施例中,由于摄像机地安装位置处于车轮的上方,摄像机所采集到的图像为鸟瞰视角图,因此摄像机所拍摄到的车道线图像也就会是近景鸟瞰图像,这样也就可以利用鸟瞰车道图像中的直线来拟合车道线的边缘线。
具体地,二值化图像中的任意一条直线在极坐标下可以表示为:
ρ=xcosθ+ysinθ (3)
其中,ρ表示直线离原点的法线距离,θ表示法线与x轴的夹角。
因此,图像空间(即平面直角坐标系)中的一个点便可以与极坐标空间(ρ,θ)中的一条正弦曲线相对应,而图像空间中的多个共线地点也就会与极坐标空间(ρ,θ)中的多条相交于一点的正弦曲线相对应。
因此,为了确定出车道边缘线,本实施例中,车道边缘线确定模块102b会在步骤S602中统计极坐标空间(ρ,θ)中各个点所经过的曲线的数量,并在步骤S603中确定出极坐标空间(ρ,θ)中经过曲线数量最多的点。具体地,本实施例中,车道边缘线确定模块102b优选地首先确定极坐标空间(ρ,θ)中曲线相交形成的交点,随后再确定形成各个交点的曲线的数量。
在确定出上述经过曲线数量最多的点后,本实施例中,车道边缘线确定模块102b会在步骤S604中根据该点确定出平面直角坐标系中相对应的直线,从而得到车道边缘线。
对于二值化图像来说,由于车道边缘线可以视为一条直线,因此车道边缘线上的点在极坐标空间(ρ,θ)中所对应地曲线应当是相交的,因此车道边缘线确定模块102b也就可以通过确定该交点的方式来反推得到平面直角坐标系下所对应地直线,而这条直线也可以表征车道边缘线。
当然,在本发明的其它实施例中,车道边缘线确定模块102b也可以根据实际需要采用其它合理方式来根据鸟瞰道路图像确定车道边缘线,本发明不限于此。
本实施例中,当前帧所对应的感兴趣区域是由前一帧所对应的感兴趣区域得到的。因此,当需要确定在下一帧图像中车轮是否存在压线行为时,本实施例中,数据处理装置102也就需要根据当前帧所对应的感兴趣区域进行感兴趣区域的更新,以得到下一帧所对应的感兴趣区域。
具体的,本实施例中,数据处理装置102优选地采用有限差分扩展卡尔曼滤波算法对当前帧所对应地感兴趣区域进行感兴趣区域的更新,并将更新后的区域向外扩展预设个像素,从而得到下一帧所对应的感兴趣区域。
考虑如下非线性离散状态空间方程:
其中,ck为n维系统状态态向量,zk为m维系统量测向量;uk为系统输入,过程激励噪声wk的协方差矩阵为Q,量测噪声vk的协方差矩阵为R;wk和vk不相关,且都是均值为零的高斯白噪声。
将表达式(4)中的非线性状态函数f(·)和量测函数g(·)用Taylor级数展开,保留一阶项,可以得到:
其中,Fc和Gc分别为非线性状态函数f(·)和量测函数g(·)对c的偏导数。
在进行有限差分扩展卡尔曼滤波迭代运算之前,需要将过程激励噪声Q、量测噪声R、先验协方差矩阵和估测协方差矩阵进行Cholesky分解,得到:
用中心差分运算代替偏导数Fc(k)的求解:
其中,取步长调节系数h在高斯分布下的最优值: 表示的第j列。
进一步有:
同理,有:
取车道线边缘线与远点的距离ρ和与x轴的夹角θ,以及他们的变化率作为系统的状态量,则对于第k帧图像,系统的状态向量为:
系统观测向量为:
zk=[ρk θk] (11)
假设状态转移矩阵为:
系统观测向量为:
在本实施例中,状态向量的初值设为:
c0=[200 20 2 3] (14)
算法的误差协方差矩阵的初值为:
跟据先验知识,系统噪声和观测噪声的协方差矩阵的初值设为:
本实施例中,系统噪声和观测噪声优选地都是高斯白噪声,则有:
Qk=Q0 (18)
Rk=R0 (19)
k帧的先验计算:
增益计算:
状态更新和协方差更新:
从而求得第k+1帧图像的车道边缘线参数的估计值ρk+1和θk+1。本实施例中,将估计的车道线外扩预设个像素直线(例如30个),这样也就可以得到第k+1帧的感兴趣区域ROIk+1
需要指出的是,在本发明的其它实施例中,该方法还可以采用其它合理方式来确定下一帧所对应的感兴趣区域,本发明不限于此。
本实施例中,数据处理装置102在对接收到的鸟瞰道路图像进行处理时,由于该系统可以分别获取到对应于各个车轮的鸟瞰道路图像,因此,本实施例中,数据处理装置102优选地首先会对所接收到地对应于多个车轮的鸟瞰道路图像进行拼合处理,从而将上述多个鸟瞰道路图像处理为一个视频图像矩阵。
数据处理装置102会接收来自方向盘传感器5的信号,并采用上述方法来基于该信号确定出各个车轮是否存在压线行为,进而统计得到某一时间段内各个车轮的压线次数,这样也就可以得到压线次数矩阵。
本实施例中,数据处理装置102优选地会利用与之连接的数据传输装置6来将得到的上述压线次数矩阵传输至云端,这样监控指挥中心也就可以通过从云端下载相应数据来得到测试测量的各个车轮的压线次数。当然,根据实际需要,数据处理装置102还可以将视频图像矩阵传输至云端,这样监控指挥中心同样可以通过从云端下载相应图像数据并采用矩阵地方式进行显示,这样也就可以得到各个车轮的相关图像。
从上述描述中可以看出,本发明所提供的车道压线检测方法以及系统能够基于采集到的与车轮相对应的鸟瞰道路图像来判断某一时刻该车轮是否存在压线行为。由于车轮的鸟瞰道路图像是通过固定在车轮上方地摄像机采集到的,因此车轮外侧的切线方程也就可以经过简单的计算确定出,这样有助于避免对图像中的车轮图形进行识别,从而降低了处理器的数据处理负担,简化了数据运算过程,提高了数据运算效率。
该系统以及方法能够有效提高车辆监测过程中对于车辆(例如无人驾驶车辆)的车道压线检测项目裁定的智能性。同时,该系统以及方法还能够很大程度地增加监控指挥中心对于无人驾驶汽车实时行驶情况的监测可靠性。
此外,本发明所提供的车道压线检测方法以及系统采用精度较高的有限差分代替偏导数的计算进行线性化处理,相对于扩展卡尔曼滤波中的Taylor级数的一阶展开,其精度更高且增强了滤波收敛性,同时避免了每个滤波周期都要计算的jacobian矩阵,大大减少了运算量,能够精确地预估下一帧图像中车道线位置,缩小搜索范围。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构或处理步骤,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理,但对于本领域的技术人员来说,在不背离本发明的原理和思想的情况下,明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此,本发明由所附的权利要求书来限定。

Claims (13)

1.一种车道压线检测方法,其特征在于,所述方法包括:
步骤一、获取对应于一车轮的当前时刻的鸟瞰道路图像;
步骤二、根据用于获取所述鸟瞰道路图像的摄像机的设置参数确定所述车轮的车轮外侧边缘切线;
步骤三、对所述鸟瞰道路图像进行图像处理,确定车道边缘线;
步骤四、判断所述车道边缘线与所述车轮外侧边缘切线是否相交,其中,如果二者相交,则判定所述车轮存在压线行为。
2.如权利要求1所述的方法,其特征在于,在所述步骤二中,根据获取到的用于采集所述鸟瞰道路图像的摄像机的摄像机视角、摄像机安装点高度、摄像机安装点与车轮平面之间的距离、轮胎偏转角度以及车轮宽度确定所述车轮外侧边缘切线。
3.如权利要求2所述的方法,其特征在于,根据如下表达式确定所述轮胎偏转角度:
β=ζα
其中,β表示轮胎偏转角度,ζ表示转换系数,α表示方向盘转角。
4.如权利要求1~3中任一项所述的方法,其特征在于,在所述步骤三中,
对所述鸟瞰道路图像进行图像预处理,得到二值化图像;
对所述二值化图像进行车道边缘线提取,得到所述车道边缘线。
5.如权利要求4述的方法,其特征在于,在所述步骤三中,对所述鸟瞰道路图像进行图像预处理的步骤包括:
对所述鸟瞰道路图像进行灰度化处理,得到原始灰度图像;
对所述原始灰度图像进行去噪处理,并对去噪处理后的灰度图像进行灰度拉伸处理,得到第一中间图像;
对所述第一中间图像进行边缘检测,得到所述第一中间图像对应的边缘检测图像;
对所述边缘检测图像进行二值化处理,得到所述二值化图像。
6.如权利要求4或5所述的方法,其特征在于,对所述二值化图像进行车道边缘线提取的步骤包括:
对所述二值化图像中当前帧所对应的感兴趣区域的边缘像素点进行极坐标转换,统计极坐标空间内各个点所经过的曲线的数量;
确定极坐标空间内经过曲线数量最多的点,并根据该点确定出平面直角坐标系中相对应的直线,从而得到所述车道边缘线。
7.如权利要求1~6中任一项所述的方法,其特征在于,所述方法还根据所述当前帧所对应的感兴趣区域进行感兴趣区域的更新,从而得到下一帧所对应的感兴趣区域。
8.如权利要求7所述的方法,其特征在于,利用有限差分扩展卡尔曼滤波算法对当前帧所对应的感兴趣区域进行感兴趣区域的更新,并将更新后的区域向外扩展预设个像素,从而得到下一帧所对应的感兴趣区域。
9.一种车道线压线检测系统,其特征在于,所述系统包括:
摄像机,其设置在车轮上方,用于采集该车轮所对应的的鸟瞰道路图像;
数据处理装置,其与所述摄像机连接,用于根据所述摄像机的设置参数确定所述车轮的车轮外侧边缘切线,还用于对所述鸟瞰道路图像进行图像处理来确定车道边缘线,并判断所述车道边缘线与所述车轮外侧边缘切线是否相交,其中,如果二者相交,则判定所述车轮存在压线行为。
10.如权利要求9所述的系统,其特征在于,所述数据处理装置包括:
车轮外侧边缘切线确定模块,其用于根据获取到的所述摄像机的设置参数、车轮宽度和轮胎偏转角度确定所述车轮外侧边缘切线,其中,所述摄像机的设置参数包括一下所列项中的任一项或几项:
摄像机视角、摄像机安装点高度以及摄像机安装点与车轮平面之间的距离。
11.如权利要求9或10所述的系统,其特征在于,所述数据处理装置还包括:
车道边缘线确定模块,其与所述摄像机连接,用于对当前时刻的鸟瞰道路图像进行预处理,得到二值化图像,并对所述二值化图像进行车道边缘线提取,从而确定出所述车道边缘线。
12.如权利要求11所述的系统,其特征在于,所述车道边缘线确定模块配置为:
对所述二值化图像中当前帧所对应的感兴趣区域的边缘像素点进行极坐标转换,统计极坐标空间内各个点所经过的曲线的数量;
确定极坐标空间内经过曲线数量最多的点,并根据该点确定出平面直角坐标系中相对应的直线,从而得到所述车道边缘线。
13.如权利要求9~12中任一项所述的系统,其特征在于,所述数据处理装置还配置为利用有限差分扩展卡尔曼滤波算法对当前帧所对应的感兴趣区域进行感兴趣区域的更新,并将更新后的区域向外扩展预设个像素,从而得到下一帧所对应的感兴趣区域。
CN201810128866.9A 2018-02-08 2018-02-08 一种车道压线检测方法及系统 Active CN108345855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810128866.9A CN108345855B (zh) 2018-02-08 2018-02-08 一种车道压线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810128866.9A CN108345855B (zh) 2018-02-08 2018-02-08 一种车道压线检测方法及系统

Publications (2)

Publication Number Publication Date
CN108345855A true CN108345855A (zh) 2018-07-31
CN108345855B CN108345855B (zh) 2020-08-18

Family

ID=62958711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810128866.9A Active CN108345855B (zh) 2018-02-08 2018-02-08 一种车道压线检测方法及系统

Country Status (1)

Country Link
CN (1) CN108345855B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540175A (zh) * 2018-11-29 2019-03-29 安徽江淮汽车集团股份有限公司 一种ldw测试系统和方法
CN110287884A (zh) * 2019-06-26 2019-09-27 长安大学 一种辅助驾驶中压线检测方法
CN111016923A (zh) * 2019-12-10 2020-04-17 宁波吉利汽车研究开发有限公司 一种异常驾驶的判断方法
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN113436436A (zh) * 2021-05-20 2021-09-24 鄂尔多斯市龙腾捷通科技有限公司 一种用于交通违法数据处理的智能ai系统
CN113538377A (zh) * 2021-07-15 2021-10-22 河北三国新能源科技有限公司 一种基于全景环视的驾考车直角转弯压线检测方法和系统
CN115690262A (zh) * 2023-01-04 2023-02-03 高德软件有限公司 道路面的切线生成方法、装置及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130096767A1 (en) * 2011-10-17 2013-04-18 Robert Bosch Gmbh Method and device for lane keeping assistance regulation
CN104657735A (zh) * 2013-11-21 2015-05-27 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN105374038A (zh) * 2015-11-11 2016-03-02 石家庄铁道大学 车载式双相机机车轮轨位移图像检测系统及方法
CN107066986A (zh) * 2017-04-21 2017-08-18 哈尔滨工业大学 一种基于单目视觉的车道线与前方障碍物检测方法
CN206520539U (zh) * 2017-01-24 2017-09-26 桂林师范高等专科学校 车道偏离预警装置
CN107310553A (zh) * 2017-06-27 2017-11-03 安徽江淮汽车集团股份有限公司 一种防止单侧偏离重复报警的车道偏离报警方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130096767A1 (en) * 2011-10-17 2013-04-18 Robert Bosch Gmbh Method and device for lane keeping assistance regulation
CN104657735A (zh) * 2013-11-21 2015-05-27 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN105374038A (zh) * 2015-11-11 2016-03-02 石家庄铁道大学 车载式双相机机车轮轨位移图像检测系统及方法
CN206520539U (zh) * 2017-01-24 2017-09-26 桂林师范高等专科学校 车道偏离预警装置
CN107066986A (zh) * 2017-04-21 2017-08-18 哈尔滨工业大学 一种基于单目视觉的车道线与前方障碍物检测方法
CN107310553A (zh) * 2017-06-27 2017-11-03 安徽江淮汽车集团股份有限公司 一种防止单侧偏离重复报警的车道偏离报警方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
范文兵等: ""基于有限差分的扩展卡尔曼滤波器"", 《2002年中国控制与决策学术会议论文集》 *
邬长安: "《数字图像处理、分析及应用》", 30 September 2008 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540175A (zh) * 2018-11-29 2019-03-29 安徽江淮汽车集团股份有限公司 一种ldw测试系统和方法
CN110287884A (zh) * 2019-06-26 2019-09-27 长安大学 一种辅助驾驶中压线检测方法
CN110287884B (zh) * 2019-06-26 2021-06-22 长安大学 一种辅助驾驶中压线检测方法
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置
CN111016923A (zh) * 2019-12-10 2020-04-17 宁波吉利汽车研究开发有限公司 一种异常驾驶的判断方法
CN111016923B (zh) * 2019-12-10 2022-01-18 宁波吉利汽车研究开发有限公司 一种异常驾驶的判断方法
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
CN113436436A (zh) * 2021-05-20 2021-09-24 鄂尔多斯市龙腾捷通科技有限公司 一种用于交通违法数据处理的智能ai系统
CN113538377A (zh) * 2021-07-15 2021-10-22 河北三国新能源科技有限公司 一种基于全景环视的驾考车直角转弯压线检测方法和系统
CN113538377B (zh) * 2021-07-15 2022-08-12 河北三国新能源科技有限公司 一种基于全景环视的驾考车直角转弯压线检测方法和系统
CN115690262A (zh) * 2023-01-04 2023-02-03 高德软件有限公司 道路面的切线生成方法、装置及程序产品

Also Published As

Publication number Publication date
CN108345855B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN108345855A (zh) 一种车道压线检测方法及系统
CN107567412B (zh) 利用汽车相机使用车辆运动数据的对象位置测量
EP3168705B1 (en) Domestic robotic system
US20180325012A1 (en) Agricultural system
DE102016117710B4 (de) Verfahren und fusionssystem zur bestimmung der geschwindigkeit eines zielobjektes
DE102019114511A1 (de) Radar-odometrie für ein fahrzeug
US20100013944A1 (en) Gesture Recognition Apparatus and Method
DE112016006234T5 (de) Beurteilung der Durchführbarkeit einer Kehrtwendung
CN103593678A (zh) 一种大跨度桥梁车辆动态荷载分布检测方法
US11423673B2 (en) Method and device for detecting state of holding steering wheel
CN107832655A (zh) 一种基于无人机近地面成像的航拍系统及棉花产量估测方法
WO2018087257A1 (de) Schätzen einer eigenposition
CN113624225B (zh) 一种用于发动机定位销安装的位姿解算方法
CN108573272A (zh) 车道拟合方法
CN107516423A (zh) 一种基于视频的车辆行驶方向检测方法
DE102021114078A1 (de) Detektieren dreidimensionaler Strukturmodelle zur Laufzeit in Fahrzeugen
CN112326990A (zh) 一种作业车辆测速方法及系统
CN107767366B (zh) 一种输电线路拟合方法及装置
CN106601076B (zh) 一种基于捷联惯导和面阵相机的汽车自助训练装置及方法
EP2924458A3 (fr) Procédé de détection et de visualisation des obstacles artificiels d'un aéronef à voilure tournante
CN113298725A (zh) 一种轮船图标图像叠加误差的纠正方法
EP2725362B1 (en) Motion sensor assembly for determining the angular velocity of a moving contrast in its field of view with high accuracy
O'CONNOR et al. Carrier‐Phase DGPS for Closed‐Loop Control of Farm and Construction Vehicles
CN113537198B (zh) 一种无人机图像采集时自动拍照的控制方法
WO2019063393A1 (de) Verfahren und system zur bestimmung zumindest einer bewegungskomponente einer absolutbewegung eines objektes im ruhenden bezugssystem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190610

Address after: 266000 Room 206-17, Block D, Pangu Creator Space, 100 Torch Road, Qingdao High-tech Zone, Shandong Province

Applicant after: Qingdao Parallel Intelligent Industry Management Co.,Ltd.

Address before: 266071 Room 206-1, Block D, Pangu Creator Space, 100 Torch Road, Qingdao High-tech Zone, Shandong Province

Applicant before: QINGDAO VEHICLE INTELLIGENCE PIONEERS Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210106

Address after: Room 206-8, block D, Pangu maker space, 100 Huoju Road, high tech Zone, Qingdao, Shandong 266000

Patentee after: Qingdao Intelligent Technology Industry Development Co.,Ltd.

Address before: 266000 Room 206-17, Block D, Pangu Creator Space, 100 Torch Road, Qingdao High-tech Zone, Shandong Province

Patentee before: Qingdao Parallel Intelligent Industry Management Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230217

Address after: 215500 No.2 Yunshen Road, Changshu high tech Industrial Development Zone, Suzhou City, Jiangsu Province

Patentee after: WUFANG SMART CAR TECHNOLOGY Co.,Ltd.

Address before: Room 206-8, block D, Pangu maker space, 100 Huoju Road, high tech Zone, Qingdao, Shandong 266000

Patentee before: Qingdao Intelligent Technology Industry Development Co.,Ltd.

TR01 Transfer of patent right