CN111582079A - 基于计算机视觉的车道定位方法及装置 - Google Patents

基于计算机视觉的车道定位方法及装置 Download PDF

Info

Publication number
CN111582079A
CN111582079A CN202010333137.4A CN202010333137A CN111582079A CN 111582079 A CN111582079 A CN 111582079A CN 202010333137 A CN202010333137 A CN 202010333137A CN 111582079 A CN111582079 A CN 111582079A
Authority
CN
China
Prior art keywords
lane
vehicle
lane line
road
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010333137.4A
Other languages
English (en)
Inventor
王亦龙
李翔
金丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hopechart Iot Technology Co ltd
Original Assignee
Hangzhou Hopechart Iot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hopechart Iot Technology Co ltd filed Critical Hangzhou Hopechart Iot Technology Co ltd
Priority to CN202010333137.4A priority Critical patent/CN111582079A/zh
Publication of CN111582079A publication Critical patent/CN111582079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于计算机视觉的车道定位方法及装置，所述方法包括：获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。本发明实施例实现了车道级定位输出，实时性强，定位精度高，无需部署额外的硬件，成本低且易于部署。

Description

基于计算机视觉的车道定位方法及装置
技术领域
本发明涉及图像处理和机器视觉技术领域，更具体地，涉及一种基于计算机视觉的车道定位方法及装置。
背景技术
随着现代城市交通的蓬勃发展，汽车数量的不断增加，交通拥挤现象在我国大中城市越来越严重。高速发展的公路交通带来了各种问题：交通事故急剧增长、交通负荷和环境污染不断加重、交通运输效率有待提高。道路安全问题越显突出且不容忽视，因此，高级辅助驾驶系统已成为研究热点。在20世纪70年代，美国开始研究用于军事领域的无人驾驶技术，并将其用于高速公路行驶和城市智能交通运输领域。
在包含车道偏离预警，车辆辅助转向的诸多高级驾驶辅助系统应用中，车辆的车道级定位非常重要，且关注最多的是车辆的横向定位，主要的定位方法包括基于全球定位系统(GPS)和基于激光雷达的方法。其中基于GPS的定位方法有：①GPS/DR(Dead Recking)组合定位，它使用GPS定位和航位推算，但由于定位传感器存在测量误差，所以航位推算的误差随时间增加而增大；②差分DGPS(Differential GPS)定位方法，其较为有效，但建设和维护差分基站的成本非常高，定位效果受到车辆距离、基站位置和基站数量的限制。③基于激光雷达的定位方法是通过多线激光雷达的点云数据进行特征匹配的，但因激光雷达的数据量很大，在雨雪天等条件下表现不佳，故实时性不强。此外，车辆定位中研究热门且应用广泛的是组合定位，通过上述几种不同定位方式和数据的融合，起到优势互补的作用。因此，亟需提供一种新的车道定位方法。
发明内容
为了解决或者至少部分地解决现有车道定位方法存在的定位误差较大、精度不高、设备成本较高以及实用性不强等问题，本发明实施例提供一种基于计算机视觉的车道定位方法及装置。
第一方面，本发明实施例提供一种基于计算机视觉的车道定位方法，包括：
获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
可选地，所述获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像，具体为：
对车载单目相机进行标定，得到所述车载单目相机的内部参数，所述内部参数包括相机焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
将所述车载单目相机安装在目标车辆前挡风玻璃内侧，使其保持水平，测量相机的高度；
调节标定杠的高度使其与所述车载单目相机等高，调节所述车载单目相机镜头的位置，使得标定杠顶部与相机的主点坐标重合；
利用所述车载单目相机采集车前道路的实时图像；
基于所述车载单目相机的内部参数，对所述车前道路的实时图像进行去除畸变的操作，获得理想相机下的视频图像。
可选地，所述车道线检测算法具体为基于可微分最小二乘法拟合的端到端车道线检测算法。
可选地，所述获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据，具体为：
获取所述目标车辆的车载GPS天线的定位信息，基于所述车载GPS天线的定位信息确定所述目标车辆在OSM离线地图上的位置信息；
根据所述位置信息，结合OSM地图信息进行道路匹配，获取所述目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离。
可选地，所述根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，具体为：
根据所述车道线检测结果所包含的目标车辆所在车道两侧的车道线方程及道路边界方程，获取车道线上的点在理想相机的图像坐标系下的坐标，以及道路边界上的对应点在理想相机的图像坐标系下的坐标；
将所述车道线上的点在理想相机的图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标；
根据所述车道线上的点在世界坐标系下的坐标以及所述道路边界上的对应点在世界坐标系下的坐标计算所述目标车辆的左侧车道线与道路边界间的相对横向距离，以及右侧车道线与道路边界间的相对横向距离。
可选地，所述基于所述相对位置关系和所述车道相关数据进行车道级定位，具体为：
根据所述目标车辆的左侧车道线与道路边界间的相对横向距离d1，以及右侧车道线与道路边界间的相对横向距离d2，结合所述车道相关数据所包含的目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离，判断所述目标车辆所在的车道；
若|d1-dk|和|d2-dk|均在预设阈值范围内，则所述目标车辆所在的车道即为第k条车道，其中，k的取值为1，2，3或4。
可选地，将所述车道线上的点在理想相机的图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标，具体为：
所述车道线上的点在理想相机的图像坐标系下的坐标为(u,v)，所述车道线上的点在世界坐标系下的坐标为(Xw,Yw,Zw),
依据下述公式将所述车道线上的点在理想相机的图像坐标系下的坐标转换为世界坐标系下的坐标：
Figure BDA0002465680970000041
其中，
Figure BDA0002465680970000042
fx、fy为所述车载单目相机的焦距，(cx,cy)为所述车载单目相机的主点坐标，Zc＝M2[2]/M1[2]，其中，
Figure BDA0002465680970000043
M2＝R-1*T，R是外参旋转矩阵，T是外参平移矩阵。
第二方面，本发明实施例提供一种基于计算机视觉的车道定位装置，包括：
图像获取模块，用于获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
车道线检测模块，用于利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
定位匹配模块，用于获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
车道级定位模块，用于根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于计算机视觉的车道定位方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于计算机视觉的车道定位方法的步骤。
本发明实施例提供的基于计算机视觉的车道定位方法及装置，针对城市道路及高速公路场景的横向定位问题，基于机器视觉进行车道线检测，并通过低精度的定位，并结合电子地图进行道路匹配获得车道相关数据，最后基于车道线检测结果和车道相关数据确定车辆所处的车道，实现了车道级定位输出，实时性强，定位精度高，无需部署额外的硬件，成本低且易于部署。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于计算机视觉的车道定位方法的流程示意图
图2为所述获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像的步骤的流程示意图；
图3为本发明实施例提供的基于计算机视觉的车道定位装置的结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
从生物学角度出发，80％以上的道路信息可由驾驶员通过视觉获得，如交通标志、交通信号、车道线、道路形状、车辆、道路标记、障碍物等。其次，基于视觉的智能车辆研究起步早，最早且随着技术的发展，目前的计算机硬件水平已为复杂多变的实时图像处理提供了有利的条件。此外，车载摄像头的成本低、体积小，安装方便。视觉传感器在车辆高精度定位方面起着重要作用。将摄像机与GPS、加速度计、电子地图等信息融合的多传感器组合定位系统存在巨大的实用价值，因为成为了业界争相研究的热点，视觉也凭借其获取丰富道路图像的能力为车道级的高精度定位提供了有利信息。
图1为本发明实施例提供的基于计算机视觉的车道定位方法的流程示意图，包括：
S100、获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
具体地，获取车载单目相机拍摄的车前道路的实时图像，由于相机镜头存在一定的畸变，故对车前道路的实时图像进行去除畸变的操作，得到理想相机下的视频图像。
S101、利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
具体地，车道线检测结果具体包括目标车辆所在车道两侧的车道线方程及道路边界方程。
S102、获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
具体地，初级定位信息可以是基于车载GPS天线的定位信息，也可以是通过其他定位装置获得的目标车辆的低精度定位信息。电子地图信息可以是基于OSM(OpenStreetMap)地图的信息，也可以是其他电子地图的信息。车道相关数据包括目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离。
S103、根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
具体地，根据所述车道线检测结果计算目标车辆的左侧车道线与道路边界间的相对横向距离，从而确定所述目标车辆的车道线与道路边界间的相对位置关系，基于相对位置关系和车道相关数据即可实现车道级定位。
值得说明的是，对于车道级定位输出，同样使用基于历史连续帧的数据滤波，以避免因为车道线或道路边沿误检或漏检造成车道定位突变等错误，由此完成车道级的定位。
本发明实施例提供的基于计算机视觉的车道定位方法，针对城市道路及高速公路场景的横向定位问题，基于机器视觉进行车道线检测，并通过低精度的定位，并结合电子地图进行道路匹配获得车道相关数据，最后基于车道线检测结果和车道相关数据确定车辆所处的车道，实现了车道级定位输出，实时性强，定位精度高，无需部署额外的硬件，成本低且易于部署。
基于上述实施例的内容，如图2所示，所述S100获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像，具体为：
S200、对车载单目相机进行标定，得到所述车载单目相机的内部参数，包括相机焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
具体地，对车载单目相机进行标定，得到单目相机的内部参数，包括相机焦距fx、fy、主点坐标(cx,cy)、外参旋转矩阵R、外参平移矩阵T以及畸变系数[k1,k2,p1,p2,k3]。
S201、将所述车载单目相机安装在目标车辆前挡风玻璃内侧，使其保持水平，测量相机的高度；
S202、调节标定杠的高度使其与所述车载单目相机等高，调节所述车载单目相机镜头的位置，使得标定杠顶部与相机的主点坐标(cx,cy)重合；
S203、利用所述车载单目相机采集车前道路的实时图像；
S204、基于所述车载单目相机的内部参数，对所述车前道路的实时图像进行去除畸变的操作，获得理想相机下的视频图像。
具体地，由于相机镜头存在一定的畸变，故对车前道路的实时图像进行去除畸变的操作，得到理想相机下的视频图像；
其中，从理想相机中的点到畸变点的对应关系如下：
Figure BDA0002465680970000081
u′＝x*(1+k1*r2+k2*r4+k3*r6)+2*p1*x*y+p2*(r2+2x2)
v′＝y*(1+k1*r2+k2*r4+k3*r6)+2*p2*x*y+p2*(r2+2y2)
式中，(u,v)为理想相机中的点，u’和v’是畸变后的点，fx、fy为相机焦距，(cx,cy)为主点坐标，k1,k2,p1,p2,k3为畸变系数。
基于上述实施例的内容，所述车道线检测算法具体为基于可微分最小二乘法拟合的端到端车道线检测算法。
具体地，本发明实施例利用基于可微分最小二乘法拟合的端到端车道线检测算法(End-to-end Lane Detection through Differentiable Least-Squares Fitting)，对车前道路的实时图像进行车道线检测，得到目标车辆的车道线检测结果。基于可微分最小二乘法拟合的端到端车道线检测算法构建了一个基于深度学习的车道线检测网络。
所述车道线检测结果包括所有车道线方程及道路边界方程，其中，车道线方程为x＝a1*y2+b1*y+c1和x＝a2*y2+b2*y+c2，道路边界方程为x＝a3*y2+b3*y+c3和x＝a4*y2+b4*y+c4。
本发明另一实施例，基于上述实施例的内容，所述获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据，具体为：
获取所述目标车辆的车载GPS天线的定位信息，基于所述车载GPS天线的定位信息确定所述目标车辆在OSM离线地图上的位置信息；
根据所述位置信息，结合OSM地图信息进行道路匹配，获取所述目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离。
具体地，OSM(OpenStreetMap)是一种开放的GIS(Geographic InformationSystem)数据，是免费开源、可编辑的地图服务，其元素主要包括点、路和关系，并以此构成整个地图画面。本发明实施例中OSM地图信息包含道路名称、道路类型、车辆行驶方向、车道数量和每条车道宽度等信息。通过目标车辆的车载GPS天线的定位信息可以确定目标车辆在OSM离线地图上的位置信息，进而可以获得目标车辆所在道路的车道数量N、每条车道宽度{wi|i＝1,2,...,n}，以及第一条车道左侧车道线与左侧护栏间的距离等信息。
基于上述实施例的内容，S103中根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，具体为：
根据所述车道线检测结果所包含的目标车辆所在车道两侧的车道线方程及道路边界方程，获取车道线上的点在理想相机的图像坐标系下的坐标，以及道路边界上的对应点在理想相机的图像坐标系下的坐标；
将所述车道线上的点在理想相机的图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标；
根据所述车道线上的点在世界坐标系下的坐标以及所述道路边界上的对应点在世界坐标系下的坐标计算所述目标车辆的左侧车道线与道路边界间的相对横向距离，以及右侧车道线与道路边界间的相对横向距离。
具体地，车道线检测结果包括车道线检测结果所包含的目标车辆所在车道两侧的车道线方程及道路边界方程，可以根据车道线方程及道路边界方程计算出车道线与道路边界间的空间距离。
首先根据所述车道线检测结果所包含的目标车辆所在车道两侧的车道线方程及道路边界方程，获取车道线上的点在理想相机的图像坐标系下的坐标(u1,v1)，以及道路边界上的对应点在理想相机的图像坐标系下的坐标(u2,v2)，其中，对应点是指v1＝v2。
为了计算车道线与道路边界间的空间距离，需要将车道线上的点在理想相机的图像坐标系下的坐标(u1,v1)转换为世界坐标系下的坐标(Xw1,Yw1,Zw1)，将道路边界上的对应点在理想相机的图像坐标系下的坐标(u2,v2)转换为世界坐标系下的坐标(Xw2,Yw2,Zw2)。
最后，根据根据Xw1与Xw2间的差值计算车辆与车道边界的相对横向距离，具体地，根据所述车道线上的点(包括左车道线上的点和右车道线上的点)在世界坐标系下的坐标以及所述道路边界上的对应点在世界坐标系下的坐标计算所述目标车辆的左侧车道线与道路边界间的相对横向距离，以及右侧车道线与道路边界间的相对横向距离。
基于上述实施例的内容，将所述车道线上的点在理想相机的/图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标，具体为：
所述车道线上的点在理想相机的图像坐标系下的坐标为(u,v)，所述车道线上的点在世界坐标系下的坐标为(Xw,Yw,Zw),
依据下述公式将所述车道线上的点在理想相机的图像坐标系下的坐标转换为世界坐标系下的坐标：
Figure BDA0002465680970000111
其中，
Figure BDA0002465680970000112
fx、fy为所述车载单目相机的焦距，(cx,cy)为所述车载单目相机的主点坐标，Zc＝M2[2]/M1[2]，其中，
Figure BDA0002465680970000113
M2＝R-1*T，R是外参旋转矩阵，T是外参平移矩阵。
具体地，(u,v)为图像坐标系中的一个点的坐标，该点在摄像坐标系中的坐标为(Xc,Yc,Zc)，该点在在世界坐标系中的坐标为(Xw,Yw,Zw)，R是外参旋转矩阵，T是外参平移矩阵；
该点从摄像机坐标系到世界坐标系的转换关系如下：
Figure BDA0002465680970000114
该点从图像坐标系到摄像坐标系的转换关系如下：
Figure BDA0002465680970000121
其中，
Figure BDA0002465680970000122
由上述公式(1)和公式(2)可得：
Figure BDA0002465680970000123
从公式(3)中可知，由于其他参数均已知，只要求出Zc，就可以根据(u,v)利用公式(3)计算出(Xw,Yw,Zw)。
由p-1*p＝E可反推图像坐标系转换到世界坐标系的过程：
Figure BDA0002465680970000124
由[u v 1]T第三行为1，可知
Figure BDA0002465680970000125
Figure BDA0002465680970000126
在最低点时认为Zw＝0，将Zw＝0代入，得到Zc＝M2[2]/M1[2]。
基于上述实施例的内容，所述基于所述相对位置关系和所述车道相关数据进行车道级定位，具体为：
根据所述目标车辆的左侧车道线与道路边界间的相对横向距离d1，以及右侧车道线与道路边界间的相对横向距离d2，结合所述车道相关数据所包含的目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离，判断所述目标车辆所在的车道；
若|d1-dk|和|d2-dk|均在预设阈值范围内，则所述目标车辆所在的车道即为第k条车道，其中，k的取值为1，2，3或4。
其中，所述预设阈值范围根据每条车道的宽度确定。
图3为本发明实施例提供的基于计算机视觉的车道定位装置的结构示意图，包括：图像获取模块310、车道线检测模块320、定位匹配模块330和车道级定位模块340，其中，
图像获取模块310，用于获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
具体地，图像获取模块310获取车载单目相机拍摄的车前道路的实时图像，由于相机镜头存在一定的畸变，故对车前道路的实时图像进行去除畸变的操作，得到理想相机下的视频图像。
车道线检测模块320，用于利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
具体地，车道线检测结果具体包括目标车辆所在车道两侧的车道线方程及道路边界方程。
定位匹配模块330，用于获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
具体地，初级定位信息可以是基于车载GPS天线的定位信息，也可以是通过其他定位装置获得的目标车辆的低精度定位信息。电子地图信息可以是基于OSM(OpenStreetMap)地图的信息，也可以是其他电子地图的信息。车道相关数据包括目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离。
车道级定位模块340，用于根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
具体地，车道级定位模块340根据所述车道线检测结果计算目标车辆的左侧车道线与道路边界间的相对横向距离，从而确定所述目标车辆的车道线与道路边界间的相对位置关系，基于相对位置关系和车道相关数据即可实现车道级定位。
值得说明的是，对于车道级定位输出，同样使用基于历史连续帧的数据滤波，以避免因为车道线或道路边沿误检或漏检造成车道定位突变等错误，由此完成车道级的定位。
本发明实施例提供的基于计算机视觉的车道定位装置，针对城市道路及高速公路场景的横向定位问题，基于机器视觉进行车道线检测，并通过低精度的定位，并结合电子地图进行道路匹配获得车道相关数据，最后基于车道线检测结果和车道相关数据确定车辆所处的车道，实现了车道级定位输出，实时性强，定位精度高，无需部署额外的硬件，成本低且易于部署。
图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储在存储器430上并可在处理器410上运行的计算机程序，以执行上述各方法实施例所提供的基于计算机视觉的车道定位方法，例如包括：获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的基于计算机视觉的车道定位方法，例如包括：获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于计算机视觉的车道定位方法，其特征在于，包括：
获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
2.根据权利要求1所述的基于计算机视觉的车道定位方法，其特征在于，所述获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像，具体为：
对车载单目相机进行标定，得到所述车载单目相机的内部参数，所述内部参数包括相机焦距、主点坐标、外参旋转矩阵、外参平移矩阵以及畸变系数；
将所述车载单目相机安装在目标车辆前挡风玻璃内侧，使其保持水平，测量相机的高度；
调节标定杠的高度使其与所述车载单目相机等高，调节所述车载单目相机镜头的位置，使得标定杠顶部与相机的主点坐标重合；
利用所述车载单目相机采集车前道路的实时图像；
基于所述车载单目相机的内部参数，对所述车前道路的实时图像进行去除畸变的操作，获得理想相机下的视频图像。
3.根据权利要求1所述的基于计算机视觉的车道定位方法，其特征在于，所述车道线检测算法具体为基于可微分最小二乘法拟合的端到端车道线检测算法。
4.根据权利要求1所述的基于计算机视觉的车道定位方法，其特征在于，所述获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据，具体为：
获取所述目标车辆的车载GPS天线的定位信息，基于所述车载GPS天线的定位信息确定所述目标车辆在OSM离线地图上的位置信息；
根据所述位置信息，结合OSM地图信息进行道路匹配，获取所述目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离。
5.根据权利要求1所述的基于计算机视觉的车道定位方法，其特征在于，所述根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，具体为：
根据所述车道线检测结果所包含的目标车辆所在车道两侧的车道线方程及道路边界方程，获取车道线上的点在理想相机的图像坐标系下的坐标，以及道路边界上的对应点在理想相机的图像坐标系下的坐标；
将所述车道线上的点在理想相机的图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标；
根据所述车道线上的点在世界坐标系下的坐标以及所述道路边界上的对应点在世界坐标系下的坐标计算所述目标车辆的左侧车道线与道路边界间的相对横向距离，以及右侧车道线与道路边界间的相对横向距离。
6.根据权利要求5所述的基于计算机视觉的车道定位方法，其特征在于，所述基于所述相对位置关系和所述车道相关数据进行车道级定位，具体为：
根据所述目标车辆的左侧车道线与道路边界间的相对横向距离d1，以及右侧车道线与道路边界间的相对横向距离d2，结合所述车道相关数据所包含的目标车辆所在道路的车道数量、每条车道的宽度以及第一条车道左侧车道线与左侧护栏间的距离，判断所述目标车辆所在的车道；
若|d1-dk|和|d2-dk|均在预设阈值范围内，则所述目标车辆所在的车道即为第k条车道，其中，k的取值为1，2，3或4。
7.根据权利要求5所述的基于计算机视觉的车道定位方法，其特征在于，将所述车道线上的点在理想相机的图像坐标系下的坐标以及所述道路边界上的对应点在理想相机的图像坐标系下的坐标均转换为世界坐标系下的坐标，具体为：
所述车道线上的点在理想相机的图像坐标系下的坐标为(u,v)，所述车道线上的点在世界坐标系下的坐标为(Xw,Yw,Zw),
依据下述公式将所述车道线上的点在理想相机的图像坐标系下的坐标转换为世界坐标系下的坐标：
Figure FDA0002465680960000031
其中，
Figure FDA0002465680960000032
fx、fy为所述车载单目相机的焦距，(cx,cy)为所述车载单目相机的主点坐标，Zc＝M2[2]/M1[2]，其中，
Figure FDA0002465680960000033
M2＝R-1*T，R是外参旋转矩阵，T是外参平移矩阵。
8.一种基于计算机视觉的车道定位装置，其特征在于，包括：
图像获取模块，用于获取车载单目相机拍摄的车前道路的实时图像，对所述车前道路的实时图像进行去畸变处理，获得理想相机下的视频图像；
车道线检测模块，用于利用车道线检测算法对所述理想相机下的视频图像进行车道线检测，得到目标车辆的车道线检测结果；
定位匹配模块，用于获取所述目标车辆的初级定位信息，并结合电子地图信息进行道路匹配，获得所述目标车辆所在道路的车道相关数据；
车道级定位模块，用于根据所述车道线检测结果确定所述目标车辆的车道线与道路边界间的相对位置关系，基于所述相对位置关系和所述车道相关数据进行车道级定位。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于计算机视觉的车道定位方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于计算机视觉的车道定位方法的步骤。
CN202010333137.4A 2020-04-24 2020-04-24 基于计算机视觉的车道定位方法及装置 Pending CN111582079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333137.4A CN111582079A (zh) 2020-04-24 2020-04-24 基于计算机视觉的车道定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333137.4A CN111582079A (zh) 2020-04-24 2020-04-24 基于计算机视觉的车道定位方法及装置

Publications (1)

Publication Number Publication Date
CN111582079A true CN111582079A (zh) 2020-08-25

Family

ID=72111630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333137.4A Pending CN111582079A (zh) 2020-04-24 2020-04-24 基于计算机视觉的车道定位方法及装置

Country Status (1)

Country Link
CN (1) CN111582079A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068567A (zh) * 2020-09-16 2020-12-11 上海振华重工(集团)股份有限公司 一种基于超宽带和视觉图像的定位方法及定位系统
CN112597945A (zh) * 2020-12-29 2021-04-02 上海眼控科技股份有限公司 车辆检测方法及装置
CN113052904A (zh) * 2021-03-19 2021-06-29 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113191342A (zh) * 2021-07-01 2021-07-30 中移(上海)信息通信科技有限公司 车道定位方法及电子设备
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
CN113436257A (zh) * 2021-06-09 2021-09-24 同济大学 一种基于道路几何信息的车辆位置实时检测方法
CN113990105A (zh) * 2021-10-22 2022-01-28 数字广东网络建设有限公司 一种车辆轨迹的处理方法、装置、计算机设备和存储介质
CN114140538A (zh) * 2021-12-03 2022-03-04 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质
CN114323050A (zh) * 2022-01-07 2022-04-12 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN114333298A (zh) * 2021-12-02 2022-04-12 河北雄安京德高速公路有限公司 一种基于交通雷达的车辆归属车道估计方法
CN114612736A (zh) * 2020-12-08 2022-06-10 广州汽车集团股份有限公司 一种车道线检测方法、系统及计算机可读介质
CN115265493A (zh) * 2022-09-26 2022-11-01 四川省公路规划勘察设计研究院有限公司 一种基于非标定相机的车道级定位方法及装置
CN113139454B (zh) * 2021-04-19 2024-04-23 国交空间信息技术（北京）有限公司 基于单张图像的道路宽度提取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767853A (zh) * 2016-12-30 2017-05-31 中国科学院合肥物质科学研究院 一种基于多信息融合的无人驾驶车辆高精度定位方法
US20190251372A1 (en) * 2018-02-13 2019-08-15 Kpit Technologies Ltd System and method for lane detection
CN110174113A (zh) * 2019-04-28 2019-08-27 福瑞泰克智能系统有限公司 一种车辆行驶车道的定位方法、装置及终端
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767853A (zh) * 2016-12-30 2017-05-31 中国科学院合肥物质科学研究院 一种基于多信息融合的无人驾驶车辆高精度定位方法
US20190251372A1 (en) * 2018-02-13 2019-08-15 Kpit Technologies Ltd System and method for lane detection
CN110174113A (zh) * 2019-04-28 2019-08-27 福瑞泰克智能系统有限公司 一种车辆行驶车道的定位方法、装置及终端
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068567A (zh) * 2020-09-16 2020-12-11 上海振华重工(集团)股份有限公司 一种基于超宽带和视觉图像的定位方法及定位系统
CN112068567B (zh) * 2020-09-16 2023-11-24 上海振华重工(集团)股份有限公司 一种基于超宽带和视觉图像的定位方法及定位系统
CN114612736A (zh) * 2020-12-08 2022-06-10 广州汽车集团股份有限公司 一种车道线检测方法、系统及计算机可读介质
CN112597945A (zh) * 2020-12-29 2021-04-02 上海眼控科技股份有限公司 车辆检测方法及装置
CN113052904A (zh) * 2021-03-19 2021-06-29 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113139454B (zh) * 2021-04-19 2024-04-23 国交空间信息技术（北京）有限公司 基于单张图像的道路宽度提取方法及装置
CN113436257A (zh) * 2021-06-09 2021-09-24 同济大学 一种基于道路几何信息的车辆位置实时检测方法
CN113436257B (zh) * 2021-06-09 2023-02-10 同济大学 一种基于道路几何信息的车辆位置实时检测方法
CN113191342A (zh) * 2021-07-01 2021-07-30 中移(上海)信息通信科技有限公司 车道定位方法及电子设备
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
CN113990105A (zh) * 2021-10-22 2022-01-28 数字广东网络建设有限公司 一种车辆轨迹的处理方法、装置、计算机设备和存储介质
CN114333298A (zh) * 2021-12-02 2022-04-12 河北雄安京德高速公路有限公司 一种基于交通雷达的车辆归属车道估计方法
CN114333298B (zh) * 2021-12-02 2024-02-23 河北雄安京德高速公路有限公司 一种基于交通雷达的车辆归属车道估计方法
CN114140538A (zh) * 2021-12-03 2022-03-04 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质
CN114140538B (zh) * 2021-12-03 2022-09-27 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质
CN114323050A (zh) * 2022-01-07 2022-04-12 苏州挚途科技有限公司 车辆定位方法、装置和电子设备
CN115265493B (zh) * 2022-09-26 2022-12-16 四川省公路规划勘察设计研究院有限公司 一种基于非标定相机的车道级定位方法及装置
CN115265493A (zh) * 2022-09-26 2022-11-01 四川省公路规划勘察设计研究院有限公司 一种基于非标定相机的车道级定位方法及装置

Similar Documents

Publication Publication Date Title
CN111582079A (zh) 基于计算机视觉的车道定位方法及装置
JP7176811B2 (ja) 自律車両ナビゲーションのための疎な地図
US10384679B2 (en) Travel control method and travel control apparatus
US11085774B2 (en) System and method of matching of road data objects for generating and updating a precision road database
US10970317B2 (en) System and method of a two-step object data processing by a vehicle and a server database for generating, updating and delivering a precision road property database
EP3130945B1 (en) System and method for precision vehicle positioning
CN112558023B (zh) 传感器的标定方法和装置
CN110705458B (zh) 边界检测方法及装置
EP3358545A1 (en) Travel control method and travel control device
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
CN102208011A (zh) 图像处理系统及车辆控制系统
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
Marinelli et al. Mobile mapping systems and spatial data collection strategies assessment in the identification of horizontal alignment of highways
CN112382085A (zh) 适用于智能车辆交通场景理解与超视距感知系统及方法
US20210180980A1 (en) Roadway mapping device
US20220042804A1 (en) Localization device for visually determining the location of a vehicle
CN114323050A (zh) 车辆定位方法、装置和电子设备
EP4275192A2 (en) Systems and methods for common speed mapping and navigation
CN113178091A (zh) 安全行驶区域方法、装置和网络设备
Jiang et al. Precise vehicle ego-localization using feature matching of pavement images
CN112530270B (zh) 一种基于区域分配的建图方法及装置
Velat et al. Vision based vehicle localization for autonomous navigation
Zheng et al. Lane-level positioning system based on RFID and vision
Yoshida et al. Map-subtraction based moving-object tracking with motorcycle-mounted scanning LiDAR
CN115626181A (zh) 自驾车的路径规划系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination