CN107389084A - 行车路径规划方法及存储介质 - Google Patents

行车路径规划方法及存储介质 Download PDF

Info

Publication number
CN107389084A
CN107389084A CN201710434532.XA CN201710434532A CN107389084A CN 107389084 A CN107389084 A CN 107389084A CN 201710434532 A CN201710434532 A CN 201710434532A CN 107389084 A CN107389084 A CN 107389084A
Authority
CN
China
Prior art keywords
data
lane line
feature
barrier
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710434532.XA
Other languages
English (en)
Other versions
CN107389084B (zh
Inventor
邱纯鑫
刘乐天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suteng Innovation Technology Co Ltd
Original Assignee
Suteng Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suteng Innovation Technology Co Ltd filed Critical Suteng Innovation Technology Co Ltd
Priority to CN201710434532.XA priority Critical patent/CN107389084B/zh
Publication of CN107389084A publication Critical patent/CN107389084A/zh
Application granted granted Critical
Publication of CN107389084B publication Critical patent/CN107389084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种行车路径规划方法及存储介质,首先获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系,再分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征,最后根据所述路况特征规划行车路径。该行车路径规划方法及存储介质结合视觉数据和雷达数据来识别路况特征,由于视觉数据能够提供颜色、纹理、形状等丰富的特征信息,且雷达数据不会受到天气条件和光照条件的影响,结合这两种数据来检测路况特征,既不会受到光照和天气条件的影响,又能得到丰富的细节信息,从而能够提高路况特征的检测精确度。

Description

行车路径规划方法及存储介质
技术领域
本发明涉及高级驾驶辅助技术领域,特别是涉及一种行车路径规划方法及存储介质。
背景技术
高级驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)是利用安装在车辆上的各式各样传感器,在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。在实际应用中,高级驾驶辅助系统需要根据检测的路况特征来规划行车路径,检测的路况特征是否精确直接影响高级驾驶辅助系统的使用性能,因此,如何提高路况特征的检测精确度是高级驾驶辅助技术的关键问题。
发明内容
基于此,有必要针对如何提高路况特征的检测精确度的问题,提供一种行车路径规划方法及存储介质。
一种行车路径规划方法,包括:
获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系;
分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征;
根据所述路况特征规划行车路径。
在其中一个实施例中,所述路况特征包括路沿、障碍物及车道线。
在其中一个实施例中,分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征包括:
从所述视觉数据及所述雷达数据中提取所述路沿和所述障碍物的特征,并利用所述映射关系将提取的数据进行融合以识别出所述路沿和所述障碍物;
利用识别出的所述路沿和所述障碍物构建可行驶区域;
根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线。
在其中一个实施例中,从所述视觉数据及所述雷达数据中提取所述路沿和所述障碍物的特征,并利用所述映射关系将提取的数据进行融合以识别出所述路沿和所述障碍物包括:
将所述视觉数据进行逆透视变换得到鸟瞰数据,并从所述鸟瞰数据中提取所述路沿和所述障碍物的特征;
将所述路沿和所述障碍物的特征利用所述映射关系映射至所述雷达数据中,以结合所述雷达数据中的位置信息识别出所述路沿和所述障碍物。
在其中一个实施例中,将所述视觉数据进行逆透视变换得到鸟瞰数据,并从所述鸟瞰数据中提取所述路沿和所述障碍物的特征包括:
将所述视觉数据进行逆透视变换得到鸟瞰数据,并对所述鸟瞰数据进行滤波和增强得到处理后的数据;
从所述处理后的数据中提取所述路沿和所述障碍物的特征。
在其中一个实施例中,根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线包括:
利用所述雷达数据的反射强度信息检测所述可行驶区域内车道线的点,并利用所述映射关系将各所述车道线的点映射到所述鸟瞰数据中;
在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线。
在其中一个实施例中,在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线包括:
在所述鸟瞰数据中根据各所述车道线点的位置信息对所述车道线进行定位;
沿着定位方向根据灰度特征搜索车道线候选点;
将所有的所述车道线候选点进行曲线拟合,以拟合出所述车道线。
在其中一个实施例中,在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线之后,根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线还包括:
将所述鸟瞰数据进行透视变换,得到透视图;
确定所述透视图中的灭点,且根据所述灭点检测并删除错误的所述车道线。
在其中一个实施例中,根据所述路况特征规划行车路径具体为:
判断是否识别出车道线,若是,则控制车辆避让所述障碍物,并沿着当前的所述车道线行驶;否则,控制车辆避让所述障碍物,并保持在路面上行驶。
一个或多个包含计算机可执行指令的存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系;
分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征;
根据所述路况特征规划行车路径。
上述行车路径规划方法及存储介质具有的有益效果为:在该行车路径规划方法及存储介质中,分别对视觉数据、雷达数据进行特征提取,并利用映射关系将提取的数据进行融合以识别出路况特征,进而根据路况特征规划行车路径。因此,该行车路径规划方法及存储介质结合视觉数据和雷达数据来识别路况特征,由于视觉数据能够提供颜色、纹理、形状等丰富的特征信息,雷达数据不会受到天气条件和光照条件的影响且能够提供目标精确的三维位置信息,结合这两种数据来检测路况特征,可以互相弥补劣势,增强优势,既不会受到光照和天气条件的影响,又能得到丰富的细节信息,从而能够提高路况特征的检测精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他实施例的附图。
图1为一实施方式提供的行车路径规划方法的流程图;
图2为图1所示实施方式的行车路径规划方法中步骤S200的其中一种实施例的流程图;
图3为图2所示实施例的行车路径规划方法中步骤S210的其中一种实施例流程图;
图4为图3所示实施例的行车路径规划方法中步骤S211的其中一种实施例流程图;
图5为图2所示实施例的行车路径规划方法中步骤S230的其中一种实施例流程图;
图6为图5所示实施例的行车路径规划方法中步骤S232的其中一种实施例流程图;
图7为图2所示实施例的行车路径规划方法中步骤S230的另一种实施例流程图;
图8为图1所示实施方式的行车路径规划方法中步骤S300的其中一种实施例流程图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
一实施方式提供了一种行车路径规划方法,可以由具有数据处理能力的设备(例如计算机)或集成电路(例如单片机等)来执行。具体地,该行车路径规划方法可以由安装在车辆内的设备或集成电路来执行。请参考图1,该行车路径规划方法包括以下内容。
步骤S100,获取路况的视觉数据和雷达数据,并获取视觉数据和雷达数据之间的映射关系。
其中,视觉数据是指能够反映视觉信息(例如物体的颜色、纹理、形状等特征信息)的数据,为二维图像数据。视觉数据例如可以由摄像机、照相机或其他能够通过镜头来采集视觉信息的视觉信息采集设备来采集,并将拍摄到的视觉数据发送至执行该行车路径规划方法的设备或集成电路。
在实际的车辆应用场景中,视觉信息采集设备可以安装在车顶,例如视觉信息采集设备可以处于2m左右的高度。进一步地,由于镜头的视场越大,可感知的范围越广,但感知距离越近;镜头的视场越小,则感知的距离越远,因此,考虑到路径规划的实际需求,视觉信息采集设备可以采用两个具有不同视场的镜头,其中一个为广角镜头,另一个为长焦镜头;或者,也可以采用两个视觉信息采集设备,其中一个视觉信息采集设备装有广角镜头,另一个视觉信息采集设备装有长焦镜头。其中,广角镜头可以感知车辆前方10m以内及车辆左右5m的信息,长焦镜头可以感知远方的路况信息。这两个镜头采集的数据利用传统的数据融合技术进行融合,从而得到视觉数据。
雷达数据是指由雷达(例如激光雷达)探测目标而得到的数据,数据类型为点云。雷达数据可以由雷达采集,并发送至执行该行车路径规划方法的设备或集成电路。以激光雷达为例,激光雷达分为单线、多线的不同类型,线束越多,扫描的点越密集,而成本也越高。考虑到实际需求,可以采用组合安装的方式,例如:选择两个单线的激光雷达和一个多线(例如16线)的激光雷达。其中,两个单线的激光雷达分别安装在车辆车头的两侧,多线的激光雷达安装在车顶中心位置。当各激光雷达采集完毕后,利用传统的数据融合技术将数据进行融合从而得到雷达数据。
映射关系,用来将视觉数据和雷达数据转换为同一坐标系下。关于映射关系的计算方式可以为:设置一个标定物体、视觉数据与雷达数据之间的映射模型:
其中,(x,y)表示视觉数据的点,(X,Y,Z)表示雷达数据中的点,P为映射矩阵,w为缩放系数。利用与路况相同的采集方式采集标定物体的视觉数据和雷达数据,之后分别在视觉数据、雷达数据中找到对应的若干点,并将这些点带入到上述映射模型中,从而可以求出映射矩阵P,即上述映射关系。
另外,步骤S100中获取的视觉数据、雷达数据,分别是由视觉信息采集设备、雷达在相同时间采集的数据。如果视觉信息采集设备采集数据的频率与雷达采集数据的频率不同(例如:相机采集数据的频率为30HZ或30HZ以上,而雷达采集数据的频率为10HZ),那么在步骤S100之前,还需要对视觉信息采集设备采集的原始视觉数据及雷达采集的原始雷达数据进行时间戳校准,即抽取出在同一时间采集的视觉数据和雷达数据,以实现视觉数据和雷达数据在绝对时间(世界时间)上的同步。
步骤S200,分别对视觉数据、雷达数据进行特征提取,并利用上述映射关系将提取的数据进行融合以识别出路况特征。
其中,特征提取是指将原始数据转换为具有明显物理意义(例如:几何特征、纹理等)或者统计意义的特征。例如,从视觉数据中可以检测到路沿的边缘信息等,从雷达数据中可以提取相关点的三维位置信息等。利用上述映射关系将提取的数据进行融合,是指将从视觉数据中提取出的特征与从雷达数据中提取的特征利用上述映射关系转换到同一坐标系下,进而完成进行融合,在融合后的数据中,每一个点具有较为丰富的信息(既包括视觉数据提供的信息,又包括雷达数据提供的信息),进而便于监测。路况特征,例如可以包括路沿、障碍物(例如包括车辆、行人等)及车道线。
本发明实施方式中,结合视觉数据和雷达数据来检测路况,好处在于:对于视觉数据,其可以提供较为丰富的视觉信息,但是视觉信息采集设备对于外界的光照、天气环境较为敏感,当外界环境发生剧烈变化(例如由强光变为弱光)时,视觉信息采集设备感知信息的能力大打折扣,因此,在ADAS系统中,若单纯依赖视觉数据来规划路径,则有可能产生“致命的错判”。对于雷达数据,由于雷达是通过主动向目标发射电磁波,并通过从目标反射的回波强度、接收到回波的时间差,来感知目标信息的,因此雷达几乎不受光照变化和天气条件的影响,无论是白天的强光直射,还是黑天的弱光照环境,雷达均可理想地感知目标信息。但是,雷达是通过对物体发射离散的电磁波进行探测的,故雷达探测到的信息是离散的点,受限于雷达的这种探测方式,使得雷达对物体的探测不可能覆盖到物体的整个表面,而是只能扫到几线的信息。综上,结合视觉数据和雷达数据具有的上述特点,本发明实施方式中结合这两种数据来识别路况特征,既能克服视觉数据因受到光照和天气影响而具有的不稳定性,又能为雷达数据补充丰富的视觉细节,从而可以提高对路况特征识别的精确度。
步骤S300,根据上述路况特征规划行车路径。
其中,规划行车路径时可以在导航仪提供的行车方向的前提下,进一步细化指引车辆的行进方向。在实际行驶过程中,可以根据实时检测的路况特征来实时规划行车路径,例如尽量沿当前车道的中心位置行驶。由于基于视觉数据和雷达数据识别的路况特征具有较高的精确度和稳定性,可靠性更高,降低了单一数据源的漏检率和误检率,因此根据上述路况特征规划行车路径可以提高ADAS系统的安全性能。
综上所述,本发明实施方式提供的上述行车路径规划方法,结合视觉数据和雷达数据来识别路况特征,由于视觉数据能够提供颜色、纹理、形状等丰富的特征信息,且雷达数据不会受到天气条件和光照条件的影响,结合这两种数据来检测路况特征,既不会受到光照和天气条件的影响,又能得到丰富的细节信息,从而能够提高路况特征的检测精确度。
在其中一个实施例中,在路况特征包括路沿、障碍物及车道线的前提下,上述步骤S200包括以下内容,请参考图2。
步骤S210,从视觉数据及雷达数据中提取路沿和障碍物的特征,并利用上述映射关系将提取的数据进行融合以识别出路沿和障碍物。
其中,利用上述映射关系将提取的数据进行融合,是指将视觉数据中提取的路沿的特征(例如:路沿的边缘特征)与从雷达数据中提取的路沿的特征(例如:路沿的高程特征、梯度变化特征)进行融合,即可识别出路沿;将视觉数据中提取的障碍物的特征与从雷达数据中提取的障碍物的特征进行融合,即可识别出障碍物。
步骤S220,利用识别出的路沿和障碍物构建可行驶区域。
该步骤中,可行驶区域是根据障碍物和路沿来绘制的,例如:如果车辆正前方有障碍物,那么可行驶区域的最前端轮廓只能绘制到障碍物,而不可以超越或覆盖障碍物;如果车辆的左侧是路沿,那么可行驶区域的左侧轮廓就是沿着路沿绘制,而不能超过路沿而绘制到路外,由此来界定一个车辆可以行使的最大范围。
步骤S230,根据视觉数据和雷达数据检测可行驶区域内的车道线。
本发明实施例中,根据路沿和障碍物确定了可行驶区域后,即可以排除车辆、栅栏等障碍物的干扰,相当于缩小了检测范围,那么之后在这个优化后的检测范围(即可行驶区域)内检测车道线,可以提高车道线检测的速率。
在其中一个实施例中,上述步骤S210具体包括以下内容,请参考图3。
步骤S211,将视觉数据进行逆透视变换得到鸟瞰数据,并从鸟瞰数据中提取路沿和障碍物的特征。
本实施例中,视觉数据为透视图像。逆透视变换即IPM(Inverse PerspectiveMapping)变换,可以采用传统的逆透视变换方法,从而得到鸟瞰数据(即鸟瞰图)。在鸟瞰数据中,不存在灭点,是从上往下垂直观看的视角得到的图像,车道线与路沿之间存在平行关系,因此在IPM坐标系下更便于检测路沿和障碍物。
从鸟瞰数据中提取路沿特征,换言之,从鸟瞰数据中检测路沿,例如可以利用边缘检测方法(如canny边缘检测、sobel边缘检测等)来检测路沿,这时提取的路沿特征则为路沿的边缘信息。从鸟瞰数据中提取障碍物的特征,换言之,从鸟瞰数据中检测障碍物,可以利用图像识别技术来识别障碍物,这时提取的障碍物特征即为对障碍物的识别结果。
步骤S212,将路沿和障碍物的特征利用上述映射关系映射至雷达数据中,以结合雷达数据中的位置信息识别出路沿和所述障碍物。
鸟瞰数据的各像素点能够提供二维信息,雷达数据能够提供三维信息(包括三维位置信息、反射强度信息等),且雷达数据包括稀疏的若干离散的三维点,将鸟瞰数据与雷达数据融合后,只有部分的像素点可以与三维点进行匹配,故将鸟瞰数据与雷达数据融合,相当于为鸟瞰数据中的部分像素点增加了三维信息。因此,路沿和障碍物的特征对应相关的像素点,那么将这些像素点映射至雷达数据中后,相当于增加了这些像素点的三维信息(包括三维位置信息)。由于障碍物通常是高于路面的,所以补充的三维位置信息,有利于提高障碍物检测的置信度,提高障碍物检测的准确率。而对于路沿,在鸟瞰数据中,路沿是具有明显的边缘特征的,而且路面上的车道线或其他水迹、干扰物也是具有明显的边缘特征的,只利用鸟瞰数据是无法完全区分路沿和车道线等这些具有边缘特征的目标的,故通过补充雷达数据提供的三维位置信息,并且由于路沿通常是高于路面的,就可以增加路沿与车道线等低于路沿的目标之间的区分度,从而可以实现路沿的精确定位和检测。
并且,在将路沿和障碍物的特征映射至雷达数据时,需要结合上述映射关系和PM(Perspective Mapping,透视)变换来进行映射,例如可以先将路沿和障碍物的特征乘以PM变换矩阵(即先将路沿和障碍物的特征转换为视觉数据所在的坐标系下),再乘以上述映射关系对应的映射矩阵(即将转换至视觉数据所在坐标系下的路沿和障碍物的特征最后转换至雷达数据所在的坐标系下),最后即可映射至雷达数据中。
另外,本发明实施例中,在执行了上述步骤S212后,步骤S220中可以在雷达数据中直接绘制可行驶区域。可以理解的是,在其他实施例中,如果步骤S210在进行数据融合时,是转换到视觉数据所在的坐标系下以识别路沿和障碍物,那么步骤S220中也可以在视觉数据中绘制可行驶区域。
在其中一个实施例中,上述步骤S211具体包括以下内容,请参考图4。
步骤S2111,将上述视觉数据进行逆透视变换得到鸟瞰数据,并对鸟瞰数据进行滤波和增强得到处理后的数据。
其中,对鸟瞰数据进行滤波,能够去掉噪声,可以利用图像滤波算法(例如高斯滤波)进行滤波。对鸟瞰数据进行增强,能够增强路况特征的识别度(例如:可以增强车道线边缘的灰度值),进而便于对路况特征进行识别,可以利用图像增强算法(例如全局直方图均衡化算法、局部直方图均衡化算法等)进行增强。
步骤S2112,从上述处理后的数据中提取路沿和障碍物的特征。
在其中一个实施例中,上述步骤S230具体包括以下内容,请参考图5。
步骤S231,利用雷达数据的反射强度信息检测可行驶区域内车道线的点,并利用上述映射关系将各车道线的点映射到鸟瞰数据中。
其中,如果步骤S220在雷达数据中绘制可行驶区域,该步骤中即可直接在可行驶区域内检测车道线的点,从而可以提高检测速度。可以理解的是,如果步骤S220在视觉数据中绘制可行驶区域,那么,该步骤中可以先将可行驶区域转换为雷达数据所在的坐标系,再检测车道线的点。
由于不同材质对雷达发射的电磁波的反射强度是不同的,路面通常是沥青或水泥材质,车道线通常是由反射性较强的涂料制成的,故车道线对于电磁波的反射强度比路面的反射强度要高。因此,通过分析每一个局部区域的反射强度(例如:求各局部区域的平均反射强度,平均反射强度高于阈值的点则可以认定为车道线的点)即可在雷达数据中检测到若干车道线的点。并且,由于雷达数据不受天气条件和光照条件的影响,因此由雷达数据检测的各车道线的点是较为精确的。
步骤S232,在鸟瞰数据中根据各车道线的点的位置信息检测车道线。
由于雷达数据检测的车道线的点是离散的点,只能对车道线进行定位,因此还需根据鸟瞰数据中的特征来检测完整的车道线。其中,各车道线的点的位置信息是指雷达数据中各车道线的点的三维位置信息映射到鸟瞰数据中得到的二维位置信息。
具体地,步骤S232包括以下内容,请参考图6。
步骤S2321,在鸟瞰数据中根据各车道线的点的位置信息对车道线进行定位。
由于步骤S231中,利用映射关系将各车道线的点映射到鸟瞰数据中,即可在鸟瞰数据中得到各车道线的点的二维位置信息,将各车道线的点连接起来,即可得到车道线的大致走向,从而实现对车道线的定位。
步骤S2322,沿着定位方向根据灰度特征搜索车道线候选点。
其中,在搜索车道候选点时,可以沿着定位方向(即车道线的走向)利用滑动窗口的方式来搜索,并且检测滑动窗口在每一个位置的平均灰度值。由于车道线各点的灰度值与周围区域各点的灰度值具有较明显的差别,并且如果对鸟瞰数据进行增强,就能进一步加大车道线与周围区域灰度的差别,那么只要判断某位置处滑动窗口的平均灰度值大于设定阈值,则可判断为该位置的点为车道线候选点,搜索完成后,即可得到若干车道线候选点。
步骤S2323,将所有的车道线候选点进行曲线拟合,以拟合出车道线。
其中,可以利用随机抽样一致性算法进行曲线拟合,曲线拟合完毕后,即可识别出所有的车道线。
在其中一个实施例中,上述步骤S230中,在步骤S232之后还可以包括以下内容,请参考图7。
步骤S233,将上述鸟瞰数据进行透视变换,得到透视图。
该步骤相当于将鸟瞰数据又转换为透视坐标系下的原始数据,例如可以将鸟瞰数据乘以透视投影矩阵,从而得到透视图。透视变换可以采用传统的透视变换方法,这里就不再赘述。
步骤S234,确定透视图中的灭点,且根据灭点检测并删除错误的车道线。
关于灭点的确定方法如下:如果是平行透视,则只有一个灭点,在对象中间的后方,方法是延长物体左右纵深的两条有会聚趋势的线,向后方会聚于一点,即灭点;如果是成角透视,有两个灭点,在对象的两侧的后方,确认灭点位置的方法是分别延长物体左右两方的有会聚趋势的四条线,两两交于对象左右两边的后方,从而形成两个灭点。
经过投影变换后,在形成的透视图中,正确的车道线会在远端相交,相交的位置与灭点位置是近似重合的。因此,根据这一关系,可以进一步删除错误的车道线。根据灭点检测错误的车道线的其中一种方法为:连接车道线(设为line)的低端点(即远离灭点的端点)与灭点,形成一条新的直线(设为line1),之后计算line与line1之间的夹角,如果这个夹角大于阈值角度,则代表车道线line是错误的直线,进而删除该车道线。
在其中一个实施例中,上述步骤S300具体包括以下内容,请参考图8。
步骤S310,判断是否识别出车道线,若是,则执行步骤S320;否则执行步骤S330。
步骤S320,控制车辆避让障碍物,并沿着当前的车道线行驶。
该步骤是在可行驶区域内有车道线的情况下,提出的一种行车规划路径方法。另外,如果在行驶过程中需要变道时,则检测变道方向是否有障碍物,如果有,则不允许车辆变道;否则,允许车辆变道。
进一步地,如果汽车安装有导航仪,那么该步骤可以作为对导航仪指引的行车方向的进一步细化,换言之,在导航仪指引的行车方向的前提下,根据实时检测的路况特征执行步骤S320,从而对导航仪的导航功能做进一步细化、完善,提高车辆行驶的安全性能。
步骤S330,控制车辆避让障碍物,并保持在路面上行驶。
该步骤是在可行驶区域内没有车道线的情况下,提出的一种行车规划路径方法。路面是指位于车行道范围内的区域。如果有路沿的话,路面则位于两侧的路沿之间。保持在路面上行驶,是指保持车辆在可行驶区域内行驶,例如不能超出路沿行驶。
另一实施方式提供了一个或多个包含计算机可执行指令的存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系;
分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征;
根据所述路况特征规划行车路径。
其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
需要说明的是,本实施方式中,处理器执行的步骤与上述实施方式提供的行车路径规划方法相同,这里就不再赘述。
需要说明的是,图1至图8为本发明实施例的方法的流程示意图。应该理解的是,虽然图1至图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图1至图8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行车路径规划方法,包括:
获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系;
分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征;
根据所述路况特征规划行车路径。
2.根据权利要求1所述的方法,其特征在于,所述路况特征包括路沿、障碍物及车道线。
3.根据权利要求2所述的方法,其特征在于,分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征包括:
从所述视觉数据及所述雷达数据中提取所述路沿和所述障碍物的特征,并利用所述映射关系将提取的数据进行融合以识别出所述路沿和所述障碍物;
利用识别出的所述路沿和所述障碍物构建可行驶区域;
根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线。
4.根据权利要求3所述的方法,其特征在于,从所述视觉数据及所述雷达数据中提取所述路沿和所述障碍物的特征,并利用所述映射关系将提取的数据进行融合以识别出所述路沿和所述障碍物包括:
将所述视觉数据进行逆透视变换得到鸟瞰数据,并从所述鸟瞰数据中提取所述路沿和所述障碍物的特征;
将所述路沿和所述障碍物的特征利用所述映射关系映射至所述雷达数据中,以结合所述雷达数据中的位置信息识别出所述路沿和所述障碍物。
5.根据权利要求4所述的方法,其特征在于,将所述视觉数据进行逆透视变换得到鸟瞰数据,并从所述鸟瞰数据中提取所述路沿和所述障碍物的特征包括:
将所述视觉数据进行逆透视变换得到鸟瞰数据,并对所述鸟瞰数据进行滤波和增强得到处理后的数据;
从所述处理后的数据中提取所述路沿和所述障碍物的特征。
6.根据权利要求5所述的方法,其特征在于,根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线包括:
利用所述雷达数据的反射强度信息检测所述可行驶区域内车道线的点,并利用所述映射关系将各所述车道线的点映射到所述鸟瞰数据中;
在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线。
7.根据权利要求6所述的方法,其特征在于,在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线包括:
在所述鸟瞰数据中根据各所述车道线点的位置信息对所述车道线进行定位;
沿着定位方向根据灰度特征搜索车道线候选点;
将所有的所述车道线候选点进行曲线拟合,以拟合出所述车道线。
8.根据权利要求6所述的方法,其特征在于,在所述鸟瞰数据中根据各所述车道线的点的位置信息检测所述车道线之后,根据所述视觉数据和所述雷达数据检测所述可行驶区域内的车道线还包括:
将所述鸟瞰数据进行透视变换,得到透视图;
确定所述透视图中的灭点,且根据所述灭点检测并删除错误的所述车道线。
9.根据权利要求2至8中任一权利要求所述的方法,其特征在于,根据所述路况特征规划行车路径具体为:
判断是否识别出车道线,若是,则控制车辆避让所述障碍物,并沿着当前的所述车道线行驶;否则,控制车辆避让所述障碍物,并保持在路面上行驶。
10.一个或多个包含计算机可执行指令的存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
获取路况的视觉数据和雷达数据,并获取所述视觉数据和所述雷达数据之间的映射关系;
分别对所述视觉数据、所述雷达数据进行特征提取,并利用所述映射关系将提取的数据进行融合以识别出路况特征;
根据所述路况特征规划行车路径。
CN201710434532.XA 2017-06-09 2017-06-09 行车路径规划方法及存储介质 Active CN107389084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710434532.XA CN107389084B (zh) 2017-06-09 2017-06-09 行车路径规划方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710434532.XA CN107389084B (zh) 2017-06-09 2017-06-09 行车路径规划方法及存储介质

Publications (2)

Publication Number Publication Date
CN107389084A true CN107389084A (zh) 2017-11-24
CN107389084B CN107389084B (zh) 2020-06-05

Family

ID=60332219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710434532.XA Active CN107389084B (zh) 2017-06-09 2017-06-09 行车路径规划方法及存储介质

Country Status (1)

Country Link
CN (1) CN107389084B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271857A (zh) * 2018-08-10 2019-01-25 广州小鹏汽车科技有限公司 一种伪车道线剔除方法及装置
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院(江苏)有限公司 一种车道线检测的方法和设备
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术(北京)有限公司 一种可行驶区域检测方法及车载终端
CN110110678A (zh) * 2019-05-13 2019-08-09 腾讯科技(深圳)有限公司 道路边界的确定方法和装置、存储介质及电子装置
CN110422168A (zh) * 2019-08-08 2019-11-08 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN110435642A (zh) * 2019-08-06 2019-11-12 吉利汽车研究院(宁波)有限公司 数据融合方法、装置及存储介质
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
WO2020253764A1 (zh) * 2019-06-18 2020-12-24 华为技术有限公司 确定行驶区域信息的方法及装置
CN113551679A (zh) * 2021-07-23 2021-10-26 杭州海康威视数字技术股份有限公司 一种示教过程中的地图信息构建方法、构建装置
CN114415489A (zh) * 2021-12-02 2022-04-29 北京罗克维尔斯科技有限公司 一种车载传感器时间同步方法、装置、设备和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN202134079U (zh) * 2011-06-16 2012-02-01 长安大学 一种无人驾驶车辆车道标志线识别与报警装置
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
CN102592477A (zh) * 2010-12-10 2012-07-18 通用汽车环球科技运作有限责任公司 车辆上传感器的运行方法以及用于车辆的驾驶员辅助系统
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104951790A (zh) * 2015-02-15 2015-09-30 北京联合大学 基于多源逆透视图像无缝拼接的车道线识别方法
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术(北京)有限公司 路面上的车道线的检测方法和装置
CN105783936A (zh) * 2016-03-08 2016-07-20 武汉光庭信息技术股份有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN106203273A (zh) * 2016-06-27 2016-12-07 开易(北京)科技有限公司 多特征融合的车道线检测系统、方法及高级驾驶辅助系统
CN106249239A (zh) * 2016-08-23 2016-12-21 深圳市速腾聚创科技有限公司 目标检测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
CN102592477A (zh) * 2010-12-10 2012-07-18 通用汽车环球科技运作有限责任公司 车辆上传感器的运行方法以及用于车辆的驾驶员辅助系统
CN202134079U (zh) * 2011-06-16 2012-02-01 长安大学 一种无人驾驶车辆车道标志线识别与报警装置
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
CN104951790A (zh) * 2015-02-15 2015-09-30 北京联合大学 基于多源逆透视图像无缝拼接的车道线识别方法
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术(北京)有限公司 路面上的车道线的检测方法和装置
CN105783936A (zh) * 2016-03-08 2016-07-20 武汉光庭信息技术股份有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN106203273A (zh) * 2016-06-27 2016-12-07 开易(北京)科技有限公司 多特征融合的车道线检测系统、方法及高级驾驶辅助系统
CN106249239A (zh) * 2016-08-23 2016-12-21 深圳市速腾聚创科技有限公司 目标检测方法及装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960254A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 机器人及其路径规划方法
CN109960254B (zh) * 2017-12-25 2022-09-23 深圳市优必选科技有限公司 机器人及其路径规划方法
CN109271857A (zh) * 2018-08-10 2019-01-25 广州小鹏汽车科技有限公司 一种伪车道线剔除方法及装置
CN111257866B (zh) * 2018-11-30 2022-02-11 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN109977845B (zh) * 2019-03-21 2021-08-17 百度在线网络技术(北京)有限公司 一种可行驶区域检测方法及车载终端
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术(北京)有限公司 一种可行驶区域检测方法及车载终端
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院(江苏)有限公司 一种车道线检测的方法和设备
CN110110678A (zh) * 2019-05-13 2019-08-09 腾讯科技(深圳)有限公司 道路边界的确定方法和装置、存储介质及电子装置
WO2020253764A1 (zh) * 2019-06-18 2020-12-24 华为技术有限公司 确定行驶区域信息的方法及装置
US20220108552A1 (en) 2019-06-18 2022-04-07 Huawei Technologies Co., Ltd. Method and Apparatus for Determining Drivable Region Information
US11698459B2 (en) 2019-06-18 2023-07-11 Huawei Technologies Co., Ltd. Method and apparatus for determining drivable region information
CN110435642A (zh) * 2019-08-06 2019-11-12 吉利汽车研究院(宁波)有限公司 数据融合方法、装置及存储介质
CN110422168B (zh) * 2019-08-08 2020-06-16 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN110422168A (zh) * 2019-08-08 2019-11-08 智邮开源通信研究院(北京)有限公司 车道识别系统、方法及自动驾驶汽车
CN113551679A (zh) * 2021-07-23 2021-10-26 杭州海康威视数字技术股份有限公司 一种示教过程中的地图信息构建方法、构建装置
CN114415489A (zh) * 2021-12-02 2022-04-29 北京罗克维尔斯科技有限公司 一种车载传感器时间同步方法、装置、设备和介质
CN114415489B (zh) * 2021-12-02 2023-09-22 北京罗克维尔斯科技有限公司 一种车载传感器时间同步方法、装置、设备和介质

Also Published As

Publication number Publication date
CN107389084B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107389084A (zh) 行车路径规划方法及存储介质
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
CN101929867B (zh) 使用道路模型的畅通路径检测
CN103176185B (zh) 用于检测道路障碍物的方法及系统
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US8670592B2 (en) Clear path detection using segmentation-based method
US9435885B2 (en) Road-terrain detection method and system for driver assistance systems
US8611585B2 (en) Clear path detection using patch approach
US9852357B2 (en) Clear path detection using an example-based approach
US8428305B2 (en) Method for detecting a clear path through topographical variation analysis
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN103366154A (zh) 可重配置的畅通路径检测系统
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
Jain et al. Relative vehicle velocity estimation using monocular video stream
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN114495066A (zh) 一种辅助倒车的方法
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
Zhang et al. Vehicle driving safety technology based on IVP
Haloi et al. Vehicle local position estimation system
Shi et al. An Obstacle Detection Method Based on Longitudinal Active Vision
Xie et al. Lane-level vehicle self-localization in under-bridge environments based on multi-level sensor fusion
Chen et al. Recognition of lanes on complex roads based on video image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant