CN112507857B - 一种车道线更新方法、装置、设备及存储介质 - Google Patents
一种车道线更新方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112507857B CN112507857B CN202011408726.0A CN202011408726A CN112507857B CN 112507857 B CN112507857 B CN 112507857B CN 202011408726 A CN202011408726 A CN 202011408726A CN 112507857 B CN112507857 B CN 112507857B
- Authority
- CN
- China
- Prior art keywords
- lane line
- target
- position information
- model
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例提供了一种车道线更新方法、装置、设备及存储介质,涉及计算机技术领域,该方法具体为:从已跟踪车道线中确定第二车道线,从目标图像中识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,进而提高更新后的目标车道线模型的性能。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种车道线更新方法、装置、设备及存储介质。
背景技术
车道线在自动驾驶、导航等场景中具有重要的作用,能够为定位、决策控制等模块提供重要的信息输出。相关技术采用预先获得的车道线模型对车道线进行更新,获得车道线的位置。由于不同的道路对应的车道线是不相同的,比如直线道路的车道线是直线,而弯道对应的车道线是曲线。由于预先获得的车道线模型难以覆盖所有的车道线类型,因此采用预先获得的车道线模型对车道线进行更新时,车道线更新的误差较大。
发明内容
本申请实施例提供了一种车道线更新方法、装置、设备及存储介质,用于提高车道线更新的准确性。
一方面,本申请实施例提供了一种车道线更新方法,该方法包括:
从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,所述第一车道线与所述第二车道线相对应;
确定所述第一车道线在图像坐标系中的第一位置信息,以及基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息;
根据所述第一位置信息和所述第二位置信息,对所述目标车道线模型的参数进行更新,得到更新后的所述第二车道线。
一方面,本申请实施例提供了一种车道线更新装置,该装置包括:
检测模块,用于从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,所述第一车道线与所述第二车道线相对应;
检测模块,用于确定所述第一车道线在图像坐标系中的第一位置信息,以及基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息;
更新模块,用于根据所述第一位置信息和所述第二位置信息,对所述目标车道线模型的参数进行更新,得到更新后的所述第二车道线。
可选,所述第一位置信息包括所述第一车道线上至少一个第一位置点的位置坐标,所述第二位置信息包括所述第二车道线上至少一个第二位置点的位置坐标;
所述更新模块具体用于:
针对任意一个第二位置点,根据第二位置点的位置坐标和所述至少一条参考车道线上的各个位置点的位置坐标,从所述各个位置点中确定与第二位置点的距离最小的位置点以及相应的最小距离;
根据所述至少一个第一位置点的位置坐标,从与各个第二位置点的距离最小的位置点集合中筛选出第一位置点;
根据筛选出的第一位置点相应的最小距离,对所述目标车道线模型的参数进行更新。
可选地,所述位置点集合中的各个位置点均为所述第一车道线上的第一位置点。
可选地,所述更新模块具体用于:
基于筛选出的第一位置点与相应的第二位置点之间的最小距离,对所述目标车道线模型的参数进行多次迭代调整,直至筛选出的第一位置点与相应的第二位置点之间的最小距离满足第二预设条件。
可选地,所述检测模块具体用于:
基于所述目标车道线模型,预测所述第二车道线在地平面坐标系中的位置信息;
将所述第二车道线在地平面坐标系中的位置信息映射至所述图像坐标系,得到所述第二车道线在所述图像坐标系中的所述第二位置信息。
可选地,所述第一车道线为所述至少一条参考车道线中,与所述第二车道线的横向残差最小,且横向残差小于预设阈值的参考车道线,所述横向残差是根据所述第二车道线上的至少一个第二位置点与所述参考车道线上对应的至少一个位置点之间的横向投影距离确定的。
可选地,还包括构建模块;
所述构建模块具体用于:
从所述至少一条参考车道线中确定至少一条第三车道线,将所述第三车道线确定为新增车道线并为所述新增车道线创建车道线模型,其中,所述第三车道线与每条已跟踪车道线之间的横向残差均大于预设阈值。
可选地,所述构建模块具体用于:
确定所述新增车道线的第三位置信息;
采用初始的车道线模型,预测所述新增车道线的第四位置信息;
基于所述第三位置信息和所述第四位置信息之间的位置关系,对所述初始的车道线模型的参数进行多次迭代调整,直至所述第三位置信息和所述第四位置信息之间的位置关系满足第三预设条件,获得所述新增车道线对应的车道线模型。
一方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述车道线更新方法的步骤。
一方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述车道线更新方法的步骤。
本申请实施例中,从已跟踪车道线中确定第二车道线,从目标图像中识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,从而减少了第一车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统架构示意图;
图2为本申请实施例提供的一种车道线更新方法的流程示意图;
图3为本申请实施例提供的车辆上的图像采集设备的位置示意图;
图4为本申请实施例提供的一种车道线的示意图;
图5为本申请实施例提供的一种地平面坐标系的示意图;
图6为本申请实施例提供的一种车载终端设备的结构示意图;
图7a为本申请实施例提供的一种自动驾驶的示意图;
图7b为本申请实施例提供的一种自动驾驶的示意图;
图8a为本申请实施例提供的一种自动驾驶的示意图;
图8b为本申请实施例提供的一种自动驾驶的示意图;
图9为本申请实施例提供的一种车道线更新装置的结构示意图;
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本发明实施例中涉及的名词进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例中采用人工智能技术检测并更新车道线,为自动驾驶或导航提取参考信息。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景。
车道线:用来指示车辆在路口驶入段应按所指方向行驶。在车流大的交通路口一般画有此类标线,目的就是明确行车方向,各行其道,减缓交通压力,车道线包括白色虚线、白色实线、导向指示线、减速提示线等。
下面对本申请实施例的设计思想进行介绍。
相关技术采用预先获得的车道线模型对车道线进行更新,实时获得车道线的位置信息。由于不同的道路对应的车道线是不相同的,比如直线道路的车道线是直线,而弯道对应的车道线是曲线。由于预先获得的车道线模型难以覆盖所有的车道线类型,因此采用预先获得的车道线模型对车道线进行更新时,车道线更新的误差较大。
考虑到若在车辆行驶过程中,拍摄目标图像,然后基于目标图像的感知结果更新车道线模型,基于更新的车道线模型更新车道线,这样可以使车道线模型与当前车道线的特征更匹配,从而提高车道线更新的准确性。
鉴于此,本申请实施例提供了一种车道线更新方法,该方法具体为:从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,第一车道线与所述第二车道线相对应。然后确定第一车道线在图像坐标系中的第一位置信息,以及基于第二车道线对应的目标车道线模型,确定第二车道线在图像坐标系中的第二位置信息。再根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新,得到更新后的第二车道线。
本申请实施例中,从已跟踪车道线中确定第二车道线,从识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,从而减少了第一车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
参考图1,其为本申请实施例适用的一种系统架构图,该系统架构至少包括车载终端设备101和服务器102。
车载终端设备101为嵌入在车辆中的设备,车载终端设备101预先安装具备车道线更新功能的目标应用,目标应用的功能并不限于车道线更新。目标应用可以是预先安装的客户端应用、网页版应用、小程序等。车载终端设备101可以包括一个或多个处理器1011、存储器1012、与服务器102交互的I/O接口1013以及显示面板1014等。车载终端设备101可以是导航设备、自动驾驶设备、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱等,但并不局限于此。
服务器102为目标应用对应的后台服务器,为目标应用提供服务。服务器102可以包括一个或多个处理器1021、存储器1022以及与车载终端设备101交互的I/O接口1023等。此外,服务器102还可以配置数据库1024。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。车载终端设备101与服务器102可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
车道线更新方法可以由车载终端设备101执行,也可以由服务器102执行,还可以由车载终端设备101与服务102交互执行。
第一种情况,车道线更新方法由车载终端设备101执行。
车载终端设备101获取目标图像,从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,第一车道线与第二车道线相对应。然后确定第一车道线在图像坐标系中的第一位置信息,以及基于第二车道线对应的目标车道线模型,确定第二车道线在图像坐标系中的第二位置信息。再根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新,得到更新后的第二车道线。
第二种情况,车道线更新方法由服务器102执行。
车载终端设备101获取目标图像,并发送携带目标图像的车道线更新请求给服务器102。服务器102从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,第一车道线与第二车道线相对应。然后确定第一车道线在图像坐标系中的第一位置信息,以及基于第二车道线对应的目标车道线模型,确定第二车道线在图像坐标系中的第二位置信息。再根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新,得到更新后的第二车道线。服务器102发送更新后的第二车道线给车载终端设备101。
第三种情况,车道线更新方法由车载终端设备101与服务102交互执行。
车载终端设备101获取目标图像,并发送携带目标图像的车道线模型更新请求给服务器102。服务器102从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,第一车道线与第二车道线相对应。然后确定第一车道线在图像坐标系中的第一位置信息,以及基于第二车道线对应的目标车道线模型,确定第二车道线在图像坐标系中的第二位置信息。再根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新。服务器102将更新后的目标车道线模型发送给车载终端设备101。车载终端设备101采用更新后的目标车道线模型获得更新后的第二车道线。
基于图1所示的系统架构图,本申请实施例提供了一种车道线更新方法的流程,如图2所示,该方法的流程由可以由计算机设备执行,计算机设备可以是车载终端设备101或服务器102,包括以下步骤:
步骤S201,从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,第一车道线与第二车道线相对应。
具体地,车辆上安装有图像采集设备,比如摄像头、车载相机等。图像采集设备可以安装在车辆的车头、车位、顶部等。示例性地,如图3所示,车辆301的车头安装有车载相机302。
车载终端设备获取图像采集设备采集的目标图像,目标图像中包括一条或多条参考车道线。示例性地,如图4所示,目标图像中包括三条参考车道线,其中,两条参考车道线为实线,一条参考车道线为虚线。
已跟踪车道线为之前已被跟踪的车道线,且已经创建了相应的车道线模型。从已跟踪车道线中确定第二车道线,在获得目标图像之后,从目标图像中的至少一条参考车道线中,确定第二车道线对应的第一车道线。
需要说明的是,目标图像中的各条参考车道线并不一定都与已跟踪车道线对应,也可能为新增车道线。另外,在目标图像中,各条已跟踪车道线不一定都有对应的参考车道线。
步骤S202,确定第一车道线在图像坐标系中的第一位置信息,以及基于第二车道线对应的目标车道线模型,确定第二车道线在所述图像坐标系中的第二位置信息。
具体地,在获得目标图像后,在目标图像中构建图像坐标系,然后根据第一车道线在目标图像中的位置,确定第一车道线在图像坐标系中的第一位置信息。每条已跟踪车道线对应的一个车道线模型,车道线模型用于实时预测已跟踪车道线的位置信息。
步骤S203,根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新,得到更新后的第二车道线。
具体实施中,第一车道线与第二车道线相对应,实际指代同一条车道线,故在图像坐标系中,采用目标车道线模型预测的第二车道线的第二位置信息应尽可能与实际检测获得的第一车道线的第一位置信息接近,鉴于此,本申请实施例中,基于第一位置信息和第二位置信息之间的位置关系,迭代调整目标车道线模型的参数,直至第一位置信息和第二位置信息之间的位置关系满足预设条件。进一步地,采用更新后的目标车道线模型,预测第二车道线的位置信息,获得更新后的第二车道线。
在AR导航场景中,导航应用渲染更新后的车道线并通过车载终端设备的显示屏进行展示,驾驶员可以更加直观准确地获知车辆周围环境,从而提高使用AR导航的体验。
在自动驾驶场景中,自动驾驶控制系统可以基于更新后的车道线感知车辆周围环境,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。需要说明的是,本申请实施例中的车道线更新方法所适用的应用场景并不仅限于上述两种,还可以是辅助驾驶等场景,对此,本申请不做具体限定。
本申请实施例中,从已跟踪车道线中确定第二车道线,从目标图像中识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,从而减少了第一车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
可选地,在上述步骤S201中,本申请实施例至少提供以下两种从目标图像中识别出的至少一条参考车道线中确定第一车道线的实施方式:
实施方式一、第一车道线为至少一条参考车道线中,与第二车道线的横向残差最小,且横向残差小于预设阈值的参考车道线,横向残差是根据第二车道线上的至少一个第二位置点与参考车道线上对应的至少一个位置点之间的横向投影距离确定的。
具体地,获取第二车道线上至少一个第二位置点在地平面坐标系中的位置坐标。针对目标图像中的任意一条参考车道线,获取参考车道线上各个位置点在图像坐标系中的位置坐标,然后基于图像坐标到地平面坐标系的位置映射表,确定各个位置点在地平面坐标系中的位置坐标。第二车道线上的各个第二位置点与参考车道线上的各个位置点之间存在一一对应关系。
在地平面坐标系中,横向投影距离是指,在第二车道线上的第二位置点的纵坐标与参考车道线上对应的位置点的纵坐标相同的情况下,第二位置点的横坐标与对应的位置点的横坐标的差值的绝对值。
可选地,将各个第二位置点与对应的位置点之间的横向投影距离的平均值,作为第二车道线与参考车道线之间的横向残差。将目标图像中的各个参考车道线中,与第二车道线的横向残差最小,且横向残差小于预设阈值的参考车道线,作为第一车道线。
进一步地,从至少一条参考车道线中确定至少一条第三车道线,将第三车道线确定为新增车道线并为新增车道线创建车道线模型,其中,第三车道线与每条已跟踪车道线之间的横向残差均大于预设阈值。
具体地,先确定新增车道线的第三位置信息,采用初始的车道线模型,预测新增车道线的第四位置信息。然后基于第三位置信息和第四位置信息之间的位置关系,对初始的车道线模型的参数进行多次迭代调整,直至第三位置信息和第四位置信息之间的位置关系满足第三预设条件,获得新增车道线对应的车道线模型。
具体实施中,新增车道线的第三位置信息可以是新增车道线在图像坐标系中的位置信息,也可以是新增车道线在地面坐标系中的位置信息。同样的,新增车道线的第四位置信息可以是新增车道线在图像坐标系中的位置信息,也可以是新增车道线在地面坐标系中的位置信息。
在获得目标图像后,在目标图像中构建图像坐标系,然后根据新增车道线在目标图像中的位置,确定新增车道线在图像坐标系中的位置信息。通过图像坐标到地平面坐标系的位置映射表,将新增车道线在图像坐标系中的位置信息映射至地面坐标系,获得新增车道线在地面坐标系中的位置信息。第三位置信息包括根据新增车道线在目标图像中的位置,检测获得的新增车道线上至少一个位置点的位置坐标,第四位置信息包括采用车道线模型预测获得的新增车道线上至少一个位置点的位置坐标。
基于第三位置信息和第四位置信息之间的位置关系构建目标函数,通过迭代调整初始的车道线模型的参数,来优化目标函数,获得新增车道线对应的车道线模型。
示例性地,如图5所示,设定在地面坐标系中,以车辆所在位置为原点,以车辆行驶方向为X轴,以与车辆行驶方向垂直的方向为Y轴建立坐标系。目标图像中包括p条参考车道线,分别为P={L1,L2,…,Lp},已创建q条已跟踪车道线的车道线模型,q条已跟踪车道线分别为Q={M1,M2,…,Mq}。
针对已跟踪车道线Mi,计算已跟踪车道线Mi与参考车道线Lj之间横向残差,具体如以下公式(1)所示:
其中,DIST(Mi,Lj)表示已跟踪车道线Mi与参考车道线Lj之间横向残差,u表示参考车道线Lj上的位置点在地平面坐标系中的位置坐标Mi()表示已跟踪车道线Mi对应的车道线模型,[·]x表示取x分量,[·]y表示y分量,LUT(·)表示图像坐标到地平面坐标系的位置映射表,1≤i≤q,1≤j≤p。
当横向残差满足以下公式(2)和公式(3)时,确定参考车道线Lj为已跟踪车道线Mi对应的参考车道线。
DIST(Mi,Lj)<DIST(Mi,Lk),for k=1,…,j-1,j+1,…,p…(2)
其中,LaneWidth表示车道线距离,车道线距离为预设常数,在目标图像中包括对应的参考车道线的已跟踪车道线组成的集合Q1为集合Q的子集。
针对参考车道线Lj,当q条已跟踪车道线中每条已跟踪车道线满足以下公式(4)时,确定参考车道线Lj为新增车道线。
其中,LaneWidth表示车道线距离,新增车道线组成的集合P1为集合P的子集。
针对集合P1中任意一条新增车道线Ls,创建新增车道线Ls的车道线模型的过程具体如下:
首先确定新增车道线Ls的第三位置信息,具体如下:
根据新增车道线在目标图像中的位置,确定新增车道线Ls上各个位置点在图像坐标系中的位置坐标{ui|i=1,…,n}。将各个位置点的位置坐标反投影至地平面坐标系,获得各个位置点在地平面坐标系中的位置坐标{pi|i=1,…,n}。
接着确定新增车道线Ls的第四位置信息,具体如下:
提取各个位置坐标{pi|i=1,…,n}中的x坐标[pi]x,其中,[·]x表示取x分量。然后将提取的x坐标[pi]x输入初始的车道线模型M′,预测新增车道线上各个位置点在地平面坐标系中的位置坐标([pi]x,M′([pi]x))。
基于第三位置信息和第四位置信息之间的位置关系构建目标函数,目标函数具体如以下公式(5)所示:
其中,[·]x表示取x分量,[·]y表示y分量。通过调整初始的车道线模型M′的参数来优化目标函数,获得新增车道线Ls的车道线模型M″。
本申请实施例中,基于已跟踪车道线与目标图像中各个参考车道线之间的横向残差,从各个参考车道线中确定已跟踪车道线对应的目标车道线,后续可直接基于已跟踪车道线和目标车道线的位置信息更新已跟踪车道线的目标车道线模型,从而减少了模型更新的计算量,进而提高车道线更新的效率。
实施方式二、第一车道线为至少一条参考车道线中,与第二车道线的绝对残差最小,且绝对残差小于预设阈值的参考车道线,绝对残差是根据第二车道线上的至少一个第二位置点与参考车道线上对应的至少一个位置点之间的距离确定的。
具体实施中,参考车道线上与第二位置点对应的位置点可以是与第二位置点距离最近的位置点,也可以是预先设置的位置点。第二车道线上的第二位置点与参考车道线上的位置点之间的对应关系可以是一对一的关系,也可以是多对一的关系。
将第二车道线上的至少一个第二位置点与参考车道线上对应的至少一个位置点之间的距离的平均值,作为第二车道线与参考车道线之间的绝对残差。将目标图像中的各个参考车道线中,与第二车道线的绝对残差最小,且绝对残差小于预设阈值的参考车道线,作为第一车道线。
进一步地,从车道图像中的至少一条参考车道线中确定至少一条第三车道线,将第三车道线确定为新增车道线并为新增车道线创建车道线模型,其中,第三车道线与每条已跟踪车道线之间的绝对残差均大于预设阈值。
由于已跟踪车道线中的位置点与参考车道线中的位置点之间的距离,更好地表征了已跟踪车道线与参考车道线之间的位置关系,故根据已跟踪车道线上的各个位置点与参考车道线上对应的位置点之间的距离,从目标图像中确定已跟踪车道线对应的目标车道线,提高了车道线匹配的准确性。
需要说明的是,本申请实施例中从各个参考车道线中确定已跟踪车道线对应的目标车道线以及新增车道线的实施方式并不仅限于上述两种,还可以是其他的实施方式,比如,基于参考车道线与已跟踪车道线平行时的距离,从各个参考车道线中确定已跟踪车道线对应的目标车道线以及新增车道线等,对此,本申请不做具体限定。
可选地,在上述步骤S202中,基于目标车道线模型,预测第二车道线在地平面坐标系中的位置信息,然后将第二车道线在地平面坐标系中的位置信息映射至图像坐标系,得到第二车道线在图像坐标系中的第二位置信息。
具体地,第二车道线在地平面坐标系中的位置信息包括第二车道线上各个第二位置点在地平面坐标系中的位置坐标。根据车载相机已标定的内参和外参,将第二车道线在地平面坐标系中的位置信息映射至图像坐标系,获得第二车道线在图像坐标系中的第二位置信息。
示例性地,在地平面坐标系X方向的采样范围内,确定已跟踪车道线上的各个位置点在X方向的坐标集合{xi|i=1,…,n},采样已跟踪车道线的车道线模型,预测已跟踪车道线上的各个位置点在地平面坐标系中的位置坐标{wi|i=1,…,n},具体如下述公式(6)所示:
wi=M(xi)………(6)
其中,wi为已跟踪车道线上的位置点在地平面坐标系中的位置坐标,xi为已跟踪车道线上的位置点在X方向的坐标,M为目标车道线模型。
根据车载相机已标定的内参和外参,计算已跟踪车道线上的各个位置点在图像坐标系中的位置坐标{vi|i=1,…,n},具体如下述公式(7)所示:
vi=K*(R*wi+t)………(7)
其中,K为车载相机的内参矩阵,R和t代表相机的外参。
本申请实施例中,将已跟踪车道线在地平面坐标系中的位置信息,映射至图像坐标系中,后续基于已跟踪车道线和对应的参考车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的参考车道线投影至地平面坐标系,从而减少了参考车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
需要说明的是,确定已跟踪车道线在图像坐标系中位置信息的实施方式并不仅限于上述一种,还可以是其他实施方式,比如在图像坐标系中创建的已跟踪车道线的车道线模型,然后直接采用车道线模型预测已跟踪车道线在图像坐标系中的位置信息。
可选地,在上述步骤S203中,第一位置信息包括第一车道线上至少一个第一位置点的位置坐标,第二位置信息包括第二车道线上至少一个第二位置点的位置坐标。
具体地,第一位置点的位置坐标为第一位置点在图像坐标系中的位置坐标,第二位置点的位置坐标为第二位置点在图像坐标系中的位置坐标。各个第一位置点与各个第二位置点之间可以是一对一的关系,也可以是一对多的关系,对比,本申请不做具体限定。
进一步地,根据第一位置信息和第二位置信息,对目标车道线模型的参数进行更新时,本申请实施例至少提供了以下几种实施方式:
实施方式一:针对任意一个第二位置点,根据第二位置点的位置坐标和至少一条参考车道线上的各个位置点的位置坐标,从各个位置点中确定与第二位置点的距离最小的位置点以及相应的最小距离。然后根据至少一个第一位置点的位置坐标,从与各个第二位置点的距离最小的位置点集合中筛选出第一位置点。再根据筛选出的第一位置点相应的最小距离,对目标车道线模型的参数进行更新。
具体地,先计算第二位置点与目标图像中每条参考车道线上的每个位置点之间的距离,然后基于计算获得的距离,确定与第二位置点的距离最小的位置点。针对每个第二位置点,判断与第二位置点的距离最小的位置点是否为第一位置点,若是,则保留,否则去除。
具体实施中,与各个第二位置点的距离最小的位置点集合中的位置点,可能均为第一车道线上的第一位置点,此时可以保留位置点集合中所有的位置点用于后续更新车道线模型。与各个第二位置点的距离最小的位置点集合中的位置点,也可能是部分位置点为第一车道线上的第一位置点,此时保留位置点集合中的第一位置点,去除其他位置点。
进一步地,基于筛选出的第一位置点与相应的第二位置点之间的最小距离,对目标车道线模型的参数进行多次迭代调整,直至筛选出的第一位置点与相应的第二位置点之间的最小距离满足第二预设条件。
具体地,基于筛选出的第一位置点与相应的第二位置点之间的最小距离,构建目标车道线模型的目标函数,通过多次迭代调整目标车道线模型的参数来优化目标车道线模型的目标函数,直至目标车道线模型的目标函数满足预设条件。
示例性地,设定与各个第二位置点的距离最小的位置点集合中的位置点均为第一车道线上的第一位置点。各个第二位置点在图像坐标系中的位置坐标为{vi|i=1,…,n},采用距离函数D(P,vi)分别计算每个第二位置点与距离最近的第一位置点之间的距离,获得B=[b1,b2,…,bn]T。
基于各个第二位置点与相应的第一位置点之间的最小距离,构建目标车道线模型的目标函数,具体如公式(8)所示:
其中,xi为第二位置点在地平面坐标系中X方向的坐标,M为更新前的目标车道线模型,M*为更新后目标车道线模型,K为车载相机的内参矩阵,R和t为车载相机的外参。
迭代调整目标车道线模型M的参数来优化目标函数,直至目标函数满足预设条件,获得更新后的目标车道线模型M*。
本申请实施例中,由于第一车道线和第二车道线上的位置点之间的距离,能更好地表征了第一车道线与第二车道线之间的位置关系,故从与各个第二位置点距离最近的位置点集合中筛选出第一位置点,并基于筛选出的第一位置点与相应的第二位置点之间的最小距离,对目标车道线模型的参数进行更新时,可以有效提高车道线模型更新车道线的性能,进而提高车道线更新的准确性和平滑性,同时可以提升弯道处的车道线更新能力。
实施方式二:针对任意一个第二位置点,根据第二位置点的位置坐标和第一车道线上至少一个第一位置点的位置坐标,从至少一个第一位置点中确定与第二位置点的距离最小的第一位置点。然后根据各个第二位置点与相应的距离最小的第一位置点之间的距离,对目标车道线模型的参数进行更新。
具体实施中,多个第二位置点相应的距离最小的第一位置点可能是不同的第一位置点,也可能是同一第一位置点。
进一步地,基于各个第二位置点与相应的距离最小的第一位置点之间的距离,对目标车道线模型的参数进行多次迭代调整,直至各个第二位置点与相应的距离最小的第一位置点之间的距离满足第二预设条件。
具体实施中,基于各个第二位置点与相应的距离最小的第一位置点之间的距离,构建目标车道线模型的目标函数,通过多次迭代调整目标车道线模型的参数来优化目标车道线模型的目标函数,直至目标车道线模型的目标函数满足预设条件。
本申请实施例中,从目标图像中获得第二车道线对应的第一车道线后,直接基于第二车道线中的第二位置点与第一车道线中第一位置点之间的距离,更新第二车道线的目标车道线模型,从而减少了模型更新的计算量,进而提高车道线更新的效率。
为了更好的解释本申请实施例,下面结合具体的实施场景描述本申请实施例提供的一种车道线更新方法的流程,该方法由车载终端设备执行,如图6所示,车载终端设备包括图像感知模块、匹配模块、车道线建模模块、更新模块、车道线更新模块。
图像感知模块基于采集的目标图像获得图像感知结果,图像感知结果为:目标图像中包括p条参考车道线,分别为P={L1,L2,…,Lp}。设定已创建q条已跟踪车道线的车道线模型,q条已跟踪车道线分别为Q={M1,M2,…,Mq}。
匹配模块从目标图像中的各个参考车道线中,确定已跟踪车道线对应的参考车道线。具体地,针对已跟踪车道线Mi,采用已跟踪车道线Mi对应的车道线模型,确定已跟踪车道线Mi上至少一个位置点在图像坐标系中的位置坐标。针对参考车道线Lj,根据参考车道线Lj在目标图像中的位置,确定参考车道线Lj上至少一个位置点在图像坐标系中的位置坐标。将已跟踪车道线Mi上至少一个位置点在图像坐标系中的位置坐标以及参考车道线Lj上至少一个位置点在图像坐标系中的位置坐标代入上述公式(1),获得已跟踪车道线Mi与参考车道线Lj之间横向残差。
当横向残差满足上述公式(2)和公式(3)时,确定参考车道线Lj为已跟踪车道线Mi相对应。在目标图像中包括对应的参考车道线的已跟踪车道线所组成的集合Q1为集合Q的子集,集合Q1中包括w个已跟踪车道线,w小于等于q。
匹配模块从目标图像中的各个参考车道线中,确定新增车道线。具体地,针对参考车道线Lj,当q条已跟踪车道线中每条已跟踪车道线满足上述公式(4)时,确定参考车道线Lj为新增车道线。车道线建模模块创建新增车道线的车道线模型。新增车道线组成的集合P1为集合P的子集。
针对集合Q1中的任意一条已跟踪车道线,更新模块计算已跟踪车道线与对应的参考车道线之间的误差。基于已跟踪车道线与对应的参考车道线之间的误差,更新已跟踪车道线对应的车道线模型的参数。
具体地,首先采用已跟踪车道线的车道线模型,预测已跟踪车道线上至少一个位置点在地平面坐标系中的位置坐标{wi|i=1,…,n}。采用上述公式(7)计算各个位置点在图像坐标系中的位置坐标{vi|i=1,…,n}。设定至少一条参考车道线上的各个位置点中,与已跟踪车道线上的位置点距离最小的位置点,均为已跟踪车道线与对应的参考车道线上的位置点。采用距离函数D(P,vi)分别计算已跟踪车道线上每个位置点与距离最近的位置点之间的距离,获得B=[b1,b2,…,bn]T。基于已跟踪车道线上每个位置点与距离最近的位置点之间的距离,迭代调整车道线模型的参数,获得更新后的车道线模型。车道线更新模块基于各个车道线模型获得更新的各个车道线。
本申请实施例中,从已跟踪车道线中确定第二车道线,从目标图像中识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,从而减少了第一车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
进一步地,上述车载终端设备还包括自动驾驶模块,自动驾驶模块基于更新的车道线确定车辆与车道线的相对位置,然后根据车辆与车道线的相对位置调整车辆的位置。
示例性地,设定检测出的车道线以及车辆的位置如图7a所示,由图7a可知,车辆当前位置靠近左侧车道线,故自动驾驶模块可以在控制车辆向前行驶的过程中,同时控制车辆靠近右侧车道线,直到车辆的位置位于两侧车道线中间,具体如图7b所示。
自动驾驶模块获得更新的车道线后,还可以结合车道线的类型信息调整车辆的行驶车道。示例性地,由图8a可知,车辆当前位置的左右车道线为虚线,自动驾驶模块可以控制车辆从当前车道变换到左侧车道或右侧车道,具体如图8b所示。
通过实时更新的车道线模型更新车道线,为自动驾驶提供了高精度的车道线位置信息,从而有效的提高自动驾驶的定位精度。
基于相同的技术构思,本申请实施例提供了一种车道线更新装置,如图9所示,该装置900包括:
获取模块901,用于从目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,所述第一车道线与所述第二车道线相对应;
检测模块902,用于确定所述第一车道线在图像坐标系中的第一位置信息,以及基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息;
更新模块903,用于根据所述第一位置信息和所述第二位置信息,对所述目标车道线模型的参数进行更新,得到更新后的所述第二车道线。
可选,所述第一位置信息包括所述第一车道线上至少一个第一位置点的位置坐标,所述第二位置信息包括所述第二车道线上至少一个第二位置点的位置坐标;
所述更新模块903具体用于:
针对任意一个第二位置点,根据第二位置点的位置坐标和所述至少一条参考车道线上的各个位置点的位置坐标,从所述各个位置点中确定与第二位置点的距离最小的位置点以及相应的最小距离;
根据所述至少一个第一位置点的位置坐标,从与各个第二位置点的距离最小的位置点集合中筛选出第一位置点;
根据筛选出的第一位置点相应的最小距离,对所述目标车道线模型的参数进行更新。
可选地,所述位置点集合中的各个位置点均为所述第一车道线上的第一位置点。
可选地,所述更新模块903具体用于:
基于筛选出的第一位置点与相应的第二位置点之间的最小距离,对所述目标车道线模型的参数进行多次迭代调整,直至筛选出的第一位置点与相应的第二位置点之间的最小距离满足第二预设条件。
可选地,所述检测模块902具体用于:
基于所述目标车道线模型,预测所述第二车道线在地平面坐标系中的位置信息;
将所述第二车道线在地平面坐标系中的位置信息映射至所述图像坐标系,得到所述第二车道线在所述图像坐标系中的所述第二位置信息。
可选地,所述第一车道线为所述至少一条参考车道线中,与所述第二车道线的横向残差最小,且横向残差小于预设阈值的参考车道线,所述横向残差是根据所述第二车道线上的至少一个第二位置点与所述参考车道线上对应的至少一个位置点之间的横向投影距离确定的。
可选地,还包括构建模块904;
所述构建模块904具体用于:
从所述至少一条参考车道线中确定至少一条第三车道线,将所述第三车道线确定为新增车道线并为所述新增车道线创建车道线模型,其中,所述第三车道线与每条已跟踪车道线之间的横向残差均大于预设阈值。
可选地,所述构建模块904具体用于:
确定所述新增车道线的第三位置信息;
采用初始的车道线模型,预测所述新增车道线的第四位置信息;
基于所述第三位置信息和所述第四位置信息之间的位置关系,对所述初始的车道线模型的参数进行多次迭代调整,直至所述第三位置信息和所述第四位置信息之间的位置关系满足第三预设条件,获得所述新增车道线对应的车道线模型。
本申请实施例中,从已跟踪车道线中确定第二车道线,从目标图像中识别出的至少一条参考车道线中确定与第二车道线对应的第一车道线,然后基于检测获得的第一车道线的第一的位置信息以及采用目标车道线模型预测获得的第二车道线的第二位置信息,更新目标车道线模型的参数,使目标车道线模型与第二车道线当前的状态更匹配,从而提高基于目标车道线模型更新第二车道线的位置信息的准确性。其次,基于第一车道线和第二车道线在图像坐标系中的位置信息,更新目标车道线模型,避免了将目标图像中的第一车道线投影至地平面坐标系,从而减少了第一车道线中的远端感知点在投影过程中带来的不确定性,进而提高更新后的目标车道线模型的性能。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图10所示,包括至少一个处理器1001,以及与至少一个处理器连接的存储器1002,本申请实施例中不限定处理器1001与存储器1002之间的具体连接介质,图10中处理器1001和存储器1002之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器1002存储有可被至少一个处理器1001执行的指令,至少一个处理器1001通过执行存储器1002存储的指令,可以执行上述车道线更新方法的步骤。
其中,处理器1001是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器1002内的指令以及调用存储在存储器1002内的数据,从而进行车道线更新。可选的,处理器1001可包括一个或多个处理单元,处理器1001可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1001中。在一些实施例中,处理器1001和存储器1002可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1001可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1002作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1002可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当程序在计算机设备上运行时,使得所述计算机设备执行上述车道线更新方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种车道线更新方法,其特征在于,包括:
在车辆行驶过程中,通过车载终端设备上的图像采集设备采集目标图像,所述目标图像中包括至少一条参考车道线;
从所述目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,所述第一车道线与所述第二车道线相对应;
确定所述第一车道线在图像坐标系中的第一位置信息,以及基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息,所述目标车道线模型用于实时预测已跟踪的第二车道线的位置信息,所述第二位置信息包括所述第二车道线上至少一个第二位置点的位置坐标;
针对任意一个第二位置点,根据第二位置点的位置坐标和所述至少一条参考车道线上的各个位置点的位置坐标,从所述各个位置点中确定与所述第二位置点的距离最小的目标位置点以及相应的最小距离;
从获得的各个目标位置点中,筛选出位于所述第一车道线上的第一位置点,并根据筛选出的各个第一位置点对应的最小距离,构建所述目标车道线模型的目标函数,通过多次迭代调整所述目标车道线模型的参数来优化所述目标函数,直至所述目标函数满足预设条件,得到更新后的所述第二车道线。
2.如权利要求1所述的方法,其特征在于,所述位置点集合中的各个位置点均为所述第一车道线上的第一位置点。
3.如权利要求1所述的方法,其特征在于,所述根据筛选出的第一位置点与相应的第二位置点之间的最小距离,对所述目标车道线模型的参数进行更新,包括:
基于筛选出的第一位置点与相应的第二位置点之间的最小距离,对所述目标车道线模型的参数进行多次迭代调整,直至筛选出的第一位置点与相应的第二位置点之间的最小距离满足第二预设条件。
4.如权利要求1至3任一所述的方法,其特征在于,所述基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息,包括:
基于所述目标车道线模型,预测所述第二车道线在地平面坐标系中的位置信息;
将所述第二车道线在地平面坐标系中的位置信息映射至所述图像坐标系,得到所述第二车道线在所述图像坐标系中的所述第二位置信息。
5.如权利要求4所述的方法,其特征在于,所述第一车道线为所述至少一条参考车道线中,与所述第二车道线的横向残差最小,且横向残差小于预设阈值的参考车道线,所述横向残差是根据所述第二车道线上的至少一个第二位置点与所述参考车道线上对应的至少一个位置点之间的横向投影距离确定的。
6.如权利要求1所述的方法,其特征在于,还包括:
从所述至少一条参考车道线中确定至少一条第三车道线,将所述第三车道线确定为新增车道线并为所述新增车道线创建车道线模型,其中,所述第三车道线与每条已跟踪车道线之间的横向残差均大于预设阈值。
7.如权利要求6所述的方法,其特征在于,所述为所述新增车道线创建车道线模型,包括:
确定所述新增车道线的第三位置信息;
采用初始的车道线模型,预测所述新增车道线的第四位置信息;
基于所述第三位置信息和所述第四位置信息之间的位置关系,对所述初始的车道线模型的参数进行多次迭代调整,直至所述第三位置信息和所述第四位置信息之间的位置关系满足第三预设条件,获得所述新增车道线对应的车道线模型。
8.一种车道线更新装置,其特征在于,包括:
获取模块,用于在车辆行驶过程中,通过车载终端设备上的图像采集设备采集目标图像,所述目标图像中包括至少一条参考车道线;从所述目标图像中识别出的至少一条参考车道线中确定第一车道线,以及从已跟踪车道线中确定第二车道线,其中,所述第一车道线与所述第二车道线相对应;
检测模块,用于确定所述第一车道线在图像坐标系中的第一位置信息,以及基于所述第二车道线对应的目标车道线模型,确定所述第二车道线在所述图像坐标系中的第二位置信息,所述目标车道线模型用于实时预测已跟踪的第二车道线的位置信息,所述第二位置信息包括所述第二车道线上至少一个第二位置点的位置坐标;
更新模块,用于针对任意一个第二位置点,根据第二位置点的位置坐标和所述至少一条参考车道线上的各个位置点的位置坐标,从所述各个位置点中确定与所述第二位置点的距离最小的目标位置点以及相应的最小距离;
从获得的各个目标位置点中,筛选出位于所述第一车道线上的第一位置点,并根据筛选出的各个第一位置点对应的最小距离,构建所述目标车道线模型的目标函数,通过多次迭代调整所述目标车道线模型的参数来优化所述目标函数,直至所述目标函数满足预设条件,得到更新后的所述第二车道线。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~7任一权利要求所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~7任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011408726.0A CN112507857B (zh) | 2020-12-03 | 2020-12-03 | 一种车道线更新方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011408726.0A CN112507857B (zh) | 2020-12-03 | 2020-12-03 | 一种车道线更新方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112507857A CN112507857A (zh) | 2021-03-16 |
CN112507857B true CN112507857B (zh) | 2022-03-15 |
Family
ID=74971729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011408726.0A Active CN112507857B (zh) | 2020-12-03 | 2020-12-03 | 一种车道线更新方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112507857B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734927B (zh) * | 2021-03-31 | 2021-06-25 | 湖北亿咖通科技有限公司 | 高精地图车道线的简化方法、简化装置及计算机存储介质 |
CN114485716B (zh) * | 2021-12-28 | 2024-09-20 | 北京百度网讯科技有限公司 | 车道渲染方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503009A (zh) * | 2019-07-31 | 2019-11-26 | 华为技术有限公司 | 车道线跟踪方法及相关产品 |
CN110717141A (zh) * | 2019-09-22 | 2020-01-21 | 武汉中海庭数据技术有限公司 | 一种车道线优化方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326822B (zh) * | 2015-07-07 | 2020-02-07 | 北京易车互联信息技术有限公司 | 车道线检测的方法及装置 |
-
2020
- 2020-12-03 CN CN202011408726.0A patent/CN112507857B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503009A (zh) * | 2019-07-31 | 2019-11-26 | 华为技术有限公司 | 车道线跟踪方法及相关产品 |
CN110717141A (zh) * | 2019-09-22 | 2020-01-21 | 武汉中海庭数据技术有限公司 | 一种车道线优化方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112507857A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102335389B1 (ko) | 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출 | |
KR102350181B1 (ko) | 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정 | |
CN110869936B (zh) | 用于自动驾驶车辆中的分布式学习与适应的方法和系统 | |
US11531110B2 (en) | LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles | |
CN110377025A (zh) | 用于自动驾驶车辆的传感器聚合框架 | |
US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
JP2015148601A (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
US20220194412A1 (en) | Validating Vehicle Sensor Calibration | |
CN112507857B (zh) | 一种车道线更新方法、装置、设备及存储介质 | |
US20230108621A1 (en) | Method and system for generating visual feature map | |
US11961304B2 (en) | Systems and methods for deriving an agent trajectory based on multiple image sources | |
CN111539484A (zh) | 训练神经网络的方法及装置 | |
CN113011364B (zh) | 神经网络训练、目标对象检测、行驶控制方法及装置 | |
US11961241B2 (en) | Systems and methods for deriving an agent trajectory based on tracking points within images | |
US11150096B2 (en) | Method and device for the localization of a vehicle based on a degree of robustness of the localization | |
CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
CN109115232B (zh) | 导航的方法和装置 | |
CN112912894A (zh) | 道路边界识别方法和装置 | |
CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
US20230281975A1 (en) | Systems and methods for generating three-dimensional annotations for training a machine learning model | |
US11644331B2 (en) | Probe data generating system for simulator | |
CN117128976B (zh) | 道路中心线的获取方法、装置、车辆和存储介质 | |
CN118692049A (zh) | 一种图像处理方法、装置及电子设备 | |
CN118095482A (zh) | 一种自动驾驶算法训练方法和装置 | |
CN118665456A (zh) | 泊车方法、装置、车辆及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40040361 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |