CN117760449A - 车辆定位修正方法、装置、存储介质及电子设备 - Google Patents
车辆定位修正方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117760449A CN117760449A CN202211131895.3A CN202211131895A CN117760449A CN 117760449 A CN117760449 A CN 117760449A CN 202211131895 A CN202211131895 A CN 202211131895A CN 117760449 A CN117760449 A CN 117760449A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- image
- lane line
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本申请实施例提供了一种车辆定位修正方法、装置、存储介质及电子设备。本申请实施例结合车道线自身与其相邻车道线的特性将视野图像中的车道线和地图中的车辆匹配起来,基于该匹配关系修正车辆原本的定位数据,能够实现对车辆的定位。
Description
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种车辆定位修正方法、装置、存储介质及电子设备。
背景技术
随着人们生活水平的提高以及运输行业的发展,车辆成为一种重要的交通工具。各种各样的车辆如家用车、运输车等车辆在生产生活中得到了广泛的应用。
在车辆的使用过程中,需要对车辆进行定位。
发明内容
本申请实施例提供一种车辆定位修正方法、装置、存储介质及电子设备,能够对车辆进行定位。
第一方面,本申请实施例提供一种车辆定位修正方法,包括:
获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;
获取车辆的定位数据,获取对应定位数据的地图车道线;
根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;
确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;
根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
第二方面,本申请实施例提供了一种车辆定位修正装置,包括:
第一获取模块,用于获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;
第二获取模块,用于获取车辆的定位数据,获取对应定位数据的地图车道线;
第一确定模块,用于根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;
第二确定模块,用于确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;
修正模块,用于根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
在本申请一种可能的实现方式中,匹配关系包括目标匹配关系,在根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系时,第一确定模块具体还用于:
根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,采用同一套编码规则对图像车道线和地图车道线进行数字编码,得到图像车道线和地图车道线的数字编码结果;
根据图像车道线和地图车道线的数字编码结果,确定图像车道线与地图车道线的候选匹配关系;
若候选匹配关系唯一,则将候选匹配关系确定为目标匹配关系;
否则,从候选匹配关系中确定出目标匹配关系。
在本申请一种可能的实现方式中,在从候选匹配关系中确定出目标匹配关系时,第一确定模块具体还用于:
确定视野图像中存在遮挡导致图像车道线识别不完整;
对图像车道线的识别不完整进行提示,并从候选匹配关系中确定出目标匹配关系。
在本申请一种可能的实现方式中,数字编码结果中包括车道线的类型以及多项编码元素的组合,车道线的类型包括实线和虚线,编码元素包括车道线左侧的虚线车道线的数量、车道线左侧的实线车道线的数量、车道线右侧的虚线车道线的数量、车道线右侧的实线车道线的数量,在根据图像车道线和地图车道线的数字编码结果,确定图像车道线与地图车道线的候选匹配关系时,第一确定模块具体还用于:
当图像车道线与地图车道线的类型一致且图像车道线的数字编码结果中各项编码元素的数值均不超过地图车道线的数字编码结果中对应编码元素的数值时,确定图像车道线与地图车道线存在候选匹配关系。
在本申请一种可能的实现方式中,在获取车辆行驶方向的视野图像时,第一获取模块具体还用于:
在到达当前定位修正周期时,获取车辆行驶方向的视野图像;
在从候选匹配关系中确定出目标匹配关系时,第一确定模块具体还用于:
获取车辆在前一定位修正周期内修正后的历史定位数据;
根据历史定位数据确定车辆的历史车道;
若检测出车辆在当前定位修正周期内发生过车道变换,则获取车辆的车道变换信息,并根据历史车道与车道变换信息确定出车辆的当前车道,否则将历史车道确定为车辆的当前车道;
根据车辆的当前车道从候选匹配关系中确定出目标匹配关系。
在本申请一种可能的实现方式中,在确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点时,第二确定模块具体还用于:
将位于定位数据所指示的车辆实时定位点左侧且与车辆实时定位点相邻的地图车道线确定为第一地图车道线,将位于定位数据所指示的车辆实时定位点右侧且与车辆实时定位点相邻的地图车道线确定为第二地图车道线;
确定车辆实时定位点在第一地图车道线上的第一投影点以及在第二地图车道线上的第二投影点;
确定第一地图车道线匹配的第一图像车道线以及第二地图车道线匹配的第二图像车道线;
确定第一图像车道线与视野图像的边缘的第一交点以及第二图像车道线与视野图像的边缘的第二交点。
在本申请一种可能的实现方式中,定位数据包括经纬度坐标,在根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据时,修正模块具体还用于:
获取第一投影点的经纬度坐标和第二投影点的经纬度坐标;
获取第一交点距视野图像的中线的第一距离,第二交点距视野图像的中线的第二距离,以及第一交点与第二交点的第三距离;
当车载相机位于面向车辆行驶方向的正中位置时,获取第一距离与第二距离的第一比值,以及获取第二距离与第三距离的第二比值;
获取第二投影点的经纬度坐标与第一比值的乘积;
将第一投影点的经纬度坐标与乘积的差值乘以第二比值,得到修正后的经纬度坐标。
第三方面,本申请实施例还提供一种计算机可读的存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行以实现本申请实施例提供的任一种车辆定位修正方法中的步骤。
第四方面,本申请实施例还提供一种电子设备,电子设备包括处理器和存储器,存储器中存储有计算机程序,处理器执行计算机程序以实现本申请实施例提供的任一种车辆定位修正方法中的步骤。
本申请实施例中,首先获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;获取车辆的定位数据,获取对应定位数据的地图车道线;然后根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;进而确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;最后根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。本申请实施例结合车道线自身与其相邻车道线的特性将视野图像中的车道线和地图中的车辆定位匹配起来,基于该匹配关系修正车辆原本的定位数据,能够实现对车辆的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的车辆定位修正方法的第一种场景示意图。
图2为本申请实施例提供的车辆定位修正方法的第一种流程示意图。
图3为本申请实施例提供的视野图像的第一示意图。
图4为本申请实施例提供的地图车道线示意图。
图5为本申请实施例中提供的步骤S30的一个实施例流程示意图。
图6为本申请实施例中提供的步骤S31的一个实施例流程示意图。
图7为本申请实施例提供的视野图像的第二示意图。
图8为本申请实施例中提供的步骤S33的一个实施例流程示意图。
图9为本申请实施例中提供的步骤S40的一个实施例流程示意图。
图10为本申请实施例提供的车辆定位修正方法的第二种场景示意图。
图11为本申请实施例中提供的步骤S50的一个实施例流程示意图。
图12为本申请实施例提供的车辆定位修正装置的结构示意图。
图13为本申请实施例电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的过程进行详细阐述,以避免不必要的细节使本申请实施例的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种车辆定位修正方法、装置、电子设备和计算机可读存储介质。其中,该车辆定位修正装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
在介绍本申请实施例之前,先介绍下本申请实施例关于应用背景的相关内容。
在智能驾驶领域,车辆可以实时定位、导航、自动驾驶等,其中定位是自动驾驶、辅助驾驶等的关键任务。高效、准确且低成本的定位方法有助于自动驾驶、驾驶辅助等功能的普及。目前高精度的定位主要依赖高精度IMU(Inertial Measurement Unit,惯性测量单元)和RTK-GNSS(Real Time Kinematic-Global Navigation Satellite System,实时动态-全球导航卫星系统)组成的惯性导航系统,但这整套设备成本高昂,难以广泛应用,且仅适用于GNSS信号较好的空旷地带。在隧道或城市环境下,易产生较大偏移。为实现更加广泛场景下的车道级定位,需要一种在采用低成本、低精度、低算力的设备上运行时,仍能准确估计车辆位置的方法。
基于上述问题,本申请实施例提供了一种车辆定位修正方法,本申请实施例提供的车辆定位修正方法的执行主体可以为本申请实施例提供的车辆定位修正装置,或者集成了该车辆定位修正装置的服务器设备、物理主机或者用户设备(User Equipment,UE)等不同类型的电子设备,其中,车辆定位修正装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(PersonalDigital Assistant,PDA)等终端设备。
该电子设备可以采用单独运行的工作方式,或者也可以采用设备集群的工作方式,通过应用本申请实施例提供的车辆定位修正方法,可以以低成本实现车辆定位,从而更好地进行智能驾驶辅助。
例如,参见图1,图1是本申请实施例所提供的车辆定位修正方法的第一种场景示意图。其中,该车辆定位修正系统可以包括电子设备100和数据库200,电子设备100例如可以是云服务器,其中集成有车辆定位修正装置。电子设备100可以设置在车辆上。
可以理解的,车辆上可以设置有车载相机以及并安装有导航软件,导航软件中包含有车辆的定位数据。其中,定位数据车辆的定位数据可以包括GPS(Global PositioningSystem,全球定位系统)定位数据以及任意其他导航定位方式获取的车辆的定位数据,例如车辆的定位数据可以为车辆通过全球定位系统获取的车辆的经纬度坐标。
车载相机用于实时拍摄车辆行驶方向对应的视野图像,车载相机可以设置在面向车辆行驶方向的位置,该车载相机可以面向车辆行驶方向设置,并安置在车辆的中线位置上,例如,车载相机可以设置在车辆的挡风玻璃后,距离车身左侧与车身右侧相同距离,并面向车辆的正前方进行拍摄,使得车载相机能够获取车辆正前方视野的视野图像。该电子设备100可以通过车载相机获取车辆行驶方向的视野图像,从视野图像中提取图像车道线,并且从导航软件中获取车辆的定位数据以及对应定位数据的地图车道线,其中,车辆行驶方向的视野图像即车辆正前方视野的视野图像。
对应定位数据的地图车道线可以包括该定位数据指示的车辆实时定位点附近特定范围内的地图车道线。其中,附近特定范围内的地图车道线指示的是车辆当前所在道路的地图车道线。由于导航软件中有着不同地域不同位置成千上万的地图车道线,根据车辆实时定位点划分附近特定范围,意在将车辆当前所在道路的地图车道线与其他成千上万的地图车道线区分开来,只针对当前道路的地图车道线进行车道线匹配。该特定范围可以根据道路宽度或者根据实际需要设置,例如,车辆实时定位点附近特定范围内的地图车道线可以指与该车辆实时定位点的距离在50米以内的所有地图车道线。
进一步的,根据各车道线的类型以及各车道相邻的其它车道线的类型和数量,确定图像车道线和地图车道线的匹配关系,并基于该匹配关系对车辆的定位数据进行修正。
具体的,确定与定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线匹配的图像车道线与视野图像的边缘的交点,然后,根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。从而,实现了对车辆的定位以及对定位数据的修正。
在如图1所示的应用场景中,数据库200可以用于存储数据,如在确定出图像车道线和地图车道线的匹配关系后,将图像车道线和地图车道线的匹配关系存储在数据库。
需要说明的是,图1所示的车辆定位修正方法的场景示意图仅仅是一个示例,本申请实施例描述的车辆定位修正方法以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。
下面,开始介绍本申请实施例提供的车辆定位修正方法,本申请实施例中以电子设备作为执行主体,为了简化与便于描述,后续方法实施例中将省略该执行主体。
参照图2,图2为本申请实施例提供的车辆定位修正方法的第一种流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该车辆定位修正方法包括步骤S10~S40,其中:
S10、获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线。
S20、获取车辆的定位数据,获取对应定位数据的地图车道线。
S30、根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系。
S40、确定与定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点。
S50、根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
各步骤具体说明如下:
S10、获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线。
车辆上可以设置有车载相机,用于实时拍摄车辆行驶方向对应的视野图像。其中,车辆行驶方向对应的视野图像通过车载相机面向车辆行驶方向进行拍摄得到,视野图像中包含车辆正前方的道路。举例来说,当车辆行驶在直行道路上时,车载相机获取的视野图像即为车辆正前方的道路图像,当车辆行驶到十字路口时,车载相机获取的视野图像中包含正前方所能看到的所有道路,包括车辆正在行驶的道路和车辆即将转入的道路。在本申请实施例中,只基于车辆正在行驶的道路进行车道线的匹配以及定位数据的修正。
请参阅图3,图3为本申请实施例提供的视野图像的第一示意图。其中车载相机可以设置在面向车辆行驶方向的位置,该车载相机可以面向车辆行驶方向设置,并安置在车辆的中线位置上,例如,车载相机可以设置在车辆的挡风玻璃后,距离车身左侧与车身右侧相同距离,并面向车辆的正前方进行拍摄,使得车载相机能够获取车辆正前方视野的视野图像。本申请实施例中,可以通过车载相机获取车辆行驶方向的视野图像,从视野图像中提取图像车道线,并且从导航软件中获取车辆的定位数据以及对应定位数据的地图车道线,其中,车辆行驶方向的视野图像即车辆正前方视野的视野图像。此外,本申请在通过车载相机获取视野图像的同时,也可以同步记录每帧视野图像的拍摄时间。
获取到车辆行驶方向的视野图像后,可以对获取的视野图像进行识别,从而从中提取出图像车道线。其中,图像车道线是通过视野图像反映的当前道路的真实车道线。例如,在图3所示的视野图像中,对视野图像进行识别,从中提取出4条图像车道线,这四条图像车道线从左至右依次为实线、虚线、虚线、实线。
对视野图像进行识别的方式包括但不限于对视野图像中进行线条拟合从而得到视野图像中包含的图像车道线。例如,可以对视野图像进行二次元阈值化和视角变换,得到视野图像的黑白图像,在黑白图像中,白色的像素代表试图识别的车道线的部分。然后,生成黑白图像中车道线像素的直方图,直方图中的尖峰则代表黑白图像中包含的车道线,将尖峰的峰值的位置作为起始点来搜索属于每条车道线的像素,通过搜索出的车道线像素点拟合出一条平滑曲线,从而实现车道线的最佳近似,即从视野图像中成功识别出了图像车道线。
需要说明的是,上述从视野图像中识别出图像车道线的方式仅仅是一种举例,在本领域技术人员也可以用其他识别方式从视野图像中识别出图像车道线,本申请实施例对此不作限制。
S20、获取车辆的定位数据,获取对应定位数据的地图车道线。
为实现对车辆的精准定位,本申请实施例的方案首先将当前道路的真实车道线(图像车道线)与导航中的车道线(地图车道线)对应起来。
为此,本申请除获取视野图像以及提取图像车道线外,还获取车辆的定位数据,以及获取对应定位数据的地图车道线。地图车道线是存在于导航软件中与当前真实车道线对应的虚拟车道线,属于导航数据的一种。
其中,车辆的定位数据可以包括GPS(Global Positioning System,全球定位系统)定位数据以及任意其他导航定位方式获取的车辆的定位数据,例如车辆的定位数据可以为车辆通过全球定位系统获取的车辆的经纬度坐标。对应定位数据的地图车道线包括根据该定位数据所指示的车辆实时定位点确定的周围特定范围内的地图车道线。其中,附近特定范围内的地图车道线指示的是车辆当前所在道路的地图车道线。由于导航软件中有着不同地域不同位置成千上万的地图车道线,根据车辆实时定位点划分附近特定范围,意在将车辆当前所在道路的地图车道线与其他成千上万的地图车道线区分开来,只针对当前道路的地图车道线进行车道线匹配。该特定范围可以根据道路宽度或者根据实际需要设置,例如,车辆实时定位点附近特定范围内的地图车道线可以指与该车辆实时定位点的距离在50米以内的所有地图车道线。
车辆上安装有导航软件和导航设备,软件侧的导航软件和硬件侧的导航设备共同协作,为车辆实现导航。导航设备包括导航底板,导航底板通过采集GPS脉冲信号,得到各类导航数据并发送给处理器进行分析。针对车辆的当前位置,导航软件可以从导航地图中得到车辆当前位置的各类导航数据,进而从各类导航数据中提取出对应定位数据的地图车道线。例如,对于上述提到的GPS定位数据,导航底板通过采集GPS脉冲信号,得到包含GPS定位数据在内的车辆的各项导航数据,并发送给处理器进行分析。本申请实施例中,导航软件按需从各类导航数据中提取出该GPS定位数据以及对应该GPS定位数据的地图车道线,以实现后续的车道线匹配以及GPS定位数据的修正。
请参阅图4,图4为本申请实施例提供的地图车道线示意图,图4中间的虚线代表车辆的行驶轨迹。图4中获取到对应定位数据的4条车道线,包括外侧的两条实线以及靠近内侧的两条虚线。
在一实施方式中,步骤S10中获取的图像车道线和步骤S20中获取的地图车道线为同一时刻的图像车道线和地图车道线。例如,可以根据拍摄图像车道线时记录的拍摄时间,在导航地图中找寻对应时间的定位数据,并从导航数据中提取出同一时刻的对应该定位数据的地图车道线。
之所以获取对应定位数据的地图车道线,是为了根据定位数据,从数不清的地图车道线中筛选出当前道路在导航地图中的地图车道线,以便和S10中提取的当前道路的图像车道线进行匹配。
此外,由于本申请实施例可以对车辆的定位数据进行修正,因而,步骤S20中获取的车辆定位数据对精度的要求不高,可以是低精度GPS定位数据,通过本申请实施例提供的定位修正方法,对步骤S20中获取的车辆定位数据进行修正。
S30、根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系。
在一实施例中,在对图像车道线和地图车道线进行匹配时,分别确定各图像车道线的类型以及各图像车道线相邻的其它图像车道线的类型和数量,以及确定各地图车道线的类型以及各地图车道线相邻的其它图像车道线的类型和数量,根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系。其中,对任一图像车道线而言,其相邻的其它图像车道线,指的是步骤S10提取出的图像车道线中除其自身以外的其它所有图像车道线,也即当前道路上除其自身以外的其它所有图像车道线。同理,对任一地图车道线而言,其相邻的其它地图车道线,指的是步骤S20获取的地图车道线中除其自身以外的其它所有地图车道线,也即当前道路对应的所有地图车道线中除其自身以外的其它所有地图车道线。
其中,车道线的类型包括实线类型和虚线类型,用于反映车道线本身的特性。某个车道线相邻的其它车道线的类型和数量,可以用于辅助判断该车道线在整体车道线中所处的位置。
其中,匹配关系可以包括候选匹配关系。候选匹配关系用于进一步确定目标匹配关系,用目标匹配关系辅助修正定位数据。
请参阅图5,图5为本申请实施例中提供的步骤S30的一个实施例流程示意图。在一实施例中,匹配关系包括目标匹配关系,S30根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系的步骤,可以包括:
S31、根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的候选匹配关系。
S32、若候选匹配关系唯一,则将候选匹配关系确定为目标匹配关系。
S33、若候选匹配关系不唯一,则从候选匹配关系中确定出目标匹配关系。
以下进行具体说明:
S31、根据各车道线的类型以及各车道线周围的车道线的类型和数量,确定图像车道线与地图车道线的候选匹配关系。
在从视野图像中拟合出图像车道线的同时,根据图像车道线的拟合结果可以得出拟合出的各图像车道线是实线还是虚线,从而确定各图像车道线的类型。而导航地图中,各地图车道线的实线、虚线类型早已事先标注,可以直接从导航地图中获取。从而,在对图像车道线和地图车道线进行匹配时,可以分别确定各图像车道线的类型以及各图像车道线相邻的其它图像车道线的类型和数量,以及确定各地图车道线的类型以及各地图车道线相邻的其它图像车道线的类型和数量,根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的候选匹配关系。
在确定候选匹配关系时,一种可选的方式是根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量对各图像车道线和各地图车道线进行数字编码。
请参阅图6,图6为本申请实施例中提供的步骤S31的一个实施例流程示意图。在一实施例中,S31根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的候选匹配关系的步骤,可以包括:
S311、根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,采用同一套编码规则对图像车道线和地图车道线进行数字编码,得到图像车道线和地图车道线的数字编码结果。
S312、根据图像车道线和地图车道线的数字编码结果确定图像车道线与地图车道线的候选匹配关系。
以下进行具体说明:
S311、根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,采用同一套编码规则对图像车道线和地图车道线进行数字编码,得到图像车道线和地图车道线的数字编码结果。
为实现图像车道线与地图车道线的对应,可以采用数字编码的方式(数字编码的方式可以自定义设置),分别对图像车道线和地图车道线进行数字编码,得到图像车道线的编码和地图车道线的数字编码结果。
为提高图像车道线和地图车道线的匹配速度和匹配精准度,本申请在对图像车道线和地图车道线进行数字编码时,采用相同的编码规则。
例如,数字编码结果可以包括车道线的类型(虚线/实线)以及多项编码元素的组合,编码元素包括车道线左侧的虚线车道线的数量、车道线左侧的实线车道线的数量、车道线右侧的虚线车道线的数量、车道线右侧的实线车道线的数量。其中,以面向车辆行驶方向的左边方向为左侧,以面向车辆行驶方向的右边方向为右侧。
请继续参阅图3,图3的视野图像中所示的图像车道线,假设从左到右的图像车道线分别标记为a、b、c、d,以及用F代表实线、D代表虚线,按照左侧的实车道线的数量、右侧的实车道线的数量、左侧的虚车道线的数量以及右侧的虚车道线的数量的顺序进行数字编码,则这四条图像车道线的数字编码结果分别为:
a_F:[0,1,0,2],该数字编码结果表示图像车道线a为实线,图像车道线a左侧有0条实线车道线、0条虚线车道线,图像车道线a右侧有1条实线车道线、2条虚线车道线。
b_D:[1,1,0,1],该数字编码结果表示图像车道线b为虚线,图像车道线b左侧有1条实线车道线、0条虚线车道线,图像车道线b右侧有1条实线车道线、1条虚线车道线。
c_D:[1,1,1,0],该数字编码结果表示图像车道线c为虚线,图像车道线c左侧有1条实线车道线、1条虚线车道线,图像车道线c右侧有1条实线车道线、0条虚线车道线。
d_F:[1,0,2,0],该数字编码结果表示图像车道线d为实线,图像车道线d左侧有1条实线车道线、2条虚线车道线,图像车道线d右侧有0条实线车道线、0条虚线车道线。
从而,每条图像车道线的数字编码结果都能够代表其在提取出的所有图像车道线中所处的位置,各图像车道线的编码互不相同。
请继续参阅图4,图4中所示的地图车道线,假设从左到右的图像车道线分别标记为A、B、C、D,假设用F代表实线、D代表虚线,按照左侧的实车道线的数量、右侧的实车道线的数量、左侧的虚车道线的数量以及右侧的虚车道线的数量的顺序进行数字编码,则这四条图像车道线的数字编码结果分别为:
A_F:[0,1,0,2],该数字编码结果表示地图车道线A为实线,地图车道线A左侧有0条实线车道线、0条虚线车道线,地图车道线A右侧有1条实线车道线、2条虚线车道线。
B_D:[1,1,0,1],该数字编码结果表示地图车道线B为虚线,地图车道线B左侧有1条实线车道线、0条虚线车道线,地图车道线B右侧有1条实线车道线、1条虚线车道线。
C_D:[1,1,1,0],该数字编码结果表示图像车道线C为虚线,地图车道线C左侧有1条实线车道线、1条虚线车道线,地图车道线C右侧有1条实线车道线、0条虚线车道线。
D_F:[1,0,2,0],该数字编码结果表示地图车道线D为实线,地图车道线D左侧有1条实线车道线、2条虚线车道线,地图车道线D右侧有0条实线车道线、0条虚线车道线。
从而,每条地图车道线的数字编码结果都能够代表其在获取到的所有地图车道线中所处的位置,各地图车道线的数字编码结果互不相同。
通过数字编码的方式,将各图像车道线的和各地图车道线所处的虚实类型以及在整体中所处的位置反映在数字编码结果上,便于后续的比较和匹配。
请参阅图7,图7为本申请实施例提供的视野图像的第二示意图。在一些情况下,道路中可能会存在车道线被遮挡,导致视野图像中的图像车道线缺失或不完整的情况,可能导致从视野图像中识别出的图像车道线数量减少。
例如,该视野图像中,道路上左侧两条车道线被遮挡,导致该视野图像中只能识别出两条车道线(从左至右依次记为图像车道线a和图像车道线b),分别为一条虚线和一条实线。此时,仍旧使用上述编码规则,可以得到图像车道线a和b的数字编码结果分别为为:
a_D:[0,1,0,0],该数字编码结果表示图像车道线a为实线,图像车道线a左侧有0条实线车道线、0条虚线车道线,图像车道线a右侧有1条实线车道线、2条虚线车道线。
b_F:[0,0,1,0],该数字编码结果表示图像车道线b为虚线,图像车道线b左侧有1条实线车道线、0条虚线车道线,图像车道线b右侧有1条实线车道线、1条虚线车道线。
S312、根据图像车道线和地图车道线的数字编码结果确定图像车道线与地图车道线的候选匹配关系。
在处理器对图像车道线与地图车道线进行匹配时,可以理解的,首先图像车道线与地图车道线的虚实属性需一致。即图像车道线是虚线时,其对应的地图车道线也应是虚线,图像车道线为实线时,其对应的地图车道线也应是实线。此外,本申请在将图像车道线和地图车道线进行匹配时,应用到同类资产小于等于原则,即,只要图像车道线的多项编码元素的数值均不超过地图车道线的对应编码元素的数值,则可认为该图像车道线和该地图车道线相匹配。
依照上述匹配原则,S312根据图像车道线和地图车道线的编码结果确定图像车道线与地图车道线的候选匹配关系的步骤可以包括:
当图像车道线与地图车道线的类型一致且图像车道线的数字编码结果中各项编码元素的数值均不超过地图车道线的数字编码结果中对应编码元素的数值时,确定图像车道线与地图车道线存在候选匹配关系。
例如,对于图3和图4中车道线的数字编码结果,其中图像车道线a与地图车道线A相匹配,图像车道线b与地图车道线B相匹配,图像车道线c与地图车道线C相匹配,图像车道线d与地图车道线D相匹配。4条图像车道线和4条地图车道线一一对应,每条图像车道线都有且仅有一条地图车道线与之对应,每条地图车道线都有且仅有一条图像车道线与之对应。这种情况下,可以确定各项编码元素的数值一致且虚实属性也一致的图像车道线和地图车道线相对应,候选匹配关系唯一。
而当图像存在遮挡导致图像车道线获取不完整时,则会获取到不止一种候选匹配关系。例如,对于图7所示的图像车道线的数字编码结果,与图4所示的地图车道线的数字编码结果,可以得出两种匹配关系:
1、图像车道线a与地图车道线B匹配,图像车道线b与地图车道线D匹配;
2、图像车道线a与地图车道线C匹配,图像车道线b与地图车道线D匹配。
即,若由于道路被遮挡等原因导致图像车道线缺失,使得图像车道线与地图车道线数量不一致时,则候选匹配关系可能不唯一。
相应的,候选匹配关系是否唯一,也可以反映出视野图像是否存在遮挡。当候选匹配关系不唯一时,可以确定视野图像中存在遮挡导致图像车道线识别不完整,进而,可以对图像车道线的识别不完整进行提示,并从候选匹配关系中确定出目标匹配关系。在收到该提示后,用户继续行驶车辆,直至车辆能够获取无遮挡的视野图像,实现定位数据的修正。
S32、若候选匹配关系唯一,则将候选匹配关系确定为目标匹配关系。
若图像车道线与地图车道线的候选匹配关系唯一,则可以为直接将该唯一一种候选匹配关系确定为目标匹配关系。
S33、若候选匹配关系不唯一,则从候选匹配关系中确定出目标匹配关系。
若图像车道线与地图车道线的匹配关系包括不止一种,则需要进一步从多种候选匹配关系中确定出目标匹配关系。
在一实施方式中,当匹配关系不唯一时,可以根据车辆的历史定位数据,辅助确定本次的目标匹配关系。
在一实施例中,车辆每隔一定位修正周期,获取车辆行驶方向的视野图像。定位修正周期包含固定的周期时长,可以根据需要进行设置。步骤S10获取车辆行驶方向的视野图像的步骤,可以包括:在到达当前定位修正周期时,获取车辆行驶方向的视野图像。在每个定位修正周期内,电子设备获取车辆行驶方向的视野图像并对车辆的定位数据进行一次修正。
请参阅图8,图8为本申请实施例中提供的步骤S33的一个实施例流程示意图。在一实施例中,S33中从候选匹配关系中确定出目标匹配关系的步骤,可以包括:
S331、获取车辆在前一定位修正周期内修正后的历史定位数据。
S332、根据历史定位数据确定车辆的历史车道。
S333、若检测出车辆在当前定位修正周期内发生过车道变换,则获取车辆的车道变换信息,并根据历史车道与车道变换信息确定出车辆的当前车道,否则将历史车道确定为车辆的当前车道。
S334、根据车辆的当前车道从候选匹配关系中确定出目标匹配关系。
以下进行具体说明:
S331、获取车辆在前一定位修正周期内修正后的历史定位数据。
S332、根据历史定位数据确定车辆的历史车道。
为借助历史定位数据辅助确定本次的目标匹配关系,首先需要根据车辆在当前定位修正周期开始前所在的历史车道确定车辆当前所在的地图车道。为此,需要获取车辆在前一定位修正周期内修正后的历史定位数据,并根据修正后的历史定位数据确定车辆的历史车道。
历史定位数据可以包括车辆在导航地图中的历史导航坐标,如车辆的历史经纬度坐标。
S333、若检测出车辆在当前定位修正周期内发生过车道变换,则获取车辆的车道变换信息,并根据历史车道与车道变换信息确定出车辆的当前车道,否则将历史车道确定为车辆的当前车道。
根据车辆的历史定位数据,可以确定车辆所在的历史车道,进一步确定车辆的当前车道。
在一实施方式中,可以通过以下方式对车辆的车道变换情况进行监测:当同一图像车道线在相邻两帧视野图像中分别位于视野图像中线的左右两侧时,则可以确定该图像车道线穿越了视野图像的中线,从而确定检测到车辆发生车道变换,并记录车辆的车道变换信息,如向左变换车道或向右变换车道等。可选的,也可以根据车辆转向灯的亮灯情况等,对车辆的车道变换情况进行监测。本申请实施例对此不作限制。
在根据车辆的历史车道确定车辆的当前车道时,检测车辆在当前定位修正周期内是否发生过车道变换。若检测出车辆在当前定位修正周期内发生过车道变换,则获取车辆的车道变换信息,并根据历史车道与车道变换信息确定出车辆的当前车道。
例如,若历史车道为左侧1车道,并检测到在当前定位修正周期内发生过车道变换,车道变换信息显示车辆向右侧变道1次,则可以确定出车辆的当前车道为左侧2车道。
可以理解的,若检测出车辆在当前定位修正周期内未发生过车道变换,则可以直接将历史车道确定为车辆的当前车道。
S334、根据车辆的当前车道从候选匹配关系中确定出目标匹配关系。
可以理解的,车道即存在于相邻车道线之间的间隔,从而,确定出车辆的当前车道后,即可以根据当前车道,从图像车道线和地图车道线的多种候选匹配关系中确定出唯一的目标匹配关系。
如前,候选匹配关系不唯一代表视野图像中存在遮挡导致图像车道线识别不完整。在此情况下,可以进一步分析视野图像的遮挡位置。例如,可以对视野图像进行对象识别,对象识别的方式在此不做赘述,任意能够从视野图像中识别出对象的方式均可。
当识别出视野图像中存在面积占比超过预设阈值的对象时,则可以将该对象确定为遮挡物,将该对象所在位置确定为遮挡位置。
例如,在将图7中的图像车道线与图4中的地图车道线匹配时,若确定出车辆当前所在的地图车道为中间车道,则根据视野图像的遮挡位置在视野图像的中线左侧,可以判断出获得数字编码结果的图像车道线为车辆右侧的车道线,进而,从S312的两种候选匹配关系中将第2种候选匹配关系确定为目标匹配关系(图像车道线a与地图车道线C匹配,图像车道线b与地图车道线D匹配)。
本申请实施例借由历史定位数据确定当前车道,进而利用当前车道辅助进行车道线的匹配,可以实现对图像车道线和地图车道线的精准匹配,并且不受制于图像成像质量的影响。即使视野图像中出现遮挡,也不影响车道线的匹配,可以保证车道线匹配的精准度,进而保证定位的准确。
S40、确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点。
确定出的目标匹配关系为图像车道与地图车道线的唯一匹配关系,在该匹配关系中,图像车道线与地图车道线一一对应。从而,可以根据该目标匹配关系对车辆进行定位。
其中,定位数据所指示的车辆实时定位点反映车辆在导航地图中所在的位置,在每个定位修正周期内,只获取一次定位数据,也只获取到定位数据所指示的一个车辆实时定位点。由于获取定位数据与拍摄视野图像的时间相同,因而,该车辆实时定位点反映出在拍摄视野图像时,车辆在导航地图中所在的位置。
其中,左右两侧的地图车道线,指的是与该车辆实时定位点相邻且分别位于该车辆实时定位点左右两侧的两条地图车道线,左右两侧的地图车道线对应的图像车道线,指的是前述两条地图车道线在S30分别匹配到的图像车道线。本申请实施例仅考虑车辆行驶在道路中(行驶在两条车道线中间)的情形,对于每个车辆实时定位点而言,左右两侧的地图车道线有且只有两条。
其中,视野图像的边缘,包括视野图像的上边缘和下边缘。视野图像的上边缘指的是视野图像的像素在上方终止的边界处,视野图像的下边缘指的是视野图像的像素在下方终止的边界处。
请参阅图9,图9为本申请实施例中提供的步骤S40的一个实施例流程示意图。在一实施例中,S40确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点的步骤,可以包括:
S41、将位于定位数据所指示的车辆实时定位点左侧且与车辆实时定位点相邻的地图车道线确定为第一地图车道线,将位于定位数据所指示的车辆实时定位点右侧且与车辆实时定位点相邻的地图车道线确定为第二地图车道线。
S42、确定车辆实时定位点在第一地图车道线上的第一投影点以及在第二地图车道线上的第二投影点。
S43、确定第一地图车道线匹配的第一图像车道线以及第二地图车道线匹配的第二图像车道线。
S44、确定第一图像车道线与视野图像的边缘的第一交点以及第二图像车道线与视野图像的边缘的第二交点。
以下进行具体说明:
根据相似原理,车辆距两侧图像车道线的距离比例与车辆在导航中距两侧地图车道线的距离比例近似相等。为此,可以分别获取车辆在图像中距两侧图像车道线的距离比例,并列出车辆在导航中距两侧地图车道线的距离比例,根据这两种比例列出方程并求解方程,即可实现定位数据的修正。以下进行具体说明:
请参阅图10,图10为本申请实施例提供的车辆定位修正方法的第二种场景示意图。下面结合图10对步骤S41~步骤S44进行具体说明:
图10中,O为定位数据所指示的车辆实时定位点。在步骤S41~步骤S44中,确定与定位数据所指示的车辆实时定位点O相邻的第一地图车道线和第二地图车道线分别为车道线B和车道线C,确定车辆实时定位点O在第一地图车道线A上的第一投影点O1以及在第二地图车道线B上的第二投影点O2。
根据目标匹配关系,可以确定出第一地图车辆线B匹配的第一图像车道线b以及第二地图车道线匹配C的第二图像车道线c。确定第一图像车道线b与视野图像的边缘的第一交点O3以及第二图像车道线c与视野图像的边缘的第二交点O4。
在步骤S41~步骤S44中,通过对车辆实时定位点向两侧地图车道线做垂线,得到两个投影点,根据目标匹配关系确定出对应的两侧图像车道线并确定图像车道线与视野图像边缘的交点,进而可以根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
S50、根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
请参阅图11,图11为本申请实施例中提供的步骤S50的一个实施例流程示意图。在一实施例中,S50根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据的步骤,可以包括:
S51、获取第一投影点的定位数据和第二投影点的定位数据。
S52、获取第一交点距视野图像的中线的第一距离,第二交点距视野图像的中线的第二距离以及,第一交点与第二交点的第三距离。
S53、当车载相机位于面向车辆行驶方向的正中位置时,获取第一距离与第二距离的第一比值,以及获取第二距离与第三距离的第二比值。
S54、获取第二投影点的定位数据与第一比值的乘积。
S55、将第一投影点的定位数据与乘积的差值乘以第二比值,得到修正后的定位数据。
其中,定位数据可以包括GPS导航系统获取的车辆的经纬度坐标,以定位数据包括经纬度坐标为例,以下进行具体说明:
S51、获取第一投影点的经纬度坐标和第二投影点的经纬度坐标。
第一投影点的经纬度坐标和第二投影点的经纬度坐标可以从导航信息中获取,与车辆的经纬度坐标同理,第一投影点的经纬度坐标和第二投影点的经纬度坐标可以是低精度GPS经纬度坐标。虽精度要求不高,这两个投影点到车辆实时定位点的距离仍能一定程度反应车辆在车道中的位置,因而可以用于对车辆的经纬度坐标进行修正。
S52、获取第一交点距视野图像的中线的第一距离,第二交点距视野图像的中线的第二距离以及,第一交点与第二交点的第三距离。
请继续参阅图10,在步骤S52中,获取第一交点O3距视野图像的中线的第一距离d1,以及第二交点O4距视野图像的中线的第二距离d2,以及第一交点O3与第二交点O4的第三距离d3。
S53、当车载相机位于面向车辆行驶方向的正中位置时,获取第一距离与第二距离的第一比值,以及获取第二距离与第三距离的第二比值。
S54、获取第二投影点的经纬度坐标与第一比值的乘积。
S55、将第一投影点的经纬度坐标与乘积的差值乘以第二比值,得到修正后的经纬度坐标。
车载相机在车辆中的位置会影响到步骤S50中对车辆的修正逻辑。当车载相机位于面向车辆行驶方向的正中位置时,可以获取第一距离与第二距离的第一比值,以及获取第二距离与第三距离的第二比值,获取第二投影点的经纬度坐标与第一比值的乘积,将第一投影点的经纬度坐标与乘积的差值乘以第二比值,得到修正后的经纬度坐标。
而当车载相机不位于车辆行驶方向的正中位置时,则可以以该正中位置为坐标原点建立坐标系,获取车载相机相对于该坐标原点的相对坐标,根据该相对偏差对经纬度坐标进行进一步修正。例如,在修正后的经纬度坐标上,加上或者减去该相对坐标,得到进一步修正后的经纬度坐标。
假设修正后的经纬度坐标为p_car,第一投影点的经纬度坐标记为p1,第二投影点的经纬度坐标记为p2,当车载相机位于面向车辆行驶方向的正中位置时,根据图10以及前述步骤中描述的相似关系有:
由于d3=d1+d2,可以对上式变形为:
其中,p_car为修正后的经纬度坐标,p1为第一投影点的经纬度坐标,p2为第二投影点的经纬度坐标,d1为第一交点O3距视野图像的中线的第一距离,d2为第二交点O4距视野图像的中线的第二距离,d3为第一交点O3与第二交点O4的第三距离。
通过上式,可以得到修正后的经纬度坐标p_car,该修正后的经纬度坐标可以是一个高精度的GPS经纬度坐标,从而将低精度的GPS经纬度坐标转化为了高精度的GPS经纬度坐标,实现了对车辆的定位以及对经纬度坐标的修正。
由于本申请实施例只需要识别图像车道线以及确定车道线的虚实,导航信息中也只需要有地图车道线的准确数量和虚实信息即可,因而对GPS定位的精度要求不高,可以以小成本实现车道线的精准匹配,从而实现车辆的车道级精准定位。
由上可知,本申请实施例中,首先获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;获取车辆的定位数据,获取对应定位数据的地图车道线;然后根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;进而确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;最后根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。本申请实施例结合车道线自身与其相邻车道线的特性将视野图像中的车道线和地图中的车辆定位匹配起来,基于该匹配关系修正车辆原本的定位数据,能够实现对车辆的定位。
为便于更好的实施本申请实施例提供的车辆定位修正方法,本申请实施例还提供一种基于上述车辆定位修正方法的装置。其中名词的含义与上述车辆定位修正方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图12,图12为本申请实施例提供的车辆定位修正装置400的结构示意图。该车辆定位修正装置400包括第一获取模块401、第二获取模块402、第一确定模块403、第二确定模块404和修正模块405:
第一获取模块401,用于获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;
第二获取模块402,用于获取车辆的定位数据,获取对应定位数据的地图车道线;
第一确定模块403,用于根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;
第二确定模块404,用于确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;
修正模块405,用于根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。
在一实施例中,匹配关系包括目标匹配关系,在根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系时,第一确定模块403可以用于:
根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,采用同一套编码规则对图像车道线和地图车道线进行数字编码,得到图像车道线和地图车道线的数字编码结果;
根据图像车道线和地图车道线的数字编码结果,确定图像车道线与地图车道线的候选匹配关系;
若候选匹配关系唯一,则将候选匹配关系确定为目标匹配关系;
否则,从候选匹配关系中确定出目标匹配关系。
在一实施例中,在从候选匹配关系中确定出目标匹配关系时,第一确定模块403具体还用于:
确定视野图像中存在遮挡导致图像车道线识别不完整;
对图像车道线的识别不完整进行提示,并从候选匹配关系中确定出目标匹配关系。
在一实施例中,数字编码结果中包括车道线的类型以及多项编码元素的组合,车道线的类型包括实线和虚线,编码元素包括车道线左侧的虚线车道线的数量、车道线左侧的实线车道线的数量、车道线右侧的虚线车道线的数量、车道线右侧的实线车道线的数量,在根据图像车道线和地图车道线的数字编码结果,确定图像车道线与地图车道线的候选匹配关系时,第一确定模块403可以用于:
当图像车道线与地图车道线的类型一致且图像车道线的数字编码结果中各项编码元素的数值均不超过地图车道线的数字编码结果中对应编码元素的数值时,确定图像车道线与地图车道线存在候选匹配关系。
在一实施例中,在获取车辆行驶方向的视野图像时,第一获取模块401具体还用于:
在到达当前定位修正周期时,获取车辆行驶方向的视野图像;
在从候选匹配关系中确定出目标匹配关系时,第一确定模块403可以用于:
获取车辆在前一定位修正周期内修正后的历史定位数据;
根据历史定位数据确定车辆的历史车道;
若检测出车辆在当前定位修正周期内发生过车道变换,则获取车辆的车道变换信息,并根据历史车道与车道变换信息确定出车辆的当前车道,否则将历史车道确定为车辆的当前车道;
根据车辆的当前车道从候选匹配关系中确定出目标匹配关系。
在一实施例中,在确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点时,第二确定模块404可以用于:
将位于定位数据所指示的车辆实时定位点左侧且与车辆实时定位点相邻的地图车道线确定为第一地图车道线,将位于定位数据所指示的车辆实时定位点右侧且与车辆实时定位点相邻的地图车道线确定为第二地图车道线;
确定车辆实时定位点在第一地图车道线上的第一投影点以及在第二地图车道线上的第二投影点;
确定第一地图车道线匹配的第一图像车道线以及第二地图车道线匹配的第二图像车道线;
确定第一图像车道线与视野图像的边缘的第一交点以及第二图像车道线与视野图像的边缘的第二交点。
在一实施例中,定位数据包括经纬度坐标,在根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据时,修正模块405可以用于:
获取第一投影点的经纬度坐标和第二投影点的经纬度坐标;
获取第一交点距视野图像的中线的第一距离,第二交点距视野图像的中线的第二距离,以及第一交点与第二交点的第三距离;
当车载相机位于面向车辆行驶方向的正中位置时,获取第一距离与第二距离的第一比值,以及获取第二距离与第三距离的第二比值;
获取第二投影点的经纬度坐标与第一比值的乘积;
将第一投影点的经纬度坐标与乘积的差值乘以第二比值,得到修正后的经纬度坐标。
由上可知,本申请实施例提供的车辆定位修正装置,首先第一获取模块401获取车辆行驶方向的视野图像,并从视野图像中提取图像车道线;第二获取模块402获取车辆的定位数据,获取对应定位数据的地图车道线;然后第一确定模块403根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定图像车道线与地图车道线的匹配关系;进而第二确定模块404确定定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定车辆实时定位点在左右两侧的地图车道线上的投影点,以及左右两侧的地图车道线对应的图像车道线与视野图像的边缘的交点;最后修正模块405根据投影点的定位数据,交点距视野图像的中线的距离以及车载相机在车辆中的位置,对定位数据进行修正,得到修正后的定位数据。本申请实施例结合车道线自身与其相邻车道线的特性将视野图像中的车道线和地图中的车辆定位匹配起来,基于该匹配关系修正车辆原本的定位数据,能够实现对车辆的定位。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由于该车辆定位修正装置可以执行本申请如图1至图11对应任意实施例中车辆定位修正方法中的步骤,因此,可以实现本申请如图1至图11对应任意实施例中车辆定位修正方法所能实现的有益效果,详见前面的说明,在此不再赘述。
此外,为了更好实施本申请实施例中车辆定位修正方法,在车辆定位修正方法基础之上,本申请实施例还提供一种电子设备,参阅图13,图13示出了本申请实施例电子设备的结构示意图,具体的,本申请实施例提供的电子设备包括处理器501,处理器501用于执行存储器502中存储的计算机程序时实现如图1至图11对应任意实施例中车辆定位修正方法的各步骤;或者,处理器501用于执行存储器502中存储的计算机程序时实现如图12对应实施例中各模块的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器502中,并由处理器501执行,以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括,但不仅限于处理器501、存储器502。本领域技术人员可以理解,示意仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子备还可以包括输入输出设备、网络接入设备、总线等,处理器501、存储器502、输入输出设备以及网络接入设备等通过总线相连。
处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
存储器502可用于存储计算机程序和/或模块,处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块,以及调用存储在存储器502内的数据,实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的车辆定位修正装置、电子设备及其相应单元的具体工作过程,可以参考如图1至图9对应任意实施例中车辆定位修正方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1至图11对应任意实施例中车辆定位修正方法中的步骤,具体操作可参考如图1至图11对应任意实施例中车辆定位修正方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1至图11对应任意实施例中车辆定位修正方法中的步骤,因此,可以实现本申请如图1至图11对应任意实施例中车辆定位修正方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请实施例所提供的一种车辆定位修正方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种车辆定位修正方法,其特征在于,包括:
获取车辆行驶方向的视野图像,并从所述视野图像中提取图像车道线;
获取所述车辆的定位数据,获取对应所述定位数据的地图车道线;
根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定所述图像车道线与所述地图车道线的匹配关系;
确定所述定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定所述车辆实时定位点在所述左右两侧的地图车道线上的投影点,以及所述左右两侧的地图车道线对应的图像车道线与所述视野图像的边缘的交点;
根据所述投影点的定位数据,所述交点距所述视野图像的中线的距离以及车载相机在车辆中的位置,对所述定位数据进行修正,得到修正后的定位数据。
2.根据权利要求1所述的车辆定位修正方法,其特征在于,所述匹配关系包括目标匹配关系,所述根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定所述图像车道线与所述地图车道线的匹配关系包括:
根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,采用同一套编码规则对所述图像车道线和所述地图车道线进行数字编码,得到所述图像车道线和所述地图车道线的数字编码结果;
根据所述图像车道线和所述地图车道线的数字编码结果,确定所述图像车道线与所述地图车道线的候选匹配关系;
若所述候选匹配关系唯一,则将所述候选匹配关系确定为目标匹配关系;
否则,从所述候选匹配关系中确定出目标匹配关系。
3.根据权利要求2所述的车辆定位修正方法,其特征在于,所述从所述候选匹配关系中确定出目标匹配关系包括:
确定所述视野图像中存在遮挡导致所述图像车道线识别不完整;
对图像车道线的识别不完整进行提示,并从所述候选匹配关系中确定出目标匹配关系。
4.根据权利要求2所述的车辆定位修正方法,其特征在于,所述数字编码结果中包括车道线的类型以及多项编码元素的组合,所述车道线的类型包括实线和虚线,所述编码元素包括车道线左侧的虚线车道线的数量、车道线左侧的实线车道线的数量、车道线右侧的虚线车道线的数量、车道线右侧的实线车道线的数量,所述根据所述图像车道线和所述地图车道线的数字编码结果,确定所述图像车道线与所述地图车道线的候选匹配关系包括:
当所述图像车道线与所述地图车道线的类型一致且所述图像车道线的数字编码结果中各项编码元素的数值均不超过所述地图车道线的数字编码结果中对应编码元素的数值时,确定所述图像车道线与所述地图车道线存在候选匹配关系。
5.根据权利要求2所述的车辆定位修正方法,其特征在于,所述获取车辆行驶方向的视野图像包括:
在到达当前定位修正周期时,获取车辆行驶方向的视野图像;
所述从所述候选匹配关系中确定出目标匹配关系包括:
获取所述车辆在前一定位修正周期内修正后的历史定位数据;
根据所述历史定位数据确定所述车辆的历史车道;
若检测出所述车辆在所述当前定位修正周期内发生过车道变换,则获取所述车辆的车道变换信息,并根据所述历史车道与所述车道变换信息确定出所述车辆的当前车道,否则将所述历史车道确定为所述车辆的当前车道;
根据所述车辆的当前车道从所述候选匹配关系中确定出目标匹配关系。
6.根据权利要求1所述的车辆定位修正方法,其特征在于,所述确定所述定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定所述车辆实时定位点在所述左右两侧的地图车道线上的投影点,以及所述左右两侧的地图车道线对应的图像车道线与所述视野图像的边缘的交点包括:
将位于所述定位数据所指示的车辆实时定位点左侧且与所述车辆实时定位点相邻的地图车道线确定为第一地图车道线,将位于所述定位数据所指示的车辆实时定位点右侧且与所述车辆实时定位点相邻的地图车道线确定为第二地图车道线;
确定所述车辆实时定位点在所述第一地图车道线上的第一投影点以及在所述第二地图车道线上的第二投影点;
确定所述第一地图车道线匹配的第一图像车道线以及所述第二地图车道线匹配的第二图像车道线;
确定所述第一图像车道线与所述视野图像的边缘的第一交点以及所述第二图像车道线与所述视野图像的边缘的第二交点。
7.根据权利要求6所述的车辆定位修正方法,其特征在于,所述定位数据包括经纬度坐标,所述根据所述投影点的定位数据,所述交点距所述视野图像的中线的距离以及车载相机在车辆中的位置,对所述定位数据进行修正,得到修正后的定位数据包括:
获取所述第一投影点的经纬度坐标和所述第二投影点的经纬度坐标;
获取所述第一交点距所述视野图像的中线的第一距离,所述第二交点距所述视野图像的中线的第二距离以及,所述第一交点与所述第二交点的第三距离;
当所述车载相机位于面向车辆行驶方向的正中位置时,获取所述第一距离与所述第二距离的第一比值,以及获取所述第二距离与所述第三距离的第二比值;
获取所述第二投影点的经纬度坐标与所述第一比值的乘积;
将所述第一投影点的经纬度坐标与所述乘积的差值乘以所述第二比值,得到修正后的经纬度坐标。
8.一种车辆定位修正装置,其特征在于,包括:
第一获取模块,用于获取车辆行驶方向的视野图像,并从所述视野图像中提取图像车道线;
第二获取模块,用于获取所述车辆的定位数据,获取对应所述定位数据的地图车道线;
第一确定模块,用于根据各车道线的类型以及各车道线相邻的其它车道线的类型和数量,确定所述图像车道线与所述地图车道线的匹配关系;
第二确定模块,用于确定所述定位数据所指示的车辆实时定位点左右两侧的地图车道线,确定所述车辆实时定位点在所述左右两侧的地图车道线上的投影点,以及所述左右两侧的地图车道线对应的图像车道线与所述视野图像的边缘的交点;
修正模块,用于根据所述投影点的定位数据,所述交点距所述视野图像的中线的距离以及车载相机在车辆中的位置,对所述定位数据进行修正,得到修正后的定位数据。
9.一种计算机可读的存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1至7任一项所述的车辆定位修正方法。
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现如权利要求1至7任一项所述的车辆定位修正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211131895.3A CN117760449A (zh) | 2022-09-16 | 2022-09-16 | 车辆定位修正方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211131895.3A CN117760449A (zh) | 2022-09-16 | 2022-09-16 | 车辆定位修正方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117760449A true CN117760449A (zh) | 2024-03-26 |
Family
ID=90314877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211131895.3A Pending CN117760449A (zh) | 2022-09-16 | 2022-09-16 | 车辆定位修正方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117760449A (zh) |
-
2022
- 2022-09-16 CN CN202211131895.3A patent/CN117760449A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
US20210229280A1 (en) | Positioning method and device, path determination method and device, robot and storage medium | |
CN111507327B (zh) | 一种目标检测方法及装置 | |
CN114034307B (zh) | 基于车道线的车辆位姿校准方法、装置和电子设备 | |
CN111595253B (zh) | 车辆与车道线的距离确定方法、装置、设备及存储介质 | |
Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
CN114088114B (zh) | 车辆位姿校准方法、装置和电子设备 | |
CN112631288A (zh) | 泊车定位方法、装置、车辆及存储介质 | |
CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
CN115507862A (zh) | 车道线定位方法及装置、电子设备及存储介质 | |
CN114705121A (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
CN114119682A (zh) | 一种激光点云和图像配准方法及配准系统 | |
JP2020047210A (ja) | 物体検出装置 | |
CN111605481A (zh) | 基于环视的拥堵跟车系统和终端 | |
CN117146795A (zh) | 视觉激光双重校验的回环检测方法、系统、设备及介质 | |
CN110539748A (zh) | 基于环视的拥堵跟车系统和终端 | |
CN117760449A (zh) | 车辆定位修正方法、装置、存储介质及电子设备 | |
CN111462243A (zh) | 车载流媒体后视镜标定方法、系统及装置 | |
US20240193961A1 (en) | Parking space detection method, electronic device and computer-readable storage medium | |
CN112801077B (zh) | 用于自动驾驶车辆的slam初始化的方法及相关装置 | |
TWI770511B (zh) | 一種影像辨識導航裝置 | |
JP7253079B2 (ja) | 自動運転のためのデジタルローカリゼーションマップのローカリゼーションレイヤーを形成するための方法 | |
Hayakawa et al. | Real-time Robust Lane Detection Method at a Speed of 100 km/h for a Vehicle-mounted Tunnel Surface Inspection System | |
CN117606487A (zh) | 一种定位方法、系统及介质 | |
CN118155177A (zh) | 车辆所在车道的定位方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |