CN114299464A - 车道定位方法、装置及设备 - Google Patents

车道定位方法、装置及设备 Download PDF

Info

Publication number
CN114299464A
CN114299464A CN202110919026.6A CN202110919026A CN114299464A CN 114299464 A CN114299464 A CN 114299464A CN 202110919026 A CN202110919026 A CN 202110919026A CN 114299464 A CN114299464 A CN 114299464A
Authority
CN
China
Prior art keywords
lane
information
lane line
prior
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110919026.6A
Other languages
English (en)
Inventor
肖宁
田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110919026.6A priority Critical patent/CN114299464A/zh
Publication of CN114299464A publication Critical patent/CN114299464A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本申请公开了一种车道定位方法、装置及设备,涉及地图、导航、智能交通、车联网、智能车控制技术、自动驾驶和高级辅助驾驶等领域。所述方法包括:获取目标车辆的道路图像;获取目标车辆所在位置对应的车道信息;对道路图像进行视觉识别处理,得到车道线属性信息;确定与车道线属性信息匹配的目标先验信息;基于车道信息和目标先验信息,确定目标车辆的后验概率信息;根据后验概率信息,确定目标车辆的车道位置。本申请实施例提供的技术方案,通过识别道路图像中的车道线属性信息,并结合与车道线属性信息相关的先验概率知识,即可确定车辆在各车道上的后验概率进而定位车道,降低车道定位对设备和高精地图数据的依赖,提升了车道定位的效率。

Description

车道定位方法、装置及设备
技术领域
本申请涉及地图、导航、智能交通、车联网、智能车控制技术、自动驾驶和高级辅助驾驶等领域,特别涉及一种车道定位方法、装置及设备。
背景技术
车道定位用于确定车辆在地图中车道序号。在智能车控制技术领域,如自动驾驶场景或高级辅助驾驶场景中,实现车道级定位变得越来越重要。
相关技术中,一种方式是基于RTK(Real Time Kinematic,实时动态)载波相位差分技术实现车辆定位;另一种方式是基于铺设传感器的方法,如地磁传感,能实现车辆位置的感知识别;还有一种方式是基于激光雷达测距和三维点云特征扫描技术实现车辆位置的精确跟踪。
然而,上述相关技术对设备和高精地图数据的依赖程度高、实施难度大、实施成本高。
发明内容
本申请实施例提供了一种车道定位方法、装置及设备,能够降低车道定位时对设备和高精地图数据的依赖程度,降低实施难度,节省实施成本。
根据本申请实施例的一个方面,提供了一种车道定位方法,所述方法包括:
获取目标车辆的道路图像;
获取所述目标车辆所在位置对应的车道信息;
对所述道路图像进行视觉识别处理,得到车道线属性信息;
确定与所述车道线属性信息匹配的目标先验信息,所述目标先验信息是指在所述车道线属性信息的条件下预测车道位置的先验概率信息;
基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息;
根据所述后验概率信息,确定所述目标车辆的车道位置。
根据本申请实施例的一个方面,提供了一种车道定位装置,所述装置包括:
道路图像采集模块,用于获取目标车辆的道路图像;
车道信息获取模块,用于获取所述目标车辆所在位置对应的车道信息;
视觉识别模块,用于对所述道路图像进行视觉识别处理,得到车道线属性信息;
先验信息确定模块,用于确定与所述车道线属性信息匹配的目标先验信息,所述目标先验信息是指在所述车道线属性信息的条件下预测车道位置的先验概率信息;
后验信息确定模块,用于基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息;
车道定位模块,用于根据所述后验概率信息,确定所述目标车辆的车道位置。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述车道定位方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述车道定位方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述车道定位方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过对车辆采集到的道路图像进行视觉识别,得到道路图像中车道线识别结果,无需依赖其他传感器数据,然后便可从车道线的先验信息中确定出与车道线识别结果相关,且是在该属性识别结果的条件下能够预测车道位置的先验概率知识,仅需将上述先验概率知识与车辆所在道路的车道信息相结合,无需依赖高精度的地图数据和复杂的车载设备,即可确定车辆在真实车道上的后验概率,进而定位出车辆所在车道,也无需对道路进行改造,有效降低方案实施难度,节省方案实施成本,提升了车道定位的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图;
图2示例性示出了一种车辆坐标系的示意图;
图3示例性示出了一种车道线识别信息的示意图;
图4示例性示出了一种虚拟观测车道的示意图;
图5是本申请一个实施例提供的车道定位方法的流程图;
图6是本申请一个实施例提供的车道定位方法的流程图;
图7是本申请另一个实施例提供的车道定位方法的流程图;
图8示例性示出了一种车道级定位方案的技术架构示意图;
图9是本申请一个实施例提供的车道定位装置的框图;
图10是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
本申请实施例提供的车道定位方法涉及地图、导航、智能交通、车联网、智能车控制技术、自动驾驶和高级辅助驾驶等领域,下面以地图导航应用为例进行简要说明。
随着汽车数量的不断增加,地图导航的应用也越来越广泛。在地图导航应用场景中,车辆的车道级定位非常重要,车道级定位对于车辆确定自身所处横向位置、制定导航策略具有重要的意义。此外,基于车道级定位的结果,还可以进行车辆车道级的路径规划和引导。
车道级定位还有利于提高现有道路网络的车辆通行率缓解交通拥堵,另一方面可以提高汽车行驶安全,降低交通事故率改善交通安全,降低能源消耗和环境污染,对我国能源转型减少污染、缓解交通拥堵有重大意义。
另一方面,基于视觉的车道级定位方案降低了技术成本,也能更好地支持量产。
本申请实施例提供的车道定位方法涉及人工智能技术,下面对此进行简要说明,以便于本领域技术人员理解。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的实施环境的示意图。该方案实施环境可以实现成为一个辅助驾驶或者自动驾驶任务系统。该实施环境可以包括:终端10和服务器20。
终端10可以是诸如手机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、PC(Personal Computer,个人计算机)等电子设备,也可是装载于无人驾驶车辆、智能车辆、普通车辆中的智能车载终端,还可以是任何涉及图像处理的终端。终端10可以配置或者连接摄像头,通过该摄像头采集图像。可选地,终端10中可以安装应用程序的客户端。
在本申请实施例中,上述应用程序可以是任何能够进行图像处理的应用程序。典型地,该应用程序为地图导航类应用程序、驾驶类应用程序。当然,除了地图导航类应用程序、驾驶类应用程序之外,其它类型的应用程序中也可以进行图像处理。例如,行车记录应用程序、互动娱乐类应用程序、游戏类应用程序、虚拟现实(Virtual Reality,VR)类应用程序、增强现实(Augmented Reality, AR)类应用程序等,本申请实施例对此不作限定。
服务器20用于为终端10提供后台服务。例如,服务器20可以是上述应用程序的后台服务器。服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,服务器20同时为多个终端10中的应用程序提供后台服务。
可选地,终端10和服务器20之间可通过网络30进行互相通信。终端10 以及服务器20可以通过无线通信方式进行直接或间接地连接,本申请在此不做限制。
在介绍本申请提供的方法实施例之前,先对本申请方法实施例中可能涉及的应用场景、相关术语或者名词进行简要介绍,以便于本申请领域技术人员理解。
ADAS(Advanced Driving Assistance System,高级驾驶辅助系统)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单\双目摄像头以及卫星导航),在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。在本申请实施例中,可通过安装于车辆上的单目摄像头采集道路图像数据。
ADAS数据:传统的普通道路数据为SD(Standard Definition,标准清晰度) 道路数据,主要记录道路的基本属性,如道路长度、车道数、方向和拓扑等基本信息;信息最丰富的高精道路数据为HD(High Definition,高清)道路数据,它记录了非常精确而且丰富的道路信息,包括道路车道线方程/行点坐标、电线杆坐标、指路牌位置、摄像头/红绿灯位置等。但由于HD道路数据的制作成本非常高,还不具有普适性,所以提出介于SD道路数据和HD道路数据之间的一种过渡形态数据,叫做ADAS数据(也可以有其他命名,如SD+数据),其信息的丰富程度和精度介于SD道路数据和HD道路数据之间。相对于SD道路数据而言,ADAS数据主要增加了如车道线类型、颜色,车道属性、车道数变化点、虚实线变化点、车道拓扑信息等。在本申请实施例中,主要用到的是上述道路数据里的车道总数信息,因此,本申请实施例提供的车道定位技术方案对道路数据的依赖程度很低,甚至可以只在传统的SD道路数据上添加车道总数信息即可。
GPS(Global Positioning System,全球定位系统)是一种以人造地球卫星为基础的高精度无线电导航的定位系统,它在全球任何地方以及近地空间都能够提供准确的地理位置、车行速度及精确的时间信息。本申请中的GPS信号表示车辆GPS模块通过全球导航卫星系统得到的定位信号,包括坐标、速度、时间等。当前GPS定位系统只能将车辆所在公路/道路以及公路方向进行定位,无法进行车辆所在车道的精确定位,本申请实施例提供的技术方案可对车辆所在车道进行精确定位。
车辆坐标系(Vehicle Coordinate System,VCS):车辆坐标系是用来描述车辆运动的特殊三维动坐标系O-xyz;其坐标系原点O相对于车辆位置固定,一般情况下取车辆质心。如图2所示,图2示例性示出了一种车辆坐标系的示意图。当车辆在水平路面上处于静止状态,X轴平行于地面指向车辆前方,Y轴指向驾驶员的左侧,Z轴通过车辆质心O竖直指向车辆上方。当然,图2仅是一种说明,车辆坐标系的建立方式可以有多种,如左手系、右手系,坐标系原点的选择也有多种,如前轴中点、车头中点、后轴中点,本申请实施例对此不作限定。需要说明的是,本申请实施例中的提及的车道线方程是基于车辆坐标系给出的。
车道线截距:为车辆质心到车辆左右两侧的车道线的距离。车辆通过对道路图像进行视觉识别可得到车辆前方的道路信息,其中包括车辆左右两侧车道线在车辆坐标系中的车道线方程。车道线方程的表现形式可能为二次多项式、三次多项式或其他表现形式,例如:y=d+a*x+b*x2+c*x3,或者 y=d+a*x+b*x2,等等。其中,a、b、c、d为多项式的拟合系数。
在一个示例中,如图3所示,图3示例性示出了一种车道线识别信息的示意图。在图3中,在当前车辆左侧识别出两条车道线,分别是L1、L2;在当前车辆右侧识别出两条车道线,分别是R1、R2。通过对道路图像的视觉识别处理可以确定出L1、L2、R1、R2各自对应的车道线方程,通过L1、L2、R1、R2 各自对应的车道线方程可确定L1、L2、R1、R2各自对应的车道线截距。例如,取车辆坐标系中X轴对应的坐标x=0并代入L1、R1对应的车道线方程,可以得到L1的车道线截距dL1,以及R1的车道线截距dR1.
虚拟观测车道:为了方便计算而设置的逻辑上的抽象车道。虚拟观测车道车道的宽度可以根据实际情况设置不同的数值,例如,对于城市快速路取值3.75 米,城市一般道路取值3.5米,等等。可选地,虚拟观测车道与真实车道的对应关系存在一个偏移量。例如,选取偏移量为4,则虚拟观测车道7与真实车道3 相对应,虚拟观测车道6与真实车道2相对应。本申请对单个虚拟观测车道的宽度D、虚拟观测车道与真实车道的偏移量不加以限制。
在一个示例中,如图4所示,图4示例性示出了一种虚拟观测车道的示意图。这里假设虚拟观测车道为5个(虚拟观测车道的数量可选,图4中仅是以5 个虚拟观测车道为例进行说明),包括左1车道、左2车道、中间车道、右2 车道和右1车道。图3中左右两侧的双实线表示道路边缘,共有5个虚拟观测车道。需要说明的是,在其他可能的实施例中,虚拟观测车道的数量可以设置为不同的数值,本申请对虚拟观测车道的数量选择和虚拟观测车道的表示方法不加以限制。
请参考图5,其示出了本申请一个实施例提供的车道定位方法的流程图。该方法可应用于计算机设备中,所述计算机设备是指具备数据计算和处理能力的电子设备。该方法可以包括以下几个步骤(510~560)。
步骤510,获取目标车辆的道路图像。
在一些应用场景中,通过安装在车上(安装在挡风玻璃,或者车顶等位置) 的单目摄像头采集车辆行驶道路的图像,以获取车辆的道路图像。
可选地,上述道路图像可以是车辆前方的道路图像,也可是车辆四周的全景图像。
步骤520,获取目标车辆所在位置对应的车道信息。
车辆可以根据车辆的GPS信号确定车辆位置,例如车辆的经纬度坐标。
根据车辆位置确定与该车辆位置对应的局部地图数据,从局部地图数据中可以确定车辆所在道路在当前位置的车道数量。
在一种可能的实施方式中,跟踪车辆在历史定位时段中采集的历史状态信息,其中,历史状态信息包括但不限于全球定位系统GPS信息、车辆控制信息、车辆视觉感知信息以及惯性测量单元(Inertial Measurement Unit,IMU)信息等。进而通过一定的算法和规则输出车辆在当前时刻的定位信息。根据上述定位信息,匹配到对应道路位置,进而获取当前位置的局部地图信息。可选地,获取的道路信息主要是当前车辆所在位置的总车道数,因此,方案对地图数据的依赖很低,便于传统汽车直接升级到车道级定位能力。
可选地,上述局部地图数据可以存储在车载终端本地,也可是由车载终端向服务器请求获取。
步骤530,对道路图像进行视觉识别处理,得到车道线属性信息。
上述车道线属性信息是指用于描述车道线属性的数据信息。上述车道线属性包括但不限于车道线类型、车道线颜色以及车道线方程。
车道线颜色包括但不限于黄色、白色、蓝色、绿色、灰色、黑色,以及其他颜色等。车道线类型包括但不限于单实线、单虚线、双实线、双虚线、左虚右实线、左实右虚线、防护栏、路缘石、马路牙、道路边缘,其他。
在一些应用场景中,可通过AI模型对道路图像进行图像识别分割,得到当前车辆所在车道的左右车道线,通过机器学习技术得到道路图像中各条车道线的类型和颜色属性,以及车道线方程信息。
在一种可能的实施方式中,车道线属性信息包括至少一条车道线的车道线类型和车道线颜色。上述至少一条车道线可以是根据道路图像识别出的全部或者部分车道线。
可选地,识别道路图像中车辆左右两侧的各两根车道线。
在一种可能的实施方式中,车道线属性信息还包括至少一条车道线的车道线方程。
步骤540,确定与车道线属性信息匹配的目标先验信息。
目标先验信息是指在车道线属性信息的条件下预测车道位置的先验概率信息。
目标先验信息包括但不限于在车道线为目标车道线类型的条件下预测车道位置的先验概率、在车道线为目标车道线颜色的条件下预测车道位置的先验概率、在检测出的车道线间距的条件下预测车道位置的先验概率。
在示例性实施例中,如图6所示,其示出了本申请一个实施例提供的车道定位方法的流程图。上述步骤540之前,还包括下述步骤570。
步骤570,获取先验信息。
先验信息用于表征车道线的属性与虚拟观测车道之间的关联关系。先验信息是指基于历史道路图像确定的预测车道位置的先验概率信息。在示例性实施例中,使用先验概率矩阵表征先验信息,通过先验概率矩阵中的先验概率表征车道线的各种属性与虚拟观测车道之间的关联关系。例如,当车辆在边缘车道时,车辆某一侧的车道线属于道路边缘的概率会较高,通常高于车辆在中间车道时车道线属于道路边缘的概率。
在示例性实施例中,先验信息包括车道线的类型观测矩阵、颜色观测矩阵以及间距观测矩阵中至少一种。
类型观测矩阵用于表征车道线类型与虚拟观测车道之间的关联关系。
其中,类型观测矩阵的行对应于车道线类型,类型观测矩阵的列对应于虚拟观测车道,类型观测矩阵包括根据虚拟观测车道和车道线类型确定的类型先验概率。类型先验概率是指车辆在某一虚拟观测车道下,车道线属于某一类型的先验概率。可选地,类型观测矩阵包括不同虚拟观测车道下车道线属于不同的车道线类型的类型先验概率。
比如,类型观测矩阵中第m行第n列的类型先验概率,可以表示若车辆在虚拟观测车道n的情况下,车道线属于第m行对应的车道线类型的概率。
颜色观测矩阵的行对应于车道线颜色,颜色观测矩阵的列对应于虚拟观测车道,颜色观测矩阵包括根据虚拟观测车道和车道线颜色确定的颜色先验概率。颜色先验概率是指车辆在某一虚拟观测车道下,车道线属于某一颜色的先验概率。可选地,颜色观测矩阵包括不同虚拟观测车道下车道线属于不同的车道线颜色的颜色先验概率。
比如,颜色观测矩阵中第m行第n列的颜色先验概率,可以表示若车辆在虚拟观测车道n的情况下,车道线为第m行对应的车道线颜色的概率。
间距观测矩阵的行对应于车道线间距,间距观测矩阵的列对应于虚拟观测车道,间距观测矩阵包括根据虚拟观测车道和车道线间距确定的间距先验概率。可选地,间距观测矩阵包括不同虚拟观测车道下用于表征车道线间距真实性的间距先验概率。
相应的,如图6所示,上述步骤540可由下述步骤541替换实施。
步骤541,确定先验信息中与车道线属性信息匹配的目标先验信息。
在一种可能的实施方式中,车道线属性信息包括至少一条车道线的车道线类型和车道线颜色,目标先验信息包括至少一条车道线各自对应的类型先验概率和颜色先验概率。
每条车道线都对应一个类型观测矩阵和颜色观测矩阵。不同车道线各自对应的类型观测矩阵和颜色观测矩阵可以相同,也可以不同。
在上述实施方式中,上述步骤541的一种实施方式包括下述过程:
对于至少一条车道线中的目标车道线,确定先验信息中各个虚拟观测车道下目标车道线的目标类型对应的类型先验概率。类型先验概率是指目标车辆在虚拟观测车道下,目标车道线属于目标类型的先验概率。上述目标类型是目标车道线的车道线类型。可选地,根据目标车道线的目标类型,从与目标车道线对应的类型观测矩阵中确定各个虚拟观测车道下与目标车道线的目标类型对应的类型先验概率。
确定先验信息中各个虚拟观测车道下目标车道线的目标颜色对应的颜色先验概率。颜色先验概率是指目标车辆在虚拟观测车道下,目标车道线为目标颜色的先验概率。可选地,根据目标车道线的目标颜色,从与目标车道线对应的颜色观测矩阵中确定各个虚拟观测车道下与目标车道线的目标颜色对应的类型先验概率。
得到至少一条车道线各自对应的类型先验概率和颜色先验概率。
对于任一条车道线,都有车辆在各个虚拟观测车道下,该车道线对应的类型先验概率和颜色先验概率。
在另一种可能的实施方式中,车道线属性信息还包括至少一条车道线的车道线方程,先验信息包括车道线间距先验信息。
在此种实施方式下,上述步骤570的一种实施方式包括下述过程:
根据至少两条车道线的车道线方程,确定车道线间距信息;基于车道线间距信息,确定车道线间距先验信息。
上述车道线间距信息可以表示各个车道线之间的车道线间距的信息,也可以是表示车辆两侧的车道线间距的信息,还可以是表示固定车道线之间的间距的信息,本申请实施例对此不作限定。
可选地,使用间距先验矩阵表征车道线间距先验信息。可选地,不同的车道线间距对应不同的间距先验矩阵。
可选地,上述目标先验信息包括至少一条车道线对应的间距先验概率。间距先验概率用于表征车辆在各个虚拟观测车道下车道线间距的真实性。间距先验概率可以是与真实概率呈正相关的系数表示,通过上述系数可以判断车辆在各个虚拟观测车道上的相对可能性。
相应的,在此种实施方式下,上述步骤541的一种实施方式还包括下述过程:
在车道线间距信息包括第一车道线间距的情况下,确定各个虚拟观测车道对应的第一间距先验概率。第一车道线间距用于表征目标车辆左侧车道线的间距信息,第一间距先验概率用于表征目标车辆在虚拟观测车道下第一车道线间距的真实性。可选的,从第一车道线间距对应的间距先验矩阵中确定各个虚拟观测车道对应的第一间距先验概率。
在车道线间距信息包括第二车道线间距的情况下,确定各个虚拟观测车道对应的第二间距先验概率,第二车道线间距用于表征目标车辆右侧车道线的间距信息,第二间距先验概率用于表征目标车辆在虚拟观测车道下第二车道线间距的真实性。可选的,从第二车道线间距对应的间距先验矩阵中确定各个虚拟观测车道对应的第二间距先验概率。
步骤550,基于车道信息和目标先验信息,确定目标车辆的后验概率信息。
在示例性实施例中,车道信息包括车道总数量,后验概率信息包括目标车辆在真实车道上的后验概率。
在示例性实施例中,如图6所示,上述步骤550包括如下子步骤(551~552)。
步骤551,基于目标先验信息,确定目标车辆在各个虚拟观测车道上的权重系数。
权重系数与目标车辆位于各个虚拟观测车道的概率呈正相关。
步骤552,根据车道总数量和权重系数,确定后验概率。
在示例性实施例中,上述步骤552的一种实施方式包括下述过程:
确定车道总数量与各个虚拟观测车道的数量之间的数量关系。
根据数量关系,将各个虚拟观测车道对应的权重系数,映射至真实车道,得到后验概率。
在一些应用场景中,真实车道的总数量、检测出的车道数量与虚拟观测车道的总数量并不一定相同,三者之间可能会存在一些偏移量。例如,车道的总数量为6,虚拟观测车道的总数量为5,偏移量为1。因此可根据数量关系确定不同的概率映射规则,进而确定出符合该情况的后验概率。具体的概率映射方案可参考下一实施例中对于步骤715的说明。
步骤560,根据后验概率信息,确定目标车辆的车道位置。
在示例性实施例中,如图6所示,上述步骤560可由如下步骤替换实现。
步骤561,确定最大后验概率对应的真实车道为目标车辆所在车道。
综上所述,本申请实施例提供的技术方案,通过对车辆采集到的道路图像进行视觉识别,得到道路图像中车道线识别结果,无需依赖其他传感器数据,然后便可从车道线的先验信息中确定出与车道线识别结果相关,且是在该属性识别结果的条件下能够预测车道位置的先验概率知识,仅需将上述先验概率知识与车辆所在道路的车道信息相结合,无需依赖高精度的地图数据和复杂的车载设备,即可确定车辆在真实车道上的后验概率,进而定位出车辆所在车道,也无需对道路进行改造,有效降低方案实施难度,节省方案实施成本,提升了车道定位的效率。
下面结合一些实施场景对本申请实施例提供的技术方案进行进一步说明。在一些应用场景中,采用基于RTK(Real Time Kinematic,实时动态)载波相位差分技术实现车辆定位,其方案是实时处理两个测量站载波相位观测量的差分,将基准站采集的载波相位发给用户接收机,进行求差解算坐标,能得到厘米/分米级别的定位精度。上述基于RTK的定位技术对设备依赖程度高,而且并不普及。此外,它还需要依赖高精地图数据进行定位匹配,高精地图的采集成本也极高,无法大范围使用。通过本申请实施例提供的技术方案,无需依赖高精地图数据,也无需复杂的车载设备,仅需道路的车道数量信息和车辆中的安装的摄像头即可进行车道定位。
在另一些场景中,采用基于铺设传感器的方法,如地磁传感,实现车辆位置的感知识别。上述基于铺设传感器的方案成本高,道路改造实施难度大,不具备大规模推广的条件。通过本申请实施例提供的技术方案,仅需道路的车道数量信息和车辆中的安装的摄像头即可进行车道定位,无需改造道路,实施成本低。
还有一些场景中,采用基于激光雷达测距和三维点云特征扫描技术实现车辆位置的精确跟踪,但是成本高昂,短时间内无法商业应用。通过本申请实施例提供的技术方案,仅需道路的车道数量信息和车辆中的安装的摄像头即可进行车道定位,成本低,应用前景广泛。
请参考图7,其示出了本申请另一个实施例提供的车道定位方法的流程图。该方法可应用于计算机设备中,所述计算机设备是指具备数据计算和处理能力的电子设备。该方法可以包括以下几个步骤(701~716)。
步骤701,获取目标车辆的道路图像。
步骤702,获取目标车辆所在位置对应的车道总数量。
步骤703,对道路图像进行视觉识别处理,得到至少一条车道线的车道线类型和车道线颜色,以及至少一条车道线对应的车道线间距信息。
基于至少一条车道线的车道线方程,确定车道线间距。
步骤704,获取先验信息中的类型观测矩阵、颜色观测矩阵。
步骤705,基于车道线间距信息,确定间距观测矩阵。
步骤706,对于至少一条车道线中的目标车道线,确定与目标车道线对应的目标类型观测矩阵和目标颜色观测矩阵。
步骤707,从目标类型观测矩阵和目标颜色观测矩阵中查找各个虚拟观测车道下目标车道线的目标类型对应的类型先验概率和颜色先验概率。
步骤708,得到各个车道线对应的类型先验概率和颜色先验概率。
步骤709,在车道线间距信息包括第一车道线间距的情况下,确定第一车道线间距对应的第一间距观测矩阵。
步骤710,在车道线间距信息包括第二车道线间距的情况下,确定第二车道线间距对应的第二间距观测矩阵。
步骤711,从第一间距观测矩阵中确定各个虚拟观测车道对应的第一间距先验概率。
步骤712,从第二间距观测矩阵中确定各个虚拟观测车道对应的第二间距先验概率。
步骤713,基于各个车道线对应的类型先验概率和颜色先验概率、第一间距先验概率以及第二间距先验概率,确定目标车辆在各个虚拟观测车道上的权重系数。
步骤714,确定车道总数量与各个虚拟观测车道的数量之间的数量关系。
步骤715,根据数量关系,将各个虚拟观测车道对应的权重系数,映射至真实车道,得到目标车辆在各个真实车道上的后验概率。
在示例性实施例中,虚拟观测车道包括第一虚拟车道、第二虚拟车道、第三虚拟车道、第四虚拟车道以及第五虚拟车道。
若车道总数量N等于1,则确定后验概率1,N为大于或者等于1的正整数;
若车道总数量N等于2,则基于第一虚拟车道的权重系数确定第一真实车道的后验概率,以及基于第五虚拟车道的权重系数确定第二真实车道的后验概率;
若车道总数量N等于3,则基于第一虚拟车道的权重系数确定第一真实车道的后验概率,基于第二虚拟车道与第四虚拟车道的权重系数和确定第二真实车道的后验概率,以及基于第五虚拟车道的权重系数确定第三真实车道的后验概率;
若车道总数量N等于4,则基于第一虚拟车道的权重系数确定第一真实车道的后验概率,基于第二虚拟车道的权重系数确定第二真实车道的后验概率,基于第四虚拟车道的权重系数确定第三真实车道的后验概率,以及基于第五虚拟车道的权重系数确定第四真实车道的后验概率;
若车道总数量等于5,则基于第一虚拟车道的权重系数确定第一真实车道的后验概率,基于第二虚拟车道的权重系数确定第二真实车道的后验概率,基于第三虚拟车道的权重系数确定第三真实车道的后验概率,基于第四虚拟车道的权重系数确定第四真实车道的后验概率,以及基于第五虚拟车道的权重系数确定第五真实车道的后验概率;
若车道总数量N大于或者等于6,则基于第一虚拟车道的权重系数确定第一真实车道的后验概率,基于第二虚拟车道的权重系数确定第二真实车道的后验概率,基于第四虚拟车道的权重系数确定第N-1个真实车道的后验概率,基于第五虚拟车道的权重系数确定第N个真实车道的后验概率,以及基于第三虚拟车道的权重系数确定剩余真实车道的后验概率。
步骤716,确定最大后验概率对应的真实车道为目标车辆所在车道。
综上所述,本申请实施例提供的技术方案,通过对车辆采集到的道路图像进行视觉识别,得到道路图像中车道线识别结果,无需依赖其他传感器数据,然后便可从车道线的先验信息中确定出与车道线识别结果相关,且是在该属性识别结果的条件下能够预测虚拟车道位置的先验概率知识,仅需将上述先验概率知识与车辆所在道路的车道信息相结合,无需依赖高精度的地图数据和复杂的车载设备,即可映射出车辆在真实车道上的后验概率,进而定位出车辆所在车道,也无需对道路进行改造,有效降低方案实施难度,节省方案实施成本,提升了车道定位的效率。
在一个示例中,如图8所示,其示例性示出了一种车道级定位方案的技术架构示意图。图8所示的车道级定位方案是基于贝叶斯模型的车道定为方案,其技术架构包括视觉处理模块,车辆定位模块,底图数据模块,和贝叶斯观测模型4个部分,其中贝叶斯观测模型又分成虚拟观测概率计算和真实概率映射两个步骤。下面对各部分的任务功能进行介绍说明。
1、视觉处理模块
视觉处理模块用于提供车道线类型、颜色以及车道线方程的识别结果,本申请对该模块的具体实现方式不做限制,只要满足需要的输出内容即可。
其中,视觉处理模块中的图像采集单元包括一个安装在车上(安装在挡风玻璃,或者车顶等位置)的单目摄像头,以获取车前方的道路图像。
视觉处理模块中的图像处理单元对采集到的道路图像进行分析处理,最终输出识别出的车辆周围(左侧和右侧)的车道线的类型和颜色信息,以及其置信度(quality)。
其中,车道线颜色包括但不限于黄色、白色、蓝色、绿色、灰色、黑色,以及其他颜色等。车道线类型包括但不限于单实线、单虚线、双实线、双虚线、左虚右实线、左实右虚线、防护栏、路缘石、马路牙、道路边缘,其他。
一种可能的实施方式如下:
(1)通过安装在车上(安装在挡风玻璃,或者车顶等位置)的单目摄像头获取车前方的道路图像
(2)对所述图像进行要素分割,识别和车辆相邻的各条车道线信息
(3)将识别出的车道线信息提取出来,通过机器学习模型得到车道线的颜色和类型属性。
(4)对各条相邻车道线,进行逆透视变换,将图像中的各条相邻车道线从图像坐标系转换到世界坐标系下,对变换后的车道线进行拟合重建,得到各条车道线的车道线方程信息。车道线方程的表现形式可以是2次多项式、3次多项式或者其他表现形式,如:
y=d+a*x+b*x2+c*x3
或者,如:
y=d+a*x+b*x2
可选地,上述世界坐标系是车辆坐标系,车道线方程是基于车辆坐标系给出的。前文已经对车辆坐标系进行了相关的介绍说明,这里不再赘述。
在一种可能的实施方式中,视觉模块最多只识别4根车道线的信息,即车辆左侧两根和车辆右侧两根。车辆左侧的第一根车道线为L1,车辆左侧的第二根车道线为L2,车辆右侧的第一根车道线为R1,车辆右侧的第二根车道线为 R2,可参考图3。如果道路图像最左侧是道路边缘,那么最左侧的车道线即表示道路边缘/路沿/马路牙。当车辆行驶在最左侧车道时,L1表示最左侧车道的左侧车道线,L2表示道路边缘/路沿/马路牙。
根据对车道线的在世界坐标系中的拟合结果,可以得到各车道线的车道线方程信息,进而确定每个车道线到车辆的截距信息dL1,dL2,dR1,dR2。其中, dL1,dL2,dR1,dR2分别是车道线L1、L2、R1、R2对应的截距。
2、车辆定位模块
车辆定位模块,跟踪车辆在历史定位时段中采集的历史状态信息,其中,历史状态信息包括但不限于全球定位系统GPS信息、车辆控制信息、车辆视觉感知信息以及惯性测量单元(Inertial Measurement Unit,IMU)信息等。最终该模块通过一定的算法和规则输出一个当前时刻的定位点信息P(如车辆位置坐标经纬度)。该定位点信息用于从地图数据模块中获取局部地图数据,可用来从地图数据模块中获取局部地图数据信息,并和视觉识别结果进行比对。
3、地图数据模块
地图数据模块根据车辆定位模块的定位信息,匹配到对应道路位置,进而获取当前位置的局部地图信息。可选地,获取的道路信息主要是当前车辆所在位置的总车道数,因此,方案对地图数据的依赖很低,便于传统汽车直接升级到车道级定位能力。
4、贝叶斯观测模型
(4.1)虚拟观测概率计算
A、获得先验概率矩阵
在一种可能的实施方式中,虚拟观测车道的数量为5,即有5中对虚拟观测车道的观测状态。可选地,虚拟观测车道的数量可选,本实施例中仅以5个为例进行说明。具体的,虚拟观测车道包括左1车道、左2车道、中间车道、右2 车道和右1车道。
确定虚拟观测车道的个数是为了固定贝叶斯观测矩阵的维数,便于计算。
通过上述对视觉识别模块的说明可知,视觉识别得到的真实车道线共有4 根,分别是L1,L2,R1,R2。
对每根车道线的车道线类型分别设计观测矩阵,分别为ObsProbL1Type、ObsProbL2Type、ObsProbR1Type、ObsProbR2Type。其中,ObsProbL1Type、 ObsProbL2Type、ObsProbR1Type、ObsProbR2Type分别为L1,L2,R1,R2对应的类型观测矩阵。这4个类型观测矩阵的行数为可识别的车道线类型的总个数,列数为5,表示5个虚拟观测车道。
对每根车道线的车道线颜色分别设计观测矩阵,分别为ObsProbL1Color,ObsProbL2Color,ObsProbR1Color,ObsProbR2Color。其中,ObsProbL1Color,ObsProbL2Color,ObsProbR1Color,ObsProbR2Color分别为L1,L2,R1,R2 对应的颜色观测矩阵。这4个颜色观测矩阵的行数为可识别的车道线颜色的总个数,列数为5,表示5个虚拟观测车道。
对车辆左侧两根车道线L1、L2的距离间隔、右边两根车道线R1、R2的距离间隔设计两个观测矩阵,分别是ObsProbLeftDist,ObsProbRightDist。其中, ObsProbLeftDist是与L1、L2的车道线间距对应的间距观测矩阵, ObsProbRightDist是与R1、R2的车道线间距对应的间距观测矩阵。这2个间距观测矩阵为1行5列的矩阵,矩阵中的概率通过实时获取的L1、L2、R1、R2 的车道线方程以及一定的规则进行计算得到。
对于类型和颜色的8个观测矩阵(4个类型观测矩阵,4个颜色观测矩阵),其数值是固定的,依据先验知识(经验知识)或者统计结果(通过大量道路视频和图片统计)得到。矩阵按列进行归一化,矩阵的第i行,第j列表示,车辆在虚拟观测车道j的条件下,车道线类型/颜色为第i行对应的类型/颜色的概率。可选地,也可以进行不归一化,通过矩阵每列的数值大小来表示相对概率大小,对概率的计算和最终的结果影响较小。
为了不失一般性,这里以ObsProbL1Type、ObsProbL2Type为例简要说明。在一种可能的实施方式中,视觉识别模块可识别的车道线类型包括单实线、单虚线、道路边缘3种,则观测矩阵ObsProbL1Type、ObsProbL2Type均为3行5 列的矩阵,一种可行的表示如下:
ObsProbL1Type:
左1车道 左2车道 中间车道 右2车道 右1车道
单实线 0.5 0.1 0.1 0.1 0.1
单虚线 0.1 0.8 0.8 0.8 0.8
道路边缘 0.4 0.1 0.1 0.1 0.1
ObsProbL2Type:
左1车道 左2车道 中间车道 右2车道 右1车道
单实线 0.2 0.4 0.1 0.1 0.1
单虚线 0.1 0.1 0.8 0.8 0.8
道路边缘 0.7 0.5 0.1 0.1 0.1
注:当车辆在左1车道时,一般车辆左侧的第一根车道线是车道线实线,第二根车道线是道路边缘标线,如马路牙、防护栏等。所以根据上述类型观测矩阵可知,车辆在左1车道时,L1是单实线的概率最大(0.5),L2是道路边缘的概率最大(0.7)。
下面同样通过具体的示例对间距观测矩阵进行说明。矩阵ObsProbLeftDist 和ObsProbRightDist的列表示虚拟观测车道,矩阵ObsProbLeftDist和 ObsProbRightDist的行在理论上应该表示的是车道线间距,但车道线间距不是一个离散值,而是连续值,所以用有限行来表示矩阵难度较大。因此,这里只用一行表示车辆在不同虚拟观测车道下,车道线间距出现给定车道线间距的相对可能性。这里称作相对可能性是因为矩阵的值是一个系数表示,并不是真实概率,但这并不影响最终计算。
在一种可能的实施方式中,令车道线L1和L2的间距为LDist=abs(dL1- dL2),单位为米(m),abs表示求绝对值操作;车道线R1和R2的间距为 RDist=abs(dR1-dR2),一种可行的间距概率矩阵设计方式如下:
对于ObsProbLeftDist,ObsProbLeftDist[1]、ObsProbLeftDist[2]、ObsProbLeftDist[3]、ObsProbLeftDist[4]、ObsProbLeftDist[5]分别是ObsProbLeftDist各列的值。
Figure RE-GDA0003281586050000191
Figure RE-GDA0003281586050000192
Figure RE-GDA0003281586050000193
Figure RE-GDA0003281586050000194
Figure RE-GDA0003281586050000195
对于ObsProbRightDist,ObsProbRightDist[1]、ObsProbRightDist[2]、ObsProbRightDist[3]、ObsProbRightDist[4]、ObsProbRightDist[5]分别是ObsProbRightDist各列的值。
Figure RE-GDA0003281586050000196
Figure RE-GDA0003281586050000197
Figure RE-GDA0003281586050000198
Figure RE-GDA0003281586050000199
Figure RE-GDA00032815860500001910
其中Width是一个可选参数,表示车道宽度,比如3.5m,3.75m。C是一个可选的系数调整参数,比如8.0,10.0。
B、虚拟车道概率计算
在本实施例中的优化目标是在给定车道线颜色、类型和方程的情况下,确定最大概率的车道。即:
Figure RE-RE-GDA0003281586050000201
其中LaneIndex表示最大概率车道,i表示虚拟观测车道号,值为左1车道、左2车道、中间车道、右2车道、右1车道,为了表示方便这里我们用i=1,2, 3,4,5来分别表示。P(i|L1,L2,R1,R2)表示已知车道线L1、L2、R1、R2,求车辆所在虚拟观测车道的条件概率。
根据贝叶斯公式,该公式可以转化为:
Figure RE-GDA0003281586050000202
这里假设车辆在每个虚拟观测车道的初始概率是相等的,即各个车道对应的P(i)相等,因此可以去除P(i)的影响,得到:
Figure RE-GDA0003281586050000203
P(L1,L2,R1,R2)表示的是观测到的L1、L2、R1、R2出现给定类型、颜色、方程的概率。P(L1,L2,R1,R2)是一个常数,因此可以忽略公共分母 P(L1,L2,R1,R2)对求极大值的影响,上式进一步转化为:
Figure RE-RE-GDA0003281586050000204
接着,在一些应用场景中,可认为各条车道线之间的概率是独立的,则上述联合概率P(L1,L2,R1,R2|i)可以表示为各个概率的乘积:
Figure RE-RE-GDA0003281586050000205
进一步地,可认为每条车道线对应的颜色、类型、方程也是独立的观测变量,上述式子进一步转化为:
Figure RE-RE-GDA0003281586050000206
其中,L1type为车道线L1的类型,L1color车道线L1的颜色,L2type为车道线L2的类型,L2color车道线L2的颜色,R1type为车道线R1的类型,R1color车道线R1的颜色,R2type为车道线R2的类型,R2color车道线R2的颜色,LDist是L1、L2的车道线间距,RDist是R1、R2的车道线间距。
最终的概率计算变成上面10个概率的乘积,而这10个概率的每一个都可以从A部分中的先验概率矩阵中获得。
比如,P(L1type|i)的值为矩阵ObsProbL1Type第i虚拟观测车道列,L1的车道线类型L1type对应行所在位置的取值。
根据上式中与虚拟观测车道对应的10个概率的乘积,可得到5个虚拟观测车道各自对应的概率权重系数,具体包括:左1车道的权重系数ObsProbVirtual[1]、左2车道的权重系数ObsProbVirtual[2]、中间车道的权重系数ObsProbVirtual[3]、右2车道的权重系数ObsProbVirtual[4]、右1车道的权重系数ObsProbVirtual[5]。
可选地,对于第i个虚拟观测车道,其权重系数ObsProbVirtual[i]可由下式确定。
Figure RE-GDA0003281586050000211
接着,通过下式对ObsProbVirtual[i]进行归一化处理。
Figure RE-GDA0003281586050000212
可选地,将归一化后的值作为车辆在5个虚拟观测车道的概率(虚拟观测概率)。
(4.2)真实车道概率映射
从(4.1)中得到了车辆在5个虚拟观测车道的概率,但真实的车道数是变化的,因此需要将虚拟观测概率映射到真实车道概率中。
从局部道路数据中获取到的当前车辆所在位置的车道总数为N,N为大于等于1的正整数。接着,根据N值大小执行不同的概率映射方案,具体参见下述几种情况。
情况1(N=1):
若N=1,则输出LaneIndex=1,概率ObsProbReal[1]=1.0。ObsProbReal[1] 表示车辆在真实车道1的后验概率。当前道路只有一个车道时,车道定位结果没有异议,车辆一定在该车道上。
情况2(N=2):
若N=2,则ObsProbReal[1]=ObsProbVirtual[1],ObsProbReal[2]=ObsProbVirtual[5]。ObsProbReal[2]表示车辆在真实车道2的后验概率。
可选地,对后验概率ObsProbReal进行归一化。
相应的,通过下式确定最大概率的车辆所在真实车道LaneIndex。
Figure RE-GDA0003281586050000221
情况3(N=3):
若N=3,则ObsProbReal[1]=ObsProbVirtual[1],ObsProbReal[2]=ObsProbVirtual[2]+ObsProbVirtual[4],ObsProbReal[3]=ObsProbVirtual[5]。ObsProbReal[3]表示车辆在真实车道3的后验概率。
可选地,对后验概率ObsProbReal进行归一化。
相应的,通过下式确定最大概率的车辆所在真实车道LaneIndex。
Figure RE-GDA0003281586050000222
情况4(N=4):
若N=4,则ObsProbReal[1]=ObsProbVirtual[1],ObsProbReal[2]=ObsProbVirtual[2],ObsProbReal[3]=ObsProbVirtual[4],ObsProbReal[4]=ObsProbVirtual[5]。ObsProbReal[4]表示车辆在真实车道4的后验概率。
可选地,对后验概率ObsProbReal进行归一化。
相应的,通过下式确定最大概率的车辆所在真实车道LaneIndex。
Figure RE-GDA0003281586050000223
情况5(N=5):
若N=5,则ObsProbReal[1]=ObsProbVirtual[1],ObsProbReal[2]=ObsProbVirtual[2],ObsProbReal[3]=ObsProbVirtual[3],ObsProbReal[4]=ObsProbVirtual[4],ObsProbReal[5]=ObsProbVirtual[5]。ObsProbReal[5]表示车辆在真实车道5的后验概率。
可选地,对后验概率ObsProbReal进行归一化。
相应的,通过下式确定最大概率的车辆所在真实车道LaneIndex。
Figure RE-GDA0003281586050000224
情况6(N≥6):
若N≥6,则ObsProbReal[1]=ObsProbVirtual[1],ObsProbReal[2]=ObsProbVirtual[2],ObsProbReal[N-1]=ObsProbVirtual[4],ObsProbReal[N]=ObsProbVirtual[5]。ObsProbReal[N-1]、ObsProbReal[N]分别表示车辆在真实车道 N-1、真实车道N的后验概率。
接着,把虚拟观测车道中中间车道的概率分配给剩余车道。可选地,按照中间车道高,两边车道低的原则进行分配,一种可行的方式如下:
对于未分配权重的车道j,j为除了真实车道1、真实车道2、真实车道N-1、真实车道N之外的车道,其分配权重
Figure RE-GDA0003281586050000231
其中,
Figure RE-GDA0003281586050000232
表示中间车道的车道号,上述规则旨在让接近中间车道的权重大,远离中间车道的权重小,本申请实施例对权重分配规则不作限定。
接着,对所有weight(j)进行归一化处理。
然后,对所有未赋值的车道j,其对应的后验概率ObsProbReal[j]通过下式确定。
ObsProbReal[j]=ObsProbVirtual[3]×weight(j)
至此,对所有真实车道都赋上了概率值。
可选地,还可对ObsProbReal进行归一化。
最终输出的LaneIndex即为贝叶斯模型输出的车道级定位结果。
Figure RE-GDA0003281586050000233
需要注意的是,本实施例提可基于单视频帧进行车道级定位。在实际应用中,可使用上下文信息进行车道级的跟踪,来获得更准确的定位结果。可在此基础上增加如HMM(Hidden Markov Model,隐马尔可夫模型)来跟踪定位信息,获得更准确的定位结果。
在示例性实施例中,还可增加其他观测变量来进行概率计算,观测变量不局限于车道线的类型、颜色、方程。比如,增加左右车道线召回个数对车道定位的概率。又比如,增加识别车道线的数量,由左右两侧各2根,增加至左右两侧各3根及以上,本申请实施例对此不作限定。
从本实施例提供的技术方案中不难看出,本实施例的技术方案在硬件上仅依赖车辆装载的单目摄像头采集的道路图像,无需全景图像,也不依赖其他传感器数据,且不需要高精数据作为支撑,简单易用、落地成本低且精度高。提供了一种高效的车道级定位解决方案,为车道级导航、高级辅助驾驶提供技术先决条件。
下述为本申请装置实施例,可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图9,其示出了本申请一个实施例提供的车道定位装置的框图。该装置具有实现上述车道定位方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是计算机设备,也可以设置在计算机设备中。该装置900可以包括:道路图像采集模块910、车道信息获取模块920、视觉识别模块930、先验信息确定模块940、后验信息确定模块950以及车道定位模块960。
道路图像采集模块910,用于获取目标车辆的道路图像;
车道信息获取模块920,用于获取所述目标车辆所在位置对应的车道信息;
视觉识别模块930,用于对所述道路图像进行视觉识别处理,得到车道线属性信息;
先验信息确定模块940,用于确定与所述车道线属性信息匹配的目标先验信息,所述目标先验信息是指在所述车道线属性信息的条件下预测车道位置的先验概率信息;
后验信息确定模块950,用于基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息;
车道定位模块960,用于根据所述后验概率信息,确定所述目标车辆的车道位置。
在示例性实施例中,所述装置900还包括:先验信息获取模块(图中未示出)。
先验信息获取模块,用于获取先验信息,所述先验信息用于表征车道线的属性与虚拟观测车道之间的关联关系。
所述先验信息确定模块940,还用于:
确定所述先验信息中与所述车道线属性信息匹配的目标先验信息。
在示例性实施例中,所述车道线属性信息包括至少一条车道线的车道线类型和车道线颜色,所述目标先验信息包括所述至少一条车道线各自对应的类型先验概率和颜色先验概率;
所述先验信息确定模块940,包括:类型概率确定单元、颜色概率确定单元以及概率获取单元。
类型概率确定单元,用于对于所述至少一条车道线中的目标车道线,确定所述先验信息中各个虚拟观测车道下所述目标车道线的目标类型对应的类型先验概率,所述类型先验概率是指所述目标车辆在所述虚拟观测车道下,所述目标车道线属于所述目标类型的先验概率。
颜色概率确定单元,用于确定所述先验信息中所述各个虚拟观测车道下所述目标车道线的目标颜色对应的颜色先验概率,所述颜色先验概率是指所述目标车辆在所述虚拟观测车道下,所述目标车道线为所述目标颜色的先验概率。
概率获取单元,用于得到所述至少一条车道线各自对应的类型先验概率和颜色先验概率。
在示例性实施例中,所述车道线属性信息还包括所述至少一条车道线的车道线方程,所述先验信息包括车道线间距先验信息,所述先验信息获取模块,包括:车道线间距确定单元以及间距信息确定单元。
车道线间距确定单元,用于根据至少两条车道线的车道线方程,确定车道线间距信息。
间距信息确定单元,用于基于所述车道线间距信息,确定所述车道线间距先验信息。
在示例性实施例中,所述目标先验信息包括所述至少一条车道线对应的间距先验概率,所述先验信息确定模块940,还包括:间距概率确定单元。
间距概率确定单元,用于在所述车道线间距信息包括第一车道线间距的情况下,确定所述各个虚拟观测车道对应的第一间距先验概率,所述第一车道线间距用于表征所述目标车辆左侧车道线的间距信息,所述第一间距先验概率用于表征所述目标车辆在所述虚拟观测车道下所述第一车道线间距的真实性。
所述间距概率确定单元,还用于在所述车道线间距信息包括第二车道线间距的情况下,确定所述各个虚拟观测车道对应的第二间距先验概率,所述第二车道线间距用于表征所述目标车辆右侧车道线的间距信息,所述第二间距先验概率用于表征所述目标车辆在所述虚拟观测车道下所述第二车道线间距的真实性。
在示例性实施例中,所述先验信息包括车道线的类型观测矩阵、颜色观测矩阵以及间距观测矩阵中至少一种;
其中,所述类型观测矩阵的行对应于车道线类型,所述类型观测矩阵的列对应于所述虚拟观测车道,所述类型观测矩阵包括根据所述虚拟观测车道和所述车道线类型确定的类型先验概率;
所述颜色观测矩阵的行对应于车道线颜色,所述颜色观测矩阵的列对应于所述虚拟观测车道,所述颜色观测矩阵包括根据所述虚拟观测车道和所述车道线颜色确定的颜色先验概率;
所述间距观测矩阵的行对应于车道线间距,所述间距观测矩阵的列对应于所述虚拟观测车道,所述间距观测矩阵包括根据所述虚拟观测车道和所述车道线间距确定的间距先验概率。
在示例性实施例中,所述车道信息包括车道总数量,所述后验概率信息包括所述目标车辆在真实车道上的后验概率,所述后验信息确定模块950,包括:虚拟概率确定单元和后验概率确定单元(图中未示出)。
虚拟概率确定单元,用于基于所述目标先验信息,确定所述目标车辆在所述各个虚拟观测车道上的权重系数,所述权重系数与所述目标车辆位于所述各个虚拟观测车道的概率呈正相关。
后验概率确定单元,用于根据所述车道总数量和所述权重系数,确定所述后验概率。
在示例性实施例中,所述后验概率确定单元,包括:数量关系确定子单元和概率映射子单元。
数量关系确定子单元,用于确定所述车道总数量与所述各个虚拟观测车道的数量之间的数量关系。
概率映射子单元,用于根据所述数量关系,将所述各个虚拟观测车道对应的权重系数,映射至所述真实车道,得到所述后验概率。
在示例性实施例中,所述虚拟观测车道包括第一虚拟车道、第二虚拟车道、第三虚拟车道、第四虚拟车道以及第五虚拟车道,所述概率映射子单元,具体用于:
若所述车道总数量N等于1,则确定所述后验概率1,所述N为大于或者等于1的正整数;
若所述车道总数量N等于2,则基于所述第一虚拟车道的权重系数确定第一真实车道的后验概率,以及基于所述第五虚拟车道的权重系数确定第二真实车道的后验概率;
若所述车道总数量N等于3,则基于所述第一虚拟车道的权重系数确定第一真实车道的后验概率,基于所述第二虚拟车道与所述第四虚拟车道的权重系数和确定第二真实车道的后验概率,以及基于所述第五虚拟车道的权重系数确定第三真实车道的后验概率;
若所述车道总数量N等于4,则基于所述第一虚拟车道的权重系数确定第一真实车道的后验概率,基于所述第二虚拟车道的权重系数确定第二真实车道的后验概率,基于所述第四虚拟车道的权重系数确定第三真实车道的后验概率,以及基于所述第五虚拟车道的权重系数确定第四真实车道的后验概率;
若所述车道总数量等于5,则基于所述第一虚拟车道的权重系数确定第一真实车道的后验概率,基于所述第二虚拟车道的权重系数确定第二真实车道的后验概率,基于所述第三虚拟车道的权重系数确定第三真实车道的后验概率,基于所述第四虚拟车道的权重系数确定第四真实车道的后验概率,以及基于所述第五虚拟车道的权重系数确定第五真实车道的后验概率;
若所述车道总数量N大于或者等于6,则基于所述第一虚拟车道的权重系数确定第一真实车道的后验概率,基于所述第二虚拟车道的权重系数确定第二真实车道的后验概率,基于所述第四虚拟车道的权重系数确定第N-1个真实车道的后验概率,基于所述第五虚拟车道的权重系数确定第N个真实车道的后验概率,以及基于所述第三虚拟车道的权重系数确定剩余真实车道的后验概率。
综上所述,本申请实施例提供的技术方案,通过对车辆采集到的道路图像进行视觉识别,得到道路图像中车道线识别结果,无需依赖其他传感器数据,然后便可从车道线的先验信息中确定出与车道线识别结果相关,且是在该属性识别结果的条件下能够预测车道位置的先验概率知识,仅需将上述先验概率知识与车辆所在道路的车道信息相结合,无需依赖高精度的地图数据和复杂的车载设备,即可确定车辆在真实车道上的后验概率,进而定位出车辆所在车道,也无需对道路进行改造,有效降低方案实施难度,节省方案实施成本,提升了车道定位的效率。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图10,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是车载计算终端。该计算机设备用于实施上述实施例中提供的车道定位方法。具体来讲:
通常,计算机设备1000包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、 FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器 1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集,且经配置以由一个或者一个以上处理器执行,以实现上述车道定位方法。
在一些实施例中,计算机设备1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
本领域技术人员可以理解,图10中示出的结构并不构成对计算机设备1000 的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述车道定位方法。
可选地,该计算机可读存储介质可以包括:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取记忆体)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述车道定位方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种车道定位方法,其特征在于,所述方法包括:
获取目标车辆的道路图像;
获取所述目标车辆所在位置对应的车道信息;
对所述道路图像进行视觉识别处理,得到车道线属性信息;
确定与所述车道线属性信息匹配的目标先验信息,所述目标先验信息是指在所述车道线属性信息的条件下预测车道位置的先验概率信息;
基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息;
根据所述后验概率信息,确定所述目标车辆的车道位置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取先验信息,所述先验信息用于表征车道线的属性与虚拟观测车道之间的关联关系;
所述确定与所述车道线属性信息匹配的目标先验信息,包括:
确定所述先验信息中与所述车道线属性信息匹配的目标先验信息。
3.根据权利要求2所述的方法,其特征在于,所述车道线属性信息包括至少一条车道线的车道线类型和车道线颜色,所述目标先验信息包括所述至少一条车道线各自对应的类型先验概率和颜色先验概率;
所述确定所述先验信息中与所述车道线属性信息匹配的目标先验信息,包括:
对于所述至少一条车道线中的目标车道线,确定所述先验信息中各个虚拟观测车道下所述目标车道线的目标类型对应的类型先验概率,所述类型先验概率是指所述目标车辆在所述虚拟观测车道下,所述目标车道线属于所述目标类型的先验概率;
确定所述先验信息中所述各个虚拟观测车道下所述目标车道线的目标颜色对应的颜色先验概率,所述颜色先验概率是指所述目标车辆在所述虚拟观测车道下,所述目标车道线为所述目标颜色的先验概率;
得到所述至少一条车道线各自对应的类型先验概率和颜色先验概率。
4.根据权利要求2所述的方法,其特征在于,所述车道线属性信息还包括所述至少一条车道线的车道线方程,所述先验信息包括车道线间距先验信息,所述获取先验信息,包括:
根据至少两条车道线的车道线方程,确定车道线间距信息;
基于所述车道线间距信息,确定所述车道线间距先验信息。
5.根据权利要求4所述的方法,其特征在于,所述目标先验信息包括所述至少一条车道线对应的间距先验概率,所述确定所述先验信息中与所述车道线属性信息匹配的目标先验信息,包括:
在所述车道线间距信息包括第一车道线间距的情况下,确定所述各个虚拟观测车道对应的第一间距先验概率,所述第一车道线间距用于表征所述目标车辆左侧车道线的间距信息,所述第一间距先验概率用于表征所述目标车辆在所述虚拟观测车道下所述第一车道线间距的真实性;
在所述车道线间距信息包括第二车道线间距的情况下,确定所述各个虚拟观测车道对应的第二间距先验概率,所述第二车道线间距用于表征所述目标车辆右侧车道线的间距信息,所述第二间距先验概率用于表征所述目标车辆在所述虚拟观测车道下所述第二车道线间距的真实性。
6.根据权利要求2至5任一项所述的方法,其特征在于,所述先验信息包括车道线的类型观测矩阵、颜色观测矩阵以及间距观测矩阵中至少一种;
其中,所述类型观测矩阵的行对应于车道线类型,所述类型观测矩阵的列对应于所述虚拟观测车道,所述类型观测矩阵包括根据所述虚拟观测车道和所述车道线类型确定的类型先验概率;
所述颜色观测矩阵的行对应于车道线颜色,所述颜色观测矩阵的列对应于所述虚拟观测车道,所述颜色观测矩阵包括根据所述虚拟观测车道和所述车道线颜色确定的颜色先验概率;
所述间距观测矩阵的行对应于车道线间距,所述间距观测矩阵的列对应于所述虚拟观测车道,所述间距观测矩阵包括根据所述虚拟观测车道和所述车道线间距确定的间距先验概率。
7.根据权利要求6所述的方法,其特征在于,所述车道信息包括车道总数量,所述后验概率信息包括所述目标车辆在真实车道上的后验概率,所述基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息,包括:
基于所述目标先验信息,确定所述目标车辆在所述各个虚拟观测车道上的权重系数,所述权重系数与所述目标车辆位于所述各个虚拟观测车道的概率呈正相关;
根据所述车道总数量和所述权重系数,确定所述后验概率。
8.根据权利要求7所述的方法,其特征在于,所述根据所述车道总数量和所述权重系数,确定所述后验概率,包括:
确定所述车道总数量与所述各个虚拟观测车道的数量之间的数量关系;
根据所述数量关系,将所述各个虚拟观测车道对应的权重系数,映射至所述真实车道,得到所述后验概率。
9.一种车道定位装置,其特征在于,所述装置包括:
道路图像采集模块,用于获取目标车辆的道路图像;
车道信息获取模块,用于获取所述目标车辆所在位置对应的车道信息;
视觉识别模块,用于对所述道路图像进行视觉识别处理,得到车道线属性信息;
先验信息确定模块,用于确定与所述车道线属性信息匹配的目标先验信息,所述目标先验信息是指在所述车道线属性信息的条件下预测车道位置的先验概率信息;
后验信息确定模块,用于基于所述车道信息和所述目标先验信息,确定所述目标车辆的后验概率信息;
车道定位模块,用于根据所述后验概率信息,确定所述目标车辆的车道位置。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的车道定位方法。
CN202110919026.6A 2021-08-11 2021-08-11 车道定位方法、装置及设备 Pending CN114299464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110919026.6A CN114299464A (zh) 2021-08-11 2021-08-11 车道定位方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110919026.6A CN114299464A (zh) 2021-08-11 2021-08-11 车道定位方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114299464A true CN114299464A (zh) 2022-04-08

Family

ID=80964175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110919026.6A Pending CN114299464A (zh) 2021-08-11 2021-08-11 车道定位方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114299464A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637884A (zh) * 2022-05-16 2022-06-17 深圳前海中电慧安科技有限公司 一种电像计算时空轨迹与道路网的匹配方法、装置及设备
CN114821531A (zh) * 2022-04-25 2022-07-29 广州优创电子有限公司 基于电子外后视镜adas的车道线识别图像显示系统
CN115326079A (zh) * 2022-10-11 2022-11-11 禾多科技(北京)有限公司 车辆车道级定位方法、装置、设备和计算机可读介质
CN115585816A (zh) * 2022-11-23 2023-01-10 北京百度网讯科技有限公司 车道级地图匹配方法和装置
CN116086469A (zh) * 2023-01-16 2023-05-09 禾多科技(北京)有限公司 一种车道定位方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821531A (zh) * 2022-04-25 2022-07-29 广州优创电子有限公司 基于电子外后视镜adas的车道线识别图像显示系统
CN114637884A (zh) * 2022-05-16 2022-06-17 深圳前海中电慧安科技有限公司 一种电像计算时空轨迹与道路网的匹配方法、装置及设备
CN114637884B (zh) * 2022-05-16 2022-08-23 深圳前海中电慧安科技有限公司 一种电像计算时空轨迹与道路网的匹配方法、装置及设备
CN115326079A (zh) * 2022-10-11 2022-11-11 禾多科技(北京)有限公司 车辆车道级定位方法、装置、设备和计算机可读介质
CN115326079B (zh) * 2022-10-11 2023-01-13 禾多科技(北京)有限公司 车辆车道级定位方法、装置、设备和计算机可读介质
CN115585816A (zh) * 2022-11-23 2023-01-10 北京百度网讯科技有限公司 车道级地图匹配方法和装置
CN116086469A (zh) * 2023-01-16 2023-05-09 禾多科技(北京)有限公司 一种车道定位方法及装置
CN116086469B (zh) * 2023-01-16 2023-10-24 禾多科技(北京)有限公司 一种车道定位方法及装置

Similar Documents

Publication Publication Date Title
CN114299464A (zh) 车道定位方法、装置及设备
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
EP4152204A1 (en) Lane line detection method, and related apparatus
CN111311675B (zh) 车辆定位方法、装置、设备和存储介质
CN113916242B (zh) 车道定位方法和装置、存储介质及电子设备
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116518960B (zh) 路网更新方法、装置、电子设备和存储介质
Gressenbuch et al. Mona: The munich motion dataset of natural driving
CN113804182B (zh) 一种基于信息融合的栅格地图创建方法
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN110843772B (zh) 潜在碰撞的相对方向判断方法、装置、设备及存储介质
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
CN112651991A (zh) 视觉定位方法、装置及计算机系统
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN114802261A (zh) 泊车控制方法、障碍物识别模型训练方法、装置
CN114280583A (zh) 无gps信号下激光雷达定位精度验证方法及系统
CN114283397A (zh) 全局重定位方法、装置、设备及存储介质
Bag Deep learning localization for self-driving cars
CN114556419A (zh) 三维点云分割方法和装置、可移动平台
CN112732446A (zh) 一种任务处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination