CN111832365A - 车道标记确定方法及装置 - Google Patents
车道标记确定方法及装置 Download PDFInfo
- Publication number
- CN111832365A CN111832365A CN201910322994.1A CN201910322994A CN111832365A CN 111832365 A CN111832365 A CN 111832365A CN 201910322994 A CN201910322994 A CN 201910322994A CN 111832365 A CN111832365 A CN 111832365A
- Authority
- CN
- China
- Prior art keywords
- lane
- reference object
- road
- data
- characteristic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000003550 marker Substances 0.000 claims abstract description 62
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000007613 environmental effect Effects 0.000 claims description 48
- 230000003068 static effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 2
- 238000012549 training Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 5
- 238000002955 isolation Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明一个或多个实施例公开车道标记确定方法与装置。该方法包括:获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息;对所述特征数据进行处理以得到该当前行驶道路的辅助标记线;将该辅助标记线多点采样数据输入到预测模型来预测该当前行驶道路上的车道标记。本发明的车道标记确定装置可应用于自动驾驶系统。
Description
技术领域
本发明涉及自动驾驶领域,尤其是涉及车道预测技术。
背景技术
随着人工智能与网络技术的发展,汽车自动驾驶的实现成为可能。而在自动驾驶技术中所要面对的一个问题是对行驶道路的规划,这不仅涉及行驶道路即路线的选择,还涉及在所选择道路上具体车道的选择行驶。通常车辆是基于车道上的车道标记即分道线或借助于高精度地图来识别车道的。然而,当车道标记缺失或车载可视系统可法看清车道标记或高精度地图不能提供车道标记时,则车辆无法识别车道,因此可能导致车辆无法在安全的车道上行驶,由此带来行驶过程中的安全隐患。
发明内容
本发明希望提供一种车道标记预测技术,可以在车道标记缺失或高精度地图不能提供车道标记时,通过预测车道标记来确定正常的车道位置。
按照本发明的一个方面,提供一种确定车道标记方法,包括:获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息;对所述特征数据进行处理以得到对应于该当前行驶道路的至少一段路段的辅助标记线;将对该辅助标记线多点采样的位置数据输入到预测模型来预测该当前行驶道路上的至少一段路段的车道标记。
按照本发明的一个方面,提供一种车道标记确定装置,包括:参照物获取模块,配置为获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息;辅助标记确定模块,配置为对所述特征数据进行处理以得到对应于该当前行驶道路的至少一段路段的辅助标记线,以及车道标记确定模块,配置为将该辅助标记线的多点采样的位置数据输入到预测模型来预测该当前行驶道路上的至少一段路段的车道标记。
根据本发明,还可以实现一种自动驾驶系统,其利用本发明的车道标记确定装置,在车载控制单元的控制下,可基于车道标记确定装置所确定的车道标记来选择当前行驶车道。
本发明还提供一种车道标记确定装置,包括:存储有指令的存储器;控制器,通过执行所述指令来实现根据本发明的方法。
根据本发明,还提供一种机器可读介质,其上存储有机器可读指令,其中该指令在由所述机器执行时使该机器执行根据本发明的方法。
附图说明
图1示例性示出一个道路街景示意图;
图2A与2B示出根据本发明实施例的车道标记确定装置的框图;
图3A-3E示出了根据本发明实施例的车道标记预测处理的各阶段的示意图;
图4示出了根据本发明一个实施例的模型训练系统框图;
图5示出了根据本发明一个实施例的模型训练的示意图;
图6示出了根据本发明一个实施例的车道标记确定方法流程图;
图7示出了根据本发明另一个实施例的车道标记确定方法流程图;
图8示出了另一实施例的车道确定装置框图。
具体实施方式
下面结合附图对本发明实施例提供的装置与方法及进行详细说明。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本公开中,“行驶道路”是指当前行驶路线,该路线包含至少一条或以上的车道,车辆的驾驶员或自动驾驶系统会在选定的其中一条车道上行驶。这里,每条车道由该车道二侧的车道标记限定,也可以进一步由二侧的车道标记所决定的中心线来表示该车道。
随着城市与交通建设的发展,道路及其周边配套设施越来越标准化,其中道路标准化包括道路规格例如车道宽度的标准化与车道标记即分道线的设置。而配套设施的标准化包括在道路上设置隔离护栏、隔离带及交通标牌等。此外,配套设施还包括对道路美化,例如栽种绿色隔离带、树木等。通常这些配套设施与道路之间按照一定的要求布置,这些要求包括相对距离、间隔等。如图1示出一个快速单向道路的示意图。如图所示,该道路包括共三条行车道,这三条行车道分别以车道标记线(或车道线)划分。此外在最内侧车道的标记B-B与逆向行车道之间设置了隔离防护栏,在最外侧车道的标记A-A之外也设置了防护栏。此外,如图所示,最外侧车道的车道标记线A-A与防护栏之间以预定的距离间隔开,并且在防护栏之外还设置了“G108入口”标牌、树木等。这些固定设置的防护栏等相对于车道标记的距离是固定不变的,构成了道路的周边环境参照物,从而依据这些信息判断车道标记成为可能。本发明正是利用这些配套设施,在丢失车道线标记或车辆无法辨识车道标记的情况下,通过参照这些配套设施,来预测车道标记,从而保证车辆仍沿着正确的车道行驶。
图2A示出了根据本发明的一个实施例的车道标记确定装置100的框图。如图所示,车道标记确定装置100包括参照物获取模块200、辅助标记确定模块300以及车道标记确定模块400。参照物获取模块200设计成获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的当前车辆的预定空间范围内的参照物,该特征包括但不限于该环境参照物的位置信息。作为一个示例,该预定空间范围包括当前车辆前方从左至右一定角度范围的扫描空间。仍以图1所示为例,在该预定空间范围内,多点参照物不仅包括左侧的防护栏、右侧的防护栏,还包括右上方的“G108入口”标牌等,甚至还可包括远处的绿化树。除了防护栏,不难理解,环境参照物还可能包括恰好出现在该预定空间范围内的正在行驶的其它移动车辆(图中未示出)。为便于描述,在以下说明中,将防护栏等参照物简记为静态参照物,而将运动车辆等移动对象称为动态参照物或运动对象。
辅助标记确定模块300对参照物获取模块200获取的特征数据进行处理以得到对应于该当前行驶道路的一段路段RS的辅助标记线。该辅助标记线是由参照物导出的虚拟参考线,利用该虚拟参考线可预测当前道路的车道标记。具体地,车道标记确定模块400利用一个事先经过训练的预测模型PM,将从辅助标记线的多点采样得到的位置数据输入到该预测模型PM来预测该当前行驶道路上路段RS的车道标记。
图2B示出按照本发明的加一个实施例的车道确定装置100的结构框图。如图所示,参照物获取模块200包括收发信机单元202以及特征确定单元204。收发信机单元202可以是位于车辆内的雷达发射与接收机,其中发射机用于以预定的一辐射角度向预定范围内发射雷达波探测信号,用于探测预定空间范围内的环境参照物,同时利用接收机接收来自环境参照物的雷达反射信号,显然基于该反射信号可确定环境参照物的特征,该特征包括但不限于该环境参照物的位置。以图1为例,为简明起见,这里假定在接收机接收到的反射信号中,仅包括有左侧防护栏的反射信号以及右侧防护栏的反射信号以及前方行驶车辆(图中未示出)的反射信号。
在接收到雷达反射信号后,特征确定单元204利用预定的算法对反射信号进行分析,从而确定出参照物的位置特征,例如当前车辆与参照物的相对位置,包括相对距离、方位。这里可采用现有技术已知的任何算法来实现参照物的位置特征的分析与确定。随后,特征确定单元204基于当前车辆的地理位置数据(可从车辆内置的定位系统例如GPS获取)及前面所确定的各参照物的相对位置来确定各参照物的实际物理位置。仍以图1为例,特征确定单元204可以确定出左侧防护栏、右侧防护栏及当前行驶道路上可能出现的其它车辆等移动对象的位置特征数据集P,为便于描述,将对应于左侧防护栏的特征数据集记为PL,将对应于右侧防护栏的特征数据集记为PR,将对应于移动对象的特征数据集记为PM,即P={PL,PM,PR}。
按照本发明一个实施例,辅助标记确定模块300包括滤波单元302、聚类模块304以及拟合模块306。如前所述,由于在当前行驶道路上出现的其它车辆等移动对象对于确定车道标记没有帮助,是一种噪声,因此,利用滤波单元302对特征数据集P执行速度滤波以消除所获取的位置特征数据集P中来自周边移动车辆等运动对象的具有速度特征的噪声数据集PM,从而得到静态参照物的特征数据集P′,即P′={PL,PR}。图3A示出了代表当前道路上静态参照物的多个特征点的数据集PL,PR。
聚类模块304对静态参照物的特征数据集P′执行聚类处理,以得到多个类及每一类的中心位置数据。可以采用现有技术中已知的任何聚类算法来实施聚类处理。例如通过欧几里得距离算法,可以将当前行驶道路上路段RS的特征数据集PL聚类成m个类,即m个特征数据子集,如图3B所示。然后,利用每个特征数据子集中的特征数据,确定该子集的中心点,从而将每一类的数据子集聚成代表该类的一个点。为便于说明,以p1,p2,…pm表示特征数据集PL中m个中心点的位置,且pi的位置由(xi,yi)表示,i=1,2,…m。类似地,将特征数据集PR聚类成n个类,即n个特征数据子集,如图3B所示。然后,利用每个特征数据子集中的特征数据,确定该子集的中心点,从而将每一类的数据子集聚成代表该类的一个点。为便于说明,以p1′,p2′,…pn′表示特征数据集PR中n个中心点的位置,且pi′的位置由(xi′,yi′)表示,i=1,2,…n。这里需要说明的是,经聚类模块304处理得到的特征数据集PL聚类数目m和特征数据集PL聚类数目n可以是相同,也可以不同,且完全由聚类算法来确定。
对于左侧参照物特征数据集PL,拟合模块306通过对m个类的中心位置p1,p2,…pm进行线路拟合以得到辅助标记线,该标记线可以很好地拟合这些位置点的变化规律。考虑到实际车道并不总是笔直的,例如也存在着弯道可能,因此参考物位置也会相应地随着车道变化。为了更好地拟合车道变化,按照一个实施例,采用一个标准二阶函数来对特征数据集PL中点阵进行拟合,该标准函数表示为:y=k2*x2+k1*x+k0。由此,可通过PL中的数据{(x1,y1),(x2,y2)…(xm,ym)}中的至少一部分数据,通过训练该标准二阶函数以确定各参数k2、k1、k0,可得到反映该路段RS上环境参照物变化规律的辅助标记线LL。不难理解,对于一条相对笔直的车道或者说防护栏,在路段RS上,该辅助标记线为一个线性函数,如图3C所示,即y=k1*x+k0,这里y代表纵向坐标,而x代表横向坐标。
类似地,采用标准函数y=k2′*x2+k1′*x+k0′来对特征数据集PR中点阵进行拟合,通过PR中的{(x1′,y1′),(x2′,y2′)…(xn′,yn′)}中的至少一部分数据通过训练该标准函数以确定各参数k2′、k1′、k0′,从而得到反映该段预定距离D上右侧环境参照物变化规律的辅助标记线LR。图3C示出了基于特征数据集p′拟合出的参照物的二个辅助标记线。不难理解,由于实际中辅助标记线LR与LL的曲线特性基本相同,因此在一个简化方案中,也可以用同一条曲线或直线函数来表征LR与LL。
车道标记确定模块400分别从辅助标记线LR、LL上采样N对相对点,这里的每对“相对点”是指具有相同的纵向坐标y的点,即每对“相对点”位于同一水平线上,这里将每对相对点表示为[(yi,xi),(yi,xi′)]。这里需要指出的是,这里选择的N对相对点可以是针对路段RS拟合得到的辅助标记线LR、LL上分别任意采样的N个点。
然后,车道标记确定模块400将该N对采样点数据输入到经过训练的预测模型PM来预测该当前行驶道路上的车道标记,该车道标记可以是当前行驶道路上最左侧或最右侧的车道标记,例如图1中AA所示的最右侧标记的位置或BB所示的最右侧标记线。本发明所利用的预测模型PM是基于大量的实际测量数据,通过学习环境参照物与车道位置或标记的关系而训练得到的。在一个实施例中,经过训练的预测模型PM是一个线性模型,即X=A·θ。式中,输出X表示实际车道标记的横向坐标,θ是经过训练得到的线性系数矩阵,可表示如下:
其中d1表示左侧辅助标记线与最左侧车道标记的距离,而d2表示右侧辅助标记线与最右侧车道标记的距离,d1与d2的值经过训练得到。A是来自辅助标记线LR与LL的采样点横向坐标形成的矩阵,其中A=0.5*[(x+x′)-q*d,1,-1],其中x代表LL上的采样点横向坐标,x′代表LR上的采样点横向坐标。q表示当前行驶道路上车道数量,可以基于左、右标记x,x′估算出来,例如q=(x′-x-d2)/d,而d表示每条车道的宽度,通常车道宽度d为国家交通规定默认值d0。在本发明另一实施例中,基于当前车辆所在位置所处的行驶道路,当无论是离线还是在线地图可用时,当前行驶道路上车道数量q也是可以从地图直接得到的,记为q0(这种情况例如发生在车道标记缺失或自动驾驶车辆由于各种原因无法‘看到’车道标记线,但地图仍是可用的)。
由此,对于辅助标记线LR与LL上的任意二个水平位置上的相对点,所对应的实际车道线上的点可以由该线性模型PM确定。如图3D所示,其中最外侧的二个实线代表辅助标记线LR与LL。具体地,假定在该路段RS上从每条辅助标记线LR与LL采样了t个点数据,即在辅助标记线LL上采样了具有位置坐标(x1,y1),(x2,y2)…(xt,yt)的t个点,而在辅助标记线LR上采样了具有位置坐标(x1′,y1),(x2′,y2)…(xt′,yt)的t个点,则最左侧①号车道标记的水平位置坐标X1可以由下式确定:
X1 1=A1·θ,其中A1=0.5*[(x1+x1′)-q*d,1,-1]
X1 2=A2·θ,其中A2=0.5*[(x2+x2′)-q*d,1,-1]
……
X1 t=At·θ,其中At=0.5*[(xt+xt′)-q*d,1,-1]
由此可预测出在该路段RS上①号车道标记线的相应的点坐标位置为:(X1 1,y1),(X1 2,y2)…(X1 t,yt),这些点构成了最左侧①号车道标记线,图3D中标记①所指示的点划线代表预测的最左侧车道标记。
在确定了最左侧车道标记线后,可以相应地预测出任一车道的二侧标记线上的对应点。例如对从左往右的任一车道i,该第i条车道的二侧车道标记上对应点的水平坐标可表示为:
Xi,左=X1+(i-1)*d
Xi,右=X1+i*d。
如图3E所示,示出了基于上述算法可利用最左侧车道标记计算其它车道标记的示意图,如标记②③④所指示的点划线所示,其中标号④代表最右侧车道标记线。
在上述实施例中,是利用特征数据首先对最左侧车道标记预测为例予以说明的,不难理解,也可以利用上述线性模型先对最右侧车道标记进行预测,只是此时,A=0.5*[(x+x′)+q*d,1,-1]。由此,仍如图3E所示,在首先确定了最右侧车道标记线的水平坐标X4后,可以相应地预测出任一车道的二侧标记线上的对应点。例如对从右往左的任一车道i,该第i条车道的二侧车道标记上对应点的水平坐标可表示为:
Xi,右=X4-(i-1)*d
Xi,左=X4-i*d。
这里需要指出的是,由于行驶道路的走向并不是一成不变的,因此,这里所采用的线性预测模型X=A·θ也可以是随着路段而变化的,并且对各路段相适配的模型参数可以存储在车辆自身的存储器中,也可以在线获取。按照本发明一个实施例,当车道标记确定模块400在调用预测模型PM时,可依据当前车辆的位置(例如通过GPS等定位系统得知),而获取当前行驶路段RSi信息,从而可以本地或在线从远程服务器或云端获取与当前行驶路段RSi对应的线性模型参数θi,从而利用匹配的模型X=A·θi对辅助标记线数据进行处理以准确地预测当前行驶路段RSi实际车道标记。
在上述实施例中,是以线性模型X=A·θ为例描述了利用辅助标记线上采样点实现对实际车道标记的预测,但本发明不限于线性模型,还可以采用神经网络模型实现,该神经网络模型通过学习环境参照物与车道位置或标记的关系而训练得到的,优选地该模型为循环神经网络RNN模型。在利用神经模型时,可以将经过聚类处理的数据直接输入到RNN模型,或者将拟合处理得到的辅助标记线的采样点数据输入给RNN模型,以生成实际车道线的位置输出。按照本发明的一个实施例,RNN模型可以被训练为输出多个车道的标记位置。
在另一实施例中,为了更好地区分和利用不同的环境参照物,可利用每个参考物返回的信号模式的差异来进行预测。例如,环境参照物是周边的树而不是防护栏,这些信息为确定车道标记提供了有价值的参考。因此在进行车道标记预测时,除了环境参照物的物理位置信息之外,还可以利用特征确定单元204生成环境参照物的信号模式特征,例如参照物的雷达图像特征。由此,车道标记确定模块400可将环境参照物的信号模式特征结合位置信息输入到经过训练的神经网络模型RNN,从而实现预测车道标记。
图4示出了按照本发明训练预测模型PM的系统方框图。训练系统500包括一个高精度地图数据库502、云数据存储装置504以及训练模块506。地图数据库502存储有大量例如一个或多个城市的M条交通道路及每条车道的具体地图信息,包括行驶道路上车道的数量、每条车道的宽度、车道标记尤其是最外侧与最内侧车道的车道标记的特理位置信息。
云数据存储装置504记录有上述M条道路的沿途环境参照物的特征数据,该特征数据也是基于采用图2所示的收发信机202及特征确定单元204通过对沿途的环境参照物进行采集与处理得到的。这里需要注意的是,在云数据存储装置504存储的特征数据是经过速度滤波后消除了运动对象的具有速度特征的噪声数据的静态参照物的特征数据P′。
按照一个实施例,训练模块506可按照不同的路段RSi来训练匹配的预测模型PM。因此对于选定的行驶路段RSi,从云数据存储装置504上读取与该行驶路段RSi对应的特征数据集P′。然后训练模块506利用聚类算法对静态参照物的特征数据P′执行聚类处理,以得到多个类及每一类的中心位置数据,例如可以将当前行驶路段上的左侧环境参照物的特征数据PL′聚类成m个类,即m个特征数据子集。然后,利用每个特征数据子集中的特征数据,确定该子集的中心点,从而将每一类的数据子集聚成代表该类的一个点。为便于说明,以p1,p2,…pm表示特征数据集PL中m个中心点的位置,且pi的位置由(xi,yi)表示,i=1,2,…m。类似地,将右侧参照物的特征数据集PR聚类成n个类,即n个特征数据子集。然后,利用每个特征数据子集中的特征数据,确定该子集的中心点。从而将每一类的数据子集聚成代表该类的一个点。为便于说明,以p1′,p2′,…pn′表示特征数据集PR中n个中心点的位置,且pi′的位置由(xi′,yi′)表示,i=1,2,…n。
对于左侧参照物特征数据集PL,训练模块506通过对m个类的中心位置p1,p2,…pm进行线路拟合以得到辅助标记线,该标记线可以很好地拟合这些位置数据的变化规律。按照一个实施例,采用一个标准二阶函数来对特征数据集PL中点阵进行拟合,该标准函数表示为:y=k2*x2+k1*x+k0。由此,可通过PL中的数据{(x1,y2),(x2,y2)…(xm,ym)}中的至少一部分数据,通过训练该标准函数以确定各参数k2、k1、k0,可得到反映该路段RSi上环境参照物变化规律的辅助标记线LL。不难理解,对于一条相对笔直的车道或者说防护栏,在一段预定距离上,该辅助标记线为一个线性函数,即y=k1*x+k0。
类似地,采用标准函数y=k2′*x2+k1′*x+k0′来对特征数据集PR中点阵进行拟合,通过PR中的{(x1′,y1′),(x2′,y2′)…(xn′,yn′)}中的至少一部分数据通过训练该标准函数以确定各参数k2′、k1′、k0′,从而得到反映该路段RSi上右侧环境参照物变化规律的辅助标记线LR。图5示出基于雷达云数据存储装置504中的特征数据拟合得到的辅助标记线LL与LR,如图中两侧实线所示。图5标号①②③④所示点划线为从地图数据库502得到的实际车道标记线。
训练模块506随后分别从辅助标记线LL、LR上采样N对相对点,这里将每对相对点表示为[(yi,xi),(yi,xi′)],即每对相对点具有相同的纵向坐标。这里需要指出的是,这里选择的N对相对点可以是针对路段RSi拟合得到的辅助标记线LR、LL上分别任意采样的N个点。
然后,训练模块506从地图数据库504中提取实际车道线例如最左侧①号车道线上与上述N对相对点具有相同纵坐标的各点。同时,训练模块506还从地图数据库504中的地图数据确定当前行驶道路的实际车道宽度d0及车道数量q0。这里假定提取的最左侧①号车道标记线的各点的坐标为(yi,X1 i),则在每个相对点[(yi,xi),(yi,xi′)]所在的水平方向上,最左侧车道标记点(yi,X1 i)与辅助线LL上的点(yi,xi)之间的距离d1以及最右侧车道标记点(yi,X4 i)与辅助线LR上的点(yi,xi′)之间的距离d2可分别确定如下:
在本发明的另一实施例中,也可以组合利用最左侧①号车道标记线的各点的坐标为(yi,X1 i)与最右侧④号车道标记线的各点的坐标为(yi,X4 i)来确定d1与d2:
由此,训练模块506确定线性模型X=A·θ中的线性系数θ如下:
同样,训练模块506可以基于地图数据库502与存储装置504中的雷达云数据为RNN神经网络的训练生成训练样本。具体地,基于存储装置504,训练模块506可获得环境参照物的数据特征,以x表示。仍以图1为例,该特征包括左侧防护栏的位置坐标和/或信号模式特征,以及右侧防护栏的位置坐标和/或信号模式特征。如前所述,在一个优选示例中,存储装置504存储的特征数据是经过速度滤波处理后的数据。
同时,基于地图图数据库502,训练模块506可获取与样本特征中的静态参照物中的各点处于相同水平位置的车道特征数据,以y表示,其代表每一个样本的标签,标签y可以包括该地段行驶道路上车道的数量、包含最内侧车道的内侧标记以及最外侧车道的外侧标记在内的各车道标记的物理位置数据。在另一简化实施例中,该标签y也可以仅包含最外侧车道的外侧标记的物理位置。
由此,训练模块506基于存储装置504以及地图数据库502,可产生对应于不同道路上以及同一道路上不同地段RS的大量样本,形成样本集{x,y}。随后,训练模块506利用样本集{x,y}来训练一个RNN神经网络以得到一个RNN神经网络预测模型PM。在本发明的另一实施例中,训练模块506可以仅使用样本集{x,y}的一部分来训练RNN神经网络模型PM,而利用样本集的另一部分对所训练的RNN预测模型进行验证。
图6示出根据本发明一个实施例的车道标记预测流程图。在步骤602,标记确定装置获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息。在步骤604,对所述特征数据进行处理以得到该当前行驶道路的辅助标记线,该辅助标记线表示的是由环境参照物形成的一条虚拟线,可用于定位车道标记线的位置。该辅助标记线是通过对环境参照物的特征点进行线路拟合得到的。在步骤606,从辅助标记线上抽取多个采样点,并将这些采样点的位置特征数据输入到预测模型来预测该当前行驶道路上的车道标记。
图7示出根据一个优选实施例的车道标记预测流程图。如图所示,在步骤702,以预定的空间辐射角度在预定范围内发射探测信号以探测该预定范围内的环境参照物,同时接收来自环境参照物的响应信号,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物。
在步骤704,在接收到响应信号后,利用预定的算法对响应信号进行分析,从而确定出参照物的特征,该特征包括该环境参照物的信号模式以及参照物与当前行驶车辆的相对距离。
在步骤706,基于车辆的当前地理位置数据(例如GPS坐标)及在步骤704所确定的各参照物的相对距离,来确定各参照物反射点的物理位置数据。
在步骤708,对各参照物反射点的物理位置数据执行预处理,包括:对物理位置数据执行速度滤波以消除来自运动对象的数据,以得到静态参照物的位置数据。然后,对得到静态参照物的特征数据执行聚类处理,以得到多个类中每一类的中心位置数据;最后,对多个类的中心位置数据进行线路拟合以得到反映环境参照物的位置的辅助标记线。
在步骤710,将辅助标记线上的多点采样数据集输入到经过训练的预测模型PM来预测当前行驶道路上最内侧或最外侧的车道标记位置;从而可基于最内侧或最外侧车道标记位置以及车道宽度计算当前行驶道上其它车道的车道标记位置。在本发明一个实施例中,经过训练的预测模型PM是基于车辆的当前地理位置所处的路段RS而选择的。
在一个示例中,可以将多点采样数据集输入到一经过训练的线性模型来预测车道标记的位置。在本发明的另一实施例中,还可以进一步将多点采样数据集以及参照物的信号模式特征共同输入到一经过训练的RNN神经网络预测模型来预测车道标记的位置。
在本发明的一个应用中,车道标记确定装置100可应用于自动驾驶系统中,其中自动驾驶系统中的车载控制单元基于车道预测装置100提供的车道标记信息,结合当前的行驶条件而选择相应的行驶车道。这里行驶条件包括车流信息、设计的路线等。
这里需要指出的是,虽然结合上述优选实施例描述了本发明,但显然本发明不限于此。例如,图8示出根据本发明另一实施例的车道标记确定装置100,包括收发信机802、控制单元804以及存储器806。在存储器806中存储有可实现本发明的车道预测过程的程序或指令,控制单元804执行该程序或指令来控制收发信机802向预定范围内发射雷达探测信号并接收反射信号,随后控制单元804对反射信号进行分析以进行车道预测。该车道预测处理包括获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征包括所述环境参照物的位置信息;对所述特征进行处理以得到该当前行驶道路的辅助标记线;将该辅助标记线的多点采样数据输入到预测模型来预测该当前行驶道路上的车道标记。
此外,不难理解,图2A、2B、4中的各模块、单元可以包括处理器、电子设备、硬件设备、电子部件、逻辑电路、存储器、软件代码、固件代码等,或者它们的任意组合。技术人员还将认识到的是,结合本文公开内容描述的各种说明性的逻辑方框、模块和方法步骤可以实现为电子硬件、计算机软件或二者的组合。以软件实现为例,作为一个逻辑意义上的设备,是通过处理器将非易失性存储器中对应的计算机程序指令读取内存中运行形成的。
本发明另一实施例提供的机器可读介质上存储有机器可读指令,该机器可读指令在被计算机执行时,使计算机执行本文公开的前述的任一种方法。具体地,可以提供配有机器可读介质的系统或者装置,在该机器可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统的计算机读出并执行存储在该机器可读介质中的机器可读指令。在这种情况下,从机器可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的机器可读介质构成了本发明的一部分。
上文通过附图和优选实施例对本发明进行了详细展示和说明,然而本发明不限于这些已揭示的实施例,基与上述多个实施例本领域技术人员可以知晓,可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例,这些实施例也在本发明的保护范围之内。
Claims (17)
1.一种确定车道标记方法,包括:
获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息;
对所述特征数据进行处理以得到对应于该当前行驶道路的至少一段路段的辅助标记线;
将对该辅助标记线多点采样的位置数据输入到预测模型来预测该当前行驶道路上的至少一段路段的车道标记。
2.如权利要求1的方法,其中,所述辅助标记线位于所述当前行驶道路的左侧或右侧,
其中,预测所述车道标记包括:
将所述辅助标记线的多点采样位置数据集输入到所述预测模型来预测所述行驶道路上最内侧或最外侧的车道标记位置;
基于所述最内侧或最外侧车道标记位置以及车道宽度计算当前行驶道上其它车道的车道标记位置。
3.如权利要求2的方法,其中所述预测模型取决于所述行驶道路的路段地理位置,所述方法进一步包括:
选择与所述路段地理位置匹配的所述预测模型。
4.如权利要求3的方法,其中所述预测模型为经过训练的循环神经网络(RNN)模型或线性模型。
5.如权利要求1-4之一的方法,其中,对所述特征数据进行处理以得到对应于该当前行驶道路的至少一段路段的辅助标记线进一步包括:
对所述特征数据执行速度滤波以消除所获取的特征数据中来自运动对象的特征数据,以得到静态参照物的特征数据。
6.如权利要求5的方法,进一步包括:
对所述静态参照物的特征数据执行聚类处理,以得到多个类中每一类的中心位置数据;
对所述多个类的中心位置数据进行线路拟合以得到所述辅助标记线。
7.如权利要求1-6之一的方法,其中获取位于行驶道路周边的环境参照物的特征数据包括:
通过车载雷达发送探测信号并接收来自所述环境参照物的响应信号,其中该车载雷达以预定的空间辐射角度向所述预定空间范围发射所述探测信号;
基于所述响应信号,获取所述环境参照物的特征数据,包括:
确定所述车辆与所述环境参照物的相对距离;
基于所述车辆的地理位置数据及所述相对距离来预测所述环境参照物的所述位置信息。
8.一种车道标记确定装置,包括:
参照物获取模块,配置为获取位于当前行驶道路周边的环境参照物的特征数据,其中该环境参照物是围绕在该行驶道路上行驶的车辆的预定空间范围内的参照物,所述特征数据包括所述环境参照物的位置信息;
辅助标记确定模块,配置为对所述特征数据进行处理以得到对应于该当前行驶道路的至少一段路段的辅助标记线,以及
车道标记确定模块,配置为将对该辅助标记线多点采样的位置数据输入到预测模型来预测该当前行驶道路上的至少一段路段的车道标记。
9.如权利要求8的装置,其中,所述辅助标记线位于所述当前行驶道路的左侧或右侧,
其中,所述车道标记确定模块进一步配置为:
将所述辅助标记线的多点采样位置数据集输入到所述预测模型来预测所述行驶道路上最内侧或最外侧的车道标记位置;
基于所述最内侧或最外侧车道标记位置以及车道宽度计算当前行驶道上其它车道的车道标记位置。
10.如权利要求9的装置,其中所述预测模型取决于所述行驶道路的路段地理位置;
其中所述车道标记确定模块进一步配置为:
基于所述路段地理位置选择所述预测模型。
11.如权利要求10的装置,其中,所述预测模型为经过训练的循环神经网络(RNN)模型或线性模型。
12.如权利要求8-11之一的装置,其中,所述辅助标记确定模块进一步包括:
滤波模块,配置为对所述特征数据执行速度滤波以消除所获取的特征数据中来自运动对象的特征数据,以得到静态参照物的特征数据。
13.如权利要求12的装置,其中,所述辅助标记确定模块进一步包括为:
聚类模块,配置为对所述静态参照物的特征数据执行聚类处理,以得到多个类中每一类的中心位置数据;以及
拟合模块,配置为对所述多个类的中心位置数据进行线路拟合以得到所述辅助标记线。
14.如权利要求8-13之一的装置,其中参照物获取模块进一步包括:
收发信机单元,配置为通过车载雷达发送探测信号并接收来自所述环境参照物的响应信号,其中该车载雷达以预定的空间辐射角度向所述预定空间范围发射所述探测信号;
特征确定单元,配置为:
确定所述车辆与所述环境参照物的相对距离,以及
基于所述车辆的地理位置数据及所述相对距离来预测所述环境参照物的所述位置信息。
15.一种自动驾驶系统,包括:
如权利要求8-14之一的车道标记确定装置;
车载控制单元,配置为基于所述车道标记确定装置所确定的车道标记来选择当前行驶车道。
16.一种车道标记确定装置,包括:
存储有指令的存储器;
控制器,通过执行所述指令来实现权利要求1-7之一的方法。
17.一种机器可读介质,其上存储有机器可读指令,其中该指令在由所述机器执行时使该机器执行权利要求1-7之一的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910322994.1A CN111832365A (zh) | 2019-04-22 | 2019-04-22 | 车道标记确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910322994.1A CN111832365A (zh) | 2019-04-22 | 2019-04-22 | 车道标记确定方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111832365A true CN111832365A (zh) | 2020-10-27 |
Family
ID=72912723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910322994.1A Pending CN111832365A (zh) | 2019-04-22 | 2019-04-22 | 车道标记确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111832365A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112537301A (zh) * | 2020-11-30 | 2021-03-23 | 南通路远科技信息有限公司 | 智能驾驶交通载具的行车参照物选择方法、装置 |
CN112537302A (zh) * | 2020-11-30 | 2021-03-23 | 南通路远科技信息有限公司 | 一种无人驾驶交通载具车道保持方法、装置及交通载具 |
-
2019
- 2019-04-22 CN CN201910322994.1A patent/CN111832365A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112537301A (zh) * | 2020-11-30 | 2021-03-23 | 南通路远科技信息有限公司 | 智能驾驶交通载具的行车参照物选择方法、装置 |
CN112537302A (zh) * | 2020-11-30 | 2021-03-23 | 南通路远科技信息有限公司 | 一种无人驾驶交通载具车道保持方法、装置及交通载具 |
CN112537301B (zh) * | 2020-11-30 | 2022-08-19 | 南通路远科技信息有限公司 | 智能驾驶交通载具的行车参照物选择方法、装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
AU2017300097B2 (en) | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation | |
US20220082403A1 (en) | Lane mapping and navigation | |
CN108303103A (zh) | 目标车道的确定方法和装置 | |
CN107792077A (zh) | 用于确认道路部段是否适合于自主车辆驾驶的方法和系统 | |
CN109405841A (zh) | 用于参与地图异常检测和校正的方法和设备 | |
CN110796007B (zh) | 场景识别的方法与计算设备 | |
CN102997926B (zh) | 一种用于获取导航数据的方法 | |
WO2015129175A1 (ja) | 自動運転装置 | |
CN102800207A (zh) | 交通信号检测系统和方法 | |
CN109752741A (zh) | 车辆定位设备 | |
CN110114635B (zh) | 用于产生车辆的自动驾驶导航地图的方法 | |
US11002553B2 (en) | Method and device for executing at least one measure for increasing the safety of a vehicle | |
CN109515439A (zh) | 自动驾驶控制方法、装置、系统及存储介质 | |
CN109923375A (zh) | 道路确定装置和车辆控制系统 | |
CN112654892A (zh) | 用于创建车辆的环境的地图的方法 | |
CN117651668A (zh) | 用于监测车道标记质量的系统和方法 | |
CN111081063B (zh) | 创建观察数据、求取车道数量的方法及相关的系统、服务器单元和控制器 | |
CN111832365A (zh) | 车道标记确定方法及装置 | |
CN112859107A (zh) | 高尔夫球场自驾车辆的车辆导航切换设备 | |
CN116124178A (zh) | 众包高精度地图质量评估方法、系统及存储介质 | |
CN110109159A (zh) | 行驶管理方法、装置、电子设备及存储介质 | |
CN115956190A (zh) | 用于提供高分辨率数字地图的方法和设备 | |
CN114641701A (zh) | 使用表面穿透雷达和深度学习的改进的导航和定位 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |