CN111272180A - 用于估计地图上的定位位置的方法和装置 - Google Patents
用于估计地图上的定位位置的方法和装置 Download PDFInfo
- Publication number
- CN111272180A CN111272180A CN201911225765.4A CN201911225765A CN111272180A CN 111272180 A CN111272180 A CN 111272180A CN 201911225765 A CN201911225765 A CN 201911225765A CN 111272180 A CN111272180 A CN 111272180A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lateral
- candidate
- heading
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000015654 memory Effects 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 41
- 238000004458 analytical method Methods 0.000 description 30
- 238000013507 mapping Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 230000004807 localization Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000001125 extrusion Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了一种用于在地图上定位车辆姿态的方法。所述方法涉及接收说明相对于地图的道路车道的车辆姿态的输入。该方法还包括搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的横向误差最小的横向偏移,其中,车道的横向位置和行驶方向由地图确定。所述方法还包括以所选择的横向偏移搜索一组候选车辆前进方向,以选择使前进方向误差最小的车辆前进方向。所述方法还包括基于所选择的横向偏移和车辆前进方向来确定车辆姿态的局部最优,其中,基于局部最优将车辆姿态定位到地图。
Description
技术领域
本发明涉及用于估计地图上的定位位置的方法和装置。
背景技术
自主驾驶(autonomous driving)已迅速成为车辆制造商和导航/地图服务供应商感兴趣的领域。感兴趣的一个特定领域是以足以支持自主驾驶的精度来确定车辆的位置和/或方向(例如,车辆姿态)的定位技术的发展。例如,自主驾驶通常需要厘米级或更高的精度(即,车道级)以确保安全操作。车道级定位需要装备在车辆或相关设备(例如便携式或嵌入式导航设备,智能手机等)上的高精度地图和复杂的位置传感器(例如,使用全球定位系统(GPS),全球导航卫星系统(GNSS)等的传感器)。然而,典型的地图精度在车道级别上不够准确(例如,由于地图数据中的几何误差),GPS或类似的传感器可能易受误差(例如,城市环境干扰)的影响,这可能会对定位精度产生重大影响。因此,在提供安全稳定的自主驾驶所需的高精度定位服务方面,供应商和制造商面临着巨大的技术挑战。
发明内容
因此,需要一种在地图(例如,数字地图)上定位车辆姿态(例如,自主驾驶车辆)的方法。
根据一个实施例,一种用于在地图上定位车辆姿态的方法包括:接收说明相对于地图的道路车道的车辆姿态的输入,其中,车辆姿态包括车辆位置和车辆前进方向。该方法还包括搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的横向误差最小的横向偏移,其中所述横向偏移和所述横向误差与车道的行驶方向成横向,并且其中所述车道的横向位置和行驶方向是从所述地图确定的。该方法还包括以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向。该方法还包括基于所选择的横向偏移和所选择的车辆前进方向确定车辆姿态的局部最优,其中,基于所述局部最优将车辆姿态定位到所述地图。
根据另一实施例,一种用于在地图上定位车辆姿态的装置,包括至少一个处理器和至少一个存储器,该至少一个存储器包括用于一个或多个计算机程序的计算机程序代码,至少一个存储器和该计算机程序代码被配置为与至少一个处理器一起使所述装置至少部分地搜索车辆的一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的误差最小的横向位置,其中所述一组候选横向偏移基于相对于地图的道路车道的车辆姿态。还使该装置以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向。进一步使该装置在搜索一组候选横向偏移与搜索一组候选车辆前进方向之间进行迭代,直到满足收敛标准。进一步使该装置基于满足所述收敛标准,确定车辆姿态的局部最优,其中,基于所述局部最优将车辆姿态定位到所述地图。
根据另一实施例,用于在地图上定位车辆姿态的非暂时性计算机可读存储介质承载一个或多个指令的一个或多个序列,当由一个或多个处理器执行时,一个或多个指令的一个或多个序列使装置至少部分地接收说明相对于地图的道路车道的车辆姿态的输入,其中所述车辆姿态包括车辆位置和车辆前进方向。还使该装置搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的横向误差最小的横向偏移,其中所述横向偏移和所述横向误差与车道的行驶方向成横向,并且其中所述车道的横向位置和行驶方向是从所述地图确定的。进一步使该装置以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向。进一步使所述装置基于所选择的横向偏移和所选择的车辆前进方向确定车辆姿态的局部最优,其中,基于所述局部最优将车辆姿态定位到所述地图。
根据另一个实施例,一种用于在地图上定位车辆姿态的装置包括用于接收说明相对于地图的道路车道的车辆姿态的输入模块,其中所述车辆姿态包括车辆位置和车辆前进方向。该装置还包括用于从传感器数据、代表地理位置的地图数据、或其组合中提取一组输入特征的模块。该装置还包括用于以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向的模块。该装置还包括用于基于所选择的横向偏移和所选择的车辆前进方向确定车辆姿态的局部最优的模块,其中,基于所述局部最优将车辆姿态定位到所述地图。
此外,对于本发明的各种示例实施例,以下适用:包括便于处理和/或处理(1)数据和/或(2)信息和/或(3)至少一个信号的一种方法,(1)数据和/或(2)信息和/或(3)至少一个信号,至少部分基于(或至少部分源自)与本发明的任何实施例有关的在本申请中公开的任何一种方法(或过程)的任意组合。
对于本发明的各种示例实施例,以下内容也是适用的:一种方法,包括:促使对配置为允许访问至少一个服务的至少一个接口的访问,至少一个服务配置为执行本申请中公开的网络或服务供应商方法(或过程)任何一个或任何组合。
对于本发明的各种示例实施例,以下内容也是适用的:一种方法,包括促使创建和/或促使修改(1)至少一个设备用户界面元件和/或(2)至少一个设备用户界面功能,(1)至少一个设备用户界面元件和/或(2)至少一个设备用户界面功能至少部分基于与本发明的任何实施例有关的由在该申请中公开的一种或多种方法或过程的任意组合产生的数据和/或信息,和/或基于与本发明的任何实施例有关的由在本申请中公开的方法(或过程)的一种或任何组合产生的至少一个信号。
对于本发明的各种示例实施例,以下内容也适用:一种方法,包括创建和/或修改(1)至少一个设备用户界面元件和/或(2)至少一个设备用户界面功能,(1)至少一个设备用户界面元件和/或(2)至少一个设备用户界面功能至少部分基于与本发明的任何实施例有关的由在本申请中公开的一种或多种方法(或过程)组合产生的数据和/或信息,和/或基于与本发明的任何实施例有关的由本申请中公开的方法(或过程)的一种或任何组合产生的至少一个信号。
在各种示例实施例中,方法(或过程)可以在服务供应商侧或在移动设备侧或以服务供应商与移动设备之间的任何共享方式在两侧执行动作来实现。
对于各种示例实施例,以下适用:包括用于执行权利要求中任一项的方法的模块的装置。
通过对若干特定的实施例和实施方式进行简单说明,包括为实施本发明而设想的最佳模式,本发明的其他方面、特征和优点很容易从以下详细描述中看出。本发明还可以具有其他和不同的实施例,并且可以在各种明显的方面修改其几个细节,所有这些都不脱离本发明的精神和范围。因此,附图和描述本质上应被认为是说明性的,而不是限制性的。
附图说明
在附图的各幅图中通过示例而非限制的方式示出了本发明的实施例:
图1是根据一个实施例的能够在地图(例如,数字地图)上定位车辆姿态(例如,自主驾驶车辆)的系统的图;
图2A-2E是示出根据一个实施例的用于在地图上定位车辆姿态的图1的过程的图;
图3A-3C是示出从原始车辆传感器读数、传统定位方法以及根据一个实施例的、如图1所示的用于在地图上定位车辆姿态的过程的结果的比较的图;
图4是根据一个实施例的图1的制图平台/制图模块的部件的图;
图5是根据一个实施例的用于在地图上定位车辆姿态的过程的流程图;
图6是示出根据一个实施例的,如图5所示的,在给出最佳横向位置的情况下搜索所有可能的车辆前进方向的过程的图;
图7是根据一个实施例的用于确定车辆姿态在地图上的定位质量的过程的流程图;
图8A和8B是根据一个实施例的用于在地图上定位车辆姿态的示例用户界面的图;
图9是示出根据一个实施例的配备有传感器以支持在地图上定位车辆姿态的车辆的图;
图10是根据一个实施例的地理数据库的图;
图11是可用于实现本发明的实施例的硬件的图;
图12是可用于实现本发明的实施例的芯片组的图;和
图13是可用于实现本发明的实施例的移动终端(例如,手机或车辆或其一部分)的图。
具体实施方式
公开了用于在地图上定位车辆姿态的方法、装置和计算机程序的示例。在下面的描述中,出于解释的目的,阐述了许多具体细节以便提供对本发明的实施例的透彻理解。然而,对于本领域技术人员显而易见的是,可以在没有这些具体细节或具有等效布置的情况下实践本发明的实施例。在其他实例中,以框图形式示出了公知的结构和设备,以避免不必要地模糊化本发明的实施例。
图1是根据一个实施例的能够在地图上定位车辆姿态的系统的图。本文描述的各种实施例广泛地涉及使用轨迹数据(例如,指示位置和前进方向的按时间顺序排列的车辆姿态数据)的最优位置估计,并且相对于自主驾驶进行描述,并且具体地,涉及在地图上的车辆定位(例如,数字地图)。然而,可以预期的是,实施例还适用于任何其他类型的车辆(例如,包括非自主的)、设备(例如,智能手机,个人导航设备等)和/或能够生成指示通过物理空间的运动的轨迹数据的任何其他部件。关于车辆定位,为了精确定位车辆101(例如,自主驾驶或高度辅助车辆(HAD)),可以采用称为定位的一类机器人技术或自动化技术。例如,在定位期间,可以从车辆101的各种传感器获得车辆位置和/或前进方向(例如,车辆姿态)。如图1所示,车辆101可以配备有各种传感器,包括但不限于位置传感器103(例如,配置为处理来自定位卫星105(例如,全球定位系统(GPS)卫星)的信号)和其他传感器107(例如,摄像头传感器,LiDAR传感器,RADAR传感器等)以帮助将车辆101正确地定位在数字地图111的车道109上。在一种情况下,车辆位置和/或前进方向可能来自与用户或车辆101相关联的用户设备(UE)113(例如,移动设备或车载导航系统),其执行一个或多个应用115(例如,导航或制图应用)。
准确地确定车辆101在地图111上的位置可以规划精细和粗略比例的路线。以粗略的比例,导航地图(例如,从地理数据库117提供的数字地图)允许车辆101知道要使用什么道路到达目的地。但是,在更精细的比例上,数字地图允许车辆101知道要进入的车道(例如,车道109)以及何时进行车道变更(即,车道级定位)。此外,为了安全驾驶和地图更新用例,需要自主驾驶车辆(例如,车辆101)的车道级定位(即,高精度定位)。
关于车道级定位并且通常也关于自主驾驶,需要车辆101的高精度和实时定位。传统上,大多数车辆导航系统已使用基于GPS的位置传感器103来完成此定位,该传感器通常以7.8米的95%置信区间提供实时位置。但是,在复杂的城市环境中,GPS信号的反射会进一步增加该误差,从而使车辆的位置可能偏离多达30米。换句话说,原始传感器读数(例如来自GPS或等效设备的读数)面临的挑战是,由于在诸如城市峡谷的区域中的多路径反射而产生的系统误差通常会导致位置传感器103的读数不准确。如果许多车道的距离为3-4米,则此精度不足以正确定位车辆101(例如,自主驾驶车辆),从而无法做出安全的路线规划决策。尽管考虑到车辆移动,使用其他传感器107(例如,惯性传感器(INS)或惯性测量单元(IMU))进行传感器融合可以提高定位的准确性,但是导致传感器干扰的城市峡谷或其他类似地形特征中的系统误差会导致车辆101的错误定位偏离其实际位置达几个街区。
通常,为了安全驾驶,需要达到路段的特定车道的定位精度或更佳的定位精度。传统上,车道级定位技术假定给定传感器读数为高斯误差分布,并通过将地图数据与从车辆传感器观测到的数据进行比较来校正不准确的定位——例如,这样的定位技术属于卡尔曼滤波器类别。当误差分布为非高斯分布或车辆的位置完全未知时,已采用粒子过滤器或参数方法来校正车辆的位置。但是,无论哪种情况,由于过滤架构的性质,在线过滤都会导致估计的车辆姿态“跳过(jumping around)”车辆(例如,车辆101)的真实位置,并且这种情况会导致定位的姿态比原始传感器数据更差。此外,确定定位器是否令人满意地执行的当前技术状态包括将定位姿态的覆盖图与卫星图像进行比较以向人类用户提供环境。然后,人类用户需要识别问题并手动标记定位姿态不准确的区域,所有这些都可能导致缓慢而昂贵的结果,而这些结果可能不足以实现自主驾驶的目的。
为了解决这些技术挑战,图1的系统100引入了一种能力,以利用从车辆101的观测轨迹中得出的最优轨迹估计来克服与定位姿态“跳过”相关的技术问题。例如,最优轨迹估计有利地通过轨迹约束在系统100的定位器的制定中提供了定位姿态的隐式轨迹平滑。由于确定搜索空间的下一个可能姿态是因果的,并且取决于先前姿态,因此系统100克服了传统定位器中典型的姿态中的“跳过”(例如,通过搜索可能的横向偏移、车辆前进方向和纵向偏移)。另外,最优轨迹估计还提供了定位结果的自动质量保证,这在定位器的制定中也是隐式的(例如,通过应用基于轨迹的约束来验证或确定定位结果的质量)。
在一个实施例中,系统100将定位问题制定为线性搜索技术,该线性搜索技术使用期望最大化(EM)架构来对地图的横向偏移、车辆的前进方向和车辆的纵向位置(即定位分量)进行求解。线性搜索技术或算法涉及顺序搜索数据集的每个元素,直到在该数据集内找到目标值。例如,系统100可以搜索所有可能的车辆姿态,直到系统100找到与车辆行驶的道路或车道的前进方向最匹配的车辆姿态。EM架构或算法是一种迭代方法,用于在无法直接求解方程的统计模型中找到(局部)最大似然参数或参数的最大后验(MAP)估计。EM架构对于潜在变量和不完整或缺失的数据(例如,未知参数和已知数据观测值的混合)特别有用。此外,EM架构通常用于聚类和混合模型(例如,软聚类和概率分布)。具体而言,EM算法基于以下前提:存在一种方法,可以同时求解针对所有未知值、参数和潜在变量采用似然函数的导数的结果。在这种情况下,未知值、参数和/或潜在值是定位分量(例如,相对于真实车辆姿态的横向偏移、纵向偏移和/或前进方向偏移)。通过使用EM架构,系统100可以为一组未知量(例如,横向偏移或横向位置)选择任意值,然后使用该值来估计第二组未知量(例如,车辆行驶方向、纵向偏移或位置)。此后,系统100使用一个或多个新值来改进第一组的估计,然后在两个组之间保持交替(即,迭代),直到各个值收敛。
图2A-2E是示出根据一个实施例的用于在地图上定位车辆姿态的图1的过程的图。在一个实施例中,给定车辆位置(例如,车辆101)/原始传感器读数(例如,位置传感器103)的初始猜测,系统100可以使用车辆101的当前地图位置来识别数字地图111上的车道或道路(例如,车道109)的前进方向。例如,系统100可以假设原始传感器读数201是车辆101的位置的初始猜测,而原始传感器读数217是当前地图位置(即,车辆101在车道109上的位置)。在一种情况下,系统100可以将初始猜测基于合理的起点(例如,传感器读数201或传感器读数217)。在一个实施例中,一旦确定车辆101的轨迹的第一测量值(例如,与原始位置传感器读数相关联的时间戳),系统100就可以更新其猜测。在一个实施例中,基于车辆前进方向读数和/或两个原始传感器读数之间的时间差,系统100可以推断出车辆101的行驶方向和/或行驶速度。在一种情况下,系统100可以推断出车辆101正在行驶的车道109的至少一部分具有与车辆101的行驶方向和/或速度一致的前进方向(例如,由箭头或前进方向219表示的从左到右)。如上所述,由于安全自主驾驶需要高度精确的定位,因此仅靠传感器读数201-217可能无法在车道109上提供安全驾驶路线,如各个传感器读数和参考/地面真实数据(最可能)线221之间的横向偏移所示。
在一个实施例中,知道车辆正在行驶的车道或道路(例如,车道109)的前进方向可以使系统100推断与车道或道路(例如,车道109)的前进方向一致的所有可能的车辆姿态(例如,车辆101的姿态)。在这种情况下,相对于车道109、地图111或其组合的车辆姿态和车辆横向位置是相同的。例如,系统100可以推断出车辆101不太可能具有垂直于车道109的前进方向(例如,前进方向219)的姿态,因此,系统100可以将可能的姿态或位置限制为与前进方向219匹配和/或至少部分一致的姿态或位置,如图2B所示。例如,横向位置201a-201m可以代表车辆101相对于车道109、前进方向219和传感器读数201-217的所有可能姿态。
在一个实施例中,系统100可以基于车道109的宽度、道路的宽度、车辆101或普通车辆的宽度或其组合来识别所有可能的车辆姿态或位置。在一种情况下,可能的车辆姿态可以基于相对于原始传感器读数(例如,GPS传感器103)的预测的或已知的横向偏移。举例来说,传感器读数(例如,传感器读数201-217)通常可以与实际位置传感器103(例如,GPS)相距±x距离。在一种情况下,横向偏移的一部分可能是由于传感器数据的传输与其接收之间的相对于车辆101的速度的延迟引起的。换句话说,到系统100接收到传感器读数时,车辆101不再处于该位置,因此,系统100必须适应这种偏移。在该示例中,可能是这种情况:在传感器读数201处或附近的车道109的宽度或道路的宽度或其组合是在传感器读数203-217处或附近的车道109的宽度或道路的宽度或其组合的两倍。
在一个实施例中,一旦系统100知道了所有可能的车辆姿态(例如,横向位置201a-201m),系统100就会横向搜索姿态以最小化地图111和传感器观察值的当前集合(例如,传感器读数201-217)之间的误差并获得车辆101的最佳(和/或初始)横向位置。在一个实施例中,系统100通过采用如上所述的线性搜索技术来搜索姿态,该技术使用EM架构以选择横向位置,该横向位置最终可能是或可能不是车辆101在车道109、地图111或其组合上的定位位置(即,局部最优)。例如,系统100可以从横向位置201m开始并且朝着位置201a搜索(或者反之),直到发现车辆101的横向位置满足或适合于阈值标准(例如,安全阈值,可接受偏差的阈值等)。在一种情况下,系统100可以使用横向位置201m的值来估计相对于横向位置、车道109、前进方向219或其组合的所有可能的车辆前进方向。在一个实施例中,系统100可以在所有可能的车辆姿态中将最佳横向位置缩小到一个或多个横向位置,以最小化车辆101与车道109的中心线、道路的中心线或其组合之间的距离。在一个实施例中,系统100可将最佳横向位置缩小到所有可能的车辆姿态中的一个或多个横向位置,这将使车辆101能够从与传感器读数201相关联的横向位置(例如,横向位置201a-201m)以与前进方向219、安全驾驶等一致的方式行进至与传感器读数217相关联的横向位置(例如,横向位置217a-217e)。在一个实施例中,在进行到对车辆前进方向进行求解之前,系统100可以开始横向搜索在可能姿态的中间或平均值旁边或附近的车辆101的横向位置(例如,在图2C的区域223内)。
在一个实施例中,系统100可以以与系统100使用道路前进方向来识别最佳横向位置相同或相似的方式,使用最佳横向位置来识别所有可能的车辆前进方向。在这种情况下,车辆前进方向可以理解为是指车辆100围绕笛卡尔坐标系的z轴(x轴平行于车辆101并且y轴垂直)的偏航或旋转。在一个实施例中,系统100通过再次采用线性搜索技术来搜索所有可能的车辆前进方向,该线性搜索技术使用EM架构来选择与以下匹配和/或至少一致的车辆前进方向:车道109的前进方向(例如,前进方向219),随后的传感器读数,与随后的传感器读数相关联的一个或多个可能的横向位置,阈值标准(例如,与在给定前进方向的情况下在道路上行驶的安全标准相匹配的前进方向)或其组合。在一个实例中,所有可能的车辆前进方向可以在从不是0°的任何前进方向到小于90°的任何前进方向的范围内(即,不垂直于车道109/前进方向219和/或与前进方向219相反)。
在一个实施例中,一旦系统100选择了车辆前进方向,则系统100在横向搜索和前进方向搜索之间迭代地优化。在一个实例中,系统100使用确定的车辆前进方向来求解最佳横向位置的更好估计,该最佳横向位置可以是或可以不是在识别出车辆前进方向之前由系统100先前估计为最佳横向位置的横向位置。在系统100确定车辆101的横向位置的新的或更佳估计的示例中,系统100然后使用该位置来基于该位置确定所有可能的车辆前进方向,然后基于它们搜索新的最佳前进方向。在一个实施例中,系统100在横向搜索和前进方向搜索之间迭代地优化,直到系统100确定结果已经达到收敛标准(例如,最大迭代次数)。
在一个实施例中,给定收敛标准,系统100沿道路纵向搜索以校正车辆位置。在一个实施例中,系统100通过再次采用使用EM架构来求解纵向位置的线性搜索技术来搜索所有可能的或估计的纵向位置。在一个实例中,系统100可以基于所识别的最佳横向位置、车辆前进方向或其组合来求解正确的车辆位置。在一个实施例中,校正的或产生的车辆位置包括在地图111上的局部最优或定位位置。作为示例,横向位置201f可以被认为是车辆101相对于传感器读数201在车道109、地图111或其组合上的局部最优或定位位置。在一个实施例中,系统100然后使用该局部最优初始化下一组横向搜索。例如,系统100可以重复以上关于传感器读数203、205等描述的过程。该方法确保系统100隐式地生成轨迹约束。此外,如上所述,由于确定搜索空间的下一个可能姿态是随意的并且取决于先前姿态,因此过滤架构克服了姿态中的跳跃(通常会在传统过滤器中出现)。在一个实施例中,系统100沿着给定序列搜索多个局部最优(例如,局部最优201f、209d和217b),以近似地图111上的局部车辆姿态(例如,车辆101)的全局最优。
在一个实施例中,系统100还包括用于在地图上定位车辆姿态的全自动质量分析(QA)。在一种情况下,将有序输入反转并反馈到定位器(即系统100)中。因此,系统100需要两个姿态来进行自动QA。例如,在系统100从传感器读数201开始并朝着传感器读数217工作的情况下,系统100可以反转顺序并从传感器读数217开始并朝着传感器201工作,看前向解(例如201至217)和后向解(例如217至201)是否相同。如果相同,则系统100可以确定已经实现了最佳可能的定位,如图2E所示。在一个实施例中,系统100是完全可并行的,并且可以实时或基本实时地运行。
图3A-3C是示出从原始车辆传感器读数、传统定位方法以及根据一个实施例的、如图1所示的用于在地图上定位车辆姿态的过程的结果的比较的图。在这种情况下,图3A和3C分别遵循关于图2A和2E描述的示例。参照图3A(图2A),系统100收集在车道或道路(例如,车道109)上行驶的车辆101的传感器读数201-217(例如,来自位置传感器103)。如上所述,传感器读数201-217表现出与参考/地面真实数据(例如,参考线221)的不同程度的偏离,并且这种偏离通常在车道级定位所需的安全性或准确性标准之外。传感器读数201-217的传统在线过滤(即,现成的定位技术)也是有问题的。如图3B中所示,由于滤波架构的性质,这种滤波使得估计的车辆姿态(例如,位置301-317)“跳过”车辆101的真实位置(例如,参考线221),这样的情况可能导致定位姿态(例如,位置301-317)比传感器读数201-217更差。相反,图3C(图2E)描绘了基于图1的过程的最优轨迹估计,其克服了定位姿态“跳过”的问题。
图4是根据一个实施例的图1的制图平台/制图模块的部件的图。在一个实施例中,车辆101的制图模块121可以单独地或与制图平台119结合地执行制图平台119的全部或部分功能。作为示例,制图平台119和/或制图模块121包括一个或多个用于在数字地图上定位车辆姿态(例如,自主驾驶车辆)的部件。可以想到,这些部件的功能可以由等效功能的其他部件组合或执行。在该实施例中,制图平台119和/或制图模块121包括传感器数据模块401、分析模块403、选择模块405、计算模块407和特征提取模块409。制图平台119和/或制图模块121的上述模块和部件可以以硬件、固件、软件或其组合来实现。虽然在图1中被描绘为单独的实体,但是可以预期,制图平台119和/或制图模块121可以被实现为系统100的任何部件的模块(例如,车辆101、服务平台127、服务129等的部件)。在另一实施例中,一个或多个模块401-409可以被实现为基于云的服务、本地服务、原生应用或其组合。下文参照图5-7、9和10讨论制图平台119、制图模块121和模块401-409的功能。
图5是根据一个实施例的用于在地图上定位车辆姿态的过程的流程图。在各种实施例中,如图4所示的制图平台119、制图模块121和/或模块401-409可以执行过程500的一个或多个部分,并且可以例如在包括如图12所示的处理器和存储器的芯片组中实现。这样,制图平台119、制图模块121和/或模块401-409可以提供用于完成过程500的各个部分的装置以及用于实现结合系统100的其他部件在本文中描述的其他过程的实施例的装置。尽管过程500被图示和描述为一系列步骤,但是可以预期,过程500的各种实施例可以以任何顺序或组合来执行,并且不需要包括所有图示的步骤。
在步骤501中,传感器数据模块401接收说明相对于地图(例如,数字地图111)的道路车道(例如,车道109)的车辆姿态(例如,车辆101)的输入。在一个实施例中,输入包括车辆姿态的有序集(例如,车辆姿态n、车辆姿态n+1等)。在一种情况下,输入基于车辆姿态、指示车辆姿态的传感器数据或其组合的估计。举例来说,车辆姿态可以包括相对于车道或道路(例如,车道109)的车辆位置和车辆前进方向。在一种情况下,车辆姿态可以简单地表示车辆101相对于车道或道路的一个或多个边界(例如,路缘,车道线等)、数字地图或其组合的横向位置。在一个实施例中,传感器数据模块401可以从与车辆101相关联的一个或多个位置传感器103(例如,GPS传感器)接收输入(例如,传感器读数)。在某些情况下,GPS传感器可以提供相对于数字地图的车辆姿态的粗略估计。具体而言,由于一个或多个定位系统错误(例如,信号中断,城市环境干扰等),该估计通常是粗略的,因此,仅此估计可能不适合通常需要高精度的车道级定位。在一个实施例中,传感器数据模块401还可从与车辆101相关联的一个或多个其他传感器107(例如,摄像头传感器、LiDAR传感器、RADAR传感器等)接收输入(例如,图像数据)。在一种情况下,从一个或多个位置传感器103、一个或多个其他传感器107或其组合接收的输入或数据可使传感器数据模块401能够对车道109、数字地图111或其组合上的车辆姿态进行初始估计。在一个实施例中,制图平台119可以以横跨车道109或整个道路的所有可能的车辆姿态的均匀分布开始。此后,制图平台119可以使用由传感器数据模块401接收的关于车辆101的运动的任何输入(例如,GPS数据)来更新其车道/道路信念分布。如上所述,为了安全和稳定的自主驾驶,需要与较粗糙的道路定位相反的车道级定位。因此,如下所述,基于所接收的输入的车辆101姿态需要进一步的改进。
在步骤503中,分析模块403搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置(例如,车辆101)与道路车道(例如,车道109)的横向位置之间的横向误差最小的横向偏移。在一个实施例中,横向偏移和横向误差与车道109的行驶方向成横向,并且车道109的横向位置和行驶方向是从地图111确定的。在一种情况下,横向偏移或位置使得制图平台119能够将车辆101保持在车道或道路(例如,车道109)的中心。举例来说,横向偏移可以是相对于位置传感器103数据(例如,GPS传感器数据)的不精确的结果。例如,如图2A所示,与车辆101相关联的原始传感器数据可能与参考/地面真实数据(最可能)有偏差或横向偏移。在一个实例中,一组候选横向偏移包括车道或道路(例如,车道109)、地图或其组合上的所有可能的横向车辆姿态,如关于图2B所描绘和描述的。在这种情况下,所有可能的横向车辆姿态都受到以下事实的约束,即,横向偏移相对于行驶方向或车道109的前进方向(例如,前进方向219)是横向的(相对于垂直方向)。举例来说,可能的横向车辆姿态或位置可以基于车道109的宽度、车辆101的宽度或其组合。对于道路车道上的横向位置也可以说是相同情况。在一个实例中,尽管相对于单个车道可以有无数个横向位置(例如,一个方向或另一方向的一毫米或更小),但就车道的横向位置(即,在一个方向或另一个方向上居中或横向偏移)而言,通常可以将车辆101视为在车道边界内(例如,在车道线或标记内)居中、与左车道线或标记相邻或接近,或者与右车道线或标记相邻或接近。由于如上所述的自主驾驶需要精确的定位(例如,在10厘米以内),因此至少出于安全稳定行驶的目的,在车道109上,车道109上的车辆101与地图111上的车辆101之间的任何横向偏移或发散的横向位置都可以视为横向误差。在一个实施例中,分析模块403然后基于线性搜索技术在一组候选横向偏移上进行搜索,该线性搜索技术使用关于图2C和2D如上所述的EM架构来求解最佳横向位置(例如,横向位置201f)。在一种情况下,最佳横向位置包括使施加了横向偏移的车辆位置(例如,车辆101)与道路车道(例如,车道109)的横向位置之间的横向误差最小的横向偏移。
在步骤505中,分析模块403以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向(例如,地面109/前进方向219)之间的前进方向误差最小的车辆前进方向。举例来说,车辆前进方向是笛卡尔坐标网格上绕z轴的行驶方向和/或偏航位置。在一个实施例中,一组候选车辆前进方向是所有可能的车辆前进方向。在一种情况下,假设车辆(例如,车辆101)未垂直于车道或道路(例如,车道109)行驶,则分析模块403可将车辆前进方向的可能性限制在>0°至<180°。图6是示出根据一个实施例的,如图5所示的,在给出最佳横向位置的情况下搜索所有可能的车辆前进方向的过程的图。具体地,图6是图2D的快照,并且通常遵循图2A-2E的示例。在该示例中,分析模块403可以初始选择候选横向位置(例如209e)作为使施加了横向偏移的车辆位置(例如车辆101)与道路车道(例如,车道109)的横向位置之间的横向误差最小的横向位置。此后,在一个实施例中,分析模块403搜索一组候选车辆前进方向。在此示例中,仅表示出前进方向-45°、90°和45°;然而,可以想到的是,一组候选车辆前进方向可以包括所有前进方向、前进方向的有限集合或它们的组合。在该示例中,分析模块403可以在-45°和90°之间选择前进方向,因为这可以使得车辆前进方向与车道(例如,车道109)的行驶方向之间的前进方向误差最小。特别地,虽然车道109的总体前进方向可以由箭头219表示为90°,但是车道109的前进方向的参考/地面真相数据(例如,参考线221)在横向位置209e处从90°稍微增加。
在步骤507中,计算模块407基于所选择的横向偏移和所选择的车辆行驶方向来确定车辆姿态的局部最优,其中,基于局部最优将车辆姿态定位到地图。车辆101的位置和前进方向很重要,因为制图平台119需要这些定位分量来为车辆101提供适当的转向角和速度,以确保在车道109上安全稳定地行驶(即在车道内居中)。
在一个实施例中,计算模块407通过在搜索一组候选横向偏移的分析模块403的结果与搜索一组候选车辆前进方向的分析模块403的结果之间进行迭代来确定局部最优。举例来说,分析模块403可以首先基于上文关于步骤503描述的横向偏移标准来选择横向偏移(例如,图6的横向位置209e)。然后,分析模块403可以基于上文关于步骤505描述的车辆前进方向标准选择车辆前进方向(例如,在-45°至90°之间)。在一个实施例中,基于新的车辆前进方向(例如-45°至90°),计算模块407可使得分析模块403重复或迭代对横向偏移和车辆前进方向的选择,以确定另一横向位置(例如,横向位置209d)、另一车辆前进方向或其组合。在这种情况下,计算模块407可以确定车辆101的横向位置209d是局部最优的。在一个实施例中,计算模块407和分析403可以继续执行迭代,直到满足收敛标准。在一个实例中,收敛标准包括最大迭代次数、目标误差水平或其组合。
在一个实施例中,一旦在步骤507中满足收敛标准,则分析模块403搜索一组候选纵向偏移,其中对于每个候选纵向偏移,搜索相应的一组候选横向偏移和相应的一组候选车辆前进方向,以确定车辆姿态(例如,车辆101)的相应的一组局部最优。举例来说,纵向偏移是笛卡尔坐标系上的y方向,其通常代表车辆101的速度或速率。在一种情况下,制图平台119可以使用纵向位置,使得车辆101能够在交叉路口安全地改变方向、保持其他车辆前方或后方的安全距离等。在一个实施例中,一组候选纵向偏移可以基于车辆101的速度或速率、逝去时间、车道109的前进方向(例如,前进方向219)或其组合。在一个实例中,分析模块403基于线性搜索技术来搜索一组候选纵向偏移,该线性搜索技术使用EM架构来求解纵向位置,其方式与分析模块403搜索一组候选横向偏移和车辆前进方向相同(即,定位分量)。在一个实施例中,分析模块403沿着车道或道路(例如,车道109)纵向搜索以校正车辆纵向位置。
在一个实施例中,选择模块405从一组候选纵向偏移中选择纵向偏移,所选择的纵向偏移与相应的一组局部最优中使得横向误差、车辆行驶方向误差、纵向误差或其组合最小的全局最优相对应,其中,基于全局最优对车辆姿态进行定位。在一个实例中,分析模块403相对于车辆姿态的有序集(例如,横向姿态201a-201m)确定全局最优。在一个实施例中,分析模块403沿着给定序列搜索多个局部最优(例如,局部最优201f、209d和217b),以近似于车辆姿态(例如,车辆101)的全局最优。由分析模块403确定和/或近似的全局最优也可以被认为是轨迹。在一个实施例中,分析模块403基于相应的一组局部最优确定车辆101的轨迹。此外,在一种情况下,分析模块403基于轨迹来约束车辆姿态(例如,车辆101)的定位。因此,在一个实施例中,如图2E和3C所示,分析模块403隐式地生成使车辆101的定位姿态平滑的轨迹约束。
图7是根据一个实施例的用于确定车辆姿态在地图上的定位质量的过程的流程图。在各种实施例中,如图4所示的制图平台119、制图模块121和/或模块401-409可以执行过程700的一个或多个部分,并且可以例如在包括如图12所示的处理器和存储器的芯片组中实现。这样,制图平台119、制图模块121和/或模块401-409可以提供用于完成过程700的各个部分的装置以及用于实现结合系统100的其他部件在本文中描述的其他过程的实施例的装置。尽管过程700被图示和描述为一系列步骤,但是可以预期,可以以任何顺序或组合结合过程500来执行过程700的各种实施例,并且不需要包括所有图示的步骤。即,在一个实施例中,过程700可以用于确定通过过程500是否已经实现了车辆姿态(例如,车辆101)在地图111上的最佳可能定位。
在步骤701中,选择模块405反转车辆姿态(例如,车辆101)的有序集。举例来说,如果分析模块403如上所述利用传感器读数201开始了定位过程并且向传感器读数217发起了下一组横向搜索,则出于质量分析(QA)的目的,该分析模块403将通过用传感器读数217开始定位过程并反转顺序,并向传感器读数201发起下一组横向搜索。在一个实施例中,QA过程是完全自动化的。
在步骤703中,分析模块403基于全局最优的模糊度(ambiguity)来确定全局最优的质量,作为对有序集和反转的有序集的解(solution)。在一个实例中,如果分析模块403确定全局解是不模糊的(unambiguous),则对有序集和反转的有序集的解(即,前向解和后向解)是相同的,指示制图平台119已经实现了最优定位(例如,对于自主驾驶足够安全和稳定的定位)。
图8A和8B是根据一个实施例的用于在数字地图(例如地图111)上定位车辆姿态(例如车辆101)的示例用户界面的图。在该示例中,为UE 113(例如,车辆导航设备、移动设备或其组合)生成UI 801,该UI 801包括使得用户能够访问导航应用115以发起系统100的定位过程的显示器803,如上文所述。在该示例中,用户正独自开车从纽约直奔迈阿密,并启动了导航应用131以可视化她或他的旅程。举例来说,用户可能希望沿路线可视化转弯、出口、兴趣点(POI)(例如加油站或休息站)等。
在此示例中,系统100可以确定用户当前正在大型多车道高速公路805(例如,州际公路95)上行驶,并且将在很长一段时间(例如1小时)内都是这样,没有或基本没有风景或POI。在一个实施例中,系统100可以查询用户是否想要利用车辆101的自主辅助模式。作为示例,可以想到的是,当用户的周围环境单调而重复时,用户可能会失去注意力或注意力不集中。在这种情况下,用户按下或点击“是”输入807,如图8B所示。然而,在启动自主辅助模式时,系统100确定用于导航应用131的正常操作的地图匹配功能不足以用于安全和稳定的自主行驶。具体地,路线809没有被定位为支持安全和稳定的自主驾驶车辆所需的精度水平。例如,路线809可能基于先前的原始传感器读数、现成的定位器或其组合。因此,在一个实施例中,如上所述,系统100在数字地图上定位车辆姿态,如相对于路线809的路线809’所描绘的。具体而言,在这种情况下,路线809’现在根据道路805的横向车道定位,以将车辆101保持在车道的中间。
图9是示出是示出根据一个实施例的配备有传感器的车辆101的示例的图,其支持训练或地面真实数据的收集以将定位问题表述为使用EM架构的线性搜索技术,以求解对于地图(例如,数字地图111)的横向偏移、车辆(例如,车辆101)的前进方向以及车辆101的纵向位置。如图所示,车辆101配备有位置传感器103(例如,GPS接收器)和其他传感器105,例如但不限于摄像头传感器105a和LiDAR传感器105b。当车辆101在被调查区域(例如,车道109)中行驶时,车辆101可以发起来自位置传感器103的位置数据、来自摄像头传感器105a的图像数据以及来自LiDAR传感器105b的三维网格数据的采集。位置数据(例如,包括位置和/或方向的车辆姿态数据)可以利用容易受到潜在系统误差的典型的消费级位置传感器(例如,单个GPS接收器与产生差分GPS读数的多个接收器)来收集。如上所述,系统误差可能是由来自结构、建筑物、地形等(例如,图9所示的结构901)的多路径反射引起的。然后可以将采集的传感器数据加盖收集时间的时间戳,以生成代表采集数据的数据记录。例如,数据记录(例如,探测点)可以包括但不限于以下数据字段:<收集时间>,<位置/车辆姿态数据>、<图像数据>、<LiDAR网格数据>。当车辆101在感兴趣的地理区域中驾驶和收集探测数据(例如,传感器数据)时,可以由制图平台119的特征提取模块409收集探测或传感器数据以用作训练数据。
为了解决这些限制,特征提取模块409可以使用能够执行更准确的传感器融合(例如,姿态数据、图像数据,网格数据和/或任何其他收集的传感器数据的融合)的更多计算密集型定位器来自动生成地面真实数据(例如,参考/地面真实线221),以更精确地定位车辆101。因为计算密集型定位器使用的传感器融合算法需要大量的计算资源和时间,所以这些类型的定位器通常以批处理或脱机模式(例如,在基于云的集群上)执行,而不是在实时应用中使用。因此,在一个实施例中,首先收集原始传感器数据(例如,图2的传感器读数201-217)。然后,对于感兴趣的区域或部分中的每个驾驶,特征提取模块409可以针对每个车辆姿态点以例如网格状模式运行计算密集型定位器,以识别校正后的车辆姿态。在一个实施例中,计算密集型定位器所需的计算资源可随网格大小而变化(例如,具有更多网格单元的较小网格大小需要更多计算资源)。因此,可以基于可用的计算资源来指定网格大小。
在一个实施例中,训练或地面真实数据集可以包括来自其他数据源的流,诸如数字地图数据(例如,地理数据库117的HD地图)。例如,相对于位置传感器103,结构特征(例如,建筑物、结构等)或地形可能与传感器误差(例如,引起GPS传感器的多路径干扰并因此降低其准确性的结构)具有潜在的相关性。因此,在一个实施例中,特征提取模块409可以向地理数据库117查询与训练数据集中的探测点的相应位置相对应的地图数据。然后,地图数据代表另一数据流。在又一个实施例中,其他类型的数据也可以包括在训练数据集中,例如但不限于天气数据、传感器类型、传感器制造商、车辆特性等。
在一个实施例中,特征提取过程还包括将特征数据转换成适合于输入到机器学习模型123中的格式。例如,可以将特征或数据项转换成输入向量或矩阵,以训练机器学习模型123。特征转换的其他示例可以包括但不限于:将文本标签转换为布尔标志;将文本标签转换为分类标签;将日期/时间转换为标准化格式;将提取的特征数据标准化或转换为通用分类法或术语词典;等等。
如上所述,训练或地面真实数据可包括原始传感器数据(例如,传感器读数201-217)和相关信息的任何数量的特征或特性。但是,某些功能可能与目标传感器的传感器误差相关性不大或根本不相关。因此,在地面真实训练数据中包括这样的特征将不会增加或不有助于机器学习模型123的预测能力。因此,在一个实施例中,特征提取模块409可以进一步处理地面真实数据以提取或选择一个或更多训练特征。在一个实施例中,特征提取模块409可以使用本领域中已知的任何统计方法(例如,主成分分析(PCA)和单变量选择)来选择最佳相关特征以将车辆姿态定位在地图上。换句话说,特征提取模块409通过首先确定一组候选特征来从地面真实数据中提取训练特征。然后,制图平台119基于所计算的候选特征与在数字地图上定位车辆姿态的相关性(即定位分量),从一组候选特征(例如,横向、纵向和前进方向)中选择训练特征。
返回图1,在一个实施例中,制图平台119具有通过通信网络125到提供一个或多个服务129a-129n(在本文中统称为服务129)(例如,传感器数据收集服务)的服务平台127(例如OEM平台)的连通性。举例来说,服务129也可以是其他第三方服务,并且包括地图绘制服务、导航服务、旅行计划服务、通知服务、社交网络服务、内容(例如,音频,视频,图像等)供应服务、应用服务、存储服务、环境信息确定服务、基于位置的服务、基于信息的服务(例如,天气,新闻等)等。在一个实施例中,服务平台127使用机器学习模型123的输出(例如,车辆定位),以提供诸如导航、地图绘制、其他基于位置的服务等的服务。
在一个实施例中,制图平台119可以是具有多个互连部件的平台,并且可以包括多个服务器、智能联网设备、计算设备、部件以及用于在地图上定位车辆姿态的相应软件。此外,应注意,制图平台119可以是系统100的单独实体、一个或多个服务129的一部分、服务平台127的一部分,或包括在车辆101内(例如,作为制图模块121)。
在一个实施例中,内容供应商131a-131m(统称为内容供应商131)可以向地理数据库117、制图平台119、服务平台127、服务129和车辆101提供内容或数据(例如,包括地理数据,传感器数据等)。所提供的内容可以是任何类型的内容,例如地图内容、文本内容、音频内容、视频内容、图像内容等。在一个实施例中,内容供应商131可以提供可以帮助在地图上定位车辆姿态的内容。在一个实施例中,内容供应商131还可以存储与地理数据库117、制图平台119、制图模块121、服务平台127、服务129和/或车辆101相关联的内容。在另一实施例中,内容供应商131可以管理访问中央数据存储库,并提供一致的、标准的数据接口,例如地理数据库117的存储库。
举例来说,制图模块121和/或UE 113可以是任何类型的嵌入式系统、移动终端、固定终端或便携式终端,包括内置导航系统、个人导航设备、移动手持机、工作站、单元、设备、多媒体计算机、多媒体平板电脑、Internet节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人数字助理(PDA)、音频/视频播放器、数码相机/便携式摄像机、定位设备、健身设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任意组合,包括这些设备的附件和外围设备,或其任意组合。还可以想到,制图模块121和/或UE 113可以支持到用户的任何类型的接口(诸如“可穿戴”电路等)。在一个实施例中,制图模块121和/或UE 113可以与车辆101相关联,或者可以是车辆101的组成部分。
在一个实施例中,如前所述,车辆101配置有各种传感器(例如,位置传感器103和/或其他传感器107),用于生成或收集车辆传感器数据、相关的地理/地图数据等。在一个实施例中,感测的数据表示与地理位置或坐标相关联的传感器数据,在该地理位置或坐标处收集了传感器数据。以这种方式,传感器数据可以用作观察数据,可以将其聚合为位置感知的训练和评估数据集。举例来说,传感器103/107可以包括RADAR系统、LiDAR系统、用于收集位置数据的全球定位传感器(例如,GPS)、用于检测无线信号的网络检测传感器或用于不同短程通信(例如,蓝牙、Wi-Fi、Li-Fi、近场通信(NFC)等)的接收器、时间信息传感器,用于收集图像数据的相机/成像传感器,用于收集音频数据的录音机,安装在车辆101的方向盘上的速度传感器,用于确定是否接合一个或多个车辆开关的开关传感器等。
车辆101的传感器107的其他示例可以包括光传感器、增加了高度传感器和加速度传感器的方向传感器(例如,加速度计可以测量加速度并可以用于确定车辆的方向)、用于检测沿着行驶路径的车辆101的倾斜或下降的程度的倾斜传感器、湿度传感器、压力传感器等。在另一示例实施例中,围绕车辆101的周边的传感器107可以检测车辆101相对于物理分隔物、车道109或道路、其他车辆、行人、交通信号灯、坑洼和任何其他物体的存在、或其组合的相对距离。在一种情况下,传感器107可以检测天气数据、交通信息或其组合。在一个实施例中,车辆101可以包括GPS或其他基于卫星的接收器103,以从卫星105获得地理坐标以确定当前位置和时间。此外,可以通过视觉测距法、三角测量系统,例如A-GPS、源小区(Cellof Origin)或其他位置推断技术,来确定位置。在又一个实施例中,传感器107可以确定车辆101的各种控制元件的状态,例如刮水器的致动、制动踏板的使用、加速踏板的使用、方向盘的角度(即,前进方向)、危险灯的启动、前照灯的启动等。
在一个实施例中,系统100的通信网络125包括一个或多个网络,如数据网络、无线网络、电话网络或其任意组合。可预期的是,数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公共数据网络(如因特网)、短程无线网络、或任何其他适当的包交换网络,如商有的、专营的包交换网络,如专营的电缆或光纤网络、和类似物、或其任何组合。此外,无线网络可以是例如蜂窝网络,并且可采用多种技术,包括增强型数据速率全球演进技术(EDGE)、通用分组无线服务技术(GPRS)、全球移动通信系统(GSM)、互联网协议多媒体子系统(IMS)、通用移动通信系统(UMTS)等,以及其他任意合适的无线介质,例如全球微波互联接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(Wi-Fi)、无线局域网(WLAN)、互联网协议(IP)数据广播、卫星、移动自组网(MANET)和类似物,或其任意组合。
举例来说,车辆101、制图平台119、服务平台127、服务129和/或内容供应商131相互之间以及与系统100的其他部件使用众所周知的、新的或仍在开发的协议进行通信。在本文中,协议包含一组规则,其定义通信网络125中的网络节点如何基于通过通信链接发送的信息相互交互。协议在每一个节点内的不同操作层是有效的,从产生和接收不同类型的物理信号,到选择传输这些信号的链接,到由这些信号表示的信息的格式,到确定在计算机系统上执行的哪一个软件应用程序发送或接收信息。开放式系统互连(OSI)参考模型中描述了用于在网络上交换信息的概念上不同的协议层。
网络节点之间的通信通常通过交换离散数据包来实现。每个数据包通常包括与特定协议相关的(1)报头信息,以及跟随报头信息的(2)有效负载信息,其包含可能独立于该特定协议处理的信息。在某些协议中,数据包包含(3)尾部信息,其跟随在有效负载之后的并指示有效负载信息的结束。报头包括信息,如数据包的来源、其目的地、有效负载的长度、和该协议使用的其他属性。通常,有效负载中用于特定协议的数据包括报头和用于不同协议的有效负载,其与OSI参考模型的另一个上层相关联。用于特定协议的报头通常指示包含在其有效负载中的下一个协议的类型。就是说,上层协议被封装在下层协议中。包含在横跨多个异构网络(如Internet)的数据包中的报头通常包括物理(第1层)报头、数据链接(第2层)报头、互连网络(第3层)报头和传输(第4层)报头,以及OSI参考模型定义的各种应用程序(第5层、第6层和第7层)报头。
图10是根据一个实施例的地理数据库的图。在一个实施例中,地理数据库117包括用于(或配置为编译成用于)定位和/或导航相关服务的地理数据1001。在一个实施例中,使用多边形(例如二维特征)或多边形挤出(例如三维特征)表示地理特征(例如二维特征或三维特征)。例如,多边形的边缘对应于各自地理特征的边界或边缘。以建筑物为例,二维多边形可以用来表示建筑物的覆盖区,三维多边形挤出可以用来表示建筑物的三维表面。可以预期的是,虽然各种实施例相对于二维多边形进行了讨论,但也预期的是,这些实施例也适用于三维多边形挤出。因此,这里使用的术语多边形和多边形挤出可以互换使用。
在一个实施例中,地理数据库117包括高分辨率或高清晰度(HD)地图数据,这些数据提供厘米级或更高精度的地图特征。例如,地理数据库117可以基于光检测和测距(激光雷达LiDAR)或类似的技术,来采集数十亿计的3D点和模型路面、结构、建筑物、地形和其他地图特征,以至车道号及其宽度。在一个实施例中,HD地图数据采集和存储细节,诸如道路的坡度和曲率、停车位、车道标记、路边对象如路标,包括路标所指示的内容等。举例来说,HD地图数据使HAD车辆能够精确地在车道或道路(例如,车道109)上定位自己,并以高精度水平确定道路特性(例如,学习速度限速值)。
在一个实施例中,使用多边形(例如二维特征)或多边形挤出(例如三维特征)表示地理特征(例如二维特征或三维特征)。例如,多边形的边缘对应于各自地理特征的边界或边缘。以建筑物为例,二维多边形可以用来表示建筑物的覆盖区,三维多边形挤出可以用来表示建筑物的三维表面。可以预期的是,虽然各种实施例相对于二维多边形进行了讨论,但也预期的是,这些实施例也适用于三维多边形挤出。因此,这里使用的术语多边形和多边形挤出可以互换使用。在一个实施例中,以下术语适用于地理数据库117中的地理特征的表示。
“节点”—结束链接(link)的点。
“线段”—连接两个点的直线。
“链接”(或“边”)—连续的、无分支的一串一条或多条线段,其两端以节点结束。
“形状点”—两个节点之间沿着链接的点(例如,用来在不定义新节点的情况下改变链接的形状)。
“带方向的链接”—具有起始节点(称为“参考节点”)和结束节点(“非参考节点”)的链接。
“简单多边形”—外部边界的内部区域,外部边界由一串以节点开始和结束的带方向的链接组成。在一个实施例中,一个简单的多边形本身不交叉。
“多边形”—由外部边界和没有或至少一个内部边界界定的区域(如洞或岛)。在一个实施例中,多边形由一个外部简单多边形和没有或至少一个内部简单多边形构成。如果一个多边形只由一个简单的多边形构成,那么它就是简单的;如果一个多边形具有至少一个内部简单的多边形,那么它就是复杂的。
在一个实施例中,地理数据库117遵循某些约定。例如,链接本身及相互之间不会交叉,除非在节点上。此外,不存在重复的形状点、节点或链接。两个相互连接的链接有一个共同的节点。在地理数据库117中,重叠的地理特征用重叠的多边形表示。当多边形重叠时,一个多边形的边界与另一个多边形的边界交叉。在地理数据库117中,一个多边形的边界与另一个多边形的边界相交的位置用一个节点表示。在一个实施例中,节点可用于表示沿着多边形边界的其他位置,而不是此多边形的边界与另一个多边形的边界相交的位置。在一个实施例中,形状点不用于表示多边形的边界与另一个多边形的边界相交的点。
如图所示,地理数据库117包括,例如,节点数据记录1003,路段或链接数据记录1005,POI数据记录1007,传感器误差记录1009,其他记录1011和索引1013。可提供更多、更少或不同的数据记录。在一个实施例中,附加的数据记录(未显示)可以包括地图(“carto”)数据记录、路径选择数据和操纵控制数据。在一个实施例中,索引1013可以提高在地理数据库117中的数据检索操作的速度。在一个实施例中,索引1013可用于快速定位数据,而无需每次访问地理数据库117时对其每一行都进行搜索。例如,在一个实施例中,索引1013可以是与存储的特征多边形相关联的多边形点的空间索引。
在示例性实施例中,路段数据记录1005是表示道路、街道或路径的链接或线段,可用于计算的路线或记录的路线信息中,以确定一条或多条个性化路线。节点数据记录1003是对应于路段数据记录1005的各个链接或线段的端点。道路链接数据记录1005和节点数据记录1003表示如被车辆、汽车和/或其他实体使用的道路网络。或者,地理数据库117可以包含路径段和节点数据记录,或者其他数据,其表示补充或替代例如车辆道路记录数据的行人路径或区域。
道路/链接线段和节点可以关联到特性,如地理坐标、街道名称、地址范围、速度限制、交叉路口的转弯限制、和其他与导航相关的特性、以及POI,如加油站、酒店、餐厅、博物馆、体育馆、办公室、汽车经销商、汽车维修商店、建筑物、商店、公园等。地理数据库117可以包含关于POI的数据及POI数据记录1007中其各自位置。地理数据库117还可以包括关于地点的数据,例如城市、城镇或其他社区,以及其他地理特征,例如水体、山脉等。这些地点或特征数据可以是POI数据记录1007的一部分,也可以与POI或POI数据记录1007关联(例如用于显示或表示城市位置的数据点)。
在一个实施例中,地理数据库117还可以包括用于存储位置传感器误差数据、传感器误差先验和/或相关数据的传感器误差记录1009。位置数据例如可以被存储为地理数据库117的传感器误差数据层或覆盖的属性或数据记录,其将位置属性与地图属性或特征融合。在一个实施例中,传感器误差记录1009可以与道路链接的分段(与整个链接相反)相关联。注意,出于传感器误差的目的,道路的分段可以与地理数据库117的道路链接结构不同。换句话说,分段可以将地理数据库117的链接进一步细分为更小的分段(例如,例如5米的均匀长度)。以此方式,可以以与粒度无关或在地理数据库117中表示实际道路或道路网络的粒度级别来表示传感器误差(例如,横向或纵向偏移)。在一个实施例中,传感器误差记录1009可以与节点记录1003、路段记录1005和/或POI数据记录1007中的一个或多个或其部分(例如,比路段记录1005所指示的路段更小或不同的路段)相关联,以提供更高的定位精度/速度,并提供更安全的车辆(例如车辆101)自主操作。以此方式,存储在传感器误差记录1009中的位置传感器误差数据也可以与对应记录1003、1005和/或1007的特征或元数据相关联。
在一个实施例中,地理数据库117可以由内容供应商131与服务平台127(例如,地图开发人员)联合维护。地图开发人员可以采集地理数据来生成和增强地理数据库117。地图开发人员可以使用不同的方法来采集数据。这些方法可以包括从其他来源获得数据,例如市政当局或各自的地理局。此外,例如,地图开发人员可以雇用外勤人员沿遍及地理区域的道路行驶,以观察特征(例如物理分隔物、OPPO、VRU等)和/或记录有关特征的信息。此外,还可以使用遥感,如航空或卫星摄像。
地理数据库117可以是一个以便于更新、维护和开发的格式存储的主地理数据库。例如,主地理数据库或主地理数据库中的数据可以是Oracle空间格式或其他空间格式,如用于开发或产品目的。Oracle空间格式或开发/产品数据库可以编译为交付格式,例如地理数据文件(GDF)格式。产品和/或交付格式的数据可以编译或进一步编译,以形成地理数据库产品或数据库,其可用于用户导航设备终端或系统。
例如,地理数据被编译(如编译成一个平台规范格式(PSF)格式)用来组织和/或配置的数据,以执行有关导航功能和/或服务,如路线计算、路线指引、地图显示、速度计算、距离和行驶时间功能、和其他功能,通过导航设备,例如通过车辆101。导航相关功能可以对应于车辆导航、行人导航或其他类型的导航。生成终端用户数据库的编译可以由独立于地图开发人员的一方或实体执行。例如,地图开发人员的客户,例如导航设备开发人员或其他终端用户设备开发人员,可以在接收到的地理数据库上执行以交付格式进行的编译,以生成一个或多个编译后的导航数据库。
本文描述的用于在地图上定位车辆姿态的过程可以有利地通过软件、硬件(如通用处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)、固件或其组合实现。下面将详细介绍执行上述功能的示例硬件。
图11说明了可以在其上可以执行本发明实施例的计算机系统1100。计算机系统1100被编程(例如,通过计算机程序代码或指令)来如本文所述地在地图上定位车辆姿态,其包含一种通信机制,如用于计算机系统1100的其他内部和外部组件之间传递信息的总线1110。信息(也称为数据)被表示为可测量现象的物理表达,通常是电压,但在其他实施例中包含现象,诸如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子相互作用。例如,南北磁场,或零电压和非零电压,表示二进制数字(位)的两种状态(0、1)。其他现象可以表示更高基数的数字。测量前的多个同时量子态的叠加表示一个量子位(qubit)。一个或多个数字的序列构成数字数据,其用于表示数字或用于特性的代码。在一些实施例中,称为模拟数据的信息由特定范围内的近乎连续的可测量值表示。
总线1110包括一个或多个并行的信息导线,以便在耦合到总线1110的设备之间快速传输信息。用于处理信息的一个或多个处理器1102与总线1110耦合。
处理器1102对由与在地图上定位车辆姿态有关的计算机程序代码指定的信息执行一组操作。计算机程序代码是一组指令或语句,为处理器和/或计算机系统执行指定功能的操作提供指令。例如,代码可以用计算机编程语言编写,这种语言被编译成处理器的本机指令集。代码也可以直接使用本机指令集(例如,机器语言)编写。一组操作包括从总线1110导入信息和将信息放在总线1110上。一组操作通常还包括比较两个或多个信息单元、移动信息单元的位置,以及组合两个或多个信息单元,例如通过加法或乘法或逻辑运算,如或(OR)、异或(XOR),以及与(AND)。可由处理器执行的一组操作中每个操作都通过被称为指令的信息表示给处理器,例如一个或多个数字的操作代码。由处理器1102执行的操作序列,如操作代码序列,构成处理器指令,也被称为计算机系统指令或简单地说,计算机指令。处理器可以由机械的、电气的、磁的、光学的、化学的或量子的部件等之一或其组合实现。
计算机系统1100还包括与总线1110耦合的存储器1104。存储器1104(如随机存取存储器(RAM)或其他动态存储设备)存储包括用于在地图上定位车辆姿态的处理器指令的信息。动态存储器允许计算机系统1100改变存储在其中的信息。RAM允许独立于相邻地址的信息单独存储和检索一个信息单元,其被存储在一个被称为存储器地址的位置上。存储器1104也被处理器1102用于在执行处理器指令期间存储临时值。计算机系统1100还包括与总线1110耦合的只读存储器(ROM)1106或其他静态存储设备,用于存储不被计算机系统1100改变的静态信息(包含指令)。有些存储器由易失性存储器组成,当断电时,易失性存储器会丢失存储在其上的信息。与总线1110耦合的还有非易失性(持久)存储设备1108,如磁盘、光盘或闪存卡,用于存储信息(包括指令),即使在计算机系统1100关闭或以其他方式断电时这些信息仍然存在。
信息(包括用于在地图上定位车辆姿态的指令)被从外部输入设备1112(如由人类用户操作的包含字母数字键的键盘)或传感器提供给总线1110供处理器使用。传感器检测其附近的环境,并将这些检测转化为物理表达,其与用于在计算机系统1100中表示信息的可测量现象相兼容。耦合到总线1110的其他外部设备,主要用于与人类互动,包括显示装置1114(例如呈现文本或图像的阴极射线管(CRT)或液晶显示器(LCD)、或等离子屏幕或打印机)和定位设备1116(如鼠标或轨迹球或光标方向键、或运动传感器),其用于控制显示在显示设备1114上的小光标图像的位置,并发出与显示在显示设备1114上的图形元素相关联的命令。在某些实施例中,例如,在计算机系统1100在没有人工输入的情况下自动执行所有功能的实施例中,省略一个或多个外部输入设备1112、显示设备1114和定位设备1116。
在所示实施例中,专用硬件,如专用集成电路(ASIC)1120,与总线1110耦合。特殊用途的硬件被配置为执行处理器1102因为特定原因不能足够快地执行的操作。专用集成电路的例子包括用于生成用于显示设备1114的图形加速器、用于加密和解密网络上发送的消息的密码板、语音识别、特殊外部设备的接口,如机械臂和医疗扫描设备,其反复执行在硬件中更有效实现的一些复杂的操作序列。
计算机系统1100还包括与总线1110耦合的通信接口1170的一个或多个实例。通信接口1170提供一个耦合到各种外部设备单向或双向通信,这些外部设备使用自己的处理器操作,这些外部设备为如打印机、扫描仪和外部磁盘。一般情况下,耦合是通过连接到本地网络1180的网络链路1178,耦合至各种具有自己处理器的外部设备。例如,通信接口1170可以是个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在某些实施例中,通信接口1170是集成服务数字网络(ISDN)卡或数字用户线(DSL)卡或电话调制解调器,其提供到相应类型电话线的信息通信连接。在某些实施例中,通信接口1170是一种电缆调制解调器,其将总线1110上的信号转换为用于同轴电缆上的通信连接的信号或用于光纤电缆上的通信连接的光信号。另一个例子是,通信接口1170可能是一个局域网(LAN)卡,其用于提供数据通信连接至兼容LAN,如以太网。无线链路也可以被实现。对于无线链路,通信接口1170发送或接收或同时发送和接收电子、声学或电磁信号,包括红外和光学信号,这些信号承载信息流,如数字数据。例如,在无线手持设备中,如蜂窝电话等移动电话中,通信接口1170包括被称为无线电收发器的无线电波段电磁发射器和的接收器。在某些实施例中,通信接口1170实现到通信网络125的连接,以在地图上定位车辆姿态。
这里使用的术语计算机可读介质是指参与向处理器1102提供信息,包括用于执行的指令的任何介质。此类介质可以有多种形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括,例如,光盘或磁盘,如存储设备1108。易失性介质包括例如动态存储器1104。传输介质包括例如,同轴电缆、铜线、光缆、以及无需线或线缆穿过空间的载波,如声波和无线电波包括电磁波、光波、红外波。信号包括在振幅、频率、相位、偏振或其他通过传输介质传输的物理特性上的人为的瞬态变化。常见形式的计算机可读介质包括,例如软盘、可折叠磁盘、硬盘、磁带、其他磁性介质、CD-ROM、CDRW、DVD、其他光学介质、穿孔卡片、纸带、光学标记纸、其他任何具有孔的图案或其他光学可识别标记的物理介质、RAM、PROM、EPROM、FLASH-EPROM,任何其他存储器芯片或存储盒、载波、或任何其他计算机可读的介质。
图12说明可以在其上可实现本发明实施例的芯片组1200。芯片组1200被编程为按照本文所述在地图上定位车辆姿态,其包括,例如被封装在一个或多个物理封装中(例如,芯片)的图11所示的处理器和存储器。举例来说,物理封装包括在结构组件(如底板)上布置一种或多种材料、部件和/或电线,以提供一种或多种特性,如物理强度、尺寸守恒和/或电气交互作用限制。可以预想的是,在某些实施例中,芯片组可以以单个芯片实现。
在一个实施例中,芯片组1200包括通信机制如总线1201,用于在芯片组1200的部件之间传递信息。处理器1203与总线1201连接,以执行指令和处理信息,所述指令和信息存储在例如存储器1205中。处理器1203可以包含一个或多个处理核,每个核都被配置为可独立运行。多核处理器支持在单个物理封装内多重处理。多核处理器的例子包括两个、四个、八个或更多的处理核。或者或此外,处理器1203可以包括一个或多个通过总线1201串联配置的微处理器,以实现独立执行指令、流水线和多线程。处理器1203还可以与一个或多个专用组件联合,执行某些处理功能和任务,如一个或多个数字信号处理器(DSP)1207,或一个或多个特定于专用集成电路(ASIC)1209。DSP 1207通常被配置成独立于处理器1203处理实时处理真实信号(如声音)。类似地,ASIC 1209可以配置为执行通用处理器不容易执行的特殊功能。其他有助于执行本文描述的发明功能的专用组件包括一个或多个现场可编程门阵列(FPGA)(未示出),一个或多个控制器(未示出),或一个或多个其他专用计算机芯片。
处理器1203及随附部件通过总线1201连接到存储器1205。存储器1205包括动态内存(如RAM、磁盘、可写光盘等)和静态内存(如ROM、CD-ROM等),用于存储可执行指令,执行此指令可实现本文描述的发明步骤,以在地图上定位车辆姿态。存储器1205还存储由发明步骤的执行生成的或与发明步骤的执行相关的数据。
图13是移动终端1301(例如手机或车辆或其一部分)的示例组件的图,此移动终端能够根据一个实施例在图1的系统中运行。一般来说,无线电接收器通常依据前端和后端特性来定义。接收器的前端包含所有射频(RF)电路,而后端包含所有基带处理电路。电话机的相关内部组件包括主控单元(MCU)1303、数字信号处理器(DSP)1305和包括麦克风增益控制单元和扬声器增益控制单元的接收/发送单元。主显示单元1307向用户提供显示,以支持提供自动接触匹配的各种应用程序和移动站功能。一种音频功能电路1309包括麦克风1311和用于放大从麦克风1311输出的语音信号的麦克风放大器。从麦克风1311输出的放大的语音信号被提供给编译码器(CODEC)1313。
无线电部分1315放大功率并转换频率,以便通过天线1317与包括在移动通信系统中的基站通信。功率放大器(PA)1319和发射器/调制电路在操作上响应MCU 1303,如本领域中已知的,PA1319的输出耦合到双工器1321或环形器或天线开关。PA1319还耦合到电池接口和功率控制单元1320。
在使用中,移动站1301的用户对着麦克风1311说话,他或她的声音以及任何检测到的背景噪声均被转换成模拟电压。模拟电压,然后通过模数转换器(ADC)转换成数字信号1323。控制单元1303路由此数字信号至DSP 1305中进行处理,如语音编码、频道编码、加密和交织。在一个实施例中,处理的语音信号被编码,通过没有单独示出的单元,使用蜂窝传输协议如全球演进技术(EDGE)、通用分组无线服务技术(GPRS)、全球移动通信系统(GSM)、互联网协议多媒体子系统(IMS)、通用移动通信系统(UMTS)等,以及其他任意合适的无线介质,例如全球微波互联接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、无线保真(Wi-Fi)、卫星和类似物。
然后,被编码的信号被路由到均衡器1325,以补偿在通过空气传输过程中发生的任何频率相关的损害,如相位和振幅失真。在均衡位流之后,调制器1327将信号与在RF接口1329中生成的RF信号相结合。调制器1327通过频率或相位调制产生正弦波。为了准备用于传输的信号,上变频器1331将调制器1327输出的正弦波与合成器1333产生的另一个正弦波相结合,以达到所需的传输频率。然后通过PA1319发送信号,将信号增加到适当的功率级别。在实际系统中,PA1319作为一个可变增益放大器,其增益由DSP 1305根据从网络基站接收的信息控制。然后,信号在双工器1321中被过滤,并可选地发送到天线耦合器1335,以匹配阻抗,提供最大的功率传输。最后,信号通过天线1317传输到本地基站。自动增益控制(AGC)可用来控制接收器最后阶段的增益。这些信号可以从那里转发到远程电话,其可以是另一个蜂窝电话、其他移动电话或者连接到公共交换电话网(PSTN)的固定电话,或其他电话网络。
传送到移动站1301的语音信号通过天线1317被接收,并立即被低噪声放大器(LNA)1337放大。降变频器1339降低了载波频率,而解调器1341除去RF只留下了数字位流。然后信号通过均衡器1325,由DSP 1305处理。数模转换器(DAC)1343转换信号,结果输出通过扬声器1345传送给用户,这些都在主控制单元(MCU)1303的控制下,此主控单元可以作为中央处理器(CPU)实现(未示出)。
MCU 1303接收来自键盘1347的各种信号,包括输入信号。键盘1347和/或MCU 1303与其他用户输入部件(如麦克风1311)相联合,包括用于管理用户输入的用户接口电路。MCU1303运行一个用户界面软件,以便于用户控制移动站1301的至少一些功能,以在地图上定位车辆姿态。MCU 1303也分别向显示1307传送显示命令和向语音输出开关控制器传送开关命令。此外,MCU 1303与DSP 1305交换信息,并可以访问可选的SIM卡1349和存储器1351。此外,MCU 1303执行基站所要求的各种控制功能。DSP 1305可以,根据实现情况,在语音信号上执行各种传统的数字处理功能。此外,DSP 1305根据麦克风1311检测的信号确定本地环境的背景噪音等级,并设置麦克风1311的增益到一个等级,此等级选择用于补偿移动站1301的用户的自然趋势。
CODEC 1313包括模数转换器ADC 1323和数模转换器DAC 1343。存储器1351存储包括电话传入的音调数据的各种数据,并能够存储包括通过例如全球互联网接收的音乐数据的其他数据。软件模块可以驻留在RAM存储器、闪存、寄存器或本领域所熟知的任何其他形式的可写的计算机可读存储介质中,包括非暂时性的计算机可读存储介质。例如,存储器1351可能是但不限于,单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储器,或任何其他能够存储数字数据的非易失的或非暂时性的存储介质。
例如,可选的内装的SIM卡1349承载重要信息,如手机号码、运营商提供服务、订阅细节和安全信息。SIM卡1349主要用于在无线电网络上识别移动站1301。卡1349也包含存储器,其用于存储个人电话号码登记表、文本消息和用户特定的移动站设置。
虽然通过若干实施例和实现方式对本发明进行了描述,但本发明并非局限于此,而是涵盖了各种明显的变形和等效的布置,这些变形和布置落入所附权利要求书的范围。虽然本发明的特征以权利要求书中的某些组合形式表示,但可以设想的是,这些特征可以以任何组合和顺序布置。
Claims (20)
1.一种用于在地图上定位车辆姿态的计算机实现的方法,包括:
接收说明相对于地图的道路车道的车辆姿态的输入,其中所述车辆姿态包括车辆位置和车辆前进方向;
搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的横向误差最小的横向偏移,其中所述横向偏移和所述横向误差与车道的行驶方向成横向,并且其中所述车道的横向位置和行驶方向是从所述地图确定的;
以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向;以及
基于所选择的横向偏移和所选择的车辆前进方向确定车辆姿态的局部最优,
其中,基于所述局部最优将车辆姿态定位到所述地图。
2.根据权利要求1所述的方法,还包括:
在搜索一组候选横向偏移与搜索一组候选车辆前进方向之间进行迭代,以使得横向误差和前进方向误差最小。
3.根据权利要求2所述的方法,其中执行所述迭代直到满足收敛标准。
4.根据权利要求3所述的方法,其中,所述收敛标准包括最大迭代次数、目标误差水平或其组合。
5.根据权利要求1所述的方法,还包括:
搜索一组候选纵向偏移,其中对于每个候选纵向偏移搜索相应的一组候选横向偏移和相应的一组候选车辆前进方向,以确定相应的一组车辆姿态局部最优;和
从所述一组候选纵向偏移中选择纵向偏移,所选择的纵向偏移与相应的一组局部最优中使得所述横向误差、所述车辆行驶方向误差、纵向误差或其组合最小的全局最优相对应,
其中,基于所述全局最优对车辆姿态进行定位。
6.根据权利要求5所述的方法,其中,所述输入包括车辆姿态的有序集,并且其中,所述全局最优是相对于车辆姿态的所述有序集确定的。
7.根据权利要求6所述的方法,还包括:
反转车辆姿态的所述有序集;以及
基于所述全局最优的模糊度来确定所述全局最优的质量,作为所述有序集和反转的所述有序集的解。
8.根据权利要求5所述的方法,还包括:
基于相应的一组局部最优确定轨迹;以及
基于所述轨迹约束车辆姿态的定位。
9.根据权利要求1所述的方法,其中,说明车辆姿态的输入基于车辆姿态的估计、指示车辆姿态的传感器数据、或其组合。
10.根据权利要求5所述的方法,其中,搜索一组候选横向偏移、搜索一组候选车辆前进方向、搜索一组候选纵向偏移、或其组合基于线性搜索技术、期望最大化架构、或其组合。
11.一种用于在地图上定位车辆姿态的装置,包括:
至少一个处理器;和
至少一个存储器,包括一个或多个程序的计算机程序代码,
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述装置至少执行以下操作;
搜索车辆的一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的误差最小的横向位置,其中所述一组候选横向偏移基于相对于地图的道路车道的车辆姿态;
以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向;
在搜索一组候选横向偏移与搜索一组候选车辆前进方向之间进行迭代,直到满足收敛标准;以及
基于满足所述收敛标准,确定车辆姿态的局部最优;
其中,基于所述局部最优将车辆姿态定位到所述地图。
12.根据权利要求11所述的装置,其中,进一步使所述装置:
接收说明车辆姿态的输入,
其中,所述车辆姿态包括车辆位置和车辆前进方向。
13.根据权利要求11所述的装置,其中,所述收敛标准包括最大迭代次数、目标误差水平或其组合。
14.根据权利要求11所述的装置,其中,进一步使所述装置:
搜索一组候选纵向偏移,其中对于每个候选纵向偏移搜索相应的一组候选横向偏移和相应的一组候选车辆前进方向,以确定相应的一组车辆姿态局部最优;和
从所述一组候选纵向偏移中选择纵向偏移,所选择的纵向偏移与相应的一组局部最优中使得所述横向误差、所述车辆行驶方向误差、纵向误差或其组合最小的全局最优相对应,
其中,基于所述全局最优对车辆姿态进行定位。
15.根据权利要求14所述的装置,其中,所述输入包括车辆姿态的有序集,并且其中,所述全局最优是相对于车辆姿态的所述有序集确定的。
16.根据权利要求15所述的装置,其中,进一步使所述装置:
反转车辆姿态的有序集;和
基于所述全局最优的模糊度来确定所述全局最优的质量,作为所述有序集和反转的所述有序集的解。
17.根据权利要求14所述的装置,其中,进一步使所述装置:
基于相应的一组局部最优确定轨迹;以及
基于所述轨迹约束车辆姿态的定位。
18.一种用于在地图上定位车辆姿态的非暂时性计算机可读存储介质,其承载一个或多个指令的一个或多个序列,当由一个或多个处理器执行时,一个或多个指令的一个或多个序列使装置至少执行以下步骤:
接收说明相对于地图的道路车道的车辆姿态的输入,其中所述车辆姿态包括车辆位置和车辆前进方向;
搜索一组候选横向偏移,以选择使应用了横向偏移的车辆位置与道路车道的横向位置之间的横向误差最小的横向偏移,其中所述横向偏移和所述横向误差与车道的行驶方向成横向,并且其中所述车道的横向位置和行驶方向是从所述地图确定的;
以所选择的横向偏移搜索一组候选车辆前进方向,以选择使车辆前进方向与车道行驶方向之间的前进方向误差最小的车辆前进方向;以及
基于所选择的横向偏移和所选择的车辆前进方向确定车辆姿态的局部最优,
其中,基于所述局部最优将车辆姿态定位到所述地图。
19.根据权利要求18所述的非暂时性计算机可读存储介质,还包括:
在搜索一组候选横向偏移与搜索一组候选车辆前进方向之间进行迭代,以使得横向误差和前进方向误差最小。
20.根据权利要求18所述的非暂时性计算机可读存储介质,其中,执行所述迭代直到满足收敛标准。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/209,549 US11226630B2 (en) | 2018-12-04 | 2018-12-04 | Method and apparatus for estimating a localized position on a map |
US16/209,549 | 2018-12-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111272180A true CN111272180A (zh) | 2020-06-12 |
Family
ID=68766628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911225765.4A Pending CN111272180A (zh) | 2018-12-04 | 2019-12-04 | 用于估计地图上的定位位置的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11226630B2 (zh) |
EP (1) | EP3663718B1 (zh) |
CN (1) | CN111272180A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861833A (zh) * | 2021-04-26 | 2021-05-28 | 禾多科技(北京)有限公司 | 车辆车道级定位方法、装置、电子设备和计算机可读介质 |
CN113362488A (zh) * | 2021-08-11 | 2021-09-07 | 智联万维科技有限公司 | Obd监测数据处理系统 |
WO2023065342A1 (zh) * | 2021-10-22 | 2023-04-27 | 华为技术有限公司 | 车辆及其定位方法、装置、设备、计算机可读存储介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016213782A1 (de) * | 2016-07-27 | 2018-02-01 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn |
US11383722B2 (en) * | 2019-01-02 | 2022-07-12 | Qualcomm Incorporated | Methods and systems for managing interactions between vehicles with varying levels of autonomy |
US11475675B2 (en) * | 2019-07-08 | 2022-10-18 | Uatc, Llc | Systems and methods for identifying unknown instances |
DE102019135405B3 (de) * | 2019-12-20 | 2021-01-21 | Audi Ag | Verfahren zum Betrieb eines abstandsmessenden Umgebungssensors eines Kraftfahrzeugs und Kraftfahrzeug |
DE102020206356A1 (de) | 2020-05-20 | 2021-11-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln einer Ausgangspose eines Fahrzeugs |
US11487293B2 (en) * | 2020-11-20 | 2022-11-01 | Automotive Research & Testing Center | Map-information obstacle-tracking system and method |
CN114111816B (zh) * | 2021-11-16 | 2022-10-04 | 北京长隆讯飞科技有限公司 | 一种基于人工智能的低成本车道级高精度地图的方法 |
US20230400306A1 (en) * | 2022-06-14 | 2023-12-14 | Volvo Car Corporation | Localization for autonomous movement using vehicle sensors |
CN115826021B (zh) * | 2023-02-14 | 2023-04-25 | 国网吉林省电力有限公司信息通信公司 | 一种采用卫星影像辅助和无线通信网络的定位方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120271540A1 (en) * | 2009-10-22 | 2012-10-25 | Krzysztof Miksa | System and method for vehicle navigation using lateral offsets |
US8825265B1 (en) * | 2012-03-16 | 2014-09-02 | Google Inc. | Approach for consolidating observed vehicle trajectories into a single representative trajectory |
US9199643B1 (en) * | 2014-09-25 | 2015-12-01 | GM Global Technology Operations LLC | Sensor odometry and application in crash avoidance vehicle |
CN106355948A (zh) * | 2015-07-17 | 2017-01-25 | 本田技研工业株式会社 | 转弯预测 |
CN106441354A (zh) * | 2015-08-11 | 2017-02-22 | 通用汽车环球科技运作有限责任公司 | 用于使用横向偏移数据来评估车载导航系统的运行的方法和设备 |
CN108061555A (zh) * | 2016-11-09 | 2018-05-22 | 华为技术有限公司 | 一种车辆定位误差矫正方法及装置 |
JP6342104B1 (ja) * | 2017-03-27 | 2018-06-13 | 三菱電機株式会社 | 車両位置推定装置 |
CN108369418A (zh) * | 2015-09-22 | 2018-08-03 | 蓝宝机噐人技术股份公司 | 用于自主车辆的虚拟线路跟随和改进方法 |
US20180267172A1 (en) * | 2017-03-20 | 2018-09-20 | Hyundai Motor Company | System and method for recognizing position of vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE602006021188D1 (de) | 2005-07-26 | 2011-05-19 | Macdonald Dettwiler & Associates Inc | Ahrzeug |
US8775006B2 (en) | 2011-07-14 | 2014-07-08 | GM Global Technology Operations LLC | System and method for enhanced vehicle control |
US9888364B2 (en) | 2016-06-17 | 2018-02-06 | Lightmetrics Technologies Pvt. Ltd. | Localizing a smartphone in a moving vehicle |
US10379538B1 (en) * | 2017-03-20 | 2019-08-13 | Zoox, Inc. | Trajectory generation using motion primitives |
US11188089B2 (en) * | 2018-06-21 | 2021-11-30 | Ford Global Technologies, Llc | Localization for autonomous vehicles using gaussian mixture models |
US10678245B2 (en) * | 2018-07-27 | 2020-06-09 | GM Global Technology Operations LLC | Systems and methods for predicting entity behavior |
-
2018
- 2018-12-04 US US16/209,549 patent/US11226630B2/en active Active
-
2019
- 2019-12-03 EP EP19213178.7A patent/EP3663718B1/en active Active
- 2019-12-04 CN CN201911225765.4A patent/CN111272180A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120271540A1 (en) * | 2009-10-22 | 2012-10-25 | Krzysztof Miksa | System and method for vehicle navigation using lateral offsets |
US8825265B1 (en) * | 2012-03-16 | 2014-09-02 | Google Inc. | Approach for consolidating observed vehicle trajectories into a single representative trajectory |
US9199643B1 (en) * | 2014-09-25 | 2015-12-01 | GM Global Technology Operations LLC | Sensor odometry and application in crash avoidance vehicle |
CN106355948A (zh) * | 2015-07-17 | 2017-01-25 | 本田技研工业株式会社 | 转弯预测 |
CN106441354A (zh) * | 2015-08-11 | 2017-02-22 | 通用汽车环球科技运作有限责任公司 | 用于使用横向偏移数据来评估车载导航系统的运行的方法和设备 |
CN108369418A (zh) * | 2015-09-22 | 2018-08-03 | 蓝宝机噐人技术股份公司 | 用于自主车辆的虚拟线路跟随和改进方法 |
CN108061555A (zh) * | 2016-11-09 | 2018-05-22 | 华为技术有限公司 | 一种车辆定位误差矫正方法及装置 |
US20180267172A1 (en) * | 2017-03-20 | 2018-09-20 | Hyundai Motor Company | System and method for recognizing position of vehicle |
CN108627175A (zh) * | 2017-03-20 | 2018-10-09 | 现代自动车株式会社 | 用于识别车辆位置的系统和方法 |
JP6342104B1 (ja) * | 2017-03-27 | 2018-06-13 | 三菱電機株式会社 | 車両位置推定装置 |
Non-Patent Citations (2)
Title |
---|
WANG, Q: "Stereovision-based lateral offset measurement for vehicle navigation in cultivated stubble fields", BIOSYSTEMS ENGINEERING, vol. 109, no. 4, pages 258 - 265, XP028239252, DOI: 10.1016/j.biosystemseng.2011.04.006 * |
季宇寒: "基于激光雷达的巡检机器人导航系统研究", 农业机械学报, vol. 49, no. 2, pages 14 - 21 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861833A (zh) * | 2021-04-26 | 2021-05-28 | 禾多科技(北京)有限公司 | 车辆车道级定位方法、装置、电子设备和计算机可读介质 |
CN113362488A (zh) * | 2021-08-11 | 2021-09-07 | 智联万维科技有限公司 | Obd监测数据处理系统 |
CN113362488B (zh) * | 2021-08-11 | 2021-10-15 | 智联万维科技有限公司 | Obd监测数据处理系统 |
WO2023065342A1 (zh) * | 2021-10-22 | 2023-04-27 | 华为技术有限公司 | 车辆及其定位方法、装置、设备、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3663718B1 (en) | 2022-03-16 |
US11226630B2 (en) | 2022-01-18 |
US20200174487A1 (en) | 2020-06-04 |
EP3663718A1 (en) | 2020-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3663718B1 (en) | Method and apparatus for estimating a localized position on a map | |
US11651244B2 (en) | Method and apparatus for predicting sensor error | |
US11301722B2 (en) | Method, apparatus, and system for providing map embedding analytics | |
US10281285B2 (en) | Method and apparatus for providing a machine learning approach for a point-based map matcher | |
US10373002B2 (en) | Method, apparatus, and system for a parametric representation of lane lines | |
US20190102674A1 (en) | Method, apparatus, and system for selecting training observations for machine learning models | |
US10997740B2 (en) | Method, apparatus, and system for providing real-world distance information from a monocular image | |
US11507775B2 (en) | Method and apparatus for matching heterogeneous feature spaces | |
US11170485B2 (en) | Method, apparatus, and system for automatic quality assessment of cross view feature correspondences using bundle adjustment techniques | |
US11024054B2 (en) | Method, apparatus, and system for estimating the quality of camera pose data using ground control points of known quality | |
EP3786584A1 (en) | Method, apparatus, and system for selecting sensor systems for map feature accuracy and reliability specifications | |
US11215462B2 (en) | Method, apparatus, and system for location correction based on feature point correspondence | |
US20200110817A1 (en) | Method, apparatus, and system for providing quality assurance for map feature localization | |
US11578982B2 (en) | Method and apparatus for map matching trace points to a digital map | |
US10902634B2 (en) | Method and apparatus for providing feature triangulation | |
CN111126130A (zh) | 基于环境的地图数据检索的方法和装置 | |
EP3594852B1 (en) | Method, apparatus, and system for constructing a polyline from line segments | |
US10949707B2 (en) | Method, apparatus, and system for generating feature correspondence from camera geometry | |
US10909714B2 (en) | Method, apparatus, and system for providing a distance marker in an image | |
EP3760975A1 (en) | Method and apparatus for providing inferential location estimation | |
EP3569984B1 (en) | Method and apparatus for generating navigation guidance for an incomplete map | |
US20200175284A1 (en) | Method and apparatus for providing real time feature triangulation | |
US10970597B2 (en) | Method, apparatus, and system for priority ranking of satellite images | |
US20240013554A1 (en) | Method, apparatus, and system for providing machine learning-based registration of imagery with different perspectives |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |