CN112880691B - 一种全局定位初始化方法及装置 - Google Patents
一种全局定位初始化方法及装置 Download PDFInfo
- Publication number
- CN112880691B CN112880691B CN201911198600.2A CN201911198600A CN112880691B CN 112880691 B CN112880691 B CN 112880691B CN 201911198600 A CN201911198600 A CN 201911198600A CN 112880691 B CN112880691 B CN 112880691B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- historical
- road
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011423 initialization method Methods 0.000 title claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000002372 labelling Methods 0.000 claims description 32
- 238000005259 measurement Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开一种全局定位初始化方法及装置,该方法包括:若确定目标车辆需要进行定位初始化,获得目标车辆的目标图像采集设备在初始化时刻采集的第一道路图像;将第一道路图像与历史图像进行匹配,确定出与第一道路图像匹配的目标历史图像;从目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;对检测出第一道路图像中的感知数据;基于感知数据、每一目标历史图像对应的地图语义数据和位姿信息,确定出目标车辆在初始化时刻的位姿信息;基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位,以实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。
Description
技术领域
本发明涉及智能驾驶技术领域,具体而言,涉及一种全局定位初始化方法及装置。
背景技术
在自动驾驶技术领域中,车辆在目标场景行驶的过程中,可能会出现车辆的GPS(Global Positioning System,全球定位系统)、车辆的IMU(Inertial measurement unit,惯性测量单元)以及图像采集设备在某一时间段内均失效的情况。其中,该GPS失效可以指车辆接收不到GPS测量所得的GPS定位数据,该IMU失效可以指车辆接收不到IMU测量所得的IMU定位数据,该图像采集设备失效可以指图像采集设备采集不到图像。
出现上述情况后,车辆的定位结果则会受到影响,这时候则需要实现车辆的定位初始化。相关技术中在确定需要对车辆进行定位初始化时,需要控制车辆行驶至目标场景的指定位置后,基于指定位置对车辆进行定位初始化,获得车辆当前的定位结果,进而,基于该定位结果进行该车辆的后续行驶过程的定位。
上述过程中,需要控制车辆行驶至目标场景的指定位置后才能对车辆进行定位初始化,车辆定位初始化不够及时,不够安全。
发明内容
本发明提供了一种全局定位初始化方法及装置,以实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。具体的技术方案如下:
第一方面,本发明实施例提供了一种全局定位初始化方法,包括:
若确定在目标场景行驶的目标车辆需要进行定位初始化,获得所述目标车辆的目标图像采集设备在初始化时刻针对所述目标车辆所处位置采集的第一道路图像;
将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像,其中,所述历史图像为:标注车辆在所述目标场景行驶的过程中,所述标注车辆的标注图像采集设备针对所述标注车辆所经过的位置采集的图像;
从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;
对所述第一道路图像进行检测,确定出所述第一道路图像中的感知数据;
基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息;
基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位。
可选的,在所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息的步骤之后,所述方法还包括:
获得所述目标图像采集设备在所述初始化时刻之后的每一时刻针对所述目标车辆所处位置采集的第二道路图像;
针对所述初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与所述历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像;
针对所述初始化时刻之后的每一时刻,从所述目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据;
针对所述初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据;
针对所述初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息;
所述基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位的步骤,包括:
在确定当前时刻满足预设初始化条件的情况下,获得从所述初始化时刻到当前时刻,所述目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定所述目标车辆从所述初始化时刻到所述当前时刻行驶生成的参考运行轨迹;
利用所述参考运行轨迹修正所述目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹,其中,所述位姿运行轨迹为:基于所述目标车辆在从所述初始化时刻到所述当前时刻的位姿信息确定的轨迹;
基于所述修正后的位姿运行轨迹,确定所述目标车辆在当前时刻的位姿信息;
基于所述目标车辆在所述当前时刻的位姿信息、所述目标车辆在所述当前时刻之后采集的道路图像以及所述电子导航地图,进行定位。
可选的,所述从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据的步骤,包括:
基于每一目标历史图像以及预设的对应关系,从所述目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据,其中,所述对应关系包括:每一历史图像与所述标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与所述目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
可选的,所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息的步骤,包括:
基于所述感知数据、每一目标历史图像对应的地图语义数据,确定与所述感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;
基于所述目标地图语义数据对应的目标历史图像对应的位姿信息,确定所述目标车辆在所述初始化时刻的位姿信息。
可选的,所述第一道路图像包括所述目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:所述标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像的步骤,包括:
将所述前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与所述前向第一道路图像匹配的至少一个前向历史图像;
将所述后向第一道路图像与所述历史图像中的后向历史图像进行匹配,确定与所述后向第一道路图像匹配的至少一个后向历史图像;
将所述左侧第一道路图像与所述历史图像中的左侧历史图像进行匹配,确定与所述左侧第一道路图像匹配的至少一个左侧历史图像;
将所述右侧第一道路图像与所述历史图像中的右侧历史图像进行匹配,确定与所述右侧第一道路图像匹配的至少一个右侧历史图像;
从与所述前向第一道路图像匹配的至少一个前向历史图像、与所述后向第一道路图像匹配的至少一个后向历史图像、与所述左侧第一道路图像匹配的至少一个左侧历史图像以及与所述右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与所述第一道路图像匹配的目标历史图像。
第二方面,本发明实施例提供了一种全局定位初始化装置,所述装置包括:
第一获得模块,被配置为若确定在目标场景行驶的目标车辆需要进行定位初始化,获得所述目标车辆的目标图像采集设备在初始化时刻针对所述目标车辆所处位置采集的第一道路图像;
第一确定模块,被配置为将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像,其中,所述历史图像为:标注车辆在所述目标场景行驶的过程中,所述标注车辆的标注图像采集设备针对所述标注车辆所经过的位置采集的图像;
第二获得模块,被配置为从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;
第二确定模块,被配置为对所述第一道路图像进行检测,确定出所述第一道路图像中的感知数据;
第三确定模块,被配置为基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息;
定位模块,被配置为基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位。
可选的,所述装置还包括:
第三获得模块,被配置为在所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息之后,获得所述目标图像采集设备在所述初始化时刻之后的每一时刻针对所述目标车辆所处位置采集的第二道路图像;
第四确定模块,被配置为针对所述初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与所述历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像;
第五确定模块,被配置为针对所述初始化时刻之后的每一时刻,从所述目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据;
第六确定模块,被配置为针对所述初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据;
第七确定模块,被配置为针对所述初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息;
所述定位模块,被具体配置为在确定当前时刻满足预设初始化条件的情况下,获得从所述初始化时刻到当前时刻,所述目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定所述目标车辆从所述初始化时刻到所述当前时刻行驶生成的参考运行轨迹;
利用所述参考运行轨迹修正所述目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹,其中,所述位姿运行轨迹为:基于所述目标车辆在从所述初始化时刻到所述当前时刻的位姿信息确定的轨迹;
基于所述修正后的位姿运行轨迹,确定所述目标车辆在当前时刻的位姿信息;
基于所述目标车辆在所述当前时刻的位姿信息、所述目标车辆在所述当前时刻之后采集的道路图像以及所述电子导航地图,进行定位。
可选的,所述第二获得模块,被具体配置为基于每一目标历史图像以及预设的对应关系,从所述目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据,其中,所述对应关系包括:每一历史图像与所述标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与所述目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
可选的,所述第三确定模块,被具体配置为基于所述感知数据、每一目标历史图像对应的地图语义数据,确定与所述感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;
基于所述目标地图语义数据对应的目标历史图像对应的位姿信息,确定所述目标车辆在所述初始化时刻的位姿信息。
可选的,所述第一道路图像包括所述目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:所述标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述第一确定模块,被具体配置为将所述前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与所述前向第一道路图像匹配的至少一个前向历史图像;
将所述后向第一道路图像与所述历史图像中的后向历史图像进行匹配,确定与所述后向第一道路图像匹配的至少一个后向历史图像;
将所述左侧第一道路图像与所述历史图像中的左侧历史图像进行匹配,确定与所述左侧第一道路图像匹配的至少一个左侧历史图像;
将所述右侧第一道路图像与所述历史图像中的右侧历史图像进行匹配,确定与所述右侧第一道路图像匹配的至少一个右侧历史图像;
从与所述前向第一道路图像匹配的至少一个前向历史图像、与所述后向第一道路图像匹配的至少一个后向历史图像、与所述左侧第一道路图像匹配的至少一个左侧历史图像以及与所述右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与所述第一道路图像匹配的目标历史图像。
由上述内容可知,本发明实施例提供的一种全局定位初始化方法及装置,若确定在目标场景行驶的目标车辆需要进行定位初始化,获得目标车辆的目标图像采集设备在初始化时刻针对目标车辆所处位置采集的第一道路图像;将第一道路图像与预先存储的历史图像进行匹配,确定出与第一道路图像匹配的每一历史图像,作为目标历史图像,其中,历史图像为:标注车辆在目标场景行驶的过程中,标注车辆的标注图像采集设备针对标注车辆所经过的位置采集的图像;从目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;对第一道路图像进行检测,确定出第一道路图像中的感知数据;基于感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出目标车辆在初始化时刻的位姿信息;基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位。
应用本发明实施例,可以先基于在目标场景中实时采集的第一道路图像与预存的该目标场景的历史图像,确定出与第一道路图像相似的目标历史图像,进而,基于每一目标历史图像对应的地图语义数据、第一道路图像中的感知数据以及每一目标历史图像对应的位姿信息,即标注车辆采集得到该目标历史图像时的位姿信息,确定第一道路图像对应的位姿信息,即确定出目标车辆在初始化时刻的位姿信息,进而基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位,以实现在车辆确定需要进行定位初始化后即可实现定位初始化,实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、可以先基于在目标场景中实时采集的第一道路图像与预存的该目标场景的历史图像,确定出与第一道路图像相似的目标历史图像,进而,基于每一目标历史图像对应的地图语义数据、第一道路图像中的感知数据以及每一目标历史图像对应的位姿信息,即标注车辆采集得到该目标历史图像时的位姿信息,确定第一道路图像对应的位姿信息,即确定出目标车辆在初始化时刻的位姿信息,进而基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位,以实现在车辆确定需要进行定位初始化后即可实现定位初始化,实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。
2、为了在一定程度上更好的提高定位初始化的准确性,可以基于确定进行定位初始化之后的多个时刻,即初始化时刻即之后的多个时刻采集的道路图像,从历史图像中匹配出与每一道路图像相似的历史图像,进而,针对每一道路图像,利用该道路图像中的感知数据、与该道路图像相似的历史图像对应的地图语义数据以及位姿信息,确定出初始化时刻即之后的多个时刻目标车辆的位姿信息;并在确定当前时刻满足预设初始化条件的情况下,获得基于从初始化时刻到当前时刻,目标车辆的辅助导航设备采集的辅助导航数据生成的参考运行轨迹,利用该参考运行轨迹对上述利用道路图像得到的位姿信息形成的位姿运行轨迹进行修正,利用修正后的位姿运行轨迹,确定目标车辆在当前时刻的位姿信息,再结合目标车辆在当前时刻之后采集的道路图像以及电子导航地图,进行定位,通过辅助导航数据生成的参考运行轨迹的修正,得到更准确地目标车辆的位姿信息,实现对目标车辆的及时的准确性更高的定位初始化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的全局定位初始化方法的一种流程示意图;
图2为本发明实施例提供的全局定位初始化方法的另一种流程示意图;
图3为本发明实施例提供的全局定位初始化装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种全局定位初始化方法及装置,以实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的全局定位初始化方法的一种流程示意图。该方法可以包括以下步骤:
S101:若确定在目标场景行驶的目标车辆需要进行定位初始化,获得目标车辆的目标图像采集设备在初始化时刻针对目标车辆所处位置采集的第一道路图像。
本发明实施例中,该方法可以应用于任一类型的具有计算能力的电子设备中,该电子设备可以为服务器或者终端设备。该电子设备可以设置于车辆内,为车载设备,也可以未设置于车辆内,为非车载设备,这都是可以的。
本发明实施例中,称目标车辆上所设置的图像采集设备为目标图像采集设备,电子设备可以与目标车辆的目标图像采集设备连接,获得目标图像采集设备采集的道路图像。其中,该目标车辆可以是在目标场景中行驶的且需要进行定位初始化的车辆。该目标场景可以是任一类型的场景,例如:地下停车场或地上停车中或任一道路。
目标车辆中可以设置有至少一图像采集设备,举例而言,该目标车辆可以设置有四个图像采集设备,即目标图像采集设备包括四个图像采集设备,该四个图像采集设备可以分别设置于目标车辆的前方、左侧、右侧以及后方,以针对目标车辆所处位置的四周进行拍摄。其中,设置于目标车辆的前方的图像采集设备可以针对车辆行驶方向的前方环境进行拍摄;设置于目标车辆的左侧的图像采集设备可以针对车辆行驶方向的左侧环境进行拍摄;设置于目标车辆的右侧的图像采集设备可以针对车辆行驶方向的右侧环境进行拍摄;设置于目标车辆的后方的图像采集设备可以针对车辆行驶方向的后方环境进行拍摄。
在一种情况中,电子设备在确定车辆所设置的GPS(Global Positioning System,全球定位系统)、IMU(Inertial measurement unit,惯性测量单元)以及图像采集设备等用于定位的设备均失效,进而图像采集设备恢复的情况下,可以确定目标车辆需要进行定位初始化,或者,可以是电子设备检测到GPS测量所得的GPS定位数据、IMU测量所得的IMU定位数据和/或图像采集设备采集的图像等准确性不高的情况下,可以确定目标车辆需要进行定位初始化。进而,电子设备若确定在目标场景行驶的目标车辆需要进行定位初始化,可以获得目标车龄的目标图像采集设备在初始化时刻针对目标车辆所处位置采集的道路图像,作为第一道路图像。
其中,该初始化时刻可以指电子设备确定目标车辆需要进行定位初始化的时刻。该GPS失效可以指车辆接收不到GPS测量所得的GPS定位数据,该IMU失效可以指车辆接收不到IMU测量所得的IMU定位数据,该图像采集设备失效可以指图像采集设备采集不到图像。
在一种情况中,目标场景中存在预先设置的行驶道路,车辆需沿着行驶道路进行行驶。
S102:将第一道路图像与预先存储的历史图像进行匹配,确定出与第一道路图像匹配的每一历史图像,作为目标历史图像。
其中,历史图像为:标注车辆在目标场景行驶的过程中,标注车辆的标注图像采集设备针对标注车辆所经过的位置采集的图像。
电子设备本地或所连接的存储设备,可以预先存储有历史图像,该历史图像为:标注车辆在目标场景行驶的过程中,标注车辆的标注图像采集设备针对标注车辆所经过的位置采集的图像。可以理解的是,标注图像采集设备在采集得到图像时,该标注车辆所设置的定位设备可以针对标志车辆在采集得到图像的时刻进行定位,以得到该标注图像采集设备采集得到图像时,标注车辆的位姿信息。
在一种情况中,为了更好的保证全局定位初始化结果的准确性以及可行性,标注车辆可以在目标场景中进行完整的行驶,并获得相应的历史图像以及标注车辆采集得到历史图像时的位姿信息。
本步骤中,电子设备可以将第一道路图像与预先存储的每一历史图像进行匹配,即利用预先设置的图像相似度算法,计算该第一道路图像与每一历史图像之间的相似度;进而,基于该第一道路图像与每一历史图像之间的相似度,将所对应相似度满足预设图像匹配条件的历史图像,确定为与第一道路图像匹配的历史图像,作为目标历史图像。一种情况,满足预设图像匹配条件的历史图像可以是:所对应相似度最大的预设数量个历史图像;另一种情况,满足预设图像匹配条件的历史图像可以是:所对应该相似度大于预设相似度阈值的历史图像,这都是可以的。
其中,上述图像相似度算法可以是:SIFT(Scale-invariant feature transform尺度不变特征转换)算法以及SSIM(structural similarity index,结构相似性)算法等相关技术中可以实现对图像的相似度进行量化的算法,本发明实施例并不对上述图像相似度算法的具体类型进行限定。
S103:从目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据。
其中,标注车辆的标注图像采集设备得到每一历史图像时,均存在一标注车辆的标注图像采集设备采集得到该历史图像时的位姿信息,基于该位姿信息可以从电子导航地图中确定出,标注车辆处于该位姿信息对应的位姿时,其设置的标注图像采集设备的可视范围内的地图语义数据。相应的,电子设备确定每一目标历史图像之后,可以从目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据。
可以理解的是,该电子导航地图包括地图语义数据,该地图语义数据可以包括:表征电子导航地图对应的目标场景中包括且不限于的车道线、路灯杆、交通标识牌以及停车位等目标的语义信息,该语义信息可以为:表征所对应车道线、路灯杆、交通标识牌以及停车位的形状、尺寸、类型以及在电子导航地图对应的目标场景中的位置的信息。该电子导航地图可以为高精度地图。
S104:对第一道路图像进行检测,确定出第一道路图像中的感知数据。
本步骤中,可以通过基于深度学习的目标检测模型,从第一道路图像中检测出其中的感知数据及每一感知数据在第一道路图像中的位置信息,其中,该感知数据可以包括表征第一道路图像中所包含目标的形状、类型以及尺寸等信息,该目标可以包括但不限于目标场景中的车道线、路灯杆、交通标志牌以及停车位等。该目标检测模型可以是基于标注有目标的样本图像训练所得的模型,其中,训练模型的过程,可以参见相关技术中模型训练过程,在此不再赘述。
S105:基于感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出目标车辆在初始化时刻的位姿信息。
在一种实现方式中,电子设备可以基于第一道路图像中的感知数据以及每一目标历史图像对应的地图语义数据,确定出与该第一道路图像中的感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;进而,可以基于该目标地图语义数据对应的目标历史图像对应的位姿信息,确定目标车辆在采集得到第一道路图像时的位姿信息,即确定目标车辆在初始化时刻的位姿信息。
一种实现,上述基于第一道路图像中的感知数据以及每一目标历史图像对应的地图语义数据,确定出与该第一道路图像中的感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据的过程,可以是:基于第一道路图像中的感知数据在第一道路图像中的位置信息、每一目标历史图像对应的地图语义数据在电子导航地图中的位置信息以及每一目标历史图像对应的位姿信息,确定出与该第一道路图像中的感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据。
具体的可以是:针对每一目标历史图像,基于该目标历史图像对应的位姿信息,以及该目标历史图像对应的地图语义数据在电子导航地图中的位置信息,确定该目标历史图像对应的地图语义数据在第一道路图像中的投影位置信息;基于该目标历史图像对应的地图语义数据在第一道路图像中的投影位置信息,以及感知数据在第一道路图像中的位置信息,确定该目标历史图像对应的地图语义数据与感知数据之间的距离;将与感知数据的距离最小的目标历史图像对应的地图语义数据,作为目标地图语义数据。或者,可以是:针对每一目标历史图像,基于该目标历史图像对应的位姿信息,以及感知数据在第一道路图像中的位置信息,确定感知数据在电子导航地图中的映射位置信息;基于该目标历史图像对应的地图语义数据在电子导航地图中的位置信息,以及感知数据在电子导航地图中的映射位置信息,确定该目标历史图像对应的地图语义数据与感知数据之间的距离;将与感知数据的距离最小的目标历史图像对应的地图语义数据,作为目标地图语义数据。
可以理解的是,目标场景中的各目标与电子导航地图中的地图语义数据存在一一对应关系,相应的,第一道路图像中的感知数据与目标历史图像对应的地图语义数据存在一一对应关系。相应的,一种情况中,确定该目标历史图像对应的地图语义数据与感知数据之间的距离的过程可以是:首先针对分别计算各感知数据和与其存在对应关系的目标历史图像对应的地图语义数据之间的距离,进而,计算感知数据和与其存在对应关系的目标历史图像对应的地图语义数据之间的距离的和,作为该目标历史图像对应的地图语义数据与感知数据之间的距离。
另一种实现,上述基于第一道路图像中的感知数据以及每一目标历史图像对应的地图语义数据,确定出与该第一道路图像中的感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据的过程,可以是:针对每一目标历史图像对应的地图语义数据,将该目标历史图像对应的地图语义数据与感知数据进行匹配,从目标历史图像中,确定出所对应各地图语义数据的类型与各感知数据的类型相同,且所对应各地图语义数据之间的相对位置关系,与各感知数据之间的相对位置关系相同的目标历史图像,作为目标地图语义数据。
后续的,上述基于该目标地图语义数据对应的目标历史图像对应的位姿信息,确定目标车辆在采集得到第一道路图像时的位姿信息的过程,可以是:直接将该目标地图语义数据对应的目标历史图像对应的位姿信息,确定为目标车辆在采集得到第一道路图像时的位姿信息;或者,可以是:基于该目标地图语义数据对应的目标历史图像对应的位姿信息以及该目标地图语义数据在目标历史图像中的位置信息,确定目标地图语义数据投影至第一道路图像中的投影位置信息;基于该目标地图语义数据投影至第一道路图像中的投影位置信息,与感知数据在第一道路图像中的位置信息,计算目标地图语义数据与感知数据之间的距离;判断该距离是否小于预设距离阈值;若判断结果为该距离小于预设距离阈值,则将该目标地图语义数据对应的目标历史图像对应的位姿信息,确定为目标车辆在采集得到第一道路图像时的位姿信息;若判断结果为该距离不小于预设距离阈值,则调整目标地图语义数据对应的目标历史图像对应的位姿信息,得到调整后的位姿信息;基于该调整后的位姿信息以及该目标地图语义数据在目标历史图像中的位置信息,确定目标地图语义数据投影至第一道路图像中的投影位置信息;并执行该基于该目标地图语义数据投影至第一道路图像中的投影位置信息,与感知数据在第一道路图像中的位置信息,计算目标地图语义数据与感知数据之间的距离的步骤。
S106:基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位。
一种实现方式,电子设备确定出目标车辆在初始化时刻的位姿信息之后,可以认为目标车辆的定位初始化完成,将目标车辆在初始化时刻的位姿信息作为初始的位姿信息,基于该位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位。
在一种情况中,在基于该位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位时,若目标车辆的辅助导航设备恢复正常,可结合该位姿信息、目标车辆在初始化时刻之后采集的道路图像、电子导航地图以及该辅助导航设备采集的辅助导航数据,共同实现目标车辆的定位。
上述基于该位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位的过程可以是:针对初始化时刻之后的每一时刻,利用基于深度学习的目标检测模型,从目标车辆在该时刻采集的道路图像中检测出其中的感知数据及每一感知数据在目标车辆在该时刻采集的道路图像中的位置信息,并基于该位姿信息以及目标车辆的辅助导航设备采集的辅助导航数据,确定该时刻的预估位姿信息,从电子导航地图中确定出与该时刻采集的道路图像中的感知数据匹配的地图语义数据;基于与该时刻采集的道路图像中的感知数据匹配的地图语义数据在电子导航地图中的位置信息,该时刻采集的道路图像中的感知数据在该时刻采集的道路图像中的位置信息,以及该时刻的预估位姿信息,确定目标车辆在该时刻的较准确的位姿信息。
应用本发明实施例,可以先基于在目标场景中实时采集的第一道路图像与预存的该目标场景的历史图像,确定出与第一道路图像相似的目标历史图像,进而,基于每一目标历史图像对应的地图语义数据、第一道路图像中的感知数据以及每一目标历史图像对应的位姿信息,即标注车辆采集得到该目标历史图像时的位姿信息,确定第一道路图像对应的位姿信息,即确定出目标车辆在初始化时刻的位姿信息,进而基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位,以实现在车辆确定需要进行定位初始化后即可实现定位初始化,实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。
在本发明的另一实施例中,所述S103,可以包括:
基于每一目标历史图像以及预设的对应关系,从目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据。
其中,该对应关系包括:每一历史图像与标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
本发明实施例中,电子设备本地或所连接的存储设备,可以预先存储有预设的对应关系,其中,该对应关系包括:每一历史图像与标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与目标场景对应的电子导航地图中的地图语义数据之间的对应关系;进而,电子设备确定出目标历史图像之后,可以基于每一目标历史图像以及对应关系,从目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据。
一种实现方式,该对应关系包括:每一历史图像与标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系。相应的,电子设备可以针对每一目标历史图像,基于该目标历史图像对应的标注车辆的位姿信息,从电子导航地图中,确定出该标注车辆的位姿信息对应的地图区域,将该标注车辆的位姿信息对应的地图区域中包含的地图语义数据,作为该目标历史图像对应的地图语义数据。
另一实现方式,该对应关系包括:每一历史图像与目标场景对应的电子导航地图中的地图语义数据之间的对应关系。相应的,电子设备可以针对每一目标历史图像,直接基于该对应关系以及该目标历史图像,确定出该目标历史图像对应的地图语义数据。
在一种情况中,为了保证定位初始化的准确性和可行性,目标图像采集设备在目标车辆上的设置位置与标注图像采集设备在标注车辆上的设置位置相同,例如:均设置在车辆的前方、后方、左侧和/或右侧;并且所设置的数量也相同。其中,该目标图像采集设备可以包括至少一图像采集设备,一种实现,当该目标图像采集设备包括多个图像采集设备时,可以是将多个图像采集设备采集的图像进行拼接得到一帧拼接图像,作为第一道路图像,相应的,每一历史图像为将标注图像采集设备中的多个图像采集设备采集的图像拼接得到的图像。后续的,电子设备可以直接计算第一道路图像与每一历史图像之间的相似度。
另一种实现,当该目标图像采集设备包括多个图像采集设备时,也可以是直接将该多个图像采集设备采集的图像作为第一道路图像,相应的,每一历史图像包括标注图像采集设备中的多个图像采集设备采集的图像。后续的,电子设备针对每一历史图像,计算第一道路图像中的每一图像与该历史图像中该图像相应的图像之间的相似度;当该第一道路图像中的每一图像与历史图像中每一相应的图像之间的相似度,均满足上述预设图像匹配条件时,确定该历史图像与第一道路图像匹配。
在本发明的一实施例中,第一道路图像可以包括目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述S102,可以包括:
将前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与前向第一道路图像匹配的至少一个前向历史图像;
将后向第一道路图像与历史图像中的后向历史图像进行匹配,确定与后向第一道路图像匹配的至少一个后向历史图像;
将左侧第一道路图像与历史图像中的左侧历史图像进行匹配,确定与左侧第一道路图像匹配的至少一个左侧历史图像;
将右侧第一道路图像与历史图像中的右侧历史图像进行匹配,确定与右侧第一道路图像匹配的至少一个右侧历史图像;
从与前向第一道路图像匹配的至少一个前向历史图像、与后向第一道路图像匹配的至少一个后向历史图像、与左侧第一道路图像匹配的至少一个左侧历史图像以及与右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集时刻的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与第一道路图像匹配的目标历史图像。
其中,前向第一道路图像可以是:目标图像采集设备中设置于目标车辆前方的图像采集设备采集的图像;后向第一道路图像可以是:目标图像采集设备中设置于目标车辆后方的图像采集设备采集的图像;左侧第一道路图像可以是:目标图像采集设备中设置于目标车辆左侧的图像采集设备采集的图像;右侧第一道路图像可以是:目标图像采集设备中设置于目标车辆右侧的图像采集设备采集的图像。
本实施例中,为了在一定程度上节省全局定位初始化的时间,可以是并行执行上述第一道路图像中各图像的匹配流程,以分别确定出与前向第一道路图像匹配的至少一个前向历史图像、与后向第一道路图像匹配的至少一个后向历史图像、与左侧第一道路图像匹配的至少一个左侧历史图像以及与右侧第一道路图像匹配的至少一个右侧历史图像。
可以理解的是,每一历史图像包含的四帧图像为同一采集周期采集的图像,为了确定出与第一道路图像匹配的历史图像,可以基于各历史图像中的图像对应的采集周期,从与前向第一道路图像匹配的至少一个前向历史图像、与后向第一道路图像匹配的至少一个后向历史图像、与左侧第一道路图像匹配的至少一个左侧历史图像以及与右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与第一道路图像匹配的目标历史图像。
其中,每一与第一道路图像匹配的目标历史图像中包括一帧前向历史图像、一帧后向历史图像、一帧左侧历史图像和一帧右侧历史图像,且所对应采集周期相同。
在另一实施例中,为了在一定程度上可以降低匹配计算过程,节省电子设备的计算负担。还可以是串行执行相应的图像匹配流程。具体的可以是:将前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与前向第一道路图像匹配的至少一个前向历史图像;从历史图像中,确定出包含与前向第一道路图像匹配的前向历史图像的历史图像,作为第一历史图像;将后向第一道路图像与第一历史图像中的后向历史图像进行匹配,确定与后向第一道路图像匹配的至少一个后向历史图像;从第一历史图像中,确定出包含与后向第一道路图像匹配的后向历史图像的第一历史图像,作为第二历史图像;将左侧第一道路图像与第二历史图像中的左侧历史图像进行匹配,确定与左侧第一道路图像匹配的至少一个左侧历史图像;从第二历史图像中,确定出包含与左侧第一道路图像匹配的左侧历史图像的第二历史图像,作为第三历史图像;将右侧第一道路图像与第三历史图像中的右侧历史图像进行匹配,确定与右侧第一道路图像匹配的至少一个右侧历史图像;从第三历史图像中,确定出包含与右侧第一道路图像匹配的右侧历史图像的第三历史图像,作为目标历史图像。
在本发明的另一实施例中,如图2所示,所述方法可以包括如下步骤:
S201:若确定在目标场景行驶的目标车辆需要进行定位初始化,获得目标车辆的目标图像采集设备在初始化时刻针对目标车辆所处位置采集的第一道路图像。
S202:将第一道路图像与预先存储的历史图像进行匹配,确定出与第一道路图像匹配的每一历史图像,作为目标历史图像。
其中,历史图像为:标注车辆在目标场景行驶的过程中,标注车辆的标注图像采集设备针对标注车辆所经过的位置采集的图像。
S203:从目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据。
S204:对第一道路图像进行检测,确定出第一道路图像中的感知数据。
S205:基于感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出目标车辆在初始化时刻的位姿信息。
S206:获得目标图像采集设备在初始化时刻之后的每一时刻针对目标车辆所处位置采集的第二道路图像。
S207:针对初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像。
S208:针对初始化时刻之后的每一时刻,从目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据。
S209:针对初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据。
S210:针对初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息。
S211:在确定当前时刻满足预设初始化条件的情况下,获得从初始化时刻到当前时刻,目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定目标车辆从初始化时刻到当前时刻行驶生成的参考运行轨迹。
S212:利用参考运行轨迹修正目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹。
其中,位姿运行轨迹为:基于目标车辆在从初始化时刻到当前时刻的位姿信息确定的轨迹。
S213:基于修正后的位姿运行轨迹,确定目标车辆在当前时刻的位姿信息。
S214:基于目标车辆在当前时刻的位姿信息、目标车辆在当前时刻之后采集的道路图像以及电子导航地图,进行定位。
其中,该S201与图1中所示的S101相同,该S202与图1中所示的S102相同,该S203与图1中所示的S103相同,该S204与图1中所示的S104相同,该S205与图1中所示S105相同,在此不再赘述。
本发明实施例中,为了更好的提高定位初始化的结果的准确性,可以是循环获得目标图像采集设备在初始化时刻及其之后的多个时刻,针对目标车辆所处位置采集的道路图像,即第一道路图像和第二道路图像;进而,基于所采集的第一道路图像和第二道路图像、历史图像及其对应的地图语义数据和位姿信息,确定目标图像采集设备在初始化时刻及其之后的多个时刻的位姿信息,即确定出初始化时刻及其之后的多个时刻的运行轨迹,即位姿运行轨迹;直到在确定当前时刻满足预设初始化条件的情况下,不再获得目标图像采集设备针对目标车辆所处位置采集的道路图像;而是获得从初始化时刻到当前时刻,目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定目标车辆从初始化时刻到当前时刻行驶生成的参考运行轨迹;利用该考运行轨迹修正目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹;基于修正后的位姿运行轨迹,确定目标车辆在当前时刻的位姿信息,以确定出准确性更高的定位初始化的位姿信息;进而基于该当前时刻的位姿信息、目标车辆在当前时刻之后采集的道路图像以及电子导航地图,进行定位。
理论上,参考运行轨迹与位姿运行轨迹是相同的,鉴于可能出现目标场景的不同区域的历史图像存在相似的情况,进而,导致基于目标图像采集设备采集的道路图像以及历史图像及其对应的地图语义数据和位姿信息,所确定的目标车辆在行驶过程中的位姿信息存在误差,需要利用基于辅助导航设备采集的辅助导航数据生成的参考运行轨迹,对位姿运行轨迹进行修正,通过运行轨迹的对比,从位姿运行轨迹中确定出存在错误的位姿信息,并基于该参考运行轨迹中该存在错误的位姿信息对应的位姿信息,修改该存在错误的位姿信息,得到修正后的位姿运行轨迹。
可以理解的是,参考运行轨迹包括多个辅助导航数据所表征的位姿信息,辅助导航数据与目标车辆的位姿信息存在一一对应的关系,参考运行轨迹包括多个辅助导航数据所表征的位姿信息与位姿运行轨迹中的位姿信息存在一一对应的关系。
上述基于该参考运行轨迹中该存在错误的位姿信息对应的位姿信息,修改该存在错误的位姿信息,可以是:参照该参考运行轨迹中该存在错误的位姿信息对应的位姿信息,与该参考运行轨迹中的该存在错误的位姿信息对应的位姿信息的前一位姿信息和/或后一位姿信息之间的第一位姿差异,修正该存在错误的位姿信息,使得位姿运行轨迹中该修正后的该存在错误的位姿信息与其前一位姿信息和/或后一位姿信息之间的位姿差异,与第一位姿差异相同。
其中,上述辅助导航设备可以包括但不限于IMU(惯性测量单元,Inertialmeasurement unit)、GPS(Global Positioning System,全球定位系统)设备、车轮速传感器以及惯性导航系统设备,相应的,上述辅助导航数据可以包括但不限于IMU采集的IMU定位数据、GPS采集的GPS定位数据以及惯性导航系统设备采集的惯性导航数据。基于该辅助导航设备在初始化时刻至当前时刻之间采集的辅助导航数据,可以确定出一条目标车辆从初始化时刻到当前时刻行驶生成的参考运行轨迹,该参考运行轨迹包括从初始化时刻到当前时刻中每一时刻,辅助导航设备采集的辅助导航数据所表征的目标车辆的位姿信息。
上述预设初始化条件可以是:当前时刻为初始化时刻向后预设时长对应的时刻。
相应于上述方法实施例,本发明实施例提供了一种全局定位初始化装置,如图3所示,可以包括:
第一获得模块310,被配置为若确定在目标场景行驶的目标车辆需要进行定位初始化,获得所述目标车辆的目标图像采集设备在初始化时刻针对所述目标车辆所处位置采集的第一道路图像;
第一确定模块320,被配置为将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像,其中,所述历史图像为:标注车辆在所述目标场景行驶的过程中,所述标注车辆的标注图像采集设备针对所述标注车辆所经过的位置采集的图像;
第二获得模块330,被配置为从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;
第二确定模块340,被配置为对所述第一道路图像进行检测,确定出所述第一道路图像中的感知数据;
第三确定模块350,被配置为基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息;
定位模块360,被配置为基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位。
应用本发明实施例,可以先基于在目标场景中实时采集的第一道路图像与预存的该目标场景的历史图像,确定出与第一道路图像相似的目标历史图像,进而,基于每一目标历史图像对应的地图语义数据、第一道路图像中的感知数据以及每一目标历史图像对应的位姿信息,即标注车辆采集得到该目标历史图像时的位姿信息,确定第一道路图像对应的位姿信息,即确定出目标车辆在初始化时刻的位姿信息,进而基于目标车辆在初始化时刻的位姿信息、目标车辆在初始化时刻之后采集的道路图像以及电子导航地图,进行定位,以实现在车辆确定需要进行定位初始化后即可实现定位初始化,实现对车辆进行及时的定位初始化,在一定程度上提高车辆的安全。
在本发明的另一实施例中,所述装置还包括:
第三获得模块(图中未示出),被配置为在所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息之后,获得所述目标图像采集设备在所述初始化时刻之后的每一时刻针对所述目标车辆所处位置采集的第二道路图像;
第四确定模块(图中未示出),被配置为针对所述初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与所述历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像;
第五确定模块(图中未示出),被配置为针对所述初始化时刻之后的每一时刻,从所述目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据;
第六确定模块(图中未示出),被配置为针对所述初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据;
第七确定模块(图中未示出),被配置为针对所述初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息;
所述定位模块360,被具体配置为在确定当前时刻满足预设初始化条件的情况下,获得从所述初始化时刻到当前时刻,所述目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定所述目标车辆从所述初始化时刻到所述当前时刻行驶生成的参考运行轨迹;
利用所述参考运行轨迹修正所述目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹,其中,所述位姿运行轨迹为:基于所述目标车辆在从所述初始化时刻到所述当前时刻的位姿信息确定的轨迹;
基于所述修正后的位姿运行轨迹,确定所述目标车辆在当前时刻的位姿信息;
基于所述目标车辆在所述当前时刻的位姿信息、所述目标车辆在所述当前时刻之后采集的道路图像以及所述电子导航地图,进行定位。
在本发明的另一实施例中,所述第二获得模块330,被具体配置为基于每一目标历史图像以及预设的对应关系,从所述目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据,其中,所述对应关系包括:每一历史图像与所述标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与所述目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
在本发明的另一实施例中,所述第三确定模块350,被具体配置为基于所述感知数据、每一目标历史图像对应的地图语义数据,确定与所述感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;
基于所述目标地图语义数据对应的目标历史图像对应的位姿信息,确定所述目标车辆在所述初始化时刻的位姿信息。
在本发明的另一实施例中,所述第一道路图像包括所述目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:所述标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述第一确定模块320,被具体配置为将所述前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与所述前向第一道路图像匹配的至少一个前向历史图像;
将所述后向第一道路图像与所述历史图像中的后向历史图像进行匹配,确定与所述后向第一道路图像匹配的至少一个后向历史图像;
将所述左侧第一道路图像与所述历史图像中的左侧历史图像进行匹配,确定与所述左侧第一道路图像匹配的至少一个左侧历史图像;
将所述右侧第一道路图像与所述历史图像中的右侧历史图像进行匹配,确定与所述右侧第一道路图像匹配的至少一个右侧历史图像;
从与所述前向第一道路图像匹配的至少一个前向历史图像、与所述后向第一道路图像匹配的至少一个后向历史图像、与所述左侧第一道路图像匹配的至少一个左侧历史图像以及与所述右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与所述第一道路图像匹配的目标历史图像。
上述装置、系统实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种全局定位初始化方法,其特征在于,包括:
若确定在目标场景行驶的目标车辆需要进行定位初始化,获得所述目标车辆的目标图像采集设备在初始化时刻针对所述目标车辆所处位置采集的第一道路图像;
将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像,其中,所述历史图像为:标注车辆在所述目标场景行驶的过程中,所述标注车辆的标注图像采集设备针对所述标注车辆所经过的位置采集的图像;
从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;
对所述第一道路图像进行检测,确定出所述第一道路图像中的感知数据;
基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息;
基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位;
所述基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位的步骤,包括:
在确定当前时刻满足预设初始化条件的情况下,获得从所述初始化时刻到当前时刻,所述目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定所述目标车辆从所述初始化时刻到所述当前时刻行驶生成的参考运行轨迹;
利用所述参考运行轨迹修正所述目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹,其中,所述位姿运行轨迹为:基于所述目标车辆在从所述初始化时刻到所述当前时刻的位姿信息确定的轨迹;
基于所述修正后的位姿运行轨迹,确定所述目标车辆在当前时刻的位姿信息;
基于所述目标车辆在所述当前时刻的位姿信息、所述目标车辆在所述当前时刻之后采集的道路图像以及所述电子导航地图,进行定位。
2.如权利要求1所述的方法,其特征在于,在所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息的步骤之后,所述方法还包括:
获得所述目标图像采集设备在所述初始化时刻之后的每一时刻针对所述目标车辆所处位置采集的第二道路图像;
针对所述初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与所述历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像;
针对所述初始化时刻之后的每一时刻,从所述目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据;
针对所述初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据;
针对所述初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息。
3.如权利要求1或2所述的方法,其特征在于,所述从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据的步骤,包括:
基于每一目标历史图像以及预设的对应关系,从所述目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据,其中,所述对应关系包括:每一历史图像与所述标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与所述目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
4.如权利要求1或2所述的方法,其特征在于,所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息的步骤,包括:
基于所述感知数据、每一目标历史图像对应的地图语义数据,确定与所述感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;
基于所述目标地图语义数据对应的目标历史图像对应的位姿信息,确定所述目标车辆在所述初始化时刻的位姿信息。
5.如权利要求1-2任一项所述的方法,其特征在于,所述第一道路图像包括所述目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:所述标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像的步骤,包括:
将所述前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与所述前向第一道路图像匹配的至少一个前向历史图像;
将所述后向第一道路图像与所述历史图像中的后向历史图像进行匹配,确定与所述后向第一道路图像匹配的至少一个后向历史图像;
将所述左侧第一道路图像与所述历史图像中的左侧历史图像进行匹配,确定与所述左侧第一道路图像匹配的至少一个左侧历史图像;
将所述右侧第一道路图像与所述历史图像中的右侧历史图像进行匹配,确定与所述右侧第一道路图像匹配的至少一个右侧历史图像;
从与所述前向第一道路图像匹配的至少一个前向历史图像、与所述后向第一道路图像匹配的至少一个后向历史图像、与所述左侧第一道路图像匹配的至少一个左侧历史图像以及与所述右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与所述第一道路图像匹配的目标历史图像。
6.一种全局定位初始化装置,其特征在于,所述装置包括:
第一获得模块,被配置为若确定在目标场景行驶的目标车辆需要进行定位初始化,获得所述目标车辆的目标图像采集设备在初始化时刻针对所述目标车辆所处位置采集的第一道路图像;
第一确定模块,被配置为将所述第一道路图像与预先存储的历史图像进行匹配,确定出与所述第一道路图像匹配的每一历史图像,作为目标历史图像,其中,所述历史图像为:标注车辆在所述目标场景行驶的过程中,所述标注车辆的标注图像采集设备针对所述标注车辆所经过的位置采集的图像;
第二获得模块,被配置为从所述目标场景对应的电子导航地图中,获得每一目标历史图像对应的地图语义数据;
第二确定模块,被配置为对所述第一道路图像进行检测,确定出所述第一道路图像中的感知数据;
第三确定模块,被配置为基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息;
定位模块,被配置为基于所述目标车辆在所述初始化时刻的位姿信息、所述目标车辆在所述初始化时刻之后采集的道路图像以及所述电子导航地图,进行定位;
所述定位模块,被具体配置为在确定当前时刻满足预设初始化条件的情况下,获得从所述初始化时刻到当前时刻,所述目标车辆的辅助导航设备采集的辅助导航数据;并基于所获得的辅助导航数据确定所述目标车辆从所述初始化时刻到所述当前时刻行驶生成的参考运行轨迹;
利用所述参考运行轨迹修正所述目标车辆的位姿运行轨迹,得到修正后的位姿运行轨迹,其中,所述位姿运行轨迹为:基于所述目标车辆在从所述初始化时刻到所述当前时刻的位姿信息确定的轨迹;
基于所述修正后的位姿运行轨迹,确定所述目标车辆在当前时刻的位姿信息;
基于所述目标车辆在所述当前时刻的位姿信息、所述目标车辆在所述当前时刻之后采集的道路图像以及所述电子导航地图,进行定位。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
第三获得模块,被配置为在所述基于所述感知数据、每一目标历史图像对应的地图语义数据以及每一目标历史图像对应的位姿信息,确定出所述目标车辆在所述初始化时刻的位姿信息之后,获得所述目标图像采集设备在所述初始化时刻之后的每一时刻针对所述目标车辆所处位置采集的第二道路图像;
第四确定模块,被配置为针对所述初始化时刻之后的每一时刻,将该时刻对应的第二道路图像与所述历史图像进行匹配,确定出与该时刻对应的第二道路图像匹配的每一历史图像,作为该时刻对应的历史图像;
第五确定模块,被配置为针对所述初始化时刻之后的每一时刻,从所述目标场景对应的电子导航地图中,确定该时刻对应的历史图像对应的地图语义数据;
第六确定模块,被配置为针对所述初始化时刻之后的每一时刻,对该时刻对应的第二道路图像进行检测,确定出该时刻对应的第二道路图像中的感知数据;
第七确定模块,被配置为针对所述初始化时刻之后的每一时刻,基于该时刻对应的第二道路图像中的感知数据、该时刻对应的历史图像对应的地图语义数据以及该时刻对应的历史图像对应的位姿信息,确定出所述目标车辆在该时刻的位姿信息。
8.如权利要求6或7所述的装置,其特征在于,所述第二获得模块,被具体配置为基于每一目标历史图像以及预设的对应关系,从所述目标场景对应的电子导航地图中,确定每一目标历史图像对应的地图语义数据,其中,所述对应关系包括:每一历史图像与所述标注图像采集设备采集得到该历史图像时的位姿信息之间的对应关系,或每一历史图像与所述目标场景对应的电子导航地图中的地图语义数据之间的对应关系。
9.如权利要求6或7所述的装置,其特征在于,所述第三确定模块,被具体配置为基于所述感知数据、每一目标历史图像对应的地图语义数据,确定与所述感知数据最匹配的目标历史图像对应的地图语义数据,作为目标地图语义数据;
基于所述目标地图语义数据对应的目标历史图像对应的位姿信息,确定所述目标车辆在所述初始化时刻的位姿信息。
10.如权利要求6-7任一项所述的装置,其特征在于,所述第一道路图像包括所述目标图像采集设备在同一采集周期采集的前向第一道路图像、后向第一道路图像、左侧第一道路图像以及右侧第一道路图像;每一历史图像包括:所述标注图像采集设备在同一采集周期采集的前向历史图像、后向历史图像、左侧历史图像以及右侧历史图像;
所述第一确定模块,被具体配置为将所述前向第一道路图像与预先存储的历史图像中的前向历史图像进行匹配,确定与所述前向第一道路图像匹配的至少一个前向历史图像;
将所述后向第一道路图像与所述历史图像中的后向历史图像进行匹配,确定与所述后向第一道路图像匹配的至少一个后向历史图像;
将所述左侧第一道路图像与所述历史图像中的左侧历史图像进行匹配,确定与所述左侧第一道路图像匹配的至少一个左侧历史图像;
将所述右侧第一道路图像与所述历史图像中的右侧历史图像进行匹配,确定与所述右侧第一道路图像匹配的至少一个右侧历史图像;
从与所述前向第一道路图像匹配的至少一个前向历史图像、与所述后向第一道路图像匹配的至少一个后向历史图像、与所述左侧第一道路图像匹配的至少一个左侧历史图像以及与所述右侧第一道路图像匹配的至少一个右侧历史图像中,确定出至少一组对应同一采集周期的前向历史图像、后向历史图像、左侧历史图像和右侧历史图像,作为与所述第一道路图像匹配的目标历史图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911198600.2A CN112880691B (zh) | 2019-11-29 | 2019-11-29 | 一种全局定位初始化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911198600.2A CN112880691B (zh) | 2019-11-29 | 2019-11-29 | 一种全局定位初始化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112880691A CN112880691A (zh) | 2021-06-01 |
CN112880691B true CN112880691B (zh) | 2022-12-02 |
Family
ID=76038360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911198600.2A Active CN112880691B (zh) | 2019-11-29 | 2019-11-29 | 一种全局定位初始化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112880691B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6608913B1 (en) * | 2000-07-17 | 2003-08-19 | Inco Limited | Self-contained mapping and positioning system utilizing point cloud data |
CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
CN110147705A (zh) * | 2018-08-28 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于视觉感知的车辆定位方法及电子设备 |
CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
-
2019
- 2019-11-29 CN CN201911198600.2A patent/CN112880691B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6608913B1 (en) * | 2000-07-17 | 2003-08-19 | Inco Limited | Self-contained mapping and positioning system utilizing point cloud data |
CN106169188A (zh) * | 2016-07-11 | 2016-11-30 | 西南交通大学 | 一种基于蒙特卡洛树搜索的对象跟踪方法 |
CN110147705A (zh) * | 2018-08-28 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于视觉感知的车辆定位方法及电子设备 |
CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112880691A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
AU2017300097B2 (en) | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation | |
CN111830953B (zh) | 车辆自定位方法、装置及系统 | |
CN106407315B (zh) | 一种基于街景图像数据库的车辆自主定位方法 | |
CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
CN112991791B (zh) | 交通信息识别和智能行驶方法、装置、设备及存储介质 | |
JP6280409B2 (ja) | 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム | |
US11830253B2 (en) | Semantically aware keypoint matching | |
CN103630122B (zh) | 一种单目视觉车道线检测方法及其测距方法 | |
CN110415550B (zh) | 基于视觉的自动泊车方法 | |
CN111307165B (zh) | 一种车辆的定位方法、定位系统及无人车辆 | |
CN103161121B (zh) | 里程桩号自动校正方法、系统及装置 | |
CN110658539B (zh) | 车辆定位方法、装置、车辆和计算机可读存储介质 | |
KR20210081983A (ko) | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 | |
CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
US20190073542A1 (en) | Vehicle lane detection system | |
US20220355818A1 (en) | Method for a scene interpretation of an environment of a vehicle | |
CN114841188A (zh) | 一种基于二维码的车辆融合定位方法及装置 | |
JP2014106739A (ja) | 車載画像処理装置 | |
CN112880691B (zh) | 一种全局定位初始化方法及装置 | |
CN112833889A (zh) | 一种车辆的定位方法及装置 | |
CN107292818B (zh) | 一种基于环视相机的捕线器自动定位系统及方法 | |
CN111754388A (zh) | 一种建图方法及车载终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220308 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |