CN111179162B - 一种特殊环境下的定位初始化方法及车载终端 - Google Patents
一种特殊环境下的定位初始化方法及车载终端 Download PDFInfo
- Publication number
- CN111179162B CN111179162B CN201811336757.2A CN201811336757A CN111179162B CN 111179162 B CN111179162 B CN 111179162B CN 201811336757 A CN201811336757 A CN 201811336757A CN 111179162 B CN111179162 B CN 111179162B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- map
- local map
- positioning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011423 initialization method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 19
- 241000283070 Equus zebra Species 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
一种特殊环境下的定位初始化方法及车载终端，该方法包括：利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建得到局部地图；将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置；基于所述局部地图在所述全局地图中的位置，将所述车辆在所述局部地图中的位置映射到所述全局地图中，以得到所述车辆在所述全局地图中初始位置。此外，针对多张目标图像进行拼接识别所述俯视拼接图中的图像语义特征，以得到所述俯视感知图；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部地图。实施本发明实施例，可以在GPS信号等位置先验信息缺失的情况下，利用图像采集装置拍摄到的图像数据确定出车辆在全局地图中的初始位置。通过关键帧生成地图点形成的局部地图，能够建出稠密而准确的地库地面元素，并且更为鲁棒，精确。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种应用于车辆定位的定位初始化方法及车载终端。
背景技术
在自动驾驶的技术方案中，当车辆启动时，需要进行车辆定位初始化的操作，即确定车辆在自动驾驶导航电子地图中的初始位置。一般来说，该初始位置可以基于全球卫星导航系统(Global Positioning System，GPS)信号等位置先验信息得出。然而，在某些特殊环境下(比如GPS设备故障或者车辆处于地下车库、隧道)，在进行车辆定位初始时无法利用GPS信号等位置先验信息，难以进行定位初始化。
发明内容
本发明实施例公开了一种应用于车辆定位的定位初始化方法及车载终端，能够在GPS信号等位置先验信息缺失的情况下实现车辆定位初始化。
本发明实施例第一方面公开一种应用于车辆定位的定位初始化方法，所述方法包括：
利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图；
将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置；
基于所述局部地图在所述全局地图中的位置，将所述车辆在所述局部地图中的位置映射到所述全局地图中，以得到所述车辆在所述全局地图中初始位置；其中，得到所述局部地图的步骤包括：获取多个图像采集装置在同一时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，以得到俯视拼接图；识别所述俯视拼接图中的图像语义特征，以得到所述俯视感知图；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部地图。
作为一种可选的实施方式，在本发明实施例第一方面中，所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图，包括：
获取多个图像采集装置在同一时刻拍摄到的多张目标图像；所述多个图像采集装置包括分别安装在所述车辆的前、后、左、右四个方向的图像采集装置，每个所述图像采集装置的取景范围至少包括该图像采集装置的下方地面；
对多张所述目标图像进行拼接，以得到俯视拼接图；
识别所述俯视拼接图中的图像语义特征，并基于所述图像语义特征构建局部地图。
作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置包括：
检测所述局部地图中的特定特征，所述特定特征为在所述局部地图中的出现概率低于非所述特定特征的所述图像语义特征；
识别预先构建的全局地图中与所述特定特征相匹配的目标特征；
根据所述目标特征在所述全局地图中的位置，确定所述局部地图在所述全局地图中的位置。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图之前，所述方法还包括：
判断是否记录到上一次定位计算结束时的定位结束位置，所述上一次定位计算为在所述车辆启动前发生的前一次定位计算；
如果记录到所述定位结束位置，将所述定位结束位置确定为所述车辆在所述全局地图中的初始位置；
如果未记录到所述定位结束位置，执行所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图之前，所述方法还包括：
判断是否接收到卫星定位信号，如果接收到所述卫星定位信号，基于所述卫星定位信号确定所述车辆在所述全局地图中的初始位置；
如果未接收到所述卫星定位信号，执行所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
作为一种可选的实施方式，在本发明实施例第一方面中，当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧。
本发明实施例第二方面公开一种车载终端，包括：
构建单元，用于利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图；
匹配单元，用于将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置；
第一确定单元，用于基于所述局部地图在所述全局地图中的位置，将所述车辆在所述局部地图中的位置映射到所述全局地图中，以得到所述车辆在所述全局地图中初始位置；其中所述构建单元，包括：
获取子单元，用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像；
拼接子单元，用于对多张所述目标图像进行拼接，以得到俯视拼接图；
构建子单元，用于识别所述俯视拼接图中的图像语义特征，并基于所述图像语义特征构建局部地图；所述构建子单元包括：定位子单元，用于对所述感知子单元获得的俯视感知图进行定位，从而确定关键帧。
作为一种可选的实施方式，在本发明实施例第二方面中，所述判断子单元还包括根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，其中根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||＞δ；
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
作为一种可选的实施方式，在本发明实施例第二方面中，所述匹配单元，包括：
检测子单元，用于检测所述局部地图中的特定特征，所述特定特征为在所述局部地图中的出现概率低于非所述特定特征的所述图像语义特征；
识别子单元，用于识别预先构建的全局地图中与所述特定特征相匹配的目标特征；
确定子单元，用于根据所述目标特征在所述全局地图中的位置，确定所述局部地图在所述全局地图中的位置。
作为一种可选的实施方式，在本发明实施例第二方面中，所述车载终端还包括：
第一判断单元，用于在所述构建单元利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建以得到局部地图之前，判断是否记录到上一次定位计算结束时的定位结束位置，所述上一次定位计算为在所述车辆启动前发生的前一次定位计算；
第二确定单元，用于在所述第一判断单元判断出记录到所述定位结束位置时，将所述定位结束位置确定为所述车辆在所述全局地图中的初始位置；
所述构建单元，具体用于在所述第一判断单元判断出未记录到所述定位结束位置时，利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
作为一种可选的实施方式，在本发明实施例第二方面中，特定特征包括斑马线、车道箭头、库位点。
本发明实施例第三方面公开一种车载终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的任一项方法。
本发明第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比，本发明的发明点及具有的有益效果：
1、利用图像采集装置拍摄到的目标图像构建局部地图，并且将局部地图与预先构建的全局地图进行匹配，以得到局部地图在全局地图中的位置，从而可以将局部地图在全局地图中的位置确定为车辆在全局地图中的初始位置。可见，实施本发明实施例，可以在GPS信号等位置先验信息缺失的情况下，利用图像采集装置拍摄到的图像数据确定出车辆在全局地图中的初始位置，从而完成车辆定位的初始化。
2、利用俯视拼接图作为神经网络的输入对象提取语义特征，比传统采用前向图或前向侧向图或环视图的方案地图匹配更加准确，从而定位准确。此外，先对目标图像进行拼接，再从俯视拼接图中提取图像语义特征，还可以提高图像语义特征的提取效率。
3、根据不同情况下出现的概率，优选了车库场景下特定的语义特征(例如箭头、库位点等)，以其进行局部地图的构建，提高了该局部地图与全局地图匹配的准确性。
4、利用多个摄像头组成摄像头的环视系统，根据摄像头环视系统拍摄车辆四周的环境，结合自动驾驶导航电子地图，可以利用环境中的特征在图像中的位置以及这些特征在地图中的位置确定出车辆当前时刻的位姿。实施本发明实施例，可以只利用视觉信息完成车辆定位，并且基于环视的摄像头设置方案，单次图像信息采集即可获得车辆四周的环境信息，从而可以使得车辆定位的精度较高。
5、对俯视感知图进行定位追踪，根据观测的情况和特定的空间关系来判定某一时刻的俯视感知图是否为关键帧；根据关键帧生成地图点，并且判断避免同一个地方生成重复的地图点，这是本发明的发明点之一。
6、现有技术中没有发现有识别图像语义特征的，更没有将图像语义特征进行识别后拼接得到拼接图的技术方案。本发明通过识别俯视拼接图中的图像语义特征，以得到俯视感知图，特别是选取车道线、库位线、库位点作为语义特征在现有技术中未曾出现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种应用于车辆定位的定位初始化方法的流程示意图；
图2是本发明实施例公开的另一种应用于车辆定位的定位初始化方法的流程示意图；
图3是本发明实施例公开的一种由车载终端构建的停车场局部地图示例图；
图4是本发明实施例公开的另一种基于俯视拼接图的建图方法的流程示意图；
图5是本发明实施例公开的另一种由车载终端构建的停车场局部地图示例图；
图6是本发明实施例公开的一种车载终端的结构示意图；
图7是本发明实施例公开的另一种车载终端的结构示意图；
图8是本发明实施例公开的另一种车载终端的结构示意图；
图9是本发明实施例公开的另一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种应用于车辆定位的定位初始化方法及车载终端，能够在GPS信号等位置先验信息缺失的情况下实现车辆定位初始化。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种应用于车辆定位的定位初始化方法的流程示意图。其中，该方法应用于车载电脑、车载工业控制计算机(Industrial personalComputer，IPC)等车载终端，本发明实施例不做限定。上述的车载终端与车辆的各个传感器连接，接收并处理各个传感器采集到的数据。如图1所示，该应用于车辆定位的定位初始化方法可以包括以下步骤：
101、车载终端利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图。
本发明实施例中，图像采集装置可以为摄像头，为了方便描述，如无特殊说明，下文中的摄像头指图像采集装置。摄像头装设于车上，用于拍摄车辆的周围环境，车载终端可以通过即时定位与地图构建(Simultaneous localization and mapping，SLAM)技术，利用摄像头拍摄到的目标图像构建局部地图，该局部地图用于描述车辆的周围环境。基于SLAM技术，车载终端可以识别出目标图像中的特征点，并且使用这些特征点构建地图。也就是说，对于车载终端而言，当车辆处于未知环境的未知位置时，车载终端可以在车辆不断行进的过程中，利用摄像头拍摄到的图像逐步描绘出车辆途径环境的局部地图。
作为一种可选的实施方式，可以在车辆前、后、左、右四个方向安装摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。可选的，上述的摄像头可以为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高局部地图的完整性，增加局部地图中包含的信息量。
102、车载终端将局部地图与预先构建的全局地图进行匹配，以得到局部地图在全局地图中的位置。
本发明实施例中，全局地图是自动驾驶导航电子地图，是真实地理环境的数字化描述，与车载终端在步骤101中构建的局部地图相比，全局地图的范围更大。以上述停车场的应用场景为例，全局地图可以为整个停车场的地图，局部地图可以为包括车辆在该停车场的途经路径及途径路径周围环境的地图。可以看出，对于相同的地理环境，局部地图为全局地图的一部分，局部地图中存在某些特征与全局地图中的特征相同，通过查找这些相同的特征，可以在全局地图中匹配出与局部地图相同的某一区域，该区域的位置即为局部地图在全局地图中的位置。
需要说明的是，局部地图可以是由逐渐累加的地图片段组成的地图。由于特征的相似性，当局部地图的范围较小时，在全局地图中可能存在多个与局部地图相同的区域，此时难以确定出局部地图在全局地图中的准确位置。因此，车辆可以持续行驶，车载终端不断获取车辆在行驶过程中拍摄到的目标图像，将目标图像的信息加入到原有的局部地图中，构建出新的局部地图，即逐渐累加的过程。当车辆行驶得足够远，车载终端构建出的局部地图足够大时，全局地图中只存在唯一一个区域与该局部地图相同的概率较高，从而可以准确地确定出局部地图在全局地图中的位置。
103、车载终端基于局部地图在全局地图中的位置，将车辆在局部地图中的位置映射到全局地图中，以得到车辆在全局地图中初始位置。
本发明实施例中，当车载终端将局部地图与全局地图匹配成功时，可以理解为从全局地图中查找到与局部地图相同的区域，从而可以确定出局部地图与全局地图之间的对应关系。因此，基于上述的对应关系，可以将车辆在局部地图中的位置映射到全局地图中，得到车辆在全局地图中的初始位置。由于全局地图为真实地理环境的数字化描述，全局地图中的特征与真实地理环境中的物体一一对应。当确定出车辆在全局地图中的初始位置，也即确定出车辆在真实地理环境中的初始位置，车载终端在不依赖GPS信号等位置先验信息的基础下，只使用视觉信息完成了车辆的定位初始化。
在一种可能的应用场景中，车辆在地下车库启动，此时车载终端无法接收到GPS信号，从而无法利用GPS信号完成车辆的初步定位。为了完成定位初始化，车辆缓慢行驶，车载终端控制摄像头拍摄车辆的周边环境，得到目标图像，并利用目标图像构建出用于描述车辆周围环境的局部地图；随着车辆的行驶，局部地图的范围逐渐增大，当局部地图的范围增大到能够从全局地图中匹配到唯一一个与局部地图相同的区域时，根据该区域在全局地图中的位置确定局部地图在全局地图中的位置，从而确定出车辆在全局地图中的初始位置，完成车辆的定位初始化。
可见，在图1所描述的方法中，车载终端利用摄像头拍摄的目标图像构建用于描述车辆的周围环境的局部地图，当局部地图和预先构建的局部地图匹配成功之后，即可根据局部地图在全局地图中的位置确定出车辆在全局地图中的初始位置，从而可以在不依赖GPS信号等位置先验信息的基础下，只使用视觉信息完成车辆的定位初始化。
实施例二
请参阅图2，图2是本发明实施例公开的另一种应用于车辆定位的定位初始化方法的流程示意图。如图2所示，该应用于车辆定位的定位初始化方法可以包括以下步骤：
201、车载终端判断是否记录到上一次定位计算结束时的定位结束位置，如果是，执行步骤202，如果否，执行步骤205。
202、车载终端将定位结束位置确定为车辆在全局地图中的初始位置。
本发明实施例中，上一次定位计算为在车辆启动前发生的前一次定位计算。在一种可能的应用场景中，车辆熄火后其车载终端的电源被切断，车载终端停止定位计算。在车辆熄火到下次启动的过程中，车辆很可能不存在位置变化，不会移动。当车辆启动时，需要进行定位初始化，此时，如果记录到上次定位结束时的定位结束位置，那么可以直接将该定位结束位置作为车辆在全局地图中的初始位置，从而可以缩短定位初始化所需时间，提高用户体验。
203、车载终端判断是否接收到卫星定位信号，如果是，执行步骤204，如果否，执行步骤205。
204、车载终端基于卫星定位信号确定车辆在全局地图中的初始位置。
在一种可能的应用场景中，上述的全局地图可以为车辆在地下车库行驶时使用的地下地图。车辆在地上行驶时使用的地上地图和车辆在地下车库行驶时使用的地下地图可能分属两种不同的地图表达体系。比如说，地上地图为三维地图，而地下地图为二维地图。当车辆从地上的道路驶入地下车库时，需要完成地上地图与地下地图之间的切换，同时需要完成基于地下地图的定位初始化。在地下车库的入口位置，车载终端可能接收到卫星定位信号，因此，车载终端可以直接使用卫星定位信号确定出车载终端在全局地图(即地下地图)中的初始位置，从而缩短定位初始化所需时间，提高用户体验。
需要说明的是，本发明实施例中，步骤201与步骤203之间不存在逻辑上的先后关系，车载终端可以同步执行步骤201与步骤203。如果车载终端在判断出记录到定位结束位置的同时，也接收到卫星定位信号，根据卫星定位信号的传播特性，卫星定位结果可能存在误差，因此，车载终端可以选择定位结束位置作为车辆在全局地图中的初始位置。
205、车载终端获取多个摄像头在同一时刻拍摄到的多张目标图像。
本发实施例中，上述的多个摄像头为分别安装在车辆前、后、左、右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。安装在上述四个方向的摄像头组成了摄像头的环视方案，使得车载终端可以一次性获取到车辆周边各个方向的环境信息，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于提高局部地图与全局地图的匹配成功率。此外，四路摄像头采集的图像数据存在一定的冗余，如果某一路摄像头失效，其余摄像头采集的图像数据可以作为补充，对车载终端构建局部地图和定位的影响较低。
206、车载终端对多张目标图像进行拼接，以得到俯视拼接图。
本发明实施例中，车载终端将安装在车辆前、后、左、右四个方向的摄像头在同一时刻拍摄到的目标图像进行拼接，得到的俯视拼接图包含了以车辆为中心360度的环境信息。此外，如果用于拍摄目标图像的摄像头为上述的鱼眼摄像头，车载终端在执行步骤206对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，再对投影完成得到的图像进行拼接。
207、车载终端识别俯视拼接图中的图像语义特征，并基于识别出的图像语义特征构建局部地图。
本发明实施例中，图像语义特征为可以为经过经验筛选，具有特殊含义并有助于车辆定位的语义特征。在一种可能的应用场景中，车辆位于停车场，该停车场可以为地上停车场也可以为地下车库，本发明实施例不做限定。在停车场的应用场景中，图像语义特征可以为车道线、停车库位线、库位点(库位线之间的交点)、斑马线、车道箭头等，本发明实施例不做限定。请一并参阅图3，图3为本发明实施例公开的一种由车载终端构建的停车场局部地图示例图，由图3可以看出，该局部地图由车载终端在该停车场行驶时，途经的车道线、库位线、库位点等语义特征组成，其中，带箭头虚线所示为车辆的行驶轨迹。
此外，作为一种可选的实施方式，本发明实施例中，车载终端可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的，可以使用适用于深度学习的神经网络模型识别图像语义特征，并且预先采用大量标注有图像语义特征的俯视拼接样本图像对神经网络模型进行训练。所述神经网络模型如下：
该网络结构采用Encoder-Decoder模型，主要包括两个部分：编码(Encoder)部分和解码(Decoder)部分。
本发明实施例中将拼接好的图像输入至网络中，其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练，调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后，通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。
解码网络是与编码网络对称的结构，其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样，将编码抽取的特征放大到原图尺寸，从而实现像素语义分类。上采样是通过反卷积实现的，这种操作能够得到输入数据的大部分信息，但仍会部分信息的丢失，因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来编码网络中不同尺度的卷积层，在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异，交叉熵公式如下：
其中y为图像元素的标记值，即图像的一个像素是语义元素还是非语义元素，一般用1表示语义元素，0表示非语义元素；n为图像的像素总数，x为输入，a为神经元的输出a＝σ(z),z＝∑jwjxj+b，它可以克服网络权值更新过慢的问题。网络模型训练完成之后，在本发明示例实际使用时，网络针对输入图像的每一个像素都进行预测，输出每个像素对应的属性值为0或是1，标记为1的图像元素的连通块即为有意义的语义图像结构，至此实现了图像的语义分割。将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型，基于神经网络模型的识别结果，即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别准确率。上述网络结构是针对拼接图像语义特征提取而专门设计的，保证语义特征提取的准确，属于本发明的发明点之一。此外，先对目标图像进行拼接，再从俯视拼接图中提取图像语义特征，而非逐张提取目标图像中的图像语义特征，可以提高图像语义特征的提取效率，也属于本发明的发明点之一。
本发明实施例中，图像采集装置可以为摄像头，为了方便描述，如无特殊说明，下文中的摄像头指图像采集装置。上述的多个摄像头包括至少四个分别安装在车辆前、后、左、右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。安装在上述四个方向的摄像头组成了摄像头的环视方案，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于提高局部地图与全局地图的匹配成功率。此外，环视方案中各个摄像头采集到的数据之间存在一定的冗余，因此，在某一路摄像头失效的情况下，其余摄像头的采集数据可以作为补充，从而可以降低部分摄像头失效对车载终端构建局部地图和定位的影响。
在一些实施例中，对于得到的多张目标图像进行如下处理：如图4所示的基于俯视拼接图的建图方法的流程示意图。其包括有拼接子单元702，用于对获取子单元701获取到的多张目标图像进行拼接，以得到俯视拼接图。
本发明实施例中，如果用于拍摄目标图像的摄像头为上述摄像头，拼接子单元702在对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，再对投影完成得到的图像进行拼接。
感知子单元703，用于识别拼接子单元702拼接得到的俯视拼接图中的图像语义特征，以得到俯视感知图。
本发明实施例中，图像语义特征为可以为经过经验筛选，具有特殊含义并有助于车辆定位的语义特征。例如，图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等，本发明实施例不做限定。
此外，感知子单元703可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的，可以使用适用于深度学习的神经网络模型识别图像语义特征：将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型，基于神经网络模型的识别结果，即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别精度。
定位子单元704，用于对感知子单元703获得的俯视感知图进行定位，从而确定关键帧。
在本发明实施例中，开始建图时，系统将设定一个全局坐标系并基于俯视拼接图对车辆的位置进行追踪，得到的各个时刻的坐标对应俯视图会用来建图。系统会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为关键帧，根据空间关系的公式如下：
||pk-pi||+λ||θk-θi||＞δ
在上式子中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角，θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是一个设定的阈值。
作为一种可选的实施方式，在观测足够的情况下，当当前帧和最近关键帧的距离和角度差异到一个阈值时，该帧会被当作关键帧。
此外，作为一种可选的实施方式，在上述的步骤中，除了基于俯视拼接图的定位以外，定位方面还可以融合环视VO(所谓环视VO就是在获得拼接图之前，我们有四路相机的原始图像，基于几个相机的原始图像做的Visual Odometry)、环视VIO(Visual InertialOdometry)、环视VIO和轮速等来提高局部定位的一个准确性。
构建子单元705，用于根据定位子单元704的关键帧生成地图点，从而形成局部建图。
在本发明实施例中，当一帧被判定为关键帧时，系统会判断每一个被识别的像素点是否被建出。如果没有，系统则为其生成一个新的地图点占据地图中的对应位置。每次根据新的关键帧生成地图点的时候都会做此判断避免同一个地方生成重复的地图点。每个地图点会根据连续帧的观测来判定类别是否正确和地图点是否成熟。举例说明，假设一个地图点在关键帧中被判定为车位线类别，其对应的地图点也被建立。该地图点会计算附近其他帧对于对应位置的观测是否一致，这里一致的定义涵盖两种:一是类别是否一致；二是该地图点的相对位置对应其他帧的观测是否在一定范围内。如果两项都被满足，则该地图点会被判定是成熟的并加入到地图中。
208、车载终端检测局部地图中的特定特征。
本发明实施例中，特定特征为在局部地图中的出现概率低于非特定特征的图像语义特征。
209、车载终端识别预先构建的全局地图中与特定特征相匹配的目标特征。
210、车载终端根据目标特征在全局地图中的位置，确定局部地图在全局地图中的位置。
本发明实施例中，由步骤207中局部地图的构建过程可知，局部地图中可能包括多种类型的语义特征，不同类型的语义特征在局部地图中出现的概率不同。以停车场为例，现有技术通常选择车道线、停车库位线作为语义特征。然而本发明除了上述两种语义特征外，关注到斑马线、车道箭头出现的概率低于车道线、停车库位线，其可以被设定为用于进行地图匹配的特定特征。利用局部地图中的特定特征进行局部地图和全局地图之间的匹配，可以提高匹配成功的概率，这也是本发明的发明点之一。特别的，对于库位点，通常认为其出现概率较大，并不能作为特定特征。然而，本发明关注到其在弯道和直道的分布密度并不相同，根据该特点，其也可以作为特定特征，协助将局部地图定位于全局地图上。这也是本发明的发明点之一。
为了更好地理解步骤208～步骤210通过特定特征进行局部地图与全局地图之间的匹配，请一并参阅图5。图5是本发明实施例公开的另一种由车载终端构建的停车场局部地图示例图。如图5所示，该局部地图中包括库位线、库位点和车道箭头三种图像语义特征。如果使用库位线和库位点进行匹配，可能从全局地图中匹配出多个区域与局部地图相同，此时匹配准确率较低。而对于车道箭头而言，处于不同位置的车道箭头在形态、大小、以及与周边的库位线、库位点的位置关系也不同，因此，使用车道箭头进行局部地图和全局地图的匹配，可以提高匹配成功的概率。
211、车载终端基于局部地图在全局地图中的位置，将车辆在局部地图中的位置映射到全局地图中，以得到车辆在全局地图中初始位置。
可见，在图2所描述的方法中，车载终端可以在记录到定位结束位置时直接使用定位结束位置作为定位初始化的结果，也可以在接收到卫星定位信号时，基于卫星定位信号确定定位初始化的结果，从而可以缩短定位初始化所需的时间，提高用户体验。进一步地，在图2所描述的方法中，车载终端利用安装在车辆四周的四个摄像头组成摄像头环视方案，使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于局部地图与全局地图的匹配，也可以在部分摄像头失效的情况下，降低对车载终端构建局部地图和定位的影响。更进一步地，在图2所描述的方法中，车载终端使用在局部地图中出现概率较低的特定特征进行局部地图与全局地图之间的匹配，可以提高匹配成功的概率。
实施例三
请参阅图6，图6是本发明实施例公开的一种车载终端的结构示意图。其中，图6所示的车载终端与车辆的各个传感器连接，接收并处理各个传感器采集到的数据。如图6所示，该车载终端包括：
构建单元501，用于利用摄像头拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图。
本发明实施例中，摄像头装设于车上，用于拍摄车辆的周围环境。作为一种可选的实施方式，构建单元501可以基于SLAM技术识别出目标图像中的特征点，并且使用这些特征点构建地图。
进一步可选的，可以在车辆前、后、左、右四个方向安装摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。并且，上述的摄像头可以为鱼眼摄像头从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高局部地图的完整性，增加局部地图中包含的信息量。
匹配单元502，用于将构建单元501构建出的局部地图与预先构建的全局地图进行匹配，以得到局部地图在全局地图中的位置。
本发明实施例中，匹配单元502可以通过查找局部地图与全局地图中相同的特征，可以在全局地图中匹配出与局部地图相同的某一区域，从而将该区域的位置即为局部地图在全局地图中的位置。
需要说明的是，上述的构建单元501构建出的局部地图可以是由逐渐累加的地图片段组成的地图。由于特征的相似性，当局部地图的范围较小时，在全局地图中可能存在多个与局部地图相同的区域，此时难以确定出局部地图在全局地图中的准确位置。因此，车辆可以持续行驶，车载终端不断获取车辆在行驶过程中拍摄到的目标图像，将目标图像的信息加入到原有的局部地图中，构建出新的局部地图，即逐渐累加的过程。当车辆行驶得足够远，车载终端构建出的局部地图足够大时，全局地图中只存在唯一一个区域与该局部地图相同的概率较高，从而可以准确地确定出局部地图在全局地图中的位置。也就是说，当匹配单元502对局部地图和全局地图匹配不成功时，可以触发构建单元501继续获取摄像头拍摄到的目标图像，并继续利用目标图像构建上述的局部地图。
第一确定单元503，用于基于匹配单元502得到的局部地图在全局地图中的位置，将车辆在局部地图中的位置映射到全局地图中，以得到车辆在全局地图中初始位置。
本发明实施例中，当第一确定单元503通过局部地图与全局地图的对应关系将车辆在局部地图中的位置映射到全局地图之后，第一确定单元503可以确定出车辆在全局地图中初始位置，即确定出出车辆在真实地理环境(如停车场)中的初始位置。
可见，实施图5所示的车载终端，可以利用摄像头拍摄的目标图像构建用于描述车辆的周围环境的局部地图，当局部地图和预先构建的局部地图匹配成功之后，即可根据局部地图在全局地图中的位置确定出车辆在全局地图中的初始位置，从而可以在不依赖GPS信号等位置先验信息的基础下，只使用视觉信息完成车辆的定位初始化。
实施例四
请参阅图7，图7是本发明实施例公开的另一种车载终端的结构示意图。其中，图7所示的车载终端由图6所示的车载终端进行优化得到的。如图6所示，上述的构建单元501，可以包括：
获取子单元5011，用于获取多个摄像头在同一时刻拍摄到的多张目标图像。
本发明实施例中，上述的多个摄像头包括至少四个分别安装在车辆前、后、左、右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。安装在上述四个方向的摄像头组成了摄像头的环视方案，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于提高局部地图与全局地图的匹配成功率。此外，环视方案中各个摄像头采集到的数据之间存在一定的冗余，因在，在某一路摄像头失效的情况下，其余摄像头的采集数据可以作为补充，从而可以降低部分摄像头失效对车载终端构建局部地图和定位的影响。
拼接子单元5012，用于对获取子单元5011获取到的多张目标图像进行拼接，以得到俯视拼接图。
本发明实施例中，如果用于拍摄目标图像的摄像头为鱼眼摄像头，拼接子单元5012在对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，再对投影完成得到的图像进行拼接。
构建子单元5013，用于识别拼接子单元5012拼接得到的俯视拼接图中的图像语义特征，并基于识别出的图像语义特征构建局部地图。
本发明实施例中，图像语义特征为可以为经过经验筛选，具有特殊含义并有助于车辆定位的语义特征。例如，图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等，本发明实施例不做限定。
此外，构建子单元5013可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的，可以使用适用于深度学习的神经网络模型识别图像语义特征：将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型，基于神经网络模型的识别结果，即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别准确率。
可见，上述的构建单元501基于摄像头的环视方案构建局部地图，相比单目摄像头的前视方案等技术方案，构建单元501利用单次观测构建出的局部地图中包括更多信息，可以缩短定位初始化所需的时间，也可以提高定位的准确度。
可选的，上述的匹配单元502，可以包括：
检测子单元5021，用于检测构建子单元5013构建出的局部地图中的特定特征，其中，上述的特定特征为在局部地图中的出现概率低于非特定特征的图像语义特征。
本发明实施例中，特定特征为在局部地图中的出现概率低于非特定特征的图像语义特征。由构建单元501构建局部地图的具体方式可知，局部地图中可能包括多种类型的语义特征，不同类型的语义特征在局部地图中出现的概率不同。例如，在停车场的局部地图中，一般包括车道线、停车库位线、库位点、斑马线、车道箭头等语义特征，而类似于斑马线或车道箭头等出现概率较低的特征可以被设定为用于进行地图匹配的特定特征。利用局部地图中的特定特征进行局部地图和全局地图之间的匹配，可以提高匹配成功的概率。
识别子单元5022，用于识别预先构建的全局地图中与检测子单元5021识别出的特定特征相匹配的目标特征。
确定子单元5023，用于识别子单元5022根据目标特征在全局地图中的位置，确定局部地图在全局地图中的位置。
可见，实施图7所示的车载终端，可以只使用视觉信息完成车辆的定位初始化，还可以利用安装在车辆四周的四个摄像头组成摄像头环视方案，使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于局部地图与全局地图的匹配，也可以在部分摄像头失效的情况下，降低对车载终端构建局部地图和定位的影响。此外，图6所示的车载终端使用在局部地图中出现概率较低的特定特征进行局部地图与全局地图之间的匹配，可以提高匹配成功的概率。
实施例五
请参阅图8，图8是本发明实施例公开的另一种车载终端的结构示意图。其中，图8所示的车载终端由图7所示的车载终端进行优化得到的。如图7所示，该车载终端还可以包括：
第一判断单元504，用于在构建单元501利用摄像头拍摄到的目标图像对车辆的周围环境进行构建以得到局部地图之前，判断是否记录到上一次定位计算结束时的定位结束位置；其中，上一次定位计算为在车辆启动前发生的前一次定位计算。
第二确定单元505，用于在第一判断单元504判断出记录到上述的定位结束位置时，将定位结束位置确定为车辆在全局地图中的初始位置。
相应地，上述的构建单元501，具体用于在第一判断单元504判断出未记录到定位结束位置时，利用摄像头拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图。
在一种可能的应用场景中，在车辆熄火(即定位计算结束)到下次启动的过程中，车辆很可能不存在位置变化，因此可以直接将该定位结束位置作为车辆在全局地图中的初始位置，从而可以缩短定位初始化所需时间，提高用户体验。
可选的，图8所示的车载终端也可以包括：
第二判断单元506，用于在在构建单元501利用摄像头拍摄到的目标图像对车辆的周围环境进行构建以得到局部地图之前，判断是否接收到卫星定位信号。
第三确定单元507，用于在第二判断单元506判断出接收到卫星定位信号时，基于卫星定位信号确定车辆在全局地图中的初始位置。
相应地，上述的构建单元501，具体用于在第二判断单元506判断出未接收到卫星定位信号时，利用摄像头拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图。
在一种可能的应用场景中，车辆从地上的道路驶入地下车库，需要完成地上地图与地下地图之间的切换，同时需要完成基于地下地图的定位初始化。在地下车库的入口位置，第二判断单元506可能判断出接收到卫星定位信号，因此，车载终端可以直接触发第三确定单元507使用卫星定位信号确定出车载终端在全局地图(即地下地图)中的初始位置，从而缩短定位初始化所需时间，提高用户体验。
需要说明的是，在本发明实施例中，如果车载终端集包括第一判断单元504，也包括第二判断单元506，并且在第一判断单元504判断出记录到定位结束位置的同时，第二判断单元505也判断出接收到卫星定位信号，那么根据卫星定位信号的传播特性，卫星定位结果可能存在误差，因此，触发第二确定单元505执行将定位结束位置确定为车辆在全局地图中的初始位置的操作，将上一次定位计算结束时的定位结束位置确定为车辆的定位初始化结果。
可见，实施图8所示的车载终端，可以只使用视觉信息完成车辆的定位初始化。同时，还可以在记录到定位结束位置时直接使用定位结束位置作为定位初始化的结果，也可以在接收到卫星定位信号时，基于卫星定位信号确定定位初始化的结果，从而可以缩短定位初始化所需的时间，提高用户体验。此外，上述的三种定位初始化方法互为补充，可以提高定位初始化的稳定性。
实施例六
请参阅图9，图9是本发明实施例公开的另一种车载终端的结构示意图。如图9所示，该车载终端可以包括：
至少一个处理器801，例如CPU，至少一个网络接口804，用户接口803，存储器805，至少一个通信总线802以及显示屏806。其中，通信总线802用于实现这些组件之间的连接通信。其中，用户接口803可以包括显示屏(Display)，可选用户接口803还可以包括标准的有线接口、无线接口。网络接口804可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器805可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器805可选的还可以是至少一个位于远离前述处理器801的存储装置。如图8所示，作为一种计算机存储介质的存储器805中存储有可执行程序代码，至少可以包括操作系统、网络通信模块、用户接口模块以及定位初始化模块。
在图9所示的车载终端中，网络接口804主要用于连接服务器，与服务器进行数据通信(如下载全局地图)；而处理器801可以与存储器805耦合，并且用于调用存储器805中存储的定位初始化模块对应的可执行程序代码，执行图1或图2所示的任一种应用于车辆定位的定位初始化方法。
需要说明的是，图9所示的车载终端还可以包括电源、输入按键、扬声器、蓝牙模块等未显示的组件，本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的任一种应用于车辆定位的定位初始化方法。
本发明实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行图1或图2所示的任一种应用于车辆定位的定位初始化方法
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种应用于车辆定位的定位初始化方法及车载终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种应用于车辆定位的定位初始化方法，其特征在于，所述方法包括：
利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图；
将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置；
基于所述局部地图在所述全局地图中的位置，将所述车辆在所述局部地图中的位置映射到所述全局地图中，以得到所述车辆在所述全局地图中初始位置；其中，得到所述局部地图的步骤包括：获取多个图像采集装置在同一时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，以得到俯视拼接图；识别所述俯视拼接图中的图像语义特征，以得到俯视感知图；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部地图；其中，当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧；
其中，开始建图时，设定一个全局坐标系并基于俯视拼接图对车辆的位置进行追踪，得到的各个时刻的坐标对应俯视图会用来建图；根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为关键帧，根据空间关系的公式如下：
||pk-pi||+λ||θk-θi||＞δ
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角，θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是一个设定的阈值。
2.根据权利要求1所述的应用于车辆定位的定位初始化方法，其特征在于，所述将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置包括：
检测所述局部地图中的特定特征，所述特定特征为在所述局部地图中的出现概率低于非所述特定特征的所述图像语义特征；
识别预先构建的全局地图中与所述特定特征相匹配的目标特征；
根据所述目标特征在所述全局地图中的位置，确定所述局部地图在所述全局地图中的位置。
3.根据权利要求1-2任一项所述的应用于车辆定位的定位初始化方法，其特征在于，在所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图之前，所述方法还包括：
判断是否记录到上一次定位计算结束时的定位结束位置，所述上一次定位计算为在所述车辆启动前发生的前一次定位计算；
如果记录到所述定位结束位置，将所述定位结束位置确定为所述车辆在所述全局地图中的初始位置；
如果未记录到所述定位结束位置，执行所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
4.根据权利要求1所述的应用于车辆定位的定位初始化方法，其特征在于，在所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图之前，所述方法还包括：
判断是否接收到卫星定位信号，如果接收到所述卫星定位信号，基于所述卫星定位信号确定所述车辆在所述全局地图中的初始位置；
如果未接收到所述卫星定位信号，执行所述利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
5.一种车载终端，其特征在于，包括：
构建单元，用于利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建，以得到局部地图；
匹配单元，用于将所述局部地图与预先构建的全局地图进行匹配，以得到所述局部地图在所述全局地图中的位置；
第一确定单元，用于基于所述局部地图在所述全局地图中的位置，将所述车辆在所述局部地图中的位置映射到所述全局地图中，以得到所述车辆在所述全局地图中初始位置；其中所述构建单元，包括：
获取子单元，用于获取多个图像采集装置在同一时刻拍摄到的多张目标图像；
拼接子单元，用于对多张所述目标图像进行拼接，以得到俯视拼接图；
构建子单元，用于识别所述俯视拼接图中的图像语义特征，并基于所述图像语义特征构建局部地图；所述构建子单元包括：定位子单元，用于对感知子单元获得的俯视感知图进行定位，从而确定关键帧；其中，当当前帧和最近关键帧的距离和角度差异到一个阈值时，当前帧会被当作关键帧；
所述构建单元还包括：判断子单元，用于根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，其中根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||＞δ；
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
6.根据权利要求5所述的车载终端，其特征在于，所述匹配单元，包括：
检测子单元，用于检测所述局部地图中的特定特征，所述特定特征为在所述局部地图中的出现概率低于非所述特定特征的所述图像语义特征；
识别子单元，用于识别预先构建的全局地图中与所述特定特征相匹配的目标特征；
确定子单元，用于根据所述目标特征在所述全局地图中的位置，确定所述局部地图在所述全局地图中的位置。
7.根据权利要求5～6任一项所述的车载终端，其特征在于，所述车载终端还包括：
第一判断单元，用于在所述构建单元利用图像采集装置拍摄到的目标图像对车辆的周围环境进行构建以得到局部地图之前，判断是否记录到上一次定位计算结束时的定位结束位置，所述上一次定位计算为在所述车辆启动前发生的前一次定位计算；
第二确定单元，用于在所述第一判断单元判断出记录到所述定位结束位置时，将所述定位结束位置确定为所述车辆在所述全局地图中的初始位置；
所述构建单元，具体用于在所述第一判断单元判断出未记录到所述定位结束位置时，利用图像采集装置拍摄到的目标图像对所述车辆的周围环境进行构建，以得到局部地图。
8.根据权利要求6所述的车载终端，其特征在于，特定特征包括斑马线、车道箭头、库位点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811336757.2A CN111179162B (zh) | 2018-11-12 | 2018-11-12 | 一种特殊环境下的定位初始化方法及车载终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811336757.2A CN111179162B (zh) | 2018-11-12 | 2018-11-12 | 一种特殊环境下的定位初始化方法及车载终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179162A CN111179162A (zh) | 2020-05-19 |
| CN111179162B true CN111179162B (zh) | 2023-10-24 |
Family
ID=70649808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811336757.2A Active CN111179162B (zh) | 2018-11-12 | 2018-11-12 | 一种特殊环境下的定位初始化方法及车载终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179162B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723863B (zh) * | 2020-06-19 | 2023-06-02 | 中国农业科学院农业信息研究所 | 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质 |
| CN111986261B (zh) * | 2020-08-13 | 2023-08-18 | 清华大学苏州汽车研究院（吴江） | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN112092803B (zh) * | 2020-10-26 | 2023-01-31 | 北京罗克维尔斯科技有限公司 | 自动泊车方法和装置、介质、设备、车辆 |
| CN112697132A (zh) * | 2020-12-21 | 2021-04-23 | 北京金和网络股份有限公司 | 一种基于gis的定位方法、装置及系统 |
| CN113191412A (zh) * | 2021-04-25 | 2021-07-30 | 珠海格力电器股份有限公司 | 设备重定位方法、装置、计算机设备和存储介质 |
| CN113218385B (zh) * | 2021-05-24 | 2022-05-27 | 周口师范学院 | 基于slam的高精度车辆定位方法 |
| CN113135179A (zh) * | 2021-05-26 | 2021-07-20 | 前海七剑科技(深圳)有限公司 | 泊车检测方法、装置、设备、系统及存储介质 |
| CN114489085A (zh) * | 2022-02-18 | 2022-05-13 | 河南省工业学校 | 一种基于机器视觉的工业机器人运动控制装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2706749A2 (en) * | 2012-09-10 | 2014-03-12 | Hisense Co., Ltd. | 3D Video conversion system and method, key frame selection method, key frame selection method and apparatus thereof |
| CN104899918A (zh) * | 2015-05-14 | 2015-09-09 | 深圳大学 | 一种无人机的三维环境建模方法及系统 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN106485744A (zh) * | 2016-10-10 | 2017-03-08 | 成都奥德蒙科技有限公司 | 一种同步定位与地图构建方法 |
| CN107784671A (zh) * | 2017-12-01 | 2018-03-09 | 驭势科技（北京）有限公司 | 一种用于视觉即时定位与建图的方法与系统 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN110136058A (zh) * | 2018-10-25 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于俯视拼接图的建图方法及车载终端 |
| CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011253973B2 (en) * | 2011-12-12 | 2015-03-12 | Canon Kabushiki Kaisha | Keyframe selection for parallel tracking and mapping |
| US9947230B2 (en) * | 2015-08-03 | 2018-04-17 | Amber Garage, Inc. | Planning a flight path by identifying key frames |
| US10812936B2 (en) * | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| CN106920279B (zh) * | 2017-03-07 | 2018-06-19 | 百度在线网络技术（北京）有限公司 | 三维地图构建方法和装置 |
| US10990829B2 (en) * | 2017-04-28 | 2021-04-27 | Micro Focus Llc | Stitching maps generated using simultaneous localization and mapping |
-
2018
- 2018-11-12 CN CN201811336757.2A patent/CN111179162B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2706749A2 (en) * | 2012-09-10 | 2014-03-12 | Hisense Co., Ltd. | 3D Video conversion system and method, key frame selection method, key frame selection method and apparatus thereof |
| CN104899918A (zh) * | 2015-05-14 | 2015-09-09 | 深圳大学 | 一种无人机的三维环境建模方法及系统 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN106485744A (zh) * | 2016-10-10 | 2017-03-08 | 成都奥德蒙科技有限公司 | 一种同步定位与地图构建方法 |
| CN107784671A (zh) * | 2017-12-01 | 2018-03-09 | 驭势科技（北京）有限公司 | 一种用于视觉即时定位与建图的方法与系统 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
| CN110136058A (zh) * | 2018-10-25 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于俯视拼接图的建图方法及车载终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179162A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179162B (zh) | 一种特殊环境下的定位初始化方法及车载终端 | |
| CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
| WO2020042349A1 (zh) | 一种应用于车辆定位的定位初始化方法及车载终端 | |
| AU2022203634B2 (en) | Localizing vehicle navigation using lane measurements | |
| CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
| US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
| US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
| US11094112B2 (en) | Intelligent capturing of a dynamic physical environment | |
| JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
| US20210149408A1 (en) | Generating Depth From Camera Images and Known Depth Data Using Neural Networks | |
| CN111169468A (zh) | 一种自动泊车的系统及方法 | |
| Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN116469079A (zh) | 一种自动驾驶bev任务学习方法及相关装置 | |
| CN112689234B (zh) | 室内车辆定位方法、装置、计算机设备和存储介质 | |
| CN110136049B (zh) | 一种基于环视图像与轮速计融合的定位方法及车载终端 | |
| CN111754388A (zh) | 一种建图方法及车载终端 | |
| CN113160406A (zh) | 道路三维重建方法、装置、存储介质及电子设备 | |
| Meyer et al. | Long-term visual localization in large scale urban environments exploiting street level imagery | |
| Schwarze et al. | Wall Estimation from Stereo Vision in Urban Street Canyons. | |
| CN117541465A (zh) | 一种基于特征点的地库定位方法、系统、车辆及存储介质 | |
| CN117745830A (zh) | 车辆初定位方法、装置、设备及存储介质 | |
| Salib | Deep Neural Network Aiding Visual Odometry for Land Vehicles Navigation | |
| CN117893634A (zh) | 一种同时定位与地图构建方法及相关设备 | |
| CN117670833A (zh) | 一种三维车道线检测方法、系统、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220228 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089 Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |