CN110136199A - 一种基于摄像头的车辆定位、建图的方法和装置 - Google Patents

一种基于摄像头的车辆定位、建图的方法和装置 Download PDF

Info

Publication number
CN110136199A
CN110136199A CN201811348357.3A CN201811348357A CN110136199A CN 110136199 A CN110136199 A CN 110136199A CN 201811348357 A CN201811348357 A CN 201811348357A CN 110136199 A CN110136199 A CN 110136199A
Authority
CN
China
Prior art keywords
pose
map
vehicle
target
signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811348357.3A
Other languages
English (en)
Other versions
CN110136199B (zh
Inventor
李天威
童哲航
谢国富
胡缓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Initial Speed Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Initial Speed Technology Co Ltd filed Critical Beijing Initial Speed Technology Co Ltd
Priority to CN201811348357.3A priority Critical patent/CN110136199B/zh
Publication of CN110136199A publication Critical patent/CN110136199A/zh
Application granted granted Critical
Publication of CN110136199B publication Critical patent/CN110136199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

一种基于摄像头的车辆定位、建图的方法和装置，该方法包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，该方法和装置还包括基于所述俯视感知图进行定位，从而确定关键帧；所述关键帧生成地图点，从而形成局部建图。其中实施本发明实施例，能够在卫星定位信号缺失或者较弱的情况下，只利用摄像头提供的视觉信息，完成车辆定位，从而可以提高自动驾驶时车辆定位的精度。

Description

一种基于摄像头的车辆定位、建图的方法和装置
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于车载环视系统的车辆定位方法及车载终端。
背景技术
在自动驾驶导航过程中，需要对车辆位置进行实时定位，当前市面上提供的车辆实时定位方案有：基于卫星导航系统的车辆定位方案。利用卫星导航系统给出的卫星定位信息，结合惯性测量单元等传感器的测量数据，可以得到较为准确的车辆定位位置。
然而，在实践中发现，在上述基于卫星导航的车辆定位方案中，当车辆驶入地下车库等特殊环境时，难以接收到卫星定位信号；并且，如果只依靠惯性测量单元的测量数据进行定位计算，容易产生累积误差，此时车辆定位的精度较低，难以满足自动驾驶对定位精度的要求。
发明内容
本发明实施例公开了一种基于车载环视系统的车辆定位方法及车载终端，能够提高自动驾驶时车辆定位的精度。
本发明实施例第一方面公开一种基于车载环视系统的车辆定位方法，其特征在于，包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；
其中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：
获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，得到俯视拼接图；
将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
基于所述俯视感知图进行定位，从而确定关键帧；
根据所述关键帧生成地图点，从而形成局部建图；
该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||>δ
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
作为一种可选的实施方式，在本发明实施例第一方面中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；
判断所述第一误差是否小于指定阈值；
当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；
或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断所述第二误差是否小于指定阈值；
当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：
以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
作为一种可选的实施方式，在本发明实施例第一方面中，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
本发明实施例第二方面公开一种车载终端，包括：
一种车载终端，其特征在于，包括：
识别单元，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
匹配单元，用于从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；
确定单元，用于根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；
其中所述识别单元包括：
获取子单元，用于获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
拼接子单元，用于对所述多张目标图像进行拼接，得到俯视拼接图；
识别子单元，用于将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；该车载终端还包括判断子单元，所述判断子单元还包括根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||>δ
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
作为一种可选的实施方式，在本发明实施例第二方面中，所述确定单元，包括：
第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；或者，计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断子单元，用于判断所述第一误差或者所述第二误差是否小于指定阈值；
调整子单元，用于在所述判断子单元判断出所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的操作；或者，在所述判断子单元判断出所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的操作；
确定子单元，用于在所述判断子单元判断出所述第一误差或者所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第二方面中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
作为一种可选的实施方式，在本发明实施例第二方面中，所述确定单元包括：
第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；或者，计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断子单元，用于判断所述第一误差或者所述第二误差是否小于指定阈值；
调整子单元，用于在所述判断子单元判断出所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的操作；或者，在所述判断子单元判断出所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的操作；
确定子单元，用于在所述判断子单元判断出所述第一误差或者所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第二方面中，所述车载终端还包括：
位姿计算单元，用于在所述第一计算子单元根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的方式具体为：
所述第一计算子单元，用于以位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
所述第一计算子单元，用于根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的方式具体为：
所述第一计算子单元，用于以所述位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
作为一种可选的实施方式，在本发明实施例第二方面中，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
本发明实施例第三方面公开一种车载终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的任一项方法。
本发明第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比，本发明的发明点及实现的有益效果：
1、利用多个摄像头组成摄像头的环视系统，可以在当前时刻拍摄到车辆四周的多张目标图像；识别目标图像中的视觉特征，进而从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征；结合目标特征在自动驾驶导航电子地图中的位置，以及视觉特征在目标图像中的位置，即可以确定出车辆当前时刻的位姿，从而完成车辆定位。可见，实施本发明实施例，可以在卫星定位信号缺失或者较弱的情况下，只利用摄像头提供的视觉信息，完成车辆定位，从而可以提高自动驾驶时车辆定位的精度。
2、利用多个摄像头组成摄像头的环视系统，根据摄像头环视系统拍摄车辆四周的环境，结合自动驾驶导航电子地图，可以利用环境中的特征在图像中的位置以及这些特征在地图中的位置确定出车辆当前时刻的位姿。实施本发明实施例，可以只利用视觉信息完成车辆定位，并且基于环视的摄像头设置方案，单次图像信息采集即可获得车辆四周的环境信息，从而可以使得车辆定位的精度较高。
3、利用神经网络从俯视拼接图中识别出预设的视觉特征，以利用视觉特征进行定位。相比传统的图像识别算法，采用识别网络识别视觉特征可以使得特征的识别更加准确。先对采集到的目标图像进行拼接，再对俯视拼接图进行视觉特征提取，相比逐张提取的方案，可以加快特征提取的速度。
4、利用惯性测量单元和轮速计的采集数据建立运动模型，结合车辆在上一时刻的位姿预估出车辆在当前时刻的预估位姿，并以预估位姿为初值，迭代调整车辆位姿的取值，直至得到一个精度较高的定位结果，可以进一步提高车辆实时定位的精度。
5、对俯视感知图进行定位追踪，根据观测的情况和特定的空间关系来判定某一时刻的俯视感知图是否为关键帧；根据关键帧生成地图点，并且判断避免同一个地方生成重复的地图点，这是本发明的发明点之一。
6、现有技术中没有发现有识别图像语义特征的，更没有将图像语义特征进行识别后拼接得到拼接图的技术方案。本发明通过识别俯视拼接图中的图像语义特征，以得到俯视感知图，特别是选取车道线、库位线、库位点作为语义特征在现有技术中未曾出现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于车载环视系统的车辆定位方法的流程示意图；
图2是本发明实施例公开的另一种基于车载环视系统的车辆定位方法的流程示意图；
图3是本发明实施例公开的另一种基于俯视拼接图的建图方法的流程示意图；
图4是本发明实施例公开的一种停车场的自动驾驶导航电子地图的示例图；
图5是本发明实施例公开的一种车载终端的结构示意图；
图6是本发明实施例公开的另一种车载终端的结构示意图；
图7是本发明实施例公开的另一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于车载环视系统的车辆定位方法及车载终端，能够提高自动驾驶时车辆定位的精度。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于车载环视系统的车辆定位方法的流程示意图。其中，图1所描述的基于车载环视系统的车辆定位方法适用于车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端，本发明实施例不做限定。如图1所示，该基于车载环视系统的车辆定位方法可以包括以下步骤：
101、车载终端从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征。
本发明实施例中，车载终端可以与摄像头进行数据传输，摄像头可以按照一定的频率采集图像，并将采集到的图像传输至车载终端，以供车载终端对图像进行处理。此外，上述的多个摄像头具体可以为分别设置于车辆的前、后、左、右四个方向上的摄像头，每个摄像头的取景范围至少包括该摄像头下方的地面。本发明实施例中，在当前时刻，每个摄像头都可以拍摄到至少一张目标图像，多个摄像头一共拍摄到的目标图像的数量至少不低于摄像头的数量。作为一种可选的实施方式，上述的摄像头可以为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高目标图像中包含的信息量，这也属于本发明的发明点之一。
本发明实施例中，视觉特征可以为经过经验筛选具有特殊含义并有助于车辆定位的图像语义特征。作为一种可选的实施方式，视觉特征可以为地面上的车道线、库位线、库位点、车道箭头等，本发明实施例不做限定。每张目标图像中可能存在多个视觉特征，也可能不存在视觉特征，因此，本发明实施例采用多张目标图像进行车辆定位，多张目标图像之间可以进行信息互补，提高定位系统的稳定性，这也属于本发明的发明点之一。
此外，车载终端对于每个摄像头拍摄到的每张目标图像，均进行视觉特征的识别。可选的，车载终端识别某一张目标图像中视觉特征的方式具体可以为：车载终端通过深度学习或图像分割等图像识别算法从目标图像中识别出视觉特征，本发明实施例不做限定。
102、车载终端从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征。
本发明实施例中，自动驾驶导航电子地图是预先构建的电子地图，特别的，自动驾驶导航电子地图可以为二维图像，并且该地图由多个图像语义特征构建而成。举例来说，请一并参阅图4，图4是本发明实施例公开的一种停车场的自动驾驶导航电子地图，地图中可以包括停车场的车道线、库位线、库位点等特征。
作为一种可选的实施方式，各个图像语义特征在自动驾驶导航电子地图中的位置可以使用基于世界坐标系的绝对坐标进行表示，具体的坐标值可以通过全球卫星定位系统(Global Positioning System，GPS)测量得出。作为另一种可选的实施方式，各个图像语义特征在自动驾驶导航电子地图中的位置还可以使用相对坐标进行表示，即每个图像语义特征相对于预设的坐标原点的相对位置，该坐标原点可以根据不同的场景设定。举例来说，在构建自动驾驶导航电子地图时，可以将停车场的入口设置为坐标原点，对于每个用于构建自动驾驶导航电子地图的图像语义特征，均测量该图像语义特征相对于停车场入口的相对位置。
本发明实施例中，对于自动驾驶导航电子地图中的某一个图像语义特征，当车辆途经该特征所在位置时，车辆的摄像头可能拍摄到包含该特征的目标图像。因此，车载终端识别与目标图像中的视觉特征相匹配的目标特征时，具体可以使用尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征((Speeded Up RobustFeatures，SURF)等图像匹配算法从自动驾驶导航电子地图中识别出与目标图像中的视觉特征相匹配的目标特征，具体的匹配算法本发明实施例不做限定。
103、车载终端根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。
本发明实施例中，车辆在当前时刻的位姿包括车辆在当前时刻的位置和姿态。可以理解的是，如果自动驾驶导航电子地图中各个图像语义特征的位置使用绝对坐标进行表示，那么车辆在当前时刻的位置也相应地使用绝对坐标进行表示；如果自动驾驶导航电子地图中各个图像语义特征的位置使用相对坐标进行标识，那么车辆在当前时刻的位置也相应地使用相对坐标进行表示。
对于自动驾驶导航电子地图中的某一目标特征，与之相匹配的视觉特征实际为该目标特征在摄像头成像平面(即拍摄得到的目标图像)上的投影，具体的投影位置根据摄像头拍摄到目标头像时车辆的位姿确定。因此，可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。根据从目标图像中识别出的多个视觉特征以及每个视觉特征相匹配的目标特征在自动驾驶导航电子地图中的位置，可以计算出车辆在当前时刻的多个位姿，车载终端可以进一步根据车辆在当前时刻的多个位姿，计算出一个在当前时刻车辆最终的位姿。
可见，在图1所描述的方法中，车载终端可以识别多个摄像头拍摄到的多张目标图像中的视觉特征，并且从预先构建的自动驾驶导航电子地图中识别出与上述的视觉特征相匹配的多个目标特征，从而可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，可以在不依赖卫星定位信号的情况下得到精度较高的车辆定位结果。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于车载环视系统的车辆定位方法。如图2所示，该基于车载环视系统的车辆定位方法可以包括以下步骤：
201、车载终端获取多个摄像头在当前时刻拍摄到的多张目标图像。
202、车载终端对多张目标图像进行拼接，得到俯视拼接图。
本发明实施例中，车载终端按照一定的映射规则，将目标图像投影到地平面上，并根据各个目标图像之间可能存在的重叠区域，对多张目标图像进行拼接，得到包含以车辆为中心360的环境信息的俯视拼接图。
203、车载终端将俯视拼接图输入至语义特征检测模型，并基于该语义特征检测模型的输出结果，确定俯视拼接图中的视觉特征。
本发明实施例中，语义特征检测模型可以为适用于深度学习的神经网络模型，该模型采用标注有视觉特征的样本图像作为模型输入训练得到。
该神经网络模型如下：该网络结构采用Encoder-Decoder模型，主要包括两个部分：编码(Encoder)部分和解码(Decoder)部分。
本发明实施例中将拼接好的图像输入至网络中，其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练，调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后，通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。
解码网络是与编码网络对称的结构，其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样，将编码抽取的特征放大到原图尺寸，从而实现像素语义分类。上采样是通过反卷积实现的，这种操作能够得到输入数据的大部分信息，但仍会造成部分信息的丢失，因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来自编码网络中不同尺度的卷积层，在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异，交叉熵公式如下：
其中y为图像元素的标记值，即图像的一个像素是语义元素还是非语义元素，一般用1表示语义元素，0表示非语义元素；n为图像的像素总数，x为输入，a为神经元的输出a＝σ(z),z＝∑jwjxj+b，它可以克服网络权值更新过慢的问题。网络模型训练完成之后，在本发明示例实际使用时，网络针对输入图像的每一个像素都进行预测，输出每个像素对应的属性值为0或是1，标记为1的图像元素的连通块即为有意义的语义图像结构，至此实现了图像的语义分割。上述网络结构是针对拼接图像语义特征提取而专门设计的，保证语义特征提取的准确，属于本发明的发明点之一。此外，先对目标图像进行拼接，再从俯视拼接图中提取图像语义特征，而非逐张提取目标图像中的图像语义特征，可以提高图像语义特征的提取效率，也属于本发明的发明点之一。
在一些实施例中，从俯视拼接图中提取图像语义特征，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；基于所述俯视感知图进行定位，从而确定关键帧；根据所述关键帧生成地图点，从而形成局部建图。
在一些实施例中，当一帧被判定为关键帧时，系统会判断关键帧中每一个被识别的像素点是否被建出。如果没有，系统则为其生成一个新的地图点占据地图中的对应位置。每次根据新的关键帧生成地图点的时候都会做此判断避免同一个地方生成重复的地图点。每个地图点会根据连续帧的观测来判定类别是否正确和地图点是否成熟计算类别和是否成熟。举例说明，假设一个地图点在关键帧中被判定为车位线类别，其对应的地图点也被建立。该地图点会计算附近其他帧对于对应位置的观测是否一致，这里一致的定义涵盖两种:一是类别是否一致；二是该地图点的相对位置对应其他6其他帧的观测是否在一定范围内。如果两项都被满足，则该地图点会被判定是成熟的并加入到地图中。
为了更好地理解通过特定特征进行局部地图，本发明实施例公开的另一种由车载终端构建的停车场局部地图示例图。该局部地图中包括库位线、库位点和车道箭头三种图像语义特征。
随着载体在地库中的形式，局部建图是基于视觉或者视觉融合其他传感器的里程计来进行的，则所建立的地图即使能够保证局部的精度，在长远看来也不可避免的会加入累计误差，此时我们可以采用回环检测和全局优化。
本发明实施例公开的另一种基于俯视拼接图的建图方法的流程示意图。该基于俯视拼接图的建图方法包括以下步骤：
在局部建图过程中进行回环检测；
在本发明实施例中，回环检测可以为：当载体两次来到同一个位置时它行驶的轨迹会是一个回环，所以被称之为回环检测。当两次来到同一个位置被检测到时，定位的累计误差也能够被量化，通过全局优化的计算一定程度上消除累计误差的影响。
回环检测成功后进行全局优化。
请参阅图3，图3是本发明实施例公开的一种车载终端的结构示意图。如图3所示，车载终端包括：
获取子单元501，用于获取多个摄像头在同一时刻拍摄到的多张目标图像。
本发明实施例中，图像采集装置可以为摄像头，为了方便描述，如无特殊说明，下文中的摄像头指图像采集装置。上述的多个摄像头包括至少四个分别安装在车辆前、后、左、右四个方向的摄像头，每个摄像头的取景范围至少包括该摄像头的下方地面。安装在上述四个方向的摄像头组成了摄像头的环视方案，从而可以使得利用单次采集得到的目标图像构建出的局部地图包含更多的特征，有利于提高局部地图与全局地图的匹配成功率。此外，环视方案中各个摄像头采集到的数据之间存在一定的冗余，因此，在某一路摄像头失效的情况下，其余摄像头的采集数据可以作为补充，从而可以降低部分摄像头失效对车载终端构建局部地图和定位的影响。
拼接子单元502，用于对获取子单元501获取到的多张目标图像进行拼接，以得到俯视拼接图。
本发明实施例中，如果用于拍摄目标图像的摄像头为上述摄像头，拼接子单元502在对多张目标图像进行拼接之前，还需要对目标图像进行反畸变处理，即按照一定的映射规则，将鱼眼摄像头拍摄到的目标图像投影到地平面上，再对投影完成得到的图像进行拼接。
感知子单元503，用于识别拼接子单元502拼接得到的俯视拼接图中的图像语义特征，以得到俯视感知图。
本发明实施例中，图像语义特征为可以为经过经验筛选，具有特殊含义并有助于车辆定位的语义特征。例如，图像语义特征可以为车道线、停车库位线、库位点、斑马线、车道箭头等，本发明实施例不做限定。
此外，感知子单元503可以通过深度学习或图像分割等图像识别算法从俯视拼接图中识别出图像语义特征。优选的，可以使用适用于深度学习的神经网络模型识别图像语义特征：将车载终端拼接得到的俯视拼接图输入至上述训练好的神经网络模型，基于神经网络模型的识别结果，即可识别出俯视拼接图中的图像语义特征。相较于传统的图像分割技术，通过深度学习的方法从俯视拼接图中提取图像语义特征，可以提高图像语义特征的识别精度。
定位子单元504，用于对感知子单元503获得的俯视感知图进行定位，从而确定关键帧。
在本发明实施例中，开始建图时，系统将设定一个全局坐标系并基于俯视拼接图对车辆的位置进行追踪，得到的各个时刻的坐标对应俯视图会用来建图。系统会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为关键帧，根据空间关系的公式如下：
||pk-pi||+λ||θk-θi||>δ
在上式子中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角，θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是一个设定的阈值。
作为一种可选的实施方式，在观测足够的情况下，当当前帧和最近关键帧的距离和角度差异到一个阈值时，该帧会被当作关键帧。
此外，作为一种可选的实施方式，在上述的步骤104中，除了基于俯视拼接图的定位以外，定位方面还可以融合环视VO(所谓环视VO就是在获得拼接图之前，我们有四路相机的原始图像，基于几个相机的原始图像做的Visual Odometry)、环视VIO(Visual InertialOdometry)、环视VIO和轮速等来提高局部定位的一个准确性。
构建子单元505，用于根据定位子单元404的关键帧生成地图点，从而形成局部建图。
在本发明实施例中，当一帧被判定为关键帧时，系统会判断每一个被识别的像素点是否被建出。如果没有，系统则为其生成一个新的地图点占据地图中的对应位置。每次根据新的关键帧生成地图点的时候都会做此判断避免同一个地方生成重复的地图点。每个地图点会根据连续帧的观测来判定类别是否正确和地图点是否成熟。举例说明，假设一个地图点在关键帧中被判定为车位线类别，其对应的地图点也被建立。该地图点会计算附近其他帧对于对应位置的观测是否一致，这里一致的定义涵盖两种:一是类别是否一致；二是该地图点的相对位置对应其他帧的观测是否在一定范围内。如果两项都被满足，则该地图点会被判定是成熟的并加入到地图中。
204、车载终端从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征。
205、车载终端以车辆在上一时刻的位姿为基准，结合运动模型计算车辆在当前时刻的预估位姿。
本发明实施例中，车载终端可以根据一定的频率定时计算车辆的定位位姿，上述的运动模型可以由车辆的惯性测量单元(Inertial Measurement Unit，IMU)和/或轮速计采集的数据确定得到。六轴惯性测量单元可以测量车辆的三轴加速度和角速率，轮速计可以测量车辆的车轮转速；根据车辆上一时刻的位姿，利用惯性测量单元和/或轮速计的测量数据对时间进行积分，可以计算出车辆在当前时刻的预估位姿。实施上述的实施方式，本发明构建了一个基于IMU数据和/或论速计数据的运动模型。与匀速模型(即相邻两个时刻车辆的相对运动速度相同)相比，该运动模型的精度高于匀速模型的精度，可以更好地表征车辆实际的运动情况。然而，由于积分的误差会随着时间的增加而逐渐积累为了进一步提高最终的车辆定位位姿的精度，本发明可以根据由上述的运动模型计算出的预估位姿确定出车辆定位位姿的估计范围，从而在该范围内进一步确定出精度较高的定位位姿。这也属于本发明的发明点之一。
206、车载终端以上述的预估位姿的取值作为估计位姿的初值。
207、车载终端根据估计位姿的当前取值以及上述的视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置。
本发明实施例中，当车载终端首次计算视觉特征的映射位置时，使用步骤205确定出的预估位姿的取值作为估计位姿的初值；当车辆终端执行下述的步骤209判断出映射位置和实际位置之间的误差大于或等于指定阈值，并且调整了估计位姿的取值之后，车载终端执行步骤207使用的估计位姿的当前取值为调整之后的值。在另一些可能的实施例中，车载终端可以使用任意的取值作为估计位姿的初值。
208、车载终端计算视觉特征的映射位置与目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差。
209、车载终端判断该第一误差是否小于指定阈值，如果是，执行步骤210，如果否，调整估计位姿的取值并继续执行步骤207。
本发明实施例中，当误差小于指定阈值时，可以认为该误差是可以被接受的，此时定位的精度较高。
210、车载终端根据估计位姿的当前取值确定车辆在当前时刻的位姿。
本发明实施例中，执行上述的步骤206～步骤209，车载终端可以根据目标特征在自动驾驶导航电子地图中的位置、视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，具体地可以使用步骤204确定出的预估位姿的取值作为车辆在i时刻的位姿信息Pi的初值，并不断迭代调整Pi的取值，直至视觉特征在地图中的映射位置与目标特征的实际位置之间的误差最小，并将误差最小时Pi的取值确定为车辆在当前时刻的位姿。
本发明实施例中，作为另一种可选的实施方式，上述的步骤207～步骤209可以替换成以下步骤：
车载终端根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
车载终端计算目标特征的投影位置与视觉特征在目标图像中的实际位置之间的第二误差；
车载终端判断第二误差是否小于指定阈值，如果是，执行步骤210，如果否，调整估计位姿的取值并继续执行根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的步骤。
上述的步骤具体可以表述为以下的数学模型：
Pi＝argmin(‖Xij-f(Pi,Aj)‖)；
其中，Pi为i时刻车辆的位姿信息，Aj为第j个目标特征在自动驾驶电子导航地图中的位置，Xij为与上述的第j个目标特征相匹配的视觉特征在目标图像中的位置，f(,)为投影方程，用于将Aj投影到Pi的成像平面，使其投影结果成为和Xij一样形式的表达，从而能得到估计位姿的当前取值映射的观测和实际观测的误差，通过非线性优化的方式优化摄像头位姿(及车辆位姿)和观测来迭代地降低误差，以求得最大似然的位姿。也就是说，在本发明实施例中，还可以使用步骤204确定出的预估位姿的取值作为车辆在i时刻的位姿信息Pi的初值，并不断迭代调整Pi的取值，直至目标特征在图像中的投影位置与视觉特征的实际位置之间的误差最小，并将误差最小时Pi的取值确定为车辆在当前时刻的位姿。结合上述的数据模型可以看出，本发明实施例在确定出定位位姿的估计范围之后，进一步采用数值优化的算法确定出精度较高的车辆定位位姿，也属于本发明的发明点之一。
可见，在图2所描述的方法中，车载终端可以使用经过训练的神经网络模型从俯视拼接图中识别出视觉特征，可以快速准确的从图像中提取出预设的视觉特征。进一步地，车载终端还可以根据惯性测量单元和/或轮速计的测量数据建立运动模型，结合运动模型计算出车辆当前时刻的预估位姿，并将预估位姿的取值作为估计位姿的初值，通过不断迭代调整估计位姿的取值，最终确定出精度较高的车辆定位位姿。
实施例三
请参阅图5，图5是本发明实施例公开的一种车载终端的结构示意图。如图5所示，该车载终端可以包括：
识别单元401，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征。
本发明实施例中，上述的多个摄像头具体可以为分别设置于车辆的前、后、左、右四个方向上的摄像头，每个摄像头的取景范围至少包括该摄像头下方的地面。视觉特征可以为经过经验筛选具有特殊含义并有助于车辆定位的图像语义特征。作为一种可选的实施方式，视觉特征可以为地面上的车道线、库位线、库位点、车道箭头等，本发明实施例不做限定。每张目标图像中可能存在多个视觉特征，也可能不存在视觉特征，因此，本发明实施例采用多张目标图像进行车辆定位，多张目标图像之间可以进行信息互补，提高定位系统的稳定性。可选的，识别单元401可以通过深度学习或图像分割等图像识别算法从目标图像中识别出视觉特征。
匹配单元402，用于从自动驾驶导航电子地图中识别出与识别单元401识别出的视觉特征相匹配的目标特征。
本发明实施例中，匹配单元402具体可以使用SIFT、SURF等图像匹配算法从驾驶导航电子地图中识别出与目标图像中的视觉特征相匹配的目标特征，具体的匹配算法本发明实施例不做限定。
确定单元403，用于根据匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置以及识别单元401识别出的视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。
本发明实施例中，根据从目标图像中识别出的多个视觉特征以及每个视觉特征相匹配的目标特征在自动驾驶导航电子地图中的位置，确定单元403可以计算出车辆在当前时刻的多个位姿，进一步地，确定单元403可以根据车辆在当前时刻的多个位姿，计算出一个在当前时刻车辆最终的位姿。
可见，实施图4所示的车载终端，可以识别多个摄像头拍摄到的多张目标图像中的视觉特征，并且从预先构建的自动驾驶导航电子地图中识别出与上述的视觉特征相匹配的多个目标特征，从而可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，可以在不依赖卫星定位信号的情况下得到精度较高的车辆定位结果。
实施例四
请参阅图6，图6是本发明实施例公开的另一种车载终端的结构示意图。其中，图6所示的车载终端是由图5所示的车载终端进行优化得到的。如图6所示，该车载终端中，上述的识别单元401，可以包括：
获取子单元4011，用于获取多个摄像头在当前时刻拍摄到的多张目标图像。
拼接子单元4012，用于对获取子单元4011获取到的多张目标图像进行拼接，得到俯视拼接图。
识别子单元4013，用于将拼接子单元4012得到的俯视拼接图输入至语义特征检测模型，并基于该语义特征检测模型的输出结果，确定俯视拼接图中的视觉特征。其中，上述的语义特征检测模型为采用标注有视觉特征的样本图像作为模型输入训练得到的神经网络模型。该神经网络模型的结构如实施例二所述，本发明实施例不再赘述。
可选的，在本发明实施例中，上述的确定单元403，可以包括：
第一计算子单元4031，用于根据估计位姿的取值以及识别单元401识别出的视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置；
第二计算子单元4032，用于计算第一计算子单元4031确定出的视觉特征的映射位置与匹配单元402识别出的目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差；或者，用于计算计算第一计算子单元4031确定出的目标特征的投影位置与识别单元401识别出的视觉特征在目标图像中的实际位置之间的第二误差；
判断子单元4033，用于判断第二计算子单元计算出的第一误差或者第二误差是否小于指定阈值；
调整子单元4034，用于在判断子单元4033判断出上述的第一误差大于或等于指定阈值时，调整估计位姿的取值，并触发第一计算子单元4031执行根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置的操作；或者，在判断子单元4033判断出上述的第二误差大于或等于指定阈值时，调整估计位姿的取值，并触发第一计算子单元4031执行根据估计位姿的取值以及匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置的操作；
确定子单元4035，用于在在判断子单元4033判断出上述的第一误差或者第二误差小于指定阈值时，根据估计位姿的当前取值确定车辆在当前时刻的位姿。
进一步可选的，在图6所示的车载终端中，还可以包括：
位姿计算单元404，用于在第一计算子单元4031根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置之前，以车辆在上一时刻的位姿为基准，结合运动模型计算车辆在当前时刻的预估位姿；其中，上述的上一时刻为在时间上在当前时刻之前的时刻，上述的运动模型由车辆的惯性测量单元和/或轮速计采集的数据确定得到。
本发明实施例中，惯性测量单元可以测量车辆的三轴加速度和角速率，轮速计可以测量车辆的车轮转速，位姿计算单元404具体可以利用惯性测量单元和/或轮速计的测量数据对时间进行积分，计算出车辆在当前时刻的预估位姿。
相应地，上述的第一计算子单元4031用于根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置的方式具体为：
第一计算子单元4031，用于以位姿计算单元404计算出的预估位姿的取值作为估计位姿的初值，并根据估计位姿的当前取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置；
以及，第一计算子单元4031用于根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置的方式具体可以为：
第一计算子单元4031，用于以位姿计算单元404计算出的预估位姿的取值作为估计位姿的初值，并根据估计位姿的当前取值以及目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置。
可见，在本发明实施例中，位姿计算单元404可以计算预估位姿的取值，第一计算子单元4031以预估位姿的取值作为估计位姿的初值，并根据第一计算子单元4031、判断子单元4033和调整子单元4034执行的相应操作，不断迭代调整估计位姿的取值，直至视觉特征的映射位置和目标特征的实际位置之间的误差最小。当误差最小时，确定子单元4035根据估计位姿的当前取值确定车辆在当前时刻的位姿，从而可以计算出一个精度较高的车辆定位位姿。
综上所述，实施图6所示的车载终端，可以使用经过训练的神经网络模型从俯视拼接图中识别出视觉特征，从而快速准确的从图像中提取出预设的视觉特征。进一步地，还可以根据惯性测量单元和/或轮速计的测量数据建立运动模型，结合运动模型计算出车辆当前时刻的预估位姿，并将预估位姿的取值作为估计位姿的初值，通过不断迭代调整估计位姿的取值，最终确定出精度较高的车辆定位位姿。
实施例五
请参阅图7，图7是本发明实施例公开的另一种车载终端的结构示意图。如图7所示，该车载终端可以包括：
存储有可执行程序代码的存储器601；
与存储器601耦合的处理器602；
其中，处理器602调用存储器601中存储的可执行程序代码，执行图1或图2所示的基于车载环视系统的车辆定位方法。
需要说明的是，图7所示的车载终端还可以包括电源、扬声器、屏幕、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的基于车载环视系统的车辆定位方法。
本发明实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行图1或图2所示的基于车载环视系统的车辆定位方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于车载环视系统的车辆定位方法及车载终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于车载环视系统的车辆定位方法，其特征在于，包括：
从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；
其中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：
获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，得到俯视拼接图；
将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
基于所述俯视感知图进行定位，从而确定关键帧；
根据所述关键帧生成地图点，从而形成局部建图；
该方法还包括会根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||>δ
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
2.根据权利要求1所述的车辆定位方法，其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
3.根据权利要求1或2所述的基于车载环视系统的车辆定位方法，其特征在于，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；
判断所述第一误差是否小于指定阈值；
当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；
或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断所述第二误差是否小于指定阈值；
当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
4.根据权利要求1-3任一项所述的基于车载环视系统的车辆定位方法，其特征在于，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：
以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
5.根据权利要求1-4任一项所述的基于车载环视系统的车辆定位方法，其特征在于，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
6.一种车载终端，其特征在于，包括：
识别单元，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
匹配单元，用于从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；
确定单元，用于根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿；
其中所述识别单元包括：
获取子单元，用于获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
拼接子单元，用于对所述多张目标图像进行拼接，得到俯视拼接图；
识别子单元，用于将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；该车载终端还包括判断子单元，所述判断子单元还包括根据观测的情况和空间关系来判定某一时刻的俯视感知图是否为所述关键帧，根据空间关系判定的公式如下：
||pk-pi||+λ||θk-θi||>δ
在上式中，pk表示在k时刻车辆中心的位置，pi表示在i时刻车辆中心的位置；在降维的2D地图中，位置的定义是θk表示车辆在k时刻的航向角,θi表示车辆在i时刻的航向角，λ是一个参数值控制位置部分和航向角部分的权重，δ则是设定的阈值。
7.根据权利要求6所述的车载终端，其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
8.根据权利要求6或7所述的车载终端，其特征在于，所述确定单元包括：
第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；或者，计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断子单元，用于判断所述第一误差或者所述第二误差是否小于指定阈值；
调整子单元，用于在所述判断子单元判断出所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的操作；或者，在所述判断子单元判断出所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的操作；
确定子单元，用于在所述判断子单元判断出所述第一误差或者所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
9.根据权利要求6-8任一项所述的车载终端，其特征在于，所述车载终端还包括：
位姿计算单元，用于在所述第一计算子单元根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的方式具体为：
所述第一计算子单元，用于以位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
所述第一计算子单元，用于根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的方式具体为：
所述第一计算子单元，用于以所述位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
10.根据权利要求6～9任一项所述的车载终端，其特征在于，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
CN201811348357.3A 2018-11-13 2018-11-13 一种基于摄像头的车辆定位、建图的方法和装置 Active CN110136199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811348357.3A CN110136199B (zh) 2018-11-13 2018-11-13 一种基于摄像头的车辆定位、建图的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811348357.3A CN110136199B (zh) 2018-11-13 2018-11-13 一种基于摄像头的车辆定位、建图的方法和装置

Publications (2)

Publication Number Publication Date
CN110136199A true CN110136199A (zh) 2019-08-16
CN110136199B CN110136199B (zh) 2022-09-13

Family

ID=67568389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811348357.3A Active CN110136199B (zh) 2018-11-13 2018-11-13 一种基于摄像头的车辆定位、建图的方法和装置

Country Status (1)

Country Link
CN (1) CN110136199B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110672102A (zh) * 2019-10-18 2020-01-10 劢微机器人科技(深圳)有限公司 视觉辅助机器人初始化定位方法、机器人及可读存储介质
CN110806215A (zh) * 2019-11-21 2020-02-18 北京百度网讯科技有限公司 车辆定位的方法、装置、设备及存储介质
CN111191596A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111220154A (zh) * 2020-01-22 2020-06-02 北京百度网讯科技有限公司 车辆定位方法、装置、设备和介质
CN111275041A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN111508258A (zh) * 2020-04-17 2020-08-07 北京三快在线科技有限公司 一种定位方法及装置
CN111833717A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111968229A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 高精度地图制图方法及装置
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统
CN112381726A (zh) * 2020-10-29 2021-02-19 浙江吉利控股集团有限公司 一种地下车库全局图的构建方法及装置
CN112414430A (zh) * 2019-08-22 2021-02-26 北京初速度科技有限公司 一种电子导航地图质量检测方法及装置
CN112446234A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于数据关联的位置确定方法及装置
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112530270A (zh) * 2019-09-17 2021-03-19 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN112837365A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种基于图像的车辆定位方法及装置
CN113218407A (zh) * 2020-01-21 2021-08-06 北京初速度科技有限公司 一种基于vio和卫星导航系统融合的地图生成方法及装置
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
WO2022116572A1 (zh) * 2020-12-02 2022-06-09 魔门塔(苏州)科技有限公司 一种目标定位方法及装置
CN114646320A (zh) * 2022-02-09 2022-06-21 江苏泽景汽车电子股份有限公司 一种路径引导方法、装置、电子设备及可读存储介质
CN114723779A (zh) * 2021-01-06 2022-07-08 广州汽车集团股份有限公司 一种车辆定位方法、装置及计算机可读存储介质
CN115797164A (zh) * 2021-09-09 2023-03-14 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150142248A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for providing location and heading information of autonomous driving vehicle on road within housing complex
CN106926800A (zh) * 2017-03-28 2017-07-07 重庆大学 多摄像头适配的车载视觉感知系统
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150142248A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for providing location and heading information of autonomous driving vehicle on road within housing complex
CN106926800A (zh) * 2017-03-28 2017-07-07 重庆大学 多摄像头适配的车载视觉感知系统
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方辉等: "基于地面特征点匹配的无人驾驶车全局定位", 《机器人》 *
李承等: "基于GPS与图像融合的智能车辆高精度定位算法", 《交通运输系统工程与信息》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414430B (zh) * 2019-08-22 2022-12-02 北京初速度科技有限公司 一种电子导航地图质量检测方法及装置
CN112414430A (zh) * 2019-08-22 2021-02-26 北京初速度科技有限公司 一种电子导航地图质量检测方法及装置
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112446234A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于数据关联的位置确定方法及装置
CN112446234B (zh) * 2019-08-28 2024-07-19 北京初速度科技有限公司 一种基于数据关联的位置确定方法及装置
CN112446915B (zh) * 2019-08-28 2024-03-29 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112530270A (zh) * 2019-09-17 2021-03-19 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN112530270B (zh) * 2019-09-17 2023-03-14 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
WO2021073656A1 (zh) * 2019-10-16 2021-04-22 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
CN110672102A (zh) * 2019-10-18 2020-01-10 劢微机器人科技(深圳)有限公司 视觉辅助机器人初始化定位方法、机器人及可读存储介质
CN110672102B (zh) * 2019-10-18 2021-06-08 劢微机器人科技(深圳)有限公司 视觉辅助机器人初始化定位方法、机器人及可读存储介质
CN110806215A (zh) * 2019-11-21 2020-02-18 北京百度网讯科技有限公司 车辆定位的方法、装置、设备及存储介质
CN110806215B (zh) * 2019-11-21 2021-06-29 北京百度网讯科技有限公司 车辆定位的方法、装置、设备及存储介质
CN112837365B (zh) * 2019-11-25 2023-09-12 北京魔门塔科技有限公司 一种基于图像的车辆定位方法及装置
CN112837365A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种基于图像的车辆定位方法及装置
CN111191596A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111275041A (zh) * 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
WO2021147429A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN113218407A (zh) * 2020-01-21 2021-08-06 北京初速度科技有限公司 一种基于vio和卫星导航系统融合的地图生成方法及装置
CN113218407B (zh) * 2020-01-21 2024-04-12 北京初速度科技有限公司 一种基于vio和卫星导航系统融合的地图生成方法及装置
CN111220154A (zh) * 2020-01-22 2020-06-02 北京百度网讯科技有限公司 车辆定位方法、装置、设备和介质
WO2021170129A1 (zh) * 2020-02-27 2021-09-02 华为技术有限公司 一种位姿确定方法以及相关设备
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN111508258A (zh) * 2020-04-17 2020-08-07 北京三快在线科技有限公司 一种定位方法及装置
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN113554698B (zh) * 2020-04-23 2023-09-29 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN111862672B (zh) * 2020-06-24 2021-11-23 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111968229A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 高精度地图制图方法及装置
CN111833717B (zh) * 2020-07-20 2022-04-15 阿波罗智联(北京)科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN111833717A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
US11828604B2 (en) 2020-07-20 2023-11-28 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for positioning vehicle, electronic device, and storage medium
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统
CN112381726A (zh) * 2020-10-29 2021-02-19 浙江吉利控股集团有限公司 一种地下车库全局图的构建方法及装置
WO2022116572A1 (zh) * 2020-12-02 2022-06-09 魔门塔(苏州)科技有限公司 一种目标定位方法及装置
CN114723779A (zh) * 2021-01-06 2022-07-08 广州汽车集团股份有限公司 一种车辆定位方法、装置及计算机可读存储介质
CN115797164A (zh) * 2021-09-09 2023-03-14 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统
CN115797164B (zh) * 2021-09-09 2023-12-12 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114646320A (zh) * 2022-02-09 2022-06-21 江苏泽景汽车电子股份有限公司 一种路径引导方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN110136199B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN110136199A (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN110147094A (zh) 一种基于车载环视系统的车辆定位方法及车载终端
EP3440428B1 (en) Remote determination of quantity stored in containers in geographical region
US20200401617A1 (en) Visual positioning system
CN112102369B (zh) 水面漂浮目标自主巡检方法、装置、设备及存储介质
CN110148170A (zh) 一种应用于车辆定位的定位初始化方法及车载终端
CN105608417B (zh) 交通信号灯检测方法及装置
CN110136058A (zh) 一种基于俯视拼接图的建图方法及车载终端
CN109341703B (zh) 一种全周期采用CNNs特征检测的视觉SLAM算法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN106127739A (zh) 一种结合单目视觉的rgb‑d slam方法
CN111179162B (zh) 一种特殊环境下的定位初始化方法及车载终端
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
CN105955308A (zh) 一种飞行器的控制方法和装置
CN106339006A (zh) 一种飞行器的目标跟踪方法和装置
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN109740479A (zh) 一种车辆重识别方法、装置、设备及可读存储介质
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN111754388B (zh) 一种建图方法及车载终端
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220303

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant