CN112639882A - 定位方法、装置及系统 - Google Patents

定位方法、装置及系统 Download PDF

Info

Publication number
CN112639882A
CN112639882A CN201980055540.0A CN201980055540A CN112639882A CN 112639882 A CN112639882 A CN 112639882A CN 201980055540 A CN201980055540 A CN 201980055540A CN 112639882 A CN112639882 A CN 112639882A
Authority
CN
China
Prior art keywords
geometric features
geometric
pose
vehicle
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980055540.0A
Other languages
English (en)
Other versions
CN112639882B (zh
Inventor
苏斌
袁维平
吴祖光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112639882A publication Critical patent/CN112639882A/zh
Application granted granted Critical
Publication of CN112639882B publication Critical patent/CN112639882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

一种定位方法及相关装置、设备,定位方法包括:定位设备通过从点云采集装置(126、1305、1505)中采集到的第一点云数据中提取出的N个第一几何特征对精确度低的第一位姿进行纠正,可得到精确度高的第二位姿,其采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆(100、160)定位的耗时少,定位的实时性好。

Description

定位方法、装置及系统
技术领域
本发明涉及人工智能领域的自动驾驶技术领域,尤其涉及一种定位方法、装置及系统。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。自动驾驶是人工智能领域的一种主流应用,自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作,让机动车辆可以在不需要人类主动操作下,实现自动驾驶。自动驾驶的车辆使用各种计算系统来帮助将乘客从一个位置运输到另一位置。一些自动驾驶车辆可能要求来自操作者(诸如,领航员、驾驶员、或者乘客)的一些初始输入或者连续输入。自动驾驶车辆准许操作者从手动操作模式切换到自动驾驶模式或者介于两者之间的模式。由于自动驾驶技术无需人类来驾驶机动车辆,所以理论上能够有效避免人类的驾驶失误,减少交通事故的发生,且能够提高公路的运输效率。因此,自动驾驶技术越来越受到重视。
车辆的精准定位是实现自动驾驶的关键技术,目前基于高精度点云地图,车辆可以实现全局的高精度定位。具体的方法是:车辆通过点云采集装置采集的点云数据,将采集到的点云数据与点云地图进行点云配准(point cloud registration),进而得到车辆的位姿。
然而,每公里点云数据的大小约4GB,若以点云数据进行定位,一方面,需要存储、传输和加载大量的点云数据到车辆的计算机系统;另一方面,车辆实时定位所需要运行的配准算法是基于大量的点云数据进行的运算,计算耗时长,很难满足车辆对定位的实时性要求,尤其是在车辆处于高速运动场景下,定位的实时性存在巨大挑战。
发明内容
本发明实施例所要解决的技术问题在于,提供一种定位方法、装置及系统,解决车辆定位过程计算量大,定位实时性差的技术问题。
第一方面,本发明实施例提供了一种定位方法,包括:定位设备获取车辆通过点云采集装置采集的第一点云数据;从该第一点云数据中提取N个第一几何特征,N为正整数;进而,根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿,第二位姿的精确度高于第一位姿态的精确度。
应理解,第一位姿和第二位姿都是对车辆定位得到的位姿,第二位姿的精确度大于第一位姿的精确度。也可以说,第一位姿为车辆的预测位姿,第二位姿为车辆的实际位姿。
需要说明的是,该定位设备可以是上述车辆或车辆上的装置,也可以是终端,如手机、平板电脑等,也可以是定位芯片或定位装置,还可以是服务器或云端等。应理解,该终端或服务器可以与车辆进行通信连接,以获取到车辆观测到的第一点云数据。
上述方法提供了一种定位方法,通过从点云采集装置中采集到的第一点云数据中提取出的N个第一几何特征对精确度低的第一位姿进行纠正,可得到精确度高的第二位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
在本申请实施例一种可能的实现中,定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到该车辆的第二位姿的一种实现方式可以是:定位设备根据N个第一几何特征和几何特征地图中的N个第二几何特征对车辆的第一位姿进行调整以得到第二位姿,其中,几何特征地图为从点云地图的第二点云数据中提取的几何特征所形成的地图,N个第二几何特征为与N个第一几何特征匹配的几何特征。
在本申请实施例的一种可能的实现中,定位设备根据第一几何特征和几何特征地图中的第二几何特征对车辆的第一位姿进行调整以得到第二位姿的第一种实现方式可以是:
定位设备根据N个第一几何特征和几何特征地图中的N个第二几何特征确定几何特征之间的变换关系;进而,根据几何特征之间的变换关系对车辆的第一位姿进行调整以得到第二位姿。
上述方法,通过观测到的第一几何特征和几何特征地图中的第二几何特征之间的变换关系对精确度低的第一位姿进行纠正,可得到精确度高的第二位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行配准和定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
在本申请一种可能的实现中,定位设备根据N个第一几何特征和几何特征地图中的N个第二几何特征确定几何特征之间的变换关系可以包括但不限于如下两种实现方式
第一种实现方式:
定位设备通过第一变换量对N个第一几何特征进行变换以得到N个第三几何特征,第三几何特征与第一几何特征一一对应;进而,根据N个第三几何特征与N个第二几何特征之间的第一误差调节第一变换量;并且,在第一变换量的迭代次数满足停止迭代条件或第一误差满足停止迭代条件时,定位设备得到第一目标变换量,第一目标变换量为满足停止迭代条件时的第一变换量,第一目标变换量用于指示N个第一几何特征和N个第二几何特征之间的变换关系。
上述方法,将几何特征之间的变换关系的求解转换为N个第三几何特征与N个第二几何特征之间的第一误差的最小化,进而,通过迭代确定第一误差最小时第一变换量为N个第一几何特征和N个第二几何特征之间的变换关系,使得得到的变换关系更加准确。
可选地,定位设备可以根据第一目标函数确定第一误差,其中,第一目标函数可以为:
Figure BDA0002947093840000021
ε为第一误差;第一变换量包括旋转R和平移t;wi为第一几何特征Vi的权重;Ui为第一几何特征Vi对应的第二几何特征;i为N个第一几何特征中第一几何特征的索引,i为正整数,i≤N。
第二种实现方式:
定位设备通过第二变换量对N个第二几何特征进行变换以得到N个第四几何特征,第四几何特征与第二几何特征一一对应;进而,根据N个第四几何特征与N个第一几何特征之间的第二误差调节第二变换量;并且,在第二变换量的迭代次数停止迭代条件或第二误差满足停止迭代条件时,定位设备得到第二目标变换量,第二目标变换量为满足停止迭代条件时第二变换量的逆矩阵,第二目标变换量用于指示N个第一几何特征和N个第二几何特征之间的变换关系。
上述方法,将几何特征之间的变换关系的求解转换为N个第四几何特征与N个第一几何特征之间的第二误差的最小化,进而,通过迭代确定第二误差最小时第二变换量为N个第一几何特征和N个第二几何特征之间的变换关系,使得得到的变换关系更加准确。
可选地,定位设备可以根据第二目标函数确定第二误差,其中,第二目标函数可以为:
Figure BDA0002947093840000031
ε为第二误差;第二变换量包括旋转R′和平移t′;wi为第一几何特征Vi的权重;vi为第一几何特征Vi中的向量,ui为第一几何特征Vi对应的第二几何特征Ui中的向量;N为第一几何特征的个数,i为N个第一几何特征中第一几何特征的索引,i为正整数,i≤N。
可选地,在上述第一目标函数或第二目标函数中,第一几何特征Vi的权重wi与第一几何特征Vi所属的对象相对于车辆的距离负相关。即,距离车辆越近的对象对应的第一几何特征对变换关系的贡献越大,由于与车辆越近的第一几何特征,该提取到的第一几何特征的误差越小,使得定位设备在确定变换关系使可以更多地基于准确度搞的第一几何特征,在提高变换关系的精确度,进而提高定位的精确度。
在本申请实施例的一种可能的实现中,定位设备根据第一几何特征和几何特征地图中的第二几何特征对车辆的第一位姿进行调整以得到第二位姿的第二种实现方式可以是:
定位设备根据第一位姿,对车辆的位姿进行估计以得到多组估计位姿;进而,根据N个第一几何特征和几何特征地图中的N个第二几何特征确定多组估计位姿的评分;从而,定位设备根据多组估计位姿中每一组估计位姿的评分确定车辆的第二位姿,其中,第一组估计位姿的评分用于指示第一组估计位姿与第二位姿的接近程度,第一组估计位姿是多组估计位姿中任意一个估计位姿。
应理解,第一位姿、估计位姿和第二位姿都是对车辆定位得到的位姿,第二位姿的精确度大于第一位姿的精确度。也可以说,第一位姿为车辆的预测位姿,第二位姿为车辆的实际位姿。多组估计位姿是分布于第一位姿周围的位姿,评分满足条件的估计位姿,如评分最大的估计位姿即为第二位姿。
上述方法提供了一种车辆定位方法,通过观测到的第一几何特征和几何特征地图中的第二几何特征对估计位姿进行评分,确定评分最高的估计位姿作为车辆的实际位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
在本申请一种可能的实现中,定位设备根据N个第一几何特征和几何特征地图中的N个第二几何特征确定多组估计位姿的评分,可以包括但不限于如下三种实现方式:
实现方式A:
定位设备根据每一组估计位姿和N个第二几何特征,确定每一组估计位姿对应的第一参数的估计值;根据第一位姿和N个第一几何特征,确定第一参数的观测值;进而,定位设备根据每一组估计位姿对应的第一参数的估计值与第一参数的观测值之间的误差确定每一组估计位姿的评分。
可选地,第一参数为距离、方位角和高度角中的至少一种;每一组估计位姿对应的第一参数的估计值为N个第二几何特征分别相对于每一组估计位姿下的车辆的第一参数;第一参数的观测值为N个第一几何特征分别相对于在第一位姿下的车辆的第一参数。
上述方法通过将估计位姿的评分转换为估计位姿下第一参数的估计值与第一参数的实际观测值之间是误差,使得估计位姿评估过程更加简单,进一步地降低定位耗时。
实现方式B:
定位设备通过每一组估计位姿与第一位姿之间的变换关系对N个第二几何特征分别进行变换得到的每一组估计位姿对应的N个第五几何特征,第二几何特征与第五几何特征一一对应;进而,定位设备根据每一组估计位姿对应的N个第五几何特征与N个第一几何特征之间的误差确定每一组估计位姿的评分。
上述方法,将估计位姿的评分转换为估计位姿下第一参数的估计值与实际的观测值之间的误差,使得估计位姿评估过程更加简单,进一步地降低定位耗时。
实现方式C:
定位设备通过每一组估计位姿与第一位姿之间的变换关系对N个第一几何特征分别进行变换得到的每一组估计位姿对应的N个第六几何特征,第一几何特征与第六几何特征一一对应;进而,定位设备根据每一组估计位姿对应的N个第六几何特征与N个第二几何特征之间的误差确定每一组估计位姿的评分。
在本申请一种可能的实现中,在定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿之前,定位设备还可以获取车辆的第一位姿,定位设备获取车辆的第一位姿可以包括但不限于如下两种实现:
实现(一):定位设备根据上一时刻的第二位姿确定车辆在当前时刻的预测位姿,当前时刻的预测位姿为定位设备获取的车辆的第一位姿,上一时刻为当前时刻之前的时刻。例如,定位设备可以将车辆的上一时刻的准确的位姿(即上一时刻的第二位姿)、车辆在上一时刻的控制参数输入到车辆的运动学方程,预测当前时刻的第一位姿。
上述方法基于准确度高的上一时刻的位姿进行估计,估计得到的当前时刻的第一位姿与车辆的实际位姿更加接近,减少运算的迭代次数,进一步地,提高车辆第二位姿的计算效率和车辆定位的响应速度。
实现(二):定位设备根据定位系统确定车辆的第一位置以及根据惯性传感器确定车辆的第一姿态,第一位姿包括第一位置和第一姿态。
在本申请实施例的一种可能的实现中,定位设备根据第一几何特征和几何特征地图中的第二几何特征对车辆的第一位姿进行调整以得到第二位姿的第三种实现方式可以是:
定位设备根据上一时刻的第二位姿和上一时刻时车辆的控制参数,确定车辆在当前时刻的预测位姿,该上一时刻为当前时刻之前的时刻;进而,定位设备通过第二参数的观测值与第二参数的预测值之间的误差更新车辆的预测位姿,得到车辆的第二位姿,其中,第二参数的观测值是基于车辆在第一位姿下观测到的第一几何特征确定的,第二参数的预测值是基于预测位姿和几何特征地图中的第二几何特征确定的。
应理解,上述第一位姿可以是当前时刻的预测位姿,也可以是通过其他方法定位到的车辆当前时刻的位姿,比如,定位设备根据定位系统确定车辆的第一位置以及根据惯性传感器确定车辆的第一姿态,第一位姿包括第一位置和第一姿态。
还应理解,第一位姿、当前时刻的预测位姿和当前时刻的第二位姿都是对当前时刻下车辆定位得到的位姿。第二位姿的精确度大于预测位姿的精确度,也大于第一位姿的精确度。也可以说,第一位姿、当前时刻的预测位姿为当前时刻下对车辆的预测得到的位姿,第二位姿为当前时刻下车辆的实际位姿。
上述方法,通过观测到的第一几何特征确定的第二参数的观测值和基于几何特征地图中的第二几何特征确定的第二参数的预测值之间的误差对当前时刻的预测位姿进行更新,得到车辆的实际位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
在本申请一种可能的实现中,定位设备基于第一位姿、预测位姿、N个第一几何特征和N个第二几何特征确定第二参数的观测值与第二参数的预测值之间的误差的一种实现方式可以是:定位设备根据预测位姿和N个第二几何特征确定第二参数的预测值;根据第一位姿和N个第一几何特征确定第二参数的观测值;进而,根据第二参数的观测值和第二参数的预测值确定第二参数的观测值与第二参数的预测值之间的误差。
上述方法采用了卡尔曼滤波的方法来确定第二位姿,更新次数少,减少运算过程,定位快。
可选地,第二参数为距离、方位角和高度角中的至少一种;第二参数的预测值为N个第二几何特征分别相对于预测位姿下的车辆的第二参数;第二参数的观测值为N个第一几何特征分别相对于在第一位姿下的车辆的第二参数。
上述方法通过预测位姿下第二参数的预测值与第二参数的实际观测值之间的误差来衡量该预测位姿与车辆的实际位姿之间的误差,更新预测位姿使得第二参数的预测值与第二参数的实际观测值之间的误差最小,即得到车辆的实际位姿,即第二位姿。上述进一步地降低定位耗时。
需要说明的是,该定位设备可以是上述车辆或车辆上的装置,也可以是终端,如手机、平板电脑等,也可以是定位装置、定位芯片,还可以是服务器或云端等,该终端或服务器可以与车辆进行通信连接,以获取到车辆观测到的第一几何特征。
在本申请实施例的一种可能的实现中,第一点云数据为在由第一位姿确定的空间中表示的车辆观测到的对象的表面上的点的信息,N个第一几何特征中每个第一几何特征用于指示在由第一位姿确定的空间中该车辆观测到的一个对象的几何特征。
上述方法,定位设备从数据量大的点云数据中提取出对象的几何特征,即N个第一几何特征,通过数据量少的几何特征进行配准和定位,大大减小了数据的运算量,提高定位的响应速度。
在本申请一种可能的实现中,该方法还包括:定位设备在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征。
在本申请一种可能的实现中,定位设备在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征的可以包括的一种实现方式可以是:定位设备从几何特征地图的第一区域中查找与N个第一几何特征相匹配的N个第二几何特征,该第一区域为基于第一位姿确定的区域,第一区域不小于车辆的点云采集装置的扫描范围。
在该实现方式中,定位设备根据第一位姿确定第一区域,缩小查找范围,提高计算效率。
可选地,定位设备从几何特征地图的第一区域中查找与N个第一几何特征相匹配的N个第二几何特征可以包括但不限于如下两种实现方式可以是:
实现方式一:定位设备针对第一几何特征Vi,确定第一几何特征Vi与第一区域中每一个几何特征的偏差;进而,将第一区域中的几何特征中与第一几何特征Vi的偏差最小的几何特征作为与第一几何特征Vi相匹配的第二几何特征Ui,其中,i=1,2,…,N。
上述方法通过计算计算两个几何特征之间的偏差进行匹配,提高匹配准确度。
实现方式二:定位设备针对第一几何特征Vi,从第一区域中的几何特征中选择与第一几何特征Vi的属性相匹配的几何特征;进而,将属性相匹配的几何特征作为与第一几何特征Vi相匹配的第二几何特征Ui,其中,i=1,2,…,N。
上述方法,通过该属性来匹配,更加简单,提高匹配效率。
应理解,当与第一几何特征Vi属的性相匹配的几何特征为多个时,定位设备可以基于实现方式一中的方法,确定与第一几何特征Vi相匹配的第二几何特征Ui为上述与第一几何特征Vi属的性相匹配的多个几何特征中与第一几何特征Vi的偏差最小的几何特征。
在上述实现方式一和实现方式二中,在几何特征进行匹配过程中,可以仅考虑第一几何特征中的向量或位置坐标,也可以同时考虑两者,此处不作限定。
在本申请一种可能的实现中,定位设备从第一点云数据中提取N个第一几何特征的一种实现方式可以是:定位设备识别第一点云数据中的N个对象;进而,定位设备基于该N个对象中每个对象的点云数据确定每个对象的第一几何特征。
可选地,第一对象为多个对象中的任意一个对象,以基于第一对象的点云数据确定第一对象的第一几何特征为例来说明基于N个对象中每个对象的点云数据确定每个对象的第一几何特征:
若第一对象的几何形状为直线,对第一对象的点云数据进行直线拟合以得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的直线的几何特征;
若第一对象的几何形状为曲线,对第一对象的点云数据进行曲线拟合以得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的曲线的几何特征;
若第一对象的几何形状为平面,对第一对象的点云数据进行平面拟合以得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的平面的几何特征;
若第一对象的几何形状为曲面,对第一对象的点云数据进行曲面拟合以得到第一对象的第一几何特征,第一对象的第一几何特征为曲面得到的曲线的几何特征。
上述方法,提供一种从点云数据中提取出第一几何特征的方法。首先识别对象的几何形状,进而通过识别到的几何形状对应的拟合方法进行拟合,将拟合得到的直线/曲线/平面/曲面的几何特征作为该对象的第一几何特征,可以提高提取的第一几何特征的准确度。
第二方面,本申请实施例还提供了一种几何特征提取方法,包括:执行设备获取待处理的点云数据;从该待处理的点云数据中提取至少一个几何特征;其中,该至少一个几何特征用于车辆的定位。
在本申请实施例的一种实现中,执行设备可以是几何特征地图生成设备,待处理的点云数据可以是点云地图中的第二点云数据,此时,从第二点云数据中提取出的几何特征形成几何特征地图,该几何特征地图用于车辆的通过几何特征进行定位。
在本申请实施例的一种实现中,执行设备可以是定位设备,待处理的点云数据也可以是车辆通过点云采集装置采集到的第一点云数据,此时,从第一点云数据中提取的N个第一几何特征用于对该车辆的第一位姿进行调整以得到该车辆的第二位姿。
在本申请实施例的一种实现中,执行设备从待处理的点云数据中提取至少一个几何特征的一种实现方式可以是:
执行设备识别待处理的云数据中的至少一个对象;进而,定位设备基于该至少一个对象中每个对象的点云数据确定每个对象的几何特征。
可选地,第二对象是至少一个对象中任意一个对象,以基于第二对象的点云数据确定第二对象的几何特征为例来说明基于至少一个对象中每个对象的点云数据确定每个对象的几何特征,第二对象的点云数据确定第二对象的几何特征的方法可以是:
若第二对象的几何形状为直线,执行设备对第二对象的点云数据进行直线拟合以得到第二对象的几何特征,第二对象的几何特征为拟合得到的直线的几何特征;
若第二对象的几何形状为曲线,执行设备对第二对象的点云数据进行曲线拟合以得到第二对象的几何特征,第二对象的几何特征为拟合得到的曲线的几何特征;
若第二对象的几何形状为平面,执行设备对第二对象的点云数据进行平面拟合以得到第二对象的几何特征,第二对象的几何特征为拟合得到的平面的几何特征;
若第二对象的几何形状为曲面,执行设备对第二对象的点云数据进行曲面拟合以得到第二对象的几何特征,第二对象的几何特征为曲面得到的曲线的几何特征。
第三方面,本申请实施例还提供了一种定位装置,包括:
第一获取单元,用于车辆通过点云采集装置采集的第一点云数据;
特征提取单元,用于从该第一点云数据中提取N个第一几何特征,N为正整数;
调整单元,用于根据该N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿,该第二位姿的精确度高于该第一位姿的精确度。
在本申请一种可能的实现中,该装置还包括:
第二获取单元,用于在该调整单元根据该N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿之前,获取该车辆的第一位姿。
在本申请一种可能的实现中,该装置还包括:
匹配单元,用于在该几何特征地图中查找与该N个第一几何特征相匹配的N个第二几何特征。
需要说明的是,上述第三方面的定位装置还包括其他用于实现第一方面所述的定位方法中的单元,上述定位装置的各个单元或其他单元的具体实现以参见上述第一方面中相关描述,此处不再赘述。
第四方面,本申请实施例还提供了一种定位装置,包括:处理器和存储器,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如权利要求第一方面或第一方面的任一种实现所述的方法。
上述定位装置还包括其他用于实现第一方面所述的定位方法中的器件或模块,上述定位装置的各个器件或其他器件的具体实现以参见上述第一方面中相关描述,此处不再赘述。
第五方面,本申请实施例还提供了一种几何特征的提取装置,包括:
获取单元,用于获取待处理的点云数据;
提取单元,用于从该待处理的点云数据中提取至少一个几何特征;其中,该至少一个几何特征用于车辆的定位。
在本申请实施例的一种实现中,几何特征的提取装置可以是几何特征地图生成设备,待处理的点云数据可以是点云地图中的第二点云数据,此时,从第二点云数据中提取出的几何特征形成几何特征地图,该几何特征地图用于车辆的通过几何特征进行定位。
在本申请实施例的一种实现中,几何特征的提取装置可以是定位设备,待处理的点云数据也可以是车辆通过点云采集装置采集到的第一点云数据,此时,从第一点云数据中提取的N个第一几何特征用于对该车辆的第一位姿进行调整以得到该车辆的第二位姿。
需要说明的是,上述第五方面所述的几何特征的提取装置还包括其他用于实现第二方面所述的几何特征的提取方法中的单元,上述定位装置的各个单元或其他单元的具体实现以参见上述第二方面中相关描述,此处不再赘述。
第六方面,本申请实施例还提供了一种几何特征的提取装置,包括:处理器和存储器,该存储器用于存储程序,该处理器执行所述存储器存储的程序,当该存储器存储的程序被执行时,可实现如第二方面或第二方面的任一种实现所述的方法。
上述定位装置还包括其他用于实现第二方面所述的几何特征的提取方法中的器件或模块,上述定位装置的各个器件或其他器件的具体实现以参见上述第二方面中相关描述,此处不再赘述。
第七方面,本申请实施例还提供了一种车辆,包括:点云采集装置、处理器和存储器,该处理器通过总线连接到该点云采集装置,该点云采集装置用于采集点云数据,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如第一方面或第一方面的任一种实现所述的方法。
第八方面,本申请实施例还提供了一种车辆,包括:点云采集装置、处理器和存储器,该处理器通过总线连接到该点云采集装置,该点云采集装置用于采集点云数据,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如第二方面或第二方面的任一种实现所述的方法。
第九方面,本申请实施例还提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时,可实现如第一方面中的方法。
第十方面,本申请实施例还提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时,可实现如第二方面中的方法。
第十一方面,本申请实施例还提供了提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面中的方法。
第十二方面,本申请实施例还提供了提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第二方面中的方法。
第十三方面,提供一种定位芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行第一方面中的方法。
可选地,作为一种实现方式,该芯片还可以包括存储器,该存储器中存储有指令,该处理器用于执行该存储器上存储的指令,当该指令被执行时,该处理器用于执行第一方面中的方法。
第十四方面,提供一种芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行第二方面中的方法。
可选地,作为一种实现方式,该芯片还可以包括存储器,该存储器中存储有指令,该处理器用于执行该存储器上存储的指令,当该指令被执行时,该处理器用于执行第二方面中的方法。
第十五方面,提供一种电子设备,该电子设备包括上述第三方面或第四方面中的任意一个方面中的定位装置。
第十六方面,提供一种电子设备,该电子设备包括上述第五方面或第六方面中的任意一个方面中的定位装置。
第十七方面,提供一种定位方法,该方法可以包括:定位设备接收N个第一几何特征,进而,定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿,其中,N个第一几何特征是从第一点云数据中提取得到的,第一点云数据是车辆通过点云采集装置采集的点云数据,第二位姿的精确度高于第一位姿的精确度。
可选地,定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿的具体实现可以参见上述第一方面中相关描述,此处不再赘述。
可选地,定位设备获取N个第一几何特征的方式可以是:定位设备接收终端/车辆发送的N个第一几何特征,该N个第一几何特征是终端/车辆从车辆通过点云采集装置采集的第一点云数据中提取得到的。
需要说明的是,终端/车辆从车辆通过点云采集装置采集的第一点云数据中提取出N个第一几何特征的具体实现可以参见上述第一方面中定位设备从第一点云数据中提取出N个第一几何特征的具体实现,此处不再赘述。
需要说明的是,定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到该车辆的第二位姿的具体实现可以参见上述第一方面中相关描述,此处不再赘述。
第十八方面,本申请实施例还提供了一种定位装置,包括:
接收单元,用于接收N个第一几何特征,其中,该N个第一几何特征是从第一点云数据中提取得到的,该第一点云数据是车辆通过点云采集装置采集的点云数据;
调整单元,用于根据该N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿,该第二位姿的精确度高于该第一位姿的精确度。
在本申请一种可能的实现中,该装置还包括:
获取单元,用于在该调整单元根据该N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿之前,获取该车辆的第一位姿。
在本申请一种可能的实现中,该装置还包括:
匹配单元,用于在该几何特征地图中查找与该N个第一几何特征相匹配的N个第二几何特征。
需要说明的是,上述第十八方面所述的定位装置还包括其他用于实现第十七方面所述的定位方法中的单元,上述定位装置的各个单元或其他单元的具体实现以参见上述第十七方面中相关描述,此处不再赘述。
第十九方面,本申请实施例还提供了一种定位装置,包括:处理器和存储器,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如第十七方面或第十七方面的任一种实现所述的方法。
上述定位装置还包括其他用于实现第十七方面所述的定位方法中的器件或模块,上述定位装置的各个器件或其他器件的具体实现以参见上述第十七方面中相关描述,此处不再赘述。
第二十方面,本申请实施例还提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时,可实现如第十七方面中的方法。
第二十一方面,本申请实施例还提供了提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第十七方面中的方法。
第二十二方面,提供一种定位芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行第十七方面中的方法。
可选地,作为一种实现方式,该芯片还可以包括存储器,该存储器中存储有指令,该处理器用于执行该存储器上存储的指令,当该指令被执行时,该处理器用于执行第十七方面中的方法。
第二十三方面,提供一种电子设备,该电子设备包括上述第十八方面或第十九方面中的任意一个方面中的定位装置。
第二十四方面,提供一种定位方法,该方法可以包括:车辆通过点云采集装置采集的第一点云数据;进而,该车辆从该第一点云数据中提取N个第一几何特征获取N个第一几何特征,进而,该车辆将该N个第一几何特征发送至定位设备,以使该定位设备在接收到N个第一几何特征后,该定位设备根据N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿,其中,第二位姿的精确度高于第一位姿的精确度。
需要说明的是,定位设备根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿的具体实现可以参见上述第一方面中相关描述,此处不再赘述。
需要说明的是,车辆从第一点云数据中提取N个第一几何特征的实现方式可以参照上述第一方面中定位设备从第一点云数据中提取N个第一几何特征的具体实现,此处不再赘述。
第二十五方面,本申请实施例还提供了一种定位装置,包括:
采集单元,用于通过点云采集装置采集的第一点云数据;
提取单元,用于从该第一点云数据中提取N个第一几何特征获取N个第一几何特征;
发送单元,用于将该N个第一几何特征发送至定位设备,以使该定位设备在接收到N个第一几何特征后,该定位设备根据N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿,其中,第二位姿的精确度高于第一位姿的精确度。
在本申请一种可能的实现中,该装置还包括:
获取单元,用于在该调整单元根据该N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿之前,获取该车辆的第一位姿。
在本申请一种可能的实现中,该装置还包括:
匹配单元,用于在该几何特征地图中查找与该N个第一几何特征相匹配的N个第二几何特征。
需要说明的是,上述第二十五方面所述的定位装置还包括其他用于实现第二十四方面所述的定位方法中的单元,上述定位装置的各个单元或其他单元的具体实现以参见上述第二十四方面中相关描述,此处不再赘述。
第二十六方面,本申请实施例还提供了一种定位装置,包括:处理器、存储器和通信接口,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如第二十四方面或第二十四方面的任一种实现所述的方法。
上述定位装置还包括其他用于实现第二十四方面所述的定位方法中的器件或模块,上述定位装置的各个器件或其他器件的具体实现以参见上述第二十四方面中相关描述,此处不再赘述。
第二十七方面,本申请实施例还提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时,可实现如第二十四方面中的方法。
第二十八方面,本申请实施例还提供了提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第二十四方面中的方法。
第二十九方面,提供一种芯片,该芯片包括处理器与数据接口,该处理器通过该数据接口读取存储器上存储的指令,执行第二十四方面中的方法。
可选地,作为一种实现方式,该芯片还可以包括存储器,该存储器中存储有指令,该处理器用于执行该存储器上存储的指令,当该指令被执行时,该处理器用于执行第二十四方面的方法。
第三十方面,提供一种电子设备,该电子设备包括上述第二十五方面或第二十六方面中的任意一个方面中的定位装置。
第三十一方面,本申请实施例还提供了一种车辆,包括:点云采集装置、处理器和存储器,该处理器通过总线连接到该点云采集装置,该点云采集装置用于采集点云数据,该存储器用于存储程序,该处理器执行该存储器存储的程序,当该存储器存储的程序被执行时,可实现如第二十四方面或第二十四方面的任一种实现所述的方法。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1A是本发明实施例提供的一种道路场景示意性说明图;
图1B是本发明实施例提供的一种对应于图1A的几何特征示意性说明图;
图2是本发明实施例提供的一种系统的框架示意图;
图3是本发明实施例提供的一种车辆的功能框图;
图4A是本发明实施例提供的一种几何特征提取方法的流程示意图;
图4B是本发明实施例提供的一种提取路面和路沿的几何特征的原理示意图;
图4C是本发明实施例提供的另一种提取路面和路沿的几何特征的原理示意图;
图4D是本发明实施例提供的一种提取道路指示线的几何特征的几何特征的原理示意图;
图4E是本发明实施例提供的一种树木的点云数据的分布示意图;
图4F是本发明实施例提供的一种广告牌的几何特征的示意性说明图;
图4G是本发明实施例提供的一种路灯杆的几何特征的示意性说明图;
图4H是本发明实施例提供的一种指示牌上点的距离和角度的示意性说明图;
图4I是本发明实施例提供的一种建筑物的点云数据的分布示意图;
图5是本发明实施例提供的一种的几何地图的生成方法的流程示意图;
图6是本发明实施例提供的一种定位原理示意图;
图7是本申请实施例提供的一种定位方法的流程示意图;
图8A是本申请实施例提供的一种第一区域的示意性说明图;
图8B是本申请实施例提供的另一种第一区域的示意性说明图;
图8C是本申请实施例提供的又一种第一区域的示意性说明图;
图9A是本申请实施例提供的另一种定位方法的流程示意图;
图9B是本申请实施例提供的一种第一定位方式的一种流程示意图;
图9C是本申请实施例提供的一种第二定位方式的一种流程示意图;
图10A是本申请实施例提供的又一种定位方法的流程示意图;
图10B是本申请实施例提供的一种第三定位方式的流程示意图;
图10C是本申请实施例提供的一种第三种定位方式的示意性说明图;
图10D是本申请实施例提供的一种向量的高度角和方位角的示意说明图;
图11A是本申请实施例提供的又一种定位方法的流程示意图;
图11B是本申请实施例提供的一种第四定位方式的流程示意图;;
图11C是本申请实施例提供的一种第五定位方式的一种流程示意图;
图11D是本申请实施例提供的一种第五定位方式的一种流程示意图;
图12是本申请实施例提供的一种定位装置的结构示意图;
图13是本申请实施例提供的一种定位装置的硬件结构示意图;
图14是本申请实施例提供的一种几何特征提取装置的结构示意图;
图15是本申请实施例提供的另一种几何特征提取装置的硬件结构示意图。
具体实施方式
在介绍本申请具体实施方式之前,首先介绍描述本申请具体实施方式中用到的缩略语、中英文对照以及关键术语定义。
(1)点云数据(point cloud data)
点云数据(本申请中也称为“点云”)的本质为三维空间中点的集合,通常用空间中三维坐标来表示,是物体的表面的信息转化得到的点的信息。除位置坐标外,一个点的数据还可以包括RGB颜色、灰度值、深度、强度信息、分割结果等。其中,强度信息为激光雷达接收到的回波强度,该强度信息与目标的表面材质、粗糙度、入射角,激光雷达发射波的能量、波长等有关;分割结果可以是该点所在的物体的标识、属性、该点在所在物体上所处的位置或区域等。
例如,Pi={xi,yi,zi,Ri,Gi,Bi,Qi,……}表示空间中的一个点,其中,(xi,yi,zi)为点Pi在坐标系OXYZ下的空间坐标,其中,OX、OY和OZ相互垂直为相互垂直的坐标轴;(Ri,Gi,Bi)分别为点Pi处红(R)、绿(G)、蓝(B)三个颜色的亮度;Qi为点Pi处对激光的反射强度或反射率。此时,C={P1,P2,P3,…,Pn}表示一组点云数据。
通常点云数据是由点云采集装置例如激光雷达(laser radar),立体摄像头(stereo camera),越渡时间(timeof flight,TOF)摄像头采集到的。激光雷达完成一次扫描,即可得到一帧点云数据。
(2)点云地图(point cloud map)
配置有激光雷达传感器、双摄像头等点云采集装置的车辆可以采集各个道路的点云数据,进而,通过地图构建的方法,例如同步定位与地图构建(simultaneouslocalization and mapping,SLAM)算法,将点云数据逐帧累加构建成点云地图。应理解,在点云地图通常是在世界坐标系(英文:world coordinate system,也称全局坐标系)下的点云数据。
(3)点云配准(point cloud registration)
点云配准是将两组来自不同坐标系(也称点集空间)的点云数据经过旋转、平移等刚性变换统一到指定坐标系下的过程。也就是说,进行配准的两个点云,它们彼此之间可以通过旋转平移等变换后完全重合,因此,点云配准就是找到两个点云之间的坐标的变换关系。
对于定位不够准确的车辆来说,车辆的点云采集装置采集到的点云数据是在当前不准确的位置(本申请中也称“预测位置”)和不准确的姿态(本申请中也称为“预测姿态”)所确定的坐标系下的点云数据。通过该坐标系与点云地图中点云数据所采用的坐标系(即世界坐标系)之间的变换关系,可以得到车辆准确的位置(本申请中也称“实际位置”)和准确的姿态(本申请中也称“实际姿态”)。其中,实际位置是指车辆在世界坐标系下的位置,实际姿态是指车辆准确的姿态。应理解,本申请中“位姿(pose)”是指“位置(position)”和“姿态(attitude)”,同理,预测位姿是指预测位置和预测姿态,实际位姿是指实际位置和实际姿态。
首先,可以找到点云地图中与车辆采集到的点云数据相匹配的点云数据;进而,根据车辆采集到的点云数据和点云地图中与车辆采集到的点云数据相匹配的点云数据,通过匹配算法可以计算出上述两组点云数据之间的坐标的变换关系。进一步地,将预测位姿Spredict通过计算得到的变换关系T进行变换,得到车辆的实际位置Sreal。可通过数学关系表达为:Sreal=TSpredict,其中,
Figure BDA0002947093840000131
表示两个点云之间存在旋转R和平移t的变换。
(4)位姿
位姿是指车辆在某一坐标系下的位置和姿态。其中,位置是指车辆在坐标系下的位置坐标;姿态是指车辆分别绕坐标系中x轴、y轴和z轴的旋转角度,分别为俯仰角(pitch)、偏航角(yaw)、翻滚角(roll),共6个自由度(degree of freedom,DoF)。
由于,车辆一般运行在地面道路上,z轴(即垂直于地平面的坐标轴)坐标一般不需要进行自由变换,因此,位姿也可以选为3DoF来表达,即x轴坐标、y轴坐标和偏航角。进而,可以减少点云数据的维度,降低点云数据的数据量。应理解,上述位姿的表达方式仅为示例性说明,本申请中位姿也可以4DoF(即x轴坐标、y轴坐标、z轴坐标和偏航角)或其他个数的自由度来表示,本申请对此不作限定。
(5)几何特征
目前,每公里点云数据的大小约GB级或十几GB级,若将以点云数据用于定位,一方面,需要存储、传输和加载大量的点云数据到车辆的计算机系统;另一方面,车辆实时定位所需要运行的配准算法是基于大量的点云数据进行的运算,计算耗时长,很难满足实时性要求,尤其是在车辆处于高速运动场景下,算法的实时性存在巨大挑战。
然而,本申请提出的定位方法,不是基于点云数据的进行配准,而是基于从点云数据中提取的几何特征来进行配准。
几何特征是从点云数据中提取得到的,点云数据描述了环境的中物体的表面的采样点的信息。本申请实施例中环境中物体的几何形状主要包括线和面,其中,面可以包括平面和曲面,线可以包括直线和曲线。一个物体可以包括但不限于多个几何特征,一个几何特征所描述的对象可以是物体上的几何形状为线或面的部分。几何形状为平面的对象的几何特征可以包括平面的法向量、平面的位置等;曲面的几何特征可以包括多个法向量、多个主方向、曲面上多个坐标点、多项式曲面的系数等中的至少一种;直线的几何特征可以包括方向向量、直线的位置;曲线的几何特征可以包括曲线的多个切向量、多个法向量、多个坐标点、多项式曲线的系数等中的至少一种。
上述几何特征中的各个向量即为该几何特征所描述对象的方向向量和/或位置,方向向量可以通过矢量来表示,其中,该矢量可以是单位矢量。例如,路面的几何特征,即为路面所在平面的法向量,可以表示为(0,0,1)。需要说明的是,上述(0,0,1)仅为示例性说明。又例如,路沿的方向向量为(0.8,0.6,0)。上述几何特征中的位置即为该几何特征所描述对象的位置,可以通过坐标来表示。
本申请实施例中,可以先识别对象,再将对象的点云数据进行直线/曲线/平面/曲面拟合,得到确定对象的几何特征。应理解,本申请实施例中可以不需要获取环境中所有的物体的几何特征,而是获取环境中部分物体的几何特征,比如针对环境中固定不动的物体或物体上的部分进行几何特征的提取。本申请实施例中,需要获取几何特征的物体或物体上的部分(本申请实施例中也称对象)可以是路沿、路面、交通标线(traffic index line)、交通杆、交通标志牌、车道线、树干、隧道、建筑物等。应理解,本申请实施例中,可以将一个物体称为一个对象,也可以将一个物体中的部分称为一个对象。一个对象对应一个几何特征。
例如,交通杆可以包括横杆和纵杆,其中,横杆可以对应一个直线的几何特征,纵杆可以对应一个直线的几何特征。
又例如,长方体状的建筑物可以包括上边缘、下边缘、左边缘、右边缘、主平面和一个侧面等,其中,上边缘、下边缘、左边缘、右边缘可以分别对应一个直线的几何特征,主平面和一个侧面可以分别对应一个平面几何特征。
又例如,树干可以对应一个直线的几何特征。
应理解,从点云数据中除可以提取出几何特征外,还可以识别点云数据中的对象的属性,例如,对象所属的分类、尺寸等。该属性有助于更精确进行几何特征的匹配,关于几何特征的匹配,将在其他部分中介绍,此处不再赘述。
其中,对象的类别可以以对象所属物体的类别来划分,包括路沿、路面、道路指示线、交通杆、交通标志牌、车道线、树干、建筑物等。在本申请的一种实现中,还可以对上述类别进一步地划分。例如,建筑物包括建筑物的平面、左边缘、右边缘、上边缘、下边缘等;又例如,交通杆可以包括横杆和纵杆等;又例如道路指示线可以包括实线、虚线、转向线等。在本申请实施例的另一种实现中,对象的类别也可以以对象的几何形状进行划分,此时对象的类别可以包括直线形状、曲线形状、平面形状和曲面形状,应理解,对象的类别还可以包括上述两种的组合或以其他方式进行分类等,此处不作限定。
其中,尺寸可以是线的长度、平面的面积等,本申请实施例不作限定。尺寸是针对该几何特征所描述对象的类别,可以对应于对象的长、宽、高或表面积等。
其中,位置可以是几何特征所描述对象的位置,由于位置与对象的一一对应,该位置也称为几何特征的位置。几何特征的位置可以是在点云数据所采用的坐标系下描述的对象的位置坐标,可以约定几何特征的位置坐标的选取规则。几何特征的位置坐标可以是该几何特征所对应对象的几何中心的位置坐标;或者,几何特征的位置坐标是该几何特征所对应对象最低处的位置坐标(即该对象的点云数据中z轴坐标最小的点对应的位置坐标);或者,对象的位置坐标是该对象的点云数据中x轴和/或y轴坐标最小的点对应的坐标。需要说明的是,本申请实施例中也可以采用其他标准来设定几何特征所描述对象的位置,对此不作限定。
在本申请实施例的一种实现中,针对不同的分类的对象也可以采用不同的选取规则来确定该对象对应的几何特征的位置坐标。例如,针对建筑物的主平面,其几何特征为平面,该几何特征的位置坐标可以是该主平面的几何中心的位置坐标;又例如,针对树干,其集合特征为直线,几何特征的位置坐标可以是树干的点云数据中z轴坐标最小的点对应的位置坐标;又例如,针对建筑物的上边缘,其几何特征为直线,该几何特征的位置坐标可以是建筑物的上边缘的点云数据中最小x轴坐标的点对应的位置坐标。
需要指出的是,对于部分的对象如,路面、路沿等的几何特征的选取可以包括但不限于一下两种方式:
第一方式:选取对象的点云数据中的任意位置的坐标作为该对象对应的几何特征的位置。应理解,此时位置可以用于体现各个对象之间的相对位置关系。
第二方式:可以以其他对象作为参照,根据被参照对象的位置确定该对象对应的几何特征的位置。例如,对于路面的几何特征来说,其位置可以是设于道路两侧的两个对象的位置的中点。
其中,下面举例说明几何特征的表达方式:
如图1A所示的道路场景示意性说明图和图1B所示的几何特征的示意性说明图,图1A中a图、b图、c图、d图、e图为五个道路场景示意图,图1B中f图、g图、h图、i图、j图为分别从a图、b图、c图、d图、e图所示的道路场景的点云数据中提取到的几何特征的示意性说明图。
例如,由a图和f图所示,建筑楼的左边缘、右边缘、上边缘可以分别对应一个直线的几何特征,可以包括直线的方向向量和位置;建筑楼的墙面可以对应一个平面的几何特征,例如,包括法向量和平面几何中心的位置。
又例如,如b图和g图所示,交通杆中的横杆和纵杆可以分别对应的一个直线的几何特征。
又例如,如c图和h图所示,直线形状的路沿可以对应一个直线的几何特征。
又例如,如d图和i图所示,隧道内壁可以对应一个曲面的几何特征。
又例如,如e图和j图所示,支撑柱的多个墙体可以分别对应一个平面的几何特征。支撑柱的边缘可以分别对应一个直线的几何特征。
(6)几何特征地图
我们可以提取点云地图中的点云数据中的几何特征,点云地图中提取得到的所有的几何特征构成几何特征地图。也就是说,几何特征地图为从点云地图的点云数据中提取的几何特征所形成的地图。可选地,该几何特征地图还可以包括几何特征的属性,如尺寸、所属类别等,还可以包括位置和该位置对应的地址、道路的几何特征对应的道路名称等。该几何特征地图可以作为地图(如Google地图、百度地图、高德地图或点云地图等地图)中的一个图层,也可以单独作为地图。在车辆进行定位的过程中,车辆或车辆绑定的终端可以加载几何特征地图,也可以仅加载几何特征地图的数据,本申请实施例不作限定。
(7)几何特征的匹配
几何特征的匹配是指将不同坐标系下的两组几何特征进行匹配,进而建立不同坐标系中几何特征之间对应关系。在本申请实施例中,车辆实时采集的点云数据是基于车辆的预测位姿(即不准确的位置和姿态)确定的坐标系下的点的数据,几何特征的匹配的过程也就是将从该点云数据中提取到的几何特征与几何特征地图中的几何特征相匹配。应理解,建立对应关系的两个几何特征,其本质上是一个对象在不同坐标系下的表达。在对车辆进行定位之前,首先需要找到几何特征地图中与车辆采集的点云数据提取到的一组几何特征相匹配的一组几何特征。具体地,可以根据该两组几何特征的位置、方向和属性等中的至少一种来实现建立两组几何特征之间的匹配,具体实现可以参见下述定位方法中相关描述,此处不再赘述。
(8)通过几何特征进行定位的原理
在道路场景中,路沿、交通杆、交通标志牌、车道线、树干、建筑物等物体的3D几何特征在三维空间中的分布具有非平行、非共面特征。理论上,两个以上非共面的几何特征即可确定出两个坐标系之间的变换关系,得到车辆的定位结果。应理解,在定位过程中,越多的几何特征会得到越精确的定位结果。
(9)卡尔曼滤波(Kalman filter)
卡尔曼滤波是一种状态最优估计方法,假设一个离散线性动态系统,可以根据上一个时刻的状态推测下一个时刻的状态。预测方程可以表示为
Figure BDA0002947093840000151
其中,下标“k”表示当前时刻,下标“k-1”表示上一时刻,状态中符号“^”表示该状态为估计值,状态中上标“-”表示该状态是根据上一个状态的预测结果,
Figure BDA0002947093840000152
表示当前时刻下状态的预测估计值,ak为当前时刻下车辆的控制输入,如加速度、转向等。所有的预测都是包含噪声的,噪声越大,不确定性越大,通过协方差矩阵(covariance)来表示状态预测噪声,通常用P来表示。噪声协方差矩阵的预测可表示为:Pk -=AkPk-1AT+Qk,其中,Ak状态转移矩阵,Qk表示系统模型本身的噪声矩阵。系统的观测值为zk,根据系统状态的预测结果
Figure BDA0002947093840000153
可以预测出系统的观测值
Figure BDA0002947093840000154
其中,
Figure BDA0002947093840000155
Hk为系统的观测矩阵。
状态最优估计值
Figure BDA0002947093840000156
是通过观测值与观测的预测估计值之间的残差
Figure BDA0002947093840000157
乘以卡尔曼系数(也称卡尔曼增益)Kk更新得到,即
Figure BDA0002947093840000161
其中,Hk为观测矩阵
Figure BDA0002947093840000162
表示实际观测值和预期观测值之间的残差。用该残差乘以系数Kk可以对预测状态
Figure BDA0002947093840000163
进行修正。其中,卡尔曼增益矩阵Kk实际上表征了状态最优估计过程中系统状态和预测状态之间的方差P最小时的估计系数。更新最优状态估计的噪声协方差矩阵P,用于下一轮迭代时计算卡尔曼滤波增益,状态的不确定性减小;但在下轮迭代中由于传递噪声的引入,不确定性会增大,卡尔曼滤波就是在不确定性的变化中寻求一种最优的状态估计。
(10)精确度
在本申请实施例中,第一位姿、第二位姿、估计位姿、预测位姿等都是对车辆的位姿的测量值,各个位姿的精确度不同。本申请实施例中精确度是指车辆的测量位姿,如第一位姿、第二位姿、估计位姿、预测位姿等与车辆真实位姿的接近程度,即第一位姿的精确度指示第一位姿态和车辆的真实位姿的差距,第二位姿的精确度指第二位姿态和车辆的真实位姿的差距,精确度低指示差距大,精确度高指示差距小。本申请实施例的目的在于,通过对精确度低的第一位姿进行调整得到精确度高的第二位姿。也就是说,相对于第一位姿,第二位姿更接近于车辆的真实位姿,可以作为车辆的真实位姿(也称为实际位姿),因此,可以将第一位姿称为预测位姿,第二位姿称为实际位姿。应理解,第二位姿也是对车辆的实际位姿的测量值,只是相对于第一位姿来说,更加接近车辆的实际位姿。
下面介绍本申请实施例提供的系统架构。
参见图2,本申请实施例提供了一种系统架构,该系统10所示,该系统10可以包括:数据采集设备110、数据库120、点云地图服务器130、几何特征地图生成设备140、地图服务器150、车辆160、终端180和定位服务器190,其中,针对不同的应用场景,车辆160、终端180和定位服务器190均可以作为定位设备,本发明对于定位设备具体是车辆、终端或定位服务器不做限定。
数据采集设备110用于通过点云采集装置采集点云数据,并将点云数据存入数据库120,可以是配置有点云采集装置的车辆,或者其他可以实现点云数据采集的装置。在另一种实现中,数据采集设备110也可以提取采集到的点云数据中的几何特征,将几何特征存入数据块120。
点云地图服务器130用于将数据采集设备110采集到的点云数据形成点云地图,还可以接收来自定位设备的针对特定区域的点云数据的请求,响应该请求,以向定位设备发送该特定区域的点云数据。
几何特征地图生成设备140可以是服务器或者计算机等具有计算功能的设备,用于从数据库120或者点云地图服务器130中获取点云地图的点云数据,进而提取该点云数据中的几何特征,得到几何特征地图。进一步地,可以将几何特征地图存入数据库130,也可以存在本地。几何特征地图生成设备140还可以接收定位设备发送的针对第一区域的几何特征的获取请求,进而响应该请求,向定位设备发送第一区域的几何特征。应理解,几何特征地图的生成和响应定位设备的功能也可以分别通过不同的设备来实现,对此,本申请实施例不作限定。
地图服务器150可以是地图应用的服务器,例如百度地图的服务器、谷歌地图的服务器、高德地图的服务器等地图应用的服务器。定位设备可以与地图服务器150建立通信连接,进行数据交互,以实现定位设备可以根据当前的定位到的位姿导航至目的地。应理解,几何特征地图生成设备140也可以包括地址、道路等数据,定位设备也可以与几何特征地图生成设备140建立通信连接,以实现定位设备的导航。
定位设备可以是车辆160、车辆160上的计算机系统或与车辆160通行连接的终端180,如手机、平板电脑等;还可以是定位服务器190。车辆160上配置了点云采集装置、惯性传感器等。当定位设备为定位服务器190或终端180时,车辆190可以向定位服务器190或终端180发送采集到的当前环境的第一点云数据和第一位姿,定位服务器190/终端180根据接收到的第一点云数据和第一位置,对车辆160的第一位姿进行调整,并将定位得到的第一位姿发送至车辆160。
定位服务器190可以是为车辆提供定位需求的服务器。在一种实现场景中,定位服务器190可以获取车辆160通过点云采集装置采集的第一点云数据,也可以预存几何特征地图,实现对车辆的定位;进一步地,定位服务器还可以将定位得到的第二位姿发送至车辆160或终端180。
其中,上述点云采集装置具体可以是至少一个激光雷达,激光雷达可以是多线雷达激光传感器,例如4线、8线、16线、32线、64线或其他数量线束的激光雷达。点云采集装置也可以是立体摄像头、TOF摄像头等,其中,立体摄像头可以是包括多个摄像头,也可以是包括一个或多个摄像头和激光雷达的组合。惯性传感器可以包括但不限于陀螺仪、加速度计、磁力传感器等中一种或多种。
车辆的计算机系统可以将通过惯性传感器采集到的运动信息和通过点云采集装置采集到的点云数据、或者从该点云数据中提取得到的几何特征发送给定位设备,以使定位设备根据接收到的数据进行定位。
定位设备可以向几何特征地图生成设备140请求获取几何特征地图,也可以从几何特征地图生成设备140下载几何特征地图,进而将通过点云采集装置采集到的点云数据中提取的几何特征与几何特征地图中的几何特征进行匹配,进一步地,利用匹配得到的几何特征进行定位。具体地定位方法是,定位设备可以确定车辆的第一位姿,该第一位姿是对车辆当前位置的估算值,精确度较低;定位设备获取车辆上的点云采集装置采集到的点云数据,该点云数据是基于第一位姿确定的坐标系下的描述;进一步地,从该点云数据中提取得到多个第一几何特征,再从几何特征地图中查找与该多个第一几何特征相匹配的多个第二几何特征,其中,第一几何特征与第二几何特征是一一对应的,进而,由于多个第一几何特征是基于不准确的第一位姿对该多个第二几何特征所描述对象的表达,故,定位设备可以根据多个第一几何特征和多个第二几何特征,得到车辆的准确的位姿,即第二位姿。
应理解,上述点云地图服务器130、地图服务器150不是本申请实施例中系统10必须的组成部分,系统10还可以包括其他设备,此处不作限定。
下面介绍本申请实施例提供的车辆。
图3是本发明实施例提供的车辆的功能框图。在一个实施例中,将车辆配置为完全或部分地自动驾驶模式。例如,车辆100可以在处于自动驾驶模式中的同时控制自身,并且可通过人为操作来确定车辆及其周边环境的当前状态,确定周边环境中的至少一个其他车辆的可能行为,并确定该其他车辆执行可能行为的可能性相对应的置信水平,基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时,可以将车辆100置为在没有和人交互的情况下操作。
车辆100可以图2中所示的系统中车辆160,可包括各种子系统,例如行进系统102、传感系统104、控制系统106、一个或多个外围设备108以及电源111、计算机系统112和用户接口116。可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线互连。
行进系统102可包括为车辆100提供动力运动的组件。在一个实施例中,推进系统102可包括引擎118、能量源119、传动装置122和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如气油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。
能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆100的其他系统提供能量。
传动装置122可以将来自引擎118的机械动力传送到车轮121。传动装置122可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置122还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
传感系统104可包括感测关于车辆100周边的环境的信息的若干个传感器。例如,传感系统104可包括全球定位系统122(全球定位系统122可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)124、点云采集装置126,其中,点云采集装置126可以包括激光雷达127、立体摄像头128、TOF摄像头等。传感系统104还可包括被监视车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主车辆100的安全操作的关键功能。
点云采集装置126可用于获取车辆100周围环境的点云数据,以实现对车辆100的地理位置和姿态的精确估计。车辆100中的全球定位系统122,例如GPS、BPS等,可以用于对车辆100的地理位置进行粗略估计。其中,IMU 124用于基于惯性加速度来感测车辆100的位置和朝向变化,可以用于粗略估计车辆的姿态。在一个实施例中,IMU 124可以是加速度计和陀螺仪的组合。
点云采集装置126具体可以是至少一个激光雷达127,激光雷达127可以是多线激光雷达,例如4线、8线、16线、32线、64线或其他数量线束的激光雷达。激光雷达127可利用无线电信号来感测车辆100的周边环境内的物体。在一些实施例中,除了感测物体以外,点云采集装置126还可用于感测物体的速度和/或前进方向。点云采集装置126也可以是立体摄像头128,其中,立体摄像头128可以是包括多个摄像头、也可以是包括一个或多个摄像头和激光雷达传感器。立体摄像头可用于捕捉车辆100的周边环境的多个包括深度信息的图像。
控制系统106为控制车辆100及其组件的操作。控制系统106可包括各种元件,其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统141、路线控制系统142以及障碍物避免系统144。
转向系统132可操作来调整车辆100的前进方向。例如在一个实施例中可以为方向盘系统。
油门134用于控制引擎118的操作速度并进而控制车辆100的速度。
制动单元136用于控制车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆100的速度。
计算机视觉系统141可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统141可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统141可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
路线控制系统142用于确定车辆100的行驶路线。在一些实施例中,路线控制系统142可结合来自传感器138、GPS 122和一个或多个预定地图的数据以为车辆100确定行驶路线。
障碍物避免系统144用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。
当然,在一个实例中,控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信装置146、车载电脑148、麦克风151和/或扬声器152。
在一些实施例中,外围设备108提供车辆100的用户与用户接口116交互的手段。例如,车载电脑148可向车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风151可从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向车辆100的用户输出音频。
无线通信装置146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信装置146可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信装置146可利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信装置146可利用红外链路、蓝牙或ZigBee与设备直接通信。无线通信装置146也可包括一个或多个专用短程通信(dedicatedshort range communications,DSRC)设备,这些设备可实现车辆和/或路边单元(roadside unit,RSU)之间的公共和/或私有数据通信。
电源111可向车辆100的各种组件提供电力。在一个实施例中,电源111可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆100的各种组件提供电力。在一些实施例中,电源111和能量源119可一起实现,例如一些全电动车中那样。
车辆100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113,处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器113可以是任何常规的处理器,诸如商业可获得的CPU。替选地,该处理器可以是诸如ASIC或其它基于硬件的处理器的专用设备。尽管图3功能性地示了处理器、存储器、和在相同块中的计算机110的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机110的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,数据存储装置114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行车辆100的各种功能,包括以上描述的那些功能。数据存储装置114也可包含额外的指令,包括向推进系统102、传感系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外,数据存储装置114还可存储数据,例如通过点云采集装置126采集的第一点云数据、第一点云数据提取出的第一几何特征、几何特征地图、道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。
本申请实施例中,车辆100或计算机系统112可以基于定位系统122例如全球定位系统122和惯性测量单元124确定车辆的第一位姿,以粗略估算车辆当前位置;进而获取车辆上的点云采集装置126采集到的第一点云数据;进一步地,从该第一点云数据中提取得到多个第一几何特征,该第一几何特征是在基于第一位姿确定的坐标系下对多个对象的描述,再从几何特征地图中查找与该多个第一几何特征相匹配的多个第二几何特征,其中,第一几何特征与第二几何特征是一一对应的,进而,由于多个第一几何特征是基于不准确的第一位姿对该多个第二几何特征所描述对象的表达,故而,车辆100或计算机系统112可以根据多个第一几何特征和多个第二几何特征,得到车辆的准确的位姿,即第二位姿。
用户接口116,用于向车辆100的用户提供信息或从其接收信息。可选地,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信装置146、车车在电脑148、麦克风151和扬声器152。
计算机系统112可基于从各种子系统(例如,行进系统102、传感系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感系统104和障碍物避免系统144检测到的障碍物。在一些实施例中,计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆100分开安装或关联。例如,数据存储装置114可以部分或完全地与车辆1100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图3不应理解为对本发明实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆100,可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,自动驾驶汽车车辆100或者与自动驾驶车辆100相关联的计算设备(如图3的计算机系统112、计算机视觉系统141、数据存储装置114)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)什么稳定状态。在这个过程中,也可以考虑其它因素来确定车辆100的速度,诸如,车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆100的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本发明实施例不做特别的限定。
下面结合附图详细描述本申请实施例。
实施例(一):
首先介绍本申请实施例涉及的几何特征的提取方法,该方法可以由图2中车辆160、定位设备、几何特征地图生成设备140或图3中车辆100执行,本申请实施例以执行主体为车辆为例来说明。请参阅图4A所示的几何特征提取方法,该方法可以包括但不限于如下步骤:
S402:获取待处理的点云数据。
在车辆进行定位的应用场景中(本申请实施例三),该待处理的点云数据为车辆通过点云采集装置获取的周围环境的第一点云数据。从该第一点云数据中提取出的几何特征,即为实施例三中的多个第一几何特征或N个第一几何特征,提取得到的几何特征用于车辆的定位。此时,该第一点云数据可以是一帧点云数据也可以是多帧点云数据,还可以是对多帧点云数据进行帧间点云叠加后得到的点云数据,对此,本申请实施例不作限定。
应理解,对于定位设备来说,若定位设备为终端或服务器,则定位设备可以与车辆建立通信连接,进而接收车辆通过点云采集装置获取的第一点云数据。
在生成几何特征地图的应用场景中(本申请实施例二),该待处理的点云数据为几何特征地图生成设备从数据库、数据采集设备或点云地图中获取的第二点云数据,从该待处理的点云数据中提取的几何特征用于生成几何特征地图。此时,几何特征地图生成设备获取的待处理的点云数据可以是待处理区域的点云数据,也可以是待处理的一帧或多帧点云数据,还可以是多帧点云数据进行帧间点云叠加后得到的点云数据,对此本申请实施例不作限定。
可选地,在S404之前,车辆还可以对待处理的点云数据进行降噪处理,例如,滤除点云数据中的离群值,以滤除噪声过大的干扰点,只保留有效的数据点,提高几何特征提取的准确度;又例如,车辆可以对点云数据进行降采样,即减少点云数据中采样点个数,以减少数据量,降低数据处理量,提高车辆的定位速度。
S404:提取待处理的点云数据中的几何特征。
在S404的一种实现中,S404可以包括如下步骤:
S4042:识别待处理的点云数据中的至少一个对象。
本申请实施例中识别待处理的点云数据中的多个对象包括但不限于识别待处理的点云数据中对象的属性、该属性可以是对象所述的类别。在本申请实施例的一种实现中,该对象所属的类别(第一类别)包括直线、曲线、平面、曲面等。在本申请实施例的另一种实现中,该对象所属的类别(第二类别)包括路沿、路面、树干,建筑物的平面、左边缘、右边缘、上边缘、下边缘,交通杆的横杆、纵杆,道路指示线的实线、虚线、转向线等。
在本申请实施例的一种实现中,对象可以不包括物理含义,车辆仅识别出其几何形状,进而采用该几何形状对应的技术方法提取其几何特征。在本申请实施例的另一种实现中,对象可以包括具体的物理含义,比如路沿、路面、道路指示线、交通指示牌、道路指示线、树干、建筑物的平面、左边缘、右边缘、上边缘、下边缘,交通杆的横杆、纵杆,道路指示线的实线、虚线、转向线等,本申请实施例不作限定。
S4044:根据第一对象的点云数据,确定第一对象的几何特征,第一对象为识别到的多个对象中的任意一个对象。
本申请实施例中,首选,识别待处理的点云数据中的对象的几何形状,进一步地,可以从待处理的点云数据中划分出各个对象的点云数据,进而,对各个对象的点云数据进行直线/曲线/平面/曲面等拟合,如直线/曲线/平面/曲面,对象的几何表达的几何特征即为该对象的几何特征。
若第一对象的几何形状为直线,对第一对象的点云数据进行直线拟合,得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的直线的几何特征;若第一对象的几何形状为曲线,对第一对象的点云数据进行曲线拟合,得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的曲线的几何特征;若第一对象的几何形状为平面,对第一对象的点云数据进行平面拟合,得到第一对象的第一几何特征,第一对象的第一几何特征为拟合得到的平面的几何特征;若第一对象的几何形状为曲面,对第一对象的点云数据进行曲面拟合,得到第一对象的第一几何特征,第一对象的第一几何特征为曲面拟合得到的曲线的几何特征。
应理解,对于第二类别,车辆可以根据类别与几何形状的对应关系,确定各个类别所采用的那种拟合方式。例如,针对线状对象,如类别为建筑物的左边缘、右边缘、上边缘、下边缘,交通杆的横杆、纵杆,指示牌的杆、树干等,采用直线拟合的方式计算其几何特征。又例如,针对平面状的对象,如建筑物的平面、广告牌的牌面等采用平面拟合的方式计算其几何特征。
下面举例介绍各个对象的提取原理和方法:
(1)路面和路沿
请参阅图4B和图4C所示提取路面和路沿的几何特征的原理示意图,如图4B所示的路沿的点云数据的分布,路面通常为平坦的平面,路沿可以包括上边沿和下边缘,其中,在上边缘的点云数据和下边缘的点云数据在高度上都具有突变。对于多线激光雷达来说,在车辆的运动方向上,激光雷达发出的激光束,如图4B中激光束i或图4C中激光束j,横跨路面和路沿,因而,每一个激光束扫描得到的点云数据都可以得到观测到高度的变化。因此,车辆可以根据每一个激光束得到的点云数据的在高度的变化,确定路面和路沿的边界(下边缘)和路沿的上边缘。例如,在上边缘和下边缘的高度差的Δh大于第一高度的情况下,确定为该上边缘和下边缘之间的区域为路沿,进一步地,基于上边缘和下边缘的点云数据,得到路沿的几何特征。
在本申请实施例的一种实现中,路面的几何特征可以是路面所在平面的法向量,如图4B和图4C中Vpavement
在本申请实施例的又一种实现中,可以将路沿的上边缘/下边缘所在直线或曲线的几何特征作为路沿的几何特征,如图4B中中向量Vcurb_up或向量Vcurb_low即为路沿的几何特征。如图4C中,路面和路沿的边界所在曲线(即图中曲线fcurb_low)上的多个坐标点的组合或多个坐标点上的法向量的组合作为曲线的几何特征,即(a点坐标,a点的法向量va,b点坐标,b点法向量vb,c点坐标,c点法向量vc)。
在本申请实施例的又一种实现中,也可以将路沿的上边缘所在的直线/曲线的几何特征和下边缘所在的直线/曲线的几何特征的平均值作为路沿的几何特征,即,路沿的几何特征为(Vcurb_low+Vcurb_low)/2,本申请实施例不作限定。
在本申请实施例中,可以路沿的几何特征还可以包括路沿的位置,其中,路沿的位置可以是路沿的点云数据中的任意位置的坐标作为该对象对应的几何特征的位置。应理解,还可以包括其他规则来确定路沿的位置,此处不作限定。
本申请实施例中,车辆还可以标注该几何特征的属性、如尺寸、所属分类等。
可见,本申请实施例中,通过向量、位置和属性来替代对象上大量的点云数据,与原始的点云数据相比,该几何特征占据更小的存储空间,大大降低数据的存储量,进一步地降低数据计算复杂度,以满足车辆定位对实时性的要求。
(2)道路指示线
由于道路指示线的涂层材料与路面的材料不同,道路指示线对激光的反射强度远远大于路面。故而,车辆可以提取路面的点云数据中对激光的反射将强度大于预设强度的点,得到道路指示线的点云数据,进一步地,根据道路指示线的点云数据得到道路指示线的几何特征。
请参阅图4D提取道路指示线的几何特征的几何特征的原理示意图,道路指示线的几何特征可以是道路指示线所在直线或曲线的几何特征。各个道路指示线的几何特征可以如4D中所示的V1-V10。
在本申请实施例的另一种实现中,若点云数据是通过立体摄像头获取的,则可以基于图像识别技术来识别点云数据中的道路标志线,进一步地,根据道路指示线的点云数据得到道路指示线的几何特征。在一些实施例中,若道路指示线破损,被污染等,造成车道线丢失,车辆可以利用图像增强技术,还原道路指示线。在一些实施例中,由于交通拥堵导致激光雷达发送的线束被其他车辆遮挡,导致可以测量得到的车道指示线的信息缺失,此时,车辆可以根据上一时刻的得到的车道指示线的几何特征和车辆的运动轨迹来估计当前时刻的车道指示线的几何特征。
在一些实施例中,左转、右转、直行、掉头等道路指示线可以作为几何特征的属性,辅助几何特征的匹配。
(3)交通杆、树干、路牌或广告牌等杆状对象
在本申请实施例的一种实现中,车辆可以以三维网格为标尺对点云数据进行划分,该三维网格的尺寸(X轴长度×Y轴长度×Z轴长度)可以是0.2m×0.2m×0.2m,或其他数值,对此不作限定。应理解,当三维网格内存在点云数据时,则该三维网格内存在物体。对该三维网格内物体的高度进行编码,得到高度分布图。标记为(i,j,k)三维网格表示为X方向上的第i个、Y方向上处于的第j个以及Z方向上的第k个确定的三维网格,该三维网格(i,j,K)被编码的高度值H为:
Figure BDA0002947093840000231
其中,在标识在三维网格(i,j,k)中存在物体时,N(k)取值为1,否则,取值为0,其中,i、j、k为正整数。
如图4E所示的树木的点云数据的分布示意图,三维网格(4,3,5)被编码的高度值大于第一阈值,图4E中K为5,三维网格(4,3,5)上层(即Z=4.0以上)的三维网络中,在位置(4,3)周围,三维网格的高度值迅速向周围三维网格扩张,如图4E中Z=4.2所示的点云数据分布,则可以判断该物体为树木。三维网格(4,3,5)对应的高度值即为树干的高度。根据位于(4,3)的三维网格内的点云数据,进行直线拟合,计算出树干的方向向量、确定树干位置等。
应理解,路灯杆、广告牌、交通杆、树木等物体随着Z方向的增大,邻域内的被编码的高度值具有不同的特性,据此可以区分出路灯杆、广告牌等杆状物体。
如图4F所示的广告牌的几何特征的示意性说明图,根据不同高度下点云数据的分布,可以识别出该点云描述物体为广告牌。进一步地,针对广告牌的牌面,可根据多个高度z的位于(4,3)的三维网格内的点云数据的分布,提取广告牌的杆的方向向量;针对广告牌的杆,根据高度Z为2.2-3.2区间内的点云数据的分布图,提取广告牌内部的点云,将广告牌内部点云进行平面拟合,提取广告牌的牌面的法向量。
如图4G所示的路灯杆的几何特征的示意性说明图,根据不同高度点云数据的分布,可以识别出该点云描述物体为路灯杆,进一步地,根据位于(4,3)的三维网格内的点云数据,计算出路灯杆的方向向量、确定路灯杆的位置等。
在本申请另一实施例中,多线激光雷达的中的单束激光绕雷达旋转中心扫描时,测量距离以极坐标形式表示,如图4H所示指示牌上点的距离和角度的示意性说明图。当单束激光相邻两个角度返回的距离差大于距离阈值,认为该两个角度之间为物体的边界,结合相邻的激光线束得到的点可以分割出物体的测量点。进一步地,基于分割得到的测量点,进行直线、曲线、平面或曲面的拟合,得到物体上各个部分的几何特征。
上述列举的实施例仅为说明该方法的实现过程进行的示例性描述,在实际实施时,可以对上述各种实现进行不同是形式的组合、优化和各种方法的变换等以达到提取几何特征的目的。
(4)建筑物的外缘、墙面
如图4I所示为建筑物的点云数据的分布示意图,通过上述(3)中识别杆状物体的方式,车辆可以识别建筑物的外缘(左边缘、右边缘、上边缘、下边缘等)并分割出建筑物各个外缘的点云数据,进而,通过直线/曲线拟合等方式确定各个外缘的几何特征为该外缘所在的直线/曲线的几何特征。通过上述(3)中识别广告牌的牌面的方式,车辆可以识别出建筑的墙面,进而通过平面/曲面拟合等方式确定建筑物的墙面的几何特征为该建筑物的墙面所在的平面/曲面的几何特征。
应理解,其他对象的识别、对象的点云数据分割、几何特征的生成的原理可以参照上述各个对象中相关描述,本申请实施例不再例举。
实施例(二)
本申请实施例介绍一种地图生成方法,该方法应用上述实施例(一)所述的几何特征的提取方法,可以由图2中几何特征地图生成设备140执行,请参阅图5所示的几何地图的生成方法,该方法可以包括但不限于如下步骤:
S502:从点云地图中获取第二点云数据,该第二点云数据可以是点云地图中待处理区域的点云数据,也可以是点云地图中待处理的一帧或多帧点云数据,还可以是上述多帧点云数据进行帧间点云叠加后得到的点云数据,对此本申请实施例不作限定。应理解,几何特征地图生成设备可以以点云数据所在的区域对点云地图中的点云数据进行划分,
S504:提取该第二点云数据中的几何特征,点云地图中所有的第二点云数据提取得到的几何特征构成几何特征地图。
从该第二点云数据中提取的几何特征用于生成几何特征地图。此时,具体实现可以参见上述实施例(一)中从第一点云数据中提取几何特征的实现方式的相关描述,此处不再赘述。
可选地,该几何特征还可以包括属性,如所属类别、尺寸等信息。
几何特征地图中的几何特征可以编码成各种形式的存储格式,如图像、XML、文本或表格等,几何特征地图可以保存在几何特征地图生成设备或数据库中。
例如,几何特征地图可以以图像格式存储,图像中每一个像素点具有确定的位置,当该位置存在几何特征时,该像素点的值可以编码为该存在的几何特征的向量、尺寸或所属类别等。
可选地,该几何特征地图还可以包括位置和该位置对应的地址、道路的几何特征对应的道路名称等。该几何特征地图可以作为地图(如Google地图、百度地图、高德地图或点云地图等地图)中的一个图层,也可以单独作为地图,对此,不作限定。
可见,通过该方法得到的几何特征地图,通过向量、位置和属性来替代对象上大量的点云数据,与原始的点云地图相比,该几何特征地图占据更小的存储空间,大大降低数据的存储量,降低后续车辆定位过程数据计算复杂度,满足车辆定位对实时性的要求。
请参阅图6所示的定位原理示意图,其目的在于得到精确高的车辆的位置和姿态如图6所示,车辆采集到的第一点云数据提取得到的第一几何特征(虚线所示的几何特征)与几何特征地图中与该第一几何特征相匹配的第二几何特征(实线所示的几何特征)实质上是同一对象在不同坐标系下的表达。由于,车辆对当前位姿估计的第一位姿不准确导致其在根据第一位姿所确定的第一坐标系与几何特征地图中第二坐标系(即世界坐标系)的不同,即两个坐标系需要通过旋转和平移才能重合。理论上,若车辆估计的第一位姿非常精确,则第一坐标系和第二坐标系重合,采集得到的对象的第一几何特征与该对象在几何特征地图中的第二几何特征相同,即重合。因此,可以通过车辆采集得到的第一几何特征和第二几何特征之间的差异来调整车辆的第一位姿,得到车辆精确的位置,即第二位姿。
下面介绍本申请实施例涉及的定位方法,定位方法可以由定位设备执行,其中,该定位设备可以是车辆或车辆中的计算机系统;也可以是与车辆进行通信连接的终端,如手机、平板电脑等;也可以是定位芯片或定位装置,还可以是服务器或云端等。本申请实施例以执行设备为定位设备为例进行介绍。下述实施例(四)、实施例(五)和实施例(六)所示的定位方法,可以基于实施例(三)所示的定位方法来实现。
实施例(三)
请参阅图7所示的定位方法的流程示意图,该方法可以包括但不限于如下步骤:
S72:获取车辆通过点云采集装置采集的第一点云数据。
S74:从第一点云数据中提取N个第一几何特征,N为正整数。
S76:根据N个第一几何特征对车辆的第一位姿进行调整以得到车辆的第二位姿,第二位姿的精确度高于第一位姿态的精确度。
在本申请实施例的另一种实现中,定位设备也可以接收车辆或终端发送的上述N个第一几何特征,该N个第一几何特征是从车辆通过点云采集装置采集的第一点云数据中提取得到的。
上述方法提供了一种定位方法,通过从点云采集装置中采集到的第一点云数据中提取出的N个第一几何特征对精确度低的第一位姿进行纠正,可得到精确度高的第二位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
本申请实施例的目的在于得到精确度高的车辆的位置和姿态,即本申请实施例中第二位姿。其中,第一位姿的精确度低于第二位姿的精确度,第一位姿为车辆的精确度低的车辆的位置和姿态,即包括第一位置和第一姿态。S72之前该方法还可以包括,S71,获取车辆的第一位姿,其中,车辆的第一位姿的获取方式可以包括但不限于如下三种实现方式:
实现方式A:
定位设备通过定位系统确定车辆的第一位置,该定位系统可以是全球定位系统(global positioning system,GPS)、北斗卫星导航系统(Beidou navigation satellitesystem,BDS)、基站定位(也称为移动位置服务(location based service,LBS))、或室内定位系统等。
第一姿态可以是车辆通过惯性传感器测量得到的车辆的俯仰角、偏航角和翻滚角,车辆可以基于该第一位姿确定第一坐标系,进而在该第一坐标系下描述通过点云采集装置采集到的第一点云数据。其中,惯性传感器可以包括加速度计、角速度传感器(如陀螺仪)和磁力传感器等。
实现方式B:
本实现方式中,定位设备可以通过本申请实施例中定位方法在上一时刻(k-1)定位到的第二位姿和车辆的控制输入等输入到车辆的动力学方程,预测车辆在当前时刻(k)的第一位姿。
实现方式C:
具体地,定位设备可以根据车辆在T1时刻的第二位姿和车辆上的惯性传感器在T1时刻到T2时刻检测到的运动轨迹确定车辆在T2时刻的第一位姿,其中,T2时刻为点云采集装置采集第一点云数据的时刻。
应理解,不限于上述3中实现方式,本申请实施例中获取第一位姿还可以包括其他实现方式,此处不作限定。
还应理解,在车辆获取到第一位姿之后,车辆可以通过点云采集装置采集当前环境的第一点云数据;进而,将采集到的第一点云数据发送至定位设备,使得定位设备在获取到第一点云数据后执行S74,得到N个第一几何特征。其中,该第一点云数据为在由第一位姿确定的空间中表示的车辆观测到的对象的表面上的点的信息,N个第一几何特征中每个第一几何特征用于指示在由第一位姿确定的空间(也称为第一坐标系描述的空间)中车辆观测到的一个对象的几何特征。在本申请实施例的另一种实现中,也可以由车辆执行步骤S74,进而,车辆将从第一点云数据中提取到的N个第一几何特征发送至定位设备。
还应理解,第一坐标系为车辆基于第一位姿确定的坐标系(空间),由于第一位姿的精确度不高,该第一坐标系与世界坐标系之间存在偏差。
还应理解,第一点云数据的采集为现有技术,可参见现有技术中点云数据的采集、生成等方式中相关描述,此处不作限定。
其中,定位设备从第一点云数据中提取N个第一几何特征的具体实现可以参见实施例一中相关描述,本申请实施例不再赘述。本申请实施例,以从第一点云数据中提取了N个第一几何特征为例来说明,N为大于1的正整数,该N个第一几何特征可以表示为:V={V1,V2,…VN}。
在本申请实施例的一种实现中,在S76之前,该方法还可以包括:
S75:在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征,第一几何特征与所述第二几何特征一一对应。应理解,几何特征地图可以包括在世界坐标系下描述的对象的几何特征。进而,定位设备可以基于车辆观测到的N个第一几何特征和几何特征地图中的N个第二几何特征对第一位姿进行调整以得到第二位姿。
几何特征地图包括地图上各个区域的几何特征。在一种实现中,定位设备缓存了几何特征地图,为提高匹配效率,定位设备可以从几何特征地图的第一区域中查找与N个第一几何特征相匹配的N个第二几何特征,如图6所示的第一几何特征和第二几何特征,其中,第一区域可以是基于第一位姿确定的区域,该第一区域可以大于车辆的点云采集装置的扫描范围。在另一种实现中,定位设备可以向几何特征地图生成设备或者几何特征地图生成设备请求获取几何特征地图中的第一区域中的几何特征,对此不作限定。
其中,确定第一区域的一种实现可以是:定位设备可以根据第一位置和该第一位置处的道路确定车辆在第一位置所处的场景,例如,道路交叉口、多层道路等的不同,通过不同的方式划定第一区域。其主要实现如下:
请参阅图8A所示的第一区域的示意性说明图,若第一位置位于道路上非交叉口的区域,第一区域可以如图8A所示的椭圆形区域801,第一位置802位于椭圆形区域801内。可以理解,第一区域还是以第一位置为中心、第一长度为半径确定的球形区域或圆形区域;也可以是以第一位置为中心,确定的长方体区域或矩形区域;还可以是点云采集装置在第一位置时,点云采集装置的探测范围。
请参阅图8B所示的第一区域的示意性说明图,若第一位置位于道路交叉口,比如第一道路与第二道路的交叉口的情况下,第一区域可以如图8B所示的区域803,第一位置804位于区域803内。此时,由于第一位姿的不准确,第一区域需要考虑到各个道路上的对象,以防止划分出的几何特征地图中第一区域不能完全覆盖到N个第一几何特征所描述的对象。
请参阅图8C所示的第一区域的示意性说明图,若第一位置806处存在多层道路时,第一区域可以是如图8C所示的区域805。在一种实现中,定位设备可以先确定车辆所在的道路层,进而,确定第一区域805。其中,定位设备可以根据车辆导航要到达的目的地、或者车辆上一时刻定位得到的位姿和运动路径、第一位姿中的高度等来确定车辆所在的道路。进而,可以通过上述8A或者8B所示的方法确定第一区域。
在确定第一区域之后,可以将几何特征地图中第一区域内的几何特征与从采集到的第一点云数据中提取得到的N个第一几何特征进行匹配,以得到与N个第一几何特征相匹配的N个第二几何特征。其中,第一几何特征与第二几何特征一一匹配。本申请实施例以第一区域包括M个几何特征,定位设备从采集到的第一点云数据中提取得到的N个第一几何特征为例来说明,其中,M,N为正整数,M≥N,匹配过程的可以包括但不限于如下三种实现方式:
实现方式一:
定位设备可以将第一几何特征与M个几何特征逐个进行匹配,M个几何特征中与第一几何特征偏差最小的几何特征,即为与该第一几何特征相匹配的第二几何特征(本申请中也称该第一几何特征对应的第二几何特征)。
具体地,定位设备针对第一几何特征Vi,计算第一几何特征Vi与第一区域中每一个几何特征的偏差;第一区域中的几何特征中与第一几何特征Vi的偏差最小的几何特征为与第一几何特征Vi相匹配的第二几何特征Ui,其中,i=1,2,…,N。
其中,对于几何特征中的向量来说,第一几何特征Vi与第二几何特征Ui的偏差可以是第一几何特征Vi中的向量与第二几何特征Ui的中的向量之间的夹角。对于几何特征中的坐标点来说,第一几何特征Vi与第二几何特征Ui的偏差可以是第一几何特征Vi中的坐标点与第二几何特征Ui的中的坐标点之间的距离。
应理解,对于表面为曲线或曲面的对象来说,其几何特征可以包括多个向量和与向量一一对应的坐标点的集合,或者包括多个坐标点的集合,此时,在计算两个曲线的几何特征之间的偏差或两个曲面的几何特征之间的偏差时,应以多个包括坐标点的向量的或多个坐标点作为整体来计算。
应理解,当几何特征既包括向量也包括坐标点时,匹配的过程中可以仅考虑向量之间的夹角,也可以仅考虑两个坐标点之间的距离,也可以同时考虑上述两个量。
实现方式二:
为减少计算,加快匹配的过程,定位设备可以通过几何特征的属性来实现匹配。具体实现中,定位设备针对第一几何特征Vi,从第一区域的几何特征(即M个几何特征)中选择与第一几何特征Vi的属性相匹配的几何特征为与第一几何特征Vi相匹配的第二几何特征Ui,其中,i=1,2,…,N。
其中,两个几何特征的属性相匹配包括两个几何特征的尺寸的误差小于第一阈值,两个几何特征所属对象的类别相同等,例如,两个几何特征的长度的误差小于0.01m;又例如,两个几何特征所属对象的类别都交通杆等。
实现方式三:
定位设备可以通过几何特征的属性和几何特征的结合来实现匹配。在具体的实现中,定位设备针对第一几何特征Vi,可以从第一区域的几何特征(即M个几何特征)中选择与第一几何特征Vi的属性相匹配的几何特征,若被选择的几何特征为多个时,则可以进一步地通过其他方式从被选择的几何特征中确定一个与第一几何特征Vi相匹配的第二几何特征Ui。例如,计算第一几何特征Vi与被选择的几何特征中每一个几何特征的偏差,选择被选择的几何特征中与第一几何特征Vi的偏差最小的几何特征为与第一几何特征Vi相匹配的第二几何特征Ui,其中,i=1,2,…,N。
其中,两个几何特征的属性相匹配和两个几何特征的偏差的相关描述可以分别参见上述实现方式一和实现方式二中相关描述,此处不再赘述。
需要说明的是,定位设备也可以先选择第一区域中的几何特征中与第一几何特征Vi的偏差小于第二阈值的几何特征,若被选择的几何特征为多个时,则可以进一步地比较两个几何特征的属性是否匹配,以从被选择的几何特征中确定一个与第一几何特征Vi相匹配的第二几何特征Ui。具体实现可以参照上述实现方式三中相关描述,此处不再赘述。
还需要说明的是,定位设备可以根据第一几何特征所属类别的不同选择不同的匹配实现方式。
例如,对于所属类别为树干、交通杆、建筑外缘等直线类型的第一几何特征或对于所述类别为建筑平面、墙面、柱平面,可以计算该第一几何特征的向量分别与第一区域中的几何特征中的每一个几何特征的向量的夹角,进而,第一区域中的几何特征中与该第一几何特征夹角最小的几何特征为该第一几何特征相匹配的第二几何特征。
应理解,定位设备实时获取到第一位置,并实时加载第一区域内的几何特征,并将第一区域内的几何特征与N个第一几何特征进行匹配。
本申请实施例中以N个第一几何特征为例来说明,N个第一几何特征可以定位设备从点云采集装置采集到的第一点云数据中提取得到的所有几何特征中选取出的N个第一几何特征;也可以是从点云采集装置采集到的第一点云数据中提取得到的所有几何特征。可以假设N个第一几何特征的集合表示为V={V1,V2,…VN},几何特征地图上第二几何特征的集合表示为U={U1,U2,…UN},其中,第一几何特征Vi与第二几何特征Ui相对应。S76具体的实现可以包括但不限于如下实施例(四)、实施例(五)和实施例(六)所描述五种定位方式。
实施例(四)
请参阅图9A所示的本申请实施例的一种定位方法的流程示意图。该定位方法中,S76的一种实现方式可以包括如下步骤:
S761:定位设备根据N个第一几何特征和几何特征地图中的N个第二几何特征确定几何特征之间的变换关系。
S762:根据几何特征之间的变换关系对车辆的第一位姿进行调整以得到第二位姿。
上述方法,通过观测到的第一几何特征和几何特征地图中的第二几何特征之间的变换关系对精确度低的第一位姿进行纠正,可得到精确度高的第二位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进配准和定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
第一定位方式:
第一定位方式的定位原理是:通过基于车辆当前的第一位姿所确定的第一坐标系与几何特征地图所采用的第二坐标系之间的变换关系(即本申请实施例中也称目标变换量)对车辆的第一位姿(即估计位姿)进行变换,得到车辆的第二位姿,即为车辆准确的位姿。其中,第一坐标系与第二坐标系之间的目标转换量即第一坐标系转换为第二坐标系需要进行旋转和平移,该旋转和平移可以通过计算第一几何特征与该第一几何特征对应的第二几何特征之间的旋转和平移得到。由于,针对不同的第一几何特征,第一几何特征与该第一几何特征对应的第二几何特征之间的旋转和平移可能不同。因此,为更精确地对车辆进行定位,定位设备可以将采集到的点云数据中提取得到的N个第一几何特征分别通过旋转R和平移t之后得到N个第三几何特征,使得该N个第三几何特征与N个第二几何特征之间的误差(即第一误差)最小的旋转R和平移t组成的转换量即为目标转换量的逆,N为大于1的正整数。如图9B所示,该第一定位方式的具体实现方式可以包括但不限于如下部分或全部步骤:
S911:初始化第一变换量。
S912:通过第一变换量对N个第一几何特征进行变换,得到N个第三几何特征,该第三几何特征与第一几何特征一一对应。
S913:针对第一几何特征Vi,计算第一几何特征Vi对应的第三几何特征与第一几何特征Vi对应第二几何特征之间的误差,得到N个误差,i=1,2,…,N。
S914:对N个误差进行求和,得到第一误差,其中,第一误差是对N个误差直接求和或加权求和得到。
S915:判断迭代次数或第一误差是否满足停止迭代条件。
在S915的一种具体实现中,定位设备可以判断迭代次数是否等于预设次数,该预设次数可以是4次、5次、10次、30次或其他数值,如果是,则执行S916;否则,执行S917。
在S915的另一种具体实现中,定位设备可以判断第一误差是否收敛,如果是,则执行S916;否则,执行S917。
应理解,本申请实施例还可以包括其他实现方式,例如,判断第一误差是否小于预设值,如0.1、0.2或其他数值等,对此不作限定。
S916:根据第一误差调节第一变换量。
在S916之后,定位设备重复执行S912-S915,直到迭代次数或第一误差满足停止迭代条件。
S917:输出的第一变换量T,第一变换量即为即为第一目标变换量。
S918:通过第一目标变换量T对第一位姿S1进行变换,得到车辆的第二位姿S2。可通过数学关系表达为:S2=TS1,其中,
Figure BDA0002947093840000291
其中,“由第一几何特征对应的第三几何特征与第一几何特征对应的第二几何特征之间的误差(即第一误差)”可以通过第一目标函数来计算,第一目标函数的输出值越高表示误差越大,调节初始变换量的过程就是尽可能缩小这个第一误差的过程。应理解,在第一变换量的第一次调节过程中,第一变换量为定位系统预先设定的初始化的旋转量和平移量,通过多次迭代和调节,使得第一误差越来越小,使得第一误差最小的变换量即为第一目标变换量。还应理解,在本申请实施例的另一种实现中,第一目标变换量也可以是通过预设次数的调节得到的变换量。
在本申请实施例的一种实现中,可以构造第一目标函数,该第一目标函数可以包括但不限于以下3种形式:
第一目标函数的第一种形式:
定位设备可以根据第一目标函数确定第一误差,其中,第一目标函数可以是:
Figure BDA0002947093840000301
ε为第一误差;第一变换量包括旋转R和平移t;wi为第一几何特征Vi的权重;Ui为第一几何特征Vi对应的第二几何特征;i为N个第一几何特征中第一几何特征的索引,i为正整数,i≤N。
第一目标函数的第二种形式:
在一种实现中,第一几何特征可以仅包括向量,如直线的方向向量,平面的法向量、曲线的法向量曲面的法向量等,此时,第一几何特征Vi=vi,vi为第一几何特征Vi的向量。此时,第一目标函数可以表示为:
Figure BDA0002947093840000302
其中,旋转R和平移t即为第一变换量,为变量;i为N个第一几何特征中第一几何特征的索引,i为正整数,i≤N。本申请实施例中通过调节旋转R和平移t,不断地计算第一目标函数的值,使得第一目标函数最小的旋转R和平移t即为第一目标变换量。在本身实施例的另一种实现中也可以通过因式分解等方法得到使得第一目标函数最小的旋转R和平移t,本申请实施例不作限定。本申请实施例,(Rvi+t)即为第二几何特征Ui的向量ui通过初始变换量进行变换得到的第三几何特征。
在上述第一目标函数的第一、二种形式中,wi为第一几何特征Vi的权重,用于限制第一几何特征Vi对第一目标变换量的贡献。其中,第一几何特征的权重可以根据第一几何特征相对于车辆或车辆上的点云采集装置的距离来确定,例如,第一几何特征Vi的权重wi与第一几何特征Vi所属的对象相对于车辆的距离负相关,即距离点云采集装置或车辆越近的第一几何特征具有越大的权重。
在上述第一目标函数的第一、二种形式中,第一几何特征的权重还可以根据第一几何特征所对应的对象的类型确定,即针对不同的对象可以设定不同的权重,例如,对于建筑平面来说,其得到的建筑平面的法向量精确度高,其对应的第一几何特征可以具有更高的权重;又例如,对于树干来说,其对应的直线的方向向量的精确度较低,其对应的第一几何特征可以具有较低的权重。应理解,不限于上述权重的设置方式,本申请实施例还可以通过其他设置方式来设置权重,比如,综合考虑第一几何特征的距离和第一几何特征对应的对象的类型;又例如,本申请实施例中还可以不包括权重,即针对任意一个第一几何特征,其权重为1,此处不作限定。
第一目标函数的第三种形式:
在一种实现中,第一几何特征可以包括向量和位置,此时,第一目标函数可以表示为:
Figure BDA0002947093840000311
其中,G1,i为第一几何特征Vi的位置,G2,i为第二几何特征Ui的位置;wi为第一几何特征Vi的向量vi的权重,具体可参见上述第一目标函数的第一种形的中相关描述,此处不再赘述;
Figure BDA0002947093840000312
第一几何特征Vi的位置G1,i的权重,用于限定第一几何特征Vi的位置G1,i对第一目标变换量的贡献。其中,第一几何特征的位置的权重可以由对应的对象的类型确定,即针对不同的对象可以设定不同的权重,例如,交通杆来说,其位置按照位置的设定规则可以精确的确定,则其几何特征的位置具有较高的权重,比如1;又例如,对于路沿来说,很难定义精确的位置,则其几何特征的位置具有较低的权重,比如0。
应理解,不限于上述权重
Figure BDA0002947093840000313
的设置方式,本申请实施例还可以通过其他设置方式来设置权重
Figure BDA0002947093840000314
比如,综合考虑第一几何特征Vi的距离和第一几何特征Vi对应的对象的类型来设定
Figure BDA0002947093840000315
对此,本申请实施例不作限定。
第二定位方式:
在第一中定位方式中,变换关系是以将第一几何特征变换为几何特征地图中的第二几何特征变换为例来说明,应理解,变换关系还可以是将几何特征地图中的第二几何特征变换为第一几何特征。
与第一定位方式的定位原理相似,不同的是变换关系的计算方法。在第二定位方式中,定位设备可以将N个第二几何特征分别通过旋转R和平移t之后得到N个第四几何特征,使得该N个第四几何特征与采集到的点云数据中提取得到的N个第一几何特征之间的误差最小的旋转R′和平移t′即为目标转换量T的逆矩阵,N为大于1的正整数。如图9C所示,该第二定位方式的具体实现方式可以包括但不限于如下部分或全部步骤:
S921:初始化第二变换量。
S922:通过第二变换量对多个第二几何特征进行变换,得到多个第四几何特征,该第四几何特征与第二几何特征一一对应。
S923:针对第二几何特征Ui,计算第二几何特征Ui对应的第四几何特征与第二几何特征Ui对应第一几何特征之间的误差,得到N个误差,i=1,2,…,N。
S924:对N个误差进行求和,得到第二误差,其中,第二误差是对N个误差直接求和或加权求和得到。
S925:判断迭代次数或第二误差是否满足停止迭代条件。具体实现可以参见上述S914中相关描述,在判断结果为是,则执行S926;否则,执行S927。
S926:根据第二误差调节第二变换量。
在S926之后,定位设备重复执行S922-S925,直到迭代次数或误差满足停止迭代条件。
S927:输出的第二变换量,输出的第二变换量的逆矩阵即为即为第二目标变换量。
S928:通过第二目标变换量T′对第一位姿S1进行变换,得到车辆的第二位姿S2。可通过数学关系表达为:S2=T′S1,其中,
Figure BDA0002947093840000316
上述S921-S928的具体实现可以参见上述第一定位方式中相关描述,此处不再赘述。
同理,可以构造第二目标函数来实现第二误差的计算。同第一目标函数的第一种形式相似,第二目标函数可以表示为:
Figure BDA0002947093840000321
同第一目标函数的第二种形式相似,第二目标函数可以表示为:
Figure BDA0002947093840000322
关于,wi
Figure BDA0002947093840000323
ui、vi、G1,i、G2,i、i的相关描述可以参见上述第一定位方式中相关描述,此处不再赘述。
应理解,不限于上述第一目标函数或第二目标函数的两种形式中,第一目标函数或第二目标函数还可包括其他形式,误差还可以是平均绝对误差(mean absolute error,MAE)、均方误差(mean squared error,MSE)、均方根误差(root mean squared error,RMSE)或其它的形式等,本申请不作限定。
还应理解,目标转换量的计算过程即为第一目标函数或第二目标函数最小化的求解,目标函数最小化的求解方法可以包括但不限于高斯牛顿法、梯度下降法、L-M(Levenberg-Marquardt)法、QR分解或其他求解方法。
实施例(五)
请参阅图10A所示的定位方法的流程示意图,该方法除包括上述S72、S74、S76之外还可以包括S71、S75,具体可参见上述实施例(三)中相关描述,其中S76可以包括但不限于如下步骤:
S763:根据上一时刻的第二位姿和上一时刻时车辆的控制参数,确定车辆在当前时刻的预测位姿,所述上一时刻为当前时刻之前的时刻。
S764:通过第二参数的观测值与第二参数的预测值之间的误差更新车辆的预测位姿,得到车辆的第二位姿。
其中,第二参数的观测值是基于车辆在第一位姿下观测到的第一几何特征确定的,第二参数的预测值是基于预测位姿和几何特征地图中的第二几何特征确定的。
应理解,上述第一位姿可以是当前时刻的预测位姿,也可以是通过其他方法定位到的车辆当前时刻的位姿,比如,定位设备根据定位系统确定车辆的第一位置以及根据惯性传感器确定车辆的第一姿态,第一位姿包括第一位置和第一姿态。
在本申请实施例的一种实现中,在S764之前,该定位设备还可以获取车辆观测到的N个第一几何特征,一个第一几何特征用于在由第一位姿确定的空间中表示车辆观测到的一个对象的几何特征,N为正整数;在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征,第一几何特征与第二几何特征一一对应;进而,基于所述第一位姿、预测位姿、N个第一几何特征和N个第二几何特征确定第二参数的观测值与第二参数的预测值之间的误差。
应理解,定位设备获取N个第一几何特征的具体实现可以分别参见上述实施例(三)中相关描述;定位设备在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征的具体实现可以分别参见上述实施例(三)中步骤S75以及匹配过程的三种实现方式的相关描述,此处不再赘述。
实施例(五)提供了一种车辆定位方法,通过观测到的第一几何特征和几何特征地图中的第二几何特征对估计位姿进行评分,确定评分最高的估计位姿作为车辆的实际位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,定位的实时性好。
步骤S76具体可以通过Kalman滤波的方法来计算车辆的第二位姿。如图10B所示第三定位方式的流程示意图和图10C所示的第三种定位方式的示意性说明图,第三定位的实现方式包括Kalman预测过程和Kalman更新过程,第三定位的实现方式包括但不限于如下步骤:
S102:将车辆在上一时刻(k-1)的第二位姿
Figure BDA0002947093840000331
和上一时刻时车辆的控制输入ak输入到车辆的运动学方程,预测车辆在当前时刻(k)的预测位姿
Figure BDA0002947093840000332
其中,k为大于1的正整数。
应理解,S102为Kalman预测过程,可以是上述S71的一种实现方式,此时第一位姿即为预测位姿。在本申请实施例中,可以根据车辆的动力学方程(即本申请实施例钟红运动方程)得到车辆的状态。本申请实施例中,车辆的状态为位姿,包括位置和姿态。在本申请的一种实现中,以
Figure BDA0002947093840000333
为例来说明,本申请实施例以2维的坐标
Figure BDA0002947093840000334
来表示车辆的位置,以偏航角
Figure BDA0002947093840000335
来表示车辆的偏航角。在本申请的另一种实现中,也可以通过3维的坐标来表示车辆的位置,以3个角度(俯仰角、偏航角和翻滚角)来表示车辆的姿态,对此本申请实施例不作限定。通过上述车辆的运动方程进行位姿预测。在车辆的运动方程(也即为本申请实施例中的预测方程)可以表示为:
Figure BDA0002947093840000336
其中,Ak为当前时刻下的状态转移矩阵;Bk为当前时刻下的控制输入矩阵;ak为车辆的控制输入,如加速度、转向等;ωk为状态的噪声,其均值为0,协方差矩阵为Qk
当前时刻(k)协方差矩阵
Figure BDA0002947093840000337
根据上一时刻(k-1)的协方差矩阵
Figure BDA0002947093840000338
来进行预测:
Figure BDA0002947093840000339
S104:根据预测位姿
Figure BDA00029470938400003310
和N个第二几何特征确定第二参数的预测值
Figure BDA00029470938400003311
具体地,可以将预测位姿
Figure BDA00029470938400003312
和N个第二几何特征输入到观测方程,得到当前时刻(k)的第二参数的预测值。
其中,观测方程基于第二参数的方程,第二参数可以是第一几何特征所描述对象相对于自身车辆距离、方位角和高度角等中的至少一种。第二参数的预测值为N个第二几何特征分别相对于预测位姿下的车辆的第二参数。第二参数的观测值为N个第一几何特征分别相对于在第一位姿下的车辆的第二参数。本申请实施例以第二参数为第一几何特征描述的对象相对于车辆的距离和方位角为例来说明,应理解,还可以应用Kalman滤波构造其他的第二参数和观测方程。应理解,第一几何特征所描述的对象与该第一几何特征对应的第二几何特征所描述的对象为同一对象。
对于通过位置点来描述的几何特征来说,第二参数可以是该位置点相对于车辆自身的距离和方位角。其中,若N个第一几何特征包括对象的位置,或者通过多个坐标点来表示,当前时刻(k)的第二参数的预测值可以表示为:
Figure BDA00029470938400003313
其中,第一几何特征Vi相对于预测位姿下的车辆的第二参数,即第一几何特征Vi对应的第二参数的预测值
Figure BDA00029470938400003314
为:
Figure BDA00029470938400003315
其中,G2,i=[x2,i,y2,i]表示第二几何特征Ui中的坐标点,本申请实施例中以2维坐标为例来说明,应理解,在本申请另一种实现中,G2,i还可以以3维坐标来表示,即G2,i=[x2,i,y2,i,z2,i],对此,本申请实施例不作限定。
对于通过向量来描述的几何特征来说,第二参数可以是向量相对于自身车辆的距离、方位角和高度角。若N个第一几何特征包括对象的方向,即通过方向向量来表示,当前时刻(k)的第二参数的预测值可以表示为,
Figure BDA0002947093840000341
此时,第一几何特征Vi相对于预测位姿下的车辆的第二参数,即第一几何特征Vi对应的第二参数的预测值
Figure BDA0002947093840000342
为:
Figure BDA0002947093840000343
其中,
Figure BDA0002947093840000344
为当前时刻的预测距离,
Figure BDA0002947093840000345
为当前时刻预测方位角,
Figure BDA0002947093840000346
为当前时刻的预测高度角。请参阅图10D所示的向量的高度角和方位角的示意图。其中,车辆坐标系的原点到向量的距离OA1即为
Figure BDA0002947093840000347
坐标A1到车辆坐标系OXY平面的投影为坐标A2,则,OA2与OX的夹角即为
Figure BDA0002947093840000348
OA2与OA1的夹角即为
Figure BDA0002947093840000349
S106:根据第一位姿和N个第一几何特征确定
第二参数的观测值。
具体地,定位设备可以将第一位姿S1和N个第一几何特征输入到观测方程,得到当前时刻(k)第二参数的观测值。
对应于上述公式(6)中的第二参数,当前时刻(k)的第二参数的观测值可以表示为
Figure BDA00029470938400003410
其中,第一几何特征Vi相对于第一位姿下的车辆的第二参数,即第一几何特征Vi对应的第二参数的观测值Zk,i为:
Figure BDA00029470938400003411
对应于车辆运动方程中位姿的表达形式,第一位姿可以表示为
Figure BDA00029470938400003412
(xint,yint)表示车辆的第一位置,θint表示车辆的第一姿态。
S108:根据第二参数的观测值
Figure BDA00029470938400003413
和第二参数的预测值zk确定第二参数的观测值
Figure BDA00029470938400003414
与第二参数的预测值zk之间的误差Ek
其中,N个第一几何特征在当前时刻的第二参数的预测值可以表示为
Figure BDA00029470938400003415
N个第一几何特征的第二参数的观测值可以表示为
Figure BDA00029470938400003416
则当前时刻的第三误差可以表示为
Figure BDA00029470938400003417
S110:根据第二参数的观测值
Figure BDA00029470938400003418
与第二参数的预测值zk之间的误差Ek,更新当前时刻的预测位姿
Figure BDA00029470938400003419
得到车辆在当前时刻的第二位姿
Figure BDA00029470938400003420
应理解,S110为Kalman更新过程。更新使得状态误差最小,可以得到位姿更新的方程为:
Figure BDA00029470938400003421
卡尔曼增益的更新方程为:
Figure BDA00029470938400003422
位姿的协方差矩阵的更新方程为:
Figure BDA00029470938400003423
其中,Rk、Qk分别为观测噪声矩阵和位姿噪声矩阵。Ak、Hk分别为车辆位姿转换矩阵和观测转换矩阵。更新后得到的
Figure BDA00029470938400003424
即为当前时刻的第二位姿。
在步骤S110之后,定位设备可以将当前时刻的第二位姿
Figure BDA00029470938400003425
输入到运动方程、预测出下一时刻(k+1)的预测位姿
Figure BDA00029470938400003426
第二位姿,进而,通过上述S71-S76或S102-S110所述的方法,得到车辆在下一时刻(k+1)的第二位姿
Figure BDA0002947093840000351
实施例(六)
请参阅图11A所示的定位方法的流程示意图,该方法除包括上述S72、S74、S76之外还可以包括S71、S75,其中S76可以包括但不限于如下步骤:
S705:根据第一位姿,对车辆的位姿进行估计,得到多组估计位姿。
S706:根据N个第一几何特征和几何特征地图中的N个第二几何特征确定多组估计位姿的评分。
S707:根据多组估计位姿中每一组估计位姿的评分确定车辆的第二位姿,其中,其中,第一组估计位姿的评分用于指示第一组估计位姿与第二位姿的接近程度,第一组估计位姿是多组估计位姿中任意一个估计位姿。
可选地,第一组估计位姿的评分是基于第一组估计位姿、第一位姿、车辆观测到的N个第一几何特征和几何特征地图中的N个第二几何特征确定的。
在本申请实施例的一种实现中,在S706之前,该定位设备还可以获取车辆观测到的N个第一几何特征,一个第一几何特征用于在由第一位姿确定的空间中表示车辆观测到的一个对象的几何特征,N为正整数;进而,在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征,第一几何特征与第二几何特征一一对应;进而,基于每一组估计位姿、第一位姿、N个第一几何特征、N个第二几何特征确定每一组估计位姿的评分。
应理解,定位设备获取车辆观测到的N个第一几何特征的具体实现可以分别参见上述实施例(三)中相关描述;定位设备在几何特征地图中查找与N个第一几何特征相匹配的N个第二几何特征的具体实现可以分别参见上述实施例(三)中步骤S75以及匹配过程的三种实现方式的相关描述,此处不再赘述。
实施例(六)中,通过观测到的第一几何特征确定的第二参数的观测值和基于几何特征地图中的第二几何特征确定的第二参数的预测值之间的误差对当前时刻的预测位姿进行更新,得到车辆的实际位姿,相对于现有技术中的点云数据,本申请实施例采用数据量少的几何特征进行定位,大大减小了数据的运算量,使得车辆定位的耗时少,可实现车辆实时定位。
在本申请实施例中,定位设备对第一位姿进行调整得到第二位姿至少可以通过如下三种定位方式实现:
第四定位方式:
在第四定位方式中,可以对车辆的位姿进行先验位姿估计,得到多组估计位姿和在每一组估计位姿时的第一参数的估计值;进而,针对每一个估计位姿,根据第一参数的估计值和第一参数的观测值的误差得到第一评分,通过第一评分评价其与第二位姿的接近程度。应理解,估计位姿对应的估计值和观测值的误差越小,则该估计位姿的第一评分越高,该估计位姿越接近车辆的实际位姿,即第二位姿。如图11B所示为本申请实施例提供的第四定位方式的流程示意图,该第四定位方式可以包括但不限于如下步骤:
S11011:根据第一位姿S1对车辆的第二位姿S2进行先验估计,得到D组估计位姿,D为大于1的正整数。
在S1102的一种实现中,第一位姿S1可以是定位设备根据上一时刻的第二位姿和车辆的运动方程预测得到的当前时刻的预测位姿,即为上述第三定位方式中描述的
Figure BDA0002947093840000352
可参见上述第三定位方式中相关描述,此处不再赘述。应理解,第一位姿还可以是通过GPS和车辆的惯性传感器定位得到的当前时刻的位姿,或其他方式定位得到的位姿,本申请实施例不作限定。
D组估计位姿可以是以第一位姿S1为期望,在第一位姿S1周围以正态分布的位姿的集合。D可以为100、1000、3000或其他数值等。
本申请实施例中,D组估计位姿可以表示为
Figure BDA0002947093840000361
S11012:根据每一组估计位姿和N个第二几何特征,确定每一组估计位姿对应的第一参数的估计值。
本申请实施例中以估计位姿
Figure BDA0002947093840000362
为例来进行说明,定位设备可以将估计位姿
Figure BDA0002947093840000363
和N个第二几何特征输入到观测方程,得到估计位姿
Figure BDA0002947093840000364
对应的第一参数的估计值
Figure BDA0002947093840000365
估计位姿
Figure BDA0002947093840000366
为该D组估计位姿中的一个估计位姿。其中,估计位姿
Figure BDA0002947093840000367
对应的第一参数的估计值可以表示为:
Figure BDA0002947093840000368
其中,j为D组估计位姿中估计位姿的索引,j=1,2,…,D。其中,
Figure BDA0002947093840000369
是将估计位姿
Figure BDA00029470938400003610
和第二几何特征Ui输入到观测方程得到的第一参数的估计值。
可选地,同上述实施例(五)中第二参数相似,观测方程基于第一参数的方程,第一参数可以是第一几何特征所描述对象相对于自身车辆距离、方位角和高度角等中的至少一种。第一参数的估计值为N个第二几何特征分别相对于估计位姿下的车辆的第一参数。第一参数的观测值为N个第一几何特征分别相对于在第一位姿下的车辆的第一参数。
关于车辆的运动学方程、观测方程的相关描述可以参见上述实施例(五)中相关描述,此处不再赘述。关于估计位姿对应的第一参数的估计值的计算方式可以参见上述实施例(五)中第二参数的预测值的计算方式(即步骤S104)中相关描述,此处不再赘述。
可以理解,通过上述S11012可以得到D组估计位姿分别对应的第一参数的估计值。此时,D组估计位姿对应的第一参数的估计值可以表示为:
Figure BDA00029470938400003611
S11013:根据第一位姿和N个第一几何特征,确定第一参数的观测值。
将第一位姿和N个第一几何特征输入到观测方程,得到第一参数的观测值。
同理,关于第一参数的观测值的计算方式可以参见上述实施例(五)中第二参数的观测值的计算方式(即步骤S106)中相关描述,此处不再赘述
S11014:根据每一组估计位姿对应的第一参数的估计值与第一参数的观测值之间的误差确定每一组估计位姿的第一评分。
应理解,通过上述S1104中估计位姿的评分在第四种定位方式中也称为估计位姿的第一评分。
可以理解,根据估计位姿对应的第一参数的估计值与第一参数的观测值之间的误差越小,说明该估计位姿越接近与第二位姿(实际位姿)。若估计位姿对应的第一参数的估计值与第一参数的观测值相等,则该估计位姿就是第二位姿。可以根据估计位姿对应的第一参数的估计值与第一参数的观测值之间的误差构造用于计算第一评分的函数。第一评分越高,则该第一评分对应的估计位姿与第二位姿越接近。例如,估计位姿
Figure BDA00029470938400003612
的第一评分可以通过下式计算:
Figure BDA00029470938400003613
其中,corr()为皮尔逊积距相关系数(Pearson product-moment correlationcoefficient),可以是估计位姿
Figure BDA00029470938400003614
对应的第一参数的估计值
Figure BDA00029470938400003615
与第二参数的观测值Zk的协方差与二者标准差积的商。
应理解,通过上述S11011-S11014所述的方法,可以得到D组估计位姿中每一个估计位姿的第一评分。
S11015:根据D组估计位姿和该D组估计位姿中每一组估计位姿的第一评分,得到第二位姿。
在S11015的一种实现中,第二位姿可以是最高的D组估计位姿中第一评分最高的估计位姿。
在S11015的另一种实现中,第二位姿S2可以表示为:
Figure BDA0002947093840000371
其中,μjj为scorej的归一化系数。
应理解,还可以基于D组估计位姿和该D组估计位姿中每一组估计位姿的评分,通过其他方式得到第二位姿,本申请实施例不作限定。
第五定位方式:
在第四定位方式中,若第一参数为第二几何特征本身,即为第五定位方式所描述的定位方式。如图11C所示为本申请实施例提供的第五定位方式的流程示意图,该第五定位方式可以包括但不限于如下步骤:
S11021:根据第一位姿S1对车辆的第二位姿S2进行先验估计,得到D组估计位姿,D为大于1的正整数。
关于S11021的具体实现可以参见上述第四定位方式中S11011中相关描述,此处不再赘述。
S11022:通过每一组估计位姿与第一位姿之间的变换关系对N个第二几何特征分别进行变换得到的每一组估计位姿对应的N个第五几何特征,N个第二几何特征与N个第五几何特征一一对应。
本申请实施例中,以估计位姿
Figure BDA0002947093840000372
为例,通过第一估计位姿和第一位姿的变换关系对N个第二几何特征分别进行变换,得到该第一估计位姿对应的N个第五几何特征,估计位姿
Figure BDA0002947093840000373
为D组估计位姿中的一个估计位姿,j为D组估计位姿中估计位姿的索引,j=1,2,…,D。第二几何特征与第五几何特征一一对应。
应理解,第二几何特征和第五几何特征是针对同一对象在不同坐标系下的表达。若估计位姿
Figure BDA0002947093840000374
为车辆的第二位姿(实际位姿),理论上,该估计位姿
Figure BDA0002947093840000375
对应的N个第五几何特征与N个第一几何特征相同。也就是说,若估计位姿
Figure BDA0002947093840000376
对应的N个第五几何特征与N个第一几何特征存在误差可以评估估计位姿
Figure BDA0002947093840000377
与第二位姿的接近程度,即得到估计位姿
Figure BDA0002947093840000378
的评分(本申请实施例中也称第二评分)。该第二评分用于评价估计位姿与第二位姿的接近程度。第二评分越高,则该第二评分对应的估计位姿与第二位姿越接近。
S11023:根据每一组估计位姿对应的N个第五几何特征与N个第一几何特征之间的误差确定每一组估计位姿的第二评分。
估计位姿
Figure BDA0002947093840000379
对应的N个第五几何特征可以表示为jO=[jO1 jO2jON],估计位姿
Figure BDA00029470938400003710
对应的N个第五几何特征与N个第一几何特征V={V1,V2,…VN}的误差可以表示为:
Figure BDA00029470938400003711
其中,N个第一几何特征中N1个第一几何特征通过向量表示、N2个第一几何特征通过坐标点表示,m为N1个第一几何特征中第一几何特征的索引,n为N2个第一几何特征中第一几何特征的索引,m、n、N1、N2为正整数,且m≤N1、n≤N2、N1+N2=N;αwm表示第一几何特征Um的权重、dwn表示第一几何特征Un的权重,同公式(2)中类似,第一几何特征的权重的可以根据该第一几何特征与车辆的距离确定,具体可以参见上述第一种定位方式中相关描述,此处不再赘述;<Vm,jOm>表示两个向量的夹角,对应的权重系数为αwm;特征为目标的位置时,||Vn-jOn||2表示两者的距离,对应的权重系数为dwn
此时,估计位姿
Figure BDA0002947093840000381
的评分可以表示为:
Figure BDA0002947093840000382
通过上述S11022和S11023,可以得到D组估计位姿中每一组估计位姿的评分。
S11024:根据D组估计位姿和D组估计位姿中每一组估计位姿的第二评分,得到第二位姿。
其中,S11024的具体实现可参见同上述第四定位方式中S11014中相关描述,此处不再赘述。
第六定位方式:
在第四定位方式中,若第一参数为第一几何特征本身,即为第六定位方式所描述的定位方式。如图11D所示为本申请实施例提供的第六定位方式的流程示意图,该第六定位方式可以包括但不限于如下步骤:
S11031:根据第一位姿S1对车辆的第二位姿S2进行先验估计,得到D组估计位姿,D为大于1的正整数。
关于S11031的具体实现可以参见上述第四定位方式中S11011中相关描述,此处不再赘述。
S11032:通过每一组估计位姿与第一位姿之间的变换关系对N个第一几何特征分别进行变换得到的每一组估计位姿对应的N个第六几何特征,N个第一几何特征与N个第六几何特征一一对应。
应理解,第一几何特征和第六几何特征是针对同一对象在不同坐标系下的表达。若估计位姿
Figure BDA0002947093840000383
为车辆的第二位姿(实际位姿),理论上,该估计位姿
Figure BDA0002947093840000384
对应的N个第五几何特征与N个第二几何特征相同。也就是说,若估计位姿
Figure BDA0002947093840000385
对应的N个第六几何特征与N个第二几何特征存在误差可以评估估计位姿
Figure BDA0002947093840000386
与第二位姿的接近程度,即得到估计位姿
Figure BDA0002947093840000387
的评分(也称为第三评分)。该第三评分用于评价估计位姿与第二位姿的接近程度。第三评分越高,则该第三评分对应的估计位姿与第二位姿越接近。
S11033:根据每一组估计位姿对应的N个第六几何特征与N个第二几何特征之间的误差确定每一组估计位姿的第三评分。
应理解,S11033中估计位姿
Figure BDA0002947093840000388
对应的N个第六几何特征与N个第二几何特征之间的误差的计算方式可以参照上述第五种定位方式中估计位姿
Figure BDA0002947093840000389
对应的N个第五几何特征与N个第一几何特征之间的误差的计算方式(即步骤S11023)中相关描述,此处不再赘述。
S10134:根据D组估计位姿和D组估计位姿中每一组估计位姿的第三评分,得到第二位姿。
应理解,S10134的具体实现可参照上述第五种定位方式中步骤S11024中相关描述,此处不再赘述。
需要说明的是,上述定位方法可以应用于车辆的导航、车辆的自动驾驶等需要对车辆的位姿进行精确估计的场景中,通过上述定位方法为不仅可以得到车辆提供更精准位置还可以得到车辆的姿态。
下面介绍本申请实施例涉及的装置、设备。
图12为本发明实施例中一种定位装置的示意性框图,图12所示的定位装置(该装置1200具体可以是图2对应实施例中的定位设备,比如车辆160/终端180/定位服务器190,也可以是图3中车辆100,具体地,该定位装置1200可以包括:
第一获取单元1201,用于车辆通过点云采集装置采集的第一点云数据;
特征提取单元1202,用于从该第一点云数据中提取N个第一几何特征,N为正整数;
调整单元1203,用于根据N个第一几何特征对该车辆的第一位姿进行调整以得到该车辆的第二位姿,第二位姿的精确度高于第一位姿的精确度。
在本申请一种可能的实现中,该装置1200还包括:
第二获取单元1204,用于在调整单元根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿之前,获取该车辆的第一位姿。
在本申请一种可能的实现中,该装置1200还包括:
匹配单元1205,用于在几何特征地图中查找与该N个第一几何特征相匹配的N个第二几何特征。
在本申请实施例的另一种定位装置中,该定位装置可以不包括上述定位装置1200中的第一获取单元1201和特征提取单元1202,定位装置1200中调整可以包括接收单元,用于接收车辆或终端发送的N个第一几何特征。
需要说明的是,定位装置1200中第二获取单元1204、匹配单元1205不是定位装置1200必须的单元。还需要说明的是,上述定位装置1200还包括其他用于实现实施例(三)、实施例(四)、实施例(五)或实施例(六)所述的定位方法中的单元,上述定位装置1200的各个单元或其他单元的具体实现以参见上述实施例(三)、实施例(四)、实施例(五)或实施例(六)中相关描述,此处不再赘述。
图13是本申请实施例提供的一种定位装置的硬件结构示意图。图13所示的定位装置1300(该装置1300具体可以是一种计算机设备)包括存储器1301、处理器1302、通信接口1303以及总线1304。其中,存储器1301、处理器1302、通信接口1303通过总线1304实现彼此之间的通信连接。
存储器1301可以是只读存储器(Read Only Memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(Random Access Memory,RAM)。存储器1301可以存储程序,当存储器1301中存储的程序被处理器1302执行时,处理器1302和通信接口1303用于执行本申请实施例(三)的定位方法的各个步骤。
处理器1302可以采用通用的中央处理器(Central Processing Unit,CPU),微处理器,应用专用集成电路(Application Specific Integrated Circuit,ASIC),图形处理器(graphics processing unit,GPU)或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例的定位装置1200中的单元所需执行的功能,或者执行本申请方法本申请实施例(三)的定位方法。
处理器1302还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请的样本生成方法的各个步骤可以通过处理器1302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1302还可以是通用处理器、数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1301,处理器1302读取存储器1301中的信息,结合其硬件完成本申请实施例的定位装置1200中包括的单元所需执行的功能,或者执行本申请实施例(三)、实施例(四)、实施例(五)或实施例(六)中的定位方法。
通信接口1303使用例如但不限于收发器一类的收发装置,来实现装置1300与其他设备或通信网络之间的通信。例如,可以通过通信接口1303获取点云数据、第一几何特征、第二几何特征、几何特征地图等数据。通信接口1303还用于实现与其他设备,例如几何特征地图生成设备、地图服务器、终端等之间的通信。
总线1304可包括在装置1300各个部件(例如,存储器1301、处理器1302、通信接口1303)之间传送信息的通路。
当定位装置1300设置于车辆上时,该车辆可以是上述图3示的车辆100,装置1300还可以包括点云采集装置1305,该定位装置1300还可以执行实施例(一)中的几何特征提取方法。点云采集装置1305可以是激光雷达(laser radar),立体摄像头(stereo camera),越渡时间相机(timeof flight camera)等可以获取点云数据的装置。
对于定位装置1300为终端,如手机、平板电脑,或为服务器、云端等时,点云采集装置1305不是其必须的器件。
应理解,定位装置1200中的第一获取单元1201、第二获取单元1204、接收单元可以相当于装置1300中的通信接口1303,提取单元1202、调整单元1203和匹配单元1205可以相当于处理器1302。
上述各个器件的具体实现可以参见上述实施例(三)、实施例(四)、实施例(五)或实施例(六)中相关描述,本申请实施例不再赘述。
图14为本发明实施例中一种几何特征的提取装置的示意性框图,图14所示的几何特征的提取装置(该装置1400具体可以是图2对应实施例中定位设备,比如车辆160/终端180/定位服务器190,或者该装置1400可以是几何特征地图生成设备140),具体地,该装置1400可以包括:
获取单元1401,用于获取待处理的点云数据;
提取单元1402,用于从该待处理的点云数据中提取至少一个几何特征;其中,该至少一个几何特征用于车辆的定位。
可选地,装置1400还可以包括地图生成单元,用于根据提取得到的几何特征生成几何特征地图。
需要说明的是,装置1400还包括其他用于实现实施例(一)所述的几何特征提取方法中的单元或实施例(二)描述的几何特征地图生成方法中的单元,上述装置1400的各个单元或其他单元的具体实现以参见上述实施例(一)或实施例(二)中相关描述,此处不再赘述。
图15是本申请实施例提供的一种几何特征的提取装置的硬件结构示意图。图15所示的几何特征的提取装置1500(该装置1500具体可以是一种计算机设备)包括存储器1501、处理器1502、通信接口1503以及总线1504。其中,存储器1501、处理器1502、通信接口1503通过总线1504实现彼此之间的通信连接。
存储器1501可以是只读存储器(Read Only Memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(Random Access Memory,RAM)。存储器1501可以存储程序,当存储器1501中存储的程序被处理器1502执行时,处理器1502和通信接口1503用于执行本申请实施例(一)或实施例(二)所述的方法的各个步骤。
处理器1502可以采用通用的中央处理器(Central Processing Unit,CPU),微处理器,应用专用集成电路(Application Specific Integrated Circuit,ASIC),图形处理器(graphics processing unit,GPU)或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例的定位装置1400中的单元所需执行的功能,或者执行本申请方法本申请实施例(一)或实施例(二)所述的方法。
处理器1502还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请的样本生成方法的各个步骤可以通过处理器1502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1502还可以是通用处理器、数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1501,处理器1502读取存储器1501中的信息,结合其硬件完成本申请实施例的定位装置1400中包括的单元所需执行的功能,或者执行本申请方法实施例(一)或实施例(二)所述的方法。
通信接口1503使用例如但不限于收发器一类的收发装置,来实现装置1500与其他设备或通信网络之间的通信。例如,可以通过通信接口1503获取点云数据、第一几何特征、第二几何特征、几何特征地图等数据。通信接口1503还用于实现与其他设备,例如几何特征地图生成设备、地图服务器、终端等之间的通信。
总线1504可包括在装置1500各个部件(例如,存储器1501、处理器1502、通信接口1503)之间传送信息的通路。
当装置1500设置于车辆上时,该车辆可以是上述图3示的车辆100,装置1500还可以包括点云采集装置1505,该定位装置1500还可以执行实施例(一)中的几何特征提取方法。点云采集装置1505可以是激光雷达(laser radar),立体摄像头(stereo camera),越渡时间相机(timeof flight camera)等可以获取点云数据的装置。
若装置1500为终端,如手机、平板电脑,或为服务器、云端等,点云采集装置1505不是其必须的器件。
应理解,装置1400中的获取单元1401可以相当于装置1500中的通信接口1503,提取单元1402可以相当于处理器1502。
上述各个器件的具体实现可以参见上述实施例(一)或实施例(二)中相关描述,本申请实施例不再赘述。
应注意,尽管图13和图15所示的装置1300、1500仅示出了存储器、处理器、通信接口或无线通信模块,但是在具体实现过程中,本领域的技术人员应当理解,装置1300、1500还包括实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当理解,装置1300、1500还可包括实现其他附加功能的硬件器件。此外,本领域的技术人员应当理解,装置1300、1500也可仅包括实现本申请实施例所必须的器件,而不必包括图13或图15中所示的全部器件。
例如,装置1300、1500还可以包括输入/输出装置,该输入装置可以是触控面板、麦克风或其他输出装置等。输出装置可以是显示器、音频播放装置或其他装置等。装置1300、1500还可以包括各种传感器,比如,加速度计、摄像头、光敏传感器、指纹传感器等,此处不作限定。
可以理解,装置1300可以相当于图2对应实施例中定位设备,比如车辆160/终端180/定位服务器190,或图3中车辆100;装置1500可以相当于图2对应实施例中定位设备,比如车辆160/终端180/定位服务器190,或者装置1500可以相当于图2中几何特征地图生成设备140,或图3中车辆100。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (35)

1.一种定位方法,其特征在于,包括:
定位设备获取车辆通过点云采集装置采集的第一点云数据;
所述定位设备从所述第一点云数据中提取N个第一几何特征,N为正整数;
所述定位设备根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿,所述第二位姿的精确度高于所述第一位姿的精确度。
2.如权利要求1所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿,包括:
所述定位设备根据所述N个第一几何特征和几何特征地图中的N个第二几何特征对所述车辆的第一位姿进行调整以得到所述第二位姿,所述几何特征地图为从点云地图的第二点云数据中提取的几何特征所形成的地图,所述N个第二几何特征为与所述N个第一几何特征匹配的几何特征。
3.如权利要求2所述的方法,其特征在于,所述定位设备根据所述第一几何特征和几何特征地图中的第二几何特征对所述车辆的第一位姿进行调整以得到所述第二位姿,包括:
所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系;
所述定位设备根据所述几何特征之间的变换关系对所述车辆的第一位姿进行调整以得到所述第二位姿。
4.如权利要求3所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系,包括:
所述定位设备通过第一变换量对所述N个第一几何特征进行变换以得到N个第三几何特征,所述第三几何特征与所述第一几何特征一一对应;
所述定位设备根据所述N个第三几何特征与所述N个第二几何特征之间的第一误差调节所述第一变换量;
在所述第一变换量的迭代次数满足停止迭代条件或所述第一误差满足停止迭代条件时,所述定位设备得到第一目标变换量,所述第一目标变换量为满足所述停止迭代条件时的第一变换量,所述第一目标变换量用于指示所述N个第一几何特征和所述N个第二几何特征之间的变换关系。
5.如权利要求3所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系,具体包括:
所述定位设备通过第二变换量对所述N个第二几何特征进行变换以得到N个第四几何特征,所述第四几何特征与所述第二几何特征一一对应;
所述定位设备所述N个第四几何特征与所述N个第一几何特征之间的第二误差调节所述第二变换量;
在所述第二变换量的迭代次数停止迭代条件或所述第二误差满足停止迭代条件时,所述定位设备得到第二目标变换量,所述第二目标变换量为满足所述停止迭代条件时第二变换量的逆矩阵,所述第二目标变换量用于指示所述N个第一几何特征和所述N个第二几何特征之间的变换关系。
6.如权利要求2所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和几何特征地图中的N个第二几何特征对所述车辆的第一位姿进行调整以得到所述第二位姿,包括:
所述定位设备根据所述第一位姿,对所述车辆的位姿进行估计以得到多组估计位姿;
所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分;
所述定位设备根据所述多组估计位姿中每一组估计位姿的评分确定所述车辆的第二位姿,其中,所述每一组估计位姿的评分用于指示所述每一组估计位姿与所述第二位姿的接近程度。
7.如权利要求6所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
所述定位设备根据所述每一组估计位姿和所述N个第二几何特征,确定所述每一组估计位姿对应的所述第一参数的估计值;
所述定位设备根据所述第一位姿和所述N个第一几何特征,确定所述第一参数的观测值;
所述定位设备根据所述每一组估计位姿对应的第一参数的估计值与所述第一参数的观测值之间的误差确定所述每一组估计位姿的评分。
8.如权利要求7所述的方法,其特征在于,所述第一参数为距离、方位角和高度角中的至少一种;所述每一组估计位姿对应的第一参数的估计值为所述N个第二几何特征分别相对于所述每一组估计位姿下的车辆的第一参数;所述第一参数的观测值为所述N个第一几何特征分别相对于在所述第一位姿下的车辆的第一参数。
9.如权利要求6所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
所述定位设备通过所述每一组估计位姿与所述第一位姿之间的变换关系对所述N个第二几何特征分别进行变换得到的所述每一组估计位姿对应的N个第五几何特征,所述第二几何特征与所述第五几何特征一一对应;
所述定位设备根据所述每一组估计位姿对应的N个第五几何特征与所述N个第一几何特征之间的误差确定所述每一组估计位姿的评分。
10.如权利要求6所述的方法,其特征在于,所述定位设备根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
所述定位设备通过所述每一组估计位姿与所述第一位姿之间的变换关系对所述N个第一几何特征分别进行变换得到的所述每一组估计位姿对应的N个第六几何特征,所述第一几何特征与所述第六几何特征一一对应;
所述定位设备根据所述每一组估计位姿对应的N个第六几何特征与所述N个第二几何特征之间的误差确定所述每一组估计位姿的评分。
11.如权利要求1-10任一项所述的方法,其特征在于,在所述定位设备根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿之前,所述方法还包括:
所述定位设备获取所述车辆的第一位姿。
12.如权利要求11所述的方法,其特征在于,所述定位设备获取车辆的第一位姿,具体包括:
所述定位设备根据上一时刻的第二位姿确定所述车辆在所述当前时刻的预测位姿,所述当前时刻的预测位姿为所述定位设备获取的车辆的第一位姿,所述上一时刻为所述当前时刻之前的时刻;或,
所述定位设备根据定位系统确定所述车辆的第一位置以及根据惯性传感器确定所述车辆的第一姿态,所述第一位姿包括所述第一位置和所述第一姿态。
13.如权利要求2-12任一项所述的方法,其特征在于,所述方法还包括:所述定位设备在所述几何特征地图中查找与所述N个第一几何特征相匹配的N个第二几何特征。
14.如权利要求13所述的方法,其特征在于,所述定位设备在所述几何特征地图中查找与所述N个第一几何特征相匹配的N个第二几何特征,具体包括:
所述定位设备从所述几何特征地图的第一区域中查找与所述N个第一几何特征相匹配的N个第二几何特征,所述第一区域为基于所述第一位姿确定的区域,所述第一区域不小于所述车辆的点云采集装置的扫描范围。
15.如权利要求1-14任一项所述的方法,其特征在于,所述第一点云数据为在由所述第一位姿确定的空间中表示的所述车辆观测到的对象的表面上的点的信息,所述N个第一几何特征中每个第一几何特征用于指示在由所述第一位姿确定的空间中所述车辆观测到的一个对象的几何特征。
16.如权利要求1-15任一项所述的方法,其特征在于,所述定位设备从所述第一点云数据中提取N个第一几何特征,包括:
所述定位设备识别所述第一点云数据中的N个对象;
所述定位设备基于所述N个对象中每个对象的点云数据确定所述每个对象的第一几何特征。
17.如权利要求16所述的方法,其特征在于,第一对象为所述N个对象中的任意一个对象,所述定位设备基于所述N个对象中每个对象的点云数据确定所述每个对象的第一几何特征,包括如下步骤中的一种:
若所述第一对象的几何形状为直线,所述定位设备对所述第一对象的点云数据进行直线拟合以得到所述第一对象的第一几何特征,所述第一对象的第一几何特征为拟合得到的直线的几何特征;
若所述第一对象的几何形状为曲线,所述定位设备对所述第一对象的点云数据进行曲线拟合以得到所述第一对象的第一几何特征,所述第一对象的第一几何特征为拟合得到的曲线的几何特征;
若所述第一对象的几何形状为平面,所述定位设备对所述第一对象的点云数据进行平面拟合以得到所述第一对象的第一几何特征,所述第一对象的第一几何特征为拟合得到的平面的几何特征;
若所述第一对象的几何形状为曲面,所述定位设备对所述第一对象的点云数据进行曲面拟合以得到所述第一对象的第一几何特征,所述第一对象的第一几何特征为曲面得到的曲线的几何特征。
18.一种定位装置,其特征在于,包括:
第一获取单元,用于车辆通过点云采集装置采集的第一点云数据;
特征提取单元,用于从所述第一点云数据中提取N个第一几何特征,N为正整数;
调整单元,用于根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿,所述第二位姿的精确度高于所述第一位姿的精确度。
19.如权利要求18所述的装置,其特征在于,所述调整单元,具体用于:
根据所述N个第一几何特征和几何特征地图中的N个第二几何特征对所述车辆的第一位姿进行调整以得到所述第二位姿,所述几何特征地图为从点云地图的第二点云数据中提取的几何特征所形成的地图,所述N个第二几何特征为与所述N个第一几何特征匹配的几何特征。
20.如权利要求19所述的装置,其特征在于,所述调整单元用于根据所述第一几何特征和几何特征地图中的第二几何特征对所述车辆的第一位姿进行调整以得到所述第二位姿,包括:
根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系;
根据所述几何特征之间的变换关系对所述车辆的第一位姿进行调整以得到所述第二位姿。
21.如权利要求20所述的装置,其特征在于,所述调整单元用于根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系,包括:
通过第一变换量对所述N个第一几何特征进行变换以得到N个第三几何特征,所述第三几何特征与所述第一几何特征一一对应;
根据所述N个第三几何特征与所述N个第二几何特征之间的第一误差调节所述第一变换量;
在所述第一变换量的迭代次数满足停止迭代条件或所述第一误差满足停止迭代条件时,得到第一目标变换量,所述第一目标变换量为满足所述停止迭代条件时的第一变换量,所述第一目标变换量用于指示所述N个第一几何特征和所述N个第二几何特征之间的变换关系。
22.如权利要求20所述的装置,其特征在于,所述调整单元用于根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定几何特征之间的变换关系,包括:
通过第二变换量对所述N个第二几何特征进行变换以得到N个第四几何特征,所述第四几何特征与所述第二几何特征一一对应;
根据所述第二几何特征对应的所述N个第四几何特征与所述第二几何特征对应的N个第一几何特征之间的第二误差调节所述第二变换量;
在所述第二变换量的迭代次数停止迭代条件或所述第二误差满足停止迭代条件时,得到第二目标变换量,所述第二目标变换量为满足所述停止迭代条件时第二变换量的逆矩阵,所述第二目标变换量用于指示所述N个第一几何特征和所述N个第二几何特征之间的变换关系。
23.如权利要求19所述的装置,其特征在于,所述调整单元具体用于:
根据所述第一位姿,对所述车辆的位姿进行估计以得到多组估计位姿;
根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分;
根据所述多组估计位姿中每一组估计位姿的评分确定所述车辆的第二位姿,其中,所述每一组估计位姿的评分用于指示所述每一组估计位姿与所述第二位姿的接近程度。
24.如权利要求23所述的装置,其特征在于,所述调整单元用于根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
根据所述每一组估计位姿和所述N个第二几何特征,确定所述每一组估计位姿对应的所述第一参数的估计值;
根据所述第一位姿和所述N个第一几何特征,确定所述第一参数的观测值;
根据所述每一组估计位姿对应的第一参数的估计值与所述第一参数的观测值之间的误差确定所述每一组估计位姿的评分。
25.如权利要求24所述的装置,其特征在于,所述第一参数为距离、方位角和高度角中的至少一种;所述每一组估计位姿对应的第一参数的估计值为所述N个第二几何特征分别相对于所述每一组估计位姿下的车辆的第一参数;所述第一参数的观测值为所述N个第一几何特征分别相对于在所述第一位姿下的车辆的第一参数。
26.如权利要求23所述的装置,其特征在于,所述调整单元用于根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
通过所述每一组估计位姿与所述第一位姿之间的变换关系对所述N个第二几何特征分别进行变换得到的所述每一组估计位姿对应的N个第五几何特征,所述第二几何特征与所述第五几何特征一一对应;
根据所述每一组估计位姿对应的N个第五几何特征与所述N个第一几何特征之间的误差确定所述每一组估计位姿的评分。
27.如权利要求23所述的装置,其特征在于,所述调整单元用于根据所述N个第一几何特征和所述几何特征地图中的N个第二几何特征确定所述多组估计位姿的评分,包括:
通过所述每一组估计位姿与所述第一位姿之间的变换关系对所述N个第一几何特征分别进行变换得到的所述每一组估计位姿对应的N个第六几何特征,所述第一几何特征与所述第六几何特征一一对应;
根据所述每一组估计位姿对应的N个第六几何特征与所述N个第二几何特征之间的误差确定所述每一组估计位姿的评分。
28.如权利要求18-27任一项所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于在所述调整单元根据所述N个第一几何特征对所述车辆的第一位姿进行调整以得到所述车辆的第二位姿之前,获取所述车辆的第一位姿。
29.如权利要求28所述的装置,其特征在于,所述第二获取单元具体用于:
根据上一时刻的第二位姿确定所述车辆在所述当前时刻的预测位姿,所述当前时刻的预测位姿为所述定位设备获取的车辆的第一位姿,所述上一时刻为所述当前时刻之前的时刻;或,
根据定位系统确定所述车辆的第一位置以及根据惯性传感器确定所述车辆的第一姿态,所述第一位姿包括所述第一位置和所述第一姿态。
30.如权利要求19-29任一项所述的装置,其特征在于,所述装置还包括:
匹配单元,用于在所述几何特征地图中查找与所述N个第一几何特征相匹配的N个第二几何特征。
31.如权利要求30所述的装置,其特征在于,所述匹配单元具体用于:
从所述几何特征地图的第一区域中查找与所述N个第一几何特征相匹配的N个第二几何特征,所述第一区域为基于所述第一位姿确定的区域,所述第一区域不小于所述车辆的点云采集装置的扫描范围。
32.如权利要求18-31任一项所述的装置,其特征在于,所述第一获取单元具体用于:
识别所述第一点云数据中的N个对象;
基于所述N个对象中每个对象的点云数据确定所述每个对象的第一几何特征。
33.一种定位装置,其特征在于,包括:处理器和存储器,所述存储器用于存储程序,所述处理器执行所述存储器存储的程序,当所述存储器存储的程序被执行时,可实现如权利要求1-17任一项所述的方法。
34.一种车辆,其特征在于,包括:点云采集装置、处理器和存储器,所述处理器通过总线连接到所述点云采集装置,所述点云采集装置用于采集点云数据,所述存储器用于存储程序,所述处理器执行所述存储器存储的程序,当所述存储器存储的程序被执行时,可实现如权利要求1-17任一项所述的方法。
35.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,可实现如权利要求1-17任一项所述的方法。
CN201980055540.0A 2019-09-12 2019-09-12 定位方法、装置及系统 Active CN112639882B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/105810 WO2021046829A1 (zh) 2019-09-12 2019-09-12 定位方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112639882A true CN112639882A (zh) 2021-04-09
CN112639882B CN112639882B (zh) 2021-12-14

Family

ID=74866963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055540.0A Active CN112639882B (zh) 2019-09-12 2019-09-12 定位方法、装置及系统

Country Status (4)

Country Link
US (1) US20220198706A1 (zh)
EP (1) EP3819673A4 (zh)
CN (1) CN112639882B (zh)
WO (1) WO2021046829A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935425A (zh) * 2021-10-21 2022-01-14 中国船舶重工集团公司第七一一研究所 物体识别方法、装置、终端和存储介质
CN114794992A (zh) * 2022-06-07 2022-07-29 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN115859765A (zh) * 2022-09-29 2023-03-28 中山大学 城市扩张的预测方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
WO2021036243A1 (zh) * 2019-08-28 2021-03-04 华为技术有限公司 识别车道的方法、装置及计算设备
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
DE102022203267A1 (de) 2022-04-01 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Lokalisierung eines Fahrzeugs mittels entfernungsbasierter Sensordaten des Fahrzeugs
EP4312054A1 (en) * 2022-07-29 2024-01-31 GM Cruise Holdings LLC Radar point cloud multipath reflection compensation
CN115164855B (zh) * 2022-08-05 2024-09-13 珠海格力智能装备有限公司 一种托盘识别方法、装置、设备及可读存储介质
CN115420290B (zh) * 2022-08-16 2024-05-31 清华大学 非合作目标机动检测方法、装置、设备及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153409A1 (en) * 2007-05-22 2010-02-17 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
CN107430183A (zh) * 2014-12-26 2017-12-01 赫尔环球有限公司 用于装置的定位的几何指纹识别
CN107917712A (zh) * 2017-11-16 2018-04-17 苏州艾吉威机器人有限公司 一种同步定位与地图构建方法及设备
CN108345005A (zh) * 2018-02-22 2018-07-31 重庆大学 巷道掘进机的实时连续自主定位定向系统及导航定位方法
US20190033459A1 (en) * 2017-07-25 2019-01-31 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
CN109297510A (zh) * 2018-09-27 2019-02-01 百度在线网络技术(北京)有限公司 相对位姿标定方法、装置、设备及介质
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
WO2019040997A1 (en) * 2017-09-04 2019-03-07 Commonwealth Scientific And Industrial Research Organisation METHOD AND SYSTEM FOR USE IN REALIZING LOCATION
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN109932713A (zh) * 2019-03-04 2019-06-25 北京旷视科技有限公司 定位方法、装置、计算机设备、可读存储介质和机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103900583B (zh) * 2012-12-25 2018-02-27 联想(北京)有限公司 用于即时定位与地图构建的设备和方法
CN108732603B (zh) * 2017-04-17 2020-07-10 百度在线网络技术(北京)有限公司 用于定位车辆的方法和装置
EP3665507A4 (en) * 2017-09-13 2021-08-11 Velodyne Lidar USA, Inc. MULTIPLE RESOLUTION, SIMULTANEOUS LOCALIZATION AND IMAGING BASED ON 3D LIDAR MEASUREMENTS
CN109059906B (zh) * 2018-06-26 2020-09-29 上海西井信息科技有限公司 车辆定位方法、装置、电子设备、存储介质
CN109901202A (zh) * 2019-03-18 2019-06-18 成都希德瑞光科技有限公司 一种基于点云数据的机载系统位置修正方法
CN110095752B (zh) * 2019-05-07 2021-08-10 百度在线网络技术(北京)有限公司 定位方法、装置、设备和介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153409A1 (en) * 2007-05-22 2010-02-17 Metaio Gmbh Camera pose estimation apparatus and method for augmented reality imaging
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
CN107430183A (zh) * 2014-12-26 2017-12-01 赫尔环球有限公司 用于装置的定位的几何指纹识别
US20190033459A1 (en) * 2017-07-25 2019-01-31 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
WO2019040997A1 (en) * 2017-09-04 2019-03-07 Commonwealth Scientific And Industrial Research Organisation METHOD AND SYSTEM FOR USE IN REALIZING LOCATION
CN107917712A (zh) * 2017-11-16 2018-04-17 苏州艾吉威机器人有限公司 一种同步定位与地图构建方法及设备
CN108345005A (zh) * 2018-02-22 2018-07-31 重庆大学 巷道掘进机的实时连续自主定位定向系统及导航定位方法
CN109297510A (zh) * 2018-09-27 2019-02-01 百度在线网络技术(北京)有限公司 相对位姿标定方法、装置、设备及介质
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN109932713A (zh) * 2019-03-04 2019-06-25 北京旷视科技有限公司 定位方法、装置、计算机设备、可读存储介质和机器人

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FU, R等: "Behavior analysis of distant vehicles using LIDAR point cloud", 《CLUSTER COMPUTING》 *
HUAPIAOXIANG21: "导航和路径规划", 《HTTPS://BLOG.CSDN.NET/HUAPIAOXIANG21/ARTICLE/DETAILS/74931742》 *
廖自威等: "基于几何特征关联的室内扫描匹配SLAM方法", 《导航与控制》 *
张德等: "基于深度学习的目标位姿估计方法综述", 《飞航导弹》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935425A (zh) * 2021-10-21 2022-01-14 中国船舶重工集团公司第七一一研究所 物体识别方法、装置、终端和存储介质
CN114794992A (zh) * 2022-06-07 2022-07-29 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN114794992B (zh) * 2022-06-07 2024-01-09 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN115859765A (zh) * 2022-09-29 2023-03-28 中山大学 城市扩张的预测方法、装置、设备及存储介质
CN115859765B (zh) * 2022-09-29 2023-12-08 中山大学 城市扩张的预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112639882B (zh) 2021-12-14
EP3819673A4 (en) 2021-07-21
WO2021046829A1 (zh) 2021-03-18
US20220198706A1 (en) 2022-06-23
EP3819673A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
CN112639882B (zh) 定位方法、装置及系统
CN110543814B (zh) 一种交通灯的识别方法及装置
CN113792566B (zh) 一种激光点云的处理方法及相关设备
CN112640417B (zh) 匹配关系确定方法及相关装置
CN113168708B (zh) 车道线跟踪方法和装置
CN107246876B (zh) 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN112639883B (zh) 一种相对位姿标定方法及相关装置
WO2017168900A1 (ja) 情報処理装置
WO2022104774A1 (zh) 目标检测方法和装置
CN108089572A (zh) 用于稳健且有效的车辆定位的算法和基础设施
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN113591518B (zh) 一种图像的处理方法、网络的训练方法以及相关设备
WO2022052881A1 (zh) 一种构建地图的方法及计算设备
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
US20230342883A1 (en) Image processing method and apparatus, and storage medium
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
CN113674355A (zh) 一种基于相机与激光雷达的目标识别与定位方法
CN112810603B (zh) 定位方法和相关产品
CN114167404A (zh) 目标跟踪方法及装置
WO2022033089A1 (zh) 确定检测对象的三维信息的方法及装置
CN115131509A (zh) 处理点云数据的方法和装置
CN113066124A (zh) 一种神经网络的训练方法以及相关设备
CN115508841A (zh) 一种路沿检测的方法和装置
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant