CN115082549A - 位姿估计方法及装置、以及相关设备和存储介质 - Google Patents

位姿估计方法及装置、以及相关设备和存储介质 Download PDF

Info

Publication number
CN115082549A
CN115082549A CN202110258991.3A CN202110258991A CN115082549A CN 115082549 A CN115082549 A CN 115082549A CN 202110258991 A CN202110258991 A CN 202110258991A CN 115082549 A CN115082549 A CN 115082549A
Authority
CN
China
Prior art keywords
measurement unit
camera
image
inertial measurement
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110258991.3A
Other languages
English (en)
Inventor
潘亮亮
赵季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202110258991.3A priority Critical patent/CN115082549A/zh
Priority to EP22160198.2A priority patent/EP4057227A1/en
Priority to AU2022201558A priority patent/AU2022201558A1/en
Priority to JP2022035891A priority patent/JP2022140374A/ja
Priority to US17/654,368 priority patent/US20220292711A1/en
Publication of CN115082549A publication Critical patent/CN115082549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了位姿估计方法及装置、以及相关设备和存储介质。在位估计方法中，根据所述图像构建视觉观测模型约束，根据所述惯性数据构建运动模型约束，以及根据所述视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。该位姿估计方法采用视觉观测模型约束和运动模型约束的融合模型提高复杂场景下的位姿估计精度、稳定性和鲁棒性。

Description

位姿估计方法及装置、以及相关设备和存储介质
技术领域
本发明涉及自动驾驶领域，特别涉及位姿估计方法及装置、可移动设备、计算设备和计算机可读存储介质。
背景技术
视觉定位技术用于获取图像拍摄时的相机位置和姿态，在自动驾驶、机器人、无人机、可穿戴设备和VR眼镜等领域有着广泛的应用。在自动驾驶的场景中，在车辆上安装相机，根据相机拍摄的图像结合人工智能算法实现车辆的定位和导航。由于车辆行驶过程中的晃动、颠簸、急刹车、急拐弯等导致相机发生非常严重的抖动、旋转等问题，因此，如何能够获得准确的位姿则成为亟待解决的技术问题。
现有的位姿估计方法例如采用基于相机采集的图像和全球定位数据的融合优化方法。然而，该融合优化方法的精度和稳定性受限于全球定位系统(GPS)的状态，在隧道以及高楼遮挡的场景会出现信号的跳变，直接导致相机位姿估计结果的漂移。进一步地，由于连续帧的图像的相机位姿估计均基于前一帧的估计结果，因此位姿误差将在系统中传递和累计，进一步导致相机位姿估计结果的漂移增大。
发明内容
鉴于上述问题，本发明的目的在于提供位姿估计方法及装置、以及相关设备和存储介质，其中，采用视觉观测模型约束和运动模型约束的融合模型提高复杂场景下的位姿估计精度、稳定性和鲁棒性。
根据本发明的第一方面，提供一种位姿估计方法，包括：接收在对象移动过程中相机采集的多帧图像和惯性测量单元采集的惯性数据，相机和惯性测量单元固定安装于对象上；根据图像构建视觉观测模型约束；根据惯性数据构建运动模型约束；以及根据视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。
根据本发明的第二方面，提供一种位姿估计装置，包括：数据接收模块，用于在对象移动过程中，接收相机采集的多帧图像和惯性测量单元采集的惯性数据，相机和惯性测量单元固定安装于所述对象上；第一构建模块，用于根据图像构建视觉观测模型约束；第二构建模块，用于根据所述惯性数据构建运动模型约束；以及位姿计算模块，根据视觉观测模型约束和运动模型约束得到每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。
根据本发明的第三方面，提供一种可移动设备，包括：上述的位姿估计装置；以及固定安装于可移动设备的相机和惯性测量单元，相机和惯性测量单元分别用于在所述在可移动设备的移动过程中采集多帧图像和采集惯性数据。
根据本发明的第四方面，提供一种计算设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述的方法。
根据本发明的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时实现上述的方法。
本发明实施例提供的位姿估计方法，采用视觉观测模型约束和运动模型约束的融合模型估计位姿。由于惯性测量单元采集的惯性数据基本上不受环境变化的影响，因此，该位姿估计方法可以在环境变化时提供连续的位姿估计结果。由于惯性测量单元的采集帧率高于相机的采集帧率，因此，该位姿估计方法可以提高位姿估计的实时性。在对象的运动过程的复杂场景下，由于隧道以及高楼遮挡，可能短暂缺失全球定位系统的位置信息，或者，由于障碍物遮挡或恶劣天气，可能短暂缺失语义特征。该位姿估计方法基于视觉观测模型约束和运动模型约束的融合模型，可以在复杂场景下获取连续可靠的位姿估计结果，因而可以提高复杂场景下的位姿估计精度、实时性、稳定性和鲁棒性。
在优选的实施例中，全局视觉观测模型约束采用归一化相机坐标系，其中，将世界坐标系转换至IMU坐标系，以及将IMU坐标系转换至相机坐标系。在与运动模型约束一起进行融合优化的情形下，可以进一步提高位姿估计精度。
在优选的实施例中，根据纯视觉的相机位姿预测初始化惯性测量单元的状态变量，然后采用视觉观测模型约束和运动模型约束的融合模型估计位姿。对惯性测量单元的状态变量的初始化可以实现快速解耦，可以进一步加快融合优化的收敛。
在优选的实施例中，视觉观测模型约束包括局部视觉观测模型约束和全局视觉观测模型约束中的至少一种。其中，局部视觉观测模型约束根据多帧图像之间的特征的配准误差构建，全局视觉观测模型约束根据图像和地图的特征的配准误差构建。其中，特征例如可以包括语义特征、几何特征、空间关系特征、形状特征中的至少一种。对于多帧图像之间，特征还可以包括图像的颜色特征、纹理特征中的至少一种。当然不限于此，本领域技术人员可以根据需要加入其他图像特征，本发明对此不作限制。在自动驾驶的应用场景中，车道线是道路的连续特征，基于车道线约束获得连续的位姿估计结果，因而可以进一步提高复杂场景下的位姿估计精度、稳定性和鲁棒性。
本发明实施例提供的位姿估计装置、计算设备和计算机可读存储介质用于执行上述位置估计方法。本发明实施例提供的可移动设备采用该位姿估计方法获得相机位姿，以及根据相机位姿进行设备定位，因而可以提高设备定位的精度、稳定性和鲁棒性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示出在传感器支架安装有传感器的车辆的正视图；
图2示出世界坐标系、图像坐标系与图像平面坐标系的关系示意图；
图3示出根据本发明第一实施例的位姿估计方法的流程图；
图4示出根据本发明第二实施例的位姿估计方法的流程图；
图5示出根据本发明第三实施例的位姿估计方法的流程图；
图6示出图5所示位姿估计方法中状态变量初始化的详细流程图；
图7示出在位姿估计方法中采用的滑动时间窗口算法的原理示意图；
图8示出根据本发明第四实施例的位姿估计装置的示意性框图；以及
图9示出根据本发明第五实施例的计算设备的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在本申请中使用的术语定义如下：
IMU：Inertial Measurement Unit，惯性测量单元，其内部设置有三轴陀螺仪(用于测量三轴偏转角度)和三轴加速度计(用于测量三轴加速度)。
GPS：Global Positioning System，全球定位系统。
GNSS：Global Navigation Satellite System，全球导航卫星系统。
位姿：任意对象的位置和姿态的总称，包含6个自由度，其中包括3个位置自由度和3个朝向自由度，3个朝向自由度通常用俯仰角(Pitch)、翻滚角(Roll)、偏航角(Yaw)来表示，例如，相机、惯性测量单元、车辆分别具有各自的位姿。
状态变量：任意对象与位姿估计相关的运动参数的统称，包括位移、速度、方向、陀螺仪偏置、抖动因子等。
视觉观测：即系统获取的视觉数据，例如，采用相机采集的图像。
运动：即系统获取的运动数据，例如，采用惯性测量单元采集的惯性数据。
惯性数据：惯性测量单元输出的加速度和旋转角数据。
语义特征：在地图和相机采集的图像中检测和识别出的目标特征，例如，在图像中标记的车道线和标牌。
语义地图：已经标记语义特征的高精度地图，例如，在地图中标记车道线实线和虚线、以及标牌等。
残差：在数理统计中表示实际观测值与估计值之间的误差，相机位姿估计表达式的残差进行最小二乘法求解可以获得优化的相机位姿参数。
滑动时间窗口：用于动态更新的固定时间宽度的数据结构，用来存储用于联合优化的每个时间点的状态变量和观测数据。一个滑动时间窗口通常包括该时间宽度内的图像帧和惯性数据。一般地，IMU采集频率高于图像采集帧率，因此一个滑动时间窗口内具有一定数目的图像帧，相邻图像时刻之间具有多个惯性数据。。
在本发明实施例中，涉及到的相机坐标系与车辆坐标系之间的转换关系、相机坐标系与世界坐标系之间的转换关系、相机的图像坐标系与成像平面坐标系之间的转换关系、相机的成像平面坐标系和相机坐标系之间的转换关系，除非特别指出均为现有技术，坐标系之间的转换并不是本发明技术方案的发明点。
在本发明实施例中，以应用于车辆的相机位姿估计方法和装置进行示例说明。然而，本发明的位姿估计方法及装置不限于此，还可以应用于机器人、无人机、可穿戴设备、VR眼镜等任意对象。本申请不对技术方案所应用的场景做限定。
下面结合附图和实施例，对本发明的具体实施例作进一步详细描述。
图1示出在传感器支架上安装有传感器的车辆的正视图。车辆100可以是轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车，或其它车辆。
车辆100可以完全地或部分地以自动驾驶模式运行。车辆100在自动驾驶模式下可以控制其自身，例如车辆100可以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的至少一个其它车辆的预测行为，确定该至少一个其它车辆执行所预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆100自身。在处于自动驾驶模式时，车辆100可以在无人交互的情况下运行。
车辆100可以包括各种车辆系统，例如驱动系统、传感器系统、控制系统、用户接口系统、计算系统以及通信系统。车辆可以包括更多或更少的系统，每个系统可以包括多个单元。进一步地，车辆的每个系统和单元之间可以是互联的。例如，计算系统能够与驱动系统、传感器系统、控制系统、用户接口系统、和通信系统中的一个或多个进行数据通信。从而，车辆100的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。
车辆100的驱动系统可以包括为车辆100提供动能的多个可操作部件(或单元)。在一个实施例中，驱动系统可以包括发动机或电动机、车轮、变速器、电子系统、以及动力(或动力源)。发动机或者电动机可以是如下装置的任意组合：内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中，发动机可以将一种动力源转换为机械能。在一些实施例中，驱动系统可以包括多种发动机或电动机。例如，油电混合车辆可以包括汽油发动机和电动机，也可以包括其它的情况。
车辆100的传感器系统可以包括多个传感器，这些传感器用于感测车辆100的环境和条件的信息。例如，传感器系统可以包括惯性测量单元(IMU)、GNSS(全球导航卫星系统)收发器(例如全球定位系统(GPS)收发器)、雷达(RADAR)、激光测距仪/LIDAR(或其它距离测量装置)、声学传感器、超声波传感器以及相机或图像捕捉装置。传感器系统可以包括用于监控车辆100的多个感应器(例如，氧气(O2)监控器、油量表传感器、发动机油压传感器，以及温度、湿度、压力传感器等等)。还可以配置其它传感器。包括在传感器系统中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆100的位置变化和方向变化。GPS收发器可以是任何用于估计车辆100的地理位置的传感器。出于该目的，GPS收发器可以包括接收器/发送器以提供车辆100相对于地球的位置信息。需要说明的是，GPS是全球导航卫星系统的一个示例，因此，在一些实施例中，GPS收发器可以替换为北斗卫星导航系统收发器或者伽利略卫星导航系统收发器。雷达单元可以使用无线电信号来感应车辆100所在环境中的对象。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆100的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆100所在环境中的物体的传感器。在一个实施例中，激光测距仪/LIDAR单元可以包括激光源、激光扫描仪、以及探测器。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。相机可以包括用于捕捉车辆100所在环境的多个图像的装置。相机可以是静态图像相机或者动态视频相机。
车辆100的计算系统可以包括至少一个处理器(其可以包括至少一个微处理器)，处理器执行存储在非易失性计算机可读介质(例如数据存储装置或存储器)中的处理指令(即机器可执行指令)。计算系统也可以是多个计算装置，这些计算装置分布式地控制车辆的部件或者系统。在一些实施例中，存储器中可以包含被处理器执行来实现车辆的各种功能的处理指令(例如，程序逻辑)。在一个实施例中，计算系统能够与驱动系统、传感器系统、控制系统、用户接口系统、和/或通信系统进行数据通信。计算系统中的接口用于促进计算系统和驱动系统、传感器系统、控制系统、用户接口系统、以及通信系统之间的数据通信。
存储器还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制驱动系统、传感器系统、或控制系统或用户接口系统的指令。除存储处理指令之外，存储器可以存储多种信息或数据，例如图像处理参数、道路地图、和路径信息。在车辆100以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆100和计算150所使用。
在一些实施例中，车辆100的计算系统可以实现自动驾驶控制的某些或全部功能，例如，可以利用驻留在一个或多个存储器(或数据存储装置)中的程序代码指令来实现并由一个或多个处理器执行。计算系统可以根据从各种车辆系统(例如，驱动系统，传感器系统，以及控制系统)接收到的输入，或者从用户接口系统接收到的输入，来控制车辆100的功能。例如，计算系统可以使用来自控制系统的输入来控制转向单元，来避开由传感器系统检测到的障碍物。在一个实施例中，计算系统可以用来控制车辆100及其系统的多个方面。
在另一些实施例中，车辆100包括独立的自动驾驶控制单元，例如至少部分地使用各种专用电路逻辑，各种处理器，各种现场可编程门阵列(“FPGA”)，各种专用集成电路(“ASIC”)，各种实时控制器和硬件来实现。
在车辆100的驾驶室上方固定安装传感器支架110。传感器支架110的安装位置不限于驾驶室上方，还可以安装在驾驶室两侧、发动机盖上方、前保险杠等任意方便采集数据的位置。传感器支架110的数量不限于一个，还可以在车辆100的不同位置固定安装多个传感器支架。在传感器支架上设置传感器系统的多个传感器，例如固定安装相机111和惯性测量单元112。相机111和惯性测量单元112可以安装在传感器支架的同一位置或不同位置上。优选地，相机111和惯性测量单元112例如堆叠在传感器110上，以使相机111的位姿与惯性测量单元112的位姿大致一致，从而在融合的位姿优化中可以基于惯性测量单元112的状态变量获得相机111的位姿参数。在驾驶室内设置GPS接收器，用于估计车辆110的位置信息，以及基于位置信息粗略地预估相机位姿。
在上述的实施例中，描述了车辆100包括各种部件(或单元)，这些部件(或单元)中的一个或多个可以搭载到车辆100上或单独关联到车辆100上。例如，计算系统可以部分或者全部地独立于车辆100存在。从而，车辆100能够以分离的或者集成的设备单元的形式而存在。构成车辆100的设备单元之间可以以有线通信或者无线通信的方式实现相互通信。在一些实施例中，可以将附加部件或单元添加到各个系统或从系统中移除一个或多个以上的部件或单元。
图2示出世界坐标系、IMU坐标系、相机坐标系与图像平面坐标系的关系示意图。在下文描述的位姿估计方法中涉及多个坐标系的坐标转换。
在自动驾驶的应用场景中，相机安装在车辆的传感器支架上，在车辆移动过程中，相机位置随之变化，如图1所示。世界坐标系是绝对坐标系，相机坐标系是以相机位置为原点的坐标系，IMU坐标系是以惯性测量单元位置为原点的坐标系。位于环境中的物体的3D坐标都可以采用世界坐标系、相机坐标系和IMU坐标系表示。
物体在世界坐标系中的3D坐标pw，可以采用旋转矩阵
Figure BDA0002968876280000091
和平移向量
Figure BDA0002968876280000092
转换至IMU坐标系的3D坐标pb，如式(1)所示。
Figure BDA0002968876280000093
物体在IMU坐标系中的3D坐标pb，可以采用旋转矩阵
Figure BDA0002968876280000094
和平移向量
Figure BDA0002968876280000095
转换至相机坐标系的3D坐标pc，如式(2)所示。
Figure BDA0002968876280000096
图像平面坐标系是相机拍摄的图像平面的二维坐标系。位于环境中的任何物体经由相机在图像平面上成像，将3D坐标投影成2D坐标。相机坐标系的原点O与成像平面坐标系的原点O'在同一轴(Z轴)上，且OO'为相机的焦距。任何物体在相机坐标系的3D坐标pc可以采用相机内参K转换至图像平面坐标系的2D坐标puv，如式(3)所示。
puv＝K*pc (3)
其中，相机内参K是相机的特性参数，在相机出厂时即已确定。
在本发明实施例中，语义地图的语义特征的特征点表示为世界坐标系中的3D坐标，经过两次坐标转换，然后投影至相机图像的图像平面以计算配准误差。第一次坐标转换为从世界坐标系转换至IMU坐标系，第二次坐标转换为从IMU坐标系转换至相机坐标系。因此，该坐标转换方法获得归一化相机坐标系，不仅包含相机的位姿变化，而且包含惯性测量单元的位姿变化，允许视觉观测模型和运动模型的融合优化。
图3示出根据本发明第一实施例的位姿估计方法的流程图。参见图1，在对象(如车辆)的传感器支架上固定安装相机和惯性测量单元，该位姿估计方法用于在对象(如车辆)的行驶过程中估计每帧图像时刻对应的相机位姿。应当理解，下文中以车辆举例，但实际上该车辆可以为任意对象，如任意可移动设备，包括但不限于轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车，或其它车辆。
在步骤S01中，接收在车辆移动过程中相机采集的多帧图像和惯性测量单元采集的惯性数据。
在车辆移动过程中，相机和惯性测量单元分别以各自的帧率采集图像和惯性数据。惯性数据例如是惯性测量单元输出的加速度和旋转角。惯性测量单元的采集帧率高于相机的采集帧率，在同一个时间段中例如采集m帧图像和n组惯性数据，其中，n>m。因此，在相邻图像帧之间可以获得多组惯性数据。
在本发明实施例的位姿估计方法中构建滑动时间窗口，对连续帧的传感器数据进行处理。滑动时间窗口例如时间宽度固定，包括多帧图像中的预定数目帧的图像和相邻图像时刻之间的惯性数据(参见图7)。在每个滑动时间窗口中输出每个图像帧对应的相机位姿估计结果。滑动时间窗口沿着时间序列滑动，从而可以递归地维护对状态变量全概率密度的估计和更新。
在步骤S02中，根据图像构建全局视觉观测模型约束。全局视觉观测模型约束用于表征图像与地图之间的特征的配准误差。
这里，地图只要能够提供点的空间位置信息即可，如点云地图、语义地图等，本发明对地图的类型不作具体限定。一般地，可以预先建立语义地图，该语义地图提供语义特征。对于自动驾驶而言，语义信息是指那些能让无人车更好地理解行车规则、感知路面交通状况、规划行车路线，且被涵盖在高精度地图里的多层次、富维度的信息。语义特征是在地图中检测和识别出的目标特征。在高精度地图上标记车道线、标牌、路灯杆、红绿灯、汽车、隔离带、路边树木、蓝天等诸多不同对象及概念，从而形成语义地图。
正如本领域已知的那样，语义地图的建立例如包括数据采集和数据处理。利用装载有高精度全球定位系统、惯性测量单元以及激光雷达的采集车进行场景的数据采集。对采集数据进行预处理，融合惯性测量单元的惯性数据、以及激光雷达的点云帧间配准结果，进行全局的位姿图优化，生成个全局一致的点云地图。对点云地图进行语义特征的提取，从点云地图中提取出对应的车道线(包括实线和虚线)、交通信号灯以及灯杆等语义元素。最后，将这些语义元素的点云进行语义标记，结合其3D坐标，参数化到对应的语义地图中。语义地图以东北天(ENU)坐标系作为参考系。语义地图的建立并不是本发明技术方案的发明点，在本申请中仅仅进行示例说明而不对此进行任何限制。
进一步地，对相机采集的图像进行预处理，提取图像中的语义特征和动态目标，以及对图像中的语义特征进行矢量化。
在自动驾驶的应用场景中，车道线是道路的连续特征，基于车道线约束有利于获得连续的位姿估计结果。在该实施例中，车道线实线和虚线作为优选的语义特征。然而，本发明不限于此，在全局视觉观测模型约束中，可以采用任意的图像特征，不仅可以包括语义特征，而且可以包括非语义特征(这些非语义特征能够提供对应的描述符)。语义特征包括车道线和/或标志牌，其中车道线包括虚线车道线和/实线车道线，标志牌包括但不限于路灯杆、红绿灯、垃圾桶、广告牌、电线杆等。非语义特征包括但不限于几何特征、空间关系特征、形状特征等。
动态目标的掩膜用于后续与语义地图的数据关联以及异常点/外点的剔除。例如，在语义地图上选取语义特征点后，如果某个点在图像上的投影点被动态目标挡住了，则将相应的语义特征点去掉。
进一步地，计算滑动时间窗口内的相机图像与语义地图之间的语义特征的配准误差。例如，在该步骤中分别计算车道线实线的配准误差和车道线虚线的配准误差。具体而言，可以确定地图中的特征在图像中的投影特征和对应的真实特征，并根据投影特征和真实特征计算配准误差。该投影特征例如为车道线虚线点/实线点的投影点，对应的真实特征可以识别出的车道线虚线点或识别出的车道线实线。此时，可以确定地图和图像中各车道线虚线的各角点，然后将地图中的角点投影到图像中，将投影点和图像中所确定的角点真值进行匹配，计算对应的配准误差。应当理解的是，可以将地图中的特征投影到图像中得到投影点，也可以把图像中的特征投影到地图中，本发明对此不作限制。
基于此，可根据滑动时间窗口内的预定数目帧的图像和地图之间的特征的配准误差构建全局视觉观测模型约束，该预定数目帧可以是滑动时间窗口的全部帧或部分帧，本发明对此不作限制。
在语义地图中，车道线实线为连续线，将车道线实线截断以获得车道线实线采样的多个像素点p，对像素点p进行坐标变换从世界坐标系投影至相机图像中，以及计算像素点与相机图像中的最近车道线实线的距离作为配准误差，从而获得车道线实线投影因子
Figure BDA0002968876280000121
如式(4)所示:
Figure BDA0002968876280000122
其中，
Figure BDA0002968876280000123
表示地图中采样的车道线实线特征点中第i个样本在世界坐标系中的坐标；
Figure BDA0002968876280000124
和
Figure BDA0002968876280000125
分别表示第k时刻中世界坐标系至IMU坐标系的旋转矩阵和平移向量；
Figure BDA0002968876280000126
和
Figure BDA0002968876280000127
分别表示IMU坐标系至相机坐标系的旋转矩阵和平移向量，也记作IMU到相机的外参；
Figure BDA0002968876280000128
和
Figure BDA0002968876280000129
分别表示传感器支架抖动的旋转矩阵和平移向量；函数project(·)为针孔相机投影模型，用于将特征点从相机坐标系投影到图像的图像平面；函数dist_img表示车道线实线的距离函数；函数dist(p,dist_img)表示像素点p到最近的车道线实线的距离。应当理解的是，第k时刻可以为图像采集时刻，也即第k帧图像的采集时刻。
上述的函数dist_img表示基于相机图像变换生成的数字图像(参见G.J.C.V.G.Borgefors and I.Processing,"Distance transformations in digitalimages"，vol.34，1986)。采用以下方式获得函数dist_img：在相机图像中，将车道线实线所在位置的像素值设为0，其他位置像素值的设为1，得到关于车道线实线的语义图seg_mg；对语义图像seg_mg进行距离变换获得函数dist_img，其中，每个像素值就表示seg_img中对应位置的像素到到当前图像(seg_img)最近零像素的像素距离。
在语义地图中，车道线虚线采样为多个像素点p(如采样为4个角点)，对像素点p进行坐标变换从世界坐标系投影至相机图像中，以及计算像素点与相机图像中的相应像素点的距离作为配准误差，从而获得车道线虚线投影因子
Figure BDA00029688762800001210
如式(5)所示:
Figure BDA0002968876280000131
其中，pi_uv表示相机像素中采样的车道线虚线特征点中第i个样本的像素坐标，
Figure BDA0002968876280000132
表示地图中采样的车道线虚线特征点中第i个样本在世界坐标系中的坐标；
Figure BDA0002968876280000133
和
Figure BDA0002968876280000134
分别表示第k时刻中世界坐标系至IMU坐标系的旋转矩阵和平移向量；
Figure BDA0002968876280000135
和
Figure BDA0002968876280000136
分别表示IMU坐标系至相机坐标系的旋转矩阵和平移向量；
Figure BDA0002968876280000137
和
Figure BDA0002968876280000138
分别表示传感器支架抖动的旋转矩阵和平移向量；函数project(·)为针孔相机投影模型，用于将特征点从相机坐标系投影到图像的图像平面。
在上述的全局视觉观测模型约束中，不论是车道线实线还是车道线虚线采样的特征点均经过两次坐标转换，然后才投影至相机图像的图像平面以计算配准误差。第一次坐标转换为从世界坐标系转换至IMU坐标系，第二次坐标转换为从IMU坐标系转换至相机坐标系。因此，上述全局视觉观测模型约束采用了归一化相机坐标系，不仅包含相机的位姿变化，而且包含惯性测量单元的位姿变化。由于全局视觉观测模型约束采用归一化相机坐标系，因此，全局视觉观测模型约束的车道线实线投影因子和车道线虚线投影因子，可以与下文的运动模型约束中的IMU预积分因子一起进行融合优化。
在步骤S03中，根据惯性数据构建运动模型约束。运动模型约束用于表征惯性测量单元的预积分量的残差。
已知滑动时间窗口内包括多帧图像中的预定数目帧的图像和相邻图像时刻之间的惯性数据，步骤S03具体可包括：根据滑动时间窗口内的惯性数据构建运动模型约束。这里，运动模型约束包括惯性数据所应符合的运动约束，具体包括以下至少一种：惯性数据在连续图像帧间的预积分因子约束、惯性数据的输入噪声约束、惯性数据的测量值偏差约束。例如，原始IMU的输入噪声符合高斯白噪声分布，原始IMU的测量值偏差符合随机游走。当然，本领域技术人员也可以根据需要设置其他约束条件，本发明对此不作限制。
在该步骤中，对惯性测量单元采集的惯性数据进行预处理，惯性数据例如是包含偏置(bias)和噪声(noise)的加速度和角速度。对相邻图像帧间的一组惯性数采用数值积分(中值积分或者欧拉积分)方法进行传播，并通过预积分方法该组惯性数据进行处理，获得不依赖于绝对位姿的预积分量(分别表示位移的改变量Δp、速度的改变量Δv以及旋转的改变量Δq)。
预积分因子可根据以下方法计算：对惯性数据进行处理，以获得惯性测量单元在当前图像时刻的状态变量的预积分量；以及根据预积分量和惯性测量单元在前一图像时刻的状态变量，计算状态变量的残差，作为预积分因子。
进一步地，计算滑动时间窗口内的惯性测量单元的预积分量的实际观测值与估计值之间的误差(即，残差)，从而获得预积分因子
Figure BDA0002968876280000141
如式(6)所示：
Figure BDA0002968876280000142
其中，Δp表示位移的改变量，Δv表示速度的改变量，Δq表示旋转的改变量；
Figure BDA0002968876280000143
表示第k时刻中世界坐标系至IMU坐标系的旋转矩阵；
Figure BDA0002968876280000144
表示第k时刻中相机坐标系至世界坐标系的平移向量；
Figure BDA0002968876280000145
表示第k+1时刻中相机坐标系至世界坐标系的平移向量；
Figure BDA0002968876280000146
表示第k时刻中相机坐标系至世界坐标系的速度向量；
Figure BDA0002968876280000147
表示第k+1时刻中相机坐标系至世界坐标系的速度向量；
Figure BDA0002968876280000148
表示第k时刻中相机坐标系至世界坐标系的旋转角；
Figure BDA0002968876280000149
表示第k+1时刻中相机坐标系至世界坐标系的旋转角；Δt表示从前一图像帧至当前惯性采集帧之间的时间；g表示重力矢量；
Figure BDA00029688762800001410
表示第k时刻的加速度计偏置；
Figure BDA00029688762800001411
表示第k+1时刻的加速度计偏置；
Figure BDA00029688762800001412
表示第k时刻的陀螺仪偏置；
Figure BDA00029688762800001413
表示第k+1时刻的陀螺仪偏置。
在步骤S04中，根据视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者车辆的位姿。
本发明基于多种约束，计算满足该多种约束条件时的优化状态，本领域技术人员可以根据需要自行选定基于约束条件求解状态变量的计算方式，本发明对此不作限制。例如，采用目标优化方法，优选地可采用最小二乘法求解，将该多种约束条件进行直接加和，或者加权求和，并进行最小二乘法求解。
在该步骤中，根据视觉观测模型约束和运动模型约束构建惯性测量单元的状态变量的表达式，如式(7)所示。
Figure BDA0002968876280000151
其中，X*表示状态变量；argmin表示后验概率取最小值的变量集；rp(X)表示上一时刻边缘化的先验项；
Figure BDA0002968876280000152
表示惯性测量单元预积分因子，即惯性测量单元的状态变量预测值的残差。
Figure BDA0002968876280000153
表示车道线实线投影因子，即滑动时间窗口中第k时刻，视觉车道线实线约束的残差，该实线投影因子中的Zi表示第i个车道线采样点(也即采样的车道线实线点中的第i个样本)的视觉观测，该Zi也可标记为
Figure BDA0002968876280000154
Figure BDA0002968876280000155
表示车道线虚线投影因子，即滑动时间窗口中第时刻，视觉车道线虚线端点约束的几何残差，该虚线投影因子中的Zi表示第i个车道线虚线点(也即采样的车道线虚线点中的第i个样本)的视觉观测，该Zi也可标记为
Figure BDA0002968876280000156
Σd和Σs分别表示车道线实线点和虚线点的观测协方差；
Figure BDA0002968876280000157
表示预积分的协方差。
进一步地，对表达式进行最小二乘法求解以获得惯性测量单元的状态变量。惯性测量单元的状态变量包括以下至少一种：惯性测量单元的位移、速度、方向、陀螺仪偏置、抖动因子。
该状态变量还可以包括相机的抖动因子，如相机支架的抖动因子。对于第k时刻，状态变量包括
Figure BDA0002968876280000158
分别表示IMU的位移、速度、方向、加速度计和陀螺仪的偏置、IMU的抖动、相机支架的抖动。具体地：k时刻IMU的位姿为
Figure BDA0002968876280000161
Figure BDA0002968876280000162
表示相机支架与IMU之间的抖动，
Figure BDA0002968876280000163
分别表示IMU的偏差和速度。相机的位姿
Figure BDA0002968876280000164
其中
Figure BDA0002968876280000165
表示IMU到ENU的位姿，
Figure BDA0002968876280000166
表示相机到IMU的外参。因此，已知IMU的状态变量和预定的坐标转换关系，即可确定出IMU位姿、相机位姿和车辆位姿。
本发明计算求得的状态变量包括惯性测量单元在滑动时间窗口内每个图像时刻(也即每一图像帧)的状态变量。在滑动时间窗口内，根据视觉观测模型约束和运动模型约束，不仅可以获得当前图像时刻(即当前帧图像)的状态变量，而且可以更新滑动时间窗口内的在前图像时刻(即在前帧图像)的状态变量。
根据一个实施例，参见图7，虚线框代表一个滑动窗口，一个滑动时间窗口内有多个待优化的状态变量，每个状态变量对应一帧图像，已知状态变量的先验，每帧图像有待优化的状态变量，相邻图像之间具有IMU的预积分量，用于构建运动模型约束。另外还有语义地图和图像之间的视觉特征因子，以及传感器支架的抖动因子，用于构建视觉观测模型约束。给定一系列的传感器输入、历史观测Z和状态Xk，基于这两种观测模型约束，通过建立贝叶斯网络模型，可计算状态变量的后验概率
Figure BDA0002968876280000167
其中，k代表第k帧图像，l代表第l个传感器(如相机)，L代表传感器总数，P(X0)、P(Xk|Xk-1,Uk)、P(Zkl|Xk)分别表示状态变量的先验概率、时序的运动模型的条件概率，全局的观测模型的后验概率。
一般地，当计算得到每个当前帧图像的状态变量后，可以根据先验知识获取的相邻帧图像之间的状态变量的预积分量，计算出下一帧图像的预估状态变量。例如，将当前帧图像的状态变量加上相邻帧图像的状态变量的预积分量，得到该预估状态变量。若滑动时间窗口内共有m帧图像，该下一帧图像为第m帧图像，则可根据前m-1帧图像中已有的状态变量，和该第m帧图像的预估状态变量，以及与该m帧图像相关的视觉观测模型约束和运动模型约束，通过联合优化，得到该下一帧图像的优化状态变量，并再次更新前m-1帧图像的状态变量。
进一步地，步骤S04可包括：根据视觉观测模型约束和运动模型约束得到惯性测量单元的状态变量；根据惯性测量单元的状态变量计算每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。具体地，根据惯性测量单元的状态变量计算惯性测量单元的位姿，以及根据惯性测量单元与相机的坐标转换关系计算相位位姿。基于对象的状态变量计算位姿在本领域是已知的，并不是本发明技术方案的发明点，在本申请中不对此进行任何限制。
在本发明第一实施例的位姿估计方法中，采用全局视觉观测模型约束和运动模型约束的融合模型估计位姿。由于惯性测量单元采集的惯性数据基本上不受环境变化的影响，因此，该位姿估计方法可以在环境变化时提供连续的位姿估计结果。由于惯性测量单元的采集帧率高于相机的采集帧率，因此，该位姿估计方法可以提高位姿估计的实时性。在对象的运动过程的复杂场景下，由于隧道以及高楼遮挡，可能短暂缺失全球定位系统的位置信息，或者，由于障碍物遮挡或恶劣天气，可能短暂缺失语义特征。该位姿估计方法基于视觉观测模型约束和运动模型约束的融合模型，可以在复杂场景下获取连续可靠的位姿估计结果，因而可以提高复杂场景下的位姿估计精度、实时性、稳定性和鲁棒性。
图4示出根据本发明第二实施例的位姿估计方法的流程图。与第一实施例相比，根据第二实施例的位姿估计方法还包括附加的局部视觉观测模型约束，可以进一步加快融合优化的收敛。
在步骤S11中，接收在车辆移动过程中相机采集的多帧图像和惯性测量单元采集的惯性数据。该步骤与图3所示的步骤S01相同，在此不再详述。
在步骤S12中，根据图像构建全局视觉观测模型约束。该步骤与图3所示的步骤S02相同，在此不再详述。
在步骤S13中，根据图像构建局部视觉观测模型约束。
在该步骤中，对相机采集的图像进行预处理，提取图像中的语义特征和动态目标，以及对图像中的语义特征进行矢量化。
在局部视觉观测模型约束中，可以采用任意的图像特征，包括但不限于语义特征、几何特征、颜色特征、纹理特征、空间关系特征、形状特征等，语义特征包括车道线和/或标志牌，其中车道线包括虚线车道线和/实线车道线，标志牌包括但不限于路灯杆、红绿灯、垃圾桶、广告牌、电线杆等。
动态目标的掩膜用于后续与语义地图的数据关联以及异常点/外点的剔除。例如，在语义地图上选取语义特征点后，如果某个点在图像上的投影点被动态目标挡住了，则将相应的语义特征点去掉。
进一步地，根据滑动时间窗口内的预定数目帧的图像之间的特征的配准误差构建局部视觉观测模型约束，该预定数目帧可以包括滑窗内的每一相邻图像帧，或者部分间隔图像帧，本发明对此不作限制。例如，计算滑动时间窗口内的相邻帧相机图像之间的特征的配准误差。例如，在该步骤中计算车道线语义特征的配准误差。
在相机图像中，对图像特征采样以获得多个像素点p，然后，对像素点p进行坐标变换，从第k-1时刻相机坐标系转换至第k时刻相机坐标系后投影(即，重投影)至相机图像中，以及计算像素点与相机图像中的相应像素点的距离作为配准误差，从而获得局部观测的特征投影因子
Figure BDA0002968876280000181
如式(8)所示:
Figure BDA0002968876280000182
其中，pkpi表示第i个特征点在第k-1时刻相机坐标系下的3D坐标；
Figure BDA0002968876280000183
和
Figure BDA0002968876280000184
分别表示第k-1时刻相机位姿到k时刻相机位姿的相对旋转矩阵和相对平移向量；pi_uv表示相机像素中的第i个特征点的像素坐标；函数project(·)为针孔相机投影模型，用于将特征点从相机坐标系投影到图像的图像平面。
在步骤S14中，根据惯性数据构建运动模型约束。该步骤与图3所示的步骤S03相同，在此不再详述。
在步骤S15中，根据视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者车辆的位姿。
在该步骤中，根据视觉观测模型约束和运动模型约束构建惯性测量单元的状态变量的表达式，如式(9)所示。
Figure BDA0002968876280000191
其中，X*表示状态变量；argmin表示后验概率取最小值的变量集；rp(X)表示上一时刻边缘化的先验项；
Figure BDA0002968876280000192
表示惯性测量单元预积分因子，即惯性测量单元的状态变量预测值的残差。
Figure BDA0002968876280000193
表示局部观测的特征投影因子，即在滑动时间窗口中第k时刻，局部视觉观测模型约束的残差，该特征投影因子中的Zi表示第i个特征采样点的视觉观测，该Zi也可标记为
Figure BDA0002968876280000194
Figure BDA0002968876280000195
表示全局观测的车道线实线投影因子，即滑动时间窗口中第k时刻，视觉车道线实线约束的残差，该实线投影因子中的Zi表示第i个车道线采样点的视觉观测。
Figure BDA0002968876280000196
表示全局观测的车道线虚线投影因子，即滑动时间窗口中第k时刻，视觉车道线虚线端点约束的几何残差，该虚线投影因子中的Zi表示第i个车道线虚线点的视觉观测；Σkp表示连续帧特征点约束的观测协方差。Σd和Σs分别表示车道线实线点和虚线点的观测协方差；
Figure BDA0002968876280000197
表示预积分的协方差。
进一步地，对表达式进行最小二乘法求解以获得惯性测量单元的状态变量。惯性测量单元的状态变量包括以下至少一种：惯性测量单元的位移、速度、方向、陀螺仪偏置、抖动因子、以及相机的抖动因子(如相机支架的抖动因子)。在滑动时间窗口内，不仅可以获得当前图像帧的状态变量，而且可以更新在前图像帧的状态变量。
进一步地，根据惯性测量单元的状态变量计算惯性测量单元的位姿，以及根据惯性测量单元与相机的坐标转换关系计算相位位姿。基于对象的状态变量计算位姿在本领域是已知的，并不是本发明技术方案的发明点，在本申请中不对此进行任何限制。
在本发明第二实施例的位姿估计方法中，采用全局视觉观测模型约束、局部视觉观测模型和运动模型约束的融合模型估计位姿。该位姿估计方法基于视觉观测模型约束和运动模型约束的融合模型，可以在复杂场景下获取连续可靠的位姿估计结果，采用附加的局部视觉观测模型约束可以进一步加快融合优化的收敛，因而可以提高复杂场景下的位姿估计精度、实时性、稳定性和鲁棒性。
图5示出根据本发明第三实施例的位姿估计方法的流程图。与第一实施例相比，根据第三实施例的位姿估计方法还包括附加的状态变量初始化步骤，可以进一步加快融合优化的收敛。
在步骤S21中，接收在车辆移动过程中相机采集的多帧图像和惯性测量单元采集的惯性数据。该步骤与图3所示的步骤S01相同，在此不再详述。
在步骤S22中，根据纯视觉的相机位姿预测初始化惯性测量单元的状态变量。
该步骤包括多个子步骤S221至S224，如图6所示。
在步骤S221中，根据全球定位系统的位置信息确定当前的地图。
在步骤S222中，根据地图和图像中特征的配准约束，计算图像帧对应的相机位姿。该步骤例如包括构建全局视觉观测模型约束的表达式，以及对表达式进行最小二乘法求解以获得相机位姿的预测值。
在步骤S223中，判断连续帧的累积相机位姿的数量是否大于预定数目。如果累积相机位姿的数量大于预定数目，则继续执行步骤S224。如果累积相机位姿的数量小于等于预定数目，则返回步骤S222获取下一图像帧的相机位姿。该预定数目可以为滑动时间窗口的帧数目，如4帧，当然不限于此。即当累积够一个滑动窗口的相机位姿时，即可进行状态变量的初始化。
在步骤S224中，在所采集的图像帧达到预定数目时，根据相机位姿计算惯性测量单元的状态变量。例如，该步骤包括计算惯性测量单元的状态变量的初始化值，具体包括根据多个图像帧的相机位姿计算惯性测量单元的初始陀螺仪偏置、初始加速度、初始速度中的至少一个。可见，本发明在所采集的图像帧未达到预定数目之前，对该连续帧的图像进行纯视觉的相机位姿预测，以得到每帧图像时刻的相机位姿。而在所采集的图像帧达到预定数目时，计算惯性测量单元的状态变量的初始化值，以对当前帧和后续帧根据惯性测量单元和相机进行融合的相机位姿预测。在计算惯性测量单元的初始陀螺仪偏置时，计算滑动时间窗口内相邻图像帧间的相对位姿，根据相对位姿的旋转改变量和惯性数据在相邻图像帧间的角速度增量获得初始陀螺仪偏置。具体地，已知滑动窗口中累积的相机历史位姿的轨迹
Figure BDA0002968876280000211
Figure BDA0002968876280000212
则可以计算相邻相机帧间的相对位姿
Figure BDA0002968876280000213
利用
Figure BDA0002968876280000214
的旋转改变量Δqc以及相邻相机帧间IMU预积分的角速度增量Δq的一致性约束，将连续多帧的约束进行累加，构建优化问题，求解出陀螺仪的偏置bg。
在计算惯性测量单元的初始加速度时，根据滑动时间窗口内多帧图像的相机位姿轨迹和惯性数据在相邻图像帧间的位移增量获得初始加速度。具体地，利用滑动窗口中累积的相机位姿的历史轨迹与预积分的位移增量Δp的尺度一致性来构建约束，求解重力加速度g.
在计算惯性测量单元的初始速度时，根据初始陀螺仪偏置和初始加速度获得初始速度。具体地，获得陀螺仪偏置以及初始重力之后，可由下式(10)计算初始速度，i＝k表示滑动窗口的最后一帧(即当前帧)：
Figure BDA0002968876280000215
其中，vi-1和vi其分别代表第i-1帧和第i帧的速度，Ri和Ri-1分别是第i帧的旋转矩阵，
Figure BDA0002968876280000216
和
Figure BDA0002968876280000217
分别是第i帧和第i-1帧图像的陀螺仪的原始观测量。本领域技术人员应当理解，本发明中i代表一种观测样本的顺序，当观测样本为图像时，i代表第i帧；当观测样本为图像中的特征点时，i代表第i个特征点，如图像的实线第i个采样点、虚线第i个采样点等。
在步骤S23中，根据图像构建全局视觉观测模型约束。该步骤与图3所示的步骤S02相同，在此不再详述。
在步骤S24中，根据惯性数据构建运动模型约束。该步骤与图3所示的步骤S03相同，在此不再详述。
在步骤S25中，根据视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者车辆的位姿。该步骤与图3所示的步骤S04相同，在此不再详述。
在本发明第三实施例的位姿估计方法中，根据纯视觉的相机位姿预测初始化惯性测量单元的状态变量，然后采用全局视觉观测模型约束和运动模型约束的融合模型估计位姿。由于惯性测量单元的特性，惯性测量单元的多个状态变量耦合在一起。在该实施例中，在初始化阶段无须对惯性测量单元采集的惯性数据进行处理，而是累积多帧图像的相机位姿，根据相机位姿计算惯性测量单元的状态变量。对惯性测量单元的状态变量的初始化可以实现快速解耦，可以进一步加快融合优化的收敛。初始化阶段依赖于纯视觉的相机位姿预测，在复杂场景下容易受到环境变化的影响，因此需要累积多帧图像的相机位姿进行初始化。在初始化后的融合优化阶段则可以在复杂场景下获取连续可靠的位姿估计结果，因而可以提高复杂场景下的位姿估计精度、实时性、稳定性和鲁棒性。
图8示出根据本发明第四实施例的位姿估计装置的示意性框图。图8示出的位姿估计装置仅仅是一个示例，不应对本公开实施例的功能和使用范围构成任何限制。
位姿估计装置10例如作为可移动设备的内部系统，用于实现上述实施例的位姿估计方法。在可移动设备上还固定安装有多个传感器，例如，相机111，惯性测量单元112、以及全球定位系统113。
位姿估计装置10包括数据接收模块11、第一构建模块12、第二构建模块13、以及位姿计算模块14。数据接收模块11与多个传感器连接，用于在移动过程中，接收相机111采集的多帧图像和惯性测量单元112采集的惯性数据。第一构建模块12与数据接收模块11相连接，用于根据所述图像构建视觉观测模型约束。例如，视觉观测模型约束包括全局观测的车道线实线投影因子、全局观测的车道线虚线投影因子、以及局部观测的特征投影因子中的至少一个。第二构建模块13与数据接收模块11连接，用于根据惯性数据构建运动模型约束。例如，运动模型约束包括惯性测量单元的预积分因子，即惯性测量单元的状态变量预测值的残差。位姿计算模块14与第一构建模块12和第二构建模块13相连接，用于根据视觉观测模型约束和运动模型约束构建惯性测量单元的状态变量的表达式，以及对表达式进行最小二乘法求解以获得惯性测量单元的状态变量，进一步地，根据惯性测量单元的状态变量得到每帧图像时刻对应的相机、惯性测量单元或者可移动设备的位姿。
图9示出根据本发明第五实施例的计算设备的示意性框图。图9示出的计算设备仅仅是一个示例，不应对本公开实施例的功能和使用范围构成任何限制。
计算设备20包括通过总线连接的处理器21、存储器22和输入输出设备23。存储器22包括只读存储器(ROM)和随机访问存储器(RAM)，存储器22内存储有执行系统功能所需的各种计算机指令和数据，处理器21从存储器22中读取各种计算机指令以执行各种适当的动作和处理。输入输出计算设备23包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。存储器22还存储有计算机指令以实现本公开实施例的位姿估计方法相关的操作。
相应地，本公开实施例提供计算设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述的位姿估计方法。
相应地，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器运行时实现上述的位姿估计方法。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (22)

1.一种位姿估计方法，包括：
接收在对象移动过程中相机采集的多帧图像和惯性测量单元采集的惯性数据，所述相机和惯性测量单元固定安装于所述对象上；
根据所述图像构建视觉观测模型约束；
根据所述惯性数据构建运动模型约束；以及
根据所述视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。
2.根据权利要求1所述的方法，其中，根据所述图像构建视觉观测模型约束，包括：
根据所述多帧图像之间的特征的配准误差构建局部视觉观测模型约束；和/或
根据所述图像和地图之间的特征的配准误差构建全局视觉观测模型约束。
3.根据权利要求1所述的方法，其中，根据所述惯性数据构建运动模型约束，包括：
构建滑动时间窗口，所述滑动时间窗口内包括所述多帧图像中的预定数目帧的图像和相邻图像时刻之间的惯性数据；
根据所述滑动时间窗口内的惯性数据构建运动模型约束。
4.根据权利要求3所述的方法，其中，根据所述图像构建视觉观测模型约束，包括：
根据所述滑动时间窗口内的预定数目帧的图像之间的特征的配准误差构建局部视觉观测模型约束；和/或
根据所述滑动时间窗口内的预定数目帧的图像和地图之间的特征的配准误差构建全局视觉观测模型约束。
5.根据权利要求1所述的方法，其中，所述图像和地图之间的配准误差采用以下方式计算：
确定所述地图中的特征在所述图像中的投影特征和对应的真实特征；
根据所述投影特征和真实特征计算所述配准误差。
6.根据权利要求5所述的方法，其中，所述特征包括车道线和标志牌中的至少一种。
7.根据权利要求1所述的方法，其中，所述运动模型约束包括所述惯性数据所应符合的运动约束，具体包括以下至少一种：
所述惯性数据在连续图像帧间的预积分因子约束、所述惯性数据的输入噪声约束、所述惯性数据的测量值偏差约束。
8.根据权利要求7所述的方法，其中，预积分因子采用以下方式计算：
对所述惯性数据进行处理，以获得所述惯性测量单元在当前图像时刻的状态变量的预积分量；以及
根据所述预积分量和所述惯性测量单元在前一图像时刻的状态变量，计算所述状态变量的残差，作为所述预积分因子。
9.根据权利要求1-8中任一项所述的方法，其中，根据所述视觉观测模型约束和运动模型约束计算每帧图像时刻对应的相机、惯性测量单元或者对象位姿，包括：
根据所述视觉观测模型约束和运动模型约束得到所述惯性测量单元的状态变量；
根据所述惯性测量单元的状态变量计算每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。
10.根据权利要求9所述的方法，其中，所述状态变量包括以下至少一种：所述惯性测量单元的位移、速度、方向、陀螺仪偏置、抖动因子。
11.根据权利要求9所述的方法，其中，所述状态变量包括所述惯性测量单元在所述滑动时间窗口内每个图像时刻的状态变量。
12.根据权利要求9所述的方法，其中，根据所述视觉观测模型约束和运动模型约束得到所述惯性测量单元的状态变量，包括：
根据所述视觉观测模型约束和运动模型约束，计算所述惯性测量单元在所述滑动时间窗口内的当前图像时刻的状态变量，并更新所述惯性测量单元在所述滑动时间窗口内的在前图像时刻的状态变量。
13.根据权利要求9所述的方法，其中，所述视觉观测模型约束、运动模型约束与所述状态变量之间的关系构建为如下表达式：
Figure FDA0002968876270000031
其中，x*表示状态变量；argmin表示后验概率取最小值的变量集；rp(X)表示上一时刻边缘化的先验项；
Figure FDA0002968876270000032
表示惯性测量单元预积分因子，即惯性测量单元的状态变量预测值的残差；
Figure FDA0002968876270000033
表示全局观测的车道线实线投影因子，即滑动时间窗口中第k时刻，视觉车道线实线约束的残差，该实线投影因子中的Zi表示第i个车道线采样点的视觉观测；
Figure FDA0002968876270000034
表示全局观测的车道线虚线投影因子，即滑动时间窗口中第时刻，视觉车道线虚线端点约束的几何残差，该虚线投影因子中的Zi表示第i个车道线虚线点的视觉观测；Σd和Σs分别表示车道线实线点和虚线点的观测协方差；
Figure FDA0002968876270000035
表示预积分的协方差。
14.根据权利要求9所述的方法，还包括：
在所采集的图像帧未达到预定数目之前，对该连续帧的图像进行纯视觉的相机位姿预测，以得到每帧图像时刻的相机位姿；以及
在所采集的图像帧达到预定数目时，计算所述惯性测量单元的状态变量的初始化值，以根据所述惯性测量单元和所述相机进行融合的相机位姿预测。
15.根据权利要求14所述的方法，其中，所述纯视觉的相机位姿预测包括：
根据全球定位系统的位置信息确定当前的地图；
根据所述地图和所述图像中特征的配准约束，计算每帧图像时刻所对应的位姿。
16.根据权利要求14所述的方法，其中，所述状态变量的初始化值基于所述预定数目的图像帧的相机位姿计算得到。
17.根据权利要求14所述的方法，其中，计算所述惯性测量单元的状态变量的初始化值，包括：
计算所述滑动时间窗口内相邻图像帧间的相对位姿；
根据所述相对位姿的旋转改变量和所述惯性数据在相邻图像帧间的角速度增量，计算所述惯性测量单元的初始陀螺仪偏置。
18.根据权利要求17所述的方法，其中，计算所述惯性测量单元的状态变量的初始化值，包括：
根据所述滑动时间窗口内多帧图像的相机位姿轨迹和所述惯性数据在相邻图像帧间的位移增量，计算所述惯性测量单元的初始加速度；
根据所述初始陀螺仪偏置和初始加速度计算所述惯性测量单元的初始速度。
19.一种位姿估计装置，包括：
数据接收模块，用于在对象移动过程中，接收相机采集的多帧图像和惯性测量单元采集的惯性数据，所述相机和惯性测量单元固定安装于所述对象上；
第一构建模块，用于根据所述图像构建视觉观测模型约束；
第二构建模块，用于根据所述惯性数据构建运动模型约束；以及
位姿计算模块，根据所述视觉观测模型约束和运动模型约束得到每帧图像时刻对应的相机、惯性测量单元或者对象的位姿。
20.一种可移动设备，包括：
如权利要求19所述的位姿估计装置；以及
固定安装于所述可移动设备的相机和惯性测量单元，所述相机和惯性测量单元分别用于在所述在可移动设备的移动过程中采集多帧图像和采集惯性数据。
21.一种计算设备，包括存储器，以及与所述存储器通信连接的一个或多个处理器；
所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现如权利要求1～18任一项所述的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时实现权利要求1-18任一项所述的方法。
CN202110258991.3A 2021-03-10 2021-03-10 位姿估计方法及装置、以及相关设备和存储介质 Pending CN115082549A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110258991.3A CN115082549A (zh) 2021-03-10 2021-03-10 位姿估计方法及装置、以及相关设备和存储介质
EP22160198.2A EP4057227A1 (en) 2021-03-10 2022-03-04 Pose estimation of inertial measurement unit and camera mounted on a moving object
AU2022201558A AU2022201558A1 (en) 2021-03-10 2022-03-07 Pose estimation method and device, related equipment and storage medium
JP2022035891A JP2022140374A (ja) 2021-03-10 2022-03-09 姿勢推定方法及び装置、並びに関連デバイス及び記憶媒体
US17/654,368 US20220292711A1 (en) 2021-03-10 2022-03-10 Pose estimation method and device, related equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110258991.3A CN115082549A (zh) 2021-03-10 2021-03-10 位姿估计方法及装置、以及相关设备和存储介质

Publications (1)

Publication Number Publication Date
CN115082549A true CN115082549A (zh) 2022-09-20

Family

ID=80628514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110258991.3A Pending CN115082549A (zh) 2021-03-10 2021-03-10 位姿估计方法及装置、以及相关设备和存储介质

Country Status (5)

Country Link
US (1) US20220292711A1 (zh)
EP (1) EP4057227A1 (zh)
JP (1) JP2022140374A (zh)
CN (1) CN115082549A (zh)
AU (1) AU2022201558A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022535253A (ja) * 2019-06-04 2022-08-05 スリーエム イノベイティブ プロパティズ カンパニー 行路に基づくマッピング及びルーティングの方法及びシステム
CN114549632A (zh) * 2021-09-14 2022-05-27 北京小米移动软件有限公司 车辆定位方法及装置
CN114018274B (zh) * 2021-11-18 2024-03-26 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN115793001B (zh) * 2023-02-07 2023-05-16 立得空间信息技术股份有限公司 一种基于惯导复用的视觉、惯导、卫导融合定位方法
CN116222583B (zh) * 2023-05-10 2023-07-21 北京航空航天大学 一种基于滑动窗口的协同导航快速计算方法
CN116358573B (zh) * 2023-05-31 2023-08-29 小米汽车科技有限公司 地图建立方法、装置、存储介质以及车辆
CN116499455B (zh) * 2023-06-19 2023-11-14 煤炭科学研究总院有限公司 定位方法及装置
CN116642501B (zh) * 2023-07-25 2023-09-29 齐鲁空天信息研究院 一种惯性为核心的车道线辅助定位的多源融合方法
CN117146810B (zh) * 2023-08-29 2024-02-13 广东精天科技有限公司 基于卫星导航与mems惯导的组合定位系统
CN117252880B (zh) * 2023-11-17 2024-01-16 宝德华南(深圳)热能系统有限公司 一种新能源汽车的adas综合评测系统
CN117474983B (zh) * 2023-12-27 2024-03-12 广东力创信息技术有限公司 一种基于光视联动的预警方法以及相关装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
CN111792034B (zh) * 2015-05-23 2022-06-24 深圳市大疆创新科技有限公司 使用传感器融合估计可移动物体的状态信息的方法及系统
US10964030B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
CN110494863B (zh) * 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间
CN108615247B (zh) * 2018-04-27 2021-09-14 深圳市腾讯计算机系统有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US11940277B2 (en) * 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
CN112567201B (zh) * 2018-08-21 2024-04-16 深圳市大疆创新科技有限公司 距离测量方法以及设备
WO2022077296A1 (zh) * 2020-10-14 2022-04-21 深圳市大疆创新科技有限公司 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
KR20220122287A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 제공 장치의 포즈 결정 방법 및 장치

Also Published As

Publication number Publication date
EP4057227A1 (en) 2022-09-14
US20220292711A1 (en) 2022-09-15
JP2022140374A (ja) 2022-09-26
AU2022201558A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
EP4057227A1 (en) Pose estimation of inertial measurement unit and camera mounted on a moving object
CN113945206B (zh) 一种基于多传感器融合的定位方法及装置
Ramezani et al. The newer college dataset: Handheld lidar, inertial and vision with ground truth
US11243081B2 (en) Slam assisted INS
CN112640417B (zh) 匹配关系确定方法及相关装置
CN109887057B (zh) 生成高精度地图的方法和装置
US20190219700A1 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
US20200364883A1 (en) Localization of a mobile unit by means of a multi-hypothesis kalman filter method
AU2012314085A1 (en) Localising a vehicle along a route
CN115690146A (zh) 一种多目标跟踪方法、装置、计算设备和存储介质
KR20140144921A (ko) 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
CN112378397B (zh) 无人机跟踪目标的方法、装置及无人机
CN113240813B (zh) 三维点云信息确定方法及装置
JP2023525927A (ja) 車両位置推定システム及び方法
US11460302B2 (en) Terrestrial observation device having location determination functionality
RU195749U1 (ru) Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования
CN112380933B (zh) 无人机识别目标的方法、装置及无人机
CN117554989A (zh) 视觉融合激光雷达slam定位导航的方法及其无人机系统
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
WO2020223868A1 (zh) 地面信息处理方法、装置和无人驾驶车辆
Abdelaziz et al. LiDAR/Visual SLAM-Aided Vehicular Inertial Navigation System for GNSS-Denied Environments
Gujarathi et al. Design and Development of Autonomous Delivery Robot
US20240119857A1 (en) Systems and methods for training a scene simulator using real and simulated agent data
Hensley et al. Off-Road Navigation With End-to-end Imitation Learning for Continuously Parameterized Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination