CN114252099A - 一种智能车辆多传感器融合自标定方法及系统 - Google Patents

一种智能车辆多传感器融合自标定方法及系统 Download PDF

Info

Publication number
CN114252099A
CN114252099A CN202111474977.3A CN202111474977A CN114252099A CN 114252099 A CN114252099 A CN 114252099A CN 202111474977 A CN202111474977 A CN 202111474977A CN 114252099 A CN114252099 A CN 114252099A
Authority
CN
China
Prior art keywords
imu
track
gnss
binocular camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111474977.3A
Other languages
English (en)
Other versions
CN114252099B (zh
Inventor
严运兵
田良宇
刘梦奇
夏旎阳
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202111474977.3A priority Critical patent/CN114252099B/zh
Publication of CN114252099A publication Critical patent/CN114252099A/zh
Application granted granted Critical
Publication of CN114252099B publication Critical patent/CN114252099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
    • G01S19/235—Calibration of receiver components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种智能车辆多传感器融合自标定方法及系统，该方法包括：S100：接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息；S200：推算双目相机轨迹；S300：推算IMU轨迹；S400：获取GNSS轨迹；S500：将双目相机、IMU、GNSS的轨迹进行时间同步；S600：利用时间同步后的轨迹求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂；S700：利用步骤S600计算出的联合外参以及杆臂进行更新。本发明可解决车辆行驶过程中因碰撞、振动等因素造成的双目相机、IMU和GNSS接收机位置关系的改变问题，具有标定速度快、标定精确、且操作简单等优点。

Description

一种智能车辆多传感器融合自标定方法及系统
技术领域
本发明属于自动驾驶汽车技术领域，尤其涉及一种智能车辆多传感器融合自标定方法及系统。
背景技术
随着智能汽车技术的发展，感知技术逐渐成为目前智能汽车领域的核心问题，决定着汽车对自身的定位和对环境的感知是否准确。可靠的汽车位置和姿态等定位信息是实现自动驾驶汽车导航功能的前提和基础。多传感器融合技术通过对多种传感器及其观测信息的合理支配与使用，结合各传感器的特性进行取长补短，用来提高整个系统的定位精度和可靠性。在多传感器的融合中，总是涉及到各传感器之间的坐标转换问题，首先要解决的是传感器之间的外参标定问题。
双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。双目相机模拟了人类视觉处理景物的方式，它基于视差原理并利用成像设备从不同角度获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。惯性传感器(IMU)是可以检测加速度与旋转运动的传感器。惯性传感器是高频传感器，在短时间内可以提供稳定的实时位置更新，但是其定位误差会随运行时间增长而累积。GNSS是常用的星基无线电导航系统，没有累积误差，但在城市环境中，其定位精度受到环境影响，甚至可能无法定位。获取双目相机、IMU和GNSS接收机之间的位置关系称为联合标定。
传感器标定是智能驾驶的基本需求，良好的标定是多传感器融合的基础。通过标定三个传感器的坐标系之间的相互转换关系，可以将三个传感器的观测信息统一到同一坐标系下，为后续的多传感器信息融合做好准备。但已完成联合标定的车辆，其在行程过程中会因碰撞、振动等造成传感器位置关系的改变，所以需要定期自标定。
发明内容
为了解决车辆行驶过程中因碰撞、振动等因素造成双目相机、IMU和GNSS接收机位置关系改变的问题，本发明的提供了一种智能车辆多传感器融合自标定方法及系统。
本发明的思路为：在车辆行驶过程中采集各传感器的轨迹，并对轨迹做时间对齐处理，获得若干同步的轨迹点，通过这些轨迹点对原有标定结果进行修正。
本发明的技术方案为：
一种智能车辆多传感器融合自标定方法，包括：
S100：接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息；
S200：根据双目相机输出的信息推算双目相机轨迹；
S300：通过对IMU输出的信息进行定位解算，推算IMU轨迹；
S400：将GNSS传感器输出的信息转换到当地水平坐标系，得GNSS轨迹；
S500：将双目相机、IMU、GNSS传感器的轨迹进行时间同步；
S600：利用时间同步后的轨迹求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂；本步骤进一步包括：
定义双目相机、IMU、GNSS轨迹的质心位置pc、pj、pg：
Figure BDA0003391217120000021
其中，pi c、pi j、pi g分别为双目相机、IMU、GNSS轨迹中时间点i对应的轨迹点，i＝1,2，…n，n表示时间点数量；
S610：求解相机和IMU的联合外参；具体包括：对双目相机、GNSS轨迹中每个轨迹点做去质心处理；用去质心后的轨迹点构建最小二乘问题，计算旋转矩阵
Figure BDA0003391217120000031
利用旋转矩阵计算双目相机坐标系到IMU坐标系的平移矩阵tic＝pi-Rpc；其中，
Figure BDA0003391217120000032
和
Figure BDA0003391217120000033
分别为
Figure BDA0003391217120000034
去质心处理后的轨迹点；
S620：求解GNSS天线和IMU的杆臂tjg＝pg-pj；
S700：利用步骤S600计算出的联合外参以及杆臂对原来的联合外参以及杆臂进行更新。
在一些具体实施方式中，步骤S200进一步包括：
S210：利用双目相机的内参，对双目相机输出信息进行去畸变和双目矫正；
S220：采用图像金字塔从图像信息中提取ORB特征；
S230：根据ORB特征将左眼图像和右眼图像进行双目立体匹配，获得立体关键点；
S240：将立体关键点输入视觉SLAM系统中，推算出双目相机的轨迹。
在一些具体实施方式中，步骤S300进一步包括：
S310：初始对准，获取速度、位置和姿态矩阵的初值；
S320：利用陀螺仪输出数据对IMU做姿态解算并更新，得到IMU的姿态信息；
S330：对加速度计输出的比力信息做坐标变换，将IMU坐标系下的比力信息变换到当地水平坐标系下；
S340：坐标变换后的比力信息经一次积分得到速度信息，二次积分得到位置信息，位置信息即IMU轨迹。
上述智能车辆多传感器融合自标定方法对应的系统，包括：
接收模块，用来接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息；
双目相机轨迹推算模块，用来根据双目相机输出的信息推算双目相机轨迹；
IMU轨迹推算模块，用来通过对IMU输出的信息进行定位解算，推算IMU轨迹；
GNSS轨迹获取模块，用来将GNSS传感器输出的信息转换到当地水平坐标系，得GNSS轨迹；
时间同步模块，用来将双目相机、IMU、GNSS传感器的轨迹进行时间同步；
联合标定模块，用来利用时间同步后的轨迹求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂；
更新模块，用来利用联合标定模块计算出的联合外参以及杆臂对原来的联合外参以及杆臂进行更新；
其中，所述标定模块又进一步包括相机和IMU联合标定子模块以及GNSS和IMU联合标定子模块；
所述相机和IMU联合标定子模块，用来求解相机和IMU的联合外参；具体包括：对双目相机、GNSS轨迹中每个轨迹点做去质心处理；用去质心后的轨迹点构建最小二乘问题，计算旋转矩阵
Figure BDA0003391217120000041
利用旋转矩阵计算双目相机坐标系到IMU坐标系的平移矩阵tic＝pi-Rpc；其中，
Figure BDA0003391217120000042
和
Figure BDA0003391217120000043
分别为
Figure BDA0003391217120000044
去质心处理后的轨迹点；
所述GNSS和IMU联合标定子模块，用来求解GNSS天线和IMU的杆臂tjg＝pg-pj；
双目相机、IMU、GNSS轨迹的质心位置pc、pj、pg：
Figure BDA0003391217120000051
其中，
Figure BDA0003391217120000052
分别为双目相机、IMU、GNSS轨迹中时间点i对应的轨迹点，i＝1,2，…n，n表示时间点数量。
在一些具体实施方式中，双目相机轨迹推算模块进一步包括子模块：
矫正子模块，用来利用双目相机的内参，对双目相机输出信息进行去畸变和双目矫正；
ORB特征提取子模块，用来采用图像金字塔从图像信息中提取ORB特征；
双目立体匹配子模块，用来根据ORB特征将左眼图像和右眼图像进行双目立体匹配，获得立体关键点；
双目相机轨迹推算子模块，用来将立体关键点输入视觉SLAM系统中，推算出双目相机的轨迹。
在一些具体实施方式中，IMU轨迹推算模块进一步包括子模块：
对准子模块，用来初始对准，获取速度、位置和姿态矩阵的初值；
姿态解算子模块，用来利用陀螺仪输出数据对IMU做姿态解算并更新，得到IMU的姿态信息；
坐标编号模块，用来对加速度计输出的比力信息做坐标变换，将IMU坐标系下的比力信息变换到当地水平坐标系下；
IMU轨迹推算子模块，用来将坐标变换后的比力信息经一次积分得到速度信息，二次积分得到位置信息，位置信息即IMU轨迹。
本发明的特点和有益效果如下：
1、本发明提供的实时智能自标定方法及系统，是为了解决车辆行驶过程中因碰撞、振动等因素造成的双目相机、IMU和GNSS接收机位置关系的改变问题。本发明自标定方法及系统具有标定速度快、标定精确、且操作简单等优点。
2、相比于其他标定方法，本发明使用车辆行驶过程中的运动轨迹作为自标定所需的特征，具有良好的跨模态鲁棒性。且本发明实现简单，不需选取特定的标定场景，也不需要复杂的人工操作。
附图说明
图1为本发明具体实施方式的流程图；
图2为本发明具体实施方式中双目相机的轨迹推算流程图；
图3为本发明具体实施方式中IMU轨迹推算原理示意图；
图4为具体实施方式中所采用图像金字塔示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1，所示为本发明具体实施方式的流程图，具体步骤如下：
S100：接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息。其中，双目相机输出的信息为图像信息；IMU输出的信息为姿态角和加速度信息；GNSS传感器输出的信息为位置信息。
S200：根据双目相机输出信息推算双目相机的轨迹。
本步骤中，利用双目相机的内参，对双目相机输出的原始图像信息进行去畸变和双目矫正；将矫正后的图像输入视觉SLAM系统，得到双目相机的轨迹。
本步骤轨迹推算的流程图见图2，具体包括如下子步骤：
S210：对原始图像进行去畸变和双目矫正，原始图像包括对左眼图像和右眼图像。
首先，将原始图像信息的三维空间点投影到归一化图像平面，设归一化坐标为[x,y]T，对归一化图像平面上的点进行去畸变，见下式(1)。
Figure BDA0003391217120000071
式(1)中，[xdistorted,ydistorted]T表示去畸变后点的归一化坐标；k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，径向畸变系数和切向畸变系数一般由双目相机厂家提供；
Figure BDA0003391217120000072
再将去畸变后的点通过双目相机的内参矩阵投影到像素平面，得到该点在图像上的正确位置，见式(2)。
Figure BDA0003391217120000073
式(2)中，[u,v]T为去畸变后的点投影到像素平面的像素坐标；fx和fy分别表示图像x方向和y方向的焦距，单位是像素；[cx,cy]T为相机的主点坐标。焦距和主点坐标一般由双目相机厂家提供。
S220：对去畸变和双目矫正后的图像提取ORB特征。
本具体实施方式中采用图像金字塔提取图像的ORB特征。图像金字塔是计算机视觉中常用的一种处理方法，其示意图见图4所示。金字塔底层(即第0层)是原始图像，每往上一层，就对图像进行一个固定倍率的缩放，以此获得不同分辨率的图像，较小的图像可看成是远处看过来的场景。
本具体实施方式中采用8层图像金字塔提取FAST(Features from AcceleratedSegment Test)角点，尺度因子为1.2。根据图像面积均匀分配每层提取的角点数量，并使用四叉树均匀分布角点。再根据保留FAST的角点计算方向和ORB特征描述子。
S230：根据ORB特征将左眼图像和右眼图像进行双目立体匹配。
在右眼图像中搜索每个左眼ORB的匹配点，再利用左眼ORB的坐标和其右眼匹配点的水平坐标生成立体关键点。
S240：根据立体关键点推算双目相机轨迹。
将得到的立体关键点输入视觉SLAM(simultaneous localization and mapping，同时定位与建图技术)系统中，得到双目相机的轨迹。
S300：通过对IMU输出的信息进行定位解算，推算IMU轨迹。
在IMU初始对准完成后，进行定位解算来推算IMU轨迹，轨迹推算原理见图3，具体步骤如下：
S310：初始对准，获取速度、位置和姿态矩阵的初值。
S320：利用陀螺仪输出数据对IMU做姿态解算并更新，得到IMU的姿态信息。
S330：对加速度计输出的比力信息做坐标变换，将IMU坐标系下的比力信息变换到当地水平坐标系下。当地水平坐标系又称之为地理坐标系，坐标原点为GNSS接收机初始位置，X轴指东，Y轴指北，Z轴指天顶。
S340：坐标变换后的比力信息经一次积分得到速度信息，二次积分得到位置信息，位置信息即IMU轨迹。
S400：将GNSS传感器输出的位置信息转换到当地水平坐标系下，得GNSS轨迹。
S500：利用时间差值法，将双目相机、IMU、GNSS传感器轨迹的时间戳对齐，进行时间同步。
S600：利用时间同步后的轨迹求解传感器间的位置关系，具体的，求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂。相机和IMU的联合外参包括相机和IMU坐标系间的旋转矩阵和平移矩阵，GNSS天线和IMU的杆臂即GNSS和IMU坐标系间的平移矩阵。
本步骤的具体子步骤如下：
已知一组时间同步的轨迹点，将双目相机的轨迹记为
Figure BDA0003391217120000091
GNSS传感器的轨迹记为
Figure BDA0003391217120000092
IMU的轨迹记为
Figure BDA0003391217120000093
其中，n表示时间点数量，
Figure BDA0003391217120000094
表示双目相机轨迹中时间点i对应的轨迹点，
Figure BDA0003391217120000095
表示GNSS轨迹中时间点i对应的轨迹点，
Figure BDA0003391217120000096
表示IMU轨迹中时间点i对应的轨迹点，i＝1,2，…n。
定义双目相机、GNSS、IMU的轨迹的质心位置。质心位置的计算见式(3)，其中，pc、pj、pg分别为双目相机、IMU、GNSS的轨迹的质心位置：
Figure BDA0003391217120000097
S610：利用双目相机和IMU轨迹的质心位置pc、pg求解相机和IMU的联合外参。
首先，对双目相机、IMU轨迹中每个轨迹点做去质心处理：
Figure BDA0003391217120000098
再构建最小二乘问题计算旋转矩阵R*：
Figure BDA0003391217120000099
式(5)中，|| ||表示取向量的模。
公式(5)表示，当
Figure BDA0003391217120000101
取最小值时，将此时R的取值赋予旋转矩阵R*。
最后计算相机和IMU坐标系间的平移矩阵tjc：
tjc＝pj-Rpc (6)
式(6)中，R即旋转矩阵。
S630：利用GNSS和IMU轨迹的质心位置求解GNSS天线和IMU的杆臂。
杆臂即GNSS和IMU坐标系间的平移矩阵tjg，计算见下式(7)：
tjg＝pg-pj (7)
S700：修正标定结果，即采用步骤S600计算出的相机和IMU的联合外参、以及GNSS天线和IMU的杆臂进行更新。
上述实施例所述是用以具体说明本发明，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。

Claims (6)

1.一种智能车辆多传感器融合自标定方法，其特征是，包括：
S100：接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息；
S200：根据双目相机输出的信息推算双目相机轨迹；
S300：通过对IMU输出的信息进行定位解算，推算IMU轨迹；
S400：将GNSS传感器输出的信息转换到当地水平坐标系，得GNSS轨迹；
S500：将双目相机、IMU、GNSS传感器的轨迹进行时间同步；
S600：利用时间同步后的轨迹求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂；本步骤进一步包括：
定义双目相机、IMU、GNSS轨迹的质心位置pc、pj、pg：
Figure FDA0003391217110000011
其中，
Figure FDA0003391217110000012
分别为双目相机、IMU、GNSS轨迹中时间点i对应的轨迹点，i＝1,2，…n，n表示时间点数量；
S610：求解相机和IMU的联合外参；具体包括：对双目相机、GNSS轨迹中每个轨迹点做去质心处理；用去质心后的轨迹点构建最小二乘问题，计算旋转矩阵
Figure FDA0003391217110000013
利用旋转矩阵计算双目相机坐标系到IMU坐标系的平移矩阵tic＝pi-Rpc；其中，
Figure FDA0003391217110000014
和
Figure FDA0003391217110000015
分别为
Figure FDA0003391217110000016
去质心处理后的轨迹点；
S620：求解GNSS天线和IMU的杆臂tjg＝pg-pj；
S700：利用步骤S600计算出的联合外参以及杆臂对原来的联合外参以及杆臂进行更新。
2.如权利要求1所述的智能车辆多传感器融合自标定方法，其特征是：
步骤S200进一步包括：
S210：利用双目相机的内参，对双目相机输出信息进行去畸变和双目矫正；
S220：采用图像金字塔从图像信息中提取ORB特征；
S230：根据ORB特征将左眼图像和右眼图像进行双目立体匹配，获得立体关键点；
S240：将立体关键点输入视觉SLAM系统中，推算出双目相机的轨迹。
3.如权利要求1所述的智能车辆多传感器融合自标定方法，其特征是：
步骤S300进一步包括：
S310：初始对准，获取速度、位置和姿态矩阵的初值；
S320：利用陀螺仪输出数据对IMU做姿态解算并更新，得到IMU的姿态信息；
S330：对加速度计输出的比力信息做坐标变换，将IMU坐标系下的比力信息变换到当地水平坐标系下；
S340：坐标变换后的比力信息经一次积分得到速度信息，二次积分得到位置信息，位置信息即IMU轨迹。
4.一种智能车辆多传感器融合自标定系统，其特征是，包括：
接收模块，用来接收车辆行驶过程中同步采集的一段连续时间内双目相机、IMU和GNSS传感器输出的信息；
双目相机轨迹推算模块，用来根据双目相机输出的信息推算双目相机轨迹；
IMU轨迹推算模块，用来通过对IMU输出的信息进行定位解算，推算IMU轨迹；
GNSS轨迹获取模块，用来将GNSS传感器输出的信息转换到当地水平坐标系，得GNSS轨迹；
时间同步模块，用来将双目相机、IMU、GNSS传感器的轨迹进行时间同步；
联合标定模块，用来利用时间同步后的轨迹求解相机和IMU的联合外参以及GNSS天线和IMU的杆臂；
更新模块，用来利用联合标定模块计算出的联合外参以及杆臂对原来的联合外参以及杆臂进行更新；
其中，所述标定模块又进一步包括相机和IMU联合标定子模块以及GNSS和IMU联合标定子模块；
所述相机和IMU联合标定子模块，用来求解相机和IMU的联合外参；具体包括：对双目相机、GNSS轨迹中每个轨迹点做去质心处理；用去质心后的轨迹点构建最小二乘问题，计算旋转矩阵
Figure FDA0003391217110000031
利用旋转矩阵计算双目相机坐标系到IMU坐标系的平移矩阵tic＝pi-Rpc；其中，
Figure FDA0003391217110000032
和
Figure FDA0003391217110000033
分别为
Figure FDA0003391217110000034
去质心处理后的轨迹点；
所述GNSS和IMU联合标定子模块，用来求解GNSS天线和IMU的杆臂tjg＝pg-pj；
双目相机、IMU、GNSS轨迹的质心位置pc、pj、pg：
Figure FDA0003391217110000035
其中，
Figure FDA0003391217110000036
分别为双目相机、IMU、GNSS轨迹中时间点i对应的轨迹点，i＝1,2，…n，n表示时间点数量。
5.如权利要求4所述的智能车辆多传感器融合自标定系统，其特征是：
所述双目相机轨迹推算模块进一步包括子模块：
矫正子模块，用来利用双目相机的内参，对双目相机输出信息进行去畸变和双目矫正；
ORB特征提取子模块，用来采用图像金字塔从图像信息中提取ORB特征；
双目立体匹配子模块，用来根据ORB特征将左眼图像和右眼图像进行双目立体匹配，获得立体关键点；
双目相机轨迹推算子模块，用来将立体关键点输入视觉SLAM系统中，推算出双目相机的轨迹。
6.如权利要求4所述的智能车辆多传感器融合自标定系统，其特征是：
所述IMU轨迹推算模块进一步包括子模块：
对准子模块，用来初始对准，获取速度、位置和姿态矩阵的初值；
姿态解算子模块，用来利用陀螺仪输出数据对IMU做姿态解算并更新，得到IMU的姿态信息；
坐标编号模块，用来对加速度计输出的比力信息做坐标变换，将IMU坐标系下的比力信息变换到当地水平坐标系下；
IMU轨迹推算子模块，用来将坐标变换后的比力信息经一次积分得到速度信息，二次积分得到位置信息，位置信息即IMU轨迹。
CN202111474977.3A 2021-12-03 2021-12-03 一种智能车辆多传感器融合自标定方法及系统 Active CN114252099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111474977.3A CN114252099B (zh) 2021-12-03 2021-12-03 一种智能车辆多传感器融合自标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111474977.3A CN114252099B (zh) 2021-12-03 2021-12-03 一种智能车辆多传感器融合自标定方法及系统

Publications (2)

Publication Number Publication Date
CN114252099A true CN114252099A (zh) 2022-03-29
CN114252099B CN114252099B (zh) 2024-02-23

Family

ID=80791680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111474977.3A Active CN114252099B (zh) 2021-12-03 2021-12-03 一种智能车辆多传感器融合自标定方法及系统

Country Status (1)

Country Link
CN (1) CN114252099B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523929A (zh) * 2022-09-20 2022-12-27 北京四维远见信息技术有限公司 一种基于slam的车载组合导航方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN113091771A (zh) * 2021-04-13 2021-07-09 清华大学 一种激光雷达-相机-惯导联合标定方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张少将: "基于多传感器信息融合的智能车定位导航系统研究", 《中国优秀硕士学位论文全文数据库（电子期刊）工程科技Ⅱ辑》, no. 1, pages 035 - 490 *
许凤麟: "基于室内移动机器人同时定位的多传感器在线标定", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》, no. 9, pages 138 - 272 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115523929A (zh) * 2022-09-20 2022-12-27 北京四维远见信息技术有限公司 一种基于slam的车载组合导航方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114252099B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110849362B (zh) 一种基于车载惯性的激光雷达与视觉组合导航算法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
CN110517303B (zh) 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN110361010B (zh) 一种基于占据栅格地图且结合imu的移动机器人定位方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN102322859B (zh) 一种航空惯性导航测量系统及姿态校正方法
CN111065043B (zh) 一种基于车路通信的隧道内车辆融合定位系统及方法
US7149346B2 (en) Three-dimensional database generating system and method for generating three-dimensional database
CN116184430B (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
CN112461228B (zh) 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN110986888A (zh) 一种航空摄影一体化方法
CN114485654A (zh) 一种基于高精地图的多传感器融合定位方法及装置
CN112762945A (zh) 高精度地图全要素采集设备的信息同步方法、系统及装置
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN114252099B (zh) 一种智能车辆多传感器融合自标定方法及系统
Eugster et al. Integrated georeferencing of stereo image sequences captured with a stereovision mobile mapping system–approaches and practical results
CN113959437A (zh) 一种用于移动测量设备的测量方法及系统
CN116026323A (zh) 一种用于发动机油加注机定位与区域防错方法
CN107705272A (zh) 一种空间影像的高精度几何校正方法
CN117073720A (zh) 弱环境与弱动作控制下快速视觉惯性标定与初始化方法及设备
CN115979258A (zh) 一种实时高精度定位定姿方法、装置与系统
CN114509071B (zh) 一种风洞试验模型姿态测量方法
CN115930948A (zh) 一种果园机器人融合定位方法
CN115372947A (zh) 针对自动驾驶车辆惯导及激光雷达的标定方法及标定系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220329

Assignee: Wuhan Pusheng Technology Co.,Ltd.

Assignor: WUHAN University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2024980002938

Denomination of invention: A method and system for intelligent vehicle multi-sensor fusion self calibration

Granted publication date: 20240223

License type: Common License

Record date: 20240319