CN114199240A - 无gps信号下二维码、激光雷达与imu融合定位系统及方法 - Google Patents
无gps信号下二维码、激光雷达与imu融合定位系统及方法 Download PDFInfo
- Publication number
- CN114199240A CN114199240A CN202210148657.7A CN202210148657A CN114199240A CN 114199240 A CN114199240 A CN 114199240A CN 202210148657 A CN202210148657 A CN 202210148657A CN 114199240 A CN114199240 A CN 114199240A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- imu
- laser radar
- data
- dimensional code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种无GPS信号下二维码、激光雷达与IMU融合定位系统及方法,该方法以预先采集的高精地图为基准,对相机、激光雷达和IMU进行联合标定,通过识别二维码,结合激光雷达的探测距离,得到车辆在高精地图上的初始位置;在运动过程中,以IMU为主,激光雷达为辅,利用激光雷达探测到的位置数据去修正IMU解算出的导航参数,再将导航参数、激光雷达点云数据和车道线图像分别与高精地图进行匹配,完成车辆实时位置的更新。本发明解决了无GPS信号环境下无人车初始位置无法确定的问题,同时在运动过程中利用多传感器数据融合对惯性导航累积误差进行修正,提高了定位系统的可靠性、稳定性和精度,可广泛地应用于矿下以及GPS信号弱的室内、地下等多种场景。
Description
技术领域
本发明涉及导航定位技术领域,尤其涉及无人车在矿下场景的导航定位,具体为一种无GPS信号下二维码、激光雷达与IMU融合定位系统及方法。
背景技术
目前,室外导航定位技术已经发展的比较成熟,如全球卫星导航系统(GlobalNavigation Satellite System, GNSS)在室外场景中,能够提供准确的地理位置、行车速度等信息,给人们的日常生活带来极大的便利。但是在室内或地下等无GPS(GlobalPosition System,全球定位系统)信号环境下,由于障碍物的遮挡,GNSS无法提供可靠、连续的定位服务。而随着我国对在室内和地下等无GPS信号环境下的需求日益增多,如室内导航、室内移动测图系统、地下交通导航定位、地下作业安全等领域,因此,研究一种无GPS信号环境下的多源传感器融合的无人车定位方法对于地下隧道开挖、矿产资源的勘探、矿山开采和事故应急等应用具有重要意义。
经检索,公开号CN113566833A的中国专利于2021年10月29日公开了一种多传感器融合的车辆定位方法,该方法对于可以接收GPS信号的场景,则融合GPS装置和IMU惯性传感器进行车辆的定位,使用激光雷达进行障碍物检测,实现车辆的定位导航;对于不能接收GPS信号的场景,则使用激光雷达构建栅格地图,融合IMU惯性传感器和相机进行车辆的定位和障碍物检测,实现车辆的定位导航。该专利申请在无GPS信号场景下,需要重新构建栅格地图、再融合多传感器数据实现定位导航,计算量较大且实时性难以满足实际需求,不适用于矿下场景。
公开号CN113160400A的中国专利于2021年7月23日公开了一种地下地形的定位方法,包括:获取地下空间的三维实体化地图,所述三维实体化地图中记录有地下空间的空间特征信息;车辆在所述地下空间行驶时,获取所述车辆所在环境的空间特征;将所述空间特征与所述空间特征信息进行比对,根据比对结果确定所述车辆在所述地下空间的位置。该专利申请通过开采过程中根据井下实际环境探测到的空间特征信息的比对来定位车辆的实际位置,对于有相似空间特征信息的井下路径,则存在车辆实际位置难以准确定位的问题。
因此,提供一种无人车定位方法,能够实现矿下场景的准确定位导航是至关重要的。
发明内容
为克服上述现有技术的不足,本发明提供一种无GPS信号下二维码、激光雷达与IMU融合定位系统及方法,以解决矿下无人车辆的导航定位问题。
根据本发明说明书的一方面,提供一种无GPS信号下二维码、激光雷达与IMU融合定位系统,所述系统应用于矿下场景,所述系统包括:
采集模块,用于获取路侧端的二维码图像、车道线图像、车辆的激光雷达数据及IMU数据;
构建模块,用于根据车辆遍历矿下所有路径时所获取的激光雷达数据,构建矿下场景的高精地图;
车辆初始位置获取模块,用于根据采集的二维码图像识别当前二维码所处目标物在高精地图上的绝对位置,并基于所述绝对位置和车辆与目标物之间的相对距离得到车辆在高精地图中的初始位置;
车辆实时位置更新模块,用于在车辆行驶过程中,将车辆的激光雷达数据与IMU数据进行融合,并将融合后的IMU数据、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时进行车辆实时位置的更新。
上述技术方案中,在初始时,车辆将矿下所有路径遍历一遍,并在遍历过程中获取车辆的激光雷达数据,该激光雷达数据经由构建模块构建形成矿下场景的高精地图;在车辆启动时,通过采集模块获取当前路侧端的二维码图像,该二维码图像经由车辆初始位置获取模块进一步处理,得到该二维码所处目标物在高精地图的绝对位置,然后利用该绝对位置及激光雷达探测到的车辆与二维码所处目标物的相对距离,得到车辆初始时的位置信息;在车辆行驶过程中,通过采集模块实时获取车辆的IMU数据、激光雷达数据及车道线图像,根据IMU数据解算得到导航参数,根据激光雷达数据对导航参数进行融合修正,通过修正减少或消除IMU解算带来的误差累积,然后将融合修正后的导航参数、车辆当前位置的激光雷达点云数据及车道线图像分别与构建的高精地图进行匹配,若匹配成功,则更新车辆的实时位置;若匹配不成功,则重新获取融合后的数据,再进行匹配。
上述技术方案中,基于车辆的IMU数据得到的车辆位姿信息是相对于导航坐标系,因此需要进行坐标转换后再与高精地图进行匹配。
作为进一步的技术方案,所述采集模块包括图像采集装置,用于获取路侧端的二维码图像及车道线图像;激光雷达,用于获取车辆的激光雷达数据以及探测车辆与目标物之间的相对距离;IMU,用于获取车辆的IMU数据。图像采集装置包括相机,可采用不同的相机来分别获取二维码图像和车道线图像,用于获取二维码图像的相机可设置在车身中部位置,用于获取车道线图像的相机可设置在车头位置。IMU包括陀螺仪和加速度计。
作为进一步的技术方案,所述系统还包括联合标定模块,用于根据ICP迭代最近点法对激光雷达和IMU进行标定以获取激光雷达与IMU之间的外部参数,以及根据在线自标定方法对图像采集装置和IMU进行标定以获取图像采集装置与IMU之间的外部参数。
根据ICP迭代最近点法对激光雷达和IMU进行标定的过程包括:首先选取某个标志物,由IMU惯性传感器和激光雷达采集该标志物的位姿数据,得到该标志物在IMU惯导坐标系下的坐标和在激光雷达坐标系下的点云坐标,然后将这两个坐标进行数据关联,得到IMU惯导坐标系与激光雷达坐标系的变换矩阵。
根据在线自标定方法对图像采集装置(如相机)与IMU进行标定的过程包括:根据某一时刻相机同时具有最大的内点数和最高的阈值幅度来选择一个主相机,以线性方式初始化相机与IMU之间的旋转,并使用概率线性滑动窗口处理相机和IMU的平移,然后利用高精度的非线性图优化方式去修正标定结果。此外,在标定过程中增加了终止机制来减少计算资源的消耗。
作为进一步的技术方案,所述二维码图像布设有多个,且多个所述二维码图像沿矿下路径的路侧端间隔布设。可在矿下路径的路侧端布设多个路桩,将二维码图像贴附于路桩上。为提高矿下场景下采集二维码图像的清晰度,可在路桩上设置照明装置来照亮二维码。
进一步来说,路桩上的照明装置可由系统控制,当系统检测到二维码图像清晰度达不到预期时,控制照明装置点亮,在其他时候,照明装置则处于休眠状态,从而既能够保证二维码图像的清晰度需求,又能够节能减耗。
作为进一步的技术方案,所述系统还包括控制模块,用于在车辆行驶过程中,按照预设周期控制采集模块重新获取路侧端的二维码图像。该技术方案使车辆能够在行驶过程中定时获取路侧端二维码的图像,从而重新确认车辆在高精地图上的绝对位置,修正因时间累积造成的导航误差,进一步提高定位精度。
作为进一步的技术方案,所述车辆实时位置更新模块进一步包括:数据补偿单元,用于获取激光雷达点云数据的畸变部分并进行补偿;预处理单元,用于在激光雷达数据与IMU数据融合前通过IMU预积分进行IMU数据预处理;融合单元,用于采用ESKF算法将补偿后的激光雷达数据与预处理后的IMU数据进行融合,并将融合后的车辆位置信息、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时完成车辆实时位置的更新。
根据本发明说明书的一方面,提供一种无GPS信号下二维码、激光雷达与IMU融合定位方法,采用所述的系统实现,所述方法包括:
构建矿下场景的高精地图;
获取路侧端的二维码图像、车道线图像、车辆的激光雷达数据及IMU数据;
根据获取的二维码图像识别当前二维码所处目标物在高精地图上的绝对位置,并基于所述绝对位置和车辆与目标物之间的相对距离得到车辆在高精地图中的初始位置;
在车辆行驶过程中,将车辆的激光雷达数据与IMU数据进行融合,并将融合后的IMU数据、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时进行车辆实时位置的更新。
上述技术方案首先构建矿下场景的高精地图,然后依据路侧端二维码图像及激光雷达数据确定车辆初始时在高精地图上的绝对位置,在车辆行驶过程中,则依据IMU数据获取车辆的导航参数,依据激光雷达数据对导航参数进行融合修正,并将修正后的导航参数与构建的高精地图进行匹配,若匹配成功,则更新车辆的实时位置。
上述技术方案通过车辆的激光雷达数据构建矿下场景的高精地图,并结合二维码数据、激光雷达数据和高精地图确定了车辆的初始位置,解决了现有室内或地下等无GPS信号环境下,因卫星导航无法正常使用而导致车辆初始位置难以确定的问题。
作为进一步的技术方案,所述方法进一步包括:在车辆启动前,对安装在车辆上的图像采集装置、激光雷达和IMU进行联合标定,分别获取图像采集装置与IMU之间的外部参数、激光雷达与IMU之间的外部参数。
作为进一步的技术方案,所述方法进一步包括:在车辆行驶过程中,按照预设周期获取路侧端的二维码图像,并基于获取的二维码图像,重新确定车辆的当前位置。该技术方案在车辆行驶过程中,能够通过重新获取二维码图像来修正因时间累积造成的导航误差,提高车辆定位精度。
上述技术方案中的二维码可贴附于路桩上,路桩按照预定距离布设于矿下路径的路侧端,部署方式简单且制作成本低,从而以较低的成本实现了矿下场景车辆初始位置的确定,同时实现了车辆行驶过程中绝对位置的重新确定,达到了低成本、高精度的定位导航效果。
作为进一步的技术方案,所述方法进一步包括:利用目标车辆遍历矿下所有路径,并在遍历过程中,获取车辆的激光雷达数据,利用所述激光雷达数据构建矿下场景的高精地图。通过预先构建的高精地图,既便于在车辆启动时确定车辆的初始位置,也便于在车辆行驶过程中确定车辆的实时位置。
与现有技术相比,本发明的有益效果在于:
(1)本发明提供一种系统,该系统通过构建模块构建矿下场景的高精地图;通过采集模块采集的二维码数据和激光雷达数据结合高精地图确定车辆的初始位置,通过采集模块采集的激光雷达数据、IMU数据、车道线图像结合高精地图确定车辆的实时位置,从而实现矿下场景中车辆初始位置及实时位置的准确确定,保证了矿下场景车辆导航定位的精度。
(2)本发明采用多种车载传感器结合路侧端二维码的方式实现矿下场景车辆的导航定位,相对于现有无GPS场景的定位方法,本发明的制作成本更低、精度更高,能够保证矿下场景车辆的持续、稳定、可靠的高精度定位。
(3)本发明提供一种方法,该方法通过车辆的激光雷达数据构建矿下场景的高精地图,并结合二维码数据、激光雷达数据和高精地图确定了车辆的初始位置,解决了现有室内或地下等无GPS信号环境下,因卫星导航无法正常使用而导致车辆初始位置难以确定的问题,此外,通过激光雷达数据、IMU数据和高精地图确定了车辆的实时位置,解决了矿下场景中的车辆实时位置定位问题。
附图说明
图1为根据本发明实施例的无GPS信号下二维码、激光雷达与IMU融合定位系统的示意图。
图2为根据本发明实施例的相机与IMU联合标定的示意图。
图3为根据本发明实施例的激光雷达与IMU联合标定时坐标系的关系图。
图4为根据本发明实施例的激光雷达与IMU融合定位的示意图。
图5为根据本发明实施例的无GPS信号下二维码、激光雷达与IMU融合定位方法的示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述发实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
本发明一方面提供一种无GPS信号下二维码、激光雷达与IMU融合定位系统,以解决无GPS信号环境下存在的卫星导航无法使用、车辆初始位置无法确定、惯性导航无法得到绝对位置、惯性导航设备误差随时间累积等问题。
如图1所示,所述系统包括采集模块、构建模块、车辆初始位置获取模块和车辆实时位置更新模块。所述系统应用于无人车。
所述系统还包括联合标定模块,用于根据ICP迭代最近点法对激光雷达和IMU进行标定以获取激光雷达与IMU之间的外部参数,以及根据在线自标定方法对图像采集装置和IMU进行标定以获取图像采集装置与IMU之间的外部参数。
所述系统还包括控制模块,用于在车辆行驶过程中,按照预设周期控制采集模块重新获取路侧端的二维码图像。
采集模块包括安装在车辆上的相机、激光雷达和IMU。其中,相机用于采集路侧端的二维码图像及车道线图像,激光雷达用于采集车辆的激光雷达数据及车辆与路侧端目标物之间的相对距离,IMU用于采集车辆的IMU数据。
在初始阶段,目标车辆遍历矿下所有路径,采集模块采集车辆的激光雷达数据并输送至构建模块,构建模块基于该激光雷达数据构建矿下场景的高精地图。
在车辆启动时,采集模块采集二维码图像、激光雷达数据并输送至车辆初始位置获取模块,车辆初始位置获取模块结合这些数据和高精地图确定车辆的初始位置。
在车辆行驶过程中,采集模块采集激光雷达数据、IMU数据、车道线图像并输送至车辆实时位置更新模块,车辆实时位置更新模块结合这些数据和高精地图确定车辆的实时位置。
作为一种实施方式,联合标定模块中对激光雷达和IMU进行标定的过程包括:首先选取某个标志物,由IMU惯性传感器和激光雷达采集该标志物的位姿数据,得到该标志物在IMU惯导坐标系下的坐标和在激光雷达坐标系下的点云坐标,然后将这两个坐标进行数据关联,得到IMU惯导坐标系与激光雷达坐标系的变换矩阵。
作为一种实施方式,联合标定模块中对相机与IMU进行标定的过程包括:根据某一时刻相机同时具有最大的内点数和最高的阈值幅度来选择一个主相机,以线性方式初始化相机与IMU之间的旋转,并使用概率线性滑动窗口处理相机和IMU的平移,然后利用高精度的非线性图优化方式去修正标定结果。此外,在标定过程中增加了终止机制来减少计算资源的消耗。
构建模块,用于根据车辆遍历矿下所有路径时所获取的激光雷达数据,构建矿下场景的高精地图。具体来说,车辆在矿下将所有路径跑一遍,在该过程中,获取车辆的激光雷达数据,激光雷达从某一点开始利用点云帧间匹配得到变换矩阵,从而得到这一点的位姿,然后输入后端模块去优化一段时间内的车辆的位姿序列,得到准确的位姿,最后利用每一时刻的位姿将点云拼接起来,进而形成高精地图。
作为一种实施方式,二维码贴附于路桩上,路桩设置于矿下路径的路侧端。所述路桩沿矿下路径的路侧端间隔布设有多个,且每个路桩上均设有二维码。车辆在行驶过程中,可定时获取路侧端二维码的图像,从而重新确认车辆在高精地图上的绝对位置,修正因时间累积造成的导航误差,进一步提高定位精度。
在车辆启动时,相机拍摄路桩上二维码图像并发送至车辆初始位置获取模块,车辆初始位置获取模块根据该二维码图像识别当前路桩在高精地图上的绝对位置,然后再结合激光雷达探测到的车辆与路桩之间的相对距离,得到初始时车辆在高精地图中的位置信息。
在车辆行驶过程中,采集模块将车辆的激光雷达数据与IMU数据发送至车辆实时位置更新模块,由车辆实时位置更新模块对激光雷达数据与IMU数据进行融合,并将融合后的IMU数据、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时进行车辆实时位置的更新。
所述车辆实时位置更新模块进一步包括:
数据补偿单元,用于获取激光雷达点云数据的畸变部分并进行补偿。首先,选取激光雷达某一帧的扫描时间段,根据当前扫描时刻和IMU的采样时间段找到最接近时刻的IMU惯导数据,利用联合标定中确定的激光雷达与IMU之间的外参,采用线性插值的方法求出当前扫描时间段下点云数据相对惯导坐标系下的位姿;然后在原始点云数据中利用该位姿信息对所有的激光点都进行转换,得到点云数据的畸变部分,并将其补偿。
预处理单元,用于在激光雷达数据与IMU数据融合前通过IMU预积分进行IMU数据预处理。由于激光雷达和IMU惯性传感器的采样频率不同,需要在传感器融合前对IMU数据进行预处理,采用的方法是IMU预积分。假设IMU惯导和激光雷达的时间同步,以激光雷达的采样间隔为基准,相邻两帧点云数据的时刻分别为和,在内对IMU惯导数据单独积分,得到的结果就是预积分项。
融合单元,用于采用ESKF算法将补偿后的激光雷达数据与预处理后的IMU数据进行融合,并将融合后的车辆位置信息、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时完成车辆实时位置的更新。
本发明一方面还提供一种无GPS信号下二维码、激光雷达与IMU融合定位方法,该方法以高精地图为基础,采用视觉导航、激光导航与惯性导航相结合的方式实现矿下无人车的定位和导航。
该方法以预先采集的高精地图为基准,对相机、激光雷达和IMU惯性传感器进行联合标定,通过识别路侧端贴放的二维码,结合激光雷达的探测距离,得到车辆在高精地图上的初始位置;然后在运动过程中,以惯性导航为主,激光雷达为辅,利用激光雷达探测到的位置数据去修正惯性导航解算出的导航参数,再结合坐标转换关系,将修正后的导航参数进行坐标转换后与高精地图进行匹配,同时将车辆当前位置的激光雷达点云数据及车道线图像与高精地图进行匹配,且在导航参数、激光雷达点云数据和车道线图像均匹配成功时,进行车辆实时位置的更新。此外,车辆会定时扫描路侧端二维码,重复上述步骤以保证实时定位的可靠性和精度。
该方法具体包括以下步骤:
步骤1,在无人车启动前,对安装在车辆上的相机、激光雷达和IMU惯性传感器进行联合标定,分别获取相机与IMU之间的外部参数、激光雷达与IMU之间的外部参数。
所述的惯性传感器包括陀螺仪和加速度计,标定的具体过程如下:
步骤1.1,采用ICP迭代最近点法对激光雷达和IMU惯导进行标定。
首先选取某个标志物,由IMU惯性传感器和激光雷达采集该标志物的位姿数据,得到该标志物在IMU惯导坐标系下的坐标和在激光雷达坐标系下的点云坐标,然后将这两个坐标进行数据关联,得到IMU惯导坐标系与激光雷达坐标系的变换矩阵。
步骤1.2,通过在线自标定的方法来对相机与IMU进行标定。
根据某个时刻相机同时具有最大的内点数和最高的阈值幅度来选择一个主相机,以线性方式初始化相机与IMU之间的旋转,并使用概率线性滑动窗口处理相机和IMU的平移,然后利用高精度的非线性图优化方式去修正标定结果。此外,在标定过程中增加了终止机制来减少计算资源的消耗。
步骤2,使用相机识别路侧端贴放的二维码,获取路侧端在高精地图上的绝对位置信息,再结合激光雷达探测到的相对距离,得到初始时车辆在高精地图中的位置信息。
步骤3,无人车启动后,通过激光雷达和IMU融合,利用激光雷达的观测数据去修正惯性导航解算出的导航参数,经过坐标转换后与高精地图进行匹配,同时将车辆当前位置的激光雷达点云数据及车道线图像与高精地图进行匹配,且在导航参数、激光雷达点云数据和车道线图像均匹配成功时,完成定位位置的更新。具体过程如下:
步骤3.1,点云数据畸变补偿。
首先,选取激光雷达某一帧的扫描时间段,根据当前扫描时刻和IMU的采样时间段找到最接近时刻的IMU惯导数据,利用步骤1中确定的LiDAR/IMU之间的外参,采用线性插值的方法求出当前扫描时间段下点云数据相对惯导坐标系下的位姿。然后在原始点云数据中利用该位姿信息对所有的激光点都进行转换,得到点云数据的畸变部分,并将其补偿。
步骤3.2,IMU预积分。
由于激光雷达和IMU惯性传感器的采样频率不同,需要在传感器融合前对IMU数据进行预处理,采用的方法是IMU预积分。假设IMU惯导和激光雷达的时间同步,以激光雷达的采样间隔为基准,相邻两帧点云数据的时刻分别为和,在内对IMU惯导数据单独积分,得到的结果就是预积分项,如公式(1)所示。
步骤3.3,基于ESKF融合定位。
采用误差状态卡尔曼滤波算法(ESKF),将激光雷达定位信息和IMU惯导位姿信息进行融合,分为预测和更新两个部分。
(1) 预测
将IMU惯性传感器量测的加速度和角速度信息进行积分处理得到位置、速度、姿态的预测值,如公式(2)所示:
然后分析上式预测结果与真实状态的误差,将误差状态离散化,可得到误差状态空间方程,如公式(3)所示:
将误差状态空间方程线性化,可得到误差状态协方差方程,如公式(4)所示:
(2) 更新
量测方程如公式(5)所示:
由量测部分对预测部分进行校正,如公式(6)所示:
最后进行预测状态更新,如公式(7)所示:
步骤4,为进一步减小导航误差,可定时扫描路侧端二维码,重复步骤2和步骤3,通过重新获取车辆的当前位置信息来修正因时间累积造成的导航误差,进一步提高定位结果的精度。
所述方法还包括,在步骤1之前,利用目标车辆遍历矿下所有路径,并在遍历过程中,获取车辆的激光雷达数据,利用所述激光雷达数据构建矿下场景的高精地图。
根据联合估计系统的初始值和外部参数,采用在线标定的方法实现精确的相机-IMU外参标定,如图2所示。首先根据某时刻相机同时拥有最大的内点数和最高的阈值幅度来选择一个主相机,以线性方式实现相机和IMU之间的旋转标定,然后使用概率线性滑动窗口处理相机和IMU之间的平移标定,同时利用高精度的非线性图优化方式去修正标定结果。当标定结果满足终止标准时,停止标定,完成初始化。
采用ICP迭代最近点法对激光雷达和IMU惯导进行联合标定,如图3所示。小车上的三个坐标系分别是:表示地理坐标系,表示IMU坐标系,表示激光雷达坐标系。首先采集标志物在地理坐标系下的原始数据和激光雷达的点云数据,根据捷联惯导算法解算出标志物在IMU惯导坐标系下的坐标,对点云数据预处理并确定标志物在激光雷达坐标系下的点云坐标,然后将标志物在IMU惯导坐标系下的坐标与在激光雷达坐标系下的坐标进行数据关联,得到这两个坐标系的转换矩阵,完成标定。
车辆运动过程中利用激光雷达点云数据去修正IMU惯导数据的融合过程如图4所示。图4中,采用IMU预积分的方法对惯性传感器的数据进行预处理,同时利用线性插值法处理激光雷达点云数据的运动畸变;然后将处理后的IMU数据和点云数据作为误差卡尔曼滤波器的输入,并用滤波后的结果去修正IMU数据,实现车辆姿态和位置信息的更新。
如图5所示,本发明方法在初始时,车辆自动制动,利用里程计表判别车速是否为0km/h,若是,则进行联合标定。
车辆静止后,对相机、激光雷达以及IMU惯导进行联合标定。并在标定后,通过相机识别路侧端二维码,结合激光雷达探测到的相对距离和高精地图获取车辆的初始位置。
车辆启动后,对IMU惯导数据和激光雷达点云数据进行预处理,利用误差状态卡尔曼滤波算法来修正车辆的位置、姿态及速度信息。
然后基于厘米级的高精地图分别进行激光雷达点云匹配、车道线识别与地图数据匹配、导航参数与地图数据匹配,判别当前定位信息是否与高精地图匹配成功,若匹配成功,则完成定位更新;否则,重新获取融合数据再进行匹配。
本发明通过车辆扫描路侧端二维码来获取初始定位,很好的解决了无GPS信号环境下无人车初始位置无法确定的问题,同时在运动过程中利用激光雷达、相机等多传感器数据融合对惯性导航累积误差进行修正,提高了定位系统的可靠性、稳定性和精度,能够在无GPS信号等复杂环境下实现连续的自主导航定位,可广泛地应用于矿下以及GPS信号弱的室内、地下等多种场景。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案。
Claims (10)
1.无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述系统应用于矿下场景,所述系统包括:
采集模块,用于获取路侧端的二维码图像、车道线图像、车辆的激光雷达数据及IMU数据;
构建模块,用于根据车辆遍历矿下所有路径时所获取的激光雷达数据,构建矿下场景的高精地图;
车辆初始位置获取模块,用于根据采集的二维码图像识别当前二维码所处目标物在高精地图上的绝对位置,并基于所述绝对位置和车辆与目标物之间的相对距离得到车辆在高精地图中的初始位置;
车辆实时位置更新模块,用于在车辆行驶过程中,将车辆的激光雷达数据与IMU数据进行融合,并将融合后的IMU数据、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时进行车辆实时位置的更新。
2.根据权利要求1所述无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述采集模块包括图像采集装置,用于获取路侧端的二维码图像及车道线图像;激光雷达,用于获取车辆的激光雷达数据以及探测车辆与目标物之间的相对距离;IMU,用于获取车辆的IMU数据。
3.根据权利要求2所述无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述系统还包括联合标定模块,用于根据ICP迭代最近点法对激光雷达和IMU进行标定以获取激光雷达与IMU之间的外部参数,以及根据在线自标定方法对图像采集装置和IMU进行标定以获取图像采集装置与IMU之间的外部参数。
4.根据权利要求1所述无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述二维码图像布设有多个,且多个所述二维码图像沿矿下路径的路侧端间隔布设。
5.根据权利要求4所述无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述系统还包括控制模块,用于在车辆行驶过程中,按照预设周期控制采集模块重新获取路侧端的二维码图像。
6.根据权利要求1所述无GPS信号下二维码、激光雷达与IMU融合定位系统,其特征在于,所述车辆实时位置更新模块进一步包括:数据补偿单元,用于获取激光雷达点云数据的畸变部分并进行补偿;预处理单元,用于在激光雷达数据与IMU数据融合前通过IMU预积分进行IMU数据预处理;融合单元,用于采用ESKF算法将补偿后的激光雷达数据与预处理后的IMU数据进行融合,并将融合后的车辆位置信息、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时完成车辆实时位置的更新。
7.无GPS信号下二维码、激光雷达与IMU融合定位方法,采用权利要求1-6中任一项所述的系统实现,其特征在于,所述方法包括:
构建矿下场景的高精地图;
获取路侧端的二维码图像、车道线图像、车辆的激光雷达数据及IMU数据;
根据获取的二维码图像识别当前二维码所处目标物在高精地图上的绝对位置,并基于所述绝对位置和车辆与目标物之间的相对距离得到车辆在高精地图中的初始位置;
在车辆行驶过程中,将车辆的激光雷达数据与IMU数据进行融合,并将融合后的IMU数据、车辆当前位置的激光雷达点云数据及车道线图像分别与高精地图进行匹配,在匹配成功时进行车辆实时位置的更新。
8.根据权利要求7所述无GPS信号下二维码、激光雷达与IMU融合定位方法,其特征在于,所述方法进一步包括:在车辆启动前,对安装在车辆上的图像采集装置、激光雷达和IMU进行联合标定,分别获取图像采集装置与IMU之间的外部参数、激光雷达与IMU之间的外部参数。
9.根据权利要求7所述无GPS信号下二维码、激光雷达与IMU融合定位方法,其特征在于,所述方法进一步包括:在车辆行驶过程中,按照预设周期获取路侧端的二维码图像,并基于获取的二维码图像,重新确定车辆的当前位置。
10.根据权利要求7所述无GPS信号下二维码、激光雷达与IMU融合定位方法,其特征在于,所述方法进一步包括:利用目标车辆遍历矿下所有路径,并在遍历过程中,获取车辆的激光雷达数据,利用所述激光雷达数据构建矿下场景的高精地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210148657.7A CN114199240B (zh) | 2022-02-18 | 2022-02-18 | 无gps信号下二维码、激光雷达与imu融合定位系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210148657.7A CN114199240B (zh) | 2022-02-18 | 2022-02-18 | 无gps信号下二维码、激光雷达与imu融合定位系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114199240A true CN114199240A (zh) | 2022-03-18 |
CN114199240B CN114199240B (zh) | 2022-06-21 |
Family
ID=80645663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210148657.7A Active CN114199240B (zh) | 2022-02-18 | 2022-02-18 | 无gps信号下二维码、激光雷达与imu融合定位系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114199240B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897942A (zh) * | 2022-07-15 | 2022-08-12 | 深圳元戎启行科技有限公司 | 点云地图的生成方法、设备及相关存储介质 |
CN115148031A (zh) * | 2022-06-23 | 2022-10-04 | 清华大学深圳国际研究生院 | 一种停车场巡检车的多传感器高精度定位方法 |
CN115267868A (zh) * | 2022-09-27 | 2022-11-01 | 腾讯科技(深圳)有限公司 | 一种定位点处理方法、装置及计算机可读存储介质 |
CN115435773A (zh) * | 2022-09-05 | 2022-12-06 | 北京远见知行科技有限公司 | 室内停车场高精度地图采集装置 |
CN115468576A (zh) * | 2022-09-29 | 2022-12-13 | 东风汽车股份有限公司 | 一种基于多模态数据融合的自动驾驶定位方法及系统 |
CN116068538A (zh) * | 2023-04-06 | 2023-05-05 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于批量式车辆激光雷达的可调节标定系统和方法 |
CN117570973A (zh) * | 2023-11-17 | 2024-02-20 | 中科智驰(安庆)智能科技有限公司 | 一种用于多场景无人驾驶车辆的融合定位系统及方法 |
CN117760417A (zh) * | 2023-12-19 | 2024-03-26 | 苏州尚同墨方智能科技有限公司 | 一种基于4d毫米波雷达与imu的融合定位方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070152804A1 (en) * | 1997-10-22 | 2007-07-05 | Intelligent Technologies International, Inc. | Accident Avoidance Systems and Methods |
CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
CN110609311A (zh) * | 2019-10-10 | 2019-12-24 | 武汉理工大学 | 基于车载环视图像与毫米波雷达融合的智能车定位方法 |
CN111624995A (zh) * | 2020-05-09 | 2020-09-04 | 太仓臻溢科技有限公司 | 移动机器人高精度导航定位的方法 |
CN111639505A (zh) * | 2020-05-29 | 2020-09-08 | 广东电网有限责任公司电力科学研究院 | 一种用于室内巡检机器人的混合定位导航系统及方法 |
CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
CN113156455A (zh) * | 2021-03-16 | 2021-07-23 | 武汉理工大学 | 基于路侧多激光雷达感知的车定位系统、方法、装置和介质 |
CN113296119A (zh) * | 2021-05-24 | 2021-08-24 | 福建盛海智能科技有限公司 | 一种基于激光雷达和uwb阵列的无人避障驾驶方法与终端 |
CN113447949A (zh) * | 2021-06-11 | 2021-09-28 | 天津大学 | 一种基于激光雷达和先验地图的实时定位系统及方法 |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及系统 |
KR20210142246A (ko) * | 2020-05-18 | 2021-11-25 | 한국전자통신연구원 | 위성항법 측위 시스템 |
CN113776519A (zh) * | 2021-09-14 | 2021-12-10 | 西南科技大学 | 一种无光动态开放环境下agv车辆建图与自主导航避障方法 |
WO2022007776A1 (zh) * | 2020-07-07 | 2022-01-13 | 长沙智能驾驶研究院有限公司 | 目标场景区域的车辆定位方法、装置、设备和存储介质 |
CN114018254A (zh) * | 2021-10-27 | 2022-02-08 | 南京师范大学 | 一种激光雷达与旋转惯导一体化构架与信息融合的slam方法 |
-
2022
- 2022-02-18 CN CN202210148657.7A patent/CN114199240B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070152804A1 (en) * | 1997-10-22 | 2007-07-05 | Intelligent Technologies International, Inc. | Accident Avoidance Systems and Methods |
CN110514225A (zh) * | 2019-08-29 | 2019-11-29 | 中国矿业大学 | 一种矿井下多传感器融合的外部参数标定及精准定位方法 |
CN110609311A (zh) * | 2019-10-10 | 2019-12-24 | 武汉理工大学 | 基于车载环视图像与毫米波雷达融合的智能车定位方法 |
CN111624995A (zh) * | 2020-05-09 | 2020-09-04 | 太仓臻溢科技有限公司 | 移动机器人高精度导航定位的方法 |
KR20210142246A (ko) * | 2020-05-18 | 2021-11-25 | 한국전자통신연구원 | 위성항법 측위 시스템 |
CN111639505A (zh) * | 2020-05-29 | 2020-09-08 | 广东电网有限责任公司电力科学研究院 | 一种用于室内巡检机器人的混合定位导航系统及方法 |
WO2022007776A1 (zh) * | 2020-07-07 | 2022-01-13 | 长沙智能驾驶研究院有限公司 | 目标场景区域的车辆定位方法、装置、设备和存储介质 |
CN113156455A (zh) * | 2021-03-16 | 2021-07-23 | 武汉理工大学 | 基于路侧多激光雷达感知的车定位系统、方法、装置和介质 |
CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
CN113296119A (zh) * | 2021-05-24 | 2021-08-24 | 福建盛海智能科技有限公司 | 一种基于激光雷达和uwb阵列的无人避障驾驶方法与终端 |
CN113447949A (zh) * | 2021-06-11 | 2021-09-28 | 天津大学 | 一种基于激光雷达和先验地图的实时定位系统及方法 |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及系统 |
CN113776519A (zh) * | 2021-09-14 | 2021-12-10 | 西南科技大学 | 一种无光动态开放环境下agv车辆建图与自主导航避障方法 |
CN114018254A (zh) * | 2021-10-27 | 2022-02-08 | 南京师范大学 | 一种激光雷达与旋转惯导一体化构架与信息融合的slam方法 |
Non-Patent Citations (3)
Title |
---|
LI MENGGANG 等: "UWB-Based Localization System Aided With Inertial Sensor for Underground Coal Mine Applications", 《IEEE SENSORS JOURNAL》 * |
张涛等: "基于单目视觉的仓储物流机器人定位方法", 《计算机应用》 * |
栾佳宁 等: "基于二维码视觉与激光雷达融合的高精度定位算法", 《计算机应用》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115148031A (zh) * | 2022-06-23 | 2022-10-04 | 清华大学深圳国际研究生院 | 一种停车场巡检车的多传感器高精度定位方法 |
CN115148031B (zh) * | 2022-06-23 | 2023-08-08 | 清华大学深圳国际研究生院 | 一种停车场巡检车的多传感器高精度定位方法 |
CN114897942B (zh) * | 2022-07-15 | 2022-10-28 | 深圳元戎启行科技有限公司 | 点云地图的生成方法、设备及相关存储介质 |
CN114897942A (zh) * | 2022-07-15 | 2022-08-12 | 深圳元戎启行科技有限公司 | 点云地图的生成方法、设备及相关存储介质 |
CN115435773B (zh) * | 2022-09-05 | 2024-04-05 | 北京远见知行科技有限公司 | 室内停车场高精度地图采集装置 |
CN115435773A (zh) * | 2022-09-05 | 2022-12-06 | 北京远见知行科技有限公司 | 室内停车场高精度地图采集装置 |
CN115267868A (zh) * | 2022-09-27 | 2022-11-01 | 腾讯科技(深圳)有限公司 | 一种定位点处理方法、装置及计算机可读存储介质 |
CN115267868B (zh) * | 2022-09-27 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 一种定位点处理方法、装置及计算机可读存储介质 |
CN115468576A (zh) * | 2022-09-29 | 2022-12-13 | 东风汽车股份有限公司 | 一种基于多模态数据融合的自动驾驶定位方法及系统 |
CN116068538A (zh) * | 2023-04-06 | 2023-05-05 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于批量式车辆激光雷达的可调节标定系统和方法 |
CN117570973A (zh) * | 2023-11-17 | 2024-02-20 | 中科智驰(安庆)智能科技有限公司 | 一种用于多场景无人驾驶车辆的融合定位系统及方法 |
CN117570973B (zh) * | 2023-11-17 | 2024-04-26 | 中科智驰(安庆)智能科技有限公司 | 一种用于多场景无人驾驶车辆的融合定位系统及方法 |
CN117760417A (zh) * | 2023-12-19 | 2024-03-26 | 苏州尚同墨方智能科技有限公司 | 一种基于4d毫米波雷达与imu的融合定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114199240B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114199240B (zh) | 无gps信号下二维码、激光雷达与imu融合定位系统及方法 | |
US11002859B1 (en) | Intelligent vehicle positioning method based on feature point calibration | |
CN110411462B (zh) | 一种gnss/惯导/车道线约束/里程计多源融合方法 | |
US11243081B2 (en) | Slam assisted INS | |
Chiang et al. | Seamless navigation and mapping using an INS/GNSS/grid-based SLAM semi-tightly coupled integration scheme | |
Ding et al. | LiDAR inertial odometry aided robust LiDAR localization system in changing city scenes | |
JP2022106924A (ja) | 自律的な自己位置推定のためのデバイス及び方法 | |
Yoneda et al. | Vehicle localization using 76GHz omnidirectional millimeter-wave radar for winter automated driving | |
CN104848867B (zh) | 基于视觉筛选的无人驾驶汽车组合导航方法 | |
KR20200020969A (ko) | 지도 데이터, 레이저들 및 카메라들로부터의 요 에러 결정 | |
CN110702091B (zh) | 一种沿地铁轨道移动机器人的高精度定位方法 | |
CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
CN111006655A (zh) | 机场巡检机器人多场景自主导航定位方法 | |
CN112904395B (zh) | 一种矿用车辆定位系统及方法 | |
US20230194269A1 (en) | Vehicle localization system and method | |
CN114019552A (zh) | 一种基于贝叶斯多传感器误差约束的定位置信度优化方法 | |
US20200033141A1 (en) | Data generation method for generating and updating a topological map for at least one room of at least one building | |
CN113405555B (zh) | 一种自动驾驶的定位传感方法、系统及装置 | |
CN114111811A (zh) | 一种自动驾驶公交客车的导航控制系统和方法 | |
Hussnain et al. | Enhanced trajectory estimation of mobile laser scanners using aerial images | |
CN113155126A (zh) | 一种基于视觉导航的多机协同目标高精度定位系统及方法 | |
JP7319824B2 (ja) | 移動体 | |
Wei et al. | Horizontal/vertical LRFs and GIS maps aided vehicle localization in urban environment | |
Deusch et al. | Improving localization in digital maps with grid maps | |
Yi et al. | Geographical map registration and fusion of lidar-aerial orthoimagery in gis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |