CN115562076B - 用于无人驾驶矿车的仿真系统、方法以及存储介质 - Google Patents

用于无人驾驶矿车的仿真系统、方法以及存储介质 Download PDF

Info

Publication number
CN115562076B
CN115562076B CN202211502792.3A CN202211502792A CN115562076B CN 115562076 B CN115562076 B CN 115562076B CN 202211502792 A CN202211502792 A CN 202211502792A CN 115562076 B CN115562076 B CN 115562076B
Authority
CN
China
Prior art keywords
calibration
sensor
lidar
sensors
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211502792.3A
Other languages
English (en)
Other versions
CN115562076A (zh
Inventor
刘俊昊
冯冲
谢意
蒋先尧
刘志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lukaizhixing Technology Co ltd
Original Assignee
Beijing Lukaizhixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lukaizhixing Technology Co ltd filed Critical Beijing Lukaizhixing Technology Co ltd
Priority to CN202211502792.3A priority Critical patent/CN115562076B/zh
Publication of CN115562076A publication Critical patent/CN115562076A/zh
Application granted granted Critical
Publication of CN115562076B publication Critical patent/CN115562076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种用于无人驾驶矿车的仿真系统、方法以及存储介质。该仿真系统用于形成无人驾驶矿车的仿真环境,包括:矿车模块,创建模拟矿车,以模拟实际矿车的行驶过程;传感器模块,包括模拟实际矿车上的实际传感器的多个传感器,分别采集模拟矿车的传感器数据,且分别配置有相应的实际传感器的当前传感器参数作为初始参数;标定工具箱,其标定工具直接从传感器模块获取传感器数据,并且对初始参数执行标定过程,以获得标定参数。传感器模块以通信方式向外部传输标定参数,以作为更新传感器参数。

Description

用于无人驾驶矿车的仿真系统、方法以及存储介质
技术领域
本发明涉及自动驾驶技术领域,并且尤其地,涉及一种用于无人驾驶矿车的仿真系统、方法以及存储介质。
背景技术
随着国家大力推广矿山智能化的建设,与无人驾驶技术的蓬勃发展,无人驾驶的引入逐渐成为了主流。然而,在实际项目落地过程中,由于缺少完整的仿真测试流程而导致的工程延误、路测结果难以复现、故障排查过程复杂等问题会极大增加项目成本,甚至影响最终验收。
发明内容
本发明的目的在于针对现有技术的不足,提出了一种能够远程地进行传感器参数标定的用于无人驾驶矿车的仿真系统、方法以及存储介质,其能够有效地避免频繁对实际矿车进行传感器参数标定而造成的人力物力损失,从而加速项目更新迭代。
根据本发明的第一方面,提供了一种用于无人驾驶矿车的仿真系统,所述仿真系统用于形成所述无人驾驶矿车的仿真环境,所述仿真系统包括:矿车模块,创建模拟矿车,以模拟实际矿车的行驶过程;传感器模块,包括模拟所述实际矿车上的实际传感器的多个传感器,所述多个传感器分别采集所述模拟矿车的传感器数据,并且分别配置有相应的实际传感器的当前传感器参数作为初始参数;标定工具箱,包括至少一种标定工具,所述标定工具直接从所述传感器模块获取所采集的传感器数据,并且对所述多个传感器中的相应传感器的所述初始参数执行标定过程,以获得相应传感器的标定参数;其中,所述传感器模块以通信方式向外部传输所述标定参数,以作为所模拟的实际矿车的更新传感器参数,所述实际矿车的更新传感器参数不同于所述实际矿车的当前传感器参数。
可选地,所述标定过程包括基于所述传感器数据,利用所述标定工具计算所述传感器的初始参数的偏移量,并且将所述偏移量并入所述初始参数以获得所述标定参数。
可选地,所述多个传感器包括工业相机、激光雷达传感器、控制器局域网总线传感器、毫米波雷达传感器、以及组合惯导传感器。
可选地,所述标定工具箱包括自动无目标标定工具,所述自动无目标标定工具包括激光雷达与工业相机标定工具和激光雷达与激光雷达标定工具。
可选地,所述激光雷达与工业相机标定工具针对激光雷达传感器和工业相机的各自传感器数据中的一帧数据执行所述标定过程,其中通过局域特征匹配方法以特定特征分别从激光雷达传感器和工业相机的传感器数据中各自提取一帧数据,并且在标定过程期间,对所提取的数据应用第一代价函数,以计算所提取的数据中的相应点的接近度,来获得与最大的接近度相对应的偏移量。
可选地,所述激光雷达与激光雷达标定工具针对两个激光雷达传感器的经校准的非地面点云执行所述标定过程,并且在标定过程期间,在确定两个激光雷达传感器中的非地面点云中的两个最近的点的坐标之后,应用第二代价函数计算使所述两个最近的点之间的距离最小的传感器偏航角作为偏移量;
其中,所述第二代价函数为:
Figure DEST_PATH_IMAGE001
其中,(x s , y s )和(x m , y m )分别为两个激光雷达传感器中的非地面点云中的两个最近的点的坐标;angle * yaw 为传感器偏航角;x * 和y * 分别是x方向上的偏移量和y方向上的偏移量。
可选地,所述标定工具箱还包括手动无目标标定工具、自动基于目标标定工具、以及在线标定工具,并且所述自动无目标标定工具还包括惯性测量单元导航标定工具以及激光雷达与惯性测量单元标定工具。
可选地,所述传感器模块还包括与所述多个传感器相对应的多种模拟通信接口,所述传感器数据通过相应的模拟通信接口被传输至所述外部。
可选地,所述多种模拟通信接口包括网口、控制器局域网口和串口。
根据本发明的第二方面,提供了一种利用无人驾驶矿车的仿真系统对传感器参数进行标定的方法,所述仿真系统用于形成所述无人驾驶矿车的仿真环境并且包括矿车模块、传感器模块和标定工具箱,所述方法包括:由所述矿车模块创建模拟矿车,以模拟实际矿车的行驶过程;由所述传感器模块中包括的多个传感器分别采集模拟矿车的传感器数据,所述多个传感器模拟所述实际矿车上的实际传感器,并且分别配置有相应的实际传感器的当前传感器参数作为初始参数;由所述标定工具箱中包括的至少一种标定工具直接从所述传感器模块获取所采集的传感器数据,并且对所述多个传感器中的相应传感器的初始参数执行标定过程,以获得相应传感器的标定参数;并且以通信方式向外部传输所述标定参数,以作为所模拟的实际矿车的更新传感器参数,所述实际矿车的更新传感器参数不同于所述实际矿车的当前传感器参数。
可选地,所述标定过程包括基于所述传感器数据,利用所述标定工具计算所述传感器的初始参数的偏移量,并且将所述偏移量并入所述初始参数以获得所述标定参数。
可选地,所述多个传感器包括工业相机、激光雷达传感器、控制器局域网总线传感器、毫米波雷达传感器、以及组合惯导传感器。
可选地,所述标定工具箱包括自动无目标标定工具,所述自动无目标标定工具包括激光雷达与工业相机标定工具和激光雷达与激光雷达标定工具。
可选地,所述激光雷达与工业相机标定工具针对激光雷达传感器和工业相机的各自传感器数据中的一帧数据执行所述标定过程,其中通过局域特征匹配方法以特定特征分别从激光雷达传感器和工业相机的传感器数据中各自提取一帧数据,并且在标定过程期间,对所提取的数据应用第一代价函数,以计算所提取的数据中的相应点的接近度,来获得与最大的接近度相对应的偏移量。
可选地,所述激光雷达与激光雷达标定工具针对两个激光雷达传感器的经校准的非地面点云执行所述标定过程,并且在标定过程期间,在确定两个激光雷达传感器中的非地面点云中的两个最近的点的坐标之后,应用第二代价函数计算使所述两个最近的点之间的距离最小的传感器偏航角作为偏移量;其中,所述第二代价函数为:
Figure 2255DEST_PATH_IMAGE002
其中,(x s , y s )和(x m , y m )分别为两个激光雷达传感器中的非地面点云中的两个最近的点的坐标;angle * yaw 为传感器偏航角;x * 和y * 分别是x方向上的偏移量和y方向上的偏移量。
可选地,所述标定工具箱还包括手动无目标标定工具、自动基于目标标定工具、以及在线标定工具,并且所述自动无目标标定工具还包括惯性测量单元导航标定工具以及激光雷达与惯性测量单元标定工具。
可选地,所述传感器模块还包括与所述多个传感器相对应的多种模拟通信接口,所述传感器数据通过相应的通信接口被传输至所述外部。
可选地,所述多种模拟通信接口包括网口、控制器局域网口和串口。
根据本发明的第三方面,提供了一种存储有计算机指令的计算机可读存储介质,其中,该计算机指令用于使计算机执行根据本发明的第二方面的方法。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
根据参考附图对那些示例性实施例的描述,各种示例性实施例的方面和特征将更加明显。
图1示出了根据本发明实施例的用于无人驾驶矿车的仿真系统。
图2示出了根据本发明实施例的仿真系统中的矿车模块。
图3示出了根据本发明实施例的仿真系统中的传感器模块。
图4A-4B示出了根据本发明实施例的初始参数和标定参数。
图5示出了根据本发明实施例的仿真系统中的标定工具箱。
图6示出了根据本发明实施例的激光雷达与工业相机标定工具的标定过程的流程图。
图7示出了根据本发明实施例的激光雷达与激光雷达标定工具的标定过程的流程图。
图8示出了根据本发明的仿真系统的操作方法的流程图。
具体实施方式
图1示出了根据本发明实施例的用于无人驾驶矿车的仿真系统100。仿真系统100包括矿车模块10、传感器模块20、标定工具箱30以及矿区环境模块40。
矿车模块10可以创建模拟矿车并且控制模拟矿车的动力学行为。传感器模块20可以模拟多个传感器,以分别采集模拟矿车的传感器数据。标定工具箱30可以模拟至少一种标定工具,以对相应传感器的初始参数执行标定过程,获得相应传感器的标定参数。矿区环境模块40用于提供模拟的矿区环境。以这种方式,仿真系统100可以通过包括矿车模块10、传感器模块20、标定工具箱30以及矿区环境模块40而形成仿真环境,使得创建出在模拟矿区环境中行驶的模拟矿车,以及搭载在模拟矿车上的多个模拟传感器和在模拟矿车的服务器中的标定工具箱。
根据本发明的实施例,由于仿真系统100可以创建无人驾驶矿车的仿真环境,使得可以脱离对真实的无人驾驶矿车的行驶控制,而是替代地对模拟的矿车进行控制和测试。进一步地,可以在仿真环境下模拟矿车所搭载的传感器以及用于对传感器的参数进行校准的标定工具。以这种方式,可以将对实际矿车的传感器标定过程转移到仿真环境下,即可以在模拟状态下完成对无人驾驶矿车的传感器标定过程。然后,可以将模拟所得到的标定参数(即经校准的参数)直接用于实际的无人驾驶矿车数据。作为示例,在远程的仿真环境下完成传感器参数标定后,仿真系统100可以将标定参数传输至域控制器200。域控制器200基于标定参数对从实际的无人驾驶矿车传输的传感器数据进行融合,从而验证标定精度或者直接获得融合数据。如图1所示,仿真系统100与域控制器200通信地联接。
由此,可以将复杂的传感器参数标定过程在仿真环境下实现,不仅能够加快研发进度,同时也减少了人力消耗并且提高矿区工作效率。
图2示出了根据本发明实施例的仿真系统100中的矿车模块10。其中,矿车模块10可以创建可视化的模拟矿车MVE,并且可以控制模拟矿车MVE的动力学行为,从而模拟实际矿车。
根据本发明的实施例,矿车模块10至少包括基本模型部分BMO、其他系统模型部分SMO。具体地,基本模型部分BMO至少包括七个动力学自由度(车体的纵向、侧向、横摆运动、以及四个车轮的旋转运动),车轮多于四个的情况下自由度依次增加,如果需要考虑悬架的影响,每个车轮还需要增加垂直跳动的自由度。轮胎模型如果不做非线性区的稳定性控制,可以通过查表来构建模型;否则就要用能较好反映纵侧向耦合特性的解析模型。另外,可根据需要建立其他系统模型部分SMO,其可包括电机模型、电池模型、DC-DC模型、发动机模型、和/或变速箱模型,等等。
在本发明的实施例中,矿车模块10可使用递推动力学模拟实际矿车的动力学行为来创建模拟矿车MVE。具体地,可以给定模型状态的初始值,然后通过数值积分进行不断迭代。模型的计算过程可以分为三个阶段:运动学、静力学、动力学。其中,车辆运动学建模中常用的坐标系包括:惯性坐标系、车体坐标系、车轮坐标系、轮胎坐标系,同一个物理矢量需要在不同的坐标系中进行变换。例如通过车体纵向、侧向、垂向、倾斜、俯仰、横摆计算悬架上支点速度,再加上车轮垂直跳动速度来计算轮心速度,再加上车轮旋转速度来计算接地印迹中心速度。然后,静力学建模通过轮胎模型计算车轮运动产生的轮胎力,通过悬架上下支点的相对运动计算弹簧力、阻尼力,通过速度计算空气阻力等等。再者,动力学建模通过数值积分来获得下一运动时刻的状态。每个时刻都需要上述的三步计算(即,运动学建模、静力学建模、动力学建模),然后不断重复,直到达到预定的仿真时间。
图3示出了根据本发明实施例的仿真系统100中的传感器模块20。
自动驾驶作为一个复杂的系统,通常需要许多模块协同工作。由于不同传感器各有优缺点,融合多个异构传感器使成为实现具有鲁棒性、准确感知能力和定位能力的关键。作为示例,惯性测量单元(IMU)是一种惯导传感器,其可以在短时间内提供高置信度的相对位移和航向角变化。GNSS(全球卫星导航系统)可以为车辆提供米级精度的绝对定位,然而,GNSS信号的质量不能始终得到保证。因此,在自动驾驶领域,GNSS的输出通常与IMU进行融合。工业相机具有提取环境详细信息的强大能力,除了颜色,还可以提供纹理和对比度数据,从而可靠地识别道路标记或交通标志,精确地检测和识别静止目标和移动目标。不过由于照明环境的限制,即在恶劣的环境条件(诸如大雪、大雾和黑暗中)下,工业相机的可靠性会受到限制,而且获得的数据或图像是二维(2D)数据,没有直接的深度信息,所以图像算法获得的信息深度不够准确。激光雷达传感器具有精度高、测距远(相比深度传感器)、实时性好、信息收集丰富等突出优点,同时具有良好的环境适应性,不受光照的影响。然而,激光雷达传感器缺乏颜色信息,并且对于可能产生反射或透明度高的目标无法准确检测,扫描速度相对较慢。毫米波雷达传感器也是一类技术相对成熟的环境传感器,可以适应恶劣天气,然而毫米波雷达传感器的分辨率相对较低,它不能判断被识别目标的大小(特别是高度),也不能很好的感知行人,毫米波雷达传感器无法精确做到对所有周围的障碍物建模。由于单个传感器各自具有优缺点,因此需要多传感器融合系统,以提高信息冗余度和信息互补性,从而充分保证自动驾驶的安全性。
如图3所示,传感器模块20需要模拟的传感器基本包括:工业相机210、激光雷达传感器220、毫米波雷达传感器230、控制器局域网(CAN)总线传感器240、组合惯导传感器(GNSS与IMU传感器)250。根据本发明的实施例,传感器模块20包括用于模拟实际矿车上的相应的实际传感器的多个传感器,传感器模块20中的多个传感器可以分别采集模拟矿车MVE的传感器数据,并且分别配置有相应的实际传感器的当前传感器参数作为初始参数。
如上所述,传感器模块20在仿真环境下模拟多个传感器,以感测和采集模拟矿车MVE的传感器数据。作为示例,传感器模块20可以进一步包括与其各个传感器相对应的模拟通信接口,以实现将传感器数据实时传输至外部(即,域控制器200),从而进行传感器数据的存储和处理。具体地,由于各个传感器所获取的数据类型不同,因此需要以不同的协议进行解析并且传输,所以需要相应的模拟通信接口联接至域控制器200,以实现数据通信。此外,可选地,域控制器200还可以对所接收的传感器数据进行处理(例如融合),以基于经融合的传感器数据形成用于模拟矿车MVE的行驶指令,并且将指令下发至模拟矿车MVE。
作为示例,如图3所示,工业相机210和激光雷达传感器220可以通过以太网协议进行传输,并且经由网口与域控制器200通信。例如,以太网协议可以包括视频串行通讯III(FPD-Link III)或吉比特多媒体串行链路(GMSL)协议(例如用于工业相机)和数据报协议(UDP)数据包协议(例如用于激光雷达传感器)。毫米波雷达传感器230和CAN总线传感器240可以通过CAN总线协议进行传输,并且经由CAN口与域控制器200通信。例如,CAN总线协议可以包括CAN/ CANFD(高速CAN)协议。组合惯导传感器250可以通过RS232串口通信协议进行传输,并且经由RS232串口与域控制器200通信。
另一方面,对于传感器融合技术,传感器的参数之间的标定是多个传感器融合感知的前提和基础。多个传感器融合技术首先要标定多个传感器的参数,从而将各个传感器所采集的数据统一在一个坐标系内,以此进行融合。根据本发明的实施例,融合过程通常在仿真系统100之外的域控制器200中执行。
作为示例,图4A-4B示出了传感器的初始参数和标定参数。如图4A-4B所示,在标定过程之前,传感器(例如工业相机210)可以具有初始参数,例如(L1,L2)。所述初始参数可以是根据先前的标定测试过程而确定的参数,或者也可以是经由大量评估试验获得的基准数据集中的参数。然而,矿区的作业过程是一个动态的振动过程,随着时间推移,传感器的当前位置会与原位置产生偏移。因此,工业相机210的初始参数(L1,L2)可能无法再使图像数据P移动到期望位置,而是会存在偏差。
如图4A所示,以工业相机210为例进行描述。假设准备以初始参数(L1,L2)对工业相机210所获得的图像数据P进行融合处理,并且该融合处理的过程是期望基于传感器参数将图像数据P移动到坐标系R中的原点位置。然而,如图4A所示,初始参数(L1,L2)已经由于传感器的位置变动而变得不准确,所以图像数据P没有准确地移动至原点位置。此时,需要标定工具对工业相机210执行标定过程,从而获得标定参数,例如如图4B中所示的(L1’,L2’)。并且,如图4B所示,当基于标定参数(L1’,L2’)进行融合时,可以将图像数据P准确地移动至坐标系R中的原点位置。根据本发明的实施例,传感器的参数标定过程可以视为计算传感器的初始参数的偏移量的过程。在将标定工具所计算的偏移量并入初始参数之后,可以获得标定参数。
有利地,在获得工业相机210的标定参数(L1’,L2’)后,传感器模块20可以经由传感器各自的通信协议将各自的标定参数传输至域控制器200。由此,可以完成对实际无人驾驶矿车的传感器参数标定过程。换言之,为了确保无人驾驶矿车的控制准确性和稳定性,通常每隔一段时间要对各个传感器参数进行校准,以确保数据融合的可靠性。在传统方式中,仅能利用实际无人驾驶矿车执行标定测试来获得标定参数,由于这种标定测试可能会执行多次以确保数据的准确,因此不仅会损耗无人驾驶矿车的寿命,也会消耗人力物力、延迟项目研发进度。而根据本发明的实施例,这种标定测试过程可以远程地由仿真系统100执行。作为示例,当需要对实际矿车进行参数标定过程时,可以将该实际矿车中的各个实际传感器的参数配置到仿真系统100中,然后仿真系统100以所接收的参数作为初始参数执行标定过程。在获得标定参数(L1’,L2’)后,仿真系统100可以将所获得的标定参数以配置文件的形式传输至外部(例如域控制器200或实际矿车的服务器),从而用作所模拟的实际矿车的更新传感器参数,其中更新传感器参数不同于在标定之前的实际矿车的传感器参数。在这种情况下,在上述示例中,域控制器200可以基于标定参数(L1’,L2’)在坐标系R中移动实际矿车采集的图像数据P,从而将图像数据P准确定位在坐标系R中的期望位置,因此准确地进行融合,从而提高数据可靠性和系统鲁棒性。
应当注意,上述描述仅仅是用作示例,本发明的实施例不限于此,并且本发明可以具有更加复杂的情况,并且标定过程可以针对多于一个参数。
图5示出了根据本发明实施例的仿真系统100中的标定工具箱30。
传统的传感器标定方法是将待标定的参数分为内参和外参。其中,内参指的是传感器自身的参数,比如相机的焦距、雷达的带宽等。通常,内参可以直接从传感器厂商获取。外参主要指的是各个传感器间的位置关系。在本发明中,标定的任务主要是外参。即,本发明中的“参数”指的是传感器的外参,并且下文中提及的标定工具指的是用于标定传感器的外参的工具。
参数标定方法通常可分为无目标标定和基于目标标定。前者在仿真环境下进行没有限制,不需要特殊目标,而后者需要创建一个特殊的仿真环境(控制场),并有一个真实值目标。
基于目标的标定方法广泛应用于传感器标定过程中。基于目标的方法通常需要手动标定目标(如棋盘、多边形棋盘),这两种模式传感器都可以轻松检测。此外,基于目标的方法可以使用有关目标的先验知识,增强标定结果。目标方法比无目标方法更加精确。
但在某些情况下,基于目标的标定方法是不切实际的,这导致了无目标标定方法的发展。无目标方法比基于目标方法更方便,因为不需要设定特定目标。这些方法使用环境特征来完成传感器数据的对应。根据信息提取方法的不同,多个传感器无目标标定可分为三种方法:边缘配准法、互信息法和分割法。一些方法利用道路特征对多个传感器进行自动标定。
如图5所示,根据本发明的实施例,开发了包含一组丰富的各种传感器标定方法的标定工具箱30,其中涵盖自动无目标标定工具310、自动基于目标标定工具320、手动标定工具330、以及针对不同应用场景的在线标定工具340。作为示例,自动无目标标定工具310可以进一步包括激光雷达与工业相机标定工具、激光雷达与激光雷达标定工具。
作为示例,标定工具箱30中的标定工具可以以程序的形式存在于仿真系统100中,并且可选地,标定工具箱30可以存在于模拟矿车MVE的模拟服务器中。此外,根据本发明的实施例,标定工具箱30可以在仿真环境下从传感器模块20中直接获取传感器数据。这也使得相比于针对实际矿车进行标定的传统方法,省略了与域控制器200的通信过程,因此标定过程所涉及的部件被减少,从而实现不仅减少系统损耗,也加快了标定进程。
图6示出了根据本发明实施例的激光雷达与工业相机标定工具的标定过程的流程图。
激光雷达传感器和工业相机的精确标定是自动驾驶中最常见的标定方法之一。基于单目视觉的感知系统以较低的成本获得令人满意的性能,但不能提供可靠的三维(3D)几何信息。激光雷达传感器和工业相机融合感知是为了提高性能和可靠性。激光雷达传感器和工业相机融合的前提和假设是激光雷达传感器和工业相机之间的精确标定。因此开发了一种工具来自动标定矿区道路场景下的工业相机210和激光雷达传感器220。
根据本发明的实施例,激光雷达与工业相机标定工具采用了局域特征匹配的方法,即通过从激光雷达传感器和工业相机获得的传感器数据中提取一帧数据,并且基于该一帧数据执行标定过程。有利地,以这种方式,可以使得缩小标定所针对的传感器数据量,并且相应地可以简化标定过程的复杂性。同时,由于本发明的应用场景是矿区,而矿区的道路元素通常相对单一并且通常包括的是挡土墙和路标等线性特征,因此很容易从传感器数据中提取数据,并且基于一帧数据所获得的标定结果也具有可靠性。这使得根据本发明的激光雷达与工业相机标定工具的程序设计更为简单,同时没有降低计算能力的准确性。
根据本发明的激光雷达与工业相机标定工具的标定过程的执行步骤如下。
在步骤S601中,使工业相机210和激光雷达传感器220在仿真环境下采集一组矿区道路场景数据,以分别获得传感器数据。
在步骤S602中,利用局域特征匹配方法从所获得的传感器数据中提取数据。作为示例,可以首先确定用于提取数据的特征,然后分别从工业相机210中获得与该特征相对应的一帧图像数据,并且从激光雷达传感器220中获得与该特征相对应的一帧点云数据。在后续的步骤中,基于所提取的数据执行标定。作为示例,特定特征可以是矿区场景中的挡土墙和路标等线性特征。
在步骤S603中,获取激光雷达传感器220的初始参数。激光雷达与工业相机的标定过程是求解激光雷达坐标系到工业相机坐标系的参数的过程。因此,标定工具会寻找使点云数据成功投影到图像数据的参数。作为示例,标定工具首先获得激光雷达传感器220的初始参数,并且基于该初始参数对点云数据进行投射,以获得初始对准结果。在后续步骤中,基于该初始对准结果计算使点云数据与图像数据成功投影(即准确对准)的偏移量。作为示例,激光雷达传感器220的初始参数可以包括旋转矩阵和平移向量。
在步骤S604中,设置第一代价函数来计算激光雷达传感器220的初始参数的偏移量。在针对激光雷达传感器220的点云数据的投影匹配中,通常将点云数据的不连续边界和图像数据中的边界进行匹配。因为点云数据是三维数据,而图像数据是二维数据,因此将点云数据投影到当前帧下的图像数据中会应用到距离逆变换(Inverse distancetransform,IDT)算法。通过IDT算法,可以设置与偏移量以及图像数据和点云数据中的相应点之间的匹配度有关的第一代价函数。
作为示例,可以针对图像数据中的边界像素点和点云数据中的相对应的点应用所述第一代价函数。当两个点的距离越接近时,权重越大,以此来奖励点云数据中的点和图像数据中的像素点的匹配度。由此,可以根据第一代价函数,以不同的偏移量计算出多个结果值。当第一代价函数取得最大的结果值时,表示图像数据和点云数据中的相应点的相关性(即匹配度)最大,即距离最近,因此匹配结果最好。由此,可以获得相应的偏移量作为标定结果。IDT相对于传统暴力搜索的方法,可避免局部最优解的问题。
图7示出了根据本发明实施例的激光雷达与激光雷达标定工具的标定过程的流程图。
在自动驾驶中,激光雷达传感器扮演着重要的角色,激光雷达传感器可以实时获取周围环境的3D结构信息,它一般可以构建自动驾驶的高精度地图,定位、障碍物检测、跟踪和预测。在矿车上安装单个激光雷达传感器无法覆盖矿车车身周围区域,或者无法满足盲点监控的需要。因此,有必要适当增加激光雷达传感器的数量以增加可视范围(FOV)。对于多个激光雷达传感器的数据融合,需要对多个激光雷达传感器的传感器坐标系进行参数标定,获得每个坐标的精确旋转和平移参数(例如旋转矩阵和平移向量),以便后续数据处理。在本文中,以两个激光雷达传感器作为示例进行描述,然而本发明的实施例不限于此。
根据本发明的激光雷达与激光雷达标定工具的标定过程的执行步骤如下。
在步骤S701中,分别获得两个激光雷达传感器的点云数据,即第一组点云和第二组点云。
在步骤S702中,对两个激光雷达传感器进行地平面配准,并且基于所配准的地平面的法线估计两个激光雷达传感器各自的初始参数。
具体地,将第一组点云和第二组点云中的包含最多点的最大平面被视为地平面GP:{a, b, c, d}:
Figure 342231DEST_PATH_IMAGE003
其中,(x i , y i , z i )表示点云中的点;ax i +by i +cz i +d表示平面方程;a, b, c分别表示平面在x, y, z三轴上的截距;d为偏移量;plane表示当前平面为地平面;ε表示任意最小值。
然后,所述地平面可以用于将第一激光雷达地平面
Figure DEST_PATH_IMAGE004
与第二激光雷达地平面
Figure 325231DEST_PATH_IMAGE005
对齐:
Figure DEST_PATH_IMAGE006
其中,
Figure 172970DEST_PATH_IMAGE007
表示地平面法线,θ表示水平偏移角度。并且其中,可以将
Figure 659446DEST_PATH_IMAGE007
θ代入罗德 里格斯公式来计算旋转矩阵,从而可以估计初始参数。罗德里格斯公式可以为:
Figure DEST_PATH_IMAGE008
其中,
Figure 13067DEST_PATH_IMAGE009
表示原向量;
Figure DEST_PATH_IMAGE010
表示旋转后得到的向量。
Figure 109461DEST_PATH_IMAGE007
θ在该阶段中可以用于校准从 第一激光雷达传感器和第二激光雷达传感器采集到的非地平面点云数据。经过罗德里格斯 公式计算,可以估计初始参数。作为示例,初始参数可以包括转角、俯仰角和z轴平移度。此 外,当估计俯仰/翻滚角与实际俯仰/翻滚角之间的差值为
Figure 105099DEST_PATH_IMAGE011
时,可能会出现极端情况。因 此,该方法需要在标定后检查平面的大多数点是否在地平面上。
以这种方式,在配准两个激光雷达传感器的地平面之后,可以确定各自的非地平面点云,然后基于地平面法线和所确定的非地平面点云位置,利用罗德里格斯公式初始地估计出两个激光雷达传感器各自的初始参数。进一步地,该标定工具可以基于所估计的初始参数,在相同坐标系中进行初始对准,以获得两个激光雷达传感器的非地面点云在该坐标系中的坐标。在之后的步骤中,可以基于所获得的坐标计算偏移量。
在步骤S703中,利用第二代价函数计算第一激光雷达传感器或第二激光雷达传感器的偏移量。根据本发明的实施例,该第二代价函数可以为:
Figure DEST_PATH_IMAGE012
其中,(x s , y s )和(x m , y m )分别为两个激光雷达传感器中的非地面点云中的两个最近的点的坐标;angle * yaw 为传感器偏航角(即激光雷达传感器偏航角);x * 和y * 分别是x方向上的偏移量和y方向上的偏移量。
由于数据的对准过程通常是以其中一个为基准来移动另一个,因此对于两个激光雷达传感器,可以选择其中一个激光雷达传感器(例如第一激光雷达传感器)作为基准,并且选择移动另一个激光雷达传感器(例如第二激光雷达传感器)来进行对准。由此,计算偏移量的过程仅针对两个激光雷达传感器中的一个执行。
作为示例,该标定工具可以获取在上述的初始配准中的非地面点云的坐标,并且确定两个激光雷达传感器中的非地面点云中的两个最近的点,以及这两个点的坐标,例如(x s , y s )(x m , y m )。此后,利用该第二代价函数,可以遍历地将激光雷达传感器的偏航角代入第二代价函数中,来计算所述两个最近的点之间的距离。并且由此,获得所计算的距离之中的最小距离,并且将与该最小距离相对应的传感器偏航角angle * yaw 作为用于校准初始参数的偏移量。
可选地,激光雷达与激光雷达标定工具的标定过程可以进一步包括步骤S704,以对所获得的标定参数进一步优化精度。
在步骤S704中,可以采用NIPC算法和八叉树算法进一步优化。作为示例,假设由于点云的稀疏性,点云特征不明确而难以提取。NIPC包含点云中的每个点的法线和扩展每个点的感受野,可以丰富点云特征。此外,继续使用基于八叉树的优化来最小化姿态误差。由于NIPC算法和八叉树算法属于本领域中用于优化标定精度的常规算法,因此在本文中不做过多赘述。
另一方面,根据本发明实施例的标定工具箱30的自动无目标标定工具还包括IMU航向标定工具和激光雷达传感器与IMU标定工具。
IMU航向标定工具
IMU航向标定工具旨在纠正IMU与车辆之间的前向安装误差。因此,本发明仅标定 IMU的偏航角,以对齐方向,其表示为
Figure 101874DEST_PATH_IMAGE013
。从每个时间戳的行驶路线导出矿车的方向,即
Figure DEST_PATH_IMAGE014
。估计的驾驶方向和测量的IMU偏航角
Figure 49233DEST_PATH_IMAGE015
之间的偏移量就是标定参数。
基于传感器定位数据,采用b-spline方法对驾驶路线进行平滑处理。此外,并非使用一次行驶行程的所有数据,仅选择直线行驶路线进行标定。删除快速改变行驶方向(如U形弯)的数据,可以获得实时真实偏航角的精确近似值。标定公式即:
Figure DEST_PATH_IMAGE016
其中,l为当前选择直线路段 ;并且S l 为当前行驶范围内直线路段的集合。
激光雷达传感器与IMU标定工具
激光雷达传感器与IMU标定工具也是自动驾驶常用的标定方法之一,其标定精度对激光雷达测绘和定位模块有很大影响。通常,激光雷达传感器的参数标定到IMU时,通过判断激光雷达传感器的局部地图是否良好来判断精度。标定过程是通过滑动窗口构造的局部地图,求解从激光雷达传感器到IMU的参数。通过使用最小化协方差矩阵特征值,将特征点分布在局部地图的同一条边或平面上。该方法通过最小化协方差矩阵的特征值来最小化特征点到特征平面或边线的距离和,并进行优化达到从激光雷达传感器到IMU的参数标定目的。BA算法最小化每个平面的特征点到平面的距离,BA算法的公式如下:
Figure 272404DEST_PATH_IMAGE017
其中,p i 表示待优化的窗口在局部地图上的投影点;N表示投影点的个数;n表示平面法向量;n*表示优化后的特征法向量;T*表示优化后的位姿;T表示优化前的位姿;q是某个特征上的一个点(边缘线或平面上);q*表示优化后的特征点位置。N,q可以写成位姿T的函数,优化后同理。
优化后的特征点位置和特征法向量(方向向量)可以写成姿态T的函数,因此只有姿态T需要优化。自适应体素化算法可以加速搜索相对应的特征。假设可以使用不同扫描的粗略初始状态(可以从LOAM里程计(一种激光雷达SLAM(同步定位及建图)算法)得到),从默认大小(诸如1m)重复对3D空间进行体素化,如果当前体素的所有特征点(来自所有扫描)位于平面或边线上(通过检查协方差矩阵的特征值),则当前体素将与包含的特征点一起保存在内存中。否则,当前体素将分成八份,并继续检查每个八分之一,直到达到最小尺寸(诸如0.125m)。自适应体素化算法生成体素图,其中不同的体素可能具有适应环境的不同大小。
该方法可以获得激光雷达在世界坐标系中任何时间t的姿态,并且可以通过以下公式获得所需的粗略初始参数:
Figure DEST_PATH_IMAGE018
其中,I表示IMU(惯性测量单元)传感器坐标系;L表示Lidar(激光雷达)传感器坐 标系;
Figure 337312DEST_PATH_IMAGE019
表示从IMU坐标系到Lidar传感器坐标系的旋转矩阵;
Figure DEST_PATH_IMAGE020
表示从IMU坐标系到Lidar 传感器坐标系的平移向量;T(t)表示t时刻世界坐标系下激光雷达的位姿;M表示矿车上定 义的主轴坐标系。
由于偏移量对系统的影响随时间而逐渐增大,因此局部制图优化进一步校正偏移量。滑动窗口的第一个帧表示为P帧,当前帧表示为O帧。根据坐标链规则,激光雷达坐标之间的转换关系为:
Figure 391855DEST_PATH_IMAGE021
据此构建局部地图。建立局部地图后,进一步搜索每个激光点云帧与当前帧至后续帧所限定的局部地图之间的对应关系,以保证点云地图不出现局部断层,通过当前帧的点云与前后两帧的点云数据做对比保证局部地图是通过连续帧点云数据建立的。
另外,下文还对根据本发明实施例的标定工具箱30中可以包括的其他标定工具进行描述。
手动无目标标定工具
手动标定是自动驾驶车辆最简单的标定方法。虽然与其他方法相比,其原理和实现过程相对简单,但如果在这些方法上花费足够的时间,则可以获得高精度和可靠性的标定结果。早期的手动标定方法依赖于棋盘格或普通边框等目标,校准过程通常在定制的标定屋中进行。然而,这种复杂的设置对于小型自动驾驶公司和个体来说成本显得高昂。
本发明的标定工具箱可以为模拟矿车提供四种手动标定工具。即,1)激光雷达与工业相机标定工具、2)激光雷达与激光雷达标定工具、3)毫米波雷达与激光雷达标定工具、4)毫米波雷达与工业相机标定工具。参数可以在用户友好的控制面板中进行调整,或者可以将键盘作为控制输入来实现标定。
自动基于目标标定工具
根据本发明的自动基于目标标定工具包括基于目标的激光雷达与工业相机标定方法,其依赖于观测放置在传感器系统前面的人工标定目标,同时由两个传感器获取特征点的位置。对于激光雷达与工业相机标定,通常是先标定工业相机的内参,然后标定激光雷达和工业相机的外参。
在线标定工具
1. 工业相机与IMU标定工具
工业相机和IMU之间的在线标定包括时域标定和参数标定。在线标定过程中,需要一组矿车行驶过程中的图像帧数据和IMU测量数据。在第一组帧,用跟踪相关方法执行时域标定。然后,工业相机和IMU之间的时域标定可以表示为:
Figure DEST_PATH_IMAGE022
其中,td表示标定前工业相机和IMU之间的时间偏移估计;td*表示标定后工业相机和IMU之间的最优时间偏移估计;τ表示时间偏移的集合;
Figure 775694DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE024
表示
Figure 345216DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE026
之间的跟踪相关性,
Figure 89181DEST_PATH_IMAGE027
表示两帧之间的工业相机角速度;
Figure 889909DEST_PATH_IMAGE025
表示IMU的平均角速度。
时域标定的原因是工业相机和IMU数据采集的频率不同,并且由于不同硬件系统的触发延时、传输延时和没有精确同步时钟的问题,在某一时刻,真实采集到的工业相机数据和IMU数据存在偏差。
在获得时域标定结果后,进行数据对齐。下一步是旋转标定。其中,工业相机的从i 帧到i+1帧的旋转表示为
Figure DEST_PATH_IMAGE028
,IMU从i帧到i+1帧的旋转表示为
Figure 21813DEST_PATH_IMAGE029
,工业相机和IMU之间的 旋转表示为RIC。然后,旋转标定可以表示为:
Figure DEST_PATH_IMAGE030
最后一步是平移标定,将工业相机从i帧到i+1帧的平移表示为
Figure 78631DEST_PATH_IMAGE031
,将IMU从i帧到i+1帧的平移表示为
Figure DEST_PATH_IMAGE032
,而工业相机和IMU之间的平移表示为
Figure 360708DEST_PATH_IMAGE033
,则平移标定可以表示 为:
Figure DEST_PATH_IMAGE034
2. 激光雷达与IMU标定工具
激光雷达对IMU的在线标定类似于工业相机对IMU的标定,用LOAM的前端作为激光 雷达里程计,然后将激光雷达数据与IMU数据对齐。最后,使用类似的方法得到激光雷达对 IMU的在线标定结果。激光雷达从i帧到i+1帧的旋转表示为
Figure 800961DEST_PATH_IMAGE035
,IMU从i帧到i+1帧的旋转 表示为
Figure DEST_PATH_IMAGE036
,工业相机和IMU之间的旋转表示为
Figure 244712DEST_PATH_IMAGE037
。然后,旋转标定可以表示为:
Figure DEST_PATH_IMAGE038
最后一步为平移标定。将工业相机从i帧到i+1帧的平移表示为
Figure 647880DEST_PATH_IMAGE039
,将IMU从i帧到i+1帧的平移表示为
Figure DEST_PATH_IMAGE040
,而工业相机和IMU之间的平移表示为
Figure 468069DEST_PATH_IMAGE041
,那么平移标定可以表示 为:
Figure DEST_PATH_IMAGE042
3. 毫米波雷达与矿车标定工具
该标定工具主要是对毫米波雷达偏航角进行标定,该问题分为三个步骤:粗略标定、静态目标识别和曲线拟合。
在第一步中,将雷达测量数据表示为
Figure 508968DEST_PATH_IMAGE043
,其中V i 表示目标相对于多 普勒原理测量的雷达径向速度,angle i 表示目标与雷达坐标系之间的角度,distance i 表示 目标与矿车之间的距离。
直接在矿车前方找到目标进行粗略标定,然后雷达测量角度angle i 就是偏航的结果。下一步是检测静态目标,因为静态目标满足以下等式:
Figure DEST_PATH_IMAGE044
其中,V e 表示无人矿车的行驶速度;yaw表示毫米波雷达偏航角。
在找到所有帧的静态目标后,最后一步是拟合cos函数曲线,这样可以得到更精确的标定结果。
在本文中,“自动标定”是由程序自动计算标定参数,“手动标定”是通过人工使用模拟的手动标定工具实施标定过程,从而获得标定参数。“在线标定”是在仿真系统运行中对实时采集到的数据进行标定。其中,自动标定可以选择所采集数据中的数据集进行标定,不一定需要采集实时数据,而在线标定通过采集的实时数据进行标定。此外,根据本发明的实施例,在标定过程中,可以选择标定工具箱30中的一种或多种标定工具进行标定过程。在优选实施例中,选择标定工具箱30中的一种标定工具进行标定过程。
图8示出了根据本发明的仿真系统1000的操作方法的流程图。如图8所示,仿真系统1000的操作方法包括:
在步骤S1001中,使模拟矿车MVE在所指定的模拟矿区路段中行驶。
在步骤S1002中,获取由传感器模块20中包括的多个传感器采集的传感器数据。
在步骤S1003中,选择标定工具箱30中包括的至少一种标定工具,对相应的传感器执行参数标定过程。根据本发明的实施例,所述参数标定过程包括,获取传感器的初始参数,并且利用标定工具计算初始参数的偏移量,以获得标定参数。作为示例,标定工具可以通过设计第一代价函数或第二代价函数来计算初始参数的偏移量。
在步骤S1004中,传感器模块20将所获得的标定参数以通信方式传输至域控制器200或者所模拟的实际矿车,以作为所模拟的实际矿车的更新传感器参数。
此后,域控制器200可以将所接收的更新传感器参数用于实际矿车。即,在仿真环境下的标定过程结束之后,在实际矿车行驶期间,域控制器200可以基于更新传感器参数对从实际矿车传输的多个传感器数据进行融合处理,以获得可靠准确的矿区环境3D信息。然后,可以基于所获得的矿区环境3D信息形成矿车指令,以下发至实际矿车。
有利地,根据本发明的上述各种实施例所述的仿真系统100及其操作方法,可以提供一种能够在仿真环境下结合丰富的传感器标定工具进行参数标定的仿真系统。相比传统的用于实际矿车传感器的参数手动标定,在仿真场景下通过模拟传感器数据和不同需求的环境信息,结合丰富的传感器外参标定工具,可以在短时间内完成矿车传感器参数的联合标定,并基于仿真环境进行快速验证,在达到要求后进行实车部署。在车辆运行环境较差的场景下,可以避免频繁传感器外参标定造成的人力物力损失,加速项目更新迭代。
根据本发明的实施例,本发明还提供了一种可读存储介质。在一些实施例中,该可读存储介质可以是一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一实施例所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (17)

1.一种用于无人驾驶矿车的仿真系统,所述仿真系统用于形成所述无人驾驶矿车的仿真环境,其特征在于,所述仿真系统包括:
矿车模块,创建模拟矿车,以模拟实际矿车的行驶过程;
传感器模块,包括模拟所述实际矿车上的实际传感器的多个传感器,所述传感器模块中的所述多个传感器分别采集所述模拟矿车的传感器数据,并且分别配置有相应的实际传感器的当前传感器参数作为初始参数;
标定工具箱,包括至少一种标定工具,所述标定工具直接从所述传感器模块获取所采集的传感器数据,并且对所述传感器模块中的所述多个传感器中的相应传感器的所述初始参数执行标定过程,以获得相应传感器的标定参数;
其中,所述传感器模块以通信方式向外部传输所述标定参数,以作为所模拟的实际矿车的更新传感器参数,所述实际矿车的更新传感器参数不同于所述实际矿车的当前传感器参数;
其中,所述标定过程包括基于所述传感器数据,利用所述标定工具计算传感器的初始参数的偏移量,并且将所述偏移量并入所述初始参数以获得所述标定参数。
2.根据权利要求1所述的仿真系统,其特征在于,所述传感器模块中的所述多个传感器包括工业相机、激光雷达传感器、控制器局域网总线传感器、毫米波雷达传感器、以及组合惯导传感器。
3.根据权利要求2所述的仿真系统,其特征在于,所述标定工具箱包括自动无目标标定工具,所述自动无目标标定工具包括激光雷达与工业相机标定工具和激光雷达与激光雷达标定工具。
4.根据权利要求3所述的仿真系统,其特征在于,所述激光雷达与工业相机标定工具针对激光雷达传感器和工业相机的各自传感器数据中的一帧数据执行所述标定过程,其中通过局域特征匹配方法以特定特征分别从所述激光雷达传感器和所述工业相机的传感器数据中各自提取一帧数据,并且在所述标定过程期间,对所提取的数据应用第一代价函数,以计算所提取的数据中的相应点的接近度,来获得与最大的接近度相对应的偏移量。
5.根据权利要求3所述的仿真系统,其特征在于,所述激光雷达与激光雷达标定工具针对两个激光雷达传感器的经校准的非地面点云执行所述标定过程,并且在所述标定过程期间,在确定所述两个激光雷达传感器中的非地面点云中的两个最近的点的坐标之后,应用第二代价函数计算使所述两个最近的点之间的距离最小的传感器偏航角作为偏移量;
其中,所述第二代价函数为:
Figure QLYQS_1
其中,(x s , y s )(x m , y m )分别为两个激光雷达传感器中的非地面点云中的两个最近的点的坐标;angle * yaw 为传感器偏航角;x * y * 分别是x方向上的偏移量和y方向上的偏移量。
6.根据权利要求3所述的仿真系统,其特征在于,所述标定工具箱还包括手动无目标标定工具、自动基于目标标定工具、以及在线标定工具,并且所述自动无目标标定工具还包括惯性测量单元导航标定工具以及激光雷达与惯性测量单元标定工具。
7.根据权利要求1所述的仿真系统,其特征在于,所述传感器模块还包括与所述传感器模块中的所述多个传感器相对应的多种模拟通信接口,所述传感器数据通过相应的模拟通信接口被传输至所述外部。
8.根据权利要求7所述的仿真系统,其特征在于,所述多种模拟通信接口包括网口、控制器局域网口和串口。
9.一种利用无人驾驶矿车的仿真系统对传感器参数进行标定的方法,所述仿真系统用于形成所述无人驾驶矿车的仿真环境并且包括矿车模块、传感器模块和标定工具箱,其特征在于,所述方法包括:
由所述矿车模块创建模拟矿车,以模拟实际矿车的行驶过程;
由所述传感器模块中包括的多个传感器分别采集所述模拟矿车的传感器数据,所述传感器模块中的所述多个传感器模拟所述实际矿车上的实际传感器,并且分别配置有相应的实际传感器的当前传感器参数作为初始参数;
由所述标定工具箱中包括的至少一种标定工具直接从所述传感器模块获取所采集的传感器数据,并且对所述传感器模块中的所述多个传感器中的相应传感器的初始参数执行标定过程,以获得相应传感器的标定参数;并且
以通信方式向外部传输所述标定参数,以作为所模拟的实际矿车的更新传感器参数,所述实际矿车的更新传感器参数不同于所述实际矿车的当前传感器参数;
其中,所述标定过程包括基于所述传感器数据,利用所述标定工具计算传感器的初始参数的偏移量,并且将所述偏移量并入所述初始参数以获得所述标定参数。
10.根据权利要求9所述的方法,其特征在于,所述传感器模块中的所述多个传感器包括工业相机、激光雷达传感器、控制器局域网总线传感器、毫米波雷达传感器、以及组合惯导传感器。
11.根据权利要求10所述的方法,其特征在于,所述标定工具箱包括自动无目标标定工具,所述自动无目标标定工具包括激光雷达与工业相机标定工具和激光雷达与激光雷达标定工具。
12.根据权利要求11所述的方法,其特征在于,所述激光雷达与工业相机标定工具针对激光雷达传感器和工业相机的各自传感器数据中的一帧数据执行所述标定过程,其中通过局域特征匹配方法以特定特征分别从所述激光雷达传感器和所述工业相机的传感器数据中各自提取一帧数据,并且在所述标定过程期间,对所提取的数据应用第一代价函数,以计算所提取的数据中的相应点的接近度,来获得与最大的接近度相对应的偏移量。
13.根据权利要求11所述的方法,其特征在于,所述激光雷达与激光雷达标定工具针对两个激光雷达传感器的经校准的非地面点云执行所述标定过程,并且在所述标定过程期间,在确定所述两个激光雷达传感器中的非地面点云中的两个最近的点的坐标之后,应用第二代价函数计算使所述两个最近的点之间的距离最小的传感器偏航角作为偏移量;其中,所述第二代价函数为:
Figure QLYQS_2
其中,(x s , y s )(x m , y m )分别为两个激光雷达传感器中的非地面点云中的两个最近的点的坐标;angle * yaw 为传感器偏航角;x * y * 分别是x方向上的偏移量和y方向上的偏移量。
14.根据权利要求11所述的方法,其特征在于,所述标定工具箱还包括手动无目标标定工具、自动基于目标标定工具、以及在线标定工具,并且所述自动无目标标定工具还包括惯性测量单元导航标定工具以及激光雷达与惯性测量单元标定工具。
15.根据权利要求9所述的方法,其特征在于,所述传感器模块还包括与所述传感器模块中的所述多个传感器相对应的多种模拟通信接口,所述传感器数据通过相应的模拟通信接口被传输至所述外部。
16.根据权利要求15所述的方法,其特征在于,所述多种模拟通信接口包括网口、控制器局域网口和串口。
17.一种存储有计算机指令的计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求9-16中任一项所述的方法。
CN202211502792.3A 2022-11-29 2022-11-29 用于无人驾驶矿车的仿真系统、方法以及存储介质 Active CN115562076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211502792.3A CN115562076B (zh) 2022-11-29 2022-11-29 用于无人驾驶矿车的仿真系统、方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211502792.3A CN115562076B (zh) 2022-11-29 2022-11-29 用于无人驾驶矿车的仿真系统、方法以及存储介质

Publications (2)

Publication Number Publication Date
CN115562076A CN115562076A (zh) 2023-01-03
CN115562076B true CN115562076B (zh) 2023-03-14

Family

ID=84769974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211502792.3A Active CN115562076B (zh) 2022-11-29 2022-11-29 用于无人驾驶矿车的仿真系统、方法以及存储介质

Country Status (1)

Country Link
CN (1) CN115562076B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117269939B (zh) * 2023-10-25 2024-03-26 北京路凯智行科技有限公司 用于传感器的参数标定系统、方法及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506830A (zh) * 2017-06-20 2017-12-22 同济大学 面向智能汽车规划决策模块的人工智能训练平台
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN110926827A (zh) * 2019-11-30 2020-03-27 河南科技大学 一种整车控制参数自动优化标定系统
CN110987464A (zh) * 2019-11-08 2020-04-10 同济大学 一种用于车辆在环测试的传感器测试环境舱及测试方法
CN113091999A (zh) * 2021-04-01 2021-07-09 燕山大学 一种足式机器人腿部一维力传感器标定方法及系统
WO2022141294A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 仿真测试方法、系统、仿真器、存储介质及程序产品
CN114895574A (zh) * 2022-04-06 2022-08-12 北京路凯智行科技有限公司 用于无人驾驶矿车的仿真系统、方法以及存储介质
CN114972530A (zh) * 2022-05-17 2022-08-30 中国第一汽车股份有限公司 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
CN115291537A (zh) * 2022-07-12 2022-11-04 昆明云内动力股份有限公司 一种虚拟标定测试方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506830A (zh) * 2017-06-20 2017-12-22 同济大学 面向智能汽车规划决策模块的人工智能训练平台
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN110987464A (zh) * 2019-11-08 2020-04-10 同济大学 一种用于车辆在环测试的传感器测试环境舱及测试方法
CN110926827A (zh) * 2019-11-30 2020-03-27 河南科技大学 一种整车控制参数自动优化标定系统
WO2022141294A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 仿真测试方法、系统、仿真器、存储介质及程序产品
CN113091999A (zh) * 2021-04-01 2021-07-09 燕山大学 一种足式机器人腿部一维力传感器标定方法及系统
CN114895574A (zh) * 2022-04-06 2022-08-12 北京路凯智行科技有限公司 用于无人驾驶矿车的仿真系统、方法以及存储介质
CN114972530A (zh) * 2022-05-17 2022-08-30 中国第一汽车股份有限公司 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
CN115291537A (zh) * 2022-07-12 2022-11-04 昆明云内动力股份有限公司 一种虚拟标定测试方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于双平行平面的激光雷达和摄像机标定方法;彭梦等;《中南大学学报(自然科学版)》;20121226;第43卷(第12期);第4735-4742页 *
虚拟车辆电子控制模块标定及验证系统;闵益峰;《控制工程》;20110920;第18卷;第125-127页 *

Also Published As

Publication number Publication date
CN115562076A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN109709801B (zh) 一种基于激光雷达的室内无人机定位系统及方法
CN112347840B (zh) 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
KR20210111180A (ko) 위치 추적 방법, 장치, 컴퓨팅 기기 및 컴퓨터 판독 가능한 저장 매체
Lin et al. A decentralized framework for simultaneous calibration, localization and mapping with multiple LiDARs
CN112698306A (zh) 一种多激光雷达结合相机解决地图构建盲区的系统和方法
CN105260988A (zh) 一种高精地图数据的处理方法和装置
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN112967392A (zh) 一种基于多传感器触合的大规模园区建图定位方法
CN111077907A (zh) 一种室外无人机的自主定位方法
AU2022209224A1 (en) Map construction method, apparatus and storage medium
CN113537046A (zh) 基于检测车辆轨迹大数据的地图车道线标注方法及系统
CN115562076B (zh) 用于无人驾驶矿车的仿真系统、方法以及存储介质
Heng Automatic targetless extrinsic calibration of multiple 3D LiDARs and radars
CN114018248A (zh) 一种融合码盘和激光雷达的里程计方法与建图方法
CN112068152A (zh) 使用3d扫描仪同时进行2d定位和2d地图创建的方法和系统
Soheilian et al. Generation of an integrated 3D city model with visual landmarks for autonomous navigation in dense urban areas
CN115930977A (zh) 特征退化场景的定位方法、系统、电子设备和可读存介质
Li et al. Aerial-triangulation aided boresight calibration for a low-cost UAV-LiDAR system
Hussnain et al. Enhanced trajectory estimation of mobile laser scanners using aerial images
CN117387604A (zh) 基于4d毫米波雷达和imu融合的定位与建图方法及系统
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
CN109901589B (zh) 移动机器人控制方法和装置
Hsu et al. New integrated navigation scheme for the level 4 autonomous vehicles in dense urban areas
Jiménez et al. LiDAR-based SLAM algorithm for indoor scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant