CN115267751A - 传感器标定方法、装置、车辆及存储介质 - Google Patents
传感器标定方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN115267751A CN115267751A CN202210996491.4A CN202210996491A CN115267751A CN 115267751 A CN115267751 A CN 115267751A CN 202210996491 A CN202210996491 A CN 202210996491A CN 115267751 A CN115267751 A CN 115267751A
- Authority
- CN
- China
- Prior art keywords
- pose
- coordinate system
- point cloud
- sensor
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims description 61
- 238000005259 measurement Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 238000002790 cross-validation Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请涉及传感器标定方法、装置、车辆及存储介质。该传感器标定方法包括:基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,第一位姿是设置在移动平台上的标定传感器在第一坐标系下的位姿,第二位姿是设置在移动平台上的待标定传感器在第二坐标系下的位姿;基于地面检测确定第一坐标系和第二坐标系之间的第二外参;如果第一外参和第二外参相匹配,则基于第一外参和/或第二外参标定待标定传感器。本申请提供的方案,能够有效提升在线标定传感器的标定结果的准确度。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种传感器标定方法、装置、车辆及存储介质。
背景技术
雷达能够发现目标并测定其空间位置。激光雷达具有成本合理、分辨率率高、抗干扰能力强、低空探测性能好、轻便灵活等优点,广泛应用于辅助驾驶、自动驾驶等技术领域。
激光雷达采集到障碍物的位置信息后,可以根据激光雷达在车辆坐标系中的位置,得到障碍物和车辆之间的相对位置关系。该相对位置关系的准确性部分地依赖于激光雷达在车辆坐标系中位置的准确性。因此,在安装激光雷达后,需要标定激光雷达的外参。
相关技术中可以采用离线标定的方式对雷达进行标定,不适用于在线标定过程,如无法保证在线标定结果的准确度。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种传感器标定方法、装置、车辆及存储介质,能够有效提升在线标定结果的准确度。
本申请一方面提供一种传感器标定方法,包括:基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,第一位姿是设置在移动平台上的标定传感器在第一坐标系下的位姿,第二位姿是设置在移动平台上的待标定传感器在第二坐标系下的位姿;基于地面检测确定第一坐标系和第二坐标系之间的第二外参;如果第一外参和第二外参相匹配,则基于第一外参和/或第二外参标定待标定传感器。
在一种实施方式中,待标定传感器包括激光雷达,激光雷达采集多帧点云。相应地,基于地面检测确定第一坐标系和第二坐标系之间的第二外参,包括:基于多帧点云拟合地平面;确定拟合地平面的法向量;基于法向量计算第一坐标系和第二坐标系之间的第二外参,第二外参包括翻滚角、俯仰角和高度中至少一种。
在一种实施方式中,基于多帧点云拟合地平面,包括:利用第一方式在全量点云中拟合地平面,得到具有第一粗糙度的地平面点云;基于具有第一粗糙度的地平面点云,利用第二方式拟合地平面,得到具有第二粗糙度的地平面点云,第二粗糙度比第一粗糙度精细。
在一种实施方式中,待标定传感器包括激光雷达,激光雷达采集多帧点云;第二位姿通过如下方式确定:对于激光雷达采集的多帧点云中的至少部分帧,对位于起始帧和结束帧之间的相邻帧的位姿差异进行累加,得到第二位姿,其中,相邻帧的位姿差异通过如下方式确定:利用一帧的相对位姿对一帧的点云进行运动补偿,得到消除畸变后的一帧的点云;分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征;通过线面特征配准得到待标定传感器在上一帧和当前帧之间的位姿差异。
在一种实施方式中,上述方法还包括:对于一帧点云,确定一帧点云中与运动物体对应的点云;去除一帧点云中与运动物体对应的点云;分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征,包括:从消除畸变并且去除运动物体后的上一帧的点云和当前帧的点云中,分别提取线面特征。
在一种实施方式中,去除一帧点云中与运动物体对应的点云,包括:从一帧点云中删除第一特定物体的点云,第一特定物体包括可移动物体;或者从一帧点云中获得第二特定物体的点云,第二特定物体包括固定物体。
在一种实施方式中,基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,包括:基于时间戳对齐包括第一位姿的第一位姿队列和包括第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿;通过由粗到细的方式调整经对齐的第一位姿和/或经对齐的第二位姿,以减小经对齐的第一位姿和第二位姿之间的差值,得到第一坐标系与第二坐标系之间的第一外参,第一外参包括俯仰角或者偏航角中至少一种。
在一种实施方式中,基于时间戳对齐包括第一位姿的第一位姿队列和包括第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿,包括:使用第二位姿队列的时间戳在第一位姿队列中插值对应的第二位姿。
在一种实施方式中,标定传感器包括惯性测量单元(Inertial MeasurementUnit,简称IMU)或者惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统;当标定传感器包括惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统时,第一位姿通过如下方式确定:对惯性测量单元采集的数据以及轮速计、方向盘传感器或者定位系统中至少一种采集的数据进行卡尔曼滤波,得到第一位姿。
本申请另一方面提供一种传感器标定装置,包括:外参确定模块、地面检测模块和交叉标定模块。其中,外参确定模块用于基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,第一位姿是设置在移动平台上的标定传感器在第一坐标系下的位姿,第二位姿是设置在移动平台上的待标定传感器在第二坐标系下的位姿;地面检测模块用于基于地面检测确定第一坐标系和第二坐标系之间的第二外参;交叉标定模块用于如果第一外参和第二外参相匹配,则基于第一外参和/或第二外参标定待标定传感器。
本申请另一方面提供一种车辆,包括:车身主体;激光雷达,设置于车身主体,用于采集点云;处理器,与激光雷达耦接,用于接收点云;存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述的方法。
本申请另一方面提供一种计算机可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上的方法。
本申请另一方面提供一种计算机程序产品,包括可执行代码,当可执行代码被执行时,实现如上的方法。
本申请提供的技术方案可以包括以下有益效果:
本申请实施例的技术方案,基于同一对象在第一坐标系的第一位姿和该同一对象在第二坐标系的第二位姿之间的差异,确定第一坐标系和第二坐标系之间的第一外参。此外,基于地面检测算法确定第一坐标系和第二坐标系之间的第二外参。如果分别依据不同方法计算的第一外参和第二外参相匹配,则表明第一外参的可靠性较高,可以基于该第一外参和/或第二外参标定待标定传感器,有效提升了待标定传感器的标定结果的可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请一实施例示出的可以应用传感器标定方法、装置、车辆及存储介质的一种示例性系统架构;
图2是本申请一实施例示出的车辆、激光雷达和IMU的结构示意图;
图3是本申请一实施例示出的传感器标定方法的流程图;
图4是本申请一实施例的对齐基于不同传感器确定的位姿的示意图;
图5是本申请一实施例的传感器标定过程的数据流图;
图6是本申请另一实施例的传感器标定过程的数据流图;
图7是本申请一实施例的交叉验证过程的示意图;
图8是本申请另一实施例示出的传感器标定方法的流程图;
图9是本申请一实施例的传感器标定装置的框图;
图10是本申请一实施例的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
随着高级驾驶辅助系统(Advanced Driving Assistance System,简称ADAS)及无人驾驶技术的快速发展,多种传感器被加载在汽车上以感知汽车的周围环境,例如,毫米波雷达、激光雷达、单\双目摄像头以及卫星导航等。
激光雷达(Laser Detecting and Ranging,简称Lidar),通过发射和接收激光束,测量激光信号的时间差和相位差来确定距离,通过水平旋转扫描来测量角度,并根据这两个参数建立二维的极坐标系,再通过获取不同俯仰角度信号获取三维中的高度信息。高频激光可以在一秒内获取大量(如150万个)的位置点信息(称为点云),并根据这些信息进行三维建模。激光雷达以其分辨率高、抗有源干扰能力强、低空探测性能好、轻巧灵便等优点。激光雷达作为一种大数据量的环境感知模块现已被广泛应用于自动驾驶的地图创建、车道感知等。
自动驾驶车辆中的激光雷达,在车辆安装时已经固定其位于车辆坐标系中的位置,即激光雷达位于车辆坐标系中的坐标数据已经固定。因此,车辆上的激光雷达产生的点云,都是相对于其自身局部坐标系的位置,要获得激光雷达所在位置在全局坐标系的表达(即外参),以提升点云准确度。具体地,激光雷达获取环境的点云信息,可以得到周围物体在激光雷达坐标系中的坐标数据,车辆处理器可以基于激光雷达获取的坐标数据以及激光雷达自身位于车辆坐标系中的坐标数据,转换得到周围物体位于车辆坐标系中的坐标数据,进而基于坐标数据实现车辆的避障等功能。因此,为使车辆获取正确的周围物体的坐标数据,需要对激光雷达进行标定,使其获取的周围物体在激光雷达坐标系中的坐标数据正确。
相关技术可以通过离线标定的方式对传感器进行标定。例如,可以基于标定板对激光雷达进行离线标定。这种标定方式需要专业技术人员和标定板等专业设备才能完成标定过程。然而,经过标定的传感器可能因干涉、使用年限导致发生形变或者位移等原因,造成原始标定结果不准确。
因此,激光雷达的在线标定是自动驾驶中亟需解决的关键问题。在线标定方法是指在自动驾驶系统运行时自行完成标定,不需要标定板的专业设备,也可以确保足够的精度。
综上,相关技术中标定激光雷达的方式存在如下所示的多种问题。
例如,传统的标定方法大多是离线的,需要用标定板等专业设备进行一系列的特定标定操作,耗时费力。
例如,基于特定场景的在线标定方法,该方法依赖于特定场景,如车道线、墙、杆状物,当条件不满足时无法标定;
例如,基于激光雷达惯导里程计(Lidar-Inertial Odometry,简称LIO)联合优化的在线标定方法,该方法运算复杂,对运算单元要求较高。
本申请实施例,通过标定算法(如手眼标定(hand eye calibration))对同一个目标对象在第一坐标系(标定传感器所在坐标系)下的第一姿态和其在第二坐标系(待标定传感器所在坐标系)下的第二姿态进行标定,得到待标定传感器的第一外参。此外,还基于地面检测确定第一坐标系和第二坐标系之间的第二外参,这样可以通过交叉验证的方式来确定第一外参和/或第二外参的可信度,如果交叉验证表明可信度高,则可以基于第一外参和/或第二外参对待标定传感器进行标定。
此外,本申请的某些实施例中,至少基于IMU采集的惯性数据计算第一坐标系(IMU坐标系,或称为车辆坐标系)的自车运动,并且利用激光雷达里程计(Lidar-Odometry)计算第二坐标系(激光雷达坐标系)的自车运动,通过手眼标定等算法标定进行标定,得到第一坐标系和第二坐标系之间的第一外参。该方法运算量适中,场景依赖较小,并可作为其他传感器的在线标定,如相机、RGBD相机等。
以下将通过图1至图10对本申请实施例的一种存储视频的方法、装置和电子设备进行详细描述。
图1是本申请一实施例示出的可以应用传感器标定方法、装置、车辆及存储介质的一种示例性系统架构。需要注意的是,图1所示仅为可以应用本申请实施例的系统架构的示例,以帮助本领域技术人员理解本申请的技术内容,但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。
参见图1,根据该实施例的系统架构100可以包括移动平台101、102、103,网络104和云端105。网络104用以在移动平台101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。移动平台101、102上可以搭载有传感器,如激光雷达、毫米波雷达、摄像头等,以实现感测移动平台101、102的周围环境信息。
用户可以使用移动平台101、102、103通过网络104与其他移动平台和云端105进行交互,以接收或发送信息等,如发送模型训练请求、模型参数下载请求和接收经训练的模型参数等。经训练的模型可以对图像数据或者点云数据中对象进行分类,如固定物体或者移动物体,如障碍物或者非障碍物。移动平台101、102、103可以安装有各种通讯客户端应用,例如,辅助驾驶应用、自动驾驶应用、车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
移动平台101、102、103包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等电子设备。
云端105可以接收模型训练请求、模型参数下载请求等,调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数等,还可以发送气象信息、实时交通信息等给移动平台101、102、103。例如,云端105可以为后台管理服务器、服务器集群、车联网等。
需要说明的是,移动平台、网络和云端的服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的移动平台、网络和云端。
图2是本申请一实施例示出的车辆、激光雷达和IMU的结构示意图。
参见图2,车辆100可以包括一个或多个如下部件:车身主体110、激光雷达120、IMU130。其中,激光雷达120、IMU 130设置于车身主体110中。
例如,激光雷达120可以安装在前保险杠两侧的位置。此外,激光雷达120还可以安装在车顶位置或者车前窗上方位置等,在此不做限定。激光雷达120可以包括脉冲激光雷达和连续波激光雷达,可以使用紫外线、可见光或近红外光作为光源。
例如,按照上述前侧向双台设置的激光雷达120的探测距离,能达到如150米(如针对10%反射率目标物),横向120°视角(FOV),视野提升到如150°。如果按照144线的点云密度计算,角度分辨率能够达到0.16°,中心区域刷新率20Hz,可实现高速公路、城区道路等场景下远处障碍物的检测,提升辅助驾驶行车安全。
此外,车辆100上还可以设置一个或多个超声波传感器、毫米波雷达等,以提升感知的车辆环境信息的全面性和准确性。例如,超声波传感器可以设置在前后保险杠内部。例如,毫米波雷达可以设置在前后保险杠内部。
图3是本申请一实施例示出的传感器标定方法的流程图。
参见图3,该传感器标定方法可以包括操作S310~操作S330。
在操作S310,基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,第一位姿是设置在移动平台上的标定传感器在第一坐标系下的位姿,第二位姿是设置在移动平台上的待标定传感器在第二坐标系下的位姿。
在本实施例中,移动平台可以是汽车、机器人、飞行器或者船舶等。标定传感器可以是IMU、摄像头、毫米波雷达、超声波雷达、激光雷达等。待标定传感器可以是摄像头、毫米波雷达、超声波雷达、激光雷达等。以汽车为例,标定传感器所在的坐标可以设置为汽车坐标,待标定传感器的标定过程是减少待标定传感器和标定传感器之间,因空间位置差异等导致的采集数据的偏差或者误差。
为了便于理解,以下以标定传感器包括IMU,待标定传感器包括激光雷达为例进行示例性说明。
第一位姿、第二位姿、第一外参分别可以包括:翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)、X轴位移、Y轴位移或者Z轴位移中至少一个。例如,激光雷达的偏航角可以指车辆在水平面中行驶方向与其激光雷达坐标系中预设方向(X轴)所在直线之间的角度,即激光雷达坐标系中X轴与车辆坐标系中XOZ平面之间的夹角(Z轴是竖直向上方向,O是坐标系原点)。俯仰角可以是激光雷达坐标系中X轴所在的直线与车辆坐标系中XOY平面之间的夹角(X轴、Y轴和Z轴正交)。翻滚角可以是激光雷达坐标系中Y轴与车辆坐标系中XOY平面之间的夹角。如果激光雷达不存在角度偏差,即激光雷达坐标系OX′Y′Z′与标准坐标系OXYZ重合,则激光雷达对应的偏航角、俯仰角以及翻滚角均应为零。需要说明的是,以上关于X轴、Y轴、Z轴、偏航角、俯仰角和翻滚角的说明,仅为示例性示出,不能理解为对本申请的限定。
在操作S320,基于地面检测确定第一坐标系和第二坐标系之间的第二外参。
在本实施例中,当待标定的激光雷达采集到点云后,可以通过地面检测技术拟合地面,得到拟合地面的法向量。这样就可以基于该拟合地面的法向量和第一坐标系的XOY面的法向量之间的差异,计算第一坐标系和第二坐标系之间的第二外参。第二外参包括的参数可以参考第一外参的参数。
在操作S330,如果第一外参和第二外参相匹配,则基于第一外参和/或第二外参标定待标定传感器。
在本实施例中,如果第一外参和第二外参相匹配,如第一外参和第二外参的相似度超过预设阈值,则可以确定第一外参和第二外参是准确的,可以基于第一外参和/或第二外参标定该待标定传感器。
需要说明的是,不同的传感器针对不同参数的灵敏度(数据准确度)不同,如车规级的IMU检测的姿态角度准确度优于位移的准确度。则只要第一外参中的姿态角和第二外参中的姿态角相同,则可以确定第一外参和第二外参相匹配。又例如,只要能确定第一外参中的俯仰角和第二外参中的俯仰角相同(差异小于预设角度阈值),则可以确定第一外参和第二外参相匹配。
本实施例中,在得到第一坐标系和第二坐标系之间的第一外参后,并不是直接利用第一外参对待标定传感器进行标定,而是通过另一种方式获得第一坐标系和第二坐标系之间的第二外参。当第一外参和第二外参相匹配时,能够保证第一外参和/或第二外参的准确度较高,再基于第一外参和/或第二外参标定待标定传感器。能够有效提升对待标定传感器的标定结果的准确度。
在某些实施例中,待标定传感器包括激光雷达,激光雷达采集多帧点云。
相应地,基于地面检测确定第一坐标系和第二坐标系之间的第二外参可以包括如下操作。
首先,基于多帧点云拟合地平面。
然后,确定拟合地平面的法向量。
接着,基于法向量计算第一坐标系和第二坐标系之间的第二外参,第二外参包括翻滚角、俯仰角和高度中至少一种。
在某些实施例中,可以基于地面检测算法获取拟合地平面的法向量。具体地,可以通过拟合地平面的法向量转换得到激光雷达的俯仰角以及翻滚角。其中,激光雷达可以基于地面检测算法(地平面拟合的地面探测)获取当前车辆经过路面的拟合地平面的法向量,以获取激光雷达的俯仰角以及翻滚角。可以理解的是,如果激光雷达存在角度偏差,即激光雷达坐标系与标准坐标系(以IMU为基准,则为IMU坐标系)之间存在偏差,则激光雷达获取的拟合地平面的法向量与实际的标准法向量之间也会存在角度偏差。因此,可以将该角度偏差转换为激光雷达的俯仰角以及翻滚角,进而对激光雷达进行标定。
在获得拟合地平面的法向量后,可以基于拟合地平面的法向量计算激光雷达的俯仰角以及翻滚角。如将拟合地平面的法向量转换为激光雷达对应的俯仰角以及翻滚角,并基于获取的俯仰角以及翻滚角对激光雷达进行标定。可以理解,如果激光雷达自身存在偏置,其俯仰角或者翻滚角与标准值之间存在偏差,则其拟合地平面的法向量与实际应该得到的法相量之间必然存在夹角,此时车辆可以基于拟合地平面的法向量,对激光雷达的俯仰角以及翻滚角进行标定。其中,拟合地平面的法向量仅能够对激光雷达的俯仰角以及翻滚角进行标定,而不能对激光雷达的偏航角进行标定。即如果激光雷达的偏航角存在偏置,该偏置并不能反映到激光雷达获取的拟合地平面的法向量上。
例如,可以将标准法向量(Nx,Ny,Nz)视为水平面中的法向量,即向量(0,0,1),拟合地平面的法向量(Nx′,Ny′,Nz′)和标准法向量之间的转换关系如式(1)~式(3)所示。
Nx′=sin(pitch(rad)) 式(1)
Ny′=-sin(roll(rad))×cos(pitch(rad)) 式(2)
Nz′=cos(roll(rad))×cos(pitch(rad)) 式(3)
因此,在确定标准法向量和内核的地平面的法向量之后,可以计算激光雷达的俯仰角(pitch)以及翻滚角(roll)。
例如,可以通过如下方式基于拟合地平面的法向量确定激光雷达的俯仰角以及翻滚角:获取拟合地平面的法向量以及标准法向量之间的夹角作为第一夹角,标准法向量为预设状态下的拟合地平面的法向量,预设状态为拟合地平面的法向量与水平面法向量平行。
车辆在获取激光雷达测量的拟合地平面的法向量后,可以将拟合地平面的法向量与标准法向量之间的夹角作为第一夹角。其中,标准法向量为预设状态下的拟合地平面的法向量,即当地面与水平面平行时地面的法向量,也可以将标准法向量理解为与水平面法向量平行的向量。从坐标系来看,标准法向量可以是标准坐标系中XOY平面对应的法向量,即向量(0,0,1),标准坐标系即激光雷达不存在偏置的情况下对应的坐标系。车辆可以基于该标准法向量,将拟合地平面的法向量与标准法向量之间的夹角作为第一夹角。可以理解,如果激光雷达自身存在偏置,即激光雷达的坐标系与标准坐标系不重合,则车辆获取到的第一夹角不为零,此时可以将第一夹角转换为激光雷达对应的俯仰角以及翻滚角。
以下对获取第一位姿的方式进行示例性说明。
在某些实施例中,对于精准度足够高的惯性测量单元,可以直接根据IMU输出的惯性数据解算第一位姿。
在某些实施例中,考虑到为了进一步提升第一位姿的精准度,可以采用多传感器数据融合。或者,为了降低硬件成本、降低传感器占据的空间等,可以采用具有较低精准度的惯性测量单元,为了保证第一位姿的精准度,可以采用多传感器数据融合。
例如,标定传感器包括惯性测量单元或者惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统。例如,车辆可以通过获取车辆的车轮转速,经过内置公式计算获取当前车速以及行驶距离。其中获取车轮转速的传感器可以是霍尔传感器等。例如,车辆可以通过获取车辆的方向盘传感器的转角,经过内置公式计算获取当前行驶方向。
相应地,当标定传感器包括惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统时,第一位姿通过如下方式确定:对惯性测量单元采集的数据以及轮速计、方向盘传感器或者定位系统中至少一种采集的数据进行卡尔曼滤波,得到第一位姿。
在一个具体实施例中,利用轮速计(wheel)和IMU做卡尔曼滤波计算当前帧的第一位姿。这样可以实现在采用具有一般精准度的IMU和轮速计共同确定第一位姿,降低硬件成本。
以下对获取第二位姿的方式进行示例性说明。
在某实施例中,待标定传感器包括激光雷达,激光雷达采集多帧点云。
相应地,第二位姿通过如下方式确定:对于激光雷达采集的多帧点云中的至少部分帧,对位于起始帧和结束帧之间的相邻帧的位姿差异进行累加,得到第二位姿。
其中,相邻帧的位姿差异通过如下方式确定。
首先,利用一帧的相对位姿对一帧的点云进行运动补偿,得到消除畸变后的一帧的点云。激光雷达帧率一般为10Hz,也就是100ms一帧,在车辆高速行驶或者转弯时,一帧点云中的点并不是同一个坐标系下获得的测量结果,对于同一个目标在三维点云中就会出现畸变,这时要想获得精确的测量,就需要对点云做运动补偿,或者说即便校正,将同一帧点云中所有点统一到某一个时间点下的坐标系中。
然后,分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征。
接着,通过线面特征配准得到待标定传感器在上一帧和当前帧之间的位姿差异。
例如,可以基于最小二乘实现的帧间变换求解来实现相邻帧位姿变换求解。具体地,可以使用点线距离,和点到平面距离,作为非线性优化的残差。并且因为使用了特征编码,所有的近邻查找都通过二进制雷达环特性来实现。因为无需采用传统点云匹配中多维树查找方法,该匹配方法可以进一步提高匹配速度。
相邻两帧(如第i+1帧、第i帧)之间的位姿变换参数是一个六维向量,包括表示两帧之间的旋转参数这里为欧拉角(包括翻滚角、俯仰角、偏航角),以及两帧之间的平移向量。位姿变换求解的优化方法在位变换较小时,具有更好的稳定性,
在完成一一对应前经历了两个变换,其中第一变换是对特征进行了水平或垂直映射,第二变换是环状特征真值循环前移,当确定了两个激光点云线之间的对应后,本质上已经包含了上述两个映射参数。其中,第二变换表征两个相邻帧之间偏航关系。而依据第二变换的偏航及第一变换的两个特征水平或者垂直映射之间的角度差,可以判断两帧之间变换参数的变化。
水平及垂直投射公式,其投射角度计算本身便已经包含了横滚与俯仰信息。当旋转轴轴向相对于IMU的坐标已知后,对齐于X轴或者Y轴,此时旋转轴相对于IMU转过角度为俯仰、或者横滚。此时另一角度不变,其俯仰或者横滚加上旋转轴转过角度,即为当前的俯仰或者翻滚角。需要说明的是,一帧中,各个采样点具有相同的翻滚角、相同的俯仰角、相同的偏航角。
以下对获取第二外参的方式进行示例性说明。
在某些实施例中,基于多帧点云拟合地平面可以包括如下操作。
首先,利用第一方式在全量点云中拟合地平面,得到具有第一粗糙度的地平面点云。
然后,基于具有第一粗糙度的地平面点云,利用第二方式拟合地平面,得到具有第二粗糙度的地平面点云,第二粗糙度比第一粗糙度精细。
在一个具体实施例中,地面检测计算roll和pitch,并进行交叉验证(crosscheck)。具体地,地面检测也是采用coarse-to-fine的方式进行。首先利用参数比较宽松的方式在全量点云中拟合地平面,得到较为粗糙的地平面点云,然后采用参数比较严格的方式拟合地平面,得到精度较高的拟合地平面。接着,计算精度较高的拟合地平面的法线量,根据法向量计算roll、pitch、高度(height)。然后,检查第一外参和第二外参是否匹配,如果匹配,则基于第一外参和第二外参对激光雷达进行标定。如果不匹配,重复执行以上操作,直至第一外参和第二外参匹配,或者达到预设重复次数。
在某些实施例中,由于不同种类的传感器的采样频率存在差异,通过解算不同的传感器的采集数据得到姿态时,需要对姿态进行对齐,以提升结果准确度。
例如,基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参可以包括如下操作。
首先,基于时间戳对齐包括第一位姿的第一位姿队列和包括第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿。
然后,通过由粗到细的方式调整经对齐的第一位姿和/或经对齐的第二位姿,以减小经对齐的第一位姿和第二位姿之间的差值,得到第一坐标系与第二坐标系之间的第一外参,第一外参包括俯仰角或者偏航角中至少一种。
具体地,基于时间戳对齐包括第一位姿的第一位姿队列和包括第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿可以包括如下操作:使用第二位姿队列的时间戳在第一位姿队列中插值对应的第二位姿。
图4是本申请一实施例的对齐基于不同传感器确定的位姿的示意图。
参见图4,第一位姿队列(如基于IMU采集的惯性数据确定的位姿队列)的频率比较高,在100Hz以上。第一位姿队列(如基于雷达采集的点云数据确定的位姿队列)的频率比较低,在10Hz左右。为了准确地确定第一位姿和第二位姿之间的差异,需要将两个位姿队列进行对齐。如图中所示,使用第二位姿队列的时戳在第一位姿队列中插值出对应的第二位姿,然后计算第一位姿和第二位姿之间的差异,以便确定第一坐标系和第二坐标系之间的外参。
图5是本申请一实施例的传感器标定过程的数据流图。
参见图5,对点云进行运动补偿后,对经补偿的点云进行线面特征提取,然后基于线面特征计算拟合地平面的法向量,进而确定第二位姿。对来自IMU和/或轮速计等的数据进行卡尔曼滤波,得到融合数据,然后对融合数据进行位姿计算,得到第一位姿。对第一位姿和第二位姿进行手眼标定,得到第一外参,如yaw/pitch。此外,还对经过补偿的点云进行地面检测,然后对拟合地平面进行细化,得到精准度更高的法向量。这样可以基于该法向量计算第二外参,如roll/pitch/z。如果交叉验证通过,则可以基于第一外参和第二外参进行标定。
在某些实施例中,考虑到移动对象发生移动时,其点云数据会干扰标定过程。为了进一步提升第外参的精准度,可以将点云数据中的移动对象的点云剔除掉。
具体地,对于一帧点云,上述方法还可以包括如下操作。
首先,确定一帧点云中与运动物体对应的点云。
然后,去除一帧点云中与运动物体对应的点云。
相应地,分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征可以包括:从消除畸变并且去除运动物体后的上一帧的点云和当前帧的点云中,分别提取线面特征。
图6是本申请另一实施例的传感器标定过程的数据流图。
参见图6,与图5不同的是,图6中经运动补偿后的点云还需要被进行移动物体检测,并且将经运动补偿后的点云中与移动物体对应的点云数据删除。这样能够有效较少因移动物体移动,导致用线面特征计算的第二位置不够准确的问题。
在某些实施例中,去除一帧点云中与运动物体对应的点云,包括:从一帧点云中删除第一特定物体的点云,第一特定物体包括可移动物体。其中,可移动物体包括但不限于:汽车、行人、自行车、摩托车等。本实施例中,直接删除与汽车、行人等对应的点云数据,无需判断该汽车或行人等是否为移动状态,有助于降低计算量和提升响应速度。此外,由于点云中与汽车、行人等对应的点云数据仅为一部分(甚至为一小部分),将没有移动的汽车、行人等对应的点云数据删除,也不会导致因点云数据不足导致计算的位姿不准。
在某些实施例中,去除一帧点云中与运动物体对应的点云,包括:从一帧点云中获得第二特定物体的点云,第二特定物体包括固定物体。其中,固定物体包括但不限于:房、电线杆、车道线、红绿灯、路灯、绿化植物等。本实施例中,仅保留房、电线杆等物体,无需判目标对象是否为移动状态,有助于降低计算量和提升响应速度。此外,由于房、电线杆等物体对应的点云数据较多,已经足以准确计算第二位姿等。
例如,用于确定目标对象种类的分类模型,可以是预先经过训练的模型,能够确定被输入的点云数据中的目标对象是否为第一特定物体或者第二特定物体。分类模型包括但不限于:线性回归(Linear Regression)、逻辑回归(Logistic Regression)、决策树(Decision Trees)、Naive Bayes(贝叶斯)、K临近(K-Nearest Neighbors)、支持向量机(Support Vector Machines)、随机决策森林(Random Decision Forests or Bagging)、神经网络(Neural Networks)等。
在某些实施例中,分类模型可以采用深度神经网络(Deep Neural Networks)等。例如,分类模型可以对输入的点云数据进行特征提取,得到特征图。然后,基于特征图或者特征图以及其它特征等,对点云数据进行分类。又例如,分类模型可以对输入的点云数据中各帧进行特征提取,得到特征图,然后,从特征图中确定与目标对象对应的候选框,接着,基于候选框从特征图中获取目标对象的特征数据,然后,基于目标对象的特征数据确定候选框的类别。需要说明的是,也可以用传统几何方法识别第一特定物和/或第二特定物。
图7是本申请一实施例的交叉验证过程的示意图。
参见图7,在进行交叉验证过程中,可以对第一外参和第二外参的全部参数进行比对,并且在比对通过后验证成功。例如,参考图7中虚线所示,第一外参和第二外参各自可以包括Yaw、pitch和roll,当所有参数都比对成功后,则验证成功。
此外,参见图7,在进行交叉验证过程中,可以对第一外参和第二外参的部分参数进行比对,并且在比对通过后验证成功。不同传感器针对不同参数的检测精准度不一样,如果比对第一外参和第二外参的所有参数,反而可能导致验证结果不准确。例如,GPS的高度检测不够精准,水平位移精度高,如果使用GPS的高度进行验证,则可能导致错误的验证结果。参考图7中实线所示,第一外参的参数可以包括:Yaw/pitch,第二外参的参数可以包括:roll/pitch/z,并且第一外参的参数pitch和第二外参的参数pitch的可信度较高,则可以仅比对第一外参的参数pitch和第二外参的参数pitch是否一致,当pitch比对成功后,则验证成功。第一外参的参数中缺少roll/z,可以从第二外参的参数中获得。
具体地,检查pitch的一致性,如果一致,则基于第一外参和第二外参对激光雷达进行标定。如果不一致,重复执行以上操作,直至pitch一致,或者达到预设重复次数。
在一个具体实施例中,参考图6所示,关于第一坐标系相对位姿计算,可以包括对轮速计和IMU做卡尔曼滤波计算第一位姿。
关于第二位姿计算,可以包括操作a1~操作a4。
在操作a1,利用上一帧的相对位姿对点云做运动补偿(motion compensation)。
在操作a2,障碍物检测(obstacle detection),利用深度学习对障碍物进行检测,障碍物包括车辆、行人、三轮车等可能运动的障碍物。需要说明的是,障碍物检测既可用深度学习方法,也可用传统几何方法。
在操作a3,障碍物去除(obstacle removal),把可能运动的障碍物点云去掉,这些可能运动的障碍物会影响后面lidar odometry的配准精度。
在操作a4,雷达里程计(lidar odometry),在障碍物点云剔除的点云上做lidarodometry,采用提取线面特征进行配准的方法,类似激光雷达里程计和测绘(LidarOdometry and Mapping,简称LOAM)的配准方法。利用该配准方法实现帧间相对位姿的计算。需要说明的是,lidar odometry也可以采用迭代最近点(Iterative Closest Point,简称ICP)、GICP、NDT等方式进行点云配准。
此外,可以基于手眼标定(hand eye calibration)的方式处理第一位姿和第二位姿。具体地,可以包括如下操作。
首先,基于时间戳插值对齐位姿,然后计算对齐的第一位姿和第二位姿。接着,进行手眼标定。例如,输入为第一位姿队列和第二位姿队列。通常队列中至少40对,相对位姿对的选择要保证角度有一定变化,变化量要大于0.4°以上。具体可以采用由粗到细(coarse-to-fine)的方式进行手眼标定。例如,先使用SVD的方法计算出粗糙的初值,然后利用非线性优化方法再进一步对齐第一位姿和第二位姿,来解算第一外参pitch、yaw和高(height)。
另外,地面检测也是采用coarse-to-fine的方式进行。具体地,首先利用参数比较宽松的方式在全量点云中拟合地平面,得到较为粗糙的拟合地平面,然后采用参数比较严格的方式拟合平面,得到精度较高的拟合地平面。接着,计算拟合地平面的法向量,根据法向量计算第二外参:roll、pitch、height。
交叉验证第一外参和第二外参中的pitch的一致性,若一致,合并第一外参和第二外参。此外,如果交叉验证结果为不一致,则可以重复上述操作直至验证通过或者达到循环次数。
上述方法可以对激光雷达相对于第一坐标系(车体坐标系)的外参进行标定。
图8是本申请另一实施例示出的传感器标定方法的流程图。
参见图8,在进行激光雷达标定时,先获取一帧点云。
然后,对该帧点云利用lidar里程计结果做运动补偿。
接着,对该帧点云进行障碍物检测。其中,障碍物检测方法可以用深度学习方法,也可以用传统几何方法。
然后,从经运动补偿的该一帧点云中去除检测到的障碍物的点云。
接着,采用提取线面特征进行配准的方法做lidar里程计,并计算第二姿态。
在基于激光雷达确定第二姿态的同时,还可以获得轮速计获得的里程数据和IMU测量的惯性数据。
接着,对里程数据和惯性数据做卡尔曼滤波,以计算当前帧的第一姿态。
然后,基于第一姿态和第二姿态之间的差异计算第一外参。
在对一帧点云数据进行运动补偿之后,还可以对点云做地面检测,得到拟合地平面的法向量。
接着,根据地面法向量计算roll、pitch、height。
然后,交叉检验第一外参和第二外参中pitch的一致性,如果一致,则基于第一外参和第二外参对激光雷达进行标定。
本申请的另一方面还提供了一种雷达。
该雷达可以为激光雷达、毫米波雷达、超声波雷达等。雷达可以为扫描型雷达或者非扫描型雷达。
以下以扫描型的激光雷达进行示例性说明。
例如,MEMS型激光雷达可以动态调整自己的扫描模式,以此来聚焦特殊物体,采集更远更小物体的细节信息并对其进行识别。MEMS型激光雷达的惯性力矩并不大,可以快速移动,速度快到可以在不到一秒时间里跟踪到2D扫描模式。
例如,Flash型激光雷达能快速记录整个场景,避免了扫描过程中目标或激光雷达移动带来的各种麻烦。雷达系统会利用微型传感器阵列采集不同方向反射回来的激光束。
例如,相控阵激光雷达搭载的一排发射器可以通过调整信号的相对相位来改变激光束的发射方向。
例如,机械旋转式激光雷达是发展比较早的激光雷达,目前技术比较成熟,但机械旋转式激光雷达系统结构十分复杂,且各核心组件价格也都颇为昂贵,其中主要包括激光器、扫描器、光学组件、光电探测器、接收IC以及位置和导航器件等。
以MEMS固态激光雷达为例,由于MEMS固态激光雷达是通过振镜的简谐振动进行扫描的,其扫描路径从空间顺序上来说实现的例如可以是一个慢轴从上到下,快轴从左到右往复的一个扫描视场。因此,对于MEMS固态激光雷达的探测范围的划分通过是对慢轴对应的视场角进行划分。例如,MEMS固态激光雷达的慢轴对应的垂直视场角为13°到13°。
以扫描型传感器中的机械式激光雷达为例,由于机械式激光雷达是通过机械驱动装置带动光学系统进行360度旋转实现扫描的,以激光雷达为圆心的一个圆柱形探测区域。因此,机械式激光雷达旋转360°对应的探测范围为探测一帧数据对应的探测范围,所以对机械式激光雷达一个周期探测范围的划分一般以旋转度数的划分。
对于非扫描型激光雷达,是通过内部的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号,然后借由并行端口或USB连接输入到电脑后由软件再进行图像还原。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
本申请的另一方面提供了一种传感器标定装置。
图9是本申请一实施例的传感器标定装置的框图。
参见图9,该传感器标定装置900包括:外参确定模块910、地面检测模块920和交叉标定模块930。
外参确定模块910用于基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,第一位姿是设置在移动平台上的标定传感器在第一坐标系下的位姿,第二位姿是设置在移动平台上的待标定传感器在第二坐标系下的位姿。
地面检测模块920用于基于地面检测确定第一坐标系和第二坐标系之间的第二外参。
交叉标定模块930用于如果第一外参和第二外参相匹配,则基于第一外参和/或第二外参标定待标定传感器。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
本申请的另一方面还提供了一种车辆。
图10示意性示出了根据本申请实施例的一种车辆的方框图。
参见图10,车辆1000包括车身主体、存储器1010、处理器1020和激光雷达1030。
存储器1010可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器1010可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器1010可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
处理器1020可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010上存储有可执行代码,当可执行代码被处理器1020处理时,可以使处理器1020执行上文述及的方法中的部分或全部。
激光雷达1030设置于车身主体,用于采集点云。可以参考如上相关内容,在此不再详述。
可以理解的,如果无特别说明,在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
集成的单元/模块如果以硬件的形式实现时,该硬件可以是数字电路,模拟电路等等。硬件结构的物理实现包括但不局限于晶体管,忆阻器等等。如果无特别说明,人工智能处理器可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。如果无特别说明,存储模块可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random AccessMemory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括如果干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在一种可能的实现方式中,还公开了一种板卡,其包括存储器件、接口装置和控制器件以及上述处理器;其中,处理器与存储器件、控制器件以及接口装置分别连接;存储器件,用于存储数据;接口装置,用于实现处理器与外部设备之间的数据传输;控制器件,用于对处理器的状态进行监控。
在一种可能的实现方式中,公开了一种电子设备,其包括了上述处理器。电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。交通工具包括飞机、轮船和/或车辆;家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;医疗设备包括核磁共振仪、B超仪和/或心电图仪。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种传感器标定方法,其特征在于,包括:
基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,所述第一位姿是设置在移动平台上的标定传感器在所述第一坐标系下的位姿,所述第二位姿是设置在所述移动平台上的待标定传感器在所述第二坐标系下的位姿;
基于地面检测确定所述第一坐标系和所述第二坐标系之间的第二外参;
如果所述第一外参和所述第二外参相匹配,则基于所述第一外参和/或所述第二外参标定所述待标定传感器。
2.如权利要求1所述的方法,其特征在于,所述待标定传感器包括激光雷达,所述激光雷达采集多帧点云;
所述基于地面检测确定所述第一坐标系和所述第二坐标系之间的第二外参,包括:
基于所述多帧点云拟合地平面;
确定拟合地平面的法向量;
基于所述法向量计算所述第一坐标系和所述第二坐标系之间的第二外参,所述第二外参包括翻滚角、俯仰角和高度中至少一种。
3.如权利要求2所述的方法,其特征在于,所述基于所述多帧点云拟合地平面,包括:
利用第一方式在全量点云中拟合地平面,得到具有第一粗糙度的地平面点云;
基于所述具有第一粗糙度的地平面点云,利用第二方式拟合地平面,得到具有第二粗糙度的地平面点云,所述第二粗糙度比所述第一粗糙度精细。
4.如权利要求1所述的方法,其特征在于,所述待标定传感器包括激光雷达,所述激光雷达采集多帧点云;
所述第二位姿通过如下方式确定:对于激光雷达采集的多帧点云中的至少部分帧,对位于起始帧和结束帧之间的相邻帧的位姿差异进行累加,得到所述第二位姿;
其中,所述相邻帧的位姿差异通过如下方式确定:
利用一帧的相对位姿对所述一帧的点云进行运动补偿,得到消除畸变后的一帧的点云;
分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征;
通过线面特征配准得到所述待标定传感器在所述上一帧和所述当前帧之间的位姿差异。
5.如权利要求4所述的方法,其特征在于,还包括:对于一帧点云,
确定所述一帧点云中与运动物体对应的点云;
去除所述一帧点云中与运动物体对应的点云;
所述分别提取消除畸变后的上一帧的点云和当前帧的点云的线面特征,包括:
从消除畸变并且去除所述运动物体后的上一帧的点云和当前帧的点云中,分别提取线面特征。
6.如权利要求5所述的方法,其特征在于,所述去除所述一帧点云中与运动物体对应的点云,包括:
从所述一帧点云中删除第一特定物体的点云,所述第一特定物体包括可移动物体;或者
从所述一帧点云中获得第二特定物体的点云,所述第二特定物体包括固定物体。
7.如权利要求1所述的方法,其特征在于,所述基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,包括:
基于时间戳对齐包括所述第一位姿的第一位姿队列和包括所述第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿;
通过由粗到细的方式调整所述经对齐的第一位姿和/或经对齐的第二位姿,以减小所述经对齐的第一位姿和第二位姿之间的差值,得到所述第一坐标系与所述第二坐标系之间的第一外参,所述第一外参包括俯仰角或者偏航角中至少一种。
8.如权利要求7所述的方法,其特征在于,所述基于时间戳对齐包括所述第一位姿的第一位姿队列和包括所述第二位姿的第二位姿队列,得到经对齐的第一位姿和第二位姿,包括:
使用第二位姿队列的时间戳在所述第一位姿队列中插值对应的第二位姿。
9.如权利要求1至8任一项所述的方法,其特征在于,所述标定传感器包括惯性测量单元或者惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统;
当所述标定传感器包括惯性测量单元以及以下至少一种:轮速计、方向盘传感器或者定位系统时,所述第一位姿通过如下方式确定:
对所述惯性测量单元采集的数据以及所述轮速计、所述方向盘传感器或者所述定位系统中至少一种采集的数据进行卡尔曼滤波,得到所述第一位姿。
10.一种传感器标定装置,其特征在于,包括:
外参确定模块,用于基于第一位姿和第二位姿之间的差异确定第一坐标系与第二坐标系之间的第一外参,所述第一位姿是设置在移动平台上的标定传感器在所述第一坐标系下的位姿,所述第二位姿是设置在所述移动平台上的待标定传感器在所述第二坐标系下的位姿;
地面检测模块,用于基于地面检测确定所述第一坐标系和所述第二坐标系之间的第二外参;
交叉标定模块,用于如果所述第一外参和所述第二外参相匹配,则基于所述第一外参和/或所述第二外参标定所述待标定传感器。
11.一种车辆,其特征在于,包括:
车身主体;
激光雷达,设置于所述车身主体,用于采集点云;
处理器,与所述激光雷达耦接,用于接收所述点云;
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210996491.4A CN115267751A (zh) | 2022-08-19 | 2022-08-19 | 传感器标定方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210996491.4A CN115267751A (zh) | 2022-08-19 | 2022-08-19 | 传感器标定方法、装置、车辆及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115267751A true CN115267751A (zh) | 2022-11-01 |
Family
ID=83752434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210996491.4A Pending CN115267751A (zh) | 2022-08-19 | 2022-08-19 | 传感器标定方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115267751A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技(北京)有限公司 | 场端多线束激光雷达的在线标定方法 |
GB202018035D0 (en) * | 2019-12-18 | 2020-12-30 | Motional Ad Llc | Camera-to-lidar calibration and validation |
WO2021189468A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
WO2021233309A1 (zh) * | 2020-05-21 | 2021-11-25 | 杭州海康威视数字技术股份有限公司 | 一种外参变化检测方法、装置、电子设备及检测系统 |
CN114387352A (zh) * | 2021-12-29 | 2022-04-22 | 东软睿驰汽车技术(沈阳)有限公司 | 一种外参标定方法、装置、设备及存储介质 |
CN114527452A (zh) * | 2022-01-14 | 2022-05-24 | 浙江零跑科技股份有限公司 | 一种激光雷达外参在线标定方法 |
CN114636993A (zh) * | 2020-12-16 | 2022-06-17 | 华为技术有限公司 | 一种激光雷达与imu的外参标定方法、装置及设备 |
WO2023131123A1 (zh) * | 2022-01-05 | 2023-07-13 | 上海三一重机股份有限公司 | 组合导航设备与激光雷达的外参标定方法及装置 |
-
2022
- 2022-08-19 CN CN202210996491.4A patent/CN115267751A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110007293A (zh) * | 2019-04-24 | 2019-07-12 | 禾多科技(北京)有限公司 | 场端多线束激光雷达的在线标定方法 |
GB202018035D0 (en) * | 2019-12-18 | 2020-12-30 | Motional Ad Llc | Camera-to-lidar calibration and validation |
WO2021189468A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 激光雷达的姿态校正方法、装置和系统 |
WO2021233309A1 (zh) * | 2020-05-21 | 2021-11-25 | 杭州海康威视数字技术股份有限公司 | 一种外参变化检测方法、装置、电子设备及检测系统 |
CN114636993A (zh) * | 2020-12-16 | 2022-06-17 | 华为技术有限公司 | 一种激光雷达与imu的外参标定方法、装置及设备 |
CN114387352A (zh) * | 2021-12-29 | 2022-04-22 | 东软睿驰汽车技术(沈阳)有限公司 | 一种外参标定方法、装置、设备及存储介质 |
WO2023131123A1 (zh) * | 2022-01-05 | 2023-07-13 | 上海三一重机股份有限公司 | 组合导航设备与激光雷达的外参标定方法及装置 |
CN114527452A (zh) * | 2022-01-14 | 2022-05-24 | 浙江零跑科技股份有限公司 | 一种激光雷达外参在线标定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111413721B (zh) | 车辆定位的方法、装置、控制器、智能车和系统 | |
CN110873883B (zh) | 融合激光雷达和imu的定位方法、介质、终端和装置 | |
KR20190082291A (ko) | 차량 환경 맵 생성 및 업데이트 방법 및 시스템 | |
AU2018282302A1 (en) | Integrated sensor calibration in natural scenes | |
CN113074727A (zh) | 基于蓝牙与slam的室内定位导航装置及其方法 | |
CN110411457B (zh) | 基于行程感知与视觉融合的定位方法、系统、终端和存储介质 | |
CN113673282A (zh) | 目标检测方法和装置 | |
CN113748357A (zh) | 激光雷达的姿态校正方法、装置和系统 | |
CN111308415B (zh) | 一种基于时间延迟的在线估计位姿的方法和设备 | |
CN114111774B (zh) | 车辆的定位方法、系统、设备及计算机可读存储介质 | |
CN115291197A (zh) | 激光雷达的标定参数检测方法、装置、车辆及存储介质 | |
US20220205804A1 (en) | Vehicle localisation | |
CN112051575A (zh) | 一种毫米波雷达与激光雷达的调整方法及相关装置 | |
Ivancsits et al. | Visual navigation system for small unmanned aerial vehicles | |
CN110458885B (zh) | 基于行程感知与视觉融合的定位系统和移动终端 | |
CN116608847A (zh) | 基于面阵激光传感器和图像传感器的定位和建图方法 | |
CN112965076B (zh) | 一种用于机器人的多雷达定位系统及方法 | |
CN113093759A (zh) | 基于多传感器信息融合的机器人编队构造方法及系统 | |
US11561553B1 (en) | System and method of providing a multi-modal localization for an object | |
Deng et al. | Joint calibration of dual lidars and camera using a circular chessboard | |
WO2024001649A1 (zh) | 机器人定位方法、装置和计算可读存储介质 | |
CN117387604A (zh) | 基于4d毫米波雷达和imu融合的定位与建图方法及系统 | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN116465393A (zh) | 基于面阵激光传感器的同步定位和建图方法及装置 | |
KR101502071B1 (ko) | 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |