CN112444798A - 多传感器设备时空外参标定方法、装置以及计算机设备 - Google Patents

多传感器设备时空外参标定方法、装置以及计算机设备 Download PDF

Info

Publication number
CN112444798A
CN112444798A CN202011363520.0A CN202011363520A CN112444798A CN 112444798 A CN112444798 A CN 112444798A CN 202011363520 A CN202011363520 A CN 202011363520A CN 112444798 A CN112444798 A CN 112444798A
Authority
CN
China
Prior art keywords
sensor
calibration
calibration data
discrete
motion track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011363520.0A
Other languages
English (en)
Other versions
CN112444798B (zh
Inventor
王成
刘海伟
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202011363520.0A priority Critical patent/CN112444798B/zh
Publication of CN112444798A publication Critical patent/CN112444798A/zh
Application granted granted Critical
Publication of CN112444798B publication Critical patent/CN112444798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及一种多传感器设备时空外参标定方法、装置以及计算机设备，其中，该多传感器设备时空外参标定方法包括：通过移动多传感器设备获取标定数据；根据第一标定数据，计算第一传感器的连续运动轨迹；获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；对第二标定数据进行运动补偿；根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。通过本申请，解决了在保证外参标定精度的基础上，相机和雷达的时空外参标定速度较慢的问题，实现了在保证外参标定精度的基础上，快速进行相机和雷达的时空外参标定。

Description

多传感器设备时空外参标定方法、装置以及计算机设备
技术领域
本申请涉及外参标定技术领域，特别是涉及多传感器设备时空外参标定方法、装置以及计算机设备。
背景技术
在机器人视觉应用中，手眼标定是一个至关重要的环节，没有手眼标定就无法从相机获得到的图像信息有效的解析到物体的状态。手眼标定的目的是为了获取机器人坐标系和相机坐标系之间的变换矩阵。
雷达和相机的外参标定也可以看成是手眼标定的一种，外参是指对绑定在同一刚体上的不同传感器，计算不同传感器之间的相对位姿关系。外参包括空间外参和时间外参，时间外参即不同传感器之间的相对时间差。但是在相关技术中，采用传统的手眼标定，传统的手眼标定未对雷达和相机之间的时间差进行处理，存在外参标定精度差，且标定速度较慢的问题。
目前针对相关技术中在保证外参标定精度的基础上，相机和雷达的时空外参标定速度较慢，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种多传感器设备时空外参标定方法、装置以及计算机设备，以至少解决相关技术中在保证外参标定精度的基础上，相机和雷达的时空外参标定速度较慢的问题。
第一方面，本申请实施例提供了一种多传感器设备时空外参标定方法，所述多传感器设备至少包括第一传感器以及第二传感器，所述方法包括：
移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据；
根据所述第一标定数据，计算第一传感器的连续运动轨迹；
获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；
根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿；
根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
在其中一些实施例中，所述移动多传感器设备获取标定数据之前包括：在多面体上设置标定板，所述多面体具备至少三个平面。
在其中一些实施例中，所述根据所述第一标定数据，计算第一传感器的连续运动轨迹还包括：根据所述第一标定数据，计算所述第一传感器的离散运动轨迹；根据所述第一传感器的离散运动轨迹进行曲线拟合，计算所述第一传感器的连续运动轨迹；根据所述第一标定数据，计算所述多面体上多个标定平面在第一传感器全局坐标系下的数学表达；根据所述数学表达生成多组三维离散平面点的集合，所述多组三维离散平面点的集合表示在所述第一传感器全局坐标系下的多个带有边界的平面。
在其中一些实施例中，所述根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿包括：根据所述第二传感器的离散运动轨迹，计算所述第二标定数据中任意连续两帧点云的速度；根据所述任意连续两帧点云的速度，对所述第二标定数据中的每一帧点云进行运动补偿。
在其中一些实施例中，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定包括：根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束；根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定。
在其中一些实施例中，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束包括：通过外参转换，将所述运动补偿后的第二标定数据转换为所述第一传感器全局坐标系下的数据，所述外参包括空间外参和时间外参；通过最近邻搜索，建立约束。
在其中一些实施例中，所述根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定包括：根据所述约束和优化函数，得到所述第一传感器和所述第二传感器的迭代外参；根据所述迭代外参，修正所述第二传感器的离散轨迹、所述运动补偿后的第二标定数据以及所述约束，直至所述优化函数收敛或达到最大迭代次数。
第二方面，本申请实施例提供了一种多传感器设备时空外参标定装置，所述多传感器设备至少包括第一传感器以及第二传感器，所述装置包括：
采集模块：用于移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据；
处理模块：用于根据所述第一标定数据，计算第一传感器的连续运动轨迹；获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿；
标定模块：用于根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的多传感器设备时空外参标定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的多传感器设备时空外参标定方法。
相比于相关技术，本申请实施例提供的多传感器设备时空外参标定方法，通过移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据；根据所述第一标定数据，计算第一传感器的连续运动轨迹；获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿；根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定，解决了在保证外参标定精度的基础上，相机和雷达的时空外参标定速度较慢的问题，实现了在保证外参标定精度的基础上，快速进行相机和雷达的时空外参标定。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的多传感器设备时空外参标定方法的流程图；
图2是根据本申请实施例的多传感器设备时空外参标定示意图；
图3是根据本申请优选实施例的多传感器设备时空外参标定方法的算法流程图；
图4是根据本申请实施例的多传感器设备时空外参标定装置的结构示意图；
图5是根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
多传感器融合需要知道传感器之间的外参和时间差，才能做时空对齐，进行融合使用。雷达的感知范围大、感知距离远，但是雷达采集到的数据很稀疏并且没有颜色信息；相机的感知范围与雷达相比较小、感知距离与雷达相比较远，但是相机采集到的数据稠密且该数据中包含了颜色信息。因此在世界级应用中，雷达和相机的融合使用彼此取长补短，这对有纹理的稠密三维重建、相机的深度感知等工作非常重要，而相机和雷达的时空外参标定对雷达和相机的融合使用至关重要。
本实施例提供了一种多传感器设备时空外参标定方法。图1是根据本申请实施例的多传感器设备时空外参标定方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，移动多传感器设备获取标定数据。
具体的，所述多传感器设备至少包括第一传感器以及第二传感器。第一传感器为相机，第二传感器为雷达，相机和雷达设置在多传感器设备上，该多传感器设备可以为机器人，启程等，本申请对此不作限定。首先布置标定场地，图2是根据本申请实施例的多传感器设备时空外参标定示意图；如图2所示，首先布置标定场地：找到一个拐弯的墙体，在该墙体的两面墙以及地面上贴上Charuco标定板，两面墙之间以及墙体和地面之间接近垂直，目的是为了保证不会欠约束。然后进行数据采集：移动该多传感器设备，使雷达和相机以不同的位姿采集数据。位姿是指位置和姿态，例如：在二维中一般是(x,y,yaw)，三维中一般是(x,y,z,yaw,pitch,roll)，后三个元素描述物体的姿态，如图1所示，其中yaw是航向角，绕Z轴旋转，pitch是俯仰角，绕Y轴旋转，roll是翻滚角，绕X轴旋转。为保证采集的标定数据的精度，因尽量保证每帧图像都能看到至少一个标定板。如果某帧图像没有出现标定板图像，则删除该帧图像；在一帧图像之中出现的标定板越多，则得到的该帧图像的位姿越准确，即采集的标定数据越精确。
在其中一个实施例中，所述移动多传感器设备获取标定数据之前包括：在多面体上设置标定板，所述多面体具备至少三个平面。具体的，该多面体用于布置标定场地，可以是一个如图2所示的包括三个平面的多面体，也可以是多面墙体和地面组成的大于三个平面的多面体，各个面之间接近相互垂直；以免欠约束。在多面体的各个平面上贴上Charuco标定板，形成标定平面；该多面体也可以不依靠墙体，直接由Charuco标定板搭建，本申请对此不作限定。Charuco标定板是结合了棋盘图案和ArUco板子的优点制作的标定板。
在其中一个实施例中，移动多传感器设备获取标定数据之后，对相机内参和激光雷达内参进行标定，如该相机的内参已进行预标定，则无需再次对相机内参进行标定。相机内参用于描述相机模型，简单的相机内参包括fx、fy、cx、cy，通常用内参矩阵
Figure BDA0002804719750000061
表示。还有些相机内参需考虑畸变参数，畸变参数与相机模型相关，例如针孔相机模型和鱼眼相机模型等。激光雷达的内参主要指不同激光发射器之间的空间位姿关系。在激光雷达出厂时，激光雷达的内参一般为标定完成状态。在本实施例中，相机与激光雷达的内参已进行预标定且误差较小，误差可以忽略。
步骤S102，根据所述第一标定数据，计算第一传感器的连续运动轨迹。
具体的，该第一标定数据为相机采集的标定数据，根据相机采集的标定数据可以得到相机的离散轨迹，相机的离散轨迹精度由标定数据的精度决定，相机采集的每帧图像中出现的标定板越多，精度越高。根据相机的离散轨迹计算相机的连续运动轨迹以及相机的全局坐标系。
在其中一个实施例中，所述根据所述第一标定数据，计算第一传感器的连续运动轨迹还包括：根据所述第一标定数据，计算所述第一传感器的离散运动轨迹；根据所述第一传感器的离散运动轨迹进行曲线拟合，计算所述第一传感器的连续运动轨迹；根据所述第一标定数据，计算所述多面体上多个标定平面在第一传感器全局坐标系下的数学表达；根据所述数学表达生成多组三维离散平面点的集合，所述多组三维离散平面点的集合表示在所述第一传感器全局坐标系下的多个带有边界的平面。具体的，第一标定数据为相机采集的标定数据，第一传感器为相机。根据相机采集的标定数据，得到相机的离散运动轨迹，根据相机的离散运动轨迹，通过B-spline曲线插值，进行曲线拟合；得到相机的连续运动轨迹TrajC，轨迹的自变量是时间t，即根据相机关于时间的连续运动轨迹TrajC(t)就可以得到t时刻相机的位姿。插值是在离散数据的基础上补插连续函数，使得连续曲线能够通过全部给定的离散数据点。根据相机采集的标定数据，计算多面体上每一个标定平面的数学表达，根据数学表达生成多组三维离散平面点的集合，该三维离散平面点的集合即是在相机全局坐标系下的带有边界的平面，将多组三维离散平面点的集合记作PtsCamera_planes。例如，按5cm*5cm的间距采样三维离散平面点，相机的局部坐标系从(0,0,0)开始，进行(0,0.05,0)(0.05,0,0)这样累加，即可得到图2中所示的三维离散平面点的集合。由于预先可以知道标定板的尺寸，标定板的边界即为三维离散平面点的边界。例如标定板尺寸为594mm×841mm，则在标定板边界处生成三维离散点云即可。
步骤S103，获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹。
具体的，获取预先设置相机和雷达的初始外参和时间差，根据初始外参和时间差，初始化雷达的离散运动轨迹。
步骤S104，根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿。
在其中一个实施例中，所述根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿包括：根据所述第二传感器的离散运动轨迹，计算所述第二标定数据中任意连续两帧点云的速度；根据所述任意连续两帧点云的速度，对所述第二标定数据中的每一帧点云进行运动补偿。具体的，第二标定数据即雷达采集的点云数据。根据雷达的离散运动轨迹对雷达采集到的点云数据进行运动补偿。根据雷达的离散运动轨迹，计算雷达采集的点云数据中任意连续两帧的点云的速度，根据计算出的点云速度，对每一帧点云进行运动补偿。
步骤S105根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
具体的，根据相机的离散运动轨迹、相机的连续运动轨迹，经过运动补偿后的点云数据以及相机全局坐标系对该包括雷达和相机的多传感器设备外参和时间差进行迭代标定。
在其中一个实施例中，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定包括：根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束；根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定。
在其中一个实施例中，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束包括：通过外参转换，将所述运动补偿后的第二标定数据转换为所述第一传感器全局坐标系下的数据，所述外参包括空间外参和时间外参；通过最近邻搜索，建立约束。具体的，最近邻搜索的搜索对象是相机全局坐标系PtsCamera_planes，通过最近邻搜索，将雷达局部坐标系内的点通过外参
Figure BDA0002804719750000081
转换到相机的局部坐标系；再通过相机的局部坐标系转换到相机全局坐标系PtsCamera_planes，从而根据“点点距离”建立“点点约束”。
在其中一个实施例中，所述根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定包括：根据所述约束和优化函数，得到所述第一传感器和所述第二传感器的迭代外参；根据所述迭代外参，修正所述第二传感器的离散轨迹、所述运动补偿后的第二标定数据以及所述约束，直至所述优化函数收敛或达到最大迭代次数。具体的根据建立的“点点约束”模拟“点面距离”(有边界的面)进行残差优化。优化函数为：
Figure BDA0002804719750000082
其中，
Figure BDA0002804719750000083
表示雷达外参、dt表示时间差、i表示雷达的时间、NN(x)是指“nearestneighbor”最近邻搜索、
Figure BDA0002804719750000084
表示把一个Lidar局部坐标系的点，通过外参
Figure BDA0002804719750000085
转换到Camera局部坐标系，再通过Trajc(i+dt)转换到Camera全局坐标系。最近邻搜索NN(x)建立的即是
Figure BDA0002804719750000086
与虚拟的3D离散点之间的约束。根据约束和优化函数，进行链式求导，求解外参和时间差，遍历上述过程，直至优化函数收敛或达到最大迭代次数。
在本申请的一个优选实施例中，图3是根据本申请优选实施例的多传感器设备时空外参标定方法的算法流程图，如图3所示，首先布置Charuco的多面体标定场地：找到一个拐弯的墙体，在该墙体的两面墙以及地面上贴上Charuco标定板，两面墙之间以及墙体和地面之间接近垂直。其次移动多传感器设备采集标定数据：该多传感器设备包括机械式激光雷达和相机，移动多传感器设备的位置，使得相机和雷达以不同的位姿采集标定数据，该标定数据包括视觉图像数据和点云数据。标定相机内参，本实施例中采用预先标定好内参的相机，故跳过该相机内参标定步骤。然后计算相机离散轨迹，应用B-spline插值连续轨迹：根据相机采集的视觉图像数据，计算得到相机的离散运动轨迹，通过B-spline插值，得到相机的连续运动轨迹TrajC，轨迹的自变量是时间t，即根据相机关于时间的连续运动轨迹TrajC(t)就可以得到t时刻相机的位姿。计算多面体每个平面的数学表达，生成有边界的三维离散平面点的集合：即根据相机采集的视觉图像数据，计算多面体上每一个标定平面的数学表达，根据数学表达生成多组带有边界的三维离散平面点的集合，将多组三维离散平面点的集合作为相机的全局坐标系，记作PtsCamera_planes。再其次，计算雷达离散运动轨迹；对雷达采集的点云数据进行运动补偿：即获取预先设置相机和雷达的初始外参和时间差，根据初始外参和时间差，初始化雷达的离散运动轨迹。根据雷达的离散运动轨迹，计算雷达采集的点云数据中任意连续两帧的点云速度，根据计算出的点云速度，对每一帧的点云进行运动补偿。再然后，通过“点点约束”模拟“点面约束”：即通过最近邻搜索，将雷达局部坐标系内的点通过外参
Figure BDA0002804719750000091
转换到相机的局部坐标系；再通过相机的局部坐标系转换到相机全局坐标系PtsCamera_planes，从而根据“点点距离”建立“点点约束”，通过“点点约束”模拟“点面约束”。最后，根据约束和优化函数得到的迭代外参和时间差修正雷达离散轨迹、相机全局坐标系、经过运动补偿后的点云数据以及“点点约束”，进行链式求导，遍历上述过程，直至优化函数收敛或达到最大迭代次数，得到多传感器设备的外参和时间差。
通过上述步骤，本申请实施例提供的多传感器设备时空外参标定方法，首先通过对标定场景的扩展，选用大于等于三个标定板进行标定数据的采集，并且由于标定板的使用，是的标定平面包括边界，保证了外参标定的精度。在现有技术中，雷达点云的运动补偿通常放在优化函数中，而本申请实施例中的多设备外参标定方法将优化函数与运动补偿解耦，提升了外参标定速度，例如，对32线激光雷达和相机进行外参标定，32线的激光雷达的点云一帧就存在接近10万个点，以10Hz的频率进行采集，在60秒内，采用现有技术将点云的运动补偿放在优化函数中的方法与本申请实施例的多传感器设备时空外参标定方法相比，会多出6千万个变量，因此本申请的方法大大减少了计算量，实现了在保证外参标定精度的基础上，快速进行相机和雷达的时空外参标定。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种多传感器设备时空外参标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的多传感器设备时空外参标定装置的结构框图，如图4所示，该多传感器设备至少包括第一传感器以及第二传感器，该装置包括：
采集模块10：用于移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据。
处理模块20：用于根据所述第一标定数据，计算第一传感器的连续运动轨迹；获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿。
标定模块30：用于根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
采集模块10，还用于在多面体上设置标定板，所述多面体具备至少三个平面。
处理模块20，还用于根据所述第一标定数据，计算所述第一传感器的离散运动轨迹；根据所述第一传感器的离散运动轨迹进行曲线拟合，计算所述第一传感器的连续运动轨迹；根据所述第一标定数据，计算所述多面体上多个标定平面在第一传感器全局坐标系下的数学表达；根据所述数学表达生成多组三维离散平面点的集合，所述多组三维离散平面点的集合表示在所述第一传感器全局坐标系下的多个带有边界的平面。
处理模块20，还用于根据所述第二传感器的离散运动轨迹，计算所述第二标定数据中任意连续两帧点云的速度；根据所述任意连续两帧点云的速度，对所述第二标定数据中的每一帧点云进行运动补偿。
标定模块30，还用于根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束；根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定。
标定模块30，还用于通过外参转换，将所述运动补偿后的第二标定数据转换为所述第一传感器全局坐标系下的数据，所述外参包括空间外参和时间外参；通过最近邻搜索，建立约束。
标定模块30，还用于根据所述约束和优化函数，得到所述第一传感器和所述第二传感器的迭代外参；根据所述迭代外参，修正所述第二传感器的离散轨迹、所述运动补偿后的第二标定数据以及所述约束，直至所述优化函数收敛或达到最大迭代次数。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例多传感器设备时空外参标定方法可以由计算机设备来实现。图5为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器51以及存储有计算机程序指令的存储器52。
具体地，上述处理器51可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器52可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器52可在数据处理装置的内部或外部。在特定实施例中，存储器52是非易失性(Non-Volatile)存储器。在特定实施例中，存储器52包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器52可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器51所执行的可能的计算机程序指令。
处理器51通过读取并执行存储器52中存储的计算机程序指令，以实现上述实施例中的任意一种多传感器设备时空外参标定方法。
在其中一些实施例中，计算机设备还可包括通信接口53和总线50。其中，如图5所示，处理器51、存储器52、通信接口53通过总线50连接并完成相互间的通信。
通信接口53用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口53还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线50包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线50包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线50可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线50可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的计算机程序指令，执行本申请实施例中的多传感器设备时空外参标定方法，从而实现结合图1描述的多传感器设备时空外参标定方法。
另外，结合上述实施例中的多传感器设备时空外参标定方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种多传感器设备时空外参标定方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多传感器设备时空外参标定方法，其特征在于，所述多传感器设备至少包括第一传感器以及第二传感器，所述方法包括：
移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据；
根据所述第一标定数据，计算第一传感器的连续运动轨迹；
获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；
根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿；
根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
2.根据权利要求1所述的多传感器设备时空外参标定方法，其特征在于，所述移动多传感器设备获取标定数据之前包括：
在多面体上设置标定板，所述多面体具备至少三个平面。
3.根据权利要求2所述的多传感器设备时空外参标定方法，其特征在于，所述根据所述第一标定数据，计算第一传感器的连续运动轨迹还包括：
根据所述第一标定数据，计算所述第一传感器的离散运动轨迹；
根据所述第一传感器的离散运动轨迹进行曲线拟合，计算所述第一传感器的连续运动轨迹；
根据所述第一标定数据，计算所述多面体上多个标定平面在第一传感器全局坐标系下的数学表达；
根据所述数学表达生成多组三维离散平面点的集合，所述多组三维离散平面点的集合表示在所述第一传感器全局坐标系下的多个带有边界的平面。
4.根据权利要求3所述的多传感器设备时空外参标定方法，其特征在于，所述根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿包括：
根据所述第二传感器的离散运动轨迹，计算所述第二标定数据中任意连续两帧点云的速度；
根据所述任意连续两帧点云的速度，对所述第二标定数据中的每一帧点云进行运动补偿。
5.根据权利要求4所述的多传感器设备时空外参标定方法，其特征在于，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定包括：
根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束；
根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定。
6.根据权利要求5所述的多传感器设备时空外参标定方法，其特征在于，所述根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据，建立约束包括：
通过外参转换，将所述运动补偿后的第二标定数据转换为所述第一传感器全局坐标系下的数据，所述外参包括空间外参和时间外参；
通过最近邻搜索，建立约束。
7.根据权利要求5所述的多传感器设备时空外参标定方法，其特征在于，所述根据所述约束和优化函数，对所述多传感器设备外参进行迭代标定包括：
根据所述约束和优化函数，得到所述第一传感器和所述第二传感器的迭代外参；
根据所述迭代外参，修正所述第二传感器的离散轨迹、所述运动补偿后的第二标定数据以及所述约束，直至所述优化函数收敛或达到最大迭代次数。
8.一种多传感器设备时空外参标定装置，其特征在于，所述多传感器设备至少包括第一传感器以及第二传感器，所述装置包括：
采集模块：用于移动多传感器设备获取标定数据；所述标定数据包括第一传感器采集到的第一标定数据以及第二传感器采集到的第二标定数据；
处理模块：用于根据所述第一标定数据，计算第一传感器的连续运动轨迹；获取预先设置的多传感器设备外参以及第二传感器的离散运动轨迹；根据所述第二传感器的离散运动轨迹对第二标定数据进行运动补偿；
标定模块：用于根据所述第二传感器的离散运动轨迹、第一传感器的连续运动轨迹以及运动补偿后的第二标定数据对所述多传感器设备外参进行迭代标定。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的多传感器设备时空外参标定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的多传感器设备时空外参标定方法。
CN202011363520.0A 2020-11-27 2020-11-27 多传感器设备时空外参标定方法、装置以及计算机设备 Active CN112444798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011363520.0A CN112444798B (zh) 2020-11-27 2020-11-27 多传感器设备时空外参标定方法、装置以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011363520.0A CN112444798B (zh) 2020-11-27 2020-11-27 多传感器设备时空外参标定方法、装置以及计算机设备

Publications (2)

Publication Number Publication Date
CN112444798A true CN112444798A (zh) 2021-03-05
CN112444798B CN112444798B (zh) 2024-04-09

Family

ID=74738065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011363520.0A Active CN112444798B (zh) 2020-11-27 2020-11-27 多传感器设备时空外参标定方法、装置以及计算机设备

Country Status (1)

Country Link
CN (1) CN112444798B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147599A (zh) * 2019-06-28 2020-12-29 浙江大学 一种基于样条函数的连续时间上3d激光雷达和惯性传感器外参标定方法
CN113253256A (zh) * 2021-06-04 2021-08-13 智道网联科技(北京)有限公司 基于传感器融合设备的监控方法、装置和传感器融合设备
CN115235527A (zh) * 2022-07-20 2022-10-25 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115908589A (zh) * 2023-02-23 2023-04-04 深圳佑驾创新科技有限公司 一种多传感器标定系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN111882655A (zh) * 2020-06-19 2020-11-03 杭州易现先进科技有限公司 三维重建的方法、装置、系统、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109658457A (zh) * 2018-11-02 2019-04-19 浙江大学 一种激光与相机任意相对位姿关系的标定方法
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能系统有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
CN111882655A (zh) * 2020-06-19 2020-11-03 杭州易现先进科技有限公司 三维重建的方法、装置、系统、计算机设备和存储介质
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIＲZAEI F M，KOTTAS D G，ＲOUMELIOTIS S I: "3D LiDAＲ-camera intrinsic and extrinsic calibration: Identifiability and analytical least-squares based initialization", THE INTERNATIONAL JOURNAL OF ＲOBOTICS ＲESEARCH, vol. 31, no. 4, pages 452 - 467 *
刘今越;唐旭;贾晓辉;杨冬;李铁军;: "三维激光雷达-相机间外参的高效标定方法", 仪器仪表学报, no. 11, pages 64 - 71 *
姚文韬，沈春锋，董文生: "一种自适应摄像机与激光雷达联合标定算法", 控制工程, vol. 24, pages 75 - 79 *
沈玥伶: "解放双手|教你进行相机与IMU外参的在线标定", pages 1 - 5, Retrieved from the Internet <URL:https://mp.weixin.qq.com/s?__biz=MzIxOTczOTM4NA==&mid=2247487 859&idx=1&sn=dab8ef015621dd895af89971834ef959&chksm=97d7f4e4a0a07df211179d3b60d5b3e001526bcffeaa07e22c158afb46e9a56ce6bc862d6466&token=748150220&lang=zh_CN#rd> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147599A (zh) * 2019-06-28 2020-12-29 浙江大学 一种基于样条函数的连续时间上3d激光雷达和惯性传感器外参标定方法
CN112147599B (zh) * 2019-06-28 2022-05-20 浙江大学 基于样条函数的3d激光雷达和惯性传感器外参标定方法
CN113253256A (zh) * 2021-06-04 2021-08-13 智道网联科技(北京)有限公司 基于传感器融合设备的监控方法、装置和传感器融合设备
CN115235527A (zh) * 2022-07-20 2022-10-25 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115908589A (zh) * 2023-02-23 2023-04-04 深圳佑驾创新科技有限公司 一种多传感器标定系统及方法

Also Published As

Publication number Publication date
CN112444798B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN112444798A (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN108198145B (zh) 用于点云数据修复的方法和装置
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
WO2021142996A1 (zh) 基于图像分割的点云去噪方法、系统、装置和存储介质
CN112184768B (zh) 基于激光雷达的sfm重建方法、装置和计算机设备
CN111080784B (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN109155846B (zh) 一种场景的三维重建方法、装置、电子设备及存储介质
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN115035235A (zh) 三维重建方法及装置
CN114494383B (zh) 基于Richard-Lucy迭代的光场深度估计方法
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
CN116295279A (zh) 一种基于无人机遥感的建筑测绘方法及无人机
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN111179408B (zh) 三维建模的方法及设备
CN113496503A (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
WO2022233137A1 (zh) 三维网格重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant