CN113483669B - 一种基于立体靶标的多传感器位姿标定方法及装置 - Google Patents

Abstract

本申请公开了一种基于立体靶标的多传感器位姿标定方法及装置，其中所述方法包括在立体靶标世界参考坐标系中扫描立体靶标上所有特征点的三维坐标，得到所述立体靶标上所有特征点的立体靶标世界参考坐标系的三维坐标点集；测量每个传感器对应的立体靶标上所有特征点的三维坐标，得到所述立体靶标上所有特征点的各传感器坐标系的三维坐标点集；计算两个坐标系对应点之间的刚体变化关系，得到多传感器的位姿关系。本申请提供的方法及装置，利用具有鲜明特征的立体靶标可辅助精确获取传感器坐标系下特征点的坐标值；利用标定结果迭代寻优，可以很好地提高抗干扰性，提升标定精度；而且，此标定方法可同时标定多个传感器的位姿关系，标定步骤简单高效。

Description

一种基于立体靶标的多传感器位姿标定方法及装置

技术领域

本申请实施例涉及三维扫描领域，特别涉及一种基于立体靶标的多传感器位姿标定方法及装置。

背景技术

3D传感器有着测量精度高、测量速度快及结构简单等优势，已广泛应用于工业检测、工业智造、文物数字化、生物医疗等领域。

而由于高精度3D传感器的测量范围较小，为应对大范围物体的高精度非接触式测量，通常需要通过3D标定技术获取不同视角下多个传感器的位姿关系，进而将各传感器的测量坐标系统一到同一坐标系下，完成大范围的拼接测量，标定的精度直接影响后续的测量精度。

现有标定技术多为通过拍摄二维圆形靶标、标准黑白棋盘格或外加条纹投影技术获取对应特征点进行标定，这类方法易受环境光照干扰，鲁棒性较差，且一般为两两相机逐对标定，并需拍摄多个位姿下的靶标图像，操作繁琐复杂，标定效率低，且二维标定算法一般只能利用特征点的二维坐标信息运算，缺乏三维空间信息，导致多传感器位姿标定结果精度较低。

发明内容

为了解决现有技术中二维标定方法易受环境光照干扰，鲁棒性较差，且一般为两两相机逐对标定，并需拍摄多个位姿下的靶标图像，操作繁琐复杂，标定效率低，且二维标定算法只能得到标定点的二维坐标，无法完全获取标定点的全部信息，导致标定精度较低等问题，本申请提供了一种基于立体靶标的多传感器位姿标定方法及装置。

第一方面，本申请提供了一种基于立体靶标的多传感器位姿标定方法，所述方法包括：

在立体靶标世界参考坐标系中扫描立体靶标上所有特征点的三维坐标，得到所述立体靶标上所有特征点的立体靶标世界参考坐标系的三维坐标点集P_w＝{p_w1,p_w2,p_w3…p_wn}，其中p_wn为第n个传感器视野中的特征点在立体靶标世界参考坐标系的三维坐标点集；

分别测量每个传感器对应的立体靶标上所有特征点的三维坐标，通过特征点求取算法计算所述特征点在各传感器坐标系中的位置关系，得到所述立体靶标上所有特征点的各传感器坐标系的三维坐标点集P_s＝{p_s1,p_s2,p_s3…p_sn}，其中p_sn为第n个传感器坐标系的三维坐标点集；

计算所述立体靶标世界参考坐标系的三维坐标点集P_w与所述各传感器坐标系的三维坐标点集P_s对应点之间的刚体变化关系，得到多传感器的位姿关系。

进一步地，所述方法还包括：对所述立体靶标世界参考坐标系的三维坐标点集P_w以及所述各传感器坐标系的三维坐标点集P_s进行优化处理；所述优化处理的步骤包括：

对所述立体靶标世界参考坐标系的三维坐标点集P_w以及所述各传感器坐标系的三维坐标点集P_s对应点进行标定，计算标定点对的刚体变化关系，运用所述标定点对的刚体变化关系计算所述各传感器坐标系的三维坐标点集在所述立体靶标世界参考坐标系的三维坐标点集，得到标定点对结果理论值；

设定距离阈值；

计算每对标定点的所述标定点对结果理论值与测量得到的标定点对结果测量值的欧式点距，并与设定的所述距离阈值比较；

若一对标定点的欧式点距大于距离阈值，则判定选取的所述一对标定点为干扰点，去除；

若一对标定点的欧式点距小于等于距离阈值，则判定选取的所述一对标定点为非干扰点，保留；

去除所述干扰点后再次重复标定，不断迭代，直到最后算出所有的点对欧氏点距满足距离阈值，得到去干扰点的多传感器的位姿关系。

在一种实施例中，所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量塔台靶标上的所有特征点，其中塔台靶标上的特征点为角点，通过平面拟合算法提取塔台角点相邻的三个平面，计算三个平面的交点得到所述角点坐标。

在另一种实施例中，所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量球靶标上的所有特征点，其中球靶标上的特征点为球心，通过球拟合算法运算，提取得到球心坐标。

进一步地，所述计算所述立体靶标世界参考坐标系的三维坐标点集P_w与所述各传感器坐标系的三维坐标点集P_s对应点之间的刚体变化关系的步骤包括：采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个三维坐标点集的刚体变换关系。

进一步地，所述得到多传感器的位姿关系的计算公式为：

其中，R为传感器间的旋转参数，T为传感器间的平移参数。

在一种实施例中，得到所述得到多传感器的位姿关系的方法还包括：

依次对各传感器两两标定，其中要求每两个传感器拍摄的视野中具有相同的特征点；

分别获取两个传感器坐标系下的所述相同的特征点的靶标特征点集；

采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个特征点集的刚体变换关系，得到两个传感器的位姿关系；

通过所述方法依次计算所有传感器之间的刚体变换关系，得到多传感器的位姿关系。

此方案可兼顾无法高精度准确获取靶标特征点世界坐标的情况，可使用传感器两两标定方式进行标定。

在一种实施例中，所述优化处理的步骤还包括：使用随机采样一致性算法去除干扰点。

使用随机采样一致性算法一定程度上可提高算法对噪声的抗干扰性，而且，迭代次数越大，获取到准确结果概率越高。

第二方面，本申请还提供了一种基于立体靶标的多传感器位姿标定装置，其特征在于，所述装置包括：

数据处理模块，所述数据处理模块被配置用于扫描测量立体靶标上所有特征点的立体靶标世界参考坐标系坐标以及各传感器坐标系坐标；

位姿标定计算模块，所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系。

进一步地，所述装置还包括：优化处理模块；所述优化处理模块被配置用于比对距离阈值去除点集中的干扰点。

本申请提供了一种基于立体靶标的多传感器位姿标定方法及装置，利用靶标特征点的三维空间坐标信息，能提高对环境光等外界噪声因素的干扰，鲁棒性相比二维标定算法更高，提高了标定精度，且标定流程操作简单不繁琐，提高了标定效率。同时，利用具有鲜明特征的立体靶标可辅助精确获取传感器坐标系下特征点的坐标值；利用标定结果迭代寻优，可以很好地提高抗干扰性，提升标定精度；而且，此标定方法可同时标定多个传感器的位姿关系，标定步骤简单高效。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种基于立体靶标的多传感器位姿标定方法的流程图；

图2为本申请一种实施例中塔台靶标示意图；

图3为本申请一种实施例中球靶标示意图；

图4为本申请一种基于立体靶标的多传感器位姿标定方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，3D成像在工业和消费者应用中变得重要，技术人员利用3D成像技术研发出三维扫描仪、3D相机等设备广泛应用于各行各业。具有3D成像功能的机器视觉系统可以更快，更准确地检查生产现场的组件。在消费者领域，3D成像为媒体提供更大的图像深度。

3D成像受到最复杂成像设备的启发：眼睛。

3D成像依赖于立体摄影，我们可以从熟悉的来源观察：人类视觉系统。人类看到两只眼睛略微分开的东西。除了由例如标准二维电视屏幕再现的水平和垂直信息之外，这项技术允许机器感知深度。

由于眼睛是分开的，每个人都从不同的角度看世界。快速覆盖一只眼睛，然后覆盖另一只眼睛，每次都表现出微妙但明显的角度差异。人类在视觉中感知的维度来自大脑将不同的图像组合成一个整体，称为视差现象。

每个3D镜头都使用两个摄像头，每个镜头捕捉的图像略微偏离另一个镜头。因此，3D图像包含的信息量是2D图像的两倍。编辑图像以显示，同时保持完整的数据保真度。眼睛不能自己处理两组图像：每只眼睛处理它自己的一组图像。

左眼和右眼的图像在大脑中结合，以再现深度感。

3D成像可以用于广泛应用-分析，测量和定位部件是最重要的。然而，为了获得最佳结果，设计一个具有必要性和环境约束的系统至关重要。可以通过主动或被动方法实现3D成像。主动系统使用诸如飞行时间、结构光和干涉测量等方法，这些方法通常需要在拍摄环境中进行高度控制。被动方法包括焦点深度和光场。

在基于快照的方法中，同时捕获的两个快照之间的差异用于计算到对象的距离，这称为被动立体成像。可以通过移动单个摄像头来实现，但使用两规格相同的摄像头效率更高。

相比之下，主动快照方法可以包含解释可视数据的其他技术。活动快照可以使用飞行时间，通过测量光船舶到目标对象时经过的时间返回传播器，将3D数据编码到每个像素中。

另一种产生3D形状数据的成功方法是激光三角测量。在激光三角测量中，使用单个相机来从投射到物体表面上的激光图案导出高度变化，然后观察这些图案在从相机角度观察时如何移动。即使使用单个相机并且没有三角测量，通过观察物体在靠近或远离相机时如何缩放，仍然可以感知物距。

根据可用的项目和技术，3D成像也可以以其他方式实现。无论采用何种方法，结果都是可靠的可视化数据，可用于提高关键流程的性能，尤其是在工业中。

鲁棒就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说，计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下，能否不死机、不崩溃，就是该软件的鲁棒性。所谓“鲁棒性”，也是指控制系统在一定结构、大小的参数摄动下，维持其它某些性能的特性。根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

2017年，许畅达等在专利中公开了一种基于四轴测量机的线激光位移传感器标定方法，通过对已知空间坐标的磨砂标准球进行扫描，求解激光器出射向量，计算精度较高。2018年，李中伟、陈瀚等在专利中公开了一种多线激光传感器坐标系融合及转轴标定方法，不依赖机械结构的安装精度，有利于大型回转体零件的标定。

本申请提供了一种基于立体靶标的多传感器位姿标定方法，所述方法包括：

如图1以及图4所示，图1为本申请一种基于立体靶标的多传感器位姿标定方法的流程图；图4为本申请一种基于立体靶标的多传感器位姿标定方法的示意图。

S1:在立体靶标世界参考坐标系中通过高精度三维扫描仪或三坐标测量仪器扫描或测量立体靶标上所有特征点的三维坐标，得到所述立体靶标上所有特征点的立体靶标世界参考坐标系的三维坐标点集P_w＝{p_w1,p_w2,p_w3…p_wn}，其中p_wn为第n个传感器视野中的特征点在立体靶标世界参考坐标系的三维坐标点集；

搭建工作平台，准备立体靶标。靶标是在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是靶标。其中所述立体靶标可以为包括但不限于角点靶标、球体靶标、锥体靶标等立体靶标。

S2:分别测量每个传感器对应的立体靶标上所有特征点的三维坐标，通过特征点求取算法计算所述特征点在各传感器坐标系中的位置关系，得到所述立体靶标上所有特征点的各传感器坐标系的三维坐标点集P_s＝{p_s1,p_s2,p_s3...p_sn}，其中p_sn为第n个传感器坐标系的三维坐标点集；

S3:计算所述立体靶标世界参考坐标系的三维坐标点集P_w与所述各传感器坐标系的三维坐标点集P_s对应点之间的刚体变化关系，得到多传感器的位姿关系。

进一步地，所述方法还包括：对所述立体靶标世界参考坐标系的三维坐标点集P_w以及所述各传感器坐标系的三维坐标点集P_s进行优化处理；所述优化处理的步骤包括：

对所述立体靶标世界参考坐标系的三维坐标点集P_w以及所述各传感器坐标系的三维坐标点集P_s对应点进行标定，计算标定点对的刚体变化关系，运用所述标定点对的刚体变化关系计算所述各传感器坐标系的三维坐标点集在所述立体靶标世界参考坐标系的三维坐标点集，得到标定点对结果理论值；

设定距离阈值；

计算每对标定点的所述标定点对结果理论值与测量得到的标定点对结果测量值的欧式点距，并与设定的所述距离阈值比较；

若一对标定点的欧式点距大于距离阈值，则判定选取的所述一对标定点为干扰点，去除；

若一对标定点的欧式点距小于等于距离阈值，则判定选取的所述一对标定点为非干扰点，保留；

去除所述干扰点后再次重复标定，不断迭代，直到最后算出所有的点对欧氏点距满足距离阈值，得到去干扰点的多传感器的位姿关系。

在一种实施例中，如图2所示，图2为本申请一种实施例中塔台靶标示意图；所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量塔台靶标上的所有特征点，其中塔台靶标上的特征点为角点，通过平面拟合算法提取塔台角点相邻的三个平面，计算三个平面的交点得到所述角点坐标。

在另一种实施例中，如图3所示，图3为本申请一种实施例中球靶标示意图；所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量球靶标上的所有特征点，其中球靶标上的特征点为球心，通过球拟合算法运算，提取得到球心坐标。

进一步地，所述计算所述立体靶标世界参考坐标系的三维坐标点集P_w与各传感器坐标系的三维坐标点集P_s对应点之间的刚体变化关系的步骤包括：采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个三维坐标点集的刚体变换关系。

进一步地，所述得到多传感器的位姿关系的计算公式为：

其中，R为传感器间的旋转参数，T为传感器间的平移参数。

在一种实施例中，得到所述得到多传感器的位姿关系的方法还包括：

依次对各传感器两两标定，其中要求每两个传感器拍摄的视野中具有相同的特征点；

分别获取两个传感器坐标系下的所述相同的特征点的靶标特征点集；

采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个特征点集的刚体变换关系，得到两个传感器的位姿关系；

通过所述方法依次计算所有传感器之间的刚体变换关系，得到多传感器的位姿关系。

此方案可兼顾无法高精度准确获取靶标特征点世界坐标的情况，可使用传感器两两标定方式进行标定。

在一种实施例中，所述优化处理的步骤还包括：使用随机采样一致性算法去除干扰点。

使用随机采样一致性算法一定程度上可提高算法对噪声的抗干扰性，而且，迭代次数越大，获取到准确结果概率越高。

第二方面，本申请还提供了一种基于立体靶标的多传感器位姿标定装置，其特征在于，所述装置包括：

数据处理模块，所述数据处理模块被配置用于扫描测量立体靶标上所有特征点的立体靶标世界参考坐标系坐标以及各传感器坐标系坐标；

位姿标定计算模块，所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系。

进一步地，所述装置还包括：优化处理模块；所述优化处理模块被配置用于比对距离阈值去除点集中的干扰点。

本申请提供了一种基于立体靶标的多传感器位姿标定方法及装置，利用靶标特征点的三维空间坐标信息，能提高对环境光等外界噪声因素的干扰，鲁棒性相比二维标定算法更高，提高了标定精度，且标定流程操作简单不繁琐，提高了标定效率。同时，利用具有鲜明特征的立体靶标可辅助精确获取传感器坐标系下特征点的坐标值；利用标定结果迭代寻优，可以很好地提高抗干扰性，提升标定精度；而且，此标定方法可同时标定多个传感器的位姿关系，标定步骤简单高效。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于立体靶标的多传感器位姿标定方法，其特征在于，所述方法包括：

在立体靶标世界参考坐标系中扫描立体靶标上所有特征点的三维坐标，得到所述立体靶标上所有特征点的立体靶标世界参考坐标系的三维坐标点集

，其中

为第n个传感器视野中的特征点在立体靶标世界参考坐标系的三维坐标点集；

分别测量每个传感器对应的立体靶标上所有特征点的三维坐标，通过特征点求取算法计算所述特征点在各传感器坐标系中的位置关系，得到所述立体靶标上所有特征点的各传感器坐标系的三维坐标点集

，其中

为第n个传感器坐标系的三维坐标点集；

对所述立体靶标世界参考坐标系的三维坐标点集

以及所述各传感器坐标系的三维坐标点集

对应点进行标定，计算标定点对的刚体变化关系，运用所述标定点对的刚体变化关系计算所述各传感器坐标系的三维坐标点集在所述立体靶标世界参考坐标系的三维坐标点集，得到标定点对结果理论值；

设定距离阈值；

计算每对标定点的所述标定点对结果理论值与测量得到的标定点对结果测量值的欧式点距，并与设定的所述距离阈值比较；

若一对标定点的欧式点距大于距离阈值，则判定选取的所述一对标定点为干扰点，去除；

若一对标定点的欧式点距小于等于距离阈值，则判定选取的所述一对标定点为非干扰点，保留；

去除所述干扰点后再次重复标定，不断迭代，直到最后算出所有的点对欧氏点距满足距离阈值，得到去干扰点的多传感器的位姿关系。

2.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量塔台靶标上的所有特征点，其中塔台靶标上的特征点为角点，通过平面拟合算法提取塔台角点相邻的三个平面，计算三个平面的交点得到所述角点坐标。

3.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，所述分别测量每个传感器对应的立体靶标上所有特征点的步骤包括测量球靶标上的所有特征点，其中球靶标上的特征点为球心，通过球拟合算法运算，提取得到球心坐标。

4.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，所述计算所述立体靶标世界参考坐标系的三维坐标点集

与所述各传感器坐标系的三维坐标点集

对应点之间的刚体变化关系的步骤包括：采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个三维坐标点集的刚体变换关系。

5.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，得到多传感器的位姿关系的计算公式为：

；

其中，R为传感器间的旋转参数，T为传感器间的平移参数。

6.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，得到多传感器的位姿关系的方法还包括：

依次对各传感器两两标定，其中每两个传感器拍摄的视野中具有相同的特征点；

分别获取两个传感器坐标系下的所述相同的特征点的靶标特征点集；

采用最小二乘算法、最小二乘变体算法、奇异值分解算法、列文伯格-马夸尔特优化算法中的至少一种算法计算两个特征点集的刚体变换关系，得到两个传感器的位姿关系；

通过所述方法依次计算所有传感器之间的刚体变换关系，得到多传感器的位姿关系。

7.根据权利要求1所述的一种基于立体靶标的多传感器位姿标定方法，其特征在于，优化处理的步骤还包括：使用随机采样一致性算法去除干扰点。

8.一种应用于权利要求1所述方法的基于立体靶标的多传感器位姿标定装置，其特征在于，所述装置包括：

数据处理模块，所述数据处理模块被配置用于扫描测量立体靶标上所有特征点的立体靶标世界参考坐标系坐标以及各传感器坐标系坐标；

位姿标定计算模块，所述位姿标定计算模块被配置用于计算全局世界参考坐标系与传感器坐标系间的刚体变换关系;

优化处理模块；所述优化处理模块被配置用于比对距离阈值去除点集中的干扰点。

Images