CN115861444A - 一种基于立体靶标的视觉传感器外参标定方法 - Google Patents

Abstract

本发明公开一种基于立体靶标的视觉传感器外参标定方法，安装基座上至少设有两个柱状凸起，视觉传感器上至少设有两个基准孔；安装时两者插合；以基准孔或者柱状凸起建立视觉传感器的外壳坐标系；在实验室视觉传感器安装在所述标定工装上，采集视场内立体靶标的二维图像，结合二维图像和立体靶标上标准孔/球在外壳坐标系下的标准坐标，获取相机坐标系与外壳坐标系的转换关系；在检测工位，视觉传感器安装在安装基座上；利用标准仪器得到待测物坐标系与外壳坐标系之间的转换关系；结合相机坐标系与外壳坐标系之间的转换关系，获取待测物坐标系与相机坐标系之间的转换关系，完成外参标定。本方法能够准确获，操作简单，缩短了外参标定过程的时间。

Description

一种基于立体靶标的视觉传感器外参标定方法

技术领域

本发明涉及传感器标定领域，具体涉及一种基于立体靶标的视觉传感器外参标定方法。

背景技术

众所周知，视觉传感器外参标定过程是传感器正常使用的前置过程，标定结果的有效性直接关系到后续检测结果的准确性。在工业现场中，为了准确标定相机坐标系与待测物坐标系之间的转换关系(外参)，通常采用以下过程：

即以传感器外壳坐标系作为中转，才能得出相机坐标系与待测物坐标系之间的关系。为此，需要获得传感器外壳坐标系与相机坐标系之间的转换关系，目前，传感器外壳坐标系与相机坐标系的标定过程主要呈现以下形式：

一、利用平面靶标(如棋盘格靶标、同心圆靶标)，传感器需要采集平面靶标图像，获取靶标上面的特征信息，再借助摄影测量系统，建立相机坐标系-靶标坐标系-外部坐标系之间的关系，通过坐标系转换，得到外参矩阵。该方法存在以下缺点：

1)搭建环境复杂、引入的误差多：解算过程中需要经过相机坐标到平面靶标坐标，平面靶标坐标系到经纬仪坐标系，经纬仪坐标系到外壳坐标系，多次转站才能求得相机坐标系到外壳坐标的转换关系。叠加误差多，降低了标定精度。

2)对靶标的加工精度要求严格，设备成本高。

3)耗时长：单个传感器外参标定需要耗时30min。

二、利用立体靶标，该靶标目前仅针对于线结构光传感器，传感器中的线激光器将激光条投射的靶标上的特征物上，基于特征物的三维坐标解算线结构光传感器的外参；如专利文献CN 111256592 B提出了一种结构光传感器的外参标定装置及方法，其靶标包括多个标准球，要求各标准球球心不在同一个空间平面上，相邻两个标准球球心之间的水平距离大于这两个标准球的半径之和、垂直距离小于这两个标准球的半径之和；使用时，需要保障光平面能够覆盖标定装置中的所有标准球。另一专利文献CN 111256591 B提出的种基于立体靶标的视觉传感器外参标定方法，其靶标设有多个标准孔，各标准孔上表面的圆心不在同一个空间平面上，相邻两个标准孔中心之间的水平距离大于这两个标准孔的半径之和、垂直距离小于这两个标准孔的半径之和；标定时，要求投射器向所述标定装置上投射结构光，光平面能够覆盖标定装置中的所有标准孔。此类方法存在以下问题：

1)兼容性差：由于相机和激光器安装位置存在的不可避免的差异，很难保证光平面始终能够覆盖标定装置中的所有标准球/孔；为此，该靶标很难兼容不同型号的传感器。

2)操作复杂：由于光平面需要同时穿过各个标准球/孔，并且为了保证球心/孔心坐标解算的精度，激光条需要投射在标准球/孔的1/4～1/3处，即尽量靠近球心/孔心，若投射到标准球/孔的1/6～1/5处，将会降低球心/孔心拟合结果。为此，在标定时，需要操控传感器，将其放置在指定的位置、角度，以达到满意的效果，过程繁琐、耗时长(单个传感器外参标定耗时约20min。)。

3)解算过程引入中间误差：在计算相机坐标系到传感器外部坐标系转换关系的时候，需要借助光平面，获得球心/孔心三维坐标，引入光平面坐标将引入中间误差，影响标定精度。

发明内容

针对上述问题，本发明提出一种基于立体靶标的视觉传感器外参标定方法，本方法能够快速建立外壳坐标系、准确获得相机坐标系与待测物坐标系之间的转换关系，在外壳坐标系与相机坐标系的标定过程中使用立体靶标，降低了对标定所处外接环境的依赖性，操作简单，仅需采集一幅立体靶标二维图像，缩短了外参标定过程的时间，减少误差引入，标定结果精度高。

技术方案如下：

一种基于立体靶标的视觉传感器外参标定方法，视觉传感器的安装基座上至少设有两个柱状凸起，对应的，所述视觉传感器上至少设有两个基准孔；视觉传感器安装时两者插合；以基准孔或者柱状凸起建立视觉传感器的外壳坐标系；

在实验室设置标定工装，所述标定工装上设有与安装基座上数量、位置相同的柱状凸起；

视觉传感器安装在所述标定工装上，采集视场内立体靶标的二维图像，结合所述二维图像和立体靶标上标准孔/球在外壳坐标系下的标准坐标，获取相机坐标系与外壳坐标系的转换关系，存储；

所述立体靶标上设有至少四个标准孔/球，各个标准球的球心、标准孔的孔心不在同一个空间平面上；

在检测工位，视觉传感器安装在安装基座上，待测物置于预设位置；利用标准仪器获取待测物坐标系与标准仪器坐标系之间的转换关系、外壳坐标系与标准仪器坐标系之间的转换关系；得到待测物坐标系与外壳坐标系之间的转换关系；

结合预先存储的相机坐标系与外壳坐标系之间的转换关系，获取待测物坐标系与相机坐标系之间的转换关系，完成外参标定。

进一步，利用标准仪器获取待测物坐标系与标准仪器坐标系之间转换关系的方法如下：

标准仪器采集待测物表面的多个特征，所述特征为孔、点或者外设的球；

利用各个特征在待测物坐标系中的坐标以及在标准仪器坐标系中的坐标，解算待测物坐标系与标准仪器坐标系之间的转换关系。

进一步，利用标准仪器获取外壳坐标系与标准仪器坐标系之间转换关系的方法如下：

在视觉传感器的外壳表面固定多个特征点或球；

利用标准仪器采集特征点或球的坐标，利用特征点或球在外壳坐标系中的坐标以及在标准仪器坐标系中的坐标，解算视觉传感器的外壳坐标系与标准仪器坐标系之间的转换关系。

进一步，利用基准孔或者柱状凸起建立视觉传感器的外壳坐标系的方法如下：

利用标准仪器分别获取各基准孔/柱状凸起的三维坐标，将其中一个基准孔/柱状凸起的三维坐标点作为坐标原点，将坐标原点与其它任一基准孔/柱状凸起的连线作为一个坐标轴；垂直于基准孔/柱状凸起所在平面的方向为另一坐标轴，过坐标原点，沿与前两坐标轴均垂直的方向构建第三个坐标轴，完成外壳坐标系的建立。

优选，所述标准仪器为三坐标机、激光跟踪仪、影像仪、全站仪、经纬仪或者关节臂式测量机。

进一步，解算相机坐标系与外壳坐标系之间转换关系的方法为：

根据立体靶标上各个标准孔/球之间的空间位置关系，预先为每个标准孔/球设置ID号，查找同一ID号对应的像素坐标和标准坐标，基于PNP原理，解算相机坐标系与外壳坐标系之间的转换关系；

所述标准坐标为利用标准仪器获取的各个标准孔/球的几何中心在外壳坐标系中的三维坐标。

为了便于区分各个标准孔/球，优选，所述立体靶标的一个或多个标准孔/球的加工尺寸异于其他标准孔/球，或者，各标准孔/球的加工尺寸互不相同。

进一步，所述立体靶标设有多个高度不同的平面，多个平面均布在相机景深范围内；单个平面上设有一个或多个标准孔/球；

其中，标准孔为圆孔或者正多边形孔；使用时，各个标准孔的上表面垂直于相机光轴；

多个平面呈阶梯状分布，逐次升高或逐次降低、或先升高再降低，或先降低再升高，或高低上呈无规律分布。

优选，所述立体靶标设有一个或多个斜面，斜面的表面呈平面或者曲面；立体靶标上的各个标准球均布在相机景深范围内；

斜面与水平面之间的夹角为20°～60°；

当单个斜面上设有多个标准球时，各个标准球之间交错分布。

本方法具有以下特点：

①本发明方法，在视觉传感器的外壳表面设有基准孔，并匹配专门的标定工装，其上设有柱状凸起，安装时，柱状凸起分别嵌入到基准孔内；利用基准孔或者柱状凸起建立外壳坐标系；通过这一特殊的设计可快速建立传感器外壳坐标系，实现对不同视觉传感器的批量标定：

当需要标定的视觉传感器较多时，只需要将待标定的视觉传感器固定到柱状凸起上，即可快速建立传感器外壳坐标系，再结合立体靶标，得出相机坐标系与外壳坐标系之间的关系；结合标准仪器，获得外壳坐标系与待测物坐标系之间的关系，最终推算到相机坐标系与待测物坐标系之间的转换关系。

整个过程高效准确度，适用于对传感器的快速标定。

②采用立体靶标，靶标形态简单、巧妙，通过靶标阶梯块/斜面的设计，能够在相机有效景深范围内均布多个标准孔/球，相比于平面靶标，特征点坐标(孔心、球心坐标)在三个坐标轴方向均发生改变，使得标定结果准确性更高。

本方法不仅适用于各种类型的结构光传感器标定，也适用于单、双目视觉传感器以及面结构光视觉传感器；标定过程只需要有相机参与即可，全程无需再依靠其他部件(激光投射器、投影仪)；操作便捷，解算速度快，单个传感器外参标定耗时约5min；在线结构光视觉传感器或者面结构光传感器标定过程中，优势更为显著。

③具体解算过程中，利用标准设备直接获取相机坐标系与外部坐标系之间的关系，无需靶标坐标系或者光平面参与解算，减少了中间误差，标定结果准确性高，通过反投影误差均值评估外参标定结果，本方法解算出的外参矩阵，解算误差小于0.15/pixel。

附图说明

图1为具体实施方式中形态一立体靶标结构示意图；

图2为具体实施方式中形态二立体靶标结构示意图；

图3为具体实施方式中形态三立体靶标结构示意图；

图4为具体实施方式中相机采集形态三立体靶标的图像；

图5为具体实施方式中形态四立体靶标结构示意图；

图6为具体实施方式中形态五立体靶标结构示意图；

图7为标定工装或者安装基座的结构示意图；

图8为视觉传感器外壳结构示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种基于立体靶标的视觉传感器外参标定方法，如图7所示，视觉传感器的安装基座上至少设有两个柱状凸起，对应的，如图8所示，视觉传感器上至少设有两个基准孔；视觉传感器安装时两者插合；以基准孔或者柱状凸起建立视觉传感器的外壳坐标系；

在实验室设置标定工装，标定工装上设有与安装基座上数量、位置相同的柱状凸起(具体实施时，标定工装可以与安装局座完全相同)；

视觉传感器安装在标定工装上，采集视场内立体靶标的二维图像(如图4所示)，结合二维图像和立体靶标上标准孔/球在外壳坐标系下的标准坐标，获取相机坐标系与外壳坐标系的转换关系，存储；

立体靶标上设有至少四个标准孔/球，各个标准球的球心、标准孔的孔心不在同一个空间平面上；

以上过程在实验室中进行，对不同视觉传感器能够进行批量标定，只需要传感器外壳加工基准孔，标定时，将其安装在标定工装上，即可快速构建出外壳坐标系，采集立体靶标的二维图像，利用同样的计算方式，能快速获取相机坐标系与外壳坐标系之间的转换关系。实现批量化标定，整个过程快速、有效。

视觉传感器出厂时，相机坐标系和外壳坐标系之间的转换关系已知。

以下步骤为视觉传感器出厂后的使用过程：

在检测工位，视觉传感器安装在安装基座上，待测物置于预设位置；利用标准仪器获取待测物坐标系与标准仪器坐标系之间的转换关系、外壳坐标系与标准仪器坐标系之间的转换关系；得到待测物坐标系与外壳坐标系之间的转换关系；

结合预先存储的相机坐标系与外壳坐标系之间的转换关系，获取待测物坐标系与相机坐标系之间的转换关系，完成外参标定。

其中，标准仪器为三坐标机、激光跟踪仪、影像仪、全站仪、经纬仪或者关节臂式测量机。

利用标准仪器获取待测物坐标系与标准仪器坐标系之间转换关系的方法如下：

标准仪器采集待测物表面的多个特征，特征为孔、点或者外设的球；

利用各个特征在待测物坐标系中的坐标以及在标准仪器坐标系中的坐标，解算待测物坐标系与标准仪器坐标系之间的转换关系。

利用标准仪器获取外壳坐标系与标准仪器坐标系之间转换关系的方法如下：

在视觉传感器的外壳表面固定多个特征点或球；

利用标准仪器采集特征点或球的坐标，利用特征点或球在外壳坐标系中的坐标以及在标准仪器坐标系中的坐标，解算视觉传感器的外壳坐标系与标准仪器坐标系之间的转换关系。

具体的，利用基准孔或者柱状凸起建立视觉传感器的外壳坐标系的方法如下：

利用标准仪器分别获取各基准孔/柱状凸起的三维坐标，将其中一个基准孔/柱状凸起的三维坐标点作为坐标原点，将坐标原点与其它任一基准孔/柱状凸起的连线作为一个坐标轴；垂直于基准孔/柱状凸起所在平面的方向为另一坐标轴，过坐标原点，沿与前两坐标轴均垂直的方向构建第三个坐标轴，完成外壳坐标系的建立。

更具体的，解算相机坐标系与外壳坐标系之间转换关系的方法为：

根据立体靶标上各个标准孔/球之间的空间位置关系，预先为每个标准孔/球设置ID号，查找同一ID号对应的像素坐标和标准坐标，基于PNP原理，解算相机坐标系与外壳坐标系之间的转换关系；

标准坐标为利用标准仪器获取的各个标准孔/球的几何中心在外壳坐标系中的三维坐标。

为了便于区分各个标准孔/球，作为一种优选的实施方式，立体靶标的一个或多个标准孔/球的加工尺寸异于其他标准孔/球，或者，各标准孔/球的加工尺寸互不相同。

其中立体靶标的形态可设置成以下形式：

如图1～3所示，立体靶标设有多个高度不同的平面，多个平面均布在相机景深范围内；单个平面上设有一个或多个标准孔/球；

其中，标准孔为圆孔或者正多边形孔；使用时，各个标准孔的上表面垂直于相机光轴；

多个平面呈阶梯状分布，逐次升高或逐次降低、或先升高再降低，或先降低再升高，或高低上呈无规律分布。

如图5～6所示，立体靶标设有一个或多个斜面，斜面的表面呈平面或者曲面；立体靶标上的各个标准球均布在相机景深范围内；

斜面与水平面之间的夹角为20°～60°；

当单个斜面上设有多个标准球时，各个标准球之间交错分布。

使用时，立体靶标可以单独使用也可以多个组合使用。

下面以应用于汽车白车身检测工位的视觉传感器外参标定为例，进行示例性阐述：

本实施例中，标准仪器选用激光跟踪仪，立体靶标如图3所示，设有5个高度不同的平面，多个平面均布在相机景深范围内；单个平面上设有多个标准孔。

一种基于立体靶标的视觉传感器外参标定方法，如图7所示，在视觉传感器的安装基座上设有两个柱状凸起1，对应的，如图8所示，视觉传感器上也设有两个基准孔2；视觉传感器安装时两者插合；

以基准孔或者柱状凸起建立视觉传感器的外壳坐标系；方式如下：

以其中一个基准孔/柱状凸起的三维坐标点作为坐标原点，将坐标原点与另一基准孔/柱状凸起的连线作为一个坐标轴；垂直于基准孔/柱状凸起所在平面的方向为另一坐标轴，过坐标原点，沿与前两坐标轴均垂直的方向构建第三个坐标轴，完成外壳坐标系的建立。

利用激光跟踪仪获取的各个标准孔的几何中心在外壳坐标系中的三维坐标，记为标准坐标。

在实验室设置标定工装，标定工装上设有与安装基座上数量、位置相同的柱状凸起；

视觉传感器安装在标定工装上，采集视场内立体靶标的二维图像(如图4所示)，结合二维图像和立体靶标上标准孔在外壳坐标系下的标准坐标，获取相机坐标系与外壳坐标系的转换关系，存储；

其中，解算相机坐标系与外壳坐标系之间转换关系的方法为：

根据立体靶标上各个标准孔之间的空间位置关系，预先为每个标准孔/球设置ID号，查找同一ID号对应的像素坐标和标准坐标，基于PNP原理，解算相机坐标系与外壳坐标系之间的转换关系。

在检测工位，视觉传感器安装在安装基座上，白车身置于预设位置；其中，安装基座可固定在白车身周围也可以固定在机器人末端，机器人放置在白身上周围；

利用标准仪器获取白车身坐标系与标准仪器坐标系之间转换关系：

标准仪器采集白车身表面的多个孔；

利用各个孔在白车身坐标系中的坐标以及在标准仪器坐标系中的坐标，解算白车身坐标系与标准仪器坐标系之间的转换关系。

利用标准仪器获取外壳坐标系与标准仪器坐标系之间转换关系：

在视觉传感器的外壳表面固定多个跟踪仪靶球；

利用标准仪器采集靶球的坐标，利用靶球在外壳坐标系中的坐标以及在标准仪器坐标系中的坐标，解算视觉传感器的外壳坐标系与标准仪器坐标系之间的转换关系。

结合上述两个转换关系，得到白车身坐标系与外壳坐标系之间的转换关系；

结合预先存储的相机坐标系与外壳坐标系之间的转换关系，获取白车身坐标系与相机坐标系之间的转换关系，完成外参标定。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (9)

1.一种基于立体靶标的视觉传感器外参标定方法，视觉传感器的安装基座上至少设有两个柱状凸起，对应的，所述视觉传感器上至少设有两个基准孔；视觉传感器安装时两者插合；以基准孔或者柱状凸起建立视觉传感器的外壳坐标系；

其特征在于：在实验室设置标定工装，所述标定工装上设有与安装基座上数量、位置相同的柱状凸起；

视觉传感器安装在所述标定工装上，采集视场内立体靶标的二维图像，结合所述二维图像和立体靶标上标准孔/球在外壳坐标系下的标准坐标，获取相机坐标系与外壳坐标系的转换关系，存储；

所述立体靶标上设有至少四个标准孔/球，各个标准球的球心、标准孔的孔心不在同一个空间平面上；

在检测工位，视觉传感器安装在安装基座上，待测物置于预设位置；利用标准仪器获取待测物坐标系与标准仪器坐标系之间的转换关系、外壳坐标系与标准仪器坐标系之间的转换关系；得到待测物坐标系与外壳坐标系之间的转换关系；

结合预先存储的相机坐标系与外壳坐标系之间的转换关系，获取待测物坐标系与相机坐标系之间的转换关系，完成外参标定。

2.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：利用标准仪器获取待测物坐标系与标准仪器坐标系之间转换关系的方法如下：

标准仪器采集待测物表面的多个特征，所述特征为孔、点或者外设的球；

利用各个特征在待测物坐标系中的坐标以及在标准仪器坐标系中的坐标，解算待测物坐标系与标准仪器坐标系之间的转换关系。

3.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：利用标准仪器获取外壳坐标系与标准仪器坐标系之间转换关系的方法如下：

在视觉传感器的外壳表面固定多个特征点或球；

利用标准仪器采集特征点或球的坐标，利用特征点或球在外壳坐标系中的坐标以及在标准仪器坐标系中的坐标，解算视觉传感器的外壳坐标系与标准仪器坐标系之间的转换关系。

4.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：利用基准孔或者柱状凸起建立视觉传感器的外壳坐标系的方法如下：

利用标准仪器分别获取各基准孔/柱状凸起的三维坐标，将其中一个基准孔/柱状凸起的三维坐标点作为坐标原点，将坐标原点与其它任一基准孔/柱状凸起的连线作为一个坐标轴；垂直于基准孔/柱状凸起所在平面的方向为另一坐标轴，过坐标原点，沿与前两坐标轴均垂直的方向构建第三个坐标轴，完成外壳坐标系的建立。

5.如权利要求1～4中任一项所述基于立体靶标的视觉传感器外参标定方法，其特征在于：所述标准仪器为三坐标机、激光跟踪仪、影像仪、全站仪、经纬仪或者关节臂式测量机。

6.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：解算相机坐标系与外壳坐标系之间转换关系的方法为：

根据立体靶标上各个标准孔/球之间的空间位置关系，预先为每个标准孔/球设置ID号，查找同一ID号对应的像素坐标和标准坐标，基于PNP原理，解算相机坐标系与外壳坐标系之间的转换关系；

所述标准坐标为利用标准仪器获取的各个标准孔/球的几何中心在外壳坐标系中的三维坐标。

7.如权利要求1或6所述基于立体靶标的视觉传感器外参标定方法，其特征在于：所述立体靶标的一个或多个标准孔/球的加工尺寸异于其他标准孔/球，或者，各标准孔/球的加工尺寸互不相同。

8.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：所述立体靶标设有多个高度不同的平面，多个平面均布在相机景深范围内；单个平面上设有一个或多个标准孔/球；

其中，标准孔为圆孔或者正多边形孔；使用时，各个标准孔的上表面垂直于相机光轴；

多个平面呈阶梯状分布，逐次升高或逐次降低、或先升高再降低，或先降低再升高，或高低上呈无规律分布。

9.如权利要求1所述基于立体靶标的视觉传感器外参标定方法，其特征在于：所述立体靶标设有一个或多个斜面，斜面的表面呈平面或者曲面；立体靶标上的各个标准球均布在相机景深范围内；

斜面与水平面之间的夹角为20°～60°；

当单个斜面上设有多个标准球时，各个标准球之间交错分布。

Images