CN114170321A - 一种基于测距的相机自标定方法及系统 - Google Patents

Abstract

本发明提供了一种基于测距的相机自标定方法及系统，属于机器视觉技术领域。本发明获取标定对象图像信息；通过测距获取标定平面位置信息；求解标定平面方程；选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵；测距时从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。本发明的相机自标定方法，无需借助标定物，相机也无需高精度特殊运动，操作简单，标定参数求解容易。

Description

一种基于测距的相机自标定方法及系统

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于测距的相机自标定方法及系统。

背景技术

随着技术的发展，机器视觉广泛用于各个行业的缺陷检测，它采用摄像机拍摄待测物体，通过图像识别和处理从图像中获得信息，对目标进行分类、识别、跟踪和决策，具有无需检测者接触、检测视觉范围大、工作稳定且效率高等优点。图像的获取以及通过图像获取图像信息又是检测中的关键一步，在可移动设备搭载摄像设备获取图像的基础上，为了进一步获取图像有效信息方面，必须要关注标定技术。

标定技术也即相机标定，就是求解相机成像的几何模型，以确定某点在实际场景中的几何位置与其在图像中对应点之间的转换关系，其标定结果的精度及算法的稳定性将会对相机工作结果的准确性产生严重影响。

现有标定技术大致上可以分为三类：传统相机标定技术、基于主动视觉的相机标定技术和自标定技术。传统相机标定技术需要使用尺寸确定的标定物，通过建立标定物上的已知点与其图像点间的对应关系，来计算参数。其中Tsai两步标定法和张氏标定法是分别基于立体和平面标定物的传统标定方法。虽传统相机中的标定板相比以往的标定物更容易制作，相应方法的标定精度也较高，但在某些领域(比如土木工程)的缺陷检测中，使用标定物的危险性和局限性依然较大。基于主动视觉的相机标定技术需要控制摄像机做纯旋转或平移等高精度特殊运动，利用特殊运动对参数方程提供的新约束进行求解。虽然该技术的算法简单，但在某些领域检测中，控制摄像机做高精度特殊运动的难度较大且不够灵活。相机自标定技术来自Faugeras、Maybank等人在计算机视觉领域提出的概念，使得相机在任意运动形式以及场景未知的情况下的标定成为可能。其中，Faugeras提出一种方法，通过对目标物体进行多次拍摄或者多个相机对目标同时拍摄得到图像，利用图像之间的非线性约束关系实现标定。但标定的操作复杂和求解困难，不适用于实时性较强的场合，且标定精度不高。

现有技术至少存在以下不足：

1.传统相机标定技术需要借助标定物。

2.基于主动视觉的相机标定技术，相机要做高精度特殊运动。

3.相机自标定技术，操作复杂，求解困难。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于测距的相机自标定方法及系统，获取标定对象图像信息；通过测距获取标定平面位置信息；求解标定平面方程；选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵。测距时从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。本发明的相机自标定方法，无需借助标定物，相机也无需高精度特殊运动，操作简单，标定参数求解容易。

本发明提供了一种基于测距的相机自标定方法，包括如下步骤：

拍摄标定对象得到标定对象在拍摄设备像面上的图像信息；

通过测距设备同步测量得到标定平面位置信息；

求解标定平面方程；

选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵。

优选地，采用工业相机拍摄标定对象得到标定对象在拍摄设备像面上的图像信息，通过激光测距设备进行测距。

优选地，测距设备同步测量获取标定用的测量信息，包括如下步骤：

从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；

采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。

优选地，标定平面位置信息获取包括如下步骤：

确定标定点位置；

求解标定平面在相机坐标系中的方程Ax+By+Cz＝1中的A、B、C三个参数；

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为各坐标轴的参数。

优选地，确定标定点位置包括：将拍摄设备的光心O_c设置为基准点，则所述基准点以及上述拍摄设备光轴与测距点所在平面的交点O都在所述拍摄设备光轴上；

以所述基准点光心O_c为原点建立三维坐标系作为相机坐标系，则在该坐标系下，测距点C_i坐标为(X_i,Y_i,d)，当且仅当激光都平行于光轴时，标定点P_i坐标为(X_i,Y_i,D_i+d)，i∈[1,2，…，N]且N≥3，否则，根据激光与光轴的夹角对测距点和标定点坐标进行调整；

其中，

(X_i,Y_i,d)为测距点C_i在相机坐标系下的坐标；

(X_i,Y_i,D_i+d)为标定点P_i在相机坐标系下的坐标；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

i为标定点序号。

优选地，求解标定平面在相机坐标系中的方程包括如下步骤：

在相机坐标系下，将标定点P_i的坐标(X_i,Y_i，D_i+d)，代入标定平面方程Ax+By+Cz＝1中得到如下公式，

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为标定平面方程中各坐标轴的参数；

i为标定点序号，i∈[1，2…N]且N≥3；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

求解A、B、C三个参数，确定标定平面在相机坐标系下的平面方程。

优选地，求解上述标定平面方程A、B、C三个参数时，将线性方程组

简化表示为

XΨ＝E

得到

其中，

N为标定点的数量；

解得系数矩阵Ψ，即确定标定平面在相机坐标系下的平面方程。

优选地，根据标定对象的图像信息和求解的标定平面方程，获取至少四组二维坐标，求解所述单应性矩阵。

优选地，每组二维坐标获取包括如下步骤：

根据标定对象的图像信息，通过手动或图像识别技术获取像面中的计算点j_k在像素坐标系下的二维坐标j_k(x_k,y_k)；

根据相机内参将该二维坐标转化为该计算点j_k在上述相机坐标系下的三维坐标j_k(x_k,y_k,f)，k∈[1,2，…，M]且M≥4；

获取计算点j_k在标定平面的对应点J_k在相机坐标系下的三维坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，且M≥4，k∈[1，2，…，M]；

将点J_k的坐标代入标定平面方程得A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1；

解得方程唯一变量Z_k，得到对应点J_k在相机坐标系下的三维坐标，并获取该对应点J_k在标定平面坐标系下的二维坐标；

k为二维坐标组的序号；

M为二维坐标组的数量。

优选地，单应性矩阵求解包括如下过程：

已知世界坐标系到像素坐标系的转换公式如下：

其中，(u,v,1)^T为像素坐标系的齐次坐标，(x_w,y_w,z_w,1)^T为世界坐标系的齐次坐标，K₁为包含相机内部参数的相机内参矩阵，K₂为包含相机外部参数的相机外参矩阵，z_c也叫尺度因子s；R为旋转矩阵，T为平移矩阵；f为相机坐标到图像坐标的转换系数；dx为每个像素在横轴x上的尺寸，dy为每个像素在纵轴y上的尺寸。

齐次坐标是将一个n维的向量用一个n+1维向量来表示的形式，给定欧氏平面上的一点(x,y)，对任意非零实数w，三元组(xw,yw,w)即称为点(x,y)的齐次坐标。

确定标定对象的任意世界坐标系位置，使Z轴坐标z_w＝0，且尺度因子s不改变齐次坐标对应的坐标值，则有

其中H为单应性矩阵，包括9个参数，在齐次坐标系下进行任意尺度的缩放，使H只有8个未知量；

(x_w,y_w)是标定对象上任一点的世界坐标，(u,v)是标定对象上该点对应的像素坐标；

对于这样一组对应坐标(x_w,y_w)和(u,v)可以得到两个方程，因此，求解该单应性矩阵H至少需要8个方程，需要四组对应点的二维坐标。

从所拍摄的图像中获取像面中至少4个计算点j_k在像素坐标系UOV中的二维坐标(u_k,v_k)，并根据相机内部参数将其转化为点j_k在相机坐标系O_c-X_cY_cZ_c中的三维坐标(x_k,y_k,f)。由几何关系可得，点j_k在物面XOY的对应点J_i在相机坐标系O_c-X_cY_cZ_c下的坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，k∈[1,2,…,N]且N≥4。将点J_k坐标代入式Ax+By+Cz＝1得：

A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1

解得上式中的唯一变量Z_k，即可分别求得至少4个点J_k在相机坐标系中的三维坐标，进而可得各点在物面上的二维坐标。

将所求得的物面和像面上至少4组对应点的二维坐标分别代入下面像素坐标与世界坐标的转换公式，即可解得单应性矩阵H_w2p。

基于单应性矩阵H_w2p，可实现物面上世界坐标系的任意布置。假设将世界坐标系旋转角度α，并平移Δx和Δy，可得：

对H'_w2p取逆得到H_w2p。H_w2p即为最终所得图像自标定结果。

参考像素坐标与世界坐标的转换公式，运用H_w2p，可将图像中各点的像素坐标转化为像点在物面上对应实际物点的世界坐标。

本发明提供了一种相机自标定系统，采用上述的基于测距的相机自标定方法，包括相机自标定装置和计算模块；

相机自标定装置包括摄像模块、测距模块、组合模块及控制模块；

摄像模块与组合模块及控制模块相连接，用于对标定对象进行拍摄，获取标定对象的图像信息，并将图像信息传输至计算模块；

测距模块与组合模块及控制模块相连接，拍摄时从测距模块上的测距点对标定对象进行同步测量，包括对标定点的距离测量，并将测量信息传输至计算模块；

组合模块与摄像模块、测距模块及控制模块相连接，将摄像模块和测距模块组合成一个整体，设置摄像模块与测距模块之间的相对位置，并将相对位置信息传输至计算模块；

控制模块控制摄像模块和测距模块作为一个整体进行俯仰转动和绕竖直轴的转动，测量转动的方向和角度，并将转动信息传输至计算模块；

计算模块进行图像信息和标定平面信息的获取，实现基于测距的相机自标定。

优选地，所述摄像模块包括工业相机，所述测距模块包括激光测距设备；通过控制模块调整相机自标定装置与标定对象的相对位置，采用摄像模块对标定对象进行拍摄，获取标定对象的图像信息，并将相对位置和图像信息传输至计算模块；

拍摄时，采用测距模块从测距点对标定对象进行同步测量并获取测量信息，同时采用组合模块设置摄像模块与测距模块之间的相对位置，并获取相对位置信息；

计算模块根据测量信息和相对位置信息，确定基准点与标定点的相对位置，进而求得标定点所在平面的位置信息；

计算模块根据获取的图像信息和位置信息，获取二维坐标，并求出相应的单应性矩阵，实现基于测距的相机自标定。

与现有技术相对比，本发明的有益效果如下：

(1)本发明基于激光测距得到标定方法所需标定平面位置信息，解出用于完成标定的平面方程，无需标定物提供已知点，无需相机做高精度特殊运动提供求解新约束；

(2)本发明仅需单个相机在激光测距的同时拍摄一次，即可获取所需的被测平面图像信息，基于图像信息和标定平面方程可获取至少四组计算点在像面像素坐标系的坐标和对应点在标定平面(物面)世界坐标系的坐标(z＝0)，基于四组二维坐标即可解出单应性矩阵，完成标定，标定过程简单。

(3)本发明操作简便，适用于多种环境，有利于提高自动化程度，并减少人为操作带来的误差以及标定过程时间与金钱的花费，可以快速求得精确的标定结果。

附图说明

图1为本发明的一个实施例的物面方程求解示意图；图中C_i为测距点，P_i为标定点，X,Y为像面坐标；x_c,y_c,z_c为相机坐标；x_p和y_p为图像坐标；u，v为像素坐标；Oc为拍摄设备的光心，O为测距点所在平面与拍摄设备光轴的交点；

图2为本发明的一个实施例的单应性矩阵求解示意图；图中C_i为测距点，P_i为标定点，X,Y为像面坐标；x_c,y_c,z_c为相机坐标；x_p和y_p为图像坐标；u，v为像素坐标；Oc为拍摄设备的光心，j_i和J_i为一组像面中的计算点与该计算点在标定平面的对应点的二维坐标；

图3为本发明的一个实施例的激光测距相机自标定装置示意图；

图4为本发明的一个实施例的基于测距的相机自标定精度测试图；

图5为本发明的一个实施例的激光发射点位置示意图，图中激光发射点为L、T、R；

图6为本发明的一个实施例的选点后的电脑显示输出图；

图7为本发明的一个实施例的基准点与测距点所在平面之间的距离迭代结果电脑显示输出图；

图8为本发明的一个实施例的标定结果电脑显示的可视化示意图；

图9为本发明的一个实施例的基于测距的相机自标定方法流程图。

图中：1-物面；2-像面；3-激光发射面；4-光心；5-激光测距仪；6-相机；7-组合模块。

具体实施方式

下面结合附图，对本发明的具体实施方式作详细的说明。

本发明提供了一种基于测距的相机自标定方法，包括如下步骤：

拍摄标定对象得到标定对象在拍摄设备像面上的图像信息；还得到包括拍摄设备的相机内参，相机内参包括像素大小、焦距及图像坐标系原点(亦称主点)在像素坐标系上的位置信息。

通过测距设备同步测量得到标定平面位置信息；

求解标定平面方程；

选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵。

根据本发明的一个具体实施方案，采用工业相机拍摄标定对象得到标定对象在拍摄设备像面上的图像信息，通过激光测距设备进行测距。

根据本发明的一个具体实施方案，测距设备同步测量获取标定用的测量信息，包括如下步骤：

从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；

采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。

在获取一个或多个测距点至标定点之间的多段直线距离时，将标定时需要用到的测距点全部设置于与像面平行的一个平面内，以拍摄设备光轴与该平面的交点O为原点，在该平面建立二维坐标系xOy，则测距点C_i坐标为(X_i，Y_i)，i∈[1,2，…，N]且N≥1。

或者，在获取一个或多个测距点至标定点之间的多段直线距离时，将拍摄设备光轴与激光所在直线的相对位置设置为平行，当测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离为D_i时，以拍摄设备光轴与该平面的交点O为原点，建立三维坐标系，得到标定点P_i在该坐标系下的三维坐标(X_i,Y_i,D_i)，i∈[1,2，…，N]且N≥3。

根据本发明的一个具体实施方案，标定平面位置信息获取包括如下步骤：

确定标定点位置；

求解标定平面在相机坐标系中的方程Ax+By+Cz＝1中的A、B、C三个参数；

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为各坐标轴的参数。

根据本发明的一个具体实施方案，确定标定点位置包括：将拍摄设备的光心O_c设置为基准点，则所述基准点以及上述拍摄设备光轴与测距点所在平面的交点O都在所述拍摄设备光轴上；

以所述基准点光心O_c为原点建立三维坐标系作为相机坐标系，则在该坐标系下，测距点C_i坐标为(X_i,Y_i,d)，当且仅当激光都平行于光轴时，标定点P_i坐标为(X_i,Y_i,D_i+d)，i∈[1,2，…，N]且N≥3，否则，根据激光与光轴的夹角对测距点和标定点坐标进行调整；

其中，

(X_i，Y_i，d)为测距点C_i在相机坐标系下的坐标；

(X_i，Y_i，D_i+d)为标定点P_i在相机坐标系下的坐标；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

i为标定点序号。

根据本发明的一个具体实施方案，求解标定平面在相机坐标系中的方程包括如下步骤：

在相机坐标系下，将标定点P_i的坐标(X_i，Y_i,D_i+d)，代入标定平面方程Ax+By+Cz＝1中得到如下公式，

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为标定平面方程中各坐标轴的参数；

i为标定点序号，i∈[1,2…N]且N≥3；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

求解A、B、C三个参数，确定标定平面在相机坐标系下的平面方程；

根据本发明的一个具体实施方案，求解上述标定平面方程的A、B、C三个参数时，将线性方程组

简化表示为

XΨ＝E

得到

其中，

N为标定点的数量；

解得系数矩阵Ψ，确定标定平面在相机坐标系下的平面方程。

基准点与测距点所在平面之间的距离d随标定系统构造的固定而固定，确定基准点与测距点所在平面之间的距离d则完成标定平面位置信息获取。对于组装完成的自标定系统，实际的d值也是固定的，因此可对仪器系统进行一次初始标定，确定实际d值，并在后续拍摄测量时将此值代入解得标定平面方程，从而完成图像自标定。总之，基准点与测距点所在平面之间的距离d值仅与标定装置的构造相关，装置固化之后只需对d值计算一次。

根据本发明的一个具体实施方案，根据标定对象的图像信息和求解的标定平面方程，获取至少四组二维坐标，求解所述单应性矩阵。

根据本发明的一个具体实施方案，每组二维坐标获取包括如下步骤：

根据标定对象的图像信息，通过手动或图像识别技术获取像面中的计算点j_k在像素坐标系下的二维坐标j_k(x_k,y_k)；

根据相机内参将该二维坐标转化为该计算点j_k在上述相机坐标系下的三维坐标j_k(x_k,y_k,f)，k∈[1,2，…，M]且M≥4；

获取计算点j_k在标定平面的对应点J_k在相机坐标系下的三维坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，且M≥4，k∈[1,2，…，M]；

将点J_k的坐标代入标定平面方程得A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1；

解得方程唯一变量Z_k，得到对应点J_k在相机坐标系下的三维坐标，并获取该对应点J_k在标定平面坐标系下的二维坐标；

k为二维坐标组的序号；

M为二维坐标组的数量。

根据本发明的一个具体实施方案，单应性矩阵求解包括如下过程：

已知世界坐标系到像素坐标系的转换公式如下：

其中，(u,v,1)^T为像素坐标系的齐次坐标，(x_w，y_w,z_w,1)^T为世界坐标系的齐次坐标，K₁为包含相机内部参数的相机内参矩阵，K₂为包含相机外部参数的相机外参矩阵，z_c也叫尺度因子s；R为旋转矩阵，T为平移矩阵；f为相机坐标到图像坐标的转换系数；dx为每个像素在横轴x上的尺寸，dy为每个像素在纵轴y上的尺寸。

齐次坐标是将一个n维的向量用一个n+1维向量来表示的形式，给定欧氏平面上的一点(x,y)，对任意非零实数w，三元组(xw,yw,w)即称为点(x,y)的齐次坐标。

确定标定对象的任意世界坐标系位置，使Z轴坐标z_w＝0，且尺度因子s不改变齐次坐标对应的坐标值，则有

其中H为单应性矩阵，包括9个参数，在齐次坐标系下进行任意尺度的缩放，使H只有8个未知量；

(x_w,y_w)是标定对象上任一点的世界坐标，(u,v)是标定对象上该点对应的像素坐标；

对于这样一组对应坐标(x_w,y_w)和(u,v)可以得到两个方程，因此，求解该单应性矩阵H至少需要8个方程，需要四组对应点的二维坐标。

从所拍摄的图像中获取像面中至少4个计算点j_k在像素坐标系UOV中的二维坐标(u_k,v_k)，并根据相机内部参数将其转化为点j_k在相机坐标系O_c-X_cY_cZ_c中的三维坐标(x_k,y_k,f)。由几何关系可得，点j_k在物面XOY的对应点J_i在相机坐标系O_c-X_cY_cZ_c下的坐标为(Z_k/f·x_k，Z_k/f·y_k，Z_k)，k∈[1,2,…,N]且N≥4。将点J_k坐标代入式Ax+By+Cz＝1得：

A·Z_k/f·xk+B·Z_k/f·y_k+C·Z_k＝1

解得上式中的唯一变量Z_k，即可分别求得至少4个点J_k在相机坐标系中的三维坐标，进而可得各点在物面上的二维坐标。

将所求得的物面和像面上至少4组对应点的二维坐标分别代入下面像素坐标与世界坐标的转换公式，即可解得单应性矩阵H_w2p。

基于单应性矩阵H_w2p，可实现物面上世界坐标系的任意布置。假设将世界坐标系旋转角度α，并平移Δx和Δy，可得：

对H'_w2p取逆得到H_w2p。H_w2p即为最终所得图像自标定结果。

参考像素坐标与世界坐标的转换公式，运用H_w2p，可将图像中各点的像素坐标转化为像点在物面上对应实际物点的世界坐标。

本发明提供了一种相机自标定系统，采用上述的基于测距的相机自标定方法，包括：

相机自标定装置和计算模块；

相机自标定装置包括摄像模块、测距模块、组合模块及控制模块；

摄像模块与组合模块及控制模块相连接，用于对标定对象进行拍摄，获取标定对象的图像信息，并将图像信息传输至计算模块；

测距模块与组合模块及控制模块相连接，拍摄时从测距模块上的测距点对标定对象进行同步测量，包括对标定点的距离测量，并将测量信息传输至计算模块；

组合模块与摄像模块、测距模块及控制模块相连接，将摄像模块和测距模块组合成一个整体，设置摄像模块与测距模块之间的相对位置，并将相对位置信息传输至计算模块；

控制模块控制摄像模块和测距模块作为一个整体进行俯仰转动和绕竖直轴的转动，测量转动的方向和角度，并将转动信息传输至计算模块；

计算模块进行图像信息和标定平面信息的获取，实现基于测距的相机自标定。

根据本发明的一个具体实施方案，所述摄像模块包括工业相机，所述测距模块包括激光测距设备；通过控制模块调整相机自标定装置与标定对象的相对位置，采用摄像模块对标定对象进行拍摄，获取标定对象的图像信息，并将相对位置和图像信息传输至计算模块；

拍摄时，采用测距模块从测距点对标定对象进行同步测量并获取测量信息，同时采用组合模块设置摄像模块与测距模块之间的相对位置，并获取相对位置信息；

计算模块根据测量信息和相对位置信息，确定基准点与标定点的相对位置，进而求得标定点所在平面的位置信息；

计算模块根据获取的图像信息和位置信息，获取二维坐标，并求出相应的单应性矩阵，实现基于测距的相机自标定。

实施例1

根据本发明的一个具体实施方案，结合附图，对本发明的基于测距的相机自标定方法进行详细说明。

本发明提供了一种基于测距的相机自标定方法，包括如下步骤：

拍摄标定对象得到标定对象在拍摄设备像面上的图像信息；采用工业相机拍摄标定对象得到标定对象在拍摄设备像面上的图像信息；

通过测距设备同步测量得到标定平面位置信息；通过激光测距设备进行测距；

求解标定平面方程；

选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵。

测距设备同步测量获取标定用的测量信息，包括如下步骤：

从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；

采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。

在获取一个或多个测距点至标定点之间的多段直线距离时，将拍摄设备光轴与激光所在直线的相对位置设置为平行，当测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离为D_i时，以拍摄设备光轴与该平面的交点O为原点，建立三维坐标系，得到标定点P_i在该坐标系下的三维坐标(X_i,Y_i，D_i)，i∈[1,2，…，N]且N≥3，N为标定点数量。其他步骤描述中，均针对此种方法进行。

或者，在获取一个或多个测距点至标定点之间的多段直线距离时，可以将标定时需要用到的测距点全部设置于与像面平行的一个平面内，以拍摄设备光轴与该平面的交点O为原点，在该平面建立二维坐标系xOy，则测距点C_i坐标为(X_i,Y_i)，i∈[1，2，…，N]且N≥1，N为标定点数量。

标定平面位置信息获取包括如下步骤：

确定标定点位置；

求解标定平面在相机坐标系中的方程Ax+By+Cz＝1中的A、B、C三个参数；

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为各坐标轴的参数。

确定标定点位置包括：将拍摄设备的光心O_c设置为基准点，则所述基准点以及上述拍摄设备光轴与测距点所在平面的交点O都在所述拍摄设备光轴上；

以所述基准点光心O_c为原点建立三维坐标系作为相机坐标系，则在该坐标系下，测距点C_i坐标为(X_i，Y_i，d)，当且仅当激光都平行于光轴时，标定点P_i坐标为(X_i，Y_i，D_i+d)，i∈[1，2，…，N]且N≥3，否则，根据激光与光轴的夹角对测距点和标定点坐标进行调整；

其中，

(X_i，Y_i，d)为测距点C_i在相机坐标系下的坐标；

(X_i，Y_i，D_i+d)为标定点P_i在相机坐标系下的坐标；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

i为标定点序号。

求解标定平面在相机坐标系中的方程包括如下步骤：

在相机坐标系下，将标定点P_i的坐标(X_i，Y_i,D_i+d)，代入标定平面方程Ax+By+Cz＝1中得到如下公式，

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为标定平面方程中各坐标轴的参数；

i为标定点序号，i∈[1,2…N]且N≥3；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

求解A、B、C三个参数，确定标定平面在相机坐标系下的平面方程；

求解标定方程中的A、B、C三个参数时，将线性方程组

简化表示为

XΨ＝E

得到

其中，

N为标定点的数量；

得到

解得系数矩阵Ψ，确定标定平面在相机坐标系下的平面方程。

基准点与测距点所在平面之间的距离d随标定系统构造的固定而固定，确定基准点与测距点所在平面之间的距离d，则完成标定平面位置信息获取。对于组装完成的自标定系统，实际的d值也是固定的，因此可对仪器系统进行一次初始标定，确定实际d值，并在后续拍摄测量时将此值代入解得标定平面方程，从而完成图像自标定。总之，基准点与测距点所在平面之间的距离d值仅与标定装置的构造相关，装置固化之后只需对d值计算一次。

根据标定对象的图像信息和求解的标定平面方程，获取至少四组二维坐标，求解所述单应性矩阵，实现基于测距的相机自标定。

求解所述单应性矩阵过程如下：

从所拍摄的图像中获取像面中至少4个计算点j_k在像素坐标系UOV中的二维坐标(u_k,v_k)，并根据相机内部参数将其转化为点j_k在相机坐标系O_c-X_cY_cZ_c中的三维坐标(x_k,y_k,f)。由几何关系可得，点j_k在物面XOY的对应点J_i在相机坐标系O_c-X_cY_cZ_c下的坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，k∈[1,2,…,N]且N≥4。将点J_k坐标代入式Ax+By+Cz＝1得：

A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1

解得上式中的唯一变量Z_k，即可分别求得至少4个点J_k在相机坐标系中的三维坐标，进而可得各点在物面上的二维坐标。

将所求得的物面和像面上至少4组对应点的二维坐标分别代入下面像素坐标与世界坐标的转换公式，即可解得单应性矩阵H_w2p。

基于单应性矩阵H_w2p，可实现物面上世界坐标系的任意布置。假设将世界坐标系旋转角度α，并平移Δx和Δy，可得：

对H'_w2p取逆得到H_w2p。H_w2p即为最终所得图像自标定结果。

参考像素坐标与世界坐标的转换公式，运用H_w2p，可将图像中各点的像素坐标转化为像点在物面上对应实际物点的世界坐标。

每组二维坐标获取包括如下步骤：

根据标定对象的图像信息，通过手动或图像识别技术获取像面中的计算点j_k在像素坐标系下的二维坐标j_k(x_k,y_k)；

根据相机内参将该二维坐标转化为该计算点j_k在上述相机坐标系下的三维坐标j_k(x_k,y_k,f)，k∈[1,2，…，M]且M≥4；

获取计算点j_k在标定平面的对应点J_k在相机坐标系下的三维坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，且M≥4，k∈[1,2，…，M]；

将点J_k的坐标代入标定平面方程得A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1；

解得方程唯一变量Z_k，得到对应点J_k在相机坐标系下的三维坐标，并获取该对应点J_k在标定平面坐标系下的二维坐标；

其中，

k为二维坐标组的序号；

M为二维坐标组的数量。

实施例2

根据本发明的一个具体实施方案，结合附图，对本发明的基于测距的相机自标定系统进行详细描述。该实施例中测距设备为激光测距仪5。激光测距相机自标定装置如图3所示。

本发明提供了一种相机自标定系统，采用上述的基于测距的相机自标定方法，包括：

相机自标定装置和计算模块；

相机自标定装置包括摄像模块、测距模块、组合模块及控制模块；所述摄像模块包括工业相机，所述测距模块包括激光测距设备；

摄像模块与组合模块及控制模块相连接，用于对标定对象进行拍摄，获取标定对象的图像信息，并将图像信息传输至计算模块；

测距模块与组合模块及控制模块相连接，拍摄时从测距模块上的测距点对标定对象进行同步测量，包括对标定点的距离测量，并将测量信息传输至计算模块；

组合模块与摄像模块、测距模块及控制模块相连接，将摄像模块和测距模块组合成一个整体，设置摄像模块与测距模块之间的相对位置，并将相对位置信息传输至计算模块；

控制模块控制摄像模块和测距模块作为一个整体进行俯仰转动和绕竖直轴的转动，测量转动的方向和角度，并将转动信息传输至计算模块；

计算模块进行图像信息和标定平面信息的获取，实现基于测距的相机自标定。

通过控制模块调整相机自标定装置与标定对象的相对位置，采用摄像模块对标定对象进行拍摄，获取标定对象的图像信息，并将相对位置和图像信息传输至计算模块；

拍摄时，采用测距模块从测距点对标定对象进行同步测量并获取测量信息，同时采用组合模块设置摄像模块与测距模块之间的相对位置，并获取相对位置信息；

计算模块根据测量信息和相对位置信息，确定基准点与标定点的相对位置，进而求得标定点所在平面的位置信息；

计算模块根据获取的图像信息和位置信息，获取二维坐标，并求出相应的单应性矩阵，实现基于测距的相机自标定。

实施例3

为验证本发明的技术方案，进行了基于长度测量的相机自标定精度测试，通过对已知长度线段进行测量，以最基础的方式开展图像自标定试验，设计了图4所示的由五条线段AB、CG、DH、EI、FJ组成的图案，每条线段的实际长度均为96.0毫米。长度测量是将图像中对象的像素长度，通过标定结果换算为对象的实际宽度。

采用本发明提出的自标定方法，将由拍摄图像计算得到的线段测量长度，与线段真实长度进行对比，验证激光测距自标定方法的准确性。试验过程中，通过调整被测物与激光测距仪之间的距离，实现了五种不同场景下(详见表1)的拍摄测量，以全面验证本发明方法的有效性。

测试步骤如下：

(1)搭建基于激光测距的相机自标定系统；

(2)通过控制模块调整装置与标定对象的相对位置，使用摄像模块对标定对象进行拍摄，获取图像信息并将其传输至计算模块；

(3)组合模块提前设置好摄像模块与测距模块间的相对位置信息，拍摄时使用测距模块进行同步测距以获取测量信息，将两种信息传输至计算模块；

(4)计算模块获取上述的测量信息和相对位置信息后，根据标准线段迭代求解基准点与测距点所在平面之间的距离，进而求解标定平面的平面方程；

(5)计算模块根据图像信息和标定平面方程获取至少四组二维坐标，通过至少四组二维坐标求出像面到标定平面的单应性矩阵；

(6)依次选定图像中一条待测线段的两个端点后，计算模块根据标定结果求出两个端点间的线段长度，并将结果可视化；

(7)重复(2)到(6)至测试结束。

对于五种不同试验场景，激光测距仪与被测物面之间的距离分别设计为245mm、345mm、445mm、545mm、645mm，各激光测距仪的实测距离汇总于表1，测量误差基本在1mm以内，个别点位的测量误差为2mm。

表1不同试验场景下的激光测距值

表2为各条线段长度的测量值与真实值比较结果，可以看出，所有测量值均与96mm真实值非常接近，测量误差介于-0.49％～0.15％之间，平均误差仅为-0.14％，可见本发明自标定方法具有很好的准确性和稳定性。

表2线段长度测量结果

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种基于测距的相机自标定方法，其特征在于，包括如下步骤：

拍摄标定对象得到标定对象在拍摄设备像面上的图像信息；

通过测距设备同步测量得到标定平面位置信息；

求解标定平面方程；

选取标定平面和标定对象的像面上对应的至少四组二维坐标，求解表示标定平面与标定对象的像面之间的变化关系的单应性矩阵。

2.根据权利要求1所述的基于测距的相机自标定方法，其特征在于，采用工业相机拍摄标定对象得到标定对象在拍摄设备像面上的图像信息，通过激光测距设备进行测距。

3.根据权利要求2所述的基于测距的相机自标定方法，其特征在于，测距设备同步测量获取标定用的测量信息，包括如下步骤：

从激光测距设备上的测距点发射激光并照射在标定对象上，至少形成3个标定点，标定点全部位于标定平面内并且不都在同一条直线上；

采用激光测距设备获取一个或多个测距点至标定点之间的多段直线距离，并确定直线与拍摄设备光轴的相对位置。

4.根据权利要求3所述的基于测距的相机自标定方法，其特征在于，标定平面位置信息获取包括如下步骤：

确定标定点位置；

求解标定平面在相机坐标系中的方程Ax+By+Cz＝1中的A、B、C三个参数；

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为各坐标轴的参数。

5.根据权利要求4所述的基于测距的相机自标定方法，其特征在于，确定标定点位置包括：

将拍摄设备的光心O_c设置为基准点，则所述基准点以及上述拍摄设备光轴与测距点所在平面的交点O都在所述拍摄设备光轴上；

以所述基准点光心O_c为原点建立三维坐标系作为相机坐标系，则在该坐标系下，测距点C_i坐标为(X_i,Y_i,d)，当且仅当激光都平行于光轴时，标定点P_i坐标为(X_i,Y_i,D_i+d)，i∈[1,2，…，N]且N≥3，否则，根据激光与光轴的夹角对测距点和标定点坐标进行调整；

其中，

(X_i,Y_i,d)为测距点C_i在相机坐标系下的坐标；

(X_i，Y_i,D_i+d)为标定点P_i在相机坐标系下的坐标；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

i为标定点序号。

6.根据权利要求5所述的基于测距的相机自标定方法，其特征在于，求解标定平面在相机坐标系中的方程包括如下步骤：

在相机坐标系下，将标定点P_i的坐标(X_i，Y_i,D_i+d)，代入标定平面方程Ax+By+Cz＝1中得到如下公式，

其中，

x、y、z为相机坐标系的三个坐标轴的坐标；

A、B、C分别为标定平面方程中各坐标轴的参数；

i为标定点序号，i∈[1,2…N]且N≥3；

d为基准点与测距点所在平面之间的距离；

D_i为测距设备测得的每个标定点P_i至对应测距点C_i间的直线距离；

N为标定点的数量；

求解A、B、C三个参数，确定标定平面在相机坐标系下的平面方程。

7.根据权利要求6所述的基于测距的相机自标定方法，其特征在于，根据标定对象的图像信息和求解的标定平面方程，获取至少四组二维坐标，求解所述单应性矩阵。

8.根据权利要求7所述的基于测距的相机自标定方法，其特征在于，每组二维坐标获取包括如下步骤：

根据标定对象的图像信息，通过手动或图像识别技术获取像面中的计算点j_k在像素坐标系下的二维坐标j_k(x_k,y_k)；

根据相机内参将该二维坐标转化为该计算点j_k在上述相机坐标系下的三维坐标j_k(x_k,y_k,f)，k∈[1,2，…，M]且M≥4；

获取计算点j_k在标定平面的对应点J_k在相机坐标系下的三维坐标为(Z_k/f·x_k,Z_k/f·y_k,Z_k)，且M≥4，k∈[1,2，…，M]；

将点J_k的坐标代入标定平面方程得A·Z_k/f·x_k+B·Z_k/f·y_k+C·Z_k＝1；

解得方程唯一变量Z_k，得到对应点J_k在相机坐标系下的三维坐标，并获取该对应点J_k在标定平面坐标系下的二维坐标；

k为二维坐标组的序号；

M为二维坐标组的数量。

9.一种相机自标定系统，其特征在于，采用权利要求1-8任一项所述的基于测距的相机自标定方法，包括：

相机自标定装置和计算模块；

相机自标定装置包括摄像模块、测距模块、组合模块及控制模块；

摄像模块与组合模块及控制模块相连接，用于对标定对象进行拍摄，获取标定对象的图像信息，并将图像信息传输至计算模块；

测距模块与组合模块及控制模块相连接，拍摄时从测距模块上的测距点对标定对象进行同步测量，包括对标定点的距离测量，并将测量信息传输至计算模块；

组合模块与摄像模块、测距模块及控制模块相连接，将摄像模块和测距模块组合成一个整体，设置摄像模块与测距模块之间的相对位置，并将相对位置信息传输至计算模块；

控制模块控制摄像模块和测距模块作为一个整体进行俯仰转动和绕竖直轴的转动，测量转动的方向和角度，并将转动信息传输至计算模块；

计算模块进行图像信息和标定平面信息的获取，实现基于测距的相机自标定。

10.根据权利要求9所述的相机自标定系统，其特征在于，所述摄像模块包括工业相机，所述测距模块包括激光测距设备；

通过控制模块调整相机自标定装置与标定对象的相对位置，采用摄像模块对标定对象进行拍摄，获取标定对象的图像信息，并将相对位置和图像信息传输至计算模块；

拍摄时，采用测距模块从测距点对标定对象进行同步测量并获取测量信息，同时采用组合模块设置摄像模块与测距模块之间的相对位置，并获取相对位置信息；

计算模块根据测量信息和相对位置信息，确定基准点与标定点的相对位置，进而求得标定点所在平面的位置信息；

计算模块根据获取的图像信息和位置信息，获取至少四组二维坐标，并求出相应的单应性矩阵，实现基于测距的相机自标定。

Images