CN108648242B - 基于激光测距仪辅助无公共视场的两相机标定方法及装置 - Google Patents

Abstract

一种基于激光测距仪辅助的无公共视场的两相机标定方法及装置，包括：第一相机和第二相机分别拍摄第一靶标和第二靶标，测量第一、第二靶标分别与第一、第二相机的位姿关系，以第一相机坐标系为全局坐标系，测量过程中利用激光测距仪辅助提高相机光轴方向上的精度；标定无公共视场的两相机之间的位姿关系；该方法能够实现高精度的标定，且不必知道两靶标之间的关系，只需两靶标和连杆固连，并且该方法使用的激光测距仪体积小，使用方便、灵活，克服传统标定方法中外部辅助设备较大，受空间限制，通过扩展相机的数量，可实现对更多相机的标定。

Description

基于激光测距仪辅助无公共视场的两相机标定方法及装置

技术领域

本发明涉及机器视觉中两相机标定技术，具体涉及基于激光测距仪辅助无公共视场的两相机标定方法及装置，即没有公共视场的相机标定，利用激光测距仪提高两相机的标定精度。

背景技术

视觉传感器(相机)具有非接触、精度高、速度快等一系列优点，常用在三维坐标测量系统中；单个视觉传感器由于视场受限，无法满足大型系统测量需求，所以需要将两个传感器结合起来；如何确定两个传感器之间的位姿关系是整个测量系统不可或缺的重要步骤；目前，现有技术中的两相机标定法，例如：同名坐标统一法以及世界坐标统一法，都需要大型的外部辅助设备参与工作，可标定现场的空间往往有限，并不是任何环境都能安装这些大型的外部辅助设备，使得现有技术在采用两相机标定工作中，遇到较多的推广阻力，实施困难，且标定精度低。

发明内容

为了解决上述技术问题，本发明提供基于激光测距仪辅助无公共视场的两相机标定方法及装置，通过科学、优化的方法设计，完成了无需占用较大空间及支配较多辅助设备的前提下，高精度的完成标定测量，且该发明技术方案灵活简便，工作安全可靠；

基于激光测距仪辅助无公共视场的两相机标定方法及装置，其中，

基于激光测距仪辅助的无公共视场的两相机标定方法，包括如下步骤：

步骤一、第一相机和第二相机分别拍摄第一靶标和第二靶标，并测量第一、第二靶标分别与第一、第二相机的位姿关系，设定第一相机坐标系为全局坐标系，测量过程中利用激光测距仪辅助提高相机光轴方向上的位移测量精度；

步骤二、标定无公共视场的第一、第二相机之间的位姿关系；包括：

进一步的，采用激光测距仪辅助视觉传感器进行测量，以提高光轴方向上位移侧测量精度，具体步骤如下：

首先，将所述第一、第二相机与激光测距仪固连，保证所述激光测距仪的测距方向与所述第一、第二相机光轴方向基本一致；

作为一种举例说明，所述基本一致是指保证所述激光测距仪与相机构成相机-激光测距仪位姿测量系统；

其次，标定激光出光点在第一、第二相机坐标系下的坐标；

再次，标定激光光束的方向；

最后，对相机-激光测距仪组合测量模块建模，求取高精度的特征点在所述第一、第二相机坐标系下的坐标；

进一步的，标定出无公共视场的所述第一相机和第二相机的相对位姿关系，由所述第一靶标和第二靶标上特征点之间构建的矢量与距离关系、标定出所述第一相机和第二相机之间的位姿关系，具体包括如下技术步骤：

第一、变换连杆位置，由所述第一靶标和第二靶标上任意点构建的矢量夹角在全局坐标系中不变的原则建立角度关系式：

其中，

分别为第一第二靶标中点任意两点在第一、第二相机坐标系下的坐标构建的单位矢量，θ表示该单位矢量的夹角，j表示不同的位置；

为第二相机坐标系到第一相机坐标系的旋转矩阵；

为第二靶标上的任意两点第一相机坐标系下的单位矢量，由

通过

转化而来；

第二、第一靶标和第二靶标上各取一个点，变换连杆的位置，在全局坐标系下两点之间的距离不变，以此约束建立位置关系式：

其中，

为第一靶标上的点在第一相机坐标系下的坐标，

为第二靶标上的点在第一相机坐标系下的坐标，j表示不同的位置；

基于激光测距仪辅助无公共视场的两相机标定装置，包括：第一相机、第二相机、第一靶标、第二靶标、连杆、两个激光测距仪；

进一步的，所述第一相机和第二相机分别用于拍摄第一靶标和第二靶标；所述第一、第二靶标通过所述连杆固连连接；所述的两个激光测距仪分别辅助第一、第二相机测量第一靶标和第二靶标分别与第一相机、第二相机的位姿关系；

本发明的有益效果：

1、本发明针对无公共视场的两相机标定问题，首先将激光测距仪与相机构成组合测量模块，对组合测量模块进行建模求取更精确的特征点在相机坐标系下的坐标，然后利用两个靶标上特征点的约束关系，通过解方程的形式得到两相机之间的位姿关系；

2、该方法能够实现高精度的标定，且不必知道两靶标之间的关系，只需两靶标和连杆固连，并且该方法使用的激光测距仪体积小，使用方便、灵活，克服传统标定方法中外部辅助设备较大，受空间限制，通过扩展相机的数量，可实现对更多相机的标定。

附图说明

图1是本发明基于激光测距仪辅助无公共视场的两相机标定方法及装置之相机和激光测距仪构成的组合测量模块示意图

图2是本发明基于激光测距仪辅助无公共视场的两相机标定方法及装置之两相机标定示意图

图3是本发明基于激光测距仪辅助无公共视场的两相机标定方法之工作流程示意图

具体实施方式

下面，参考附图1至图3所示，基于激光测距仪辅助无公共视场的两相机标定方法及装置，其中：

基于激光测距仪辅助的无公共视场的两相机标定方法，包括如下步骤：

步骤一、第一相机101和第二相机102分别拍摄第一靶标103和第二靶标104，并测量第一靶标103、第二靶标104分别与第一相机101、第二相机102的位姿关系，设定第一相机101坐标系为全局坐标系，测量过程中利用激光测距仪105辅助提高相机光轴方向上的位移测量精度；

步骤二、标定无公共视场的第一101、第二相机102之间的位姿关系；包括：

进一步的，采用激光测距仪105辅助视觉传感器进行测量，以提高光轴方向上位移侧测量精度，具体步骤如下：

首先，将所述第一相机101、第二相机102与激光测距仪105固连，保证所述激光测距仪105的测距方向与所述第一相机101、第二相机102光轴方向基本一致；

作为一种举例说明，所述基本一致是指保证所述激光测距仪105与相机构成相机-激光测距仪位姿测量系统；

其次，标定激光出光点在第一相机101、第二相机102坐标系下的坐标；

再次，标定激光光束的方向；

最后，对相机-激光测距仪组合测量模块建模，求取高精度的特征点在所述第一相机101、第二相机102坐标系下的坐标；

进一步的，标定出无公共视场的所述第一相机101和第二相机102的相对位姿关系，由所述第一靶标103和第二靶标104上特征点之间构建的矢量与距离关系、标定出所述第一相机101和第二相机102之间的位姿关系，具体包括如下技术步骤：

第一、变换连杆106位置，由所述第一靶标103和第二靶标104上任意特征点构建的矢量夹角在全局坐标系中不变的原则建立角度关系式：

其中，

分别为第一靶标103、第二靶标104中点任意两点在第一相机101、第二相机102坐标系下的坐标构建的单位矢量，θ表示该单位矢量的夹角，j表示不同的位置；

为第二相机102坐标系到第一相机101坐标系的旋转矩阵；

为第二靶标上的任意两点在第一相机101坐标系下的单位矢量，由

通过

转化而来；

第二、第一靶标103和第二靶标104上各取一个点，变换连杆106的位置，在全局坐标系下两点之间的距离不变，以此约束建立位置关系式：

其中，

为第一靶标103上的点在第一相机101坐标系下的坐标，

为第二靶标104上的点在第一相机101坐标系下的坐标，j表示不同的位置；

基于激光测距仪辅助无公共视场的两相机标定装置，包括：第一相机101、第二相机102、第一靶标103、第二靶标104、连杆106、两个激光测距仪105；

进一步的，所述第一相机101和第二相机102分别用于拍摄第一靶标103和第二靶标104；所述第一靶标103、第二靶标104通过所述连杆106固连连接；所述的两个激光测距仪105分别辅助第一相机101、第二相机102测量第一靶标103和第二靶标104分别与第一相机101、第二相机102的位姿关系；

为了更好的说明本发明的设计原理，现通过优选实施例举例说明该发明的工作过程如下：

首先，针对组合测量模块A107，标定激光出光点在第一相机101坐标系下的坐标；第一靶标103所在的世界坐标系O_W-X_WY_WZ_W与第一相机101坐标系O_C-X_CY_CZ_C之间的位姿关系可以通过单目视觉测量得到；

为由世界坐标系变换到第一相机101坐标系的旋转矩阵和平移向量；D在O_C-X_CY_CZ_C坐标系下表示为

其次，将激光测距仪105测的距离值与第一相机101测量得到的数据融合起来,需要标定出激光出光点D在第一相机101坐标系下的坐标

以及激光光束L的方向(a,b,c)^T，需要实时计算激光光斑点S在世界坐标系O_W-X_WY_WZ_W中的坐标

(1)激光光斑坐标求取

激光光束照射在靶标的表面一般形成一个亮圆斑，可以利用重心法实时精确求得光斑点的图像坐标，要求第一靶标上至少有4个已知坐标的特征点；简单起见，以第一靶标前表面为XY平面建立世界坐标系，如图1所示，则当激光光束照在第一靶标的前表面上时，光斑点S在第一靶标坐标系中的Z坐标

恒等于0，因此仅须求出

即可；

设A_i(i＝1,2,3,4)为上述平面上的4个已知坐标的特征点，它们在世界坐标系中的空间坐标分别为(X_i,Y_i,0),i＝1,2,3,4。对应的像点坐标分别为(u_i,v_i),i＝1,2,3,4；S为激光光斑点，其空间坐标

为待求量，对应的图像坐标为(u_S,v_S)；平面上的点与其对应像点之间服从以下所示的投影变换关系:

式中(X,Y)为点在第一靶标平面上的坐标，(u,v)为对应的像点坐标，a₀,a₁,a₂,b₀,b₁,b₂,c₁,c₂为投影变换参数；由上式可以看出，平面的投影变换共有8个待定参数；因此，利用不在同一直线上的4个点即可确定变换关系。上式可改写为如下形式:

a₀+a₁u+a₂v-c₁uX-c₂vX＝X

b₀+b₁u+b₂v-c₁uY-c₂vY＝Y

当已知平面上n(n≥4)个点的图像坐标和对应的第一靶标平面坐标时，即可列出如下所示的线性方程，从而实时求解出该平面的投影变换参数a₀,a₁,a₂,b₀,b₁,b₂,c₁,c₂:

激光光斑点S的像点坐标(u_S,v_S)容易求出，再利用上述求得的投影变换参数，然后即可得到激光光斑点S在第一靶标坐标系下的坐标，最后利用相机求得的R、T，计算光斑S在第一相机坐标系下的坐标。

(2)激光出光点D在第一相机101坐标系下的坐标

求取；第一，高精度地标定第一相机101；第二，通过多次调整系统的位置，先后使第一靶标103上的激光光斑点S_i(i＝1,2,3,…,n)分布在第一靶标103的不同部位(要求所有的S_i不在同一条直线上)，利用激光测距数据和第一相机101测量数据，可以标定出

由图1有关系式：

上式第二边是关于待标定参数

的函数，记为

则有：

未知数的个数为3，因此只要n(n≥3)次测量就可以解出

的值；

然后，激光光束L单位方向矢量在第一相机101坐标系下坐标的求取；激光出光点D和激光光斑点S在第一相机101坐标系下的坐标在步骤1中已经求出，那么很容易得到激光光束L在第一相机101坐标系下的单位方向矢量(a,b,c)^T为:

其中，

可由

坐标变换得到；

再次：相机-激光测距仪组合测量模块A107的建模；ΔO^CDS中，DO^C的单位方向向量为(p,q,r)^T：

设∠O^CDS的大小为θ，则：

由三角形余弦定理有：

|O^CS|²＝|O^CD|²+|DS|²-2|O^CD|·|DS|cosθ

将cosθ的表达式代入上式，可得激光光斑点S与第一相机101坐标系原点O^C之间的距离为：

通过第一相机101外参数标定的R,T阵，得到激光光斑点S到第一相机101坐标系原点O^C的距离为：

式中激光光斑点S在第一相机101坐标系中的空间坐标

由

经过第一相机101外参数标定的R,T阵变换得到；

在单目视觉位姿测量算法中，由于t_x,t_y的测量精度一般要远大于t_Z的测量精度，因此可以将t_x,t_y视为误差小量,而仅对t_Z进行修正。由|O^CS|、|O^CS′的计算表达式可将激光测距仪测量得到的数据L与由第一相机101测量得到的数据(t_x,t_y,t_Z)联系起来，令|O^CS|＝|O^CS|′，其中

则有下式关系:

式中

为激光光斑点在世界坐标系中的空间坐标,r_i,j(i,j＝1,2,3)为由

的第i行j列元素,t_x,t_y分别第一靶标103坐标系变换到第一相机101坐标系的X方向、Y方向平移向量，它们均可以由单目视觉测量算法实时得到；L为激光测距仪105的测距数据，因此可以得到由激光测距仪修正后的t_Z；

基于标定后的R,T(经过t_Z修正以后的T)求取特征点A_i(i＝1,2,3,4)在第一相机101坐标系下的坐标。已知第一靶标103上的特征点A_i的坐标为：(X_i,Y_i,0),i＝1,2,3,4及

激光光斑点在世界坐标系下的投影，则

根据上述标定得到的

可求得

在第一相机101坐标系下的投影：

由此可得：

即为特征点A_i(i＝1,2,3,4)在第一相机101坐标系下的坐标；

针对组合测量模块B108，第二相机102和激光测距仪105的数据融合方法同组合测量模块A107，见前述描述；

再后：标定第一101、第二相机102之间的旋转矩阵

第一靶标103、第二靶标104通过连杆106固连，连杆106长度、靶标固定角度都未知，但是都是固定常值；每个靶标上至少3个特征点；

假设a_ij：i表示靶标上第i点，j表示靶标运动的第j个位置，则由靶标上任意两点在相机坐标系下的坐标得到单位方向矢量：

转到第一相机101坐标系下：

此时，两个单位向量均在第一相机101坐标系下，两向量之间存在角度常值θ：

式中，

则上式可变换为：

m_j·[r₁ r₂ r₃ r₄ r₅ r₆ r₇ r₈ r₉]^T＝cosθ

其中，m_j＝[a_jxb_jx a_jxb_jy a_jxb_jz a_jyb_jx a_jyb_jy a_jyb_jz a_jzb_jx a_jzb_jy a_jzb_jz]

进一步上式可变换为：

(m_k-m_h)·[r₁ r₂ r₃ r₄ r₅ r₆ r₇ r₈ r₉]^T＝0(k≠h)

K,h表示任意两次移动的靶标。

有9个未知量，需要9个式子，

所有至少需要拍摄5个不同的方向图片，可解出

最后：标定第一101、第二相机102之间的平移矢量

因为第一103、第二靶标104相对位姿不变，所以在第一靶标103、第二靶标104中各任取一点，组成点对，每对图像中，相应点对的距离是恒定不变的；由此约束可得关系式：

式中：

n表示不同的位置。

由上式得：

由于

所以至少需要3个不同的位置，可以解出

以上公开的仅为本申请的一个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

Claims (3)

1.基于激光测距仪辅助的无公共视场的两相机标定方法，其特征在于，包括如下步骤：

步骤一、第一相机和第二相机分别拍摄第一靶标和第二靶标，并测量第一、第二靶标分别与第一、第二相机的位姿关系，设定第一相机坐标系为全局坐标系，测量过程中利用激光测距仪辅助提高相机光轴方向上的位移测量精度；

步骤二、标定无公共视场的第一、第二相机之间的位姿关系；包括：采用激光测距仪辅助视觉传感器进行测量，以提高光轴方向上位移测量精度；

所述第一靶标和第二靶标上特征点之间构建的矢量与距离关系，标定出所述第一相机和第二相机之间的位姿关系，具体包括如下技术步骤：

第一、变换连杆位置，由所述第一靶标和第二靶标上任意点构建的矢量夹角在全局坐标系中不变的原则建立角度关系式：

其中，

分别为第一第二靶标中点任意两点在第一、第二相机坐标系下的坐标构建的单位矢量，θ表示该单位矢量的夹角，j表示不同的位置；

为第二相机坐标系到第一相机坐标系的旋转矩阵；

为第二靶标上的任意两点第一相机坐标系下的单位矢量，由

通过

转化而来；

第二、第一靶标和第二靶标上各取一个点，变换连杆的位置，在全局坐标系下两点之间的距离不变，以此约束建立位置关系式：

其中，

为第一靶标上的点在第一相机坐标系下的坐标，

为第二靶标上的点在第一相机坐标系下的坐标，j表示不同的位置。

2.根据权利要求1所述的基于激光测距仪辅助的无公共视场的两相机标定方法，其特征在于，所述采用激光测距仪辅助视觉传感器进行测量的具体步骤如下：

首先，将所述第一、第二相机与激光测距仪固连，保证所述激光测距仪的测距方向与所述第一、第二相机光轴方向基本一致；所述基本一致是指保证所述激光测距仪与相机构成相机-激光测距仪位姿测量系统；

其次，标定激光出光点在第一、第二相机坐标系下的坐标；

再次，标定激光光束的方向；

最后，对相机-激光测距仪组合测量模块建模，求取高精度的特征点在所述第一、第二相机坐标系下的坐标。

3.根据权利要求2所述的基于激光测距仪辅助的无公共视场的两相机标定方法，其特征在于，基于激光测距仪辅助无公共视场的两相机标定方法的装置，包括：第一相机、第二相机、第一靶标、第二靶标、连杆、两个激光测距仪；所述第一相机和第二相机分别用于拍摄第一靶标和第二靶标；所述第一靶标与第二靶标通过所述连杆固连连接；所述的两个激光测距仪分别辅助第一、第二相机测量第一靶标和第二靶标分别与第一、第二相机的位姿关系。

Images