CN113345029B - 一种光学偏折三维测量中的大视场参考平面标定方法 - Google Patents

Abstract

本发明公开了一种光学偏折三维测量中的大视场参考平面标定方法，其步骤包括：首先采集参考平面上棋盘标定板的镜像图片，并通过张正友标定方法来确定相机的内部和外部参数；然后通过每组标定板镜像图片间的正交约束来确定参考平面到相机的外部参数；最后通过添加每组标定板间的共平面约束，利用LM优化方法获得相机与参考平面之间外部参数的最优解。本发明利用大视场参考平面上多个棋盘标定板位置之间的共平面性约束获得参考平面到相机的位姿转换参数，从而提高标定方法的鲁棒性以及准确性。

Description

一种光学偏折三维测量中的大视场参考平面标定方法

技术领域

本发明涉及相机标定领域，具体涉及一种大视场参考平面到相机的标定方法。

背景技术

高反射表面偏折法检测系统主要由参考平面、相机与待测镜面组成。一般选用大幅面LCD显示屏作为参考平面,由计算机控制显示器生成编码图像；相机通过待测表面观测参考平面,利用高反表面折返镜像特性,采集受该高反表面曲率变化调制的编码图像,通过解调编码图像信息恢复该镜面的3D面形。

因此参考平面到相机的标定，是高反射表面偏折测量工作中的关键技术之一，它的主要作用是确定参考平面到相机的外部参数，标定结果的精度以及标定算法的稳定性直接影响后续三维测量的准确性。特别是标定大视场测量系统时需要大的标定平面，而大型标定板制作困难，精度难以保证，不适合做现场标定。

目前偏折检测系统中参考平面标定主要有两种方法，一种是通过镜像图片之间的正交约束返回PNP问题的最优解，另一种是通过镜像相机旋转矩阵之和的SVD分解来直接估计相机旋转矩阵。并通过求解一个超定线性方程组来计算相机平移向量。但是这些方法对噪声较为敏感，算法稳定性差，并且其标定结果是局部最优的。不能满足大视场参考平面的标定需求。因此需要一种标定精度高，算法稳定性强的大视场参考平面标定方法。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种光学偏折三维测量中的大视场参考平面标定方法，以期能对参考平面在共平面约束下进行整体优化，从而能提高标定方法的稳定性以及准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种光学偏折三维测量中的大视场参考平面标定方法的特点是应用于由参考平面、棋盘标定板、相机、辅助平面镜和光学平台所组成的标定系统中，所述大视场参考平面标定方法包括如下步骤：

步骤1、在参考平面上的某一位置设置有棋盘标定板；

利用相机采集所述棋盘标定板在不同倾斜角度的辅助平面镜下的镜像图片，从而得到在同一位置上的棋盘标定板在不同倾斜角度下的一组镜像图片；

改变棋盘标定板在所述参考平面上的位置，并重复采集棋盘标定板在不同倾斜角度下的镜像图片，从而得到不同位置上的棋盘标定板在不同倾斜角度下的多组镜像图片；

通过张正友标定方法对采集的多组镜像图片进行处理，得到相机的内部和外部参数；

步骤2、利用同一位置上的棋盘标定板在不同倾斜角度下的一组镜像图片之间的正交约束确定参考平面到相机的外部参数；

步骤3、根据所述参考平面上不同位置的棋盘标定板之间的共平面约束，利用LM优化方法获得相机与参考平面之间的最优转换参数，以所述最优转换参数作为大视场参考平面的标定结果。

本发明所述的大视场参考平面标定方法的特点也在于，所述步骤3具体包括：

步骤3.1、设棋盘标定板上共N个特征角点；设参考平面上棋盘标定板的位置共移动W次，棋盘标定板在参考平面上的同一位置所对应的平面镜转动M次，M≥3；

步骤3.2、利用式(1)建立镜像图片中第k个特征角点与参考平面上第j个位置的棋盘标定板的第k个特征角点的反投影关系式：

式(1)中，λ_ji表示第j个位置的棋盘标定板在第i个平面镜位置上所成的镜像图片中第k个特征角点从相机坐标系归一化到像平面坐标系的非零缩放因子；A表示相机内参数矩阵；P_k表示棋盘标定板中第k个特征角点在参考平面的坐标系中的坐标；R_ji表示参考平面上第j个位置的棋盘标定板在第i个平面镜位置中所成的镜像图片到相机坐标系的旋转矩阵；T_ji为参考平面上第j个位置的棋盘标定板在第i个平面镜位置中所成的镜像图片到相机坐标系的平移向量；j∈[1，W]；i∈[1，M]；k∈[1，N]；并有：

R_ji＝(I-2·n_ji·n_ji ^T)·R_s-c，j (2)

T_ji＝(I-2·n_ji·n_ji ^T)·T_s-c，j+2·d_ji·n_ji (3)

式(2)和式(3)中，n_ji表示参考平面上第j个位置的棋盘标定板在第i个平面镜位置的镜面法向量；R_s-c，j表示第j个位置的棋盘标定板到相机坐标系的旋转矩阵；T_s-c，j表示第j个位置的棋盘标定板到相机坐标系的平移向量；d_ji表示相机坐标系的原点到第j个位置的棋盘标定板所对应的第i个平面镜位置的距离；

步骤3.3、利用式(4)建立反投影的重投影误差函数Errpro：

式(4)中，q_jik表示相机拍摄的第j个位置的棋盘标定板在第i个平面镜位置中所成的镜像图片中第k个特征角点的像素坐标；

为相机拍摄的第j个位置的棋盘标定板在第i个平面镜位置中所成的镜像图片中第k个特征角点的反投影点坐标；

步骤3.4、利用式(5)得到第j个位置的棋盘标定板中第k个特征角点在相机坐标系中的坐标P_jk：

P_jk＝(R_s-c，j·P_k+T_s-c，j) (5)

步骤3.5、对坐标P_jk进行曲面拟合，从而得到平均最小距离误差Perr；

步骤3.6、利用式(6)得到旋转矩阵R_s-c，j与平均旋转矩阵R_av之间的旋转矩阵误差Rerr：

步骤3.7、利用式(7)得到光学平台上W个倾斜角为零的平面镜位置的镜面法向量n_j1与平均法向量n_av之间的法向量误差Nerr：

由所述平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr构成共平面约束；

步骤3.8、利用式(8)建立理想情况下Perr＝0，Rerr＝0，Nerr＝0的优化目标函数F：

式(8)中，R_s-c，j、T_s-c，j、n_ji、d_ji为待优化参数；λ_p、λ_R、λ_N分别为平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr的拉格朗日乘子；

步骤3.9、利用LM优化方法对所述优化目标函数F进行迭代计算，从而得到大视场参考平面到相机的最优转换参数，即参考平面坐标系和相机坐标系之间的最优旋转矩阵R_s-c和最优平移向量T_s-c。

与现有技术相比，本发明的有益效果在于：

1、本发明通过多次移动棋盘标定板，使其充分覆盖整个参考平面，代替直接使用大棋盘格，获得多组棋盘标定板镜像图片，添加多个标定板之间的共平面约束，使得参考平面到相机的外部参数达到整体最优，该方法精度高，稳定性强，从而克服了传统方法通过单组镜像图片之间的正交约束返回PNP问题的的解是局部最优的，而且标定结果对噪声比较敏感，算法稳定性较差的问题。

2、本发明通过使用大幅面LCD屏幕作为参考平面，棋盘格尺寸可自行设置，棋盘格移动可变动，操作灵活性强。

3、本发明利用参考平面上多组棋盘标定板位置间的共平面约束，通过LM(Levenberg-Marquardt)优化方法获得相机与参考平面之间外部参数的最优解，其优化是全局性的，准确且可靠，算法鲁棒性好。

附图说明

图1为本发明镜像反射原理图；

图2为本发明标定系统结构图；

图3为两种方法所恢复的参考平面特征点共平面性对比图；

图4为两种方法的重投影误差对比图；

图中标号：I参考平面；II棋盘标定板；III相机；IV辅助平面镜；V光学平台；

其中参考平面上物点为P，平面镜中像点为P′，P到平面镜的距离为t，相机原点到平面镜的距离为d，平面镜法向量为n，Π为光学平台所在平面。

具体实施方式

本发明中，光学偏折三维测量中的大视场参考平面标定方法，是一种利用辅助平面镜进行相机与大视场参考平面之间的位姿标定方法。并应用于由参考平面I、棋盘标定板II、相机III、辅助平面镜IV和光学平台V所组成的标定系统中。本实施例中采用大幅面LCD显示屏作为参考平面，由计算机生成棋盘格图像作为棋盘标定板。

步骤1、如图1所示，在参考平面I上的某一位置设置有棋盘标定板II；

利用相机III采集所述棋盘标定板II在不同倾斜角度的辅助平面镜IV下的镜像图片，(平面镜可以调整3次倾斜角度：绕z轴方向倾斜；绕X轴方向倾斜；绕Y轴方向倾斜)从而得到在同一位置上的棋盘标定板II在不同倾斜角度下的一组镜像图片；

改变棋盘标定板II在所述参考平面I上的位置，本实施例中分别为显示屏中央，左上，左下，右上以及右下位置。以便覆盖整个LCD屏幕，并重复采集棋盘标定板II在不同倾斜角度下的镜像图片，从而得到不同位置上的棋盘标定板II在不同倾斜角度下的多组镜像图片；共采集棋盘镜像图片五组，每组三幅棋盘格镜像图片。

通过张正友标定方法对采集的多组镜像图片进行处理，得到相机的内部和外部参数；具体方法包括：

如图2所示，建立镜面反射模型，即物点P与像点P′的关系为：

P′＝P+2·(d-n^T·P)·n (1)

设R和T为镜像坐标系到相机坐标系的旋转矩阵和平移向量。R_s-c表示屏幕坐标系和相机坐标系之间的旋转矩阵，T_s-c表示两者之间的平移矩阵。结合平面镜反射模型(1)，可以得到屏幕坐标系到相机坐标系的转换关系：

R＝(I-2·n·n^T)·R_s-c (2)

T＝(I-2·n·n^T)·T_s-c+2·d·n (3)

步骤2、利用同一位置上的棋盘标定板II在不同倾斜角度下的一组镜像图片之间的正交约束确定参考平面I到相机III的外部参数；

上述步骤中利用每组棋盘格三幅镜像图片的正交约束确定LCD屏幕到相机的外部参数R_s-c和T_s-c。具体包括：

令j，j′∈{1，2，3}，R_j表示第j个平面镜位置反射图像的旋转矩阵，定义单位矢量m_jj′与单位法向量n_j和n_j′垂直。可以列出如下正交约束等式：

R_j·R_j′ ^T·m_jj′＝(I-2·n_j·n_j ^T)×(I-2·n_j′·n_j′ ^T)·m_jj′＝m_jj′ (4)

其中，R_j·R_j′ ^T是一个特殊的正交矩阵，它有2个复共轭特征值，1个特征值等于1。所以R_j·R_j′ ^T的特征值为1对应的特征向量即为m_jj′。根据特征向量的叉积性质，可以计算三个平面镜位置分别对应的单位法向量。

由此求解屏幕坐标系到相机坐标系的旋转矩阵R_s-c＝(I-2·n·n^T)·R。平移向量T可构建如下线性方程组求解。

至此，屏幕坐标系到相机坐标系的位姿参数初始值R_s-c和T_s-c已全部求出。

步骤3、根据所述参考平面I上不同位置的棋盘标定板II之间的共平面约束，利用LM优化方法获得相机III与参考平面I之间的最优转换参数，以所述最优转换参数作为大视场参考平面的标定结果。

步骤3.1、设棋盘标定板II上共N个特征角点；设参考平面I上棋盘标定板II的位置共移动W次，棋盘标定板II在参考平面I上的同一位置所对应的平面镜转动M次，M≥3；

步骤3.2、利用式(1)建立镜像图片中第k个特征角点与参考平面I上第j个位置的棋盘标定板II的第k个特征角点的反投影关系式：

式(7)中，λ_ji表示第j个位置的棋盘标定板II在第i个平面镜位置上所成的镜像图片中第k个特征角点从相机坐标系归一化到像平面坐标系的非零缩放因子；A表示相机内参数矩阵；P_k表示棋盘标定板II中第k个特征角点在参考平面I的坐标系中的坐标；R_ji表示参考平面I上第j个位置的棋盘标定板II在第i个平面镜位置中所成的镜像图片到相机坐标系的旋转矩阵；T_ii为参考平面I上第j个位置的棋盘标定板II在第i个平面镜位置中所成的镜像图片到相机坐标系的平移向量；j∈[1，W]；i∈[1，M]；k∈[1，N]；并有：

R_ji＝(I-2·n_ji·n_ji ^T)·R_s-c，j (8)

T_ji＝(I-2·n_ji·n_ji ^T)·T_s-c，j+2·d_ji·n_ji (9)

式(8)和式(9)中，n_ji表示参考平面I上第j个位置的棋盘标定板II在第i个平面镜位置的镜面法向量；R_s-c，j表示第j个位置的棋盘标定板II到相机坐标系的旋转矩阵；T_s-c，j表示第j个位置的棋盘标定板II到相机坐标系的平移向量；d_ji表示相机坐标系的原点到第j个位置的棋盘标定板II所对应的第i个平面镜位置的距离；

步骤3.3、利用式(9)建立反投影的重投影误差函数Errpro：

式(9)中，q_jik表示相机III拍摄的第j个位置的棋盘标定板II在第i个平面镜位置中所成的镜像图片中第k个特征角点的像素坐标；

为相机III拍摄的第j个位置的棋盘标定板II在第i个平面镜位置中所成的镜像图片中第k个特征角点的反投影点坐标；

步骤3.4、利用式(10)得到第j个位置的棋盘标定板II中第k个特征角点在相机坐标系中的坐标P_jk：

P_jk＝(R_s-c，j·P_k+T_s-c，j) (10)

步骤3.5、对坐标P_jk进行曲面拟合，从而得到平均最小距离误差Perr；Perr为曲面拟合效果评价值，Perr值越小，共平面效果越好。

步骤3.6、利用式(11)得到旋转矩阵R_s-c，j与平均旋转矩阵R_av之间的旋转矩阵误差Rerr：

由于棋盘格坐标系与LCD屏幕坐标系的共平面特性，R_s-c，j理论上是相等的。Rerr越小，共平面效果越好。

步骤3.7、利用式(12)得到光学平台V上W个Z轴方向倾斜角为零的平面镜位置的镜面法向量n_j1与平均法向量n_av之间的法向量误差Nerr：

由于平面镜位置之间也具有共平面特性，所以对应的法向量n_j1理论上也是相等的。Nerr越小，共平面效果越好。

由所述平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr构成共平面约束；

步骤3.8、利用式(13)建立理想情况下Pert＝0，Rerr＝0，Nerr＝0的优化目标函数F：

式(13)中，R_s-c，j、T_s-c，j、n_ji、d_ji为待优化参数；λ_p、λ_R、λ_N分别为平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr的拉格朗日乘子；

步骤3.9、利用LM优化方法对所述优化目标函数F进行迭代计算，从而得到大视场参考平面到相机的最优转换参数，即参考平面坐标系和相机坐标系之间的最优旋转矩阵R_s-c和最优平移向量T_s-c。

根据上述方法对重投影误差函数添加共平面约束，利用LM算法迭代计算，得到LCD参考平面到相机的最优转换参数R_s-c和T_s-c，其结果是整体最优的。

两种方法得到的棋盘格共平面性由棋盘格特征点到LCD屏幕所在平面的最小距离误差RMSE具体表示。如图3所示。添加共平面约束方法的平均最小距离误差RMSE＝0.1346mm。而未添加共平面约束方法的RMSE＝6.3527mm。添加共平面约束方法得到的外部参数，恢复的LCD上棋盘格特征点共平面性良好，对于整个LCD屏幕而言是整体最优的。而未添加共平面约束的方法，得到的各个位置的棋盘格共平面性较差，相互之间独立，受噪声影响较大，算法不稳定。

再从标定精度来看，如图4所示。添加共平面约束方法的平均重投影误差为0.1397pixel，而未添加共平面约束方法的平均重投影误差为0.1263pixel，两者精度相近。虽然未添加共平面约束方法的平均重投影误差更小，但是该结果对于参考平面是局部最优的；而添加共平面约束的方法将各个位置棋盘格统一起来，使标定结果对于参考平面是整体最优的。在保证精度的同时，算法可靠性方面表现更优。

本发明基于参考平面上多组棋盘格位置间的共平面约束，采用LM优化算法，准确稳定实现参考平面到相机的标定。

Claims (1)

1.一种光学偏折三维测量中的大视场参考平面标定方法，其特征是应用于由参考平面(Ⅰ)、棋盘标定板(Ⅱ)、相机(Ⅲ)、辅助平面镜(Ⅳ)和光学平台(Ⅴ)所组成的标定系统中，所述大视场参考平面标定方法包括如下步骤：

步骤1、在参考平面(Ⅰ)上的某一位置设置有棋盘标定板(Ⅱ)；

利用相机(Ⅲ)采集所述棋盘标定板(Ⅱ)在不同倾斜角度的辅助平面镜(Ⅳ)下的镜像图片，从而得到在同一位置上的棋盘标定板(Ⅱ)在不同倾斜角度下的一组镜像图片；

改变棋盘标定板(Ⅱ)在所述参考平面(Ⅰ)上的位置，并重复采集棋盘标定板(Ⅱ)在不同倾斜角度下的镜像图片，从而得到不同位置上的棋盘标定板(Ⅱ)在不同倾斜角度下的多组镜像图片；

通过张正友标定方法对采集的多组镜像图片进行处理，得到相机的内部和外部参数；

步骤2、利用同一位置上的棋盘标定板(Ⅱ)在不同倾斜角度下的一组镜像图片之间的正交约束确定参考平面(Ⅰ)到相机(Ⅲ)的外部参数；

步骤3、根据所述参考平面(Ⅰ)上不同位置的棋盘标定板(Ⅱ)之间的共平面约束，利用LM优化方法获得相机(Ⅲ)与参考平面(Ⅰ)之间的最优转换参数，以所述最优转换参数作为大视场参考平面的标定结果；

步骤3.1、设棋盘标定板(Ⅱ)上共N个特征角点；设参考平面(Ⅰ)上棋盘标定板(Ⅱ)的位置共移动W次，棋盘标定板(Ⅱ)在参考平面(Ⅰ)上的同一位置所对应的平面镜转动M次，M≥3；

步骤3.2、利用式(1)建立镜像图片中第k个特征角点与参考平面(Ⅰ)上第j个位置的棋盘标定板(Ⅱ)的第k个特征角点的反投影关系式：

式(1)中，λ_ji表示第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置上所成的镜像图片中第k个特征角点从相机坐标系归一化到像平面坐标系的非零缩放因子；A表示相机内参数矩阵；P_k表示棋盘标定板(Ⅱ)中第k个特征角点在参考平面(Ⅰ)的坐标系中的坐标；R_ji表示参考平面(Ⅰ)上第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置中所成的镜像图片到相机坐标系的旋转矩阵；T_ji为参考平面(Ⅰ)上第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置中所成的镜像图片到相机坐标系的平移向量；j∈[1,W]；i∈[1,M]；k∈[1,N]；并有：

R_ji＝(I-2·n_ji·n_ji ^T)·R_s-c，j (2)

T_ji＝(I-2·n_ji·n_ji ^T)·T_s-c，j+2·d_ji·n_ji (3)

式(2)和式(3)中，n_ji表示参考平面(Ⅰ)上第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置的镜面法向量；R_s-c，j表示第j个位置的棋盘标定板(Ⅱ)到相机坐标系的旋转矩阵；T_s-c，j表示第j个位置的棋盘标定板(Ⅱ)到相机坐标系的平移向量；d_ji表示相机坐标系的原点到第j个位置的棋盘标定板(Ⅱ)所对应的第i个平面镜位置的距离；

步骤3.3、利用式(4)建立反投影的重投影误差函数Errpro：

式(4)中，q_jik表示相机(Ⅲ)拍摄的第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置中所成的镜像图片中第k个特征角点的像素坐标；

为相机(Ⅲ)拍摄的第j个位置的棋盘标定板(Ⅱ)在第i个平面镜位置中所成的镜像图片中第k个特征角点的反投影点坐标；

步骤3.4、利用式(5)得到第j个位置的棋盘标定板(Ⅱ)中第k个特征角点在相机坐标系中的坐标P_jk：

P_jk＝(R_s-c，j·P_k+T_s-c，j) (5)

步骤3.5、对坐标P_jk进行曲面拟合，从而得到平均最小距离误差Perr；

步骤3.6、利用式(6)得到旋转矩阵R_s-c，j与平均旋转矩阵R_av之间的旋转矩阵误差Rerr：

步骤3.7、利用式(7)得到光学平台(Ⅴ)上W个倾斜角为零的平面镜位置的镜面法向量n_j1与平均法向量n_av之间的法向量误差Nerr：

由所述平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr构成共平面约束；

步骤3.8、利用式(8)建立理想情况下Perr＝0,Rerr＝0,Nerr＝0的优化目标函数F：

式(8)中，R_s-c，j、T_s-c,j、n_ji、d_ji为待优化参数；λ_p、λ_R、λ_N分别为平均最小距离误差Perr、旋转矩阵误差Rerr和法向量误差Nerr的拉格朗日乘子；

步骤3.9、利用LM优化方法对所述优化目标函数F进行迭代计算，从而得到大视场参考平面到相机的最优转换参数，即参考平面坐标系和相机坐标系之间的最优旋转矩阵R_s-c和最优平移向量T_s-c。

Images