CN109285195A - 基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其应用 - Google Patents

Abstract

本发明公开了一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其应用，包括如下步骤：1)相机和投影仪内外参标定后，投影仪像平面某整像素发光点打光在同心圆环靶标点p_t，p_t在已校正过畸变的相机像平面上成像点p_ci；2)利用单应性矩阵求出点p_ci的对应点p_t'，利用靶标上p_t'附近多个圆心拟合小平面，认为点p_t在该平面上；结合其平面方程和小孔成像原理求得p_t；3)利用小孔成像原理求得发光点p_pr的反投影点p_pi；4)将p_pi的二维坐标与投影仪图案生成函数结合求取p_pi处灰度值，取整赋值给发光点p_pr，完成单个像素的畸变校正；5)重复步骤1)～4)完成每个像素发光点的畸变校正。该方法投影仪投出的图案接近无畸变，能简化三维点云恢复、提高恢复精度。

Description

基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其 应用

技术领域

本发明涉及一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其应用。

背景技术

单目投影系统是指由一个相机和一个投影仪构成的三维扫描测量系统，是一种通过精确标定相机和投影仪的内参、相机镜头和投影仪镜头畸变参数和相机与投影仪坐标系之间的外参，从而达到高精度三维点云测量的系统。

标定过程中需要至少一块靶标，此靶标一般选用“平面靶标”，标定模型多采用“张氏标定”，即将靶标平面处理为理想的二维平面。但随着单目投影系统测量视场变大，标定使用的靶标尺寸需要随之增大，在保证相同平面度的情况下靶标加工成本越来越高；随着尺寸增大靶标的柔性增强、自身重量增加等原因会造成靶标平面弯曲，维护成本急剧上升。由于上述情况存在，“平面靶标”已经不能认为是绝对平面，因此研究学者大多用“张氏标定”法获得标定参数初值，再用摄影测量获取的三维靶标特征点数据对标定参数进行更精确的优化，使用三维靶标特征点坐标优化已经成为高精度标定的一种趋势。

投影仪镜头畸变参数模型往往使用相机镜头畸变模型，但相对于高精度标定要求，该模型产生的残差较大。大型构件复杂曲面自动化测量方法与技术[D].天津大学,2017，中公开了杨守瑞提出的逐像素畸变校正的方法，相比于使用相机镜头模型，有效降低了投影仪镜头模型的残差。但杨守瑞的方法中借助了靶标平面到像素平面的单应性，即简单地将靶标平面处理成一个绝对的二维平面，在基于大尺寸低平面度靶标的标定中，无疑会降低标定精度。杨守瑞之所以这样处理是因为没有找到像素平面二维点向靶标面三维点一一映射的方法。

发明内容

为了解决上述技术问题，本发明提供一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其应用，其利用局部平面方程代替现有假设靶标平面Z＝0方程，有效降低了靶标平面拟合误差和逐像素校正畸变匹配点坐标误差，使投影仪投射出的图案更接近理想图，有利于最终提高三维点云测量精度。

为此，本发明的技术方案如下：

一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法，包括如下步骤：

1)相机和投影仪内外参标定后，投影仪像平面某整像素发光点p_pr发出一条光线打在同心圆环靶标某点p_t，p_t在靶标坐标系下的坐标为[X Y Z 1]^T，并在已校正过畸变的相机像平面上成像为点p_ci＝[u_ci v_ci 1]^T；

2)利用每个位姿下的理想靶标平面到相机理想像平面的单应性矩阵求出点p_ci的对应点p_t'，p_t'在靶标坐标系下的坐标为[X' Y' 0 1]^T，点p_ci、p_t和p_t'共线；利用同心圆环靶标的同心圆圆心三维坐标的X、Y方向确定距点p_t'最近的n×n个圆心，再使用这n²个圆心拟合出一个小平面，认为点p_t在该平面上，平面方程为：

aX+bY+cZ＝1； (1)

结合小孔成像原理：

联立公式(1)和(2)求得p_t；

其中，理想靶标平面满足z＝0；

s为比例因子；

A_c为相机内参矩阵；

为靶标坐标系到相机坐标系的旋转矩阵；

为靶标坐标系到相机坐标系的平移矩阵。

3)依据小孔成像原理：

其中：s为比例因子；

p_pi为p_pr点出射光线的反投影点，可认为是p_pr对应的理想发光点的亚像素坐标；

A_p为投影仪内参矩阵；

为靶标坐标系到投影仪坐标系的旋转矩阵；

为靶标坐标系到投影仪坐标系的平移矩阵；

4)将步骤3)求得的p_pi的像面二维坐标与投影仪图案生成函数结合，求取p_pi处灰度值，取整后，将此值赋给p_pr，完成单个像素的畸变校正；

5)重复步骤1)～4)完成每一个像素发光点的畸变校正。

进一步，步骤4)中求取p_pi处灰度值的方法为：假设投影投射的理想图案的生成函数为y_gray＝round(f(p_pi))，y_gray为灰度值，取值范围为0～255的整数，“round”函数为四舍五入函数，f(p_pi)为根据p_pi二维坐标求的理想灰度值，取值范围为0～255实数。

进一步，步骤1)相机和投影仪进行内外参标定后获取如下参数：相机内参矩阵A_c、投影仪内参矩阵A_p、相机畸变参数K_c、投影仪畸变参数K_p、各位姿下靶标坐标系到相机坐标系外参靶标坐标系到投影仪坐标系外参以及相机坐标系到投影仪坐标系的转换矩阵其中，为相机坐标系到投影仪坐标系的旋转矩阵，为相机坐标系到投影仪坐标系的平移矩阵。

进一步，相机和投影仪进行内外参标定的方法为：利用同心圆环靶标，标定图像包括一张白图和横纵两个方向的相位图，标定位姿不少于三个。

进一步，相位信息为横纵均为三频四相的相位信息，或者横纵均为折叠相位和格雷码编码的相位信息。

进一步，步骤2)中n≥2。

进一步，步骤2)中依据A_c和求得。

如上述基于大尺寸靶标的单目投影系统逐像素畸变校正方法的应用，利用畸变校正后的单目投影系统进行三维点云恢复的方法为：利用公式(4)、(5)联立计算测量范围内任意一点p在相机坐标系下的坐标p＝[x y z]^T，

其中，[u_pi v_pi 1]^T是p_ci在投影仪像素平面对应点p_pi的坐标，两者通过横纵相位均相等进行对应；

为相机坐标系到投影仪坐标系的旋转矩阵；

为相机坐标系到投影仪坐标系的平移矩阵。

现有投影仪逐像素畸变校正方法充分利用了参数模型的灵活性和非参模型的精度，但仍然不能根本解决大尺寸低平面度靶标带来的逐像素畸变修正误差。本申请提出的方法利用局部平面方程代替靶标平面方程，有效降低了靶标平面拟合误差和逐像素校正畸变匹配点坐标误差，使投影仪投射出的图案更接近理想图，有利于简化三维点云恢复公式，并对提高三维点云测量精度具有重要意义。

附图说明

图1为本发明提供方法所使用设备的位置示意图；

图2为图1的俯视图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法，包括如下步骤：

1)相机和投影仪内外参标定后，投影仪像平面某整像素发光点p_pr发出一条光线打在同心圆环靶标某点p_t，p_t在靶标坐标系下的坐标为[X Y Z 1]^T，并在已校正过畸变的相机像平面上成像点p_ci＝[u_ci v_ci 1]^T；其中点p_ci在无畸变相机像平面上的坐标通过视场范围内唯一的相位信息求取；

在具体实施时，此步进行相机和投影仪内外参标定的方法为：利用同心圆环靶标，标定图像包括一张白图(未投射任何图像的靶标)和横纵两个方向的相位图，标定位姿不少于三个；得到如下参数：相机内参矩阵A_c、投影仪内参矩阵A_p、相机畸变参数K_c、投影仪畸变参数K_p、各位姿下靶标坐标系到相机坐标系外参靶标坐标系到投影仪坐标系外参以及相机坐标系到投影仪坐标系的转换矩阵其中，为相机坐标系到投影仪坐标系的旋转矩阵，为相机坐标系到投影仪坐标系的平移矩阵；2)利用每个位姿下的理想靶标平面(z＝0)到相机理想像平面的单应性矩阵(依据A_c和求得)，求出点p_ci的对应点p_t'，p_t'在靶标坐标系下的坐标为[X' Y' 0 1]^T，p_t'与p_t距离很近，且点p_ci、p_t和p_t'共线；利用同心圆环靶标的同心圆圆心三维坐标的X、Y方向确定距点p_t'最近的n×n个圆心(n≥2)，再使用这n²个圆心拟合出一个小平面，认为点p_t在该平面上；

平面方程为：aX+bY+cZ＝1； (1)

结合小孔成像原理：

联立公式(1)和(2)求得p_t；

其中，s为比例因子；

为靶标坐标系到相机坐标系的旋转矩阵；

为靶标坐标系到相机坐标系的平移矩阵。

3)依据小孔成像原理：

其中：s为比例因子；

p_pi为p_pr点出射光线的反投影点，可认为是p_pr对应的理想发光点的亚像素坐标；

为靶标坐标系到投影仪坐标系的旋转矩阵；

为靶标坐标系到投影仪坐标系的平移矩阵；

4)将步骤3)求得的p_pi的像面二维坐标与投影仪图案生成函数结合，求取p_pi处灰度值，取整后，将此值赋给p_pr，完成单个像素的畸变校正；

作为本发明的一个实施例，求取p_pi灰度值的方法如下：假设投影投射的理想图案的生成函数为y_gray＝round(f(p_pi))，y_gray为灰度值，取值范围为0～255的整数，“round”函数为四舍五入函数，f(p_pi)为根据p_pi二维坐标求的理想灰度值，取值范围为0～255实数；

5)重复步骤1)～4)完成每一个像素发光点的畸变校正。

如上述基于大尺寸靶标的单目投影系统逐像素畸变校正方法的应用，利用畸变校正后的单目投影系统进行三维点云恢复的方法为：

利用公式(4)、(5)联立计算测量范围内任意一点p在相机坐标系下的坐标p＝[x yz]^T，

其中，[u_pi v_pi 1]^T是p_ci在投影仪像素平面对应点p_pi的坐标，两者通过横纵相位均相等进行对应；

为相机坐标系到投影仪坐标系的旋转矩阵；

为相机坐标系到投影仪坐标系的平移矩阵。

实验检验：如果用所有标定点三维坐标拟合平面，计算同心圆圆心到平面距离平均值为0.0227mm，最大值为0.1117mm；而使用局部9个点拟合平面时，同心圆圆心到平面距离平均值为0.0008mm，最大值为0.0063mm。由此可以说明局部同心圆圆心拟合平面面片能更好地描述靶标板面形貌。得出的p_t会更准确。

现有逐像素畸变校正方法由于投影仪镜头畸变模型直接套用了相机镜头畸变模型，会产生较大残差，影响单目投影系统整体测量精度。本发明提供的技术方案利用投影仪投出图案是可以更改的特点，对投影仪投出的图案做逐像素畸变校正，使投影仪投出的图案接近无畸变，不但能提高三维点云恢复的精度，还可以简化三维点云恢复公式，对快速准确地恢复三维点云具有重要意义。

Claims (8)

1.一种基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：包括如下步骤：

1)相机和投影仪内外参标定后，投影仪像平面某整像素发光点p_pr发出一条光线打在同心圆环靶标某点p_t，p_t在靶标坐标系下的坐标为[X Y Z 1]^T，并在已校正过畸变的相机像平面上成像为点p_ci＝[u_ci v_ci 1]^T；

2)利用每个位姿下的理想靶标平面到相机理想像平面的单应性矩阵求出点p_ci的对应点p_t'，p_t'在靶标坐标系下的坐标为[X' Y' 0 1]^T，点p_ci、p_t和p_t'共线；利用同心圆环靶标的同心圆圆心三维坐标的X、Y方向确定距离点p_t'最近的n×n个圆心，再使用这n²个圆心拟合出一个小平面，认为点p_t在该平面上，平面方程为：

aX+bY+cZ＝1； (1)

结合小孔成像原理：

联立公式(1)和(2)求得p_t；

其中，理想靶标平面满足z＝0；

s为比例因子；

A_c为相机内参矩阵；

为靶标坐标系到相机坐标系的旋转矩阵；

为靶标坐标系到相机坐标系的平移矩阵；

3)依据小孔成像原理：

其中：s为比例因子；

p_pi为p_pr点出射光线的反投影点；

A_p为投影仪内参矩阵；

为靶标坐标系到投影仪坐标系的旋转矩阵；

为靶标坐标系到投影仪坐标系的平移矩阵；

4)将步骤3)求得的p_pi的像面二维坐标与投影仪图案生成函数结合，求取p_pi处灰度值，取整后，将此值赋给p_pr，完成单个像素的畸变校正；

5)重复步骤1)～4)完成每一个像素发光点的畸变校正。

2.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于步骤4)中求取p_pi处灰度值的方法为：假设投影投射的理想图案的生成函数为y_gray＝round(f(p_pi))，y_gray为灰度值，取值范围为0～255的整数，“round”函数为四舍五入函数，f(p_pi)为根据p_pi二维坐标求的理想灰度值，取值范围为0～255实数。

3.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：步骤1)相机和投影仪进行内外参标定后获取如下参数：相机内参矩阵A_c、投影仪内参矩阵A_p、相机畸变参数K_c、投影仪畸变参数K_p、各位姿下靶标坐标系到相机坐标系外参T_t ^c、靶标坐标系到投影仪坐标系外参T_t ^p，以及相机坐标系到投影仪坐标系的转换矩阵其中，为相机坐标系到投影仪坐标系的旋转矩阵，为相机坐标系到投影仪坐标系的平移矩阵。

4.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：相机和投影仪进行内外参标定的方法为：利用同心圆环靶标，标定图像包括一张白图和横纵两个方向的相位图，标定位姿不少于三个。

5.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：相位信息为横纵均为三频四相的相位信息，或者横纵均为折叠相位和格雷码编码的相位信息。

6.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：步骤2)中n≥2。

7.如权利要求1所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法，其特征在于：步骤2)中依据A_c和T_t ^c求得。

8.如权利要求1或2所述基于大尺寸靶标的单目投影系统逐像素畸变校正方法的应用，其特征在于：利用公式(4)、(5)联立计算测量范围内任意一点p在相机坐标系下的坐标p＝[x y z]^T，

其中，[u_pi v_pi 1]^T是p_ci在投影仪像素平面对应点p_pi的坐标，两者通过横纵相位均相等进行对应；

为相机坐标系到投影仪坐标系的旋转矩阵；

为相机坐标系到投影仪坐标系的平移矩阵。