CN112097689A - 一种3d结构光系统的标定方法 - Google Patents

Abstract

本发明提供了一种3D结构光系统的标定方法，属于计算机视觉技术领域。本发明提供了一种3D结构光系统的标定方法，该方法使用精度更高，标定流程更复杂的包括圆点图案的标定板，使用精度更高的多频相移码来寻找相机和投影传感器的对应关系，局部提升相位精度，能够更精确确定传感器之间位置关系，同时采用灵活的排序算法对圆心位置进行排序，标定板基本可以摆放为各种姿态，提取更多的标定数据。

Description

一种3D结构光系统的标定方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种3D结构光系统的标定方法。

背景技术

目前，3D结构光成像技术在工业上主要应用在精密测量，缺陷检测等场景，涵盖包含表面组装技术、汽车、航空、半导体、医疗、制药、食品加工等生产制造领域。和二维检测相比，3D检测技术提供了多一维的高度信息，在实际测量过程中，不仅可以精确定位被测物，精确测量尺寸，颜色等二维信息，还能够获取物体表面轮廓信息，这样就能测量分析物体表面的平面度、坡度、弯曲度和瑕疵等复杂信息。3D结构光测量具有非接触、速度快、精度高、抗干扰能力强等一系列优点，是3D检测行业精密测量的一个非常重要的方向。

3D结构光标定算法，决定了3D测量系统的检测精度，该算法主要是确立相机、结构光投影的内部参数以及他们构成系统的外部参数，正是通过确定这些系统模型参数才能恢复出被测物的3D深度信息。

目前结构光3D系统标定原理都采用张正友标定法，但是在具体实施的时候，方法却不尽相同，当然，精度差异也非常大，提供精度较高的标定方法逐渐成为一个研究的领域。

在中国专利申请文献CN110443856A，公开了一种3D结构光模组标定方法，该方法包括如下步骤：S0、制作标定板，在标定板上打印棋盘格，所述棋盘格铺满整个标定板；S1、拍摄标定照片，放置3D结构光模组于所述标定板平面的正前方，固定所述3D结构光模组和所述标定板的相对位置，依次拍摄所述标定板的红外照片、点阵投射到所述标定板的点阵投射照片，将所述标定板的红外照片和所述点阵投射照片作为一组标定照片；S2、拍摄标定照片组，更换所述3D结构光模组和所述标定板的相对位置，重复步骤S1拍摄多组标定照片；S3、标定3D结构光模组，采用标定算法通过多组所述标定照片对红外相机进行标定，然后对点阵投射器进行标定，得到所述点阵投射器相对于所述红外相机的几何关系。所述标定板为白色背景的标定板，所述棋盘格的形状为正方形，所述棋盘格中黑色格子的灰度可调；所述标定算法为张正友平面标定法；标定过程包括：S31、提取像素坐标，提取所述标定板的红外照片的棋盘格点像素坐标，并设定对应的世界坐标数值；S32、标定红外相机，计算棋盘格点世界坐标到像素坐标的单应性映射，根据旋转矩阵的约束关系计算得到对应的红外相机内参和外参；S33、计算转换关系，计算点阵投射的光斑坐标与所述点阵投射器的点阵几何关系之间的转换关系，将红外照片的棋盘格点像素坐标转换成所述点阵投射器的像素坐标，采用张正友平面标定算法计算所述点阵投射器的内参和外参。该方案采用棋盘格标定板，需要检测标定板的角点，作为Mark点，在实际标定应用中，标定板位姿变化摆放时，受光照以及成像质量不均匀等影响，棋盘格标定板的角点提取精度很容易受影响，采用圆的标定板，可以很好的进行圆的提取，不易受干扰。

在中国专利申请文献CN110827357A，公开了一种组合图案标定板以及结构光相机参数标定方法，标定板上的图案包括识别标志和码块区域；所述识别标志为黑白边界区分的闭合的四边形，其边界内为黑色像素，边界外部为白色像素；所述码块区域位于四边形边界内部，码块由NxN的黑色和白色方形色块组成的编码信息。标定方法包括如下步骤：S1：利用权利要求1中的多个组合图案标定板，各组合图案标定板具有图案不同的码块区域；S2：采集分布排列的多个组合图案标定板的图像，并进行预处理；S3：计算图像每个像素的局部梯度；将梯度辐值和方向一致的像素区域设置为连通域；S4：将连通域中梯度大于设定阈值的连通域作为标定图案的边缘，边缘像素点使用直线拟合成不同的线段；S5：遍历所有的线段，检测四个依次邻接的线段能否组成完整的四边形，并检测所有具有完整四边形的区域是否包含有效的编码区域；S6：将检测到的编码与编码库的图案进行匹配，计算编码对应的图案在标定板中的坐标，以及四边形四条线段的交点在图像中对应的坐标；S7：根据图像中的像素坐标和对应的标定板坐标，对结构光相机参数进行标定。该方案中标定板位姿不易倾斜过大，过大会造成图案匹配不上，只适宜小幅度倾斜，这样标定出来的参数就不能充分表述系统的模型。

现有技术至少存在以下不足：

1.确立相机传感器和投影仪传感器对应关系精度不够。

2.所获取标定图像状态有限，无法充分描述系统模型。

发明内容

为解决现有技术中存在的精度不够问题，本发明提供了一种3D结构光系统的标定方法，该方法使用精度更高，标定流程更复杂的包括圆点图案的标定板，使用精度更高的多频相移码来寻找相机和投影传感器的对应关系，局部提升相位精度，能够更精确确定传感器之间位置关系，同时采用灵活的自动梯形校正算法对圆点进行排序，标定板基本可以摆放为各种姿态，提取更多的标定数据。

本发明提供了一种3D结构光系统的标定方法，包括如下步骤：

制作标定板步骤，制作系统标定板并烧录，所述标定板上的图案为多个圆形靶标，相邻的所述圆形靶标的圆心距一致，多个所述圆形靶标排列为行和列，所述圆形靶标的大小不同；

标定板图像采集步骤：

设定一个标定板姿态，分别在标定板上投影水平和竖直两个方向的多个频率的正弦光栅条纹图案，另外投影一张没有光栅条纹的光，并在每次投影的同时用相机采集该姿态下投影各种图案的标定板图像；

调整标定板姿态，重复标定板图像采集步骤，直至标定板姿态数量达到预设的目标值，得到多个标定板图像；

标定步骤，根据采集到的多个所述标定板图像，对结构光系统进行标定，具体包括如下步骤：

提取标定板图像中所有圆形靶标的圆心位置；

根据提取的所有圆形靶标的圆心位置对所有圆心进行排序；

采用双线性插值算法得到每个圆心坐标的绝对相位值；

利用得到的每个圆心坐标的绝对相位值，得到各圆心在相机图像中坐标对应的在投影仪图像中坐标；

根据得到的相机及投影仪图像中的圆心坐标，利用张正友标定方法得到相机及投影仪的内参、畸变系数和外参；

利用同一标定板姿态下的相机和投影仪的外参，计算每个标定板姿态下相机和投影仪坐标系之间的转换矩阵；

根据得到的每个标定板姿态下的转换矩阵，得到标定的相机和投影仪坐标系转换矩阵。

优选地，还包括，在采用双线性插值算法得到每个圆心坐标的绝对相位值之前，利用多频多步相移算法，得到标定板平面相位场在水平和垂直方向的绝对相位值。

优选地，所述提取标定板图像中所有圆形靶标的圆心位置具体包括以下步骤：

对相机采集到的没有打光栅条纹的标定板图像进行二值化；

对二值化后的标定板图像进行blob分析，得到标定板圆的质心位置，实现圆形靶标的粗定位；

通过Canny边缘提取，得到圆形靶标的像素边缘位置；

通过对圆形靶标的边缘像素点进行灰度插值，然后再进行参数拟合，得到圆的亚像素边缘轮廓；

对得到的各个圆的亚像素边缘轮廓点进行最小二乘椭圆拟合，得到各椭圆的中心位置，将各椭圆的中心位置作为各圆形靶标的圆心位置。

优选地，对所有圆心进行排序具体包括以下步骤：

根据得到的标定板各椭圆的中心位置，确定采集的标定板图案中不规则四边形的四个顶点；

将四个顶点按顺序连线成四边形；

当所述四边形旋转角度不超过预设值时，确定各圆点的位置坐标，并根据各圆点的位置坐标顺序，确定各圆心的顺序；

当所述四边形旋转角度超过预设值时，按照如下方法进行排序：

确定所述四边形的每条边上得所有圆点，将两条相对的边上相对的两个圆点进行连线；

确定所有连线形成的各个四边形内部所有的圆点，并确定各圆点的顺序。

优选地，当所述四边形旋转角度不超过预设值时，确定各圆心顺序具体包括以下步骤：

确定标定板图像中五大圆形靶标的位置坐标；

由这些已知阵列坐标的大圆点，根据摄影几何的直线投影不变性，对位于阵列其他位置的小圆点在图像上的坐标进行预估；

通过blob分析得到的各圆形靶标的坐标，计算各点到预估的所有点的距离，距离最小的点为对应的位置的点，根据坐标顺序进行排序。

优选地，确定五大圆形靶标的位置坐标具体包括如下步骤：

选择五个半径相等的圆形靶标，所述五个半径相等的圆形靶标的半径大于标定板图案中其它圆形靶标的半径；

计算各点之间的距离，得到距离最大的两个圆点，分别为F1和F2，以及距离最小的两个圆点，分别为N1和N2，则剩下的一点确定为五大圆形靶标中第五大圆点C5；

分别计算F1、F2到N1、N2的距离之和；

距离和较小的点为五大圆形靶标中第一大圆点C1，所述第一大圆点位于图案水平中线与垂直中线左侧的垂直中线交叉点；

距离和较大的点为五大圆形靶标中第二大圆点C2，所述第二大圆点位于图案水平中线与垂直中线右侧的垂直中线交叉点；

计算N1、N2与C1的距离，距离较小的点为五大圆形靶标中第三大圆点C3，较大的点为五大圆形靶标中第四大圆点C4。

优选地，预估小圆点坐标具体包括如下步骤：

用两个已知的大圆点C1和C2确定一条水平直线，计算与该直线平行的第二行两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板水平方向的两个分量；

用两个已知的大圆点C3和C4确定一条垂直直线，与该直线平行的第二列两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板垂直方向的两个分量；

根据已知大圆点C1的坐标，以及标定板水平和垂直方向各自的两个分量，预估得到所有圆形靶标的坐标，并存储所有圆形靶标位置坐标。

优选地，采用双线性插值算法得到每个圆心坐标在水平和垂直方向的绝对相位值，具体包括如下步骤：

根据提取得到的各圆心亚像素位置坐标，利用双线性插值得到该圆心对应的相位主值，插值公式如下：

φ(i+u,j+v)＝(1-u)(1-v)φ(i,j)+(1-u)vφ(i,j+1)+u(1-v)φ(i+1,j)+uvφ(i+1,j+1)；

其中，

φ为相位主值；

i,j分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的整数部分；

u,v分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的小数部分；

相位主值通过如下方法获得：

在采集的投影了正弦条纹码的图像中，多步相移法光栅光强分布函数为：

I_k(x,y)＝I’(x,y)+I”(x,y)cos(φ+(k-1)π/2)

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I(x,y)为第k幅相移图像中(x,y)位置的像素点的灰度值；

I'(x,y)为图像的平均灰度；

I”(x,y)为图像的灰度调制；

φ为相位主值；

通过光强分布函数，得到每个像素点对应的相位主值：

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I_k为该点像素灰度值；

N为光栅条纹周期个数；

φ(x,y)为相位主值。

优选地，利用得到的每个圆心坐标在水平和垂直方向的绝对相位值，通过如下公式得到各圆心在相机图像中坐标对应的在投影仪图像中坐标：

其中，

u_p为圆心c点在投影仪图像中u方向的坐标；

v_p为圆心c点在投影仪图像中v方向的坐标；

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

H为投影仪垂直方向的分辨率；

Φ_u(u_c,v_c)为圆心c点垂直方向绝对相位值；

Φ_v(u_c,v_c)为圆心c点水平方向绝对相位值；

优选地，还包括，根据标定得到的相机和投影仪内参、畸变系数和外参，以及相机与投影仪之间的坐标系转换矩阵，建立相机和投影仪与世界坐标系的映射关系，具体包括如下步骤：

通过多频外差法，得到绝对相位灰度图；

对于空间任一点p[x_w,y_w,z_w]，其投影在相机中的图像坐标为p(u_c，v_c)，根据得到的拍摄图像上的每个像素点的绝对相位值，得到对应的投影仪图像中的一条直线，相机图像与投影仪图像的对应关系为：

其中：

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

Φ(u_c,v_c)为该像素点的绝对相位值；

u_p为该像素点对应的投影仪图像中垂直方向的坐标。

根据上述相机图像与投影仪图像的对应关系，由如下成像原理公式，得到唯一的点p的三维坐标(X_W，Y_W，Z_W)：

S_C[u_c，v_c，1]＝A_CM_C[X_W，Y_W，Z_W，1]

S_P[u_p，v_p，1]＝A_PM_P[X_W，Y_W，Z_W，1]

其中，

A_C和A_P分别为相机和投影仪的内参；

M_C和M_P分别为相机和投影仪的外参；

S_C和S_P分别为相机和投影仪的比例因子；

(u_c，v_c)和(u_p，v_p)分别为相机和投影仪的图像坐标，两者均使用预先标定出的系统畸变参数进行畸变矫正；

(X_W，Y_W，Z_W)为点p的唯一三维坐标。

与现有技术相对比，本发明的有益效果如下：

(1)本发明采用圆靶标标定板，通过提取圆的亚像素轮廓进行椭圆拟合，得到圆心的亚像素位置，精度更高，同时标定过程中，标定板随意摆放，造成照明亮度不一致，圆的目标特征比较明显，也能够适应光照变化，准确提取圆心位置；

(2)本发明利用双线性插值得到每个圆心坐标所对应的绝对相位值，然后利用绝对相位值计算出对应的投影仪图像坐标。

附图说明

图1是本发明优选实施方式的标定方法流程图；

图2是本发明优选实施方式的标定步骤流程图；

图3是本发明优选实施方式的带角度的标定图像中圆点图案的排序示意图。

具体实施方式

下面结合附图1-3，对本发明的具体实施方式作详细的说明。

本发明提供了一种3D结构光系统的标定方法，包括如下步骤：

制作标定板步骤，制作系统标定板并烧录，所述标定板上的图案为多个圆形靶标，相邻的所述圆形靶标的圆心距一致，多个所述圆形靶标排列为行和列，所述圆形靶标的大小不同；

标定板图像采集步骤，

设定一个标定板姿态，分别在标定板上投影水平和竖直两个方向的多个频率的正弦光栅条纹图案，另外投影一张没有光栅条纹的光，并在每次投影的同时用相机采集该姿态下投影各种图案的标定板图像；

调整标定板姿态，重复标定板图像采集步骤，直至标定板姿态数量达到预设的目标值，得到多个标定板图像；

标定步骤，根据采集到的多个所述标定板图像，对结构光系统进行标定，具体包括如下步骤：

提取标定板图像中所有圆形靶标的圆心位置；

根据提取的所有圆形靶标的圆心位置对所有圆心进行排序；

采用双线性插值算法得到每个圆心坐标的绝对相位值；

利用得到的每个圆心坐标的绝对相位值，得到各圆心在相机图像中坐标对应的在投影仪图像中坐标；

根据得到的相机及投影仪图像中的圆心坐标，利用张正友标定方法得到相机及投影仪的内参、畸变系数和外参；

利用同一标定板姿态下的相机和投影仪的外参，计算每个标定板姿态下相机和投影仪坐标系之间的转换矩阵；

根据得到的每个标定板姿态下的转换矩阵，得到标定的相机和投影仪坐标系转换矩阵。

将得到的所有转换矩阵中对应位置的参数叠加求和并取平均，作为最终的投影仪和相机坐标系的转换矩阵。

标定得到的参数包括：相机内参和畸变系数，投影仪内参和畸变系数以及相机和投影仪坐标系之间的刚性变换关系矩阵。

作为优选实施方式，还包括，在采用双线性插值算法得到每个圆心坐标的绝对相位值之前，利用多频多步相移算法，得到标定板平面相位场在水平和垂直方向的绝对相位值。具体可采用十步相移码和三频外差法，得到水平和垂直方向的绝对相位值，包括如下步骤：

在标定图像采集步骤中，对标定板分别投影的水平和竖直方向不同频率的正弦光栅条纹图案，所述正弦光栅条纹图案采用三种不同波长，波长分别为：λ₁，λ₂，λ₃，其对应相位主值分别为：φ₁，φ₂，φ₃；每个投影图案采集十张图像，用于十步相移码计算；

采用三频外差法计算绝对相位值：

将第一波长λ₁的第一相位φ₁与第二波长λ₂的第二相位φ₂进行叠加，得到相位φ₁₂，其中相位φ₁₂所对应的波长为λ₁₂，叠加计算得到的λ₁₂为：

将第二波长λ₂的第二相位φ₂与第三波长λ₃的第三相位φ₃进行叠加，得到相位φ₂₃，其中相位φ₂₃所对应的波长为λ₂₃，叠加计算得到的λ₂₃为：

将λ₁₂和λ₂₃进行叠加，得到最终叠加的波长λ₁₂₃。

通过以下公式求取叠加的绝对相位值:

Δn_i∈[0，1)，i＝1，2，3，12，23，123，

式中，

n_i为被测物体表面某点在对应光栅图中的条纹级数，n_i包含整数部分N_i和小数部分Δn_i；

φ_i为对应光栅的包裹相位；

Φ_i为对应光栅的绝对相位；

由光栅12和光栅23叠加产生光栅123，选择λ₁，λ₂，λ₃，使得光栅123的波长λ₁₂₃覆盖全场，使N₁₂₃＝0，并由此得到光栅123的绝对相位。

作为优选实施方式，所述提取标定板图像中所有圆形靶标的圆心位置具体包括以下步骤：

对相机采集到的没有打光栅条纹的标定板图像进行二值化；

对二值化后的标定板图像进行blob分析，得到标定板圆的质心位置，实现圆形靶标的粗定位；

通过Canny边缘提取，得到圆形靶标的像素边缘位置；

通过对圆形靶标的边缘像素点进行灰度插值，然后再进行参数拟合，得到圆的亚像素边缘轮廓；

对得到的各个圆的亚像素边缘轮廓点进行最小二乘椭圆拟合，得到各椭圆的中心位置，将各椭圆的中心位置作为各圆形靶标的圆心位置。

作为优选实施方式，对所有圆心进行排序具体包括以下步骤：

根据得到的标定板各椭圆的中心位置，确定采集的标定板图案中不规则四边形的四个顶点；

将四个顶点按顺序连线成四边形；

当所述四边形旋转角度不超过预设值时，确定各圆点的位置坐标，并根据各圆点的位置坐标顺序，确定各圆心的顺序；

当所述四边形旋转角度超过预设值时，按照如下方法进行排序：

确定所述四边形的每条边上得所有圆点，将两条相对的边上相对的两个圆点进行连线；

确定所有连线形成的各个四边形内部所有的圆点，并确定各圆点的顺序。

作为优选实施方式，当所述四边形旋转角度不超过预设值时，确定各圆心顺序具体包括以下步骤：

确定标定板图像中五大圆形靶标的位置坐标；

由这些已知阵列坐标的大圆点，根据摄影几何的直线投影不变性，对位于阵列其他位置的小圆点在图像上的坐标进行预估；

通过blob分析得到的各圆形靶标的坐标，计算各点到预估的所有点的距离，距离最小的点为对应的位置的点，根据坐标顺序进行排序。

作为优选实施方式，确定五大圆形靶标的位置坐标具体包括如下步骤：

选择五个半径相等的圆形靶标，所述五个半径相等的圆形靶标的半径大于标定板图案中其它圆形靶标的半径；

计算各点之间的距离，得到距离最大的两个圆点，分别为F1和F2，以及距离最小的两个圆点，分别为N1和N2，则剩下的一点确定为五大圆形靶标中第五大圆点C5；

分别计算F1、F2到N1、N2的距离之和；

距离和较小的点为五大圆形靶标中第一大圆点C1，所述第一大圆点位于图案水平中线与垂直中线左侧的垂直中线交叉点；

距离和较大的点为五大圆形靶标中第二大圆点C2，所述第二大圆点位于图案水平中线与垂直中线右侧的垂直中线交叉点；

计算N1、N2与C1的距离，距离较小的点为五大圆形靶标中第三大圆点C3，较大的点为五大圆形靶标中第四大圆点C4。

在大小上，五个大圆半径相等，且稍大于标定板其余圆的半径；在排布上，距离最大的两个圆与标定板图案中心圆属同一行，分别位于图案中间圆的左侧和右侧，与中心圆均相隔两个小圆，距离最小的两个圆在同一行且位置相邻，其中一圆与图案中心圆属同一列，且相隔一小圆，当该两圆位于图案水平中线下方时，其中一大圆在垂直中心线的右侧，最后一大圆同样与图案中心圆属于同一列，在图案水平中心线的另一侧，且同样相隔一小圆。

在标定过程中，标定板的位姿是随意摆放的，确定五个大圆的位置，可以得到沿图案水平方向和垂直方向的方向向量，从而得到图案中所有点的大概位置，通过blob分析和椭圆拟合提取的真实圆心，并和预估的圆心做圆心距比较，距离最小的圆心便是对应该位置的圆。

作为优选实施方式，预估小圆点坐标具体包括如下步骤：

用两个已知的大圆点C1和C2确定一条水平直线，计算与该直线平行的第二行两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板水平方向的两个分量；

用两个已知的大圆点C3和C4确定一条垂直直线，与该直线平行的第二列两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板垂直方向的两个分量；

根据已知大圆点C1的坐标，以及标定板水平和垂直方向各自的两个分量，预估得到所有圆形靶标的坐标，并存储所有圆形靶标位置坐标。

作为优选实施方式，采用双线性插值算法得到每个圆心坐标在水平和垂直方向的绝对相位值，具体包括如下步骤：

根据提取得到的各圆心亚像素位置坐标，利用双线性插值得到该圆心对应的相位主值，插值公式如下：

φ(i+u,j+v)＝(1-u)(1-v)φ(i,j)+(1-u)vφ(i,j+1)+u(1-v)φ(i+1,j)+uvφ(i+1,j+1)；

其中，

φ为相位主值；

i,j分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的整数部分；

u,v分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的小数部分；

相位主值通过如下方法获得：

在采集的投影了正弦条纹码的图像中，多步相移法光栅光强分布函数为：

I_k(x,y)＝I’(x,y)+I”(x,y)cos(φ+(k-1)π/2)

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I(x,y)为第k幅相移图像中(x,y)位置的像素点的灰度值；

I'(x,y)为图像的平均灰度；

I”(x,y)为图像的灰度调制；

φ为相位主值；

通过光强分布函数，得到每个像素点对应的相位主值：

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I_k为该点像素灰度值；

N为光栅条纹周期个数；

φ(x,y)为相位主值。

当采用十步相移法时，在采集的投影了正弦条纹码的图像中，十步相移法光栅光强分布函数为：

I_k(x,y)＝I’(x,y)+I”(x,y)cos(φ+(k-1)π/2)

其中，

k取值为1-10；

x，y为像素坐标；

I(x,y)为第k幅相移图像中(x,y)位置的像素点的灰度值；

I'(x,y)为图像的平均灰度；

I”(x,y)为图像的灰度调制；

φ为相位主值；

通过光强分布函数，得到每个像素点对应的相位主值：

其中，

k取值为1-10；

x，y为像素坐标；

I_k为该点像素灰度值；

N为光栅条纹周期个数；

φ(x,y)为相位主值。

通过上面方法获得的相位主值对应的像素点是整数坐标，根据提取得到的各圆心亚像素位置坐标，利用双线性插值得到该圆心对应的相位主值，插值公式如下：

φ(i+u,j+v)＝(1-u)(1-v)φ(i,j)+(1-u)vφ(i,j+1)+u(1-v)φ(i+1,j)+uvφ(i+1,j+1)

其中，

φ为相位主值；

i,j分别为用于插值的相机图像中的点在垂直和水平方向的坐标；

u,v分别为用于插值的投影仪图像中的点在垂直和水平方向的坐标；

作为优选实施方式，利用得到的每个圆心坐标在水平和垂直方向的绝对相位值，通过如下公式得到各圆心在相机图像中坐标对应的在投影仪图像中坐标：

其中，

u_p为圆心c点在投影仪图像中u方向的坐标；

v_p为圆心c点在投影仪图像中v方向的坐标；

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

H为投影仪垂直方向的分辨率；

Φ_u(u_c,v_c)为圆心c点垂直方向绝对相位值；

Φ_v(u_c,v_c)为圆心c点水平方向绝对相位值；

作为优选实施方式，还包括，根据标定得到的相机和投影仪内参、畸变系数和外参，以及相机与投影仪之间的坐标系转换矩阵，建立相机和投影仪与世界坐标系的映射关系，具体包括如下步骤：

通过多频外差法，得到绝对相位灰度图；此处可采用三频外差法；

对于空间任一点p[x_w,y_w,z_w]，其投影在相机中的图像坐标为p(u_c，v_c)，根据得到的拍摄图像上的每个像素点的绝对相位值，得到对应的投影仪图像中的一条直线，相机图像与投影仪图像的对应关系为：

其中：

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

Φ(u_c,v_c)为该像素点的绝对相位值；

u_p为该像素点对应的投影仪图像中垂直方向的坐标。

根据上述相机图像与投影仪图像的对应关系，由如下成像原理公式，得到唯一的点p的三维坐标(X_W，Y_W，Z_W)：

S_C[u_c，v_c，1]＝A_CM_C[X_W，Y_W，Z_W，1]

S_P[u_p，v_p，1]＝A_PM_P[X_W，Y_W，Z_W，1]

其中，

A_C和A_P分别为相机和投影仪的内参；

M_C和M_P分别为相机和投影仪的外参；

S_C和S_P分别为相机和投影仪的比例因子；

(u_c，v_c)和(u_p，v_p)分别为相机和投影仪的图像坐标，两者均使用预先标定出的系统畸变参数进行畸变矫正；

(X_W，Y_W，Z_W)为点p的唯一三维坐标。

由相机和投影仪图像的对应关系表达式知，在投射水平或垂直单向条纹的情况下，相机中一像素坐标点对应的投影仪图像中一水平或垂直方向的坐标。由垂直的绝对相位值可以在投影仪图像中确定一条垂直的对应线，即确定投影仪图像对应点在垂直方向的坐标值，作为该点列坐标；同理水平的绝对相位值可以确定一条水平的对应线，即确定投影仪图像对应点在水平方向的坐标值，作为该点行坐标。

实施例1

根据本发明的一个具体实施方案，下面对本发明中的圆心排序方法进行详细说明。标定板上的圆形靶标图案如图3所示。圆点排序包括如下步骤：

首先确定中间五大圆形靶标的位置坐标：

1.计算各点之间的距离，求出距离最大的两点(设为F1和F2)和最小的两点(设为N1和N2)，则剩下的一点即可确定为点第72点(如图3所示)；

2.分别计算F1、F2到N1、N2的距离之和，则和较小的点为第47点，较大的点为第53点。

3.计算N1、N2和第47点的距离，距离较小的点为第27点，较大的点为第28点。

然后，由这些已知阵列坐标的大圆点，根据摄影几何的直线投影不变性，对位于阵列其他位置的小圆点在图像上的点进行预估。主要步骤如下：

1.用第47点和第53点两个已知的点确定一条直线，计算第二行两个已知点之间的距离，以及两个点连线的X和Y方向分量，从而得到标定板水平方向的两个分量；

2.同理，由第28点和第72点两点确定垂直方向的两个分量；

3.由已知的第47点的坐标，以及标定板水平和垂直方向的各自的两个分量，预判得到第1点的坐标，从而由第1点的坐标，以及标定板水平和垂直方向的各自的两个分量，预判得到所有99点的坐标(之前已优先提取得到大圆的坐标，可以不用预判，直接存储其坐标位置)；

4.通过blob分析得到的所有点的质心坐标，计算各点到预判的99点的距离，距离最小的点为对应的位置的点，从而实现排序，得到如图的排序效果。

实施例2

根据本发明的一个具体实施方案，下面详细说明本发明中标定步骤中的具体实施。

1.通过对不打光栅条纹的图像处理，得到每个圆圆心的亚像素坐标；

2.对于水平和垂直的光栅图像，通过十步相移和多频外差法得到每个像素点的水平和垂直方向的相位主值；

3.双线性插值分别得到该点的水平和垂直方向的绝对相位值；

4.通过相机图像和投影仪图像的对应关系公式得到该点的投影仪图像坐标；

5.已知摄像机的针孔模型：

在标定中，空间三维世界坐标为(X_W,Y_W,Z_W)，也就是标定板的物理坐标，(u,v)为提取的圆心的相机图像坐标或投影仪图像坐标，m_ij为对应性矩阵的元素。

标定板图案中，圆心距一致，可以建立平面坐标系，通过得到的每一组相机图像的圆心坐标位置和投影仪图像的圆心坐标位置，以及标定板的物理坐标，可以通过张正友标定算法分别得到相机和投影仪的内参，畸变系数，同时，对于每一个位姿下的标定板，张正友标定法可以分别得到对应的相机和投影仪一组外参，利用内参，畸变系数和一组外参可以确定一组单应性矩阵，即上述M矩阵。

利用得到的每一个姿态下的相机的外参矩阵，乘以同一位姿下投影仪外参矩阵的逆，可以得到一新的矩阵，该矩阵就是相机和投影仪的关系矩阵，通过求取每一姿态下的关系矩阵，然后将得到的关系矩阵中的(i，j)位置的元素加和取平均，作为相机和投影仪的转换矩阵。

6.以图3中的点47为例，第5步中的针孔模型包含三个方程，整理消去Z_C，可以得到两个关于m_ij的线性方程，即：

m₁₁X_W+m₁₂Y_W+m₁₃Z_W+m₁₄-uX_Wm₃₁-uY_Wm₃₂-uZ_Wm₃₃＝um₃₄

m₂₁X_W+m₂₂Y_W+m₂₃Z_W+m₂₄-vX_Wm₃₁-vY_Wm₃₂-vZ_Wm₃₃＝vm₃₄

通过张正友标定法分别得到的相机和投影仪单应性矩阵，从而可以得到四个线性方程组，由于只有X_W，Y_W，Z_W三个变量，从而可以联立方程得到该点空间三维坐标。

因为外参和转换关系矩阵只包含旋转和平移的刚性关系，所以不会改变物体形状和尺寸。通过外参矩阵，可将空间三维坐标转换至相机坐标系下，利用相机和投影仪的转换关系矩阵就可以得到相机坐标系一点在投影仪下的位置坐标。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种3D结构光系统的标定方法，其特征在于，包括如下步骤：

制作标定板步骤，制作系统标定板并烧录，所述标定板上的图案为多个圆形靶标，相邻的所述圆形靶标的圆心距一致，多个所述圆形靶标排列为行和列，所述圆形靶标的大小不同；

标定板图像采集步骤：

设定一个标定板姿态，分别在标定板上投影水平和竖直两个方向的多个频率的正弦光栅条纹图案，另外投影一张没有光栅条纹的光，并在每次投影的同时用相机采集该姿态下投影各种图案的标定板图像；

调整标定板姿态，重复标定板图像采集步骤，直至标定板姿态数量达到预设的目标值，得到多个标定板图像；

标定步骤，根据采集到的多个所述标定板图像，对结构光系统进行标定，具体包括如下步骤：

提取标定板图像中所有圆形靶标的圆心位置；

根据提取的所有圆形靶标的圆心位置对所有圆心进行排序；

采用双线性插值算法得到每个圆心坐标的绝对相位值；

利用得到的每个圆心坐标的绝对相位值，得到各圆心在相机图像中坐标对应的在投影仪图像中坐标；

根据得到的相机及投影仪图像中的圆心坐标，利用张正友标定方法得到相机及投影仪的内参、畸变系数和外参；

利用同一标定板姿态下的相机和投影仪的外参，计算每个标定板姿态下相机和投影仪坐标系之间的转换矩阵；

根据得到的每个标定板姿态下的转换矩阵，得到标定的相机和投影仪坐标系转换矩阵。

2.根据权利要求1所述的3D结构光系统的标定方法，其特征在于，还包括，在采用双线性插值算法得到每个圆心坐标的绝对相位值之前，利用多频多步相移算法，得到标定板平面相位场在水平和垂直方向的绝对相位值。

3.根据权利要求1所述的3D结构光系统的标定方法，其特征在于，所述提取标定板图像中所有圆形靶标的圆心位置具体包括以下步骤：

对相机采集到的没有打光栅条纹的标定板图像进行二值化；

对二值化后的标定板图像进行blob分析，得到标定板圆的质心位置，实现圆形靶标的粗定位；

通过Canny边缘提取，得到圆形靶标的像素边缘位置；

通过对圆形靶标的边缘像素点进行灰度插值，然后再进行参数拟合，得到圆的亚像素边缘轮廓；

对得到的各个圆的亚像素边缘轮廓点进行最小二乘椭圆拟合，得到各椭圆的中心位置，将各椭圆的中心位置作为各圆形靶标的圆心位置。

4.根据权利要求3所述的3D结构光系统的标定方法，其特征在于，对所有圆心进行排序具体包括以下步骤：

根据得到的标定板各椭圆的中心位置，确定采集的标定板图案中不规则四边形的四个顶点；

将四个顶点按顺序连线成四边形；

当所述四边形旋转角度不超过预设值时，确定各圆点的位置坐标，并根据各圆点的位置坐标顺序，确定各圆心的顺序；

当所述四边形旋转角度超过预设值时，按照如下方法进行排序：

确定所述四边形的每条边上得所有圆点，将两条相对的边上相对的两个圆点进行连线；

确定所有连线形成的各个四边形内部所有的圆点，并确定各圆点的顺序。

5.根据权利要求4所述的3D结构光系统的标定方法，其特征在于，当所述四边形旋转角度不超过预设值时，确定各圆心顺序具体包括以下步骤：

确定标定板图像中五大圆形靶标的位置坐标；

由这些已知阵列坐标的大圆点，根据摄影几何的直线投影不变性，对位于阵列其他位置的小圆点在图像上的坐标进行预估；

通过blob分析得到的各圆形靶标的坐标，计算各点到预估的所有点的距离，距离最小的点为对应的位置的点，根据坐标顺序进行排序。

6.根据权利要求5所述的3D结构光系统的标定方法，其特征在于，确定五大圆形靶标的位置坐标具体包括如下步骤：

选择五个半径相等的圆形靶标，所述五个半径相等的圆形靶标的半径大于标定板图案中其它圆形靶标的半径；

计算各点之间的距离，得到距离最大的两个圆点，分别为F1和F2，以及距离最小的两个圆点，分别为N1和N2，则剩下的一点确定为五大圆形靶标中第五大圆点C5；

分别计算F1、F2到N1、N2的距离之和；

距离和较小的点为五大圆形靶标中第一大圆点C1，所述第一大圆点位于图案水平中线与垂直中线左侧的垂直中线交叉点；

距离和较大的点为五大圆形靶标中第二大圆点C2，所述第二大圆点位于图案水平中线与垂直中线右侧的垂直中线交叉点；

计算N1、N2与C1的距离，距离较小的点为五大圆形靶标中第三大圆点C3，较大的点为五大圆形靶标中第四大圆点C4。

7.根据权利要求5所述的3D结构光系统的标定方法，其特征在于，预估小圆点坐标具体包括如下步骤：

用两个已知的大圆点C1和C2确定一条水平直线，计算与该直线平行的第二行两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板水平方向的两个分量；

用两个已知的大圆点C3和C4确定一条垂直直线，与该直线平行的第二列两个已知点之间的距离，以及所述两个已知点连线的X和Y方向分量，得到标定板垂直方向的两个分量；

根据已知大圆点C1的坐标，以及标定板水平和垂直方向各自的两个分量，预估得到所有圆形靶标的坐标，并存储所有圆形靶标位置坐标。

8.根据权利要求3所述的3D结构光系统的标定方法，其特征在于，采用双线性插值算法得到每个圆心坐标在水平和垂直方向的绝对相位值，具体包括如下步骤：

根据提取得到的各圆心亚像素位置坐标，利用双线性插值得到该圆心对应的相位主值，插值公式如下：

φ(i+u,j+v)＝(1-u)(1-v)φ(i,j)+(1-u)vφ(i,j+1)+u(1-v)φ(i+1,j)+uvφ(i+1,j+1)；

其中，

φ为相位主值；

i,j分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的整数部分；

u,v分别为计算得到的圆心坐标在图像坐标系中垂直和水平方向的小数部分；

相位主值通过如下方法获得：

在采集的投影了正弦条纹码的图像中，多步相移法光栅光强分布函数为：

I_k(x,y)＝I′(x,y)+I″(x,y)cos(φ+(k-1)π/2)

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I(x,y)为第k幅相移图像中(x,y)位置的像素点的灰度值；

I'(x,y)为图像的平均灰度；

I”(x,y)为图像的灰度调制；

φ为相位主值；

通过光强分布函数，得到每个像素点对应的相位主值：

其中，

k取值为1-n，其中n为多步相移法中的步数；

x，y为像素坐标；

I_k为该点像素灰度值；

N为光栅条纹周期个数；

φ(x,y)为相位主值。

9.根据权利要求8所述的3D结构光系统的标点方法，其特征在于，利用得到的每个圆心坐标在水平和垂直方向的绝对相位值，通过如下公式得到各圆心在相机图像中坐标对应的在投影仪图像中坐标：

其中，

u_p为圆心c点在投影仪图像中u方向的坐标；

v_p为圆心c点在投影仪图像中v方向的坐标；

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

H为投影仪垂直方向的分辨率；

Φ_u(u_c,v_c)为圆心c点垂直方向绝对相位值；

Φ_v(u_c,v_c)为圆心c点水平方向绝对相位值。

10.根据权利要求1所述的3D结构光系统的标定方法，其特征在于，还包括，根据标定得到的相机和投影仪内参、畸变系数和外参，以及相机与投影仪之间的坐标系转换矩阵，建立相机和投影仪与世界坐标系的映射关系，具体包括如下步骤：

通过多频外差法，得到绝对相位灰度图；

对于空间任一点p[x_w,y_w,z_w]，其投影在相机中的图像坐标为p(u_c，v_c)，根据得到的拍摄图像上的每个像素点的绝对相位值，得到对应的投影仪图像中的一条直线，相机图像与投影仪图像的对应关系为：

其中：

N为光栅条纹周期个数；

W为投影仪水平方向的分辨率；

Φ(u_c,v_c)为该像素点的绝对相位值；

u_p为该像素点对应的投影仪图像中垂直方向的坐标。

根据上述相机图像与投影仪图像的对应关系，由如下成像原理公式，得到唯一的点p的三维坐标(X_W，Y_W，Z_W)：

S_C[u_c，v_c，1]＝A_CM_C[X_W，Y_W，Z_W，1]

S_P[u_p，v_p，1]＝A_PM_P[X_W，Y_W，Z_W，1]

其中，

A_C和A_P分别为相机和投影仪的内参；

M_C和M_P分别为相机和投影仪的外参；

S_C和S_P分别为相机和投影仪的比例因子；

(u_c，v_c)和(u_p，v_p)分别为相机和投影仪的图像坐标，两者均使用预先标定出的系统畸变参数进行畸变矫正；

(X_W，Y_W，Z_W)为点p的唯一三维坐标。

Images