CN113160339A - 一种基于沙姆定律的投影仪标定方法 - Google Patents

Abstract

本发明提供了一种基于沙姆定律的投影仪标定方法，属于3D结构光测量技术领域。本发明是针对沙姆投影仪，使用精度更高的双向多频多步相移法，提升相位的计算精度，构建沙姆投影仪成像模型结合现有的张氏解析算法进行内外参初值的计算，利用LM算法对投影仪内参、外参、畸变系数进行优化，并进一步继续利用LM算法对沙姆角进行优化，提高投影仪的标定精度。

Description

一种基于沙姆定律的投影仪标定方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于沙姆定律的投影仪标定方法。

背景技术

结构光测量技术是指通过投影仪向物体表面投射特制图案，相机拍摄经由物体表面调制的图案，经各种恢复算法，得到被测物体表面三维信息的一种测量技术。目前，投影仪在该技术领域有着重要的应用，其前提是能够对投影仪准确的内外参标定，而投影仪并不能像相机一样成像，这就是投影仪标定的难点所在，如何利用相机标定算法去标定投影仪仍是相关领域的研究重点。另外，为解决由于景深限制无法获取大范围目标清晰图像的问题，一种较为新颖的满足沙姆定律的相机得到了广泛推广和应用，对应相机的成像平面与透镜面倾斜，称为沙姆相机。此时，沙姆相机的成像模型不同于普通的小孔成像模型，难以直接使用现有成熟的相机标定方法，如附图1所示，为沙姆相机的标定模型。在投影仪的技术中，将满足沙姆定律的投影仪成为沙姆投影仪。

中国专利申请文献CN104732539A中公开了为一种投影仪标定方法，其投影仪标定主要是借助于结构光技术和相机，主要过程如下：通过投影仪投射结构光到棋盘格标定板上，然后相机捕捉棋盘格图像并进行解码，通过相位值建立投影仪图像坐标和标定板三维坐标的映射，即计算得到棋盘格角点的投影仪图像坐标，改变标定板位姿重复以上过程得到多组标定板角点的投影仪图像坐标，由于标定板上棋盘格角点三维世界坐标已知，最后利用张正友相机标定算法进行投影仪标定。该标定过程比较复杂，且通过相机进行标定必然造成成本增加、由于坐标传递容易引起精度损失。

现有技术至少存在以下不足：

1.使用普通结构的投影仪，存在景深浅，视野两端离焦，成像模糊的问题。

2.沙姆投影仪成像模型，现有技术中的投影仪标定方法不再适用。

发明内容

为解决现有技术中的投影仪标定方法不适用于沙姆投影仪的标定问题，本发明提供了一种基于沙姆定律的投影仪标定方法，该方法使用精度更高的双向多步多频相移码来寻找相机和投影仪的对应关系，提升了解相精度，同时构建了沙姆投影仪逆向的成像模型，结合现有的张氏解析算法计算相机内外参初值，并利用LM算法对投影仪标定参数进行非线性迭代优化，进一步提高标定精度。

本发明提供了一种基于沙姆定律的投影仪标定方法，包括如下步骤：

投影仪标定图片的采集步骤：

采用棋盘格标定板，在相机的景深范围内，以任一位姿将标定板摆放在投影区域内，由投影仪分别向标定板投射M种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各N张条纹图；

不移动标定板，再投射一张没有条纹的光，获取一个位置的一组投影仪标定图片；

每次投影的同时用相机采集投影图案的标定板图像；

按照上述步骤，调整标定板位姿，使标定板尽量覆盖整个投影区域，得到多个不同位姿的标定板图像；

投影仪像素坐标的获取步骤：

对不包含条纹图像的标定板图像，采用Harris特征提取算法提取棋盘格角点的亚像素坐标，将所述棋盘格角点作为标定板图像的特征点；

采用N步相移算法计算相位主值；

采用M频外差法计算绝对相位值；

采用双线性插值算法计算每个特征点图像的相机像素坐标的绝对相位值；

根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标；

投影仪的标定步骤：

构建逆向沙姆投影仪的成像模型，利用张氏解析方法计算投影仪内参和外参初值；

结合构建的逆向沙姆投影仪的成像模型，在虚拟成像面引入镜头畸变模型，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化，畸变系数初值为0；

将内参、畸变系数、外参的优化结果作为定值，以重投影误差最小为准则，建立目标方程，根据构建的沙姆投影仪的成像模型，采用LM算法进行沙姆角的优化。

优选地，所述采用N步相移算法计算相位主值具体包括：

将成像系统获取的N帧条纹像表示为：

其中，

I_k为第k步相移对应图像的像素灰度值；

A(x,y)为背景光强；

I”(x,y)为受物体面形反射率影响的光场调制强度；

Φ为调制光场的相位分布；

N为相移法步数；

利用N帧条纹图像，采用如下公式计算相位主值：

其中，

φ(x,y)为相位主值；

(x,y)为投影仪像素坐标；

k为计算过程中的具体相移步数。

优选地，采用M频外差法计算绝对相位值具体包括采用如下公式计算绝对相位值：

其中，

φ_n(x,y)为相位主值函数；

Φ_n(x,y)为φ_n(x,y)的相位展开函数；

φ(x,y)为叠加相位主值函数；

INT[·]为四舍五入取整计算；

f为叠加频率；

f_n为光栅频率。

优选地，采用双线性插值算法计算每个特征点坐标的绝对相位值具体包括根据提取得到的各特征点的标定板亚像素位置坐标，利用双线性插值得到各特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)

其中，

Φ为绝对相位值；

(i,j)分别为特征点坐标在相机图像坐标系中垂直和水平方向的整数部分；

(u,v)分别为特征点坐标在相机图像坐标系中垂直和水平方向的小数部分。

优选地，根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标具体包括采用如下公式进行计算：

其中，

(u_p,v_p)为投影仪图像坐标系坐标；

(u_c,v_c)为摄像机图像坐标系特征点坐标；

Φ_w(u_c,v_c)为特征点在垂直方向的绝对相位值；

N为光栅条纹周期个数；

W为投影仪图像水平方向的分辨率；

Φ_h(u_c,v_c)为特征点在水平方向的绝对相位值；

H为投影仪图像垂直方向的分辨率。

优选地，投影仪的标定步骤中构建逆向沙姆投影仪的成像模型，具体包括如下步骤：

采用如下公式进行世界坐标到投影仪图像坐标之间的转换：

其中，

(u_s，v_s)为投影仪标定板图像像素坐标；

Z_C为投影仪坐标系的Z轴坐标；

(X_w，Y_w，Z_w)为世界坐标；

为世界坐标系至实际像素坐标系的单应性矩阵；

为投影仪内参矩阵，由投影仪内部结构参数决定；

其中，(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(f_x,f_y)为投影仪x方向和y方向的有效焦距；

为虚拟成像面到实际成像面的转换矩阵；

其中，(α_x,α_y)为x方向和y方向的沙姆角；

M₃＝[R T]，为投影仪坐标系到世界坐标系的外参矩阵；

R为旋转矩阵；

T为平移向量。

优选地，采用LM算法进行内参、畸变系数、外参的优化具体包括采用如下公式进行优化：

其中，

L为引入畸变模型前以重投影误差最小为准则建立的目标方程；

A为内参；

R_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的旋转矩阵；

T_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的平移向量；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

K＝(k₁,k₂,k₃,k₄,k₅)为畸变系数；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

优选地，建立目标方程具体包括如下步骤：

进行世界坐标系到投影仪坐标系的坐标转换：

进行投影仪坐标系到虚拟成像坐标系的坐标转换：

进行虚拟成像坐标系到实际成像坐标系的坐标转换：

进行实际成像坐标系到图像像素坐标系的坐标转换：

在虚拟成像面将虚拟成像坐标按照畸变模型进行畸变校正，得到如下目标方程，

其中，

(x_P,y_P)为归一化像点坐标；

(x_d,y_d)为(x_P,y_P)对应的去畸变的像点坐标；

r²＝x_P ²+y_P ²；

(k₁,k₂,k₅)、(k₃,k₄)分别为径向和切向畸变系数；

(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(X，Y)为实际成像面坐标；

(u_s，v_s)为投影仪像素坐标；

(X^s，Y^s)为虚拟成像面坐标；

(X_c，Y_c，Z_c)为投影仪坐标系坐标；

(X_w，Y_w，Z_w)为世界坐标。

优选地，根据构建的沙姆投影仪的成像模型，利用LM算法进行沙姆角的优化具体包括采用如下公式进行优化：

L为引入畸变模型后以重投影误差最小为准则建立的目标方程；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

α＝(α_x,α_y)为沙姆角；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

优选地，标定板位姿个数≥3。

与现有技术相对比，本发明的有益效果如下：

(1)本发明采用双向多步多频相移码来寻找投影仪像素坐标，提高了解相精度；

(2)本发明构建了一种沙姆投影仪的成像模型，降低了沙姆投影仪的标定难度；

(3)本发明采用两步标定法进行沙姆投影仪的标定，提高了投影仪的标定精度。

附图说明

图1是沙姆相机的标定模型；

图2是本发明的一个实施例的标定方法流程图；

图中，Pw为三维空间世界坐标系中任意一点，O为光心，OXcYcZc表示相机坐标系，平面S表示沙姆光机实际成像面，平面P表示垂直于光轴的虚拟成像面，r为过点Pw与光心O的直线，Ps为直线r与平面S的交点，Pp为直线r与平面P的交点，α_x为x方向沙姆角，α_y为y方向沙姆角。

具体实施方式

下面结合附图1-2，对本发明的具体实施方式作详细的说明。

本发明提供了一种基于沙姆定律的投影仪标定方法，包括如下步骤：

投影仪标定图片的采集步骤：

采用棋盘格标定板，在相机的景深范围内，以任一位姿将标定板摆放在投影区域内，由投影仪分别向标定板投射M种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各N张条纹图；

不移动标定板，再投射一张没有条纹的光，获取一个位置的一组投影仪标定图片；

每次投影的同时用相机采集投影图案的标定板图像；

按照上述步骤，调整标定板位姿，使标定板尽量覆盖整个投影区域，得到多个不同位姿的标定板图像；

投影仪像素坐标的获取步骤：

对不包含条纹图像的标定板图像，采用Harris特征提取算法提取棋盘格角点的亚像素坐标，将所述棋盘格角点作为标定板图像的特征点；

Harris特征提取算法为基于图像灰度的方法通过计算点的曲率及梯度来检测角点，角点为棋盘格两个边缘的连接点，代表了两个边缘变化的方向上的点。

采用N步相移算法计算相位主值；

采用M频外差法计算绝对相位值；

采用双线性插值算法计算每个特征点图像的相机像素坐标的绝对相位值；

根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标；

投影仪的标定步骤：

构建逆向沙姆投影仪的成像模型，利用张氏解析方法计算投影仪内参和外参初值；

结合构建的逆向沙姆投影仪的成像模型，在虚拟成像面引入镜头畸变模型，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化，畸变系数初值为0；

将内参、畸变系数、外参的优化结果作为定值，以重投影误差最小为准则，建立目标方程，根据构建的沙姆投影仪的成像模型，采用LM算法进行沙姆角的优化。

作为优选实施方式，所述采用N步相移算法计算相位主值具体包括：

将成像系统获取的N帧条纹像表示为：

其中，

I_k为第k步相移对应图像的像素灰度值；

A(x,y)为背景光强；

I”(x,y)为受物体面形反射率影响的光场调制强度；

Φ为调制光场的相位分布；

N为相移法步数；

利用N帧条纹图像，采用如下公式计算相位主值：

其中，

φ(x,y)为相位主值；

(x,y)为投影仪像素坐标；

k为计算过程中的具体相移步数。

作为优选实施方式，采用M频外差法计算绝对相位值具体包括采用如下公式计算绝对相

位值：

其中，

φ_n(x,y)为相位主值函数；

Φ_n(x,y)为φ_n(x,y)的相位展开函数；

φ(x,y)为叠加相位主值函数；

INT[·]为四舍五入取整计算；

f为叠加频率；

f_n为光栅频率。

作为优选实施方式，采用双线性插值算法计算每个特征点坐标的绝对相位值具体包括根据提取得到的各特征点的标定板亚像素位置坐标，利用双线性插值得到各特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)

其中，

Φ为绝对相位值；

(i,j)分别为特征点坐标在相机图像坐标系中垂直和水平方向的整数部分；

(u,v)分别为特征点坐标在相机图像坐标系中垂直和水平方向的小数部分。

作为优选实施方式，根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标具体包括采用如下公式进行计算：

其中，

(u_p,v_p)为投影仪图像坐标系坐标；

(u_c,v_c)为摄像机图像坐标系特征点坐标；

Φ_w(u_c,v_c)为特征点在垂直方向的绝对相位值；

N为光栅条纹周期个数；

W为投影仪图像水平方向的分辨率；

Φ_h(u_c,v_c)为特征点在水平方向的绝对相位值；

H为投影仪图像垂直方向的分辨率。

作为优选实施方式，投影仪的标定步骤中构建逆向沙姆投影仪的成像模型，具体包括如下步骤：

采用如下公式进行世界坐标到投影仪图像坐标之间的转换：

其中，

(u_s，v_s)为投影仪标定板图像像素坐标；

Z_C为投影仪坐标系的Z轴坐标；

(X_w，Y_w，Z_w)为世界坐标；

为世界坐标系至实际像素坐标系的单应性矩阵；

为投影仪内参矩阵，由投影仪内部结构参数决定；

其中，(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(f_x,f_y)为投影仪x方向和y方向的有效焦距；

为虚拟成像面到实际成像面的转换矩阵；

其中，(α_x,α_y)为x方向和y方向的沙姆角；

M₃＝[RT]，为投影仪坐标系到世界坐标系的外参矩阵；

R为旋转矩阵；

T为平移向量。

作为优选实施方式，采用LM算法进行内参、畸变系数、外参的优化具体包括采用如下公式进行优化：

其中，

L为引入畸变模型前以重投影误差最小为准则建立的目标方程；

A为内参；

R_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的旋转矩阵；

T_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的平移向量；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

K＝(k₁,k₂,k₃,k₄,k₅)为畸变系数；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

作为优选实施方式，建立目标方程具体包括如下步骤：

进行世界坐标系到投影仪坐标系的坐标转换：

进行投影仪坐标系到虚拟成像坐标系的坐标转换：

进行虚拟成像坐标系到实际成像坐标系的坐标转换：

进行实际成像坐标系到图像像素坐标系的坐标转换：

在虚拟成像面将虚拟成像坐标按照畸变模型进行畸变校正，得到如下目标方程，

其中，

(x_P,y_P)为归一化像点坐标；

(x_d,y_d)为(x_P,y_P)对应的去畸变的像点坐标；

r²＝x_P ²+y_P ²；

(k₁,k₂,k₅)、(k₃,k₄)分别为径向和切向畸变系数；

(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(X，Y)为实际成像面坐标；

(u_s，v_s)为投影仪像素坐标；

(X^s，Y^s)为虚拟成像面坐标；

(X_c，Y_c，Z_c)为投影仪坐标系坐标；

(X_w，Y_w，Z_w)为世界坐标。

作为优选实施方式，根据构建的沙姆投影仪的成像模型，利用LM算法进行沙姆角的优化具体包括采用如下公式进行优化：

L为引入畸变模型后以重投影误差最小为准则建立的目标方程；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

α＝(α_x,α_y)为沙姆角；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

LM算法全称为Levenberg-Marquardt算法，是现有成熟的较为有效的最小二乘法之一，是对高斯牛顿的改进，在迭代步长上略有不同。

作为优选实施方式，标定板位姿个数≥3。

作为优选实施方式，根据张氏解析算法计算内、外参初值包括如下步骤：

令Z_w≡0，按照公式

得到如下关系式：

sm＝HM其中，s为比例因子，

为世界坐标，

为单应性矩阵；

根据上面的公式sm＝HM，得到如下关系式：

进而得到如下方程：

再得到如下公式：

令：

则有Ab＝0，可以得到A^TAb＝0。

对A^TA进行奇异值分解：

A^TA＝U∑V^T，

则上式的解为：b＝V的最后一行向量，因此得到H如下：

对上式变形得到：

利用LM优化算法对H进行迭代寻优，以所得H作为迭代初值H0。

其中，

由于

||r₁||＝||r₂||＝1

则有

h₁ ^TM₁₂ ^-TM₁₂ ^-1h₂＝0，h₁ ^TM₁₂ ^-TM₁₂ ^-1h₁＝h₂ ^TM₁₂ ^-TM₁₂ ^-1h₂

令：

同理，

利用SVD分解求的b，得到b向量，(α_x，α_y)取初值作为已知值，从而可得投影仪内参初值。

根据得到的投影仪内参初值，计算外参初值：

将上面的公式

变形得到，

对上式进行单应性矩阵的求解，得到

R＝[r₁ r₂ r₃]

根据公式

利用LM算法优化对内外参初值进行非线性迭代优化：

并以重投影误差最小为准则建立目标方程得到：

其中，

M_ij表示第i个位姿下第j个特征点的按照上面的公式重投影的实际成像面的像素坐标；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

表示第i个位姿下第j个特征点投影仪坐标系下对应的Z轴坐标A为内参；

R_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的旋转矩阵；

T_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的平移向量；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目。

实施例1

根据本发明的一个具体实施方案，下面对本发明的基于沙姆定律的投影仪标定方法进行详细说明。

本发明提供了一种基于沙姆定律的投影仪标定方法，该方法包括如下步骤：

1、采集投影仪标定图片，具体步骤包括：

(1)在相机的景深范围内，将标定板以一定位姿摆放在投影区域内，分别投射3种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各5张条纹图，共得到2*5*3张相机标定图片，不移动标定板，再投射一张没有条纹的光；

(2)获取一个位置的一组投影仪标定图片，包含2*5*3+1张投影仪标定图片，每次投影的同时用相机采集投影图案的标定板图像；

(3)继续按照上述步骤，在相机的景深范围和投影仪的投射范围内，采集标定板不同位姿对应的2*5*3+1张标定图像，使标定板尽量覆盖整个投影区域，得到30组不同位姿的标定板图像，共得到(2*5*3+1)*30张标定图片。

2、获取投影仪像素坐标，使用棋盘格标定板，对每组图像中不包含条纹的图像采用Harris特征提取算法获取高精度的特征点像素坐标，采用5步相移法和3频外差法解相，并通过双线性插值算法得到每个特征点坐标对应更高精度的绝对相位值，具体包括如下步骤：

(1)对每组图像中不包含条纹的图像，采用Harris特征提取算法提取棋盘格特征点像素坐标；

(2)采用5步相移法和3频外差法求解绝对相位，并采用双线性插值算法得到每个特征点坐标更高精度的绝对相位值；

投影的3个不同频率的正弦光栅条纹，频率分别为：f₁、f₂、f₃，对应的相位主值分别为：φ₁、φ₂、φ₃，采用5步相移法进行相位主值计算：

采用3频外差法进行绝对相位的计算：

叠加频率f₁和f₂的相位，得到叠加相位φ₁₂和叠加频率f₁₂：

叠加频率f₂和f₃的相位，得到叠加相位φ₂₃和叠加频率f₂₃：

叠加频率f₁₂和f₂₃的相位，得到叠加相位φ₁₂₃和叠加频率f₁₂₃＝1，此时绝对相位Φ₁₂₃(x,y)＝φ₁₂₃(x,y)。

从而得到

得到φ₁、φ₂、φ₃对应的绝对相位：

利用双线性插值得到该特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-_u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)其中，Φ为绝对相位值；(i,j)分别为特征点坐标在图像坐标系中垂直和水平方向整数部分；(u,v)分别为计算得到的特征点在图像坐标中垂直和水平方向的小数部分；

(1)利用每个特征点坐标的绝对相位值，得到各特征点在相机图像中坐标对应的投影仪像素坐标；

其中，(u_p,v_p)为投影仪图像坐标系坐标，(u_c,v_c)为摄像机图像坐标系特征点坐标，Φ_w(u_c,v_c)为特征点在垂直方向的绝对相位值，N为光栅条纹周期个数，W为投影仪图像水平方向的分辨率，Φ_h(u_c,v_c)为特征点在水平方向的绝对相位值，H为投影仪图像垂直方向的分辨率。

(2)根据得到的投影仪像素坐标，结合构建的沙姆投影仪成像模型，利用张氏解析算法计算投影仪内参和外参初值；

(3)在虚拟成像面引入镜头畸变模型，将标定板面投影至虚拟成像面，将沙姆角初值作为默认值，将去畸变后的虚拟成像面像点投影至实际像面，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化；

L为以重投影误差最小为准则的目标方程，A为内参，R_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的旋转矩阵，T_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的平移向量，i为第i个位姿，j为第j个特征点，N₁为标定板位姿个数，N₂为特征点数目，K＝(k₁,k₂,k₃,k₄,k₅)为畸变系数，m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标，M_ij表示第i个位姿下第j个特征点的去畸变后的重投影的实际成像面的像素坐标。

(4)将步骤(6)中的内参、畸变系数、外参的优化结果作为默认值，以重投影误差最小为准则，建立目标方程，采用LM算法进行沙姆角的优化；

L为以重投影误差最小为准则的目标方程，i为第i个位姿，j为第j个特征点，N₁为标定板位姿个数，N₂为特征点数目，α＝(α_x,α_y)为沙姆角，m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标，M_ij表示第i个位姿下第j个特征点的去畸变后的重投影的实际成像面的像素坐标。

(9)得到沙姆投影仪的标定参数，包括：投影仪内参、畸变系数以及沙姆角。

实施例2

本发明采用的DLP投影仪投射的图像分辨率为1280*720像素，相机获取的图像分辨率为2448*2048像素，x方向和y方向的沙姆角分别为4.637°和0°，可认为在y方向不存在倾斜，所投射的3个频率的条纹对应周期分别为20,22,24。

按照实施例1中的方法，采集投影仪标定过程中用到的棋盘格标定板图像，标定实验求出的投影仪内参初值为：

经非线性优化后所得的投影仪内参初值为：

畸变系数为：[0.33181 -0.05140 -0.00414 0.07085 0.94587]；

沙姆角的优化结果为：3.22316°

重投影误差为：0.20333

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种基于沙姆定律的投影仪标定方法，其特征在于，包括如下步骤：

投影仪标定图片的采集步骤：

采用棋盘格标定板，在相机的景深范围内，以任一位姿将标定板摆放在投影区域内，由投影仪分别向标定板投射M种不同频率的横向和纵向的正弦条纹图，每种频率对应横向和竖向条纹各N张条纹图；

不移动标定板，再投射一张没有条纹的光，获取一个位置的一组投影仪标定图片；

每次投影的同时用相机采集投影图案的标定板图像；

按照上述步骤，调整标定板位姿，使标定板尽量覆盖整个投影区域，得到多个不同位姿的标定板图像；

投影仪像素坐标的获取步骤：

对不包含条纹图像的标定板图像，采用Harris特征提取算法提取棋盘格角点的亚像素坐标，将所述棋盘格角点作为标定板图像的特征点；

采用N步相移算法计算相位主值；

采用M频外差法计算绝对相位值；

采用双线性插值算法计算每个特征点图像的相机像素坐标的绝对相位值；

根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标；

投影仪的标定步骤：

构建逆向沙姆投影仪的成像模型，利用张氏解析方法计算投影仪内参和外参初值；

结合构建的逆向沙姆投影仪的成像模型，在虚拟成像面引入镜头畸变模型，以重投影误差最小为准则，建立目标方程，采用LM算法进行内参、畸变系数、外参的优化，畸变系数初值为0；

将内参、畸变系数、外参的优化结果作为定值，以重投影误差最小为准则，建立目标方程，根据构建的沙姆投影仪的成像模型，采用LM算法进行沙姆角的优化。

2.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，采用N步相移算法计算相位主值具体包括：

将成像系统获取的N帧条纹像表示为：

其中，

I_k为第k步相移对应图像的像素灰度值；

A(x,y)为背景光强；

I”(x,y)为受物体面形反射率影响的光场调制强度；

Φ为调制光场的相位分布；

N为相移法步数；

利用N帧条纹图像，采用如下公式计算相位主值：

其中，

φ(x,y)为相位主值；

(x,y)为投影仪像素坐标；

k为计算过程中的具体相移步数。

3.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，采用M频外差法计算绝对相位值具体包括采用如下公式计算绝对相位值：

其中，

φ_n(x,y)为相位主值函数；

Φ_n(x,y)为φ_n(x,y)的相位展开函数；

φ(x,y)为叠加相位主值函数；

INT[·]为四舍五入取整计算；

f为叠加频率；

f_n为光栅频率。

4.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，采用双线性插值算法计算每个特征点坐标的绝对相位值，具体包括根据提取得到的各特征点的标定板亚像素位置坐标，利用双线性插值得到各特征点对应的绝对相位值，插值公式如下：

Φ(i+u,j+v)＝(1-u)(1-v)Φ(i,j)+(1-u)vΦ(i,j+1)+u(1-v)Φ(i+1,j)+uvΦ(i+1,j+1)

其中，

Φ为绝对相位值；

(i,j)分别为特征点坐标在相机图像坐标系中垂直和水平方向的整数部分；

(u,v)分别为特征点坐标在相机图像坐标系中垂直和水平方向的小数部分。

5.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，根据每个特征点图像的相机像素坐标的绝对相位值，计算各特征点的相机像素坐标对应的投影仪像素坐标具体包括采用如下公式进行计算：

其中，

(u_p,v_p)为投影仪图像坐标系坐标；

(u_c,v_c)为摄像机图像坐标系特征点坐标；

Φ_w(u_c,v_c)为特征点在垂直方向的绝对相位值；

N为光栅条纹周期个数；

W为投影仪图像水平方向的分辨率；

Φ_h(u_c,v_c)为特征点在水平方向的绝对相位值；

H为投影仪图像垂直方向的分辨率。

6.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，投影仪的标定步骤中构建逆向沙姆投影仪的成像模型，具体包括如下步骤：

采用如下公式进行世界坐标到投影仪图像坐标之间的转换：

其中，

(u_s，v_s)为投影仪标定板图像像素坐标；

Z_C为投影仪坐标系的Z轴坐标；

(X_w，Y_w，Z_w)为世界坐标；

为世界坐标系至实际像素坐标系的单应性矩阵；

为投影仪内参矩阵，由投影仪内部结构参数决定；

其中，(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(f_x,f_y)为投影仪x方向和y方向的有效焦距；

为虚拟成像面到实际成像面的转换矩阵；

其中，(α_x,α_y)为x方向和y方向的沙姆角；

M₃＝[RT]，为投影仪坐标系到世界坐标系的外参矩阵；

R为旋转矩阵；

T为平移向量。

7.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，采用LM算法进行内参、畸变系数、外参的优化具体包括采用如下公式进行优化：

其中，

L为引入畸变模型前以重投影误差最小为准则建立的目标方程；

A为内参；

R_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的旋转矩阵；

T_i为第i组标定板图片对应的投影仪像素坐标系与世界坐标之间的平移向量；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

K＝(k₁,k₂,k₃,k₄,k₅)为畸变系数；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

8.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，建立目标方程具体包括如下步骤：

进行世界坐标系到投影仪坐标系的坐标转换：

进行投影仪坐标系到虚拟成像坐标系的坐标转换：

进行虚拟成像坐标系到实际成像坐标系的坐标转换：

进行实际成像坐标系到图像像素坐标系的坐标转换：

在虚拟成像面将虚拟成像坐标按照畸变模型进行畸变校正，得到如下目标方程，

其中，

(x_P,y_P)为归一化像点坐标；

(x_d,y_d)为(x_P,y_P)对应的去畸变的像点坐标；

r²＝x_P ²+y_P ²；

(k₁,k₂,k₅)、(k₃,k₄)分别为径向和切向畸变系数；

(dx,dy)为投影仪x方向和y方向的像元尺寸；

(C_Sx,C_Sy)为像主点坐标；

(X，Y)为实际成像面坐标；

(u_s，v_s)为投影仪像素坐标；

(X^s，Y^s)为虚拟成像面坐标；

(X_c，Y_c，Z_c)为投影仪坐标系坐标；

(X_w，Y_w，Z_w)为世界坐标。

9.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，根据构建的沙姆投影仪的成像模型，利用LM算法进行沙姆角的优化具体包括采用如下公式进行优化：

L为引入畸变模型后以重投影误差最小为准则建立的目标方程；

i为第i个位姿；

j为第j个特征点；

N₁为标定板位姿个数；

N₂为特征点数目；

α＝(α_x,α_y)为沙姆角；

m_ij表示第i个位姿下第j个特征点的实际成像面的像素坐标；

M_ij表示第i个位姿下第j个特征点的去畸变后重投影的实际成像面的像素坐标。

10.根据权利要求1所述的基于沙姆定律的投影仪标定方法，其特征在于，标定板位姿个数≥3。

Images