CN104835143A - 一种快速投影机系统参数标定方法 - Google Patents

Abstract

本发明公开了一种快速投影机系统参数标定方法，包含以下步骤：1)使用张正友相机标定法计算摄像头标定参数；2)计算出标定板所在平面在摄像头坐标空间中的平面等式；3)投影机将投影标定特征图像投影在标定板所放置的平面上，摄像头捕获投影标定特征图像，使用投影光束与标定面交叉算法计算投影标定特征图像的三维坐标；4)使用优化最小二乘法计算出投影机内部标定参数，从而计算出相机成像空间、投影显示表面所在空间以及投影机投影图像空间三者的坐标映射关系。本发明可以将投影光束与标定面交叉原理将摄像头标定和投影机标定进行统一计算，为投影机内部参数和外部参数的标定计算提供了一个快速的具有鲁棒性的系统标定方法。

Description

一种快速投影机系统参数标定方法

技术领域

本发明涉及一种在科研教育领域(科学可视化)、各类仿真领域(虚拟现实)、娱乐和会议(普适计算环境，具有纹理的墙壁拐角等复杂室内背景下的保真投影)、以及气象交通的大屏幕监控展示等领域中投影机设备的快速系统参数标定方法。

背景技术

投影机不具备类似摄像头的图像捕捉能力，无法直接获取投射在显示表面的投影图像，所以不能通过不同图像空间的像素对应来直接计算二维投影空间像素坐标与世界坐标系中三维空间像素坐标的对应关系。由于投影标定特征图所在平面空间和世界坐标系的相对空间转换不能精确计算，如果尝试使用类似张正友相机标定法中使用“棋盘格”的标定板特征图进行投影不能获取特征图在世界坐标系中的参考三维空间坐标。

现阶段针对以上问题，单独的摄像头标定计算作为计算机视觉领域的一个重要研究方向已经有较为成熟的标定方法，比如Aziz和Karara提出的直接线性变换标定法，R.Y.Tsai提出的基于径向约束的两步标定法，以及张正友提出的平面标定法等，通过计算得到摄像头内部参数对摄像头进行相机标定，在投影几何校正系统中使用这个标定后的摄像头实时获取图像。但是，对于投影机系统标定，仍然没有一个成熟的算法可以有效精确计算出投影机的内部标定参数和外部标定参数。

发明内容

针对现有技术的不足，本发明的发明目的在于提供一种快速投影机系统参数标定方法。使用本发明公开的这种投影机系统标定方法可以将投影光束与标定面交叉原理将摄像头标定和投影机标定进行统一计算，为投影机内部参数和外部参数的标定计算提供了一个快速的具有鲁棒性的系统标定方法。

本发明的目的是通过以下技术方案来实现的：

一种快速投影机系统参数标定方法，包含以下步骤：

步骤1)、由安装在投影仪上的摄像头获取多张标定板不同位姿的图像信息输入计算机系统，计算机系统使用张正友相机标定法计算摄像头内部标定参数和外部标定参数；

步骤2)、计算机系统根据摄像头内部标定参数和外部标定参数，计算出标定板所在平面在摄像头坐标空间中的平面等式；

步骤3)、投影机将投影标定特征图像投影在标定板所放置的平面上，摄像头捕获投影标定特征图像输入计算机系统，计算机系统使用投影光束与标定面交叉算法计算投影标定特征图像的三维坐标；

步骤4)、计算机系统使用优化最小二乘法计算出投影机内部标定参数，从而计算出相机成像空间、投影显示表面所在空间以及投影机投影图像空间三者的坐标映射关系。

依据上述特征，所述步骤1)中计算机系统使用张正友相机标定法计算摄像头内部标定参数和外部标定参数包含以下步骤：

步骤1.1)、计算机系统使用图像处理算法识别摄像头获取的多张标定板图像中特征图案的角点坐标；

步骤1.2)使用优化最小二乘法来计算出摄像头的内部参数：

k＝(D^TD)^-1D^Td    (公式1)；

其中k为相机内参。

步骤1.3)使用优化最小二乘法来计算出摄像头的外部参数：

${\mathrm{\Σ}}_{i-1}^n{\mathrm{\Σ}}_{j-1}^m{\left|\right|m_1-\tilde{m}(A,k_1,k_2,R_i,t_i,M_j\left|\right|}^2$     (公式2)

其中A为相机内参矩阵，k₁、k₂分别为径向畸变系数和切向畸变速度，R为旋转矩阵，t为平移向量，M为空间平面中的三维坐标。

依据上述特征，所述步骤2)中计算出标定板所在平面在摄像头坐标空间中的平面等式包含以下步骤：

步骤2.1)、由摄像头的外部标定参数矩阵：

$K=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]$     (公式3)；

得出摄像头成像平面的光学中心坐标和标定板左上角点坐标的空间转换关系，其中，由摄像头的外部标定参数矩阵中的第四列向量即平移矢量[tx ty tz]-T得出标定板所在平面的一个已知点即原点P的三维空间坐标，同时由矩阵中左上角3x3旋转矩阵的第三列向量[r13 r23 r33]-T得出摄像头坐标空间中标定板平面的一个单位法向量n；

步骤2.2)、设r表示标定板所在平面上的所有点集合，则n、r、p之间的关系为：

n*(r-p)＝0    (公式4)；

其中n为平面的法向量，r为平面上任意一点在摄像头坐标系中的坐标值，p为平面原点在摄像头坐标系中的值。

步骤2.3)、设为笛卡尔坐标空间的单位向量，则n和r的笛卡尔坐标空间定义为：

$n=a\hat{x}+b\hat{y}+c\hat{z},r=x\hat{x}+y\hat{y}+z\hat{z}$     (公式5)；

步骤2.4)、将公式5中的n和r代入到公式4中，并且设

d＝-n*p    (公式6),

得出标定板所在平面的数学等式表达为：

ax+by+cz+d＝0    (公式7),

其中，等式左边的a、b、c、d为系数，都是实数且不全为0。

依据上述特征，所述步骤3)中计算机系统使用投影光束与标定面交叉算法计算投影标定特征图像的三维坐标包含以下步骤：

步骤3.1)、使用计算机图像处理算法识别捕捉到的投影标定图像中角点的二维坐标集合C(Cx,Cy)；

步骤3.2)、将二维坐标C(Cx,Cy)转换为三维坐标R(Rx,Ry,Rz)：

$\left[\begin{array}{c}s{R}_x\\ s{R}_y\\ s{R}_z\\ s\end{array}\right]={\left[K_{1}K\right]}^{-1}\left[\begin{array}{c}{C}_x\\ C_y\\ 1\end{array}\right]$     (公式8)，

其中，s为光束(Rx Ry Rz)的放缩比例因子，K₁为相机内参

本发明使用计算机视觉方法计算出摄像头的标定内部参数和外部参数，首先，消除由于摄像头本身的光学物理性质在获取图像时引入的来自椭球形透镜的图像畸变；然后，对投影机应用类似摄像头的数学模型，通过计算投影机标定参数来获得原始投影图像和投影显示表面实际投影空间的像素映射关系，极大的提高了投影机-摄像头系统标定精度；同时，具有独立的实时在线校正系统，投影校正过程无需人工参与，极大简化了投影仪的安装调节过程；最后，该方法基于软件进行系统控制，极大的降低了硬件成本。采用计算机视觉方法对采集数据处理和分析，极大的降低了投影系统运行成本。

附图说明

图1为本发明中由摄像机从不同位姿拍摄的标定板。

图2为相机坐标空间和标定板空间坐标转换示图。

图3为投影光束与标定面交叉算法计算投影标定特征图的三维坐标示图。

图4为投影机-摄像头系统标定采集图像集合实施例示图。

图5a为鼠标交互提取的原始投影图像角点。

图5b为计算得到的原始投影图像角点坐标。

图6a为“棋盘格”标定板坐标轴计算实施例示图。

图6b为“棋盘格”标定板角点坐标识别实施例示图。

图7为摄像头坐标空间投影标定特征图角点坐标计算实施例示图。

图8为本发明的流程示意图。

具体实施方式

下面结合附图对本发明作一详细说明。

(1)系统安装：首先，将一个摄像头安装在一台投影仪上，并保证摄像头镜头与投影仪的镜头同轴方向；然后将摄像头输出端口连接到计算机，并安装相应的驱动程序，同时将计算机显卡的一个输出口连接到投影仪。

(2)如图8所示，本发明一种快速投影机系统参数标定方法，具体包括以下步骤：

步骤1)使用计算机视觉方法结合安装在投影仪上的摄像头，使用张正友相机标定法计算摄像头标定参数。

张正友相机标定法需要制作一个特殊的黑白“棋盘格”标定板，预先精确测量标定板中特征图案的实际尺寸来计算世界坐标系中的三维坐标，并使用摄像头获取多张标定板不同位姿的图像信息(如图1)：

然后，使用图像处理算法识别捕获图像中特征图案的角点坐标，最后配合优化最小二乘法来计算出摄像头的内部参数和外部参数(见公式1和2)。张正友相机标定法作为一种经典的相机标定算法，关于算法的详细介绍可以参考文献。

k＝(D^TD)^-1D^Td    (公式1)

${\mathrm{\Σ}}_{i-1}^n{\mathrm{\Σ}}_{j-1}^m{\left|\right|m_1-\tilde{m}(A,k_1,k_2,R_i,t_i,M_j\left|\right|}^2$     (公式2)

步骤2)使用计算机视觉方法结合安装在投影仪上的摄像头，重构摄像头坐标系统中特征标定板平面的数学表达等式。

三维坐标空间中任意一个平面的数学模型，都可以通过一个已知点的三维坐标加上该平面的单位法向量来表示(如图2中“棋盘格”特征标定板所在平面)，根据步骤1)获取的摄像头内部标定参数和外部标定参数，我们可以计算出标定板所在平面在摄像头坐标空间中的平面等式。如图2所示，相机坐标空间和标定板“棋盘格”所在的平面空间存在于不同的坐标轴表示系统，需要通过一种坐标系统转换计算来进行统一。

首先，摄像头的外部参标定参数矩阵(公式3)确定了摄像头成像平面的光学中心坐标和标定板左上角点坐标的空间转换关系，其中，摄像头外部标定参数矩阵中的第四列向量即平移矢量(translation vector)[tx ty tz]-T可以确定标定板所在平面的一个已知点即原点P的三维空间坐标，同时矩阵中左上角3x3旋转矩阵的第三列向量[r13 r23 r33]-T可以确定在摄像头坐标空间中标定板平面的一个单位法向量n，

$K=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]$     (公式3)

如果设r表示“棋盘格”特征标定板所在平面上的所有点集合，则n、r、p之间的关系为(公式4)：

n*(r-p)＝0    (公式4)

如果设为笛卡尔坐标空间的单位向量，则n和r的笛卡尔坐标空间定义为(公式5)：

$n=a\hat{x}+b\hat{y}+c\hat{z},r=x\hat{x}+y\hat{y}+z\hat{z}$     (公式5)

将公式5中的n和r代入到公式4中，并且设d为-n和p的点乘(公式6),则“棋盘格”特征标定板所在平面的数学等式表达为(公式7),其中，等式左边的系数a、b、c、d都是实数且不全为0。

d＝-n*p    (公式6)

ax+by+cz+d＝0    (公式7)

3)使用计算机视觉方法结合安装在投影仪上的摄像头，使用投影光束与标定面交叉算法计算投影标定特征图的三维坐标。

按照同样尺寸制作一张“棋盘格”特征图标定图像，使用投影机将标定特征图案投影在标定板所放置的平面上，摄像头可以直接捕获投影标定特征图像，然后使用计算机图像处理算法快速精确识别捕捉到的投影标定图像中“corner”角点的二维坐标集合C(Cx,Cy)，接下来需要计算投影标定特征图中所有角点的三维空间坐标集合R(Rx,Ry,Rz)。(见图3)

4)使用计算机视觉方法结合采集数据，应用优化最小二乘法计算投影机内部标定参数。

如图3所示，将摄像头捕获投影标定特征图的过程看作是投影在显示表面上的多组光束从所有的三维空间点R直射穿过二维空间点C后聚集在镜头的光学中心，在数学上可以表示为如下投影变换模型(公式8)：

$\left[\begin{array}{c}s{R}_x\\ s{R}_y\\ s{R}_z\\ s\end{array}\right]={\left[K_{1}K\right]}^{-1}\left[\begin{array}{c}{C}_x\\ C_y\\ 1\end{array}\right]$     (8)，

其中，s为光束(Rx Ry Rz)的放缩比例因子(scale factor)，K₁为相机内参，通过推导合适的比例因子s，可以使用光束与平面交叉算法(Ray-Planeintersection algorithm)来获取光束在显示表面的实际三维坐标R。

首先，对于公式ax+by+cz+d＝0，使用公式8中的sRx、sRy、sRz来替换x、y、z，由于a、b、c和Rx、Ry、Rz都可以通过之前的计算得到，则一定存在s满足如下等式：

a(sk_x)+b(sR_y)+c(sR_z)+d＝0    (9)

然后，使用公式9计算得到的s，可以获取二维空间中角点集合C(Cx,Cy)在投影显示表面上对应的三维空间坐标集合R(Rx,Ry,Rz)，与第一步中应用的张正友相机标定方法类似，选取足够多数量的C-R对应点坐标对，使用优化最小二乘法最终可以计算出投影机内部标定参数，从而确定了投影机-摄像头系统中相机成像空间与投影显示表面所在空间以及投影机投影图像空间三者的坐标映射关系。

本发明中，所说的张正友相机标定法需要制作一个特殊的黑白“棋盘格”标定板，预先精确测量标定板中特征图案的实际尺寸来计算世界坐标系中的三维坐标，并使用摄像头获取多张标定板不同位姿的图像信息。

本发明中，所说的重构摄像头坐标系统中特征标定板平面的数学表达等式是根据第一步获取的摄像头内部标定参数和外部标定参数，可以计算出标定板所在平面在摄像头坐标空间中的平面等式。相机坐标空间和标定特征板“棋盘格”所在的平面空间存在于不同的坐标轴表示系统，通过一种坐标系统转换计算来进行统一。

本发明中，所说的投影光束与标定面交叉算法获取二维空间中角点集合在投影显示表面上对应的三维空间坐标集合，应用与张正友相机标定方法一样选取足够多数量的对应点坐标对。

本发明中，所说的应用优化最小二乘法计算投影机内部标定参数使用优化最小二乘法最终可以计算出投影机内部标定参数，从而确定投影机-摄像头系统中相机成像空间与投影显示表面所在空间以及投影机投影图像空间三者的坐标映射关系。

本发明中，所说的投影仪可采用DLP投影仪。

本发明中，所说的摄像头可采用网络摄像头。

本发明中，所说的计算机可以是具有独立图形显卡的计算机系统。

以下通过实施例对本发明做进一步说明：

实施例一

本实施例中，投影机-摄像头系统标定需要用到投影机、摄像头、标定板，以运行系统标定计算的计算机系统。我们使用Logitech Pro 9000摄像头作为投影图像几何校正中投影特征图案以及结构光获取的采集工具，对Lenovo T151DLP投影机进行系统标定参数计算，标定板选择7x 9数目、28mm x 28mm边长的“棋盘格”特征图(如图4)贴在墙面，使用投影机投影同一张原始图片到同一个墙面。

与单独摄像头标定参数计算相同，投影机-摄像头系统标定计算同样需要采集大量不同投影系统姿态采集图像。首先将投影图案投影到标定板同意墙面，使用已经标定的摄像头进行不同姿态图像采集，用于标定计算的采集图像集合如图4所示。

首先，对原始投影特征图像的所有特征和角点坐标进行提取和计算，在实验过程中可以使用鼠标进行交互操作来保证角点坐标的精度(如图5a、图5b)。

然后，在摄像头采集图像中，依次对所有图像进行数字图像处理，应用图像识别算法将采集图像中贴在墙面的“棋盘格”特征标定板进行提取。在计算得到标定板的坐标轴之后，最终计算出“棋盘格”特征标定板的所有角点坐标(图6a、图6b)。

最后，再一次对所有采集图像进行特征图案提取，提取的对象是投影机投影在墙面的特征图在采集图像中的角点坐标。与上一步类似，使用同样的特征图案识别算法对所有投影特征图在采集图像中的角点坐标进行提取和计算，为了简化识别过程可以预先制定采集图像中投影图案的有效显示区域。经过以上图像采集和相应角点坐标提取，我们可以使用线面交叉算法来完成投影机-摄像头系统的标定参数计算(见图7)。

实验结果表明，使用本发明提出的快速投影机系统参数标定方法，使用计算机视觉方法计算出摄像头的标定内部参数和外部参数，首先，消除由于摄像头本身的光学物理性质在获取图像时引入的来自椭球形透镜的图像畸变；然后，对投影机应用类似摄像头的数学模型，通过计算投影机标定参数来获得原始投影图像和投影显示表面实际投影空间的像素映射关系，极大的提高了投影机-摄像头系统标定精度；同时，具有独立的实时在线校正系统，投影校正过程无需人工参与，极大简化了投影仪的安装调节过程；最后，该方法基于软件进行系统控制，极大的降低了硬件成本。采用计算机视觉方法对采集数据处理和分析，极大的降低了投影系统运行成本。

Claims (4)

1.一种快速投影机系统参数标定方法，包含以下步骤：

步骤1)、由安装在投影仪上的摄像头获取多张标定板不同位姿的图像信息输入计算机系统，计算机系统使用张正友相机标定法计算摄像头内部标定参数和外部标定参数；

步骤2)、计算机系统根据摄像头内部标定参数和外部标定参数，计算出标定板所在平面在摄像头坐标空间中的平面等式；

步骤3)、投影机将投影标定特征图像投影在标定板所放置的平面上，摄像头捕获投影标定特征图像输入计算机系统，计算机系统使用投影光束与标定面交叉算法计算投影标定特征图像的三维坐标；

步骤4)、计算机系统使用优化最小二乘法计算出投影机内部标定参数，从而计算出相机成像空间、投影显示表面所在空间以及投影机投影图像空间三者的坐标映射关系。

2.根据权利要求1所述的一种快速投影机系统参数标定方法，其特征在于所述步骤1)中计算机系统使用张正友相机标定法计算摄像头内部标定参数和外部标定参数包含以下步骤：

步骤1.1)、计算机系统使用图像处理算法识别摄像头获取的多张标定板图像中特征图案的角点坐标；

步骤1.2)使用优化最小二乘法来计算出摄像头的内部参数：

k＝(D^TD)^-1D^Td   (公式1)，

其中k为相机内参；

步骤1.3)使用优化最小二乘法来计算出摄像头的外部参数：

${\mathrm{\Σ}}_{i-1}^n{\mathrm{\Σ}}_{j-1}^m{\left|\right|m_i-\tilde{m}(A,k_1,k_2,R_i,t_i,M_j\left|\right|}^2$    (公式2)，

其中A为相机内参矩阵，k₁、k₂分别为径向畸变系数和切向畸变速度，R为旋转矩阵，t为平移向量，M为空间平面中的三维坐标。

3.根据权利要求1所述的一种快速投影机系统参数标定方法，其特征在于所述步骤2)中计算出标定板所在平面在摄像头坐标空间中的平面等式包含以下步骤：

步骤2.1)、由摄像头的外部标定参数矩阵：

$K=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]$    (公式3)；

得出摄像头成像平面的光学中心坐标和标定板左上角点坐标的空间转换关系，其中，由摄像头的外部标定参数矩阵中的第四列向量即平移矢量[tx ty tz]-T得出标定板所在平面的一个已知点即原点P的三维空间坐标，同时由矩阵中左上角3x3旋转矩阵的第三列向量[r13 r23 r33]-T得出摄像头坐标空间中标定板平面的一个单位法向量n；

步骤2.2)、设r表示标定板所在平面上的所有点集合，则n、r、p之间的关系为：

n*(r-p)＝0   (公式4)；

其中n为平面的法向量，r为平面上任意一点在摄像头坐标系中的坐标值，p为平面原点在摄像头坐标系中的值；

步骤2.3)、设为笛卡尔坐标空间的单位向量，则n和r的笛卡尔坐标空间定义为：

$n=a\hat{x}+b\hat{y}+c\hat{z},r=x\hat{x}+y\hat{y}+z\hat{z}$    (公式5)；

步骤2.4)、将公式5中的n和r代入到公式4中，并且设

d＝-n*p   (公式6),

得出标定板所在平面的数学等式表达为：

as+by+cz+d＝0   (公式7),

其中，等式左边的a、b、c、d为系数，都是实数且不全为0。

4.根据权利要求1所述的一种快速投影机系统参数标定方法，其特征在于所述步骤3)中计算机系统使用投影光束与标定面交叉算法计算投影标定特征图像的三维坐标包含以下步骤：

步骤3.1)、使用计算机图像处理算法识别捕捉到的投影标定图像中角点的二维坐标集合C(Cx,Cy)；

步骤3.2)、将二维坐标C(Cx,Cy)转换为三维坐标R(Rx,Ry,Rz)：

$\left[\begin{array}{c}{\mathrm{sR}}_x\\ s{R}_y\\ s{R}_z\\ s\end{array}\right]={\left[K_{1}K\right]}^{-1}\left[\begin{array}{c}{C}_x\\ C_y\\ 1\end{array}\right]$    (公式8)，

其中，s为光束(Rx Ry Rz)的放缩比例因子，K₁为相机内参。