CN101799924A

CN101799924A - 借助ccd照相机对投影仪进行标定的方法

Info

Publication number: CN101799924A
Application number: CN 201010120332
Authority: CN
Inventors: 王宽全; 陈彦军; 左旺孟; 袁永峰; 张宏志
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2010-03-09
Filing date: 2010-03-09
Publication date: 2010-08-11

Abstract

借助CCD照相机对投影仪进行标定的方法，它涉及一种对投影仪进行标定的方法，它解决了目前缺少对投影仪进行标定的方法的问题。本发明利用投影仪先后将G幅横条纹图、一幅横向中心线图、G幅纵条纹图及一幅纵向中心线图投影到靶标上，并用CCD相机捕获靶标投影图像，通过计算建立CCD图像的像素与投影仪图像的像素间的一对一映射；再通过CCD相机摄取靶标的CCD图像，再对其映射得到对应的投影仪图像；多次变换靶标位置，获得多个与靶标的CCD图像对应的投影仪图像，利用Matlab tool box照相机标定工具对投影仪进行标定，获得投影仪的内外参数。本发明模拟现有的照相机标定技术，实现了对投影仪的标定，适用于对各类投影仪的标定。

Description

借助CCD照相机对投影仪进行标定的方法

技术领域

本发明涉及一种对投影仪进行标定的方法。

背景技术

目前针对光学成像器材的标定方法，大多数都针对于照相机，而几乎没有能够用于对投影仪进行标定的方法。

照相机的标定方法，通常是基于以下原理实现的：

物体上任意一点W，它在世界坐标系中的坐标是(X_w，Y_w，Z_w)，在照相机参考坐标系的坐标是(X_w ^c，Y_w ^c，Z_w ^c)。照相机参考坐标系的原点定义在CCD透镜镜头的光心，照相机图像坐标系(u_c，v_c)的原点定义在CCD的中心(u₀ ^c，v₀ ^c)。f_c是照相机CCD透镜的焦距。

空间点P的世界坐标(X_w，Y_w，Z_w)与照相机参考坐标(X_w ^c，Y_w ^c，Z_w ^c)存在如下转换关系：

[\begin{matrix} X_{w}^{c} \\ Y_{w}^{c} \\ Z_{w}^{c} \end{matrix}] = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \end{matrix}] + [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}] - - - (1)

需要考虑图像的倾斜形变情况。所谓倾斜形变就是指成像时，图像的X轴和Y轴不正交，虽然大多数情况下X轴和Y轴是正交的，但是当光轴和成像平面不完全正交时可能会导致X轴和Y轴不正交。假设X轴和Y轴的倾斜形变角为α，可得到：

[\begin{matrix} u_{c} \\ v_{c} \\ 1 \end{matrix}] = [\begin{matrix} f_{c 1} & \tan α f_{c 1} & u_{0} \\ 0 & f_{c 2} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} u \\ v \\ 1 \end{matrix}] - - - (2)

其中f_c1-CCD透镜U方向的焦距；f_c2-CCD透镜V方向的焦距。

整理(1)、(2)式可得：

Z_{w}^{c} [\begin{matrix} u_{c} \\ v_{c} \\ 1 \end{matrix}] = [\begin{matrix} f_{c 1} & \tan α f_{c 1} & u_{0} \\ 0 & f_{c 2} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} r_{11} & r_{12} & r_{13} & t_{1} \\ r_{21} & r_{22} & r_{23} & t_{2} \\ r_{31} & r_{32} & r_{33} & t_{3} \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] - - - (3)

将照相机的内部参数矩阵和外部参数矩阵化简，并令

可以得到：

s_{c} [\begin{matrix} u_{c} \\ v_{c} \\ 1 \end{matrix}] = [\begin{matrix} a_{11}^{c} & a_{12}^{c} & a_{13}^{c} & a_{14}^{c} \\ a_{21}^{c} & a_{22}^{c} & a_{23}^{c} & a_{24}^{c} \\ a_{31}^{c} & a_{32}^{c} & a_{33}^{c} & a_{34}^{c} \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] - - - (4)

根据公式(4)，通过取多幅图像，得到多个方程后，即可解得照相机的内部参数和外部参数，从而实现对照相机的标定。

发明内容

本发明的目的是解决目前缺少对投影仪进行标定的方法的问题，提供了一种借助CCD照相机对投影仪进行标定的方法。

借助CCD照相机对投影仪进行标定的方法，它的过程如下：

步骤一、利用待标定的投影仪，先后投射G+1幅图到靶标上形成靶标投影图像，并在每次投射完成一幅图之后，采用CCD相机捕获所述靶标投影图像，其中所述G+1幅图分别是G幅光强在纵向按正弦变化的横条纹图及一幅横向中心线图，所述CCD相机共获得该G+1幅靶标投影图像的CCD图像，然后利用相移法对该G+1幅靶标投影图像的CCD图像进行计算，获得该G+1幅靶标投影图像的CCD图像中的每一个像素点在投影仪图像中所对应的纵向绝对相位；其中，G为大于3的正整数；

步骤二、利用待标定的投影仪，先后投射G+1幅图到靶标上形成靶标投影图像，并在每次投射完成一幅图之后，采用CCD相机捕获所述靶标投影图像，其中所述G+1幅图分别是G幅光强在横向按正弦变化的纵条纹图及一幅纵向中心线图，所述CCD相机共获得该G+1幅靶标投影图像的CCD图像，然后利用相移法对该G+1幅靶标投影图像的CCD图像进行计算，获得该G+1幅靶标投影图像的CCD图像中的每一个像素点在投影仪图像中所对应的横向绝对相位；

步骤三、根据步骤一获得的所述纵向绝对相位和步骤二获得的所述横向绝对相位，建立CCD相机的CCD图像的像素与投影仪图像的像素之间的一对一的映射关系；

步骤四、用光源单独照射靶标，并用CCD相机摄取被光源单独照射的靶标的CCD图像，然后对所述靶标的CCD图像进行二值化处理，获得二值化处理后的靶标的CCD图像；

步骤五、利用步骤三所建立的映射关系，将步骤四获得的二值化处理后的靶标的CCD图像进行映射，得到与该二值化处理后的靶标的CCD图像相对应的投影仪图像；

步骤六、变换靶标的位置Q次，并分别在每一个位置重复执行步骤一和步骤五，获得与每一个位置的靶标相对应的投影仪图像；Q为正整数；

步骤七、由步骤五和步骤六所获得的所有投影仪图像，利用Bouguet提供的Matlab tool box照相机标定工具对投影仪进行标定，获得投影仪的内部参数和外部参数。

本发明借助CCD照相机，利用相移法使投影仪“摄取”靶标图像，模拟现有的照相机标定技术，实现了对投影仪的内部参数和外部参数的标定，适用于对各类投影仪的标定。

附图说明

图1至图3分别是将3幅光强在纵向按正弦变化的横条纹图投影到靶标上，形成的3幅靶标投影图像；图4是将横向中心线图投影到靶标上形成的靶标投影图像；图5为计算获得的图1至图3中点P的纵向绝对相位在图1中的位置示意图；图6至图8是将3幅光强在横向按正弦变化的纵条纹图投影到靶标上，形成的3幅靶标投影图像；图9是将纵向中心线图投影到靶标上形成的靶标投影图像；图10为计算获得的图6至图8中点P的纵向绝对相位在图6中的位置示意图；图11是白光照射下，用彩色照相机摄取的红蓝棋盘格的图像；图12是在白光照射下，用CCD照相机摄取的红蓝棋盘格的图像进行灰度化处理后的结果图；图13是在红光照射下，用CCD照相机摄取的红蓝棋盘格的图像进行灰度化处理后的结果图；图14是计算得到的实际绝对相位与理想相位的示意图；图15是由非线性变形系数γ引起的相位误差示意图；图16是二值化处理后的靶标图像的CCD图像；图17是与图16相对应的投影仪图像；图18至图42是25幅靶标的CCD图像；图43至图67是分别与图18至图42相对应的25幅投影仪图像；图68是实施方式一的流程图。

具体实施方式

具体实施方式一：本实施方式的借助CCD照相机对投影仪进行标定的方法，其过程如下：

步骤六中所述的变换靶标的位置，是指在照相机的视场范围内任意旋转或平移靶标。

所述Q，可根据实际需要来选择。

本实施方式中，所述G幅光强在纵向按正弦变化的横条纹图由计算机生成；

所述横向中心线图由计算机生成，横向中心线图内只含一条横条纹，且该横条纹位于上述G幅横条纹图中每一幅图的中心横轴上；

所述G幅光强在横向按正弦变化的纵条纹图由计算机生成；

所述纵向中心线图由计算机生成，纵向中心线图内只含一条纵条纹，且该纵条纹位于上述G幅纵条纹图中每一幅图的中心纵轴上。

为得到绝对相位，本实施方式在3幅横向中心线图和3幅纵向中心线图的基础上，增加了一幅横向中心线图和一幅纵向中心线图。

本发明实际将投影仪看成是倒置的照相机，借助一台CCD照相机，利用相移法使投影仪“摄取”靶标图像，从而模拟现有的照相机标定技术，实现对投影仪的内外参数的标定。很明显投影仪不能直接捕获图像，但是可以依靠CCD照相机代替投影仪来捕获图像，并将照相机拍摄的CCD图像转化成投影仪图像。这项技术的关键在于建立照相机的CCD图像的像素与投影仪图像的像素之间的一一对应关系，本发明采用相移技术实现了该目的。

具体实施方式二：本实施方式是对实施方式一的进一步限定，步骤一中所述的G幅光强在纵向按正弦变化的横条纹图，从第一幅、第二幅直到第G幅横条纹图的相位依次相差2π/G。

将上述G幅横条纹图投影到靶标上，进而可获得靶标的CCD图像上每一点的纵向相位。

具体实施方式三：本实施方式是对实施方式一或二的进一步限定，步骤二中所述的G幅光强在横向按正弦变化的纵条纹图，从第一幅、第二幅直到第G幅纵条纹图的相位依次相差2π/G。

原理同实施方式二，本实施方式中的G幅纵条纹图，可覆盖整个靶标进行投影，由此可获得靶标的CCD图像上每一点的横向相位。

具体实施方式四：本实施方式是对实施方式一、二或三的进一步限定，所述靶标图案采用红蓝相间的国际象棋棋盘格。

本实施方式中，所述靶标的图案采用的国际象棋棋盘格为红蓝相间、而非黑白相间的，这是因为当白光照射在黑白棋盘格上时，用照相机摄取的靶标的CCD图像进行灰度化处理后，得到照射相同光强的黑棋盘格和白棋盘格的灰度相差较大，而这将影响最终的相位计算。

而同样是在白光照射下，用照相机摄取的红蓝棋盘格的图像进行灰度化处理后，照射相同光强的红棋盘格和蓝棋盘格的灰度类似，如图12所示。因此，本实施方式的红蓝棋盘格的使用，能够有效避免相位计算时、因黑白格灰度不同导致相位计算不准确的问题。

具体实施方式五：本实施方式是对实施方式四的进一步限定，步骤三中所述的光源采用红光光源。

用红光照射红蓝棋盘格时，用照相机摄取的靶标的CCD图像中，红棋盘格的光强较大，而蓝棋盘格的光强较弱，对该CCD图像进行二值化后，红、蓝棋盘格则分别变为白色和黑色，如图13所示。因此，相对白光照射来说，本实施方式的红光照射更有利于利用现有的MATLAB标定工具箱进行投影仪标定。

具体实施方式六：本实施方式是对实施方式一的进一步限定，

在步骤一中还包括：

对获得的靶标投影图像的CCD图像中的每一列像素点对应的纵向绝对相位进行直线拟合，获得靶标投影图像的CCD图像中每一个像素点所对应的纵向绝对相位的修订值，并采用所述修订值对原纵向绝对相位进行修订；

在步骤二中还包括：

对获得的靶标投影图像的CCD图像中的每一行像素点对应的横向绝对相位进行直线拟合，并获靶标投影图像的CCD图像中每一个像素点所对应的横向绝对相位的修订值，并采用所述修订值对原横向绝对相位进行修订。

本实施方式对投影仪产生的相位误差的补偿算法进行了简化。

在相位计算过程中，投影仪会产生非线性相位误差：

w＝u^γ，

其中，u表示输入的光强，且u∈[0，1]；

γ是非线性变形系数，它是一般商用投影仪为了有较好的视觉效果，故意设计以产生非线性变形效果。γ的取值依赖于特定的投影仪，且γ一般大于1，国际电视系统委员会对γ的推荐值为2.2。但实际上，γ的取值不仅取决于生产时投影仪的预调整数值，还与具体的计算机系统等相关；

w是实际输出的光强度。

相位误差的存在会影响相位匹配精度，进而会影响最终的标定精度。如图14和图15所示，图14中的直线S1为理想相位，曲线S2为实际相位，图15为由非线性变形系数γ引起的相位误差。

为了改进相位匹配精度，投影仪的非线性变形系数γ的影响必须消除。本实施方式提出的线性拟合的方法，简单精确，适用于采用平面靶标时的标定过程。

具体实施方式七：本实施方式为实施方式一的一个具体实施例。

在本实施例中，G选取3，靶标图案采用红蓝相间的国际象棋棋盘格，这里简称红蓝棋盘格。

首先，利用计算机生成3幅光强在纵向按正弦变化的横条纹图、一幅横向中心线图、3幅光强在横向按正弦变化的纵条纹图和一幅纵向中心线图；

其中，上述3幅光强在横向按正弦变化的纵条纹图，从第一幅、第二幅直到第G幅纵条纹图的相位依次相差2π/3；

上述3幅光强在纵向按正弦变化的横条纹图，从第一幅、第二幅直到第G幅横条纹图的相位依次相差2π/3；

然后，利用待标定的投影仪，先后将3幅光强在纵向按正弦变化的横条纹图及一幅横向中心线图投影到靶标上形成4幅靶标投影图像，并在每次投射完成一幅图之后，采用CCD相机捕获所述4幅靶标投影图像，所述CCD相机共获得该4幅靶标投影图像的CCD图像，参见图1至图4，其中图1至图3为将所述3幅横条纹图分别先后投影到红蓝棋盘格靶标上后形成的3幅靶标投影图像，且图1、图2和图3间的相位依次递增2π/3，图4为将所述横向中心线图投影到红蓝棋盘格靶标上后形成的靶标投影图像；然后利用三步相移法对该4幅靶标投影图像的CCD图像进行计算，获得该4幅靶标投影图像的CCD图像中的每一个像素点在投影仪图像中所对应的纵向绝对相位；

计算过程如下：

图1至图3中的横条纹的光强依次分别为I₁(x，y)、I₂(x，y)和I₃(x，y)，且I₁(x，y)、I₂(x，y)和I₃(x，y)均为关于x和y的函数，其中，x和y分别为横坐标和纵坐标：

I₁(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)-2π/3]

I₂(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)]

I₃(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)+2π/3]

其中，φ(x，y)表示点(x，y)的相位，且I′(x，y)为背景光强，I″(x，y)为光强幅值。

由φ(x，y)的计算公式获得的相位值在0到2π之间，如果条纹图中使用多个正弦周期，则需要对求得的相位进行解包络运算，计算得到绝对相位。

设图1至图3中的中心线对应的相位为0，在CCD图像中通过识别中心线的位置，计算中心线的平均相位φ₀为：

{\overset{&OverBar;}{φ}}_{0} = \frac{Σ_{n = 0}^{N} φ_{n} (i, j)}{N}

其中，φ_n(i，j)表示中心线上第n个像素的绝对相位，N为中心线上像素的总数。

将CCD图像中所有像素的解包络相位都减去中心线的相位值φ₀，得到：

φ_a(i，j)＝φ(i，j)-φ₀

其中，φ(i，j)表示具体方式实施七中计算得到的相位值。

从而使得各行和各列像素的绝对相位都以中心线为基准。通过上述计算，可获得图5中的直线M1，直线M1即表示图1至图3中的点P所对应的纵向绝对相位；

同理，利用所示3幅光强在横向按正弦变化的纵条纹图和一幅纵向中心线图，按照同上面类似的过程，可获得图6至图9所示的CCD图像，通过计算还可获得图10中的直线M2，直线M2的位置即表示图6至图8中的点P所对应的横向绝对相位；

因此，直线M1和直线M2的交点即为点P在投影仪图像中的对应点，由此即可建立CCD相机的CCD图像的像素与投影仪图像的像素之间的一对一的映射关系。

然后用红光光源单独照射靶标，并用CCD相机摄取被光源单独照射的靶标图像，获得靶标图像的CCD图像；然后对所述靶标图像的CCD图像进行二值化处理，获得的二值化处理后的靶标图像的CCD图像参见图16，利用已建立的映射关系，将所述二值化处理后的靶标图像的CCD图像进行映射处理，得到与该二值化处理后的靶标图像的CCD图像相对应的投影仪图像，如图17所示，可将图17的投影图像投影到靶标场景中来验证其共线性，共线性好表明该映射的创建是成功的。

变换靶标的位置24次，获得与每一个位置的靶标相对应的投影仪图像，因此共获得25幅投影图像，如图43至图67所示，其中图18至图42为与图43至图67分别对应的CCD图像；然后利用Bouguet提供的Matlab toolbox工具，采用Zhengyou Zhang(张正友)在1999年Seventh International Conference onComputer Vision的第一卷上发表的″Flexible Camera Calibration by Viewing aPlane from Unknown Orientations″文章中介绍的方法，对投影仪进行标定。

得到基于线性模型的投影仪内参数为：

A_{p} = [\begin{matrix} 2648.441 & 0 & 116.859 \\ 0 & 2078.9652 & 888.419 \\ 0 & 0 & 1 \end{matrix}],

对于投影仪的外参数，可以用与内参数估计类似的办法得到，只是估计外参数时只需要一幅投影图像就可以，仍采用Bouguet提供的Matlab toolbox工具，得到投影仪的外参数为：

M_{p} = [\begin{matrix} - 0.0029 & 0.9998 & 0.0207 & 160.5047 \\ 0.9995 & 0.0035 & - 0.0302 & - 642.2539 \\ - 0.0303 & 0.0207 & - 0.9993 & 1905.714 \end{matrix}],

对应于同一幅靶标图像的照相机外参数经计算为：

M_{c} = [\begin{matrix} - 0.002865 & 0.983215 & 0.182426 & - 138.6538 \\ 0.976384 & 0.042159 & - 0.211888 & 0232.5902 \\ - 0.216023 & 0.177511 & - 0.960117 & 1903.312 \end{matrix}] .

Claims

1.借助CCD照相机对投影仪进行标定的方法，其特征在于它的过程如下：

2.根据权利要求1所述的借助CCD照相机对投影仪进行标定的方法，其特征在于步骤六中所述的变换靶标的位置，是指在照相机的视场范围内任意旋转或平移靶标。

3.根据权利要求1所述的借助CCD照相机对投影仪进行标定的方法，其特征在于步骤一中所述的G幅光强在纵向按正弦变化的横条纹图，从第一幅、第二幅直到第G幅横条纹图的相位依次相差2π/G。

4.根据权利要求1所述的借助CCD照相机对投影仪进行标定的方法，其特征在于步骤二中所述的G幅光强在横向按正弦变化的纵条纹图，从第一幅、第二幅直到第G幅纵条纹图的相位依次相差2π/G。

5.根据权利要求1所述的借助CCD照相机对投影仪进行标定的方法，其特征在于所述靶标图案采用红蓝相间的国际象棋棋盘格。

6.根据权利要求5所述的借助CCD照相机对投影仪进行标定的方法，其特征在于步骤三中所述的光源采用红光光源。

7.根据权利要求1所述的借助CCD照相机对投影仪进行标定的方法，其特征在于在步骤一中还包括：

在步骤二中还包括：