CN109978958A - 一种互动投影系统标定误差补偿方法 - Google Patents

Abstract

本发明提出一种互动投影系统标定误差补偿方法，利用标定点将投影屏幕划分为若干矩形区域，误差补偿的原则是认为在每个矩形区域内所有的像素偏差与矩形四个顶点像素的偏差是一致的，通过四个顶点像素的实际坐标与理想坐标建立变换矩阵，最后将矩形区域内全部的像素坐标利用变换矩阵进行变换得到补偿后的坐标，完成互动投影标定误差的补偿。本发明有效降低了由于结构施工以及标定算法自身带来的误差，提高标定精度，使得互动投影的用户体验更好。

Description

一种互动投影系统标定误差补偿方法

技术领域

本发明属于互动投影系统标定技术领域，特别是涉及一种互动投影系统标定误差补偿方法。

背景技术

互动投影是近年来流行起来的一种多媒体展示平台，主要是将计算机视觉技术与投影显示技术相融合实现投影展示与人机互动。互动投影系统主要是利用红外激光器作为辅助光源，红外摄像头对目标进行定位，并将目标定位坐标与投影屏幕上的像素坐标相对应实现鼠标功能，同时根据连续多帧目标定位坐标的轨迹信息进行识别实现人机互动功能。

互动投影系统在使用前需要对摄像头及投影屏幕进行标定，标定的精度直接影响系统的用户体验。在标定过程中对于各个结构的精度要求较高，例如墙面的平整度、红外激光器的高度以及多屏时的融屏效果，然而在实际施工过程中，这些因素均为人工操作难免会引入误差从而导致标定精度下降。

发明内容

本发明目的是为了解决现有的技术问题，提出了一种互动投影系统标定误差补偿方法。

本发明是通过以下技术方案实现的，本发明提出一种互动投影系统标定误差补偿方法，具体包括以下步骤：

步骤1：投影仪投射出鱼眼摄像头标定板，鱼眼摄像头拍摄一张标定板图像；

步骤2：投影仪投射出透视标定板，鱼眼摄像头拍摄一张透视标定板图像；

步骤3：利用所述标定板图像基于Scaramuzza的折反射模型标定出鱼眼摄像头的内参数，在获得内参数后进行鱼眼摄像头的第一次畸变校正，将图像重心坐标转换为摄像机坐标；

步骤4：对所述透视标定板图像进行阈值分割，提取四个标定点的图像坐标，利用内参数将图像坐标转换至摄像机坐标；

步骤5：鱼眼摄像头利用四个标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，并计算透视变换矩阵，至此完成鱼眼摄像头的第二次畸变校正，将摄像机坐标转换为屏幕坐标；

步骤6：将步骤5得到的屏幕坐标与真实的屏幕坐标进行比较，得到二者之间的标定误差，对所述标定误差进行补偿。

进一步地，所述步骤6具体为：

步骤6.1、根据投影仪投射出的鱼眼摄像头标定板中的n列m行标定点将整个投影区域划分为(n-1)*(m-1)个正方形区域，其中n和m均为正整数，误差补偿是基于正方形区域内的点的偏差与正方形四个顶点的偏差一致的假设来进行补偿，正方形顶点的补偿后的坐标为(x_sc/z_sc,y_sc/z_sc)，为补偿矩阵，补偿的变换关系如下：其中(x_s/z_s,y_s/z_s)为标定点的屏幕坐标；表示线性变换，[tc₃₁ tc₃₂]表示平移，[tc₁₃ tc₂₃]^T产生透视变换，tc₃₃＝1；

步骤6.2、按照步骤6.1依次计算(n-1)*(m-1)个正方形区域的补偿矩阵；

步骤6.3、采用逐行扫描的方式将整个投影屏幕上的每一个像素的坐标依次取出，判断每一个像素位于哪一个正方形区域，并利用补偿矩阵计算补偿后的坐标，最后生成一张关于整个屏幕上每一个像素的误差补偿表，该误差补偿表共分为4列，第一列为透视变换后x方向的像素坐标，第二列是透视变换后y方向的像素坐标，第三列是补偿后的x方向坐标，第四列是补偿后的y方向坐标，最后采用查表法对相应像素坐标进行补偿。

进一步地，所述将图像重心坐标转换为摄像机坐标具体为：

其中(u,v)为图像重心坐标；(c_x,c_y)为畸变重心；(x_c,y_c,z_c)为摄像机坐标；为缩放矩阵；(α₀,α₂,α₃,α₄)为映射系数，α₁＝0；

进一步地，所述将摄像机坐标转换为屏幕坐标具体为：每个标定点在屏幕坐标系的半径为10个像素，四个标定点的圆心坐标分别为(10,10)、(w-10,10)、(10,h-10)和(w-10,h-10)，其中w和h分别为投影屏幕的横向分辨率和纵向分辨率；透视坐标变换公式如下：其中(x_s/z_s,y_s/z_s)为标定点的屏幕坐标，T为透视变换矩阵， 其中表示线性变换，[t₃₁ t₃₂]表示平移；[t₁₃ t₂₃]^T产生透视变换，t₃₃＝1。

进一步地，所述标定板采用圆形标定板，标定点圆心之间的像素距离为120像素，标定点的半径为10像素，标定点数目为16列9行。

进一步地，所述鱼眼摄像头拍摄一张标定板图像，利用标定点屏幕上的像素坐标与图像坐标建立非线性方程组，非线性方程组中的未知系数即为内参数和外参数，通过梯度下降算法求解非线性方程组得到摄像头参数，至此完成摄像头内参数标定。

进一步地，所述Scaramuzza的折反射模型包含内参数和外参数，所述内参数包括缩放矩阵、畸变重心和映射系数，所述外参数包括旋转矩阵和平移矩阵。

本发明提出的一种互动投影系统标定误差补偿方法，利用标定点将投影屏幕划分为若干矩形区域，误差补偿的原则是认为在每个矩形区域内所有的像素偏差与矩形四个顶点像素的偏差是一致的，通过四个顶点像素的实际坐标与理想坐标建立变换矩阵，最后将矩形区域内全部的像素坐标利用变换矩阵进行变换得到补偿后的坐标，通过查表法完成互动投影标定误差的补偿。本发明有效降低了由于结构施工以及标定算法自身带来的误差，提高标定精度，使得互动投影的用户体验更好。

附图说明

图1为投影仪投射出的标定板中标定点分布示意图；

图2为摄像头拍摄到的标定板中标定点分布示意图；

图3为投影仪投射出的透视标定板图案示意图；

图4为摄像头拍摄到的透视标定板图案示意图；

图5为标定点偏差示意图；

图6为所述一种互动投影系统标定误差补偿方法流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图6，本发明提出一种互动投影系统标定误差补偿方法，具体包括以下步骤：

步骤1：投影仪投射出鱼眼摄像头标定板，鱼眼摄像头拍摄一张标定板图像；

步骤2：投影仪投射出透视标定板，鱼眼摄像头拍摄一张透视标定板图像；

步骤3：利用所述标定板图像基于Scaramuzza的折反射模型标定出鱼眼摄像头的内参数，在获得内参数后进行鱼眼摄像头的第一次畸变校正，将图像重心坐标转换为摄像机坐标；所述Scaramuzza的折反射模型包含内参数和外参数，所述内参数包括缩放矩阵、畸变重心和映射系数，所述外参数包括旋转矩阵和平移矩阵。所述鱼眼摄像头拍摄一张标定板图像，利用标定点屏幕上的像素坐标与图像坐标建立非线性方程组，非线性方程组中的未知系数即为内参数和外参数，通过梯度下降算法求解非线性方程组得到摄像头参数，至此完成摄像头内参数标定。所述将图像重心坐标转换为摄像机坐标具体为：

其中(u,v)为图像重心坐标；(c_x,c_y)为畸变重心；(x_c,y_c,z_c)为摄像机坐标；为缩放矩阵；(α₀,α₂,α₃,α₄)为映射系数，α₁＝0；

所述标定板采用圆形标定板，标定点圆心之间的像素距离为120像素，标定点的半径为10像素，标定点数目为16列9行，标定点分布示意图如图1-2所示，其中图1为投影仪投射出的标定板图案，图2为摄像头拍摄到的标定板图案。

步骤4：鱼眼摄像头的第一次畸变校正是为了去除摄像头的非线性畸变，经过上述步骤标定点的分布由扇形变为梯形。为了进一步去除摄像头的透视畸变，对所述透视标定板图像进行阈值分割，提取四个标定点(1、2、3和4)的图像坐标，利用内参数将图像坐标转换至摄像机坐标；

步骤5：鱼眼摄像头利用四个标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，并计算透视变换矩阵，至此完成鱼眼摄像头的第二次畸变校正，将摄像机坐标转换为屏幕坐标；透视标定板图案如图3-4所示，图3为投影仪投射出的透视标定板图案，图4为摄像头拍摄到的透视标定板图案。所述将摄像机坐标转换为屏幕坐标具体为：每个标定点在屏幕坐标系的半径为10个像素，1、2、3和4四个标定点的圆心坐标分别为(10,10)、(w-10,10)、(10,h-10)和(w-10,h-10)，其中w和h分别为投影屏幕的横向分辨率和纵向分辨率；透视坐标变换公式如下：其中(x_s/z_s,y_s/z_s)为标定点的屏幕坐标，T为透视变换矩阵，其中表示线性变换，包括缩放、旋转等，[t₃₁ t₃₂]表示平移；[t₁₃ t₂₃]^T产生透视变换，t₃₃为为满足矩阵乘法所添加的无实际物理含义变量，在矩阵求解过程中，假设t₃₃＝1。

步骤6：将步骤5得到的屏幕坐标与真实的屏幕坐标进行比较，得到二者之间的标定误差，对所述标定误差进行补偿。经过第一次畸变校正与透视变换后，将图像坐标变换为投影屏幕的屏幕坐标，此时计算后的屏幕坐标与真实的屏幕坐标存在误差，标定点偏差如图5所示：图中深灰色星花为真实的屏幕坐标，浅灰色实心圆点表示计算后的屏幕坐标，可以看出两者之间存在偏差。

所述步骤6具体为：

步骤6.1、根据投影仪投射出的鱼眼摄像头标定板中的n列m行标定点将整个投影区域划分为(n-1)*(m-1)个正方形区域，其中n和m均为正整数，优选n为16，m为9；误差补偿是基于正方形区域内的点的偏差与正方形四个顶点的偏差一致的假设来进行补偿，正方形顶点的补偿后的坐标为(x_sc/z_sc,y_sc/z_sc)，为补偿矩阵，补偿的变换关系如下：其中(x_s/z_s,y_s/z_s)为标定点的屏幕坐标；由于误差的存在，在进行摄像机坐标到屏幕坐标转换时，采用基于整个投影屏幕四个标定点计算的透视变换矩阵并不能将每一个点都映射到与理想屏幕坐标重合，误差补偿的原理是通过将屏幕划分成若干区域，将整体的非线性利用局部的线性来表示，再将局部的线性进行平直化，最后实现整体的线性平直化完成补偿，因此在计算补偿矩阵时仍然采用与计算透视变换相同的方法，其中T_c为补偿矩阵，表示线性变换，包括缩放、旋转等；[tc₃₁ tc₃₂]表示平移；[tc₁₃ tc₂₃]^T产生透视变换(将非平行线变为平行线)，tc₃₃为为满足矩阵乘法所添加的无实际物理含义变量，在矩阵求解过程中，假设tc₃₃＝1。

步骤6.2、按照步骤6.1依次计算(n-1)*(m-1)个正方形区域的补偿矩阵；

步骤6.3、采用逐行扫描的方式将整个投影屏幕上的每一个像素的坐标依次取出，判断每一个像素位于哪一个正方形区域，并利用补偿矩阵计算补偿后的坐标，最后生成一张关于整个屏幕上每一个像素的误差补偿表，该误差补偿表共分为4列，第一列为透视变换后x方向的像素坐标，第二列是透视变换后y方向的像素坐标，第三列是补偿后的x方向坐标，第四列是补偿后的y方向坐标，最后采用查表法对相应像素坐标进行补偿，当摄像头捕获到新的光斑时提取光斑的图像重心坐标，分别进行两次畸变校正得到透视变换后的像素坐标(即补偿前的屏幕坐标)，通过查询误差补偿表得到补偿后的像素坐标，至此完成误差补偿。

以上对本发明所提供的一种互动投影系统标定误差补偿方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种互动投影系统标定误差补偿方法，其特征在于：具体包括以下步骤：

步骤1：投影仪投射出鱼眼摄像头标定板，鱼眼摄像头拍摄一张标定板图像；

步骤2：投影仪投射出透视标定板，鱼眼摄像头拍摄一张透视标定板图像；

步骤3：利用所述标定板图像基于Scaramuzza的折反射模型标定出鱼眼摄像头的内

参数，在获得内参数后进行鱼眼摄像头的第一次畸变校正，将图像重心坐标转换为摄像机坐标；

步骤4：对所述透视标定板图像进行阈值分割，提取四个标定点的图像坐标 ，利用

内参数将图像坐标转换至摄像机坐标；

步骤5：鱼眼摄像头利用四个标定点的摄像机坐标和相对应的屏幕坐标建立透视变换

方程，并计算透视变换矩阵，至此完成鱼眼摄像头的第二次畸变校正，将摄像机坐标转换

为屏幕坐标；

步骤6：将步骤5得到的屏幕坐标与真实的屏幕坐标进行比较，得到二者之间的标定

误差，对所述标定误差进行补偿。

2.根据权利要求1所述的方法，其特征在于：所述步骤6具体为：

步骤6.1、根据投影仪投射出的鱼眼摄像头标定板中的n列m行标定点将整个投影区

域划分为（n-1）*（m-1）个正方形区域，其中n和m均为正整数，误差补偿是基于正方形区域内的点的偏差与正方形四个顶点的偏差一致的假设来进行补偿，正方形顶点的补偿后的坐标为，为补偿矩阵，补偿的变换关系如下：

；其中为标定点的屏幕坐标；表示线性变换，

表示平移，产生透视变换，=1；

步骤6.2、按照步骤6.1依次计算（n-1）*（m-1）个正方形区域的补偿矩阵；

步骤6.3、采用逐行扫描的方式将整个投影屏幕上的每一个像素的坐标依次取出，判断每一个像素位于哪一个正方形区域，并利用补偿矩阵计算补偿后的坐标，最后生成一张关于整个屏幕上每一个像素的误差补偿表，该误差补偿表共分为4列，第一列为透视变换后x方向的像素坐标，第二列是透视变换后y方向的像素坐标，第三列是补偿后的x方向坐标，第四列是补偿后的y方向坐标，最后采用查表法对相应像素坐标进行补偿。

3.根据权利要求2所述的方法，其特征在于：所述将图像重心坐标转换为摄像机坐标具体为：

其中为图像重心坐标；为畸变重心；为摄像机坐标；S=为缩放矩阵；为映射系数，；。

4.根据权利要求3所述的方法，其特征在于：所述将摄像机坐标转换为屏幕坐标具

体为：每个标定点在屏幕坐标系的半径为10个像素，四个标定点的圆心坐标分别为(10,10)、(w-10, 10)、(10,h-10)和(w-10,h-10)，其中w和h分别为投影屏幕的横向分辨率和纵向分辨率；透视坐标变换公式如下：其中为标定点的屏幕坐标，为透视变换矩阵，；，其中表示线性变换，表示平移；产生透视变换，=1。

5.根据权利要求2所述的方法，其特征在于：所述标定板采用圆形标定板，标定点圆心之间的像素距离为120像素，标定点的半径为10像素，标定点数目为16列9行。

6.根据权利要求2所述的方法，其特征在于：所述鱼眼摄像头拍摄一张标定板图像，利用标定点屏幕上的像素坐标与图像坐标建立非线性方程组，非线性方程组中的未知系数即为内参数和外参数，通过梯度下降算法求解非线性方程组得到摄像头参数，至此完成摄像头内参数标定。

7.根据权利要求1所述的方法，其特征在于：所述Scaramuzza的折反射模型包含内参数和外参数，所述内参数包括缩放矩阵、畸变重心和映射系数，所述外参数包括旋转矩阵和平移矩阵。