CN106683057A - 任意连续曲面幕多投影显示墙的自动几何校正方法 - Google Patents

Abstract

本发明公开了任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；3)将对应于每台投影仪的曲面片进行网格细分；4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。本发明在对两个摄像机进行标定的基础上，对投影幕布进行三维重建来获得投影幕的局部模型。然后求取从投影前画面空间到三维投影幕布空间的映射关系，并按照最大化利用投影仪的原始投影区域的原则，计算每台投影仪对应的预扭曲矩阵来实现多投影显示墙输出画面的自动几何校正。

Description

任意连续曲面幕多投影显示墙的自动几何校正方法

技术领域

本发明属于任意连续曲面幕多投影显示墙领域，具体是一种任意连续曲面幕多投影显示墙的自动几何校正方法。

背景技术

随着多媒体数字展示、沉浸式娱乐和科学计算可视化等应用领域对超高分辨率显示平台需求的日益增长，通过多台投影仪拼接实现的多投影显示墙受到日益广泛的关注。

传统的大屏幕展示系统大多数是通过叠合若干CRT显示屏或者LCD液晶板来构建，无法输出真正无缝的大尺寸画面，而且不易于维护和扩展。近年来，通过整合多台投影仪的投射能力，多投影显示墙较好地解决了上述问题。多投影显示墙中的关键技术为输出画面的几何校正和颜色校正，几何校正是指通过投影仪投射某种易于识别和定位的图形模式并使用摄像机捕获投影画面，然后对拍摄的图片进行识别和分析来求取投影仪预扭曲矩阵的过程。早期国内外关于多投影显示墙的几何校正研究主要集中于平面投影幕的多投影显示墙。

近年来，关于曲面幕多投影显示墙的几何校正成为相关领域的研究热点。但是目前的研究主要针对特殊的曲面幕，比如球面幕、环幕等。对任意连续曲面幕缺少自动几何校正的方法。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：

1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；

2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；

3)将对应于每台投影仪的曲面片进行网格细分；

4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。

进一步的，步骤1)具体为：设相邻两台投影仪的原始投影区域用四边贝塞尔曲面表示为:

其中，u，v∈[0,1]，P_i,j(0≤i≤m，0≤j≤n)和Q_i,j(0≤i≤m，0≤j≤n)为对应曲面的控制点，B_i,m(u)是m次Bernstein基函数，定义如式(6)，B_j,n(v)的定义与B_i,m(u)类似；

进一步的，为了保证拼接后的曲面在u和v方向上的光滑连续，P_i,j和Q_i,j同时满足有公共边界和公共切平面两个条件:

Q_u(0,v)＝α(v)P_u(1,v)+β(v)P_v(1,v)， (8)

其中α(v)为正常数，β(v)为v的线性函数。

进一步的，步骤2)具体为：在三维曲面拼接的基础上，使用德卡斯特里奥(DeCasteljau)算法通过逐点递推来计算每台投影仪需要投影的曲面区域。

进一步的，若为两台投影仪拼接，给定其中任意投影仪的投影曲面参数模型:

其中P_i,j(0≤i≤m，0≤j≤n)为控制点，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。计算每台投影仪的投影区域时，以本投影仪的原始投影区域的中心点为基础，采用式(10)的递推方法，求取所有的曲面点：

先沿着u坐标轴方向，对n+1个控制点构成的多边形序列以u为参数应用德卡斯特里奥算法，完成m步递推后，可以得到沿着v轴方向的n+1个顶点 构成的多边形M；然后再以v为参数对上述多边形M应用德卡斯特里奥算法，经过n级递推之后，即可得到一个新的投影曲面点，以此类推，可以获得对应于每台投影仪的理想显示曲面k为组成多投影系统的投影仪数量。

进一步的，步骤(3)具体为：在步骤2)中得到的曲面片基础上增加顶点的数量，使得曲面上每个子网格可以采用类似平面幕的方法进行逼近，用离散曲率K表示曲面上任意顶点v的弯曲程度，定义如下:

其中v_j表示离散曲面上任意一个顶点v的最近邻顶点；增加顶点的过程采用Loop细分方法，最终获得对应于每台投影仪的细化理想显示曲面

进一步的，步骤4)具体为：在对应于每i台投影仪的细化理想显示曲面中，针对每个三角形网格，利用其本身的三个顶点，以及至少2个相邻节点，使用最小二乘法求取对应的预扭曲矩阵M，最后采用与平面幕类似的方法对投影前缓冲区内的对应区域进行预扭曲。

本发明针对任意连续曲面多投影显示墙的通用自动几何校正方法，该方法在对两个摄像机进行标定的基础上，基于双目视觉原理对投影幕布进行三维重建来获得投影幕的局部模型。然后求取从投影前画面空间到三维投影幕布空间的映射关系，并按照最大化利用投影仪的原始投影区域的原则，计算每台投影仪对应的预扭曲矩阵来实现多投影显示墙输出画面的自动几何校正。

附图说明

图1是投影幕三维重建示意图；

图2是预设规格的黑白格图案；

图3是投影幕的局部网格模型示意图；

图4是投影曲面拼接示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

在对投影幕三维重建前，需要对所用的两个摄像机进行标定从而获得两个摄像机的内外参数。本申请采用小孔摄像机模型，计算对应于每个摄像机的6个内部参数{f，k，Sx，Sy，Cx，Cy}和6个外部参数{α，β，γ，Tx，Ty，Tz}，其中，f为焦距；k表示径向畸变量级，如果κ为负值，畸变为桶型畸变，如果为正值，那畸变为枕型畸变。Sx，Sy是缩放比例因子，表示图像传感器上水平和垂直方向上相邻像素之间的距离；Cx，Cy是图像的主点，这个点是投影中心在成像平面上的垂直投影，同时也是径向畸变的中心。T＝(Tx，Ty，Tz)是平移向量，R＝R(α，β，γ)是旋转矩阵，(α,β,γ)分别是绕摄像机坐标系x轴、y轴和z轴的旋转角度。

如图1所示，投影幕三维重建的基本思路是，在摄像机标定的基础上，使用两只摄像机同步采集平铺在投影幕正前方地面上的黑白格定标地垫和投射在投影幕上的特定几何图案；然后识别采集到的图像中的特征点并进行三维重建；最后构造投影幕的三维网格模型。其中所用的黑白格定标地垫的作用主要是确定两个摄像机的相对位置关系和建立唯一的公共世界坐标系。另外，实际操作中，只需要对投影仪原始投影区域覆盖的投影幕表面进行三维重建，得到投影幕的局部模型，而忽略其它部分的投影幕。

本申请的任意连续曲面幕三维重建算法步骤如下:

输入：两个摄像机的内外参数。

输出：每台投影仪原始投影区域的局部贝塞尔曲面模型。

1)通过两个摄像机同步采集定标地垫的图像P1和P2。

每个摄像机至少采集到三分之二的定标地垫，以确保有足够的重叠区域。

2)根据图像P1和P2，确定公共世界坐标系。

为了简化计算过程，我们把摄像机1对应的摄像机坐标系设定为公共世界坐标系，并重新调整两个摄像机的外部参数。此时摄像机1的旋转矩阵为单位阵，而平行向量为零向量。

3)通过每台投影仪投射预设规格的黑白格图案(如图2所示)，并使用两个摄像机同步进行采集得到图像P3和P4。

4)识别图像P3和P4中的黑白格角点，得到一系列的对应点三元组S1:{投影前图像坐标系下的点(x，y)；摄像机1坐标系下的点(u1，v1)；摄像机2坐标系下的点(u2，v2)}。

5)根据两个摄像机的内外参数，进行三维重建，得到一系列对应点二元组S2:{投影前图像坐标系下的平面点(x，y)；公共世界坐标系下的空间点(X，Y，Z)}。

6)以二元组S2中公共世界坐标系下的空间点集为型值点，采用德卡斯特里奥算法(De Castellan’s Algorithm)拟合出投影幕上对应于每台投影仪原始投影区域的局部贝塞尔曲面模型，如图3所示。这里局部模型的精度取决于第(3)步所用黑白格图案的预设规格(黑白格密度、相对尺寸等)，其张量积形式的定义为:

其中u，v∈[0,1]，P_ij(i＝0,1,...,m；j＝0,1,…,n)为使用德卡斯特里奥算法反求出来的(m+1)×(n+1)个控制点的位置矢量，B_i,m(u)和B_j,n(v)分别为m次和n次的Bernstein基函数。

在已经建立对应于每台投影仪原始投影区域局部模型的基础上，基于最大化利用投影仪投影区域的原则，设计了一种新颖的几何校正方法。该方法摒弃了传统几何校正方法均匀分割投影任务的缺陷，允许组成投影系统的各台投影仪根据自身能力投射不同尺寸的投影画面，从而最大化地利用实际投影区域。

广义几何变换函数

投影仪的广义几何变换函数是指从投影仪缓冲区的图像空间(u，v)到特定三维投影曲面空间(x，y，z)的映射关系，定义为:

f(x,y,z)＝F(u,v), (2)

通常情况下，由于投影仪镜头的非线性扭曲影响和投影曲面的复杂性，式(2)为非线性的，不能用仿射变换来描述。但是，当投影幕的三维网格模型足够精细时,每个网格单元内的广义几何变换可以用一个仿射变换来逼近，如式(3)所示。其中的M是4*3的矩阵，可以用每个网格单元的4个顶点以及8个邻居节点的对应数据来求解M。最终得到对应于每台投影仪的一组仿射变换矩阵:

自动几何校正算法

在投影仪广义几何变换函数的基础上，本申请的自动几何校正算法流程包括理想输出画面的三维曲面拼接、投影任务的分配以及每台投影仪预扭曲矩阵集的计算等几个过程。具体算法步骤如下:

输入：每台投影仪的广义几何变换函数。

输出：每台投影仪的预扭曲矩阵集。

1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R。

设相邻两台投影仪的原始投影区域用四边贝塞尔曲面表示为:

其中，u，v∈[0,1]，P_i,j(0≤i≤m，0≤j≤n)和Q_i,j(0≤i≤m，0≤j≤n)为对应曲面的控制点，B_i,m(u)是m次Bernstein基函数，定义如式(6)，B_j,n(v)的定义与B_i,m(u)类似。

如图4所示，为了保证拼接后的曲面在u和v方向上的光滑连续，P_i,j和Q_i,j需要同时满足有公共边界和公共切平面两个条件:

Q_u(0,v)＝α(v)P_u(1,v)+β(v)P_v(1,v)， (8)

其中α(v)为正常数，β(v)为v的线性函数。

2)基于最大化利用投影仪的原始投影区域的原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪。为软件实现的多投影拼接中，无法扩展每台投影仪的原始投影区域，因此，平面幕多投影系统的几何校正通常是在公共投影区域内寻找一个最大内嵌矩形。但是在任意连续曲面幕的几何校正中，投影面是三维的，而且形状通常比较复杂，难以采用类似平面幕的方法实现几何校正。本申请在三维曲面拼接的基础上，使用德卡斯特里奥(DeCasteljau)算法通过逐点递推来计算每台投影仪需要投影的曲面区域。

以两台投影仪拼接为例，给定其中任意投影仪的投影曲面参数模型:

其中P_i,j(0≤i≤m，0≤j≤n)为控制点，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。计算每台投影仪的投影区域时，以本投影仪的原始投影区域的中心点为基础，采用式(10)的递推方法，求取所有的曲面点。

具体讲，先沿着u坐标轴方向，对n+1个控制点构成的多边形序列以u为参数应用德卡斯特里奥算法，完成m步递推后，可以得到沿着v轴方向的n+1个顶点构成的多边形M；然后再以v为参数对上述多边形M应用德卡斯特里奥算法，经过n级递推之后，即可得到一个新的投影曲面点。以此类推，可以获得对应于每台投影仪的理想显示曲面k为组成多投影系统的投影仪数量。

3)将对应于每台投影仪的曲面片进行网格细分，从而简化几何校正流程。本方法是在第(2)步中得到的曲面片基础上增加顶点的数量，使得曲面上每个子网格可以采用类似平面幕的方法进行逼近。用离散曲率K表示曲面上任意顶点v的弯曲程度，定义如下:

其中v_j表示离散曲面上任意一个顶点v的最近邻顶点。增加顶点的过程采用Loop细分方法，最终获得对应于每台投影仪的细化理想显示曲面

4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。

在对应于每i台投影仪的细化理想显示曲面中，针对每个三角形网格，利用其本身的三个顶点，以及至少2个相邻节点，使用最小二乘法求取对应的预扭曲矩阵M。最后采用与平面幕类似的方法对投影前缓冲区内的对应区域进行预扭曲。

实施例

实验平台采用1台主机，1台MVD206六屏扩展仪，6台分辨率为1024X768的EPSONLCD投影仪，2只1080P的HIKVISION网络摄像机，高清灰软弧形幕布和易折叠灰色软幕布各1块以及1张黑白格定标地垫。其中的主机配置为:Intel酷睿i7 6700K处理器，8G内存，Quadro K2000显卡。

本申请设计了两个实验分别对本文几何校正算法的性能进行测试和分析。性能比较时采用了平均局部误差(Average Local Error)、平均全局误差(Average GlobalError)和平均耗时三个技术指标。

环幕几何校正的结果比较

本实验采用2X3投影仪阵列投射高密度网格，投影幕布为直径3m、高2m的高清灰软弧形幕。

为了定量分析本申请提出的几何校正方法的精度，分别采用Michael Harville,Bruce Culbertson,Irwin Sobel,et al.Practical Methods for Geometric andPhotometric Correction of Tiled Projector Displays on Curved Surfaces[C]//Proceedings of IEEE Computer Society Conference on Computer Vision andPattern Recognition Workshops 2006,Washington D C:IEEE Computer SocietyPress,2006:51-58(第一方法)、B.Sajadi,A.Majumder.Auto-calibration ofcylindrical multi-projector systems[C]//Proceedings of IEEE Virtual RealityConference 2010,Washington D C:IEEE Computer Society Press,2010:155-162(第二方法)和本申请的算法进行了几何校正测试，并从平均局部误差、平均全局误差和平均耗时三方面进行了比较，其结果如表1所示。

表1几种几何校正方法的性能比较

从表1中可以看出，本申请方法的几何校正误差明显低于第一方法和第二方法发中的对应方法，尤其是平均全局误差方面优势更加明显。这是由于本申请的算法在完成三维曲面拼接和投影任务分配之后，对每台投影仪的理想投影曲面进一步执行网格细分的缘故。同样从表1可以看出，本文方法的平均耗时要高于另外两种方法。这是由于本文算法执行中涉及计算相对复杂的三维曲面自动拼接造成的。但是在实际应用中，因为几何校正过程是离线完成的，相对较高的平均耗时对多投影系统的正常运行并不会产生负面影响。

一般连续曲面幕的几何校正

为了进一步对本申请的算法进行验证，本实验将易折叠灰色软幕布支撑为不规则的一般连续曲面形状，并设置四种不同的投影仪阵列进行测试，实验结果如表2所示。

表2本申请的方法在不同环境下的性能比较

从表2可以看出，随着投影仪数量的增加，平均全局误差和平均局部误差均有所增大,这主要是由于实验所用网络摄像机分辨率的有限性造成。随着总投影画面的增大，每次拍摄校正特征图案时，会造成照片分辨率的相对降低。解决这个问题的办法是提高网络摄像机的分辨率，或者采用类似文献[4]中的方法:多次拍摄并进行照片拼接。另外，表2也显示了随着投影仪数量的增加，平均耗时有比较明显的增加，这是由于硬件和算法两方面的原因造成。硬件方面，随着投影仪数量的增加，所用主机需要消耗更多的资源处理图像生成和显示，因此会在一定程度上影响几何校正算法的运行速度；另一方面，投影仪数量的增多，会产生更多的相邻区域，从而增加三维曲面拼接消耗的时间。这一类问题可以通过提升所用主机的硬件配置，或者采用多台主机的级联来解决。

Claims (7)

1.任意连续曲面幕多投影显示墙的自动几何校正方法，包括如下步骤：

1)通过三维曲面拼接构造一阶几何连续的理想显示曲面R；

2)基于最大化利用投影仪的原始投影区域原则，进行投影任务分配，并将理想显示曲面R上的投影任务分配到不同的投影仪；

3)将对应于每台投影仪的曲面片进行网格细分；

4)求解对应于每台投影仪的预扭曲矩阵，并实时进行几何校正。

2.如权利要求1所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤1)具体为：设相邻两台投影仪的原始投影区域用四边贝塞尔曲面表示为:

$P(u,v)=\underset{i=0}{\overset{m}{\Σ}}\underset{j=0}{\overset{n}{\Σ}}{P}_{i,j}{B}_{i,m}\left(u\right)B_{j,n}\left(v\right),---\left(4\right)$

$Q(u,v)=\underset{i=0}{\overset{m}{\Σ}}\underset{j=0}{\overset{n}{\Σ}}{Q}_{i,j}{B}_{i,m}\left(u\right)B_{j,n}\left(v\right),---\left(5\right)$

其中，u，v∈[0,1]，P_i,j(0≤i≤m，0≤j≤n)和Q_i,j(0≤i≤m，0≤j≤n)为对应曲面的控制点，B_i,m(u)是m次Bernstein基函数，定义如式(6)，B_j,n(v)的定义与B_i,m(u)类似；

$B_{i,m}\left(u\right)=\frac{m!}{i!(m-i)!}{u}^i\·{(1-u)}^{m-i}---\left(6\right).$

3.如权利要求2所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：为了保证拼接后的曲面在u和v方向上的光滑连续，P_i,j和Q_i,j同时满足有公共边界和公共切平面两个条件:

$\left\{\begin{array}{c}P(1,1)=Q(0,1)\\ P(1,0)=Q(0,0)\end{array}\right.,---\left(7\right)$

Q_u(0,v)＝α(v)P_u(1,v)+β(v)P_v(1,v)， (8)

其中α(v)为正常数，β(v)为v的线性函数。

4.如权利要求3所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤2)具体为：在三维曲面拼接的基础上，使用德卡斯特里奥(De Casteljau)算法通过逐点递推来计算每台投影仪需要投影的曲面区域。

5.如权利要求4所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：若为两台投影仪拼接，给定其中任意投影仪的投影曲面参数模型:

$P(u,v)=\underset{i=0}{\overset{m-a}{\Σ}}\underset{j=0}{\overset{n-b}{\Σ}}{P}_{i,j}{B}_{i,m}\left(u\right)B_{j,n}\left(v\right),---\left(9\right)$

其中P_i,j(0≤i≤m，0≤j≤n)为控制点，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。计算每台投影仪的投影区域时，以本投影仪的原始投影区域的中心点为基础，采用式(10)的递推方法，求取所有的曲面点：

$P_{i,j}^{a,b}=\left\{\begin{array}{cc}{P}_{i,j}& (a=0,b=0)\\ (1-u)P_{i,j}^{a-1,0}+{\mathrm{uP}}_{i+1,j}^{a-1,0}& (a=1,2,\mathrm{...},m;b=0)\\ (1-v)P_{0,j}^{m,b-1}+{\mathrm{vP}}_{0,j+1}^{m,b-1}& (a=0;b=1,2,\mathrm{...},n)\end{array}\right.---\left(10\right)$

先沿着u坐标轴方向，对n+1个控制点构成的多边形序列以u为参数应用德卡斯特里奥算法，完成m步递推后，可以得到沿着v轴方向的n+1个顶点(j＝1,2,…,n)构成的多边形M；然后再以v为参数对上述多边形M应用德卡斯特里奥算法，经过n级递推之后，即可得到一个新的投影曲面点，以此类推，可以获得对应于每台投影仪的理想显示曲面(i＝1,2,…,k)，k为组成多投影系统的投影仪数量。

6.如权利要求5所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤(3)具体为：在步骤2)中得到的曲面片基础上增加顶点的数量，使得曲面上每个子网格可以采用类似平面幕的方法进行逼近，用离散曲率K表示曲面上任意顶点v的弯曲程度，定义如下:

$K=\frac{2<n_v,v_j-v>}{\left|\right|v_j-v|{|}^2},---\left(11\right)$

其中v_j表示离散曲面上任意一个顶点v的最近邻顶点；增加顶点的过程采用Loop细分方法，最终获得对应于每台投影仪的细化理想显示曲面(i＝1,2,…,k)。

7.如权利要求6所述的任意连续曲面幕多投影显示墙的自动几何校正方法，其特征在于：步骤4)具体为：在对应于每i台投影仪的细化理想显示曲面中，针对每个三角形网格，利用其本身的三个顶点，以及至少2个相邻节点，使用最小二乘法求取对应的预扭曲矩阵M，最后采用与平面幕类似的方法对投影前缓冲区内的对应区域进行预扭曲。