CN105023267A - 多投影显示系统图像对准算法 - Google Patents

Abstract

本发明公开了一种多投影显示系统图像对准算法，利用光线传输过程中相位不变的原理建立投影机帧缓存图像与相机拍摄图像间像素级的一一对应关系，达到图像对准的目的，该方法无需事先知道显示墙的解析表达式，简化了已有算法需要大量采样点或者细分加密的过程，能够直接得到像素间的映射关系，提高了图像对准的精度，并且可以应用于任意光滑表面的显示墙上。

Description

多投影显示系统图像对准算法

技术领域

本发明涉及一种多媒体投影领域，特别是涉及一种多投影显示系统图像对准算法。

背景技术

随着虚拟现实技术在商业、娱乐和科学研究等领域影响的日益广泛，市场对超大屏幕高分辨率显示需求不断提升，多投影显示技术受到越来越多的关注，涌现出了很多优秀的系统，几何校正、颜色校正和亮度边缘融合是多投影显示系统的几个关键技术,而投影机帧缓存中像素与校正用相机拍摄图像像素间映射关系的建立是前提和基础。大多数投影机都是针对平面投影而设计，在其焦距位置上有一焦平面，当每个像素都聚焦到这个平面对应的像素点上时，就显示出了正确的图像。

如果显示墙是一曲面，则该曲面的某些部分并不在投影机焦平面上，这些部位的投影像素就会发生偏移，而这种偏移就导致了图像扭曲的产生，也会导致投影图像的大小发生变化。为了在曲面显示墙上得到正确的图像，就需要对投影机的输出画面进行预变形，用来抵消系统中由于投影机摆放位置的随意性和屏幕的不规则性带来的几何错位，变形后的图像再经过一个投影变换投射到显示墙上时就得到了正确的图像，上述过程就是几何校正。几何校正最关键的环节是建立计算机帧缓存图像与投影机投影在显示墙上的图像之间的几何位置精确对应关系，Surati 等使用特征线图案来建立投影机空间到显示墙空间的映射关系，但在投影机亮度较低时，会严重影响校正精度；Ramesh等提出了一个基于二次变换的对准算法，预先标定相机和投影机，并估计二次曲面参数；Chen 等通过建立与维护一个Homography树来拼接从不同位置拍摄的低分辨率图像，间接地求取每个投影子区域与显示墙的位置关系；Bhasker等针对镜头畸变问题给出了基于有理Bezier曲面网格的修正方法，但仅限于平面显示墙；Harville 等利用三角网格和纹理映射来建立投影图像与相机图像间的对应关系；Philippe等针对显示墙解析式和投影机内参数未知的情况,采取密集采样和分片插值的方式计算投影图像的映射关系；王修晖等用特征条代替特征线计算映射关系，提高了检测精度，但目前也仅适用于平面系统；彭俊毅等通过二次校准方法细化求解一致性矩阵来实现自动拼接；王邦平等提出使用矩形和圆点组成的特征图案来计算映射关系，算法涉及到图像分割、特征识别与提取、插值加密等过程，实现流程很复杂；张军等用细分曲面技术去加密初始粗糙网格，精度比较高，但耗时较长；闫利等使用图像匹配技术构建不规则三角网，将图像分解在各三角形区域内实现高精度图像对准；黄淼等通过对比样本图像与标准图像来计算数码相机的校正参数，可以获取投影机的特征点和有效显示区域；陈显峰提出了一种新的基于对位标志几何特征的图像对准算法，先在二值化前后进行两次滤波，再使用形态学边缘检测算法来提取图像的边缘轮廓，有效地提高了图像的对准速度。

发明内容

本发明的目的是为了解决上述问题而提供一种多投影显示系统图像对准算法。

本发明是通过以下技术方案实现的：

一种多投影显示系统图像对准算法，包括以下步骤：

一、首先向待测物体表面投影结构光,得到被物体表面高度起伏调制后的变形条纹标准正弦条纹和变形条纹，正弦条纹和变形条纹分别表示为式(2)和式(3)：

Istandard = a(x,y)+ b(x,y)cos(2πx / p), (2)

Ideform = a(x,y)+b(x,y)cos(2πx / p +2πh(x,y)/ λ), (3)

上式中:a( x,y)为背景光强；

   b( x,y)为条纹的调制度；

   h(x,y)是待测物体的面形分布；

   p 是条纹周期；

       λ为等效波长；

变形条纹中隐含了物面的高度信息，面形不同生成的变形条纹也不一样，经过相位展开后，利用相位-高度转换关系就可以得到物面的高度信息，进行相位展开的目的是为了把由于反三角运算引起的截断相位恢复成原有的真实相位，常用的相位展开算法有时间相位展开算法、最小二乘法和调制度排序法等；

二、采用发散照明光路的相位-高度映射关系，利用三角形相似原理可以求得物面的高度h，即：

 d /                                                 =(L0 - h)/ h. (4) 

    将式(4)变形,得:

 (5)

式(4)和(5)中：P1、P2 为投影系统的人瞳和出瞳；I1、I2 为成像系统的人瞳和出瞳；L0、d 为系统结构参数，可以计算得到调制相位φ与之间的映射,即与物体高度h的映射关系。

具体地，向待测物体表面投影结构光为正弦条纹。

本发明的有益效果是：

本发明为一种多投影显示系统图像对准算法，利用光线传输过程中相位不变的原理建立投影机帧缓存图像与相机拍摄图像间像素级的一一对应关系，达到图像对准的目的，该方法无需事先知道显示墙的解析表达式，简化了已有算法需要大量采样点或者细分加密的过程，能够直接得到像素间的映射关系，提高了图像对准的精度，并且可以应用于任意光滑表面的显示墙上。

附图说明

图1是本发明中经物体表面调制生成变形条纹示意图；

图2是本发明中采用发散光路照明的测量结构图；

图3是本发明中帧缓存图像与相机图像映射关系示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明：

本发明为一种多投影显示系统图像对准算法，其特征在于，包括以下步骤：

一、首先向待测物体表面投影结构光(通常用正弦条纹),得到被物体表面高度起伏调制后的变形条纹标准正弦条纹和变形条纹，如图1所示，正弦条纹和变形条纹分别表示为式(2)和式(3)：

Istandard = a(x,y)+ b(x,y)cos(2πx / p), (2)

Ideform = a(x,y)+b(x,y)cos(2πx / p +2πh(x,y)/ λ), (3)

上式中:a( x,y)为背景光强；

   b( x,y)为条纹的调制度；

       h(x,y)是待测物体的面形分；

       p 是条纹周期；

       λ为等效波长；

    变形条纹中隐含了物面的高度信息，面形不同生成的变形条纹也不一样，经过相位展开后，利用相位-高度转换关系就可以得到物面的高度信息，进行相位展开的目的是为了把由于反三角运算引起的截断相位恢复成原有的真实相位，常用的相位展开算法有时间相位展开算法、最小二乘法和调制度排序法，采用发散照明光路的相位-高度映射关系结构图如图2所示；

   二、采用发散照明光路的相位-高度映射关系，利用三角形相似原理可以求得物面的高度h，即：

 d /  =(L0 - h)/ h. (4) 

    将式(4)变形,得:

 (5)

图2、式(4)和(5)中：P1、P2 为投影系统的人瞳和出瞳；I1、I2 为成像系统的人瞳和出瞳；L0、d 为系统结构参数，可以计算得到调制相位φ与之间的映射,即与物体高度h的映射关系。

算法原理：

由于投影机发出的一条光线经过物体传递到相机上，相位不会发生改变。根据这一原理建立帧缓存图像和相机图像的映射关系,帧缓存图像和相机图像的每个像素点都对应有水平和垂直2个相位值。求解时首先将标准条纹图和变形条纹图进行相位展开,标准条纹图即对应帧缓存图像,变形条纹图对应相机图像,然后利用帧缓存图像上任一像素点的水平方向上相位值,在相机图像的水平变形条纹的展开图中找到一系列与其相位值相等的点的位置,将这些离散点拟合成一条水平等相位线;同理也可以拟合出一条垂直方向的等相位线,求解出这2 条等相位线的交点即为帧缓存图像上该像素点对应于相机图像上的像素点(亚像素点)。遍历帧缓存图像上所有的像素点,分别找到它们对应于相机图像上的等相位点,这样就建立起了帧缓存图像与相机图像的映射关系,也即求解了g(.)。

如图3所示，给出了一维空间上的算法示意图，在图3左边部分(帧缓存图像)的标准正弦条纹的相位线上任取一点,比如图中的A点,根据相位相等关系找到其在右边部分(相机图像)变形相位图中所对应的位置,即B点的横坐标。

算法流程

(1)投影一系列水平和垂直标准正弦条纹图像和一幅棋盘格图像。如果采用4帧相移法,则分别投影水平和垂直正弦条纹各4 幅,相邻的条纹图之间做了相移。投影棋盘格图像的作用是利用其中心的角点来作为相位展开的起始点,这样能够保证帧缓存图像的相位展开图与相机拍摄图像的相位展开图对齐。

(2)用相机拍摄上述正弦条纹图和棋盘格图，拍摄时要注意拍下完整的特征图像。

(3)进行条纹图的相位展开操作。展开前根据实际情况可对拍摄图像进行预处理,如降噪等;然后分别将水平条纹图和垂直条纹图的标准正弦条纹和变形条纹按照特定的相位展开算法进行相位展开,展开的起始点由棋盘格图像的中心角点确定。

(4)计算帧缓存图像与相机图像之间的像素对应关系。相位展开完成后,按照算法进行映射关系的建立。相位截断现象是由于使用反正切函数计算相位,只能返回- π 到+ π 之间的相位值,导致相位值被截断,为了重建连续相位分布,必须进行相位展开。相位展开的一般过程是沿截断相位数据矩阵的行或列方向,比较相邻两个点的相位值,如果差值小于- π,则后一点的相位值应加上2π;如果差值大于π,则后一点的相位值应减去2π。本发明中使用菱形相位展开算法进行相位展开,由展开起始点开始与其相邻的上下左右4 点分别进行相位比较,按照前面提到的算法进行相位值修改,然后再分别找到与这4 个点相邻的4 个点进行相位比较,以此类推直至把整个截断相位图展开完毕。菱形相位展开算法具有计算简单,运行速度快的优点。等相位线是由一系列的等相位点拟合成的. 为了加快交点的求取速度,设计了如下算法:先找到交点所在的大概位置,用两个稀疏矩阵( m × n)来分别存储取整后的水平和垂直方向上的等相位位置点,设置这些位置点的值为1,其它点为0;然后把两个矩阵相加,值为2 的点则是交点位置. 如果找不到,则把相加后矩阵的前m - 1 行与后m - 1行相加,得到新矩阵的前n -1 列与后n -1 列再相加。寻找最后得到的矩阵中值为4 的点,还是找不到的话则查找值为3 的点,此时必能得到结果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (2)

1.一种多投影显示系统图像对准算法，其特征在于，包括以下步骤：

一、首先向待测物体表面投影结构光,得到被物体表面高度起伏调制后的变形条纹标准正弦条纹和变形条纹，正弦条纹和变形条纹分别表示为式(2)和式(3)：

Istandard = a(x,y)+ b(x,y)cos(2πx / p), (2)

Ideform = a(x,y)+b(x,y)cos(2πx / p +2πh(x,y)/ λ), (3)

上式中:a( x,y)为背景光强；

   b( x,y)为条纹的调制度；

   h(x,y)是待测物体的面形分布；

   p 是条纹周期；

       λ为等效波长；

    二、采用发散照明光路的相位-高度映射关系，利用三角形相似原理可以求得物面的高度h，即：

 d /                                                 =(L0 - h)/ h. (4) 

    将式(4)变形,得:

 (5)

式(4)和(5)中：P1、P2 为投影系统的人瞳和出瞳；I1、I2 为成像系统的人瞳和出瞳；L0、d 为系统结构参数，可以计算得到调制相位φ与之间的映射,即与物体高度h的映射关系。

2.根据权利要求1所述的多投影显示系统图像对准算法，其特征在于，向待测物体表面投影结构光为正弦条纹。