CN107977998B - 一种基于多视角采样的光场校正拼接装置及方法 - Google Patents

Abstract

本发明公开了一种基于多视角采样的光场校正拼接装置及方法，属于光场三维显示校正及多投影图像校正领域，其中，光场校正拼接装置包括：成像目标面，带有标记点阵，用于显示图像；成像系统，设置在成像目标面前；图像获取设备，用于获取成像系统投射在所述成像目标面上的图像；处理器，生成的图像源经过成像系统调制到达成像目标面，同时接收图像获取设备拍摄的图像，建立图像源和成像目标面的点对点映射关系，并基于该映射关系及成像目标面的成像需求，反算图像源所需发出的光场。通过处理器比较图像源和成像目标面的图像生成校正数据，对成像系统的光场进行校正，从而精确再现目标光场。

Description

一种基于多视角采样的光场校正拼接装置及方法

技术领域

本发明涉及光场三维显示校正及多投影图像校正领域，具体地说，涉及一种基于多视角采样的光场校正拼接装置及方法。

背景技术

光场三维显示技术是三维显示技术的一个重要研究发展方向，其中基于多投影阵列的光场三维显示技术能够在空间中重构可大角度观看的大尺度三维场景，因而受到广泛关注。由于该技术中需要多台投影仪在屏幕上同步显示，这就要求每台投影仪必须投影出正确的投影画面，并能够无缝拼接出三维场景的光场。因此，投影仪图像的校正拼接就显得尤为重要。

现有的多投影图像校正方案本质上仍是二维图像校正。一般需要利用复杂的数学模型重构屏幕形状，或需要对图像获取装置进行标定，并且仅讨论对投影仪图像在异形屏幕上的畸变进行校正，没有讨论投影镜头本身存在较大畸变的情况。在校正完图像几何畸变之后，需要采取额外算法来对图像进行拼接，处理拼接边缘。采样时摄像机能够拍摄到单台投影仪的大部分画面。而对于基于多投影阵列的三维显示系统，投影仪发出的光线分布在空间中各个方向上，摄像机在一个位置往往只能拍到投影仪极小的局部画面。

发明内容

本发明的目的为提供一种基于多视角采样的光场校正拼接装置及方法，可用于三维显示中的图像拼接校正。

为了实现上述目的，本发明提供的基于多视角采样的光场校正拼接装置包括：

成像目标面，带有标记点阵，用于显示图像；

成像系统，设置在成像目标面前；

图像获取设备，用于获取成像系统投射在所述成像目标面上的图像；

处理器，生成的图像源经过成像系统调制到达成像目标面，同时接收图像获取设备拍摄的图像，建立图像源和成像目标面的点对点映射关系，并基于该映射关系及成像目标面的成像需求，反算图像源所需发出的光场。

上述技术方案中，通过处理器比较图像源和成像目标面的图像生成校正数据，对成像系统的光场进行校正，从而精确再现目标光场。该装置结构简单，校正能力强，能够综合处理多视角采样结果的三维显示校正方案具有现实意义。

具体的方案为标记点阵在成像目标面上沿横向和纵向分别等间隔分布。

另一个具体的方案为成像目标面为柱形屏，多个成像系统均匀环绕在柱形屏周围。

更具体的方案为成像系统包括投影仪；图像获取设备包括可绕柱形屏移动的CCD。

图像源为投影仪阵列的图像芯片，成像目标面为柱形散射屏。成像系统包括投影仪图像芯片和柱形屏之间所有对光线传播有影响的因素。映射关系用Bezier曲面控制点来表示。N×M次Bezier曲面由如下公式定义，其中p_ij为Bezier曲面的控制点：

将成像目标面上采样点的坐标设为(u,v)，图像源上采样点的坐标设为P(u,v)。p_ij通过将多组(u,v),P(u,v)代入上式来建立解线性方程组求解。

本方案中，使用无需标定，自由摆放的图像获取设备在多个视角对投影仪所发出的光场进行采样。通过图像空间转换，综合处理不同视角的采样数据，生成适用于单台投影仪全画幅的校正数据。

本发明提供的基于多视角采样的光场校正拼接方法包括以下步骤：

1)将成像目标面展开为平面图像空间Scr，并建立平面直角坐标系SOT，将成像目标面的尺寸在Scr空间内归一化；

2)在成像目标面上设置标记点阵，并将各标记点在SOT中的坐标记为{Scr(s,t)},s,t∈[0,1]；

3)利用图像获取设备对成像系统的光场进行多视角采样，将拍摄到的屏幕标记点{Scr_i(s,t)}在图像获取设备的图像空间中的坐标记为{ScrCam_i(a,b)}，并计算出此时Scr空间和图像获取设备的图像空间之间的映射关系B₁：

Scr_i(s,t)＝B₁{ScrCam_i(a,b)}

其中，i指的是图像获取设备所处的第i(i＝1…N)个视角；

4)处理器处理图像获取设备拍摄到的图片，计算投影点在图像获取设备在图像空间中的坐标，记为{ProjCam_ij(a,b)}；

假设图像获取设备位于视角i时，共能拍到K台投影仪的图像，则j∈{1,2…K}，表示对第i(i＝1…N)个视角第j台投影仪进行采样；

5)根据为{ProjCam_ij(a,b)}和映射关系B₁，计算得到投影点在Scr空间的坐标{ProjScr_i(s,t)}：

ProjScr_i(s,t)＝{ProjCam_ij(a,b)}

6)利用成像系统像素查找算法，得到投影点在投影仪空间对应的像素坐标，记为{Proj_ij(m,n)}；

7)在第一个采样视角，重复步骤4)～6)对多个成像系统采样；

8)在第i(i＝2…N)个采样视角，重复步骤4)～7)，得到多个成像系统的多视角采样数据，计算出每个成像系统的成像空间和Scr空间之间的映射关系B₂：

Proj(m,n)＝B₂{ProjScr(s,t)}

9)根据映射关系B₂生成成像空间和Scr空间的映射表，用于校正所述成像系统在所述成像目标面上所成的图像。

具体地，步骤6)中成像系统像素查找算法即投影仪像素查找算法，基于颜色匹配，包括：

颜色区域划分，将成像系统画面划分成多个矩形区域，并设置为不同颜色；

颜色识别，将投影点对应的投影像素定位到某个矩形区域；

在定位到的矩形区域内重复进行颜色区域划分以及颜色识别，直到投影像素被定位到设定的像素范围内；

在该像素范围内逐像素扫描查找得到{Proj_ij(m,n)}。

与现有技术相比，本发明的有益效果为：

(1)本发明基于光场的思想，能够校正光线位置和方向，同时适用于光场校正拼接以及全景图像校正拼接，且对反射、透射型的异形屏均适用；

(2)图像获取设备能在多个视角对单台投影仪所发出的光场进行采样，并且能将不同视角的采样数据整合生成适用于单台投影仪全画幅的校正数据；

(3)利用投影仪像素查找算法，能够在投影仪无需投影特殊图样的情况下获取畸变数据；

(4)根据采样数据建立了投影仪像素和屏幕投影点之间的映射关系，该映射关系能无差别校正镜头畸变及系统装配等误差，并能将投影仪阵列发出的光场无缝拼接。算法流程自动，硬件设备简单，无需标定，操作方便。

附图说明

图1为本发明实施例光场校正拼接装置的结构示意图；

图2为本发明实施例的柱形屏特性示意图；

图3为本发明实施例柱形屏展开成虚拟平面图像空间的示意图。

具体实施方式

以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1，光场校正拼接装置包括柱形屏1、投影仪3、图像获取设备4以及处理器5。其中，柱形屏1为横向散射角较小，纵向散射角较大的全息散射屏，能将投影仪发出的光线散射到空间各个方向，其上设置有沿横向和纵向分别等间隔分布的标记点阵2；投影仪3绕柱形屏1等角度间隔环布，相邻投影仪3的角度间隔为1°，投影仪3装有宽场镜头，具有较大的非线性畸变；图像获取设备4为CCD；处理器5连接投影仪3和图像获取设备4，用于生成投影仪3所要投影的图像，接收图像获取设备4所拍摄的图像并进行分析，生成校正数据。

柱形屏1的散射特性如图2所示，投影仪3在柱形屏1上投出画幅6，在屏幕外侧的一个视角处投影仪能被看到的画幅大小为画幅7。

图3为柱形屏1展开后并将其尺寸归一化的结果。

采用上述光场校正拼接装置对对投影光场进行多视角采样，并计算校正数据的流程如下：

1)在柱形屏1上贴好标记点阵2，将柱形屏1展开成虚拟平面图像空间Scr并建立直角坐标系SOT，在该空间中将屏幕尺寸归一化；

2)CCD置于第i个视角，i∈{1，2…N}，拍摄此时柱形屏1上的标记点阵2；处理器程序识别标记点，将标记点在CCD图像空间的坐标记为ScrCam_i(a,b)。并根据点阵的实际间隔，计算拍摄到的标记点在虚拟屏幕空间中的坐标{Scr_i(s,t)}；根据这两组点，处理器计算出该视角CCD图像空间和虚拟屏幕空间Scr的映射关系B₁；

3)设CCD位于视角i时，共能拍到K台投影仪的图像。当采样第j台投影仪时，j∈{1,2…K}，其余投影仪进入待机状态；第j台投影仪首先投影待校正的M条线，这组线为投影仪图像芯片中的水平线，其像素长度等于投影仪图像芯片横向分辨率；由于散射屏特性，此时CCD只能拍摄到纵向上M个点；调节线条间距，使得在CCD画面中线条投影图能在高度方向上覆盖屏幕；处理器存储此时CCD拍摄到的图像，通过图像处理得到投影点在CCD图像空间中的坐标，记为{ProjCam_ij(a,b)}。通过映射关系B₁计算出{ProjCam_ij(a,b)}在虚拟屏幕空间中的坐标ProjScr_i(s,t)；

4)利用投影仪像素查找算法，查找{ProjCam_ij(a,b)}对应的投影仪像素，首先投影仪画面被划分成4块矩形区域，并设置为不同颜色；通过颜色识别，投影点对应的投影像素被定位到某个矩形区域；在该区域，重复进行颜色区域划分以及颜色识别，直到投影像素能被定位到足够小的像素范围内；最后，在该范围内逐像素扫描查找，得到{ProjCam_ij(a,b)}对应的投影点坐标{Proj_ij(m,n)}；

5)第j台投影仪被采样完毕后，进入待机状态，对第j+1台投影仪重复步骤3)～4)，直到CCD在视角i完成对K_i台投影仪的采样；

6)移动CCD到视角i+1，重复步骤3)～5)，得到所有投影仪被采样的像素点坐标{Proj(m,n)}及其在虚拟屏幕空间Scr中的对应坐标ProjScr(s,t)。基于以上两组点的坐标计算出每台投影仪画幅和屏幕空间之间的映射关系B₂；

7)根据映射关系B₂生成投影仪像素和虚拟屏幕空间的映射表，显示时作为纹理用于三维模型渲染，即完成投影光场的校正拼接。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多视角采样的光场校正拼接装置，其特征在于，包括：

成像目标面，带有标记点阵，用于显示图像；

成像系统，设置在所述成像目标面前；

图像获取设备，用于获取所述成像系统投射在所述成像目标面上的图像；

处理器，生成的图像源经过成像系统调制到达成像目标面，同时接收所述图像获取设备拍摄的图像，建立图像源和成像目标面的点对点映射关系，并基于该映射关系及成像目标面的成像需求，反算图像源所需发出的光场；通过处理器比较图像源和成像目标面的图像生成校正数据，对成像系统的光场进行校正，从而精确再现目标光场；

利用上述装置实现基于多视角采样的光场校正拼接方法，包括以下步骤：

1)将成像目标面展开为平面图像空间Scr，并建立平面直角坐标系SOT，将成像目标面的尺寸在Scr空间内归一化；

2)在成像目标面上设置标记点阵，并将各标记点在SOT中的坐标记为{Scr(s，t)}，s，t∈[0，1]；

3)利用图像获取设备对成像系统的光场进行多视角采样，将拍摄到的屏幕标记点{Scr_i(s，t)}在图像获取设备的图像空间中的坐标记为{ScrCam_i(a，b)}，并计算出此时Scr空间和图像获取设备的图像空间之间的映射关系B₁：

Scr_i(s，t)＝B₁{ScrCam_i(a，b)}

其中，i指的是图像获取设备所处的第i(i＝1...N)个视角；a、b表示的是相机所拍摄到的图像中的像素横纵坐标；

4)处理器处理图像获取设备拍摄到的图片，计算投影点在图像获取设备在图像空间中的坐标，记为{ProjCam_ij(a，b)}；

假设图像获取设备位于视角i时，共能拍到K台投影仪的图像，则j∈{1，2...K}，表示对第i(i＝1...N)个视角第j台投影仪进行采样；

5)根据为{ProjCam_ij(a，b)}和映射关系B₁，计算得到投影点在Scr空间的坐标{ProjScr_i(s，t)}：

ProjScr_i(s，t)＝{ProjCam_ij(a，b)}

6)利用成像系统像素查找算法，得到投影点在投影仪空间对应的像素坐标，记为{Proj_ij(m，n)}，m、n表示的是投影仪图像芯片上像素的横纵坐标；

7)在第一个采样视角，重复步骤4)～6)对多个成像系统采样；

8)在第i(i＝2...N)个采样视角，重复步骤4)～7)，得到多个成像系统的多视角采样数据，计算出每个成像系统的成像空间和Scr空间之间的映射关系B₂：

Proj(m，n)＝B₂{ProjScr(s，t)}

9)根据映射关系B₂生成成像空间和Scr空间的映射表，用于校正所述成像系统在所述成像目标面上所成的图像。

2.根据权利要求1所述的光场校正拼接装置，其特征在于：

所述的标记点阵在成像目标面上沿横向和纵向分别等间隔分布。

3.根据权利要求1所述的光场校正拼接装置，其特征在于：

所述的成像目标面为柱形屏，多个成像系统均匀环绕在柱形屏周围。

4.根据权利要求3所述的光场校正拼接装置，其特征在于：

所述的成像系统包括投影仪；所述的图像获取设备包括可绕所述柱形屏移动的CCD。

5.根据权利要求1所述的光场校正拼接装置，其特征在于，步骤6)中所述的成像系统像素查找算法基于颜色匹配，包括：

颜色区域划分，将成像系统画面划分成多个矩形区域，并设置为不同颜色；

颜色识别，将投影点对应的投影像素定位到某个矩形区域；

在定位到的矩形区域内重复进行颜色区域划分以及颜色识别，直到投影像素被定位到设定的像素范围内；

在该像素范围内逐像素扫描查找得到{Proj_ij(m，n)}。

Images