CN1949166A - 自由多视点多投影三维显示系统和方法 - Google Patents

Abstract

本发明涉及一种自由多视点多投影三维显示系统和方法。本自由多视点多投影三维显示系统由1－5对用于摄像的彩色CCD摄像机、一台用于校准的彩色CCD摄像机、2－8台投影仪、一台大屏幕显示终端、一块校准板和一台装配有多通道同步图像采集卡以及多路输出显卡的计算机组成，计算机通过图像采集卡与摄像机连接并通过显示卡与投影仪连接。三维多投影显示方法包括：图像源视频编码，投影仪校准，立体图像拼接等步骤。本发明的三维多投影显示系统基于计算机视觉技术，可实现大屏幕，逼真的三维多投影显示。

Description

自由多视点多投影三维显示系统和方法

技术领域

本发明涉及一种三维显示系统和方法，特别是一种自由多视点多投影三维显示系统和方法。

背景技术

投影显示是三维立体显示方式的一种。三维像显示方式有多种，主要分为需要辅助工具的和不需要辅助工具的。早期的立体显示辅助工具主要有头盔式和眼镜式，眼镜式又有红蓝片，偏振片等多种。这些立体显示方式由于需要配戴工具，束缚了人们观看的自由性。

不需要辅助工具的三维显示方式研究得到了广泛的发展。这将使人们从眼镜和头盔中解放出来，能够自由的观看立体图像，增强系统的易用性，互动性和使用的乐趣。目前不需要辅助工具的三维显示方式主要有全息显示和体积显示。这两种显示方式虽然可以让人们从多角度获取真实的立体感，但仍存在很多技术的局限性。目前全息显示还主要运用于显示单色的，小范围静态物体。在可预见的将来，想要实现对于自然场景的大屏幕动态显示还是很难做到的。体积显示因为显示中显示的位置场景的位置以及光线发射源的位置都需要固定，因此不具有实际运用的意义。另外，近年来兴起的立体显示器技术。这种技术实现了真彩图像的立体显示。但由于这种新型显示器多运用液晶显示器，受到液晶平板显示技术发展的制约，目前还不能实现真正意义上的大屏幕立体显示。

发明内容

本发明的目的在于提供一种自由多视点多投影三维显示系统和方法，利用人眼双目视差立体成像原理实现多视角，大屏幕，彩色，实时动态的三维显示。

为达到上述目的，本发明的构思是：

自由多视点多投影三维显示系统，由1-5对用于摄像的彩色CCD摄像机(1)，一台用于校准的彩色CCD摄像机(5)，2-8台投影仪(2)，一台大屏幕显示终端(3)，一块校准板(6)，一台装配有多通道同步图像采集卡以及多路输出显卡的计算机(4)组成，校准板用于投影仪(2)的校准。其中，计算机(4)通过图像采集卡与摄像机(1)连接并通过多路输出显示卡与投影仪(2)连接，计算机(4)内有一套图像源视频编码程序，一套投影仪校准程序和一套立体图像拼接程序。

本发明的系统特点是：

1-5对用于摄像的彩色CCD摄像机(1)使用平行配置方式仿真人眼立体视觉成像原理，校准板(6)由一块平整的白板上绘有四个位置已知的标志点组成，图像源视频编码程序可合成多路视频图像以满足投影需要，投影仪校准程序校准投影仪满足拼接需要，立体图像拼接程序使实现大屏幕立体投影。2-8台投影仪(2)和观察者分立于台大屏幕显示终端(3)两侧等。

本发明的自由多视点多投影三维显示方法采用上述系统实现，具有如下特点：

①1-5对用于摄像的彩色CCD摄像机(1)无需标定；

②仿效人眼立体视觉成像原理，利用特制大屏幕显示终端(3)光学特性，实现立体显示。

③投影显示系统在设备安装完成后，校准一次即可使用

④摆脱三维重构的巨大计算量，实现实时显示，

⑤拍摄画面不受环境复杂度等因素的影响，有很强的适应性。

根据上述的发明构思，本发明采用下述技术方案：

一种自由多视点多投影三维显示系统，由1-5对用于摄像的彩色CCD摄像机，一台用于校准的彩色CCD摄像机，2-8台投影仪，一台大屏幕显示终端，一块校准板，一台装配有多通道同步图像采集卡以及多路输出显卡的计算机组成，计算机通过图像采集卡与摄像机连接并通过显示卡与投影仪连接。其特征在于：所述1-5对用于摄像的彩色CCD摄像机以平行配置方式固定于同一水平高度，并会聚于同一平面。安装位置需确保相邻摄像机间隔约为人眼双目距65mm，摄像机光轴互相平行。用校准板和一台用于校准的彩色CCD摄像机对2-8台投影仪进行校准。1-5对用于摄像的彩色CCD摄像机通过与计算机上配置的多通道同步图像采集卡相连，将2-10路视频信号传输至计算机，经图像源视频编码成为一路视频。将分割后的视频用2-8台投影仪投射至显示终端，拼接融合成大屏幕的显示图像。

在上述的自由多视点多投影三维显示系统中，所述的大屏幕显示终端为柱透镜光栅板，在板的平板处覆有一层漫射层。

在上述的自由多视点多投影三维显示系统中，所述2-8台投影仪成方阵排列与大屏幕显示终端后方，成背投方式。观察者立于显示终端前方观看。

在上述的自由多视点多投影三维显示系统中，所述的校准板为一块平整的白板上绘有四个位置已知的标志点。校准时将其置于大屏幕显示终端的位置处。

一种自由多视点多投影三维显示方法，采用上述的自由多视点多投影三维显示系统进行三维图像显示，其特征在于具体工作步骤为：①1-5对用于摄像的彩色CCD摄像机定位安装后，使对焦于场景的同一平面；②2-8台投影仪和大屏幕显示终端定位安装后，在大屏幕显示终端位置处放置校准板。计算机启动一套投影仪校准程序，校准投影仪。撤去校准板，放上大屏幕显示终端，投射投影仪的拼接校准图像，机械校准投影仪与大屏幕显示终端的相对位置；③用摄像机获取2-10路视频图像：计算机启动一套图像源视频编码程序，根据预设的投影仪参数，大屏幕显示终端参数，用于摄像的彩色CCD摄像机数目和读入的2-10路同步视频的各自第一帧，编码并输出合成后的第一帧图像；接着读入下一帧编码并输出合成后的第二帧图像，如此循环，完成对2-10路同步视频的编码，输出编码后的一路视频；④计算机启动一套立体图像拼接程序，实现大屏幕立体投影。

上述的投影仪校准程序步骤如下：

①将2-8台投影仪安装后，对每台分别进行几何校正：a)在大屏幕显示终端的位置处放置校准板，板上绘有位置已知的四个标志点，用摄像机获取图像；b)提取用于校准的摄像机成像面上四个标志点的坐标，求解出摄像机空间到投影幕空间的变换矩阵；c)撤去校准板，2-8台投影仪依次投射棋盘模式校正图像到大屏幕显示终端上；d)用定位后的用于校准的摄像机获取图像，抽取图像中的特征点，求得每个投影仪空间到摄像机空间的变换矩阵；e)得出每个投影仪空间到投影幕空间变换矩阵，进行几何校正；②2-8台投影仪几何校正后，分别投射投影仪校准图像，校准投影仪的相对位置，进行机械校准。

上述的图像源视频编码程序步骤如下：

①读取1-5对用于摄像的彩色CCD摄像机采集的2-10路同步视频各自的第一帧图像。②计算大屏幕显示终端的条状光栅栅距。③对读入的2-10幅图像进行编码，合成为一幅图像：a)计算出使2-8台投影仪投射在大屏幕显示终端上的条状图纹图像组能与大屏幕显示终端栅距相匹配的条状图纹宽度，b)将读取的2-10幅图像分别分割成a)步骤中计算所得宽度的条状图纹，c)对获取的所有条状图纹重新排列成一个个条状图纹图像组，再由这些图像组组成新的图像，即编码后的合成图像。④使用双线性插值对获取的合成图像进行处理，得最终的输出图像；⑤读取下一帧图像，重复步骤上两步，获得最终合成的一路视频。

上述的立体图像拼接程序具有如下步骤：

①对2-8台投影仪进行颜色校正处理：a)2-8台投影仪依次投射带颜色的棋盘模式校正图像到大屏幕显示终端上，b)抽取模式中颜色方块的投影颜色值，分别计算每台投影颜色和标准颜色的对应性；c)计算亮度混合中的权重，进行亮度边缘融合。

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：

1.无需使用头盔眼镜等辅助观察设备。设计考虑了人的生理特征及观看舒适度，具有辅助式立体显示的效果，却能够像观看电视电影一样的轻松观看三维立体图像。

2.实时显示。无需清楚计算场景中各物体的具体信息，避免了图像匹配等复杂的图像处理步骤，摆脱多数三维显示方式中巨大的数据计算量，实现实时三维立体显示。

3.对使用环境具有较强的适应性。立体显示过程中无需分割提取场景中各物体，更无需本别计算其三维信息。因此，即使再复杂的场景，本发明的处理过程不会产生更多的复杂度，显示结果也不会受其影响。使用于任何场景的实时三维立体显示。

系统设备简单，校准过程简便精确。本系统只需在安装之初校准一次投影仪即可，摄像机无需标定等复杂程序，校准板使用的是成本较低而且便于携带的平面型模版。计算机内的自适应拼接校准程序可自动完成模版特征点的高精度提取及矩阵求解等全部计算工作，无需人工介入。

附图说明

图1是本发明一个实施例的结构示意图。

图2是图1示例使用的校准模板及校准方法示意图。

图3是图1示例使用的拼接校准投影图。

图4是三维投影成像原理图。

图5是图1示例的投影仪校准程序的流程图。

图6是图1示例的图像源编码程序的流程图。

具体实施方式

本发明的一个优选实例结合附图说明如下：

参见图1，本自由多视点多投影三维显示系统，由1-5对用于摄像的彩色CCD摄像机(1)，一台用于校准的彩色CCD摄像机(5)，2-8台投影仪(2)，一台大屏幕显示终端(3)，一块校准板(6)，一台装配有多通道同步图像采集卡以及多路输出显卡的计算机(4)组成，校准板用于投影仪(2)的校准。其中，计算机(4)通过图像采集卡与摄像机(1)连接并通过多路输出显示卡与投影仪(2)连接，计算机(4)内有一套图像源视频编码程序，一套投影仪校准程序和一套立体图像拼接程序。

本三维多投影显示方法通过上述自由多视点多投影三维显示系统实施，其步骤如下：

使用前，将所述1-5对用于摄像的彩色CCD摄像机(1)以平行配置方式固定于同一水平高度，并会聚于同一平面。安装位置需确保相邻摄像机(1)间隔约为人眼双目距65mm，摄像机光轴互相平行，见图1。

安装完1-5对用于摄像的彩色CCD摄像机(1)后，对投影仪(2)进行校准。

参见图2

投影仪校准步骤如下，参见图5：

第一部分，将2-8台投影仪(2)安装后，对每台分别进行几何校正：

第一步：求出摄像机空间与投影幕空间的转换。摄像机的位置未知；投影幕是平面的；摄像机空间到投影幕空间的变换是一个透视变换。

根据以上假设，可以用下面的公式表示摄像机空间内的一点(x_cameta，y_cmera)到投影幕上的一个点(x_display，y_display)之间的变换关系：

$C=\left[\begin{array}{ccc}{c}_{\mathrm{1,1}}& c_{\mathrm{1,2}}& c_{\mathrm{1,3}}\\ c_{\mathrm{2,1}}& c_{\mathrm{2,2}}& c_{\mathrm{2,3}}\\ c_{\mathrm{3,1}}& c_{3,2}& c_{\mathrm{3,3}}\end{array}\right]$

$\left[\begin{array}{c}{x}_{\mathrm{display}}*w\\ y_{\mathrm{display}}*w\\ w\end{array}\right]=C\left[\begin{array}{c}{x}_{\mathrm{camera}}\\ y_{\mathrm{camera}}\\ 1\end{array}\right]$

在大屏幕显示终端(3)的位置处放置校准板(6)，板上绘有位置已知的四个标志点。用摄像机获取图像，提取摄像机(5)成像面上四个标志点的坐标，把这四个标志点在投影幕空间的坐标和它们在摄像机空间的对应象素坐标代入上面的方程就可以求解出摄像机空间到投影幕空间的变换矩阵C。

第二步：求出每个投影仪空间到摄像机空间的变换。撤去校准板(6)，2-8台投影仪(2)依次投射棋盘模式校正图像到大屏幕显示终端(3)上，用定位后的摄像机(5)获取图像，抽取图像中的特征点，求得每个投影仪空间到摄像机空间的变换矩阵P_i。

$P_i=\left[\begin{array}{ccc}{p}_{i_{\mathrm{1,1}}}& p_{i_{\mathrm{1,2}}}& p_{i_{\mathrm{1,3}}}\\ p_{i_{\mathrm{2,1}}}& p_{i_{\mathrm{2,2}}}& p_{i_{\mathrm{2,3}}}\\ p_{i_{\mathrm{3,1}}}& p_{i_{\mathrm{3,2}}}& p_{i_{\mathrm{3,3}}}\end{array}\right]$

$\left[\begin{array}{c}{x}_{\mathrm{camera}}*S\\ y_{\mathrm{camera}}*S\\ S\end{array}\right]=P_i\left[\begin{array}{c}{x}_{\mathrm{projector}}\\ y_{\mathrm{projector}}\\ 1\end{array}\right]$

     D_i＝CP_i

D_i即是投影仪空间到投影幕空间的变换矩阵。因此只要知道投影仪的一个象素的位置，右乘D_i，就可以算出它在投影幕上的位置。将上述过程反过来，根据一个象素期望出现在投影幕上的位置，来确定它在投影机空间中相应的位置。具体的实现是将要显示的图像作为纹理贴到一个根据上述所求矩阵生成的网格上。

第二部分：对2-8台投影仪(2)几何校正后，分别投射拼接校准图像进行机械校准。参见图3。2-8台投影分别投射如图所示的校准图像。每幅图像都是以单象素为宽度的条纹图像，条纹纵横相间。微调投影仪的位置，使2-8幅图像的拼接处呈现全黑色图像，即完成投影仪的机械校准。

投影仪校准完成后，进行图像源视频编码工作，通过摄像机(1)采集八路视频图像。

三维投影成像原理如图4所示，在人眼三维成像视觉模型中，用1-5对用于摄像的彩色CCD摄像机(1)代替人眼，获取物体(x_w，y_w，z_w)在α_i方向的平面映像_αi(ξ，η)。经编码处理后，将单幅图像分割，可表示为：

最终合成图像是多幅平面映射像_αi(ξ，η)的组合，其表达式为：

受柱透镜板作用，每个小柱透镜又将(ξ，η)中的位于该处的 进行分解。整个柱透镜板把每个柱透镜元对应的非常细小的光束所携带的信息组合起来，沿原方向映射，在两视网膜上分别成像φ_L(x_L，y_L)，φ_R(x_R，y_R)，经中枢神经作用，形成对应的立体像。通过双目移动，获取不同光束所携带的信息，从而得到信息量极为丰富的三维空间图像。

图像源视频编码抽样程序步骤为，参见图6：

第一步，先计算柱透镜光栅板栅距D，光栅栅距正好为调整好后投射在显示终端(3)上的一个像素宽度的整数N倍。N应为用于摄像的彩色CCD摄像机(1)台数的整数倍。由此可算出，摄像机(1)获取的图像被割成的条状图纹的宽度d。

第二步，读取1-5对用于摄像的彩色CCD摄像机(1)采集的八路同步视频各自的第一帧图像；将读取的八幅图像分别分割成宽度为d的条状图纹，对获取的所有条状图纹重新排列成一个个条状图纹图像组，再由这些图像组组成新的图像，即编码后的合成图像。

第三步，使用双线性插值法对获取的合成图像进行重新采样压缩。(p′，q′)表示插值生成点，(p，q)，(p，q+1)，(p+1，q)，(p+1，q+1)为其邻点。F(x，y)表示各点的灰度，则插值生成点的灰度为：

            F(p′，q′)＝F(p，q)R(-a)R(b)+

                         F(p，q+1)R(-a)R[-(1-b)]+

                         F(p+1，q)R(1-a)R(b)+

                         F(p+1，q+1)R(1-a)R[-(1-b)]

R(x)是插值函数。

$R\left(x\right)=\left\{\begin{array}{cc}x+1& -1\≤x\≤0\\ 1-x& 0\≤x\≤1\end{array}\right.$

权值系数a和b分别是(p′，q′)点到(p，q)点在x轴和y轴方向上的距离。

得最终的输出图像；读取下一帧图像，重复这一步，获得最终合成的一路视频。

计算机(4)启动立体图像拼接程序，将相邻的图像部分重叠，使颜色平滑地从一边过渡到另一边，进行边缘融合。

赋给重叠区每个象素的亮度一个权值，并使同一位置的权值和为1。所有投影仪的RGB三基色的色度是相同的。对于红色来说就是将RGB颜色(r，0，0)转变到CIE XYZ空间时，只有Y值不同，x、y是相同的。

投影仪的亮度计算如下公式：

L(r，g，b)＝L(r，0，0)+L(0，g，0)+L(0，0，b)

其中L(r，g，b)是对输入RGB值为(r，g，b)时，投影仪的输出亮度(CIE Y)对于重叠去内的某一象素P(d，w)，d为P到重叠去边缘的距离，w为重叠区的宽度，使用两度限性差值。

左边图像P点处的Alpha值

                        α_l＝(d/w)^1/r

右边图像P点处的Alpha值：

                        α_r＝(1-d/w)^1/g

P点处两个图像的亮度相加：

$k{\left(\frac{c{\mathrm{\α}}_l}{255}\right)}^r+k{\left(\frac{c{\mathrm{\α}}_r}{255}\right)}^r={\left(\frac{c{(d/w)}^{1/r}}{255}\right)}^r+k{\left(\frac{c{(1-d/w)}^{1/r}}{255}\right)}^r$

相加后的亮度正好等于不重叠时的亮度。

Claims (8)

1.一种自由多视点多投影三维显示系统，由1-5对用于摄像的彩色CCD摄像机(1)、一台用于校准的彩色CCD摄像机(5)、2-8台投影仪(2)、一台大屏幕显示终端(3)、一块校准板(6)和一台装配有多通道同步图像采集卡以及多路输出显卡的计算机(4)组成，计算机(4)通过图像采集卡与摄像机(1)连接并通过显示卡与投影仪(2)连接，其特征在于：

1)所述1-5对用于摄像的彩色CCD摄像机(1)以平行配置方式固定于同一水平高度，并会聚于同一平面，安装位置需确保相邻摄像机(1)间隔约为人眼双目距65mm，摄像机光轴互相平行；

2)所述的一块校准板(6)和一台用于校准的彩色CCD摄像机(5)用于对所述的2-8台投影仪(2)进行校准；

3)所述的1-5对彩色CCD摄像机(1)通过计算机(4)上配置的多通道同步图像采集卡，将2-10路视频信号传输至计算机(4)，经图像源视频编码成为一路视频；将视频分割后用2-8台投影仪(2)投射至显示终端(3)，拼接融合成大屏幕的显示图像。

2.根据权利要求1所述的自由多视点多投影三维显示系统，其特征在于所述的大屏幕显示终端(3)为柱透镜光栅板，在板的平面处覆有一层漫反射层。

3.根据权利要求1所述的自由多视点多投影三维显示系统，其特征在于所述2-8台投影仪(2)成方阵排列位于大屏幕显示终端(3)后方，成背投方式，观察者立于显示终端(3)前方观看。

4.根据权利要求1所述的自由多视点多投影三维显示系统，其特征在于所述的校准板(6)为一块平整的白板上绘有四个位置已知的标志点，校准时将其置于大屏幕显示终端(3)的位置处。

5.一种自由多视点多投影三维显示方法，采用权利要求1所述的自由多视点多投影三维显示系统进行三维图像显示，其特征在于具体工作步骤为：

①1-5对用于摄像的彩色CCD摄像机(1)定位安装后，使对焦于场景的同一平面；

②2-8台投影仪(2)和大屏幕显示终端(3)定位安装后，在大屏幕显示终端(3)位置处放置校准板(6)；计算机(4)启动一套投影仪校准程序，校准投影仪(2)；撤去校准板(6)，放上大屏幕显示终端(3)，投射投影仪(2)的拼接校准图像，机械校准投影仪(2)与大屏幕显示终端(3)的相对位置。

③获取2-10路视频图像：计算机(4)启动一套图像源视频编码程序，根据预设的投影仪(2)参数，大屏幕显示终端(3)参数，摄像机(1)数目和读入的2-10路同步视频的各自第一帧，编码并输出合成后的第一帧图像；接着读入下一帧编码并输出合成后的第二帧图像，如此循环，完成对2-10路同步视频的编码，输出编码后的一路视频。

④计算机(4)启动一套立体图像拼接程序，实现大屏幕立体投影。

6.根据权利要求5所述的自由多视点多投影三维显示方法，其特征在于所述的投影仪校准程序步骤如下：

①将2-8台投影仪(2)安装后，对每台分别进行几何校正：

a)在大屏幕显示终端(3)的位置处放置校准板(6)，板上绘有位置已知的四个标志点，用摄像机获取图像；

b)提取用于校准的摄像机(5)成像面上四个标志点的坐标，求解出摄像机空间到投影幕空间的变换矩阵；

c)撤去校准板(6)，2-8台投影仪(2)依次投射棋盘模式校正图像到大屏幕显示终端(3)上；

d)用定位后的用于校准的摄像机(5)获取图像，抽取图像中的特征点，求得每个投影仪空间到摄像机空间的变换矩阵；

e)得出每个投影仪空间到投影幕空间变换矩阵，进行几何校正；

②2-8台投影仪(2)几何校正后，分别投射投影仪校准图像，校准投影仪(2)的相对位置，进行机械校准。

7.根据权利要求5所述的自由多视点多投影三维显示方法，其特征在于所述的图像源视频编码程序步骤如下：

①读取1-5对用于摄像的彩色CCD摄像机(1)采集的2-10路同步视频各自的第一帧图像；

②计算大屏幕显示终端(3)的条状光栅栅距；

③对读入的2-10幅图像进行编码，合成为一幅图像：

a)计算出使2-8台投影仪(2)投射在大屏幕显示终端(3)上的条状图纹图像组能与大屏幕显示终端(3)栅距相匹配的条状图纹宽度，

b)将读取的2-10幅图像分别分割成a)步骤中计算所得宽度的条状图纹，

c)对获取的所有条状图纹重新排列成一个个条状图纹图像组，再由这些图像组组成新的图像，即编码后的合成图像；

④使用双线性插值对获取的合成图像进行处理，得最终的输出图像；

⑤读取下一帧图像，重复步骤③～④，获得最终合成的一路视频。

8.根据权利要求5所述的自由多视点多投影三维显示方法，其特征在于所述的立体图像拼接程序步骤如下：

①对2-8台投影仪(2)进行颜色校正处理：

a)2-8台投影仪(2)依次投射带颜色的棋盘模式校正图像到大屏幕显示终端(3)上；

b)抽取模式中颜色方块的投影颜色值，分别计算每台投影颜色和标准颜色的对应性；

②计算亮度混合中的权重，进行亮度边缘融合。

Images