CN1517786A

CN1517786A - 四维立体图片的数字抽样图及数码合成方法

Info

Publication number: CN1517786A
Application number: CNA031006124A
Authority: CN
Inventors: 邓兴峰
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2004-08-04

Abstract

本发明公开的四维抽样图(3)是四维立体图片的基本组成部分，抽样图由从N个视差点同步拍摄或渲染的N×M幅立体帧序列图像分组后，经横向、纵向正交抽样排列组成，具有图像存储容量大、冗余度低的优点；与由水平光栅(2)和垂直光栅(1)构成的正交光栅配装后，制作出来的四维立体图片，可以显示大幅面、高清晰度、持续时间长的活动立体画面，观众无需佩戴眼镜就可以自由观看，是一种全新的四维广告和展览展示媒体。

Description

四维立体图片的数字抽样图及数码合成方法

本发明属于光学显示技术领域，涉及一种构成自由体视活动立体影像的合成图片及抽样方法。

随着光栅立体成像技术的日趋成熟，三维立体图片以其观看自由、清晰、立体感强的特点开始得到普及。同时，光栅立体技术也向着更高层次发展，这就是近年出现的四维立体图片，所谓“四维”，就是在三维空间中加入“时间”，简单说就是让静止的立体图片活动起来，在后面的叙述中我们称其为“4D图片”。与立体电影等不同的是，4D图片首先是一种“图片”，其次可以自由观看，不需佩戴“眼镜”。

有一种被称为“4D”的图片，实际上只是将部分平面动画序列融合在立体视差图中，视差图像被垂直抽取样条合成立体画，当观察者头部左右移动时，可以看到活动的立体画面，但由于使用的是垂直光栅，人的双眼看到不同的动画画面，因此会产生较强烈的重影及眼晕感。中国专利ZL01229679公开的无眼晕活动立体画，解决了动画重影及眼晕感，是一种简化了的“4D图片”。

中国专利98100939公开的动态立体画装置，用莫尔条纹的移动来模拟立体图像的运动，是四维立体图的雏形。中国专利ZL99211778公开了一种立体动画装置，是一种真正的四维立体图片，由分光元件、帧检光栅、立体动画抽样图、背射光源等构成，用来展示直接观看的立体动画图片，立体动画装置中的分光元件是指立体光栅，帧检光栅即动画光栅。中国专利02125356公开的立体动画光栅，也称为正交光栅或四维光栅，是制作四维立体图片的光栅材料。

在中国专利ZL99211778公开的四维图片正交抽样方法中，立体视差拍摄点的数目N和活动图像的帧数M一般均不大于20，这对展现活动立体影像是不够的。N的值在5～10之间较合适，既占用了较小的设备资源，如图像输出设备分辨能力、摄像机组数量等，又有良好的立体感和观察视角。M的值越大，立体图像的播放越连续，持续的时间越长，如果M＝300，以每秒播放15帧立体图像计，可以持续20秒。显然，该专利所示的正交抽样方法，当N＝5，M＝300时，为了保持4D图像横、纵向大致相等的分辨能力，在水平方向上将有大量的信息冗余，在垂直方向上对图像输出设备的分辨率要求过高而无法实现。

本发明公开的四维立体图片的数字抽样图及数码合成方法，结合了正交抽样技术和立体图像分组合成技术，目的是提供一种清晰度高、立体感强、连续播放时间长的4D图片。

四维立体图片的数字抽样图包含了N×M幅立体帧序列图像的抽样信息，其合成方法包括如下步骤：拍摄立体帧序列图像，选择正交光栅参数，立体帧序列图像预处理，确定4D图片抽样顺序，抽样合成4D图片，数码输出。

拍摄立体帧序列图像，是获取4D图片素材的必要手段。N个能同步拍摄的摄像机或具有同步联动快门、能连续拍摄的照相机按一定视差排列开，对准一活动场景进行连续拍摄，摄像机或照相机按从右到左的顺序编号为1至N，设图像T_n，m是第n号摄像机拍摄的第m帧图像，则

时刻1记录的图像为：T_1，1 T_2，1 T_3，1 ... T_n，1 ... T_N，1

时刻2记录的图像为：T_1，2 T_2，2 T_3，2 ... T_n，2 ... T_N，2

时刻3记录的图像为：T_1，3 T_2，3 T_3，3 ... T_n，3 ... T_N，3

................................................................

时刻m记录的图像为：T_1，m T_2，m T_3，m ... T_n，m ... T_N，m

................................................................

时刻M记录的图像为：T_1，M T_2，M T_3，M ... T_n，M ... T_N，M

用3D动画软件获取立体帧序列图像比实景拍摄要容易一些，在预先设计好的3D动画场景中，按视差要求安排多路摄像机的位置，进行动画渲染，即可完成N×M幅立体帧序列图像的制作。

正交光栅参数的选择，必须要考虑图像输出设备的分辨率、4D图像的尺寸、人们的视觉习惯等因素。本说明书中所说的“光栅”，实质上是一种分光元件，包括柱镜光栅、狭缝光栅，以及可以将空间光点分离的其它类型器件。有关正交光栅的细节可参考中国专利ZL99211778和中国专利02125356，实际上，各种类型的正交光栅均可分解为与之功能等效的水平光栅和垂直光栅，水平光栅的栅距v(单位：mm)和垂直光栅的栅距h，决定了4D图片像素的大小和形状。由于取样效应的存在，我们认为光栅立体画的最小可分辨细节就是光栅的栅距，抽样图的样条在宽度方向含有再多的细节也是冗余的，即视差图像中抽取的一个样条在宽度方向即使含有多个像素，其效果也等效于一个像素。4D图片像素形状为正方形或接近正方形比较理想，因此要求v≈h，设数字图片输出设备的分辨率为s(单位：PPI，每英寸所含的像素数)，则一个4D像素中包含的平面像素数P＝[v*s/25.4]*[h*s/25.4]，其中，算符[]为取整运算。也就是说，一个4D图片可由P幅立体帧序列图像合成，P＝N×M。在一般情况下，N远小于M，我们可将帧数M分为

组，使一个4D像素在宽度方向上包含

H = N \times [M / \sqrt{P}]

个平面像素，在高度方向上包含

k = [M / [M / \sqrt{P}]]

个平面像素。为了对上述数据有进一步的理解，在这里举一个具体的例子：

用5个摄像机同步连续拍摄，每个摄像机拍摄320帧图像，数字图片输出设备的分辨率为400PPI，采用栅距为2.54mm的光栅，即N＝5，M＝320，P＝1600，H＝5×8，k＝40，如果4D图片的尺寸为1600mm×1200mm，则图片的4D像素数为630×472。无论是3D图片还是4D图片，光栅栅距与抽样图样条的匹配都是非常关键的，我们必须对其中之一进行精确的修正。

立体帧序列图像的预处理，包括帧序列图像的取舍和图像抽样信息的提取两个方面。可能我们多机位同步拍摄的帧数M是很大的，其中有些帧图像之间的变化极小，或者说不是关键帧，我们就可以将之剔除，进一步减小M的值，使帧序列图像能被等分成几个图像组。设4D图片的宽度为W，高度为V，正交光栅垂直方向的栅距为v，水平方向的栅距为h，则4D图片的4D像素数为[W/h]×[V/v]。原始的帧序列图像T_n，m包含有很大的数据量，而被抽样的像素点只是其中的部分，我们需要将所有的图像T_n，m缩小到与4D图片相同的像素数[W/h]×[V/v]。图像缩放可以采用邻近点替代、线性插值、二次曲线拟合等方法，采用二次曲线拟合可以得到很高的抽样精度。

在确定4D图片抽样顺序前，先补充说明光栅立体图片中我们给2D、3D、4D像素下的定义。T_n，m(i，j)为帧序列图像T_n，m中第i行第j列的像素点，其颜色可以用三色(r，g，b)或者四色(c，m，y，k)表示，我们称T_n，m(i，j)为2D像素；3D图像A_m是第m时刻拍摄的视差图像合成的立体抽样图，其第i行第j列的像素点，是由多个2D像素抽样排列而成的，即A_m(i，j)＝(T_1，m(i，j)，T_2，m(i，j)，T_3，m(i，j)，...，T_n，m(i，j)，...，T_N，m(i，j))，我们称A_m(i，j)为3D像素；4D图像I是由一段时序内拍摄的视差图像合成的多帧立体抽样图，再次抽样合成，其第i行第j列的像素块，是由多个3D像素抽样排列的矩阵构成的，我们称I(i，j)为4D像素，至于4D像素的矩阵排列顺序，则与正交光栅的移动顺序或等效移动顺序有密切的关系。正交光栅的作用是分离出4D抽样图中的立体图像，正交光栅的水平栅线上下移动的步长很小，是一个2D像素点的高度，总行程是4D像素点高度的整数倍；正交光栅的垂直栅线左右移动的步长较大，是一个3D像素点的宽度，总行程是4D像素点宽度的整数倍。当正交光栅的水平栅线和垂直栅线按规定的时序运动时，站在4D图片前方的人就可以看到活动的立体影像。正交光栅的移动是相对4D抽样图而言的，完全可以让光栅不动，而使4D抽样图移动。对于正交光栅的移动特性来说，有效的4D抽样顺序实质上只有两种：分组同向排列法，分组逆向排列法。

分组同向排列法的特征在于，在一个4D像素点I(i，j)内，M个3D像素A_m(i，j)按时序等分成u组，每组包含有k个3D像素，在纵向顺序或逆序排列；像素组之间按组号在横向顺序或逆序排列；相邻两组的像素在纵向上的排列次序是相同的。

A_k(i，j) A_2k(i，j) A_3k(i，j) A_4k(i，j) ... A_uk(i，j)

... ... ... ... ... ...

A₄(i，j) A_k+4(i，j) A_2k+4(i，j) A_3k+4(i，j) ... A_(u-1)k+4(i，j)

A₃(i，j) A_k+3(i，j) A_2k+3(i，j) A_3k+3(i，j) ... A_(u-1)k+3(i，j)

A₂(i，j) A_k+2(i，j) A_2k+2(i，j) A_3k+2(i，j) ... A_(u-1)k+2(i，j)

A₁(i，j) A_k+1(i，j) A_2k+1(i，j) A_3k+1(i，j) ... A_(u-1)k+1(i，j)

分组同向排列法还有很多种排列方式，例如可以把上面的阵列在横向颠倒过来，或在纵向颠倒，或在横纵向同时颠倒，只要相应改变正交光栅的移动方向，均可达到相同的效果。在上面的排列方式中，正交光栅的移动时序为：水平栅线向上移动k个步长，也就是移动一个栅距v后，垂直栅线向右移动一个步长；水平栅线向上移动整数个栅距v后，快速向下回落到原位，垂直栅线向右移动整数个栅距h后，快速向左回到原位。如果水平光栅采用狭缝光栅，则狭缝光栅平面应尽可能靠近4D抽样图平面。这里所说的“原位”，就是立体帧图像切换的初始位置，可以进行微调，按照这种方式布置，站在4D图片前方的观众均可以看到立体图像按顺序播放的效果。

分组逆向排列法的特征在于，在一个4D像素点I(i，j)内，M个3D像素A_m(i，j)按时序等分成u组，每组包含有k个3D像素，在纵向顺序或逆序排列；像素组之间按组号在横向顺序或逆序排列；相邻两组的像素在纵向上的排列次序是相反的。

A_k(i，j) A_k+1(i，j) A_3k(i，j) A_3k+1(i，j) ...

... ... ... ... ...

A₄(i，j) A_2k-3(i，j) A_2k+4(i，j) A_4k-3(i，j) ...

A₃(i，j) A_2k-2(i，j) A_2k+3(i，j) A_4k-2(i，j) ...

A₂(i，j) A_2k-1(i，j) A_2k+2(i，j) A_4k-1(i，j) ...

A₁(i，j) A_2k(i，j) A_2k+1(i，j) A_4k(i，j) ...

同样，分组逆向排列法也有很多种排列方式，把上面的阵列在横向颠倒过来，或在纵向颠倒，或在横纵向同时颠倒均可达到相同的效果。在上面的排列方式中，正交光栅的移动时序为：水平栅线向上移动k个步长，也就是移动一个栅距v后，垂直栅线向右移动一个步长，水平栅线向下移动移动k个步长，垂直栅线再向右移动一个步长。按照这种方式布置，站在4D图片前方的一部分观众可以看到立体图像按顺序播放，另一部分观众可以看到立体图像按逆序播放。

4D图片抽样合成，可以按照分组同向排列法或分组逆向排列法进行。4D图片的4D像素数为[W/h]×[V/v]，每个4D像素包含M个3D像素，包含N×M个2D像素。也就是说，将N×M幅大小为[W/h]×[V/v]的立体帧序列数字图像按规定的次序抽样，重新排列组成4D抽样图。这一过程用软件来完成是十分容易的，根据本说明书，掌握软件编程技术的工程人员绝大多数均可做到。但是，如果采用多次曝光法等传统的立体合成技术制作4D抽样图是十分困难的。

4D抽样图的数码输出设备可以采用三色激光写片机、彩色喷墨打印机等。为了能把数字抽样图的信息完整地记录到胶片上来，输出设备必须有很高的记录精度和锐度，可以准确、独立地输出每一个2D像素点的颜色。当抽样图的分辨率与三色激光写片机的分辨率一致时，可以得到高质量的4D抽样图透射片或反射片。如果采用彩色喷墨打印机输出图片，其标称的打印分辨率指的是墨点而不是像素，因此必须先确定图像输出的真正分辨率，才能达到最佳的打印效果。

下面结合图示补充说明4D图片的制作方法。

图1是立体帧序列图像的拍摄示意图，N个相机(4)的焦距相同，均具有连续拍摄功能，由同步快门控制器(5)控制活动场景(6)的拍摄，相机按从右到左的顺序编为1至N号。

图2是4D图片的结构示意图，由水平光栅(2)、垂直光栅(1)和4D抽样图(3)构成。垂直光栅(1)可以水平移动，起到两方面作用，其一是选择4D抽样图(3)中的立体图像组，其二是形成立体图像；水平光栅(2)可以上下移动，其作用是选择立体图像组内的某一帧立体图像。

图3是按照分组同向排列法合成的4D图片的光栅运动时序图。横坐标m代表时间，纵坐标x代表垂直光栅在水平方向上的位移，纵坐标y代表水平光栅在垂直方向上的位移。

本发明所提供的4D抽样图是四维立体图片的基本组成部分，具有图像存储容量大、信息冗余度低的优点，四维立体图片可以显示大幅面、高清晰度、持续时间长的活动立体画面，观众无需佩戴眼镜就可以自由观看，是一种全新的广告和展览展示媒体。

下面结合图示给出一个实施例。

首先，选择拍摄对象(6)，采用5个同型号摄像机(4)按合适的视差位置排列开，将摄像机编为1至5号，调整镜头焦距使之全部相同，由同步快门控制器(5)控制连续拍摄。由于拍摄实物对摄像器材要求高，可以采用3D动画软件生成3D模型，再由5个相机(4)同步渲染出立体帧序列图像，实现起来比较容易。拍摄完毕后，从1号机记录的序列图像中挑选45帧图像并编为1至45号，根据这45帧图像在原序列图像中的帧号，从其余四个摄像机记录的图像里各挑选出45帧，共5×45幅图像。将所有挑选出的225幅图像数字化后，采用二次曲线拟合方法缩放成840×630大小，并按帧号将图像分为3组，每组15帧。设T_n，m(i，j)为第n号摄像机记录的第m帧图像第i行第j列的像素点，其颜色用三色(r，g，b)表示，则n＝1，2，3，4，5；m＝1，2，3，...，45；i＝0，1，2，3，...629；j＝0，1，2，3，...，839。我们编写一个程序，按照分组同向排列法进行4D抽样合成，设A_m(i，j)＝(T_1，m(i，j)，T_2，m(i，j)，T_3，m(i，j)，T_4，m(i，j)，T_5，m(i，j))，I(i，j)为四维图片第i行第j列的4D像素，则

A₁₅(i，j) A₃₀(i，j) A₄₅(i，j)A₁₄(i，j) A₂₉(i，j) A₄₄(i，j)A₁₃(i，j) A₂₈(i，j) A₄₃(i，j)A₁₂(i，j) A₂₇(i，j) A₄₂(i，j)A₁₁(i，j) A₂₆(i，j) A₄₁(i，j)A₁₀(i，j) A₂₅(i，j) A₄₀(i，j)A₉(i，j) A₂₄(i，j) A₃₉(i，j)A₈(i，j) A₂₃(i，j) A₃₈(i，j)A₇(i，j) A₂₂(i，j) A₃₇(i，j)A₆(i，j) A₂₁(i，j) A₃₆(i，j)A₅(i，j) A₂₀(i，j) A₃₅(i，j)A₄(i，j) A₁₉(i，j) A₃₄(i，j)A₃(i，j) A₁₈(i，j) A₃₃(i，j)A₂(i，j) A₁₇(i，j) A₃₂(i，j)A₁(i，j) A₁₆(i，j) A₃₁(i，j)

I(i，j)＝

合成的4D抽样图的像素大小为12600×9450，将分辨率设为400PPI，图像尺寸为800mm×600mm。用分辨率为400PPI的三色激光写片机将图像输出到感光灯箱片上，与栅距为0.9525mm的正交光栅配装，形成四维立体图片，当正交光栅按图3所示的时序运动时，开始播放立体影像。

本发明的宗旨在于，在4D抽样图的一个4D像素点内，将大量的3D像素按时序等分成多个组，每组内的3D像素在纵向顺序或逆序排列，像素组之间按组号在横向顺序或逆序排列。通过人眼、正交光栅和4D抽样图之间的相对移动，来实现立体图像的连续动态显示。本发明只选取了一个实施案例来参照说明，专业人士根据本说明书叙述的解决方案可以很容易写出很多相关实施案例，本发明的意旨将包括与所附权利要求符合的所有实施例。

Claims

1.一种构成四维立体图片的抽样图，其特征在于，抽样图由从N个视差点同步拍摄或渲染的N×M幅立体帧序列图像经横向、纵向正交抽样排列组成，与正交光栅配装后，可以显示自由观看的活动立体图像。

2.如权利要求1所述的抽样图，其特征还在于，在一个4D像素点内，M个3D像素按拍摄的时序等分成多个组，每组内的3D像素在垂直方向顺序或逆序排列，像素组之间按组号在水平方向顺序或逆序排列。

3.如权利要求2所述的抽样图，其特征还在于，相邻两组的像素在垂直方向上的排列次序是相同的。

4.如权利要求2所述的抽样图，其特征还在于，相邻两组的像素在垂直方向上的排列次序是相反的。

5.一种四维立体图片抽样图的合成方法，其特征在于，需要从N个视差点同步拍摄或渲染N×M幅立体帧序列图像，经横向、纵向正交抽样将所有立体帧序列图像合成一幅数字图像，再经数码图像设备输出到相纸或灯箱片上。

6.如权利要求5所述的方法，其特征还在于，根据光栅参数和图像尺寸将所有立体帧序列图像采用二次曲线拟合方法作缩放处理。

7.如权利要求5或6所述的方法，其特征还在于，正交抽样合成采用分组同向排列法。

8.如权利要求5或6所述的方法，其特征还在于，正交抽样合成采用分组逆向排列法。