CN1317718A - 立体全像技术 - Google Patents

Abstract

一种空间立体成像技术。仿照昆虫复眼型凸透镜阵列的成像方式，利用计算机图象处理技术产生立体图象面中各象素点的位置及所反映的立体物的空间信息，再利用复眼型凸透镜阵列将经处理后的图象面在空间中重新聚成被表示对象物的实像。本发明能大幅度地降低制作立体影像的技术难度和生产成本，开发具有全真色彩、动画、无偏差等特性的完全的立体图象，实现在任何地点、无需其他辅助装置即可用肉眼直接观察到立体图象的效果。

Description

立体全像技术

立体全像技术

另：利用复眼型凸透镜阵列聚成完全的立体图象技术及其应用

本发明涉及计算机图象处理技术和光学透镜成像装置，尤其是空间立体成像技术。

在真实世界中，我们在观察物体时两只眼睛分别获得不同的信息----两眼观察到的物象之间有些细微的差别，再经大脑处理从而感知被观察物远近程度。我们的大脑“知道”当一个物体在两眼看来相同时，也就是视野差别很小时，被观察物位于较远的位置；当两个视野差别很大时被观察物位于较近的位置，由此而感觉立体空间的存在。

立体图象从广义上分为两眼式立体图象和狭义的立体图象。两眼式立体图象是利用两眼分别获得不同的图象信息再由大脑综合产生立体感觉。现在为众人所知的立体显示器和立体电影大多利用这种两眼的视觉差的方式制作而成。但是这种两眼式立体图象并不能完全反映被表示物的所有信息，而且不能精确地反映原物体的空间位置，将来立体图象技术主流，应该是能够在空间中完全再现被表示物的三维实像，也就是我们定义的狭义的立体图象。一个简单的例子，观察者在观察这种图象时，往左边转就可看到被表示物左侧的面，往右边转就可看到被表示物右侧的面，也就是具有空间纵向的视觉感。

狭义的立体图象包括全息照相技术(holography)和立体全像技术(integral photography)以及由这两者派生而成的其他成像技术。

全息照相技术与普通照相的区别是，普通照相用的底片的感光材料只能记录物光波的振幅(光强)，而不能记录相位，所以只能在底片上显示物体的平面图象。而全息照相技术是利用光的干涉把物光波的振幅和相位同时记录下来，再利用光的衍射使之在一定条件下再现，从而获得三维图象。全息照相技术所获得的立体图象虽然满足两眼的视差和辐度与立体感的关系，但受激光及高分辨率的记录胶片等技术及价格的限制，制作大尺寸、广视野，且反映原物体色彩的全息照片相当困难；另外由于受激光不能照射人眼以及人体易动性(全息照片拍摄时要求被拍摄物静止)等的影响，人体不可能直接被制作全息照片；并且位相形全息照相的再生效率为普通的20％以下，振幅形全息图为10％以下，不可能取得高效率。

1908年法国的M.G.Lippmann提出利用昆虫复眼形状的凸透镜板在一张胶片上拍摄完全的三维照片，这是立体全像最初的概念。由于需要高精度的技术及高分辨率的照片技术，当时并不被人注意。此技术在世界上开始试作是在60年代末，具体方法是利用光学成像的原理，将记录胶片与复眼形凸透镜板的焦点面保持一致，利用激光照射被记录物，在记录胶片上结成对应于每个透镜的微小的图象。它的制作成本较全息照片低，而且可以记录完全的三维信息，实现或超过全息照片所能达到的效果。但是由于记录媒体使用的是胶片，因此同样有不能制成动画，而且暴光后的胶片不能重复利用等有待解决的问题。

全息照相技术虽然可取得逼真的立体图象，但受激光及高分辨率的记录胶片等的限制，制作大尺寸、广视野，反映原物体色彩的全息照片却相当困难。而原有的立体全像技术虽制作成本较全息照片低，且可以记录完全的三维信息，但也带有胶片不能重复利用更不能制成动画等不足之处。由此可见，降低技术难度和生产成本，实现简单制作和再生立体图象，达到可重复利用，特别是能在显示器上显示制成的图象以达到制作动态立体图象的效果，是当前立体图象急需解决的问题。

本发明的目的是降低制作立体影像的技术难度和生产成本，开发具有彩色、动画、无偏差等特性的完全的立体图象，实现在任何地点、无需其他辅助装置即可用肉眼直接观察到被表示对象物的立体像的效果。另外一个目的是制作广视野，不受尺寸限制且能够准确反映物体结构和空间位置的立体图象，并且利用现有的简单动画显示装置(如显示器、投影仪)，只需传入处理后的三维图象信息即可看到动态的立体图象。

本发明仿照昆虫复眼型凸透镜(微型六边形凸透镜)阵列的成像方式，利用特殊的计算机图象处理技术取代原来的光学成像方式，产生立体图象面中各象素点的位置和颜色(或灰度)，然后再利用复眼型凸透镜阵列将经处理后的图象面在三维空间中重新聚成被表示对象物的立体像。

本发明对超精密微型凸透镜阵列的设计以及透镜尺寸(半径、焦距)对图象的影响的作了定量的分析，提出生成最佳立体图象的透镜阵列加工方案。

本发明可将任何立体图象数据作成立体全像。原立体图象数据可采用CT或MRI等断面扫描图、以及任何可由CG技术产生的立体图形数据。在本发明中，利用计算机图形学方法分析立体物的空间结构，建立与之相应的算法，制成能鲜明反映原立体物的内部结构的空间立体图象。另外利用数字彩色照片在空间中叠加作为原始立体图象数据，制成了能与原照片画质相媲美的具有远近层次感的立体彩色照片。

本发明同时还对生成高清晰度的动态立体影像作了进一步的研究，利用现有简单的动画显示装置(如显示器、投影仪)，只需传入经计算机处理后的立体图象信息即可制成生动的立体影像，经鉴定此成果具有广泛的应有价值。

本发明可开发具有全真色彩、动画、无偏差等特性的完全的立体图象，实现在任何地点，无需其他装置(例如特殊的眼镜)即可用肉眼(单眼即可)观察到原表示对象物的立体像的效果，并且对肉眼不会产生任何视觉疲劳。本发明的特征是利用计算机图象技术处理得到被观察的图象，只需更换被观察的图象即可达到重复利用的效果。此效果的一个最大特点是，只需往现有的简单动画显示装置(如显示器、投影仪)中输入经计算机处理后连续的三维图象信息，即可看到动态的立体图象。

本发明因从空间立体几何学的角度出发，利用计算机作成、表示三维图像，不存在由透镜装置而产生的图像偏移问题。另外无论是在记录还是再生的都不受光波的限制，因此再生图象可准确地重现被表示对象物的真实色彩。

本发明是迄今唯一能够用于简单制作并且再生立体图象，而不需其他辅助装置的立体影像技术。本发明可广泛用于以下领域：1、医疗领域中支援手术用的立体图像提示；2、立体影像相关领域(例如：立体照片、立体电视、立体投影仪等)；3、立体教学；4、三维艺术品等。

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的立体图象生成原理图。图2为立体图象在空间中再生表示图。图中，(1)复眼型凸透镜阵列，(2)计算生成的图象面，(3)立体图象原始数据，(4)空间中聚成的再生立体图象，(5)观察者。

(一)凸透镜阵列的设计和立体图象数据的选择

由于复眼型凸透镜阵列的设计及透镜材料的选择将直接影响立体影像的质量，首先我们对图1和图2中出现的复眼型凸透镜阵列(1)的最佳设计方案在图3中作技术说明。

透镜原材料可选用光线透过率高且容易加工制成光学透镜的材料，有机材料或光学玻璃都可作为其选择的对象。本发明选用甲基丙烯树脂，是由于甲基丙烯树脂具有优越的透明性、良好的自由加工性及优良的耐久性等特征(折射率为1.49，光线透过率平行光为92％、全光线为93％，热变形温度为100℃)，另外它还具有轻巧、强韧、耐腐蚀及电绝缘等特性。

由于立体图象的观察视野及效果受单个微型凸透镜(7)的曲率中心(8)到图象面(2)之间的距离(9)和透镜直径(10)的相互关系的影响。对于同样解析度的立体图形，透镜到图象面之间的距离(9)越长，观察视野范围越小，画像越清晰；透镜半径越大，观察视野范围越大，画像清晰度降低。

本发明中的凸透镜阵列采用昆虫复眼型排列(6)，这种排列的目的是在同样的面积内容纳最大数目的微型凸透镜(7)。以一直径2.32mm的微型凸透镜为例，在一张近似A4纸大小的透镜排列面上(203*254mm)可排列一万个左右的微型透镜(每平方英寸134个)。图3b是用显微镜拍摄到的放大后透镜形状。透镜的加工关键在于复眼型透镜阵列(1)中的单个微型凸透镜(7)的焦距(11)与计算生成的图象面(2)保持一致。

其次，在图4中对图1中的立体图象数据(3)作更为详细的说明。图4中(12)为MRI等断面扫描图象，(13)为数张照片叠加成的立体数据。

立体图象数据来源有若干种途径。原数据可采用CT或MRI等断面扫描图象(12)，以及任何可由CG技术产生的立体图形数据，这些数据既可以是位图也可以是矢量图。利用CT或MRI等断面扫描图象，可获得人体及其他实物体的内部看不到的物像，采用这种途径可将立体全像技术充分地用于医疗领域及其他影像诊断的相关领域。如果只想制作不同远近层次的立体图象，则可由不同远近的照片(13)叠加成立体数据。我们利用数字彩色照片在空间中叠加作为原始立体图象数据，制成了能与原照片画质相媲美的具有远近层次感的立体彩色照片。

(二)计算机生成立体全像的算法及立体图象再生方法

以上是立体全像成像的前处理准备，下面结合图1立体图象生成原理和图2立体图象在空间中再生表示图，对本发明的具体方法和基本原理作进一步说明。

通常在作成立体全像的时候，由于观察者的视点和显示面位于被显示的对象物的同侧，也就是我们看到的被表示对象物是出现在显示面的后面，因此在成像时从离显示面最近的被表示对象物的开始进行阴面处理。但是，立体全像所显示的被表示物是浮现在显示器的前方，也就是从观察者的视点来看和显示面位于被显示的对象物的同侧，如果利用同样的阴面处理方法，那么被观察到的立体图象变成凹凸反转的像(伪像)。本发明中的算法则根据立体全像的特殊成像方式，从观察者的视点方向开始的最近点，也就是从显示器开始最远的点进行阴面处理。具体方法在结合图5作解释，在每个象素点中心(14)发出通过其所对应的透镜曲率中心(8)的延长光线(15)上，用从观察侧看到的最初与所表示对象物(16)的交差点(17)的图象信息来投影该象素点上，同时利用探测光线矢量方向与表示对象物的表面法向方向的内积来计算所求象素点灰度或颜色。本发明利用这种阴面处理算法，既完成了对立体物结构的描画又解决了原来的IP成像方法在记录生成时凹凸反转的技术问题。

图6为计算所得立体图象作成图，将图6.a立体图象生成图的整体结构图放大到图6.b单个象素点后图象后，可以看出在每个六边形(20)内都包含了原立体形状的投影，也就是说每个微型凸透镜对应的六边形范围内记录着被表示对象物的整体信息。这整体信息体现在由计算生成的图象灰度、形状及空间位置信息的每个象素点(21)上。我们可发现记录被表示对象物的图象面的解析度越高，也就是在同一六边形(20)范围容纳越多的象素点，那么就越能精密地记录被表示对象物的信息。

图2为立体图象再生原理图：在计算面上显示IP图像，则从各象素点(18)开始发射通过透镜曲率中心(8)的光线与其它像素点发出的光线相交叉，从观察者侧正好可在那儿看到光点(19)。像这样聚成的光点(19)在显示器前的空间中构成表示的对象物，观察者因而可看到被聚成再生的立体图象(4)。

(三)复眼型凸透镜光学成像的理论分析

图7表示了光点位置与其他参数的关系。首先将基准面(22)设定在通过复眼型凸透镜阵列(1)的各透镜的曲率中心(8)的面上。微型凸透镜的直径为D(10)，基准面(22)到图象面(2)的距离为h(23)，单个象素点的大小为r(24)，i为从中心开始到第i个象素点(25)中心的距离。在从两个相邻的透镜发出的光线的交差点上，记从基准面(22)开始第i个交点(26)到基准面的距离为Hi(27)，通过相似三角形的关系可求出发明权利说明书                立体全像技术(制作立体照片·动画及立体影像) $H_i=\frac{D\×h}{i\×r}=\frac{H_1}{i}----\left(A\right)$

在单个透镜对应的六边形范围内的象素点中，透镜中心位置开始算起第i个象素点(25)发出的光线，与相邻的透镜中通过透镜中心及对应的中心象素点的光线相于第i个光点(26)。这里i的最大值为i_max=D/2r。同样与透镜相隔距离为透镜直径j倍的第j个透镜(28)发出的光线(29)中，从基准面(22)开始到第i个交差点的距离记为H_i/j(30)，其表达式 $H_{i/j}=\frac{D\×h\×j}{i\×r}=H_1\×\frac{j}{i}----\left(B\right)$

可以看出在(A)式中照射不到的位置，根据(B)式可能由其他透镜发射的光线照射到。另外由(B)式可得，所能被看到的最近的光点到基准面的距离为H₁/i_max。

下面对空间投影图象的解析度作分析。

如图8(a)所示在纵向投影图象的光点是一个由二个长圆锥结合而成的双圆锥形状。H(31)为光点到基准面的距离。在图8(b)中可到通过中心点的断面图为一四边形(32)。记从观察者角度来看近点与远点的内角为2α(33),2β(34)，则到基准面(22)距离为H处的光电点纵向长度Rz(35)，幅度Rx(36)为 $R_x=r\×\frac{H}{h}----\left(C\right)$ $R_z=\frac{R_x}{2\tan \mathrm{\α}}+\frac{R_x}{2\tan \mathrm{\β}}-----\left(D\right)$ 在通常情况下，由于透镜直径D(10)与光点距离H(31)相比较小，可以近似地看着 $\mathrm{\α}\≈\mathrm{\θ},\mathrm{\β}\≈\mathrm{\θ},\tan \mathrm{\θ}\≈\frac{D}{2h}----\left(E\right)$ 则R_z(35)与R_x(36)的关系可表示为 $R_z=R_x\×\frac{2h}{D}----\left(F\right)$

由式(C)和式(F)可知R_z(35)与R_x(36)都与到基准面的距离成正比。由于光点的亮度与距离的平方成反比，被投影的光点随着到基准面距离增大而变暗变模糊。

(四)立体图象再生装置及清晰化处理

图9为高清晰度静止立体图象再生装置。图中从左到右的排列依次为计算生成的图象面(2)、复眼型凸透镜阵列(1)、散射板(37)。事实上我们只要将复眼型凸透镜阵列(1)放在计算生成的图象面(2)上就可以看到立体图象，但是由于这些立体图象是由图象面上的各象素点发出的光线会合成的光点(38)组合而形成，这些光点在聚合后又重新发散，因此在人眼里形成的图象变的模糊不清，这种情况随着微型凸透镜直径的增加而加重。为了增加图象的清晰度，我们在聚成的立体图象空间中放置一散射板(37)。图10是有无散射板的比较。(39)为无散射板时观察到的结果，(40)为有散射板时观察到的结果。以前立体全像研究曾提倡生成图象的象素点解析度与透镜直径大小一致，使用散射板后，由于光线扩散使进入观察者眼中的光线数增加，这样解析度低于透镜直径的象素点的图象也可清晰地被看见。

散射板可选择毛玻璃或薄膜。当微型凸透镜直径小于1mm时，不使用散射板也可观察到清晰的图象。

(五)实施例

根据以上的方法，本发明者用Virtual C++编写程序，针对高清晰度的静止立体全像和动态的立体影像的不同特性，作成不同的执行文件来生成复合的立体图象面。

实施例1：高清晰度静止立体图象

本发明者利用PentiumⅢ 500MHz内存256M的计算机，生成一张A4纸大小·图象解析度600dpi·象素值为4320×5760(pixel)的Raw格式(24Bits/pixel)图象文件，计算时间需10～15分钟，产生的文件大小为72M。同时用分辨率为600dpi的彩色激光打印机打印立体全像的图象面(2)。本发明之所以使用Raw格式来储存数据是为了保存经计算机处理后的全部图象信息，应该强调的是不宜使用压缩格式(如JPG格式)来存储数据。

图11为同一静止的立体全像从不同角度观察到的效果。本发明者利用图9的方法制成立体全像样本。拍摄时固定样本，一边改变观察位置一边拍摄，可发现对于任何一个观察角度都有与之对应的运动视觉差的体现。图11中的五幅图分别是可以从上方(41)下方(42)左方(43)右方(44)及正面(45)不同角度拍摄到的同一静止的立体全像的不同侧面图，由此我们可看到立体全像具有强烈的整体连续性。

实施例2：动态立体全像

图12为利用液晶显示器制成的动态立体图象再生装置。液晶显示器解析度约为100-200dpi，在液晶显示器(46)的屏幕上放置复眼型凸透镜阵列(1)，调节散射板到适当位置，只需输入经计算机处理后的三维图象信息即可看到动态的立体图象。此动态立体图象将来可指望用于制作立体全像电视。

图13为利用投影仪(47)制成的高分辨率动态立体图象再生装置。由于液晶显示器解析度受当前技术水平的制约，分辨率高于200dpi的彩色液晶显示器制作价格相当昂贵。为了解决这个问题，考虑利用投影仪作为显示装置，通过对投影仪(47)焦距的调节，将聚成的高分辨率图象(理论上可达到1000dpi以上)投影到屏幕(48)上形成投影图(49)，同时改善散射板的光透过率，则可制成高清晰度的立体全像。此动态立体图象将来可指望用于制作立体全像电影。

             图号的名称及出现位置

图1：立体图象生成原理图           图8：空间中聚成的光点的形状

图2：立体图象在空间中再生表示图   图9：高清晰度静止立体全像再生装置

图3：复眼型凸透镜阵列的设计图     图10：有无散射板的比较

图4：立体图象原始数据             图11：从不同角度看同一立体全像

图5：立体图象生成算法图           图12：动态立体全像显示装置

图6：计算所得立体图象生成图       图13：高清晰度动态立体全像显示装置

图7：光点位置与其他参数的关系

号码	名称	出现位置
			1	复眼型凸透镜阵列	图1,2,5,9,12,13
2	计算生成的图象面	图1,2,3,5,7,9
			3	立体图象原始数据	图1
4	空间中聚成的再生立体图象	图2,9,13
			5	观察者	图2,8,13
6	昆虫复眼型排列	图3
			7	单个微型凸透镜	图3
8	曲率中心	图2,3,5,
			9	曲率中心到图象面之间的距离	图3
10	透镜直径	图3,7,8
			11	单个微型凸透镜的焦距	图3
12	MRI等断面扫描图象	图4
			13	数张照片叠加成的立体数据	图4
14	象素点中心	图5
			15	延长光线	图5
16	表示对象物	图5
			17	交差点	图5
18	各象素点	图2
			19	光点	图2
20	图六边形	图6
			21	单个象素点	图6
22	基准面	图7
			23	基准面到图象面的距离h	图7,8

号码	名称	出现位置
			24	单个象素点的大小：r	图7,8
25	第i个象素点	图7
			26	第i个光点	图7
27	第i个交点到基准面的距离：H	图7
			28	第j个透镜	图7
29	光线	图7
			30	Hi/j	图7
31	H	图8
			32	四边形	图8
33	2α	图8
			34	2β	图8
35	Rz	图8
			36	Rx	图8
37	散射板	图9,10,11
			38	各象素点发出的光线会合成的光点	图9
39	无散射板时观察到的结果	图10
			40	有散射板时观察到的结果	图10
41	上方	图11
			42	下方	图11
43	左方	图11
			44	右方	图11
45	正面	图11
			46	液晶显示面	图12
47	高分辨率投影仪	图13
			48	屏幕	图13
49	投影图	图13

Claims (8)

1．一种空间立体成像技术，其特征是仿照昆虫复眼型凸透镜阵列的成像方式，利用计算机图象处理技术产生立体图象面中各象素点的位置及所反映的立体物的空间信息，再利用复眼型凸透镜阵列将经处理后的图象面在空间中重新聚成被表示对象物的实像。

2．根据权利要求1所述的昆虫复眼型凸透镜阵列的设计和加工方案。其特征是凸透镜阵列的整体设计以及单个凸透镜的尺寸(半径、焦距)的加工方法能生成最佳的立体图象。

3．根据权利要求1所述的立体图象面生成方法，其特征是利用计算机图象处理技术取代原有的光学透镜成像方式，对立体物的空间结构作处理，从几何学的角度产生能准确反映该立体物空间信息的立体图象面。

4．根据权利要求1所述的在空间中聚成的被表示对象物的实像，可在任何地点，无需其他装置即可简单地用肉眼看到在空间中聚成的立体影像。其特征是从任意的视点可自由地观测到被表示对象物的实像，而不受其他条件的制约。

5．根据权利要求3所述的计算方法，将生成的静止画面组合成连续的图象，或直接由计算机生成动态的立体图象面。其特征是可用此方法做成动态的立体图象。

6．根据权利要求4所述的立体图象再生方式，原立体图象数据采用CT或MRI等断面扫描图、以及任何可由计算机图象处理技术产生的立体图形数据，利用计算机图形学方法分析立体物的空间结构，建立与之相应的算法来生成立体图象面。其特征是能制成鲜明反映原立体物的内部结构的空间立体图象。

7．根据权利要求4所述的立体图象再生方式，利用数字彩色照片在空间中的叠加作为原始立体图象数据，利用高分辨率印刷机印刷计算生成立体图象面，制成能与原照片画质相媲美的具有远近层次感的立体彩色照片。其特征是能制作准确的再现被表示对象物的真实色彩的立体图象。

8．根据权利要求5所述的动态的立体图象，利用高分辨率的平面液晶显示器或投影仪显示被生成的动态立体图象面，可以用于开发立体电视和立体电影。其特征是不需要改变原影像的传输或投影方式，只需输入经处理后的立体图象信息，即可达到产生逼真的立体影像的效果。

Images