CN1641702A - 由平面图象设计立体图象的方法 - Google Patents

Abstract

本发明公开了一种由平面图像设计立体图像的方法，其过程包括，用选区工具将平面图像划分成深度不同的图像块，定义各图像块的立体深度值，建立立体深度列表并进行平滑处理，根据深度列表对平面图像的每个像素进行视差位移处理，重建其它视差序列图像，将视差序列图像立体合成。本方法的关键之处在于，在对深度列表进行平滑滤波时，各图像块边沿的立体深度是可控的，本方法完全消除了图像块之间的粘联性，可以将平面图像转化成非常逼真的立体图像。

Description

由平面图象设计立体图象的方法

本发明属于光学显示技术领域，涉及一种平面图像的立体设计方法。

随着光栅立体成像技术的日趋成熟，三维立体图片以其观看自由、清晰、立体感强的特点开始得到普及。三维立体图片的图像设计简称立体设计，到目前为止，立体设计主要采用立体摄影、三维建模多视角渲染技术、全景重建技术或图层平移技术。

立体摄影需要在多个视差点对模特进行拍摄，特别是对非静物模特如人物、动物等必须采用立体相机，由于专业立体相机体积较大，操作便利性差，不利于精彩瞬间的抓拍，拍摄效果始终不如专业平面摄影，因此不少摄影师不愿主动运用立体拍摄手段，阻碍了立体摄影在商业上的广泛应用。

三维建模多视角渲染技术需要建立立体模型，贴图并布置灯光，设置照相机在多个视差点对模型进行渲染，获得数张视差序列图像，可以得到非常好的立体效果，但不易制作生活中真实的立体场景，其运用存在一定的局限，这种方法实际上也应归属于立体摄影的范畴。

全景重建技术可以非常逼真地再现立体空间，但需要针对平面图像的空间分布，建立每个像素点精确的深度列表，一般来说需要建立3D模型来辅助设计，设计复杂、周期较长，详细说明见专利申请03137660。

图层平移技术也称OFFSET技术，在当前的立体设计中应用最为广泛，其实质是将一张平面图像经过分层偏移达到空间拉伸的目的，由于简单易行，几乎所有的设计人员都将其作为主要的设计手段，缺点在于，其立体感是平面分层的，缺乏空间连续性。其改进方法为，在每个图层(有时也称“图像块”)边缘增加深度方向上的平滑过渡，来消除主体、前景、背景之间的片状感，称之谓边缘增强技术，或OFFSETA技术，具体方法是，用选区工具将平面图像划分成不同的图像块，定义各图像块的立体深度，建立立体深度列表并进行平滑滤波处理，根据深度列表对每个像素进行视差位移处理，重建其它视差序列图像，将视差序列图像立体合成。OFFSETA技术仍然存在两点不足，其一，由于进行平滑滤波处理，立体图像的前后层次之间存在明显的粘联性，层次关系不够明晰，边沿过渡不够自然，带来的直接后果是，无法展现出立体图像的艺术性；其二，通过选取图像区域范围直接定义立体深度值的方式与真正的立体深度有较大差异，立体图像的真实性不强。

本发明公开的由平面图像设计立体图像的方法，结合了边沿滤波控制技术和立体显示反馈技术，目的是提供一种将平面图像转化成高精度立体图像的方法。

本方法的原理是，针对平面图像的空间分布，用选区工具将平面图像划分成不同的对象，直接定义各对象的立体深度值，建立立体深度列表并进行平滑滤波处理，根据深度列表对每个像素进行视差位移处理，重建其它视差序列图像，将视差序列图像立体合成。尽管深度列表并不能真实地反映图像实际的立体深度，考虑到平面图像本身存在强烈的深度心理暗示，因此可以较逼真地再现立体空间。由平面图像设计立体图像的过程包括：原始图像预处理，建立各对象选区并定义立体深度，建立深度列表，对象边沿的深度平滑处理，重建视差图像，立体观察及反馈修改，立体合成。

下面详细说明设计立体图像的过程和方法。

第一步，原始图像预处理。调整图像的锐度、清晰度、色彩层次，并裁切到合适大小。将平面图像命名为T₁，第i列第j行像素值T₁(i，j)可以用三色(r，g，b)或者四色(c，m，y，k)表示。

第二步，建立各对象选区并定义立体深度。观察图像上各个部分的立体深度，用选取工具来划分图像块的区域，由于立体深度不同，图像上的一个整体(如人物)可以划分成不同的图像块，而不同整体的某些图像块可以具有相同的立体深度，我们将立体深度相同的图像块定义成同一个“对象”，为每个“对象”的立体深度赋值。也就是说，“对象”代表图像上立体深度相同，但不一定相连的一些区域，“对象”有两个属性需要记录，即“边界”和“立体深度”。显然，“对象”的数目越多立体感越真实，但过多的对象带来极大的设计难度和不准确性，因为对象的深度是依靠人的经验主观确定的，“对象”的数目以5～15为宜。

第三步，建立深度列表。为对象范围内所有像素点的立体深度赋值，可以建立图像的深度列表，深度列表的元素与图像像素点的个数是相同的，设深度列表Z(i，j)代表像素点T₁(i，j)的立体深度值，Z＝0代表立体图像的焦点，Z＞0代表立体图像的前景，Z＜0代表立体图像的后景。立体深度列表是一系列分立的值，如果直接进行视差位移处理得到分层立体图像，就是图层平移技术(即OFFSET技术)，与实际空间的连续性是不相符的，因此需要对深度列表进行平滑处理。

第四步，对象边沿深度平滑及深度控制。不同对象的交界处可以概括为两种情况，即连续区域和非连续区域。在连续区域，对深度列表值用较大的滤波窗口和平滑程度高的滤波核来运算，实现对象边界处的平滑连接，如采用21*21的窗口，所有点的权重均为1，这种边界称为普通边界。非连续区域可归结为两种情况，其一是后景边沿向前弯曲或前景边沿向后弯曲，对深度列表值用较小的滤波窗口和平滑程度较低的滤波核来运算，实现边界处的平滑但非连续连接，如采用11*11的窗口，中间点的权重值高，周边点的权重值低，这种边界称为“红色”边界；其二，后景边沿和前景边沿没有相关性，均为平直边沿，不需要平滑滤波处理，这种边界称为“蓝色”边界。根据前面的分析，具体到每一个对象，其边沿均可归结成这三种情况，对应的边界可分别标记为红色、蓝色，剩余部分为普通边界。这里我们需要区分“边界”与“边沿”的不同概念，边界指包围对象的界线，边沿指具有一定宽度，沿边界走向的区域范围。

按照对象边界性质的要求，实现对象边沿深度平滑及深度控制可以采用替换法完成。采用大滤波窗口和高平滑度滤波核来运算深度列表Z，获得连续的、平滑度好的深度列表Z₀；采用小滤波窗口和低平滑度滤波核来运算深度列表Z，获得非连续的、平滑度低的深度列表Z₁；“红色”边沿区域的深度值从列表Z₁的对应位置提取，“蓝色”边沿区域的深度值从列表Z的对应位置提取，填充并替换深度列表Z₀对应位置的值，构成新的深度列表Z₂。

一般情况下，用列表Z₂重建视差图像均可获得满意的效果，但面对地面、水面、纵深延伸的墙壁等平直的物体(简称“纵深平面”)，且图像细节十分丰富时，容易出现阶梯状效果。解决的办法有三种：其一，建立对象时，让“纵深平面”的对象数量尽可能多，使每个对象的宽度不大于滤波窗口的宽度；其二，单独定义“纵深平面”的范围，对列表Z₂中对应区域作更进一步的平滑处理；其三，这些平直区域的立体深度实际是可简单计算的，直接用计算值替换列表Z₂中的对应值。显然，方法一不需要额外增加立体图像设计软件的功能，只是设计时稍稍费时；方法二比较简单，并且能控制“纵深平面”的起伏和弯曲；方法三很难控制“纵深平面”的起伏和弯曲。

第五步，重建视差图像。接下来就可以根据深度列表Z₂，将图像T₁经视差位移处理重建出其余的视差序列图像。与立体摄影相比较，图像T₁相当于N幅视差序列图像中的第一幅，重建的目的在于根据图像T₁还原出其它N-1幅序列图；也可以将图像T₁作为视差序列图的中间图像，经视差变换出左右视点的序列图像。下面的叙述假定T₁为第一幅图像。

由于视差的存在，图像T₁上的像素点T₁(i，j)出现在其它视差图上的位置坐标为(i+offset，j)，offset是视差位移量，与立体深度z(i，j)及视差图像编号有关：

           offset＝z(i，j)*direct*depth*f(z)*k

其中，z(i，j)为像素点T₁(i，j)的立体深度，direct为视差变换的方向，取值-1或+1；depth是立体强度参数，由立体设计者设定；f(z)是关于视差偏移量offset与立体深度z(i，j)之间非线性关系的修正函数，在立体深度不是很大时，可以不考虑，直接取f(z)＝1；k为被重建的视差图像与原视差图像编号差的绝对值，比如根据第1幅图像重建第n幅图像，则k＝|1-n|。在本说明书中凡是涉及到立体深度时，我们均采用相对值而非绝对值，其灵活性和方便性是显而易见的。如果规定视差变换方向，公式还可简化：

           offset＝z(i，j)*depth*(n-1)

只要根据视差位移公式计算出图像T₁上每一个点在其它视差图像中的位置，将像素值填充到该位置，即可重建全部N幅视差图像，N值一般取5～10。在重建视差图像的过程中会遇到三种情况需要特别处理：

(1)图像T₁上多个不同的像素点视差位移后处于同一幅视差图像的同一位置，需要判断各点的立体深度z(i，j)，选择最前面也就是z值最大的像素填充到该位置。

(2)由于offset值的取整处理或像素横向位移后产生的一些空白点(无值点)，如果出现在视差图像的连续区域，也就是z值变化平缓的区域，需要根据左右点的像素值线性插值填充。一般来说，连续区域的空白点比较零散，连续空白点的横向宽度小于B，B为阈值。

(3)在视差图像的非连续区域出现的空白点的聚集程度高，连续空白点的横向宽度不小于B，其实际的像素值由于空间遮挡的原因在图像T₁上不可见，我们采用横向对称法补图。具体方法是，扫描每一行像素，识别每个空白区的左右边界点哪一个为后景，以后景边界点为对称中心，将后景边界点附近的像素对称填充到空白区。

在立体摄影中，立体空间中每一点所成的像，在视差序列图像中出现的位置是不同的，具有一定的横向位移，这就是视差。其中有些点由于前后遮挡关系不会出现在所有视差图像中，因此，在重建的视差图像中，会出现大量的空白点，它们的颜色是未知的，需要根据实际情况填充，这就是上面所说的(2)(3)两种情况。

第六步，立体观察及反馈修改。对于重建出来的任意两幅视差图像，在电脑屏幕上可以采用对眼方式、戴立体眼镜方式进行立体观察。立体眼镜包括红绿(或红蓝)眼镜、液晶快门眼镜，红绿眼镜不能看到彩色图像，液晶快门眼镜方式需要切换显示模式，并且不易放大或缩小观察，让立体设计人员随时戴上、取下立体眼镜不方便，因此不值得推广使用。交叉对眼体视是一种理想的立体观察方式，其优点包括对显示器没有任何限制，不需要立体眼镜，真彩色显示，图像任意缩放，立体细节观察等，但是，这种立体观察方式需要经过简单的训练。

实现交叉对眼体视需要在屏幕上建立两个大小相等、左右排列的图像显示窗口，将两幅视差图像显示出来，其中右眼图像显示在左窗口中，左眼图像显示在右窗口中。图像可以在窗口缩放显示，物体的某一部分在两个窗口中应该具有相同的高度，以保证只有水平视差而没有垂直视差，当图像大于显示窗口，需要拖动图像观察局部时，一个图像应该随着另一个图像移动，以保持相同的内容被显示。左眼注视并聚焦于右窗口图像，右眼注视并聚焦于左窗口图像，位于眼睛与屏幕之间的双眼辐辏点上，我们可以看到清晰的立体图像。

对于立体深度不符合要求的地方，可以修改“对象”的范围、立体深度值或边界的性质，再重建视差图像，进行立体观察，反复数次直到立体感符合要求为止，保存视差图像。

第七步，立体合成。将视差序列图像合成为光栅立体图像，采用数码立体合成技术加以实现非常简单，具体可参考专利申请981193633或其它关于立体合成的文章，这些方法的不足之处在于，连续调彩色立体合成图像的横向像素之间一般具有极大的差异，在挂网输出时很难被完整的保留下来。如果采用调幅挂网，基本达不到立体印刷的高精度要求，清晰度和立体感达不到预定的效果；如果采用调频挂网，虽然印刷或打印精度高，但由于误差扩散的因素，相邻像素间的颜色和亮度相互融合，影响了立体图像的清晰度。本发明将采用改进的调频挂网技术进行立体合成，步骤如下：

(1)，视差图像幅面预处理。设印刷制版或打印设备的最小记录点精度为D(单位：mm)，立体光栅栅距为P(单位：mm)，视差图像数量为N，则立体图像抽样样条的像素宽度为S＝P/D/N，S四舍五入后取整；设立体图像的宽度为W，高度为H(单位：mm)，用两次立方插值法重定图像像素，将视差图像的像素尺寸变成宽为([W/P]*S)像素，高为([H/P]*S*N)像素，符号[]为取整算法。显然，视差图像的横向已经高度压缩，目的是为了立体抽样后能尽可能保持原图像细节。

(2)，视差图像分色及调频挂网。分色处理后的视差图像，无论采用双值的印刷设备，还是双值或多值的打印设备，均可用有组织高频振动法、误差扩散法、蓝色噪声屏蔽法、新高频振动法、细胞神经网络法等进行调频挂网，参见文献《数字硬拷贝技术》第五章，[日]岩本明人、小寺宏晔主编。当然，最常用的方法还是误差扩散法，专利申请02159180.6、02100078.6、02159181.4描述的调频挂网方法也可以参照使用。

(3)，同色版的二值或多值图像立体合成。所有挂网后的同色图像分割成宽度为S，高度为([H/P]*S*N)的样条，横向交错排列成像素尺寸为([W/P]*S*N)×([H/P]*S*N)的立体图像。排列顺序为：第1幅第1条，第2幅第1条，第3幅第1条，...，第N幅第1条；第1幅第2条，第2幅第2条，第3幅第2条，...，第N幅第2条；...；第1幅第i条，第2幅第i条，第3幅第i条，...，第N幅第i条；...。立体图像的分辨率S*N/P接近图像输出设备固有分辨率。

(4)，打印或印刷输出。各色版的立体图像已经调频挂网，图像数据不需再经过光栅化处理直接由印刷或打印设备输出，复合立体光栅。

本发明所提供的立体设计方法简称为OFFSETB技术，可以将平面图像直接转化成逼真的立体图像，立体景深任意可控，设计周期短，效率高，极大地拓展了立体图片的应用领域，该方法可以广泛应用于立体摄影、立体婚纱、立体广告的设计制作。

下面给出两个实施案例。

实施例一，利用OFFSETB立体图像设计方法将一幅人物艺术照片设计成立体照片。将照片数字化，分析人物照片的立体深度，在照片上粗略画出数条等高线，同一等高线不一定完全相连或闭合，也不需要很精确，等高线之间的间距不必相等，我们认为等高线穿过的地方具有相同的立体深度，进一步简化，认为相邻深度的两条等高线包围的区域具有相同的立体深度，以此为依据按下面的方法设计立体图像。(1)利用“对象”选区工具，以相邻等高线为参照创建选区，可以增加选区、减少选区、编辑修改选区，并能将选区包围的图像定义成具有相同立体深度的“对象”；(2)利用“对象”边界定义工具，将某一“对象”边界划分成“红色”边界、“蓝色”边界或普通边界，并能对每种边界进行修改和重新定义，显然，在等高线连续且稀疏的地方一般为普通边界，在等高线中断或密不可分的地方一般为“红色”、“蓝色”边界；(3)利用立体深度赋值对话框，为每个对象的立体深度赋值，建立图像的深度列表；(4)根据“对象边界”的定义控制深度列表的平滑滤波处理，深度列表显示的立体深度基本与平面照片上人物及背景的实际立体深度相符；(5)对照片进行视差位移处理重建全部视差图像，自动完成空白点的填充；(6)在屏幕上左右平铺显示两幅视差图像，采用交叉对眼体视法观察立体图像，反馈立体信息，及时修改“对象”的立体深度，边界的范围和性质；(7)将视差序列图像立体合成，打印或印刷输出，复合立体光栅。应用本方法编制的立体图像设计软件，可以十分方便地将平面图像转换成立体图像。

实施例二，将视差序列图像利用改进的调频挂网技术进行立体合成。设8幅视差图像像素尺寸均为1800*2400，预合成幅面为60cm*80cm的立体图像，立体光栅栅距为0.8mm，图像输出设备采用分辨率为1200DPI的四色彩喷机。合成方法如下：(1)将所有视差图像的像素尺寸缩放成3750*40000，该尺寸超出了Photoshop等软件的处理范围，因此不能被直接显示出来；(2)将视差图像分色处理后，用误差扩散法调频挂网，每幅视差图均生成四幅尺寸为3750*40000的二值图像，分别标记为CMYK四色；(3)将同色版的8幅二值图像立体合成，生成尺寸为30000*40000的立体调频挂网图，分辨率定为1270DPI，接近图像输出设备的固有分辨率，即使图像数据被部分丢失，也能获得很高的图像输出精度；(4)立体图像已经分色挂网，图像数据不需经过光栅化处理直接由打印设备输出，复合立体光栅。

本发明公开的立体设计方法，主要应用于光栅立体图片、激光全息图片、立体电影、立体电视等立体图像的设计，另一个重要应用是开发立体图像设计软件。本发明的宗旨在于，利用边沿滤波控制技术改善平面图像的深度列表，通过电脑屏幕直接立体观察并反馈修改深度列表，重建其它视差序列图像，对缺失信息的空白点填充所需的颜色，理解本说明书需要掌握图像处理的基础知识。本发明选取了两个实施案例来参照说明，专业人士根据本说明书提供的解决方案可以很容易写出很多相关实施案例，本发明的意旨将包括与所附权利要求符合的所有实施例。

Claims (8)

1，一种立体图像设计方法，可以将平面图像设计成立体视差序列图像，其特征在于，根据平面图像立体深度的等高线，选取图像每个层次对象的区域范围并确定立体深度值，建立代表每个像素点立体深度的列表，利用滤波窗口对深度列表进行平滑滤波处理，利用视差偏移公式根据深度列表重建其它视差图像，自动填充视差偏移产生的空白点。

2，如权利要求1所述的方法，其特征还在于，对象的边界至少可区分成两种特性，即连续区域和非连续区域，根据边界的性质可以改变滤波窗口的大小及滤波核权重分布，来控制对象边沿的平滑效果。

3，如权利要求2所述的方法，其特征还在于，非连续区域可以区分成平滑非连续区域和平直边沿两种情况，可以采用不同的平滑滤波方式。

4，如权利要求2所述的方法，其特征还在于，可以单独定义“纵深平面”的范围，对深度列表对应区域作更进一步的平滑处理。

5，如权利要求2所述的方法，其特征还在于，出现在视差图像立体深度连续区域的空白点，根据左右点的像素值线性插值填充，出现在视差图像立体深度不连续区域的空白点，以后景边界为对称中心进行横向对称填充。

6，如权利要求2或5所述的方法，其特征还在于，在计算机屏幕上建立两个平行窗口，并列显示两幅视差图象，采用交叉对眼体视法观察立体图象，根据观察结果修改对象选区、立体深度值以及对象边界的性质。

7，如权利要求6所述的方法，其特征还在于，将视差图象合成光栅立体图象时，先将视差图象缩放成预定大小，然后对视差图象进行分色及调频挂网处理，再用交错排列法将同色的调频图象立体合成。

8，一种光栅立体图象的合成方法，其特征在于，采取了如下处理顺序，即先将视差图象缩放成预定大小，然后对视差图象进行分色及调频挂网处理，再用交错排列法将同色的调频图象立体合成。