CN1588453A

CN1588453A - 基于相对深度计算的画中游方法

Info

Publication number: CN1588453A
Application number: CN 200410052974
Authority: CN
Inventors: 曹智清; 石教英
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2004-07-15
Filing date: 2004-07-15
Publication date: 2005-03-02
Anticipated expiration: 2024-07-15
Also published as: CN1296873C

Abstract

本发明公开了一种基于相对深度计算的画中游方法。其步骤为：(1)确定图像灭点数目；对图像进行前景背景划分；对于前景部分，准备前景mask图；对图像背景部分，制作背景图像，并构造蜘蛛网格；(2)按照灭点数目对背景图像进行相对深度及模型相对尺寸计算，其中包括视点确定、从蜘蛛网格获取数据和进行相对深度和相对尺寸计算这三个子步骤；(3)根据相对深度和模型尺寸的数值，进行前景和背景的建模；并用背景图像和前景mask图分别对背景前景模型进行纹理映射，并定位相机，渲染得到输出图像。本方法针对较规整建筑物，能够从二维图像中较精确地计算三维模型的相对尺寸和相对位置，能较好地解决全景图和画中游相结合的应用中两种技术切换时的融合问题。

Description

基于相对深度计算的画中游方法

技术领域

本发明涉及一种基于相对深度计算的画中游方法。

背景技术

基于图像的绘制技术(Image-Based Rendering，IBR)是一种从一系列拍摄的图像或者没有连接关系的点出发来进行绘制，从而得到较好三维漫游效果的虚拟现实技术。它在电影电视特技制作和娱乐广告等方面有着广泛和深入的应用。但与此同时，普遍地，该技术表达一个场景所需的数据量过于巨大，采样难度过大。Y.Horry于1997年提出了画中游技术(Tour Into the Picture，TIP)。该技术可以简单地对一幅二维照片进行漫游，较好地解决了IBR技术中的采样问题。画中游技术给出了一种简单的三维模型，它由一些三维多边形框架和公告板(billboard)组成，从而可以生成各式各样令人悦目的高质量3D动画。该技术目前已被广泛应用于娱乐、文物保护、广告等各方面。

画中游技术一般可以分为以下四个步骤：

1、图像预处理。将输入图像区分前后景，手动制作前景mask图和背景图片。所谓前景mask图是将图像中前景部分抠出而形成的二维灰度图，前景部分置为白色，其它部分为黑色。背景图片则为去掉前景以后的背景，手动将前景镂空部分填充上与周围背景相协调的图案和色彩。这是开始TIP制作过程的准备。

2、构建蜘蛛网格。在背景图片上构建蜘蛛网格，从而可以提供建模的基本几何信息。蜘蛛网格由灭点(vanishing point)、内窗口(inner window)、外窗口(outer window)和由灭点向四周发出的射线组成。由于透视现象为近大远小，因而使得三维场景中互相平行的直线在二维图像中不一定平行，最终汇聚成为一点，即所谓灭点。内窗口为视点无法穿过的背部矩形，外窗口则为图像的边框。由灭点出发经过内窗口四个顶点的射线和内窗口一起，把原图像分为五个部分——内窗口和上下左右四个多边形。相对应地，分别命名为后墙(rearwall)、天花板(ceiling)、地面(floor)、左墙(left wall)、右墙(right wall)。

3、重建模。对于背景，蜘蛛网格所分割而成的五个部分相对应于建模过程中的五个相邻接的矩形。基于三个假设进行重建模：1)五个矩形中相邻的矩形彼此垂直；2)三维环境中后墙矩形(rear wall)平行于视平面；3)三维环境中地面矩形(floor)垂直于视平面。重建过程中，先获取图像中蜘蛛网格的有关位置信息，进行各个关键点(建模过程中矩形的顶点)的三维位置计算。其中，天花板高度等信息为估计尺寸。根据计算而得的各个关键点的位置信息进行建模，得到背景的三维盒子模型(box model)。对于前景，基于公告板(billboard)形式，使用层次多边形进行建模，三维位置计算与背景类似。

4、纹理映射及渲染。假设三维矩形中的纹理都从相对应的二维多边形中继承。渲染而得的输出图像中任意二维点可以找到三维模型中的对应点，后者又可以找到原始图像中的二维对应点。对于前景的纹理映射，除了纹理对应以外，还必须根据mask图提供的信息，设置前景物体和周围背景的不同透明值。因而渲染的每个点都可以在原图中找到对应的点，映射该点的色彩即可得到纹理映射的结果。

画中游技术从一幅图像出发，得到三维模型中的漫游效果，给人以全新的“人在画中游”的视觉效果。但在应用过程中，尤其是画中游技术和全景图技术相结合时，对画中游技术中，在不改变视点位置情况下，重建的三维模型是否可以得到与原图相同视觉效果，提出了更高的要求，这实质上是对于重建三维模型的位置和尺寸的更精确的要求。画中游技术的建模过程中，原有的高度等值的估计方法难以满足需求，这直接影响到用户在画中游过程中的真实感。

发明内容

本发明的目的是提供一种基于相对深度计算的画中游方法。

以一幅图像作为输入进行漫游，其步骤为：

(1)确定图像灭点数目；对图像进行前景背景划分；对于前景部分，将前景从背景中抠出，准备前景mask图；对图像背景部分，填充前景被抠出部分，制作背景图像，并构造蜘蛛网格；

(2)定义图像平面为垂直于地面的平面，原始图像位于该图像平面上，且置原始图像底边于图像平面和地平面相交线上，相对深度，即为模型与图像平面之间的距离深度；按照灭点数目对背景图像进行相对深度及模型相对尺寸计算，其中包括视点确定、从蜘蛛网格获取数据和进行相对深度和相对尺寸计算这三个子步骤；

(3)根据相对深度和模型尺寸的数值，进行前景和背景的建模；并用背景图像和前景mask图分别对背景前景模型进行纹理映射，并定位相机，渲染得到输出图像。

本发明简单易用，其有益效果是，可以通过科学计算得到画中游模型的较精确的相对位置和相对尺寸，从而在视点位置和角度不变的情况下，使用户得到与原始图像相同视觉效果的三维模型透视输出图像。尤其在画中游和全景图技术相结合的应用中，可以得到全景图和画中游模型之间的无跳跃切换。

对本发明进行实验检验，构造精确的三维模型，进行相机采样。对采样图像使用新的画中游方法(为1个灭点图像)，对三维模型进行重建。在原相对深度为100.00的采样中，表1为本发明计算得到的结果，平均误差为2.86％：

表1结果及误差分析

	实验1	实验2	实验3
	实验1	实验2	实验3	相对深度	97.33	96.73	97.37
误差	2.67％	3.27％	2.63％	相对深度	97.33	96.73	97.37

重建的三维模型在经过透视重新渲染形成输出图像的过程中，其相对深度和相对尺寸的误差影响将进一步减小，从而得到与原始图像相同的视觉效果。进行实验检验，构造精确的三维模型，进行相机采样。对采样图像使用新的画中游方法(为1个灭点图像)，对三维模型进行重建。在原相对深度为100.00的采样中，表1为本实用新型计算得到的结果，平均误差为2.86％：

表1结果及误差分析

重建的三维模型在经过透视重新渲染形成输出图像的过程中，其相对深度和相对尺寸的误差影响将进一步减小，从而得到与原始图像相同的视觉效果。

附图说明

图1是基于相对深度计算的画中游方法的流程示意图；

图2a～d是画中游方法的蜘蛛网格示意图；

图3是本发明的“相对深度”定义示意图；

图4为本发明的一个灭点图像的相对深度和模型相对尺寸的计算示意图；

图5是本发明的左墙实际建模细节示意图；

图6a～c是本发明的一个灭点图像经过计算建模渲染后的输出图像效果示意图；

图7为本发明的两个灭点图像的相对深度和模型相对尺寸的计算示意图；

图8a～c是本发明的两个灭点图像的漫游过程输出图像。

具体实施方式

本发明解决其技术问题所采用的技术方案是：定义图像平面为垂直于地面的平面。原始图像位于该图像平面上，且置原始图像底边于图像平面和地平面相交线上。在本方案中，称如此放置的原始图像为参考图像。引入“相对深度(Relative Depth，RD)”的概念，即模型与图像平面之间的距离深度。在画中游技术中，“相对深度”即图像平面与模型后墙之间的距离深度。根据透视几何原理，在构造蜘蛛网格的基础上，由参考图像的定义，可计算得到模型的相对深度。在此基础上，可进一步计算得到模型的各相对尺寸。所谓相对尺寸，即计算所得的尺寸是与参考图像大小相对应的模型尺寸，而非真实环境中物体的原始大小。相对深度的计算，决定了画中游模型的位置和尺寸，也决定了用户漫游的深度限制。

由于从单幅图像中计算深度有一定困难，这要求一些辅助条件或者模型本身具有一定的几何特征(如垂直或平行的直线和平面等)。我们基于以下假设提出本实用新型：

(1)模型的左右墙和后墙均垂直于地面。

(2)图像平面垂直于地面。

(3)原始图像为相机水平采样所得。

本发明针对不同的图像特征，归纳了不同灭点数图像的相对深度及模型尺寸计算方法。相对深度计算的基本步骤为：

1、视点确定。确定一固定的视点，在该视点处进行参考图像和画中游模型的切换。漫游过程中，所生成的新的图像不同于原始图像，包括视野大小、分辨率和视角等。新的生成图像只有在该固定视点处才能得到与原始图像相同的视觉效果。这意味着当用户要从画中游模型切换回到原始图像时必须回到该视点位置。

2、从蜘蛛网格获取相对深度计算所需的数据。

3、根据不同的灭点数进行相对深度和相对尺寸计算。

新的画中游方法步骤为：

(1)确定图像灭点数目；手工对图像进行前景背景划分；对于前景部分，将前景从背景中抠出，准备前景mask图；对图像背景部分，填充前景被抠出部分，制作背景图像，并构造蜘蛛网格；

如图1所示，首先，对原始图像确定灭点类型以确定不同的相对深度及模型相对尺寸计算方法；区分其前后景，并分别对前景背景进行预处理，形成前景mask和背景图像。然后，在对背景图像构建蜘蛛网格的基础上，根据不同的灭点类型，确定模型结构，进行相对深度和模型相对尺寸的计算。之后，根据计算得到的数据进行前景背景的分别建模和纹理映射。最后，定位相机，并进行渲染输出结果图像。

图2(a)为蜘蛛网格的各组成部分：灭点，内窗口，外窗口，由灭点出发的各条射线。图2(b)给出了在一个灭点背景图像上构建蜘蛛网格的实例。图2(c)表示蜘蛛网格的构建将背景图像分为五个部分：后墙，左右墙，天花板和地面，这将直接对应建模过程中盒子模型的各面。图2(d)即说明了建模后各顶点与蜘蛛网格中相关顶点的对应关系，并给出了建模后的盒子模型外观。

如图3所示，“相对深度”定义为模型与图像平面之间的距离深度。在画中游技术中，“相对深度”即图像平面与模型后墙之间的距离深度。图像平面垂直于地平面，且参考图像底边在地平面上。“相对深度”确定了模型的位置(即后墙位置，也就是漫游的深度限制)，实际上也就是三维盒子模型中地面矩形的长度。

在图4所示实施例中，输入图像为一灭点图像。图4中，左上角为背景图像，右上角为建模侧视图，左下角为建模顶视图。视点位置在垂直于图像平面且过灭点的直线上，视点到图像平面的距离f可根据应用需要设定，这样，视点位置就确定了。由背景图像的蜘蛛网格可以得到相对深度计算所需的有关数据信息：内窗口底边到外窗口底边的距离m₁，灭点到外窗口底边的距离vh(即视点高度)，灭点到内窗口顶边的距离m₂，灭点到内窗口左边的距离p₁，灭点到内窗口右边的距离p₂。根据透视几何原理，可以计算得到相对深度

d = \frac{m_{1} \cdot f}{vh - m_{1}},

模型高度

h = vh + \frac{m_{2} \cdot (f + d)}{f},

模型宽度

w = w_{1} + w_{2} = \frac{(p_{1} + p_{2}) \cdot (f + d)}{f} .

这就得到了三维盒子模型的位置和主要的相对尺寸。除此之外，还有一些建模细节需要注意，如各个三维矩形的具体尺寸。如图4中顶视图和图5所示，以左墙为例，其三维模型并不是一个d×h的矩形，而必须考虑其三维空间的可视角度，应为一个(d-n₁)×h的矩形。相类似地，右墙模型应为(d-n₂)×h的矩形，天花板模型应为(d-n₃)×h的矩形。其中，由图5可得，

n_{1} = \frac{(w_{1} - p_{3}) \cdot f}{p_{3}},

n_{2} = \frac{(w_{2} - p_{4}) \cdot f}{p_{4}},

n_{3} = \frac{(h - height) \cdot f}{(height - vh)} .

图6为图4所示实施例的输出图效果比较。图6(a)为该示例的输入图像，图6(b)为对输入图像进行TIP建模后得到的模型外观，图6(c)是对(b)中纹理部分的放大。可见，在视点位置和角度不变的情况下，经过本实用新型的计算和建模，可得到与原输入图像相同视觉效果的输出模型。

图7给出了另一个实施例，其输入图像为二灭点图像。图7中，左上角为背景图像，右上角为建模侧视图，左下角为建模顶视图。根据透视几何，图像中的两个灭点必然在同一水平线上，称为灭线。视点位置在垂直于图像平面且过两灭点连线中点的直线上，视点到图像平面的距离f可根据应用需要设定，这就确定了视点位置。由背景图像的蜘蛛网格可以得到相对深度计算所需的有关数据信息。经过计算得到：

d_{1} = \frac{(vh - m_{1}) \cdot f}{m_{1}},

d_{2} = \frac{(vh - m_{2}) \cdot f}{m_{2}},

d_{3} = \frac{(vh - m_{3}) \cdot f}{m_{3}},

w_{1} = \frac{(d_{1} + f) \cdot p_{1}}{f},

w_{2} = \frac{(d_{2} + f) \cdot p_{2}}{f},

w_{3} = \frac{(d_{3} + f) \cdot p_{3}}{f},

h = vh + \frac{m_{4} \cdot (f + d_{1})}{f} .

图8是图7实施例经过计算建模以后，在漫游过程中的输出图像效果。图8(a)为对两灭点图像构建网格，提取有关计算数据。图8(b)为原始输入图像，图8(c)为漫游过程中某一角度的输出图像，这是原始图像中不能获得的新视点视觉效果。

Claims

1、一种基于相对深度计算的画中游方法，其特征在于：以一幅图像作为输入进行漫游，其步骤为：

2、根据权利要求1所述的一种基于相对深度计算的画中游方法，其特征在于所说的视点确定是：该视点为切换画中游模型和参考图像的固定点，对于一灭点图像，其视点位于过灭点，且垂直于图像平面的直线上，视点到图像平面的距离f可任意确定；对于两灭点图像，两灭点位于同一水平线，即灭线上，其视点位于过两灭点连线中点，且垂直于图像平面的直线上，视点到图像平面的距离f可任意确定。

3、根据权利要求1所述的一种基于相对深度计算的画中游方法，其特征在于所说的按照灭点数目对背景图像进行相对深度和相对尺寸计算是：对于一个灭点的图像，由背景图像的蜘蛛网格获取以下数据信息：内窗口底边到外窗口底边的距离m₁，灭点到外窗口底边的距离vh，即视点高度，灭点到内窗口顶边的距离m₂，灭点到内窗口左边的距离p₁，灭点到内窗口右边的距离p₂，灭点到外窗口左边距离p₃，灭点到外窗口右边距离p₄，外窗口高度height，又根据透视几何原理，计算得到三维盒子模型相对深度和相对尺寸如下：相对深度

d = \frac{m_{1} \cdot f}{vh - m_{1}},

模型高度

h = vh + \frac{m_{2} \cdot (f + d)}{f},

模型宽度

w = w_{1} + w_{2} = \frac{(p_{1} + p_{2}) \cdot (f + d)}{f} .

4、根据权利要求1所述的一种基于相对深度计算的画中游方法，其特征在于所说的按照灭点数目对背景图像进行相对深度和相对尺寸计算是：对于两个灭点的图像，由背景图像的蜘蛛网格获取以下数据信息：灭线到内窗口底边距离m₁，灭线到左墙底边的距离m₂，灭线到右墙底边的距离m₃，灭线到外窗口顶边的距离m₄，灭线到外窗口底边距离vh，即视点高度，内窗口宽度p₁，视点到外窗口左边的距离p₂，视点到外窗口右边的距离p₃，经过计算得到：后墙相对深度

d_{1} = \frac{(vh - m_{1}) \cdot f}{m_{1}},

左墙外沿相对深度

d_{2} = \frac{(vh - m_{2}) \cdot f}{m_{2}},

右墙外沿相对深度

d_{3} = \frac{(vh - m_{3}) \cdot f}{m_{3}},

后墙宽度

w_{1} = \frac{(d_{1} + f) \cdot p_{1}}{f},

左墙外沿宽度

w_{2} = \frac{(d_{2} + f) \cdot p_{2}}{f},

右墙外沿宽度

w_{3} = \frac{(d_{3} + f) \cdot p_{3}}{f},

模型高度

h = vh + \frac{m_{4} \cdot (f + d_{1})}{f} .

5、根据权利要求3所述的一种基于相对深度计算的画中游方法，其特征在于所说的一灭点图像计算得到三维盒子模型是：对于一灭点图像，在得到盒子模型相对深度和相对尺寸数据之后，确认盒子模型各三维矩形的具体尺寸，其左墙为一个(d-n₁)×h的矩形，右墙模型为(d-n₂)×h的矩形，天花板模型为(d-n₃)×h的矩形，其中，

n_{1} = \frac{(w_{1} - p_{3}) \cdot f}{p_{3}},

n_{2} = \frac{(w_{2} - p_{4}) \cdot f}{p_{4}},

n_{3} = \frac{(h - height) \cdot f}{(height - vh)} .