CN101334900A - 一种基于图像的绘制方法 - Google Patents

Abstract

本发明属于计算机图像学及虚拟现实技术领域，具体涉及一种基于图像的绘制方法。本发明通过获取包括底部图像的参考图像，根据平面镜中的底部图像计算得到虚拟视点下的底部虚拟参考图像，及其对应的虚拟相机参数，构造目标物体视觉凸壳，绘制新视点下的新视图。本发明在采集普通参考图像的同时取得物体底部的图像，有效消除现有方法中易出现的变形现象，使绘制结果更具真实感，并能在更大范围内实现自由浏览。

Description

一种基于图像的绘制方法

技术领域

本发明属于计算机图形学及虚拟现实技术领域，具体涉及一种基于图像的绘制方法。

背景技术

计算机图形学的主要目标之一是在具有普通计算能力的计算机上实现真实感图形的实时绘制。各种三维建模方法可以帮助我们建立复杂的模型以描述真实世界中的对象，进而合成复杂的虚拟场景。计算机图形学领域内一般存在两大类方法对真实场景进行建模与绘制：基于几何的建模与绘制(GBMR)和基于图像的建模与绘制(IBMR)。

基于几何的建模将场景描述成基本的几何基元，通过定义光源和物体表面材质等属性，以及绘制公式的计算产生出虚拟的合成图像。基于几何的绘制计算强度大、速度慢，尤其是对复杂场景进行建模和绘制时。因此，在虚拟现实这类需要实时绘制的领域，使用基于几何的方法来实现具有照片真实感的绘制是非常困难的。

与基于几何的建模与绘制相比，基于图像的建模与绘制是一个比较新的领域。这类方法不需要预先建立几何模型，而是直接利用场景或物体的图像作为输入，从而为照片真实感绘制提供了一种更自然的途径。基于图像的绘制方法的主要优点在于：需要的计算资源少，易于实现实时计算；绘制时间与场景的复杂度无关，因此可以用较短的建模时间、较快的绘制速度来获得高度真实感的效果。其中，Matusik等人提出的基于图像的视觉凸壳(Image-Based Visual Hull：IBVH)方法，由于计算效率较高，描述简便，得到了广泛的应用(参见文献：W.Matusik，C.Buehler，et al.Image-Based Visual Hull.Proceedingsof ACM SIGGRAPH 2000，pp.369-374，2000)。

在基于图像的视觉凸壳算法中，首先从不同的方向对物体采集若干参考图像，并将前景物体与背景进行分割。分割后得到的二值图像称为侧影图(silhouette image)，由相机中心投射出来的射线与侧影的交集，称为投影锥。如图1所示，所有参考图像的投影锥的交集，即是对真实三维实体表面的一种近似表达，称为视觉凸壳。在具体绘制过程中，根据新视点的位置，从新视图的每个像素点可以引出一条射线，它与物体相交的交点位置可以通过极线几何原理借助其他已知的参考图像计算得到。这是一种计算模型，并没有将物体的几何模型显式地重建出来，而是根据每个像素所对应的三维交点的位置，投影到邻近的参考图像上取得正确的纹理，从而完成新视图的绘制。这一方法最大的贡献在于将计算限制在二维图像空间，从而大大减少了计算量。

常规视觉凸壳算法的思想是“从轮廓恢复形状”，因此从理论上讲，参考图像越多，视觉凸壳就越接近真实的物体表面。但是，由于所有的参考图像必须处于相同参考坐标系中，因此在不改变目标物体和坐标系相对位置的前提下，物体底部的图像是很难取得的。而一旦改变物体的相对位置，就必须引入复杂的配准算法来将新获得的图像变换到原有坐标系中。于是，如何有效地获取物体底部的图像，并在绘制时正确恢复出底部的形状与纹理，就成为一个需要解决的难题。

发明内容

本发明的目的是针对现有基于图像的绘制技术在底部建模上的不足，在基于图像的视觉凸壳算法的基础上，提出了一种基于“虚拟相机”概念的底部图像绘制方法。该方法旨在解决对物体底部不能有效获取参考图像并正确恢复其几何形状及纹理信息的问题，使绘制结果更具真实感，并能在更大范围内实现自由浏览。

为达到上述目的，本发明提出的基于图像的绘制方法主要分为以下几个步骤(如图2所示)：

1)获取参考图像

采用一种由透明玻璃板及平面镜组成的图像采集平台，从不同方位采集目标物体的图像，包括其底部的图像。

2)图像分割

通过图像分割，将每幅参考图像中的目标物体从背景中分离，得到物体轮廓；对于底部图像，通过变换得到相应的虚拟图像。

3)相机标定

根据标定场信息，计算每幅参考图像所对应相机的内、外参数；对于物体底部虚拟图像，推导计算其对应虚拟相机参数。

4)构造目标物体视觉凸壳

根据基于图像的视觉凸壳原理，计算从对应相机光心出发的投影锥，构造目标物体的视觉凸壳模型。

5)合成新视点下的新视图

通过人机交互指定新视点，并绘制出此新视点下的合成视图。

本发明的优点和积极效果在于：

1.通过简便有效的平面镜图像采集平台，可以在采集普通参考图像的同时，取得物体底部的图像而无需任何附加配准计算。

2.本发明的绘制方法在几何、纹理方面进一步改善重建出的物体模型，有效消除现有方法中易出现的变形现象，取得更高真实感的绘制结果。

附图说明

下面是对本发明附图的简要说明：

图1是视觉凸壳生成原理示意图；

图2是本发明的图像绘制方法的流程图；

图3是虚拟底部图像及虚拟相机的示意图；

图4是本发明中采用的分布于平面镜上的同心圆标定场的示意图；

图5是图像分割及虚拟底部图像生成的示意图；

其中，(a)是原始图像；(b)是分离背景后的图像；(c)是顶部的真实图像；

      (d)是底部图像；(e)是翻转后生成的底部虚拟图像；

图6是真实图像和虚拟底部图像及相机位置分布的示例图；

图7是真实相机参数和虚拟相机参数标定方法的流程图；

图8是基于图像的视觉凸壳绘制过程示意图；

图9是绘制新视图时顶点重定位过程的示意图；

图10是使用本发明方法对目标物体进行绘制的结果示例；

其中，(a)为常规方法绘制的结果，(b)是本发明方法绘制的结果。

具体实施方式

下面结合本发明的附图，详细描述本发明的具体实施方法。

本发明的图像绘制方法的流程如图2所示，具体步骤如下：

步骤1通过对置于标定场中的目标物体从不同的方向进行拍摄，获取一组参考图像。为了便于获取目标物体底部的信息，本发明采用平面镜图像采集平台。如图3所示，图像采集平台由一面透明玻璃和一面分布有标定物的平面镜构成。平面镜的作用有两点：(1)在拍摄目标物体的参考图像的同时，获得其底部在平面镜中的像；(2)镜面上分布的同心圆标定物构成标定场(如图4所示)，可以用于步骤3中对相机进行标定，计算其内、外参数。透明玻璃与平面镜相隔一定距离，既可以平稳放置目标物体，又能够使平面镜的作用得到发挥，保留物体底部在平面镜中的像。本发明的实施例中，玻璃与平面镜的尺寸分别为：800mm×800mm×5mm、500mm×500mm×5mm。采用较薄的玻璃，可以使玻璃-空气界面处的折射所产生的影响尽可能降低。此处用于拍摄图像的设备可以是普通消费级数码相机或CCD数字摄像头等。

如图5所示，步骤2首先通过图像分割方法，将上述参考图像中的目标物体(包括物体实像及平面镜中的虚像)与图像中的背景分离，得到所述目标物体的二维轮廓。

本发明从每幅参考图像中获得真实物体图像和物体底部虚拟图像：所述真实物体图像通过对原始图像进行分割、将物体实像从背景中分离出来即可得到；所述物体底部虚拟图像通过如下方法获得：首先通过手工交互或自动背景剪除等方法，将物体在平面镜中的虚像从背景中分离，再对其进行垂直翻转变换(即：以图像水平中轴为对称轴做垂直方向的对称变换)。从数学上可以证明，如果在与真实相机视点相对于平面镜平面对称的位置放置一个完全对称的虚拟相机(如图3所示)，则该虚拟相机的成像与垂直翻转后的底部图像是等价的(具体证明过程见步骤3)。因此垂直翻转后所得图像可以视为通过虚拟相机采集到的物体底部图像，称为虚拟图像。

经过上述步骤，可以得到两组参考图像，一组为真实图像，从俯视视角对物体进行拍摄所得；另一组虚拟图像则对应于从物体底部以下的虚拟视点仰视拍摄物体所得。两组图像及其对应视点的位置关系如图6所示。

步骤3计算真实图像和虚拟底部图像对应的相机参数。

其中，真实图像对应的相机参数通过通用的相机标定算法求解。具体到本实例中，对于每幅真实图像，首先通过自动识别算法(参见文献：穆亚东，相机标定中的图像识别技术，学士学位论文，北京大学，2004.)识别出参考图像中由六种纯色组合而成的同心圆标定物，并计算出其中心点在二维图像中的像素坐标。由于同心圆中心点在三维空间中的坐标亦为已知，因此可以按照常用的P4P相机标定算法(参见文献：胡占义，雷成，吴福朝，关于P4P问题的一点讨论，自动化学报，27(6)，770-775，2001.)，通过求解坐标变换方程组得到相应的真实相机的内、外参数。本发明不限于使用这种同心圆标定场及P4P的相机标定算法，使用其他种类的标定场及标定算法亦是可行的。

而虚拟底部图像对应的相机参数，则可以通过如下所述的虚拟相机生成算法，根据其对应的真实相机参数变换求解。

对于每幅虚拟图像I’，则首先找到其对应的真实图像I，然后对I对应的真实相机C的参数进行如下变换，得到I’对应的虚拟相机C’的参数：

根据针孔相机模型，从目标物体表面上一点(x，y，z)到它在相机C中的像素(u，v)的映射可以表示为：

$s\·\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=A\·[R\·\left(\begin{array}{c}x\\ y\\ z\end{array}\right)+T].---\left(1\right)$

其中A，R，T分别为C的内参数矩阵、旋转矩阵和平移向量，s为一常系数；

$A=\left[\begin{array}{ccc}f& 0& w/2\\ 0& f& h/2\\ 0& 0& 1\end{array}\right],$ $R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right].$

内参数矩阵A中，f为相机焦距，w和h分别为图像的宽和高的像素数。如果将该变换中围绕X、Y、Z坐标轴旋转的角度分别记为α、β、γ，则旋转矩阵R可以具体表示为：

$R=\left[\begin{array}{ccc}\cos \mathrm{\γ}\cos \mathrm{\β}& \cos \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}-\sin \mathrm{\γ}& \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\sin \mathrm{\γ}\sin \mathrm{\α}\\ \sin \mathrm{\γ}\cos \mathrm{\β}& \sin \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}+\cos \mathrm{\γ}\cos \mathrm{\α}& \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\cos \mathrm{\γ}\sin \mathrm{\α}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\sin \mathrm{\α}& \cos \mathrm{\β}\cos \mathrm{\α}\end{array}\right].$

可以假定坐标系中Y轴与镜面垂直且X-Z平面与镜面重合，则点(x，y，z)关于镜面的对称点为(x，-y，z)，它在虚拟相机C’的像素为(u’，v’)。由镜面对称性质可知，从(x，-y，z)到(u’，v’)的变换中围绕X、Y、Z轴旋转的角度分别为-α、β、-γ，于是相应的旋转矩阵为：

$R^{\′}=\left[\begin{array}{ccc}\cos (-\mathrm{\γ})\cos \mathrm{\β}& \cos (-\mathrm{\γ})\sin \mathrm{\β}\sin (-\mathrm{\α})-\sin (-\mathrm{\γ})& \cos (-\mathrm{\γ})\sin \mathrm{\β}\cos (-\mathrm{\α})-\sin (-\mathrm{\γ})\sin (-\mathrm{\α})\\ \sin (-\mathrm{\γ})\cos \mathrm{\β}& \sin (-\mathrm{\γ})\sin \mathrm{\β}\sin (-\mathrm{\α})+\cos (-\mathrm{\γ})\cos (-\mathrm{\α})& \sin (-\mathrm{\γ})\sin \mathrm{\β}\cos (-\mathrm{\α})+\cos (-\mathrm{\γ})\sin (-\mathrm{\α})\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\sin (-\mathrm{\α})& \cos \mathrm{\β}\cos (-\mathrm{\α})\end{array}\right]$

$=\left[\begin{array}{ccc}\cos \mathrm{\γ}\cos \mathrm{\β}& -\cos \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}+\sin \mathrm{\γ}& \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\sin \mathrm{\γ}\sin \mathrm{\α}\\ -\sin \mathrm{\γ}\cos \mathrm{\β}& \sin \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}+\cos \mathrm{\γ}\cos \mathrm{\α}& -\sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\cos \mathrm{\γ}\sin \mathrm{\α}\\ -\sin \mathrm{\β}& -\cos \mathrm{\β}\sin \mathrm{\α}& \cos \mathrm{\β}\cos \mathrm{\α}\end{array}\right]$

$=\left[\begin{array}{ccc}{r}_{11}& {-r}_{12}& r_{13}\\ -r_{21}& r_{22}& -r_{23}\\ r_{31}& -r_{32}& r_{33}\end{array}\right].$

同理可推导出C’的平移向量为T’＝(t_x，-t_y，t_x)^T。而C’本质上是C的镜像，因此内参数矩阵不变。于是最终可以得到C’的内、外参数如下：

$A^{\′}=\left[\begin{array}{ccc}f& 0& w/2\\ 0& f& h/2\\ 0& 0& 1\end{array}\right],$ $R^{\′}=\left[\begin{array}{ccc}{r}_{11}& {-r}_{12}& r_{13}\\ -r_{21}& r_{22}& -r_{23}\\ r_{31}& -r_{32}& r_{33}\end{array}\right],$ $T^{\′}=\left[\begin{array}{c}{t}_x\\ -t_y\\ t_z\end{array}\right].$

如果将这两组相机参数代入式(1)，可分别导出：

$\left\{\begin{array}{c}u=\frac{f(r_{11}x+r_{12}y+r_{13}z+t_x)}{r_{31}x+r_{32}y+r_{33}z+t_z}+\frac{w}{2}\\ v=\frac{f(r_{21}x+r_{22}y+r_{23}z+t_y)}{r_{31}x+r_{32}y+r_{33}z+t_z}+\frac{h}{2}\end{array}\right.$

以及

$\left\{\begin{array}{c}{u}^{\′}=\frac{f(r_{11}x+r_{12}y+r_{13}z+t_x)}{r_{31}x+r_{32}y+r_{33}z+t_z}+\frac{w}{2}\\ v^{\′}=-\frac{f(r_{21}x+r_{22}y+r_{23}z+t_y)}{r_{31}x+r_{32}y+r_{33}z+t_z}+\frac{h}{2}\end{array}\right.$

由此可得

$\left\{\begin{array}{c}{u}^{\′}-\frac{w}{2}=u-\frac{w}{2}\\ v^{\′}-\frac{h}{2}=-(v-\frac{h}{2})\end{array}\right.$

这表明(u，v)和(u’，v’)是关于图像坐标系中的水平横线 $v=\frac{h}{2}$ 对称的，因此可以证明步骤2中对图像进行垂直翻转是正确的。

步骤4提取目标物体轮廓，从而构造目标物体的视觉凸壳。具体而言，对于每幅真实物体图像和虚拟底部图像，首先提取当前图像中目标物体的边缘像素，边缘像素将构成一条或几条封闭的轮廓曲线；然后，将边轮廓曲线向量化，即采用若干条首尾相接的线段表示该封闭轮廓曲线。最后，在视觉凸壳框架下，结合相应的相机参数，从相应视点出发并通过当前轮廓线段各端点的射线集合，即构成当前参考图像对应的一个视觉锥。各参考图像对应的视觉锥的交集即为目标物体的束缚体，称之为视觉凸壳。

步骤5通过人机交互指定新视点，绘制新视图。

按照视觉凸壳算法的基本原理，用户指定新视点方向后，新视图的计算过程包括以下步骤，如图8所示：

(1)在新目标视点下，要合成的新视图的每个像素都对应于空间中的一条射线，所述射线是从相机中心出发、经过该像素的射线。利用相机参数以及极线几何原理，这条射线可以被投影到其它参考图像上。

(2)射线的投影在参考图像上与物体的轮廓相交，可以得到一组二维线段。

(3)再次利用相机标定信息，图像上的二维线段可以反投影到三维空间中，在当前像素的射线上得到对应的三维线段集合。

对每一幅参考图像重复上述运算，所得的三维线段集合的公共交集，即可视为当前射线与视觉凸壳的交。其中最靠近视点的线段端点，即可视为当前像素在三维空间中的对应点。将此三维对应点投影到适当的参考图像上，取得对应像素的颜色信息并加以融合，就可以生成新视图中的新像素。

具体绘制时，需要根据当前视点与物体底部的相对位置采取不同的策略，因此先要确定物体底部平面的高度：首先，在不同参考图像中识别出若干位于物体底部边缘的像素(一般需要10-20个像素)，然后在视觉凸壳框架下计算各像素对应的三维顶点坐标，最后将各三维顶点的平均高度视为物体底部平面高度。

如图9所示，当新视点位置高于底平面高度时，物体底部不可见，因此绘制过程与一般视觉凸壳流程相同(情形①)；而当新视点位置低于底平面高度时，则采用如下策略来计算各像素的纹理颜色：对于当前像素所对应的三维顶点，

1)若其高度高于物体底平面高度，则直接将其映射到相邻参考图像中，确定对应的纹理(情形②)；

2)若其高度低于物体底平面高度，则首先将该顶点沿对应的视线延长至底平面高度，然后将重定位后的交点映射到相邻参考图像，确定其对应的纹理(情形③)。

如图10所示，采用新的绘制策略后，传统视觉凸壳方法中的底部建模问题得以解决，目标物体的底部形状和纹理信息均得以正确重建，用一般方法绘制时存在的“尖底”现象得以消除，绘制结果的真实感也有显著提高。

上述内容具体说明了基于图像的视觉凸壳的底部绘制的方法。借助于平面镜图像采集平台，可以简便有效地获取目标物体的底部图像；采用图像分割算法和虚拟相机生成算法，可以得到分别针对目标物体上部和底部的两组参考图像，以及它们对应的相机参数；通过顶点重定位，显著改善目标物体的几何及纹理信息重建结果，提高绘制的真实感。

尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (9)

1.一种基于图像的绘制方法，其步骤包括：

1)从不同方位拍摄目标物体，利用图像采集平台采集所述目标物体的参考图像，所述参考图像包括真实图像和底部图像，所述采集平台中包括一面分布有若干同心圆标定物的平面镜；

2)将上述底部图像关于所述平面镜垂直翻转获得虚拟底部图像；

3)分别计算所述真实图像和虚拟底部图像对应的相机参数，提取目标物体轮廓，构造目标物体的视觉凸壳；

4)从上述不同参考图像中识别位于物体底部边缘的像素，利用视觉凸壳算法计算各像素对应的三维顶点坐标，确定物体底平面高度；

5)指定新视点方向，根据新视点相对于物体底平面的不同位置进行绘制，若新视点为仰视视点，且所述仰视视点所对应的三维点低于物体底平面高度，绘制时将所述三维点沿对应的视线延长至物体底平面高度，确定重定位后的交点，并将所述重定位后的交点映射到相邻参考图像，确定其对应的纹理，完成图像的绘制。

2.如权利要求1所述的方法，其特征在于：所述步骤1)中的图像采集平台还包括一面透明玻璃，所述透明玻璃与所述平面镜有间隔距离。

3.如权利要求1所述的方法，其特征在于：所述步骤3)中的相机参数指相机的内参矩阵、旋转矩阵、平移向量。

4.如权利要求1所述的方法，其特征在于：所述步骤3)中的真实图像的相机参数，是通过自动识别算法识别所述参考图像中的同心圆标定物及其标志的参考点坐标，按照相机标定算法计算获得。

5.如权利要求4所述的方法，其特征在于，所述相机标定算法为P4P相机标定算法。

6.如权利要求4所述的方法，其特征在于，所述虚拟底部图像的虚拟相机的参数的计算方法如下：

1)找出虚拟底部图像对应的真实物体图像，所述虚拟底部图像与真实物体图像关于所述平面镜对称；

2)设真实图像的真实拍摄视点p对应的真实相机C的内参矩阵A、旋转矩阵R、平移向量T分别为：

$A=\left[\begin{array}{ccc}f& 0& w/2\\ 0& f& h/2\\ 0& 0& 1\end{array}\right],$ $R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right];$

3)对应的虚拟底部图像的虚拟视点p′对应的虚拟相机C′的内参矩阵A′、旋转矩阵R′、平移向量T′分别为：

$A^{\′}=\left[\begin{array}{ccc}f& 0& w/2\\ 0& f& h/2\\ 0& 0& 1\end{array}\right],$ $R^{\′}=\left[\begin{array}{ccc}{r}_{11}& {-r}_{12}& r_{13}\\ {-r}_{21}& r_{22}& -r_{23}\\ r_{31}& -r_{32}& r_{33}\end{array}\right],$ $T^{\′}=\left[\begin{array}{c}{t}_x\\ {-t}_y\\ t_z\end{array}\right];$

上述f为相机焦距，w和h分别为图像的宽和高的像素数。

7.如权利要求1所述的方法，其特征在于：所述步骤3)中，提取目标物体轮廓，构造目标物体的视觉凸壳的方法为：

1)提取每幅真实物体图像和虚拟底部图像中目标物体的边缘像素；

2)若干条首尾相接的边缘像素构成一条或几条封闭的轮廓曲线；

3)利用所述轮廓曲线和相应的相机参数生成视觉锥的交集。

8.如权利要求1所述的方法，其特征在于：所述步骤4)中，利用图像中位于目标物体底部的10-20个像素，计算所述像素对应的三维顶点坐标，各三维顶点的平均高度视为物体底部平面高度。

9.如权利要求1所述的方法，其特征在于：所述步骤5)中，若新视点为俯视视点，绘制过程与一般视觉凸壳流程相同；若新视点为仰视视点，且所述仰视视点所对应的三维点高于物体底平面高度，则直接将图像映射到相邻参考图像中，确定对应的纹理。

Images