CN1277240C - 三维模型的阶层式纹理贴图处理方法 - Google Patents

Abstract

本发明公开了一种三维模型的阶层式纹理贴图处理方法，包括下列步骤：提供一张图像至该三维模型；转换该图像与该纹理贴图至一相同空间坐标并分割为数个网格；于该空间坐标内比对该图像与该纹理贴图，并撷取出重复的网格；通过该重复的网格的像素强度来加权平均计算调整该图像与该纹理贴图的像素强度；利用一预设条件，取其中之一该图像与该纹理贴图的纹理作为该网格的纹理；平滑化该网格的纹理；连续化该网格的像素；回复该网格而输出该三维模型。该方法不会产生像素强度有不连续变化的现象，从而破坏计算机产生图像的图像逼真品质。

Description

三维模型的阶层式纹理贴图处理方法

技术领域

本发明为一种三维模型的贴图处理方法，应用于将图像贴合至一三维模型，特别是一种划分为图像层级、纹理层级以及像素层级，并分别对纹理上的图像像素强度来调整的三维模型的阶层式纹理贴图处理方法。

背景技术

纹理贴图(Texture mapping)技术在计算机图形学(Computer graphics)领域中被提出来增加计算机产生图像(CGI)的逼真度。其通过逼真的图像，产生三维模型上的纹理贴图设定，达成以较少的网格面需求，但有较好的图像展现(Rendering)效果。而随着IC设计技术的进步，纹理贴图所需的运算功能及纹理内存在大多数的绘图芯片中均已包括在内。因此，现今在不同领域的应用中，如游戏(Gaming)、动画(Animation)、3D网站，都可以找到利用纹理贴图来产生图像逼真(Photo-realistic)效果的图像，供使用者观赏、互动。

一般说来，欲将图像(Image)贴到三维模型(3D model)上，首先，必须通过人工设计或三维扫描设计出一个完整且准确的物体数字化三维模型。接下来便是拍摄物体的二维图像，并建立三维模型和二维图像间的投影关系。在获得物体的三维模型、其某个角度的图像及对应的投影关系后，我们便可以将数字化的三维模型通过投影关系投影在二维图像上。如此，再将投影在图像上中三维模型的各网格所涵盖的图像区域设定为网格所对应的纹理即完成纹理贴图的设定。

当我们将一张图像的纹理对映到三维模型中，可以利用上述的程序快速完成物体纹理贴图的设定，而获得一个贴有纹理的模型(Textured model)。但是，一张图像不足以涵盖物体全部表面的纹理，此时模型的图像展现(Rendering)结果会出现破洞或是着色(Shading)不对的问题。因此，必须利用多张不同角度的图像才可以完整地设定三维模型上各个网格的纹理，以解决此缺点。然在拍摄物体不同角度图像时，可能因为不同时间的拍摄、不同光源的图像及不同相机参数的设定(放大、缩小、不同焦距、相机位置)等因素造成物体表面上同一个表面点在不同角度的图像投影有不同颜色的呈现。如此当我们将多张图像贴到数字化的三维模型上时会发生纹理颜色变化不一致，进而使图像展现结果有视觉上的缺陷。

为解决此问题，我们可以利用已设定好的三维模型纹理贴图，通过投影等方式，如投影到圆柱体或球体表面，产生一张整体图(Global map)，再通过人工修编的方式，利用既有的图像处理软件工具，如PhotoImpact、PhotoShop等，一一地去调整整体图中各区域像素颜色变化不一致的地方；但此工作需要对图像处理工具熟练的美工人员花费许多时间才能得到好的结果。而如美国专利第6057850号，其通过一个可以控制、定位的打光系统，针对每个相机拍摄位置，拍摄不同打光方向的物体图像，后再将这些来固定相机参数位置；但不同打光情况的图像接合(Stitch)在一起，是依据打光方向及相机拍摄角度做不同程度的智能型像素混合(Pixel-wise blending)，如此将不同角度打光所造成的光影现象以权重平均方式消除掉，得到一个无光源影响的图像。再从此图像中切割纹理出来设定到三维模型上，如此可以重新做不同打光、不同相机位置参数的设定来展现出新的图像；但是其需要有特殊定位的打光系统，才能得到较佳的效果，使用上并不经济。

另外，如美国专利第6281904号，将三维模型切割为数个不同的平面区域组成，以人工的方式选取三维模型上各区域在图像中对应的投影范围，在不同图像中，相同的三维模型区域所投影的范围再通过各种方式混合在一起；此方法考虑的是如何将同一区域(Region)在不同图像中的成像合成在一起，并未处理区域间的差异。为了改进此专利，美国专利第6469710号提出利用阿尔法混合(Alpha blending)的观念，设定同一三维模型表面区域在不同图像上的投影范围中各个像素的对于最终纹理的贡献程度，若投影范围内有其它物体的成像，则设定此像素贡献为零，以消除错误图像像素的影响。然而其运算只是针对同一个三维模型表面区域的投影，因此区域间的纹理变化同样会因相邻纹理有不同的变化而造成视觉上的差异。

发明内容

本发明为解决上述问题而提供一种三维模型的阶层式纹理贴图处理方法，相邻网格的纹理不会因为其来自不同打光情况及相机参数设定等原因的图像，而产生图像像素强度有不连续变化的现象，破坏计算机产生图像(CGI)的图像逼真(Photo-realistic)品质。

根据本发明所公开的三维模型的阶层式纹理贴图处理方法，主要将贴图图像区分为图像层级(Image level)、纹理层级(Texture level)、像素层级(Pixellevel)三个层级，针对各层级范围内的图像像素强度(Pixel intensity)做不同程度的调整。在图像层级中，针对图像具有重叠的网格，利用加权平均的方式计算图像像素强度平均值，并对整体图像作调整。接着进行纹理层级的调整，将重复区域的网格的纹理，利用预定的条件判断，利用其中之一的纹理来计算或是取代的正规化运算，并进行网格的纹理与周围相邻网格的纹理的模糊化，使纹理更为平顺。最后再由像素层级，调整处理网格内像素的颜色，而能得到最佳的三维模型。同时，本发明可针对输入的图像资料进行累加式处理，当有新图像进入时，不需要重复浪费时间来重新计算。

附图说明

图1为本发明的步骤流程示意图；

图2为本发明的图像层级的处理流程图；

图3为本发明的纹理层级的处理流程图；

图4为网格相邻的示意图；及

图5为本发明的像素层级的处理流程图。

图号说明

μ_s0～μ_s10        强度平均数

具体实施方式

本发明公开一种三维模型的阶层式纹理贴图处理方法，请参阅图1，首先，提供数张图像至三维模型(步骤101)，而其中图像来源的取得可通过各种角度拍摄实体，并不用如前案需要有特殊的打光系统，接着判断三维模型上是否具有为纹理贴图(步骤102)，如果输入图像为贴合至三维模型上的第一张图像，理所当然就是“否”，进入纹理撷取贴合(Texture extraction and mapping)(步骤103)；如果不是第一张图像，则为“是”，则利用图像层级调整(步骤104)、纹理层级调整(步骤105)以及像素层级调整(步骤106)等三层级的调整。然后接着判断是否具有下一张图像(步骤107)，依序将其完成，最后输出三维模型(步骤108)。因为通过这样的设计，不论何时，仅需要增加图像进入，可马上进行累加计算，而不需重新计算。

当其判断为第一张图像时，执行纹理撷取贴合(步骤103)，以下详述其方法。当图像及三维模型加载到内存后，先设定图像的投影关系矩阵，图像的投影关系矩阵可以通过人工或自动的相机校正程序获得。接下来是将数字化三维模型上的网格面通过投影矩阵一一地投影在真实图像上，若投影在图像上的网格面是可视(Visible)的，则将其所涵盖的区域设定为其对应的纹理，反之，则跳过，继续处理下一个网格面，一直到图像的所有网格处理完，此时，因为仅有单一张图像资料，故得到的三维模型可能会有相当多的空白缺口。

而当为第二张以后的图像输入时，则利用三阶层的方式来调整，分别为图像层级(Image level)调整(步骤104)、纹理层级(Texture level)调整(步骤105)与像素层级(Pixel level)调整(步骤106)，以下分别详述三个阶层的调整。首先，请参阅图2，两张图像结合前，需先将三维模型的纹理贴图与图像分割成数个网格的投影(步骤201)，当然分割转换时，必须使用相同的空间坐标，接着撷取出有重复的网格(步骤202)，利用重复的网格来加权平均计算像素的亮度(步骤203)，来调整整张图像的像素强度(步骤204)，公式如下：

                    I_s′(x_i，y_i)＝I_s(x_i，y_i)-μ_s+μ_b

其中为μ_s为三维模型的重复网格的像素强度平均；

      μ_b为输入图像的重复网格的像素强度平均；

      I_s(x_i，y_i)为三维模型各点的像素强度；及

      I_s’(x_i，y_i)为调整后三维模型各点的像素强度。

也就是说利用重复网格的像素强度平均，来对整体图像(包括三维模型的纹理贴图与输入图像)的像素强度，使得图像输入后，纹理贴图与图像的像素强度能作一初步的调整。而因为上述说明仅为第二张输入图像，如果是第三张以后的图像，三维模型上的纹理贴图可占有更高的比重，因此上述可再加入权值比重的参数来解决。

图像的像素强度调整后，接着调整重复网格的纹理(步骤205)，重复的网格以预设的条件来判断，如分辨率大小、网格的方向、拍摄的角度等，来判断并调整，举例来说，如果利用分辨率作为判断条件，则可以直接利用分辨率较大的网格的纹理，作为最终网格的纹理，而其余判断条件也是相同的原理。

处理完图像层级的调整(步骤104)后，进入到纹理层级的调整(步骤105)来平滑化网格的纹理，如图3所示，包括有纹理正规化(Texture normalization)(步骤301)及纹理模糊化(Texture blurring)(步骤302)。纹理正规化(步骤301)主要系将重复的网格所对应的纹理的图像像素强度，分别求取此网格内的平均值，接着利用下列公式来求算：

                  T_s′(x_i，y_i)＝T_s(x_i，y_i)-μ_s+μ_b

其中为μ_s为三维模型的重复网格的纹理的像素强度平均；

      μ_b为输入图像的重复网格的纹理的像素强度平均；

      T_s(x_i，y_i)为网格内各点的纹理像素强度；及

      T_s’(x_i，y_i)为调整后网格内各点的纹理像素强度。

其原理于上述相同，故不再累述。接着进行纹理模糊化(Texture blurring)(步骤302)，先计算每个网格面对应纹理的强度平均数μ_s0(见图4)，再依序计算其周围网格面纹理的强度平均数μ_s1～μ_s10，并利用公式计算：

${\mathrm{\μ}}_{s0}^{\′}=\underset{i}{\mathrm{\Σ}}{w}_i{\mathrm{\μ}}_{\mathrm{si}}$

利用不同的条件(如距离、亮度等)来决定权值比重，并使得每一网格的纹理能够与周围网格的纹理混合并模糊化，减少相邻网格的边界，而有平顺的效果。当然，图中所绘示的网格为三角形，但是并不限定为此一形状，各种的几何图形切割都可。

最后接着进行像素层级的调整(步骤106)，请参阅图5，首先选取其中的任一个网格(步骤501)，并判断其与周遭网格的纹理是否具有不连续的颜色变化(步骤502)，如没有，则继续判断是否已经处理完所有网格(步骤506)，一直到将所有的网格处理完。而如果判断具有不连续的颜色变化，先撷取边界图像的一像素(步骤503)，并针对此一像素找寻在周围网格纹理中最接近的另一个图像点，将边界图像点的图像像素强度设定为两者的加权平均值(步骤504)，并纪录调整前后的差值来进一步地调整网格内的其它图像像素强度(步骤505)，其可利用下式做像素强度的调整：

$T_s^{\′}(x,y)=T_s(x,y)+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i\·{\mathrm{Id}}_i$

其中为w_i为相关的权值比重；

      Id_i为上述的调整差值；

      N为总共调整的数量；

      T_s(x_i，y_i)为三维模型各点的像素强度；及

      T_s’(x_i，y_i)为调整后三维模型各点的像素强度。

在上式中，我们可以使用单一个(N＝1)最近边界图像像素或不同边界上(N＝多面体的边界线个数)的图像像素强度差值来调整网格内的图像像素，而可使得视觉效果上有平顺的变化，不再有不连续的颜色变化，且两区块的不同亮度效果也被消除。

以上所述仅为本发明其中的较佳实施例而已，并非用来限定本发明的实施范围；即凡依本发明申请专利范围所作的等效变化与修改，皆为本发明专利范围所涵盖。

Claims (8)

1.一种三维模型的阶层式纹理贴图处理方法，用以将图像贴合至一三维模型，且该三维模型具有一纹理贴图，其特征在于，该方法包括下列步骤：

提供一张图像至该三维模型；

转换该图像与该纹理贴图至一相同空间坐标并分割为数个网格；

于该空间坐标内比对该图像与该纹理贴图，并撷取出重复的网格；

通过该重复的网格的像素强度来加权平均计算调整该图像与该纹理贴图的像素强度；

利用一预设条件选取该图像的纹理与该纹理贴图的纹理中的其中一个作为最终网格的纹理；

平滑化该网格的纹理；

连续化该网格的像素的颜色；及

输出该三维模型。

2.如权利要求1所述三维模型的阶层式纹理贴图处理方法，其特征在于，该预设条件为分辨率大小、网格的方向、该图像拍摄的角度中的其中一个。

3.如权利要求1所述三维模型的阶层式纹理贴图处理方法，其特征在于，该平滑化该网格的纹理的步骤包括有纹理正规化与纹理模糊化。

4.如权利要求3所述三维模型的阶层式纹理贴图处理方法，其特征在于，该纹理正规化系利用该图像与该纹理贴图对应于该网格的图像强度，通过加权平均计算调整。

5.如权利要求3所述三维模型的阶层式纹理贴图处理方法，其特征在于，该纹理模糊化系利用该网格与相邻的该网格的纹理来加权平均计算调整。

6.如权利要求1所述三维模型的阶层式纹理贴图处理方法，其特征在于，该连续化该网格的像素的颜色的步骤具体为：利用该网格的一个像素与该周边网格中的像素的强度的加权平均值调整该网格的像素强度。

7.如权利要求6所述三维模型的阶层式纹理贴图处理方法，其特征在于，该连续化该网格的像素的颜色的步骤具体包括下列步骤：

撷取该网格的边界图像的一像素；及

求取该像素的强度与该周边网格中与该像素最接近的像素的强度的加权平均值作为该像素的强度值。

8.如权利要求7所述三维模型的阶层式纹理贴图处理方法，其特征在于，该将像素的强度的加权平均值作为该像素的强度值的步骤后还包括以下步骤：

计算该加权平均值与该像素的强度之差；及

通过该像素强度差调整该网格内其余图像像素的强度。

Images