CN1297946C - 建构三维规则化彩色模型的方法 - Google Patents

Abstract

本发明有关于一种建构三维规则化彩色模型的方法，尤其是一种利用一具有规则化的通用模型套用在一实际模型后，利用该通用模型变形后而求得该三维实际模型的规则化数据资料，并且自动调整量测资料之间的色彩差异，使得产生的三维模型具有分布均匀的表面色彩，达到高度拟真的效果。

Description

建构三维规则化彩色模型的方法

技术领域

本发明主要是有关于一种建立三维规则化彩色模型的方法，亦即是利用一具有规则性网格结构的通用模型来套用在一实际模形上，因为两者模型间的差异所造成的通用模型的变形，由此则可建构成一与原始模型极为相似的三维模型；同时，再经由自动调整量测资料间的色彩差异，使得产生的通用模型具有分布均匀的表面色彩，达到高度的逼真效果。

背景技术

近年来三维计算机模型(Three Dimensional Computer Model，3D)的使用，已经被推广至多种的应用领域，从娱乐方面的电子游戏与电影视觉特效制作，到网络多媒体的商业展示，以至于医疗或其它产业对于三维影像的特殊需求。因此三维模型或三维资料的建构与运算处理，已经成为一门重要的技术。

制成三维模型的传统方式，是由动画工程师利用塑型软件与相关编辑工具创作而来。动画工程师通常经过长时期的专业训练，并凭借个人对于物体形状与色彩的感觉，再加上创意来建构模型。这种属于艺术创作的过程相当耗时，而且需要专业的人力来完成。

相对于传统建立模型的方式，利用量测仪器来建构三维模型则属于逆向工程(Reverse Engineering)的方法。经过特殊设计的量测仪器可以取得物体的形状与色彩资料，精确度可达到0.01公分或是更高的程度。量测资料通常以三角片网格(Triangular Mesh)或曲面(Curved Surface)来表示几何资料，此则如同在图1A中所示；而以二维影像表示色彩资料，如同在图1B所示，几何资料以及色彩资料之间则以贴图对应(Texture Mapping)来定义两者间的连结关系，此部份则是一般所称的贴图坐标(Texture Coordinate)。而为了建构一个完整的模型，就必须从不同角度对物体进行量测，然后将所有的量测资料调整至同一个空间坐标系统(如图1C所示)，再如图1D所示的将资料群整合成为一个完整的三维模型。

逆向建模的优点在于高精确度，几乎可以在肉眼无法辨识的误差程度下复制实物的三维模型，而且不需要特殊的专业人力，稍加训练的仪器操作人员即可完成建模。然而，经由三维量测仪器所得到的资料量通常相当庞大，网格结构也缺乏规则性，以致于所得出来的数据结构仅能用于某一特定的模型制作，而且因为数据结构的紊乱，这类的模型数据结构相当的不利于动画制作与数据传输等后制作业或再利用。另外，由于光源照明的影响，不同量测角度的资料在合并之后会产生明显的色彩差异。因此，从原始的量测资料到可以实际运用的完整三维模型之间，仍需要一套完整的建模方式来解决上述的问题。

为了弥补上述所产生的问题，便有人以三维塑型工具来产生模型。建模过程相当的冗长，并且需要反复的修改。人工创作的三维模型的拟真程度有限，难以跟实物直接比较。近年来逆向工程的技术常被用来建构三维模型，着眼点在于使用高精密度的量测仪器取得物体的三维资料，加以整合产生拟真的模型。同时以机器代替人工，可以大幅缩短建模的时程。美国专利第6,512,518号则利用雷射扫描仪器取得实物的三维点群数据，再将点群资料转变为网格资料，并提供三维资料编辑整合的方法。美国专利第6,512,518所提出的方法，其优点在于快速且精确地量测物体表面的空间位置，以产生高精度的模型，然而所产生的三维模型是由细密的点群资料所构成，资料量庞大且没有结构性，模型的可利用性不高。另一美国专利6,356,272的做法则是利用轮廓成型(ShapeFrom Silhouette)的原理，使用定位相机系统拍摄大量的物体影像，从连续的轮廓影像中重建三维模型，并且建立影像与网格的贴图对应关系。在6,356,272一案中，其做法是从物体的侧面(水平方向)拍摄360度的连续影像，利用三角片法线向量与影像的夹角选取最佳的贴图对应关系。然而对于物体的顶部与底部，或是复杂外型的物体，其贴图影像容易产生扭曲变形(Distortion)。

发明内容

本发明主要是提供一套程序化的三维数据处理方法，并将三维形状量测系统所得到的量测资料整合为完整的三维彩色模型。在几何资料方面，则是利用一个通用模型，将多个角度的量测资料合并为一个具有规则化结构的网格模型。在色彩资料方面，则利用新产生的规则化结构模型与原始量测资料之间的空间对应关系，将量测资料的贴图影像资料重新对应到新模型上，并且调整影像之间的色彩差异。透过互动的方式，让使用者可以轻松地建构高真实感与高实用性的三维模型。

为实现上述发明怒的，本发明提供了一种建构三维规则化彩色模型的方法，其中，包括以下步骤：输入三维量测资料群；重建规则化网格模型；抽取色彩资料；层次式色彩均匀性调整，包括：依据三维资料的邻接顺序与重叠区域大小，设定量测资料的层次顺序M’＝{M’₁，M’₂，...，M’_n}，M’_n代表着n个三维网格模型M’所组成的资料；依据设定的层次顺序，依序计算每个量测资料的贴图影像的色彩调整值A_ii＝1，2，3...n；调整影像的色彩平均值；以及，影像重叠区域图素混色。

附图说明

图1A：以三角片网格(Triangular Mesh)或曲面(Curved Surface)来表示几何资料的示意图；

图1B：以二维影像表示色彩资料的示意图；

图1C：将所有的量测料调整至同一个空间坐标系统的示意图；

图1D：将资料群整合成为一个完整的三维模型的示意图；

图2：为建构流程图；

图3A：为三维量测仪器所量测原始网格资料；

图3B：为具有较精简而规则的网格结构的新模型网格资料；

图3C：为具有色彩差异图像的示意图；

图3D：为具有精简网格结构与真实表面色彩的三维模型示意图；

图4：重建规则化网格模型的流程图；

图5：为原始量测资料的网格资料与相对应的色彩资料的示意图；

图6：为选用的头部通用模型示意图；

图7：为变形后的通用模型示意图；

图8A显示了原始量测资料的示意图形；

图8B：利用通用模型所重建的模型示意图；

图9：将原始量测资料的贴图影像资料分离出来的示意图；

图10：抽取色彩的流程图；

图11A：为通用模型与原始量测资料的贴图影像的空间位置关系的示意图。

图11B：为将贴图影像重新贴到通用模型上以完成抽取色彩步骤的示意图。

图12：调整影像间色彩均匀性的流程图；

图13：量测资料重叠的关系与层次排序的示意图；

图14：两个邻接的网格模型互相重叠的部份，以及重叠的部份分别对应在各自的贴图影像上的区域的示意图；

图15A：一群网格模型在色彩平均值调整前后的结果比较；

图15B：一群网格模型在色彩平均值调整前后的结果比较；

图16：为图素混色的处理流程图；

图17：为图15A、图15B的进一步比较结果。

图号说明

S10   重建规则化网格模型     S20    抽取色彩

S30   层次式色彩均匀性调整   S40    影像重叠区域图素混色

S102  撰择通用模型           S104   叠合通用模型与量测资料

S106  调整通用模型的尺寸

S108  将通用模型的网格点贴合至量测资料上

100   原始量测资料           110    网格模型资料

120   贴图影像资料           200    通用模型

210   变形后通用模型         S202   对于通用模型的每个三角片

S204  计算每个顶点的材质坐标

S206  检查三角片在材质影像空间的连续性

S208  改变顶点所对应的贴图影像，并重新计算材质坐标

S210  是否所有的三角片都已经处理

S302  对于任两个量测料寻找其间的重叠区域

S304  计算重叠区域的大小     S306   设定量测资料的层次顺序

S308  计算色彩调值

具体实施方式

本发明是利用一个通用模型(Generic Model)，间接地将原始的量测资料群合并成为一个完整的模型。「通用」的意义表示其可以套合至一群外型类似的物体，而不会产生过于严重的变形误差。例如建构人体头部模型时可以使用一个具有眼鼻口耳等脸部特征的头部通用模型，建构牛马等四脚动物模型时可以使用具有四脚型态的通用模型。在本发明的方法中并不直接处理原始的、庞大的网格资料群，而是采用预先设计的规则化网格结构的通用模型，使其贴合在原始的量测资料群，以得到外型相同的精简模型。同时，对于原始量测资料破损的部份，例如毛发或其它不易量测的材质，在贴合的过程也可以利用邻接的网格结构关系，估算其三维坐标，达到自动填补破洞的结果。贴图影像的对应关系则利用通用模型与量测资料的空间关系自动计算，不需要配合特殊定位的摄像系统或是人工的介入。

本发明的三维模型建构方法可以分为四个主要步骤：重建规则化网格模型、抽取色彩、层次式色彩均匀性调整以及重叠影像之间的图素混色处理。

请参阅图2所示，重建规则化网格模型是建构模型的第一步。三维形状量测仪器所得到的资料通常具有较为细密的网格结构(如图3A所示)，以减少因为使用网格模型(Mesh Model)代替曲面模型(Curved Surface Model)所产生的误差。尤其是对于形状复杂或具有细部特征的物体，更需要精细度较高的网格结构资料。然而精度愈高的量测资料，其三角片网格的数量愈庞大。若直接将所有的原始量测料进行资料合并，则最后产生的模型的网格数量必定过于庞大而难以运用。因此利用一个预先准备的通用模型，将通用模型套合至原始量测资料上，产生一个网格精简的新模型。新模型与原始量测资料的外型相同，但是具有比较精简而规则的网格结构(如图3B所示)。同时因为新模型与原始量测资料在空间位置上互相重叠，因此利用这个重叠关系，将原始量测资料上的贴图影像重新投影到新模型上，由此建立新模型与贴图影像的对应关系。在第二个步骤结束时，一个具有规则化网格结构与多张色彩贴图影像的完整模型已经建构完成。然而因为不同拍摄角度的贴图影像之间存在着色彩差异(如图3C所示)，所以利用影像之间的重叠关系调整色差，使得所有影像的亮度值趋于一致，并且在影像重叠区域进行图素的混色处理。最后产生的模型是一个具有精简网格结构与真实表面色彩的三维模型(如图3D所示)。

请参关图4的重建规则化网格模型的流程图。原始量测资料100是一群经由三维形状量测仪器所得到的三维彩色模型资料群，其中的每一个模型是分别由不同的角度对被测物体进行测量，得到其网格模型资料110与贴图影像资料120，并且在空间中定位至同一坐标系统。在步骤S102中首先根据被测物体的形状，选择一个外型与其相近的通用模型200。接着在步骤S104中将通用模型与原始量测资料在空间中的位置大致叠合，在步骤S106中调整通用模型的尺寸，使其等于原始量测资料的尺寸。最后在步骤S108中将通用模型的每个网格点贴合至原始量测资料上，但维持原来通用模型的三角片结构，使得通用模型产生变形的效果。产生变形效果的通用模型210具有与原始量测资料100极为相近的外型，并且具有原来通用模型200的规则化网格结构。

图5所示为原始量测资料的网格资料与相对应的色彩资料的示意图；图6为选用的头部通用模型200；图7为变形后的通用模型210。图8显示了原始量测资料100，如图8A所示，与利用通用模型所重建的模型210，如图8B所示，在网格数量与分布的差别。

抽取色彩指的是将原始量测资料100的贴图影像资料120分离出来，然后如在图9中所示的重新贴到通用模型210上。事实上我们欲建立通用模型210与贴图影像120之间的贴图对应关系，亦即求取通用模型210的每个网格点贴图坐标与对应的贴图影像。由于通用模型210的每个网格点已经贴合至原始量测资料100上，利用贴合点所属的三角片计算网格点的贴图坐标，并以三角片所对应贴图影像做为网格点的对应贴图影像。

图10为抽取色彩的流程图。对于变形后的通用模型210，计算其每个三角片的三个顶点的材质坐标与对应贴图影像(如步骤S202和S204)。在步骤S206中必须检查三角片的三个顶点在材质图影像空间是否连续，亦即三个顶点是否使用同一张贴图影像。若否的话，必须改变其中顶点对应的贴图影像，并重新计算新的材质坐标(此即如步骤S208)所示。

经过抽取色彩后，通用模型220为一个具有多张贴图影像的三维彩色模型，然而因为贴图影像是经由不同的拍摄角度取得，因此影像之间可能存在极为明显的色彩差异。由于通用模型220的贴图影像是抽取量测资料的色彩资料而来，为了使通用模型220表面的贴图影像保持色彩的均匀性，利用量测资料彼此之间互相重叠的区域(几何资料与色彩资料都有重叠)，调整贴图影像之间的色彩差异。

图11A为通用模型与原始量测资料的贴图影像的空间位置关系的示意图，图11B为将贴图影像重新贴到通用模型上以完成抽取色彩步骤的示意图。

图12为调整影像之间色彩均匀性的流程图。假设量测资料100为M＝{M₁，M₂，...，M_n}，一群由n个三维网格模型所组成的资料。在步骤S302中，对于任两个网格模型M_i与M_j，判断两者间是否有重叠关系。若模型M_i与M_j的网格资料有部份的重叠关系，则将重叠区域O_ij的三角片找寻出来，并记录重叠区域O_ij的大小。接着在步骤S306中设定M的层次顺序。假设以M₁为第一层M_L1，则所有与M₁有重叠关系的网格模型为第二层M_L2；而与M_L2有重叠关系的网格模型为第三层M_L3，依此类推。在同一层当中的网格模型，再以每一个网格模型与上一层网格模型重叠区域的大小，做递减排序。经由上述的层次定义，我们将M重新排序成为一个新的三维网格模型集合M’＝{M’₁，M’₂，...，M’_n}。图13显示了量测资料重叠的关系与层次排序的示意图。图14则显示两个邻接的网格模型互相重叠的部份，以及重叠的部份分别对应在各自的贴图影像上的区域。

在步骤S308中，依照M’的顺序，就每个网格模型的重叠区域的色彩平均值，计算网格模型的贴图影像的色彩调整值A_i：

M’_i的重叠区域的色彩平均值为：I_AVG，ii＝1，2，3，...，n

假设M’₁的色彩调整值：A₁＝1

则M’₁影响M’_i的调整度：A_i，1＝A₁×(I_AVG，1/I_AVG，i)

因此，若考虑所有与M’_i重叠的网格模型对于M’_i的影响，则M’_i的色彩调整值为：

A_i＝(A_i，1×W_i，1+....+A_i，i-1×W_i，i-1)/(W_i，1+...+W_i，i-1)

其中W_i为A_i的网格影响加权值；A_i，1、A_i，i-1为与A_i互有重叠的其它网格模型的色彩调整值；W_i，1、W_i，i-1为对应于A_i，1、A_i，i-1的网格影响加权值。

图15显示了一群网格模型在色彩平均值调整前后的结果比较。其中，图15A为调整前，而图15B为调整后。

最后，再针对重叠区域的影像进行图素混色处理(Pixel B1ending)；希望由图素与图素间的混色，使得邻接的影像在重叠区域的颜色值趋于一致。图16为图素混色的处理流程图。在步骤S402中找出所有重叠区域的三角片，以及这些三角片所涵盖的贴图影像。对三角片T而言，若其对应的贴图影像共有I_T，1，I_T，2，...，I_T，m，表示这m张贴图影像在三角片T所对应的部份T_I，1，T_I，2，...，T_I，m是互相重叠的，因此针对这些重叠区域的图素进行混色。

在步骤S404中，对于每个重叠区域的三角片T，计算每个顶点到最近边缘点的距离D。由于T共有m个网格模型，分别找寻最近的边缘点并计算其距离，得到D₁，D₂，...，D_m。在步骤S406中，以重叠区域的每个三角片为单位，对其所涵盖的贴图影像的对应区域，进行图素色彩值的加权平均运算。对三角片的顶点Vi(i＝1，2，3)，而言，其混色权重为D_i，2，D_i，2，...，D_i，m，对应所涵盖的影像图素色彩值为C_i，1，C_i，2，...，C_i，m，其混色后的色彩值应为：C_i，AVG。而对于三角片内部的每一个取样点，则利用重心坐标原理计算其混色权重，然后依照同样的公式计算混色后的色彩值。

C_i，AVG＝(C_i，1×D_i，1+C_i，2×D_i，2+...+C_i，，m×D_i，m)

图17为图15的进一步结果比较；图17C为图17B再经过重叠区域图素混色后的结果。

请参看下图所示的图表，由此可知本发明所具有的优点：

Claims (12)

1.一种建构三维规则化彩色模型的方法，其特征在于，包括以下步骤：

输入三维量测资料群；

重建规则化网格模型；

抽取色彩资料；

层次式色彩均匀性调整，包括：依据三维资料的邻接顺序与重叠区域大小，设定量测资料的层次顺序M’＝{M’₁，M’₂，...，M’_n}，M’_n代表着n个三维网格模型M’所组成的资料；依据设定的层次顺序，依序计算每个量测资料的贴图影像的色彩调整值A_i i＝1，2，3...n；调整影像的色彩平均值；以及

影像重叠区域图素混色。

2.如权利要求1所述的建构三维规则化彩色模型的方法，其特征在于，重建规则化网格模型的方法包括：

根据原始量测资料群，选择一相近的通用模型；

调整通用模型尺寸与空间位置，使其与量测资料群大致叠合；

由将通用模型的网格点贴合至量测资料群上，使通用模型的网格产生变形，并趋近于原始量测资料。

3.如权利要求1所述的建构三维规则化彩色模型的方法，其特征在于，抽取色彩资料，是在建立量测资料的二维影像与通用模型贴图对应关系，包括了下列步骤：

寻找通用模型的网格点在量测资料群上的贴合点位置，以及贴合点所属的三角片；

计算贴合点的贴图对应坐标；以及

检查通用模型的三角片在贴图影像空间的连续性。

4.如权利要求2所述的建构三维规则化彩色模型的方法，其特征在于，抽取色彩资料，是在建立量测资料的二维影像与通用模型贴图对应关系，包括了下列步骤：

寻找通用模型的网格点在量测资料群上的贴合点位置，以及贴合点所属的三角片；

计算贴合点的贴图对应坐标；以及

检查通用模型的三角片在贴图影像空间的连续性。

5.如权利要求1所述的建构三维规则化彩色模型的方法，其特征在于，贴图影像的色彩调整值A_i＝(A_i，1×W_i，1+....+A_i，i-1×W_i，i-1)/(W_i，1+...+W_i，i-1)；

A_i，1、A_i，i-1为与A_i互有重叠的其它网格模型的色彩调整值；W_i，1、W_i，i-1为对应于A_i，1、A_i，i-1的网格影响加权值。

6.如权利要求2所述的建构三维规则化彩色模型的方法，其特征在于，贴图影像的色彩调整值A_i＝(A_i，1×W_i，1+....+A_i，i-1×W_i，i-1)/(W_i，1+...+W_i，i-1)；A_i，1、A_i，i-1为与A_i互有重叠的其它网格模型的色彩调整值；W_i，1、W_i，i-1为对应于A_i，1、A_i，i-1的网格影响加权值。

7.如权利要求3所述的建构三维规则化彩色模型的方法，其特征在于，贴图影像的色彩调整值A_i＝(A_i，1×W_i，1+....+A_i，i-1×W_i，i-1)/(W_i，1+...+W_i，i-1)；A_i，1、A_i，i-1为与A_i互有重叠的其它网格模型的色彩调整值；W_i，1、W_i，i-1为对应于A_i，1、A_i，i-1的网格影响加权值。

8.如权利要求4所述的建构三维规则化彩色模型的方法，其特征在于，贴图影像的色彩调整值A_i＝(A_i，1×W_i，1+....+A_i，i-1×W_i，i-1)/(W_i，1+...+W_i，i-1)；A_i，1、A_i，i-1为与Ai互有重叠的其它网格模型的色彩调整值；W_i，1、W_i，i-1为对应于A_i，1、A_i，i-1的网格影响加权值。

9.如权利要求1所述的建构三维规则化彩色模型的方法，其特征在于，重叠影像区域图素混色的方法包括：

找寻重叠区域的每个三角片所涵盖的贴图影像；

计算重叠区域的网格点到对应的网格资料的最近边缘点的距离，为其贴图影像的混色权重；以及

对每个三角片所对应影像区域进行图素的权重平均运算。

10.如权利要求2所述的建构三维规则化彩色模型的方法，其特征在于，重叠影像区域图素混色的方法包括：

找寻重叠区域的每个三角片所涵盖的贴图影像；

计算重叠区域的网格点到对应的网格资料的最近边缘点的距离，为其贴图影像的混色权重；以及

对每个三角片所对应影像区域进行图素的权重平均运算。

11.如权利要求4所述的建构三维规则化彩色模型的方法，其特征在于，重叠影像区域图素混色的方法包括：

找寻重叠区域的每个三角片所涵盖的贴图影像；

计算重叠区域的网格点到对应的网格资料的最近边缘点的距离，为其贴图影像的混色权重；以及

对每个三角片所对应影像区域进行图素的权重平均运算。

12.如权利要求8所述的建构三维规则化彩色模型的方法，其特征在于，重叠影像区域图素混色的方法包括：

找寻重叠区域的每个三角片所涵盖的贴图影像；

计算重叠区域的网格点到对应的网格资料的最近边缘点的距离，为其贴图影像的混色权重；以及

对每个三角片所对应影像区域进行图素的权重平均运算。

Images