CN105701857B

CN105701857B - 3d建模的对象的纹理化

Info

Publication number: CN105701857B
Application number: CN201510903651.6A
Authority: CN
Inventors: E·梅尔
Original assignee: Dassault Systemes SE
Current assignee: Dassault Systemes SE
Priority date: 2014-12-10
Filing date: 2015-12-09
Publication date: 2021-03-12
Anticipated expiration: 2035-12-09
Also published as: JP2016119086A; US20160171765A1; CN105701857A; EP3032495B1; KR20160070712A; EP3032495A1; US10013801B2; CA2914020A1; JP6659336B2

Abstract

一种用于对表示实际对象的3D建模的对象进行设计的计算机实现的方法，包括以下步骤：提供(S10)表示所述实际对象的3D网格、纹理图像、以及所述3D网格的所述顶点与所述纹理图像的像素之间的映射；然后最大化(S20)如下形式的概率P(L(V))：

。所述最大化步骤是利用预先确定的离散马尔科夫随机场优化方案来执行的，所述方案将所述3D网格和与所述3D网格的顶点的纹理坐标相关联的所述像素移位视为能量为‑log(P(L(V)))‑log(Z)的马尔科夫随机场。所述方法然后包括根据所述纹理图像、所述映射、以及所述最大化步骤的结果对所述3D网格进行纹理化(S30)。这提供了用于对表示实际对象的3D建模的对象进行设计的改善的解决方案。

Description

3D建模的对象的纹理化

技术领域

本发明涉及计算机程序和系统的领域，并且更具体地，涉及用于设计表示实际对象的3D建模的对象的方法、系统和程序。

背景技术

市场上提供了很多系统和程序用于对象的设计、工程和制造。CAD是计算机辅助设计的缩写，例如，其涉及用于设计对象的软件解决方案。CAE是计算机辅助工程的缩写，例如，其涉及用于模拟未来产品的物理行为的软件解决方案。CAM是计算机辅助制造的缩写，例如，其涉及用于定义制造过程和操作的软件解决方案。在这样的计算机辅助设计系统中，图形用户接口在技术的效率方面起到重要作用。这些技术可以嵌入到产品生命周期管理(PLM)系统内。PLM是指如下商业策略：其在整个扩展企业的概念中，帮助公司从产品的立意到其寿命的终止来共享产品数据，应用公共过程，并利用企业知识以用于产品的开发。

达索系统(DASSAULT SYSTEMS)提供的PLM解决方案(商标为CATIA、ENOVIA和DELMIA)提供了组织产品工程知识的工程中心(Engineering Hub)；管理制造工程知识的制造中心(Manufacturing Hub)；以及能使企业整合并连接至工程和制造中心的企业中心(Enterprise Hub)。所有在一起，该系统交付一种链接产品、过程、资源的开放对象模型，以实现动态的、基于知识的产品创造、以及决定支持，驱动优化的产品定义、制造准备、生产和服务。

在该上下文中，计算机视觉和计算机图形学的领域提供越来越有用的技术。实际上，该领域具有的申请涉及3D重建、3D模型纹理化、虚拟现实、和需要使用例如一组照片中的信息作为输入来精确建立具有准确的几何形状的3D场景的所有领域。3D纹理化能够被用于涉及创建纹理化的3D模型的任何领域，诸如严肃游戏、视频游戏、建筑、考古、逆向工程、3D资产数据库、或者虚拟环境。取决于用于输入数据的传感器的类型，根据视频流和照片集分析的3D重建在目前工艺水平中以2个不同的方法进行处理。

第一方法使用“接收器”传感器。这显著地涉及根据RGB图像分析的3D重建。此处，通过对包含在每个图像平面的RGB颜色信息的多视点分析来获得3D重建。下面的论文涉及该方法：

R.Hartley和A.Zisserman：Multiple View Geometry in Computer Vision，剑桥大学出版社2004；

R.Szeliski：Computer Vision:Algorithms and Applications，Springer版2010；以及

O.Faugeras：Three-Dimensional Computer Vision:A Geometric viewpoint，MIT出版社1994。

第二方法使用“发射器-接收器”传感器。这显著地涉及根据RGB深度图像分析的3D重建。这种传感器给出了到标准RGB数据的附加的深度数据，并且在重建过程中主要使用的是深度信息。下面的论文涉及该方法：

Yan Cui等人：3D Shape Scanning with a Time-of-Flight Camera，CVPR 2010；

RS.Izadi等人：Kinect Fusion：Real-Time Dense Surface Mapping andTracking，ISMAR研讨会2011；以及

R.Newcombe等人：Live Dense Reconstruction with a Single Moving Camera，IEEEICCV 2011。

此外，若干学术和产业人员现在提供了通过RGB图像分析的3D重建的软件解决方案，诸如Acute3D、Autodesk、VisualSFM；或者通过RGB-深度分析的3D重建的软件解决方案，诸如ReconstructMe或者微软的Kinect

(注册商标)的SDK。

多视点摄影测量重建方法使用包括在视频序列的图像平面(或者一系列快照)中的唯一信息，以便于估计场景的3D几何形状。对2D视点中的不同视点之间关注点的匹配会产生相机的相对位置。然后，使用优化的三角测量来计算与匹配对相对应的3D点。深度图分析重建方法基于视差图(disparity map)或者近似的3D点云。这些视差图是使用立体视觉或者结构光(例如参见Kinect设备)或者“飞行时间”3D相机来获得的。然后，这些目前工艺水平的重建方法典型地输出实际对象的离散3D表示，最常见的是3D网格。3D模型是从封闭了所产生的3D点云的最终的体中导出的。

从先前技术已知的进一步步骤是生成针对3D网格上的每个多边形的纹理。为了保证照片真实性，先前技术要求该渲染使用来自同时捕捉场景的高品质设备的标准图像。这在T.Hanusch发表于摄影测量与遥感的ISPRS期刊的A new texture mapping algorithmfor photorealistic reconstruction of 3D objects论文中进行了解释。

图1了示出用于利用照片对3D模型进行纹理化的常用方法，这是公知的投影纹理映射方法。例如在P.Debevec,C.Taylor和J.Malik发表于SIGGRAPH 1996的Modeling andRendering Architecture from Photographs:A hybrid geometry-and image-basedapproach的论文中对该方法进行了描述。该方法使用与2D视图(相对于3D模型)相关联的图像投影数据来计算到3D模型的映射。图1示出了对于3D网格模型102和校准图像104的这样的视图相关的3D模型纹理化原则：使用投影纹理映射(由束106表示，根据相机投影矩阵计算并从光学中心108发出)来估计每个三角形顶点的纹理坐标。

现在，如图2所示，投影到3D模型的纹理质量高度依赖于相机位姿(camera pose)估计。实际上，图2示出的3D模型纹理化存在问题：在左侧，精确的校准数据允许一致的纹理104投影到3D模型102，而在右侧，不精确的校准数据会引起纹理104的投影相对于3D模型102的漂移(drift)。换言之，在快照时对相机旋转(rotation)和平移(translation)的估计对最终纹理具有很大影响。显然，相机位姿的任何偏移(bias)会转化到重投影(re-projection)上，并使纹理化过程恶化。在深度图分析方法的情况下，这样的偏移经常非常显著。其通常源于深度传感器和RGB传感器之间的同步的移位(shift)，损坏了相机轨道估计。但是其还可以源于：来自独立相机的外部拍摄，因为没有对深度传感器的刚性依赖(rigid dependency)所以不能以足够的精度来估计独立相机与3D模型的相对位置；噪声传感器，导致不精确的3D模型和相机位姿；3D重建过程的漂移，导致不精确的3D模型；和/或扭曲的图像，导致到3D模型的不精确的纹理映射。

在该上下文内，仍然需要用于设计表示实际对象的3D建模的对象的改善的解决方案。

发明内容

因此，提供一种用于设计表示实际对象的3D建模的对象的计算机实现的方法。该方法包括以下步骤：提供表示实际对象并具有顶点的3D网格、纹理图像、以及3D网格的顶点与纹理图像的像素之间的映射；然后最大化如下形式的概率P(L(V))：

n指代3D网格的顶点的数量，而v_i指代3D网格的顶点。L(v_i)指代在将顶点v_i映射到纹理图像之后要应用的、并在预先确定的有限集合(L)中选择的像素移位。

指代3D网格的多组网格图块(mesh tile)的索引的集合。

指代与顶点v_i相关联的代价函数，并递减地取决于在将顶点v_i映射到所述纹理图像之后应用针对顶点v_i所选择的所述像素移位的结果遵循所述3D网格的顶点与所述纹理图像的像素之间的预先确定的关系的程度。ψ′_f指代与3D网格的图块f相关联的代价函数，并取决于针对图块f的顶点所选择的像素移位之间的全局差异。最大化步骤是利用预先确定的离散马尔科夫随机场优化方案来执行的。该方案将3D网格和与3D网格的顶点的纹理坐标相关联的像素移位视为能量

的马尔科夫随机场。该方法还包括根据纹理图像、所述映射、以及最大化步骤的结果对3D网格进行纹理化。

该方法可以包括下面中的一个或多个：

-代价函数ψ′_f的形式为ψ′_f({L(v_i)}_i∈f)＝∑_{{i，j}∈p(f)}ψ′_i，j(L(v_i)，L(v_j))，其中，p(f)指代图块f的多对顶点的索引的集合，并且预先确定的离散马尔科夫随机场优化方案是成对的离散马尔科夫随机场优化方案；

-ψ′_i，j(L(v_i)，L(v_j))的形式为

其中λ指代正标量；

-3D网格的顶点与纹理图像的像素之间的预先确定的关系实际上是针对所述3D网格的顶点的3D曲率值与针对所述纹理图像的像素的到所述纹理图像的最近轮廓的距离值之间的预先确定的关系；

-低于预先确定的阈值的3D曲率值与所有距离值具有预先确定的关系，而高于预先确定的阈值的3D曲率值与根据递增的一到一对应(increasing one-to-onecorrespondence)的距离值具有预先确定关系；

-

的形式为

其中，

指代指示器函数，C_i指代顶点v_i的最大3D曲率，并且c指代正标量，γ指代正标量，T_i(L(v_i))指代在将顶点v_i映射到纹理图像之后应用针对顶点v_i选择的像素移位的结果处的纹理图像的距离转换的值，所述距离转换是相对于纹理图像的轮廓图像的；

-轮廓图像是利用应用到纹理图像的Canny边缘检测器来确定的；

-纹理图像的距离转换是利用相对于纹理图像的轮廓图像应用到纹理图像的倒角掩膜(chamfer mask)来确定的；和/或

-3D网格、纹理图像和映射全部是由应用到实际对象的预先确定的从运动中恢复结构(structure-from-motion)的分析方案输出的，所述映射对应于在从运动中恢复结构的分析中针对纹理图像确定的位姿相机参数。

进一步提供了包括用于执行所述方法的指令的计算机程序。

进一步提供了其上记录有计算机程序的计算机可读存储介质。

进一步提供了计算机系统，包括耦合至存储器和图形用户接口的处理器，所述存储器上记录有所述计算机程序。

附图说明

现在通过非限制性示例的方式并参考附图来描述本发明的实施例，其中：

图1-2示出了先前技术；

图3示出了方法的示例的流程图；

图4示出了系统的图形用户接口的示例；

图5示出了系统的示例；以及

图6-15示出了方法的示例。

具体实施方式

参考图3的流程图，提出了一种用于设计表示实际对象的3D建模的对象的计算机实现的方法。在整个方法中，3D建模的对象指代以不同的方式表示实际对象的数据：首先经由3D网格的其几何形状，且然后是经由方法所输出的纹理化的3D网格的纹理化的几何形状。该方法包括步骤：提供S10表示实际对象的3D网格(该3D网格显著地具有由3D位置限定的顶点，例如还有链接顶点的边，诸如三角形网格或者四边形网格)(例如，没有任何纹理的3D网格或者具有要被更换为新的纹理(即，该方法所输出的纹理)的3D网格)、纹理图像(2D视图，例如诸如照片的图像，其是提供有在像素位置处的值的实际对象的2D视图，其是灰度级的或者是诸如RGB值的彩色的，要注意的是，之后说明方法示例的图主要示出为灰度级纹理图像，但方法的所有这些示例显然可以在细节上作必要的修改应用于彩色的纹理图像，例如，RGB图像)、以及3D网格的顶点与纹理图像的像素之间的映射(即，将3D网格的位置与纹理图像的2D位置(例如，像素)对应的函数，诸如提供有纹理图像的相机位姿参数)。当然，3D网格可以仅表示实际对象的、在纹理图像上可见的一部分。另外，可以利用若干纹理图像重复该方法。这样的网格“划分(partitioning)”和“迭代(iteration)”特征是对本领域技术人员已知的3D网格纹理的实现细节。

该方法然后包括步骤：最大化S20概率(或者可能性)函数P(L(V))。从计算机实现的观点而言本身已知的是，这意味着该方法运行优化程序，该优化程序在数学上实际上是(在伪优化或者使用启发法的情况下至少大体上，或者至少近似地)找到至少最大化所述函数的参数。所述“最优参数”实际上是此处感兴趣的数据，在所述最优参数处的概率评估的结果并非本申请的特别感兴趣的。概率P(L(V))是如下形式：

在实践中，实际上可以通过在使用的预先确定的优化方案来最小化包括先前概率的负对数项的能量(但这实际上得到相同的结果)。

n指代3D网格的顶点的数量，而v_i指代3D网格的顶点。L(vi)指代在将顶点v_i映射到纹理图像之后要应用的像素移位，所有像素移位是在预先确定的有限集合或列表(L)中选择/限定(即，取值)的，例如，L＝{(0，0)，(0，1)，(1，1)，(1，0)，(1，-1)，(0，-1)，(-1，-1)，(-1，0)，(-1，1)}，其中(x，y)指代例如在水平方向移位x个像素(例如，右方向应用正值)并在垂直方向移位y个像素(例如，上方向应用正值)。因此，优化程序的参数L(V)指代通过优化程序探索的一组像素移位(基本上多对正和/或负整数)，最优参数指代在执行纹理化之前实际上并最终由方法应用到顶点的像素移位(一旦这样的顶点根据映射被投影到纹理图像上)(即，因为优化步骤S20输出的该像素移位，从而通过该方法“校正”或者“改善”了由唯一映射限定的纹理坐标)。

指代归一项(normalizationterm)，其保证了P的值是如此以致其确实是概率(在实践中，Z不一定需要被评估)。

指代3D网格的多组网格图块(即，面)的索引的集合。

指代与顶点v_i相关联的代价函数。代价函数

递减地取决于具体变量(即，其是所述变量的递减函数)。所述变量是在将顶点v_i映射到纹理图像上(根据S10处提供的映射)之后，应用针对顶点v_i选择的像素移位的结果(即，在优化期间在参数解决方案的探索中与顶点v_i相关的像素移位，且在优化过程中标注为L(v_i)，但一旦解出程序并保留单个像素移位时其最后被标注为L(v_i)^*，这样的标注在应用数学和优化领域中是经典的)遵循3D网格的顶点与纹理图像的像素之间的预先确定关系的特定程度(如何测量/确定的这样的程度的示例在之后提供)。换言之，系统在3D网格的顶点与纹理图像的像素之间设置有预先确定的关系(例如，3D网格的几何特征应该对应于纹理图像的图形特征的预先确定的知识，例如，这样的对应不同于在S10提供的映射)，并最大化程序趋向于找到使得顶点v_i尽可能地遵循这样的关系的像素移位L^*。探索的像素移位使得预先确定的关系越正确，在优化中的代价越低，这使其值将最终趋向于保持在最优。

ψ′_f类似地指代代价函数，但是这次与3D网格的图块f相关联，并取决于针对图块f的顶点选择的像素移位之间的全局差异。ψ′_f惩罚这样的高全局差异。换言之，优化趋向于在对参数解决方案的探索中尽可能地达到像素移位对于每个分别的单个图块f的所有顶点是一样的。在其中提供了重建为3D网格的实际对象的纹理图像的方法的上下文中(例如，从运动中恢复结构的分析的上下文)，这样的项从视觉/精度的观点提供好的结果，这是因为其依赖于纹理漂移中的全局一致性(global coherency)假定。

以这样的方式编写，最大化看来实际上是马尔科夫随机场(MRF)优化问题，其中，MRF是分配给网格的顶点的像素移位的值，网格的边表示条件概率。该方法实际上包括利用预先确定的离散马尔科夫随机场优化方案(有效收敛的一类周知优化方案，即，对于MRF问题精确且快速)来执行最大化S20步骤，将3D网格和与3D网格的顶点的纹理坐标相关联的像素移位(即，纹理坐标是通过应用映射至3D网格的顶点而获得的纹理图像的像素)视为能量

的马尔科夫随机场。在其他方面，预先确定的离散MRF优化方案(其能够是任何已知的这样的方案)被配置为针对上面定义的MRF结构，上面定义的能量对应于概率P。再次注意的是在实践中，-log(Z)可以留下不作评估。

一旦程序被优化并获得最优参数像素移位L^*，方法包括的步骤：根据纹理图像、根据所述映射、以及根据最大化步骤S20的结果(所述最优参数像素移位L^*)，对3D网格进行纹理化S30。简言之，方法在经典的纹理化内插入：将像素移位L^*应用到在S10处提供的数据所隐含的纹理坐标。该方法例如可以：将3D网格的每个分别的3D顶点投影到纹理图像上，应用在S20处获得的(针对该顶点的)最优移位以找到(根据方法最优的)各自的纹理像素，并且然后向所述分别的3D顶点分配在各自的纹理像素找到的纹理/颜色(或者与3D纹理相关的任何其他数据)。该过程在该领域是经典的，方法的原创在于引入了由优化S20所获得的像素移位映射。

这样的方法允许用于设计3D建模的对象的改善方式。要注意的是，该方法允许对表示实际对象的3D网格的纹理化，并因此改善了对实际对象的表示，这是3D重建和纹理算法通常旨在获得的优点。此外，因为该方法在不修改在S10处提供的输入的情况下而进行动作，因此该方法能够用于与全局地改善3D网格纹理的任何其他优化算法(诸如先前技术的那些，例如之前标识的)结合。实际上，方法导入了新的变量：像素移位L。该方法然后优化这样的变量，例如，保持其他变量不变。因此，该方法可以在执行具有纹理的3D重建的全局过程中形成又一个优化层。

例如，该方法可以包括，在最大化S20之前，可能在提供S10之前：提供在S10处提供的实际对象的3D网格表示；通过全自动检测来识别在3D表示的3D位置处的几何特征的出现，每次3D表示的3D曲率在预先确定的阈值之上时所述几何特征出现并且被检测；提供实际对象的至少一个2D视图，其中，2D视图是实际对象的图像，其形成在S10处提供的纹理图像；通过全自动检测来识别在2D视图的2D位置处的图形特征的出现，所述几何特征对应于所述图形特征，所述图形特征与2D视图的像素梯度相关；计算在S10处提供的映射作为相机参数，包括描述从3D表示到2D视图的投影的投影矩阵，其将几何特征的3D位置在2D视图上的投影的集合与图形特征的2D位置的集合之间的距离最小化，其中，所述距离是2D点的两个一般集合之间的预先确定的距离。这样的方案允许获得相对精确的相机参数或者改善其精度，该方案可以根据2013年11月18日提交的名为DASSAULT SYSTEMS的申请EP13306576.3来执行的，该申请通过引用并入本文。

最重要的是，像素移位被优化的具体方式(即，利用其特定代价项实现特定优化程序)允许从视觉/精度的观点获得好的结果，并且其利用离散马尔科夫随机场优化方案，如已知的该方案收敛相对快速。因此，方法巧妙地利用强大数学的工具在3D纹理化的上下文中获得快速计算的结果。要注意的是，可以实现并使用下面参考文献中所描述的任何MRF解决方案：

J.Kappes等人，A Comparative Study of Modern Inference Techniques forDiscrete Minimization Problems，CVPR 2013；或者

H.Ishikawa，Higher-Order Clique Reduction in Binary Graph Cut，CVPR2009。

然而，这些仅是示例，因为任何(例如，高阶)MRF解决方案一般都可以通过该方法实现。

该方法是计算机实现的。这意味着该方法的步骤(或者实质上所有步骤)是由至少一个计算机、或者任何类似系统来执行的。因此，该方法的步骤可能全自动或者半自动地由计算机执行。在示例中，对该方法的步骤的至少一些的触发可以通过用户计算机交互来执行。所需要的用户计算机交互的级别可以取决于预见的自动化级别，并与实现用户希望的需要相平衡。在示例中，该级别可以是用户定义的和/或预先定义的。例如，步骤最大化S20和/或步骤纹理化S30可以是全自动的，但是它们可以替代地涉及一些手动用户交互。用户可以实际上直接识别/新增在3D网格和/或纹理图像上的几何特征和/或图形特征的出现，以经由代价函数

来完成在优化中涉及的上述预先确定的关系。

该方法的计算机实现的典型示例是利用适用于该目的的系统来执行该方法。系统可以包括：处理器，其耦合至存储器和图形用户接口(GUI)，所述存储器上记录有包括用于执行该方法的指令的计算机程序。存储器还可以存储数据库。存储器是适用于这样的存储的任何硬件，可能包括若干物理上不同的部分(例如，一个用于程序，而可能一个用于数据库)。系统还可以包括创建3D网格和/或捕捉纹理图像的设备，诸如(例如，RGB)相机和/或深度传感器。系统确实实际上可以特别适用于执行从运动中恢复结构分析。

该方法通常操纵建模的对象。建模的对象是由存储在数据库中的数据所定义的任何对象。通过扩展，表述“建模的对象”指代数据本身。根据系统的类型，建模的对象可以由不同种类的数据来定义。系统实际上可以是CAD系统、CAE系统、CAM系统、PDM系统和/或PLM系统的任何组合。在这些不同的系统中，建模的对象由相应的数据定义。人们因此可以提到CAD对象、PLM对象、PDM对象、CAE对象、CAM对象、CAD数据、PLM数据、PDM数据、CAM数据、CAE数据。然而，这些系统不是彼此相斥的，因为建模的对象可以由与这些系统的任何组合相对应的数据来定义。因此，系统完全可以是CAD和PLM系统二者，根据下文提供的这样的系统的定义这将显而易见。

通过CAD系统，意味着至少适用于基于建模的对象的图形表示来设计建模的对象的任何系统，诸如CATIA。在这种情况下，限定建模的对象的数据包括允许对建模的对象进行表示的数据。CAD系统例如可以使用边或者线、在某些情况下利用面或者表面来提供对CAD建模的对象的表示。线、边、或者表面可以以各种方式表示，例如，非均匀有理B样条(NURBS)。具体地，CAD文件包含规范，根据该规范可以产生几何形状，其接着允许生成表示。建模的对象的规范可以存储在单个或者多个CAD文件中。在CAD系统中表示建模的对象的文件的典型尺寸在每个部分一兆字节的范围内。并且建模的对象典型地可以是数千个部分的组装。

在CAD的上下文中，建模的对象典型地可以是3D建模的对象，例如，表示实际对象，诸如产品、诸如产品的一部分或者多个部分的组装、或者可能产品的组装。通过“3D建模的对象”，意味着允许至少对象的3D表示(在方法的情况下的3D表示)的通过数据建模的任何对象。3D表示允许从所有角度观看该部分。例如，可以对3D表示进行操作，以及围绕其任何轴、或者围绕显示该表示的屏幕上的任何轴来旋转3D表示。这特别排除了非3D建模的2D图标。对3D表示的显示便于设计(即，增加了设计师统计上完成其任务的速度)。这加速了产业中的制造过程，因为产品的设计是制造过程的一部分。

利用例如CAD软件解决方案或者CAD系统完成在真实世界中要制造的产品的虚拟设计之后，3D建模的对象可以表示其几何形状，诸如(例如，机械)部分或者多个部分的组装、或者更一般地任何刚性体组装件(例如，移动机械装置)。CAD软件解决方案允许在各种且不受限的产业领域中的产品的设计，包括：航天、建筑、制造、消费品、高科技设备、工业设备、交通运输、航海和/或近海或运输。因此通过该方法设计的3D建模的对象表示工业产品，其可以是陆地车辆(包括例如车、和轻型卡车设备、赛车、摩托车、货车和马达设备、卡车和巴士、火车)的一部分；飞行器(包括例如机体装置、航天装置、推进装置、防务产品、航线装置、空间装置)的部分；航海器(包括例如海军装置、商用轮船、近海装置、游艇和工作船、海洋装置)的部分；机械部分(包括例如工业制造机械、重型移动机械或者装置、安装装置、工业装置产品、制造金属产品、轮胎制造产品)；机电或者电子部分(包括例如消费电子产品、安全和/或控制和/或仪器产品、计算和通信装置、半导体、医疗设备和装置)；消费品(包括例如家具、家庭和花园产品、休闲货物、时尚产品、硬货零售商的产品、软货零售商的产品)；包装(包括例如食品、和饮料、和烟草、化妆品、和个人护理、家庭产品包装)。

通过PLM系统，意味着适用于对表示物理制造的产品的建模的对象进行管理的任何系统。在PLM系统中，建模的对象因此通过适于制造物理对象的数据来限定。这些可以典型地是尺寸值和/或容差值。对于正确制造对象，具有这样的值确实更好。

CAM代表计算机辅助制造。通过CAM解决方案，意味着适用于对产品的制造数据进行管理的任何解决方案、硬件的软件。制造数据通常包括与要制造的产品、制造过程和所要求的资源相关的数据。CAM解决方案用于计划并优化产品的整个制造过程。例如，其能够为CAM用户提供可以在制造过程的具体步骤中使用的如下信息：可行性、制造过程的持续时间或者资源(诸如特定机器人)的数量；并因此，允许在管理或者所需的投资上的决策。CAM是CAD过程和潜在的CAE过程之后的接下来的过程。这样的CAM解决方案由Dassault Systèmes提供，商标为

CAE代表计算机辅助工程。通过CAE解决方案，意味着适于对建模的对象的物理行为进行分析的任何解决方案、硬件的软件。公知的并广泛使用的CAE技术是有限元法(FEM)，其典型地涉及将建模的对象分为其物理行为能够通过方程计算和模拟的要素。这样的CAE解决方案由Dassault Systèmes提供，商标为

另一个成长的CAE技术涉及建模和分析复杂系统，其由来自没有CAD几何形状数据的不同物理领域的多个部件组成。CAE解决方案允许仿真，并因此优化、改善并验证要制造的产品。这样的CAE解决方案由Dassault Systèmes提供，商标为

PDM代表产品数据管理。通过PDM解决方案，意味着适用于管理与特定产品相关的所有类型的数据的任何解决方案、硬件的软件。PDM解决方案可以由在产品的生命周期中涉及的所有参与者使用：主要是工程师但还包括项目经理、财务人员、销售人员和买家。PDM解决方案通常基于面向产品的数据库。这允许参与者共享在其产品上一致的数据，并因此防止参与者使用发散的数据。这样的PDM解决方案由Dassault Systèmes提供，商标为

图4示出了系统的GUI的示例，其中，该系统是CAD系统。

GUI 2100可以是典型的类CAD接口，具有标准菜单栏2110、2120，以及底工具栏和侧工具栏2140、2150。这样的菜单栏和工具栏含有一组用户可选择的图标，每个图标与本领域已知的一个或多个的操作或者功能相关联。这些图标中的一些与软件工具相关联，适用于在GUI 2100上显示的3D建模的对象2000上编辑和/或工作。软件工具可以被分组为工作台2400。每个工作台包括软件工具的子集。特别地，工作台中的一个是编辑工作台，适用于编辑建模的产品2000的几何特征。在操作中，设计师例如可以预先选择对象2000的一部分，进而，通过选择适当的图标来启动操作(例如，改变尺寸、颜色等)或者编辑几何约束。例如，典型的CAD操作是对显示在屏幕上的3D建模的对象的冲孔或者折叠进行建模。

GUI可以例如显示与显示的产品2000相关的数据2500。在图2的示例中，显示为“特征树”的数据2500及其3D表示2000涉及包括制动钳和制动盘的制动组装件。GUI可以进一步示出各种类型的图形工具2130、2070、2080，例如用于便于对象的3D取向、触发对编辑的产品的操作的仿真或者渲染显示的产品2000的各种属性。光标2060可以由触觉设备控制，以允许用户与图形工具交互。

图5示出了该系统的示例，其中，该系统是客户端计算机系统，例如，用户的工作站。

该示例的客户端计算机包括：中央处理单元(CPU)1010，其连接至内部通信总线(BUS)1000；随机存取存储器(RAM)1070，其也连接至总线。客户端计算机还设置有：图形处理单元(GPU)1110，其与连接至总线的视频随机存取存储器1100相关联。视频RAM 1100也是本领域已知的帧缓冲。大容量存储设备控制器1020管理对大容量存储器设备(诸如硬盘驱动器1030)的访问。适于实施计算机程序指令和数据的大容量存储器设备有形地包括所有形式的非易失性存储器，以示例的方式包括半导体存储器设备，诸如EPROM、EEPROM和闪存存储器设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；和CD-ROM盘1040。任何上述部件可以由特殊设计的ASIC(专用集成电路)补充，或者并入特殊设计的ASIC。网络适配器1050管理对网络1060的访问。客户端计算机还可以包括触觉设备1090，诸如光标控制设备、键盘等。光标控制设备被用于客户端计算机，允许用户选择性地将光标置于显示器1080上任何期望的位置。此外，光标控制设备允许用户选择各种命令并输入控制信号。光标控制设备包括多个信号产生设备以将控制信号输入至系统。典型地，光标控制设备可以是鼠标，该鼠标的按钮被用于产生信号。可替代地或附加地，客户端计算机系统可以包括感应平板和/或感应屏。

计算机程序可以包括可由计算机执行的指令，该指令包括使上述系统执行该方法的单元。程序可以记录在任何数据存储介质上，包括系统的存储器。程序可以例如在数字电子电路、或者计算机硬件、固件、软件、或者其组合中实现。程序可以实现为装置，例如有形地在机器可读存储设备中实施来由可编程处理器执行的产品。方法步骤可以由可编程处理器执行，可编程处理器通过对输入数据进行操作并产生输出来执行指令的程序以执行方法的功能。因此处理器可以是可编程的，并耦合到数据存储系统、至少一个输入设备、以及至少一个输出设备以从它们接收数据和指令，并向它们传输数据和指令。应用程序可以在高级过程语言或者面向对象编程语言中实现，或者如果需要的话在汇编或者机器语言中实现。在任何情况下，语言可以是编译或解释的语言。程序可以是完全安装程序或者更新程序。在系统上应用程序会引起在用于执行方法的指令中的任何情况。

“设计3D建模的对象”指代至少是对3D建模的对象进行精心制作的过程的一部分的任何动作或者一系列动作。因此，该方法可以包括从头创建3D建模的对象。可替代地，该方法可以包括提供之前创建的3D建模的对象，进而修改3D建模的对象。

该方法可以包括在制造过程中，其可以包括在执行该方法后生成与建模的对象相对应的物理产品。在任何情况下，由该方法设计的建模的对象可以表示制造对象。因此建模的对象可以是建模的固体(即，表示固体的建模的对象)。制造对象可以是产品，诸如部分、或者多个部分的组装。因为该方法改善了对建模的对象的设计，因此该方法还改善了产品的制造，并因此，提高了制造过程的生产率。

该方法允许即使在不精确的3D网格作为输入的情况下，也能得到高质量的纹理化的3D网格，而没有伪影(artifact)(相对地)。该方法考虑到了即使具有完美的相机的校准和位姿估计，一般投影纹理映射算法也不能将不精确的3D模型完美地纹理化。此外，仅使用单个的纹理，非常难以直接对不精确的3D模型本身进行优化。由该方法使用的算法对纹理坐标进行优化，以便于校正纹理映射的可见伪影。因此，该方法的算法处理不精确的3D模型以及输入纹理中的失真。该优化基于离散能量形式，这与连续的相比更有效且更快速。这还避免了连续优化因为参数的非常高维的空间(在之后详细的示例的上下文中，典型地高于10000)而落入大量不好的本地最小值。

在示例中，3D模型的每个可见的顶点被分配有纹理上的纹理坐标，其容易地由投影纹理映射(这是仅仅是根据在10中提供的映射的3D模型到图像上的投影)计算。纹理坐标是2D向量，其经常能够称作UV坐标。然后，(每个可见的顶点的)每个UV坐标能够利用离散优化来调节，以便图像更好地拟合投影的3D模型。在示例中，方法将(例如，三角形)3D网格视为3D图，其中，每个顶点是节点，并且将两个顶点连接的每个边缘是图中的边缘。离散能量优化被写为基于该3D图的马尔科夫随机场推论。每个节点能够采取表示UV坐标的位移(即，像素移位)的若干标签。在离散能量形式中，每个节点具有其自身的数据项，表示该节点采取特定标签的条件概率，已知(在示例中)其曲率和输入纹理图像的边缘(高梯度轮廓)。此外，马尔科夫随机场还包括能够被称作“平滑项”的内容，其表示节点采取特定标签的概率，已知其在图中的相邻的标签。该项强制使得邻近的节点具有接近的标签。因此，该离散能量形式还能够被视为概率框架内的MAP(最大后验)推论问题，并且该方法旨在找到最可能的标签方案(labeling)。简言之，该优化特别地趋向高效的示例来调节每个可见的顶点的UV坐标，以使得高曲率顶点投影到输入图像中的边缘，并且使得邻近的顶点具有类似的UV坐标位移。之前的标准类似于2013年11月18日提交的名为DASSAULT SYSTEMS的申请EP13306576.3，并出于相同的原因在本文中保留。之后的标准是新制定标准，并在3D重建的上下文中没有被证明相关，但是其还使得MRF理论的申请及其计算效率优点可用。

该方法根据如下想法构建：具有针对想要对可能不精确的模型进行纹理化的图片的相机位姿。图6示出了由方法的示例实现的两个主要级别的全局纹理3D重建管线。第一级别包括利用RGB或者RGB深度传感器来重建3D场景：然后提供外在相机参数以及3D网格模型。这些技术主要在更早的引用文献中有说明。第二级别(即，该方法的核心原创)致力于纹理坐标优化以用于纹理化过程。换言之，图6示出了两个级别的全局过程总览，级别1指代场景的3D重建，而级别2指代对3D模型的自动纹理化。因此，下面的讨论将主要聚焦于描述纹理坐标优化过程(即，步骤S20，或者图6的级别2-A)。该示例的总体算法被分为这些主要步骤：1/预处理：在3D模型上提取鲁棒曲率，并在图像上进行距离转换计算；2/优化处理：i)建立图，ii)优化马尔科夫随机场。

不像目前工艺水平的方法那样，该方法的解决方案仅使用不精确的3D网格模型作为输入以及由通常3D重建算法提供的、可能扭曲的校准的输入图像，就能实现高质量纹理化，且这以快速的方式。如果3D模型含有大量边缘，特别是当其基于3D点的曲率时，那么该方法的解决方案在这样的示例中执行得特别好。该方法的解决方案在具有高分辨率图像的示例中执行得特别好。如果图像上有大量边缘，并且如果图像上的对象不具有高颜色变动，那么该方法的解决方案在这样的示例中执行得特别好。该方法的解决方案在具有对比度的图像的示例中执行得特别好，这是因为该解决方案可以在示例中检测到图像上的强大的梯度。该方法的解决方案能够在示例中处理扭曲的网格或者图像，而不像基于相机位姿优化的纹理化过程那样。

要注意的是，该方法建立在从学习马尔科夫随机场得知的公知的数学结果上。例如，通向该方法的发展利用哈默斯利克利福德(Hammersley-Clifford)定理。还注意到，MRF理论已被用于图像处理的领域。然而，先前的应用将图像视为所有图像像素的栅格(grid)，所述栅格限定MRF应用的底层图。然而，该方法不将MRF基于这样的像素的栅格，而是基于与3D网格相对应的图(即，3D网格被视为图，具有分配到每个顶点的标签，以及分配到边缘的条件概率)。此外，这里将MF结果具体地应用到3D网格纹理化。因此，这里MRF的效率结果被巧妙地应用到3D重建和3D纹理的上下文中。

现在讨论在S10处提供的输入。

如从先前技术已知的那样，实际对象可以由CAD系统利用对应于不同几何形状的不同数据结构以3D表示。在该方法的上下文中，在S10处提供的3D表示(下文中其还可以称作“3D模型”)是根据先前技术已知的3D网格表示。先前技术3D重建技术提供这样的离散3D表示，如所已知的那样。这样的技术的示例通常包括利用传感器在实际对象上执行测量，并根据该测量推断离散3D表示。该技术可以是从运动中恢复结构的分析，意味着捕捉实际对象的多视点图像，以经由数学模型推断离散3D表示。先前技术中呈现的第一方法(仅RGB数据)和第二方法(RGB和深度数据)构成针对该方法预见的从运动中恢复结构的分析。离散3D网格表示还可以由激光三角测量和/或声学传播分析获得，也可以预见不同技术的组合。

在包括来自RGB图像的3D重建的从运动中恢复结构的分析的情况下，该方法可以包括对图像之间的兴趣2D点进行匹配。然后该方法可以校准相机，例如通过估计相对于所观察的场景的位置(外在校准)和估计传感器的物理参数(例如，焦点、失真(内在校准))。然后该方法可以利用校准数据将匹配点三角化来估计3D位置(例如，点云产生)。然后该方法可以从所有3D三角化的点来建立3D网格模型，从而实现离散3D表示。关于上述步骤的细节，参考之前引用的Hartley和Zisserman、Szeliski、和Faugeras的论文。

在包括来自RGB深度的3D重建的从运动中恢复结构的分析的情况下，该方法可以主要使用深度图像(即，含有针对每个像素的差异信息的图像)。该方法可以首先从第一深度图像建立3D场景(即，从差异值产生3D点云)。然后该方法可以针对每个新的深度图像估计外在相机校准(例如，根据先前的视点的相机旋转和平移)。该方法可以更新全局3D点云。该方法可以最终根据点云分析产生3D网格模型，从而实现离散3D表示。关于上述步骤的细节，参考之前引用的Cui等人以及Newcombe等人的论文。

因此，3D网格和映射以及可能地纹理图像可以由在方法中或者在方法之前应用这样的技术而产生。因此，该系统可以包括耦合至处理器的至少一个传感器来提供传感测量，该系统在其程序中包括指令以用于根据该测量来确定离散3D网格表示。优选地，该系统包括至少一个深度传感器，以使得该方法可以执行输出实际对象的相对精确的3D表示的深度测量。这是先前技术已知的，如先前所述。

如先前技术已知的，纹理图像是包括纹理信息的实际对象的2D视图，诸如实际对象的RGB图像/照片。要注意的是，3D网格可以对应于实际对象的可见部分，纹理图像是实际对象的可见部分的照片。实际对象的视图是实际对象的任何图示，诸如图像、照片、图片。因此，2D视图是2D表示，允许仅从一个角/视点来观看实际对象，与之前提供的3D表示的定义相对。提供纹理图像通常可以独立于提供3D网格而执行，例如，伴随、在之前或者之后执行。在该方法的情况下，在S10处提供的2D视图被校准。校准的视图是与信息(校准信息)一起提供的，允许2D视图的位置与对应的3D表示的位置之间的对应，3D表示即这里在S10处提供的3D网格表示：这是在S10处提供的映射。例如，这样的信息可以包括相机参数，该参数是表示已(可能虚拟地)捕捉2D视图的相机的配置的参数。换言之，相机参数构成的信息允许可能已捕捉相对于3D表示的纹理图像的相机的后验(posteriori)说明。该方法可以相对于在S10处提供的3D网格表示执行这样的纹理图像的校准，通过事先计算所述相机参数，或者通过计算更精确的相机参数来改善2D视图的事先校准(换言之，通过优化先前的相机参数)，诸如2013年11月18日提交的名为DASSAULT SYSTEMS的申请EP13306576.3。

在S10处提供的离散3D网格表示是从运动中恢复结构的分析的输出的情况下，可以在该从运动中恢复结构的分析期间捕捉实际对象的2D视图(即，纹理图像)。换言之，从运动中恢复结构的分析可以用于对3D网格的提供S10，涉及至少一个2D视图(例如，RGB图像)，并且所述2D视图可以有效地是在S10处提供的纹理图像。实际上，基于至少一个2D视图作为输入的从运动中恢复结构的分析，输出用于描述从离散3D表示投影到输入纹理图像的数据。然而，尽管在这种情况下2D纹理图像视图被校准(即，根据校准信息，2D视图的位置对应于3D网格表示的位置，这是因为当执行从运动中恢复结构的分析时这两者均对应于实际对象的实际位置)，但是所述校准数据并非完美精确，并且因此，该方法可以有利地经由S20执行的纹理坐标的优化来抗衡这样的误差。在实际对象的3D表示是通过从至少一个深度传感器的测量以重建3D表示来提供的情况下，尤其如此。在这样的情况下，实际上，深度数据主要用于确定3D表示，而2D数据(诸如RGB图像)主要用于其他目的(诸如对3D表示进行纹理化)。因此，纹理图像可以由高分辨率相机(提供具有至少比深度传感器、或者捕捉用于重建初始3D表示的图像的其他相机更高分辨率的数据)来捕捉。因此，尽管2D视图由与深度传感器同步的相机捕捉，但可能存在导致精度缺乏的移位，如上所述。因此，该方法引起更精确的最终纹理。

现在进一步讨论在10处提供的可以形成映射的相机参数。

这些相机参数允许在S10处提供的2D纹理图像/视图上的位置与3D网格表示中的位置之间的对应。因此，相机参数与纹理图像相关联，并相对于在S10处提供的3D网格。对此，相机参数可以包括投影矩阵(例如，描述从3D表示到2D视图的投影)。投影矩阵可以基于与3D表示相关联的参考，以及基于与2D视图相关联的参考。如所已知的，投影矩阵可以包括外在参数(诸如视点的3D位置，例如，相机位置和/或取向，例如，旋转和平移数据)和/或内部参数(诸如焦长、斜参数(skew parameter)、主点和/或失真参数)。内部参数是与传感器相关的参数(例如，焦点、光学中心投影、失真)，并且通常在先前技术中通过离线过程来估计，Z.Zhang在国际计算机视觉大会1999发表的A Flexible New Technique for CameraCalibration的论文中定义了该过程。外在参数也称作“位姿(pose)参数”，涉及图像在3D场景的参考(此处为3D重建的模型)中的位置(例如，旋转矩阵和平移向量)。先前技术已知的估计这些位姿参数的经典方式是在诸如上述的重建过程期间(如基于RGB深度的重建)将其近似(诸如之前提到的Izadi等人的论文中描述的那样)，其中，根据深度相机定位来推断RGB位姿。这是可能的，是因为两个传感器(RGB和深度)刚性地连接，因此只有相对的变换来改变参考轴。

现在参考图7-15来描述与图6的示例一致的方法的具体示例。在该示例中，3D网格、纹理图像和映射可以都通过如上所述的应用到实际对象的预先确定从运动中恢复结构的分析方案来输出。因此，映射可以对应于对于在从运动中恢复结构的分析中针对纹理图像所确定的位姿相机参数。这允许利用纹理的有效且精确的3D重建。

该示例根据如下想法建立：可能具有近似的3D三角网格的，利用校准的(拍摄图像时的相机的内部参数+平移/旋转)图像以用于纹理化。下面的讨论聚焦于对纹理坐标优化过程(图6的级别2-A)的描述，在图7中详细说明，其示出了对方法的示例所实现精确纹理化进行优化的流程图说明。该示例的算法被分为这些主要步骤：

1)预处理：在3D模型上提取鲁棒曲率，并在2D图像上进行距离转换计算。

2)优化处理：

i.建立图。

ii.优化马尔科夫随机场。

讨论步骤1：预处理

讨论预处理i

在示例中，方法首先计算利用位姿相机的3D点可见性。第一步骤实际上是提取网格的所有可见顶点(在3D网格包括的顶点多于在纹理图像上可见的顶点的情况下)。这用低级图形API，诸如OpenGL或者DirectX能够非常容易地完成。这些API提供Z缓冲算法，经常由硬件实现。Z缓冲算法针对给定的相机位姿提供网格的深度图。然后，该方法可以使用该深度图来检查网格的顶点是否可见。为了这样做，该方法可以简单地将网格的所有顶点投影到深度图，并针对每个顶点将其深度与在投影的顶点的像素位置处深度图的值进行比较。如果两个值足够接近，那么顶点被认为是该方法可见的。

讨论预处理ii

然后，该示例的方法在3D网格上提取3D图元(primitive)。这里该方法可以使用与2013年11月18日提交的名为DASSAULT SYSTEMS申请EP13306576.3所描述的方法相同的方法，以便于计算在网格的每个可见顶点处的最高曲率值。图8示出了与给定3D网格(未示出相对应的照片)，以及3D网格的高曲率顶点80(即，具有最大曲率高于预先确定的阈值的顶点)和低曲率顶点82(即，具有最大曲率低于预先确定的阈值的顶点)，其以不同颜色在照片上高亮显示(highlight)。

实际上，在该示例中，执行优化S20利用的是：在3D网格的顶点与纹理图像的像素之间的预先确定的关系，实际上是针对3D网格的顶点的3D曲率值与纹理图像的像素到纹理图像的最近轮廓的距离值之间的预先确定的关系。在S10处提供的映射假定为表明3D网格的3D顶点在纹理图像上的位置。然而，如上所述，该方法利用S20来校正这样的位置，这是基于在优化S20期间的评估(经由代介函数

)，达到遵循在3D网格的顶点处评估的第一函数的值与在纹理图像的像素处评估的第二函数(对应于第一函数)的值之间的预先确定关系的程度。评估“遵循的程度”本身的任何方式可以被实施，诸如所述两个值之间的归一化差值(normalized difference)。“关系”是任何形式的数学关系，并且其可以是对称关系。目的在于评估保留在像素移位的预先确定的列表中的像素移位是否将引起3D顶点的特征与移位的纹理坐标的特征之间的一致性(这样的一致性的规则是预先确定义的)，并且更具体地不一致性将有多高。示例的方法实现这样的“遵循的程度”评估的具体示例将在之后详述。这样的预先确定的关系形成与纹理图像和由3D网格表示的实际对象相关的预知识来进行纹理化，并从而可以取决于应用。

在示例的情况下，该方法考虑了3D网格的顶点的曲率值(例如，顶点处的最大3D曲率值)与纹理图像中与2D梯度相关的值(例如，纹理图像的像素到纹理图像的最近轮廓的距离值，如所已知的“轮廓”为纹理图像的区域，例如，可以通过任何已知的预先确定的方案来确定的高梯度的线)之间的预先确定的关系。具体地，预先确定的关系可以是3D曲率相对于所述距离的递减函数(即，具有高最大曲率的3D顶点应该相对更接近纹理图像的轮廓)。该示例的方法使用这样的预先确定的关系的具体实现之后将详述。这允许优化充分考虑具有纹理图像和实际对象的上下文，尤其是在从运动中恢复结构的分析的情况下。这是因为实际对象上的折叠(fold)将通常导致3D表示中的高曲率(并因此，出现该示例的几何特征)，并且通常将导致2D视图的高梯度。然而，可以考虑其他预先确定的关系。例如，可以直接考虑纹理图像的像素梯度。能够考虑其他几何特征(不一定与3D曲率相关)和/或其他图形特征(不一定与像素梯度相关)，如提到的2013年11月18日提交的名为DASSAULT SYSTEMS的申请EP13306576.3那样。实际上，无论使用何种3D顶点与2D像素之间的预先确定关系(只要这样的预先确定的关系是相关的)，该方法都被证明有用，这是因为该方法利用离散MRF解决方案的计算优势实现了附加的优化层。

参考图9，其示出了三角网格上的点的曲率估计，设x为网格上的3D点，并且{x1...xn}为其直接近邻(immediate neighbor)，隐含了对于{x1...xn}中的每个点，存在导向x的网格中的边。设{y1...yn}为近邻的x转化(x-translated)集合，以使得x成为原点。设Z是点x处网格的法线。如果其不存在，那么该方法可以将邻近三角形的法线进行平均。该方法然后可以假定垂直于Z的任意方向X，并通过Y＝Z∧X来完成标准正交基(orthonormalbasis)。我们将{z，z1...zn}称为该新基中的投影集合{x，x1...xn}。然后通过最小二乘法拟合抛物面来估计该集合内的表面，该方法由此推断在z点处的曲率和方向估计。跟随该标准正交基，能够利用(a，b，c)来描述该抛物面，以使得：z＝ax²+bxy+cy²

系数为a，b和c的最小二乘法产生：

设X为n*3的矩阵，其行i等于(zi(1)²，zi(1)zi(2)，zi(2)²)，而J为大小为n的向量(zi(3))i。那么线性最小二乘法解为：

由于示例的表面是规律的，因此主曲率(principal curvature)是海森(hessian)矩阵H的特征值(Eigen value)。平均曲率(mean curvature)m被定义为两个主曲率的和，即，m＝tr(H)。高斯曲率g是两个主曲率的积，g＝det(H)。

由于

且g＝4ac-b²。

设c1和c2是x处的H的特征值。通过定义m＝c1+c2且g＝c1c2。设Δ＝m²-4g，从而得到：

x处的表面曲率的明显界限是[min(c1，c2)；max(c1，c2)]。因此，x处的最高值的曲率近似为max(|c1|，|c2|)。x处的曲率可以被认为等于该值。

讨论预处理iii：计算RGB图像上的距离转换

上面描述的预处理确定了在顶点处的3D曲率(之后以便于评估遵循预先确定的关系的程度)。然而，如上所述，该方法的示例的特定评估还要求纹理图像的像素到纹理图像的最近轮廓的距离值：“距离转换”。这样的距离转换能够计算如下。

设I是RGB图像(例如，纹理图像)，S＝{x₁，...，x_N}是I的像素的子集。给定S的I的距离转换是一个图像，它的每个像素的灰度(intensity)是其到S的距离，即到S中的最近像素的距离。该方法可以使用倒角掩膜(Chamfer mask)来加速距离转换的计算。倒角掩膜允许近似，但仍然是精确且快速的距离转换计算。特别地实现了下面论文中描述的倒角掩膜：M.Stencel等人，On Calculation of Chamfer Distance and Lipschitz Covers inDigital Images，在S4G 2006。简言之，想法是使用应用到像素的小掩膜，向其给出邻近像素的距离的近似。该方法可以针对S中的像素以距离0开始，而针对其他像素以无限(infinity)开始。方法可以进行前后传递来应用倒角掩膜，即该方法可以针对向前传递从左上开始至右下，而针对向后传递从右下开始向左上。针对每个像素，该方法可以应用倒角掩膜，并且如果倒角掩膜返回更小的距离则更换像素的近邻的距离。

示例中的目标是计算一个图像，其中每个像素具有到输入RGB图像的最近边缘的距离作为像素的值。示例中的第一步骤是将RGB图像转换为灰度级图像。然后，该示例的方法可以应用Canny边缘检测器来获得轮廓图像，如图像处理领域广泛已知的那样，例如在J.F.Canny，A Computational Approach to Edge Detection，IEEE PAMI 1986的论文中描述的那样，以用于提取图像的边缘。简言之，Canny边缘检测器将图像平滑化，计算每个像素处的梯度(法向+方向)(norm+direction)，抑制非最大梯度值，并最终应用滞后阈值(hysteresis thresholding)。

属于这些边缘的像素形成一组标注的S，并且该示例的方法可以最终在给定S下向纹理图像应用距离转换。结果由图10-12示出，其分别示出可以在S10处提供的输入图像(图10)，由Canny边缘检测器检测的边缘(图11)，以及由倒角掩膜计算的距离转换(图12)。

讨论步骤2：优化

讨论优化的子步骤i：建立马尔科夫随机场

首先针对在S10处提供的三角形3D网格呈现如何建立MRF底层的图的示例。示例的一般化是直接的。

设V＝{v₁，...，v_n}是3D模型的可见顶点的集合，而

是v_i的邻近顶点，其中m(v_i)是v_i的近邻的数量。

该示例的方法定义了无向图G＝(V，E)，其中E＝{{v_i，v_j}|i，j∈{1，...，n}，v_j∈N(v_i)}。E是所有连接3D模型中的两个可见顶点的边的集合。设F＝{{v_i，v_j，v_k}|i，j，k∈{1，...，n}，v_j∈N(v_i)，v_k∈N(v_i)，v_k∈N(v_j)}是网格中的所有可见三角形的集合。

图的每个节点v_i能够采取来自集合L＝{l₁，...，l_h}的标签L(v_i)。在该示例的情况下，L是纹理坐标在像素中所允许的移位/位移。该示例的方法采取L＝{(0，0)，(0，1)，(1，0)，(1，1)，(-1，0)，(0，-1)，(-1，-1)，(-1，1)，(1，-1)}，其给出了9个标签。该方法还能够允许两个像素偏移(25个标签)甚至更多，但是在标签的数量保持低时计算速度大大增加。在网格的失真很重要的情况下，代替增加标签的数量，该方法可以剪切/减小输入图像的分辨率，并保持1个或者2个像素移位作为允许的标签。L(v_i)是随机变量。标签L(V)＝(L(v₁)，...，L(v_n))是随机变量，其向图G中的每个节点分配标签。注意的是针对顶点的标签(0，0)是其纹理坐标的零偏移，并因此仅对应于通过纹理投影映射算法所计算的纹理坐标，即，根据S10处提供的唯一映射将顶点投影到图像上。

每个节点v_i具有采取标签l_a的概率P(L(v_i)＝l_a)。该方法假定v_i条件上独立于给定的v_i的近邻v_j。该假设称作马尔科夫性质。具有该性质的图称作马尔科夫随机场(MRF)。图G的边因此表示节点之间的依赖性。如果两个节点共享一个边，那么它们的标签直接依赖。

哈默斯利克利福德定理规定了如果无向图G满足马尔科夫性质，那么概率分布P(L(V))能够在图的所有最大团(完全子图)被因式分解。如果网格是流形的(manifold)，那么当前图的最大团仅是网格的三角形。所以，

当然，在概率框架中想要涉及S10处提供的3D网格和纹理图像，此处称作观察。该示例的方法已计算输入图像的距离转换和顶点的曲率。所以，给定对距离转换和曲率的观察O，具有针对每个标签的先验，称作可能性，并且记作

最终，得到了能够称作MAP(最大后验)推论问题的内容。已知曲率和输入图像的距离转换，想要找到最可能的标签L，(V’)，意味着L(V’)＝argmax_L(V)P(L(V)|O)。

贝叶斯法则立即给出了

能够将其重写为

其中，

且ψ′_i，j，k＝-log(ψ_i，j，k)。

最终将推论问题重写为离散优化问题。

注意到：

可以称作数据项，因为其将顶点的标签链接至观察，独立于其他节点的标签。ψ′可以称作平滑项，因为其在邻近节点的标签中强制执行规律性(regularity)，其将节点的标签链接至其近邻。

该马尔科夫随机场(MRF)是高阶MRF，因为团具有大于2的尺寸。这意味着平滑项通常不能在边缘上被因式分解。高阶MRF要求具体优化方法。然而，没有什么能阻止该方法来特别定义平滑项，诸如其能够在图的边上被因式分解，并因此得到了成对的MRF，针对它存在大量的推论方法。

例如，预先确定的MRF解决方案可以属于成对的MRF解决算法的这四个公知类中的一个：

·凸松弛MRF解决方案(例如，线性规划(Schlesinger 1976)、半定规划(Lasserre2000)，或者二阶椎规划(Muramatsu和Suzuki，2003))。

·双线性规划松弛MRF解决方案(例如，树重加权消息传递(Tree ReweightedMessage Passing)、对偶分解)。

·图割MRF解决方案(例如，阿尔法(Alpha)展开、阿尔法(Alpha)-贝塔(Beta)交换、快速PD(FastPD))。

·置信传播MRF解决方案(例如，环路置信传播(Loopy Belief Propagation)、广义置信传播(Generalized Belief Propagation))。

然而，这些仅是示例，因为任何成对MRF解决方案一般都可以由该方法实现。还要注意的是上面提供的四个类彼此不相斥，该分类取决于所采用的观点。

所以，如表明的那样，在该示例中代价函数ψ′_f被写为如下形式：

ψ′_f({L(v_i)}_i∈f)＝∑_{{i，j}∈p(f)}ψ′_i，j(L(v_i)，L(v_j))，其中，p(f)指代图块f的多对顶点的索引的集合。

这允许在S20处使用成对的离散马尔科夫随机场优化方案，并因此具有更快的性能。

在该示例中，如下所述，ψ′_i，j(L(v_i)，L(v_j))具体形式为

其中，λ指代正标量。λ可以大于0.01和/或小于0.1，例如，约为0.05。根据应用，可以使用尝试和错误(trial and error)来保留最优值。可以考虑其他距离(诸如欧氏距离)。

现在，该示例的方法实现预先确定的关系，其中，低于(例如，或者等于)预先确定的阈值C(对于1毫米数量级的边缘的3D网格，可以大于0.01和/或小于0.1，例如，约为0.05，具有可能的尝试和错误以用于调节)的3D曲率值C_i与所有距离值(记为T_i(L(v_i)))具有预先确定的关系，而(例如，严格)高于预先确定的阈值C的3D曲率值与根据递增的一到一对应的距离值具有预先确定的关系。这意味着，根据这样的预先确定的关系的非常定义，当3D曲率低于阈值时，距离转换的任何值都是适当的，意味着遵循该关系的程度对于这样的顶点的距离转换的所有值是相同的。另一方面，对于高曲率值(阈值之上)而言，预先确定的是关于距离转换值T_i(L(v_i))的3D曲率的单调(递增)函数，下文提供其示例。因此，优化仅聚焦于由高曲率顶点所传达的信息。

特别地，良好工作的实现方式是其中

为如下形式

指代指示器函数，C_i指代顶点v_i的3D曲率，因此，c指代正标量，γ指代预先确定的正标量(可以大于0.01和/或小于0.5，例如约为0.25，具有可能的尝试和错误以用于调节)，并且T_i(L(v_i))再次指代纹理图像的相关距离转换的值(即，在将顶点v_i映射到所述纹理图像之后应用在优化过程对可能的参数的探索期间针对顶点v_i选择的像素移位的结果处)，之前提到的相对于纹理图像的轮廓图像的距离转换被事先预计算。

换言之，设T_i(x，y)是在像素K(v_i)+(x，y)处输入图像的距离转换，其中，K(v_i)是顶点v_i在输入图像上的投影，即，v_i的初始纹理坐标，而C_i是顶点v_i的最大曲率。

然后定义

其中，γ是正标量，其将曲率链接至像素距离，c是被选择用于丢弃数据项中的低曲率顶点的正标量。

定义ψ′_i，j，k(L(v_i)，L(v_j)，L(v_k))＝λ(||L(v_i)-L(v_j)||₁+||L(v_j)-L(v_k)||₁+||L(v_i)-L(v_k)||₁)，

其中，λ是正标量，其控制平滑项与数据项之间的折衷。能够注意到ψ′_i，j，k(L(v_i)，L(v_j)，L(v_k))＝ψ′_i，j(L(v_i)，L(v_j))+ψ′_i，k(L(v_i)，L(v_k))+ψ′_j，k(L(v_j)，L(v_k))，其中，

并因此，得到成对的MRF，这比高阶MRF更易于优化。

在该示例的情况下，数据项迫使强大曲率顶点具有接近输入纹理中的边缘的纹理坐标，并且平滑项迫使邻近顶点得到在它们纹理坐标中的类似的位移。

重要的是注意到，该方法能够利用针对两项的其他表达式实现。特别地，ψ′_i，j，k能够是一般高阶项。

同样，代价函数

的示例只是示例，因为趋向于将高最大曲率的3D顶点朝向纹理图像的高梯度(即，轮廓)按压/移位的任何代价函数可以被实施。

讨论优化的子步骤ii：优化马尔科夫随机场

示例的最后步骤是解决推论问题以找到最优标签，进而找到优化的纹理坐标。

有大量不同的高效算法来解决在成对的马尔科夫随机场上的这样的推论问题，尤其是，当平滑项是度量距离时。可以实现J.Kappes等人，A Comparative Study of ModernInference Techniques for Discrete Minimization Problems，in CVPR 2013中提供的任何算法。在方法将利用一般高阶项更换ψ′_i，j，k的情况下，可以实施在H.Ishikawa，Higher-Order Clique Reduction in Binary Graph Cut，in CVPR 2009中描述的算法。

图13示意性地示出了针对基于纹理图像130的房屋实际对象的示例的方法的总体表现，因此，从图14的结果到图15的结果改善了房屋的最终纹理的精度。

Claims

1.一种用于对表示实际对象的3D建模的对象进行设计的计算机实现的方法，包括以下步骤：

提供(S10)表示所述实际对象并具有顶点的3D网格、纹理图像、以及所述3D网格的所述顶点与所述纹理图像的像素之间的映射；然后

最大化(S20)如下形式的概率P(L(V))：

其中：

n指代所述3D网格的顶点的数量，而v_i指代所述3D网格的所述顶点，

L(v_i)指代在将顶点v_i映射到所述纹理图像之后要应用的、并在预先确定的有限集合中选择的像素移位，所述预先确定的有限集合包含元素(x,y)，指示了在水平方向x轴与垂直方向y轴上的移位；

指代所述3D网格的多组网格图块的索引的集合；

指代与顶点v_i相关联的代价函数，并递减地取决于在将顶点v_i映射到所述纹理图像之后应用针对顶点v_i所选择的所述像素移位的结果遵循所述3D网格的顶点的3D曲面率值与所述纹理图像的像素的到所述纹理图像的最近轮廓的距离值之间的预先确定的关系的程度；

ψ′_f指代与所述3D网格的图块f相关联的代价函数，并取决于针对所述图块f的顶点所选择的像素移位之间的全局差异,由此优化趋向于在对参数解决方案的探索中达到像素移位对于每个分别的单个图块f的所有顶点是一样的；

其中，所述最大化步骤是利用预先确定的离散马尔科夫随机场优化方案来执行的，所述方案将所述3D网格和与所述3D网格的顶点的纹理坐标相关联的所述像素移位视为能量如下的马尔科夫随机场：

以及

根据所述纹理图像、所述映射、以及所述最大化步骤的结果来对所述3D网格进行纹理化(S30)。

2.根据权利要求1所述的方法，其中，所述代价函数ψ′_f的形式为：

ψ′_f({L(v_i)}_i∈f)＝∑_{{i，j}∈p(f)}ψ′_i，j(L(v_i)，L(v_j))，

其中，p(f)指代所述图块f的多对顶点的索引的集合，

并且其中，所述预先确定的离散马尔科夫随机场优化方案是成对的离散马尔科夫随机场优化方案。

3.根据权利要求2所述的方法，其中ψ′_i，j(L(v_i)，L(v_j))的形式为

其中λ指代正标量。

4.根据权利要求1-3中的任一项所述的方法，其中，所述3D网格的顶点与所述纹理图像的像素之间的所述预先确定的关系实际上是针对所述3D网格的顶点的3D曲率值与针对所述纹理图像的像素的到所述纹理图像的最近轮廓的距离值之间的预先确定的关系。

5.根据权利要求4所述的方法，其中，指代所述顶点v_i的最大3D曲率值并低于预先确定的阈值(C)的3D曲率值(C_i)与所有距离值(T_i(L(v_i)))具有所述预先确定的关系，而高于所述预先确定的阈值的3D曲率值C_i与根据递增的一到一对应的距离值具有所述预先确定的关系。

6.根据权利要求5所述的方法，其中，

的形式为：

其中：

指代指示器函数，并且c指代正标量，

γ指代正标量，

T_i(L(v_i))指代在将顶点v_i映射到所述纹理图像之后应用针对顶点v_i选择的像素移位的结果处所述纹理图像的距离转换的值，所述距离转换是相对于所述纹理图像的轮廓图像的。

7.根据权利要求6所述的方法，其中，所述轮廓图像是利用应用在所述纹理图像上的Canny边缘检测器来确定的。

8.根据权利要求6或7所述的方法，其中，所述纹理图像的所述距离转换是利用相对于所述纹理图像的所述轮廓图像应用在所述纹理图像上的倒角掩膜来确定的。

9.根据权利要求1-3中的任一项所述的方法，其中，所述3D网格、所述纹理图像和所述映射全部是通过应用在所述实际对象上的预先确定的从运动中恢复结构的分析方案来输出的，所述映射对应于在从运动中恢复结构的分析中针对所述纹理图像确定的位姿相机参数。

10.一种用于对表示实际对象的3D建模的对象进行设计的装置，包括用于执行权利要求1-9中的任一项所述的方法中的每一步骤的模块。

11.一种记录有计算机程序的数据存储介质，所述计算机程序在被处理器执行时实现权利要求1-9中的任一项所述的方法。

12.一种计算机系统，其包括耦合至存储器的处理器，所述存储器上记录计算机程序，其中所述计算机程序在被所述处理器执行时实现权利要求1-9中的任一项所述的方法。