CN114067041B - 三维模型的材质生成方法、装置、计算机设备和存储介质 - Google Patents

三维模型的材质生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114067041B
CN114067041B CN202210040851.3A CN202210040851A CN114067041B CN 114067041 B CN114067041 B CN 114067041B CN 202210040851 A CN202210040851 A CN 202210040851A CN 114067041 B CN114067041 B CN 114067041B
Authority
CN
China
Prior art keywords
information
projection
texture
graph
texture reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210040851.3A
Other languages
English (en)
Other versions
CN114067041A (zh
Inventor
胡瑞珍
苏向宇
陈向楷
黄惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210040851.3A priority Critical patent/CN114067041B/zh
Publication of CN114067041A publication Critical patent/CN114067041A/zh
Application granted granted Critical
Publication of CN114067041B publication Critical patent/CN114067041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Image Generation (AREA)

Abstract

本申请涉及一种三维模型的材质生成方法、装置、计算机设备和存储介质。该方法包括：获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息，基于对应关系将纹理参考图按照投影图的形状进行转换，生成得到对应投影图的语义分割形状的带纹理图；基于纹理参考图与生成的纹理参考图的语义分割信息图，计算出第一材质预测信息，并基于投影图与转换后得到的带纹理图，计算出第二材质预测信息；从第一材质预测信息中确定三维模型对应的预设材质，若第一材质预测信息中缺少材质信息，则从第二材质预测信息中找到材质信息。采用本方法能够将纹理参考图中的材质准确转移到三维模型。

Description

三维模型的材质生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机图形处理领域，特别是涉及一种从二维图像到三维形状的材质转移方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机图形技术的发展，场景建模越来越需要带有高质量材质的三维模型。以真实图像作为指导，自动为三维模型添加具有真实感的材质是解决此问题的便捷方法，该方法的关键在于找到图像内的物体和模型的不同部件之间的对应关系。
早期的技术方案多适用于图像内物体和三维模型拓扑结构比较相似的情况，若图像内物体和目标三维模型的形状差异较大，则需要和图像内物体拓扑结构比较相似的三维模型作为中介，首先将纹理从图像上迁移到中介三维模型的表面，再将纹理从此三维模型处迁移到目标的三维模型上。且早期的技术方案多是进行简单的纹理迁移，无法满足真实感建模和渲染的需要。
发明内容
基于此，有必要针对上述技术问题，提供一种能够将图像中的材质转移到三维模型上的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种三维模型的材质生成方法，所述方法包括：
获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
从第一材质预测信息中确定所述第一目标语义区域的材质，若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
在其中一个实施例中，所述获取三维模型的投影图的语义分割信息，基于所述投影图与纹理参考图的对应关系，确定所述纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图，包括：
确定三维模型对应的第一对象，获取与第一对象同类别的第二对象的所述纹理参考图；
按照所述纹理参考图中的所述第二对象拍摄视角，从所述三维模型中，获取所述第一对象的投影图，所述投影图携带有投影语义分割信息，所述投影语义分割信息用于确定所述投影图的语义区域；
将所述投影语义分割信息代入所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，所述纹理参考图语义分割信息图用于确定所述纹理参考图的语义区域；
将所述纹理参考信息代入所述投影图与纹理参考图的对应关系，将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图。
在其中一个实施例中，获取所述投影图与纹理参考图间的对应关系的步骤，所述步骤包括：
对所述纹理参考图进行编码，得到纹理参考特征；
对所述投影图进行编码，得到投影图特征，其中，所述纹理参考特征与所述投影图特征的向量维度相同；
基于所述纹理参考特征与所述投影图特征进行相似度计算，得到所述投影图与纹理参考图间的对应关系。
在其中一个实施例中，所述基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息，包括：
基于所述纹理参考图的语义分割信息图与纹理参考图组成的第一组合信息，对所述第一组合信息内的各语义区域进行物质预测与材质预测，分别得到所述第一组合信息的物质预测结果与材质预测结果；
基于所述投影图与转换后得到的所述带纹理图组成的第二组合信息，对所述第二组合信息内的各语义区域进行物质纹理预测与材质纹理预测，分别得到所述第二组合信息的物质预测结果与材质预测结果。
在其中一个实施例中，基于所述由纹理参考图与生成的所述纹理参考图的语义分割信息图的组合计算得出的第一材质预测信息，以及所述投影图与转换后得到的所述带纹理图的组合计算得出的第二材质预测信息，获得所述第一对象对应部分最终的材质信息，包括：
从第一材质预测信息中确定所述第一目标语义区域的材质；
若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息；
确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，以应用预设材质的渲染参数对三维模型的表面进行渲染。
第二方面，本申请还提供了一种三维模型的材质生成装置，所述装置包括：
图像迁移模块，用于获取所述三维模型的投影图的语义分割信息，基于所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，并将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图。
材质预测模块，用于基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
材质选择模块，用于从第一材质预测信息中确定所述第一目标语义区域的材质，若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
从第一材质预测信息中确定所述第一目标语义区域的材质；若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
从第一材质预测信息中确定所述第一目标语义区域的纹理，若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
从第一材质预测信息中确定所述第一目标语义区域的纹理，若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
上述三维模型的材质生成方法、装置、计算机设备、存储介质和计算机程序产品，一方面，基于投影图与纹理参考图的对应关系，在迁移语义分割信息和纹理信息的过程中，即使三维模型的投影图与纹理参考图的形状或承载信息的对象形状存在较大差异，也可以分别基于不同的语义信息，实现投影图与纹理参考图的转换，实现跨域的材质信息迁移；另一方面，在两个组合的信息分别进行计算后，材质预测结果可以相互印证，以更准确地确定三维模型对应的预设材质；此外，使用真实度较高的预设材质信息作为三维模型的材质信息，可以使三维模型在不同的光照环境中呈现不同的渲染效果，因而与真实物质的相似度更高。
附图说明
图1为一个实施例中三维模型的材质生成应用环境图；
图2为一个实施例中三维模型的材质生成的流程示意图；
图3为一个实施例中迁移语义分割信息和纹理的流程示意图；
图4为一个实施例中获取对应关系的流程示意图；
图5为一个实施例中材质预测信息的计算流程示意图；
图6为另一个实施例中纹理预测信息的计算流程示意图；
图7为一个实施例中神经网络模型训练的流程示意图；
图8为一个实施例中视角预测的流程示意图；
图9为一个实施例中迁移图像的流程示意图；
图10为一个实施例中纹理预测的流程示意图；
图11为一个实施例中神经网络训练的流程示意图；
图12为一个实施例中图像迁移网络训练的流程示意图；
图13为一个实施例中材质预测网络的流程示意图；
图14为一个实施例中不同物质类型的材质渲染效果图；
图15为一个实施例中三维模型材质效果示意图；
图16为另一个实施例中三维模型材质效果示意图；
图17为一个实施例中三维模型材质效果示意图；
图18为另一个实施例中三维模型材质效果示意图；
图19为一个实施例中三维模型材质效果示意图；
图20为另一个实施例中三维模型材质效果示意图；
图21为一个实施例中三维模型材质效果示意图；
图22为另一个实施例中三维模型材质效果示意图；
图23为一个实施例中三维模型的材质生成装置的结构框图；
图24为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
大多数的计算机图形学应用需要使用带有材质的三维模型，动画模拟、游戏建模、增强现实、虚拟现实等领域更需要带有高质量材质的三维数据来获得更高的真实感。但是目前公开的三维模型数据集内的模型还是以贴图的手段为主，其材质质量较低，渲染质感等方面较差。
一方面的需求是解决三维模型的纹理迁移问题，在传统方法中，有的方法通过在图像和三维模型之间建立点之间的对应实现颜色迁移，有的方法是使用图像分割，在室内场景照片的指导下，对家具模型进行纹理迁移；有的方法需要建立图像内物体简单的三维模型，将纹理迁移到该三维模型中，再将纹理从此三维模型处进行迁移。
另一方面的需求是解决图像纹理迁移问题，其可以被理解为一种以先验条件作为限制的图像生成问题。在这种问题中，一张输入结构图(比如分割图、边缘图或姿势关键点集合)会被转换成具有输入样例图片的风格的图像，要完成这样的图像迁移需要将输入结构图映射到样例图像，从而建立两者的对应关系。
因此，我们提出了一种以真实图片作为参考，自动为三维形状的不同部件挑选合适材质的方法。通过自动化方法生成大量带有高质量且较为合理材质的三维模型，解决了真实感渲染中缺少带有材质信息数据的问题，并大大降低了人工成本。
本申请实施例提供的三维模型的材质生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。该方法可以以终端102或者服务器104实现。
在一个实施例中，如图2所示，提供了一种三维模型的材质生成方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，将纹理参考图按照投影图的形状进行转换，生成得到对应投影图的语义分割形状的带纹理图。
三维模型的投影图，是三维模型在某一视角下进行投影所得，如果该视角与纹理参考图相对应，一方面有利于纹理信息的迁移，更准确地获得转换后的对应投影图的语义分割形状的带纹理图，另一方面便于语义分割信息的迁移，提高生成的纹理参考图的语义分割信息的准确性。
语义分割信息，用于将较为集成化的语义进行分割，得到多个较为离散的子语义；如果通过数据结构来表示，则语义分割信息用于将一个父节点的语义划分成多个子节点的语义，而子节点的语义仍然可以继续作为其他语义的父节点；如果使用产品表示，语义分割信息用于“椅子”等集成化的语义进行多个层次的划分，对于“椅子”中的部件“椅背”可以进一步分为“椅背面”、“椅背框”、“椅背撑”、“椅背连接器”等子语义，同样地，“椅座”也可以向下分为“椅座面”、“椅座框”、“椅座撑”等子语义。语义分割信息的作用在于，可以按照投影图的粒度，实现纹理参考图的粒度细化，以便于提高迁移的精度。
对于确定纹理参考图的语义分割信息的过程，其需要基于投影图与纹理参考图的对应关系来获得，该对应关系是通过某些建立对应关系矩阵而得到的。通过对应关系矩阵的确定对应关系的步骤可是：分别将三维模型的投影图与纹理参考图进行编码，得到两个二维矩阵，对这两个二维矩阵进行特征提取，得到两个维度相同的特征向量，而维度相同的特征向量可以认为是位于同一个特征空间中，而这两个维度相同的特征向量相乘之后，就得到了对应关系矩阵。
基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，具体的，如果投影图基于投影图与纹理参考图的对应关系进行转换，则在获取到该对应关系的过程中，需要对投影图的特征进行转置等重组操作，得到重组后的投影图的特征向量，再重组后的投影图的特征向量与对应关系确定矩阵相乘，即可得到因变形、扭曲等方式转换的纹理参考图的语义分割图，转换后得到的纹理参考图的语义分割图与投影图的语义分割信息是相关的。而为了提高转换后的投影图的清晰度，转换后的投影图可以进行上采样的操作。
将纹理参考图按照投影图的形状进行转换，生成得到对应投影图的语义分割形状的带纹理图，是基于投影图的语义分割信息实现的。投影图的语义分割信息，包括投影图子语义，投影图子语义用于标识投影图中各结构、部件、大小规格等投影图形状信息，该投影图形状信息用于确定投影图的至少部件形状，即用于确定投影图的形状。具体的，如果纹理参考图基于投影图与纹理参考图的对应关系进行转换，则在获取到该对应关系的过程中，需要对纹理参考图的特征进行转置等重组操作，得到重组后的纹理参考图的特征向量，再重组后的纹理参考图的特征向量与对应关系确定矩阵相乘，即可得到因变形、扭曲等方式转换的对应投影图的语义分割形状的带纹理图，转换后的带纹理图已经携带有投影图的语义分割形状。而为了提高转换后的对应投影图的语义分割形状的带纹理图的真实程度，转换后的带纹理图还可以通过GAN等网络进行特征提取与特征鉴别的迭代对抗的流程，得到一个更加真实的带纹理图。
步骤204，基于纹理参考图与生成的纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于投影图与转换后得到的带纹理图的组合，计算出第二材质预测信息。
第一材质预测信息可以是通过同一个训练好的神经网络所得到的计算结果。该计算结果是基于纹理参考图与生成的纹理参考图的语义分割信息图的组合而得到的，该组合需要经过训练好的残差网络来进行特征提取，而通过残差网络提取到的特征再通过两个不同的多层感知机来判断，进而得到第一材质预测信息中的物质预测与材质预测这两组信息。
第二材质预测信息可以是通过某一训练好的神经网络所得到的计算结果。该计算结果是基于投影图与生成得到的对应投影图的带纹理图的组合而得到的，该组合需要经过同一个训练好的残差网络来进行特征提取，而通过残差网络提取到的特征依然通过那两个不同的多层感知机来判断，进而得到第二材质预测信息中的物质预测与材质预测这两组信息。
其中，第一材质预测信息与第二材质预测信息是相关的，二者都是针对三维模型的材质预测信息，且均使用了残差网络进行特征提取，以提升特征提取的质量。而第一材质预测信息与第二材质预测信息也存在一定的区别，该区别一方面的体现是第一材质预测信息对应的纹理信息质量更接近于真实纹理，而该区别另一方面的体现是参与计算的要素不同，该参与计算的要素包括两个组合的信息区别，两个组合所对应的网络中的权重区别。
步骤206，从第一材质预测信息中确定第一目标语义区域的纹理，若第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用第二材质预测信息中获取第二目标语义区域的材质信息，确定三维模型在第一目标语义区域与第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
对于第一材质预测信息与第二材质预测信息确定最终材质这一过程，其是对第一材质预测信息与第二材质预测信息中进行挑选，以得到较好的材质预测信息。其中，第一材质预测信息与第二材质预测信息之间的差异信息可以降低乃至去除，缺失信息可以得到补充甚至补全，该过程挑选所得到的结果效果更佳。需要理解，获得第一材质预测信息时使用的纹理信息比获得第二材质预测信息时使用的纹理信息更接近真实材质，而基于第一材质预测信息与第二材质预测信息的挑选结果，其对应的材质预测质量又更高。因此，通过第一材质预测信息可以确定第一目标语义区域的材质时，优先使用其作为第一目标语义区域的材质；而对于第二目标语义区域的纹理，由于第一材质预测信息无法预测出来，需要使用第二材质预测信息进行计算，以便实现信息的补充。
在材质预测信息的挑选过程之后，基于材质预测信息的挑选结果，可以直接确定该三维模型的语义区域分别对应的预设材质，三维模型的不同语义区域可能对应于不同预设材质。这种预设材质，会由于三维模型处于不同环境，而环境内的光线分布与视角等因素的不同，带来模型上外观的不同，因而具有真实性。
上述将图像中的材质转移到三维模型上的方法中，获取三维模型的投影图的语义分割信息，基于所述投影图与纹理参考图的对应关系，确定所述纹理参考图的语义分割信息图，基于对应关系将纹理参考图按照投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；基于纹理参考图与生成的纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于投影图与转换后得到的带纹理图的组合，计算出第二材质预测信息；从第一材质预测信息中确定第一目标语义区域的纹理；若第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用第二材质预测信息中获取第二目标语义区域的材质信息，确定三维模型在第一目标语义区域与第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。由此，可以从所述第一材质预测信息与所述第二材质预测信息中挑选出较好的材质预测信息，基于挑选的结果确定所述三维模型对应的预设材质。由此，一方面，在基于投影图与纹理参考图的对应关系，以迁移语义分割信息的过程中，即使投影图与纹理参考图的形状或承载信息的对象形状存在较大差异，也可以分别基于不同的语义信息，实现投影图与纹理参考图的转换，实现跨域的信息迁移；另一方面，在两个组合的信息分别进行计算后，进行材质预测，材质预测结果可以相互印证，以更准确地确定三维模型对应的预设材质；此外，应用预设材质的渲染参数对三维模型的表面进行渲染，可以使三维模型的纹理随着光照、角度等环境因素的变化而产生变化，因而与真实物质的相似度更高。
在一个可选的实施例中，先使用图像处理的方式将三维模型的二维投影和纹理参考图像对齐。具体做法是，将图像迁移和建立跨域（cross domain）对应两个任务通过两个联合的神经网络一起训练，彼此促进，得到具有对应投影图的语义分割形状的带纹理图与纹理参考图的语义分割信息图。再用训练好的材质预测器来从纹理图和语义分割信息图的组合中预测三维模型对应部分的材质。这种材质迁移的方法是将材质库里的高质量真实感材质赋给三维模型而不仅仅是纹理贴图，从而达到逼真的渲染效果。即使是对形状明显差异的三维模型与参考纹理图而言，由于本方法具有较强的鲁棒性并可以应用于各种物体，所以即使是纹理参考图和三维模型的形状并不相似，本方法也可以获得与样例图片具有高相似度的迁移结果，大大降低了对输入条件的限制。
在一个实施例中，如图3所示，侧重于图像的转化过程。获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于对应关系将纹理参考图按照投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图，包括：
步骤302，确定三维模型对应的第一对象，按照第一对象的语义类型，获取与第一对象同类别的第二对象的纹理参考图。
三维模型所对应的第一对象，其属于三维模型的原型，该原型可以是任意显示中存在的物体、虚拟形象或虚拟物品。第一对象的类别主要是指第一对象所属的具体种类，是人们常用的类别，例如，“椅子”、“床”、“小汽车”等类别。
第一对象的语义类型可以是第二对象，也可以对应于第二对象；例如：当第一对象是“太师椅椅背”，则第二对象可以是包括“椅背”的“太师椅”，第二对象也可以是对应于“太师椅椅背”的“转椅椅背”。可以理解，第一对象与第二对象的形状可以存在一定区别，这是基于投影图与纹理参考图之间的对应关系所实现的，该对应关系可以在一定范围内，提供形变所对应的信息。
步骤304，按照纹理参考图中的第二对象拍摄视角，从三维模型中，获取第一对象的投影图，投影图携带有投影语义分割信息，投影语义分割信息用于确定投影图的语义区域。
纹理参考图是一个静态的视角，而获取到其中的第二对象所在视角，主要是基于相机姿势判断的神经网络，通过神经网络确定第二对象所在视角后，可以直接确定投影图的视角。第一对象的投影图携带有投影图的分割信息，该投影图的分割信息用于将投影图按照语义区域进行分割，分割后的各部分可以是结构、部件或组件中的一种或多种。
步骤306，将投影语义分割信息代入投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，纹理参考图语义分割信息图用于确定纹理参考图的语义区域，将纹理参考信息代入投影图与纹理参考图的对应关系，并将纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图。
本实施例中，通过语义类型确定第一对象对应的第二对象，可以跳出形状的局限；而通过纹理参考图的视角获取三维模型的投影图，同时生成更合理的对应投影图的语义分割形状的带纹理图，由此降低信息转化的难度，降低形变的计算量，以更准确地得到纹理参考图的语义分割信息。
在一个实施例中，如图4所示，其侧重于投影图与纹理参考图的对应关系。对于该对应关系的获取步骤，其包括：
步骤402，对纹理参考图进行编码，得到纹理参考特征。
步骤404，对投影图进行编码，得到投影图特征，其中，纹理参考特征与投影图特征的向量维度相同。
在分别对纹理参考图与投影图进行编码的过程中，其所使用的编码器是并不相同的，通过不同编码器来奠定纹理参考图与投影图关联的基础，以更好地进行相似度计算，提高对应关系的准确度。
步骤406，基于纹理参考特征与投影图特征进行相似度计算，得到投影图与纹理参考图间的对应关系。
在一个可选的实施例中，基于纹理参考特征与投影图特征进行相似度计算，是两组向量进行点乘的过程，点乘的结果是一个二维矩阵，该二维矩阵用于表征上述对应关系。
本实施例中，通过编码的手段调整纹理参考图与投影图的维度，使纹理参考特征与投影图特征的处于同一向量维度，而在同一向量维度进行向量的相乘计算等方式进行相似度计算之后，所得到的对应关系较为稠密，信息迁移的效果较为准确，因此，转换后的投影图与纹理参考图均具有较高的质量。
在一个实施例中，如图5所示，侧重于材质预测信息中的具体内容，基于纹理参考图与生成的纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于投影图与转换后得到的带纹理图的组合，计算出第二材质预测信息，包括：
步骤502，基于纹理参考图与生成的纹理参考图的语义分割信息图组成的第一组合信息，对第一组合信息内的各语义区域进行物质预测与材质预测，分别得到第一组合信息的物质预测结果与材质预测结果。
在对语义区域进行物质预测的过程中，是对语义区域的纹理的相关特征进行提取，再基于提取出的纹理相关特征，通过物质预测的多层感知机进行预测，以计算出该语义区域所对应的物质类别。相对应的，在对语义区域进行材质预测的过程中，同样是对语义区域的纹理的相关特征进行提取，再基于提取出的纹理相关特征，通过物质预测的多层感知机进行预测，以计算出该语义区域所对应的材质。
对于物质与材质的预测结果，其分别基于不同的多层感知机等网络，在经过同一个特征提取器的提取而得到的，而多层感知机的输入信息如果是基于某一些特定维度的话，会提高预测的准确度。可选地，如果多层感知机的输入信息是128维度的特征向量，其预测的准确度相对更高。
步骤504，基于投影图与转换后得到的带纹理图组成的第二组合信息，对第二组合信息内的各语义区域进行物质预测与材质预测，分别得到第二组合信息的物质预测结果与材质预测结果。
其中，第一组合信息与第二组合信息虽然存在一定区别，该区别体现在不同的参数、不同的参数权重等因素，例如：第一组合信息是基于纹理参考图实现的，而第二组合信息是基于投影图实现的；在第一组合信息与第二组合信息的损失函数中，各参数权重不同。然而，第一组合信息与第二组合信息存在相似点，二者均属于组合信息，且均是使用了迁移后的信息进行预测，其整体逻辑存在一定的相似性。
本实施例中，通过组合信息内的各语义区域部件计算，得到组合信息的物质预测结果与材质预测结果，通过材质预测结果确定最终的材质信息，而不是让网络仅仅产生材质预测结果，通过让网络同时进行物质预测和材质预测，提高了材质预测的准确度。基于此，第一材质预测信息与第二材质预测信息均相似于纹理参考图，因而可以更准确地确定三维模型对应的预设材质。
在一个实施例中，如图6所示，侧重于材质预测信息的选择过程。
基于纹理参考图与生成的纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于投影图与转换后得到的带纹理图的组合，计算出第二材质预测信息，包括：
步骤602，从第一材质预测信息中确定第一目标语义区域的材质；
步骤604，若第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用第二材质预测信息中获取第二目标语义区域的材质信息；
步骤606，确定三维模型在所述第一目标语义区域与第二目标语义区域分别对应的预设材质，以应用预设材质的渲染参数对三维模型的表面进行渲染。
其中，当语义匹配成功时，可以用色差计算结果评估所述第一目标语义区域对应的材质预测质量的好坏。用于表征视觉感知性外观差异的计算过程，其可以使用亮度与至少两个颜色通道的Lab等颜色模型，这些颜色模型通过颜色通道与亮度的混合来确定渲染效果，基于该渲染效果所得到的色彩范围相对更大，且差异度更高。而为了进一步提升像素层级的差异度，需要使用先计算出两张渲染图所有对应像素的Lab值之间的L2范数，即计算渲染图的各元素特征的平方之和，再对元素特征的平方之和进行开平方运算。
本实施例中，通过不同目标语义区域分别进行匹配，所获得的预设材质与真实对象的纹理相似度更高，即便预设材质与真实对象的纹理匹配失败，由于在训练网络时通过视觉感知性外观差异进行监督训练，所以也能提高从候选材质库中匹配材质的准确度，从而保障三维模型材质与纹理参考图的相似性。
在一个实施例中，侧重于材质预测信息挑选的过程。材质预测信息是基于转换后的信息进行计算的，而转换的过程就是信息迁移的过程，而第一材质预测信息与第二材质预测信息分别对应于两个不同目标的迁移过程，因此，第一材质预测信息与第二材质预测信息均可能存在一些信息的损失。此外，这些损失可能是图片迁移过程的不准确所导致的，也可能是基于视角进行预测时所导致的，还可能是参考纹理图与投影图的形状差异过大而导致的。由此，通过第一材质预测信息与第二材质预测信息进行互补，从而得到比单从一个组合得到的更好的效果，以便于提升预测的准确度，从而获得三维模型对应的预设材质。
在一个实施例中，如图7所示，第一材质预测信息与第二材质预测信息均基于神经网络模型生成，所述神经网络模型的训练包括：
步骤702，确定所述第一材质预测信息对应的第一原始模型与所述第二材质预测信息对应的第二原始模型；
步骤704，在训练神经网络模型时，按照交叉熵损失函数对所述第一原始模型与所述第二原始模型进行训练。
本实施例中，对第一原始模型与第二原始模型这两组神经网络模型进行训练后，可以直接获得所需的第一材质预测信息与所述第二材质预测信息，再依靠交叉熵损失函数进行计算，使第一材质预测信息与所述第二材质预测信息趋近一致。
上述实施例各有其所重点描述的创新点，为了更清晰地展现较为完整的技术方案，如图8、图9、图10所示，在给定一张样例图片（即前文所述的纹理参考图）和一个3D模型（即前文所述的三维模型）的情况下，我们从图像到模型的整个材质迁移管道（materialtransfer pipeline）包含了两个关键步骤，即图像迁移和材质预测。我们首先分别预训练图像迁移网络和材质预测网络，然后将这两个网络一起训练微调（fine tune），为用于训练的两对(纹理、分割)提供一致的部件材质分配，这两对(纹理、分割)分别对应于不同的迁移域（样例图片与生成的部件分割是一对，三维模型的语义投影与生成的带纹理图像是一对），需要注意的是，在我们的符号中，A和B指的是两个不同的迁移域（A指投影/分割，B指样例图片/纹理图像），x和y指的是不同的图像内容（如两张不同结构的椅子图片）。
值得注意的是，当单独训练材质预测网络时，我们可以容易地合成训练所需的具有真实标签的训练数据，然而，为整个管道的训练来创建带有真实标签的数据的话就很有挑战性了，因为我们需要对应的(纹理、分割)图像对，但是由于样例图片上的物体和3D模型存在不一致的结构和不匹配的部件语义部分（比如样例图片上的椅子有“seat support”而3D椅子模型没有“seat support”），这些材质迁移后的在3D模型上的效果图像是很难创建的。
因此，我们以更启发式的方式来定义部件材质分配的真实标签，具体如下所述。如图12，合成的样例图片yB具有对应的真实标签的语义分割yA和部件材质分配
Figure 236858DEST_PATH_IMAGE001
，其中
Figure 808785DEST_PATH_IMAGE002
表示该部件的语义标签；
Figure 906054DEST_PATH_IMAGE003
是预设材质的真实标签。对于
Figure 348668DEST_PATH_IMAGE004
，部件材质的真实标签
Figure 505980DEST_PATH_IMAGE005
分配设置为：如果存在某个i使得
Figure 158678DEST_PATH_IMAGE006
的话，那么
Figure 669425DEST_PATH_IMAGE007
，而如果语义匹配失败，即不存在某个i使得
Figure 91179DEST_PATH_IMAGE008
的话，我们会进行视觉感知性外观差异的计算，将该部件的材质真实标签设置为集合
Figure 790364DEST_PATH_IMAGE009
中与预测材质的感知距离最小的材质。
对于给定的样例图片和迁移得到的分割图的另一训练对，如果存在某个i使得
Figure 930358DEST_PATH_IMAGE010
的话，即如果语义匹配成功，则无需进行色差等方式进行视觉感知性外观差异计算，如果语义匹配失败，我们将该部件的材质真实标签设置为集合
Figure 369430DEST_PATH_IMAGE011
中与预测材质的感知距离最小的材质，其实与上述情况类似。因此，我们使用与上述相同的方法来定义部件材质分配的真实标签。
为了确保微调（finetune）过程中通过图像迁移获得的两个图像对语义匹配成功的部件预测的材质分配是一致的，我们添加了一致性损失LC，其定义公式为：
Figure 786636DEST_PATH_IMAGE012
其中，
Figure 20171DEST_PATH_IMAGE013
是两个对之间的语义相同即语义匹配成功的部件的索引集合，
Figure 522827DEST_PATH_IMAGE014
是对
Figure 234432DEST_PATH_IMAGE015
这个对的第
Figure 630778DEST_PATH_IMAGE016
个部件的预测标签，
Figure 176160DEST_PATH_IMAGE017
也同理，CE是交叉熵损失，
Figure 25167DEST_PATH_IMAGE018
、
Figure 806041DEST_PATH_IMAGE019
分别是输入的权重。综上所述，我们整个材质迁移管道的最终的损失函数为：
Figure 430795DEST_PATH_IMAGE020
其中,LT是图像迁移损失，LP为材质预测损失，LC为一致性损失，
Figure 271712DEST_PATH_IMAGE021
、
Figure 608016DEST_PATH_IMAGE022
、
Figure 67947DEST_PATH_IMAGE023
分别是相应权重。
如图11所示，为没有语义对应关系的部分找一个ground truth作为约束，以便于获得训练的进行。
为了明晰本申请所使用的网络，本实施例将从训练网络的过程进行描述，其包括训练集数据的构建流程，图像迁移网络的训练流程，材料预测网络的训练流程。
第一个阐述的主要流程是构建训练数据集，其包括原始数据的获取流程与数据预处理流程。原始数据的获取流程中，原始数据包括三种类型的集合，分别是三维形状、样例照片和材质。对于样例照片该数据集包含40,927张椅子的真实照片。对于三维形状，我们将实验重点放在椅子上，因为在这类形状的结构比较多变和并且椅子涉及的材质也比较日常化。我们使用的形状集合包含6400把椅子，这些椅子中包含57个语义部件标签。对于材质，通过添加有特色的材质来扩展原有数据集，从而得到总共600种材质，这600种材质分别属于五种物质（substance）：皮革、织物、木材、金属和塑料。
在得到上述的三类数据集之后，我们就可以着手生成训练数据，训练数据由大量人工合成的渲染图和相同视角下的语义分割图组成。在生成训练集数据的预处理流程，包括如下步骤：
1、在计算(模型、图片)对，在这些对中图像中的物体与三维模型的投影是对齐的，即视角一致。
2、预测图片上物体的每个部件的物质，由此确定了对齐之后的三维模型上各个部件的物质类别。
3、为(模型、图片)对的三维模型中的每个部件随机抽取属于该物质类别的材质。
4、在部件上定义纹理坐标以便于后续在模型上应用材质纹理。
5、基于智能UV展开算法，从而得到了许多带材质的3D模型。
6、从不同的视图渲染对齐的三维模型,并且由于是合成图形，我们就可以知道各个部件上的物质和材质的真实标签。
在生成训练集数据的预处理流程中，还包括对样例或投影图进行分割处理的过程。当形状的投影中存在被挡住并且看不见的部分时，不会选择直接将这个对齐的（模型、图片）对丢弃；而是：按照PartNet等部件所具有的语义层次结构，从其他可见的部件中，确定一个或多个与被挡住的部件语义最接近的部件，并且将这个语义上最接近的可见部件的物质赋给这个被挡住的部件。例如，部件“椅背”（Chair Back）可以进一步分为“椅背面”（Back Surface）、“椅背框”（Back Frame）、“椅背撑”（Back Support）、“椅背连接器”（BackConnector）等子语义，同样地，“椅座”（Chair Seat）也可以向下分为“椅座面”（SeatSurface）、“椅座框”（Seat Frame）、“椅座撑”（Seat Support）等。我们发现这是合理的，因为来自不同部件的“框”（Frame）比较有可能属于相同的物质。我们对其他语义部分(如Connector、Support、Surface等)执行类似的处理。这样，我们可以利用更多的(模型，图片)对，最终得到4419个带有材质的三维形状。对于每个形状，我们从5个不同的视图生成渲染图，总共获得20190张合成图像，并且各个部件都有物质和材质的真实标签。
在构建训练数据集后，阐述的第二个流程是图像迁移网络的训练流程。在实际应用时，给定样例图片的情况下，我们首先估计图片的相机姿态视角，以便使用该视角来生成给定三维模型的语义投影(即带部件分割的2D投影图)。为了获得摄像机的姿态，我们使用了现有的相机视角估计网络。然后，根据预测得到的相机视角对三维形状进行投影，并将分割出来的部件从三维形状转换到二维投影，生成语义投影，即三维模型的投影图。
在有了样例图片和3D模型的语义投影之后，图像迁移的目标是生成在样例图片基础上的部件的分割和在三维模型语义投影基础上的带纹理的图像，这使得纹理图像和语义投影彼此对应。然后，这两对图像（样例图片与生成的部件分割是一对，语义投影与生成的纹理图像是一对）被用于下一步的部件材质预测。然而，在这一步里的关键挑战是，这种具有迁移纹理的图像并不是自然存在的，换句话说我们没有一个迁移的真实答案来进行监督，因此我们需要学会在样例图片和语义投影之间建立跨域（cross domain）的对应关系。为了解决这个问题，我们通过两个联合训练的神经网络，图像迁移和跨域对应这两个任务同步学习。
如图12所示，给定输入语义投影XA和样例图片YB，第一个网络将这两张图像编码（encode）到公共特征域（common domain）即共享的特征空间中，在公共域中可以通过一层对应层（Correspondence layer）建立稠密的对应关系（Dense correspondence）。这种对应关系表示为相关矩阵（Correlation matrix）。具体的做法是：将两张来自不同域的图片（分割、样例图片）通过两个不同的编码器（encoder）编码得到两个二维矩阵，再将这输出的两个二维矩阵输入到两个对应层（也就是卷积层）中最终得到两个维度一样的特征向量，我们把这两个向量视作在同一个特征空间，也就将其称为公共特征域。在得到两个特征向量之后，我们对这两个向量进行相乘得到一个相关矩阵，也就是对应关系。然后，根据对应关系对输入的样例图像进行形变（warped），实现分割信息的迁移，并对投影图进行形变实现纹理的迁移。之后，我们将迁移后的三维投影图（Warped mask）向上采样，得到与输入样例图片相同的分辨率，以获得迁移后的三维投影图
Figure 438886DEST_PATH_IMAGE024
，并基于迁移后的参考纹理图像合成GAN，以确保生成的图像
Figure 60491DEST_PATH_IMAGE025
看起来更自然。需要注意的是，在我们的符号中，A 和B指的是两个不同的迁移域（A指投影/分割，B指样例图片/纹理图像），x和y指的是不同的图像内容（如两张不同结构的椅子图片）。
这种跨域图像迁移问题的主要挑战是在没有直接监督的情况下学习到合理的对应关系，因为我们事先并没有分割与
Figure 884090DEST_PATH_IMAGE026
一致、同时纹理又来自
Figure 6767DEST_PATH_IMAGE027
的图像
Figure 107578DEST_PATH_IMAGE028
，要创建这样的
Figure 24719DEST_PATH_IMAGE028
也是很难的一件事。而在一次图像迁移的前向传播过程中，我们所拥有的数据是输入的语义投影
Figure 335615DEST_PATH_IMAGE029
和对应的带纹理图像
Figure 638813DEST_PATH_IMAGE030
,输入的样例图片
Figure 453185DEST_PATH_IMAGE031
和对应的分割图像
Figure 947752DEST_PATH_IMAGE032
，所以，我们只能将它们作为监督的依据，毕竟这些都是合成好了的图片数据，本来就可以为我们所用。这些数据显示在图12左侧的虚线框中。因此，在迁移方法的训练过程中，我们使用由两个(A，B)对组成的四个元素的组合
Figure 480364DEST_PATH_IMAGE033
来监督图像生成的结果，图像迁移网络的训练损失函数如下：
Figure 944844DEST_PATH_IMAGE034
其中，
Figure 20247DEST_PATH_IMAGE035
及
Figure 544769DEST_PATH_IMAGE036
分别为相应的权重；
Figure 299099DEST_PATH_IMAGE037
是在嵌入共享特征空间后，为了最小化
Figure 708215DEST_PATH_IMAGE026
和
Figure 497179DEST_PATH_IMAGE030
之间的特征距离的域对齐（domain alignment）损失。
Figure 927023DEST_PATH_IMAGE038
是当对
Figure 73709DEST_PATH_IMAGE030
进行一些随机几何形变处理从而得到
Figure 879991DEST_PATH_IMAGE039
对时，为了最小化生成的图片
Figure 664407DEST_PATH_IMAGE040
和
Figure 530732DEST_PATH_IMAGE030
之间的特征距离的特征匹配（feature matching）损失。
Figure 525233DEST_PATH_IMAGE041
是对于给定一个样例图片
Figure 10572DEST_PATH_IMAGE042
时，为了最小化生成的图片
Figure 39708DEST_PATH_IMAGE043
和
Figure 952300DEST_PATH_IMAGE030
的高级（high-level）特征的感知性（perceptual）损失。
Figure 434097DEST_PATH_IMAGE044
是对于给定一个样例图片
Figure 582181DEST_PATH_IMAGE042
时，为了最小化生成的图片
Figure 836796DEST_PATH_IMAGE043
和样例图片
Figure 779344DEST_PATH_IMAGE042
的低级（low-level）特征距离的上下文（context）损失。
Figure 748437DEST_PATH_IMAGE045
是对应关系的正则化（regularization），以确保经过一个周期过程（从
Figure 575578DEST_PATH_IMAGE042
生成
Figure 48148DEST_PATH_IMAGE043
，再从
Figure 692756DEST_PATH_IMAGE043
生成
Figure 758932DEST_PATH_IMAGE042
）之后生成的图片仍然和原来的
Figure 514399DEST_PATH_IMAGE042
足够相似。
Figure 107054DEST_PATH_IMAGE046
是确保生成的图像
Figure 797929DEST_PATH_IMAGE043
难以被Discriminator区分的对抗（adversarial）损失。
Figure 210456DEST_PATH_IMAGE047
是用于最小化
Figure 143515DEST_PATH_IMAGE026
和
Figure 590677DEST_PATH_IMAGE048
或者
Figure 577087DEST_PATH_IMAGE026
和通过相关矩阵得到的
Figure 617856DEST_PATH_IMAGE049
之间距离的掩模（mask）损失。
第三个阐述的流程是材质预测网络的训练流程。先给定由带纹理的图像及其对应的部件分割图组成的对，材质预测网络的目标是为输入预测出一个物质（substance）标签和材质（material）标签，让材质预测网络学习预测物质标签可以提高网络的性能，在理想状况下，预测出的材质标签应该与输入图片中的材质相同。
材质预测网络的训练流程如图13所示，我们使用三元组网络将输入图像嵌入到高维感知特征空间中，在该特征空间中建立材质之间的相似性，然后在此基础上进行材质标签的预测。这种三元组网络的核心思想是：有一个参考项、有一个与参考项的外观较为相似的A项和一个与参考项的外观较为差异的B项，在训练时会监督网络让参考项与A项的特征向量距离尽量接近，而让参考项与B项的特征向量距离尽量远离，这样就可以学到一个有信息含量的高维特征空间，由此提高了预测的效果。
在此基础上，我们使用在预先训练的RESNET-34作为骨干网络，但去掉RESNET-34的最后一层分类层，增加一个全连接（Fully Connected）层，通过这个全连接层将输入图像转化为128-D特征向量，以表示材质的特征。由于网络需要同时预测物体上某个部件的物质（substance）和材质（material）标签，所以在此之后，我们还增加了两个全连接层，用来分别预测这两个标签。在训练网络和学习特征空间时，我们需要输入三对带纹理图像和该图像上物体某个部件的分割图作为三元组。当网络训练完成之后，我们只需输入一对带纹理图像和单个部件的分割，即可获得所选部件的物质和材质标签。其中，材质预测网络的损失函数定义如下：
Figure 715125DEST_PATH_IMAGE050
其中，
Figure 16793DEST_PATH_IMAGE051
分别是相应权重，
Figure 783892DEST_PATH_IMAGE052
和
Figure 436590DEST_PATH_IMAGE053
是用于物质和材质分类的交叉熵（Cross-entropy）损失。
Figure 71971DEST_PATH_IMAGE054
是根据预测材质与真实标签的材质的相似性距离换算得到，其定义公式如下：
Figure 634670DEST_PATH_IMAGE055
其中
Figure 697304DEST_PATH_IMAGE056
和
Figure 214130DEST_PATH_IMAGE057
分别是预测的材质和真实标签的材质，表示为一个n维的列向量，n是材质库中材质的个数。
Figure 387622DEST_PATH_IMAGE058
代表相似性矩阵D的第i列，
Figure 929462DEST_PATH_IMAGE059
是真实标签的材质的索引，因此
Figure 38363DEST_PATH_IMAGE060
编码的是
Figure 665654DEST_PATH_IMAGE061
到其他所有材质的视觉感知性距离。
而
Figure 642837DEST_PATH_IMAGE062
和
Figure 180129DEST_PATH_IMAGE063
是用来监督三元组训练的损失项，提供给网络的每个三元组由一个具有材质
Figure 584565DEST_PATH_IMAGE064
的图像参考项、一个具有材质
Figure 308939DEST_PATH_IMAGE065
的图像正例和一个具有材质
Figure 89813DEST_PATH_IMAGE066
的图像反例组成。其中
Figure 606245DEST_PATH_IMAGE067
是让与参考项（reference）较相似的材质（正例）在特征空间上更近，而较不相似的材质（反例）在特征空间上更远的三元组损失，其具体的表达式如下：
Figure 555484DEST_PATH_IMAGE068
其中，
Figure 626208DEST_PATH_IMAGE069
中r指的是参考项、a指的是正例、b指的是反例，
Figure 210773DEST_PATH_IMAGE070
即在0和x中取较大值，
Figure 191499DEST_PATH_IMAGE071
是材质x的特征向量，
Figure 203317DEST_PATH_IMAGE072
指定我们想要将特征空间中的正负样本分开多少的边界值，
Figure 26917DEST_PATH_IMAGE073
是用来训练的三元组的集合，其定义公式如下：
Figure 24960DEST_PATH_IMAGE074
其中B指的是当前的训练批（training batch），
Figure 250405DEST_PATH_IMAGE075
是一个我们根据材质库的材质相似性预先采样好的材质三元组集合，例如（材质r、材质a、材质b）是
Figure 167545DEST_PATH_IMAGE075
中的一个三元组。因此，
Figure 353807DEST_PATH_IMAGE076
是当前训练批中出现的三元组的集合，并且这些三元组对应的材质标签在
Figure 14595DEST_PATH_IMAGE075
中以三元组的形式出现。
最后，
Figure 754535DEST_PATH_IMAGE077
是最大化模型对于参考项r选择a的似然估计（Log-likelihood）的相似性损失，其具体的表达式如下：
Figure 842577DEST_PATH_IMAGE078
其中，
Figure 640769DEST_PATH_IMAGE079
,
Figure 980614DEST_PATH_IMAGE080
。
此外，与现有技术的另一区别在于，我们不仅仅将材质预测问题视为纯粹的分类问题，还将材质之间的视觉感知相似度也考虑在内，即使是两个不同的材质，这俩之间也有长得像与长得不像之分。考虑这种视觉感知的相似性，可以让网络学习为每个部件分割分配的材质是与纹理图像中的对应块之间的视觉相似性最大化的材质。我们使用视觉感知相似性的出发点是，即便预测的材质标签不正确，网络也可以执行适当的材质分配，把一个外观较为相似的材质分配给它。因此，这一步需要网络能够学习到预测的材质和纹理图像中的对应块之间的视觉感知相似性。
为了学习到这种感知相似性，我们首先准备了材质库中所有材质的渲染图，这些图像将在学习中使用到。我们使用特定场景和透视视角的设定为数据集中的每种材质渲染一幅图像，这些设定可以最大化不同材质的视觉区别。
有代表性材质的渲染效果图可以是图14所示的任一种或多种，也可以不在其范围之内。然后，我们计算这些渲染图之间的L2-Lab距离，这种距离的计算方式现有算出两张渲染图所有对应像素的Lab值之间的L2范数，因而被称为“L2-Lab”。选择L2-Lab距离作为基于感知的度量的原因是，这个距离比其他度量更接近人的视觉感知。具体的，对于给定一个具有不同材料的材质库，计算每对材质的渲染图之间的L2-Lab距离，形成成对距离矩阵
Figure 915072DEST_PATH_IMAGE081
，在给定材质感知相似性信息的情况下，我们就可以通过最小化预测出的材质和地面真实材质之间的视觉感知差异，来训练神经网络分配材质。
如图15至18所示，在固定3D形状不变的情况下，将材质从不同纹理参考图片迁移到相同形状的结果示例。我们看到，这种方法可以将来自不同的物质的材质纹理迁移到相同的形状；如图19至22所示，在这个场景中我们固定纹理参考图，并将其纹理迁移到不同的3D模型上。通过这两个比较，我们再次看到样例图片（纹理参考图）上物体的结构和几何形状不需要与3D模型的结构和几何形状完全匹配，即便3D模型或者样例图片中的物体出现了对方所没有的部分，从图片到形状的材质迁移依然能够产生合理的结果。因此，我们的发明对这些明显的形状差异具有较强的鲁棒性，因此可以应用于各种物体。此外，我们从这两个比较中可以看到，用户可以为材质指定选择特定的样例图片和3D模型。以前的方法只能在样本和形状足够相似的情况下才能转移材料，这意味着用户对输入的限制程度已经减少了很多。
最后，我们通过一系列实验来评估我们发明的量化结果，以展示其优势。需要注意的是，下面描述的所有实验都使用合成图像作为样例图片，因为它们提供了精确的真实标签以便我们可以准确地计算出材质迁移的准确率。
将我们的方法与Park等人的PhotoShape方法作比较，这是与我们的方法最相关的现有工作。在使用我们的方法和PhotoShape方法得到材质分配的结果之后，我们用三个度量标准来评估材质分配结果与真实标签的比较：第一个是材质感知性距离(Mat-dis)，用的是Sun等人在2017年提出的L2-lab距离来计算，其中的目标是最小化真实标签的材质和预测的材质之间的视觉感知性距离；第二和第三个标准分别是材质和物质的预测精度(分别为Mat-acc、Sub-Acc)，是以分类精度来计算得到(正确预测的标签数/物体部件总数)。在下表中，可以看到我们的发明根据这三个度量标准获得了最好的结果，与性能次之的方法(PhotoShape)相比，材料精度提高了约9个点，其记录入表1所示。
表1
Figure 439594DEST_PATH_IMAGE082
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的从图像到三维模型的材质转移方法的三维模型的材质转移装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个三维模型的材质转移装置实施例中的具体限定可以参见上文中对于三维模型的材质转移方法的限定，在此不再赘述。
在一个实施例中，如图23所示，提供了一种三维模型的材质生成装置，包括：图像迁移模块2302和材质预测模块2304和材质选择模块2306，其中：
图像迁移模块2302，用于获取所述三维模型的投影图的语义分割信息，基于所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，并将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图。
材质预测模块2304，用于基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
材质选择模块2306，用于从第一材质预测信息中确定所述第一目标语义区域的材质；若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，以应用预设材质的渲染参数对三维模型的表面进行渲染。
在其中一个实施例中，所述装置还包括相机视角预测模块2308，其包括：
视角确定单元，用于预测所述纹理参考图的拍摄视角，并按照所述纹理参考图中的所述第二对象所在视角，从所述三维模型中，获取所述第一对象的投影图，所述投影图携带有投影语义分割信息，所述投影语义分割信息用于确定所述投影图的语义区域；
在其中一个实施例中，所述图像迁移模块2302，包括：
纹理信息迁移单元，用于将所述纹理参考图代入所述纹理图与纹理参考图的对应关系，生成对投影图的语义分割形状的带纹理图；
分割信息迁移单元，用于将所述投影语义分割信息代入所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，所述纹理参考图语义分割信息图用于确定所述纹理参考图的语义区域。
在其中一个实施例中，材质预测模块2304还包括：
第一编码单元，用于对所述纹理参考图进行编码，得到纹理参考特征；
第二编码单元，用于对所述投影图进行编码，得到投影图特征，其中，所述纹理参考特征与所述投影图特征的向量维度相同；
对应关系确定单元，用于基于所述纹理参考特征与所述投影图特征进行相似度计算，得到所述投影图与纹理参考图间的对应关系。
在其中一个实施例中，所述材质预测模块2304，包括：
第一预测材质估算单元，用于基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图组成的第一组合信息，对所述第一组合信息内的各语义区域进行物质预测与材质预测，分别得到所述第一组合信息的物质预测结果与材质预测结果；
第二预测材质估算单元，用于基于所述纹理参考图与基于所述投影图与转换后得到的所述带纹理图组成的第二组合信息，对所述第二组合信息内的各语义区域进行物质预测与材质预测，分别得到所述第二组合信息的物质预测结果与材质预测结果。
所述材质选择模块2304，包括：
第一选择单元，用于从第一材质预测信息中确定所述第一目标语义区域的材质信息；
第二选择单元，用于若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息；
渲染单元，用于确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
在其中一个实施例中，所述第一材质预测信息与所述第二材质预测信息均基于神经网络模型生成，所述装置还包括网络训练模块，所述网络训练模块包括：
原始模型确定单元，用于确定所述第一材质预测信息对应的第一原始模型与所述第二材质预测信息对应的第二原始模型；
交叉熵计算单元，用于在训练神经网络模型时，按照交叉熵损失函数对所述第一原始模型与所述第二原始模型进行训练。
上述三维模型的纹理生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图24所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种三维模型的纹理生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图24中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维模型的材质生成方法，其特征在于，所述方法包括：
获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；其中，所述对应关系包括视角对应关系与语义对应关系；
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
从第一材质预测信息中确定第一目标语义区域的材质，若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述获取三维模型的投影图的语义分割信息，基于投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，基于所述对应关系将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图，包括：
确定三维模型对应的第一对象，获取与第一对象同类别的第二对象的所述纹理参考图；
按照所述纹理参考图中的第二对象拍摄视角，从所述三维模型中，获取所述第一对象的投影图，所述投影图携带有投影语义分割信息，所述投影语义分割信息用于确定所述投影图的语义区域；
将所述投影语义分割信息代入所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，所述纹理参考图语义分割信息图用于确定所述纹理参考图的语义区域；
将所述纹理参考信息图代入所述投影图与纹理参考图的对应关系，并将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图。
3.根据权利要求1所述的方法，其特征在于，获取所述投影图与纹理参考图的对应关系的步骤，所述步骤包括：
对所述纹理参考图进行编码，得到纹理参考特征；
对所述投影图进行编码，得到投影图特征，其中，所述纹理参考特征与所述投影图特征的向量维度相同；
基于所述纹理参考特征与所述投影图特征进行相似度计算，得到所述投影图与纹理参考图的对应关系。
4.根据权利要求1所述的方法，其特征在于，所述基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息，包括：
基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图组成的第一组合信息，对所述第一组合信息内的各语义区域进行物质预测与材质预测，分别得到所述第一组合信息的物质预测结果与材质预测结果；
基于所述投影图与转换后得到的所述带纹理图组成的第二组合信息，对所述第二组合信息内的各语义区域进行物质预测与材质预测，分别得到所述第二组合信息的物质预测结果与材质预测结果。
5.根据权利要求1所述的方法，其特征在于，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染，包括：
从第一材质预测信息中确定所述第一目标语义区域的材质信息；
若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息；
确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，以应用预设材质的渲染参数对三维模型的表面进行渲染。
6.根据权利要求1所述的方法，其特征在于，所述第一材质预测信息与所述第二材质预测信息均基于神经网络模型生成，所述神经网络模型的训练包括：
确定所述第一材质预测信息对应的第一原始模型与所述第二材质预测信息对应的第二原始模型；
在训练神经网络模型时，按照交叉熵损失函数对所述第一原始模型与所述第二原始模型进行训练。
7.根据权利要求1所述的方法，其特征在于，所述确定纹理参考图的语义分割信息图，包括：
分别对所述三维模型的投影图与所述纹理参考图进行编码，得到投影图的二维矩阵与所述纹理参考图的二维矩阵；
对所述投影图的二维矩阵与所述纹理参考图的二维矩阵分别进行特征提取，得到维度相同的投影图的特征向量与所述纹理参考图的特征向量；
基于所述投影图的特征向量与所述纹理参考图的特征向量，生成对应关系矩阵；
基于所述对应关系矩阵获取所述纹理参考图的语义分割信息图。
8.一种三维模型的材质生成装置，其特征在于，所述装置包括：
图像迁移模块，用于获取所述三维模型的投影图的语义分割信息，基于所述投影图与纹理参考图的对应关系，确定纹理参考图的语义分割信息图，并将所述纹理参考图按照所述投影图的形状进行转换，生成对应投影图的语义分割形状的带纹理图；其中，所述对应关系包括视角对应关系与语义对应关系；
材质预测模块，用于基于所述纹理参考图与生成的所述纹理参考图的语义分割信息图的组合，计算出第一材质预测信息，并基于所述投影图与转换后得到的所述带纹理图的组合，计算出第二材质预测信息；
材质选择模块，用于从第一材质预测信息中确定第一目标语义区域的材质；若所述第一材质预测信息中缺少用于三维模型第二目标语义区域的材质信息，则应用所述第二材质预测信息中获取第二目标语义区域的材质信息，确定所述三维模型在所述第一目标语义区域与所述第二目标语义区域分别对应的预设材质，应用预设材质的渲染参数对三维模型的表面进行渲染。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210040851.3A 2022-01-14 2022-01-14 三维模型的材质生成方法、装置、计算机设备和存储介质 Active CN114067041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210040851.3A CN114067041B (zh) 2022-01-14 2022-01-14 三维模型的材质生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040851.3A CN114067041B (zh) 2022-01-14 2022-01-14 三维模型的材质生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114067041A CN114067041A (zh) 2022-02-18
CN114067041B true CN114067041B (zh) 2022-06-14

Family

ID=80230895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040851.3A Active CN114067041B (zh) 2022-01-14 2022-01-14 三维模型的材质生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114067041B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399604B (zh) * 2022-03-25 2022-05-27 北京飞渡科技有限公司 一种基于语义理解的建筑立面纹理快速生成方法及系统
CN114937140B (zh) * 2022-07-25 2022-11-04 深圳大学 面向大规模场景的图像渲染质量预测与路径规划系统
CN115937638B (zh) * 2022-12-30 2023-07-25 北京瑞莱智慧科技有限公司 模型训练方法、图像处理方法、相关装置及存储介质
CN116363320B (zh) * 2023-06-01 2023-08-25 摩尔线程智能科技(北京)有限责任公司 重建模型的训练和三维模型重建方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822993A (zh) * 2021-11-23 2021-12-21 之江实验室 一种基于3d模型匹配的数字孪生方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
CN109472861B (zh) * 2018-12-03 2021-05-07 山东大学 交互式树木建模方法、模型生成方法及系统
CN109872343B (zh) * 2019-02-01 2020-03-17 视辰信息科技(上海)有限公司 弱纹理物体姿态跟踪方法、系统及装置
CN111652960B (zh) * 2020-05-07 2022-07-15 浙江大学 基于可微渲染器的从单幅图像求解人脸反射材质的方法
CN111680758B (zh) * 2020-06-15 2024-03-05 杭州海康威视数字技术股份有限公司 图像训练样本生成方法和装置
CN113284206A (zh) * 2021-05-19 2021-08-20 Oppo广东移动通信有限公司 信息获取方法及装置、计算机可读存储介质、电子设备
CN113808272B (zh) * 2021-08-25 2024-04-12 西北工业大学 三维虚拟人头脸建模中的纹理映射方法
CN113920433A (zh) * 2021-10-22 2022-01-11 Oppo广东移动通信有限公司 物体表面材质的分析方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822993A (zh) * 2021-11-23 2021-12-21 之江实验室 一种基于3d模型匹配的数字孪生方法和系统

Also Published As

Publication number Publication date
CN114067041A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN114067041B (zh) 三维模型的材质生成方法、装置、计算机设备和存储介质
CN110084874B (zh) 对于三维模型的图像风格迁移
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN114255313B (zh) 镜面物体三维重建方法、装置、计算机设备和存储介质
CN109685095B (zh) 根据3d布置类型对2d图像进行分类
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
Li et al. A lightweight depth estimation network for wide-baseline light fields
US20220156987A1 (en) Adaptive convolutions in neural networks
Chen et al. Face swapping: realistic image synthesis based on facial landmarks alignment
CN113850900A (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
Li et al. Detailed 3D human body reconstruction from multi-view images combining voxel super-resolution and learned implicit representation
Peng Machines' perception of space
JP2023541745A (ja) 顔画像処理方法、顔画像処理モデルの訓練方法、装置、機器、及びコンピュータプログラム
CN116391206A (zh) 采用神经渲染的立体表演捕获
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN111402118B (zh) 图像替换方法、装置、计算机设备和存储介质
CN116228986A (zh) 一种基于局部到全局补全策略的室内场景光照估计方法
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN115861515A (zh) 一种三维人脸重建方法、计算机程序产品及电子设备
Guo Metaverse-enabled fine art appreciation: an aesthetic based on visual expression
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
Choi et al. Real-time video photomosaics with optimized image set and GPU
CN116958451B (zh) 模型处理、图像生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant