CN115810101A - 三维模型风格化方法、装置、电子设备及存储介质 - Google Patents

三维模型风格化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115810101A
CN115810101A CN202111074530.7A CN202111074530A CN115810101A CN 115810101 A CN115810101 A CN 115810101A CN 202111074530 A CN202111074530 A CN 202111074530A CN 115810101 A CN115810101 A CN 115810101A
Authority
CN
China
Prior art keywords
stylized
dimensional model
dimensional
image
stylizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111074530.7A
Other languages
English (en)
Inventor
王光伟
宋小东
谢敏
王佳心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111074530.7A priority Critical patent/CN115810101A/zh
Priority to PCT/CN2022/114398 priority patent/WO2023040609A1/zh
Publication of CN115810101A publication Critical patent/CN115810101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本公开公开了一种三维模型风格化方法、装置、电子设备及存储介质。该方法包括：获取待风格化的三维模型以及风格化目标图像；通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。上述技术方案通过将三维模型渲染成二维的图像并考虑各像素的空间特征，对于二维渲染图像中的所有像素，包括纹理特征不连续的相邻像素，都可以实现风格化，保证风格化前后的三维模型在空间结构上的一致性。

Description

三维模型风格化方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种三维模型风格化方法、装置、电子设备及存储介质。
背景技术
风格化又可以称为风格迁移，可将一张具有艺术特色的图像的风格迁移到一张普通的二维图像上，使该二维图像在保留原始内容的同时，具有了独特的艺术风格，如卡通、漫画、油画、水彩、水墨等风格。目前，对于二维图像的风格化可使用深度学习网络完成。然而，如果要将一张目标图像的风格迁移到三维模型上，由于三维模型是三维的，而目标图像是二维的，无法使用三维卷积进行处理。三维模型的风格化目前没有有效的解决方案。
发明内容
本公开提供了一种三维模型风格化方法、装置、电子设备及存储介质，以实现三维模型的风格化。
第一方面，本公开实施例提供一种三维模型风格化方法，包括：
获取待风格化的三维模型以及风格化目标图像；
通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
第二方面，本公开实施例还提供一种三维模型风格化方法，包括：
扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
根据各所述二维输入图像建立所述待建模目标的三维模型；
根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
第三方面，本公开实施例还提供了一种三维模型风格化装置，包括：
获取模块，用于获取待风格化的三维模型以及风格化目标图像；
风格化模块，用于通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
第四方面，本公开实施例还提供了一种三维模型风格化装置，包括：
扫描模块，用于扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
建模模块，用于根据各所述二维输入图像建立所述待建模目标的三维模型；
执行模块，用于根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
第五方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面所述的三维模型风格化方法。
第六方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面或第二方面所述的三维模型风格化方法。
本公开实施例提供了一种三维模型风格化方法、装置、电子设备及存储介质。该方法包括：获取待风格化的三维模型以及风格化目标图像；通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。上述技术方案通过将三维模型渲染成二维的图像并考虑各像素的空间特征，对于二维渲染图像中的所有像素，包括纹理特征不连续的相邻像素，都可以实现风格化，保证风格化前后的三维模型在空间结构上的一致性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一中的三维模型风格化方法的流程图；
图2是本公开实施例二中的三维模型风格化方法的流程图；
图3是本公开实施例二中的从多个视角看向球体模型的示意图；
图4是本公开实施例二中的三维模型风格化过程的示意图；
图5是本公开实施例三中的三维模型风格化方法的流程图；
图6是本公开实施例四中的三维模型风格化装置的结构示意图；
图7是本公开实施例五中的三维模型风格化装置的结构示意图；
图8是本公开实施例五中的电子设备的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本公开实施例一中的三维模型风格化方法的流程图。该方法可适用于对三维模型进行风格化的情况，具体的，将三维模型输入至预设网络，通过预设网络根据风格化目标图像的风格对三维模型进行全方位的风格化，从而输出一个与原三维模型结构一致的风格化三维模型。该方法可以由三维模型风格化装置来执行，其中该装置可由软件和/或硬件实现，并集成在电子设备上。本实施例中的电子设备可以是计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。
需要说明的是，将三维模型风格化的过程可以理解为将三维模型表面的纹理风格化，在此过程中需要将三维模型绘制成包含纹理特征的二维图像，此过程中需要解决以下问题：在将从某个视角能够从三维模型表面看到的部分绘制成二维图像时需要确定一个投影面，而在能看到的这部分中有些位置与投影面之间夹角过大，这些位置投影到投影面以及被风格化后，相对于原三维模型会有较大的形变；由于三维模型是立体的，无法一次将三维模型的所有纹理都绘制到二维图像上，而如果进行多次绘制，则对于每次绘制的二维图像的纹理特征的风格化效果连续性差；此外，由于三维模型是立体的且形状复杂，可能在某个视角下不同深度的位置会存在遮挡，则投影到二维图像上的相邻像素，在三维模型上的实际位置可能是不相邻的，其纹理特征并不一定连续，风格化时难以处理。例如，在看一个人物的头部时，能看到其下巴的最低点，再往下能看到颈部的点，从正面看这两个点是相邻的，但事实上两个点的深度不同，其纹理特征并不连续，在风格化时需要考虑这两个点纹理特征的差异，才能在风格化后仍能体现出两个点的不同深度。
如图1所示，本公开实施例一提供的一种三维模型风格化方法，具体包括如下步骤：
S110、获取待风格化的三维模型以及风格化目标图像。
本实施例中，待风格化的三维模型可以是任意立体模型，例如三维几何模型、根据实体生成的模型(例如根据桌子建立的模型)、根据多张二维图片建立的模型(例如根据不同角度拍摄到的桌子的照片)、虚拟模型(例如利用软件合成的桌子模型)等。其表征的物体可以是现实世界的实体，也可以是虚构的物体。
风格化目标图像是二维的，可以理解为具有特定艺术风格的参考图像，三维模型风格化的目的主要是将风格化目标图像中的特定艺术风格迁移到三维模型的表面，以使三维模型的表面具有相应的纹理规律、色彩规律或视觉感受等。风格化目标图像可以是从网络图像库中下载的，也可以由用户输入或指定。
S120、通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
本实施例中，预设网络主要是具有以下两种功能的深度神经网络：将三维模型绘制成包含纹理特征的二维渲染图像，以及对二维渲染图像中的纹理特征进行风格化并将风格化后的纹理特征体现在三维模型表面的相应位置。预设网络的输入为待风格化的三维模型以及风格化目标图像，其中，三维模型提供的是内容特征，风格化目标图像提供的风格特征，将内容特征与风格特征结合在一起，得到的输出为风格化三维模型。
空间特征参量可以包括每个像素对应的法向与视线的夹角、像素的深度等，用于确定二维渲染图像中的像素与三维模型表面的像素的对应关系，从而将对二维渲染图像中的纹理特征的风格化体现在三维模型表面。
具体的，绘制过程可以通过渲染器实现，风格化过程可以通过风格化网络实现。预设网络首先通过渲染器对三维模型进行渲染，以将三维模型绘制在投影面上，得到二维渲染图像，在此过程中渲染器还可以计算得到像素的空间特征参量；然后，二维渲染图像经过风格化网络，在风格化网络中，根据空间特征参量可以确定二维渲染图像中的像素与三维模型表面的像素的对应关系，因此，利用风格化目标图像的风格，可以将三维模型表面对应像素的纹理特征风格化，也即风格迁移。在此基础上，可以通过多次从不同视角的渲染，逐步实现对整个三维模型的风格化。
具体的，风格化过程可以通过编码-解码(Encoder-Decoder)结构的神经网络实现，其中，Encoder用于接收输入的二维渲染图像以及风格化目标图像，提取两者的特征向量，这些特征向量可以理解为对于输入的特征和信息的另一种表示；Decoder用于根据这些特征向量，输出一个预期结果，该预期结果即为将风格化目标图像的风格迁移至二维渲染图像对应的三维模型表面后得到的三维模型。
可选的，渲染器可以为可微分渲染器，可微分渲染器经过训练后，可以学习到由三维模型得到二维渲染图像的规律。
风格化网络可以为图像分割网络，例如为Unet，U-net采用的是包含下采样和上采样的网络结构，下采样的主要目的是基于风格化目标图像的图像特征(也可以理解为风格特征)，逐渐呈现出各像素与周围像素的纹理规律，而上采样的主要目的是结合下采样的信息和原三维模型(即待风格化的三维模型)的特征还原三维模型的细节，并且将分辨率逐步还原到原三维模型的水平。
本实施例提供的一种三维模型风格化方法，通过将三维模型渲染成二维的图像，并利用像素的空间特征参量，可以明确各像素在三维模型中的空间特征以及空间位置关系，从而能够解决前述的三种问题，即，能够在风格化时减少形变、考虑相邻像素纹理特征不连续对风格化的影响、并且保证三维模型在全方位的风格化的有效性。在此基础上，在对二维渲染图像中的所有像素，包括纹理特征不连续的相邻像素，实现风格化的同时，可保证风格化前后的三维模型在空间结构上的一致性。
实施例二
图2是本公开实施例二中的三维模型风格化方法的流程图。本实施例二在上述实施例的基础上，对通过预设网络对三维模型进行渲染和风格化过程进行具体化。
本实施例中，通过预设网络对三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据空间特征参量以及风格化目标图像，将二维渲染图像中的纹理特征风格化，包括：确定视野范围能够覆盖三维模型的多个视角；通过预设网络，从当前视角对三维模型进行渲染，得到当前视角对应的二维渲染图像以及相应像素的空间特征参量，并根据当前视角相应像素的空间特征参量以及风格化目标图像，将当前视角对应的二维渲染图像中的纹理特征风格化；继续选取下一个视角作为当前视角，并重复执行对于当前视角的渲染操作和风格化操作，直至得到完整的风格化三维模型。在此基础上，从多个视角将三维模型风格化的任务分解为多个串行过程，每个视角的渲染及风格化都是在之前视角的渲染和风格化的基础上进行的，从而连逐步地完成对三维模型整体的风格化，保证风格化三维模型的连续性，以及风格化前后的三维模型在空间结构上的一致性。
本实施例中，预设网络包括渲染器和风格化网络。当前视角相应像素的空间特征参量包括当前视角相应像素对应的法向与视线之间的夹角，以及当前视角相应像素的深度；若当前视角非首个视角，则当前视角相应像素的空间特征参量还包括当前视角对应的二维渲染图像中，在上一个视角已被风格化的部分的掩码。即，对于非首个视角，渲染器的输入是在上一个视角中输出的被部分风格化的三维模型。基于当前视角相应像素的空间特征参量，可以明确各像素在三维模型中的空间位置关系，从而在对二维渲染图像中的所有像素，包括纹理特征不连续的相邻像素，实现有效的风格化。
需要说明的是，如果采用世界坐标系定位三维模型表面的各像素，则在不同视角下，投影面是固定的，因此各像素对应的法向是不变的，但在渲染和风格化的过程中，从人眼或相机看向每个像素的视线不同；如果采用相机坐标系定位三维模型表面的各像素，则可将看向任意像素的视线作为基准，即，看向某个像素时，可将该像素移动到视线的注视点，这种情况下三维模型及其投影面通常转动了，因此，看向不同像素时，对应的法向是不同的。无论采用上述哪种坐标系，在从当前视角对三维模型进行渲染和风格化时，各像素对应的法向与视线的夹角是确定的。本实施例以采用世界坐标系为例进行说明。
如图2所示，本公开实施例二提供的一种三维模型风格化方法，包括如下步骤：
S210、获取待风格化的三维模型以及风格化目标图像。
S220、确定视野范围能够覆盖三维模型的多个视角。
具体的，视角可以理解为将三维模型绘制到投影面的基础上，看向某个像素的视线与投影面的垂直方向所成的角度；投影面的垂直方向即为法向；视野范围可以理解为从某个视角看向三维模型时眼睛或者相机能够捕捉到的范围。为了保证对三维模型全方位的风格化，多个视角的视野范围需要能够覆盖三维模型表面的所有位置。
图3是本公开实施例二中的从多个视角看向球体模型的示意图。如图3所示，三维模型为一个球体模型，则从正面视角可以看到这个球体模型表面的一半，将这一半划分为左右两部分，每个部分其实是球体模型表面的1/4，两部分别记为A和B；从右侧视角看到的内容包括B，还包括在正面的视角无法看到的一部分，这一部分也是球体模型表面的1/4，记为C；从后侧视角看到的内容包括C，还包括在正面和右面的视角都无法看到的一部分，这一部分也是球体模型表面的1/4，记为D；从左侧视角看到的内容包括D和A。上述四个视角的视野范围能够覆盖三维模型表面的所有位置。
S230、通过渲染器，从当前视角对三维模型进行渲染，得到当前视角对应的二维渲染图像以及相应像素的空间特征参量。
具体的，对于当前视角，通过渲染器对三维模型进行渲染得到对应的二维渲染图像，该二维渲染图像中包含从当前视角能够看到的三维模型表面的纹理特征，通过渲染器还可以计算得到该二维渲染图像中各像素的空间特征参量，每个像素的空间特征参量可以包括从当前视角看向该像素的视线与当前视角下的法向之间的夹角，以及当前视角下每个像素的深度，深度可以理解为像素与眼睛或相机的距离，或者是像素与投影面的距离，深度可以反映出像素在视线方向上的位置。
需要说明的是，对于除首个视角以外的其他每个视角，相应像素的空间特征参量还包括在该视角对应的二维渲染图像中，在上一个视角已被风格化的部分的掩码，用于区分已被风格化的部分以及未被风格化的部分，使风格化网络对未被风格化的部分进行风格化。
S240、通过风格化网络，根据当前视角相应像素的空间特征参量以及风格化目标图像，将当前视角对应的二维渲染图像中的纹理特征风格化。
可选的，相邻视角的视野范围有重叠；将当前视角对应的二维渲染图像中的纹理特征风格化，包括：将当前视角对应的二维渲染图像中，未在之前的视角对应的二维渲染图像中出现的部分的纹理特征风格化。
参考图3所示的球体模型，正面视角与右侧视角、右侧视角与后侧视角的视野范围有重叠，不考虑左侧视角。此外，对于D和A的交界处，为了利用空间特征保证风格化的连续性，可以使后侧视角的视野范围与正面视角的视野范围有重叠，也即D与A有重叠，使后侧视角逆时针多向正面视角转一定角度即可。在此基础上，如果当前视角为正面视角，则对A和B进行渲染得到二维渲染图像并对其中的纹理特征进行风格化；然后当前视角为右侧视角，则对B和C进行渲染得到二维渲染图像并对其中的纹理特征进行风格化，其中，B已在正面视角中被渲染和风格化，因此考虑B与C的空间关系，对C进行风格化即可；再然后当前视角为后侧视角，则对C和D(D中包括与A重叠的部分)进行渲染得到二维渲染图像并对其中的纹理特征进行风格化，其中，C已在右侧视角中被渲染和风格化，而D与A重叠的部分已在正面视角中被风格化，因此，对D中除去A的部分进行风格化即可。在此基础上，可以避免对同一部分重复风格化，提高风格化的效率。
S250、三维模型整体被风格化？若是，则执行S270；否则，执行S260。
本实施例中，判断三维模型是否整体都被风格化，也可以替换为判断当前视角是否为最后一个视角。如果是，则说明三维模型风格化完成，这种情况下，风格化网络的输出即为风格化模型；如果否，则需要继续选取下一个视角，并继续执行渲染和风格化的操作。
S260、选取下一个视角作为当前视角，返回S230。
S270、输出完整的风格化三维模型。
图4是本公开实施例二中的三维模型风格化过程的示意图。如图4所示，预设网络21包括渲染器211和风格化网络212，待风格化的三维模型22输入至渲染器211，风格化目标图像23输入至风格化网络212，风格化网络212的输出为风格化三维模型24。其中，渲染器211用于从选取的当前视角将三维模型22渲染得到对应的二维渲染图像，并计算相应像素的空间特征参量，其中，空间特征参量包括各像素对应的法向与视线的夹角以及各像素的深度，如果当前视角不是首个视角，则空间特征参量还包括在上一视角中已被风格化的部分的掩码。将上述当前视角的空间特征参量与二维渲染图像组合输入至风格化网络212，风格化网络212用于根据当前视角的空间特征参量明确二维渲染图像中的像素与三维模型表面的像素之间的关系，从而结合风格化目标图像23的图像特征，将三维模型在当前视角下相应部分的纹理特征风格化。
如果当前视角是最后一个视角，则风格化网络212输出的是风格化三维模型24；如果当前视角不是最后一个视角，则风格化网络212输出的是部分风格化的三维模型，部分风格化的三维模型以重新选取的视角重新输入至渲染器211。可见，对不同视角进行渲染和风格化是串行的过程，即，对于一个视角，经过一次渲染后只能风格化三维模型中相应的一部分，每个视角中的渲染和风格化操作都是基于在之前视角渲染和风格化的基础上继续进行的，直至最后一个视角，进行最后一次渲染和风格化，输出的记为风格化三维模型。
以下通过更具体的实例说明三维模型风格化过程：
假设共确定n个视角(n≥2，n为正数)，首先从中选定首个视角(n＝1)，记为V1，通过渲染器从V1对三维模型进行渲染得到对应的二维渲染图像I1，I1中包含从V1能够看到的三维模型表面的纹理特征F1，通过渲染器还可以得到I1中像素的空间特征参量S1，S1可以包括从V1看向每个像素i的视线与V1对应的法向之间的夹角αi1，以及当前视角下每个像素i的深度Di1。风格化网络根据风格化目标图像I0、F1、S1以及I1，将当前视角能够看到的三维模型表面的纹理特征风格化，输出R1；
选取下一个视角V2(n＝2)，通过渲染器从V2对三维模型进行渲染得到对应的二维渲染图像I2，I2中包含从V2能够看到的三维模型表面的纹理特征F2，通过渲染器还可以得到I2中像素的空间特征参量S2，S2可以包括从V2看向每个像素i的视线与V2对应的法向之间的夹角αi2，当前视角下每个像素i的深度Di2，以及I2中在V1已被风格化的部分的掩码M1。风格化网络根据I0、F2、S2、M1以及I2，将当前视角能够看到的三维模型表面的纹理特征风格化，输出R2，R2中不仅包括在视角V1中已被风格化的部分，还包括在视角V2中才被风格化的部分；
如果V2为最后一个视角，则R2即为风格化结果；否则，继续选取下一个视角V3，并重复上述的渲染和风格化操作，直至得到最后一个视角输出的完整的风格化三维模型。
需要说明的是，对于除首个视角以外的其他每个视角Vk(k≥2，n为正数)，相应像素的空间特征参量还包括在Vk对应的二维渲染图像Ik中，在视角Vk-1已被风格化的部分的掩码Mk-1。
此外，为了保证对不同视角交界处像素的纹理特征风格化的效果，可以使相邻视角的视野范围有重叠，即，通常情况下选取三个及以上的视角。
在一实施例中，还包括：根据样本模型和风格化目标图像训练预设网络，直至预设网络的损失函数的值满足要求；其中，损失函数的值根据以下三种函数的值确定：
内容损失函数，用于评价风格化结果与样本模型之间的损失；
风格损失函数，用于评价风格化结果与风格化目标图像之间的损失；
连续性损失函数，用于评价风格化结果与上一视角部分被风格化的样本模型之间的超分辨率测试序列(Visual Geometry Group，VGG)损失。
本实施例中，内容主要指样本模型或风格化结果的结构和轮廓，衡量样本模型和风格化结果的内容差异的指标可以为欧氏距离。风格主要指样本模型或风格化结果的纹理规律、色彩规律或视觉感受等，样本模型和风格化结果的风格差异可以通过同一隐藏层的特征图(Feature Map)之间的格拉姆(Gram)矩阵来表示。连续性主要指风格化结果与上一视角部分被风格化的样本模型之间纹理特征的连续性，可以利用VGG损失表示。
风格化结果可以理解为被风格化的样本模型。利用样本模型和风格化目标图像可预先对预设网络进行训练，使其学习到由样本模型和风格化目标图像得到风格化结果的规律，从而可实际应用于三维模型的风格化。训练过程中使用的损失函数可以采用上述三种损失函数设定，例如为三种损失函数的和，或者加权和，从而保证风格化结果与样本模型的内容相似、与风格化目标图像的风格相似、并且输出的风格化结果与上一视角(倒数第二个视角)之间的VGG损失最小。
训练过程例如为：用初始的预设网络对样本模型进行渲染和风格化，得到当前视角的风格化结果，计算该风格化结果与样本模型之间的内容损失LContent、该风格化结果与风格化目标图像之间的风格损失LStyle、该风格化结果与上一视角的风格化结果之间的VGG损失LVGG，通过不断训练调整预设网络中的网络参数，使得总体损失数达到最小，从而使预设网络的性能达到最优，具有较好的鲁棒性。总体损失函数例如为L＝LContent+LStyle+LVGG。
在一实施例中，风格损失函数，为风格化结果中各像素的图像特征与风格化目标图像的图像特征之间的损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈负相关。
本实施例中，在计算风格化结果与样本模型之间的风格损失函数值时，各像素的图像特征与风格化目标图像的图像特征之间的损失被赋予权重，具体的，各像素对应的权重与该像素对应的法向和视线的夹角相关，例如，法向和看向该像素的视线之间的夹角越大，说明该像素离当前视角越偏，相应的权重应越小，从而对于将样本模型绘制成二维渲染图像时形变较大的部分，可以减弱其对风格损失的影响。
在一实施例中，风格化结果中各像素的图像特征通过对各像素的周围像素进行加权卷积确定，其中，卷积的权重与该像素与周围像素之间的深度差呈负相关。
本实施例中，在计算风格损失函数的过程中，使用加权卷积对二维渲染图像或风格化目标图像进行特征提取，对于一个像素，卷积权重与该像素与其周围像素之间的深度差有关，与周围像素之间的深度差越大，则相应的权重应越小。在此基础上可以保证样本模型中非连续的位置在风格化后依然是不连续的。
在一实施例中，连续性损失函数，为风格化结果中的各像素与上一视角部分被风格化的样本模型的相应像素之间的VGG损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈正相关。
本实施例中，在计算风格化结果与上一视角部分被风格化的样本模型之间的VGG损失函数值时，各像素的VGG损失被赋予权重，具体的，各像素对应的权重与该像素对应的法向和视线的夹角相关，例如，法向和看向该像素的视线之间的夹角越大，说明该像素离当前视角越偏，相应的权重应越大，从而对于将样本模型绘制成二维渲染图像时形变较大的部分可以重点考虑其连续性，以减少形变问题。
本实施例提供的一种三维模型风格化方法，在将二维渲染图像输入至风格化网络之前，还对空间特征参量进行可微分渲染及空间特征参量的计算，以使风格化网络明确二维渲染图像中的各像素在三维模型中的空间位置关系，保证风格化前后的三维模型在空间结构上的一致性；通过从多个视角将三维模型风格化的任务分解为多个串行过程，每个视角的渲染及风格化都是在之前视角的渲染和风格化的基础上进行的，从而连逐步地完成对三维模型整体的风格化，保证风格化三维模型的连续性，以及风格化前后的三维模型在空间结构上的一致性；通过根据风格损失函数、内容损失函数、连续性损失函数综合评价风格化结果与样本模型之间的损失，并未不同像素对应的风格损失、卷积、VGG损失赋予权重，减少了风格化过程中的形变，考虑了相邻像素纹理特征不连续对风格化的影响，实现了三维模型在全方位高质量的风格化。
实施例三
图5是本公开实施例三中的三维模型风格化方法的流程图。该方法可适用于根据多张二维输入图像建立三维模型并进行风格化的情况。本实施例中的电子设备可以是计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。本实施例尚未详尽的内容请参考上述实施例。
如图5所示，本公开实施例三提供的一种三维模型风格化方法，包括如下步骤：
S310、扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征。
本实施例中，至少两张二维输入图像用于反映同一待建模目标在不同视角下的形状、颜色、纹理等特征，为建立三维模型提供依据。为确保准确建模，至少两张二维输入图像需要包含待建模目标表面所有位置的特征信息。二维输入图像可以是从网络图像库中下载的，也可以由用户输入或指定。例如，待建模目标为桌子，在同一水平高度上沿逆时针方向，每转60度进行一次拍照，保证相邻视角的照片中能够找到该目标的同一位置的特征，得到的多张照片即可作为二维输入图像。
S320、根据各所述二维输入图像建立所述待建模目标的三维模型。
本实施例中，根据二维输入图像建立三维模型的过程，也可以理解为对二维输入图像的三维化。根据多张不同视角下的二维输入图像，可以恢复出待建模目标的三维结构。例如，对于上述的多张照片，根据拍照的视角、照片中各像素点的二维坐标以及同一像素点在不同视角的照片中与其周围像素点之间的关联等，确定待建模目标的三维模型，也即待风格化的三维模型。
S330、根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
本实施例中，预设网络可以是预先训练的深度神经网络，其输入为待风格化的三维模型以及风格化目标图像，其中，三维模型提供的是内容特征，风格化目标图像提供的风格特征，将内容特征与风格特征结合在一起，得到的输出为风格化三维模型。预设网络在将三维模型风格化的过程中，可以利用三维模型中像素的空间特征向量，空间特征参量可以包括每个像素对应的法向与视线的夹角、像素的深度等，用于确定三维模型表面的像素与其被绘制在二维空间后的位置之间的对应关系，从而在二维的基础上进行风格化，并将风格化后的纹理特征再恢复到三维模型表面的相应位置。可选的，像素的空间特征参量可以由渲染器得到。
在上述基础上，根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将三维模型风格化的方法根据上述任意实施例确定。
本实施例的三维模型风格化方法，可根据扫描到的待建模目标对应于不同视角的二维输入图像，自动建立相应的三维模型，并利用三维模型中像素的空间特征参量，将三维模型风格化，可以实现对任意目标的建模，可以满足不同用户的三维模型风格化需求，具有广泛的适用性。
实施例四
图6是本公开实施例四中的三维模型风格化装置的结构示意图。本实施例尚未详尽的内容请参考上述实施例。
如图6所示，该装置包括：
获取模块410，用于获取待风格化的三维模型以及风格化目标图像；
风格化模块420，用于通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
本实施例的三维模型风格化装置，通过将三维模型渲染成二维的图像并考虑各像素的空间关系，对于二维渲染图像中的所有像素，包括纹理特征不连续的相邻像素，都可以实现风格化，保证风格化前后的三维模型在空间结构上的一致性。
在上述基础上，风格化模块420，具体用于：
确定视野范围能够覆盖所述三维模型的多个视角；
通过所述预设网络，从当前视角对所述三维模型进行渲染，得到所述当前视角对应的二维渲染图像以及相应像素的空间特征参量，并根据所述当前视角相应像素的空间特征参量以及所述风格化目标图像，将所述当前视角对应的二维渲染图像中的纹理特征风格化；
继续选取下一个视角作为当前视角，并重复执行对于当前视角的渲染操作和风格化操作，直至得到完整的风格化三维模型。
在上述基础上，相邻视角的视野范围有重叠；
将所述当前视角对应的二维渲染图像中的纹理特征风格化，包括：
将所述当前视角对应的二维渲染图像中，未在之前的视角对应的二维渲染图像中出现的部分的纹理特征风格化。
在上述基础上，所述预设网络包括渲染器和风格化网络；
所述当前视角相应像素的空间特征参量包括所述当前视角相应像素对应的法向与视线之间的夹角，以及所述当前视角相应像素的深度；
若所述当前视角非首个视角，则所述当前视角相应像素的空间特征参量还包括所述当前视角对应的二维渲染图像中，在上一个视角已被风格化的部分的掩码。
在上述基础上，该装置还包括：
训练模块，用于根据样本模型和风格化目标图像训练所述预设网络，直至所述预设网络的损失函数的值满足要求；其中，所述损失函数的值根据以下三种函数的值确定：
内容损失函数，用于评价所述风格化结果与所述样本模型之间的损失；
风格损失函数，用于评价所述风格化结果与所述风格化目标图像之间的损失；
连续性损失函数，用于评价所述风格化结果与上一视角部分被风格化的样本模型之间的超分辨率测试序列VGG损失。
在上述基础上，所述风格损失函数，为所述风格化结果中各像素的图像特征与所述风格化目标图像的图像特征之间的损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈负相关。
在上述基础上，所述风格化结果中各像素的图像特征通过对各像素的周围像素进行加权卷积确定，其中，卷积的权重与该像素与周围像素之间的深度差呈负相关。
在上述基础上，所述连续性损失函数，为所述风格化结果中的各像素与上一视角部分被风格化的样本模型的相应像素之间的VGG损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈正相关。
上述三维模型风格化装置可执行本公开任意实施例所提供的三维模型风格化方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7是本公开实施例五中的三维模型风格化装置的结构示意图。本实施例尚未详尽的内容请参考上述实施例。
如图7所示，该装置包括：
扫描模块510，用于扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
建模模块520，用于根据各所述二维输入图像建立所述待建模目标的三维模型；
执行模块530，用于根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
本实施例的三维模型风格化装置，利用第一实例的轮廓信息引导用户导入三维模型风格化素材，以提高三维模型风格化素材与模板素材中实例轮廓的一致性，从而实现第二实例与模板素材实例背景的合成，提高三维模型风格化的准确性。
在上述基础上，根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将三维模型风格化的方法可根据上述任意实施例中的方法确定。
在上述基础上，执行模块530的结构可参见上述任意实施例。例如，执行模块530可包括：
获取模块，用于获取待风格化的三维模型以及风格化目标图像；
风格化模块，用于通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
上述三维模型风格化装置可执行本公开任意实施例所提供的三维模型风格化方法，具备执行方法相应的功能模块和有益效果。
实施例六
图8是本公开实施例五中的电子设备的硬件结构示意图。图8示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的电子设备600包括但不限于计算机、笔记本电脑、服务器、平板电脑或智能手机等具有图像处理功能的设备。图8示出的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600可以包括一个或多个处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。一个或多个处理装置601实现如本公开提供的流量数据包转发方法。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线605彼此相连。输入/输出(I/O)接口604也连接至总线605。
通常，以下装置可以连接至I/O接口604：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608，存储装置608用于存储一个或多个程序；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备全部示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待风格化的三维模型以及风格化目标图像；通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。或者，使得该电子设备：扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；根据各所述二维输入图像建立所述待建模目标的三维模型；根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种三维模型风格化方法，包括：
获取待风格化的三维模型以及风格化目标图像；
通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
示例2根据示例1所述的方法，通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，包括：
确定视野范围能够覆盖所述三维模型的多个视角；
通过所述预设网络，从当前视角对所述三维模型进行渲染，得到所述当前视角对应的二维渲染图像以及相应像素的空间特征参量，并根据所述当前视角相应像素的空间特征参量以及所述风格化目标图像，将所述当前视角对应的二维渲染图像中的纹理特征风格化；
继续选取下一个视角作为当前视角，并重复执行对于当前视角的渲染操作和风格化操作，直至得到完整的风格化三维模型。
示例3根据示例2所述的方法，相邻视角的视野范围有重叠；
将所述当前视角对应的二维渲染图像中的纹理特征风格化，包括：
将所述当前视角对应的二维渲染图像中，未在之前的视角对应的二维渲染图像中出现的部分的纹理特征风格化。
示例4根据示例2所述的方法，所述预设网络包括渲染器和风格化网络；
所述当前视角相应像素的空间特征参量包括所述当前视角相应像素对应的法向与视线之间的夹角，以及所述当前视角相应像素的深度；
若所述当前视角非首个视角，则所述当前视角相应像素的空间特征参量还包括所述当前视角对应的二维渲染图像中，在上一个视角已被风格化的部分的掩码。
示例5根据示例2所述的方法，还包括：
根据样本模型和风格化目标图像训练所述预设网络，直至所述预设网络的损失函数的值满足要求；其中，所述损失函数的值根据以下三种函数的值确定：
内容损失函数，用于评价所述风格化结果与所述样本模型之间的损失；
风格损失函数，用于评价所述风格化结果与所述风格化目标图像之间的损失；
连续性损失函数，用于评价所述风格化结果与上一视角部分被风格化的样本模型之间的超分辨率测试序列VGG损失。
示例6根据示例5所述的方法，所述风格损失函数，为所述风格化结果中各像素的图像特征与所述风格化目标图像的图像特征之间的损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈负相关。
示例7根据示例6所述的方法，所述风格化结果中各像素的图像特征通过对各像素的周围像素进行加权卷积确定，其中，卷积的权重与该像素与周围像素之间的深度差呈负相关。
示例8根据示例5所述的方法，所述连续性损失函数，为所述风格化结果中的各像素与上一视角部分被风格化的样本模型的相应像素之间的VGG损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈正相关。
根据本公开的一个或多个实施例，示例9提供了一种三维模型风格化方法，包括：
扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
根据各所述二维输入图像建立所述待建模目标的三维模型；
根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
根据本公开的一个或多个实施例，示例10提供了一种三维模型风格化装置，包括：
获取模块，用于获取待风格化的三维模型以及风格化目标图像；
风格化模块，用于通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
根据本公开的一个或多个实施例，示例11提供了一种三维模型风格化装置，包括：
扫描模块，用于扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
建模模块，用于根据各所述二维输入图像建立所述待建模目标的三维模型；
执行模块，用于根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
示例12根据示例11所述的方法，根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化的方法根据示例1-8任一项确定。
根据本公开的一个或多个实施例，示例13提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如示例1-10中任一所述的三维模型风格化方法。
根据本公开的一个或多个实施例，示例14提供了该程序被处理器执行时实现如示例1-10中任一所述的三维模型风格化方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附示例书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现示例书的示例形式。

Claims (14)

1.一种三维模型风格化方法，包括：
获取待风格化的三维模型以及风格化目标图像；
通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
2.根据权利要求1所述的方法，其特征在于，通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，包括：
确定视野范围能够覆盖所述三维模型的多个视角；
通过所述预设网络，从当前视角对所述三维模型进行渲染，得到所述当前视角对应的二维渲染图像以及相应像素的空间特征参量，并根据所述当前视角相应像素的空间特征参量以及所述风格化目标图像，将所述当前视角对应的二维渲染图像中的纹理特征风格化；
继续选取下一个视角作为当前视角，并重复执行对于当前视角的渲染操作和风格化操作，直至得到完整的风格化三维模型。
3.根据权利要求2所述的方法，其特征在于，相邻视角的视野范围有重叠；
将所述当前视角对应的二维渲染图像中的纹理特征风格化，包括：
将所述当前视角对应的二维渲染图像中，未在之前的视角对应的二维渲染图像中出现的部分的纹理特征风格化。
4.根据权利要求2所述的方法，其特征在于，所述预设网络包括渲染器和风格化网络；
所述当前视角相应像素的空间特征参量包括所述当前视角相应像素对应的法向与视线之间的夹角，以及所述当前视角相应像素的深度；
若所述当前视角非首个视角，则所述当前视角相应像素的空间特征参量还包括所述当前视角对应的二维渲染图像中，在上一个视角已被风格化的部分的掩码。
5.根据权利要求2所述的方法，其特征在于，还包括：
根据样本模型和风格化目标图像训练所述预设网络，直至所述预设网络的损失函数的值满足要求；其中，所述损失函数的值根据以下三种函数的值确定：
内容损失函数，用于评价所述风格化结果与所述样本模型之间的损失；
风格损失函数，用于评价所述风格化结果与所述风格化目标图像之间的损失；
连续性损失函数，用于评价所述风格化结果与上一视角部分被风格化的样本模型之间的超分辨率测试序列VGG损失。
6.根据权利要求5所述的方法，其特征在于，所述风格损失函数，为所述风格化结果中各像素的图像特征与所述风格化目标图像的图像特征之间的损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈负相关。
7.根据权利要求6所述的方法，其特征在于，所述风格化结果中各像素的图像特征通过对各像素的周围像素进行加权卷积确定，其中，卷积的权重与该像素与周围像素之间的深度差呈负相关。
8.根据权利要求5所述的方法，其特征在于，所述连续性损失函数，为所述风格化结果中的各像素与上一视角部分被风格化的样本模型的相应像素之间的VGG损失的加权和，其中，各像素对应的权重与各像素对应的法向与视线之间的夹角呈正相关。
9.一种三维模型风格化方法，其特征在于，包括：
扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
根据各所述二维输入图像建立所述待建模目标的三维模型；
根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
10.根据权利要求9所述的方法，其特征在于，根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化的方法，根据权利要求1-8任一项确定。
11.一种三维模型风格化装置，其特征在于，包括：
获取模块，用于获取待风格化的三维模型以及风格化目标图像；
风格化模块，用于通过预设网络对所述三维模型进行渲染得到二维渲染图像以及像素的空间特征参量，并根据所述空间特征参量以及所述风格化目标图像，将所述二维渲染图像中的纹理特征风格化，得到风格化三维模型。
12.一种三维模型风格化装置，其特征在于，包括：
扫描模块，用于扫描至少两张二维输入图像，各所述二维输入图像中包括待建模目标在相应视角下的特征；
建模模块，用于根据各所述二维输入图像建立所述待建模目标的三维模型；
执行模块，用于根据预设网络、风格化目标图像和所述三维模型中像素的空间特征参量，将所述三维模型风格化。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的三维模型风格化方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的三维模型风格化方法。
CN202111074530.7A 2021-09-14 2021-09-14 三维模型风格化方法、装置、电子设备及存储介质 Pending CN115810101A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111074530.7A CN115810101A (zh) 2021-09-14 2021-09-14 三维模型风格化方法、装置、电子设备及存储介质
PCT/CN2022/114398 WO2023040609A1 (zh) 2021-09-14 2022-08-24 三维模型风格化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111074530.7A CN115810101A (zh) 2021-09-14 2021-09-14 三维模型风格化方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115810101A true CN115810101A (zh) 2023-03-17

Family

ID=85481541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111074530.7A Pending CN115810101A (zh) 2021-09-14 2021-09-14 三维模型风格化方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115810101A (zh)
WO (1) WO2023040609A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958451B (zh) * 2023-09-15 2023-12-26 腾讯科技（深圳）有限公司 模型处理、图像生成方法、装置、计算机设备和存储介质
CN117473105B (zh) * 2023-12-28 2024-04-05 浪潮电子信息产业股份有限公司 基于多模态预训练模型的三维内容生成方法及相关组件

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467820B2 (en) * 2018-01-24 2019-11-05 Google Llc Image style transfer for three-dimensional models
US10521970B2 (en) * 2018-02-21 2019-12-31 Adobe Inc. Refining local parameterizations for applying two-dimensional images to three-dimensional models
CN109147025B (zh) * 2018-07-11 2023-07-18 北京航空航天大学 一种面向rgbd三维重建的纹理生成方法
EP4115622A4 (en) * 2020-03-01 2024-03-27 Leia Inc SYSTEMS AND METHODS FOR MULTIPLE VIEW TRANSMISSION
US11037359B1 (en) * 2020-06-24 2021-06-15 Microsoft Technology Licensing, Llc Real-time rendering stylized passthrough images
CN111932673B (zh) * 2020-09-22 2020-12-25 中国人民解放军国防科技大学 一种基于三维重建的物体空间数据增广方法及系统

Also Published As

Publication number Publication date
WO2023040609A1 (zh) 2023-03-23

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN115699114B (zh) 用于分析的图像增广的方法和装置
CN111242881A (zh) 显示特效的方法、装置、存储介质及电子设备
JP2023515654A (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
CN110058685A (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110378947B (zh) 3d模型重建方法、装置及电子设备
WO2023040609A1 (zh) 三维模型风格化方法、装置、电子设备及存储介质
US11393158B2 (en) Utilizing voxel feature transformations for deep novel view synthesis
CN108230435B (zh) 采用立方图纹理的图形处理
WO2021249091A1 (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN109754464B (zh) 用于生成信息的方法和装置
TW200907854A (en) Universal rasterization of graphic primitives
CN114677386A (zh) 特效图像处理方法、装置、电子设备及存储介质
WO2023093824A1 (zh) 点云质量评价方法、设备和存储介质
CN111275824A (zh) 用于交互式增强现实的表面重建
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
US20230027519A1 (en) Image based sampling metric for quality assessment
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN116310036A (zh) 场景渲染方法、装置、设备、计算机可读存储介质及产品
CN111862349A (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
CN113989434A (zh) 一种人体三维重建方法及设备
WO2019042028A1 (zh) 全视向的球体光场渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination