CN112700481B - 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 - Google Patents

基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112700481B
CN112700481B CN202011550460.3A CN202011550460A CN112700481B CN 112700481 B CN112700481 B CN 112700481B CN 202011550460 A CN202011550460 A CN 202011550460A CN 112700481 B CN112700481 B CN 112700481B
Authority
CN
China
Prior art keywords
texture
vector
texture map
map
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011550460.3A
Other languages
English (en)
Other versions
CN112700481A (zh
Inventor
董骐德
唐睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Qunhe Information Technology Co Ltd
Original Assignee
Hangzhou Qunhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Qunhe Information Technology Co Ltd filed Critical Hangzhou Qunhe Information Technology Co Ltd
Priority to CN202011550460.3A priority Critical patent/CN112700481B/zh
Publication of CN112700481A publication Critical patent/CN112700481A/zh
Application granted granted Critical
Publication of CN112700481B publication Critical patent/CN112700481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，属于家装设计领域。所述纹理图自动生成方法包括以下步骤：获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图，来提升纹理贴图的质量。

Description

基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质
技术领域
本发明属于家装设计领域，具体涉及一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质。
背景技术
在家装设计领域，纹理贴图作为三维模型的渲染素材非常重要。在渲染时，通过UV信息将纹理贴图贴回物体的三维模型，为了提升渲染图像的质量，要求输入的纹理贴图是非常干净、没有干扰，因此纹理贴图的质量非常重要。
一般情况下，用户很难获得一张干净的优质纹理贴图，更大的需求是根据拍摄图片做纹理自动生成，因此学术界通过干净图片直接生成纹理图的方案并不适用于家装设计的纹理贴图生成。
另外，用户的拍摄图片质量参差不齐，可能有其他物体入境，其他物理会直接影响生成的纹理信息；还有拍摄的角度不同会导致生成纹理呈现扭曲，与真实纹理不符合，即会使生成纹理不真实；再者，拍摄图片呈现的光照不均匀，可能会过亮或过暗，拍摄图片的亮度不均匀或者失真会导致生成的纹理颜色失真。因此，根据拍摄图片不能生成理想的纹理图，也并满足家装设计领域的纹理贴图的质量需求。
申请公布号为CN111524204A的专利申请公开了一种人像发丝动漫化纹理生成方法，申请公布号为CN110223370A的专利申请公开了一种从单视点图片生成完整人体纹理贴图的方法，这两个技术方案均是根据图像直接生成纹理贴图，生成的纹理贴图不理想。
发明内容
鉴于上述，本发明的目的是提供一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，来提升纹理贴图的质量。
第一方面，本发明实施例提供了一种基于深度学习的纹理图自动生成方法，包括以下步骤：
获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；
利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
在一个实施方式中，所述纹理库中包含有多个样本，每个样本包含渲染图、渲染图对应的纹理贴图、纹理贴图对应的纹理矢量；
依据高维矢量与纹理矢量之间的距离，搜索距离小于距离阈值的至少1个纹理矢量作为高维矢量的匹配纹理矢量。
在另外一个实施方式中，从高斯分布中随机采样获得尺寸与匹配纹理矢量相同的噪声向量作为添加噪声用于生成纹理贴图。
在另外一个实施方式中，所述编码器基于卷积神经网络构建，从纹理库提取第一渲染图、第一纹理图和第二渲染图作为训练样本，并采用triplet loss作为损失函数对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成编码器。
在另外一个实施方式中，所述解码器基于卷积神经网络构建，从纹理库的每个样本中提取纹理矢量和纹理贴图作为训练样本，对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成解码器。
在另外一个实施方式中，所述纹理图自动生成方法包括：
增加主体部分的三维模型的UV信息作为解码器的输入，即解码器依据输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
第二方面，本发明实施例提供了一种基于深度学习的纹理图自动生成装置，包括：
获取模块，用于获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
提取模块，用于利用编码器提取主体图像的高维矢量；
匹配模块，用于从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；
生成模块，用于利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
在一个实施方式中，所述生成模块还用于利用解码器输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器中存储编码器和解码器，所述处理器执行所述计算机程序时实现第一方面提供的基于深度学习的纹理图自动生成方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现第一方面提供的基于深度学习的纹理图自动生成方法的步骤。
与现有技术相比，本发明具有的有益效果至少包括：
本发明实施例提供的基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，针对拍摄图片中提取的主体图像，利用编码器提取主体图像的高位矢量后，利用强大的纹理库搜索匹配获得匹配纹理矢量，通过匹配来过滤掉拍照图片中会影响纹理信息的因素，再利用不含影响因素的标准匹配纹理矢量通过解码器生成纹理贴图，以此来获得高质量的纹理贴图，与此同时，增加主体部分的三维模型的UV信息作为解码器的输入，这样基于UV信息通过解码器生成的纹理贴图能够直接贴到三维模型上，降低了建模的门槛，提升了建模效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明一实施例提供的基于深度学习的纹理图自动生成方法的流程图；
图2是本发明另一实施例提供的基于深度学习的纹理图自动生成方法的流程图；
图3是本发明一实施例提供的基于深度学习的纹理图自动生成装置的结构示意图；
图4是本发明一实施例提供的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了提升根据拍摄图片生成纹理贴图的质量，本发明实施例提供了一种基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质，具体可以应用到家装领域，自动生成家具纹理图。下面针对每部分进行详细说明。
实施例1
图1是本发明一实施例提供的基于深度学习的纹理图自动生成方法的流程图。图2是本发明另一实施例提供的基于深度学习的纹理图自动生成方法的流程图。如图1和图2所示，实施例1提供的纹理图自动生成方法包括以下步骤：
S101，获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像。
拍摄图片可以是利用具有拍照功能的电子设备采集的图片，如手机、相机或者iPad拍摄的图片。这些拍摄图片中会存在光照不均匀、光照过强、光照过弱、视角差距等因素导致拍摄图片质量参差不齐，进而影响生成纹理图的质量。主体部分是用户感兴趣的部分，其他部分都认为是背景部分。例如针对一张摆放在室内的桌子，感兴趣的部分是桌子，那拍摄图片中的桌子即为主体部分，其余室内环境为背景部分，被剔除。实施例中，可以采用任意一种视觉显著性检测方法来提取拍摄中的主体部分，例如对拍摄图像二值化后边缘检测得到主体部分形成主体图像，该主体图像作为数据源用于生成纹理图。
S102，利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量。
纹理库是存储图片纹理信息的数据库，具体包含对质量高的渲染图、渲染图对应的纹理贴图以及对应的纹理矢量，这三者之间会形成唯一的映射关系，可以用三元组来表示，每个三元组即表示一个样本，表示为{渲染图、纹理贴图、纹理矢量}。该纹理库既用作编码器和解码器的训练样本库，还用作高维矢量的匹配库以去除拍摄图片的影响纹理生成的因素来修正高维矢量。
实施例中，编码器基于卷积神经网络构建，主要用于提取输入图像的特征信息输出高维矢量。在训练时，从纹理库的第一渲染图、第一纹理图和第二渲染图作为训练样本，并采用triplet loss作为损失函数对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成编码器。
需要说明的是，第一渲染图和第二渲染图中的第一和第二是用于区分渲染图的，这两个不同的渲染图对应不同的纹理信息，第一纹理图和第一渲染图对应同一纹理信息，第二渲染图对应另外一个纹理信息。当然作为训练样本，也可以写成纹理信息A对应的渲染图PA和纹理图LA，纹理信息B对应的渲染图PB，表述方式不受限制。
训练时，采用triplet loss作为损失函数，训练时triplet loss的目的就是拉进第一渲染图和第一纹理图的距离，同时拉远第一渲染图和第二渲染图的距离，以使渲染图和纹理图之间的纹理矢量更明确，可以与其他的渲染图隐含的纹理矢量明确区分开，保证输入图像与预测的高维矢量的高度唯一对应性。
应用时，将主体图像输入至编码器中，经过计算输出唯一的高维矢量，该唯一的高维矢量用作纹理图的标识。当获得高维矢量后，从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量。具体实施时，可以采用最邻近搜索引擎，依据高维矢量与纹理矢量之间的距离，搜索距离小于距离阈值的至少1个纹理矢量作为高维矢量的匹配纹理矢量。当没有匹配到距离阈值内的纹理矢量时，则生成失败，不能生成纹理贴图。当匹配成功后即根据匹配纹理矢量生成纹理贴图。
实施例中，为高维矢量匹配至少一个匹配纹理矢量，基于匹配纹理矢量来生成纹理贴图，匹配得到的纹理矢量由于都是依据无纹理影响因素的高质量渲染图生成来的，因此可以利用该纹理矢量生成的纹理贴图可以去掉纹理影响因素的影响，提升生成纹理贴图的质量。
S103，利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
实施例中，解码器基于卷积神经网络构建，用于依据匹配纹理矢量生成纹理贴图。在训练时，从纹理库的每个样本中提取纹理矢量和纹理贴图作为训练样本，对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成解码器。
解码器被训练时，可以采用L1 loss或L2 loss作为损失函数。其中，L1 loss为平均绝对误差，是指模型的预测值与真实值之间距离的平均值。L2 loss为均方误差是指模型预测值与真实值之间差值平方的平均值。
每次纹理贴图生成时，将一个匹配纹理矢量和添加噪声输入至解码器中，经过解码运算能够得到生成纹理贴图。添加噪声用于增加纹理贴图的多样性，添加噪声不同，生成纹理贴图也会有所差距。实施例中，可以从高斯分布随机采样器生成，生成的噪声尺寸要与匹配纹理矢量相同。当搜索到多个匹配纹理矢量时，将会生成多个纹理贴图，用户可以根据需求选择其中一个用作家装设计。
在另外一个实施方式中，为了使生成的纹理贴图能够直接应用到三维模型上，来减低建模门槛和提升建模效率。如图2所示，增加主体部分的三维模型的UV信息作为解码器的输入，这样解码器依据输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图，该纹理贴图因为依据UV信息生成的，所以能够直接用于三维模型上。
实施例中主体部分的UV信息可以来自于用于指定的主体部分的三维模型ID，通过查询模型数据库，获得主体部分的三维模型，进而提取UV信息。主体部分的UV信息可以直接来自于用户提供三维模型文件，通过解析三维模型文件直接得到主体部分的UV信息。
实施例1提供的基于深度学习的纹理图自动生成方法，针对拍摄图片中提取的主体图像，利用编码器提取主体图像的高位矢量后，利用强大的纹理库搜索匹配获得匹配纹理矢量，通过匹配来过滤掉拍照图片中会影响纹理信息的因素，再利用不含影响因素的标准匹配纹理矢量通过解码器生成纹理贴图，以此来获得高质量的纹理贴图，与此同时，增加主体部分的三维模型的UV信息作为解码器的输入，这样基于UV信息通过解码器生成的纹理贴图能够直接贴到三维模型上，降低了建模的门槛，提升了建模效率。
实施例2
图3是本发明一实施例提供的基于深度学习的纹理图自动生成装置的结构示意图。如图3所示，实施例提供的基于深度学习的纹理图自动生成装置300包括：
获取模块301，用于获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
提取模块302，用于利用编码器提取主体图像的高维矢量；
匹配模块303，用于从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；
生成模块304，用于利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
在另外一个实施方式中，生成模块304还用于利用解码器输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
需要说明的是，实施例2提供的基于深度学习的纹理图自动生成装置在进行纹理图自动生成时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例2提供的基于深度学习的纹理图自动生成装置与基于深度学习的纹理图自动生成方法实施例属于同一构思，其具体实现过程详见基于深度学习的纹理图自动生成方法实施例，这里不再赘述。
实施例3
实施例3提供了计算机设备，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像展示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施方式中，提供了一种计算机设备，包括存储器、处理器以及存储在机存储器中并可在处理器上执行的计算机程序，存储器中存储有编码器和解码器，处理器执行计算机程序时实现权利实施例1所述的基于深度学习的纹理图自动生成方法的步骤，即实现如下步骤：
获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个匹配纹理矢量；
利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
在一个实施方式中，处理器执行计算机程序时还实现如下步骤：
增加主体部分的三维模型的UV信息作为解码器的输入，即解码器依据输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
实施例4
实施例4还提供了一种计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由终端中的处理器执行以完成实施例1中基于深度学习的纹理图自动生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的纹理图自动生成方法，其特征在于，包括以下步骤：
获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
利用编码器提取主体图像的高维矢量，并从纹理库中搜索获得与高维矢量匹配的至少一个不含纹理信息影响因素的匹配纹理矢量；
利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
2.如权利要求1所述的基于深度学习的纹理图自动生成方法，其特征在于，所述纹理库中包含有多个样本，每个样本包含渲染图、渲染图对应的纹理贴图、纹理贴图对应的纹理矢量；
依据高维矢量与纹理矢量之间的距离，搜索距离小于距离阈值的至少1个纹理矢量作为高维矢量的匹配纹理矢量。
3.如权利要求1所述的基于深度学习的纹理图自动生成方法，其特征在于，从高斯分布中随机采样获得尺寸与匹配纹理矢量相同的噪声向量作为添加噪声用于生成纹理贴图。
4.如权利要求2所述的基于深度学习的纹理图自动生成方法，其特征在于，所述编码器基于卷积神经网络构建，从纹理库提取第一渲染图、第一纹理图和第二渲染图作为训练样本，并采用triplet loss作为损失函数对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成编码器。
5.如权利要求2所述的基于深度学习的纹理图自动生成方法，其特征在于，所述解码器基于卷积神经网络构建，从纹理库的每个样本中提取纹理矢量和纹理贴图作为训练样本，对卷积神经网络进行训练，以优化卷积神经网络的网络参数，训练结束后，确定的网络参数与卷积神经网络结构组成解码器。
6.如权利要求1～5任一项所述的基于深度学习的纹理图自动生成方法，其特征在于，所述纹理图自动生成方法包括：
增加主体部分的三维模型的UV信息作为解码器的输入，即解码器依据输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
7.一种基于深度学习的纹理图自动生成装置，其特征在于，包括：
获取模块，用于获取拍摄图片，并提取拍摄图片中的主体部分得到主体图像；
提取模块，用于利用编码器提取主体图像的高维矢量；
匹配模块，用于从纹理库中搜索获得与高维矢量匹配的至少一个不含纹理信息影响因素的匹配纹理矢量；
生成模块，用于利用解码器对输入的匹配纹理矢量和添加噪声进行解码计算，生成至少1个纹理贴图。
8.如权利要求7所述的基于深度学习的纹理图自动生成装置，其特征在于，所述生成模块还用于利用解码器输入的匹配纹理矢量、添加噪声以及UV信息生成符合UV坐标的纹理贴图。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述存储器中存储编码器和解码器，所述处理器执行所述计算机程序时实现权利要求1～6任一项所述的基于深度学习的纹理图自动生成方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1～6任一项所述的基于深度学习的纹理图自动生成方法的步骤。
CN202011550460.3A 2020-12-23 2020-12-23 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 Active CN112700481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011550460.3A CN112700481B (zh) 2020-12-23 2020-12-23 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011550460.3A CN112700481B (zh) 2020-12-23 2020-12-23 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112700481A CN112700481A (zh) 2021-04-23
CN112700481B true CN112700481B (zh) 2023-04-07

Family

ID=75509933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011550460.3A Active CN112700481B (zh) 2020-12-23 2020-12-23 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112700481B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876864A (zh) * 2017-11-03 2018-11-23 北京旷视科技有限公司 图像编码、解码方法、装置、电子设备及计算机可读介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4034670B2 (ja) * 2003-03-04 2008-01-16 株式会社東芝 テクスチャ描画方法及び装置
US10290085B2 (en) * 2016-12-14 2019-05-14 Adobe Inc. Image hole filling that accounts for global structure and local texture
US10896535B2 (en) * 2018-08-13 2021-01-19 Pinscreen, Inc. Real-time avatars using dynamic textures
GB2581536B (en) * 2019-02-25 2024-01-17 Huawei Tech Co Ltd Joint shape and texture decoders for three-dimensional rendering
US10818043B1 (en) * 2019-04-24 2020-10-27 Adobe Inc. Texture interpolation using neural networks
CN111524216B (zh) * 2020-04-10 2023-06-27 北京百度网讯科技有限公司 生成三维人脸数据的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876864A (zh) * 2017-11-03 2018-11-23 北京旷视科技有限公司 图像编码、解码方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
CN112700481A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
WO2018141232A1 (zh) 图像处理方法、计算机存储介质及计算机设备
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
US9697592B1 (en) Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
CN109493297B (zh) 低质量人脸图像增强方法、系统、设备及存储介质
CN113870401B (zh) 表情生成方法、装置、设备、介质和计算机程序产品
CN111127668B (zh) 一种角色模型生成方法、装置、电子设备和存储介质
CN112329752B (zh) 人眼图像处理模型的训练方法、图像处理方法及装置
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN112037109A (zh) 一种改进的基于显著性目标检测的图像水印添加方法和系统
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN116703878A (zh) 家用电器壳体生产线自动检测系统及其方法
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN117953151A (zh) 基于三维场景的稀疏重建方法和装置
CN113222841A (zh) 一种图像处理方法、装置、设备及介质
CN112700481B (zh) 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质
CN114626118A (zh) 建筑物室内模型生成方法及装置
CN113239867B (zh) 一种基于掩码区域自适应增强的光照变化人脸识别方法
CN110992371A (zh) 一种基于先验信息的人像分割方法、装置及电子设备
CN113762059A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN114612510B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant