CN110717966B - 一种三维纹理映射图的生成方法和装置 - Google Patents

一种三维纹理映射图的生成方法和装置 Download PDF

Info

Publication number
CN110717966B
CN110717966B CN201910743606.7A CN201910743606A CN110717966B CN 110717966 B CN110717966 B CN 110717966B CN 201910743606 A CN201910743606 A CN 201910743606A CN 110717966 B CN110717966 B CN 110717966B
Authority
CN
China
Prior art keywords
concave
convex value
value
convex
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910743606.7A
Other languages
English (en)
Other versions
CN110717966A (zh
Inventor
陈松
井方伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Asian Union Development Technology Co ltd
Original Assignee
Shenzhen Asian Union Development Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Asian Union Development Technology Co ltd filed Critical Shenzhen Asian Union Development Technology Co ltd
Priority to CN201910743606.7A priority Critical patent/CN110717966B/zh
Publication of CN110717966A publication Critical patent/CN110717966A/zh
Application granted granted Critical
Publication of CN110717966B publication Critical patent/CN110717966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本申请实施例属于三维图像自动生成领域,涉及一种三维纹理映射图的生成方法,包括:通过特征提取模型对草图进行特征提取;根据提取的草图特征生成对应的凹凸值;通过生成的与草图对应的凹凸值还原三维纹理映射图。本申请还涉及一种三维纹理映射图的生成组装置。本申请提供的技术方案能够通过设置特征提取模型,对草图进行特征提取,之后根据从草图中提取的特征形成凹凸值,之后通过凹凸值还原,形成三维纹理映射图。该方案能够绕过传统三维纹理映射图生成过程当中,需要对草图的每一部分提供相应的三维模型的步骤,无需根据三维模型数据结合草图,即可实现通过草图到三维纹理映射图的生成,大大简化了三维纹理映射图的生成难度。

Description

一种三维纹理映射图的生成方法和装置
技术领域
本申请涉及三维图像自动生成领域,更具体地,涉及一种三维纹理映射图的生成方法和装置。
背景技术
随着移动摄像技术的普及以及社交网络的发展,将图片作为信息的存储和交互手段已经成为人们日常生活中的组成部分。包括对图片的内容进行取舍,突出或删节掉图片中的信息在内的图片编辑技术,成为了用户之间的交互传达信息的重要手段。随之对图像的处理需求也开始井喷。对于图像的编辑再也不仅限于新闻媒体、图片编辑、设计师和摄影师等专业人员的范围之内,普通用户也能够通过应用程序来实现图片内容的修改,完成自己的创作。
在众多图像编辑技术的需求当中,三维纹理映射图是一种古老而常见的应用需求。期初雕刻者在一块平板上将他要塑造的形象雕刻出来,使它脱离原来材料的平面,这种技术被广泛的引入了计算机图形学领域。凹凸纹理映射图能增强平凡平面再光照环境下渲染的立体效果,计算成本低,效果明显。在最近十年的发展中,通过将三维模型转换成数字三维凹凸纹理映射图取得了很大的进步。
然而现有的在制作三维凹凸纹理映射图模型时,结合草图,需要输入预先对应的三维模型。这一步骤十分繁杂,需要将草图上绘制的内容分解和抽象,在创作时需要选择对应的三维模型,如果缺少所需要的三维模型,就不能得到三维凹凸纹理映射图模型,这样极大的限制了创造者的想象力。需要提供一种能够快速生成三维凹凸纹理映射图的方法。
发明内容
本申请实施例所要解决的技术问题是提供一种三维纹理映射图的生成方法,以解决三维凹凸纹理映射图生成步骤复杂的问题。
为了解决上述技术问题,本申请实施例提供一种三维纹理映射图的生成方法,采用了如下所述的技术方案:
一种三维纹理映射图的生成方法,该方法包括:通过特征提取模型对草图进行特征提取;根据提取的草图特征生成对应的凹凸值;通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型;使用生成网络对草图进行解析,生成运算凹凸值;使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真实凹凸值之间的真假关系。
进一步的,所述获取测试集,具体包括:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值具体包括:
将草图图像输入到编码器分割为子图像;使用卷积层、激活层和归一层,对所述子图像进行解析,提取特征,确定特征向量;其中卷积层通过卷积滤波器与输入图像卷积获得特征图,激活层对特征图激活,以使得特征图加入非线性因素,归一层将激活后的特征图包含的数据归一,以控制数据分布。使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值;其中反卷积层转置特征图中的特征向量,激活层对转置后的特征向量激活并归一,获取运算凹凸值。
进一步的,所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络包括输入模块、输出模块和若干第二下采样模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,通过生成的与草图对应的凹凸值还原三维纹理映射图,具体包括:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维纹理映射图。
进一步的,所述将三维纹理映射图中的凹凸值映射到预设的分度范围内之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
为解决上述技术问题,本申请还公开了一种三维纹理映射图的生成装置。
一种三维纹理映射图的生成装置,包括特征提取模块和生成模块;所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;所述生成模块用于通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模块包括:测试集获取模块、生成网络模块和区分网络模块,所述测试集获取模块用于获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型,所述生成网络模块用于对草图进行解析,生成运算凹凸值,所述区分网络模块用于对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,所述区生成络模块还用于根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,所述区分网络模块还用于通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;并且所述生成网络模块和区分网络模块循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真实凹凸值之间的真假关系。
进一步的,所述测试集获取模块还用于:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;所述生成网络模块还用于:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络模块包括图像提取模块,所述图像提取模块用于:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模块还包括测试模块,所述测试模块用于将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络模块包括输入模块、输出模块和若干第二下采样模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,所述区分网络模块还用于:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,所述生成模块还用于:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维纹理映射图。
进一步的,所述生成模块还用于:将三维纹理映射图中的凹凸值映射到预设的分度范围内之前通过盒装滤波器对凹凸值进行光顺。
与现有技术相比,本申请实施例主要有以下有益效果:
通过设置特征提取模型,对草图进行特征提取,经过训练的提取模型能够快捷准确的将草图中的特征提取出来,之后根据从草图中提取的特征形成凹凸值,凹凸值能够准确的表达草图中各个部分所反映的三维纹理的表现情况,使得草图中的图像能够三维数据化,之后通过凹凸值还原,将草图中记载的图像三维化输出,形成三维纹理映射图。该方案能够绕过传统三维纹理映射图生成过程当中,需要对草图的每一部分提供相应的三维模型的步骤,无需根据三维模型数据结合草图,即可实现通过草图到三维纹理映射图的生成,大大简化了三维纹理映射图的生成难度。
附图说明
为了更清楚地说明本申请的方案,下面将对实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种三维纹理映射图的生成方法流程图。
图2为本发明一种特征提取模型的获取方法。
图3为步骤S300的流程图。
图4为本发明一种三维纹理映射图的生成装置结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
一种三维纹理映射图的生成方法,该方法包括:
步骤S100:通过特征提取模型对草图进行特征提取。
步骤S200:根据提取的草图特征生成对应的凹凸值。
步骤S300:通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:
步骤Sa1:获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型。
步骤Sa2:使用生成网络对草图进行解析,生成运算凹凸值。
步骤Sa3:使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系。
步骤Sa4:固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假。
步骤Sa5:固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系。
循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真实凹凸值之间的真假关系。
进一步的,所述获取测试集,具体包括:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内。该方案能够将数据格式化规范化,控制数据的离散程度。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值具体包括:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。该方案能够简化生成网络训练数据模型的训练过程,大大加快模型的生成以及调整速度。
进一步的,所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:
步骤Sa6:使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络包括输入模块、输出模块和若干第二下采样模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,通过生成的与草图对应的凹凸值还原三维纹理映射图,具体包括:
步骤S301:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;
步骤S302:根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维纹理映射图。
进一步的,所述将三维纹理映射图中的凹凸值映射到预设的分度范围内之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
为解决上述技术问题,本申请还公开了一种三维纹理映射图的生成装置。
一种三维纹理映射图的生成装置,包括特征提取模块和生成模块;所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;所述生成模块用于通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模块包括:测试集获取模块、生成网络模块和区分网络模块,所述测试集获取模块用于获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型,所述生成网络模块用于对草图进行解析,生成运算凹凸值,所述区分网络模块用于对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,所述区生成络模块还用于根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,所述区分网络模块还用于通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;并且所述生成网络模块和区分网络模块循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真实凹凸值之间的真假关系。
进一步的,所述测试集获取模块还用于:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;所述生成网络模块还用于:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络模块包括图像提取模块,所述图像提取模块用于:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模块还包括测试模块,所述测试模块用于将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络模块包括输入模块、输出模块和若干第二下采样模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,所述区分网络模块还用于:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,所述生成模块还用于:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维纹理映射图。
进一步的,所述生成模块还用于:将三维纹理映射图中的凹凸值映射到预设的分度范围内之前通过盒装滤波器对凹凸值进行光顺。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (9)

1.一种三维纹理映射图的生成方法,其特征在于:该方法包括:
通过特征提取模型对草图进行特征提取;
根据提取的草图特征生成对应的凹凸值;
以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;
根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值;
根据映射凹凸值绘制三维纹理映射图,以通过生成的与草图对应的凹凸值还原三维纹理映射图。
2.根据权利要求1所述的一种三维纹理映射图的生成方法,其特征在于:所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:
获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型;
使用生成网络对草图进行解析,生成运算凹凸值;
使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;
固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;
固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;
循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真实凹凸值之间的真假关系。
3.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述获取测试集,具体包括:
将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;
采集视角的草图,以及对应的三维纹理映射图;
提取三维纹理映射图当中的凹凸值;
以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内。
4.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值,具体包括:
将草图图像输入到编码器分割为子图像;
使用卷积层、激活层和归一层,对所述子图像进行解析,提取特征,确定特征向量;
其中卷积层通过卷积滤波器与输入图像卷积获得特征图,激活层对特征图激活,以使得特征图加入非线性因素,归一层将激活后的特征图包含的数据归一,以控制数据分布;
使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值;
其中反卷积层转置特征图中的特征向量,激活层对转置后的特征向量激活并归一,获取运算凹凸值。
5.根据权利要求4所述的一种三维纹理映射图的生成方法,其特征在于:所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:
通过VGG19网络提取子图像的图像特征;
获取VGG19网络各个层级图像特征之间的L1损失值;
根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
6.根据权利要求4所述的一种三维纹理映射图的生成方法,其特征在于:所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:
使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对跨越融合之后的特征向量进行处理获得运算凹凸值。
7.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述区分网络包括输入模块、输出模块和若干第二下采样模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:
通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
8.根据权利要求1所述的一种三维纹理映射图的生成方法,其特征在于:所述将三维纹理映射图中的凹凸值映射到预设的分度范围内之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
9.一种三维纹理映射图的生成装置,其特征在于:包括特征提取模块和生成模块;
所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;
所述生成模块,用于以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度范围内;
根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值;
根据映射凹凸值绘制三维纹理映射图,以通过生成的与草图对应的凹凸值还原三维纹理映射图。
CN201910743606.7A 2019-08-12 2019-08-12 一种三维纹理映射图的生成方法和装置 Active CN110717966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910743606.7A CN110717966B (zh) 2019-08-12 2019-08-12 一种三维纹理映射图的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910743606.7A CN110717966B (zh) 2019-08-12 2019-08-12 一种三维纹理映射图的生成方法和装置

Publications (2)

Publication Number Publication Date
CN110717966A CN110717966A (zh) 2020-01-21
CN110717966B true CN110717966B (zh) 2024-01-26

Family

ID=69209381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910743606.7A Active CN110717966B (zh) 2019-08-12 2019-08-12 一种三维纹理映射图的生成方法和装置

Country Status (1)

Country Link
CN (1) CN110717966B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521869A (zh) * 2011-09-30 2012-06-27 北京航空航天大学 一种几何特征引导的三维模型表面纹理空洞填补方法
CN105913485A (zh) * 2016-04-06 2016-08-31 北京小小牛创意科技有限公司 一种三维虚拟场景的生成方法及装置
CN108629826A (zh) * 2018-05-15 2018-10-09 天津流形科技有限责任公司 一种纹理映射方法、装置、计算机设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4123774B2 (ja) * 2001-12-21 2008-07-23 コニカミノルタホールディングス株式会社 テクスチャマッピング装置
US20090110267A1 (en) * 2007-09-21 2009-04-30 The Regents Of The University Of California Automated texture mapping system for 3D models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521869A (zh) * 2011-09-30 2012-06-27 北京航空航天大学 一种几何特征引导的三维模型表面纹理空洞填补方法
CN105913485A (zh) * 2016-04-06 2016-08-31 北京小小牛创意科技有限公司 一种三维虚拟场景的生成方法及装置
CN108629826A (zh) * 2018-05-15 2018-10-09 天津流形科技有限责任公司 一种纹理映射方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN110717966A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US11544887B2 (en) Method for generating facial animation from single image
CN105187814B (zh) 影像处理方法以及影像处理装置
CN109658352A (zh) 图像信息的优化方法及装置、电子设备和存储介质
CN111507333B (zh) 一种图像矫正方法、装置、电子设备和存储介质
WO2023035531A1 (zh) 文本图像超分辨率重建方法及其相关设备
JP2024004444A (ja) 3次元顔再構成モデルトレーニング、3次元顔イメージ生成方法及び装置
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN109165571B (zh) 用于插入图像的方法和装置
CN115359219A (zh) 虚拟世界的虚拟形象处理方法及装置
CN112052792A (zh) 一种跨模型人脸识别方法、装置、设备及介质
Zhang et al. Portrait relief modeling from a single image
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
US20240046538A1 (en) Method for generating face shape adjustment image, model training method, apparatus and device
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN110717966B (zh) 一种三维纹理映射图的生成方法和装置
CN111105487B (zh) 一种虚拟教师系统中的面部合成方法及装置
CN111507259B (zh) 脸部特征提取方法、装置、电子设备
WO2024041235A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN107220994A (zh) 一种立体匹配的方法及系统
CN111275610A (zh) 一种人脸变老图像处理方法及系统
Lu et al. Light field editing propagation using 4d convolutional neural networks
CN113066005A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113694525A (zh) 获取虚拟形象的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant