CN106530384B - 一种三维模型的外观纹理合成方法及装置 - Google Patents

一种三维模型的外观纹理合成方法及装置 Download PDF

Info

Publication number
CN106530384B
CN106530384B CN201610983101.4A CN201610983101A CN106530384B CN 106530384 B CN106530384 B CN 106530384B CN 201610983101 A CN201610983101 A CN 201610983101A CN 106530384 B CN106530384 B CN 106530384B
Authority
CN
China
Prior art keywords
threedimensional model
geometric error
error modeling
vertex
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610983101.4A
Other languages
English (en)
Other versions
CN106530384A (zh
Inventor
黄惠
马林
丹尼尔·利辛斯基
龚明伦
童欣
丹尼尔·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201610983101.4A priority Critical patent/CN106530384B/zh
Publication of CN106530384A publication Critical patent/CN106530384A/zh
Application granted granted Critical
Publication of CN106530384B publication Critical patent/CN106530384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Abstract

本发明提供一种三维模型的外观纹理合成方法及装置,涉及三维模型技术领域,方法包括:确定外观纹理模型的全局几何特征和三维模型的全局几何特征,与两者的相似性信息;对三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型,并确定几何特征图;以几何特征图作为引导进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;在第一级几何纹理增强三维模型上根据合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;在第二级几何纹理增强三维模型上应用合成的材质纹理并进行渲染,得到三维模型的外观纹理合成结果。本发明可解决现有技术的外观纹理在视觉上不真实,无法捕捉足够的外观纹理信息的问题。

Description

一种三维模型的外观纹理合成方法及装置
技术领域
本发明涉及三维模型技术领域,尤其涉及一种三维模型的外观纹理合成方法及装置。
背景技术
目前,三维模型的外观纹理信息(几何纹理与材质纹理)是其视觉真实性的重要因素。今天的高端电脑游戏和电影特效对带有逼真外观的高精度三维模型提出了很大需求。然而,制作这样的三维模型即使对于经验丰富的专业建模师来说也十分费时费力。为了制作一个具有丰富外观纹理的高精度三维模型,建模师往往需要通过一些图片作为创意来源或参考。而如今数字图像的极大应用与易获得性也使得计算机艺术家能够轻松构建他们的图像素材库作为创意来源与参考。
当前的三维模型的外观纹理合成方法中一般是基于单幅图像的三维建模或纹理建模方法,主要存在以下一些问题:第一:目前的技术主要是在三维模型上进行材质纹理合成而不改变模型本身的几何细节,因此这种贴图形式的外观纹理往往在视觉上不够真实,为了增加几何细节又需要耗费建模师大量的时间和精力。第二:目前在三维模型上进行纹理合成使用的纹理样例仅仅是颜色图像,无法捕捉足够的外观纹理信息。第三:目前的技术无法针对模型不同的感兴趣区域进行不同的外观纹理合成。
发明内容
本发明的实施例提供一种三维模型的外观纹理合成方法及装置,以解决当前现有技术的贴图形式的外观纹理在视觉上不真实,且无法捕捉足够的外观纹理信息的问题。
为达到上述目的,本发明采用如下技术方案:
一种三维模型的外观纹理合成方法,包括:
获取预先设置的外观纹理模型和用户输入的三维模型;
确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;
确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;
根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;
确定第一级几何纹理增强三维模型的几何特征图;
根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;
在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;
在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
具体的,确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征,包括:
将外观纹理模型和三维模型通过各自的对称平面进行对齐;所述对称平面通过RANSAC算法获得;
在参数网格上,确定三维模型的每个顶点的全局几何特征;其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡;
获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征;
根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
具体的,确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息,包括:
根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
具体的,所述外观纹理模型的每个顶点对应有一个第一几何偏移向量;
根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型,包括:
根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;
将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量;
根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型;
所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
具体的,确定第一级几何纹理增强三维模型的几何特征图,包括:
以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率;所述体积比率为所述四个长度对应在该顶点处的固态曲率角;
将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
具体的,根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理,包括:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型;
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
此外,在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型,包括:
根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;
将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量;
根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型;
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
一种三维模型的外观纹理合成装置,包括:
模型获取单元,用于获取预先设置的外观纹理模型和用户输入的三维模型;
全局几何特征确定单元,用于确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;
相似性确定单元,用于确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;
第一级几何纹理增强单元,用于根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;
几何特征图确定单元,用于确定第一级几何纹理增强三维模型的几何特征图;
合成纹理生成单元,用于根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;
第二级几何纹理增强单元,用于在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;
三维模型的外观纹理合成结果生成单元,用于在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
另外,所述全局几何特征确定单元,具体用于:
将外观纹理模型和三维模型通过各自的对称平面进行对齐;所述对称平面通过RANSAC算法获得;
在参数网格上,确定三维模型的每个顶点的全局几何特征;其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡;
获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征;
根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
另外,所述相似性确定单元,具体用于:
根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
此外,所述外观纹理模型的每个顶点对应有一个第一几何偏移向量;
所述第一级几何纹理增强单元,具体用于:
根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;
将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量;
根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型;
所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
此外,所述几何特征图确定单元,具体用于:
以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率;所述体积比率为所述四个长度对应在该顶点处的固态曲率角;
将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
此外,所述合成纹理生成单元,具体用于:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型;
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
此外,所述第二级几何纹理增强单元,具体用于:
根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;
将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量;
根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型;
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
本发明实施例提供的一种三维模型的外观纹理合成方法及装置,能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;之后确定第一级几何纹理增强三维模型的几何特征图;根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。这样,通过两级几何纹理增强,可为用户输入的三维模型增加不同程度的几何细节。同时,在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息,使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时,由于两者之间来自真实数据的互相关信息,更具有视觉真实性;从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实,且无法捕捉足够的外观纹理信息的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维模型的外观纹理合成方法的流程图一;
图2为本发明实施例提供的一种三维模型的外观纹理合成方法的流程图二;
图3为本发明实施例中的三维模型的每个顶点的全局几何特征示意图;
图4为本发明实施例中的最近邻场NNF的示意图;
图5为本发明实施例中的外观纹理模型的参数网格、最近邻场NNF以及三维模型的参数网格示意图;
图6为本发明实施例中的三维模型各顶点的第二几何偏移向量的可视化图;
图7为本发明实施例中的用户输入的三维模型和第一级几何纹理增强三维模型的示意图;
图8为本发明实施例中的两种半径下的局部特征SolidAngleCurvature示意图;
图9为本发明实施例中的降低维度后的特征引导示意图;
图10为本发明实施例中的合成的几何纹理和合成的材质纹理的示意图;
图11为本发明实施例中的第二级几何纹理增强三维模型和最终得到的三维模型的外观纹理合成结果示意图;
图12为本发明实施例中的在R2D2机器人和唐朝马的简模上使用来自消防栓的外观纹理的示意图;
图13为本发明实施例中的在唐朝马的简模上使用来自石头椅子的外观纹理的示意图;
图14为本发明实施例中的在鸭子容器的简模上使用来自木头软椅的外观纹理的示意图;
图15为本发明实施例提供的一种三维模型的外观纹理合成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供一种三维模型的外观纹理合成方法,包括:
步骤101、获取预先设置的外观纹理模型和用户输入的三维模型。
步骤102、确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征。
步骤103、确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息。
步骤104、根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型。
步骤105、确定第一级几何纹理增强三维模型的几何特征图。
步骤106、根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理。
步骤107、在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型。
步骤108、在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
本发明实施例提供的一种三维模型的外观纹理合成方法,能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;之后确定第一级几何纹理增强三维模型的几何特征图;根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。这样,通过两级几何纹理增强,可为用户输入的三维模型增加不同程度的几何细节。同时,在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息,使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时,由于两者之间来自真实数据的互相关信息,更具有视觉真实性;从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实,且无法捕捉足够的外观纹理信息的问题。
为了使本领域的技术人员更好的了解本发明,下面列举一个更为详细的实施例,如图2所示,本发明实施例提供一种三维模型的外观纹理合成方法,包括:
步骤201、获取预先设置的外观纹理模型和用户输入的三维模型。
步骤202、将外观纹理模型和三维模型通过各自的对称平面进行对齐。
其中,所述对称平面通过RANSAC算法获得。
步骤203、在参数网格上,确定三维模型的每个顶点的全局几何特征。
由于用户输入的三维模型一般十分光滑,不包含任何细微的几何特征,因此此处仅确定三维模型的每个顶点的全局几何特征。
其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡。
此处,该三维模型的每个顶点的全局几何特征可以如图3所示。
步骤204、获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征。
步骤205、根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
步骤206、根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
通过用户的选择指令,可增加在纹理增强中的可控性,允许用户进行交互选择,用户的感兴趣区域能够按照本发明方法进行处理,而用户感兴趣之外的区域则可不作处理。
块匹配方法即PatchMatch优化方法。NNF(NearestNeighborField,最近邻场)的每个像素存储了在源图(外观纹理模型的全局几何特征)中最相似块的位置,因此可以用来确定三维模型每个顶点所对应外观纹理模型中的顶点位置。
该最近邻场NNF可以如图4所示。
此处,外观纹理模型的每个顶点对应有一个第一几何偏移向量。
步骤207、根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量。
如图5所示,右侧三维模型参数网格上的某个顶点由方框表示,在NNF上对应位置,有n×n(n为预设块的大小)个覆盖该位置的块,此处仅给出三个示例,左侧方框为通过NNF读出的在外观纹理模型参数网格上对应顶点位置,外观纹理模型的每个顶点都储存了一个第一几何偏移向量,平均后即得到三维模型上对应顶点的第二几何偏移向量。
步骤208、将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量。
如图6所示,该三维模型各顶点的第二几何偏移向量的可视化图,颜色表示向量方向,颜色纯度表示向量强度。
步骤209、根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型。
其中,所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项,防止三维模型发生过度剧烈的变化;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
其中,第一级几何纹理增强三维模型可以如图7所示,注意该图7的三维模型还没有任何材质细节增强。其中图7的左侧为用户输入的三维模型,右侧为第一级几何纹理增强三维模型。
为了使合成在三维模型上的几何纹理与材质纹理更加逼真,在第二级外观纹理增强时,本发明使用了两者统计上的互相关信息,例如在石头的外观模型上某一处因为风化等原因腐蚀导致该位置有形状凹陷,其材质颜色则往往要比周围区域石头颜色要更深,利用两者的互相关联,在三维模型上合成新的外观纹理就能够保留这种相关信息,使得最终的渲染结果更好:
第二级外观纹理不仅包含了几何纹理也包含了材质纹理。由于这一级的几何纹理描述几何表面更细微的局部变化,因此仅仅使用全局几何特征来进行合成无法得到可信的效果。因此不仅仅使用在第一级几何纹理增强时的9维全局特征,此时需要另外计算局部特征SolidAngleCurvature,这是一种对几何表面局部凹凸性刻画理想的特征。
步骤210、以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率。
其中,所述体积比率为所述四个长度对应在该顶点处的固态曲率角,即为上述的局部特征SolidAngleCurvature。如图8所示,两种半径下的局部特征SolidAngleCurvature不相同,当半径较小时该表面是凸起特征,但是当半径较大时该表面则是凹陷特征。
步骤211、将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
步骤212、根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理。
由于计算的特征维数较多,可以想到并非所有的这些特征都与所要合成的外观纹理相关,如果在求解最相似块的时候不加以区别的考虑所有维度的特征值并不能得到最好的结果,并且每个像素位置都有13维特征向量,对于一个n×n大小的块,计算量大大增加。因此本发明应用最大相关性分析CCA(Canonical Correlation Analysis),给定外观模型上某一处的13维几何特征与对应位置的外观纹理(第二级外观纹理有4维,其中材质颜色3维,几何偏移1维),该方法能够找到几何特征中与其纹理最相关的特征维度同时能够将13维特征向量降低至与外观纹理维度相同,因此也同时降低了后续合成时的计算量。与传统的降维方法PCA不同,PCA适用于单一的随机变量分布,找到其中方差最大,即变化最显著的部分,而CCA则适用于一对随机变量X与Y,找到X中与Y相关性最大的部分,因此更适合此处的要求。
此处的步骤212具体可以通过如下方式实现:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型。
本发明实施例中,不仅需要保持合成内容特性还需要让合成内容的分布满足外观纹理与三维模型的几何特征分布特性。
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
此处,值得说明的是,r和t可分别表示外观纹理模型和三维模型上的两个位置,上述的块区域就是以这两个位置为中心的矩形区域(例如3*3大小),区域中的每个采样位置都有一个特征向量;对于外观纹理模型的块区域,合成纹理是输入时就已知的;对于三维模型的块区域,它的合成纹理是待求解的,但对于每一步迭代,目前的合成纹理是已知的。因此利用这些信息计算得到的可以更新NNF,进而更新三维模型的合成纹理作为下一步迭代的已知条件。如此反复直到收敛,即可得到三维模型上最后的合成结果。
上述降低维度后的特征引导可以如图9所示。上述的合成的几何纹理和合成的材质纹理如图10所示,图10的左侧为合成的几何纹理,图10的右侧为合成的材质纹理。
步骤213、根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量。
在此处,用户选择的感兴趣区域可增加在纹理增强中的可控性,允许用户进行交互选择,用户的感兴趣区域能够按照本发明方法进行处理,而用户感兴趣之外的区域则可不作处理。
步骤214、将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量。
步骤215、根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型。
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
步骤216、在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
第二级几何纹理增强三维模型和最终得到的三维模型的外观纹理合成结果如图11所示。其中,左侧为第二级几何纹理增强三维模型,右侧为最终得到的三维模型的外观纹理合成结果。
在不同的三维模型上应用不同的外观模型,如图12所示,可以在R2D2机器人和唐朝马的简模上使用来自消防栓的外观纹理。如图13所示,可以在唐朝马的简模上使用来自石头椅子的外观纹理。如图14所示,可以在鸭子容器的简模上使用来自木头软椅的外观纹理。可以看到,本发明能够将不同外观纹理模型上的细节外观特征轻松复现在新输入的其他简单模型上,增加丰富的几何和材质纹理,这一工作如果由建模师手工完成需要消耗大量时间精力。通过用户想象力,可以制作出很多在真实世界中不存在但是却看起来十分逼真,表面细节丰富的三维模型。
本发明实施例的三维模型的外观纹理合成方法的应用场景有很多,例如集成到谷歌的sketchup软件中,作为物体表面细节三维重建的辅助工具,简化计算机美术工程师的工作量。或者,集成到有机建模软件pixologic的zbrush上作为纹理库,方便计算机美术工程师在自由创作模型上使用感兴趣的外观纹理,增加模型的自然感与逼真度。
本发明实施例提供的一种三维模型的外观纹理合成方法,能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;之后确定第一级几何纹理增强三维模型的几何特征图;根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。这样,通过两级几何纹理增强,可为用户输入的三维模型增加不同程度的几何细节。同时,在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息,使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时,由于两者之间来自真实数据的互相关信息,更具有视觉真实性;从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实,且无法捕捉足够的外观纹理信息的问题。
对应于图1和图2所示的方法实施例,如图15所示,本发明实施例提供一种三维模型的外观纹理合成装置,包括:
模型获取单元31,用于获取预先设置的外观纹理模型和用户输入的三维模型。
全局几何特征确定单元32,用于确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征。
相似性确定单元33,用于确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息。
第一级几何纹理增强单元34,用于根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型。
几何特征图确定单元35,用于确定第一级几何纹理增强三维模型的几何特征图。
合成纹理生成单元36,用于根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理。
第二级几何纹理增强单元37,用于在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型。
三维模型的外观纹理合成结果生成单元38,用于在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
另外,所述全局几何特征确定单元32,具体用于:
将外观纹理模型和三维模型通过各自的对称平面进行对齐;所述对称平面通过RANSAC算法获得。
在参数网格上,确定三维模型的每个顶点的全局几何特征;其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡。
获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征。
根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
另外,所述相似性确定单元33,具体用于:
根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
此外,所述外观纹理模型的每个顶点对应有一个第一几何偏移向量。
所述第一级几何纹理增强单元34,具体用于:
根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量。
将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量。
根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型。
所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
此外,所述几何特征图确定单元35,具体用于:
以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率;所述体积比率为所述四个长度对应在该顶点处的固态曲率角。
将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
此外,所述合成纹理生成单元36,具体用于:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型。
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
此外,所述第二级几何纹理增强单元37,具体用于:
根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量。
将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量。
根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型。
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
本发明实施例提供的一种三维模型的外观纹理合成装置,能够确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;之后确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;之后确定第一级几何纹理增强三维模型的几何特征图;根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。这样,通过两级几何纹理增强,可为用户输入的三维模型增加不同程度的几何细节。同时,在合成第二级几何纹理时同时考虑几何纹理与材质纹理之间的互相关信息,使增加的外观纹理在不仅仅具有丰富的几何细节和颜色细节的同时,由于两者之间来自真实数据的互相关信息,更具有视觉真实性;从而可解决当前现有技术的贴图形式的外观纹理在视觉上不真实,且无法捕捉足够的外观纹理信息的问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种三维模型的外观纹理合成方法,其特征在于,包括:
获取预先设置的外观纹理模型和用户输入的三维模型;
确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;
确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;
根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;
确定第一级几何纹理增强三维模型的几何特征图;
根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;
在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;
在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
2.根据权利要求1所述的三维模型的外观纹理合成方法,其特征在于,确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征,包括:
将外观纹理模型和三维模型通过各自的对称平面进行对齐;所述对称平面通过RANSAC算法获得;
在参数网格上,确定三维模型的每个顶点的全局几何特征;其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡;
获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征;
根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
3.根据权利要求2所述的三维模型的外观纹理合成方法,其特征在于,确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息,包括:
根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
4.根据权利要求3所述的三维模型的外观纹理合成方法,其特征在于,所述外观纹理模型的每个顶点对应有一个第一几何偏移向量;
根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型,包括:
根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;
将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量;
根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型;
所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
5.根据权利要求4所述的三维模型的外观纹理合成方法,其特征在于,确定第一级几何纹理增强三维模型的几何特征图,包括:
以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率;所述体积比率为所述四个长度对应在该顶点处的固态曲率角;
将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
6.根据权利要求5所述的三维模型的外观纹理合成方法,其特征在于,根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理,包括:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型;
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
7.根据权利要求6所述的三维模型的外观纹理合成方法,其特征在于,在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型,包括:
根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;
将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量;
根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型;
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
8.一种三维模型的外观纹理合成装置,其特征在于,包括:
模型获取单元,用于获取预先设置的外观纹理模型和用户输入的三维模型;
全局几何特征确定单元,用于确定预先设置的外观纹理模型的全局几何特征和三维模型的全局几何特征;
相似性确定单元,用于确定外观纹理模型的全局几何特征和三维模型的全局几何特征的相似性信息;
第一级几何纹理增强单元,用于根据所述相似性信息对所述三维模型进行第一级几何纹理增强,生成第一级几何纹理增强三维模型;
几何特征图确定单元,用于确定第一级几何纹理增强三维模型的几何特征图;
合成纹理生成单元,用于根据所述几何特征图作为引导,进行外观与材质互相关合成,生成合成的几何纹理和合成的材质纹理;
第二级几何纹理增强单元,用于在第一级几何纹理增强三维模型上根据所述合成的几何纹理进行第二级几何纹理增强,生成第二级几何纹理增强三维模型;
三维模型的外观纹理合成结果生成单元,用于在所述第二级几何纹理增强三维模型上应用合成的材质纹理,并进行渲染,得到三维模型的外观纹理合成结果。
9.根据权利要求8所述的三维模型的外观纹理合成装置,其特征在于,所述全局几何特征确定单元,具体用于:
将外观纹理模型和三维模型通过各自的对称平面进行对齐;所述对称平面通过RANSAC算法获得;
在参数网格上,确定三维模型的每个顶点的全局几何特征;其中,所述每个顶点的全局几何特征由一个9维向量表示,所述9维向量包括:1维归一化高度值、4维对称面投影法向量与位置、4维对称面一致的方向阻挡;
获取外观纹理模型的每个顶点的全局几何特征和外观纹理模型的其他位置的全局几何特征;
根据三维模型的每个顶点的全局几何特征进行插值计算,确定参数网格上三维模型的其他位置的全局几何特征。
10.根据权利要求9所述的三维模型的外观纹理合成装置,其特征在于,所述相似性确定单元,具体用于:
根据块匹配方法,通过外观纹理模型的全局几何特征和三维模型的全局几何特征反复更新最近邻场NNF直至收敛,确定三维模型每个顶点对应外观纹理模型中的顶点位置,或者接收用户的选择指令,确定用户的选择指令对应的感兴趣区域,确定所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置。
11.根据权利要求10所述的三维模型的外观纹理合成装置,其特征在于,所述外观纹理模型的每个顶点对应有一个第一几何偏移向量;
所述第一级几何纹理增强单元,具体用于:
根据三维模型每个顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;或者根据所述感兴趣区域的三维模型顶点对应外观纹理模型中的顶点位置,确定三维模型各顶点对应的一个或多个第一几何偏移向量;
将所述一个或多个第一几何偏移向量进行平均值处理,确定三维模型各顶点的第二几何偏移向量;
根据三维模型各顶点的第二几何偏移向量,确定第一级几何纹理增强三维模型;
所述第一级几何纹理增强三维模型的每个顶点位置为:
其中,P为三维模型当前的顶点位置;Es(P)为形状正则项;Dm(Ptarget)为根据第二几何偏移向量移动后的顶点位置;β为平衡参数。
12.根据权利要求11所述的三维模型的外观纹理合成装置,其特征在于,所述几何特征图确定单元,具体用于:
以第一级几何纹理增强三维模型中的每个顶点为球心,以预先设置的四个长度为半径,确定所述四个长度对应的球与第一级几何纹理增强三维模型相交的部分占四个长度各自对应的球的体积比率;所述体积比率为所述四个长度对应在该顶点处的固态曲率角;
将第一级几何纹理增强三维模型的全局几何特征的9维向量与四个长度对应在该顶点处的固态曲率角构成的4维向量,构成第一级几何纹理增强三维模型的13维几何特征向量。
13.根据权利要求12所述的三维模型的外观纹理合成装置,其特征在于,所述合成纹理生成单元,具体用于:
根据公式:
确定降低维度后的实际使用特征向量其中,Wx和Wy表示最大相关性分析的返回矩阵;为对角矩阵;X为第一级几何纹理增强三维模型的13维几何特征向量;Y为第一级几何纹理增强三维模型对应的外观纹理模型;
通过距离函数:
根据降低维度后的实际使用特征向量进行特征引导,进行包含3维材质纹理和1维几何纹理的合成,生成合成的几何纹理和合成的材质纹理;其中,r和t为降低维度后的实际使用特征向量中的两个特征向量;为以两个特征向量为中心的块区域之间的距离;df(r,t)为以两个特征向量为中心的块区域之间的欧氏距离;dt(r,t)为以两个特征向量为中心的块区域的当前合成纹理的欧式距离;为权重函数;Ω(s)为合成纹理的使用次数;μ为预设参数。
14.根据权利要求13所述的三维模型的外观纹理合成装置,其特征在于,所述第二级几何纹理增强单元,具体用于:
根据第一级几何纹理增强三维模型每个顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;或者根据用户选择的感兴趣区域的第一级几何纹理增强三维模型顶点对应外观纹理模型中的顶点位置,确定第一级几何纹理增强三维模型各顶点对应的一个或多个第三几何偏移向量;
将所述一个或多个第三几何偏移向量进行平均值处理,确定第一级几何纹理增强三维模型各顶点的第四几何偏移向量;
根据第一级几何纹理增强三维模型各顶点的第四几何偏移向量,确定第二级几何纹理增强三维模型;
所述第二级几何纹理增强三维模型的每个顶点位置为:
其中,P'为第一级几何纹理增强三维模型当前的顶点位置;Es'(P')为形状正则项;Dm'(Ptarget)为根据第四几何偏移向量移动后的顶点位置;β为平衡参数。
CN201610983101.4A 2016-11-07 2016-11-07 一种三维模型的外观纹理合成方法及装置 Active CN106530384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610983101.4A CN106530384B (zh) 2016-11-07 2016-11-07 一种三维模型的外观纹理合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610983101.4A CN106530384B (zh) 2016-11-07 2016-11-07 一种三维模型的外观纹理合成方法及装置

Publications (2)

Publication Number Publication Date
CN106530384A CN106530384A (zh) 2017-03-22
CN106530384B true CN106530384B (zh) 2019-05-21

Family

ID=58350205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610983101.4A Active CN106530384B (zh) 2016-11-07 2016-11-07 一种三维模型的外观纹理合成方法及装置

Country Status (1)

Country Link
CN (1) CN106530384B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740659B (zh) * 2018-12-28 2021-07-27 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
CN111462204B (zh) * 2020-02-13 2023-03-03 腾讯科技(深圳)有限公司 虚拟模型的生成方法、装置、存储介质以及电子装置
CN112906241B (zh) * 2021-03-17 2023-07-04 青岛慧拓智能机器有限公司 矿区自动驾驶仿真模型构建方法、装置、介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281656A (zh) * 2007-04-05 2008-10-08 三星电子株式会社 用于将纹理映射到三维对象模型的方法和装置
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN105046735A (zh) * 2015-07-13 2015-11-11 长沙理工大学 一种基于基元分布的三维表面纹理合成方法
CN105528806A (zh) * 2015-12-09 2016-04-27 福建天晴数码有限公司 体纹理合成与映射的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825850B2 (en) * 2002-10-30 2004-11-30 Microsoft Corporation System and process for optimal texture map reconstruction from multiple views

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281656A (zh) * 2007-04-05 2008-10-08 三星电子株式会社 用于将纹理映射到三维对象模型的方法和装置
CN102426712A (zh) * 2011-11-03 2012-04-25 中国科学院自动化研究所 一种基于两幅图像的三维头部建模方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN105046735A (zh) * 2015-07-13 2015-11-11 长沙理工大学 一种基于基元分布的三维表面纹理合成方法
CN105528806A (zh) * 2015-12-09 2016-04-27 福建天晴数码有限公司 体纹理合成与映射的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PatchMatch:A Randomized Correspondence Algorithm for Structural Image Editing;BarnesC et al;《Acm Transactions on Graphics》;20091203;全文
在点模型上实现三维纹理合成的算法;曾静 等;《计算机工程与设计》;20110416;第32卷(第4期);第1363页-第1444页

Also Published As

Publication number Publication date
CN106530384A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
Noh et al. A review on augmented reality for virtual heritage system
CN110178370A (zh) 使用用于立体渲染的光线步进和虚拟视图广播器进行这种渲染
WO2017092303A1 (zh) 虚拟现实场景模型建立方法及装置
CN110517355A (zh) 用于照明混合现实对象的环境合成
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
CN101477701B (zh) 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法
CN105913471B (zh) 图片处理的方法和装置
CN101477700B (zh) 面向Google Earth与Sketch Up的真三维立体显示方法
CN106530384B (zh) 一种三维模型的外观纹理合成方法及装置
CN101477702B (zh) 计算机显卡的植入式真三维立体驱动方法
CN107067456A (zh) 一种基于深度图优化的虚拟现实呈现方法
CN106980378A (zh) 虚拟显示方法和系统
US10909752B2 (en) All-around spherical light field rendering method
CN113962979A (zh) 一种基于深度图像的布料碰撞仿真增强呈现方法及装置
CN111739134B (zh) 虚拟角色的模型处理方法、装置及可读存储介质
CN101540056B (zh) 面向ERDAS Virtual GIS的植入式真三维立体渲染方法
CN108986228B (zh) 用于虚拟现实中界面显示的方法及装置
CN101511034A (zh) 面向Skyline的真三维立体显示方法
CN101521828A (zh) 面向esri三维gis模块的植入式真三维立体渲染方法
CN101488229B (zh) 面向pci三维分析模块的植入式真三维立体渲染方法
JP4706965B2 (ja) 画像生成プログラム、画像生成装置
Tao A VR/AR-based display system for arts and crafts museum
CN101482978B (zh) 面向envi/idl的植入式真三维立体渲染方法
CN101488230B (zh) 面向VirtualEarth的真三维立体显示方法
CN117115805B (zh) 一种Unreal Engine平台下的任意不规则物体标识方法和标识装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant