CN115661367B - 基于照片采集的动态混合变形的建模方法及系统 - Google Patents
基于照片采集的动态混合变形的建模方法及系统 Download PDFInfo
- Publication number
- CN115661367B CN115661367B CN202211587475.6A CN202211587475A CN115661367B CN 115661367 B CN115661367 B CN 115661367B CN 202211587475 A CN202211587475 A CN 202211587475A CN 115661367 B CN115661367 B CN 115661367B
- Authority
- CN
- China
- Prior art keywords
- model
- target object
- basic
- dimensional
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于照片采集的动态混合变形的建模方法及系统,包括:步骤S1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;步骤S2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;步骤S3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取表面特征点;步骤S4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;步骤S5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型。
Description
技术领域
本发明涉及图像渲染技术领域,具体地,涉及基于照片采集的动态混合变形的建模方法及系统。
背景技术
在计算机构建数字三维物体表面的处理过程中,主体造型建模和表面细节建模共同决定精确性。表面的精细度决定了建模的质量和速度,而美术建模专业的工程师无论借助建模软件工具,还是徒手传统雕刻工艺,都能做出精细的三维模型作品,只是熟练程度和时间的差别。
以工业品为例(零部件、物品、装备等),这些对象的造型有繁有简,各式各样分类界限模糊;以动物型体为例(四肢动物,飞禽,爬行,鱼等),这些对象的大类造型相似但区别在面部细节与表皮;以人类为例,面容是主要的区别但也是细节要求最高的建模区域。
以上是以目标对象来划分大类,想采用传统的建模与雕刻方法固然可以一一解决,但为了更快速的完成对象建模和精细度加工,并且满足不同类别的建模特点,就增加计算机对孪生目标上实施难度。
以上客观描绘了孪生建模的纯粹性和实时性,也引入了动态环境对孪生计算带去的影响。
专利文献CN113269886A(申请号:202110473010.7)公开了一种多源数据融合的边坡三维数字孪生模型建立方法,包括:采用倾斜摄影方法获得边坡地表模型;采用空间插值算法生成三维多层数字高程模型;生成地表地形等高线;采用空间插值算法重构地形面;利用重构的地形面网格替代多层DEM的地表层网格,形成修正的三维多层DEM,基于网格地层分析生成三维地层体元模型;生成边坡表面模型,生成结构体模型;将三维地层体元模型、边坡表面模型与结构体模型整合形成边坡三维数字孪生模型;按统一拓扑关系产生边坡三维数字孪生模型数据;在实现多源数据的有效融合,建立边坡三维数字孪生模型;可以为岩土工程计算分析提供仿真模型,采用多种几何拓扑描述方式,数据形式适应性强。该专利与本发明相比,看似划分孪生对象的基准有相似性,都阐述了对模型重构的过程,但按照划分基准设计了不同的匹配计算方法和混合模型的过程,解决的问题和方法是不同的。
专利文献CN114099016A(申请号:202111353026.0)公开了基于数字孪生模型的固定矫正与隐形矫正混合治疗系统,包括数据采集模块,用于采集患者的牙颌面颈部软硬组织影像数据等;数据处理模块,用于对采集的图像及数据进行处理;数字孪生模块,用于将数据采集信息、处理信息、数据扫描信息进行统一整合,并构建数字孪生模型及运算处理;机器学习模块,用于采集固定矫正与隐形矫正混合治疗的数据处理及方案设计;方案选择模块,用于固定矫治和/或隐形矫治方案的选择;矫治效果预测模块,用于输出牙齿矫治后的软硬组织变化情况;方案修订模块,根据预测的矫治效果,修订首选的治疗方案。该专利与本发明相比,看似划分孪生对象的基准有相似性,都阐述了面部的生理结构和预测,但按照划分基准设计了不同的匹配计算方法和组织形式,实际上解决的问题和方法是不同的。
专利文献CN113287118A(申请号:202080007533.6)公开了用于面部再现的系统和方法,包括接收目标视频和源视频,目标视频包括目标面部并且源视频包括源面部。该方法包括基于目标面部确定目标面部表情。该方法包括基于源面部确定源面部表情。该方法使用参数化面部模型合成输出面部。输出面部包括其中修改目标面部表情以模仿源面部表情的目标面部。该方法包括基于深度神经网络生成嘴部和眼部区域,并且将输出面部、嘴部和眼部区域结合以生成输出视频的帧。该专利与本发明相比,对比专利关注孪生模型的个体上的数学物理机能的计算处理,与本发明所覆盖领域有相交,但实际区别明显,对于模型的混合叠加设计方法不同,输出和输入也有很大不同。
专利文献CN108765550A(申请号:201810438458.3)公开了一种基于单张图片的三维人脸重建方法,包括步骤:1)基于FLAME模型的脸部重建(脸部重建);2)FLAME网格脸部细节增强(细节增强);3)FLAME网格贴图补全(贴图补全)。主要流程:给定输入人脸图像,该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点,建立特征点匹配能量,求解出人脸形状,接着借助图像中人脸区域的高频信息,引导人脸高度场的网格顶点移动,重建精细脸部细节,最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全,并去除光照信息。该专利与本发明相比,看似是有解决问题的现象交集,实则问题的核心要素,解决目标和方法都不同,参考问是做特征提取,而本发明是集合粗模型特征和表面细分的双重影响,适应不同物体表层精细度控制,另外本发明对不同类别的物体做了快速建模和混合分类,在混合过程中也做了详细顶点计算设计,对于多种参与模型多方混合加变形产生的过程,对待解决的问题有针对性。
专利文献CN110363858A(申请号:201910524707.5)公开了一种三维人脸重建方法及系统,方法包括:获取至少两个视角下目标人脸的彩色图像和深度图像,并判断所述彩色图像和所述深度图像是否对齐;获取所述目标人脸的标志点的三维坐标和目标人脸的原始目标人脸三维点云模型;筛选出目标人脸的点云模型;进行点云粗匹配,得到粗配准的目标人脸三维点云模型;进行精确配准,得到精确配准的目标人脸三维点云模型;进行融合去重、网格化以及网格光顺,然后进行纹理增强得到优化后的目标人脸网格模型;制作纹理图,对优化后的目标人脸网格模型进行纹理贴图,得到最终的目标人脸网格模型。该专利与本发明相比,提取信息和依赖数据有交集,解决领域有交叉,但方法和措施,关键创新点不同。
专利文献CN110796719A(申请号:201810776319.1)公开了一种实时人脸表情重建方法,步骤包括:人工制作29个脸型模型以及46个表情模型。通过对输入的一张或者多张图片或视频进行人脸关键点检测。利用输入照片或者视频检测得到的关键点,以及预先标定好的人脸三维模型的关键点,通过最小化误差的准则对人脸关键点进行拟合脸型,通过照片或视频提取人脸纹理重建无表情的人脸三维模型。对于后续输入的视频,对视频中的人脸关键点进行实时检测,通过最小化关键点和模型关键点误差的方式拟合人脸表情参数。将人脸表情参数应用到已经重建好的表情人脸模型中实现人脸表情的实时重建。该专利与本发明相比,提取信息和依赖数据有交集,解决领域有交叉,但方法和措施,关键创新点不同。
专利文献CN111340930A(申请号:202010155747.X)公开了一种融合多尺度邻域信息的三维几何模型形状映射方法,通过以下技术方案实现。输入为源形状和目标形状的网格模型。首先分别提取源形状和目标形状的拉普拉斯矩阵的特征向量作为特征函数。接下来对三维模型的顶点提取邻域特征。在多个尺度的邻域范围内,可以得到多个不同的邻域特征,并使用求解得到不同尺度下的基函数空间下的映射矩阵,然后进行融合。最后还原得到源形状与目标形状的点对点映射关系。该专利与本发明相比,提取信息和依赖数据有交集,解决领域有交叉,但方法和措施,关键创新点不同。
专利文献CN109064563A(申请号:201810960821.8)公开了一种3D开发的边缘融合程序中实时控制模型顶点的方法,包括调用DirectXAPI,实时生成一个用于几何校正的模型;获取几何校正模型Mesh的Vertex三维向量坐标;在每个对应Vertex三维向量坐标上生成一个控制点模型,控制点模型对应Point3D()数组中的一个数据,完成可视化模型顶点显示;使用鼠标单选所述控制点模型;通过鼠标移动所需的控制点模型,计算并记录控制点模型对应初始Vertex三维向量坐标表的偏移量;控制点的向量坐标偏移量根据控制点模型记录的Mesh的Vertex数组序号,将偏移量赋给3D模型Mesh的Vertex;完成几何校正模型,并将视频贴图赋给几何校正模型。该专利与本发明相比,都有顶点迁移和计算顶点模型矫正的过程,但输入依赖的方法和迁移顶点的措施不同,待解决的问题也不同。
专利文献CN111191729B(申请号:201911425234.X)公开了一种基于多模态特征融合的三维对象融合特征表示方法。本发明将三种模态的三维模型特征表示,都做了一个非常细致的实现和复现:三维模型的多视图特征表示、点云特征表示以及网格特征表示。对多模态三维数据进行了处理、增强和融合,并基于此提取出了三维对象的融合特征表示。该专利与本发明相比,提取信息和依赖数据有交集,解决领域有交叉,但方法和措施,关键创新点不同。
专利文献CN110782419A(申请号:201910996426.X)公开了一种基于图形处理器的三维人脸融合方法及系统,其中融合方法包括步骤:S1、构建融合源、目标的三维人脸网格形状;S2、统计人脸皮肤颜色分布直方图并对融合源、目标的人脸区域纹理进行均衡化处理;S3、计算各分辨率下的融合源人脸和目标人脸的概貌纹理、轮廓细节纹理,对融合源人脸和目标人脸进行融合;S4、按照变形系数计算获得融合人脸三维形状;S5、将融合的纹理图像贴图渲染变形后的人脸三维形状,生成人脸融合结果。该专利与本发明相比,有混合融合的设计思想相类似,但混合的数据源之间主体和依据不同,并且混合的计算方法也不同。待解决的问题有交集,而措施对比文更偏重纹理方向为主,而本发明是采用多个不同模型的顶点坐标信息共同生成新的目标对象模型的顶点计算过程。
专利文献CN110689625B(申请号:201910840594.X)公开了一种定制人脸混合表情模型自动生成方法及装置,该方法包括:利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册,根据非刚性注册结果和Shape fromShading对人脸三维模板模型进行变形生成中性人脸三维模型;通过DeformationTransfer对中性人脸三维模型和人脸混合模型模板进行处理,生成定制人脸混合模型;通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形,生成人脸跟踪结果来更新定制人脸混合模型。该专利与本发明相比,有混合融合的设计思想相类似,但混合的数据源之间主体和依据不同,并且混合的计算方法也不同。待解决的问题有交集,而措施对比文更偏重单一层级模型的变形,而本发明关键创新点在于多种模型的顶点进行混合。
专利文献CN112734887A(申请号:202110076881.5)公开了一种基于深度学习的人脸混合-变形生成方法和装置,涉及计算机动画和三维重建技术领域,其中,方法包括:获取中性人脸的三维网格数据和对应的三维网格表情集合;将三角网格数据转换为二维RGB图片;将二维RGB图片输入深度学习模型进行训练,获取训练人脸混合-变形二维图;根据人脸混合-变形二维图,获取训练表情集合,根据训练表情集合和三维网格表情集合调整深度学习模型的参数,通过训练后的深度学习模型对待处理人脸二维图进行处理,生成人脸混合-变形表情。该专利与本发明相比,有混合融合的设计思想相类似,但混合的数据源之间主体和依据不同,并且混合的计算方法也不同。待解决的问题有交集,而措施对比文更偏重单一层级模型的变形,而本发明关键创新点在于多种模型的顶点进行混合。
针对现有技术存在的不足,本发明基于照片数据,采用动态的多层外参考表面造型,混合变形曲面顶点的实时三维建模,以便实时复刻孪生目标,且根据不同运算能力计算硬件提供混合精度和复杂层数。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于照片采集的动态混合变形的建模方法及系统。
根据本发明提供的一种基于照片采集的动态混合变形的建模方法,包括:
步骤S1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
步骤S2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
步骤S3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取相应表面特征点;
步骤S4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
步骤S5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型。
优选地,所述步骤S1采用:
步骤S1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
步骤S1.2:将照片中目标对象进行拆分,得到拆分后的若干个小目标对象;
步骤S1.3:根据拆分后的每个小目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后小目标对象模型;
步骤S1.4:将混合后小目标对象模型进行组合得到基础粗模型。
优选地,所述步骤S2采用:
步骤S2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
步骤S2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
优选地,所述步骤S4采用:
步骤S4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
步骤S4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
优选地,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
根据本发明提供的一种基于照片采集的动态混合变形的建模系统,包括:
模块M1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
模块M2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
模块M3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取相应表面特征点;
模块M4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
模块M5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型。
优选地,所述模块M1采用:
模块M1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
模块M1.2:将照片中目标对象进行拆分,得到拆分后的若干个小目标对象;
模块M1.3:根据拆分后的每个小目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后小目标对象模型;
模块M1.4:将混合后小目标对象模型进行组合得到基础粗模型。
优选地,所述模块M2采用:
模块M2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
模块M2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
优选地,所述模块M4采用:
模块M4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
模块M4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
优选地,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
与现有技术相比,本发明具有如下的有益效果:
1、本发明通过数字照片生成近似物体的三维模型的数字档,无需拥有专业技能和使用建模软件制作,也无需特种传感器(激光/雷达/红外)参与采集,实现精细的三维模型建立;
2、将目标对象进行拆分,并将拆分后的子目标对象与多个三维模型比较相似度,并按照相似度确定线性混合比例,进一步提高基础粗模型的准确性;
3、基于数据库中基础模型实现批量的精细三维模型重新,不仅提高了准确度,而且提高了处理速度;
4、将细节表面件的建模结果与形态型体件相结合,不会因为照片拍摄光线或者角度导致重建的模型不一致;
5、本发明可依赖目前计算力的硬件和移动设备,将孪生计算的硬件资源依赖和目标单位分解后并行独立分步骤计算,切分算完再组装起来的过程,针对目标对象表面细节的复杂和期望计算精度的分档,开展对孪生对象的抽取特征和顶点信息挤压变形,大幅度提高处理这类实时任务的可能性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为基于照片采集的动态混合变形的建模方法流程图。
图2为形态型体件和表面细节件混合示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于照片采集的动态混合变形的建模方法,如图1所示,包括:
步骤S1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
步骤S2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
步骤S3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取相应表面特征点;
步骤S4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
步骤S5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型。
具体地,所述步骤S1采用:
步骤S1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
步骤S1.2:将照片中目标对象进行拆分,得到拆分后的若干个子目标对象;
步骤S1.3:根据拆分后的每个子目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后子目标对象模型;
步骤S1.4:将混合后子目标对象模型进行组合得到基础粗模型。
具体地,所述步骤S2采用:
步骤S2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
步骤S2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
具体地,所述步骤S4采用:
步骤S4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
步骤S4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
具体地,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
根据本发明提供的一种基于照片采集的动态混合变形的建模系统,包括:
模块M1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
模块M2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
模块M3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取相应表面特征点;
模块M4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
模块M5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型。
具体地,所述模块M1采用:
模块M1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
模块M1.2:将照片中目标对象进行拆分,得到拆分后的若干个子目标对象;
模块M1.3:根据拆分后的每个子目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后子目标对象模型;
模块M1.4:将混合后子目标对象模型进行组合得到基础粗模型。
具体地,所述模块M2采用:
模块M2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
模块M2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
具体地,所述模块M4采用:
模块M4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
模块M4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
具体地,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
实施例2
实施例2是实施例1的优选例
本发明提供了一种基于照片采集的动态混合变形的建模方法,如图2所示,包括:
步骤1:基于若干基础型体多边形以及基础型体多边形若干视角面图像构建数据库;
步骤2:根据照片中目标对象的型体基于预设数据库中的若干基础型体多边形以及基础型体多边形若干视觉面图像获得相似度高的基础型体多边形,选取最相似的排名前三的基础型体多边形;然后再采用一定比例进行线性混合计算,得到一个混合定点后的基础粗模型;
步骤3:根据照片上的图片细节,提取目标对象的轮廓比例,映射到基础粗模型上开展修剪和挤压,并在修正后的基础粗模型上,基于照片上的灰度信息梯度分布(梯度六档按照:10分档,20分档,32分档,64分档,128分档,255分档),开展表面三角形细分,得到细分基础模型;
步骤4:针对照片的表面特征,开展与数据库中三维模型的若干视角面图像识别,分别依据各分类提取详细的特征信息,比如如果是动物,那么对应动物的面容特征,比如人面部,那就对应人脸面部特征提取,比如身体表皮,那就表皮特征提取。
步骤5:根据提取到的表面特征点,将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的特征点与代表点所在坐标做映射,通过两者线性插值的数学方法得到混合后的顶点新坐标,插值系数按照一定比例,如果以人面部为例:特征提取为6,灰度阶梯代表点为4,当灰度阶梯分布大于衰减三次方,说明灰度代表点聚集性较强,则线性插值比例改为7:3。最后采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。其中特征提取是采用共知的方法,特征的准确定会影响效果但不改变方法的系统性,如果没有匹配合适的类别的特征,则采用等距的静态网格体划分,也可以获得特征代表信息,只不过因为此方法效率会降低,但也弥补了暂时没有特征信息数据的类别的完备性处理;
步骤6:形成的新的“细分表面模型”顶点与“细分基础模型”做坐标系映射的投射混合,得到有表面细节的混合变形后的全新三维模型。
步骤7:将混合变形后的全新三维模型做边缘过渡图像处理,根据孪生目标的特点选择局部锐化过渡或融合过渡。具体地,顶点的滤噪处理能够保证最终“细分表面模型”的顶点都要以在“细分基础造型”上顶点挤压变形而得到,且限制基础造型表面凹凸最大值为X倍[2,5]取值,以内的挤压变形顶点。
进一步地,在同等光照条件下,照片需要有最好有2张及以上,且最少任意角度方向上,需要相差5度角。每张照片都完成对应这个角度的上述步骤,再根据相差角度信息来拟合目标对象顶点多个面。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于照片采集的动态混合变形的建模方法,其特征在于,包括:
步骤S1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
步骤S2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
步骤S3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像进行识别,依据目标对象类别提取相应表面特征点;
步骤S4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
步骤S5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型;
所述步骤S1采用:
步骤S1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
步骤S1.2:将照片中目标对象进行拆分,得到拆分后的若干个子目标对象;
步骤S1.3:根据拆分后的每个子目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后子目标对象模型;
步骤S1.4:将混合后子目标对象模型进行组合得到基础粗模型。
2.根据权利要求1所述的基于照片采集的动态混合变形的建模方法,其特征在于,所述步骤S2采用:
步骤S2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
步骤S2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
3.根据权利要求1所述的基于照片采集的动态混合变形的建模方法,其特征在于,所述步骤S4采用:
步骤S4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
步骤S4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
4.根据权利要求1所述的基于照片采集的动态混合变形的建模方法,其特征在于,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
5.一种基于照片采集的动态混合变形的建模系统,其特征在于,包括:
模块M1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型,将多个三维模型按照一定比例进行线性混合得到基础粗模型;
模块M2:利用照片中目标对象的轮廓比例修正基础粗模型,对修正后的基础粗模型进行表面三角形细分得到细分基础模型;
模块M3:根据照片中目标对象的表面特征基于预设数据库中三维模型的若干视觉面图像识别,依据目标对象类别提取相应表面特征点;
模块M4:基于提取到的表面特征点对细节基础模型的顶点坐标进行更新得到细分表面模型;
模块M5:将细节表面模型根据三维投影原理映射到细分基础模型上,得到混合后的三维模型;
所述模块M1采用:
模块M1.1:根据照片中目标对象的型体基于预设数据库获得相似度满足预设要求的多个三维模型;
模块M1.2:将照片中目标对象进行拆分,得到拆分后的若干个小目标对象;
模块M1.3:根据拆分后的每个小目标对象与多个三维模型的相似度确定混合比例,并按照确定的混合比例进行线性混合,得到混合后小目标对象模型;
模块M1.4:将混合后小目标对象模型进行组合得到基础粗模型。
6.根据权利要求5所述的基于照片采集的动态混合变形的建模系统,其特征在于,所述模块M2采用:
模块M2.1:根据照片中目标对象的细节提取目标对象的轮廓比例,并映射到基础粗模型上进行修剪和挤压,得到修正后的基础粗模型;
模块M2.2:在修正后的基础粗模型的基础上,根据照片上的灰度信息梯度分布开展表面三角形细分得到细分基础模型。
7.根据权利要求5所述的基于照片采集的动态混合变形的建模系统,其特征在于,所述模块M4采用:
模块M4.1:将细分基础模型的每个灰度阶梯的归一化收敛分布值作为顶点变形的若干代表点,并将提取的表面特征点与代表点所在坐标做映射处理,通过两者线性插值得到混合后的顶点新坐标;
模块M4.2:采用指数衰减对混合后的顶点新坐标进行数据更新,得到细分表面模型。
8.根据权利要求5所述的基于照片采集的动态混合变形的建模系统,其特征在于,对得到的混合后的三维模型进行边缘过渡图像处理,包括局部锐化过渡或融合过渡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211587475.6A CN115661367B (zh) | 2022-12-12 | 2022-12-12 | 基于照片采集的动态混合变形的建模方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211587475.6A CN115661367B (zh) | 2022-12-12 | 2022-12-12 | 基于照片采集的动态混合变形的建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115661367A CN115661367A (zh) | 2023-01-31 |
CN115661367B true CN115661367B (zh) | 2023-03-10 |
Family
ID=85019512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211587475.6A Active CN115661367B (zh) | 2022-12-12 | 2022-12-12 | 基于照片采集的动态混合变形的建模方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115661367B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609401B (zh) * | 2024-01-19 | 2024-04-09 | 贵州北斗空间信息技术有限公司 | 三维地形场景中的白模可视化展示方法、装置和系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222357B (zh) * | 2010-04-15 | 2014-01-15 | 温州大学 | 基于图像分割和网格细分的脚型三维表面重建方法 |
US20150286075A1 (en) * | 2014-04-08 | 2015-10-08 | Managing Innovation And Technology | 3D Tracer |
CN109242940B (zh) * | 2017-05-11 | 2022-12-13 | 腾讯科技(深圳)有限公司 | 三维动态图像的生成方法和装置 |
CN114663574A (zh) * | 2020-12-23 | 2022-06-24 | 宿迁硅基智能科技有限公司 | 基于单视角照片的三维人脸自动建模方法、系统及装置 |
CN113160410A (zh) * | 2021-04-19 | 2021-07-23 | 云南云能科技有限公司 | 一种实景三维精细化建模方法及系统 |
-
2022
- 2022-12-12 CN CN202211587475.6A patent/CN115661367B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115661367A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7526412B2 (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
CN109816784B (zh) | 三维重构人体的方法和系统及介质 | |
CN110349247A (zh) | 一种基于语义理解的室内场景cad三维重建方法 | |
US20210375045A1 (en) | System and method for reconstructing a 3d human body under clothing | |
CN111583408B (zh) | 基于手绘草图的人体三维建模系统 | |
CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
CN115661367B (zh) | 基于照片采集的动态混合变形的建模方法及系统 | |
Ye et al. | 3d morphable face model for face animation | |
CN116822100B (zh) | 一种数字孪生建模方法及其仿真试验系统 | |
WO2020193972A1 (en) | Facial analysis | |
CN115862149A (zh) | 一种生成3d人体骨骼关键点数据集的方法及系统 | |
Lu et al. | Parametric 3D visualization modeling of the human body based on 2D photos | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
Yu et al. | Application of Computer Graphics and Machine Learning in Computer Aided Design of Digital Sculpture | |
Zhou | A proposed reconstruction method of a 3D animation scene based on a fuzzy long and short-term memory algorithm | |
Fukusato et al. | Interactive meshing of user-defined point sets | |
CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
Gong | Application and Practice of Artificial Intelligence Technology in Interior Design | |
Ma et al. | Implementation of Object-oriented Design Technology and Deep Learning Algorithm in Interior Design CAD System | |
CN117152311B (zh) | 基于双分支网络的三维表情动画编辑方法及系统 | |
CN118037897B (zh) | 一种基于区域风格校正的人物属性编辑方法及装置 | |
Shakir et al. | Construction of 3D environment from 2D RGB images and depth information | |
Bhanu et al. | 3-D model building using CAGD techniques | |
Yu | Semi-supervised three-dimensional reconstruction framework with generative adversarial networks | |
Kumar et al. | Efficient 3D Object Synthesis and Modeling Through Generative Adversarial Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |