CN114913305A - 模型处理方法、装置、设备、存储介质及计算机程序产品 - Google Patents
模型处理方法、装置、设备、存储介质及计算机程序产品 Download PDFInfo
- Publication number
- CN114913305A CN114913305A CN202210527566.4A CN202210527566A CN114913305A CN 114913305 A CN114913305 A CN 114913305A CN 202210527566 A CN202210527566 A CN 202210527566A CN 114913305 A CN114913305 A CN 114913305A
- Authority
- CN
- China
- Prior art keywords
- vertex
- model
- deformed
- region
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008439 repair process Effects 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims description 51
- 238000013459 approach Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了模型处理方法、装置、设备、存储介质及计算机程序产品,该方法包括:获取待修复模型和参考模型;确定参考模型中的第一待变形区域和第二待变形区域;基于待修复模型对第一待变形区域中的顶点进行第一类型的变形处理,第一待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配;基于待修复模型对第二待变形区域中的顶点进行第二类型的变形处理,第二待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配;根据变形后的参考模型确定待修复模型对应的修复模型。采用此方式,可有效提高模型修复的效率,且修复效果更佳。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及模型处理方法、模型处理装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
通过三维空间(3 Dimensions,3D)扫描获得的模型通常含有大量噪音与缺损,很难直接利用。为获得更加简洁的网络模型,常见的方法是利用3D模型数据转换软件(比如wrap软件)进行重拓扑。然而,重拓扑模型中仍然存在问题,诸如结构线(比如眼眶,嘴唇线,肌肉线条等)不够光滑,卡线不准确(比如眼眶线偏移),某些区域在重拓扑过程中退化(比如虚拟人模型的颈部通常不完整,导致网格上面颈部的很多线几乎重叠在一起)等等。现有的对重拓扑模型的修复依赖于技术美工的人工修复,然而,人工修复的方式效率低且修复效果差。
发明内容
本申请实施例提供了一种模型处理方法及相关装置,可有效提高模型修复的效率,且修复效果更佳。
第一方面,为本申请实施例的一种模型处理方法,该方法包括:
获取待修复模型和参考模型,待修复模型是对目标对象的扫描模型进行重拓扑处理得到,待修复模型和参考模型为具有相同拓扑结构的网格模型;
确定参考模型中的第一待变形区域和第二待变形区域;
基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件,第一顶点为第一待变形区域中的任一顶点;第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第一待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二顶点为第二待变形区域中的任一顶点;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第二待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
根据变形后的参考模型确定待修复模型对应的修复模型。
第二方面,本申请实施例提供了一种模型处理装置,该装置包括:
获取模块,用于获取待修复模型和参考模型,待修复模型是对目标对象的扫描模型进行重拓扑处理得到,待修复模型和参考模型为具有相同拓扑结构的网格模型;
确定模块,用于确定参考模型中的第一待变形区域和第二待变形区域;
处理模块,用于基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件,第一顶点为第一待变形区域中的任一顶点;第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第一待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
处理模块,还用于基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二顶点为第二待变形区域中的任一顶点;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第二待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
确定模块,还用于根据变形后的参考模型确定待修复模型对应的修复模型。
第三方面,本申请实施例提供了一种计算机设备,该计算机设备包括处理器、通信接口和存储器,该处理器、通信接口和存储器相互连接,其中,该存储器存储有计算机程序,该处理器用于调用该计算机程序,执行本申请实施例提供的模型处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的模型处理方法。
第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机指令,计算机程序或计算机指令被处理器执行时实现本申请实施例提供的模型处理方法。
本申请实施例中,计算机设备获取待修复模型和参考模型;确定参考模型中的第一待变形区域和第二待变形区域;基于待修复模型对第一待变形区域中的顶点进行第一类型的变形处理,第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件(即第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致),第一顶点为第一待变形区域中的任一顶点,第一待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配;基于待修复模型对第二待变形区域中的顶点进行第二类型的变形处理,第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件(即第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置),且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配;根据变形后的参考模型确定待修复模型对应的修复模型。可见,采用本申请实施例,一方面,由于对参考模型中待变形区域的所有顶点都进行变形处理以拟合待修复模型,因此,该方法的修复粒度更小,即可以更加细腻的对待修复模型中的更多细节问题进行修复,从而得到的修复模型效果更佳。另一方面,相比于人工修复模型的方法而言,不仅可以提升模型修复的效率,而且得到的修复模型与待修复模型的误差更小。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种模型处理装置的架构图;
图2是本申请实施例提供的一种模型处理方法的流程示意图;
图3是本申请实施例提供的一种待修复模型示意图;
图4是本申请实施例提供的一种参考模型示意图;
图5是本申请实施例提供的另一种模型处理方法的流程示意图;
图6是本申请实施例提供的一种待修复模型中的顶点分类示意图;
图7是本申请实施例提供的模型处理方法对待修复模型的处理结果示意图;
图8是本申请实施例提供的一种模型处理装置的示意图;
图9是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解本申请实施例,下面对本申请的模型处理方法进行描述。
为了提高模型修复效率的同时,得到效果更佳的修复模型,本申请实施例提供了一种模型处理方案。请参见图1,图1是本申请实施例提供的一种模型处理的架构图。下面结合图1对本申请实施例提出的模型处理方法的大致实施过程进行阐述:首先,计算机设备101可获取参考模型102,并基于参考模型102对目标对象的扫描模型进行重拓扑处理得到待修复模型103。其次,对参考模型102进行区域划分,确定参考模型102中的第一待变形区域、第二待变形区域和第三待变形区域。然后,基于待修复模型103,对参考模型102中第一待变形区域中的顶点进行第一类型的变形处理,使得第一待变形区域中任一顶点变形后的位置与待修复模型中对应的顶点的位置一致;基于待修复模型103,对参考模型102中第二待变形区域中的顶点进行第二类型的变形处理,使得第二待变形区域中任一顶点变形后的位置趋近于待修复模型中对应的顶点的位置;基于待修复模型,对参考模型102中第三待变形区域中的顶点进行第三类型的变形处理,使得第三待变形区域中任一顶点与其相邻顶点变形后的差异趋近于变形前的差异。最后,根据变形后的参考模型确定待修复模型103的修复模型。
经实践表明,本申请实施例所提出的模型处理方案可具有如下有益效果:①由于参考模型中第一待变形区域中任一顶点变形后的位置与待修复模型中对应的顶点的位置一致,第二待变形区域中任一顶点变形后的位置趋近于待修复模型中对应的顶点的位置,因此变形后的参考模型可保持修复模型所呈现出的目标队形的特征,从而根据变形后的参考模型确定出的待修复模型的修复模型更效果更佳,更利于后续使用。②根据变形后的参考模型确定出的待修复模型的修复模型可以去除待修复模型中存在的噪音、退化等问题。③相比于人工修复模型的方法而言,不仅可以可提升模型修复的效率,而且得到的修复模型与待修复模型的误差更小。
需要说明的是:在具体实现中,上述方案可由计算机设备执行,该计算机设备可以是终端或者服务器;其中,此处所提及的终端可以包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能电视、智能车载终端等;终端内可运行各式各样的客户端(application,APP),如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端,等等。此处所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,等等。并且,本申请实施例所提及的计算机设备可以位于区块链网络外,也可以位于区块链网络内,对此不作限定;所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络,而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,其本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块(或称为区块)。
本申请实施例提供的模型处理方法可以基于人工智能(ArtificialIntelligence,AI)技术实现。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,其涉及的领域较为广泛,既有硬件层面的技术也有软件层面的技术AI基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的模型处理方法主要涉及AI技术中的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术。
在一种可选的实施方式中,本申请实施例提供的模型处理方法还可以基于云技术(Cloud technology)和区块链技术中的一种或者多种实现。例如,可以涉及云技术中的云计算(Cloud computing)。如,通过云计算方式确定第二顶点的变形权重参数。又如,执行该模型处理方法的计算机设备可以是区块链网络中的节点设备。
为了便于理解本申请实施例,下面对上述模型处理方案的具体实现方式进行详细阐述。
请参见图2,图2是本申请实施例提供的一种模型处理方法的流程示意图。该方法可由计算机设备(例如图1中的计算机设备101)来执行,如图2所示,该模型处理方法可包括如下步骤S201-S205:
S201、获取待修复模型和参考模型。
其中,待修复模型是对目标对象的扫描模型进行重拓扑处理得到,待修复模型和参考模型为具有相同拓扑结构的网格模型,即待修复模型中的顶点和参考模型中的顶点存在一一映射关系。其中,待修复模型和参考模型均为3D模型。
重拓扑是指用更简洁、质量更高的网格模型去重构复杂模型(例如通过3D扫描获得),使得复杂模型更易使用。
由于待修复模型是基于参考模型对目标对象的扫描模型进行重拓扑处理得到的,因此待修复模型和参考模型具有相同拓扑结构的网格模型。
网格模型:网格模型在三维计算机图形学中用于表示形状的顶点与多边形的结合,常见的包括三角形网格与四边形网格。
可选地,待修复模型和参考模型也可以是二维模型。
请参见图3,图3是本申请实施例提供的一种待修复模型示意图。如图3所示,待修复模型的肩颈部的排线不够规整,不符合肌肉纹理走向,因此需要对其进行修复。请参见图4,图4是本申请实施例提供的一种参考模型示意图。如图4所示,参考模型的排线光滑,但是不具有参考模型的面部表情特征。
S202、确定参考模型中的第一待变形区域和第二待变形区域。
在一种可选的实施方式中,计算机设备可基于差异自动检测方法,对参考模型进行待变形区域划分。比如,通过计算参考模型与待修复模型之间的面法向量的变化,或点法向量的变化,或表面积的变化,对参考模型进行待变形区域划分,从而确定参考模型中的第一待变形区域和第二待变形区域。
其中,面法向量是指与网格模型的多边形面垂直的单位向量。
点法向量是指与该点相邻的面的法向量的(按照面积)加权平均,经过归一化后得到的单位向量。
可选地,计算机设备还可接收用户针对参考模型的区域划分结果;根据区域划分结果,确定参考模型中的第一待变形区域和第二待变形区域。
S203、基于待修复模型对第一待变形区域中的顶点进行第一类型的变形处理,第一待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配。
可选的,计算机设备基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理时,可以是基于待修复模型中第一待变形区域对应的区域中的各个顶点的位置信息,对第一待变形区域中的对应顶点进行第一类型的变形处理。
其中,第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件,该第一顶点为第一待变形区域中的任一顶点。
在一种可选的实施方式中,第一匹配条件是指:第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致。可选地,第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致也可以是位置误差小于或者等于第一设定距离阈值。其中,第一设定距离阈值例如是0.1。
举例来说,假设第一待变形区域中第一顶点的位置坐标为(3,5,9),待修复模型中第一顶点对应的顶点的位置坐标为(4,6,7),则第一顶点变形后的位置坐标为(4,6,7)。可选地,当第一设定距离阈值为(0.1,0.1,0.1)时,第一顶点变形后的位置也可以为(3.96,6.01,6.94)。
以图3和图4为例,第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配,指的是图4中的面部区域401变形后所呈现出的面部表情与图3中的面部区域301所呈现出的面部表情相同。即变形后的参考模型中面部区域保留待修复模型中面部区域301的表情信息。
S204、基于待修复模型对第二待变形区域中的顶点进行第二类型的变形处理,第二待变形区域变形后所呈现出的目标对象的行为特征与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配。
其中,第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,该第二顶点为第二待变形区域中的任一顶点。
在一种可选的实施方式中,第二匹配条件是指:第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。可选地,第二顶点变形后的位置趋近于与待修复模型中第二顶点对应的顶点的位置,是指第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置之间的距离差值小于或等于第二设定距离阈值。可选地,第二设定距离阈值大于步骤S203中的第一预设距离阈值。也就是说,第二顶点变形后的位置尽可能的贴近待修复模型中第二顶点对应的顶点的位置。
可选地,第二顶点的相邻顶点可以包括一个或多个顶点。
需要说明的是,第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,指的是第二顶点和与第二顶点相邻的顶点均进行变形处理后所形成的多边形形状及面积,趋近于待修复模型中第二顶点对应的顶点和与第二顶点相邻的顶点对应的顶点所形成的多边形的形状及面积。
以图3和图4为例,第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配,指的是图4中的肩颈区域402变形后所呈现出的动作与图3中的肩颈区域302所呈现出的动作相同。即变形后的参考模型中肩颈区域保留有待修复模型中肩颈区域302的动作信息。
在一种可选的实施方式中,计算机设备还可确定参考模型中的第三待变形区域,该第三待变形区域为参考模型中除第一待变形区域和第二待变形区域之外的全部或者部分区域;基于待修复模型,对第三待变形区域中的顶点进行第三类型的变形处理;其中,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,第三顶点为第三待变形区域中的任一顶点。
可选地,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,可以是第三顶点和与第三顶点具有邻接关系的顶点之间形成的多边形变形后尽可能的接近变形前的多边形。
邻接关系:网格中的面与面、或点与点、或点与面都存在相邻与否的关系。网格中的两个面片如果共有一条边,则称这两个面片相邻;网格中的两个顶点之间如果有边相连,则称这两个顶点相邻;网格中的某顶点如果存在于某个面片中,则称该顶点与该面相邻。
举例来说,假设第三顶点为顶点A,与第三顶点具有连接关系的顶点有2个,记为顶点B和顶点C,并且将顶点A、顶点B和顶点C围成的多边形记为三角形ABC。若变形前三角形ABC是边长为1的等边三角形,则变形后的三角形ABC也趋近于是一个边长为1的等边三角形,例如变形后的三角形ABC是边长为0.98的等边三角形。
S205、根据变形后的参考模型确定待修复模型对应的修复模型。
在一种可选的实施方式中,计算机设备可根据第一待变形区域所有第一顶点变形后的位置和第二待变形区域所有第二顶点变形后的位置,确定变形后的参考模型,并将变形后的参考模型确定为待修复模型的修复模型。
可选地,计算机设备还可根据第一待变形区域在所有第一顶点变形后的位置、第二待变形区域在所有第二顶点变形后的位置以及第三待变形区域在所有第三顶点变形后的位置,确定变形后的参考模型,并将变形后的参考模型确定为待修复模型的修复模型。
在一种可选的实施方式中,待修复模型和参考模型为虚拟人模型,第一待变形区域为虚拟人的面部区域,第二待变形区域为虚拟人的肩颈部区域,第一待变形区域变形后所呈现出的表情特征与待修复模型所呈现出的表情特征一致;第二待变形区域变形后所呈现出的动作特征与待修复模型所呈现出的动作特征一致。可选地,虚拟人模型可以只包括人体的上半部分(即只包括头部和肩颈部构成的上半部分)。
采用本申请实施例,一方面,由于参考模型中第一待变形区域中任一顶点变形后的位置与待修复模型中对应的顶点的位置一致,第二待变形区域中任一顶点变形后的位置趋近于待修复模型中对应的顶点的位置,因此变形后的参考模型可保持修复模型所呈现出的目标对象的特征,从而根据变形后的参考模型确定出的待修复模型的修复模型效果更佳,更利于后续使用。另一方面,相比于人工修复模型的方法而言,可提升模型修复的效率。
请参见图,图5是本申请实施例提供的另一种模型处理方法的流程示意图。该方法可由计算机设备(例如图1中的计算机设备101)来执行,如图5所示,该模型处理方法可包括如下步骤S501-S307:
S501、获取待修复模型和参考模型。
在一种可选的实施方式中,步骤S501的具体实施过程可参见步骤S201中的阐述,此处不再进行赘述。
S502、确定参考模型中的第一待变形区域、第二待变形区域和第三待变形区域。
在一种可选的实施方式中,步骤S502的具体实施过程可参考步骤S202中的阐述,此处不再进行赘述。
请参见图6,图6是本申请实施例提供的一种待修复模型中的顶点分类示意图,如图6所示,计算机设备可将待修复模型中的顶点分为三类。其中,第一类顶点的位置不可修改,第二类顶点的位置尽可能贴近现有曲面,第三类顶点的位置了任意修改。
在一种可选的实施方式中,计算机设备可基于待修复模型,将参考模型中的顶点划分为至少一个第一顶点、至少一个第二顶点以及至少一个第三顶点。其中,至少一个第一顶点所在的区域为第一待变形区域,至少一个第二顶点所在的区域为第二待变形区域,至少一个第三顶点所在的区域为第三待变形区域。
以图4为例,第一待变形区域为面部区域401,第二待变形区域为肩颈区域402,第三待变形区域为除面部区域401和肩颈区域402之外的全部或者部分区域403。
S503、基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理,第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配。
在一种可选的实施方式中,步骤S503的具体实施过程可参考步骤S203中的阐述,此处不再进行赘述。
可选地,计算机设备基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理时,可基于如下公式(1)对第一待变形区域中的顶点进行第一类型的变形处理。
上式(1)中,J1表示的是参考模型中第一待变形区域的顶点的集合,v′j表示的是第一待变形区域中的j顶点变形后的位置,uj表示的是待修复模型中第一待变形区域中的j顶点对应顶点的位置。
可以理解的是,第一待变形区域中的第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致。也就是说,参考模型中第一待变形区域中的顶点的位置在变形后要严格落在待修复模型相应的顶点的位置上。这样,可以保证变形后的参考模型完整的保留待修复模型所呈现出的特征。
以图3和图4为例,第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配,指的是图4中的面部区域401变形后所呈现出的面部表情与图3中的面部区域301所呈现出的面部表情相同。即变形后的参考模型中面部区域保留待修复模型中面部区域301的表情信息。
由于第一待变形区域中所有顶点的变形后的位置均固定在待修复模型中相应顶点的位置上,不可修改。因此,在求解出变形后的参考模型中第一待变形区域中的顶点的位置后,可将第一待变形区域中除边界上的顶点之外的所有顶点进行删除,只将第一待变形区域边界少数点作为约束(位置不可变)放入求解变形后的顶点位置的问题中。这样,可提高对参考模型中除第一待变形区域中的顶点之外的其余顶点的位置优化效率。例如,提高对变形后的第二待变形区域中顶点的位置的优化效率。
可选地,若待修复模型中第一待变形区域对应的区域中存在卡线不准的问题,则可将参考模型中第一待变形区域中的关键顶点加入到第二待变形区域中顶点的集合中进行优化。可选地,第一待变形区域中的关键顶点可以是自动检测的,也可以是人工标记的。以图3和图4为例,如果图3中面部区域301中存在卡线不准确的问题,则可将图4中面部区域401中的关键顶点加入到肩颈区域402的顶点的集合中进行优化。上述所提及的优化将在后文具体阐述。
S504、针对第二待变形区域中的第二顶点,确定第二顶点的变形权重参数。
其中,第二顶点为第二待变形区域中的任一顶点;第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配。
在一种可选的实施方式中,计算机设备确定第二顶点的变形权重参数,包括:确定参考模型中第二顶点的相邻多边形面片的第一面积参数;确定待修复模型中第二顶点对应的顶点的相邻多边形面片的第二面积参数;根据第一面积参数和第二面积参数确定第二顶点的变形权重参数。
可选地,第二顶点的相邻多边形面片可以是四边形面片,也可以是三角形面片,此处不进行限定。
可选地,计算机设备可以基于面法向量得到多边形的面积。
在一种可选的实施方式中,计算机设备确定参考模型中第二顶点的相邻多边形面片的第一面积参数,包括:确定参考模型中第二顶点的各个相邻三角面片的面积;其中,当参考模型为四边形网格模型时,第二顶点的相邻三角面片是对参考模型中第二顶点的相邻四边形面片进行三角化处理得到的;根据各个相邻三角面片的面积,确定第一面积参数。
由于四边形网格模型中,四边形的四个顶点可能不共面,这种情况下四边形面片的法向量没有好的定义。所以,当考模型为四边形网格模型时,可对参考模型中第二顶点的相邻四边形面片进行三角化处理,将参考模型分隔成为多个相邻的三角形面片。这样,参考模型中的任意三个顶点都是共面的,从而可较为简单的求解出面法向量,计算出三角形面片的面积。可以理解的是,将四边形网格三角化只是增加了模型中面的数量,对顶点没有任何修改。
可选地,计算机设备根据各个相邻三角面片的面积,确定第一面积参数,可以是将各个相邻三角形面片的面积的均值确定为第一面积参数,也可以是将各个相邻三角形面片的面积的和值确定为第一面积参数,还可以是将各个相邻三角形面片的面积中的最大面积值确定为第一面积参数,还可以是将各个相邻三角形面片的面积中的最小面积值确定为第一面积参数等等,此处不做限定。
可选地,计算机设备确定待修复模型中第二顶点对应的顶点的相邻多边形面片的第二面积参数的具体实施过程可参见前述确定第一面积参数的阐述,此处不再进行赘述。
在一种可选的实施方式中,计算机设备根据第一面积参数和第二面积参数确定第二顶点的变形权重参数,包括:计算第一面积参数和第二面积参数的差异参数,根据差异参数确定第二顶点的变形权重参数;其中,第二顶点的变形权重参数与差异参数成正比的关系。也就是说,计算机设备可通过计算参考模型与待修复模型三角面片之间的面积差异,对顶点进行赋权。
可选地,计算机设备可以先计算参考模型中各个三角形面片的面积和待修复模型中对应三角形面片的面积之间的比值,然后根据所有比值确定第二顶点的变形权重参数。
可选地,差异参数可以是第一面积参数和第二面积参数的面积比值;也可以是第一面积参数和第二面积参数的面积比值,与参考数值之间的差值,参考数值可以是1;还可以是第一面积参数和第二面积参数之间的差值等等,此处不做限定。
以第二顶点n为例,假设第二顶点n的相邻多边形面片包括2个四边形面片,分别记为四边形面片a和四边形面片b。计算机设备在确定第二顶点n的变形权重参数时,可先对四边形面片a和四边形面片b进行三角化处理,将四边形面片a和四边形面片b分别分割成为两个三角形面片,此时会得到四个三角形面片,记为三角形面片1、三角形面片2、三角形面片3以及三角形面片4。然后,计算出三角形面片1的面积s1、三角形面片2的面积s2、三角形面片3的面积s3以及三角形面片4的面积s4,并根据s1、s2、s3以及s4确定出第一面积参数为s=s1+s2+s3+s4。类似的,计算机设备可计算出待修复模型中第二顶点n对应的顶点(记为N)的相邻多边形面片的第二面积参数为S=S1+S2+S3+S4。然后,计算机设备可根据s和S的比值p确定第二顶点n的变形权重,此时,第二顶点n的变形权重和比值p成正比关系。或者,计算机设备根据s和S的比值p,与参考数值(即1)的差值的绝对值,即|p-1|,确定第二顶点n的变形权重,此时,第二顶点n的变形权重和|p-1|成正比关系。
由于待修复模型中不同区域的噪音程度不一致,所以需要修复的紧迫程度也不一致。因此,对参考模型中的顶点赋以不同权重。也就是说,待修复模型中不同区域需要修复的紧迫程度不一致,对应参考模型中第二待变形区域中不同第二顶点的变形程度也会不同,从而不同的第二顶点的变形权重参数不同。
可选地,计算机设备还可根据法向量变化量确定第二顶点的变形权重参数,例如变形权重参数与法向量变化量成反比关系。或者,接收人工预设的变形权重参数,以达到对优化过程的控制。
S505、基于待修复模型和变形权重参数,对第二顶点进行第二类型的变形处理。
其中,第二顶点的变形权重参数越大,该第二顶点变形后的位置越靠近待修复模型中第二顶点对应的顶点的位置。
其中,第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二顶点为第二待变形区域中的任一顶点;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第二待变形区域对应的区域所呈现出的目标对象的行为特征相匹配。
在一种可选的实施方式中,第二匹配条件是指:第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。可选地,第二顶点变形后的位置趋近于与待修复模型中第二顶点对应的顶点的位置,是指第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置之间的距离差值小于或等于第二设定距离阈值。
可选地,变形后的第二顶点满足的第二匹配条件所指示的第二设定距离阈值,是基于第二顶点的变形权重参数确定的。可选地,第二顶点的变形权重参数越大,则变形后的第二顶点就越靠近待修复模型中的相应顶点的位置,第二设定距离阈值则越小。也就是说,第二顶点的变形权重参数与第二设定距离阈值之间成反比关系。变形后的第二顶点就越靠近待修复模型中的相应顶点的位置可通过第二设定距离阈值越小来体现。可以理解的是,不同的第二顶点对应的权重不同,那么变形后的该第二顶点满足的第二匹配条件所指示的第二设定距离阈值也不同。
举例来说,假设第二待变形区域中的第二顶点A的变形权重是0.5,则变形后的该第二顶点满足的第二匹配条件所指示的第二设定距离阈值可以是0.2。假设第二待变形区域中的第二顶点B的变形权重是0.1,则变形后的该第二顶点满足的第二匹配条件所指示的第二设定距离阈值可以是0.5。
在一种可选的实施方式中,计算机设备在基于待修复模型和变形权重参数,对第二顶点进行第二类型的变形处理时,可通过优化如下公式(2)的能量函数来对第二顶点进行第二类型的变形处理,以得到变形后的第二顶点的位置。
上式(2)也可以理解为对变形能量函数进行优化,其中,E表示的是变形能量函数;Ti表示的是作用在参考模型第二待变形区域中第二顶点i的变形算子(或者称为变换矩阵);v′i表示的是参考模型第二待变形区域中第二顶点i变形后的位置;δi表示的是参考模型在第二顶点i处的局部差异性;L(v′i)表示的是待修复模型中与第二顶点i对应的顶点处的局部差异性,通过拉普拉斯(Laplacian)算子求得;F表示的是弗罗贝尼乌斯范数(Frobenius norm);J2表示的是参考模型中第二待变形区域的顶点的集合;ui表示的是待修复模型中第二待变形区域中的第二顶点i对应的顶点的位置;ωi表示的是第二顶点i的变形权重参数。其中,L(v′i)和δi区域本质都是顶点的拉普拉斯坐标,但区别在于L(v′i)是在待修复模型上计算出来的,会随着优化过程发生变化。
上式(2)中,等号右边的括号中第一项可以理解为前述第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二项可以理解为前述第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件。即第一项是指第二顶点变形后和与第二顶点相邻的顶点变形后的所形成的多边形形状及面积趋近于待修复模型中第二顶点对应的顶点和与第二顶点相邻的顶点对应的顶点所形成的多边形的形状及面积,第二项是指第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。也就是说,对于上式的优化要满足两个条件,其一是相邻的顶点在变形后仍然靠近(基于拉普拉斯算子);其二是参考模型中第二待变形区域中的顶点在变形后要尽可能接近待修复模型相应的顶点。
由于上式(2)中,Ti和v′i是未知项,且Ti的关联系数可由v′i表示,因此求解v′i也就是求解Ti。
可选地,可以通过下式(3)求解Ti。其中式(3)和式(2)是等价的。
上式(3)中,j~i表示的是顶点j和顶点i相邻。其他参数的物理含义可参见上述公式(2)中的描述,此处不再进行赘述。
上式(3)可以看作是二次方求解问题,包含了两个变量,分别为Ti和v′i,那么通过固定一个变量即可求解另一个变量。但是,如果对Ti不加以限制,自然的最小值将会是一个无矩解。因此,可通过先求解Ti,然后固定Ti,将Ti带入式(1)中求解v′i。可选地,计算机设备可通过二次求解器求解出Ti。当求解出Ti后,可将其带回式(1)中求解v′i并通过不断迭代,求解出最终的v′i。
可以理解的是,第二待变形区域中的第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。也就是说,参考模型中第二待变形区域中的顶点的位置在变形后要尽可能接近待修复模型相应的顶点的位置。这样,可以保证变形后的参考模型能够尽可能地贴合待修复模型所呈现出的特征。
以图3和图4为例,第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中对应的区域所呈现出的目标对象的行为特征相匹配,指的是图4中的肩颈区域402变形后所呈现出的动作与图3中的肩颈区域302所呈现出的动作相同。即变形后的参考模型中肩颈区域保留有待修复模型中肩颈区域302的动作信息。
S506、基于待修复模型,对第三待变形区域中的顶点进行第三类型的变形处理。
其中,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,第三顶点为第三待变形区域中的任一顶点。
由于待修复模型中第三待变形区域对应的区域包含来大部分噪音,且该对应的区域中的顶点是没有额外约束的自由变量。因此,通过对参考模型中第三待变形区域中的顶点进行变形,可降低模型中存在的噪音,并尽可能的限制参考模型的变形程度使得参考模型本身的光滑性在变形中仍然得以保存。
在一种可选的实施方式中,步骤S506的具体实施过程可参见步骤S504和S505中的相关阐述,此处不再进行赘述。
可选地,对于第三待变形区域(例如是虚拟人的后脑勺区域)的噪音与退化,可选择在已有的数据集进行最近邻搜索,找出最为相似的参考模型。也就是说,在实际应用中,可根据待修复模型中的不同待修复区域,选择使用不同的参考模型来进行变形以拟合待修复模型。
S507、根据变形后的参考模型确定待修复模型对应的修复模型。
在一种可选的实施方式中,计算机设备可根据第一待变形区域所有第一顶点变形后的位置、第二待变形区域所有第二顶点变形后的位置以及第三待变形区域所有第三顶点变形后的位置,确定变形后的参考模型,并将变形后的参考模型确定为待修复模型的修复模型。
采用本申请实施例,一方面,通过对参考模型中第三待变形区域中的顶点进行变形,可降低模型中存在的噪音,并尽可能的限制参考模型的变形程度使得参考模型本身的光滑性在变形中仍然得以保存。另一方面,通过对参考模型中的顶点赋以不同的变形权重参数,可根据变形权重参数有针对性的对参考模型中的顶点进行变形,使得变形后的参考模型更符合待修复模型所呈现出的特征。综上所述,采用本申请实施例,通过对参考模型进行变形以拟合待修复模型,不仅保持了待修复模型所呈现出的目标对象的特征(例如虚拟人的表情特征与头部动作),与此同时修复了待修复模型中存在的噪音、退化等问题,从而能够更高效、更有针对性的修复待修复模型,使修复后的模型质量更好,更有利于使用。
需要说明的是,本申请实施例提供的模型处理方法可适用于需要对模型进行后处理的应用,包括但不限于虚拟人模型重拓扑等。
需要说明的是,当本申请实施例运用到具体产品或技术中时,本申请实施例所涉及的待修复模型、参考模型等均是在获得用户的许可或者同意后才获取的;并且待修复模型、参考模型等的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为了保证本申请实施例所提供的模型处理方法在应用时的准确性,利用本申请实施例提供的模型处理方法进行了实验。请参见图7,图7是本申请实施例提供的模型处理方法对待修复模型的处理结果示意图。
如图7所示,计算机设备对参考模型701和待修复模型702使用模型处理方法处理之后,得到了输出模型(即修复模型)703。对参考模型701和待修复模型704使用模型处理方法处理之后,得到了输出模型(即修复模型)705。对参考模型701和待修复模型707使用模型处理方法处理之后,得到了输出模型(即修复模型)707。从图7中可以看出,本申请提供的模型处理方法在对待修复模型的修复中具有明显的效果,修复模型中不仅保留了待修复模型的表情特征与头部动作,修复了待修复模型中存在的噪音、退化等问题,与此同时还保留了参考模型本身的光滑性。
基于上述模型处理方法的相关实施例的描述,本申请实施例还提出了一种模型处理装置,该模型处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),该模型处理装置可以执行图2或图5所示的模型处理方法。请参见图8,图8是本申请实施例提供的一种模型处理装置的示意图,该模型处理装置可以包括如下模块:
获取模块801,用于获取待修复模型和参考模型,待修复模型是对目标对象的扫描模型进行重拓扑处理得到,待修复模型和参考模型为具有相同拓扑结构的网格模型;
确定模块802,用于确定参考模型中的第一待变形区域和第二待变形区域;
处理模块803,用于基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件,第一顶点为第一待变形区域中的任一顶点;第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第一待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
处理模块803,还用于基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二顶点为第二待变形区域中的任一顶点;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第二待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
确定模块802,还用于根据变形后的参考模型确定待修复模型对应的修复模型。
在一种可选的实施方式中,确定模块802,还用于确定参考模型中的第三待变形区域,第三待变形区域为参考模型中除第一待变形区域和第二待变形区域之外的全部或者部分区域;
处理模块803,还用于基于待修复模型,对第三待变形区域中的顶点进行第三类型的变形处理;其中,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,第三顶点为第三待变形区域中的任一顶点。
在一种可选的实施方式中,满足第一匹配条件是指:第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致;满足第二匹配条件是指:第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。
在一种可选的实施方式中,处理模块803在用于基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理时,具体用于:
针对第二待变形区域中的第二顶点,确定第二顶点的变形权重参数;
基于待修复模型和变形权重参数,对第二顶点进行第二类型的变形处理;
其中,第二顶点的变形权重参数越大,第二顶点变形后的位置越靠近待修复模型中第二顶点对应的顶点的位置。
在一种可选的实施方式中,处理模块803在用于确定第二顶点的变形权重参数时,具体用于:
确定参考模型中第二顶点的相邻多边形面片的第一面积参数;
确定待修复模型中第二顶点对应的顶点的相邻多边形面片的第二面积参数;
根据第一面积参数和第二面积参数确定第二顶点的变形权重参数。
在一种可选的实施方式中,处理模块803在用于确定参考模型中第二顶点的相邻多边形面片的第一面积参数时,具体用于:
确定参考模型中第二顶点的各个相邻三角面片的面积;其中,当参考模型为四边形网格模型时,第二顶点的相邻三角面片是对参考模型中第二顶点的相邻四边形面片进行三角化处理得到的;
根据各个相邻三角面片的面积,确定第一面积参数。
在一种可选的实施方式中,处理模块803在用于根据第一面积参数和第二面积参数确定第二顶点的变形权重参数时,具体用于:
计算第一面积参数和第二面积参数的差异参数,根据差异参数确定第二顶点的变形权重参数;
其中,第二顶点的变形权重参数与差异参数成正比的关系。
在一种可选的实施方式中,待修复模型和参考模型为虚拟人模型,第一待变形区域为虚拟人的面部区域,第二待变形区域为虚拟人的肩颈部区域,第一待变形区域变形后所呈现出的表情特征与待修复模型所呈现出的表情特征一致;第二待变形区域变形后所呈现出的动作特征与待修复模型所呈现出的动作特征一致。
根据本申请通过的实施例,图2和图5所示的方法所涉及的各个步骤均可由图8所示的模型处理装置中的各个模块来执行的。例如,图2中所示的步骤S201可由图8中所示的获取模块801执行,步骤S202可由图8中所示的确定模块802执行,步骤S203和步骤S204可由图8中所示的处理模块803执行,步骤S205可由图8中所示的确定模块802执行。又如,图5中所示的步骤S501可由图8中所示的获取模块801执行,步骤S502可由图8中所示的确定模块802执行,步骤S503至步骤S506可由图8中所示的处理模块803执行,步骤S507可由图8中所示的确定模块802执行。
根据本申请提供的实施例,图8所示的模型处理装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成,或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由多个模块来实现,或者多个模块的功能由一个模块实现。在本申请的其它实施例中,基于模型处理装置也包括其他模块,在实际应用中,这些功能也可以由其它模块协助实现,并且可以由多个模块协作实现。
根据本申请提供的一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图2所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的模型处理装置,以及来实现本申请实施例的模型处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算机设备中,并在其中运行。
可以理解的是,本申请实施例提供的模型处理装置中各个单元的具体实现以及可以达到的有益效果可参考前述模型处理方法实施例的描述,在此不再赘述。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备。请参见图9,该计算机设备至少包括处理器901、存储器902、通信接口903。上述处理器901、存储器902和通信接口903可通过总线904或其他方式连接,本申请实施例以通过总线904连接为例。
其中,处理器(或称中央处理器(Central Processing Unit,CPU))901是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析用户向计算机设备所发送的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。通信接口903可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等),受处理器901的控制用于收发数据。存储器(Memory)902是计算机设备中的记忆设备,用于存放计算机程序和数据。可以理解的是,此处的存储器902既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器902提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Windows系统、Linux系统、Android系统、iOS系统,等等,本申请对此并不作限定。在一种可选的实施方式中,本申请实施例的处理器901可通过运行存储器902中存储的计算机程序,执行如下操作:
获取待修复模型和参考模型,待修复模型是对目标对象的扫描模型进行重拓扑处理得到,待修复模型和参考模型为具有相同拓扑结构的网格模型;
确定参考模型中的第一待变形区域和第二待变形区域;
基于待修复模型,对第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置满足第一匹配条件,第一顶点为第一待变形区域中的任一顶点;第一待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第一待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与待修复模型中第二顶点对应的顶点的位置满足第二匹配条件,且第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,第二顶点为第二待变形区域中的任一顶点;第二待变形区域变形后所呈现出的目标对象的行为特征,与待修复模型中第二待变形区域对应的区域所呈现出的目标对象的行为特征相匹配;
根据变形后的参考模型确定待修复模型对应的修复模型。
在一种可选的实施方式中,处理器901还用于:
确定参考模型中的第三待变形区域,第三待变形区域为参考模型中除第一待变形区域和第二待变形区域之外的全部或者部分区域;
基于待修复模型,对第三待变形区域中的顶点进行第三类型的变形处理;其中,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,第三顶点为第三待变形区域中的任一顶点。
在一种可选的实施方式中,满足第一匹配条件是指:第一顶点变形后的位置与待修复模型中第一顶点对应的顶点的位置一致;满足第二匹配条件是指:第二顶点变形后的位置趋近于待修复模型中第二顶点对应的顶点的位置。
在一种可选的实施方式中,处理器901在用于基于待修复模型,对第二待变形区域中的顶点进行第二类型的变形处理时,具体用于:
针对第二待变形区域中的第二顶点,确定第二顶点的变形权重参数;
基于待修复模型和变形权重参数,对第二顶点进行第二类型的变形处理;
其中,第二顶点的变形权重参数越大,第二顶点变形后的位置越靠近待修复模型中第二顶点对应的顶点的位置。
在一种可选的实施方式中,处理器901在用于确定第二顶点的变形权重参数时,具体用于:
确定参考模型中第二顶点的相邻多边形面片的第一面积参数;
确定待修复模型中第二顶点对应的顶点的相邻多边形面片的第二面积参数;
根据第一面积参数和第二面积参数确定第二顶点的变形权重参数。
在一种可选的实施方式中,处理器901在用于确定参考模型中第二顶点的相邻多边形面片的第一面积参数时,具体用于:
确定参考模型中第二顶点的各个相邻三角面片的面积;其中,当参考模型为四边形网格模型时,第二顶点的相邻三角面片是对参考模型中第二顶点的相邻四边形面片进行三角化处理得到的;
根据各个相邻三角面片的面积,确定第一面积参数。
在一种可选的实施方式中,处理器901在用于根据第一面积参数和第二面积参数确定第二顶点的变形权重参数时,具体用于:
计算第一面积参数和第二面积参数的差异参数,根据差异参数确定第二顶点的变形权重参数;
其中,第二顶点的变形权重参数与差异参数成正比的关系。
在一种可选的实施方式中,待修复模型和参考模型为虚拟人模型,第一待变形区域为虚拟人的面部区域,第二待变形区域为虚拟人的肩颈部区域,第一待变形区域变形后所呈现出的表情特征与待修复模型所呈现出的表情特征一致;第二待变形区域变形后所呈现出的动作特征与待修复模型所呈现出的动作特征一致。
具体实现中,本申请实施例中所描述的处理器901、存储器902、通信接口903可执行本申请实施例提供的模型处理方法中所描述的计算机设备的实现方式,也可执行本申请实施例提供的模型处理装置中所描述的实现方式,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的模型处理方法。其具体实现方式可参考前文描述,此处不再赘述。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机指令,计算机程序或计算机指令被处理器执行时实现本申请实施例提供的模型处理方法。其具体实现方式可参考前文描述,此处不再赘述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (12)
1.一种模型处理方法,其特征在于,所述方法包括:
获取待修复模型和参考模型,所述待修复模型是对目标对象的扫描模型进行重拓扑处理得到,所述待修复模型和所述参考模型为具有相同拓扑结构的网格模型;
确定所述参考模型中的第一待变形区域和第二待变形区域;
基于所述待修复模型,对所述第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与所述待修复模型中所述第一顶点对应的顶点的位置满足第一匹配条件,所述第一顶点为所述第一待变形区域中的任一顶点;所述第一待变形区域变形后所呈现出的所述目标对象的行为特征,与所述待修复模型中所述第一待变形区域对应的区域所呈现出的所述目标对象的行为特征相匹配;
基于所述待修复模型,对所述第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与所述待修复模型中所述第二顶点对应的顶点的位置满足第二匹配条件,且所述第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,所述第二顶点为所述第二待变形区域中的任一顶点;所述第二待变形区域变形后所呈现出的所述目标对象的行为特征,与所述待修复模型中所述第二待变形区域对应的区域所呈现出的所述目标对象的行为特征相匹配;
根据变形后的参考模型确定所述待修复模型对应的修复模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述参考模型中的第三待变形区域,所述第三待变形区域为所述参考模型中除所述第一待变形区域和所述第二待变形区域之外的全部或者部分区域;
基于所述待修复模型,对所述第三待变形区域中的顶点进行第三类型的变形处理;其中,第三顶点与其相邻顶点变形后的差异趋近于变形前的差异,所述第三顶点为所述第三待变形区域中的任一顶点。
3.根据权利要求1或2所述的方法,其特征在于,所述满足第一匹配条件是指:所述第一顶点变形后的位置与所述待修复模型中所述第一顶点对应的顶点的位置一致;所述满足第二匹配条件是指:所述第二顶点变形后的位置趋近于所述待修复模型中所述第二顶点对应的顶点的位置。
4.根据权利要求3所述的方法,其特征在于,所述基于所述待修复模型,对所述第二待变形区域中的顶点进行第二类型的变形处理,包括:
针对所述第二待变形区域中的所述第二顶点,确定所述第二顶点的变形权重参数;
基于所述待修复模型和所述变形权重参数,对所述第二顶点进行第二类型的变形处理;
其中,所述第二顶点的变形权重参数越大,所述第二顶点变形后的位置越靠近所述待修复模型中所述第二顶点对应的顶点的位置。
5.根据权利要求4所述的方法,其特征在于,所述确定所述第二顶点的变形权重参数,包括:
确定所述参考模型中所述第二顶点的相邻多边形面片的第一面积参数;
确定所述待修复模型中所述第二顶点对应的顶点的相邻多边形面片的第二面积参数;
根据所述第一面积参数和所述第二面积参数确定所述第二顶点的变形权重参数。
6.根据权利要求5所述的方法,其特征在于,所述确定所述参考模型中所述第二顶点的相邻多边形面片的第一面积参数,包括:
确定所述参考模型中所述第二顶点的各个相邻三角面片的面积;其中,当所述参考模型为四边形网格模型时,所述第二顶点的相邻三角面片是对所述参考模型中所述第二顶点的相邻四边形面片进行三角化处理得到的;
根据所述各个相邻三角面片的面积,确定所述第一面积参数。
7.根据权利要求5所述的方法,其特征在于,所述根据所述第一面积参数和所述第二面积参数确定所述第二顶点的变形权重参数,包括:
计算所述第一面积参数和所述第二面积参数的差异参数,根据所述差异参数确定所述第二顶点的变形权重参数;
其中,所述第二顶点的变形权重参数与所述差异参数成正比的关系。
8.根据权利要求1所述的方法,其特征在于,所述待修复模型和所述参考模型为虚拟人模型,所述第一待变形区域为虚拟人的面部区域,所述第二待变形区域为虚拟人的肩颈部区域,所述第一待变形区域变形后所呈现出的表情特征与所述待修复模型所呈现出的表情特征一致;所述第二待变形区域变形后所呈现出的动作特征与所述待修复模型所呈现出的动作特征一致。
9.一种模型处理装置,其特征在于,所述装置包括:
获取模块,用于获取待修复模型和参考模型,所述待修复模型是对目标对象的扫描模型进行重拓扑处理得到,所述待修复模型和所述参考模型为具有相同拓扑结构的网格模型;
确定模块,用于确定所述参考模型中的第一待变形区域和第二待变形区域;
处理模块,用于基于所述待修复模型,对所述第一待变形区域中的顶点进行第一类型的变形处理;第一顶点变形后的位置与所述待修复模型中所述第一顶点对应的顶点的位置满足第一匹配条件,所述第一顶点为所述第一待变形区域中的任一顶点;所述第一待变形区域变形后所呈现出的所述目标对象的行为特征,与所述待修复模型中所述第一待变形区域对应的区域所呈现出的所述目标对象的行为特征相匹配;
所述处理模块,还用于基于所述待修复模型,对所述第二待变形区域中的顶点进行第二类型的变形处理;第二顶点变形后的位置与所述待修复模型中所述第二顶点对应的顶点的位置满足第二匹配条件,且所述第二顶点与其相邻顶点变形后的差异趋近于变形前的差异,所述第二顶点为所述第二待变形区域中的任一顶点;所述第二待变形区域变形后所呈现出的所述目标对象的行为特征,与所述待修复模型中所述第二待变形区域对应的区域所呈现出的所述目标对象的行为特征相匹配;
所述确定模块,还用于根据变形后的参考模型确定所述待修复模型对应的修复模型。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器、通信接口以及处理器,其中,所述存储器、所述通信接口和所述处理器相互连接;所述存储器存储有计算机程序,所述处理器调用所述存储器中存储的计算机程序,用于实现权利要求1至8任一项所述的模型处理方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的模型处理方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现如权利要求1至8中任一项所述的模型处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210527566.4A CN114913305B (zh) | 2022-05-16 | 2022-05-16 | 模型处理方法、装置、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210527566.4A CN114913305B (zh) | 2022-05-16 | 2022-05-16 | 模型处理方法、装置、设备、存储介质及计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114913305A true CN114913305A (zh) | 2022-08-16 |
CN114913305B CN114913305B (zh) | 2024-07-26 |
Family
ID=82766664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210527566.4A Active CN114913305B (zh) | 2022-05-16 | 2022-05-16 | 模型处理方法、装置、设备、存储介质及计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114913305B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235824A (zh) * | 2023-11-14 | 2023-12-15 | 腾讯科技(深圳)有限公司 | 共面拟合方法、装置、设备及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714221A (zh) * | 2014-01-08 | 2014-04-09 | 上海明穆电子科技有限公司 | 一种利用人体形态参数调整三维人体的变形方法 |
US20170330375A1 (en) * | 2015-02-04 | 2017-11-16 | Huawei Technologies Co., Ltd. | Data Processing Method and Apparatus |
CN111028343A (zh) * | 2019-12-16 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
WO2020140617A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技(深圳)有限公司 | 一种图像处理方法、终端设备及计算机可读介质 |
US20200286284A1 (en) * | 2019-03-07 | 2020-09-10 | Lucasfilm Entertainment Company Ltd. | On-set facial performance capture and transfer to a three-dimensional computer-generated model |
CN112085835A (zh) * | 2020-08-31 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
US20210027527A1 (en) * | 2018-02-27 | 2021-01-28 | Sharp Kabushiki Kaisha | Image processing apparatus, display apparatus, image processing method, control program, and recording medium |
CN114004940A (zh) * | 2021-12-31 | 2022-02-01 | 北京大学口腔医学院 | 面部缺损参照数据的非刚性生成方法、装置及设备 |
-
2022
- 2022-05-16 CN CN202210527566.4A patent/CN114913305B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714221A (zh) * | 2014-01-08 | 2014-04-09 | 上海明穆电子科技有限公司 | 一种利用人体形态参数调整三维人体的变形方法 |
US20170330375A1 (en) * | 2015-02-04 | 2017-11-16 | Huawei Technologies Co., Ltd. | Data Processing Method and Apparatus |
US20210027527A1 (en) * | 2018-02-27 | 2021-01-28 | Sharp Kabushiki Kaisha | Image processing apparatus, display apparatus, image processing method, control program, and recording medium |
WO2020140617A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技(深圳)有限公司 | 一种图像处理方法、终端设备及计算机可读介质 |
US20200286284A1 (en) * | 2019-03-07 | 2020-09-10 | Lucasfilm Entertainment Company Ltd. | On-set facial performance capture and transfer to a three-dimensional computer-generated model |
CN111028343A (zh) * | 2019-12-16 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
CN112085835A (zh) * | 2020-08-31 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
CN114004940A (zh) * | 2021-12-31 | 2022-02-01 | 北京大学口腔医学院 | 面部缺损参照数据的非刚性生成方法、装置及设备 |
Non-Patent Citations (2)
Title |
---|
杨荣: "利用现有模型修复不完整三维模型", 计算机辅助设计与图形学学报, vol. 27, no. 1, 5 January 2015 (2015-01-05), pages 98 - 105 * |
王珊;沈旭昆;赵沁平;: "三维人脸表情获取及重建技术综述", 系统仿真学报, no. 07, 8 July 2018 (2018-07-08), pages 6 - 27 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235824A (zh) * | 2023-11-14 | 2023-12-15 | 腾讯科技(深圳)有限公司 | 共面拟合方法、装置、设备及计算机可读存储介质 |
CN117235824B (zh) * | 2023-11-14 | 2024-01-19 | 腾讯科技(深圳)有限公司 | 共面拟合方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114913305B (zh) | 2024-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022022154A1 (zh) | 脸部图像处理方法、装置、设备及存储介质 | |
US10726599B2 (en) | Realistic augmentation of images and videos with graphics | |
CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
US9959670B2 (en) | Method for rendering terrain | |
CN111696196B (zh) | 一种三维人脸模型重建方法及装置 | |
CN114842121B (zh) | 贴图生成模型训练和贴图生成方法、装置、设备及介质 | |
CN112102480B (zh) | 图像数据处理方法、装置、设备以及介质 | |
US11423617B2 (en) | Subdividing a three-dimensional mesh utilizing a neural network | |
CN115018992B (zh) | 发型模型的生成方法、装置、电子设备及存储介质 | |
CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
CN116129076B (zh) | 一种规则特征保持的建筑物Mesh模型简化方法 | |
CN113593037A (zh) | 一种德劳内三角化表面重建模型的建立方法及其应用 | |
CN117422884A (zh) | 三维目标检测方法、系统、电子设备及存储介质 | |
CN114913305B (zh) | 模型处理方法、装置、设备、存储介质及计算机程序产品 | |
CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 | |
CN114399002A (zh) | 基于图神经网络的图像场景分类方法及装置 | |
CN114638746A (zh) | 基于人像的卡通头像生成方法、装置、设备和介质 | |
CN115760888A (zh) | 图像处理方法、装置、计算机及可读存储介质 | |
Eken et al. | Performance evaluations of vector-raster satellite image transfers through web services | |
KR102526189B1 (ko) | 3차원 이미지 모델링 장치 및 방법 | |
CN115937338B (zh) | 图像处理方法、装置、设备及介质 | |
CN116824132B (zh) | 平面图分割方法、装置及电子设备 | |
CN116486108B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN116977627A (zh) | 图像分割方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40074027 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |