CN112614228B - 三维网格的简化方法、装置、电子设备和存储介质 - Google Patents

三维网格的简化方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112614228B
CN112614228B CN202011503089.5A CN202011503089A CN112614228B CN 112614228 B CN112614228 B CN 112614228B CN 202011503089 A CN202011503089 A CN 202011503089A CN 112614228 B CN112614228 B CN 112614228B
Authority
CN
China
Prior art keywords
dimensional
target
triangle
grid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011503089.5A
Other languages
English (en)
Other versions
CN112614228A (zh
Inventor
黄飞鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011503089.5A priority Critical patent/CN112614228B/zh
Publication of CN112614228A publication Critical patent/CN112614228A/zh
Application granted granted Critical
Publication of CN112614228B publication Critical patent/CN112614228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本公开关于三维网格的简化方法、装置、电子设备和存储介质。所述方法包括:获取目标对象的三维网格模型,并将三维网格模型转换为二维网格图像,该三维网格模型包括多个三维三角形;获取二维遮罩图像,该二维遮罩图像与上述二维网格图像尺寸相同且包括目标遮罩区域,并在二维网格图像中确定对应于目标遮罩区域的二维目标区域,上述二维目标区域中包括多个二维目标三角形;确定三维网格模型中对应于二维目标三角形的三维目标三角形,并将三维目标三角形构成的三维网格作为简化后的三维简化网格。该方案不仅能够有效简化人脸三维网格,而且能在多种场景下实现对于特定区域的精细化美妆特效。

Description

三维网格的简化方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理领域,尤其涉及一种三维网格的简化方法、装置、电子设备和存储介质。
背景技术
现阶段,手机、平板电脑等智能终端在拍摄或播放视频过程中,往往会为用户提供三维美妆滤镜、虚拟人物等针对特定对象的特效。以三维美妆特效为例,其通常需要针对人脸建立三维网格模型,然后基于该网格进行渲染得到三维美妆特效并进行展示。然而,由于三维网格模型为实现更丰富的细节展示效果,往往具有大量(如1万)的三维网格顶点,从而精细化的渲染对设备性能提出了较高的要求,运行过程中常常导致设备发烫、程序卡顿甚至崩溃退出等。
为解决这一问题,相关技术中提出了两类解决方案:一类是采用AI技术生成较为粗糙(网格顶点较为稀疏)的三维网格模型,并使用预先制作的法线贴图获取网格顶点的法向量,从而实现网格的简化。然而,该由于方案的局部特征匹配度低,丢失了大量的面部细节,因此仅适用于全脸的整体美妆特效(如全脸打光等)中,而对于质感眼影、真实感唇妆等精细化美妆特效则效果欠佳。
另一类方案是使用预先制作的精细的三维人脸局部网格和法线贴图获取网格顶点的法向量。该方式虽然解决了局部精细化的问题,但由于采用固定的三维人脸局部网格,所以简化后的网格并不会随着真实人脸变化而变动,例如嘴巴张开与者闭合时,渲染结果是一样的,因此该方案只能应用于某些固定的美妆场景当中,通用性较差。
发明内容
本公开提供了三维网格的简化方法、装置、电子设备和存储介质,以至少解决相关技术中的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提出一种三维网格的简化方法,包括:
获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型包括多个三维三角形;
获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形;
确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
可选的,所述获取二维遮罩图像,包括:
响应于特效选取操作,确定被选取的目标特效,并获取预关联至所述目标特效的二维遮罩图像;或者,
响应于区域绘制操作,在所述三维网格模型中确定相应的绘制区域,并根据包含所述绘制区域的所述三维网格模型生成二维遮罩图像,其中,生成的所述二维遮罩图像中的目标遮罩区域对应于所述绘制区域。
可选的,任一所述三维三角形及其在所述二维网格图像中对应的二维三角形具有相同的索引信息,所述索引信息用于记录构成三角形的三个顶点,所述确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格,包括:
根据所述二维网格图像中各个三角形顶点的顶点坐标,确定位于所述二维目标区域中的目标顶点,并将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形;
将所述二维目标三角形的索引信息添加至三角形索引集合,并使用所述三角形索引集合中包含的全部索引信息确定三维目标三角形;
使用所述三维目标三角形绘制三维网格,并将绘制的三维网格作为简化后的三维简化网格。
可选的,所述方法还包括:
将所述目标顶点的顶点标识或顶点坐标添加至顶点索引集合;
所述将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形,包括:若任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于所述顶点索引集合,则将所述任一二维三角形确定为二维目标三角形。
可选的,所述预设数量不小于1,或不小于2,或等于3。
可选的,还包括:
获取所述目标对象的特效素材;
根据所述三维简化网格和所述特效素材生成并展示所述目标对象的特效图像。
可选的,所述目标对象包括人脸或人体。
根据本公开实施例的第二方面,提出一种三维网格的简化装置,包括:
网格转换单元,被配置为获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型包括多个三维三角形;
图像获取单元,被配置为获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形;
网格简化单元,被配置为确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
可选的,所述图像获取单元还被配置为:
响应于特效选取操作,确定被选取的目标特效,并获取预关联至所述目标特效的二维遮罩图像;或者,
响应于区域绘制操作,在所述三维网格模型中确定相应的绘制区域,并根据包含所述绘制区域的所述三维网格模型生成二维遮罩图像,其中,生成的所述二维遮罩图像中的目标遮罩区域对应于所述绘制区域。
可选的,任一所述三维三角形及其在所述二维网格图像中对应的二维三角形具有相同的索引信息,所述索引信息用于记录构成三角形的三个顶点,所述网格简化单元还被配置为:
根据所述二维网格图像中各个三角形顶点的顶点坐标,确定位于所述二维目标区域中的目标顶点,并将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形;
将所述二维目标三角形的索引信息添加至三角形索引集合,并使用所述三角形索引集合中包含的全部索引信息确定三维目标三角形;
使用所述三维目标三角形绘制三维网格,并将绘制的三维网格作为简化后的三维简化网格。
可选的,所述装置还包括:
顶点索引集合单元,被配置为将所述目标顶点的顶点标识或顶点坐标添加至顶点索引集合;
所述网格简化单元还被配置为:所述将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形,包括:若任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于所述顶点索引集合,则将所述任一二维三角形确定为二维目标三角形。
可选的,所述预设数量不小于1,或不小于2,或等于3。
可选的,还包括:
素材获取单元,被配置为获取所述目标对象的特效素材;
特效展示单元,被配置为根据所述三维简化网格和所述特效素材生成并展示所述目标对象的特效图像。
可选的,所述目标对象包括人脸或人体。
根据本公开实施例的第三方面,提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一实施例所述的三维网格的简化方法。
根据本公开实施例的第四方面,提出一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面中任一实施例所述的三维网格的简化方法。
根据本公开实施例的第五方面,提出一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述第一方面中任一实施例所述的三维网格的简化方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的实施例,本方案通过将待简化的三维网格模型展开为二维网格图像,并根据二维遮罩图像中包含的目标遮罩区域确定二维网格图像中的二维目标区域,进而识别出二维目标区域中的二维目标三角形,并将由三维网格模型中对应于二维目标三角形的三维目标三角形构成的三维网格确定为简化后的三维简化网格。可见,通过将待简化的三维网格模型降维为二维网格图像,进而通过确定二维网格图像中的二维目标三角形,将三维网格模型简化为三维简约化网格,实现了对三维网格模型中特定区域(即三维目标区域,如人脸的眼部、嘴部等)的裁剪效果,即仅将三维网格模型中特定区域中的三维三角形构成的三维网格作为三维简化网格,从而有效实现了对整个三维网格模型的有效简化。
因为无论三维网格模型如何变化其对应的二维网格图像中的二维三角形均保持不变,而本方案根据二维网格图像中的二维目标三角形确定三维目标三角形,进而将三维目标三角形构成的三维网格确定为三维简化网格,所以能够保证上述过程得到的三维简化网格中的三角形与三维网格模型的特定区域中原有的三维三角形完全相同,因此三维简化网格的精细化程度与三维原始图像在特定区域中的精细化程度相同,从而便于实现对于特定区域的精细化美妆特效。而且可以理解的是,因为在三维网格模型变化时,其对应的二维网格图像保持不变,所以无论目标对象位置或表情如何变化,构成三维简化网格的三维目标三角形都保持不变,而只是三角形位置(即顶点坐标)发生变化,因此针对三维简化网格的渲染效果会随着目标对象变化而相应变化,且能够保持原有的精细化程度,进而能够适用于多种变化的场景,通用性强。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据本公开的实施例示出的一种三维网格模型的示意图;
图2是根据本公开的实施例示出的一种二维网格图像的示意图;
图3是根据本公开的实施例示出的一种三维网格的简化方法的流程图;
图4是根据本公开的实施例示出的一种三维美妆特效展示方法的流程图;
图5是根据本公开的实施例示出的另一种三维网格的简化方法的流程图;
图6是根据本公开的实施例示出的一种三维网格的简化的效果示意图;
图7是根据本公开的实施例示出的一种三维网格的简化装置的示意框图;
图8是根据本公开的实施例示出的一种电子设备的结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现阶段,手机、平板电脑等智能终端在拍摄或播放视频过程中,往往会为用户提供三维美妆滤镜、虚拟人物等特效。以三维美妆特效为例,其通常需要针对人脸建立三维网格模型,然后基于该网格进行渲染得到三维美妆特效并进行展示。然而,由于三维网格模型为实现更丰富的细节展示效果,往往具有大量的三维网格顶点,从而精细化的渲染对设备性能提出了较高的要求,运行过程中常常导致设备发烫、程序卡顿甚至崩溃退出等。
为解决这一问题,相关技术中提出了两类解决方案:一类是采用AI技术生成较为粗糙(网格顶点较为稀疏)的三维网格模型,并使用预先制作的法线贴图获取网格顶点的法向量,从而实现网格的简化,然而,该由于方案的局部特征匹配度低,丢失了大量的面部细节,因此仅适用于全脸的整体美妆特效(如全脸打光等)中,而对于质感眼影、真实感唇妆等精细化美妆特效则效果欠佳。
另一类方案是使用预先制作的精细的三维人脸局部网格和法线贴图获取网格顶点的法向量。该方式虽然解决了局部精细化的问题,但由于采用固定的三维人脸局部网格,所以简化后的网格并不会随着真实人脸变化而变动,例如嘴巴张开与者闭合时,渲染结果是一样的,因此该方案只能应用于某些固定的美妆场景当中,通用性较差。
为解决上述技术问题,本公开提出一种三维网格的简化方法,通过将待简化的三维网格模型降维展开为二维网格图像,并根据包含有目标遮罩区域的二维遮罩图像确定位于二维网格图像的二维目标区域中的二维目标三角形,进而从三维原始图像中确定出相应的目标三维网格以作为三维简化网格,最终实现从三维网格模型中裁剪出对应于二维目标区域的三维简化网格的效果。该方案能够大大减少三维简化网格中的三维三角形的数量,有助于降低渲染计算量从而减少设备发热并避免卡顿;而且简化后的三维简化网格与简化前的三维网格模型中对应于三维目标区域的部分精细程度相同,因此能够实现针对三维目标区域的精细化渲染效果。另外,因为三维网格模型对应的二维网格图像保持不变,所以无论三维网格模型随对象(如人脸)如何变化,其对应的三维简化网格都会随之相应变化,进而实现渲染效果的动态跟踪,能够适用于多种每美妆场景,具有较强的通用性。
首先,以目标对象为人脸为例,结合图1所示的一种三维网格模型示意图及图2所示的一种二维网格图像示意图对本公开涉及到的相关概念进行统一说明。
如图1所示,对于视频画面或拍摄得到的目标人脸,可以通过AI(ArtificialIntelligence,人工智能)建模的方式生成三维网格模型100(即待简化的三维网格模型),其中包括多个三角形顶点(如顶点101),包括顶点101在内的三个相邻顶点根据三角形的索引信息构成三维三角形102。其中,可以预先为三维网格模型100中的各个顶点分配顶点编号,因此,可以将构成任一三维三角形的三个顶点的顶点编号作为该三角形的索引信息。在本公开方案中,对应于二维掩码图像中的目标掩码区域,三维网格模型100中可以存在相应的三维目标区域103(如图1所述的嘴部区域)。
将图1所示的三维网格模型100展开(或称UV展开)至二维,可以得到二维网格图像200,其中包括多个三角形顶点(如顶点201),包括顶点201在内的三个相邻顶点根据三角形的索引信息构成二维三角形202。其中,可以沿用为三维网格模型100中的各个顶点分配顶点编号对各个二维三角形的顶点进行标号,进而可以将构成任一二维三角形的三个顶点的顶点编号作为该三角形的索引信息。在本公开方案中,对应于二维掩码图像中的目标掩码区域,二维网格图像200中可以存在相应的二维目标区域203(如图2所示的嘴部区域)。
需要说明的是,上述三维网格模型100和二维网格图像200中的各个顶点一一对应,各个顶点构成的二维三角形和三维三角形也一一对应,进而三维网格模型100中的任一三维三角形与其在二维网格图像200中对应的二维三角形具有相同的索引信息。在目标人脸发生位置变化或表情改变的情况下,三维网格模型100中的各个顶点与二维网格图像200中的各个顶点之间的对应关系保持不变,从而三维网格模型100中的各个三维三角形与二维网格图像200中的各个二维三角形之间的对应关系也保持不变。例如,在图1及图2所对应人脸的面部表情发生变化时,无论各个顶点在三维网格模型100中的空间位置坐标、二维网格模型200中的空间位置信息以及各个顶点之间的相对位置关系如何变化,顶点101与顶点201之间的对应关系、以及三维三角形102与二维三角形202之间的对应关系均保持不变。类似的,三维目标区域103与二维目标区域203之间的对应关系,以及两区域中各个顶点及三角形之间的对应关系均保持不变,不再赘述。
图3是本说明书一示例性实施例示出的一种三维网格的简化方法的流程图。如图3所示,该方法应用于图像处理设备,可以包括以下步骤:
步骤302,获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型三维三角形。
在一实施例中,可以在拍照、摄像、视频(如已录制视频或直播视频)播放等场景中实施本公开实施例所述的方案,相应的,对于拍摄或摄像过程中的预览画面,或者被播放的视频画面,可以通过对象识别等方式确定其中的目标对象,如人脸对象、宠物对象、虚拟物体对象等。然后,可以通过预训练的AI建模网络对识别出的目标对象进行三维网格建模,以获取目标对象的三维网格模型,当然,必要时也可以结合深度传感器等硬件构建上述三维网格模型,本公开实施例并不对此进行限制。或者,也可以从服务端或预关联的其他设备中获取三维网格模型,不再赘述。
对于获取到的三维网格模型,可以采用相关技术中记载的threejs模型、UV算法、3dsmax组件等方式将其展开为二维网格图像,此处不再赘述。
步骤304,获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形。
因为本公开方案可以应用在拍照、摄像或者视频播放等场景中,所以相应的图像采集设备或者画面展示设备可以为用户提供针对预览画面或视频画面的三维美妆等特效,相应的,用户可以在查看预览画面或视频画面的过程中选取其感兴趣的特效。在一实施例中,图像处理设备可以响应于特效选取操作,确定被选取的目标特效,并获取预关联至该目标特效的二维遮罩图像。其中,可以针对多种不同的特效分别设置不同的二维遮罩图像,如对于质感眼影特效,可以预关联包括双眼部位的二维遮罩图像;对于真实感唇妆,可以预关联包括嘴部的二维遮罩图像等,相应的,用户可以在上述多种特效中选取某种特效用于展示。上述二维遮罩图像可以为掩码图像,如包括人脸双眼部位(即目标区域)的二维遮罩图像中,位于双眼部位中的像素点的灰度值可以为255(白色),而其他区域的像素点的灰度值可以为0(黑色),当然也可以为其他值,本公开实施例并不对此进行限制。此时,通过针对各个备选特效设置预关联的二维遮罩图像,能够在用户选取了某种待展示特效的情况下,实现二维遮罩图像的快速确定及获取。
在一实施例中,图像处理设备可以响应于上述特效选取操作,确定三维网格模型中对应于被选取的特效功能的三维目标区域,并获取预关联至三维目标区域的二维遮罩图像。此时,基于用户针对备选特效实施的选取操作确定符合用户操作的三维目标区域,从而保证获取到的二维遮罩图像更加符合用户意愿,一定程度上保证最终的三维简化网格满足用户的个性化特效展示需求。
在一实施例中,上述二维遮罩图像也可以是预先绘制完成并保存在图像处理设备的本地,从而图像处理设备可以直接从本地保存的二维遮罩图像中获取对应于目标对象的二维遮罩图像。进而,在获取上述二维遮罩图像之后,可以将二维网格图像的尺寸调整至与二维遮罩图像的尺寸相同。因为图像处理设备中展示的画面尺寸或者识别出的目标对象的尺寸存在多种可能,因而相应的三维网格模型的尺寸也不固定,所以通过预先建立标准尺寸的二维遮罩图像,并在确定上述二维网格图像之后,将二维遮罩图像的标准尺寸转换(如图像缩放)至与二维网格图像的尺寸相同,以保证目标遮罩区域与二维目标区域的大小相同且相互重叠。
在一实施例中,也可以由用户绘制以指定目标区域。例如,图像处理设备可以响应于区域绘制操作,在三维网格模型中确定相应的绘制区域,并根据包含该绘制区域的三维网格模型生成二维遮罩图像,其中,生成的二维遮罩图像中的目标遮罩区域对应于上述绘制区域。可以理解的是,用户可以根据自身要实现的展示效果绘制相应的目标区域,例如,在用户想要实现眼部特效的时,其可以在图像处理设备中展示的人脸图像中通过在触摸屏中做出预设手势绘制包含人眼的目标区域,或者在用户想要实现鼻部特效的时,其可以做出预设手势绘制包含鼻子的目标区域等,不在赘述。通过上述方式,由用户自定义的任意绘制目标区域,从而图像处理设备可以准确地确定出符合用户意愿的目标区域,从而有助于提升三位网格的简化效果及简化准确度。
步骤306,确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
在一实施例中,三维网格模型中的任一三维三角形及其在二维网格图像对应的二维三角形存在相同的索引信息,该索引信息可以用于记录构成三角形的三个顶点,此时可以通过下述方式确定三维简化网格:先根据二维网格图像中各个三角形顶点的顶点坐标,确定位于二维目标区域中的目标顶点,并将包含预设数量的目标顶点的二维三角形确定为二维目标三角形;然后将二维目标三角形的索引信息添加至三角形索引集合,并使用三角形索引集合中包含的全部索引信息确定三维目标三角形;最后使用三维目标三角形绘制三维网格,并将绘制的该三维网格作为简化后的三维简化网格。可见,上述三角形索引集合中包含的索引信息,对应于在三维网格模型中位于三维目标区域中的三维三角形顶点的顶点信息,该顶点信息即为在二维网格图像中位于二维目标区域中的二维三角形顶点的顶点信息。例如,在三维目标区域为眼部区域且该眼部区域中包含60个三角形顶点的情况下,上述索引信息可以包括这60个顶点的顶点编号或者顶点位置坐标等信息。
进一步的,还可以将目标顶点的顶点标识或顶点坐标添加至顶点索引集合,并将在任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于上述顶点索引集合的情况下,将该任一二维三角形确定为二维目标三角形,从而将处于上述顶点索引集合中的顶点个数满足预设数量的三角形,确定为上述二维目标三角形。例如,为保证三维简化网格的完整性,可以在任一二维三角形的一个三角形顶点为目标顶点的情况下,即将该任一二维三角形确定为上述二维目标三角形。或者,为实现更好的简化效果,即尽量减小三维目标区域的面积,可以在任一二维三角形的三个三角形顶点均为目标顶点的情况下,才将该任一二维三角形确定为上述二维目标三角形。可见,上述预设数量n应当满足下述之一的条件:n≥1、n≥2或者n=3,即上述预设数量可以不小于1,也可以不小于2,还可以等于3,n的具体区域可以灵活调整,本公开实施例并不对此进行限制。可以理解的是,确定上述二维目标三角形时依据的三角形顶点的个数与最终得到的简化结果的精细程度有关,因此可以根据业务场景、用户需求、设备性能等多种条件预先设置确定上述二维目标三角形时依据的三角形顶点的个数。
在一实施例中,图像处理设备可以获取目标对象的特效素材;然后根据三维网格模型和特效素材生成并展示目标对象的特效图像。例如,在三维网格模型为三维网格模型的情况下,上述三维简化网格可以为三维人脸简化网格,此时可以获取人脸图像对应的特效素材,进而根据该三维人脸简化网格和特效素材生成并展示人脸特效图像,以实现上述三维美妆特效的渲染与展示。
在上述各实施例中,上述目标对象可以为人脸或人体,当然还可以为动物、车辆、建筑等,本公开实施例并不对此进行限制。
根据本公开的实施例,本方案通过将待简化的三维网格模型展开为二维网格图像,并根据二维遮罩图像中包含的目标遮罩区域确定二维网格图像中的二维目标区域,进而识别出二维目标区域中的二维目标三角形,并进一步确定三维网格模型中对应于二维目标三角形的三维目标三角形,最终将三维目标三角形构成的三角形网格作为简化后的三维简化网格。可见,通过将待简化的三维网格模型降维为二维网格图像,进而通过确定二维网格图像中的二维目标三角形,将三维网格模型简化为三维简约化网格,实现了对三维网格模型中特定区域的裁剪效果,即仅将三维网格模型中特定区域中的三维三角形构成的三维网格作为三维简化网格,从而有效实现了对整个三维网格模型的有效简化。
因为无论三维网格模型如何变化其对应的二维网格图像中的二维三角形均保持不变,而本方案根据二维网格图像中的二维目标三角形确定三维目标三角形,进而将三维目标三角形构成的三维网格确定为三维简化网格,所以能够保证上述过程得到的三维简化网格中的三角形与三维网格模型的特定区域中原有的三维三角形完全相同,因此三维简化网格的精细化程度与三维原始图像在特定区域中的精细化程度相同,从而便于实现对于特定区域的精细化美妆特效。而且可以理解的是,因为在三维网格模型变化时,其对应的二维网格图像保持不变,所以无论目标对象位置或表情如何变化,构成三维简化网格的三维三角形都保持不变,而只是三角形位置(对应于顶点坐标)发生变化,因此针对三维简化网格的渲染效果会随着目标对象变化而相应变化,且能够保持原有的精细化程度,进而能够适用于多种变化的场景,通用性强。
如前所述,本公开的三维网格的简化方法可以用于实现针对人脸的三维美妆特效,下面结合图4-图6,以照片拍摄场景下的三维网格的简化方法进行详细说明。
图4是根据本公开的实施例示出的一种三维美妆特效展示方法的流程图。如图4所示,该方法应用于图像处理设备,该方法可以包括下述步骤402-414。
步骤402,展示目标视频的当前帧画面。
在本实施中,图像处理设备可以为手机、平板电脑、智能手表等移动终端,图像处理设备可以获取并展示目标视频。例如,上述目标视频可以为图像处理设备调用摄像头等图像采集组件采集到的视频,如在拍摄之前,图像处理设备可以在屏幕中展示出采集到的画面,从而用户可以根据展示出的画面调整拍摄角度等参数,以拍摄出符合用户需求的图像。此时,图像处理设备可以为用户展示备选的三维美妆特效,如质感眼影特效、高耸鼻梁特效、真实感唇妆特效等,用户可以在上述备选特效功能中任选其一作为待展示特效。在上述拍摄过程中,图像采集设备可以将用户选取三维美妆特效时正在展示的预览画面作为当前帧画面,当前帧画面中可以包括被摄对象的目标人脸。
或者,在图像处理设备展示已录制视频或直播视频时,也可以将当前被展示的视频帧画面作为当前帧画面,其中,上述已录制视频可以为保存在图像处理设备本地存储空间中或者从服务端接收(边接收边展示)的视频,上述直播视频可以为从服务端接收到的视频(此时图像处理设备可以为直播节目的观众客户端),还可以为本地图像采集设备采集视频画面形成的直播视频(此时图像处理设备可以为直播节目的主播客户端)等,不再赘述。
步骤404,通过AI建模网络建立三维网格模型。
图像处理设备可以使用预训练的AI建模网格建立针对目标人脸的三维网格模型。当然,图像处理设备中可以装配有深度传感器等组件,用以采集目标人脸的深度信息,从而AI建模网络可以基于当前帧画面中的像素颜色值以及采集到的深度信息共同建立针对目标人脸的上述三维网格模型。具体建立过程可以参见相关技术中的记载,此处不再赘述。
步骤406,简化三维网格模型,以得到三维简化网格。
此时,可以通过本公开所述的三维网格的简化方法对已经建立的三维网格模型进行简化处理,具体简化过程可详见下述图5所述实施例,此处暂不赘述。
步骤408,计算三维简化网格中各个三维目标三角形的三角形顶点的法向量。
步骤410,通过美妆素材和预设的法线贴图渲染三维美妆特效。
在获取到简化后的三维简化网格的情况下,图像处理设备可以计算三维简化网格中各个三角形顶点的法向量,进而根据获取到的美妆素材和法线贴图渲染得到三维美妆特效,具体的计算及渲染过程可以参见相关技术中的记载,此处不再赘述。
步骤412,在当前帧画面中展示三维美妆特效。
在渲染得到三维美妆特效后,可以将其展示在当前帧画面中的相应位置,如将质感眼影特效展示在目标人脸的眼部、将高耸鼻梁特效展示在目标人脸的鼻梁部位、将真实感唇妆特效展示在目标人脸的唇部等,不再赘述。
至此,针对当前帧画面的特效渲染及展示过程结束。在当前帧画面的刷新时间到后,当前帧画面相应的被刷新为下一帧预览画面,此时,转入步骤412。
步骤412,确定下一帧预览画面。
此时,图像处理设备可以确定下一帧预览画面(即此时的当前帧画面),并使用步骤406中确定出的三维简化网格结合此时的当前帧画面依次执行步骤408-412,以渲染并展示当前帧画面的三维美妆特效。
可见,从用户选择某种三维美妆特效开始,仅在选择时刻的当前帧画面(可称为第一帧预览画面)对应的三维美妆特效的计算及渲染过程中需要简化三维网格模型(即执行步骤406),而后续各帧预览画面的不再需要重复简化三维网格模型,从而后续各帧预览画面的渲染只需要依赖于第一帧预览画面简化得到的三维简化网格进行渲染即可,进一步减少了三维网格模型的相关计算量。
图5是根据本公开的实施例示出的另一种三维网格的简化方法的流程图。该方法应用于图像处理设备。如图5所示,该方法可以包括下述步骤:
步骤502,获取三维网格模型并展开为二维网格图像。
对于步骤404中通过AI建模网格构建的三维网格模型,可以采用相关技术中记载的threejs模型、UV算法、3dsmax组件等方式将其展开为二维网格图像,此处不再赘述。
如前所述,展开前的三维网格模型中的三维三角形与展开后的二维网格图像中的二维三角形之间的一一对应关系保持不变,相应的,各个三角形顶点(即三维三角形的顶点和二维三角形的顶点)之间的一一对应关系也保持不变。例如,对于三维网格模型中的任一三维三角形T1,若其三个顶点分别d1、d2和d3,则其在二维网格图像中对应的二维三角形T1’的三个顶点d1’、d2’和d3’必分别对应于三角形顶点d1、d2和d3。而且,在目标人脸的表情发生变化(如睁眼、闭眼,张嘴、闭嘴等)的情况下,目标人脸对对应的三维网格模型中各个顶点的三维坐标发生相应变化,但是各个顶点与各个三维三角形之间的包含关系保持不变,而且与二维网格图像中的各个顶点和各个二维三角形之间的包含关系保持一致(相同)。
实际上,本方案正是基于上述特性,才能够保证简化后得到的三维简化网格与简化前的三维网格模型在三维目标区域中的部分保持一致,从而在通过简化减少计算数据量的同时能够保证渲染精度不变,以实现精细化美妆。
步骤504,获取二维遮罩图像。
图像处理设备可以为用户提供针对预览画面或视频画面的三维美妆等特效,相应的,用户可以在查看预览画面或视频画面的过程中选取其感兴趣的特效以在画面中实现特殊的展示效果。
在一实施例中,可以为各个备选的三维美妆特效预关联至少一个二维遮罩图像,该遮罩图像可以对应于相应的三维美妆特效。例如,对于质感眼影特效,可以预关联包括双眼部位的二维遮罩图像;对于真实感唇妆,可以预关联包括嘴部的二维遮罩图像等。从而,可以响应于用户账号针对备选的三维美妆特效实施的选取操作,获取预关联至被选取的三维美妆特效的二维遮罩图像。其中,上述预关联至三维美妆特效的二维遮罩图像可以预先保存在图像处理设备本地,从而可以在确定被选取的三维美妆特效后从本地存储空间中读取相应的二维遮罩图像。当然,也可以从服务端或其他设备中请求并获取,本公开实施例并不对此进行限制。
在一实施例中,预关联至备选的三维美妆特效的各个二维遮罩图像可以为标准尺寸的图像,因此为保证二维遮罩图像与二维网格图像之间的匹配,可以对二维遮罩图像的尺寸进行调整,从而使调整后的二维遮罩图像的图像尺寸与二维网格图像的图像尺寸相同,以保证目标遮罩区域与二维目标区域的大小相同且相互重叠,进而保证网格的简化精度。
步骤506,遍历二维网格图像中的二维三角形的三角形顶点。
图像处理设备可以根据二维网格图像中的目标遮罩区域确定二维遮罩图像(也可以为尺寸调整后的二维遮罩图像,下文统称为二维遮罩区域)中的二维目标区域,可以理解的是,因为二维遮罩图像与二维网格图像的尺寸相同,所以能够保证二维目标区域在二维遮罩图像中的位置与目标遮罩区域在二维网格图像中的位置一致(类似于,将二维遮罩图像与二维网格图像贴合后,目标遮罩区域与二维目标区域能够完全重合)。实际上,因为二维遮罩图像与二维网格图像的尺寸相同,所以可以将目标遮罩区域在二维遮罩图像中的区域坐标作为二维目标区域在二维网格图像中的区域坐标。
进而,可以遍历二维网格图像中的二维三角形的各个三角形顶点,通过二维网格图像中各个顶点的位置坐标依次判断各个顶点是否位于二维目标区域。
步骤508,判断三角形顶点是否位于二维目标区域。
若任一顶点位于二维目标区域内部,则该顶点为目标顶点,此时可以转入步骤510;否则,若任一顶点位于二维目标区域外部,则该顶点不为目标顶点,此时可以转入步骤506,继续对其他顶点进行判断。
步骤510,将位于二维目标区域的目标顶点的顶点信息添加至顶点索引集合。
在上述遍历完成后,可以将确定出的目标顶点的顶点信息添加至顶点索引集合,其中,上述顶点信息可以为顶点编号和/或顶点坐标等信息,当然还可以为其他信息,本公开实施例并不对此进行限制。
可以理解的是,虽然步骤506-510采用图5所示的连接方式,但是应当将步骤506-508理解为依次对各个顶点进行判断,并在将二维网格图像中的所有顶点判断完成后,转入步骤512。即上述添加过程也可以在遍历过程中进行,如在确定出某一目标顶点后,即将该顶点的顶点信息添加至上述顶点索引集合,并在添加完成后继续判断下一顶点,直至遍历完成。步骤506-510执行结束后,顶点索引集合中记录有二维网格图像中所有目标顶点的顶点信息。
步骤512,遍历二维网格图像中的目标顶点所在的二维三角形。
步骤514,判断二维三角形是否位于二维目标区域。
在一实施例中,可以采用多种方式进行判断。作为一示例性实施例,为减少遍历工作量以加快二维目标三角形的确定速度,可以针对顶点索引集合所记录的各个顶点(下称目标顶点),依次确定各个目标顶点所归属的各个二维三角形,然后依次确定各个二维三角形的三个顶点中为目标顶点的个数m,其中m∈{1,2,3}。若某二维三角形T对应的m≥n,则将该二维三角形确定为二维目标三角形。
换言之,若二维网格图像中某一顶点的顶点信息被记录在上述顶点索引集合中,则该表明该顶点位于二维目标区域中,因此,可以遍历上述顶点索引集合中所记录各个顶点所属的二维三角形,并将其中位于顶点索引集合中的顶点个数不小于预设数量n的二维三角形确定为二维目标三角形。例如,在上述预设数量n为2的情况下,若某二维三角形T仅有1个顶点位于上述顶点索引集合中,则该二维三角形T并非二维目标三角形;否则,若该二维三角形T具有2个顶点位于上述顶点索引集合中,或者3个顶点全部位于上述顶点索引集合中,则可以确定该二维三角形T为二维目标三角形。
其中,上述预设数量n应当满足下述之一的条件:n≥1、n≥2或者n=3,即上述预设数量可以不小于1,也可以不小于2,还可以等于3,n的具体区域可以灵活调整,本公开实施例并不对此进行限制。因此,可以根据实际情况将1个、2个或3个顶点为目标顶点的二维三角形确定为二维目标三角形。
作为另一示例性实施例,为避免遗漏以保证所确定目标三角形的全面性,可以针对二维网格图像中的各个二维三角形依次确定三个顶点中属于目标顶点的个数m,其中m∈{1,2,3};若某个二维三角形对应的m≥n,则将该二维三角形确定为二维目标三角形。
若某二维三角形为二维目标三角形,或者任一目标顶点所归属的二维三角形为二维目标三角形,则转入步骤516;否则,或者某二维三角形不为二维目标三角形,或者任一目标顶点所归属的二维三角形均不为二维目标三角形,则继续对其他二维三角形进行判断,直至遍历结束。
步骤516,将位于二维目标区域的二维三角形的索引信息添加至三角形索引集合。
此时,可以将二维目标三角形的索引信息添加至三角形索引集合,其中,任一二维目标三角形的索引信息可以为该三角形三个顶点的顶点编号或者二维坐标等。
可以理解的是,虽然步骤512-516采用图5所示的连接方式,但是应当将步骤512-516理解为依次对各个二维三角形进行判断,并在将二维网格图像中的所有二维三角形判断完成后,转入步骤518。步骤512-516执行结束后,三角形索引集合中记录有二维网格图像中所有二维目标三角形的索引信息。
步骤518,绘制或裁减三维简化网格。
步骤520,输出简化后的三维简化网格。
因为上述三角形索引集合中包含全部二维目标三角形的索引信息,因此可以根据该集合中的全部索引信息绘制出三维简化网格。也可以根据上述三角形索引信息在三维网格模型中确定出全部的三维目标三角形,进而裁剪出三维网格模型中对应于全部三维目标三角形的网格部分,裁剪得到的部分网格即为三维简化网格。
可以理解的是,上述方式却确定出的三维简化网格相当于将三维网格模型中位于三维目标区域中的部分进行裁剪并删除其余部分得到的简化网格,所以三维简化网格中的顶点和三角形个数除取决于二维目标区域中的顶点密度之外,仅取决于二维目标区域在二维网格图像中的面积占比:二维网格图像中二维目标区域的面积占比越大,三维简化网格中的顶点和三角形个数越多;反之,二维网格图像中二维目标区域的面积占比越小,三维简化网格中的顶点和三角形个数越少。因此,在上述占比较小的情况下,三维简化网格的全部顶点和三角形个数均大幅小于三维网格模型的全部顶点和三角形个数,从而有助于减少渲染计算量。
参见图6所示的三维网格的简化的效果示意图,分别为二维遮罩图像对应于眼睛、鼻子和嘴唇等部位时的简化效果,可见无论对应于人脸中的何部位,所得的三维简化网格中顶点及三角形的个数都远小于图1所示的三维网格模型中顶点及三角形的个数,简化效果显著。当然,除上述眼睛、鼻子和嘴唇等部位外,理论上二维遮罩区域可以对应于人脸的任何部位,本公开对于具体部位并不进行限制。
与前述三维网格的简化方法的实施例相对应地,本公开还提出了三维网格的简化装置的实施例。
图7是根据本公开的实施例示出的一种三维网格的简化装置的示意框图。本实施例所示的三维网格的简化装置可以适用于服务器,如包含一独立主机的物理服务器、主机集群承载的虚拟服务器、云服务器等,也可以适用于终端,所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。
如图7所示,所述三维网格的简化装置可以包括:
网格转换单元701,被配置为获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型包括多个三维三角形;
图像获取单元702,被配置为获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形;
网格简化单元703,被配置为确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
可选的,所述图像获取单元702还被配置为:
响应于特效选取操作,确定被选取的目标特效,并获取预关联至所述目标特效的二维遮罩图像;或者,
响应于区域绘制操作,在所述三维网格模型中确定相应的绘制区域,并根据包含所述绘制区域的所述三维网格模型生成二维遮罩图像,其中,生成的所述二维遮罩图像中的目标遮罩区域对应于所述绘制区域。
可选的,任一所述三维三角形及其在所述二维网格图像中对应的二维三角形具有相同的索引信息,所述索引信息用于记录构成三角形的三个顶点,所述网格简化单元703还被配置为:
根据所述二维网格图像中各个三角形顶点的顶点坐标,确定位于所述二维目标区域中的目标顶点,并将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形;
将所述二维目标三角形的索引信息添加至三角形索引集合,并使用所述三角形索引集合中包含的全部索引信息确定三维目标三角形;
使用所述三维目标三角形绘制三维网格,并将绘制的三维网格作为简化后的三维简化网格。
可选的,所述装置还包括:
顶点索引集合单元704,被配置为将所述目标顶点的顶点标识或顶点坐标添加至顶点索引集合;
所述网格简化单元703还被配置为:所述将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形,包括:若任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于所述顶点索引集合,则将所述任一二维三角形确定为二维目标三角形。
可选的,所述预设数量不小于1,或不小于2,或等于3。
可选的,还包括:
素材获取单元705,被配置为获取所述目标对象的特效素材;
特效展示单元706,被配置为根据所述三维简化网格和所述特效素材生成并展示所述目标对象的特效图像。
可选的,所述目标对象包括人脸或人体。
本公开的实施例还提出一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述任一实施例所述的三维网格的简化方法。
本公开的实施例还提出一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一实施例所述的三维网格的简化方法。
本公开的实施例还提出一种计算机程序产品,所述计算机程序产品被配置为执行上述任一实施例所述的三维网格的简化方法。
图8是根据本公开的实施例示出的一种电子设备的示意框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件818。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述三维网格的简化方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件818发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
图像采集组件816可以用于采集被摄对象的图像数据,以形成关于被摄对象的图像,并可以对该图像进行必要的处理。该图像采集组件816可以包括相机模组,相机模组中的图像传感器(Sensor)通过镜头感应来自被摄对象的光线,将得到的感光数据提供给图像信号处理器(ISP,Image Signal Processing),由后者根据感光数据生成对应于被摄对象的图像。其中,上述图像传感器可以为CMOS传感器或CCD传感器,当然,也可以为红外传感器、深度传感器等;相机模组可以内置在电子设备800中,也可以为电子设备800的外接模组;上述ISP可以内置在相机模组中,也可以外挂在上述电子设备中(不在相机模组内)。
通信组件818被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件818还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述三维网格的简化方法。
在本公开一实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述三维网格的简化方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本公开中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。

Claims (16)

1.一种三维网格的简化方法,其特征在于,包括:
获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型包括多个三维三角形;
获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形;
确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
2.根据权利要求1所述的方法,其特征在于,所述获取二维遮罩图像,包括:
响应于特效选取操作,确定被选取的目标特效,并获取预关联至所述目标特效的二维遮罩图像;或者,
响应于区域绘制操作,在所述三维网格模型中确定相应的绘制区域,并根据包含所述绘制区域的所述三维网格模型生成二维遮罩图像,其中,生成的所述二维遮罩图像中的目标遮罩区域对应于所述绘制区域。
3.根据权利要求1所述的方法,其特征在于,任一所述三维三角形及其在所述二维网格图像中对应的二维三角形具有相同的索引信息,所述索引信息用于记录构成三角形的三个顶点,所述确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格,包括:
根据所述二维网格图像中各个三角形顶点的顶点坐标,确定位于所述二维目标区域中的目标顶点,并将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形;
将所述二维目标三角形的索引信息添加至三角形索引集合,并使用所述三角形索引集合中包含的全部索引信息确定三维目标三角形;
使用所述三维目标三角形绘制三维网格,并将绘制的三维网格作为简化后的三维简化网格。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
将所述目标顶点的顶点标识或顶点坐标添加至顶点索引集合;
所述将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形,包括:若任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于所述顶点索引集合,则将所述任一二维三角形确定为二维目标三角形。
5.根据权利要求3所述的方法,其特征在于,所述预设数量不小于1,或不小于2,或等于3。
6.根据权利要求1所述的方法,其特征在于,还包括:
获取所述目标对象的特效素材;
根据所述三维简化网格和所述特效素材生成并展示所述目标对象的特效图像。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述目标对象包括人脸或人体。
8.一种三维网格的简化装置,其特征在于,包括:
网格转换单元,被配置为获取目标对象的三维网格模型,并将所述三维网格模型转换为二维网格图像,所述三维网格模型包括多个三维三角形;
图像获取单元,被配置为获取二维遮罩图像,所述二维遮罩图像与所述二维网格图像尺寸相同且包括目标遮罩区域,并在所述二维网格图像中确定对应于所述目标遮罩区域的二维目标区域,所述二维目标区域中包括多个二维目标三角形;
网格简化单元,被配置为确定所述三维网格模型中对应于所述二维目标三角形的三维目标三角形,并将所述三维目标三角形构成的三维网格作为简化后的三维简化网格。
9.根据权利要求8所述的装置,其特征在于,所述图像获取单元还被配置为:
响应于特效选取操作,确定被选取的目标特效,并获取预关联至所述目标特效的二维遮罩图像;或者,
响应于区域绘制操作,在所述三维网格模型中确定相应的绘制区域,并根据包含所述绘制区域的所述三维网格模型生成二维遮罩图像,其中,生成的所述二维遮罩图像中的目标遮罩区域对应于所述绘制区域。
10.根据权利要求8所述的装置,其特征在于,任一所述三维三角形及其在所述二维网格图像中对应的二维三角形具有相同的索引信息,所述索引信息用于记录构成三角形的三个顶点,所述网格简化单元还被配置为:
根据所述二维网格图像中各个三角形顶点的顶点坐标,确定位于所述二维目标区域中的目标顶点,并将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形;
将所述二维目标三角形的索引信息添加至三角形索引集合,并使用所述三角形索引集合中包含的全部索引信息确定三维目标三角形;
使用所述三维目标三角形绘制三维网格,并将绘制的三维网格作为简化后的三维简化网格。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
顶点索引集合单元,被配置为将所述目标顶点的顶点标识或顶点坐标添加至顶点索引集合;
所述网格简化单元还被配置为:所述将包含预设数量的所述目标顶点的二维三角形确定为所述二维目标三角形,包括:若任一二维三角形的预设数量个三角形顶点的顶点标识或顶点坐标位于所述顶点索引集合,则将所述任一二维三角形确定为二维目标三角形。
12.根据权利要求10所述的装置,其特征在于,所述预设数量不小于1,或不小于2,或等于3。
13.根据权利要求8所述的装置,其特征在于,还包括:
素材获取单元,被配置为获取所述目标对象的特效素材;
特效展示单元,被配置为根据所述三维简化网格和所述特效素材生成并展示所述目标对象的特效图像。
14.根据权利要求8至13中任一项所述的装置,其特征在于,所述目标对象包括人脸或人体。
15.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的三维网格的简化方法。
16.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的三维网格的简化方法。
CN202011503089.5A 2020-12-17 2020-12-17 三维网格的简化方法、装置、电子设备和存储介质 Active CN112614228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503089.5A CN112614228B (zh) 2020-12-17 2020-12-17 三维网格的简化方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503089.5A CN112614228B (zh) 2020-12-17 2020-12-17 三维网格的简化方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112614228A CN112614228A (zh) 2021-04-06
CN112614228B true CN112614228B (zh) 2023-09-05

Family

ID=75240507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503089.5A Active CN112614228B (zh) 2020-12-17 2020-12-17 三维网格的简化方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112614228B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170740A (zh) * 2022-07-22 2022-10-11 北京字跳网络技术有限公司 特效处理方法、装置、电子设备及存储介质
CN116431095B (zh) * 2023-03-23 2024-04-30 北京凯视达科技股份有限公司 全景显示方法、装置、电子设备和存储介质
CN116977523B (zh) * 2023-07-25 2024-04-26 快速直接(深圳)精密制造有限公司 一种step格式在web端的渲染方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332180A (zh) * 2011-10-15 2012-01-25 杭州力孚信息科技有限公司 一种基于立体裁剪的三维服装造型与纸样设计方法
CN108765351A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN110097624A (zh) * 2019-05-07 2019-08-06 洛阳众智软件科技股份有限公司 生成三维数据lod简化模型的方法及装置
CN110322397A (zh) * 2019-06-25 2019-10-11 浙江大华技术股份有限公司 一种图像的遮挡方法、服务器、监控系统以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878613B2 (en) * 2018-12-06 2020-12-29 Cesium GS, Inc. System and method for transferring surface information from massive meshes to simplified meshes using voxels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332180A (zh) * 2011-10-15 2012-01-25 杭州力孚信息科技有限公司 一种基于立体裁剪的三维服装造型与纸样设计方法
CN108765351A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN110097624A (zh) * 2019-05-07 2019-08-06 洛阳众智软件科技股份有限公司 生成三维数据lod简化模型的方法及装置
CN110322397A (zh) * 2019-06-25 2019-10-11 浙江大华技术股份有限公司 一种图像的遮挡方法、服务器、监控系统以及存储介质

Also Published As

Publication number Publication date
CN112614228A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
CN112614228B (zh) 三维网格的简化方法、装置、电子设备和存储介质
US11114130B2 (en) Method and device for processing video
US11030733B2 (en) Method, electronic device and storage medium for processing image
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN107977934B (zh) 图像处理方法及装置
CN114025105B (zh) 视频处理方法、装置、电子设备、存储介质
CN114255496A (zh) 视频生成方法、装置、电子设备及存储介质
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN114445562A (zh) 三维重建方法及装置、电子设备和存储介质
WO2023142645A1 (zh) 图像处理方法、装置、电子设备、存储介质和计算机程序产品
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110807769B (zh) 图像显示控制方法及装置
CN112099639A (zh) 展示属性的调整方法、装置、展示设备和存储介质
CN113516743A (zh) 头发的渲染方法、装置、电子设备及存储介质
CN114140568A (zh) 图像处理方法、装置、电子设备及存储介质
CN112348841B (zh) 虚拟对象的处理方法、装置、电子设备及存储介质
CN115702443A (zh) 将存储的数字化妆增强应用于数字图像中的已辨识面部
CN109934168B (zh) 人脸图像映射方法及装置
CN113902869A (zh) 三维头部网格生成方法、装置、电子设备和存储介质
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
US11252341B2 (en) Method and device for shooting image, and storage medium
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
CN113706430A (zh) 一种图像处理方法、装置和用于图像处理的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant