CN111460937B - 脸部特征点的定位方法、装置、终端设备及存储介质 - Google Patents
脸部特征点的定位方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111460937B CN111460937B CN202010196827.XA CN202010196827A CN111460937B CN 111460937 B CN111460937 B CN 111460937B CN 202010196827 A CN202010196827 A CN 202010196827A CN 111460937 B CN111460937 B CN 111460937B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- vertex
- triangular surface
- facial feature
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 abstract description 7
- 210000003128 head Anatomy 0.000 description 80
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000016063 arterial thoracic outlet syndrome Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于计算机技术领域,提供了脸部特征点的定位方法、装置、终端设备及存储介质,包括:获取目标用户的三维人头模型,三维人头模型包括目标用户的人头点云内的多个第一顶点;将三维人头模型上的第一顶点映射到二维空白图像上,得到在二维空白图像上的第二顶点;根据第二顶点,将二维空白图像输出为二维人脸图像;对二维人脸图像进行脸部特征点定位,并确定二维人脸图像的脸部特征点与第一顶点的位置关系;根据脸部特征点与第一顶点的位置关系,确定脸部特征点在三维人头模型上的位置。从而既实现三维人头的脸部特征点的精准定位,又实现降低数据计算量,提高定位效率。
Description
技术领域
本申请属于计算机技术领域,尤其涉及脸部特征点的定位方法、装置、终端设备及存储介质。
背景技术
在人脸分析过程中,大多数需要对人脸的脸部特征点进行定位,如眼睛、鼻子、眉毛、嘴巴等脸部特征点。目前,对于三维人头的脸部特征点的定位,一般通过机器学习算法对大量三维人头组成的训练集进行训练,将训练集中脸部特征点的平均位置作为初始定位位置。而实际上,三维人头所包含的特征信息比二维人脸更多,不同用户间的三维人头存在非常大的差异,这样训练集中的三维人头并不能完全描述实际的三维人头,因此通过初始定位位置确定的三维人头的脸部特征点与实际位置存在较大误差,无法达到精准定位三维人头的脸部特征点的效果。
发明内容
本申请实施例提供了脸部特征点的定位方法、装置、终端设备及存储介质,可以解决三维图像的脸部特征点定位精度差的问题。
第一方面,本申请实施例提供了一种脸部特征点的定位方法,包括:
获取目标用户的三维人头模型,三维人头模型包括目标用户的人头点云内的多个第一顶点;
将三维人头模型上的第一顶点映射到二维空白图像上,得到在二维空白图像上的第二顶点;
根据第二顶点,将二维空白图像输出为二维人脸图像;
对二维人脸图像进行脸部特征点定位,并确定二维人脸图像的脸部特征点与第一顶点的位置关系;
根据脸部特征点与第一顶点的位置关系,确定脸部特征点在三维人头模型上的位置。
本申请实施例通过将三维人头模型映射到预设的二维空白图像上,得到二维人脸图像,从而根据三维人头模型得到二维人脸图像能够使二维人脸图像精准的描述目标用户的脸部特征,以及降低图像的维度能够减少数据计算量;对二维人脸图像进行脸部特征点定位,并确定二维人脸图像的脸部特征点与第一顶点的位置关系,从而能够采用技术成熟的二维人脸特征点定位算法对二维人脸图像实现特征点的精准定位;根据第一顶点与脸部特征点的位置关系,确定脸部特征点在三维人头模型上的位置,既实现三维人头的脸部特征点的精准定位,又实现降低数据计算量,提高定位效率。
第二方面,本申请实施例提供了一种脸部特征点的定位装置,包括:
获取模块,用于获取目标用户的三维人头模型,三维人头模型包括目标用户的空间点云内的多个第一顶点;
映射模块,用于将三维人头模型上的第一顶点映射到二维空白图像上,得到在二维空白图像上的第二顶点;
输出模块,用于根据第二顶点,将二维空白图像输出为二维人脸图像;
定位模块,用于对二维人脸图像进行脸部特征点定位,并确定脸部特征点与第一顶点的位置关系;
确定模块,用于根据脸部特征点与第一顶点的位置关系,确定脸部特征点在三维人头模型上的位置。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的脸部特征点的定位方法。
第四方面,本申请实施例提供了一种计算机可读存储介质所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的脸部特征点的定位方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的脸部特征点的定位方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的三维人头模型的顶点分布示意图;
图2是本申请一实施例提供的第一三角面的法向量的示意图;
图3是本申请一实施例提供的第一三角面的投影示意图;
图4是本申请一实施例提供的第二顶点与像素点的位置关系示意图;
图5是本申请另一实施例提供的应用重心坐标插值法的第一三角面的示意图;
图6是本申请一实施例提供的人脸特征点的定位方法的流程性示意图;
图7是本申请另一实施例提供的人脸特征点的定位方法的流程性示意图;
图8是本申请实施例提供的包围盒的示意图;
图9是本申请实施例提供的应用场景示例图;
图10是本申请实施例提供的人脸特征点的定位装置的结构示意图;
图11是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
如背景技术相关记载,由于三维人头所包含的特征信息比二维人脸更多,不同用户间的三维人头存在非常大的差异,这样训练集中的三维人头并不能完全描述实际的三维人头,因此通过定位算法的初始定位位置确定的三维人头的脸部特征点与实际位置存在较大误差,无法达到精准定位三维人头的脸部特征点的效果。
因此,本申请实施例提供一种脸部特征点的定位方法,通过将第一顶点映射到二维空白图像得到第二顶点,根据第二顶点确定人脸特征点与第一顶点的位置关系,从而定位三维人头模型上的人脸特征点,实现精准定位三维人头的脸部特征点。
图1示出了本申请实施例提供的三维人头模型的顶点分布示意图。如图1所示,三维人头模型包含多个第一顶点,第一顶点包括脸部顶点101和非脸部顶点102,其中三个相邻的第一顶点组成一个第一三角面,本实施中,由于第一顶点密集,该第一三角面近似为三角平面。应理解,在其他实施例中,第一三角面也可以是曲面,曲面可能是凸面,也可能是凹面,对此不作限定。可选地,可通过Atos三维扫描仪对目标用户的人头进行扫描,得到人头的空间点云数据,根据空间点云数据构建三维人头模型,其中第一顶点为空间点云数据中的顶点。
上述第一三角面组成面集合F={f(d1,d2,d3)},F表示三角面集合,f表示一个三角面,d1、d2和d3为正整数,d1表示构成该第一三角面的第一个顶点的索引,d2表示构成该第一三角面的第二个顶点的索引,d3表示构成该第一三角面的第三个顶点的索引。f(d1,d2,d3)表示一个第一三角面由这三个索引对应的顶点构成,其中顶点的索引为顶点在第一顶点集合数组里面的顺序编号。
应理解,上述三维人头模型为根据目标用户的深度信息和RGB信息构建的人头模型,其中深度信息包括空间点云数据和面集合,RGB信息包括目标用户的纹理图片和UV坐标数据。UV坐标数据用于定位纹理图片(图片左上角的坐标为(0,0),右下角的坐标为(1,1))上的任一位置,其中U为水平方向的坐标,V为垂直方向的坐标。其中UV集合数组可以表示为UV={uv(x2,y2)},uv=1~n,uv为UV坐标,n为UV坐标的顺序编号,x2和y2分别对应水平方向和垂直方向的坐标值,坐标值可以为浮点数;顶点集合数组可以表示为D={d(x1,y1,z1)},d=1~m,d为第一顶点,m为第一顶点的顺序编号,x1、y1和z1分别对应xyz三轴坐标值,三轴坐标值可以为浮点数。上述第一顶点组成的顶点集合数组与UV坐标数据组成的UV集合数组中的元素个数相同,即n=m,且两个集合数组内的元素顺序一一对应,即一个第一顶点对应一个UV坐标,通过UV坐标可以在纹理图片上查询到对应位置的颜色值。
需要说明的是,图1所示的三维人头模型的顶点分布图是为了便于查看的稀疏分布图,事实上,其顶点分布比图示的更加密集。图1不作为本申请实施例三维人头模型的限定。
图2示出了本申请实施例提供的第一三角面的法向量的示意图。如图2所示,相邻的三个第一顶点p1、p2和p3组成的第一三角面,垂直该第一三角面的直线所表示的向量为该第一三角面的法向量M。该第一三角面为三角平面,所以其可以有多个法向量,图2所示的法向量M仅用作示例。
图3示出了本申请实施例提供的第一三角面投影至二维平面得到第二三角面的示意图。如图3所示,由于第一顶点非常密集,所以三维人头模型上的第一三角面Q1可以近似为的三角平面,第二三角面Q2属于二维平面空间内的三角面,所以其必然为三角平面。需要说明的是,三角平面的边可以是弯曲的,因此三角平面并不等同于平面三角形。
图4示出了本申请实施例提供的第二顶点与像素点的位置示意图。如图4所示,相邻的三个第二顶点q1、q2和q3组成的第二三角面,黑色方格表示二维人脸图像上的像素点,其中像素点qx在该第二三角面内。对于二维人脸图像,其人脸特征点的位置就是像素点的位置,因此,像素点与第二三角面的各个第二顶点的位置关系,也是人脸特征点与各个第二顶点的位置关系。应理解,图4示出的像素点之间存在间隔,而在显示器展示时可以为相连的像素点。
图5示出了本申请实施例提供的应用重心坐标插值法的第一三角面的示意图。如图5所示,与图4示出的第二三角面的第二顶点q1、q2和q3分别对应的第一顶点r1、r2和r3组成的第一三角面,qx为二维人脸图像上的像素点在投影方向上的直线与第一三角面的交点,S1为三角面r2r3qx的面积,S2为三角面r1r3qx的面积,S3为三角面r1r2qx的面积。应用重心坐标插值法求算qx的位置:qx=(r1×S1+r2×S2+r3×S3)/S,其中S为第一三角面的面积,令S1/S=w1,S2/S=w2,S3/S=w3,w1+w2+w3=1,可得,qx=w1×r1+w2×r2+w3×r3。因此,第一顶点r1的权重值为w1,第二顶点r2的权重值为w2,第三顶点r3的权重值为w3。
为了便于清楚理解本申请的技术方案,下面对本申请实施例作出具体描述。图6示出了本申请提供的基于三维人头模型的脸部特征点的定位方法的示意性流程图,作为示例而非限定,该方法可以应用于终端设备,该终端设备包括但不限于手机、平板电脑、可穿戴设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)、服务器等终端设备,本申请实施例对终端设备的具体类型不作任何限制。
S601,获取目标用户的三维人头模型,所述三维人头模型包括目标用户的人头点云内的多个第一顶点;
在上述S601中,上述人头点云为人头的空间点云,其包括多个第一顶点,如图1所示,相邻的三个第一顶点组成一个第一三角面,多个第一三角面组成一个面集合,每个第一顶点对应一个UV坐标信息,每个UV坐标信息对应一个颜色值。
可选地,通过Atos三维扫描仪与可见光摄像机分别环目标用户的人头360°采集目标用户的空间点云和纹理图片,根据空间点云得到多个第一顶点,根据多个第一顶点组成多个三角面,根据多个三角面组成三维人头模型的顶点结构,根据纹理图片上像素点的UV坐标与第一顶点的对应关系,得到每个第一顶点的颜色值,从而构建得到具有RGB信息的三维人头模型。
S602,将所述三维人头模型映射到二维空白图像上,得到二维人脸图像;
在上述S602中,上述二维空白图像可以为预设像素尺寸的图像,该二维空白图像的像素尺寸也可以不是预设固定的。若上述二维空白图像为预设像素尺寸的图像时,如图3所示,第一顶点投影至二维平面后得到对应的顶点,再将对应的顶点映射至预设像素尺寸的二维空白图像。
上述S602具体包括S6021至S6022。
S6021,将三维人头模型上的第一顶点映射到二维空白图像上,得到在二维空白图像上的第二顶点;
在上述S6021中,可建立以三维人头模型中心为原点的笛卡尔直角坐标系,得到每个脸部顶点的坐标,将脸部顶点正投影到二维空白图像,即将脸部顶点中的z轴坐标变换为0,则脸部顶点变成在平行于二维空白图像的xy平面上。
在一可能实现的方式中,由于三维人头模型上包括脸部顶点和非脸部顶点,而人脸特征点定位只需要脸部顶点,所以需要去除非脸部顶点。可选地,在采集目标用户的空间点云时对目标人头进行坐标矫正,以三维人头模型中心为原点、平行于两个瞳孔之间的连线的直线为x轴、平行于该连线中心与人中穴之间的连线的直线为y轴、垂直于xy平面的直线为z轴建立笛卡尔直角坐标系;根据该坐标系的xy平面将三维人头模型分割为人脸部位和后脑部分,从而去除后脑部位的第一顶点,保留人脸部位的第一顶点。
可选地,根据第一顶点组成的第一三角面的法向量的方向与需要投影的方向的一致性,确定第一顶点是否为人脸部位的顶点。如图1所示,由于后脑部位的头发遮挡等原因,三维人头模型上会出现有三角面与人脸部位的三角面的法向量不同,所以可以根据法向量确定三角面是否为人脸上的三角面,在法向量与投影方向一致时,保留法向量与投影方向一致的三角面所组成的顶点,将该类顶点作为第一顶点。
应理解,本申请实施例所述的方向一致指方向向量的点积为正,例如投影方向为正前方0°,若法向量为正前方向上偏50°,两者均为正前方的方向,点积为正,则判定投影方向与法向量一致,若法向量为正后方向上偏50°,一个为正前方,一个为正后方,两者点积为负,则判定判定投影方向与法向量不一致。
在另一种可能实现的方式中,将所有第一顶点投影映射到二维空白图像,则选择在投影方向上与二维空白图像的像素点距离最近或最远的三维人头模型上的三角面的顶点作为第一顶点。
其中,以三维人头模型的脸部为正面,当投影方向为向脸部前方的二维空白图像投影的方向时,则选择在投影方向上与二维空白图像的像素点距离最近的三维人头模型上的三角面的顶点作为第一顶点;当投影方向为脸部后方的二维空白图像投影的方向时,则选择在投影方向上与二维空白图像的像素点距离最远的三维人头模型上的三角面的顶点作为第一顶点。
S6022,根据第二顶点,将二维空白图像输出为二维人脸图像。
在上述S6022中,为了减少计算量,可以只计算第二顶点组成的第二三角面内的像素点的颜色值,根据第二三角面对应的第一三角面的第一顶点,在纹理图片上查询到与第一顶点的UV坐标对应位置的颜色值,并运用重心坐标插值法,根据第一三角面的三个第一顶点的颜色值求算像素点的颜色值,其中像素点在投影方向上的直线与第一三角面的交点作为该第一三角面的“重心”,并根据像素点的颜色值,填充二维空白图像,从而得到带有RGB信息的二维人脸图像。应理解,上述只计算第二顶点组成的第二三角面内的像素点的颜色值仅用作示例,在其他实施例中,也可以计算每个像素点的颜色值。
S603,对所述二维人脸图像进行脸部特征点定位,并确定所述二维人脸图像的脸部特征点与所述第一顶点的位置关系;
在上述S603中,二维人脸图像上的脸部特征点为二维人脸图像上的像素点。可通过已知的二维人脸特征点定位算法对二维人脸图像进行特征点定位,,根据该脸部特征点对应的像素点与第一顶点所组成的第一三角面的交点,确定脸部特征点与第一顶点的位置关系。具体地,如图5所示,可根据重心坐标插值法确定像素点与各个第一顶点的位置关系,其中qx为像素点在投影方向上的直线与第一三角面的交点。
需要说明的是,在一些实施例中,由于步骤S602在计算像素点的颜色值时,已经统计过像素点与第一三角面的对应关系,即像素点在投影方向上的直线与第一三角面的交点与该第一三角面的各个第一顶点的位置关系,因此,在实际运算时后续步骤可以直接获取到该位置关系,而无需再次运算。
本实施例通过将三维人头模型变换为二维人脸图像,从而采用技术成熟的二维人脸特征点定位算法对二维人脸图像实现特征点的精准定位,以及相比直接采用三维特征点定位算法定位,降低数据计算量,提高定位效率。
S604,根据脸部特征点与第一顶点的位置关系,确定脸部特征点在三维人头模型上的位置。
在上述S604中,根据图3所示的第一顶点与第二顶点的映射关系,图4所示的第二顶点与像素点(即脸部特征点)的位置关系,即可以通过穿过像素点的直线在映射方向上与由第一顶点组成的第一三角面的交点,确定像素点与第一顶点的位置关系,从而可以得到脸部特征点在三维人头模型上的位置。
图7示出了本申请实施例提供的另一种脸部特征点的定位方法的流程性示意图。需要说明的是,与图6实施例相同的步骤,此处不再赘述。
参照图7,在一种可能是实现的方式中,上述S6021具体还包括S701至S703。
S701,计算每个第一三角面的法向量,并确定法向量与预设方向的一致性,第一三角面为相邻的三个第一顶点组成;
在上述S701中,预设方向可以为三维人头模型的投影方向,如正投影;方向一致性为方向向量的点积为正。例如,如图2所示,可以计算第一三角面的法向量,若法向量与正投影方向一致,则存在由脸部顶点组成的第一三角面,所以该第一三角面的三个脸部顶点为需要保留的第一顶点。若法向量与正投影方向不一致,则判定该第一三角面由非脸部顶点组成,所以去除该第一三角面的三个第一顶点。
S702,将法向量与预设方向一致的第一三角面的第一顶点按照预设方向投影至二维空白图像,得到在二维空白图像内与第一顶点对应的第三顶点;
在上述S702中,可选地,如上述S6021所述,可建立以三维人头模型中心为原点的笛卡尔直角坐标系,将第一顶点的z轴坐标变为0,则实现将第一顶点正投影至二维空白图像,得到第三顶点。可选地,若预设方向不为正投影方向,则将第一顶点乘以投影矩阵后,得到第三顶点。该投影矩阵为第一顶点经过线性变换后得到的仿射变换矩阵,如基于仿射变换空间向量原理得到该投影矩阵。
S703,根据第三顶点确定得到第二顶点。
在上述S703中,在一实施例中,若二维空白图像的像素尺寸为预设像素尺寸,则可以将第三顶点作为第二顶点。在另一实施例中,若二维空白图像的像素尺寸不为预设像素尺寸,则可以将二维空白图像的像素尺寸变换为目标像素尺寸,再将在目标像素尺寸的二维空白图像内的第三顶点作为第二顶点。上述变换可以为缩放、放大等线性变换。优选地,为了减少数据计算量,把二维空白图像的像素尺寸缩放为目标像素尺寸。
进一步地,作为优选实施例,由于头发遮挡等原因,可能存在非脸部顶点所组成的第一三角面的法向量与预设方向一致,所以非脸部顶点也被映射到二维空白图像,因此,为了进一步保证最后得到的二维空白图像的顶点为脸部顶点,则确定在预设方向上与二维空白图像上的像素点距离最近或最远的第一三角面。具体地,根据像素点在预设方向(投影方向)上的直线所穿过的第一三角面,确定脸部顶点。若在正投影时二维空白图像上的像素点距离三维人头模型上的脸部顶点最近,因此选择距离像素点最近的第一三角面的第一顶点对应的第三顶点作为第二顶点,相应地,若与正投影相反的方向投影时,选择距离像素点最远的第一三角面的第一顶点对应的第三顶点作为第二顶点。
本实施例先经过法向量与预设方向的一致性去除部分第一顶点,再根据像素点在预设方向(投影方向)上的直线所穿过的第一三角面,确定脸部顶点,从而减少第三顶点的数量,以对减少计算量。
在一种可能是实现的方式中,上述S6021具体包括S7031至S7032。
S7031,将第一顶点按照预设方向投影至二维空白图像,得到在二维空白图像内与第一顶点对应的第四顶点;
S7032,确定在预设方向上与二维空白图像上的像素点距离最近或最远的第一三角面,像素点在相邻的三个第四顶点所组成的第四三角面内,第一三角面为相邻的三个第一顶点组成;
S7033,将与像素点距离最近或最远的第一三角面的第一顶点对应的第四顶点确定为第二顶点。
在上述S7031至S7033中,如上述S703的进一步解释,根据像素点在预设方向(投影方向)上的直线所穿过的第一三角面,确定脸部顶点,将脸部顶点对应的第四顶点作为第二顶点。
需要说明的是,本实施例与S703实施例的区别在于,本实施例的第四顶点为所有第一顶点投影至二维空白图像得到,而S703实施例的第三顶点为经过法向量与预设方向的一致性去除部分第一顶点后,剩余的第一顶点投影至二维空白图像得到。
参照图7,在一种可能实现的方式中,上述S6022具体包括S704至S706:
S704,确定在第二三角面内的像素点,第二三角面为相邻的三个第一顶点对应的第二顶点组成,像素点为二维空白图像上的像素点;
在上述S704中,在一实施例中,确定二维空白图像上的每个像素点是否在第二三角面内,即对每个像素点都进行计算。在另一实施例中,为了减少计算机的计算量,则先确定可能在第二三角面内的像素点,再确定该像素点是否在第二三角面内,例如确定第二三角面的范围,再确定该范围内的像素点,继而确定该像素点是否在第二三角面内。
S705,根据第二三角面对应的第一三角面和UV坐标信息,计算像素点的颜色值,所述第一三角面为相邻的三个所述第一顶点组成;
在上述S705中,上述颜色值为纹理图片上的某一位置的颜色值,每个UV坐标对应纹理图片上的一个位置,每个UV坐标对应一个第一顶点,因此可以根据UV坐标得到第一顶点的颜色值,根据第一三角面上每个第一顶点与二维空白图像上的像素点的距离的权重值,确定像素点的颜色值。
S706,根据像素点的颜色值,将二维空白图像输出为二维人脸图像。
在上述S706中,根据每个像素点的颜色值,填充二维空白图像,从而得到带有RGB信息的二维人脸图像。
可选地,上述S704包括S7041和S7042。
S7041,计算所述第二三角面的包围盒,并确定在所述包围盒内的像素点与所述包围盒对应的第二三角面的位置关系;
S7042,根据所述包围盒内的像素点与所述包围盒对应的第二三角面的位置关系,确定在所述第二三角面内的像素点。
在上述S7031和S7032中,上述包围盒可以是轴向包围盒(Axis-aligned boundingbox,aabb),该包围盒的边与坐标轴对齐,有利于根据像素点的坐标更加快速地确定像素点是否在包围盒内,提高计算机的运算效率。如图8所示,四边形方框表示aabb包围盒,三角形p1p2p3表示第二三角面,a、b、c和d表示像素点,其中像素点a、b、c和d均在包围盒内,则计算机只确定像素点a、b、c和d是否在第二三角面内,从图可知,像素点b和d在第二三角面内。
本实施例通过包围盒的方式先确定可能在第二三角面内的像素点,从而无需对每个像素点进行运算,减少计算机的运算量和提高运算效率。
可选地,上述S705具体还包括S7051和S7053。
S7041,根据所述第一三角面与所述第二三角面的对应关系,确定所述第二三角面内的所述像素点在所述第一三角面内的位置;
S7042,根据所述像素点在所述第一三角面内的位置,计算所述第一三角面上的三个所述第一顶点分别对应的权重值;
在上述S7042中,如图5所示,以及前述的重心坐标插值法,计算出每个第一顶点的权重值,其中像素点在第一三角面内时,三个第一顶点的权重值均大于或等于0。
S7043,根据所述第一顶点对应的UV坐标信息和所述权重值,计算所述像素点的颜色值。
在上述S7043中,根据UV坐标信息在纹理图片上的颜色值得到对应第一顶点的颜色值,再结合每个第一顶点的权重值得到像素点的颜色值C=w1×c1+w2×c2+w3×c3,其中w1、w2和w3分别为三个第一顶点的权重值,c1、c2和c3分别为三个第一顶点的颜色值。
参照图7,在一种可能实现的方式中,上述603具体包括S707至S709。
S707,根据预设的二维特征点定位算法,对二维人脸图像进行脸部特征点定位,得到定位后的二维人脸图像的脸部特征点;
在上述S707中,上述预设的二维特征点定位算法可以是已知的dlib库或setaface库中已训练过的特征点定位算法,通过将三维人头模型转换为二维人脸图像,并通过已知的技术成熟的特征点定位算法定位,从而提高定位精度。
S708,确定在预设方向上与脸部特征点距离最近或最远的第一三角面,第一三角面为相邻的三个第一顶点组成;
S709,确定所述脸部特征点与距离最近或最远的第一三角面上的三个第一顶点的位置关系。
在上述S708和S709中,由于可能存在非脸部顶点被映射到二维空白图像,所以像素点在预设方向(投影方向)上的直线可能穿过多个第一三角面,而在正投影时二维空白图像上的像素点距离三维人头模型上的脸部顶点最近,因此选择距离像素点最近的第一三角面的顶点作为第一顶点,相应地,当与正投影相反的方向投影时,选择距离像素点最远的第一三角面的顶点作为第一顶点。
图9示出本申请实施例提供的一种应用场景示意图。如图9所示,通过ATOS三维扫描仪和摄像机采集目标用户的空间点云和纹理图片,通过空间点云中的第一顶点构建三维人头模型,将所述三维人头模型的顶点结构和纹理图片输入到计算机,计算机根据上述脸部特征点的定位方法确定三维人头模型的脸部特征点,将脸部特征点定位后的三维人头模型通过计算机的显示器显示。应理解,在其他应用场景下,脸部特征点定位后的三维人头模型可以用于三维人脸识别、脸型分类等,对此不作限定。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的基于三维人头模型的脸部特征点的定位方法,图10示出了本申请实施例提供的基于三维人头模型的脸部特征点的定位装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图10,该装置包括:
获取模块1001,用于获取目标用户的三维人头模型,三维人头模型包括目标用户的空间点云内的多个第一顶点;
映射模块1002,用于映射模块,用于将所述三维人头模型上的所述第一顶点映射到所述二维空白图像上,得到在所述二维空白图像上的所述第二顶点,所述第二顶点对应的第一顶点在所述三维人脸模型的人脸上;
输出模块1003,用于根据所述第二顶点,将所述二维空白图像输出为二维人脸图像;
定位模块1004,用于对二维人脸图像进行脸部特征点定位,并确定脸部特征点与第一顶点的对应关系;
确定模块1005,用于根据脸部特征点与第一顶点的位置关系,确定脸部特征点在三维人头模型上的位置。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图11为本申请一实施例提供的终端设备的结构示意图。如图11所示,该实施例的终端设备11包括:至少一个处理器110(图11中仅示出一个)处理器、存储器111以及存储在所述存储器111中并可在所述至少一个处理器110上运行的计算机程序112,所述处理器110执行所述计算机程序112时实现上述任意方法实施例中的步骤。
所述终端设备11可以是手机、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括但不仅限于处理器110、存储器111。本领域技术人员可以理解,图11仅仅是终端设备11的举例,并不构成对终端设备11的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器110可以是中央处理单元(Central Processing Unit,CPU),该处理器110还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111在一些实施例中可以是所述终端设备11的内部存储单元,例如终端设备11的硬盘或内存。所述存储器111在另一些实施例中也可以是所述终端设备11的外部存储设备,例如所述终端设备11上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于三维人头模型的脸部特征点的定位方法,其特征在于,包括:
获取目标用户的三维人头模型,所述三维人头模型包括目标用户的人头点云内的多个第一顶点;
将所述三维人头模型上的第一顶点映射到二维空白图像上,得到在所述二维空白图像上的第二顶点;
根据所述第二顶点,将所述二维空白图像输出为二维人脸图像;
对所述二维人脸图像进行脸部特征点定位,并确定所述二维人脸图像的脸部特征点与所述第一顶点的位置关系;
根据所述脸部特征点与所述第一顶点的位置关系,确定所述脸部特征点在所述三维人头模型上的位置;
其中,所述将所述三维人头模型上的第一顶点映射到二维空白图像上,得到在所述二维空白图像上的第二顶点,包括:
计算每个第一三角面的法向量,并确定所述法向量与预设方向的一致性,所述第一三角面为相邻的三个所述第一顶点组成;
将法向量与所述预设方向一致的所述第一三角面的第一顶点按照所述预设方向投影至所述二维空白图像,得到在所述二维空白图像内与所述第一顶点对应的第三顶点;
根据所述第三顶点确定所述第二顶点;
所述三维人头模型还包括UV坐标信息,每个所述UV坐标信息对应一个颜色值,所述根据所述第二顶点,将所述二维空白图像输出为二维人脸图像,包括:
确定在第二三角面内的像素点,所述第二三角面为相邻的三个所述第二顶点组成,所述像素点为二维空白图像上的像素点;
根据所述第二三角面对应的第一三角面和所述UV坐标信息,计算所述像素点的颜色值,所述第一三角面为相邻的三个所述第一顶点组成;
根据所述像素点的颜色值,将所述二维空白图像输出为所述二维人脸图像;
所述确定在第二三角面内的像素点,包括:
计算所述第二三角面的包围盒,并确定在所述包围盒内的像素点与所述包围盒对应的第二三角面的位置关系;
根据所述包围盒内的像素点与所述包围盒对应的第二三角面的位置关系,确定在所述第二三角面内的像素点;
所述根据所述第二三角面对应的第一三角面和所述UV坐标信息,计算所述像素点的颜色值,包括:
根据所述第一三角面与所述第二三角面的对应关系,确定所述第二三角面内的所述像素点在所述第一三角面内的位置;
根据所述像素点在所述第一三角面内的位置,计算所述第一三角面上的三个所述第一顶点分别对应的权重值;
根据所述第一顶点对应的UV坐标信息和所述权重值,计算所述像素点的颜色值。
2.如权利要求1所述的定位方法,其特征在于,所述将所述三维人头模型上的第一顶点映射到二维空白图像上,得到在所述二维空白图像上的第二顶点,包括:
将第一顶点按照预设方向投影至所述二维空白图像,得到在所述二维空白图像内与所述第一顶点对应的第四顶点;
确定在所述预设方向上与所述二维空白图像上的像素点距离最近或最远的第一三角面,所述像素点在相邻的三个所述第四顶点所组成的第四三角面内,所述第一三角面为相邻的三个所述第一顶点组成;
将与所述像素点距离最近或最远的所述第一三角面的所述第一顶点对应的第四顶点确定为所述第二顶点。
3.如权利要求1-2任一项所述的定位方法,其特征在于,所述对所述二维人脸图像进行脸部特征点定位,并确定所述二维人脸图像的脸部特征点与所述第一顶点的位置关系,包括:
根据预设的二维特征点定位算法,对所述二维人脸图像进行脸部特征点定位,得到定位后的所述二维人脸图像的脸部特征点;
确定在预设方向上与所述脸部特征点距离最近或最远的第一三角面,所述第一三角面为相邻的三个所述第一顶点组成;
确定所述脸部特征点与距离最近或最远的所述第一三角面上的三个所述第一顶点的位置关系。
4.一种利用如权利要求1-3任一项所述的定位方法进行定位的装置,其特征在于,包括:
获取模块,用于获取目标用户的三维人头模型,所述三维人头模型包括目标用户的空间点云内的多个第一顶点;
映射模块,用于将所述三维人头模型上的第一顶点映射到二维空白图像上,得到在所述二维空白图像上的第二顶点;
输出模块,用于根据所述第二顶点,将所述二维空白图像输出为二维人脸图像;
定位模块,用于对所述二维人脸图像进行脸部特征点定位,并确定所述脸部特征点与所述第一顶点的位置关系;
确定模块,用于根据所述脸部特征点与所述第一顶点的位置关系,确定所述脸部特征点在所述三维人头模型上的位置。
5.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010196827.XA CN111460937B (zh) | 2020-03-19 | 2020-03-19 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010196827.XA CN111460937B (zh) | 2020-03-19 | 2020-03-19 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111460937A CN111460937A (zh) | 2020-07-28 |
CN111460937B true CN111460937B (zh) | 2023-12-19 |
Family
ID=71685695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010196827.XA Active CN111460937B (zh) | 2020-03-19 | 2020-03-19 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111460937B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819939B (zh) * | 2021-03-08 | 2023-07-07 | 网易(杭州)网络有限公司 | 矫正uv坐标的方法、装置、设备和计算机可读存储介质 |
CN113066497A (zh) * | 2021-03-18 | 2021-07-02 | Oppo广东移动通信有限公司 | 数据处理方法、装置、系统、电子设备和可读存储介质 |
CN116245754B (zh) * | 2022-12-29 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN118314298A (zh) * | 2024-04-22 | 2024-07-09 | 浙江纺织服装职业技术学院 | 一种基于用户脸型特征的ai发型设计方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
CN106874850A (zh) * | 2017-01-10 | 2017-06-20 | 广东工业大学 | 一种基于三维人脸点云特征点定位方法 |
CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
CN110688947A (zh) * | 2019-09-26 | 2020-01-14 | 西安知象光电科技有限公司 | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 |
-
2020
- 2020-03-19 CN CN202010196827.XA patent/CN111460937B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101814192A (zh) * | 2009-02-20 | 2010-08-25 | 三星电子株式会社 | 真实感3d人脸重建的方法 |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
CN106874850A (zh) * | 2017-01-10 | 2017-06-20 | 广东工业大学 | 一种基于三维人脸点云特征点定位方法 |
CN109978984A (zh) * | 2017-12-27 | 2019-07-05 | Tcl集团股份有限公司 | 人脸三维重建方法及终端设备 |
CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
CN109767487A (zh) * | 2019-01-04 | 2019-05-17 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
CN110688947A (zh) * | 2019-09-26 | 2020-01-14 | 西安知象光电科技有限公司 | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111460937A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111460937B (zh) | 脸部特征点的定位方法、装置、终端设备及存储介质 | |
CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
US11842438B2 (en) | Method and terminal device for determining occluded area of virtual object | |
EP3614340B1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
US6434278B1 (en) | Generating three-dimensional models of objects defined by two-dimensional image data | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
US6614429B1 (en) | System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling | |
CN109859305A (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
WO2023284713A1 (zh) | 一种三维动态跟踪方法、装置、电子设备和存储介质 | |
CN109711472B (zh) | 训练数据生成方法和装置 | |
WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
WO2022021782A1 (zh) | 六维姿态数据集自动生成方法、系统、终端以及存储介质 | |
CN111460910A (zh) | 人脸脸型的分类方法、装置、终端设备及存储介质 | |
CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
CN114529648A (zh) | 模型展示方法、设备、装置、电子设备及存储介质 | |
CN115031635A (zh) | 测量方法及装置、电子设备及存储介质 | |
CN113822994B (zh) | 三维模型构建方法、装置及存储介质 | |
CN112348069B (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
CN113643343B (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
CN109961503A (zh) | 一种图像处理方法及装置、终端及计算机可读存储介质 | |
CN112967329A (zh) | 图像数据优化方法、装置、电子设备及存储介质 | |
CN113223103A (zh) | 素描画生成的方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |