CN114581614A - 根据2d人脸图片生成3d人脸模型的方法与装置 - Google Patents

Abstract

本申请提供了一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，方法包括：获取待处理的2D人脸图片，提取2D人脸图片中指定局部人脸区域的特征点记为第一特征点，计算第一特征点的特征值；对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，根据该指定局部人脸区域所属的类型确定目标局部人脸区域模型；根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，能够解决现有技术存在的无法即时生成3D人脸模型的问题。

Description

根据2D人脸图片生成3D人脸模型的方法与装置

技术领域

本发明涉及计算机技术领域，特别涉及一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质。

背景技术

随着元宇宙的蓬勃发展，用户拥有一个与自己高相似度的虚拟形象的需求日益增强。为满足用户需求，需要根据人脸图片生成人脸模型。

但是目前主流方法多基于人脸3D形变统计模型3DMM和生成式对抗网络GAN生成人脸模型，实现过程中会生成人脸（是一个模型），并将人脸附着在基础头部模型上，其至少存在如下问题：

1、受光照影响，生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线；

2、生成的人脸模型是2.5D图像而非3D图像，即从某个角度看起来像3D图像，但是从其它角度看起来会不自然，不像3D图像，无法多角度表现自然；

3、穿模问题，即在某个角度上比较自然，但是换角度看会有凹凸，人脸与头部模型间会有穿透。

由于存在上述问题，导致该方法多用于辅助人物虚拟角色制作，人脸模型在生成后依然需要美术工作人员做调整，无法满足云游戏等需要即时生成3D人脸模型的场景需要。

发明内容

有鉴于此，本申请实施例提供一种根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，能够解决现有技术存在的无法即时生成3D人脸模型的问题。

第一方面，本申请实施例提供了一种根据2D人脸图片生成3D人脸模型的方法，包括：

获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

第二方面，本申请实施例还提供了一种根据2D人脸图片生成3D人脸模型的装置，包括：

第一计算单元，用于获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

确定单元，用于对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

生成单元，用于根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的根据2D人脸图片生成3D人脸模型的方法的步骤。

第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的根据2D人脸图片生成3D人脸模型的方法的步骤。

综上，本申请实施例提供的根据2D人脸图片生成3D人脸模型的方法与装置、电子设备及存储介质，对于待处理的2D人脸图片中每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，继而根据类型确定出该指定局部人脸区域的目标局部人脸区域模型，最后根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，整个方案不涉及将人脸附着在基础头部模型上，因而不会出现现有技术存在的生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线的问题，以及穿模的问题；而且3D人脸模型是根据各个指定局部人脸区域的目标局部人脸区域模型生成的，而目标局部人脸区域模型为3D模型，这就使得生成的3D人脸模型从任意一个角度来看均是3D图像，不会出现现有技术存在的无法多角度表现自然的问题，因此，整个方案不需要美术工作人员参与，可以即时生成3D人脸模型，而且生成的3D人脸模型与2D人脸图片中人脸高度相似，不会产生恐怖谷问题，可以满足云游戏等需要即时生成3D人脸模型的场景需要。

附图说明

图1为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的方法的流程示意图；

图2为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的装置的结构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

参照图1所示，为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的方法的流程示意图，具体包括：

S10、获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

本实施例中，在获取待处理的2D人脸图片之后，可以基于深度神经网络，对2D人脸图片进行人脸检测，在检测到2D人脸图片中仅包含一张人脸时，执行后续的提取第一特征点等步骤；而如果检测到2D人脸图片中包含不只一张人脸，则可以重新获取待处理的2D人脸图片并进行人脸检测，直至确定2D人脸图片中仅包含一张人脸时，执行后续的提取第一特征点等步骤。在提取第一特征点时，可以基于深度神经网络，提取指定局部人脸区域的关键特征点landmark作为其第一特征点，比如若指定局部人脸区域包括眉毛，则眉毛的第一特征点可以为眉毛的关键特征点landmark；若指定局部人脸区域包括眼睛，则眼睛的第一特征点可以为眼睛的关键特征点landmark。

S11、对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

本实施例中，对于每一个指定局部人脸区域，对该指定局部人脸区域均预先设置至少一个类型及每个类型的局部人脸区域标准3D模型，在确定待处理的2D人脸图片中该指定局部人脸区域所属的类型后，可以将该类型的局部人脸区域标准3D模型作为该指定局部人脸区域的目标局部人脸区域模型。比如，若指定局部人脸区域包括眉毛，则可以对眉毛预先设置一字眉、标准眉、柳叶眉、高挑眉和剑眉等若干种眉形，对于每种眉形，可以制作该眉形对应的眉毛标准3D模型，则对于待处理的2D人脸图片中人脸的眉毛，可以先确定该眉毛所属的类型，比如属于一字眉，则可以将一字眉对应的眉毛标准3D模型作为该眉毛的目标局部人脸区域模型。再比如，若指定局部人脸区域包括眼睛，则可以对眼睛预先设置杏眼、丹凤眉、吊眼、细长眼和眯缝眼等若干种眼形，对于每种眼形，可以制作该眼形对应的眼睛标准3D模型，则对于待处理的2D人脸图片中人脸的眼睛，可以先确定该眼睛所属的类型，比如属于杏眼，则可以将杏眼对应的眼睛标准3D模型作为该眼睛的目标局部人脸区域模型。

S12、根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

本实施例中，根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型具体可以为：利用各个指定局部人脸区域的目标局部人脸区域模型替换基础3D人脸模型中相应指定局部人脸区域的基础模型，并将替换后得到的3D人脸模型作为目标3D人脸模型。需要说明的是，基础3D人脸模型可以为标准的头部模型，在进行替换时，可以利用确定的目标局部人脸区域模型进行替换，如果存在至少一个指定局部人脸区域，该至少一个指定局部人脸区域未确定目标局部人脸区域模型，则基础3D人脸模型中该至少一个指定局部人脸区域的基础模型不做替换。比如，步骤S11确定出了眉毛的目标局部人脸区域模型、眼睛的目标局部人脸区域模型、鼻子的目标局部人脸区域模型、嘴巴的目标局部人脸区域模型和脸部轮廓的目标局部人脸区域模型，则在生成3D人脸模型时，可以分别将眉毛的目标局部人脸区域模型、眼睛的目标局部人脸区域模型、鼻子的目标局部人脸区域模型、嘴巴的目标局部人脸区域模型和脸部轮廓的目标局部人脸区域模型替换基础3D人脸模型中眉毛的基础模型、眼睛的基础模型、鼻子的基础模型、嘴巴的基础模型和脸部轮廓的基础模型，而基础3D人脸模型中发型的基础模型和耳朵的基础模型不做替换。

本申请实施例提供的根据2D人脸图片生成3D人脸模型的方法，对于待处理的2D人脸图片中每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，继而根据类型确定出该指定局部人脸区域的目标局部人脸区域模型，最后根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，整个方案不涉及将人脸附着在基础头部模型上，因而不会出现现有技术存在的生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线的问题，以及穿模的问题；而且3D人脸模型是根据各个指定局部人脸区域的目标局部人脸区域模型生成的，而目标局部人脸区域模型为3D模型，这就使得生成的3D人脸模型从任意一个角度来看均是3D图像，不会出现现有技术存在的无法多角度表现自然的问题，因此，整个方案不需要美术工作人员参与，可以即时生成3D人脸模型，而且生成的3D人脸模型与2D人脸图片中人脸高度相似，不会产生恐怖谷问题，可以满足云游戏等需要即时生成3D人脸模型的场景需要。

在前述方法实施例的基础上，若所述指定局部人脸区域包括鼻子，在所述计算所述第一特征点的特征值之前，还可以包括：

若判断获知所述2D人脸图片不是水平正脸照片，则计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；

利用所述中点坐标和夹角将所述2D人脸图片校正为水平正脸照片；

其中，所述计算所述第一特征点的特征值，可以包括：

计算所述水平正脸照片中所述第一特征点的特征值。

本实施例中，需要说明的是，在计算所述第一特征点的特征值之前，可以判断2D人脸图片是否是水平正脸照片，如果不是水平正脸照片，需要将2D人脸图片校正为水平正脸照片。校正方法可以包括：计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；以所述中点坐标为基准点，将2D人脸图片旋转所述夹角，旋转后的2D人脸图片为水平正脸照片。在将2D人脸图片校正为水平正脸照片后，后续处理步骤基于校正后的2D人脸图片进行。需要说明的是，在判断所述2D人脸图片是否是水平正脸照片时，可以计算过鼻子最上侧特征点和鼻子最下侧特征点的直线与竖直线之间的夹角，判断该夹角是否大于第一阈值（比如5度，具体数值可以根据需要设置），若该夹角大于所述第一阈值，则认为所述2D人脸图片不是水平正脸照片，否则，则认为所述2D人脸图片是水平正脸照片。另外，在对所述2D人脸图片进行校正后，可以判断校正后的2D人脸图片中过鼻子最上侧特征点和鼻子最下侧特征点的直线与竖直线之间的夹角是否小于第二阈值（比如5度，具体数值可以根据需要设置），若该夹角小于所述第二阈值，则可以基于校正后的2D人脸图片执行后续处理步骤，否则，则可以重新获取待处理的2D人脸图片并进行后续处理。本实施例中，在判断获知所述2D人脸图片不是水平正脸照片时，将所述2D人脸图片校正为水平正脸照片，便于后续基于所述2D人脸图片中指定局部人脸区域的第一特征点生成与所述2D人脸图片中人脸高度相似的3D人脸模型。

在前述方法实施例的基础上，

所述眉毛的特征值可以包括：眉毛长宽比，以及眉尖到眉尾连线与水平线之间的夹角中的至少一项；

所述眼睛的特征值可以包括：眼睛长宽比、内眼角到外眼角连线与水平线之间的夹角，以及内眼角夹角中的至少一项；

所述鼻子的特征值可以包括：鼻子长宽比、鼻子长度与鼻子到嘴唇的距离的比值，以及鼻子宽度与面部宽度的比值中的至少一项；

所述嘴巴的特征值可以包括：对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数，以及对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数中的至少一项；

所述脸部轮廓的特征值可以包括：对脸部左侧轮廓的特征点进行二次拟合得到的曲线的二次项系数、对脸部右侧轮廓的特征点进行二次拟合得到的曲线的二次项系数，以及对下巴轮廓的特征点进行二次拟合得到的曲线的二次项系数中的至少一项。

本实施例中，需要说明的是，2D人脸图片中两只眉毛和两个眼睛均可以计算相关特征值，对于单只眉毛来说，眉毛长宽比可以是以眉毛眉尖特征点和眉毛眉尾特征点为端点的线段的长度，与眉毛最上侧特征点到过眉毛眉尖特征点和眉毛眉尾特征点的直线的距离的比值；眉尖到眉尾连线与水平线之间的夹角（为锐角）可以是过眉毛眉尖特征点和眉毛眉尾特征点的直线与水平线之间的夹角；

对于单个眼睛来说，眼睛长宽比可以是以眼睛最左侧特征点和眼睛最右侧特征点为端点的线段的长度，与以眼睛最上侧特征点和眼睛最下侧特征点为端点的线段的长度的比值；内眼角到外眼角连线与水平线之间的夹角（为锐角）可以是过眼睛内眼角特征点和眼睛外眼角特征点的直线与水平线之间的夹角；内眼角夹角（为锐角）可以是第一直线和第二直线之间的夹角，其中，第一直线过眉毛内眼角特征点和距离眉毛内眼角特征点最近的两个眼睛特征点中的一个特征点，第二直线过眉毛内眼角特征点和距离眉毛内眼角特征点最近的两个眼睛特征点中的另一个特征点；

鼻子长宽比可以是以鼻子最上侧特征点和鼻子最下侧特征点为端点的线段的长度，与以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的长度的比值；鼻子长度与鼻子到嘴唇的距离的比值可以是以鼻子最上侧特征点和鼻子最下侧特征点为端点的线段的长度，与以鼻子最下侧特征点和嘴巴最上侧特征点为端点的线段的长度的比值；鼻子宽度与面部宽度的比值可以是以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的长度，与以脸部最左侧特征点和脸部最右侧特征点为端点的线段的长度的比值；

对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数可以是对上嘴唇的外部特征点进行二次拟合得到的曲线的二次项系数；对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数可以是对下嘴唇的外部特征点进行二次拟合得到的曲线的二次项系数。

另外，需要说明的是，本实施例中对眉毛、眼睛、鼻子、嘴巴和脸部轮廓的特征值仅列出了具体的几种示例，除了列出的实例之外，还可以根据需要增加示例（比如在眉毛的特征值中增加对眉毛的特征点进行二次拟合得到的曲线的二次项系数）或减少示例，或者对列出的示例进行变形（比如将眉毛长宽比变形为眉毛宽长比，将眉毛长宽比变形为以眉毛眉尖特征点和眉毛眉尾特征点为端点的线段的长度，与以眉毛最上侧特征点和眉毛左下侧特征点为端点的线段的长度的比值或者从眉毛眉尖特征点到眉毛眉尾特征点的水平距离，与从眉毛最上侧特征点到眉毛左下侧特征点的竖直距离的比值等等），此处不再赘述。

本实施例中，通过设置眉毛、眼睛、鼻子、嘴巴和脸部轮廓的特征值，便于根据这些特征值准确确定出各个指定局部人脸区域所属的类型，继而根据各个指定局部人脸区域所属的类型准确确定出各个指定局部人脸区域的目标局部人脸区域模型，并根据各个指定局部人脸区域的目标局部人脸区域模型生成与2D人脸图片中人脸高度相似的3D人脸模型。

在前述方法实施例的基础上，在所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型之前，还可以包括：

获取多张2D人脸图片作为样本，提取所述样本中该指定局部人脸区域的特征点记为第二特征点，并计算所述第二特征点的特征值；

对所述第二特征点的特征值进行聚类，得到至少一个特征值类；

其中，所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，可以包括：

计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度；

根据所述相似度确定目标特征值类，并将所述目标特征值类或者所述目标特征值类对应的类型作为该指定局部人脸区域所属的类型；

其中，所述根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，可以包括：

将该指定局部人脸区域所属的类型对应的标准局部人脸区域3D模型作为该指定局部人脸区域的目标局部人脸区域模型。

本实施例中，需要说明的是，在根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型之前，需要先确定出该指定局部人脸区域的至少一个特征值类，在确定出该指定局部人脸区域的至少一个特征值类后，才能确定该指定局部人脸区域所属的类型。具体地，在确定该指定局部人脸区域的至少一个特征值类时，可以获取多张2D人脸图片作为样本，提取所述样本中该指定局部人脸区域的特征点记为第二特征点，并计算所述第二特征点的特征值；对所述第二特征点的特征值进行聚类（可以使用K-means聚类算法），得到至少一个特征值类。需要说明的是，对所述第二特征点的特征值进行聚类之前的处理步骤可以与前述实施例中对待处理的2D人脸图片的相应处理步骤一致，此处不再赘述。在确定出该指定局部人脸区域的至少一个特征值类后，在根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型时，可以先计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度；然后根据所述相似度确定目标特征值类，并将所述目标特征值类或者所述目标特征值类对应的类型作为该指定局部人脸区域所属的类型。比如说，对于眉毛，确定出眉毛的5个特征值类，这5个特征值类分别对应一字眉、标准眉、柳叶眉、高挑眉和剑眉，则若根据待处理的2D人脸图片中眉毛的第一特征点的特征值与这5个特征值类的中心之间的相似度确定出目标特征值类为一字眉对应的特征值类，则可以将一字眉对应的特征值类或一字眉作为待处理的2D人脸图片中眉毛的类型。另外，在根据所述相似度确定目标特征值类时，可以将最大的前N（N为正整数）个相似度中的一个相似度对应的特征值类确定为目标特征值类。另外，需要说明的是，确定该指定局部人脸区域所属的类型在实现时，可以使用深度神经网络提取第一特征点的特征值，并通过为该指定局部人脸区域制作的分类器对该指定局部人脸区域进行分类，从而确定出该指定局部人脸区域所属的类型。而在确定出该指定局部人脸区域所属的类型后，可以将该指定局部人脸区域所属的类型对应的标准局部人脸区域3D模型作为该指定局部人脸区域的目标局部人脸区域模型。比如，若确定出待处理的2D人脸图片中眉毛的类型为一字眉对应的特征值类或一字眉，则可以将一字眉对应的标准局部人脸区域3D模型（即一字眉对应的眉毛标准3D模型）作为待处理的2D人脸图片中眉毛的目标局部人脸区域模型。

在前述方法实施例的基础上，所述计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度，可以包括：

对该指定局部人脸区域的第一特征点的特征值，与所述至少一个特征值类的中心分别进行归一化处理，得到第一特征值，与至少一个第二特征值；

计算所述第一特征值与各个第二特征值之间的相似度。

本实施例中，需要说明的是，归一化处理可以是将特征值处理成0至1之间的数值。计算相似度时可以对各个特征值设定相应的权重系数，并可以使用现有的相似度计算方法，比如余弦相似度、距离相似度等，此处不再赘述。

参照图2所示，为本申请实施例提供的一种根据2D人脸图片生成3D人脸模型的装置的结构示意图，该装置具体包括：

第一计算单元20，用于获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

确定单元21，用于对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

生成单元22，用于根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

本申请实施例提供的根据2D人脸图片生成3D人脸模型的装置，首先，借助于第一计算单元20获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值；然后，对于每一个指定局部人脸区域，借助于确定单元21根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，继而根据类型确定出该指定局部人脸区域的目标局部人脸区域模型，最后，借助于生成单元22根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型，整个方案不涉及将人脸附着在基础头部模型上，因而不会出现现有技术存在的生成的人脸无法精确贴合在头部模型上，在贴合的分界线处，存在颜色明暗的差距以及比较清晰的分界线的问题，以及穿模的问题；而且3D人脸模型是根据各个指定局部人脸区域的目标局部人脸区域模型生成的，而目标局部人脸区域模型为3D模型，这就使得生成的3D人脸模型从任意一个角度来看均是3D图像，不会出现现有技术存在的无法多角度表现自然的问题，因此，整个方案不需要美术工作人员参与，可以即时生成3D人脸模型，而且生成的3D人脸模型与2D人脸图片中人脸高度相似，不会产生恐怖谷问题，可以满足云游戏等需要即时生成3D人脸模型的场景需要。

在前述装置实施例的基础上，若所述指定局部人脸区域包括鼻子，所述装置还可以包括：

第二计算单元，用于在所述第一计算单元计算所述第一特征点的特征值之前，若判断获知所述2D人脸图片不是水平正脸照片，则计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；

校正单元，用于利用所述中点坐标和夹角将所述2D人脸图片校正为水平正脸照片；

其中，所述第一计算单元，可以用于：

计算所述水平正脸照片中所述第一特征点的特征值。

在前述装置实施例的基础上，

所述眉毛的特征值可以包括：眉毛长宽比，以及眉尖到眉尾连线与水平线之间的夹角中的至少一项；

所述眼睛的特征值可以包括：眼睛长宽比、内眼角到外眼角连线与水平线之间的夹角，以及内眼角夹角中的至少一项；

所述鼻子的特征值可以包括：鼻子长宽比、鼻子长度与鼻子到嘴唇的距离的比值，以及鼻子宽度与面部宽度的比值中的至少一项；

所述嘴巴的特征值可以包括：对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数，以及对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数中的至少一项；

所述脸部轮廓的特征值可以包括：对脸部左侧轮廓的特征点进行二次拟合得到的曲线的二次项系数、对脸部右侧轮廓的特征点进行二次拟合得到的曲线的二次项系数，以及对下巴轮廓的特征点进行二次拟合得到的曲线的二次项系数中的至少一项。

本申请实施例提供的根据2D人脸图片生成3D人脸模型的装置，其实现过程与本申请实施例提供的根据2D人脸图片生成3D人脸模型的方法一致，所能达到的效果也与本申请实施例提供的根据2D人脸图片生成3D人脸模型的方法相同，在此不再赘述。

如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述根据2D人脸图片生成3D人脸模型的方法的步骤。

具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述根据2D人脸图片生成3D人脸模型的方法。

对应于上述根据2D人脸图片生成3D人脸模型的方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述根据2D人脸图片生成3D人脸模型的方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种根据2D人脸图片生成3D人脸模型的方法，其特征在于，包括：

获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

2.如权利要求1所述的方法，其特征在于，若所述指定局部人脸区域包括鼻子，在所述计算所述第一特征点的特征值之前，还包括：

若判断获知所述2D人脸图片不是水平正脸照片，则计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；

利用所述中点坐标和夹角将所述2D人脸图片校正为水平正脸照片；

其中，所述计算所述第一特征点的特征值，包括：

计算所述水平正脸照片中所述第一特征点的特征值。

3.如权利要求1或2所述的方法，其特征在于，

所述眉毛的特征值包括：眉毛长宽比，以及眉尖到眉尾连线与水平线之间的夹角中的至少一项；

所述眼睛的特征值包括：眼睛长宽比、内眼角到外眼角连线与水平线之间的夹角，以及内眼角夹角中的至少一项；

所述鼻子的特征值包括：鼻子长宽比、鼻子长度与鼻子到嘴唇的距离的比值，以及鼻子宽度与面部宽度的比值中的至少一项；

所述嘴巴的特征值包括：对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数，以及对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数中的至少一项；

所述脸部轮廓的特征值包括：对脸部左侧轮廓的特征点进行二次拟合得到的曲线的二次项系数、对脸部右侧轮廓的特征点进行二次拟合得到的曲线的二次项系数，以及对下巴轮廓的特征点进行二次拟合得到的曲线的二次项系数中的至少一项。

4.如权利要求1所述的方法，其特征在于，在所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型之前，还包括：

获取多张2D人脸图片作为样本，提取所述样本中该指定局部人脸区域的特征点记为第二特征点，并计算所述第二特征点的特征值；

对所述第二特征点的特征值进行聚类，得到至少一个特征值类；

其中，所述根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，包括：

计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度；

根据所述相似度确定目标特征值类，并将所述目标特征值类或者所述目标特征值类对应的类型作为该指定局部人脸区域所属的类型；

其中，所述根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，包括：

将该指定局部人脸区域所属的类型对应的标准局部人脸区域3D模型作为该指定局部人脸区域的目标局部人脸区域模型。

5.如权利要求4所述的方法，其特征在于，所述计算该指定局部人脸区域的第一特征点的特征值与所述至少一个特征值类的中心之间的相似度，包括：

对该指定局部人脸区域的第一特征点的特征值，与所述至少一个特征值类的中心分别进行归一化处理，得到第一特征值，与至少一个第二特征值；

计算所述第一特征值与各个第二特征值之间的相似度。

6.一种根据2D人脸图片生成3D人脸模型的装置，其特征在于，包括：

第一计算单元，用于获取待处理的2D人脸图片，提取所述2D人脸图片中指定局部人脸区域的特征点记为第一特征点，并计算所述第一特征点的特征值，其中，所述指定局部人脸区域包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓中的至少一个；

确定单元，用于对于每一个指定局部人脸区域，根据该指定局部人脸区域的第一特征点的特征值确定该指定局部人脸区域所属的类型，并根据该指定局部人脸区域所属的类型确定该指定局部人脸区域的目标局部人脸区域模型，其中，所述目标局部人脸区域模型为3D模型；

生成单元，用于根据各个指定局部人脸区域的目标局部人脸区域模型生成3D人脸模型。

7.如权利要求6所述的装置，其特征在于，若所述指定局部人脸区域包括鼻子，所述装置还包括：

第二计算单元，用于在所述第一计算单元计算所述第一特征点的特征值之前，若判断获知所述2D人脸图片不是水平正脸照片，则计算以鼻子最左侧特征点和鼻子最右侧特征点为端点的线段的中点坐标，以及过鼻子最左侧特征点和鼻子最右侧特征点的直线与水平线之间的夹角；

校正单元，用于利用所述中点坐标和夹角将所述2D人脸图片校正为水平正脸照片；

其中，所述第一计算单元，用于：

计算所述水平正脸照片中所述第一特征点的特征值。

8.如权利要求6或7所述的装置，其特征在于，

所述眉毛的特征值包括：眉毛长宽比，以及眉尖到眉尾连线与水平线之间的夹角中的至少一项；

所述眼睛的特征值包括：眼睛长宽比、内眼角到外眼角连线与水平线之间的夹角，以及内眼角夹角中的至少一项；

所述鼻子的特征值包括：鼻子长宽比、鼻子长度与鼻子到嘴唇的距离的比值，以及鼻子宽度与面部宽度的比值中的至少一项；

所述嘴巴的特征值包括：对上嘴唇的特征点进行二次拟合得到的曲线的二次项系数，以及对下嘴唇的特征点进行二次拟合得到的曲线的二次项系数中的至少一项；

所述脸部轮廓的特征值包括：对脸部左侧轮廓的特征点进行二次拟合得到的曲线的二次项系数、对脸部右侧轮廓的特征点进行二次拟合得到的曲线的二次项系数，以及对下巴轮廓的特征点进行二次拟合得到的曲线的二次项系数中的至少一项。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的根据2D人脸图片生成3D人脸模型的方法的步骤。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的根据2D人脸图片生成3D人脸模型的方法的步骤。

Images