CN117058329A - 一种人脸快速三维建模方法及系统 - Google Patents

Abstract

本发明公开了一种人脸快速三维建模方法及系统，方法包括：生成头部三维网络的标准模型；获取待生成人脸三维模型的二维图像；获取二维图像的面部视角，将标准模型调整至面部视角；获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹；识别二维图像中的头部尺寸和面部特征尺寸；在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合；将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型。本发明有利于人脸快速三维建模和建模简化。

Description

一种人脸快速三维建模方法及系统

技术领域

本发明涉及人脸三维建模技术领域，尤其涉及一种人脸快速三维建模方法和一种人脸快速三维建模系统。

背景技术

随着智能手机、AR设备、VR设备的发展和普及，3D人脸重建和面部驱动逐渐进入到人们的日常生活中以及视频技术中，而这一技术的背后需要从图像或者视频重建出3D人脸模型，包括人脸的几何、外观、表情、头部姿态和环境光照。传统的建模方法一般包含以下步骤：相机标定、特征点匹配、三维点重建、构建三角网、纹理映射。虽然传统的重建方法的理论基础比较成熟，但是实现起来步骤复杂、繁琐、且需要专业的技术人员才能实现人脸建模。因此，现有技术中的人脸三维建模方法需要依赖技术人员进行步骤复杂、流程繁琐的建模过程，不利于快速建模和建模简化。

发明内容

本发明的主要目的在于提供一种人脸快速三维建模方法，以及一种人脸快速三维建模系统，旨在解决现有技术中的人脸三维建模方法需要依赖技术人员进行步骤复杂、流程繁琐的建模过程，不利于快速建模和建模简化的问题。

为实现上述目的，本发明提供的一种人脸快速三维建模方法，包括如下步骤：

生成头部三维网络的标准模型，其中，标准模型包括面部特征轮廓和头部轮廓；

获取待生成人脸三维模型的二维图像；

获取二维图像的面部视角，将标准模型调整至面部视角；

获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹；

识别二维图像中的头部尺寸和面部特征尺寸；

根据头部尺寸和面部特征尺寸，在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合；

将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型。

优选地，所述获取二维图像的面部视角，将标准模型调整至面部视角的步骤，包括：

从二维图像中提取面部特征画面；

根据面部特征画面和人脸对称关系，确定二维图像中的人脸左右中轴，并确定二维图像中的人脸左右中轴与竖直方向之间的竖向偏角；

计算二维图像中位于人脸左右中轴两侧的面部特征尺寸占比；

根据二维图像中位于人脸左右中轴两侧的面部特征尺寸占比和人脸对称关系，确定二维图像中的人脸与正脸朝前相比的横向偏角；

根据竖向偏角和横向偏角，确定面部视角；

将标准模型调整至面部视角。

优选地，所述获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹的步骤，包括：

获取面部视角下标准模型的多个不同面部特征的第一特征点；

获取背离面部视角方向下的标准模型中的多个第二特征点，其中，每个第一特征点在背离面部视角方向的标准模型中具有面部对称的第二特征点；

经由面部对称的第一特征点和第二特征点一一对应连接成多条特征轨迹，其中，特征轨迹经过标准模型的第三特征点，第三特征点是位于面部对称的第一特征点和第二特征点之间，且与第一特征点和第二特征点属于同一面部特征的相关特征点。

优选地，所述将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型的步骤，包括：

获得特征轨迹关于调整模型中的人脸左右中轴两侧的对称关系；

在调整模型的朝向面部视角一侧的网格轮廓定位人脸左右中轴位置；

以调整模型的朝向面部视角一侧的网格轮廓、人脸左右中轴的位置和对称关系作为已知条件，求解调整模型的背离面部视角方向的网格轮廓。

优选地，所述方法，还包括：

获取所述二维图像中的附加特征，并识别附加特征属于对称特征还是非对称特征；

将对称特征在调整模型中朝向面部视角一侧和背离面部视角一侧进行对称添加；

将非对称特征按照二维图像中的人脸位置，对应添加至调整模型。

优选地，所述根据头部尺寸和面部特征尺寸，在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合的步骤，包括：

将调整至面部视角的标准模型投影至与二维图像平行的参考面，以形成投影图像；

根据二维图像的头部尺寸，调整投影图像的边缘轮廓；

根据投影图像的边缘轮廓，以及标准模型的头部轮廓的尺寸，得到尺寸校正模型；

根据二维图像的面部特征轮廓形成面部特征点；

将面部特征点在投影图像中进行标记，根据标记的面部特征点，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

优选地，参照如下步骤求解调整模型的背离面部视角方向的网格轮廓：

以人脸上下中轴为x轴，人脸左右中轴为y轴，以头部中心向头部以外的方向为z轴，建立三维坐标系，三维坐标系的原点为面部中心点；

建立第i条特征轨迹中第j个第一特征点坐标；

建立第i条特征轨迹中第j个第二特征点坐标；

；

；

；

其中，同一条特征轨迹中的第j个第一特征点坐标与第j个第二特征点坐标对称；

为第i条特征轨迹中第j个第一特征点的x轴坐标，/>为第i条特征轨迹中第j个第一特征点的y轴坐标，/>为第i条特征轨迹中第j个第一特征点的z轴坐标；

为第i条特征轨迹中第j个第二特征点的x轴坐标，/>为第i条特征轨迹中第j个第二特征点的y轴坐标，/>为第i条特征轨迹中第j个第二特征点的z轴坐标；

其中，，n为特征轨迹的数量；/>，/>为第i条特征轨迹中的第一特征点的数量；

获取调整模型的朝向面部视角一侧的网格轮廓，以根据二维图像的面部特征调整第一特征点坐标；

；

；

；

为第i条特征轨迹中第j个第一特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的z轴坐标；

为第i条特征轨迹中第j个第一特征点的x轴校正量，/>为第i条特征轨迹中第j个第一特征点的y轴校正量，/>为第i条特征轨迹中第j个第一特征点的z轴校正量；

；

；

；

为第i条特征轨迹中第j个第二特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的z轴坐标；

其中，当一些第二特征点属于面部视角下能观察到的信息时，直接获取到第二特征点的坐标点，若一些第二特征点属于面部视角下不能观察到的信息时，用对应的第一特征点求解；

当一些第一特征点属于面部视角下不能观察到的信息时，通过同一特征轨迹上能观察到的第一特征点和特征轨迹的走向预测面部视角下不能观察到的第一特征点坐标。

优选地，根据如下方式得到调整模型：

（1）识别到二维图像中的面部特征后，根据人脸对称关系，在二维图像中标记人脸左右中轴和人脸上下中轴，其中人脸左右中轴为左脸与右脸的对称轴，人脸上下中轴为上面部与下面部的中轴；

（2）以人脸上下中轴为x轴，以人脸左右中轴为y轴，建立第一二维坐标系，第一二维坐标系的原点为人脸的中心点；

（3）在二维坐标系中标定二维图像的多个坐标点，且标定的各个坐标点中包括头部边缘特征点和面部特征点；

其中，表示二维图像中的第e个坐标点，/>表示二维图像的第e个坐标点的x轴坐标，/>表示二维图像的第e个坐标点的y轴坐标，/>，E为二维图像中标定的坐标点数量；

以右面部为x轴正方向，以上面部为y轴正方向，识别的面部最高点的坐标点为，面部最低点的坐标点为/>，/>；

在二维图像中的各个坐标点中获取横坐标最大值，将横坐标最大值所属的坐标点，确定为面部最右点；

在二维图像中的各个坐标点中获取横坐标最小值，将横坐标最小值所属的坐标点，确定为面部最左点；

（4）根据二维图像中的面部最高点、面部最低点、面部最左点和面部最右点，调整投影图像的边缘轮廓的面部最高点、面部最低点、面部最左点和面部最右点，从而调整了标准模型的头部轮廓的尺寸，得到尺寸校正模型；

（5）从二维图像的坐标点中识别面部特征点，面部特征点包括：眉、眼、耳、鼻、口和脸型分别对应的坐标点；

识别到面部特征点后，在投影图像中建立第二二维坐标系，第二二维坐标系以投影图像中的人脸上下中轴为x轴，以人脸左右中轴为y轴，第二二维坐标系的原点为投影图像中人脸的中心点；

从而，第二二维坐标系在投影图像中的位置，与第一二维坐标系在二维图像中的位置是相同的，并且二维图像与投影图像的尺寸与形状也相同；

根据从二维图像的坐标点中识别到的面部特征点的坐标数据，在投影图像中调整对应的面部特征尺寸，从而，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

为实现上述目的，本发明还提出一种人脸快速三维建模系统，应用所述人脸快速三维建模方法。

本发明的技术方案中，标准模型具有头部三维网格，头部三维网格中包括面部特征轮廓和头部轮廓，其中，头部三维网格中面部特征及面部特征周边的网格密度大，头部三维网格中其他位置的网格密度小；当有人脸的二维图像需要生成人脸三维模型时，人脸的二维图像有可能是人脸正面图像，也有可能是人脸侧面图像，本发明自动识别到二维图像的面部视角是正面还是侧面，且识别侧面图像的偏斜角度，将标准模型也调整到相同的面部视角，再根据二维图像调整标准模型至生成与二维图像匹配的人脸三维模型，从而，本发明的技术方案不仅适用于正面的人脸二维图像快速生成对应的人脸三维模型，还能适用于侧面的人脸二维图像快速生成对应的人脸三维模型，适用场景更广；进一步的，本发明在将标准模型调整到二维图像的同样面部视角后，根据二维图像中头部尺寸和面部特征尺寸，调整标准模型在面部视角下的头部轮廓和面部特征轮廓，得到调整模型，其中，头部轮廓和面部特征轮廓的调整包括三维尺寸调整和形状轨迹调整；由于二维图像的背离面部视角下的人脸图像信息是不可见的，不能从二维图像中获得，本发明可以根据标准模型中，朝向面部视角一侧的网格轮廓与背离面部视角方向的网格轮廓的特征轨迹，生成调整模型背离面部视角方向的人脸信息。因此，本发明能根据面部的二维图像，调整标准模型，再通过分析得到的特征轨迹，在标准模型中生成二维图像不可见的面部特征，因此，本发明将二维图像输入系统后，在系统中采用二维图像对标准模型进行自动调整，即可生成与二维图像匹配的人脸三维模型，实现了二维图像到三维模型的快速自动建模，并且能够适用于多种人脸面部角度，无需专业人员专门进行建模，步骤简单。从而，本发明有利于解决现有技术中的人脸三维建模方法需要依赖技术人员进行步骤复杂、流程繁琐的建模过程，不利于快速建模和建模简化的问题。

附图说明

图1为本发明中人脸快速三维建模方法在第一实施例中的流程示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“单元”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“单元”、“部件”或“单元”可以混合地使用。

请参阅图1，本发明的第一实施例中提供一种人脸快速三维建模方法，所述方法包括如下步骤：

步骤S10，生成头部三维网络的标准模型，其中，标准模型包括面部特征轮廓和头部轮廓；

步骤S20，获取待生成人脸三维模型的二维图像；

步骤S30，获取二维图像的面部视角，将标准模型调整至面部视角；

步骤S40，获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹；

步骤S50，识别二维图像中的头部尺寸和面部特征尺寸；

步骤S60，根据头部尺寸和面部特征尺寸，在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合；

步骤S70，将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型。

本发明的技术方案中，标准模型具有头部三维网格，头部三维网格中包括面部特征轮廓和头部轮廓，其中，头部三维网格中面部特征及面部特征周边的网格密度大，头部三维网格中其他位置的网格密度小；当有人脸的二维图像需要生成人脸三维模型时，人脸的二维图像有可能是人脸正面图像，也有可能是人脸侧面图像，本发明自动识别到二维图像的面部视角是正面还是侧面，且识别侧面图像的偏斜角度，将标准模型也调整到相同的面部视角，再根据二维图像调整标准模型至生成与二维图像匹配的人脸三维模型，从而，本发明的技术方案不仅适用于正面的人脸二维图像快速生成对应的人脸三维模型，还能适用于侧面的人脸二维图像快速生成对应的人脸三维模型，适用场景更广；进一步的，本发明在将标准模型调整到二维图像的同样面部视角后，根据二维图像中头部尺寸和面部特征尺寸，调整标准模型在面部视角下的头部轮廓和面部特征轮廓，得到调整模型，其中，头部轮廓和面部特征轮廓的调整包括三维尺寸调整和形状轨迹调整；由于二维图像的背离面部视角下的人脸图像信息是不可见的，不能从二维图像中获得，本发明可以根据标准模型中，朝向面部视角一侧的网格轮廓与背离面部视角方向的网格轮廓的特征轨迹，生成调整模型背离面部视角方向的人脸信息。因此，本发明能根据面部的二维图像，调整标准模型，再通过分析得到的特征轨迹，在标准模型中生成二维图像不可见的面部特征，因此，本发明将二维图像输入系统后，在系统中采用二维图像对标准模型进行自动调整，即可生成与二维图像匹配的人脸三维模型，实现了二维图像到三维模型的快速自动建模，并且能够适用于多种人脸面部角度，无需专业人员专门进行建模，步骤简单。从而，本发明有利于解决现有技术中的人脸三维建模方法需要依赖技术人员进行步骤复杂、流程繁琐的建模过程，不利于快速建模和建模简化的问题。

其中，面部视角指的是面部的朝向，面部视角不仅包括头部俯仰角，还包括正脸偏斜角度。

标准模型的面部特征轮廓包括通过三维网格呈现的面部特征形状和尺寸，标准模型的头部轮廓包括通过三维网格呈现的头部形状和尺寸。

二维图像中的头部尺寸包括头部边缘尺寸和形状，二维图像中的面部特征尺寸包括面部特征边缘尺寸和形状。

其中，面部特征包括眉、眼、耳、鼻、口的面部特征和脸型。

基于本发明的人脸快速三维建模方法的第一实施例，本发明的人脸快速三维建模方法的第二实施例中，所述步骤S30，包括：

步骤S31，从二维图像中提取面部特征画面；

步骤S32，根据面部特征画面和人脸对称关系，确定二维图像中的人脸左右中轴，并确定二维图像中的人脸左右中轴与竖直方向之间的竖向偏角；

步骤S33，计算二维图像中位于人脸左右中轴两侧的面部特征尺寸占比；

步骤S34，根据二维图像中位于人脸左右中轴两侧的面部特征尺寸占比和人脸对称关系，确定二维图像中的人脸与正脸朝前相比的横向偏角；

步骤S35，根据竖向偏角和横向偏角，确定面部视角；

步骤S36，将标准模型调整至面部视角。

其中，人脸左右中轴为左脸与右脸的对称轴。

面部特征画面指的是二维图像中包含人脸中的眉毛、眼睛、鼻子、嘴巴和耳朵。

进一步的，人脸对称关系指的是人脸的左脸和右脸具有对称关系，从而面部特征画面在左脸和右脸会呈现对称的状态，对称轴即为人脸左右中轴。

人脸左右中轴为左脸和右脸的分割线。

根据面部特征画面和人脸对称关系，确定二维图像中的人脸左右中轴的具体方式可以是：根据眉、眼、耳、鼻、口的中心位置连线，确定人脸左右中轴。

竖向偏角为头部俯仰角。竖向偏角的确定方式为：面部可以随着头部俯仰的角度不同呈现二维图像中的人脸左右中轴与竖直方向之间的竖向偏角，本发明中，在低头状态下取竖向偏角为负数，在抬头状态下取竖向偏角为正数，在头部居中（不低头也不抬头）状态下取竖向偏角为0°。

横向偏角为正脸偏斜角度，横向偏角的确定方式为：当二维图像直接展示正脸时，横向偏角为0°；当二维图像直接展示侧脸时，横向偏角为90°；当二维图像直接展示后脑部位时，横向偏角为180°，因此，横向偏角越大，展示的面部信息越少，从而，本发明中的横向偏角优选为[0°,110°]，当然，若横向偏角超出优选区间，面部不可见的信息越多，虽然此种情况也能生成人脸三维模型，但是人脸三维模型能获取到的面部信息准确度会降低。进一步的，可以定义正脸往右偏时，横向偏角为正数，正脸往左偏时，横向偏角为负数。

具体的，面部特征尺寸占比可以为：二维图像中可见的左脸面部特征与右脸面度特征的宽度占比。

具体的，可以建立宽度占比与横向偏角的映射关系表，在确定了面部宽度占比后，根据查询映射关系表，即可确定横向偏角。

基于本发明的人脸快速三维建模方法的第二实施例，本发明的人脸快速三维建模方法的第三实施例中，所述步骤S40，包括：

步骤S41，获取面部视角下标准模型的多个不同面部特征的第一特征点；

步骤S42，获取背离面部视角方向下的标准模型中的多个第二特征点，其中，每个第一特征点在背离面部视角方向的标准模型中具有面部对称的第二特征点；

步骤S43，经由面部对称的第一特征点和第二特征点一一对应连接成多条特征轨迹，其中，特征轨迹经过标准模型的第三特征点，第三特征点是位于面部对称的第一特征点和第二特征点之间，且与第一特征点和第二特征点属于同一面部特征的相关特征点。

本发明中，需要获取多条特征轨迹，使得至少眉、眼、耳、鼻、口和脸型都有特征轨迹经过。

以其中一个面部特征是眼为例，假设面部视角下展现的是左脸，则右脸背离面部视角方向。从而，可以从标准模型中的左眼图像取多个第一特征点，那么，标准模型的右眼与第一特征点对称位置即为第二特征点。特征轨迹指的是从第一特征点向第二特征点的连线，特征轨迹经过标准模型的表面，并且经由的第三特征点指的是左眼和右眼的位置点。

容易理解，左眼上可以取多个第一特征点，从而对称的右眼上与每个第一特征点对应都会存在一个对称的第二特征点，同一特征轨迹经由的第一特征点、第二特征点和第三特征点越多，则得到的特征轨迹越能体现标准模型的面部特征以及面部特征对称关系。

基于本发明的人脸快速三维建模方法的第三实施例，本发明的人脸快速三维建模方法的第四实施例中，所述步骤S70，包括：

步骤S71，获得特征轨迹关于调整模型中的人脸左右中轴两侧的对称关系；

步骤S72，在调整模型的朝向面部视角一侧的网格轮廓定位人脸左右中轴位置；

步骤S73，以调整模型的朝向面部视角一侧的网格轮廓、人脸左右中轴的位置和对称关系作为已知条件，求解调整模型的背离面部视角方向的网格轮廓。

具体的，特征轨迹确定后，特征轨迹的中点经过人脸左右中轴。从而，特征轨迹关于人脸左右中轴两侧的对称关系，指的就是特征轨迹在左脸和右脸的对称关系。

根据各个特征轨迹的中点的连线，在调整模型的朝向面部视角一侧的网格轮廓，定位人脸左右中轴位置。

具体的，通过步骤S60，将根据二维图像获取的面部特征信息匹配到标准模型的面部视角的一侧，以调整标准模型在面部视角一侧的网格轮廓，而标准模型背离面部视角方向的网格轮廓暂时还是未调整的，因此，要根据调整模型的朝向面部视角一侧的网格轮廓、人脸左右中轴的位置和对称关系作为已知条件，求解调整模型的背离面部视角方向的网格轮廓。

具体的，参照如下步骤求解调整模型的背离面部视角方向的网格轮廓：

以人脸上下中轴为x轴，人脸左右中轴为y轴，以头部中心向头部以外的方向为z轴，建立三维坐标系，三维坐标系的原点为面部中心点；

建立第i条特征轨迹中第j个第一特征点坐标；

建立第i条特征轨迹中第j个第二特征点坐标；

；

；

；

其中，同一条特征轨迹中的第j个第一特征点坐标与第j个第二特征点坐标对称；

为第i条特征轨迹中第j个第一特征点的x轴坐标，/>为第i条特征轨迹中第j个第一特征点的y轴坐标，/>为第i条特征轨迹中第j个第一特征点的z轴坐标；

为第i条特征轨迹中第j个第二特征点的x轴坐标，/>为第i条特征轨迹中第j个第二特征点的y轴坐标，/>为第i条特征轨迹中第j个第二特征点的z轴坐标；

其中，，n为特征轨迹的数量；/>，/>为第i条特征轨迹中的第一特征点的数量；

获取调整模型的朝向面部视角一侧的网格轮廓，以根据二维图像的面部特征调整第一特征点坐标；

；

；

；

为第i条特征轨迹中第j个第一特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的z轴坐标；

为第i条特征轨迹中第j个第一特征点的x轴校正量，/>为第i条特征轨迹中第j个第一特征点的y轴校正量，/>为第i条特征轨迹中第j个第一特征点的z轴校正量；

；

；

；

为第i条特征轨迹中第j个第二特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的z轴坐标；

其中，当一些第二特征点属于面部视角下能观察到的信息时，直接获取到第二特征点的坐标点，若一些第二特征点属于面部视角下不能观察到的信息时，用对应的第一特征点求解；

当一些第一特征点属于面部视角下不能观察到的信息时，通过同一特征轨迹上能观察到的第一特征点和特征轨迹的走向预测面部视角下不能观察到的第一特征点坐标。

其中，人脸上下中轴为上面部与下面部的中轴。

基于本发明的人脸快速三维建模方法的第一实施例至第四实施例，本发明的人脸快速三维建模方法的第五实施例中，所述方法，还包括：

步骤S80，获取所述二维图像中的附加特征，并识别附加特征属于对称特征还是非对称特征；

步骤S90，将对称特征在调整模型中朝向面部视角一侧和背离面部视角一侧进行对称添加；

步骤S100，将非对称特征按照二维图像中的人脸位置，对应添加至调整模型。

其中，建立对称特征集合，例如，对称特征可以包括：皱纹、眼袋；

建立非对称特征集合，例如，非对称特征可以包括：痣、伤疤、装饰。

在二维图像中识别附加特征时，通过附加特征的相对二维图像的尺寸比例、特征位置和形状识别附加特征的类型属于对称特征还是非对称特征。

若属于对称特征，则根据二维图像中的对称特征在面部视角下的位置、形状和尺寸，将对称特征在调整模型中朝向面部视角一侧和背离面部视角一侧进行对称添加。

若属于非对称特征，则根据对称特征在面部视角下的位置、形状和尺寸，将非对称特征在调整模型中朝向面部视角一侧添加。

基于本发明的人脸快速三维建模方法的第一实施例至第五实施例，本发明的人脸快速三维建模方法的第六实施例中，所述步骤S60，包括：

步骤S61，将调整至面部视角的标准模型投影至与二维图像平行的参考面，以形成投影图像；其中，投影图像所在平面与二维图像所在平面平行；

步骤S62，根据二维图像的头部尺寸，调整投影图像的边缘轮廓；

步骤S63，根据投影图像的边缘轮廓，以及标准模型的头部轮廓的尺寸，得到尺寸校正模型；

步骤S64，根据二维图像的面部特征轮廓形成面部特征点；

步骤S65，将面部特征点在投影图像中进行标记，根据标记的面部特征点，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

具体的，根据如下方式得到调整模型：

（1）识别到二维图像中的面部特征后，根据人脸对称关系，在二维图像中标记人脸左右中轴和人脸上下中轴，其中人脸左右中轴为左脸与右脸的对称轴，人脸上下中轴为上面部与下面部的中轴；

（2）以人脸上下中轴为x轴，以人脸左右中轴为y轴，建立第一二维坐标系，第一二维坐标系的原点为人脸的中心点；

（3）在二维坐标系中标定二维图像的多个坐标点，且标定的各个坐标点中包括头部边缘特征点和面部特征点；

其中，表示二维图像中的第e个坐标点，/>表示二维图像的第e个坐标点的x轴坐标，/>表示二维图像的第e个坐标点的y轴坐标，/>，E为二维图像中标定的坐标点数量；

以右面部为x轴正方向，以上面部为y轴正方向，识别的面部最高点的坐标点为，面部最低点的坐标点为/>，/>；

在二维图像中的各个坐标点中获取横坐标最大值，将横坐标最大值所属的坐标点，确定为面部最右点；

在二维图像中的各个坐标点中获取横坐标最小值，将横坐标最小值所属的坐标点，确定为面部最左点；

（4）根据二维图像中的面部最高点、面部最低点、面部最左点和面部最右点，调整投影图像的边缘轮廓的面部最高点、面部最低点、面部最左点和面部最右点，从而调整了标准模型的头部轮廓的尺寸，得到尺寸校正模型；

（5）从二维图像的坐标点中识别面部特征点，面部特征点包括：眉、眼、耳、鼻、口和脸型分别对应的坐标点；

识别到面部特征点后，在投影图像中建立第二二维坐标系，第二二维坐标系以投影图像中的人脸上下中轴为x轴，以人脸左右中轴为y轴，第二二维坐标系的原点为投影图像中人脸的中心点；

从而，第二二维坐标系在投影图像中的位置，与第一二维坐标系在二维图像中的位置是相同的，并且二维图像与投影图像的尺寸与形状也相同；

根据从二维图像的坐标点中识别到的面部特征点的坐标数据，在投影图像中调整对应的面部特征尺寸，从而，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

为实现上述目的，本发明还提出一种人脸快速三维建模系统，应用所述的人脸快速三维建模方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。

在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、 或“第一实施例~第X实施例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种人脸快速三维建模方法，其特征在于，包括如下步骤：

生成头部三维网络的标准模型，其中，标准模型包括面部特征轮廓和头部轮廓；

获取待生成人脸三维模型的二维图像；

获取二维图像的面部视角，将标准模型调整至面部视角；

获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹；

识别二维图像中的头部尺寸和面部特征尺寸；

根据头部尺寸和面部特征尺寸，在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合；

将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型。

2.根据权利要求1所述的人脸快速三维建模方法，其特征在于，所述获取二维图像的面部视角，将标准模型调整至面部视角的步骤，包括：

从二维图像中提取面部特征画面；

根据面部特征画面和人脸对称关系，确定二维图像中的人脸左右中轴，并确定二维图像中的人脸左右中轴与竖直方向之间的竖向偏角；

计算二维图像中位于人脸左右中轴两侧的面部特征尺寸占比；

根据二维图像中位于人脸左右中轴两侧的面部特征尺寸占比和人脸对称关系，确定二维图像中的人脸与正脸朝前相比的横向偏角；

根据竖向偏角和横向偏角，确定面部视角；

将标准模型调整至面部视角。

3.根据权利要求2所述的人脸快速三维建模方法，其特征在于，所述获取标准模型朝向面部视角一侧的网格轮廓与标准模型背离面部视角方向的网格轮廓的特征轨迹的步骤，包括：

获取面部视角下标准模型的多个不同面部特征的第一特征点；

获取背离面部视角方向下的标准模型中的多个第二特征点，其中，每个第一特征点在背离面部视角方向的标准模型中具有面部对称的第二特征点；

经由面部对称的第一特征点和第二特征点一一对应连接成多条特征轨迹，其中，特征轨迹经过标准模型的第三特征点，第三特征点是位于面部对称的第一特征点和第二特征点之间，且与第一特征点和第二特征点属于同一面部特征的相关特征点。

4.根据权利要求3所述的人脸快速三维建模方法，其特征在于，所述将调整模型的背离面部视角方向的网格轮廓，按照特征轨迹进行适应调整，以获得与二维图像匹配的人脸三维模型的步骤，包括：

获得特征轨迹关于调整模型中的人脸左右中轴两侧的对称关系；

在调整模型的朝向面部视角一侧的网格轮廓定位人脸左右中轴位置；

以调整模型的朝向面部视角一侧的网格轮廓、人脸左右中轴的位置和对称关系作为已知条件，求解调整模型的背离面部视角方向的网格轮廓。

5.根据权利要求1所述的人脸快速三维建模方法，其特征在于，所述方法，还包括：

获取所述二维图像中的附加特征，并识别附加特征属于对称特征还是非对称特征；

将对称特征在调整模型中朝向面部视角一侧和背离面部视角一侧进行对称添加；

将非对称特征按照二维图像中的人脸位置，对应添加至调整模型。

6.根据权利要求1所述的人脸快速三维建模方法，其特征在于，所述根据头部尺寸和面部特征尺寸，在面部视角下自适应地对标准模型的头部轮廓和面部特征轮廓进行匹配调整，得到调整模型，以使调整模型在面部视角下的网格轮廓调整至与二维图像符合的步骤，包括：

将调整至面部视角的标准模型投影至与二维图像平行的参考面，以形成投影图像；

根据二维图像的头部尺寸，调整投影图像的边缘轮廓；

根据投影图像的边缘轮廓，以及标准模型的头部轮廓的尺寸，得到尺寸校正模型；

根据二维图像的面部特征轮廓形成面部特征点；

将面部特征点在投影图像中进行标记，根据标记的面部特征点，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

7.根据权利要求4所述的人脸快速三维建模方法，其特征在于，参照如下步骤求解调整模型的背离面部视角方向的网格轮廓：

以人脸上下中轴为x轴，人脸左右中轴为y轴，以头部中心向头部以外的方向为z轴，建立三维坐标系，三维坐标系的原点为面部中心点；

建立第i条特征轨迹中第j个第一特征点坐标；

建立第i条特征轨迹中第j个第二特征点坐标；

；

；

；

其中，同一条特征轨迹中的第j个第一特征点坐标与第j个第二特征点坐标对称；

为第i条特征轨迹中第j个第一特征点的x轴坐标，/>为第i条特征轨迹中第j个第一特征点的y轴坐标，/>为第i条特征轨迹中第j个第一特征点的z轴坐标；

为第i条特征轨迹中第j个第二特征点的x轴坐标，/>为第i条特征轨迹中第j个第二特征点的y轴坐标，/>为第i条特征轨迹中第j个第二特征点的z轴坐标；

其中，，n为特征轨迹的数量；/>，/>为第i条特征轨迹中的第一特征点的数量；

获取调整模型的朝向面部视角一侧的网格轮廓，以根据二维图像的面部特征调整第一特征点坐标；

；

；

；

为第i条特征轨迹中第j个第一特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第一特征点调整后的z轴坐标；

为第i条特征轨迹中第j个第一特征点的x轴校正量，/>为第i条特征轨迹中第j个第一特征点的y轴校正量，/>为第i条特征轨迹中第j个第一特征点的z轴校正量；

；

；

；

为第i条特征轨迹中第j个第二特征点调整后的x轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的y轴坐标，/>为第i条特征轨迹中第j个第二特征点调整后的z轴坐标；

其中，当一些第二特征点属于面部视角下能观察到的信息时，直接获取到第二特征点的坐标点，若一些第二特征点属于面部视角下不能观察到的信息时，用对应的第一特征点求解；

当一些第一特征点属于面部视角下不能观察到的信息时，通过同一特征轨迹上能观察到的第一特征点和特征轨迹的走向预测面部视角下不能观察到的第一特征点坐标。

8.根据权利要求6所述的人脸快速三维建模方法，其特征在于，根据如下方式得到调整模型：

（1）识别到二维图像中的面部特征后，根据人脸对称关系，在二维图像中标记人脸左右中轴和人脸上下中轴；

（2）以人脸上下中轴为x轴，以人脸左右中轴为y轴，建立第一二维坐标系，第一二维坐标系的原点为人脸的中心点；

（3）在二维坐标系中标定二维图像的多个坐标点，且标定的各个坐标点中包括头部边缘特征点和面部特征点；

其中，表示二维图像中的第e个坐标点，/>表示二维图像的第e个坐标点的x轴坐标，/>表示二维图像的第e个坐标点的y轴坐标，/>，E为二维图像中标定的坐标点数量；

以右面部为x轴正方向，以上面部为y轴正方向，识别的面部最高点的坐标点为，面部最低点的坐标点为/>，/>；

在二维图像中的各个坐标点中获取横坐标最大值，将横坐标最大值所属的坐标点，确定为面部最右点；

在二维图像中的各个坐标点中获取横坐标最小值，将横坐标最小值所属的坐标点，确定为面部最左点；

（4）根据二维图像中的面部最高点、面部最低点、面部最左点和面部最右点，调整投影图像的边缘轮廓的面部最高点、面部最低点、面部最左点和面部最右点，从而调整了标准模型的头部轮廓的尺寸，得到尺寸校正模型；

（5）从二维图像的坐标点中识别面部特征点，面部特征点包括：眉、眼、耳、鼻、口和脸型分别对应的坐标点；

识别到面部特征点后，在投影图像中建立第二二维坐标系，第二二维坐标系以投影图像中的人脸上下中轴为x轴，以人脸左右中轴为y轴，第二二维坐标系的原点为投影图像中人脸的中心点；

从而，第二二维坐标系在投影图像中的位置，与第一二维坐标系在二维图像中的位置是相同的，并且二维图像与投影图像的尺寸与形状也相同；

根据从二维图像的坐标点中识别到的面部特征点的坐标数据，在投影图像中调整对应的面部特征尺寸，从而，调整尺寸校正模型中的面部特征轮廓，以得到调整模型，使调整模型在面部视角下的网格轮廓调整至与二维图像符合。

9.一种人脸快速三维建模系统，其特征在于，应用如权利要求1至8中任一项所述的人脸快速三维建模方法。