CN110782528A - 自由形变的人脸整形模拟方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种自由形变的人脸整形模拟方法、所述自由形变的人脸整形模拟包括以下步骤:步骤S1：获取三维人脸模型，识别其上的三维特征数据并预设好整形方案；步骤S2：根据整形方案以及三维特征数据，在三维人脸模型上设置晶格以划分所需形变区域，并对晶格配置参数以获得晶格控制点；步骤S3：通过移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

Description

自由形变的人脸整形模拟方法、系统及存储介质

【技术领域】

本发明涉及三维人脸重构领域，具体涉及一种自由形变的人脸整形模拟方法、系统及存储介质。

【背景技术】

随着生活水平的提高，人们对容貌的要求越来越高，选择面部整形手术来改善相貌的人越来越多。传统的面部整形仅凭靠医生的经验进行手术设计，哪里需要垫高、哪里需要削低，垫高多少以及削低多少，只能凭着医生的经验和个人审美来进行，局限和误差不可避免。因此，传统整形受医生个人经验、习惯等主观因素影响较大，缺乏客观指标，效果不具有预见性，由此有技术提出通过模拟整形来解决上述问题，但是现有的整形预判均基于二维图片采用网格变形的方式，该方式仅仅是图片进行变形，模拟效果完全没有真实性。

【发明内容】

为克服上述问题，本发明提供一种自由形变的人脸整形模拟方法、系统及存储介质。

本发明提供的一种自由形变的人脸整形模拟方法、系统及存储介质，主要适用于医疗领域的人脸整形模拟，还可用于三维人脸形变、重建以及识别；而设计的一个人脸处理方法。

为了解决上述技术问题，本发明提供一技术方案如下：即一种自由形变的人脸整形模拟方法，具体步骤如下：步骤S1：获取三维人脸模型，识别其上的三维特征数据并预设好整形方案；步骤S2：根据整形方案以及三维特征数据，在三维人脸模型上设置晶格以划分所需形变区域，并对晶格配置参数以获得晶格控制点；及步骤S3：通过移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

优选地，步骤S2具体包括：步骤S21：通过整形方案以及对应的三维特征数据，在三维人脸模型上设置晶格的中心坐标以及长、宽、高从而形成整形方案所需的形变区域；及步骤S22：通过晶格的长、宽、高分别进行细分以获得晶格控制点。

优选地，步骤S3具体包括：步骤S31：通过自由形变将晶格的形变与三维模型形变关联；及步骤S32：设定晶格控制点的参数并移动晶格控制点使得晶体形变；及步骤S33：用形变区域新的坐标替换原始坐标，得到形变后的三维人脸模型。

优选地，其中步骤S21中，当整形方案为垫鼻根时，三维特征数据为鼻根点，眼内角点；当整形方案为缩鼻翼时，三维特征数据为鼻翼点、鼻尖点、鼻梁点；当整形方案为嘴角上扬时，三维特征数据为嘴角点，上嘴唇点、下嘴唇点；当整形方案为下颌角整形时，三维特征数据为两侧脸颊特征点，下巴特征点、鼻尖点。

优选地，步骤S31具体包括：步骤S311：设定晶格控制点的移动方式；步骤S312：设定晶格控制点的形变程度；步骤S313：通过移动方式和形变程度移动晶格控制点使得晶体形变。

优选地，步骤S321：沿着晶格的定向包容盒子在三维人脸模型上建立局部坐标系；步骤S322：求落在三维人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化后的局部坐标值；步骤S323：利用局部坐标值重新计算三维人脸模型顶点坐标，以获得形变区域新的坐标。

优选地，其中对应步骤S22中，

当整形方案为垫鼻根时，此时取晶格的长度、宽度、高度细分度分别为3，5，3；当整形方案为缩鼻翼时，此时取晶格长度、宽度、高度的细分度分别为3，4，4；当整形方案为嘴角上扬时，此时取晶格长度、宽度、高度的细分度分别为7，3，3；当整形方案为下颌角整形时，此时取晶格长度、宽度、高度的细分度分别为5，4，5。

为了更好地解决上述技术问题，本发明提供又一技术方案如下：即一种自由形变的人脸整形模拟系统，包括：

三维人脸模型采集模块：用于获取三维人脸模型；

整形方案判定模块：用于根据三维人脸模型计算整形方案；三维人脸模型形变区域划分模块：三维人脸模型上设置晶格以划分所需形变区域；三维人脸模型形变区域变形模块：对晶格配置参数以获得晶格控制点，通过移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

为了更好地解决上述技术问题，本发明提供又一技术方案如下：即一种存储介质，该存储介质或者处理器存储有计算机程序，所述存储介质程序运行时，控制所述储存介质或者处理器需执行的计算机程序需执行包括上述自由形变的人脸整形模拟方法。

为了更好地解决上述技术问题，本发明提供又一技术方案如下：即一种自由形变的人脸整形模拟装置，该装置在对用户进行人脸整形模拟运算时，需要运用到上述自由形变的人脸整形模拟方法。

与现有技术相比，本发明所提供的一种自由形变的人脸整形模拟方法具有如下的有益效果：

1、本发明主要通过晶格的形变，对三维人脸模型上的形变区域进行自由形变，相比于以往利用网格形变对单一的二维图像进行形变，其仅仅是对变形场(即本文形变区域)的像素进行了形变，用户仅仅得到了智能终端对于图片美化的效果图像，其缺乏连续性和真实性，而三维人脸模型在形变后的可信度远远高于二维图像，因此用户的可信赖度更强。

2、该方案通过三维特征数据和整形方案确定三维人脸模型上所需要变形的范围，即通整形方案确定人脸上所需整形的特征，如鼻子、眼睛、下巴等，再通过设置晶格的中心坐标、长、宽、高以确定形变区域，进一步对晶格的长、宽、高分别进行细分以获得晶格控制点，从而晶格可通过晶格控制点在形变区域进行变形，且该变形为长、宽、高三维方向上的变形。

3、针对整形方案为处理鼻部、嘴部、脸型轮廓时，本发明提供了四种针对晶格建立形变区域的通用方案，该方案巧妙的利用了人脸特征的规律，通过如鼻根点，眼内角点，鼻翼点、鼻尖点等，从而确认晶格的中点坐标，以及长宽高以在三维人脸模型上建立形变区域，该四种方案可广泛适用于整形模拟和人脸重建的领域中。

4、通过设定晶格控制点的移动方式、最大形变量，以及形变程度来控制晶体形变，从而使得晶格的变形具有多样性，如形变程度θ＝0、θ＝50和θ＝100，可满足多种程度上的整形模拟需求，如对应设置整形中微调对应一个形变程度值、中度整形对应另一个形变程度值，用户通过形变程度的调节，可模拟出多种整形程度下的人脸三维模型，继而综合考虑，挑选自身满意的整形程度。

5、在晶格划分出的定向包容盒子上建立局部坐标系，且将落在人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化从而计算局部坐标系的局部坐标值，再反向计算三维人脸模型顶点坐标，以获取形变区域新的坐标，这种方式具有高精准性，往往晶格细分的越细，后续在重建三维人脸模型的连续性和准确性就越高，变形后的脸部特征线条更连续且柔和，从而该变形后的三维人脸模型对用户来说，用于对比自身整形后真实容貌的参考价值就越高。

6、通过不同整形方案下，所要移动的晶格控制点的不同，来针对不同整容需求，具有可迁移性强的特点。

7、进一步通过本发明的方法提供自由形变的人脸整形模拟系统，该系统可广泛利用与智能终端设备中，以满足用户对整形模拟的需求。

8、本发明方法部分指令需要通过结合相关硬件来完成，所述程序可以存储于存储介质中，该储存介质可为ROM/RAM、磁盘、光盘。

9、自由形变的人脸整形模拟装置，该装置可以为智能终端，如用于整形医院的模拟仪器，整形机器人，该仪器可给用户带来极大的便利性，用户可对自我整形后的形貌有一个初步预估，从而心理有预期以免整容后心理落差，并且用户可私人操作模拟装置保证了用户的私密性，对于医院的工作人员，则很大程度上减少了工作量，如咨询时间成本，同时也避免了医生和用户口述存在误差，引起不必要的矛盾。

【附图说明】

图1是本发明第一实施例提供的自由形变的人脸整形模拟方法的流程图；

图2是本发明第一实施例提供的自由形变的人脸整形模拟方法在实施步骤S1时的结构示意图；

图3是本发明第一实施例提供的自由形变的人脸整形模拟方法中用于释义“晶格”的结构示意图；

图4是本发明第一实施例提供的自由形变的人脸整形模拟方法中步骤S2的具体流程图；

图5是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“垫鼻根”时的结构示意图；

图6是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“垫鼻根”时的另一视角下的结构示意图；

图7是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S22对应整形方案为“垫鼻根”时的结构示意图；

图8是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“缩鼻翼”时的结构示意图；

图9是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“缩鼻翼”时的另一视角下的结构示意图；

图10是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S22对应整形方案为“缩鼻翼”时的结构示意图；

图11是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“嘴角上扬”时的结构示意图；

图12是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“嘴角上扬”时的另一视角下的结构示意图；

图13是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S22对应整形方案为“嘴角上扬”时的结构示意图；

图14是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“下颌角整形”时的结构示意图；

图15是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S21对应整形方案为“下颌角整形”时的另一视角下的结构示意图；

图16是本发明第一实施例提供的一种自由形变的人脸整形模拟方法在实施步骤S22对应整形方案为“下颌角整形”时的结构示意图；

图17是本发明第一实施例提供的自由形变的人脸整形模拟方法中步骤S3的具体流程图；

图18是本发明第一实施例提供的自由形变的人脸整形模拟方法中步骤S31的具体流程图；

图19是本发明第一实施例提供的自由形变的人脸整形模拟方法中步骤S32的具体流程图；

图20是本发明第一实施例提供的自由形变的人脸整形模拟方法在实施步骤S321的结构示意图；

图21是本发明第一实施例提供的自由形变的人脸整形模拟方法当整形方案为“垫鼻根”、“缩鼻翼”、“嘴角上扬”、“下颌角整形”时对应形变程度θ＝0、θ＝50和θ＝100的对比示意图；

图22是第二实施例本发明提供的一种自由形变的人脸整形模拟系统的模块图；

附图标识说明：

10、三维人脸模型采集模块；20、整形方案判定模块；30、三维人脸模型形变区域划分模块；40、三维人脸模型形变区域变形模块。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种自由形变的人脸整形模拟方法、系统及存储介质，主要适用于医疗领域的人脸整形模拟，还可用于三维人脸的形变以及重建而设计的一个人脸处理方法。

本发明的提供自由形变的人脸整形模拟方法，以下图示均为本实施例为方便阐述该发明所述方法而设定的从而设定的人脸示意图，并不用于限定于该发明方法所使用人脸的形貌以及脸部特征；

实施例一：

请参阅图1，其示出了其自由形变的人脸整形模拟方法的流程图，其中包括步骤S1～步骤S3；

其中步骤S1为：获取三维人脸模型，识别其上的三维特征数据并预设好整形方案；

归纳步骤S1中详细可分为以下步骤：

步骤a:获取三维人脸模型；

步骤b：识别三维模型上的特征数据；

步骤c：预设整形方案。

其中步骤a和步骤b为两个必要的时间节点，即步骤b必须为基于步骤a上：即需要获取三维人脸模型后继而识别三维模型上的特征数据；

步骤a中获取“三维人脸模型”的方式可以为利用三维扫描仪进行扫描，或者深度相机、多目相机进行拍摄生成，或者根据用户拍摄的二维照片进行三维重建获取；

步骤b中三维模型上的“三维特征数据”可理解为用于表征人脸轮廓的数据，其识别三维特征数据的方式为：首先识别三维人脸模型的特征点，对于所选择识别的特征点，其可以是预先设定好的人脸上的点，一般性的为多个特征点，参见图2所示，如人脸中的眼眉、眼睛、鼻子、嘴巴、下巴以及两侧脸颊能够较好地刻画一张脸，因此本实施例将这些位置或者这些位置上的点作为特征数据。

进一步地，识别特征点确定特征数据的方式可以是自动化确定，也可以是人工方式。对于前者，可以按照一定的算法编写程序，从三维人脸模型中自动读取特征数据的坐标；对于后者，可以通过手工方式在图像上进行位置指定

步骤c则可分为两种情况：

步骤c1：用户自己选定整形方案；或

步骤c2：利用特征数据自动判别用户所需整形方案；

可以理解的是，步骤c1即用户通过自我需求，选定所需的整形方案，如用户想从单眼皮转换为双眼皮，即可预先选择“双眼皮”这一整形方案；

而步骤c2则是必须基于步骤b上的，例如用户向整形机构咨询整形相关事宜时，整形机构可以通过对用户的人脸三维模型进行特征提取以获得用户人脸三维模型的特征数据，并将特征数据与预设数据库中预存的多个特征模板依次比对以获取用户所需整形方案。

可以理解，“数据库”可以是基于整形机构过往成功整形案例获得的，通过比对，可以确定与用户的特征数据最接近的特征模板，从而依照特征模板判定用户所需的整形方案，其可为以下两种方式，示例性的如，从某一待整形用户的三维人脸模型提取眼睛、鼻子、嘴巴、下巴以及两侧脸颊等三维特征数据，由于眼眉、两侧脸颊、下巴可刻画用户的脸型，所以首先将眼眉、两侧脸颊、下巴等数据特征提取出来和数据库的特征模板对比，以找到符合和该用户两侧脸颊、眼眉、下巴的轮廓相似的特征模板，即可以说用户脸型和该特征模板相似，进一步在和用户脸型相似的特征模板内和用户眼睛、鼻子以及嘴巴一一进行对比，直到找到和用户接近度最高的特征模板，即可认为该用户和该特征模板所需的整形方案一致，而由于特征模板已经预存有对应的整形推荐方案，将该特征模板对应的整形方案推荐至用户即可；

或者还有一种方式为特征模板已经为完善后的三维人脸模型，即人脸的各个特征数据均已经满足整容后所需美感比例的三维人脸模型，示例性的如，设定眼睛占整个脸的比例为某阀值区间时，则可判定为“大眼睛”，而小于这个阀值的最小值就需要“增大眼睛”以获得最佳美感，因此首先还是依照上述方法首先找到和该用户脸型相似度最高的特征模板，并将用户脸型的数据特征和该特征模板做比对以获取对脸型的整容方案，然后依据用户其他特征数据和该特征模板设定的阀值一一对比；故可以将最接近的特征模板对应的整形推荐方案推送给用户。由于通过机器获取图像、进行处理和给出建议的过程更为透明，符合客户的心理预期，可以在一定程度上避免整形医生的主观误诊或商业医院出于利益因素给出的偏贵而不合适的建议，使用户作为消费者可以获得更客观、更满意的整形推荐方案。

即步骤S1截止后，获得的信息为“三维特征数据”以及“整形方案”，随后进入步骤S2；

步骤S2：根据整形方案以及三维特征数据，在三维人脸模型上设置晶格以划分所需形变区域，并对晶格配置参数以获得晶格控制点；

请参阅图3，上述“晶格”的释意为：可表示为结构单元在空间的排列规律，人为地将某一结构单元抽象一个点，再用一些假想线条，将晶体中各原子的中心连接起来，便形成了一个空间格子，这种抽象的、用于描述结构单元在晶体中规则排列方式的空间几何图形称为结晶格子，简称晶格，而本实施例中晶格可理解为一个在三个方向上分块的立方体。

上述“形变区域”的释意为：在三维人脸模型上晶格所包含的区域即为形变区域。

可以理解，该步骤中根据整形方案划分形变区域是通过在三维特征数据上设置晶格获取的，如整形方案为割双眼皮，根据三维特征数据可以知道三维人脸模型上的眼睛所在位置，则对应割双眼皮这一选择项应当配置有对应在眼睛处设置晶格的方法而设置晶格的方法则决定了晶格的位置以及所需在眼睛处形变的范围，即上述的形变区域。请参阅图4，因此步骤S2具体包括以下步骤：

步骤S21：通过三维特征数据和整形方案，在三维人脸模型上设置晶格的中心坐标以及长、宽、高从而形成整形方案所需的形变区域；

步骤S22：通过晶格的长、宽、高进行细分以获得晶格控制点。

可以理解，根据上述可知，在三维人脸模型上晶格所包含的区域即为形变区域，而三维人脸模型无论是以点云的形式还是人脸网格模型，三维人脸模型上的每个点均是基于世界坐标系上的坐标点，因此设置晶格的中心坐标仅需在三维人脸模型上选定坐标点即可，确定中心坐标后，以中心坐标为晶格中心建立长、宽、高，以获得完整的晶格，此时晶格所包括三维人脸模型上所有的点，即为形变区域，即上述步骤S21。

进一步地，将晶格长、宽、高分别细分，即平分成多个节点，即为晶格控制点，即上述步骤S22，晶格控制点通过假象线条相互连接，从而将整个晶格划分多个小区域，使得晶格形成多面体网格状，从而实现在形变区域的进一步划分。

以下通过具体的示例予以阐述，所举例的整形方案分别为：垫鼻根、缩鼻翼、嘴角上扬以及下颌角整形；本实施详细对该四种整形方案说明晶格的建立过程：以下示例中，定义从正面朝向人脸的方向为晶格的高度正方向，垂直地面向上的方向为宽度正方向，由于左右脸对称，正面朝向人脸的左右侧的其中一向为长度正方向；，可选地，取正面朝向人脸的右侧方向为长度正方向。

垫鼻根：

请参阅图5以及图6，垫鼻根的形变只作用于鼻根部位，可以直接选择鼻根点作为晶格的中心坐标，假定三维人脸数据特征中鼻根点的坐标为X₁(x₀₁,y₀₁,z₀₁)，即也同时作为晶格的中心坐标为O₁(x₀₁,y₀₁,z₀₁)。晶格的长度L₁为三维人脸数据特征中两个内眼角之间的距离；已知鼻根点坐标为O₁(x₀₁,y₀₁,z₀₁)，三维人脸数据特征中鼻梁点X₂坐标为(x₂,y₂,z₂)，则晶格的宽度W₁＝2*|y₂-y₀₁|，晶格的高度H₁＝2*|z₂-z₀₁|。

请参阅图7，通过晶格中心点和晶格长宽高可以确定鼻根部位为形变区域。取晶格的长度、宽度、高度细分度分别为l₁＝3,w₁＝5,h₁＝3，奇数的细分度使得晶格中心处有控制点，方便后面的形变过程。

缩鼻翼；

请参阅图8以及图9，缩鼻翼是一种对称形变，同时作用于两侧鼻翼，因此晶格中心需要取在两个鼻翼之间。已知三维人脸数据特征中鼻翼点坐标分别为X₃(x₃,y₃,z₃)和X₄(x₄,y₄,z₄)，鼻尖点坐标为X₅(x₅,y₅,z₅)，则取晶格中心坐标O₂(x₀₂,y₀₂,z₀₂)，其中

y₀₂＝y₅，

再设置晶格的长度L₂＝|x₄-x₃|，晶格的宽度W₂＝2*|y₂-y₅|，值得说明的是，该处y₂为上述鼻梁点X₁坐标的y₂；晶格的高度H₂＝2*|z₀₂-z₅|，可以得到包含两侧鼻翼的晶格。

请参阅图10，由于单个控制点模拟缩鼻翼不精确，需要使用每侧两个控制点，因此取晶格长度、宽度、高度的细分度l₂＝3,w₂＝4,h₂＝4。

嘴角上扬：

请参阅图11以及图12，嘴角上扬是一种对称形变，已知三维人脸数据特征中嘴角点坐标分别为X₆(x₆,y₆,z₆)和X₇(x₇,y₇,z₇)，则晶格中心坐标O₃(x₀₃,y₀₃,z₀₃)，其中

晶格的长度L₃＝|x₇-x₆|，已知三维人脸数据特征中上下嘴唇点坐标为X₈(x₈,y₈,z₈)和X₉(x₉,y₉,z₉)，晶格的宽度W₃＝|y₉-y₈|，晶格的高度

值得说明的是，

即晶格的高度H₃可理解为嘴角点和上下嘴唇点的平均高度差，即嘴巴的高度；

请参阅图13，嘴角上扬是一种非常精细的整形方案，对嘴角进行形变的同时不能影响附近部位，因此需要高的细分度来减小控制点对邻近部位的影响，取晶格的细分度l₃＝7,w₃＝3,h₃＝3。

下颌角整形：

请参阅图14以及15，下颌角整形也是一种对称形变，已知三维人脸数据特征中两侧脸颊特征点的坐标分别为X₁₀(x₁₀,y₁₀,z₁₀)和X₁₁(x₁₁,y₁₁,z₁₁)，取两个脸颊特征点的中点作为晶格中心O₄(x₀₄,y₀₄,z₀₄)，即

为了使下颌角形变更加自然，不发生突变，选取较大的晶格包含整个脸颊，取晶格的长度L₄＝|x₁₁-x₁₀|，已知三维人脸数据特征中下巴特征点坐标X₁₂(x₁₂,y₁₂,z₁₂)，取晶格的宽度W₄＝|y₁₂-y₅|，取晶格的高度

同理上述该y₅、z₅均为已知鼻尖点的坐标值。

请参阅图16，较大的晶格需要高细分度确保控制点在形变特征点位置，尤其是下颌角整形在高度方向上需要多个控制点，因此取晶格的细分度l₄＝5,w₄＝4,h₄＝5。

请参阅图17，图17阐述了步骤S3的具体流程图，步骤S3具体包括以下步骤：

步骤S31：设定晶格控制点的参数并移动晶格控制点使得晶体形变；

步骤S32：通过自由形变将晶格的形变与三维模型形变关联；

步骤S33：用形变区域新的坐标替换原始坐标，得到形变后的三维人脸模型；

请参阅图18，图18阐述了步骤S3中步骤S31的具体流程图，其具体包括：

步骤S311：设定晶格控制点的移动方式以及最大形变量；

步骤S312：设定晶格控制点的形变程度；

步骤S313：通过移动方式、最大形变量和形变程度移动晶格控制点使得晶体形变。

可以理解，模拟形变所需的控制点并不是唯一的，很多时候需要通过多个控制点模拟形变。对于填充类的整形模拟需要延伸控制点，对于切除类的整形模拟需要压缩控制点，因此首先设定晶格控制点的移动方式和最大形变量，移动方式即晶格控制点如何去移动，即晶格控制点移动的方向，而最大形变量则是晶格在该方向上移动的最大距离，即上述步骤S311，继而通过影响人脸模型的形变程度θ设置控制点的真实移动距离即具体晶格所要移动的距离，而θ代表了晶格在移动方向上占最大形变量的百分比，示例性的如，设置形变程度θ的调节范围为∈[0,100]，其中θ＝0表示未形变，θ＝100表示形变到最大，即上述步骤S312。

为了进一步清楚的阐述步骤S31，以下依然通过上述四种整形方案采用详细的控制点移动方式加以说明：

垫鼻根：

垫鼻根整形方案用于垫高鼻根部位。垫鼻根形变较为简单，只需移动鼻根处的控制点，也即晶格中心点，移动方向为晶格高度的负方向，最大形变量为0.8H₁。

缩鼻翼：

缩鼻翼整形将鼻翼的一部分切除，将鼻翼变小。缩鼻翼形变发生在鼻翼两侧，因此需要同时移动晶格两侧的控制点。由于鼻翼部位结构较为复杂，考虑使用每侧各两个控制点模拟整形过程。

将两侧鼻翼偏下位置的控制点作为主要控制点，移动方向沿晶格长度方向，左侧控制点沿正方向，右侧控制点沿负方向，最大形变量都为0.4L₂；两侧鼻翼偏上位置的控制点作为辅助控制点，移动方向与主要控制点相同，最大形变量为0.1L₂。

嘴角上扬：

嘴角上扬整形能够达到双唇尾部自然上扬的效果。嘴角上扬形变需要控制两侧嘴角的两个晶格控制点，移动方向为晶格的宽度方向，最大形变量为0.5W₃。

下颌角整形：

下颌角整形是一个区域较大的整形方案，将突出的下颌骨角切除，同时可以磨削下颌骨外板。下颌角整形对两侧下颌进行操作，需要多个控制点模拟形变。晶格临近两侧下颌角的边上各有5个控制点，选取中间的控制点作为主要控制点，这条边上临近主要控制点的两个控制点作为辅助控制点，主要控制点的移动方向沿晶格长度方向，左侧控制点沿正方向，右侧控制点沿负方向，最大形变量都为0.15L₄；辅助控制点移动方向与主要控制点相同，所有辅助控制点的最大形变量都为0.05L₄。

在晶格设置完移动方式后，即完成步骤S311后，可以通过形变程度θ，来调节移动的距离，如整形方案为垫鼻根，上述已经说明移动方式为将鼻根处的控制点移动0.8H₁，取θ＝50，则为0.4H₁；

请参阅图19，晶格在移动后，随后进入步骤S32，其中步骤S32具体包括：

步骤S321：沿着晶格的定向包容盒子在三维人脸模型上建立局部坐标系；

步骤S322：求落在三维人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化后的局部坐标值；

步骤S323：利用局部坐标值重新计算三维人脸模型顶点坐标，以获得形变区域新的坐标。

可以理解，通过自由形变将晶格的形变与三维模型形变关联起来，首先是建立模型局部坐标系，一般沿着晶格定向包容盒子(包容盒子：Oriented Bounding Box,OBB)的三条边构建局部坐标系，包容盒子在本实施例中可理解晶格控制点通过假象线条相互连接从而划分多个小区域，而每个小区域的多个顶点，即是局部坐标系的局部坐标点。

请参阅图20，计算三维人脸模型的世界坐标p对应的局部坐标点(s,t,u)。假设

是局部坐标系的三个坐标轴，p₀是局部坐标系STU的坐标原点，则

为清楚表示上述公式，×代表叉乘，·为点乘，其中s、t、u即是三维人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化后的局部坐标值，最后通过步骤S31移动后的晶格控制点坐标C重新计算三维人脸模型的顶点坐标Q，则

其中l,w,h为步骤S22设置的晶格细分度，如上述l₁、w₁、h₁；

B_i,l(s)表示Bernstein多项式

步骤S33：用形变区域新的坐标替换原始坐标，得到形变后的三维人脸模型；

通过上述自由形变方法，可以计算出三维人脸模型变化的点的坐标，再将形变区域变化的点的坐标替换三维人脸模型中的原始坐标，即可得到形变后的三维人脸模型。

请参阅21，分别将四种整形方案形变程度θ＝0、θ＝50和θ＝100的三维人脸模型进行对比。

实施例二：

请参阅22，为了更好地解决上述技术问题，本发明提供又一技术方案如下：即一种自由形变的人脸整形模拟系统，其包括

三维人脸模型采集模块10：用于获取三维人脸模型；

整形方案判定模块20：用于根据三维人脸模型计算整形方案；

三维人脸模型形变区域划分模块30：三维人脸模型上设置晶格以划分所需形变区域；

三维人脸模型形变区域变形模块40：对晶格配置参数以获得晶格控制点，通过移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

实施例三：

为了更好地解决上述技术问题，本发明提供又一技术方案如下：即一种存储介质，该存储介质或者处理器存储有计算机程序，所述存储介质程序运行时，控制所述储存介质或者处理器需执行的计算机程序需执行上述自由形变的人脸整形模拟方法的部分步骤或全部步骤，或者是部分步骤的组合。

实施例四：

为了更好地解决上述技术问题，本发明提供又一技术方案如下：一种自由形变的人脸整形模拟装置，该装置可以为智能终端，如用于整形医院的模拟机器，整形机器人。该装置在对用户进行人脸整形模拟运算时，需要运用到上述自由形变的人脸整形模拟方法的部分步骤或全部步骤，或者是部分步骤的组合。

与现有技术相比，本发明所提供的一种自由形变的人脸整形模拟方法具有如下的有益效果：

1、本发明主要通过晶格的形变，对三维人脸模型上的形变区域进行自由形变，相比于以往利用网格形变对单一的二维图像进行形变，其仅仅是对变形场(即本文形变区域)的像素进行了形变，用户仅仅得到了智能终端对于图片美化的效果图像，其缺乏连续性和真实性，而三维人脸模型在形变后的可信度远远高于二维图像，因此用户的可信赖度更强。

2、该方案通过三维特征数据和整形方案确定三维人脸模型上所需要变形的范围，即通整形方案确定人脸上所需整形的特征，如鼻子、眼睛、下巴等，再通过设置晶格的中心坐标、长、宽、高以确定形变区域，进一步对晶格的长、宽、高分别进行细分以获得晶格控制点，从而晶格可通过晶格控制点在形变区域进行变形，且该变形为长、宽、高三维方向上的变形。

3、针对整形方案为处理鼻部、嘴部、脸型轮廓时，本发明提供了四种针对晶格建立形变区域的通用方案，该方案巧妙的利用了人脸特征的规律，通过如鼻根点，眼内角点，鼻翼点、鼻尖点等，从而确认晶格的中点坐标，以及长宽高以在三维人脸模型上建立形变区域，该四种方案可广泛适用于整形模拟和人脸重建的领域中。

4、通过设定晶格控制点的移动方式、最大形变量，以及形变程度来控制晶体形变，从而使得晶格的变形具有多样性，如形变程度θ＝0、θ＝50和θ＝100，可满足多种程度上的整形模拟需求，如对应设置整形中微调对应一个形变程度值、中度整形对应另一个形变程度值，用户通过形变程度的调节，可模拟出多种整形程度下的人脸三维模型，继而综合考虑，挑选自身满意的整形程度。

5、在晶格划分出的定向包容盒子上建立局部坐标系，且将落在人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化从而计算局部坐标系的局部坐标值，再反向计算三维人脸模型顶点坐标，以获取形变区域新的坐标，这种方式具有高精准性，往往晶格细分的越细，后续在重建三维人脸模型的连续性和准确性就越高，变形后的脸部特征线条更连续且柔和，从而该变形后的三维人脸模型对用户来说，用于对比自身整形后真实容貌的参考价值就越高。

6、通过不同整形方案下，所要移动的晶格控制点的不同，来针对不同整容需求，具有可迁移性强的特点。

7、进一步通过本发明的方法提供自由形变的人脸整形模拟系统，该系统可广泛利用与智能终端设备中，以满足用户对整形模拟的需求。

8、本发明方法部分指令需要通过结合相关硬件来完成，所述程序可以存储于存储介质中，该储存介质可为ROM/RAM、磁盘、光盘。

9、自由形变的人脸整形模拟装置，该装置可以为智能终端，如用于整形医院的模拟仪器，整形机器人，该仪器可给用户带来极大的便利性，用户可对自我整形后的形貌有一个初步预估，从而心理有预期以免整容后心理落差，并且用户可私人操作模拟装置保证了用户的私密性，对于医院的工作人员，则很大程度上减少了工作量，如咨询时间成本，同时也避免了医生和用户口述存在误差，引起不必要的矛盾。

以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种自由形变的人脸整形模拟方法，其特征在于，所述方法包括以下步骤：

步骤S1：获取三维人脸模型，识别其上的三维特征数据并预设好整形方案；

步骤S2：根据整形方案以及三维特征数据，在三维人脸模型上设置晶格以划分所需形变区域，并对晶格配置参数以获得晶格控制点；及

步骤S3：根据整形方案预设的算法移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

2.如权利要求1所述的自由形变的人脸整形模拟方法，其特征在于，步骤S2具体包括：

步骤S21：通过整形方案以及对应的三维特征数据，在三维人脸模型上设置晶格的中心坐标以及长、宽、高从而形成整形方案所需的形变区域；及

步骤S22：通过晶格的长、宽、高分别进行细分以获得晶格控制点。

3.如权利要求1中所述自由形变的人脸整形模拟方法，其特征在于，步骤S3具体包括：

步骤S31：设定晶格控制点的参数并移动晶格控制点使得晶体形变；及

步骤S32：通过自由形变将晶格的形变与三维模型形变关联；及

步骤S33：用形变区域新的坐标替换原始坐标，得到形变后的三维人脸模型。

4.如权利要求2中所述自由形变的人脸整形模拟方法，其特征在于，其中步骤S21中，

当整形方案为垫鼻根时，三维特征数据为鼻根点，眼内角点；

当整形方案为缩鼻翼时，三维特征数据为鼻翼点、鼻尖点、鼻梁点；

当整形方案为嘴角上扬时，三维特征数据为嘴角点，上嘴唇点、下嘴唇点；

当整形方案为下颌角整形时，三维特征数据为两侧脸颊特征点，下巴特征点、鼻尖点。

5.如权利要求3中所述自由形变的人脸整形模拟方法，其特征在于，步骤S31具体包括：

步骤S311：设定晶格控制点的移动方式以及最大形变量；

步骤S312：设定晶格控制点的形变程度；

步骤S313：通过移动方式、最大形变量和形变程度移动晶格控制点使得晶体形变。

6.如权利要求3所述的自由形变的人脸整形模拟方法，其特征在于，步骤S32具体包括：

步骤S321：沿着晶格的定向包容盒子在三维人脸模型上建立局部坐标系；

步骤S322：求落在三维人脸模型内的控制点与三维人脸模型顶点的相对坐标归一化后的局部坐标值；

步骤S323：利用局部坐标值重新计算三维人脸模型顶点坐标，以获得形变区域新的坐标。

7.如权利要求4中所述自由形变的人脸整形模拟方法，其特征在于，其中对应步骤S311中，

当整形方案为垫鼻根时，移动鼻根处的控制点；

当整形方案为缩鼻翼时，移动两侧鼻翼偏下位置的控制点和两侧鼻翼偏上位置的控制点；

当整形方案为嘴角上扬时，移动两侧嘴角的两个晶格控制点；

当整形方案为下颌角整形时，移动两侧下颌角边上的控制点。

8.一种自由形变的人脸整形模拟系统，其特征在于，包括：

三维人脸模型采集模块：用于获取三维人脸模型；

整形方案判定模块：用于根据三维人脸模型获取整形方案；

三维人脸模型形变区域划分模块：用于在三维人脸模型上设置晶格以划分所需形变区域；

三维人脸模型形变区域变形模块：用于对晶格配置参数以获得晶格控制点，通过移动晶格控制点对晶格进行形变，并对三维人脸模型上的形变区域进行自由形变后替代原始的三维人脸模型。

9.一种存储介质，其特征在于，该存储介质或者处理器存储有计算机程序，所述存储介质程序运行时，控制所述储存介质或者处理器需执行的计算机程序需执行权利要求1至7中任一项的所述自由形变的人脸整形模拟方法。

10.一种自由形变的人脸整形模拟装置，其特征在于，该装置在对用户进行人脸整形模拟运算时，需要运用到权利要求1至7中任一项的所述自由形变的人脸整形模拟方法。

Images