CN107123160A - 基于三维立体图像的模拟整容系统、方法及移动终端 - Google Patents

Abstract

本发明涉及三维模型处理领域，公开了一种基于三维立体图像的模拟整容系统，模拟整容方法，以及能够基于三维立体图像来实现模拟整容的移动终端，所述移动终端如手机、平板、可穿戴设备等。本发明利用移动终端上设置的三维成像扫描器，对用户的脸部进行三维扫描，并将用户的人脸三维模型与数据库中的人脸三维模型进行对比，确定整容区域，再将第一人脸三维模型向相应的整容参考模型逼近，完成模拟整容。本发明可以以明星或好友的人脸三维模型为基础，进行模拟整容，既能满足用户的心理需求，又具有一定的社交娱乐性，而且操作方式简单方便，用户还能够对三维模型进行控制操作，可从多个角度查看模拟整容效果。

Description

基于三维立体图像的模拟整容系统、方法及移动终端

技术领域

本发明涉及模拟整容技术领域，尤其是一种基于三维立体图像的模拟整容系统，一种基于三维立体图像的模拟整容方法，以及一种能够基于三维立体图像来实现模拟整容的移动终端，所述移动终端如手机、平板、可穿戴设备等。

背景技术

整容是透过外科手术改善外貌，通常指脸部整型，如割双眼皮、埝下巴、隆鼻、嫩唇、造酒窝、矫正牙齿、除皱、除痘、种睫毛、脱毛等，藉以增强自信。随着现代医学技术的进步，医学整容开始风靡，越来越多的人参与其中。

然而，整形美容存在一定的风险，若整容手术失败或没有达到预想的效果时，其造成的后果是很难补救的，并不能做不好再修改直到用户满意为止，为克服该缺陷，可通过三维整形扫描仪采集用户的局部或全身的三维数据，生成原始三维立体模型，并基于该原始三维立体模型进行相应的编辑调整，以达到用户预期的整形效果，并给用户相应的整形建议，使用户能在整形手术前看到整形后效果。但由于专业的三维整形扫描仪，价格昂贵，用户想要查看自己整形后的效果，一般需要前往相关整形医疗机构。

另外，为满足用户的需求，方便用户了解自己整形后的效果，或者满足用户的娱乐需求，多种应用于手机、平板等智能移动终端的模拟整容APP流行起来，用户可直接通过模拟整容APP对自己的照片进行编辑处理，以模拟整容手术，使用方便操作简单。但现有的模拟整容APP一般是对用户上传照片或当前拍摄照片进行处理，基于二维图片进行模拟整容，并不能生成用户的三维立体模型，用户不能直接对模型进行操作，从多角度、多方面进行逼真的模拟整容，用户体验较差。

发明内容

本发明的发明目的在于：针对上述存在的问题，提出一种基于三维立体图像的模拟整容系统，一种基于三维立体图像的模拟整容方法，以及一种能够基于三维立体图像来实现模拟整容的移动终端，所述移动终端如手机、平板、可穿戴设备等。

方案一：基于三维立体图像的模拟整容系统。

针对本发明的一个方面，本发明提出了一种基于三维立体图像的模拟整容系统，该模拟整容系统主要包括：三维重建单元、特征区域划分单元、人脸对比单元、差异状况判定单元、整容区域选择单元、模拟整容单元、显示单元、对比数据库和被设置于移动终端上的三维扫描器。

所述三维扫描器，用于采集用户的人脸三维信息和人脸图像。

所述三维重建单元，根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型。

所述特征区域划分单元，用于采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域。

所述人脸对比单元，用于将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据，所述整容参考模型为在对比数据库中选择的一个或多个第二人脸三维模型。

所述差异状况判定单元，用于根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识。

所述整容区域选择单元，用于根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域。

所述模拟整容单元，用于根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。

进一步的，本发明模拟整容系统中，所述对比数据库包括存储有明星人脸三维模型的明星数据库和/或存储有好友共享的好友人脸三维模型的好友数据库；

当所述对比数据库包括明星数据库时，相应的，所述第二人脸三维模型包括明星人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与明星人脸三维模型进行对比，判定用户人脸与明星人脸之间的差异信息；

当所述对比数据库包括好友数据库时，相应的，所述第二人脸三维模型包括好友人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与好友人脸三维模型进行对比，判定用户人脸与好友人脸之间的差异信息。

方案二：基于三维立体图像的模拟整容方法。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的模拟整容方法，该模拟整容方法主要包括以下步骤：

S1、人脸扫描步骤：通过移动终端上的三维扫描器，采集用户的人脸三维信息和人脸图像；

S2、三维重建步骤：根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型进行显示；

S3、特征区域划分步骤，采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域；

S4、人脸对比步骤：在对比数据库中选择一个或多个第二人脸三维模型作为整容参考模型，将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据；

S5、差异状况判定步骤：根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识；

S6、整容区域选择步骤：根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域；

S7、模拟整容步骤：根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。

进一步的，本发明模拟整容方法中，所述人脸对比步骤中包括明星对比模式：当接收到用户选择的与明星的人脸三维模型进行比较的第一对比指令时，从所述对比数据库中调用明星人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与明星人脸三维模型进行对比，判定用户与明星之间的脸部差异。

进一步的，本发明模拟整容方法中，所述人脸对比步骤中包括好友对比模式：当接收到用户选择的与好友的人脸三维模型进行比较的第二对比指令时，从所述对比数据库中调用好友人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与好友人脸三维模型进行对比，判定用户与好友之间的脸部差异。

方案三：基于三维立体图像的模拟整容移动终端。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的模拟整容移动终端，该模拟整容移动终端主要包括：

处理器；

三维扫描器，其连接到所述处理器，用于采集用户的人脸三维信息和人脸图像；

显示屏，其连接到所述处理器；

存储器，其连接到所述处理器，用于存储计算机程序；

所述存储器和计算机程序被配置成利用所述处理器使得所述移动终端至少执行方案二的任一项实施方式所述的模拟整容方法中所包含的步骤。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1）本发明系统利用移动终端上设置的三维成像扫描器，对用户的脸部进行三维扫描，并将用户的人脸三维模型与数据库中的人脸三维模型进行对比，确定两者的差异信息，并将差异信息与用户的人脸三维模型进行融合显示。本发明既能满足用户的心理需求，具有一定的娱乐性，又能为模拟整形美容提供技术支持，而且操作方式简单方便，移动性强，不受场地限制，用户能够对三维模型进行控制操作，可从多个角度反应差异信息，显示方式直观明了，既适用于电脑端操作，也适用于独立在移动终端上操作。

2）用户可将人脸对比APP安装在移动终端上，直接在移动终端上运行人脸对比APP，调用移动终端上的三维扫描器采集人脸三维图像，再在移动终端上进行后续的三维处理和对比处理，最后将人脸三维图像和差异信息融合显示。用户还可通过网络访问模拟整容平台服务器，获取服务器上的人脸三维模型，或者上传自己的人脸三维模型，还可以将对比结果分享至平台服务器或第三方服务器。

3）本发明可实现将用户的人脸三维模型与明星的人脸三维模型进行对比，判断用户与明星之间的脸部差异，满足用户的心理需求，具有较好的娱乐性。本发明还可将用户的人脸三维模型与好友的人脸三维模型进行对比，判断用户与好友之间的脸部差异，具有较好的社交互动性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明中模拟整容系统的系统示意框图。

图2为本发明中模拟整容方法的流程示意图。

图3为本发明中模拟整容移动终端的电路示意框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

方案一：模拟整容系统。

实施例1.1，如图1所示，本发明提出的模拟整容系统主要包括：三维重建单元、特征区域划分单元、人脸对比单元、差异状况判定单元、整容区域选择单元、模拟整容单元、显示单元、对比数据库和被设置于移动终端上的三维扫描器，所述移动终端包括手机、平板、可穿戴设备等。

①三维扫描器，用于采集用户的人脸三维信息和人脸图像。本发明中所述的三维扫描器为固设在移动终端上的图像采集器。若移动终端采用基于双目视觉的三维立体技术，则所述图像采集器包括双目摄像头。若移动终端采用基于光度立体视觉的三维立体技术，则所述图像采集器包括摄像头和光源，如采用可见光摄像头和可见光点光源，或可见光摄像头和面光源（将显示屏作为光源），也可采用红外光摄像头和红外光点光源。若移动终端采用基于结构光的三维立体技术，则所述图像采集器包括摄像头和结构光投射器。

②三维重建单元，根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型输出至所述显示单元进行显示。该三维重建单元还可被配置成：根据三维扫描器的类型，如根据三维扫描器的端口或人脸三维信息的类型，判断三维扫描器的类型，调用相应的算法进行三维重建。

③特征区域划分单元，用于采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域。

所述特征区域可包括眼部区域、眉毛区域、鼻部区域、嘴部区域、脸颊区域、下巴区域、额头区域和耳部区域中的多种组合，可是根据系统需求确定划分为哪几个区域，可以是用户根据自己的需求指定待对比的特征区域，并且本发明中的特征区域均为三维特征区域，可从多个角度采集数据、判断差异。

当然，还可根据实际需求进一步细分特征区域。如眼部区域可包括眼皮区域、眼角区域、眼袋区域、泪沟区域、眼周区域等等多种组合。鼻部区域，可包括鼻头区域、鼻梁区域、人中区域等多种组合，可用于判断鼻型，如识别驼峰鼻、鹰钩鼻、歪鼻、朝天鼻、低鼻、宽鼻等。

④人脸对比单元，用于将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据，所述整容参考模型为在对比数据库中选择的一个或多个第二人脸三维模型，并将差异区域和差异数据在显示单元上进行显示。

⑤差异状况判定单元，用于根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识，并根据差异标识对差异区域进行区别显示；

其评级评分规则可以是根据第一人脸三维模型与整容参考模型之间的差异度来评定，该差异值可以是差异区域中的最大差异值，也可以是差异区域中的平均差异值，当然还可以是其他方式求得的差异值。差异状况判定单元将各个差异区域的差异度与预设的差异阈值进行比较，若差异度落入某差异阈值区间，则为该差异区域赋予该差异阈值区间相应的等级或分值。

评级评分规则还可以是根据判断是否适合整容来进行评级评分，根据差异区域的差异度，差异区域与相邻特征区域之间的关联，如轮廓、形状、大小等因数，判断差异区域是否适合整容，并将整容适合度与整容适宜阈值进行比较，对差异区域进行评级评分，越适合整容的区域，其等级越高，评分越高。

进一步的，还可根据各个差异区域的差异等级/评分计算第一人脸三维模型和整容参考模型的相似度，差异等级越高、差异评分越高，相似度越高。

还可将第一人脸三维模型和第二人脸三维模型的数据与标准数据进行比较，判断第一人脸三维模型的差异区域处相对于整容参考模型的优劣势信息，如检测用户人脸三维模型的眼部区域时，判定用户的眼部包含双眼皮，而选定的整容参考模型为单眼皮，根据标准数据中记录的眼皮优劣势数据，指示出差异区域的优劣势信息，标准数据可由服务商预先设置好，也可采集用户的喜好来动态更新。如由于目前双眼皮更被大众喜爱，服务商预先设定双眼皮优于单眼皮；也可以是根据用户对单眼皮和双眼皮的喜爱程度，所述喜爱程度可根据用户的点赞数据、打分数据等提取。

进一步的，还根据差异标识对差异区域进行区别显示，显示方式包括文字标注显示、颜色区别显示、虚实线显示等等。

文字标注显示，如在用户的第一人脸三维模型的差异区域上做文字标引，标出差异等级、差异数据等差异信息，还可列出建议、提示、相似度等其他信息。

颜色区别显示，如在用户的第一人脸三维模型的差异区域上填充不同的颜色，根据冷暖色渐变的效果，对不同差异度/整容适合度的差异区域加以区别显示。

虚实线显示，如将用户的第一人脸三维模型以实线显示，将对比数据库中的第二人脸三维模型以虚线显示，通过实线和虚线的重叠显示，可直观地表示出两个模型的轮廓区别。

当然，在显示时还可融合多种显示方式，以为用户提供更丰富的信息和更直观的效果，进一步的，还可增设显示控制开关，用户可根据自己的需求，选择开启和关闭差异信息显示功能。

⑥整容区域选择单元，用于根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域。若第一人脸三维模型中的同一特征区域存在多个差异区域，则根据所述差异标识的优先级选择优先级高的差异区域作为整容区域。

⑦模拟整容单元，用于根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。采用逼近操作方式，是根据三维模型上的特征点对三维模型进行网格化处理后，将第一人脸三维模型的整容区域中的特征点逐渐向相应的整容参考模型的同名点靠近。一般的，在特征区域划分过程中，第一人脸三维模型与第二人脸三维模型采用相同的特征点识别算法，使得两种三维模型具有相同类型和数量的特征点；在人脸对比过程中，将第一人脸三维模型与整容参考模型中相对应的特征点匹配标记为同名点。

还可包括显示单元，用于为用户提供显示画面。

实施例1.2，在实施例1.1的基础上，进一步的，所述模拟整容系统还包括共享单元，用于对用户的第一人脸三维模型设定权限后，共享至网络数据库，以供用户的好友调用，还可用于将模拟整容结果分享至平台服务器或第三方服务器，增添社交娱乐性。

实施例1.3，在实施例1.1或实施例1.2的基础上，进一步的，所述对比数据库包括存储有明星人脸三维模型的明星数据库和/或存储有好友共享的好友人脸三维模型的好友数据库。

当所述对比数据库包括明星数据库时，相应的，所述第二人脸三维模型包括明星人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与明星人脸三维模型进行对比，判定用户人脸与明星人脸之间的差异信息。

用户在采集自己的人脸三维模型后，可以在对比数据库中浏览已上传的明星的人脸三维模型，用户选择某位明星的人脸三维模型后，系统自动将用户的人脸三维模型与明星的人脸三维模型进行对比分析，并在显示界面上示出差异信息，用户可通过本系统直观地详细地了解自己脸部与明星脸部之间的区别，了解自己与明星脸部间的具体差异信息、相似度或优劣势信息等等，还可对人脸三维模型进行操作，从多个角度查看区别状况。

当所述对比数据库包括好友数据库时，相应的，所述第二人脸三维模型包括好友人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与好友人脸三维模型进行对比，判定用户人脸与好友人脸之间的差异信息。

用户在采集自己的人脸三维模型后，可以在对比数据库中浏览好友已上传的且公开的人脸三维模型，用户选择某位好友的人脸三维模型后，系统自动将用户的人脸三维模型与好友的人脸三维模型进行对比分析，并在显示界面上示出差异信息，用户可通过本系统直观地详细地了解自己脸部与好友脸部之间的区别，了解自己与明星脸部间的具体差异信息、相似度或优劣势信息等等，还可对人脸三维模型进行操作，从多个角度查看区别状况。

需说明的是，本发明提出了一种基于三维立体图像的模拟整容系统，该系统中的各个单元、器件可以集成在同一个装置中，形成如方案三所提出的移动终端，其中，显示单元可为移动终端的触摸显示屏；对比数据库可利用移动终端的存储器；三维扫描器为固设在移动终端的图像采集器，若基于双目视觉进行三维重建，则包括双目摄像头，若基于光度立体匹配进行三维重建，则包括摄像头和与摄像头配合的点光源，若基于结构光进行三维重建，则包括摄像头与摄像头配合的结构光投影器，等等；另外，三维重建单元和人脸对比单元可为移动终端中的程序模块，其功能由移动终端的处理器调用存储器中的计算机程序以实现，也可以是移动终端中的硬件模块，如与移动终端的核心处理器协同工作的微处理器。

本发明所述系统中的各个单元、器件也可以是分别设置在不同的装置中，由多个装置组成，如由前端设备移动终端和后端设备服务器组成，具有三维扫描功能的移动终端通过无线或有线的通信方式与后端服务器连接，其中，三维重建单元、人脸对比单元、显示单元和对比数据库可集中设置在一个服务器上，也可以分布设置在多台服务器上，也可以根据实际情况将部分单元模块配置在移动终端中，另一部分单元模块配置在服务器上，其具体实施方式灵活多样，可根据实际情况而定。

方案二：基于三维立体图像的模拟整容方法。

如图2所示，针对本发明的另一个方面，本发明提出了一种基于三维立体图像的模拟整容方法，本发明方法可基于方案一或方案三中各单元、器件来实现。

实施例2.1，所述模拟整容方法主要包括以下步骤：

S1、人脸扫描步骤：通过移动终端上的三维扫描器，采集用户的人脸三维信息和人脸图像；

S2、三维重建步骤：根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型进行显示；

S3、特征区域划分步骤，采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域；

S4、人脸对比步骤：在对比数据库中选择一个或多个第二人脸三维模型作为整容参考模型，将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据；

S5、差异状况判定步骤：根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识；

S6、整容区域选择步骤：根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域；

S7、模拟整容步骤：根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。

实施例2.2，在实施例2.1的基础上，进一步的，所述整容区域选择步骤中包括手动选择整容区域模式和/或自动选择整容区域模式。

所述手动选择整容区域模式：当接收到用户根据差异标识自行选择差异区域的整容区域选择指令时，根据整容区域选择指令将相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域匹配绑定。

所述自动选择整容区域模式：当接收到自动选择整容区域指令时，在整容参考模型中根据差异标识的优先级，自动选择优先级高的差异区域作为整容区域，将每个整容区域与相应的整容参考模型的差异区域匹配绑定，若第一人脸三维模型中的同一特征区域存在多个差异区域，则根据所述差异标识的优先级选择优先级高的差异区域作为整容区域。

实施例2.3，在实施例2.1或实施例2.2的基础上，进一步的，所述人脸对比步骤中包括明星对比模式和/或好友对比模式。

所述明星对比模式：当接收到用户选择的与明星的人脸三维模型进行比较的第一对比指令时，从所述对比数据库中调用明星人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与明星人脸三维模型进行对比，判定用户与明星之间的脸部差异。

所述好友对比模式：当接收到用户选择的与好友的人脸三维模型进行比较的第二对比指令时，从所述对比数据库中调用好友人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与好友人脸三维模型进行对比，判定用户与好友之间的脸部差异。

实施例2.4，在实施例2.1~2.3任一项的基础上，进一步的，所述模拟整容方法还包括共享步骤：首先对用户的第一人脸三维模型设定权限，然后将第一人脸三维模型共享至网络数据库，以便于用户的好友调用。所述共享步骤还可以将用户的模拟整容结果分享至共享平台，提供基于图像分享的社交服务。

实施例2.5，在实施例2.1~2.4任一项的基础上，进一步的，所述差异状况判定步骤还根据所述差异标识对每个整容参考模型中的各个差异区域进行区别显示，显示方式包括文字标注显示、颜色区别显示和双模型虚实线显示中的一种或多种组合。

方案三：基于三维立体图像的模拟整容移动终端。

针对本发明的另一个方面，本发明提出了一种基于三维立体图像的模拟整容移动终端，本发明所提出的移动终端可为手机、平板、可穿戴设备等，可用于执行方案二所述的模拟整容方法。

如图3所示，本发明所提出的移动终端主要包括：处理器、显示屏、存储器和设置在移动终端本体上的三维扫描器。

其中，所述处理器分别与显示屏、存储器和三维扫描器信号连接；所述三维扫描器用于采集用户的人脸三维信息和人脸图像；所述存储器用于存储计算机程序；所述存储器和计算机程序被配置成利用所述处理器使得所述移动终端执行至少方案二的任一项实施方式所述的模拟整容方法中所包含的步骤。

所述三维扫描器可为双目立体采集器、光度立体采集器、结构光立体采集器和TOF立体采集器中的任意一种。

所述计算机程序可被封装成模拟整容APP，用户将模拟整容APP安装在具有三维扫描器的移动终端后，处理器运行该APP，可通过三维数据端口控制三维扫描器采集用户的人脸三维图像，然后再执行相应的三维处理和模拟整容处理，并通过显示端口控制显示屏显示模拟整容结果。

进一步的，所述移动终端还包括通信模块，所述通信模块的一端与处理器电性连接，其另一端通过网络与平台服务器数据连接，用于与平台服务器进行数据交互，访问存储于平台服务器的第二人脸三维模型等数据，还可用于共享用户数据至平台服务器上或其他第三方平台服务器。

进一步的，所述存储器还可以包括用户数据库，用于存储第一人脸三维模型，便于用户查看和操作已存储的人脸模型。

进一步的，所述存储器还可以用于存储第二人脸三维模型，如包括明星数据库和好友数据库，便于用户利用移动终端以离线的方式完成模拟整容操作，节省用户联网处理流量。

本发明公开了一种基于三维立体图像的模拟整容系统，模拟整容方法，以及能够基于三维立体图像来实现模拟整容的移动终端，所述移动终端如手机、平板、可穿戴设备等。但本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

本发明利用移动终端上设置的三维成像扫描器，对用户的脸部进行三维扫描，并将用户的人脸三维模型与数据库中的人脸三维模型进行对比，确定整容区域，再将第一人脸三维模型向相应的整容参考模型逼近，完成模拟整容。本发明可以以明星或好友的人脸三维模型为基础，进行模拟整容，既能满足用户的心理需求，又具有一定的社交娱乐性，而且操作方式简单方便，用户还能够对三维模型进行控制操作，可从多个角度查看模拟整容效果。

Claims (10)

1.一种基于三维立体图像的模拟整容系统，其特征在于：包括三维重建单元、特征区域划分单元、人脸对比单元、差异状况判定单元、整容区域选择单元、模拟整容单元、显示单元、对比数据库和被设置于移动终端上的三维扫描器；

所述三维扫描器，用于采集用户的人脸三维信息和人脸图像；

所述三维重建单元，根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型；

所述特征区域划分单元，用于采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域；

所述人脸对比单元，用于将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据，所述整容参考模型为在对比数据库中选择的一个或多个第二人脸三维模型；

所述差异状况判定单元，用于根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识；

所述整容区域选择单元，用于根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域；

所述模拟整容单元，用于根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。

2.根据权利要求1所述的一种基于三维立体图像的模拟整容系统，其特征在于：所述对比数据库包括存储有明星人脸三维模型的明星数据库和/或存储有好友共享的好友人脸三维模型的好友数据库；

当所述对比数据库包括明星数据库时，相应的，所述第二人脸三维模型包括明星人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与明星人脸三维模型进行对比，判定用户人脸与明星人脸之间的差异信息；

当所述对比数据库包括好友数据库时，相应的，所述第二人脸三维模型包括好友人脸三维模型，以供人脸对比单元将用户的第一人脸三维模型与好友人脸三维模型进行对比，判定用户人脸与好友人脸之间的差异信息。

3.一种基于三维立体图像的模拟整容方法，其特征在于，包括以下步骤：

S1、人脸扫描步骤：通过移动终端上的三维扫描器，采集用户的人脸三维信息和人脸图像；

S2、三维重建步骤：根据所述人脸三维信息和人脸图像进行三维重建，生成第一人脸三维模型，并将所述第一人脸三维模型进行显示；

S3、特征区域划分步骤，采集所述第一人脸三维模型的特征点，根据特征点对所述第一人脸三维模型划分特征区域；

S4、人脸对比步骤：在对比数据库中选择一个或多个第二人脸三维模型作为整容参考模型，将所述第一人脸三维模型与每个整容参考模型进行对比，将存在差异的特征区域标记为差异区域，并确定每个差异区域的差异数据；

S5、差异状况判定步骤：根据差异数据判定每个差异区域的差异等级和/或差异评分，并对每个差异区域赋予差异标识；

S6、整容区域选择步骤：根据所述差异标识在每个整容参考模型上选择相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域进行绑定，建立绑定关系，其中，每个整容区域为互不相同的特征区域；

S7、模拟整容步骤：根据绑定关系，在每个整容区域中，将第一人脸三维模型向相应的整容参考模型逼近，完成对所述第一人脸三维模型的整容处理。

4.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，所述整容区域选择步骤中包括手动选择整容区域模式：当接收到用户根据差异标识自行选择差异区域的整容区域选择指令时，根据整容区域选择指令将相应的差异区域作为整容区域，并将每个整容区域与相应的整容参考模型的差异区域匹配绑定。

5.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，所述整容区域选择步骤中包括自动选择整容区域模式：当接收到自动选择整容区域指令时，在整容参考模型中根据差异标识的优先级，自动选择优先级高的差异区域作为整容区域，将每个整容区域与相应的整容参考模型的差异区域匹配绑定，若第一人脸三维模型中的同一特征区域存在多个差异区域，则根据所述差异标识的优先级选择优先级高的差异区域作为整容区域。

6.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，所述人脸对比步骤中包括明星对比模式：当接收到用户选择的与明星的人脸三维模型进行比较的第一对比指令时，从所述对比数据库中调用明星人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与明星人脸三维模型进行对比，判定用户与明星之间的脸部差异。

7.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，所述人脸对比步骤中包括好友对比模式：当接收到用户选择的与好友的人脸三维模型进行比较的第二对比指令时，从所述对比数据库中调用好友人脸三维模型作为所述第二人脸三维模型，以供用户将所述第一人脸三维模型与好友人脸三维模型进行对比，判定用户与好友之间的脸部差异。

8.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，还包括共享步骤：对用户的第一人脸三维模型设定权限后，共享至网络数据库，以供用户的好友调用。

9.根据权利要求3所述的一种基于三维立体图像的模拟整容方法，其特征在于，所述差异状况判定步骤还根据所述差异标识对每个整容参考模型中的各个差异区域进行区别显示，显示方式包括文字标注显示、颜色区别显示和双模型虚实线显示中的一种或多种组合。

10.一种基于三维立体图像的模拟整容移动终端，其特征在于，包括：

处理器；

三维扫描器，其连接到所述处理器，用于采集用户的人脸三维信息和人脸图像；

显示屏，其连接到所述处理器；

存储器，其连接到所述处理器，用于存储计算机程序；

所述存储器和计算机程序被配置成利用所述处理器使得所述移动终端至少执行如权利要求3~9中任一项所述模拟整容方法所包含的步骤。