CN110774583A

CN110774583A - 用于彩色3d打印辅助遗体面部整形的建模方法及其应用

Info

Publication number: CN110774583A
Application number: CN201911023607.0A
Authority: CN
Inventors: 许仁祥
Original assignee: Shanghai Xuanlin Information Technology Co Ltd
Current assignee: Shanghai Xuanlin Information Technology Co Ltd
Priority date: 2019-10-25
Filing date: 2019-10-25
Publication date: 2020-02-11

Abstract

本发明公开了一种用于彩色3D打印辅助遗体面部整形的建模方法及其应用，方法为：确定待处理的彩色2D照片A中包括对象的双眼；对2D照片A进行前置处理，前置处理包括闭眼闭口处理，闭眼闭口处理是指对彩色2D照片A中对象的双眼和嘴巴进行处理得到双眼和嘴巴闭合的彩色2D照片；将其输入面部整容整形专用算法软件直接输出彩色高精度闭眼闭口的3D人脸模型；整容整形专用算法软件包括整容整形数据库训练后的卷积神经网络，训练时分别以彩色2D照片B及其对应的闭眼闭口的高精度3D人脸模型的参数为输入项和输出项。本发明的建模方法，处理速度快，宽容度高，打印出的彩色模型一次成型，无需翻模，也无需人工上色，应用前景好。

Description

用于彩色3D打印辅助遗体面部整形的建模方法及其应用

技术领域

本发明属于遗体面部整形整容技术领域，涉及一种用于彩色3D打印辅助遗体面部整形的自动快速建模方法及其应用。

背景技术

遗体面部整容，是殡葬服务的核心内容之一。很长时间以来，对于损毁严重的遗体的面部整容一直是殡葬服务面临的难题。在3D打印技术出现之前，整容师只能使用油泥、硅胶等进行人工塑形，这种手工操作不仅速度慢，而且受制于整容师队伍的限制而无法规模化使用，使得在遇到重大人员伤亡时往往无法完成高水平的整容服务。另外，通过手工塑形而完成的整容的相似度也完全依赖于整容师的个人水平，是一种地地道道的手工作业，一方面，其速度慢，平均约需要6～10小时，加上修改和设计师休息，实体面部建模一般耗时约1-3天，个别的耗时可达数周，另一方面，建模也完全依赖于模型设计师的个人水平，不同设计师的产品的相似度不一，产品稳定性较差。

为克服以上缺陷，本领域技术人员将目前主要应用于游戏、娱乐及VR等领域的计算机3D人脸建模软件用于遗体的面部整形整容，其中面部建模成为在遗体面部整形整容领域应用3D打印技术的关键，由于遗体的损毁，建模往往无法采用扫描的方式进行，只能采用以彩色照片复原3D模型的方法，而通过彩色照片复原3D模型目前虽然可以通过人工的数字雕刻软件如zbrush来完成，但速度较慢，与手工塑形相比也快不了多少。

现有的计算机3D人脸建模软件虽然能够在一定程度上帮助设计师，但其模型闭眼、闭口仍需要手工在建模软件上进行处理，或者后期在实体模型上手工操作。同时其依赖于生前正面照片(如专利CN107521090A)，如果没有生前正面照片则无法自动建模，此外其对于照片的清晰度和曝光也有较高的要求.现有软件无法做到高精度全彩模型的一次成型，需要后期手工翻模和上色。

因此，开发一种处理速度块且宽容度高、一次成型的用于彩色3D打印辅助遗体面部整形的建模方法极具现实意义。

发明内容

本发明的目的在于克服现有技术处理效率低且宽容度低的缺陷，提供一种处理速度快且宽容度高可一次成型的用于彩色3D打印辅助遗体面部整形的建模方法。本发明的自动快速建模方法，不仅解决了遗体面部快速自动建模问题，使得时效要求很快的规模性行业应用得以成为可能，还解决了模型的相似度参差不齐的问题，基本解决了行业应用中照片素材提供不理想的难题，完成了彩色3D打印的模型对手工塑形的完全替代。

为实现上述目的，本发明提供如下技术方案：

一种用于彩色3D打印辅助遗体面部整形的建模方法，步骤如下：

(1)确定待处理的彩色2D照片A中包括对象的双眼，本发明适用的彩色2D照片只要照片中有对象双眼即可，对照片的拍摄角度要求相比于已有技术更低，正面照不再必须，偏转一定角度的彩色2D照片也可适用于本发明；

(2)对所述彩色2D照片A进行前置处理，所述前置处理包括闭眼闭口处理，所述闭眼闭口处理是指对所述彩色2D照片A中对象的双眼和嘴巴进行处理得到双眼和嘴巴闭合的彩色2D照片；

(3)将步骤(2)处理后的彩色2D照片A输入面部整容整形专用算法软件，输出高精度闭眼闭口的3D人脸模型及彩色贴图；

所述面部整容整形专用算法软件包括由整容整形数据库训练后的卷积神经网络(CNN)，整容整形数据库包含多张彩色2D照片B及其对应的彩色3D高精度人脸模型的参数，训练时分别以彩色2D照片B及其对应的彩色闭眼闭口的高精度3D人脸模型的参数为输入项和输出项；所述彩色2D照片B中包括对象的双眼且2D照片B进行了前置处理。

面部整容整形专用算法软件基于卷积神经网络(CNN)进行深度学习，通过将包含数据组I(包括正常即睁眼张口高精度3D人脸模型)和数据组II(包括闭眼闭口的高精度3D人脸模型)的整容整形数据库输入卷积神经网络进行深度学习，训练卷积神经网络的参数，训练得到面部整容整形专用算法软件。其中数据组I能够对数据组II进行校准，两种数据组相互配合，能够显著提高面部整容整形专用算法软件的精准度。

本发明的方法所需的硬、软件环境条件如下：普通PC机，P4 2.0，16G内存，500G硬盘等及以上；windows 10及以上，预装python3.0以上。

本发明的自动快速面部建模方法，先对彩色2D照片进行闭眼闭口处理，而后基于处理后的彩色2D照片建模，相比于现有技术在建模完成后进行闭眼闭口处理的处理方式，对彩色2D照片进行闭眼闭口处理的数据处理量更小，处理速度更快，无需进行人工干预，能够实现全自动处理，而后将闭眼闭口处理后的彩色2D照片输入面部整容整形专用算法软件，训练整容整形专用算法软件的数据库中的对应彩色2D照片中的人眼及人嘴都是闭合的，本发明关于照片中人眼闭合与否的识别逻辑与现有技术完全不同，现有的人脸识别及其相关技术关于人眼的默认逻辑是人眼是睁开的或有时开有时闭(眨眼)，在识别人脸的特征点时，眼睛均是一片包含多个特征点的区域。无论人眼睁开与否，其默认人眼均是睁开，即使真实的图片中其是闭合的，但在系统逻辑中人眼仍然处于睁开状态，只是睁开的开度较小而已。而本发明中在识别闭眼闭口的人脸特征点时，眼睛部分仅仅是包含几个特征点的一条曲线，系统逻辑中人眼就是闭合状态。

作为优选的技术方案：

如上所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，所述前置处理包括无损放大、闭眼闭口处理和调光调色。在对彩色2D照片进行闭眼闭口处理后还需对其进行无损放大及调光调色等处理，本发明的前置处理的保护范围并不仅限于此，本领域技术人员可根据实际需要对彩色2D照片进行合适的调整，但需要注意的是需要保证处理后的照片的像素在一定范围内。

如上所述的一种用于3D打印辅助遗体面部整形的建模方法，所述前置处理是采用Photoshop软件进行的，本发明的保护范围并不仅限于此，采用其他合适的软件也可适用于本发明，此处仅列举一种可行的技术方案。

如上所述的一种用于3D打印辅助遗体面部整形的建模方法，所述前置处理后的照片的像素≥2048╳2048。低于2048╳2048像素的照片所生成的模型贴图在实际打印后会出现明显的马赛克色块，无法在整容整形中直接使用。

如上所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，所述整容整形数据库包括多个数据组，分为数据组I和数据组II；每组数据组I包括一彩色2D照片B₁及其对应的正常(即睁眼张口)的高精度3D人脸模型的参数；每组数据组II包括一彩色2D照片B₂及其对应的闭眼闭口的高精度3D人脸模型的参数；组成单一高精度3D人脸模型的三角面片数量不少于80000个；数据组II的数量/数据组总数不低于45％。

本发明的面部整容整形数据库中的数据不仅包括睁眼开口的照片及睁眼开口的高精度3D模型数据组，还包括闭眼闭口的照片及闭眼闭口的高精度3D模型，且闭眼闭口的照片及闭眼闭口的高精度3D模型数据组/数据组总数不低于45％，这能够保证根据整容整形数据库训练得到的整容整形专用算法软件更为匹配真实情况，其中的睁眼开口数据，一方面能够提供更多的数据，另一方面，针对殡葬服务这一特定领域，闭眼闭口数据虽然重要，但由于人体在死亡后将不可逆的发生一些衰变，而对于客户而言，能够保持其逝世前面容状态处在较好的状态，因此采用一定的睁眼开口数据对闭眼闭口数据进行一定的调整，采用本发明的整容整形数据库训练得到的整容整形专用算法软件能够准确的反映彩色2D照片与高精度3D人脸模型的参数的关系，将彩色2D照片输入该整容整形专用算法软件可以获得符合客户预期的彩色高精度3D人脸模型的参数。

如上所述的一种用于3D打印辅助遗体面部整形的建模方法，在步骤(3)获得高精度彩色3D人脸模型的参数后根据其获得的参数可自动建立闭眼闭口的彩色高精度3D人脸模型。

本发明还提供一种电子设备，包括一个或多个处理器、一个或多个存储器及一个或多个程序；

所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如上所述的一种用于3D打印辅助面部遗体面部整形的自动快速建模方法。

作为优选的技术方案：

如上所述的一种电子设备，还包括彩色3D打印装置，所述彩色3D打印装置将根据获取的彩色高精度3D人脸模型的参数打印全彩的3D人脸模型，3D打印装置具体为3Dsystem公司生产的projet 660pro全彩打印机，本发明的保护范围并不仅限projet 660pro全彩打印机，本领域技术人员可根据实际需求选择合适的其它彩色3D打印装置。

有益效果：

(1)本发明的用于3D打印辅助遗体面部整形的建模方法，将彩色高精度3D人脸模型的生成时间从手工的数小时到数天(根据设计师水平和效率而不同)减少到30分钟以内，大大提高了建模效率；

(2)本发明的用于3D打印辅助遗体面部整形的建模方法，处理速度快，采用计算机等电子设备即可完成快速建模，同时可同步记录储存数据，彻底解决了殡葬行业在出现大规模灾难时善后处置中出现的整容整形能力不足的瓶颈难题；

(3)本发明所生成的彩色高精度人脸模型，经全彩彩色3D打印机打印后，可一次成型，直接用于遗体的面部整容，无需翻模，无需上色，使用方便，效果良好。

附图说明

图1为正面彩色2D照片的生成3D人脸模型的流程图；

图2为偏角彩色2D照片的生成3D人脸模型的流程图；

图3为本发明的电子设备的结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式做进一步阐述。

实施例1

一种用于彩色3D打印辅助遗体面部整形的建模方法，应用于电子设备，正面彩色2D照片或偏角彩色2D照片的生成闭眼闭口全彩高精度3D人脸模型的流程如图1和2所示，步骤如下：

(1)确定待处理的彩色2D照片A中包括对象的双眼；

(2)采用Photoshop软件对彩色2D照片A进行前置处理，前置处理包括无损放大、闭眼闭口处理和调光调色，闭眼闭口处理是指对彩色2D照片A中对象的双眼和嘴巴进行处理得到双眼和嘴巴闭合的2D照片，前置处理后的照片的像素应≥2048╳2048；

(3)将步骤(2)处理后的彩色2D照片A输入面部整容整形专用算法软件，输出闭眼闭口高精度3D人脸模型的参数；

(4)根据步骤(3)获得的参数自动建立闭眼闭口高精度3D人脸模型及彩色贴图；

面部整容整形专用算法软件包括由整容整形数据库训练后的卷积神经网络，整容整形数据库包含多个数据组，分为数据组I和数据组II；每组数据组I包括一彩色2D照片B₁及其对应的正常的高精度3D人脸模型的参数；每组数据组II包括一彩色2D照片B₂及其对应的闭眼闭口的高精度3D人脸模型的参数，组成单一高精度3D人脸模型的三角面片数量不少于80000个；数据组II的数量/数据组总数不低于45％，训练时分别以彩色2D照片B₂及其对应的闭眼闭口高精度3D人脸模型的参数为输入项和输出项；彩色2D照片B₁和B₂中包括对象的双眼且对彩色2D照片B₂进行了前置处理；

其中，面部整容整形专用算法软件基于卷积神经网络(CNN)进行深度学习，将包含数据组I(包括正常即睁眼张口高精度3D人脸模型)和数据组II(包括闭眼闭口的高精度3D人脸模型)的整容整形数据库输入卷积神经网络进行深度学习，训练卷积神经网络的参数，训练得到以彩色2D照片及其对应的闭眼闭口高精度3D人脸模型的参数为输入项和输出项的面部整容整形专用算法软件，其中数据组II能够对数据组I进行校准，两种数据组相互配合，能够显著提高面部整容整形专用算法软件的精准度。

经验证，本发明的用于彩色3D打印辅助遗体面部整形的建模方法，建模效率高，宽容度高，可一次成型；处理速度快，采用计算机等电子设备即可完成快速建模，同时可同步记录储存数据，彻底解决了殡葬行业在出现大规模灾难时善后处置中出现的整容整形能力不足的瓶颈难题，极具应用前景。

实施例2

一种电子设备，如图3所示，包括一个或多个处理器、一个或多个存储器、一个或多个程序和根据获取的彩色高精度3D人脸模型的参数打印全彩3D人脸模型的3D打印装置；

一个或多个程序被存储在所述存储器中，当一个或多个程序被处理器执行时，使得电子设备执行与实施例1相同的一种用于彩色3D打印辅助遗体面部整形的建模方法。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应该理解，这些仅是举例说明，在不违背本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。

Claims

1.一种用于彩色3D打印辅助遗体面部整形的建模方法，应用于电子设备，其特征在于，步骤如下：

(1)确定待处理的彩色2D照片A中包括对象的双眼；

(2)对所述彩色2D照片A进行前置处理，所述前置处理包括闭眼闭口处理，所述闭眼闭口处理是指对所述2D照片A中对象的双眼和嘴巴进行处理得到双眼和嘴巴闭合的彩色2D照片；

(3)将步骤(2)处理后的彩色2D照片A输入整容整形专用算法软件，直接输出彩色高精度闭眼闭口的3D人脸模型；

所述整容整形专用算法软件是由整容整形数据库训练后的卷积神经网络及相关模块构成，整容整形数据库包含多张彩色2D照片B及其对应的高精度3D人脸模型的参数，训练时分别以彩色2D照片B及其对应的闭眼闭口的高精度3D人脸模型的参数为输入项和输出项；所述彩色2D照片B中包括对象的双眼且对彩色2D照片B进行了前置处理。

2.根据权利要求1所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，其特征在于，所述前置处理包括无损放大、闭眼闭口处理和调光调色。

3.根据权利要求2所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，其特征在于，所述前置处理是采用Photoshop软件进行的。

4.根据权利要求3所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，其特征在于，所述前置处理后的照片的像素≥2048╳2048。

5.根据权利要求1所述的一种用于彩色3D打印辅助遗体面部整形的建模方法，其特征在于，所述整容整形数据库包括多个数据组，分为数据组I和数据组II；

每组数据组I包括一彩色2D照片B₂及其对应的正常的高精度3D人脸模型的参数；

每组数据组II包括一彩色2D照片B₁及其对应的闭眼闭口的高精度3D人脸模型的参数；

组成单一高精度3D人脸模型的三角面片数量不少于80000个；

数据组II的数量/数据组总数不低于45％。

6.根据权利要求1所述的一种用于3D打印辅助遗体面部整形的建模方法，其特征在于，在步骤(3)获得3D人脸模型的参数后根据其获得的参数自动建立闭眼闭口的高精度彩色3D人脸模型。

7.一种电子设备，其特征在于，包括一个或多个处理器、一个或多个存储器及一个或多个程序；

所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如权利要求1～6任一项所述的一种用于彩色3D打印辅助遗体面部整形的建模方法。

8.根据权利要求7所述的一种电子设备，其特征在于，还包括彩色3D打印装置，所述彩色3D打印装置将根据获取的彩色3D人脸高精度模型的参数直接打印出可使用的全彩的3D人脸高精度模型。