CN107122727B - 用于脸部整形的方法、装置及系统 - Google Patents

Abstract

提供了一种用于脸部整形的方法、装置及系统，该方法包括：获取待整形人员的人脸图像；根据该人脸图像的多个关键点，获取匹配的多张待选图像；获取用户的选择信息，该选择信息表示用户选择的该多张待选图像中的至少一张图像；根据该人脸图像的多个关键点以及该至少一张图像的多个关键点，生成结果图像；根据用户对结果图像的指令，生成包括该待整形人员的人脸部位信息的用于整形的参考信息。可见，本发明可以基于待整形人员的人脸图像，生成用于整形的参考信息，可以由待整形人员提前预览整形手术结果，也可以为医师提供进行整形手术的参考，能够减少医师与待整形人员之间的沟通成本，且能够减小医师对自己经验的依赖性而降低手术失败率。

Description

用于脸部整形的方法、装置及系统

技术领域

本发明涉及图像识别领域，更具体地涉及一种用于脸部整形的方法、装置及系统。

背景技术

越来越多的人开始接受脸部整形手术，特别是脸部微整形手术。目前市场上的脸部整形手术主要是凭借美容师的个人经验来决定的，然而市场上的美容师的个人经验和技术参差不齐，导致脸部整形手术的失败率较高。

脸部微整形手术以打瘦脸针为例：打瘦脸针不仅需要找到合适的打针部位，而且需要知道哪个部位该瘦多少并需要打多少剂量的药物。然而目前的美容师只能按照经验决定在哪个部位打多少剂量的药物而没有其他明确的参考，不仅可能导致整形者对结果的不满意，还有可能造成手术的失败甚至毁容。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种用于脸部整形的方法、装置及系统，能够生成用于美容师的参考图像，从而能够降低整形手术的失败率。

第一方面，提供了一种用于脸部整形的方法，包括：

获取待整形人员的人脸图像；

根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像；

获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像；

根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

示例性地，在获取与所述人脸图像匹配的多张待选图像之后，还包括：接收所述用户的选择辅助信息，

所述根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像，包括：

根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像。

示例性地，所述待整形人员的人脸图像包括已标记的多个关键点。

示例性地，在所述根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像之前，还包括：

为所述待整形人员的人脸图像标记所述多个关键点。

示例性地，所述根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像，包括：

根据所述至少一张图像的多个关键点，生成候选图像；

将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像，其中所述结果图像包括所述候选图像的脸型线。

示例性地，所述结果图像还包括在所述人脸图像的多个关键点中需要进行整形的关键点。

示例性地，所述指令为所述用户对所述结果图像的确认指令；或者，所述指令为所述用户对所述结果图像编辑之后的指令。

示例性地，其特征在于，所述获取待整形人员的人脸图像，包括：从用户端获取所述待整形人员的人脸图像。

第二方面，提供了一种用于脸部整形的方法，包括：

提示执行待整形人员的人脸数据的获取操作；

根据所述人脸数据获得满足预设要求的人脸图像并外发；

接收多张待选图像，其中，所述待选图像为根据所述人脸图像的多个关键点获取的；

发送用户的选择信息，或者，发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的；

对所述结果图像进行确认生成对所述结果图像的确认指令，或者，对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令；

发送用户对所述结果图像的指令；

接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

示例性地，所述根据人脸数据获得满足预设要求的人脸图像并外发，包括：

根据人脸数据获得满足预设要求的人脸图像，为所述人脸图像标记多个关键点，并将标记后的所述人脸图像外发。

第三方面，提供了一种用于脸部整形的装置，包括：

第一获取模块，用于获取待整形人员的人脸图像；

第二获取模块，用于根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像；

第三获取模块，用于获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中至少一张图像；

第一生成模块，用于根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像；

第二生成模块，用于根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

第三方面所述的该装置能够用于实现前述第一方面的用于脸部整形的方法。

第四方面，提供了一种用于脸部整形的用户端，包括：

提示模块，用于提示执行待整形人员的人脸数据的获取操作；

图像选择模块，用于在所述人脸数据中选择满足预设要求的人脸图像；

第一发送模块，用于外发所述人脸图像；

第一接收模块，用于接收多张待选图像，其中所述待选图像为根据所述人脸图像的多个关键点获取的；

第二发送模块，用于发送用户的选择信息，或者，用于发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

第二接收模块，用于接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的；

指令生成模块，用于对所述结果图像进行确认生成对所述结果图像的确认指令，或者，用于对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令；

第三发送模块，用于发送用户对所述结果图像的指令；

第三接收模块，用于接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

第四方面所述的该用户端能够用于实现前述第二方面的用于脸部整形的方法。

第五方面，提供了一种用于脸部整形的系统，包括：

第三方面所述的装置；以及第四方面所述的用户端；

其中，所述用户端将待整形人员的人脸图像发送至所述装置。

由此可见，本发明实施例可以基于待整形人员的人脸图像，生成用于整形的参考信息，既可以由待整形人员提前预览整形手术结果，又可以为医师提供进行整形手术的参考，从而能够大大减少医师与待整形人员之间的沟通成本，并且能够减小医师对自己经验的依赖性而降低手术失败率。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本发明实施例的电子设备的一个示意性框图；

图2是本发明实施例的用于脸部整形的方法的一个示意性流程图；

图3是本发明实施例的用于脸部整形的方法的又一个示意性流程图

图4是本发明实施例的用于脸部整形的方法的另一个示意性流程图；

图5是本发明实施例的用于脸部整形的装置的一个示意性框图；

图6是本发明实施例的用于脸部整形的用户端的一个示意性框图；

图7是本发明实施例的用于脸部整形的系统的一个示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以包括CPU 1021和GPU 1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。

本发明实施例中，美容师也可以称为医师，是指进行脸部整形手术的医师。参与整形者可以称为待整形人员，是指接受脸部整形手术的人。本发明实施例对此不限定。

图2是本发明实施例的用于脸部整形的方法的一个示意性流程图。图2所示的方法可以由服务器端执行，该方法包括：

S101，获取待整形人员的人脸图像。

示例性地，可以从用户端获取该待整形人员的人脸图像，其中，待整形人员的人脸图像可以是由用户端实时拍摄并上传的，和/或，待整形人员的人脸图像可以是由用户端在开启用户端的光源之后拍摄并上传的。可理解，该用户端具有图像采集装置，例如照相机或摄像机。待整形人员的人脸图像可以是由照相机拍摄到的静态图像，也可以是由摄像机拍摄到的视频中的一帧图像。

示例性地，如图3所示，服务器端202从用户端201接收待整形人员的人脸图像。其中，用户端201可以具有图像采集装置，且用户端201可以通过特定应用程序(Application，APP)或特定网页将待整形人员的人脸图像发送至服务器端202。也就是说，在S101中，服务器端202可以经由特定APP或特定网页从用户端201接收待整形人员的人脸图像。示例性地，用户端201可以为移动终端，例如可以是安装特定APP或登录特定网页的智能手机、膝上型计算机、平板电脑等等。

举例来说，在进行脸部整形之前，可以开启该用户端201上的特定APP或登录该用户端201上的特定网页，该特定APP或特定网页可以呈现拍摄界面。该界面提示用户将待整形人员的脸置于图像采集装置(如照相机或摄像机)的合适位置，提示用户当前的光照强度是否合适，提示用户当前该待整形人员的脸角度是否摆放正确等等。如果通过照相机拍摄图片，可以将拍摄的图像作为待整形人员的人脸图像；如果通过摄像机拍摄视频，可以自动地从该视频中选择一帧图像作为待整形的人脸图像。例如，可以从视频中随机选择一帧，或者，可以从视频中选择摆放位置、光照强度和脸角度等最好的一帧，作为待整形的人脸图像。进一步地，用户端201可以将该待整形人员的人脸图像直接上传至服务器端202；或者，用户端201可以在接收到用户的发送指令后，再将该待整形人员的人脸图像直接上传至服务器端202。例如，发送指令可以是在拍摄完成之后，用户点击在用户端201呈现的界面中“确认”按钮。其中，本发明实施例中的用户可以包括待整形人员和/或医师。

可选地，作为一种实现方式，该待整形人员的人脸图像可以包括已标记的多个关键点。举例来说，用户端201可以在待整形人员的人脸图像上将多个关键点进行标记，并将标记后的待整形人员的人脸图像发送至服务器端202。或者，用户端201可以在待整形人员的人脸图像上将多个关键点进行标记，并在接收到用户的发送指令后，将标记后的待整形人员的人脸图像发送至服务器端202。例如，关键点的数量可以为81个，即待整形人员的人脸图像可以包括已标记的81个关键点。

可选地，作为另一种实现方式，该待整形的人脸图像可以不包括已标记的多个关键点。

S102，根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像。

可选地，作为一种实现方式，如果S101接收的待整形的人脸图像包括已标记的多个关键点，则可以根据该已标记的多个关键点，获取与所述人脸图像匹配的多张待选图像。

可选地，作为另一种实现方式，如果S101接收的待整形的人脸图像不包括已标记的多个关键点，则在S102之前，还可以包括：为所述待整形的人脸图像标记多个关键点。

示例性地，在S102中，服务器端202可以根据待整形人员的人脸图像的多个关键点，从数据库中查找与该待整形人员的人脸图像相似的多张待选图像。作为一例，多张待选图像的数量可以是固定的。例如，可以利用该多个关键点，计算数据库中存储的图像与该待整形的人脸图像之间的相似度，并将相似度较大的N张图像作为多张待选图像，其中N是预先设定的正整数，如N＝10或N＝20。作为另一例，多张待选图像的数量可以不是固定的，针对当前待整形人员的待整形人员的人脸图像获取的多张待选图像的数量可以为N1，针对另一待整形人员的待整形人员的人脸图像获取的多张待选图像的数量可以为N2。例如，可以利用该多个关键点，计算数据库中存储的图像与该待整形的人脸图像之间的相似度，并将相似度大于预设的阈值的图像确定为多张待选图像。示例性地，本发明实施例中的多张待选图像可以是多张明星照片，例如，如果待整形人员为女性，可以从美女明星照片中找出多张待选图像；如果待整形人员为男性，可以从帅哥明星照片中找出待选图像；如果待整形人员为男性且希望整形后更接近女性，可以从美女明星照片中找出多张待选图像；等等。

进一步地，在S102之后，如图3所示，S301：服务器202可以将获取的匹配的多张待选图像发送至用户端201。示例性地，可以将多张待选图像呈现在用户端201的界面上，例如，呈现在特定APP或特定网页的界面。

S103，获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像。

示例性地，如图3所示，S302：用户可以在用户端201从多张待选图像中选择其中的至少一张图像，并在S103将该选择发送至服务器端202。具体地，用户在用户端201显示的多张待选图像中选择自己喜欢的一张或几张图像，用户端201基于用户选择的图像生成选择信息，选择信息可以包含以下至少一种信息：用户选择的图像本身、用户选择的图像的序列号、用户选择的图像的特征值。当然，选择信息也可以为其他的信息形式，本发明对此不作具体限定。随后用户可以通过点击用户端201上的“确认”按钮将该选择信息发送至服务器端202。

可选地，用户所能选择的至少一张图像的数量可以是预先设定的，例如用户只能选择不多于5张图像。

可选地，还接收用户的选择辅助信息，选择辅助信息为用户从多张待选图像中选择的至少一张图像的其他相关信息，例如，用户对选择的一张或多张图像的标注信息、用户进行选择操作的时间、用户进行选择操作的地点、用户对选取的每张图像的优先级设置等。

S104，根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像。

示例性地，S104可以包括：根据所述至少一张图像的多个关键点，生成候选图像；将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像，其中所述结果图像包括所述候选图像的脸型线。可选地，所述结果图像还可以包括在所述人脸图像的多个关键点中需要进行整形的关键点。

举例来说，如果用户选择的至少一张图像为一张图像，则将该一张图像作为候选图像。如果用户选择的至少一张图像多于一张图像，可以将该至少一张图像进行综合，得到该候选图像。例如，可以采用神经网络，根据至少一张图像的多个关键点，得到该候选图像。

举例来说，可以将候选图像的多个关键点与人脸图像的多个关键点进行逐一对比，确定需要在人脸图像的哪些关键点的部位进行整形才能变成候选图像。也就是说，结果图像可以通过候选图像的脸型线与待整形关键点部位示出人脸图像与候选图像之间的差别。

可选地，根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像。举例来说，如果用户选择的至少一张图像为多张图像，且选择辅助信息中用户对选取的每张图像进行了优先级设置，则将优先级高的图像设为高权重，优先级低的图像设为低权重，并对不同权重的图像进行综合，得到该结果图像。可以理解的是，由于用户对选择的多张图像进行了优先级设置，那么，得到的结果图像与高优先级图像的相似度会高于与低优先级图像的相似度，从而能够更好地满足用户的偏好。

进一步地，如图3所示，S303：服务器端202可以将该结果图像发送至用户端201，并呈现在用户端201的界面上。

S105，根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括待整形人员的人脸部位信息。

可选地，在S105之前，如图3所示，S304：用户在用户端201输入指令，并由用户端201将该指令发送至服务器端202。其中，所述指令可以为所述用户对所述结果图像的确认指令；或者，所述指令可以为所述用户对所述结果图像编辑之后的指令。

作为一例，如果待整形人员对结果图像包括的脸型线所勾勒的脸型满意，且医师与待整形人员对需整形的关键点均表示认可，那么，用户可以对该结果图形进行确认操作，生成确认指令，并将该确认指令发送至服务器端202。

作为另一例，如果待整形人员对结果图像包括的脸型线所勾勒的脸型不满意，可以对该脸型线进行编辑，这里的编辑可以包括微调等。如果医师认为完成需整形的关键点存在技术障碍或者如果待整形人员认为需整形的关键点的数量过多等，也可以对需整形的关键点进行编辑，这里的编辑可以包括删除或增加关键点、调整关键点的位置等。进一步地，在编辑之后，可以将编辑后的结果图像发送至服务器端202。

由此可见，通过这样的可视化操作，可以降低待整形人员与医师之间的沟通成本，大大缩短了前期的沟通时间。同时，待整形人员可以提前预览可能的手术结果，并且待整形人员可以进行一定程度的编辑而增加了自主性，缓解了待整形人员的焦虑感和不安全感，避免待整形人员对手术结果不满的情况，减少了医患纠纷。

进一步地，服务器端202可以根据指令生成参考信息。作为一例，可以根据确认指令，在结果图像的基础上生成参考图像。作为另一例，可以根据编辑指令，在编辑后的结果图像的基础上生成参考图像。此外，服务器端202也可以根据结果图像生成具体的参考信息，参考信息用来指示待整形人员人脸的哪些区域需要进行整形手术，以及应当采用何种整形手术方式。其中，参考信息可以包括待整形人员的人脸部位信息。示例性地，该待整形人员的人脸部位信息可以包括待整形的关键点信息，该待整形的关键点可以是待整形的人脸图像的多个关键点中的部分关键点。例如，对于需要瘦脸的用户，服务器端202可以根据结果图像确定待整形人员需要注射瘦脸针的若干个关键点，并确定每个关键点需要注射的药物剂量，并基于上述若干个关键点的序号以及每个关键点对应的药物剂量生成参考信息；对于需要隆鼻的用户，服务器端202可以根据结果图像确定待整形人员需要进行注射垫高的若干个关键点，并确定每个关键点需要注射的药物剂量，并基于上述若干个关键点的序号以及每个关键点对应的药物剂量生成参考信息。进一步地，该参考信息还可以包括待整形人员的人脸部位的整形手术的操作方法和/或注意事项等。由此可见，医师在进行整形手术时具有了直观的电子化的参照，而无需单纯依赖个人经验，这样能够保证手术的成功率。

图4是本发明实施例的用于脸部整形的方法的另一个示意性流程图。图4所示的方法可以由用户端执行，该方法包括：

S401，提示执行待整形人员的人脸数据的获取操作。

示例性地，可以开启该用户端201上的特定APP或登录该用户端201上的特定网页，该特定APP或特定网页可以呈现拍摄界面。该界面可以显示提示信息，该提示信息提示执行获取操作。例如，可以提示用户将待整形人员的脸置于图像采集装置(如照相机或摄像机)的合适位置，提示用户当前的光照强度是否合适，提示用户当前该待整形人员的脸角度是否摆放正确等等。这样，可以通过该图像采集装置采集到待整形人员的人脸数据。待整形人员的人脸数据可以是拍摄到的图像或视频。

S402，根据所述人脸数据获得满足预设要求的人脸图像并外发。

作为一例，S402可以包括：根据人脸数据获得满足预设要求的人脸图像，为所述人脸图像标记多个关键点，并将标记后的所述人脸图像外发。

示例性地，预设要求可以包括摆放位置、光照强度和脸角度中的至少一项。

举例来说，如果通过照相机拍摄图片，可以将拍摄的图像作为待整形人员的人脸图像；如果通过摄像机拍摄视频，可以自动地从该视频中选择一帧图像作为待整形人员的人脸图像。例如，可以从视频中随机选择一帧，或者，可以从视频中选择摆放位置、光照强度和脸角度等最好的一帧，作为待整形人员的人脸图像。

举例来说，为人脸图像所标记的多个关键点可以包括待整形位置的关键点，例如，眼角、眼皮、鼻翼、颧骨等。

进一步地，用户端201可以将该待整形的人脸图像直接上传至服务器端202；或者，用户端201可以在接收到用户的发送指令后，再将该待整形的人脸图像直接上传至服务器端202。例如，发送指令可以是在拍摄完成之后，用户点击在用户端201呈现的界面中“确认”按钮。

S403，接收多张待选图像，其中，所述待选图像为根据所述人脸图像的多个关键点获取的。

示例性地，服务器端202可以根据人脸图像的多个关键点，获取与该人脸图像匹配的多张待选图像。随后，服务器端202可以将多张待选图像发送至用户端201。也就是说，在S403中，用户端201可以从服务器端202接收该多张待选图像。

可理解，用户端201可以在其界面(如显示屏)上呈现该多张待选图像。

S404，发送用户的选择信息，或者，发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像。

示例性地，用户可以从多张待选图像选择其中的至少一张待选图像。用户端201基于用户选择的至少一张待选图像生成选择信息，选择信息可以包含以下至少一种信息：用户选择的图像本身、用户选择的图像的序列号、用户选择的图像的特征值。当然，选择信息也可以为其他的信息形式，本发明对此不作具体限定。

示例性地，用户还可以选择该至少一张待选图像的其他相关信息。例如，其他相关信息可以为：用户所选择的至少一张待选图像的标注信息、用户进行选择操作的时间、用户进行选择操作的地点、用户所选择的至少一张待选图像的优先级设置等。用户端201基于该其他相关信息生成选择辅助信息。例如，选择辅助信息为该其他相关信息。

可理解，随后，用户端201可以将该选择信息，或将选择信息和选择辅助信息发送至服务器端。

S405，接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的。

具体地，用户端201可以从服务器端202接收结果图像。结果图像是由服务器端202根据人脸图像的多个关键点以及至少一张图像的多个关键点所生成的。

可理解，可以在用户端201的界面呈现该结果图像。

S406，对所述结果图像进行确认生成对所述结果图像的确认指令，或者，对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令。

示例性地，可以根据用户对该结果图像的输入操作生成相应的指令。其中，用户的输入操作可以是确认操作，该指令为确认指令；或者，用户的输入操作可以是编辑操作和对编辑操作的确认操作，该指令为编辑之后的指令。

S407，发送用户对所述结果图像的指令。

其中，用户对所述结果图像的指令可以是根据用户对该结果图像的输入操作所生成的指令。

具体地，用户端201可以将根据用户对该结果图像的输入操作所生成的指令发送至服务器端202。

S408，接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

具体地，用户端201可以从服务器端202接收参考信息。该参考信息是由服务器端202根据用户对结果图像的指令所生成的。

应注意，图4中的步骤的具体实施可以参见前述图2或图3的实施例中的相关描述，为避免重复，这里不再赘述。另外，应注意，图3所示的流程图中只示出了部分步骤，可以结合图2和图4的步骤得出包括更多步骤的流程图，这里不再赘述。

由此可见，本发明实施例可以基于待整形人员的人脸图像，生成用于整形的参考信息，既可以由待整形人员提前预览整形手术结果，又可以为医师提供进行整形手术的参考，从而能够大大减少医师与待整形人员之间的沟通成本，并且能够减小医师对自己经验的依赖性而降低手术失败率。

图5是本发明实施例的用于脸部整形的装置的一个示意性框图。图5所示的装置50包括：第一获取模块501、第二获取模块502、第三获取模块503、第一生成模块504和第二生成模块505。

第一获取模块501，用于获取待整形人员的人脸图像；

第二获取模块502，用于根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像；

第三获取模块503，用于获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中至少一张图像；

第一生成模块504，用于根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像；

第二生成模块505，用于根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

示例性地，还包括接收模块，用于接收所述用户的选择辅助信息；

第一生成模块504可以具体用于：根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像。

示例性地，所述待整形的人脸图像可以包括已标记的多个关键点。

示例性地，还包括标记模块，可以用于：为所述待整形人员的人脸图像标记所述多个关键点。

示例性地，第一生成模块504可以包括第一生成子模块和第二生成子模块：

第一生成子模块，可以用于根据所述至少一张图像的多个关键点，生成候选图像；

第二生成子模块，可以用于将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像，其中所述结果图像包括所述候选图像的脸型线。

示例性地，所述结果图像还可以包括在所述人脸图像的多个关键点中需要进行整形的关键点。

示例性地，所述指令可以为所述用户对所述结果图像的确认指令；或者，所述指令可以为所述用户对所述结果图像编辑之后的指令。

示例性地，第一获取模块501可以用于：从用户端获取所述待整形人员的人脸图像。

示例性地，该装置50的接收模块还可以用于接收指令。

示例性地，该装置50还可以包括发送模块，用于将第二获取模块502获取的多张待选图像发送至用户端；用于将第一生成模块504生成的结果图像发送至用户端；以及用于将第二生成模块505生成的参考信息发送至用户端。

图5所示的装置50能够用于实现前述图2至图4所示的用于脸部整形的方法中由服务器端执行的步骤。

另外，本发明实施例还提供了另一种用于脸部整形的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2至图4所示的用于脸部整形的方法中由服务器端执行的步骤。

另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2至图4所示的用于脸部整形的方法中由服务器端执行的步骤。例如，该计算机存储介质为计算机可读存储介质。

另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图5所示的装置50。该电子设备可以实现前述图2至图4所示的用于脸部整形的方法中由服务器端执行的步骤。

图6是本发明实施例的用于脸部整形的用户端的一个示意性框图。图6所示的用户端60包括：提示模块601、图像选择模块602、第一发送模块603、第一接收模块604、第二发送模块605、第二接收模块606、指令生成模块607、第三发送模块608和第三接收模块609。

提示模块601，用于提示执行待整形人员的人脸数据的获取操作；

图像选择模块602，用于在所述人脸数据中选择满足预设要求的人脸图像；

第一发送模块603，用于外发所述人脸图像；

第一接收模块604，用于接收多张待选图像，其中所述待选图像为根据所述人脸图像的多个关键点获取的；

第二发送模块605，用于发送用户的选择信息，或者，用于发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

第二接收模块606，用于接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的；

指令生成模块607，用于对所述结果图像进行确认生成对所述结果图像的确认指令，或者，用于对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令；

第三发送模块608，用于发送用户对所述结果图像的指令；

第三接收模块609，用于接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

示例性地，第一发送模块603，可以包括：

标记子模块，用于为所述人脸图像标记多个关键点；

发送子模块，用于将标记后的所述人脸图像外发。

图6所示的用户端60能够用于实现前述图2至图4所示的用于脸部整形的方法中由用户端执行的步骤。

另外，本发明实施例还提供了另一种用于脸部整形的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2至图4所示的用于脸部整形的方法中由用户端执行的步骤。

另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2至图4所示的用于脸部整形的方法中由用户端执行的步骤。例如，该计算机存储介质为计算机可读存储介质。

另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图6所示的用户端60。该电子设备可以实现前述图2至图4所示的用于脸部整形的方法中由用户端执行的步骤。

另外，如图7所示，本发明实施例还提供了一种用于脸部整形的系统，该系统70包括装置701和用户端702。装置701可以为图5所示的装置50，用户端702可以为图6所示的用户端60。该用户端702可以将待整形人员的人脸图像发送至装置701。该装置701可以用于实现前述图2至图4所示的用于脸部整形的方法中由服务器端执行的步骤；该用户端702可以用于实现前述图2至图4所示的用于脸部整形的方法中由用户端执行的步骤。

可选的一种具体实施方式为，用户端702可以为独立于装置701的具有图像采集装置的移动终端，例如智能手机、平板电脑、个人电脑、安防控制端等，图像采集装置可以为摄像头或照相机等。用户端702可以为独立于装置701能够使本实施例提供的系统根据需求满足多种应用场景，同时，装置701能够同时处理(并行处理)多个不同的移动终端(多个不同的用户端702)上传的待整形人员的人脸图像，有效提升装置701的工作效率。

可选的另一种具体实施方式为，用户端702与装置701为一体结构，防止待整形人员的人脸图像在用户端702上传过程中被截获而造成个人信息泄露，并且能够避免因网络、供电、自然环境等因素造成的传输延迟，提升系统的可靠性。

由此可见，本发明实施例可以基于待整形人员的人脸图像，生成用于整形的参考信息，既可以由待整形人员提前预览整形手术结果，又可以为医师提供进行整形手术的参考，从而能够大大减少医师与待整形人员之间的沟通成本，并且能够减小医师对自己经验的依赖性而降低手术失败率。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (25)

1.一种用于脸部整形的方法，其特征在于，包括：

获取待整形人员的人脸图像；

根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像；

获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像；

根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

2.如权利要求1所述的方法，其特征在于，在获取与所述人脸图像匹配的多张待选图像之后，还包括：接收所述用户的选择辅助信息，

所述根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像，包括：

根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像。

3.如权利要求2所述的方法，其特征在于，如果所述用户选择的所述至少一张图像为多张图像，且所述选择辅助信息中所述用户对选取的每张图像进行了优先级设置，

根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像，包括：

将优先级高的图像设为高权重，将优先级低的图像设为低权重，并对不同权重的图像进行综合，得到所述结果图像。

4.如权利要求1所述的方法，其特征在于，所述待整形人员的人脸图像包括已标记的多个关键点。

5.如权利要求1所述的方法，其特征在于，在所述根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像之前，还包括：

为所述待整形人员的人脸图像标记所述多个关键点。

6.如权利要求1所述的方法，其特征在于，所述根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像，包括：

若所述用户选择的所述至少一张图像多于一张图像，则将所述至少一张图像进行综合，得到候选图像；

将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像。

7.如权利要求1所述的方法，其特征在于，所述根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像，包括：

根据所述至少一张图像的多个关键点，生成候选图像；

将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像，其中所述结果图像包括所述候选图像的脸型线。

8.如权利要求7所述的方法，其特征在于，所述结果图像还包括在所述人脸图像的多个关键点中需要进行整形的关键点。

9.如权利要求1所述的方法，其特征在于，所述指令为所述用户对所述结果图像的确认指令；或者，所述指令为所述用户对所述结果图像编辑之后的指令。

10.如权利要求1至9任一项所述的方法，其特征在于，所述获取待整形人员的人脸图像，包括：

从用户端获取所述待整形人员的人脸图像。

11.一种用于脸部整形的方法，其特征在于，包括：

提示执行待整形人员的人脸数据的获取操作；

根据所述人脸数据获得满足预设要求的人脸图像并外发；

接收多张待选图像，其中，所述待选图像为根据所述人脸图像的多个关键点获取的；

发送用户的选择信息，或者，发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的；

对所述结果图像进行确认生成对所述结果图像的确认指令，或者，对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令；

发送用户对所述结果图像的指令；

接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

12.如权利要求11所述的方法，其特征在于，所述根据人脸数据获得满足预设要求的人脸图像并外发，包括：

根据人脸数据获得满足预设要求的人脸图像，为所述人脸图像标记多个关键点，并将标记后的所述人脸图像外发。

13.一种用于脸部整形的装置，其特征在于，包括：

第一获取模块，用于获取待整形人员的人脸图像；

第二获取模块，用于根据所述人脸图像的多个关键点，获取与所述人脸图像匹配的多张待选图像；

第三获取模块，用于获取用户的选择信息，所述选择信息表示所述用户选择的所述多张待选图像中至少一张图像；

第一生成模块，用于根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点，生成结果图像；

第二生成模块，用于根据所述用户对所述结果图像的指令，生成用于整形的参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

14.如权利要求13所述的装置，其特征在于，还包括接收模块，用于接收所述用户的选择辅助信息；

所述第一生成模块，具体用于：根据所述人脸图像的多个关键点、所述选择辅助信息以及所述至少一张图像的多个关键点，生成结果图像。

15.如权利要求14所述的装置，其特征在于，如果所述用户选择的所述至少一张图像为多张图像，且所述选择辅助信息中所述用户对选取的每张图像进行了优先级设置，

所述第一生成模块，具体用于：将优先级高的图像设为高权重，将优先级低的图像设为低权重，并对不同权重的图像进行综合，得到所述结果图像。

16.如权利要求13所述的装置，其特征在于，所述待整形人员的人脸图像包括已标记的多个关键点。

17.如权利要求13所述的装置，其特征在于，还包括标记模块，用于：

为所述待整形人员的人脸图像标记所述多个关键点。

18.如权利要求13所述的装置，其特征在于，所述第一生成模块，包括：

第一生成子模块，用于若所述用户选择的所述至少一张图像多于一张图像，则将所述至少一张图像进行综合，得到候选图像；

第二生成子模块，用于将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像。

19.如权利要求13所述的装置，其特征在于，所述第一生成模块，包括：

第一生成子模块，用于根据所述至少一张图像的多个关键点，生成候选图像；

第二生成子模块，用于将所述候选图像的多个关键点与所述人脸图像的多个关键点进行对比，生成所述结果图像，其中所述结果图像包括所述候选图像的脸型线。

20.如权利要求19所述的装置，其特征在于，所述结果图像还包括在所述人脸图像的多个关键点中需要进行整形的关键点。

21.如权利要求13所述的装置，其特征在于，所述指令为所述用户对所述结果图像的确认指令；或者，所述指令为所述用户对所述结果图像编辑之后的指令。

22.如权利要求13至21任一项所述的装置，其特征在于，所述第一获取模块，具体用于：从用户端获取所述待整形人员的人脸图像。

23.一种用于脸部整形的用户端，其特征在于，包括：

提示模块，用于提示执行待整形人员的人脸数据的获取操作；

图像选择模块，用于在所述人脸数据中选择满足预设要求的人脸图像；

第一发送模块，用于外发所述人脸图像；

第一接收模块，用于接收多张待选图像，其中所述待选图像为根据所述人脸图像的多个关键点获取的；

第二发送模块，用于发送用户的选择信息，或者，用于发送用户的选择信息和选择辅助信息，所述选择信息表示所述用户选择的所述多张待选图像中的至少一张图像；

第二接收模块，用于接收结果图像，所述结果图像为根据所述人脸图像的多个关键点以及所述至少一张图像的多个关键点生成的；

指令生成模块，用于对所述结果图像进行确认生成对所述结果图像的确认指令，或者，用于对所述结果图像进行图像编辑，生成对所述结果图像编辑之后的指令；

第三发送模块，用于发送用户对所述结果图像的指令；

第三接收模块，用于接收参考信息，所述参考信息包括所述待整形人员的人脸部位信息。

24.如权利要求23所述的用户端，其特征在于，所述第一发送模块，包括：

标记子模块，用于为所述人脸图像标记多个关键点；

发送子模块，用于将标记后的所述人脸图像外发。

25.一种用于脸部整形的系统，其特征在于，包括：

权利要求13至22任一项所述的装置；以及

权利要求23或24所述的用户端；

其中，所述用户端将待整形人员的人脸图像发送至所述装置。

Images