CN106204417A - 利用网格变形的虚拟整容手术方法及系统 - Google Patents

Abstract

本发明涉及利用网格变形的虚拟整容手术方法及系统，涉及利用网格变形使图像变形，从而可自由地对使用人员所希望的部位进行整容的虚拟整容手术方法及系统。

Description

利用网格变形的虚拟整容手术方法及系统

技术领域

本发明涉及虚拟整容手术方法及系统，涉及利用网格变形使图像变形，从而可自由地对使用人员所希望的部位进行整容的虚拟整容手术方法及系统。

背景技术

当今，整容手术成为克服自卑感和恢复自信感的方法，甚至占据了以至于影响人际关系及社会性的重要地位，虽然整容存在切开、插入、注入等的多种手术方法，但是存在需要进行手术和因整容医生未掌握患者所希望的手术的要点而可能导致整容失败的问题，并且由于存在在访问整容外科进行咨询之前无法掌握整容的可行性程度的人或无法掌握自身所希望的整容面部的人，因此存在不愿访问整容外科的问题。

为了解决如上所述的问题，针对使用人员利用智能手机等终端以所希望的形态进行虚拟的整容手术的应用等程序进行开发。

韩国登录特许第10-0764130号(现有文献1)具有预先制造使用人员所希望的整容风格的整容滤波器来进行整容的特征。

但是，在现有文献1的技术存在如下缺陷，即，当进行虚拟整容时，因图像的畸变而可以感觉到异质感，并且无法对在整容之后所输出的结果物进行美感的比较。

现有技术文献

现有文献1：韩国登录特许第10-0764130号

发明内容

为了解决如上所述的问题，本发明用于提供可以在面部图像中自动提取下巴、眼睛、鼻子及嘴的轮廓线的虚拟整容方法及系统。

并且，为了解决如上所述的问题，本发明用于提供当利用网格变形使图像发生变形时，获得不会感到异质感的输出物的虚拟整容方法及系统。

另一方面，为了解决如上所述的问题，本发明用于提供可将经过整容的图像与预先存储的美人型面部进行比较的虚拟整容方法及系统。

进而，为了解决如上所述的问题，本发明提供能够以立体的方式表现平面图像的虚拟整容方法及系统。

为了实现上述目的，本发明提供如下步骤的利用网格变形的虚拟整容手术方法，即，上述利用网格变形的虚拟整容手术方法包括：在拍摄有面部的图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标的步骤；在上述图像中生成包含上述轮廓坐标、且以隔开规定间隔的方式排列的多个网格点的步骤；利用上述网格点生成网格组的步骤；在上述网格组利用网格变形对上述图像进行整容的步骤；以及对上述完成整容的图像进行输出的步骤。

根据本发明，由于在面部图像中自动提取眼睛、鼻子、嘴及下巴的轮廓，因此使用人员可方便快捷地进行虚拟整容。

并且，根据本发明，上述虚拟整容手术方法还包括在面部图像中对眼睛、鼻子、嘴及下巴的坐标及轮廓线进行微调的步骤，因此可更精细地进行整容。

另一方面，根据本发明，由于上述虚拟整容手术方法还包括在面部图像中对眼睛、鼻子、嘴及下巴的坐标及轮廓线进行微调的步骤，因此可对从不清楚的面部图像中提取的坐标及轮廓线进行再调整，从而具有可以对任何图像进行虚拟整容的特征。

进而，根据本发明，由于通过由三个网格点形成的多个网格的集合进行网格变形，因此具有可输出更细腻的图像、且可进行更细微的整容的特征。

进而，根据本发明，能够以与美人的比例进行对照的方式进行整容，或者可对输出物与美人的比例进行对照，因此可更方便地对整容进行引导，从而具有便利性特征。

进而，根据本发明，可对二维图像进行三维化处理，并以立体的方式输出，因此可进行更精细的修改以及可确认结果。

附图说明

图1为表示本发明一实施例的利用网格变形的虚拟整容手术系统的结构图。

图2为表示本发明一实施例的利用网格变形的虚拟整容手术方法的框图。

图3为表示本发明一实施例的生成利用网格变形的虚拟整容手术方法的轮廓坐标的顺序的框图。

图4至图15为按各步骤表示本发明一实施例的利用网格变形的虚拟整容手术方法的图。

附图中，各标号所代表的部件列表如下：

10：终端

11：处理器

12：存储部

13：输出部

14：输入部

15：通信部

20：服务器。

具体实施方式

以下，参照附图，详细说明本发明的实施例。在此过程中，图中所示的结构要素的大小或形状等为了说明的明确性和便于说明而可以有所夸张地示出。并且，考虑到本发明的结构及作用而特别定义的术语可根据使用人员、操作人员的意图或惯例而发生改变。这种术语应根据本说明书全文内容来下定义。而且，本发明的思想并不局限于所提出的实施例，在相同思想的范围内，本发明所属技术领域的普通技术人员可以容易地实施其他实施例，但是这些实施例也应属于本发明的范围内。

参照图2及图3，本发明一实施例的利用网格变形的虚拟整容手术方法大致包括：步骤S100，在面部图像中提取作为面部的各结构要素的眼睛、鼻子、嘴及下巴的轮廓，并生成轮廓坐标；步骤110，利用轮廓坐标使面部图像包含轮廓坐标，并生成以格子形状隔开规定间隔的方式排列的网格点；步骤S120，利用网格点生成网格组；步骤130，以移动网格点的方式一同扭曲上述网格点和图像，从而进行使图像变形的网格变形；以及输出所变形的图像的步骤。

并且，在面部图像中生成眼睛、鼻子、嘴及下巴的轮廓坐标的步骤S100可包括：步骤S200，利用人脸检测(Face Detector)运算符，在图像中提取瞳孔的基准坐标；步骤S210，利用所提取的瞳孔的基准坐标提取鼻子、嘴及下巴的基准坐标；步骤S230，基于所提取的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线；以及步骤S240，利用所生成的眼睛、鼻子、嘴及下巴的轮廓线生成位于轮廓线上的至少一个轮廓坐标。此时，为了更准确地进行整容，上述虚拟整容手术方法还可包括在各步骤中使用人员以使眼睛、鼻子、嘴及下巴的实际位置与实际面部图像的眼睛、鼻子、嘴及下巴的位置相一致的方式直接进行微调的步骤S220、步骤S250。详细地，在提取眼睛、鼻子、嘴及下巴的基准坐标的步骤S210之后，还可包括以使眼睛、鼻子、嘴及下巴的实际位置与实际图像的眼睛、鼻子、嘴及下巴的位置相一致的方式对瞳孔、鼻子、嘴及下巴的基准坐标进行微调的步骤S220，在提取眼睛、鼻子、嘴及下巴的轮廓坐标的步骤S240之后，还可包括以使眼睛、鼻子、嘴及下巴的轮廓坐标位于面部图像的实际眼睛、鼻子、嘴及下巴的位置的方式进行微调的步骤S250。

另一方面，利用网格点生成网格组的步骤可包括连接三个网格点生成三角形的网格，并生成由三角形的网格形成的网格组的步骤。

然后，在网格组利用网格变形对图像进行整容的步骤中利用如下的网格变形，即，移动轮廓坐标，使得移动的轮廓坐标与面部图像一同移动，从而使图像扭曲。

并且，在网格组利用网格变形对图像进行整容的步骤S130和对完成整容的图像进行输出的步骤可包括步骤S150，上述步骤S150可通过将图像的眼睛、鼻子、嘴及下巴的比例与从美人型面部提取的黄金比例进行比较，从而进行更有效的虚拟整容。

另一方面，利用网格变形向网格组进行输出的步骤可包括立体输出步骤S170，上述立体输出步骤S170对完成整容的二维图像进行三维化处理，从而以可旋转规定的角度的方式进行输出。

参考图1，本发明的终端10包括处理器11、存储部12、输出部13及输入部14，处理器11是指执行各步骤的运算装置，输出部13及输入部14可以分别设置，但也可以与智能终端一同以触摸屏的方式设置。

处理器11在面部图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标，在面部图像包含廓坐标，生成以隔开规定间隔的方式排列的网格点，利用网格点生成网格组，在网格点利用网格变形使面部图像变形，并向输出部输出完成变形的图像。

作为一例，适用于本发明的处理器11可以为中央处理器(CPU，Central Processing Unit)、电子运算处理器(AP，arithmetic Processor)及图形处理器(GPU，Graphics Processing Unit)等的处理装置。

输出部13表示处理器11所输出的图像。

输入部14为接收微调值的单元，处理器11以所接收的微调值为基础执行微调。

为了执行各步骤，而在存储部12存储所需要的信息，作为一例，存储如下的信息：在基于所提取的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标的步骤S210中所使用的普通人的瞳孔、鼻子、嘴及下巴的位置比例；在基于所提取的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线的步骤S230中所使用的普通人的瞳孔、鼻子、嘴及下巴的大小比例；在网格组利用网格变形对图像进行整容的步骤S130和对完成整容的图像进行输出的步骤中的美人型面部的眼睛、鼻子、嘴及下巴的相对比例；以及在以立体的方式对角度、坐标及完成整容的图像进行输出的立体输出步骤S150中所使用的与网格点的上、下、左、右的各方向相对应的固有的移动加权值。

此时，举例说明以预先存储于终端的存储部的方式使用针对普通人的位置比例、大小比例及美人型面部的相对比例、角度及坐标及移动加权值的信息的过程，但是并不局限于必须存储于终端的存储部的方式，还可以在终端设置通信部15，从而通过与外部的服务器进行有线和无线通信来收集存储于服务器的信息，由此执行各步骤，而且上述方式也应属于本发明。因此，通信部15在存储部12存储预先存储于服务器的面部图像、普通瞳孔、鼻子、嘴及下巴的位置比例、大小比例及美人型面部的眼睛、鼻子、嘴及下巴的相对比例、角度及坐标。以下，按各结构及步骤进行详细说明。

本发明一实施例的利用网格变形的虚拟整容手术方法首先执行在拍摄有面部的图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标的步骤。在图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标的步骤，其详细步骤如下。

首先，执行如下的步骤，即，在拍摄有面部的图像中生成瞳孔的基准坐标的步骤S200；基于所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标的步骤S210；基于所生成的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线的步骤S230；以及生成位于眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标的步骤S240。参照附图，按各步骤进行如下的详细的说明。

参考图5，在生成眼睛、鼻子、嘴及下巴的轮廓坐标的步骤S100中，首先执行在面部图像中生成瞳孔的基准坐标的步骤S200，详细地，利用人脸检测运算符，在面部图像中生成瞳孔的坐标，并在所提取的瞳孔的坐标生成眼睛的基准坐标，其中，基准坐标是指输入有位置坐标的坐标，上述位置坐标成为在以后步骤中所要生成的轮廓线的基准，在以后步骤中对上述位置坐标进行具体的说明。另一方面，人脸检测作为应用程序设计接口(API，Application Programming interface)，应用程序设计接口是指用于操作系统及应用程序之间的通信的语言或消息。详细地，人脸检测作为由谷歌(google)公司提供的内置于安卓平台的应用程序设计接口的级别(class)，具有在图像中识别瞳孔并进行提取的功能。有关人脸检测的应用程序设计接口的源码的例子如表1。

表1

其中，private EyePose findEyeMidPoint(Bitmap face)为用于提取瞳孔的运算符，FaceDetector.Face[]faces＝new FaceDetector.Face[1]；为用于对可最大限度识别的面部的数量进行设置的指令。并且，count＝fd.findFaces(rgb565,faces)；为用于执行面部识别功能的指令，faces[i].getMidPoint(midpoint)；为用于生成一瞳孔与另一瞳孔的中心点的指令，eye.Distance＝faces[i].eyesDistance()；为用于计算一瞳孔与另一瞳孔之间的距离的指令。

参考图6，如上所述，在面部图像中利用人脸检测提取瞳孔的坐标，并生成瞳孔的基准坐标后，执行基于瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标的步骤S210，调出预先存储于存储部或者存储于服务器的普通人的瞳孔、鼻子、嘴及下巴的平均位置比例，并将其与瞳孔的基准坐标进行对照，从而在面部图像中的与普通人的瞳孔、鼻子、嘴及下巴的平均位置比例相应的位置生成鼻子、嘴及下巴的基准坐标。因此，由于使用人员以对面部图像和预先存储的普通人的瞳孔、鼻子、嘴及下巴的平均位置比例进行比较的方式生成鼻子、嘴及下巴的基准坐标，因此可在与面部图像的实际鼻子、嘴及下巴的位置不同的坐标生成鼻子、嘴及下巴的基准坐标。

参照图7及图8，然后，基于瞳孔、鼻子、嘴及下巴的基准坐标，生成眼睛、鼻子、嘴及下巴的轮廓线(步骤S230)，但之前，可执行以使所生成的基准坐标位于面部图像的实际眼睛、鼻子、嘴及下巴的位置的方式进行微调的步骤S220。详细地，由于瞳孔、鼻子、嘴及下巴的基准坐标基于利用人脸检测所提取的瞳孔的基准坐标，并以与普通人的鼻子、嘴及下巴的平均位置比例进行对照的方式生成鼻子、嘴及下巴的基准坐标，因此，可以对因低画质图像或灰暗的图像而导致人脸检测运算符运算错误的瞳孔进行跟踪，并且，由于面部图像的鼻子、嘴及下巴的位置可能与预先存储的鼻子、嘴及下巴的平均位置互不相同，因此可执行以使轮廓坐标位于实际面部图像的眼睛、鼻子、嘴及下巴的方式进行微调的步骤S220。因此，当实际图像的眼睛、鼻子、嘴及下巴与眼睛、鼻子、嘴及下巴的基准坐标一致时，可省略上述微调步骤S220。

以利用跟踪球(Track ball)移动及输入基准坐标为例对作为移动基准坐标的方法进行了说明，但是可使用拖拽(drag and drop)坐标或者直接输入坐标等多种移动方法，而且这些方法也应属于本发明。

然后，若参照图9，则可观察到基于瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线，而此为以对所提取的瞳孔、鼻子、嘴及下巴的基准坐标与预先存储于终端的存储部或服务器的大小比例进行对照的方式生成眼睛、鼻子、嘴及下巴的轮廓线的步骤(步骤S230)。详细地，预先存储的大小比例中存储有大小比例信息，上述大小比例信息为眼睛、鼻子、嘴及下巴所具有的针对各个大小及眼睛、鼻子、嘴及下巴之间的距离的信息，通过将生成于面部图像的瞳孔、鼻子、嘴及下巴的基准坐标与相对应的大小比例进行对照，从而生成轮廓线。若更详细地举例进行说明，其原理如下，即，当位于双眼的眼睛的基准坐标的两个点之间距离为20时，双眼间的距离为10，若将眼睛的大小存储为1的大小比例信息进行对照并代入，则由于双眼间的距离的差异为2倍，因此以眼睛的大小乘2的方式进行计算。因此，由于眼睛大小为2，因此生成具有2的大小的轮廓线。

然后，参照如9，基于通过上述过程在面部图像中生成的轮廓线，生成位于轮廓线上的至少一个轮廓坐标(步骤S240)。详细说明如下，位于轮廓线上的至少一个轮廓坐标作为用于使用在后述的步骤S240中通过移动轮廓坐标使图像扭曲(整容)的网格变形的点，轮廓坐标位于轮廓线上。并且，能够以根据使用人员的预先存储的设定值更改上述轮廊坐标的数量的方式生成位于轮廓线上的轮廓坐标。举例说明如下，若使用人员输入在眼睛上生成六个轮廓坐标且在鼻子上生成十个轮廓坐标的设定值，则将轮廓线的一端与末端相连接的眼睛划分为六等份，从而生成六个轮廓坐标，而输入有十个轮廓坐标的鼻子的情况下，分别在轮廓线的一端及另一端生成一个轮廓坐标，其余八个轮廓坐标以隔开规定间隔来位于轮廓线上的方式生成。此时，以预先输入轮廊坐标的数量的方式生成位于轮廓线上的轮廓坐标为例进行了说明，但是不仅是数量，能够以预先设置轮廓坐标之间的距离的方式生成轮廓坐标，而且这种方式也属于本发明。

另一方面，虽然分为两个步骤对基于所生成的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线的步骤S230及生成位于眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标的步骤S240进行了说明，但是两个步骤可同时进行。即，可同时进行生成轮廓线的步骤及生成位于所生成的轮廓线上的轮廓坐标的步骤，而且上述内容也属于本发明。

参照图10，在通过如上所述的步骤生成位于眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标(步骤S240)之后，还可进行以使轮廓坐标位于图像的实际眼睛、鼻子、嘴及下巴的轮廓线上的方式进行微调的步骤(步骤S250)。详细地，轮廓坐标位于轮廓线上，并且如上所述，由于轮廓线是由使用人员以预先存储于存储部的人的眼睛、鼻子、嘴及下巴的平均大小比例为基础进行对照及生成的，因此所生成的轮廓线可能与面部图像的实际眼睛、鼻子、嘴及下巴的轮廓线不同，为了解决上述问题，本发明进行以使轮廓线及轮廓坐标位于图像的实际眼睛、鼻子、嘴及下巴的轮廓线上的方式进行微调的步骤S250。并且，在对轮廓坐标进行微调的步骤中，当所生成的如上所述的轮廓坐标及轮廓线与面部图像的实际眼睛、鼻子、嘴及下巴的轮廓线相一致时，可省略相应的微调步骤。

此时，以利用跟踪球移动及输入基准坐标的方法为例，对作为移动轮廓坐标的方法进行了说明，但是可使用拖拽坐标或者直接输入坐标等多种移动方法，而且这些方法也属于本发明。

到此为止是针对在面部图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标的步骤的说明。

然后，在对图像进行变形之前利用网格变形生成网格及网格组的步骤作为由处理器执行的作业，由于不会向使用人员输出额外的接口及画面，因此省略对其的附图。

参照图1，通过如上所述的步骤生成轮廓坐标(步骤S100)之后，进行如下的步骤S110，即，使面部图像包含轮廓坐标，并生成以隔开规定间隔的方式排列的多个网格点。详细地，生成网格点的步骤作为后述的生成网格组的步骤的准备步骤，上述网格组用于利用网格变形对图像进行变形，网格点以隔开规定间隔的点格子形状排列而成，网格点包含轮廓坐标。网格点可根据由使用人员预先设置的设定值来生成。即，可根据使用人员预先设置的距离、数量及坐标等条件生成。

然后，进行利用所生成的网格点生成网格组的步骤S120，利用网格点生成网格组的步骤120还包括生成以网格点为顶点的网格的步骤。详细地，网格可以设置为以连接三个网格点的方式生成的三角形的网格。在普通网格变形中所使用的网格组由四角形的网格组成的网格组形成，但本发明的网格由连接三个网格点的三角形网格形成。虽然本发明中以网格由连接三个网格点的三角形网格生成的情况为例进行了说明，但并不局限于连接三个网格点的三角形的网格，可由如下多种形态的网格的集合形成，即，由四个网格点形成的四角形网格、由五个网格点形成的五角形网格等，而且上述内容也属于本发明。但是，如本发明所述，当由连接三个网格点的三角形网格的集合生成时，具有相对于现有的四角形网格更清晰、可进行精细的操作、可获得细腻的输出物的特征。

然后，参照图11，进行在上述步骤中所生成的网格组中利用网格变形使图像发生变形的步骤(步骤S130)，详细地，在上述步骤S130中，所生成的网格组由包含轮廓坐标的网格点生成，通过将轮廓坐标移动至相当于使用人员所希望的坐标位置，从而对图像进行扭曲和变形。在本发明中，由于对由三角形的网格形成的网格组进行网格变形，因此，相对于以往对呈四角形的网格组进行网格变形的情况，本发明具有更清晰、可进行精细的操作、可获得细腻的输出物的特征。尤其，当对由三角形的网格形成的网格组进行网格变形时，相对于对四角形的网格进行网格变形的方法，以人的面部图像为对象进行网格变形的本发明具有其效果更优秀的特征。

其中，网格变形是指在图像中将某一点选定为控制点，并通过移动控制点，从而生成新图像的方式。作为为了解决初期望远镜中所输出的扭曲的影像而开发的技术，上述网格变形为主要应用于电影等多种特殊效果的技术。详细地，网格变形的原理在于，根据预先指定的位置转换函数Ux(x，y)及Uy(x，y)，将位于图像的x及y的坐标值的像素移动至图像(Image)(Ux(x，y)，Uy(x，y))，从而使图像发生变形。换一种方式说明网格变形，在图像中将P点选定为控制点，并使P点向P'点移动，由此，构成图像A的网格的形状发生改变，即，对具有P控制点的源图像A的各网格进行仿射变换，从而使上述源图像A变换为具有P'控制点的的新图像A'。由于网格变形为公知技术，因此省略对其的详细说明。

并且，在应用网格变形的方法中，通过移动轮廓坐标来进行网格变形，虽然以利用跟踪球来移动及输入轮廓坐标为例进行了说明，但是可以使用拖拽坐标或者直接输入坐标等多种移动方法，而且上述内容也属于本发明。

可通过插值法(interpolation)进行针对因网格变形而变形的图像的后处理步骤。图像插值法利用双线性滤波器，用于解决因所变形的图像的像素(纹理元素(texel))的降低而感到的异质感，对任意纹理元素和向上述任意纹理元素的四个方向与其相邻的多个纹理元素的中心点实施线性插值法，从而减少异质感，进而使图像显得细腻。详细地，当生成和变换覆盖纹理的图形时，存储有纹理的信息并不按原样地进行输出。若放大及缩小纹理或者改变视点，则使纹理上的像素(纹理元素)突出显示。双线性滤波器通过对纹理上的任意纹理元素、向纹理元素的四个方向相邻的纹理元素的中心点实施线性插值法，使纹理在任何情况下也能够显得细腻。

作为一例，在以下方程式中，uk及vk为纹理的坐标，k为点，k表示颜色。无脚注的值表示像素的点，分别具有脚注0、1、2、3的值表示与各个像素相邻的上、下、左、右的纹理元素，假设纹理为正四角形位图(bit map)，

数学式1

v_1＝v_0

v_2＝v_3

u_1＝u_3

u_2＝u_0

v_3-v_0＝u_3-u_0＝w

则上述数学式1的公式全部为真(true)。若对下一个公式下如下定义，

数学式2

u＝{u-u_0}/{w}

v＝{v-v_0}/{w}

则如数学式2，可对插值法方程式进行简化。

数学式3

y_a＝y_0+(y_1-y_0)U

y_b＝y_2+(y_3-y_2)U

y＝y_a+(y_b-y_a)V

然后，若结合数学式3的公式，则如同下述数学式4。

数学式4

y＝y_0+(y_1-y_0)U+(y_2-y_0)V+(y_3-y_2-y_1+y_0)UV

或者，若以另一种方式表示，则如同数学式5。

数学式5

y＝y_0(1-U)(1-V)+y_1U(1-V)+y_2(1-U)V+y_3U V

另一方面，参照图11，在以利用网格变形使面部图像发生变形的方式进行整容的步骤S130中，还可包括在面部图像的眼睛中生成双眼皮的步骤。详细地，还可包括在眼睛的上方部分的双眼皮所处的坐标沿着双眼皮线条生成线的步骤。当生成双眼皮时，如上所述，虽然以在双眼皮所处的坐标生成线来生成双眼皮为例进行了说明，但是还存在以利用网格变形的方式在双眼皮所处的坐标生成双眼皮的方法，而且这种方法也属于本发明。

参照图12，在通过如上所述的步骤对面部图像进行整容后，进行通过终端的输出部输出完成整容的图像的步骤。可分为三种方法输出完成整容的图像的步骤，作为输出完成整容的图像的三种方法，存在及时按原样向输出部输出完成整容的图像的方法、以立体的方式输出完成整容的图像的立体输出方法S160、S170，以及与具有美人型面部的黄金比例一同输出完成整容的图像并进行比较的方法S140、S150。以下，对三种输出方法进行详细的说明。

通过网格变形对图像进行整容后，基本上通过输出部以无额外的加工的方式输出完成整容的图像。之后可分为，使用人员选择性地对上述图像和黄金比例进行比较的步骤S150，或者以立体的方式输出上述图像的立体输出步骤S170。

参照图13，黄金比例步骤包括步骤S140及步骤S150，上述步骤S140通过提取完成整容的图像的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标之间的比例及坐标，并进行输出，上述步骤S150通过向所提取的比例及坐标输出黄金比例，从而进行比较。详细地说明如下，在对图像的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标之间的相对比例及坐标进行输出的步骤S140中，通过提取完成整容的图像的眼睛、鼻子、嘴及下巴之间的距离及相对比例，以及眼睛、鼻子、嘴及下巴的相对比例及大小，从而向完成整容的图像上输出数值及引导线(步骤S150)，由此，可知完成整容的图像的眼睛、鼻子、嘴及下巴的相对比例及大小。此时，作为当检测相对比例及大小时成为基准的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标，它的相对比例及大小以在多个轮廓线或轮廓坐标中由使用人员预先选择的轮廓线或轮廓坐标为基准来测定。并且，黄金比例成为预先存储于存储部的美人型面部的眼睛、鼻子、嘴及下巴的相对比例及坐标，而美人型面部的黄金比例也会向完成整容的图像中输出。即，由于完成整容的图像的眼睛、鼻子、嘴及下巴的相对比例及坐标和美人型面部的眼睛、鼻子、嘴及下巴的相对比例及坐标一同向完成整容的图像输出，因此使用人员可对完成整容的图像和美人型面部进行对照和比较，从而对修正图像，或对图像进行评价方面进行引导，进而具有可掌握完成整容的图像和美人型面部的差异的特征。本发明具有如下的优点，使用人员往往对自己整容后的面部图像持有自卑感，但是本发明并不通过他人或专家对上述面部图像进行评价，而是能够使使用人员以与客观的美人型面部进行比较的方式自行比较和判断。此时，虽然以在终端的存储部预先存储有美人型面部的眼睛、鼻子、嘴及下巴的相对比例及坐标的情况为例进行了说明，但是可使用通过通信部15存储于服务器的美人型面部，而且上述方式也属于本发明。并且，虽然以美人型面部的黄金比例为由使用人员预先存储的美人型面部的黄金比例的情况为例进行了说明，但也可以是由使用人员选择的面部图像。即，不仅可以与美人型面部的黄金比例进行对照和比较，还可以与使用人员所选的面部图像进行比较。优选地，以与提取完成整容的面部图像的眼睛、鼻子、嘴及下巴的相对比例及坐标的方法相同的方法选择面部图像的眼睛、鼻子、嘴及下巴的相对比例及坐标来输出使用人员所选的面部图像。优选地，在上述过程中，以相同的基准生成完成整容的图像的相对比例及坐标和美人型面部的黄金比例所具有的相对比例及坐标。

并且，对完成整容的图像的相对比例及坐标和美人型面部的黄金比例进行输出，从而进行比较和对照的步骤可在对图像进行整容的网格变形步骤中进行。详细地，可在利用网格变形对图像进行整容的过程中输出美人型面部的黄金比例，从而当利用网格变形对图像进行整容时，使用人员能够以实时地与美人型面部进行比较的方式进行整容，从而可更有效地对整容进行引导。

参照图14及图15，在对完成整容的图像进行输出的步骤中，立体输出步骤S160、S170在每个完成变形的图像的网格点中应用与上、下、左、右各方向相对应的固有的旋转加权值(步骤S160)，从而以立体的方式进行三维化处理并输出(步骤S170)。上述方法呈现平面(二维)的面部图像如同显示为立体(三维)图像的错觉效果，利用网格变形，使各网格点根据预先存储的值移动，从而获得如同以立体(三维)的方式使上述图像旋转的错觉效果，此时，虽然可输出如同旋转90°的图像，但为了现实性，将15°的角度作为最大值进行三维化处理，并输出图像。但是，并不局限于15°的角度，能够以多种角度进行输出，而且上述内容也属于本发明。以下，对在各网格点中应用与上、下、左、右的各方向相对应的固有的旋转加权值，并以立体的方式进行输出的情形进行详细的说明。

在位于完成整容的图像上的网格点应用预先存储于每个上、下、左、右方向的固有的移动加权值(步骤S160)，从而使网格点的坐标移动，并对所移动的网格点进行网格变形，从而使图像发生变形(步骤S170)。若经过如上所述的过程，则获得使二维的图像显示为如同三维的图像的错觉效果。更详细地，本发明的虚拟整容手术方系统设置可使使用人员向左侧、右侧、上侧及下侧旋转图像的接口，当向相应的接口输入旋转规定角度的命令时，与使用人员所指定的方式和使用人员所指定的角度相对应的预先存储的移动加权值应用于网格点，从而使网格点移动至相当于移动加权值的距离，进而进行网格变形。

使用人员在对鼻子完成整容之后，若为了察看鼻子的侧面而所要向右侧旋转图像的情况，以上述情况为例说明如下，若相当于鼻子的多个网格点分别由与鼻子的左侧轮廓线相对应的网格点a1、鼻脊的网格点a2及与鼻子的右侧轮廓线相对应的网格点a3形成，且当使用人员使图像向右侧旋转15°时，则a1、a2及a3根据预先存储的各自的坐标移动加权值进行移动，假设a1以与朝向右侧的15°旋转相对应的方式具有(0，0)的坐标移动加权值、a2以与朝向右侧的15°旋转相对应的方式具有(3，0)的坐标移动加权值、a3以与朝向右侧的15°旋转相对应的方式具有(﹣1，0)的坐标移动加权值，则当输出使相应图像向右侧旋转15°的命令时，由于a1以与朝向右侧的15°旋转相对应的方式具有(0，0)的坐标移动加权值，因此a1按原样地生成于相应的位置，由于a2具有(3，0)的坐标移动加权值，因此a2向作为(x+3，y+0)的位置的右侧移动，由于a3具有(﹣1，0)的坐标移动加权值，因此a3向作为(x-1，y+0)的位置的左侧移动。然后，图像根据所移动的a1、a2及a3的坐标值进行网格变形，从而使图像发生变形。若经过如上所述的步骤，最终使a1至a2之间的图像发生变长的变形过程，使a2至a3之间的图像发生缩小的变形步骤，从而获得如同从左侧观看实际鼻子的立体感，进而可获得如同观看立体照片的错觉效果。此时，为了使二维图像通过立体整容更有效地实现三维化，优选地，使形成于面部图像的边缘的网格点不进行移动。

在不脱离本发明的主旨和必要的特征的范围内，本发明可通过其他特定的形态实现具体化，这对于本发明所属技术领域的普通技术人员而言是显而易见的。

Claims (19)

1.一种利用网格变形的虚拟整容手术方法，在终端中利用网格变形对虚拟的面部进行整容，上述利用网格变形的虚拟整容手术方法包括：

步骤S100，在拍摄有面部的图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标；

步骤S110，在上述图像中生成包含上述轮廓坐标、且以隔开规定间隔的方式排列的多个网格点；

步骤S120，利用上述网格点生成网格组；

步骤S130，在上述网格组利用网格变形对上述图像进行整容；以及对上述完成整容的图像进行输出的步骤。

2.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，在拍摄有面部的图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标的步骤S100包括：

步骤S200，在上述图像中生成瞳孔的基准坐标；

步骤S210，基于上述所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标；

步骤S230，基于上述所生成的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线；以及

步骤S240，生成位于上述眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标。

3.根据权利要求2所述的利用网格变形的虚拟整容手术方法，其特征在于，在基于上述所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标的上述步骤S210之后，还包括以使上述瞳孔、鼻子、嘴及下巴的基准坐标位于上述图像的瞳孔、鼻子、嘴及下巴的方式进行微调的步骤S220。

4.根据权利要求2所述的利用网格变形的虚拟整容手术方法，其特征在于，在生成位于上述眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标的上述步骤S240之后，还包括以使上述眼睛、鼻子、嘴及下巴的轮廓坐标位于上述图像的眼睛、鼻子、嘴及下巴的轮廓线上的方式进行微调的步骤S250。

5.根据权利要求2所述的利用网格变形的虚拟整容手术方法，其特征在于，在上述图像中生成瞳孔的基准坐标的上述步骤S200中，利用人脸检测运算符，在上述图像中生成瞳孔的基准坐标。

6.根据权利要求2所述的利用网格变形的虚拟整容手术方法，其特征在于，在基于上述所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标的上述步骤S210中，对上述所生成的瞳孔的基准坐标与预先存储的普通瞳孔、鼻子、嘴及下巴的位置比例进行对照，从而生成鼻子、嘴及下巴的基准坐标。

7.根据权利要求2所述的利用网格变形的虚拟整容手术方法，其特征在于，在基于上述所生成的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线的上述步骤S230中，对上述所生成的瞳孔、鼻子、嘴及下巴的基准坐标与预先存储的普通瞳孔、鼻子、嘴及下巴的大小比例进行对照，从而生成眼睛、鼻子、嘴及下巴的轮廓线。

8.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，在利用上述网格点生成网格组的上述步骤S120还包括生成以上述网格点作为顶点的网格的步骤，上述网格为连接三个上述网格点而生成的三角网格的集合。

9.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，在上述网格组利用网格变形对上述图像进行整容的上述步骤S130中，通过移动上述轮廓坐标，使上述网格组实现网格变形。

10.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，

在上述网格组利用网格变形对上述图像进行整容的上述步骤S130还包括：

步骤S140，提取上述图像的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标之间的比例及坐标，并进行输出；以及

步骤S150，输出黄金比例，并与上述所提取的比例及坐标进行比较，

上述黄金比例为预先存储的美人型面部的眼睛、鼻子、嘴及下巴的相对比例、角度及坐标。

11.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，

在对上述完成整容的图像进行输出的上述步骤之后，还包括：

步骤S140，提取上述图像的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标之间的比例及坐标，并进行输出；以及

步骤S150，输出黄金比例，并与上述所提取的比例及坐标进行比较，

上述黄金比例为预先存储的美人型面部的眼睛、鼻子、嘴及下巴的相对比例、角度及坐标。

12.根据权利要求1所述的利用网格变形的虚拟整容手术方法，其特征在于，在对上述完成整容的图像进行输出的上述步骤之后，还包括以立体的方式对上述完成整容的图像进行输出的立体输出步骤S170，

在以立体的方式对上述完成整容的图像进行输出的上述立体输出步骤中，对上述完成整容的图像进行三维化处理，从而以能够旋转规定的角度的方式进行输出。

13.根据权利要求12所述的利用网格变形的虚拟整容手术方法，其特征在于，在以立体的方式对上述完成整容的图像进行输出的立体输出步骤中，

使固有的移动加权值适用于上述完成整容的图像的每个网格点，从而进行网格变形并输出，上述固有的移动加权值与预先存储的上、下、左、右的各方向相对应。

14.一种实现利用网格变形的虚拟整容手术的终端，用于实现虚拟整容手术，上述终端(10)的特征在于，包括：

处理器(11)，在拍摄有面部的图像中生成位于眼睛、鼻子、嘴及下巴的轮廓线上的轮廓坐标，使上述图像包含上述轮廓坐标，生成以隔开规定间隔的方式排列的多个网格点，利用上述网格点生成网格组，在上述网格组中利用网格变形对上述图像进行整容；以及

输出部(13)，用于输出上述完成整容的图像。

15.根据权利要求14所述的实现利用网格变形的虚拟整容手术的终端，其特征在于，

还包括用于接收微调值的输入部(14)，

上述处理器(11)以所接收的上述微调值为基础执行微调。

16.根据权利要求14所述的实现利用网格变形的虚拟整容手术的终端，其特征在于，还包括存储部(12)，上述存储部(12)用于预先存储面部图像、瞳孔、鼻子、嘴及下巴的位置比例、大小比例及美人型面部的眼睛、鼻子、嘴及下巴的相对比例、角度及坐标中的至少一种。

17.根据权利要求16所述的实现利用网格变形的虚拟整容手术的终端，其特征在于，

上述处理器(11)在上述图像中生成瞳孔的基准坐标，基于上述所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标，基于上述所生成的上述瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线，生成位于上述眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标，

对上述所生成的瞳孔的基准坐标与存储于上述存储部的瞳孔、鼻子、嘴及下巴的位置比例进行对照，从而生成鼻子、嘴及下巴的基准坐标。

18.根据权利要求16所述的实现利用网格变形的虚拟整容手术的终端，其特征在于，

上述处理器(11)在上述图像中生成瞳孔的基准坐标，基于上述所生成的瞳孔的基准坐标生成鼻子、嘴及下巴的基准坐标，基于上述所生成的瞳孔、鼻子、嘴及下巴的基准坐标生成眼睛、鼻子、嘴及下巴的轮廓线，生成位于上述眼睛、鼻子、嘴及下巴的轮廓线上的至少一个轮廓坐标，

对上述所生成的瞳孔、鼻子、嘴及下巴的基准坐标与存储于上述存储部的瞳孔、鼻子、嘴及下巴的大小比例进行对照，从而生成眼睛、鼻子、嘴及下巴的轮廓线。

19.根据权利要求16所述的实现利用网格变形的虚拟整容手术的终端，其特征在于，

上述输出部提取上述图像的眼睛、鼻子、嘴及下巴的轮廓线或轮廓坐标之间的比例及坐标，并进行输出，向上述所提取的比例及坐标输出黄金比例，

上述黄金比例为存储于上述存储部的美人型面部的眼睛、鼻子、嘴及下巴的相对比例、角度及坐标。