CN1335582A - 虚拟美容整形系统及其虚拟美容整形方法 - Google Patents

Abstract

本发明的系统配备以下手段,即:作为数字数据输入脸面数据的图像输入手段2;和显示前述脸面数据,同时输入前述脸面数据的变形信息的图像输出手段5;和储存虚拟美容整形程序,同时根据前述变形信息,从前述脸面数据,抽出由吸收部分构成的变形部分,该吸收部分对进行预定变形的特征部分以及围绕前述特征部分存在的变形产生的对周边的偏移予以吸收。

Description

虚拟美容整形系统 及其虚拟美容整形方法

本发明涉及用脸面图像提供虚拟美容整形服务的虚拟美容整形系统。

脸面整形在整型外科或美容外科进行。在该场所，通常对顾客用图像处理看整形后的虚拟图像。在上述用途的情况下，虚拟图像能够正确地生成术后顾客的脸面是最高命题。因此，处理程序的规模或处理时间、用户接口并非特别重视。

对传统的美容整形系统参照附图进行说明。图33是示出例如特表平11-503540号公报内示出的传统的美学图像系统的构成的图。

在图33，91表示该系统的显示画面，92表示操作该系统的图板(tablet)。其次，就传统的美容整形系统的动作参照附图予以说明。

操作者用图板92牵引画面91上的“DRAW(绘图)”菜单，转为变形模式，用圆指定变形部分，用未图示的手段把圆内设定在自由手动模式，通过合适地操作图板92可以进行自由度大的变形。

作为变形手法用翘曲。同样地牵引画面91上的“DRAW”菜单，选择曲线描图模式，在图板92上画入任意的曲线，也可以把它用于参照画像指定地方的变形。进行变形的地方与变形前的地方进行掺合，产生变形完了的图像。

因此，操作者对整形的知识及对该系统的操作的理解充分时可以进行非常正确、精密的变形。

传统的美容整形系统的问题所在，是由于技术因素强把正确显示变形结果放在主要地位，所以处理起来非常化时间。

包含变形程序的系统的问题是非常贵，此外操作非常复杂，使用者仅限于熟悉上述系统者。

在容易操作的美容整形系统的情况下存在的问题，因为在变形中使用的部分是从系统预先准备的数据中选择、置换脸面图像的一部分，不是使脸面图像的部分数据进行变形的部分，所以得到与原图像偏离的处理后图像。

本发明是为解决前述问题而作的，尤其是无需特别训练，无论谁也可以容易地进行脸面图像的虚拟美容整形处理的操作，此外，通过抽出脸面图像中的部分数据进行变形，可以获得自然的处理图像，进一步通过经网络传输虚拟美容整形程序及其它的信息，以获得经网络可提供服务的虚拟美容整形系统作为目的。

与本发明权利要求1有关的虚拟美容整形系统包含以下手段，即：输入脸面图像数据的脸面图像数据输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和根据前述变形信息把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形的变形处理手段；以便吸收由前述特征部分的变形产生的对周边的偏移。

与本发明权利要求2有关的虚拟美容整形系统的前述变形信息输入手段是作为前述变形信息输入前述脸面图像数据的变更部分及其变更量的手段。

与本发明权利要求3有关的虚拟美容整形系统包含以下手段，即：储存虚拟美容整形程序的服务器；和输入脸面图像数据的脸面图像数据输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和从前述服务器经网络接收前述虚拟美容整形程序，执行该虚拟美容整形程序的处理终端；前述处理终端根据前述变形信息把作为想变形的部分发选择的特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分的变形产生的对周边的偏移。

与本发明权利要求4有关的虚拟美容整形系统的前述处理终端是对前述特征部分进行放大或旋转的预定的变形处理，同时对前述吸收部分进行变形处理，以便与前述特征部分的处理对应保持前述特征部分及其周边图像的连续性。

与本发明权利要求5有关的虚拟美容整形系统包含以下手段，即：输入脸面图像数据的脸面图像数据输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和发送由前述图像数据输入手段及前述变形信息输入手段输入的前述脸面图像数据及其变形信息的处理终端；和经网络接收由前述处理终端发送的前述脸面图像数据及其变形信息的服务器；前述服务器根据前述变形信息把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分的变形产生的对周边的偏移。

与本发明权利要求6有关的虚拟美容整形系统的前述服务器是对前述特征部分进行放大或旋转的预定的变形处理，同时对前述吸收部分进行变形处理，以便与前述特征部分的处理对应保持前述特征部分及其周边部分图像的连续性。

与本发明权利要求7有关的虚拟美容整形系统的前述服务器具有计费处理部，它经前述网络在发送接收数据期间实施预定计费。

与本发明权利要求8有关的虚拟美容整形系统的前述处理终端具有第1数据压缩/扩张部，它经前述网络对发送接收的数据进行压缩/扩张，前述处理终端具有第2数据压缩/扩张部，它经前述网络，对发送接收的数据进行压缩/扩张。

与本发明权利要求9有关的虚拟美容整形系统的前述处理终端具有第1数据密码化/解密部，它经前述网络使发送接收的数据密码化/解密，前述服务器具有第2数据密码化/解密部，它经前述网络使发送接收的数据密码化/解密。

与本发明权利要求10有关的虚拟美容整形方法，从脸面图像数据，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分的变形产生的对周边的偏移。

与本发明权利要求11有关的虚拟美容整形方法是这样的方法，在眼或鼻等想变形的部分用点指定的情况下，包含该点的矩形区域作为前述特征部分抽出，围绕前述特征部分的矩形区域作为前述吸收部分发抽出。

与本发明权利要求12有关的虚拟美容整形方法是这样的方法，前述吸收部分把由前述特征部分的变形产生的畸变通过用二维内插的坐标变换进行光滑化。

图1是示出本发明实施例1的虚拟美容整形系统构成的图。

图2是示出本发明实施例1的虚拟美容整形系统的画面迁移图。

图3是示出本发明实施例1的虚拟美容整形系统的系统开始画面图。

图4是示出本发明实施例1的虚拟美容整形系统的脸面数据输入画面的图。

图5是示出本发明实施例1的虚拟美容整形系统的特征点输入画面图。

图6是示出在本发明实施例1的虚拟美容整形系统，变形执行者特别指定的部分处理一例的流程图。

图7是示出图6的步骤100的详细的处理动作的流程图。

图8是示出图6的步骤200的详细的处理动作的流程图。

图9是示出图6的步骤300的详细的处理动作的流程图。

图10是示出图6的步骤400的详细的处理动作的流程图。

图11是示出图6的步骤500的详细的处理动作的流程图。

图12是示出图6的步骤600的详细的处理动作的流程图。

图13是示出图6的步骤700的详细的处理动作的流程图。

图14是示出本发明实施例1的虚拟美容整形系统的虚拟美容整形执行画面的图。

图15是示出本发明实施例1的虚拟美容整形系统的部分数据选择·变形执行画面的图。

图16是示出本发明实施例1的虚拟美容整形系统的变形部分例的图。

图17是示出求本发明实施例1的虚拟美容整形系统的特征部分及吸收部分的像素变形后的坐标的处理流程图。

图18是示出求本发明实施例1的虚拟美容整形系统的特征部分及吸收部分的像素变形后的坐标的处理的处理程序的图。

图19是示出求本发明实施例1的虚拟美容整形系统的像素的颜色数据的处理一例的流程图。

图20是示出求本发明实施例1的虚拟美容整形系统的像素的颜色数据的处理一例的流程图。

图21是示出由图19的处理产生的像素算出概念的图。

图22是示出本发明实施例1的虚拟美容整形系统的变形部分的变形例的图。

图23是示出本发明实施例1的虚拟美容整形系统的变更结果保存画面的图。

图24是示出本发明实施例2的虚拟美容整形系统的构成方框图。

图25是示出本发明实施例2的虚拟美容整形系统的画面迁移图。

图26是示出本发明实施例2的虚拟美容整形系统的计费确认画面的图。

图27是示出本发明实施例2的虚拟美容整形系统的计费画面的图。

图28是示出本发明实施例3的虚拟美容整形系统的构成方框图。

图29是示出本发明实施例3的虚拟美容整形系统的画面迁移图。

图30是示出本发明实施例3的虚拟美容整形系统的系统开始画面图。

图31是示出本发明实施例3的虚拟美容整形系统的脸面数据输入画面图。

图32是示出本发明实施例3的虚拟美容整形系统的特征点输入画面的图。

图33是示出传统的美容整形系统的构成图。

实施例1

对与本发明实施例1有关的虚拟美容整形系统，参照附图进行说明。图1是示出本发明实施例1的虚拟美容整形系统的概念构成图。在各图中，同一符号表示同一或相当部分。

在图1，1是变形执行者操作使用的终端(处理终端)，个人计算机一类泛用机也行，作为专用机设置的也行。此外，2是把二维或三维的脸面数据作为数字数据向终端1传送的图像输入手段(脸面图像数据输入手段，变形信息输入手段)。3是用图像输入手段2得到或预先准备的二维或三维的脸面数据。在该脸面数据3上如果脸面部分的分辨率达到程序要求的分辨率，则即使加入脸面以外部分也可以不管。4是进行脸面图像的虚拟美容整形的程序(变形处理手段)。5是显示器或打印机等的图像输出手段。

接着对本实施例1的虚拟美容整形系统的动作参照附图进行说明。图2是示出本发明实施例1的虚拟美容整形系统的画面迁移的图。

图2中的方框上给出的与F相连的数字说明该方框的图号。例如「F3」表示图3。在图2，对在例示画面上未特别给出的处理予以省略，基本上哪幅画面如果也可以作成对箭头相反方向前进的构造，则不消说容易使用。

本系统的画面的迁移，如图2所示，从系统开始画面「F3」开始，经脸面数据输入画面「F4」，特征点输入画面「F5」，虚拟美容整形执行画面「F6」以及部分数据选择·变更执行画面「F7」到变更结果保存画面「F10」终止。

变形执行者在终端1上启动程序4。图3示出作为系统开始画面「F3」的启动画面的一例。在图3，对变形执行者询问是否将使用虚拟美容整形系统。变形执行者想使用系统则可以按压「ENTER(进入)」按扭21来作出表示，接受由该「ENTER」按扭21产生的信号的程序4移行到虚拟美容整形准备画面。

所谓本发明实施例的“按压”行为指的是：把以光标等代表的画面操作子用鼠标等其它画面操作子移动手段在画面上某区域内与光标重合，通过用鼠标点击，按压键盘的返回键、按压进入键以及按压实际的按扭等求出对该区域的动求要求。

其次，变形执行者根据程序4读入自身的脸面数据。图4示出脸面数据读入画面的一例。最好脸面数据3转变为数字数据。该脸面数据3通常作为数字数据的文件指定文件名。

该文件也可以预先准备，也可以通过图像输入手段2输入。此外在使用图像输入手段2时，预先准备好专用的服务程序，也可以采取自动地通过程序4读入由图像输入手段2获得的数字数据的结构。脸面数据3的文件形式也可以是能识别程序的形式。

在图4，22是输入图像文件名的输入区域，23是脸面数据读入开始按扭(「确定」按扭)，一按该「确定」按扭23，则程序4读入在输入区域22指定的脸面数据3。

程序4根据读入的脸面数据3，抽出由拟进行预定的变形的特征部分和围绕特征部分存在的、吸收由变形产生的对周边偏移的吸收部分构成的变形部分。最好该抽出能够由程序4内自动进行，在处理费时时或不能正确抽出时，也可以由变形执行者指定特征处。

图5示出承蒙变形执行者指定特征处时画面的一例。在该图5上，示出承蒙变形执行者指定眉和眼等9点的情况。承蒙变形执行者指定特征处时，程序4要指定与求出的点尽可能近，最好对变形执行者给出辅助的信息。

特征部分及变形部分的抽出特别指定，首先指定的点(称为特征点)表示哪一部分，对特别指定的部分，以特征点作为基准抽出预定的矩形的特征部分及吸收部分。

图6是在变形执行者指定两眉、两眼、鼻、口、颚及两轮廓共计9点情况下，示出特别指定各点指哪一部分的处理(程序4)的一例的流程图。

变形执行者作为以任意顺序输入的特征部分的坐标值把X坐标储存在数组POSX[9]，Y坐标储存在数组POSY(9)内。该坐标系中左上是原点，X轴右方向为正，Y轴下方向为正。因为图像从正面摄像的，必须注意实际的脸面和图像上的脸面的左右相反。

在步骤100，在输入特征点坐标第1到第9的要素中，把Y坐标值最大的点当作「颚」，与数组的最后(第9)要素进行交换。

在步骤200，在输入特征点坐标第1到第8的要素中，把X坐标值最大的点当作「左轮廓」，与数组的第8要素进行交换。

在步骤300，在输入特征点坐标第1到第8的要素中，把X坐标值最小的点当作「右轮廓」，与数组的第7要素进行交换。

在步骤400，在输入特征点坐标第1到第6的要素中，把Y坐标值最大的点当作「口」，与数组的第6要素进行交换。

在步骤500，在输入特征点坐标第1到第5的要素中，把Y坐标值最大的点当作「鼻」，与数组的第5要素进行交换。

在步骤600，坐标第1到第5的要素中，把Y坐标值最大的2点当作「眼」，其中，把X坐标值大的点当作「左眼」，与数组的第4要素进行交换。此外，把X坐标值小的点当作「右眼」，与数组的第3要素进行交换。

在步骤700，在输入特征点坐标第1到第2的要素中，把X坐标值大的点当作「左眉」，与数组的第2要素进行交换。此外，把构成数组的第1要素的、X坐标值的小的点当作「右眉」。

通过上述的一连串处理，数组的要素按照相当「右眉」、「左眉」、「右眼」、「左眼」、「鼻」、「口」、「右轮廓」、「左轮廓」、「颚」的顺序重新排列。

图7、图8、图9、图10、图11、图12及13分别是表示步骤100、步骤200、步骤300、步骤400、步骤500、步骤600及步骤700的详细的处理动作的流程图。

在图6抽出的特征部分在用两眼间的距离对10多岁、20多岁女性脸面规一化情况下，完全包含90％以上人眼、口、鼻等。此外，在图6抽出的吸收部分全部包含由预定设想的特征区域的变形产生的变位范围，此外具有在上下左右方向数点的余量。

该特征点特定处理因指定点而异，如果是图6所示的部分，则用图6的处理的简单变更进行。例如，特别指定口时，特别指定颚时，在进行步骤100的判别后可以进行步骤400，在未特别指定颚时，马上就通过进行步骤400的判别，形成可特别指定。此外，即使在图6未指定的部分也可以通过图6的应用可特别指定。例如在指定耳时，在耳的特别指定时使用步骤200和步骤300，其后再一次通过进行步骤200和步骤300，也能特别指定左右的轮廓。

其次，程序4对变形执行者要求变形信息。图14示出变形部分选择画面的一例。在图14，24是「特别指定变更部分」按扭，构成「眉」按扭、「眼」按扭、「鼻」按扭、「口」按扭、「颚」按扭等各部分分开的多个按扭。如果也准备表示根据某一定法则汇集各部分数据进行变形、综合变化的「整体」按扭，则变形执行者更加容易进行整体的虚拟美容整形。最好有把变形返回到全部原状的「变形再设置」按扭。

在同一图上，25a及25b是变形执行者的脸面数据的显示区域。25a是通常显示进行变形前的脸面数据3的显示区域。25b是反映变形结果的显示区域。显示区域25b也可以分别指定各部分的变形进行显示，准备好「变形确定」按扭26，在按压该「变形确定」按扭26时，汇集变形内容进行变形，也可以是在显示区域25b上显示那样的方法。脸面数据显示也可以只对变形后的图像进行显示，最好能并列显示变形前后的脸面数据，以便变形执行者容易识别通过变形产生的效果。

在同一图上，27是变形图像的「保存」按扭。变形执行者在自己的脸面上选择想变形的部分，在「特别指定变更部分」按扭24之中，按压该按扭。这样，选择的部分的变形量确定画面在画面上显示。该变形量确定画面也可以在同一窗口内，制作另外的窗口，在其上显示也行。

图15示出眼的变形量确定画面的一例。变形执行者在输入区域28a、输入区域28b和输入区域28c分别输入角度、纵向放大率和横向放大率，决定变形量，按压「变形确定」按扭29。同样地变形执行者对鼻、口等可以变形的部分确定变形量。

其次，程序4根据变形信息进行图像的变形。图16示出变形部分例。在图16，30是变形部分，由特征部分和围绕其存在的吸收部分32构成。如图所示，也有在变形部分30上包含多个特征部分31的。在特征部分31上使用变形执行者确定的变形。在吸收部分32上保存吸收部分32的外框信息，在特征部分31和吸收部分32的外框之间并非不自然地进行变形。

其次，在吸收区域示出对特征部分进行二维内插时处理的一例。图17是示出求特征部分、及吸收部分的像素的变形后的坐标处理流程图。此外，图18是示出该处理顺序的图。

图18与图16同样，示出在变形部分上特征部分处在2纵列的情况。在图18，31a是特征部分a，31b是特征部分b，32示出吸收部分A、B、C、D、E。令抽出的变形部分30的长方形的宽度为X＋1，高度为Y＋1。令该长方形左上的坐标为(0，0)。令特征部分31a、31b的左上坐标为(Xn，Yn)，令宽度为Wn＋1，高度为Hn＋1(n＝1，2)。在变形部分30内的点(i，j)(i＝0～X，j＝0～Y)上有脸面数据的像素，例如用RGB的3色表示。

首先，在步骤801，进行特征部a、b的变形。在该步骤801上的X，Y表示在特征部分a、b内包含的任意的像素。按照变形执行者指定的内容进行变形。由此，对特征部分a、b的像素的坐标进行变换(X’，Y’)。

其次，在步骤802，进行图18中的吸收部分A的像素的坐标变换。在图18中的吸收部分A的左侧，在变形后的特征部分31a的左端和变形部分30的左端的坐标之间，对吸收部分A的像素进行等距离再配置。此外，吸收部分A的右侧也同样地在变形后的特征部分a的右端和变形部分30的右端的坐标之间对吸收部分A的像素进行等间隔地再配置。在再配置期间，吸收部分A端的Y坐标和变形部分30端的变形前的Y坐标使用相同的坐标。

其次，在步骤803，进行图18中的吸收部分B的像素的坐标变换。特征部分a、吸收部分A的上端和变形部分30的上端的坐标之间对吸收部分B的像素进行等距离再配置。与变形部分30的上端的变形前的Y坐标相等的吸收部分A的变形在步骤802已经完成，这里可以使用它。在再配置期间，变形部分30上的端的X坐标和变形部分30、吸收部分A上端的变形前的X坐标使用相等的坐标。

其次，在步骤804，进行图18中的吸收部分C的像素的坐标变换。变换方法与步骤802同样。

其次，在步骤805，进行图18的吸收部分D的像素的坐标变换。在特征部分a、吸收部分A的下端和特征部分b、吸收部分C的上端之间对吸收部分D的像素进行等间隔地再配置。与特征部分a的下端变形前的Y坐标相等的吸收部分A的变形已在步骤802完成，使用它。此外，与特征部分b的上端的变形前的Y坐标相等的吸收部分C的变形在步骤804已完成，使用它。在再配置期间，两端的变形前的X坐标使用相等的坐标。

最后，在步骤806，进行图18中的吸收部分E的像素坐标变换。在特征部分b、吸收部分C的下端和变形部分30的下端坐标之间，对吸收部分E的像素进行等间隔地再配置。与特征部分b的下端的变形前的Y坐标相等的吸收部分的变形在步骤804已经完成，使用它。再配置期间，变形部分30下端的X坐标和吸收部分E下端的变形前的X坐标使用相等的坐标。

利用以上结果，伴随变形的特征部分31、吸收部分32的坐标变换终了。根据本实施例，示出在变形部分30上特征部分处在2纵列的情况，而在变形部分30上特征部分31处于1纵列的情况，省略步骤804，步骤805。此外在特征部分31横向并列的情况，只是图18的纵横反转。

进行坐标变换后的坐标，去除吸收区域的上下左右端，几手都是非整数值的情况。可是像素只能记录X、Y分别为整数的位置。因此，有必要算出X和Y为整数值处的颜色数据。

图19及图20是示出求像素颜色数据处理一例的流程图。此外，图21是通过图19的处理产生的像素计算的概念图。在图21，61示出进行图19的处理前的像素位置，62示出图19的处理后的像素的位置。通过进行图19的流程图所示的处理，产生X值为整数值的坐标的颜色数据。可是，由于Y坐标不完全限于整数值，所以通过进行图20的流程图所示的处理，可以产生Y坐标也为整数值的场所的颜色数据，这构成最终的输出图像数据。

正如从上述坐标变换，颜色计算所看到的，变形部分30的上下左右端的图像数据不变化。接着，即使在上下左右哪个方向，变形前的像素也不会反转，保持图像的连续性。因此，变形后也不会有不自然的轮廓或图像的畸变。

图22示出变形部分30的变形例。在图22，吸收部分32对特征部分31进行二维线性内插，内插的方法根据处理时间或要求的画质适当地选择，没有特定的方法。变形后的图像在图14所示的显示区域25b内显示，在变形执行者对变形结果不满时，可以立即继续变更变形。这时的操作与最初的变形操作相同。

变形执行者结束变形，在想保存显示区域25b的变形后的图像时，按压「保存」按扭27。图23示出变形图像保存画面的一例。在图23，33是为输入保存位置的输入区域。34是用于选择输入保存文件形式的输入区域，35是用于开始保存的「保存」按扭。

变形执行者在输入区域33、34选择想保存的位置和保存文件形式，按压「保存」按扭。因此变形图像的保存结束。保存文件形式也可以固定在bmp(位标志文件)等一般文件格式，而考虑变形执行者的方便，最好选择一般的多个文件形式。

不消说，在图4～图23，设置未图示的「HELP」按扭的结构，用于提供对变形执行者的操作进行辅助的信息，通过变形执行者按压它，可以提供在各画面上容易实现操作的信息。

通过以上那样的结构，变形执行者通过操作虚拟美容整系统，可以得到使自身的脸面一部分自然变形的图像。

实施例2

对与本发明实施例2有关的虚拟美容整形系统参照附图进行说明。图24是示出与本发明实施例2有关的虚拟美容整形系统的构成图。

在图24，7是服务器，通过电话线等的网络9与终端1连接。在该服务7上，包含虚拟美容变形的程序部6。此外，服务器7具有由数据压缩/扩张器8a和数据密码化/解密部8b构成的数据变换部8。终端1具有由数据压缩/扩张部10a和数据密码化/解密部10b构成的数据变换部10。

接着，对与本实施例2有关的虚拟美容整形系统的动作参照附图进行说明。图25是示出与本发明实施例2有关的虚拟美容整形系统的画面迁移的图。

与图25框图提供的F连系的数字表示说明该框图的图的号码。虚线的箭头是利用计费信息的情况。在图25，在例示的画面上未专门提供的处理省略箭头，基本上哪幅画面如果也可以作成对箭头相反方向前进的构造，则不消说容易使用。

变形执行者用终端1与服务器7连接，把虚拟美容整形系统的程序部6下载。连接方法也可以用专用线路，也可以通过电路线路连接在互连网上。下载方法也可以用一般的网络浏览器。在终端1侧，启动固有的系统，也可以采取用固有的协议连接服务器的形式，对连接方法、启动方法没有限制。

在本实施例2，用一般的网络浏览器，示出作为本系统的全部的程序部6进行下载的情况。该程序部6的形式只要能在终端1进行虚拟美容整形处理都行。把程序6从服务器7传送到终端1期间，在服务器一侧的数据变换部8根据需要对数据进行压缩、密码化，在终端1一侧的数据变换部对数据进行扩张、解密、复原。

变形执行者用终端1操作虚拟美容整形系统。因为程序部6从服务器7下载，驻存在终端1上，所以操作方法与上述实施例1同样。

此外，把程序部6或计费信息等从服务器7传送到终端1期间也可能进行计费。图26示出计费确认画面的一例。在图26，41是变形执行者的姓名，在用于输入信用卡信息等的计费信息的输入区域上，变形执行者输入本人的姓名、信用卡号码、用于计费的信息。该信息的种类，没有特别的限制，但必须是变形执行者特别指定的，支付前对变形执行者的花费确认要支付的最低限的花费。

在同一图上，42是计费确认按扭，在变形执行者按压「是」按扭，把计费信息从服务器7传送到终端1期间，进行计费。另一方面，在按压「否」时，变形执行者不能得到计费信息。

变形执行者输入计费信息，如果按压计费确认按扭42的「是」按扭，则计费信息从终端1传送到服务器7。在此传送期间，根据需要，在终端1一侧的数据变换部10进行数据压缩、密码化，在服务器7一侧的数据变换部8进行数据扩张、解密、复原。因此，即使数据泄漏，个人信息也难以漏出。

进行计费时，变形执行者应当容易识别计费信息，在按压要求计费信息的按扭时，即在用计费确认按扭42按压「否」按扭时，因为是计费的，告知不可能得到，而在用计费确认按扭42按扭「是」按扭时，通过输入该计费信息进行计费，希望示出计费金额。

图27示出本系统内的计费画面的一例。该画面只表示变形执行者利用计费信息的情况。变形执行者确认费用，如有支付的意思则按压「是」按扭，如果没有支付的意思，按压「否」按扭。

如果按压「是」按扭，则移向计费信息画面，如果按压「否」按扭则返回选择计费信息前的画面。

通过如下所示的构成，变形执行者通过操作虚拟美容整形系统，可以获得自己脸面一部分的自然变形的图像。

在服务器7持有虚拟美容整形系统的程序，根据需要，通过传送到终端1，常常不使终端1的负荷变大的情况下，可以使用虚拟美容整形系统。使传送内容的一部分可计费，通过导入计费系统，可以与变形执行者的处理对应进行计费。

在本实施例2，经网络9传送数据时，进行密码化/解密处理，而不问密码化方式。可是，如在某一定期间变更密码化方式可以进一步防止信息的泄漏。

从终端1向服务器7或从服务器7向终端1传送数据时，通过压缩数据，可以减轻专用线路或网络的负荷，变形执行者可以舒服地操作。

实施例3

与本发明实施例3有关的虚拟美容整形系统，参照附图进行说明。图28是示出本发明实施例3的虚拟美容整形系统的构成图。

在图28，7是服务器，通过终端1和电话线等的网络9连接。在该服务器7上，包含虚拟美容变形的程序部6和储存从终端1传送的脸面数据3及其它信息的数据存储部11。服务器7具有由数据压缩/扩张部8a和数据密码化/解密部8b构成的数据变换部8。终端1具有由数据压缩/扩张部10a和数据密码化/解密部10b构成的数据变换部10。

其次，与本实施例3有关的虚拟美容整形系统的动作参照附图予以说明。图29是示出本发明实施例3的虚拟美容整形系统的画面迁移的图。

与在图29中的方框内提供的F连系的数字表示说明该方框的图号。虚线的箭头是利用计费信息的情况。在图29的例示画面上未特别给出的处理，省略箭头，基本上哪幅画面如果也可以作成对箭头相反方向前进的构造，则不消说容易使用。

变形执行者用终端1与服务器7连接，启动虚拟美容整形系统。连接方法也可以用专用线路或通过电路线路连接到互联网。启动方式也可以用一般的网络浏览器启动在服务器7一侧准备的系统，也可以在终端1一侧启动固有的系统，采取用固有的协议与服务器7连接的方式，对连接方式、启动方式没有限制。在本实施例3示出从终端1用一般的网络浏览器启动在服务器7一侧准备的本系统的情况。用于使本系统动作必要的最低限的内容从服务器7一侧传送到终端1一侧。

图30示出启动画面的一例。终端1在图30所示的启动画面对变形执行者询问是否使用虚拟美容整形系统。如果变形执行者有使用系统的意思，则可以通过按压「enter进入」按扭43表示，接受由该「enter」按扭43产生的信息的终端1和服务器7开始提供系统。

其次，变形执行者通过网络9从终端1向服务器7传送自身的脸面数据。图31示出脸面数据指定画面的一例。最好脸面数据3为数字数据。脸面数据3一般作为数字数据的文件指定文件名。该文件也可以预先准备，也可以用图像输入手段2输入。在使用图像输入手段2时，也可以把用图像输入手段2得到的数字数据自动地传送到服务器7的结构。脸面数据3的文件形式只要可以识别程序，什么都行，而在经互联网时一般为jpeg文件或gif文件。

在图31，44是输入图像文件名的输入区域，45是用于开始输送脸面数据34的「发送」按扭，按压该「送送」按扭45，则把输入区域44上指定的脸面数据3从终端1经网络9传送到服务器7。在传送期间，根据需要在终端1一侧的数据变换部8进行扩张、解密，使脸面数据复原，暂时保存在数据存储部11内。因此即使数据泄漏也难以使个人信息泄漏。

其次，服务器7的程序部6根据传送的脸面数据3抽出由特征部分、吸收部分构成的变形部分。最好该抽出可以通过程序6内自动进行，而在处理费时时或不能正确抽出时，也可以承蒙变形执行者指定特征位置。

图32示出承蒙变形执行者指定特征位置的情况的画面一例。在该图32上，示出承蒙变形执行者指定眉或眼等的9点的情况。在承蒙变形执行者指定特征位置的情况，要指定对由程序6求出的点尽可能近的位置，最好对变形执行者提供辅助的信息。

在图32，46表示用于传送特征点的按扭，一旦按压该「发送」按扭46，则指定的特征点从终端1经网络9传送到服务器7。在该传送期间，根据需要在终端1一侧的数据变换部进行数据的压缩、密码化处理。而且，在数据存储部11暂时储存。因此，即使数据泄漏，个人信息也难以泄漏。

其次，程序部6要求对变形执行者变形信息。图14示出变形部分选择画面的一例。在图14，24是「变更部分特别指定」按扭，用「眉」按扭、「眼」按扭等各部分构成分开的多个按扭。如果也准备根据一定的法则汇集各部分数据示出变形、综合变化的「整体」按扭，则变形执行者很容易进行补充化装。最好有使变形全部复原的「变形再设置」按扭。

在同一图上，25a、25b是变形执行者的脸面数据显示区域。25a是显示进行变形前的脸面数据3的显示区域。25b是反映变形结果的显示区域。显示区域25b也可以指定各部分变形分别显示，准备「变形确定」按扭26，在按压该「变形确定」按扭26时，汇集变形内容进行变形，也可以采取在显示区域25b上显示的方法。脸面数据显示也可以只显示变形后的图像，然而最后把变形前后的脸面数据并列显示，以便变形执行者可以容易识别变形产生的效果。

在同一图上，27是变形图像的「保存」按扭。变形执行者在自身的脸面上选择想变形的部分，在「变更部分特别指定」按扭24之中，按压该按扭。这样一来，在画面上显示选择的部分的变形量确定画面。该变形量确定画面也可以在同一窗口内，也可以制作别的窗口，在那里显示。

图15示出眼的变形量确定画面的一例。变形执行者把角度、纵方向放大率、横方向放大率分别输入到输入区域28a、28b、28c，决定变形量，按压「变形确定」按扭29。同样，对鼻或口等能变形的部分，变形执行者确定变形量。

每当变形信息各部分变形的输入终了或全部的变形信息的输入终了，按压「变形确定」按扭29时，把变形信息从终端1经网络9传送到服务器7。在传送期间，根据需要，在终端1一侧的数据变换部10进行数据的压缩、密码化处理，在服务器7一侧的数据变换部8进行扩张、解密处理，使数据复原。因此，即使数据泄漏，个人信息也难以泄漏。

其次，程序部6根据变形信息进行图像的变形。变形方法与上述实施例1同样。变形后的图像从服务器7经网络传送到终端1，在显示区域25b上显示。把变形后的图像复制暂时保存在数据存储部11内。在传送期间，根据需要，在服务器7一侧的数据变换部8进行数据的压缩、密码化，在终端1一侧的数据变换部10进行扩张、解密处理，使数据复原。因此，即使数据泄漏，个人信息也难以泄漏。变形执行者在对变形结果不满意时，可以立即继续变更变形。这时的操作与最初的变形操作相同。

在变形终止，想保存显示区域25b的变形后的图像时，变形执行者按压「保存」按扭27。图23示出变形图像保存画面的一例。在图23，33是用于输入保存位置的输入区域。34是用于选择输入保存文件形式的输入区域，35是用于开始保存的「保存」按扭。

变形执行者在输入区域33、34选择输入想保存的位置和保存文件形式，按压「保存」按扭35。因此变形图像的保存终了。保存文件形式也可以固定在jpeg等一般的形式，考虑到变形执行者的方便，最好可以选择一般的多个文件形式。

在变形执行者的各操作画面上，设置用于提供辅助变形执者操作一类信息的、未图示的「Help」按扭，通过变形执行者对其按压，不消说可以提供在各画面上的操作变得容易进行那样的信息。

在终端1和服务器7发送接收信息期间，也可以进行计费。图26示出计费确认画面的一例。在图26，41是用于输入变形执行者的姓名、信用卡信息等的计费信息的输入区域，变形执行者输入自己的姓名或信用卡号码等用于计费的信息。对该信息的种类没有特别的限制，变形执行者可以特别指定，支付前，能确认变形执行者的花费的最低限的花费。

在同一图上，42是计费确认，一旦变形执行者按压「是」按扭，则在进行计费处理期间，进行计费。在按压「否」按扭时变形执行者不实现计费处理。

变形执行者输入计费信息，如果按压计费确认按扭42的「是」按扭，则计费信息从终端1传送到服务器7。在这传送期间，根据需要，在终端1侧的数据变换部10进行数据压缩、密码化，在服务器7一侧的数据变换部8进行数据扩张、解密、复原。因此，即使数据泄漏，个人信息也难以泄漏。

在进行计费时，设置计费信息，以便变形执行者可以容易识别，在按压要求计费信息的按扭时，即用收费确认按扭42，按压「否」时，因为收费，所以示出不可能得到。用收费确认按扭42，按压「是」时，输入该计费信息，必须收费，最好示出收费金额。

图27示出在本系统内的收费画面的一例。该画面只显示变形执行者利用收费信息的情况。变形执行者确认费用，如果有支付的意思，则按压「是」按扭，如果没有支付意思，则按压「否」按扭。一按「是」按扭，则移行到计费信息画面，一按「否」按扭，则返回选择计费信息前的画面。

通过以上所示的构成，变形执行者通过操作虚拟美容整形系统，可以获得自身脸面一部分自然地变形的画像。

在本实施例3，经网络9传送数据的情况进行密码化/解密处理，而不问加密方式如何。于是，在某一定期间变更密码化方式可以进一步防止信息泄漏。

从终端1向服务器7或从服务器7向终端1传送数据时，通过压缩数据，可以减轻专用线路或互联网的负荷，变形执行者可以舒适地操作。

本发明的权利要求1的虚拟美容整形系统，如以上说明所示，因为包含以下手段，即：输入脸面图像数据的脸面图像数输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和根据前述变形信息，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形的变形处理手段；以便吸收由前述特征部分的变形产生的对周边的偏移，所以具有可以获得对自身脸面一部分自然地变形的图像的效果。

与本发明的权利要求2有关的虚拟美容整形系统，正如以上说明所示，因为前述变形信息输入手段作为前述变形信息，输入前述脸面图像数据的变更部分及其变更量，所以具有可以获得对自身脸面一部分自然变形的图像的效果。

与本发明的权利要求3有关的虚拟美容整形系统，正如以上说明所示，包含以下的手段，即：储存虚拟美容整形程序的服务器；和输入脸面图像数据的脸面图像数据输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和从前述服务器经网络，接收前述虚拟美容整形程序，执行该虚拟美容整形程序的处理终端；前述处理终端根据前述变形信息，把作为想变形的部分选择的特征部分和围绕该特征部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形以便吸收由前述特征部分的变形产生的对周边的偏移，所以具有可以获得对自身脸面一部分自然地变形的图像的效果。

与本发明的权利要求4有关的虚拟美容整形系统，正如以上说明所示，因为前述处理终端对前述特征部分进行放大或旋转的预定的变形处理，同时对前述吸收部分对应前述特征部分的处理进行变形，以便保持前述特征部分及其周边的的图像的连续性，所以具有可以获得对自身脸面的一部分自然地变形的图像的效果。

与本发明的权利要求5有关的虚拟美容整形系统，正如以上说明所示，包含以下手段；即：输入脸面图像数据的脸面图像数据输入手段；和输入前述脸面图像数据的变形信息的变形信息输入手段；和发送由前述脸面图像数据输入手段及前述变形信息输入手段输入的前述脸面图像数据及其变形信息的处理终端；和经网络接收由前述处理终端发送的前述脸面图像数据及其变形信息的服务器；前述服务器根据前述变形信息，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形以便吸收由前述特征部分的变形产生的对周边的偏移，所以具有可以获得对自身脸面的一部分自然地变形的图像的效果。

与本发明的权利要求6有关的虚拟美容整形系统，正如以上说明所示，前述服务器对前述特征部分进行放大或旋转的预定的变形处理，同时对前述吸收部分，对应前述特征部分的处理进行变形处理，以便保持前述特征部分及其周边部分的图像的连续性，所以具有可以获得对自身脸面的一部分自然地变形的图像的效果。

与本发明的权利要求7有关的虚拟美容整形系统，正如以上说明所示，因为在前述服务器经前述网络发送接收数据期间具有进行预定计费的计费处理部，所以具有可以根据服务进行计费的效果。

与本发明的权利要求8有关的虚拟美容整形系统，正如以上说明所示，因为前述处理终端具有对经前述网络发送接收的数据进行压缩/扩张的第1数据压缩/扩张部，前述服务器具有对经前述网络发送接收的数据进行压缩/扩张的第2数据压缩/扩张部，所以具有可以减轻网络及各部分的负荷的效果。

与本发明的权利要求9有关的虚拟美容整形系统，正如以上说明所示，因为前述处理终端具有对经前述网络发送接收的数据进行密码化/解密的第1数据密码化/解密部，前述服务器具有对经前述网络发送接收的数据进行密码化/解密的第2数据密码化/解密部，所以具有可防止信息泄漏的效果。

与本发明的权利要求10有关的虚拟美容整形系统，正如以上说明所示，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分的变形产生的对周边的偏移，所以具有可以获得对自身脸面一部分自然地变形的图像的效果。

与本发明的权利要求11有关的虚拟美容整形系统，正如以上说明所示，因为在眼或鼻等想变形的部分用点指定时，对包含该点的矩形区域作为前述特征部分抽出，围绕前述特征部分的矩形区域作为前述吸收部分抽出，所以具有可以获得对自身脸面一部分自然变形的图像的效果。

与本发明的权利要求12有关的虚拟美容整形系统，正如以上说明所示，因为前述吸收部分对由前述特征部分的变形产生的畸变用二维内插的坐标变换实现光滑化，所以具有可以获得对自身脸面一部分自然地变形的图像的效果。

[符号说明]1终端，2图像输入手段，3脸面数据，4程序，5图像输出手段，6程序部，7服务器，8数据变换部，8a数据压缩/扩张部，8b数据密码化/解密部，9网络，10数据变换部，10a数据压缩/扩张部，10b数据密码化/解密部。

Claims (12)

1.虚拟美容整形系统，其特征为，它包含以下手段；

输入脸面图像数据的脸面图像数据输入手段；和

输入前述脸面图像数据的变形信息的变形信息输入手段；和

根据前述变形信息，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形的变形处理手段，以便吸收由前述特征部分变形产生的对周边的偏移(ずれ)；

2.根据权利要求1所述的虚拟美容整形系统，其特征为，

前述变形信息输入手段作为前述变形信息输入前述脸面图像数据的变更部分及其变更量。

3.虚拟美容整形系统，其特征为，它包含以下手段；

储存虚拟美容整形程序的服务器；和

输入脸面图像数据的脸面图像数据输入手段；和

输入前述脸面图像数据的变形信息的变形信息输入手段；和

从前述服务器经网络接收前述虚拟美容整形程序，执行该虚拟美容整形程序的处理终端，

前述处理终端，根据前述变形信息，把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分变形产生的对周边的偏移。

4.根据权利要求3所述的虚拟美容整形系统，其特征为，

前述处理终端对前述特征部分进行扩大和旋转的预定变形处理，同时对前述吸收部分进行变形处理，以便与前述特征部分处理对应，保持前述特征部分及其周边图像的连续性。

5.虚拟美容整形系统，其特征为，它包含以下手段；

输入脸面图像数据的图像数据输入手段；和

输入前述脸面图像数据的变形信息的变形信息输入手段；和

发送由前述脸面图像数据输入手段及前述变形信息输入手段输入的前述脸面图像数据及其变形信息的处理终端；和

由前述处理终端发送的前述脸面图像数据及其变形信息经网络接收的服务器；

前述服务器根据前述变形信息把作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分从前述脸面图像数据抽出，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分的变形产生的对周边的偏移。

6.根据权利要求5所述的虚拟美容整形系统，其特征为，

前述服务器对前述特征部分进行放大及旋转的预定变形处理，同时对前述吸收部分进行变形处理，以便与前述特征部分的处理对应，保持前述特征部分及其周边部分的图像连续性。

7.根据权利要求2或4所述的虚拟美容形象系统，其特征为，

前述服务器具有经前述网络发送接收数据期间实施预定的计费的计费处理部。

8.根据权利要求2或4所述的虚拟美容形象系统，其特征为，

前述处理终端具有压缩/扩张经前述网络发送接收的数据的第1数据压缩/扩张部，

前述服务器具有压缩/扩张经前述网络发送接收的数据的第2数据压缩/扩张部。

9.根据权利要求2或4所述的虚拟美容形系统，其特征为，

前述处理终端具有对经前述网络发送接收的数据进行密码化解密的第1数据密码化/解密部，

前述服务器具有对通过前述网络发送接收的数据进行密码化/解密的第2数据密码化/解密部。

10.虚拟美容整形法，其特征为，

从脸面图像数据抽出作为想变形的部分选择的特征部分和围绕该特征部分的吸收部分，对前述特征部分进行预定的变形，同时对前述吸收部分进行变形，以便吸收由前述特征部分产生的对周边的偏移。

11.根据权利要求10所述的虚拟美容整形方法，其特征为，

在眼或鼻等想变形的部分用点指定的情况下，包含该点的矩形区域作为前述特征部分被抽出，围绕前述特征部分的矩形区域作为前述吸收部分抽出。

12.根据权利要求10或11所述的虚拟美容整形方法，其特征为，

前述吸收部分对由前述特征部分的变形产生的畸变用二维内插的坐标变换进行平滑。

Images