CN104952106A - 用于提供虚拟整形手术社交网络服务的方法和装置 - Google Patents

用于提供虚拟整形手术社交网络服务的方法和装置 Download PDF

Info

Publication number
CN104952106A
CN104952106A CN201410589202.4A CN201410589202A CN104952106A CN 104952106 A CN104952106 A CN 104952106A CN 201410589202 A CN201410589202 A CN 201410589202A CN 104952106 A CN104952106 A CN 104952106A
Authority
CN
China
Prior art keywords
facial model
plastic operation
user
virtual plastic
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410589202.4A
Other languages
English (en)
Inventor
金钟旻
李尚纪
金万洙
安敏虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tricubics Inc
Original Assignee
Tricubics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tricubics Inc filed Critical Tricubics Inc
Publication of CN104952106A publication Critical patent/CN104952106A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种用于提供虚拟整形手术社交网络服务的方法和装置，该装置包括：三维(3D)脸部模型生成单元，配置成通过来自便携式相机的图像产生3D脸部模型；3D脸部模型数据库管理单元，配置成存储和管理3D脸部模型以及这些3D脸部模型的虚拟整形手术的结果，并且在SNS(社交网络服务)上将虚拟整形手术的结果与人共享；虚拟整形手术模拟单元，配置为允许用户通过使用朋友的共享的脸部模型的特定脸部部分，或者通过使用已知的艺人的特定脸部的部分，直接实施虚拟的整形手术；以及社交网络服务单元，配置成允许用户在SNS上与人共享模拟的结果，或者连接至用户想要咨询的专家。

Description

用于提供虚拟整形手术社交网络服务的方法和装置
相关申请的交叉引用
本申请以申请日为2014年3月31日的韩国专利申请No.10-2014-0038190为基础，并且请求该申请的优先权，其全部公开内容并入本文作为参考。
技术领域
本发明涉及一种用于提供虚拟整形手术(plastic surgery)服务的方法和装置，尤其涉及一种服务方法和装置，用于从由诸如智能手机等的便携式相机或者数码单反(DSLR)相机捕获的一系列图像中创建三维脸部模型、与用户的朋友或者专家共享该脸部模型、以及实施虚拟整形手术模拟同时允许用户将该模拟结果与朋友分享或者向专家咨询。
背景技术
已经存在这种服务，通过通信网络将信息和人(用户)的脸部照片发送至专家，以由此允许用户向专家咨询整形手术后他们的容貌。然而，由于在线提供的咨询通常基于二维照片，所以对用户来说对于整形手术的结果在线进行充分的咨询是困难的。
为了获得三维(3D)虚拟整形手术的咨询以看到在整形手术前和之后的变化，用户需要去整形手术专科医院，并且在那里向专家咨询，这样很麻烦并且发生费用。而且，实际上几乎不可能向其他医院的其他专家就该虚拟整形手术的咨询结果咨询。另外，从专业医院的角度，由于他们需要购买高价的设备用于生成3D脸部模型，所以这需要高的成本。
发明内容
针对上述问题，本公开提供了一种服务方法和装置，用于从一系列由诸如智能手机等的便携式相机或者DSLR相机捕获的一系列图像创建三维脸部模型，与用户的朋友或者专家共享该脸部模型，并且实施虚拟整形手术模拟，同时允许用户将该模拟结果与朋友分享或者向专家咨询。
然而，本公开要解决的问题不限于上述的描述和从以下的描述中本领域技术人员可清楚地理解的其它的问题。
根据本发明的示例性的实施例，一种虚拟整形手术社交网站(SNS)服务装置，用于提供虚拟整形手术服务，该装置包括：三维(3D)脸部模型生成单元，配置成通过使用来自便携式相机的图像产生3D脸部模型；3D脸部模型数据库管理单元，配置成存储和管理所述3D脸部模型和虚拟整形手术的结果，使得在SNS(社交网络服务)上与人共享所述3D脸部模型和所述虚拟整形手术的结果；虚拟整形手术模拟单元，配置为允许用户通过使用朋友的共享的脸部模型的某脸部部分，或者通过使用已知的艺人的某脸部部分直接实施虚拟整形手术的模拟；以及社交网络服务单元，配置成允许用户在SNS上与人共享模拟的结果，或者将用户连接至想要咨询的专家。
根据本发明的另一示例性实施例，一种通过使用虚拟的整形手术SNS服务装置提供虚拟整形手术服务的方法，所述方法包括：通过使用来自便携式相机的图像生成3D脸部模型；存储所述生成的3D脸部模型；设置所述用户的3D脸部模型的开放范围使得所述3D脸部模型可与整形外科的专家或者用户的朋友共享；通过使用所述共享的3D脸部模型向整形手术的专家就虚拟整形手术进行咨询；实施虚拟的整形手术，其中用户采用共享的其他人的3D脸部模型的相应部分或者基本上由所述装置提供的3D脸部模型的相应部分替换用户的某部分；以及在社交网络服务上与朋友共享所述虚拟整形手术的结果。
根据上述的用于提供虚拟整形手术服务的方法和装置，用户能够通过使用他/她自己的便携式相机，以低价格容易地为他的/她的3D脸部建模，并且能够通过与专家共享3D脸部模型，向专家就虚拟整形手术的模拟结果咨询，而无需去专科的整形手术医院。因此，与传统的获得二维脸部照片的情况相比，能够获得整形手术的更高质量的模拟结果。
而且，根据本发明的示例性的实施例，提供一种服务，通过该服务，用户可基于社交网络服务与其他朋友共享3D脸部模型，并且还能够将该3D脸部模型的某脸部部位施加到他/她自己的3D脸部模型的相应部分。而且，用户可以向其他人包括朋友展示模拟的结果。因此，可促进虚拟整形手术服务的使用。
另外，根据本发明的示例性实施例，离医院很远的病人，或者国外的病人可在他们去医院之前了解或者检查其面部在整形手术之前或者之后的变化，也就是整形手术的结果。因此，医疗服务的质量得以提升，可以防止来自病人的可能的投诉。因此，可以为病人和医院都提供有利的服务。
附图说明
图1是示出了根据本发明的示例性实施例的虚拟整形手术SNS服务装置的视图。
图2是用于描述根据本发明的示例性实施例的虚拟整形手术SNS服务过程的流程图。
图3是用于描述根据本发明的示例性实施例的，用于个别的脸部部分的虚拟整形手术模拟方法的流程图。
其中，附图标记说明如下：
100：3D脸部模型生成单元
200：3D脸部模型数据库管理单元
300：虚拟整形手术模拟单元
400：社交网络服务单元
具体实施方式
本发明的优点和特点以及实现其的方法将从下文中结合附图给出的示例性实施的描述中变得清楚。示例性实施例将被详细描述使得本领域技术人员将容易地实施发明构思。
然而，应当注意，示例性实施例的意图绝不是用于限定，在不脱离本发明的技术构思的范围内，可作出多种修正。本发明构思的范围由所附的权利要求而不是由示例性实施例的详细描述来限定。
在整个文件中，术语“第一”以及“第二”用于指定不同的元件。然而，元件不应当被术语限定，并且术语应当仅仅用于将一个元件与其它元件区分的目的。作为示例，不脱离权利要求的范围，第一元件可被称作第二元件，同样的，第二元件也可被称为第一元件。此外，术语“和/或”用于指定多个相关项目的结合或者这些相关项目中的任何一个。
在整个文件中，术语“连接至“或者”耦合至“用于指定一个元件连接或者耦合至另一个元件，并且同时包括元件直接连接或者耦合至另一个元件的情形，以及一个元件通过另外一个元件间接地连接或者耦合至另一个元件的情形。同时，当使用术语“直接地连接至”或者“直接地耦合至”时，应当理解在两个元件之间不存在其它元件。
本申请中使用的多个术语用于描述具体的示例性实施例，无论如何不意味着限制。除非本文中有相反的限定，单数形式包括复数形式。在整个文件中，术语“包括”或者“具有”用于表示
在整个文件中，文件中使用的术语“包含或者包括”，和/或“包含或者包括”意味着除了描述的部件、步骤、操作和/或元件外，不被排除一个或者多个其它特征、数值、部件、步骤、操作和/或元件的存在或者添加。
除非另外限定，该文件中使用的所有包括技术的和科学的名词的术语具有与本领域技术人员通常理解的相同的含义。在常用的词典中定义的术语应当被解释为具有相关领域语境中理解的相同的含义，并且除非在该文件中清楚限定，其不应当被解释为具有不切实际的或者过度刻板的含义。
下文中，将结合附图详细地描述本公开的示例性实施例，附图形成作为本公开的一部分。在整个附图和下面的描述中，类似的部分将标记为类似的附图标记，并且将省略其多余的描述以便于理解本公开。
图1是示出了根据本发明的示例性实施例的虚拟整形手术SNS服务装置的视图。
参考图1，示例性实施例的虚拟整形手术SNS服务装置包括3D脸部模型生成单元100、3D脸部模型数据库管理单元200、虚拟整形手术模拟单元300、以及社交网络服务单元400。
3D脸部模型生成单元100配置成接收从便携式相机中输入的用户脸部的图像，分析用户的一系列脸部图像，生成3D点云，并且随后再次生成3D脸部网格。这里，3D脸部模型生成单元100将3D脸部标准模型(可以逐部分地修改)匹配至3D脸部网格，以由此生成可以逐部分地修改的3D脸部模型。此时，为了展示用户的脸部皮肤，3D脸部模型生成单元100还产生脸部皮肤纹理图。
随后，3D脸部模型数据库管理单元200在3D脸部模型数据库中存储用户的3D脸部模型和皮肤纹理图以及用户的个人轮廓(profile)，并且管理该数据库。然后，3D脸部模型数据库管理单元200处理该用户的3D脸部模型，使得存储在这里的3D脸部模型可以在之后用于虚拟整形手术模拟单元300和社交网络服务单元400。
社交网络服务单元400通过3D脸部模型数据库管理单元200设置社交网络上个人的3D脸部模型信息的开放范围。对于个人的3D脸部模型信息的开放范围，可以指定诸如特定医院的专家或者用户的朋友等的特定的人，或者诸如用户的朋友或者家庭群、鼻子整形专家群等的特定的人群，等等。
随后，虚拟整形手术模拟单元300为用户提供模拟，其中用户的3D脸部模型的某部分可通过使用对用户开放的3D脸部模型信息，或者通过使用由系统提供的模板而被修改。这里，修改可针对单个的脸部部分。作为示例，用户可以用朋友的鼻子或者眼睛改变他/她的鼻子或者眼睛。此时，修改部分的边界线可以自动修正以适应用户的脸部模型。
图2是描述根据本发明的示例性实施例的虚拟整形手术SNS服务过程的流程图。
参考图2，根据本发明的示例性实施例，采用便携式相机从左至右或者从右至左捕获用户的脸部图像(S100)。捕获的图像可以是移动的图片或者一系列连贯的图像。
随后，通过分析捕获的图像之间的相互关系生成用户的3D脸部模型(S101)。在这个过程中，首先生成3D点云，并且随后再次生成3D脸部网格。此时，通过将可逐部分地修正的3D脸部标准模型与3D脸部网格匹配，生成可逐部分地修正的用户3D脸部模型。
此时，还生成脸部皮肤纹理图以表达用户的脸部皮肤。随后，将3D脸部模型的网格和脸部皮肤纹理图存储至3D脸部模型数据库(S102)。随后，用户决定是否就整形手术向专家咨询(S103)。如果用户想要向专家咨询，用户将他的/她的3D脸部模型向专家或者专家群开放(S104)。随后，专家通过使用用户向其开放的3D脸部模型实施虚拟整形手术，并且随后将虚拟整形手术的结果发送给要求了该服务的用户(S105)。
另一方面，如果用户决定不向专家咨询，用户检查是否有其他人的3D脸部模型是共享的(S106)。如果存在有其他人共享的3D脸部模型，用户可以实施模拟，将他的/她的脸的某部分用开放的其他人的脸的相应部分替换(S107)。如果发现没有其他人的3D脸部图像，用户可以采用模板实施模拟，将他的/她的脸的某部分用系统提供的单个的脸部部分替换(S108)。此时，修改部分的边界线可自动修正以适应用户的脸部轮廓。随后，虚拟整形手术的结果可视地显示在用户一侧的监视器上(S109)。
图3是描述根据本发明的示例性实施例的用于单个脸部部分的虚拟整形手术模拟方法的流程图。
参考图3，从用户的脸部选择要经受虚拟整形手术的主题脸部部分，诸如鼻子、眼睛或者下巴等，并且也选择将用于替换用户的主题脸部部分的目的脸部部分(S200)。由于形成主题脸部部分和目标脸部部分的3D顶点(vertex)的坐标值可以不同，因此实施标准化来对其进行调整(S201)。
随后，目标脸部部分的网格相应于主题脸部部分上的标记而被对齐(S202)。这里，标记可定义为在整形手术过程中不变的某些点。
之后，确定主题脸部部分和目标脸部部分的匹配是要关于主题脸部部分的边界、关于目标脸部部分的边界线，或者关于介于两个边界线之间的中间值而被执行(S203)。
随后，关于设定的边界线消除主题脸部部分的网格，将目标脸部部分的网格合成到主题脸部部分的网格之上(S204)。此时，需要执行自动修正以对齐边界线。随后，由于用户的脸部的曲线轮廓和合成的边界部分可能会不光滑，所以通过改变两个连接的网格之间的法向向量执行使边界线光滑的表面弯曲过程(S205)。
尽管结合附图对本公开的示例性实施例进行了描述，本领域技术人员应当理解，本发明可以在不改变其必要的特征或者本发明的主旨的基础上以多种方式实现。因此，应当理解上文描述的示例性的实施例不是限制性的，而仅是所有方面中的示例。本公开的范围由以下的权利要求表达，而不是由详细的描述表达，而且其应当被解释为从权利要求和其等价物概念的含义和范围获得的所有改变和修正都包括在本发明的范围内。

Claims (12)

1.一种虚拟整形手术社交网站服务(SNS)服务装置，用于提供虚拟整形手术服务，该装置包括：
三维(3D)脸部模型生成单元，配置成通过使用来自便携式相机的图像生成3D脸部模型；
3D脸部模型数据库管理单元，配置成存储和管理所述3D脸部模型以及虚拟整形手术的结果，使得所述3D脸部模型以及所述虚拟整形手术的结果在SNS(社交网络服务)上与人共享；
虚拟整形手术模拟单元，配置为允许用户通过使用在所述SNS上其他人共享的脸部模型的某脸部部分直接实施虚拟整形手术的模拟；以及
社交网络服务单元，配置成允许所述用户在SNS上与人共享所述模拟的结果，或者将所述用户连接至要咨询的专家。
2.如权利要求1所述的虚拟整形手术SNS服务装置，
其中所述3D脸部模型生成单元配置成接收来自所述便携式相机的所述用户脸部图像，通过分析所述用户的一系列脸部图像来生成3D点云，并且生成3D脸部网格和皮肤纹理图。
3.如权利要求1所述的虚拟整形手术SNS服务装置，
其中所述3D脸部模型生成单元配置成通过将可以逐部分地修正的3D脸部标准模型与所述3D脸部网格匹配，以生成可以逐部分地修正的所述3D脸部模型。
4.如权利要求1所述的虚拟整形手术SNS服务装置，
其中所述社交网络服务单元配置成指定某人或者某人群作为用户3D脸部数据库中存储的个人的3D脸部模型的开放范围。
5.如权利要求1所述的虚拟整形手术SNS服务装置，
其中所述虚拟整形手术模拟单元配置成通过使用向所述用户开放的3D脸部模型信息，或者通过使用由系统提供的模板，提供修正所述用户的3D脸部模型的某部分的模拟。
6.如权利要求1所述的虚拟整形手术SNS服务装置，
其中虚拟整形手术是针对所述虚拟整形手术模拟单元内单独的脸部部分执行的，并且此时，自动修改修正部分的边界以适应所述用户的所述脸部模型。
7.一种使用虚拟整形手术SNS服务装置提供虚拟整形手术服务的方法，所述方法包括：
通过使用来自便携式相机的图像生成3D脸部模型；
存储所述生成的3D脸部模型；
设置用户的3D脸部模型的开放范围，使得所述3D脸部模型可与整形外科的专家或者社交网络服务上的人们共享；
通过所述共享的3D脸部模型向整形手术的专家就虚拟整形手术咨询；
实施虚拟整形手术，其中用户采用其他人的共享的3D脸部模型的相应部分或者基本上由所述装置提供的3D脸部模型的相应部分替换所述用户的某部分；以及
在所述社交网络服务上与人们共享所述虚拟整形手术的结果。
8.如权利要求7所述的方法，
其中所述通过使用来自所述便携式相机的图像生成所述3D脸部模型的过程包括：
接收多个移动的图片或者连续的图像；
通过分析所述多个图像之间的相互关系生成3D点云；
生成3D脸部网格；
通过将可逐部分修改的3D脸部标准模型与所述3D脸部网格匹配，生成可逐部分修改的3D脸部模型；以及
生成用于表达所述用户的脸部皮肤的脸部皮肤纹理图。
9.如权利要求7所述的方法，
其中设置所述用户的所述3D脸部模型的所述开放范围使得所述3D脸部模型可与专家或者所述社会网络上的人们共享的过程包括：
设置所述用户所述的3D脸部模型与朋友或者朋友群共享，或者与所述用户就整形手术要咨询的专家或者专家群共享。
10.如权利要求7所述的方法，
其中通过使用所述共享的3D脸部模型向整形手术的专家就虚拟整形手术咨询的过程包括所述专家通过采用所述用户的所述共享的3D脸部模型实施虚拟整形手术模拟，并且将表现整形手术后他的/她的外貌的结果提供给所述用户的过程。
11.如权利要求7所述的方法，
其中，在实施虚拟整形手术的过程中用户采用其他人的所述共享的3D脸部模型的相应部分，或者基本上由所述装置提供的所述3D脸部模型的相应部分替换用户某部分，该过程包括：
检查是否存在其他人的任何共享的3D脸部模型；
如果存在有其他人的任何共享的3D脸部模型，实施将所述用户的脸的某部分采用那个人的相应脸部部分替换的模拟；并且
如果没有发现其他人的3D脸部模型，通过使用系统提供的用于各脸部部分的模板，实施替换所述用户的某部分的模拟。
12.如权利要求7所述的方法，
其中，在实施虚拟整形手术的过程中用户采用其他人的所述共享的3D脸部模型的相应部分，或者基本上由所述装置提供的所述3D脸部模型的相应部分替换所述用户的某部分，该过程包括：
选择要经受虚拟整形手术的所述用户的主题脸部部分以及要替换所述主题脸部部分的目标脸部部分；
将形成所述主题脸部部分和所述目标脸部部分的网格的三维顶点的坐标值标准化；
将所述目标脸部部分的网格关于所述主题脸部部分的标记对齐；
匹配所述主题脸部部分和所述目标脸部部分之间的边界线；以及
对所述边界线实施表面弯曲过程。
CN201410589202.4A 2014-03-31 2014-10-28 用于提供虚拟整形手术社交网络服务的方法和装置 Pending CN104952106A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140038190A KR102294927B1 (ko) 2014-03-31 2014-03-31 가상 성형 sns 서비스 방법 및 장치
KR10-2014-0038190 2014-03-31

Publications (1)

Publication Number Publication Date
CN104952106A true CN104952106A (zh) 2015-09-30

Family

ID=54166731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410589202.4A Pending CN104952106A (zh) 2014-03-31 2014-10-28 用于提供虚拟整形手术社交网络服务的方法和装置

Country Status (3)

Country Link
US (1) US20150272691A1 (zh)
KR (2) KR102294927B1 (zh)
CN (1) CN104952106A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN106446793A (zh) * 2016-08-31 2017-02-22 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
CN107123160A (zh) * 2017-05-02 2017-09-01 成都通甲优博科技有限责任公司 基于三维立体图像的模拟整容系统、方法及移动终端
CN107122727A (zh) * 2017-04-20 2017-09-01 北京旷视科技有限公司 用于脸部整形的方法、装置及系统
CN107993280A (zh) * 2017-11-30 2018-05-04 广州星天空信息科技有限公司 基于三维模型的美容方法及系统
CN109191508A (zh) * 2018-09-29 2019-01-11 深圳阜时科技有限公司 一种模拟整容装置、模拟整容方法及设备
CN110215282A (zh) * 2019-06-19 2019-09-10 成都天府新区可纳儿医疗美容门诊部有限公司 一种3d眼部模拟方法
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110533761A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10682147B2 (en) 2013-11-29 2020-06-16 The Johns Hopkins University Patient-specific trackable cutting guides
WO2016086049A1 (en) 2014-11-24 2016-06-02 The Johns Hopkins University A cutting machine for resizing raw implants during surgery
WO2017013925A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
AU2016316683B2 (en) 2015-09-04 2020-07-23 The Johns Hopkins University Low-profile intercranial device
CN106774879B (zh) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 一种基于ar虚拟现实技术的整形手术体验系统
CN111354478A (zh) * 2018-12-24 2020-06-30 黄庆武整形医生集团(深圳)有限公司 整形模拟信息处理方法、整形模拟终端和整形服务终端
WO2020170160A1 (en) * 2019-02-19 2020-08-27 Augmented Anatomy Bvba Improved augmentation of a visualisation of reality for facial injection
CN112734626A (zh) * 2019-10-14 2021-04-30 成都武侯珍妍医疗美容门诊部有限公司 一种深度学习模型的鼻部虚拟整形方法
KR102533858B1 (ko) * 2019-11-13 2023-05-18 배재대학교 산학협력단 성형 시뮬레이션 서비스 시스템 및 방법
KR102195032B1 (ko) * 2020-04-03 2020-12-24 최홍규 외국인 여행객의 여행스케줄에 따라 가능한 성형을 추천하는 빅데이터 성형추천 시스템
KR102567862B1 (ko) * 2020-08-10 2023-08-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
KR102273146B1 (ko) * 2020-11-24 2021-07-05 애니메디솔루션 주식회사 수술용 보형물 제작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1453748A (zh) * 2003-05-13 2003-11-05 中国医学科学院整形外科医院 一种个性化面部整形人工植入体的数字化制备方法
US20080226144A1 (en) * 2007-03-16 2008-09-18 Carestream Health, Inc. Digital video imaging system for plastic and cosmetic surgery
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
US20100328307A1 (en) * 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法
CN103649987A (zh) * 2011-07-07 2014-03-19 花王株式会社 脸印象分析方法、美容信息提供方法和脸图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010008663A (ko) * 1999-07-02 2001-02-05 하은용 인터넷상의 가상 성형 수술 시뮬레이션 방법
KR20020008260A (ko) * 2000-07-20 2002-01-30 오석중 통신망을 이용한 가상성형수술 시뮬레이션 시스템 및 방법
KR20090000635A (ko) * 2007-03-12 2009-01-08 주식회사 케이티 사용자의 선호도를 만족시키는 3차원 얼굴 성형 시스템 및그 방법
KR20140006138A (ko) * 2012-06-26 2014-01-16 동서대학교산학협력단 가상성형 단말기 및 그를 이용한 가상성형 시스템
KR20140028523A (ko) * 2012-08-29 2014-03-10 주식회사 쓰리디팩토리 무안경 ３ｄ 방식을 이용한 성형외과 운영 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1453748A (zh) * 2003-05-13 2003-11-05 中国医学科学院整形外科医院 一种个性化面部整形人工植入体的数字化制备方法
US20080226144A1 (en) * 2007-03-16 2008-09-18 Carestream Health, Inc. Digital video imaging system for plastic and cosmetic surgery
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
US20100328307A1 (en) * 2009-06-25 2010-12-30 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
CN103649987A (zh) * 2011-07-07 2014-03-19 花王株式会社 脸印象分析方法、美容信息提供方法和脸图像生成方法
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SONGSLEE: "让你在线模拟整容一把-LiftMagic", 《HTTPS://YOUQUHOME.COM/1743/》 *
新浪女性: "模拟整容App 让你在开刀前反悔", 《HTTP://ELADIES.SINA.COM.CN/BEAUTY/LIANGLI/2013/0523/07491224479_3.SHTML》 *
袁芳林: "人脸三维测量系统在医学测量中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭宇 等: "基于数字化技术的个性化隆鼻术", 《机械设计与制造》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN105938627B (zh) * 2016-04-12 2020-03-31 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN106446793A (zh) * 2016-08-31 2017-02-22 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
US11727627B2 (en) 2017-03-08 2023-08-15 Ebay Inc. Integration of 3D models
CN110494864B (zh) * 2017-03-08 2023-08-11 电子湾有限公司 3d模型的集成
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN107122727B (zh) * 2017-04-20 2020-03-13 北京旷视科技有限公司 用于脸部整形的方法、装置及系统
CN107122727A (zh) * 2017-04-20 2017-09-01 北京旷视科技有限公司 用于脸部整形的方法、装置及系统
CN107123160A (zh) * 2017-05-02 2017-09-01 成都通甲优博科技有限责任公司 基于三维立体图像的模拟整容系统、方法及移动终端
CN107993280A (zh) * 2017-11-30 2018-05-04 广州星天空信息科技有限公司 基于三维模型的美容方法及系统
CN110533761A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN109191508A (zh) * 2018-09-29 2019-01-11 深圳阜时科技有限公司 一种模拟整容装置、模拟整容方法及设备
CN110215282B (zh) * 2019-06-19 2020-09-15 成都天府新区可纳儿医疗美容门诊部有限公司 一种3d眼部模拟方法
CN110215282A (zh) * 2019-06-19 2019-09-10 成都天府新区可纳儿医疗美容门诊部有限公司 一种3d眼部模拟方法

Also Published As

Publication number Publication date
US20150272691A1 (en) 2015-10-01
KR20150114138A (ko) 2015-10-12
KR102294927B1 (ko) 2021-08-30
KR20210110533A (ko) 2021-09-08

Similar Documents

Publication Publication Date Title
CN104952106A (zh) 用于提供虚拟整形手术社交网络服务的方法和装置
US20210358214A1 (en) Matching meshes for virtual avatars
US11430169B2 (en) Animating virtual avatar facial movements
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
CN112437950A (zh) 用于对虚拟头像制作动画的骨架系统
CN109219835A (zh) 三维打印的定制可穿戴物件的生成
US20220076474A1 (en) Computer generated hair groom transfer tool
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
US9367944B2 (en) Tree model and forest model generating method and apparatus
US20110234581A1 (en) Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
CN106204698A (zh) 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN104395929A (zh) 使用深度相机的化身构造
CN106920277A (zh) 模拟美容整形效果可视化在线自由面雕的方法及系统
CN112419454B (zh) 一种人脸重建方法、装置、计算机设备及存储介质
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
KR20160138729A (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
CN112419485B (zh) 一种人脸重建方法、装置、计算机设备及存储介质
KR101397476B1 (ko) 3d 가상성형기를 이용한 가상성형방법
KR20170103364A (ko) 3d 볼륨 마스크 모델정보 생성 장치 및 그 방법
JP2006107145A (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
JP2022512262A (ja) 画像処理方法及び装置、画像処理機器並びに記憶媒体
CN116958430A (zh) 一种人脸建模方法、装置、设备及介质
Rudolph et al. Technosapiens: merging humans with technology in augmented reality
KR20200029968A (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
Fratarcangeli et al. Facial motion cloning with radial basis functions in MPEG-4 FBA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150930