CN111639553A - 一种基于视觉三维重建的定制面膜装置的制备方法 - Google Patents

一种基于视觉三维重建的定制面膜装置的制备方法 Download PDF

Info

Publication number
CN111639553A
CN111639553A CN202010408024.6A CN202010408024A CN111639553A CN 111639553 A CN111639553 A CN 111639553A CN 202010408024 A CN202010408024 A CN 202010408024A CN 111639553 A CN111639553 A CN 111639553A
Authority
CN
China
Prior art keywords
picture
face
coordinates
points
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408024.6A
Other languages
English (en)
Other versions
CN111639553B (zh
Inventor
纪刚
杨丰拓
杜靖
周粉粉
朱慧
柴琦
蒋云飞
安帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Lianhe Chuangzhi Technology Co ltd
Original Assignee
Qingdao Lianhe Chuangzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Lianhe Chuangzhi Technology Co ltd filed Critical Qingdao Lianhe Chuangzhi Technology Co ltd
Priority to CN202010408024.6A priority Critical patent/CN111639553B/zh
Publication of CN111639553A publication Critical patent/CN111639553A/zh
Application granted granted Critical
Publication of CN111639553B publication Critical patent/CN111639553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/002—Masks for cosmetic treatment of the face
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F7/007—Heating or cooling appliances for medical or therapeutic treatment of the human body characterised by electric heating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H23/00—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms
    • A61H23/02—Percussion or vibration massage, e.g. using supersonic vibration; Suction-vibration massage; Massage with moving diaphragms with electric or magnetic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
    • A61H39/04—Devices for pressing such points, e.g. Shiatsu or Acupressure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F2007/0001—Body part
    • A61F2007/0002—Head or parts thereof
    • A61F2007/0003—Face
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/02—Characteristics of apparatus not provided for in the preceding codes heated or cooled
    • A61H2201/0207—Characteristics of apparatus not provided for in the preceding codes heated or cooled heated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/02—Head
    • A61H2205/022—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Rehabilitation Therapy (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Finger-Pressure Massage (AREA)

Abstract

本发明公开了一种基于视觉三维重建的定制面膜装置的制备方法，包括如下步骤：拍摄多张人脸及参照物的图片，并在图片中的参照物上选择一条测量边，测量其在真实环境中的长度；选定一张正脸图片，标记穴位点和透气孔；使用三维重建技术获得每张图片的深度图和位姿；重建具有真实尺度的人脸三维模型；使用三维模型处理软件精修人脸三维模型，删除穴位点和透气孔处的空间坐标，获得内外层人脸模型；使用3D打印设备分别打印内外层人脸模型实体；将内外层人脸模型实体进行组装，制成定制面膜装置。本发明所公开的方法可以采用手机采集人脸图片，采用基于图像的三维重建技术与3D打印技术制作定制的贴合用户面部的面膜装置，并且具有自加热和按摩功能。

Description

一种基于视觉三维重建的定制面膜装置的制备方法
技术领域
本发明涉及一种面膜装置的制备方法，特别涉及一种基于视觉三维重建的定制面膜装置的制备方法。
背景技术
在生活水平日益提高的现代社会，人们越来越注重于脸部的美容护理。因此出现了护理人脸的面膜和面膜装置。
随着科技的进步和爱美人士的需求提高，面膜和面膜装置不断推陈出新，除了在材质及营养成分上的改进，面膜和面膜装置的功能也不断增加。目前市面上有各种各样的面膜和面膜装置，如不同添加成分的通用面膜，使用热敷促进面部吸收营养物质的加热面膜，使用按摩磁石的按摩面膜，常见于美容院中使用带脉冲促进血液循环放松面部皮肤的面膜，和使用深度扫描仪制作的定制面膜等。
以上这些面膜和面膜装置各有各的不足，大部分面膜的尺寸比较单一，不能很好地符合用户的面部轮廓大小，使面膜跟面部贴合度不够，从而导致面部的美容和护理不够全面。其次，这些面膜和面膜装置的功能比较单一，多样性不足。此外，上述面膜和面膜装置中定制面膜和面膜装置的制作需要昂贵的3D扫描仪采集面部数据，因设备的限制只能用于特定场所或少部分用户。
发明内容
为解决上述技术问题，本发明提供了一种基于视觉三维重建的定制面膜装置的制备方法，以达到可以采用手机采集人脸图片，采用基于图像的三维重建技术与3D打印技术制作定制的贴合用户面部的面膜装置，并且具有自加热和按摩功能的目的。
为达到上述目的，本发明的技术方案如下：
一种基于视觉三维重建的定制面膜装置的制备方法，包括如下步骤：
(1)拍摄多张人脸及参照物的图片，并在拍摄图片中的参照物上选择一条测量边，将其在真实空间中的长度以及测量边的两个端点在拍摄图片中的坐标存入尺度参考文件中；
(2)选定一张正脸图片，在正脸图片上检测人脸，并标记穴位点和透气孔，分别存入穴位点坐标文件和透气孔坐标文件；
(3)使用三维重建技术获得每张图片的深度图和位姿；
(4)借助尺度参考文件中的数据和深度图以及位姿，重建具有真实尺度的人脸三维模型；
(5)使用三维模型处理软件精修人脸三维模型，删除穴位点和透气孔处的空间坐标，获得内层人脸模型和外层人脸模型；
(6)使用3D打印设备根据内层人脸模型和外层人脸模型分别打印内层人脸模型实体和外层人脸模型实体；
(7)将内层人脸模型实体和外层人脸模型实体进行组装，制成定制面膜装置。
上述方案中，步骤(1)的具体方法如下：
在参照物上选择一个可直接测量且在拍摄的图片中出现次数多的边进行测量，得到测量边的真实长度L，在所有的拍摄图片上标记测量边的两个端点，将图片索引，被标记的点的坐标，测量边的真实长度L存入尺度参考文件中；
文件内容如下：
Figure BDA0002492045010000021
其中，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
上述方案中，步骤(2)的具体方法如下：
在正脸图片上检测人脸，根据检测框显示预设的穴位点，根据图片上人脸的实际情况移动穴位点符合拍摄的人脸穴位，标记修改后的穴位点坐标，记录修改后的穴位点坐标，存入穴位点坐标文件中；
穴位点坐标文件内容如下：
Figure BDA0002492045010000022
在正脸图片上的人脸检测框范围内，除鼻子、嘴巴、眼睛位置均匀分布透气孔，并记录透气孔坐标存入透气孔坐标文件中；
透气孔坐标文件内容如下：
Figure BDA0002492045010000031
其中，j,n分别为穴位点坐标和透气孔坐标的索引，xj,xn分别为穴位点和透气孔在正脸图片中的横坐标，yj,yn分别为穴位点和透气孔在正脸图片中的纵坐标。
上述方案中，步骤(3)的具体方法如下：
在拍摄的每张图片上提取特征点，匹配任意两张图片上的特征点获得匹配点对，使用对极约束或直接线性变换方法，结合匹配点对计算每张图片的位姿，并使用光束平差法优化位姿；使用基于双目视觉的立体匹配方法生成每张图片的深度图，使用深度图融合方法优化深度图，得到每张图片对应的深度图Di与位姿Tiw。
上述方案中，步骤(4)的具体方法如下：
读取尺度参考文件中的数据和深度图Di，计算每张图片上标记的测量边两个端点的对应的空间坐标Pi，Qi及这两个空间点的欧式距离li：
Figure BDA0002492045010000032
Figure BDA0002492045010000033
Figure BDA0002492045010000034
选择欧式距离中的中值
Figure BDA0002492045010000035
用于计算尺度缩放系数σ：
Figure BDA0002492045010000041
将每张图片对应的深度图乘上尺度缩放系数σ获得缩放后的深度图
Figure BDA0002492045010000042
还原人脸模型的真实尺度：
Figure BDA0002492045010000043
读取缩放后的深度图
Figure BDA0002492045010000044
及对应的位姿Tiw生成稠密点云，在稠密点云的基础上，划分三角网格，生成人脸三维模型；
其中，K为已经标定好的相机的内参模型，Di(xip,yip)和Di(xiq,yiq)分别为测量边的两个端点在深度图中对应坐标处的深度值，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
上述方案中，步骤(5)中，读取穴位点坐标文件和正脸图片对应的缩放后的深度图
Figure BDA0002492045010000045
计算每个穴位点的空间坐标，并删除人脸三维模型上以穴位点空间坐标为中心，半径为6mm的球体范围内的空间点实现设置按摩孔；
穴位点的空间坐标计算方法如下：
Figure BDA0002492045010000046
其中，Ej为标记在正脸图片上的第j个穴位点对应的空间点坐标，xj为第j个穴位点在正脸图片中的横坐标，yj为第j个穴位点在正脸图片中的纵坐标，
Figure BDA0002492045010000047
为第j个穴位点在缩放后的深度图中对应坐标处的深度值。
上述方案中，步骤(5)中，读取透气孔坐标文件和正脸图片对应的缩放后的深度图
Figure BDA0002492045010000048
计算每个透气孔的空间坐标，并删除人脸三维模型上以透气孔空间坐标为中心，半径为2mm的球体范围内的空间点；
透气孔的空间坐标的计算公式如下：
Figure BDA0002492045010000051
其中，Fn为标记在正脸图片上的第n个透气孔对应的空间点坐标，xn为第n个透气孔在正脸图片中的横坐标，yn为第n个透气孔在正脸图片中的纵坐标，
Figure BDA0002492045010000052
为透气孔在缩放后的深度图中对应坐标处的深度值。
上述方案中，步骤(5)中，将人脸三维模型直接加厚2mm生成内层人脸模型文件，将人脸三维模型按比例放大1.05倍后，加厚2mm生成外层人脸模型文件。
上述方案中，步骤(7)的具体方法如下：
在内层人脸模型实体上的穴位点位置处安装电动振动器，并在内层人脸模型实体上贴紧设置柔性电路板，然后将外层人脸模型实体与内层人脸模型实体通过卡扣连接，将电动振动器和柔性电路板包裹于内外层人脸模型实体之间，在下颌部位设置控制开关，从而组装成定制面膜装置。
通过上述技术方案，本发明提供的基于视觉三维重建的定制面膜装置的制备方法具有如下有益效果：
本发明采用基于视觉的三维重建技术，仅需一部手机即可实现采集用户人脸的数据并生成面部模型，结合3D打印技术制作的面膜装置为针对个人面部特征量身定制。并且，本发明中还添加了可控的柔性电路板加热和进行穴位按摩的电动振动器，功能多样，实现高效的美容呵护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于视觉三维重建的定制面膜装置的制备方法流程示意图；
图2为重建的人脸三维模型部分截图；
图3为精修后的人脸三维模型图；
图4为精修后的人脸三维模型侧视图；
图5为设置了按摩孔的人脸三维模型左视图；
图6为设置了按摩孔的人脸三维模型的主视图；
图7为设置了按摩孔和透气孔的人脸三维模型主视图；
图8为设置了按摩孔和透气孔的人脸三维模型侧视图；
图9为面膜装置示意图。
图中，1、外层人脸模型实体；2、内层人脸模型实体；3、口、鼻、眼处的通孔；4、控制开关；5、透气孔。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于视觉三维重建的定制面膜装置的制备方法，如图1所示，具体方法如下：
(1)拍摄多张人脸及参照物的图片，并在拍摄图片中的参照物上选择一条测量边，将其在真实空间中的长度以及测量边的两个端点在拍摄图片中的坐标存入尺度参考文件中；
在被拍摄人脸目标附近放置一个纹理丰富的参照物，例如，沙发、椅子或标定板等。使用手机、单反或其他拍摄设备围绕待重建人脸及参照物拍摄多张图片。拍摄的图片需要覆盖人脸的所有特征且相邻时刻两张图片的共视区域约为60％。在拍摄的过程中要尽可能完整的拍摄到参照物，以便于之后为人脸模型添加真实尺度。
在参照物上选择一个可直接测量且在拍摄的图片中出现次数多的边进行测量，得到测量边的真实长度L，在所有的拍摄图片上标记测量边的两个端点，将图片索引，被标记的点的坐标，测量边的真实长度L存入尺度参考文件中；
文件内容如下：
Figure BDA0002492045010000061
其中，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
(2)选定一张正脸图片，在正脸图片上检测人脸，并标记穴位点和透气孔，分别存入穴位点坐标文件和透气孔坐标文件；
在正脸图片上检测人脸，根据检测框显示预设的穴位点，根据图片上人脸的实际情况移动穴位点符合拍摄的人脸穴位，标记修改后的穴位点坐标，记录修改后的穴位点坐标，存入穴位点坐标文件中；
穴位点坐标文件内容如下：
Figure BDA0002492045010000071
在正脸图片上的人脸检测框范围内，除鼻子、嘴巴、眼睛位置均匀分布透气孔，并记录透气孔坐标存入透气孔坐标文件中；
透气孔坐标文件内容如下：
Figure BDA0002492045010000072
其中，j,n分别为穴位点坐标和透气孔坐标的索引，xj,xn分别为穴位点和透气孔在正脸图片中的横坐标，yj,yn分别为穴位点和透气孔在正脸图片中的纵坐标。
(3)使用三维重建技术获得每张图片的深度图和位姿；
在拍摄的每张图片上提取特征点，匹配任意两张图片上的特征点获得匹配点对，使用对极约束或直接线性变换方法，结合匹配点对计算每张图片的位姿，并使用光束平差法优化位姿；使用基于双目视觉的立体匹配方法生成每张图片的深度图，使用深度图融合方法优化深度图，得到每张图片对应的深度图Di与位姿Tiw。
(4)借助尺度参考文件中的数据和深度图以及位姿，重建具有真实尺度的人脸三维模型；
读取尺度参考文件中的数据和深度图Di，计算每张图片上标记的测量边两个端点的对应的空间坐标Pi，Qi及这两个空间点的欧式距离li：
Figure BDA0002492045010000081
Figure BDA0002492045010000082
Figure BDA0002492045010000083
选择欧式距离中的中值
Figure BDA0002492045010000084
用于计算尺度缩放系数σ：
Figure BDA0002492045010000085
将每张图片对应的深度图乘上尺度缩放系数σ获得缩放后的深度图
Figure BDA0002492045010000086
还原人脸模型的真实尺度：
Figure BDA0002492045010000087
读取缩放后的深度图
Figure BDA0002492045010000088
及对应的位姿Tiw生成稠密点云，在稠密点云的基础上，划分三角网格，生成人脸三维模型，如图2所示；
其中，K为已经标定好的相机的内参模型，Di(xip,yip)和Di(xiq,yiq)分别为测量边的两个端点在深度图中对应坐标处的深度值，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
(5)使用三维模型处理软件精修人脸三维模型，删除穴位点和透气孔处的空间坐标，获得内层人脸模型和外层人脸模型；
精修：删除明显不属于人脸的部分的三角网格，裁剪曲面并扣除眼睛，鼻子嘴巴位置的曲面，获得精修后的人脸三维模型，如图3和图4所示；
读取穴位点坐标文件和正脸图片对应的缩放后的深度图
Figure BDA0002492045010000089
计算每个穴位点的空间坐标，并删除人脸三维模型上以穴位点空间坐标为中心，半径为6mm的球体范围内的空间点实现设置按摩孔，如图5和图6所示；设置的按摩穴位为印堂穴、攒竹穴、睛明穴、迎香穴、承泣穴、四白穴、地仓穴、鱼腰穴、承浆穴、丝竹穴等。
穴位点的空间坐标计算方法如下：
Figure BDA0002492045010000091
其中，Ej为标记在正脸图片上的第j个穴位点对应的空间点坐标，xj为第j个穴位点在正脸图片中的横坐标，yj为第j个穴位点在正脸图片中的纵坐标，
Figure BDA0002492045010000092
为第j个穴位点在缩放后的深度图中对应坐标处的深度值。
读取透气孔坐标文件和正脸图片对应的缩放后的深度图
Figure BDA0002492045010000093
计算每个透气孔的空间坐标，并删除人脸三维模型上以透气孔空间坐标为中心，半径为2mm的球体范围内的空间点；
透气孔的空间坐标的计算公式如下：
Figure BDA0002492045010000094
其中，Fn为标记在正脸图片上的第n个透气孔对应的空间点坐标，xn为第n个透气孔在正脸图片中的横坐标，yn为第n个透气孔在正脸图片中的纵坐标，
Figure BDA0002492045010000095
为透气孔在缩放后的深度图中对应坐标处的深度值。
最终生成的设置了按摩孔和透气孔的人脸三维模型见图7和图8所示。
最后，将人脸三维模型直接加厚2mm生成内层人脸模型文件，将人脸三维模型按比例放大1.05倍后，加厚2mm生成外层人脸模型文件。
(6)使用3D打印设备根据内层人脸模型和外层人脸模型分别打印内层人脸模型实体2和外层人脸模型实体1；
其中内层人脸模型实体2使用TPU材料，外层人脸模型实体1使用树脂类材料。
(7)将内层人脸模型实体2和外层人脸模型实体1进行组装，制成定制面膜装置，如图9所示。
在内层人脸模型实体2上的穴位点位置处安装电动振动器，并在内层人脸模型实体2上贴紧设置柔性电路板，然后将外层人脸模型实体1与内层人脸模型实体2通过卡扣连接，将电动振动器和柔性电路板包裹于内外层人脸模型实体1之间，在下颌部位设置控制开关4，从而组装成定制面膜装置。
完整的面膜装置中，内层人脸模型实体2贴合人脸，可以对涂抹了面膜液的人脸加热和按摩，外层人脸模型实体1起美观和保护内部元件的作用。内层人脸模型实体2和外层人脸模型实体1在3D打印之前已设置了可供使用者眼睛、鼻子和嘴巴露出的通孔3，散热用的透气孔5和按摩用的按摩孔。外层人脸模型实体1与内层人脸模型实体2通过卡扣相连接，以隐藏及固定内部的柔性电路板及振动元件等。
内层人脸模型实体2上嵌有20个电动振动器，它们的位置分别对应人脸上的20个按摩穴位，设置电动振动器可以起到按摩面部穴位的作用。按摩面部穴位有助于放松人脸，缓解使用者的疲劳。内层人脸模型实体2和外层人脸模型实体1之间除了按摩用的电动振动器外还有紧贴内层人脸模型实体2的柔性电路板，柔性电路板实现加热人脸和控制电动振动器按摩穴位的功能。
内层人脸模型实体2和外层人脸模型实体1上还分布有多个贯穿人脸模型实体的透气孔。内层人脸模型实体2上的透气孔与外层人脸模型实体1上的透气孔的位置一一对应。透气孔在内层人脸模型实体2和外层人脸模型实体1上均匀分布，便于发散热量，防止过热损伤面部皮肤，从而保证内层人脸模型实体2各个位置温度的一致性。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，包括如下步骤：
(1)拍摄多张人脸及参照物的图片，并在拍摄图片中的参照物上选择一条测量边，将其在真实空间中的长度以及测量边的两个端点的在拍摄图片中的坐标存入尺度参考文件中；
(2)选定一张正脸图片，在正脸图片上检测人脸，并标记穴位点和透气孔，分别存入穴位点坐标文件和透气孔坐标文件；
(3)使用三维重建技术获得每张图片的深度图和位姿；
(4)借助尺度参考文件中的数据和深度图以及位姿，重建具有真实尺度的人脸三维模型；
(5)使用三维模型处理软件精修人脸三维模型，删除穴位点和透气孔处的空间坐标，获得内层人脸模型和外层人脸模型；
(6)使用3D打印设备根据内层人脸模型和外层人脸模型分别打印内层人脸模型实体和外层人脸模型实体；
(7)将内层人脸模型实体和外层人脸模型实体进行组装，制成定制面膜装置。
2.根据权利要求1所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(1)的具体方法如下：
在参照物上选择一个可直接测量且在拍摄的图片中出现次数多的边进行测量，得到测量边的真实长度L，在所有的拍摄图片上标记测量边的两个端点，将图片索引，被标记的点的坐标，测量边的真实长度L存入尺度参考文件中；
文件内容如下：
Figure FDA0002492043000000011
其中，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
3.根据权利要求1所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(2)的具体方法如下：
在正脸图片上检测人脸，根据检测框显示预设的穴位点，根据图片上人脸的实际情况移动穴位点符合拍摄的人脸穴位，标记修改后的穴位点坐标，记录修改后的穴位点坐标，存入穴位点坐标文件中；
穴位点坐标文件内容如下：
Figure FDA0002492043000000021
在正脸图片上的人脸检测框范围内，除鼻子、嘴巴、眼睛位置均匀分布透气孔，并记录透气孔坐标存入透气孔坐标文件中；
透气孔坐标文件内容如下：
Figure FDA0002492043000000022
其中，j,n分别为穴位点坐标和透气孔坐标的索引，xj,xn分别为穴位点和透气孔在正脸图片中的横坐标，yj,yn分别为穴位点和透气孔在正脸图片中的纵坐标。
4.根据权利要求1所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(3)的具体方法如下：
在拍摄的每张图片上提取特征点，匹配任意两张图片上的特征点获得匹配点对，使用对极约束或直接线性变换方法，结合匹配点对计算每张图片的位姿，并使用光束平差法优化位姿；使用基于双目视觉的立体匹配方法生成每张图片的深度图，使用深度图融合方法优化深度图，得到每张图片对应的深度图Di与位姿Tiw。
5.根据权利要求4所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(4)的具体方法如下：
读取尺度参考文件中的数据和深度图Di，计算每张图片上标记的测量边两个端点的对应的空间坐标Pi，Qi及这两个空间点的欧式距离li：
Figure FDA0002492043000000031
Figure FDA0002492043000000032
Figure FDA0002492043000000033
选择欧式距离中的中值
Figure FDA0002492043000000034
用于计算尺度缩放系数σ：
Figure FDA0002492043000000035
将每张图片对应的深度图乘上尺度缩放系数σ获得缩放后的深度图
Figure FDA0002492043000000036
还原人脸模型的真实尺度：
Figure FDA0002492043000000037
读取缩放后的深度图
Figure FDA0002492043000000038
及对应的位姿Tiw生成稠密点云，在稠密点云的基础上，划分三角网格，生成人脸三维模型；
其中，K为已经标定好的相机的内参模型，Di(xip,yip)和Di(xiq,yiq)分别为测量边的两个端点在深度图中对应坐标处的深度值，i为图片的索引，xip,xiq为测量边两个端点在图片i中的横坐标，yip,yiq为测量边两个端点在图片i中的纵坐标，L为测量边的真实长度。
6.根据权利要求5所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(5)中，读取穴位点坐标文件和正脸图片对应的缩放后的深度图
Figure FDA0002492043000000039
计算每个穴位点的空间坐标，并删除人脸三维模型上以穴位点空间坐标为中心，半径为6mm的球体范围内的空间点实现设置按摩孔；
穴位点的空间坐标计算方法如下：
Figure FDA00024920430000000310
其中，Ej为标记在正脸图片上的第j个穴位点对应的空间点坐标，xj为第j个穴位点在正脸图片中的横坐标，yj为第j个穴位点在正脸图片中的纵坐标，
Figure FDA0002492043000000041
为第j个穴位点在缩放后的深度图中对应坐标处的深度值。
7.根据权利要求5所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(5)中，读取透气孔坐标文件和正脸图片对应的缩放后的深度图
Figure FDA0002492043000000042
计算每个透气孔的空间坐标，并删除人脸三维模型上以透气孔空间坐标为中心，半径为2mm的球体范围内的空间点；
透气孔的空间坐标的计算公式如下：
Figure FDA0002492043000000043
其中，Fn为标记在正脸图片上的第n个透气孔对应的空间点坐标，xn为第n个透气孔在正脸图片中的横坐标，yn为第n个透气孔在正脸图片中的纵坐标，
Figure FDA0002492043000000044
为透气孔在缩放后的深度图中对应坐标处的深度值。
8.根据权利要求5所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(5)中，将人脸三维模型直接加厚2mm生成内层人脸模型文件，将人脸三维模型按比例放大1.05倍后，加厚2mm生成外层人脸模型文件。
9.根据权利要求1所述的一种基于视觉三维重建的定制面膜装置的制备方法，其特征在于，步骤(7)的具体方法如下：
在内层人脸模型实体上的穴位点位置处安装电动振动器，并在内层人脸模型实体上贴紧设置柔性电路板，然后将外层人脸模型实体与内层人脸模型实体通过卡扣连接，将电动振动器和柔性电路板包裹于内外层人脸模型实体之间，在下颌部位设置控制开关，从而组装成定制面膜装置。
CN202010408024.6A 2020-05-14 2020-05-14 一种基于视觉三维重建的定制面膜装置的制备方法 Active CN111639553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408024.6A CN111639553B (zh) 2020-05-14 2020-05-14 一种基于视觉三维重建的定制面膜装置的制备方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408024.6A CN111639553B (zh) 2020-05-14 2020-05-14 一种基于视觉三维重建的定制面膜装置的制备方法

Publications (2)

Publication Number Publication Date
CN111639553A true CN111639553A (zh) 2020-09-08
CN111639553B CN111639553B (zh) 2023-04-18

Family

ID=72333249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408024.6A Active CN111639553B (zh) 2020-05-14 2020-05-14 一种基于视觉三维重建的定制面膜装置的制备方法

Country Status (1)

Country Link
CN (1) CN111639553B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370649A (zh) * 2020-11-06 2021-02-19 华东师范大学 一种个性化定制的微针美容面罩及制备方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
US20130063417A1 (en) * 2011-09-08 2013-03-14 Honeywell International Inc. Object alignment from a 2-dimensional image
KR20130089464A (ko) * 2012-02-02 2013-08-12 한국과학기술연구원 3차원 얼굴 형상 재구성 방법
CN105427385A (zh) * 2015-12-07 2016-03-23 华中科技大学 一种基于多层形变模型的高保真人脸三维重建方法
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
US20170256093A1 (en) * 2016-03-04 2017-09-07 Electronics And Telecommunications Research Institute Apparatus for generating 3d volume mask model and method therefor
CN107749084A (zh) * 2017-10-24 2018-03-02 广州增强信息科技有限公司 一种基于图像三维重建技术的虚拟试戴方法和系统
CN109087340A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及系统
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技（上海）有限公司 一种人体模型面部区域重建方法
US20190262567A1 (en) * 2013-03-15 2019-08-29 Lucy Carol Davis Facial mask apparatus and method of making
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111127642A (zh) * 2019-12-31 2020-05-08 杭州电子科技大学 一种人脸三维重建方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
US20130063417A1 (en) * 2011-09-08 2013-03-14 Honeywell International Inc. Object alignment from a 2-dimensional image
KR20130089464A (ko) * 2012-02-02 2013-08-12 한국과학기술연구원 3차원 얼굴 형상 재구성 방법
US20190262567A1 (en) * 2013-03-15 2019-08-29 Lucy Carol Davis Facial mask apparatus and method of making
CN105427385A (zh) * 2015-12-07 2016-03-23 华中科技大学 一种基于多层形变模型的高保真人脸三维重建方法
US20170256093A1 (en) * 2016-03-04 2017-09-07 Electronics And Telecommunications Research Institute Apparatus for generating 3d volume mask model and method therefor
CN106327571A (zh) * 2016-08-23 2017-01-11 北京的卢深视科技有限公司 一种三维人脸建模方法及装置
CN107749084A (zh) * 2017-10-24 2018-03-02 广州增强信息科技有限公司 一种基于图像三维重建技术的虚拟试戴方法和系统
CN109087340A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及系统
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN110070611A (zh) * 2019-04-22 2019-07-30 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技（上海）有限公司 一种人体模型面部区域重建方法
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111127642A (zh) * 2019-12-31 2020-05-08 杭州电子科技大学 一种人脸三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王鑫;孙守迁;陈廓;: "基于区域控制模型的三维人脸重建技术" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370649A (zh) * 2020-11-06 2021-02-19 华东师范大学 一种个性化定制的微针美容面罩及制备方法

Also Published As

Publication number Publication date
CN111639553B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
AU2018271234B2 (en) Facial Mask Apparatus And Method Of Making
Camison et al. Validation of the Vectra H1 portable three-dimensional photogrammetry system for facial imaging
US6564086B2 (en) Prosthesis and method of making
TW577727B (en) Method for measuring changes in portions of a human body
EP3819868B1 (en) Registration method for visual navigation of dental implant surgery, and electronic device
Xia et al. Computer-assisted three-dimensional surgical planning and simulation: 3D color facial model generation
US9715759B2 (en) Reference object for three-dimensional modeling
CN104739418A (zh) 一种基于立体视觉的呼吸门控系统及控制方法
CN112489135B (zh) 一种虚拟三维人脸面部重建系统的标定方法
CN111639553B (zh) 一种基于视觉三维重建的定制面膜装置的制备方法
JP6473959B1 (ja) 皮膚たるみ量測定方法および皮膚たるみ量測定装置
CN109659006A (zh) 面肌训练方法、装置及电子设备
JP2011110152A (ja) 美顔用マスク及びその製造方法
Almulla et al. Evaluating the accuracy of facial models obtained from volume wrapping: 2D images on CBCT versus 3D on CBCT
Crowe et al. Evaluation of optical 3D scanning system for radiotherapy use
CN101732031A (zh) 眼底图像处理方法
CN112991437B (zh) 基于图像展缩技术的全自动穴位定位方法
Comlekciler et al. Artificial 3-D contactless measurement in orthognathic surgery with binocular stereo vision
Ip et al. Simulated patient for orthognathic surgery
Supit et al. A portable mirror stand for clinical facial photo documentation
Sukvichai et al. Simple 3D splint reconstruction using a low cost smart phone line laser 3D scanner
Grewe et al. Fast and accurate digital morphometry of facial expressions
Barone et al. Human face reconstruction in biomedical applications
CN109003676B (zh) 一种牙齿美学设计方法与装置
TW201905836A (zh) 以ar技術實現穴道視覺化之中醫系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant