CN113345079A - 面部三维模型可视化方法、装置、电子设备及存储介质 - Google Patents

面部三维模型可视化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113345079A
CN113345079A CN202110682452.2A CN202110682452A CN113345079A CN 113345079 A CN113345079 A CN 113345079A CN 202110682452 A CN202110682452 A CN 202110682452A CN 113345079 A CN113345079 A CN 113345079A
Authority
CN
China
Prior art keywords
dimensional model
face
dimensional
model
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110682452.2A
Other languages
English (en)
Other versions
CN113345079B (zh
Inventor
罗家祯
陈福兴
刘兴云
李志阳
齐子铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Yifu Technology Co ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202110682452.2A priority Critical patent/CN113345079B/zh
Publication of CN113345079A publication Critical patent/CN113345079A/zh
Priority to JP2022540757A priority patent/JP7433444B2/ja
Priority to KR1020227022198A priority patent/KR102622215B1/ko
Priority to PCT/CN2021/132548 priority patent/WO2022262201A1/zh
Application granted granted Critical
Publication of CN113345079B publication Critical patent/CN113345079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本申请提供一种面部三维模型可视化方法、装置、电子设备及存储介质，涉及三维模型技术领域。该方法包括：通过获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；第一面部三维模型和第二面部三维模型为三角面片格式；计算第一面部三维模型与第二面部三维模型中坐标点之间的距离；根据距离对第一面部三维模型进行渲染，得到热力图模型；根据第一面部三维模型和第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。通过本申请可以直观地展示面部的变化。

Description

面部三维模型可视化方法、装置、电子设备及存储介质
技术领域
本发明涉及三维模型技术领域，具体而言，涉及一种面部三维模型可视化方法、装置、电子设备及存储介质。
背景技术
在医疗美容行业，面部三维模型的精确测量、对比及可视化对评价治疗效果，并使患者直观的观察自身治疗前后的变化具有十分重要的作用。
现有的面部三维建模及测量方案中，主要是针对单个面部三维模型进行测量，以通过数据对比分析面部的变化情况，如眼宽、鼻子高度、鼻梁角度等。
但是，数据的对比分析不能直观的使患者观察治疗前后的变化，且一些医疗美容项目只有一些微小的形变，数据可能根本无法体现出差异。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种面部三维模型可视化方法、装置、电子设备及存储介质，以便直观地展示面部的变化。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种面部三维模型可视化方法，包括：
获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；所述第一面部三维模型和所述第二面部三维模型为三角面片格式；
计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离；
根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型；
根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
可选的，所述获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型，包括：
获取所述被测者在所述两个不同时刻的第一初始面部三维模型和所述第二面部三维模型；
计算所述第一初始面部三维模型与所述第二面部三维模型的姿态变换矩阵；
根据所述姿态变换矩阵将所述第一初始面部三维模型对齐到所述第二面部三维模型，得到所述第一面部三维模型。
可选的，所述计算所述第一初始面部三维模型与所述第二面部三维模型的姿态变换矩阵，包括：
以所述第一初始面部三维模型的鼻尖位置为球心，以预设半径对所述第一初始面部三维模型进行截取，得到所述第一初始面部三维模型对应的第一球体截取模型；
以所述第二面部三维模型的鼻尖位置为球心，以所述预设半径对所述第二面部三维模型进行截取，得到所述第二面部三维模型对应的第二球体截取模型；
采用预设变换矩阵计算方法、以及所述第一球体截取模型和所述第二球体截取模型，计算获取所述姿态变换矩阵。
可选的，所述计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离，包括：
根据所述第一面部三维模型中每个顶点的坐标，计算获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
可选的，所述根据所述第一面部三维模型中每个顶点的坐标，计算获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离，包括：
计算所述第一面部三维模型和所述第二面部三维模型的最小公共正方体包围盒；
针对所述第一面部三维模型的最小公共正方体包围盒建立八叉树结构；
以所述八叉树结构的深度对所述第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体；
将所述第二面部三维模型的三角面片与所述小正方体关联；
根据所述第一面部三维模型的顶点坐标与所述小正方体的索引关系，将所述第一面部三维模型的顶点与所述小正方体中的三角面片关联；
根据所述顶点坐标与关联的三角面片的距离，获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
可选的，所述根据所述第一面部三维模型的顶点坐标与所述小正方体的索引关系，将所述第一面部三维模型的顶点与所述小正方体中的三角面片关联，包括：
根据所述八叉树结构计算所述第一面部三维模型的顶点编码；
根据所述顶点编码和所述小正方体的索引关系，确定若所述顶点所关联的小正方体中的三角面片不为空集，则将所述顶点与所述小正方体中的三角面片关联。
可选的，所述方法还包括：
若所述顶点所关联的小正方体中的三角面片为空集，则以所述小正方体为中心，判断所述小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集；
若所述其他小正方体中的三角面片不为空集，则将所述顶点与所述其他小正方体中的三角面片关联。
可选的，所述根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型，包括：
根据所述距离与颜色表的映射关系，对所述第一面部三维模型的任意区域进行颜色渲染，得到所述热力图模型。
可选的，所述根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型，包括：
计算所述第一面部三维模型的第一高度图和所述第二面部三维模型的第二高度图；
根据所述第一高度图计算所述第一面部三维模型的第一二维等高线；
根据所述第二高度图计算所述第二面部三维模型的第二二维等高线；
将所述第一二维等高线转换为第一三维等高线、所述第二二维等高线转换为第二三维等高线；
根据所述第一三维等高线对所述第一面部三维模型进行渲染，得到所述第一等高线模型；
根据所述第二三维等高线对所述第二面部三维模型进行渲染，得到所述第二等高线模型。
第二方面，本申请实施例还提供一种面部三维模型可视化装置，包括：
三维模型获取模块，用于获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；所述第一面部三维模型和所述第二面部三维模型为三角面片格式；
距离计算模块，用于计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离；
热力图可视化模块，用于根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型；
等高线可视化模块，用于根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
可选的，所述三维模型获取模块包括：
三维模型获取单元，用于获取所述被测者在所述两个不同时刻的第一初始面部三维模型和所述第二面部三维模型；
姿态变换矩阵计算单元，用于计算所述第一初始面部三维模型与所述第二面部三维模型的姿态变换矩阵；
对齐单元，用于根据所述姿态变换矩阵将所述第一初始面部三维模型对齐到所述第二面部三维模型，得到所述第一面部三维模型。
可选的，所述姿态变换矩阵计算单元，包括：
第一球体截取子单元，用于以所述第一初始面部三维模型的鼻尖位置为球心，以预设半径对所述第一初始面部三维模型进行截取，得到所述第一初始面部三维模型对应的第一球体截取模型；
第二球体截取子单元，用于以所述第二面部三维模型的鼻尖位置为球心，以所述预设半径对所述第二面部三维模型进行截取，得到所述第二面部三维模型对应的第二球体截取模型；
姿态变换矩阵计算子单元，用于采用预设变换矩阵计算方法、以及所述第一球体截取模型和所述第二球体截取模型，计算获取所述姿态变换矩阵。
可选的，所述距离计算模块，具体用于根据所述第一面部三维模型中每个顶点的坐标，计算获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
可选的，所述距离计算模块，包括：
包围盒计算单元，用于计算所述第一面部三维模型和所述第二面部三维模型的最小公共正方体包围盒；
八叉树建立单元，用于针对所述第一面部三维模型的最小公共正方体包围盒建立八叉树结构；
均分单元，用于以所述八叉树结构的深度对所述第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体；
第一关联单元，用于将所述第二面部三维模型的三角面片与所述小正方体关联；
第二关联单元，用于根据所述第一面部三维模型的顶点坐标与所述小正方体的索引关系，将所述第一面部三维模型的顶点与所述小正方体中的三角面片关联；
距离计算单元，用于根据所述顶点坐标与关联的三角面片的距离，获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
可选的，所述第二关联单元，包括：
编码计算子单元，用于根据所述八叉树结构计算所述第一面部三维模型的顶点编码；
第二关联子单元，根据所述顶点编码和所述小正方体的索引关系，确定若所述顶点所关联的小正方体中的三角面片不为空集，则将所述顶点与所述小正方体中的三角面片关联。
可选的，所述装置还包括：
邻域判断单元，用于若所述顶点所关联的小正方体中的三角面片为空集，则以所述小正方体为中心，判断所述小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集；
第三关联子单元，用于若所述其他小正方体中的三角面片不为空集，则将所述顶点与所述其他小正方体中的三角面片关联。
可选的，所述热力图可视化模块，具体用于根据所述距离与颜色表的映射关系，对所述第一面部三维模型的任意区域进行颜色渲染，得到所述热力图模型。
可选的，所述等高线可视化模块，包括：
高度图计算单元，用于计算所述第一面部三维模型的第一高度图和所述第二面部三维模型的第二高度图；
第一二维等高线计算单元，用于根据所述第一高度图计算所述第一面部三维模型的第一二维等高线；
第二二维等高线计算单元，用于根据所述第二高度图计算所述第二面部三维模型的第二二维等高线；
转换单元，用于将所述第一二维等高线转换为第一三维等高线、所述第二二维等高线转换为第二三维等高线；
第一等高线可视化单元，用于根据所述第一三维等高线对所述第一面部三维模型进行渲染，得到所述第一等高线模型；
第二等高线可视化单元，用于根据所述第二三维等高线对所述第二面部三维模型进行渲染，得到所述第二等高线模型。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行上述实施例任一所述的面部三维模型可视化方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述实施例任一所述的面部三维模型可视化方法的步骤。
本申请的有益效果是：
本申请提供了一种面部三维模型可视化方法、装置、电子设备及存储介质，通过获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；第一面部三维模型和第二面部三维模型为三角面片格式；计算第一面部三维模型与第二面部三维模型中坐标点之间的距离；根据距离对第一面部三维模型进行渲染，得到热力图模型；根据第一面部三维模型和第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。通过本申请提供的方案，可根据第一面部三维模型和第二面部三维模型的坐标点之间的距离表征第一面部三维模型相对于第二面部三维模型的面部凹陷或凸起，并通过热力图模型直观的展示两个模型面部凹陷或凸起的差异，通过第一等高线模型和第二等高线模型直观的了解被测者面部的形变和移动情况，以实现对面部变化的可视化。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种面部三维模型可视化方法的流程示意图；
图2为本申请实施例提供的第二种面部三维模型可视化方法的流程示意图；
图3为本申请实施例提供的第三种面部三维模型可视化方法的流程示意图；
图4为本申请实施例提供的第四种面部三维模型可视化方法的流程示意图；
图5为本申请实施例提供的第五种面部三维模型可视化方法的流程示意图；
图6为本申请实施例提供的一种邻域小正方体的结构示意图；
图7为本申请实施例提供的第六种面部三维模型可视化方法的流程示意图；
图8为本申请实施例提供的一种面部三维模型可视化装置的结构示意图；
图9为本申请实施例提供的电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
本申请实施例提供的面部三维模型可视化方法，其执行主体为具有面部三维模型可视化功能的电子设备，该电子设备可以集成于具有面部三维模型建模功能的建模设备，也可以为与建模设备通信连接的电子设备，接收建模设备发送的面部三维模型。该电子设备可以为美容仪，也可以是智能手机、平板电脑、服务器、台式电脑、笔记本电脑等，在此不做限制。
图1为本申请实施例提供的第一种面部三维模型可视化方法的流程示意图；如图1所示，该方法包括：
S10：获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型。
具体的，第一面部三维模型和第二面部三维模型为同一被测者在两个不同时刻的面部三维模型，第一面部三维模型和第二面部三维模型均可以通过三维扫描设备获取。更进一步地，第一面部三维模型为通过三维扫描模型获取的，第二面部三维模型为专业人员，例如整形医生，对第一面部三维模型进行整形模拟，通过调整第一面部三维模型的面部结构而得到的。为便于后续计算，需要保证第一面部三维模型和第二面部三维模型为三角面片格式，三角面片格式表示面部三维模型是由多个三角面构成的。
需要说明的是，第一面部三维模型和第二面部三维模型为高精度、高分辨率、带纹理贴图的三维模型。
S20：计算第一面部三维模型与第二面部三维模型中坐标点之间的距离。
具体的，计算第一面部三维模型与第二面部三维模型中坐标点之间的距离包括：计算第一面部三维模型的顶点到第二面部三维模型的距离和计算第二面部三维模型的顶点到第一面部三维模型的距离。
以计算第一面部三维模型的顶点到第二面部三维模型的距离为例进行说明：
第一面部三维模型的顶点为建立第一面部三维模型的关键点，或者第一面部三维模型中三角面片的三角顶点，计算第一面部三维模型的顶点到第二面部三维模型的距离的过程为：计算第一面部三维模型的顶点到第二面部三维模型的最近距离，在一种可选的计算方式中，可以计算第一面部三维模型的每个顶点到第二面部三维模型的所有顶点的距离，以确定最近距离。
在一种可选实施方式中，根据第一面部三维模型中每个顶点的坐标，计算获取第一面部三维模型中每个顶点到第二面部三维模型最近的三角面片的距离。
具体的，由于第一面部三维模型和第二面部三维模型均为高精度模型的顶点数量十分庞大，因此可以选择计算第一面部三维模型中顶点到第二面部三维模型最近的三角面片的距离。其中，可以通过计算每个顶点到所有三角面片的距离，从而确定与顶点最近的三角面片的距离作为第一距离，点到面的距离计算方法在此不做详细说明。
S30：根据距离对第一面部三维模型进行渲染，得到热力图模型。
具体的，热力图模型用于展示被测者面部任意区域的肌肉情况，根据第一面部三维模型和第二面部三维模型的坐标点之间的有向距离，该有向距离为正，表示第一面部三维模型在该坐标点处相对为第二面部三维模型凸起，该有向距离为负，表示第一面部三维模型在该坐标点处相对于第二面部三维模型凹陷，计算每个坐标点在第一面部三维模型中所在区域的颜色值，根据该颜色值对第一面部三维模型进行渲染得到热力图模型。
S40：根据第一面部三维模型和第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
具体的，等高线模型用于展示被测者面部任意区域的走向，根据第一面部三维模型的每个顶点在预设高度方向的高度值确定第一面部三维模型的三维等高线，将第一面部三维模型的三维等高线渲染在第一面部三维模型上，得到第一等高线模型。
第二等高线模型的计算过程与第一等高线模型相同，在此不做赘述。
本申请实施例提供的面部三维模型可视化方法通过获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；第一面部三维模型和第二面部三维模型为三角面片格式；计算第一面部三维模型与第二面部三维模型中坐标点之间的距离；根据距离对第一面部三维模型进行渲染，得到热力图模型；根据第一面部三维模型和第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。通过本申请实施例提供的方法，可根据第一面部三维模型和第二面部三维模型的坐标点之间的距离表征第一面部三维模型相对于第二面部三维模型的面部凹陷或凸起，并通过热力图模型直观的展示两个模型面部凹陷或凸起的差异，通过第一等高线模型和第二等高线模型直观的了解被测者面部的形变和移动情况，以实现对面部变化的可视化。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，图2为本申请实施例提供的第二种面部三维模型可视化方法的流程示意图，如图2所示，上述S10包括：
S11：获取被测者在所述两个不同时刻的第一初始面部三维模型和第二面部三维模型。
具体的，第一初始面部三维模型和第二面部三维模型的获取方法如上述S10，在此不做具体赘述，由于不同时刻获取的面部三维模型之间的角度、面部动作存在差异，因此需要对其中一个面部三维模型进行矫正，本申请实施例的方案为对第一初始面部三维模型进行矫正。
S12：计算第一初始面部三维模型与第二面部三维模型的姿态变换矩阵。
具体的，对第一初始面部三维模型进行旋转和平移变换，使第一初始面部三维模型对齐到第二面部三维模型，采用预设的变换方法，计算用于进行旋转和平移变换的姿态变换矩阵T0 1。
S13：根据姿态变换矩阵将第一初始面部三维模型对齐到第二面部三维模型，得到第一面部三维模型。
具体的，姿态变换矩阵T0 1可以对第一初始面部三维模型进行矫正，以将第一初始面部三维模型对齐到第二面部三维模型所在的坐标系内，得到矫正后的第一面部三维模型。示例的，对齐公式为：M'0＝T0 1·M0。
本申请实施例提供的面部三维模型可视化方法，获取被测者在所述两个不同时刻的第一初始面部三维模型和第二面部三维模型，计算第一初始面部三维模型与第二面部三维模型的姿态变换矩阵，根据姿态变换矩阵将第一初始面部三维模型对齐到第二面部三维模型，得到第一面部三维模型。通过本申请实施例提供的方法，可将第一初始面部三维模型与第二面部三维模型进行对齐，避免由于不同时刻的面部三维模型之间存在倾斜偏差，导致通过热力图模型和等高线模型进行可视化对比时结果出现偏差，提高对比结果的准确性。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，图3为本申请实施例提供的第三种面部三维模型可视化方法的流程示意图，如图3所示，上述S12包括：
S121：以第一初始面部三维模型的鼻尖位置为球心，以预设半径对第一初始面部三维模型进行截取，得到第一初始面部三维模型对应的第一球体截取模型。
具体的，由于面部三维模型的两侧脸颊区域对计算姿态变换矩阵的贡献度较小，为减少计算量，提高计算效率，可以鼻尖位置为球心，以预设半径对第一初始面部三维模型进行截取得到第一球体截取模型。
S122：以第二面部三维模型的鼻尖位置为球心，以预设半径对第二面部三维模型进行截取，得到第二面部三维模型对应的第二球体截取模型。
具体的，对第二面部三维模型进行截取到的第二球体截取模型的过程与第一初始面部三维模型的过程相同，在此不做赘述。
S123：采用预设变换矩阵计算方法、以及第一球体截取模型和第二球体截取模型，计算获取姿态变换矩阵。
具体的，采用预设变换矩阵计算方法，计算将第一球体截取模型对齐到第二球体截取模型的姿态变换矩阵T0 1。示例的，预设变换矩阵计算方法可以为迭代最近点(Iterative Closest Point，ICP)算法。
本申请实施例提供的面部三维模型可视化方法，以第一初始面部三维模型的鼻尖位置为球心，以预设半径对第一初始面部三维模型进行截取，得到第一初始面部三维模型对应的第一球体截取模型，以第二面部三维模型的鼻尖位置为球心，以预设半径对第二面部三维模型进行截取，得到第二面部三维模型对应的第二球体截取模型，采用预设变换矩阵计算方法、以及第一球体截取模型和第二球体截取模型，计算获取姿态变换矩阵。通过本申请实施例提供的方法，通过对第一初始面部三维模型和第二面部三维模型分别进行球体截取，以将对计算姿态变换矩阵的贡献度较小的两侧脸颊区域省略，得到第一球体截取模型和第二球体截取模型，使得采用预设变换矩阵计算方法计算姿态变换矩阵时减少计算量，提高计算效率。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，图4为本申请实施例提供的第四种面部三维模型可视化方法的流程示意图，如图4所示，上述S20包括：
S21：计算第一面部三维模型和第二面部三维模型的最小公共正方体包围盒。
具体的，根据第一面部三维模型的长宽高、第二面部三维模型的长宽高，从第一面部三维模型的长宽高、第二面部三维模型的长宽高中获取最大的长、宽、高，并根据该最大的长、宽、高建立第一面部三维模型和第二面部三维模型的最小公共正方体包围盒，最小公共正方体包围盒分别可以完整的包围第一面部三维模型和第二面部三维模型。
S22：针对第一面部三维模型的最小公共正方体包围盒建立八叉树结构。
具体的，八叉树结构(Octree)是一种用于描述三维空间的树状数据结构，通过对最小公共正方体包围盒进行切分，得到2*2*2＝8个小正方体，每个小正方体中存储有第一面部三维模型的多个顶点，再依次对存储有多个顶点的小正方体进行切分，切分的深度N用于表示对小正方体进行切分的次数，切分的深度可根据需求确定，在达到切分的深度之前，若小正方体中已经不存在顶点，则提前停止切分。八叉树结构的深度为对第一面部三维模型的最小公共正方体包围盒进行切分的次数加一，即切分一次，八叉树结构的深度为2。
S23：以八叉树结构的深度对第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体。
具体地，根据上述S22中八叉树结构的深度，将第二面部三维模型的最小公共正方体包围盒均分为N3个小正方体。
S24：将第二面部三维模型的三角面片与小正方体关联。
具体的，对每个小正方体与第二面部三维模型中所有三角面片做相交测试，若小正方体和所有三角面片的交集不为空集，则将相交的三角面片加入对应的小正方体的关联面片序列。
S25：根据第一面部三维模型的顶点坐标与小正方体的索引关系，将第一面部三维模型的顶点与小正方体中的三角面片关联。
具体地，对小正方体按照预设规则编码，根据第一面部三维模型的顶点坐标在八叉树结构中的位置，确定第一面部三维模型的顶点坐标与第二面部三维模型的小正方体的索引关系，根据该索引关系，将第一面部三维模型的顶点与所对应的小正方体中的三角面片关联。
S26：根据顶点坐标与关联的三角面片的距离，获取第一面部三维模型中每个顶点到第二面部三维模型最近的三角面片的距离。
具体的，由于每个小正方体中包含多个三角面片，则根据该顶点的顶点坐标计算该顶点与每个三角面片的距离，从而确定该顶点与最近的三角面片的距离。
本申请实施例提供的面部三维模型可视化方法，计算第一面部三维模型和第二面部三维模型的最小公共正方体包围盒，针对第一面部三维模型的最小公共正方体包围盒建立八叉树结构，以八叉树结构的深度对第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体，根据第一面部三维模型的顶点坐标与小正方体的索引关系，将第一面部三维模型的顶点与小正方体中的三角面片关联，根据顶点坐标与关联的三角面片的距离，获取第一面部三维模型中每个顶点到第二面部三维模型最近的三角面片的距离。本申请实施例提供的方法，通过建立第一面部三维模型的顶点与第二面部三维模型的三角面片的关联关系，计算顶点与所关联的三角面片的距离从而确定最近的距离，以避免计算顶点与所有三角面片的距离，减少减少计算量，提高计算效率。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，图5为本申请实施例提供的第五种面部三维模型可视化方法的流程示意图，如图5所示，上述S25包括：
S251：根据八叉树结构计算第一面部三维模型的顶点编码。
具体的，顶点编码为二进制编码，具体的编码过程以下述示例进行说明：
设顶点P的三维坐标(x,y,z)＝(13,5,4)，第一面部三维模型的最小公共正方体包围盒的顶点坐标(xmin,ymin,zmin,xmax,ymax,zmax)＝(0,0,0,16,16,16)。
顶点编码采用莫顿(Morton)编码，计算顶点P的索引值(i,j,k)，具体的计算公式为：
Figure BDA0003121664750000141
Figure BDA0003121664750000142
Figure BDA0003121664750000143
其中，
Figure BDA0003121664750000144
为向下取整符号，(i,j,k)＝(6,2,2)，将顶点P的索引值转换为二进制编码：(i1i2i3,j1j2j3,k1k2k3)＝(110,010,010)。
S252：根据顶点编码和小正方体的索引关系，确定若顶点所关联的小正方体中的三角面片不为空集，则将顶点与小正方体中的三角面片关联。
具体的，根据顶点编码和小正方体的索引关系，确定顶点所关联的小正方体，确定该小正方体的关联面片序列是否为空集。
若顶点所关联的小正方体的关联面片序列中的三角面片不为空集，则将该顶点与该小正方体的关联面片序列中的所有三角面片进行关联。
在一种可选实施方式中，顶点编码和小正方体的索引关系可通过下述公式表示：
Q＝q1q2…ql
其中，Q表示小正方体的索引编码，ql＝4il+2jl+kl。
示例的，上述二进制编码(i1i2i3,j1j2j3,k1k2k3)＝(110,010,010)对应的小正方体的索引编码为：Q＝470。
本申请实施例提供的面部三维模型可视化方法，根据八叉树结构计算第一面部三维模型的顶点编码，根据顶点编码和小正方体的索引关系，确定若顶点所关联的小正方体中的三角面片不为空集，则将顶点与小正方体中的三角面片关联。通过本申请实施例提供的方法，可通过计算将顶点与小正方体中的三角面片关联，以便减少顶点与三角面片之间距离的计算数量，提高计算效率。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，如图5所示，上述方法还包括：
S253：若顶点所关联的小正方体中的三角面片为空集，则以小正方体为中心，判断小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集。
具体的，若与顶点关联的小正方体的三角面片序列中的三角面片为空集，即该小正方体中不包含三角面片，则以该小正方体为中心，确定预设半径所对应的邻域的其他小正方体，初始的，设定预设半径为2，则该小正方体半径2所对应的邻域内包含8个小正方体，图6为本申请实施例提供的一种邻域小正方体的结构示意图，如图6所示，左侧小正方体的半径为1，以左侧小正方体为中心，预设半径为2，得到的领域内的小正方体如右侧所示。判断该预设半径邻域内的其他小正方体的三角面片序列中的三角面片中是否为空集。
S254：若其他小正方体中的三角面片不为空集，则将顶点与其他小正方体中的三角面片关联。
具体地，若其他小正方体中存在三角面片序列中的三角面片不为空集，则将顶点与对应小正方体的三角面片序列中的所有三角面片关联，若存在多个其他小正方体中三角面片序列中的三角面片不为空集，则将顶点与所有不为空集的其他小正方体的三角面片序列中的所有三角面片关联。
在一种可选实施方式中，若其他小正方体中的三角面片为空集，则将预设半径增加1，继续执行S253-S254。
本申请实施例提供的面部三维模型可视化方法，若顶点所关联的小正方体中的三角面片为空集，则以小正方体为中心，判断小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集，若其他小正方体中的三角面片不为空集，则将顶点与其他小正方体中的三角面片关联。本申请实施例提供的方法，可以保证每个顶点都具有所关联的三角面片，以保证在计算热力图和等高线时保证结果的准确性。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，上述S30包括：
根据距离与颜色表的映射关系，对第一面部三维模型的任意区域进行颜色渲染，得到热力图模型。
具体的，颜色表是一条按照“蓝-青-绿-黄-橙-红”渐变的条带，其中总共含有NC种颜色，颜色表中的第k(0≤k≤NC)种颜色用C(k)表示。
建立距离与颜色表的映射关系，区间[a,b]内的距离与颜色的映射关系为：
Figure BDA0003121664750000161
若x<a，Cx＝C(0)，若x>b，Cx＝C(255)。
其中，a，b分别代表映射区间的边界，a<b。
根据每个顶点到最近的三角面片的距离，确定该顶点的预设范围对应的颜色值，并对该顶点的预设范围进行颜色渲染，通过计算第一面部三维模型的任意区域的多种颜色值，以对任意区域进行颜色渲染，得到热力图模型。
统计该任意区域内多种颜色的出现次数，绘制第一面部三维模型的颜色条形统计图，在用户界面进行展示时，可同时显示热力图模型、颜色条形统计图、颜色表、距离和颜色表的映射关系。
本申请实施例提供的面部三维模型可视化方法，根据距离与颜色表的映射关系，对第一面部三维模型的任意区域进行颜色渲染，得到热力图模型。通过本申请实施例提供的方法，可通过热力图模型对面部肌肉的差异变化进行可视化显示，若第二面部三维模型为专业人员制作的模拟方法，则可根据面部差异决定整形过程中所需药剂量，便于术前的方案设计。
需要说明的是，本申请实施例提供的热力图模型是在第一面部三维模型上进行渲染得到的，也可以通过计算第二面部三维模型的顶点到第一面部三维模型最近的三角面片的距离，并根据距离和颜色表的映射关系，对第二面部三维模型的任意区域进行渲染，得到热力图模型，本申请对此不做限制。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化方法，图7为本申请实施例提供的第六种面部三维模型可视化方法的流程示意图，如图7所示，上述S40包括：
S41：计算第一面部三维模型的第一高度图和第二面部三维模型的第二高度图。
具体的，以第一面部三维模型为例进行说明，计算第一高度图的方法为：
依据三维笛卡尔坐标系将第一面部三维模型摆正，具体的摆正方法为：使第一面部三维模型的眼睛中心点与三维笛卡尔坐标系的X轴平行，使第一面部三维模型的头部中轴与三维笛卡尔坐标系的Y轴平行，使三维笛卡尔坐标系的Z轴穿过第一面部三维模型的鼻尖，且使鼻尖位于Z轴的预设坐标点。示例的，鼻尖与Z轴原点的距离为150mm。
采用预设展开方法将第一面部三维模型展开到二维平面内，得到第一面部三维模型顶点的三维坐标(x,y,z)与二维坐标(x,y)的对应关系。建立第一面部三维模型的坐标图，坐标图中，顶点的二维坐标(x,y)位置存储有顶点的三维坐标(x,y,z)。
定义二维坐标系下的高度方向hn，根据定义的高度方向hn，计算每个顶点在该高度方向hn的高度值h，建立第一面部三维模型的第一高度图，在第一高度图中，顶点的二维坐标(x,y)位置存储有顶点的高度值h。
示例的，高度值h的计算方法为：根据二维坐标(x,y)在二维平面内的像素P(x,y)，对该像素P(x,y)和高度方向hn做内积计算，具体计算公式为：D(x,y)＝innerProduct(P(x,y),hn)。
第二高度图的计算方式与上述第一高度图的计算方式相同，在此不做赘述。
S42：根据第一高度图计算第一面部三维模型的第一二维等高线。
具体的，使用预设的等高线计算方法，分别对第一面部三维模型的第一高度图进行计算，得到第一面部三维模型的第一二维等高线。示例的，预设的等高线计算方法为MarchingSquares算法。
S43：根据第二高度图计算第二面部三维模型的第二二维等高线。
具体的，第二二维等高线的计算方式与上述S42中第一二维等高线的计算方式相同，在此不做赘述。
S44：将第一二维等高线转换为第一三维等高线、第二二维等高线转换为第二三维等高线。
具体的，根据第一面部三维模型的坐标图和第一二维等高线，将第一二维等高线的顶点转化为三维坐标，得到第一面部三维模型的第一三维等高线；根据第二面部三维模型的坐标图和第二二维等高线，将第二二维等高线的顶点转化为三维坐标，得到第二面部三维模型的第二三维等高线。
S45：根据第一三维等高线对第一面部三维模型进行渲染，得到第一等高线模型。
具体的，根据第一三维等高线的顶点的三维坐标，在第一面部三维模型中根据顶点的三维坐标渲染第一三维等高线，得到第一等高线模型。
在一种可选实施方式中，根据第一三维等高线的高度差和颜色表的映射关系，为第一三维等高线着色。
具体的，根据第一三维等高线和高度差的映射关系、高度差和颜色表的映射关系，确定第一三维等高线和颜色表的映射关系，根据该映射关系为第一三维等高线着色，得到着色后的第一等高线模型。高度差和颜色表的映射关系可根据需求自行定义，在此不做限制。
示例的，第一三维等高线和高度差的映射关系为：高度差＝第一三维等高线的高度值-最大高度值，第一三维等高线的高度值可以根据第一三维等高线的三维坐标，从坐标图中确定对应的二维坐标，再从高度图中确定二维坐标对应的高度值。
S46：根据第二三维等高线对第二面部三维模型进行渲染，得到第二等高线模型。
具体的，具体渲染方法与上述S45相同，在此不做赘述。
在一种可选实施方式中，根据第二三维等高线的高度差和颜色表的映射关系，为第二三维等高线着色，第二三维等高线的高度差的计算方式与第一三维等高线的高度差的计算方式相同，在此不做赘述。
着色后的第一等高线模型和第二等高线模型中，与各自最高点的高度差相同的点的颜色相同，可通过比较等高线的颜色，了解等高线区域的面部变化情况。
本申请实施例提供的面部三维模型可视化方法，计算第一面部三维模型的第一高度图和第二面部三维模型的第二高度图，根据第一高度图计算第一面部三维模型的第一二维等高线，根据第二高度图计算第二面部三维模型的第二二维等高线，将第一二维等高线转换为第一三维等高线、第二二维等高线转换为第二三维等高线，根据第一三维等高线对第一面部三维模型进行渲染，得到第一等高线模型，根据第二三维等高线对第二面部三维模型进行渲染，得到第二等高线模型。通过本申请实施例提供的方法，通过第一等高线模型与第二等高线模型，可以直观的了解被测者面部的形变和移动情况，以实现对面部变化的可视化。
在上述实施例的基础上，本申请实施例还提供一种面部三维模型可视化装置，图8为本申请实施例提供的一种面部三维模型可视化装置的结构示意图，如图8所示，包括：
三维模型获取模块10，用于获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；第一面部三维模型和第二面部三维模型为三角面片格式；
距离计算模块20，用于计算第一面部三维模型与第二面部三维模型中坐标点之间的距离；
热力图可视化模块30，用于根据距离对第一面部三维模型进行渲染，得到热力图模型；
等高线可视化模块40，用于根据第一面部三维模型和第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
可选的，三维模型获取模块10包括：
三维模型获取单元，用于获取被测者在两个不同时刻的第一初始面部三维模型和第二面部三维模型；
姿态变换矩阵计算单元，用于计算第一初始面部三维模型与第二面部三维模型的姿态变换矩阵；
对齐单元，用于根据姿态变换矩阵将第一初始面部三维模型对齐到第二面部三维模型，得到第一面部三维模型。
可选的，姿态变换矩阵计算单元，包括：
第一球体截取子单元，用于以第一初始面部三维模型的鼻尖位置为球心，以预设半径对第一初始面部三维模型进行截取，得到第一初始面部三维模型对应的第一球体截取模型；
第二球体截取子单元，用于以第二面部三维模型的鼻尖位置为球心，以预设半径对第二面部三维模型进行截取，得到第二面部三维模型对应的第二球体截取模型；
姿态变换矩阵计算子单元，用于采用预设变换矩阵计算方法、以及第一球体截取模型和第二球体截取模型，计算获取姿态变换矩阵。
可选的，距离计算模块20，具体用于根据第一面部三维模型中每个顶点的坐标，计算获取第一面部三维模型中每个顶点到第二面部三维模型最近的三角面片的距离。
可选的，距离计算模块20，包括：
包围盒计算单元，用于计算第一面部三维模型和第二面部三维模型的最小公共正方体包围盒；
八叉树建立单元，用于针对第一面部三维模型的最小公共正方体包围盒建立八叉树结构；
均分单元，用于以八叉树结构的深度对第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体；
第一关联单元，用于将第二面部三维模型的三角面片与小正方体关联；
第二关联单元，用于根据第一面部三维模型的顶点坐标与小正方体的索引关系，将第一面部三维模型的顶点与小正方体中的三角面片关联；
距离计算单元，用于根据顶点坐标与关联的三角面片的距离，获取第一面部三维模型中每个顶点到第二面部三维模型最近的三角面片的距离。
可选的，第二关联单元，包括：
编码计算子单元，用于根据八叉树结构计算第一面部三维模型的顶点编码；
第二关联子单元，根据顶点编码和小正方体的索引关系，确定若顶点所关联的小正方体中的三角面片不为空集，则将顶点与小正方体中的三角面片关联。
可选的，该装置还包括：
邻域判断单元，用于若顶点所关联的小正方体中的三角面片为空集，则以小正方体为中心，判断小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集；
第三关联子单元，用于若其他小正方体中的三角面片不为空集，则将顶点与其他小正方体中的三角面片关联。
可选的，热力图可视化模块30，具体用于根据距离与颜色表的映射关系，对第一面部三维模型的任意区域进行颜色渲染，得到热力图模型。
可选的，等高线可视化模块40，包括：
高度图计算单元，用于计算第一面部三维模型的第一高度图和第二面部三维模型的第二高度图；
第一二维等高线计算单元，用于根据第一高度图计算第一面部三维模型的第一二维等高线；
第二二维等高线计算单元，用于根据第二高度图计算第二面部三维模型的第二二维等高线；
转换单元，用于将第一二维等高线转换为第一三维等高线、第二二维等高线转换为第二三维等高线；
第一等高线可视化单元，用于根据第一三维等高线对第一面部三维模型进行渲染，得到第一等高线模型；
第二等高线可视化单元，用于根据第二三维等高线对第二面部三维模型进行渲染，得到第二等高线模型。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图9为本申请实施例提供的电子设备的示意图，该电子设备100包括：处理器101、存储介质102和总线。
存储介质102存储有处理器101可执行的程序指令，当电子设备100运行时，处理器101与存储介质102之间通过总线通信，处理器101执行程序指令，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种面部三维模型可视化方法，其特征在于，包括：
获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；所述第一面部三维模型和所述第二面部三维模型为三角面片格式；
计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离；
根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型；
根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
2.如权利要求1所述的方法，其特征在于，所述获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型，包括：
获取所述被测者在所述两个不同时刻的第一初始面部三维模型和所述第二面部三维模型；
计算所述第一初始面部三维模型与所述第二面部三维模型的姿态变换矩阵；
根据所述姿态变换矩阵将所述第一初始面部三维模型对齐到所述第二面部三维模型，得到所述第一面部三维模型。
3.如权利要求2所述的方法，其特征在于，所述计算所述第一初始面部三维模型与所述第二面部三维模型的姿态变换矩阵，包括：
以所述第一初始面部三维模型的鼻尖位置为球心，以预设半径对所述第一初始面部三维模型进行截取，得到所述第一初始面部三维模型对应的第一球体截取模型；
以所述第二面部三维模型的鼻尖位置为球心，以所述预设半径对所述第二面部三维模型进行截取，得到所述第二面部三维模型对应的第二球体截取模型；
采用预设变换矩阵计算方法、以及所述第一球体截取模型和所述第二球体截取模型，计算获取所述姿态变换矩阵。
4.如权利要求1所述的方法，其特征在于，所述计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离，包括：
根据所述第一面部三维模型中每个顶点的坐标，计算获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
5.如权利要求4所述的方法，其特征在于，所述根据所述第一面部三维模型中每个顶点的坐标，计算获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离，包括：
计算所述第一面部三维模型和所述第二面部三维模型的最小公共正方体包围盒；
针对所述第一面部三维模型的最小公共正方体包围盒建立八叉树结构；
以所述八叉树结构的深度对所述第二面部三维模型的最小公共正方体包围盒进行均分，得到预设数量的小正方体；
将所述第二面部三维模型的三角面片与所述小正方体关联；
根据所述第一面部三维模型的顶点坐标与所述小正方体的索引关系，将所述第一面部三维模型的顶点与所述小正方体中的三角面片关联；
根据所述顶点坐标与关联的三角面片的距离，获取所述第一面部三维模型中每个顶点到所述第二面部三维模型最近的三角面片的距离。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一面部三维模型的顶点坐标与所述小正方体的索引关系，将所述第一面部三维模型的顶点与所述小正方体中的三角面片关联，包括：
根据所述八叉树结构计算所述第一面部三维模型的顶点编码；
根据所述顶点编码和所述小正方体的索引关系，确定若所述顶点所关联的小正方体中的三角面片不为空集，则将所述顶点与所述小正方体中的三角面片关联。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若所述顶点所关联的小正方体中的三角面片为空集，则以所述小正方体为中心，判断所述小正方体的预设半径邻域内的其他小正方体中的三角面片是否为空集；
若所述其他小正方体中的三角面片不为空集，则将所述顶点与所述其他小正方体中的三角面片关联。
8.如权利要求1所述的方法，其特征在于，所述根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型，包括：
根据所述距离与颜色表的映射关系，对所述第一面部三维模型的任意区域进行颜色渲染，得到所述热力图模型。
9.如权利要求1所述的方法，其特征在于，所述根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型，包括：
计算所述第一面部三维模型的第一高度图和所述第二面部三维模型的第二高度图；
根据所述第一高度图计算所述第一面部三维模型的第一二维等高线；
根据所述第二高度图计算所述第二面部三维模型的第二二维等高线；
将所述第一二维等高线转换为第一三维等高线、所述第二二维等高线转换为第二三维等高线；
根据所述第一三维等高线对所述第一面部三维模型进行渲染，得到所述第一等高线模型；
根据所述第二三维等高线对所述第二面部三维模型进行渲染，得到所述第二等高线模型。
10.一种面部三维模型可视化装置，其特征在于，包括：
三维模型获取模块，用于获取被测者在两个不同时刻的第一面部三维模型和第二面部三维模型；所述第一面部三维模型和所述第二面部三维模型为三角面片格式；
距离计算模块，用于计算所述第一面部三维模型与所述第二面部三维模型中坐标点之间的距离；
热力图可视化模块，用于根据所述距离对所述第一面部三维模型进行渲染，得到热力图模型；
等高线可视化模块，用于根据所述第一面部三维模型和所述第二面部三维模型分别计算三维等高线，得到第一等高线模型和第二等高线模型。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至9任一所述的面部三维模型可视化方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述的面部三维模型可视化方法的步骤。
CN202110682452.2A 2021-06-18 2021-06-18 面部三维模型可视化方法、装置、电子设备及存储介质 Active CN113345079B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110682452.2A CN113345079B (zh) 2021-06-18 2021-06-18 面部三维模型可视化方法、装置、电子设备及存储介质
JP2022540757A JP7433444B2 (ja) 2021-06-18 2021-11-23 顔三次元モデル可視化方法、装置、電子機器および記録媒体
KR1020227022198A KR102622215B1 (ko) 2021-06-18 2021-11-23 안면 3차원 모델 시각화 방법, 장치, 전자 장비 및 저장 매체
PCT/CN2021/132548 WO2022262201A1 (zh) 2021-06-18 2021-11-23 面部三维模型可视化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682452.2A CN113345079B (zh) 2021-06-18 2021-06-18 面部三维模型可视化方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113345079A true CN113345079A (zh) 2021-09-03
CN113345079B CN113345079B (zh) 2024-02-27

Family

ID=77477805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682452.2A Active CN113345079B (zh) 2021-06-18 2021-06-18 面部三维模型可视化方法、装置、电子设备及存储介质

Country Status (4)

Country Link
JP (1) JP7433444B2 (zh)
KR (1) KR102622215B1 (zh)
CN (1) CN113345079B (zh)
WO (1) WO2022262201A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262201A1 (zh) * 2021-06-18 2022-12-22 厦门美图宜肤科技有限公司 面部三维模型可视化方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894254A (zh) * 2010-06-13 2010-11-24 南开大学 一种基于等高线法的三维人脸识别方法
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技（上海）有限公司 一种人体模型面部区域重建方法
CN110827336A (zh) * 2019-11-01 2020-02-21 厦门美图之家科技有限公司 一种图像对齐方法、装置、设备及存储介质
CN111145326A (zh) * 2019-12-26 2020-05-12 网易（杭州）网络有限公司 三维虚拟云模型的处理方法、存储介质、处理器及电子装置
CN111369657A (zh) * 2020-03-09 2020-07-03 腾讯科技（深圳）有限公司 三维热力图的生成方法、装置、计算机设备和存储介质
CN111563959A (zh) * 2020-05-06 2020-08-21 厦门美图之家科技有限公司 人脸三维可形变模型的更新方法、装置、设备及介质
CN112347546A (zh) * 2020-11-30 2021-02-09 久瓴(江苏)数字智能科技有限公司 基于轻量级设备的bim渲染方法、设备和计算机可读存储介质
CN112365572A (zh) * 2020-09-30 2021-02-12 深圳市为汉科技有限公司 一种基于曲面细分的渲染方法及其相关产品
CN112784469A (zh) * 2021-02-25 2021-05-11 广州虎牙科技有限公司 模型参数生成方法、装置、电子设备和可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001000421A (ja) 1999-06-22 2001-01-09 Pola Chem Ind Inc 表情のシミュレート法
JP2003057017A (ja) * 2001-08-10 2003-02-26 Kao Corp 三次元物体の測定装置
US9652664B1 (en) * 2014-12-30 2017-05-16 Morphotrust Usa, Llc Facial recognition using fractal features
EP3655924B1 (en) 2017-07-26 2022-09-21 Canfield Scientific, Incorporated Method and apparatus to generate and track standardized anatomical regions automatically
CN108256505A (zh) * 2018-02-12 2018-07-06 腾讯科技（深圳）有限公司 图像处理方法及装置
CN108647242B (zh) * 2018-04-10 2022-04-29 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN109118581B (zh) * 2018-08-22 2023-04-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112906607A (zh) * 2021-03-05 2021-06-04 上海红阵信息科技有限公司 一种基于等高线法的人脸图像处理方法
CN113345079B (zh) * 2021-06-18 2024-02-27 厦门美图宜肤科技有限公司 面部三维模型可视化方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894254A (zh) * 2010-06-13 2010-11-24 南开大学 一种基于等高线法的三维人脸识别方法
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技（上海）有限公司 一种人体模型面部区域重建方法
CN110827336A (zh) * 2019-11-01 2020-02-21 厦门美图之家科技有限公司 一种图像对齐方法、装置、设备及存储介质
CN111145326A (zh) * 2019-12-26 2020-05-12 网易（杭州）网络有限公司 三维虚拟云模型的处理方法、存储介质、处理器及电子装置
CN111369657A (zh) * 2020-03-09 2020-07-03 腾讯科技（深圳）有限公司 三维热力图的生成方法、装置、计算机设备和存储介质
CN111563959A (zh) * 2020-05-06 2020-08-21 厦门美图之家科技有限公司 人脸三维可形变模型的更新方法、装置、设备及介质
CN112365572A (zh) * 2020-09-30 2021-02-12 深圳市为汉科技有限公司 一种基于曲面细分的渲染方法及其相关产品
CN112347546A (zh) * 2020-11-30 2021-02-09 久瓴(江苏)数字智能科技有限公司 基于轻量级设备的bim渲染方法、设备和计算机可读存储介质
CN112784469A (zh) * 2021-02-25 2021-05-11 广州虎牙科技有限公司 模型参数生成方法、装置、电子设备和可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
叶长明等: "基于曲面等高线特征的不同姿态三维人脸深度图识别", 《模式识别与人工智能》, 28 February 2013 (2013-02-28), pages 219 - 224 *
张开兴等: "基于最小包围盒的三维模型的配准技术", 《机床与液压》, 30 April 2008 (2008-04-30), pages 5 - 7 *
田唐昊: "三维人脸模拟整容系统", 《中国优秀硕士学位论文全文数据库信息科技辑》, 31 December 2018 (2018-12-31), pages 138 - 1336 *
陈福兴: "利用RGB-D相机进行人体三维重建关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 31 March 2020 (2020-03-31), pages 138 - 771 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262201A1 (zh) * 2021-06-18 2022-12-22 厦门美图宜肤科技有限公司 面部三维模型可视化方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7433444B2 (ja) 2024-02-19
CN113345079B (zh) 2024-02-27
WO2022262201A1 (zh) 2022-12-22
KR20220169471A (ko) 2022-12-27
JP2023534327A (ja) 2023-08-09
KR102622215B1 (ko) 2024-01-05

Similar Documents

Publication Publication Date Title
AU2019432052B2 (en) Three-dimensional image measurement method, electronic device, storage medium, and program product
Heinrich et al. Continuous parallel coordinates
KR102076431B1 (ko) 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체
JP6740033B2 (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
US20130182956A1 (en) Methods and Devices for Processing Handwriting Input
CN111563959B (zh) 人脸三维可形变模型的更新方法、装置、设备及介质
CN110163087A (zh) 一种人脸姿态识别方法及系统
Zhihong et al. Curvature estimation for meshes based on vertex normal triangles
Gonçalves et al. A benchmark study on accuracy-controlled distance calculation between superellipsoid and superovoid contact geometries
CN113345079B (zh) 面部三维模型可视化方法、装置、电子设备及存储介质
CN107534202A (zh) 一种测量天线姿态的方法和装置
Massa et al. Cuneiform detection in vectorized raster images
Batagelo et al. Estimating curvatures and their derivatives on meshes of arbitrary topology from sampling directions
CN115496860A (zh) 软尺模型构建方法、装置、终端设备及存储介质
Piccirilli et al. A framework for analyzing the whole body surface area from a single view
CN115049744A (zh) 机器人手眼坐标转换方法、装置、计算机设备和存储介质
Breen et al. Epithelial cell reconstruction and visualization of the developing Drosophila wing imaginal disc
CN112967329A (zh) 图像数据优化方法、装置、电子设备及存储介质
Ye et al. An improved algorithm for triangle to triangle intersection test
Stenholt et al. Shaping 3-D boxes: A full 9 degree-of-freedom docking experiment
CN110378363B (zh) 基于匹配控制子图的复合多边形相似性度量方法
CN108917677B (zh) 立方体房间内部尺寸测量方法、存储介质
Vezzetti Study and development of morphological analysis guidelines for point cloud management: The “decisional cube”
EP4231238A1 (en) Method for spatially aligning a point cloud
CN105698724A (zh) 一种3d模型取点测周长的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210922

Address after: 361100 568, No. 942, tonglong Second Road, torch high tech Zone (Xiang'an) Industrial Zone, Xiang'an District, Xiamen City, Fujian Province

Applicant after: Xiamen Meitu Yifu Technology Co.,Ltd.

Address before: B1f-089, Zone C, Huaxun building, software park, torch high tech Zone, Xiamen City, Fujian Province

Applicant before: XIAMEN HOME MEITU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant