CN113705444A - 一种面部发育分析评估方法及系统 - Google Patents

一种面部发育分析评估方法及系统 Download PDF

Info

Publication number
CN113705444A
CN113705444A CN202110995887.2A CN202110995887A CN113705444A CN 113705444 A CN113705444 A CN 113705444A CN 202110995887 A CN202110995887 A CN 202110995887A CN 113705444 A CN113705444 A CN 113705444A
Authority
CN
China
Prior art keywords
face
positive
key
index data
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110995887.2A
Other languages
English (en)
Inventor
包雷
周建峰
徐叔勇
成方元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Boltzmann Zhibei Technology Co ltd
Original Assignee
Chengdu Boltzmann Zhibei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Boltzmann Zhibei Technology Co ltd filed Critical Chengdu Boltzmann Zhibei Technology Co ltd
Priority to CN202110995887.2A priority Critical patent/CN113705444A/zh
Publication of CN113705444A publication Critical patent/CN113705444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面部发育分析评估方法及系统，包括正貌关键指标数据获取步骤：采集人脸正貌图片，通过正貌人脸检测模型检测出正貌人脸位置，通过正貌人脸关键点定位模型对正貌人脸关键点进行定位，并根据正貌关键点位置数据计算正貌关键指标数据；侧貌关键指标数据获取步骤：采集人脸侧貌图片，通过侧貌人脸检测模型检测出侧貌人脸位置，通过侧貌人脸关键点定位模型对侧貌人脸关键点进行定位，并根据侧貌关键点位置数据计算侧貌关键点指标数据；评估分析步骤：根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。本发明提高了临床工作效率和患者面型发育情况分析评估的准确率。

Description

一种面部发育分析评估方法及系统
技术领域
本发明涉及口腔正畸技术领域，尤其涉及一种面部发育分析评估方法及系统。
背景技术
牙齿矫正会对面部的软组织变化产生重要影响，因此，分析评估患者面型发育情况，对于正畸医生设计合理的正畸方案至关重要。通常情况下，正畸医生是通过对患者的正貌照和侧貌照测量与分析，实现对患者面型发育情况的分析评估。在分析评估过程中，需要对患者照片中相关的关键解剖标志点进行标记，根据这些关键点测量计算相关的关键指标数据，分析评估这些数据得到患者面型发育情况。
而传统临床上对关键解剖标志点标记和关键指标数据的测量计算，主要依赖于正畸医生目测和手绘,因此，存在效率低且精度低的问题。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种面部发育分析评估方法及系统，解决了传统临床上对关键解剖标志点标记和关键指标数据的测量计算存在的不足。
本发明的目的通过以下技术方案来实现：一种面部发育分析评估方法，所述评估方法包括：
正貌关键指标数据获取步骤：采集人脸正貌图片，通过正貌人脸检测模型检测出正貌人脸位置，通过正貌人脸关键点定位模型对正貌人脸关键点进行定位，并根据正貌关键点位置数据计算正貌关键指标数据；
侧貌关键指标数据获取步骤：采集人脸侧貌图片，通过侧貌人脸检测模型检测出侧貌人脸位置，通过侧貌人脸关键点定位模型对侧貌人脸关键点进行定位，并根据侧貌关键点位置数据计算侧貌关键点指标数据；
评估分析步骤：根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。
所述正貌关键指标数据获取步骤包括：
A1、使用神经网络正貌人脸检测模型对输入的患者正貌照图片进行正貌人脸检测，得到患者正貌人脸位置数据；
A2、根据步骤A1得到的患者正貌人脸位置数据，在输入的患者正貌人脸图片上截取正貌人脸区域图片上截取正貌人脸区域图片，并通过神经网络正貌人脸关键点定位模型进行关键解剖标志点定位，得到患者正貌照人脸区域m个关键点位置数据；
A3、根据步骤A2得到的患者正貌照图片m个关键点位置数据，测量计算得到n个正貌关键指标数据。
所述侧貌关键指标数据获取步骤包括：
B1、使用神经网络侧貌人脸检测模型对输入的患者侧貌照图片进行侧貌人脸检测，得到患者侧貌人脸位置数据；
B2、根据步骤B1得到的患者侧貌人脸位置数据，在输入的患者侧貌人脸图片上截取侧貌人脸区域图片，并通过神经网络侧貌人脸关键点定位模型进行关键解剖标志点定位，得到患者侧貌照人脸区域m个关键点位置数据；
B3、根据步骤B2得到的患者侧貌照图片m个关键点位置数据，测量计算得到k个侧貌关键指标数据。
所述n个正貌关键指标数据为8个正貌关键指标数据，具体包括：面高/面宽、正中矢状线与拟合中线夹角、颏点到正中矢状线的距离、上面高/中面高/下面高、鼻底口裂距/口裂颏下距、整体宽度/两眼宽度之和、唇宽/鼻根宽、下唇厚度/上唇厚度。
所述k个侧貌关键指标数据包括26个侧貌关键指标数据，具体包括：鼻额角、鼻面角、鼻尖角、鼻唇角、上唇凹角、上唇颏突角、上唇倾角、下唇颏突角、下唇倾角、上下唇角、颏唇沟角、颏颈角、全面突角、面突角、上三角、下三角、关键点G-Trg-Prn之间的夹角、关键点Prn-Trg-Gn'之间的夹角、面角Peck、面角Stoner、Z角、T角、中面高/形态面高、中面高/下面高、上唇高/下面高和Sn-Gn'/C-Gn'。
所述评估方法还包括模型构建步骤，所述模型构建步骤包括建立正貌人脸检测模型、建立正貌人脸关键点定位模型、建立侧貌人脸检测模型和建立侧貌人脸关键点定位模型。
一种面部发育分析评估方法系统，它包括模型构建模块、正貌/侧貌关键指标数据获取模块和评估分析模块；
所述模型构建模块：用于建立正貌人脸检测模型、建立正貌人脸关键点定位模型、建立侧貌人脸检测模型和建立侧貌人脸关键点定位模型；
所述正貌/侧貌关键指标数据获取模块：用于采集人脸正貌/侧貌图片，通过正貌/侧貌人脸检测模型检测出正貌/侧貌人脸位置，通过正貌/侧貌人脸关键点定位模型对正貌/侧貌人脸关键点进行定位，并根据正貌/侧貌关键点位置数据计算正貌/侧貌关键指标数据；
所述评估分析模块：用于根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。
所述正貌/侧貌关键指标数据获取模块包括图片输入单元、正貌/侧貌人脸检测单元、正貌/侧貌关键点定位单元和正貌/侧貌关键指标数据测量计算单元；
所述图片输入单元：用于输入待分析评估的正貌照和侧貌照图片；
所述正貌/侧貌人脸检测单元：用于使用神经网络正貌/侧貌人脸检测模型，得到患者正貌/侧貌照片人脸位置数据；
所述正貌/侧貌关键点定位单元：用于使用神经网络正貌/侧貌关键点定位模型，得到患者正貌/侧貌照片20个关键点位置数据。
所述正貌/侧貌关键指标数据测量计算单元：用于测量计算得到8个正貌/26个侧貌关键指标数据。
本发明具有以下优点：一种面部发育分析评估方法及系统，采用深度学习技术，依据传统医学的正貌、侧貌的比例评价(宏观美学)、唇齿关系评价(微观美学)、牙齿评价(迷你美学)理论，实现正貌、侧貌的整体与局部软组织发育情况的自动测量与分析，提高了临床工作效率和患者面型发育情况分析评估的准确率。
附图说明
图1为本发明方法的流程示意图；
图2为正貌人脸关键点示意图；
图3为侧貌人脸关键点示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示，本发明的一种实施例涉及一种面部发育分析评估方法，对人脸正貌照片，用正貌人脸检测模型检测出正貌人脸位置，用正貌人脸关键点定位模型对正貌人脸关键点进行定位，根据关键点位置数据计算正貌关键指标数据；对人脸侧貌照片，用侧貌人脸检测模型检测出侧貌人脸位置，用侧貌人脸关键点定位模型对侧貌人脸关键点进行定位，根据关键点位置数据计算侧貌关键指标数据；根据正貌、侧貌关键指标数据分析评估患者面型发育情况；具体包括以下内容：
步骤1、对输入的患者正貌照图片，使用神经网络正貌人脸检测模型进行正貌人脸检测，得到患者正貌人脸位置数据。其中，神经网络正貌人脸检测模型的建立，包括如下步骤：
(1)构建训练样本集、验证样本集和测试样本集；
①获取原始图像样本集：
获取多个正貌照片图像样本，并对每个图像样本的正貌人脸区域进行标注，得到多个包含手工标注正貌人脸区域的图像样本集；
②获取训练样本集、验证样本集和测试样本集：
将包含手工标注正貌人脸区域图像样本集中的多数图像样本作为训练样本集，剩余图像样本中的一部分图像样本作为验证样本集，另一部分图像样本作为测试样本集。
(2)构建神经网络；
基于pytorch的框架下，使用mobilenet和YOLOV3相结合的方式来构建神经网络。
(3)训练神经网络；
对原有已标注的图像样本集进行光照、色差、亮度、对比度和旋转等方式增强数据，以提高网络的泛化能力。
用已准备好的训练数据，训练构建的神经网络，当损失误差达到所期望值或者到达某个迭代次数后结束网络训练，网络训练结束后得到初步的正貌人脸检测模型。
(4)使用验证样本集和测试样本集数据对训练后的神经网络进行测试、验证得到神经网络正貌人脸检测模型。
步骤2、根据步骤1得到患者正貌人脸位置数据，在输入的患者正貌人脸图片上截取正貌人脸区域图片，使用神经网络正貌人脸关键点定位模型进行关键解剖标志点定位，得到患者正貌照人脸区域20个关键点位置数据。其中，神经网络关键点定位模型的建立，包括如下步骤：
(1)构建训练样本集、验证样本集和测试样本集：
①获取颈椎区域图像样本集：
使用步骤1中采集的多个患者正貌照图像样本，对这些样本中的人脸关键解剖标志点进行标定，从而得到多个包含手工标定人脸关键点的图片样本集；
②获取训练样本集、验证样本集和测试样本集：
将包含手工标注人脸关键点图片样本集中的多数图片样本作为训练样本集，剩余图片样本中的一部分图片样本作为验证样本集，另一部分图片样本作为测试样本集。
(2)构建神经网络；
基于pytorch的框架下，使用卷积网络(CNN)和全连接相结合的方式来构建神经网络。
(3)训练神经网络；
对原有已标定的图像样本集进行光照、色差、亮度、对比度和旋转等方式增强数据，以提高网络的泛化能力。
用已准备好的训练数据，训练构建的神经网络，当损失误差达到所期望值或者到达某个迭代次数后结束网络训练，网络训练结束后得到初步的正貌人脸关键点定位模型。
(4)使用验证样本集和测试样本集数据对训练后的神经网络进行测试、验证得到神经网络正貌人脸关键点定位模型。
步骤3、根据步骤2得到的患者正貌照图片20个关键点位置数据，测量计算8个正貌关键指标数据。
如图2所示，其中，8个正貌关键指标数据具体包括：面高/面宽、正中矢状线与拟合中线夹角、颏点到正中矢状线的距离、上面高/中面高/下面高、鼻底口裂距/口裂颏下距、整体宽度/两眼宽度之和、唇宽/鼻根宽、下唇厚度/上唇厚度。
其中，20个关键点包括：眉间点(G),软组织鼻根点(N),右眼右角点(ExR),右眼左角点(EnR),左眼右角点(EnL),左眼左角点(ExL),鼻尖点(Prn),鼻下点(Sn),上唇突点(Ls),上口点(Stms),下口点(Stmi),下唇突点(Li),组织颏下点(Me),嘴角右角点(ChR),嘴角左角点(ChL),发髻点(Tr),右侧下颌角点(GoR),右侧颧弓点(ZyR),左颧弓点(ZyL),左侧下颌角点(GoL)。
步骤4、对输入的患者侧貌照图片，使用神经网络侧貌人脸检测模型进行侧貌人脸检测，得到患者侧貌人脸位置数据。其中，神经网络侧貌人脸检测模型的建立，包括如下步骤：
(1)构建训练样本集、验证样本集和测试样本集；
①获取原始图像样本集：
获取多个侧貌照片图像样本，并对每个图像样本的侧貌人脸区域进行标注，得到多个包含手工标注侧貌人脸区域的图像样本集；
②获取训练样本集、验证样本集和测试样本集：
将包含手工标注侧貌人脸区域图像样本集中的多数图像样本作为训练样本集，剩余图像样本中的一部分图像样本作为验证样本集，另一部分图像样本作为测试样本集。
(2)构建神经网络；
基于pytorch的框架下，使用mobilenet和YOLOV3相结合的方式来构建神经网络。
(3)训练神经网络；
对原有已标注的图像样本集进行光照、色差、亮度、对比度和旋转等方式增强数据，以提高网络的泛化能力。
用已准备好的训练数据，训练构建的神经网络，当损失误差达到所期望值或者到达某个迭代次数后结束网络训练，网络训练结束后得到初步的侧貌人脸检测模型。
4)使用验证样本集和测试样本集数据对训练后的神经网络进行测试、验证得到神经网络侧貌人脸检测模型。
步骤5、根据步骤4得到患者侧貌人脸位置数据，在输入的患者侧貌人脸图片上截取侧貌人脸区域图片，使用神经网络侧貌人脸关键点定位模型进行关键解剖标志点定位，得到患者侧貌照人脸区域20个关键点位置数据。其中，神经网络侧貌人脸关键点定位模型的建立，包括如下步骤：
(1)构建训练样本集、验证样本集和测试样本集；
①获取颈椎区域图像样本集：
使用步骤4中采集的多个患者侧貌照图像样本，对这些样本中的侧貌人脸关键解剖标志点进行标定，从而得到多个包含手工标定侧貌人脸关键点的图片样本集；
②获取训练样本集、验证样本集和测试样本集：
将包含手工标注侧貌人脸关键点图片样本集中的多数图片样本作为训练样本集，剩余图片样本中的一部分图片样本作为验证样本集，另一部分图片样本作为测试样本集。
(2)构建神经网络；
基于pytorch的框架下，使用卷积网络(CNN)和全连接相结合的方式来构建神经网络。
(3)训练神经网络；
对原有已标定的图像样本集进行光照、色差、亮度、对比度和旋转等方式增强数据，以提高网络的泛化能力。
用已准备好的训练数据，训练构建的神经网络，当损失误差达到所期望值或者到达某个迭代次数后结束网络训练，网络训练结束后得到初步的侧貌人脸关键点定位模型。
(4)使用验证样本集和测试样本集数据对训练后的神经网络进行测试、验证得到神经网络侧貌人脸关键点定位模型。
步骤6、根据步骤5得到的患者侧貌照图片20个关键点位置数据，测量计算26个侧貌关键指标数据。
如图3所示，其中，26个侧貌关键指标数据具体包括：
1)鼻额角G-N'-Prn(°)：点N'和点Prn连线与点N'和点G连线的夹角；
2)鼻面角N-Prn/TVL(°)：点N'和点Prn连线与点N'和过点N'与FH垂线交点连线的夹角；
3)鼻尖角(°)：点N'和点Prn连线与点Sn和点Cm连线的夹角；
4)鼻唇角Nasolabial angle(°)：点Sn和点Cm连线与点Sn和点UL'连线的夹角；
5)上唇凹角(°)：点A’和点Sn连线与点A'和点UL'连线的夹角；
6)上唇颏突角(°)：点N'和点Ls连线与点N'和点Pog'连线的夹角；
7)上唇倾角(°)：点N'和Pog'的中点和点Trg连线与点Ls和A'连线的夹角；
8)下唇颏突角(°)：点N'和点Li连线与点N'和点Pog'连线的夹角；
9)下唇倾角(°)：点Si和LL'连线与点N’和Pog'的中点和点Trg连线的夹角；
10)上下唇角(°)：点UL'和Sn连线与点LL'和Si连线的夹角；
11)颏唇沟角(°)：点Si和LL'连线与点Si和UL'连线的夹角；
12)颏颈角(°)：点C和Me'连线与点Sn和Pog'连线的夹角；
13)全面突角G-Prn-Pog'(°)：点G和点Prn连线与点Pog'和Prn连线的夹角；
14)面突角G-Sn-Pog'(°)：点G和Sn连线与点Sn和Pog'连线的夹角；
15)上三角(°)：点Prn和G的连线与点Pog'和G的连线的夹角；
16)下三角(°)：点G和Pog'的连线与点Prn和Pog'连线的夹角；
17)G-Trg-Prn(°)：点G和Trg的连线与点Prn和Trg的连线的夹角；
18)Prn-Trg-Gn'(°)：点Prn和Trg的连线与点Gn'和Trg的连线的夹角；
19)面角Peck(°)：点N'和Pog'的中点和Trg的连线与点N'和Pog'的中点和Gn'的连线的夹角；
20)面角Stoner(°)：点Trg和Or的连线与点N'和Pog'的连线的夹角；
21)Z角(°)：点Trg和Or的连线与点Li和Pog'的连线的夹角；
22)T角(°)：点Sn和Pog'的连线与点N'和过点N'与FH垂线交点连线的夹角；
23)中面高/形态面高N'-Sn/N'-Me'(％)：点N'和Sn'的距离与点N'和点Me”的距离比；
24)中面高/下面高N'-Sn/Sn-Me'(％)：点N'和Sn'的距离与点Sn’和Me”的距离比；
25)上唇高/下面高Sn-Stms/Sn-Me'(％)：点Sn'和Stms'的距离与点Sn'和Me”的距离比；
26)Sn-Gn'/C-Gn'(％)：点Sn和Gn'的距离与点C和Gn'的距离比。
其中Sn'为点Sn在过N'垂直于FH的直线上的垂直投影点，Me”为点Me’在过N'垂直于FH的直线上的垂直投影点，Stms'点Stms在过N’垂直于FH的直线上的垂直投影点，Gn'点为Me'和C连线与点Sn和Pog'连线的交点。
步骤7、根据正貌、侧貌关键指标数据分析评估患者面型发育情况，包括：
(1)参照标准正貌关键指标数据，分析步骤3得到的正貌关键指标数据，得到患者正貌发育情况；
(2)参照标准侧貌关键指标数据，分析步骤6得到的侧貌关键指标数据，得到患者侧貌发育情况；
(3)综合分析得到患者面型发育情况。
本发明的另一实施例涉及一种面部发育分析评估方法系统，它包括模型构建模块、正貌/侧貌关键指标数据获取模块和评估分析模块；
所述模型构建模块：用于建立正貌人脸检测模型、建立正貌人脸关键点定位模型、建立侧貌人脸检测模型和建立侧貌人脸关键点定位模型；
所述正貌/侧貌关键指标数据获取模块：用于采集人脸正貌/侧貌图片，通过正貌/侧貌人脸检测模型检测出正貌/侧貌人脸位置，通过正貌/侧貌人脸关键点定位模型对正貌/侧貌人脸关键点进行定位，并根据正貌/侧貌关键点位置数据计算正貌/侧貌关键指标数据；
所述评估分析模块：用于根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。
所述正貌/侧貌关键指标数据获取模块包括图片输入单元、正貌/侧貌人脸检测单元、正貌/侧貌关键点定位单元和正貌/侧貌关键指标数据测量计算单元；
所述图片输入单元：用于输入待分析评估的正貌照和侧貌照图片；
所述正貌/侧貌人脸检测单元：用于使用神经网络正貌/侧貌人脸检测模型，得到患者正貌/侧貌照片人脸位置数据；
所述正貌/侧貌关键点定位单元：用于使用神经网络正貌/侧貌关键点定位模型，得到患者正貌/侧貌照片20个关键点位置数据。
所述正貌/侧貌关键指标数据测量计算单元：用于测量计算得到8个正貌/26个侧貌关键指标数据。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种面部发育分析评估方法，其特征在于：所述评估方法包括：
正貌关键指标数据获取步骤：采集人脸正貌图片，通过正貌人脸检测模型检测出正貌人脸位置，通过正貌人脸关键点定位模型对正貌人脸关键点进行定位，并根据正貌关键点位置数据计算正貌关键指标数据；
侧貌关键指标数据获取步骤：采集人脸侧貌图片，通过侧貌人脸检测模型检测出侧貌人脸位置，通过侧貌人脸关键点定位模型对侧貌人脸关键点进行定位，并根据侧貌关键点位置数据计算侧貌关键点指标数据；
评估分析步骤：根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。
2.根据权利要求1所述的一种面部发育分析评估方法，其特征在于：所述正貌关键指标数据获取步骤包括：
A1、使用神经网络正貌人脸检测模型对输入的患者正貌照图片进行正貌人脸检测，得到患者正貌人脸位置数据；
A2、根据步骤A1得到的患者正貌人脸位置数据，在输入的患者正貌人脸图片上截取正貌人脸区域图片上截取正貌人脸区域图片，并通过神经网络正貌人脸关键点定位模型进行关键解剖标志点定位，得到患者正貌照人脸区域m个关键点位置数据；
A3、根据步骤A2得到的患者正貌照图片m个关键点位置数据，测量计算得到n个正貌关键指标数据。
3.根据权利要求1所述的一种面部发育分析评估方法，其特征在于：所述侧貌关键指标数据获取步骤包括：
B1、使用神经网络侧貌人脸检测模型对输入的患者侧貌照图片进行侧貌人脸检测，得到患者侧貌人脸位置数据；
B2、根据步骤B1得到的患者侧貌人脸位置数据，在输入的患者侧貌人脸图片上截取侧貌人脸区域图片，并通过神经网络侧貌人脸关键点定位模型进行关键解剖标志点定位，得到患者侧貌照人脸区域m个关键点位置数据；
B3、根据步骤B2得到的患者侧貌照图片m个关键点位置数据，测量计算得到k个侧貌关键指标数据。
4.根据权利要求2所述的一种面部发育分析评估方法，其特征在于：所述n个正貌关键指标数据为8个正貌关键指标数据，具体包括：面高/面宽、正中矢状线与拟合中线夹角、颏点到正中矢状线的距离、上面高/中面高/下面高、鼻底口裂距/口裂颏下距、整体宽度/两眼宽度之和、唇宽/鼻根宽、下唇厚度/上唇厚度。
5.根据权利要求3所述的一种面部发育分析评估方法，其特征在于：所述k个侧貌关键指标数据包括26个侧貌关键指标数据，具体包括：鼻额角、鼻面角、鼻尖角、鼻唇角、上唇凹角、上唇颏突角、上唇倾角、下唇颏突角、下唇倾角、上下唇角、颏唇沟角、颏颈角、全面突角、面突角、上三角、下三角、关键点G-Trg-Prn之间的夹角、关键点Prn-Trg-Gn'之间的夹角、面角Peck、面角Stoner、Z角、T角、中面高/形态面高、中面高/下面高、上唇高/下面高和Sn-Gn'/C-Gn'。
6.根据权利要求1-5中任意一项所述的一种面部发育分析评估方法，其特征在于：所述评估方法还包括模型构建步骤，所述模型构建步骤包括建立正貌人脸检测模型、建立正貌人脸关键点定位模型、建立侧貌人脸检测模型和建立侧貌人脸关键点定位模型。
7.一种面部发育分析评估方法系统，其特征在于：它包括模型构建模块、正貌/侧貌关键指标数据获取模块和评估分析模块；
所述模型构建模块：用于建立正貌人脸检测模型、建立正貌人脸关键点定位模型、建立侧貌人脸检测模型和建立侧貌人脸关键点定位模型；
所述正貌/侧貌关键指标数据获取模块：用于采集人脸正貌/侧貌图片，通过正貌/侧貌人脸检测模型检测出正貌/侧貌人脸位置，通过正貌/侧貌人脸关键点定位模型对正貌/侧貌人脸关键点进行定位，并根据正貌/侧貌关键点位置数据计算正貌/侧貌关键指标数据；
所述评估分析模块：用于根据得到的正貌和侧貌关键点指标数据分析评估患者面部面型发育情况。
8.根据权利要求7所述的一种面部发育分析评估方法系统，其特征在于：所述正貌/侧貌关键指标数据获取模块包括图片输入单元、正貌/侧貌人脸检测单元、正貌/侧貌关键点定位单元和正貌/侧貌关键指标数据测量计算单元；
所述图片输入单元：用于输入待分析评估的正貌照和侧貌照图片；
所述正貌/侧貌人脸检测单元：用于使用神经网络正貌/侧貌人脸检测模型，得到患者正貌/侧貌照片人脸位置数据；
所述正貌/侧貌关键点定位单元：用于使用神经网络正貌/侧貌关键点定位模型，得到患者正貌/侧貌照片20个关键点位置数据。
所述正貌/侧貌关键指标数据测量计算单元：用于测量计算得到8个正貌/26个侧貌关键指标数据。
CN202110995887.2A 2021-08-27 2021-08-27 一种面部发育分析评估方法及系统 Pending CN113705444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110995887.2A CN113705444A (zh) 2021-08-27 2021-08-27 一种面部发育分析评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110995887.2A CN113705444A (zh) 2021-08-27 2021-08-27 一种面部发育分析评估方法及系统

Publications (1)

Publication Number Publication Date
CN113705444A true CN113705444A (zh) 2021-11-26

Family

ID=78656021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110995887.2A Pending CN113705444A (zh) 2021-08-27 2021-08-27 一种面部发育分析评估方法及系统

Country Status (1)

Country Link
CN (1) CN113705444A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638801A (zh) * 2022-03-14 2022-06-17 成都玻尔兹曼智贝科技有限公司 上气道通气情况分析方法、装置及储存介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪系统及方法
JP2007193404A (ja) * 2006-01-17 2007-08-02 Fujifilm Corp 顔検出方法および装置並びにプログラム
CN101114339A (zh) * 2007-07-17 2008-01-30 李东亚 一种可视媒体受众信息反馈系统和方法
CN101271520A (zh) * 2008-04-01 2008-09-24 北京中星微电子有限公司 一种确定图像中的特征点位置的方法及装置
CN101668176A (zh) * 2009-09-25 2010-03-10 北京酷联天下科技有限公司 一种基于人际社交图的多媒体内容点播与分享方法
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN109284778A (zh) * 2018-09-07 2019-01-29 北京相貌空间科技有限公司 人脸颜值计算方法、计算装置及电子设备
CN110874587A (zh) * 2019-12-26 2020-03-10 浙江大学 一种人脸特征参数提取系统
CN111598038A (zh) * 2020-05-22 2020-08-28 深圳市瑞立视多媒体科技有限公司 脸部特征点检测方法、装置、设备及存储介质
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193404A (ja) * 2006-01-17 2007-08-02 Fujifilm Corp 顔検出方法および装置並びにプログラム
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪系统及方法
CN101114339A (zh) * 2007-07-17 2008-01-30 李东亚 一种可视媒体受众信息反馈系统和方法
CN101271520A (zh) * 2008-04-01 2008-09-24 北京中星微电子有限公司 一种确定图像中的特征点位置的方法及装置
CN101668176A (zh) * 2009-09-25 2010-03-10 北京酷联天下科技有限公司 一种基于人际社交图的多媒体内容点播与分享方法
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN109284778A (zh) * 2018-09-07 2019-01-29 北京相貌空间科技有限公司 人脸颜值计算方法、计算装置及电子设备
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置
CN110874587A (zh) * 2019-12-26 2020-03-10 浙江大学 一种人脸特征参数提取系统
CN111598038A (zh) * 2020-05-22 2020-08-28 深圳市瑞立视多媒体科技有限公司 脸部特征点检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SACHIN SUDHAKAR FARFADE等: "Multi-view Face Detection Using Deep Convolutional Neural Networks", 《ARXIV》, 20 April 2015 (2015-04-20), pages 1 - 8 *
吕亚骏: "基于深度学习的人脸识别系统和东亚人脸数据库的建立", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, 15 December 2018 (2018-12-15), pages 138 - 947 *
张波波: "基于关键变形部位的人脸表情识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 06, 15 June 2018 (2018-06-15), pages 138 - 1361 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638801A (zh) * 2022-03-14 2022-06-17 成都玻尔兹曼智贝科技有限公司 上气道通气情况分析方法、装置及储存介质

Similar Documents

Publication Publication Date Title
KR101952887B1 (ko) 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
CN113520641B (zh) 用于构造修复体的方法
JP4446094B2 (ja) 人体情報抽出装置
Bidra et al. The relationship of facial anatomic landmarks with midlines of the face and mouth
Al-Hiyali et al. The impact of orthognathic surgery on facial expressions
Al-Anezi et al. A new method for automatic tracking of facial landmarks in 3D motion captured images (4D)
Hajeer et al. A new three-dimensional method of assessing facial volumetric changes after orthognathic treatment
Miloro et al. Is there consistency in cephalometric landmark identification amongst oral and maxillofacial surgeons?
Yuan et al. Personalized design technique for the dental occlusal surface based on conditional generative adversarial networks
Zebeib et al. Variability of the inclination of anatomic horizontal reference planes of the craniofacial complex in relation to the true horizontal line in orthognathic patients
CN102047292A (zh) 提供面部分析服务的方法和装置
CN103494653A (zh) 一种牙颌生长发育规律的数字化测量方法
Burke et al. Stereophotographic measurement of change in facial soft tissue morphology following surgery
CN113065552A (zh) 自动定位头影测量标志点的方法
Schmidlin et al. Facial ageing in South African adult males
CN113705444A (zh) 一种面部发育分析评估方法及系统
CN113413229B (zh) 一种牙预备体质量评估的数字化方法
Croquet et al. Automated landmarking for palatal shape analysis using geometric deep learning
Basamtabar et al. Relationship of anteroposterior position of maxillary central incisors with the forehead in an adult Iranian subpopulation: a cross-sectional study
CN112545537A (zh) 头影测量描迹图生成方法及系统
CN203379133U (zh) 口腔矫正植体手术用定位测定装置
KR20200012707A (ko) 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
Stephan et al. Two-dimensional computer-generated average human face morphology and facial approximation
CN113017868A (zh) 一种正畸前后头颅侧位片配准方法及设备
de Lima Lucas et al. Research and clinical applications of facial analysis in dentistry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination