CN111460899A - 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法 - Google Patents

基于深度学习的软硬组织特征拓扑识别及面部形变预测方法 Download PDF

Info

Publication number
CN111460899A
CN111460899A CN202010142781.3A CN202010142781A CN111460899A CN 111460899 A CN111460899 A CN 111460899A CN 202010142781 A CN202010142781 A CN 202010142781A CN 111460899 A CN111460899 A CN 111460899A
Authority
CN
China
Prior art keywords
points
soft tissue
face
topology
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010142781.3A
Other languages
English (en)
Other versions
CN111460899B (zh
Inventor
达理
达式金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010142781.3A priority Critical patent/CN111460899B/zh
Publication of CN111460899A publication Critical patent/CN111460899A/zh
Application granted granted Critical
Publication of CN111460899B publication Critical patent/CN111460899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，本方法基于深度学习的颌面部骨性及软组织特征标志点自动识别，并利用统计学决策分类方法获取面部多重诊断信息，拓扑预测正颌手术前后面型变化。通过以上研究，自主研发相应面型预测算法及软件并实现临床转化，确立患者正颌手术前后软硬组织变化的相关性。构建深度学习的卷积网络及残差网络，实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。

Description

基于深度学习的软硬组织特征拓扑识别及面部形变预测方法
技术领域
本发明涉及一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法。
背景技术
随着医疗技术的改善，患者希望通过正畸正颌联合设计治疗来建立正确的颅面骨骼和咬合关系。正颌手术前后面型的变化趋势是患者及医师最为关注的临床问题。目前预测牙颌面畸形正颌术后面型变化，即颌骨移动与面部软组织变化的相关性研究限于二维评价体系内，且国内相应计算机软件研发仍属空白。
发明内容
本发明的目的在于提供一种构建深度学习的神经网络实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。
技术方案：
一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，它包括以下步骤：
S1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；
S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；
S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：
S3-1、多角度环拍正侧面人脸，获得人脸图像；
S3-2、利用图像合成技术合成三维人脸模型；
S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；
S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；
S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；
S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；
S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；
不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；
S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；
S8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑。
优选的，S2中，预测特征点组二维坐标信息基于变换矩阵获得预测特征点组三维坐标信息，所述变换矩阵的获取方法为：
S2-1-1、利用三维面部模型数据库作为样本空间，手动标定三维图像正颌正畸特征点组；
S2-1-2、构造变化矩阵，输入为特征点组二维坐标，输出为特征点组三维坐标，对样本空间求取超定方程，得到样本空间内的变化矩阵；
S2-1-3、对每一对样例求取超定方程，对样本空间进行回归计算获得与样本相差最小的变化矩阵。
优选的，S2还包括一个优化步骤：
S2-2-1、构造残差网络，输入为特征点组二维坐标，输出预测值为特征点组三维坐标，标签值为手动标定二维图像正颌正畸特征点组三维转换坐标信息；
S2-2-2、训练该网络，使得新输入的软组织图像二维坐标，可通过网络获得预测特征点组三维坐标信息。
优选的，在预测特征点组三维坐标信息中按照下表选取23个特征点，并进行点—点链接形成面部软组织拓扑结构：
序号 特征点名 链接点名
1 N N-PN，N-CO(左)，N-CO(右)
2 Pn Pn-Sn
3 Sn Sn-Ls
4 Li Li-LCh，Li-RCh，Li-stm
5 Ls Ls-LCph，Ls-RCph
6 Cm Cm-Pn
7 LCph LCph-LCh
8 RCph RCph-RCh
9 LCh LCh
10 RCh RCh
11 RAla Rala-Cm
12 LAla Lala-Cm
13 stm stm-Ls
14 LAc Lac-LAla
15 RAc Rac-RAla
16 Go’ Go’-Gn
17 Go” Go”-Gn
18 Co’ Co’-同侧Go
19 Co” Co”-同侧Go
20 Pog Pog-B
21 Me Me-Pog
22 Gn Gn-Me
23 B’ B’-Li
。
优选的，S3-3中，选取面部软组织拓扑结构的若干关键点，进行映射，所述关键点为Gn，Pn，LCh，RCh；在三维人脸模型上按照下表中相应特征点的特征点描述作为映射关系，进行面部软组织拓扑结构向三维人脸模型的贴合，
序号 特征点名 特征点描述
1 N 软组织鼻根点
2 Pn
3 Sn
4 Li
5 Ls
6 Cm
7 LCph
8 RCph
9 LCh 左口角点
10 RCh 右口角点
11 RAla
12 LAla
13 stm
14 LAc
15 RAc
16 Go’
17 Go”
18 Co’
19 Co”
20 Pog
21 Me
22 Gn 软组织颏顶点
23 B’
面部软组织拓扑结构贴合在三维人脸模型上后，上表中23个点在三维人脸模型上分别搜索临近点，获得各点的特征区域，识别出三维人脸模型的23个特征区域。
优选的，S3-4中，所述优化标定是指在各点的特征区域中按照下表中的几何特征寻找最优点，作为新的特征点，各新的特征点构成优化标定的面部拓扑RefineSoftTopo1：
序号 特征点名 特征点描述 几何特征
1 N 软组织鼻根点 区域低点，凹点
2 Pn 鼻尖点 Y轴最高点，凸点
3 Sn 鼻下点 Pn-Li低点，凹点
4 Li 下唇缘点 区域高点
5 Ls 上唇缘点 区域高点
6 Cm 鼻中点 Pn-Sn中点
7 LCph 左唇峰点 区域凸点
8 RCph 右唇峰点 区域凸点
9 LCh 左口角点 区域凹点
10 RCh 右口角点 区域凹点
11 RAla 右侧鼻底点 区域中Pn-LCh角度最大点
12 LAla 左侧鼻底点 区域Pn-RCh角度最大点
13 stm 唇沟点 Li-Ls中凹点
14 LAc 左鼻翼基底点 区域X轴正方向凸点
15 RAc 右鼻翼基底点 区域X轴负方向凸点
16 Go’ 下颌角点(左) 识别区域中心点
17 Go” 下颌角点(右) 识别区域中心点
18 Co’ 下颌关节点(左) 识别区域中心点
19 Co” 下颌关节点(右) 识别区域中心点
20 Pog 软组织颏前点 B-ME角度最大点
21 Me 软组织颏下点 B-GN角度最大点
22 Gn 软组织颏顶点 Z轴最低点
23 B’ 颏唇沟点 区域凸点
。
优选的，S4中，对齐时，选取软组织CT模型的关键点Gn，Pn，LCh，RCh，计算各点之间的距离；选取优化标定的面部拓扑、面部软组织拓扑结构的关键点Gn，Pn，LCh，RCh，计算各点之间的距离；将优化标定的面部拓扑、面部软组织拓扑结构整体缩放，并使用仿射变换使其关键点的距离与软组织CT模型的关键点距离一致，完成对齐。
优选的，S5中，人工在硬组织CT模型上标定三维特征点如下表所示：
序号 特征点名 特征点描述 链接点
1 N 硬组织鼻根点 N-S
2 S 蝶鞍点 S
3 Ans 前鼻棘点 Ans-N
4 A 上齿槽座点 A-Ans
5 Li 下唇缘点 Li-LL3 Ui-RL3
6 Ui 上唇缘点 Ui-LU3 Ui-RU3
7 B 颏唇沟点 B-Pog
8 LU3 上牙左3凸点 LU3-A
9 RU3 上牙右3凸点 RU3-A
10 LL3 下牙左3凸点 LL3
11 RL3 下牙右3凸点 RL3
12 Go’ 下颌角点(左) Go’-Co
13 Go” 下颌角点(右) Go”-Co
14 Co’ 下颌关节点(左) Co’-S
15 Co” 下颌关节点(右) Co”-S
16 Pog 颏前点 Pog-Me
17 Me 颏下点 Me-Gn
18 Gn 颏顶点 Gn-Co
使用ICP最近点对标定拓扑进行调整，使得特征拓扑附着在硬组织CT模型表面，获得硬组织拓扑结构。
优选的，它还包括一个优化步骤，该优化步骤将术前三维面部模型、术前硬组织拓扑结构进行分类：
S9-1、选择特征点角度、特征点连线距离记做关键数据量，关键数据量作为参数，构建样本，标签值为分类类别，及对应的诊断建议；
S9-2、对样本训练深度神经决策树得到决策网络，包括以下步骤：
S9-2-1利用全连接层计算特征，将全连接层节点通过sigmoid函数映射成决策节点；
S9-2-2根据树中节点路由计算决策概率向量；
S9-2-3根据类别概率矩阵将概率向量映射成输出，得到每种类别的概率；
S9-3、测试决策网络，根据分类结果以及测试对象中的关键数据量，输出该分类下的诊断建议。
优选的，它还包括基于术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对，对术前-术后面部形变的预测，包括以下步骤：
S10-1、建立多个样本数据；
S10-1-1、术前，将三维面部模型中同侧CO点与GO点根据最短路径算法链接，将两侧CO点与Pn鼻尖点相链，将两侧GO点与GN软组织下颌点相链，将所有的特征点加入控制点集；
S10-1-2、按照平均采样在术前三维面部模型上分段，细分网格，使得新建拓扑中的点平均的贴在术前人脸表面得到术前面部软组织特征点网格结构，新建的点加入控制点集；
S10-1-3、术后，重复步骤S10-1-1和S10-1-2，获得术后面部软组织特征点网格结构；
S10-1-4、对不同案例重复步骤S10-1-1至S10-1-3，获得样本数据；
S10-2、术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对结合分类结果获得新的网格结构对，对新的网格结构对进行回归计算，输入为术前N*L点软组织特征拓扑三维坐标，标签为术后N*L点软组织特征拓扑三维坐标，输出为N*L点软组织特征拓扑三维坐标预测值Pre1，其中，N为左侧Co点经过Pn到右侧Co点细分的分段数量，L为Co点至GN点细分的分段数量；训练后获得关系矩阵；
S10-3、基于该关系矩阵，输入待预测的术前面部软组织特征点网格结构，得到预测的术后面部软组织特征点网格结构；
S10-4、控制点平滑移动到软组织特征拓扑三维坐标预测值Pre1各控制点的位置，完成形变预测。
本发明的有益效果：
本方法基于深度学习的颌面部骨性及软组织特征标志点自动识别，并利用统计学决策分类方法获取面部多重诊断信息，拓扑预测正颌手术前后面型变化。通过以上研究，自主研发相应面型预测算法及软件并实现临床转化，确立患者正颌手术前后软硬组织变化的相关性。构建深度学习的卷积网络及残差网络，实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。
附图说明
图1是本发明的流程示意图
图2是本发明的人脸特征点71点示意图
图3是本发明的标准的面部软组织拓扑结构
图4是本发明的标准的硬组织拓扑结构
图5是本发明预测出的硬组织特征点
图6是本发明识别出的面部软组织特征点
图7用于预测面部形变的均化网格
图8是本发明发明的四对拓扑结构
具体实施方式
以下结合具体实施例对本发明作进一步描述。
结合图1，本发明包括以下步骤：
S1、基于人脸特征点数据，构造深度卷积网络预测二维图像中特征点，并对结果进行分类，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；
S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；
S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑；包括以下步骤：
S3-1、多角度环拍正侧面人脸，获得人脸图像；
S3-2、利用图像合成技术合成三维人脸模型；
S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；
S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；
S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的优化标定的面部拓扑和标准的面部软组织拓扑结构(如图3所示)及标准的三维人脸模型；
S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1如图4所示。
S1-S5均为本发明的基础数据获取步骤，在此基础上，实现本发明的发明目的：
S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；
不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵；
S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；
S8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑如图5所示。
S6-S8均为本发明的有益效果，其中：S6获得的关系矩阵可以实现基于术前或术后标准面部软组织拓扑结构对硬组织拓扑结构的预测；S7获得的关系矩阵可以实现基于术前标准的面部软组织拓扑结构对术后标准的面部软组织拓扑结构的预测；S8获得的关系矩阵可以实现术前硬组织拓扑结构对术后硬组织拓扑结构的预测。即通过对患者术前的标准的面部软组织拓扑结构、硬组织拓扑结构的采集，实现对术后效果进行预测。
本发明的数据获取与矩阵变换步骤阐述如下：
S1、输入软组织图像，可输出预测特征点组二维坐标信息。
S1-1、按照人脸特征点68点(图2中0-67)，新增Pog(颏前点，图2中68)，Me(颏下点，图2中69)，Cm(鼻中点，图2中70点)形成人脸71点的特征点数据。构造卷积网络预测二维图像中特征点。手动标定二维图像正颌正畸特征点组71点并选取特征点如下表作为正颌与正畸特征点组：
Figure BDA0002399664370000091
Figure BDA0002399664370000101
表1
S1-2、构造卷积网络，输入为图像数据，输出预测值为正颌正畸特征点组的二维坐标信息，标签值(真实值)为手动标定二维图像正颌正畸特征点组二维坐标信息。训练该网络，使得新输入的软组织图像，可输出预测特征点组二维坐标信息。
S2、输入预测特征点组二维坐标信息，获得预测特征点组三维坐标信息和面部软组织拓扑结构。
它首先包括一个基础步骤，即构造变化矩阵，将二维特征点组转换为三维特征点组Coodi(X,Y,Z)，具体的：
S2-1-1、利用优化标定的面部拓扑数据库作为样本空间，手动标定三维图像正颌正畸特征点组。
S2-1-2、构造矩阵，输入为二维图像特征点坐标，输出为三维特征点坐标，对样本空间求取超定方程，得到变化矩阵。使用该变化矩阵作为预测矩阵，输入为二维图像特征点Fea2D，输出为三维模型特征点Fea3D。
通过使用最小二乘法
Figure BDA0002399664370000102
求样本空间内的变化矩阵x
使用Fea2D构造矩阵A，行数为4，列数23，Fea2D的X，Y各占一行，Z轴填写0，最后一行填1，
使用Fea3D构造矩阵b，行数为3，列数23，Fea2D的X，Y，Z各占一行
根据公式
x＝(ATA)-1ATb
计算变化矩阵得X
S2-1-3、对样本空间中的X进行回归计算，计算出与所有样本相差最小的变化矩阵X’Ax＝B
A:Mat(3,4)
X:Mat(4,23)
b:Mat(3,23)
优选的实施例中，它还包括一个优化步骤构造残差网络，输入为图像数据，输出为预测出的正颌正畸特征点组，在基础步骤之上具体的还包括：
S2-2-1、构造残差网络，输入为图像数据二维特征点坐标，输出预测值为正颌正畸特征点组的坐标三维信息，标签值(真实值)为手动标定二维图像正颌正畸特征点组三维转换坐标信息。
S2-2-2、训练该网络，使得新输入的软组织图像二维坐标，可通过网络预测特征点组三维坐标信息。
按照下表选择出的23点，进行点—点连接，形成面部软组织拓扑结构SoftTopo1
Figure BDA0002399664370000111
Figure BDA0002399664370000121
表2
S3、三维预测，多角度环拍正侧面人脸，利用图像合成技术重建三维面部软组织。使用环拍的图片，由S1，S2预测三维特征点信息，并将构造三维拓扑结构与人脸合并。坐标定义，按照CT模型标准，采用Z轴向上递增，Y轴向前递增的坐标系。
S3-1、将拍摄图片选择正位，左右侧位共三张照片由S1获取的三维特征点组。
S3-2、将拍摄图片合成三维人脸模型。
S3-3、并根据SoftTopo1的特征点，在三维模型上选取特征区域。
S3-4、对特征区域按照几何特征，进行自动优化标定。
具体的：选取面部软组织拓扑结构的若干关键点，进行映射，所述关键点为Gn，Pn，LCh，RCh；在三维人脸模型上按照下表中相应特征点的特征点描述作为映射关系，进行面部软组织拓扑结构向三维人脸模型的贴合，
Figure BDA0002399664370000122
Figure BDA0002399664370000131
表3
面部软组织拓扑结构贴合在三维人脸模型上后，上表中23个点在三维人脸模型上分别搜索临近点，获得各点的特征区域，识别出三维人脸模型的23个点的特征区域如图6所示。
所述优化标定是指在各点的特征区域中按照表3中的几何特征寻找最优点，作为新的特征点，各新的特征点构成优化标定的面部拓扑RefineSoftTopo1。
S4、从CT数据中，导出CT软硬组织数据并与三维人脸模型进行软组织对齐
S4-1、导出CT软，硬组织数据，在软组织上按照表3几何特征深度搜索特征点Gn，Pn，LCh，RCh；
S4-2、计算各点之间的距离，将优化标定的面部拓扑，面部软组织拓扑结构整体缩放，并使用仿射变换使其关键点的距离与软组织CT模型的关键点距离一致，实现合并对齐到CT软组织数据。
S4-3、对特征拓扑中的匹配点计算距离。检测软组织CT模型、优化标定的面部拓扑，面部软组织拓扑结构中点与点的距离。如差异大于5％，根据CT软组织数据对优化标定的面部拓扑，面部软组织拓扑结构进行微调。
S5、人工标注硬组织特征点，形成硬组织拓扑。标注特征点组如表4：
S5-1、在CT硬组织数据上手工标定三维特征点，并将三维特征点连接成硬组织特征拓扑。标定结构后，使用ICP最近点算法对标定拓扑进行调整。使得特征拓扑附着在三维CT硬组织模型表面。得到RefineHardTopo1
Figure BDA0002399664370000132
Figure BDA0002399664370000141
表4
本发明的目的实现是基于S1-S5各步骤获得的结论，具体的：
1、使用软硬组织特征拓扑构造数据对RefineSoftTopo1和RefineHardTopo1；
2、使用超定方程对软组织特征拓扑23点与硬组织特征拓扑进行计算，输入为23点软组织特征拓扑三维坐标，标签(真实值)为18点硬组织特征拓扑三维坐标。输出为18点硬组织特征拓扑三维坐标GuessHardTopo1。
序号 特征点名 链接点
1 N N-S
2 S S
3 Ans Ans-N
4 A A-Ans
5 Li Li-LL3 Ui-RL3
6 Ui Ui-LU3 Ui-RU3
7 B B-Pog
8 LU3 LU3-A
9 RU3 RU3-A
10 LL3 LL3
11 RL3 RL3
12 Go’ Go’-Co
13 Go” Go”-Co
14 Co’ Co’-S
15 Co” Co”-S
16 Pog Pog-Me
17 Me Me-Gn
18 Gn Gn-Co
表5
3、使用多元回归算法对术前软组织特征拓扑23点与术后软组织特征拓扑23点进行回归，输入为23点软组织特征拓扑三维坐标，标签(真实值)为23点软组织特征拓扑三维坐标。输出为23点软组织特征拓扑三维坐标GuessSoftTopo2。
4、训练过程2的软硬组织矩阵，得到变换矩阵。此变化矩阵可用术前/术后标准面部软组织拓扑结构预测硬组织特征拓扑即S6，预测前后对比如图8中的B/D。
5、训练过程3的软软组织矩阵，得到变换矩阵。此变化矩阵可用术前软组织特征拓扑预测术后软组织特征拓扑即S7，预测前后对比如图8中的A。
为实现术前术后硬组织的预测，需要多组案例进行S5，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对；训练训练硬组织术前后拓扑，使得术前拓扑可根据回归算法预测术后拓扑形变即S8，输入为术前18点硬组织特征拓扑三维坐标，输出为术后18点硬组织特征拓扑三维坐标GuessHardTopo2，预测前后对比如图8中的C。
优选的实施例中，它还包括一个优化步骤，该优化步骤将术前优化标定的面部拓扑、术前硬组织拓扑结构进行分类：
S9-1、选择特征点角度、特征点连线距离记做关键数据量，关键数据量作为参数：如角度选择：SNA°、SNB°、ANB°；以SNA°为例，表示图2中S点(2)、N点(1)、A(4)点形成的角度。特征点连线距离选择：U1-NA、N-ANS、ANS-Me、S-Go、S-G/N-Me ANS-Me/N-Me、U1-L1、U1-SN、U1-NA(mm)；以N-ANS为例，表示图2中N点和ANS点连线的距离。所述特征点角度、特征点连线距离的选择可按照正颌正畸专业角度或距离计算。构建样本，标签值为分类类别，及对应的诊断建议，所述诊断建议为医学上已有规范的诊断建议。
S9-2、对样本训练深度神经决策树得到决策网络，包括以下步骤：
S9-2-1利用全连接层计算特征，将全连接层节点通过sigmoid函数映射成决策节点；
S9-2-2根据树中节点路由计算决策概率向量；
S9-2-3根据类别概率矩阵将概率向量映射成输出，得到每种类别的概率；
S9-3、测试决策网络，根据分类结果以及测试对象中的关键数据量，输出该分类下的诊断建议。
优选的实施例中，它还包括基于术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对，对术前-术后面部形变的预测，包括以下步骤：
S10-1、建立多个样本数据；
S10-1-1、术前，将三维面部模型中同侧CO点与GO点根据最短路径算法链接，将两侧CO点与Pn鼻尖点相链，将两侧GO点与GN软组织下颌点相链，将所有的特征点加入控制点集；
S10-1-2、按照平均采样在术前三维面部模型上分段，细分网格，使得新建拓扑中的点平均的贴在术前人脸表面得到术前面部软组织特征点网格结构如图7所示，新建的点加入控制点集；
S10-1-3、术后，重复步骤S10-1-1和S10-1-2，获得术后面部软组织特征点网格结构；
S10-1-4、对不同案例重复步骤S10-1-1至S10-1-3，获得样本数据；
S10-2、术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对结合分类结果获得新的网格结构对，对新的网格结构对进行回归计算，输入为术前N*L点软组织特征拓扑三维坐标，标签为术后N*L点软组织特征拓扑三维坐标，输出为N*L点软组织特征拓扑三维坐标预测值Pre1，其中，N为左侧Co点经过Pn到右侧Co点细分的分段数量，L为Co点至GN点细分的分段数量；训练后获得关系矩阵；
S10-3、基于该关系矩阵，输入待预测的术前面部软组织特征点网格结构，得到预测的术后面部软组织特征点网格结构；
S10-4、控制点平滑移动到软组织特征拓扑三维坐标预测值Pre1各控制点的位置，完成形变预测。
以上实施例仅用于说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，其特征在于它包括以下步骤：
S1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；
S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；
S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：
S3-1、多角度环拍正侧面人脸，获得人脸图像；
S3-2、利用图像合成技术合成三维人脸模型；
S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；
S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；
S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；
S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；
S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；
不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；
S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；
S8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑。
2.根据权利要求1所述的方法，其特征在于S2中，预测特征点组二维坐标信息基于变换矩阵获得预测特征点组三维坐标信息，所述变换矩阵的获取方法为：
S2-1-1、利用三维面部模型数据库作为样本空间，手动标定三维图像正颌正畸特征点组；
S2-1-2、构造变化矩阵，输入为特征点组二维坐标，输出为特征点组三维坐标，对样本空间求取超定方程，得到样本空间内的变化矩阵；
S2-1-3、对每一对样例求取超定方程，对样本空间进行回归计算获得与样本相差最小的变化矩阵。
3.根据权利要求2所述的方法，其特征在于S2还包括一个优化步骤：
S2-2-1、构造残差网络，输入为特征点组二维坐标，输出预测值为特征点组三维坐标，标签值为手动标定二维图像正颌正畸特征点组三维转换坐标信息；
S2-2-2、训练该网络，使得新输入的软组织图像二维坐标，可通过网络获得预测特征点组三维坐标信息。
4.根据权利要求2或3所述的方法，其特征在于在预测特征点组三维坐标信息中按照下表选取23个特征点，并进行点—点链接形成面部软组织拓扑结构：
Figure FDA0002399664360000021
Figure FDA0002399664360000031
5.根据权利要求1所述的方法，其特征在于S3-3中，选取面部软组织拓扑结构的若干关键点，进行映射，所述关键点为Gn，Pn，LCh，RCh；在三维人脸模型上按照下表中相应特征点的特征点描述作为映射关系，进行面部软组织拓扑结构向三维人脸模型的贴合，
Figure FDA0002399664360000032
Figure FDA0002399664360000041
面部软组织拓扑结构贴合在三维人脸模型上后，上表中23个点在三维人脸模型上分别搜索临近点，获得各点的特征区域，识别出三维人脸模型的23个特征区域。
6.根据权利要求5所述的方法，其特征在于S3-4中，所述优化标定是指在各点的特征区域中按照下表中的几何特征寻找最优点，作为新的特征点，各新的特征点构成优化标定的面部拓扑RefineSoftTopo1：
Figure FDA0002399664360000042
Figure FDA0002399664360000051
7.根据权利要求1所述的方法，其特征在于S4中，对齐时，选取软组织CT模型的关键点Gn，Pn，LCh，RCh，计算各点之间的距离；选取优化标定的面部拓扑、面部软组织拓扑结构的关键点Gn，Pn，LCh，RCh，计算各点之间的距离；将优化标定的面部拓扑、面部软组织拓扑结构整体缩放，并使用仿射变换使其关键点的距离与软组织CT模型的关键点距离一致，完成对齐。
8.根据权利要求1所述的方法，其特征在于S5中，人工在硬组织CT模型上标定三维特征点如下表所示：
Figure FDA0002399664360000052
Figure FDA0002399664360000061
使用ICP最近点对标定拓扑进行调整，使得特征拓扑附着在硬组织CT模型表面，获得硬组织拓扑结构。
9.根据权利要求1所述的方法，其特征在于它还包括一个优化步骤，该优化步骤将术前三维面部模型、术前硬组织拓扑结构进行分类：
S9-1、选择特征点角度、特征点连线距离记做关键数据量，关键数据量作为参数，构建样本，标签值为分类类别，及对应的诊断建议；
S9-2、对样本训练深度神经决策树得到决策网络，包括以下步骤：
S 9-2-1利用全连接层计算特征，将全连接层节点通过sigmoid函数映射成决策节点；
S 9-2-2根据树中节点路由计算决策概率向量；
S 9-2-3根据类别概率矩阵将概率向量映射成输出，得到每种类别的概率；
S9-3、测试决策网络，根据分类结果以及测试对象中的关键数据量，输出该分类下的诊断建议。
10.根据权利要求9所述的方法，其特征在于它还包括基于术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对，对术前-术后面部形变的预测，包括以下步骤：
S10-1、建立多个样本数据；
S10-1-1、术前，将三维面部模型中同侧CO点与GO点根据最短路径算法链接，将两侧CO点与Pn鼻尖点相链，将两侧GO点与GN软组织下颌点相链，将所有的特征点加入控制点集；
S10-1-2、按照平均采样在术前三维面部模型上分段，细分网格，使得新建拓扑中的点平均的贴在术前人脸表面得到术前面部软组织特征点网格结构，新建的点加入控制点集；
S10-1-3、术后，重复步骤S10-1-1和S10-1-2，获得术后面部软组织特征点网格结构；
S10-1-4、对不同案例重复步骤S10-1-1至S10-1-3，获得样本数据；
S10-2、术前面部软组织特征点网格结构-术后面部软组织特征点网格结构对结合分类结果获得新的网格结构对，对新的网格结构对进行回归计算，输入为术前N*L点软组织特征拓扑三维坐标，标签为术后N*L点软组织特征拓扑三维坐标，输出为N*L点软组织特征拓扑三维坐标预测值Pre1，其中，N为左侧Co点经过Pn到右侧Co点细分的分段数量，L为Co点至GN点细分的分段数量；训练后获得关系矩阵；
S10-3、基于该关系矩阵，输入待预测的术前面部软组织特征点网格结构，得到预测的术后面部软组织特征点网格结构；
S10-4、控制点平滑移动到软组织特征拓扑三维坐标预测值Pre1各控制点的位置，完成形变预测。
CN202010142781.3A 2020-03-04 2020-03-04 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法 Active CN111460899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142781.3A CN111460899B (zh) 2020-03-04 2020-03-04 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142781.3A CN111460899B (zh) 2020-03-04 2020-03-04 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法

Publications (2)

Publication Number Publication Date
CN111460899A true CN111460899A (zh) 2020-07-28
CN111460899B CN111460899B (zh) 2023-06-09

Family

ID=71684964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142781.3A Active CN111460899B (zh) 2020-03-04 2020-03-04 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法

Country Status (1)

Country Link
CN (1) CN111460899B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256488A (zh) * 2021-06-21 2021-08-13 四川大学 预测模型的生成方法、装置，侧貌预测方法及电子设备
CN113344993A (zh) * 2021-06-04 2021-09-03 成都玻尔兹曼智贝科技有限公司 侧貌模拟方法
CN114022477A (zh) * 2021-12-09 2022-02-08 北京大学口腔医学院 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080128932A1 (en) * 2002-06-14 2008-06-05 Hemcon Medical Technologies, Inc. Supple tissue dressing assemblies, systems, and methods formed from hydrophilic polymer sponge structures such as chitosan
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
CN102663818A (zh) * 2012-04-16 2012-09-12 上海交通大学医学院附属第九人民医院 颅颌面三维形貌模型的构建方法及其装置
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080128932A1 (en) * 2002-06-14 2008-06-05 Hemcon Medical Technologies, Inc. Supple tissue dressing assemblies, systems, and methods formed from hydrophilic polymer sponge structures such as chitosan
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
CN101882326A (zh) * 2010-05-18 2010-11-10 广州市刑事科学技术研究所 基于中国人全面部结构形数据的三维颅面复原方法
CN102663818A (zh) * 2012-04-16 2012-09-12 上海交通大学医学院附属第九人民医院 颅颌面三维形貌模型的构建方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐鹏宇等: "正颌外科颅面三维虚拟手术系统的建立" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344993A (zh) * 2021-06-04 2021-09-03 成都玻尔兹曼智贝科技有限公司 侧貌模拟方法
CN113344993B (zh) * 2021-06-04 2022-06-03 成都玻尔兹曼智贝科技有限公司 侧貌模拟方法
CN113256488A (zh) * 2021-06-21 2021-08-13 四川大学 预测模型的生成方法、装置，侧貌预测方法及电子设备
CN114022477A (zh) * 2021-12-09 2022-02-08 北京大学口腔医学院 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统

Also Published As

Publication number Publication date
CN111460899B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111460899B (zh) 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法
US11957541B2 (en) Machine learning scoring system and methods for tooth position assessment
WO2022199143A1 (zh) 一种基于u型网络的医学图像分割方法
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
El-Feghi et al. Automatic localization of craniofacial landmarks for assisted cephalometry
CN112258516B (zh) 一种脊柱侧弯图像检测模型的生成方法
Choi et al. Tooth morphometry using quasi-conformal theory
JP7083191B2 (ja) セファロ画像における計測点の自動認識方法
CN110910377A (zh) 一种基于神经网络的脑梗死mri图像识别方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
Qin et al. Vertebrae labeling via end-to-end integral regression localization and multi-label classification network
Chen et al. Hierarchical CNN-based occlusal surface morphology analysis for classifying posterior tooth type using augmented images from 3D dental surface models
Liao et al. ICVM: An interpretable deep learning model for CVM assessment under label uncertainty
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
KR102570004B1 (ko) 인공신경망 기반의 척추 진단 시스템 및 그 정보 제공 방법
Zhang et al. An end-to-end segmentation network for the temporomandibular joints CBCT image based on 3D U-Net
Xie et al. Automatic Individual Tooth Segmentation in Cone-Beam Computed Tomography Based on Multi-Task CNN and Watershed Transform
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
CN114332072A (zh) 一种主动脉夹层疾病分型方法和装置、存储介质
Li et al. Dental detection and classification of yolov3-spp based on convolutional block attention module
Kim et al. Orthognathic surgical planning using graph CNN with dual embedding module: External validations with multi-hospital datasets
Lee et al. Application of artificial intelligence in lateral cephalometric analysis
Triarjo et al. Automatic 3d digital dental landmark based on point transformation weight
CN118247219B (zh) 基于深度学习的牙根外吸收检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant