CN114022477A - 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 - Google Patents
基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 Download PDFInfo
- Publication number
- CN114022477A CN114022477A CN202111516340.6A CN202111516340A CN114022477A CN 114022477 A CN114022477 A CN 114022477A CN 202111516340 A CN202111516340 A CN 202111516340A CN 114022477 A CN114022477 A CN 114022477A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- coordinate system
- points
- plane
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000010801 machine learning Methods 0.000 title claims abstract description 36
- 206010074180 Craniofacial deformity Diseases 0.000 title claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 28
- 241000746998 Tragus Species 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 230000036244 malformation Effects 0.000 claims 3
- 208000004468 Craniofacial Abnormalities Diseases 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 230000005855 radiation Effects 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000005865 ionizing radiation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000010990 cephalometric method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开了一种基于机器学习的三维牙颌颅面畸形辅助识别方法和系统。本发明对获取的面部三维照片集及待预测面部三维照片分别进行标志点标定和坐标系的统一，对面部三维照片集对应的各特征信息进行预处理后，交由机器学习模型进行训练，得到预测模型，利用该预测模型对待预测面部三维照片的标志点坐标进行预测，得到面部特征，以辅助医师进行牙颌颅面畸形判别。本发明可避免/减小电力辐射暴露量，过程对患者友好，接受力更高，基于较大样本量进行的学习使得预测更准确。
Description
技术领域
本发明涉及口腔正畸学领域，尤其是一种基于机器学习的三维牙颌颅面畸形辅助识别方法，以及一种基于机器学习的三维牙颌颅面畸形辅助识别系统。
背景技术
正畸矫治中颅面颌骨的垂直向及矢状向诊断十分重要，其影响面部美观、正畸矫治中的支抗设计、排牙方案的制定以及总体治疗方案及最终矫治效果。目前临床实践中基于头影测量分析或CBCT三维测量得出相关诊断结果，然而头影测量片拍摄质量要求高，标志点标定的技术敏感性高，CBCT则存在额外的电离辐射问题。有经验的正畸医生可以根据患者软组织面型给出较为准确的相关诊断，提示基于软组织面型可获得相应诊断结果。目前基于三维面部照片得到相关的三维牙颌颅面畸形辅助识别方法仍属空白。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于机器学习的三维牙颌颅面畸形辅助识别方法，以提供一种口腔正畸学中免除/减小电离辐射的方式进行颌颅面畸形的辅助诊断方法。
本发明采用的技术方案如下：
一种基于机器学习的三维牙颌颅面畸形辅助识别方法，包括：
获取面部三维照片集；
对各面部三维照片，分别执行：标定面部三维照片中的标志点；获取各标志点的三维坐标，对获取的各标志点的三维坐标进行坐标系的统一；
对各面部三维照片对应的特征信息进行预处理，得到对应的训练样本，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
利用各训练样本对机器学习模型进行训练，得到预测模型；
利用所述预测模型预测患者面部三维照片的各标志点的三维坐标所对应的面部特征。
进一步的，所述标定面部三维照片中的标志点，包括：
利用标定工具自动标记面部三维照片中的标志点，并手动调整全部或部分标志点。
进一步的，所述对获取的各标志点的三维坐标进行坐标系的统一，包括：
设定新坐标系的原点为鼻下点；
建立参考平面A：取左右侧耳屏点与右侧鼻翼点建立参考平面A；
建立水平面：以左右侧耳屏点为轴，将参考平面A上旋7.5°，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
建立冠状面：与水平面及矢状面垂直的面；
坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
进一步的，所述对各面部三维照片对应的特征信息进行预处理，包括：对各面部三维照片对应的特征信息进行正交化处理。
进一步的，所述患者面部三维照片的各标志点的三维坐标，为通过标定工具自动标记的标志点的三维坐标，或者为在此基础上手动调整后的三维坐标。
本发明还提供了一种基于机器学习的三维牙颌颅面畸形辅助识别系统，包括图像采集模块、样本处理模块、模型构建模块和预测模块，其中：
所述图像采集模块用于采集待预测面部三维照片以及用于训练模型的面部三维照片集；
所述样本处理模块用于分别标定各面部三维照片中的标志点；获取各标志点的三维坐标，对各面部三维照片的标志点的三维坐标进行坐标系统一；对面部三维照片集中各面部三维照片对应的特征信息进行预处理，得到训练样本集，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
所述模型构建模块利用所述训练样本集对机器学习模型进行训练，得到预测模型；
所述预测模块利用所述预测模型评估所述待预测面部三维照片的各标志点的三维坐标所对应的面部特征。
进一步的，所述样本处理模块利用标定工具自动标记面部三维照片中的标志点，并响应调整指令调整全部或部分标志点。
进一步的，所述样本处理模块中配置有对各标志点的三维坐标进行坐标系统一的计算机程序，运行该计算机程序以执行以下方法：
设定新坐标系的原点为鼻下点；
建立参考平面A：取左右侧耳屏点与右侧鼻翼点建立参考平面A；
建立水平面：以左右侧耳屏点为轴，将参考平面A上旋7.5°，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
建立冠状面：与水平面及矢状面垂直的面；
坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
进一步的，所述样本处理模块中配置有对特征信息进行预处理的计算机程序，运行该计算机程序以执行以下方法：对特征信息进行正交化处理。
进一步的，所述样本处理模块传输给所述预测模块的待预测面部三维照片的标志点坐标，为通过标定工具自动标记的标志点的三维坐标，或者为在此基础上响应调整指令进行调整后的三维坐标。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的基于机器学习的三维牙颌颅面畸形辅助识别方案，利用面部三维照片即可训练出识别模型，同样的，利用面部三维照片即可预测出面部特征，相较于传统影像学方法，面部三维照片获取更为简单，可以避免/减少电力辐射暴露量，对患者而言，体验更好，接受度更高。
2、本发明在调整标志点位置时，一方面可以修正机器标定的不当数据，另一方面也可以实现对样本数据的扩展，除此外，利用扩展数据训练还可提高对机器标定的待测数据的识别准确率。
3、本发明对标定点坐标进行了坐标系的统一，便于对不同人脸的差异比对，同时也便于进行相关研究的统计分析。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是基于机器学习的三维牙颌颅面畸形辅助识别方法流程图。
图2是基于机器学习的三维牙颌颅面畸形辅助识别系统构造图。
图3是标志点标定的示意图。
图4是统一坐标系后的面部三维图像的示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
一种基于机器学习的三维牙颌颅面畸形辅助识别方法，如图1所示，包括：
1)获取训练数据集的步骤
训练数据集包含大量的训练样本，用于训练机器模型。训练数据集的获取方法包括获取面部三维照片集的步骤和基于获取的面部三维照片集得到训练样本集的步骤。
基于三维光学扫描或者三维立体摄影测量技术获取大量受试者(志愿者)面部三维照片，可以为一张，也可以为多张，最终挑选使用一张即可。以此，获得了大量的面部三维照片。
对于每一面部三维照片，均执行以下操作：
采用机器或者手动或者机器结合手动的方式，在照片中标定出标志点(或者称为特征点)，标志点即面部上具有特征标识作用的点位，例如鼻翼点、鼻根点、颊骨点、太阳穴等。
分别获取各标志点的三维坐标。再对各标志点的三维坐标进行统一，即统一到一个坐标系下。坐标统一前的三维坐标，可能是基于不同的坐标系下标定的坐标位置，而进行坐标统一后，是基于统一的三维坐标系对各标志点的三维坐标进行重新标定/转换，例如统一以鼻下点(也可以是其他标志点)作为坐标系原点，则对于统一坐标系前各标志点坐标，根据与鼻下点的相对位置，转换到新的坐标系下，以完成对各标志点三维坐标的统一。
将各面部三维照片的各标志点的三维坐标统一后，即可获得各标志点的位置信息，即标志点的X、Y、Z坐标。再结合该面部三维照片对应的受试者的其他特征信息数据，作为该受试者的特征信息。特征信息数据还可包括调整标志点位置前的三维坐标，以起到自然扩充样本的效果。
对各受试者的特征信息进行预处理，即得到对应的训练样本。所有的训练样本即构成了训练数据集。
2)利用训练数据集训练机器学习模型的步骤
对于预处理后的训练样本，以80％作为训练集，20％作为测试集，对机器学习模型进行训练，得到预存模型，机器学习模型为多层感知器(MLP，Multilayer Perceptron)学习模型。
多层感知器是一个包含简单神经元的前馈网络，它将输入数据集映射为一组输出。多层感知器包含多层有向图完全连接的节点，其中每个节点都是一个具有非线性激活函数的神经元。
MLP的基本组成为神经元。在MLP中，相邻两层的每对神经元之间使用带有权系数的边连接。如图所示MLP至少由三层神经元组成，其中包括一个输入层，一个或多个隐藏层，以及一个输出层。输入神经元的数量取决于输入特征的维数，而输出神经元的数目是通过类别数量来确定的。MLP采用一种称为反向传播的有监督学习方法来训练网络。感知器通过以下非线性激活函数处理加权的实数值输入的线性组合计算输出。
其中ωi代表权重向量，xi是输入向量，b是偏移率，而
是激活函数。常见激活函数有：ReLU函数、sigmoid函数、tanh函数。MLP在学习过程中调整隐藏层的权值降低输出误差。MLP通过网络向前传播输入模式信号，并于输出开始反向传播误差信号。反向传播的误差函数由真实值与期望值的差组成。学习过程的目标是最小化误差函数。结合权重矩阵，对误差函数求导找到误差函数的最小值。学习过程包括：(1)使用(-1，1)之间的值随机初始化权重；(2)向网络发送一个输入模式；(3)计算网络的输出；(4)对于输出层的每一个节点，计算输出节点的误差，对连接到节点的所有权重增加误差函数数值。
为了控制收敛速度，并且减小适配权重的步长，引入学习参数。在一些实施方式中，采用ReLu激活函数，200层隐藏层。将训练数据集分为80％训练集与20％测试集，用测试集检验MSE等指标。
3)对患者牙颌颅面畸形的辅助识别
通过以上学习过程，即得到了通过标志点坐标识别牙颌颅面面部特征的识别模型，将患者的面部三维照片所对应的标志点坐标输入到该识别模型，该识别模型即可输出具备参考性的面部特征，以辅助医师对患者面部畸形的诊断。对于患者的面部三维照片所对应的标志点坐标，与获取训练样本时根据面部三维照片获得标志点坐标的方法相同，或者可以省略对标志点调整的步骤。
实施例二
本实施例公开了基于机器学习的三维牙颌颅面畸形辅助识别方法，本实施例与实施例一的大体步骤相同，属于对实施例一的进一步优化。如图1所示，方法包括：
1)基于三维光学扫描或者三维立体摄影测量技术拍摄每一受试者一张面部三维照片，以obj格式保存。拍摄要求如下：①被拍摄者不能佩戴眼镜或任何遮挡面部的饰品，双侧耳部及额头需完整暴露；②被拍摄者要求平视前方，取自然头位，唇部肌肉放松，牙齿保持自然息止合位；③被拍摄者保持静止直到拍摄完成。
2)标定标志点，该步骤采用机器结合手动的方式进行。将obj格式的面部三维照片导入Cliniface软件，基于软件对标志点的自动标定结果，再手动调整各标志点，例如编辑、拖拽，并手动增加双侧耳屏点，如图3所示，共标定41组共61个标志点，对应编号说明如下表1。需要说明的是，手动调整后的各标志点与调整前的标志点可保存关联关系，一起作为样本数据，后续对患者面部特征进行预测时，则可直接以调整前的标志点进行参照，而无需先调整标志点位置后再进行判别。
表1标志点编号及名称
事实上，标定的标志点可以只选择上述表1中的部分，但作为统一坐标系的原点的标志点必须保留，对于标定的标志点，可根据试验进行适应性选择和调整。
3)获取面部各标志点的三维坐标并统一坐标系
同样的，于Cliniface软件中，导出各标志点的坐标于一csv文件中。如图4所示，以鼻下点(Subnasale)作为坐标系原点，对各面部三维照片的坐标进行统一，过程如下：
①定鼻下点(Subnasale)为坐标系原点(当然也可以是其他标志点)；
②建立参考平面A：取左右侧耳屏点(Tragion)与右侧鼻翼点(Alar CurvaturePoint R)建立参考平面A；
③水平面的建立：以左右侧耳屏点为轴，将参考平面A上旋7.5°，通过鼻下点(Subnasale)做与该平面平行的面，即统一后坐标系的水平面；
④矢状面的建立：通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
⑤冠状面的建立：与水平面及矢状面垂直；
⑥坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
具体而言，坐标统一的方法包括：
①csv文件预处理：将导出的csv文件统一格式为(编号，X，Y，Z)。
②建立参考平面A法向量：将左右侧耳屏点连线与右侧鼻翼点右侧耳屏点连线做叉乘，再进行归一化，得出平面A法向量。
③水平面的建立：按下述方法得出选转后的平面A法向量，即为水平面的法向量。
给定具有单位长的旋转轴A＝[ax,ay,az]和旋转角θ，则物体绕OA轴旋转变换的矩阵表示可确定如下：
P′＝P·MT
其中，P为面A法向量，P′为水平面法向量，MT表示M的转置矩阵。
④矢状面的建立：左右侧耳屏点连线的向量叉乘水平面的法向量，再进行归一化获得矢状面的法向量。
⑤冠状面的建立：通过矢状面的法向量与水平面的法向量叉乘获得冠状面的法向量。
⑥坐标系的转化：[V1,V2,V3]-1[X-V]
X为原坐标系中每一个点的坐标，V是新坐标系中原点坐标，V1,V2,V3代表新坐标的坐标轴法向量。
图4所示为坐标系统一后的面部各标志点可视化展示。
4)机器学习过程的实施
(1)通过上述步骤1)～3)获得统一坐标系后的各个标志点的位置信息，其中包括各标志点的X、Y、Z坐标，获得的各标志点的三维坐标以CSV格式保存。
对于各面部三维照片，获取对应的特征信息数据，包括：受试者的性别、年龄、BMI、面部矢状向及垂直向评估结果，以及统一坐标系后的各标志点的三维坐标。
(2)对各特征信息数据进行预处理，包括对特征信息数据进行正交化处理。预处理完成后，即得到训练数据集，利用该训练数据集以Scikit-learn进行机器学习训练。
(3)将数据以80％作为训练集，20％作为测试集通过Scikit-learn建立多层感知学习模型，作为通过标志点三维坐标信息辅助诊断面部特征的分类器。
5)结果的输出：
拍摄患者的面部三维照片，获取其统一坐标系后的标志点坐标，导入到上述步骤4)训练得到的模型，输入对患者面部特征的预测结果，以辅助医师对患者面部牙颌颅面畸形与否的诊断。
需要说明的是，本实施例是以Cliniface为例进行的操作说明，在不违反整体发明构思的情况下，完全可以采用其他作用相同的软件进行标志点的标定和数据的导出。同样的，所采用的机器学习模型，也可替换为其他多层感知模型。
实施例三
本实施例公开了一种基于机器学习的三维牙颌颅面畸形辅助识别方法，该方法中，训练样本的面部矢状向及垂直向评估结果具体包括：矢状向分I、II、III类；垂直向分低角、均角、高角。
则对应的，对患者面部三维照片的预测结果包括矢状向和垂直向的评估结果。
实施例四
本实施例公开了一种基于机器学习的三维牙颌颅面畸形辅助识别系统，如图2所示，包括图像采集模块、样本处理模块、模型构建模块和预测模块，其中：
图像采集模块采集患者以及受试者(志愿者)的面部三维照片。图像采集模块基于三维光学扫描或者三维立体摄影测量技术拍摄每一受试者一张面部三维照片，以obj格式保存。拍摄要求如下：①被拍摄者不能佩戴眼镜或任何遮挡面部的饰品，双侧耳部及额头需完整暴露；②被拍摄者要求平视前方，取自然头位，唇部肌肉放松，牙齿保持自然息止合位；③被拍摄者保持静止直到拍摄完成。
样本处理模块分别对各面部三维照片进行以下处理：标定面部三维照片中的标志点；获取各标志点的三维坐标；对各标志点的三维坐标进行统一。此外，样本处理模块还将统一坐标系后的各标志点的三维坐标与受试者的特征信息数据结合作为受试者的特征信息，对特征信息进行预处理，得到对应的训练样本。对于特征信息，还可包含统一坐标系前的标志点坐标，以起到扩充样本量的效果，并且，后续的预测过程中，对于机器标定的待测数据也可起到良好的兼容识别作用。
样本处理模块可利用机器、手动或者机器结合手动的方式标定面部标志点。在一些实施例中，样本处理模块利用Cliniface软件(或其他标定工具)执行对标志点的标定：将obj格式的面部三维照片导入Cliniface软件，基于软件对标志点的自动标定结果，再响应调整指令，例如编辑、拖拽，以调整标志点的位置，并手动增加双侧耳屏点，如图所示，共标定41组共61个标志点，对应编号说明如上表1。此外，对于Cliniface软件自动标定的标志点，以及手动调整后的标志点，样本处理模块存储关联关系，一起作为样本数据，这样，相当于扩充了样本数据。
同样的，样本处理模块于Cliniface软件中，导出各标志点的坐标于一csv文件中。并鼻下点(Subnasale)作为坐标系原点，对各面部三维照片的坐标进行统一。坐标统一的具体运算过程参见实施例二，在此不再赘述。
受试者的特征信息数据包括：受试者的性别、年龄、BMI、面部矢状向及垂直向评估结果，以及统一坐标系后的各标志点的三维坐标。样本处理模块对特征信息数据进行正交化处理，得到训练样本。
模型构建模块利用训练样本对机器学习模型进行训练，得到对面部特征的预测模型。机器学习模型为多层感知器(MLP，Multilayer Perceptron)学习模型。多层感知器学习模型在前文中已经进行了详细介绍，在此不再赘述。在一些实施方式中，模型构建模块将训练样本数据以80％作为训练集，20％作为测试集通过Scikit-learn建立多层感知学习模型，作为通过标志点三维坐标信息辅助诊断面部特征的分类器。
预测模块即利用模型构建模块训练好的预测模型，对样本处理模块所标定的患者的面部三维照片的标志点坐标进行预测，输出具备参考性的面部特征，以辅助医师对患者面部畸形的诊断。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (8)
1.一种基于机器学习的三维牙颌颅面畸形辅助识别方法，其特征在于，包括：
获取面部三维照片集；
对各面部三维照片，分别执行：标定面部三维照片中的标志点；获取各标志点的三维坐标，对获取的各标志点的三维坐标进行坐标系的统一；
对各面部三维照片对应的特征信息进行预处理，得到对应的训练样本，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
利用各训练样本对机器学习模型进行训练，得到预测模型；
利用所述预测模型预测患者面部三维照片的各标志点的三维坐标所对应的面部特征。
2.如权利要求1所述的基于机器学习的三维牙颌颅面畸形辅助识别方法，其特征在于，所述对获取的各标志点的三维坐标进行坐标系的统一，包括：
设定新坐标系的原点为鼻下点；
建立参考平面A：取左右侧耳屏点与右侧鼻翼点建立参考平面A；
建立水平面：以左右侧耳屏点为轴，将参考平面A上旋7.5°，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
建立冠状面：与水平面及矢状面垂直的面；
坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
3.如权利要求1所述的基于机器学习的三维牙颌颅面畸形辅助识别方法，其特征在于，所述对各面部三维照片对应的特征信息进行预处理，包括：对各面部三维照片对应的特征信息进行正交化处理。
4.一种基于机器学习的三维牙颌颅面畸形辅助识别系统，其特征在于，包括图像采集模块、样本处理模块、模型构建模块和预测模块，其中：
所述图像采集模块用于采集待预测面部三维照片以及用于训练模型的面部三维照片集；
所述样本处理模块用于分别标定各面部三维照片中的标志点；获取各标志点的三维坐标，对各面部三维照片的标志点的三维坐标进行坐标系统一；对面部三维照片集中各面部三维照片对应的特征信息进行预处理，得到训练样本集，所述特征信息包括面部三维照片的各标志点统一坐标系后的三维坐标；
所述模型构建模块利用所述训练样本集对机器学习模型进行训练，得到预测模型；
所述预测模块利用所述预测模型评估所述待预测面部三维照片的各标志点的三维坐标所对应的面部特征。
5.如权利要求4所述的基于机器学习的三维牙颌颅面畸形辅助识别系统，其特征在于，所述样本处理模块利用标定工具自动标记面部三维照片中的标志点，并响应调整指令调整全部或部分标志点。
6.如权利要求4所述的基于机器学习的三维牙颌颅面畸形辅助识别系统，其特征在于，所述样本处理模块中配置有对各标志点的三维坐标进行坐标系统一的计算机程序，运行该计算机程序以执行以下方法：
设定新坐标系的原点为鼻下点；
建立参考平面A：取左右侧耳屏点与右侧鼻翼点建立参考平面A；
建立水平面：以左右侧耳屏点为轴，将参考平面A上旋7.5°，通过鼻下点做与该平面平行的面，即新坐标系的水平面；
建立矢状面：建立通过左右侧耳屏点中点与鼻下点，与水平面垂直的平面；
建立冠状面：与水平面及矢状面垂直的面；
坐标系的转化：将原坐标系下的坐标转换到新坐标系下。
7.如权利要求4所述的基于机器学习的三维牙颌颅面畸形辅助识别系统，其特征在于，所述样本处理模块中配置有对特征信息进行预处理的计算机程序，运行该计算机程序以执行以下方法：
对特征信息进行正交化处理。
8.如权利要求4所述的基于机器学习的三维牙颌颅面畸形辅助识别系统，其特征在于，所述样本处理模块传输给所述预测模块的待预测面部三维照片的标志点坐标，为通过标定工具自动标记的标志点的三维坐标，或者为在此基础上响应调整指令进行调整后的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516340.6A CN114022477A (zh) | 2021-12-09 | 2021-12-09 | 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111516340.6A CN114022477A (zh) | 2021-12-09 | 2021-12-09 | 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114022477A true CN114022477A (zh) | 2022-02-08 |
Family
ID=80068661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111516340.6A Pending CN114022477A (zh) | 2021-12-09 | 2021-12-09 | 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022477A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460899A (zh) * | 2020-03-04 | 2020-07-28 | 达理 | 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法 |
-
2021
- 2021-12-09 CN CN202111516340.6A patent/CN114022477A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460899A (zh) * | 2020-03-04 | 2020-07-28 | 达理 | 基于深度学习的软硬组织特征拓扑识别及面部形变预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 楼航迪等: "面部软组织三维有限元建模和变换", 《系统仿真学报》, vol. 23, no. 10, 31 October 2011 (2011-10-31), pages 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wilkinson | Computerized forensic facial reconstruction: a review of current systems | |
| WO2019141106A1 (zh) | 基于c/s架构的牙齿美化ar智能辅助方法及装置 | |
| Zogheib et al. | Suppl-1, M2: Comparison of 3D scanning versus 2D photography for the identification of facial soft-tissue landmarks | |
| CN113728363B (zh) | 基于目标函数生成牙科模型的方法 | |
| KR20160004862A (ko) | 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법 | |
| CN114365184A (zh) | 用于检测三维测量中的错误的方法、系统和计算机可读存储介质 | |
| CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
| KR102461343B1 (ko) | 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템 | |
| CN110246580A (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
| CN115797730B (zh) | 模型训练方法及装置、头影测量关键点定位方法及装置 | |
| CN117745978B (zh) | 一种基于人体三维重建算法的仿真质控方法、设备和介质 | |
| US20220378548A1 (en) | Method for generating a dental image | |
| KR20210118329A (ko) | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 | |
| CN113065552A (zh) | 自动定位头影测量标志点的方法 | |
| EP3629336A1 (en) | Dental design transfer | |
| KR20200058316A (ko) | 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템 | |
| CN114359309A (zh) | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 | |
| CN116975779A (zh) | 基于神经网络的口腔全景片特征识别方法、系统及终端 | |
| CN113554607A (zh) | 一种牙体检测模型、生成方法及牙体分割方法 | |
| CN117152407A (zh) | 一种头影测量标志点自动定位方法 | |
| CN114022477A (zh) | 基于机器学习的三维牙颌颅面畸形辅助识别方法和系统 | |
| CN116630599A (zh) | 一种生成牙齿正畸后预测照片的方法 | |
| CN116807452A (zh) | 一种脊柱侧弯3d检测方法、系统、设备及介质 | |
| CN113270172B (zh) | 一种头颅侧位片中轮廓线的构建方法及系统 | |
| KR20200012707A (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |