CN110428021A - 基于口腔体素模型特征提取的正畸附件规划方法 - Google Patents

基于口腔体素模型特征提取的正畸附件规划方法 Download PDF

Info

Publication number
CN110428021A
CN110428021A CN201910914508.5A CN201910914508A CN110428021A CN 110428021 A CN110428021 A CN 110428021A CN 201910914508 A CN201910914508 A CN 201910914508A CN 110428021 A CN110428021 A CN 110428021A
Authority
CN
China
Prior art keywords
attachment
tooth
point cloud
training
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910914508.5A
Other languages
English (en)
Other versions
CN110428021B (zh
Inventor
田烨
盛斌
李鹏
李晓霜
孙洋洋
李庭瑶
周蓉
曹诗怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dental Medical Instruments Co Ltd
Shanghai Jiaotong University
Original Assignee
Shanghai Dental Medical Instruments Co Ltd
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dental Medical Instruments Co Ltd, Shanghai Jiaotong University filed Critical Shanghai Dental Medical Instruments Co Ltd
Priority to CN201910914508.5A priority Critical patent/CN110428021B/zh
Publication of CN110428021A publication Critical patent/CN110428021A/zh
Application granted granted Critical
Publication of CN110428021B publication Critical patent/CN110428021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明涉及一种基于口腔体素模型提取特征的正畸附件规划方法，利用深度神经网络架构，对输入的三维牙齿点云数据，通过特征抽取模块提取牙齿点云全局特征，再利用多标签分类模块得到每颗牙齿上附件的类别信息，通过独立训练和打包训练两种方式训练；利用训练完成的深度神经网络结构，输入实际获得的三维牙齿点云数据，给出对应于个体需粘结的矫治器附件的类别信息。本发明可以根据牙齿特征得出适合个体的正畸附件规划策略，实施过程操作简便、部署成本低廉，为医师规划诊疗方案、设计矫治器提供了有效的参考依据，从而提高医师工作效率，提高附件选择准确性。

Description

基于口腔体素模型特征提取的正畸附件规划方法
技术领域
本发明涉及口腔正畸领域，特别涉及一种基于口腔体素模型特征提取的正畸附件规划方法。
背景技术
口腔正畸，是针对不同位置牙齿的不同畸形情况制定相应的正畸矫治方案，使用适当的医疗器械（如矫治器）对牙齿施加一定外力，达到移动牙齿在口腔内的相对关系，改善口腔咬合状态和牙齿畸形形态的效果。
正畸过程中，医师的技术（方案设计和临床操作）、矫治器的表达效果、患者的配合度，是影响隐形正畸矫正效果的三个核心要素。矫治器附件，作为矫治器的重要辅助装置，除了可以加强矫治器与牙齿的贴合程度外，它还能控制矫治力的方向，使矫正器更精准地控制牙齿的移动，以便获得更好的矫治效果。
然而，目前在制定正畸矫治方案时，对是否需要使用矫治器附件及具体选择的附件类型、粘结位置等，更多地是依赖医师的经验，这样不仅很大程度上受限于医师的个人水平，而且一旦选择不合适的附件，则需要耗费较长时间进行调整，降低了工作效率。
发明内容
本发明提供了一种基于口腔体素模型提取特征的正畸附件规划方法，以至少解决现有技术中矫治器附件选择时过程繁复的问题。
本发明的技术方案在于，提供一种基于口腔体素模型提取特征的正畸附件规划方法，包含如下步骤：
步骤S1、准备训练样本集，包含若干个体各自由三维扫描仪获得、经过随机下采样处理的三维牙齿点云数据和由医师相应提供的归为不同类别的牙齿附件策略；
步骤S2、设计正畸附件规划策略模型，包含对深度神经网络结构的特征抽取模块、多标签分类模块进行网络层数、每层超参数设置；其中，向该模型分别输入的是步骤S1处理过的单个个体的牙齿点云数据，输出的是与单个个体对应的表示牙齿附件所属类别信息的一个96维的向量；
步骤S3、所述特征抽取模块采用层级点云特征学习的网络结构，对单个个体的牙齿点云数据通过多个抽象层进行最远点采样、球查询、多层共享感知机及最大池化处理，提取出相应的牙齿点云全局特征；
步骤S4、结合步骤S3提取出的牙齿点云全局特征，利用多标签分类模块分别进行以全连接层结构主导的独立训练和以编码-解码结构主导的打包训练分类，得到每颗牙齿上附件或附件组合的类别概率信息；
步骤S5、使用训练样本集收集到的牙齿点云数据及相应的牙齿附件策略，对特征抽取模块、多标签分类模块设置多个epoch，利用优化训练器端到端训练，得到训练完成的深度神经网络结构；
步骤S6、将实际获得的单个个体的三维牙齿点云数据，输入到步骤S5训练出的深度神经网络结构，输出的向量对应于该个体需粘结的矫治器附件的类别信息。
优选地，步骤S1中，通过三维扫描仪分别获得上牙和下牙的原始点云数据，并提取出其中的牙冠数据；进行数据预处理，利用随机采样完成原始点云数据的下采样，将点云个数减少到特定范围。
优选地，步骤S2中，基于每个人有32颗牙齿、每颗牙齿上至多粘结3个附件的事实，获知一个个体的牙齿最多有96个附件；所述正畸附件规划策略模型用一个96维的向量，来表示一个个体的牙齿附件所属的类别信息。
优选地，步骤S3中，设每个抽象层输入的牙齿点云数据为N×(d+C)维的矩阵，对应于N 个有d维坐标和C 维特征的点；该抽象层的输出为N'×(d+C')维的矩阵，对应于N'个含有d维坐标和C'维新特征向量的点；该抽象层对向其输入的点云数据，利用以最远点采样法得到的N'个中心及其周围给定半径内通过球查询法得到的点构建N'个局部区域，并通过共享的多层感知机和最大池化学习N'个局部区域的特征；最后一个抽象层处理后，输出牙齿点云全局特征。
优选地，所述特征抽取模块采用3层抽象层。
优选地，步骤S4中，对于特征抽取模块输出的点云特征向量，所述多标签分类模块使用独立训练分类模块，基于影响附件选择的多个要素相互独立的认知来进行分类；
所述独立训练分类模块先用两层全连接层和dropout层进行降维，再对影响附件选择的多个要素分别进行训练；对每一个要素，降维处理后的点云特征向量通过全连接层后，使用softmax函数转化输出每一颗牙齿应粘接附件的类别概率。
优选地，步骤S4中，对于特征抽取模块输出的点云特征向量，所述多标签分类模块使用打包训练分类模块，基于影响附件选择的多个要素存在互相影响的认知来进行分类；
所述打包训练分类模块通过编码-解码结构，对点云特征向量的每个单位，使用长短期记忆网络编码成一个中间向量，再由多个长短期记忆网络细胞解码，按照牙齿编号序列以概率形式输出每个牙齿的附件策略所属类别信息。
优选地，影响附件选择的要素，包含：附件的类型、方向、粘结于牙齿表面的位置、粘结的开始阶段。
优选地，步骤S5中，训练所述特征抽取模块和多标签分类模块的过程之中，采用了交叉熵损失函数，衡量步骤S4预测出的附件或附件组合的类别概率向量与医生提供的牙齿附件或附件组合的类别标签向量的差异性，所述类别标签向量的分量仅有0-1两种取值，分别表示当前牙齿上不粘接当前附件或附件组合的情况，和粘接当前附件或附件组合的情况。
优选地，步骤5中，1个epoch是指将训练集的全部数据利用一遍，多个epoch提高了数据的利用率，训练时使用多个epoch直到损失函数收敛。
本发明基于口腔体素模型提取特征的正畸附件规划方法，其优点在于：利用深度神经网络架构，以通过物理设备扫描得到的三维牙齿点云数据为输入，提取牙齿点云数据的全局特征，再利用独立训练和打包训练两种分类网络，最后给出适合个体的矫治器附件的类别信息。本发明可以根据个体的牙齿特征对正畸附件进行相应的规划，实施过程操作简便、部署成本低廉，为医师规划诊疗方案、设计矫治器提供了有效的参考依据，从而提高医师工作效率，提高附件选择准确性。
附图说明
图1为本发明基于口腔体素模型特征提取的正畸附件规划的流程图；
图2a和图2b为扫描得到的原始三维模型与点云图；
图3为本发明实施例中特征提取网络的结构；
图4为本发明实施例中独立训练模块的结构；
图5为本发明实施例中打包巡练模块的结构。
具体实施方式
如图1所示，本发明提供一种基于口腔体素模型提取特征的正畸附件规划方法，包含以下步骤：
S1、准备训练样本集，包含若干个体各自牙齿的三维扫描结果和医师给出的牙齿附件策略，并做相应的数据预处理。
S2、设计正畸附件规划策略模型，包含深度神经网络结构中的特征抽取模块、多标签分类模块这两部分。
S3、利用特征抽取模块得到牙齿点云全局特征。
S4、结合步骤S3提取的牙齿点云全局特征，利用多标签分类模块进行多分类，得到每颗牙齿上附件的类别信息。
S5、根据步骤S1收集到的数据和步骤S3、S4中描述的模型，进行训练，得到训练完成的深度神经网络结构。
S6、实际应用中，在得到某个体的三维牙齿点云数据后，利用步骤S5训练出的深度神经网络结构，得到模型的输出；所输出的结果为该个体需粘结的矫治器附件的类别信息。本文所述的一个个体对应一位患者。
在步骤S1中，通过三维扫描仪，分别获得上牙和下牙的原始点云数据，并提取出其中的牙冠数据。在数据预处理阶段，利用随机采样完成点云的下采样，将点云数据中的点个数减少到特定范围。
在步骤S2中，模型的输入是步骤S1处理过的三维点云数据，输出的是一个高维向量，表示牙齿附件所属的类别信息。
在步骤S3中，特征提取模块采用层级点云特征学习的网络结构，由多个抽象层组成，最终输出牙齿点云全局特征。每一个抽象层输入N×(d+C)维的矩阵（N个有d维坐标和C维特征的点），输出N'×(d+C')维的矩阵（N'个含有d维坐标，C'维新特征向量的点），将点集处理提取出规模更小的点集。
每一个抽象层包含三个子层，分别是：采样层、分组层和点网层。
采样层，其使用最远点采样法对点云选取N'个中心点：先随机选取一个点，然后并行算出最远的N'-1个点。与随机抽样相比，给定相同数量的中心的情况下，最远点采样选出的点能更好地覆盖整个点集。
分组层，其利用中心及其周围给定半径内的点构建N'个局部区域：输入规模为N×(d+C)的点集和规模为N'×d的中心点坐标，输出的是大小为N'×K×(d+C)的点集组，每一个组对应着一个局部区域，K为该区域内中心点邻域中点的个数，使用球查询法得到。与K邻近方法相比，可以保证局部特征在整个空间中有较强的泛化能力。
点网层，其学习子点云的特征并将其汇总重建为指定规模的新的点云：输入是N'个局部区域的信息，输出N'×(d+C')维的矩阵（N'个含有d维坐标，C'维新特征向量的点），每个局部区域的输出由该区域的质心和特征来刻画。对于输进点网层的一个规模为A的点云而言（即该点集含有A个点），其维度为A×3，数据经过初步变换及多个共享的多层感知机后，利用最大池化得到向量，即该点云的特征。
在步骤S4中，基于对牙齿附件相关度的两种不同考虑，使用两种不同的分类思路。第一种是独立训练，针对牙齿附件的四个要素分别进行训练，使用全连接层+softmax的方式输出每一颗牙齿应粘接某种附件的类别概率；第二种是打包训练，基于编码-解码结构，利用LSTM编码，LSTM解码（LSTM：长短期记忆网络），按照牙齿编号序列以概率形式输出每个牙齿的附件策略，实现点到序列的变换。
在步骤S5中，将特征抽取模块和多标签分类模块合并起来训练，训练使用的损失函数为交叉熵函数。
以下提供一个实施例，结合附图对本发明作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
1.数据集建立及数据预处理
通过三维扫描仪分别获得上牙和下牙的原始点云数据，并提取出其中的牙冠数据（图2a、图2b所示是扫描得到的原始三维模型及点云图）；原始点云数据中牙根嵌在牙龈之中，这一部分牙齿的移动是嵌在牙龈中带动牙龈一起移动的，示例中只对露在外面的牙冠移动进行分析，故提取牙冠数据。一种情况是直接采用扫描之后分割的牙冠数据，则后续步骤的点云数据是针对牙冠的。另外一种情况是在对扫描、分割后的牙冠数据进一步分析的基础上，重建牙根，形成完整牙数据，则后续步骤的点云数据使用重建后的完整牙数据；由于嵌在牙龈之中的这一部分牙齿在实际移动时会带动牙龈形变，而且牙齿平移旋转的阻抗中心常位于该区域，因而重建整牙数据是考虑到这些因素。
在数据预处理阶段，利用随机采样完成点云的下采样，将点云数据中的点个数减少到特定范围。具体思路是，对于输入的点云的index（索引），随机抽取固定数量的不重复的index，再把index对应的点抽取出来；由此，本实施例中将点云数据个数从40000降为10000。
此次一共选取了75人的牙齿点云数据和医师给他们的附件策略作为本实施例的数据集，并且选取其中50人的数据作为训练集，剩余25人的数据作为测试集。基于每个人应有32颗牙齿、每颗牙齿上至多粘结3个附件的事实，即一个个体的牙齿最多可以有96个附件，用一个96维的向量来表示一个个体的牙齿附件的类别信息。
不同附件带来的矫治效果有所不同，例如椭圆形附件有利于牙齿压低伸长，矩形附件有利于牙齿转矩和张距离整体移动等。为此，本实施例考虑了影响正畸附件选择的四大要素：4种类型（矩形、椭圆形、旋转附件、挤压附件）、2种方向（水平、垂直）、附件粘结于牙齿表面的2种位置（颊侧、舌侧）、在正畸过程中向牙齿表面粘接附件的3类开始阶段（一般地，将正畸治疗分为100个阶段，最常见的粘接时间集中在0阶段、3阶段，因此，本例在考虑粘接时间时，可分为3类：0阶段、3阶段、多于3阶段）。
2. 正畸附件规划策略模型的整体结构
a. 如图3所示，特征提取模块采用PointNet++（CharlesR.Qi LiYi HaoSuLeonidasJ.Guibas：PointNet++: Deep Hierarchical Feature Learning on Point Setsin a Metric Space）的层级点云特征学习结构来提取点云的全局特征，设置3层抽象层即可较好地提取出点云的全局特征。
第一层：输入N×(d+C)维的矩阵（N个有d维坐标和C维特征的点），使用最远点采样法选出N1个中心点，以此形成N1个局部区域，K为一个局部区域内中心点邻域中点的个数，经过点网层输出N1×(d+C1)维矩阵（N1个含有d维坐标，C1维新特征向量的点），作为第二个抽象层的输入。
本例中，对第一层输入的点云数据，用最远点采样法选取4096个中心点，依次以0.1，0.2，0.4的搜索半径进行球查询，搜索局部区域内的16、32、128个点，每个点依次经过共享的多层感知机：[32,32,64]，[64,64,128]，[64,96,128]，输出4096个局部区域的点云特征。
第二层：输入N1×(d+C1)维矩阵，使用最远点采样法选出N2个中心点，以此形成N2个局部区域，K为一个局部区域内中心点邻域中点的个数，经点网层输出N2×(d+C2)维矩阵（N2个含有d维坐标，C2维新特征向量的点），最终得到特征向量。
本例中，第二层输入4096个局部区域的点云特征，用最远点采样法选取1024个中心点，依次以0.2，0.4，0.8的搜索半径进行球查询，搜索局部区域的32、64、128个点，每个点依次经过共享的多层感知机：[64,64,128]，[128,128,256]，[128,128,256]，输出1024个局部区域的点云特征。
第三层：输入1024个局部区域的点云特征，将其视为规模为1024的一个点云，经过共享的多层感知机[256,512,1024]和最大池化，输出1024维的向量，即为第一层输入的点云数据所对应的全局特征向量。
本例优选使用三层抽象层。但其他示例中可以设置例如三个以上的抽象层，其数量具体是通过网络的复杂度限定与问题复杂度设定的。多层抽象层中的最后一层包含点网层（无采样与分组层），用以将局部信息整合成全局特征。
b. 独立训练分类模块认为影响牙齿附件选择的四个要素相互独立。为了避免过拟合，独立分类模块（参见图4）先对点云特征向量降维处理：用两层全连接层和两层dropout层（随机失活层）降维（12800->6400，dropout率为0.5），再对四个要素分别进行训练。对每一个要素，处理后的点云特征向量通过全连接层后，使用softmax函数转化输出类别概率（输出96*n维矩阵，其中第3(i-1)+j行，第k列输出的是第i颗牙齿的第j个附件为类别k的概率）。
c. 打包训练分类模块认为四个不同要素之间可能互相影响，且每类要素的选择不仅仅由牙齿模型决定。根据牙齿附件的4种类型、2种方向、2种位置（颊侧、舌侧）、3类开始阶段（0，3，大于3）的不同组合将附件分为49类，其中第一类设置为不粘结附件。分析75个个体的附件信息，其中超过80%的附件都属于其中的9类。
如图5所示，分类部分采用编码-解码结构，编码部分读入所述特征提取模块提取出的点云全局特征向量的每个单位，使用LSTM将其编码成一个中间向量，解码部分由多个LSTM细胞组成，可捕捉牙齿之间的相关性，以上述固定长度的中间向量为条件产生输出序列Y。
图5中的A表示一个LSTM细胞，对于上一个LSTM细胞里的隐藏层状态ht-1和当前输入的xt, 结合忘记门sigmoid函数输出一个0~1的值，确定需要忘记的幅度，利用ht-1,xt和输入门sigmiod函数确定将要更新的数据，利用tanh层创建新的候选值向量，与部分忘记后的记忆内容相加得到新的记忆，再通过细胞现有状态计算当前隐藏层状态ht。
最终，按照牙齿编号序列以概率形式依次输出第i颗牙齿上的第j个附件所属的类别。
3. 损失函数的选择
a. 独立训练模块：交叉熵损失函数，且总损失为4个子网络损失之和。在考虑某一个子网络时，采用交叉熵损失函数，衡量根据输入牙齿点云全局特征X预测的附件的类别概率向量与医生提供的牙齿附件类别标签向量的差异性，该类别标签向量的分量仅有0-1两种取值，分别表示当前牙齿上不粘接和粘接当前附件的这两种情况。所述4个子网络对应影响附件选择的四个要素，每个要素用单独的网络来训练。
b. 打包训练模块：交叉熵损失函数。
这里共有49类不同的附件组合。采用交叉熵损失函数，衡量根据输入牙齿点云全局特征X预测的附件组合的类别概率向量与医生提供的牙齿附件组合的类别标签向量的差异性，该类别标签向量的分量仅有0-1两种取值，分别表示当前牙齿上不粘接和粘接当前附件组合的这两种情况。
4. 训练过程
一般地学习模型可以被设置成包括：
一个输入层；
任意数量的隐藏层；每层隐藏层都有对应的模型参数，每层的模型参数可以是多个，每层隐藏层中的一个模型参数对输入的数据进行线性或非线性变化，得到运算结果；每个隐藏层接收前一隐藏层的运算结果，经过自身的运算，对下一输出本层的运算结果；
一个输出层；
每两层之间都有一组权重和偏置，可以影响输出；根据输入数据微调权重和偏置的过程，称为神经网络训练过程。
本实施例中，对特征提取模块和多标签分类模块合起来端到端训练，训练时的优化器为Adam，学习率为0.001。
第一阶段，向前传播阶段：
从训练样本集中选取同一个体的三维牙齿点云数据输入网络，特征提取模块输出点云全局特征，多标签分类模块输出牙齿附件类别信息概率。此阶段信息从输入层逐级变换，传输到输出层，网络依次将输入与每层（隐藏层）的权值矩阵相点乘，得到最后的输出结果。
第二阶段，向后传播阶段：
计算第一阶段的输出结果与相应的附件类别标签的差（所述相应的附件类别标签，对应于数据集中医师为个体设计的牙齿附件策略），按梯度下降的方法反向传播误差调整各层权值。
以上所述仅为本发明的一个具体实施例并不用以限制本发明，凡在本发明的精神和原则之内，所做出的任何修改、等同题换、改进等，均应包含在本发明的保护范围之内。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于口腔体素模型提取特征的正畸附件规划方法，其特征在于，包含如下步骤：
步骤S1、准备训练样本集，包含若干个体各自由三维扫描仪获得、经过随机下采样处理的三维牙齿点云数据和由医师相应提供的归为不同类别的牙齿附件策略；
步骤S2、设计正畸附件规划策略模型，包含对深度神经网络结构的特征抽取模块、多标签分类模块进行网络层数、每层超参数设置；其中，向该模型分别输入的是步骤S1处理过的单个个体的牙齿点云数据，输出的是与单个个体对应的表示牙齿附件所属类别信息的一个96维的向量；
步骤S3、所述特征抽取模块采用层级点云特征学习的网络结构，对单个个体的牙齿点云数据通过多个抽象层进行最远点采样、球查询、多层共享感知机及最大池化处理，提取出相应的牙齿点云全局特征；
步骤S4、结合步骤S3提取出的牙齿点云全局特征，利用多标签分类模块分别进行以全连接层结构主导的独立训练和以编码-解码结构主导的打包训练分类，得到每颗牙齿上附件或附件组合的类别概率信息；
步骤S5、使用训练样本集收集到的牙齿点云数据及相应的牙齿附件策略，对特征抽取模块、多标签分类模块设置多个epoch，利用优化训练器端到端训练，得到训练完成的深度神经网络结构；
步骤S6、将实际获得的单个个体的三维牙齿点云数据，输入到步骤S5训练出的深度神经网络结构，输出的向量对应于该个体需粘结的矫治器附件的类别信息。
2.根据权利要求1所述的正畸附件规划方法，其特征在于，
步骤S1中，通过三维扫描仪分别获得上牙和下牙的原始点云数据，并提取出其中的牙冠数据；进行数据预处理，利用随机采样完成原始点云数据的下采样，将点云个数减少到特定范围。
3.根据权利要求1所述的正畸附件规划方法，其特征在于，
步骤S2中，基于每个人有32颗牙齿、每颗牙齿上至多粘结3个附件的事实，获知一个个体的牙齿最多有96个附件；所述正畸附件规划策略模型用一个96维的向量，来表示一个个体的牙齿附件所属的类别信息。
4.根据权利要求1所述的正畸附件规划方法，其特征在于，
步骤S3中，设每个抽象层输入的牙齿点云数据为N×(d+C)维的矩阵，对应于N个有d维坐标和C维特征的点；该抽象层的输出为N'×(d+C' )维的矩阵，对应于N'个含有d维坐标和C'维新特征向量的点；该抽象层对向其输入的点云数据，利用以最远点采样法得到的N'个中心及其周围给定半径内通过球查询法得到的点构建N'个局部区域，并通过共享的多层感知机和最大池化学习N'个局部区域的特征；最后一个抽象层处理后，输出牙齿点云全局特征。
5.根据权利要求4所述的正畸附件规划方法，其特征在于，
所述特征抽取模块采用3层抽象层。
6.根据权利要求1所述的正畸附件规划方法，其特征在于，
步骤S4中，对于特征抽取模块输出的点云特征向量，所述多标签分类模块使用独立训练分类模块，基于影响附件选择的多个要素相互独立的认知来进行分类；
所述独立训练分类模块先用两层全连接层和dropout层进行降维，再对影响附件选择的多个要素分别进行训练；对每一个要素，降维处理后的点云特征向量通过全连接层后，使用softmax函数转化输出每一颗牙齿应粘接附件的类别概率。
7.根据权利要求1所述的正畸附件规划方法，其特征在于，
步骤S4中，对于特征抽取模块输出的点云特征向量，所述多标签分类模块使用打包训练分类模块，基于影响附件选择的多个要素存在互相影响的认知来进行分类；
所述打包训练分类模块通过编码-解码结构，对点云特征向量的每个单位，使用长短期记忆网络编码成一个中间向量，再由多个长短期记忆网络细胞解码，按照牙齿编号序列以概率形式输出每个牙齿的附件策略所属类别信息。
8.根据权利要求6或7所述的正畸附件规划方法，其特征在于，
影响附件选择的要素，包含：附件的类型、方向、粘结于牙齿表面的位置、粘结的开始阶段。
9.根据权利要求1或6或7所述的正畸附件规划方法，其特征在于，
步骤S5中，训练所述特征抽取模块和多标签分类模块的过程之中，采用了交叉熵损失函数，衡量步骤S4预测出的附件或附件组合的类别概率向量与医生提供的牙齿附件或附件组合的类别标签向量的差异性，所述类别标签向量的分量仅有0-1两种取值，分别表示当前牙齿上不粘接当前附件或附件组合的情况，和粘接当前附件或附件组合的情况。
10.据权利要求1所述的正畸附件规划方法，其特征在于，
步骤5中，1个epoch是指将训练集的全部数据利用一遍，训练时使用多个epoch直到损失函数收敛。
CN201910914508.5A 2019-09-26 2019-09-26 基于口腔体素模型特征提取的正畸附件规划方法 Active CN110428021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910914508.5A CN110428021B (zh) 2019-09-26 2019-09-26 基于口腔体素模型特征提取的正畸附件规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910914508.5A CN110428021B (zh) 2019-09-26 2019-09-26 基于口腔体素模型特征提取的正畸附件规划方法

Publications (2)

Publication Number Publication Date
CN110428021A true CN110428021A (zh) 2019-11-08
CN110428021B CN110428021B (zh) 2019-12-27

Family

ID=68419092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910914508.5A Active CN110428021B (zh) 2019-09-26 2019-09-26 基于口腔体素模型特征提取的正畸附件规划方法

Country Status (1)

Country Link
CN (1) CN110428021B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111096814A (zh) * 2019-12-27 2020-05-05 上海牙典医疗器械有限公司 一种矫治器的生成方法及装置
CN111265317A (zh) * 2020-02-10 2020-06-12 上海牙典医疗器械有限公司 一种牙齿正畸过程预测方法
CN111784754A (zh) * 2020-07-06 2020-10-16 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112151167A (zh) * 2020-05-14 2020-12-29 余红兵 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN112991273A (zh) * 2021-02-18 2021-06-18 山东大学 三维牙齿模型的正畸特征自动检测方法及系统
CN112989954A (zh) * 2021-02-20 2021-06-18 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
CN113628222A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 一种基于深度学习的3d牙齿分割和分类方法
WO2023279201A1 (en) * 2021-07-06 2023-01-12 Orthodontia Vision Inc. System and method for determining an orthodontic occlusion class

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107260335A (zh) * 2017-06-26 2017-10-20 达理 一种基于人工智能的牙列畸形自动化分类和设计方法
CN109363786A (zh) * 2018-11-06 2019-02-22 上海牙典软件科技有限公司 一种牙齿正畸矫治数据获取方法及装置
CN109528323A (zh) * 2018-12-12 2019-03-29 上海牙典软件科技有限公司 一种基于人工智能的正畸方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107260335A (zh) * 2017-06-26 2017-10-20 达理 一种基于人工智能的牙列畸形自动化分类和设计方法
CN109363786A (zh) * 2018-11-06 2019-02-22 上海牙典软件科技有限公司 一种牙齿正畸矫治数据获取方法及装置
CN109528323A (zh) * 2018-12-12 2019-03-29 上海牙典软件科技有限公司 一种基于人工智能的正畸方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘瑜: "《计算机辅助口腔正畸算法研究》", 《中国优秀硕士论文电子期刊网》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111096814A (zh) * 2019-12-27 2020-05-05 上海牙典医疗器械有限公司 一种矫治器的生成方法及装置
CN111265317A (zh) * 2020-02-10 2020-06-12 上海牙典医疗器械有限公司 一种牙齿正畸过程预测方法
CN112151167A (zh) * 2020-05-14 2020-12-29 余红兵 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN111784754A (zh) * 2020-07-06 2020-10-16 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN111784754B (zh) * 2020-07-06 2024-01-12 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN111906784B (zh) * 2020-07-23 2023-04-07 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112991273A (zh) * 2021-02-18 2021-06-18 山东大学 三维牙齿模型的正畸特征自动检测方法及系统
CN112991273B (zh) * 2021-02-18 2022-12-16 山东大学 三维牙齿模型的正畸特征自动检测方法及系统
CN112989954A (zh) * 2021-02-20 2021-06-18 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
CN112989954B (zh) * 2021-02-20 2022-12-16 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
WO2023279201A1 (en) * 2021-07-06 2023-01-12 Orthodontia Vision Inc. System and method for determining an orthodontic occlusion class
CN113628222A (zh) * 2021-08-05 2021-11-09 杭州隐捷适生物科技有限公司 一种基于深度学习的3d牙齿分割和分类方法

Also Published As

Publication number Publication date
CN110428021B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110428021A (zh) 基于口腔体素模型特征提取的正畸附件规划方法
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
Ali et al. Detection and classification of dental caries in x-ray images using deep neural networks
Cao et al. Deformable image registration using a cue-aware deep regression network
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN109166130A (zh) 一种图像处理方法及图像处理装置
CN106778014A (zh) 一种基于循环神经网络的患病风险预测方法
CN109758157A (zh) 基于增强现实的步态康复训练评估方法与系统
CN110532874B (zh) 一种物体属性识别模型的生成方法、存储介质及电子设备
CN109754852A (zh) 基于电子病历的心血管疾病风险预测方法
CN109544518A (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN108648197A (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN108038519A (zh) 一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置
CN109620493A (zh) 基于脑控的残疾人生活辅助装置及其控制方法
CN110046550A (zh) 基于多层特征学习的行人属性识别系统及方法
CN108363979A (zh) 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN110223285A (zh) 基于动物迁移和神经网络模型的影像结果预测方法及系统
CN110211165A (zh) 一种基于异步深度强化学习的图像多模态配准方法
CN108694994A (zh) 基于栈式自编码器和支持向量机的无创心脏梗死分类模型构建方法
Saini et al. Dental caries early detection using convolutional neural network for tele dentistry
CN110321827A (zh) 一种基于人脸疼痛表情视频的疼痛水平评估方法
Choi et al. Possibilities of artificial intelligence use in orthodontic diagnosis and treatment planning: Image recognition and three-dimensional VTO
CN109994202A (zh) 一种基于深度学习的人脸生成中药处方的方法
CN109637629A (zh) 一种bi-rads分级模型建立方法
Shang et al. Identification of common oral disease lesions based on U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant