CN117853716A - 一种牙颌模型的建构方法、装置、电子设备及存储介质 - Google Patents
一种牙颌模型的建构方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117853716A CN117853716A CN202211210260.2A CN202211210260A CN117853716A CN 117853716 A CN117853716 A CN 117853716A CN 202211210260 A CN202211210260 A CN 202211210260A CN 117853716 A CN117853716 A CN 117853716A
- Authority
- CN
- China
- Prior art keywords
- dental
- dental model
- model
- target area
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000010276 construction Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims abstract description 80
- 210000004195 gingiva Anatomy 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims description 86
- 238000012549 training Methods 0.000 claims description 71
- 239000013598 vector Substances 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000332 tooth crown Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本申请涉及口腔临床正畸技术领域,公开了一种牙颌模型的建构方法、装置、电子设备及存储介质。方法包括:获取待分割的第一牙颌模型;对第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型;对第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定第一目标区域中各元素的分类结果,分类结果包括牙龈或牙冠,第一目标区域包括第二牙颌模型上距离待优化牙冠对应的牙龈线不超过预设距离的区域;根据第一目标区域中各元素的分类结果对第二牙颌模型上待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。本申请实施例在实现全自动建构牙颌模型的同时,提升了牙颌模型建构时牙冠牙龈区分结果的准确性和分牙效率。
Description
技术领域
本申请实施例涉及口腔临床正畸技术领域,特别涉及一种牙颌模型的建构方法、装置、电子设备及存储介质。
背景技术
数字化正畸是结合现代口腔医学、计算机辅助三维诊断、个性化设计以及数字化成型技术形成的一类技术,其通过采集患者牙颌上软组织和硬组织的三维影像数据,构造数字化牙颌模型,并基于该数字化牙颌模型模拟牙齿牙龈的运动、设计矫治器实现。其中,为了更好地设计矫治器,通常需要准确地区分数字化牙颌模型上的各个牙齿的牙冠及牙龈,以便更精确地模拟牙齿牙龈的运动。
然而,牙颌模型构造过程中,为了保证牙冠、牙龈区分的准确度,要么需要引入人工参与,以根据多年积累的经验对牙颌模型上牙冠牙龈分割出错的位置进行修正,自动化程度不高,要么需要从多个参数维度对牙颌模型分析,也就是说需要处理大量的数据,尤其是采用机器学习时,其训练阶段需要对大量样本进行特征提取,如果样本量少,可能提取得到的特征不准确,如果样本量大,虽然有利于保证准确性,但提取及处理的过程中,处理数据量大,时间长,效率较低。
发明内容
本申请实施例的目的在于提供一种牙颌模型的建构方法、装置、电子设备及存储介质,使得在实现全自动建构牙颌模型的同时,提升了牙颌模型建构时牙冠牙龈区分结果的准确性和分牙效率。
为达到上述目的,本申请的实施例提供了一种牙颌模型的建构方法,包括:获取待分割的第一牙颌模型;对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型;对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,所述分类结果包括牙龈或牙冠,所述第一目标区域包括所述第二牙颌模型上距离所述待优化牙冠对应的所述牙龈线不超过预设距离的区域;根据所述第一目标区域中各元素的分类结果对所述第二牙颌模型上所述待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
为达到上述目的,本申请的实施例提供了一种牙颌模型的建构装置,包括:获取模块,用于获取待分割的第一牙颌模型;分割模块,用于对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型;分类模块,用于对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,所述分类结果包括牙龈或牙冠,所述第一目标区域包括所述第二牙颌模型上距离所述牙龈线不超过预设距离的区域;更新模块,用于根据所述第一目标区域中各元素的分类结果对所述第二牙颌模型上所述待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
为达到上述目的,本申请的实施例提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上任一项所述的分牙方法,或者,执行如上任一项所述的牙齿矫治器制造方法。
为达到上述目的,本申请的实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的牙颌模型的建构方法。
本申请实施例提供的牙颌模型的建构方法,获取待分割的第一牙颌模型后,将基于第一牙颌模型建构牙冠牙龈区分准确清晰的牙颌模型的过程分为两个阶段进行,第一阶段对第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型,第二阶段对第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定第一目标区域中各元素的分类结果,以根据第一目标区域中各元素的分类结果对第二牙颌模型上待优化牙冠和牙龈数据进行更新。其中,由于分割牙冠和牙龈的过程中,分割错误较多区域通常位于牙冠牙龈分界线附近的区域,因此,包括第二牙颌模型上距离牙龈线不超过预设距离的区域的第一目标区域,实际是分割错误较多的区域。进而一方面,避免对第二牙颌模型上的所有元素进行更新优化,减少了需要处理的数据量,加快了建构效率,另一方面,第二阶段实际是对第一阶段进行牙冠和牙龈分割后容易出现分割错误或者分割错误较多的区域进行更新,也就是说,本实施例的牙颌模型的建构不是一次性实现,而是分为两个阶段,第一阶段建构初步的第二牙颌模型,并通过第二阶段对第一阶段的结果优化,得到最终的建构完成的第三牙颌模型,使得在保证最终结果准确度不变的情况下,这样各阶段可以不需要通过繁杂的数据处理过程或人工参与来提高分割的准确性,可以采用更加简洁高效的算法处理,在完全自动化实现牙颌模型建构的同时,不仅准确,且效率更高。
进一步地,所述对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,包括:基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类,得到对应的各所述第一目标区域中各元素的分类结果。基于神经网络模型实现分类,使得能够通过神经网络模型学习到的潜在表示对牙冠和牙龈进行更加准确的分类。
进一步地,所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类之前,包括:对所述第一目标区域中各元素进行特征提取,得到若干所述第一目标区域中各位置的第一目标特征向量,所述第一目标特征向量至少包括位置特征和曲率特征;所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类,包括:基于训练好的所述第一神经网络模型对各所述第一目标区域中各元素的所述第一目标特征向量进行处理,得到对应的各所述第一目标区域中各元素的分类结果。牙龈为紧贴于牙颈周围及邻近的牙槽骨上的结构,因此,真实牙龈线作为真实牙冠和真实牙龈的分界线,表面变化很大,曲率较大,并且在牙颌模型靠近真实牙龈线的区域内通常不会存在牙冠外观不规则导致的曲率较大问题,也就是说,以曲率特征作为依据能够比较准确地进行分类;在此基础上,还增加位置特征,从而避免由于不规则牙冠等导致的曲率较大而分类错误的问题,进一步提高了分类的准确性。
进一步地,所述对所述第一目标区域中各元素进行特征提取,包括:确定所述第一目标区域中各元素的顶点的曲率;根据各所述第一目标区域中各元素的顶点的曲率,确定所述第一目标区域中各元素的所述曲率特征。顶点作为牙颌模型的最小组成单元,根据顶点曲率确定元素的曲率特征,使得元素的曲率特征能够更加全面地表征元素在曲率维度上的特征,从而有利于准确地进行分类。
进一步地,所述根据所述第一目标区域中各元素的顶点的曲率,确定所述第一目标区域中各元素的所述曲率特征,包括:对所述第一目标区域中各元素的顶点的曲率进行平均,将各顶点的曲率的平均值作为所述第一目标区域中相应的元素的所述曲率特征。提供一种简洁易于实现的曲率特征确定方式。
进一步地,所述元素为多边形面片,所述确定所述第一目标区域中各元素的顶点的曲率,包括:通过如下表达式依次确定所述第一目标区域中各多边形面片的顶点的曲率:
其中,A(v)为包含顶点v的多个多边形面片的面积之和,N1(v)为包括顶点v的一阶邻域的顶点集合,vi为N1(v)中的一个顶点,θi为第i个多边形面片中过顶点v的两条边所形成的内角的角度。在元素是多边形面片的情况下,以多边形面片的而曲率通过高斯曲率对顶点所在曲面的弯曲程度进行描述,相对于确定顶点处的曲率,能够更好地描述出元素周围区域的相对弯曲程度,有利于更加准确地描述多边形面片在曲率上的特性,从而更准确地进行分类。
进一步地,所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类之前,所述方法还包括:从多个样本牙颌模型上提取若干元素样本,所述元素样本携带标签,所述标签用于指示所述元素样本所属的元素类型,所述元素类型至少包括牙冠和牙龈;根据所述元素样本生成训练集,并利用所述训练集对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。基于多个样本牙颌模型提取若干元素样本,使得能够构建较大的数据,以更好地进行神经网络训练,提高第一神经网络模型的准确性。
进一步地,所述根据所述元素样本生成训练集,包括:对所述元素样本进行特征提取,得到各所述元素样本的第二目标特征向量;将各所述元素样本所属的所述元素类型添加为对应所述第二目标特征向量的标签;将带标签的所述第二目标特征向量组合为所述训练集。在训练时将样本转换为特征数据再训练,减少训练集数据的特征提取次数,缩短训练总时间。
进一步地,所述根据所述元素样本生成训练集,包括:对所述元素样本按照预设方式进行处理,得到扩充元素样本,所述扩充元素样本的标签为对应所述元素样本的标签;将所述元素样本与所述扩充元素样本组合,生成所述训练集。通过数据增强的方式扩大数据集,提高了训练数据的数量和多样性,从而有利于提高第一神经网络模型的鲁棒性和准确性。
进一步地,所述预设方式包括以下任一项或其组合:旋转、平移、缩放。通过简洁多样的处理方式实现数据增强,有利于高效地丰富训练数据,进一步提高了第一神经网络模型的鲁棒性和准确性。
进一步地,所述元素类型还包括牙龈线;各所述样本牙颌模型上提取的所述元素样本数量均为N;所述从多个样本牙颌模型上提取若干元素样本,包括:优先对各所述样本牙颌模型中所属的元素类型为牙龈线的各元素样本进行提取;以及,提取到的所属元素类型为牙冠的元素样本和所属元素类型为牙龈的元素样本的数量大致相同。在牙冠和牙龈的基础上,训练数据的标签还包括牙龈线,基于牙龈线样本在牙颌模型上的数量较少,所以优先获得牙龈线样本,可以尽量保证牙龈线样本在总样本中的占比,有利于第一神经网络模型更好地学习不同类型元素的潜在表示,提高了第一神经网络模型的准确性。
进一步地,所述从多个样本牙颌模型上提取若干位置样本步骤中,从多个样本牙颌模型提取的所述元素样本中,元素类型为牙冠的元素样本和元素类型为牙龈的元素样本的数量大致相同。保证了训练数据的均衡化,从而能够更好地对不同类型的元素的潜在特征进行学习,避免出现过采样、欠采样等问题,有利于提高第一神经网络模型的准确性。
进一步地,所述第一神经网络模型包括多个分别用于对不同牙齿类型的牙冠进行分割的神经网络模型;所述基于训练好的第一神经网络模型对所述第一目标区域中各位置进行分类,包括:根据所述待优化牙冠所属的牙齿类型,选择所述第一神经网络模型中对应的神经网络模型对所述第一目标区域中各元素进行分类。对不同牙齿类型训练不同的神经网络,使得分类准确性更高。
进一步地,所述第一神经网络模型包括MeshSegNet或PointNet。通过不同类型身为网络模型结构实现第一神经网络模型,提高了灵活性。
进一步地,所述对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型,包括:获取所述第一牙颌模型上的特征点,所述特征点为所述第一牙颌模型上的局部最小点;基于聚类算法将所述特征点分类为牙冠或牙龈;根据所述特征点的分类结果,将所述第一牙颌模型上的顶点分类为牙冠或牙龈;根据所述第一牙颌模型上的顶点的分类结果,在所述第一牙颌模型上确定所述牙龈线;在所述第一牙颌模型上确定所述牙龈线上的拐点;根据所述第一牙颌模型上的所述牙龈线和拐点,在所述第一牙颌模型上对相邻牙齿进行分割,得到所述第二牙颌模型。通过非神经网络模型的方式实现牙冠牙龈分割,简化了实现流程,不需要进行训练,有利于降低对牙颌模型的建构方法所部署的设备的算力、存储等要求,能够适应更多的应用场景。
进一步地,所述对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型,包括:基于训练好的第二神经网络模型,对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到所述第二牙颌模型,所述第二神经网络模型用于提取牙颌模型上各顶点的特征作为局部特征以及牙颌模型的全局特征,并通过所述局部特征和所述全局特征确定各顶点所属的牙位和类型,所述各顶点所属的类型包括牙冠或牙龈。通过神经网络模型的而方式实现牙冠牙龈分割,能够更好地学习特征的潜在表示,分类更加准确。
进一步地,所述待优化牙冠包括所述第二牙颌模型上的部分牙冠或所有牙冠。能够灵活地根据实际需求选择优化的范围,有利于提高效率,减少资源浪费。
进一步地,所述待优化牙冠包括所述第二牙颌模型上指定的部分牙冠或所有牙冠,指定的方式包括以下中的任一项:用户指定或默认指定。能够灵活地根据需求实现待优化牙冠的指定。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请一实施例中提供的牙颌模型的建构方法的流程图;
图2是本申请另一实施例中提供的包括获取特征点步骤的牙颌模型的建构方法的流程图;
图3是本申请另一实施例中提供的包括基于训练好的第二神经网络模型分割步骤的牙颌模型的建构方法的流程图;
图4是本申请图3所示实施例中提供的关于第二神经网络的结构示意图;
图5是本申请实施例中提供的关于第一目标区域的示意图;
图6是本申请实施例中提供的关于第一神经网络的结构示意图;
图7是本申请另一实施例中提供的包括对第一目标区域中各元素进行特征提取步骤的牙颌模型的建构方法的流程图;
图8是本申请另一实施例中关于v、vi和A(v)关系的示意图;
图9是本申请另一实施例中提供的包括从多个样本牙颌模型上提取若干元素样本步骤的牙颌模型的建构方法的流程图;
图10是本申请另一实施例中提供的包括对元素样本进行特征提取步骤的牙颌模型的建构方法的流程图;
图11是本申请另一实施例中提供的包括选择第一神经网络模型中对应的神经网络模型对第一目标区域中各元素进行分类步骤的牙颌模型的建构方法的流程图;
图12是本申请另一实施例中提供的牙颌模型的建构装置的结构示意图;
图13是本申请另一实施例中提供的电子设备的结构示意图。
具体实施方式
由背景技术可知,目前的牙颌模型的建构方法要么存在自动化程度不高的问题,要么存在效率不高的问题。
经分析发现,出现上述问题的原因主要在于:矫治器的设计通常是基于对牙齿牙龈的运动模拟进行的,而模拟牙齿牙龈的运动的准确性受到建构牙颌模型过程中牙冠牙龈分割的准确性的影响。因此,为了保证矫治的质量,需要对牙颌模型上的牙冠和牙龈进行准确分割。为了达到这一目的,目前通常采用的方法是基于人工经验对牙颌模型分割出错的地方进行修正,或者,使用牙颌模型上各元素更多层次的特征或更高维度的特征作为神经网络模型的分类基础,从而保证分类的准确性。但是基于人工经验的方式依赖于人力,自动化程度不高,且容易受到主观意见的干扰,基于神经网络的方式又存在特征提取耗时长以及基于特征进行分类的处理过程复杂,整体效率低。
为解决上述问题,本申请实施例提供的牙颌模型的建构方法,在自动化实现牙颌模型建构的情况下,将建构过程分为两个阶段,第一阶段,对待分割的第一牙颌模型进行牙冠和牙龈分割,得到带牙龈线的第二牙颌模型,此时,第二牙颌模型上的牙龈线,即牙冠和牙龈的分界线不需要达到所需要的准确性,而是可以通过第二阶段的优化进一步提高分割的准确性,因此,第一阶段的分割可以采用更加简洁快速的算法实现,而不需要采用处理流程繁琐、处理数据量大的算法,以将牙冠和牙龈一次性地准确分割出来。并且,由于第二阶段的优化是在第一阶段的基础上进行的,因此,可以只对牙龈线附近的元素进行优化,即只对容易出现分割错误的元素进行优化,相对于对第二牙颌模型上所有元素进行优化,需要处理的数据少,减少了计算量,提高了处理效率。并且通过第二阶段的优化,使得牙冠和牙龈能够在牙颌模型上被准确地区分,便于后续基于牙颌模型制定矫治方案。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请实施例一方面提供了一种牙颌模型的建构方法。其流程如图1所示,至少包括以下步骤:
步骤101,获取待分割的第一牙颌模型。
本实施例中,待分割的第一牙颌模型为对患者牙齿进行口腔扫描得到三维数字化模型。其中,本实施例不对口腔扫描的方式进行限定,可以是通过激光三维扫描技术、层析扫描技术、计算机体层摄影(Computed Tomography,CT)扫描技术、口内扫描技术等方式实现,此处就不再一一赘述了。
步骤102,对第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型。
本实施例中,第二牙颌模型所携带的牙龈线为牙冠牙龈分割后牙冠牙龈在牙颌模型上所形成的分界线,当牙冠和牙龈的分割结果发生变化时,牙冠和牙龈的分界线,即牙龈线,也会随着变化。并且本实施例不对牙冠和牙龈的分割方式进行限定,可以是任意一种牙冠牙龈分割算法。但是需要说明的是,由于本步骤得到的第二牙颌模型还将经过后续步骤进行优化,进而本步骤所采用的牙冠和牙龈的分割方式可以采用流程相对简洁、处理数据量相对较小的方法实现。
为了便于本领域技术人员更好地理解步骤102的实习过程,以下将对基于神经网络模型和不基于神经网络模型实现牙冠牙龈分割进行说明。
在一些实施例中,不基于神经网络模型实现,从而避免需要神经网络模型繁琐、计算量大的训练过程,便于牙颌模型的建构方法部署到能够提供的算力有限的设备上。此时,如图2所示,步骤102包括以下步骤:
步骤1021,获取第一牙颌模型上的特征点,特征点为第一牙颌模型上的局部最小点。
本实施例中,局部最小点可以有多种确定方式,在一些情况下,局部最小点可以是第一牙颌模型上各多边形面片的顶点高度函数的局部最小点,在另一些情况下,局部最小点也可以是第一牙颌模型对应的曲面函数的局部最小点等。
步骤1022,基于聚类算法将特征点分类为牙冠或牙龈。
本实施例中,特征点的分类可以是通过聚类算法实现,即以聚类结果为两个簇为条件进行聚类,采用的方法可以是模糊c-均值聚类算法、K-means聚类等,此处就不再一一赘述了。
步骤1023,根据特征点的分类结果,将第一牙颌模型上的顶点分类为牙冠或牙龈。
本实施例中,根据特征点的分类结果,基于图割算法、聚类算法或随机游走算法将第一牙颌模型上的顶点分类为牙冠或牙龈。
其中,以聚类算法为例,首先计算第一牙颌模型上的顶点到特征点中被分类为牙冠的特征点的图最短距离L1并计算第一牙颌模型上的顶点到特征点中被分类为牙龈的特征点的图最短距离L2,图最短距离通过迪杰斯特拉(Dijkstra)算法实现(图中各边具有预设的权重),根据各顶点对应的L1和L2之间的相对大小确定该顶点为牙冠还是牙龈:在顶点对应的L1大于顶点对应的L2的情况下,确定该顶点为牙龈,在顶点对应的L1小于等于顶点对应的L2的情况下,确定该顶点为牙冠。
步骤1024,根据第一牙颌模型上的顶点的分类结果,在第一牙颌模型上确定牙龈线。
本实施例中,如前所述,牙龈线为牙冠和牙龈的分界线,因此,第一牙颌模型上牙龈线的确定可以通过确定分类为牙冠的顶点和分类为牙龈的顶点的分界线确定。
需要说明的是,如前,特征点也进行了分类,因此,牙龈线确定时可以基于分类后的顶点和特征点实现,即通过顶点和特征点中,分类为牙冠的部分和分类为牙龈的分界线确定。
步骤1025,在第一牙颌模型上确定牙龈线上的拐点。
本实施例中,第一牙颌模型在唇侧和舌侧均具有牙龈线,因此,确定处的是唇侧和舌侧,两侧上的牙龈线的拐点。其中,拐点的确定可以是确定牙龈线的曲线方程,然后基于曲线方程的二阶导数确定拐点位置。
步骤1026,根据第一牙颌模型上的牙龈线和拐点,在第一牙颌模型上对相邻牙齿进行分割,得到第二牙颌模型。
本实施例中,首先,基于最优路径规划算法,如Dijkstra算法,确定从唇侧牙龈线上的拐点到舌侧牙龈线上对应的拐点的最优路径(或者,基于最优路径规划算法确定从舌侧牙龈线上的拐点到唇侧牙龈线上对应的拐点的最优路径),确定出来的最优路径即相邻牙齿之间的牙缝线,然后基于牙缝线,采用区域生长法、图割算法、聚类算法或随机游走算法对相邻牙齿进行分割。
其中,以区域生长法为例,在确定了各颗牙齿的牙缝线之后,确定每个牙缝线的质心,然后以模型上与各质心在唇舌侧方向和远近中方向上距离最近的点作为种子点,不断搜索种子点的领域,直到当前牙缝线对应的相邻两颗牙齿分割开来,停止搜索,重复该过程,直到所有牙齿均完成分割。
需要说明的是,上述步骤1025和步骤1026不是必须在步骤1024之后,步骤103之前实现,在另一些实施例中,步骤103中的优化针对整个第二牙颌模型,即待优化牙冠为第二牙颌模型上的所有牙冠,此时,步骤102可以包括步骤1021-步骤1024,步骤104之后,牙颌模型的建构方法还包括步骤1025-步骤1026,即在牙冠和牙龈的分割过程中,不需要区分单颗牙齿,从而能够将单个牙齿的分割放到最后实现。
在另一些实施例中,基于神经网络模型实现,从而基于神经网络模型学习牙冠和牙龈的潜在特性,有利于更好地分割牙冠和牙龈。此时,如图3所示,步骤102包括以下步骤:
步骤1027,基于训练好的第二神经网络模型,对第一牙颌模型中的多个牙冠和牙龈进行分割,得到第二牙颌模型,第二神经网络模型用于提取牙颌模型上各顶点的特征作为局部特征以及牙颌模型的全局特征,并通过局部特征和全局特征确定各顶点所属的牙位和类型,各顶点所属的类型包括牙冠或牙龈。
本实施例中,确定各顶点所属的牙位和类型,即对第一牙颌模型上的不同牙位的牙齿以及牙冠和牙龈均进行分类,也就是说,以含有14颗牙齿的上颌牙颌模型为例,其对于的第二神经网络模型的输出包含15个分类类别,即14种牙位的牙冠部分以及牙龈部分。
需要说明的是,本实施例不对第二神经网络模型的类型进行限定,可以是PointNet、PointNet++、PointNetConv、MeshSegNet、TSGCNet等。
下面以第二神经网络模型为PointNet为例,如图4所示,对于第一牙颌模型上的各顶点,第二神经网络模型以n个顶点的三维坐标为输入,即以n×3维数据为输入,输入先送入一个转换网络,使得经转换网络处理后,得到规范化的数据,输出的仍为n×3维数据,接着,第二神经网络模型将n×3维数据送入多层感知机(MLP,Multilayer Perceptron),得到n×64维数据,再将n×64维数据输入转换网络,得到规范的数据,输出的仍为n×64维数据,接着送入MLP,得到n×1024维数据,然后基于池化层对n×1024维数据进行最大池化,得到全局1024维特征,将全局1024维特征分别与前述n个顶点的n×64维数据送入分割子网络,在分割子网络中先将各顶点的64维数据进行拼接,拼接后依次送入两个多层感知机后,得到整个第二神经网络模型的输出,即各顶点的分类结果。
步骤103,对第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定第一目标区域中各元素的分类结果,分类结果包括牙龈或牙冠,第一目标区域包括第二牙颌模型上距离待优化牙冠对应的牙龈线不超过预设距离的区域。
本实施例中,元素可以是多边形面片,如三角面片;元素还可以是顶点,或者是按照一定规则在第二牙颌模型上确定处的一个个小区域等。预设距离可以是根据需要设置,如在一些情况下,设置预设距离在5mm-8mm之间取到,并且根据第二牙颌模型的大小在5mm-8mm选择一个距离作为预设距离等。待优化牙冠包括第二牙颌模型上的部分牙冠或所有牙冠。在待优化牙冠为第二牙颌模型上的所有牙冠时,第一目标区域如图5所示,其中,阴影区域1为第二牙颌模型上牙龈部分距离待优化牙冠对应的牙龈线不超过预设距离的区域,阴影区域2为第二牙颌模型上牙冠部分距离待优化牙冠对应的牙龈线不超过预设距离的区域。需要说明的是,在两颗牙齿紧挨着的情况可能会出现公用的三角网格可能被分为另一颗牙齿,因此出现如图5所示的阴影区域2上的空隙,在其他情形下,阴影区域2可能不存在空隙,也可能存在两处空隙,此处就不再一一赘述了。其中,图4中左侧箭头末端指向的的三个模块从上至下依次示出两个转换网络以及分割子网络的内部结构示意图。
需要说明的是,分类结果还可以包括牙龈线,也就是说,还对牙龈线进行识别。相应地,在步骤104中分类结果为牙龈线的元素的标签会被更新为牙冠,即将牙龈线视为牙冠的一部分。
在一些情况下,待优化牙冠包括第二牙颌模型上指定的部分牙冠或所有牙冠,指定的方式包括以下中的任一项:用户指定或默认指定。特别地,默认指定所指定的可以是容易出现分割错误的牙冠。
在一些情况下,分类可以基于神经网络模型实现,也就是说,步骤103可以通过如下方式实现:基于训练好的第一神经网络模型对第一目标区域中各元素进行分类,得到对应的各第一目标区域中各元素的分类结果。其中,第一神经网络模型可以包括MeshSegNet或PointNet。即第一神经网络模型可以以MeshSegNet或PointNet为基础模型。
其中,以第一神经网络模型为MeshSegNet、元素为三角面片为例,如图6所示,由于每个元素包括三个顶点的三维坐标、中心坐标以及曲率,即,形成一个13维的特征,因此,基于第二牙颌模型上的n个三角面片,得到n×13维数据作为输入,一方面n×13维数据输入第一神经网络后,将会依次通过MLP和FTM进行高级特征提取,得到n×64维数据,然后基于两个图约束学习模块GLM后被输入全局最大池化中提取特征,最后,提取出的n×64维数据、3组n×512维数据拼接到一起进行特征融合后,再通过一个MLP输出分类结果。
考虑到牙龈为紧贴于牙颈周围及邻近的牙槽骨上的结构,也就是说,真实牙龈线作为真实牙冠和真实牙龈的分界线,表面变化很大,曲率较大,并且在牙颌模型靠近真实牙龈线的区域内通常不会存在牙冠外观不规则导致的曲率较大问题,因此,曲率可以比较准确地作为分类的依据。此外,位置信息也在一定程度上反映元素所属的类型。因此,在一些实施例中,第一神经网络基于曲率和位置进行分类。
而在第一神经网络模型基于曲率和位置进行分类的情况下,第一神经网络模型的输入可以是元素的特征,即在一些实施例中,如图7所示,步骤103之前,还包括以下步骤:
步骤105,对第一目标区域中各元素进行特征提取,得到若干第一目标区域中各元素的第一目标特征向量,第一目标特征向量至少包括位置特征和曲率特征。
本实施例中,特征提取的方式会随着元素的内涵不同而变化,如在元素为顶点的情况下,其位置特征和曲率特征可以为顶点自身的位置和曲率,在元素为多边形面片的情况下,其位置特征和曲率特征可以是根据组成多边形面片的顶点的位置和曲率确定,特别地,对于边数量不同的多边形面片,其位置特征和曲率特征也可能不同,如对于三角面片,其位置特征和曲率特征可以是各顶点的位置和曲率的平均值,对于四角面片,其位置特征可以是各顶点的位置组成的12维特征,其曲率可以是质心的曲率等。
相应地,步骤103为:基于训练好的第一神经网络模型对各第一目标区域中各元素的第一目标特征向量进行处理,得到对应的各第一目标区域中各元素的分类结果。
为了便于本领域技术人员更好地理解本步骤,以下将以元素为三角面片为例进行说明。
在一些例子中,位置特征包括三角面片的顶点位置和三角面片的中心位置,也就是说,位置特征的提取可以通过如下方式实现,先确定三角面片的顶点坐标,然后,对三角面片的顶点坐标进行平均,得到中心坐标,顶点坐标和中心坐标共同作为对应三角面片的位置特征。当然,实际应用中三角面片的顶点坐标也表征了其中心坐标的位置特征,因此,在另一些例子中,三角面片的位置特征可以仅包括顶点的坐标。
而曲率特征的提取则可以通过如下方式实现:确定第一目标区域中各元素的顶点的曲率;根据各第一目标区域中各元素的顶点的曲率,确定第一目标区域中各元素的曲率特征。
在一些情况下,三角面片的曲率特征为顶点的平均曲率特征,此时根据第一目标区域中各元素的顶点的曲率,确定第一目标区域中各元素的曲率特征,通过如下方式实现:对第一目标区域中各元素的顶点的曲率进行平均,将各顶点的曲率的平均值作为第一目标区域中相应的元素的曲率特征。
当然,在另一些情况下,三角面片的曲率特征还可以是三个顶点的曲率中的最小/最大值,此处就不再一一赘述了。
关于确定顶点v的曲率,在元素为多边形面片时,其可以通过如下表达式实现:
其中,结合A(v)为包含顶点v的多个多边形面片的面积之和,N1(v)为包括顶点v的一阶邻域的顶点集合,vi为N1(v)中的一个顶点,θi为第i个多边形面片中过顶点v的两条边所形成的内角的角度。以多边形面片为三角形为例,图8中示出某种情况下v、vi、A(v)的关系,A(v)为图上5个三角形的面积之和,N1(v)={v1,v2,v3,v4,v5},θi包括θ1,θ2,θ3,θ4,θ5,需要说明的是,牙颌表面存在不一定完全平整,即有一定曲率,因此,顶点v可能是向内凹陷或向外凸起,使得θ1,θ2,θ3,θ4,θ5之和不一定是2π。
从而可知,在元素是多边形面片的情况下,以多边形面片的而曲率通过高斯曲率对顶点所在曲面的弯曲程度进行描述,相对于确定顶点处的曲率,能够更好地描述出元素周围区域的相对弯曲程度,有利于更加准确地描述多边形面片在曲率上的特性,从而更准确地进行分类。
当然,以上仅为以高斯曲率为例对顶点曲率的确定进行举例,在其他例子中,还可以采用其他曲率确定方法,如平均曲率、主曲率等算法确定,特别地,当元素为顶点时,可以是顶点处的曲率,此处就不再一一赘述了。
此外,在使用第一神经网络模型前,还需要对第一神经网络模型的训练,因此,在一些实施例中,如图9所示,步骤103之前,还包括:
步骤106,从多个样本牙颌模型上提取若干元素样本,元素样本携带标签,标签用于指示元素样本所属的元素类型,元素类型至少包括牙冠和牙龈。
本实施例中,样本牙颌模型为各颗牙齿以及牙龈部分均被准确分割的牙颌模型,也就是说,从样本牙颌模型上提取出的元素样本能够准确地判断出其所属的元素类型,从而能够为第一神经网络模型的训练提供准确可靠的训练数据。元素样本即样本牙颌模型上的元素,元素后面的“样本”是为了强调其作用为作为训练样本,与前述的第二牙颌模型上的元素作用不同。
需要说明的是,样本牙颌模型可以是经过人工修正得到,从而保证了样本牙颌模型的准确性。
在一些情况下,从多个样本牙颌模型上提取若干元素样本步骤中,从多个样本牙颌模型提取的元素样本中,元素类型为牙冠的元素样本和元素类型为牙龈的元素样本的数量大致相同。从而实现训练数据的均衡化,这样训练出来的第一神经网络模型会对牙冠和牙龈的分类就有差不多的准确度。
其中,在一些例子中,从多样本个牙颌模型上提取若干元素样本,可以通过如下方式实现:从多个样本牙颌模型上随机提取若干元素样本,从而基于随机性使得提取总数量相当的所属的元素类型为牙冠的元素样本和所属的元素类型为牙龈的元素样本。进一步地,为了还可以将提取元素样本的区域限定为距离牙龈线不超过一定的距离,从而使得所属的元素类型为牙冠的元素样本和所属的元素类型为牙龈的元素样本的提取区域大小基本相同,即提取的对象中所属的元素类型为牙冠的元素样本和所属的元素类型为牙龈的元素样本基本相同,进一步缩小了训练数据中所属的元素类型为牙冠的元素样本和所属的元素类型为牙龈的元素样本之间的数量差异。
在另一些例子中,从多个样本牙颌模型上提取若干元素样本,还可以通过如下方式实现:从多个样本牙颌模型上的牙冠部分和牙龈部分分别提取若干元素样本。从而可以通过提取次数,使得训练数据中所属的元素类型为牙冠的元素样本和所属的元素类型为牙龈的元素样本数量相等。
需要说明的是,各样本牙颌模型上提取出的元素样本总数量应当相同,如对每个样本牙颌模型上提取500个样本元素。但是不同的样本牙颌模型具有的元素样本总数量可能不同,特别地,可能出现部分样本牙颌模型的元素样本数量无法达到各样本牙颌模型需要提取出的元素样本数量,因此,对于这些样本牙颌模型可以采用有放回的提取,其他样本牙颌模型采用无放回提取,即对于元素样本数量足够的样本牙颌模型,每次都是从未被提取出的元素样本中进行提取,而对于元素样本数量不足的样本牙颌模型,每次都是从所有的元素样本中进行提取。
需要说明的是,在一些情况下,牙龈线上的元素可以将其所属的元素类型定义为牙冠,或者,将其所属的元素类型定义为牙龈线,即元素类型在牙冠和牙龈的基础上还包括牙龈线。此时,在各样本牙颌模型上提取的元素样本数量均为N的情况下,相应地,从多个样本牙颌模型上提取若干元素样本,可以通过如下方式实现:优先对各样本牙颌模型中所属的元素类型为牙龈线的各元素样本进行提取;以及,提取到的所属元素类型为牙冠的元素样本和所属元素类型为牙龈的元素样本的数量大致相同。通过以下例子具体说明,对各样本牙颌模型中所属的元素类型为牙龈线的所有元素样本进行提取;从第k个样本牙颌模型提取N-Mk个所属的元素类型为牙冠或牙龈的元素样本,其中,Mk为第k个样本牙颌模型上所属的元素类型为牙龈线的元素样本的总数量,k=1,2,……,t,t为样本牙颌模型的总数量。也就是说,当各样本牙颌模型中被提取的元素样本数量N一定时,对于一个样本牙颌模型而言,先对所属的元素类型为牙龈线的所有元素样本进行提取,若提取出X个元素样本,则再对所属的元素类型为牙冠和牙龈的元素样本分别进行提取,各提取(N-X)/2个元素样本,在(N-X)/2不是整数的情况下,对其取整,即Y,然后从所属的元素类型为牙冠(或牙龈)的元素样本中提取Y个元素样本,并从所属的元素类型为牙龈(或牙冠)的元素样本中提取N-X-Y个元素样本。在牙冠和牙龈的基础上,训练数据的标签还包括牙龈线,基于牙龈线样本在牙颌模型上的数量较少,所以优先获得牙龈线样本,可以尽量保证牙龈线样本在总样本中的占比,这样通过对元素样本更精确的分类,使得能够更好地学习不同标签的元素样本的特征,从而使得训练出来的第一神经网络模型更加准确。此外,对于基于曲率对牙冠和牙龈进行分类的场景而言,其核心在于区分牙冠和牙龈,而牙龈线正是两者的边界交界处,还由于牙龈线为牙冠和牙龈的分界线,其更准确地表征出曲率的变化,或者说,牙龈线附近的元素曲率的变化程度较大,因此,对牙龈线上元素样本的特征进行学习训练更加有利于后续分类,先提取牙龈线上的元素样本,使得第一神经网络模型能够更好地训练。
当然,以上仅为对元素样本提取的具体举例说明,在其他例子中,还可以是对多个样本牙颌模型上所有的元素样本都进行提取。
步骤107,根据元素样本生成训练集,并利用训练集对第一神经网络模型进行训练,得到训练好的第一神经网络模型。
本实施例中,元素样本可以是经过处理后形成训练集,也可以是未经处理,即直接作为训练样本,形成训练集。
在一些例子中,根据元素样本生成训练集,可以通过如下方式实现:对元素样本按照预设方式进行处理,得到扩充元素样本,扩充元素样本的标签为对应的元素样本的标签;将元素样本与扩充元素样本组合,生成训练集。而预设方式可以包括以下任一项或其组合:旋转、平移、缩放,其中,旋转的角度在[-180,180]之间,平移的距离可以是在[-80,80]之间,缩放的倍数可以在[0.8,1.2]。也就是说,对样本元素进行数据增强,使得得到更多的训练数据,为训练过程提供更多的训练数据,降低过拟合风险,提高模型预测准确度和鲁棒性。
在一些实施例中,对元素样本进行特征提取处理并基于提取处的特征构建训练集,也就是说,在训练时将样本转换为特征数据再训练,加快训练模型时输入模型的特征的生成速度,从而加快训练,缩短每轮训练时间。如图10所示,步骤107包括以下步骤:
步骤1071,对元素样本进行特征提取,得到各元素样本的第二目标特征向量。
需要说明的是,第一神经网络模型训练时的输入应当与使用时的输入保持一致,也就是说,在第一神经网络模型使用时以前述由位置特征和曲率特征构成的第一目标特征向量的情况下,第二目标特征向量应当也由位置特征和曲率特征构成。也就是说,特征提取的方式基本相同,此处就不再一一赘述了。
步骤1072,将各元素样本所属的元素类型添加为对应第二目标特征向量的标签。
步骤1073,将带标签的第二目标特征向量组合为训练集。
在一些例子中,将带标签的第二目标特征向量组合为训练集可以是直接以带标签的第二目标特征向量为训练集。
步骤1074,利用训练集对第一神经网络模型进行训练,得到训练好的第一神经网络模型。
本实施例在训练时将样本转换为特征数据再训练,减少训练集数据的特征提取次数,缩短训练总时间。本实施例不对训练时所采用的损失函数进行限定,可以是任一用于衡量分类损失的损失函数。
为便于本领域技术人员更好地理解损失函数的设置,以下将以GDL(GeneralizedDice Loss)作为损失函数,元素类型包括牙冠、牙龈、牙龈线三个类别,且单个样本牙颌模型上的一个牙齿对应的若干带标签的第二目标特征向量作为一条训练数据的情况下的损失函数进行说明,如下:
其中,Loss为损失值,ωl表示训练数据中所属的元素类型为牙冠、牙龈、牙龈线的元素样本的权重,n表示单个样本牙颌模型上的一个牙齿对应的第n个第二目标特征向量,rln为第n个第二目标特征向量的标签值,pln为第一神经网络输出的第n个第二目标特征向量的分类结果。特别地,在训练数据均衡的情况下,ωl的值均为1,也就是说,训练数据均衡后还可以简化训练函数,从而使得训练过程的损失函数计算得到简化,效率更高。
相应地,训练时可以使用Adam优化器并将Adam优化器的初始学习率lr设置为0.001。
需要说明的是,以上的说明均基于第一神经网络模型为一个神经网络模型进行的,在其他实施例中,第一神经网络模型还可以包括多个神经网络模型,即第一神经网络模型包括多个分别用于对不同牙齿类型的牙冠进行分割的神经网络模型。此时,如图11所示,步骤103为:根据待优化牙冠所属的牙齿类型,选择第一神经网络模型中对应的神经网络模型对第一目标区域中各元素进行分类。从而通过对不同牙齿类型训练不同的神经网络,使得分类准确性更高。其中,各神经网络模型的训练与前述一个神经网络模型作为第一神经网络模型类似,区别在于,前述将样本牙颌模型提取出的所有元素样本构成一个训练集,而此时,应当基于样本牙颌模型上的不同牙齿对应的元素样本分别构建多个训练集,此处就不再一一赘述了。
步骤104,根据第一目标区域中各元素的分类结果对第二牙颌模型上待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
本实施例中,更新指的是:将待优化牙冠和牙龈在第二牙颌模型上的分割结果更新为经步骤103处理后得到的分类结果。其中,第二牙颌模型由于经过牙冠和牙龈分割,因此,第二牙颌模型上的待优化牙冠和牙龈已经具有标签,其内容为牙冠或牙龈,在通过步骤103进行优化后,第二牙颌模型上的待优化牙冠和牙龈的标签内容可能发生变化,因此,需要将第二牙颌模型上的待优化牙冠和牙龈的标签内容替换为步骤103中得到的分类结果。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请实施例另一方面还提供了一种牙颌模型的建构装置,如图12所示,包括:
获取模块1201,用于获取待分割的第一牙颌模型。
分割模块1202,用于对第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型。
分类模块1203,用于对第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定第一目标区域中各元素的分类结果,分类结果包括牙龈或牙冠,第一目标区域包括第二牙颌模型上距离牙龈线不超过预设距离的区域。
更新模块1204,用于根据第一目标区域中各元素的分类结果对第二牙颌模型上待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
不难发现,本实施例为与方法实施例相对应的装置实施例,本实施例可与方法实施例互相配合实施。方法实施例中提到的相关技术细节在本实施例中依然有效,为了减少重复,这里不再赘述。相应地,本实施例中提到的相关技术细节也可应用在方法实施例中。
值得一提的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本申请的创新部分,本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入,但这并不表明本实施例中不存在其它的单元。
本申请实施例另一方面还提供了一种电子设备,如图13所示,包括:至少一个处理器1301;以及,与至少一个处理器1301通信连接的存储器1302;其中,存储器1302存储有可被至少一个处理器1301执行的指令,指令被至少一个处理器1301执行,以使至少一个处理器1301能够执行上述任一方法实施例所描述的牙颌模型的建构方法。
其中,存储器1302和处理器1301采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器1301和存储器1302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器1301处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传输给处理器1301。
处理器1301负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器1302可以被用于存储处理器1301在执行操作时所使用的数据。
本申请实施方式另一方面还提供了一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (21)
1.一种牙颌模型的建构方法,其特征在于,包括:
获取待分割的第一牙颌模型;
对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型;
对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,所述分类结果包括牙龈或牙冠,所述第一目标区域包括所述第二牙颌模型上距离所述待优化牙冠对应的所述牙龈线不超过预设距离的区域;
根据所述第一目标区域中各元素的分类结果对所述第二牙颌模型上所述待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
2.根据权利要求1所述的牙颌模型的建构方法,其特征在于,所述对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,包括:
基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类,得到对应的各所述第一目标区域中各元素的分类结果。
3.根据权利要求2所述的牙颌模型的建构方法,其特征在于,所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类之前,包括:
对所述第一目标区域中各元素进行特征提取,得到若干所述第一目标区域中各元素的第一目标特征向量,所述第一目标特征向量至少包括位置特征和曲率特征;
所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类,包括:
基于训练好的所述第一神经网络模型对各所述第一目标区域中各元素的所述第一目标特征向量进行处理,得到对应的各所述第一目标区域中各元素的分类结果。
4.根据权利要求3所述的牙颌模型的建构方法,其特征在于,对所述第一目标区域中各元素进行特征提取,包括:
确定所述第一目标区域中各元素的顶点的曲率;
根据各所述第一目标区域中各元素的顶点的曲率,确定所述第一目标区域中各元素的所述曲率特征。
5.根据权利要求4所述的牙颌模型的建构方法,其特征在于,所述根据所述第一目标区域中各元素的顶点的曲率,确定所述第一目标区域中各元素的所述曲率特征,包括:
对所述第一目标区域中各元素的顶点的曲率进行平均,将各顶点的曲率的平均值作为所述第一目标区域中相应的元素的所述曲率特征。
6.根据权利要求4或5所述的牙颌模型的建构方法,其特征在于,所述元素为多边形面片,所述确定所述第一目标区域中各元素的顶点的曲率,包括:
通过如下表达式依次确定所述第一目标区域中各多边形面片的顶点v的曲率:
其中,A(v)为包含顶点v的多个多边形面片的面积之和,N1(v)为包括顶点v的一阶邻域的顶点集合,vi为N1(v)中的一个顶点,θi为第i个多边形面片中过顶点v的两条边所形成的内角的角度。
7.根据权利要求2至5中任一项所述的牙颌模型的建构方法,其特征在于,所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类之前,所述方法还包括:
从多个样本牙颌模型上提取若干元素样本,所述元素样本携带标签,所述标签用于指示所述元素样本所属的元素类型,所述元素类型至少包括牙冠和牙龈;
根据所述元素样本生成训练集,并利用所述训练集对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
8.根据权利要求7所述的牙颌模型的建构方法,其特征在于,所述根据所述元素样本生成训练集,包括:
对所述元素样本进行特征提取,得到各所述元素样本的第二目标特征向量;
将各所述元素样本所属的所述元素类型添加为对应所述第二目标特征向量的标签;
将带标签的所述第二目标特征向量组合为所述训练集。
9.根据权利要求7所述的牙颌模型的建构方法,其特征在于,所述根据所述元素样本生成训练集,包括:
对所述元素样本按照预设方式进行处理,得到扩充元素样本,所述扩充元素样本的标签为对应的所述元素样本的标签;
将所述元素样本与所述扩充元素样本组合,生成所述训练集。
10.根据权利要求9所述的牙颌模型的建构方法,其特征在于,所述预设方式包括以下任一项或其组合:旋转、平移、缩放。
11.根据权利要求7所述的牙颌模型的建构方法,其特征在于,所述元素类型还包括牙龈线;各所述样本牙颌模型上提取的所述元素样本数量均为N;
所述从多个样本牙颌模型上提取若干元素样本,包括:
优先对各所述样本牙颌模型中所属的元素类型为牙龈线的各元素样本进行提取;以及
提取到的所属元素类型为牙冠的元素样本和所属元素类型为牙龈的元素样本的数量大致相同。
12.根据权利要求7所述的牙颌模型的建构方法,其特征在于,所述从多个样本牙颌模型上提取若干元素样本步骤中,从多个样本牙颌模型提取的所述元素样本中,元素类型为牙冠的元素样本和元素类型为牙龈的元素样本的数量大致相同。
13.根据权利要求2至5中任一项所述的牙颌模型的建构方法,其特征在于,所述第一神经网络模型包括多个分别用于对不同牙齿类型的牙冠进行分割的神经网络模型;
所述基于训练好的第一神经网络模型对所述第一目标区域中各元素进行分类,包括:
根据所述待优化牙冠所属的牙齿类型,选择所述第一神经网络模型中对应的神经网络模型对所述第一目标区域中各元素进行分类。
14.根据权利要求2至5中任一项所述的牙颌模型的建构方法,其特征在于,所述第一神经网络模型包括MeshSegNet或PointNet。
15.根据权利要求1至5中任一项所述的牙颌模型的建构方法,其特征在于,所述对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型,包括:
获取所述第一牙颌模型上的特征点,所述特征点为所述第一牙颌模型上的局部最小点;
基于聚类算法将所述特征点分类为牙冠或牙龈;
根据所述特征点的分类结果,将所述第一牙颌模型上的顶点分类为牙冠或牙龈;
根据所述第一牙颌模型上的顶点的分类结果,在所述第一牙颌模型上确定所述牙龈线;
在所述第一牙颌模型上确定所述牙龈线上的拐点;
根据所述第一牙颌模型上的所述牙龈线和拐点,在所述第一牙颌模型上对相邻牙齿进行分割,得到所述第二牙颌模型。
16.根据权利要求1至5中任一项所述的牙颌模型的建构割方法,其特征在于,所述对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型,包括:
基于训练好的第二神经网络模型,对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到所述第二牙颌模型,所述第二神经网络模型用于提取牙颌模型上各顶点的特征作为局部特征以及牙颌模型的全局特征,并通过所述局部特征和所述全局特征确定各顶点所属的牙位和类型,所述各顶点所属的类型包括牙冠或牙龈。
17.根据权利要求1至5中任一项所述的牙颌模型的建构方法,其特征在于,所述待优化牙冠包括所述第二牙颌模型上的部分牙冠或所有牙冠。
18.根据权利要求1至5中任一项所述的牙颌模型的建构方法,其特征在于,所述待优化牙冠包括所述第二牙颌模型上指定的部分牙冠或所有牙冠,指定的方式包括以下中的任一项:用户指定或默认指定。
19.一种牙颌模型的建构装置,其特征在于,包括:
获取模块,用于获取待分割的第一牙颌模型;
分割模块,用于对所述第一牙颌模型中的多个牙冠和牙龈进行分割,得到带牙龈线的第二牙颌模型;
分类模块,用于对所述第二牙颌模型上对应待优化牙冠的第一目标区域中各元素进行分类,分别确定所述第一目标区域中各元素的分类结果,所述分类结果包括牙龈或牙冠,所述第一目标区域包括所述第二牙颌模型上距离所述牙龈线不超过预设距离的区域;
更新模块,用于根据所述第一目标区域中各元素的分类结果对所述第二牙颌模型上所述待优化牙冠和牙龈数据进行更新,得到第三牙颌模型。
20.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至18中任一项所述的牙颌模型的建构方法。
21.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至18中任一项所述的牙颌模型的建构方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210260.2A CN117853716A (zh) | 2022-09-30 | 2022-09-30 | 一种牙颌模型的建构方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210260.2A CN117853716A (zh) | 2022-09-30 | 2022-09-30 | 一种牙颌模型的建构方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117853716A true CN117853716A (zh) | 2024-04-09 |
Family
ID=90531622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211210260.2A Pending CN117853716A (zh) | 2022-09-30 | 2022-09-30 | 一种牙颌模型的建构方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117853716A (zh) |
-
2022
- 2022-09-30 CN CN202211210260.2A patent/CN117853716A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8938113B2 (en) | Adaptive visualization for direct physician use | |
US20220218449A1 (en) | Dental cad automation using deep learning | |
US20200402647A1 (en) | Dental image processing protocol for dental aligners | |
US11735306B2 (en) | Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches | |
CN113454637A (zh) | 使用深度学习对非欧式3d数据集的自动语义分割 | |
US20220296344A1 (en) | Method, system and devices for instant automated design of a customized dental object | |
CN111685899A (zh) | 基于口内图像和三维模型的牙齿正畸治疗监测方法 | |
CN112991273B (zh) | 三维牙齿模型的正畸特征自动检测方法及系统 | |
CN112790879B (zh) | 一种牙齿模型的牙轴坐标系构建方法及系统 | |
CN112989954B (zh) | 基于深度学习的三维牙齿点云模型数据分类方法及系统 | |
CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
CN112308861B (zh) | 一种牙齿牙龈分割方法、牙齿分割方法和电子设备 | |
CN114757960A (zh) | 一种基于cbct图像的牙齿分割与重建方法及存储介质 | |
CN117153394A (zh) | 一种预测恒牙发育的方法及系统 | |
CN117853716A (zh) | 一种牙颌模型的建构方法、装置、电子设备及存储介质 | |
KR20200012707A (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 | |
CN115439409A (zh) | 牙齿类型的识别方法和装置 | |
WO2024108341A1 (zh) | 基于点云理解的自动排牙方法、装置、设备及存储介质 | |
CN115719404A (zh) | 基于点云理解的自动排牙方法、装置、设备及存储介质 | |
CN114463328B (zh) | 一种自动化正畸难度系数评估方法 | |
CN113409323B (zh) | 冠脉分段方法及装置、计算机可读存储介质及电子设备 | |
US20230419631A1 (en) | Guided Implant Surgery Planning System and Method | |
KR20240086449A (ko) | 컴퓨터단층촬영 영상에서 치아를 분할하는 모델을 자기 지도 학습하기 위한 장치 및 이를 위한 방법 | |
KR20240086448A (ko) | 딥러닝을 이용하여 컴퓨터단층촬영 영상에서 치아를 분할하기 위한 장치 및 이를 위한 방법 | |
KR20240086447A (ko) | 딥러닝을 이용하여 컴퓨터단층촬영 영상에서 상악과 하악을 분할하기 위한 장치 및 이를 위한 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |