CN113397585A - 基于口腔cbct和口扫数据的牙体模型生成方法及系统 - Google Patents
基于口腔cbct和口扫数据的牙体模型生成方法及系统 Download PDFInfo
- Publication number
- CN113397585A CN113397585A CN202110851419.8A CN202110851419A CN113397585A CN 113397585 A CN113397585 A CN 113397585A CN 202110851419 A CN202110851419 A CN 202110851419A CN 113397585 A CN113397585 A CN 113397585A
- Authority
- CN
- China
- Prior art keywords
- model
- module
- unet
- cbct
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013519 translation Methods 0.000 claims abstract description 13
- 238000007667 floating Methods 0.000 claims abstract description 7
- 238000009966 trimming Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 21
- 210000000214 mouth Anatomy 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 210000004283 incisor Anatomy 0.000 claims description 14
- 210000000332 tooth crown Anatomy 0.000 claims description 14
- 210000003464 cuspid Anatomy 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000005549 size reduction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 210000004513 dentition Anatomy 0.000 abstract 1
- 230000036346 tooth eruption Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 210000004195 gingiva Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
- A61B6/512—Intraoral means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开了基于口腔CBCT和口扫数据的牙体模型生成方法及系统，涉及医学图像处理技术领域，其技术方案要点是：根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。本发明能对牙列位置进行快速准确的标定，相对误差小，有效减少了运算量。
Description
技术领域
本发明涉及医学图像处理技术领域，更具体地说，它涉及基于口腔CBCT和口扫数据的牙体模型生成方法及系统。
背景技术
随着我国人民生活水平的不断提高以及对于口腔健康的关注，人民对于高质量的口腔医疗服务的需求越来越大，而数字化口腔诊疗以其精准、高效和安全的特点正在被越来越多的口腔医务工作者所接受。在口腔数字化诊疗中，牙体模型的构建对于推动口腔数字化的发展有着至关重要的作用，在正畸方案生成、口腔种植设计、牙槽外科手术甚至是牙体牙髓开髓方案设计等多个方面有着极高的实用价值。
目前，锥形束计算机断层扫描技术(Cone-beam computed tomography，CBCT)以其低辐射量、操作简单、短扫描时间、高分辨率、显示清晰等优点，在口腔领域发展方兴未艾。其能够一层层地展现牙根、颌骨、牙槽骨等牙体硬组织的结构，但是由于拍摄CBCT时患者往往处于牙尖交错位，咬合面牙尖交错，所以基于CBCT分割重建的模型在咬合面的牙尖、窝、沟、嵴等解剖结构方面的还原差强人意，达不到临床使用精度。而口腔扫描技术拥有对于口内牙体外形(牙冠部分)的高精度还原的优点，并且能够扫描得到牙龈等软组织图像。
现有技术中已有将CBCT数据和口腔扫描数据融合建立牙体模型，在CBCT数据和口腔扫描数据融合时，从基于CBCT数据建立的模型中提取牙根模型，然后将牙根模型与基于口腔扫描数据建立的牙冠模型在衔接处进行平滑处理，以得到融合相对完美的完整牙体模型。然而，使用传统的点云分割或者阈值分割模式，得到的模型分割毛糙问题无法解决，在口腔这一极小的范围内对于临床诊疗干扰较大，难以满足需求。此外，牙根与牙冠的衔接处本身为区别边界，在进行CBCT数据和口腔扫描数据获取时就可能存在一定误差，所以在此处进行融合的精确度相对较低。因此，如何研究设计一种能够克服上述缺陷的基于口腔CBCT和口扫数据的牙体模型生成方法及系统是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明的目的是提供基于口腔CBCT和口扫数据的牙体模型生成方法及系统。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，提供了基于口腔CBCT和口扫数据的牙体模型生成方法，包括以下步骤：
根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；
根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；
通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；
将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
进一步的，所述牙体模型的建立过程具体为：
根据CBCT原始图像数据以传统点云分割方法建立完成标志点标注的三维点云模型a；
根据CBCT原始图像数据以CBCT图像处理网络分割并重建无标志点的三维点云模型b以及完成标志点标注的三维点云模型c，并将三维点云模型b、三维点云模型c合并转换得到带有标志点的三维点云模型d；
通过主成分分析方法将三维点云模型a、三维点云模型d初步合并，并依据三维点云模型a、三维点云模型d中所有对应标志点之间的最小距离进行平移变换处理，得到牙体模型。
进一步的，所述三维点云模型a的建立过程具体为：
根据CBCT原始图像数据以传统点云分割方法建立点云格式的CBCT三维模型；
通过预训练的pointNet++神经网络对CBCT三维模型中的特征点进行标志点标注处理，得到带有标志点的三维点云模型a。
进一步的，所述牙冠模型的建立过程具体为：
根据口腔扫描数据导出牙冠三维模型；
通过预训练的pointNet++神经网络对牙冠三维模型中的特征点进行标志点标注处理，得到带有标志点的牙冠模型。
进一步的，所述标志点包括以下的至少三类：
上下颌中切牙近中切点；
上下颌双侧尖牙的近中接触点；
上下颌双侧第一磨牙的近中接触点；
所有牙近远中切面的近唇颊侧牙体最突点；
所有牙近远中切面的近舌腭侧牙体最突点。
进一步的，所述CBCT图像处理网络包括：
下采样层，用于接收牙齿图像，并降低所述牙齿图像的尺寸，以得到浅层次特征；
上采样层，用于将经所述下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征；
门控层，用于将浅层次特征与深层次特征融合处理后输出目标特征图像。
进一步的，所述CBCT图像处理网络还包括第五Unet模块和第十Unet模块；
下采样层包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块；
第五Unet模块，与第四Unet模块连接；
上采样层包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块；第六Unet模块与第四Unet模块连接，第七Unet模块与第三Unet模块连接，第八Unet模块与第二Unet模块连接，第九Unet模块与第一Unet模块连接；
门控层包括第一门控层、第二门控层和第三门控层；
第一门控层，与第五Unet模块及第六Unet模块连接，第一门控层用于将第五Unet模块得到的浅层次特征与第六Unet模块得到的深层次特征融合，并将该融合结果传递至第七Unet模块；
第二门控层，与第七Unet模块及第一门控层连接，第二门控层用于将第七Unet模块得到的特征与第一门控层处理后的特征进行融合处理，并将该融合结果传递至第八Unet模块；
第三门控层，与第八Unet模块及第二门控层连接，第三门控层用于将第八Unet模块得到的特征与第二门控层处理后的特征进行融合处理，并将该融合结果传递至第九Unet模块；
第十Unet模块，与第九Unet模块及第三门控层连接，第十Unet模块用于将第九Unet模块得到的特征与第三门控层处理后的特征进行合并，以输出目标特征图像。
进一步的，通过主成分分析方法得到匹配融合模型的过程具体为：
对牙体模型、牙冠模型两组点云数据进行主成分分析后提取3个主成分对应的特征值，3个特征值按照降序排列，前两个特征值对应的特征向量构成表征与牙齿CBCT图像横截面处于同一平面的基准平面，最小特征值对应的特征向量表征每颗牙齿的走势；
将牙体模型、牙冠模型的牙齿横截面所在的水平面均对齐基准平面后计算各个对应标志点之间的距离，并根据最小特征值对应的特征向量对牙冠模型进行平移，在平移过程中，计算所有对应标定点之间的距离，取最小距离对应的变换将牙体模型、牙冠模型拼接在一起，得到匹配融合模型。
进一步的，所述自编码器对三维点云数据进行稀疏编码表示，并有监督地将原始数据向修整后的数据进行解码以实现模型的自动化调整。
第二方面，提供了基于口腔CBCT和口扫数据的牙体模型生成系统，包括：
第一模型模块，用于根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；
第二模型模块，用于根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；
模型融合模块，用于通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；
模型修正模块，用于将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
与现有技术相比，本发明具有以下有益效果：
1、本发明将通过计算机识别技术和CBCT重建模型进行结合，结合了口扫对于咬合面解剖结构的高精度和CBCT图像中对于牙根等口内直视不可见结构的高还原度的优点，形成了优势互补，推进口腔诊疗数字化发展；
2、本发明结合图片的分割算法的准确性和传统模型点云分割的广泛性进行的模型重建，能够兼顾模型的稳定性有最大限度的保证不遗漏重要的标志点，为三维模型的匹配提供稳定性支持，同时也兼顾了临床工作的需求；
3、本发明通过开创性地确定牙颈部、牙体接触区等部位的标志点，提供了五类标志点，提供了一种轻量化的匹配CBCT重建模型和口扫后模型的匹配技术，可以很好地表示一个整个牙齿的三维模型，并且数据量少，计算效率更高；
4、本发明通过结合机器学习的优势，自动学习标注牙体模型，同时整合了注意力算法分割的分割准确和传统点云算法分割的覆盖面广，保证了匹配过程的精确和稳定；
5、本发明引入了反馈机制，通过学习人工对于模型的调整，结合机器的学习算法，使得其分割的结果能够更加接近于临床。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例中的流程图；
图2是本发明实施例中的效果示意图；
图3是本发明实施例中CBCT图像处理网络的示意图；
图4是本发明实施例中的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：基于口腔CBCT和口扫数据的牙体模型生成方法，如图1与图2所示，包括以下步骤：
S1：根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；
S2：根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；
S3：通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；
S4：将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
在步骤S1中，牙体模型的建立过程具体为：根据CBCT原始图像数据以传统点云分割方法建立完成标志点标注的三维点云模型a；根据CBCT原始图像数据以CBCT图像处理网络分割并重建无标志点的三维点云模型b以及完成标志点标注的三维点云模型c，并将三维点云模型b、三维点云模型c合并转换得到带有标志点的三维点云模型d；通过主成分分析方法将三维点云模型a、三维点云模型d初步合并，并依据三维点云模型a、三维点云模型d中所有对应标志点之间的最小距离进行平移变换处理，得到牙体模型。
三维点云模型a的建立过程具体为：根据CBCT原始图像数据以传统点云分割方法建立点云格式的CBCT三维模型；通过预训练的pointNet++神经网络对CBCT三维模型中的特征点进行标志点标注处理，得到带有标志点的三维点云模型a。
在步骤S2中，牙冠模型的建立过程具体为：根据口腔扫描数据导出牙冠三维模型；通过预训练的pointNet++神经网络对牙冠三维模型中的特征点进行标志点标注处理，得到带有标志点的牙冠模型。
标志点包括上下颌中切牙近中切点、上下颌双侧尖牙的近中接触点、上下颌双侧第一磨牙的近中接触点、所有牙近远中切面的近唇颊侧牙体最突点以及所有牙近远中切面的近舌腭侧牙体最突点。其中选取的种类越多准确度越高。
需要说明的是，由于基于CBCT图像分割得到模型的咬合面失真问题和口扫模型仅能显示临床牙冠(口腔内直接肉眼观察可以看到的牙齿部分)，在选取拟合标志点的时候尽量避免了从咬合部分和临床牙冠以外部分的标志点，同时标志点应该具有较为明显的解剖特征。
此外，CBCT原始图像的标志点寻找过程具体为：
(1)上下颌中切牙切点中线的连线中点：在CBCT图像上确定中切牙，上下翻阅获得中切牙近中切角并标注，即近中中切牙图像最后消失者的牙体近中点，然后确定两点连线的中点；若不在同一平面，则计算两者水平和垂直距离中点，并在对应图层进行标注。
(2)上下颌双侧尖牙的近中接触点：在CBCT图像上找到尖牙，从上向下翻阅CBCT图像，找到其近中与侧切牙相接的点为近中接触点；若出现无相接情况，则点为尖牙的近中冠宽点。
(3)上下颌双侧第一磨牙的近中接触点：在CBCT图像上找到第一磨牙，从上向下翻阅CBCT图像，找到其近中与侧切牙相接的点为近中接触点；若出现无相接情况，则点为第一磨牙的近中冠宽点。
(4)所有牙近远中切面的唇颊侧牙体最突点：CBCT图像上的唇颊侧冠厚点，即从上向下翻阅CBCT图像，最靠近唇侧的一点。
(5)所有牙近远中切面的舌腭侧牙体最突点：前牙为舌隆突点，即CBCT图像上前牙的舌腭侧冠厚点；后牙为CBCT图像上CBCT图像上前牙的舌腭侧冠厚点。
另外，三维模型上标志点的调整过程具体为：
(1)上下颌中切牙切点：分别在三维模型上定位上(下)颌中切牙，找到上(下)颌左右中切牙的近中切角即为标志点。
(2)上下颌双侧尖牙的近中接触点：三维模型上定位尖牙，找到其近中与侧切牙相接的点为近中接触点；若出现无相接情况，则点为尖牙的近中冠宽点。
(3)上下颌双侧第一磨牙的近中接触点：三维模型上定位第一磨牙，找到其近中与侧切牙相接的点为近中接触点；若出现无相接情况，则点为第一磨牙的近中冠宽点。
(4)所有牙近远中切面的唇颊侧牙体最突点：调整三维模型查看牙体的唇舌向，定位其唇侧最突点。
(5)所有牙近远中切面的舌腭侧牙体最突点：调整三维模型查看牙体的唇舌向，定位其舌侧最突点。
如图3所示，CBCT图像处理网络包括下采样层、上采样层、门控层。下采样层，用于接收牙齿图像，并降低牙齿图像的尺寸，以得到浅层次特征；上采样层，用于将经下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征；门控层，用于将浅层次特征与深层次特征融合处理后输出目标特征图像。
CBCT图像处理网络还包括第五Unet模块和第十Unet模块。
下采样层包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块。第五Unet模块，与第四Unet模块连接。上采样层包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块；第六Unet模块与第四Unet模块连接，第七Unet模块与第三Unet模块连接，第八Unet模块与第二Unet模块连接，第九Unet模块与第一Unet模块连接。控层包括第一门控层、第二门控层和第三门控层。第一门控层，与第五Unet模块及第六Unet模块连接，第一门控层用于将第五Unet模块得到的浅层次特征与第六Unet模块得到的深层次特征融合，并将该融合结果传递至第七Unet模块。第二门控层，与第七Unet模块及第一门控层连接，第二门控层用于将第七Unet模块得到的特征与第一门控层处理后的特征进行融合处理，并将该融合结果传递至第八Unet模块。第三门控层，与第八Unet模块及第二门控层连接，第三门控层用于将第八Unet模块得到的特征与第二门控层处理后的特征进行融合处理，并将该融合结果传递至第九Unet模块。第十Unet模块，与第九Unet模块及第三门控层连接，第十Unet模块用于将第九Unet模块得到的特征与第三门控层处理后的特征进行合并，以输出目标特征图像。
需要说明的是，正常的第十Unet模块内部设置有三个小层。而在本实施例中，第十Unet模块配置有两个，其中一个第十Unet模块为具有三个小层的正常模块，而连接于正常的第十Unet模块的另一个第十Unet模块为具有一个小层的模块，其目的是将通道图映射到分类的类别上面。
在步骤S3中，通过主成分分析方法得到匹配融合模型的过程具体为：
S31：对牙体模型、牙冠模型两组点云数据进行主成分分析后提取3个主成分对应的特征值，3个特征值按照降序排列，前两个特征值对应的特征向量构成表征与牙齿CBCT图像横截面处于同一平面的基准平面，最小特征值对应的特征向量表征每颗牙齿的走势；
S32：将牙体模型、牙冠模型的牙齿横截面所在的水平面均对齐基准平面后计算各个对应标志点之间的距离，并根据最小特征值对应的特征向量对牙冠模型进行平移，在平移过程中，计算所有对应标定点之间的距离，取最小距离对应的变换将牙体模型、牙冠模型拼接在一起，得到匹配融合模型。说明的是，对齐处理只要保持平面平行即完整需要。
自编码器对三维点云数据进行稀疏编码表示，并有监督地将原始数据向修整后的数据进行解码以实现模型的自动化调整。
实施例2：基于口腔CBCT和口扫数据的牙体模型生成系统，如图4所示，该方法可实现实施例1中记载的方法，包括第一模型模块、第二模型模块、模型融合模块、模型修正模块。
第一模型模块，用于根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型。第二模型模块，用于根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型。模型融合模块，用于通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型。模型修正模块，用于将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
工作原理：本发明将通过计算机识别技术和CBCT重建模型进行结合，结合了口扫对于咬合面解剖结构的高精度和CBCT图像中对于牙根等口内直视不可见结构的高还原度的优点，形成了优势互补，推进口腔诊疗数字化发展；此外，本发明结合图片的分割算法的准确性和传统模型点云分割的广泛性进行的模型重建，能够兼顾模型的稳定性有最大限度的保证不遗漏重要的标志点，为三维模型的匹配提供稳定性支持，同时也兼顾了临床工作的需求；另外，本发明通过开创性地确定牙颈部、牙体接触区等部位的标志点，提供了五类标志点，提供了一种轻量化的匹配CBCT重建模型和口扫后模型的匹配技术，可以很好地表示一个整个牙齿的三维模型，并且数据量少，计算效率更高。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，包括以下步骤：
根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；
根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；
通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；
将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
2.根据权利要求1所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述牙体模型的建立过程具体为：
根据CBCT原始图像数据以传统点云分割方法建立完成标志点标注的三维点云模型a；
根据CBCT原始图像数据以CBCT图像处理网络分割并重建无标志点的三维点云模型b以及完成标志点标注的三维点云模型c，并将三维点云模型b、三维点云模型c合并转换得到带有标志点的三维点云模型d；
通过主成分分析方法将三维点云模型a、三维点云模型d初步合并，并依据三维点云模型a、三维点云模型d中所有对应标志点之间的最小距离进行平移变换处理，得到牙体模型。
3.根据权利要求2所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述三维点云模型a的建立过程具体为：
根据CBCT原始图像数据以传统点云分割方法建立点云格式的CBCT三维模型；
通过预训练的pointNet++神经网络对CBCT三维模型中的特征点进行标志点标注处理，得到带有标志点的三维点云模型a。
4.根据权利要求2所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述牙冠模型的建立过程具体为：
根据口腔扫描数据导出牙冠三维模型；
通过预训练的pointNet++神经网络对牙冠三维模型中的特征点进行标志点标注处理，得到带有标志点的牙冠模型。
5.根据权利要求1-4任意一项所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述标志点包括以下的至少三类：
上下颌中切牙近中切点；
上下颌双侧尖牙的近中接触点；
上下颌双侧第一磨牙的近中接触点；
所有牙近远中切面的近唇颊侧牙体最突点；
所有牙近远中切面的近舌腭侧牙体最突点。
6.根据权利要求1所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述CBCT图像处理网络包括：
下采样层，用于接收牙齿图像，并降低所述牙齿图像的尺寸，以得到浅层次特征；
上采样层，用于将经所述下采样层处理后的牙齿图像进行尺寸还原，并得到深层次特征；
门控层，用于将浅层次特征与深层次特征融合处理后输出目标特征图像。
7.根据权利要求6所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述CBCT图像处理网络还包括第五Unet模块和第十Unet模块；
下采样层包括依次连接的第一Unet模块、第二Unet模块、第三Unet模块及第四Unet模块；
第五Unet模块，与第四Unet模块连接；
上采样层包括第六Unet模块、第七Unet模块、第八Unet模块及第九Unet模块；第六Unet模块与第四Unet模块连接，第七Unet模块与第三Unet模块连接，第八Unet模块与第二Unet模块连接，第九Unet模块与第一Unet模块连接；
门控层包括第一门控层、第二门控层和第三门控层；
第一门控层，与第五Unet模块及第六Unet模块连接，第一门控层用于将第五Unet模块得到的浅层次特征与第六Unet模块得到的深层次特征融合，并将该融合结果传递至第七Unet模块；
第二门控层，与第七Unet模块及第一门控层连接，第二门控层用于将第七Unet模块得到的特征与第一门控层处理后的特征进行融合处理，并将该融合结果传递至第八Unet模块；
第三门控层，与第八Unet模块及第二门控层连接，第三门控层用于将第八Unet模块得到的特征与第二门控层处理后的特征进行融合处理，并将该融合结果传递至第九Unet模块；
第十Unet模块，与第九Unet模块及第三门控层连接，第十Unet模块用于将第九Unet模块得到的特征与第三门控层处理后的特征进行合并，以输出目标特征图像。
8.根据权利要求1所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，通过主成分分析方法得到匹配融合模型的过程具体为：
对牙体模型、牙冠模型两组点云数据进行主成分分析后提取3个主成分对应的特征值，3个特征值按照降序排列，前两个特征值对应的特征向量构成表征与牙齿CBCT图像横截面处于同一平面的基准平面，最小特征值对应的特征向量表征每颗牙齿的走势；
将牙体模型、牙冠模型的牙齿横截面所在的水平面均对齐基准平面后计算各个对应标志点之间的距离，并根据最小特征值对应的特征向量对牙冠模型进行平移，在平移过程中，计算所有对应标定点之间的距离，取最小距离对应的变换将牙体模型、牙冠模型拼接在一起，得到匹配融合模型。
9.根据权利要求1所述的基于口腔CBCT和口扫数据的牙体模型生成方法，其特征是，所述自编码器对三维点云数据进行稀疏编码表示，并有监督地将原始数据向修整后的数据进行解码以实现模型的自动化调整。
10.基于口腔CBCT和口扫数据的牙体模型生成系统，其特征是，包括：
第一模型模块，用于根据CBCT原始图像数据建立完成标志点标注且呈点云格式的牙体模型；
第二模型模块，用于根据口腔扫描数据建立完成标志点标注且呈点云格式的牙冠模型；
模型融合模块，用于通过主成分分析方法将牙体模型作为浮动模型、牙冠模型作为固定模型进行初步平移合并，并依据牙体模型、牙冠模型中所有对应标志点之间的最小距离进行变换处理，得到匹配融合模型；
模型修正模块，用于将匹配融合模型中匹配重合的CBCT原始图像数据删除实现模型修整，并通过预训练的自编码器对修整后的模型进行自动化调整，得到完整牙体模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851419.8A CN113397585B (zh) | 2021-07-27 | 2021-07-27 | 基于口腔cbct和口扫数据的牙体模型生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851419.8A CN113397585B (zh) | 2021-07-27 | 2021-07-27 | 基于口腔cbct和口扫数据的牙体模型生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113397585A true CN113397585A (zh) | 2021-09-17 |
| CN113397585B CN113397585B (zh) | 2022-08-05 |
Family
ID=77687786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110851419.8A Active CN113397585B (zh) | 2021-07-27 | 2021-07-27 | 基于口腔cbct和口扫数据的牙体模型生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113397585B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549540A (zh) * | 2022-03-01 | 2022-05-27 | 上海博恩登特科技有限公司 | 一种口扫牙齿数据与cbct数据自动融合的方法及其应用 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080057478A1 (en) * | 2006-08-30 | 2008-03-06 | Anatomage Inc. | Patient-specific three-dimensional dentition model |
| US20110268327A1 (en) * | 2001-04-13 | 2011-11-03 | Phillip Getto | Generating three dimensional digital dention models from surface and volume scan data |
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105662608A (zh) * | 2015-12-18 | 2016-06-15 | 北京大学口腔医学院 | 一种三维数据牙齿冠根整合的方法 |
| CN105761252A (zh) * | 2016-02-02 | 2016-07-13 | 北京正齐口腔医疗技术有限公司 | 图像分割的方法及装置 |
| CN108629839A (zh) * | 2018-05-09 | 2018-10-09 | 西安增材制造国家研究院有限公司 | 利用牙齿咬合状态下的口腔ct图像获取全牙模型的方法 |
| CN108665533A (zh) * | 2018-05-09 | 2018-10-16 | 西安增材制造国家研究院有限公司 | 一种通过牙齿ct图像和三维扫描数据重建牙列的方法 |
| CN111656408A (zh) * | 2017-12-22 | 2020-09-11 | 普罗马顿控股有限责任公司 | 使用深度学习方法的自动3d牙根形状预测 |
| WO2020218560A1 (ja) * | 2019-04-26 | 2020-10-29 | 株式会社カイ | 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体 |
| CN112085821A (zh) * | 2020-08-17 | 2020-12-15 | 万申(北京)科技有限公司 | 一种基于半监督的cbct与激光扫描点云数据配准方法 |
| CN112150472A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于cbct的三维颌骨图像分割方法、装置及终端设备 |
| CN112700460A (zh) * | 2021-01-14 | 2021-04-23 | 北京工业大学 | 图像分割方法及系统 |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
-
2021
- 2021-07-27 CN CN202110851419.8A patent/CN113397585B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110268327A1 (en) * | 2001-04-13 | 2011-11-03 | Phillip Getto | Generating three dimensional digital dention models from surface and volume scan data |
| US20080057478A1 (en) * | 2006-08-30 | 2008-03-06 | Anatomage Inc. | Patient-specific three-dimensional dentition model |
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105662608A (zh) * | 2015-12-18 | 2016-06-15 | 北京大学口腔医学院 | 一种三维数据牙齿冠根整合的方法 |
| CN105761252A (zh) * | 2016-02-02 | 2016-07-13 | 北京正齐口腔医疗技术有限公司 | 图像分割的方法及装置 |
| CN111656408A (zh) * | 2017-12-22 | 2020-09-11 | 普罗马顿控股有限责任公司 | 使用深度学习方法的自动3d牙根形状预测 |
| CN108665533A (zh) * | 2018-05-09 | 2018-10-16 | 西安增材制造国家研究院有限公司 | 一种通过牙齿ct图像和三维扫描数据重建牙列的方法 |
| CN108629839A (zh) * | 2018-05-09 | 2018-10-09 | 西安增材制造国家研究院有限公司 | 利用牙齿咬合状态下的口腔ct图像获取全牙模型的方法 |
| WO2020218560A1 (ja) * | 2019-04-26 | 2020-10-29 | 株式会社カイ | 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体 |
| CN112085821A (zh) * | 2020-08-17 | 2020-12-15 | 万申(北京)科技有限公司 | 一种基于半监督的cbct与激光扫描点云数据配准方法 |
| CN112150472A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于cbct的三维颌骨图像分割方法、装置及终端设备 |
| CN112700460A (zh) * | 2021-01-14 | 2021-04-23 | 北京工业大学 | 图像分割方法及系统 |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| TIM HILGENFELD等: "In-vivo accuracy of tooth surface reconstruction based on CBCT and dental MRI-a clinical pilot study", 《CLINICAL ORAL IMPLANTS RESEARCH》 * |
| 李德毅等: "《中国科协新一代信息技术系列丛书 人工智能导论》", 31 August 2018, 北京：中国科学技术出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549540A (zh) * | 2022-03-01 | 2022-05-27 | 上海博恩登特科技有限公司 | 一种口扫牙齿数据与cbct数据自动融合的方法及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113397585B (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10709527B1 (en) | Method for manipulating a dental virtual model, method for creating physical entities based on a dental virtual model thus manipulated, and dental models thus created | |
| CN106806030B (zh) | 一种冠根三维模型融合方法 | |
| ES2717447T3 (es) | Creación asistida por ordenador de una preparación de diente habitual usando análisis facial | |
| US10105196B2 (en) | Modeling and manufacturing the superstructure for a denture | |
| CN107239649B (zh) | 一种口腔参数化测量的方法 | |
| CN106137414B (zh) | 确定目标牙列布局的方法和系统 | |
| CN105147401A (zh) | 一种基于牙根信息的数字化排牙方法 | |
| CN111261287B (zh) | 一种种植方案设计方法及系统、终端和计算机可读存储介质 | |
| CN112419476A (zh) | 牙科病人三维虚拟图像的创建方法及系统 | |
| WO2021218724A1 (zh) | 一种用于口腔数字印模仪的数字模型智能设计方法 | |
| CN112120815A (zh) | 一种数字化口腔微笑修复方法 | |
| KR102215068B1 (ko) | 임플란트 진단용 영상 정합을 위한 장치 및 방법 | |
| CN113397585B (zh) | 基于口腔cbct和口扫数据的牙体模型生成方法及系统 | |
| CN114343906B (zh) | 咬合垂直距离的获取方法、装置、介质及电子设备 | |
| US20240249471A1 (en) | Image processing method | |
| CN115349881A (zh) | 结合cbct和口内扫描技术的牙齿根冠融合方法和装置 | |
| KR102226745B1 (ko) | 스캔용 왁스바이트 및 이를 이용한 치아 수복물 제조를 위한 모션스캔 방법 | |
| CN116807506B (zh) | 基于cbct数据学习的牙齿颈部形态识别及重塑系统 | |
| KR102615964B1 (ko) | 3d 치아스캔사진과 측면 머리부 방사선사진을 이용한 치아 교정목표 설정방법 | |
| Rutkūnas et al. | Digital Technologies in Clinical Restorative Dentistry | |
| Tawfiq | Three Dimensional Biometric Guide in Determining Maxillary Tooth Position and Arch Form | |
| Omar Farouq | Three dimensional biometric guide in determining maxillary tooth position and arch form/Omar Farouq Tawfiq | |
| Wang | Accurate Implantation and Long-term Stability with the Assistance of Computer-aided Design | |
| Shin | Digital Communication in Three Perspectives. | |
| Xiong et al. | Exploring a three-dimensional analysis method to occlusion plane determination: A retrospective study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |