CN115252174A - 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备 - Google Patents

排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备 Download PDF

Info

Publication number
CN115252174A
CN115252174A CN202110481370.1A CN202110481370A CN115252174A CN 115252174 A CN115252174 A CN 115252174A CN 202110481370 A CN202110481370 A CN 202110481370A CN 115252174 A CN115252174 A CN 115252174A
Authority
CN
China
Prior art keywords
tooth
positioning frame
determining
reference point
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110481370.1A
Other languages
English (en)
Inventor
王瑞
何琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Meyer Optoelectronic Technology Inc
Original Assignee
Hefei Meyer Optoelectronic Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Meyer Optoelectronic Technology Inc filed Critical Hefei Meyer Optoelectronic Technology Inc
Priority to CN202110481370.1A priority Critical patent/CN115252174A/zh
Publication of CN115252174A publication Critical patent/CN115252174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种排牙方法、牙齿正畸模拟方法、存储介质和口腔CT设备,排牙方法包括以下步骤:获取口腔CT影像;对口腔CT影像进行分割处理,得到每颗牙齿的第一定位框;根据第一定位框确定多个排牙参考点,根据多个排牙参考点对所有第一定位框进行排序,得到排序结果;利用预先训练好的分类模型识别每颗牙齿的牙齿类型;根据排序结果和牙齿类型,确定排牙结果。由此,该排牙方法可以实现基于口腔CT影像的全自动排牙。

Description

排牙方法、牙齿正畸模拟方法、存储介质和口腔CT设备
技术领域
本发明涉及口腔医学技术领域,尤其涉及一种排牙方法、牙齿正畸模拟方法、存储介质和口腔CT设备。
背景技术
在口腔医学领域,口腔疾病是一种常见的多发性疾病,牙颌畸形对口腔健康、口腔功能、外貌均有较大的影响,对口腔进行畸形矫正被认为是口腔保健治疗中不可缺少的一个环节。在治疗之前,排牙实验可以帮助医生预计正畸治疗所涉及的治疗过程。然而,目前的排牙方法主要为手动排牙,该方法存在着效率低、需要消耗大量材料、精确度不高的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种排牙方法,以实现基于口腔CT影像的全自动排牙。
本发明的第二个目的在于提出一种牙齿正畸模拟方法。
本发明的第三个目的在于提出一种计算机可读存储介质。
本发明的第四个目的在于提出一种口腔CT设备。
为达到上述目的,本发明第一方面实施例提出了一种排牙方法,包括以下步骤:获取口腔CT影像;对所述口腔CT影像进行分割处理,得到每颗牙齿的第一定位框;根据所述第一定位框确定多个排牙参考点;根据所述多个排牙参考点对所有第一定位框进行排序,得到排序结果;利用预先训练好的分类模型识别每颗牙齿的牙齿类型;根据所述排序结果和所述牙齿类型,确定排牙结果。
为达到上述目的,本发明第二方面实施例提出了一种牙齿正畸模拟方法,所述方法包括以下步骤:确定所述待矫正模型的牙弓线,根据所述牙弓线和预存的牙齿标准模型,生成目标模型;根据所述目标模型的每颗牙齿,对待矫正模型中相应牙齿进行第一调整,以实现对所述待矫正模型中牙列的正畸模拟,其中,所述目标模型与所述待矫正模型中的相应牙齿是根据所述待矫正模型的排牙结果是识别到的,所述待矫正模型是根据上述排牙方法进行排牙得到的。
为达到上述目的,本发明第三方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述的排牙方法,或者,上述的牙齿正畸模拟方法。
为达到上述目的,本发明第四方面实施例提出了一种口腔CT设备,包括存储器、处理器和存储在所述存储器上的计算机程序,所述计算机程序被处理器执行时,实现上述的排牙方法,或者,上述的牙齿正畸模拟方法。
本发明实施例的排牙方法、牙齿正畸模拟方法、存储介质和口腔CT设备,可实现基于口腔CT影像的全自动排牙。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明实施例的牙齿分割方法的流程图;
图2是本发明一个示例的待分割口腔CT影像的示意图;
图3是本发明一个示例的第一神经网络的框架示意图;
图4是本发明一个示例的牙齿整体区域定位框的示意图;
图5是本发明一个示例的第二神经网络的框架示意图;
图6是本发明一个示例的第三神经网络的框架示意图;
图7是本发明一个示例的软件视角的示意图;
图8是本发明一个示例的标注视角的示意图;
图9是本发明一个示例的大津法阈值分割的效果图;
图10是本发明一个示例的自适应三维阈值分割的效果图;
图11是本发明一个示例的定位框误检或漏检的流程图;
图12、图13是本发明第一个示例的误定位的示意图;
图14、图15是本发明第二个示例的误定位的示意图;
图16(a)、图16(b)是本发明一个示例的漏定位的示意图;
图17是本发明实施例的牙齿面数据获取方法的流程图;
图18是本发明实施例的排牙方法的流程图;
图19是本发明一个示例的牙齿整体区域定位框的示意图;
图20-22是本发明一个示例的确定多个排牙参考点的过程的示意图;
图23是本发明一个示例的排牙结果的示意图;
图24是本发明实施例的牙齿正畸模拟方法的流程图;
图25是本发明一个示例的神经网络模型的框架示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的实施例中,在进行排牙之前,需对口腔CT影像进行分割,得到每颗牙齿的定位框,为此下面首先参考附图1-17描述本发明实施例的牙齿分割方法。
图1是本发明实施例的牙齿分割方法的流程图。
如图1所示,牙齿分割方法包括以下步骤:
S101,获取待分割口腔CT影像。
具体地,待分割口腔CT影像可以是从搭建的医疗影像管理系统的数据库中获取口腔CT影像,如图2所示。
S102,利用预先训练好的第一神经网络定位出待分割口腔CT影像中的牙齿整体区域。
其中,牙齿整体区域是小于口腔CT影像整体区域,且覆盖口腔CT影像中所有牙齿的区域,例如,可以为覆盖所有牙齿的最小外接三维框所框选出的区域,或者略大于最小三维框的三维框对应的区域。当然,在预设范围内大于最小三维框的三维框对应的区域也是可以的,如该预设范围为鼻子下方范围。定位出的牙齿整体区域可以第一3D定位数据表示,该第一3D定位数据可以是上述三维框在口腔CT影像中所对应的影像数据。
具体地,第一神经网络可包括3D卷积层、3D池化层、归一化层,其可在口腔CT影像中定位出三维牙齿整体区域,进而可通过第二神经网络进一步定位出单颗牙齿区域,第一神经网络网络框架可如图3所示。通过第一神经网络可以快速定位出口腔CT影像中的牙齿整体区域,即上述的第一3D定位数据,如图4所示。这样做的原因在于可以快速判断口腔CT影像中是否存在牙齿,如果不存在则不进行后续操作;同时,可以避免在鼻腔等部位的误识别,减少第二神经网络的输入数据量,进而可提高牙齿分割的整体速度和准确度。
S103,利用预先训练好的第二神经网络定位出牙齿整体区域中的预设范围的单颗牙齿区域。
其中,预设范围是自定义的牙齿类型,可以是全部牙齿,也可以是局部的牙齿。也就是说,第二神经网络不限于识别出所有牙齿中每颗牙齿的区域,还可以用于识别出所有牙齿中某种具体类型(如所有中切牙)或某几种类型(如所有侧切牙和尖牙)的单颗牙齿区域,或还可以用于识别出所有牙齿中某个区域(如上排中切牙左侧)或某多个区域(如上排中切牙左侧和下排中切牙右侧)的单颗牙齿区域。
当然,牙齿类型可包括中切牙、侧切牙、尖牙、第一前磨牙、第二前磨牙、第一恒磨牙、第二恒磨牙和第三恒磨牙。单颗牙齿区域是采用最小或比最小略大的三维框框选出对应单颗牙齿的区域;单颗牙齿区域可以是上述三维框在口腔CT影像或第一3D定位数据中所框选出的单颗牙齿影像。
具体地,如果步骤S102判断口腔CT影像中存在牙齿,则将识别到的牙齿整体区域输入至第二神经网络,以进行单颗牙齿区域的定位,得到第二3D定位数据,由此,可以避免在鼻腔等部位的误定位,同时减少了第二神经网络的输入数据量,提高了整体速度和识别的精确度。如图5所示,第二神经网络可包括多个3D检测层(如3个),3D检测层包括3D卷积层、3D池化层。
作为一个示例,利用预先训练好的第二神经网络定位出牙齿整体区域中的预设范围的单颗牙齿区域,可包括:对牙齿整体区域依次进行三维大津法阈值分割、自适应阈值分割和形态学处理,得到第一先验知识数据;利用预先训练好的第二神经网络根据第一先验知识数据和牙齿整体区域,定位出牙齿整体区域中的预设范围的单颗牙齿区域。第一先验知识数据中剔除了软组织等的影响,参考第一先验知识,结合牙齿整体区域进行识别,可以降低单颗牙齿区域的识别准确度。
具体地,第二神经网络主要在第一神经网络的基础上完成单颗牙齿区域的定位。为了减少漏检区域,在输入端输入第一神经网络定位的牙齿整体区域数据的同时,还可输入先验知识数据(即上述的第一先验知识数据),以减少第二神经网络的学习难度,加速收敛,先验知识数据的获取步骤可如下:
Step1:由于口腔CT影像包括空气、软组织等部分,而为了实现牙齿分割,只需要标注牙齿部分,因此首先对口腔CT影像进行三维大津法阈值分割,以去除空气部分的干扰;
Step2:对Step1中的数据进行第二次自适应三维阈值分割,分离出口腔CT影像中包括牙齿区域的骨骼部分;
Step3:对分离出的骨骼数据进行形态学处理,能够清楚地分离和提取整体牙齿部分。
由于具有骨骼区域的先验知识,结合标注的真实数据作为监督,第二神经网络能够很快定位和识别每颗牙齿的区域,为了更好的应对不同大小的牙齿,可在第二神经网络设置了三个检测层,以检测出不同形态不同大小的牙齿。
作为一个示例,在利用预先训练好的第二神经网络定位出牙齿整体区域中的预设范围的单颗牙齿区域时,可利用第二神经网络根据第一3D定位数据输出单颗牙齿的3D定位框;将3D定位框映射到待分割口腔CT影像中,得到单颗牙齿区域。
S104,利用预先训练好的第三神经网络对单颗牙齿区域进行掩膜分割,得到相应牙齿的牙体数据。
具体地,在第一神经网络和第二神经网络学习完成后,能够准确定位出每颗牙齿的所在区域,进而可通过第三神经网络完成每颗牙的牙体数据的提取,其训练主要框架如图6所示,第三神经网络可包括3D卷积层、3D池化层。
作为一个示例,利用预先训练好的第三神经网络对单颗牙齿区域进行掩膜分割,可包括:对单颗牙齿区域依次进行三维大津法阈值分割、自适应阈值分割和形态学处理,得到第二先验知识数据;利用第三神经网络根据单颗牙齿区域和第二先验知识数据,进行单颗牙齿区域的掩膜分割。
在本发明的一个实施例中,还可利用预先训练好的第三神经网络对单颗牙齿区域中的牙根管进行掩膜分割,得到牙根管体数据。
具体地,若在进行牙齿分割时,还需分割出各牙齿的牙根管数据,则还可对单颗牙齿区域依次进行自适应阈值分割和形态学处理,得到牙根管数据;进而利用第三神经网络根据单颗牙齿区域、牙根管数据和第二先验知识数据进行单颗牙齿区域和牙根管区域的掩膜分割,得到牙体数据和牙根管数据。
具体而言,第三神经网络在第一神经网络和第二神经网络的基础上完成单颗牙齿区域与牙根管区域的掩膜分割,利用一个网络模型同时完成多个任务。第三神经网络的输入包括第二神经网络中输出的单颗牙齿所在区域的CT三维数据,利用自适应阈值分割和形态处理获取的牙根管数据以及先验知识数据(即上述的第二先验知识数据),每种数据获取方式如下:
单颗牙齿所在区域的CT三维数据:利用第二神经网络输出的3D定位框,映射到待分割口腔CT影像后提取相应部分的3D数据,完成数值分布归一化和尺寸归一化操作,得到单颗牙齿区域3D数据;
牙根管数据:对上述提取的单颗牙齿区域3D数据进行自适应阈值分割,然后进行腐蚀和膨胀的形态学处理,提取牙齿中间的牙根管区域3D数据;
第二先验知识数据:由于上述提取的单颗牙齿区域3D数据包括空气、软组织等部分,而因此首先对单颗牙齿区域3D数据进行三维大津法阈值分割,去除空气部分的干扰,然后进行第二次自适应三维阈值分割,分离出包括牙齿区域的骨骼部分,对分离出的骨骼数据进行形态学处理,作为先验知识数据,目的在于减少网络的学习难度,加速收敛。
通过上述三种数据的结合,结合标注的真实数据作为监督,第三神经网络能够同时有效快速的提取牙齿的3D掩膜和3D牙根管掩膜,完成单模型多任务。
由此,本发明实施例的牙齿分割方法,可实现对口腔CT影像中牙齿的准确有效分割。
在本发明的实施例中,可预先训练得到第一神经网络、第二神经网络和第三神经网络,用于训练第一神经网络、第二神经网络和第三神经网络的数据是按照以下方式进行标记的:
A1,对口腔CT训练影像依次进行三维大津法阈值分割、自适应阈值分割和形态学处理,得到待标注牙齿影像;
A2,利用训练好的牙齿区域模型对待标注牙齿影像进行掩膜分割,得到预标记牙体的口腔CT训练影像,其中,牙齿区域模型由基于残差的3D语义分割人工神经网络训练得到;
A3,对预标记牙体的口腔CT训练影像进行牙体标记修正;
A4,根据牙体标记确定单颗牙齿的三维框,以标记单颗牙齿区域;
A5,根据所有单颗牙齿的三维框确定标记牙齿整体区域的三维框,以标记牙齿整体区域;
A6,根据口腔CT训练影像中的标记获取用于训练第一神经网络、第二神经网络和第三神经网络的数据。
具体地,训练影像为三维数据,其标注具有两大难题,一是标注量大,相对于二维数据量,三维数据标注量呈指数增长;二是标注难度大,由于增加了一个维度,所以传统在二维切片上标注的方式及不准确,因为牙齿排列密集,咬合面的咬合关系比较复杂,只在二维切片上标注不能准确标注出某一区域具体属于哪个部分。
为了克服以上两大难题,获取高质量高准确度的标注数据,本发明结合口腔CT影像的三维信息进行标注,并针对每颗牙齿单独标注,利用预处理方式提高标注效率。
为了更准确的标注,可应用现有的三维标注软件,从横断面、矢状面和冠状面三个角度观看口腔CT影像,该软件可包括一个三维重建视窗。具体标注过程为:针对待标记的某颗牙齿,在某一选定方向上,对每层的切片进行标注即在切面上标记出牙齿区域的外边缘,当针对该颗牙齿的所有切片图像完成标记后,即完成该颗牙齿的三维标注(即3D标注)。
在标注时,实现在三维体数据上进行标注,结合不同视角及重建的头颅数据,能够清楚的看到标注的区域,从而准确的标注出每颗牙,解决了二维标注不准确的问题。软件视角可如图7所示,标注视角如图8所示。
作为一个示例,在完成对训练影像中单颗牙齿区域的3D标注之后,还可包括:根据得到的标注数据对牙齿区域模型进行迭代训练。
具体地,为了减轻标注工作量,提高标注效率,本发明提出了如下两种预处理方式:
第一种:利用两次阈值分割算法提取骨骼数据
Step1:由于口腔CT影像包括空气、软组织等部分,而为了实现牙齿分割,只需要标注牙齿部分,因此首先对口腔CT影像进行一次三维大津法阈值分割,以去除空气部分的干扰。其中,三维大津法是通过最大化类间方差找到适应的阈值对口腔CT影像进行分割,直方图中阈值T的类间方差定义为:
Figure BDA0003049398820000061
最小方差对应的阈值T即为分割阈值,分割前后的口腔CT影像如图9所示。
Step2:对Step1得到的数据进行第二次自适应三维阈值分割,去除软组织,分离出口腔CT影像中的包括牙齿区域的骨骼部分,如图10所示。
Step3:对Step2分离出的骨骼数据进行形态学处理,能够清楚地分离和提取出牙齿部分,然后对牙齿进行标注。由于牙齿形态清晰且分离,标注难度大大降低,效率明显提升。
第二种:利用人工神经网获取先验知识辅助标注
Step1:在累计标注少量的牙齿分割数据后,搭建了一个基于残差的3D语义分割人工神经网络,利用数据库中已标注的牙齿分割数据快速训练标注的牙齿区域;
Step2:利用训练的牙齿区域模型对待标注数据进行自动分割,获取分割掩膜;
Step3:对Step2中的数据经过预处理,如经过膨胀,对分割的牙齿区域的小黑洞进行填充,再经过腐蚀和连通域阈值来进行误定位区域剔除,获取更完善的三维牙齿掩膜信息;
Step4:标注人员对Step3中的数据进行简单快速的部分修正,即完成了当前口腔CT影像的标注,存储到数据库中;
Step5:由于数据库中的数据已经更新,可以再次快速训练搭建的3D语义分割人工神经网络,自动微调和优化模型中的权重参数,训练出性能更好的模型;
Step6:重复上述步骤。
在数据标注完成后,本发明搭建了第一神经网络、第二神经网络和第三神经网络,用于训练口腔CT影像的牙齿实例分割模型。为了快速训练第一神经网络、第二神经网络和第三神经网络,本发明设计了一种快速训练的方式,这种训练方式无需大数据集上的预训练模型。
为了在没有预训练模型的情境下快速训练第一神经网络、第二神经网络和第三神经网络的训练,首先对数据库中每个口腔CT影像中的牙齿进行编号。正常情况下牙齿的数量在28-32颗之间,但是会存在缺牙、多生牙、乳牙等情况,不同的情况下牙齿数量差异较大,我们对每一个口腔CT影像中的牙齿按照牙齿牙位进行编号,分别为ys1,ys2,ys3,...,zs1,zs2,zs2,...,dsy1,dsy2,dsy3...,分别表示右上第一颗牙,右上第二颗牙,右上第三颗牙,...,左上第一颗牙,左上第二颗牙,左上第三颗牙,...,第一个多生牙,第二个多生牙,第三个多生牙等,以此类推,默认所有标号数量不超过50个。下面以第一神经网络和第二神经网络的训练为例,对神经网络的训练过程进行说明:
作为一个示例,第一神经网路的训练步骤如下:
B1,获取包含多个训练影像的第一训练数据库,其中,各训练影像中已对牙齿整体区域进行3D标注;
其中,牙齿整体区域的3D标注可基于单颗牙齿的标注得到,优选为将所有单颗牙齿标注得到的最小外接框标注为牙齿整体区域。
具体地,训练影像可以是从搭建的医疗影像管理系统的数据库中获取的不同机型、不同视野、不同拍摄人员拍摄的各类患者的口腔CT影像,由此可保证数据的可靠性、丰富性和数据量。
B2,从第一训练数据库中分别选择数据,作为第一训练集和第一验证集;
具体地,在步骤B2之前,可利用正态分布初始化第一神经网络的权重参数。
B3,根据第一训练集对第一神经网络模型进行迭代训练,并根据第一验证集对每轮迭代得到的模型进行验证;
其中,第一神经网络模型为训练第一神经网络用到的初始神经网络模型。
B4,在验证结果满足第一预设条件,或者,迭代次数满足第二预设条件时,从第一训练数据库的剩余训练数据中分别选择数据,以分别更新所述第一训练集和所述第一验证集,并返回至步骤B3,其中,当前所选择的训练数据的个数为k乘以上一次所选择的训练数据的个数,k为更新系数;否则结束训练。
其中,k可根据任务难度进行选择,例如可为2;上述迭代截止条件可以为第一训练数据库中的所有训练数据均参与迭代训练。
由此,可以利用少量数据集快速训练底层网络的参数,能够高效学习底层细节特征,再逐步进行完善,加快收敛速度。
作为一个示例,第二神经网络的训练步骤如下:
C1,获取包含多个训练影像的第二训练数据库,其中,各训练影像中已对单颗牙齿区域进行3D标注;
C2,从第二训练数据库中分别选择数据,作为第二训练集和第二验证集;
其中,单颗牙齿区域的3D框可由单个牙齿标注的最小外接矩形组成。
具体地,在步骤C2之前,可利用正态分布初始化第二神经网络的权重参数。将牙齿编号随机分为n1组,其中,n1的取值可为8。例如,第1组对应编号为1,2,5,7号的牙齿,第二组对应3,4,6,8号的牙齿,依次类推,所有组覆盖所有编号。其中,第一次可选择第一组对应的编号牙齿。
C3,根据第二训练集对第二神经网络模型进行迭代训练,并根据第二验证集对每轮迭代得到的模型进行验证;
其中,第二神经网络模型为训练第二神经网络用到的初始神经网络模型。
C4,在验证结果满足第三预设条件,或者,迭代次数满足第四预设条件时,从第二训练数据库的剩余训练数据中分别选择数据,以分别更新所述第二训练集和所述第二验证集,并返回至步骤C3;否则结束训练;
其中,上述迭代截止条件可以为第二训练数据库中的所有训练数据均参与迭代训练。
由此,可以在没有预训练权重的基础上,使网络简单快速的学习牙齿基础特征,降低学习难度,加快收敛。
在本发明的一个实施例中,牙齿分割方法还可包括:判断单颗牙齿区域中是否存在误定位或漏定位;如果存在,则根据误定位或漏定位对应的3D定位框对单颗牙齿区域进行修正,以修正牙体数据。
其中,修正牙体数据,可包括:重新利用预先训练好的第三神经网络根据修正后的单颗牙齿区域进行单颗牙齿区域的掩膜分割,得到每颗牙齿的牙体数据,替换之前得到的牙体数据。
可选地,若还修正牙根管数据,则可重新利用预先训练好的第三神经网络根据修正后的单颗牙齿区域进行牙根管区域的掩膜分割,得到每颗牙齿的牙根管数据,替换之前得到的牙根管数据。
具体地,通过大数据训练出的第一神经网络、第二神经网络和第三神经网络具有很好的3D牙齿定位和牙齿牙根管3D分割的性能,但是神经网络的输出往往具有一定的不可控性,对于非常极端的数据,可能会存在牙齿的漏检或误检情况,而且输出结果非常依赖Nms(Non-maximum suppression,非极大值抑制算法)等阈值的设置。为了增强模型的鲁棒性,且对阈值设置不敏感,对于任何数据都能够做到准确的定位和识别出三维口腔CT影像中的牙齿部位,可对神经网络的输出进行进一步处理。以下分别从误定位和漏检两个处理方向进行说明。调整Nms阈值提高检出率。在此情况下,结合下述误定位、漏定位的设置,在较高检出率的情况下,提高识别的准确率。
对于误定位的情形。可以通过有效的后处理来去除这些极少数的误定位,这在口腔领域是是非常必要的,因为口腔领域一个误定位都可能带来较大的影响。
由于第一神经网络的作用,本发明的算法模型不会在牙齿区域外存在误定位,只会在牙齿排列非常紧密或错乱的情况下存在极少数的误定位,因此通过结合牙齿分割结果来辅助第一神经网络和第二神经网络定位结果中误定位的剔除,提高第一神经网络和第二神经网络的结果准确度,从而形成相互促进循环,具体过程可如图11所示。
作为一个示例,如图12所示,对于定位到两颗牙齿中间的误定位框的情形。判断单颗牙齿区域中是否存在误定位,可包括:根据牙体数据对分割断层进行统计,得到分割断层个数;如果分割断层个数大于第一阈值,则判定单颗牙齿区域中存在误定位;其中,根据误定位对应的3D定位框对单颗牙齿区域进行修正,以修正所述牙体数据,可包括:将分割断层对应的3D定位框剔除,并利用预先训练好的第三神经网络对修正后的单颗牙齿区域进行掩膜分割,得到相应牙齿的牙体数据。
具体地,对于这种误定位,可通过对3D定位框的牙齿进行分割,由于两颗牙中间会有咬合棒(硅胶材质,CT值较小),使得牙齿中间会有缝隙,所以分割结果中间会出现非牙齿区域,即分割出现断层,如图13所示。可对中间的分割断层(与上述非牙区域对应)进行统计,例如单个定位框内,各切片上的牙齿区域在竖直方向上是否从有到无再到有,如果是,则存在分割断层,并计数一次。若计数值超过阈值n即判为误定位,实际中n可设置为1,以保证找出所有存在分割断层的定位框。同时,还可降低检出阈值,保证牙齿几乎都被检出,但同时会增大误定位率。通过设置n阈值为1,即大于等于1则说明是误定位框,此时可剔除该定位框,由此可保证剔除的有效性和严格性,同时保证了检出率。其中,检出阈值是控制检出过程的阈值,在一定范围内,检出阈值越大,检出率越低,误定位率越低;反之检出率越高,误定位率越高。
作为另一个示例,如图14所示,对于单颗牙齿区域上的误定位框的情形。判断单颗牙齿区域中是否存在误定位,可包括:根据牙体数据判断是否存在满足误定位条件的3D定位框,其中,若3D定位框有部分切片不存在牙齿分割结果,则判定所述3D定位框满足所述误定位条件;如果存在,则对3D定位框进行调整,以得到正确的3D定位框。当然,如果分割结果包括牙根管数据,则还可根据牙根管数据判断误定位。
在本发明的牙齿定位中可能会出现如图14所示的误定位:即框住牙齿的部分区域。
针对本发明的3D牙齿牙根管分割算法,首先把当前误定位框当作正确的3D定位框进行分割处理,由于正确的3D定位框会默认正好框住当前牙齿,即最小外接3D矩形框,因此其分割结果在高度方向上的每个切片中都有牙齿部分的分割结果,如图15所示:左下侧的框为正确识别的框,该框的高度方向每个切片都存在分割结果,而右上侧的框为误定位框,只会在部分区域存在分割识别结果。因此可计算每个框的有分割结果区域对整个框高度的比例,通过设置阈值能够有效去除上述误定位框,具体可为:将框内牙齿区域的高度除以定位框的高度得到比例,根据经验或测试结果设定阈值,以排除该比例相对较小的定位框,比例较小可以认为是误定位。
作为又一个示例,判断单颗牙齿区域中是否存在漏定位,可包括:根据单颗牙齿区域计算相邻两颗牙齿之间的间隙(如果相邻两颗牙齿之间的距离过大,说明中间可能还存在其他牙齿没有被识别出来,需要进行再搜索),根据该间隙和尺寸阈值,判断是否需要进行漏定位搜索;如果需要,则将间隙位置进行网格划分,如划分为2×3的网格,以每个网格为搜索框的中心进行搜索,其中,搜索框的大小为尺寸均值;利用第三神经网络对搜索框对应区域进行分割,根据分割结果,判断是否存在漏定位,具体可为:如果分割得到牙齿区域,则认为是存在漏识别。
在该示例中,还可计算单颗牙齿区域对应的所有3D定位框的尺寸均值;将搜索框的尺寸设置为尺寸均值。
具体地,对于一些极端数据,比如非常小的或者只存在一点点牙冠的数据,上述算法可能会造成漏检。以图16(a)、图16(b)为例,为了找到右边是否存在漏检,首先获取最右边定位框的中心位置,然后以该中心位置的横轴坐标为基准,在其右侧进行不同尺度框的贪心搜索,为了保证搜索效率,横坐标不超过定位框的上下边缘,纵坐标不超过定位框宽度的1.5倍,尺度种类可设置为多种。然后进行搜索,所搜方式为在一定区域内画网格,以每个网格的中心点为搜索框的中心点进行搜索,每搜索一个框,取对应区域的3D数据,进行第三神经网络的分割识别。通过识别结果判断是否存在牙齿,如果存在,则判断该搜索框与最右边定位框的位置关系,确认是否保留,否则继续搜索,具体过程如上所述。其中,最右边定位框是右边的边界,搜索框应在其左边搜索,此处判断搜索框与右边定位框的位置关系式为:计算搜索框与定位框的iou(即交并比)值,如果该值小于一定的阈值(一般设置为0.5),则说明是两个牙齿,对搜索框进行保留。
由此,能够有效搜索出存在的极端漏检情况,大大改善了第一神经网络和第二神经网络检测的鲁棒性,该方法同样适用于中间大牙齿的漏检判断。
综上所述,本发明实施例的牙齿分割方法,首先利用预先训练好的第一神经网络定位出待分割口腔CT影像中的牙齿整体区域,进而利用预先训练好的第二神经网络定位出牙齿整体区域中的预设范围的单颗牙齿区域,最后利用预先训练好的第三神经网络对单颗牙齿区域进行掩膜分割,得到相应牙齿的牙体数据,该过程中先识别出牙齿整体区域,不仅可以减少第二神经网络的数据输入量,而且还可以降低在牙齿整体区域之外区域的误识别。同时,相比于将整个口腔CT影像输入一个网络进行的单颗牙齿的分割,输入单颗牙齿区域至第三神经网络进行分割处理可以大大降低输入数据的数据量和复杂度,提高了牙齿分割的精确度。由此,可实现口腔CT影像中牙齿的有效准确分割。另外,将整个牙齿分割过程利用不同的神经网络分阶段进行,可以降低各个阶段的网络的复杂度,以及相应任务实现的难度。
进一步地,在得到每颗牙齿的牙体数据后,还可根据每颗牙齿的牙体数据,进行牙齿点云面数据提取,以得到更好的牙齿分割效果,便于后续排牙处理。
为此,本发明提出了一种牙齿面数据获取方法。如图17所示,牙齿面数据获取方法包括:
S01,根据上述的牙齿分割方法获取牙体数据。
S02,对牙体数据进行三维高斯平滑。
S03,通过Marching Cube算法对平滑后的牙体数据进行牙齿网格数据提取。
S04,对提取到的牙齿网格数据进行三维拉普拉斯平滑。
S05,根据平滑后的牙齿网格数据,以及网格边界的尖锐程度确定冗余点并去除,根据剩余的点拼接成面得到牙齿点云面数据。
具体地,可根据每颗牙齿的牙体数据得到对应的牙齿体素数据;对牙齿体素数据进行三维高斯平滑;根据待分割口腔CT影像计算牙齿灰度阈值,并通过Marching Cube算法对平滑后的牙体数据进行牙齿网格数据提取;对提取到的牙齿网格数据进行三维拉普拉斯平滑;根据平滑后的各牙齿网格数据确定冗余点并去除,根据剩余的点拼接成面得到牙齿点云面数据。
可选地,在对牙齿网格数据进行三维拉普拉斯平滑之前,还可对牙齿网格数据进行降采样,进而对降采样后的牙齿网格数据进行三维拉普拉斯平滑,以通过降低信号采样率,减少计算复杂度,提高处理速度。
作为一个示例,根据待分割口腔CT影像计算牙齿灰度阈值,可包括:利用大津法计算待分割口腔CT影像中空气与面部软组织分界的第一灰度阈值;基于第一灰度阈值,利用大津法计算待分割口腔CT影像中软组织与骨骼分界的牙齿灰度阈值。
作为一个示例,根据平滑后的各牙齿网格数据确定冗余点,可包括:针对平滑后的牙齿网格数据的每条边界的各顶点,计算包含相应顶点的每两个相邻网格面的法向量的夹角;根据每个顶点的夹角,计算相应顶点对应的最大夹角;根据每个顶点对应的最大夹角,确定相应顶点对应的边折叠代价的调整项;利用边折叠算法和各顶点的边折叠代价的调整项进行简化运算,得到冗余点。
在该示例中,根据每个顶点对应的最大夹角,确定相应顶点对应的边折叠代价的调整项,可包括:计算每个顶点的相邻顶点的个数;根据每个顶点对应的最大夹角,以及相应顶点的各相邻顶点的相邻顶点个数确定相应顶点对应的边折叠代价的调整项。例如,可以根据每个顶点对应的最大夹角θ,以及相应顶点的各相邻顶点i的相邻顶点个数mi,确定相应顶点对应的边折叠代价的调整项Δ″(v)=θ*∑cosθ/mi,需要说明的是,对cosθ进行一系列变形表示为由θ或其倍数的正弦和/或余弦的组合也是可以的,例如,根据cos2θ+sin2θ=1,将该公式中的θ的余弦转换为θ的正弦表示。
其中,顶点的相邻顶点,是包含该顶点的所有边界的另一顶点,顶点的相邻顶点的个数与包含顶点的所有边界的数量是等同的。
可以针对每个顶点对应的所有夹角,通过建相应顶点对应夹角的最小堆来确定该顶点对应的最大夹角。
利用边折叠算法和各顶点的边折叠代价的调整项进行简化运算,具体的,可以将预设的二次误差测度和各顶点的边折叠代价的调整项之和作为相应顶点的边折叠代价进行简化运算。当然,也可以按照其他现有算法确定边折叠代价的调整基础,在此不作赘述。
预设的二次误差测度可以由论文Surface simplification using quadricerror metrics获得,该论文由作者Garland M和Heckbert PS于1997发表于Proc.of theComputer Graphics上。具体的,
Figure BDA0003049398820000131
其中,Δ′(v)为二次误差测度,v=[vx vy vz 1]T,p表示三维空间中的一个平面
Figure BDA0003049398820000132
综上所述,本发明实施例的牙齿面数据获取方法,首先根据上述的牙齿分割方法获取牙体数据,然后对牙体数据进行三维高斯平滑,通过Marching Cube算法对平滑后的牙体数据进行牙齿网格数据提取,对提取到的牙齿网格数据进行三维拉普拉斯平滑;最后根据平滑后的牙齿网格数据,以及网格边界的尖锐程度确定冗余点并去除,根据剩余的点拼接成面得到牙齿点云面数据。该过程基于精确的牙齿分割方法获取牙齿面数据,可以获取精确的牙齿面数据。同时,利用Marching Cube算法进行牙齿网格数据提取的前后,分别对体数据和面数据进行不同形式的平滑处理,保证了各个阶段数据处理的准确性。
下面参考附图18-25描述本发明实施例的排牙方法、牙齿正畸模拟方法、存储介质和口腔CT设备。
图18是本发明一个实施例的排牙方法的流程图。如图18所示,排牙方法包括以下步骤:
S11,获取口腔CT影像。
具体地,口腔CT影像可以是从搭建的医疗影像管理系统的数据库中获取的口腔CT影像,如图2所示。
S12,对口腔CT影像进行分割处理,得到每颗牙齿的第一定位框。
具体地,可以采用现有的牙齿分割处理方法,得到每颗牙齿的第一定位框,该第一定位框可以是2D定位框;也可以采用上述的牙齿分割方法,得到每颗牙齿的第一定位框,该第一定位框可以是3D定位框。
S13,根据第一定位框确定多个排牙参考点。
具体地,可以计算每个第一定位框的中心坐标得到相应的第一中心坐标,并根据第一定位框得到牙齿整体区域的第二定位框;进而根据第一中心坐标和第二定位框,确定多个排牙参考点。例如,可以获取一个可以恰好将所有第一定位框包括在内的定位框,并将其作为第二定位框。
作为一个可行的实施方式,上述第二定位框可以如图19所示,上述排牙参考点的个数可以为3个,此时,多个排牙参考点包括中心参考点、左侧参考点和右侧参考点。在该示例中,根据第一定位框确定多个排牙参考点的具体步骤可如下:
Step1:根据第一中心坐标和第二定位框,确定最左上方的第一定位框和最右上方的第一定位框。
具体地,以第一定位框为3D定位框为例,可以建立一个三维正交坐标系(如图20所示,图20中仅示出了三维坐标系中的x、y轴,z轴为垂直于x、y轴向里),并获取在该坐标系内每个第一定位框的中心坐标与第二定位框之间的位置关系,根据该位置关系确定最左上方的第一定位框(第一中心坐标中的y坐标取值最小,且距离第二定位框的左边界最近)和最右上方的第一定位框(第一中心坐标中的y坐标取值最小,且距离第二定位框的右边界最近),如图20所示。
需要说明的是,图19和图20展示的是牙齿的全景图,是在牙齿的全景图中示意的。实际计算时可以参考三维牙齿模型的空间坐标进行计算。一种实施方式中,纵坐标方向可以为竖直方向,横坐标方向可以为图10中的左右方向,第三坐标方向可以垂直横坐标方向和纵坐标方向。
Step2:计算第二定位框的中心坐标得到第二中心坐标。
Step3:根据第二中心坐标,确定中心参考点。
具体而言,可先根据第二中心坐标,选择满足预设条件的一个第一定位框。包括:确定每个第一定位框横坐标的最小值和最大值;将横坐标的最小值和最大值与第二中心坐标中的横坐标进行比较;从满足预设条件的第一定位框中选择一个,其中,预设条件为横坐标的最小值小于或等于第二中心坐标中的横坐标,且横坐标的最大值大于或等于第二中心坐标中的横坐标;根据所选择的第一定位框和第二中心坐标,确定中心参考点。
其中,根据所选择的第一定位框和第二中心坐标,确定中心参考点可包括以下方式一、二和三中的任一种:
方式一:确定所选择的第一定位框纵坐标的最小值和最大值;将纵坐标的最小值和最大值与第二中心坐标中的纵坐标进行比较;将纵坐标的最小值和最大值中较接近第二中心坐标中的纵坐标的值作为中心参考点的纵坐标;将第二中心坐标中的横坐标作为中心参考点的横坐标,即中心参考点Pc(参见图21)的坐标为(第二中心坐标中的横坐标,纵坐标的最小值和最大值中较接近第二中心坐标中的纵坐标的值,第二中心坐标中的竖坐标)。方式二:直接确定所述中心参考点为所述第二定位框的中心点;方式三:在方式一无法确定中心参考点的情况下,确定中心参考点为所述第二定位框的中心点。
Step4:将最左上方的第一定位框的下边缘点向左沿横坐标方向延伸,并与第二定位框相交,将交点作为左侧参考点,以及将最右上方的第一定位框的下边缘点向右沿横坐标方向延伸,并与第二定位框相交,将交点作为右侧参考点。如图22所示,上述左侧参考点为点P1,上述右侧参考点为点P2。
作为另一个可行的实施方式,多个排牙参考点包括中心参考点、左侧参考点、右侧参考点,以及左部参考点和/或右部参考点,根据第一中心坐标和第二定位框,确定多个排牙参考点,还可包括:确定中心参考点和左侧参考点之间纵向直线,从该纵向直线与第一定位框的交点中确定一个交点作为左部参考点;和/或,确定中心参考点和右侧参考点之间纵向直线,从该纵向直线与第一定位框的交点中确定一个交点作为左部参考点。
具体地,中心参考点、左侧参考点、右侧参考点的确定方式可参见上述的实施方式。在得到中心参考点和左侧参考点之后,可根据中心参考点和左侧参考点的横坐标,随机选择一个处于中心参考点和左侧参考点之间且处于这两点连线上的点(如连线中点),进而确定通过该点的纵向直线,该纵向直线与第一定位框存在交点。如果交点的数量为两个,则可从该两交点中任意选择一个作为左部参考点;如果交点的数量为两个以上,则可进一步计算交点与对应第一定位框中心点之间的距离,将最小距离对应的交点作为左部参考点,以提高排序效果。同理,可得到右部参考点。
S14,根据多个排牙参考点对所有第一定位框进行排序,得到排序结果。
具体地,可确定横向每两个相邻的排牙参考点所在直线的目标方程,将相应两个排牙参考点横向之间的第一定位框的横坐标代入对应的目标方程,得到纵坐标参考值;根据纵坐标参考值与中心参考点的纵坐标的大小,确定相应第一定位框对应的牙齿为上排牙或下排牙。
按照从左至右以及沿着牙弓线的走向对上排牙和下排牙进行排序,标记牙位号,具体的,可以根据第一定位框的横坐标以及第三维度的坐标对上排牙和下排牙进行排序,标记牙位号。
为了便于理解,采用上述三个排牙参考点,即中心参考点Pc、左侧参考点P1和右侧参考点P2为例,来对该步骤S14进行说明。具体地,确定中心参考点和左侧参考点所在直线的第一方程,以及中心参考点和右侧参考点所在直线的第二方程;将中心参考点左侧的每个第一中心坐标中的横坐标代入第一方程,得到第一纵坐标参考值,并将中心参考点右侧的每个第一中心坐标中的横坐标代入第二方程,得到第二纵坐标参考值;分别将第一纵坐标参考值、第二纵坐标参考值与中心参考点的纵坐标进行比较;如果第一纵坐标参考值小于中心参考点的纵坐标,则确定相应的第一定位框为上排牙定位框,否则为下排牙定位框,以及如果第二纵坐标参考值小于中心参考点的纵坐标,则确定相应的第一定位框为上排牙定位框,否则为下排牙定位框;按照上排牙定位框的第一中心坐标中的横坐标,对所有上排牙定位框进行排序,并按照下排牙定位框的第一中心坐标中的横坐标,对所有下排牙定位框进行排序。例如,可以确定中心参考点和左侧参考点所在直线的第一方程为y=k1x+b1,以及中心参考点和右侧参考点所在直线的第二方程为y=k2x+b2;将中心参考点左侧的每个第一中心坐标中的横坐标xi代入第一方程,得到与其对应的第一纵坐标参考值yi,并将中心参考点右侧的每个第一中心坐标中的横坐标xj代入第二方程,得到第二纵坐标参考值yj;进而分别将第一纵坐标参考值、第二纵坐标参考值与中心参考点的纵坐标进行比较。由此,可以对上排牙与下排牙进行准确分割,从而得到排序结果,如图23所示。
S15,利用预先训练好的分类模型识别每颗牙齿的牙齿类型。
需要说明的是,在利用预先训练好的分类模型识别每颗牙齿的牙齿类型之前,还需要判断上述排序结果是否存在缺牙情况;若存在,则需要对上述排序结果进行修正。具体步骤如下:
A1,根据排序结果判断是否存在缺牙。
具体地,可以直接根据排序结果中每个第一定位框的中心坐标判断排序结果中是否存在缺牙。例如,可以获取每个第一定位框的中心坐标的横坐标,进而若确定存在两个第一定义框,与其对应的中心坐标的横坐标之间的差值大于第一预设距离阈值且小于第二预设距离阈值,则判断存在缺牙。
A2,如果存在,则根据排序结果确定中切牙位置,并根据缺牙位置两侧的第一定位框确定缺牙定位框。
具体地,可以获取缺牙位置两侧的第一定位框的左右边界的横坐标,进而获取缺牙位置左侧的第一定位框的左右边界的横坐标差值与缺牙位置右侧的第一定位框的左右边界的横坐标差值,从而根据上述两个横坐标差值的均值确定缺牙定位框的大小。
A3,根据中切牙位置确定缺牙定位框的位置,并根据该位置和缺牙定位框对排序结果进行修正。
S16,根据排序结果和牙齿类型,确定排牙结果。
综上,本发明实施例的排牙方法,可以实现基于口腔CT影像的全自动排牙。排牙结果识别出的左上、左下、右上、右下的各类型牙齿,如中切牙、侧切牙、尖牙、第一前磨牙、第二前磨牙、第一恒磨牙、第二恒磨牙和第三恒磨牙,具体如左上中切牙,左上侧切牙......。
图24是本发明实施例的牙齿正畸模拟方法的流程图。
如图24所示,牙齿正畸模拟方法可包括如下步骤:
S241,确定待矫正模型的牙弓线,根据牙弓线和预存的牙齿标准模型,生成目标模型。
其中,目标模型与待矫正模型中的相应牙齿是根据待矫正模型的排牙结果是识别到的,待矫正模型是利用上述的排牙方法进行排牙得到的。
具体地,由于每个人的口腔情况均不同,可能会存在如缺牙、多生牙等情况,因而为了进一步准确地定位每个牙齿的牙位(如左上中切牙、右下第一磨牙等),可以将排牙结果对应的三维牙齿模型作为待矫正模型输入预先训练好的神经网络模型,并将上述每颗牙齿的牙体数据和牙根管数据输入上述神经网络模型;从而神经网络模型可以进行识别得到识别结果。其中,该识别结果包括目标模型与待矫正模型中牙齿的对应关系,以便确定每颗牙齿的牙位与每颗牙齿是否为待矫正牙齿以及该待矫正牙齿的畸变种类;上述预先训练好的分类模型为神经网络模型,包括卷积层、池化层、归一化层和全连接层;该神经网络模型架构可以如图25所示。
S242,根据目标模型的每颗牙齿,对待矫正模型中相应牙齿进行第一调整,以实现对待矫正模型中牙列的正畸模拟。
其中,第一调整可以包括平移、旋转和扭转。将处于非牙位的牙齿移动至相应牙位,为平移操作;将处于牙位的牙齿从倾斜位置转动至垂直于相应牙位,为旋转操作;将处于相应牙位并垂直于该牙位但与正方向存在夹角的牙齿转动至正方向,为扭转操作,可以理解为保证牙位不变的自转。
为了提高正畸效果,可根据第一调整后的相应牙齿与其相邻牙齿的间距,对该相应牙齿进行第二调整。
其中,第二调整可包括平移。
为了进一步提高正畸效果,还可计算待调整牙齿的牙根与颌骨面间的最小距离;根据最小距离判断牙根与颌骨面是否存在相交;如果存在相交,在第一预设位置范围内对应相应牙齿进行第四调整。
在本发明的一个实施例中,在对所有单颗牙齿完成调整后,还可计算上下颌各对位牙齿牙冠面之间的第一距离;根据第一距离,以及对位牙齿的牙冠面上下相对位置,在第二预设位置范围内调整对位牙齿的垂直向位置。由此,可得到更好的正畸效果。第一距离超过或等于一定的阈值,对位牙齿上牙的牙冠面位于下牙牙冠面的下方,则需要在第二预设位置范围内调整对位牙齿的垂直向位置。具体计算时,可以计算下牙牙冠面的纵坐标减去上牙牙冠面的纵坐标,如果为负值,且超过或等于阈值如0,则在第二预设位置范围内调整对位牙齿的垂直向位置。
具体而言,可以根据识别结果得到每颗牙的牙长轴,并根据牙长轴得到对应的阻抗中心;进而测量口腔CT影像中牙齿的牙颌数据;从而根据识别结果、阻抗中心和牙颌数据,对牙列进行排齐。上述牙颌数据包括牙齿宽度、Bolton指数、牙弓宽度、Spee曲线深度、中线偏离度中的至少一者。由此,可以实现根据待矫正牙齿的畸变种类在口腔CT影像中对其进行矫正。
其中,上述预存的牙齿标准模型为正常整齐牙列模型,上述牙齿类型包括中切牙、侧切牙、尖牙、第一前磨牙、第二前磨牙、第一恒磨牙、第二恒磨牙和第三恒磨牙,以中切牙为分界线,牙颌分为右上颌、左上颌、左下颌和右下颌。牙齿正畸的步骤具体包括:
Step1:在对右上颌的牙列进行排齐时,按照中切牙、侧切牙、尖牙、第一前磨牙、第二前磨牙、第一恒磨牙、第二恒磨牙和第三恒磨牙的顺序,依次排齐。
Step2:在使牙齿轴心位于牙颌数据中的牙弓线上时,根据阻抗中心、预存牙齿标准模型中对应牙齿排列时的倾斜规律,确定待矫正牙齿及其调整参数,并根据调整参数对待矫正牙齿进行调整,以对右上颌的牙列进行排齐,调整参数包括平移距离、旋转角度和扭转角度中的至少一者。
具体地,上述平移距离包括水平向平移距离、前后向平移距离、垂直向平移距离;上述旋转角度包括颊舌向转动角度、近远中向转动角度。需要说明的是,若前牙的切线与牙弓线的切线之间的夹角大于预设阈值(如大于2~3°),则认为需要计算扭转角度。
Step3:按照对右上颌牙列的排齐方式,对左上颌、右下颌和左下颌的牙列进行排齐。
Step4:计算上下颌各对位牙齿牙冠面之间的第一距离。
Step5:如果存在第一距离为负值的对位牙齿,则微调该对位牙齿的垂直向位置,以使该对位牙齿的第一距离为正值。
Step6:计算牙根与颌骨面间的最小距离。
Step7:如果最小距离为负值,则微调整体牙齿转矩,以在保证牙齿轴心在牙弓线上且与对位牙齿咬合关系正常的前提下,使最小距离为正值。
作为一个可行实施方式,还可直接根据用户输入的调整参数,对待矫正模型相应牙齿进行第三调整。其中,用户可以使具有丰富经验的牙科医生,其输入的调整参数可以是牙科医生根据经验确定的;第三调整可包括平移、旋转和扭转。
可选地,在对牙列进行排齐后,还可以获取上述对牙齿进行的调整,并将进行调整的牙齿以及调整的参数以报表的形式进行打印,从而可以根据排牙结果确定实际的治疗策略。
需要说明的是,为了方便理解,本发明实施例附图中所使用的识别框均为二维识别框,实际均为三维识别框。
综上,本发明实施例的牙齿正畸模拟方法,可以基于口腔CT影像的排牙结果,对牙齿进行的调整,从而为实际治疗提供参考。
进一步地,本发明提出一种计算机可读存储介质。
在本发明实施例中,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现上述的排牙方法或者牙齿正畸模拟方法。
本发明实施例的计算机可读存储介质,在其上存储的计算机程序被处理器执行时,可以实现基于口腔CT影像的全自动排牙。进而还可以获取在口腔CT影像中为排牙而对牙齿进行的调整,从而为实际治疗提供参考。
为达到上述目的,本发明第四方面实施例提出一种口腔CT设备。
在本发明实施例中,口腔CT设备包括存储器、处理器和存储在存储器上的计算机程序,该计算机程序被处理器执行时,实现上述的排牙方法或者牙齿正畸模拟方法。
本发明实施例的口腔CT设备,通过实现上述的排牙方法,可以实现基于口腔CT影像的全自动排牙。进而还可以获取在口腔CT影像中为排牙而对牙齿进行的调整,从而为实际治疗提供参考。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种排牙方法,其特征在于,包括以下步骤:
获取口腔CT影像;
对所述口腔CT影像进行分割处理,得到每颗牙齿的第一定位框;
根据所述第一定位框确定多个排牙参考点;
根据所述多个排牙参考点对所有第一定位框进行排序,得到排序结果;
利用预先训练好的分类模型识别每颗牙齿的牙齿类型;
根据所述排序结果和所述牙齿类型,确定排牙结果。
2.如权利要求1所述的排牙方法,其特征在于,所述根据所述第一定位框确定多个排牙参考点,包括:
计算每个所述第一定位框的中心坐标得到相应的第一中心坐标,并根据所述第一定位框得到牙齿整体区域的第二定位框;
根据所述第一中心坐标和所述第二定位框,确定所述多个排牙参考点。
3.如权利要求2所述的排牙方法,其特征在于,所述多个排牙参考点包括中心参考点、左侧参考点和右侧参考点,其中,所述根据所述第一中心坐标和所述第二定位框,确定所述多个排牙参考点,包括:
根据所述第一中心坐标和所述第二定位框,确定最左上方的第一定位框和最右上方的第一定位框;
计算所述第二定位框的中心坐标得到第二中心坐标;
根据所述第二中心坐标,确定所述中心参考点;
将所述最左上方的第一定位框的下边缘点向左沿横坐标方向延伸,并与所述第二定位框相交,将交点作为所述左侧参考点,以及将所述最右上方的第一定位框的下边缘点向右沿横坐标方向延伸,并与所述第二定位框相交,将交点作为所述右侧参考点。
4.如权利要求3所述的排牙方法,其特征在于,所述多个排牙参考点包括中心参考点、左侧参考点、右侧参考点,以及左部参考点和/或右部参考点,
所述根据所述第一中心坐标和所述第二定位框,确定所述多个排牙参考点,还包括:
确定所述中心参考点和所述左侧参考点之间纵向直线,从该纵向直线与第一定位框的交点中确定一个交点作为左部参考点;和/或,
确定所述中心参考点和所述右侧参考点之间纵向直线,从该纵向直线与第一定位框的交点中确定一个交点作为左部参考点。
5.如权利要求3所述的排牙方法,其特征在于,所述根据所述第二中心坐标,确定所述中心参考点,包括:
确定每个所述第一定位框横坐标的最小值和最大值;
将所述横坐标的最小值和最大值与所述第二中心坐标中的横坐标进行比较;
从满足预设条件的第一定位框中选择一个,其中,所述预设条件为横坐标的最小值小于或等于所述第二中心坐标中的横坐标,且所述横坐标的最大值大于或等于所述第二中心坐标中的横坐标;
根据所选择的第一定位框和所述第二中心坐标,确定所述中心参考点。
6.如权利要求3所述的排牙方法,其特征在于,所述根据所选择的第一定位框和所述第二中心坐标,确定所述中心参考点,包括以下方式一、二和三中的任一种:
方式一:
确定所选择的第一定位框纵坐标的最小值和最大值;
将所述纵坐标的最小值和最大值中较接近所述第二中心坐标中的纵坐标的值作为所述中心参考点的纵坐标;
将所述第二中心坐标中的横坐标作为所述中心参考点的横坐标;
方式二:
直接确定所述中心参考点为所述第二定位框的中心点;
方式三:
在方式一无法确定中心参考点的情况下,确定所述中心参考点为所述第二定位框的中心点。
7.如权利要求3-6中任一项所述的排牙方法,其特征在于,所述根据所述多个排牙参考点对所有第一定位框的位置进行排序,包括:
确定横向每两个相邻的排牙参考点所在直线的目标方程,将相应两个排牙参考点横向之间的第一定位框的横坐标代入对应的目标方程,得到纵坐标参考值;
根据所述纵坐标参考值与所述中心参考点的纵坐标的大小,确定相应第一定位框对应的牙齿为上排牙或下排牙;
根据第一定位框的坐标,对上排牙和下排牙进行排序。
8.如权利要求1所述的排牙方法,其特征在于,所述方法还包括:
根据所述排序结果判断是否存在缺牙;
如果存在,则根据所述排序结果确定中切牙位置,并根据缺牙位置两侧的第一定位框确定缺牙定位框;
根据所述中切牙位置确定所述缺牙定位框的位置,并根据该位置和所述缺牙定位框对所述初始排序结果进行修正。
9.如权利要求1所述的排牙方法,其特征在于,所述对所述口腔CT影像进行分割处理,得到每颗牙齿的第一定位框,包括:
利用预先训练好的第一神经网络定位出所述口腔CT影像中的牙齿整体区域;
利用预先训练好的第二神经网络定位出所述牙齿整体区域中的预设范围的单颗牙齿区域,得到第一定位框。
10.一种牙齿正畸模拟方法,其特征在于,所述方法包括以下步骤:
确定所述待矫正模型的牙弓线,根据所述牙弓线和预存的牙齿标准模型,生成目标模型;
根据所述目标模型的每颗牙齿,对待矫正模型中相应牙齿进行第一调整,以实现对所述待矫正模型中牙列的正畸模拟,其中,所述目标模型与所述待矫正模型中的相应牙齿是根据所述待矫正模型的排牙结果是识别到的,所述待矫正模型是根据权利要求1-9中任一项所述的排牙方法进行排牙得到的。
11.如权利要求10所述的牙齿正畸模拟方法,其特征在于,所述方法还包括:
根据第一调整后的相应牙齿与其相邻牙齿的间距,对该相应牙齿进行第二调整。
12.如权利要求10所述的牙齿正畸模拟方法,其特征在于,所述方法还包括:
根据用户输入的调整参数,对所述待矫正模型相应牙齿进行第三调整。
13.如权利要求10所述的牙齿正畸模拟方法,其特征在于,所述方法还包括:
计算待调整牙齿的牙根与颌骨面间的最小距离;
根据所述最小距离判断所述牙根与所述颌骨面是否存在相交;
如果存在相交,在第一预设位置范围内对应相应牙齿进行第四调整。
14.如权利要求10-13中任一项所述的牙齿正畸模拟方法,其特征在于,在对所有单颗牙齿完成调整后,所述方法还包括:
计算上下颌各对位牙齿牙冠面之间的第一距离;
根据第一距离,以及对位牙齿的牙冠面上下相对位置,在第二预设位置范围内调整对位牙齿的垂直向位置。
15.如权利要求10-13中任一项所述的牙齿正畸模拟方法,其特征在于,所述第一调整包括:平移、旋转和扭转;
所述第二调整包括:平移;
所述第三调整包括:平移、旋转和扭转。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-9中任一项所述的排牙方法,或者,实现如权利要求10-15中任一项所述的牙齿正畸模拟方法。
17.一种口腔CT设备,包括存储器、处理器和存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-9中任一项所述的排牙方法,或者,实现如权利要求10-15中任一项所述的牙齿正畸模拟方法。
CN202110481370.1A 2021-04-30 2021-04-30 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备 Pending CN115252174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110481370.1A CN115252174A (zh) 2021-04-30 2021-04-30 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110481370.1A CN115252174A (zh) 2021-04-30 2021-04-30 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备

Publications (1)

Publication Number Publication Date
CN115252174A true CN115252174A (zh) 2022-11-01

Family

ID=83744973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110481370.1A Pending CN115252174A (zh) 2021-04-30 2021-04-30 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备

Country Status (1)

Country Link
CN (1) CN115252174A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471663A (zh) * 2022-11-15 2022-12-13 上海领健信息技术有限公司 基于深度学习的三阶段牙冠分割方法、装置、终端及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146178A (ja) * 2007-12-14 2009-07-02 Hitachi Medical Computer Systems Inc 医用画像診断支援装置及び医用画像診断支援プログラム
KR101014337B1 (ko) * 2010-11-08 2011-02-14 한국생산기술연구원 치열궁 표준화 데이터를 포함한 하악골 형태 정보 확보를 위한 하악골 치수 측정방법
US20120009542A1 (en) * 2010-07-12 2012-01-12 James Keddington Apparatus, system, and method for removal of dental prosthesis
WO2016108453A1 (ko) * 2014-12-31 2016-07-07 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
JP2017035173A (ja) * 2015-08-07 2017-02-16 株式会社吉田製作所 歯牙解析装置およびそのプログラム
KR101723654B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR101723652B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록 매체
CN109907722A (zh) * 2019-04-25 2019-06-21 河南科技大学第一附属医院 一种用于消化内科送药的口腔支架
KR20200000758A (ko) * 2018-06-25 2020-01-03 오스템임플란트 주식회사 치아 셋업 과정에서 악궁 라인을 자동으로 생성하는 장치 및 그 방법
KR20200005844A (ko) * 2018-07-09 2020-01-17 오스템임플란트 주식회사 악궁 라인을 이용한 치아 셋업 장치 및 그 방법
US10695146B1 (en) * 2019-12-04 2020-06-30 Oxilio Ltd Systems and methods for determining orthodontic treatments
CN112120810A (zh) * 2020-09-29 2020-12-25 深圳市深图医学影像设备有限公司 一种牙齿正畸隐型矫治器的三维数据生成方法
US11701204B1 (en) * 2022-11-04 2023-07-18 Oxilio Ltd Systems and methods for planning an orthodontic treatment

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146178A (ja) * 2007-12-14 2009-07-02 Hitachi Medical Computer Systems Inc 医用画像診断支援装置及び医用画像診断支援プログラム
US20120009542A1 (en) * 2010-07-12 2012-01-12 James Keddington Apparatus, system, and method for removal of dental prosthesis
KR101014337B1 (ko) * 2010-11-08 2011-02-14 한국생산기술연구원 치열궁 표준화 데이터를 포함한 하악골 형태 정보 확보를 위한 하악골 치수 측정방법
WO2016108453A1 (ko) * 2014-12-31 2016-07-07 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
JP2017035173A (ja) * 2015-08-07 2017-02-16 株式会社吉田製作所 歯牙解析装置およびそのプログラム
KR101723652B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록 매체
KR101723654B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20200000758A (ko) * 2018-06-25 2020-01-03 오스템임플란트 주식회사 치아 셋업 과정에서 악궁 라인을 자동으로 생성하는 장치 및 그 방법
KR20200005844A (ko) * 2018-07-09 2020-01-17 오스템임플란트 주식회사 악궁 라인을 이용한 치아 셋업 장치 및 그 방법
CN109907722A (zh) * 2019-04-25 2019-06-21 河南科技大学第一附属医院 一种用于消化内科送药的口腔支架
US10695146B1 (en) * 2019-12-04 2020-06-30 Oxilio Ltd Systems and methods for determining orthodontic treatments
CN112120810A (zh) * 2020-09-29 2020-12-25 深圳市深图医学影像设备有限公司 一种牙齿正畸隐型矫治器的三维数据生成方法
US11701204B1 (en) * 2022-11-04 2023-07-18 Oxilio Ltd Systems and methods for planning an orthodontic treatment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NIU ZIRU等: "Digital modeling of rack variable ratio tooth profile of rack and pinion steering gear", 《COMPUTER INTEGRATED MANUFACTURING SYSTEMS》, 31 October 2018 (2018-10-31) *
白石柱等: "口腔种植数字化外科导板临床应用规范", 《中华老年口腔医学杂志》, 20 July 2023 (2023-07-20) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471663A (zh) * 2022-11-15 2022-12-13 上海领健信息技术有限公司 基于深度学习的三阶段牙冠分割方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
US11707344B2 (en) Segmentation quality assessment
US11751974B2 (en) Automatic ectopic teeth detection on scan
US10335251B2 (en) Orthodontic digital setups
CN109310488B (zh) 用于估计牙齿修复体的形状、位置以及取向中的至少一个的方法
CN115272359A (zh) 牙齿分割方法、牙齿面数据获取方法和口腔ct设备
CN110326023B (zh) 用于头影测量分析的方法
US9138299B2 (en) Method and system for establishing the shape of the occlusal access cavity in endodontic treatment
CN110612069A (zh) 动态牙弓图
KR20200109292A (ko) 치열 교정 응용에서 최적화 방법
EP3471617B1 (en) Method and system for 3d cephalometric analysis
WO2015179084A1 (en) Method for 3-d cephalometric analysis
US20230206451A1 (en) Method for automatic segmentation of a dental arch
US20220361992A1 (en) System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning
CN115252174A (zh) 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备
WO2023194500A1 (en) Tooth position determination and generation of 2d reslice images with an artificial neural network
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
US20230298272A1 (en) System and Method for an Automated Surgical Guide Design (SGD)
US20230419631A1 (en) Guided Implant Surgery Planning System and Method
CN114463328B (zh) 一种自动化正畸难度系数评估方法
EP4307229A1 (en) Method and system for tooth pose estimation
US20230013902A1 (en) System and Method for Correcting for Distortions of a Diagnostic Image
US20230051400A1 (en) System and Method for Fusion of Volumetric and Surface Scan Images
CN117788747A (zh) 一种口扫数据与cbct融合的牙冠三维重建方法
JP2023551897A (ja) 歯列矯正器具における最適化の方法
KR20230041560A (ko) 인공신경망 학습을 통한 하치조 신경 추론 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination