CN117769721A - 用于获取牙弓模型的方法 - Google Patents

用于获取牙弓模型的方法 Download PDF

Info

Publication number
CN117769721A
CN117769721A CN202280052170.7A CN202280052170A CN117769721A CN 117769721 A CN117769721 A CN 117769721A CN 202280052170 A CN202280052170 A CN 202280052170A CN 117769721 A CN117769721 A CN 117769721A
Authority
CN
China
Prior art keywords
model
updated
update
acquisition
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280052170.7A
Other languages
English (en)
Inventor
托马斯·佩利萨尔德
纪尧姆·盖塞林克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dental Monitoring Co
Original Assignee
Dental Monitoring Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR2105389A external-priority patent/FR3123200A1/fr
Application filed by Dental Monitoring Co filed Critical Dental Monitoring Co
Publication of CN117769721A publication Critical patent/CN117769721A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4547Evaluating teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4848Monitoring or testing the effects of treatment, e.g. of medication
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Psychiatry (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

一种用于获取使用者(U)的牙弓的模型的方法,所述方法包括以下步骤:a)在更新时刻,使用者使用便携式扫描仪(12)口外获取所述牙弓的数字三维模型(8),并且可选地分割所述牙弓的模型以分离所述牙弓的模型的一部分(30),以获得“更新模型”,因此所述更新模型能够是获取模型或通过分割而分离的所述获取模型的所述部分,由所述更新模型表示的对象被称为“更新对象”。

Description

用于获取牙弓模型的方法
技术领域
本发明涉及用于获取使用者的牙弓模型的方法以及用于实施该方法的计算机程序。
背景技术
每个人都应定期监测自己的齿列,尤其是为了检查牙齿的位置和/或形状和/或外观(或质地)是否变差。
在正畸治疗期间,这种变差会明显导致治疗的改变。在正畸治疗后,这种变差(称为“复发”)可能导致治疗重复。最后,更一般地且与任何治疗无关地,每个人都可能希望监测他们牙齿可能的移动、和/或形状和/或外观的变化。
通常,监测是由正畸医生或牙医进行的,这些人单独拥有合适的可用设备。因此,这种监测是昂贵的。此外,访问也很有压力。最后,可用的专业扫描仪是准确的,但需要特定的技能水平。它们通常用于患者的口内获取,或用于口外获取以用于患者牙弓的建模。
此外,US15/522,520描述了一种方法,该方法使得能够基于使用者在更新时刻拍摄的牙齿的简单照片,来准确地评估从初始时刻开始的牙齿的移动和/或变形。为此,在初始时刻,优选地使用专业扫描仪来产生使用者牙弓的数字三维模型。然后对该初始模型进行分割,以便为每个牙齿定义牙齿模型。最后,移动牙齿模型以变换牙弓的初始模型,从而使其尽可能最好地与照片匹配。该方法使得能够以优异的精度获得表示更新时刻的牙弓的模型,而使用者不需要前往来扫描他们的牙齿。然后可以将该模型与初始模型进行比较,以监测使用者牙齿的定位和/或形状。
这种方法对使用者来说是实用的,但需要至少一次预约才能获取牙弓的初始模型。然后需要费力的数据处理来分割初始模型并使初始模型变形。
因此,需要一种如US15/522,520中所述的用于远程监测使用者的牙齿状况的方法,但是该方法对于使用者来说更实用并且可以更快地实施。
本发明的一个目的是至少部分地解决这个问题。
发明内容
本发明提供了一种用于获取使用者的至少一个牙弓的模型的方法,所述方法包括以下步骤:
a)在更新时刻,使用便携式扫描仪并由所述使用者优选口外地获取所述牙弓的数字三维模型或“获取模型”,并且可选地分割所述获取模型以分离所述牙弓的模型的一部分、优选地牙齿模型,
以获得“更新模型”,因此所述更新模型可以是所述获取模型或通过分割而分离的所述获取模型的所述部分,由所述更新模型表示的对象被称为“更新对象”。
如将在说明书的其余部分中更详细地看到的,发明人已经发现,可以使用便携式扫描仪来优选地口外地并且在不采取任何特别的注意事项的情况下,产生足够高质量的牙弓或牙齿的模型以用于正畸。这种方法似乎与获取足够完整和准确的模型不兼容。
有利地,获取可以由使用者自己执行,这打开了广泛的应用范围。特别地,获取不再需要前往牙科保健专业人员那里。此外,根据本发明的方法使得能够比根据现有技术的方法更快地分析使用者的牙齿状况。值得注意的是,不需要根据照片构建牙弓模型。
一般而言,牙弓的3D模型通常是使用3D光学扫描仪口内获取的,口内获取允许传感器非常靠近牙弓,从而提供高度准确的信息。
口外(或“口腔外”)获取设备,也就是说,获取传感器、特别是相机或摄影图像捕获设备的传感器没有被引入使用者嘴中的获取设备,是现代的并且使用照片使使用传统3D光学扫描仪获得的初始模型变形。这种变形所需的数据处理是昂贵的。
发明人已经成功地测试了优选口外的便携式扫描仪、特别是激光雷达(LIDAR),并发现这种扫描仪允许患者自己获取他们牙弓的高质量的模型。有利地,例如在正畸治疗开始时,不需要获取初始模型、然后基于扫描仪获取的图像使其变形。对由扫描仪获取的图像的处理特别使得能够根据传统上用于3D光学扫描仪的技术直接获得牙弓的模型。
在一个有利的实施方式中,便携式扫描仪具有低精度。这是因为所需要的只是记录牙弓上几个显著点的空间位置,以形成更新模型。有利地,利用有限且便携的技术手段可以获取低精度模型。低精度模型也不需要太多的内存来存储。它可以轻松快速地被远程发送,例如通过无线电发送。
优选地,便携式扫描仪:
-集成在用于所述口外获取的手机中,或者
-包括手机和获取工具,所述获取工具包括能够被引入使用者嘴中的获取头,所述获取头:
-获取所述获取模型,优选地借助于激光雷达获取所述获取模型,并将所述获取模型发送到手机,或者
-获取信号并将其发送到手机,使得所述手机自主地或使用与所述手机通信的计算机根据所述信号生成所述获取模型。
优选地,手机将所述获取模型和/或更新模型发送给牙科保健专业人员,优选地通过无线电进行发送,所述牙科保健专业人员优选地在距离使用者大于100米、或大于1km、或大于10km,和/或小于50000km的距离处。
根据本发明的分析方法还可以包括以下可选特征中的一个或多个:
—在步骤a)中,对更新模型进行数据处理以对其进行校正,所述校正可以包括修改所述更新模型或用校正模型替换所述更新模型;
—在步骤a)中,将所述更新模型与校正模型进行比较,以获得所述更新模型和所述校正模型之间的形状差异的度量,然后
-修改所述更新模型以减小所述形状差异,优选地使所述形状差异最小化,优选地借助于元启发式方法、特别是从下面列出的方法中选择的元启发式方法、优选地通过模拟退火来进行所述修改,或者
-根据所述度量,保持所述更新模型不变或者用所述校正模型替换所述更新模型;
—在步骤a)中,将所述更新模型提交给神经网络,该神经网络被训练为使作为输入呈现给它的数字三维模型更加逼真;
—所述更新对象是使用者的所述牙弓或所述牙弓的牙齿;
—所述校正模型是:
-在与更新时刻不同的时刻,通过扫描所述更新对象而获得的模型,或者
-示出具有理论形状、优选地由模拟产生的理论形状的所述更新对象的模型,或者
-代表一组个体的对象的模型,所述对象与更新对象具有相同的类型,优选地是牙弓或牙齿,例如正畸操作训练模具或来自正畸操作训练模具的牙齿;
—所述校正模型是:
-更新对象的模型,其通过扫描获得,优选地使用便携式扫描仪或使用专业扫描仪获得,优选地在更新时刻之前大于2周、4周、6周、2个月、3个月,和/或小于12个月、或小于6个月的时刻获得,或者
-更新对象的模型,其模拟在更新时刻所预计的所述更新对象的形状,并且优选地在更新时刻之前大于2周、4周、6周、2个月、3个月,和/或小于6个月的时刻产生的形状,或者
-更新对象的模型,其模拟如在更新时刻之后或之前的“校正”时刻所预计的所述更新对象的形状,所述更新时刻和所述校正时刻之间的时间间隔优选地长于一周、优选地长于2周、4周、6周、2个月,和/或短于6个月,
所述模型优选在更新时刻之前大于2周、大于4周、大于6周、大于2个月或大于3个月产生,或者
-历史模型,其从包括多于1000个历史模型的历史库中选择,所述历史模型表示与更新模型相同类型的对象,所述选择优选地被引导,使得所选择的历史模型是在形状方面与更新模型最佳适配的历史模型,或者
-通过对来自所述历史库的历史模型进行统计处理而获得的模型,优选地使得通过统计处理获得的模型代表多个个体的群体;
—所述历史库仅包括满足与更新模型相同分类标准的历史模型,例如和与使用者共享至少一个特征(例如,相同的年龄和/或相同的性别和/或相同的病症和/或遵循相同的正畸治疗或相似的正畸治疗)的个体有关的历史模型;
-在步骤a)中,通过将更新模型作为输入输入到经训练的神经网络中以校正模型,来校正更新模型,所述神经网络优选地选自以下步骤iv)的详细描述中列出的神经网络;和/或,
—在步骤a)中,通过以下步骤校正更新模型:
i)创建历史库,所述历史库包括多于1000个、优选多于5000个、优选多于10000个历史模型,每个历史模型对与更新对象相同类型的对象进行建模,例如,如果更新模型分别对牙弓或牙齿进行建模,则对牙弓或牙进行建模,以及
将分类标准的值归于每个历史模型;
ii)分析更新模型,以便确定更新对象的所述分类标准的值;
iii)在历史库中搜索对于所述分类标准具有相同值并且与所述更新模型最佳适配的历史模型或“最佳模型”;
iv)基于与所述最佳模型相关的信息来修改更新模型,该修改可以包括用所述最佳模型替换更新模型;
—在步骤a)中,对获取模型进行分割,以定义多个牙齿模型,然后,对于被认为是更新模型的每个牙齿模型,执行步骤i)到iv)的循环,其中,在步骤iv)中确定的最佳模型被设置为替换所述获取模型中的牙齿模型,这有利地使得能够根据低精度的获取模型重建高度准确的牙弓模型;
—在步骤a)中,通过以下步骤校正更新模型:
i’)定义:
-第一确定区,其以大于90%、优选大于95%、优选大于99%的精度由更新模型上表示患者的一部分(例如牙齿)的多个点或多个“第一确定点”形成,以及
-第一不确定区,其构成100%的所述更新模型的剩余部分;
ii’)基于唯一的第一确定区,外推第一确定区,以便在第一不确定区的区域中定义第一重建区,然后
定义:
-第二确定区,其由第一不确定区中与第一重建区域间隔开小于阈值距离的距离的多个点或多个“第二确定点”形成;以及
-第二不确定区,其构成100%的第一不确定区的剩余部分;
iii’)基于第一确定区和第二确定区形成的唯一的聚集体,外推该聚集体以在第二不确定区的区域中定义第二重建区,然后
用第二重建区替换第二不确定区,以获得干净的更新模型;
—在步骤a)中,通过将更新模型提交给经训练的神经网络,通过向该神经网络提供与更新对象相同类型的对象的粗略模型作为输入,并且使所述粗略模型变得超逼真作为输出,来校正更新模型;
—在步骤a)中,对更新模型进行数据处理以简化它;
—便携式扫描仪集成在手机中或包括手机和获取工具,获取工具包括能够被引入使用者嘴中的获取头,获取工具与手机通信以发送获取模型或更新模型;
—获取头连接到手机,优选地以或通过线连接到手机;
—手机用于通过无线电发送获取模型或更新模型,优选地发送到牙科保健专业人员,特别是发送到正畸医生,和/或发送到数据处理中心,优选地以用于实施步骤b)和/或c);
—便携式扫描仪是用于“光检测和测距”的激光雷达;
—在步骤a)中,便携式扫描仪将结构化光直接投射到患者的牙齿上,并获取不同于照片的图像;
—在步骤a)中,使用者修改便携式扫描仪的角度,优选地通过相对于患者的牙齿移动便携式扫描仪,优选地水平地和/或竖直地,优选地在嘴张开和嘴闭合的情况下进行移动;
—在步骤a)中,使用者将他们的嘴唇和/或脸颊分开,以使他们的牙齿对便携式扫描仪可见,然后获取所述获取模型,优选口外地获取,也就是说,在不将便携式扫描仪放入使用者的嘴里、甚至部分地放入他们的嘴里的情况下获取;
—优选地,使用者利用牵开器和/或便携式扫描仪的支架来提高获取模型的质量;
—在步骤a)中,将便携式扫描仪固定在包括边缘的支架上,边缘插入使用者的嘴唇和牙齿之间;
—所述支架包括限定口腔开口的管状牵开器,所述边缘围绕所述口腔开口的外围延伸;
—在步骤a)中,使用者修改便携式扫描仪的角度,优选地通过相对于患者的牙齿移动支架,优选地水平地和/或竖直地,优选地在嘴张开和嘴闭合的情况下进行移动,将支架的边缘保持在使用者的牙齿和使用者的嘴唇之间;
—在步骤a)中,优选如上所述,对使用便携式扫描仪获取的模型进行分割,以定义多个牙齿模型,然后依次校正和/或简化所述牙齿模型中的每一个;
—在步骤a)之后,该方法包括以下步骤:
b)确定更新模型的尺寸参数的至少一个值或“尺寸值”、和/或更新模型的外观参数的至少一个值或“外观值”;
—在步骤b)中,定义多于两个尺寸值、优选足够的尺寸值来定义更新模型上的至少一个点、优选更新模型上的多于10个、多于100个、多于500个点的空间位置;
—从以下中选择尺寸参数:
-更新模型的尺寸;
-从更新模型上的显著点到参考的距离,该参考优选地相对于更新模型固定,优选地,是与更新模型一样以标准构造布置的参考模型,以及
-从更新模型的一个或多个尺寸和/或从从更新模型上的一个或多个显著点到所述参考的一个或多个距离得到的参数;
—从以下中选择外观参数:颜色,反射比,透明度,反射率,阴影,半透明度,乳白色,牙齿上存在牙垢、牙菌斑或食物沉积物的指示;
—为了确定所述尺寸值,测量更新模型上的点和与所述更新模型一样以标准构造布置的参考模型上的点之间的距离;
—参考模型优选地是:
-通过扫描获得的更新对象的模型,优选地使用便携式扫描仪或使用专业扫描仪获得,优选地在更新时刻之前大于2周、4周、6周、2个月、3个月,和/或小于6个月的时刻获得,或者
-更新对象的模型,其模拟如在更新时刻所预计的所述对象的形状,并且优选地在更新时刻之前大于2周、4周、6周、2个月、3个月,和/或小于6个月的时刻产生的形状,或者
-更新对象的模型,其模拟如在更新时刻之后或之前的参考时刻所预计的所述对象的形状,所述更新时刻和所述参考时刻之间的时间间隔优选地长于一周、优选地长于2周、4周、6周、2个月,和/或短于6个月,
所述模型优选在更新时刻之前大于2周、大于4周、大于6周、大于2个月或大于3个月产生,或者
-从包括多于1000个、优选多于10000个、优选多于100000个历史模型的历史库中选择的历史模型,所述历史模型表示与更新对象相同类型的对象,所述选择优选地被引导,使得所选择的历史模型是在形状方面与更新模型最佳适配的历史模型,或者
-通过对来自所述历史库的历史模型进行统计处理而获得的模型,优选地使得通过统计处理获得的模型代表多个个体的群体;
—该方法包括在步骤b)之后的以下步骤:
c)使用尺寸值和/或外观值:
-检测或评估牙齿的位置或形状和/或牙齿的位置或形状的变化和/或牙齿的位置或形状的变化速率,和/或
-检测或评估正畸矫治器的位置或形状和/或正畸矫治器的位置或形状的变化和/或正畸矫治器的位置或形状的变化速率,和/或
-测量两个日期之间患者牙齿形状的变化,和/或
-进行牙科学研究;
—在步骤c)中,所述尺寸值和/或外观值用于:
-检测或评估牙齿萌出后染色或腐烂情况的位置或形状,和/或
-检测牙齿的复发或异常位置,和/或
-检测牙齿磨损,和/或
-监测两个牙齿之间的至少一个空间的打开或闭合,和/或
-监测咬合的稳定性或改变,
-监测牙齿朝向预定位置的移动,和/或
-检测或评估正畸支架或矫治器的脱离,
-优化与牙科保健专业人员预约的日期,和/或
-评估正畸指数、特别是选自以下正畸指数定义中列出的正畸指数,
所述正畸指数优选地是指示以下的正畸指数:
-使用者的犬齿是否已达到咬合等级n°I,和/或
-使用者的臼齿是否已达到咬合等级n°I,和/或
-患者的前牙空间是否闭合,和/或
-由牙齿的移除产生的所有空间是否闭合,和/或
-使用者是否具有正常的优选地包括在1mm和3mm之间的龅牙,和/或
-使用者是否具有正常的优选地包括在1mm和3mm之间的覆牙,和/或
-下牙弓和上牙弓的中线是否偏移,和/或
-使用者是否没有上牙弓相对于下牙弓的横向偏移,和/或
-在上述后两种监测情况下,是否未检测到牙齿移动,和/或
-所有的临时牙齿是否已经掉光,
或者所述正畸指数是以定量方式评估的正畸指数,和/或是评估以下方面的时间变化的正畸指数:
-犬齿的咬合等级,和/或
-臼齿的咬合等级,和/或
-患者的前牙空间,和/或
-由牙齿的移除产生的空间,和/或
-龅牙,和/或
-覆牙,和/或
-下牙弓和上牙弓的中线之间的偏移,和/或
-上牙弓相对于下牙弓的横向偏移,和/或
-在上述后两种监测情况下牙齿的移动,和/或
-评估主动正畸治疗的有效性,和/或
-测量主动正畸器具的活动性;和/或
-测量被动正畸器具的有效性的下降;和/或
-将使用者的牙齿在更新时刻的定位与由目标理论模型表示的所述牙齿的定位进行比较,所述目标理论模型优选地是中间模型,该中间模型表示根据治疗计划的在正畸治疗的最终步骤或中间步骤的预计位置的所述牙齿,或者中间“设置”;和/或
-评估校正或调整正畸治疗的必要性,例如通过在使用正畸矫正器的正畸治疗范围内设计和制造一系列新的正畸矫正器,或者通过改变正畸治疗的类型(例如从使用支架的治疗改变为使用正畸矫治器的治疗,或者反之亦然)来进行评估;和/或
-测量患者义齿在两个日期之间的形状变化,这两个日期因出现对牙齿的撞击而分开,或因使用用于治疗睡眠呼吸暂停的牙科设备而分开,或者因患者嘴中出现移植物而分开;
—在步骤a)中,对使用手机获取的模型进行分割以定义多个牙齿模型,然后执行所述步骤b)以定义每个牙齿模型的至少一个尺寸值,所述至少一个尺寸值如所述步骤b)的更新模型所定义的;
—在步骤a)中,使用者优选地使用同一部手机获取所述获取模型以及一个或多个更新图像,优选彩色照片,优选真彩照片,以及,
在步骤b)中,确定与在一个或多个更新图像上表示的一个或多个对象(优选牙齿)的尺寸和/或外观有关的信息,然后使用所述信息来补充和/或校正基于更新模型确定的所述尺寸值和/或所述外观值;
—在步骤a)中,获取模型包括少于500个点。
本发明还涉及:
-一种计算机程序,特别是用于手机的专用应用程序,包括用于当所述程序由计算机运行时执行步骤a)、优选地步骤b)、优选地步骤c)的程序代码指令,
-一种记录有这种程序的计算机介质,例如存储器或CD-ROM,以及
-一种便携式扫描仪,特别是并入手机中的扫描仪,其上加载有这样的程序。
因此,本发明涉及一种便携式扫描仪,优选地集成在手机中的便携式扫描仪,其能够实施步骤a)的获取,并且优选地实施本说明书中描述的一个或多个校正和/或简化方法,优选地实施步骤b),更优选地实施步骤c)。
定义
“使用者”应理解为是指实施根据本发明的方法的任何人,无论此人是否生病或正在接受正畸治疗。
“牙科保健专业人员”应理解为是指任何有资格提供牙科保健的人,特别包括正畸医生和牙医。
“正畸治疗”是指旨在修改牙弓的形状的治疗(主动正畸治疗)或保持牙弓的形状(特别是在主动正畸治疗结束后保持牙弓的形状)的治疗(被动正畸治疗)的全部或一部分。
正畸指数是能够综合评估牙弓的形状和/或形状变化的指数。它们可以特定于一个牙弓或两个牙弓的集合(“牙弓间”指数)。以下可作为示例来引用:
覆牙、龅牙、大小(特别是Nance指数)、切迹间环境的偏差、犬齿和/或臼齿咬合等级、不规则指数(特别是Little指数)、前牙开牙合、侧牙开牙合、舌后反牙合、颊后反牙合、理想弓丝长度、齿间空间的存在或不存在、Spee曲线的水平指数、某些牙齿上显著旋转(例如大于10°)的存在,
以及这些指数的组合及其变化。正畸指数的示例是用于定义ABO(美国正畸委员会)差异指数的那些指数。
“正畸器具”是指使用者佩戴或打算佩戴的器具。正畸器具可以用于治疗或预防性治疗,也可以用于美容性治疗。正畸器具可以特别是弓丝和托槽器具,或者正畸矫治器,或者Carriere Motion类型的辅助器具。
“弓”或“牙弓”应理解为是指牙弓的全部或一部分。
“图像”应理解为是指二维的数字表示,如照片或从影片中提取的图像。图像是由像素组成的。
“模型”应理解为是指数字三维模型。模型由一组体素组成。它通常包括由直线段连接的点组成的网格,也就是说,三角形的集合。
“牙齿模型”是牙齿的三维数字模型。牙弓模型可以被分割,以便定义至少一些牙齿的牙齿模型,优选地定义在牙弓模型中表示的所有牙齿的模型。因此,牙齿模型是牙弓模型内的模型。
“牙弓模型”是表示牙弓的至少一部分(优选至少2个、优选至少3个、优选至少4个牙齿)的模型。
模型,特别是牙弓或牙齿的模型,当观察它的人觉得他们在观察被建模的对象本身时,就是“超逼真”的。特别地,模型的颜色是被建模的对象的颜色。
“粗略”模型应理解为是指由根据本发明的扫描和可能地校正产生的模型,但其颜色尚未被修改以使其超逼真。
被建模的对象,特别是更新对象的“类型”定义了该对象的性质。对象尤其可以是“牙齿”、“牙弓”或“牙龈”类型。对象也可以是牙齿的子组,例如门齿的组或具有一个或多个牙齿编号的牙齿的组,或者可以是牙弓子组,如上牙弓。
“分类标准”是被建模的对象、特别是牙弓或牙齿的一个属性,其使得能够对被建模的对象进行分类。例如,分类标准可以是咬合类别,被建模的对象的尺寸范围(例如高度、宽度、凹度、犬齿间距离、前臼齿间宽度、臼齿间宽度、牙弓长度、牙弓周长),拥有被建模的对象的人的年龄、性别、病症、或正畸治疗,正畸指数(特别是选自以上列出的正畸指数),或这些标准的组合。
分类标准的使用使得能够尤其选择具有相似或相同特征的被建模的对象。有利地,它使得能够形成非常适合神经网络要处理的对象的学习库。例如,如果神经网络旨在校正表示具有编号14的牙齿的牙齿模型,则优选地使用仅包括与n°14牙齿相关的记录的学习库来训练它。于是牙齿编号就是一个分类标准。
“标准构造”是指模型在空间中以预定取向和预定比例的定位。为了比较表示对象(例如牙弓或牙齿)的两个模型的形状,这两个模型可以以标准构造布置。以标准构造布置模型和确定模型尺寸的标准化方法是众所周知的。为了比较两个模型的形状,特别可以使用迭代最接近点算法(在https://en.wikipedia.org/wiki/Iterative_Closest_Point中描述)。
将牙弓的模型“分割”为多个“牙齿模型”是用于在牙弓模型中界定和自主渲染牙齿的表示(牙齿模型)的操作。存在用于操纵牙弓模型的牙齿模型的计算工具。用于操纵牙齿模型和创建治疗情景的软件示例是Treat程序,如网页https://en.wikipedia.org/wiki/Clear_aligners#cite_note-invisalignsystem-10上所述。
“统计处理”是指当应用于数据集时,可以确定特定于该数据集的特征的处理,例如平均值、标准差或中值。统计处理工具是本领域技术人员公知的。
“元启发式”方法是已知的优化方法。在本发明的范围内,它们优选地选自由以下形成的组:
-进化算法,优选地选自:
进化策略、遗传算法、差分进化算法、分布估计算法、人工免疫系统、洗牌复杂进化路径重建、模拟退火、蚁群算法、粒子群优化算法、禁忌搜索和GRASP方法;
-袋鼠算法,
-Fletcher-Powell方法,
-噪声方法,
-随机隧道,
-随机重启爬山,
-交叉熵方法,以及
-混合了上述元启发式方法的方法。
两个对象之间的“匹配”或“适配”是指这两个对象间的差异或“距离”的度量。当这种差异最小时,匹配是最大的(“最佳适配”)。
“神经网络”或“人工神经网络”是本领域技术人员熟知的一组算法。为了能够操作,神经网络必须通过称为“深度学习”的学习过程根据学习库进行训练。
“学习库”是适合训练神经网络的计算机记录库。由神经网络执行的分析的质量直接取决于学习库中的记录的数量。通常,学习库包括多于1000个、优选多于10000个记录。
神经网络的训练适合于所需的目标,并且不会对本领域的技术人员造成任何特别的困难。训练神经网络包括使其面对学习库,该学习库包含关于神经网络必须学习以进行“匹配”、也就是说相互关联的第一对象和第二对象的信息。
训练可以根据“配对”学习库或“具有对”的学习库来执行,该“配对”学习库或“具有对”的学习库由“对”记录组成,也就是说,每个记录包括用于神经网络的输入的第一对象和用于神经网络的输出的第二相应对象。也可以说神经网络的输入和输出是“配对的”。用所有这些对训练神经网络教导它根据与第一对象相似的任何对象提供与第二对象相似的相应对象。
Phillip Isola Jun-Yan Zhu、Tinghui Zhou、Alexei A.Efros,加州大学伯克利分校伯克利人工智能研究(BAIR)实验室的文章“Image-to-Image Translation withConditional Adversarial Networks”示出了配对学习库的使用。
“参考”的作用是作为测量一个或多个距离的基础。参考可以是例如三维参考系,例如正交参考系。三维参考系优选地相对于所讨论的模型是固定的。如果模型表示牙弓,那么它的原点例如可以位于使用者颊腔的中心。特别地,三维参考系优选地与便携式扫描仪的位置和取向无关。
牙弓的尺寸(长度、宽度、高度)通常是在考虑牙弓在水平面内的情况下测量的。于是,高度方向Y就是竖直方向。宽度方向X是使用者的横向方向,它从使用者的右侧向他们的左侧延伸。长度方向Z是使用者的深度方向,它从使用者的前侧向他们的后侧延伸。
牙齿的尺寸(长度、宽度、高度)通常是在考虑牙弓在水平面内的情况下测量的。那么,高度方向Y’就是竖直方向。宽度方向X’是从前面垂直于高度方向观察时牙齿的最大尺寸的方向。长度方向Z’是垂直于方向Y’和X’的方向。
根据世界牙科联合会的国际公约,牙弓的每个牙齿都具有预定编号。该公约定义的齿编号如图6所示。
“显著点”是指牙弓模型或牙齿模型上的可以识别的点,例如牙齿的顶点或犬齿的尖端、齿间接触点,也就是说一个牙齿与相邻牙齿之间的接触点,例如牙齿切缘上的近中或远中点,或牙冠中心的点,或“重心”。
“角度”是在步骤a)中获取模型期间,便携式扫描仪的光轴相对于使用者的取向。
3D扫描仪或“扫描仪”是一种用于获得牙齿模型或牙弓模型的设备。它通常使用结构化光,并且基于各种图像并且优选地通过使这些图像上的特定点匹配来形成3D模型。
更具体地,便携式扫描仪在获取所述图像时将结构化光投影到患者的牙齿上。扫描仪可以将发光图案投影到牙齿上。该图案的变形使得能够在空间上解释场景。
可以引用的传统使用的技术包括一维或二维图案的投影、多带激光三角测量(MLT)、数字条纹和调制相位技术。
作为结构化光的投影的替代或补充,便携式扫描仪在获取所述图像时将调制光投影到患者的牙齿上。于是投影的光是动态的,并且扫描仪的相机测量反射的光随时间的变化,以便由此推断光行进的距离。可以引用的传统使用的技术特别包括调制相位技术。
对图像的分析使得能够构建模型。
图像可以是与通过传统的口内3D光学扫描仪获取的图像相同类型的图像。
图像是观察到的场景的表示,在本例中是患者的牙齿,但它们的性质特定于照射场景的光源的性质。图像优选地不是人会直接观察到的真实地表示场景的照片。
使用扫描仪获取的模型和扫描对象之间的最大形状差异(按比例)与扫描仪的性能成反比。它被称为扫描仪的“获取分辨率”或“精度”。分辨率越小,模型就越忠实于现实。
激光雷达特别适合于本发明,因为它使得能够由患者自己口外获取精确的牙弓模型,其中激光直接投射到患者的牙齿上。
专业扫描仪优选地具有小于5/10mm(也就是说,使用扫描仪获取的模型和实际扫描对象之间的最大形状差,按比例,小于5/10mm)、优选小于3/10mm、优选小于1/10mm、优选小于1/50mm、优选小于1/100mm,和/或大于1/500mm的精度。
“手机”或“移动电话”是指类型的设备。这种设备通常重量小于500g,或小于200g,具有摄影图像捕获设备,该摄影图像捕获设备包括允许拍摄影片或照片的镜头,或者甚至包括允许获取三维数字模型的扫描仪。手机还能够与距离手机大于500km的另一台设备交换数据,并能够在屏幕上显示其能够获取的影片、照片或模型。
“牵开器”,或“牙科牵开器”,是一种旨在将嘴唇向后推的设备。它包括上边缘和下边缘,和/或右边缘和左边缘,这些边缘围绕牵开器开口延伸,并旨在引入牙齿和嘴唇之间。在使用位置,使用者的嘴唇压靠在这些边缘上,使得通过牵开器开口可以看到牙齿。因此,牵开器可以在不受嘴唇阻碍的情况下观察牙齿。
然而,牙齿不靠在牵开器上,这意味着使用者能够通过相对于牵开器转动头部来修改通过牵开器的开口可见的牙齿。使用者还可以修改他们的牙弓之间的间距。特别地,牵开器不会压靠在牙齿上以使两个颌部彼此间隔开,而是压在嘴唇上。
在一个实施方式中,牵开器被配置为使上嘴唇和下嘴唇彼此弹性地间隔开,从而使牙齿通过牵开器开口可见。
在一个实施方式中,牵开器被配置为使得上边缘和下边缘之间和/或右边缘和左边缘之间的距离是恒定的。
例如在PCT/EP2015/074896、US 6,923,761或US2004/0209225中描述了牵开器。
“使用位置”是使用者获取在步骤a)中获取的模型的位置。如图2和图3所示,当使用支架来刚性固定便携式扫描仪时,支架会部分插入使用者的嘴中。
“嘴闭合”位置是患者上牙弓和下牙弓的牙齿接触的咬合位置。“嘴张开”的位置是患者的上牙弓和下牙弓的牙齿不接触的嘴的张开位置。
根据本发明的方法(除了使用便携式扫描仪的获取操作之外)由计算机实施,优选地仅由计算机实施。
“计算机”表示数据处理单元,该数据处理单元包括具有数据处理能力的多个机器的组件。该单元尤其可以集成在便携式扫描仪中,或者集成在具有集成的便携式扫描仪的手机中,或者是PC类型的计算机或服务器,例如远离使用者的服务器,例如“云”或布置在牙科保健专业人员场所的计算机。于是,手机和计算机包括用于彼此交换的通信装置,尤其是用于发送可选地经校正和/或经简化的更新模型、和/或根据本发明确定的一个或多个尺寸值的通信装置。
通常,计算机特别包括处理器,存储器,人机界面(通常包括屏幕),用于通过互联网、Wi-Fi、或电话网络进行通信的模块。被配置为实施本发明的方法的软件被加载到计算机的存储器中。计算机也可以连接到打印机。
“第一”、“第二”用于清楚性目的。
类似地,为了清楚性目的:
-“库”是指在优选的简化方法中使用的模型;
-“参考”是指在步骤b)中用于评估尺寸值或外观值的模型,或者在预测由参考模型建模的对象将具有该模型的形状或外观的时刻;
-“校正”是指在优选的校正方法中使用的模型或时刻;
-“更新”是指步骤a),特别是源自步骤a)的模型;
-“历史”是指在更新时刻之前获取的一个或多个模型,特别是为不同于使用者的“历史”个体的牙弓或牙齿建模的一个或多个模型;
-“最佳”是指在一组模型中,形状最接近更新模型的模型。
“竖直”、“水平”、“右侧(右手侧)”、“左侧(左手侧)”、“前侧”或“从前侧”、“后侧”、“上方”、“下方”参考竖直站立的使用者。
除非另有说明,否则“包括”或“具有”或“表现出”应被非限制性地解释。
附图说明
通过阅读以下详细描述和研究附图,本发明的进一步特征和优点将变得更加明显,其中:
-[图1]图1示意性地示出了根据本发明的示例性套件;
-[图2]图2示意性地示出了处于使用位置的根据本发明的套件,其中从前面看到使用者;
-[图3]图3示意性地示出了处于使用位置的根据本发明的套件,其中从侧面看到使用者;
-[图4]图4示出了具有三种不同的获取分辨率的获取模型;
-[图5]图5是对牙齿模型进行分割的处理之后的获取模型的示例;牙齿模型的示例被着色为深灰色;
-[图6]图6示出了牙科行业使用的牙齿编号;
-[图7]图7示出了根据本发明的获取方法;
-[图8]图8示出了根据本发明的第一种校正方法;
-[图9]图9示出了根据本发明的第二种校正方法;
-[图10]图10示意性地示出了本发明的一个实施方式中的便携式扫描仪的示例;
-[图11]图11呈现了提供补充数据的各种快照。
在各种附图中,相同的附图标记用于表示相似或相同的物体。
具体实施方式
如图7所示,根据本发明的方法的目的是快速提供使用者牙弓或该牙弓的一部分的数字三维模型,即“更新模型”。
在步骤a)中,在更新的时刻,使用者使用便携式扫描仪6生成“获取模型”。
优选地,获取模型表示牙弓的至少2个、优选至少3个、优选至少4个牙齿,优选地牙弓的所有牙齿。
便携式扫描仪是一种自主式扫描仪,特别是在于它有自己的集成能量源,通常是电池,而且在于它的重量允许用手操纵。
优选地,便携式扫描仪的重量小于1kg、优选小于500g、优选小于200g,和/或大于50g。
优选地,便携式扫描仪的最大尺寸小于30cm、20cm或15cm,和/或大于5cm。
便携式扫描仪优选地具有小于10mm、优选小于5mm、优选小于3mm、优选小于2mm、优选小于1mm、优选小于1/2mm、优选小于1/5mm、优选小于1/10mm的获取分辨率。
便携式扫描仪优选地被配置为使得获取模型包括多于5000个,和/或少于200000个或少于150000个点。
图4示出了用便携式扫描仪获取的牙弓模型8的示例,分别包括5000、11500和154000个点。
便携式扫描仪6可以集成在手机12中,如图1所示,或者与手机通信。因此,步骤a)可以由使用者容易地实施。手机还使得能够将更新模型传输到远程计算机。
更新时刻可以是在使用者经历的正畸治疗期间或者在任何正畸治疗之外。
在步骤a)中,使用者优选地将便携式扫描仪握在手中。优选地,它不被固定,例如不借助于放置在地面上的结构(例如三脚架)固定。优选地,使用者的头部不被固定。
在一个实施方式中,使用者扫描牙弓而不使用除便携式扫描仪以外的任何设备。
在一个优选实施方式中,使用者使用工具来分开嘴唇,并将牙弓更好地暴露于便携式扫描仪。该工具可以是例如引入使用者嘴中的勺子。
在一个实施方式中,使用者使用牵开器和/或颊部支架,使用者将该牵开器和/或颊部支架部分引入他们的嘴中。
便携式扫描仪的支架
在一个特别有利的实施方式中,在步骤a)中,使用者使用包括便携式扫描仪6和支架14(图1)的套件10,这使得能够同时:
-分开使用者的嘴唇以使牙齿暴露,以及
-促进便携式扫描仪6相对于牙齿的定位和取向。
支架14优选地采取管状主体的总体形状,该管状主体具有被称为“口腔开口”Oo的开口,该开口旨在被引入患者的嘴中,并且被称为“获取开口”的相对开口面向便携式扫描仪的镜头,该镜头刚性地固定,优选地可移除地固定到支架14。
优选地,获取开口还面向便携式扫描仪的闪光灯,这使得能够在获取期间使用该闪光灯来照明使用者的牙齿。
支架14使得能够限定便携式扫描仪和口腔开口Oo之间的间距,并且能够使便携式扫描仪相对于口腔开口取向。有利地,在使用位置,便携式扫描仪6通过其镜头、获取开口和口腔开口获取的数据因此在距使用者牙齿预定距离处并且以预定取向获取。优选地,支架被配置为使得该间隔和该取向是恒定的。
优选地,支架14具有:
-管状牵开器16,其限定口腔开口Oo并且优选地包括边缘22,该边缘22围绕口腔开口Oo的外围径向向外延伸,并且旨在被引入使用者的嘴唇和牙齿之间,以及
-适配器18,便携式扫描仪6固定到适配器18,例如夹在两个夹爪241和242之间,如图1所示,适配器18刚性地固定到牵开器16、优选可移除地固定到牵开器16、例如借助于夹子20固定,或与牵开器制成一体,从而便携式扫描仪的镜头可以“看到”口腔开口。
边缘22的最大高度h22优选地大于3mm并且小于10mm。
为了获取所述获取模型,使用者借助于夹子20将管状牵开器16与适配器18组装在一起,然后将便携式扫描仪组装在适配器18上,使得便携式扫描仪可以通过管状牵开器16和适配器18进行扫描。然后,使用者通过将边缘22插入他们的嘴唇和牙齿之间,将管状牵开器的与便携式扫描仪相对的端部引入他们的嘴中。因此,嘴唇靠在管状牵开器16的外侧上,这使得能够过口腔开口Oo清楚地看到牙齿。
在获得的使用位置,如图2和图3所示,牙齿不靠在支架上,因此使用者U通过相对于支架转动头部,可以修改便携式扫描仪通过口腔开口可见的牙齿。使用者还可以修改他们的牙弓之间的间距。特别地,支架将嘴唇分开,但不会压在牙齿上,从而使两个颌部彼此分开。
获取模型可以表示一个牙弓的全部或一部分、或两个牙弓的全部或一部分。
获取模型的分割
在一个实施方式中,分割用便携式扫描仪获取的牙弓模型,优选地以定义至少一个牙齿模型30。在一个实施方式中,更新模型因此被简化为获取模型的一部分,优选地被简化为牙齿模型。
优选地,然后针对每个牙齿模型依次实施步骤b)和c)。
模型的分割可以实施任何已知的分割方法。
对更新模型、可能地源于对获取模型的分割的更新模型的校正,包括修改它以更好地匹配它所建模的对象。为此,可以显著提高模型的分辨率和/或对其进行补充和/或赋予其更逼真的颜色(例如使其超逼真)和/或将其清理干净。模型的清理包括消除模型中没有对目标对象进行建模的那些部分,例如,当目标对象是牙齿时通过消除正畸托槽的表示,或者消除由获取操作产生的缺陷,特别是清理在获取期间由于唾液引起的伪像。
校正
更新模型优选地经过数据处理以进行校正。更新模型的校正可以在简化之前或之后进行。
在图8所示的优选实施方式中,将更新模型与“校正模型”进行比较,然后根据该比较的结果进行校正。
优选地,当要校正的模型是牙齿模型时,遵循以下步骤:
i)创建一个包括多于1000个牙齿模型的历史库,称为“历史牙齿模型”,并将牙齿编号归于每个历史牙齿模型;
ii)分析要校正的牙齿模型,以便确定由所述要校正的牙齿模型建模的牙齿的编号;
iii)在历史库中搜索与所述要校正的牙齿模型具有相同编号并且最佳适配的历史牙齿模型或“最佳牙齿模型”;
iv)基于与所述最佳牙齿模型相关的信息来修改所述要校正的牙齿模型,所述修改可以包括用所述最佳牙齿模型替换所述要校正的牙齿模型。
在步骤i)中,创建历史库,所述历史库优选地包括多于2000个、优选多于5000个、优选多于10000个,和/或少于10000000个历史牙齿模型。
历史牙齿模型尤其可以根据用扫描仪获得的“历史”患者的牙弓模型获得。可以对该牙弓模型进行分割,以分离牙齿的表示,即牙齿模型,如图5所示。
因此,历史库包含历史牙齿模型和由这些历史牙齿模型建模的牙齿的编号。
在步骤ii)中,分析要校正的牙齿模型以确定其编号。
牙齿编号通常根据标准规则进行归属。因此,确定其他牙齿模型的编号所需要的就是知道该规则和建模牙齿的编号。
在一个优选实施方式中,分析要校正的牙齿模型的形状以定义其编号。该形状识别优选地借助于神经网络来执行。
优选地,使用神经网络,该神经网络优选地选自“对象检测网络”,例如选自以下神经网络:R-CNN(2013)、SSD(单发多盒检测器:对象检测网络)、Faster(更快)R-CNN(基于更快区域的卷积网络方法:对象检测网络)、Faster R-CNN(2015)、SSD(2015)、RCF(边缘检测的更丰富卷积特征)(2017)、SPP-Net(2014)、OverFeat(Sermanet等人)(2013)、GoogleNet(Szegedy等人)(2015)、VGGNet(Simonyan和Zisserman)(2014)、R-CNN(Girshick等人)(2014),Fast R-CNN(Girshick等人)(2015)、ResNet(He等人)(2016)、Faster R-CNN(Ren等人)(2016)、FPN(Lin等人)(2016)、YOLO(Redmon等人)(2016)、SSD(Liu等人)(2016)、ResNetv2(He等人)(2016)、R-FCN(Dai等人)(2016)、ResNeXt(Lin等人)(2017)、DenseNet(Huang等人)(2017),DPN(Chen等人)(2017)、YOLO9000(Redmon和Farhadi)(2017)、Hourglass(Newell等人)(2016)、MobileNet(Howard等人)(2017)、DCN(Dai等人)(2017)、RetinaNet(Lin等人)(2017)、Mask R-CNN(He等人)(2017)、RefineDet(Zhang等人)(2018)、CascadeRCNN(Cai等人)(2018)、NASNet(Zoph等人)(2019)、CornerNet(Law和Deng)(2018)、FSAF(Zhu等人)(2019)、SENet(Hu等人)(2018)、ExtremeNet(Zhou等人)(2019)、NAS-FPN(Ghiasi等人)(2019)、Detnas(Chen等人)(2019)、FCOS(Tian等人)(2019)、CenterNet(Duan等人)(2019)、EfficientNet(Tan和Le)(2019)、AlexNet(Krizhevsky等人)(2012)、Cbnet(2020)、Point-gnn(2020)、MDFN(2020)、CADN(2021)。
优选地,通过向神经网络提供牙齿模型作为输入和相关牙齿编号作为输出的来训练神经网络。因此,神经网络学习为已经作为输入向神经网络呈现的牙齿模型提供牙齿编号。
然后可以基于具有相同编号的历史牙齿模型来修改要校正的牙齿模型。
在步骤iii)中,在历史库中从与要校正的牙齿模型具有相同编号的历史牙齿模型中,搜索与要校正的牙齿模型最佳适配的历史牙齿模型。这种历史牙齿模型被称为“最佳牙齿模型”。
“适配”是历史牙齿模型和要校正的牙齿模型之间的形状差异的度量。形状差异可以是例如历史牙齿模型和要校正的牙齿模型在它们以标准构造布置之后之间的平均距离。
优选地,当历史牙齿模型上的点与要校正的牙齿模型上的点之间的累积欧几里得距离最低时,认为实现了最佳适配或“最佳匹配”。
在步骤iv)中,基于与用作校正模型的最佳牙齿模型有关的信息来修改要校正的牙齿模型。
例如,要校正的牙齿模型在标准构造中与最佳牙齿模型间隔开大于第一距离阈值的距离(例如大于1mm)的区可以用最佳牙齿模型的面对它们的区替换,和/或
要校正的牙齿模型的“白色”区,也就是说未定义的区,即面对最佳牙齿模型的不是白色的区的区可以用最佳牙齿模型的这些区替换。
要校正的牙齿模型的修改还可以包括用最佳牙齿模型替换要校正的牙齿模型。
优选地,对于获取模型中的每个分割的牙齿模型执行步骤i)至iv)。
上述方法可以应用于表示牙弓的更新模型。在步骤ii)和iii)中,更新模型的分类标准因此被调整。分类标准可以是例如与一个牙弓有关的一个或多个属性(例如牙弓的宽度)或者与两个牙弓有关的一个或多个属性,而不是牙齿编号。分类标准可以特别地从上面在分类标准的定义中列出的那些标准中选择。
更新模型可以借助于学习库提交给为此训练的神经网络。神经网络可以特别地从以下网络中选择:使用3D生成对抗性网络和递归卷积网络的形状修复(2017)、使用图卷积自动编码器的可变形形状完成(2018)、弱监督下的学习3D形状完成(2018)、PCN:点完成网络(2019)、TopNet:结构点云解码器(2019)、RL-GAN-Net:用于实时点云形状完成的强化学习代理控制的GAN网络(2019)、用于点云完成的级联细化网络(2020)、PF-Net:用于3D点云完成的点分形网络(2020)、具有分层折叠的跳跃注意力网络的点云完成(2020)、GRNet:用于密集点云完成的网格化残差网络(2020)、以及用于点云完成的具有对抗性渲染的基于样式的点生成器(2021)。
例如,学习库中的每个记录可以包括:
-以下对象的不完整模型,例如:
牙弓的,或
牙齿模型的,以及
-相同的模型,但完整。
优选地,在记录中建模的对象属于借助于分类标准定义的同一类别。例如,如果这些对象是牙齿,则对于学习库中的所有记录,牙齿模型的编号优选地相同。
优选地,使用专门用于生成图像的神经网络,例如:
-循环一致对抗性网络(2017),
-增强CycleGAN(2018),
-深度照片风格转移(2017),
-FastPhotoStyle(2018),
-pix2pix(2017),
-基于风格的GAN生成器架构(2018),
-SRGAN(2018),
-WaveGAN 2020,
-GAN-LSTM 2019,
-CSGAN 2021,
-DivCo 2021。
在利用该学习库通过依次针对每个记录提供不完整模型和相应完整模型作为输出来进行训练之后,神经网络可以将不完整模型转换为完整模型。
完整模型被用作“校正模型”。
校正模型可以用于在获取模型的获取期间执行质量控制,也就是说,检查该获取没有产生缺陷。缺陷是获取模型的不能正确地表示一个或多个牙弓的部分。例如,该模型可能具有实际上不存在的粗糙度或凹痕,也就是说在一个或多个牙弓上的粗糙度或凹痕。
对获取模型的校正也可以用于消除由获取操作产生的这种缺陷。
清理
优选地独立于上述修改方法(步骤i)至iv))来执行更新模型的清理。其目的是处理更新模型,以使外部对象的表示消失,同时也用尽可能忠实地表示被该对象覆盖的牙弓表面的表面来替换该表示。
在图9所示的优选实施方式中,通过以下步骤对更新模型进行清理,以便从中消除使用者外部的对象的表示,例如正畸托槽,其至少部分遮挡要建模的对象(例如牙齿):
i’)定义:
-第一确定区,其以大于90%的精度由更新模型上表示要建模的对象(例如牙齿)的点或“第一确定点”形成,以及
-第一不确定区,其构成100%所述更新模型的剩余部分;
ii’)基于唯一的第一确定区,外推第一确定区,以便在第一不确定区的区域中定义第一重建区,然后
定义:
-第二确定区,其由第一不确定区中与第一重建区间隔开小于阈值距离的距离的点或“第二确定点”形成;以及
-第二不确定区,其构成100%的第一不确定区的剩余部分;
iii’)基于第一确定区和第二确定区形成的唯一的聚集体,外推该聚集体以在第二不确定区的区域中定义第二重建区,然后
用第二重建区替换第二不确定区,以获得干净的更新模型。
这些操作有利地使得能够从更新模型中消除外部对象的表示,并获得以良好精度表示要建模的对象的干净的更新模型。
外部对象尤其可以是正畸器具、牙冠、植入物、牙桥、弹性带或贴面的全部或一部分。外部对象也可能是食物、唾液滴、工具的全部或一部分。
在步骤i’)中,外部对象的表示被分离。更具体地,识别更新模型的点,这些点几乎可以确定是牙弓上的点的表示。
用于检测图像中对象的算法是本领域技术人员众所周知的。优选地,使用神经网络,优选地从“对象检测网络”中选择的神经网络,例如从上面列出的那些网络中选择神经网络。
这些神经网络在训练后能够检测更新模型上的点,这些点以大于精度阈值(大于或等于90%)的精度表示牙弓上的点或“第一确定点”。这些点的集合,称为“第一确定区”,构成了更新模型的一部分。更新模型上不在第一确定区中的点一起形成“第一不确定区”。
优选地,精度阈值大于95%、优选大于98%、优选大于99%,和/或小于99.99%。
训练神经网络来检测图像中的对象对本领域的技术人员来说并不困难。例如,可以向神经网络提供牙弓模型作为输入,以及将已经识别表示牙弓的区和表示外部对象的区的相同牙弓模型作为输出。因此,神经网络学会在牙弓模型上定义这些区。
以下步骤的目的是填充更新模型的“第一白色区”,如果第一不确定区被消除,则会出现该区。
在步骤ii’)中,第一确定区用于限定将填充所述第一白色区的表面。该表面被称为“第一重建区”。
用于执行这种外推的技术是众所周知的。可以引用的一个示例是WENDLAND,Holger的分段多项式、正定和紧支持的最小次径向函数,计算数学进展,1995年,第4卷,第1期,第389-396页。
为了改进被外部对象遮挡的牙弓表面的重建,识别第一不确定区中靠近第一重建区的点。因此,这些点是更新模型上的点,这些点靠近从表示牙弓上具有虚拟确定性的点的点外推的表面。
可以认为,更新模型上的这些点,或“第二确定点”,也是以高精度表示牙弓上的点的点。这些点的集合被称为“第二确定区”。因此,这些点是更新模型上的点,这些点在步骤i’)的分析中被丢弃,但由于它们靠近从步骤i’)的分析中保留的点外推的表面而被保留。
更新模型上不属于第一确定区或第二确定区的点一起形成“第二不确定区”。
第一不确定区中的点与第一重建区的适配可以通过该点与该第一重建区之间的欧几里得距离的度量来评估。如果该距离小于距离阈值,则认为第一不确定区中的点应当是第二确定区的一部分。
如果模型在1的尺度上,也就是说用被建模的对象的真实尺寸来表示被建模的对象,则阈值距离优选地大于0.1mm和/或小于1mm。
阈值距离也可以通过分析第一不确定区和第一重建区中的点之间的所述欧几里得距离的分布来确定,例如根据这些距离的平均值和标准差来确定。例如,可以实施使用“三西格玛规则(3-sigma rule)”类型的方法的动态计算。
在步骤iii’)中,目的是用最好地对应于牙弓表面的第二重建区替换第二不确定区。为此,在第二不确定区的区域中外推第一确定区和第二确定区。
特别值得注意的是,外推不是基于唯一的第一确定区,而是基于第一确定区和第二确定区的聚集体。测试表明,这种外推因此能够以高可靠性获得表示牙弓表面的第二重建区。
步骤iii’)中的外推可以使用与步骤ii’)中实施的方法相同的方法。它也可能使用不同的方法。
第一确定区和第二确定区以及第二重建区构成干净的更新模型,在该模型上已经消除了外部对象的表示。
外观的校正
优选地,使更新模型是超逼真的,优选地借助于神经网络使更新模型是超逼真的。
更新模型可以提交给为此借助于学习库训练的神经网络,如在http://cs230.stanford.edu/projects_winter_2020/reports/32639841.pdf中所述的学习库。
例如,学习库中的每个记录可以包括:
-以下对象的粗略模型,例如:
牙弓的,或
牙齿模型的,以及
-相同的模型,但超逼真。
粗略模型优选地具有与更新模型的外观相似的外观。它们可以是扫描,优选地使用与步骤a)中使用的便携式扫描仪相同或相似的扫描仪来执行。
例如,可以通过投影照片使粗略模型变得超逼真。
优选地,在记录中建模的对象属于借助于分类标准定义的同一类别。例如,如果这些对象是牙齿,则对于学习库中的所有记录,牙齿模型的牙齿编号优选地是相同的。
优选地,使用专门用于生成图像的神经网络,例如:
-循环一致对抗性网络(2017),
-增强CycleGAN(2018),
-深度照片风格转移(2017),
-FastPhotoStyle(2018),
-pix2pix(2017),
-基于风格的GAN生成器架构(2018),
-SRGAN(2018)。
在利用学习库通过依次针对每个记录提供粗略模型作为输入和超逼真模型作为输出来进行训练之后,神经网络可以将粗略模型转换为超逼真模型。
通过上述校正方法,可以有利地将更新模型转换为具有高度真实性的表示被建模的对象(例如真实牙弓)的更新模型。
简化
在使用之前,例如在步骤b)期间,可以简化可能地经校正的更新模型,特别是为了促进步骤b)中的处理。简化也可以在可能的校正之前或之后执行,或者在校正处理的两个实例之间执行。
更新模型、优选经校正的更新模型,优选地显示在屏幕上,优选地当手机具有集成的便携式扫描仪时显示在手机的屏幕上和/或显示在牙科保健专业人员办公室的屏幕上。
上述分割和/或校正和/或清理和/或外观校正和/或简化操作中的一者或多者可以:
-在便携式扫描仪中实施,优选地在包含便携式扫描仪或与获取工具通信的手机中实施,或者
-在与所述手机通信的数据处理中心中实施,所述手机已将获取模型或更新的模型发送到所述数据处理中心。
在步骤b)中,确定更新模型的尺寸参数的至少一个值或“尺寸值”,和/或更新模型的外观参数的至少一个值或“外观值”。
步骤b)可以在手机中或者在处理中心中实施,该处理中心远离手机并且手机将更新模型发送到该处理中心。
步骤b)中使用的更新模型可以是:
-获取模型,也就是说由便携式扫描仪生成的粗略模型,或者
-获取模型的一部分,例如由获取模型的计算机分割产生的一部分,或者
-校正和/或简化之后的所述获取模型,或者
-校正和/或简化之后的获取模型的所述一部分。
“尺寸值”是取决于更新模型的形状的值。该值是“尺寸参数”的值,尺寸参数”尤其可从以下中选择:
-更新模型的尺寸,例如牙弓或牙齿的宽度、长度或高度;
-从更新模型上的点到参考的距离,或者
-从这些尺寸和距离得到的参数,例如正畸指数、犬齿/臼齿咬合等级、覆牙或龅牙的度量、牙齿编号、或牙齿的存在或不存在的指示。
尺寸值可以在更新模型上测量,或者可以从对更新模型进行的一个或多个测量中获得。
例如,可以测量两个牙齿之间的间距、从显著点到参考系(例如正交参考系)的位置,该参考系相对于更新对象(特别是牙弓或牙齿)或相对于另一个牙齿是固定的,例如以评估一个牙齿相对于另一牙齿的对准、一个牙齿相对于其他牙齿或相对于参考系中的预定位置的偏移、一个或多个牙齿相对于定位在牙齿或软组织上的固定或可移除的正畸器具的定位、牙弓的尺寸指数或不规则指数、一个牙齿相对于另一牙齿或相对于牙龈的错位、牙齿的变形(例如腐烂深度)、牙龈的变形、牙弓的宽度、或一个牙弓与另一个牙弓的相对位置。
尺寸值也可以是更新模型和参考模型之间的形状差异的度量。特别地,可以比较更新模型和参考模型中的牙齿的形状和/或位置。
“外观值”是取决于更新模型的表面的外观的值。该值是“外观参数”的值,外观参数”尤其可以从以下中选择:颜色,反射比,透明度,反射率,阴影,半透明度,乳白色,牙齿上存在牙垢、牙菌斑或食物沉积物的指示。
外观值也可以是更新模型和参考模型之间的外观差异的度量。特别地,可以比较更新模型和参考模型中的牙齿外观。
根据目标应用来选择参考模型。
例如,如果目的是检查牙齿状况在更新的时刻是否正常,也就是说,验证它不需要牙科保健专业人员的干预(特别是出于治疗或美观的原因),则参考模型可以是表示与更新对象相同类型的对象的模型,或者甚至是表示在更新时刻被认为是正常的牙齿状况下的更新对象的模型。
参考模型可以代表一组个体,例如优选地包括多于100个个体、优选多于1000个个体,和/或少于10000000个个体,例如:
-如果更新对象是牙齿,则代表来自正畸操作训练模具的牙齿,或者
-如果更新对象是牙弓,则代表对应于该组个体的平均牙弓形状的牙弓。
参考模型可以是表示与更新对象相同类型的对象的模型,优选地表示更新的对象,但是其位置和/或形状和/或外观是在更新时刻之前或之后或者与更新时刻同时的参考时刻所预计的更新对象的位置和/或形状和/或外观。
参考时刻特别可以是使用者所经历的正畸治疗的一个步骤(例如在正畸治疗的开始或结束时,或者正畸治疗的中间步骤,或者中间的“设置”或“分期”)。
更新时刻和参考时刻之间的时间间隔可以长于一周、优选长于2周、4周、6周、2个月,和/或小于6个月。
参考模型可以借助于扫描仪获得,例如使用者使用便携式扫描仪,优选地借助于专业扫描仪获得,或者通过基于牙弓的照片和历史牙齿库的构建获得,如EP18184486中所述,其等同于US16/031,172。
参考模型优选地通过计算机模拟获得,使得其表示在参考时刻、尤其是在正畸治疗结束时或在更新时刻处于预期构造的牙弓。
例如,结果可以是修改初始模型,该初始模型例如借助于使用者牙弓的扫描生成,优选地在更新时刻之前多于一周生成,例如在正畸治疗开始时生成。初始模型通常被分割,以便定义牙齿模型。于是移动牙齿模型可以模拟正畸治疗的进展。
用于操纵牙齿模型和创建治疗情景的软件示例是Treat程序,如网页https://en.wikipedia.org/wiki/Clear_aligners#cite_note-invisalignsystem-10上所述。US5975893A也描述了治疗情景的创建。
在一个实施方式中,执行以下操作:
-对在更新的时刻之前产生的参考模型或更新模型进行分割以生成牙齿模型,
-在不使牙齿模型变形的情况下移动所述牙齿模型中的一个或多个,直到相应获得与更新模型或参考模型的形状最匹配的修改模型(modified model),
-评估至少一个牙齿模型在参考模型或更新模型中的其位置与在修改模型中的其位置之间的定位差异(确定至少一个尺寸值)。
在步骤c)中,使用在步骤b)中确定的尺寸值和/或外观值,特别是用于决定是否需要用于治疗性或美学目的的动作和/或有助于确定该动作。
尺寸值和/或外观值,以及优选地更新模型,可以例如通过显示在使用者的手机屏幕上而呈现给使用者。
此外或替选地,它们也可以优选地通过无线电,优选地通过具有集成的便携式扫描仪或与获取工具通信的手机发送到牙科保健专业人员、特别是正畸医生,或发送到与手机通信的远程计算机。
优选地,优选地通过计算机、优选地通过具有集成的便携式扫描仪的手机,来解释尺寸值和/或外观值,并且向使用者呈现推荐,优选地在使用者的手机屏幕上向使用者呈现推荐。
更新图像的使用
在一个特别有利的实施方式中,在步骤a)中,除了更新的模型之外,使用者还获取一个或多个“更新”图像,优选口外图像。优选地,使用者使用被实施来获取所述获取模型的手机。
优选地,更新图像是照片或从影片中提取的图像。它们优选是彩色的,优选是真彩的。优选地,它们表示基本上如用于获取这些图像的设备的操作者所看到的牙弓。
由更新图像提供的信息使得能够补充由获取模型提供的信息。该信息可以特别涉及在一个或多个更新图像上表示的一个或多个对象(优选牙齿)的尺寸和/或外观。特别地,优选地通过计算机对更新图像进行分析,使得能够确认和/或校正根据更新模型确定的尺寸值和/或外观值,和/或补充从更新模型得出的教导。
例如,更新模型可以允许检测牙齿表面上的空腔,并且更新图像可以揭示该空腔位置处的较暗区。因此,更新图像确认了空腔的存在。这也使得能够确认空腔的位置。因此,对模型和更新图像的分析使得能够检测腐烂并监测其中的变化。
更新图像还可以非常可靠地提供关于牙齿外观的信息,例如关于牙齿颜色的信息。因此,投影到更新模型上,它们能够非常逼真地为更新模型的表面上色。
进一步优选地,获取从不同角度拍摄的多个更新图像,也就是说,以获取设备相对于使用者颊腔的不同取向获取多个更新图像。例如,一组更新图像可以包括6个图像,分别表示“从前看”、“从右前看”、“从右看”、“从左前看”、“从左看”和“从下看”的牙弓。
优选地,从使用者的前面获取至少一个更新图像(前视图)。优选地,从使用者的右侧获取至少一个更新图像,以及从使用者的左侧获取至少一个更新图像。
该组更新图像包括优选地多于两个、优选多于三个、优选多于5个、优选多于6个,和/或少于30个、优选少于20个、优选少于15个、优选少于10个更新图像。
在一个实施方式中,处理更新图像以生成所述校正模型和/或所述参考模型。为此,可以实施所有常规技术。
在更新时刻获取两个模型、特别是更新模型和从更新图像获得的模型,然后对这些模型进行比较,有利地使得能够最好地利用分别由便携式扫描仪和图像获取设备提供的3D和2D表示。
该方法可以独立于任何正畸治疗来实施,尤其是为了检查牙齿的位置和/或形状是否“异常”,也就是说,牙齿不符合治疗性或美学标准的情况。优选地,然后与牙科保健专业人员预约。该方法可以在正畸治疗之前实施。
在正畸治疗的上游,该方法可以尤其被实施为获取牙齿在未来的定位和解剖结构,并开始制造拦截式正畸器具或定制式正畸矫治具(例如透明的正畸矫治器),或者使用弓丝和托槽设计定制的治疗。
该方法可以在正畸治疗期间实施,特别是为了控制其进展,其中步骤a)在治疗开始前不到3个月、不到2个月、不到1个月、不到一周、不到2天实施,也就是说在安装旨在校正使用者牙齿定位的器具(称为“主动保持器具”)之后实施。
在正畸治疗期间,可以实施该方法以获取牙齿的更新模型,并允许制造新的正畸器具,例如植入物、正畸矫治器或前庭正畸器具。
优选地,将步骤a)中生成的更新模型和/或步骤b)中确定的一个或多个值发送给牙科保健专业人员,以帮助建立诊断。
该方法也可以在正畸治疗后实施,以验证牙齿的定位没有变差(“复发”)。然后,步骤a)优选在治疗结束后,也就是说,在安装旨在将牙齿保持在适当位置的器具(称为“被动保持器具”)之后,不到3个月、不到2个月、不到1个月、不到一周、不到两天实施。
尺寸值优选用于:
-检测复发,和/或
-确定牙齿定位的变化速率,和/或
-优化与牙科保健专业人员预约的日期,和/或
-评估正畸治疗的有效性,和/或
-评估牙齿朝向参考模型的定位变化,该参考模型对应于牙齿的确定定位,特别是牙齿的改进定位,和/或
-修改正在进行的正畸治疗,例如通过制造一系列新的正畸矫正器来进行修改,和/或
-进行牙科学研究,和/或
-可视化和/或测量和/或检测牙菌斑和/或腐烂和/或微裂纹和/或磨损,例如由磨牙症或者主动或被动正畸器具的实施引起的,尤其是在正畸弓丝断裂或脱离的情况下;
-可视化和/或测量和/或检测体积变化,特别是当牙齿生长时或在牙科保健专业人员的干预(例如牙齿表面上的粘合剂沉积)之后;
-在任何正畸治疗之前,评估拦截式治疗的机会,尤其是评估正畸治疗的优势。
外观值优选地用于检测或评估染色或腐烂情况的位置或形状。
在一个特别有利的实施方式中,使用尺寸值和外观值两者。因此,有利地,该方法可以用于以局部方式准确地监测某些病症的变化,特别是染色、脱矿或腐烂。
如目前清楚的那样,本发明提供了一种方法,该方法允许特定使用者(例如患者)生成他们的一个或多个牙弓或他们的一个或多个牙齿的模型。使用者除了便携式扫描仪(优选集成在手机中)之外不需要任何特定的设备。
获取模型可以在不将便携式扫描仪引入使用者嘴中的情况下,也就是说,口外地获取。对更新模型进行处理以对其进行校正,这使得特别可以对其进行校正,以对便携式扫描仪尚未访问的嘴的区域(例如在邻间空间中的区域)进行建模。
在一个实施方式中,在步骤a)中,获取模型是粗略的。它尤其可以表示使用者的一个或多个牙弓的“3D骨架”,并且仅包括少于500个点、少于200个点、少于100个点或少于50个点,和/或多于10个点。对更新模型进行处理以对其进行校正,特别是使用神经网络或基于历史库对更新模型进行处理以对其进行校正,有利地使得能够重建使用者的一个或多个牙弓的更准确的模型。
在一个实施方式中,便携式扫描仪被部分地引入使用者的嘴中。有利地,可以对牙齿的背面进行扫描。
如图10所示,优选地,便携式扫描仪6包括手机12和获取工具31,获取工具31优选地通过无线电,优选地通过与手机通信。有线通信也是可能的。
获取工具设置有获取头32,该获取头32可以被引入使用者的嘴中。获取头获取所述获取模型并将其发送到手机12,或者获取信号(例如一组图像)并将其传输到手机12使得手机12根据所述信号生成所述获取模型。
优选地,获取工具不具有到手机的物理链路,或者通过柔性链路(例如电线)连接到手机。
优选地,获取工具包括手柄34,使得使用者自己或其亲属之一更容易操纵,例如以牙刷的方式操纵。
在一个实施方式中,获取工具例如借助于夹子、自粘带、夹爪、螺钉、磁体、盖子或柔性带(优选弹性带)固定到手机。这种固定也可以是由于形状与手机互补而产生。例如,获取工具可以固定到手机外壳。
在一个实施方式中,该方法还实现了测量头,该测量头与手机通信并被引入使用者的嘴中,以获取补充数据,例如关于以下的数据:
-牙齿之间的空隙
-牙齿的舌面
-腭,包括例如腭正中缝合线
-软组织(溃疡、良性或恶性病变、凹陷)
-牙齿的阴影
-腐烂或染色的存在
-植入物、牙冠和/或牙桥的状态和/或形状
-前庭或舌侧治疗器具(例如:舌侧或前庭托槽、腭扩张器或任何其他治疗辅助器具)或保持治疗器具(腭弓丝)的状态
-同一前庭或舌侧器具或任何其他辅助器具的各个部分之间的距离
-锚固设备(微型螺钉型)的状态
-锚固设备和嘴中的器具之间的距离
-软组织缝合点
-手术后软组织的愈合
-Spee曲线
-Wilson曲线
-犬齿之间的距离
-臼齿之间的距离。
图11呈现了提供补充数据、特别是关于腭的补充数据的各种快照,包括腭正中缝合线(图像1),软组织缝合点(图像2),同一前庭或舌器具或任何其他辅助器具的各种部分之间的距离(图3和图4),植入物、牙冠和/或牙桥的状态和/或形状(图5和图8),锚固设备(微型螺钉型)的状态和锚固设备与嘴中存在的器具之间的距离(图6),前庭或舌侧治疗器具(例如舌侧或前庭托槽、腭扩张器或任何其他治疗辅助器具)或保持治疗器具(腭弓丝)的状态(图7),牙齿之间的空间和手术后软组织的愈合(图像9),牙齿的舌面(图像10),犬齿之间的距离和臼齿之间的距离(图像10),牙齿的阴影(图像11),Spee曲线(图像12),Wilson曲线(图像13),以及腐烂或染色的存在(图像14)。
测量头可以集成在表现出获取工具的一个或多个特征的测量工具中。然而,与获取工具相比,测量工具不用于获取所述获取模型。
然后可以特别地校正获取模型,以便进行补充和/或清理和/或使其超逼真。使用者可以将牙科保健专业人员分析的模型发送给牙科保健专业人士,可能发送给他们从未见过的牙科保健专业人才,特别是为了建立诊断和/或向使用者提供建议和/或定义预约日期。
当然,本发明不限于所描述和示出的实施方式。
上述用于校正和简化更新模型的方法是独立于所描述的方法的发明。
改进
除了上述方法,更一般地,本发明还涉及一种用于借助于手机和获取工具获取使用者的至少一个牙弓的至少一个图像的方法,该获取工具包括获取头,该获取头设置有相机,优选地能够被引入使用者的嘴中,在该方法期间,获取头:
-获取所述图像并将其发送到手机,或者
-获取信号并将其发送到手机,使得所述手机自主地或使用与所述手机通信的计算机根据所述信号生成图像。
所述至少一个图像优选地是照片,优选地是真实地表示牙弓的照片,正如人将直接观察到的那样。
根据步骤a),图像可以用于生成模型,但是根据本发明的图像获取方法不再限于该特定实施方式,因为图像可以用于其他目的。因此,以下将该方法描述为“通用方法”。
然而,只要上述步骤a)的特征在技术上与通用方法兼容,它就可以应用于该方法。
优选地,手机和获取工具仅由使用者操纵。
获取可以在获取工具的相机不进入使用者嘴中的情况下口外地执行。获取可以在获取工具的相机进入使用者嘴中的情况下口内地执行。
在一个实施方式中,获取工具例如借助于夹子、自粘带、夹爪、螺钉、磁体、盖子或柔性带(优选弹性带)固定到手机。这种固定也可以是由于形状与手机互补而产生。例如,获取工具可以固定到手机外壳。
然而,优选地,手机和获取工具彼此通信,但可以彼此独立地移动。优选地,手机和获取工具不通过任何刚性设备、优选地任何机构彼此连接,使得手机可以在空间中移动,优选地在所有空间维度上移动,而不必带着获取工具一起移动。
优选地,屏幕显示由获取头的相机观察到的场景。
手机和获取工具之间的移动的独立性使得尤其能够使用手机的屏幕来可视化由获取头的相机观察到的场景,而这种可视化不受获取头的握持的阻碍。
在一个实施方式中,在获取过程中,使用者观察手机的屏幕,手机优选地相对于地面不动,例如放置在桌子上,并操纵获取工具。因此,使用者可以容易地将获取工具定位在期望的位置,优选地以用于口外获取。此外,该实施方式有利地允许使用者使用布置在手机的屏幕相反侧的相机,而不必使用镜子。
优选地,使用者从前面获取至少一个图像,优选地从使用者的右侧获取至少一个图像,以及还优选地,从使用者的左侧获取至少一个图像。
优选地,使用者获取嘴张开时的至少一个图像和嘴闭合时的最少一个图像。
获取图像的集合优选地包括多于两个、优选多于三个、优选多于5个、优选多于6个,和/或少于30个、优选少于20个、优选少于15个、优选少于10个图像。
优选地,使用者使用工具来分开他们的嘴唇,并更好地将牙弓暴露于获取工具的相机。该工具可以是例如引入他们嘴里的勺子。
在一个实施方式中,使用者使用牵开器,将牵开器部分地引入他们的嘴中。
优选地,通用方法包括在所述获取之后对所述图像进行分析,以便定义使用者的牙齿状况,并且优选地设计主动或被动正畸治疗计划,和/或验证正在进行的主动或被动正畸治疗的适当进展。
优选地,所述获取方法包括,在对所述图像进行所述分析之后,制造正畸器具,例如正畸矫治器,并且优选地将所述正畸器具发送给使用者。
上述对更新图像的使用也可以应用于按照通用方法获取的一个或多个图像。
所述至少一个图像优选地用于:
-检测复发,和/或
-确定牙齿定位的变化速率,和/或
-优化与牙科保健专业人员预约的日期,和/或
-评估正畸治疗的有效性,和/或
-评估牙齿朝向参考模型的定位变化,该参考模型对应于牙齿的确定定位,特别是牙齿的改进定位,和/或
-修改正在进行的正畸治疗,例如通过制造一系列新的正畸矫正器来进行修改,和/或
-进行牙科学研究,和/或
-可视化和/或测量和/或检测牙菌斑和/或腐烂和/或微裂纹和/或磨损,例如由磨牙症或者主动或被动正畸器具的实施引起的,尤其是在正畸弓丝断裂或脱离的情况下;
-可视化和/或测量和/或检测体积变化,特别是当牙齿生长时或在牙科保健专业人员的干预(例如牙齿表面上的粘合剂沉积)之后;
-在任何正畸治疗之前,评估拦截式治疗的机会,尤其是评估正畸治疗的优势。
图12示出了用于实施这种图像获取方法的设备6’。该套件包括手机12’和获取工具31’,获取工具31’与手机通信,优选地通过无线电,优选地通过或WiFi与手机通信。有线通信也是可能的。
获取工具31’具有获取头32’,该获取头32’可以被引入使用者的嘴中。该获取头包括相机33’,相机33’获取图像并将其发送到手机12’,或者获取信号并将其传输到手机12’,使得手机12’根据所述信号生成图像。
优选地,获取工具不具有到手机的物理链路,或者通过柔性链路(例如电线)连接到手机。
优选地,获取工具包括手柄34’,使得使用者自己或其亲属之一更容易操纵,例如以牙刷的方式操纵。
手机12’可以包括手机12的一个或多个特征。优选地,手机12’不固定到任何支架,特别是不固定到任何固定到使用者的支架、例如上述支架10,并且使用者可以自由地操纵它。

Claims (24)

1.一种用于获取使用者(U)的至少一个牙弓的模型的方法,所述方法包括以下步骤:
a)在更新时刻,使用便携式扫描仪(12)并由所述使用者获取所述至少一个牙弓的数字三维模型(8)或“获取模型”,并且可选地分割所述获取模型以分离所述牙弓的模型的一部分(30),
以获得“更新模型”,因此所述更新模型能够是所述获取模型或通过分割而分离的所述获取模型的所述部分,由所述更新模型表示的对象被称为“更新对象”,
所述便携式扫描仪:
-集成在用于所述口外获取的手机(12)中,或者
-包括手机(12)和获取工具,所述获取工具包括能够被引入所述使用者的嘴中的获取头(32),所述获取头:
-获取所述获取模型,并将所述获取模型发送到所述手机(12),或者
-获取信号并将所述信号发送到所述手机(12),使得所述手机自主地或使用与所述手机通信的计算机根据所述信号生成所述获取模型。
2.根据前一项权利要求所述的方法,其中,所述手机将所述获取模型和/或所述更新模型发送给牙科保健专业人员,优选地通过无线电进行发送,所述牙科保健专业人员优选地在距离所述使用者大于1km和/或小于50000km的距离处。
3.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,对所述更新模型进行数据处理以对其进行校正,所述校正能够包括修改所述更新模型或用校正模型替换所述更新模型。
4.根据权利要求1所述的方法,其中,在步骤a)中,
-将所述更新模型与校正模型进行比较,以获得所述更新模型和所述校正模型之间的形状差异的度量,然后
修改所述更新模型以减小所述形状差异,或者
根据所述度量,保持所述更新模型不变或者用所述校正模型替换所述更新模型,和/或
-将所述更新模型提交给神经网络,所述神经网络被训练为使作为输入呈现给它的数字三维模型更加逼真。
5.根据权利要求3和4中任一项所述的方法,其中,所述校正模型是:
-在与所述更新时刻不同的时刻,通过扫描所述更新对象而获得的模型,或者
-示出所述更新对象的模型,所述更新对象具有由模拟产生的形状,或者
-代表一组个体的对象的模型,所述对象与所述更新对象具有相同的类型。
6.根据权利要求5所述的方法,其中,所述校正模型是:
-所述更新对象的模型,其通过使用所述便携式扫描仪进行的扫描而获得,或者
-所述更新对象的模型,其模拟所述更新对象的在所述更新时刻所预计的形状,或者
-所述更新对象的模型,其模拟所述更新对象的在所述更新时刻之后或之前的称为“校正时刻”的时刻所预计的形状,所述更新时刻和所述校正时刻之间的时间间隔长于一周,或者
-历史模型,其从包括多于1000个历史模型的历史库中选择,所述历史模型表示与所述更新对象相同类型的对象,所述选择优选地被引导,使得所选择的历史模型是在形状方面与所述更新模型最佳适配的历史模型,或者
-通过对来自所述历史库的历史模型进行统计处理而获得的模型,优选地使得通过统计处理获得的所述模型代表多个个体的群体。
7.根据权利要求3至6中任一项所述的方法,其中,在步骤a)中,通过以下方式来校正所述更新模型,
-通过将所述更新模型作为输入而输入到经训练的神经网络以校正模型,和/或,
-通过以下步骤校正所述更新模型:
i)创建历史库,所述历史库包括多于1000个历史模型,每个历史模型对与所述更新对象相同类型的对象进行建模,并将分类标准的值归于每个历史模型;
ii)分析所述更新模型,以便确定所述更新对象的所述分类标准的值;
iii)在所述历史库中搜索对于所述分类标准具有相同值并且与所述更新模型最佳适配的历史模型或“最佳模型”;
iv)基于与所述最佳模型相关的信息来修改所述更新模型,所述修改能够包括用所述最佳模型替换所述更新模型;和/或
-通过以下步骤校正所述更新模型:
i’)定义:
-第一确定区,所述第一确定区以大于90%的精度由所述更新模型上表示患者的一部分的多个点或多个“第一确定点”形成,以及
-第一不确定区,所述第一不确定区构成100%的所述更新模型的剩余部分;
ii’)基于唯一的所述第一确定区,外推所述第一确定区,以便在所述第一不确定区的区域中定义第一重建区,然后定义:
-第二确定区,所述第二确定区由所述第一不确定区中与所述第一重建区域间隔开小于阈值距离的距离的多个点或多个“第二确定点”形成;以及
-第二不确定区,所述第二不确定区构成100%的所述第一不确定区的剩余部分;
iii’)基于所述第一确定区和所述第二确定区形成的唯一的聚集体,外推所述聚集体以在所述第二不确定区的区域中定义第二重建区,然后
用所述第二重建区替换所述第二不确定区,以获得干净的更新模型,和/或
-通过将所述更新模型提交给经训练的神经网络,通过向所述神经网络提供与所述更新对象相同类型的对象的粗略模型作为输入,并且使所述粗略模型变得超逼真作为输出,来校正所述更新模型。
8.根据权利要求7所述的方法,包括分割所述获取模型以定义多个牙齿模型,然后,对于被认为是所述更新模型的每个牙齿模型,执行步骤i)到iv)的循环,其中,在步骤iv)中,所述最佳模型替换所获取模型中的所述牙齿模型。
9.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,对所述更新模型进行数据处理以简化所述更新模型。
10.根据前述权利要求中任一项所述的方法,其中,所述便携式扫描仪是的激光雷达。
11.根据前述权利要求中任一项所述的方法,其中,所述使用者将他们的嘴唇和/或脸颊分开,以使他们的牙齿对所述便携式扫描仪可见,然后在不将所述便携式扫描仪放入所述使用者的嘴里、甚至部分地放入他们的嘴里的情况下口外地获取所述获取模型。
12.根据权利要求11所述的方法,其中,在步骤a)中,将所述便携式扫描仪固定在包括边缘(22)的支架上,所述边缘插入所述使用者的嘴唇和牙齿之间。
13.根据权利要求12所述的方法,其中,所述支架(14)包括限定口腔开口(Oo)的管状牵开器(16),所述边缘围绕所述口腔开口(Oo)的外围延伸。
14.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,所述使用者水平地修改所述便携式扫描仪(12)的角度。
15.根据前述权利要求中任一项所述的方法,其中,在步骤a)之后,所述方法包括以下步骤:
b)确定所述更新模型的尺寸参数的至少一个值或“尺寸值”、和/或所述更新模型的外观参数的至少一个值或“外观值”。
16.根据权利要求15所述的方法,
其中,从以下中选择所述尺寸参数:
-所述更新模型的尺寸;
-从所述更新模型上的显著点到参考的距离,以及
-从所述更新模型的一个或多个尺寸和/或从所述更新模型上的一个或多个显著点到所述参考的一个或多个距离得到的参数,或者
其中,从以下中选择所述外观参数:颜色,反射比,透明度,反射率,阴影,半透明度,乳白色,牙齿上存在牙垢、牙菌斑或食物沉积物的指示。
17.根据权利要求15和16中任一项所述的方法,其中,为了确定所述尺寸值,测量所述更新模型上的点和与所述更新模型一样以标准构造布置的参考模型上的点之间的距离。
18.根据权利要求17所述的方法,其中,所述参考模型是:
-所述更新对象的模型,其通过使用所述便携式扫描仪进行的扫描在所述更新时刻之前大于2周的时刻获得,或者
-所述更新对象的模型,其模拟所述更新对象的在所述更新时刻所预计的并且在所述更新时刻之前大于2周的时刻产生的形状,或者
-所述更新对象的模型,其模拟所述更新对象的在所述更新时刻之后或之前的参考时刻所预计的形状或“参考模型”,所述更新时刻和所述参考时刻之间的时间间隔长于一周,
所述参考模型在所述更新时刻之前大于2周产生,或者
-历史模型,其从包括多于1000个历史模型的历史库中选择,所述历史模型表示与所述更新对象相同类型的对象,或者
-通过对来自历史库的历史模型进行统计处理而获得的模型,使得通过统计处理获得的所述模型代表多个个体的群体,其中,所述历史库包括多于1000个历史模型,所述历史模型表示与所述更新对象相同类型的对象。
19.根据权利要求15至18中任一项所述的方法,其中,在步骤a)中,对使用所述手机获取的模型进行分割以定义多个牙齿模型,然后执行所述步骤b)以定义每个牙齿模型的至少一个尺寸值,所述至少一个尺寸值如所述步骤b)的所述更新模型所定义的。
20.根据权利要求15至19中任一项所述的方法,其中,
在步骤a)中,所述使用者使用同一部手机获取所述获取模型以及一个或多个更新图像,以及,
在步骤b)中,确定与在一个或多个更新图像上表示的牙齿的尺寸和/或外观有关的信息,然后使用所述信息来补充和/或校正所述尺寸值和/或所述外观值。
21.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,所述获取模型包括少于500个点。
22.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,借助于与所述手机通信并被引入所述使用者的嘴中的测量头来获取对生成所述获取模型不重要的补充数据。
23.根据前述权利要求中任一项所述的方法,其中,所述便携式扫描仪使用结构化光,并且基于各种图像并且通过使所述图像上的特定点匹配来形成所获取模型。
24.一种套件,包括便携式扫描仪(12)和支架(14),所述便携式扫描仪可移除地固定到所述支架的适当位置,以允许所述便携式扫描仪观察由所述支架限定的口腔开口(Oo),所述支架包括边缘(22),所述边缘能够插入使用者的嘴唇和牙齿之间,以用于根据前述权利要求中任一项所述的方法的步骤a)在使用位置的获取,在所述使用位置,所述便携式扫描仪通过所述口腔开口观察所述使用者的牙齿。
CN202280052170.7A 2021-05-25 2022-05-24 用于获取牙弓模型的方法 Pending CN117769721A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2105389A FR3123200A1 (fr) 2021-05-25 2021-05-25 Procede d’acquisition d’un modele d’une arcade dentaire
FRFR2105389 2021-05-25
PCT/EP2022/064127 WO2022248513A1 (fr) 2021-05-25 2022-05-24 Procede d'acquisition d'un modele d'une arcade dentaire

Publications (1)

Publication Number Publication Date
CN117769721A true CN117769721A (zh) 2024-03-26

Family

ID=89076571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280052170.7A Pending CN117769721A (zh) 2021-05-25 2022-05-24 用于获取牙弓模型的方法

Country Status (6)

Country Link
EP (1) EP4348572A1 (zh)
JP (1) JP2024522098A (zh)
KR (1) KR20240013207A (zh)
CN (1) CN117769721A (zh)
AU (1) AU2022281999A1 (zh)
BR (1) BR112023024686A2 (zh)

Also Published As

Publication number Publication date
KR20240013207A (ko) 2024-01-30
JP2024522098A (ja) 2024-06-11
EP4348572A1 (fr) 2024-04-10
AU2022281999A1 (en) 2023-12-14
BR112023024686A2 (pt) 2024-02-15

Similar Documents

Publication Publication Date Title
US11642195B2 (en) Visual presentation of gingival line generated based on 3D tooth model
US11651494B2 (en) Apparatuses and methods for three-dimensional dental segmentation using dental image data
AU2019284043B2 (en) Identification of areas of interest during intraoral scans
ES2864684T3 (es) Procedimiento y sistema para retirar los aparatos ortodónticos de la malla digital de la dentición
ES2896679T3 (es) Producto de programa informático para la planificación, visualización y optimización de restauraciones dentales
EP2134290B1 (en) Computer-assisted creation of a custom tooth set-up using facial analysis
EP2729048B1 (en) Three-dimensional measuring device used in the dental field
CN104822311B (zh) 估测牙齿的表面纹理
US10339649B2 (en) Method and system for hybrid mesh segmentation
EP3712857A1 (en) Hybrid stitching for 3d reconstruction
CN113272861A (zh) 组合来自多次牙科解剖结构扫描的数据
KR20220017467A (ko) 교합 매개변수를 결정하기 위한 방법, 시스템 및 컴퓨터 판독 가능 저장 매체
JP7398512B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
CN112419476A (zh) 牙科病人三维虚拟图像的创建方法及系统
JP2023099629A (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
CN117769721A (zh) 用于获取牙弓模型的方法
Saghiri et al. A new reliable alternate method to an intraoral scanner (in-vitro study)
Ural et al. Direct digitalization devices in today’s dental practice: Intra oral scanners
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
US20240024076A1 (en) Combined face scanning and intraoral scanning
US20230414331A1 (en) Capture of intraoral features from non-direct views
JP7260699B1 (ja) データ処理装置、データ処理方法、およびデータ処理プログラム
WO2022248513A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
WO2023227613A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
FR3135891A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination