CN114342002A - 用于定制牙科对象的即时自动化设计的方法、系统和设备 - Google Patents
用于定制牙科对象的即时自动化设计的方法、系统和设备 Download PDFInfo
- Publication number
- CN114342002A CN114342002A CN202080062813.7A CN202080062813A CN114342002A CN 114342002 A CN114342002 A CN 114342002A CN 202080062813 A CN202080062813 A CN 202080062813A CN 114342002 A CN114342002 A CN 114342002A
- Authority
- CN
- China
- Prior art keywords
- computer
- machine learning
- patient
- design
- implant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C5/00—Filling or capping teeth
- A61C5/70—Tooth crowns; Making thereof
- A61C5/77—Methods or devices for making crowns
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C8/00—Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
- A61C8/0048—Connecting the upper structure to the implant, e.g. bridging bars
- A61C8/005—Connecting devices for joining an upper structure with an implant member, e.g. spacers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
- A61B2018/2035—Beam shaping or redirecting; Optical components therefor
- A61B2018/20351—Scanning mechanisms
- A61B2018/20353—Scanning in three dimensions [3D]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Dental Prosthetics (AREA)
Abstract
本发明的实施例提供了根据需要实时地提供定制的、临床相关的设计的方法、系统、设备和软件,例如,用于至少单个牙齿替代疗法的治疗计划/解决方案,以使得能够立即确认特定于患者的治疗解决方案的有效性和执行。机器学习算法用在用于自动化修复体设计的计算机实施方式的方法或系统中。修复体设计包括诸如牙冠和基台之类的修复性元件的设计。提供了用于在数字处理器上执行时执行方法的软件。还包括修复性元件的制造。
Description
技术领域
本发明涉及用于自动化修复体设计的计算机实现的方法或系统。本发明可以将机器学习算法用于计算机实现的自动化修复体设计方法或系统。修复体设计包括修复性牙科对象的设计,诸如用于植入物的基台或牙冠或用于牙根的牙冠。提供了用于在数字处理器上执行时执行这些方法的软件。修复性牙科对象的制造也包括在本发明的范围内。
背景技术
用于基于植入物的单颗牙齿置换治疗的修复和手术计划的设计建议通常是在牙科实验室或牙医办公室使用基于桌面的牙科CAD/CAM软件生成的。计划通常由牙科技师和/或临床医生使用这个软件手动生成。在一些情况下,牙科技师和/或临床医生在计划上进行协作,以实现符合临床医生和患者的治疗解决方案期望的临床相关设计。这个生成、审查和接受定制单颗牙齿置换计划的过程至少需要几个小时到几天或更长的计时时钟时间。
可替代地,采用模拟印模(来自由实验室或集中制造商已扫描的患者口腔印模的铸造模型)或数字印模(口腔内扫描),并将扫描数据作为下订单的一部分传送到集中的设计和制造中心。设计提议由传统方法初始化,并且通常由基台设计技术人员(ADT)进行必要的审查和调整。然后可以使用各种二维和三维查看和编辑桌面或基于Web的软件应用与下订单的一方共享设计方案。在批准计划之前,客户可以有机会审查和改变设计方案。与基于桌面的CAD/CAM软件的情况一样,从收到模型或扫描数据到收到设计方案所用的计时时钟时间从几个小时到几天不等。此外,当前具有集中制造组织的工作流程要求治疗解决方案提供商使用各种不同的软件和系统,以获得针对患者的设计方案。这些电子环境中的一些没有完全集成或连接,这使得使用完整的工作流程从可用性的角度来看是一个挑战。
对于上面列出的任一种情况,目前牙齿置换治疗解决方案提供商总是会在他们收集的输入数据(即,数字印模或模型的扫描)和他们需要的输出(即,特定于患者的治疗解决方案提议)之间遇到明显的延迟。
输入和输出之间的延迟是治疗解决方案提供商沮丧和价值损失的主要来源。在一些情况下,在患者离开办公室数小时或数天之后确定需要附加的模拟或数字印模。这种“返工”要求附加的患者就诊,治疗解决方案提供商无法为此收费。
目前,治疗解决方案提供商必须在生成或接收来自其内部系统或其集中制造商的患者特定设计建议之前指定治疗解决方案的细节。照此,仅以串行或迭代方式提供替代处理解决方案。在一些情况下,当前的工作流程需要数小时甚至数天才能达到满足所有临床、成本和其它要求的针对患者的治疗解决方案。
在这个延迟时段期间,寻求牙齿置换的患者通常至少有一些不适或不便。
当前的“一日换牙”系统无法提供优质的、高度美观的患者专用牙齿置换解决方案。
即使随着数字牙科技术的进步,以全自动方式创建适合特定患者牙齿的定制牙科修复体对象(例如,牙基台和牙冠)仍然是个非常具有挑战性的问题。大多数牙科设计软件为用户提供了设计感兴趣的牙科对象的起点和一组允许修改或调整所提供的初始设计的工具。为了尽量减少用户手动调整的工作量,重要的是能够提供尽可能适合给定患者牙列环境的初始设计。这可能要求一些牙科临床知识。设计和实现计算机化的算法以自动创建这种牙科对象将是一个非常复杂且具有挑战性的过程,但其有效性会因开发过程中投入的工作量而异。
设计自动化的传统方法是依靠对3D扫描数据上的牙齿特征进行中间检测(DFD:牙齿特征检测)。通常每个软件组件或模块都依赖于其前一个组件的输出,其输出质量取决于其输入质量,并且每个组件上的错误可以容易地在整个过程中传播或累积。此外,每个组件的功能性都是通过基于启发式或已知规则和约束的特定算法的显式编程来设计的,这将导致创建此类软件模块的复杂性和难度。无法保证获得期望的输出,因为在一些特定的边缘情况下,可能未包括在算法中。软件组件或模块的这个链的另一个缺点是执行时间长,这是由于其对复杂算法的大量计算的性质。例如,整个自动化流程通常需要5-10分钟才能从未加工输入开始获得最终修复体设计。
参考文献:
-“Probabilistic record linkage model derived from training data”,如US6523019B1中所述,Choicemaker Technologies Inc.
-“Computer-implemented dental restoration design”,如US2015056576A中所述,Glidewell Dental Ceramics。
-“Dental CAD Automation Using Deep Learning”,如US2018/0028294A1中所述,“Method for creating flexible arch model of teeth for use in restorativedentistry”,如US9814549B2中所述。
-US 2017/0095319、US 9504541、US 2007/0154868、
US7551760、US 7362890、US 2008/0002869和US 2006/0072810也都通过引用包括在内。
-“System and Method for Adding Surface Detail to Digital Crown ModelsCreated Using Statistical Techniques”,如US20160224690A1中所述。
-Ronald S.Scharlack、Alexander Yarmarkovich、Bethany Grant,Method andsystem for designing custom restorations for dental implants,国际专利,WO2007081557A1公开。
-Charles R.Qi、Hao Su、Kaichun Mo、Leonidas J.Guibas,PointNet:DeepLearning on Point Sets for 3D Classification and Segmentation,CVPR 2017。
发明内容
本发明的目的是提供一种定制义齿设计的基于计算机的自动化设计。优选地,本发明的实施例表示对常规方法的改进。
本发明的实施例可以利用计算机实现的自动化修复体设计的方法或系统。例如,本发明的实施例优选地利用机器学习算法用于自动化修复体设计的计算机实现的方法或系统。修复体设计可以包括修复性对象的设计,诸如用于植入物的基台或用于植入物或牙根的牙冠。
用于定制基台和牙冠的自动化设计的基于计算机的方法或系统可以用于植入物上的单颗牙齿修复或用于单个牙根的牙冠。提供了用于在数字处理器上执行时执行这些方法的软件。对应的定制修复体对象(定制基台和牙冠)的制造也包括在内。
本发明的实施例优选地基于解决牙科设计修复问题,通过经由人工神经网络(ANN)连接问题域中的端到端输入和输出,并用已知数据集训练系统以找到输入和输出之间的直接模式,而不依赖于任何中间形式的数据,即,以端到端方式操作。
这种方法可以利用基于参数的底层修复体模型的特定示例。本发明的实施例可以应用于任何特定的参数修复体模型。
在一个方面,本发明的实施例涉及一种用于植入物上的单颗牙齿修复的自定义基台和牙冠或用于单个牙根的牙冠的自动化设计的基于计算机的方法,该方法包括以下步骤:
1)例如,通过扫描或从档案中检索,获得患者口腔的3D图像,以及
2)应用基于计算机的端到端机器学习模型。
输出可以是自动化输出,诸如形状的表示,诸如定义基台或牙冠的参数集。这些参数是参数化建模的一部分。提供用于在使用参数化建模技术在数字处理器上执行时执行这些方法的软件。可以在接收到患者的扫描数据后五分钟内,可替代地在接收到扫描数据后一分钟内,更优选在接收到患者的扫描数据后不到30秒内,获得基台或牙冠的形状的表示的输出。例如,可以经由I/O端口或接口提供输出。
对应的定制修复性牙科对象(自定义的基台和牙冠)的制造也包括在内。
本申请的优选实施例包括基于ML(基于机器学习)的用于植入物上的单颗牙齿修复的自定义基台和牙冠或用于单个牙根的牙冠的自动化设计。以下内容不一定是本发明实施例的一部分,并且优选地不是本发明的实施例的一部分:
-自动化外科手术计划
-扫描数据配准(CBCT和表面扫描数据)和牙齿分割
-牙科特征检测
-外科手术引导设计
本发明的方面包括:
-基于被扫描数据或对患者解剖结构(包括颌、软组织和牙齿解剖结构中的植入物位置,全都彼此相关)进行的测量对用于植入物的自定义基台或牙冠或用于单个牙根的牙冠进行基于计算机的设计。本发明的实施例可以包括在植入外科手术之后使用称为FLO(特征定位对象)的基准设备扫描患者口腔模型以获得所需的测量。
-基于计算机的自定义基台或牙冠的设计可以完全参数化,并且几何结构可以由多个参数的值唯一定义,诸如数十个参数、二十个参数、五十个或六十个参数。
-本发明的实施例为底层目标模型创建并输出参数集。例如,
可以经由I/O端口或接口提供输出。
本发明的实施例可以集成到基于计算机的技术平台中。在本发明的实施例中使用人工智能和机器学习已被证明对于解决用传统方法非常难以解决的某些问题非常有效。本发明的实施例可以涉及基于植入物的自动化修复体设计和/或治疗计划的确定问题的制定,并且涉及解决该问题。修复性牙科对象包括基台和牙冠。本发明的实施例可以利用计算机实现的人工神经网络(ANN)。本发明的实施例可以包括有效地训练ANN并且根据输入数据预测期望的设计参数集,由此输出包括参数值或表示,从该参数值或表示可以导出所讨论的牙科对象的参数值和3D形状。可以以高准确度输出这些参数值或其表示。这些参数值或其表示可以以非常快的方式输出(例如,在接收到数据扫描后不到五分钟、不到一分钟或不到30秒)并且可以产生能够与由专业的人类设计师创造的质量相比的质量。本发明的实施例包括以端到端方式训练ANN。它们还可以包括在操作模式下运行经训练的基于计算机的ANN,包括输入患者口腔的3D图像(例如,经由I/O端口或接口),在基于计算机的ANN中处理这些图像,以及输出参数值或表示(例如,经由I/O端口或接口),可以以端到端方式从这些值或表示中导出相关牙科对象的参数值和3D形状。
本发明的实施例包括基于3D卷积神经网络(CNN)创建计算机实现的ANN的方法。本发明的实施例包括将回归问题转换成分类问题的有效方法。本发明的实施例还可以包括如何以良好或最佳方式生成输入数据以反映每个设计参数在其中表示的不同坐标系的特定方法。此外,可以提供分层结构来训练神经网络,由此个体参数或参数组可以被用于训练。对最终设计影响较大的参数可以被用于训练或预测不太重要的参数。因此,层次结构是指一个或多个参数(用于定义诸如修复性牙科对象之类的结构的整体形状)相对于同一参数模型的其它参数的重要性的排名。与层次结构中的级别无关,所有参数都与整个基台、整个牙冠等相关。
另外,附加地或可替代地,可以提供分层预测性结构来预测单个参数值或多个参数的集合,例如,考虑到它们之间的依赖性。根据本发明,牙科特征检测(DFD)或牙冠的2D轮廓成像(即,不是完整的3D修复)是可选的中间输入或输出,但与输入患者的颌的直接3D图像(例如,点云)相比,它们不仅是不太优选的,而且也是不必要的。因此,根据本发明实施例的输出不需要依赖任何中间结果,诸如DFD结果或2D轮廓成像。
本发明的实施例提供了一种“基于模型的”预测性系统和方法。该系统或方法的输出是模型参数或牙科对象的3D形状的模型参数的表示,例如,可以是定义修复性牙科对象(诸如患者所需的基台和牙冠)的数字的参数值。一旦通过根据本发明实施例的基于计算机的ML系统或方法进行了预测,这些参数就可以被用于唯一地定义修复性牙科对象(诸如基台和牙冠)的完整3D形状、位置和朝向。为了计算这个形状,可以将参数值馈入到底层3D参数模型中。
本发明的实施例可以利用与模型参数可以表示的值的范围的划分相关联的“概率向量”,例如,将模型参数的范围划分为多个区间(bin),每个区间具有较小的范围。这将回归问题转换成分类问题,每个区间都是类。本发明的实施例不要求对输入数据进行预先“分割”,例如,将体积图像数据分割或将3D表面分割成不同区域。
本发明的实施例包括用于提供基于计算机的工作流程的系统和方法,该工作流程彻底改变了牙科治疗服务提供商与集中式模型组织的交互方式。本发明的实施例可以提供当在诸如微处理器之类的处理引擎上执行时执行本发明的任何方法的软件。本发明的实施例可以包括以下任何一个或全部:
1)一种方法,该方法包括或将患者口腔的牙齿或颌的表面的光学扫描作为输入,以获取3D表面数据并共享这个数据,包括优选地一个或多个植入物位置的自动化检测。可以使用现有的牙齿或颌的扫描。被扫描的图像优选地是3D图像而不是2D图像,诸如在点云或三角形网格中。3D扫描可以通过光学扫描设备。扫描可以通过诸如X射线、MRI、CT扫描之类的医学图像获取方法,但这不太优选。
2)基于已成功完成的现有历史病例的结果,基于ML的修复性牙科对象(诸如基台和牙冠)的自动化设计,例如,通过以端到端方式用未加工数据(诸如3D输入图像的数据)和现有历史病例的输出结果使用机器学习方法和系统进行训练;以及
3)一种向患者或客户呈现设计的方法,例如,以2D或3D图形的形式,优选地经由易于使用的图形编辑器,使得患者或客户可以观察或控制他们将要经历的治疗的细节。这些方法可以在几秒钟内完成,这为与可能“仍在牙医椅子上”的患者共享治疗解决方案开辟了可能性。可以被用于向患者呈现形状的基台或牙冠的形状的表示的输出可以在接收到患者的扫描数据的五分钟内获得,可替代地在接收到扫描数据的一分钟内获得,优选地在接收到患者的扫描数据的小于30秒内获得。
作为本发明的实施例的工作流程方法可以在下达任何工作订单之前发生。在输入(例如,未加工扫描数据,其优选地是点云形式的3D扫描数据)和输出(即,特定于患者的修复体设计)之间基本上存在零经过的时钟时间延迟。
根据本发明的实施例的数字工作流包括一系列连接的、优选地基于云的软件服务,这些服务与现有的订购通道和下游的“后台”软件元素完全分离。
本发明的实施例可以包括以下元素和功能中的一些或全部:
1)扫描数据(例如,以可以是点云的3D扫描数据的形式)并上传(或者测得的或者从存储装置修复的),包括患者口腔的3D图像。
2)自动化FLO检测和扫描质量检查,由此一些辅助产品要求一定的最低扫描质量。
3)基于计算机实现的ML算法设计参数估计。ML算法是根据人类专家完成的现有病例进行训练的。可以适配ML算法以捕获用户对设计所做的改变。这些改变可以结合到训练中,使得ML算法演变为“动态”和特定于客户的模型。
4)可以与诸如患者之类的用户共享的设计方案。这可以通过向患者呈现图形来完成,例如,使用基于web的增强型UX查看器/编辑器。
5)可选地,使用增强现实来辅助临床医生向患者呈现治疗计划提议的软件应用。
6)流线型(例如,单击)排序按钮或图标优选地直接内置到查看器/编辑器用户界面中。
7)可选地,“后台”中的一套连接的软件将客户批准的特定于患者的设计作为集中制造过程的输入。该设计可供集中制造组织使用。
8)集中制造过程的输出可以包括各种定制的修复性产品,包括数字的和制造的,它们是实际生产、发送的(可选地基于向客户收取的费用开具销售发票)。这些产品包括STL或其它适当格式的核心、基台或牙冠数字文件,这些文件发布到客户的基于web的账户页面,用于下载和制造最终修复体,例如,通过诸如铣削或分层制造之类的减材加工,如客户实验室或椅旁使用的金属的3D打印或其它制造方法。此外,制造的定制牙科对象也是输出选项,包括基台、牙冠和辅助定制产品。这种工作流程启用“第二天”永久优质、高度美观的特定于患者的牙齿置换解决方案以及“当天”特定于患者的解决方案,其中TiBase库存解决方案和定制的细观结构(或完整修复体)被认为是足够的临床解决方案。
总之,本发明的实施例提供了方法、系统、设备和软件,其通过根据需要实时提供定制的、临床相关的设计(例如,用于至少单颗牙齿置换疗法的治疗计划/解决方案)来解决上面提到的问题,以使得能够立即确认特定于患者的治疗解决方案的有效性和执行情况。治疗解决方案提供商不一定会经历返工或延迟,因为知道哪种治疗解决方案满足所有要求。对于患者来说,不适和不便被最小化,同时可以提供永久的美学解决方案。本发明的实施例可以将计算算法和软件服务连接到整体高价值的新数字工作流程中。实现改进的结果的这些元素的组合对于这个领域中的专家来说并不完全显而易见。成功方法的开发和演示要求试错和受控实验,其中某些结果是事先不知道或没有预料到的。
本发明的实施例的优点是以下任何一个、一些或全部:
-即时或快速设计。可以在接收到患者的扫描数据的五分钟内,可替代地在接收到扫描数据的一分钟内,更优选在接收到患者的扫描数据的不到30秒内获得基台或牙冠的形状的表示的输出。
-无需像常规的设计自动化方法那样根据特定于患者的环境的功能编写明确的、手工制作的、复杂的算法来确定牙科对象的形状。
-对牙科对象的设计没有黑盒方法:能够锻炼控制形状参数,即,定义形状参数,使其具有临床意义。(例如,基台边缘的宽度、基台芯的高度等)。这意味着如果期望,那么在自动化设计之后仍然可以轻松修改设计的某些特征。
本发明的实施例可以被描述为:
条款1.一种用于训练机器学习系统的计算机实现的方法,该机器学习系统安装在一个或多个计算设备上,该方法包括用多个预先存在的治疗3D数据集训练机器学习系统,该3D数据集包括作为机器学习系统的一端上的输入的患者牙列的3D图像和另一端上作为输出的患者的修复性牙科对象的表示的3D形状。
可以以端到端方式执行使用多个预先存在的治疗3D数据集的机器学习系统的训练。
条款2.一种用于为患者提供修复性牙科对象的3D形状的表示的计算机实现的方法,该方法包括
将患者的牙列的至少一部分的3D扫描的表示输入到经训练的机器学习系统(例如,经由I/O设备或接口),3D扫描的表示定义至少一个植入物位置,机器学习系统安装在一个或多个计算设备上,以及
使用经训练的机器学习系统来识别用于植入物的修复性牙科对象的3D形状的表示,其中表示的输出可以在接收到患者扫描数据的五分钟内获得,可替代地在接收到扫描数据的一分钟内获得,并且更优选地在接收到患者的扫描数据的不到30秒内获得。
可以以端到端方式执行识别。
条款3.一种用于为患者提供修复性牙科对象的3D形状的表示的计算机实现的方法,该方法包括:
由一个或多个计算设备并使用多个预先存在的治疗3D数据集来训练机器学习系统,
由一个或多个计算设备接收患者的3D扫描数据,该数据表示定义至少一个植入物位置的患者牙列的至少一部分,以及
使用经训练的机器学习设备识别用于植入物的修复性牙科对象的3D形状的表示。表示的识别可以在接收到患者的扫描数据的五分钟内执行,可替代地在接收到扫描数据的一分钟内执行,并且更优选地在接收到患者的扫描数据的不到30秒内执行。
可以以端到端方式执行使用多个预先存在的治疗3D数据集的机器学习系统的训练。
条款4.如条款3所述的计算机实现的方法,其中识别以端到端方式完成。
条款5.如条款1至4中的任一项所述的计算机实现方法,包括应用基于计算机的端到端机器学习模型。
条款6.如条款1至4中的任一项所述的计算机实现方法,其中机器学习系统是神经网络。
条款7.如条款所述的计算机实现的方法,其中神经网络由CNN组成,
条款8.如条款2至5中的任一项所述的计算机实现的方法,其中接收包括接收患者口腔的被扫描的3D图像或从档案检索到的患者口腔的3D图像。
条款9.条款2至8中的任一项所述的计算机实现的方法,其中识别步骤包括生成修复性牙科对象的3D形状。
修复性牙科对象可以直接用于附接至植入物或经由一个或多个中间体。
条款10.如条款9所述的计算机实现的方法,其中3D形状不是自由形式的3D形状,而是由参数集定义的参数模型。
条款11.如条款10所述的计算机实现的方法,其中每个参数的值的第一范围在具有较小第二范围的区间的集合当中被划分,并且机器学习设备适于估计特定参数所属的正确区间。
条款12.如条款11所述的计算机实现的方法,其中参数涉及或表示牙齿表面解剖结构、牙齿牙列或修复类型的特点。
条款13.如条款10、11或12所述的计算机实现的方法,其中经训练的机器学习系统的输出是被表述为定义基台或牙冠的参数集的3D形状的表示。
条款14.如条款13所述的计算机实现的方法,其中参数集是参数化建模的一部分。
条款15.如条款1至14中的任一项所述的计算机实现的方法,其中机器学习系统适于使用判别性ML算法。
条款16.如条款1至15中的任一项所述的计算机实现的方法,其中患者的牙列包括上颌和/或下颌、准备好的和相对的颌、缺失的牙齿、植入物和牙齿数量。
条款17.如条款1至16中的任一项所述的计算机实现的方法,其中修复性牙科对象是用于植入物的基台或牙冠。
条款18.如条款1至17中的任一项所述的计算机实现的方法,其中针对每个临床病例在颌部扫描几何结构的3D表面上提取适于输入到人工神经网络(ANN)点样本。
条款19.如条款1至18中的任一项所述的计算机实现的方法,其中参数化模型使用ANN通过以端到端方式将输入数据映射到修复体牙科对象设计参数来训练,修复体牙科对象设计参数是用于所有预先存在的治疗3D数据集的ANN的输出。
条款20.如条款19所述的计算机实现的方法,其中将经训练的机器学习模型保存为网络位置中的计算机文件的集合。
条款21.如条款19或20所述的计算机实现的方法,还包括使用区间中分类的参数化值来确定具有3D图像的输入的新临床病例的参数化值。
条款22.如条款3至21中的任一项所述的计算机实现的方法,对于基于植入物的修复的新临床病例,该方法包括接收来自特征位置对象的3D扫描数据的植入物位置以及朝向、用户设计偏好和患者颌部3D扫描的输入。
条款23.如条款18至22中的任一项所述的计算机实现的方法,其中以用于训练的相同格式提取颌部扫描几何结构的3D表面上的样本。
条款24.如条款22或23所述的计算机实现的方法,接收的输入数据被发送到一个或多个计算设备,该计算设备处理请求并使用经训练的ANN模型返回预测的设计参数的集合。
条款25.如条款24所述的计算机实现的方法,其中3D模型的牙科修复体对象是从预测的设计参数重构的并且被渲染以呈现给用户。
条款26.如条款1至25中的任一项所述的制造牙科对象的计算机实现的方法,该方法根据基台或牙冠的重构的形状制造牙科对象。
条款27.一种用于训练机器学习系统的计算机实现的系统,该机器学习系统安装在一个或多个计算设备上,该系统包括用于用多个预先存在的治疗3D数据集训练机器学习系统的部件,该3D数据集包括作为机器学习系统的一端上的输入的患者牙列的3D图像和另一端上作为输出的患者的修复性牙科对象的表示的3D形状。
可以以端到端方式执行使用多个预先存在的治疗3D数据集的机器学习系统的训练。
条款28.一种用于为患者提供修复性牙科对象的3D形状的表示的计算机实现的系统,该系统包括:
用于输入患者的牙列的至少一部分的3D扫描的表示的部件(例如,经由I/O端口或接口),3D扫描的表示定义至少一个植入物位置,该输入用于安装在一个或多个计算设备上的经训练的机器学习系统,以及
用于使用经训练的机器学习系统来识别用于植入物的修复性牙科对象的3D形状的表示的部件,其中表示的输出可以在接收到患者扫描数据的五分钟内获得,可替代地在接收到扫描数据的一分钟内获得,并且更优选地在接收到患者的扫描数据的不到30秒内获得。
可以以端到端方式执行识别。
条款29.一种用于为患者提供修复性牙科对象的3D形状表示的计算机实现的系统,该系统包括:
用于由一个或多个计算设备并使用多个预先存在的治疗3D数据集来训练机器学习系统的部件,
接收器,用于由一个或多个计算设备接收患者的3D扫描数据,该数据表示定义至少一个植入物位置的患者牙列的至少一部分,以及
用于使用经训练的机器学习设备识别用于植入物的修复性牙科对象的3D形状的表示的部件。
表示的识别可以在接收到患者的扫描数据的五分钟内执行,可替代地在接收到扫描数据的一分钟内执行,并且更优选地在接收到患者的扫描数据的不到30秒内执行。
可以以端到端方式执行使用多个预先存在的治疗3D数据集的机器学习系统的训练。
条款30.如条款29所述的计算机实现的系统,其中用于识别的部件适于以端到端方式操作。
条款31.如条款27至30中的任一项所述的计算机实现的系统,包括用于应用基于计算机的端到端机器学习模型的部件。
条款32.如条款27至31中的任一项所述的计算机实现的系统,其中机器学习系统是神经网络。
条款33.如条款32所述的计算机实现的系统,其中神经网络是CNN。
条款34.如条款29至33中的任一项所述的计算机实现的系统,其中接收器适于接收患者口腔的被扫描的3D图像或从档案检索到的患者口腔的3D图像。
条款35.如条款27至34中的任一项所述的计算机实现的系统,其中用于识别的部件适于生成修复性牙科对象的3D形状。
修复性牙科对象可以直接用于附接至植入物或经由一个或多个中间体。
条款36.如条款35所述的计算机实现的系统,其中3D形状不是自由形式的3D形状,而是由参数集定义的参数模型。
条款37.如条款36所述的计算机实现的系统,其中每个参数的值的第一范围被划分在具有较小第二范围的区间的集合中,并且机器学习设备适于估计特定参数所属的正确区间。
条款38.如条款37所述的计算机实现的系统,其中参数涉及或表示牙齿表面解剖结构、牙齿牙列或修复类型的特点。
条款39.如条款37或38所述的计算机实现的系统,其中经训练的机器学习系统的输出是被表述为定义基台或牙冠的参数集的3D形状的表示。
条款40.如条款39所述的计算机实现的系统,其中参数集是参数化建模的一部分。
条款41.如条款27至40中的任一项所述的计算机实现的系统,其中机器学习系统适于使用判别性ML算法。
条款42.如条款27至41中的任一项所述的计算机实现的系统,其中患者的牙列包括上颌和/或下颌、准备好的和相对的颌、缺失的牙齿、植入物和牙齿数量。
条款43.如条款27至42中的任一项所述的计算机实现的系统,其中修复性牙科对象是用于植入物的基台或牙冠。
条款44.如条款27至43中的任一项所述的计算机实现的系统,其中针对每个临床病例在颌部扫描几何结构的3D表面上提取适于输入到人工神经网络(ANN)的点样本。
条款45.如条款27至44中的任一项所述的计算机实现的系统,其中使用ANN通过以端到端方式将输入数据映射到修复体牙科对象设计参数来训练参数化模型,修复体牙科对象设计参数是用于所有预先存在的治疗3D数据集的ANN的输出。
条款46.如条款45所述的计算机实现的系统,其中将经训练的机器学习模型保存为网络位置中的计算机文件的集合。
条款47.如条款45或46中的任一项所述的计算机实现的系统,还包括使用区间中分类的参数化值来确定具有3D图像的输入的新临床病例的参数化值。
条款48.如条款28至47中的任一项所述的计算机实现的系统,对于基于植入物的修复的新临床病例,该方法包括接收来自特征位置对象的3D扫描数据的植入物位置和朝向、用户设计偏好及患者颌部3D扫描的输入。
条款49.如条款44至48中的任一项所述的计算机实现的系统,其中以用于训练的相同格式提取颌部扫描几何结构的3D表面上的样本。
条款50.如条款48或49所述的计算机实现的系统,接收的输入数据被发送到一个或多个计算设备,该计算设备处理请求并使用经训练的ANN模型返回预测的设计参数的集合。
条款51.如条款50所述的计算机实现的系统,其中3D模型的牙科修复体对象是从预测的设计参数重构的并且被渲染以呈现给用户。
条款52.如条款27至51中的任一项所述的计算机实现的系统,适于根据基台或牙冠的重构的形状制造牙科对象。
条款53.一种存储介质,存储如条款1至26中的任一项所述的参数化模型或存储用于控制处理器实现如条款1至26中的任一项所述的方法的处理器可实现指令。
条款54.一种处理器可执行指令,用于控制处理器执行如条款1至26中的任一项所述的方法。
条款55.一种计算机产品,包括用于在使用参数化建模技术在数字处理器上执行时执行如条款1至26中的任一项所述的方法的软件。
条款56.由设计制成的定制修复性元件的制造,该设计是根据如条款1至26的任一项所述的方法生成的,该设计可选地为用于植入物的定制基台或牙冠。
附图说明
图1:根据本发明实施例的自动化基台设计的端到端输入和输出。左:患者颌的未加工3D光学扫描。右:基于给定植入物位置和朝向的基台设计。
图2:根据本发明实施例的网络。
图3:示出了根据本发明实施例的使用机器学习的牙科修复体对象的自动化设计的方法和系统。
图4:根据本发明实施例的将输入扫描变换成植入物坐标系的示例,其中伴随所设计的修复体对象的相关联旋转值。
图5:根据本发明实施例的使用3D占用网格在植入物坐标系中对输入扫描的表面点进行采样。
图6:根据本发明实施例的使用3D CNN和与3D占用网格相结合的辅助输入的神经网络体系架构。
图7:根据本发明实施例的Softmax操作及其在神经网络结构中的通常放置。
图8:根据本发明实施例的训练ANN模型(左)和使用经训练的模型预测设计(右)的过程。
图9:根据本发明实施例的客户端-服务器系统,其中可以根据最终用户的请求直接从云服务器提供经训练的修复体设计模型。
图10示出了与其它方法相比,在使用牙齿#5的17632个样本进行训练之后针对776个验证集在x度旋转参数内测得的准确度。第一列:x度内的准确度;0=完全匹配。第二列:使用我们的新方法(基于3D CNN)获得的准确度以及给定准确度内的病例数量。第三列:使用本发明基于非线性多维数值优化的方法获得的准确度。第四列:在25个不同病例上测得的准确度,每个病例由12个不同的人类设计师设计(总共300个样本)。
图11示出了分别在0.5mm(第一列)和1.0mm(第二列)范围内的所选择的基台形状参数的测量准确度。根据本发明的实施例,该结果基于左上后牙(牙齿#2、3、4、5)的~70,000个训练样本和~7000个验证样本。
图12在上排示出:由人类设计者创建的基台设计。下排:根据本发明实施例的由机器学习模型预测的基台设计。
图13在上排示出:由人类设计者创建的牙冠设计。下排示出了根据本发明实施例的由我们的机器学习模型预测的牙冠设计。
图14示出了根据本发明实施例的基于ML的方法与常规优化方法之间的基台设计的接受率比较。五位不同的专业人类设计者在不了解每个设计的创建方法的情况下检查了由两种不同方法创建的100个病例。
定义
“概率向量”概率向量与模型参数的值的范围的分区相关联。例如,可以将单个参数值的可能范围分割成区间,每个区间与参数的估计值落入特定区间所表示的子范围的概率相关联。因此,不需要参数的确切值,只需要计算的参数值位于一个区间的范围内的概率即可。因此,参数值被分类而不是回归。
“修复性对象”包括用于植入物的基台和用于单个植入物或单个牙根的牙冠。
“端到端模型”:在机器学习中,通常是“深度学习”设置,端到端模型学习原始输入(x)和最终输出(y)之间可以出现的所有特征。在本例中,x是指患者口腔的3D图像,而y是指参数值。
在本描述中使用的术语“端到端”是指根据本发明实施例的具有机器学习模型的方法和系统,该机器学习模型在被训练之后可以直接将输入数据转换成输出预测,同时绕过通常发生在传统软件组件的管道中的中间步骤。根据本发明实施例的方法和系统可以处置任务的整个序列。附加步骤(诸如数据收集或辅助过程)不是端到端模型的一部分,除非模型可以用给定数据学习中间过程。
“端到端输入和输出”在本申请中,人工神经网络(ANN)的训练是用许多示例完成的,包括开始时患者口腔的3D图像作为输入和最终治疗计划作为输出。ANN找到一端上的输入(例如,作为点云的3D未加工扫描数据)与另一端上的输出(例如,基台或牙冠参数)之间的关系。ANN用大量此类示例进行训练,例如,多于50万个此类输入和输出的不同示例。
“训练神经网络”神经网络的底层元素被称为感知器或人工神经元。感知器接受一系列输入,对这些输入执行函数,并产生可以传递给其它神经元的输出。例如,函数可以是加权输入的总和。神经网络是许多相互连接的神经元。神经元按“层”分组和连接。一层的输出通常通过激活函数连接到下一层。Sigmoid、TanH或ReLU函数是常见的。神经网络可以通过添加通常称为“隐藏层”的附加层来增加复杂性。
前向和反向传播被用于训练网络并找到更好或最优的权重。在初始化权重之后,具有已知结果的输入数据通过网络“向前”推送,从而产生输出预测。成本或损失函数被用于计算预测与预期结果的差距。
然后将误差或成本降低到低水平或可能的最低点,即,全局最小值。这可以通过使用例如梯度下降法来实现。梯度下降算法的目标是找到成本函数相对于每个权重的偏导数。成本函数的方向(+/-)和斜率被用于确定调整权重多少以及调整权重的方向以达到低成本或零成本。如果梯度为0,那么已达到最小值。从输出层开始,梯度下降算法“反向”传播到下一层并进一步传播到输入。为神经网络的每个节点计算需要改变多少权重才能接近零成本或低成本。
神经网络的进一步训练包括前向和反向传播,直到误差已最小化。这个过程可以被用于以端到端方式调整神经网络的权重,以用于本发明的实施例中。
“回归”和“分类”参数估计典型地和通常是回归问题。例如,它包括估计“数字”而不是“类”。例如,在分类中,值(例如数字)的第一范围可以被划分为更小的区间,每个区间具有第二个更小的范围(可以被称为“类”)并且包括ANN的机器学习系统估计特定参数所属的正确区间。
“人类设计者的特定规则”这些规则是牙科技师通常用于设计修复性牙科对象的规则。规则可以包括基台基座可以对周围软组织施加多少压力、基台可以与其相邻和相对的牙齿相比有多高,等等。
“底层修复体模型”(例如,基台或牙冠)不是自由形式的3D形状,而是可以由参数集(=数字)定义的参数化模型。例如,基台或牙冠模型的形状可以完全由参数集(对于基台是~60个数字)确定,这比自由形式模型更紧凑和可控得多,这种模型的形状应当是由大量点和连接它们的三角形定义的(即,表示通用3D对象的格式)
本申请中使用的“牙科对象的设计”是指:
a)以机器可读格式的牙科对象的3D几何结构的描述,使得可以制造它或
b)机器可读格式的表示,可以从中制造牙科对象的3D几何结构。
牙科对象的设计优选地是根据现有口腔内情况的特定于患者的特点(即,剩余牙列、牙龈等)进行的。
通过端到端连接以下元素来实现定制的牙科对象的自动化设计:
训练人工神经网络,以便在过程一端处的输入(即,用于接收可以是点云的未加工3D扫描数据的输入)和过程另一端处的输出之间找到直接模式,而不依赖于之间数据的任何中间形式。
例如,录入数据的一端上的输入适于接收输入的未加工扫描数据。这个数据可以是(例如,口腔内)环境的数字表示,诸如点云形式的3D数字表示、三角表面表示等。它优选地是点云形式的3D扫描数据。
人工神经网络的输出是牙科对象的机器可读描述或所考虑的牙科对象的机器可读表示。
“主成分分析(PCA)”属于对象的高维空间到低维空间的一类投影。优选地,尽可能多的信息被保留。在数学上,这可以通过计算协方差矩阵的特征向量来实现。由此,可以使用具有最大特征值的n个特征向量投影到n维空间中。使用这n个特征向量,有可能预测或重构属于所考虑对象的类的任何对象。
“近似形状”是指,参考参数化模型,提出的形状与模型的实际形状之间的任何差异都包括找到参数值的集合,使得用于量化提出的形状与实际形状之间的差异的误差项最小化。对于在其(口腔内)环境中包括牙齿对象的代表性训练集的每个组件,确定当应用于参数化模型时产生那个牙科对象的形状(或近似形状)的参数值。
“算法”应理解为导致期望结果的自洽步骤序列。这些步骤要求物理量的物理操纵,例如以能够被存储、传送、组合、比较或以其它方式操纵的电或磁信号的形式。
具体实施方式
附图和以下描述仅通过说明来描述某些实施例。本领域技术人员将从以下描述中容易地认识到,在不背离本文描述的原理的情况下,可以采用本文所示的结构和方法的替代实施例。现在将详细参考几个实施例,其示例在附图中示出。注意的是,只要可行,相似或相像的附图标记可以用在附图中指示相似或相像的功能性。对本领域技术人员清晰的是,可以以多种方式实践本发明。
本发明的实施例将机器学习算法用于计算机实现的自动化修复体设计的方法或系统。修复体设计包括修复性牙科对象的设计,诸如用于植入物(例如,单个植入物)的基台或牙冠,或用于牙根的牙冠。可以在接收到患者的扫描数据的五分钟内,或者在接收到扫描数据的一分钟内,更优选地在接收到患者的扫描数据的不到30秒执行识别修复性牙科对象(诸如用于植入物的基台或牙冠)的形状。
提供了用于在数字处理器上执行时执行方法的软件。修复性牙科物品的制造也包括在内。
本发明的实施例使用患者牙列的3D扫描数据作为神经网络的输入。扫描数据可以是3D图像的点云形式。根据本发明的实施例的方法和系统利用在诸如计算机的微处理器之类的处理设备上执行的ML算法,其可以访问诸如易失性和非易失性存储器之类的计算机存储器。
本发明的实施例还涉及适于使用机器学习算法进行自动化修复体设计的计算机实现的系统。计算机实现的系统优选地为包括计算机程序在内的所需目的而专门编程或构造。这些可以存储在计算机可用或计算机可读存储介质中。
此外,本发明可以采用计算机程序产品的形式,该计算机程序产品可以存储在非暂态机器可读存储介质上。非暂态机器可读存储介质可以是电子、磁、光、电磁、红外或半导体系统(或装置或设备)或传播介质。非暂态机器可读存储介质的示例包括但不限于半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘、光盘、EPROM、EEPROM、磁卡或光卡,或适合于存储数据、图像或电子指令的任何类型的计算机可读存储介质,并且每个都耦合到计算机系统总线。光盘的示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和数字视频盘(DVD)。
诸如具有存储器的微处理器之类的处理设备适于存储和/或执行程序代码并且包括例如通过系统总线直接或间接地耦合到存储器的至少一个微处理器。存储器可以包括在程序代码执行期间使用的任何本地存储器。计算机系统可以包括输入/输出(I/O)设备,诸如键盘、显示器、定点设备或被配置为接收数据或呈现数据的其它设备,这些设备或者直接或者通过介于中间的I/O控制器耦合到系统。
网络适配器也可以耦合到处理设备,以允许通过介于中间的私有或公共网络耦合到其它数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和网卡是当前可用的网络适配器类型的示例。
本发明的实施例包括用于自动化修复体设计的方法、系统和软件。修复体设计包括使用机器学习(例如,利用神经网络)从患者牙列的扫描数据中导出的修复性牙科对象。患者的牙列数据集可以包括患者的扫描数据中的一个或多个,该扫描数据来自对患者口腔的全部或部分进行多次一次或多次扫描,有或没有患者身体的其它部分,诸如患者的颌部的一个或多个部分的扫描。自动化修复体设计的计算机实现的方法使用患者口腔的至少一部分的3D电子图像作为设计过程的起点。在一些实施例中,电子图像是通过对患者牙齿的直接扫描获得的。本发明的实施例允许牙医或牙科技师捕获3D图像,或者可以通过扫描患者牙齿的一个或多个印模来获得。本发明的实施例适合在牙医的椅子上使用。
本发明的实施例基于以下观察:定制的牙科对象的设计与创建该设计的输入数据之间的关系可以通过训练机器学习系统或方法来学习,这是通过输入(例如,经由I/O端口或接口)并使用由诸如牙科技师之类的人类操作者设计的许多现有治疗计划和结果的相关示例。这可以被认为是监督式学习的一个典型问题。这种算法涉及一个问题域,其中输入数据是1)已知的植入物类型、位置和朝向,2)患者颌部的3D扫描数据(例如,作为点云),以及3)关于如何设计特定牙科对象的附加选项(或客户偏好)。这种信息是完整的并且足以让人类设计者创建修复性牙科对象的形状,诸如定制的牙冠和基台形状。人类设计者应用他们的牙科知识和特定规则来设计基台或牙冠,基台或牙冠将根据给定的输入数据以最优方式适合缺失牙齿周围的牙列。输出是完整修复体设计,可以通过参数集进一步定义,这些参数将唯一地定义基台或牙冠的形状、位置和朝向。本发明依赖的底层修复体模型(例如,基台或牙冠)不是自由形式的3D形状,而是可以由参数集(例如,数字)定义的参数化模型。
本发明的实施例使用完整的3D数据(例如,占用网格、点云)作为ML系统或方法的输入。在本发明的实施例中,直接使用3D数据的技术难度已经通过这一点以及通过由机器学习系统或方法应用的3D卷积操作(例如,在卷积神经网络(CNN)上实现)得到解决。
对于本发明的实施例,输入数据优选地是患者颌部的3D光学扫描的形式(如图1的左图像中所示),例如,作为通过或者患者口腔的口腔内扫描或者从物理印象创建的石膏模型的扫描获得的点云。植入物的位置和朝向通常是通过使用单独的过程来获知的,该过程使用对放置在植入物上的扫描体或特征定位对象(FLO)的检测。未加工3D扫描数据以及植入物位置和朝向都是任何类型的基于植入物的修复设计所需的最少输入信息,无论是自动完成还是手动完成。
给定输入,期望的输出是目标修复体对象(例如,基台或牙冠)的设计,无需或只需极少的改变即可从中产生最终物理产品。最终修复体设计(例如,基台或牙冠)可以由以下任一个表示:
1)通用3D对象格式(例如,连接对象表面上的密集点的三角形网格)或
2)通过定义为特定类型的3D对象(例如,基台模型或牙冠模型)设计的底层模型的形状的参数集。图1的右图像是放置在植入物位置上的基台模型示例。
可以在接收到患者的扫描数据的五分钟内,或者在接收到扫描数据的一分钟内,更优选在接收到患者的扫描数据的不到30秒内执行识别修复性牙科对象(诸如用于植入物的基台或牙冠)的形状。
从专利US 9814549(通过引用包括在内)得知,可以计算灵活的牙弓模型(FAM)以捕获训练集中多个真实牙弓的变化并对其进行参数化,以重构患者牙科解剖结构中缺失的牙齿。构建FAM包括获取数字化牙弓的多个集合,其中一对上颌(上)和下颌(下)处于正确的相对位置并在每个牙弓的咬合面上搜集界标点的预定义集合,所有这些都在跨多个样本的相同次序和相同对应位置。搜集的界标点向量被用于执行统计建模(例如,主成分分析)以在过程期间发现的主成分(当使用PCA时)的基础上创建特征点的线性子空间。可以通过在从训练样本捕获的合理变化范围内的主成分的线性组合来重构一对上弓和下弓上的界标点的任意集合。
从US 2017/0095319(通过引用包括在内)得知,计算机实现的方法可以被用于设计牙科修复组件。该方法包括:接收对于牙科修复组件必须满足的设计维度约束的集合;接收对于牙齿修复组件的设计参数的集合;接收惩罚函数的定义,该定义考虑所述设计参数中的至少多于一个,并且当所述参数中任何一个的值违反约束时,该定义发信号通知达到约束;以及使用惩罚函数,为用于牙科修复组件的所述设计参数中的每一个指派值,该值与用于所述组件的约束一致。
从US 9504541或US 2007/0154868(都通过引用包括在内)得知,一种方法可以被用于设计牙科修复组件。定义了对于牙科修复组件必须满足的设计维度约束的集合。还定义了用于牙科修复组件的设计参数的集合。至少部分地使用惩罚函数,向用于牙科修复组件的所述设计参数中的每一个指派值,该值与用于所述组件的约束一致,所述惩罚函数考虑所述设计参数中的至少多于一个,并且当所述参数中任何一个的值违反约束时,该定义发信号通知达到约束。
3D统计分析从US2016/0224690(通过引用包括在内)得知,以使用统计方法(诸如k均值聚类、主成分分析(PCA)或类似的统计方法)生成牙冠模型。这会导致缺少低于统计技术阈值的锐度细节的牙冠模型。提供了一种方法,该方法通过将单个完全特征示例组合到生成统计模型的算法中来将清晰度添加回结果模型中。最终结果是产生和实时操纵相对简单的牙冠模型,但仍维持天然牙齿的解剖清晰度。
从US 7551760或US 7362890或US 2008/0002869或US 2006/0072810(都通过引用包括在内)得知,基于三维的建模方法和系统可以被用于进行用于牙科和相关医疗(和适当的非医疗)应用的设计。数据捕获部件产生表示对象(例如,牙弓)的三维表面的点云。提供三维识别对象,特别是在图像领域中具有低图像清晰度的区域内,并且特别是在出现在至少两个图像的重叠部分中的这些区域中,以向三维图像处理软件提供足以启用相邻和重叠图像的高准确组合(或“拼接”)的位置、角度和朝向信息。促进对准和创建对准的相关对象或其模型,诸如上颌弓和下颌弓。
牙科行业中一种已知的基台模型表示基于60多个设计参数的各种定制基台形状,这些参数可以适合特定患者的牙列。还已知通过对大范围的实际牙齿样本的统计分析创建的参数化模型。这些方法是基于参数的底层修复体模型的具体示例。
给定患者颌部的3D扫描以及缺失牙齿部位上的植入物位置和朝向,本发明的实施例使得能够创建系统或方法,例如,可以呈现完整修复体设计提议的基于计算机的系统或方法,例如,以非常快的方式(例如,几秒钟或更短时间)并以完全自动化方式以CAD/CAM格式向最终用户提供修复性牙科对象(例如,基台或牙冠)的3D模型。本发明的实施例利用机器学习(ML)和人工智能(AI)的最新进展,并且本发明实施例的各方面之一是让系统学习很多实际示例的输入和输出之间的底层模式,即,以端到端方式。本发明的实施例从存在许多用于其起始位置(例如,缺失的牙齿)已知并且最终治疗计划、治疗和结果(即,修复性牙科物体的设计)已知的基于植入物的修复的修复性牙科对象的实际牙科临床病例开始。起始位置(例如,缺失的牙齿)是指过程的一端,而最终的治疗计划、治疗和结果(即,修复性牙科对象的设计)是另一端。因此,根据本发明实施例的方法仅用未加工数据和最终结果来训练诸如CNN之类的神经网络,从而执行端到端的机器学习。传统上,尚未使用基于现有临床病例文档中可用信息的端到端机器学习。例如,如US2018/0028294 A1中描述的使用深度学习的牙科CAD自动化主要利用机器学习让系统对缺失牙齿的牙列周围的正确牙齿特征进行分类,这进而被用于使用可生性机器学习算法来估计牙冠修复体。
与这种现有技术公开相反,根据本发明一些实施例的修复体设计的问题通过让系统学习端到端输入和输出之间的模式来解决,这意味着输入是未加工颌部扫描,而输出是最终的修复体设计,例如以模型参数的形式,而无需任何预处理或一个或多个中间特征检测过程,这使得用于最终用户的预测过程非常快速,同时也非常可靠。
在本发明的实施例中,对患者的口腔进行一次或多次扫描。这些扫描可以包括咬合、舌侧或颊侧扫描中的一些、任何或全部。也可以扫描相邻牙齿的接触区域。可以将多个扫描组合成包括植入物的底层3D数字模型。底层3D数字模型被用于设计牙科修复体(例如,牙冠或基台)。在本发明的实施例中,修复体设计程序由经训练的机器学习系统提供,并且患者和/或牙医和/或牙科技师可以经由图形界面查看修复体。可以适配界面,以便牙科技师或牙医可以精炼提出的修复体。
在本发明的实施例中,使用仅包括未加工图像数据和最终治疗计划和/或修复性牙科对象的许多训练数据集来训练机器学习系统,诸如CNN是其一个示例的神经网络。
本发明的实施例可以采用判别机器学习算法来确定合适的牙科修复体,诸如用于植入物的基台或牙冠。可以训练判别机器学习算法以输出牙冠或基台的3D表示或模型。训练集优选地限于那些具有相同类型修复体的情况,例如,训练数据集可以是那些涉及牙冠或基台的情况。可以在接收到患者的扫描数据的五分钟内,或者在接收到扫描数据的一分钟内,更优选地在接收到患者扫描数据的不到30秒内执行输出修复性牙科对象(诸如用于植入物的基台或牙冠)的形状的表示。
在图2中,是根据本发明实施例的适于机器学习算法的计算机实现系统10的框图。该计算机实现的系统适于执行根据本发明实施例的用于自动化修复体设计的方法。修复体设计包括根据本发明实施例的修复性牙科对象(诸如用于植入物的基台或牙冠)的设计。系统10可以包括网络15中的ML服务器11,由此ML服务器11包括web服务器12、模型服务器13和经训练的模型14。扫描仪19是可选的或者可以位于不同场所。
网络15使得能够与网络上的其它设备通信并且可以使用标准电信协议。例如,网络15可以包括用于例如从扫描仪19接收3D图像的网络设备18。网络15可以是常规的有线或无线网络,诸如局域网(LAN)、广域网(广域网)。网络15可以包括使用云计算技术的云网络。模型服务器13适于执行根据本发明实施例的ML算法。web服务器12可以适于例如从网络设备18接收患者的3D图像,包括例如由扫描仪19生成的经扫描的3D图像。在模型服务器13已经准备好基于这些图像的修复性设计之后,web服务器12可以适于将完整的修复体设计发送给例如可以访问网络设备18的牙科技师或牙医。完整的修复体设计可以是参数值的形式。
模型服务器13和模型14可以被用预先存在的3D牙科图像以及由人类专家根据这些图像的修复性牙科对象设计进行训练以用于修复性牙科对象的自动化设计。模型服务器13可以适于操作诸如CNN之类的神经网络。可以选择来自具有一个或多个牙冠或基台的真实牙科患者的许多训练数据集,以形成一组专门用于牙冠或基台的训练数据集。ML服务器11可以与存储预先存在的3D牙科图像和由人类设计的修复性牙科对象的数据库的数据服务器17通信。
在本发明的实施例中,可以训练CNN的节点的权重以最小化误差。根据本发明实施例的CNN网络体系架构包括由多个层组成或包括多个层的CNN,包括可选地归一化层、另外的卷积层以及全连接层。
CNN的第一层可以选择性地执行图像归一化。归一化器可以被硬编码并且在学习过程中不需要更改。在CNN中执行归一化允许使用CNN体系架构更改归一化方案并通过GPU处理进行加速。
卷积层不需要执行特征提取。在卷积层之后,有完全连接的层导致输出参数值。使用现有的治疗数据对CNN进行端到端的训练。
本发明的实施例基于机器学习并且可以利用人工神经网络框架(ANN)来进行监督式学习。根据本发明实施例的方法或系统基于使用大量输入和输出的示例的已知集合,输出是修复性牙科对象的设计。训练是用预先存在的3D牙科图像和人类专家根据这些图像设计的修复性牙科对象完成的。神经网络可以处于训练或操作状态。
参考图3,用于训练的输入是接收来自患者的过去临床病例的大量未加工光学3D扫描20,而输出是由人类生成的基台和牙冠的对应设计22。设计22优选地由模型参数定义并且可以由人类修复体设计技术人员生成并存储在数据库中。这个训练步骤24的计算量可以很大,并且优选地由高性能GPU(图形处理单元)离线执行。训练步骤24可以使用所有过去的现有数据集仅离线执行一次,因此,训练不需要时间压力。在这个训练步骤24期间,ANN将学习将所有输入训练数据与对应的输出训练数据相关联的隐式模式26和/或规则。一旦模型已经被训练和创建,神经网络就可以被置于操作状态或在线模式,并且当向系统给出新的输入28时可以立即使用学习到的模式26。而且,可以以端到端在线模式使用ANN即时生成来自新输入28的输出设计29的预测。除了即时预测时间之外,本发明实施例的其它益处可以包括以下一项或多项或全部:
1)无需编写明确的、手工制作的、复杂的算法来结合输入和输出中间的规则和模式,
2)训练步骤24将以人类或其它传统计算方法难以找到的良好或最优方式找到规则和模式26,以及
3)输出29不会对任何中间检测过程或其它子组件的质量敏感。
分层训练&预测
本发明的实施例包括分层训练方法,该方法包括训练重要的个别参数和/或根据它们在解释它们的值的坐标系方面的相对依赖性将剩余的设计参数分成不同的组。因此,分层训练方法是指一个或多个参数(用于定义诸如修复性牙科对象之类的结构的整体形状)相对于同一参数化模型的其它参数的重要性的排名。与层次结构中的级别无关,所有参数都与整个基台、整个牙冠等相关。旋转参数是最重要的参数,可以首先用植入物坐标系中的输入扫描对其进行训练。然后可以基于由已知旋转角度归一化的输入扫描来训练角度和位置参数(例如,每个单独或在组中)。然后可以基于由已知位置和其它角度归一化的输入扫描来完成其余形状参数的训练(例如,每个单独或在组内)。基于实验结果,与在单个坐标系中用输入扫描训练所有参数相比,这种分层训练方法可以提供显著更好的准确度结果。
相应地,在预测步骤期间可以遵循相同的分层方法。当给定新的输入扫描和FLO检测时,首先将输入扫描变换成植入物坐标系(由FLO检测可知),并用这种输入扫描来预测最重要参数的参数值。然后,基于这个和其它预测参数值进一步变换输入扫描,并且这些附加参数是用这种输入扫描预测的。最后,基于先前预测的参数对输入扫描进行进一步的变换,并用这种输入扫描来预测其余参数。因此,本发明的实施例可以可选地包括分层参数预测方法,该方法包括预测重要的个别参数和/或根据它们在解释它们的值的坐标系方面的相对依赖性将剩余的设计参数分成不同的组。然后,预测开始时仅针对每个最重要的参数分别单独地进行预测。之后可以分组预测不太重要的参数。因此,分层训练和分层预测是指一个或多个参数(用于定义诸如修复性牙科对象之类的结构的整体形状)相对于同一参数化模型的其它参数的重要性的排名。与层次结构中的级别无关,所有参数都与整个基台、整个牙冠等相关。
因此,以分层方式使用计算机进行训练和/或预测包括在训练或预测过程中首先或早期训练和/或预测更重要的参数或参数组。这些重要参数与由牙科对象(即,整个基台、整个牙冠等)的底层参数化模型定义的牙科对象形状相关。因此,分层训练和/或分层预测是指一个或多个参数(用于定义诸如修复性牙科对象之类的结构的整体形状)相对于同一参数模型的其它参数的重要性的排名。与层次结构内的级别无关,所有参数都与整个基台、整个牙冠等相关。
下面给出某些参数的指示,这些参数已被示为对基台或牙冠是重要的,但这些是作为示例给出的并且对于不同应用,优先级可以不同。这些不同的优先级和不同的应用包括在本发明的范围内。
旋转参数估计
在牙科修复体设计中正确估计的重要设计参数的一个示例是旋转参数。特别是确定修复体对象的正确面部或颊侧的旋转参数已被发现是最重要的。例如,即使是轻微的旋转错位,人眼也很容易检测到,并且也会影响水平角的其它参数或其它形状参数的确定。旋转值可以从植入物的锁定特征的方向(图5中的f向量)相对确定。FLO检测过程将提供这个水平植入方向并且这将是确定正确旋转值所必需的输入信息。因为这个水平植入朝向(图5中的f向量)和垂直植入朝向(图5中的u向量)是已知的,所以如果将未加工扫描变换到这个植入坐标系中,那么可以将这个信息嵌入到未加工扫描中。以这种方式,除了变换后的未加工扫描之外,将不需要植入朝向的单独输入。图4示出了具有不同的相关联的旋转值的变换后的输入扫描(例如,重新采样的表面点)的几个示例。请注意,虽然个别扫描的形状差异小,但具有相似旋转值的变换后的输入扫描将示出相似的全局点分布。这种全局点分布将是预测正确旋转值的有力指示,并且已发现3D卷积神经网络(CNN)的训练步骤非常适合发现这种模式。
核心角参数估计
颊舌角:这个参数确定修复体部分相对于垂直植入物轴的颊舌成多少角度。
近远中角度:这个参数确定修复体部分相对于垂直植入物轴的颊舌成多少角度。
这两个修复体角度参数(又称核心角)是旋转角的下一个重要参数,并且对其余修复体形状参数也有全局影响。但是,与旋转角不同,这些核心角不受植入物的旋转方面(图5中的f向量)支配,而仅受植入物的垂直朝向(图5中的u向量)支配。为了移除不必要的估计自由度,我们基于每个数据样本的已知旋转值(即,沿着垂直植入物轴旋转已知旋转值的量)再次变换输入扫描以训练这两个参数,已证明比从植入物坐标系训练它们更有效。
修复体位置参数
颊舌偏移量:这个参数确定修复体部分相对于植入物的中心的颊舌定位的位置。
近远中偏移量:这个参数确定修复体部分相对于植入物的中心的近远中定位的位置。
在它们一旦设置了旋转值就确定修复体部分的位置(即,它从植入物的中心移位了多少)的意义上,这两个参数对于两个核心角参数同等重要。因此,使用由已知旋转值变换的输入样本(即,使用移除旋转变化之后的归一化的输入样本)来训练这两个参数是重要的。
基台形状参数
除上述五个整体角度和位置参数之外,(或者基台或者牙冠的)其余设计参数主要支配修复体部分的局部尺寸或形状。此类基台设计参数的一些示例包括面部牙尖高度、边缘的近远中宽度、肩宽、面部边缘高度等等,具体取决于特定的底层模型。专家设计的基台模型可以有超过50个这样的参数,这些参数将在广泛的几何变化范围内定义独特形状的基台。图12示出了由几个不同的参数集创建的基台的一些示例。这些基台形状参数都在可以由五个全局参数确定的坐标系中定义,我们称之为“核心坐标系”。这意味着将原始输入扫描变换成这个核心坐标系以通过移除那些全局参数的变化来训练其余参数将是有益的。
牙冠测量参数
与基台不同,牙冠修复体部分需要看起来像具有生物形状的天然牙齿,并且其完整的解剖形状难以用与一些直接几何意义相关联的少量参数来描述。了解这个限制但仍然能够训练具有某个整体尺寸和形状的牙冠模型(没有完整的解剖细节),我们根据以下五个参数测量由人类设计者创建的3D解剖牙冠的每个样本:面部牙尖高度、舌尖高度、近远中宽度、颊舌宽度、尖角。然后,我们在我们用于基台形状参数的同一“核心坐标系”中对这些测量参数进行训练。
牙冠设计可以建立在称为主成分分析(PCA)的统计方法之上,该方法被认为是无监督机器学习技术之一。利用这种方法,可以用紧凑的表示来表示牙冠的完整解剖形状,诸如使用称为“PCA参数”的小参数集,结合牙冠的平均形状,这提供了在广泛变化的范围内产生牙冠的完整解剖形状的方式。这些PCA参数可以以端到端方式进行训练,并且系统可以学习给定输入扫描与PCA参数之间的模式,以使用上述机器学习框架解决完整的解剖细节。对于这种方法,要求大量真实世界的临床牙冠样本。
1次准备,包括训练
这个实施例具有以下步骤:
步骤1:创建或获得要设计的牙科对象的参数化(数学)模型,并捕获其变化的模式。
在优选实施例中,这种参数化模型是通过对(示例或参考)牙科对象的训练集应用主成分分析而生成的主动形状模型(ASM)。该模型可以捕获真实的形状变化以及位置和缩放方差。
根据另一个实施例,基于经验或专家定义的规则为特定类型的组件开发参数化模型。所述参数化模型可以或可以不捕获牙科对象相对于定义的坐标系的位置变化。
步骤2:对于在其(口腔内)环境中包括牙科对象的代表性训练集中的每个牙科对象,确定在应用于参数化模型时产生那个牙科对象的形状(或近似形状)的参数值。
如果参数化模型是ASM,那么代表性训练对象集可以是用于生成所述ASM的训练集。要确定的参数值是用于每个特征向量的加权因子,其线性组合确定牙科对象的形状。为了确定参数值,可以使用迭代搜索算法将统计分量模型(ASM)拟合到训练集中的牙科对象。
在一些情况下,用于代表性训练集的参数值可能已经知道。例如,当所述训练集包括最初使用参数化模型设计用于对应口腔内环境的牙科对象时,情况可以是这样。
步骤3:为参数化模型中的每个参数指定训练的层次结构(即,首先训练哪个参数或参数组)。
根据一个实施例,例如,对于所创建的参数模型,当牙科对象的形状变化不依赖于其位置/缩放方差时,层次结构对于每个参数都是完全相同的。
根据另一个实施例,首先进行确定牙科对象相对于其环境的位置的模型的参数的训练。
步骤4:对于参数化模型中的每个参数(单独地,即,单独训练每个参数或在参数组中训练每个参数),训练人工神经网络以学习所有训练输入数据集(即,训练集的(口腔内)环境的所有数字表示)和对应的输出数据(即,为训练集的每个牙科对象确定的相同参数的所有参数值)之间的隐含模式。输入的3D扫描数据可以是点云的形式。训练是根据步骤3中指定的层次结构进行的。这意味着每个参数或参数组与其它参数或参数组分开训练。已经发现,尝试将所有参数一起训练不会导致好的结果。
根据优选实施例,每个参数的训练是基于在通过先前参数(中的一个或多个)归一化之后的输入来完成的。
操作模式(设计自动化)
步骤1:向人工神经网络提供特定于患者的(口腔内)环境的数字表示,该人工神经网络先前经过训练,以基于如上所述学习到的模式为牙科对象的参数化模型生成参数值。输入数据可以是3D扫描数据,3D扫描数据可以是点云形式。
步骤2:将参数值应用于参数化模型以建立期望的特定于患者的牙科对象的几何描述或建立可以从其制造牙科对象的期望的特定于患者的牙科对象的几何描述的表示。这可以通过预测例如单个参数然后预测参数组以分层方式完成。
步骤3:将牙科对象的几何描述(如果要求)翻译成牙科对象的机器可读描述,该描述可以被用于命令制造设备(例如,铣削单元、3D打印机、火花腐蚀设备等)制造牙科对象。可替代地,将期望的特定于患者的牙科对象的几何描述的表示(如果要求)翻译成牙科对象的机器可读描述,该描述可以被用于导出要提供给制造设备(例如,铣削单元,3D打印机、火花腐蚀设备等)以制造牙科对象的命令。
输入数据生成
本发明的实施例为训练和预测制定输入扫描数据。由于在采用完整3D数据集作为训练输入的源时遇到的一些技术困难,其它已知系统使用2D数据或2.5D数据(例如,具有关于特定方向的深度信息的2D图像)作为其神经网络输入。显然,那些2D和2.5D数据集丢失了3D输入扫描数据可以表示的一些完整信息。
3D占用网格
本发明的实施例使用完整3D输入扫描数据。可以在本发明实施例中使用的用于3D输入数据的表示的一种选项是称为“3D占用网格”的表示(图5)。给定植入物位置和朝向(图5中的b、f、u),输入扫描首先被变换到这个植入物坐标系。然后定义NxNxN 3D网格,它可以覆盖每个轴上的特定几何长度。然后当扫描的表面与体素重叠时,网格上的每个体素可以用1填充,否则为0。以这种方式,用NxNxN 3D二进制数据表示在输入扫描上表面的存在。例如N=40并且每个轴上覆盖1英寸,这个40x40x40二进制数据允许在8GB GPU存储器的限制下轻松训练它们。虽然图5中没有示出,但优选地将存在植入物的铸型扫描及其相对的铸型扫描(只要存在这种扫描)都包括在同一占用网格中。
选择占用网格的覆盖范围从占用网格的给定分辨率开始,该分辨率由GPU存储器的限制设置。占用网格可以通过不那么密集地对表面数据进行采样来覆盖更宽的扫描范围,但代价是会丢失表面上的一些细节。由于主要目标是找到输入扫描数据和植入物最终修复体设计之间的端到端模式,因此输入扫描上最相关的信息位于植入物位置附近,包括直接相邻的和相对的牙齿。基于多次实验,已经发现在每个轴上大约1英寸的覆盖范围将在给定的网格分辨率下提供最准确的结果。
辅助输入
除了扫描数据和植入物位置和方向的输入外,还可以获得其它输入信息,这些信息可以为训练期间的最终修复体设计提供更多线索。优选地,仅当在预测时间也可用相同的信息时,才将此类辅助数据包括在训练中。附加信息可以是牙齿数量、设计偏好,以及植入物类型和对应的规格。其中,牙齿数量对于帮助提高训练和预测的准确度是有用的。然后是客户在下订单时提供的某些可选的设计偏好信息,根据这些信息创建一些基于选项的特定设计将是有用的(例如,基台边缘的龈下深度需要多少)。
神经网络体系架构
3D卷积神经网络
卷积神经网络(CNN)是用于本发明实施例的优选网络结构。CNN被用于以端到端方式找出采样的输入扫描数据(例如,占用网格)和最终设计参数之间的模式。CNN是一种已知的通用神经网络结构。在本发明的实施例中,它可以被用于在输入数据中找到与区分标签(即,已知输出)相关的几何特征(2D或3D)。由于输入是3D(例如,3D占用网格),因此可以方便地使用3D卷积滤波器来提高或最大化性能。虽然技术人员可以认为使用2D卷积滤波器可以使训练步骤更快,但实验结果表明使用3D操作总是提供更好的结果。图6示出了本发明的实施例,其包括专用神经网络体系架构40,其中神经网络30具有多个层,诸如多个池化层34和多个卷积层35。池化层34的数量可以是最大为3,并且卷积层35的数量可以是五。可替代地,可以使用预先构建的网络或预先训练的模型。注意的是,图6中所示的这种特定体系架构只是一个示例,它可以实现根据本发明实施例的用于牙齿修复体设计的机器学习公式。本发明实施例中包括的机器学习可以用其它神经网络体系架构来实现,只要这种网络可以以端到端方式有效地找到输入和输出之间的关系或模式即可。例如,可以在本发明的实施例中使用称为“PointNet”的神经网络结构-参见例如Charles R.Qi、Hao Su、Kaichun Mo、Leonidas J.Guibas的PointNet:Deep Learning on Point Sets for 3D Classificationand Segmentation,CVPR 2017。
处置辅助输入
如图6中的框图所示,几何输入(例如,占用网格)31被馈入3D CNN 30并且辅助输入32(例如,牙齿数量、设计偏好等)被馈入分离的密集连接层41,最终在层37中与3D CNN30的输出的密集层36合并。在合并层37中合并之后,该层的输出连接到最终的读出层38(例如,softmax层),它输出一个或多个参数值39。这些参数值被用于通过将这些参数输入到底层参数化模型中来定义修复性牙科对象的形状和位置。这种将辅助输入32与3D扫描数据31分开处置的结构在使整体性能比仅使用3D输入数据31或将它们视为CNN的组合输入好得多方面非常有效。
回归问题到分类问题的转换
一个有助于实现训练和预测的高准确度的可选特征是将回归问题(即,估计参数的值数字)重新表述为分类问题(即,在多个类的选择中估计类)。参数(即,数字)的估计本质上是回归问题。构建网络来解决回归问题并不难,并且这包括在本发明的实施例中。但是,已经发现估计确切或高度精确的参数值不太相关,因为在每个设计中没有绝对正确的单个参数化设计值。代替地,对于每个参数都存在某个可接受的值范围。因此,如果预测性值在已知(目标)参数值的某个范围内就足够了。基于这一观察,在本发明的实施例中,数字的范围定义更小的区间(“类”)。图6中的神经网络40被用于估计特定参数所属的正确区间。这比训练系统估计参数的确切或高度精确的值要有效得多,并且提供了更好的结果。
独热(One-Hot)编码的Softmax和Gaussian软化器
Softmax是神经网络体系架构40的输出层38的标准形式,如图6中所示,用于解决分类问题(参见图7)。这种分区间成范围常常被解释为“概率向量”,因为在应用这个softmax操作之后,每个类(区间)被赋予了一个概率数(0到1之间)。在训练过程期间,这个softmax输出(或概率向量)由神经网络30在每个输入样本31上生成,并与“独热编码”格式表示的已知正确值(标签)进行比较。例如,如果存在五个类,那么softmax输出将是五个概率值的向量[0.1,0.2,0.5,0.1,0.1]并且“独热编码”形式的正确答案(假设它是第三个类)将是[0,0,1,0,0]。然后比较这两个向量,并且训练算法将基于它们的相似度对网络估计的答案进行惩罚。但是,在本发明的实施例中,因为第二和第四类更接近正确(第三)类,所以以与第一和第五类相同的方式惩罚第二和第四类被认为是不合适或不平衡的。基于这一观察,在本发明的实施例中,针对独热编码的向量[0,0,1,0,0]存在离散Gaussian斯滤波器的附加操作,导致与网络生成的softmax输出[0.1,0.2,0.5,0.1,0.1]相比,第二和第四类受到的惩罚小于第一和第五类。根据实际实验,针对未加工标签实现Gaussian软化器的这一特征可以显著提高某些参数集的准确度。
构建系统
一旦已经针对每个设计参数对模型进行了训练,所有经训练的模型就都可以部署在机器学习计算设备(诸如服务器)上,并且它们可以被用于预测关于新输入数据的参数值。图8描述了根据本发明实施例的这种系统正在使用的两个互补过程。一种方法100用于离线训练过程,而另一种方法200用于最终用户的在线预测系统。在方法100中,对于基于植入物的修复的每个过去临床病例,用于训练的输入数据在步骤102中收集,包括植入物位置、朝向、设计偏好和3D颌部几何扫描(例如,作为点云)中的一些或全部。在步骤104中,对于每个临床病例,在颌部扫描几何结构的3D表面上以合适的形式提取点样本,用于输入到人工神经网络(ANN)。在步骤106中,通过以端到端方式将输入数据映射到所有收集的病例的最终修复体设计参数(ANN的输出),使用ANN来训练模型。在步骤108中,输出模型被训练并作为计算机文件的集合保存在网络位置处。ANN现在在离线模式下被训练并准备好在操作模式(例如,在线模式)下使用,以使用区间中的分类的参数值来确定用于新输入病例的参数化值。
在用于基于植入物的修复的新临床病例的方法200中,设计偏好、患者颌部3D扫描的用户输入被收集(例如,作为点云),并且在步骤202中根据特征位置对象的3D扫描数据计算植入物位置和朝向。在步骤204中,以与上述用于训练相同的格式提取颌部扫描几何结构的3D表面上的点样本。在步骤206中,在步骤1和2中收集的输入数据被发送到诸如服务器之类的计算设备,该计算设备处理请求并使用经训练的ANN模型返回预测的设计参数的集合。在步骤208中,3D模型的修复元素(例如基台或牙冠)从预测的设计参数重构并渲染以呈现给用户。然后可以根据基台或牙冠的形状制造牙科对象。
图9描绘了示例客户端-服务器系统50,其中经训练的修复体设计模型根据最终用户的请求直接从基于云的服务器52提供。基于所呈现的设置的系统测试表明,从基于云的机器学习服务器52到最终用户的响应时间对于一个植入物部位上包括基台或牙冠在内的完整修复体设计的响应时间快至5秒。
参考图9,经训练的模型54已使用从患者接收的过去临床病例的大量未加工光学3D扫描进行了训练,并且作为基台和牙冠的对应设计的输出存储在服务器52上。服务器52可以包括用于与用户通信的TensorFlowTM模型服务器55和web服务器56。设计优选地由模型参数定义,并且可以由人类修复体设计技术人员生成并存储在数据库中。在训练期间,ANN58将以端到端方式学习将所有输入数据与对应的输出数据相关联的隐式模式和/或规则。由于现在已经训练和创建了模型,因此神经网络58处于操作状态或在线模式,并且当向系统给出新的输入62以及任何辅助数据时,可以立即使用学习到的模式。可以使用ANN 58在端到端在线模式下快速生成来自新输入62和64的输出设计预测。这可以经由web服务器56传送给用户。除了即时预测时间之外,本发明实施例的其它益处可以包括以下一项或多项或全部:
1)无需编写明确的、手工制作的、复杂的算法来结合输入和输出中间的规则和模式,以及
2)输出设计不会对任何中间检测过程或其它子组件的质量敏感。
实验和结果
在图10中,呈现了根据本发明实施例的机器学习系统对旋转参数估计的准确度的比较的实验结果。结果表明,根据本发明实施例的机器学习系统和方法获得的准确度明显优于基于多维数值优化方法的当前系统获得的准确度,并且与人类设计者的变化具有相似的准确度。
在使用牙齿#5的17632个样本进行训练之后,针对776个验证集测量x度旋转参数内的准确度,并与其它方法进行比较。第一列:x度内的准确度;0=完全匹配。第二列:使用根据本发明的方法(基于3D CNN)获得的准确度以及给定准确度内的病例数量。第三列:使用我们当前基于非线性多维数值优化的方法获得的准确度。第四列:在25个不同病例上测得的准确度,每个病例由12个不同的人类设计师设计(总共300个样本)。
图11示出了与人类设计的对应参数值相比具有0.5mm和1.0mm范围的一些选择的基台参数的准确度结果。图12和图13示出了分别由根据本发明实施例的ML系统创建的整个基台或牙冠设计与人类设计相比的一些图形结果。
图11示出了分别在0.5mm(第一列)和1.0mm(第二列)范围内的所选择的基台形状参数的测量准确度。结果基于左上后牙的~70,000个训练样本和~7000个验证样本(牙齿#2、3、4、5)。
图12在上排示出:由人类设计者创建的基台设计。下排示出了根据本发明实施例的由机器学习模型预测的基台设计。
图13在上排示出:由人类设计者创建的牙冠设计。下排示出了根据本发明实施例的由机器学习模型预测的牙冠设计。
设计验证
除了对每个设计参数的数值准确度进行比较外,还与多位专业人体修复体设计者的参与比较了感知设计质量。图14示出了根据本发明实施例的基于ML的方法与当前优化方法之间的基台设计的接受率比较。五位不同的专业人类设计者在不了解每个设计的创建方法的情况下检查了由两种不同方法创建的100个病例。图14示出基于对同一个100个病例的集合的盲测由根据本发明实施例的ML系统创建的基台设计的接受率远高于由当前优化系统创建的基台设计的接受率。
对自动牙齿数量估计的应用
在之前的陈述中,我们提到牙齿数量是除3D输入扫描以及植入物位置和朝向之外最重要的辅助输入之一。但是,在单独的实验中,我们已经证明,使用本发明提出的相同问题公式仅使用3D输入扫描以及植入物位置和朝向就可以非常可靠地估计该牙齿数量本身。实验结果表明,我们可以以大约91%的准确度估计准确的牙齿数量,并以99%的准确度估计+/-1牙齿差异。这个结果指示存在潜在子系统的可能性,在该子系统中,我们可以首先基于未加工3D输入扫描数据自动为用户估计牙齿数量,然后提供完整的设计估计。
实施方式
根据本发明的方法可以由或者作为独立设备或者嵌入在子系统或其它设备中的处理器或处理部件执行。本发明可以使用适于执行功能的处理引擎。处理引擎优选地具有诸如由一个或多个微处理器、FPGA或中央处理单元(CPU)和/或图形处理单元(GPU)提供的数字处理能力,并且其适于通过用软件(即,一个或多个计算机程序)编程来执行相应的功能。对软件的引用可以涵盖任何语言的任何类型的程序,这些程序可以或者经由编译或者解释语言直接或间接地由处理器可执行。本发明的任何方法的实施方式可以由逻辑电路、电子硬件、处理器或电路系统来执行,电路系统可以涵盖任何种类的逻辑或模拟电路系统,集成到任何程度,并且不限于通用处理器、数字信号处理器、ASIC、FPGA、分立元件或晶体管逻辑门等。
处理部件或处理器可以具有存储器(诸如非暂态计算机可读介质、RAM和/或ROM)、操作系统、可选地显示器(诸如固定格式显示器)、用于数据录入设备(诸如键盘)的端口、定点设备(诸如“鼠标”)、与其它设备通信的串行或并行端口、连接到任何网络的网卡和连接。
软件可以实施在适于执行本发明的任何方法的功能的计算机程序产品中,例如,如下详述当软件被加载到存储器中并在诸如微处理器、ASIC、FPGA等的一个或多个处理引擎上执行时。因此,与本发明的任何实施例一起使用的处理部件或处理器可以结合能够以计算机软件的形式运行一个或多个计算机应用的计算机系统。
以上关于本发明的实施例所描述的方法可以由在计算机系统上运行的一个或多个计算机应用程序通过被加载到存储器中并且在操作系统(诸如微软公司提供的WindowsTM、美国、Linux、Android等)上运行或与之相关联地运行来执行。计算机系统可以包括主存储器,优选地是随机存取存储器(RAM),并且还可以包括非暂态硬盘驱动器和/或可移除非暂态存储器,和/或非暂态固态存储器。非暂态可移除存储器可以是光盘,例如压缩盘(CD-ROM或DVD-ROM)、磁带,由合适的读取器读取和写入。可移除非暂态存储器可以是其中存储有计算机软件和/或数据的计算机可读介质。非易失性存储存储器可以被用于存储在计算机系统断电时不应当丢失的持久性信息。应用程序可以使用信息并将信息存储在非易失性存储器中。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
执行一种用于训练机器学习系统的计算机实现的方法,该机器学习系统安装在一个或多个计算设备上,
用多个预先存在的治疗3D数据集以端到端方式训练机器学习系统,3D数据集包括作为机器学习系统的一端上的输入的患者牙列的3D图像和另一端上作为输出的患者的修复性牙科对象的表示的3D形状。
将患者牙列的至少一部分的3D扫描的表示输入到经训练的机器学习系统(例如,经由I/O端口或接口),3D扫描的表示定义至少一个植入物位置,机器学习系统安装在一个或多个计算设备上,以及
使用经训练的机器学习系统,以端到端方式识别用于植入物的修复性牙科对象的3D形状的表示。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
由一个或多个计算设备并使用多个预先存在的治疗3D数据集以端到端方式训练机器学习系统,
由一个或多个计算设备接收患者的3D扫描数据,该数据表示定义至少一个植入物位置的患者牙列的至少一部分,以及
使用经训练的机器学习设备识别用于植入物的修复性牙科对象的3D形状的表示。
识别可以以端到端方式进行,
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
应用基于计算机的端到端机器学习模型,
可选地,机器学习系统是神经网络,
由此神经网络可以是CNN,
接收包括接收患者口腔的被扫描的3D图像或从档案中检索到的患者口腔的3D图像。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
生成修复性牙科对象的3D形状,
修复性牙科对象可以直接用于附接到植入物或经由一个或多个中间体。
由此3D形状不是自由形式的3D形状,而是由参数集定义的参数化模型,
每个参数的值的第一范围在具有较小第二范围的区间的集合当中被划分,并且机器学习设备适于估计特定参数所属的正确区间。
由此,参数可以表示牙齿表面解剖结构、牙齿齿列或修复体类型的特点。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
从经训练的机器学习系统输出表述为定义基台或牙冠的参数集的形状的表示,
由此参数集是参数化建模的一部分,
适配机器学习系统以使用判别性ML算法,
使用患者的牙列,包括上颌和/或下颌、准备好的和相对的颌、缺失的牙齿、植入物和牙齿数量。
用作为用于植入物的基台或牙冠的修复性牙科对象执行该方法,
针对每个临床病例在颌部扫描几何结构的3D表面上提取适于输入到人工神经网络(ANN)的点样本。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
以端到端方式通过将输入数据映射到修复体牙科对象设计参数来使用ANN训练参数化模型,这些参数是ANN针对所有预先存在的治疗3D数据集的输出,
将经训练的参数模型作为计算机文件的集合保存在网络位置,
以3D图像为输入使用区间中分类的参数化值来确定用于新临床病例的参数化值。
实施在计算机程序产品中的软件适于当软件加载到一个或多个相应的设备上并在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能:
使用基于植入物的修复的新临床病例,该方法包括从特征位置对象的3D扫描数据接收植入物位置和朝向、用户设计偏好以及患者颌部3D扫描的输入,
以与训练所用格式相同的格式在颌部扫描几何的3D表面上提取样本,
将接收到的输入数据发送到一个或多个计算设备,该计算设备使用经训练的ANN模型处理请求并返回预测的设计参数的集合,
根据预测的设计参数重构3D模型的牙科修复体对象,并渲染其以呈现给用户。
任何上述软件都可以被实现为计算机程序产品,该计算机程序产品已经为网络的任何服务器或节点中的处理引擎编译。计算机程序产品可以存储在诸如光盘(CD-ROM或DVD-ROM)、数字磁带、磁盘、固态存储器(诸如USB闪存、ROM等)之类的非暂态信号存储介质上。
出于说明的目的,本文已经描述了系统、方法和装置的具体示例。这些只是示例。本文提供的技术可以应用于除上述示例系统以外的系统。在本发明的实践中,许多更改、修改、添加、省略和置换是可能的。本发明包括对本领域技术人员显而易见的所描述实施例的变化,包括通过以下方式获得的变化:用等效特征、元素和/或动作替换特征、元素和/或动作;来自不同实施例的特征、元素和/或动作的混合和匹配;将来自如本文所述的实施例的特征、元素和/或动作与其它技术的特征、元素和/或动作组合;和/或从所描述的实施例中省略组合特征、元素和/或动作。因此,旨在将以下所附权利要求和下文介绍的权利要求解释为包括可合理推断的所有此类修改、置换、添加、省略和子组合。权利要求的范围不应当受示例中阐述的优选实施例的限制,而应当赋予与整个描述一致的最广泛的解释。
虽然上文已经参考特定实施例描述了本发明,但这样做是为了阐明而不是限制本发明。本领域技术人员将认识到的是,在不背离本发明的范围的情况下,所公开特征的各种修改和不同组合是可能的。
Claims (20)
1.一种用于为患者提供修复性牙科对象的3D形状的表示的计算机实现的方法,该方法包括
将患者的牙列的至少一部分的3D扫描的表示输入到经训练的机器学习系统,3D扫描的表示定义至少一个植入物位置,机器学习系统安装在一个或多个计算设备上,以及
使用经训练的机器学习系统,以端到端方式识别用于植入物的修复性牙科对象的3D形状的表示。
2.根据权利要求1所述的计算机实现的方法,还包括由一个或多个计算设备并使用多个预先存在的治疗3D数据集以端到端方式训练机器学习系统。
3.根据权利要求1所述的计算机实现的方法,包括应用基于计算机的端到端机器学习模型。
4.根据权利要求3所述的计算机实现的方法,其中机器学习系统是神经网络。
5.根据权利要求1所述的计算机实现的方法,其中识别步骤包括生成修复性牙科对象的3D形状。
6.根据权利要求5所述的计算机实现的方法,其中3D形状由参数化模型确定,该参数化模型由参数集定义。
7.根据权利要求6所述的计算机实现的方法,其中每个参数的值的范围在区间的集合当中被划分,每个区间具有有限的范围,从而提供期望的分辨率,并且机器学习设备适于估计特定参数所属的正确区间。
8.根据权利要求7所述的计算机实现的方法,其中参数与牙齿表面解剖结构、牙齿齿列或修复体类型的特点相关。
9.根据权利要求8所述的计算机实现的方法,其中经训练的机器学习系统的输出是3D形状的表示,3D形状的表示被表述为定义基台或牙冠的参数集。
10.根据权利要求9所述的计算机实现的方法,其中参数集是参数化建模的一部分。
11.根据权利要求1所述的计算机实现的方法,其中机器学习系统适于使用判别性ML算法。
12.根据权利要求1所述的计算机实现的方法,其中修复性牙科对象是用于植入物的基台或牙冠。
13.根据权利要求1所述的计算机实现的方法,其中针对每个临床病例在颌部扫描几何结构的3D表面上提取适于输入到人工神经网络(ANN)的点样本。
14.根据权利要求1所述的计算机实现的方法,对于基于植入物的修复的新临床病例,该方法包括从特征位置对象的3D扫描数据接收植入物位置和朝向、用户设计偏好以及患者颌部3D扫描的输入。
15.一种用于为患者提供修复性牙科对象的3D形状表示的计算机实现的系统,该系统包括:
用于输入患者的牙列的至少一部分的3D扫描的表示的部件,3D扫描的表示定义至少一个植入物位置,该输入是到安装在一个或多个计算设备上的经训练的机器学习系统的,以及
用于使用经训练的机器学习系统以端到端方式识别用于植入物的修复性牙科对象的3D形状的表示的部件。
16.根据权利要求15所述的计算机实现的系统,还包括:
用于由一个或多个计算设备并使用多个预先存在的治疗3D数据集以端到端方式训练机器学习系统的部件。
17.根据权利要求15所述的计算机实现的系统,包括用于应用基于计算机的端到端机器学习模型的部件。
18.一种用于训练机器学习系统的计算机实现的方法,机器学习系统安装在一个或多个计算设备上,该方法包括以端到端方式用多个预先存在的治疗3D数据集训练机器学习系统,预先存在的3D数据集包括患者的牙列的3D图像和患者的修复性牙科对象的表示的3D形状。
19.一种用于训练机器学习系统的计算机实现的系统,机器学习系统安装在一个或多个计算设备上,该系统包括用于以端到端方式用多个预先存在的治疗3D数据集训练机器学习系统的部件,3D数据集包括作为机器学习系统的一端上的输入的患者的牙列的3D图像以及在另一端上作为输出的患者的修复性牙科对象的表示的3D形状。
20.由权利要求1所述的方法生成的设计制成的定制修复性元件的制造,该设计是用于植入物的牙冠或定制基台。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962896043P | 2019-09-05 | 2019-09-05 | |
US62/896,043 | 2019-09-05 | ||
PCT/US2020/049093 WO2021046147A1 (en) | 2019-09-05 | 2020-09-03 | Method, system and devices for instant automated design of a customized dental object |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114342002A true CN114342002A (zh) | 2022-04-12 |
Family
ID=72521742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080062813.7A Pending CN114342002A (zh) | 2019-09-05 | 2020-09-03 | 用于定制牙科对象的即时自动化设计的方法、系统和设备 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220296344A1 (zh) |
EP (1) | EP4025156A1 (zh) |
JP (1) | JP2022547857A (zh) |
KR (1) | KR20220056234A (zh) |
CN (1) | CN114342002A (zh) |
AU (1) | AU2020341455A1 (zh) |
BR (1) | BR112022002448A2 (zh) |
WO (1) | WO2021046147A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023202143A1 (zh) * | 2022-04-22 | 2023-10-26 | 东莞中科云计算研究院 | 基于深度学习的牙齿修复体自动设计方法及系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017221344A1 (de) * | 2017-11-28 | 2019-05-29 | Sirona Dental Systems Gmbh | Zahnersatzformblock und Verfahren zur Herstellung eines Zahnersatzteils aus dem Zahnersatzformblock |
US11842484B2 (en) | 2021-01-04 | 2023-12-12 | James R. Glidewell Dental Ceramics, Inc. | Teeth segmentation using neural networks |
US20220168044A1 (en) * | 2020-12-01 | 2022-06-02 | August de Oliveira | Augmented Reality Dental Display System and Method |
CN113112477B (zh) * | 2021-04-15 | 2023-04-07 | 中山大学附属口腔医院 | 一种基于人工智能的前牙即刻种植测量分析方法 |
CN113689938B (zh) * | 2021-07-14 | 2024-03-05 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 医学影像的勾画方法、装置、存储介质及处理器 |
US20230087800A1 (en) * | 2021-09-17 | 2023-03-23 | Dentsply Sirona Inc. | Automated tooth administration in a dental restoration workflow |
CA3238271A1 (en) * | 2021-11-29 | 2023-06-01 | Andreas Kunert | Anatomy driven computer-aided design and manufacture of dental restorations for treatment of dental pathologies |
DE102022100438B3 (de) | 2022-01-10 | 2023-03-09 | Albert-Ludwigs-Universität Freiburg, Körperschaft des öffentlichen Rechts | Präoperative planung einer einbringung eines dentalen implantates |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6523019B1 (en) | 1999-09-21 | 2003-02-18 | Choicemaker Technologies, Inc. | Probabilistic record linkage model derived from training data |
US7362890B2 (en) | 2001-05-24 | 2008-04-22 | Astra Tech Inc. | Registration of 3-D imaging of 3-D objects |
US8751031B2 (en) * | 2004-02-06 | 2014-06-10 | Zircore, Llc | System and method for mass custom manufacturing of dental crowns and crown components |
US9504541B2 (en) | 2006-01-05 | 2016-11-29 | Dentsply International Inc. | Method and system for designing custom restorations for dental implants |
WO2015031367A2 (en) | 2013-08-26 | 2015-03-05 | James R. Glidewell Dental Ceramics, Inc. | Computer-implemented dental restoration design |
US10614174B2 (en) | 2015-01-30 | 2020-04-07 | Dentsply Sirona Inc. | System and method for adding surface detail to digital crown models created using statistical techniques |
US9814549B2 (en) | 2015-09-14 | 2017-11-14 | DENTSPLY SIRONA, Inc. | Method for creating flexible arch model of teeth for use in restorative dentistry |
WO2018022752A1 (en) | 2016-07-27 | 2018-02-01 | James R. Glidewell Dental Ceramics, Inc. | Dental cad automation using deep learning |
US10660728B2 (en) * | 2016-10-20 | 2020-05-26 | Baliram Maraj | Systems and methods for dental treatment utilizing mixed reality and deep learning |
-
2020
- 2020-09-03 KR KR1020227011191A patent/KR20220056234A/ko active Search and Examination
- 2020-09-03 BR BR112022002448A patent/BR112022002448A2/pt unknown
- 2020-09-03 JP JP2022514478A patent/JP2022547857A/ja active Pending
- 2020-09-03 CN CN202080062813.7A patent/CN114342002A/zh active Pending
- 2020-09-03 WO PCT/US2020/049093 patent/WO2021046147A1/en unknown
- 2020-09-03 AU AU2020341455A patent/AU2020341455A1/en active Pending
- 2020-09-03 US US17/637,107 patent/US20220296344A1/en active Pending
- 2020-09-03 EP EP20772506.0A patent/EP4025156A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023202143A1 (zh) * | 2022-04-22 | 2023-10-26 | 东莞中科云计算研究院 | 基于深度学习的牙齿修复体自动设计方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2021046147A1 (en) | 2021-03-11 |
EP4025156A1 (en) | 2022-07-13 |
BR112022002448A2 (pt) | 2022-05-03 |
AU2020341455A1 (en) | 2022-03-10 |
US20220296344A1 (en) | 2022-09-22 |
KR20220056234A (ko) | 2022-05-04 |
JP2022547857A (ja) | 2022-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220296344A1 (en) | Method, system and devices for instant automated design of a customized dental object | |
US10945813B2 (en) | Providing a simulated outcome of dental treatment on a patient | |
US20200350059A1 (en) | Method and system of teeth alignment based on simulating of crown and root movement | |
US11735306B2 (en) | Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches | |
JP7110120B2 (ja) | 歯科修復物の形状、位置及び向きの少なくとも1つの推定方法 | |
Revilla-León et al. | Artificial intelligence models for tooth-supported fixed and removable prosthodontics: A systematic review | |
RU2725280C1 (ru) | Приспособления и методы планирования ортодонтического лечения | |
US10098715B2 (en) | Generating a design for a dental restorative product from dental images | |
JP5362577B2 (ja) | 自動化された歯の測定と診断とを容易にするシステムおよび方法 | |
US8727776B2 (en) | Method for producing denture parts or for tooth restoration using electronic dental representations | |
US20130282351A1 (en) | Method and tooth restoration determination system for determining tooth restorations | |
KR20070027508A (ko) | 치아 데이터 마이닝 | |
US20220008175A1 (en) | Method for generating dental models based on an objective function | |
US20240028782A1 (en) | Dental restoration automation | |
WO2024127311A1 (en) | Machine learning models for dental restoration design generation | |
WO2024127318A1 (en) | Denoising diffusion models for digital oral care | |
WO2023240333A1 (en) | System, method and apparatus for personalized dental prostheses planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |