CN111656408A - 使用深度学习方法的自动3d牙根形状预测 - Google Patents

使用深度学习方法的自动3d牙根形状预测 Download PDF

Info

Publication number
CN111656408A
CN111656408A CN201880087754.1A CN201880087754A CN111656408A CN 111656408 A CN111656408 A CN 111656408A CN 201880087754 A CN201880087754 A CN 201880087754A CN 111656408 A CN111656408 A CN 111656408A
Authority
CN
China
Prior art keywords
voxel
neural network
tooth
data
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880087754.1A
Other languages
English (en)
Inventor
F·T·C·克莱森
B·A·费尔海
D·安萨里·莫因
T·奇里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Promonton Holdings Ltd
Promaton Holding BV
Original Assignee
Promonton Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Promonton Holdings Ltd filed Critical Promonton Holdings Ltd
Publication of CN111656408A publication Critical patent/CN111656408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明涉及一种用于自动3D牙根形状预测的计算机实现的方法，该方法包括：预处理器接收定义牙齿的至少一个3D表示的3D数据并处理该3D数据，该处理包括：将3D数据的至少一部分变换成牙冠的体素表示，该体素表示定义拟合在计算机上执行的第一3D深度神经网络的输入空间的体素空间；预处理器将牙冠的体素表示提供给3D深度神经网络的输入，该3D深度神经网络是基于定义真实牙齿的3D表示的临床3D数据进行训练的；第一3D深度神经网络基于牙冠的体素表示生成预测的牙根或包括预测的牙根的完整牙齿的体素表示，其中预测的牙根或完整牙齿的体素表示的生成包括：确定3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的一部分的概率的概率测量；以及通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分。

Description

使用深度学习方法的自动3D牙根形状预测
技术领域
本发明涉及使用深度学习方法的自动3D牙根形状预测，并且特别但非排他地涉及用于使用深度学习的自动3D牙根形状预测的系统和方法、用于训练这种深度学习神经网络的方法以及使用这种方法的计算机程序产品。
背景技术
可靠的牙齿建模在许多牙科应用中都起着非常重要的作用，包括(但不限于)计算机辅助正畸和牙科治疗模拟系统。例如，在牙周病学中，诊断和治疗与牙根的解剖结构直接相关，在正畸治疗中，计划牙根的构造、牙根的形状和骨头-牙根比对治疗的生物力学有着巨大的影响，在牙齿外科、拔牙领域中，了解牙根的形状至关重要，而在牙髓治疗中，根管及相关联的根管治疗与牙根的解剖结构和牙根构造直接相关。
可以使用合适的基于3D X射线的CT扫描技术(诸如锥形束计算机断层扫描(CBCT))获得完整牙齿的准确3D模型，即，包括牙冠和牙根的模型。但是，患者的准确3D CT数据和将此类3D CT数据处理成完整牙齿3D模型的表示的软件并不总是可得的。基于X射线的3D成像系统是一种昂贵的系统，并不总是对于牙科专家可得。而且，通常需要将患者的辐射暴露保持在最低限度。因此，开发了能够仅基于牙齿的可视部分(牙冠)来确定完整牙齿的3D表示的系统。
例如，US8639477描述了一种用于完整牙齿的3D建模的系统，其中参考牙齿(参数化的3D表面网格)的数学模型根据参数进行匹配，并根据患者牙冠的3D图像数据进行变形。如今，可以使用光学口腔内牙齿扫描仪轻松获得此类牙冠3D图像数据。在US8639477的方案中，牙冠的形状信息用于重塑通用的3D牙齿模型，包括牙根的形状。类似地，US8135569描述了一种通过使用基于界标的方法对完整牙齿进行3D建模的系统，该系统基于患者牙冠的图像数据以及可选地患者牙齿的X射线数据对参考牙齿进行变形。X射线数据允许减少变形的通用3D牙齿模型的牙根形状与患者牙齿的实际牙根形状之间的差异，从而可以确定完整牙齿的改进的3D近似。
这些已知的3D建模技术基于牙冠形态，这是牙科技术中的一个特殊领域，它检查牙齿的有限数量的宏观特征(牙冠的维度、牙冠的形状等)与其牙根的形状之间的关系。这样的关系可以被用于定义数学参考模型，该数学参考模型用于基于牙冠的特征来近似牙根的形状。虽然现有技术的系统可以基于牙冠信息来提供牙根的3D模型的近似，但是与牙根的真实解剖形状相比，这种近似的准确性和可靠性受到限制并且仍然可能表现出相对较大的偏差。此外，如果将特定的3D参考模型用于特定的类别(用于特定的牙齿类别(例如，磨牙、犬牙、双尖牙)，以及描述患者的类别(例如，年龄、性别))，那么近似只可能在一定程度上可靠。这种方法将需要为每个具体的牙齿/患者类别开发具体的数学参考模型。
现有技术的另一个问题是，当基于估计的3D牙根模型和3D牙冠模型构造完整的3D牙齿时，在预测的牙根和原始牙冠之间的过渡区域中的表面可能需要额外的平滑和/或可能导致与牙齿的实际解剖形状有所不同的完整3D牙齿的形状变化的其它处理。此外，值得注意的是，为了准确起见，上述系统可能需要除牙冠3D图像数据之外的额外输入，诸如适用类别(对于牙齿和患者域)和x射线图像。
当前，在成像领域，特别是医学成像领域，诸如深度学习技术之类的更先进的技术可以被用于3D建模。对这些神经网络进行训练，以学习最优地表示数据内相关方面的特征。此类深度学习算法包括多层深度神经网络，其在学习越来越高层的特征时将输入数据转换成输出。一个成功的用于图像分析的神经网络模型是所谓的卷积神经网络(CNN)。CNN包含许多层，这些层使用内核(也称为卷积滤波器)来转换其输入，内核由相对较小的矩阵组成。可以在Litjens等人的文章“A Survey on Deep Learning in Medical Image Analysis”(2017年2月21日发表，arXiv(提交给计算机视觉和图案识别(Computer Vision andPattern Recognition)))中找到CNN在医学成像中的用法的概述。
经训练的深度神经网络的准确性和可靠性在很大程度上取决于用于训练神经网络的数据的质量和数量。锥形束计算机断层扫描(CBCT)是牙科应用中最常用的3D成像技术，并且原则上可使用包含3D牙颌面结构的大量CBCT数据集来训练神经网络。但是，CBCT图像数据的图像分析以及基于这些CBCT图像数据的大量高质量训练数据的生成带来了实质性的问题。在CBCT扫描中，以亨氏(Hounsfield)单位(HU)测得的无线电密度不一致，这是因为扫描中的不同区域以不同的灰度值出现，具体取决于它们在被扫描的器官中的相对位置。用CBCT和医学级CT扫描仪从同一解剖区域测得的HU不是完全相同的，因此对于确定特定于部位的射线照相识别出的测得的密度是不可靠的。
而且，再次考虑准确和足够的训练数据的可得性的问题，用于扫描牙颌面结构的CBCT系统没有采用标准化的系统来缩放表示重建的密度值的灰度级。这些值是任意的，并且在没有这样的标准化的情况下，难以解释灰度级或甚至不可能比较从不同机器产生的值。而且，牙齿牙根和(一个或多个)颌骨结构具有相似的密度，使得计算机难以区分属于牙齿的体素与属于颌骨的体素。此外，CBCT系统对所谓的射束硬化非常敏感，该硬化会在两个高衰减物体(诸如金属或骨头)之间产生深色条纹，周围有明亮的条纹。
上面提到的问题使得能够基于3D牙冠信息自动进行3D牙根形状预测的(经过充分训练的)深度学习系统的实现非常具有挑战性。因此，在本领域中需要能够基于3D牙冠形状的图像数据自动生成3D牙根形状的解剖学精确预测的计算机系统。
发明内容
如本领域技术人员将认识到的，本发明的各方面可以实施为系统、方法或计算机程序产品。因而，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些方面通常在本文中都可以被称为“电路”、“模块”或“系统”。在本公开中描述的功能可以被实现为由计算机的微处理器执行的算法，此外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，在计算机可读介质上实施(例如，存储)有计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备，或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，该传播的数据信号具有实施在其中的计算机可读程序代码。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质的任何计算机可读介质，并且可以传送、传播或运输供指令执行系统、装置或设备使用或与其结合使用的程序。
可以使用任何适当的介质来传输实施在计算机可读介质上的程序代码，包括但不限于无线、有线、光纤、电缆、RF等，或者前述的任何合适的组合。可以用一种或多种编程语言的任何组合来编写用于执行本发明各方面的操作的计算机程序代码，包括诸如Java(TM)、Scala、C++、Python等的面向功能或对象的编程语言，以及常规的过程编程语言(诸如“C”编程语言或类似的编程语言)。程序代码可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上并且部分在远程计算机上，或者完全在远程计算机、服务器或虚拟服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如通过使用互联网服务提供商的互联网)。
下面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本发明的各方面。将理解的是，流程图图示和/或框图的每个方框以及流程图图示和/或框图中的方框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，特别是微处理器或中央处理单元(CPU)或图形处理单元(GPU)，以产生机器，使得经由计算机、其它可编程数据处理装置或其它设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的手段。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指导计算机、其它可编程数据处理装置或其它设备以特定方式运行，从而使存储在计算机可读介质中的指令产生制品，该制品包括实现流程图和/或框图的一个或多个方框中指定的功能/动作的指令。
也可以将计算机程序指令加载到计算机、其它可编程数据处理设备或其它设备上，以使一系列操作步骤在计算机、其它可编程设备或其它设备上执行以产生计算机实现的过程，从而使在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的过程。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示代码的模块、片段或部分，其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。还应当注意的是，在一些替代实施方式中，方框中指出的功能可以不按图中指出的次序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个方框，或者有时可以以相反的次序执行这些方框。还应该注意的是，框图和/或流程图图示的每个方框以及框图和/或流程图图示中的方框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
在第一方面，本发明涉及一种用于自动3D牙根形状预测的计算机实现的方法。在实施例中，该方法可以包括：预处理器接收定义牙齿的至少一个3D表示的3D数据并处理该3D数据，该处理包括：将3D数据的至少一部分变换成牙冠的体素表示，该体素表示定义拟合在计算机上执行的第一3D深度神经网络的输入空间的体素空间；预处理器将牙冠的体素表示提供给3D深度神经网络的输入，该3D深度神经网络是基于定义真实牙齿的3D表示的临床3D数据进行训练的；第一3D深度神经网络基于牙冠的体素表示生成预测的牙根或包括预测的牙根的完整牙齿的体素表示，其中预测的牙根或完整牙齿的体素表示的生成包括：确定3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的一部分的概率的概率测量；以及通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分。
在另一个实施例中，该方法可以包括预处理器(104)接收在体素空间中定义的3D数据(102)，该体素空间定义3D体积，该体素空间包括牙冠的体素表示，并处理该体素表示使得其处于与用于训练第一3D深度神经网络(106、210)的体素表示对应的比例、位置和朝向；预处理器(104)将牙冠的体素表示提供给第一3D深度神经网络(106)的输入，基于定义真实牙齿的3D表示的预处理的临床3D数据(202)的训练集对第一3D深度神经网络进行训练，经训练的深度神经网络(106、210)被配置为预测与牙冠对应的解剖学准确的体素表示(212)或完整牙齿的体素表示(214)；第一3D深度神经网络(106、210)基于牙冠的体素表示来生成预测的牙根(212)体素表示(212)或包括预测的牙根的完整牙齿的体素表示(214)，其中预测的牙根或完整牙齿的体素表示的生成包括：确定第一3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的至少一部分的概率的概率测量；以及通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分。在一个实施例中，阈值可以表示大于0.5的概率。
因此，训练3D深度神经网络以自动学习可从接收到的牙冠的体素表示获得的解剖学特征，从而(至少)生成牙根表示的解剖学准确的预测，其中结果所得的牙根模型将紧密适合牙冠模型，以便形成完整的牙齿模型。由于可以从任何潜在的训练样本(样本是牙冠的体素表示)学习到此类特征、并且3D深度神经网络将确定哪些特征是相关的事实，该方法能够更准确地使用所述体素表示中的任何相关信息。换句话说，在现有技术可能限于具体的输入参数集合的情况下，提出的方法具有利用更多输入信息的潜力，并将在训练期间确定哪些特征是相关的。
此外，3D深度神经网络将学习3D图像数据的概括以基于牙冠部分表示牙根部分。但是，与现有技术中使用模板牙根相比，这种概括更灵活(考虑到可以针对预测的牙根或完整牙齿生成的潜在不同形状)。还值得注意的是，该方法不要求单独的输入来指示牙齿类别(犬牙、磨牙等)和/或患者类别(年龄、性别等)。实际上，3D深度神经网络有可能直接从接收到的体素表示识别相关特征，这些特征是这种分类的结果。但是，这(至少)取决于跨此类类别变化的可用训练样本的数量，以及3D深度神经网络中的特征表示内可用的存储器带宽。
在实施例中，该方法可以包括后处理器接收由第一3D深度神经网络生成的预测的牙根的体素表示，并处理3D牙冠和预测的牙根的体素表示，其中该处理可以包括：将3D牙冠模型和3D牙根的体素合并到完整3D牙齿的体素表示中。在又一个实施例中，后处理器可以在完整牙齿的3D网格中变换完整3D牙齿的体素表示。
因此，本发明允许通过在计算机上执行的经训练的深度神经网络自动生成至少解剖学准确的3D牙根形状的预测。深度神经网络可以基于3D牙冠数据集(例如，由口腔内光学扫描仪生成的3D表面网格或由X射线扫描仪(例如CBCT扫描仪)生成的3D数据)生成3D牙根形状。当基于整个牙齿的3D模型的临床数据训练神经网络时，该网络将生成3D牙根模型的解剖学准确的预测，其中3D牙根模型精确地适合馈送到神经网络的输入的3D牙冠数据。以这种方式，计算机可以基于生成的3D牙根表示和3D牙冠模型来构建整个牙齿的准确的3D模型。准确的3D牙齿模型在众多牙科应用中具有重要价值，包括但不限于牙周病诊断和治疗、正畸治疗计划、牙髓学和牙髓学。
在另一个实施例中，先前描述的两个体素空间(一个用于牙冠的体素表示，一个用于牙根的体素表示)被视为一个空间，实际上是可以潜在地包含整个个体牙齿的3D空间。作为接收到的3D牙冠的一部分的体素在完整牙齿空间中被适当地表示。包括3D牙冠的体素表示的这个完整牙齿空间被提供给3D深度神经网络的输入。然后，经训练的3D深度神经网络可以在具有与输入空间相同维度的3D空间中生成完整牙齿的体素表示。
在实施例中，该方法还可以包括：后处理器接收由第一3D深度神经网络生成的预测的牙根的体素表示，并处理3D牙冠和预测的牙根的体素表示，该处理包括：将3D牙冠模型和3D牙根的体素合并到完整3D牙齿的体素表示中；以及可选地，在完整牙齿的3D网格中变换完整3D牙齿的体素表示。
在实施例中，3D数据可以定义牙列的至少一部分的3D表示，该预处理器进行的处理还包括：将3D数据分割成至少一个3D数据集，该3D数据集表示牙列的牙齿的3D牙冠；以及将3D数据集变换成牙冠的体素表示，该体素表示与第一3D深度神经网络的输入的体素空间匹配。
在实施例中，由预处理器接收的3D数据可以是由光学扫描仪(优选地，口腔内光学扫描仪)生成的3D数据，该3D数据定义表示包括多个牙冠的牙列的3D表面网格。
在实施例中，预处理器进行的处理还可以包括：将3D网格划分成多个分割的3D网格，其中每个分割的3D网格表示牙列的3D牙冠；将每个分割的3D表面网格变换成牙冠的体素表示，该体素表示与第一3D深度神经网络的输入的体素空间匹配。
在实施例中，由预处理器接收的3D数据可以由X射线扫描仪(优选地为CBCT扫描仪)生成，该3D数据定义牙颌面结构的至少一部分的体素表示，体素与辐射强度值或密度值相关联，牙颌面结构包括牙列的至少一部分的多个牙齿。
在实施例中，预处理器进行的处理还可以包括：将表示牙颌面结构的至少一部分体素分类为颌、牙齿和/或神经体素中的至少一种；将已分类的牙齿体素分割为一个或多个3D数据集，一个或多个3D数据集中的每一个定义牙颌面结构的牙列中的牙齿的体素表示。
在实施例中，使用第二3D深度神经网络对表示牙颌面结构的体素进行分类。
在实施例中，预处理器进行的处理还可以包括：使用第二3D深度神经网络将表示牙颌面结构的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种；第二3D深度神经网络是基于牙颌面结构的3D图像数据、可选地从训练集的3D图像数据导出的一个或多个3D位置特征、以及训练集的3D图像数据的牙颌面结构的部分的一个或多个3D模型进行训练的，这一个或多个3D模型在第一深度神经网络的训练期间用作目标；以及将分类的体素分割成一个或多个3D数据集，这一个或多个3D数据集中的每一个定义在牙颌面结构的牙列中的牙齿的体素表示。
在实施例中，由预处理器进行的处理还可以包括：向第三3D深度神经网络的输入提供牙颌面结构的进一步的体素表示，第三深度神经网络被训练以便为输入处的体素表示的每个体素确定至少一个3D位置特征，3D位置特征包括指示体素表示颌、牙齿和/或神经组织的可能性的测量，其中牙颌面结构的进一步的体素表示是牙颌面结构的体素表示的低分辨率版本。
在实施例中，进一步的体素表示的分辨率可以比第一体素表示的分辨率低至少三倍。
在实施例中，可以基于牙颌面结构的3D图像数据和用于训练第二深度神经网络的训练集的3D图像数据的牙颌面结构的部分的一个或多个3D模型来训练第三3D深度神经网络。
在实施例中，由预处理器进行的处理还可以包括：将牙颌面结构的体素表示和一个或多个3D位置特征提供给第二3D深度神经网络，第二3D深度神经网络使用一个或多个位置特征来将体素空间中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种。
在实施例中，第二深度神经网络可以包括多个第一3D卷积层，多个第一3D卷积层的输出连接到至少一个全连接的层，其中多个第一3D卷积层被配置为处理来自第一体素表示的第一体素块，并且其中至少一个全连接的层被配置为将第一体素块的体素分类为颌、牙齿和/或神经体素中的至少一种。
在实施例中，第二深度神经网络还可以包括多个第二3D卷积层，多个第二3D卷积层的输出连接到至少一个全连接的层，其中多个第二3D卷积层被配置为处理来自第一体素表示的第二体素块，第一和第二体素块在图像体积中具有相同或基本相同的中心点，并且第二体素块表示的真实世界维度中的体积大于第一体素块的真实世界维度中的体积，多个第二3D卷积层被配置为确定与提供给多个第一3D卷积层的输入的第一体素块的体素相关联的上下文信息。
在实施例中，预处理器进行的处理还可以包括：基于表示牙颌面结构的体素来确定一个或多个3D位置特征，3D位置特征定义牙颌面结构的至少一部分的体素的体素空间中的体素的位置信息；将一个或多个3D位置特征提供给第二3D深度神经网络，第二3D深度神经网络使用一个或多个位置特征以将体素空间中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种。
在实施例中，位置信息可以定义体素空间中的体素与体素空间中的第一牙齿参考平面之间的距离，优选地为垂直距离；体素空间中的体素与体素空间中的第一牙齿参考对象之间的距离；和/或体素空间的第二牙齿参考平面中的累积强度值的位置，其中在第二牙齿参考平面中的一点处的累积强度值包括在通过第二牙齿参考平面中的该点的法线上或其附近的体素的累积强度值。
在实施例中，第二深度神经网络可以包括第一数据处理路径以及平行于第一路径的第二数据处理路径，第一数据处理路径包括至少第一多个3D卷积层，优选地是第一3DCNN特征层集合，第二数据处理路径包括第二多个3D卷积层，优选地是第二3D CNN特征层集合，用于接收一个或多个3D位置特征，第二多个3D卷积层被配置为根据与馈送给第一多个3D卷积层的输入的像素块相关联的位置信息编码相关信息。
在实施例中，第一3D深度神经网络可以包括经由一个或多个密集连接的层连接到多个3D反卷积层的多个3D卷积层，并且其中基于牙冠以及相关联的牙根的体素表示或者基于牙冠和相关联的牙齿的体素表示来训练第一深度神经网络，优选地，体素表示的至少一部分从表示一个或多个牙颌面结构的分割的3D X射线数据(优选地是3D CBCT数据)导出。
在另一方面，本发明可以涉及用于训练3D深度学习神经网络以生成3D牙根形状的预测的计算机实现的方法，该方法包括：计算机接收训练数据，该训练数据包括临床3D数据，该临床3D数据包括牙冠和相关联的牙根的体素表示或基于牙冠和相关联的牙齿的体素表示，其中体素表示的至少一部分从分割的3D X射线数据(优选地是3D锥束CT(CBCT)数据)导出；向3D深度神经网络的输入提供牙冠的体素表示，并且3D深度神经网络生成预测的牙根的体素表示；通过最小化表示预测的牙根的体素表示、与和提供给3D深度神经网络的输入的牙冠的体素表示相关联的牙根的体素表示之间的偏差的损失函数来优化3D深度神经网络的一个或多个网络参数的值。
在实施例中，该方法可以包括：将优化的值存储在计算机可读存储介质中，优化的值定义经训练的神经网络的一个或多个网络参数，该神经网络被配置为在被提供牙冠的体素表示时，预测与牙冠对应的牙根的解剖学准确的体素表示或完整牙齿的体素表示。
在实施例中，3D深度神经网络可以包括经由一个或多个密集连接的层连接到多个3D反卷积层的多个3D卷积层。
在另一方面，本发明可以涉及一种适于自动预测3D牙根形状的计算机系统，优选地是服务器系统，该计算机系统包括：其上实施有计算机可读程序代码的计算机可读存储介质，该程序代码包括预处理算法和至少一个经训练的第一3D深度神经网络，计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：预处理器接收定义牙齿的至少一个3D表示的3D数据并处理3D数据，该处理包括：将3D数据的至少一部分变换成牙冠的体素表示，该体素表示定义拟合在计算机上执行的3D深度神经网络的输入空间的体素空间；预处理器将牙冠的体素表示提供给3D深度神经网络的输入，该3D深度神经网络是基于定义真实牙齿的3D表示的临床3D数据进行训练的；3D深度神经网络基于牙冠的体素表示生成预测的牙根或包括预测的牙根的完整牙齿的体素表示，其中预测的牙根或包括预测的牙根的完整牙齿的体素表示的生成包括：确定3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的一部分的概率的概率测量；以及通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分。
在另一方面，本发明可以涉及一种适于自动预测3D牙根形状的计算机系统，优选地是服务器系统，该计算机系统包括：其上实施有计算机可读程序代码的计算机可读存储介质，该程序代码包括预处理算法和至少一个经训练的3D深度神经网络；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行计算机可读程序代码，处理器被配置为执行如上所述的任何方法步骤中定义的可执行操作。
本发明还可以涉及包括软件代码部分的计算机程序产品，该软件代码部分被配置为当在计算机的存储器中运行时执行如上所述的任何方法。
贯穿本文，在对“3D图像数据”或“3D数据”进行引用的地方，旨在指任何格式的3D图像数据，例如(a)(一个或多个)3D表面网格、(一个或多个)3D点云、3D(体素)空间中表示具体3D坐标上的密度值、表面或体积等的数据。在对“3D模型”进行引用的地方，除非另有说明，否则是指(a)(一个或多个)3D表面网格。另外，完整牙齿被认为是由“牙冠”和“牙根”部分的组合组成的，其中“牙根”被定义为被完整牙齿占据的3D体积中不是“牙冠”的任何部分。
将参考附图进一步说明本发明，这些附图将示意性地示出根据本发明的实施例。将理解的是，本发明绝不限于这些具体的实施例。
将参考附图进一步说明本发明，这些附图将示意性地示出根据本发明的实施例。将理解的是，本发明绝不限于这些具体的实施例。
附图说明
图1描绘了根据本发明实施例的配置用于自动3D牙根形状预测的计算机系统的高级示意图；
图2描绘了根据本发明实施例的用于训练用于预测各个3D牙根形状的深度神经网络的流程图；
图3描绘了根据本发明实施例的用于从3D牙冠图像数据进行自动牙根形状预测的方法和系统中使用的3D深度神经网络体系架构的示例；
图4A和图4B描绘了图示根据本发明各种实施例的3D数据的预处理和后处理的示意图；
图5A和图5B示出了与预测的体素表示相比的3D临床体素表示的图示；
图6A和6B示出了根据系统的示例性实施例确定的骰子系数表；
图7示出了与预测结果组合的临床牙齿的3D模型；
图8示意性地描绘了根据本发明实施例的用于3D牙颌面结构的分类和分割的计算机系统；
图9A和9B分别描绘了3D CT图像数据和3D光学扫描数据的示例；
图10A和10B描绘了用于对牙颌面3D图像数据进行分类的深度神经网络体系架构的示例；
图11A和11B图示了根据本发明实施例的用于确定牙颌面特征的流程图和神经网络；
图12提供了包含来自3D图像堆栈的总体素值的可视化以及拟合到表示牙颌面弓的体素的曲线；
图13A-13E描绘了根据本发明各种实施例的牙颌面特征的示例；
图14A-14D描绘了根据本发明实施例的经训练的深度学习神经网络的输出的示例；
图15描绘了根据本发明实施例的对3D牙颌面结构的分类的体素进行后处理的流程图；
图16描绘了根据本发明实施例的用于对3D牙颌面结构的分类的体素进行后处理的深度神经网络体系架构；
图17A-17B描绘了根据本发明实施例的分类的体素的表面重建处理；
图18描绘了根据本发明各种实施例的用于处理3D数据的分布式计算机系统的示意图；
图19是图示可以用于执行本公开中描述的方法和软件产品的示例性数据计算系统的框图；
图20示出了根据本发明实施例的朝着最终用户的3D牙齿模型的可视化的表示。
具体实施方式
在本公开中，描述了计算机系统和计算机实现的方法的实施例，其基于定义牙冠的3D表示的3D数据(简称3D牙冠数据)使用3D深度神经网络来预测牙根的解剖学准确的3D表示。3D牙冠数据可以从不同的数据源导出。例如，3D牙冠数据可以从表示由3D光学扫描仪(例如，口腔内光学扫描仪)生成的齿列的牙冠的3D表面网格导出。可替代地，3D牙冠数据可以从例如表示由3D X射线扫描仪(诸如CBCT扫描仪)生成的牙颌面结构(包括牙冠)的3D体素表示导出。可以基于临床3D数据(例如，定义真实牙齿表示的3D数据)训练3D深度神经网络。根据本发明的计算机系统可以包括至少一个3D深度神经网络，其被训练以基于牙冠的体素表示来生成牙根的体素表示的解剖学准确预测的体素表示。计算机系统可以被配置为执行训练过程，该训练过程基于以临床3D数据(即，真实牙齿的3D表示)为基础的训练数据来迭代地训练3D深度神经网络。训练数据可以基于分割的牙颌面结构的3D CBCT数据，特别是牙齿的各个分割的体素表示。牙齿的体素表示可以被划分为两个3D数据集，即，3D牙冠的体素表示和3D牙根的体素表示。
使用这样生成的训练集将导致经训练的深度神经网络，该神经网络可以准确地预测牙根的解剖学准确的体素表示或完整牙齿的体素表示。因此，训练深度学习网络以处理预定体素空间(即，定义体素的体积，其中每个体素与该体积中的3D位置相关联)中的体素。由于计算机系统能够接收不同结构和格式的3D数据，例如由口腔内光学扫描仪的CBCT扫描仪生成的3D数据。计算机系统包括预处理器，该预处理器在将3D数据呈现给3D深度神经网络的输入之前对其进行处理。预处理器可以将3D数据变换成各个3D牙冠的体素表示，其中体素表示与深度神经网络的输入的体素空间匹配。预处理还可以包括以统一的方式(在训练集中的3D数据之间，是集合内一致性，以及在不同的训练集内，是集合间一致性)缩放、定位和/或定向体素表示。
一旦训练了深度神经网络，它就可以接收牙冠的体素表示并预测对应的牙根形状的体素表示或完整牙齿的体素表示，包括预测的牙根形状。在将3D输入数据呈现给经训练的深度神经网络之前，以类似于对训练数据进行预处理的方式对3D输入数据进行预处理，使得将3D牙冠设置为与在深度神经网络的训练期间所使用的比例、位置和朝向对应的比例、位置和朝向。如果训练了深度神经网络以生成牙根的预测的体素表示，那么后处理器可以将(如提供给深度神经网络的输入的)牙根和牙冠的体素表示合并为完整牙齿的体素表示。取决于应用，后处理器还可以将体素表示变换成牙齿的3D模型或网格表示。因为使用临床3D数据(特别是临床3D CBCT数据)对网络进行了训练，所以预测的牙根形状将基于在训练期间深度神经网络导出的特征。
下文将更详细地描述计算机系统、深度神经网络、预处理器和后处理器、神经网络的训练以及由网络以及预处理器和后处理器执行的方法。
图1描绘了根据本发明实施例的计算机系统的高级示意图。特别地，图1描绘了一种计算机系统，该计算机系统被配置为基于表示例如牙冠、完整牙齿、包括牙齿或牙列的牙颌面结构的3D输入数据来自动生成定义完整3D牙齿的表示的3D数据。计算机系统100可以包括预处理器、经训练的深度神经网络和后处理器。预处理器可以预处理3D输入数据102。
例如，在实施例中，预处理器104可以从表示真实世界的牙颌面结构的3D数据导出牙列的牙冠的各个3D表示。可以使用诸如X射线或CBCT扫描仪之类的已知技术来生成这种3D数据。通常，此类3D数据包括体素的体积(体素空间)，其中每个体素值表示辐射强度值。由于数据表示完整的牙颌面结构，因此3D数据还包括有关牙齿(和牙冠)在牙颌面结构中的位置的空间信息。在这种情况下，预处理器可以执行分割过程，以将牙颌面结构的3D数据分割为单独分割的牙齿结构(例如，骨骼、牙齿和神经)，包括完整牙齿的单独表示，通常是完整牙齿的体素表示。由于CBCT数据的性质，代表牙颌面结构的3D CBCT数据的自动分割不是无关紧要的过程。例如，在CBCT扫描中，以Hounsfield单位(HU)测得的无线电密度不一致，这是因为扫描中的不同区域以不同的灰度值出现，具体取决于它们在被扫描的器官中的相对位置。另一个问题是CBCT系统没有采用标准化的系统来缩放表示重建的密度值的灰度级。
为了在没有任何人工干预和/或帮助的情况下实现自动分割，预处理器可以使用单独训练的深度神经网络将3D数据自动分类为不同的3D数据集，其中3D数据集定义了牙齿的体素表示。下面将参考图8并进一步更详细地描述分割过程、用于执行这种分割过程的深度神经网络以及3D数据的预处理和后处理以便实现这种准确分割。
来自用于从CBCT数据自动分割牙齿的上述深度神经网络的结果可以用于生成临床3D牙齿表示，临床3D牙齿表示用于在训练阶段期间对深度神经网络进行训练以进行牙根形状预测106(在下文中有更详细的描述)。分割也可以在推断阶段期间使用，其中可以对3DCBCT数据进行分割，以便确定可以提供给经训练的神经网络的输入的牙冠的体素表示。
在另一个实施例中，预处理器104可以从由口腔内光学扫描仪生成的3D数据导出牙列的牙冠的各个3D模型。通常，此类3D数据集可以在预定义的3D空间内定义3D多边形网格，其中数据形成顶点、边缘和面的集合，其定义3D空间中被扫描的牙冠和部分牙龈的形状。由于数据表示3D牙列结构的部分，因此3D数据还包括有关牙列中牙冠的位置的空间信息。为了将被扫描的牙列的3D网格自动划分为各个3D牙冠模型的3D网格，预处理器可以执行分割过程，其中表示牙列(或其一部分)的多个牙冠的3D表面网格在多个3D表面网格中被分割，其中每个3D表面网格表示个体3D牙冠模型。可以使用已知方法来执行这个分割过程，如由Liao在2015年的“Automatic Tooth Segmentation of Dental Mesh Based onHarmonic Fields”中所述。
在分割过程之后，定义牙冠的3D表示的每个3D数据集可以被转换成与经训练的3D深度神经网络106的期望输入格式匹配的数据格式。为此，预处理器可以使用拟合经训练的3D深度神经网络的3D输入空间的体素空间将定义牙冠的3D表示的3D数据集变换成牙冠的体素表示。另外，预处理器可以处理3D数据集，使得以统一的方式在体素空间中缩放、定位和定向每个牙冠模型的朝向。这个预处理可以包括缩放、旋转、镜像和/或平移体素，使得牙冠的体素表示以预定朝向在体素空间内居中定位，例如，使得牙齿(和牙冠)“上下”方向(或坐标系统中的轴)(如可以从患者站立时它将处于的朝向导出的那样)可以被用于确保这个方向在作为深度神经网络106的输入呈现的牙冠的所有体素表示之间将是一致的。预处理器可以沿着垂直于前面提到的“上下”轴的平面镜像体素表示，以确保在体素表示的空间中，临床牙齿的“牙冠到牙根”方向始终指向相同的方向。
然后将牙冠的经预处理的体素表示提供给3D深度神经网络108的输入，该3D深度神经网络被训练以产生牙根的预测的体素表示。可以训练3D深度神经网络以产生牙根的体素表示，其可以与提供给3D深度神经网络的输入的牙冠的体素表示结合。在另一个实施例中，可以训练3D深度神经网络以生成包括被提供给3D深度神经网络的输入的牙冠体素和牙根的体素预测的体素表示。当深度神经网络预测每个单独的3D牙冠模型的牙根形状时，后处理器108可以适于将预测的牙根形状与用于输入的3D牙冠数据(例如，来自原始源的分割的牙冠形状，或具有在呈现给深度神经网络的体素表示中的牙冠形状)合并。后处理器108可以将完整牙齿的合并的体素表示转换成3D模型(表面网格)，并且可以使用众所周知的表面网格操作，诸如平滑和抽取。此外，在一些实施例中，基于源3D输入，可以将完整牙齿的创建的3D模型放回到原始源中，以维持它们彼此的相对位置。可以在源包含多个3D牙冠表示的情况(如可以是输入数据例如为CBCT扫描或口腔内扫描的情况)下完成这个操作。在那种情况下，后处理器108可以创建3D数据集110，其中每个呈现的牙冠被提供有预测的牙根。
图2描绘了根据本发明实施例的用于训练用于预测单个3D牙齿牙根形状的深度神经网络的流程图。为了实现经训练的3D深度神经网络，需要大量准确的临床训练数据。为了训练3D深度神经网络以基于3D牙冠模型准确地预测单个3D牙齿，可以使用各种训练数据源。
训练数据200可以基于临床3D数据202，即，患者的真实牙齿的3D数据，其可以从各种源导出，特别是由诸如CBCT扫描器之类的X射线扫描器生成的3D数据和/或由3D光学扫描仪生成的3D数据。由X射线扫描仪生成的3D数据通常包括包含牙列的至少一部分的多个3D牙齿模型的牙颌面结构的至少一部分的体素表示，其中每个体素与辐射强度值或密度值相关联。类似地，光学扫描仪的3D数据通常包括表示完整牙齿的3D网格。
由于可以基于各个牙齿模型的体素表示来训练深度神经网络，因此要求预处理器对临床3D数据的处理。在实施例中，预处理器204的处理可以包括基于临床3D CBCT数据确定多个3D数据集，其中每个3D数据集可以定义临床3D CBCT数据中的牙列的牙齿的3D表示。以这种方式，每个3D数据集定义牙齿的临床3D表示。3D数据集的确定要求准确的自动化分割过程。但是，如参考图1所述，对3D CBCT数据进行准确的自动分割并非易事，可以使用单独训练的深度神经网络来实现。下面将参考图8并进一步更详细地描述分割过程、用于执行这种分割过程的深度神经网络以及3D数据的预处理和后处理以便实现这种准确分割。
因此，预处理器可以处理临床3D数据，通常是表示牙颌面结构的CBCT数据，以生成用于深度学习网络的训练数据。预处理可以包括提取临床3D数据集，每个临床3D数据集定义牙齿的体素表示206。另外，预处理可以包括基于每个3D数据集生成牙冠的体素表示208和牙根的相关联的体素表示207。另外，预处理可以包括归一化由用于训练深度神经网络的各种体素表示所表示的样本(例如，牙冠、牙根和完整牙齿)的朝向、位置和/或维度。样本的重新定向、重新定位和缩放导致归一化的样本以供训练。归一化使得深度神经网络能够准确训练牙根预测所需的相关特征。
在实施例中，可以使用牙冠的体素表示作为输入并且牙根的体素表示作为目标标签来训练3D深度学习网络210。在另一个实施例中，可以使用牙冠的体素表示作为输入并且将完整牙齿(包括牙根)的体素表示作为目标标签来训练3D深度学习网络。
在训练阶段期间，可以相对于目标标签迭代地评估表示预测的牙根的体素表示212或预测的牙齿的体素表示214的深度神经网络的中间输出。以这种方式，在训练之后，在推断阶段期间，当将任意选择的3D牙冠的体素表示提供给3D深度神经网络的输入时，经训练的3D深度学习网络能够准确预测或者3D牙根形状或者完整的3D牙齿。
如上所述，可以从表示完整牙齿的体素体积206(牙齿体素的体积)提取牙根的体素207和牙冠的体素208。可以使用不同的方法将体积的牙齿体素分成牙冠体素的体积和牙根体素的体积。例如，可以基于横向平面(即，垂直于患者的“真实世界”的“上下”轴(即，可以被定义为矢状平面和冠状平面的交线的纵向轴)的平面(有时称为额平面))来划分牙齿体素的体积。平面的高度(即，其中平面与纵轴相交的位置)定义了包含牙冠和牙根体素的体积的大小。在严格采用包含牙冠的体素表示的单独空间作为深度神经网络的输入、以及包含牙根的体素表示的单独空间作为深度神经网络210的输出的情况下，这种划分牙冠和牙根体素的方法可能是最有益的。
在另一个实施例中，深度神经网络的输入空间和输出空间都表示能够包括表示完整牙齿的体素的体素空间。在那种情况下，划分可能不一定基于平面。更加随意的(弯曲的)划分将更紧密地容纳输入，如可以从口腔内扫描导出的体素表示所预期的那样。在这样的扫描中，牙龈线(这是分割将发生的边界)不被预期是笔直的。
当牙冠指向上方时，可以使用沿着纵轴的“最高”位置，在该位置处，垂直于该纵轴的平面将与分割的牙冠的整个圆周相交。这个平面可以被用于划分体素，从而导致“笔直的”划分。但是，这种选择牙冠体素的方式会释放出大量的分割的牙齿的表面数据，以及因此的可能会被深度神经网络潜在地用于精确预测牙根形状的信息。下面参考图4更详细地描述预处理的进一步细节。
可以使用例如总牙齿高度、这个高度的绝对距离和/或相对因子(例如，总高度的四分之一加或减十六分之一或以毫米为单位的预定的高度等)、不会被患者的牙龈遮挡的牙齿的预期高度、或可以自动生成的这些的任意组合，来改变沿着纵轴的法向平面的位置(在实际边界内)。在训练期间，在确定牙冠-牙根划分的平面的位置变化的情况下，相同的临床3D牙齿数据可以多次呈现给3D深度神经网络，从而为3D深度神经网络训练提供对输入的增强的鲁棒性。
在另一个实施例中，预处理器204还可以生成非笔直的划分，例如，模拟如将作为由分割口内扫描产生的3D牙冠模型接收的输入。在这种情况下，通过可以如上所述那样确定的高度处的至少一个3D参考点、以及在这个高度处的表面的封闭圆周的质心，预处理器可以沿着弯曲程度更大的表面划分接收到的3D模型数据。另外，可以选择关于允许的曲率的量的实际极限(例如，与接收到的封闭体积相交的曲面的最高点与最低点之间的最大高度差；最大允许曲率等)。而且在这种情况下，同一个牙齿可以多次呈现给3D深度神经网络的输入，其中每次可以引入划分高度的变化，从而使经训练的神经网络具有鲁棒性。
在另一个实施例中，预处理器的输入可以被配置为接收由完整临床牙齿的光学扫描产生的3D表面网格。可以如上所述对此类表面网格进行预处理，包括将此类表面网格变换成适合深度神经网络的输入空间的体素表示。
在另一个实施例中，训练数据200可以是来自其它更准确的源的增强数据。为此，临床3D数据202还可以包括3D牙冠模型的3D数据集，其可以从由口腔内扫描仪生成的光学生成的3D数据导出。通常，光学生成的3D数据包括3D网格，该3D网格包含牙列的多个3D牙冠模型，其可以通过预处理器204分割并变换成多个光学生成的3D数据集。每个生成的3D数据集可以产生高度准确的3D牙冠的体素表示208，其被格式化(就尺寸、位置和朝向而言)以用于输入到深度学习网络，并且可以用于训练深度神经网络。
因此，如果对于一个3D牙齿模型，X射线生成的3D数据集和更准确的光学生成的3D数据集均可用，那么可以使用从光学生成的3D数据集导出的牙冠的体素表示、与从作为目标(的一部分)的相关联的牙根模型的X射线生成的3D数据集导出的牙根的体素表示相结合，来训练深度神经网络。在从相对低分辨率的3D CBCT扫描导出3D牙冠数据的情况下，使用牙冠模型的光学生成的3D数据(牙冠的3D网格)进行训练可能是有益的。在这样的情况下，预处理可以要求对准步骤，该对准步骤设置牙冠的3D数据的位置和朝向以匹配全部牙齿的3D图像数据内的牙冠部分。
经训练的3D深度学习网络的性能可以通过将预测的牙根的体素表示212或预测的全部牙齿的体素表示214与原始(真实世界)3D图像数据202进行比较来验证，如下文参考图6所示。在深度神经网络210的输入和输出(目标标签)严格分为牙根部分和牙冠部分的情况下，可以通过比较预测牙根的3D图像数据与牙根的原始(真实世界)3D图像数据的匹配部分来完成这种验证。
预处理器204可以通过在采用划分之前引入接收到的3D图像数据的相对小的变换来促进数据的增强。这种变换可以例如包括沿着患者的矢状平面镜像3D图像数据和/或沿着三个正交轴中的任意一个重新缩放和相对较小的旋转。
如图2中所描绘的训练过程产生3D深度神经网络，该网络经过训练以基于任意选择的3D牙冠(诸如从由口腔内扫描仪生成的3D数据导出的牙冠的体素表示)准确预测3D牙根形状。深度神经网络将自动学习从接收到的牙冠的体素表示可得的解剖学特征，以生成(至少)牙根表示的解剖学准确的预测，其中所得的牙根模型将紧密适合牙冠模型以形成完整牙齿模型。
由于可以从任何潜在的训练样本(样本为牙冠的体素表示)学习到此类特征、并且3D深度神经网络将确定哪些特征是相关的这样的事实，因此该方法能够更准确地使用所述体素表示中的任何相关信息。换句话说，在现有技术可能限于具体的输入参数集合的情况下，所提出的方法具有利用更多输入信息的潜力，并将在训练期间确定哪些可推导的特征是相关的。
此外，3D深度神经网络将基于牙冠部分学习表示牙根部分的3D图像数据的概括。但是，与现有技术中使用模板牙根相比，这种概括更灵活(考虑到可以针对预测的牙根或者完整牙齿生成的潜在不同的形状)。还需要注意的是，该方法不要求指示牙齿类别(犬牙、磨牙等)和/或患者类别(年龄、性别等)的单独的输入。实际上，3D深度神经网络有可能直接从接收到的体素表示识别作为这种分类的结果的相关特征。但是，这(至少)取决于可用的训练样本的数量、它们在这些类别中的变化以及3D深度神经网络中的特征表示内可用的存储器带宽。
图3描绘了根据本发明实施例的用于从3D牙冠图像数据进行自动牙根形状预测的方法和系统中使用的3D深度神经网络体系架构300的示例。接收到的(经预处理的)3D图像数据(例如，与深度神经网络的输入的体素空间匹配的体素表示)可以通过形成该网络的各种(不同类型的)网络层来传递和处理。网络的体系架构可以包括三个不同的功能部分301、303、305。
第一部分301可以被配置为借助于3D卷积层304、306、308来逐渐地对特征进行编码。这些特征是通过学习到的(从训练得到的)3D卷积过滤器集合导出的。由这样的层得到的生成的特征图将表示与牙根形状预测问题相关的信息。堆叠多个3D卷积层导致每个附加层的(潜在)视场的增加，以及从先前层导出的信息导出组合信息的能力。在这方面，输入302可以被认为是第一信息集合。
由于3D卷积层的性质，因此与例如利用全连接的层相比，存储器和处理要求相对较低。由于所期望的预测准确性，存在输入(体素)空间的最小尺寸。但是，还期望对从整个输入空间导出的信息执行处理，例如借助于密集连接的层。出于这个原因，例如，通过在此类3D卷积层内使用跨步或二次采样，可以实现(3D)特征空间尺寸的减小。可替代地，在卷积层之后可以是池化层，诸如本领域中众所周知的最大池化层。
因此，当数据通过了卷积层时，内部表示可以被传递到一系列密集连接的层310、312，这些层被配置为用作从先前的卷积激活推断牙根形状选择的中介。密集连接的层可以形成网络的第二部分303。在神经网络中的这一点上，这样的层具有访问从整个输入空间导出的信息的能力。
在密集连接的层之后，所得的激活可以通过形成网络的第三部分305的一系列3D反卷积层314、316、318传递。这样的层也称为转置卷积层。可以以可以扩展在网络体系架构中的一点处表示的(3D)空间的方式来选择用于这样的层的参数。再次，利用这样的层降低了实际可能的体系架构和(及时)预测所需的硬件(存储器、处理速度)要求。可替代地，可以采用常规的3D卷积层，之后是本领域中已知的(3D)上采样层。
在替代实施例中，来自部分一的层也直接连接到来自部分三的层。以这种方式，网络(在本领域中也称为U网络)将特征图从压缩阶段(由部分一表示)“转发”到解压缩阶段(由部分三表示)。当每个卷积和反卷积集合以至少相同的编码空间分辨率进行运算时，可以在从卷积层到反卷积层的结果之间完成这个操作。这可以提高预测的质量和/或减少训练收敛到期望准确性的时间。参考图11B描述U网络体系架构的示例。
层数及这些层的定义参数(例如不同的激活函数(例如，S型、tanh、elu、softmax)、(过滤器的)内核量和尺寸、二次采样和(一个或多个)扩张的使用、以及其它功能层(诸如退出层))的变化在不失去深度神经网络设计的精髓的情况下可以在实施方式中使用。这同样适用于本领域中已知的变化参数发起方法。(例如，(glorot)正常或均匀、He正常等。)最后一层或输出层324可以导致各个体素激活，其中每个体素激活表示定义体素是3D牙根或完整牙齿的一部分的概率的概率测量。可以对体素激活进行阈值化处理以获得牙根或完整牙齿3D数据320的二进制预测。在最后一层采用softmax激活的情况下(这对于分类问题是常见的)，对于“牙齿牙根”或“完整牙齿”类别，高于0.5的表示的体素激活被阈值化为二进制“1”或表示该体素被预测为“牙根”或“牙齿”的“真”。可替代地，基于要预测的类别上的argmax进行此类二进制归因，从而有效地将体素归因于激活最高的类。因此，如果这种类的激活对于此类体素最高，那么可以预测体素是牙根或完整牙齿类别的一部分。
因此，在实施例中，第一3D深度神经网络可以包括三个顺序的部分，第一部分至少包括多个3D卷积层，这些层被配置为使得与输入分辨率相比，从该部分得到的导出信息的空间分辨率降低，第二部分被配置为具有并行处理从第一部分得到的所有信息的能力，优选地借助于密集连接的层，第三部分至少包括多个3D卷积层，这些层被配置为使得总网络的最终输出的空间分辨率至少与输入分辨率具有相同的分辨率，优选地借助于转置卷积。
可以使用参考图2描述的训练数据来训练网络。对于每个样本，单个牙根或完整牙齿的匹配3D表示可以被用于确定期望输出322与实际输出320之间的损失。这个损失可以在训练期间用作调整深度神经网络各层内的参数的测量。在训练期间可以使用优化器函数以帮助训练工作的效率(例如，随机梯度下降、rmsprop、adam等)。可以对网络进行任意数量迭代的训练，直到内部参数导致期望的结果准确性为止。当适当地训练时，包含至少牙齿牙冠的表示的体素表示可以被呈现为输入和深度神经网络，并且可以被用于导出对应的3D牙根或完整牙齿的体素表示的预测。
图4A和4B描绘了根据本发明各种实施例的预处理和后处理3D数据的示意图。特别地，图4A描绘了由预处理器执行的过程的流程图。在第一步骤402中，预处理器可以从源自不同的源的3D数据(例如，由口腔内扫描仪生成的牙列的3D表面网格或牙颌面结构的CBCT数据)导出各个3D牙冠数据。在这样的情况下，预处理可以包括执行分割过程，其中由预处理器接收的3D数据被分割成单独的3D牙冠数据。在3D CBCT数据的情况下，分割过程可以由单独的神经网络执行，该神经网络将体素分类为特定的体素类型，例如表示牙齿的一部分的体素，并形成牙颌面结构的牙齿的3D数据集。下面参考图8并进一步描述这种分割过程的示例。在3D数据包括表示由口腔内扫描仪生成的牙列的3D网格的情况下，预处理器可以包括分割过程，其中牙列的3D网格被分割成牙冠的各个3D网格。
此后，预处理器可以以牙冠的体素表示来变换各个3D牙齿数据(步骤404)。因此，在3D表面网格的情况下，可以将3D网格变换成体素的体积。可以使用插值算法以便用体素填充体素空间，所述体素包括其中不存在牙齿表面的具有预定的第一体素值(例如，“零”或“背景”值)的体素，并且对于那些与网格定义的3D表面重合或几乎重合的体素具有第二体素值“一”或“牙齿存在”值。在完整牙齿的体素表示的情况下，如参考图2所述，可以通过将完整牙齿的数据划分为牙冠数据和牙根数据来确定牙冠数据的体素表示。因此，体素表示包括体素的体积，例如矩形框，其中牙冠的3D表面由该体积内的体素表示。
在实施例中，预处理器还可以执行将由表面网格封闭的体素设置为第二体素值的步骤406，使得3D体素表示表示3D空间中的固体对象。注意的是，例如部分牙冠的体素表示的封闭表面可以是还未完全封闭的表面(例如，当牙齿的体素表示被划分为牙冠和牙根部分时，或者当牙冠的体素表示基于由口腔内扫描生成的3D网格的分割时，可能是这种情况)。如果在训练期间将牙齿的体素表示沿着平面划分为牙冠体素的体积和牙根体素的体积(也参见上面的图2)，那么步骤406可以包括通过在划分平面内创建面来闭合体积并确定固体表示，从而封闭已经存在的表面。
在这种体素表示的边缘不在同一平面中的情况下，步骤406可以包括确定3D点，该点将是“最高”表面的质心(在现实世界的“上下”方向上，其中牙齿的牙冠侧定向为“向上”)，该表面从最高可用的全封闭圆周定义为与垂直于所述“上下”方向的平面相交。然后，可以通过如下方式来闭合原始(划分的)体积：创建由确定的3D点(在将由原始接收的表面包围的体积内)以及沿着原始接收的表面的开放边缘的顶点定义的面。由于牙齿形状的性质，这个方法将以将确保所得的体积确实是现实世界中的牙齿体积(的一部分)的方式闭合并填充开放表面。在一些实施例中，接收到的3D牙冠模型可能已经被封闭，如对于例如通过从CBCT数据进行分割而生成的模型的情况那样，如下面参考图8进一步描述的。
在实施例中，体素的(矩形)体积可以与坐标系相关联，例如3D笛卡尔坐标系，以便可以将牙齿的3D体素表示与朝向和维度相关联。但是，牙齿模型的朝向、位置和/或维度可能未标准化。3D深度神经网络可能对牙齿的朝向敏感，并且可能难以根据3D图像体积中的非标准化维度和随机的牙冠朝向来预测牙根形状。因此，向3D深度神经网络(包括训练和推断期间)呈现其中体素的维度(即，体素所表示的空间的真实世界长度、宽度和高度)对于每个呈现的样本或表示都相同的体素表示可能是有益的。此外，向3D深度神经网络(在训练和推断期间)呈现其中牙齿样本的朝向、位置和维度对于每个样本均相同的体素表示可能是有益的。
为了解决这个问题，在3D输入数据的预处理期间，可以根据为了归一化训练数据而使用的归一化来归一化各个牙冠样本的朝向、位置和维度。预处理器可以确保表示牙冠的体素(即，如上面参考步骤404和/或406所描述的体素表示)可以使用例如正则变换来变换，使得变换后的样本的朝向、位置和维度统一并被归一化(步骤410)。预处理器可以使用3D数据源的空间信息来完成朝向、位置和/或维度的这种归一化。在实施例中，可以由预处理器通过检查数据源的朝向、位置和维度来确定空间信息(步骤408)。例如，当牙冠样本源自定义体素的体积的3D(CB)CT数据堆栈或源自口腔内扫描时，每个牙齿或牙冠样本的朝向、位置和维度可以由系统确定。
预处理器可以检查从原始3D图像数据集导出的朝向、位置和/或维度，并且如果这些值与用于深度学习网络的期望(归一化)输入格式不匹配，那么可以应用变换。在实施例中，该变换可以包括3D旋转，用于在3D空间中重新定向样本的朝向。重新定向可以导致神经网络预期的(归一化的)定向(步骤410，上面参考特征102对其进行了更详细的描述)。在实施例中，变换可以包括用于将样本重新定位在3D空间中的3D平移。重新定位确保3D牙冠模型在3D神经网络所预期的任何空间尺寸内的(归一化的)定位。在又一个实施例中，变换可以包括用于重新缩放3D空间中的样本的维度的3D缩放(步骤412)。重新缩放确保3D神经网络所预期的样本的(归一化的)维度。
在实施例中，预处理器(的一部分)可以包括(第三)深度神经网络，其被训练以执行如上所述的变换。在实施例中，如标题为“Automated determination of a canonicalpose of a 3D dental structure and superimposition of 3D dental structuresusing deep learning”的欧洲专利申请no.18181421.1中所述的经训练的神经网络，该申请通过引用并入本申请。
图4B描绘了由后处理器执行的过程的流程图。在实施例中，后处理器可以在完整牙齿的合并的体素表示420中组合(合并)牙冠的体素表示414和由3D深度神经网络生成的牙根形状的体素表示416。在实施例中，可以将合并的体素表示变换成完整牙齿的3D网格422。可替代地，后处理器可以将牙根形状的体素表示变换成3D网格，并将牙根形状的3D网格表示与牙冠的3D网格表示组合(合并)。在又一个实施例中，3D深度神经网络可以生成完整牙齿的体素表示418，并且后处理器可以将3D深度神经网络的输出直接变换成完整牙齿的3D网格。
图5A和5B示出了与预测的体素表示相比的3D临床体素表示的图示。图5A是“磨牙”型牙齿的示例，并且图5B是“犬牙”型牙齿的示例。(均为保留样本，或训练期间未使用的样本)。这些表示在定义160x100x100体素的体积的体素空间中(在x，y，z坐标系中)被渲染。可视化的x和y轴组成患者的冠状平面。图上方的切片编号指示沿着z轴的距离，在该点处切片被可视化。例如，图5A描绘了在z轴上的三个不同位置处的体素空间的三个切片(在x-y平面中)。这些图示清楚地指示由3D深度神经网络预测的牙根形状的准确性。在这些图示的情况下的体素尺寸在每个正交方向上为0.2mm。
预测的牙齿被示为提供给系统的输入的牙冠的体素表示与预测的牙根在包含完整牙齿的体素空间中的所得合并。每个图包括临床3D模型的表示的切片和牙齿的完整预测的3D模型的切片，其被放在临床3D模型上。如此形成的图图示了临床牙根形状与中度灰色阴影下的预测的牙根形状之间的重叠，其中较浅的灰色阴影(临床牙齿的表示存在，但预测的牙齿的表示不存在)以及较深的灰色阴影(临床牙齿的表示不存在，但预测的牙齿的表示存在)指示预测的表示偏离临床表示的部分。
在这个示例性实施例的情况下用于训练和预测的划分利用“笔直”划分，如由线5021和5022所示(其表示x-z方向上的平面)。因此，体积的上部(第一)部分504定义表示牙冠的体素，这些体素被用作深度神经网络的输入。下部部分506定义基于输入由神经网络预测的体素。因此，在这个示例中，深度神经网络的输入的体素空间表示60x100x100体素的体积，而深度神经网络的输出的体素空间表示100x100x100体素的体积。下面参考图6描述用于生成这些结果的示例性系统的更多细节。
由于由深度神经网络执行的处理的性质，在原始牙冠部分和预测的牙根部分之间不存在硬过渡边缘，如诸如现有技术中的采用利用模板3D模型的系统的情况那样。由系统学习并因此预测的原始牙冠部分和预测的牙根部分之间的过渡被认为是平滑过渡(参见例如508、510)，几乎不需要或不需要进行附加的后处理，例如平滑等。图示还示出了贯穿预测的3D图像数据的准确性。预测的牙根部分与临床牙齿在大的程度上重叠。可以参考图6找到考虑这个准确性的更多详细信息。但是，值得注意的是，在这些图示中，所示的预测的3D牙根部分(对于图5A或5B分别在线5021或5022下方的所有内容)是由系统根据这些相同线上方的信息自动预测的。
图6A和图6B示出了从参考图5A和5B的相同示例性实施例确定的骰子系数表。更详细地讲，通过将实际3D临床牙齿的体素表示与由单个经训练的3D深度神经网络预测的3D完整牙齿的体素表示进行比较，每个维度采用的体素尺寸为0.2mm，这些是在保留的牙齿集合上的结果(这意味着这些牙齿不是训练集合的一部分)。在牙冠和牙根之间采用“笔直”划分，输入和输出体素空间被分开。从CBCT扫描导出的约900个3D临床牙齿模型被用于训练，此外还利用了3D图像数据的增强。
这种训练数据包含各种牙齿类别，包括门牙、犬牙、前磨牙和磨牙。出于示例的目的，图6A中的骰子系数被示为划分成这些类别。图6B中的表示出了相同的总结果集，这些结果被聚合到不同的类别集中，即，根据如可以在牙列中找到的各个牙齿类型并且根据FDI世界牙科联合会符号聚合。但是要强调的是，所有结果都是由单个3D深度神经网络生成的。骰子系数或骰子分数是对象相似度的测量。这个参数通常用在图像分割中，以将预测的结果与地面真值(在这个系统的情况下为3D临床牙齿)进行比较。骰子分数可以被描述为两个对象(在这种情况下，按每体素级别取得)之间的重叠的尺寸除以两个对象的总尺寸。这个度量考虑了真阳性、总阳性和假阳性，分数越高表示结果越准确。
如图6A中的结果所示，当将牙齿的预测与临床3D模型(或地面真值)进行比较时，一般而言，前磨牙的类别平均为“最不准确”(在这种情况下，是指最低的骰子系数)。但是，注意的是，该表仅示出了示例性实施例的结果。保留样本的集合已被随机选择，并且不同的选择将导致不同的结果。(这也可以在图6B中看到，其中显然，在随机选择的保留的数据集中不存在牙齿索引18、38和48)。而且，在此类网络中使用的确切3D深度神经网络体系架构和参数、训练注意事项(诸如输入和输出空间尺寸的选择、训练期间的扩充选项等)会影响预测结果的准确性。当采用更大的训练样本数据集时，准确性和骰子分数有望更高。
图7图示了由根据本发明实施例的系统生成的临床牙齿的3D模型。特别地，图7图示了临床牙齿的3D模型，其与通过仅接收牙冠部分的完整牙齿的预测相结合。这些是来自与以上参考图5和6描述的相同示例性实施例的结果。示出了来自四个不同类别的牙齿(门牙702、犬牙704、前磨牙706和磨牙708)的单个示例，其由包括经训练的3D深度神经网络的系统确定。这些图示是基于整个牙齿的各个3D模型(即，3D网格)渲染的，这些模型是基于如上所述的预测的牙根的体素表示生成的。原始3D临床牙齿模型以较浅的灰色渲染，而基于牙齿的预测的体素表示生成的3D牙齿模型以较深的阴影渲染。每个生成的3D牙齿模型都覆盖其原始3D临床牙齿模型，以便提供结果的视觉比较。再次值得一提的是，这些是保留样本。在图7的可视化中，在牙冠部分处可见一些较深的灰色的贴片(726)。这是重叠原始3D临床牙齿模型和完整的预测的牙齿的3D模型的结果，后者已经历将预测的牙根的体素表示与接收到的牙冠的体素表示合并的步骤。在可见此类贴片的地方，渲染引擎可能确定了3D预测的完整牙齿的表面是表面上“较高”的最不重要部分，因此可见预测的牙齿的较深阴影。与原始3D临床牙冠模型(710到716)的比较表明，经训练的深度学习网络能够生成牙根形状(718到724)的准确预测，包括(可适用的)牙根的数量(724)。
如上所述，在一些实施例中，提供给系统的输入的3D数据可以表示牙颌面结构，包括与颌骨、牙齿和神经(的一部分)相关的体素。在那些实施例中，要求将牙颌面结构分割成单独的部分，例如，颌骨和个体牙齿，以便确定可以由3D深度学习网络使用的单个牙齿牙冠的3D体素表示。此外，出于训练3D深度学习网络的目的，可以要求大量的完整牙齿形状，以便学习深度神经网络从而基于牙冠形状预测牙根形状。考虑到创建CBCT扫描的可用性和相对容易性，来自此类CBCT扫描的3D牙齿的自动分割将证明非常有益。因此，在那些情况下，本发明还包括使用3D深度神经网络对牙颌面结构中的牙列的各个牙齿进行分类、分割和3D建模的计算机系统和计算机实现的方法，其中牙颌面结构由3D图像数据表示，3D图像数据由形成CT图像数据堆栈(特别是锥形束CT(CBCT)图像数据堆栈)的一系列图像来定义。3D图像数据可以包括形成牙颌面结构的3D图像空间的体素。
根据本发明的这种计算机系统可以包括至少一个深度神经网络，该深度神经网络被训练为将牙颌面结构的3D图像数据堆栈分类为不同类别的体素，其中每个类别可以与结构的不同部分(例如，牙齿、颌、神经)相关联。该计算机系统可以被配置为执行训练处理，该训练处理基于一个或多个训练集合来迭代地训练(优化)一个或多个深度神经网络，所述训练集合可以包括牙颌面结构的准确3D模型。这些3D模型可以包括光学扫描的牙颌面结构(牙齿和/或颌骨)。一旦被训练，深度神经网络就可以接收牙颌面结构的3D图像数据堆栈并且对3D图像数据堆栈的体素进行分类。在将数据呈现给经训练的深度神经网络之前，可以对数据进行预处理，以使神经网络可以高效地并准确地对体素进行分类。神经网络的输出可以包括体素数据的不同集合，其中每个集合可以表示3D图像数据的不同的部分，例如牙齿或颌骨。可以对分类的体素进行后处理，以便重建牙颌面结构的准确3D模型。
下面更详细地描述包括用于对牙颌面结构的体素进行自动分类的经训练的神经网络的计算机系统、网络的训练、在将3D图像数据馈送到神经网络之前对其的预处理、以及对由神经网络分类的体素的后处理。
图8描绘了根据本发明实施例的训练用于对牙颌面3D图像数据进行分类的深度神经网络的流程图。使用训练数据，以便训练3D深度学习神经网络，使得能够自动对牙颌面结构的3D CT扫描的体素进行分类。如这个图中所示，可以将牙颌面复合体802的表示提供给计算机系统。训练数据可以包括牙颌面结构的CT图像数据堆栈804和相关联的3D模型，例如由相同牙颌面结构的光学扫描生成的3D数据806。这种3D数据可以被称为3D光学扫描数据。这种3D CT图像数据和3D光学扫描数据的示例在图9A和9B中示出。图9A描绘了与牙颌面结构的3D CT扫描的不同平面(例如，轴向平面902、额顶或冠状平面904和矢状平面906)相关联的DICOM切片。图9B描绘了牙颌面结构的3D光学扫描数据。计算机可以基于光学扫描数据形成牙颌面结构的3D表面网格808。另外，可以采用对准功能810，该功能被配置为将3D表面网格与3D CT图像数据对准。在对准之后，提供给计算机的输入的3D结构的表示使用相同的空间坐标系。基于对准的CT图像数据和3D表面网格，可以确定光学扫描的3D模型的位置特征812和分类的体素数据814。然后可以将位置特征和分类的体素数据与图像堆栈804一起提供给深度神经网络816的输入。
因此，在训练阶段期间，3D深度学习神经网络接收3D CT训练数据和从3D CT训练数据提取的位置特征作为输入数据，并将与3D CT训练数据相关联的分类的训练体素用作目标数据。通过最小化表示深度神经网络的输出到用于表示针对预定输入的期望输出的目标数据(即，分类的体素数据)的偏差的损失函数，可以使用优化方法来学习深度神经网络的网络参数的最优值。当损失函数的最小值收敛到某个值时，可以认为训练处理适合于应用。图8中描绘的与可以(至少部分地)从3D光学扫描数据导出的训练体素相结合使用3D位置特征的训练处理为3D深度学习神经网络提供了高质量的训练集。在训练处理之后，经训练的网络能够根据3D CT图像数据堆栈准确地对体素进行分类。
图10A和10B描绘了在被配置为对牙颌面结构的3D体素数据进行分类和分割的方法和系统中使用的深度神经网络体系架构的高级示意图。可以使用一个或多个3D卷积神经网络(3D CNN)来实现深度神经网络。卷积层可以采用与层中的神经元相关联的激活函数，诸如sigmoid函数、tanh函数、relu函数、softmax函数等。深度神经网络可以包括多个3D卷积层，其中层数及其定义参数(例如，不同的激活函数、内核量和尺寸以及诸如退出和批归一化层之类的附加功能层)的微小变化可以在实施方式中使用，而不丢失深度神经网络设计的本质。
如图10A中所示，网络可以包括多个卷积路径，其中每个卷积路径与3D卷积层的集合相关联。在实施例中，网络可以包括至少两个卷积路径，与第一3D卷积层集合1006相关联的第一卷积路径和与第二3D卷积层集合1008相关联的第二卷积路径。可以训练第一和第二卷积路径以分别对从与提供给第一和第二卷积路径的输入的体素相关联的接收到的3D图像数据导出的3D特征进行编码。另外，在一些实施例中，网络可以至少包括与第三3D卷积层集合1007相关联的另一条(第三)卷积路径。可以训练第三卷积路径以对从与提供给第三路径的输入的体素相关联的接收到的3D位置特征数据导出的3D特征进行编码。
可替代地，在另一个实施例中，代替基于3D位置特征数据训练的另一条卷积路径，3D位置特征数据还与提供给第一和第二卷积路径的输入的体素的强度值相关联。因此，在这个实施例中，可以基于如下训练数据来训练第一和第二卷积路径，该训练数据包括包含强度值和位置特征信息的体素值的3D数据堆栈。
在图10B中更详细地图示了不同路径的功能。如这个图中所示，体素被馈送到神经网络的输入。这些体素与预定体积相关联，该预定体积可以被称为图像体积10013。可以将体素的总体积划分为第一体素块，并且第一路径10031的3D卷积层可以对3D图像数据的每个第一体素块10011执行3D卷积操作。在处理期间，每个3D卷积层的输出可以是后续3D卷积层的输入。以这种方式，每个3D卷积层可以生成表示被馈送到输入的3D图像数据的特征的3D特征图。因此，被配置为生成此类特征图的3D卷积层可以被称为3D CNN特征层。
如图10B中所示，第二卷积路径10032的卷积层可以被配置为处理3D图像数据的第二体素块10012。每个第二体素块与第一体素块相关联，其中第一和第二体素块在图像体积中具有相同的中心原点。第二块的体积大于第一块的体积。而且，第二体素块表示相关联的第一体素块的下采样版本。换句话说，第二块的体素分辨率低于相关联的第一块的体素分辨率。下采样因子可以是任何适当的值。在实施例中，下采样因子可以在20与2之间选择，优选地在10与3之间。
因此，3D深度神经网络可以包括至少两条卷积路径。第一卷积路径10031可以定义第一3D CNN特征层集合(例如5-20层)，其被配置为以第一体素分辨率(例如目标的体素分辨率(即，要分类的3D图像数据的体素的分辨率))处理输入数据(例如，图像体积中预定位置处的第一体素块)。类似地，第二卷积路径可以定义第二3D CNN特征层集合(例如5-20层)，其被配置为以第二体素分辨率处理输入数据(例如，第二体素块，其中第二体素块10012中的每个块具有与第一体素块10011中的其关联的块相同的中心点)。在此，第二分辨率低于第一分辨率。因此，第二体素块在实际维度上表示的体积比第一块大。以这种方式，第二3D CNN特征层处理体素以便生成包括与由第一3D CNN特征层处理的相关联的体素的(直接)邻域有关的信息的3D特征图。
因此，第二路径使神经网络能够确定上下文信息，即，关于呈现给神经网络的输入的3D图像数据的体素的上下文(例如其周围环境)的信息。通过使用多条(并行)卷积路径，可以并行处理3D图像数据(输入数据)和关于3D图像数据的体素的上下文信息。上下文信息对于分类牙颌面结构是有用的，尤其是在CBCT图像数据的情况下，这些牙颌面结构通常包括难以区分的密排牙齿结构。
在实施例中，10B的神经网络还可以包括第三3D卷积层集合的第三卷积路径10033，第三3D卷积层集合被训练以处理可以从3D图像数据提取的3D位置特征1004的具体表示。从3D图像数据提取3D位置特征可以被实现为预处理步骤。在替代实施例中，代替使用第三卷积路径来处理3D位置特征，可以将包括3D位置特征的3D位置信息与提供给深度神经网络的输入的3D图像数据相关联。特别地，可以形成其中每个体素与强度值和位置信息相关联的3D数据堆栈。因此，位置信息可以按照每个适用的接收到的体素来配对，例如，借助于将3D位置特征信息作为附加通道添加到接收到的3D图像信息。因此，在这个实施例中，在深度神经网络的输入处的3D牙颌面结构的体素表示的体素不仅可以与表示例如无线电强度值的体素值相关联，而且可以与3D位置信息相关联。因此，在这个实施例中，在训练第一和第二卷积路径两者的卷积层期间，可以将从3D图像特征和3D位置特征两者导出的信息编码在这些卷积层中。
然后将3D CNN特征层集合的输出合并并馈送到一组全连接的3D CNN层1010的输入，对这些3D CNN层1010进行训练以导出在神经网络的输入处提供并由3D CNN特征层处理的体素1012的预期分类。
训练3D CNN特征层集合(通过其可学习的参数)以导出并传递可以从其具体输入确定的最优有用信息，全连接的层对参数进行编码，这些参数将确定来自先前路径的信息应当被组合以提供最优分类的体素1012的方式。此后，可以在图像空间1014中呈现分类的体素。因此，神经网络的输出是在与输入处的体素的图像空间对应的图像空间中的分类的体素。
在此，全连接的层的输出(最后一层)可以为每个体素提供多个激活。这种体素激活可以表示定义体素属于多个类别(例如牙齿结构类别，例如牙齿、颌和/或神经结构)之一的概率的概率测量(预测)。对于每个体素，可以对与不同牙齿结构相关联的体素激活进行阈值化以获得分类的体素。
图11-13图示了确定表示3D牙颌面结构的3D图像数据堆栈中的3D位置特征的方法以及这种位置特征的示例。具体而言，在手动设计的特征的情况下，将3D图像数据堆栈和相关联的3D位置特征都作为输入提供给3D深度神经网络，使得网络可以准确地对体素进行分类而没有过拟合的风险。基于真实世界维度的转换确保与输入图像分辨率无关的可比较输入。
手动设计的3D位置特征可以向3D深度神经网络提供关于图像体积中的体素相对于图像体积中的参考平面或参考对象的位置的信息。例如，在实施例中，参考平面可以是图像体积中的轴向平面，其将与上颌相关联的体素和与下颌相关联的体素分开。在另一个实施例中，参考对象可以包括曲线，例如3D曲线，近似牙颌面结构的3D图像数据中的牙齿的牙弓的至少一部分。以这种方式，位置特征为第一深度神经网络提供对如下抽象进行编码的手段，所述抽象指示在图像体积中的不同位置中的每个体素关联的颌、牙齿和/或神经组织的可能性。这些位置特征可以帮助深度神经网络高效并准确地对3D图像数据堆栈的体素进行分类，并且可以减少过拟合的风险。
为了确定图像体积中在分类处理中有用的参考平面和/或参考对象，特征分析功能可以确定预定强度值或高于或低于预定强度值的体素。例如，与明亮的强度值相关联的体素可以与牙齿和/或颌组织相关。以这种方式，可以由计算机确定关于图像体积中牙齿和/或颌的位置以及朝向(例如旋转角度)的信息。如果特征分析功能确定旋转角度大于预定量(例如，大于15度)，那么该功能可以将旋转角度校正为零，因为这对于准确结果更有利。
图11A图示了在3D图像数据1104中确定人工设计的3D位置特征的方法的流程图1102的示例，所述3D图像数据1104例如是3D CT图像数据堆栈。这个处理可以包括确定牙颌面结构的一个或多个3D位置特征，其中一个或多个3D位置特征被配置用于输入到3D深度神经网络(如以上参考图10B所讨论的)。手动设计的3D位置特征定义图像体积中的体素相对于图像体积中的参考平面或参考对象的位置信息，例如图像体积中的体素与图像体积中的将上颌与下颌分开的参考平面之间的距离，例如垂直距离。它还可以定义图像体积中的体素与牙齿参考对象(图像体积中的牙弓)之间的距离。它还可以定义图像体积的第二参考平面中的累积强度值的位置，第二参考平面中的点处的累积强度值包括穿过参考平面中的该点的法线上或附近的体素的累积强度值。3D位置特征的示例在下文中描述。
为了在牙颌面结构的3D图像数据中确定提供牙弓的位置信息的参考对象。拟合算法可以用于确定拟合不同(累积)强度值的点云中的预定点的曲线，例如遵循多项式公式的曲线。在实施例中，可以确定在图像体积的轴向平面(xy平面)中的强度值的点云。可以通过将位于穿过轴向平面中的点的法线上的体素的体素值相加来确定该轴向平面中的点的累积强度值。由此获得的在轴向平面中的强度值可以被用于找到近似于牙齿的牙弓的曲线。
图11B描绘了根据本发明实施例的机器学习方法的示例，该机器学习方法可以被用于生成(非人工设计的)相关的3D位置特征。特别地，图11B描绘了示例性3D深度神经网络体系架构，其可以被训练以生成将由分割3D神经网络处理的期望特征。在训练之后，可以类似于方法502将这样的经训练的模型用作预处理器，该预处理器基于整个接收到的3D数据集来导出相关的3D位置特征。
与手动设计的3D位置特征相似，目标是将与整个接收到的3D数据集(或其至少大部分)相关的信息结合到3D位置特征中，以用在分割3D深度学习网络中，该网络可以与自动分类和分割的任务相关，并且可能不能以其它方式从提供给分割3D深度学习网络的一个或多个子样本集合中获得。再次，与手动设计的3D位置特征一样，应当按照接收到的3D数据集中的每个体素使此类信息可得。
实现这种机器学习方法以自动生成3D位置特征的可能方式之一是经训练的深度神经网络。可以训练这样的网络以基于提供给3D分割深度神经网络的输入的输入3D数据集(例如，牙颌面结构的体素表示)来导出3D位置特征。在实施例中，预处理深度神经网络可以是如图11B所示的3D U网类型的深度神经网络。由于可用处理的限制(主要是存储器要求)，这样的体系架构将不能在接收到的体素表示的分辨率上操作。因此，可以使用插值算法将第一输入3D数据集(第一分辨率的第一体素表示(例如，每个体素0.2x0.2x0.2mm))下采样到第二较低分辨率的第二体素表示(例如，每个体素1x1x1mm的分辨率)。之后，基于第二分辨率的体素表示训练的3D深度神经网络可以针对每个输入体素生成3D位置特征信息。插值算法可以被用于将这个信息放大到原始的第一分辨率。以这种方式，所得的3D位置特征(在空间上)与第一体素表示的体素一致，从而为第一输入3D数据集的每个体素生成相关信息，同时考虑到了考虑整个接收到的3D数据集(其聚合版本)的信息。
这样的预处理3D深度神经网络可以被训练为近似期望的目标值(期望的3D位置特征)。在这个具体示例中，目标可以例如是预处理3D深度神经网络以其操作的分辨率上的每个体素的类别指示。这样的类别指示可以例如源自相同的分类的训练体素池136，但是以与接收到的3D数据集被下采样相同的方式被下采样。注意的是，这样的预处理机器学习方法可以有效地被认为是粗略的预分割，具体而言是可能潜在地从整个接收到的3D体素表示(或其大部分)访问信息的预分割。将粗略的预分割信息与接收到的3D图像空间的适用体素配对(例如借助于放大)导致这些3D位置特征与接收到的3D图像数据并行处理，以朝着接收到的3D图像分辨率下的结果。
可以使用各种3D神经网络层来实现预处理网络，这些3D神经网络层诸如卷积层(3D CNN)、3D最大池化层、3D反卷积层(3D反CNN)和密集连接的层。这些层可以使用各种激活函数，诸如线性、tanh、ReLU、PreLU、S型等。3D CNN和反CNN层的滤波器数量、滤波器尺寸和子采样参数可以有所不同。3D CNN和反CNN层以及密集连接的层的参数初始化方法可以有所不同。在整个体系架构中都可以采用退出和/或批归一化层。
遵循3D U网体系架构，在训练期间，3D CNN和3D反CNN层中的各种过滤器学习以编码有意义的特征，这将有助于预测准确性。在训练期间，匹配的3D图像数据集1122和编码的匹配的3D位置特征1160被用于优化从前者对后者的预测。损失函数可以用作要被最小化的测量。通过使用优化器(诸如SGD、Adam等)可以帮助该优化工作。
这样的体系架构可以采用各种内部分辨率标度，从而通过最大池化有效地缩小作为来自先前的3D CNN层集合1124、1128、1132的结果的1126、1130、1134。此处的术语“有意义的特征”是指与确定目标输出值相关的信息的(逐次)求导并且还通过3D反CNN层进行编码，这些层在采用滤波器的同时有效地执行放大。通过将从这样的3D反CNN层1138、1144、1154得到的数据1140、1146、1152与来自以相同分辨率操作的“最后一个”3D CNN层的数据(1132到1140、1128到1146和1124到1152)组合，可以实现高度准确的预测。在整个放大路径中，可以使用额外的3D CNN层1142、1148、1154。
当被用于推断时，通过以使得验证产生足够准确的结果的方式被训练为具有编码的内部参数之后，可以呈现输入样本，并且3D深度学习网络可以产生预测的3D位置特征542。
图12中提供了用于确定手动设计的3D位置特征的参考对象的示例，在这种情况下是近似牙弓的曲线。在这个示例中，轴向(xy)平面中的点云指示强度值较高的区域(明亮的白色区域)可以指示牙齿或颌结构的区域。为了确定牙弓曲线，计算机可以确定图像体积的轴向平面中与明亮的体素(例如，具有高于预定阈值的强度值的体素)相关联的区域，明亮的体素可以被识别为牙齿或颌体素。这些高强度的区域可以被用于确定明亮区域的新月形排列，其接近牙颌面弓。以这种方式，可以确定牙弓曲线，其分别近似上颌和下颌的牙颌面弓的平均值。在另一个实施例中，可以确定与上颌和下颌相关联的分开的牙弓曲线。
图13A-13E描绘了根据本发明各种实施例的3D图像数据的3D位置特征的示例。
图13A描绘了(左)3D图像数据堆栈的矢状平面的切片的图像，以及(右)相同切片的所谓高度特征的相关联的可视化。这种高度特征可以相对于参考平面1302对3D CT图像数据堆栈的图像体积中的每个体素的z位置(高度1304)进行编码。参考平面(例如轴向或xy平面，其被确定为xy平面(的最佳近似))与上颌和下颌及其组成牙齿的距离大致相等。
可以定义其它3D位置特征，以对3D图像数据堆栈的xy空间中的空间信息进行编码。在实施例中，这种位置特征可以基于近似于牙弓(的一部分)的曲线。这种位置特征在图13B中示出，其描绘了(左)来自3D图像数据堆栈的切片，以及(右)针对相同切片的所谓行进特征的可视化。这种行进特征基于近似牙弓的曲线1306并定义沿着该曲线测量的相对距离1308。在此，零距离可以被定义为曲线上的二次多项式的导数为(近似)零的点1310。当从这个点(例如，导数为零的点)在x轴上的任一方向上移动时，行进的距离增加。
基于牙弓曲线的另一个3D位置特征可以定义图像体积中的每个体素到牙弓曲线1306的最短(垂直)距离。因此，这个位置特征可以被称为“距离特征”。在图13C中提供了这种特征的示例，其描绘了(左)来自3D图像数据堆栈的切片，以及(右)对于相同切片的距离特征的可视化。对于这个特征，零距离表示体素位于牙弓曲线1308上。
又一个3D位置特征可以定义各个牙齿的位置信息。图13D中提供了这种特征(也可以被称为牙齿特征)的示例，该图描绘了(左)3D图像数据堆栈中的切片，以及(右)对于相同切片的牙齿特征的可视化。牙齿特征可以提供将被用于确定在体素空间中的某个位置处找到某个牙齿的体素的可能性的信息。在确定的参考平面(诸如1302)之后，这个特征可以在任何平面(例如x-y平面或任何其它平面)的法线上对体素的分离和(separate sum)进行编码。因此，该信息为神经网络提供如在平面法线上求和的原始空间中的所有信息的“视图”。这个视图比不包括这个特征时要处理的视图大，并且可以提供基于所选空间方向上的所有信息来区分是否存在硬质结构(如针对x-y平面的13121,2中所示)的手段。
图13E示出了可以由机器学习预处理器(特别是如关于图10B所描述的3D深度神经网络生成的3D位置特征的可视化。这些3D位置特征以3D方式进行了计算机渲染，并且示出的3D体积是预测的值的阈值化的结果。从定义体积的表面的相对“粗糙度”可以看出，这种网络及其输入和目标数据在比要分割的最终体素表示的3D分辨率低的3D分辨率(在本示例中，采用每个体素1x1x1mm的分辨率)上操作。作为目标，可以使用与对于分割3D深度学习网络可能采用的训练数据相同的训练数据，但会将其下采样到适用的分辨率，使其符合对于此类预处理3D深度神经网络的使用的处理要求。实际上，这导致这样的3D位置特征包含“粗略”的预分割，在这个示例的情况下，是颌1320、牙齿1322和神经1324结构的预分割。为了这个说明的目的，未渲染这个特定患者的下颌，以示出被分类为最有可能是神经结构的一部分的体素。
这种粗略的预分割可以被适当地上采样，例如借助于插值，从而确保每个体素在期望的分割分辨率(原始接收的体素分辨率)下，来自这种预分割的信息在空间上在期望的分辨率下一致。例如，在所示的可视化中来自一个体素的信息在空间上可以与期望分辨率下的5x5x5体素一致，并且这个信息应当与期望分辨率下的所有适用的125个体素配对。之后，这个上采样的信息可以被呈现为3D位置特征集合或包括在3D位置特征集合中，并且如参考图10A和10B所描述的那样被馈送到分割3D深度神经网络中作为输入。
图14A-14D描绘了根据本发明实施例的经训练的深度学习神经网络的输出的示例。特别地，图14A-14D描绘了使用深度学习神经网络分类的体素的3D图像，该深度学习神经网络使用参考图8描述的训练方法来训练。如图14B和14C中所示，可以通过神经网络将体素分类为属于牙齿结构(图14B)、颌结构(图14C)或神经结构(图14D)的体素。图14A描绘了3D图像，包括深度学习神经网络已将其分类为牙齿、颌和神经组织的体素。如图14B-14D所示，分类处理是准确的，但仍有许多体素遗漏或分类错误。例如，如图14B和14C中所示，可能是颌结构的一部分的体素被分类为牙齿体素，而在属于牙齿体素的牙根的表面中被遗漏。如图14D中所示，这个问题在分类神经体素时更加明显。
为了解决分类的体素(形成第一深度学习神经网络的输出)中离群值的问题，可以对体素进行后处理。图15描绘了根据本发明实施例的对3D牙颌面结构的分类的体素进行后处理的流程图。特别地，图15描绘了对使用如参考本申请的图7-14描述的深度学习神经网络分类的牙颌面结构的体素数据进行后处理的流程图。
如图15中所示，该处理可以包括将3D牙颌面结构的分类的体素数据1502划分为被分类为颌体素1504、牙齿体素1506的体素和被分类为神经数据1508的体素的步骤。如将在下文中更详细地描述的，可以使用另外的第二深度学习神经网络1510对颌和牙齿体素进行后处理。与基于图像数据生成最佳可能的体素分类的最初的第一深度学习神经网络(它使用牙颌面结构的3D CT图像数据堆栈和相关联的位置特征作为输入)不同，第二“后处理”深度学习神经网络将第一深度学习神经网络的输出的部分翻译成体素，使得输出更紧密地匹配期望的3D结构。
后处理深度学习神经网络对牙齿和颌的表示进行编码。在训练后处理深度学习神经网络期间，调谐神经网络的参数，使得第一深度学习神经网络的输出被翻译成这些牙颌面结构最可行的3D表示。以这种方式，可以重建1512分类的体素中的缺陷。此外，可以平滑15143D结构的表面，使得可以生成最可行的3D颌模型和牙齿模型。省略3D CT图像数据堆栈作为后处理神经网络的信息源使得这个后处理步骤对于图像堆栈内的不期望的变化是鲁棒的。
由于(CB)CT图像的性质，第一深度学习神经网络的输出将遭受(前面提到的)潜在伪像，诸如由于患者运动、射束硬化等引起的求平均。另一个噪声源是不同CT扫描仪捕获的图像数据的差异。这种差异导致引入多种因素，诸如图像堆栈内的噪声量变化，代表相同(真实世界)密度的体素强度值变化以及可能存在的其它因素。通过后处理深度学习神经网络，可以消除或至少基本上减少上面提到的伪像和噪声源对第一深度学习神经网络的输出的影响，从而导致分割的颌体素和分割的牙齿体素。
分割的牙齿体素可以由可以被认为是任何牙齿的一部分的所有体素组成，因此可以包含牙列中存在的所有牙齿的表示。可以将处理应用于整个牙齿体素集合，以便将牙齿体素分离为属于各个牙齿的体素集合1520。在这样的过程中，连接的体素的区域可以被认为是各个对象，并且可以被划分为各个牙齿的单独表示。
可以连接各个牙齿体素，并且可以采用附加的处理以便将所有体积划分为被认为是各个牙齿。这可以使用来自图像处理和形态学领域的已知方法来完成，特别是通过采用分水岭(watershedding)和侵蚀(erosion)。
更详细地，个体牙齿的预期体积可以被用于迭代地执行多个步骤，直到划分的体素的所有集合都与牙齿的预期体积相匹配。对牙齿体素执行相继的3D侵蚀步骤可以分离先前连接的体素集合。这些(新近)分开的区域的中心的坐标可以被用作(原始)牙齿体素的3D分水岭的起点，这可以在连接时产生单独的体素集合。迭代地执行侵蚀直到体素集合被分开，如上所述执行分水岭，并且检查是否满足最小和最大体积条件，可以产生满足与成为个体牙齿一致的要求的体素集合。
可以与颌和牙齿数据分开地对分类的神经数据1508进行后处理。表示CT图像数据堆栈中的细长细丝结构的神经数据的性质使得这个数据不太适合深度学习神经网络的后处理。代替地，使用插值算法对分类的神经数据进行后处理，以便处理分割的神经数据1516。为此，拟合算法使用被分类为神经体素并且与高概率(例如95％或更高的概率)相关联的体素，以便构建神经结构的3D模型。此后，将3D颌、牙齿和神经模型组合成牙颌面结构的3D模型。
图16描绘了根据本发明实施例的深度学习神经网络的体系架构的示例，该深度学习神经网络被配置为对3D牙颌面结构的分类的体素进行后处理。后处理深度学习神经网络可以具有与第一深度学习神经网络类似的体系架构，包括被配置为在目标的分辨率下处理输入数据(在这种情况下是分类的体素数据的一部分)的第一3D CNN特征层集合1604所形成的第一路径其。深度学习神经网络还包括第二3D CNN特征层集合1606，其被配置为处理由第一3D CNN特征层处理的输入数据的上下文，但是在比目标低的分辨率下。然后将第一和第二3D CNN特征层的输出馈送到全连接的3D CNN层的集合1608的输入，以便重建分类的体素数据，使得它们紧密地表示3D牙颌面结构的3D模型。全连接的3D CNN层的输出提供重建的体素数据。
可以使用与第一深度学习神经网络相同的目标(其表示相同的期望输出)来训练后处理神经网络。在训练期间，通过向输入提供噪声以表示要规范的例外情况，使网络尽可能广泛地适用。后处理深度学习神经网络的本质所固有的是，它执行的处理还会导致从接收到的体素数据中移除不可行的方面。这里的因素包括期望的牙颌面结构的平滑和填充，以及彻底移除不可行的体素数据。
图17A和17B描绘了根据本发明实施例的导致分类的体素的表面重建的后处理网络的迭代。特别地，图17A描绘了牙齿结构的分类的体素的图片，其中体素是第一深度学习神经网络的输出。如图所示，输入数据中的噪声和其它伪像导致体素分类中的不规则性和伪像以及因此在表示牙齿结构的体素集合中包括间隙的3D表面结构。这些不规则和伪像在牙齿的下牙槽神经结构17021和牙齿的牙根结构17041(即，在其中深度学习神经网络必须区分牙齿体素和作为颌骨的一部分的体素的区域)处特别明显。
图17B描绘了根据参考图15和图16描述的处理的后处理的结果。如这个图中所示，后处理深度学习神经网络成功移除了输入数据(分类的体素)中存在的伪像。后处理步骤成功地重建了基本上受不规则性和伪像影响的部分，诸如牙齿的根部结构17041，其现在呈现出提供个体牙齿结构17042的准确3D模型的平滑表面。拟合算法使用高概率神经体素17021(例如，95％或更高的概率)来构建神经结构17022的3D模型。
图18描绘了根据本发明实施例的分布式计算机系统的示意图。分布式计算机系统可以被配置为基于如本申请中所描述的经训练的3D深度学习处理器来处理3D数据并且用于渲染经处理的3D数据。如图18中所示，经训练的3D深度学习处理器可以是分布式系统的一部分，该分布式系统包括网络中的一个或多个服务器1802以及多个终端18101-3，优选地是移动终端，例如台式计算机、膝上型计算机、电子平板等。(经训练的)3D深度学习处理器可以被实现为服务器应用1804、1806。另外，在终端上执行的客户端应用(客户端设备)18121-3可以包括：使用户能够与系统交互的用户接口；以及使客户端设备能够经由例如一个或多个网络1808(例如互联网)与服务器应用通信的网络接口。客户端设备可以被配置为接收输入数据。客户端设备可以将数据传输到服务器应用，服务器应用可以基于本申请中描述的方法和系统来处理数据。经处理的数据可以被发送回客户端设备，并且与客户端设备相关联的渲染引擎18141-3可以使用所得的3D图像数据来渲染3D牙齿模型。在另一个实施例中，可以在客户端侧执行部分或数据处理。例如，本公开中描述的任何预处理和/或后处理可以由客户端设备执行。在另外的实施例中，代替分布式计算机系统，可以使用中央计算机系统来执行本申请中描述的任何处理。
因此，如图18中所示，本发明提供了基于表示牙冠的3D数据来预测牙根形状的全自动流水线。用户可以向系统的输入提供表示牙颌面结构或牙列的3D图像数据，例如(CB)CT 3D数据或口腔内扫描，作为响应，系统将生成(一个或多个)牙根形状以匹配如源数据中表示的牙冠，这可以以不同的图形格式呈现给用户，例如作为3D渲染或作为所显示的图像切片中的标记。输入数据会自动进行优化，以输入到3D深度神经网络，使得3D深度神经网络能够在没有任何人工干预的情况下准确地处理3D图像数据。而且，本发明允许由3D深度神经网络处理器生成的输出的3D渲染，即，包含预测的牙根的全齿。此类可视信息对于牙科护理和牙科报告、正畸、正颌外科、法医、生物识别等领域中的最新牙科应用是必不可少的。
图19是图示本公开中描述的示例性数据处理系统的框图。数据处理系统1900可以包括通过系统总线1906耦合到存储器元件1904的至少一个处理器1902。照此，数据处理系统可以将程序代码存储在存储器元件1904内。另外，处理器1902可以执行经由系统总线1906从存储器元件1904访问的程序代码。一方面，数据处理系统可以被实现为适于存储和/或执行程序代码的计算机。但是，应当理解的是，数据处理系统1900可以以包括能够执行本说明书中描述的功能的处理器和存储器的任何系统的形式来实现。
存储器元件1904可以包括一个或多个物理存储器设备，诸如例如本地存储器1908和一个或多个大容量存储设备1910。本地存储器可以指在程序代码的实际执行期间通常使用的随机存取存储器或(一个或多个)其它非持久性存储器设备。大容量存储设备可以被实现为硬盘驱动器或其它持久性数据存储设备。处理系统1900还可以包括一个或多个高速缓存存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备1910检索程序代码的次数。
被描绘为输入设备1912和输出设备1914的输入/输出(I/O)设备可以可选地耦合到数据处理系统。输入设备的示例可以包括但不限于例如键盘、定点设备(诸如鼠标)等。输出设备的示例可以包括但不限于例如监视器或显示器、扬声器等。输入设备和/或输出设备可以或者直接或者通过中间I/O控制器耦合到数据处理系统。网络适配器1916也可以耦合到数据处理系统，以使其能够通过中间专用或公共网络变得耦合到其它系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：数据接收器，用于接收由所述系统、设备和/或网络传输到所述数据的数据；以及数据发送器，用于将数据传输到所述系统、设备和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统1900一起使用的不同类型的网络适配器的示例。
如图19中所描绘的，存储器元件1904可以存储应用1918。应当认识到的是，数据处理系统2100还可以执行可以促进应用的执行的操作系统(未示出)。以可执行程序代码的形式实现的应用可以由数据处理系统1900(例如由处理器1902)执行。响应于执行应用，数据处理系统可以被配置为执行将在本文中进一步详细描述的一个或多个操作。在一方面，例如，数据处理系统1900可以表示客户端数据处理系统。在那种情况下，应用1918可以表示客户端应用，该客户端应用在被执行时配置数据处理系统1900以执行本文中参考“客户端”描述的各种功能。客户端的示例可以包括但不限于个人计算机、便携式计算机、移动电话等。在另一方面，数据处理系统可以表示服务器。例如，数据处理系统可以表示(HTTP)服务器，在这种情况下，应用1918在被执行时可以配置数据处理系统以执行(HTTP)服务器操作。在另一方面，数据处理系统可以表示本说明书中所参考的模块、单元或功能。
本文使用的术语仅出于描述特定实施例的目的，而无意于限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时指定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。
所附权利要求中的所有装置或步骤加上功能元件的相应结构、材料、动作和等同物旨在包括用于与具体要求保护的其它要求保护的元件组合地执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了本发明的描述，但并不意图是详尽的或将本发明限制到所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是清楚的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并使本领域其他普通技术人员能够理解本发明的具有适于预期的特定用途的各种修改的各种实施例。
图20A至图20D示出了根据本发明实施例的朝着最终用户的3D牙齿模型的可视化的表示。图20A和图20B示出了系统接收到的3D图像数据的切片。这些3D数据可以由CBCT扫描仪分别在冠状平面和矢状平面中生成。这两个图都示出了接收到的数据的整个范围，并且如可以看到的，数据的“顶侧”不包含上颚内存在的完整牙齿。数据的确包含牙齿的牙冠的部分，其可以根据关于系统步骤104所述并在图8至图17中详细描述的方法进行分割，从而得到如图20C所示的牙颌面结构的3D模型表示，更具体而言，各个(在一些情况下为部分)牙齿和颌结构。在使用例如参考图4描述的方法预处理3D数据之后，不完整牙冠模型的体素表示可以被单独地传递到经训练的3D深度神经网络106以获得如图20D中由个体牙冠2004(如源数据中所指示的2002)和预测的个体牙根2006所示的牙根形状预测。
系统可以对于如下自动执行这个过程：被认为是牙冠且不完整的所有个体牙齿实体，例如其可以通过使用已知的信息确定，所述信息考虑完整牙齿(诸如被认为是牙齿(的一部分)的体积的预期最小真实世界维度，以及被认为是牙齿的一部分的表面区域的预期最大变化，该表面区域在与模型相交的平面内，以及区域的变化是由于沿着“上下”(在真实世界坐标系中)轴以设定的步长尺寸迭代地移动法线平面的结果。换句话说，沿着上下轴扫描牙齿(的一部分)的体积会产生体积的任何突然的变化/终止，这指示牙还不完整。
在生成所有适用的牙冠部分的预测之后，后处理器108可以得到如图20D可视化表示的3D图像数据110，从而基于接收到的3D图像数据的牙冠部分为最终用户提供具有预测的牙根部分的完整牙齿。

Claims (15)

1.一种用于自动3D牙根形状预测的计算机实现的方法，包括：
预处理器(104)接收在体素空间中定义的3D数据(102)，体素空间定义3D体积，体素空间包括牙冠的体素表示，并且预处理器(104)处理该体素表示使得它处于与用于训练第一3D深度神经网络(106，210)的体素表示对应的比例、位置和朝向；
预处理器(104)将牙冠的体素表示提供给第一3D深度神经网络(106)的输入，第一3D深度神经网络是基于定义真实牙齿的3D表示的预处理的临床3D数据(202)的训练集训练的，经训练的深度神经网络(106，210)被配置为预测与牙冠对应的牙根的解剖学准确的体素表示(212)或完整牙齿的体素表示(214)；
第一3D深度神经网络(106，210)基于牙冠的体素表示来生成预测的牙根的体素表示(212)或包括预测的牙根的完整牙齿的体素表示(214)，其中预测的牙根或完整牙齿的体素表示的生成包括：
确定第一3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的至少一部分的概率的概率测量；以及
通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分，优选地阈值表示大于0.5的概率。
2.如权利要求1所述的方法，还包括：
后处理器接收由第一3D深度神经网络生成的预测的牙根的体素表示，并且处理3D牙冠和预测的牙根的体素表示，所述处理包括：
将3D牙根和3D牙冠的体素合并到完整3D牙齿的体素表示中；以及可选地
在完整牙齿的3D网格中变换完整3D牙齿的体素表示。
3.如权利要求1或2所述的方法，其中3D数据定义牙列的至少一部分的3D表示，由预处理器进行的处理还包括：
将3D数据分割成至少一个3D数据集，3D数据集表示牙列的牙齿的3D牙冠；以及
将3D数据集变换成牙冠的体素表示，该体素表示与第一3D深度神经网络的输入的体素空间匹配。
4.如权利要求1-3中的任一项所述的方法，其中由预处理器接收的3D数据是由优选地为口腔内光学扫描仪的光学扫描仪生成的3D数据，该3D数据定义表示包括多个牙冠的牙列的至少一部分的3D表面网格，其中由预处理器进行的处理还包括：
将3D网格分割成多个分割的3D网格，其中每个分割的3D网格表示牙列的3D牙冠；
将每个分割的3D表面网格变换成牙冠的体素表示，该体素表示与第一3D深度神经网络的输入的体素空间匹配。
5.如权利要求1-3中的任一项所述的方法，其中由预处理器接收的3D数据是由优选地为CBCT扫描仪的X射线扫描仪生成的，该3D数据定义牙颌面结构的至少一部分的体素表示，牙颌面结构包括牙列的至少一部分的多个牙齿，其中由预处理器进行的处理还包括：
使用第二3D深度神经网络将表示牙颌面结构的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种；第二3D深度神经网络是基于牙颌面结构的3D图像数据、可选地从训练集的3D图像数据导出的一个或多个3D位置特征、以及训练集的3D图像数据的牙颌面结构的部分的一个或多个3D模型训练的，所述一个或多个3D模型在第一深度神经网络的训练期间用作目标；以及
将分类的体素分割成一个或多个3D数据集，所述一个或多个3D数据集中的每一个定义牙颌面结构的牙列中的牙齿的体素表示。
6.如权利要求5所述的方法，其中由预处理器进行的处理还包括：
向第三3D深度神经网络的输入提供牙颌面结构的进一步的体素表示，第三深度神经网络被训练为对于输入处的体素表示的每个体素确定至少一个3D位置特征，3D位置特征包括指示体素表示颌、牙齿和/或神经组织的可能性的测量，其中牙颌面结构的所述进一步的体素表示是牙颌面结构的体素表示的低分辨率版本，优选地所述进一步的体素表示的分辨率至少比第一体素表示的分辨率低三倍，更优选地，第三3D深度神经网络是基于牙颌面结构的3D图像数据和用于训练第二深度神经网络的训练集的3D图像数据的牙颌面结构的部分的所述一个或多个3D模型训练的；
将牙颌面结构的体素表示和一个或多个3D位置特征提供给第二3D深度神经网络，第二3D深度神经网络使用一个或多个位置特征来将体素空间中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种。
7.如权利要求5或6中的任一项所述的方法，其中第二深度神经网络包括多个第一3D卷积层，所述多个第一3D卷积层的输出连接到至少一个全连接的层，其中所述多个第一3D卷积层被配置为处理来自第一体素表示的第一体素块，并且其中所述至少一个全连接的层被配置为将第一体素块的体素分类为颌、牙齿和/或神经体素中的至少一种。
8.如权利要求7所述的方法，其中第二深度神经网络还包括多个第二3D卷积层，所述多个第二3D卷积层的输出连接到所述至少一个全连接的层，其中所述多个第二3D卷积层被配置为处理来自第一体素表示的第二体素块，第一体素块和第二体素块在图像体积中具有相同或基本相同的中心点，并且第二体素块表示的真实世界维度中的体积大于第一体素块的真实世界维度中的体积，所述多个第二3D卷积层被配置为确定与提供给所述多个第一3D卷积层的输入的第一体素块的体素相关联的上下文信息。
9.如权利要求1-8中的任一项所述的方法，其中第一3D深度神经网络包括经由一个或多个密集连接的层连接到多个3D反卷积层的多个3D卷积层，并且其中第一深度神经网络是基于牙冠和相关联的牙根的体素表示或者基于牙冠和相关联的牙齿的体素表示训练的，优选地第一3D深度神经网络至少多个3D卷积层，至少多个3D卷积层被配置为使得从部分得到的导出信息的空间分辨率与输入分辨率相比是减小的，一个或多个层被配置为并行处理从至少多个3D卷积层得到的信息，优选地所述一个或多个层包括一个或多个密集连接的层，并且至少多个3D卷积层被配置为使得整个网络的所得输出的空间分辨率至少是与输入分辨率相同的分辨率，优选地借助于转置卷积；更优选地第一3D深度神经网络具有3D U网类型的深度神经网络体系架构，甚至更优选地体素表示的至少一部分是从表示一个或多个牙颌面结构的分割的3D X射线数据导出的，3D X射线数据优选地为3D CBCT数据。
10.一种用于训练3D深度学习神经网络以生成3D牙根形状的预测的计算机实现的方法，包括：
计算机接收训练数据(200)，训练数据(200)包括临床3D数据(202)，临床3D数据包括牙冠和相关联的牙根的体素表示或者基于牙冠和相关联的牙齿的体素表示，其中体素表示的至少一部分从分割的优选地为3D锥束CT(CBCT)数据的3D X射线数据导出；和/或从光学扫描的完整牙齿导出；
向3D深度神经网络的输入提供牙冠的体素表示(208)，并且3D深度神经网络生成预测的牙根的体素表示；
通过使损失函数最小化来优化3D深度神经网络的一个或多个网络参数的值，该损失函数表示预测的牙根或预测的完整牙齿的体素表示、和与提供给3D深度神经网络的输入的牙冠的体素表示(208)相关联的牙根的体素表示(207)或完整牙齿的体素表示(206)之间的偏差；以及
将优化的值存储在计算机可读存储介质中，优化的值定义经训练的神经网络(210)的一个或多个网络参数，经训练的神经网络(210)被配置为在被提供牙冠的体素表示时，预测与牙冠对应的牙根的解剖学准确的体素表示(212)或完整牙齿的体素表示(214)。
11.如权利要求10所述的方法，其中3D深度神经网络包括经由一个或多个密集连接的层连接到多个3D反卷积层的多个3D卷积层，优选地3D深度神经网络具有3D U网类型的深度神经网络体系架构。
12.一种适于自动预测3D牙根形状的计算机系统，优选地为服务器系统，包括：
其上实施有计算机可读程序代码的计算机可读存储介质，该程序代码包括预处理算法和至少一个经训练的3D深度神经网络；以及耦合到计算机可读存储介质的优选地为微处理器的处理器，其中，响应于执行计算机可读程序代码，处理器被配置为执行包括以下的可执行操作：
预处理器(104)接收在体素空间中定义的3D数据(102)，体素空间定义3D体积，体素空间包括牙冠的体素表示，并且预处理器(104)处理该体素表示使得它处于与用于训练第一3D深度神经网络(106、210)的体素表示对应的比例、位置和朝向；
预处理器(104)将牙冠的体素表示提供给第一3D深度神经网络(106)的输入，第一3D深度神经网络是基于定义真实牙齿的3D表示的预处理的临床3D数据(202)的训练集训练的，经训练的深度神经网络(106、210)被配置为预测与牙冠对应的牙根的解剖学准确的体素表示(212)或完整牙齿的体素表示(214)；
第一3D深度神经网络(106、210)基于牙冠的体素表示来生成预测的牙根的体素表示(212)或包括预测的牙根的完整牙齿的体素表示(214)，其中预测的牙根或完整牙齿的体素表示的生成包括：
确定第一3D深度学习网络的输出的体素空间中的体素的体素激活，每个体素激活表示定义体素是牙根或完整牙齿的一部分的概率的概率测量；以及
通过将体素激活与体素激活阈值进行比较来确定体素激活是否是牙根或完整牙齿的一部分，优选地阈值表示大于0.5的概率。
13.如权利要求1所述的方法，还包括：
后处理器接收由第一3D深度神经网络生成的预测的牙根的体素表示，并且处理3D牙冠和预测的牙根的体素表示，所述处理包括：
将3D牙根和3D牙冠的体素合并到完整3D牙齿的体素表示中；以及可选地
在完整牙齿的3D网格中变换完整3D牙齿的体素表示。
14.一种适于自动预测3D牙根形状的计算机系统，优选地为服务器系统，包括：其上实施有计算机可读程序代码的计算机可读存储介质，该程序代码包括预处理算法和至少一个经训练的3D深度神经网络；以及耦合到计算机可读存储介质的优选地为微处理器的处理器，其中，响应于执行计算机可读程序代码，处理器被配置为执行包括如权利要求1至11中的任一项的可执行操作。
15.一种计算机程序产品，包括软件代码部分，该软件代码部分被配置为当在计算机的存储器中运行时，执行如权利要求1至10中的任一项所述的方法的步骤。
CN201880087754.1A 2017-12-22 2018-12-21 使用深度学习方法的自动3d牙根形状预测 Pending CN111656408A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17210529.8A EP3503038A1 (en) 2017-12-22 2017-12-22 Automated 3d root shape prediction using deep learning methods
EP17210529.8 2017-12-22
PCT/EP2018/086686 WO2019122373A1 (en) 2017-12-22 2018-12-21 Automated 3d root shape prediction using deep learning methods

Publications (1)

Publication Number Publication Date
CN111656408A true CN111656408A (zh) 2020-09-11

Family

ID=60915346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087754.1A Pending CN111656408A (zh) 2017-12-22 2018-12-21 使用深度学习方法的自动3d牙根形状预测

Country Status (10)

Country Link
US (1) US11455774B2 (zh)
EP (2) EP3503038A1 (zh)
JP (1) JP7451406B2 (zh)
KR (1) KR102559819B1 (zh)
CN (1) CN111656408A (zh)
BR (1) BR112020012292A2 (zh)
CA (1) CA3085799A1 (zh)
ES (1) ES2912304T3 (zh)
IL (1) IL275338B1 (zh)
WO (1) WO2019122373A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227977A (zh) * 2020-03-12 2020-06-05 四川大学 一种自动化头影测量系统
CN113397585A (zh) * 2021-07-27 2021-09-17 朱涛 基于口腔cbct和口扫数据的牙体模型生成方法及系统
CN115281709A (zh) * 2022-10-08 2022-11-04 太原理工大学 一种下颌第二磨牙c形根管检测装置及方法
CN116485809A (zh) * 2022-07-01 2023-07-25 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及系统

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3554349A4 (en) 2016-12-19 2020-06-17 Lantos Technologies, Inc. MANUFACTURE OF INFLATABLE MEMBRANES
KR102581685B1 (ko) 2017-06-30 2023-09-25 프로메이톤 홀딩 비.브이. 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3561778A1 (en) 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
DE102018210259A1 (de) * 2018-06-22 2019-12-24 Sirona Dental Systems Gmbh Verfahren zur Konstruktion einer Bohrschablone
US11389131B2 (en) 2018-06-27 2022-07-19 Denti.Ai Technology Inc. Systems and methods for processing of dental images
CN109493417B (zh) * 2018-10-31 2023-04-07 深圳大学 三维物体重建方法、装置、设备和存储介质
EP3928290A1 (en) * 2019-02-21 2021-12-29 Case Western Reserve University Processing three-dimensional (3d) ultrasound images
US11961235B2 (en) * 2019-03-25 2024-04-16 Bonewise Inc. Apparatus, method and recording medium storing instructions for determining bone age of teeth
CN114302690A (zh) * 2019-03-26 2022-04-08 克维斯托姆公司 用于正畸治疗计划的方法和系统
US11030742B2 (en) * 2019-03-29 2021-06-08 GE Precision Healthcare LLC Systems and methods to facilitate review of liver tumor cases
US11348237B2 (en) * 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features
US11311247B2 (en) * 2019-06-27 2022-04-26 Retrace Labs System and methods for restorative dentistry treatment planning using adversarial learning
US11357604B2 (en) * 2020-05-15 2022-06-14 Retrace Labs Artificial intelligence platform for determining dental readiness
US11276151B2 (en) 2019-06-27 2022-03-15 Retrace Labs Inpainting dental images with missing anatomy
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11366985B2 (en) * 2020-05-15 2022-06-21 Retrace Labs Dental image quality prediction platform using domain specific artificial intelligence
US11367188B2 (en) * 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks
US11893718B2 (en) * 2019-07-12 2024-02-06 Murata Machinery, Ltd. Image recognition method and image recognition device
US11676701B2 (en) 2019-09-05 2023-06-13 Pearl Inc. Systems and methods for automated medical image analysis
EP4026088A1 (en) * 2019-09-05 2022-07-13 Pearl Inc. Automated medical image annotation and analysis
US10984529B2 (en) 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
CN110675488B (zh) * 2019-09-24 2023-02-28 电子科技大学 基于深度学习的创意三维体素模型的建模系统的构建方法
US11055789B1 (en) 2020-01-17 2021-07-06 Pearl Inc. Systems and methods for insurance fraud detection
US11481974B2 (en) * 2020-01-22 2022-10-25 Vntana, Inc. Mesh optimization for computer graphics
US12106848B2 (en) 2020-01-24 2024-10-01 Overjet, Inc. Systems and methods for integrity analysis of clinical data
US11963846B2 (en) 2020-01-24 2024-04-23 Overjet, Inc. Systems and methods for integrity analysis of clinical data
US20230061863A1 (en) * 2020-01-31 2023-03-02 The General Hospital Corporation Systems and methods for artifact reduction in tomosynthesis with multi-scale deep learning image processing
KR102344521B1 (ko) * 2020-02-05 2021-12-29 오스템임플란트 주식회사 진단 및 진료계획 수립 방법 및 이를 위한 3차원 치과영상 제공장치
KR102361406B1 (ko) * 2020-03-18 2022-02-11 오스템임플란트 주식회사 가상 치근 병합 방법 및 장치
CN113538437A (zh) * 2020-04-21 2021-10-22 宁波深莱医疗科技有限公司 牙颌三维数字模型分割结果的检测方法
WO2021240290A1 (en) * 2020-05-26 2021-12-02 3M Innovative Properties Company Neural network-based generation and placement of tooth restoration dental appliances
US11026767B1 (en) 2020-07-23 2021-06-08 Oxilio Ltd Systems and methods for planning an orthodontic treatment
CN111862171B (zh) * 2020-08-04 2021-04-13 万申(北京)科技有限公司 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法
US20240008955A1 (en) * 2020-12-11 2024-01-11 3M Innovative Properties Company Automated Processing of Dental Scans Using Geometric Deep Learning
KR102510221B1 (ko) * 2020-12-24 2023-03-15 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
US11776677B2 (en) 2021-01-06 2023-10-03 Pearl Inc. Computer vision-based analysis of provider data
KR102591665B1 (ko) * 2021-02-17 2023-10-18 연세대학교 산학협력단 인공 신경망을 이용한 ct 영상 보정 장치 및 방법
CN112927358A (zh) * 2021-03-10 2021-06-08 杭州美齐科技有限公司 一种基于多模态数据配准的自动化完整牙齿重建方法
US20220318989A1 (en) * 2021-03-31 2022-10-06 James R. Glidewell Dental Ceramics, Inc. Automatic Clean Up of Jaw Scans
CN113112477B (zh) * 2021-04-15 2023-04-07 中山大学附属口腔医院 一种基于人工智能的前牙即刻种植测量分析方法
GB202107492D0 (en) * 2021-05-26 2021-07-07 Vitaware Ltd Image processing method
KR102641953B1 (ko) * 2021-06-22 2024-02-28 주식회사 쓰리디산업영상 치아 영상을 위한 치아 분할 장치 및 방법
KR102521777B1 (ko) * 2021-07-02 2023-04-14 고려대학교 산학협력단 이미지 처리 방법
CN113570709B (zh) * 2021-08-05 2024-05-10 杭州隐捷适生物科技有限公司 一种基于八叉树结构的3d牙齿分割方法
JP2023068275A (ja) * 2021-11-02 2023-05-17 株式会社モリタ製作所 データ処理装置、データ処理方法、およびプログラム
JP7284798B2 (ja) * 2021-11-05 2023-05-31 エンコアードジャパン株式会社 デバイス制御システム及びデバイス制御方法
CN114896873B (zh) * 2022-04-26 2023-04-07 盐城工学院 基于卷积神经网络的行波超声电机寿命预测方法及系统
US20230412849A1 (en) * 2022-06-21 2023-12-21 Tencent America LLC Mesh vertex displacements coding
CN115054390B (zh) * 2022-07-20 2024-03-15 北京大学口腔医学院 基于机器学习的扭矩模型指导种植窝洞个性化制备方法
US11701204B1 (en) 2022-11-04 2023-07-18 Oxilio Ltd Systems and methods for planning an orthodontic treatment
WO2024127304A1 (en) * 2022-12-14 2024-06-20 3M Innovative Properties Company Transformers for final setups and intermediate staging in clear tray aligners
CN115830034B (zh) * 2023-02-24 2023-05-09 淄博市中心医院 一种用于口腔健康管理的数据分析系统
CN116543914A (zh) * 2023-05-12 2023-08-04 广州医科大学附属口腔医院（广州医科大学羊城医院） 基于cbct图像评估第二磨牙牙根吸收程度的模型构建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220742A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
CN103391747A (zh) * 2011-02-22 2013-11-13 3M创新有限公司 3d数据采集中的空间雕刻
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
US20170169562A1 (en) * 2015-12-10 2017-06-15 3M Innovative Properties Company Method for automatic tooth type recognition from 3d scans
US20170258420A1 (en) * 2014-05-22 2017-09-14 Carestream Health, Inc. Method for 3-D Cephalometric Analysis
CN107220506A (zh) * 2017-06-05 2017-09-29 东华大学 基于深度卷积神经网络的乳腺癌风险评估分析系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721387B1 (en) 2001-06-13 2004-04-13 Analogic Corporation Method of and system for reducing metal artifacts in images generated by x-ray scanning devices
JP2007520300A (ja) 2004-02-05 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボクセル組織クラスを分散するｃｔにおける高減衰オブジェクトにより生じる画像全体のアーティファクトの縮小
US9492245B2 (en) 2004-02-27 2016-11-15 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
US7711406B2 (en) 2005-11-23 2010-05-04 General Electric Company System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging
US7844429B2 (en) 2006-07-19 2010-11-30 Align Technology, Inc. System and method for three-dimensional complete tooth modeling
WO2009027889A2 (en) 2007-08-31 2009-03-05 Koninklijke Philips Electronics N.V. Uncertainty maps for segmentation in the presence of metal artifacts
US8439672B2 (en) 2008-01-29 2013-05-14 Align Technology, Inc. Method and system for optimizing dental aligner geometry
US8108189B2 (en) 2008-03-25 2012-01-31 Align Technologies, Inc. Reconstruction of non-visible part of tooth
US8503750B2 (en) 2009-10-06 2013-08-06 General Electric Company Method and apparatus for reduction of metal artifacts in CT images
JP5820467B2 (ja) * 2010-04-20 2015-11-24 イメージング・サイエンシィズ・インターナショナル・エルエルシー 表面走査情報を用いることによる歯科用３次元ｘ線データセットからのアーチファクトの低減及び除去
JP5926728B2 (ja) 2010-07-26 2016-05-25 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
DE102012206714A1 (de) 2011-08-10 2013-02-14 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen
US9135498B2 (en) 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140227655A1 (en) * 2013-02-12 2014-08-14 Ormco Corporation Integration of model data, surface data, and volumetric data
US9349198B2 (en) 2013-07-26 2016-05-24 General Electric Company Robust artifact reduction in image reconstruction
DK3139855T3 (da) 2014-05-09 2022-02-07 3Shape As Scanning af tandløse patienter
DE102014007095A1 (de) 2014-05-14 2015-11-19 Universität Zu Lübeck Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern
US9934597B2 (en) 2014-09-11 2018-04-03 Carestream Health, Inc. Metal artifacts reduction in cone beam reconstruction
US9655580B2 (en) 2014-10-24 2017-05-23 General Electric Company Systems and methods for metal artifact reduction
WO2016143022A1 (ja) 2015-03-09 2016-09-15 富士通株式会社 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法
US9498179B1 (en) 2015-05-07 2016-11-22 General Electric Company Methods and systems for metal artifact reduction in spectral CT imaging
US10013779B2 (en) 2015-06-22 2018-07-03 Toshiba Medical Systems Corporation Metal artifact reduction for 3D-digtial subtraction angiography
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
CN110688891B (zh) 2015-08-15 2024-05-31 硕动力公司 采用3d批归一化的三维（3d）卷积
DE102016204226A1 (de) 2016-03-15 2017-09-21 Siemens Healthcare Gmbh Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern
JP6780948B2 (ja) 2016-03-28 2020-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
CN109310488B (zh) 2016-06-21 2021-09-28 诺贝尔生物服务公司 用于估计牙齿修复体的形状、位置以及取向中的至少一个的方法
WO2018022752A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
WO2018037318A1 (en) 2016-08-22 2018-03-01 Kolibree SAS Oral hygiene system for compliance monitoring and tele-dentistry system
US20200022790A1 (en) * 2016-10-10 2020-01-23 3Shape A/S Common Placement Support for Artificial Teeth
CN106618760B (zh) 2016-12-07 2019-11-08 上海牙典医疗器械有限公司 一种设计正畸矫治方案的方法
CN108205806B (zh) 2016-12-20 2020-10-09 北京大学 一种锥束ct图像三维颅面结构的自动解析方法
WO2018122557A2 (en) 2016-12-30 2018-07-05 Carestream Dental Technology Topco Limited Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution
US10758322B2 (en) * 2017-03-20 2020-09-01 Align Technology, Inc. Virtually representing an orthodontic treatment outcome using automated detection of facial and dental reference objects
KR102581685B1 (ko) 2017-06-30 2023-09-25 프로메이톤 홀딩 비.브이. 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링
FR3069355B1 (fr) * 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
FR3069359B1 (fr) * 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US11120551B2 (en) 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
CN108305684A (zh) 2018-02-28 2018-07-20 成都贝施美医疗科技股份有限公司 正畸治疗模拟方法、装置及终端设备
EP3561778A1 (en) 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
CN110473283B (zh) * 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
EP3591616A1 (en) 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
EP3620130A1 (en) 2018-09-04 2020-03-11 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
EP3671531A1 (en) 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
EP3767521A1 (en) 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
US10932890B1 (en) * 2019-11-14 2021-03-02 Pearl Inc. Enhanced techniques for determination of dental margins in intraoral scans

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220742A (ja) * 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
CN103391747A (zh) * 2011-02-22 2013-11-13 3M创新有限公司 3d数据采集中的空间雕刻
US20170258420A1 (en) * 2014-05-22 2017-09-14 Carestream Health, Inc. Method for 3-D Cephalometric Analysis
US20170169562A1 (en) * 2015-12-10 2017-06-15 3M Innovative Properties Company Method for automatic tooth type recognition from 3d scans
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107220506A (zh) * 2017-06-05 2017-09-29 东华大学 基于深度卷积神经网络的乳腺癌风险评估分析系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227977A (zh) * 2020-03-12 2020-06-05 四川大学 一种自动化头影测量系统
CN113397585A (zh) * 2021-07-27 2021-09-17 朱涛 基于口腔cbct和口扫数据的牙体模型生成方法及系统
CN113397585B (zh) * 2021-07-27 2022-08-05 朱涛 基于口腔cbct和口扫数据的牙体模型生成方法及系统
CN116485809A (zh) * 2022-07-01 2023-07-25 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN116485809B (zh) * 2022-07-01 2023-12-15 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN115281709A (zh) * 2022-10-08 2022-11-04 太原理工大学 一种下颌第二磨牙c形根管检测装置及方法
CN115281709B (zh) * 2022-10-08 2022-12-27 太原理工大学 一种下颌第二磨牙c形根管检测装置及方法

Also Published As

Publication number Publication date
JP7451406B2 (ja) 2024-03-18
KR20200108851A (ko) 2020-09-21
JP2021508114A (ja) 2021-02-25
CA3085799A1 (en) 2019-06-27
BR112020012292A2 (pt) 2020-11-24
EP3729380B8 (en) 2022-03-23
EP3729380B1 (en) 2022-02-09
EP3503038A1 (en) 2019-06-26
KR102559819B1 (ko) 2023-07-26
EP3729380A1 (en) 2020-10-28
IL275338A (en) 2020-07-30
ES2912304T3 (es) 2022-05-25
US20210082184A1 (en) 2021-03-18
IL275338B1 (en) 2024-08-01
WO2019122373A1 (en) 2019-06-27
US11455774B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
JP7451406B2 (ja) 深層学習法を使用する自動３ｄ歯根形状予測
JP7412334B2 (ja) 深層学習法を使用する３ｄ歯データの自動分類および分類法
CN110998602B (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
JP7493464B2 (ja) ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN111328397B (zh) 使用深度学习方法对3d牙齿数据进行自动分类和归类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination