CN111328397A - 使用深度学习方法对3d牙齿数据进行自动分类和归类 - Google Patents

Abstract

本发明涉及一种用于牙齿的3D图像数据的自动分类的计算机实现的方法，包括：计算机接收3D数据集中的一个或多个，3D数据集定义体素的图像体积，体素表示图像体积内的3D牙齿结构，图像体积与3D坐标系相关联；计算机对每个3D图像数据集进行预处理；以及计算机将每个经预处理的3D图像数据集提供给经训练的深度神经网络的输入并且经训练的深度神经网络基于牙列的多个候选牙齿标签对3D图像数据集中的每个体素进行分类，其中对3D图像数据集进行分类包括为3D图像数据集的体素的至少一部分生成候选牙齿标签激活值，与候选牙齿标签相关联的激活值定义标记的数据点表示如该候选牙齿标签指示的牙齿类型的可能性。

Description

使用深度学习方法对3D牙齿数据进行自动分类和归类

技术领域

本发明涉及使用深度学习方法的3D牙齿数据的自动定位、分类和归类，并且特别地但非排他地涉及用于使用深度学习方法的3D牙齿数据的自动定位、分类和归类的系统和方法、用于训练这种深度学习神经网络的方法，以及用于使用这种方法的计算机程序产品。

背景技术

牙齿类型和牙齿排列的可靠识别在广泛的应用(包括(但不限于)牙齿护理和牙齿报告、正畸、正颌外科、取证和生物识别)中起着非常重要的作用。因此，已经开发出各种计算机辅助技术以根据已知的牙齿标记方案来使牙齿的分类和编号过程自动化或至少部分自动化。此外，在此类应用领域中，可靠地对牙齿进行分类和归类所需的时间的任何减少都将是有益的。

为了本公开的目的，“牙齿”是指包括冠部和根部的整个牙齿，

“(多个)牙齿”是指由两个或更多个牙齿组成的任何牙齿集合，而源自单个人的牙齿的集合将被称为源自“牙列”。牙列可能不一定包含个人的牙齿的整个集合。另外，“分类”是指识别观察或样本属于类别集合中的哪一个。就牙齿归类而言，分类是指识别单个牙齿属于哪个类别(或标签)的过程。“归类”是指从单个牙列推导所有个体牙齿的牙齿类的过程，而3D牙齿数据是指任何(集合的)牙齿的任何数字表示，例如填充的体积的3D体素(voxel)表示、体积中的密度、3D表面网格等。另外，表示牙列的3D牙齿数据可以或者包括牙齿的完整集合，或者包括完整集合的一部分。除非另有说明，否则在本申请中，术语“分割”是指语义分割，它是指针对每个体素的密集预测，以便输入空间的每个体素都标记有特定的对象类。与涉及找到区域边界的边界框分割相反，语义分割在输入数据空间内产生语义上可解释的3D掩模。

例如，US2017/0169562描述了一种基于口腔内光学3D扫描的自动牙齿类型识别的系统。这种口腔内光学扫描仪能够生成牙齿的暴露部分(即，牙齿的冠部)的3D扫描。每个冠部的形状都得自3D扫描，并以3D网格的形式表示，包括面和顶点。这些3D网格随后被用于确定每个牙齿的聚合特征。然后，将由此获得的聚合特征和关联的牙齿类型用作训练数据，以利用传统的机器学习方法(诸如支持向量机或决策树)对分类器进行训练。

虽然这个系统能够将高分辨率的口腔内3D扫描作为输入数据进行处理，但它无法处理使用锥形束计算机断层扫描(CBCT)生成的体积牙颌面图像。CBCT是一种使用X射线计算的断层摄影术的医学成像技术，其中X射线辐射被整形为低剂量的发散锥。CBCT成像是牙科领域最常用的3D成像技术，并且生成牙颌面结构的3D图像数据，该结构可以包括颌骨(的部分)、包括冠部和根部的完整或部分牙齿结构以及下牙槽神经(的部分)。但是，对CBCT图像数据的图像分析提出了一个实质性的问题，因为在CBCT扫描中，以亨氏单位(HounsfieldUnits)(HU)测得的无线电密度不一致，这是因为扫描中的不同区域以不同的灰度值出现，具体取决于它们在被扫描的器官中的相对位置。用CBCT和医学级CT扫描仪两者从同一解剖区域测得的HU不是完全相同的，因此对于确定特定于部位的射线照相识别的骨密度是不可靠的。

而且，用于扫描牙颌面结构的CBCT系统没有采用标准化的系统来缩放表示重建的密度值的灰度级。这些值是任意的，并且不允许例如评估骨质量。在没有这样的标准化的情况下，难以解释灰度级或不可能比较从不同机器产生的值。而且，牙齿根部和颌骨结构具有相似的密度，使得计算机难以例如区分属于牙齿的体素与属于颌骨的体素。此外，CBCT系统对所谓的射束硬化非常敏感，该硬化会在两个高衰减物体(诸如金属或骨骼)之间产生深色条纹，周围有明亮的条纹。上面提到的问题使得牙颌面结构的全自动分割和分割后的牙齿结构的分类(更普遍地，从3D CBCT图像数据导出的3D牙齿数据的自动归类)尤其具有挑战性。

例如，Computers in Biology and Medicine 80(2017)，第24-29页上Miki等人的文章“Classification of teeth in cone-beam CT using deep convolutional neuralnetwork”中对这个问题进行了讨论和说明。在这个文章中，描述了一种2D深度卷积神经网络系统，该系统经过训练，以将牙齿的2D CBCT边界框分割分类为七种不同的牙齿类型。如这个文章中所述，由于与CBCT图像数据分析相关的问题，需要对训练数据和测试数据进行手动预处理，包括从轴向2D切片中手动选择封住牙齿的感兴趣区域(边界框)以及省略包括金属伪像的ROI。

Miki等人在他们的文章中可以建议使用3D CNN层代替2D CNN层来提高准确性。但是，采用相同的神经网络体系架构原理，将其转换成3D变体将导致在适用的正交方向上折衷数据的粒度，特别是最大分辨率(例如，作为2D像素或3D体素的每个数据点表示的mm)。考虑到计算要求，特别是处理所需的存储器带宽，与2D轴向切片的2D边界框可能的分辨率相比，此类3D边界框体素的分辨率要低得多。因此，由于基于合理的计算负荷处理体素所必需的图像的下采样，实际上将由于移除信息而降低信息对于包含牙齿的整个3D体积可用的好处。尤其是在3D CBCT数据的麻烦的区域中，诸如例如个体牙齿之间或骨骼与牙齿之间的过渡，这会对每个牙齿的足够准确的分类结果产生负面影响。

在Miki等人先前讨论的文章考虑基于手动边界框分割的自动分类的地方，自动边界框分割(因此牙齿定位和全自动分类的可能性)在同一作者(Miki等人)后来在Progressin Biomedical Optics and Imaging 10134(2017)第101343E-1-10134E-6页发表的文章“Tooth labelling in cone-beam CT using deep convolutional neural network forforensic identification”中也提到了。在这个文章中，再次在CBCT扫描的轴向切片的2D域中，对卷积神经网络进行训练，并利用其产生热图，该热图指示每个像素属于牙齿区域的可能性。过滤这个热图，并通过非最大抑制方法选择包含牙齿的2D边界框。正和负示例边界框被用于训练卷积神经网络，如其第一个讨论的文章中所引用的那样，并且评估经训练的网络。再次，当尝试使这种方法适用于3D图像数据时，需要考虑与上述相同的注意事项。将相同的神经网络体系架构原理转换到用于生成3D热图的3D CNN将导致相当长的处理时间。此外，在这种情况下，为了应对带宽限制，下采样的必要性也将对分割和分类性能产生负面影响。

因此，尝试将Miki等人描述的2D情况外推到3D情况将导致几乎所有情况下边界框(体素)的准确性低于从原始输入数据集的分辨率可能得到的准确性，由此显著降低了准确预测作为牙齿区域一部分的像素的置信度(例如，作为包含颚骨的切片的一部分、但偶尔“看起来像”牙齿的像素可能以高置信度被错误地归因为牙齿)。低分辨率将对分类结果的准确性产生特别的后果。网络几乎没有接收到考虑到邻近的牙齿、组织、骨骼结构等的信息。这样的信息不仅对确定Miki等人研究的七类牙齿有很高的价值，而且考虑到成人的健康牙列中可能存在的所有32种单独牙齿类型，还将产生更高的分类准确性潜力。

此外，在接收到的3D图像中仅部分存在牙齿的情况下，如在牙齿的部分超出扫描设备的视场的象限的CBCT扫描的情况下常常发生的那样，网络已经在包含完整牙齿的图像上进行了训练的事实将再次不利于牙齿区域的识别和牙齿的分类。

上面提到的问题使得能够在某些计算约束内对3D牙齿数据进行全自动定位、分类和归类的系统的实现非常具有挑战性，尤其是如果3D牙齿数据的自动归类基于体积3DCBCT数据的话。

因此，在本领域中需要适合于将3D牙齿数据(特别是从异构体积3D CBCT图像数据导出的3D牙齿数据)的集合准确地定位、分类和归类为各个牙齿类型的计算机系统。特别地，本领域中需要如下计算机系统，所述计算机系统适于将3D牙齿数据准确、及时地定位、分类和归类为牙齿类型，转换成数据结构，该数据结构将以3D表示牙齿的数据集链接到与成人的32个可能牙齿对应的对象。

发明内容

如本领域技术人员将认识到的，本发明的各方面可以实施为系统、方法或计算机程序产品。因而，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些方面通常在本文中都可以被称为“电路”、“模块”或“系统”。在本公开中描述的功能可以被实现为由计算机的微处理器执行的算法，此外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，在计算机可读介质上实施(例如，存储)有计算机可读程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备，或前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，该传播的数据信号具有实施在其中的计算机可读程序代码。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质的任何计算机可读介质，并且可以传送、传播或运输供指令执行系统、装置或设备使用或与其结合使用的程序。

可以使用任何适当的介质来传输实施在计算机可读介质上的程序代码，包括但不限于无线、有线、光纤、电缆、RF等，或者前述的任何合适的组合。可以用一种或多种编程语言的任何组合来编写用于执行本发明各方面的操作的计算机程序代码，包括诸如Java(TM)、Scala、C++、Python等的面向功能或对象的编程语言，以及常规的过程编程语言(诸如“C”编程语言或类似的编程语言)。程序代码可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上并且部分在远程计算机上，或者完全在远程计算机、服务器或虚拟服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如通过使用互联网服务提供商的互联网)。

下面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本发明的各方面。将理解的是，流程图图示和/或框图的每个方框以及流程图图示和/或框图中的方框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，特别是微处理器或中央处理单元(CPU)或图形处理单元(GPU)，以产生机器，使得经由计算机、其它可编程数据处理装置或其它设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的手段。

这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指导计算机、其它可编程数据处理装置或其它设备以特定方式运行，从而使存储在计算机可读介质中的指令产生制品，该制品包括实现流程图和/或框图的一个或多个方框中指定的功能/动作的指令。

也可以将计算机程序指令加载到计算机、其它可编程数据处理装置或其它设备上，以使一系列操作步骤在计算机、其它可编程装备或其它设备上执行以产生计算机实现的过程，从而使在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的过程。

附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示代码的模块、片段或部分，其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。还应当注意的是，在一些替代实施方式中，方框中指出的功能可以不按图中指出的次序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个方框，或者有时可以以相反的次序执行这些方框。还应该注意的是，框图和/或流程图图示的每个方框以及框图和/或流程图图示中的方框的组合可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。

在第一方面，本发明可以涉及一种用于处理表示牙颌面结构的3D数据的计算机实现的方法。该方法可以包括：计算机接收3D数据，优选地是3D锥束CT(CBCT)数据，该3D数据包括牙颌面结构的体素表示，牙颌面结构包括牙列，体素至少与辐射强度值相关联，体素表示的体素定义图像体积；计算机将体素表示提供给第一3D深度神经网络的输入，该3D深度神经网络被训练为将体素表示的体素分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；第一深度神经网络包括定义第一卷积路径的多个第一3D卷积层以及定义平行于第一卷积路径的第二卷积路径的多个第二3D卷积层，第一卷积路径被配置为在其输入处接收体素表示的第一体素块并且第二卷积路径被配置为在其输入处接收体素表示的第二体素块，第一和第二体素块在图像体积中具有相同或基本相同的中心点，并且第二体素块表示的现实世界维度中的体积大于第一体素块的现实世界维度中的体积，第二卷积路径确定第一体素块的体素的上下文信息；第一和第二卷积路径的输出连接到至少一个全连接层，全连接层用于将第一体素块的体素分类为一个或多个牙齿类；以及计算机从第一3D深度神经网络的输出接收牙颌面结构的体素表示的分类的体素。

考虑到现代硬件的限制，通过采用这种3D神经网络体系架构，可以以适当的比例使用尽可能多的与问题相关的信息来训练和推断单个牙齿分类。它不仅兼顾牙齿结构的定位(在接收到的3D数据的原始分辨率下产生语义分割)和这种结构的分类(对成人的健康牙列中可能唯一存在的每个牙齿进行唯一分类)的高性能，而且还由于其能够并行处理多个输出体素的能力而在考虑所需的持续时间方面也表现出色。由于将样本提供给3D深度神经网络的性质，还可以对仅部分存在于扫描中的牙齿进行分类。

在实施例中，第二体素块的体积可以大于第一体素块的体积，第二体素块表示第一体素块的下采样版本，优选地，下采样因子是在20和2之间选择的，更优选地在10和3之间。

在实施例中，该方法还可以包括：计算机基于分类的体素确定牙颌面结构的单个牙齿的一个或多个体素表示；计算机向第二3D深度神经网络的输入提供单个牙齿的一个或多个体素表示中的每一个，该第二3D深度神经网络被训练为将单个牙齿的体素表示分类为牙列的多个牙齿类之一，每个牙齿类与候选牙齿类标签相关联，经训练的第二3D神经网络为候选牙齿类标签中的每一个生成激活值，与候选牙齿类标签相关联的激活值定义单个牙齿的体素表示表示由该候选牙齿类标签指示的牙齿类的可能性。

在实施例中，该方法还可以包括：

确定牙列的归类，包括：定义候选牙列状态，通过基于激活值向单个牙齿的多个体素表示中的每一个指派候选牙齿类标签来形成每个候选状态；以及基于一个或多个条件评估候选牙列状态，一个或多个条件中的至少一个要求不同的候选牙齿类标签指派单个牙齿的不同体素表示。

在实施例中，该方法还可以包括：计算机使用预处理算法来确定牙颌面结构的3D位置特征信息，该3D位置特征信息为每个体素在体素表示中定义与体素在图像体积中相对于牙齿参考对象(例如，颌、牙弓和/或一个或多个牙齿)的位置的位置有关的信息；以及在将3D数据提供给第一深度神经网络的输入之前，计算机将3D位置特征信息添加到3D数据，所添加的3D位置特征信息为3D数据提供附加数据通道。

在实施例中，该方法还可以包括：计算机基于经训练的第三神经网络对由第一3D深度神经网络分类的体素进行后处理，第三深度神经网络被训练为在其输入处接收由第一深度神经网络分类的体素并校正被第一深度神经网络不正确分类的体素，优选地，第三神经网络基于在训练第一深度神经网络期间被分类的体素作为输入、并基于训练集的3D图像数据的牙颌面结构的部分的一个或多个3D数据集作为目标来进行训练。

在另一方面，本发明涉及一种用于训练深度神经网络系统以处理牙颌面结构的3D图像数据的方法。该方法可以包括计算机接收训练数据，该训练数据包括：3D输入数据，优选地是3D锥束CT(CBCT)图像数据，该3D输入数据分别定义一个或多个牙颌面结构的一个或多个体素表示，体素与辐射强度值相关联，体素表示的体素定义图像体积；以及训练数据还包括：由训练数据的3D输入数据表示的牙颌面结构的部分的3D数据集；计算机使用预处理算法来确定牙颌面结构的3D位置特征信息，该3D位置特征信息为每个体素在体素表示中定义与体素在图像体积中相对于牙齿参考对象(例如，颌、牙弓和/或一个或多个牙齿)的位置的位置有关的信息；以及使用训练数据和一个或多个3D位置特征来训练第一深度神经网络，以将体素分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类。

在实施例中，该方法还可以包括：使用在训练第一深度神经网络期间分类的体素和训练集的3D图像数据的牙颌面结构的部分的一个或多个3D数据集来训练第二神经网络，以对由第一深度神经网络分类的体素进行后处理，其中由第三神经网络进行的后处理包括校正被第一深度神经网络不正确分类的体素。

在实施例中，该方法可以包括：使用作为要用作训练至少第一深度神经网络的目标的单个牙齿的体素表示的3D数据集，从用作第一深度神经网络的训练输入的至少3D图像数据中选择体素的子集，该子集被用作训练第三深度神经网络的输入；以及使用与用作训练至少第一深度神经网络的目标的3D数据集相关联的牙齿类标签作为用于训练第三深度神经网络的目标牙齿类标签。

在一方面，方法可以涉及适于自动地对牙齿的3D图像数据进行分类的计算机系统，优选地是服务器系统，该计算机系统包括：计算机可读存储介质，其上实施有计算机可读程序代码，该程序代码包括分类算法和深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；经训练的深度神经网络在其输入处接收3D图像数据并将图像体积中的体素的至少一部分分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类。

在一方面，本发明可以涉及适于自动归类牙齿的3D图像数据的计算机系统，优选地是服务器系统，该计算机系统包括：计算机可读存储介质，其上实施有计算机可读程序代码，该程序代码包括归类算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；经训练的深度神经网络在其输入处接收3D图像数据并将图像体积中的体素的至少一部分分类为至少一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；以及确定牙列的归类包括定义候选牙列状态，通过基于激活值向多个3D图像数据集中的每一个指派候选标签来形成每个候选状态；以及基于一个或多个条件来评估候选状态，一个或多个条件中的至少一个要求不同的候选牙齿标签指派不同的3D图像数据集。

在一方面，本发明可以涉及适于自动归类牙齿的3D图像数据的计算机系统，优选地是服务器系统，包括：计算机可读存储介质，其上实施有计算机可读程序代码，该程序代码包括归类算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；经训练的第一深度神经网络在其输入处接收3D图像数据并将图像体积中的体素的至少一部分分类为至少一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；经训练的第二深度神经网络接收经训练的第一深度神经网络的结果，并将接收到的体素表示的每个个体牙齿的子集分类为牙齿类的各个标签；以及确定牙列的归类包括定义候选牙列状态，通过基于激活值将候选标签指派给多个3D图像数据集中的每一个来形成每个候选状态；以及基于一个或多个条件来评估候选状态，一个或多个条件中的至少一个要求不同的候选牙齿类标签指派不同的3D图像数据集。

在一方面，本发明涉及适于与服务器系统通信的客户端装置，优选地是移动客户端装置，该服务器系统适于根据权利要求10-12自动归类牙齿的3D图像数据，该客户端装置包括：计算机可读存储介质，具有实施在其上的计算机可读程序代码；以及耦合到计算机可读存储介质并耦合到显示装置的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：传输3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；请求服务器系统对牙齿的3D图像数据进行分割、分类和归类；接收多个3D图像数据集，每个3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型；多个3D图像数据集形成牙列；接收与一个或多个3D图像数据集相关联的一个或多个牙齿类标签；以及在显示器上渲染一个或多个3D图像数据集和相关联的一个或多个牙齿类标签。

在一方面，本发明涉及用于对牙齿的3D图像数据进行自动分类的计算机实现的方法，该方法包括：计算机接收一个或多个3D图像数据集，3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型，图像体积与3D坐标系相关联；计算机对每个3D图像数据集进行预处理，该预处理包括基于牙齿的形态(优选地是牙齿的3D形状和/或3D形状的切片)在图像体积中定位和定向每个3D牙齿模型；以及计算机将每个经预处理的3D图像数据集提供给经训练的深度神经网络的输入，并且经训练的深度神经网络基于牙列的多个候选牙齿标签对每个经预处理的3D图像数据集进行分类，其中对3D图像数据集进行分类包括为每个候选牙齿标签生成激活值，与候选牙齿标签相关联的激活值定义3D图像数据集表示由该候选牙齿标签指示的牙齿类型的可能性。

在实施例中，预处理还包括：确定3D牙齿模型的纵轴部分并使用该纵轴部分(优选地在该轴部分上的点)将3D牙齿模型定位在图像体积中；以及可选地确定3D牙齿模型或其切片的重心和/或大体积部分，并使用其切片的重心和/或大体积部分将3D牙齿模型在图像体积中定向。

因此，本发明可以包括计算机，该计算机包括3D深度神经网络，该3D深度神经网络通过将来自多个候选牙齿标签的至少一个牙齿标签指派给3D图像数据集来对表示个体3D牙齿模型的至少一个3D图像数据集进行分类。在被馈送到3D图像数据集的输入之前，计算机对3D图像数据集进行预处理，以便向3D牙齿模型提供图像体积中的标准化朝向。以这种方式，将3D牙齿模型的图像体积中的随机朝向设置为统一的归一化朝向，例如在图像体积的中间定向，3D牙齿模型的纵轴与z轴平行并且3D牙齿模型的冠部指向负z方向，以及通过3D牙齿模型的重心的径向轴指向正x方向。基于牙齿的形态的预处理讨论了3D深度神经网络对3D牙齿模型的旋转变化敏感的问题。

在实施例中，计算机可以接收作为牙列的一部分的多个3D图像数据集。在那种情况下，该方法还可以包括：确定牙列的归类，包括：定义候选牙列状态，通过基于激活值向多个3D图像数据集中的每一个指派候选牙齿标签来形成每个候选牙列状态；以及基于一个或多个条件来评估候选牙列状态，一个或多个条件中的至少一个要求将不同的候选牙齿标签指派给不同的3D图像数据集，优选地，评估候选牙列状态的次序基于与候选牙列状态相关联的激活值的高度。

在另一方面，本发明可以涉及用于自动归类牙齿的3D图像数据的计算机实现的方法，该方法包括：计算机接收多个3D图像数据集，该3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型，图像体积与3D坐标系相关联，多个3D图像数据集是牙列的一部分；计算机将每个3D图像数据集提供给经训练的深度神经网络的输入，并且经训练的深度神经网络基于牙列的多个候选牙齿标签对每个3D图像数据集进行分类，其中对3D图像数据集进行分类包括为每个候选牙齿标签生成激活值，与候选标签相关联的激活值定义3D图像数据集表示由候选牙齿标签指示的牙齿类型的可能性；以及计算机确定牙列的归类包括：定义候选牙列状态，通过基于激活值将候选牙齿标签指派给多个3D图像数据集中的每一个来形成每个候选状态；以及基于一个或多个条件来评估候选牙列状态，一个或多个条件中的至少一个要求不同的候选牙齿标签指派不同的3D图像数据集。

因此，本发明还可以提供使用经训练的3D深度神经网络和后处理方法来提供形成牙列的3D图像数据集的全自动归类的非常准确的方法。在后处理期间，可以基于一个或多个条件来评估形成牙列的多个3D图像数据集的分类结果(即，每个3D图像集的候选牙齿标签和相关联的激活值)，以便提供牙列的准确归类。

在实施例中，确定牙列的归类还可以包括：定义候选牙列状态，通过基于激活值将候选牙齿标签指派给多个3D图像数据集中的每一个来形成每个候选牙列状态；以及基于一个或多个条件来评估候选牙列状态，一个或多个条件中的至少一个要求将不同的候选牙齿标签指派给不同的3D图像数据集。

在又一方面，本发明涉及用于牙齿的3D图像数据的自动分割和分类的计算机实现的方法，该方法包括：计算机接收3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；经训练的第一深度神经网络在其输入处接收3D图像数据并将图像体积中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种；将分类的牙齿体素分割成多个3D图像数据集，每个3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型；计算机将每个3D图像数据集提供给经训练的第二深度神经网络的输入，并且经训练的第二深度神经网络基于牙列的多个候选牙齿标签对每个3D图像数据集进行分类，其中对3D图像数据集进行分类包括：为每个候选牙齿标签生成激活值，与候选标签相关联的激活值定义3D图像数据集表示由候选牙齿标签指示的牙齿类型的可能性。

本发明还可以提供3D图像数据的完全自动分割和分类的方法，其中3D图像数据是例如(CB)CT 3D图像数据集，其包括包含牙列的牙颌面结构，其中3D图像数据集(每个3D图像数据集形成3D牙齿模型)是使用经训练的第一深度神经网络生成的，并且其中通过将牙齿标签指派给每个3D图像数据集来对3D图像数据集进行分类。

在实施例中，分割可以包括：使用体素来确定牙颌面结构的一个或多个3D位置特征的预处理算法，一个或多个3D位置特征被配置用于输入到第一深度神经网络，3D位置特征定义图像体积中体素的位置信息，第一深度神经网络在其输入处接收3D图像数据和一个或多个确定的位置特征，并使用一个或多个位置特征来将图像体积中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种。

在实施例中，位置信息可以定义图像体积中的体素与图像体积中的第一牙齿参考平面之间的距离，优选地是垂直距离；图像体积中的体素与图像体积中的第一牙齿参考对象之间的距离；和/或图像体积的第二参考平面中的累积强度值的位置，其中在第二参考平面中的一点处的累积强度值包括通过参考平面中该点的法线上或附近的体素的累积强度值。

在实施例中，该方法可以包括：确定牙列的归类，包括：定义候选牙列状态，通过基于激活值将候选牙齿标签指派给多个3D图像数据集中的每一个来形成每个候选状态；以及基于一个或多个条件来评估候选牙列状态，一个或多个条件中的至少一个要求不同的候选牙齿标签指派不同的3D图像数据集。

在另一方面，本发明可以涉及适于对牙齿的3D图像数据进行自动分类的计算机系统，优选地是服务器系统，该计算机系统包括：计算机可读存储介质，其上实施有计算机可读程序代码，程序代码包括预处理算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收3D图像数据集中的一个或多个，3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型，图像体积与3D坐标系相关联；对每个3D图像数据集进行预处理，该预处理包括：基于牙齿的形态，优选地是牙齿的3D形状和/或3D形状的切片，在图像体积中定位和定向每个3D牙齿模型；将每个经预处理的3D图像数据集提供给经训练的深度神经网络的输入，并且经训练的深度神经网络基于牙列的多个候选牙齿标签对每个经预处理的3D图像数据集进行分类，其中对3D图像数据集进行分类包括为每个候选牙齿标签生成激活值，与候选牙齿标签相关联的激活值定义3D图像数据集表示由该候选牙齿标签指示的牙齿类型的可能性。

在又一方面，本发明可以涉及适于自动归类牙齿的3D图像数据的计算机系统，优选地是服务器系统，该计算机系统包括：计算机可读存储介质，其上实施有计算机可读程序代码，该程序代码包括归类算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收多个3D图像数据集，3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型，图像体积与3D坐标系相关联，多个3D图像数据集形成牙列；将每个3D图像数据集提供给经训练的深度神经网络的输入，并且经训练的深度神经网络基于牙列的多个候选牙齿标签对每个3D图像数据集进行分类，其中对3D图像数据集进行分类包括为每个候选牙齿标签生成激活值，与候选标签相关联的激活值定义3D图像数据集表示由候选牙齿类型标签指示的牙齿类型的可能性；以及确定牙列的归类包括定义候选牙列状态，通过基于激活值将候选标签指派给多个3D图像数据集中的每一个来形成每个候选状态；以及基于一个或多个条件来评估候选状态，一个或多个条件中的至少一个要求不同的候选牙齿标签指派不同的3D图像数据集。

在一方面，本发明可以涉及适于对牙齿的3D图像数据进行自动分割和分类的计算机系统，优选地是服务器系统，该计算机系统包括：计算机可读存储介质，其上实施有计算机可读程序代码，该程序代码包括分割算法以及第一和第二深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：接收3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；经训练的第一深度神经网络在其输入处接收3D图像数据并将图像体积中的体素的至少一部分分类为颌、牙齿和/或神经体素中的至少一种；将分类的牙齿体素分割成多个3D图像数据集，每个3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型；将每个3D图像数据集提供给经训练的第二深度神经网络的输入，并且经训练的第二深度神经网络基于牙列的多个候选牙齿标签对每个经预处理的3D图像数据集进行分类，其中对3D图像数据集进行分类包括为每个候选牙齿标签生成激活值，与候选标签相关联的激活值定义3D图像数据集表示由该候选牙齿类型标签指示的牙齿类型的可能性。

在另一方面，本发明可以涉及适于与服务器系统通信的客户端装置，优选地是移动客户端装置，该服务器系统适于如上所述自动归类牙齿的3D图像数据，该客户端装置包括：计算机可读存储介质，其上实施有计算机可读程序代码；以及耦合到计算机可读存储介质并耦合到显示装置的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：将第一3D图像数据集中的一个或多个传输到服务器系统，3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型，图像体积与3D坐标系相关联；请求服务器系统对牙齿的3D图像数据进行归类；从服务器系统接收第二3D图像数据集中的一个或多个，第二3D图像数据集中的一个或多个由服务器系统基于一个或多个第一3D图像数据集而生成，该生成包括处理每个3D图像数据集，该处理包括基于牙齿的形态，优选地是牙齿的3D形状和/或3D形状的切片，在图像体积中定位和定向每个3D牙齿模型；接收分别与一个或多个第二3D图像数据集相关联的一个或多个牙齿标签；以及在显示器上渲染一个或多个第二3D图像数据集和一个或多个相关联的牙齿标签。

在一方面，本发明可以涉及适于与服务器系统通信的客户端装置，优选地是移动客户端装置，该服务器系统适于根据权利要求13对牙齿的3D图像数据自动进行分割和分类，该客户端装置包括：计算机可读存储介质，其上实施有计算机可读程序代码；以及耦合到计算机可读存储介质并耦合到显示装置的处理器，优选地是微处理器，其中，响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，包括：3D图像数据，优选地是3D锥束CT(CBCT)图像数据，该3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；请求服务器系统对3D图像数据进行分割和分类；接收多个3D图像数据集，每个3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型；多个3D图像数据集形成牙列；接收与一个或多个3D图像数据集相关联的一个或多个牙齿标签；以及在显示器上渲染一个或多个3D图像数据集和一个或多个相关联的牙齿标签。

本发明还可以涉及包括软件代码部分的计算机程序产品，该软件代码部分被配置为当在计算机的存储器中运行时执行如上所述的任何方法。

将参考附图进一步说明本发明，这些附图将示意性地示出根据本发明的实施例。将理解的是，本发明绝不限于这些具体的实施例。

附图说明

图1描绘了根据本发明实施例的被配置为自动对牙列中的牙齿进行归类的计算机系统的高级示意图；

图2描绘了根据本发明实施例的训练用于对各个牙齿进行分类的深度神经网络的流程图；

图3描绘了根据本发明实施例的用于对牙列中的牙齿集合进行归类的计算机系统；

图4A和4B描绘了图示根据本发明各种实施例的个体牙齿数据的归一化的示意图；

图5描绘了用于对牙列3D数据进行归类的深度神经网络体系架构的示例；

图6描绘了根据本发明实施例的后处理的流程图；

图7示意性地描绘了根据本发明实施例的用于3D牙颌面结构的分类和分割的计算机系统；

图8描绘了根据本发明实施例的训练用于对牙颌面3D图像数据进行分类的深度神经网络的流程图；

图9A和9B分别描绘了3D CT图像数据和3D光学扫描数据的示例；

图10A和10B描绘了用于对牙颌面3D图像数据进行分类的深度神经网络体系架构的示例；

图11图示了根据本发明实施例的确定3D图像数据堆栈中的牙颌面特征的方法的流程图；

图12提供了包含来自3D图像堆栈的总体素值的可视化以及拟合到表示牙颌面弓的体素的曲线；

图13A-13D描绘了根据本发明各种实施例的牙颌面特征的示例；

图14A-14D描绘了根据本发明实施例的经训练的深度学习神经网络的输出的示例；

图15描绘了根据本发明实施例的对3D牙颌面结构的分类的体素进行后处理的流程图；

图16描绘了根据本发明实施例的用于对3D牙颌面结构的分类的体素进行后处理的深度神经网络体系架构；

图17A-17B描述了根据本发明实施例的分类的体素的重建处理；

图18描绘了根据本发明各种实施例的用于处理3D数据的分布式计算机系统的示意图；

图19描绘了通过对各个牙齿进行分类的深度神经网络而被应用于牙齿的3D数据集的标签以及通过后处理得到的应用于牙列的标签的示例；

图20A和20B描绘了包括由根据本发明实施例的计算机系统生成的标记的3D牙齿模型的渲染的牙列；

图21是图示可以用于执行本公开中描述的方法和软件产品的示例性数据计算系统的框图。

具体实施方式

在本公开中，描述了使用深度神经网络对表示牙齿的3D图像数据进行分类的计算机系统和计算机实现的方法的实施例。3D图像数据可以包括形成包含牙列的牙颌面结构的体素。例如，3D图像数据可以包括3D(CB)CT图像数据(由(CB)CT扫描仪生成)。可替代地，3D图像数据可以包括牙齿的表面网格(例如，由光学3D扫描仪生成)。根据本发明的计算机系统可以包括至少一个深度神经网络，其被训练为对定义体素的图像体积的3D图像数据集进行分类，其中体素表示图像体积内的3D牙齿结构，并且其中图像体积与3D坐标系相关联。计算机系统可以被配置为执行训练处理，该训练处理基于可以包括牙齿结构的3D表示的一个或多个训练集来迭代地训练(优化)一个或多个深度神经网络。可以优化个体牙齿的3D表示的格式，以输入3D深度神经网络。该优化可以包括预处理3D图像数据，其中预处理可以包括确定3D位置特征。可以通过聚集原始接收的3D图像数据的信息来确定3D位置特征，这对于准确分类可能是有益的，并且将这样的特征作为单独的通道添加到3D图像数据。

一旦被训练，第一深度神经网络就可以接收牙列的3D图像数据并且对3D图像数据的体素进行分类。神经网络的输出可以包括体素数据的不同集合，其中每个集合可以表示3D图像数据的不同部分(例如，各个牙齿、各个神经、颌骨的断面)。可以对各个牙齿的分类的体素进行后处理，以重建每个分类的体积的准确3D表示。

如果适用，那么每个个体牙齿的重建的体积或分类的体素可以附加地进行后处理，以归一化特定3D边界框内的朝向、维度和位置。可以将包含个体牙齿的形状的这种重建的(归一化的)体素集，可选地与其所关联的原始接收的3D图像数据(如果适用，以相同方式归一化)的子集一起，呈现给第二3D深层神经网络的输入，该第二3D深层神经网络被训练以用于确定与候选牙齿标签的集合相关联的激活值。第二3D深度神经网络可以在其输入处接收表示一个个体牙齿(的一部分)的3D图像数据，并在其输出处为每个候选牙齿标签生成单个激活集合。

以这种方式，可以识别每个个体牙齿对象的分类结果的两个集合，分类结果的第一集合将体素分类为由第一3D深度神经网络生成的不同的体素类(例如，个体牙齿类或32种可能的牙齿类型)，并且分类结果的第二集合将个体牙齿的体素表示分类为由第二3D深度神经网络生成的不同的牙齿类(例如，再次是32种可能的牙齿类型，或不同的分类(诸如门牙齿、犬齿、磨牙等))。最终可以对形成牙列(的一部分)的多个牙齿对象进行后处理，以便确定可能的最准确归类，从而利用均适于对各个牙齿的3D数据进行分类的第一神经网络和可选地第二神经网络得到的预测。

计算机系统包括至少一个经训练的神经网络，用于对形成牙列的3D图像数据集自动进行分类、网络的训练、在将3D图像数据馈送到神经网络之前3D图像数据的预处理、以及第一神经网络确定的结果的后处理在下文中更详细地描述。

图1描绘了根据本发明实施例的计算机系统的高级示意图，该计算机系统被配置为对3D图像数据中的牙齿进行自动归类。计算机系统100可以包括处理器，用于将输入数据102(与牙列相关联的3D图像数据)预处理为牙齿的3D表示。处理器可以从现实世界的牙颌面结构的3D图像数据(包括牙齿并且可以包括空间信息)导出牙齿的3D表示104，其中可以使用诸如CBCT扫描仪或完整牙齿形状的光学扫描之类的已知技术来生成3D图像数据。牙齿的3D表示可以具有3D数据格式，其作为3D深度神经网络处理器106的输入数据是最有益的，该处理器被训练用于进行牙齿分类。可以选择3D数据格式，以便优化分类的牙齿的集合110(计算机系统100的输出)的准确性。输入数据到3D表示的转换可以被称为预处理输入数据。计算机系统还可以包括用于对3D神经网络处理器的输出进行后处理的处理器108。后处理器可以包括校正由第一深度神经网络不正确分类的体素的算法。后处理器可以附加地包括用于对表示单个牙齿的3D图像数据集进行附加分类的算法。后处理器可以附加地利用基于规则的系统，该系统利用在深度神经网络的输出之上考虑牙列的知识。下面将参考附图更详细地描述计算机系统及其处理器。

图2描绘了根据本发明实施例的训练用于对各个牙齿进行分类的深度神经网络的流程图。为了训练3D深度神经网络以对单个牙齿的3D表示进行分类，可以使用不同的数据源。

如这个图中所示，可以选择3D图像数据214的各种源206、212来训练3D深度神经网络。这些数据源可以要求预处理216。3D数据的一个源可以包括CT 3D图像数据206，特别是表示包括牙列的牙颌面结构的(CB)CT 3D图像数据。3D图像数据常常表示包括牙齿和颌骨的一部分的牙颌面结构的体素表示。在那种情况下，系统还可以包括用于自动分割3D CT图像数据中的各个牙齿208的计算机系统。这种系统可以产生感兴趣的体积(VOI)210，其中每个VOI可以包括从形成完整的(CB)CT扫描的体素中选择的体素的体积。选择的体素的体积可以包括表示牙齿的体素，包括冠部和根部。用于自动分割的计算机系统可以包括3D深度神经网络处理器，该处理器被训练为在表示牙颌面结构的3D图像数据中对牙齿进行分割。下面参考图7-17更详细地描述用于对牙颌面结构的体素表示进行自动分割的计算机系统的细节。

个体牙齿的3D图像数据的另一个源可以是由光学扫描仪212生成的完整牙齿(即，冠部和根部)的3D图像数据。这种扫描仪可以以3D表面网格214的形式生成牙齿的3D表示。可选地，系统208可以被配置为基于分割的牙齿产生表面网格。

将被训练为将各个牙齿分类为其正确标记的类的深度神经网络可以要求将表示个体牙齿的3D数据集转换成针对3D深度神经网络优化的3D数据格式。由于3D深度神经网络对样本之间的类内变化(尤其是3D牙齿模型的朝向变化)敏感，因此这种优化的3D数据集提高了分类准确性。为此，可以使用预处理步骤216将不同的3D图像数据转换成各个牙齿的统一3D体素表示218。

对于个体牙齿218的每个体素表示，需要正确的标签220(即，表示牙齿的体素表示的牙齿编号(正确的类或索引号)的标签)以训练3D深度学习网络222从而正确识别期望的标签。以这种方式，3D深度神经网络被训练为对牙齿的体素表示自动进行分类。由于牙列的对称性质，可以对样本进行镜像以扩大要提供用于训练的样本数量。类似地，可以通过添加在3D空间中已任意旋转或拉伸到可行极限的稍微修改的版本来增强样本。

图3描绘了根据本发明实施例的用于3D牙齿模型的自动归类的计算机系统。该计算机系统可以包括两个不同的模块，第一训练模块328和第二分类模块，第一训练模块328用于执行训练3D深度神经网络314的处理，第二分类模块用于基于新的输入数据执行分类处理。如图3中所示，训练模块可以包括一个或多个打算用于训练的数据源的储存库或数据库306、310。这样的储存库可以经由被配置为接收输入数据(例如，包括牙列的3D图像数据)的输入304访问(sourced)，输入数据可以以各种格式与相应的期望标签一起存储。至少第一储存库或数据库306可以被用于存储牙列的(CB)CT 3D图像数据和相关联的标签。这种数据库可以由计算机系统307用来分割和提取感兴趣的体积308，该感兴趣的体积308表示体素的体积，所述体素包括可以被用于训练的个体牙齿的体素。在实施例中，计算机系统307可以被配置为按每个个体牙齿类对感兴趣的体积进行分割，即，产生感兴趣的体积和目标标签两者。类似地，第二储存库或数据库310可以被用于存储其它格式的3D数据，例如通过光学扫描生成的3D表面网格，以及在训练网络期间可以采用的各个牙齿的标签。

3D训练数据可以被预处理312为针对深度神经网络314优化的3D体素表示。训练处理可以在这个阶段结束，因为3D深度神经网络处理器314可能只要求对各个牙齿的样本进行训练。在实施例中，还可以基于源自(CB)CT扫描的分割的3D图像数据来确定诸如3D表面网格之类的3D牙齿数据。

当使用分类模块330对新的牙列316进行分类时，当将物理牙列转换成针对深度神经网络314优化的3D表示时可以再次采用多种数据格式。该系统可以利用牙列的(CB)CT 3D图像数据318并且使用计算机系统319，该计算机系统319被配置为分割并提取包括各个牙齿的体素的感兴趣的体积320。可替代地，可以使用另一种表示，诸如由光学扫描产生的每个牙齿的表面网格322。再次注意的是，(CB)CT数据可以被用于提取其它3D表示，然后提取感兴趣的体积。

可以将到深度神经网络314所需的格式的预处理312放置到位。可以将深度神经网络的输出馈送到后处理步骤324中，该后处理步骤被设计为利用考虑牙列的知识来确保跨应用于牙列的牙齿的标签集合上的归类的准确性。在实施例中，正确的标签可以反馈回训练数据中，目的是在深度神经网络的附加训练之后增加未来的准确性。可以通过渲染引擎来促进将结果呈现给最终用户，该渲染引擎适于渲染自动分类和归类的3D牙齿数据的3D和/或2D表示。参考图20A和20B描述渲染的分类和归类的3D牙齿数据的示例。

图4A和4B描绘了图示根据本发明各种实施例的个体牙齿数据的归一化的示意图。特别地，图4A描绘了处理3D网格的流程图，所述3D网格表示可以从牙列或其它源导出的单个牙齿的表面。预处理步骤的目标是创建针对3D深度神经网络处理器的解释而优化的数据的3D体素表示。如图4A中所示，该处理可以包括以下步骤：将3D表面网格402(从牙列或从另一个源分割)内插到3D体素表示404中。在这种步骤中，可以将3D表面网格表示为具有预定初始体素值(例如，不存在牙齿表面的“零”或“背景”值，以及与网格定义的3D表面重合或几乎重合的那些体素的“一”或“牙齿存在”值)的体素的3D体积。如此形成的3D体素表示由此包括体积，例如体素的体积，例如矩形框，其中牙齿的3D表面由体积内具有第二体素值的体素表示，并且其余体素具有第一体素值。在实施例中，该方法还可以包括将由表面网格封住的体素设置为第二体素值的步骤，以使3D体素表示表示3D空间中的实体对象。

在实施例中，也可以基于处理步骤404以及进一步的步骤处理体素表示(可以通过从例如牙列的(CB)CT扫描中分割个体牙齿来确定)。

体素的(矩形)体积可以与坐标系(例如3D笛卡尔(Cartesian)坐标系)相关联，以便可以将牙齿的3D体素表示与朝向和维度相关联。但是，牙齿模型的朝向和/或维度可能未标准化。3D深度神经网络对牙齿的朝向敏感，并且可能难以对在3D图像体积中具有随机朝向和非标准化维度的牙齿模型进行分类。

为了解决这个问题，在预处理期间，可以对单独的牙齿模型(3D体素表示)的朝向和维度进行归一化。这意味着每个3D体素数据样本(表示在步骤404和/或406中生成的牙齿的3D体素数据样本)可以被变换为使得样本的维度和朝向一致(步骤410)。预处理器可以使用来自牙列源的空间信息来实现这种归一化的朝向和/或维度。

预处理器可以通过检查牙列源中的每个样本的维度和朝向来确定空间信息(步骤408)。例如，当牙列的牙齿样本源自定义3D图像体积的单个3D(CB)CT数据堆栈时，每个牙齿样本的维度和朝向可以由系统确定。可替代地，空间信息可以与各个3D体素表示一起提供。

预处理器可以检查从原始3D(CB)CT数据堆栈导出的朝向和维度，并且如果这些值与深度学习网络的期望输入格式不匹配，那么可以应用变换。这种变换可以包括3D旋转以便重新定向样本在3D空间中的朝向(步骤410)和/或3D缩放以便重新缩放样本在3D空间中的维度(步骤412))。

图4B描绘了根据本发明实施例的归一化牙齿数据的朝向和/或维度的方法。在牙列的牙齿的原始3D图像数据不具有维度和/或朝向的样本内一致性的情况下；和/或，如果维度和/或朝向未知，那么可以使用各种方法来为形成牙列的所有样本获得归一化的3D体素表示。

这种归一化处理可以使用一个或多个依赖于牙齿的形态的变换：例如，基于牙齿结构，可以确定纵轴，并且由于牙齿的形状不对称，进一步地，可以确定牙齿结构的重心的位置，其由于牙齿的不对称形状，可以位于距纵轴一定距离处。基于这种信息，可以确定牙齿在3D图像空间中的归一化朝向，其中可以一致地定义牙齿的上侧、下侧、后侧和前侧。例如纵轴的这种确定可以借助于主成分分析或如下所述的其它手段来执行。

如图4B中所示，3D牙齿样本在3D图像空间中的朝向和维度可以基于预定的坐标系。可以按照指示选择x、y和z轴，但是其它选择也是可能的。当假设3D牙齿样本422的完全任意朝向时，可以通过确定样本内的彼此之间具有最大距离的两个点424和426来设置沿着两个轴(在这个示例中为x和y)的旋转。这两个点之间的线可以定义牙齿结构的纵轴(的一部分)。样本可以被平移，使得在纵轴部分上的预定点(例如在两个点424和426之间的中间点)可以与图像空间的中心重合。另外，样本可以以如下这样的方式沿着中心点旋转：纵轴部分平行于z轴，从而导致样本的重新定向(如428中所示)。因此，这种变换基于牙齿的形状定义纵轴，使用纵轴上的点(例如中间)将牙齿放置在3D图像体积中(例如在体积的中心)，并将纵轴对齐到3D图像体积的坐标系的轴(例如z轴)。

另外，可以确定牙齿结构的重心431。另外，可以使用平面430(在这种情况下为x-y平面，垂直于牙齿结构的纵轴并位于纵轴的中心)来确定大部分样本体积和/或重心是在平面上方还是下方。可以使用旋转来确保大部分体积在x-y平面430的选择的一侧，在这个示例的情况下，旋转样本，使得较大的体积向下朝负z方向，从而导致如432所示的变换。因此，这种变换使用在垂直于牙齿结构的纵轴的平面和/或相对于该平面定位的重心的位置的下方和上方的牙齿体积，以变确定牙齿结构的上侧和下侧并相应地使牙齿结构与轴对齐。对于在任意朝向上接收到的任何完全相同的样本，在这(一个或多个)变换步骤之后，朝向的只有一个方面可能有所不同，这就是如434指示的沿着z轴的旋转。

存在用于设置这种旋转的不同方式。在实施例中，可以使用沿着中心点和z轴旋转的平面。系统可以找到该平面的旋转，在该旋转下这个平面一侧的体积最大化。然后，可以使用所确定的旋转来旋转样本，以使最大体积沿着选择的轴在选择的方向上定向。例如，如446中所示，使朝着正x方向的体积的量最大化，有效地将对于436找到的平面设置为与预定平面平行，例如448中所示的z-y平面。

在另一个实施例中，代替体积，可以使用重心来设置旋转。例如，系统可以构造径向轴部分，该径向轴部分穿过重心和纵轴上的点。此后，系统可以选择沿着纵轴的旋转，使得径向轴部分在预定方向(例如正x方向)上定向。

在又一个实施例中，可以在牙齿结构的纵轴的预定点处切片3D牙齿结构。例如，在438中，可以在纵轴上与牙齿结构的底侧相距预定距离的点处对牙齿结构进行切片。以这种方式，可以确定数据的2D切片。在这种2D切片中，可以确定彼此具有最大距离的两个点。这些点之间的线可以被称为牙齿结构的横轴。然后可以以使得横轴440平行于预定轴(例如，y轴)的方式旋转样本。这可以留下沿着纵轴434两个可能的旋转(因为线440平行于y轴有两种可能性)。

可以基于由切片和横轴定义的两个区域来确定这两个旋转之间的选择。此后，该结构可以沿着纵轴旋转，使得较大的区域朝着预定方向定向，例如如442中所示，朝着负x轴444一侧。当考虑统一样本之间的朝向的不同方法时，对于这些不同方法训练分开的3D神经网络以对各个牙齿进行分类可能对训练准确性有益。

最后，3D深度学习网络预期每个样本具有相同的体素数量和每个维度上的分辨率。为此，预处理可以包括确定每个潜在样本将适合的体积并将每个样本定位在这个空间的中心的步骤412。提议，取决于数据源的格式，可以省略图4中的一个或多个步骤。作为示例，当处理来自(CB)CT 3D数据堆栈的感兴趣的体积(VOI)时，可以省略步骤402至406。

图5描绘了用于对各个牙齿进行分类的3D深度神经网络体系架构的示例，用在本申请中描述的对3D图像数据进行自动归类的方法和系统中。可以使用3D卷积层(3D CNN)来实现网络。卷积可以使用本领域中已知的激活函数。可以使用多个3D卷积层504-508，其中可以在实施方式中使用层数及其定义参数的微小变化(例如，不同的激活函数、内核数量、子采样和尺寸的使用、以及附加功能层(诸如退出(dropout)层和批处理归一化))，而不会失去深度神经网络的设计的本质。

为了减小深度神经网络内的数据的内部表示的维度，可以采用3D最大池化层510。在网络中的这一点处，内部表示可以被传递到密集连接层512，该密集连接层512的目的是作为用于将3D空间中的表示翻译成潜在标签(特别是牙齿类型标签)的激活的中间物。最终或输出层514可以具有与期望数量的编码标签相同的维度，并且可以被用于确定每个潜在标签的激活值(类似于预测)518。

可以基于经预处理的3D图像数据502(例如，参考图4描述的各个牙齿的3D体素表示)来训练网络。在实施例中，3D图像数据可以包括多个图像通道，例如包括附加信息的第四维度。单通道3D图像数据可以在体素的每个x、y和z位置包含一个数据点(例如，在(CB)CT扫描的情况下的密度值，或在如参考图4A的处理所描述的二进制体素表示的情况下的二进制值(“零”/“一”))。相反，多通道3D图像数据可以每个体素包括两个或更多个不同的数据点(与例如彩色图像相比，彩色图像通常包括三个信息通道，一个用于红色、一个用于绿色、一个用于蓝色)。因此，在实施例中，3D深度神经网络可以被训练为处理多通道3D图像数据。

在实施例中，这种多通道3D图像数据可以例如包括：第一通道，其包括个体牙齿的原始3D(CB)CT图像数据；以及第二通道，其包含可以从关于图4A描述的方法得到的相同牙齿的经处理的版本。提供这两个集合可以考虑到确切的分割形状(以3D、二进制表示)以及可能与分类问题相关的来自原始图像的信息(密度值)而产生信息。提供这两个集合提高准确分类的可能性。

对于每个样本(是单个牙齿的3D表示)，可以使用正确标签516的匹配表示来确定期望输出与实际输出514之间的损失。这种损失可以在训练期间用作调整深度神经网络各层内的参数的测量。在训练期间可以使用优化器功能，以帮助提高训练工作的效率。可以对网络进行任何数量的迭代训练，直到内部参数导致期望的结果准确性为止。在经适当训练的情况下，可以将未标记的样本呈现为输入，并且可以使用深度神经网络来导出每个潜在标记的预测。

因此，当深度神经网络被训练为将牙齿的3D数据样本分类为多种牙齿类型(例如，在成人的牙列的情况下是32种牙齿类型)之一时，神经网络的输出将是激活值和相关联的潜在牙齿类型标签。具有最高激活值的潜在牙齿类型标签可以向系统指示牙齿的3D数据样本最有可能表示由该标签指示的类型的牙齿。具有最低或相对较低激活值的潜在牙齿类型标签可以向系统指示牙齿的3D数据集最不可能表示由这种标签指示的类型的牙齿。

图6描绘了根据本发明实施例的后处理的流程图。为了利用在考虑源自单个牙列的个体牙齿对象集合602时可用的信息，可以利用这个后处理来确定每个牙齿的标签的最可行指派。表示牙齿的每个3D数据集606可以由深度神经网络进行处理，以获得每个可能候选标签的最可能的预测值608。在例如通过多种方法对牙齿对象进行分类之后，每个牙齿对象(或个体牙齿3D数据集)可以有多个预测。此外，在一些实施例中，在总牙列的3D图像数据(例如，如参考图3所描述的提供给分割系统的输入的牙颌面结构的3D(CB)CT图像数据)的3D坐标系中表示的重心(COG)607可以归因于表示牙齿的每个3D数据集。

可以生成候选牙列状态(或简而言之为候选状态)，其中将牙齿的每个3D数据集指派给候选牙齿标签。通过将候选牙齿标签指派给针对这个候选牙齿标签具有最高激活值的牙齿的3D数据集，可以创建初始候选状态610。在这个上下文中的候选(牙列)状态可以指对于形成牙列的每个牙齿对象(例如，由3D图像数据集表示)的牙齿标签的单个指派。这种初始状态可能不是期望的最终状态，因为它可能不满足解析的最终牙列状态所需的条件。状态的尺寸(例如，牙列中存在的牙齿的数量)可以因牙列而异。

可以将优先级值指派给每个候选状态，该优先级值可以被用于确定可以评估候选状态的次序。可以通过利用期望的目标来设置优先级值以优化解析的最优解。在实施例中，可以基于指派给候选状态的候选标签的激活值(例如，激活值(每个牙齿对象可以有多个)的总和)确定候选状态的优先级值。可替代地和/或附加地，在实施例中，可以基于唯一地指派的候选标签的数量和/或重复标签指派的数量来确定优先级值。

候选牙列状态池612和优先级值可以被存储在计算机系统的存储器中(其中每个候选状态可以包括候选牙齿标签和相关联的优先级值)。

可以按照指派的优先级值的次序来选择候选牙列状态614，并在迭代处理中对其进行评估，其中计算机可以检查是否满足预定条件(如步骤616中所示)。条件可以基于牙列的知识。例如，在实施例中，条件可以是牙齿的候选标签在单个候选牙列状态下只能(唯一地)出现一次。另外，在一些实施例中，可以将与每个3D牙齿数据集的COG的位置相关联的信息用于定义一个或多个条件。例如，当使用成人牙齿的FDI编号系统时，索引为1x和2x(x＝1，……，8)的牙齿标签可以是上颌的一部分，而牙齿标签3x和4x(x＝1，……，8)可以是下颌的一部分。在此，索引1x、2x、3x、4x(x＝1，……，8)定义了四个象限以及其中的牙齿编号x。这些牙齿标签可以基于与牙齿的每个3D表示相关联的COG进行检查。在另外的实施例中，多个牙齿标签可以被认为是不同牙齿类型的牙齿在它们的颌内的有序排列，从而考虑到关于每个COG的牙列内的标签的适当指派而产生附加的条件。

作为另一个示例，在实施例中，从(一个或多个)深度神经网络(之一)收集的标签激活可以限于“门牙”、“犬齿”、“磨牙齿”形式的牙齿类型类。在能够促进这种分类并且能够检查可行条件(例如，每个象限两个门牙)的状态下，所描述的方法可能能够高效地评估要满足的任何条件。

候选状态的评估(的次序)可以基于神经网络指派的优先级值。特别地，基于优先级值优化解析的候选状态。例如，当从一个或多个深度神经网络的指派的激活值中出优先级值时，系统所呈现的最终解620(即，输出)将是在具有最大化的指派的激活值(即，激活值的总和最大)的同时满足条件的(第一)候选牙列状态。

当在候选牙列状态的评估期间不满足一个或多个条件时，可以生成(一个或多个)新的候选状态618。考虑到可能状态的巨大空间，生成和考虑所有可能的候选状态将是不可行的。因此，可以基于与条件616不匹配的候选牙齿标签来生成(一个或多个)新的候选状态。例如，在实施例中，如果候选牙列状态的3D牙齿表示的子集包括两个或更多个相同的牙齿标签(并且因此与牙列状态应当包含唯一指派的牙齿标签的集合的条件相冲突)，那么可以生成尝试解决这个特定例外的(一个或多个)新候选状态。类似地，在实施例中，如果候选牙列状态的3D牙齿表示包含冲突的COG，那么可以生成尝试解决这个特定例外的(一个或多个)新候选状态。这(一个或多个)新候选状态可以基于原始冲突状态逐步生成，同时最大化其预期的优先级值。例如，为了确定下一个候选状态，对于具有例外的每个标签，可以将具有(一个或多个)例外的状态下的特定标签的指派的(一个或多个)(原始)牙齿表示交换为产生次高预期优先级的表示。

如上所述，在一些实施例中，3D图像数据可以表示牙颌面结构，包括与颚骨的各个分段、各个牙齿和各个神经相关的体素。在那些实施例中，要求将牙颌面结构分割成单独的部分，以便确定可以被馈送到被训练为对各个牙齿进行分类的3D深度学习网络的各个牙齿的3D体素表示。出于牙齿归类的目的，可以为成人的健康牙列中可以存在的32个独特牙齿中的每一个生成体素表示。因此，本发明包括使用3D深度神经网络对牙颌面结构中的牙列的各个牙齿进行分类、分割和可选的3D建模的计算机系统和计算机实现的方法，其中牙颌面结构由3D图像数据表示，3D图像数据由形成CT图像数据堆栈(特别是锥形束CT(CBCT)图像数据堆栈)的一系列图像来定义。3D图像数据可以包括形成牙颌面结构的3D图像空间的体素。根据本发明的这种计算机系统可以包括至少一个深度神经网络，该深度神经网络被训练为将牙颌面结构的3D图像数据堆栈分类为不同类的体素，其中每个类可以与结构的不同部分(例如，各个牙齿、各个颌分段、各个神经)相关联。该计算机系统可以被配置为执行训练处理，该训练处理基于一个或多个训练集来迭代地训练(优化)一个或多个深度神经网络，该训练集可以包括牙颌面结构的准确3D模型。这些3D模型可以包括光学扫描的牙颌面结构。

一旦被训练，深度神经网络就可以接收牙颌面结构的3D图像数据堆栈，并且对3D图像数据堆栈的体素进行分类。在将数据呈现给经训练的深度神经网络之前，可以对数据进行预处理，以使神经网络可以高效地并准确地对体素进行分类。神经网络的输出可以包括体素数据的不同集合，其中每个集合可以表示3D图像数据的不同的部分，例如牙齿或颌骨。可以对分类的体素进行后处理，以便重建牙颌面结构的准确3D模型。

下面更详细地描述包括用于对牙颌面结构的体素进行自动分类的经训练的神经网络的计算机系统、网络的训练、在将3D图像数据馈送到神经网络之前对其进行的预处理、以及对被神经网络分类的体素进行的后处理。

图7示意性地描绘了根据本发明实施例的用于3D牙颌面结构的分类和分割的计算机系统。特别地，计算机系统702可以被配置为接收牙颌面结构的3D图像数据堆栈704。该结构可以包括单独的颌结构、单独的牙齿结构和单独的神经结构。3D图像数据可以包括体素，即，与体素值相关联的3D空间元素，例如表示辐射强度或密度值的灰度值或颜色值。优选地，3D图像数据堆栈可以包括根据预定格式(例如，DICOM格式或其派生)的CBCT图像数据。

计算机系统可以包括预处理器706，预处理器706用于在将3D图像数据馈送到第一3D深度学习神经网络712的输入之前对其进行预处理，该第一3D深度学习神经网络712被训练为产生分类的体素的3D集合作为输出714。如将在下文中更详细描述的，可以根据预定的训练方案来训练3D深度学习神经网络，使得经训练的神经网络能够将3D图像数据堆栈中的体素准确地分类为不同类的体素(例如，与个体牙齿、颚骨和/或神经组织相关联的体素)。优选地，与各个牙齿相关联的类由成人的健康牙列中可能存在的所有牙齿组成，为32个单独的牙齿类。3D深度学习神经网络可以包括多个连接的3D卷积神经网络(3D CNN)层。

计算机系统还可以包括处理器716，该处理器716用于使用由3D深度学习神经网络分类的体素来准确地重建牙颌面结构的不同部分(例如，个体牙齿、颌和神经)的3D模型。如将在下文中更详细地描述的，分类的体素的部分(例如，被分类为属于牙齿结构或颌结构的体素)被输入到另外的3D深度学习神经网络720，该3D深度学习神经网络720被训练为基于被分类为属于这种结构的体素来重建用于牙颌面结构的3D体积(例如，颌724的形状和牙齿726的形状)。分类的体素的其它部分(例如，被3D深度神经网络分类为属于神经的体素)可以通过使用插值函数718进行后处理，并将其存储为3D神经数据722。从分类的体素确定表示神经的体积的任务在性质上可能目前超出了深度神经网络的能力(可用于深度神经网络的处理能力)。此外，呈现的分类的体素可能不包含将适于神经网络解决这个问题的信息。因此，为了准确和高效地对分类的神经体素进行后处理，使用分类的体素的插值。在对牙颌面结构的各个部分的3D数据进行后处理之后，可以将神经、颌和牙齿数据722-726组合并在单独的3D数据集或模型728中格式化，这些3D数据集或模型728准确地表示馈送到计算机系统的输入的3D图像数据中的牙颌面结构。

在CBCT扫描中，无线电密度(以亨氏单位(HU)测量)是不准确的，因为扫描中的不同区域会取决于它们在被扫描的器官中的相对位置而出现不同的灰度值。用CBCT和医学级CT扫描仪从同一解剖区域测得的HU并不完全相同，因此对于确定特定于部位的放射线照相识别的骨密度是不可靠的。

而且，牙科CBCT系统没有采用标准化系统来缩放表示重建的密度值的灰度级。这些值是任意的，并且不允许用于骨骼质量的评估。在没有这样的标准化的情况下，难以解释灰度级或不可能比较不同机器所产生的值。

牙齿和颌骨结构具有相似的密度，使得计算机难以区分属于牙齿的体素与属于颌的体素。此外，CBCT系统对所谓的射束硬化非常敏感，其在两个高衰减物体(诸如金属或骨骼)之间产生深色条纹，周围是明亮的条纹。

为了使3D深度学习神经网络对上面提到的问题具有鲁棒性，可以使用模块738利用由3D图像数据表示的牙颌面结构的部分的3D模型来训练3D神经网络。3D训练数据730可以正确地对齐在704处呈现的CBCT图像，对于该CBCT图像，相关联的目标输出是已知的(例如，牙颌面结构的3D CT图像数据以及牙颌面结构的相关联的3D分割表示)。可以通过对输入数据进行手动分割来获得常规3D训练数据，这可能表示大量工作。此外，手动分割导致要使用的输入数据的低可重复性和一致性。

为了解决这个问题，在实施例中，代替于手动分割的训练数据，或者至少除了手动分割的训练数据之外，可以使用光学产生的训练数据730，即，牙颌面结构(的部分)的准确3D模型。可以使用3D光学扫描仪扫描用于产生训练数据的牙颌面结构。这种光学3D扫描仪在本领域中是已知的，并且可以被用于产生高质量的3D颌和牙齿表面数据。3D表面数据可以包括3D表面网格732，其可以被体素分类器734使用和填充(确定哪些具体体素是该网格所涵盖的体积的一部分)。以这种方式，体素分类器能够生成高质量的用于训练的分类的体素736。此外，如上面所提到的，训练模块也可以使用手动分类的训练体素来训练网络。训练模块可以将分类的训练体素用作目标，并且将相关联的CT训练数据用作输入。

此外，在训练处理期间，CT训练数据可以由特征提取器708预处理，特征提取器708可以被配置为确定3D位置特征。牙颌面特征可以至少编码与成像的牙颌面结构的一个或多个部分相关联的空间信息。例如，在实施例中，手动设计的3D位置特征可以包括表示包含体素的3D体积中的颌骨(特别是牙弓)(的一部分)的3D曲线。可以将一个或多个权重参数指派给沿着3D曲线的点。权重值的值可以被用于编码3D空间中从体素到体素的平移。不是结合例如图像堆栈所接收到的原始空间的编码版本，编码的空间特定于在输入中检测到的牙颌面结构。特征提取器可以通过检查表示辐射强度或密度值的体素值并拟合通过某些体素的一条或多条曲线(例如多项式)，来确定与颌和/或牙齿(例如牙弓)的多条曲线之一近似的一条或多条曲线。3D CT图像数据堆栈的牙弓曲线(的部分)的导数可以被存储为位置特征映射710。

在另一个实施例中，这种3D位置特征可以例如借助于(经训练的)机器学习方法(诸如3D深度神经网络)来确定，该3D深度神经网络被训练为从整个接收的3D数据集导出相关信息。

图8描绘了根据本发明实施例的训练用于对牙颌面3D图像数据进行分类的深度神经网络的流程图。使用训练数据以便训练3D深度学习神经网络，从而能够自动对牙颌面结构的3D CT扫描的体素进行分类。如这个图中所示，可以将牙颌面复合体802的表示提供给计算机系统。训练数据可以包括牙颌面结构的CT图像数据堆栈804和相关联的3D模型，例如来自相同牙颌面结构的光学扫描的3D数据806。这种3D CT图像数据和3D光学扫描数据的示例在图9A和3B中示出。图9A描绘了与牙颌面结构的3D CT扫描的不同平面(例如轴向平面902、额顶或冠状平面904和矢状平面906)相关联的DICOM切片。图9B描绘了牙颌面结构的3D光学扫描数据。计算机可以基于光学扫描数据形成牙颌面结构的3D表面网格808。另外，可以采用对齐功能810，其被配置为将3D表面网格与3D CT图像数据对齐。在对齐之后，提供给计算机的输入的3D结构的表示使用相同的空间坐标系。基于对齐的CT图像数据和3D表面网格，可以确定光学扫描的3D模型的分类的体素数据814和3D位置特征812。然后可以将位置特征和分类的体素数据与图像堆栈804一起提供给深度神经网络816的输入。

因此，在训练阶段期间，3D深度学习神经网络接收3D CT训练数据和从3D CT训练数据提取的位置特征作为输入数据，并将与3D CT训练数据相关联的分类的训练体素用作目标数据。通过最小化表示深度神经网络的输出与目标数据(即，分类的体素数据)的偏差的损失函数，可以使用优化方法来学习深度神经网络的网络参数的最优值，从而针对预定输入表示期望输出。当损失函数的最小值收敛到某个值时，可以认为训练处理适合于应用。

与可以(至少部分地)得自3D光学扫描数据的训练体素相结合使用3D位置特征的图8中描绘的训练处理为3D深度学习神经网络提供了高质量的训练集。在训练处理之后，经训练的网络能够从3D CT图像数据堆栈准确地对体素进行分类。

图10A和10B描绘了用在被配置为对牙颌面结构的3D体素数据进行分类和分割的方法和系统中的深度神经网络体系架构的高级示意图。如图10A中所示，可以使用3D卷积神经网络(3D CNN)来实现该网络。卷积层可以采用与层中的神经元相关联的激活函数，诸如sigmoid函数、tanh函数、relu函数、softmax函数等。可以使用多个3D卷积层，其中层的数量及层的定义参数(例如不同的激活函数、内核量和尺寸以及诸如退出层之类的附加功能层)的微小变化可以在实施方式中使用，而不会丢失深度神经网络的设计的本质。

如图10A中所示，网络可以包括多个卷积路径，例如，与3D卷积层的第一集合1006相关联的第一卷积路径和与3D卷积层的第二集合1008相关联的第二卷积路径。3D图像数据1002可以被馈送到第一和第二卷积路径的输入。如关于图4所描述的，在实施例中，3D图像数据可以包括多个通道，例如另外的第四维度包括附加信息(诸如3D位置特征数据)。

另外，在一些实施例中，网络可以至少包括与3D卷积层的第三集合1007相关联的另外的(第三)卷积路径。可以训练第三卷积路径以将从作为单独输入提供的体素所关联的接收到的3D位置特征数据导出的3D特征编码到第三路径。这条第三卷积路径可以例如在没有作为接收到的3D图像数据的附加图像通道提供这样的3D位置特征信息的情况下被使用。

在图10B中更详细地图示不同路径的功能。如这个图中所示，表示3D图像数据的体素被馈送到神经网络的输入。这些体素与预定体积相关联，该预定体积可以被称为图像体积1001₁。第一路径1003₁的每个后续3D卷积层可以对3D图像数据的第一体素块1001₁执行3D卷积操作。在处理期间，一个3D卷积层的输出是后续3D卷积层的输入。以这种方式，每个3D卷积层可以生成表示被馈送到输入的3D图像数据的部分的3D特征图。因此，被配置为生成此类特征图的3D卷积层可以被称为3D CNN特征层。

如图10B中所示，第二路径1003₂的卷积层可以被配置为处理3D图像数据的第二体素块1001₂。每个第二体素块与第一体素块相关联，其中第一体素块和第二体素块在图像体积中具有相同的中心原点。第二块的体积大于第一块的体积。而且，第二体素块表示相关联的第一体素块的下采样版本。可以使用众所周知的插值算法来进行下采样。下采样因子可以是任何适当的值。在实施例中，下采样因子可以在20与2之间选择，优选地在10与3之间。

因此，3D深度神经网络可以包括至少两条卷积路径。第一卷积路径1003₁可以定义3D CNN特征层(例如5-20层)的第一集合，其被配置为处理具有第一体素分辨率(例如目标的体素分辨率(即，要分类的3D图像数据的体素的分辨率))的输入数据(例如，图像体积中预定位置处的第一体素块)。类似地，第二卷积路径可以定义3D CNN特征层(例如5-20层)的第二集合，其被配置为以第二体素分辨率处理输入数据(例如，第二体素块，其中第二体素块1001₂中的每个块具有与来自第一体素块1001₁中的其关联块相同的中心点)。在此，第二分辨率低于第一分辨率。因此，第二体素块在实际维度上与第一块相比表示更大的体积。以这种方式，第一3D CNN特征层处理第一体素块以便生成3D特征图，并且第二3D CNN特征层处理第二体素块以便生成包括与由第一3D CNN特征层处理的相关联的第一体素块的(直接)邻域有关的信息的3D特征图。

因此，第二路径使神经网络能够确定上下文信息，即，关于呈现给神经网络的输入的3D图像数据的体素的上下文(例如其周围环境)的信息。通过使用多条(并行)卷积路径，可以并行处理3D图像数据(输入数据)和关于3D图像数据的体素的上下文信息。上下文信息对于对牙颌面结构进行分类是重要的，牙颌面结构通常包括难以区分的密排牙齿结构。尤其是在对各个牙齿进行分类的情况下，重要的是，至少要有输入的原始分辨率的信息(至少包含考虑个体牙齿形状的详细信息)以及上下文信息(至少包含考虑牙列中的位置、邻域结构(诸如其它牙齿、组织、空气、骨头等)的信息)。

在实施例中，第三卷积路径可以被用于处理3D位置特征。在替代实施例中，代替使用第三卷积路径来处理3D位置特征，可以将包括3D位置特征的3D位置信息与提供给深度神经网络的输入的3D图像数据相关联。特别地，可以形成其中每个体素与强度值和位置信息相关联的3D数据堆栈。因此，位置信息可以按照每个适用的接收的体素来配对(例如，借助于将3D位置特征信息作为附加通道添加到接收的3D图像信息)。因此，在这个实施例中，在深度神经网络的输入处的3D牙颌面结构的体素表示的体素不仅可以与表示例如无线电强度值的体素值相关联，而且可以与3D位置信息相关联。因此，在这个实施例中，在训练第一和第二卷积路径两者的卷积层期间，可以将从3D图像特征和3D位置特征两者导出的信息编码在这些卷积层中。然后将3D CNN特征层的集合的输出合并，并馈送到全连接的3D CNN层1010的输入，对这些3D CNN层1010进行训练以导出在神经网络的输入处提供并由3D CNN特征层处理的体素1012的预期分类。

可以以考虑到在输出体素的块中每个要导出的输出体素的连接而完全连接它们这样的方式来配置全连接层。这意味着它们可以如本领域中已知的那样以完全卷积的方式被应用，即，对于每个输出体素，与全连接层相关联的参数的集合是相同的。这可能导致体素的块中的每个输出体素都被并行地训练和推断。全连接层的这种配置减少了网络所需的参数的量(与对于整个块的完全密集连接的层相比)，同时减少了训练和推断时间(一遍处理体素的集合或块，而不是仅单个输出体素)。

可以训练3D CNN特征层的集合(通过其可学习的参数)以导出并传递可以从其具体输入确定的最优有用信息，全连接层对参数进行编码，这些参数将确定来自三条先前的路径的信息应当组合以提供最优分类的体素1012的方式。此后，可以在图像空间1014中呈现分类的体素。因此，神经网络的输出是在与输入处的体素的图像空间对应的图像空间中的分类的体素。

在此，全连接层的输出(最后一层)可以为每个体素提供多个激活。这种体素激活可以表示定义体素属于多个类(例如牙齿结构类，例如个体牙齿、颌分段和/或神经结构)之一的概率的概率测量(预测)。对于每个体素，可以对与不同牙齿结构相关联的体素激活进行阈值化以获得分类的体素。

图11-13图示了确定表示3D牙颌面结构的3D图像数据堆栈中的3D位置特征的方法以及这种位置特征的示例。具体而言，在手动设计的特征的情况下，并且如参考图7所描述的，将3D图像数据堆栈和相关联的3D位置特征都作为输入提供给深度神经网络，使得网络可以准确地对体素进行分类而没有过拟合的风险。在实施例中，这个信息可以在附加图像通道上被添加到3D图像数据。在替代实施例中，可以将这个信息呈现给这种3D深度神经网络的单独输入。基于实际维度的转换确保与输入图像分辨率无关的可比较输入。手动设计的位置特征可以提供与图像体积中的体素相对于图像体积中的参考平面或参考对象的位置有关的3D深度神经网络信息。例如，在实施例中，参考平面可以是图像体积中的轴向平面，其将与上颌相关联的体素和与下颌相关联的体素分开。在另一个实施例中，参考对象可以包括曲线，例如3D曲线，近似牙颌面结构的3D图像数据中的牙齿的牙弓的至少一部分。以这种方式，位置特征为第一深度神经网络提供了对抽象(abstractions)进行编码的手段，该抽象指示在图像体积中的不同位置中每个体素相关联的颌、牙齿和/或神经组织的可能性。这些位置特征可以帮助深度神经网络高效并准确地对3D图像数据堆栈的体素进行分类，并且被设计为减少过拟合的风险。

为了确定图像体积中在归类处理中有用的参考平面和/或参考对象，特征分析功能可以确定预定强度值或高于或低于预定强度值的体素。例如，与明亮的强度值相关联的体素可以与牙齿和/或颌组织相关。以这种方式，可以由计算机确定关于牙齿和/或颌的位置以及图像体积中的朝向(例如旋转角度)的信息。如果特征分析功能确定旋转角度大于预定量(例如，大于15度)，那么该功能可以将旋转角度校正为零，因为这对于准确结果更有利。

图11图示了确定3D图像数据1104中手动设计的3D位置特征的方法的流程图1102的示例，所述3D图像数据1104例如是3D CT图像数据堆栈。这个处理可以包括确定牙颌面结构的一个或多个3D位置特征，其中一个或多个3D位置特征被配置用于输入到深度神经网络的具体路径(如以上参考图10B所讨论的)。手动设计的3D位置特征定义图像体积中的体素相对于图像体积中的参考平面或参考对象的位置信息，例如距离，例如图像空间中的体素与图像空间中的参考平面之间的垂直距离，该参考平面将上颌与下颌分开。它还可以定义图像体积中的体素与牙齿参考对象(例如图像体积中的牙弓)之间的距离。它还可以定义图像体积的第二参考平面中的累积强度值的位置，第二参考平面中的点处的累积强度值包括穿过参考平面中的该点的法线上或附近的体素的累积强度值。3D位置特征的示例在下文中描述。

为了在牙颌面结构的3D图像数据中确定提供牙弓的位置信息的参考对象。拟合算法可以用于确定拟合不同(累积)强度值的点云中的预定点的曲线，例如遵循多项式公式的曲线。

在实施例中，可以确定在图像体积的轴向平面(xy平面)中的强度值的点云。可以通过将位于穿过轴向平面中的点的法线上的体素的体素值相加来确定该轴向平面中的点的累积强度值。由此获得的在轴向平面中的强度值可以被用于找到近似于牙齿的牙弓的曲线。

图12中提供了在确定手动设计的3D位置特征中使用的示例参考对象，在这种情况下是近似这种牙弓的曲线。在这个示例中，轴向(xy)平面中的点云指示强度值高的区域(明亮的白色区域)可能指示牙齿或颌结构的区域。为了确定牙弓曲线，计算机可以确定图像体积的轴向平面中与明亮的体素(例如，具有高于预定阈值的强度值的体素)相关联的区域，明亮的体素可以被识别为牙齿或颌体素。这些高强度的区域可以被用于确定明亮区域的新月形排列，其近似于牙颌面弓。以这种方式，可以确定牙弓曲线，其分别近似上颌和下颌的牙颌面弓的平均值。在另一个实施例中，可以确定与上颌和下颌相关联的单独的牙弓曲线。

可以基于曲线定义不同的特征(或者图13A-13D描绘了根据本发明各种实施例的3D图像数据的位置特征的示例)。

图13A描绘了(左)3D图像数据堆栈的矢状平面的切片的图像，以及(右)相同切片的所谓高度特征的相关联的可视化。这种高度特征可以相对于参考平面1302对3D CT图像数据堆栈的图像体积中的每个体素的z位置(高度1304)进行编码。参考平面(例如轴向或xy平面，被确定为xy平面(的最佳近似))与上颌和下颌及其组成牙齿的距离大致相等。

可以定义其它3D位置特征，以对3D图像数据堆栈的xy空间中的空间信息进行编码。在实施例中，这种位置特征可以基于近似于牙弓(的一部分)的曲线。这种位置特征在图13B中示出，其描绘了(左)来自3D图像数据堆栈的切片以及(右)针对相同切片的所谓行进特征的可视化。这种行进特征基于近似牙弓1306的曲线并定义沿着该曲线测量的相对距离1308。在此，零距离可以被定义为曲线上的二次多项式的导数为(近似)零的点1310。当从这个点(例如，导数为零的点)在x轴上沿任一方向移动时，行进的距离增加。

基于牙弓曲线的另一个3D位置特征可以定义图像体积中的每个体素到牙弓曲线1306的最短(垂直)距离。因此，这个位置特征可以被称为“距离特征”。在图13C中提供了这种特征的示例，其描绘了(左)来自3D图像数据堆栈的切片以及(右)针对相同切片的距离特征的可视化。对于这个特征，零距离表示体素位于牙弓曲线1308上。

又一个3D位置特征可以定义各个牙齿的位置信息。图13D中提供了这种特征(也可以被称为牙齿特征)的示例，该图描绘了(左)来自3D图像数据堆栈的切片以及(右)针对相同切片的牙齿特征的可视化。牙齿特征可以提供用于确定在体素空间中的某个位置找到某个牙齿的体素的可能性的信息。在确定参考平面(诸如1302)之后，这个特征可以对任何平面(例如xy平面或任何其它平面)的法线上的体素的单独的总和进行编码。因此，该信息为神经网络提供了如在平面法线上求和的那样来自原始空间的所有信息的“视图”。这个视图比不包括这个特征时要处理的视图大，并且可以提供基于空间的所选方向上的所有信息来区分是否存在硬质结构(如针对xy平面的1312_1,2中所示)的手段。

因此，图11-13示出了3D位置特征定义关于体素表示的体素的信息，这些体素被提供给训练为对体素进行分类的深度神经网络的输入。可以从可从体素表示获得的全部(或大部分)信息聚合信息，其中在聚合期间可以考虑体素相对于牙齿参考对象的位置。另外，信息被聚合使得可以在第一体素表示中的体素的每个位置对其进行处理。

图14A-14D描绘了根据本发明实施例的经训练的深度学习神经网络的输出的示例。特别地，图14A-14D描绘了使用深度学习神经网络分类的体素的3D图像，该深度学习神经网络使用参考图8描述的训练方法来训练。图14A描绘了深度学习神经网络已将其分类为各个牙齿、各个颌和神经组织的体素的3D计算机渲染(渲染)。可以通过神经网络将体素分类为属于图14B的各个牙齿结构的体素、属于图14C的各个颌结构的体素、或属于图14D的神经结构的体素。由深度神经网络得到的结构的各个体素表示已在图中如此标记。例如，图14B示出了输出的各个牙齿结构，此处用其FDI牙齿标签索引标记。(为了图形清楚起见，省略了象限四的索引标签4x)，如图14B-14D所示，分类处理是准确的，但仍有许多体素遗漏或分类错误。例如，被分类为FDI牙齿索引标签37的体素包含结构扩展1402，该结构扩展不能准确地表示真实的牙齿结构。类似地，被分类为FDI牙齿索引标签38的体素产生表面缺陷1404。注意的是，虽然网络已对该牙齿的绝大多数体素进行了分类，但是仅部分存在于接收到的3D图像数据集中。如图14D中所示，这种问题对于分类的神经体素甚至更加明显，其缺少在实际的神经中存在的部分1406。

为了解决分类的体素(形成第一深度学习神经网络的输出)中离群值的问题，可以对体素进行后处理。图15描绘了根据本发明实施例的对3D牙颌面结构的分类的体素进行后处理的流程图。特别地，

图15描绘了对如参考本申请的图7-14描述的那样使用深度学习神经网络分类的牙颌面结构的体素数据进行后处理的流程图。

如图15中所示，该处理可以包括将3D牙颌面结构的分类的体素数据1502划分为被分类为各个颌体素1504的体素、被分类为各个牙齿体素1506的体素和被分类为神经数据1508的体素的步骤。如将在下文中更详细地描述的，可以使用另外的第二深度学习神经网络1510对颌体素和牙齿体素进行后处理。与基于图像数据生成最佳可能的体素分类的最初的第一深度学习神经网络(它至少使用牙颌面结构的3D CT图像数据堆栈作为输入)不同，第二“后处理”深度学习神经网络将第一深度学习神经网络的输出的部分翻译成使得输出更紧密地匹配期望的3D结构的体素。

后处理深度学习神经网络对分类的牙齿和颌(部分)两者的表示进行编码。在训练后处理深度学习神经网络期间，调谐神经网络的参数，使得第一深度学习神经网络的输出被翻译成这些牙颌面结构的最可行的3D表示。以这种方式，分类的体素中的缺陷可以被重建1512。此外，3D结构的表面可以被平滑1514，使得可以生成最佳可行的3D表示。在实施例中，省略3D CT图像数据堆栈作为后处理神经网络的信息源使得这个后处理步骤对于图像堆栈内的不期望的变化是鲁棒的。

由于(CB)CT图像的性质，第一深度学习神经网络的输出将遭受(前面提到的)潜在伪像，诸如由于患者运动、射束硬化等引起的平均化。另一个噪声源是不同CT扫描仪捕获的图像数据的差异。这种差异导致引入多种因素，诸如图像堆栈内的噪声量变化，代表相同(实际)密度的体素强度值变化以及可能存在的其它因素。通过后处理深度学习神经网络，可以消除或至少基本上减少上面提到的伪像和噪声源对第一深度学习神经网络的输出的影响，从而导致分割的颌体素和分割的牙齿体素。

可以与颌和牙齿数据分开地对分类的神经数据1508进行后处理。表示CT图像数据堆栈中的细长细丝结构的神经数据的性质使得该数据不太适合由深度学习神经网络进行后处理。代替地，使用插值算法对分类的神经数据进行后处理，以产生分割的神经数据1516。为此，拟合算法使用被分类为神经体素并且与高概率(例如95％或更高的概率)相关联的体素，以便构建神经结构的3D模型。此后，可以将3D颌、牙齿和神经数据集1518处理成牙颌面结构的相应3D模型。

图16描绘了根据本发明实施例的深度学习神经网络的体系架构的示例，该深度学习神经网络被配置为对3D牙颌面结构的分类的体素进行后处理。后处理深度学习神经网络可以具有与第一深度学习神经网络类似的体系架构，包括由3D CNN特征层的第一集合1604形成的第一路径，该路径被配置为以目标的分辨率处理输入数据(在这种情况下是分类的体素数据的一部分)。深度学习神经网络还包括3D CNN特征层的第二集合1606，3D CNN特征层的第二集合1606被配置为处理由第一3D CNN特征层处理的输入数据的上下文，但是以低于目标的分辨率处理。然后将第一和第二3D CNN特征层的输出馈送到全连接的3D CNN层的集合1608的输入，以便重建分类的体素数据，使得它们紧密地表示3D牙颌面结构的3D模型。全连接的3D CNN层的输出提供了重建的体素数据。

可以使用与第一深度学习神经网络相同的目标(表示相同的期望输出)来训练后处理神经网络。在训练期间，通过向输入提供噪声以表示要规范的例外情况，使网络尽可能广泛地适用。后处理深度学习神经网络的本质所固有的是，它执行的处理还导致从接收到的体素数据中移除不可行的方面。这里的因素包括期望的牙颌面结构的平滑和填充，以及彻底移除不可行的体素数据。

图17A和17B描绘了根据本发明实施例的导致分类的体素的插值和体积重建的处理。特别地，图17A描绘了牙齿和神经结构的分类的体素的图片，其中体素是第一深度学习神经网络的输出。如图所示，输入数据中的噪声和其它伪像导致体素分类中的不规则性和伪像，以及因此在表示牙齿结构的体素集合中包括间隙的3D表面结构。这些不规则性和伪像在牙齿的下牙槽神经结构和牙齿根结构处尤其明显，如关于图14B和图14D也指出的。

图17B描绘了根据参考图15和图16描述的处理的后处理的结果。如这个图中所示，后处理深度学习神经网络成功移除了输入数据(分类的体素)中存在的伪像。后处理步骤成功地重建了基本上受不规则性和伪像影响的部分，诸如牙齿的根部结构1702，其现在呈现出提供个体牙齿结构的准确3D模型的平滑表面。拟合算法可以使用高概率神经体素(例如，95％或更高的概率)，以便构建神经结构1704的3D模型。还应该注意的是，如关于图14B所指示的，关于FDI牙齿索引标签37和38的缺陷也已得到校正1706。

图18描绘了根据本发明实施例的分布式计算机系统的示意图。分布式计算机系统可以被配置为基于如本申请中所描述的经训练的3D深度学习处理器来处理3D数据并且用于渲染经处理的3D数据。如图18中所示，用于将3D数据牙颌面结构分割为各个3D牙齿模型并按牙齿类型对牙齿模型进行分类的经训练的3D深度学习处理器可以是分布式系统的一部分，该分布式系统包括网络中的一个或多个服务器1802以及多个终端1810_1-3，优选地是移动终端，例如台式计算机、膝上型计算机、电子平板等。(经训练的)3D深度学习处理器可以被实现为服务器应用1804、1806。另外，在终端上执行的客户端应用(客户端设备)1812_1-3可以包括：使用户能够与系统交互的用户接口；以及使客户端设备能够经由一个或多个网络1808(例如互联网)与服务器应用通信的网络接口。客户端设备可以被配置为接收输入数据，例如3D(CB)CT数据，其表示包括牙列或形成牙列的各个3D牙齿模型的牙颌面结构。客户端设备可以将数据传输到服务器应用，服务器应用可以基于本申请中描述的方法和系统来处理(预处理、分割、分类和/或处理)数据。经处理的数据(例如牙齿的归类(标记)的3D图像数据)可以被发送回客户端设备，并且与客户端设备相关联的渲染引擎1814_1-3可以使用各个标记的3D牙齿模型的经处理的3D图像数据集来渲染3D牙齿模型和标签信息，例如以牙齿图表等形式。在其它实施例中，可以在客户端侧执行数据处理的一部分。例如，本公开中描述的预处理和/或后处理可以由客户端设备执行。在另外的实施例中，代替分布式计算机系统，可以使用中央计算机系统来执行本申请中描述的预处理、后处理和分类处理。

因此，如图18所示，本发明提供了用于3D牙齿模型的归类的全自动流水线。用户可以将3D图像数据(例如(CB)CT 3D数据，包括表示牙列或包括牙列的牙颌面结构的体素)提供给系统的输入，并且作为响应，系统将生成单独标记的3D牙齿对象，这些对象可以以不同的图形格式呈现给用户，例如作为3D渲染或作为显示的图像切片中的标记。输入数据被自动优化以输入到3D深度神经网络，使得3D深度神经网络处理器能够准确地处理(CB)CT 3D图像数据，而无需任何人工干预。而且，本发明允许3D深度神经网络处理器生成的输出(即，牙列的单独标记的3D牙齿)的3D渲染。此类视觉信息对于牙齿护理和牙齿报告、正畸、正颌外科、法医、生物识别等领域中的最新牙科应用是必不可少的。

图19描绘了由参考图7所述的系统得到的经处理的牙齿集合的示例，包括通过深度神经网络对各个牙齿进行分类而应用于牙齿的3D数据集的标签、以及从后处理得到的应用于牙列的标签。特别地，图19对于每个牙齿在破折号之前(例如1902)描绘针对个体牙齿的3D数据集具有最高激活值的标签，该标签是使用深度学习神经网络进行的分类而得到的，该深度学习神经网络是使用参考图5描述的训练方法训练的。此外，图19对于每个牙齿在破折号之后(例如1904)描绘在参考图6描述的后处理之后指派给处于解析的候选状态下的个体牙齿的标签。当仅考虑由个体牙齿深度学习网络产生的具有最高激活的标签时，以红色描绘的分类标签(例如1906)将被错误地分类。由于例如训练不足的深度学习网络或输入数据中的异常，这些会被不正确地归类。在这个示例中，标签(诸如1904)示出了利用后处理的牙列的归类的结果，优化了最高指派的激活，同时满足表示个体牙齿的每个3D数据集被指派独特标签的条件。

图20A和20B描绘了包括由根据本发明实施例的计算机系统生成的标记的3D牙齿模型的牙列。这些渲染的牙列可以例如由参考图18A和18B描述的分布式计算机系统生成。图20A描绘了包括单独标记的3D牙齿模型2002的第一经渲染的牙列2000₁，其中可以基于馈送到计算机系统的输入的CBCT 3D数据堆栈来生成单独的3D牙齿模型(如参考图7-17所描述的)。如参考图18所描述的，计算机系统可以包括3D深度学习处理器，该3D深度学习处理器被配置为生成单独识别的3D牙齿模型，例如以3D表面网格的形式，其可以被馈送到如下处理器的输入，所述处理器被配置为执行用于对3D牙齿模型进行分类(标记)的归类处理(例如参考图3所描述的)。

这个计算机系统的经训练的3D深度神经网络处理器可以将牙列的3D牙齿数据分类为可以用在例如包括成人的32个可能牙齿的电子牙齿图表2006中的适用的牙齿类型。如图所示，这种牙齿图表可以包括根据上牙弓2008₁在空间上排列的上组牙齿和根据下牙弓2008₂在空间上排列的下组牙齿。在归类处理之后，可以将从体素表示得到的每个3D牙齿模型标记为牙齿类型，并与牙齿图中的位置相关联。例如，自动归类处理可以将第一3D牙齿对象2004₁识别为左上中门牙(在牙齿图表中识别为类型21牙齿2010₁)，并且将第二3D牙齿对象2004₂识别为尖齿(在牙齿图表中识别为类型23牙齿2010₂)。

当对3D数据集的所有个体3D牙齿模型进行归类时，计算机还可以确定一些牙齿缺失(例如第三左上和右上磨牙以及第三左下磨牙)。此外，可以渲染表示牙颌面结构的3D输入数据的切片，例如轴向平面的切片2012和矢状平面的切片2016。因为该处理包括将3D输入数据的体素分类为牙颌面结构的不同部分(例如各个颌分段、各个牙齿或各个神经)，所以计算机系统知道3D数据堆栈中的哪些体素属于个体牙齿。以这种方式，计算机可以将一个或多个3D牙齿对象2004_1,2直接与切片中的像素相关联，使得可以容易地选择并突出显示这些像素，例如，高亮显示的像素2014_1,2和2018，和/或隐藏。图20B描绘了类似于图20A的包括标记的3D牙齿对象2022的渲染的牙列2000₂。可以使用牙齿图表2026和/或切片2032、2036来标记各个3D牙齿模型2024_1,2，其提供关于位置和牙齿类型的视觉信息、以及示出/隐藏已分类的3D牙齿模型的标记模型的能力和有关牙齿类型2030_1,2的信息。例如，如图20B中所示，系统可以允许选择牙齿类型22 2030₂，并且在牙列的3D渲染中隐藏相关联的3D牙齿模型。

图21是图示本公开中描述的示例性数据处理系统的框图。数据处理系统2100可以包括通过系统总线2106耦合到存储器元件2104的至少一个处理器2102。照此，数据处理系统可以将程序代码存储在存储器元件2104内。另外，处理器2102可以执行经由系统总线2106从存储器元件2104访问的程序代码。在一方面中，数据处理系统可以被实现为适于存储和/或执行程序代码的计算机。但是，应当理解的是，数据处理系统2100可以以包括能够执行本说明书中描述的功能的处理器和存储器的任何系统的形式来实现。

存储器元件2104可以包括一个或多个物理存储器设备，诸如例如本地存储器2108和一个或多个大容量存储设备2110。本地存储器可以指在程序代码的实际执行期间通常使用的随机存取存储器或(一个或多个)其它非持久性存储器设备。大容量存储设备可以被实现为硬盘驱动器或其它持久性数据存储设备。处理系统2100还可以包括一个或多个高速缓存存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备2110检索程序代码的次数。

被描绘为输入设备2112和输出设备2114的输入/输出(I/O)设备可以可选地耦合到数据处理系统。输入设备的示例可以包括但不限于例如键盘、定点设备(诸如鼠标)等。输出设备的示例可以包括但不限于例如监视器或显示器、扬声器等。输入设备和/或输出设备可以或者直接或者通过中间I/O控制器耦合到数据处理系统。网络适配器2116也可以耦合到数据处理系统，以使其能够通过中间专用或公共网络变为耦合到其它系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：数据接收器，用于接收由所述系统、设备和/或网络传输到所述数据的数据；以及数据发送器，用于将数据传输到所述系统、设备和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统2100一起使用的不同类型的网络适配器的示例。

如图21中所描绘的，存储器元件2104可以存储应用2118。应当认识到的是，数据处理系统2100还可以执行可以促进应用的执行的操作系统(未示出)。以可执行程序代码的形式实现的应用可以由数据处理系统2100(例如由处理器2102)执行。响应于执行应用，数据处理系统可以被配置为执行将在本文中进一步详细描述的一个或多个操作。

在一方面中，例如，数据处理系统2100可以表示客户端数据处理系统。在那种情况下，应用2118可以表示客户端应用，该客户端应用在被执行时配置数据处理系统2100以执行本文中参考“客户端”描述的各种功能。客户端的示例可以包括但不限于个人计算机、便携式计算机、移动电话等。

在另一方面中，数据处理系统可以表示服务器。例如，数据处理系统可以表示(HTTP)服务器，在这种情况下，应用2118在被执行时可以配置数据处理系统以执行(HTTP)服务器操作。在另一方面中，数据处理系统可以表示本说明书中所引用的模块、单元或功能。

本文使用的术语仅出于描述特定实施例的目的，而无意图限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时指定存在所述特征、整数、步骤、操作、元件和/或组件，但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或其组的存在或添加。

所附权利要求中的所有部件或步骤加上功能元件的相应结构、材料、动作和等同物旨在包括用于与其它要求保护的元件组合地执行具体要求保护的功能的任何结构、材料或动作。已经出于说明和描述的目的给出了本发明的描述，但并不意图是详尽的或将本发明限制到所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是清楚的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并使本领域其他普通技术人员能够理解本发明以用于具有适于预期特定用途的各种修改的各种实施例。

Claims (14)

1.一种用于处理表示牙颌面结构的3D数据的计算机实现的方法，包括：

计算机接收3D数据，优选地3D锥束CT(CBCT)数据，3D数据包括牙颌面结构的体素表示，牙颌面结构包括牙列，体素至少与辐射强度值相关联，体素表示的体素定义图像体积；

计算机将体素表示提供给第一3D深度神经网络的输入，3D深度神经网络被训练为将体素表示的体素分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；第一深度神经网络包括定义第一卷积路径的多个第一3D卷积层、以及定义平行于第一卷积路径的第二卷积路径的多个第二3D卷积层，第一卷积路径被配置为在其输入处接收体素表示的第一体素块，并且第二卷积路径被配置为在其输入处接收体素表示的第二体素块，第一体素块和第二体素块在图像体积中具有相同或基本相同的中心点，并且第二体素块表示的现实世界维度下的体积大于第一体素块的现实世界维度下的体积，第二卷积路径确定第一体素块的体素的上下文信息；第一卷积路径和第二卷积路径的输出连接到至少一个全连接层，全连接层用于将第一体素块的体素分类为一个或多个牙齿类；以及

计算机从第一3D深度神经网络的输出接收牙颌面结构的体素表示的分类的体素。

2.如权利要求1所述的方法，其中第二体素块的体积大于第一体素块的体积，第二体素块表示第一体素块的下采样版本，优选地，下采样因子在20和2之间选择，更优选地，在10和3之间选择。

3.如权利要求1或2所述的方法，还包括：

计算机基于分类的体素确定牙颌面结构的单个牙齿的一个或多个体素表示；

计算机向第二3D深度神经网络的输入提供单个牙齿的所述一个或多个体素表示中的每一个体素表示，第二3D深度神经网络被训练为将单个牙齿的体素表示分类为牙列的多个牙齿类中的一个，每个牙齿类与候选牙齿类标签相关联，经训练的第二3D神经网络为候选牙齿类标签中的每一个生成激活值，与候选牙齿类标签相关联的激活值定义单个牙齿的体素表示对由该候选牙齿类标签指示的牙齿类进行表示的可能性。

4.如权利要求1-3中的任一项所述的方法，还包括：

确定牙列的归类，包括：定义候选牙列状态，每个候选状态是通过基于激活值向单个牙齿的多个体素表示中的每一个体素表示指派候选牙齿类标签而形成的；以及基于一个或多个条件评估候选牙列状态，所述一个或多个条件中的至少一个条件要求不同的候选牙齿类标签指派单个牙齿的不同体素表示。

5.如权利要求1-4中的任一项所述的方法，还包括：

计算机使用预处理算法来确定牙颌面结构的3D位置特征信息，3D位置特征信息为每个体素在体素表示中定义与体素在图像体积中相对于牙齿参考对象的位置的位置有关的信息，牙齿参考对象例如是颌、牙弓和/或一个或多个牙齿；以及

在将3D数据提供给第一深度神经网络的输入之前，计算机将3D位置特征信息添加到3D数据，所添加的3D位置特征信息为3D数据提供附加数据通道。

6.如权利要求1-5中的任一项所述的方法，还包括：

计算机基于经训练的第三神经网络对由第一3D深度神经网络分类的体素进行后处理，第三深度神经网络被训练为在其输入处接收由第一深度神经网络分类的体素，并校正由第一深度神经网络错误分类的体素，优选地，第三神经网络基于在第一深度神经网络的训练期间分类的体素作为输入、并基于训练集的3D图像数据的部分牙颌面结构的一个或多个3D数据集作为目标来进行训练。

7.一种用于训练深度神经网络系统以处理牙颌面结构的3D图像数据的计算机实现的方法，包括：

计算机接收训练数据，训练数据包括：3D输入数据，优选地3D锥束CT(CBCT)图像数据，3D输入数据分别定义一个或多个牙颌面结构的一个或多个体素表示，体素与辐射强度值相关联，体素表示的体素定义图像体积；以及训练数据还包括：由训练数据的3D输入数据表示的部分牙颌面结构的3D数据集；

计算机使用预处理算法来确定牙颌面结构的3D位置特征信息，3D位置特征信息为每个体素在体素表示中定义与体素在图像体积中相对于牙齿参考对象的位置的位置有关的信息，牙齿参考对象例如是颌、牙弓和/或一个或多个牙齿；以及

使用训练数据和一个或多个3D位置特征来训练第一深度神经网络，以将体素分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类。

8.如权利要求7所述的方法，还包括：

使用在第一深度神经网络的训练期间分类的体素和训练集的3D图像数据的部分牙颌面结构的一个或多个3D数据集来训练第二神经网络，以对由第一深度神经网络分类的体素进行后处理，其中由第三神经网络进行的后处理包括校正由第一深度神经网络错误分类的体素。

9.如权利要求8所述的方法，还包括：

使用作为要用作训练至少第一深度神经网络的目标的单个牙齿的体素表示的3D数据集，从用作第一深度神经网络的训练输入的至少3D图像数据中选择体素的子集，该子集被用作训练第三深度神经网络的输入；以及

使用与用作训练至少第一深度神经网络的目标的3D数据集相关联的牙齿类标签作为用于训练第三深度神经网络的目标牙齿类标签。

10.一种适于自动地对牙齿的3D图像数据进行分类的计算机系统，优选地服务器系统，包括：

计算机可读存储介质，其上包含有计算机可读程序代码，所述程序代码包括分类算法和深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地微处理器，其中响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，所述可执行操作包括：

接收3D图像数据，优选地3D锥束CT(CBCT)图像数据，3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；

经训练的深度神经网络在其输入处接收3D图像数据，并将图像体积中的体素的至少一部分分类为一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类。

11.一种适于自动地对牙齿的3D图像数据进行归类的计算机系统，优选地服务器系统，包括：

计算机可读存储介质，其上包含有计算机可读程序代码，所述程序代码包括归类算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地微处理器，其中响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，所述可执行操作包括：

接收3D图像数据，优选地3D锥束CT(CBCT)图像数据，3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；

经训练的深度神经网络在其输入处接收3D图像数据，并将图像体积中的体素的至少一部分分类为至少一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；以及

确定牙列的归类，包括：定义候选牙列状态，每个候选状态是通过基于激活值向多个3D图像数据集中的每一个3D图像数据集指派候选标签而形成的；以及基于一个或多个条件评估候选状态，所述一个或多个条件中的至少一个条件要求不同的候选牙齿标签指派不同的3D图像数据集。

12.一种适于自动地对牙齿的3D图像数据进行归类的计算机系统，优选地服务器系统，包括：

计算机可读存储介质，其上包含有计算机可读程序代码，所述程序代码包括归类算法和经训练的深度神经网络、计算机可读程序代码；以及耦合到计算机可读存储介质的处理器，优选地微处理器，其中响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，所述可执行操作包括：

接收3D图像数据，优选地3D锥束CT(CBCT)图像数据，3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；

经训练的第一深度神经网络在其输入处接收3D图像数据，并将图像体积中的体素的至少一部分分类为至少一个或多个牙齿类，优选地分类为牙列的至少32个牙齿类；

经训练的第二深度神经网络接收经训练的第一深度神经网络的结果，并将接收到的体素表示的每个单独牙齿的子集分类为牙齿类的各个标签；以及

确定牙列的归类，包括：定义候选牙列状态，每个候选状态是通过基于激活值将候选标签指派给多个3D图像数据集中的每一个3D图像数据集而形成的；以及基于一个或多个条件评估候选状态，所述一个或多个条件中的至少一个条件要求不同的候选牙齿类标签指派不同的3D图像数据集。

13.一种适于与服务器系统通信的客户端装置，优选地移动客户端装置，所述服务器系统适于根据权利要求10-12自动地对牙齿的3D图像数据进行归类，所述客户端装置包括：

计算机可读存储介质，其上包含有计算机可读程序代码，以及耦合到计算机可读存储介质并耦合到显示装置的处理器，优选地微处理器，其中响应于执行第一计算机可读程序代码，处理器被配置为执行可执行操作，所述可执行操作包括：

传输3D图像数据，优选地3D锥束CT(CBCT)图像数据，3D图像数据定义体素的图像体积，体素与辐射强度值或密度值相关联，体素定义图像体积内的牙颌面结构的3D表示，牙颌面结构包括牙列；

请求服务器系统对牙齿的3D图像数据进行分割、分类和归类；

接收多个3D图像数据集，每个3D图像数据集定义体素的图像体积，体素定义图像体积内的3D牙齿模型；所述多个3D图像数据集形成牙列；

接收与所述一个或多个3D图像数据集相关联的一个或多个牙齿类标签；以及

在显示器上渲染所述一个或多个3D图像数据集和相关联的所述一个或多个牙齿类标签。

14.一种计算机程序产品，包括软件代码部分，所述软件代码部分被配置为当在计算机的存储器中运行时执行如权利要求1-9中的任一项所述的方法的步骤。

Images