CN110678145A - 数字3d牙弓对的自动对齐和取向 - Google Patents

Abstract

本发明提供了一种用于对齐牙弓对(包括下颌和上颌)的数字3D模型以使其处于咬合对齐的方法。该方法估计下颌和上颌3D模型的代表性平面并转换这些模型，使得代表性平面各自与其相应的坐标系对齐并且在水平视图中示出。该方法还转换这些模型，使得下颌和上颌各自与同一坐标系对齐并在前视图中示出。然后使数字3D模型处于咬合对齐，使得下颌与上颌处于闭合或者在接近闭合的距离内。咬合对齐的牙弓对的数字模型也可被转换或旋转，以在前视图中居中显示。

Description

数字3D牙弓对的自动对齐和取向

背景技术

口内三维(3D)扫描仪的使用正变得越来越普遍。这些扫描仪产生数字3D模型，该模型表示患者的牙列(包括硬组织和相关软组织两者)的3D结构。这些3D扫描图可用于许多应用中，诸如在牙冠、植入物和矫治器的创建中最常用于数字牙科和正畸工作流程。使用这些口内扫描仪，可以采集上颌弓和下颌弓两者的3D扫描图。一般来讲，牙弓的数字3D表示可能未以相对于期望的视点或甚至相对于彼此的取向放置。因此，需要自动检测和调节数字3D牙弓对的那些取向。

发明内容

与本发明一致，用于对齐牙弓对的方法包括接收人的下颌的至少一部分的第一数字3D模型和人的上颌的至少一部分的第二数字3D模型。估计下颌和上颌的第一代表性平面和第二代表性平面。对第一数字3D模型和第二数字3D模型进行转换，使得第一代表性平面和第二代表性平面各自与其相应坐标系对齐。还对第一数字3D模型和第二数字3D模型进行转换，使得下颌和上颌各自与同一坐标系对齐。在转换之后，使第一数字3D模型与第二数字3D模型处于咬合对齐，使得下颌与上颌咬合对齐。咬合对齐的数字3D模型也可被转换或旋转，使得下颌和上颌在前视图中显示。

附图说明

附图被结合到本说明书中且构成本说明书的一部分，并且附图与描述一起解释本发明的优点和原理。在附图中，

图1为用于接收和处理基于口内3D扫描图或3D印模扫描图的数字3D模型的系统的图表；

图2为用于牙弓对的自动对齐和取向的方法的流程图；

图3为牙弓曲线参数化的示例；

图4为全牙弓扫描图和象限扫描图的示例；

图5为未咬合对齐的牙弓对连同估计的代表性平面的示例；

图6为咬合对齐的牙弓对的示例；

图7为在使处于咬合对齐之前的牙弓对的示例；并且

图8示出了处于近似咬合对齐的图7的牙弓对。

具体实施方式

本文描述了用于自动对齐和定向一对3D牙弓的技术，诸如下颌和上颌扫描图(人的上牙弓和下牙弓)。该技术可得到如下的牙弓对，该牙弓对被取向成使得它们在标准方向上指向并且彼此靠近并相互取向成水平前视图中所示的咬合对齐。该技术还可使牙弓对在其他方向上和视图中对齐和取向。

图1是用于接收和处理基于口内3D扫描图的数字3D模型的系统10的图表。系统10包括处理器20，该处理器接收牙齿(12)的来自口内3D牙齿扫描图或牙齿印模扫描图的数字3D模型。系统10还可包括电子显示装置16(诸如液晶显示器(LCD)装置)以及用于接收用户命令或其他信息的输入装置18。在美国专利7,956,862和7,605,817中公开了基于来自多个视图的图像集生成数字3D图像或模型的系统，这两个专利都如同全文陈述一样以引用方式并入本文。这些系统可使用口内扫描仪来从牙齿或其他口内结构的多个视图中获得数字图像，并且处理这些数字图像以生成表示扫描的牙齿的数字3D模型。系统10可以用例如台式电脑、笔记本电脑或平板电脑来实现。系统10可通过网络从本地或从远程接收3D扫描图。

本文所介绍的3D扫描图用三角形网格表示。三角形网格是3D表面的常见表示方式，并且具有两个分量。第一分量称作网格的顶点，其仅仅是表面(即，点云)上已重新构建的3D点的坐标。第二分量(即网格面)对物体上的点之间的关联进行编码，并且是一种在连续表面上的离散样品点之间进行插值的有效方式。每个面是由三个顶点限定的三角形，从而得到可以由一组小三角形平面贴片表示的表面。

本文所述的技术使用已经采集的患者的下颌和上颌的3D扫描图。在一些情况下，这些扫描图是全牙弓的，这意味着它们包括牙弓中的所有牙齿；在其他情况下，它们可以是仅包含4至6颗牙齿的象限扫描图。同样，在一些情况下，这两个牙弓的扫描图可为咬合对齐的，这意味着牙弓相对于彼此定位在3D空间中，使得牙齿处于闭合。然而，一般来讲，牙弓可相对于彼此定位在任何任意的3D位置。在任一种情况下，该技术估计3D转换，包括刚性主体旋转和平移，其将牙弓移动到3D空间中的位置使得可发生以下情况：牙弓彼此咬合对齐使得牙齿处于至少近似闭合；咬合平面是水平的，平行于X-Z平面；牙弓在标准方向上取向，面向z轴；并且牙弓围绕原点居中。

本文所用的坐标系仅用于示例性目的，并且所述的技术可用于在其他坐标系和其他视图中使牙弓对对齐和取向。例如，咬合对齐的牙弓对可在侧视图中示出，其中咬合对齐的牙弓对的前部面向X轴，并且该对的一侧从观察者的角度面向Z轴。另外，一旦牙弓对被咬合对齐，观察者就可通过使其旋转以看到所需的视图而任选地与咬合对齐的牙弓对进行交互。

为了实现这些对齐和取向技术，可使用图2的流程图中的方法22来处理接收的病例，该接收的病例包括来自同一人的下颌弓和上颌弓的数字3D扫描图。方法22可在软件或固件模块中实现，例如用于由处理器20执行，或者另选地可在硬件模块或者软件和硬件的组合中实现。

方法22包括检测扫描图(例如，所接收的扫描图12)是全牙弓的还是象限的(步骤24)并确定扫描图是否为咬合对齐的(步骤26)。如果扫描图已经为咬合对齐的，则方法22包括转换(例如，旋转)两个牙弓，使得代表性平面(例如，闭合平面)为水平的(步骤28)，从而找到围绕Y轴的使牙弓指向Z轴的平面内旋转(步骤30)，并使牙弓围绕原点居中(步骤42)。

如果扫描图为未咬合对齐的(步骤26)，则方法22包括以下步骤：转换(例如旋转)下颌，使得其代表性平面(例如，闭合平面)为水平的(步骤32)；转换(例如，旋转)上颌，使得其代表性平面(例如，闭合平面)为水平的(步骤34)；找到围绕Y轴的使下颌指向Z轴的转换(例如，旋转)(步骤36)；找到围绕Y轴的使上颌指向Z轴的转换(例如，旋转)(步骤38)；使两个牙弓一起处于至少近似咬合对齐(步骤40)；以及使牙弓围绕原点居中(步骤42)。

转换(transforming)(和转换(transformation))可包括但不限于旋转或平移，或者旋转和平移两者的组合。

下面描述了这些步骤中的每一个，连同包括在其内的其他处理步骤。还如下文所解释的，步骤30、36和38是不同的，这取决于扫描图是全牙弓的还是象限的。

方法22中的若干步骤需要牙弓曲线参数化，即，横贯牙弓并沿循牙齿顶部的基本上平滑的一维(1D)曲线。该曲线可通过使用诸如局部线性嵌入(LLE)之类的技术来计算扫描图的上部(即，靠近闭合表面的部分)的1D流形嵌入来确定。图3中示出了牙弓曲线参数化的示例，其中1D曲线44覆盖在牙弓的图像上。从牙弓发出的箭头指示其法向。

所采集的3D模型可以是全牙弓扫描图，其覆盖所有存在于牙弓中的牙齿，或象限扫描图，其仅覆盖4至6颗牙齿。图4中示出了这两种类型的扫描图的示例，其示出了全牙弓扫描图46和象限扫描图48。

扫描图是全牙弓的还是象限的可通过以下来自动确定：将牙弓参数化，如图3所示，并且测量曲线(例如曲线44)的短程线长度。全牙弓扫描图将导致比象限扫描图更长的牙弓曲线，并且合适的长度阈值将这两者之间进行区分。在实施过程中，合适的阈值可为例如70mm，其中大于阈值的牙弓曲线被认为是全牙弓的，并且等于或小于阈值的牙弓曲线被认为是象限的。也可使用其他阈值。

对于本发明的实施方案，如果一对牙弓扫描图(即，下颌弓和上颌弓)在法向(垂直)于其代表性平面的方向上紧密在一起，并且当投影到其代表性平面上时它们之间存在显著的重叠，则认为它们处于咬合对齐。由于咬合对齐而紧密在一起，使得牙弓对处于闭合，这意味着彼此接触，或在距闭合的特定距离内，诸如在20mm内，这意味着咬合对齐的牙弓对相距20mm或更小。

代表性平面可使用各种技术来估计，例如在美国专利申请公布2016/0070821中的名称为“对齐方法3—回归或平面拟合(Alignment Method 3–Regression or PlaneFitting)”，并且具体地其中的表3中所述的技术。已发现支持向量回归(SVR)方法有力地估计单个牙弓的代表性平面，无论它是否为全牙弓的象限扫描图。表1提供了用于实现该SVR方法以估计代表性平面的示例性伪代码。

该代表性平面估计的结果为以下形式的平面：

ax+by+cz+d＝0

其中平面法向向量由以下给出：

n＝[a b c]^T

图5分别示出了一对未咬合对齐的牙弓50和54的示例，连同它们的估计的代表性平面52和56。咬合对齐的牙弓对的示例在图6中示出。除了咬合对齐之外，图6中所示的牙弓对也被取向用于所需的视图，在这种情况下为前视图，其中该牙弓从观察者的角度面向Z轴并且相对于X-Z平面为基本上水平的。

如上所述，用于确定两个牙弓是否被咬合对齐的一个标准是基于牙弓的在它们的法向上的两个代表性平面之间的距离。这可根据针对下颌弓的表2中的方法(步骤2a、2b和2c)来计算。

对于上颌弓，重复表2中的方法。如果这些距离很大，则这表明下颌代表性平面和上颌代表性平面相距很远，如图5所示。

用于确定两个牙弓是否处于咬合对齐的第二标准是基于当投影到平面上时两个牙弓之间有多少重叠。这通过以下方式实现：首先将两个牙弓投影到较小牙弓的代表性平面上，然后测量该二维(2D)投影中一个牙弓所占据的区域被另一个牙弓占据多少。如果较小牙弓的代表性平面由n和d给出，则形成一坐标系，其中Y轴是法向向量，并且X轴和Z轴正交，并且来自两个网格的顶点投影到X轴和Z轴上，从而得到每个点的2D坐标。对该2D空间进行量化，并且将重叠单元格的百分比(由两个牙弓占据)制表。

如上所识别并如表1所述，美国专利申请公布2016/0070821中所述的技术之一可用于将近似代表性平面拟合到每个牙弓。该示例在图5中示出。然后，目标是旋转3D空间中的牙弓，使得该代表性平面变为水平的，意味着与本文所用的坐标系的X-Z平面平行。

计算该旋转的过程如下。如果牙弓的平面由n^Tx+d＝0给出，则目标是计算一新的坐标系，其中该平面为水平的。该新的基础可以表示为[a₁ a₂ a₃]，其中：

1.新的Y轴a₂＝n/||n||，使得其平行于平面的法向向量。为了一致性，该过程还确保a₂与原始原点Y轴[0 1 0]^T的点积为正，如果不是则将a₂取反。

2.根据a₁＝a₂×[0 0 1]^T，新的X轴被选择为与先前的Z轴和新的Y轴两者正交。如前所述，为了一致性，该过程确保a₁与原始X轴的点积为正，如果不是则将a₁取反。

3.最后，新的Z轴被选择成与新的X轴和Y轴正交：a₃＝a₁×a₂，再次确保其与原始Z轴具有正点积。

然后可以形成旋转矩阵R＝[a₁ a₂ a₃]，并且每个顶点根据x'＝Rx进行3D旋转。

当已发现扫描图已为咬合对齐的时，则根据下颌弓的代表性平面来旋转这两个牙弓。否则，当扫描图为未咬合对齐的时，每个牙弓根据其自身的代表性平面单独地旋转。

在确保代表性平面为水平的之后，围绕Y轴平面内旋转牙弓，使得它们沿Z轴在标准取向上对齐。这种旋转基于扫描图是全牙弓扫描图还是象限扫描图来进行不同的估计，如下所述。在扫描图为未咬合对齐的情况下，对于每个牙弓，独立地估计这种围绕Y轴的旋转。否则，当扫描图为咬合对齐的时，使用对两个牙弓估计的旋转的平均值。

上述牙弓曲线参数化得到横贯牙弓的平滑1D曲线，例如图3中所示的曲线44。给定该曲线，该曲线的中点可通过以下来估计：找到沿该曲线其短程线距离的一半位于任一侧的点，例如图3中的曲线44上的点45。

提取牙弓曲线的在其中点的位置处的法向向量。该向量的方向仅通过其元素在X轴和Z轴上的反正切给出。然后，该角度给出牙弓围绕Y轴应旋转的量，以便该中点将直接面向Z轴。

对于象限扫描图，采用不同的方法，因为牙弓中点不再是沿着牙弓的固定位置，而是严重依赖于扫描图中包括哪些牙齿。相反，在象限扫描图的情况下，目标是尽可能简单地将牙弓沿Z轴的方向对齐。这通过使用主成分分析(PCA)计算3D中顶点的第一主分量，然后旋转网格使得该成分与Z轴对齐来实现。

在牙弓为未咬合对齐的情况下，如下使牙弓处于近似对齐。首先，将上颌沿Y轴偏移，使得其代表性平面与下颌平面的代表性平面相距所需的距离，例如，平面应当通过相距20mm或更小而处于至少近似闭合。然后，在X-Z平面中将上颌偏移，使得其重心与下颌的重心对齐。

在使处于近似咬合对齐之前和之后的牙弓对的示例分别在图7和图8中示出。

另一个实施方案包括以下方法。可通过3D网格处理和优化的组合实现对牙弓对扫描图的自动咬合对齐。首先，上牙弓和下牙弓大致在上下方向上对齐(基本上与Z轴线平行)，当将PCA施加到网格顶点时，其被定义为具有最小对应特征值的主成分。随后对牙弓进行取向，使得它们在X-Y平面中对齐。这可通过如下方式来实现：对齐1D参数化牙弓形式，或者通过识别在牙齿(诸如尖牙)上标志的位置并设置标志使得它们沿X-Y平面(例如每对上下尖牙的尖端)对齐，使得每对尖牙之间的距离低于阈值。解剖标志的另一种方法是在网格的每个顶点周围使用几何特征(例如，旋转图像描述符)。然后，将具有类似旋转图像描述符的下牙弓和上牙弓的顶点彼此匹配，并且估计使大多数匹配顶点对齐的稳健刚体转换并将其施加到上牙弓。随后以迭代方式3D转换牙弓，直到所有的定向距离均为正且最小化。例如，可使用约束迭代最接近点(ICP)算法来确定3D转换。这种受约束/惩罚式ICP算法估计了两个网格之间的刚体转变，其中与正定向距离相比，网格之间的负定向距离受到更大的惩罚，或反之亦然。该另一个实施方案可用于将咬合对齐的牙弓与处于闭合的牙齿一起呈现。

Claims (20)

1.一种用于对齐牙弓对的方法，包括以下步骤：

接收人的下颌的至少一部分的第一数字3D模型和所述人的上颌的至少一部分的第二数字3D模型；

估计所述下颌的所述第一数字3D模型中的第一代表性平面和所述上颌的所述第二数字3D模型中的第二代表性平面；

对所述第一数字3D模型和所述第二数字3D模型进行第一转换，使得所述第一代表性平面和所述第二代表性平面各自与相应的坐标系对齐；

对所述第一数字3D模型和所述第二数字3D模型进行第二转换，使得所述数字3D模型中的所述下颌和所述上颌各自与同一坐标系对齐；以及

在所述转换步骤之后，使所述第一3D数字模型与所述第二3D数字模型处于咬合对齐，使得所述数字3D模型中的所述下颌与所述上颌咬合对齐。

2.根据权利要求1所述的方法，还包括转换所述第一数字3D模型和所述第二数字3D模型，使得咬合对齐的所述下颌和所述上颌在前视图中取向。

3.根据权利要求1所述的方法，其中第一转换步骤包括转换所述第一数字3D模型和所述第二数字3D模型，使得所述第一代表性平面和所述第二代表性平面从观察者的角度为水平的。

4.根据权利要求1所述的方法，其中第二转换步骤包括转换所述第一数字3D模型和所述第二数字3D模型，使得所述数字3D模型中的所述下颌和所述上颌各自对于同一特定视图被取向。

5.根据权利要求1所述的方法，还包括检测所述第一数字3D模型是表示所述下颌的全牙弓还是象限牙弓，以及所述第二数字3D模型是表示所述上颌的全牙弓还是象限牙弓。

6.根据权利要求5所述的方法，其中所述检测步骤包括：

在所述第一数字3D模型上覆盖横贯所述下颌的第一曲线，并确定所述第一曲线的长度是否大于阈值；以及

在所述第二数字3D模型上覆盖横贯所述上颌的第二曲线，并确定所述第二曲线的长度是否大于所述阈值。

7.根据权利要求1所述的方法，其中使处于咬合对齐的步骤包括：

对所述第二数字3D模型进行第一偏移，使得所述第二代表性平面与所述第一代表性平面相距特定距离；以及

对所述第一数字3D模型进行第二偏移，使得所述数字3D模型中的所述下颌的重心与所述上颌的重心对齐。

8.根据权利要求7所述的方法，其中第一偏移步骤包括偏移所述第二数字3D模型，使得所述第二代表性平面在所述第一代表性平面的20mm内。

9.根据权利要求1所述的方法，其中使处于咬合对齐的步骤包括以迭代方式转换所述第一数字3D模型和所述第二数字3D模型，直到所述数字3D模型中的所述下颌和所述上颌之间的定向距离为正且最小化。

10.一种用于对齐牙弓对的系统，包括：

用于接收人的下颌的至少一部分的第一数字3D模型和所述人的上颌的至少一部分的第二数字3D模型的模块；

用于估计所述下颌的所述第一数字3D模型中的第一代表性平面和所述上颌的所述第二数字3D模型中的第二代表性平面的模块；

用于对所述第一数字3D模型和所述第二数字3D模型进行第一转换，使得所述第一代表性平面和所述第二代表性平面各自与相应的坐标系对齐的模块；

用于对所述第一数字3D模型和所述第二数字3D模型进行第二转换，使得所述数字3D模型中的所述下颌和所述上颌各自与同一坐标系对齐的模块；和

用于在所述转换之后，使所述第一3D数字模型与所述第二3D数字模型处于咬合对齐，使得所述数字3D模型中的所述下颌与所述上颌咬合对齐的模块。

11.根据权利要求10所述的系统，还包括用于转换所述第一数字3D模型和所述第二数字3D模型，使得咬合对齐的所述下颌和所述上颌在前视图中取向的模块。

12.根据权利要求10所述的系统，其中第一转换模块包括用于转换所述第一数字3D模型和所述第二数字3D模型，使得所述第一代表性平面和所述第二代表性平面从观察者的角度为水平的模块。

13.根据权利要求10所述的系统，其中第二转换模块包括用于转换所述第一数字3D模型和所述第二数字3D模型，使得所述数字3D模型中的所述下颌和所述上颌各自对于同一特定视图被取向的模块。

14.根据权利要求10所述的系统，还包括用于检测所述第一数字3D模型是表示所述下颌的全牙弓还是象限牙弓，以及所述第二数字3D模型是表示所述上颌的全牙弓还是象限牙弓的模块。

15.根据权利要求14所述的系统，其中所述检测模块包括：

用于在所述第一数字3D模型上覆盖横贯所述下颌的第一曲线，并确定所述第一曲线的长度是否大于阈值的模块；和

用于在所述第二数字3D模型上覆盖横贯所述上颌的第二曲线，并确定所述第二曲线的长度是否大于所述阈值的模块。

16.根据权利要求10所述的系统，其中使处于咬合对齐的所述模块包括：

用于对所述第二数字3D模型进行第一偏移，使得所述第二代表性平面与所述第一代表性平面相距特定距离的模块；和

用于对所述第一数字3D模型进行第二偏移，使得所述数字3D模型中的所述下颌的重心与所述上颌的重心对齐的模块。

17.根据权利要求16所述的系统，其中所述第一偏移模块包括用于偏移所述第二数字3D模型，使得所述第二代表性平面在所述第一代表性平面的20mm内的模块。

18.根据权利要求10所述的系统，其中使处于咬合对齐的所述模块包括用于以迭代方式转换所述第一数字3D模型和所述第二数字3D模型，直到所述数字3D模型中的所述下颌和所述上颌之间的定向距离为正且最小化的模块。

19.一种用于对齐牙弓对的方法，包括以下步骤：

接收人的下颌的至少一部分的第一数字3D模型和所述人的上颌的至少一部分的第二数字3D模型；

估计所述下颌的所述第一数字3D模型中的第一代表性平面和所述上颌的所述第二数字3D模型中的第二代表性平面；

对所述第一数字3D模型和所述第二数字3D模型进行第一转换，使得所述第一代表性平面和所述第二代表性平面各自与相应的坐标系对齐，其中所述第一转换步骤包括转换所述第一数字3D模型和所述第二数字3D模型，使得所述第一代表性平面和所述第二代表性平面从观察者的角度为水平的；

对所述第一数字3D模型和所述第二数字3D模型进行第二转换，使得所述数字3D模型中的所述下颌和所述上颌各自与同一坐标系对齐，其中所述第二转换步骤包括转换所述第一数字3D模型和所述第二数字3D模型，使得所述数字3D模型中的所述下颌和所述上颌各自对于同一特定视图被取向；以及

在所述转换步骤之后，使所述第一3D数字模型与所述第二3D数字模型处于咬合对齐，使得所述数字3D模型中的所述下颌与所述上颌咬合对齐，其中使处于咬合对齐的步骤包括：

对所述第二数字3D模型进行第一偏移，使得所述第二代表性平面与所述第一代表性平面相距特定距离；以及

对所述第一数字3D模型进行第二偏移，使得所述数字3D模型中的所述下颌的重心与所述上颌的重心对齐。

20.根据权利要求19所述的方法，还包括检测所述第一数字3D模型是表示所述下颌的全牙弓还是象限牙弓，以及所述第二数字3D模型是表示所述上颌的全牙弓还是象限牙弓，其中所述检测步骤包括：

在所述第一数字3D模型上覆盖横贯所述下颌的第一曲线，并确定所述第一曲线的长度是否大于阈值；以及

在所述第二数字3D模型上覆盖横贯所述上颌的第二曲线，并确定所述第二曲线的长度是否大于所述阈值。

Images