CN103079494B

CN103079494B - 2d图像布置

Info

Publication number: CN103079494B
Application number: CN201180041173.2A
Authority: CN
Inventors: T·克劳森; R·费斯克; N·戴克曼; 亨里克·奥杰伦德
Original assignee: 3Shape AS
Current assignee: 3Shape AS
Priority date: 2010-06-29
Filing date: 2011-06-29
Publication date: 2016-09-14
Anticipated expiration: 2031-06-29
Also published as: ES2944305T3; BR112012033392B1; EP3851069A1; EP2588021A4; EP2588021A1; US20130218530A1; RU2012157379A; CN103079494A; JP2013531531A; EP2588021B1; AU2011273999B2; BR112012033392A2; KR101799878B1; AU2011273999A1; EP3851069B1; RU2593741C2; US9336336B2; WO2012000511A1; CA2803028C; KR20140015239A

Abstract

本发明公开了一种设计患者的牙齿修复物(1140)的方法，其中方法包括：‑提供一个或多个2D图像(1101)，其中至少一个2D图像(1101)包括至少一个脸部特征(1103)；‑提供患者的口腔的至少一部分的3D虚拟模型(1102)；‑在虚拟3D空间中相对于3D虚拟模型(1102)布置所述一个或多个2D图像(1101)中的至少一个，使得当从视点观察时，2D图像(1101)和3D虚拟模型(1102)对准，由此3D虚拟模型(1102)和2D图像(1101)都在3D空间中可视化；以及‑在3D虚拟模型(1102)上建模修复物(1140)，其中修复物被设计成适合至少一个2D图像(1101)的脸部特征(1103)。

Description

2D图像布置

技术领域

本发明总体上涉及一种可视化和建模患者的牙齿组的方法。更特别地，本发明涉及提供患者的牙齿组的3D虚拟模型。该方法至少部分地由计算机执行。

背景技术

牙齿的可视化和建模或设计在牙齿修复的领域中是已知的。

当患者需要诸如牙冠、牙桥、基牙或植入物的牙齿修复物时，牙科医生将预备牙齿，例如磨削受损牙齿以制造牙冠粘合在其上的预备体。替代治疗是将诸如钛螺钉的植入物插入患者的颌中并且将牙冠或牙桥安装在植入物上。在预备牙齿或插入植入物之后，牙科医生可以制造上颌、下颌和咬合记录的印模或双面托盘(也称为三重托盘)中的单印模。将印模送至制造修复物(例如，牙桥)的牙科技师。制造修复物的第一步骤传统上是分别从上颌和下颌的印模铸造上和下牙齿模型。模型通常由石膏制造并且常常使用咬合记录来模拟真实咬合和咀嚼运动以使模型在咬合架中进行对准。牙科技师在咬合架的内部构造牙齿修复物以保证漂亮的外观和咬合功能性。

用于制造牙齿修复物的CAD技术发展迅速、改善品质、减小成本并且提高了否则无法使用的有吸引力的材料制造的可能性。CAD制造工艺中的第一步骤是创建患者的牙齿的3D虚拟模型。这传统上通过3D扫描牙齿石膏模型之一或两者而完成。将牙齿的3D复制物输入CAD程序中，在该CAD程序中设计诸如牙桥下部结构的整个牙齿修复物。然后例如使用打磨机、3D打印机、快速原型制造或其它制造设备制造最终修复物3D设计。牙齿修复物的精度要求很高，否则牙齿修复物将不好看，装配到牙齿上会导致疼痛或导致感染。

WO10031404A涉及用于设计牙齿修复物的定制三维模型以用于随后制造的系统中的工具，其中牙齿修复物例如是植入物基牙、顶盖、牙冠、蜡型和牙桥框架。而且，本发明涉及用于在计算机上执行这样的系统的计算机可读介质。

可视化和建模患者的牙齿也从口腔正畸的领域获知。

US2006127836A公开了用于通过以下方式确定牙齿模型从第一位置到第二位置的运动的口腔正畸系统和方法：识别牙齿模型上的一个或多个共同特征；检测在第一位置的牙齿模型上的共同特征的位置；检测在第二位置的牙齿模型上的共同特征的位置；以及确定在第一和第二位置的每个共同特征的位置之间的差异。

因此口腔正畸涉及牙齿的运动，因而确定一个牙齿或多个牙齿的期望位置，并且基于所述一个牙齿或多个牙齿的当前位置，确定从当前位置到期望位置的运动。因此在口腔正畸中，在计划运动的步骤之前已知一个牙齿或多个牙齿的期望或最终位置。

提供一种用于在修复物、植入物、口腔正畸等领域中提供建模牙齿的美观和/或生理合适结果的改进方法和系统仍然是一个问题。

发明内容

公开了一种设计患者的牙齿修复物的方法，其中所述方法包括：

-提供一个或多个2D图像，其中至少一个2D图像包括至少一个脸部特征；

-提供患者的口腔的至少一部分的3D虚拟模型；

-在虚拟3D空间中相对于所述3D虚拟模型布置所述一个或多个2D图像中的至少一个，使得当从视点观察时，所述2D图像和所述3D虚拟模型对准，由此所述3D虚拟模型和所述2D图像都在所述3D空间中可视化；以及

-在所述3D虚拟模型上建模修复物，其中所述修复物被设计成适合所述至少一个2D图像的脸部特征。

术语建模和设计在本文中可互换地使用以描述对修复物做什么以使它适合患者。诸如牙科技师的用户可以在3D虚拟模型上数字地设计或建模修复物。

3D虚拟模型的3D CAD建模基于2D数字图像是有利的，原因是2D图像确定或指示什么类型的建模是合适的，其中表达合适的可以包括生理合适的或美学合适的或吸引人的。因此2D图像用于执行3D模型的正确建模，原因是2D图像用作什么类型的建模是可能的或用2D图像提供的限制可以怎样建模的基准或规则。因此基于一个或多个2D图像决定并且执行3D虚拟模型的建模，即，例如3D虚拟模型的建模基于2D图像的可视化。

如果患者不是无齿的，患者的口腔可以至少包括患者的当前牙齿组，例如预备牙齿或未预备牙齿，并且可能是齿龈的一部分。如果患者是无齿的，则口腔可以包括患者的齿龈。

(一个或多个)2D图像可以典型地是数字图像，并且术语2D数字图像可以在说明书中与术语2D图像可互换地使用。

可以有一个或多个2D图像是有利的。如果有多个2D图像，则一个2D图像可以用于相对于3D虚拟模型对准，并且另一个2D图像可以用于设计修复物。然而，即使有多个2D图像，相同的2D图像也可以用于对准并且用于设计修复物。其它2D图像然后可以仅仅用于可视化和显示等。如果只有一个2D图像，则该2D图像用于与3D虚拟模型对准并且用于设计修复物。

因此包括脸部特征的2D图像可以表示第一2D图像，并且用于相对于3D虚拟模型对准的2D图像可以表示第二2D图像。如果只有一个2D图像，则第一2D图像和第二2D图像是相同的2D图像。如果有多个2D图像，则第一2D图像和第二2D图像可以是相同的2D图像，但是它们也可以是两个不同的2D图像。

修复物被配置成例如通过快速制造(例如通过打磨、打印等)进行制造。修复物可以例如通过在机器制造之后将搪瓷加到它的表面而进行镶面。当修复物完成时，它可以插入患者的口中。

当从一个视点观察时2D数字图像和3D虚拟模型对准是有利的，原因是由此执行该方法的系统的用户或操作者可以从它们被对准的视点观察2D图像和3D模型，原因是这允许并且便于3D模型的建模基于2D图像。当从某个视点观察时2D图像和3D模型对准意味着当从视点观看时2D图像和3D模型的至少一些结构重合。因此当从任何视点观看时2D图像和3D模型可能不会对准，因此可能只有一个视点，从该视点观察2D图像和3D模型对准。

此外，2D图像和3D模型作为不一起合并或融合成一个表示的独立数据表示而布置和保持是有利的。通过作为独立表示保持数据表示，节省了时间并且减小数据处理时间和容量。因此2D图像不叠加或覆盖到3D虚拟模型上以用所包括的所有数据创建一个表示。现有技术的文献描述例如来自彩色图像的数据加入3D模型，使得来自图像的彩色内容转移到3D模型，由此结果是一个表示，即，3D模型包括彩色。创建这样的模型需要更多的时间和全面的数据处理。

因此，本方法可以比现有技术的方法更快地执行是有利的。

该方法例如用于建模牙齿，但是当然也可以有利地由牙科领域中的研究者用于学习如何建模牙齿以及在建模牙齿时考虑什么。

牙齿的建模被限定为包括一个或多个牙齿修复物的建模、一个或多个植入物的建模、建模一个或多个牙齿的口腔正畸运动、建模义齿(例如固定或活动义齿)中的一个或多个牙齿，从而提供牙齿组的视觉上美观的外观等。

因此建模可以包括修复物的建模、口腔正畸计划和/或处理、植入物的建模、义齿的建模等。当CAD建模例如包括修复物时，虚拟建模的修复物(例如牙冠和牙桥)可以借助于CAM进行制造，并且制造的修复物然后可以由牙科医生最后插入患者的牙齿上。

将2D数字图像布置、放置或定位在3D虚拟模型上被在计算机上数字地执行并且显示在诸如屏幕的用户界面上，使得用户或操作者获得2D图像和3D模型一起在相同视野中的视觉表示，由此操作者可以基于2D图像和3D模型的同步视图而不是基于2D图像和/或3D模型的一个组合表示或独立视图执行建模。

为了便于2D图像和3D模型相对于彼此的布置，可以执行边缘检测，由此自动地导出2D图像和/或3D模型上的牙齿的轮廓。边缘检测可以借助于软件算法执行。边缘是在图像区域之间有边界或边缘的点，并且因此边缘可以被限定为具有大梯度幅值的图像中的点的集合。因此可以通过检测显示牙齿和牙龈的图像部分之间的边缘而检测牙齿的轮廓。

可以在该方法中提供一个或多个2D图像，并且2D图像例如可以从不同方向显示患者的脸部，显示患者的脸部的不同部分，例如呈唇和眼或鼻的形式的脸部特征以用于确定脸部线，显示3D模型的牙齿可以建模以看起来像的新牙齿的不同例子，显示在为修复物预备牙齿之前和在预备牙齿之后患者的牙齿，等等。

在一些实施例中，在所述3D虚拟模型中的至少一个预备牙齿上设计所述修复物。

在一些实施例中，基于一个或多个未预备牙齿对准所述2D图像和所述3D模型。

在一些实施例中，所述3D虚拟模型中的预备牙齿是患者的牙齿的实体预备体。

在一些实施例中，所述3D虚拟模型中的预备牙齿是在所述3D虚拟模型上建模的虚拟预备体。

在一些实施例中，所述3D虚拟模型包括至少一个预备牙齿。

在一些实施例中，所述3D虚拟模型包括未预备牙齿，并且其中所述3D虚拟模型是预备至少一个牙齿之前的患者的口腔。

在一些实施例中，所述方法包括提供两个3D虚拟模型，其中第一3D虚拟模型包括至少一个预备牙齿并且第二3D虚拟模型包括未预备牙齿，并且其中对准所述第一和第二3D虚拟模型。

在一些实施例中，对准所述2D图像和包括未预备牙齿的所述第二3D虚拟模型。

在一些实施例中，基于所述第一和第二3D虚拟模型之间的对准并且基于所述2D图像和所述第二3D模型之间的对准，对准所述2D图像和包括至少一个预备牙齿的所述第一3D虚拟模型。

当对准2D图像和3D模型时，2D图像可以是患者的未预备牙齿，原因是当2D图像上的牙齿未预备时，可以更容易对准2D图像和3D模型。当建模修复物(例如3D模型的新牙齿)时，2D图像然后可以是患者的预备牙齿，原因是例如通常在通过切割牙齿的一部分预备牙齿之后建模修复物，使得牙冠等可以附连到牙齿的预备部分。

在基于具有预备牙齿的2D图像设计/建模3D模型上的修复物之前，可以将预备牙齿的2D图像对准到未预备牙齿的2D图像，原因是例如使用唇和脸部的其它特征或牙齿，对准预备和未预备牙齿的2D图像可以比对准预备牙齿的2D图像和3D模型更容易，在这里原因是可能难以找到这些上的相应特征。

然而，也可以在牙科医生预备任何一个牙齿或多个牙齿之前使用该方法，例如用于为患者呈现和显示如果在牙齿中的一个或多个上进行修复则他的牙齿组看上去怎样。

该方法也可以用于在执行处理之前设计用于可视化修复的结果的诊断蜡型。

当设计诊断蜡型时，可以制造虚拟边界线和虚拟预备体以用于设计诊断蜡型，尽管不制造真实的预备体。

该方法可以用于设计暂替物，在牙科医生预备牙齿之后并且在最后修复物被制造并且放置在预备牙齿上之前患者可以穿戴所述暂替物。

例如可以通过选择2D图像中的牙齿(例如处于修复物将放置的位置的牙齿)或不同的美观牙齿自动地设计修复物。在2D图像中，只能从一个视点看到被选择牙齿，因此在2D图像中只能看到牙齿的前侧、宽度和高度。因此不能看到牙齿的后侧。可以从库选择标准模型牙齿，并且该模型牙齿可以成形为2D图像中的被选择牙齿。模型牙齿或修复物只能成形为在2D图像中看到的表面中的被选择牙齿。模型牙齿或修复物的剩余部分可以根据口中的该相应位置的牙齿的某个标准成形。例如，中牙的后侧或远侧表面可以典型地平坦，而犬齿的远侧表面可以典型地为三角形，并且臼齿的远侧表面可以典型地类似牙齿的近中面。或者相邻牙齿或在口中的中线的另一侧上的相应牙齿的远侧表面可以用于成形不能从2D图像导出的修复物的表面。可以在3D虚拟模型上设计修复物，并且可以自动地设计例如与预备体接触的修复物的部分以类似修复物的形状。

修复物可以是牙冠、牙桥、基牙、植入物、义齿(例如固定或活动义齿、全口义齿或部分义齿)、诊断蜡型、暂替物等。

设计修复物可以包括设计预备体的至少一部分、设计患者的口中围绕修复物的牙龈的至少一部分等。

将修复物设计成适合或匹配至少一个2D图像的脸部特征是有利的，原因是这将提供相对于患者的脸部看上去自然的修复物和/或这将提供美观(例如对称)的修复物。用于设计牙齿的牙科技术规则、数学或算法规则和/或美学规则可以编程到软件中或用于软件或方法中以用于将修复物设计成适合脸部特征，并且基于这些规则，可以例如部分自动地设计修复物。牙科技师或牙科专家可以使用关于牙科美学和规则的他/她的经验和知识来设计和确定修复物何时适合患者的图像中或脸部的模板或标准图像中的脸部特征。

将修复物设计成适合2D图像的脸部特征可以基于用于修复物设计的完全客观规则。然而将修复物设计成适合2D图像的脸部特征可以备选地和/或附加地基于牙科技师或牙科医生的更主观意见和选择。

在一些实施例中，所述脸部特征存在于患者的图像中和/或人的一般图像中。

在一些实施例中，所述脸部特征是一个或两个唇、一个或多个牙齿和/或脸部的形状和/尺寸。

在一些实施例中，所述脸部特征包括适合于在所述2D图像中检测的脸部的一个或多个假想线，例如中线、水平线和/或重瞳线。

如果2D图像是患者的脸部的至少一部分的图像，则用于设计修复物的脸部特征可以是患者的唇、患者的口的微笑线、患者的脸部中的对称线、患者的脸部的中线、患者的脸部的水平线、患者的前牙等。因此可以通过使修复物适合患者的唇、通过使修复物适合患者的口的微笑线、通过使修复物适合患者的前牙等设计修复物。

如果2D图像是一般模板脸部的图像，例如图画，则用于设计修复物的脸部特征可以是模板脸部的对称线、模板脸部上的牙齿的形状和尺寸等。

当将修复物设计成适合脸部特征时，修复物可以被设计，使得当患者自然微笑时，从上唇的边缘到前牙(例如中牙)的切缘有一定距离；和/或使得当患者微笑时，中牙的一定比例或量是可见的。

此外，当将修复物设计成适合脸部特征时，可以通过考虑患者的脸部的形状、患者的性别、患者的表型特征(即患者是亚洲人、非洲人还是高加索人等)设计修复物。例如，亚洲人典型地具有较小的牙齿，男性典型地具有比女性更大的牙齿，卵形牙齿典型地适合鸭蛋形脸部形状等。

此外，如果患者具有小牙弓或颌，则相比于具有大牙弓和在犬齿之间具有较大距离的患者中的牙齿，犬齿之间的距离将典型地更小，并且前牙将典型地更窄。

在一些实施例中，所述修复物是牙冠、牙桥、基牙、植入物、义齿、诊断蜡型和/或暂替物。

在一些实施例中，执行所述修复物的设计以自动地适合所述至少一个2D数字图像的所述脸部特征。

在一些实施例中，通过选择所述2D图像中的牙齿并且将所述修复物建模成具有与所述被选择牙齿相同的形状而设计所述修复物。

在一些实施例中，通过扫描患者的牙齿的实体模型、通过扫描患者的牙齿的印模和/或通过执行患者的牙齿的直接扫描而生成所述3D虚拟模型。如果患者是无齿的，则可以扫描齿龈、齿龈的模型或印模以用于创建口腔的3D模型。

在3D扫描中，分析对象以收集关于它的形状的数据。被收集的数据然后可以用于构造数字、三维模型。在3D扫描中，通常创建对象的表面上的几何样本的点云。这些点然后可以用于推断对象的形状。

在一些实施例中，所述一个或多个2D数字图像包括患者的脸部的至少一部分的患者特定图像。

该实施例的优点在于建模可以基于患者的图像，使得相对于形成患者的容貌或外观的脸部特征或相对于患者的一些、几个或单一、特定视觉脸部特征(例如唇)执行建模。

在一些实施例中，所述一个或多个2D数字图像包括人脸的至少一部分的一般图像。

该实施例的优点在于建模可以基于一般图像，由此它不是确定建模的患者特定脸部特征，而是一般图像，例如脸部特征可以是来自另一个人的一些视觉上好看的牙齿，或者脸部特征可以是一些理想牙齿的图画等。

在一些实施例中，从包括多个牙齿的图像的库检索所述一个或多个2D数字图像。

该实施例的优点在于可以从例如包含若干牙齿的图像的库选择2D图像(例如一般图像)，使得患者例如可以从库选择他/她期望的新牙齿组。库可以是包括在微笑时显示的牙齿和/或口的图像的所谓的微笑指导库，原因是当微笑时视觉上好看的牙齿可能是最重要的，原因是就在这时向周围人展示多数牙齿。

库中的牙齿的图像可以是牙齿的照片，可以是牙齿的图画等，并且因此脸部特征然后是牙齿。

在一些实施例中，所述2D图像包括适合用于设计所述修复物的用于提供视觉对称性的十字。

在一些实施例中，所述一个或多个2D数字图像是用于支持设计患者的牙齿的模板。

该实施例的优点在于当2D图像是模板时，然后操作者可以使用该模板布置和建模牙齿以用于获得建模的视觉上好看的结果。因此模板可以包括呈引导线、用于布置牙齿的粗略方块等形式的脸部特征。

因此患者的脸部中的脸部特征(例如假想线，例如中线、水平线、重瞳线等)可以用于确定被修复牙齿将看起来如何，即，诸如线的特征可以用于设计(一个或多个)修复物。

在一些实施例中，所述模板包括呈脸部的中线的形式的脸部特征。

在一些实施例中，所述模板包括呈沿着前牙通过的水平线的形式的脸部特征。

在一些实施例中，所述模板包括呈脸部的咬合平面的形式的脸部特征。

模板包括一些脸部特征(例如脸部的中线、水平线、咬合平面等)的实施例的优点在于这些特征可以有助于使2D图像和3D模型相对于彼此布置并且有助于3D模型的修复物的建模。

在一些实施例中，所述模板包括呈适合于适合中牙、侧牙和犬牙的框的形式的脸部特征。

该实施例的优点在于它允许操作者将不同前牙的修复物容易地建模成视觉上好看。例如侧牙可以有利地是中牙的宽度的2/3，并且犬牙或犬齿可以有利地略窄于中牙。

在一些实施例中，所述模板包括呈前牙的一个或多个长轴的形式的脸部特征。

该实施例的优点在于长轴可以用于指示牙齿的长轴对准和/或牙齿的垂直方向以用于支持建模修复物。

在一些实施例中，呈至少上前牙的长轴的形式的所述脸部特征朝着切缘或咬合边缘会聚。

该实施例的优点在于当至少上前牙的长轴朝着切缘会聚时它是视觉上好看的。

在一些实施例中，所述模板包括呈牙齿的轮廓的形式的脸部特征。

在一些实施例中，所述轮廓包括从前面看到的一个或多个牙齿的形状。

与牙齿的轮廓相关的实施例的优点在于使用一些合适的牙齿的好看轮廓可能是建模3D模型的牙齿修复物的简单和容易方式。

在一些实施例中，所述模板包括呈曲线的形式的脸部特征。

该实施例的优点在于借助于曲线可以测量或观察距离和角度。例如可以从曲线的中心测量距离，并且在一个例子中，操作者可以测量离曲线上的某个点的x mm，并且在该距离处可以布置一些特定物，例如侧牙上的远点。此外曲线可以是对称曲线以用于保证被建模牙齿修复物将是对称的。

在一些实施例中，呈曲线的形式的所述脸部特征包括符合从前面或从上面看到的上和/或下前牙的弓。

在一些实施例中，呈曲线的形式的所述脸部特征包括适合于符合自然微笑中的下唇和上牙的切缘的微笑线。

在一些实施例中，所述模板包括呈用于指示牙龈组织的位置的一个或多个曲线的形式的脸部特征。

与牙齿的和/或口和唇的曲线相关的这些实施例的优点在于使用某种类型的(一个或多个)曲线可能是建模3D模型的牙齿修复物的简单和容易方式。

在一些实施例中，所述一个或多个2D数字图像至少显示多个前牙。

具有呈前牙的形式的脸部特征是有利的，原因是前牙可以是用于设计其它牙齿修复物的良好起点。

在一些实施例中，所述一个或多个2D数字图像是至少显示呈从前面看到的患者的唇和牙齿的形式的脸部特征的照片。

该实施例的优点在于当2D图像显示患者的唇和现存的牙齿时，然后可以执行牙齿修复物的建模，使得它们适合患者的唇和不变的牙齿，提供建模的视觉上好看的结果。

在一些实施例中，所述方法还包括如果所述2D图像包括牙齿，虚拟地切掉所述一个或多个2D数字图像的牙齿的至少一部分，使得至少唇在所述2D数字图像中保持可见。

该实施例的优点在于当在2D图像中唇可见并且牙齿不可见或仅仅部分可见时，则容易可视化具有患者的唇的3D虚拟模型的被建模牙齿修复物并且确定修复物是否是建模的良好结果。可以虚拟地或数字地执行切掉2D图像的牙齿，使得与牙齿相关的2D图像中的信息被去除、删除、变得不可见等。

如果在牙齿之间(例如在2D图像中的上牙和下牙之间)有自由空间，则也可以从2D图像去除该自由空间，使得去除唇的边缘内部的任何物，从而可以在唇的边缘内看到3D模型。唇自身应当优选地不被切掉，原因是在设计牙齿的修复物时应当优选地看到唇，使得修复物被设计成适合患者的唇或来自模板2D图像的标准、模板、模型唇。

可以通过分割2D图像中的唇和牙齿执行虚拟地切掉2D图像的牙齿。通过牙科技师用数字绘图工具沿着唇和/或牙齿的边缘或线手动地绘图并且由此执行分割，可以执行分割。也可以借助于公知的图像处理算法自动地执行分割。也可以借助于分析2D图像中的色差并且使用牙齿通常是白色/黄色或灰色并且唇通常是红色/粉红色/肉色的准则执行分割。也可以通过限定一个或多个唇模型或牙齿模型并且然后数字地搜索2D图像以获得匹配唇模型和/或牙齿模型的特征而执行分割。

可以借助于图像处理工具、数字绘图工具(例如手动工具、半自动工具、全自动工具)、标准图像处理工具、不同绘图工具的组合等标记唇的边缘。

2D图像中的一个可以是患者的2D图像，其中可以在唇的后面看到牙齿，例如其中例如在患者微笑(例如他/她的自然微笑)的图像中看到尽可能多的牙齿。

可以在2D图像中看到患者的当前牙齿可能是有利的，原因是这可以在设计修复物时使用。特别地，然而在设计修复物时可以使用当患者微笑时患者的当前牙齿和唇相对于彼此看上去或看起来如何。

2D图像中的另一个可以是患者的2D图像，其中不能看到牙齿，例如其中唇闭合在一起。

在一些实施例中，所述3D虚拟模型在唇的后面可见。

该实施例的优点在于当可以在唇的后面看到3D模型时，然后可以在观察唇的同时执行牙齿修复物的建模以用于确定建模是否令人满意。

在一些实施例中，所述方法包括切掉在唇的边缘的内部的所述2D图像的部分。

在一些实施例中，在所述2D图像上标记唇的边缘。

在一些实施例中，借助于数字绘图工具手动地标记唇的边缘。

在一些实施例中，借助于数字样条曲线标记唇的边缘。

在一些实施例中，借助于半自动绘图工具标记唇的边缘。

当将在相同时间观察/观看/呈现来自2D图像的部分和来自3D虚拟模型的部分时，然后例如可以选择与2D图像中的唇相关的像素进行观察并且可以选择与3D虚拟模型中的牙齿相关的像素进行观察，并且可以这样在视图中组合2D图像和3D虚拟模型。

作为切掉2D图像的牙齿的替代选择，可以使2D图像中的牙齿透明，使得可以代替2D图像牙齿看到3D模型中的牙齿。例如通过选择观察一些像素并且选择不观察其它像素，可以类似于切割执行使2D图像中的牙齿透明。

在一些实施例中，所述一个或多个2D数字图像显示患者的脸部，使得呈诸如中线和重瞳线的脸部线的形式的脸部特征是可检测的。

该实施例的优点在于脸部线确定患者的脸部的几何形状，并且为了获得建模的视觉上好看的结果，牙齿应当适合该总体几何形状。

在一些实施例中，所述一个或多个2D数字图像是患者的牙齿的X射线图像。

该实施例的优点在于当使用或应用患者的牙齿的X射线图像时，可以看到具有在牙龈之下的牙根的整个牙齿，因此可以检测断裂或弱化的牙齿或牙根。由此可以计划布置例如将力施加于牙齿和牙根的植入物以将力施加于未断裂或结实的牙齿和牙根而不是施加于断裂或弱化的牙齿和牙根。

在一些实施例中，所述方法还包括提供患者的脸部的3D计算机断层摄影扫描以便于对准所述一个或多个2D图像和所述3D模型和/或建模所述3D虚拟模型。

在一些实施例中，所述一个或多个2D数字图像是来自视频记录的静止图像。

在一些实施例中，从3D脸部扫描导出所述一个或多个2D数字图像。

当在屏幕上看到3D脸部扫描时可以从某个视角看到它，由此产生3D扫描的某个2D投影。因此可以从3D脸部扫描的2D投影导出2D图像。

在一些实施例中，所述方法还包括提供患者的3D脸部扫描以便于对准所述一个或多个2D图像和所述3D模型和/或建模所述3D虚拟模型。

可以借助于对准和/或组合脸部的多个子扫描(例如来自不同角度的子扫描)提供3D脸部扫描。

此外，子扫描中的至少一些可以至少部分地重叠。

脸部扫描也可以包括纹理，并且子扫描的至少一部分的子纹理的至少一部分可以例如通过纹理编织进行颜色调节和/或颜色插值以提供3D脸部扫描或3D模型的纹理。

当执行患者的脸部扫描时，患者的头发的至少一部分可以用反光粉上粉。

此外，来自多个子扫描的剪影可以被挤出并且随后交叉以提供可见外壳接近。

来自2D图像或脸部扫描的纹理(例如颜色)可以映射到3D虚拟模型上和/或映射到修复物上。

如果修复物类似正在修复的原来牙齿，则使用来自2D图像的纹理(例如颜色)可能是有利的。但是如果修复物不类似原来牙齿或者如果没有原来牙齿，则来自2D图像的纹理(例如颜色)可以不映射到修复物。

将来自2D图像的纹理(例如颜色)映射到3D虚拟模型和/或修复物上可以有利于设计修复物，原因是它例如可以有助于确定修复物的颜色和/或修复物的其它纹理特征。

可以至少部分地分割3D模型中的牙齿和组织(例如牙龈)。可以借助于计算机执行算法(例如应用于牙齿表面的3D矩阵表示曲率的最短路径算法)提供分割。

分割可以备选地/附加地至少部分地基于3D模型中的颜色信息。

在一些实施例中，患者的脸部扫描提供当患者微笑时上唇和/或下唇移动的距离的度量，并且所述距离适合用于测量牙齿中的至少一些的理想长度。

该实施例的优点在于至少前牙的长度对于牙齿的视觉外观是重要的。

在一些实施例中，所述方法还包括使所述一个或多个2D数字图像的至少一部分至少部分地透明，使得所述3D虚拟模型通过所述2D数字图像可见。

透明可以表示完全透明，例如表示某物完全不可见、部分透明或半透明，例如表示图形部分地透明，例如类似于有色玻璃。可以通过混合颜色在某种程度上模拟部分透明。

当来自2D图像的全部或部分和/或来自3D虚拟模型的全部或部分应当透明时，然后例如可以选择2D图像中的像素中的一些(例如每隔一个)进行观察并且选择3D虚拟模型中的像素中的一些(例如另外每隔一个)进行观察，并且可以这样在视图中组合2D图像和3D虚拟模型，使得它们中的一个或两者变为透明，例如可互换地透明。

例如通过选择某些像素进行观察并且选择其它像素不进行观察获得类似于透明的淡化。

在一些实施例中，所述一个或多个2D数字图像适合于在视图中平滑地淡入和淡出。

该实施例的优点在于当在视图中平滑地淡入和淡出2D图像时，这使2D数字图像的可视化从完全可见变为部分可见并且然后可能不可见，反之亦然。由此可以根据用户需要观察2D图像。淡入和淡出可以是逐渐的。

在一些实施例中，所述方法还包括使所述3D虚拟模型的至少一部分至少部分地透明，使得所述一个或多个2D数字图像中的至少一个通过所述3D虚拟模型可见。

在一些实施例中，所述方法包括在视图中平滑地淡入和淡出所述3D模型。

在一些实施例中，所述2D图像和所述3D模型适合于在视图中交替地淡入和淡出。

在一些实施例中，当所述3D模型在视图中淡出时，所述2D图像适合于在视图中淡入，反之亦然。

在一些实施例中，所述2D图像和所述3D虚拟模型适合于彼此独立地在视图中淡入和淡出。

在一些实施例中，所述3D虚拟模型包括患者的牙齿组。

在一些实施例中，借助于相对于彼此定标、平移和/或旋转所述2D图像和/或所述3D模型对准所述2D图像和所述3D虚拟模型。

在一些实施例中，所述2D图像的视图是固定的，并且所述3D虚拟模型相对于所述2D图像定标和/或平移和/或旋转。

在一些实施例中，所述方法包括选择提供最佳适合所述2D数字图像的所述3D虚拟模型的视点。

在一些实施例中，所述3D虚拟模型中的上牙和下牙的牙齿咬合适合于进行调节以类似所述2D图像中的上牙和下牙的咬合。

在一些实施例中，所述方法还包括定标所述一个或多个2D数字图像和所述3D虚拟模型以显示相同尺寸的牙齿的至少一部分。

该实施例的优点在于应当以相同标度显示2D图像和3D模型以便最佳地执行建模。定标可以是例如3D虚拟模型的尺寸自动修改到2D数字图像的尺寸，或者反之亦然。备选地，定标可以是2D图像和3D模型两者以将它们尺寸调整到预定标度。

在一些实施例中，所述方法还包括对准所述一个或多个2D数字图像和所述3D虚拟模型。

该实施例的优点在于当对准2D图像和3D模型时，然后可以更容易地并且以更好的结果执行修复物的建模。对准可以被限定为一个对象相对于另一个对象的调节，使得对象的结构重合。因此可以对准2D图像和3D模型的相同或相似结构。

在一些实施例中，所述一个或多个2D图像上和所述3D虚拟模型上的至少上前牙的咬合边缘的剪影用于执行所述2D图像和所述3D虚拟模型的对准。

该实施例的优点在于在许多情况下在2D图像上和3D模型上都可以看到上前牙的咬合边缘，并且因此该咬合边缘可以是有利的实体对准点。

在一些实施例中，所述方法还包括将所述一个或多个2D数字图像的平面投影到所述3D虚拟模型。

该实施例的优点在于当将2D图像的平面投影到3D模型或投影到3D模型的平面时，可以在相同平面中观察3D模型和2D图像，当建模牙齿修复物时这是有利的。否则在相同平面中观察3D模型和2D图像可能是复杂的。

在一些实施例中，所述方法还包括改变所述一个或多个2D数字图像的和/或所述3D虚拟模型的透视图以获得相同的透视图。

该实施例的优点在于当可以在相同透视图中看到2D图像和3D模型时可以便于修复物的建模。

为了对准2D图像和3D模型，可以执行3D模型的2D投影。投影可以是透视投影、平行投影(例如正投影)等。可以在2D图像和3D模型上选择相应点，可以将3D模型投影到2D空间上，并且可以最小化2D投影的3D模型和2D图像上的相应点之间的距离，直到相应点的位置重合或几乎重合。例如在用于对准3D模型的迭代最近点(ICP)方法中，可以借助于迭代最小化位置。

在一些实施例中，所述方法还包括去扭曲所述一个或多个2D图像的透视图以用于视觉地对准所述2D图像和所述3D虚拟模型。

如果患者的口的2D图像例如在从上面、下面和/或从侧面的角度拍摄，但是期望从前面看到患者的口的2D图像，则可以使用去扭曲，原因是当设计患者的牙齿的修复物时，前面图像可以更容易使用。

扭曲或去扭曲可以用于修正图像失真。扭曲或去扭曲可以包括点到点映射。这可以在数学上基于从平面(的一部分)到平面的任何函数。

因此该实施例的优点在于当去扭曲或修正2D图像的透视图时，然后数字地操作该视图，并且由此2D图像的透视图上的点可以映射到3D模型或它的平面上的点。在去扭曲或修正2D图像的透视图之后，可以再对准3D模型，使得再次对准2D图像和3D模型。

因此可以通过将2D图像或来自2D图像的牙齿投影到3D虚拟模型上而执行去扭曲。由于3D模型可能仅仅包括患者的牙齿，因此脸部模型(例如患者自己的脸部或一般脸部模型)可以用于对准2D图像和3D虚拟模型。现在可以选择3D虚拟模型的新透视图并且可以从这导出新的2D图像。该新的2D图像可以是原始失真的2D图像的经修正的、无失真的版本或视图。

在一些实施例中，定标、对准、投影到平面、去扭曲透视和改变透视被限定为用于布置或对准的虚拟动作。

在一些实施例中，所述用于布置的虚拟动作中的一个或多个包括所述一个或多个2D数字图像的和/或所述3D虚拟模型的旋转和左/右和前/后平移。

该实施例的优点在于通过提供旋转、平移等，然后可以执行2D图像的和/或3D模型的不同运动以便于定标、对准、透视图变化并且最终便于牙齿的建模。

在一些实施例中，所述方法还包括以下步骤：

-检测牙齿上的解剖点，其中所述解剖点在所述一个或多个2D数字图像和所述3D虚拟模型上是存在的和可检测的，以及

-基于这些相应的解剖点，执行所述用于布置的虚拟动作。

该实施例的优点在于使用2D图像和3D模型上的相应、共同或相互解剖点可能是执行2D图像和3D模型的对准的容易方式，随后可以执行牙齿修复物的建模。

为了正确地对准2D图像和3D虚拟模型，2D图像和3D模型上的相应点的数量可以类似于用于使2D图像和3D模型相对于彼此移动的自由度(DOF)的数量。自由度的数量例如可以为七个；因此可能需要七个相应点执行2D图像和3D虚拟模型的正确对准。为了计算自由度的数量，可以估计照相机模型。照相机模型可以包括多个内部参数和多个外部参数。内部参数可以是放大(也被称为扩大或定标)和透视投影或失真。外部参数可以是照相机相对于对象(例如牙齿组)的放置和取向。

自由度可以是在空间中的三个方向上的平移和围绕空间三个轴的旋转。

为了减小自由度的数量，并且因此例如为了减小2D图像和3D模型上的相应点的所需数量，可以假设所有牙齿位于相同平面内。然后内部参数不应当包括透视投影或失真，而是仅仅包括放大。因此可以假设平行投影，并且例如可以备选地和/或附加地假设患者的脸部的2D图像正好从前面俘获。

如果患者的牙齿从大约1米的距离处进行拍照(当针对该方法为牙齿拍照时典型地可能就是这种情况)，则关于平行投影的假设可能是可接受的。

对于一些情况，假设所有牙齿位于相同平面内可能是合理的，但是在其它情况下该假设可能不正确，并且可能难以乃至不可能使用该假设对准2D图像和3D虚拟模型。

在实践中，可以通过将2D图像固定就位并且然后通过使用例如3D运动控制器、3D导航装置、6DOF装置(六自由度)或3D鼠标(例如空间球)相对于固定的2D图像移动3D虚拟模型而执行对准。

如果3D虚拟模型可以降阶到2D模型，则可以使用三个点对准2D图像和2D模型，原因是对准然后可以包括放大或定标、在一个方向上的平移和围绕一个轴线的旋转。

对准2D图像和3D虚拟模型的困难部分可能是执行旋转，原因是平移和定标或放大可能更容易执行。

可以在设计修复物的软件程序中启动透视投影，并且当启动透视投影时，2D图像和/或3D虚拟模型可以包括更大的深度。

透视可以是可以在用于执行该方法的软件程序中进行调节、启动、固定等的参数。

在一些实施例中，选择至少一个相应解剖点以执行所述用于布置的虚拟动作。

该实施例的优点在于2D图像和3D模型上的一个共同或相互点可能足以用于使2D图像和3D模型相对于彼此布置。然而在其它情况下，2D图像和3D模型应当使用多个点(例如两个、三个或四个点)进行对准。一般三个点可能是合适的。四个点可以用于执行更加好的布置或用于更困难的情况中。

在一些实施例中，所述方法还包括以下步骤：

-提供虚拟测量条，以及

-借助于针对所述虚拟测量条的调节，执行所述一个或多个2D数字图像的和/或所述3D虚拟模型的所述用于布置的虚拟动作。

该实施例的优点在于可以容易和快速地使用虚拟测量条来执行用于布置的虚拟动作，例如定标，其中2D图像和3D模型的尺寸被调节以彼此对应。

在一些实施例中，所述方法还包括用户借助于目测执行所述一个或多个2D数字图像的和/或所述3D虚拟模型的所述用于布置的虚拟动作。

该实施例的优点在于仅仅通过使用简单的目测，操作者可以很快速地和可靠地执行2D图像和3D模型相对于彼此的布置或执行用于更精细调节的大致起点。

在一些实施例中，所述解剖点是多个特定前牙上的上和/或下远和/或近中点。

该实施例的优点在于前牙的上和/或下远和/或近中部分上的解剖点通常容易在2D图像上和3D模型上进行检测。

在一些实施例中，基于所述一个或多个2D数字图像自动地执行所述3D模型的建模。

该实施例的优点在于当建模可以完全自动执行时，用户不需要在屏幕上执行3D模型的任何手动建模。然而，典型地如果自动建模发生，则用户可以检查建模是否令人满意，并且可能对建模执行小修正。

在一些实施例中，所述方法还包括自动地选择提供最佳适合或匹配所述3D虚拟模型的一个和多个2D数字图像。

该实施例的优点在于可以自动地选择最佳、良好或最好地匹配或适合3D模型的2D图像，并且由此可以获得修复物的建模的良好结果，并且此外可以减少用于执行修复物的建模的时间，原因是不需要人花费时间浏览大量2D图像。可以从2D数字图像的库或从包括牙齿和微笑的多个图像的任何来源选择2D图像。库可以包括具有脸部特征的模板、照片、图画等。

在一些实施例中，基于用于提供美学、视觉上好看的外观的具体参数确定最佳适合或匹配。

该实施例的优点在于可以基于不同参数(例如患者的牙齿的当前尺寸、患者的当前牙齿组的曲线等)确定最佳、最好或仅仅良好的匹配或适合。很大的新牙齿可能不适合过去具有很小牙齿的人或具有薄唇的人。类似地，具有强组成的新牙齿组可能不适合过去具有具有软组成的牙齿组的人或具有丰润唇等的人。因此基于当前的脸部特征，例如患者的牙齿的结构、特征、形状等，可以从例如照片、图画等的模板库确定将看上去自然并且适合患者的新牙齿。

在一些实施例中，自动地执行所述至少一个2D图像和所述3D模型的对准。

在一些实施例中，当有超过一个的2D图像时，所述3D模型和所述2D图像中的两个或更多个相对于彼此对准。

在一些实施例中，所述3D模型和所述2D图像的每一个相对于彼此对准。

3D模型特定地对准到2D图像的每一个，使得如果在不同2D图像之间移动，3D模型相对于被选择2D图像的正确对准可以自动地呈现在用户界面上，这是有利的。

在一些实施例中，所述3D模型相对于所述两个或更多个2D图像的不同对准存储在数据存储装置中。

在一些实施例中，当选择特定2D图像进行观察时，从所述数据存储装置检索所述3D模型和所述特定2D图像的对准。

在一些实施例中，所述2D图像中的两个或更多个是从不同方向看到的患者的脸部的至少一部分的2D图像。

在一些实施例中，所述方法还包括划分所述3D模型中和/或所述一个或多个2D图像中的牙齿中的至少两个或更多个。

在一些实施例中，所述2D图像和所述3D模型适合于从一个或多个透视图进行布置和/或观察。

透视图可以来自前面、来自后面、来自侧面、来自上面、来自下面和这些视图的任何组合。3D模型中和/或2D图像中的可视或不可视点(例如中心点)、线(例如中线)或区域(例如中心区域)可以确定透视图的参考点。

在一些实施例中，所述方法包括确定所述透视图中的一个或多个的角度。

角度可以是相对于2D图像和/或3D模型的中心点的角度。角度可以是相对于与2D图像中和/或3D模型中的牙齿虚拟交叉的水平面和/或垂直平面等的角度。

在一些实施例中，所述方法包括预先确定所述透视图中的一个或多个的角度。

在一些实施例中，所述一个或多个2D图像中的至少一个来自2D图像的视频流。

在一些实施例中，所述来自视频流的所述2D图像来自不同透视图。

在一些实施例中，所述3D模型被配置成相对于所述视频流中的一个或多个2D图像对准。

在一些实施例中，借助于其它透视图的内插和/或外插，执行针对一个或多个透视图的所述3D模型和所述一个或多个2D图像的对准。

已经确定的透视图可以用于其它透视图的对准是有利的。透视图可以存在或布置在虚拟轨迹或曲线上和/或虚拟观察点球上。因此如果已经确定两个透视图，则位于两个透视图之间的第三透视图可以由外插或内插确定并且3D模型和2D图像可以相对于此或基于此进行对准。透视图或角度可以由角度的移动、观察方向等提供，并且移动可以是平滑和连续的或呈不连续阶梯。

在一些实施例中，所述方法包括在视图中放大/缩小所述一个或多个2D图像中的至少一个和所述3D模型。

在一些实施例中，所述2D图像和所述3D虚拟模型适合于同时放大/缩小。

2D图像和3D模型可以同时和/或共同地和/或一起和/或同时地和/或同步地放大/缩小是有利的。因此当缩放时2D图像和3D模型的尺寸的增加或减小可以是类似的，当缩放时2D图像和3D模型可以彼此跟随，并且缩放的中心点或中心区域可以在2D图像和3D模型中重合。

在一些实施例中，所述放大/缩小被配置成从一个或多个透视图执行。

在一些实施例中，所述放大/缩小被配置成从一个或多个预定角度执行。

在一些实施例中，所述预定角度确定所述透视图。

在一些实施例中，所述方法包括呈不连续阶梯提供所述预定角度。

在一些实施例中，所述方法包括在连续序列中提供所述预定角度。

在一些实施例中，所述2D图像和所述3D模型在它们的正确对准中被拼合或锁定在一起。

如果例如从侧透视看到2D图像，则2D图像自动拼合或锁定到相对于3D模型的正确角度，这是有利的。

当已发现2D图像和3D虚拟模型的对准时，可以保存该对准，并且如果2D图像和3D模型然后再次相对于彼此移动，则保存的对准可以用于将2D图像和3D虚拟模型拼合或锁定在一起，再次正确对准。

在一些实施例中，自动地执行将所述2D图像和所述3D模型拼合在一起。

在一些实施例中，所述一个或多个2D图像的每一个被配置成在它们的正确对准中与所述3D模型拼合在一起。

在一些实施例中，如果未预备牙齿存在于所述3D模型中，则基于一个或多个未预备牙齿对准所述2D图像和所述3D模型。

在一些实施例中，基于上颌中的牙齿对准所述2D图像和所述3D模型。

基于上牙对准是有利的，原因在于这些典型地是在2D图像上最可见的牙齿，特别地上颌中的前牙通常最可见并且因此如果这些牙齿用于对准，则可以改善对准。

备选地和/或附加地，3D模型的下颌中的牙齿也可以例如向下移动以获得合适的对准。

在一些实施例中，默认的观看所述3D模型和所述2D图像的角度由所述2D图像的透视图确定。该角度也可以表示视图、视点、透视图等。

在一些实施例中，所述3D模型和所述2D图像的所述角度被配置成相对于所述2D图像的透视图适应。该角度也可以表示视图、视点、透视图等。

在一些实施例中，如果该第二2D图像代替第一2D图像，则所述3D模型的视图被配置成适合于第二2D图像的透视图。

当选择第二2D图像进行观察、对准等时，视图可以自动地变化是有利的。

在一些实施例中，所述方法还包括通过组合所述2D图像中的至少三个生成3D图像。

在一些实施例中，所述方法还包括渲染所述3D模型。

执行3D模型中的牙齿的渲染(例如照片拟真渲染)是有利的，原因在于由此使3D模型看上去更逼真和更漂亮。3D模型例如可以默认为黄色或灰色，因此通过将3D模型中的牙齿例如渲染得更白，3D模型牙齿看上去更好和现实。

可以借助于使用公知的计算机程序执行的公知方法执行渲染。

在一些实施例中，所述方法还包括提供所述3D模型上的纹理特征。

提供3D模型上的纹理特征以用于使3D模型的牙齿看上去更逼真和真实是有利的。牙齿的纹理特征可以从患者的现存牙齿的2D图像获得，纹理特征可以来自标准模板，可以基于牙齿的尺寸、形状等由特定地生成特定3D模型。此外，其它参数(例如阴影、几何形状、视点、照明和淡化信息)可以提供给3D模型以用于使3D模型的牙齿看上去更逼真并且可能看上去更美观。

在一些实施例中，来自所述2D图像的纹理映射到所述3D虚拟模型和/或所述修复物上。

在一些实施例中，所述渲染是照片拟真渲染。

一般而言，该方法和实施例的优点在于它/它们允许牙科技工室(技工室)在设计过程中重叠患者的实际脸部和微笑图像并且直接利用那样产生最佳美观和个性化修复物。技工室可以准确地向牙科医生的患者显示新修复物将如何改造他们的微笑并且获得反馈。微笑可视化是高度可实现的，原因是它可以由可制造的3D模型不仅仅是2D图像操作坚定地支持。

通过输出患者的唇、牙齿和微笑的2D图像以设计正好适合于患者的个人外貌的修复物，可以获得具有患者特定的2D图像覆盖的个性化设计。图像操作工具可以应用于掩蔽牙齿，并且对准工具可以用于将唇和新牙齿设计集合在一起作为完美个性化设计指导。

即使没有实际患者的微笑的图片，通过使用有助于获得高美学的2D图像库也可以获得具有2D图像覆盖的高度美学。借助于该方法能够从多种微笑指导和设计模板进行选择以再创建应用于修复物设计的完整微笑组成。

例如通过在逐渐淡入和淡出的情况视图之间连续地互换可以获得前和后可视化，由此技师、牙科医生和患者能够容易地检测甚至最小的改变和微笑细节以用于最佳比较。

本发明涉及包括在上面和下面所述的方法的不同方面，以及相应的方法、装置、系统、使用和/或生产装置，每个产生结合第一所述方面描述的益处和优点中的一个或多个，并且每个具有对应于结合第一所述方面描述和/或在附带权利要求中公开的实施例的一个或多个实施例。

特别地，在本文中公开了一种用于设计患者的牙齿修复物的系统，其中所述系统包括：

-用于提供一个或多个2D图像的装置，其中至少一个2D图像包括至少一个脸部特征；

-用于提供患者的口腔的至少一部分的3D虚拟模型的装置；

-用于在虚拟3D空间中相对于所述3D虚拟模型布置所述一个或多个2D图像中的至少一个使得当从视点观察时所述2D图像和所述3D虚拟模型对准的装置，由此所述3D虚拟模型和所述2D图像都在所述3D空间中可视化；以及

-用于在所述3D虚拟模型上建模修复物的装置，其中所述修复物被设计成适合所述至少一个2D图像的脸部特征。

此外本发明涉及一种包括程序代码装置的计算机程序产品，当所述程序代码装置在数据处理系统上运行时，所述程序代码装置用于使所述数据处理系统执行以上方法，并且本发明涉及根据前述权利要求的计算机程序产品，其包括在其上存储所述程序代码装置的计算机可读介质。

根据另一个方面，公开了一种可视化、设计和建模患者的牙齿组的计算机执行方法，其中所述方法包括以下步骤：

-提供一个或多个2D数字图像；

-提供患者的口腔的至少一部分的3D虚拟模型；

-在3D空间中相对于所述3D虚拟模型布置所述一个或多个2D数字图像中的至少一个，使得当从视点观察时所述2D数字图像和所述3D虚拟模型对准，由此所述3D虚拟模型和所述至少一个2D数字图像都在所述3D空间中可视化；以及

-基于所述一个或多个2D数字图像中的至少一个，建模所述3D虚拟模型。

附图说明

参考附图，本发明的以上和/或附加目标、特征和优点将由本发明的实施例的以下示例性和非限定性详细描述进一步阐述，其中：

图1显示可视化和建模患者的牙齿组的方法的流程图的例子。

图2一起显示可视化2D图像和3D模型的例子。

图3显示可视化和布置2D图像和3D模型的例子。

图4显示相对于彼此布置3D模型和2D图像的例子。

图5显示作为模板的2D图像的例子。

图6显示如何执行虚拟动作以布置2D图像和3D模型的例子。

图7显示可视化和布置2D图像和3D模型的例子。

图8显示3D模型如何可以布置在2D图像中或2D图像如何可以放置在3D模型上的例子。

图9显示前和后可视化的例子。

图10显示相对于2D图像布置的牙齿的3D模型的渲染的例子。

图11显示使2D图像和3D虚拟模型相对于彼此对准、切掉2D图像的口和牙齿以看到代替牙齿的3D虚拟模型并且基于2D图像设计3D虚拟模型上的修复物的例子。

具体实施方式

在以下描述中，参考附图，附图通过示例显示了可以如何实施本发明。

图1显示设计患者的牙齿修复物的方法的流程图的例子。

在步骤101中，提供一个或多个2D数字图像，其中至少一个2D图像包括至少一个脸部特征。2D图像可以是患者的脸部的至少一部分的照片、牙齿的模板、牙齿的图画、美观牙齿组的照片或图像等。2D数字图像可以显示在用户界面(例如计算机屏幕)上。

在步骤102中，如果有任何牙齿，提供包括患者的牙齿组的患者的口腔的3D虚拟模型。可以通过扫描患者的牙齿的实体模型、通过扫描患者的牙齿的印模和/或通过执行患者的牙齿的直接扫描而生成患者的牙齿组的3D模型。如果患者是无齿的，则可以扫描齿龈、齿龈的模型或印模以用于创建口腔的3D模型。3D虚拟模型可以显示在用户界面(例如计算机屏幕)上。

在步骤103中，相对于3D虚拟模型布置或定位2D数字图像以用于相对于2D数字图像可视化3D虚拟模型。布置或定位是借助于软件执行的数字、虚拟布置，使得可以一起观察2D图像和3D模型。当从某个视点观察时，2D数字图像和3D虚拟模型对准，由此3D虚拟模型和2D数字图像都在3D空间中可视化。软件程序的用户可以使用数字工具手动地对准2D图像和3D虚拟模型，或者可以借助于数字处理手段自动地对准2D图像和3D虚拟模型，或者2D图像和3D虚拟模型的对准可以是由用户执行的手动对准和自动对准的组合。用于与3D虚拟模型对准的2D图像可以是包括脸部特征的相同2D图像或者它可以是不同的2D图像。

在步骤104中，建模3D虚拟模型的修复物，其中修复物被设计成适合所述至少一个2D图像的脸部特征。因此基于包括脸部特征的2D图像的布置的可视化，数字地或虚拟地建模或设计包括修复物的患者的牙齿组的3D虚拟模型的部分。因此使用CAD建模患者的现存牙齿的3D模型，并且建模可以包括修复物、正畸计划和/或处理、假体、活动义齿等。可以借助于CAM制造虚拟建模的修复物(例如牙冠和牙桥)，并且制造的修复物然后可以由牙科医生插入患者的牙齿上。

图2一起显示可视化2D图像和3D模型的例子。图2a)显示同时看到2D图像201和3D模型202的屏幕截图。2D图像201是人的脸部的一部分的照片，显示呈具有唇203和在唇203的后面的牙齿204的口的形式的脸部特征。照片可以是患者自身的或另一个人的。如果患者的牙齿已经断裂并且患者然后希望将他的牙齿修复到破损之前它们看上去的样子，则使用患者的照片可能是有利的。如果患者希望修复他的牙齿、由新牙齿组更换和/或通过正畸进行处理以便使它们看上去和/或布置成不同于它们目前的样子，则使用另一个人的照片可以是一个选项。

患者的牙齿的3D模型202包括牙龈208和牙齿207。

图2b)显示其中2D图像201是患者的牙齿的X射线图像的例子。X射线图像显示呈患者的牙齿204的形式的脸部特征。由于X射线图像显示近似在直线上(即，不是像现实生活中在曲线上)的牙齿，因此X射线图像的平面的至少一部分可以进行关于透视变化、扭曲、投影和/或弯曲的改变以相对于具有牙齿207的3D模型202布置。

图3显示可视化和布置2D图像和3D模型的例子。

图3a)显示同时看到牙齿的2D图像301和3D模型302的屏幕截图。2D图像301是照片或图画，显示呈一对唇303和在唇的后面的牙齿304的轮廓的形式的脸部特征。通过2D图像301绘制垂直线305和水平线306，并且它们也用作用于建模修复物的引导线。

图3b)显示相对于3D模型302布置和对准2D图像301的屏幕截图。可以通过并且在2D图像301的唇303和牙齿304的轮廓之间看到3D模型302的牙齿307。当相对于3D模型布置和对准2D图像时，便于在3D模型上建模修复物。在图3b)中也看到垂直线305和水平线306。

图3c)显示在透视侧视图中看到的2D图像301和3D模型302的草图，该透视侧视图从某个视点示出对准。

在该图中，试图在透视侧视图中绘制2D图像301和3D模型，以显示如果从该视点观察2D图像和3D模型，则它们不对准。在其它图(例如图3b))中，从其中它们对准的前视点观察2D图像和3D模型。可以看到，在2D图像和3D模型之间有距离以指示2D图像和3D模型是独立表示，而不是包含来自两个表示的数据的一个表示。该距离可以是任何距离，例如比这里按比例所示的短或长。

表示为X的箭头示出前视图，其中2D图像和3D模型对准，例如如图3b)中所见。

表示为Y的箭头示出仰视图，其中从下面观察2D图像和3D模型，并且如可以从该图可以导出，当从Y视点观察时2D图像和3D模型不对准。

表示为Z的箭头的端部(带叉的圆)示出侧视图，并且如上面关于透视侧视图所述，当从该视点观察时2D图像和3D模型不对准。

图4显示相对于彼此布置3D模型和2D图像的例子。

图4a)、b)和c)显示3D模型402相对于2D图像401的不同布置的例子。在图4a)、b)和c)中看到3D模型402的牙齿407相对于2D图像401的唇403移动。当3D模型402的布置变为相对于2D图像401合适时，可以执行3D模型402的牙齿407的实际建模。

图5显示作为包括脸部特征的模板的2D图像的例子。

图5a)显示作为用于布置患者的牙齿和/或建模修复物的参考系的2D数字图像501的例子。参考系包括用于上前或前牙的模板509。模板509包括呈脸部的中线505和沿着前牙的切缘通过的水平线506的形式的脸部特征。

模板509包括呈适合于适合中牙510、侧牙511和犬牙512(也被称为犬齿)的框形式的脸部特征。侧牙511可以理想地是中牙510的宽度的2/3，并且犬牙512可以理想地略窄于中牙510。

图5b)显示其中2D图像501是模板509的例子，所述模板包括呈中牙510、侧牙511和犬牙512的长轴513的形式的脸部特征。长轴513朝着由水平线506指示的切缘会聚。

图5c)显示其中2D图像501是模板509的例子，所述模板509显示呈从前面看到的前牙或前齿的轮廓514的形式的脸部特征。

图5d)显示其中2D图像501包括模板509的例子，所述模板509包括呈微笑线的曲线515的形式的脸部特征，所述曲线符合自然微笑中的下唇和从前面看到的上牙510、511、512的切缘。

图5e)显示其中2D图像501包括模板的例子，所述模板包括呈用于指示牙龈组织的位置的三个曲线516的形式的脸部特征。

图5f)显示其中2D图像501包括或是模板509的例子，所述模板包括呈符合从上面看到的上牙的弓517的形式的曲线。

图5g)显示其中2D图像501包括或是模板509的例子，所述模板包括符合从上面看到的上前牙的曲线518。

弓517和曲线518也可以表示脸部特征。

图6显示如何执行对准或虚拟动作以相对于彼此布置2D图像和3D模型的例子。

用于布置的虚拟动作可以包括下列：

-定标2D数字图像和3D虚拟模型以在它们两者上显示相同尺寸的牙齿的至少一部分；

-对准2D数字图像和3D虚拟模型；

-将3D虚拟模型投影到2D数字图像的平面；

-当可视化定位时，改变2D数字图像的和/或3D虚拟模型的透视图以获得它们两者的相同透视图；

-去扭曲3D虚拟模型的透视图以用于视觉地对准2D图像和3D虚拟模型。

可以借助于2D数字图像的和/或3D虚拟模型的旋转和左右和前后平移执行用于布置的虚拟动作。

在一个例子(未显示)中，2D图像上和3D虚拟模型上的至少上前牙的咬合边缘的剪影用于执行2D图像和3D虚拟模型的对准。

图6a)显示其中使用2D数字图像601上的牙齿上和3D虚拟模型602上的牙齿上的被检测的相应解剖点619执行对准或用于布置的虚拟动作(例如对准)的例子。图6a)中所示的解剖点619在上前牙处。一个解剖点在左侧牙的远侧的切缘上，其中左边是在图中看到的左边，但是是患者的右边。另一个解剖点在左和右中牙之间的切缘上。第三解剖点在右侧牙和右犬牙之间的牙龈处，其中右边是在图中看到的右边，但是是患者的左边。

当相应解剖点619被检测并且例如在图中在2D图像601和3D模型602上进行标记时，通过使2D图像601上和3D模型602上的相应解剖点619覆盖、重叠、匹配或配合在一起，2D图像601和3D模型602可以相对于彼此布置并且彼此对准。当在屏幕上选择相应解剖点619时，软件可以自动地布置2D图像601和3D模型602，使得点619重叠。

图6b)显示其中使用虚拟测量条620执行用于布置(例如定标)的虚拟动作的例子。在2D图像601和3D模型602上看到虚拟测量条620。在2D图像601上，测量条620具有的长度对应于横跨上部的两个中牙610和两个侧牙611的长度。然而，在3D模型上，测量条620具有的长度对应于上部的两个中牙610、两个侧牙611和两个犬牙612的长度。因此为了具有2D图像601和3D模型602的匹配尺寸，应当按比例放大或扩大3D模型以适合2D图像的尺寸。

备选地和/或附加地，用户可以借助于目测执行2D数字图像的和/或3D虚拟模型的布置的虚拟动作。

图7显示可视化和布置2D图像和3D模型的例子。

图7显示来自用户界面的屏幕截图，其中同时看到牙齿的2D图像701和3D模型702。2D图像701是包括呈患者的唇703和在唇的后面的患者的现存上牙704的形式的脸部特征的患者脸部的一部分的照片。在2D图像上的下牙的地方，布置包括下牙707的3D模型。

3D模型702相对于2D图像701布置和对准。

可以建模3D模型上的修复物以适合2D图像中的脸部特征，例如患者的唇、上前牙等。

图8显示来自用户界面的屏幕截图，其中看到2D图像801。2D图像801是包括患者的唇803和在唇的后面的患者的现存上牙804的患者的脸部的一部分的照片。

如果牙齿的3D模型将布置在下牙的地方，则可以借助于不透明区域830标记并且隐藏或删除3D图像中的下牙的区域。可以通过沿着上牙和下唇的边缘绘制线831标记被标记区域830。可以借助于2D图像的自动轮廓和/或颜色检测自动地执行线831的标记。备选地和/或附加地，操作者可以绘制线831或以另外方式标记区域830。

如果2D图像中的或多或少(例如所有)牙齿将由3D模型的牙齿代替，则这可以同样适用。

图9显示前和后可视化的例子。

通过在逐渐淡入和淡出的情况视图之间连续地互换可以获得前和后可视化，由此技师、牙科医生和患者能够容易地检测甚至最小的改变和微笑细节以用于最佳比较。

图9显示其中同时看到牙齿的2D图像901的一部分和3D模型902的一部分的例子。2D图像901是包括呈患者的唇903和在唇的后面的患者的现存牙齿904的形式的脸部特征的患者的脸部的一部分的照片。在患者的口的左侧(患者的右侧)的下和上牙的地方，看到包括牙齿907的3D模型。

3D模型902相对于2D图像901布置和对准。

2D图像901中的现存牙齿904对应于修复牙齿中的一个或多个之前的情况。具有被修复牙齿907的3D模型902对应于修复牙齿之后的可能情况。由于视图例如可以通过逐渐淡入和淡出在前和后可视化之间互换，因此可以清楚地看到并且评价建议的变化。

图10显示相对于2D图像布置的牙齿的3D模型的渲染的例子。

图10显示其中同时看到牙齿的2D图像1001和3D模型1002的例子。2D图像1001是包括患者的唇1003的患者的脸部的一部分的照片。在2D图像中的牙齿的地方，布置包括被建模和被渲染的被修复牙齿1007的3D模型。3D模型中的被修复牙齿已被渲染，例如照片拟真渲染。

图11显示为了设计修复物可以执行的多个步骤，但是不应当理解成为了设计修复物应当执行所有这些步骤。在一些情况下可以不同于图11中所示执行对准2D图像和3D虚拟模型，并且在一些情况下不如图11中所示切掉2D图像的口和牙齿。

图11a)显示患者的牙齿组的3D虚拟模型1102。呈包括三个牙齿的牙桥的形式的修复物1140的第一设计被设计。在图中修复物为白色，而3D模型中的原来牙齿为褐色/灰色。

图11b)显示具有修复物1140的3D模型1102。在右下角显示菜单1141，所述菜单允许用户选择2D图像覆盖在3D模型1102上。

图11c)显示患者的下脸部的2D图像1101，显示包括唇1103和现存牙齿1104的口。在右下角也看到菜单1102。

图11d)显示具有唇1103和牙齿105的2D图像1101，以及具有修复物1140的3D虚拟模型1102。已使2D图像1101部分地透明，使得可以看到2D图像和3D虚拟模型。右下角的菜单1141上的标度可以改变以调节2D图像和/或3D模型的透明度。

图11e)显示2D图像1101和3D虚拟模型，其中已使2D图像部分地透明，使得可以看到2D图像和3D虚拟模型。可以看到2D图像和3D虚拟模型已对准，原因在于三个前牙1142、1143和1144的切缘在2D图像和3D虚拟模型上匹配。

此外，可以看到修复物1140的第一设计已被设计，使得修复物1140中的新牙齿比2D图像上的原来牙齿短一些。

患者可能需要修复物1140，原因是原来牙齿断裂、损坏、死亡、有咬合问题、有牙龈问题等。

图11f)显示2D图像1101和3D虚拟模型1102，其中2D图像的透明度相比于图11e)中的透明度有一些不同。在图11f)中，2D图像没有图11e)中透明。可以借助于菜单1141上的标度调节透明度。

图11g)、11h)和11i)显示虚拟切掉2D图像的牙齿的例子。

图11g)显示患者的下脸部的2D图像1101，其中可以看到唇1103和牙齿1104。标记沿着唇1103的线1131并且由此可以标记唇内的整个区域1130。

图11h)显示2D图像1101，其中沿着唇1103的线1131内的区域1130已被清空，即，由空白空间、空白区域等代替。因此区域1130中的牙齿1104从视图去除、删除、丢弃等。已使区域1130透明，使得在区域1130中可以看到布置在2D图像后面的3D虚拟模型。

图11i)显示区域1130，该区域是沿着唇的线1131内的2D图像1101的那个部分。因此在2D图像的该切掉部分中看到牙齿1104。

图11j)显示具有沿着唇1103的线1131的切掉区域1130的2D图像1101，并且3D虚拟模型1102现在在2D图像的切掉区域1130中可见。看到3D模型1102的修复物1140，并且可以看到修复物1140还未最后被设计，原因是在上中牙之间有相当大的间隙，其中左中牙(从观察者看，是右中牙)是修复物1140的一部分。

图11k)显示修复物1140现在已最后被设计，原因是修复物1140已被设计，使得在两个中上牙之间没有大间隙。因此，修复物1140已基于并且被设计成匹配和适合在2D图像上看到的脸部特征，例如唇1103。

在修复物是上前牙中的三个的该情况下，修复物也部分地被设计成与上颌的另一侧的相应牙齿对称。但是在例如修复物是全口义齿或修复物全部是例如上颌中的前牙的情况下，然后修复物中的新牙齿可以被设计成匹配和适合在2D图像上看到的患者的脸部的脸部特征，并且修复物可以不被设计成与患者的口中的任何现存牙齿对称。

尽管已详细地描述并且显示了一些实施例，但是本发明不限于它们，而是在以下权利要求中限定的主题的范围内也可以以其它方式体现。特别地，应当理解可以利用其它实施例并且可以进行结构和功能修改而不脱离本发明的范围。

在列举若干装置的设备权利要求中，这些装置中的若干可以由同一个硬件物品体现。在相互不同的从属权利要求中叙述或在不同实施例中描述某些措施的单纯事实不指示这些措施的组合不是有利的。

应当强调的是当在该说明书中使用时术语“包括/包含”用于指定所述特征、整数、步骤或部件的存在，而不是排除一个或多个其他特征、整数、步骤、部件或它们的群组的存在或添加。

当引用前述权利要求中的任一项时，这应当被理解为表示前述权利要求中的任何一项或多项。

在上面和在下文中描述的方法的特征可以在软件中实现，并且在数据处理系统或由计算机可执行指令的执行导致的其它处理装置上执行。指令可以是从存储介质或经由计算机网络从另一个计算机装载到存储器(例如RAM)中的程序代码。备选地，所述特征可以由硬线电路而不是软件实现或与软件组合实现。

Claims

1.一种设计患者的牙齿修复物的方法，其中所述方法包括：

-提供患者的口腔的至少一部分的3D虚拟模型；

-在虚拟3D空间中相对于所述3D虚拟模型布置所述一个或多个2D图像中的至少一个，使得当从视点观察时，所述2D图像和所述3D虚拟模型对准，由此所述3D虚拟模型和所述2D图像都在所述3D空间中可视化；

-在所述3D虚拟模型上建模修复物，其中所述修复物被设计成适合所述至少一个2D图像的脸部特征；以及

-虚拟地切掉所述至少一个2D图像的牙齿的至少一部分，使得至少唇在所述2D图像中保持可见。

2.根据权利要求1所述的方法，其中所述脸部特征存在于患者的图像中。

3.根据权利要求1所述的方法，其中所述脸部特征包括适合于在所述2D图像中检测的脸部的一个或多个假想线。

4.根据权利要求3所述的方法，其中所述假想线包括中线、水平线和/或重瞳线。

5.根据权利要求1所述的方法，其中基于一个或多个未预备牙齿对准所述2D图像和所述3D模型。

6.根据权利要求1所述的方法，其中所述方法包括提供两个3D虚拟模型，其中第一3D虚拟模型包括至少一个预备牙齿并且第二3D虚拟模型包括未预备牙齿，并且其中对准所述第一和第二3D虚拟模型。

7.根据前述权利要求中的任一项所述的方法，其中所述方法包括切掉在唇的边缘内部的所述2D图像的部分。

8.根据权利要求1或2所述的方法，其中在所述2D图像上标记唇的边缘。

9.根据权利要求1或2所述的方法，其中所述一个或多个2D图像上和所述3D虚拟模型上的至少上前牙的咬合边缘的剪影用于执行所述一个或多个2D图像和所述3D虚拟模型的对准。

10.根据权利要求1或2所述的方法，其中所述方法还包括定标所述一个或多个2D数字图像和所述3D虚拟模型以显示相同尺寸的牙齿的至少一部分。

11.根据权利要求1或2所述的方法，其中所述方法还包括划分所述3D模型中和/或所述一个或多个2D图像中的牙齿中的至少两个或更多个。

12.根据权利要求1或2所述的方法，其中借助于其它透视图的内插和/或外插，执行针对一个或多个透视图的所述3D模型和所述一个或多个2D图像的对准。

13.根据权利要求1或2所述的方法，其中来自所述2D图像的纹理映射到所述3D虚拟模型和/或所述修复物上。

14.根据权利要求1或2所述的方法，其中所述方法还包括改变所述一个或多个2D数字图像的和/或所述3D虚拟模型的透视图以获得相同的透视图。

15.根据权利要求12所述的方法，其中所述方法包括确定所述一个或多个透视图中的一个或多个的角度。

16.根据权利要求1或2所述的方法，其中所述3D模型和所述2D图像的角度被配置成相对于所述2D图像的透视图适应。

17.根据权利要求1或2所述的方法，其中所述方法还包括去扭曲所述一个或多个2D图像的透视图以用于视觉地对准一个或多个所述2D图像和所述3D虚拟模型。

18.根据权利要求1或2所述的方法，其中所述一个或多个2D数字图像是用于支持设计患者的牙齿的模板。

19.根据权利要求1或2所述的方法，其中所述一个或多个2D数字图像显示呈至少多个前牙的形式的脸部特征。

20.根据权利要求1或2所述的方法，其中所述一个或多个2D数字图像是患者的牙齿的X射线图像。

21.根据权利要求1或2所述的方法，其中所述方法还包括以下步骤：

-基于这些相应的解剖点，执行用于布置的虚拟动作。

22.根据权利要求21所述的方法，其中所述虚拟动作包括用于布置的定标、对准、投影到平面和改变透视。

23.一种用于设计患者的牙齿修复物的系统，其中所述系统包括：

-用于提供患者的口腔的至少一部分的3D虚拟模型的装置；

-用于在虚拟3D空间中相对于所述3D虚拟模型布置所述一个或多个2D图像中的至少一个使得当从视点观察时所述2D图像和所述3D虚拟模型对准的装置，由此所述3D虚拟模型和所述2D图像都在所述3D空间中可视化；

-用于在所述3D虚拟模型上建模修复物的装置，其中所述修复物被设计成适合所述至少一个2D图像的脸部特征；以及

-用于虚拟地切掉所述至少一个2D图像的牙齿的至少一部分的装置，使得至少唇在所述2D图像中保持可见。