CN112424820A - 用于模拟牙齿状况的方法 - Google Patents

Abstract

本发明涉及一种模拟方法，所述方法包括以下步骤：a)获取患者的牙弓的图像，该图像被称为“原始图像”；b)使所述原始图像经受神经网络，所述神经网络被称为“修改神经网络”且被训练以局部地修改所述原始图像，以便获得“修改后的图像”；c)将所述修改后的图像呈现给所述患者。

Description

用于模拟牙齿状况的方法

技术领域

本发明涉及一种模拟方法，该模拟方法允许产生超逼真的牙齿视图，该牙齿视图模拟正畸矫治器在被佩戴时的样子。

背景技术

患者坚持正畸治疗对这种治疗的成功很重要。特别地，佩戴正畸矫治器会改变患者的外貌，这可能使他们不愿进行治疗。

因此，需要一种使这种坚持性得以改善的方法。

本发明的一个目的是至少部分地满足这一需求。

发明内容

本发明提供了一种模拟方法，该模拟方法包括以下步骤：

a)获取包含患者的牙弓的图像，该图像被称为“原始图像”；

b)使原始图像经受神经网络，该神经网络被称为“修改神经网络”且被训练以局部地修改原始图像，以便获得“修改后的图像”；

c)优选地，将修改后的图像呈现给患者。

如在说明书的其余部分中将更详细地看到的，这种神经网络能够以令人惊讶的逼真方式转换原始图像。因此，根据本发明的方法允许将正畸矫治器的表示结合到原始图像中，或者修改原始图像中包含的正畸矫治器，或者将原始图像中包含的正畸矫治器删除。因此，患者可以受益于模拟，该模拟允许他们适当地衡量佩戴正畸矫治器或正畸矫治器的变化带来的视觉影响。

因此，增强了患者对正畸治疗的坚持性。

根据本发明的方法是值得注意是，训练神经网络以从传递给它的原始图像创建修改后的图像。因此，该方法与其中例如将元素(例如，现有的正畸矫治器的表示)添加到图像中的方法完全不同。具体而言，为了将正畸矫治器的表示结合到原始图像中，神经网络会创建该表示。因此，该表示不是实际的正畸矫治器的再现或实际的正畸矫治器的三维模型的再现，而是由神经网络以人工方式与图像的其余部分同时生成的。

令人惊讶的是，正畸矫治器的表示非常逼真，并为要获得的患者提供了良好的模拟，如图3B中所示。特别地，神经网络的训练教会该表示如何在原始图像的背景下以相应的对比度、清晰度、阴影和反射来表示正畸矫治器。因此，模拟比将正畸矫治器的预先存在的表示简单地添加到包含牙弓的图像中要逼真得多。

通过神经网络对原始图像的修改可能导致修改原始图像的除正畸矫治器的表示的区域之外的区域。例如，图3A和图3B的仔细比较将允许该比较看到原始图像(图3A)和修改后的图像(图3B)中的下侧牙齿的轮廓略有不同。在修改后的图像用于在牙齿上进行干预(例如，在铣削操作期间指导牙医)的情况下可能是有害的这些差异在打算将修改后图像呈现给患者时并非如此。如图6A和图6B的比较所示，神经网络的性能甚至可以使检测到除了表示正畸矫治器的区域之外的任何差异基本上是不可能的。

根据本发明的方法还可以包括以下可选特征中的一个或多个：

-修改神经网络被训练以：

-在裸牙弓图像、即不包含牙科设备的图像中表示牙科设备、特别是正畸矫治器；

-从装配好的牙弓的图像、即包含牙科设备的图像中删除牙科设备、特别是正畸矫治器的表示；或者

-在装配好的牙弓的图像中，用一个牙科设备(特别是相应的一个正畸矫治器)的表示替换另一牙科设备(特别是另一个正畸矫治器)的表示；

-牙科设备选自正畸矫治器、牙冠、植入物、牙桥和牙贴面；

-原始图像是口外图像；

-原始图像是所述牙弓的照片或所述牙弓的数字三维模型的视图；

-在步骤a)之前，通过“转换”神经网络使所述视图超逼真；

-在获取所述视图之前，修改所述模型；

-所述变形包括：

-牙齿的三维模型的移动，和/或

-牙齿模型的变形，和/或

-删除牙齿模型，和/或

-颌部模型的变形。

-在步骤b)之前，用包含一组历史记录的历史训练数据库对修改神经网络进行训练，每个历史记录包括：

-从包含不承载正畸矫治器的牙弓的牙齿场景的照片、包含不承载正畸矫治器的牙弓的牙齿场景的视图、包含承载正畸矫治器的牙弓的牙齿场景的照片、以及表示承载正畸矫治器的牙弓的模型的视图中选择的历史图像，以及

-指定历史图像是否包含正畸矫治器的历史描述，

历史图像中包含的所有正畸矫治器均属于同一类型；

-正畸矫治器的类型包括活动的多托架矫治器、或者正畸保持器或约束器，即，例如，所有的活动的多托架矫治器都被认为属于同一类型；

-在步骤c)中，优选地以增强现实将修改后的图像呈现在镜子上或患者电话的屏幕上。

本发明还提供了一种用于提高患者对正畸治疗的坚持性的方法，该方法包括以下步骤：

1)选择一种类型的正畸矫治器、以及经训练的用于在传递给其的裸牙弓图像上表示所述类型的正畸矫治器的神经网络，所述正畸矫治器例如“活动的多托架矫治器”、“正畸保持器”或“约束器”；

2)通过根据本发明的模拟方法模拟在步骤a)中获取的原始图像，该原始图像包含患者的裸牙弓，并且修改神经网络是在步骤1)中选择的神经网络；

3)在步骤c)之后，根据患者的意见，确定使用步骤1)中选择的类型的正畸矫治器进行正畸治疗，或在步骤1)中重新开始使用另一种类型的正畸矫治器。

在步骤3)中，患者对在步骤c)中呈现给他们的修改后的图像给出意见。如果他们满意，则使用所选类型的正畸矫治器进行正畸治疗。由于正畸矫治器已被患者接受，因此他们对治疗的坚持性很高。

如果不满意，则使用另一种正畸矫治器开始新的模拟。

在原始图像已经被加载到计算机中之后，根据本发明的模拟方法的步骤b)和步骤c)由计算机实现。

步骤1)并且优选地步骤3)也由计算机实现。

因此，本发明还涉及：

-包括程序代码指令的计算机程序，该程序用于当由计算机执行所述计算机程序时执行步骤b)、c)、1)和优选地3)，

-其上存储有这样的程序的存储介质，例如存储器或CD-ROM。

定义

“患者”是对其实施根据本发明的方法的人，无论该人是否正在经受正畸治疗。

“牙齿护理专业人员”是指有资格提供牙齿护理的任何人，特别是包括正畸医生和牙医。

“牙齿状况”定义了在一时间与患者的牙弓有关的一组特征，例如，在该时间牙齿的位置、牙齿的形状、正畸矫治器的位置等。

“模型”是指数字三维模型。该模型由一组体素组成。“牙弓模型”是表示牙弓的至少一部分并且优选地至少2颗、优选地至少3颗以及优选地至少4颗牙齿的模型(例如，图4)。

在限定的观察条件下，特别是从限定的角度和限定的距离对模型的观察称为“视图”。

“图像”是场景的二维表示(由像素形成)。

口外图像是从嘴外部的观察点拍摄的图像，例如面向患者、优选地是使用牵开器的患者拍摄的图像。

“照片”是用照相机拍摄的特定图像，通常是彩色图像。“照相机”是指允许拍照的任何装置，包括摄像机、手机、平板电脑或计算机。视图是图像的另一个示例。

牙齿属性是其值特定于牙齿的属性。优选地，将牙齿属性的值分配给所讨论的图像的每个牙齿区域或所讨论的牙弓模型的每个牙齿模型。特别地，牙齿属性与图像或整个模型都不相关。牙齿属性从与之相关的牙齿的特性中获得其值。

“场景”由可以同时观察到的一组元素组成。“牙齿场景”是包含牙弓的至少一部分的场景。该牙齿场景优选地包含至少2颗、优选地至少3颗、以及优选地至少4颗牙齿。

“牙弓的照片”、“牙弓的视图”、“牙弓的表示”、“牙弓的扫描”、“牙弓的模型”等是指所述牙弓的全部或一部分的照片、视图、表示、扫描或模型等。

“训练数据库”是适合于训练神经网络的计算机记录的数据库。通常，每个记录包括对象(例如图像)以及关于该对象的信息或其“描述”。描述包含对象的属性的值。例如，牙齿场景的图像的属性可以用于识别表示的正畸矫治器的类型。于是该属性是“正畸矫治器的类型”，并且该属性的值例如是“活动的多托架矫治器”或“约束器”。

原始图像的“局部”修改是主要涉及此图像的仅一部分的修改，而图像的其余部分基本上未修改。实际上，可以对整个原始图像进行修改，因为图像是可以重新生成的。然而，对于没有给予特别关注的观察者，原始图像的仅一部分会看起来被修改。例如，修改可以包括将正畸矫治器的表示添加到原始图像。除了正畸装置的表示之外，对于未详细检查原始图像的观察者，原始图像将看起来未被修改。

“牙科设备”是指旨在由牙弓承载的任何设备，特别是正畸矫治器、牙冠，植入物、牙桥或牙贴面。

在本说明书中，为清楚起见而使用限定词“原始的”、“修改的”、“历史的”、“修改”和“转换”。

除非另有说明，否则“包含”或“包括”或“展示”必须解释为非限制性的。

附图说明

通过阅读以下详细描述并查阅附图，本发明的其它特征和优点将变得显而易见，其中：

-图1示意性地示出了根据本发明的方法的各个步骤；

-图2A和图2B示出了用于训练修改神经网络的历史照片的示例；

-图3A和图3B分别示出了原始照片和通过根据本发明的方法修改的照片；

-图4示出了牙弓的模型的示例；

-图5示出了牙弓的模型的视图；以及

-图6A和图6B分别示出了原始照片和通过根据本发明的方法修改的照片。

具体实施方式

下面的详细描述是图1所示的优选但非限制性的实施方式的描述。

在步骤a)中，原始图像优选是口外图像，例如面对患者、优选地使用牙科牵开器的患者拍摄的图像。

原始图像可以是“原始的”照片(图3)。

原始照片是使用包括用于获取照片的系统的照相机(优选地选自：手机；所谓的“连接”照相机；所谓的“智能手表”；平板电脑；或者个人计算机、台式计算机或便携式计算机)来获取的。优选地，照相机是手机。

更优选地，在获取原始照片期间，照相机与牙弓分开超过5cm、超过8cm或甚至超过10cm，这防止了水蒸汽在照相机镜头上凝结并促进了聚焦。此外，优选地，照相机、特别是移动电话不具有用于获取原始照片的任何特定的光学器件，这尤其是可能的，因为在获取期间与牙弓分开。

优选地，原始照片是彩色照片，并且优选地是真彩照片。

优选地，原始照片是由患者获取的，优选地不使用固定器来固定照相机，并且尤其是不使用三脚架。

可替选地，原始图像可以是被称为“原始模型”的牙弓的三维模型的视图，该视图被称为“原始视图”(图5)。

原始模型可以通过在患者的牙齿上或在他们的牙齿铸件(例如石膏铸件)上进行的测量来准备。优选地，原始模型使用3D扫描仪来创建。原始模型于是有利地非常精确。

在一个实施方式中，原始模型是理论上的，即它不对应于实际情况。特别地，可以通过组装从数字图书馆中选择的一组牙齿模型来创建原始模型。牙齿模型的布置被定义为使得原始模型是逼真的，即，使得其对应于患者可能遇到的情况。特别地，牙齿模型根据其性质布置成弧形，并且逼真地取向。理论原始模型的使用有利地允许模拟牙弓，而不必对患者进行精确的测量。

在原始模型已经变形之后，可以获取用作原始图像的原始模型的视图。因此，变形允许模拟假想的牙齿情况。

优选地，原始模型被划分为基本模型，每个基本模型以3D表示由原始模型建模的场景的一个元素。特别地，可以在原始模型的基础上为每个牙齿、和/或舌头、和/或嘴、和/或嘴唇、和/或颌部、和/或牙龈定义基本模型。

然后可以例如通过移动牙齿模型使如此划分的原始模型变形，以模拟正畸治疗的效果或复发的进展、或美学治疗。

特别地，原始模型的变形可以包括：

-牙齿模型的移动，例如以模拟两个牙齿分开或两个牙齿一起移动靠近，

-牙齿模型的变形，例如以模拟磨牙症，

-删除牙齿模型，和/或

-颌部模型的变形。

当原始图像降低了修改图像的逼真感时，使用可选地变形的原始模型的视图。

优选地，优选通过进行以下步骤，使原始视图在步骤b)之前变得超逼真：

i)创建“转换”训练数据库，该数据库包含多于1000条“转换”记录，每条转换记录包括：

-包含牙齿场景的“转换”照片，以及

-对所述场景进行建模的数字三维“转换”模型的视图，或“转换视图”，该转换视图包含所述场景，就像转换照片一样；

ii)通过转换训练数据库来训练至少一个“转换”神经网络；

iii)使原始视图经受经训练的所述至少一个转换神经网络，从而使原始视图超逼真。

转换神经网络尤其可以从下面的列表中选择。

图像转换技术在Zhu，Jun-Yan等人的文章“Unpaired image-to-imagetranslation using cycle-consistent adversarial networks”中进一步描述。试验表明，如此使其逼真的原始视图提供了与照片基本相同的信息，而不必拍摄照片。具体而言，很难说超逼真的原始视图不是照片。因此，超逼真图像也可以被称为“照片级的”。

在步骤b)中，使从步骤a)中得到的原始图像经受经训练的神经网络以在图像中表示正畸矫治器，或者经受“修改神经网络”。

“神经网络”或“人工神经网络”是本领域技术人员众所周知的一组算法。特别地，该神经网络可以选自：

-专门用于图像分类的网络(被称为卷积神经网络(convolutional neuralnetwork，CNN))，例如：

-AlexNet(2012)

-ZF Net(2013)

-VGG Net(2014)

-GoogleNet(2015)

-Microsoft ResNet(2015)

-Caffe：BAIR Reference CaffeNet、BAIR AlexNet

-Torch：VGG_CNN_S、VGG_CNN_M、VGG_CNN_M_2048、VGG_CNN_M_1024、VGG_CNN_M_128、VGG_CNN_F、16层VGG ILSVRC-2014、19层VGG ILSVRC-2014、Network-in-Network(Imagenet和CIFAR-10)

-Google：Inception(V3，V4)；

-专门用于图像中对象的定位和检测的网络(对象检测网络)，例如：

-R-CNN(2013)

-SSD(单发MultiBox检测器：对象检测网络)，更快的R-CNN(基于快速区域的卷积网络方法：对象检测网络)

-更快的R-CNN(2015)

-SSD(2015)。

上面的列表不是详尽的。

为了可用，神经网络必须通过一种被称为深度学习的训练方法来进行训练。这种方法是众所周知的。

特别地，修改神经网络可以使用包含一组历史记录的历史训练数据库来进行训练，每个历史记录包括：

-从包含不承载正畸矫治器的牙弓的牙齿场景的照片(例如，图2A)、包含不承载正畸矫治器的牙弓的牙齿场景的视图、包含承载正畸矫治器的牙弓的牙齿场景的照片(例如，图2B)、以及表示承载正畸矫治器的牙弓的模型的视图中选择的历史图像，以及

-历史描述，该历史描述指定历史图像是否包含正畸矫治器和/或在该图像中识别正畸矫治器的表示。

如上面关于原始照片和原始视图的获取所描述的，可以获取包含照片或视图的历史图像。

通常，描述是由操作者生成的，该操作者通过计算机观察历史图像并相应地完成描述。此操作被称为标记。

由于历史记录作为输入被呈现给神经网络，因此神经网络逐渐了解包含正畸矫治器的图像和不包含正畸矫治器的图像之间的差异。因此，根据呈现给神经网络的原始图像，它能够生成经修改以包含正畸矫治器的图像。

因此，神经网络不会将正畸矫治器的3D模型的视图或正畸矫治器的预先存在的图像放置在原始图像中。

该网络仅在原始图像的基础上重新生成结合有(从原始图像创建的)正畸矫治器的完整图像。

修改神经网络的训练还允许其学习以在其背景中、特别是在原始图像的光照和/或清晰度条件下表示正畸矫治器。因此，正畸矫治器的结合是特别逼真的(图3B)。

修改神经网络的训练质量直接取决于训练数据库中历史记录的数量。通常，历史训练数据库优选地包含多于10000条记录。

历史训练数据库优选地包含多于5000条、优选地多于10000条、优选地多于30000条、优选地多于50000条、以及优选地多于100000条历史记录。

当原始图像是照片或视图时，如果历史训练数据库相应地仅包含照片或视图，则修改神经网络的训练质量也可以得到改善。

如果历史训练数据库专门用于一种正畸矫治器，则修改神经网络的训练质量可以最终得到改善。在一个优选实施方式中，使用历史训练数据库对神经网络进行训练，在该历史训练数据库中，包含正畸矫治器的历史图像仅包含预定类型的正畸矫治器。

修改神经网络将因此能够有效地生成经修改以包含这种类型的正畸矫治器的图像。

在一个实施方式中，操作者选择要表示的正畸矫治器的类型，并且计算机相应地专门化训练数据库，例如，诸如以仅保留其历史图像不包含正畸矫治器或仅包含所选类型的正畸矫治器的历史记录。

在步骤c)中，优选在计算机屏幕上或以增强现实(例如在电话的屏幕上或在患者看着他们自己的镜子上)将修改图像呈现给患者。

因此，患者可以观察到他们佩戴正畸矫治器时的外貌，并因此更容易接受相应的治疗。

模拟当前的牙齿状况

在一个实施方式中，患者例如使用他们的手机拍摄原始照片，并且集成在手机中的或移动电话能够与之通信的计算机实现所述方法。修改后的图像呈现在手机的屏幕上。

因此，患者甚至不必去任何地方，就可以非常容易地基于一张或优选地多于一张的牙齿照片来请求模拟他们的牙齿状况。

模拟过去或将来的牙齿状况

还可以实施根据本发明的方法，以从牙弓的数字三维模型生成表示模拟的牙齿状况的修改后的图像。特别地，可以模拟过去或将来的模拟时间的牙齿状况，而不管是否在治疗处理的背景下。

优选地，在步骤a)中，通过进行以下步骤来获取超逼真原始视图：

a1)在当前时间，生成患者的牙弓的原始模型；

a2)使原始模型变形以模拟当前时间与当前时间之前或之后(例如超过1周、超过1个月或超过6个月)的模拟时间之间的时间影响；

a3)获取前一步骤中经变形的原始模型的原始视图；

a4)优选地通过进行步骤i)至步骤iii)，将在前一步骤中获取的原始视图转换为超逼真原始视图。

因此，修改后的图像采用看起来像是在模拟时间拍摄的、并且包含正畸矫治器的照片的形式。可以将其呈现给患者，以向他们展示例如他们将来或过去的牙齿状况，从而激励他们继续正畸治疗。

在一个实施方式中，在步骤a2)中，在遵守性差的情况下，即如果患者不遵守医学处方，则将原始模型变形以模拟时间的影响。

当然，本发明不限于上面所述和所示的实施方式。

特别地，患者不限于人类。根据本发明的方法可以用于其它动物。

训练数据库不一定由“成对的”记录组成。特别地，Zhu，Jun-Yan等人的文章“Unpaired image-to-image translation using cycle-consistent adversarialnetworks”描述了其它可能的训练数据库。

此外，所述方法不限于将正畸矫治器的表示添加到图像中的方法，而是还可以用于牙弓的表示的任何修改，特别是在承载正畸矫治器的牙弓的图像中删除正畸矫治器的表示，或在配备有正畸矫治器的牙弓的图像中用一正畸矫治器的表示替换另一正畸矫治器的表示。相应地调整训练。这种调整不是特别困难。

最后，该方法不限于用于向原始图像中添加、或从原始图像中删除、或在原始图像中修改正畸矫治器的表示的方法。该方法扩展到任何其它牙科设备的表示。

Claims (13)

1.一种模拟方法，所述方法包括以下步骤：

a)获取患者的牙弓的图像，所述图像被称为“原始图像”；

b)使所述原始图像经受神经网络，所述神经网络被称为“修改神经网络”且被训练以局部地修改所述原始图像，以便获得“修改后的图像”；

c)将所述修改后的图像呈现给所述患者。

2.如紧接的前一项权利要求所述的方法，其中，所述修改神经网络被训练以：

-在不承载牙科设备的牙弓的图像上表示所述牙科设备；

-从承载所述牙科设备的牙弓的图像中删除所述牙科设备的表示；或者

-在承载所述牙科设备的牙弓的图像中，用一牙科设备的表示替换另一牙科设备的表示。

3.如紧接的前一项权利要求所述的方法，其中，所述牙科设备选自正畸矫治器、牙冠、植入物、牙桥和牙贴面。

4.如前述权利要求中任一项所述的方法，其中，所述原始图像是口外图像。

5.如前述权利要求中任一项所述的方法，其中，所述原始图像是所述牙弓的照片或所述牙弓的数字三维模型的视图。

6.如紧接的前一项权利要求所述的方法，其中，在步骤a)之前，通过“转换”神经网络使所述视图超逼真。

7.如紧接的前两项权利要求中任一项所述的方法，其中，在获取所述视图之前，修改所述模型。

8.如紧接的前一项权利要求所述的方法，其中，所述变形包括：

-牙齿的三维模型的移动，和/或

-牙齿模型的变形，和/或

-删除牙齿模型，和/或

-颌部模型的变形。

9.如前述权利要求中任一项所述的方法，其中，在步骤b)之前，用包含一组历史记录的历史训练数据库对所述修改神经网络进行训练，以在裸牙弓图像上表示正畸矫治器，每个历史记录包括：

-从包含不承载正畸矫治器的牙弓的牙齿场景的照片、包含不承载正畸矫治器的牙弓的牙齿场景的视图、包含承载正畸矫治器的牙弓的牙齿场景的照片、以及表示承载正畸矫治器的牙弓的模型的视图中选择的历史图像，以及

-指定所述历史图像是否包含正畸矫治器的历史描述，

所述历史图像中包含的所有正畸矫治器均属于同一类型。

10.如紧接的前一项权利要求所述的方法，其中，正畸矫治器的类型包括活动的多托架矫治器、或者正畸保持器或约束器。

11.如紧接的前两项权利要求中任一项所述的方法，其中，在步骤b)之前，操作者选择要表示的正畸矫治器的类型，并且计算机相应地专门化所述训练数据库，例如，诸如以仅保留如下历史记录，所述历史记录的历史图像不包含正畸矫治器或仅包含所选类型的正畸矫治器。

12.如前述权利要求中任一项所述的方法，其中，在步骤c)中，优选地以增强现实将所述修改后的图像呈现在镜子上或所述患者的电话的屏幕上。

13.一种用于提高患者对正畸治疗的坚持性的方法，所述方法包括以下步骤：

1)选择一种类型的正畸矫治器、以及经训练的用于在传递给其的裸牙弓图像上表示所述类型的正畸矫治器的神经网络；

2)通过根据权利要求1至12中任一项所述的模拟方法模拟在步骤a)中获取的所述原始图像，所述原始图像包含所述患者的裸牙弓，并且所述修改神经网络是在步骤1)中选择的神经网络；

3)在步骤c)之后，根据患者的意见，确定使用步骤1)中选择的类型的正畸矫治器进行正畸治疗，或在步骤1)中重新开始使用另一种类型的正畸矫治器。

Images