CN107735016A - 用于扫描解剖结构且用于显示扫描结果的系统和方法 - Google Patents

Abstract

一种用于扫描解剖结构且显示扫描结果的系统变为可用，其中所述系统具有以下各项：口内扫描器（10），其以口内方式记录所述解剖结构的图像；口外检测单元（20），其检测所述口内扫描器（10）相对于观察者或实行所述扫描的人的空间位置；以及计算单元（30），所述计算单元在扫描程序期间，使所述扫描器（10）与屏幕（40）和所述检测单元（20）通信，且基于所述解剖结构的所述以口内方式记录的图像以及所述口内扫描器（10）相对于所述观察者的所述所检测空间位置而产生扫描结果，且在所述扫描程序中的暂停期间，估计所述解剖结构的位置、定向和按比例缩放，且作为扫描结果而产生所述解剖结构的对应于所述估计的图像，且其中所述屏幕（40）显示由所述计算单元（30）产生的所述扫描结果。

Description

用于扫描解剖结构且用于显示扫描结果的系统和方法

技术领域

本发明涉及一种用于扫描患者的例如牙齿或颚部等解剖结构以便产生光学的口内印象并且显示及可视化扫描结果的系统，以及相关联方法。

背景技术

本发明具体来说涉及交互式及增量扫描。在扫描程序期间，组合个别的扫描以形成解剖结构的模型。此类型的扫描如例如“S. Rusinkiewicz 和Marc Levoy：ICP算法的有效变型，3-D数字成像和建模，2001（Efficient variants of the ICP algorithm, 3-DDigital Imaging and Modeling, 2001）”中所描述 是通过与观看者或观察者或进行扫描的人分离且与屏幕分离的扫描器来执行。手动地导引扫描器，目的是尽可能快地产生无间隙且高精密光学印象。为了实现此目标，当前扫描结果的简单且直观的可视化是极重要的。所提议的本发明以自然方式显示扫描结果，且因此简化了扫描器的处置。

当今，当以CEREC方法进行扫描时，在患者附近的屏幕上显示患者的牙列作为扫描的模型。当扫描时，例如牙科医生等进行扫描的人处于关于查看何处的窘境的常态。已经扫描的模型的质量能够在屏幕上看见。具体来说，也能够辨识例如模型中的间隙。为了闭合模型中的这些间隙且将扫描器导引到正确地点，必须将目光引导回到患者的牙列和扫描器。需要大量体验和实践来建立模型与患者的牙列之间的相关。作为现有系统中的额外辅助，发射相当烦人的声学信号作为关于扫描成功的非视觉反馈。

本发明能够在增强现实的领域中建立，但显著不同于常规增强现实应用。

存在其中外部不可见视图被覆盖的大量增强现实应用。举例来说，Mini/BMW正在规划一类“X射线眼镜”以淡化车辆车身的掩蔽效应且实现较宽的视场。存在用于尸体解剖的相似系统。举例来说，存在“Kilgus, T.等人：移动无标记增强现实及其在法医学中的应用，计算机辅助放射学和外科学国际期刊，2015（Mobile markerless augmented realityand its application in forensic medicine, International Journal of ComputerAssisted Radiology and Surgery, 2015）”中描述的系统，所述系统在可移动屏幕上显示多峰数据，例如X射线数据。为此，使用外部深度摄像机以检测屏幕的空间位置。然而，此系统不产生增量模型。增强屏幕仅以空间有意义的方式显示现有数据。

在内窥镜检查中存在用于增强现实的相似应用。内窥镜仪器必须精密地导航到特定点，这能够借助增强现实以简化方式显示。重要的导航点和计划的干预路径交互式地覆盖到内窥镜图像中。另一方面，不存在解剖结构的模型的交互式和增量创建。因此，内窥镜检查中的增强显示专门地有助于仪器在预先计划的干预路径上的粗略导航。

本文呈现的本发明还在确定人工数据对现实的位置的方式方面不同于其它增强现实应用。极精确地且经由扫描器的位置和扫描结果以简单方式执行此定位。

对于牙科应用，US 2007/0172101 Al描述相似的系统。根据此发明，将三维模型叠加在二维图像上方。所述二维图像来源于口内相机。所述三维模型是口内扫描器的三维图像的组合。两个视图都是原始从同一视角产生。观看者或屏幕的位置对可视化没有影响。

取决于应用，模型是扫描程序的重要结果。在某些情形下单个扫描可能是不足的。例如在特定的难以测量的区域中的扫描可能不完全（有凹坑）、出错或有噪声。这些不足可能能够通过组合例如从不同视角进行的多次扫描而克服。作为扫描程序的结果的模型的评估因此是极重要的。

合并的方法通常是使扫描的三维形状和模型彼此对准的方法，通常是迭代最近点（Iterative Closest Point，ICP）方法的变型。在合并期间，将新扫描添加到已经扫描的扫描数据，即以新扫描数据符合现有扫描数据且误差最小的方式来应用。随后则继续必须检查此添加是否也是成功的。为此，例如检查找到的最小误差或重叠程度。找到的最小误差通常必须充分小，且重叠程度必须充分大。如果满足此准则，那么新扫描也将变为模型的部分，否则至少在当时必须将新扫描丢弃。

扫描对模型的添加有时不成功存在多种原因。这些原因中的一些是：

-用户移动扫描器太快，使得新扫描与模型不重叠或不足够重叠。

-用户以待扫描的对象位于扫描器的扫描范围之外的方式移动扫描器。

-扫描数据包含太多干扰，使得ICP中的误差太大。

-扫描的结构不是刚性内聚的且已变形。新扫描因此无法匹配于模型。在描述的应用中，这些部分是例如可独立于刚性的牙齿而移动的舌头或颊部。

如果扫描由于任何原因无法添加到模型，那么扫描器仅能够在有限范围用作在相对于解剖结构的正确位置显示虚拟模型的辅助。这是因为不存在关于当前扫描相对于模型的位置的信息。

对于手动导引的增量扫描，用户必须确保新扫描可成功地添加到模型。如果当前扫描无法添加到模型，那么用户必须采取校正性措施且以新扫描可添加到模型的方式移动扫描器。此情形表示用户的操作中的问题，因为连续扫描程序被中断。具体来说在此类情形中，在解剖结构上正确地显示虚拟模型是极有帮助的。用户因此可将扫描器更容易地移动到现有模型。在此类情形中，当前扫描也将覆盖于正确位置。

还存在其它情形，其中虚拟模型将在正确位置显示，且扫描器仅能够在有限范围上被包含作为辅助。

举例来说，扫描程序和扫描的模型的评估无法同时发生。取决于正使用的扫描技术，扫描器将可见光投射到牙齿上，这干扰扫描模型的可视化。在此情况下可以必须中断扫描程序以便更准确地评估模型。

WO 2004/100067 A2描述了一种系统，所述系统以待扫描的对象和扫描结果对于进行扫描的人来说看一眼便可见的方式显示直接扫描结果。为此，扫描器用作以与US6503195 B1中描述的腹腔镜手术中使用的系统相当类似的方式进行恰当显示的辅助。WO2004/100067 A2或US 6503195 B1均未描述当将个别扫描编译到较大模型中时对用户的任何辅助。如果当前扫描无法添加到现有模型，那么此编译对于用户是尤其困难的。我们的本发明描述用于例如那些关键时刻的系统。WO 2004/100067 A2未提及这些关键时刻。

WO 2015/181454 Al描述了将扫描结果或额外信息叠加到患者的口部中的解剖结构上的系统。通过使三维点云变为对准而将口内扫描器和概览相机的图像叠加于彼此上。所述描述未提供描述中提到的增强现实眼镜的概览相机准许解剖结构的点云的计算充分准确以执行精确叠加的指示。

US 2012/0056993 Al、WO 2010/067267 Al和WO 2014/120909 Al是描述用于可视化扫描结果的系统的另外文献。

发明内容

本发明的目的是提供一种用于扫描解剖结构且使扫描结果可视化的系统以及相关联方法。扫描结果的可视化既定允许扫描器的更容易处置。经扫描的解剖结构与尽可能精确的数字模型的叠加另外应当在扫描程序中的中断期间也是可能的。

所述目的是通过根据权利要求1所述的系统和根据权利要求15所述的方法来实现。相应的附属权利要求2到14以及16到18示出了根据权利要求1所述的系统和/或根据权利要求15所述的方法的有利的进一步发展。

提供一种用于扫描解剖结构且使扫描结果可视化的系统，其中所述系统包括以下各项：口内扫描器，其以口内方式捕获所述解剖结构的图像；口外检测单元，其检测所述口内扫描器相对于观察者的空间位置；以及计算单元，其在扫描程序期间将所述扫描器与屏幕和所述检测单元连接，且基于所述解剖结构的以口内方式捕获的图像以及所述口内扫描器相对于观察者的所检测空间位置而产生扫描结果，且在扫描程序中的暂停期间估计所述解剖结构的位置、定向和按比例缩放，且作为扫描结果而产生对应于所述估计的所述解剖结构的图像，其中所述屏幕显示由所述计算单元产生的扫描结果。

具体来说，通过使用记录装置以确定3D数据与用户视场之间的变换链，用于以所记录3D数据进行现实的实时叠加的具有视频功能的3D表面成像的使用根据本发明是可能的。

解剖结构可具体来说包含作为扫描模板的牙齿，所述牙齿由作为进行扫描的人的牙科医生进行扫描和检查。以有利的方式，使用根据本发明的系统，牙科医生可查看叠加于彼此上的真实牙齿和经扫描的牙齿且做出诊断。为了甚至在扫描程序中的中断期间使经扫描的解剖结构与数字模型的叠加尽可能精确，使例如真实解剖结构的位置、定向和按比例缩放等参数以及解剖结构的覆盖虚拟模型变为相关。

与从WO 2015/181454 A1已知的系统相比，本发明有利地提出在扫描期间使用扫描器作为辅助，以便与先前完成相比准确得多地估计用于精确叠加的相关。此外，根据本发明，在扫描到模型的成功添加期间在多种性质当中选择对于相关所需的性质。因此，不仅将三维形状变为相关，例如还可以合并二维性质。不由扫描器直接检测而是仅在扫描器附近的性质也可用以实现精确匹配。这是可能的，因为在扫描期间这些性质与虚拟模型的位置之间的关系是已知的。

屏幕优选地并入于增强现实眼镜中，以便直接位于进行扫描的人的视场内，而检测单元提供于屏幕的紧邻附近且理想地刚性连接到所述屏幕。牙科医生因此可以最简单方式检查患者的牙齿，而不必在患者的口部与屏幕之间来回移动他的眼睛。确切地说，检测单元和屏幕可刚性地安装于进行扫描的人的头部附近。

所述系统优选地进一步包括眼睛相机，所述眼睛相机检测进行扫描的人的眼睛和/或头部相对于检测单元和屏幕的移动，其中所述计算单元产生显示于屏幕上的适于所检测移动的扫描结果。由于眼睛相机，可避免屏幕的再校准且可增加可用的角度范围。

所述系统优选地进一步还包括位置传感器，所述位置传感器检测进行扫描的人的移动。所述系统还包括在扫描器附近的位置传感器，所述位置传感器检测扫描器的移动。所述计算单元当产生显示于屏幕上的扫描结果时考虑所检测移动。位置传感器还允许显示于屏幕上的扫描结果的可视化与无位置传感器的情况相比甚至更准确。系统的稳健性由于位置传感器而增加。

计算单元有利地执行坐标系之间的变换。所述坐标系包含以口内方式捕获的图像的坐标系、扫描器的坐标系、检测单元的坐标系以及屏幕的坐标系。所述坐标系可进一步分别包含用于进行扫描的人的左眼和右眼的屏幕的坐标系，且分别包含用于进行扫描的人的左眼和右眼的坐标系。由于坐标系之间的变换，扫描结果的精确、空间上有意义的可视化能够在屏幕上实行为叠加图像。

所述屏幕优选地还显示与成功扫描相关的信息。因此，始终确保能够立即辨识不成功的扫描。

特别优选地，计算单元处理由扫描器以口内方式捕获的解剖结构的图像以使得所述图像在屏幕上显示于扫描器的头部附近。扫描器因此可用作虚拟镜。在此上下文中，虚拟是指不存在常规光学镜，而是所记录图像显示于扫描器的头部附近且仅借助于屏幕可见。所述镜不是物理上存在的，镜的功能性仅借助于屏幕上的显示而可见。

检测单元可例如为检测扫描器的三维位置的简单3D相机，或甚至仅为2D相机，在某些条件下通过所述2D相机还可确定扫描器的三维位置。

扫描器上有利地提供光学位置标记。通过位置标记，有可能使用普通2D相机作为检测单元借助于扫描器附近的检测单元以尤其简单方式确定扫描器的位置，方法是确定位置标记与2D相机之间的距离且基于此确定的或测得的距离而推断扫描器到2D相机的距离。

本发明进一步提供一种用于使用根据前述权利要求中任一项所述的经配置的系统扫描解剖结构且使扫描结果可视化的方法，其特征在于以下方法步骤：以口内扫描器捕获解剖结构的图像，检测口内扫描器的空间位置，借助于坐标系之间的变换而叠加由扫描器捕获的2D和/或3D图像，以及在屏幕上显示所产生的扫描结果。

通过根据本发明的方法，有可能改进屏幕上的扫描结果的可视化且促进可视化的进一步使用。

确切地说，通过合并由所述扫描器以口内方式捕获的所述解剖结构的个别图像而形成扫描结果。因此，在解剖结构是牙齿的情况下，可显示整个颚部而无需任何额外努力。

优选地借助于口外检测单元追踪且记录扫描器的相应位置。扫描结果的可视化以及扫描器的位置连同以口外方式捕获的图像的可视化因此是可能的。

优选地通过使用扫描器上的位置标记来追踪扫描器的相应位置。扫描器上的位置标记的使用允许扫描器的位置的精确确定并且因此允许扫描器的精确追踪。

计算单元优选地借助于侵入性或非侵入性方法估计解剖结构的位置、定向和按比例缩放，其中所述侵入性方法包含在将扫描的解剖结构上附接标记或某种其它追踪传感器，且所述非侵入性方法包含解剖结构的光学二维或三维性质的配对。为了解剖结构的位置、定向和按比例缩放的改进估计，自动学习阶段也通过计算单元以用于自动学习。这意味着对于解剖结构的位置、定向和按比例缩放的改进估计，在扫描到模型的成功添加期间，计算单元通过学习阶段，所述学习阶段有助于在扫描程序中的暂停期间显示虚拟模型，其中虚拟模型与在解剖结构上或接近于解剖结构的性质之间的变换是已知的或能够在成功扫描期间学习，且其中可选择二维或三维性质以便在扫描程序中的暂停期间以稳定且稳健方式追踪虚拟模型。借助于此估计和学习，与先前可能的情况相比可获得解剖结构的较准确图像。

由扫描器以口内方式捕获的解剖结构的图像和/或扫描结果以有利方式相对于扫描器的位置显示于屏幕上。扫描结果的全面且精确可视化因此是可能的。

因此根据本发明，这导致解剖结构的快速、不复杂且精确扫描的优点，以及对于用户舒适的扫描结果的可视化。

附图说明

本发明的所陈述及另外的特征和细节将从以下详细描述和附图中对所属领域的技术人员变得更明显，附图基于实例说明本发明的特征，且其中

图1 示出了根据本发明的系统，

图2 示出了根据本发明的系统的屏幕的显示，

图3 示出了根据本发明的系统的成像链的概览，

图4 示出了根据本发明的所捕获扫描的坐标系，

图5 示出了根据本发明的扫描器的坐标系，

图6 示出了根据本发明的检测单元的坐标系，

图7 示出了根据本发明的用于进行扫描的人的左眼和右眼的屏幕的坐标系，

图8 示出了根据本发明的用于进行扫描的人的左眼和右眼的作为进行扫描的人的观察者的坐标系，

图9 示出了根据本发明的校准，

图10 示出了根据本发明的在扫描器上具有位置标记的情况下真实牙齿与牙齿的虚拟模型之间的相关的产生，

图11 示出了根据本发明的用于获得可再生扫描结果的叠加、标准化扫描导引，

图12 示出了根据本发明的在成功检测之后消失的叠加标记，

图13 示出了根据本发明的在模型中的间隙或低点密度的叠加指示，以及

图14 示出了根据本发明的在扫描器的头部附近的口内扫描器的图像的显示。

具体实施方式

在随后将基于优选实施例且参考附图进一步详细阐释本发明。

图1示出了一种系统，其中呈增强现实眼镜形式的屏幕40直接放置于进行扫描的人的视场中。作为解剖结构的真实牙齿和扫描结果对于进行扫描的人来说看一眼便可见。在显示单元中，屏幕40将虚拟内容叠加到真实视场中（增强现实）。

增强现实眼镜将不久即可市售。本发明可以用例如Microsoft HoloLens来实施。在此情况下，用于扫描器的空间位置的检测单元20是具有相关联2D彩色图像的3D深度摄像机。屏幕40和计算单元30两者集成到眼镜中。

扫描结果和配合于周围环境的有帮助的提示在屏幕40上可见。作为解剖结构的待扫描的牙齿、已经过采集的牙齿以及扫描器10看一眼便可见且叠加于彼此上，如在图2中可见。

所述系统包括作为中心元件的屏幕40，扫描结果和信息在所述屏幕上可见。屏幕40允许用户、进行扫描的人看见同时的且叠加于彼此上的作为扫描模板的牙齿和扫描结果。

可以用多种方式设计屏幕40。在例如作为第一实例的半透明屏幕的情况下，虚拟内容叠加于现实上且现实表现为至多稍微地变暗。在作为第二实例的完全虚拟屏幕的情况下，虚拟内容叠加于周围环境的视频上。此视频是从自然视点记录的。然而，虚拟内容也能够直接投影到进行扫描的人的视网膜上。

当然，第一实例和第二实例的任何组合也是可以想象的：观看的周围环境也能够以半透明方式叠加，和/或能够通过不在眼睛前方的两个屏幕上展示相同内容来实行叠加。也可以想象叠加的程度由每一用户个别地设定。

所述系统进一步包括检测单元20，所述检测单元检测口内扫描器10的空间位置并且直接邻近于屏幕40而提供，且优选地刚性连接到所述屏幕40。二维或任选地三维相机常常集成于增强现实眼镜中。此相机可充当检测单元20，且从与作为进行扫描的人的扫描器10的用户类似的视点捕获场景。检测单元20用以检测扫描器10的空间位置，且相对于口内扫描器10显示在特定位置的口内扫描结果。例如将虚拟扫描结果叠加到真实解剖结构上是有用的。

所述系统还可进一步包括眼睛相机21，所述相机检测进行扫描的人的眼睛和/或头部相对于检测单元20和屏幕40的任何移动。如果例如头部与屏幕40之间的距离改变，那么也必须相应地调适显示器。如果观看方向改变，那么也可能必须改变显示器。

所述系统还可包含任选的位置传感器22，所述位置传感器检测用户的移动且帮助以稳定方式显示屏幕40的内容。

确切地说，所述系统包括扫描器10，所述扫描器被配置成二维和/或三维数字记录装置。这可以多种方式执行。可借助于例如口内相机获得二维图像。可以通过结构化照明下的三角测量、通过立体相机、以共焦方式、借助于飞行时间或其它原理来记录三维模型。

如图1所示，根据本发明的系统具体来说还包括计算单元30，所述计算单元将扫描器10、屏幕40和检测单元20以及眼睛相机21和位置传感器22连接到彼此。计算单元30考虑用户的视角而确定扫描结果和现实的叠加。

根据本发明，具体来说，通过使用记录装置以确定3D数据与用户视场之间的变换链，用于现实与所记录3D数据的实时叠加的具有视频功能的3D表面成像的使用是可能的。

从图4到8显而易见，根据本发明的系统中存在不同坐标系。图4中示出的坐标系是借助于所记录扫描、口内扫描器10的结果而确定。又一坐标系是图5中展示的扫描器10的坐标系。又一坐标系是检测单元（以下也称为概览相机20）的坐标系，所述检测单元检测扫描器10的位置且在图6中示出。另一坐标系是图7中示出的空间的坐标系，如由例如牙科医生的用户或进行扫描的人所见，其中存在用于每一眼睛的系统，即两个系统。最后，还存在图8中示出的观察者的坐标系。

为了将作为虚拟内容的由扫描器10捕获的图像精确叠加于作为现实的由概览相机20捕获的解剖结构上，如图2中示出，先前指定的坐标系之间的若干已知的变换是必要的，如例如图3中可见。

变换涉及现实到屏幕40的变换。

另一变换涉及现实到扫描器10的变换，这在扫描期间是已知的。扫描器10以通常极高的准确性产生现实与数字模型之间的关系。

另一变换涉及扫描器10到概览相机20的变换。可以通过扫描器10上的可容易辨识的位置标记11来确定扫描器10的位置。这些位置标记11也可以是具有已知纹理的任何种类的说明，例如公司或产品标志。这些位置标记提供关于扫描器10的位置和大小的信息，因为它们以已知的几何形状和大小安装在扫描器10上，如图10中可见。因此也可借助于二维概览相机20充分检测扫描器10的位置。光学位置标记可以例如是已知的纹理，且可以根据“M.Ozuysal等人：用于通过检测进行追踪的特征采集，计算机视觉欧洲会议，2006（FeatureHarvesting for Tracking-by-Detection, European Conference on Computer Vision,2006）”来追踪。特殊位置标记可以例如根据“D. Wagner等人：移动电话上的稳健且不显眼的标记追踪，技术报告，格拉茨技术大学（Robust and Unobtrusive Marker Tracking onMobile Phones, Technical Report, Graz University of Technology）”来追踪。

另一变换涉及概览相机20到屏幕40的变换。此相关可以事先以稳定方式确定，例如借助于概览相机20到屏幕40的固定几何形状。

另一变换涉及进行扫描的人的眼睛到屏幕40的变换。此相关在人与人之间是不同的，且在首次使用之前必须借助于个人校准来确定。由于眼睛移动且观看方向可改变，因此取决于系统，还必须追踪眼睛；这可借助已经提到的眼睛相机21而完成。

可例如借助齐次坐标中的变换来计算此成像链。坐标向量的线性变换T可以在线性代数中以矩阵形式表达，其中A表示成像矩阵：

线性图像的连续执行对应于相关联成像矩阵的矩阵乘积。

另外细节可以在例如“Hartley和Zissermann：计算机视觉中的多视图几何形状，剑桥大学出版社（Multiple View Geometry in Computer Vision, CambridgeUniversity Press）”的文献中找到。

为了避免眼睛的位置的确定，可以将校准的有效性范围例如限于用户或进行扫描的人的视场的平均空间角度。如果用户以待显示的几何形状离开此空间角度的方式转动他的头部，那么叠加能够被隐藏。

使用合适的坐标变换（变换指令）将各种坐标系进行彼此转换。最后，存在在分别用于每一眼睛的一个步骤中执行以上变换的变换指令；这意味着执行两个变换。变换规范允许将作为患者的解剖结构的牙齿的移动转换为用户的相应眼睛的坐标系，且允许由扫描器10记录的3D几何形状在屏幕40上在相对于由眼睛自然看见的图像的正确位置中显示。

为了校准整个系统（具体来说眼睛到屏幕），扫描器10例如可以按符合扫描器10的虚拟显示的方式对准，如图9中可见。如果成像链例如因错误扫描、对齐误差或扫描器10的掩蔽而中断，那么在最佳可能的位置显示虚拟内容。

此位置优选地借助于以下来确定：

- 安装在扫描器10上的加速度传感器。这些允许对扫描器10的位置的短期估计。然而，对于较长周期，小误差累积且估计位置因此变得较不准确。

- 追踪待扫描的解剖结构。患者的上颌的牙齿固定地连接到他的头部。对例如眼睛等面部特征的观察可提供关于牙齿的位置的信息。

- 取决于概览相机20的分辨率以及到例如患者的牙齿等解剖结构的距离，也可以辨识牙齿上的特征。可以在成功扫描期间学习2D特征与3D模型位置的相关。这些特征可例如为特定边缘模式或甚至为牙齿的颜色分布。

在作为解剖结构的牙齿的移动模型中，例如在卡尔曼滤波器中可包含错误观测，以便借助计算单元计算位置的稳定估计。这可以类似于在GPS信号损失的情况下汽车的位置估计的方式来执行。

将在随后解决屏幕40的内容。

为了增加扫描结果的可再生性，可在例程扫描期间叠加扫描协议。例如从“Ender和Mehl：扫描策略对数字口内扫描系统的准确性的影响，计算机化牙科学国际期刊，2013（Influence of scanning strategies on the accuracy of digital intraoralscanning systems, International Journal of Computerized Dentistry, 2013）”知晓扫描协议能够增加模型的准确性。通常在训练阶段中向用户教示这些协议。所提议的系统使得有可能直接在扫描期间建议且叠加这些扫描协议。可容易地应用这些指令，因为扫描器与模型之间的相关是显而易见的。扫描协议不必永久地事先建立，而是也可以交互式地建议以便最小化对齐误差。为了校正小的对齐误差，循环关闭通常是尤其重要的；参见例如：“T. Weise等人：具有在线循环关闭的手持扫描，ICCV研讨会，2009（In-hand Scanningwith Online Loop Closure, ICCV Workshops, 2009）”。系统可建议特定的尤其有价值的循环关闭，以便改进模型的准确性。可借助于例如指示扫描方向的箭头来实现扫描导引，如图11中可见。也可设想叠加经编号定向点作为辅助。一旦此区已成功地扫描，这些定向点就消失。此选项在图12中可见。

作为又一辅助，可以特定着色来虚拟地叠加扫描的质量，例如图13中可见。例如如果模型中存在间隙，那么扫描的质量是不良的。随后可建议这些区作为将扫描的接下来的区。

为了使模型的不直接可见的视图可视化，扫描器10充当虚拟镜。从用户的视点不可见的视图在扫描器10的头部附近虚拟地镜像，如图14中所示。所述镜是虚拟的且因此能够按需要定位，举例来说，例如根据图14直接在扫描器10上，或甚至紧靠扫描器10。在必要时，所述镜也可充当放大镜或放大凹面镜。

也可能包含另一虚拟放大镜从而能够以放大方式显示关键区。

如果扫描器10具有记录二维扫描的能力，那么所述虚拟镜也可充当模型或真实牙齿的电子牙齿镜。在存在现有3D扫描结果的情况下，这些用以相对于扫描器10的位置而显示模型数据。无3D扫描结果的情况下，所述虚拟牙齿镜直接相对于扫描器10的位置显示二维扫描。

所显示扫描的图像是通过引入人工照明而显示。对应虚拟光源优选地定位于作为进行扫描的人的牙科医生通常将他的光定位于的地方，例如在他的前额上。为了能够正确地定位此虚拟光源，所述系统必须知道牙科医生对患者的相对位置。在最简单的情况下，概览相机20刚性地连接到牙科医生的头部。概览相机与患者的牙齿之间的图像相关被称为扫描的结果。

可视化必须实时发生，即理想地具有至多0.1秒的等待时间。较高等待时间大体上并不限制所述方法的适用性，但用户被迫进入扫描器10的对应较慢的处置。无法完全避免等待时间，因为为了确定扫描器10的位置，必须首先产生3D图像且对齐到将显示的另一几何形状（转换为共同坐标系）。

具有短等待时间的可视化需要对应有力的计算硬件。计算机硬件可为分散的。因此，屏幕40与检测单元20之间可存在CPU和GPU。连接屏幕40、检测单元20和扫描器10的计算单元30中可存在额外CPU和GPU。

现在将论述虚拟模型和现实的空间布置。

为了尽可能自然地显示作为解剖结构的牙齿的虚拟模型且在口部中正确地定位，紧邻牙齿的对象必须分段。此分段可以例如通过被虚拟覆盖的真实牙齿的光流与虚拟模型的相关来实行。所覆盖2D视图的光流必须符合估计虚拟模型的流。如果情况不是这样，那么在虚拟模型的前方在空间上显示这些移动干扰。如果口内扫描器10也供应RGB图像且虚拟模型可以此方式着色，那么真实牙齿与模型之间的颜色偏差也可用于分段。如果例如颜色值并不匹配，那么在这些区中不显示虚拟模型。

此选项也可选择性地关闭；例如显示在扫描器10的头部后方的模型中的间隙。

确切地说，在扫描程序中的暂停期间，由计算单元30借助于工具来估计解剖结构的位置、定向和按比例缩放。可在侵入性与非侵入性方法之间作出区别，由此非侵入性方法是优选的。

侵入性方法是在将扫描的解剖结构上附接标记或某种其它的追踪传感器。非侵入性方法是解剖结构的光学2D或3D性质的配对。2D或3D性质可例如为稀疏数目的眼睛捕获、局部点或甚至在对象上密集分布的若干较大区。

局部2D性质的实例是：

- 解剖结构上的局部色差。在所描述应用中这些通常是牙齿-牙龈过渡处。

- 局部亮度差异。在所描述应用中这些通常是牙齿上的精细亮度差异。

- 最大亮度的点

- 最小亮度的点

局部3D性质的实例是：

- 解剖结构上的可例如以曲率度数描述的局部形状差异。

为了实现更稳健的描述，局部2D或3D性质可另外相对于其空间分布进行检查。可借助于例如距离量度来描述局部点之间的接近度关系。

一个选项是使虚拟模型上的性质与由概览相机捕获的性质对准。概览相机通常还提供周围环境的2D颜色数据或3D数据。性质的对准越容易，在连续扫描程序期间口内相机以及在扫描程序中的暂停期间概览相机的记录条件就越相似。因此可在借助于概览相机的图像的记录期间关闭记录扫描所需的任何照明。额外照明也可有利地安装在类似于概览相机的位置的位置处。

另一选项是记录解剖结构的较靠近的周围环境，且从所述信息推断解剖结构。举例来说，头部或头部的部分可用以确定牙齿的参数。此处同样存在侵入性和非侵入性方法。举例来说，标记可侵入性地附接到面部。举例来说，可非侵入性地追踪特定视点或面罩。

为了甚至在扫描程序中的暂停期间在真实解剖结构上尽可能精确地定位虚拟模型，在以扫描器10的扫描期间，在作为监控的图像的产生期间关于所描述方法存在自动学习阶段。因此，在扫描以及扫描到模型的成功添加期间，连续地分析且评估来自概览相机的数据，以便稍后在扫描程序中的暂停期间将虚拟模型尽可能正确地叠加到真实解剖结构上。在此学习阶段中，自动检测正由概览相机追踪的性质中哪些性质可用以估计虚拟模型的位置、定向和按比例缩放。这些性质应当例如实现尽可能稳定的追踪。从例如局部2D或3D性质等许多描述的性质当中，选择在所述情形中可以尤其稳定且稳健方式追踪的那些性质。借助自动学习阶段，有可能选择例如在解剖结构上及其附近存在的不同性质的任何所需组合。

这些性质也应当相对于估计参数为有意义的。学习在选定性质与在扫描期间已知的估计参数之间的关系。如果某些性质不可用于估计所需参数，那么在扫描期间识别此情况，且稍后在扫描程序中的暂停中可忽略这些性质。

在扫描中断的情况下，这些有技巧地选择的性质用以估计现在未知的参数。

自动地学习适合于估计所需参数的性质。因此这些性质不必事先选择。实际上它们从扫描程序到扫描程序是自适应地调整的。借助于自动学习阶段，有可能使仅在经扫描的解剖结构附近存在的性质与估计参数对准。因此例如可学习虚拟模型的位置、定向和按比例缩放相对于面罩的位置、定向和按比例缩放（借助于概览相机来追踪）之间的关系。在扫描程序中的中断期间可继续追踪面罩，且可在相对于面罩的所学习位置、定向和按比例缩放下显示解剖结构。

如果扫描器无法用作辅助，那么也可由用户经由真实解剖结构手动地定位虚拟模型。在此手动校准步骤中，随后还可学习所追踪性质与虚拟模型的位置、定向和按比例缩放之间的关系。手动校准步骤可执行一次或也可重复执行，以便实现较高程度的稳健性。

本发明具体来说表明一种用于扫描解剖结构且使扫描结果可视化的系统和方法，其借助简单操作提供了扫描结果的改进的可视化。

Claims (18)

1.一种用于扫描解剖结构且使扫描结果可视化的系统，其中所述系统包括以下各项：

口内扫描器（10），其以口内方式捕获所述解剖结构的图像，

口外检测单元（20），其检测所述口内扫描器（10）相对于观察者或进行所述扫描的人的空间位置，以及

计算单元（30），所述计算单元

在扫描程序期间，将所述扫描器（10）与屏幕（40）和所述检测单元（20）连接，且基于所述解剖结构的所述以口内方式捕获的图像以及所述口内扫描器（10）相对于所述观察者的所述所检测空间位置而产生扫描结果，且

在所述扫描程序中的暂停期间，估计所述解剖结构的位置、定向和按比例缩放，且作为扫描结果而产生对应于所述估计的所述解剖结构的图像，且

其中所述屏幕（40）显示由所述计算单元（30）产生的所述扫描结果。

2.根据权利要求1所述的系统，其特征在于所述屏幕（40）并入于增强现实眼镜中，以便直接定位于进行所述扫描的人的视场中，

所述检测单元（20）是产生二维和/或三维概览图像的相机，其中所述相机直接邻近于所述屏幕（40）且刚性地连接到所述屏幕。

3.根据权利要求2所述的系统，其特征在于所述检测单元（20）和所述屏幕（40）刚性地安装于进行所述扫描的所述人的头部附近。

4.根据权利要求2或3所述的系统，其特征在于所述系统进一步包括眼睛相机（21），所述眼睛相机检测进行所述扫描的所述人的眼睛和/或头部相对于所述检测单元（20）和所述屏幕（40）的移动，其中所述计算单元（30）产生显示于所述屏幕（40）上的所述扫描结果作为适于所述所检测移动的叠加图像。

5.根据权利要求4所述的系统，其特征在于所述系统进一步包括检测进行所述扫描的所述人的移动的位置传感器（22），其中所述计算单元（30）当产生显示于所述屏幕（40）上的所述叠加图像时考虑所述所检测移动。

6.根据权利要求4或5所述的系统，其特征在于所述系统进一步包括在所述扫描器（10）附近的检测所述扫描器的移动的位置传感器，其中所述计算单元（30）当产生显示于所述屏幕（40）上的所述叠加图像时考虑所述所检测移动。

7.根据前述权利要求中任一项所述的系统，其特征在于所述计算单元（30）执行坐标系之间的变换。

8.根据权利要求7所述的系统，其特征在于所述坐标系包含所述以口内方式捕获的图像的坐标系、所述扫描器（10）的坐标系、所述检测单元（20）的坐标系以及所述屏幕（40）的坐标系。

9.根据权利要求8所述的系统，当所述系统是基于权利要求5、6或7时，其特征在于所述坐标系进一步分别包含用于进行所述扫描的所述人的左眼和右眼的所述屏幕（40）的坐标系，且分别包含用于进行所述扫描的所述人的左眼和右眼的坐标系。

10.根据前述权利要求中任一项所述的系统，其特征在于所述屏幕（40）还显示与成功扫描相关的信息。

11.根据前述权利要求中任一项所述的系统，其特征在于所述计算单元（30）处理由所述扫描器（10）以口内方式捕获的所述解剖结构的所述图像以使得所述图像在所述屏幕（40）上显示于所述扫描器（10）的头部附近。

12.根据前述权利要求中任一项所述的系统，其特征在于在所述扫描器（10）上提供位置标记（11）。

13.根据前述权利要求中任一项所述的系统，其特征在于所述计算单元（30）借助于侵入性或非侵入性方法估计所述解剖结构的所述位置、定向和按比例缩放，其中所述侵入性方法包含在将扫描的所述解剖结构上附接标记或某种其它追踪传感器，且所述非侵入性方法包含所述解剖结构的光学二维或三维性质的配对。

14.根据权利要求13所述的系统，其特征在于为了所述解剖结构的所述位置、定向和按比例缩放的改进的估计，在扫描对模型的成功添加期间所述计算单元（30）通过学习阶段，所述学习阶段有助于在所述扫描程序中的暂停期间显示虚拟模型，其中所述虚拟模型与在所述解剖结构上或接近于所述解剖结构的所述性质之间的变换是已知的或能够在成功扫描期间学习，且其中能够选择二维或三维性质以便在所述扫描程序中的暂停期间以稳定且稳健方式追踪所述虚拟模型。

15.一种用于使用根据前述权利要求中任一项所述的经配置的系统扫描解剖结构且使扫描结果可视化的方法，其特征在于以下方法步骤：

以所述口内扫描器（10）捕获所述解剖结构的图像，

以所述口外检测单元（20）检测所述口内扫描器（10）的空间位置或定位，

在扫描期间借助于坐标系之间的变换将以所述口内扫描器（10）捕获的所述图像的坐标系转换为所述屏幕（40）的坐标系，或

估计所述解剖结构的位置、定向和按比例缩放且产生对应于所述估计的所述解剖结构的图像，以及

在所述屏幕（40）上显示所述所产生图像。

16.根据权利要求15所述的方法，其特征在于

通过合并由所述扫描器（10）以口内方式捕获的所述解剖结构的个别图像而形成扫描结果。

17.根据权利要求15或16所述的方法，其特征在于通过使用所述扫描器（10）上的位置标记（11）而跟随所述扫描器（10）的相应位置。

18.根据权利要求17所述的方法，其特征在于由所述扫描器（10）以口内方式捕获的所述解剖结构的所述图像和/或所述扫描结果相对于所述扫描器（10）的位置而显示于所述屏幕（40）上。