CN110709886B

CN110709886B - 口内扫描方法

Info

Publication number: CN110709886B
Application number: CN201880028350.5A
Authority: CN
Inventors: 安德鲁·达乌德
Original assignee: Medicim NV
Current assignee: Medicim NV
Priority date: 2017-05-27
Filing date: 2018-05-25
Publication date: 2024-04-05
Anticipated expiration: 2038-05-25
Also published as: CN110709886A; AU2018275860B2; DK3631753T3; EP3631753B1; WO2018219800A1; CA3061996A1; EP3631753A1; AU2018275860A1; ES2870157T3; GB201708520D0; US11446125B2; US20200170760A1

Abstract

本发明涉及用于生成和显示口内场景的至少一部分的3D表示的方法和设备。所述方法包括确定在点云坐标空间中表示口内场景的一部分的3D点云数据。在相机坐标空间中获取所述口内场景的同一部分的彩色图像。标记在所述图像的表示所述口内场景的表面的区域内的所述彩色图像元素，其优选不应包括在所述3D表示中。然后将所述标记且适当地变换的彩色图像映射到所述3D点云数据上，由此去除或过滤掉映射到此类标记的彩色图像元素上的所述3D点云数据点。最终，从所述过滤的3D点云数据生成3D表示，其不包括由所述标记的彩色图像元素表示的所述表面中的任一个。

Description

口内扫描方法

技术领域

本发明总体上涉及处理和过滤在口内扫描期间获得的三维计量数据的领域。

背景技术

光学口内扫描系统是一种诊断装备，其允许牙科医生观察患者嘴巴的内部并在显示监视器上显示牙齿和齿龈的三维(3D)形貌特征。可由操作员(通常是牙科医生)将3D口内扫描系统的一部分插入患者的口腔中。在将口内扫描系统插入口腔中之后，操作员可以捕获牙齿和齿龈的可见部分的图像。3D口内扫描系统可以用于替代记录牙特征和正畸特征的传统模型印模。

光学口内扫描系统可以通过生成口内场景中的一个或多个物体表面的二维(2D)强度图像系列来捕获口内场景的3D计量数据。在某些系统中，这通过将结构化的光图案投影到表面上来实现。可以通过将相干光束对投影到物体表面上来生成光图案，并且所产生的条纹图案可以在连续2D图像之间变化。可选地，所投影的光图案可以是使用强度掩模生成的投影平行线系列，并且所投影的图案可在连续2D图像之间移位。在其他类型的3D光学口内扫描系统中，采用了共聚焦成像技术等。

如WO2010/099036中所解释的，光学口内扫描系统可以被装备成还与所述3D计量数据并行地捕获色彩数据并将该色彩与3D数据匹配。

典型的光学口内扫描系统包括操作员使用来将棒的扫描仪尖端手动地指向口内场景中的物体的手持扫描装置或棒。在物体场景的测量期间，可以使用棒来在棒运动时获取与物体场景有关的一组3D数据和匹配的色彩数据。在一些应用中，通过将棒定位在物体表面附近来测量多个物体表面。然而，当棒位于物体场景的一个位置时，从棒的角度来看，物体场景的某些部分可能被遮挡。例如，在特定的静态视图中牙齿、齿龈或其他牙齿特征的存在会挡住其他牙齿。因此，操作员可以从牙弓的各种扫描中获取3D和色彩数据集。处理单元可以配准或“拼接”从各种扫描获取的所有3D数据集的重叠区域，以获得在测量过程期间观察到的所有表面的完整3D数据集表示。

因此，在口内扫描过程中，扫描仪尖端在颌骨上方在距感兴趣区域的适当距离处移动并在牙齿之间移动或在牙龈或植入物或修复部件上方移动，直到获取口内场景的所需部分的扫描数据。通常，口内扫描棒连接到包括屏幕的计算装置，并且操作员可以在所述屏幕上观察如何从顺序获取的和拼接的扫描数据集中逐渐建立口内场景的3D表示。该3D表示有助于操作员识别口内场景中有足够的扫描数据可用并且需要进一步扫描的部分。

在扫描期间，可以使用各种器具，诸如吸管、空气或水喷嘴、镜子、牵开器等。这些器具中的一些在数据获取期间进入口内扫描装置的视野，这可能导致这些器具的几何数据并入3D表示或模型中，这通常是不期望的。此外，由于这些器具是移动物体，因此当它们无意中包括在扫描中时，它们可能会干扰拼接过程，从而产生人为数据。

扫描过程的其他干扰可能源于可移动的口内组织，特别是舌和颊。例如，在扫描期间，舌组织或颊组织可能会移动到扫描尖端与牙齿或齿龈之间的位置，从而导致该组织的扫描数据并入3D模型中和/或干扰相应扫描数据集的拼接，这是不期望的。为了避免可移动的软组织的干扰，操作员可以在扫描期间用戴手套的手指或器具小心地牵开、握住或引导这些组织，同时尝试避免此手指或器具出现在扫描装置的视野内。这种仔细操作通常会减慢扫描过程，而有时器具、手指和/或可移动的软组织不管怎样都会出现在视野中。

口内场景的最终3D表示中的物体或可移动组织的拼接误差或不期望出现通常需要删除3D表示的一部分并重新扫描口腔的对应部分。对3D表示和重新扫描的这种编辑非常耗时，并且延长了患者和操作员两者的扫描过程的持续时间。

获取牙齿表面的3D数据的另一个问题是牙齿上存在不期望的色斑(诸如血渍)或颗粒(诸如正畸托槽或食物颗粒)。扫描此类色斑或颗粒通常会导致在这些色斑或颗粒的位置处获取了不正确的牙齿表面数据。当操作员在扫描后注意到存在此类色斑或颗粒时，必须从3D表示中去除包括这些色斑或颗粒的区域，并在去除色斑或颗粒后(如果这种去除是可能的话)重新扫描口腔的对应部分。这也阻碍并延长了扫描过程的持续时间。

在现有技术中，使用几何形状和色彩数据来区分第一组织和第二组织，诸如硬组织(例如，牙齿)和软组织(例如牙龈、舌、颊和嘴唇)。

EP1607041B公开了一种提供在与口腔相关联的过程中有用的数据的方法，其特征在于，该方法包括：提供至少两个数字实体(I₁，I₂，...，I_n)，每个所述数字实体都代表口腔的至少一部分的三维表面几何形状和色彩，其中所述数字实体包括与所述口腔的所述部分相关联的表面几何形状和色彩数据；其中所述实体的至少一部分(I₁，I₂，...，I_n)包括重叠的空间数据，所述方法包括：

a)对于每个实体，提供至少一个子实体(IS′₁，IS′₂，...IS′_n)，该至少一个子实体包括第一组织数据集，该第一组织数据集包括表面几何形状和色彩数据，其中其所述色彩数据与代表第一组织的色彩相关；以及

b)基于所述数据集的包括所述重叠空间数据(I₁，I₂，...，I_n)的配准部分将所述第一组织数据集拼接在一起，并操纵所述实体以从中提供所需的数据。

在图像处理中，使用一种称为空间雕刻的方法用于构建3D模型。文章“A Methodfor Registration of 3-D Shapes”，由Besl和McKay于1992年2月在《IEEE模式分析与机器智能汇刊》第14卷第2期中公开了一种精确且计算有效的3D形状配准的方法。

此外，WO2013/010910公开了一种用于在通过3D扫描仪扫描某一位置中的刚性物体以生成该刚性物体的虚拟3D模型时检测该位置中的可移动物体的方法，其中该方法包括：通过扫描位置的至少一部分提供表面的至少一部分的第一3D表示；通过扫描位置的至少一部分提供表面的至少一部分的第二3D表示；为第一3D表示确定在其中可能不存在表面的空间中的第一排除体积；为第二3D表示确定其中可能不存在表面的空间中的第二排除体积；如果第一3D表示中的表面的一部分位于第二排除体积中的空间中，则在虚拟3D模型的生成中忽略第一3D表示中的表面的一部分；和/或如果第二3D表示中的表面的一部分位于第一排除体积中的空间中，则在虚拟3D模型的生成中忽略第二3D表示中的表面的一部分。

然而，现有技术不提供合适的解决方案来处理器具或可移动组织的不期望的存在。现有技术文献也没有提出对在口内扫描期间在牙齿表面上存在不期望的色斑或颗粒进行补偿的方法。

因此，需要克服这个问题。

发明内容

本发明的目的是提供一种用于通过减小源自物体(通常是器具)或源自包括色斑或颗粒的牙齿区域(在口内扫描过程期间进行了扫描)的数据的存在的影响或甚至从3D计量数据中完全消除这种影响来促进并提高口内扫描过程的准确性的方法。

上述目的通过根据本发明的解决方案来实现。

在第一方面，本发明涉及一种用于生成口内场景的至少一部分的3D表示的口内扫描方法。所述方法包括：

-获得扫描数据集，该扫描数据集包括表示在点云坐标空间中口内场景的一部分的3D点云数据和在相机坐标空间中口内场景的该部分的彩色图像，

-标记彩色图像的在具有与以下项相对应的色彩或色彩图案的区域内的图像元素：(i)在获得扫描数据集时在口内使用的器具的表面色彩或表面色彩图案；或(ii)与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案，

-从所述3D点云数据中过滤掉映射到彩色图像的标记的图像元素的数据点，从而从过滤的3D点云数生成3D表示。

所提出的解决方案确实允许处理具有色斑或颗粒的器具或牙齿区域，以减少或消除它们的存在对扫描结果的影响。更具体地，通过首先标记彩色图像的在具有与不期望的表面相对应的特定色彩或色彩图案的区域中的图像元素，可以过滤掉映射在标记的图像元素上的云数据点。

在优选实施方案中，该方法包括获得多个扫描数据集，其中扫描数据集中的至少一些包括重叠的空间数据，并且其中对相应扫描数据集的过滤的3D点云数据进行拼接以生成口内场景的该部分的所述3D表示。

在某些实施方案中，该方法包括接收关于器具的所述表面色彩和/或所述表面色彩图案的数据。

在某些实施方案中，该方法还包括在将彩色图像映射到3D点云数据之前，将彩色图像从相机坐标空间变换到点云坐标空间。在一些实施方案中，在变换到点云坐标空间之后，使用彩色图像来进行对图像元素的标记。在其他实施方案中，在变换到点云坐标空间之前，使用彩色图像来进行对图像元素的标记。

有利地，相机坐标空间和点云坐标空间相同。

在实施方案中，该方法包括在标记图像元素之前对彩色图像进行预处理，其中所述预处理包括以下至少一项：色彩平滑化、图像色彩饱和度的修改、色彩直方图均衡或亮度对比度调整。

有利地以2D彩色图像的形式提供彩色图像。在一个实施方案中，使用2D彩色相机或使用2D单色相机结合多个照明源来获得所述2D彩色图像。

在一个优选的实施方案中，对2D彩色图像的在具有与器具的表面色彩图案相对应的色彩图案的所述区域内的图像元素的标记包括：

-识别具有在与器具的所述表面色彩相对应的范围内的色彩代码的一个或多个图像元素，以及

-标记一个或多个识别的图像元素。

优选地，还标记与识别的图像元素相邻的图像元素。

在一个实施方案中，对彩色图像的在具有与器具的表面色彩图案相对应的色彩图案的所述区域内的图像元素的标记包括：

-识别2D彩色图像中的两个或更多个色彩区域，其中该两个或更多个色彩区域中的每一个包括具有在相同范围内的色彩代码的相连的图像元素，该相同范围选自与包括在器具的表面色彩图案中的相应色彩相对应的两个或更多个非重叠色彩范围，

-识别包括两个或多个相连的色彩区域的图案区域，

-确定图案区域的色彩图案是否与器具表面色彩图案匹配，

-在图案区域的色彩图案与器具表面色彩图案匹配的情况下，标记图案区域中的图像元素。

在某些实施方案中，确定图案区域的色彩图案是否与器具表面色彩图案匹配包括相对于所述器具的所述表面色彩图案中的一个或多个对应的色彩区域的相对位置，分析两个或更多个色彩区域的在图案区域内的相对位置。

在其他实施方案中，确定所述图案区域的所述色彩图案是否与所述器具表面色彩图案匹配包括：

-通过将图案区域中的相应色彩区域的表面区域相加来计算两个或更多个组合色彩表面区域，该相应色彩区域包括具有相同范围内的色彩代码的图像元素，

-确定组合色彩表面区域的比率；

-将所述比率与器具的表面色彩图案中的对应色彩中的每一个的相应的组合表面区域的比率进行比较。

在其他实施方案中，对彩色图像的在具有与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案的区域内的图像元素的标记包括：

-识别包括相连的图像元素的所述2D图像中的色彩区域，这些相连的图像元素具有与此类色斑或颗粒的色彩相对应的范围内的色彩代码；

-识别与所述识别的色彩区域相邻的所述图像元素的色彩代码，

-在多于一半的所述相邻图像元素具有与牙齿的色彩外观相对应的范围内的色彩代码的情况下，标记所述色彩区域中的图像元素。

有利地，色彩区域还包括与相连的图像元素相邻的边界层中的图像元素。

在其他实施方案中，该方法包括显示3D表示，该3D表示如通过拼接并表示过滤的3D点云数据而从在口内扫描过程期间获取的扫描数据集逐渐地生成。

在另一个实施方案中，该方法包括显示用于获得扫描数据集的口内扫描装置的当前视野的2D图像。2D图像可以显示如在当前扫描数据集中获得的彩色图像。在一个实施方案中，2D图像显示如在从中已经过滤掉标记的图像元素的当前扫描数据集中获得的彩色图像。

一方面，本发明涉及一种程序，所述程序可在可编程装置上执行，所述程序包含指令，这些指令在被执行时，执行如先前所述的口内扫描方法。

为了概述本发明以及与现有技术相比所获得的优点，上面已经描述了本发明的某些目的和优点。当然，应当理解，根据本发明的任何特定实施方案，不一定可以实现所有这些目的或优点。因此，例如，本领域技术人员将认识到，本发明可以以实现或优化本文所教导的一个优点或一组优点的方式来体现或实施，而不必实现如本文可以教导或建议的其他目的或优点。

参考下文描述的实施方案，本发明的上述和其他方面将变得显而易见。

附图说明

现在将参考附图通过示例的方式进一步描述本发明，其中在各个附图中，相同的附图标记指代相同的元件。

图1是根据本发明的用于生成3D表示的显示的设备的实施方案的框图。

图2是根据本发明的用于生成3D计量表面的显示的方法的实施方案的流程图表示。

图3示出了本领域中已知的非接触式3D计量系统的示例性配置。

图4示出了图1的成像系统的实施方案。

图5是在本发明的示例中使用的用于标记包括在表示器具的色彩图案的区域中的2D彩色图像的图像元素的流程图表示。

图6示出了在本发明中使用的器具的不同的表面色彩图案。

具体实施方式

本发明将关于特定实施方案并参考某些附图来描述，但本发明不限于此而是仅由权利要求书来限定。

此外，说明书和权利要求中的第一、第二、第三等用于区分相似元件且未必用于以排名或任何其他方式描述序列(在时间上或在空间上)。应当理解，如此使用的术语在适当的情况下是可互换的，并且本文描述的本发明的实施方案能够以与本文所描述或所示出不同的其他顺序来操作。

应当注意，权利要求中使用的术语“包括”不应被解释为限于其后列出的设备；该术语不排除其它元件或步骤。因此，应将其解释为规定了所陈述的特征、整数、所参照的步骤或部件的存在，但不排除呈现或添加一个或多个其他特征、整数、步骤或部件、或它们的组合。因此，“一种装置，包括设备A和B”的表达范围不应限于装置仅由部件A和B组成。这意味着相对于本发明，装置的唯一相关部件是A和B。

在整个说明书中，对“一个实施方案”或“实施方案”的引用意味着结合该实施方案描述的特定特征、结构或特性被包括在本发明的至少一个实施方案中。因此，在整个说明书中这些短语“在一个实施方案中”或“在实施方案中”在各个位置的出现并不一定全都指代同一实施方案。此外，如从本公开中本领域普通技术人员将清楚的是，在一个或多个实施方案中，特定特征、结构或特性可以以任何合适的方式进行组合。

类似地，应当理解，在本发明的示例性实施方案的描述中，本发明的各种特征有时在单个实施方案、附图或其描述中组合在一起，其目的是使本公开成流线形并有助于理解各发明性方面中的一个或多个。然而，这种公开方法不应解释为反映如下意图，即，要求保护的发明需要比在每个权利要求中明确记述的更多的特征。相反，如所附权利要求书所反映的，各发明性方面在于比单个在以上公开的实施方案的所有特征要少的特征。因此，据此将详细说明之后的权利要求明确地并入该详细描述中，其中每个权利要求独立地作为本发明的单独实施方案。

此外，虽然本文描述的一些实施方案包括其他实施方案中包括的某些特征而不包括其他特征，但不同实施方案的特征的组合也在在本发明的范围内，并且构成不同的实施方案，如本领域技术人员所理解的。

还应当注意，在描述本发明的某些特征或者方面时不应采用特定术语来暗示，即术语在本文被重新定义以被限制为包括本发明的特征或方面的与该术语相关联的任何具体特性。

在本文提供的描述中，阐述了许多具体细节。然而，应当理解，本发明的实施方案可在无这些具体细节的情况下实践。在其他情况下，未详细示出众所周知的方法、结构和技术，以免混淆对本说明书的理解。

本文使用的“色彩”是指感知到的光学特性，包括以下一项或多项：色调、色度、值、半透明性、反射率。

本文使用的“色调”是指色彩或色彩名称(例如，原色或诸如红色、绿色、蓝色、紫色、绿色等的其他色彩)，或者是指色彩的组合(例如，黄绿色)。本文主要感兴趣的色调是绿色阴影和蓝色阴影，它们与通常在口腔内观察到的阴影最不相关。因此，在本发明内，将绿色阴影和蓝色阴影用作表面色彩或用在扫描期间在口腔中使用的器具的表面色彩图案内是优选的，因为这便于基于器具色彩来将此类器具与口内场景中的物体区分开。本文中的另外的感兴趣色调是牙齿表面特有的阴影，特别是白色、黄色和代表锉屑等的色彩的其他色调。

本文使用的“值”是指色彩的亮度。

本文使用的“色度”是指色调的强度、力度或饱和度。

本文使用的“色彩代码”是指用于定义彩色图像中的图像元素的色彩特性的手段。在2D彩色图像的情况下，这种图像元素通常被称为像素。一般来讲，每个图像元素都具有均匀的色彩，该均匀的色彩具有单一的色彩定义。该定义由包括色彩空间中的值的色彩代码表示。数字成像行业中常用的色彩空间将每个像素的色彩定义为着色剂值的组合(例如：加色空间中的红色(R)、绿色(G)和蓝色(B)，统称为RGB；或者减色空间中的青色(C)、品红色(M)、黄色(Y)和黑色(B)，统称为CMYK)。此外，YCbCr、Y’CbCr或Y Pb/Cb Pr/Cr(也写做YCBCR或Y′CBCR)是作为视频和数字摄影系统中的彩色图像流水线的一部分的常用色彩空间系列。Y′是亮度分量，Cb和Cr是蓝色成分与参考值的差距以及红色成分与参考值的差距，并且Y是亮度分量。在本发明内，可以使用图像元素的色彩代码，该色彩代码包括关于色彩空间的所有或部分元素的数据。基于指定了独立于亮度的色彩特性的色彩空间元素的色彩代码是在本发明内特别感兴趣的，因为它们对口腔中的阴影效果不敏感或不太敏感。例如，事实证明，仅仅基于YCbCr或Y′CbCr色彩空间的Cb元素和Cr元素的色彩代码对于在根据本发明的方法中使用特别有用。

本文使用的“器具”是指牙科临床医生在口腔内的治疗、诊断或美学介入期间可以使用的任何属性。技术人员已知许多不同的此类器具，其中的器具可选自以下非穷举性列表：手套、橡皮障、牙镜、牙体预备工具、吸引头、牙用针、压缩空气喷嘴、吸收性防护罩、棉卷、牵开器绳、绳包装仪器和专门设计用于牵开的仪器(例如，手术牵开器、颊牵开器和舌牵开器)。此外，本发明的方法可以涉及使用口腔中不常用的器具，诸如可以放置在扫描仪尖端与口内场景内的物体之间的小面板或薄片，以防止捕获该物体的扫描数据。优选的是，所述器具的被引入或可以被引入口腔内的至少部分具有特定表面色彩或表面色彩图案，从而促进它们用在根据本发明的口内扫描方法中。考虑到口腔内的蓝色阴影和绿色阴影的自然存在非常有限，优选的是，这种器具或其通常引入口腔内的至少一部分的表面具有蓝色或绿色或者其中主要存在蓝色或绿色的色彩图案。优选地，器具或其通常引入口腔内的至少一部分的表面的大于50％，诸如大于60％、70％、80％、90％直至100％具有绿色或蓝色。

在口内扫描过程中，光学扫描装置的扫描仪尖端在颌骨上方在距感兴趣物体(诸如牙齿、牙龈、植入物或修复部件)的适当距离处移动，直到获取整个牙弓或其所需部位的扫描数据。在扫描期间，可以使用各种器具，诸如：抽吸管，用于保持区域干燥；以及为使患者感到舒适，用于干燥或清洁表面或镜子等的空气或水喷嘴。这些器具中的一些在数据获取期间进入口内扫描装置的视野，这可能导致通常将这些器具的几何数据并入最终的3D表示或模型中，这通常是不希望的。此外，由于这些器具是移动物体，因此当它们无意中包括在扫描中时，它们可能会干扰拼接过程，从而产生人为数据。

扫描过程的其他干扰可能源自可移动的口内组织，尤其是舌和颊。例如，在扫描期间，舌组织或颊组织可能会移动到扫描尖端与牙齿或齿龈之间的位置，从而导致该组织的扫描数据并入3D模型中和/或干扰相应扫描数据集的拼接，这是不期望的。为了避免可移动的软组织的这种干扰，操作员可以在扫描期间用戴手套的手指或器具小心地握住或引导这些组织，同时尝试避免这种手指或器具出现在扫描装置的视野内。这种仔细操作通常会减慢扫描过程，而有时器具、手指和/或可移动的软组织不管怎样都会出现在视野中。

本发明的一个目的是提供一种用于从所获取的口内扫描数据中自动去除或过滤掉源自器具(其被识别为不需要扫描数据的器具)的任何几何数据的方法。该几何数据的该自动去除或过滤解决了将器具数据并入3D表示中以及这些数据在在拼接过程中的干扰的问题。此外，由于这些器具的几何数据被自动去除并且不干扰扫描过程，因此使用本发明的方法的操作员不再关心它们在扫描装置的视野内的偶然存在。以这种方式，操作员可以在口内扫描过程期间更自由且更有效地使用器具来握住或牵开任何软组织。因此，从扫描数据中自动去除或过滤掉所述识别的器具的几何数据也导致在口内扫描过程期间，较少地捕获和较少地干扰可移动的软组织的不期望的数据。作为本发明的一部分，据发现，可以基于器具的表面色彩或表面色彩图案，尤其是可以被引入或通常被引入口腔内的器具的部分来有效地识别器具。考虑到口腔内的蓝色阴影和绿色阴影的自然存在非常有限，据发现，当所述器具或其通常被引入口腔内的至少一部分的表面具有蓝色或绿色或者其中主要存在蓝色或绿色的色彩图案时，便于在扫描期间识别这种器具。优选地，器具或其通常引入口腔内的至少一部分的表面的大于50％，诸如大于60％、70％、80％、90％直至100％具有绿色或蓝色。

本发明的另一个目的是提供一种方法，该方法包括使用色彩图案识别来自动检测和去除在扫描期间源自牙齿表面上的色斑或颗粒的几何扫描数据。扫描此类色斑或颗粒通常会导致在这些色斑或颗粒的位置处获取了不正确的牙齿表面数据。当操作员在扫描期间或之后发现其存在于3D表示中时，必须从3D表示中去除包括这些色斑或颗粒的区域并在从实际牙齿表面去除这些色斑或颗粒后(如果这种去除是可能的话)重新扫描口腔的对应部分。通过自动检测并去除或过滤掉源自牙齿表面上的色斑或颗粒的几何数据，操作员可以从扫描期间生成的3D表示中注意到，缺少在牙齿表面上在此类色斑或颗粒的位置处的扫描数据。在这种观察之后，操作员可以在中断或不中断扫描过程的情况下清洁所述牙齿表面并重新扫描对应区域以使3D表示完整。如果无法去除色斑或颗粒(例如在有托槽的情况下)，则操作员可能会决定接受数据缺失的扫描结果。然后可以在扫描数据的后处理中适当处理3D表示形式中的缺失数据。本发明的特定实施方案将如本文所述源自器具的几何数据的自动识别和去除与源自牙齿表面上的色斑或颗粒的几何数据的自动识别和去除的使用相结合。

图1示意性地呈现了用于生成在根据本发明的方法中使用的口内场景的3D表示的口内扫描装置10的实施方案。图2是根据本发明的用于生成口内场景的一部分的3D表示的显示的方法100的实施方案的流程图表示。设备10包括与处理器22进行通信的计量系统14和成像系统18。计量系统14获取正测量的口内场景26的一部分的表面的3D点云数据，并且成像系统18获取口内场景26的同一部分的表面的彩色图像，通常是二维(“2D”)图像。如本领域中已知的，彩色图像可以是RGB图像。图像数据以相机坐标空间作为参考，该相机坐标空间通常由图像元素(例如，相机像素)阵列和在该阵列上生成物体图像的光学部件定义。处理器22从计量系统14接收3D点云数据，并从成像系统18接收彩色图像数据。对于口内场景的给定部分的表面所获取的3D点云数据和对应彩色图像的组合数据在本文中被称为扫描数据集。对扫描数据集的彩色图像进行处理以标记表示所述口内场景的表面的图像的区域内的图像元素，这些图像元素优选不应包括在所述3D表示中。通常，在获取所述扫描数据集时，标记具有与在口内使用的器具的表面色彩或表面色彩图案相对应的色彩或色彩图案的区域内的图像元素。可选地或另外地，标记具有与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案的区域内的图像元素。如果需要，处理器22将表面的彩色图像从相机坐标空间变换到3D点云的坐标空间。可以在图像元素的所述标记之前(图2A)或之后(图2B)执行该变换。然后将标记的且适当变换的彩色图像映射到3D点云数据上，从而从所述3D点云数据中去除或过滤掉映射到此类标记的彩色图像元素上的3D点云数据点。最终，从所述过滤的3D点云数据生成3D表示，其不包括由所述标记的彩色图像元素表示的表面中的任一个。

所述3D表示，其包括优选地映射到所述对应彩色图像的过滤的3D点云数据，在显示模块30上作为单个显示呈现给用户，从而使用户能够更容易地解释口内表面的期望的3D测量数据。在一个实施方案中，处理器22包括第一处理器和第二处理器。第一处理器执行图像元素的所述标记以及彩色图像从相机坐标空间到3D点云坐标空间的变换，并且第二处理器执行标记的和变换的图像到3D点云数据的映射及其过滤以生成所述3D表示。

可以以多种格式中的任一种在用户显示器中呈现3D表示。例如，可以将3D点云作为丝网表面呈现。通常，通过绘制将每个3D点与点云中的相邻3D点相连的线来创建丝网表面。一般来讲，丝网表面中的相邻点是三个最近点中的一个。在另一个实施方案中，如本领域中已知的那样，将3D点云作为人工表面呈现，该人工表面是通过绘制在3D点云中的每个点与其三个相邻点之间的三角形表面来创建的。

一般来讲，口内3D扫描装置在测量过程期间相对于口内场景或其正测量部分(例如，牙体结构)移动。这样，获得多组扫描数据集，各自包括3D点云数据和对应的彩色图像数据，其中所述扫描数据集包括部分重叠的3D点云系列。通常，每个3D点云都与不同于其他3D点云的相机坐标空间的相机坐标空间相关联。由处理器使用3D相关技术或本领域已知的其他技术来配准相邻3D点云的重叠区域。因此，每个连续的3D点云都被拼接到与初始相机位置相对应的坐标空间中。在本发明的方法内，优选的是，在配准和拼接重叠的3D点云之前，对此类3D点云数据中的每一个进行过滤以如上所述去除映射到对应彩色图像的所述标记的图像元素上的3D云数据点。所述3D点云数据的这种先前过滤具有以下优点，即无需考虑不应包括在最终3D表示中的表面的几何数据，并且该几何数据不会干扰重叠点云的配准和拼接。具体地，源自在扫描期间在口腔内使用的器具的几何数据可能是有问题的。此器具通常是可移动的，并且可以在获取两个重叠点云之间改变位置，从而不利地影响它们的配准和拼接。

本发明的口内扫描方法通常包括获得2D彩色图像作为所述扫描数据集的一部分。对具有与所述器具的表面色彩相对应的色彩的区域内的2D彩色图像元素(通常为像素)的标记一般包括以下步骤：(i)识别具有与器具的表面色彩相对应的区域内的色彩代码的一个或多个图像元素；以及(ii)标记识别的图像元素。任选地，也标记与识别的图像元素相邻的图像元素。与所述识别的图像元素相邻的图像元素的这种标记在确保也标记如所述2D图像中所表示的器具表面的边界处的图像元素方面是有用的。对具有与所述器具的表面色彩相对应的范围内的色彩代码的图像元素的识别通常需要输入关于器具表面色彩的信息。可以通过在使用所述口内扫描装置的成像系统所获取的彩色图像中指示覆盖所述表面色彩的变化外观的色彩代码范围来输入器具表面色彩。应当理解，该外观可从一个图像到另一图像变化，这尤其取决于光照条件和成像系统的校准。可可选地，可以使用口内扫描装置来扫描所述器具的表面，以从扫描数据中自动得出色彩代码范围。

在所述器具的表面通过表面色彩图案来表征的情况下，对具有与所述器具的表面色彩图案相对应的色彩图案的区域内的2D彩色图像元素的标记可以包括以下步骤。在第一步骤中，识别所述2D图像中的两个或更多个色彩区域，其中所述色彩区域中的每一个包括具有相同范围内的色彩代码的相连的图像元素，该色彩代码选自与包括在所述器具的表面色彩图案中的相应色彩相对应的两个或更多个非重叠色彩范围。例如，当器具的表面色彩图案包括蓝色阴影和绿色阴影时，在所述第一步骤中，将识别2D彩色图像中的蓝色区域和绿色区域。任选地，所述色彩区域还包括在与所述相连的图像元素相邻的边界层中的图像元素。将所述边界图像元素包括在内可以补偿两种图案色彩的边界处或器具表面的边界处的图像元素水平的人为效果。在另一个步骤中，识别包括两个或多个相连的色彩区域的图案区域。相连的色彩区域是相邻的色彩区域。对于这种图案区域，随后确定所述图案区域的色彩图案是否与器具表面色彩图案匹配。在所述图案区域的色彩图案与器具表面色彩图案匹配的情况下，标记所述图案区域中的图像元素。在本领域中，几种图案识别方法可用于确定图案区域是否与器具表面色彩图案匹配。在本发明内，确定图案区域的色彩图案是否与器具表面色彩图案匹配可以包括例如相对于器具的表面色彩图案中的对应色彩区域的相对位置来分析两个或更多个色彩区域的所述图案区域内的相对位置。可选地或另外地，所述确定可以包括将器具表面色彩图案中的由各个色彩覆盖的组合表面区域的比率(例如，蓝绿色彩图案中的组合的蓝色和绿色覆盖的区域之间的比率)与图像图案区域中的相应的对应色彩区域的组合表面区域的比率进行比较。更具体地，所述确定所述图案区域的色彩图案是否与器具表面色彩图案匹配的步骤可以包括以下步骤。在初始步骤中，通过将所述图案区域中的相应色彩区域的表面区域相加来计算图案区域的组合色彩表面区域，所述色彩区域包括具有相同范围内的色彩代码的图像元素。此后，确定所述组合色彩表面区域的比率。最终，验证所述比率是否相当于器具的表面色彩图案中的对应色彩中的每一种的相应的组合表面区域的比率。例如，在器具包括表面色彩图案的情况下，其中图案表面的30％被蓝色阴影覆盖而图案表面的70％被绿色阴影覆盖，根据上述方法步骤可以验证包括具有分别与所述蓝色阴影和绿色阴影相对应的色彩代码的图像元素的色彩区域的组合表面区域的比率是否为约30/70。用于计算这种组合色彩表面区域的直接方法是对图案区域中的所有图像元素(像素)进行计数，这些图像元素具有与包括在器具的表面色彩图案中的色彩相对应的所述相同范围内的色彩代码。

对具有与所述器具的表面色彩图案相对应的色彩图案的区域内的图像元素的识别通常需要输入关于器具表面色彩图案的信息。可以通过指示所述表面色彩图案中的每种色彩的色彩代码范围来输入器具表面色彩图案。此外，可以输入关于图案的附加信息，诸如所述图案中的不同色彩区域的相对位置和/或由相应图案色彩覆盖的表面区域的比率。可可选地，可以使用口内扫描装置来扫描仪皿的表面，以自动得出关于色彩图案中的相应色彩的色彩代码范围的这种信息和/或附加图案信息。

在本发明的方法涉及防止将源自包括色斑或附着颗粒的牙齿区域的几何数据包括在内的情况下，对具有与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案的区域内的2D图像元素的标记包括以下步骤：在第一步骤中，识别所述图像中的色彩区域，其包括具有与此类色斑或颗粒的色彩相对应的范围内的色彩代码的相连的图像元素。任选地，所述色彩区域还包括与所述相连的图像元素相邻的边界层中的图像元素。将所述边界图像元素包括在内可以补偿所述颗粒或色斑的表面的边界处的图像元素水平的人为色彩效果。此后，确定与所述识别的色彩区域相邻的图像元素的色彩代码。在所述相邻图像元素的大于40％，诸如大于50％、60％、70％、80％或90％具有与牙齿的色彩外观相对应的范围内的色彩代码的情况下，将所述色彩区域中的图像元素标记为具有与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案的所述区域内的图像元素。识别这种区域内的图像元素需要输入关于与这种不期望的色斑或颗粒的色彩相对应的色彩范围的信息。可可选地，可以扫描包括这种颗粒或色斑的牙齿区域，并且可以由操作员在所获取的图像数据中指示颗粒或色斑。从该指示的数据，口内扫描系统可以自动得出与指示的色斑或颗粒数据的色彩相对应的所述色彩范围。

根据本发明的口内方法通常包括在屏幕上显示如通过拼接和表示所述过滤的3D点云数据而从所述顺序获取的扫描数据集中逐渐地生成的3D表示。这种3D表示有助于操作员识别口内场景的其中扫描数据缺失并且需要进一步扫描或重新扫描的部分。3D模型中的其中扫描数据缺失的此类部分可能是由于对3D点云数据进行过滤而导致的，以防止将源自包括不期望的色斑或颗粒的器具或牙齿区域的几何数据包括在内。然而，在口内扫描过程中通常会重新扫描数据缺失的部分，这与当前情况相比不那么方便，在这种情况下，扫描过程需要中断才能编辑或删除3D表示的包含不期望的或不正确的几何数据的部分，且随后重新启动以重新扫描所述部分。

该方法还可以包括显示用于获得所述扫描数据集的口内扫描装置的当前视野的2D图像。在特定实施方案中，2D图像显示如在当前扫描数据集中获得的所有彩色图像数据，包括任何器具的表面或不期望的色斑或颗粒。此“完整”2D视图有助于操作员相对于口内场景和嘴里使用的任何器具两者来识别扫描装置的位置。可选地，操作员可以选择已经从中过滤掉所述标记的图像元素的2D图像。

各种类型的3D计量系统可用于生成3D点云数据，包括基于以下各项的计量系统：共聚焦显微镜；形状、大小、强度和/或色彩发生变化的结构化光图案的投影；以及干涉条纹投影。图3示出了非接触式计量系统14′的一个示例，该非接触式计量系统包括如本领域中已知的计量投影源34、计量相机38和计量处理器42。投影源34和相机38相对于彼此固定在适当位置，以分别精确地保持它们的光轴36和40之间的三角测量角α。投影源34被配置为以诸如阴影掩模图案或干涉条纹图案的不同光图案照明物体26。相机38是电荷耦合器件(CCD)相机或本领域已知的其他数字成像相机。通常，由相机38获取三个或更多个2D图像的集合，其中每个2D图像对应于在物体表面上的不同位置或相位处的不同照明图案或公共照明图案。计量处理器42从相机38接收图像，并针对每个相机像素计算从相机38到物体26的距离。计算出的距离用于生成3D点云数据，该3D点云数据包括与物体表面上的点相对应的坐标处的3D点。

图4示出了图1所示的成像系统18的实施方案，该成像系统包括彩色相机46、宽带光源50和与相机46、光源50和处理器22进行通信的控制模块54。宽带光源50生成白光或具有足以照明物体26的光谱分布的光，而不会相对于物体26的真实色彩显著更改物体26的外观。宽带光源50可以是白色发光二极管(LED)。控制模块54相对于计量系统14的操作协调宽带光源50和彩色相机46的操作。在一些实施方案中，所期望的是在计量系统14中的投影源照明物体26时的间隔期间禁用光源50。在替代实施方案中，不管投影源的状态如何，宽带光源50都连续地照明物体26。优选地，控制模块54使彩色相机图像获取与由计量相机执行的图像获取同步。在一些实施方案中，控制模块54在由彩色相机46获取图像期间激活宽带光源50，并且在没有由彩色相机46获取图像时禁用宽带光源。

在另一个实施方案中，图1的成像系统18包括控制模块、单色相机和多个照明源。控制模块与单色相机、照明源和处理器22进行通信。每个照明源都生成具有相对于其他照明源的波长分布而言不同或独特的波长分布的光学照明。波长分布可以是单个波长(例如，由激光源生成的光)、窄光谱带(例如，由LED生成的光)或更一般地通过色彩范围来表征的较宽光谱带(例如，红光、绿光或蓝光)。例如，可以选择性地激活照明源以便以顺序的方式利用红光、蓝光和绿光来照明被测物体。在一个优选实施方案中，照明源是LED。在另一个实施方案中，照明源是宽带光源，各自具有独特的滤色器以将照明在光谱上限制为独特的波长分布。

示例1：口内扫描系统

口内扫描系统包括谐波干涉条纹3D计量装置，该谐波干涉条纹3D计量装置与包括2D彩色相机和安装在扫描棒中的宽带光源的成像装置相结合，该扫描棒包括适于在口腔内操纵的扫描尖端。棒连接到可操作地链接到显示装置的处理单元。扫描装置允许顺序地获取扫描数据集，这些扫描数据集各自包括3D点云数据以及在扫描装置的视野内的口腔的一部分的对应彩色图像。通过将扫描仪尖端在口内场景上方移动，获得包括重叠的空间数据的扫描数据集。处理单元被编码为从3D点云数据中过滤掉映射到对应彩色图像的图像元素上的任何数据点数据，这些图像元素被标记为表示不需要并入3D表示中的表面(诸如包括色斑或颗粒的器具表面或牙齿表面)。根据过滤的3D点云数据，逐渐地生成口内场景的3D表示并将其显示在显示装置的窗口中。由于扫描不完全或由于对3D点云数据的所述过滤导致3D云数据点不足的区域在3D表示中表示为所谓的“空洞”，直到通过适当地重新扫描口内场景的对应区域来填充所述空洞为止。显示装置的第二窗口显示2D视图，2D视图呈现扫描装置当前视野内的表面。该2D视图显示由彩色相机获取的所有彩色图像数据。

示例2：从3D点云数据中过滤掉源自绿色器具或蓝色器具的几何数据

对根据示例1的口内扫描系统的处理器进行编程以标记2D彩色图像元素(其具有与绿色阴影和蓝色阴影相对应的范围内的色彩代码)以及与此类图像元素相邻的图像元素。当像素图像元素距参考阴影值[R_Cr，R_Cb]的色彩距离d在0至20的范围内时，该像素图像元素的色彩代码[P_Cr，P_Cb]被视为在阴影的范围内，其中在此示例中，分别通过Cr Cb值[49，101]和[83，198]来定义参考绿色阴影和蓝色阴影。

由操作员使用口内扫描系统，该操作员在扫描期间引导舌并用戴着绿色手套的手指检查组织。显示装置上的2D视图指示绿色指尖频繁出现在扫描装置的视野内。尽管有这些外观，但指尖的几何数据都没有集成到3D表示中。

在另一项测试中，使用蓝色空气喷嘴来在扫描牙齿表面时使其干燥。喷嘴在2D视图中清晰可见，而3D表示在喷嘴位置显示缺失数据的“空洞”。在从口腔中移除空气喷嘴后，通过扫描所述牙齿的对应部分，可以轻松填充3D表示中的该空洞。

示例3：从3D点云数据中过滤掉源自具有表面色彩图案的器具的几何数据

根据示例1的口内扫描系统的处理器被编程为标记包括蓝色和绿色图案的区域内的图像元素并从3D点云数据中过滤映射到对应彩色图像的标记的图像元素的任何数据点。在图6中表示可能的器具色彩图案的示例。

如图5的流程图所示执行图像元素的标记。识别具有与绿色阴影(colour0)和蓝色阴影(colour1)相对应的范围内的色彩代码的相连的彩色图像元素。当像素图像元素距参考阴影值[R_Cr，R_Cb]的色彩距离d在0至20的范围内时，该像素图像元素的色彩代码[P_Cr，P_Cb]被视为在阴影的范围内，其中在此示例中，分别通过Cr Cb值[49，101]和[83，198]来定义参考绿色阴影和蓝色阴影。此类识别的相连的图像元素的每一组形成colour0区域或colour1区域。此后，检测包括连接到至少一个colour1区域的至少一个colour0区域的一个或多个图案区域。在图案区域内，分别对colour0图像元素和colour1图像元素的总数进行计数，并计算colour0图像元素与colour1图像元素的总数比率。仅在该比率相当于器具的色彩图案的组合colour0与colour1表面区域的已知比率的情况下，才标记图案区域的图像元素。

由操作员使用该口内扫描系统，同时引入具有蓝绿色条纹表面色彩图案的板状器具，其中绿色与蓝色的组合表面区域的比率为50/50。在扫描之前将该比率输入到口内扫描系统中。当这种条纹器具出现在扫描装置的视野中时，它在显示器的2D视图中可见，而3D表示在器具的位置处示出数据缺失的“空洞”。然而，使用具有绿色表面色彩的相同的板状器具以相同的设置重复扫描过程会导致在将这种器具引入视野内时，将器具的几何数据并入3D表示中。

尽管已经在附图和前面的描述中详细示出和描述了本发明，但这样的示出和描述应被认为是说明性的或示例性的而不是限制性的。前面的描述详述了本发明的某些实施方案。然而，应当理解，不论上述内容在文字上如何详细描述，本发明都可由多种方式实践。本发明不限于所公开的实施方案。

通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施方案的其他变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一种/一个(a/an)”不排除多个。单个处理器或其他单元可以实现权利要求中引述的若干项的功能。在相互不同的从属权利要求中引述某些措施这一单纯事实不指示这些措施的组合无法有利使用。计算机程序可被存储和/或分布在与其他硬件一起供应或作为其他硬件一部分的适当介质(诸如光存储介质或固态介质)上，但是也可诸如经由因特网或者其他有线或无线电信系统的其他形式进行分布。权利要求中的任何附图标记都不应被解释为限制范围。

Claims

1.一种用于生成口内场景的至少一部分的3D表示的口内扫描方法，所述方法包括：

-获得多个扫描数据集，其中，所述扫描数据集中的至少一些扫描数据集包括重叠空间数据，并且其中，每个扫描数据集包括表示在点云坐标空间中所述口内场景的一部分的3D点云数据和在相机坐标空间中所述口内场景的所述部分的2D彩色图像，

-标记所述扫描数据集中的每个扫描数据集的所述2D彩色图像的在具有与以下项相对应的色彩或色彩图案的区域内的图像元素：

(i)在获得所述扫描数据集时在口内使用的器具的色彩或色彩图案，其中，标记具有与所述器具的所述色彩图案相对应的色彩图案的区域内的图像元素包括：

-识别所述2D彩色图像中的两个或更多个色彩区域，所述两个或更多个色彩区域中的每一个包括具有在相同范围内的色彩代码的相连的图像元素，所述相同范围选自与包括在所述器具的所述色彩图案中的相应色彩相对应的两个或更多个非重叠色彩范围，

-识别包括两个或更多个相连的色彩区域的图案区域，

-确定所述图案区域的色彩图案是否与器具色彩图案匹配，以及

-在所述图案区域的所述色彩图案与所述器具色彩图案匹配的情况下，标记所述图案区域中的所述图像元素；或

(ii)与包括不期望的色斑或颗粒的牙齿表面区域的色彩图案相对应的色彩图案，其中，所述标记包括：

-识别所述2D彩色图像中的包括相连的图像元素的色彩区域，所述相连的图像元素具有在与此类色斑或颗粒的色彩相对应的范围内的色彩代码，

-在多于一半的相邻图像元素具有与牙齿阴影相对应的范围内的色彩代码的情况下，标记所述色彩区域中的所述图像元素；

-从每个扫描数据集的所述3D点云数据中过滤掉映射到对应的彩色图像的标记的图像元素的数据点，

-通过拼接各个扫描数据集的所述过滤的3D点云数据生成3D表示，以及

-在屏幕上显示通过拼接所述过滤的3D点云数据生成的所述3D表示。

2.根据权利要求1所述的口内扫描方法，所述口内扫描方法包括以下步骤：接收关于所述器具的所述色彩和/或所述色彩图案的数据。

3.根据权利要求2所述的口内扫描方法，所述口内扫描方法还包括在将所述彩色图像映射到所述3D点云数据之前，将所述彩色图像从所述相机坐标空间变换到所述点云坐标空间。

4.根据权利要求3所述的口内扫描方法，其中在变换到所述点云坐标空间之后，使用所述彩色图像进行对所述图像元素的所述标记。

5.根据权利要求3所述的口内扫描方法，其中在变换到所述点云坐标空间之前，使用所述彩色图像进行对所述图像元素的所述标记。

6.根据权利要求1所述的口内扫描方法，其中所述相机坐标空间和所述点云坐标空间相同。

7.根据权利要求3所述的口内扫描方法，所述口内扫描方法包括在标记所述图像元素之前对所述彩色图像进行预处理，其中所述预处理包括以下至少一项：色彩平滑化、图像色彩饱和度的修改、色彩直方图均衡或亮度对比度调整。

8.根据权利要求1所述的口内扫描方法，其中使用2D彩色相机或使用2D单色相机结合多个照明源来获得所述2D彩色图像。

9.根据权利要求8所述的口内扫描方法，其中对所述2D彩色图像的在具有与所述器具的所述色彩相对应的所述色彩的所述区域内的所述图像元素的所述标记包括：

-识别具有在与所述器具的所述色彩相对应的范围内的色彩代码的一个或多个图像元素，以及

-标记所述一个或多个识别的图像元素。

10.根据权利要求9所述的口内扫描方法，其中还标记与所述识别的图像元素相邻的图像元素。

11.根据权利要求1所述的口内扫描方法，其中所述确定所述图案区域的所述色彩图案是否与所述器具的色彩图案匹配包括：相对于所述器具的所述色彩图案中的所述一个或多个对应的色彩区域的相对位置，分析所述两个或更多个色彩区域的在所述图案区域内的相对位置。

12.根据权利要求11所述的口内扫描方法，其中所述确定所述图案区域的所述色彩图案是否与所述器具的色彩图案匹配包括：

-通过将所述图案区域中的相应色彩区域的表面区域相加来计算两个或更多个组合色彩表面区域，所述相应色彩区域包括具有相同范围内的色彩代码的图像元素，

-确定所述组合色彩表面区域的比率；

-将所述比率与所述器具的色彩图案中的所述对应色彩中的每一个的相应的组合表面区域的比率进行比较。

13.根据权利要求12所述的口内扫描方法，其中所述色彩区域还包括与所述相连的图像元素相邻的边界层中的图像元素。

14.根据权利要求7所述的口内扫描方法，所述口内扫描方法包括显示用于获得所述扫描数据集的口内扫描装置的当前视野的2D图像。

15.根据权利要求14所述的口内扫描方法，其中所述2D图像显示如在当前扫描数据集中获得的所述彩色图像。

16.根据权利要求15所述的口内扫描方法，其中所述2D图像显示如在已经从中过滤掉所述标记的图像元素的当前扫描数据集中获得的所述彩色图像。

17.一种可编程装置，在其上执行程序，所述程序包含指令，所述指令在被执行时，执行如权利要求1至16中任一项所述的口内扫描方法。