CN103442645B - 牙齿表面分类方法 - Google Patents

Abstract

一种用于口腔内成像的方法获取一个或多个牙齿的数字图像并检测第一边界和第二边界。在第一边界和第二边界的每一处计算所述边界的一侧上的牙齿区域的平均灰度值与另一侧上的背景区域的平均灰度值的边界比值。存储计算的边界比值。计算并存储靠近第一边界的牙齿区域的平均灰度值与靠近第二边界的牙齿区域的平均灰度值的第三比值。形成并存储含有至少计算的边界比值和第三比值的矢量。根据存储的矢量将牙齿表面分类为光滑面或咬合面。根据分类处理所述图像数据，且报告处理结果。

Description

牙齿表面分类方法

技术领域

本发明大致涉及口腔内和牙科成像。更明确而言，本发明涉及用于将牙齿表面分类以用于后续处理的方法。

发明背景

尽管在检测、治疗和预防技术中已经有所改进，但是龋齿仍然是影响所有年龄组人群的非常普遍的情况。如果不适当和及时地治疗，龋齿可导致永久的牙齿损伤和甚至牙齿脱落。

龋齿检测的传统方法包括肉眼检查和用尖锐的牙齿探查设备触觉探测，其通常由放射摄影（x射线）成像辅助。使用这些方法的检测由于许多因素而可能具一定主观性，在精确度上变化，所述因素包括实践者的专业知识、受感染部位的位置、感染程度、观察条件、x射线设施和处理的精确度和其它因素。也具有与常规检测技术相关的危险，包括损伤衰弱的牙齿和随着触觉方法传播感染，以及暴露至x射线辐射的风险。在肉眼和触觉检查下龋齿较明显的时候，疾病通常处在需要填补的高级阶段，且如果不及时治疗，可能导致牙齿脱落。

响应于对改进龋齿检测方法的需求，在不用x射线的改进的成像技术上已有相当大的关注。已经商业化的一个方法利用荧光，牙齿被照亮时引起高强度蓝光。这种称为定量光致荧光（QLF）的技术以健全、健康的牙釉质比已经被龋齿感染损伤的去矿化釉质在从某些波长的激发下产生更高荧光强度的原理操作。接着利用对于蓝光激发而言在矿物损失与荧光损失之间的较强相关性来识别和评估牙齿的龋齿区域。对于红光激发已找到不同的关系，龋齿区域中的细菌和细菌副产物吸收某一区域的光谱，并且比健康区域更显著地发出荧光。

已认识到，用荧光技术，所获取的图像对比度对应于病情的严重程度。使用这些技术精确识别龋齿通常需要病情处在超过初期或早期龋齿的更高级阶段，因为对于早期阶段的龋齿，龋齿与健全牙齿结构之间的荧光上的差异非常小。在这种情况下，使用荧光技术的检测精确度可能没有展示胜过常规方法的显著改进。由于这个原因，使用荧光效应似乎具有某些实际限制，其阻碍了初期龋齿的精确诊断。结果，龋齿病情可能持续未被检测到，直到其更严重，例如需要填补。

对于预防性牙科，检测处在非常早期阶段的龋齿是特别受关注的。如前文所述，常规技术通常未能在病情可以逆转的阶段检测龋齿。作为一般的经验法则，初期龋齿是尚未实质上渗透到牙釉质的病变。在龋齿病变威胁到牙齿的牙本质部分前识别这种龋齿病变之处，通常可完成再矿化，逆转早期损伤并防止填补的需要。然而更高级的龋齿变得越来越难以治疗，最常需要某些类型的填补或其它类型的干预。

为了利用无创性牙科技术的机会来预防龋齿，需要在龋齿开始发病时被检测到。在许多情况下，已发现使用现有的荧光成像技术（如QLF）难以实现这种水平的检测。结果，早期龋齿可能持续未检测到，使得在得到阳性检测时，可能失去了使用低成本预防措施逆转病情的机会。

在共同转让的美国专利申请公开第2008/0056551号中，使用利用牙齿的反射图像和荧光图像两者的方法和装置来检测龋齿。其利用初期龋齿的观察到的背向散射或反射，且与荧光效应结合以提供改进的牙科成像技术来检测龋齿。称为荧光成像和反射增强（FIRE）的技术比早期途径的图像促进了图像对比度，且检测在预防措施可能产生作用的阶段的初期龋齿。有利地，比起使用单独测量荧光的现有荧光途径所展现的阶段，FIRE检测可在更早的龋齿感染阶段具有精确性。本申请描述一种转换方法以生成FIRE图像。

标题为METHOD FOR DETECTION OF CARIES的共同转让共同待审的PCT/CN2009/000078描述用于生成对照明变化具有降低敏感度的FIRE图像的形态学方法。

牙齿表面自身较复杂。牙齿的颊面和舌面典型地光滑，具有从牙齿的一侧至另一侧逐渐变化的轮廓。另一方面，咬合面通常有凹痕，且在牙齿表面上具有显著数量的坡度和轮廓上的过渡。由于表面特性上的这些差异，相同类型的图像处理和分析技术对两种牙齿表面通常不能同样很好地奏效。龋齿区域沿着颊面或舌面的特性外观可与龋齿咬合面显著不同。这些不同类型的表面可例如相对于龋齿区域的对比度和镜面反射不同地响应。矿质过少和其它效应可能使被设计来检测疑似龋齿区域的图像处理算法产生混淆。

除了龋齿检测之外，牙齿表面的表征对于其它类型的口腔内和牙科图像处理也有用，包括例如涉及牙齿阴影和外观的处理，以及口腔内图像的整体分类。

因此，可看到在尝试应用龋齿检测技术以及用于其它处理之前将牙齿表面类型分类会是有用的。在图像分析中这个增加的步骤可帮助改进龋齿检测的精确度并减少假阳性的数量。

发明概要

本发明的目的是推动用于龋齿检测的图像处理技术。本发明的实施方案解决了更精确地将牙齿表面分类的需要，使得可取决于牙齿表面的性质而使用适当图像处理方法。本发明的方法的优点在于其可在无需操作者干预的情况下自动确定牙齿表面是否是光滑面或咬合面，从而当后续应用龋齿检测算法时减少假阳性的数量。

因而，描述具有一个或多个以下优点的牙齿表面分类方法：（1）牙齿表面可被自动分类；（2）结果相对稳定且对于照明变化不敏感；（3）方法不采用较大的计算复杂度且可以实时执行；（4）方法可用于静止图像或视频图像中的龋齿检测，伴随自动突出显示。这个方法可容易地与许多不同类型的口腔内窥镜成像系统使用。应用这个方法可帮助减少正确地评估病人牙齿病情所需的时间量。

这些目的仅借助于说明性的实例给出，且这些目的可以是本发明的一个或多个实施方案的示例。本质上由所公开的发明实现的其它所需目的和优点可对于本领域技术人员出现或变得显而易见。由随附权利要求定义本发明。

根据本发明的一方面，提供一种用于口腔内成像的方法，所述方法至少部分在计算机系统上执行，且包括：获取一个或多个牙齿的数字图像；检测所述一个或多个牙齿的第一边界和第二边界；在所述第一边界和第二边界的每一处计算所述边界的一侧上的牙齿区域的平均灰度值与所述边界的另一侧上的背景区域的平均灰度值的边界比值，并将所计算的边界比值存储在存储器中；计算靠近所述第一边界的牙齿区域的平均灰度值与靠近所述第二边界的牙齿区域的平均灰度值的第三比值，并将所述第三比值存储在存储器中；形成并存储含有至少所计算的边界比值和所述第三比值的矢量；根据所存储的矢量将牙齿表面分类为光滑面或咬合面；根据牙齿表面分类处理数字图像；和报告处理结果。

附图简述

本发明的前述目的、特征和优点以及其它目的、特征和优点将从如附图中图示的本发明的实施方案的下文更特定的描述显而易见。

图中的元件不一定相对于彼此按比例绘制。

图1是示出龋齿检测的步骤的逻辑流程图。

图2是牙齿的示例性白光图像。

图3是牙齿的示例性荧光图像。

图4示出阈值处理以识别背景内容。

图5示出阈值处理以识别牙龈组织内容。

图6示出阈值处理以识别牙齿内容。

图7是示出图1和图2的牙齿的边界划分的图像。

图8是示出颊面视图的边界划分的图像。

图9是示出咬合面视图的边界划分的图像。

图10是示出构造用于牙齿分类的特征矢量的处理步骤的逻辑流程图。

图11A是示出扩张边界线以用于后续灰度比计算的图像。

图11B是示出识别边界线的一侧上的区域以用于平均灰度计算的图像。

图11C是示出识别边界线的另一侧上的区域以用于平均灰度计算的图像。

图12A是示出扩张边界线以用于后续灰度比计算的图像。

图12B是示出识别边界线的一侧上的区域以用于平均灰度计算的图像。

图12C是示出识别边界线的另一侧上的区域以用于平均灰度计算的图像。

图13是详细叙述图1的检测步骤的逻辑流程图。

具体实施方式

下文是本发明的优选实施方案的详细描述，对图进行参考，其中相同附图标记指若干图的每一个中的相同结构元件。

本申请要求2011年3月21日提交的标题为“A METHOD FOR TOOTH SURFACECLASSIFICATION”的美国临时申请第61/454,761号的优先权，其全部内容以引用的方式并入本文中。

在使用术语之处，术语“第一”、“第二”、“第三”等等不一定指示任何序数或优先关系，而是可用于更清晰地将一个元件或时间间隔从另一者分辨。

用于显示特征的术语“突出显示”具有如信息和图像显示领域中的技术人员所理解的其常规的意义。一般而言，突出显示使用某些形式的局部显示增强以吸引观看者的注意力。例如可以任何许多方式实现突出显示图像的一部分，如个别牙齿或其它结构，或从一个特征至下一个的路径，所述方式包括但不限于注释，显示附近或重叠符号，勾画或描摹，以与其它图像或信息内容不同的颜色或以明显不同的强度或灰度值显示，显示的一部分闪烁或动画化，或以更高清晰度或对比度显示。

图1的逻辑流程图示出根据本发明的实施方案的用于龋齿检测的序列中的步骤。在初始化步骤S100中，获得一个或多个牙齿的数字图像数据以用于分析。执行边界检测步骤S110，基于牙齿区域分割的结果计算牙齿边界。执行图像归一化步骤以将像素强度值归一化至适合用于后续图像处理的预设范围。举例而言，图2示出归一化的白光图像10。图3示出对应的荧光图像20。

然后接着背景区域检测，其中利用牙齿区域分割实用工具来将牙齿区域与牙龈和背景区域分开。因为牙齿和牙龈区域中的强度可能高于背景的强度，所以最初可基于阈值技术检测背景区域。在当前算法中，使用固定阈值来处理归一化的白光图像。可选地，白光图像和图3的荧光图像20的对应通道用于阈值处理。在这个替代序列中，算法分别阈值处理白光图像和荧光图像的绿色通道。接着，计算这些阈值区域的联合，其中源自白光图像和荧光图像的阈值被用作背景区域。

继续图1的序列，作为边界检测步骤S110的一部分而检测牙龈区域。因为牙龈在白光图像中是红色，所以其可容易被识别并随着颜色信息被移除。根据本发明的实施方案，白光图像的红色通道与绿色通道之间的比值用于从牙齿区域分辨牙龈。如果颜色通道的比值在某一区域内高于预设值，那么对应的图像部分被计算为牙龈区域。在移除背景和牙龈区域之后，剩下的区域被视为牙齿区域的部分。

图4至图6示出用于提供图2至图3中所示的图像的分割结果的实例二值化阈值图像。图4示出背景区域图像40，其中既不是牙齿也不是牙龈组织的图像内容以白色示出。图5示出牙龈区域图像50，其中牙龈组织以白色示出。图6示出牙齿区域图像60，其中牙齿内容以白色示出。如图7中所示，可沿着牙齿区域的边缘追踪轮廓32，从而识别牙齿边界以例如在边界图像30中显示。

检测到牙齿边界之后，在边界划分步骤S120（图1）中根据位置信息，牙齿边界被分成两个区段。接着可基于所分的牙齿边界提取特征。对于颊面和舌面，牙齿边界分离识别两个区段，第一区段靠近牙龈区域，且第二区段靠近背景区域。图8示出颊面的边界划分图像70。边界线74和76指示这种表面类型的不同边界区段。接壤线74的非牙齿区域是牙龈区域，在绿色通道中具有较高像素强度值。接壤线76的非牙齿区域是背景区域，在绿色通道中具有较低像素强度值。

对于咬合面，如图9中的图像80中所示，牙齿边界遵循牙齿排列的方向被分成两个区段。一个区段由线82指示；邻接这条线的非牙齿区域在绿色通道中具有较低像素强度值。另一区段由线84突出显示；邻接这条线的非牙齿区域在绿色通道中具有较高像素强度值。边界以可跨牙齿和沿着图像改变的距离D分离。

再次参考图1的序列，特征提取步骤S130接着使用边界划分步骤S120的结果以进一步将牙齿表面分类。图10的逻辑流程图示出用于特征提取步骤S130的步骤序列。识别步骤S131从边界划分步骤S120识别第一边界区段，如（例如）由图8中的线74识别的沿着牙龈线的边界。参考图11A，最初使用形态学成像技术（如（例如）图像扩张）扩大这个第一边界曲线。这使线74扩大并定义第一边界区段44。

继续图10的序列，后续子步骤将第一边界区段44分成两部分，如图11B和图11C中所示。图11B示出第一部分46如何被定义为第一边界区段44的位于线74的牙龈组织侧或重叠所述牙龈组织侧的部分。这个部分具有灰度分布值上牙龈特征（FeaUpperGum），计算为邻近牙龈区域中的平均值或其它统计值。

图11C示出第二部分48如何被定义为第一边界区段44的重叠了线74的牙齿侧的部分。这个部分具有灰度分布值上牙齿特征（FeaUpperTooth），计算为邻近牙齿区域中的平均值或其它统计值。

鉴于这些定义的区域，第一比值计算步骤S132接着计算特征1的值，并将其存储在存储器中，其计算为靠近边界的一侧（第二部分48）的牙齿区域的平均灰度值与靠近边界的另一侧（第一部分46）的牙龈区域的平均灰度值的第一边界比值，即：

特征1=上牙齿特征/上牙龈特征

或可选地，该比值表达为其倒数：

特征1b=上牙龈特征/上牙齿特征

在本公开的上下文中，术语“靠近”特定位置意味着在边界之间的总距离的三分之一内，优选地更接近这个长度的三分之一。图9示出边界之间的典型距离D。

继续图10的序列，后续识别步骤S133从边界划分步骤S120识别第二边界区段，如（例如）由图8中的线76识别的沿着背景的边界。参考图12A，最初使用形态学成像技术（如（例如）图像扩张）扩大这个第二边界曲线。这使线76扩大并定义第二边界区段54。

第二比值计算步骤S134接着计算靠近边界的一侧的牙齿区域的平均灰度值与靠近边界的另一侧的背景区域的平均灰度值的第二边界比值，并将其存储在存储器中。图12A、图12B和图12C图示了如何识别各个区域，类似于图11A、图11B和图11C中所示的序列。

继续图10的序列，后续子步骤将第二边界区段54分成两部分，如图12B和图12C中所示。图12B示出第一部分56如何被定义为第二边界区段54的位于线76的牙齿组织侧或重叠所述牙齿组织侧的部分。这个部分具有灰度分布值下牙齿特征（FeaLowerTooth），计算为邻近牙齿区域中的平均值或其它统计值。

图12C示出第二部分58如何被定义为第二边界区段54的重叠线76的背景侧的部分。这个部分具有灰度分布值下背景特征（FeaLowerBack），计算为邻近背景区域中的平均值或其它统计值。

鉴于这些定义的区域，第二比值计算步骤S134接着计算特征2的值，并将其存储在存储器中，其计算为：

特征2=下牙齿特征/下背景特征

或可选地，该比值表达为其倒数：

特征2b=下背景特征/下牙齿特征

图10中的第三比值计算步骤S136接着计算并存储靠近第一边界区段和第二边界区段的牙齿区域的平均灰度值的比值。即：

特征3=上牙齿特征/下牙齿特征

或可选地，其倒数：

特征3b=下牙齿特征/上牙齿特征

接着使用从特征矢量生成步骤S138中的先前步骤计算的比值数据而形成三维特征矢量或类似数据结构。因此所生成的矢量包括第一边界比值、第二边界比值和第三比值。以这种方式形成的特征矢量可接着被存储和用于牙齿表面分类。

三维矢量构造可以任何适当顺序使用特征1、特征2和特征3，或其倒数。可选地，可用[特征1，特征2]或[特征2，特征1]形成二维矢量。

任选的矢量归一化过程生成归一化特征矢量，如：

其中值μ₁～μ₃对应于预设值，即，从训练数据集计算的特征1～特征3的平均值。类似地，值σ₁～σ₃对应于预设值，即，从训练数据集计算的特征1～特征3的方差。归一化过程对于二维特征矢量是类似的。特征矢量可接着用作至分类过程的输入。

分类器加载步骤S140（图1）加载用于牙齿表面分类的适当分类器。根据本发明的一个实施方案，分类器加载步骤S140对于这个任务加载PCA（主成分分析）分类器。主成分分析（PCA）是使用正交变换来将一组可能相关变量的观察值转换成一组线性不相关变量的值（称为主成分）的数学技巧。主成分的数量少于或等于原始变量的数量。通常使用允许用测试样本集训练分类器软件的神经网络技术来开发PCA分类器。虽然PCA分类工具尤其适合用于形状和轮廓分类，但是可选地可使用其它分类器类型。一旦分类器被充分训练以分辨表面特征，其可接着被存储以用于在分类步骤S150中分析病人的图像。分类接着将牙齿图像定义为颊面或舌面或咬合面图像。

仍然接着图1中的程序序列且使用图13中所示的扩展逻辑流程图，在分类步骤S150中处理特征矢量90之后，一旦已完成分类则执行龋齿检测步骤S160。如图13的逻辑流程中所示，龋齿检测步骤S160取决于已被识别的表面分类类型而应用不同参数或算法。在结果162指示光滑面之处，对于舌面应用龋齿检测步骤S166。在结果164指示粗糙面之处，对于咬合面应用龋齿检测步骤S168。报告步骤S170接着如通过列出齿数和表面，或在例如示出成像牙齿的显示器控制台上突出显示一个或多个龋齿部位而报告龋齿检测的结果。应注意，龋齿检测步骤S160是可使用图1中所示的序列中提供的牙齿表面分类的一种图像处理。可提供替代处理步骤以使用以其它方式的牙齿表面分类，如（例如）分析牙齿外观或将图像视图分类。

如本领域技术人员将了解，本发明可体现为系统或方法，其中使用用指令编程的计算机程序产品或其它控制逻辑处理器设备来执行系统的部分以获取并显示图像，接受操作者的指令和输入数据，并响应于操作者的键入。因而，本发明的实施方案可以完全硬件的实施方案或组合有软件和硬件方面（在本文中一般可都被称为“电路”或“系统”）的实施方案的形式。此外，本发明的部分可采用以计算机可读存储介质体现的计算机程序产品的形式，其中指令由一个或多个计算机或主机处理器执行。这种介质例如可包括：磁存储介质，如磁盘（如硬盘驱动器或存储盘）或磁带；光学存储介质，如光盘，光带或机器可读条形码；固态电子存储设备，如固态硬盘驱动器，随机存取存储器（RAM）或只读存储器（ROM）；或用于存储计算机程序的任何其它物理设备或介质。用于执行本发明的方法的计算机程序也可以存储在借助于互联网或其它通信介质连接至主机处理器的计算机可读存储介质上。

应注意，术语“存储器”（等效于本公开的上下文中的“计算机可访问存储器”）可以指用于存储和操作图像数据并且计算机系统可访问的任何类型的临时或更持久的数据存储工作区，包括例如数据库。存储器可以是非易失性的，例如使用长期存储介质，如磁存储或光存储。可选地，存储区可具有更易失性质，使用电子电路，如被微处理器或其它控制逻辑处理器设备用作临时缓冲器或工作区的随机访问存储器（RAM）。显示数据例如通常存储在直接与显示设备相关的临时存储缓冲器中，且按需要定期刷新以提供显示的数据。这个临时存储缓冲器也可以被视作存储器，如本公开中所使用的术语。存储器也用作用于执行并存储计算和其它处理的中间结果和最终结果的数据工作区。计算机可存取存储器可以是易失性的，非易失性的，或易失性和非易失性类型的混合组合。

本领域技术人员将容易认识到，也可以以硬件构造这种计算机程序产品的等效物。计算机可用或计算机可读介质甚至可以是其上印刷可执行指令的纸张或另一适当介质，因为指令可例如经由比如光学扫描纸张或其它介质而被电子地捕获，接着编译、解译或以适当方式另外处理（如需要）且接着存储在计算机存储器中。在本文件的上下文中，计算机可用或计算机可读介质可以是含有、存储、传递、传播或传输计算机指令以由指令执行系统、装置或设备使用或结合其使用的任何介质。

虽然已关于一个或多个实施说明了本发明，但是在未脱离随附权利要求的精神和范畴的情况下可对所说明的实例进行变更和/或修改。此外，虽然已关于若干个实施的仅一个公开了本发明的特定特征，但是如对于任何给定或特定功能可能是需要和有利的，这种特征可与其它实施的一个或多个其它特征组合。

术语“至少一个”用于意味着可选择所列出的项目的一个或多个。术语“约”指示所列出的值可在一定程度上改变，只要变更不导致过程或结构与所说明的实施方案不一致即可。最后，“示例性”指示描述是用作实例，而不是暗示其是理想的。

Claims (6)

1.一种用于口腔内成像的方法，所述方法包括：

获取一个或多个牙齿的数字图像；

检测所述一个或多个牙齿的第一边界和第二边界；

在所述第一边界计算所述第一边界的一侧上的牙齿区域的平均灰度值与所述第一边界的另一侧上的背景区域的平均灰度值的第一比值，以及在所述第二边界计算所述第二边界的一侧上的牙齿区域的平均灰度值与所述第二边界的另一侧上的背景区域的平均灰度值的第二比值，并将所计算的第一和第二比值存储在存储器中；

计算靠近所述第一边界的牙齿区域的平均灰度值与靠近所述第二边界的牙齿区域的平均灰度值的第三比值，并将所述第三比值存储在所述存储器中；

使用所述第一和第二比值以及第三比值将牙齿表面分类为光滑面或咬合面；

根据所述牙齿表面分类处理所述数字图像；和

报告处理结果。

2.根据权利要求1所述的方法，其中所述平均灰度值是来自所述数字图像在所述第一边界与第二边界之间的距离的三分之一内的部分。

3.根据权利要求1所述的方法，其中将所述牙齿表面分类包括使用主成分分析分类器。

4.根据权利要求1所述的方法，其中将所述牙齿表面分类包括使用受训分类器。

5.根据权利要求1所述的方法，还包括使用所述第一和第二比值以及所述第三比值形成矢量，其中根据来自训练数据集的值而将所述矢量归一化。

6.根据权利要求1所述的方法，其中所述第一边界与第二边界中任一个包括一个或多个牙龈区域和背景区域。