CN103549938B - 龋牙情况的实时显像方法 - Google Patents

Abstract

一种用于显示牙齿实况视频的方法，它识别在从视频流获得的可视图像帧中的牙齿组织区域并处理在牙齿组织中的象素数据，以识别可疑的龋牙病灶。修正与可疑龋牙病灶有关的象素亮度值并形成突出显示的可视图像帧，该突出显示的可视图像帧作为与可疑龋牙病灶有关的修正亮度值和在可视图像帧中的其它象素数值的组合。突出显示的可视图像帧采用视频方式来显示。

Description

龋牙情况的实时显像方法

本申请是申请日为2009年1月22日、优先权日为2008年1月22日、申请号为200910002833.0、发明名称为“龋牙情况的实时显示方法”的发明申请的分案申请。

技术领域

本发明通常涉及适用于牙齿成像的方法和装置，更具体地说，涉及用于识别和突出显示从病人牙齿所获得的实时视频图像中的龋牙。

背景技术

尽管在检测、医治和预防技术方面都有了很大的改进，但是牙齿的龋牙仍旧是一种严重影响各个年龄人群的普遍情况。如果没有适当和迅速的医治，龋牙就有可能导致永久性的牙损伤甚至于牙缺损。

龋牙检测的传统方法包括采用尖锐牙齿探测设备的视觉检查和触觉探查，通常都采用X射线成像作为辅助。使用这些方法的检查都显得十分主观，准确性会受到多种因素的影响，包括牙科医生的经验、感染病灶的位置、感染的程度、观察的条件、X射线设备和处理的准确性和灵敏度，以及其它因素。同样，还会存在一些与传统检查技术有关的风险，包括使用触觉方法还存在着可能进一步损伤缺损的牙齿和扩散感染以及暴露于X射线的风险。当在视觉和触觉检查下龋牙十分明显时，则通常表明疾病正处于加深阶段，需要进行龋牙的填充；如果不能及时处理的话，就有可能引起牙齿的缺损。

为了满足改进龋牙检测方法的需要，重点关注的是不使用X射线的成像技术。特别是，在健全的牙齿和龋牙的区域之间显示不同的光学响应。在光散射性能上的差异可引起被照明牙齿区域的光反射，且这些照明区域是采用正常区域与龋牙区域的不同照明程度来测量的。这一效应有助于识别出早期龋牙的牙齿区域，因为在采用反射成像设备（例如，口腔摄像机）所拍摄的图像中这些区域趋向于比周围健全结构显示出亮度更亮些。

另一种适用于龋牙检查的光学方法是基于牙齿的荧光性，这种荧光是在采用突出显示度紫外蓝光照明牙齿时所发射出的。这一技术基于的原理是，在某些波长的激发下，健全和健康牙齿的珐琅质会比受到龋牙感染损伤而已去除矿物质的珐琅质产生更亮的以绿色为主的荧光亮度。随后，可以使用矿物质缺失和紫外蓝光激发下的绿色荧光损失之间的强关联关系来识别和评估牙齿的龋牙区域。已经发现了使用红色荧光的不同关系，对于这一光谱区域，龋牙区域中的细菌和衍生细菌的荧光明显不同于健康区域。

在商业化产品中，使用绿色荧光行为的牙齿成像是产于荷兰阿姆斯特丹的Inspektor Research Systems BV公司的定量光荧光（QLF）诊断系统。使用不同解决方案的还有产于伊利诺斯州Lake Zurich的KaVo Dental Corporation公司的诊断用激光龋牙检查辅助系统，它可以在红光的照明下，通过检测衍生细菌的红色荧光的亮度来检查龋牙的活性。

在上述引用的相关美国专利申请中，还讨论了另一种用于龋牙检查的光学技术，该技术被称之为具有反射系数增强的荧光成像（FIRE）。在这些专利申请所讨论的FIRE方法中，组合了反射系数和荧光成像的效应，使得被检查的龋牙具有比周围健全牙齿结构要高得多的亮度。

在现有牙齿成像系统中普遍存在的一个问题涉及在最初筛选牙齿与获得牙齿图像的时间与识别可能龋牙情况或向牙医或医师报告的时间之间的延迟周期。使用现有系统，是以两个单独的步骤来进行牙齿筛选（在这一期间获得图像）和龋牙检查（在这一期间处理和分析图像以便于识别龋牙区域）。实际上，在筛选的适当时点上，首先根据操作者的指令拍摄牙齿的静止图像。随后，在后续步骤中，为获取龋牙情况而处理和分析图像数据，以将表示龋牙信息（例如，外形位置、大小以及严重程度）的处理图像（可能还附上报告）提供给临床医生。该龋牙信息只在牙齿筛选结束之后和只在完成图像处理/分析步骤之后才可用。

当龋牙信息在筛选之后的后续时刻变成为有效信息时，牙科医生时常需要重新再检查下成像的牙齿，以便于对所报告的问题区域有更多观察。因此，这种延迟就很不方便，并且会延长检查部分的时期。希望设备有助于能向检查人员提供更为迅捷的反馈，从而能在筛选时就能更仔细地进行识别和检查。然而，由于诸如检测困难、许多现有检查方法需要大量的计算以及各个牙齿所需的成像数据量等等因素，常规的系统难以使这一优点得到有效的体现。

尽管有一些进展，但现有的牙科成像系统实时检查仍然存在一个公认的问题是，如果不经过大量的图像处理，或者如果缺乏熟悉了解专用设备的高度熟练的牙科医生，则牙齿图像内的龋牙还是难以识别。诸如QLF系统的早先讨论的系统可以显示实时荧光图像，但这些设备所显示的图像一般仅仅只对富有丰富经验的牙科医生有价值，这些富有经验的牙科医生经过训练才能够以牙齿荧光来解释所显示的图像，以识别出龋牙区域。一般来说，从牙齿图像来检查龋牙，无论是使用白光还是使用荧光成像，都需要牙科医生具备相当高水平的专门技术。采用计算机辅助成像分析的自动检查设备能够消除对专门技术的需要。然而，因为目前的自动检查算法通常都包括十分费时的图像处理，所以都还难以适用于龋牙的实时识别技术。

因此，希望能够改进图像处理方法，从而能够从牙齿图像中快速识别出龋牙，以便提供龋牙情况信息提示的直接反馈。这种方法还允许采用实时方法进行自动检查，这种方法甚至于对初学者或者相对没有训练过的使用者来说都是十分有用的。

发明内容

本发明的一个目的是解决牙齿成像的筛选和诊断流程的改进需要。针对这一目的，本发明提供了一种适用显示牙齿实况视频的方法，它包括：

a）在从视频流获得的可视图像帧中识别牙齿组织区域；

b）处理在牙齿组织区域中的象素数据，以识别可疑的龋牙病灶；

c）修正与可疑龋牙病灶对应的象素的亮度值；

d）形成突出显示的可视图像帧，作为对应可疑龋牙病灶的修正亮度值与在可视图像帧中的其它象素数值的组合；和

e）以视频方式显示突出显示的可视图像帧。

本发明的特征在于提供了一种适用于龋牙检查的图像处理方法，该方法比现有已知的方法要明显快得多，使得可疑的龋牙区域无需费时费力的图像处理操作就可被识别出。

本发明的优点是它能够提供牙齿龋牙可能病灶的实时识别，且这种识别是与牙齿筛选同时进行的。

本发明的另一优点是提供龋牙病灶的清晰视觉指示，这对于初学者或相对缺乏训练的使用者来说都是十分有用的。

本发明的上述和其它方面、目的、特征和优点可以从以下较佳实施例的详细描述和所附的权利要求书的阅读以及参考附图中得到更加清晰的理解和评价。

附图说明

虽然说明书所附的权利要求书特别指明和明确主张了本发明的主题，但是通过下列结合附图的描述将会更好地理解本发明，其中：

图1是根据一实施例的用于牙齿成像的设备示意图；

图2A显示了在常规的口腔成像系统中牙齿筛选操作时的视频图像处理和显示路径；

图2B显示了在根据本发明的口腔成像系统中牙齿筛选操作时的视频图像处理和显示路径；

图3是根据一实施例的用于实现快速自动检查龋牙（RADOC）处理的一系列步骤的逻辑流程图；

图4是根据一实施例的使用反射系数图像帧来实现RADOC处理的方框图；

图5是用于在口腔图像中选择牙齿区域的分离技术的逻辑流程图；

图6是根据另一实施例的使用反射系数图像帧来实现RADOC处理的逻辑流程图；

图7是根据一实施例的使用荧光图像帧来实现RADOC处理的逻辑流程图；

图8是根据另一实施例的使用荧光图像帧来实现RADOC处理的逻辑流程图；和，

图9是用于RADOC处理的逻辑流程图，它能够从荧光图像帧中识别龋牙并突出显示反射系数图像帧中的龋牙区域。

具体实施方式

参考共同申请的待审批美国专利申请：（a）Wong等人于2005年10月31日申请、美国专利申请号No. 11/262,869、美国专利申请公开号No. 2007/0099148、题为“适用于龋牙检查的方法和设备”；（b）Liang 等人于2006年9月12日申请、美国专利申请号No. 11/530,987、题为“用于龋牙检查的设备”和（c）liang等人于2006年10月13日申请、美国专利申请号No. 11/549,208、题为“用于龋牙检查的设备”。上述共同申请的待审批专利申请的披露内容将通过引用方式包含在本发明中。

应该理解的是，没有特别显示或讨论的各个单元都可采用业内熟练技术人员所熟知的各种形式。

本发明的方法解决在采用口内成像设备筛选牙齿的同时提供各个牙齿的实时龋牙检查信息的需要。为了做到这一点，本发明利用了龋牙病灶的反射系数和荧光效应以及在视频流中的修正帧来指示可疑的病灶。

在所披露的内容中，术语“荧光”被广泛地用于包括荧光本身所产生的图像数据或者通过处理在与反射系数数据组合（例如，在上述所讨论的FIRE成像）中的荧光数据所产生的图像数据。

在所披露的内容中，术语“诊断”在一般背景下用于包括有助于指示可能有问题的区域并因此指引牙科医生对其关注的数据、流程或技术。于是，术语“诊断”旨在包含系统和流程以及由此所获得的信息，以便于用于牙齿的筛选以及以较高的准确性对龋牙作出详细的评估。

在本说明书中，术语“筛选”用于讨论部分常规的初步检查流程，在这部分流程中，牙科医生将口内探头依次从一个牙齿移动到另一个牙齿并定位探头以便获得至少部分牙齿中的各个牙齿的视频或者静止图像。按照惯例，显示监视器用于帮助操控成像的探头。当牙科医生在筛选过程中移动探头进入口内时，来自探头的显示视频图像能够帮助牙科医生引导探头定位以及从一个牙齿引导到另一个牙齿。一旦操作者将探头放置在一个适当的位置上，就可以通过控制在探头上的按钮或者通过控制在一起的成像工作站设备上的按钮来拍摄一幅或多幅静止图像。

在传统的实践中，所拍摄的图像数据可随后上传到主处理器，以便使用可进行龋牙检查/诊断图像分析（例如，使用荧光、反射系数或者在拍摄图像中所记录的一些其它特征或效应）的图像处理算法来进行分析。一旦完成处理之后，就显示处理后的图像，以便指示龋牙的区域；当诊断牙齿图像的常规工作流程时，还可以对可疑龋牙区域提供多种类型的报告。

对于本发明具有特别意义的是具备对反射系数和荧光信息或两者之一的快速处理能力，从而在筛选过程中就能提供称之为“实时”反馈的龋牙检查信息。于是，本发明的设备和方法可以在筛选牙齿表面的同时来识别可疑龋牙病灶并以视频速率为牙科医生提供视觉突出显示可疑龋牙病灶。通过操作者在筛选的同时改变到可能龋牙的病灶上，本发明方法有助于引导操作者更加关注可能的龋牙病灶，从而对该病灶作出更加全面的诊断评估。因此，就不再需要在后续成像部分重新返回到该牙齿，使得龋牙检查成像的整个工作流程能够更加高效和效果更好。

在所披露的内容中，术语“实时”用于描述龋牙病灶识别和突出显示等成像处理和显示操作相对于在筛选过程中所应用的视频刷新速率的相对速度。对于本发明而言，龋牙病灶的检查被认为是实时处理，只要在牙齿仍旧处于筛选时就能将目前探头位置所处牙齿情况的一些处理检查信息有效地提供给操作者。作为对所需的阈值处理速率的粗略指标，至少每秒10帧或者更快的视频图像刷新速率将满足实时检查的需要。这就能明显地区别于龋牙的传统牙齿成像工作流程，该工作流程需要获得在牙齿筛选过程中拍摄的静止图像的初始步骤。因为这在传统的设备中采用更加复杂的处理/分析，直到用去更多和多余的时间之后，以及在完成初始筛选之后，仍不能向操作者有效地提供龋牙检查结果。典型的延迟周期可以是几秒或更长些时间，这取决于处理/分析的复杂程度。本发明实施例的实时成像特征有助于通过识别和突出显示可以问题区域来步骤操作者，使得牙科医生能够在筛选过程中对这些问题区域更加仔细和注意。在这些可疑位置上所拍摄的连续静止图像能够提供更多的图像数据，以便支持后续更加全面的诊断。

图1所示的示意方框图显示了根据一实施例的龋牙检查系统10。操作者沿着牙齿20来引导探头12，进行牙齿筛选阶段。探头12自身包含一个或多个光源、一个成像传感器或摄像机（单色或彩色），能够进行静止和视频的成像；以及用于成像的辅助光学。探头12通过有线或通过无线的接口连接控制逻辑处理器14。控制逻辑处理器14提供图像处理逻辑，用于处理来自探头12的数据。对于视频信号，控制逻辑处理器14对来自传感器的原始图像帧进行图像格式处理（典型的操作包括例如传感器的颜色滤波器阵列插入、颜色校正和颜色呈现等），随后再将它们转换成可视的图像帧，用于视频显示。在一实施例中，控制逻辑处理器14也执行适用于图像数据FTRE处理所需的逻辑。控制逻辑处理器14还能够执行其它图像处理逻辑，包括自动检查处理，该自动检查处理通过分析荧光图像数据、反射系数图像数据或者荧光和反射系数图像数据的一些组合来识别龋牙的特征，并随后采用一些方法来突出显示或放大可疑龋牙病灶。显示器18在牙齿筛选的同时为操作者提供来自探头12的实时视频观察。

图2A和2B显示了本发明与传统方法在进行牙齿筛选过程中进行牙齿图像处理和显示的明显差异。首先，参考图2A，在传统的口内成像系统中，例如早先所讨论的QLF系统，来自口内探头12的传感器的原始视频流数据32是由控制逻辑处理器14（图1）直接转换成可视的视频流数据36，用于在显示器18上观察。图像格式处理步骤33是由控制逻辑处理器14对原始视频流数据32的原始图像帧31进行处理。这一处理包括标准的视频图像数据处理功能，例如，插入和颜色校正。输出是可视视频流数据36，用于提供可视图像帧35。

现在，再参考图2B，显示了本发明实施例的图像处理和显示的路径。这些实施例提供了在牙齿进行筛选的同时采用实时的方式进行龋牙的检查和观察。在进行图像格式处理步骤33之后，控制逻辑处理器14对每帧可视图像帧35都进行其它处理，称之为快速自动检查龋牙（RADOC）处理34，以便于识别和突出显示龋牙病灶。最后，突出显示的可视视频流数据38包含突出显示的可视图像帧37，这在操作者进行筛选流程观察的视频显示器上以突出显示方式显示可疑龋牙病灶的可视图像帧。重要的是，RADOC处理34能够非常快地执行，从而支持突出显示的可视视频流数据38在显示器18上进行实时观察。下列的描述讨论了如何执行RADOC处理34，以适用于不同实施例中的实时龋牙检查和视觉显示。

RADOC处理

图3所示的逻辑流程图显示了用于执行图2B所讨论的RADOC处理34的步骤顺序。现在给出的是步骤的概略，在下列不同实施例中将更加详细地讨论各个步骤的实现。

当龋牙检查系统10用于筛选各个牙齿20时，可由探头12上的摄像机或传感器拍摄光，以便以快的视频速率来形成可视图像帧35。可视图像帧35一般都具有红、绿和蓝（R、G和B）的颜色平面。作为一个实例，图像41显示了牙齿的可视图像帧35的颜色平面。牙齿区域选择步骤90首先在至少一个颜色平面上进行，以便从周围组织和背景中选择和分离出牙齿区域。例如，使用在诊断成像技术中业内熟练技术人士所数值的分离技术来完成这一步骤。对于活动视频而言，这步骤意味着随着探头12（图1）从一个牙齿移动到另一个牙齿可以检查多个区域。

接着，对所选择的图像数据执行龋牙识别步骤100，其中指示龋牙病灶的象素被识别出来。随后，在龋牙的突出显示步骤110中，可以多种方法来修正和突出显示所识别出的象素，以便在可视图像帧35中形成夸大的效应。

在龋牙突出显示步骤110中的象素修正可以采用多种方式来进行。在一实施例中，在一个颜色平面中的象素数值被映射成较高的亮度值，正如以下所讨论的那样。在另一实施例中，使用诸如添加伪颜色效果、诸如使用合成颜色形成突出显示或者在嘴中显示不希望被察觉到的其它颜色等技术，来进行更加复杂的图像处理。轮廓线或阴影线可以交替使用。还可以使用其它形式的象素修正方法，以便于更加清晰地突出显示出所检查到的龋牙病灶。

在图3所示的逻辑流程图的步骤序列的结束部分，产生突出显示的可视图像帧37。突出显示的可视图像帧37显示了在识别和夸大的龋牙感染病灶上的牙齿的图像。以图像43显示了对应于图像41没有修正的视频帧的突出显示的可视图像帧37。在这一实例中，采用使龋牙病灶暗色化和提供轮廓的方式来突出显示所检查到的龋牙病灶。随后，提供突出显示的可视图像帧37，作为在显示器18（图1）上视频观察的部分突出显示的可视视频流数据38。

使用反射系数的RADOC实施例

正如以上所指出的那样，与其它区域相比，经受早期龋牙的牙齿区域会呈现出稍微高些的反射系数。与健康的牙齿结构相比，这些区域会呈现出更亮（或更白）些并且有时被称之为“白点”。然而，具有较久龋牙的区域趋向于失去反射率并呈现出比周围结构更暗些。在数字图像的表示中，相比于健康牙齿结构的象素数值，较亮的点（即，指示早期性龋牙的病灶）具有较高的象素数值，而较暗的区域（指示陈旧性龋牙）具有较低的象素数值。早期龋牙的高反射系数和陈旧龋牙的低反射系数允许将这些情况使用白光或者其它颜色光来区别于健康情况。

正如参考图2B所讨论的那样，RADOC处理34必须以相当快的速度进行操作，以便于以视频速率来修正图像数据流。本发明的方法使用数字数据运算来进行这一处理，这种处理方法能够对从可视图像帧35所获得的大量图像数据进行快速运算。

当以反射系数模式使用龋牙检查系统10时，可视图像帧35是牙齿的简单反射系数图像，例如，在使用白光或其它颜色光的照明下所获得的图像。图4显示了一例使用反射系数图像帧的RADOC处理的实施例的方框图。以虚线轮廓显示了龋牙识别步骤100和龋牙突出显示步骤110的组合流程。特殊可视图像帧35的红、绿和蓝（R、G和B）颜色平面显示为输入。为了进行牙齿区域选择步骤90，可以使用单一图像平面，例如，在图4所示的实例中表示为绿色（G）图像平面。（也有可能交替使用红色或者蓝色平面或者灰阶图像平面。）绿色平面具有优点，因为这种颜色平面趋向于包括比其它颜色平面更高程度的亮度数据。牙齿区域选择步骤90首先是在单色平面上进行，以便于从周围组织和背景中分离出和选择出牙齿组织。这是通过分离技术来完成的。正如以上所提到的那样，分离技术是图像领域中的熟练技术人士所熟知的。

图5显示了一例牙齿区域选择步骤90处理顺序的实例，它可以应用于图像数据阵列I。第一步骤是识别萌芽（seed）位置步骤92。识别萌芽位置步骤92基于所感兴趣的有意区域的特征来识别萌芽象素或者象素区域I（i,j）。例如，诸如颜色或者亮度等图像外形可用于识别在所获得的图像数据中的牙齿组织中的萌芽象素。对于需要识别多个区域的情况而言，可选择多个（x, y）萌芽位置。对于各个萌芽位置而言，可随后执行区域－成长分离操作94。在一实施例中，检查直接相邻的各个周围象素，以便于识别出那些具有在萌芽象素I（i,j）容差数值内的数值的象素。为了形成区域，可以对各个识别的象素重复进行。区域是数组根据象素数值来识别的相邻象素。相邻萌芽的识别象素集构成一个单独的区域。对于各个区域而言，将相应的位置设置成相同大小掩模96中的适当数值，作为图像阵列。例如，区域1可能被识别为具有等于1的数值。结果是具有所识别区域的掩模阵列。该方法可以用于通过选择在牙齿结构中的象素或者通过选择在周围齿龈组织和背景中的象素来分别设置在图像中的牙齿组织区域。

再参考图4，在牙齿区域选择步骤90之后，随后对所选择的图像数据进行两个单独的处理操作步骤集，一个操作集，如方框图中上半部分所示，使用减法操作紧随乘法操作，来识别和放大在早期龋牙区域中的象素，如下所述：

（i）在减法操作中，所有的象素数值都减去一个固定常数数值Downshift1。具有小于Downshift1数值的象素都限制为零数值，从而在减法之后只有具有大于Downshift1数值的象素仍旧具有非零数值。这有效地只保留了去除釉质的，在牙齿上的白点可作为具有非零象素数值的区域。

（ii）在后续的乘法操作中，象素乘以乘法因子Upscale1。该尺度只放大非零象素的亮度值，于是，它能对在图像中的早期龋牙病灶的亮度产生放大效应。尽管在该实施例中使用了尺度乘法，但也可以使用一些其它形式的象素数值增强作为替代，从而产生相似类型的放大效果。

对所选择的牙齿区域图像数据进行另一种操作集，如图4方框图的下半部分所示，识别和放大在具有处于陈旧阶段的龋牙区域中的象素。该操作集包含倒置，随后减法，随后再乘法。如下所述：

（iii）进行倒置，以便于将在所选择牙齿区域中的所有象素的数值倒置；

（iv）随后进行减法，该减法将所有的象素数值都减去一个固定数值Downshift2。具有小于Downshift2的数值的象素限制为零数值，使得只有陈旧的龋牙区域具有非零的象素数值。

（v）随后再进行乘法，使用因子Upscale2来放大陈旧龋牙区域的亮度。

Downshift 1、Downshift 2、Upscale 1和Upscale 2的优化数值依赖于设备并且由龋牙检查系统10的校准流程，根据经验预先确定。

在图4所示的步骤序列的结束阶段，以上所讨论的两个操作集（步骤i和ii；步骤iii、iv和v）的结果提供了增强位于具有高的龋牙感染可能性的病灶位置上的象素数值。随后，将这些增强象素数值用于修正输入图像数据，以便于形成显示突出显示的可视图像帧37（图3）。在图4所示的实施例中，将来自各个操作集的增强象素数值加到可视图像帧35的红色平面上。突出显示的可视图像帧37的合成图像包含相同的绿色和蓝色平面作为可视图像帧35，但还包含采用表示早期和陈旧龋牙数据的增强象素数值修正的红色平面，在图中标记为R’。该突出显示的可视图像帧37的合成图像显示了检查到的龋牙病灶并以红色作为突出显示表示。可预见的是，尽管在图4所示的实例中可视图像帧35的红色平面用作为图像加法，但任何一种颜色平面都能够用于相同的目的。

图6显示了使用反射系数图像帧的RADOC处理的替代实施例的逻辑流程图，又一次提出了在各个平面中的三基色数据。正如参考图4所示实施例讨论的那样，首先，对可视图像帧35进行牙齿区域选择步骤90。分离算法类似于在图5所示的牙齿区域选择步骤90中所讨论的，该算法能够用于从周围组织和背景中选择牙齿区域。在虚线轮廓内显示了适用于龋牙识别步骤100和龋牙突出显示步骤110的组合流程。对于所选择的每一个象素位置而言，绿色象素数值分别与两个阈值数值相比较：亮度阈值（Brightness Threshold）和暗度阈值（Darkness Threshold）。（红色或蓝色象素可以交替用于数值校对。）执行下列处理：

（i）如果绿色象素数值大于亮度阈值，则检查到早期的龋牙，并且通过从绿色和蓝色象素数值中减去减法因子将图像象素修正为具有红色外形的象素。

（ii）如果绿色象素小于暗度阈值，则检查到陈旧的龋牙，并且通过将加法因子加到红色象素上将图像象素修正为具有夸大红色的象素。

在两个阈值数值之间的图像被假定为在健康区域中，指示为健康的牙齿组织并保留不作修正。随后，再校对下一个图像象素，并且重复循环，直至所有的图像象素都被校对过。结果是突出显示的可视图像帧37，其中，检查到的龋牙病灶采用红色突出显示，并且早期的和陈旧的龋牙都采用红色的不同阴影来区别。

对于图6所示的实施例，亮度阈值和暗度阈值的优化数值都是依赖于设备的并且可由龋牙检查系统10的校准流程，根据经验预先确定的。减法因子和加法因子的数值也是预先确定的，这些数值越大，则在检查到的龋牙象素上的突出显示效应就越强。

以上所讨论的方法能够应用于任何类型的口腔成像系统，这些成像系统可以在检查阶段就能获得牙齿的反射系数或者白光图像。就最佳结果而言，成像的探头12应该构成使得镜面反射最小化，例如，通过使用交叉的偏振光，正如在先前引用的相关美国专利申请中所讨论的那样。

使用荧光的RADOC实施例

类似于图2所示的逻辑顺序也能够应用于获得荧光图像数据的牙齿成像设备。它可以有利于使用荧光来产生龋牙的突出显示，因为在荧光图像中具有处于任何阶段（无论是早期还是陈旧）的龋牙的牙齿区域呈现出暗的区域。于是，就可以简单的处理步骤来检查出龋牙病灶，正如以下所将看到的那样。随后，可以对显示的荧光图像或者在白光图像进行突出显示。

图7所示的逻辑流程图显示了适用于使用荧光进行识别和突出显示龋牙的步骤。在绿色的荧光成像中，在红色和蓝色平面中的象素数值都是非常低的并且接近于背景数值。另一方面，绿色平面大部分贡献于可视图像帧35的亮度。在图7中，可视图像帧35是荧光图像。首先，是对可视图像帧35的绿色平面进行牙齿区域选择步骤90，以便于从周围组织和背景中选择出牙齿区域。这通过类似于图5所示的分离技术来完成。为了识别和放大在具有龋牙的区域中的象素，对所选择的图像数据进行倒置、减法和乘法的顺序操作，正如以下所示：

（i）进行倒置，以便倒置在所选择牙齿区域中的所有象素的数值；

（ii）随后进行减法，所述象素的数值减去一个固定数值Downshift 3。具有小于Downshift 3数值的象素限制为零数值，使得只有龋牙区域具有非零的象素数值。

（iii）随后再进行乘法，通过因子Upscale 3来放大龋牙区域的亮度。

Downshift 3和Upscale 3的优化数值依赖于设备且通过用于龋牙检查系统10的校准流程，根据经验预先确定的。乘法的结果加到可视图像帧35的红色平面的图像数据上。于是，合成的图像包含相同的绿色和蓝色平面，作为可视图像帧35，但红色平面可以采用龋牙数据来修正，在图中标记为R’。该合成图像是突出显示的可视图像帧37，它显示了已经被检查到的龋牙并在荧光图像中采用红色平面来突出显示。使用图7所示的实例顺序，尽管使用可视图像帧35的红色平面作为图像加法，但也可以任何颜色平面用于相同的目的。

图8显示了使用荧光的RADOC处理的另一实施例的逻辑流程图。首先，采用先前所讨论实施例中的相同方法，对荧光可视图像帧35进行牙齿区域选择步骤90。类似于图4所讨论的分离算法能够用于从周围组织和背景中选择牙齿组织。对于所选择的每一个象素位置，绿色象素数值与暗度阈值数值相比较。暗度阈值的使用数值是分别设计的并且能够通过适用于龋牙检查系统10的校准流程根据经验预先确定的。判决过程紧随其后。如果绿色象素数值小于暗度阈值，则就检查到了龋牙，并且通过将加法因子加到红色象素上将图像数值修正成具有夸大红色的数值。不能满足这一条件的图像象素就是健康区域并且保留不修正。随后，校对下一个图像象素，并且重复循环，直至所有的图像象素都被校对过。结果是突出显示的可视图像帧37，在该可视图像帧中，在荧光图像中所检查到的龋牙病灶是以红色突出显示。

加法因子是预定的，该数值越大，则在检查到龋牙象素上的突出显示效应就越强。加法因子可以具有一个数值范围。较大的数值可以用于对在绿色象素数值和暗度阈值之间的较大差异进行加法操作，反之亦然。这样，在不同阶段上的龋牙可采用红色的不同阴影来突出显示。

现在，参考图9，作为图8所示实施例的替代实施例，能够几乎同时（例如，从白光照明和紫罗蓝光照明）拍摄反射系数可视图像帧和荧光可视图像帧，在顺序上是充分地接近，使得在两幅可视图像帧中的象素之间存在着一一对应的关系。因此，在操作者对荧光可视图像帧进行龋牙识别（如图8所示）的同时，可以实际修正在反射系数可视图像帧中根据龋牙情况所检查到的象素。（倒置、下调减法和乘法尺度处理可以紧跟着早先参考图4和7所讨论的图形。）用于显示的最终突出显示的可视图像帧37是龋牙突出显示的白光或者反射系数图像帧。该替代实施例可以同样应用于图8所示的实施例。

实践中，使用荧光的实时龋牙检查和报告可能需要比使用反射系数的检查更加复杂的成像设备和更高速度的计算能力。尽管存在着这些困难，即使如果显示图像的刷新速率不如采用反射系数成像得快，但是本发明使用实时荧光检查和龋牙报告的实施例依旧领先于一些类型的牙科成像设备。

参考图4－9所讨论的典型成像处理方法可以采用多种方法进行改进并且仍就能以实时视频模式提供操作者所能接近的龋牙病灶的识别和突出显示。在筛选阶段就提供了这种视觉反馈，使得操作者能够更加仔细地检查已经采用一些方式检查到龋牙的区域。

当然，根据本发明的实施例可以获得突出显示问题区域所需要的信息，这些信息可以用于提高牙齿成像的整体质量以及整个口内检查的整体质量。使用本发明的方法，用于整个牙齿成像所必要存储和处理的数据总量可以显著地减少。替代从各个牙齿获得成像的辛苦，操作者能够更加有选择性、更加放心地从一个牙齿移动到另一个牙齿，只有在本发明所提供的视觉反馈表示可能需要更详细信息的地方才会间断获取图像数据，以便于后续的处理。此外，操作者能够更加有效来筛选不同的牙齿表面，以便更加准确地检查到可能的龋牙情况。

对于速度更为有效，图像处理顺序可以非常快地执行，使得显示（图1）修正非常之快（图1）。用于执行适用于该方法的算法的软件可基于各种不同处理器类型进行配置操作，甚至还可基于包含探头12自身的逻辑电路进行操作。还可能使用增加的处理步骤来提高报告的速度，例如，使用子采样的方法。可以使用一些子采样以较低的精度来进行龋牙病灶的检查。然而，如果这样做的话，子采样可能倾向于所提供的反馈信息质量的折衷。

本发明已经通过特别参考一些较佳实施例作了详细的讨论，但是应该理解的是，在不脱离本发明范围的条件下，正如所附权利要求书所注明的那样，业内熟练技术人士在上述所讨论的发明范围内任何变型和改进都是有效的。例如，不是图4－9所示实施例中所讨论的其它颜色平面也有可能得到使用，以便于获得用于评估或者报告问题区域的数据。也可能获得早期或者较为陈旧龋牙的结果，正如参考图4和图9所讨论的那样，或者还可能进行分别显示。显示器18（图1）能够显示多个版本的反射系数和/或荧光图像，例如，采用或不采用突出显示龋牙病灶和其它问题区域。增强显示功能还能够具备听觉指示，例如，发出声响，该声响能够提示操作者更加仔细地注意存在可疑龋牙病灶的区域。

因此，提供了一种适用于在采用实时方式从病人牙齿中获得的显示图像中快速识别和突出显示龋牙情况的设备和方法。

部件列表：

10．龋牙检查系统

12．探头

14．控制逻辑处理器

18．显示器

20．牙齿

31．原始图像帧

32．原始视频流数据

33．图像格式处理步骤

34．龋牙快速自动检查（RADOC）处理

35．可视图像帧

36．可视视频流数据

37．突出显示的可视图像帧

38．突出显示的可视视频流数据

41．图像

43．图像

90．牙齿区域选择步骤

92．识别萌芽位置步骤

94．区域成长分离操作

96．掩模

100．龋牙识别步骤

110．龋牙突出显示步骤

114．轮廓

附图中的文字翻译：

图2A

31 原始图像帧

32 来自传感器的原始视频流

33 图像格式处理

35 可视图像帧

36 可视视频流数据

To 至显示器

图2B

31 原始图像帧

32 来自传感器的原始视频流

33 图像格式处理

34 快速自动检查龋牙（RADOC）处理

35 可视图像帧

36 可视视频流数据

37 突出显示的可视图像帧

38 突出显示的可视视频流数据

To  至显示器

图3

35 可视图像帧

90 牙齿区域选择

100龋牙识别

110 龋牙突出显示

37 突出显示的可视图像帧

图4

35 可视图像帧

90 牙齿区域选择

37 突出显示的可视图像帧

图5

图像数据阵列I

92 识别萌芽位置

94 区域成长目标发现

Set  设置区域1象素＝1

Set  设置区域2象素＝1

Set  设置区域n象素＝n

96 掩模

图6

35 可视图像帧

90 牙齿区域选择

100/110

象素被选择？

绿色象素大于亮度阈值？

从绿色和蓝色象素中减去减法因子

绿色象素小于暗度阈值？

使红色象素加上加法因子

是最后一个象素？

37 突出显示的可视图像帧

得到下一个象素

图7

35 视图像帧

90 牙齿区域选择

37 突出显示的可视图像帧

Invert 倒置

图8

35 可视图像帧

90 牙齿区域选择

象素被选择？

绿色象素小于暗度阈值？

使红色象素加上加法因子

是最后一个象素？

37 突出显示的可视图像帧

得到下一个象素

图9

荧光可视图像帧

反射系数可视图像帧

90 牙齿区域选择

37 突出显示的可视图像帧

Invert 倒置

Claims (3)

1.一种用于显示牙齿的龋牙情况的实况视频的方法，包括：

a）在从牙齿的视频图像流获得的可视图像帧中识别牙齿组织区域；

b）处理在牙齿组织区域中的象素数据，以识别可疑的龋牙病灶；

c）修正与可疑龋牙病灶对应的象素的亮度值；

d）形成突出显示的可视图像帧，作为对应可疑龋牙病灶的修正亮度值与在可视图像帧中的其它象素数值的组合；和

e）以视频方式显示突出显示的可视图像帧；

其中，象素数据的处理包括将来自第一颜色平面的象素数据与一个或多个阈值数值相比较，并且其中所述修正亮度值包括修正来自第二颜色平面的象素数据数值。

2.一种用于显示牙齿实况视频的方法，包括：

a）从视频流中获得可视图像帧；

b）通过下列步骤来处理可视图像帧的第一颜色平面：

   i）识别在可视图像帧的第一颜色平面中的牙齿组织区域；

   ii）处理在第一颜色平面的牙齿组织区域中所选择的象素，以产生指示一个或多个龋牙病灶的象素数值；

c）通过将b）产生的象素数值与第二颜色平面的象素数值的组合来修正可视图像帧的第二颜色平面；

d）重新组合第一和第二颜色平面，以及任何其它颜色平面，从而提供用于视频显示的突出显示的可视图像帧。

3.一种用于显示牙齿实况视频的方法，包括：

a）从反射系数视频流中获得反射系数可视图像帧；

b）从荧光视频流中获得荧光可视图像帧；

c）采用下列步骤来处理荧光可视图像帧的第一颜色平面：

i）识别在荧光可视图像帧的第一颜色平面中的牙齿组织区域；

ii）处理第一颜色平面的牙齿组织区域中所选择的象素，以产生指示一个或多个龋牙病灶的象素数值；

d）通过将c）产生的象素数值与反射系数可视图像帧的第二颜色平面的对应象素数值相组合来修正反射系数可视图像帧的第二颜色平面，从而形成突出显示的可视图像帧；和

e）显示突出显示的可视图像帧。