具体实施方式
以下是示例性实施例的描述,参考附图,其中相同的附图标记在若干个附图中的每一个中标识相同的结构元件。
在它们被用在本公开的上下文中的情况下,术语“第一”、“第二”等等不必然标示任何序数、顺序或优先级关系,而是仅仅用于更清楚地将一个步骤、元件或元件集合与另一个步骤、元件或元件集合进行区分,除非以其他方式指定。
如本文中所使用,术语“可激励的”与在接收到功率时以及可选地在接收到启用信号时执行所指示的功能的设备或部件集合有关。
在本公开的上下文中,术语“光学器件”一般用于指代用于对光束成形和定向的透镜和其他折射、衍射和反射部件或光圈。该类型的个体部件被称为光学器件。
在本公开的上下文中,术语“观看者”、“操作者”和“用户”被视为等同的,且指代进行观看的从业者、技术人员、或者可操作相机或扫描仪且还可观看并操控显示器监视器上的图像(诸如,牙科图像)的其他人。从由观看者录入的明确命令获得“操作者指令”或“观看者指令”,诸如通过点击相机或扫描仪上的按钮或者通过使用计算机鼠标或者通过触摸屏或键盘录入。术语“主体”指代正在被成像的患者的牙齿或其他部分,且在光学方面可以被视为等同于对应成像系统的“对象”。
在本公开的上下文中,短语“在信号通信中”指示两个或更多个设备和/或部件能够经由在某种类型的信号路径上行进的信号来彼此通信。信号通信可以是有线的或无线的。信号可以是通信、功率、数据或能量信号。信号路径可以包括第一设备和/或部件与第二设备和/或部件之间的物理、电、磁、电磁、光学、有线和/或无线连接。信号路径还可以包括第一设备和/或部件与第二设备和/或部件之间的附加设备和/或部件。
在本公开的上下文中,术语“相机”与被使得能够从所反射的可见光或NIR(近红外)光(诸如,从牙齿表面和支撑结构反射的结构化光)获取反射比(reflectance)2D数字图像的设备有关。
本公开的示例性方法和/或装置实施例提供了用于获得信号的深度分辨体积成像,该信号表征牙齿表面、牙龈组织、以及其中可以存在唾液、血液或其他流体的其他口内特征。深度分辨成像技术能够将表面以及表面下结构向上映射到某个深度。使用本公开的某些示例性方法和/或装置实施例可以提供下述能力:识别样本内的流体(诸如,牙齿表面上和牙齿表面附近的唾液),并且补偿流体存在并减少或消除原本可能破坏表面重构的失真。
将在光学相干断层成像系统的方面给出本发明的描述。还可以使用光声或超声成像系统来实现本发明。对于与光声和超声成像有关的更详细的信息,参考"HandheldProbe-Based Dual Mode Ultrasound/Photoacoustics for Biomedical Imaging" byMithun Kuniyil, Ajith Singh, Wiendelt Steenbergen, and Srirang Manohar, inFrontiers in Biophotonics for Translational Medicine", pp. 209-247的第7章。还参考Minghua Xu和Lihong V. Wang所作的文章,题目为"Photoacoustic imaging inbiomedicine", Review of Scientific Instruments 77, (2006) pp. 041101-1至-21。
成像装置
图2示出了用于口内成像的深度分辨成像装置300的简化示意图。在中央处理单元CPU 70和信号生成逻辑74以及关联的支持电路的控制下,探针46将激励信号引导到牙齿或其他口内特征(在图2和随后的图中被示为样本T)中。探针46可以是手持式的或固定在嘴内部的适当地方。探针46获得从牙齿发出的深度分辨响应信号(诸如,反射和散射信号),其中该响应信号对经采样的组织的结构信息进行编码。该响应信号去往检测器60,检测器60提供用于提取并使用经编码的信息的电路和支持逻辑。CPU 70然后根据深度分辨响应信号来执行牙齿表面或相关特征的表面的3D或体积图像的重构。CPU 70还执行分割处理,以用于识别在样本T上或附近聚集的任何流体并将该流体从3D表面计算中去除。显示器72然后允许呈现3D表面图像内容,诸如示出所重构的体积图像的个体切片。还可以在需要时执行所计算的表面数据或示出该表面数据的全部或仅部分的图像的储存和传输。
遵循图2的基本模型,各种类型的信号生成逻辑74可以用于通过探针46提供不同类型的激励信号。在可使用的激励信号类型当中有以下各项:
(i)OCT(光学相干断层),将宽带光信号用于时域、谱或扫频源成像,如随后更详细描述的那样;
(ii)超声成像,使用声信号;
(iii)脉冲或调制激光激励,用于光声成像。
取决于激励和响应信号的类型,相应地,检测电路60处理用于OCT的光信号或用于超声和光声成像的声信号。
图3和4的简化示意图均示出了根据本公开的一实施例的使用可编程滤波器10的扫频源OCT(SS-OCT)装置100。在每种情况下,可编程滤波器10被用作提供照明源的调谐激光器50的一部分。例如,对于口内OCT,激光器50可以在与大约400nm与1600nm之间的波长相对应的频率(波数为k)的范围内可调谐。根据本公开的一实施例,以大约830nm为中心的35nm带宽的可调谐范围用于口内OCT。
在图3实施例中,示出了用于OCT扫描的马赫-曾德尔(Mach-Zehnder)干涉仪系统。图4示出了交替迈克尔逊(Michelson)干涉仪系统的部件。对于这些实施例,可编程滤波器10提供了激光器腔的一部分以生成调谐激光器50输出。可变激光器50输出经过耦合器38,并去往样本臂40和参考臂42。在图3中,样本臂40信号经过循环器44,并去往探针46以用于测量样本T。经采样的深度分辨信号通过循环器44(图3)而被引导回来,并通过耦合器58而被引导到检测器60。在图4中,信号直接去往样本臂40和参考臂42;经采样的信号通过耦合器38而被引导回来,并被引导到检测器60。检测器60可以使用被配置成抵消共模噪声的一对平衡光电检测器。控制逻辑处理器(控制处理单元CPU)70与调谐激光器50及其可编程滤波器10进行信号通信,并与检测器60进行信号通信,且获得并处理来自检测器60的输出。CPU 70还与用于命令录入且用于OCT结果显示(诸如,从各种角度和区段或切片呈现3D图像内容)的显示器72进行信号通信。
图5的示意图示出了可以用于使用本公开的OCT装置形成口内特征的断层图像的扫描序列。图5中示出的序列总结了单个B扫描图像是如何生成的。光栅扫描仪在样本T上逐点扫描所选择的光序列作为照明。使用如图5中所示出的周期性驱动信号92,以驱动光栅扫描仪镜以控制跨样本的每行延伸的横向扫描或B扫描,其被示为在水平方向上延伸的离散点82。在沿B扫描的线或行的多个点82中的每一个处,使用所选择的波长带的接续部分来生成在z轴方向上获取数据的A扫描或深度扫描。图5示出了用于使用光栅扫描仪生成直接升序序列的驱动信号92,其具有通过该波长带而对激光器的对应调谐。回归扫描(retro-scan)信号93(驱动信号92的一部分)简单地将扫描镜恢复回到其针对下一条线的开始位置;在回归扫描信号93期间不获得数据。
应当注意的是,B扫描驱动信号92驱动用于OCT探针46(图3、4)的光栅扫描仪的可促动扫描机械结构(诸如,振镜(galvo)或微机电镜)。在每个递增的扫描仪位置处,获得沿B扫描的行的每个点82(A扫描)作为一种类型的1D数据,从而提供沿延伸到牙齿中的单个线的深度分辨数据。为了利用光谱OCT获取A扫描数据,调谐激光器或其他可编程光源扫过光谱序列。因此,在其中可编程滤波器使光源扫过30nm波长范围的实施例中,在沿B扫描路径的每个点82处实施用于生成照明的该序列。如图5所示,A扫描获取的集合在每个点82处执行,也就是说,在扫描镜的每个位置处执行。作为示例,可以存在用于在每个位置82处生成A扫描的2048个测量。
图5示意性地示出了在每个A扫描期间获取的信息。在针对每个点82的时间间隔内获取被示为去除了DC信号内容的干涉信号88,其中该信号是针对扫频而要求的时间间隔(其与扫频源的波长一一对应)的函数,其中所获取的信号指示通过组合来自干涉仪(图3、4)的参考和反馈(或样本)臂的光而生成的光谱干涉条纹。傅里叶变换生成针对每个A扫描的变换TF。在图5中作为示例而示出了与A扫描相对应的一个变换信号。
从上面的描述中可以领会的是,在单个B扫描序列上获取显著量的数据。为了高效地处理该数据,使用快速傅里叶变换(FFT),从而将基于光谱的信号数据变换成对应的基于空间的数据,可以从该对应的基于空间的数据更容易地生成图像内容。
在傅里叶域OCT中,A扫描与光谱获取的一条线相对应,该光谱获取生成深度(z轴)分辨OCT信号的线。B扫描数据生成2D OCT图像作为沿对应的所扫描的线的行R。光栅扫描用于通过在C扫描方向上递增光栅扫描仪获取来获得多个B扫描数据。
对于超声以及对于光声成像装置300而言,用于信号反馈的探针46换能器必须声学耦合(诸如,使用耦合介质)到样本T。所获取的声信号典型地经过各种增益控制和波束赋形部件,然后经过用于生成显示数据的信号处理。
图像处理
本公开的实施例使用深度分辨成像技术以帮助抵消口内成像中的流体的影响,从而允许3D表面重构,而不引入由于口内腔内的流体内容而导致的失真。为了更有效地计及和补偿嘴内的流体,仍存在当使用本文中所描述的3D成像方法时要解决的一些问题。
在关于针对3D表面成像而描述的成像模态的问题当中有由于光或声音在流体中的传播而导致的图像内容的偏移。利用OCT或超声方法,来自所成像的特征的回归反射信号提供取决于光或声音的相对飞行时间而可解析到不同深度层的信息。因此,由于光或声音在流体中与在空气中的传播速度之间的差别,流体内的光或声音的往返传播路径长度可能导致一定量的失真。
由于周围流体介质与空气之间的折射率差,OCT可能引入位置偏移。该偏移是2Δnd,其中Δn是流体与空气之间折射率中的差别,距离d是流体的厚度。由于光通过距离d的往返传播,引入了因子2。
图6的示例示出了针对两个牙齿的OCT B扫描,具有流体的第一OCT扫描68a与不具有流体内容的对应扫描68b并排示出。如图6的示例中所示,对于扫描68a中的明显高度差Δh=Δn2d,测量从流体的表面点到牙齿表面点的距离d'。然而,流体下面的牙齿的实际位置是d'/(1+Δn),例如(对于水,d'/1.34)。
类似地,超声具有由声音在流体中的速度中的改变导致的偏移影响。所计算的偏移是Δc×2d,其中Δc是声音在空气与流体之间的速度差。
光声成像依赖于脉冲光能以刺激样本中的所探测的组织的热膨胀。所使用的激励点是声源的位置。光声设备捕捉这些声信号,并取决于声音信号的接收时间来重构3D深度分辨信号。如果捕捉到的信号来自相同光路径,则深度偏移是Δc×d,其中Δc是声音在空气与流体之间的速度差。值d是流体的厚度。
图7的逻辑流程图示出了使用OCT成像的流体补偿的处理序列。在获取步骤S710中,获得OCT图像扫描的集合。例如,该集合中的每个元素是B扫描或侧视扫描,诸如图6中所示出的扫描。接下来的步骤的框然后在每个所获取的B扫描上进行操作。分割步骤S720通过检测如图1的示意图中所示出的多个界面来从B扫描图像识别流体和牙齿表面。分割步骤S720定义牙齿表面以及包含口内流体(诸如,水、唾液或血液)的B扫描图像的区域,如图8A和8B的示例中所示出的那样。然后,为了获得3D表面的更准确表征,校正步骤S730针对由于空气与口内流体之间的折射率差而导致的流体下面的牙齿表面的空间失真进行校正。步骤S730基于经分割的区域的厚度和该区域内的流体的折射率来以上面所讨论的方式调整该区域的所测量的深度。例如,用于OCT照明的水的折射率近似为1.34;对于50%浓度的血液而言,折射率略微更高,在大约1.36处。
通过OCT探针内部的坐标系与牙齿的物理坐标之间的经校准的关系来确定该区域的厚度,该经校准的关系取决于探针内部的光学布置和扫描仪运动。通过使用给定几何形状的校准目标来分离地获得几何校准数据。扫描该目标并获得所扫描的数据建立了用于调整所扫描的数据与3D空间的配准并补偿扫描准确性中的误差的基础。校准目标可以是在一个或多个位置处成像的2D目标,或3D目标。
针对由OCT成像装置获得的每个B扫描执行在图7的步骤S720和S730中实施的处理。决策步骤S750然后确定是否该集合中的所有B扫描已经被处理。一旦针对B扫描的处理完成,经组合的B扫描就形成针对牙齿的表面点云。网状物生成和呈现步骤S780然后从表面点云生成并呈现3D网状物。可以显示、存储或传输所呈现的OCT表面数据。
各种图像分割算法可以用于关于图7而描述的处理,包括例如简单直接阈值、主动轮廓水平集合、分水岭、监督和非监督图像分割、基于神经网络的图像分割、光谱嵌入、k均值和基于最大流/最小割图的图像分割。分割算法对图像处理领域中的技术人员来说是公知的,且可以被应用到从OCT数据重构的整个3D体积,或在如上面所描述的3D体积重构之前被分离地应用到断层数据的每个2D帧或B扫描。
用于光声和超声成像的处理与图7中所示出的处理类似,具有针对所检测到的信号能量的适当改变。
图9的逻辑流程图示出了根据本公开的一实施例的可以用于对牙齿表面进行成像的序列。在信号激励步骤S910中,从扫描头(诸如,OCT探针或者引导用于光声成像装置的光或用于超声装置的声音的扫描头)朝向主体牙齿引导激励信号。获取步骤S920获取所得到的深度分辨响应信号。深度分辨响应信号可以是例如对与牙齿表面的结构有关的信息进行编码的光能或声能。分割步骤S930然后根据深度分辨响应信号从牙齿和牙龈特征分割液体。然后在调整步骤S940中,可以使用分割数据来校正来自深度分辨响应信号的表面结构信息。循环步骤S950确定是否必须处理附加深度分辨响应信号。重构步骤S960然后根据深度分辨响应信号和经调整的牙齿表面结构信息来重构牙齿的3D图像。呈现步骤S970然后呈现体积图像内容以用于显示、传输或储存。
与实施例一致,本发明利用具有所存储的指令的计算机程序,该所存储的指令控制用于图像获取和图像数据处理的系统功能,诸如使用本公开的控制逻辑处理器。如图像处理领域中的技术人员可以领会的那样,当被提供有合适的软件程序时,本发明的实施例的计算机程序可以由合适的通用计算机系统(诸如,充当图像处理器(CPU)的个人计算机或工作站)利用,使得处理器进行操作以如本文中所描述的那样获取、处理、传输、存储并显示数据。可以使用许多其他类型的计算机系统架构以执行本发明的计算机程序,该许多其他类型的计算机系统架构包括例如所联网的处理器的布置。
用于执行本发明的方法的计算机程序可以存储在计算机可读储存介质中。该介质可以包括例如:磁储存介质,诸如磁盘(诸如,硬盘驱动器或可移除设备或磁带);光学储存介质,诸如光盘、光带或机器可读光学编码;固态电子储存设备,诸如随机存取存储器(RAM)或只读存储器(ROM);或被采用以存储计算机程序的任何其他物理设备或介质。用于执行本发明的方法的计算机程序还可以存储在计算机可读储存介质上,该计算机可读储存介质凭借互联网或其他网络或通信介质而连接到图像处理器。图像数据处理领域中的技术人员将进一步容易地认识到,还可以以硬件构造这种计算机程序产品的等同物。
应当注意的是,等同于本公开的上下文中的“计算机可访问存储器”的术语“存储器”可以指代用于在图像数据上存储和操作并对计算机系统来说可访问的任何类型的暂时或更持久的数据储存工作空间,包括数据库。存储器可以是非易失性的,使用例如长期储存介质(诸如,磁或光学储存器)。可替换地,存储器可以是使用电子电路的具有更易失的性质的存储器,诸如被微处理器或其他控制逻辑处理器设备用作暂时缓冲器或工作空间的随机存取存储器(RAM)。例如,显示数据典型地存储在暂时储存缓冲器中,该暂时储存缓冲器与显示设备直接相关联并在需要时被周期性地刷新以便提供所显示的数据。该暂时储存缓冲器还可以被视为存储器,如在本公开中使用该术语那样。存储器还被用作用于执行并存储计算和其他处理的中间和最终结果的数据工作空间。计算机可访问存储器可以是易失性的、非易失性的、或者易失性和非易失性类型的混合组合。
根据本申请的某些示例性方法和/或装置实施例可以提供牙科虚拟模型的基础的虚拟定义。根据本申请的示例性实施例可以包括本文中(个体地或组合地)描述的各种特征。
尽管已经关于一个或多个实现方式说明了本发明,但是在不脱离所附权利要求的精神和范围的情况下,可以对所说明的示例做出更改和/或修改。附加地,尽管可能已经关于若干个实现方式/实施例中的仅一个公开了本发明的特定特征,但是这种特征可以与其他实现方式/实施例的一个或多个其他特征组合,如对于任何给定或特定功能而言可以期望且有利的那样。术语“……中的至少一个”用于意指可以选择所列项目中的一个或多个。术语“大约”指示所列的值可能在某种程度上被更改,只要该更改不导致过程或结构与所说明的实施例不一致即可。最后,“示例性”指示描述被用作示例,而不是暗指它是理想的。根据对本文中所公开的本发明的说明书和实践的考虑,本发明的其他实施例对本领域技术人员来说将是显而易见的。所意图的是,说明书和示例应仅被视为示例性的,其中本发明的真实范围和精神由至少所附权利要求指示。