具有彩色纹理的口内OCT
发明领域
本公开总体涉及用于光学相干断层扫描成像的方法和设备,并且更具体地涉及用于获得与OCT内容相关的彩色反射图像的方法和设备。
发明背景
光学相干断层扫描术(OCT)是采用干涉原理来获得表征样品的深度结构的高分辨率剖面层析图像的非侵入性成像技术。由于特别适合于人体组织的体内成像,OCT已显示出其在一系列生物医学研究和医学成像应用中,诸如在眼科学、皮肤病学、肿瘤学和其他领域中,以及在耳鼻喉(ENT)和牙科成像中的有效性。
OCT已被描述为是一种类型的“光学超声波”,其对来自活组织内的反射能量进行成像以获得剖面数据。在OCT成像系统中,沿着以下两条不同的光学路径引导来自诸如超发光二极管(SLD)或其他光源的宽带宽光源的光:具有已知长度的参考臂和对组织或研究中的其他受试者进行照明的样品臂。来自参考臂和样品臂的反射光和反向散射光之后重新组合在OCT设备中,并且使用干扰效应来确定样品的表面和接近表面的下层结构的特性。干涉数据可以通过将样品照明快速扫过样品来获取。在数千个点中的每一个处,OCT设备获得干涉轮廓,所述干涉轮廓可以使用来针对作为光源相干性的因素的到材料中的轴向深度重建A扫描。对于大多数组织成像应用来说,OCT使用宽带照明源并且可以提供数毫米(mm)深度处的图像内容。
初始OCT设备采用时域(TD-OCT)架构,其中深度扫描通过使用一些类型的机械机构,例如像压电驱动器快速改变参考臂的长度来实现。TD-OCT方法使用逐点扫描,从而需要照明探头在成像会话期间从一个位置移动或扫描到下一个位置。最近的OCT设备可以使用傅里叶域架构(FD-OCT),所述傅里叶域架构根据其产生的信号的光频率而区分不同深度的反射。FD-OCT方法通过同时从多个深度收集信息简化或消除了轴向扫描需求,并且提供改进的获取率和信噪比(SNR)。
由于所述方法的以较低成本实现较高性能的潜能,基于扫描激光源的FD-OCT系统已经在高度分散的组织中需要表面下成像的医学应用中引起了重大关注。存在傅里叶域OCT的两种实现方式:谱域OCT(SD-OCT)和扫频源OCT(SS-OCT)。
SD-OCT成像可以通过以下方式完成:用宽带照明源对样品进行照明并且用光谱仪将反射光和散射光分散到阵列检测器,例如像CCD(电荷耦合器件)检测器上。SS-OCT成像用快速波长调谐激光器对样品进行照明,并且仅使用单个光电检测器或平衡光电检测器收集波长扫掠期间反射的光。对于SD-OCT和SS-OCT两者,从不同深度反射的散射光的轮廓通过使用信号分析领域的技术人员熟知的傅里叶变换,诸如快速傅里叶变换(FFT)对记录的干涉信号进行操作来获得。
OCT成像总体的一个缺点是缺乏被扫描表面的对应的彩色图像内容。由于OCT成像提供从干涉效应获得的深度数据和信号振幅,因此对于OCT重建来说无法获得的相关联的颜色内容。对于牙体表面标测,从业人员仅从OCT输出获得口内特征的总形状和轮廓。不存在对应于OCT测量数据的可用的彩色纹理信息。
将彩色纹理内容与OCT重建组合的能力将有助于改进工作任务,诸如牙齿可视化、比色、牙齿和支撑结构的分段、病变检测和特征辨别。因此,可以看到,提供OCT深度信息和彩色纹理数据的成像设备存在优势。
发明内容
本公开的目标是提高诊断成像的技术并且满足对提供与OCT扫描数据相关的彩色纹理信息的需求。本文的某些示例性方法和/或设备实施方案提供了将彩色纹理获取与OCT采样组合用于口内成像应用的设备和方法。
这些目标仅以说明性实例的方式给出,并且这类目标可以例示本发明的一个或多个实施方案。通过所公开的方法固有地实现的其他期望的目的和优点对于本领域技术人员来说可能是可设想的或显而易见的。本发明由所附权利要求限定。
根据本公开的一方面,提供了一种用于获取口内图像的设备,所述设备包括用于获取受试者的口内图像的设备,所述设备包括:
OCT成像设备,所述OCT成像设备包括:OCT光源;扫描仪,所述扫描仪将OCT光朝向受试者传送并且从受试者返回;以及干涉仪,所述干涉仪具有参考臂和样品臂;
反射成像设备,所述反射成像设备包括:可见光源,所述可见光源指向受试者;以及图像传感器,所述图像传感器从返回光形成反射图像;
处理和控制逻辑,所述处理和控制逻辑被配置成处理返回的反射图像并且将所述返回的反射图像组合到OCT测量数据;
以及
显示器,所述显示器显示所组合的反射图像和OCT测量数据。
根据本公开的替代方面,提供了一种获取图像数据的方法,所述方法包括:
针对口内表面样品获得光学相干断层扫描(OCT)数据;
从口内表面样品获取反射图像内容;
将反射图像和OCT数据内容进行组合;
以及
在显示器上呈现所组合的反射图像和OCT数据内容。
附图说明
根据以下对本发明的如附图所示的实施方案进行的更具体的描述,本发明的前述和其他目标、特征和优点将是显而易见的。
附图的元件相对于彼此不一定按比例绘制。为了强调基本结构关系或操作原理,一定程度的夸大可能是必要的。为了简化描述,在附图中未示出对于实施所描述的实施方案来说需要的一些常规部件,例如像用于提供电力,用于封装以及用于安装和保护系统光学器件的支持部件。
图1是示出用于组合式OCT扫描和彩色图像获取的成像设备的示意图。
图2是示出用于组合式OCT扫描和彩色图像获取的成像设备的替代实施方案的示意图。
图3是示出用于组合式OCT扫描和彩色图像获取的成像设备的另一个替代实施方案的示意图。
图4A和图4B示出了OCT成像的功能和几何方面。
图5以示意性形式示出了组合式OCT和彩色扫描方案。
图6A至图6G示出了彩色光发射器/检测器的各种实施方案。
图6H示出了其中在OCT光谱仪处执行RGB光检测的实施方案。
图7是示出用于组合颜色校准的顺序的逻辑流程图。
图8是示出OCT和反射成像的光谱范围的曲线图。
图9A至图9E示出了使用预览相机的组合式OCT和彩色图像获取设备的各种实施方案。
图10A和图10B是示出使用针孔相机范例将牙齿配准处理为成像对象的各方面的示意图。
具体实施方式
以下是参考附图对本申请的示例性方法和/或设备实施方案进行的描述,其中在若干图中的每一个中,相同的附图标记标识相同的结构元件。
在本公开的上下文中使用以下术语的情况下,除非另外指明,否则术语“第一”、“第二”等等不一定表示任何次序、顺序或优先级关系,而是简单地使用来将步骤、元件或元件组彼此更清楚地区分开来。
如本文所使用,术语“可通电”涉及在接收电力时以及任选地在接收启动信号时执行指示的功能的装置或部件组。
在本公开的上下文中,术语“光学器件”通常用于指代透镜和用于使光束成形并对所述光束进行定向的其他折射、衍射和反射部件或孔隙。这种类型的单独部件被称为光学器件。
在本公开的上下文中,术语“观察者”、“操作者”和“用户”被视为等同于并指代观察的从业人员、技术人员或者可以操作相机或扫描仪并还可以在显示器显示屏上观察和操纵图像,诸如牙科图像的其他人员。从由观察者输入的明确命令,诸如通过点击相机或扫描仪上的按钮或者通过使用计算机鼠标或者通过触摸屏或键盘输入来获得“操作者指令”或“观察者指令”。
在本公开的上下文中,短语“处于信号通信中”指示两个或更多个装置和/或部件能够经由在一些类型的信号路径上传播的信号而彼此通信。信号通信可以是有线或无线的。信号可以是通信、功率、数据或能量信号。信号路径可以包括第一装置和/或部件与第二装置和/或部件之间的物理、电、磁、电磁、光、有线和/无线连接。信号路径还可以包括第一装置和/或部件与第二装置和/或部件之间的附加装置和/或部件。
在本公开的上下文中,术语“相机”涉及被启用来从反射的可见光或NIR光,诸如从牙齿的表面和支撑结构反射的结构光获取反射、2-D数字图像的装置。
通用术语“扫描仪”涉及光学系统,所述光学系统投射宽带近红外(BNIR)照明的扫描光束,所述扫描光束通过样品臂引导到牙齿表面并且作为样品臂中的返回的散射光获取用来检测对来自表面的OCT成像中使用的参考臂的光的干涉。术语“光栅扫描仪”涉及如随后将更详细地描述的将光朝向样品扫描的硬件部件的组合。
术语“受试者”指代牙齿或患者的被成像的其他部分,并且在光学术语中可以被视为等同于对应的成像系统的“目标”。这对应于通常参考OCT成像使用的术语“样品”。
在本公开的上下文中,短语“宽带光发射器”指代在任何给定时间点在一定波长范围内发射连续光谱输出的照明源或光源。短相干或低相干宽带照明源可以包括例如超发光二极管、短脉冲激光器、许多类型的白色光源和超连续谱光源。大多数这些类型的低相干长度光源具有大约数十微米或更小的相干长度。
在本公开的上下文中,术语“彩色光”、“多色光”和“RGB光”描述被提供用于反射成像的可见光照明。彩色图像可以被视为反射图像或彩色纹理图像。如彩色成像领域所熟知,诸如传输一个光谱带并反射另一个光谱带的二向色表面的颜色组合器可以用于将在一个方向上传播的光的颜色组合并且将在相反方向上传播的光的颜色分离。因此,通用术语“组合器”通常用于根据波长和沿着光学路径的方向组合和分离光的“组合器/分离器”装置。
如OCT成像领域中的技术人员所熟知,轴向分辨率与光源的相干长度相关。因此,相干长度越短,轴向分辨率越高。
本文的某些示例性方法和/或设备实施方案可以利用包括时域或谱域或频域OCT的各种类型OCT扫描方法中的任一种。由于速度优势特别受到关注,因此以下描述主要涉及采用扫频源OCT,即一种类型的通常有利于较快的速度和总扫描通量的频域OCT的实施方案。然而,应注意,可以使用压缩采样方法或其他可用的OCT方法来改进时域OCT和其他类型的OCT以及SS-OCT的响应。在OCT系统中使用光谱仪来进行感测的情况下,也可以使用本公开的方法。
根据本公开的实施方案,提供了一种获得口内特征的OCT扫描数据与伴随的彩色纹理内容的混合成像设备。
参考图1的示意图,示出了用于组合式OCT扫描和彩色图像获取的成像设备100,其中彩色数据固有地配准到OCT扫描数据。成像设备100具有用于成像的两条光路,所述光路可以将OCT和彩色图像内容进行组合并且共享相同的光导向部件。
在OCT光路40中,OCT光源10为OCT图像扫描提供照明。光源10可以采用超发光二极管(SLD)或发射连续波长宽带光的其他光源。可选地,光源10可以是某种其他类型的合适的光源,诸如发射具有连续变化的光谱含量的光的扫频源。这个光通过第一光纤耦合器FC1或波分复用器WDM引导到第二光纤耦合器FC2。光纤耦合器FC2将光路分割成参考臂42和样品臂44。参考臂42中的光从参考镜48反射回来;这个光通过光纤耦合器FC2耦合回来并且进入OCT信号检测器46。引导到样品臂44的光通过扫描仪24引导到受试者或样品S。来自样品S的反射光和散射光通过样品臂44耦合回到光纤耦合器FC2并且传送到OCT信号检测器46。来自参考臂42的光与来自参考臂44的光相干涉以提供OCT扫描数据以供处理和重建。
在彩色反射成像路径50中,多色光或彩色光从彩色光发射器/检测器(CLED)52发射并且通过光纤耦合器FC1或WDM引导到第二光纤耦合器FC2。耦合器FC2充当组合器/分离器。多色可见光与OCT样品光组合并且同时通过扫描仪24(口内探头30的一部分)引导到样品S。来自牙齿的表面或其他口内特征返回的反射的彩色光通过光纤耦合器FC2传送回到CLED 52。CLED 52从反射光感测颜色内容。控制逻辑处理器60与OCT信号检测器46、CLED 52和光源10进行信号通信以记录并处理来自干涉的OCT输出数据,并且将此数据与来自口内表面的彩色数据进行组合。所得的组合图像内容之后可以呈现在显示器72上并且可以可选地传输和存储。
图2和图3的示意图分别示出了类似的成像设备120和140,所述成像设备120和140具有用于将OCT和反射成像功能进行组合的略微不同的光路布置。在图2的成像设备120的布置中,OCT路径与先前相对于图1中的成像设备100描述的路径相同。来自彩色光发射器/检测器(CLED)52的光通过光纤耦合器FC3引导并且与OCT光共享样品臂;这个组合光通过扫描仪24引导到受试者或样品S。来自口内表面的反向散射的彩色光通过光纤耦合器FC3传送到彩色光发射器/检测器(CLED)52以测量颜色内容,由处理器60进行记录和处理。所得的组合图像内容之后可以呈现在显示器72上并且可以可选地传输和存储。
在图3的成像设备140的配置中,OCT路径与先前相对于图1中的成像设备100描述的路径相同。来自彩色光发射器/检测器(CLED)52的光通过二向色组合器54引导到样品路径中,所述二向色组合器54在所示的配置中具有反射表面和二向色表面。来自口内表面的反向散射的彩色光通过组合器54传送回到CLED 52以进行检测和测量,由处理器60进行记录和处理。所得的组合图像内容可以类似地呈现在显示器72上并且可以可选地传输和存储。
在图1至图3配置中的每一者中,CLED信号检测和OCT信号检测是同步的并且在往返于样品探头30以及其扫描仪24的过程中共享样品臂中的相同的光学路径。这种布置提供了多色图像内容到OCT数据的固有配准。
用于OCT成像的扫描顺序
图4A和图4B的示意图示出了可以用于使用本公开的OCT设备在傅里叶域获取中形成层析图像的扫描顺序。图4A所示的顺序示出了如何产生单个B扫描图像。光栅扫描仪24(图1)用选定的光序列逐点地扫描受试者、样品S。如图4A所示的周期性驱动信号92用于驱动光栅扫描仪24的galvo镜以控制延伸越过每排样品的横向扫描或B扫描,每排样品在图4A和图4B中被示出为在水平方向上延伸的离散点82。在沿着一行或一排的B扫描的多个点82中的每一个处,在z轴线方向上获取数据的A扫描或深度扫描使用选定波长波段的连续部分来产生。图4A示出了用于使用光栅扫描仪24经由对应的微镜驱动或其他空间光调制器逐像素驱动在所述波长波段中产生直接递升序列的驱动信号92。逆向扫描信号93(驱动信号92的一部分)简单地使扫描镜恢复回到其用于下一行的起始位置;在逆向扫描信号93期间未获得OCT数据。
应注意,B扫描驱动信号92如图1至图3所示为光栅扫描仪24驱动galvo镜。在每个增量位置(沿着该排B扫描的点82)处,获得A扫描。为了获取A扫描数据,调谐激光器或其他OCT光源扫过由OCT源10中的可编程滤波器控制的光谱序列。因此,在其中光源扫过30nm波长范围的实施方案中,在沿着B扫描路径的每个点82处执行这个序列。如图4A所示,在每个点82处,即在扫描仪24的每个位置处执行一组A扫描获取。作为举例,对于在每个位置82处产生A扫描可以存在2048个测量值。
图4A示意性地示出了在每次A扫描期间获取的信息。在用于每个点82的时间间隔内获取被示出为已去除DC信号成分的干涉信号88,其中信号随着光谱扫掠所需的时间间隔而变化,其中被获取的信号指示通过将来自OCT干涉仪部件的参考臂和反馈臂的光进行组合而产生的光谱干涉条纹。傅里叶变换针对每次A扫描产生变换T。在图4A中以举例的方式示出了对应于A扫描的一个变换信号。
根据以上描述,可以了解到,在单个B扫描顺序内获取了大量数据。为了有效地处理这种数据,使用快速傅里叶变换(FFT),从而将基于时间的信号数据变换为对应的基于频率的数据,从所述基于频率的数据可以更容易地产生图像内容。
在傅里叶域OCT中,A扫描对应于一条光谱获取线,所述光谱获取线产生深度(z轴线)分辨的OCT信号线。B扫描数据产生沿着对应的扫描行的2-D OCT图像。
使用光栅扫描来通过使光栅扫描仪24获取在C扫描方向上递增而获得多种B扫描数据。这在图4B中进行了示意性表示,该图示出了如何使用A、B和C扫描数据来产生3-D体信息。
如先前所提及,在每个A扫描点82处使用的波长或频率扫掠序列可以相对于通常使用的递升或递减波长序列进行修改。可以可选地使用任意波长排序。在对于一些特定OCT实现方式来说可能有用的任意波长选择的情况下,在每次扫掠时仅提供可用波长的一部分。在任意波长排序中,可以任意先后顺序随机地选择每个波长以在单次扫掠期间用于OCT系统中。
图5以示意性形式示出了组合式OCT和彩色扫描方案。扫描仪24在每个点82处以二维(x,y)光栅扫描将彩色光束和OCT光束操纵到样品S,其中x∈[0,L-1]沿着x扫描轴线进行索引。正交分量y∈[0,M-1]沿着y扫描轴线进行索引。获取对应于每个扫描位置(x,y)的具有三个反射率值(R(x,y)、G(x,y)、B(x,y))的彩色信号以及在深度方向上具有尺寸N(对于N个数据点)的OCT信号IOCT(x,y)。
当2D扫描仪24连续扫描时,2D彩色图像布满LxM数量的彩色像素;对应地,3D OCT体用值L×M×N进行重建。(R(x,y)、G(x,y)、B(x,y))值与IOCT(x,y)沿着横向方向固有地配准。图5的(b)部分示出了提供用于每个点82处对应于OCT扫描的颜色内容的固有映射,其中值(R(x,y)、G(x,y)、B(x,y))映射到对应的IOCT(x,y)测量值。图5的(c)部分示出了在(x,y,zi)处具有表面点强度的IOCT(x,y,zi),其中zi是始于零延迟线的沿着A线OCT信号的表面深度。彩色纹理(R(x,y)、G(x,y)、B(x,y))因此被直接映射到(x,y,zi)处的OCT信号。
CLED结构和功能部件
图6A、图6B和图6C示出了彩色光发射器/检测器CLED 52的不同实施方案。激光二极管LD1、LD2和LD3分别是红色、绿色和蓝色激光二极管。透镜L1、L2和L3是与LD1、LD2和LD3中的每一者一起使用来产生准直光束的对应的准直透镜。
在图6A布置中,准直射束通过二向色镜DM1和DM2组合到相同的光路中。DM1和DM2具有用于向和从光路对应地输送光的适当的截止波长,诸如红色激光二极管LD1和绿色激光二极管LD2的中心波长。透镜L4将来自共享路径的光耦合到单模光纤74中以提供全彩或多色光。已从样品S反向散射的全彩光耦合回到CLED 52。每种彩色光通过分束器BS1、BS2和BS3耦合回到其原始通路,并且光功率的一部分被引导到对应的光电二极管PD1、PD2和PD3以进行测量。
在图6B配置中,具有二向色滤光器F1和F2的类似于Philips棱镜的三向色分束器TBS将来自红色激光二极管LD1、绿色激光二极管LD2和蓝色激光二极管LD3的光组合到通过透镜L4耦合的光纤74中。已从受试者、样品S反向散射的全彩光耦合回到CLED 52。每种彩色光通过三向色分束器TBS耦合回到其原始通路。
在图6C配置中,波分复用器WDM用于对来自其相应颜色通路的红光、绿光和蓝光进行组合和分离操作。
在图6D配置中,光纤组合器76用于对来自其相应颜色通路的红光、绿光和蓝光进行组合和分离操作。
在图6E配置中,使用两个光纤组合器76,一个用于将流出的红光、绿光和蓝光组合到单个通路中,另一个用于将返回的红光、绿光和蓝光分离到其相应的颜色通路。
在图6F配置中,诸如超连续谱激光器SCL的宽带宽可见光源用作彩色成像的光源。SCL具有连续可见光谱输出。在返回光的路径中的波分复用器WDM对反向散射光进行分离并且将光重新引导到每个相应的光电二极管PD1、PD2、PD3。使用光纤耦合器FC来向和从光纤74耦合光。
在图6G配置中,使用一对波分复用器WDM和可变衰减器VA来调制发射路径中的SCL光。在返回光的路径中的WDM对反向散射光进行分离并且将光重新引导到每个相应的光电二极管PD1、PD2、PD3。使用光纤耦合器FC来向和从光纤74耦合光。
图6H配置示出了其中在OCT光谱仪处执行RGB光检测的实施方案。如前图6A至图6G所示,输入的多色光耦合到OCT扫描系统。多色光的检测利用光谱分离器124,诸如光栅或棱镜,以提供光的光谱分离,从而以如光栅、棱镜或其他分离器特性所确定的适当的角度将红光、绿光和蓝光引导到对应的检测器126r、126g、126b。
彩色图像处理和校准
对于系统校准和成像,反射成像设备应相对于参考标准进行校准。对R、G、B激光发射进行调整以提供相等的光强度。在将样品S从样品臂移除的情况下捕获背景信号。R、G、B光电二极管PD1、PD2和PD3相应地检测从光路中的部件反射的背景信号。相应地从R、G和B信号中减去背景信号。彩色图像校准方法类似于也适用于图7的计算流程图中的彩色照相术中使用的校准方法。
图7示出了可以用于执行OCT和RGB成像两者的彩色扫描仪的颜色校准顺序。在参考成像步骤700中,从诸如白光参考色块的校准目标获得RGB信号。在标准颜色模型步骤710中获取诸如参考白色色块或其他校准目标的sRGB的标准颜色模型的值。在校准步骤720处执行最小二乘方计算或用于获得RGB信号与sRGB之间的校准变换的其他合适的方法,从而在变换步骤730处产生校准矩阵。将校准矩阵应用于从反射成像步骤732获得的RGB信号以产生已校准的RGB信号734。这与OCT表面成像步骤740中获得的OCT表面检测进行组合。附着步骤750之后将OCT表面检测数据与已校准的RGB数据配准地组合以提供组合输出。
两种成像模式的光谱范围的差异使得有可能使用光谱分割或振幅分割来对OCT光和RGB彩色光进行组合。
图8示出了R、G、B可见光和OCT红外光光波的光谱分布。如从这个映射中可以容易地看到,光谱范围是不重叠的。可见光的范围为约390nm至约700nm。红外光的范围为约700nm至约1600nm。图8还示出了用于WDM操作的相关二向色镜截止波长和带通波长。如图8的光谱图所示,可以添加附加颜色内容以提供更准确的比色,诸如紫色V波长(小于约450nm)。
应注意,参考图1至图6H描述的配置提供了彩色纹理数据与OCT数据的固有配准。由于样品臂中的同一个光学路径被共享,因此为了将两种不同类型的数据彼此配准,不需要附加处理。
用于组合式OCT和彩色纹理成像的替代方法
用于满足对组合的OCT和彩色纹理图像数据的需求的替代方法使用与颜色预览相机耦合的OCT扫描仪以获得所需的图像内容。当使用这种替代方法时,为了将彩色纹理数据与OCT扫描内容进行配准需要处理。图9A至图9E示出了提供这种特征的成像设备200的不同实施方案。
在图9A的示意图中,成像设备200具有光源202,所述光源202将准直光引导到OCT扫描仪204以对受试者牙齿或其他样品S进行OCT表征。透镜L5将光聚焦到样品S,诸如牙齿或其他口内特征上。镜212将光学路径折叠以向和从样品S引导光。在位置上耦合到OCT扫描仪设备的视野(FOV)的相机210从受试者或样品S获取反射(RGB颜色)图像。用作反射成像的照明的白光或RGB光沿着相机成像路径(未示出)被引导到样品S。对于样品S表面的相同部分,可以使用例如定时同步来使反射图像与对应的OCT成像内容相关联。如随后更详细地描述,必须相对于OCT光路校准RGB成像路径。
图9B示出了具有类似于图9A的准直光源202和OCT扫描仪204布置的成像设备200的替代实施方案。在此处,透镜L5还形成用于相机210成像的光学路径的一部分。透镜L5如所示为反射成像聚焦光源。
图9C示出了具有用于OCT扫描仪204、206的不同扫描镜布置的成像设备200的替代实施方案。在此处,每个OCT扫描仪是单轴扫描仪。再次,透镜L5也形成用于相机210成像的光学路径的一部分。
图9D示出了不具有用于聚焦的透镜L5光学器件的成像设备200的替代实施方案。在此处,光源202提供聚焦的OCT射束。RGB照明直接进入镜212并且朝向受试者、样品S反射。来自受试者的返回光由镜212引导回到相机210。相机210包含用于对从样品S反射回来的光进行成像的成像光学器件(未示出)。
图9E示出了成像设备200的替代实施方案,其中二向色表面208充当“热镜”,从反射来自OCT光源202的红外光并且向和从由相机210提供的反射成像设备传输可见光。
彩色纹理到OCT成像数据的配准
对于使用与颜色预览相机耦合的OCT扫描仪的成像设备,来自反射图像的彩色纹理到OCT深度表征数据的配准可以使用成像过程中获取的各种有关数据来执行。
用于配准的附加数据可以通过投射使用OCT产生的3D体来获得以便产生2D OCT灰度图像。然后,应用合适的扫描畸变模型以对OCT畸变进行校正可以对表面数据恢复正确的几何形状。
沿着A线方向进行的图像投射在FOV和焦距方面模拟2D针孔相机成像。这种处理可以允许立体视觉校准方法应用于扫描仪和颜色预览相机。之后可以使用矩阵计算来将2D彩色相机图像平移和旋转到2D OCT灰度图像。这完成了横向配准。在此之后,来自OCT成像的3D表面可以用于数字印模,其中彩色纹理与表面位置相关联。
图10A和图10B示出了使用针孔相机范例将牙齿220配准处理为成像对象的各方面。在图10A中,彩色相机210可以被建模为针孔相机,其中所述针孔相机的图像传感器处于2D投射传感器218平面。在针孔与传感器218平面之间的焦距被标记为f_相机。标记O_相机指示相机的针孔原点位置。
类似地,三维OCT体可以沿着每条A线的方向反向投射到虚拟投射平面Q上,其中OCT扫描仪枢轴222被视为针孔光源。虚拟OCT相机的焦距f_oct可以被限定为使得所述虚拟OCT相机产生具有与相机210的颜色传感器大约相同的尺寸的投射平面Q。通过OCT扫描仪校准,可以预限定的OCT扫描仪坐标获得每条A线射束方向。例如,扫描仪枢轴被定义为原点O_oct。OCT扫描射束的方向可以用坐标(kx,ky,kz)校准。所述扫描射束在虚拟平面上的投射是沿着坐标(-kx,-ky,-kz)。焦距f_OCT和方向决定投射位置。如图10B的OCT投射矩阵所示,由于扫描仪扫描特性,获得了扇形射束投射形状。所示的图案正确地反应了被扫描对象的实际几何形状。
在获得OCT投射图像和彩色图像之后,可以使用熟知的立体视觉校准方法来获得3X 3旋转矩阵R和3X 1平移矩阵T。通过平移和旋转,因此可以将两个图像配准。然而,由于投射形状差异,无法获得每条A线的精确匹配颜色。相反,每条A线的最终彩色纹理可以通过用来自最近的相邻像素的周围的值对RGB颜色进行插值来计算。
以与先前参考图5描述的彩色纹理映射或相关方法类似的方式完成到A线的对应的表面点的彩色纹理附着。获取对应于每个扫描位置(x,y)的具有反射率值(R(x,y)、G(x,y)、B(x,y))的彩色信号以及在深度方向上具有尺寸N(对于N个数据点)的OCT信号IOCT(x,y)。这些(R(x,y)、G(x,y)、B(x,y))值可以沿着横向方向与对应的IOCT(x,y)数据配准。
与本发明的实施方案相一致的是,计算机程序利用从电子存储器存取的对图像数据执行的存储指令。如图像处理领域的技术人员可以了解,用于操作本公开的实施方案中的成像系统的计算机程序可以由被操作为如本文所述的控制逻辑处理器60的合适的通用计算机系统,诸如个人计算机或工作站利用。然而,可以使用许多其他类型的计算机系统来执行本发明的计算机程序,包括例如联网处理器布置的计算机系统。用于执行本发明的方法的计算机程序可以存储在计算机可读存储介质中。这种介质可以包括例如:磁存储介质,诸如磁盘,诸如硬盘驱动器或可移动装置或磁带;光存储介质,诸如光盘、光学磁带或机器可读光学编码装置;固态电子存储装置,诸如随机存取存储器(RAM)、或只读存储器(ROM);或者被采用来存储计算机程序的任何其他物理装置或介质。用于执行本公开的方法的计算机程序还可以存储在计算机可读存储介质上,所述计算机可读存储介质通过互联网或其他网络或通信介质连接到图像处理器。本领域技术人员将进一步容易地认识到,这种计算机程序产品的等同物还可以在硬件中构造。
应注意,在本公开的上下文中等同于“计算机可存取存储器”的术语“存储器”可以指代用于存储图像数据并对所述图像数据进行操作,并且可由包括例如数据库的计算机系统存取的任何类型的临时性或更持久的数据存储空间。存储器可以使用例如长期存储介质,诸如磁或光存储装置而为非易失性的。可选地,存储器可以使用电子电路,诸如由微处理器或其他控制逻辑处理器装置用作临时缓冲区或工作空间的随机存取存储器(RAM)而更具易失性性质。显示数据例如通常存储在临时存储缓冲区中,所述临时存储缓冲区直接与显示装置相关联并且根据需要定期地更新以便提供显示数据。这种临时存储缓冲区还被视为是一种类型的存储器,就像在本公开中使用所述术语一样。存储器还用作数据工作空间以执行计算和其他处理并且存储它们的中间和最终结果。计算机可存取存储器可以是易失性的、非易失性的或易失性和非易失性类型的混合组合。
将理解,本公开的计算机程序产品可以利用熟知的各种图像操纵算法和处理。将进一步理解,本公开的计算机程序产品实施方案可以采用本文未确切示出或描述的可用于实施的算法和处理。这类算法和处理可以包括在图像处理领域的普通技术人员认知内的常规实用程序。这类算法和系统的附加方面,以及用于产生并另外处理图像或者与本公开的计算机程序产品共同操作的硬件和/或软件在本文中未确切地示出或描述,并且可以从本领域已知的这类算法、系统、硬件、部件和元件中选择。根据本申请的示例性实施方案可以包括本文描述的各种特征(单独地或组合)。
虽然已相对于一种或多种实现方式说明了本发明,但是可以在不脱离所附权利要求的精神和范围的情况下对所示的实例进行替代和/或修改。此外,虽然已相对于若干实现方式/实施方案中的仅一个公开了本发明的特定特征,但是如对于任何给定或特定功能来说可能期望或有利的,这种特征可以与其他实现方式/实施方案的一个或多个其他特征进行组合。术语“……中的至少一个”用于表示可以选择的列出项中的一个或多个。术语“约”指示列出的值可以略微改变,只要改变不会导致过程或结构不符合所示的实施方案即可。最终,“示例性”指示描述用作实例,而不是暗示所述描述是理想的。通过考虑本文公开的发明的说明书和实践,本发明的其他实施方案对于本领域技术人员而言将是显而易见的。本说明书和实例意图仅被视作是示例性的,其中本发明的真实范围和精神由至少所附权利要求指示。