CN106257919B - 全场视觉中红外成像系统 - Google Patents

Abstract

公开用于生成标本的图像的装置和方法。所述装置包括成像系统、控制器、用户接口。成像系统生成标本的多个分量图像，每个分量图像对应于不同的观看条件。每个图像由作为标本的位置的函数的强度表示。控制器存储分量图像并且从多个分量图像生成复合图像。复合图像包括分量图像中的第一和第二分量图像的加权总和，控制器在控制器所控制的显示器上显示复合图像。用户接口适用于控制响应于用户输入生成加权总和中所使用的加权因子。控制器在加权因子响应于用户输入改变之后重新显示复合图像。

Description

全场视觉中红外成像系统

技术领域

本发明涉及用于生成标本的图像的装置和方法。

背景技术

量子级联激光器提供可以用于分光计测量和图像的可调谐中红外(MIR)光源。很多感兴趣的化学成分具有在光谱的MIR区域中受激励的分子振动，其跨越5至25微米之间的波长。因此，测量样本上的各个位置处的MIR光的吸收可以提供关于样本的化学性质的有用信息作为样本上的位置的函数。

发明内容

本发明包括一种用于生成标本的图像的装置和方法。装置包括成像系统、控制器、用户接口。成像系统生成标本的多个分量图像，每个分量图像对应于不同的观看条件。每个图像由作为标本上的位置的函数的强度表示。控制器存储分量图像并且从多个分量图像生成复合图像。复合图像包括分量图像中的第一和第二分量图像的加权总和，控制器在控制器所控制的显示器上显示复合图像。用户接口适用于控制响应于用户输入生成加权总和中所使用的加权因子。控制器在加权因子响应于用户输入改变之后重新显示复合图像。

在本发明一个方面中，控制器以压缩格式存储分量图像之一。

在本发明另一方面中，第一分量图像包括具有与第二分量图像不同空间分辨率的区域。

在本发明另一方面中，第一分量图像对应于与第二分量图像不同的光波长照射的标本。第一分量图像可以包括用于整个标本的强度值。

在本发明另一方面中，第二分量图像没有用于第一分量图像具有强度值的标本上的点的强度值。

在本发明另一方面中，第二分量图像包括具有不同空间分辨率的区域。

在本发明另一方面中，所述控制器适用于接收指定所述标本上的观看条件和扫描区域的信息，所述控制器使得所述成像系统在所述扫描区域中使用所述观看条件生成所述标本的图像。观看条件可以包括照射波长，并且如果另外分量图像没有具有该照射波长的观看条件，则控制器定义用于所生成的图像的新的分量图像。扫描区域可以包括现有分量图像的区域，生成的成像替换现有分量图像中的对应位置处的强度值。

在本发明另一方面中，每个图像由作为标本上的位置的函数的矢量值化的函数表示，作为标本上的位置的函数的强度是该矢量值化的函数的一个分量。控制器可以将复合图像转换为彩色图像，色彩分量取决于矢量值化的分量。

附图说明

图1示出扫描MIR成像系统的一个实施例。

图2示出透镜组件移动的成像系统的实施例。

图3示出将视觉成像系统与MIR成像系统进行组合的MIR成像系统的实施例。

图4示出通过三维图像中的y平面的截面。

图5示出根据本发明一个实施例的多分辨率图像。

图6示出被选取用于显示的可见图像和一个MIR图像的显示。

具体实施方式

本发明提供其优点的方式可以在扫描MIR成像系统的上下文中得到更容易的理解，该扫描MIR成像系统还在受扫描的标本的视觉谱中提供图像。现在参照图1，其示出扫描MIR成像系统的一个实施例。成像系统10包括量子级联激光器11，其生成具有MIR中的窄波长带的准直光束18。在本发明一个方面，量子级联激光器11是具有在控制器19的控制之下的可调谐波长的量子级联激光器。局部反射镜12将准直光束18划分为两个波束。光束18a导向到透镜15，透镜15将该波束聚焦到标本16上，标本16安装在可以相对于透镜15的焦点定位标本16的xy级17上。从标本16反射回的光准直到具有透镜15的光圈所确定的直径的第二波束中，并且沿着与光束18a相同的路径返回到局部反射镜12。虽然第一和第二波束在图1中示出为具有同一截面，但应理解，第二波束可以具有与第一波束不同的截面。第二波束的部分透射通过局部反射镜12并且撞击在第一光检测器13上，如在18b处所示。光检测器13生成与波束18b中的光的强度有关的信号。控制器19通过使用xy级17相对于透镜15的焦点移动标本16以计算作为标本16上位置的函数的图像。

控制器19还使用第二光检测器14监控准直光束18中的光的波束强度，所述第二光检测器14接收量子级联激光器11通过局部反射镜12所生成的光的部分。量子级联激光器11典型地是脉冲式源。光的强度随着脉冲可以显著变化，因此，通过将光检测器13所测量的强度除以光检测器14所测量的强度，图像的像素关于强度的变化受校正。此外，由于来自量子级联激光器11的光强度在各脉冲之间为零，因此控制器19仅加合在光检测器14的输出大于某预定阈值的这些时间期间来自光检测器13和14的强度的比率。由于各脉冲之间的测量仅贡献于通过不使用各脉冲之间的测量得以移除的噪声，因此本发明的此方面改善了所得到的图像的信噪比。

该类型的成像系统的扫描行方面的潜在分辨率非常大。标本级的最大行程设置最大标本尺寸。移动几十厘米的级是容易容纳的。标本上的光斑尺寸由于光学而受限至MIR光的一个或两个波长。因此，30微米的光斑尺寸是可得到的。因此，以最高分辨率扫描大的标本需要几千个扫描行。于是，减小扫描时间是至关重要的。

在上述实施例中，级在两个维度上移动样本。然而，级具有显著的质量，因此，样本成像的速度受限于级的运动。在快速成像时间很重要的实施例中，通过移动透镜15在一个方向上扫描标本的实施例是优选的。现在参照图2，其示出透镜组件移动的成像系统的实施例。在成像系统30中，级组件分为两个组成部分。组成部分31包括聚焦透镜55，并且可在32处所示的方向上移动，使得随着组成部分31的每次穿越生成单行图像。由于聚焦透镜55和镜56具有与组成部分57相比很小的质量，因此组成部分31可以以远远更大的速度移动。在一个实施例中，组成部分31安装在轨道上并且以与喷墨打印机上的打印头类似的方式移动。在57处示出级组件的第二组成部分。组成部分57包括用于受扫描的标本的安装机构，并且在与方向32正交的方向33上移动。由于组成部分57仅需每扫描行移动一次，因此与更大型组成部分57关联的较慢的运动速度是可接受的。控制器39提供与图19所示的控制器19类似的控制功能。

然而，即使对于这种改进的扫描速度，大标本的完整扫描也可能需要数小时，尤其是如果需要在很多不同的MIR波长处扫描。于是，标本可以在可见波长中成像然后用户选择待在MIR中扫描的特定区块的布置将是有利的。

现在参照图3，其示出将视觉成像系统与MIR成像系统进行组合的MIR成像系统的实施例。成像系统60包括：MIR成像系统70；可见光成像系统80，其具有响应于可见波长中的光的成像阵列81。这两个系统处于控制器61的控制之下。两个成像系统共用级66，其允许标本65在各成像系统之间移动，使得使用可见光成像系统80所限定的区块可以定位，用于使用MIR成像系统70进行扫描。MIR成像系统70包括扫描头73，其以与以上关于图3所示的成像系统30描述的方式类似的方式在控制器61的控制之下在轨道72上移动。级66允许标本在与扫描头73的行进的方向垂直的方向上移动，使得可以生成二维图像。为了简化附图，MIR成像系统70中的激光器和关联光器件示出为单个块71。

在实践中，用户将标本65放置在可见光成像系统80之下的位置中，并且使用用户接口62和显示器63指示标本65的哪个部分待受扫描。用户可以使用指点设备或相似的装置指示期望的区块。使用提供期望的放大率等级的物镜生成可见图像。控制器61然后计算标本65必需移动以与MIR成像系统70正确地对准的距离。标本65然后移动并且如上所述受扫描。

管理并且观看在这些多次扫描中所生成的大量数据提出重大挑战。通常，将存在整个标本的一个可见图像以及标本上的各个位置处的多个小的区块扫描。此外，一些感兴趣的区块可以在不同波长处具有多次扫描。最后，不同的子图像可以具有不同的空间分辨率。

本发明利用三维图像结构以管理该大量信息。为了本讨论的目的，任何给定图像定义为x-y平面上的强度函数。例如，视觉波长中的图像可以用作为所测量的点的级位置(x，y)的函数的反射光的强度加以表示。在z方向上，图像划分为“层”。现参照图4，其示出通过三维图像中的y平面的截面。每个层是与MIR光或可见光的特定波长关联的图像。示例性平面示出于101-104处。为了简化以下讨论，将假设视觉图像是位于z＝0(即平面101)处的单色图像。然而，视觉图像可以是“彩色”图像，在此情况下，图像像素将是在对应于视觉图像的x-y平面上所限定的矢量。为了简化本讨论，假设所有图像是作为(x，y)的函数的标量值化的强度。以下更详细地讨论本发明对于矢量值化的图像像素的扩展。

通常，(x，y)坐标不是连续值，而是表示样本级上的位置的数字值。x、y的最精细增量优选地设置为x、y中的最高分辨率测度的间隔。也就是说，级在相继测量之间在x或y中以1为单位的距离进行移动。通常，取得任何给定图像或图像的部分的分辨率可以随着图像中的区域变化或随波长改变。例如，在样本上的一个感兴趣的区域中，可以通过最小可能光斑尺寸并且增加级达x或y中的一个计数的距离来扫描区域。在另一区域中，可以通过在各测量之间增加级达两个计数取得样本，以改进测量的速度。

当显示图像时，通过图像上的像素尺寸反映取得数据的分辨率。在像素与样本级上的坐标之间存在一对一的关系。在最高分辨率，每个像素表示样本级上的1x1正方形，并且该像素的强度由所测量的样本上的对应点的反射率确定。如果仅每两个像素采取测量，则每个测量表示包括测量点的四个像素处的强度的估计。这四个像素的强度设置为所测量的值。

现参照图5，其示出根据本发明一个实施例的多分辨率图像。在该示例中，通过在样本级位置中每五个计数取得点扫描大部分标本。因此，这些像素是5x5正方形(例如像素113)。以对于样本级位置中的每个计数的一个测量的分辨率扫描图像的小部分。这些像素示出于111处，并且由1x1正方形组成。

应注意，在利用快速移动的透镜组件以用于在x方向上扫描的实施例中，通过在x方向上以较粗间隔取得数据并不获得时间改进。通过在各扫描之间在y方向上增加级位置达多个计数获得增加的速度。例如，级可以在x方向上每个计数取得数据的x次扫描之间在y方向上增加达两个计数。在此情况下，像素用1x2矩形表示，其具有在x位置测量出的值所确定的强度。具有这些像素的区域示出于112处。

通常，将在整个样本级上记录可见图像。然而，可以仅在较小区块上记录其它图像。此外，这些较小区块可以随着图像不同。因此，保持跟踪已经测量的其它图像的部分的位置提出挑战。在本发明一个方面，控制器提供图像显示，其中，观看在上方图像部分地透明的情况下叠加在彼此上的多个图像。本质上，用户从具有分配透明度值的单独图像的z轴上堆叠以上的位置观看图像堆叠，使得可以通过上方图像看见下方图像中的特征。在最简单的情况下，一次仅两个图像是可见的，即，其它图像被分配将这些图像呈现为不可见的透明度。

现参照图6，其示出选取用于显示的可见图像和一个MIR图像的显示器。在该示例中，样本包括胶囊(例如阿司匹林药片)。由于阿司匹林在MIR中吸收但填充物材料却不，因此可以在MIR中观看阿司匹林在药片中的分布。视觉图像示出于141处。标本的部分的多个MIR图像示出于142-146处。尚未受扫描的MIR图像的区域是完全透明的。虽然MIR扫描区块在该示例中不透明得足以阻挡下面的视觉图像，但应理解，142-146处所示出的区域的透明度可以设置为允许通过MIR成像区域观看下面的视觉图像。

在本发明一个方面中，可以通过控件(例如滑动条)连续地设置上方图像的透明度。用户可以开始于滑动条设置，使得上方图像是完全透明的，因此，用户仅正观看下面的可见图像。随着用户增加上层的不透明度，上层变为可见，并且用户可以比较两个图像中的特征。随着用户进一步增加上层的不透明度，下面的图像变得受已扫描的上方图像的区域阻挡。

在以上示例中，底部层是可见图像；然而，用户可以将任何两个图像定义为用于观看的上下层。因此，用户可以在两个不同MIR扫描波长处观看样本的部分，并且从一个波长摇摄到另一波长，以观看图像随波长的改变。

在本发明一个方面中，单独图像被分配独特色彩。因此，将通过取决于透明度的独特色彩以及对于单独图像所选取的色彩看见图像重叠的区块。例如，红色可以分配用于第一层，蓝色可以分配用于第二层。两个图像中出现的特征于是将通过各种紫色阴影得以看见。

上述示例利用两个层以用于观看。然而，也可以构造用户针对图像的堆叠中每个层定义透明度等级和色彩的实施例。

根据本发明的显示器可以用于在扫描期间指引成像系统。用户可以观看图像之一并且选取待扫描的区域。用户然后录入扫描参数(例如待使用的光的分辨率和波长)。成像系统然后扫描该区域并且将新的数据录入到存储三维图像的数组中。如果所选取的波长匹配已经定义图像平面的波长，则在该平面上录入新的数据。如果另外的成像数据已经在对应x、y值处出现在该平面中，则新的数据替换现有数据，并且以新的分辨率被录入。例如，用户可以选取已经进行粗分辨率扫描的区域，以按更精细的分辨率提供数据。然后录入新的精细分辨率数据，以替换先前所扫描的数据。

除了上述成像系统之外，本发明的显示系统还可以应用于多个不同的成像系统。例如，用于在MIR中生成图像的一个类型的系统可以视为具有MIR光源和将受照射样本成像到MIR检测器的阵列上的光学系统的传统显微镜。基于量子级联激光器的MIR光源提供可调谐MIR光源。关于这些成像系统存在若干问题。在这些系统中，必需通过将多个较小高分辨率图像“拼接”在一起生成大标本的高分辨率图像。可以按低分辨率扫描标本，以实现整个大标本的图像。放大率于是改变，并且取得较小高分辨率图像。这些图像可以组合以提供标本的高分辨率图像，或可以保留作为隔离的高分辨率区块。此外，标本或其部分可以在不同的波长处受扫描，以提供附加图像。因此，在这种类型的成像系统中也遭遇类似于上述问题的显示问题。

于是，本发明的显示系统可应用于在不同的“观看条件”之下生成同一标本的多个图像而无需改动标本的任何扫描系统。观看条件定义为标本的照射条件(例如入射光的波长和强度)以及用于标本所吸收或反射的光的测量条件。在一个观看条件集合中，照射波长随图像不同。在第二观看条件集合中，以同一入射光波长取得两个或更多个图像，但通过不同形式的滤波器观看离开标本的光。例如，照射光可以在第一方向上线性偏振，并且偏振滤波器用于观看离开标本的光。这些系统在将从标本漫反射的光与从标本镜面反射的光分离中是有用的。在本发明一个方面中，在各图像之间并不从扫描装置移除标本。

在这种普通情况下，每个图像以类似于上述方式的方式存储在不同的图像平面上。在以下讨论中，每个图像将称为分量图像。分量图像相对于彼此对齐。也就是说，每个分量图像中的强度值的(x，y)坐标都参照标本的(x，y)坐标。这样允许通过以不同的透明度重叠图像和/或从一个图像到另一图像进行摇摄比较具有不同的观看条件的多个分量图像。为了本讨论的目的，观看条件定义为标本的照射波长、所生成的图像的分辨率、实际上测量图像强度的标本上的样本点、用于处理在这些样本点处所收集的数据以生成作为标本上的位置的函数的强度的任何滤波或变换。

单独分量图像可以在分量图像内具有不同空间分辨率的区域，如上所述。此外，单独分量图像可以是不完整的，在于：标本的仅部分受扫描，以生成该图像。有利的是，在一个观看条件之下具有作为标本的完整图像的一个分量图像，以提供允许在关于彼此的几何形状上下文中放置其它分量图像的基准。在以上示例中，该基准图像是通过使用可见波长范围中的光生成的分量图像。然而，对于基准图像，可以利用其它观看条件。

控制器通过形成两个或更多个分量图像的加权总和生成复合图像。用于组合分量图像的权重因子等同于上述透明度因子。小的加权因子比更大加权因子将对应分量图像呈现得更透明。用于两个分量图像I₁(x,y)和I₂(x,y)的复合图像C(x,y)由w₁ I₁(x,y)+w₂ I₂(x,y)给出，其中，w₁和w₂是权重因子。权重因子之和优选地是1，以防止随着权重因子改变的复合图像的总体强度的改变。

为了组合两个分量图像，在每个分量图像中必需存在对应强度值。如上所述，分量图像可以包括不同尺寸的像素。例如，如果在标本上仅按每五个点测量强度，则在其它点处将没有强度值。本发明通过在丢失的点中的每一个处复制所测量的值填充丢失的点。

此外，分量图像可以仅包括标本区块的有限区域中的数据。在本发明一个方面中，当定义图像平面时，分量图像初始化为零的强度值。每个分量图像定义为具有用于标本上的每个可能(x，y)坐标的存储位置。随着对于该分量图像中的各个区域生成数据，新的数据值替换对应零值。未受测量的区域保持为零，因此当生成复合图像时显现为完全透明的。

为了节省存储器，可以通过压缩格式存储图像平面，而非在存储器中提供像素的二维数组。例如，如果仅图像平面的小部分为非零的，则小的非零像素中的每一个的坐标连同对应于这些像素的强度值一起得以存储的方案。如果图像平面具有所测量的像素的矩形岛，则可以连同小的所测量的图像一起存储每个岛中的基准点的坐标。当需要像素值时，可以对压缩图像进行解压缩，以提供期望的像素值。如果像素的坐标不在非零区域或“岛”之一中，则返回零的值。检测连续特定像素值(例如零)的方案也可以用于压缩稀疏布居的图像平面中的图像平面数据。

上述实施例已经利用包括作为标本上的位置的函数的强度的图像。然而，图像可以定义为作为标本上的位置的函数所定义的矢量值集合。例如，在视觉波长中的图像中，标本上的每个点可以由具有多个分量的色彩矢量表征，每个分量表示不同色彩处的强度。

控制器可以类似地生成复合图像，其中，标本上的每个(x，y)值具有与该位置关联的矢量。在此情况下，矢量是多个强度值。对矢量的每个分量执行加权处理，以提供加权矢量值化的图像。在三分量矢量的情况下，图像可以显示为彩色图像。如上所述，单独分量图像可以被分配色彩。因此，可以通过将单位色彩矢量的每个分量乘以所测量的强度将基于强度的图像转换为矢量值化的图像。这样允许控制器提供彩色分量图像。

已经提供本发明上述实施例以示出本发明各个方面。然而，应理解，在不同具体实施例中示出的本发明的不同方面可以组合以提供本发明其它实施例。此外，根据前面的描述和附图，本发明的各种修改将变得清楚。于是，本发明仅由所附权利要求的范围限定。

Claims (14)

1.一种用于成像的装置，包括：

成像系统，其生成标本的多个分量图像，成像系统的光源生成的光的强度随着脉冲变化，所述多个分量图像中的每个对应于不同的观看条件，所述多个分量图像中的每个由强度进行表示，所述强度是所述标本上的成像位置的函数，所述多个分量图像包括第一分量图像和第二分量图像，所述第二分量图像包括在所述第二分量图像内具有不同空间分辨率的区域，所述观看条件是标本的照射条件以及用于标本所吸收或反射的光的测量条件；

控制器，其存储所述多个分量图像，并且生成复合图像，所述复合图像包括所述第一和第二分量图像的加权总和，所述控制器在所述控制器所控制的显示器上显示所述复合图像；以及

用户接口，其适用于控制在响应于用户输入生成所述加权总和中所使用的加权因子，所述控制器在所述加权因子响应于用户输入改变之后重新显示所述复合图像。

2.如权利要求1所述的装置，其中，所述第一分量图像包括具有与所述第二分量图像不同的空间分辨率的区域。

3.如权利要求1所述的装置，其中，所述第一分量图像对应于与所述第二分量图像不同的光波长所照射的所述标本。

4.如权利要求3所述的装置，其中，所述第一分量图像包括整个所述标本的强度值。

5.如权利要求1所述的装置，其中，对于所述第一分量图像具有强度值的所述标本上的成像位置，所述第二分量图像没有所述成像位置的强度值。

6.如权利要求1所述的装置，其中，所述控制器适用于接收指定所述标本上的观看条件和扫描区域的信息，所述控制器使得所述成像系统在所述扫描区域中使用所述观看条件生成所述标本的图像。

7.如权利要求6所述的装置，其中，所述观看条件包括照射波长，所述控制器定义所生成的所述标本的图像作为新分量图像，并且其他分量图像不具有该照射波长的观看条件。

8.如权利要求6所述的装置，其中，所述扫描区域包括现有所述多个分量图像之一的区域，所生成的所述标本的图像替换所述多个分量图像之一中的对应成像位置处的强度值。

9.一种用于操作成像系统的方法，所述方法包括：

通过所述成像系统生成标本的多个分量图像，成像系统的光源生成的光的强度随着脉冲变化，所述多个分量图像中的每个对应于不同的观看条件，所述多个分量图像中的每个由强度进行表示，所述强度是所述标本上的成像位置的函数，所述多个分量图像包括第一分量图像和第二分量图像，所述第二分量图像包括在所述第二分量图像内具有不同空间分辨率的区域，所述观看条件是标本的照射条件以及用于标本所吸收或反射的光的测量条件；

存储所述多个分量图像，并且生成并显示复合图像，所述复合图像包括所述第一和第二分量图像的加权总和；以及

在所述加权总和中所使用的加权因子已经响应于用户输入改变之后重新显示所述复合图像。

10.如权利要求9所述的方法，其中，所述第一分量图像包括具有与所述第二分量图像不同的空间分辨率的区域。

11.如权利要求9所述的方法，其中，所述第一分量图像对应于与所述第二分量图像不同的光波长所照射的所述标本。

12.如权利要求11所述的方法，其中，所述第一分量图像包括整个所述标本的强度值。

13.如权利要求9所述的方法，其中，对于所述第一分量图像具有强度值的所述标本上的成像位置，所述第二分量图像没有所述成像位置的强度值。

14.如权利要求9所述的方法，还包括：接收指定所述标本上的观看条件和扫描区域的信息，并且使得所述成像系统在所述扫描区域中使用所述观看条件生成所述标本的图像。

Images