CN102227747A - 产生未染色生物标本的多色图像 - Google Patents

Abstract

未染色生物标本包括至少两种化学不同的感兴趣物质。针对每种感兴趣物质产生图像(24，26)，图像表示对于图像的每个区域物质的量。基于物质图像产生多色图像。在相关方面中，一种数据载体承载指令，指令命令计算机以控制或执行该方法。在另一相关方面中，用于未染色生物标本(12)的系统(10)包括：光学系统，用于将标本曝光于选定频率的紫外光(18)，并测量对于标本的各个区域的透射紫外光(20)的强度，对于不同紫外线频率重复曝光和测量步骤，从而产生对于每个频率的紫外图像；计算机，用于基于紫外图像产生物质图像并基于物质图像产生多色图像。

Description

产生未染色生物标本的多色图像

技术领域

在第一方面中，本发明涉及一种产生未染色生物标本的多色图像的方法，该标本包括至少两种化学不同的感兴趣物质。

在第二方面中，本发明涉及一种数据载体。

在第三方面中，本发明涉及一种用于产生未染色生物标本的多色图像的系统，对象包括至少两种化学不同的感兴趣物质。

背景技术

在组织病理学和细胞病理学中，病理学家会例行分析从组织或细胞涂片拍摄的显微图像。典型地，通过使用可见光的标准显微镜分析标本。由于细胞和组织几乎不吸收可见光，所以通常的做法是为标本染色。在可见光下能够观察到染色化学药品。这指示出存在其通常结合到的结构，而且一般还指示出该结构的量。在多年的训练和实践经验中，病理学家学会如何解释标本的染色图像以及如何得出诊断结果。在数字病理学界，一般认为使用染色化学药品是以透射对载片样本成像必须的。

选择哪种染色法通常取决于病理学家感兴趣的具体结构。非常流行的一种染色法是苏木精和曙红(H&E)染色。苏木精结合到嗜碱性结构并使它们带有蓝-紫色调。嗜碱性结构例如是包含核酸且胞质区中富含RNA的那些细胞成分。嗜曙红结构一般由细胞内或细胞外蛋白质构成，并被曙红染上粉红色。

不过，染色有几个主要缺点。缺点之一是，染色标本图像中的颜色再现强烈取决于已使用的染色方法。如T.Abe等人指出的，染色的质量不是恒定的(T.Abe等，“Colour Correction of Pathological Images Based on Dye Amount Quantification”，Optical Review，12卷，4期，2005，293-300页)。可是良好的质量对于使病理学家得到正确诊断是重要的。另一个问题涉及到传统病理学到自动诊断的转变，这是当今的一项重要进展。在医院之间，甚至染色机器之间观察到的质量变动，或染色机器的随时间而观察到的质量变动，为自动诊断带来了严重障碍。为了解决这些问题已经提出了不同的解决方案，例如改进染色过程的控制，或借助计算机对染色样本的多色图像进行数字校正(参见T.Abe等人的上述文章)。

本发明的目的在于提供一种不需要为标本染色来产生未染色生物标本的多色图像的方法。

这一目的是通过独立权利要求的特征实现的。在从属权利要求中概述了其他技术说明和优选实施例。

发明内容

根据本发明的第一方面，该方法包括

-产生对于每种感兴趣物质的物质图像，物质图像指示对于该图像的每个区域的该物质的量；

-基于该物质图像产生多色图像。

于是，每个物质图像是相应物质在标本中的分布图。可以通过任何适当方法获得物质图像。具体而言，提出测量标本对多波长光的吸收率并将这一测量数据转换成RGB图像数据。如果已利用例如常用的染色法苏木精和曙红(H&E)对标本染色并利用常规显微镜观察，RGB图像数据可以是标本RGB图像的紧密近似。于是能够完全避免染色。可以将本发明应用于整个组织病理学领域。染色几乎是所有基于组织/细胞的诊断的惯例(大约每家医院每年300.000+样本)。避免染色程序可以显著增加处理量并便于计算机对诊断进行(部分)自动化。

标本对可见光可以是基本透明的，例如，透射率超过80％，或超过90％。标本可以是组织病理学标本，并且可以布置于显微镜载片上。

基于物质图像产生多色图像可以包括

-向每种感兴趣物质分配假定的颜色；

-将每一个物质图像转换成具有所分配颜色的单色图像；

-叠加所述单色图像。

可以为感兴趣物质中的至少一种分配与能够结合到该物质的染料的颜色匹配的颜色。更具体而言，其

-使用成像/检测器械采集第一图像，该器械能够经由例如吸收率变化测量未染色标本中存在的要素数量，

-估计至少一种要素的数量，

-利用估计的数量生成第二图像，第二图像被着色成如同标本已经被利用预定义染色化学药品(例如H&E)染色一样。于是，尽管标本不曾被染色，但最终图像示出了病理学家熟悉的表达。这里可以指出，在数字病理学界，对于会产生黑白(B&W)或灰度图像的任何成像技术存在很强的偏见。病理学家已经强调，对他们来说，关键是无论计算机做什么，必须要以病理学家理解且习惯的方式让病理学家看到得出最终结论的重要步骤。具体而言，病理学家不太可能满足于(例如)两种相邻核的单色图像，其叠加指示每种核中核酸的量的一个数字。病理学家宁愿接受具有叠加数字的多色图像。针对具有较高核酸量的核，核的颜色将指示较重的染色，这类似于H&E染色的做法。

标本可以包括蛋白质作为第一感兴趣物质，包括核酸作为第二感兴趣物质。可以为蛋白质分配红色或粉色，并且可以为核酸分配蓝色、紫色或蓝紫色。

可以根据减色模型从叠加的单色图像获得多色图像。亦即，分配给各种感兴趣物质的每种颜色充当仅透射所分配颜色的过滤器。然后可以通过在白色背景上叠加单色图像生成多色图像。例如，叠加蓝色和红色会产生灰色色调或黑色，而不是蓝紫色。由此能够改善多色图像与常规基于染色的图像的相似性。

可以在计算机上执行转换和叠加的步骤。

将每个物质图像转换成单色图像可以包括：

-查阅将物质的量关联到颜色强度的查找表格，和/或

-评估将物质的量关联到颜色强度的指数函数。

基于物质图像产生多色图像可以包括

-向每种感兴趣物质分配可见频域中的假定的吸收光谱；

-基于物质图像和假定吸收光谱计算透射光图像，该透射光图像指示，假设这些物质中的每种具有假定的吸收光谱，对于该图像的每个区域如果用白光照射感兴趣物质时它们会透射的光谱。

通过模拟感兴趣物质的光透射就这样产生了透射光图像，其中使用假定的吸收光谱替代这些物质的真实吸收光谱。这可以确保所得的多色图像特别好地模仿通过染色法获得的图像。模拟中感兴趣物质要透射的光尤其可以是白光。

可以利用Beer-Lambert定律，以物质图像和假定的吸收光谱作为输入数据，计算透射光图像。

可以通过以下方式确定物质图像：

-将标本曝光于选定频率的紫外光；

-测量对于标本的各个区域的透射紫外光的强度；

-对于不同频率执行曝光和测量的步骤，从而产生对于每个频率的紫外图像；

-从所述紫外图像导出物质图像。

这样就借助于多光谱分析采集了物质图像。紫外线(UV)波长可能是尤其有利的，因为未染色的标本不吸收可见光。如所周知，细胞和组织吸收高频(UV/深UV)光。Zeskind等人(B.J.Zeskind等，“Nucleic acid and protein mass mapping by live-cell deep-ultraviolet microscopy”.Nature Methods，第4卷，第7期，2007年7月，567-569页)表明，从多光谱图像获得的光谱信息允许估计细胞中特定结构(例如核酸或蛋白质)的量。使用组织/细胞的多光谱图像，就可以通过比较图像逐个图像像素估计组织/细胞的特定结构的量。可以将这种知识与通常用于标识这些结构的染色化学药品的“理想”光谱知识结合。从这种组合可以人为地，即借助计算机生成示出了如同已被染色的组织/细胞的RGB彩色图像。这个过程将没有染色的缺点，不过生成类似的输出。“理想”(状态)取决于应用。大多数病理学家对特定染色的质量都有个人的定义。出于自动化的目的，最佳的对比度可能是优选的。不过，用户可以自由使用任何他最喜欢的光谱。

可以利用Beer-Lambert定律从紫外图像导出物质图像。下文将更详细地描述这种情况。

根据本发明的第二方面，一种数据载体承载命令计算机控制或执行上文简述的方法的指令。计算机可以是PC或任何其他适当的信息处理装置或电子控制器。

根据本发明的第三方面，用于产生未染色标本多色图像的系统包括：

-光学系统，用于将标本曝光于选定频率的紫外光并测量对于所述标本的各个区域的透射紫外光的强度，并且对于不同紫外线频率重复曝光和测量的步骤，从而产生对于每个频率的紫外图像；

-计算机，用于基于紫外图像产生物质图像并基于物质图像产生多色图像。

光学系统可以包括显微镜。显微镜可以用于照射标本并从标本收集光。显微镜可以是常规光学显微镜或扫描显微镜。

附图说明

图1示意性示出了用于产生未染色标本的多色图像的设备。

图2示意性示出了标本。

图3示意性示出了第一物质图像。

图4示意性示出了第二物质图像。

图5示意性示出了第二物质图像叠加于第一物质图像上。

图6为流程图，示出了产生未染色标本的多色图像的步骤。

具体实施方式

除非另行指出，不同附图中出现的相同或相似附图标记标识相同或相似的部件。

图1示意性示出了用于产生标本12的二维多色图像的系统10，而图2提供了标本12的透视图。标本12例如可以是包含诸如个体细胞的有机材料的液层，或其中已嵌入有生物材料的一片石蜡。标本12主要沿着垂直于图平面的x-y平面延伸。标本12至少包括第一物质(例如蛋白质)和第二物质(例如核酸)。向标本12的上表面14照射第一频率的紫外光18。透射的相同频率的紫外光20经由下表面16离开标本12并到达探测器22。探测器22耦合到计算机(未示出)，例如个人计算机，或另一种适当的信息处理装置，其承载用于记录探测器响应于透射的紫外光20提供的数据的程序。这样就产生了标本12的第一紫外图像。在后续的步骤中，向标本12的上表面14照射第二频率的紫外光(未示出)，获得标本12的第二紫外图像。如下所述，利用Beer-Lambert定律，以类似于Zeskind等人建议的方法(参见上述文章)导出第一物质和第二物质在感兴趣区域，即图像区域上方的空间分布。考虑频率为v的光在平行于标本12的z轴6的选定轴上的强度I(v，z)。在特定的z位置，强度可以近似为

I(v，z)＝I₀(v)exp(-σ₁(v)(N₁(z)-σ₂(v)N₂(z))

其中σ₁(v)和σ₁(v)分别是第一物质和第二物质的吸收截面(例如，单位为平方米)，而N₁(z)和N₂(z)分别是第一物质和第二物质在位置0和z之间的轴上每单位面积的颗粒数目。更确切地说，N₁(z)和N₂(z)是具有在该单位面积上沿z方向的投影的颗粒数目除以该单位面积。在上表面14上选择0位置。选择z值以对应于下表面16，并且从现在开始将抑制z值。相反，我们引入对x和y的依从性，即对x-y平面中的位置2，4的依从性：

I(v，x，y)＝I₀(v，x，y)exp(-σ₁(v)(N₁(x，y)-σ₂(v)N₂(x，y))。

对于两个紫外线频率v₁和v₂评估以上关系产生分别针对第一物质和第二物质的每单位面积的颗粒数目N₁(x，y)和N₂(x，y)的线性方程组：

$\ln \left(\frac{I(v_1,x,y)}{I_0(v_1,x,y)}\right)=-{\mathrm{\σ}}_1\left(v_1\right)N_1(x,y)-{\mathrm{\σ}}_2\left(v_1\right)N_2(x,y)$

$\ln \left(\frac{I(v_2,x,y)}{I_0(v_2,x,y)}\right)=-{\mathrm{\σ}}_1\left(v_2\right)N_1(x,y)-{\mathrm{\σ}}_2\left(v_2\right)N_2(x,y).$

在本申请中，函数N₁(x，y)和N₂(x，y)被称为物质图像，因为它们提供了相应物质在表面(在本例子中为标本12的下表面16)上分布的图像。可以通过不同方式图示它们，例如，表示为带阴影的单色图像，等高线图，或在x-y平面上定义的表面。用入射强度值I₀(v₁，x，y)和I₀(v₂，x，y)对透射强度值I(v₁，x，y)和I(v₂，x，y)进行归一化，形成上述紫外图像。通过测量对于x-y平面中多个位置的入射紫外光强度和透射紫外光强度，以及可能的在相邻位置间进行内插，获得紫外图像。假设横截面σ₁(v₁)、σ₂(v₁)、σ₁(v₂)、σ₁(v₂)是已知的。例如，Abe等人已经公开了苏木精和曙红的最佳/归一化光谱吸收系数(参见上文)。然后通过求解上文给出的线性方程组推导出物质图像N₁(x，y)和N₂(x，y)。能够容易地将该方法推广到超过两种物质。为了确定标本12中的M种物质的每种的物质图像，对标本12相继照射M次，每次使用不同频率的光。

图3和图4中示意性示出了第一物质的物质图像N₁(x，y)和第二物质的物质图像N₂(x，y)。第一物质图像24包括每单位面积第一物质的颗粒数目高于平均值的区域30。类似地，第二物质图像26包括每单位面积第二物质的颗粒数目高于平均值的区域32。

在图5中，将物质图像N₁(x，y)和N₂(x，y)共同示意性表示为“多物质”图像。根据本发明，基于物质图像N₁(x，y)和N₂(x，y)产生多色图像，例如，通过对于x-y平面中任何选定点分别用红色和蓝色表示N₁(x，y)和N₂(x，y)，颜色的强度或饱和度分别对应于值N₁(x，y)和N₂(x，y)。有利地，多色图像是(一方面)物质图像和(另一方面)多色图像之间映射的结果。亦即，在值N₁和N₂和色值之间存在一对一的对应关系。优选地，该一对一的对应对于多色图像的每个区域都是相同的。

现在参考图6，示出了产生未染色标本的多色图像的方法流程图，标本至少包括第一物质和第二物质。在第一步骤601中，产生第一物质图像N₁(x，y)，第一物质图像指示对于图像的每个区域位于该区域中的第一物质的量，例如，物质的颗粒数目。在第二步骤602中，产生第二物质图像N₂(x，y)，第二物质图像指示对于图像的每个区域位于该区域中的第二物质的量，例如，物质的颗粒数目。在接下来的第三步骤603中，基于物质图像产生多色图像C(x，y)，其中C表示颜色，并可以由色空间中的矢量表示，色空间例如是红-绿-蓝(RGB)加色空间或青-品红-黄(CMYK)或CMY减色空间。

尽管已经在附图和上述说明中详细说明和描述了本发明，但是应当将附图和描述看作是示范性而不是限制性的。本发明不限于所公开的实施例。也可以实现上文未描述的等同替代、组合和修改而不脱离本发明的范围。

动词“包括”及其派生词不排除在“包括”所指的主题中存在其他步骤或元件。不定冠词“一”或“一个”不排除有多个冠词所指的主题。还要指出，单个单元可以提供权利要求中提到的若干模块的功能。在互不相同的从属权利要求中陈述某些特征不表示不能有利地采用这些特征的组合。权利要求中的任何附图标记不应被视为具有限制范围的作用。

Claims (15)

1.一种产生未染色生物标本(12)的多色图像的方法，所述标本包括至少两种化学不同的感兴趣物质，其中，所述方法包括

-针对所述感兴趣物质中的每种产生物质图像(24，26)，所述物质图像对于所述图像中的每个区域指示出所述物质的量；

-基于所述物质图像产生所述多色图像。

2.根据权利要求1所述的方法，其中，所述标本对于可见光是基本透明的。

3.根据权利要求1或2所述的方法，其中，基于所述物质图像产生所述多色图像包括：

-向所述感兴趣物质中的每种分配假定的颜色；

-将所述物质图像中的每一个转换成具有所分配颜色的单色图像；

-叠加所述单色图像。

4.根据权利要求3所述的方法，其中，为所述感兴趣物质中的至少一种分配与能够结合到该物质的染料的颜色匹配的颜色。

5.根据权利要求3或4所述的方法，其中，所述标本包括作为第一感兴趣物质的蛋白质以及作为第二感兴趣物质的核酸，且其中，为所述蛋白质分配红色或粉色，为所述核酸分配蓝色、紫色或蓝紫色。

6.根据权利要求3到5中的任一项所述的方法，其中，根据减色模型从叠加的单色图像获得所述多色图像。

7.根据权利要求3到6中的任一项所述的方法，其中，在计算机上执行转换的步骤和叠加的步骤。

8.根据权利要求3到7中的任一项所述的方法，其中，将每个物质图像转换成单色图像包括：

-查阅将物质的量关联到颜色强度的查找表，和/或

-评估将物质的量关联到颜色强度的指数函数。

9.根据权利要求1或2所述的方法，其中，基于所述物质图像产生所述多色图像包括：

-向所述感兴趣物质中的每种分配可见频域中的假定的吸收光谱；

-基于所述物质图像和所述假定的吸收光谱计算透射光图像，所述透射光图像对于所述图像中的每个区域指示出假设所述感兴趣物质中的每种具有所述假定的吸收光谱，如果用白光照射所述感兴趣物质，所述感兴趣物质会透射的光谱。

10.根据权利要求9所述的方法，其中，利用Beer-Lambert定律用作为输入数据的所述物质图像和所述假定的吸收光谱，计算所述透射光图像。

11.根据权利要求1到10中的任一项所述的方法，其中，通过如下方式确定所述物质图像：

-将所述标本曝光于选定频率的紫外光(18)；

-测量对于所述标本(12)的各种区域的透射紫外光(20)的强度；

-对于不同频率执行曝光的步骤和测量的步骤，从而产生对于每个频率的紫外图像；

-从所述紫外图像导出所述物质图像(26，28)。

12.根据权利要求11所述的方法，其中，利用Beer-Lambert定律从所述紫外图像导出所述物质图像。

13.一种数据载体，其承载用于命令计算机控制或执行根据权利要求1到12中的任一项所述的方法的指令。

14.一种产生未染色标本(12)的多色图像的系统(10)，所述标本包括至少两种化学不同的感兴趣物质，其中，所述系统包括

-光学系统，用于将所述标本曝光于选定频率的紫外光(18)并测量对于所述标本的各个区域的透射紫外光(20)的强度，并且对于不同紫外频率重复曝光的步骤和测量的步骤，从而产生对于每个频率的紫外图像；

-计算机，用于基于所述紫外图像产生物质图像并基于所述物质图像产生所述多色图像。

15.根据权利要求14所述的系统，其中，所述光学系统包括显微镜。

Images