CN109313798B - 用于生成模拟数字明场ihc或ish图像的方法和图像处理系统 - Google Patents

用于生成模拟数字明场ihc或ish图像的方法和图像处理系统 Download PDF

Info

Publication number
CN109313798B
CN109313798B CN201780034936.8A CN201780034936A CN109313798B CN 109313798 B CN109313798 B CN 109313798B CN 201780034936 A CN201780034936 A CN 201780034936A CN 109313798 B CN109313798 B CN 109313798B
Authority
CN
China
Prior art keywords
image
fluorescence
stain
images
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780034936.8A
Other languages
English (en)
Other versions
CN109313798A (zh
Inventor
E·克莱曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN109313798A publication Critical patent/CN109313798A/zh
Application granted granted Critical
Publication of CN109313798B publication Critical patent/CN109313798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种用于从组织样品(100)的单色荧光图像(106.1‑106.7)生成模拟数字明场IHC或ISH图像的图像处理系统。该组织样品包含一种或多种染色的生物标志物，每种染色的生物标志物被对应的荧光染色剂染色，该系统被配置为：‑接收(702)一般指示生物物质的存在的第一荧光图像；‑将该第一图像变换(704)成具有第一颜色的变换后的第一图像；‑针对每种生物标志物，接收(706)对应的第二荧光图像，其指示由选择性地将所述生物标志物染色的荧光染色剂发射的信号，‑将每个第二图像变换(708)成具有对应的第二颜色的对应的变换后的第二图像；‑重叠并组合(710)该变换后的第一和一个或多个第二图像；‑将该组合的图像作为该模拟数字明场IHC或ISH图像存储(712)和/或显示(714)，其中该第一图像是使用该组织样品或类似的组织样品的自发荧光参考光谱或通过使用第一染色剂的荧光参考光谱来创建的，该第一染色剂一般与该组织样品的生物物质结合，用于该组织样品的多光谱数字图像的光谱解混。

Description

用于生成模拟数字明场IHC或ISH图像的方法和图像处理系统
技术领域
本发明涉及数字图像处理领域，更具体地涉及IHC或ISH组织样品的荧光图像处理。
发明背景
荧光成像是用作分子过程或结构的标记物的荧光染料或蛋白质的可视化。这使得能够进行广泛的实验观察，包括细胞和组织中的基因表达、蛋白质表达以及分子相互作用的位置和动力学。
随着荧光显微镜检查领域中新的染色试剂盒和成像技术的进步，可获得大量具有不同颜色的荧光染色剂，并且生成了包括由许多不同的荧光染色剂产生的复杂图案的大量多样化的显微镜图像。
大多数病理学家还没有接受过这种新图像的观察、分析和诊断方面的培训。荧光图像的可变性增加可能导致诊断错误。例如，病理学家可能在这样的实验室中工作，该实验室使用具有红色的特定荧光染色剂常规地将特定肿瘤标志物染色。基质细胞被染成绿色。现在，这位病理学家可能在这样的实验室中开始新的工作，该实验室常规地将免疫细胞染成“红色”，将肿瘤细胞染成蓝色，并且将基质细胞染成绿色。或者，该实验室可能只是改变了染色方案，而没有将这个改变通知病理学家。因此，该病理学家可能错误地将免疫细胞视为癌细胞，并且可能产生错误的诊断和错误的治疗建议。
美国专利申请US 2013/0044933 A1和US 201110074944 A1披露了一种用于使用荧光图像生成明场型图像的方法，其类似于生物样品的明场染色方案。该方法包括获取生物样品的荧光图像，将所述荧光图像映射到明场色彩空间，生成明场图像，以及任选地应用锐化变换校正。本发明旨在促进和改善用一种或多种荧光染色剂染色的组织样品的病理观察、分析和诊断。
发明概述
本发明的一个目的是提供一种改进的如独立权利要求中所述的用于荧光数字图像处理的方法和系统。在从属权利要求中给出了本发明的实施方案。本发明的实施方案可以彼此自由组合，如果它们不相互排斥的话。
在一个方面，本发明涉及一种从组织样品的数字单色荧光图像生成模拟数字明场IHC或ISH图像的方法。该组织样品包含一种或多种染色的生物标志物。每种染色的生物标志物被对应的荧光染色剂染色。该方法由图像处理系统执行，并且包括：
–接收组织样品的第一荧光图像，第一图像的像素强度一般指示生物物质的存在；
–将第一图像变换成具有第一颜色的变换后的第一图像；
–对于每种染色的生物标志物，接收组织样品的对应的第二荧光图像，每个第二图像的像素强度选择性地指示将所述生物标志物选择性地染色的荧光染色剂所发射的荧光信号，
–将每个第二图像变换成具有对应的第二颜色的对应的变换后的第二图像；
–重叠并组合变换后的第一和一个或多个第二图像；
–将组合的图像作为模拟数字明场IHC或ISH图像存储在存储介质中；和/或
–将组合的图像作为模拟数字明场IHC或ISH图像显示在显示设备上。
所述特征可能是有利的，因为可以大大降低病理学家检查图像所产生的错误诊断和治疗建议的风险：病理学家常规地处理用各种染色测定法(例如苏木精和曙红(H&E))染色的组织的明场显微镜图像。在明场成像中，一些典型的颜色如苏木精-蓝色和/或曙红-红色总是代表相同类型的细胞和组织类型。病理学家的作用是解释由明场成像染色剂(例如通过H&E染色)产生的一些颜色，作为指示组织切片和组织内单个细胞存在的信号。此信息用作一种“视觉指导”，其允许病理学家区分组织切片和组织载玻片，并且区分组织内的细胞内区和细胞外区。
例如，苏木精是深蓝色或紫色的染色剂，是碱性/带正电荷的。它与嗜碱性物质(比如DNA/RNA-其是酸性且带负电荷的)结合。细胞核中的DNA/RNA和粗面内质网中核糖体中的RNA都是酸性的，因为核酸的磷酸骨架带负电荷。带负电荷的骨架与含有正电荷的碱性染料形成盐。因此，像苏木精这样的染料会与DNA和RNA结合，并将它们染成紫色。
曙红是一种红色或粉红色的染色剂，其为酸性/带负电荷的。它与嗜酸性物质比如带正电荷的氨基酸侧链(例如赖氨酸、精氨酸)结合。细胞质中的大多数蛋白质是碱性的，因为它们由于精氨酸和赖氨酸氨基酸残基而带正电荷。这些蛋白质与含有负电荷的酸性染料(如曙红)形成盐。因此，曙红与这些氨基酸/蛋白质结合并将它们染成粉红色。这包括肌细胞中的胞质丝、细胞内膜和细胞外纤维。
因此，在使用H&E染色的明场图像显微镜检查中，在生物结构和染色颜色之间存在固定且可靠的关联，例如；
·细胞核呈蓝色/紫色，
·嗜碱性粒细胞呈紫红色，
·细胞质呈红色，
·肌肉呈深红色，
·红细胞呈樱桃红色，
·胶原蛋白呈淡粉红色，
·线粒体呈淡粉红色。
相反，在荧光成像中，在生物结构和特定颜色之间不存在固定的关联。已经观察到这是一个重要的潜在误差来源，至少是一个降低病理学家生产力的因素，因为他或她必须仔细考查每个单独图像或一组图像的特定颜色的含义。
通过将与特定的(并且通常是任意选择的)荧光染色剂对应的强度信息(依赖于它们所代表的生物结构)(例如，一般为生物物质或特别是感兴趣的特定生物标志物的存在)变换成已知代表所述特定的生物结构的预定义颜色，病理学家可以依赖于这样的事实，即特定的染色代表特定的生物结构。这可以使病理学家对荧光图像的解释变得容易，可以帮助避免错误并提高病理学家的生产力。
根据实施方案，第一颜色是存储在配置数据结构(例如配置文件或一组配置数据库记录)中的预定义颜色。配置数据结构指定第一颜色一般代表生物物质的存在(无论所述生物物质中包含的细胞或组织的类型如何)。优先地，为了生成衍生自多个不同组织样品的多个不同数字图像的模拟数字明场IHC或ISH图像，使用相同的第一颜色作为一般指示生物物质存在的颜色。该多个不同的组织样品可以源自相同或不同的患者。因此，病理学家可以习惯这种特定的第一颜色作为生物物质存在的指示物，即作为组织载玻片上组织存在的指示物。
根据实施方案，第二颜色是存储在配置数据结构中的预定义颜色。配置数据结构将多种生物标志物中的每一种(例如像FAP这样的特定蛋白质)指定给对应的第二颜色。为了从多个不同的组织样品的图像生成模拟明场图像，使用在配置数据结构中指定的每种第二颜色作为指示特定生物标志物的存在的特定颜色，由此样品可以源自相同或不同的患者，并且由此可以已经使用相同或不同的荧光染色剂将所述特定的生物标志物染色。
由于指示特定生物标志物的存在的原始荧光染色剂总是被变换成在配置数据结构中指定给所述生物标志物的特定的第二颜色，所以生物标志物阳性细胞总是在生成的模拟明场图像中以第二颜色突出显示。
优先地，该配置数据结构可由病理学家编辑。因此，病理学家可以对特定的生物标志物不断地指定预定义的第二颜色，例如“绿色”，因此可能变得习惯于立即将“绿色”细胞识别为FAP+细胞，而不考虑用于将FAP生物标志物染色的实际荧光染色剂。
实际上，病理学家可以习惯于每种特定的第二颜色作为特定的对应地指定的生物标志物存在的指示物。
在明场成像中，通常使用的染色剂通过它们的物理化学性质与限定的生物结构(例如酸性或碱性组织或细胞成分)联系。通过使用将特定的预定义颜色指定给荧光图像(依赖于通过生成该荧光图像的对应荧光染色剂鉴定的生物材料)的另外的图像变换步骤，模拟了“明场图像”的独特特征，即生物结构与所得图像的颜色的相互关系。
以下描述的实施方案的至少一些包括另外的步骤和特征，其进一步增加了使用多个荧光图像作为输入进行模拟的图像的“明场图像”特性。
根据实施方案，第一图像的像素强度选择性地指示由组织样品中的生物物质发射的自发荧光信号。
自发荧光是由生物结构比如线粒体和溶酶体在吸收光线时自然发射光。一般来说，自发荧光被认为是荧光显微镜检查中不需要的信号，因为自发荧光信号构成一种“噪声信号”，其可能隐藏荧光染色剂(其可能或可能没有将特定的生物标志物染色，这取决于组织样品中所述生物标志物的表达水平)的实际预期信号。令人惊讶地观察到，在本发明的上下文中，自发荧光(“噪声”)信号实际上传达了预期信息，即可以用作组织存在(相对于缺乏任何组织样品的载玻片的区域)的一般指示物。因此，自发荧光信息可用于替换和模拟在明场图像显微镜检查中使用的一般组织染色剂。这样的一般染色剂的例子是上文所述的曙红。然而，取决于被检查的生物材料，可以存在不同的“一般组织染色剂”，其通过选择代表在明场成像中使用的所述“一般组织染色剂”的第一颜色加以模拟。
根据实施方案，第一图像的像素强度选择性地指示由第一荧光染色剂发射的荧光信号，该第一荧光染色剂一般与组织样品的生物物质结合。例如，一般与生物物质结合的第一荧光染色剂可以是具有任意荧光颜色的任意荧光染色剂，其与预期将组织所来源的组织类型的所有细胞染色的抗体偶联。可替代地，所述荧光染色剂可以与非特异性结合抗体偶联。
识别并指示载玻片上组织切片的存在并且将其用指示生物物质存在的恒定“第一颜色”表示可以帮助病理学家评估在组织样品的“基质”或“背景细胞的背景前面的一些生物标志物阳性细胞的分布。
根据实施方案，该方法进一步包括通过重叠并组合两个或更多个第二图像的像素强度来生成第一图像，所述两个或更多个第二图像针对两种或更多种生物标志物而被接收。所述两种或更多种生物标志物包括：
–一种或多种细胞溶质生物标志物(即细胞溶质中存在的生物分子)；
–和任选地一种或多种核生物标志物(即存在于细胞核中的生物分子)和/或一种或多种膜生物标志物(即跨越或附着于细胞膜的生物分子)。
将第一图像生成为与至少一种细胞溶质生物标志物和至少一种核和/或膜生物标志物对应的两个或更多个荧光图像的组合可能是有利的，因为既没必要从中提取自发荧光信号也没必要使用另外的可能会干扰其他生物标志物特异性染色剂的一般染色剂。相反，根据最初接收的用于检测单独生物标志物存在的多个荧光信号和相应图像，在计算上生成一般指示生物物质的存在(与未被任何组织覆盖的组织载玻片的区域相反)的第一荧光图像。例如，可以用6种不同的荧光染色剂S1、S2、......、S6将组织染色。所述6种染色剂中的每一种具有不同的颜色C1、C2、......、C6，并且选择性地与特异性生物标志物B1、B2、......、B6结合。病理学家将要解决的原始医学问题可能是这样的问题，即组织样品的细胞是否包含具有特征性生物标志物表达谱B1+、B2+、B3-、B4+、B5-和B6-的特定类型的肿瘤细胞。通过组合两种、三种或甚至所有6种生物标志物的荧光信号(“图像”)，可以计算以第一颜色表示的一般第一图像，并且其可以帮助病理学家区分在载玻片上的组织区与非组织区，并区分该组织内的细胞内区与细胞外区。
在一个另外的有利方面，这种方法还可以在图像采集系统中使用，该图像采集系统包括用于滤除自发荧光信号的基于软件或硬件的过滤机构。
根据实施方案，第一颜色是用于生成曙红染色样品的明场图像的曙红的颜色。
代表在曙红染色的样品的明场图像中已经被曙红染色的生物物质的存在的“第一颜色”可以被指定为淡红色、红色、粉红色或在红色和粉红色之间的中间颜色。
根据实施方案，该第一颜色选自下组，该组包括：曙红的颜色、考马斯蓝(非特异性蛋白质染色剂)的颜色、甲酚紫(将神经元胞浆的酸性组分染色)、刚果红(与细胞质结构结合并且通常用于将脂肪组织染色)、亚甲蓝(动物细胞的染色)、苏丹黑(与脂肪分子结合)、酸性品红(与弹性蛋白或线粒体结合)或其他例子。
根据实施方案，一种或多种第二颜色中的每一种选自下组，该组包括：
–用于生成DAB(二氨基联苯胺)染色样品的明场图像的DAB的颜色，DAB产生棕色或“棕红色”终产物；
–3-氨基-9-乙基咔唑(AEC)的颜色，其氧化后形成玫瑰红色终产物；
–4-氯-1-萘酚(CN)的颜色，其沉淀为蓝色终产物；
–对苯二胺二氢氯化物/邻苯二酚的颜色，其产生蓝黑色反应产物；
–固红TR(fast red TR)的颜色，其产生浅红色终产物；
–固蓝BB(fast blue BB)的颜色，其产生蓝色终产物；
–新品红(New Fuchsin)的颜色，其产生浅红色终产物；
–固深红GBC(Fast Garnet GBC)的颜色，其产生深红色终产物；
–硝基蓝四唑(NBT)的颜色，其产生蓝色终产物；和
–碘硝基四唑紫(INT)的颜色，其产生紫色终产物。
可替代地，也可以使用与其他的在这里未列出但在明场显微镜检查中使用的熟知的染色剂对应的多种其他颜色。
如果在明场图像条件下观察，则上面列出的任何颜色是指对应列出的染色剂的颜色。在明场图像显微镜检查中使用的染色剂的“颜色”是生物材料所发射的光谱分布，该生物材料已被所述染色剂染色并且正在被明场显微镜光源(通常是产生“白光”的广谱光源)照射。与荧光显微镜检查相反，明场显微镜检查在减色混合环境中进行。
根据实施方案，接收的组织样品的第二荧光图像中的至少一个由这样的像素组成，该像素的像素强度指示由荧光染色剂(NIF染色剂)发射的荧光信号，该荧光染色剂发射近红外光谱范围(从约700nm至2500nm)内的荧光。除了在可见光谱范围内发射的“常规”荧光染色剂之外，本发明的实施方案可以允许使用NIF染色剂，而不对系统进行任何另外的修改。因此，可以使用多种荧光染色剂，包括NIF染色剂，但最终生成并呈现给病理学家的图像可以借助于预定义颜色可靠地描绘已知的生物结构和生物标志物，该预定义颜色是病理学家熟悉的并且病理学家可能已经将其指定在自己的配置数据结构中。
根据实施方案，一种或多种生物标志物中的至少一种是核生物标志物，并且针对所述至少一种生物标志物接收的第二图像的第二颜色是苏木精染色样品的明场图像中苏木精的颜色。
代表在苏木精染色样品的明场图像中的苏木精染色结构的颜色的“第二颜色”可以被指定为蓝色、紫色或在蓝色和紫色之间的中间颜色。
根据实施方案，该方法进一步包括接收组织样品的第三荧光图像，第三图像的像素强度选择性地指示由选择性地将核区染色的第三荧光染色剂发射的荧光信号；并且将第三图像变换成具有第三颜色的变换后的第三图像。因此，重叠并组合变换后的第一、第三以及一个或多个第二图像以提供组合图像。例如，选择性地将核区染色的第三荧光染色剂可以是任意颜色的荧光染色剂，其与DNA或核蛋白比如组蛋白结合。
使用与选择性地将(任何种类的细胞的)核区染色的荧光染色剂对用的另外的第三图像可能是有利的，因为有可能“模拟”用于将核区染色的已知的明场图像染色技术，例如用于模拟苏木精染色。如果没有感兴趣的生物标志物(因此，没有第二图像)，为了模拟如从明场成像技术中已知的核指示信号，可以使用另外的核特异性荧光染色剂，目的仅在于将包含在组织中的任何类型的细胞的细胞核染色。因此，在生物标志物都不是核生物标志物的情况下，使用另一种“第三”染色剂/颜色来提供“核图像”，作为对病理学家的光学引导。
根据替代实施方案，该方法包括：
–通过重叠并组合两个或更多个第二图像的像素强度来生成第三图像，所述两个或更多个第二图像针对两种或更多种生物标志物而被接收，所述两种或更多种生物标志物是核生物标志物；
–将第三图像变换成具有第三颜色的变换后的第三图像；
–其中重叠并组合变换后的第一、第三以及一个或多个第二图像以提供组合图像。
这可能是有利的，因为在两种(或-优先地-三种或更多种)生物标志物是核生物标志物(例如核蛋白)的情况下，可以省略使用一般用于将细胞核染色的另外的“第三荧光染色剂”，从而简化染色方案。
通常，用于生成第二图像的生物标志物预期并非在所有种类的细胞中表达。这是因为通常根据病理学家要回答的生物学或医学问题来选择生物标志物，使得生物标志物的具体组合的存在或不存在指示特定细胞的类型或状态。通过组合由两种或更多种生物标志物生成的信息，至少一种核生物标志物在组织样品中所包含的每个细胞的细胞核中表达的可能性是高的。被对应的荧光染色剂染色的核生物标志物的数量越高，所有所述“核图像的组合将一般指示包含在组织样品中的任何种类的细胞(肿瘤和非肿瘤)中的细胞核的可能性就越高。
根据实施方案，第三颜色是苏木精染色样品的明场图像中苏木精的颜色。
根据实施方案，该方法进一步包括进行每个单色荧光图像的亮度反转，以分别生成亮度反转的单色荧光图像，并对亮度反转的单色荧光图像进行变换，以分别生成第一和第二以及任选地第三变换后的图像，将该图像重叠并组合而获得模拟的明场图像。
这可能是有利的，因为生成的反转图像甚至更准确地反映了明场图像的典型颜色构成和分布。在典型的荧光图像中，背景区域(未被组织覆盖的载玻片区域和未被荧光染色剂染色的组织区)表示为黑色或非常暗的像素。相反，在明场成像中，背景区域(未被组织覆盖的载玻片区域和未被比如H&E的常规明场图像染色剂染色的组织区)表示为亮像素。
进行亮度反转以变换输入图像(例如单色荧光图像)，使得像素强度值反转：将输入图像中的像素具有的在给定的允许强度值范围内的最低可能值(例如“0”)变换成最高可能强度值(例如“255”)。将输入图像中的像素具有的在给定的允许强度值范围内的最高可能值(例如“255”)变换成最低可能强度值(例如“0”)。因此，正如从明场显微镜检查所知，单色荧光图像的黑色或暗背景区域被变换成白色或至少明亮的背景区域。
用于数字图像的亮度反转的各种方法是本领域已知的。根据一个例子，进行明场反转包括针对输入图像中具有强度值(“亮度值”)XP的每个像素P，根据下式计算出反转强度值YP：
YP＝L-XP，
强度值XP可以是预定义范围内的值，例如在0-255范围内。L是在所使用的强度编码方案中允许输入图像像素具有的最大可能强度值，例如255。因此，如果XP为200，则YP为55。如果XP为40，则YP为215。
根据另一个例子，进行明场反转包括针对输入图像中具有强度值(“亮度值”)XP的每个像素P，根据下式计算出反转强度值YP：
Figure GDA0003466516750000091
同样，“L”是在所使用的强度编码方案中允许输入图像像素具有的最大可能强度值，例如255。通过将多个“典型的”单色荧光图像中的每一个进行强度反转而成为对应的强度反转图像，可以启发式地获得参数gammap、contrastp和brightnessp。由多位病理学家审查该多个亮度反转图像。对于每个输入图像，选择一个或多个最佳地再现在明场图像中观察到的像素亮度分布的反转图像。鉴定了用于生成所选图像的参数gammap、contrastp和brightnessp，该图像具有“最佳”/“最真实”的明场显微镜亮度分布。任选地，根据所选的“最佳”参数计算出平均gammap、平均contrastp和平均brightnessp。然后，将这些所选的和任选地平均的参数用于随后分析的组织样品以进行强度反转。病理学家用于确定该三个参数的典型图像优先地但不一定显示与用于采集荧光图像的组织样品相同的组织类型。通过启发式地确定gammap、contrastp和brightnessp，提供了高度精确地再现明场图像中的亮度分布的图像亮度反转技术。
根据实施方案，至少一种核生物标志物的第二图像用于生成第一图像并且用于生成第三图像。这可能是有利的，因为包含在“核生物标志物”荧光图像中的信息被使用三次：一次用于模拟一般指示生物物质存在的第一图像(“模拟曙红染色”)，一次用于模拟指示细胞核的图像(“模拟苏木精染色”)，并且一次用于提供指示被第二荧光染色剂之一选择性地染色的特异性生物标志物存在的第二图像之一。
根据实施方案，该方法进一步包括生成一个或多个第二图像和/或第一图像，并且任选地还生成组织样品的第三图像，该生成包括进行组织样品的多光谱数字图像的光谱解混(unmixing)。
例如，可以接收多光谱图像，然后在多光谱图像上应用颜色反卷积算法。该算法提取自发荧光信号分量并将此分量作为第一图像存储在存储介质中。另外，针对用于选择性地将对应的生物标志物染色的每种荧光染色剂，该算法提取相应的荧光信号，并将此分量作为第二单色数字图像之一存储在存储介质中。任选地，如果使用选择性地将任何种类的细胞的核区染色的荧光染色剂，则该算法提取相应的荧光信号并将此分量作为指示组织样品的任何细胞的核区的另一个单色数字图像存储在存储介质中，以便提供稍后可以变换成模拟苏木精图像的图像。
根据实施方案，该方法进一步包括：
–接收组织样品或类似组织样品的自发荧光参考光谱，并且使用光谱解混中的自发荧光参考光谱来生成第一图像；或
–接收一般与组织样品的生物物质结合的第一染色剂的第一荧光参考光谱；并且使用在光谱解混中的所述第一接收的荧光参考光谱来生成第一图像；
–接收用于将一种或多种生物标志物染色的每种荧光染色剂的第二荧光参考光谱；并且使用每一个接收的第二荧光参考光谱来生成一个或多个单色第二图像的对应图像；和/或
–接收用于将核区染色的荧光染色剂的第三荧光参考光谱；并且使用接收的第三荧光参考光谱来生成第三图像。
因此，与自发荧光信号通常被滤除或被视为噪声的现有技术系统相反，通过生成和使用自发荧光信号的参考光谱，可以主动地从多光谱图像中提取自发荧光信号，并且将其用于增加将要显示给病理学家的图像的信息内容和质量。
根据实施方案，图像处理系统访问染色方案数据，该染色方案数据指示用于将一种或多种生物标志物染色的荧光染色剂的类型并且任选地指示用于一般将生物物质染色和/或用于将核区染色的荧光染色剂。取决于根据染色方案数据所使用的荧光染色剂，图像处理系统选择多个变换程序之一来生成变换后的第一、一个或多个第二和任选地第三图像。
例如，方案数据可以指示如异硫氰酸荧光素的特定荧光染色剂，使用FIT将特定的蛋白质如FAP染色，然后图像处理系统自动选择和应用被配置为将典型的“FIT”颜色变换成第二颜色的颜色变换算法，该第二颜色被指定给在配置数据结构中的生物标志物FAP。另外，方案数据可以指示，自发荧光信号应该被用作第一图像，并且应该根据指定给配置数据结构中曙红的颜色的“自发荧光”信号而被转换成典型的“曙红”颜色。因此，根据本发明实施方案的图像处理系统被配置为自动评估和使用方案数据来进行图像变换，由此确保无论使用何种染色方案，特定的生物标志物都将始终将特定一种第二颜色指定给在配置数据结构中的生物标志物。
根据实施方案，染色方案数据是配置数据结构的一部分。每当样品染色系统将一个或多个样品染色时，自动化样品染色系统与染色方案数据偶联并具有写访问权，并自动存储染色方案数据，特别是用于将对应的生物标志物染色或用于一般将核区染色和/或生物物质存在的染色的荧光类型。可以将每个生物样品放置在包含条形码或另一种形式的样品标识符的载玻片上，该样品标识符与存储在染色方案数据中的样品ID对应。通过存储与所使用的荧光染色剂以及所述染色剂被配置为与其结合的生物标志物和其他生物结构相关联的样品ID，每当新的生物样品被染色时，染色方案数据自动更新(这可能取决于抗体或用于将染色剂附着到生物结构上的其他形式的载体，如果有的话)。通过自动化样品染色系统自动更新染色方案数据与染色方案数据和配置数据结构的自动评估相结合可能是有利的，因为这样自动确保图像处理系统选择适合于生成变换后的第一、第二和第三图像的变换程序，该图像代表具有病理学家熟悉的颜色的生物结构。
根据一些实施方案，选择性地将核区染色的第三荧光染色剂是选择性地与Ki67蛋白结合的荧光染色剂，Ki67蛋白是与细胞增殖相关的核蛋白。
根据一些实施方案，该一种或多种生物标志物选自下组，该组包括FAP、PanCK、CD34、CD3、CD4、CD8、CSF1R、DR5、KI67、穿孔素、CC3等。例如，FAP基因产物(成纤维细胞活化蛋白)是膜蛋白，其表达在超过90％的所有人类癌的活化的基质成纤维细胞上可见。基质成纤维细胞在癌的发展、生长和转移中起重要作用。在明场成像中，通常用DAB或fastRed将FAP染色，并且例如选择变换后的图像的颜色使得它自然地再现DAB或fastRed的明场图像颜色。
将单色(即，“灰度”)第一、第二和/或第三图像(在下文中称为“源图像”)中的任何一个变换为变换后的版本可以通过本领域已知的颜色变换方法来进行，由此用作输入图像的单色数字图像的“颜色”通常是在预定义值范围内的强度值。因此，也可以将图像变换描述为图像“着色”操作。
根据用于将图像变换到期望的明场图像颜色空间的第一例子，源图像(即，荧光单色图像或其亮度反转版本)中的每个像素P可以具有0和255之间的强度值，并且可以作为8位数存储，其中0表示没有强度，255表示全强度。特定的源图像像素P可以具有201的强度值。现在的任务可以是将源图像的像素P的像素强度值201变换成源图像的变换后的版本中的相应像素TP的RGB值，由此在这种情况下，变换后的图像版本应该“看起来像”曙红染色的明场图像。为了执行所述任务，可以由图像处理系统执行以下操作：
-访问配置数据结构；该配置数据结构指定明场显微镜图像中的曙红染色结构的“典型”RGB值；例如，可以在配置数据结构中给曙红指定以下值：R曙红＝240，G曙红＝117，B曙红＝240；
-计算HLS颜色模型中的变换后的像素TP，由此使用给变换后的图像的期望颜色指定的“典型”RGB值。在给定的例子中，变换可以如下进行：
-取源图像中像素P的灰度值201，并将其用作源图像的强度标的最大可能强度值(例如255)的百分比。因此，如果P具有灰度值201并且最大可能强度值是255，那么变换后的“彩色”图像中的等效像素将是：
-
Figure GDA0003466516750000121
-
Figure GDA0003466516750000122
-
Figure GDA0003466516750000123
根据用于将图像变换到期望的明场图像颜色空间的第二例子，定义了针对rgb明场图像的期望明场颜色的红色、绿色和蓝色通道的三个参数PR、PG和PB。每个所述参数(也称为消光系数)按照密度或按照“摩尔浓度”定义一种物质分别吸收给定波长的光(例如“红色”、“绿色”和“蓝色”)的强度。例如，所述三个参数可以凭经验确定：病理学家可以用特定的明场图像染色剂(例如，苏木精)将生物样品染色。然后，确定样品的明场图像中的红色、绿色和蓝色像素强度水平的分布。优先地，像素强度水平被归一化为0和1之间的值。然后，鉴定具有所有图像像素均值(log(像素强度))的最小值的三种RGB颜色之一。例如，所述颜色可以是“红色”。在这种情况下，三个参数PR(“参数红色”)、PG(“参数绿色”)和PB(“参数蓝色”)计算如下：
Figure GDA0003466516750000131
Figure GDA0003466516750000132
Figure GDA0003466516750000133
然后，凭经验确定的参数PR、PG和PB可用于将荧光图像(或其亮度反转版本)变换成具有特定的期望明场颜色的明场图像。
为了将单色荧光图像变换成具有特定的期望明场颜色(例如，苏木素的颜色)的明场图像，可以在非线性变换方程中使用参数PR、PG、PB。该非线性变换方程用于根据下式将荧光图像中的每个像素px变换成RGB明场图像中的对应像素pxBF：
RpxBF＝255exp(-cr*PR*[FSTAIN_INTpx])
GpxBF＝255exp(-cg*BR*[FSTAIN_INTpx])
BpxBF＝255exp(-cb*BR*[FSTAIN_INTpx])
参数FSTAIN_INTpx表示在与所述荧光染色剂FSTAIN对应的荧光图像(或亮度反转荧光图像)中的像素px处的(单色)荧光染色剂信号的强度值。
参数cr、cg、cb是与明场图像染色剂的消光系数相乘的常数，该明场图像染色剂的颜色将被模拟。例如，苏木精的“期望”rgb颜色可以是rgb(102、102、255)。因此，苏木精的cr、cg和cb参数为cr＝102，cg＝102且cb＝255。然后，“模拟明场图像”的所得RpxBF、RpxBF和RpxBF值可以在保持其比例值的情况下被归一化为0和255之间的值。可替代地，参数cr、cg、cb在保持其比例值的情况下被归一化为0和255之间的值。可替代地，参数cr、cg、cb使得输出颜色值(RpxBF、RpxBF和RpxBF)分别位于0-255的范围内。
根据实施方案，一种或多种生物标志物是选自下组的胞质蛋白，该组包括细胞角蛋白、FAP、肌动蛋白、微管蛋白等。
根据实施方案，一般将生物物质染色的第一染色剂是与抗体偶联的荧光染色剂，由此该抗体与至少分布在组织样品中的所有细胞的胞质溶胶中的蛋白质结合。抗体可以是与在被检组织的细胞中特别是在胞质溶胶中呈组成型表达的蛋白质结合的抗体，该蛋白质是例如哺乳动物细胞中的微管蛋白(tubulin)、微管蛋白(microtubulin)或肌动蛋白。例如，F-肌动蛋白是形成网络结构并且通常跨越细胞的大部分细胞质的蛋白质。因此，使用与抗体偶联的任意荧光染色剂作为第一染色剂，该抗体一般与任何种类的蛋白质结合或与特定的大量存在的胞质蛋白结合。
与所述抗体(或一般与生物物质特别是胞质蛋白结合的其他分子)偶联的荧光染色剂可以例如选自一组荧光染色剂，包括荧光素及其衍生物，例如异硫氰酸酯(FITC)；罗丹明及其衍生物，例如四甲基罗丹明-5-(和6)-异硫氰酸酯(TRITC)；花青(例如Cy2、Cy3、Cy5和Cy7)。
可替代地，第一染色剂是选自下组的荧光染色剂，该组包括例如：高碘酸(细胞的细胞质染色剂和强氧化剂)；BCECF/AM；星蓝(Astra Blue)(植物组织中的寡糖和多糖如纤维素的染色剂)；固绿FCF(Fast Green FCF)(在IEF和SDS-PAGE中广泛使用的组织和蛋白质染色剂，在IR附近发荧光)；鬼笔环肽-四甲基罗丹明缀合物(一种荧光鬼笔毒素，其可用于鉴定丝状肌动蛋白)；荧光素5(6)-异硫氰酸酯(蛋白质的荧光标记试剂)或与碱性分子结合并且因此具有与曙红相似的染色模式的任何荧光染色剂。
另外，还可能使用非抗体偶联的荧光染色剂将具体亚细胞区室(例如核区)染色。例如，
可以使用DAPI(对富含腺嘌呤和胸腺嘧啶的DNA优先的细胞可渗透的DNA结合染料)将核区染色。代表荧光DAPI信号的单色图像可以例如变换成具有自然地再现苏木精颜色的颜色的图像，由此从DAPI荧光图像生成“人工”苏木精图像。
根据实施方案，该方法进一步包括用一种或多种第二荧光染色剂和任选地用一种或多种第一荧光染色剂和/或第三荧光染色剂将组织样品染色；并且用荧光图像采集系统采集组织样品的数字荧光图像。取决于实施方案，染色可以手动、半自动或自动进行。优先地，将染色方案数据(用于检测对应的生物标志物和/或所使用的生物物质或核区的一般存在的荧光染色剂的类型，染色条件如温度、pH值、持续时间等)存储在存储介质中，该染色方案数据与在应用染色方案时被染色的样品的样品标识符相关联。例如，可以用荧光显微镜或荧光载玻片扫描仪采集数字图像。
在一个另外的方面，本发明涉及一种用于从组织样品的数字单色荧光图像生成模拟数字明场IHC或ISH图像的图像处理系统。该组织样品包含一种或多种染色的生物标志物。每种染色的生物标志物被对应的荧光染色剂染色。该图像处理系统被配置为：
–接收组织样品的第一荧光图像，第一图像的像素强度一般指示生物物质的存在；
–将第一图像变换成具有第一颜色的变换后的第一图像；
–对于每种染色的生物标志物，接收组织样品的对应的第二荧光图像，每个第二图像的像素强度选择性地指示将所述生物标志物选择性地染色的荧光染色剂所发射的荧光信号，
–将每个第二图像变换成具有对应的第二颜色的对应的变换后的第二图像；
–重叠并组合变换后的第一和一个或多个第二图像；
–将组合的图像作为模拟数字明场IHC或ISH图像存储在存储介质中；和/或
–将组合的图像作为模拟数字明场IHC或ISH图像显示在显示设备上。
在一个另外的方面，本发明涉及一种包含指令的计算机可读介质，当由处理器执行时，该指令使处理器执行根据上述实施方案的任何一个的方法。
如本文中使用的术语“光谱解混”或“颜色反卷积”是这样的程序，藉此程序将混合像素的测量光谱分解成组成光谱的集合以及指示在像素中存在的每个组成光谱的比例的一组相应分数。组成光谱通常与具体的荧光染色剂及其发射光谱对应。
如本文中使用的“图像处理系统”是被配置用于处理数字图像的包括一个或多个处理器的电子装置。
免疫组织化学(“IHC”)是指通过利用抗体与生物组织中的抗原特异性结合的原理来检测组织切片的细胞中的抗原(例如，蛋白质)的过程。IHC的取名来自词根“免疫”(“immuno”)，涉及在该过程中使用的抗体，以及表示组织(tissue)的“组织”(“histo”)(与免疫细胞化学相比)。免疫组织化学染色广泛用于诊断异常细胞，比如在癌性肿瘤中发现的细胞。特异性分子标志物是特定细胞事件比如增殖或细胞死亡(细胞凋亡)所特有的。免疫组织化学也广泛用于基础研究中，以了解生物标志物和差异表达的蛋白质在生物组织不同部分中的分布和定位。能以多种方式实现抗体-抗原相互作用的可视化。例如，可以将抗体标记到荧光团(比如荧光素或罗丹明)上。如本文中使用的“IHC”图像是描绘免疫组织化学染色的组织样品的数字图像。
原位杂交(“ISH”)是这样一种杂交类型，其使用标记的互补DNA、RNA或修饰的核酸链(即探针)来定位组织(原位)的一部分或切片中，或者，如果组织足够小(例如，植物种子、果蝇胚胎)的话，在整个组织(整体ISH)、细胞和循环肿瘤细胞(CTC)中的特异性DNA或RNA序列。虽然免疫组织化学通常定位组织切片中的蛋白质，但原位杂交一般定位组织切片中的核酸。如本文中使用的“ISH”图像是描绘原位杂交染色的组织样品的数字图像。
如本文中使用的“明场IHC或ISH图像”是描绘IHC或ISH样品中的数字图像，该样品已经被明场图像染色剂染色并且是明场显微镜所生成的视觉输出。
如本文中使用的“染色剂”或“染料”是具有特征光吸收光谱(明场成像染色剂)和/或荧光发射光谱(荧光染色剂)并且可以通过各种手段与生物材料偶联的物质。偶联可以基于染色剂和生物材料的物理化学性质(例如，选择性地与酸分子如DNA结合的染色剂)，可以基于将染色剂偶联到与特定的蛋白质、核酸或其他生物结合的抗体上，可以基于蛋白质的遗传修饰以将染色剂(例如以绿色荧光蛋白的形式)偶联到所述遗传修饰的蛋白质上或将染色剂偶联到生物材料上的任何其他方式。
明场显微镜检查是所有光学显微镜照射技术中最简单的。样品照射是用白光透射(即，从下方照射并从上方观察)，并且样品中的对比度由样品的致密区中的一些透射光的吸收引起。明场显微镜检查通常用于在光学显微镜中照射样品，其简单性使其成为一种流行的技术。明场显微镜图像的典型外观是明亮背景上的暗样品，因此而得名。在明场成像中，一组通常良好染色的物质比如曙红、苏木精、吉姆萨(Giemsa)、考马斯蓝等具有熟知的结合特性，这取决于生物物质的物理化学性质，例如DNA的酸性或蛋白质内碱性基团的存在。
如本文中使用的“模拟明场图像”是通过图像处理操作生成的数字图像，该图像处理操作将预定义颜色指定给特定的像素，这取决于由所述像素代表的生物材料或结构(例如，任何种类的蛋白质、细胞核或特异性生物标志物)。因此，明场图像的特性被“模拟”，其中染色剂通常通过它们的物理化学性质与限定的生物结构(例如酸性或碱性组织或细胞成分)联系。任选地，如本文中使用的模拟明场图像具有典型明场图像的其他特性，例如明亮的(非组织)背景而不是黑色的(非组织)背景和/或这样的颜色，其自然地再现在明场图像中使用的熟知的染色剂比如曙红、苏木精和曙红(在被所述明场图像染色剂染色的相同类型的生物结构中)的颜色。图像被“模拟”，因为它实际上是根据荧光图像捕获设备捕获的一组单色图像计算而得。
附图简述
参考附图，仅通过举例的方式更详细地解释了本发明的下列实施方案，其中：
图1描绘了通过颜色反卷积从多光谱图像中采集多个单色图像；
图2描绘了采集样品的多个单色图像的替代方式；
图3是图像处理流水线的框图；
图4描绘了其中多种不同的生物标志物被不同颜色的荧光染色剂染色的荧光图像；
图5描绘了荧光图像到模拟明场图像的变换；
图6是图像处理系统的框图；
图7是图像处理方法的流程图；并且
图8示意性地描绘了用于生成模拟明场图像的多个变换后的荧光图像的组合。
发明详述
图1描绘了通过颜色反卷积从多光谱图像中采集多个单色图像。
首先提供组织样品。例如，作为许多癌症类型(例如结肠直肠癌)的诊断的一部分，取一个或多个活检样品。将活检样品切成一个或多个薄组织层102。层102可以用选择性地将特异性生物标志物、细胞和/或细胞器染色的一种或多种荧光染色剂染色，并且从一层102获取多光谱图像104以捕获有意义的生物医学特征，其可以允许将肿瘤分类和/或可以允许预测临床结果和/或生成治疗建议。图像采集系统(例如载玻片扫描仪或显微镜)可以采集多光谱图像114，其可以包含多种不同的荧光染色剂的光谱信息，并且可以包含载玻片上的组织层102的自发荧光信号。多光谱图像104可以是整个载玻片图像，因此可能很大。通过应用光谱解混程序，创建了多个数字图像106-1-106.4。因此，创建组织样品100的相同层102的单色荧光数字图像106.1-106.4的组112。组112中的至少一些图像可以与由对应的生物标志物特异性荧光染色剂选择性地生成的强度信号对应，因此可以与特定的生物医学特征(例如特定的生物标志物的存在和分布)对应。所述单色荧光图像中的至少一个是选择性地指示组织的自发荧光信号的图像。可替代地，通过重叠并组合描绘细胞溶质和核和/或膜生物标志物的多个单色荧光图像，在计算上生成另一个单色图像(“第一图像”)(未显示)。可以通过图像处理系统处理和分析图像106.1-106.4中的每一个，正如例如在图6中描绘，用于从单色荧光图像106.1-106.4的变换后的版本生成模拟的“虚拟”明场图像。
图像采集系统302可以将多光谱图像104提供给图像处理系统306，其执行颜色反卷积以生成第一和第二单色荧光图像，并且还执行图像变换和组合操作以生成模拟的明场图像。可替代地，可以由图像采集系统304执行颜色反卷积，并且将生成的单色荧光图像(作为颜色反卷积操作的输出而生成)存储在图像处理系统306可访问的存储介质中。
图2描绘了采集组织样品的多个单色荧光图像的替代方式。
再次，提供可通过免疫荧光图像分析检测的组织样品，例如疑似患有肿瘤或另一种疾病的患者的组织样品。
将活检样品切成多个薄的相邻组织层102、108、110。将每个组织层102、108、110用荧光染色剂染色，该荧光染色剂选择性地将特异性生物标志物、细胞和/或细胞器染色或非特异性地将载玻片上包含的任何生物物质染色。可以将每个组织层用不同的染色方案染色，并且可以将其转移到对应的载玻片上。对于每个层和相应的染色剂，采取相应的单色荧光图像106.5-106.7来捕获有意义的生物医学特征，其可以允许将肿瘤分类和/或可以允许预测临床结果和/或生成治疗建议。图像采集系统(例如载玻片扫描仪或显微镜)依次或平行地捕获由染色的相邻组织切片102、108、110发射的荧光信号，并采集对应的单色荧光图像。图像106.5-106.7中的每一个可以包含特定荧光染色剂的光谱信息，并且可以包含载玻片上任何组织或生物结构的自发荧光信号。对于图1中描绘的例子，图像可以是整个载玻片图像，因此通常可能很大。
由于组织切片很薄(通常比300μm薄)，例如约200μm或更小，将衍生自不同切片的图像重叠仍将允许组合和重叠针对不同层衍生的图像，以生成组合的模拟明场图像，其包含可由病理学家解释的具有生物学意义的图形信息。
根据一个仍另外的实施方案(未显示)，通过使用多个荧光滤光片生成组织样品的多个荧光单色图像。例如，将特定的组织切片102用多种不同的荧光染色剂染色，每种染色剂具有不同的颜色并且与不同的生物标志物(例如多种不同的细胞溶质、核和/或膜蛋白)结合。可以使用光源通过对应的荧光染色剂激发荧光信号的发射。
在一些例子中，使用广谱光源。这可能具有激发具有重叠发射光谱的多种荧光染色剂的风险，这可能导致由不同荧光染色剂发射的荧光信号的混合。当试图辨别与不同的生物标志物对应的信号时，这可能导致问题。根据一些实施方案，使用荧光滤光片选择性地接收处于特定光谱范围内的荧光信号，该荧光信号是特定荧光染色剂所特有的，并且因此是被所述荧光染色剂染色的生物结构所特有的。通过针对所使用的每种荧光染色剂使用对应的荧光滤光片(每种荧光染色剂的荧光发光光谱是已知的)，采集单色荧光图像，其选择性地包含与特定一种荧光染色剂的对应的荧光信号强度。
图3是图像处理流水线的框图。自动组织染色系统或实验室工作人员可以应用染色方案，用一种或多种荧光染色剂将一个或多个组织样品302、100或其部分102、108、110染色。将染色的组织样品转移到对应的组织载玻片上，并将载玻片加载到图像采集装置304(例如荧光载玻片扫描设备或荧光显微镜等)中。
图像采集装置304采集多光谱图像104，其通过光谱解混程序变换成如针对图1所述的多个单色荧光图像202、106.1-106.4。可替代地，可以通过图像处理系统306从图像采集装置304接收多光谱图像104来执行颜色反卷积。
可替代地，图像采集装置304直接从分别用作组织样品的多个相邻组织切片采集多个单色荧光图像202、106.5-106.7，如图2的图描述中所述。根据一个另外的替代实施方案，图像采集装置304通过应用多个不同的荧光滤光片来采集多个单色荧光图像202、106.5-106.7。
在根据任何上述方法已经采集多个单色荧光图像之后并且在由图像处理系统306接收和/或生成所述图像之后，图像处理系统306开始变换和组合单色荧光图像的子集，以生成如本文所述的本发明实施方案的模拟明场图像204。图像处理系统306的组件的示例性和且更详细的说明描绘在图6中。生成的模拟明场图像204存储在非易失性存储介质中和/或在显示设备308上显示给病理学家。
图4描绘了多个荧光图像202的重叠，其中多种不同的生物标志物被不同颜色的荧光染色剂染色。荧光图像的非组织背景区域具有黑色。各种荧光染色剂的数量和分布是复杂的。病理学家可能必须仔细和手动检查染色方案，以便找出什么荧光颜色与什么种类的生物标志物对应。
图5描绘了荧光图像到模拟明场图像204的变换。更具体而言，模拟明场图像模拟了H&E染色的组织切片，其中细胞核用苏木精-蓝色着色，并且胞质蛋白用曙红-粉红色着色，这是作为应用在对应的荧光图像上的变换步骤的结果。通过反转变换后的(“着色的”)荧光图像的像素强度，将荧光图像202的黑色图像背景变换成对于明场图像而言典型的白色背景。
图6是图像处理系统306的框图。该系统包括主存储器416、一个或多个处理器402和接口418，该接口用于从非易失性存储介质404和/或从图像采集系统304接收多光谱和/或单色荧光图像。例如，接口418可以是网络接口，并且图像采集系统304可以经由网络(例如互联网)与图像处理系统306连接。如本文中使用的“非易失性存储介质”是一种存储器类型，其即使在循环加电(关闭和重新打开)之后也可以检索存储的信息。非易失性存储介质的例子包括只读存储器、闪存、铁电RAM(F-RAM)、大多数类型的磁性计算机存储设备(例如硬盘驱动器、软盘和磁带)和光盘。
图像处理系统306与显示设备308(例如LCD显示器、双稳态显示器或任何其他形式的电子显示系统)可操作联接。图像处理系统的非易失性存储介质404可以包含多个数字指令，其可以由处理器402解释和执行，并且根据本文所述的本发明实施方案实施用于生成模拟明场图像的图像处理方法。该指令可以包括第一指令406，其用于将多个(第一、第二和任选地也被认为的)单色荧光图像中的每一个变换成特定颜色的对应的变换后的图像。变换后的图像的颜色取决于输入图像从其变换的荧光染色剂所结合的生物结构。生物结构可以是特异性生物标志物，例如位于细胞质、细胞核或细胞膜中的特异性蛋白质。
关于第一图像的变换，染色的生物结构可以是被一般结合(例如非特异性结合)的荧光染色剂染色或被靶向不同的生物结构的多种不同的荧光染色剂染色的生物材料的总体，其随后被组合生成模拟的荧光单色第一图像。可替代地，“染色的生物结构”实际上可以是载玻片上能够发射自发荧光信号的生物材料的总体。
生物结构的指定被存储在存储介质404中的配置数据结构中，该生物结构的存在由任何一个单色荧光图像202的像素强度指示，其被指定给所述单色荧光图像将被变换成的图像的颜色。
例如，可以将特定的生物标志物B1指定给以特异性RGB值RGB1为特征的第二颜色C1。可以将另一种生物标志物B2指定给以另一个特异性RGB值RGB2为特征的另一种第二颜色C2。可以将又另一种生物标志物B3指定给以特异性RGB值RGB3为特征的又另一种第二颜色C3。所述指定和明场图像显微镜检查染色剂的典型RGB值存储在配置数据结构414中。因此，配置数据结构可以指示多种不同的染色剂(比如在明场图像显微镜检查中常用的DAB、苏木精和/或曙红)的典型RGB值。存储介质可以进一步包含染色方案数据412，其指示用于将特定的生物标志物染色的荧光染色剂的类型。如果染色方案数据指示没有用于生成第一图像的一般荧光染色剂，则图像处理系统306可以通过重叠并组合所有可用的生物标志物特异的第二荧光图像来自动计算第一图像，或者可以将包含自发荧光信号的图像自动变换成为变换后的第一图像，其具有通常用于明场图像显微镜检查中的组织背景染色的颜色，例如曙红的粉红色。
该指令可以包含另外的指令408，其用于在图像分析系统被配置为经由接口418从图像采集系统接收多光谱荧光图像的情况下执行颜色反卷积操作。具体而言，指令408可以包含用于获得对于被检查的组织类型(例如肝组织、肺组织、肌肉组织)而言典型的自发荧光参考分布的程序，并且使用该自发荧光参考分布来执行多光谱图像的颜色反卷积和提取自发荧光图像，其一般指示组织载玻片上生物物质的存在并且用作第一图像。
该指令进一步包含指令四104，其用于通过组合两个或更多个生物标志物特异的第二单色荧光图像106.1-106.7来计算第一单色图像，该第一单色图像一般指示组织载玻片上生物物质的存在。
图7是图像处理方法的流程图。例如，该方法能以存储在图像处理系统的存储介质404中的电子指令的形式来实施，正如例如在图6中描绘和描述。
在第一步骤702中，图像处理系统306接收第一荧光图像，其一般指示包含生物样品100的载玻片上的生物物质102、108、110的存在。例如，可以通过执行指令408的处理器402进行的颜色反卷积操作来提供第一数字图像，该指令用于提取由生物样品发射的自发荧光信号。可替代地，可以通过组合多个生物标志物特异的单色荧光图像(本文中称为“第二图像”)来生成第一数字图像。可以通过指令410来实施第一数字图像的生成。
在第二步骤704中，图像分析系统通过执行指令406将第一图像变换成变换后的第一图像。变换后的第一图像具有在配置数据结构414中指定的第一颜色。第一颜色优先地是明场图像显微镜检查中常用的一般组织染色剂的颜色。这样的第一颜色的例子是曙红的淡红色/粉红色。
对于染色的一种或多种生物标志物中的每一种，在用对应的应荧光染色剂进行染色方案的同时，执行步骤706和708。在步骤706中，由图像分析系统306接收这样的荧光单色图像，其像素强度选择性地指示该生物标志物的存在。该图像在本文中也称为“第二图像”。例如，通过从存储介质404读取图像或经由接口418从图像采集系统接收图像，可以检索每个第二图像。在步骤708中，例如通过执行指令406，将每个第二图像变换成对应的变换后的第二图像。每个变换后的第二图像具有特定的与所有其他变换后的第二图像的第二颜色不同的第二颜色。用于生成第二变换后的图像的第二颜色被指定在配置数据结构414中。优先地，图像处理系统306实施图形用户界面，这使得病理学家能够将特定的第二颜色指定给特异性生物标志物。通过使用相同的配置来生成针对不同患者的不同组织样品的模拟明场图像，病理学家可以确保特定的生物标志物(例如，像FAP这样的特定蛋白质)总是以相同的第二颜色(例如棕色的DAB样的颜色)着色，而不论用于将FAP蛋白染色的荧光染色剂的颜色如何。这是有利的，因为特定的生物标志物可以由具有不同染色试剂盒的不同实验室染色。通过生成其第二颜色取决于被染色的生物标志物并且再现在明场图像显微镜检查中具有一些经验的病理学家已经熟悉的颜色的变换后的第二图像，可以提高病理学家的生产力并且可以避免诊断错误。
在另外的图像处理步骤中(未显示)，第一、第二和第三变换后的图像中的每一个的亮度被反转。由此，没有荧光信号的图像区域以高像素强度值表示，这对于明场图像是典型的。
在步骤710中，重叠并组合第一和第二变换后的图像，以生成模拟明场图像204。“重叠”步骤意味着在公共坐标系中使不同的第一和第二变换后的图像互相映射。优先进行第一和第二变换后的图像重叠的创建，使得第一图像用作最低级别图像，并且所有变换后的第二图像叠加在第一图像之上。这是因为变换后的第一图像指示生物物质的存在，并且用于辨别载玻片上的组织区与非组织区和/或用于辨别细胞内区与细胞外区。在图像处理系统进一步生成指示任何种类的细胞的核区的变换后的第三图像(根据典型的例子，变换成苏木蓝色图像)的情况下，所述该第三图像被置于第一图像之上但在每个第二变换后的生物标志物特异性图像之下。重叠的第一、第二和第三变换后的图像的完整堆叠被称为组合的模拟明场图像。根据一些实施方案，生成图形用户界面并将其呈现给病理学家，这使得病理学家能够选择将要重叠并组合的变换后的第一、第二和/或第三图像的子集，以生成模拟明场图像。这可能是有利的，因为降低了包含在模拟明场图像中的视觉信息的复杂性。如果病理学家不想立即看到所有染色的生物标志物的信号，他或她可以简单地取消选择此时被认为不相关的生物标志物。例如，GUI可以包括用于第一、第二和/或第三变换后的图像中的每一个的复选框，并且只有其复选框项被病理学家选定的变换后的图像才被重叠并组合而生成模拟明场图像204。
在步骤712中，图像处理系统306将组合的第一、第二和/或第三变换后的图像的集合作为模拟明场图像存储在存储介质404中。例如，图像可以存储为JPEG或任何其他已知的图像格式。另外，或者可替代地，图像处理系统306将模拟明场图像204显示在与该图像处理系统联接的显示设备308上。
图8示意性地描绘了用于生成模拟明场图像的多个变换后的荧光图像的组合。玻璃组织载玻片600包括未被任何组织细胞覆盖的区域602，并且包括被各种类型的细胞覆盖的其他区域604、606。例如，右侧描绘的一组细胞604可以由基质细胞组成，右侧描绘的第二组细胞606可以由肿瘤细胞组成。每个细胞由核区610、细胞溶质区608和细胞膜612组成。
在明场图像显微镜检查中使用的典型的H&E染色的组织载玻片中，图8a中描绘的区域具有以下颜色：未被任何细胞覆盖的区域602通常很亮(并且可具有大约255的RGB值)。组织载玻片上包含的近乎所有的细胞都被曙红染成粉红色，因为曙红与几乎任何种类的细胞的胞质溶胶中存在的碱性蛋白质结合。而且，组织载玻片上包含的任何细胞的近乎所有细胞核都被苏木精染成蓝色，因为苏木精与细胞核中的酸性DNA结合。通常，H&E染色用于帮助病理学家辨别组织区604、606与非组织区602，并用于鉴定组织切片内的核区、细胞溶质区和细胞外区。
下图8b-8d展示了多个生物标志物特异性荧光信号和自发荧光信号的组合如何可用于在计算上生成(模拟)组织样品的明场图像。
图8b描绘了通过重叠并组合变换后的第一单色荧光图像614和变换后的第二单色荧光图像616而生成的模拟明场图像204.1。变换后的第一图像614是通过应用颜色反卷积操作从多光谱图像提取的变换后的自发荧光图像。变换后的第一图像包括一簇高强度像素斑点614，其一般指示生物物质(例如包含在组织的每个细胞中的蛋白质、核酸、脂肪酸)的存在，而不论该细胞是正常组织细胞(“基质细胞”)604还是肿瘤细胞。变换后的第一图像的颜色自然地再现了曙红的颜色。
已经通过使单色荧光图像着色计算了变换后的第二图像616，该单色荧光图像的像素强度指示选择性地将蛋白质组蛋白(在所有种类的哺乳动物细胞中表达的核标志物)染色的荧光染色剂。变换后的第二图像包括一簇高强度像素斑点616，其一般指示核区，而不论该细胞是正常组织细胞(“基质细胞”)604还是肿瘤细胞606。变换后的第二图像的颜色自然地再现了苏木精的颜色。
通过对第一和第二图像614、616进行强度反转并且通过重叠并组合第一和第二图像，模拟了明场图像204.1，其自然地再现了病理学家所熟悉的“真正的”明场图像的颜色构成和分布。
图8c描绘了通过重叠并组合上述变换后的第一单色荧光图像614和变换后的另一个第二单色荧光图像618而生成的模拟明场图像204.2。已经通过使单色荧光图像着色计算了变换后的第二图像618，所述单色荧光图像的像素强度指示选择性地将Ki67蛋白(选择性地在增殖细胞中表达的核标志物)染色的荧光染色剂。Ki67通常用作检测强烈增殖的肿瘤细胞的肿瘤标志物。变换后的第二图像包括选择性地指示肿瘤细胞606的核区的一簇高强度像素斑点618。变换后的第二图像的颜色可以在配置数据结构中指定，并且可以是例如绿色。
通过对第一和第二图像614、618进行强度反转并且通过重叠并组合第一和第二图像，模拟了明场图像204.2，其自然地再现了用曙红和用肿瘤特异性绿色染色剂染色的“真正的”明场图像的颜色构成和分布。
图8d描绘了通过重叠并组合针对图8b描述的变换后的第一单色荧光图像614和变换后的第二单色荧光图像616、针对图8c描述的另一个变换后的第二图像618以及又另一个变换后的第二图像620而生成的模拟明场图像204.3。变换后的第二图像620的像素强度指示选择性地将免疫细胞标志物(例如CD3蛋白)染色的荧光染色剂。CD3检测可以允许检测肿瘤附近的免疫细胞。变换后的第二图像620的颜色可以在配置数据结构中指定，并且可以是例如DAB-棕色。
通过对第一和第二图像614、616、618、620进行强度反转并且通过重叠并组合这些第一和第二图像，模拟了明场图像204.3，其自然地再现了用曙红(图像614中任何种类蛋白质的一般染色)、DAB(描绘CD3+免疫细胞的图像620)、苏木精(描绘包含组蛋白的核区的图像616)和绿色染色剂(描绘Ki67+肿瘤细胞的图像618)染色的“真正的”明场图像的颜色构成和分布。

Claims (19)

1.一种从组织样品(100)的数字单色荧光图像(106.1-106.7)生成模拟数字明场IHC或ISH图像的方法，该组织样品包含一种或多种染色的生物标志物，每种染色的生物标志物被对应的荧光染色剂染色，该方法由图像处理系统执行，并且包括：
–针对每种染色的生物标志物至少生成第一荧光图像并且生成第二荧光图像，该第一图像的像素强度一般指示生物物质的存在，每个第二图像的像素强度选择性地指示由选择性地将所述生物标志物染色的荧光染色剂发射的荧光信号，该第一和第二图像的生成包括对该组织样品的多光谱数字图像进行光谱解混，该生成进一步包括：
–接收该组织样品或类似的组织样品的自发荧光参考光谱，并且使用光谱解混中的该自发荧光参考光谱生成该第一图像；或接收第一染色剂的第一荧光参考光谱，该第一染色剂一般与该组织样品的生物物质结合；并且使用在光谱解混中的所述第一接收的荧光参考光谱来生成该第一图像；并且
–接收用于将该一种或多种生物标志物染色的每种荧光染色剂的第二荧光参考光谱；并且使用每一个接收的第二荧光参考光谱来生成一个或多个单色第二图像的对应图像；
–接收(702)该组织样品的第一荧光图像；
–将该第一图像变换(704)成具有第一颜色的变换后的第一图像；
–针对每种染色的生物标志物，接收(706)对应产生的该组织样品的第二荧光图像，
–将每个第二图像变换(708)成具有对应的第二颜色的对应的变换后的第二图像；
–重叠并组合(710)该变换后的第一和一个或多个第二图像；
–将该组合的图像作为该模拟数字明场IHC或ISH图像存储(712)在存储介质中；和/或
–将该组合的图像作为该模拟数字明场IHC或ISH图像显示(714)在显示设备上。
2.权利要求1的方法，该第一图像的像素强度选择性地指示由该组织样品中的生物物质发射的自发荧光信号。
3.权利要求1的方法，该第一图像的像素强度选择性地指示由第一荧光染色剂发射的荧光信号，该第一荧光染色剂一般与该组织样品的生物物质结合。
4.权利要求1的方法，其进一步包括：
–通过重叠并组合两个或更多个第二图像的像素强度来生成该第一图像，所述两个或更多个第二图像针对两种或更多种生物标志物而被接收，所述两种或更多种生物标志物包括：
–一种或多种细胞溶质生物标志物；
–以及任选地一种或多种核生物标志物和/或一种或多种膜生物标志物。
5.权利要求1的方法，该第一颜色是在曙红染色样品的明场图像中的曙红的颜色。
6.权利要求1的方法，该一种或多种第二颜色是用作明场显微镜检查染色剂的物质的颜色，该物质例如选自下组，该组包括：二氨基联苯胺；3-氨基-9-乙基咔唑(AEC)；4-氯-1-萘酚(CN)；对苯二胺二氢氯化物/邻苯二酚；固红TR(fast red TR)；固蓝BB(fast blueBB)；新品红(NewFuchsin)；固深红GBC(Fast Garnet GBC)；硝基蓝四唑(NBT)；和碘硝基四唑紫。
7.权利要求1的方法，该一种或多种生物标志物中的至少一种是核生物标志物，并且针对所述至少一种生物标志物接收的第二图像的第二颜色是苏木精染色样品的明场图像中苏木精的颜色。
8.权利要求1的方法，该方法进一步包括：
–接收该组织样品的第三荧光图像，该第三图像的像素强度选择性地指示由选择性地将核区染色的第三荧光染色剂发射的荧光信号；
–将该第三图像变换成具有第三颜色的变换后的第三图像；
其中重叠并组合该变换后的第一、第三以及该一个或多个第二图像以提供该组合图像。
9.权利要求1的方法，其进一步包括：
–通过重叠并组合两个或更多个第二图像的像素强度来生成第三图像，所述两个或更多个第二图像针对两种或更多种生物标志物而被接收，所述两种或更多种生物标志物是核生物标志物；
–将该第三图像变换成具有第三颜色的变换后的第三图像；
–其中重叠并组合该变换后的第一、第三以及该一个或多个第二图像以提供该组合图像。
10.权利要求8或9的方法，该第三颜色是在苏木精染色样品的明场图像中苏木精的颜色。
11.权利要求1的方法，该方法进一步包括：
–进行每个单色荧光图像的亮度反转，以分别生成亮度反转的单色荧光图像，其中对该亮度反转的单色荧光图像进行变换，以分别生成该第一和第二以及任选地第三变换后的图像，将该图像重叠并组合而获得该模拟的明场图像。
12.权利要求8-9和11中任一项的方法，该方法进一步包括：
–通过进行该多光谱数字图像的光谱解混来生成该组织样品的第三图像；
–接收用于将核区染色的荧光染色剂的第三荧光参考光谱；并且使用该接收的第三荧光参考光谱来生成该第三图像。
13.权利要求1的方法，该方法进一步包括：
–通过该图像处理系统访问染色方案数据，该染色方案数据指示用于将该一种或多种生物标志物染色的荧光染色剂的类型并且任选地指示用于一般将该生物物质染色和/或用于将核区染色的荧光染色剂；
–取决于根据该染色方案数据所使用的荧光染色剂，选择多个变换程序之一来生成该变换后的第一、一个或多个第二和任选地第三图像。
14.权利要求8的方法，选择性地将核区染色的该第三荧光染色剂是选择性与Ki67蛋白结合的荧光染色剂。
15.权利要求1的方法，该一种或多种生物标志物选自下组，该组包括：成纤维细胞活化蛋白α(FAP基因产物)；广谱细胞角蛋白(Pan cytokeratin)；CD34；CD3；CD4；CD8；CSF1R；DR5；KI67；穿孔素；CC3。
16.权利要求1的方法，一种或多种生物标志物是选自下组的胞质蛋白，该组包括：细胞角蛋白；FAP；肌动蛋白；微管蛋白。
17.权利要求1的方法，一般将生物物质染色的该第一染色剂选自下组，该组包括：
–与抗体偶联的荧光染色剂，该抗体与至少分布在该组织样品中的所有细胞的胞质溶胶中的蛋白质结合；
–高碘酸；
–BCECF/AM；
–星蓝(Astra Blue)；
–固绿FCF(Fast Green FCF)；
–鬼笔环肽-四甲基罗丹明缀合物；
–荧光素-5-6-异氰酸酯。
18.权利要求1的方法，其进一步包括：
–用一种或多种第二荧光染色剂和任选地用一种或多种第一荧光染色剂和/或第三荧光染色剂将该组织样品染色；并且
–用荧光图像采集系统采集该组织样品的数字荧光图像。
19.一种用于从组织样品(100)的数字单色荧光图像(106.1-106.7)生成模拟数字明场IHC或ISH图像的图像处理系统(306)，该组织样品包含一种或多种染色的生物标志物，每种染色的生物标志物被对应的荧光染色剂染色，该图像处理系统被配置为：
–针对每种染色的生物标志物至少生成第一荧光图像并且生成第二荧光图像，该第一图像的像素强度一般指示生物物质的存在，每个第二图像的像素强度选择性地指示由选择性地将所述生物标志物染色的荧光染色剂发射的荧光信号，该第一和第二图像的生成包括对该组织样品的多光谱数字图像进行光谱解混，该生成进一步包括：
–接收该组织样品或类似的组织样品的自发荧光参考光谱，并且使用光谱解混中的该自发荧光参考光谱生成该第一图像；或接收第一染色剂的第一荧光参考光谱，该第一染色剂一般与该组织样品的生物物质结合；并且使用在光谱解混中的所述第一接收的荧光参考光谱来生成该第一图像；并且
–接收用于将该一种或多种生物标志物染色的每种荧光染色剂的第二荧光参考光谱；并且使用每一个接收的第二荧光参考光谱来生成一个或多个单色第二图像的对应图像；
–接收(702)该组织样品的第一荧光图像；
–将该第一图像变换(704)成具有第一颜色的变换后的第一图像；–针对每种染色的生物标志物，接收(706)对应产生的该组织样品的第二荧光图像，
–将每个第二图像变换(708)成具有对应的第二颜色的对应的变换后的第二图像；
–重叠并组合(710)该变换后的第一和一个或多个第二图像；
–将该组合的图像作为该模拟数字明场IHC或ISH图像存储(712)在存储介质中；和/或
–将该组合的图像作为该模拟数字明场IHC或ISH图像显示(714)在显示设备上。
CN201780034936.8A 2016-06-10 2017-06-09 用于生成模拟数字明场ihc或ish图像的方法和图像处理系统 Active CN109313798B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16174025 2016-06-10
EP16174025.3 2016-06-10
PCT/EP2017/064193 WO2017212055A1 (en) 2016-06-10 2017-06-09 System for bright field image simulation

Publications (2)

Publication Number Publication Date
CN109313798A CN109313798A (zh) 2019-02-05
CN109313798B true CN109313798B (zh) 2022-04-01

Family

ID=56131382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780034936.8A Active CN109313798B (zh) 2016-06-10 2017-06-09 用于生成模拟数字明场ihc或ish图像的方法和图像处理系统

Country Status (5)

Country Link
US (1) US10846848B2 (zh)
EP (1) EP3469548B1 (zh)
JP (1) JP6755975B2 (zh)
CN (1) CN109313798B (zh)
WO (1) WO2017212055A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021529951A (ja) * 2018-06-28 2021-11-04 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニアＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｌｉｆｏｒｎｉａ 画像データを組み合わせることによる染色組織試料の合成画像の作成
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
EP3830742A1 (en) 2018-07-27 2021-06-09 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
WO2020039520A1 (ja) 2018-08-22 2020-02-27 オリンパス株式会社 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN112288783B (zh) * 2018-08-22 2021-06-29 深圳市真迈生物科技有限公司 基于图像构建测序模板的方法、碱基识别方法和装置
US10753875B1 (en) * 2019-01-31 2020-08-25 Rarecyte, Inc. Spectral unmixing of spectroscopic emission images
CN111380843A (zh) * 2019-06-28 2020-07-07 南京大学 一种高灵敏的可见-近红外双通道激光荧光显微镜的装置设计及其成像方法
EP3767587A1 (de) * 2019-07-19 2021-01-20 Euroimmun Medizinische Labordiagnostika AG Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
CN110689477B (zh) * 2019-09-07 2023-01-10 创新奇智(重庆)科技有限公司 一种通用的瑕疵图像模拟方法
JP7404831B2 (ja) * 2019-12-02 2023-12-26 日本電気株式会社 ソーナー画像伝送装置、システム、ソーナー画像受信装置、ソーナー画像伝送方法、及びプログラム
JP2021124861A (ja) * 2020-02-04 2021-08-30 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
JPWO2022004500A1 (zh) * 2020-06-30 2022-01-06
US20220018778A1 (en) * 2020-07-20 2022-01-20 Akoya Biosciences, Inc. Processing and imaging tissue samples
CN111766125A (zh) * 2020-07-29 2020-10-13 广州金域医学检验中心有限公司 利用荧光淬灭时间差进行的染色方法及自动染色装置、设备和介质
WO2022265883A1 (en) * 2021-06-17 2022-12-22 Ventana Medical Systems, Inc. Digital synthesis of histological stains using multiplexed immunofluorescence imaging
CN113539368B (zh) * 2021-08-30 2023-02-03 长春理工大学 荧光图像信号数据存储与颜色分类方法
CN113933275B (zh) * 2021-10-13 2023-10-24 季华实验室 基于生物成像的定量分析方法、分离方法、装置及设备
EP4177826A1 (en) 2021-11-05 2023-05-10 Technische Universität Dresden Method and system for simulating and predicting histological staining of a tissue section

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165489A (zh) * 2008-09-16 2011-08-24 赫斯托克斯公司 生物标志物表达的可再现量化
CN102575990A (zh) * 2009-09-29 2012-07-11 通用电气公司 使用荧光图像产生明场图像的系统和方法
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
JP2015514212A (ja) * 2012-03-30 2015-05-18 クラリエント ダイアグノスティック サービシーズ， インコーポレイテッド 単一試料での免疫蛍光及び蛍光系核酸分析
CN104813366A (zh) * 2012-12-04 2015-07-29 通用电气公司 使用免疫染色掩膜选择性细化ish分析结果的系统和方法
CN105283904A (zh) * 2013-06-03 2016-01-27 文塔纳医疗系统公司 图像自适应的生理上可信的颜色分离

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195451B1 (en) * 1999-05-13 2001-02-27 Advanced Pathology Ststems, Inc. Transformation of digital images
EP2046971B1 (en) * 2006-06-30 2012-04-04 University Of Southern California Quantifiable internal reference standards for immunohistochemistry and uses thereof
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165489A (zh) * 2008-09-16 2011-08-24 赫斯托克斯公司 生物标志物表达的可再现量化
CN102575990A (zh) * 2009-09-29 2012-07-11 通用电气公司 使用荧光图像产生明场图像的系统和方法
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
JP2013507612A (ja) * 2009-10-12 2013-03-04 ベンタナ メディカル システムズ， インコーポレイテッド 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP2015514212A (ja) * 2012-03-30 2015-05-18 クラリエント ダイアグノスティック サービシーズ， インコーポレイテッド 単一試料での免疫蛍光及び蛍光系核酸分析
CN104813366A (zh) * 2012-12-04 2015-07-29 通用电气公司 使用免疫染色掩膜选择性细化ish分析结果的系统和方法
CN105283904A (zh) * 2013-06-03 2016-01-27 文塔纳医疗系统公司 图像自适应的生理上可信的颜色分离

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Analysis of Cancer Marker in Tissues with Hadamard Transform Fluorescence Spectral Microscopic Imaging;H. Xu 等;《Journal of Fluorescence》;20150530;第25卷(第1期);397-402 *
Immunohistochemistry, histopathology and infrared spectral histopathology of colon cancer tissue sections;K.T. Angela 等;《JOURNAL OF BIOPHOTONICS》;20130131;第6卷(第1期);88-100 *

Also Published As

Publication number Publication date
JP2019530847A (ja) 2019-10-24
EP3469548A1 (en) 2019-04-17
JP6755975B2 (ja) 2020-09-16
CN109313798A (zh) 2019-02-05
US20200327657A1 (en) 2020-10-15
WO2017212055A1 (en) 2017-12-14
US10846848B2 (en) 2020-11-24
EP3469548B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN109313798B (zh) 用于生成模拟数字明场ihc或ish图像的方法和图像处理系统
Fereidouni et al. Microscopy with ultraviolet surface excitation for rapid slide-free histology
JP2019530847A5 (zh)
JP5540102B2 (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP4376058B2 (ja) 定量的ビデオ顕微鏡法とそれに関連するシステム及びコンピューターソフトウェアプログラム製品
JP6074427B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP5631999B2 (ja) 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
AU2015220783B2 (en) Methods, kits, and systems for scoring the immune response to cancer by simultaneous detection of CD3, CD8, CD20, and FoxP3
WO2019154987A1 (en) Transformation of digital pathology images
CN109923401B (zh) 高光谱成像系统
RU2690224C2 (ru) Обследующее устройство для обработки и анализа изображения
Mansfield et al. Visualization of microscopy‐based spectral imaging data from multi‐label tissue sections
US20110091081A1 (en) Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin
JP2022504871A (ja) 改善された核検出およびセグメンテーションを可能にする画像強化
CN106796145A (zh) 从生物学样本的纯光谱提取
JP7418631B2 (ja) マルチチャネル画像における自己蛍光の寄与を算出するシステムおよび方法
JP2020530612A (ja) 組織標本の分析を支援するためのスライド画像のカラーデコンボリューションのためのシステムおよび方法
Levenson et al. Multispectral imaging and pathology: seeing and doing more
Levenson et al. Spectral imaging in preclinical research and clinical pathology
US8824769B2 (en) Process and system for analyzing the expression of biomarkers in a cell
Kugler et al. GliaMorph: A modular image analysis toolkit to quantify Müller glial cell morphology
US20100177942A1 (en) Method and apparatus for analyzing imagery data
Gustashaw et al. Measuring Protein Expression in Tissue: The Complementary Roles of Brightfield and Fluorescence in Whole Slide Scanning
CN116888469A (zh) 使用基于荧光的检测来分析被包埋的组织样品
Prasad et al. Color image analysis to grade shades of a color and its application to quantify stained tissues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003631

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant