CN107850768A - 数字病理系统 - Google Patents
数字病理系统 Download PDFInfo
- Publication number
- CN107850768A CN107850768A CN201680041926.2A CN201680041926A CN107850768A CN 107850768 A CN107850768 A CN 107850768A CN 201680041926 A CN201680041926 A CN 201680041926A CN 107850768 A CN107850768 A CN 107850768A
- Authority
- CN
- China
- Prior art keywords
- sample
- region
- image
- slice
- numeral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007170 pathology Effects 0.000 title abstract description 18
- 239000012620 biological material Substances 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000003745 diagnosis Methods 0.000 claims abstract description 13
- 238000013519 translation Methods 0.000 claims abstract description 10
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 19
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 239000011521 glass Substances 0.000 claims description 15
- 210000003484 anatomy Anatomy 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 9
- 239000004033 plastic Substances 0.000 claims description 7
- 229920003023 plastic Polymers 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 108010010803 Gelatin Proteins 0.000 claims description 3
- 229920000159 gelatin Polymers 0.000 claims description 3
- 239000008273 gelatin Substances 0.000 claims description 3
- 235000019322 gelatine Nutrition 0.000 claims description 3
- 235000011852 gelatine desserts Nutrition 0.000 claims description 3
- 239000012188 paraffin wax Substances 0.000 description 18
- 239000013078 crystal Substances 0.000 description 9
- 238000004043 dyeing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000012876 carrier material Substances 0.000 description 1
- 210000000080 chela (arthropods) Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011273 incision biopsy Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000005315 stained glass Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0068—Optical details of the image generation arrangements using polarisation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Sampling And Sample Adjustment (AREA)
Abstract
本发明涉及数字病理。为改进在选择要被取出用于分子诊断的未染色样本的感兴趣区的过程中的工作流程,提供了一种方法(100),用于选择要被取出用于分子诊断的未染色样本的样本取出区域。该方法包括以下步骤:在也被称为步骤a)的第一步骤102中,在对象的参考切片的参考图像中选择参考取出区域,其中参考切片中的生物材料被染色。在也被称为步骤b)的第二步骤104中,在成像设置下获得对象的样本切片的数字样本图像。样本切片中的生物材料未染色。样本切片被接纳到样本载玻片上并且放置在光源与图像检测器之间的光路中。在光源与图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置。提供穿过样本切片以由所述图像检测器接收的光。在也被称为步骤c)的第三步骤106中,将数字样本图像与参考图像配准,以将参考图像中的参考取出区域平移到数字样本图像。在也被称为步骤d)的第四步骤108中,基于经平移的参考取出区域在数字样本图像中标识样本取出区域。
Description
技术领域
本发明涉及数字病理领域,并具体涉及数字病理中使用的系统、用于将数字病理与分子诊断相集成的方法。此外,本发明涉及计算机程序单元以及计算机可读介质。
背景技术
数字病理指的是包括生物材料(例如组织)的样本载玻片(slide)的数字图像的创建、查看、管理、共享、分析和解释,并且包括数字成像环境特有的工作流程考虑。数字病理的一个重要性能方面是数字图像的质量。例如,当样本载玻片包括未染色的生物材料(例如未染色的组织)时,一些数字图像可能具有弱对比度。弱对比度会影响数字图像的可读性,并因此使得例如通过计算机算法自动配准(registration)变得困难。例如,US8229194B2描述了一种图像配准方法。
发明内容
可能需要提供一种系统,用于改进在选择要被取出用于分子诊断的未染色样本的感兴趣区的过程中的工作流程。
本发明的目的通过独立权利要求的主题来解决,其中进一步的实施例并入从属权利要求中。应该注意,以下描述的本发明的方面也适用于:供数字病理中使用的系统、用于将数字病理与分子诊断相结合的方法、计算机程序单元以及计算机可读介质。
根据本发明的第一方面,提供了一种用于选择要被取出用于分子诊断的未染色样本的样本取出区域的方法。该方法包括以下步骤:
a)在对象的参考切片的参考图像中选择参考取出区域;其中参考切片中的生物材料被染色;
b)在成像设置下获得对象的样本切片的数字样本图像,其中样本切片中的生物材料未染色。样本切片被接纳到样本载玻片上并且放置在光源与图像检测器之间的光路中。在光源与图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置。提供穿过样本切片以由图像检测器接收的光;
c)将数字样本图像与参考图像配准,以将参考图像中的参考取出区域平移(translate)到数字样本图像;以及
d)基于经平移的参考取出区域在数字样本图像中标识样本取出区域。
在一个示例中,提供了一种将数字病理与分子诊断相集成的方法。该方法包括以下步骤:
a)接收具有包括未染色生物材料的对象的样本切片的样本载玻片,并将样本切片放置在光源与图像检测器之间的光路中。在光源与图像检测器之间的光路中,进一步提供用于提高生物材料与背景对比度的对比度增强布置;
b)提供穿过样本切片以由图像检测器接收的光;
c)在成像设置下获得样本切片的数字样本图像;以及
d)将数字样本图像与对象的参考切片的参考图像配准,以将参考图像中的参考取出区域平移到数字样本图像。
有利的是,未染色的生物材料(例如组织)和背景(例如包埋石蜡)之间的对比度可以增加。配准设备可以因此能够标识样本载玻片上未染色的生物材料,并自动将数字样本载玻片与参考载玻片配准。这可以进一步启用数字工作方式,而不需要通过查看参考载玻片并将参考载玻片与样本载玻片进行比较来进行手动配准。数字病理工作流程可以因此被改进。增加的对比度还可以辅助病理学家检测未染色的生物材料,并且减小用户(例如实验室技术人员)对于视觉比较具有未染色生物材料的样本载玻片与参考载玻片的负担,以确保为分子测试选择正确的区段(section)。
根据本发明的第二方面,提供了一种用于选择要被取出用于分子诊断的未染色样本的样本取出区域的系统。该系统包括图像形成设备和配准设备。图像形成设备包括光源、对象接纳布置和图像检测器。光源和图像检测器被布置在光路中。光源被配置为提供穿过样本载玻片以由图像检测器接收的光。对象接纳布置被配置为接纳具有对象的样本切片的样本载玻片,其中样本切片中的生物材料未染色,并将样本切片放置在光路中以获取样本切片的数字样本图像。在光源与图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置。配准设备被配置为接收对象的参考切片的参考图像,其中参考切片中的生物材料被染色,并且其中参考取出区域在参考图像中被定义。配准设备被进一步配置为将数字样本图像与参考图像配准,以将参考图像中的参考取出区域平移到数字样本图像,并且基于经平移的参考取出区域在数字样本图像中标识样本取出区域。
在一个示例中,提供了供数字病理中使用的系统。该系统包括图像形成设备和配准设备。图像形成设备包括光源、对象接纳布置和图像检测器。光源和图像检测器被布置在光路中。光源被配置为提供穿过样本载玻片以由图像检测器接收的光。对象接纳布置被配置为接收具有包括未染色生物材料的对象的样本切片的样本载玻片,并将样本切片放置在光路中以获取样本切片的数字样本图像。配准设备被配置为:将数字样本图像与对象的参考切片的参考图像配准,以将参考图像中的参考取出区域平移到数字样本图像。在光源与图像检测器之间的光路中,进一步提供了用于提高生物材料与背景对比度的对比度增强布置。
根据本发明的第三方面,提供了一种用于控制根据以上以及下文中所描述的实施例之一的装置的计算机程序单元,其在由处理单元执行时适于执行本发明的方法。
根据本发明的第四方面,提供了一种计算机可读介质,已存储所述程序单元。
根据一个示例,对比度增强布置包括偏振器布置,偏振器布置包括第一偏振器和第二偏振器。对象接纳布置被配置为将样本切片放置在第一偏振器和第二偏振器之间的光路中。
提供偏振器布置可以增强未染色生物材料(例如,石蜡包埋的未染色的组织)的光学对比度,用于由操作者和/或通过在参考图像中定义的感兴趣区和/或取出区域的自动配准而注释感兴趣区和/或取出区域。由此,可以实现用于例如分子诊断的数字和自动化方式的样本选择,这可以减轻对石蜡载玻片和参考载玻片进行视觉比较的繁琐和费力的工作的负担。
根据一个示例,对比度增强布置包括光学滤波器布置,光学滤波器布置具有从以下各项的组中选择的至少一个光学滤波器:
-有色玻璃滤光器;
-有色塑料滤光器;
-明胶滤光器;
-介质滤光器;以及
-等离子体滤光器。
(多个)光学滤波器的使用也可以增强未染色的生物材料与可能包含石蜡的周围背景之间的对比度。通过在荧光检测中使用的光学滤波器(例如带通滤波器),有可能与偏振器一起包括自发荧光(当生物材料已吸收光时,由生物材料进行的光发射)。
有色玻璃滤光器可以涉及着色的玻璃。
有色塑料滤光器可以涉及包埋在塑料基质中的发色团染料。
介质滤光器可以包括沉积在充当选择性反射器或透射的玻璃或塑料支撑物上的介质多层结构。
等离子体滤光器可以涉及基于等离子体共振(plasmon resonance)的滤色器,例如沉积在玻璃或塑料衬底上的金属纳米结构。
根据一个示例,配准设备被配置为基于参考图像中的参考取出区域在数字样本图像中标识样本取出区域。
所标识的样本取出区域可以用作用于找到样本载玻片上的取出区域的参考。
根据一个示例,该系统还包括标记设备。标记设备被配置为:基于数字样本图像中标识的样本取出区域,在样本载玻片上提供取出标记。
取出标记指示其中生物材料将被取出的区域。操作者(例如实验室技术人员)可以手动取出生物材料。可替换地,可以利用解剖设备取出生物材料。
根据一个示例,该系统还包括解剖设备。解剖设备被配置为从样本切片取出在取出区域中的生物材料。基于数字样本图像中标识的样本取出区域来提供取出区域。
通过使用解剖设备,可以避免污染(例如由于用手指触摸载玻片)或缺乏精确度的风险。此外,可以改进样本选择和解剖工作流程。
根据一个示例,图像形成设备是明视场显微镜。
根据一个示例,步骤b)还包括:
c1)在不同的成像设置下获取样本切片的另一个数字样本图像;以及
c2)将该数字样本图像和另一个数字样本图像之和(sum)提供为供步骤c)中使用的数字样本图像。
数字样本图像可以包括背景区域(例如,包含石蜡的区域)中的强度变化。在不同成像设置下的两个或更多个数字样本图像的组合可以去除或抑制这种不平坦的背景,并因此增加数字样本图像与参考图像之间的相似度,用于图像配准。
根据一个示例,步骤b)的成像设置包括以下各项的组中的至少一个参数:
-偏振器布置内偏振器的相互取向;
-偏振器布置相对于样本切片的取向;
-光的波长;以及
-双折射介质在光路中的布置。
根据一个示例,在步骤c)之前提供以下步骤:
e1)计算数字样本图像中的背景区域的平均强度值;
e2)对高于所计算的平均强度值的强度值进行限幅,以提供经限幅的数字样本图像;
e3)执行经限幅图像的强度值的形态学闭合以提供闭合的数字样本图像;以及
e4)提供闭合的数字样本图像作为供步骤c)中使用的数字样本图像;
其中优选地,进一步提供了:
e5)执行在参考图像中强度值的形态学闭合以提供闭合的参考图像;以及
e6)提供闭合的参考图像作为供步骤c)中使用的参考图像。
数字样本图像还可以包括背景区域中的斑点(spot)(具有强度变化的像素)。通过在数字样本图像中并且可选地在参考图像中对强度值进行限幅和形态学闭合,可以使背景区域中的强度变化平滑。图像对(image pair)(数字样本图像和参考图像)在外观上的相似度可以被提高,用于图像配准。
根据一个示例,在步骤d)之后提供以下步骤中的至少一个:
f)基于参考图像中的参考取出区域在数字样本图像中标识样本取出区域;
g)基于数字样本图像中标识的样本取出区域,在样本载玻片上提供取出标记;以及
h)从样本切片中取出在取出区域中的生物材料,其中取出区域基于在数字样本图像中标识的样本取出区域来提供。
取出区域中的生物材料被取出以用于在这些区上执行的分子诊断测试的目的。可以提供数字病理和分子诊断的更好的集成。
在以下描述中,术语“生物材料”涉及从人或非人的部位获得的组织、细胞或液体或其他材料。生物材料可以从活的生物体获得,或者也可以从非活(死)生物体获得。例如,取决于怀疑的癌症类型,可以以例如打孔/芯活组织检查、切除/切取活组织检查等不同方式获得生物材料。
术语“对象”涉及生物材料的样本,特别是形成材料块的那种。因此,该对象也可以被称为“对象样本”、“材料样本”或“对象块”。
术语“样本切片”涉及生物材料的一(小)部分,例如生物材料(诸如组织、细胞或液体)的薄切片,其通过将例如石蜡包埋的病理标本(在例如化学固定、处理和包埋过程之后)切割成薄切片而获得。切片的厚度可以涉及几微米的数量级。例如,样本切片的厚度可以是2至4微米。取决于应用,样本切片也可以具有范围从0.5至50微米的厚度。例如,一个接一个地从对象上切下若干样本切片。
术语“样本载玻片”涉及玻璃载玻片或其他透明载体材料,样本切片然后被安放到(玻璃)载玻片上,用于精确可视化和/或用于图像获取。因此,术语“样本”也可以被称为病理载玻片或载玻片。样本载玻片包括例如组织病理载玻片(即活组织检查或手术标本的组织被安放在载玻片上)以及细胞学载玻片(即游离细胞或组织片段被安放在载玻片上)。
术语“参考切片”可以涉及由参考载玻片支撑的生物材料的薄切片,其中感兴趣区(例如包含比如组织的生物材料的区)或感兴趣的取出区域(例如其中组织被刮取用于分子测试目的的区域)由计算机算法或由用户(病理学家)注释或标记。例如,参考切片是染色的切片,例如H&E(苏木精和伊红)染色的切片,其允许病理学家标识感兴趣区或感兴趣的取出区域。病理学家可以在参考切片上指示感兴趣区或感兴趣的取出区域。也可以记录另外的评论,例如以指示可以作为参照的正常组织区。
术语“参考切片”还可以涉及用相同的光学设置来成像的在前的未染色的样本切片。例如,如果存在四个切片A、B、C和D,其中切片A被染色(例如H&E染色)而切片B、C和D未染色(或不同地处理)。有可能从染色切片A与未染色切片B的配准开始,并且然后是未染色切片B与未染色切片C的配准,以及未染色切片C与未染色切片D的配准。
术语“参考取出区域”是指参考图像(例如H&E染色图像)中的区域,其被注释或标记以指示感兴趣区(例如,包含组织的区)或取出区域(例如,其中组织被刮取用于例如分子诊断测试目的的区域)。
术语“样本取出区域”是指数字样本图像(即样本切片的数字图像)中具有与参考取出区域重叠或匹配的特征的区域。
术语“取出区域”是指样本切片中的区域,其中生物材料将被取出并收集在试管中用于进一步的例如分子诊断测试。
术语“数字样本图像”涉及样本载玻片上的样本切片的数字表示——因此,也被称为数字载玻片或数字化的玻璃载玻片。使用如扫描仪的图像形成设备根据样本载玻片创建图像数据。数字样本图像也可以从图像管理系统(IMS)获取。
术语“参考图像”涉及参考切片的数字表示。参考图像可以包含用于指示例如感兴趣区或感兴趣的取出区域的注释或标记,以及用于指示例如用以作为参照的正常组织区的评论。注释、标记和评论可以直接指示在携带参考切片的参考载玻片上,或者例如在电脑屏幕上数字化地制作。类似地,可以例如通过图像扫描仪或显微镜获取参考图像。可替换地,参考图像可以由IMS提供,IMS虑及本地地或经由互联网远程地进行归档和智能检索。
根据本发明的一个方面,提供了一种用于增强数字病理中的图像质量的系统。该系统包括具有两个偏振器和/或至少一个光学滤波器的图像形成设备(例如明视场显微镜),用于获取包括未染色的生物材料的样本载玻片的数字样本图像。样本载玻片被布置在利用透射模式例示的、相对于彼此以一定角度取向的两个偏振器之间。偏振器的角度可以在0°和90°之间选择以达最佳对比度。光学滤波器也可以用于增强对比度。例如,光学滤波器可以提供作为用于荧光检测的带通滤波器。将光学滤波器和两个偏振器组合以包括具有偏振的自发荧光也是可能的。利用偏振器和/或光学滤波器获得的数字样本图像与参考图像(例如H&E染色图像)的配准可以使用基于展现相似外观的匹配图像特征的图像配准来完成。然而,图像对(数字样本图像和参考图像)的外观相似度可能例如由于环绕生物材料的背景区域中的强度变化而相对较低。为了减少未染色样本的数字样本图像中的背景结构并且提高图像对的外观相似度,提出了两种方法:(i)基于图像处理的方法;以及(ii)使用利用偏振器对和/或光学滤波器获取的至少两个图像的组合的方法。以这种方式,例如对比度和相似度的图像质量可以被进一步提高。结果,也可以增强参考载玻片与未染色样本的配准性能。基于配准结果,系统还可以包括用于标记或指示样本载玻片上的取出区域的标记设备。,还可以提供解剖设备用于取出在取出区域内的生物材料以用于分子诊断的目的。用这种方式,也可以改进样本选择工作流程。
本发明的这些和其他方面将根据下文描述的实施例变得显然,并参照下文描述的实施例进行说明。
附图说明
下面将参考以下附图描述本发明的示范性实施例:
图1示出了供在数字病理中使用的系统的示例。
图2A示出了参考图像的示例。
图2B示出了利用彼此平行的两个偏振器所获得的图2A的数字样本图像。
图3A示出了参考图像的另一个示例。
图3B示出了与图3A的参考图像配准的数字样本图像。
图4示出了用于将数字病理与分子诊断相集成的方法的基本方法步骤的示例。
图5示出了方法的另一个示例。
图6A示出了数字样本图像的另一个示例。
图6B示出了图6A的一个放大的区。
图6C示出了图6B的限幅(clipped)数字样本图像。
图6D示出了图6C的闭合(close)数字样本图像。
图7示出了方法的又一个示例。
具体实施方式
图1示出了供在数字病理中使用的系统10的示例。系统10包括图像形成设备12和配准设备14。图像形成设备12包括光源16、对象接纳布置18(未详细示出)和图像检测器20。光源和图像检测器被布置在光路22(用虚线指示)中。虚线仅用于说明的目的,并不形成要求保护的发明的一部分。
光源16被配置为提供穿过样本载玻片26以由图像检测器20接收的光24(用箭头指示)。对象接纳布置18被配置为接纳具有包括未染色生物材料的对象的样本切片28的样本载玻片26,并将样本切片28放置在光路22中以获取样本切片28的数字样本图像30(图1中未示出,参见图2B和图3B中的示例)。配准被配置为接纳对象的参考切片34(图1中未示出,参见图2A和3A中的示例)。参考切片34中的生物材料未染色。在参考图像32中选择参考取出区域36(参见图3A)。配准设备14被配置为:将数字样本图像30与对象的参考切片34的参考图像32配准,以将参考图像32中的参考取出区域36(参见图3A)平移(translate)到数字样本图像30。配准设备14还被配置为:基于参考图像32(参见图3A和3B)中平移的参考取出区域36在数字样本图像30中标识样本取出区域54(参见图3B)。
在光源16与图像检测器20之间的光路22中,进一步提供了用于提高生物材料与背景对比度的对比度增强布置38。
如本领域普通技术人员将理解的,图像形成设备12可以包括其它光学部件,例如照明光学部件、物镜、镜筒透镜等。然而,为了便于解释本技术,将不在本文中讨论这些附加的(或可选的)光学部件。图像形成设备也可以被称为图像获取设备。
在一个示例中,图像形成设备12是明视场显微镜。
作为示例,光源16可以是被提供作为背光照明的白色LED,用于样本载玻片26的均匀照明。如果需要,可提供平移设备来控制光源16的平移移动以扫描样本切片28。
样本切片28包括可以被包埋在石蜡中的未染色的生物材料。样本切片28可以被支撑,例如放置或固定(“安放”)在样本载玻片26上,然后二者通过对象接纳布置18而一起插入到光路22中,用于观察和/或用于图像获取。尽管在图1中未图示,但可以提供盖玻片(cover)(例如薄玻璃层或板)以保护和夹持样本切片28。
对象接纳布置18可以包括具有用于将样本载玻片固定到位的载玻片夹持器(例如,载玻片夹、载玻片钳或十字工作台(cross-table))的手动或机动载物台。例如在自动化/计算机操作的系统中,尤其是在由于污染的风险或缺乏精确性而用手指触摸载玻片不合适的情况下,载玻片夹持器也可以被机动化以实现载玻片在载物台上的精确的远程移动。
穿过样本载玻片26的光24被图像检测器20捕获。图像检测器可以被提供为与数字相机中使用的那些传感器相似的传感器类型,用于获得图像,然后图像被显示在计算机监视器上或保存并传送到图像管理系统。这些传感器可以取决于应用而使用互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)技术。如果图像形成设备12被设计为载玻片扫描仪,则可以使用线扫描相机作为图像检测器20。
为提高生物材料与背景的对比度,对比度增强布置38被布置在光源16与图像检测器20之间的光路22中。
在一个示例(其在图1中作为一个选项示出)中,对比度增强布置38包括偏振器布置40。偏振器布置40包括第一偏振器42和第二偏振器44。对象接纳布置18被配置为将样本切片28放置在第一偏振器42和第二偏振器44之间的光路22中用于图像获取。
第一偏振器可以被称为起偏器,而第二偏振器可以被称为检偏器。
第一偏振器和第二偏振器可以是相对于彼此可旋转的。
偏振板(偏振滤光器)或偏振棱镜可以用作偏振器以将光变成偏振光,例如线性偏振光。
在一个示例中,第一和第二偏振器交叉,即它们的振动方位被彼此成直角地安置。如果没有样本放在显微镜载物台(或用于显微镜载玻片的支架)上,光不能穿过光学系统,并在图像中呈现暗背景。在被照明时,显微镜载玻片上的样本切片中的石蜡改变偏振光的振动方向,其在图像中的暗背景上产生亮区域,因为光被检偏器(第二偏振器)部分透射。
在另一个示例中,第一和第二偏振器平行,即它们的振动方位被彼此平行地安置。与第一配置不同的是,在没有样本放在显微镜载物台上时,光穿过光学系统并创建亮背景。样本切片中石蜡的存在改变偏振光的振动方向并因此在图像中的亮背景上产生暗区域。
利用偏振器的两种布置,组织的轮廓可以被明显地辨别,并且组织内的细节也是可见的。区域的亮度取决于偏振器取向。石蜡在交叉偏振器布置中变得明亮,而组织在平行偏振器布置中变得更明亮。这是由组织和石蜡之间的双折射差异引起的。存在于组织区域内的石蜡是局部不同的,这导致了组织形态的可见性。
例如,图2A示出了用H&E染色的石蜡包埋的组织的参考图像32。在图2A中,示出了在不使用偏振器的情况下的参考(H&E载玻片)图像32,其中参考切片34的组织区段46清晰可见。
在图2B中,当两个偏振器处于平行配置时,获取数字样本图像30。为了清楚,描绘了不同的区域——组织区段46、石蜡区域48和玻璃50。
原则上,可以使用两个偏振器之间的任何角度来优化期望的对比度和可检测的特征。例如,第一偏振器和第二偏振器的振动方位之间的角度可以是10°、30°、60°或者任何其他合适的度数。
在又一个示例中,可以组合用不同偏振器取向所拍摄的多个图像的信息。
通过使用偏振器布置,可以提高未染色的生物材料与生物材料周围的背景区域(例如,含有石蜡的区域)之间的对比度。提高的对比度可以增强生物材料对照背景的可见性。
在另一个示例(其也作为一个选项在图1中示出)中,对比度增强布置包括光学滤波器布置52,光学滤波器布置52具有从以下各项的组中选择的至少一个光学滤波器:有色玻璃滤光器;有色塑料滤光器;明胶滤光器;介质滤光器以及等离子体滤光器。
光学滤波器被用于选择性地通过小范围颜色的光,同时反射或吸收其他颜色。可以选择光学滤波器以匹配荧光团标记的生物材料或自发荧光生物材料的光谱激发和发射特性。换言之,光学滤波器衰减由激发滤光器透射的所有光,并且非常有效地透射由标记的生物材料或自发荧光生物材料发射的任何荧光。
光学滤波器可以被配置为包括以下各项的组中的至少一个:带通滤光器、长波通截止滤光器和短波通截止滤光器。
带通滤光器具有良好定义的短波长截取起(cut-on)和长波长截取停(cut-off)。长波通截止滤光器在频谱的有效范围内(其取决于具体应用)衰减较短的波长,而透射较长的波长。短波通截止滤光器在频谱的有效范围内衰减较长的波长,而透射较短的波长。
还要注意的是,尽管偏振器布置40和光学滤波器布置52均在图1中图示,但它们是作为选项被提供的。
在一个示例中,仅偏振器布置40被提供并布置在光路22中。在另一个示例中,仅光学滤波器布置52被提供并布置在光路22中。在又一个示例中,如图1中所示,偏振器布置40和光学滤波器布置52均被提供并布置在光路22中。
(对比度增强的)数字样本图像30与参考图像32配准,以通过配准设备14将参考图像32中的参考取出区域36平移到数字样本图像30。
在一个示例中,配准设备14涉及图像处理单元。
如以上所指示的,参考取出区域36涉及其中组织被刮取用于例如分子测试目的的区域。在一个示例中,参考图像32中的参考取出区域36基于参考切片34的形态或染色图案。
病理学家可以数字地选择参考图像中的参考取出区域。为了选择参考图像中的参考取出区域,相应的参考切片典型地事先例如用H&E进行染色。病理学家还可以例如通过使用不同颜色的笔来指示参考载玻片上的组织内的不同区,而直接在参考切片上注释参考取出区域。被注释的载玻片可以用作参考载玻片。可替换地,病理学家可以在屏幕上数字地对参考取出区域进行注释。作为另一个示例,可以借助于计算机算法来检测参考取出区域,该计算机算法例如基于某些特征(强度、颜色、亮度等)来确定参考图像中的参考取出区域。
可以通过检测参考图像和数字样本图像之间的重叠特征来完成配准。数字样本图像可以被旋转、平移或拉伸以匹配参考图像。
例如,对于图像配准,参考图像中的至少一些特征(例如A、B、C)投影到样本图像中的相似特征(例如,A'、B'、C')上。
图3A和3B示出了参考(H&E载玻片)图像32和未染色的石蜡包埋的组织的数字样本图像30的配准结果。为了解释本技术,将参考取出区域36图示为方形。配准设备14被配置为:基于参考图像32中的参考取出区域36在数字样本图像30中标识样本取出区域54(参见图3B)。
作为另一个选项(其也在图1中图示),系统19还包括标记设备56。标记设备56被配置为:基于在数字样本图像30中标识的样本取出区域54,在样本载玻片26上提供取出标记(未进一步示出)。
取出标记可以是例如有色的或图案化的标记,用于指示样本载玻片26上要取出其中的生物材料的区域。
可以提供解剖设备58(其在图1中作为选项示出),解剖设备58被配置为从样本切片28取出在取出区域(未进一步示出)中的生物材料。取出区域是基于数字样本图像30中标识的样本取出区域54提供的。
换言之,解剖设备58基于根据由配准结果提供的信息对取出区域的检测,取出例如取出区域内的组织,以用于对(多个)区执行的例如分子诊断测试的目的。例如,取出区域内的选定组织可以从多个载玻片上刮取并汇集到单个试管中。
图4示出了一种用于选择要被取出用于分子诊断的未染色样本的样本取出区域的方法100的基本步骤的示例。方法100包括以下步骤:
-在也被称为步骤a)的第一步骤102中,在对象的参考切片的参考图像中选择参考取出区域;其中参考切片中的生物材料被染色。
-在也被称为步骤b)的第二步骤104中,在成像设置下获得对象的样本切片的数字样本图像。样本切片中的生物材料未染色。样本切片被接纳在样本载玻片上并且放置在光源与图像检测器之间的光路中。在光源与图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置。提供穿过样本切片以由图像检测器接收的光。
-在也被称为步骤c)的第三步骤106中,将数字样本图像与参考图像配准,以将参考图像中的参考取出区域平移到数字样本图像。
-在也被称为步骤d)的第四步骤108中,基于平移的参考取出区域在数字样本图像中标识样本取出区域。
在一个示例中,对比度增强布置包括:具有多个偏振器的偏振器布置;以及具有至少一个光学滤波器的光学滤波器布置。
根据一个示例(其在图4中作为一个选项示出(用虚线指示)),第三步骤104或步骤b)进一步包括:c1)在不同的成像设置下获取110样本切片的另一个数字样本图像;以及c2)将该数字样本图像和另一个数字样本图像之和提供112为供步骤c)中使用的数字样本图像。
该数字样本图像可以被称为第一数字样本图像,而另一个数字样本图像可以被称为第二数字样本图像。
为了便于解释本技术,将讨论具有不同成像设置的两个数字样本图像的组合。应该理解,具有不同成像设置的三个或更多个数字样本图像的组合也在本技术的范围内。
两个或更多个数字样本图像的组合被用于去除或抑制利用偏振器的数字样本图像的背景中的强度变化,这是由石蜡层的双折射晶体的取向变化引起的。需要区分两种效应,等倾线和等色线。第一种,即等倾线,决定晶体相对于第二偏振器的轴取向的取向。当其为平行时,晶体在图像上会显得暗。第二种,即等色线,是当光透射过晶体时,寻常光束和非常光束之间等相位差的线。相位差取决于双折射(其是石蜡晶体固有的)、厚度(其是固定的)和光的波长。相位差将造成干涉,并因此造成强度的衰减。
步骤b)的成像设置包括以下各项的组中的至少一个参数:偏振器布置内偏振器的相互取向、偏振器布置相对于样本切片的取向、光的波长、以及双折射介质在光路中的布置。
在一个示例中,偏振器中的一个保持固定取向,而另一个偏振器旋转,以在第一和第二图像获取中实现第一和第二偏振器之间的不同相互取向。在这种情况下,非双折射部分的透射将改变。
在一个示例中,一个偏振器的旋转可以与另一个偏振器同时完成,以保持偏振器的相对取向固定,同时两个偏振器相对于样本载玻片的旋转被改变。在这种情况下,感兴趣对象(例如组织)以及玻璃背景将不受影响。当两个偏振器同步旋转时,对于检偏器,等倾线将移动。显得暗的晶体可能会取决于晶体的旋转角度和主方向而变亮。晶体的强度将以cot(2χ)振荡,其中χ是晶体相对于检偏器的取向。
第一和第二图像获取中的波长改变可以用若干方式实现。在一个示例中,可以使用像LED阵列那样的可切换多色光源以将光从例如蓝色光谱切换到红色光谱。在进一步的示例中,有可能将白光源与颜色滤光器一起使用以便在第一和第二图像获取中改变波长。可以使用可切换的滤光器来避免机械衰减。
光路中的双折射介质的布置被用于改变图像中的相位差。通过将双折射介质的取向选择为平行于检偏器,它将不影响该样本的并非双折射的区域中的强度,并且用这种方式它将不影响这些区域的亮度。可替换地,可以选择这种双折射层,使得当使用线源(linesource)时,它将正好增加N倍(N为正整数)波长。
作为另一个选项(其在图5中示出),在步骤c)之前提供以下步骤:e1)计算114数字样本图像中的背景区域的平均强度值;e2)对高于所计算的平均强度值的强度值进行限幅116以提供经限幅的数字样本图像;e3)执行118限幅图像的强度值的形态学闭合以提供闭合的数字样本图像;以及e4)提供120闭合的参考图像作为供步骤c)中使用的参考图像。
作为另一个选项,还提供了:e5)执行122在参考图像中强度值的形态学闭合以提供闭合的参考图像;以及e6)提供124闭合的参考图像作为供步骤c)中使用的参考。
术语“背景区域”涉及数字样本图像中的区域,而不包含任何生物材料,像组织。换言之,背景区域仅包含石蜡。
在一个示例中,可以实现组织检测算法以在生物材料和背景区域之间进行区分,使得可以自动标识背景区域。
在另一个示例中,用户可以例如通过移动光标直接在数字样本图像中选择背景区域。
术语“限幅”涉及一旦强度值超过阈值(本示例中的平均强度值)就限制强度值。换言之,高于平均强度值的强度值被限幅或设置为与平均强度值相同。
术语“形态学”涉及形成物(formation)的对于测量的物理参数具有较低值(在本示例中为强度值)的单元、以及该形成物的对于该参数具有较高值的单元的几何布置。
形态学闭合用于“闭合”图像对象中以及图像对象之间的空隙。形态学闭合是一种增加的运算,由已知的形态学膨胀运算、后随已知的形态学腐蚀运算组成。
图6A中图示了石蜡包埋的未染色组织的数字样本图像的示例。在图6A中,方框突出显示了在图6B中放大示出的小的区。图6C示出了在图6B中对高于计算的平均强度值(亮的强度)的强度值进行限幅之后的经限幅的数字样本图像。图6D示出了在对图6C的限幅图像的背景区域中的强度值进行形态学闭合之后的闭合数字样本图像。
图像处理步骤的目的是将背景区域(组织周围的区域中的结构,即仅包含石蜡的区域)转变为更平滑的图案,该更平滑的图案与参考图像(例如H&E图像)中观察到的平滑背景更为相似。
首先,在步骤e1)中,计算数字样本图像中的背景区域的平均强度值。平均强度值可以例如通过分析数字样本图像中强度的直方图获得。背景区域中的像素相对明亮,因为没有光被组织吸收。背景中的像素一起在相对亮的强度的直方图仓(histogram bin)周围形成直方图中的峰。属于该峰的最大值的强度值代表背景的平均强度。
接下来,在步骤e2)中,比计算的平均强度值更亮的像素被限幅。在图6C中图示了限幅过程的结果。
还要注意的是,在步骤e1)和e2)中可以局部地和/或全局地计算平均强度值。例如,数字样本图像中的背景强度可能不均匀。示例是样本切片厚度中的不平坦性、照明的不均匀性、偏振器的不均匀性等。在强烈的不均匀的情况下,背景强度通过单个(全局)值来表示可能不准确。在照明和/或偏振器不均匀的情况下,可以使用校准图像来测量不均匀性并从该图像去除仅石蜡的组织的不均匀性。由石蜡样本厚度的不平坦性引起的不均匀性可以借助于局部而不是全局图像分析技术来解决。
限幅后,背景可能仍包含黑点的图案(参见图6C)。作为下一个步骤,在步骤e3)中,借助于限幅图像的强度值的形态学闭合来抑制这些点。在图6D中图示了形态学闭合过程的结果。
将设想用于执行形态学闭合的各种示例。
在一个示例中,可以对背景数据,但不对属于组织的数据执行形态学闭合。如以上所指示的,在组织和背景之间进行区分可能需要组织检测步骤。
在另一个示例中,形态学闭合可以应用于背景和组织区域二者上。受形态学闭合影响的组织区域内的结构可以通过参考图像的可选的形态学闭合来补偿。换言之,作为一个选项,可以提供步骤e5)和e6)用于在参考图像中执行形态学闭合,使得图像对(imagepair)(数字样本图像和参考图像)的外观的相似度得到提高。
之后,在步骤e4)中,提供闭合的数字样本图像作为供步骤c)中使用的数字样本图像。
以这种方式,数字样本图像的背景中的强度的可变性可以被去除(或至少被抑制)。这可以导致数字样本图像与参考图像之间的相似度提高,从而改进配准过程。
注意到,用于方法步骤的字母符号(字母)被用于对方法步骤进行区分,然而这些符号并不意图将方法步骤的顺序限制到字母顺序。
在一个示例中,可以基于以下顺序步骤来配准数字样本图像:a)、b)、c1)、c2)、c)和d)。
在另一个示例中,可以基于以下顺序步骤来配准数字样本图像:a)、b)、c1)、c2)、e1)-e6)、c)和d)。
在又一个示例中,可以基于以下顺序步骤来配准数字样本图像:a)、b)、e1)-e4)、c)和d)。
作为另一个选项(其在图7中示出),在步骤d)之后提供以下步骤中的至少一个:f)基于参考图像中的参考取出区域来标识126数字样本图像中的样本取出区域;g)基于数字样本图像中标识的样本取出区域,在样本载玻片上提供128取出标记;以及h)从样本切片中取出130在取出区域中的生物材料,其中该取出区域是基于在数字样本图像中标识的样本取出区域来提供的。
在本发明的另一个示范性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于适于在适当的系统上执行根据前述实施例中的一个的方法的方法步骤。
因此,计算机程序单元可以存储在计算机单元上,计算机单元也可以是本发明的实施例的一部分。该计算单元可以适于执行或诱导执行上述方法的步骤。此外,它可以适于操作上述装置的部件。计算单元可以适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,可以配备数据处理器以执行本发明的方法。
本发明的该示范性实施例既覆盖了从一开始就使用本发明的计算机程序又覆盖了通过更新将现有程序变为使用本发明的程序的计算机程序。
此外,计算机程序单元可能能够提供所有必要的步骤来实现如上所述的方法的示范性实施例的过程。
根据本发明的另一个示范性实施例,提出了诸如CD-ROM的计算机可读介质,其中计算机可读介质具有存储在其上的计算机程序单元,该计算机程序单元由前一部分描述。
计算机程序可以储存在合适的介质上和/或在合适的介质上分发,合适的介质诸如是与其它硬件一起供应的或作为其它硬件的一部分供应的光学存储介质或固态介质,但是计算机程序也可以用其它形式分发,诸如经由互联网或其它有线或无线电信系统分发。
然而,计算机程序也可以在诸如万维网的网络上给出,并可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例,提供了一种用于制作可用于下载的计算机程序单元的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个的方法。
必须注意的是,参考不同的主题描述了本发明的实施例。特别是,参考方法类型权利要求来描述一些实施例,而参考设备类型权利要求来描述其他实施例。然而,本领域技术人员将从上述和以下描述中总结出(gather):除非另外通知,否则除属于一种类型的主题的特征的任意组合之外,还认为通过本申请公开了涉及不同主题的特征之间的任意组合。无论如何,所有特征都可以组合起来提供协同的效果,其不仅仅是特征的简单总合。
虽然已经在附图和前述描述中详细说明和描述了本发明,但是这样的说明和描述将被认为是说明性或示范性而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求,本领域技术人员在实践所主张的发明时可以理解和实现所公开的实施例的其他变型。
这些图只是示意性说明而不是按比例绘制的。贯穿附图,相同的参考符号指的是相同或相似的特征。
在权利要求中,词语“包括”不排除其他元件或者步骤,并且不定冠词“a”或“an”(一或一个)不排除多个。单个处理器或者其他单元可以实现权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定措施的仅有事实并不表明不能使用这些措施的组合来获益。权利要求中的参考符号不应解释为对范围进行限制。
Claims (15)
1.一种用于选择要被取出用于分子诊断的未染色样本的样本取出区域的方法(100),包括以下步骤:
a)在对象的参考切片的参考图像中选择(102)参考取出区域;其中参考切片中的生物材料被染色;
b)在成像设置下获得(104)所述对象的样本切片的数字样本图像;其中样本切片中的生物材料未染色;
其中所述样本切片被接纳到样本载玻片上并且放置在光源与图像检测器之间的光路中,其中在所述光源与所述图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置;以及
其中提供穿过所述样本切片以由所述图像检测器接收的光;
c)将所述数字样本图像与所述参考图像配准(106),以将所述参考图像中的所述参考取出区域平移到所述数字样本图像;以及
d)基于经平移的参考取出区域在数字样本图像中标识(108)样本取出区域。
2.根据权利要求1所述的方法,其中所述对比度增强布置包括:
-具有多个偏振器的偏振器布置;以及
-具有至少一个光学滤波器的光学滤波器布置。
3.根据权利要求1或2所述的方法,其中步骤b)还包括:
c1)在不同的成像设置下获取(110)所述样本切片的另一个数字样本图像;以及
c2)将所述数字样本图像和所述另一个数字样本图像之和提供(112)为供步骤c)中使用的数字样本图像。
4.根据前述权利要求之一所述的方法,其中步骤b)的成像设置包括以下各项的组中的至少一个参数:
-偏振器布置内偏振器的相互取向;
-偏振器布置相对于样本切片的取向;
-光的波长;以及
-双折射介质在光路中的布置。
5.根据前述权利要求之一所述的方法,其中在步骤c)之前提供以下步骤:
e1)计算(114)数字样本图像中的背景区域的平均强度值;
e2)对高于所计算的平均强度值的强度值进行限幅(116)以提供经限幅的数字样本图像;
e3)执行(118)经限幅图像的强度值的形态学闭合以提供闭合的数字样本图像;以及
e4)提供(120)闭合的数字样本图像作为供步骤c)中使用的数字样本图像;
其中优选地,进一步提供:
e5)执行(122)在参考图像中强度值的形态学闭合以提供闭合的参考图像;以及
e6)提供(124)闭合的参考图像作为供步骤c)中使用的参考图像。
6.根据前述权利要求之一所述的方法,其中在步骤d)之后提供以下步骤中的至少一个:
f)基于参考图像中的参考取出区域来在数字样本图像中标识(126)样本取出区域;
g)基于数字样本图像中标识的样本取出区域,在样本载玻片上提供(128)取出标记;以及
h)从所述样本切片取出(130)在取出区域中的生物材料,其中所述取出区域是基于在所述数字样本图像中标识的样本取出区域来提供的。
7.一种用于选择要被取出用于分子诊断的未染色样本的样本取出区域的系统(10),包括:
-图像形成设备(12);以及
-配准设备(14);
其中所述图像形成设备包括:
-光源(16):
-对象接纳布置(18);以及
-图像检测器(20);
其中所述光源和图像检测器被布置在光路(22)中;
其中所述光源被配置为提供穿过样本载玻片(26)以由所述图像检测器接收的光(24);
其中所述对象接纳布置被配置为接纳具有对象的样本切片(28)的样本载玻片,其中所述样本切片中的生物材料未染色,且所述对象接纳布置被配置为将所述样本切片放置在所述光路中以获取样本切片的数字样本图像(30);其中在所述光源与所述图像检测器之间的光路中,进一步提供了用于提高未染色的生物材料和背景之间对比度的对比度增强布置(38);以及
其中所述配准设备被配置为接收所述对象的参考切片(34)的参考图像(32),其中所述参考切片中的生物材料被染色,并且其中参考取出区域(36)在所述参考图像中选择;以及
其中所述配准设备被进一步配置为将所述数字样本图像与所述参考图像配准,以将所述参考图像中的所述参考取出区域平移到所述数字样本图像,并且基于经平移的参考取出区域在数字样本图像中标识样本取出区域。
8.根据权利要求7所述的系统,其中所述对比度增强布置包括偏振器布置(40),所述偏振器布置包括:
-第一偏振器(42);以及
-第二偏振器(44);
其中所述对象接纳布置被配置为将所述样本切片放置在所述第一偏振器和所述第二偏振器之间的光路中用于图像获取。
9.根据权利要求7或8所述的系统,其中所述对比度增强布置包括光学滤波器布置(52),所述光学滤波器布置具有从以下各项的组中选择的至少一个光学滤波器:
-有色玻璃滤光器;
-有色塑料滤光器;
-明胶滤光器;
-介质滤光器;以及
-等离子体滤光器。
10.根据权利要求7至9之一所述的系统,其中所述配准设备被配置为基于所述参考图像中的所述参考取出区域在所述数字样本图像中标识样本取出区域(54)。
11.根据权利要求7至10之一所述的系统,还包括:
-标记设备(56);
其中所述标记设备被配置为:基于数字样本图像中标识的样本取出区域,在样本载玻片上提供取出标记。
12.根据权利要求7至11之一所述的系统,还包括:
-解剖设备(58);
其中所述解剖设备被配置为:从所述样本切片取出在取出区域中的生物材料,其中基于在所述数字样本图像中标识的样本取出区域来提供所述取出区域。
13.根据权利要求7至12之一所述的系统,其中所述图像形成设备是明视场显微镜。
14.一种计算机程序单元,用于控制根据权利要求7至13之一所述的装置,所述计算机程序单元在由处理单元执行时适于执行根据权利要求1至6之一所述的方法步骤。
15.一种计算机可读介质,已存储权利要求14所述的程序单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15176985 | 2015-07-16 | ||
EP15176985.8 | 2015-07-16 | ||
PCT/EP2016/066884 WO2017009450A1 (en) | 2015-07-16 | 2016-07-15 | Digital pathology system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107850768A true CN107850768A (zh) | 2018-03-27 |
CN107850768B CN107850768B (zh) | 2021-01-05 |
Family
ID=53716355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680041926.2A Active CN107850768B (zh) | 2015-07-16 | 2016-07-15 | 数字病理系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10684461B2 (zh) |
EP (1) | EP3323108B1 (zh) |
JP (2) | JP2018532132A (zh) |
CN (1) | CN107850768B (zh) |
RU (1) | RU2718427C2 (zh) |
WO (1) | WO2017009450A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113631908A (zh) * | 2018-12-21 | 2021-11-09 | 纳米线科技公司 | 用于病理试样的移动数字空间剖析的方法、装置、系统和设备 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020104952A1 (en) * | 2018-11-20 | 2020-05-28 | LeanAP, Inc. | Sample imaging and imagery archiving for imagery comparison |
CN109615613B (zh) * | 2018-11-22 | 2019-12-20 | 广州金域医学检验中心有限公司 | 病理切片染色质量评价方法、装置、计算机设备及存储介质 |
SG11202105311VA (en) * | 2018-11-29 | 2021-06-29 | Univ La Trobe | Method of identifying a structure |
EP3761032A1 (en) | 2019-07-03 | 2021-01-06 | Xyall B.V. | Determining region(s) for tissue dissection in pathology slides |
BR112022011428A2 (pt) * | 2019-12-12 | 2022-08-30 | Chemimage Corp | Sistemas e métodos para discriminação de alvos em tecidos |
WO2024064017A1 (en) * | 2022-09-19 | 2024-03-28 | Indrio Technologies, Inc. | Multipass hydrogenated palladium optical cavities for detection of hydrogen |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091822A (ja) * | 1999-09-24 | 2001-04-06 | Olympus Optical Co Ltd | 顕微鏡用焦点検出装置 |
CN101542527A (zh) * | 2006-11-16 | 2009-09-23 | 维斯欧法姆有限公司 | 可组合图像的基于特征的配准 |
CN102227747A (zh) * | 2008-11-27 | 2011-10-26 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
CN102414716A (zh) * | 2009-04-28 | 2012-04-11 | 皇家飞利浦电子股份有限公司 | 显微剖切方法和信息处理系统 |
US20130265405A1 (en) * | 2012-04-05 | 2013-10-10 | Baker Hughes Incorporated | Visualizing Polynuclear Aromatic Hydrocarbons within the Near Infrared Spectrum |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4255014A (en) | 1977-07-20 | 1981-03-10 | Research Corporation | Edge enhancement of phase phenomena |
US5671288A (en) * | 1995-05-31 | 1997-09-23 | Neopath, Inc. | Method and apparatus for assessing slide and specimen preparation quality |
JP3808169B2 (ja) * | 1997-05-23 | 2006-08-09 | 株式会社ルネサステクノロジ | 検査方法およびその装置並びに半導体基板の製造方法 |
GR1004180B (el) * | 2000-03-28 | 2003-03-11 | ����������� ����� ��������� (����) | Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων |
US7133543B2 (en) * | 2001-06-12 | 2006-11-07 | Applied Imaging Corporation | Automated scanning method for pathology samples |
US8722357B2 (en) * | 2001-11-05 | 2014-05-13 | Life Technologies Corporation | Automated microdissection instrument |
US20030099390A1 (en) | 2001-11-23 | 2003-05-29 | Xiaolan Zeng | Lung field segmentation from CT thoracic images |
JP4156851B2 (ja) * | 2002-03-22 | 2008-09-24 | オリンパス株式会社 | マイクロダイセクション装置 |
US7433025B2 (en) * | 2002-04-10 | 2008-10-07 | Thermo Fisher Scientific (Asheville) Llc | Automated protein crystallization imaging |
AT502855B1 (de) * | 2005-11-30 | 2009-10-15 | Oridis Biomed Forschungs Und E | Verfahren und vorrichtung zur automatischen zerstörungsfreien analyse einer vielzahl von biologischen proben |
US8388509B2 (en) | 2007-12-11 | 2013-03-05 | Tokitae Llc | Systems, devices, and methods including paramagnetic oscillation, rotation, and translation of hemozoin asymmetric nanoparticles in response to dark-field or Rheinberg detection of the presence of hemozoin |
US9232889B2 (en) * | 2009-02-12 | 2016-01-12 | Alcon Research, Ltd. | Method and apparatus for ocular surface imaging |
JP2010211303A (ja) | 2009-03-06 | 2010-09-24 | Olympus Corp | 画像生成装置、異物検査システム、及び画像生成方法 |
JP2012524276A (ja) * | 2009-04-14 | 2012-10-11 | ザ ジェネラル ホスピタル コーポレーション | 生体組織をマルチモーダルにイメージングするための方法及び装置 |
US10621307B2 (en) * | 2010-04-29 | 2020-04-14 | Definiens Gmbh | Image-based patient profiles |
US9025850B2 (en) * | 2010-06-25 | 2015-05-05 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
US8787651B2 (en) * | 2010-09-28 | 2014-07-22 | Flagship Biosciences, LLC | Methods for feature analysis on consecutive tissue sections |
JP5683888B2 (ja) | 2010-09-29 | 2015-03-11 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
DE102011006667A1 (de) * | 2011-04-01 | 2012-10-04 | Carl Zeiss Microimaging Gmbh | Schieber zum Einschieben in den Beobachtungsstrahlengang eines Mikroskops |
US8718350B2 (en) * | 2011-04-08 | 2014-05-06 | Regents Of The University Of Minnesota | Computerized methods for tissue analysis |
WO2013044166A1 (en) * | 2011-09-23 | 2013-03-28 | Schwartz Alan N | Non-invasive and minimally invasive and tightly targeted minimally invasive therapy methods and devices for parathyroid treatment |
JP5858774B2 (ja) | 2011-12-26 | 2016-02-10 | キヤノン株式会社 | 表示画面生成装置及びその制御方法 |
US9786050B2 (en) * | 2013-03-15 | 2017-10-10 | The Board Of Trustees Of The University Of Illinois | Stain-free histopathology by chemical imaging |
US9964489B2 (en) * | 2014-09-16 | 2018-05-08 | Lawrence Livermore National Security, Llc | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents |
RU2707326C2 (ru) * | 2015-08-25 | 2019-11-26 | Конинклейке Филипс Н.В. | Анализ тканевой микроматрицы |
-
2016
- 2016-07-15 EP EP16739143.2A patent/EP3323108B1/en active Active
- 2016-07-15 WO PCT/EP2016/066884 patent/WO2017009450A1/en active Application Filing
- 2016-07-15 JP JP2018501905A patent/JP2018532132A/ja active Pending
- 2016-07-15 CN CN201680041926.2A patent/CN107850768B/zh active Active
- 2016-07-15 US US15/744,962 patent/US10684461B2/en active Active
- 2016-07-15 RU RU2018101231A patent/RU2718427C2/ru active
-
2021
- 2021-12-23 JP JP2021209046A patent/JP7194801B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091822A (ja) * | 1999-09-24 | 2001-04-06 | Olympus Optical Co Ltd | 顕微鏡用焦点検出装置 |
CN101542527A (zh) * | 2006-11-16 | 2009-09-23 | 维斯欧法姆有限公司 | 可组合图像的基于特征的配准 |
CN102227747A (zh) * | 2008-11-27 | 2011-10-26 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
CN102414716A (zh) * | 2009-04-28 | 2012-04-11 | 皇家飞利浦电子股份有限公司 | 显微剖切方法和信息处理系统 |
US20130265405A1 (en) * | 2012-04-05 | 2013-10-10 | Baker Hughes Incorporated | Visualizing Polynuclear Aromatic Hydrocarbons within the Near Infrared Spectrum |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113631908A (zh) * | 2018-12-21 | 2021-11-09 | 纳米线科技公司 | 用于病理试样的移动数字空间剖析的方法、装置、系统和设备 |
US12002572B2 (en) | 2018-12-21 | 2024-06-04 | Nanostring Technologies, Inc. | Methods, apparatuses, systems and devices for mobile digital spatial profiling of pathological specimens |
Also Published As
Publication number | Publication date |
---|---|
WO2017009450A1 (en) | 2017-01-19 |
EP3323108A1 (en) | 2018-05-23 |
US20180267290A1 (en) | 2018-09-20 |
JP2018532132A (ja) | 2018-11-01 |
RU2018101231A (ru) | 2019-08-16 |
CN107850768B (zh) | 2021-01-05 |
US10684461B2 (en) | 2020-06-16 |
JP2022050455A (ja) | 2022-03-30 |
JP7194801B2 (ja) | 2022-12-22 |
EP3323108B1 (en) | 2022-07-13 |
RU2718427C2 (ru) | 2020-04-02 |
RU2018101231A3 (zh) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107850768A (zh) | 数字病理系统 | |
US10642019B2 (en) | Method and apparatus for imaging unsectioned tissue specimens | |
Kukulski et al. | Precise, correlated fluorescence microscopy and electron tomography of lowicryl sections using fluorescent fiducial markers | |
Wang et al. | High-resolution rapid diagnostic imaging of whole prostate biopsies using video-rate fluorescence structured illumination microscopy | |
Gareau | Feasibility of digitally stained multimodal confocal mosaics to simulate histopathology | |
US8995733B2 (en) | Microdissection method and information processing system | |
RU2690224C2 (ru) | Обследующее устройство для обработки и анализа изображения | |
Giacomelli et al. | Multiscale nonlinear microscopy and widefield white light imaging enables rapid histological imaging of surgical specimen margins | |
JP5185151B2 (ja) | 顕微鏡観察システム | |
JP2011179924A (ja) | 顕微鏡システム、標本観察方法およびプログラム | |
US20140193850A1 (en) | Holographic method and device for cytological diagnostics | |
Fereidouni et al. | Dual-mode emission and transmission microscopy for virtual histochemistry using hematoxylin-and eosin-stained tissue sections | |
Gribble et al. | A multiscale Mueller polarimetry module for a stereo zoom microscope | |
Zhang et al. | Optical biopsy of laryngeal lesions using femtosecond multiphoton microscopy | |
Micheva et al. | Array tomography: Imaging stained arrays | |
US20100177942A1 (en) | Method and apparatus for analyzing imagery data | |
Swift et al. | Fluorescence microscopy: A field guide for biologists | |
US11978134B2 (en) | Method, computer program product, and microscopy system for displaying polarizing samples | |
Prakash et al. | Considerations for measurement of embryonic organ growth | |
Gribble et al. | Correction to: A multiscale Mueller polarimetry module for a stereo zoom microscope | |
Seyffert et al. | Multifluorescence live analysis of herpes simplex virus type-1 replication | |
WO2023018916A1 (en) | Method and apparatus for ensuring surgical instrument integrity | |
Thiesse et al. | Bright field segmentation tomography (BFST) for use as surface identification in stereomicroscopy | |
Garsha et al. | Multi-modal contrast of tissue anatomy enables correlative biomarker imaging | |
JP2006055161A (ja) | 微生物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |