CN110692006A - 用于生成和分析概览对比度图像的方法 - Google Patents

用于生成和分析概览对比度图像的方法 Download PDF

Info

Publication number
CN110692006A
CN110692006A CN201880036369.4A CN201880036369A CN110692006A CN 110692006 A CN110692006 A CN 110692006A CN 201880036369 A CN201880036369 A CN 201880036369A CN 110692006 A CN110692006 A CN 110692006A
Authority
CN
China
Prior art keywords
overview
illumination
image
sample carrier
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880036369.4A
Other languages
English (en)
Inventor
丹尼尔·哈泽
托马斯·奥特
马库斯·施蒂克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN110692006A publication Critical patent/CN110692006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • G02B21/125Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/086Condensers for transillumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种用于生成和分析样品载体(1)和/或布置在样品载体(1)上的样品的概览对比度图像的方法。其中将至少部分地布置在检测光学单元(2)的焦点中的样品载体(1)在透射光中以二维的、阵列形的照明图案(3)进行照明。检测至少两个具有样品载体(1)的不同照明的概览原始图像,并根据要从概览对比度图像中提取的信息来选择计算算法,通过所述计算算法基于至少两个概览原始图像计算出概览对比度图像。最后,根据要从概览对比度图像中提取的信息选择图像评估算法,通过所述图像评估算法提取信息。

Description

用于生成和分析概览对比度图像的方法
技术领域
本发明涉及一种用于生成和分析样品载体和/或布置在样品载体上的样品的概览对比度图像的方法。
背景技术
传统光学显微镜的开发基于这样的前提:使用者坐着或站着通过目镜观察样品载体,并可以直接与样品相互作用,这意味着他一方面能够迅速获得样品及物镜的视野的概况,另一方面可以直接或借助可调节的样品台将样品载体与样品一起横向移动,以使样品的其他区域进入物镜的视野。在这种情况下,显微镜的使用者可以停留在他的位置,只需要最小程度地移动其头部,使得在这方面传统的显微镜具有很高的人体工程学性。
随着时间的流逝,特别是针对生物样品的检查方法得到了进一步的发展,结果适于执行所述检查方法的显微镜的结构也变得越来越复杂。在当今的显微镜系统中——其允许沿观察方向记录图像堆栈并从中重建样品的空间图像,借助检测器生成图像。作为检测器,使用例如配置有相应的表面传感器的相机,或还有光电倍增管。因此,在此类系统中工作场所已从显微镜支架转移,因此从样品转移至计算机或计算机的屏幕。但是另一方面同样使用且需要支架前的工作场所来准备(即设置)用于检查的样品。为此,必须将样品载体上的样品移到物镜的视野中,必须选择样品区域,必须为所述样品区域调整位置,最后必须对样品聚焦。因此,当使用现代的复杂显微镜系统时,工作进程与两个工作区域相关联,所述两个工作区域代表工作进程中的不同步骤,并且在空间上彼此分开——一方面是带有用于直接观察的目镜的显微镜支架,另一方面是连接的电脑的屏幕。
由于附加其他仪器,如用于检查活细胞的培养箱,极大地限制了对样品的直接观察,即物镜视野在样品中的位置。此外,如果使用较大的样品载体以便可以先后检查多个样品,例如多孔板,则在样品上的取向也会受到阻碍。
由此,对于用户来说,找到样品和设置样品区域变得很困难,此外存在样品上的取向损失。为了设置,需要在计算机工作场所和可以直接观察样品的显微镜支架之间多次切换。
另一方面,还存在为处理大量样品而设计并且不处于不断控制下的显微镜系统。在那里必须自动识别样品区域并进行显微检测。在这种情况下,样品载体通常具有必须分配给样品的的标记,例如条形码或QR码的形式。这种检查是半自动进行的,使用者例如仅参与更换样品载体、设置概览图像或注册样品载体编号。
尤其是在高通量(High Throughput)显微镜系统中使用多孔板时,出现一些孔不包含任何样品或者包含不正确嵌入的、污染的或有缺陷的样品的情况。同样以半自动方法检查这些孔,尽管结果可能无法使用,使得花费比实际所需更多的时间。
尽管在现有技术中存在用于生成概览图像的不同方法,但是这些方法或多或少具有大的缺点。例如,可以用显微镜光学单元和弱放大物镜以及布置在物镜下游的相机记录图像。然而,这仅可以记录与样品或样品载体的尺寸相比小的物体场,特别是如果使用用于多个样品的样品载体。因此,为了能够记录大的样品区域,例如用于多孔样品载体,必须记录样品或样品载体的彼此相邻区段的多个图像。所述图像随后必须合并。该过程相当费时,不适合例如检查活体样品。
如果省略显微镜光学单元而代之以具有相机物镜的相机,借此可以对大的物场成像,则也可以记录概览图像;相机物镜通常不是远心的。该解决方案例如在申请人的AxioScan系列中实现,但是只能与明视场照明和入射光一起使用。用这种方法很难检测盖玻片和未染色的样品。
其他解决方案倾斜地照明样品和样品载体,即以相对于光轴不同于零的角度照明,其中检测散射回的光。在这种情况下,待测物场的测量灵敏度大大波动,使得结果不总是可靠。
发明内容
因此,本发明的目的在于,生成样品载体的概览图像,其中样品载体本身的结构以及任选的其他结构,例如样品载体上的标记、可能的样品区域、必要时存在的浸没液体、实际样品和/或样品瑕疵如气泡、污垢等,可以被清晰且无误地检测到。与相机的常规记录甚至HDR图像相比,概览图像应当具有相应关心的结构的提高的对比度或改善的信噪比,因此概览图像在下面被称为概览对比度图像。概览对比度图像可为使用者提供导航,但是它也可用于改善样品的自动化分析并通过例如检测样品瑕疵减小瑕疵易感性。
该目的通过开篇所述类型的方法实现,这是通过以如下方式生成概览对比度图像实现的:将样品载体(通常配备有至少一个样品)至少部分地布置在检测光学单元的焦点中,并在透射光中以二维的、优选阵列形的照明图案进行照明。在此,至少部分地意味着样品载体或样品不必是完全可见的,而是特别是样品载体和/或样品还可以沿着光轴具有大于所使用的检测光学单元的景深的范围。作为检测光学单元,可以使用显微镜的光学单元,但优选是具有相机物镜的相机,它使得可以将大物场优选地以足够高的景深成像到平面检测器上。
在该方法的这种配置中,为了生成概览对比度图像,需要检测至少两个具有样品载体的不同照明的概览原始图像。
然后,例如由相机检测概览原始图像,即未处理的图像,这通过平面检测器(例如CMOS芯片)逐像素地记入强度来实现。根据照明类型,概览原始图像可以先后或同时记录,例如使用单个相机。
根据照明的类型和要从概览对比度图像中提取的信息来选择计算算法,通过该计算算法基于至少两个概览原始图像计算出概览对比度图像。所述信息可以是例如已经提到的样品载体、样品等以及样品载体的标记的结构。
同样,根据要从概览对比度图像中提取的信息,选择图像评估算法,通过该图像评估算法从概览对比度图像提取信息。然后,这些信息可以例如由用户在连接的计算机的屏幕用于启动观察和分析范围内的其他步骤,例如用于在样品上导航,为此将图像显示在屏幕上并由用户例如通过点击鼠标来选择关心的样品区域。基于图像评估,显微镜系统可以自动调整到该位置。但是,在自动检查的范围内,例如在高通量检查中,这些信息也可以用于排除多孔载体如微量滴定板的错误填充的微皿(孔),使得它们甚至不由显微镜调整位置。
基本方面涉及使用二维的、优选阵列形的照明以及用不同的照明记录概览原始图像。可以以不同的方式获得二维照明,其中为了生成照明图案优选地使用相同尺寸的照明元件的阵列。在任何情况下,各个照明元件必须在至少两个概览原始图像中彼此可区分,也就是说,它们必须能够在图像中彼此分开地呈现,尽管未在其上聚焦。照明元件可以是LED、OLED、光纤的末端、被照明的DMD(DMD-数字微镜器件)或其他空间光调制器的元件。它可以是有源或无源发光的元件。照明元件也可以例如用平面发光的光源来生产,在光源的前方例如布置有可切换的滤光器结构,借此可以操纵照明元件的一种或多种特性,例如颜色、强度或偏振。然而,可以特别有利地使用发光二极管(LED),因为它们一方面可以布置成多色LED的嵌套阵列,另一方面还提供足够高的光功率,最后还已经可以获得使用LED阵列用于照明的显微镜,即以矩阵或网格形式布置的LED(LED阵列显微镜、角度照明显微镜-AIM)。这种显微镜的LED阵列同样可以用于生成二维照明图案。
可以以不同的方式实现用于记录至少两个概览原始图像的不同的照明。一种简单的可能性在于使用静态的二维照明图案并且在两次记录之间将样品载体相对于照明图案横向移动,即垂直于检测光学单元的光轴移动。这可以通过移动(同样布置在以光轴为法线的平面中的)照明图案本身或通过移动样品载体来实现。在这种情况下,样品载体或样品在透射光中被照明,即样品载体位于照明图案的照明元件和检测光学单元例如相机之间。
除了在空间上不同的照明之外,还可以使用时间上不同的照明,这通过例如以不同的曝光时间或在相同曝光时间的情况下以不同长度的照明记录概览原始图像,其中在后一种情况下信噪较差。按照现有技术中已知的HDR方法(HDR-高动态范围),可以从这些概览原始图像计算出概览对比度图像。
另一种可能性在于通过不同的照明图案来生成空间上不同的照明,其中照明图案优选地根据要提取的信息来选择。原则上,例如可以施加于照明元件的阵列的多个照明图案是合适的。例如,可以通过单独地或成组地控制照明元件并将它们切换到不同的照明图案来生成不同的照明图案,其中照明元件的第一部分被切换为发光的并且照明元件的至少一个第二部分被切换为不发光或发射另一颜色的光或另一偏振的光。如果照明元件的至少第二部分不发光,则每个图案中存在恰好两个部分,并且先后检测概览原始图像。如果照明元件的第二部分发射另一颜色的光,则照明元件也可以分为多于两个的组,并且包括分别发出另外颜色的光的第三部分或另外的部分,其中颜色逐对地彼此不同。相应的情况适用于偏振。用不同颜色的光照明时的概览原始图像可以同时被记录,条件是在检测侧分离成不同的颜色通道。如果例如照明元件组成的阵列具有红(R)、绿(G)和蓝(B)三种RGB原色的LED,并且相机的传感器具有对应于这些颜色通道的相应传感器,则可以容易地实现分离,并且可以同时记录三个概览原始图像。相应的情况适用于偏振照明,如果例如LED阵列配备有不同偏振的偏振滤光器,并且偏振方向同样被检测并用于通道的分离。
如果照明元件配置为LED,并且LED由分别以不同的原色红、绿、蓝发光的三个彼此相邻的子LED形成,则还可以通过原色角度不同的照明来设置不同的照明。在此,也可以同时检测概览原始图像。
另一种可能性在于生成外在不同的照明图案,并以不同的照明图案先后记录概览原始图像。在第一变型中这可以例如通过以下方式进行:为每个照明图案随机地选择照明元件的第一部分,其中各个照明元件可以被随机地控制并切换为发光或不发光,其中应当注意发光元件和不发光元件的尽可能好的均等分布的边界条件。在第二变型中,使用脉宽调制的照明元件(这可以用LED或OLED特别好地实现),其中选择的脉冲宽度长于用于记录概览原始图像的检测器单元的积分时间。在这种情况下,不必单独控制照明元件。
代替随机的照明图案,也可以生成其中照明元件有规律分布的照明图案。例如,棋盘型、十字形或半瞳孔分布可以用于发光的照明元件。特别是在棋盘型分布的情况下,存在两种可能性:一方面,照明元件的第二部分可以不发光,于是以相互互补的照明图案先后记录两个概览原始图像。在棋盘型照明的情况下,图案彼此反转。另一方面,照明元件的两个部分也可以发出不同颜色或偏振的光,在这种情况下概览原始图像可以同时在一个图像中记录,然后按照颜色通道或偏振分离。在具有两个照明图案的棋盘型照明的情况下,这两个图案不仅是互补的,而且还是彼此反转的。在使用多个图案的情况下——例如扫描阵列的单个发光照明元件,则所有图案一起以相互互补的方式工作,也就是说总体来看产生仅由发光的照明元件组成的阵列。在半瞳孔照明的情况下,四个必需的照明图案中的两个分别是相互互补的。
最后,还可以通过从照明元件的阵列中选择至少一个区段并仅在所述区段中生成照明图案来实现不同的照明。通过在阵列上至少一个区段的扫描运动来实现不同的照明,其中在所述至少一个区段之外的照明元件被切换为不发光。例如,此处可以使用单个LED的照明,也可以使用棋盘型照明的一个区段。在这种情况下,在大的样品载体的情况下,可以选择多个平行移动的区段,不同颜色的照明元件的组合同样是可行的,以同时生成多个区段。
在记录了概览原始图像之后,根据要从概览对比度图像提取的信息来选择计算算法,通过所述计算算法基于至少两个概览原始图像计算出概览对比度图像。优选地,计算算法的选择还根据照明方法的在先选择来进行,即与其适应。概览对比度图像优选以暗视场模式或亮场模式生成,因为它们可以实现最佳对比度,但是混合模式也是可能的。在此应当确保对比度对于所关心的结构是最佳的,例如取决于盖玻片、样品本身或标记是否要以尽可能高的对比度来呈现。在某些情况下,取决于所需信息,可以在明视场和暗视场模式下从概览原始图像生成概览对比度图像。除了在暗视场或明视场模式下生成概览对比度图像之外,还可以生成其他类型的对比度,例如在HDR模式下的概览对比度图像,其包含暗视场和明视场分量。
在第一种配置中,计算算法基于逐像素投影,优选地基于分级投影或基于统计矩的投影。在这种情况下,为了基于至少两个概览原始图像的堆栈生成概览对比度图像,逐像素比较概览原始图像,并相应于投影条件对于概览对比度图像中的相应位置选择像素之一的强度值。因此,逐像素地计算所记录的图像堆栈,也就是说概览对比度图像中的每个像素仅受图像堆栈中位于概览原始图像中相同图像位置处的像素的影响。在分级投影的情况下,对于图像位置,按强度对概览原始图像的相应像素值进行分类,并且将与p-分位数对应的值用于概览对比度图像,其中p是由用户指定的由计算方法预设的参数。一种特例是p=0.0的最小投影,其中选择强度最小的像素;其他特例是p=1的最大投影,其中选择强度最大的像素,或p=0.5的中等投影。
根据生成概览原始图像所采用的照明,可以用这种类型的计算在暗视场对比度或明视场对比度的情况下生成概览对比度图像。例如,如果照明元件(尤其如果其设计为LED)没有过驱动并且p=1,即选择了最大投影,则可以生成明视场模式的概览对比度图像。但是也可以在暗视场模式下生成概览对比度图像,如果例如以尽可能大的p生成尽可能亮的概览对比度图像,其中在计算中仅考虑未直接由照明元件照明的像素。如果例如以照明元件的第一部分的棋盘型分布和与其互补的分布来生成两个概览原始图像,则选择p=0并且实施最小投影。相反,如果仅在阵列的一个区段中生成照明图案并且该区段以扫描方式在阵列上移动,则与记录概览原始图像相比,图像中每个像素直接照明的频次较低。如果例如使用四个以十字形式接入的LED并为扫描的棋盘图案生成30个概览原始图像,则每个像素最多直接由直径比像素显著更大的LED照明四次。于是该值为p=((30-1)-4)/(30-1)=0.8621。
可替换地,也可以使用基于统计矩投影的算法。在这种情况下,概览对比度图像中的每个像素对应于一个统计矩,例如在概览原始图像的相应像素上强度的标准偏差。特别是与一系列相对于样品载体横向移动的统计LED图案相结合,这提供良好的对比度并且还保持小的细节,使得该计算算法特别适合用于例如检测多孔样品载体或腔室玻片样品载体。
上述投影方法作为计算算法的优点在于,一方面它们可以很好地并行化并因此允许非常快速的计算,另一方面由于对所有像素都平等对待,因此不会出现接缝伪像,例如在基于分段的计算算法的情况下那样,在这种情况下在不利时结构的边界看上去在接缝处不连续地跳跃。
在另一种配置中,计算算法基于具有后续逐像素投影的形态学操作,优选地基于具有后续逐像素最大投影的顶帽变换或黑帽变换。可以使用顶帽变换来突出深色背景上的明亮结构,而用黑帽变换可以突出深色背景上的黑暗结构。用这些计算算法尤其可使玻璃边缘可见,即样品载体或盖玻片的边缘。接下来,在如此变换的概览原始图像上形成逐像素最大投影,从而生成概览对比度图像。该计算算法的优点在于同时从明视场和暗视场对比度获得信息,并且还对其进行有效计算。但是,与等级投影相比,计算的图像中的对比度大部分较差,并且经常仅在玻璃边缘可见。另外,会生成强烈的背景伪像,其必须随后予以去除。
在另一种配置中,选择一种基于分段的计算算法,其中首先针对概览原始图像的每个像素确定是否所述像素已被照明元件用光直接照射。于是,为了在暗视场对比模式下生成概览对比度图像,不考虑这些像素。在这里也使用投影方法生成概览对比度图像。与分级投影相比,该计算算法的优势在于,在此可以明确确定可以使用来自概览原始图像的哪些像素信息。缺点是,由于分段和由此产生的像素的不平等对待,在计算出的对比度图像中可能产生接缝。另外,该计算不能像前述计算算法中那样高效地执行。
在以明视场模式工作的方法的一种替代性配置中,概览对比度图像不是通过计算生成的,而是直接检测到的,也就是说没有检测概览原始图像,或者换句话说在这种情况下概览原始图像与概览对比度图像相同。为此目的,将散射盘在阵列形照明图案与样品载体之间插入光束路径中,所述阵列形照明图案在此也可以由优选同样尺寸的照明元件的阵列组合而成。生成对于明视场照明有利的漫射照明的散射盘也可以永久地保持在光路中,只要它是可切换的,于是它只为了在明视场模式下生成概览对比度图像而接通,即切换到散射。
对于样品载体在两次记录之间相对于照明图案横向移动的情况,为了计算需要知道在这种情况下样品或照明图案在图像中如何移动。为此,将相机相对于样品载体或照明图案进行校准,以便在样品载体移动的情况下能够在图像坐标上绘出平台的坐标,样品载体保持在所述平台上并且所述载物台可以为了样品载体的移动而行进。对于可移动的照明图案可以进行相应的处理。在可行进平台的情况下,为了校准,具体地将校准图案例如棋盘置入平台中,由此可以以足够的精度估计坐标映射。替代地,在计算中也可以省去这种校准,并且通过图像分析或使用另外的测量系统来确定样品的移动。
特别地,对于照明图案是位置固定的并且样品载体在记录之间移动的情况,可以在校准之后、即在量化样品载体相对于图像的实际移动之后生成概览对比度图像,即使是对于不完全适合于可由相机或检测光学单元检测的物场的较大样品载体,这通过首先生成分别显示样品载体和/或样品的不同区域并由相应的单个概览原始图像生成的单个对比度图像而实现。这些单个对比度图像随后被组合成概览对比度图像,其中使用校准来正确地定位用于彼此接合的连接点。
有利地,与此无关地,还为了校正几何畸变在记录概览原始图像之前通过记录和评估校准图案来进行校准。校准图案是具有已知几何形状和可良好检测的结构——例如上述棋盘图案——的对象,其被放置在相机的像场中的不同位置并由相机记录。然而,作为校准图案也可以使用照明元件组成的阵列,特别是如果它们配置为LED。这样的校准是现有技术中已知的。
如已经结合基于分段的计算算法所指出的那样,根据所使用的计算算法,在所生成的概览对比度图像中可出现背景伪像。这种干扰的背景信号优选地在生成概览对比度图像之后并且还在通过相应的校正算法对其评估之前被去除,即扣除。如果照明图案或样品载体没有横向移动,则伪像通常形成遵循各个照明元件的位置的周期性结构。于是可以通过所谓的自过滤将其去除。现有技术中已知另外的校正方法,用其可以去除或至少减少出现的背景伪像,特别是通过记录或计算背景图像并然后将其从概览对比度图像中减去,即从其中扣除。例如,可以通过对前景的平均来从概览原始图像的计算确定背景图像。也可以从没有样品载体或有空样品载体的记录中确定背景图像。通过例如计算在不发光的照明元件周围的局部区域中的平均像素值,可以从背景对比度图像的计算来确定背景图像,这通过分析概览对比度图像中的所有照明元件来进行。这是因为前景结构独立于相对于照明元件的位置并且被平均化,但是背景结构取决于所述位置并且因此被增强。这通过照明元件的位置产生背景图像,该背景图像随后可以从概览对比度图像中扣除。扣除背景伪像的另一种可能性在于使用带通滤波器,必要时也可以与非线性滤波器结合使用。
在最后一步中,最终通过要选择的图像处理算法自动分析背景对比度图像,并提取所需的信息。在这种情况下,待提取的信息包括以下数据中的一个或多个:样品载体的类型,样品载体的标记,样品或样品区域、盖玻片、多孔板的微皿在图像中的位置,浸没液体的信息例如位置、体积、形状,伪像、有缺陷的样品、气泡等的位置。仅由于概览对比度图像中的高对比度,才能可靠地提取这些信息。
作为图像处理算法可以选择例如基于机器学习原理的算法,特别是深度学习算法,其优选地基于具有已知信息的概览对比度图像来训练。
为了从概览对比度图像自动提取上述信息,可以使用来自机器学习领域的方法。在这种情况下,为各个任务提供包括大量待分析对比度图像的带注释的训练取样,其中包括例如图像分类、分段、定位、检测。在这种情况下,为每个对比度图像分配与任务相对应的期望输出,这还将在下面参考示例进行说明。于是可以使用机器学习技术在学习步骤中自动调整模型,使其即使对于未观看的图像即新图像也生成所需的正确输出。
下面通过示例概述基于机器学习技术的可能算法。可替换地,也可以使用来自传统图像和信号处理的方法,但是基于机器学习、特别是基于深度学习的算法提供了显著的优势,尤其在质量、鲁棒性、灵活性、通用性以及开发和维护成本方面。
为了识别样品载体的类型,例如它是否是例如一个多孔样品载体、皮氏培养皿、腔室玻片等,可以有利地使用基于卷积神经网络的深度学习算法。因此,这是图像分类领域中的任务,该算法使用图像作为输入并输出一个类。在这种情况下,训练取样包括对比度图像,并且为每个对比度图像分配一种相关的样品载体类型,为第一对比度图像分配“皮氏培养皿”类型,为第二对比度图像分配“多孔板”类型,为第三对比度图像分配“腔室玻片”类型,为第四对比度图像分配“玻片”类型,等等。
卷积神经网络(CNN)由不同的层组成,例如卷积层、池化层、非线性层等,其排列在网络体系结构中指定。用于图像分类的体系结构遵循一定的基本结构,但是原则上是灵活的。网络的每个元素都接收输入并计算输出。另外,网络的一些元素具有自由参数,这些自由参数确定从输入的输出计算。将三维数列、即每个像素分别具有三个颜色值的彩色图像输入到第一层作为网络的输入。然后,作为网络的输出,最后一层输出所有可能的样品载体类型的概率分布——概览对比度图像的输出例如为:“玻片”87%,“多孔板”1%,“皮氏培养皿”2%,“腔室玻片”10%。可选地,也可以包括拒绝类,它产生例如“未知”/“无效”/“空”的值。通过训练过程基于提供的训练数据对网络的自由参数进行调整,以使模型的输出尽可能良好地符合预期的输出。
在这种情况下,训练还可以利用已经针对其他数据进行了训练的模型作为精细调整的起点,这在质量、时间耗费和数据耗费方面具有优势。
作为CNN或从CNN衍生的或相关的深度学习方法的替代,还可以使用传统的机器学习方法来执行图像分类,所述方法通常包括两个步骤:(I)特征提取和(ii)分类。在步骤(i)的特征提取中,通过预定义的算法将概览对比度图像转换为替代表示形式——通常转换为紧凑或稀疏向量。这里的简单示例是例如局部梯度直方图(定向梯度的直方图,HoG)。然后在步骤(ii)的分类中借助分类器为这些特征向量中的每一个分配一个类。分类器的一个实例是支持向量机(SVM)。分类器的自由参数在此同样在训练步骤中调整,以使实际输出尽可能好地与期望输出一致。
传统机器学习和深度学习之间的混合方法基于使用CNN进行步骤(i)中的特征提取。在这种情况下,在某一层切断已针对其他数据训练了的CNN,并且使用网络的激活作为特征向量。
一方面样品载体的结构的定位(例如在玻片情况下的盖玻片或者皮氏培养皿以及腔室玻片的腔室或多孔板)以及另一方面样品或样品区域的结构的定位可以被认为是语义分割的问题,也就是说,对于概览对比度图像作为输入图像应该返回这样的图像:在该图像中为输入图像的每个像素分配一个类(例如“背景”、“盖玻片”、“污垢”、“样品”等)。优选地,这同样可以优选地利用来自深度学习领域的网络来实现,例如使用基于CNN的全卷积网络(FCN)。
像CNN一样,FCN通常期望将三维数组(即彩色概览对比度图像)作为输入,但会产生一个阵列作为输出,在该阵列中为输入图像的每个像素分配一个属于每个出现的类的概率。在这种情况下,训练取样包括对比度图像,并且为每个对比度图像分配相同尺寸的阵列(灰度图像),其中又为每个像素分配一个通过灰度编码的类。训练类似于CNN中那样进行。在这种情况下可以使用不同的FCN进行样品载体的定位和样品区域的定位,但是使用单个FCN进行评估尤其可行,该FCN可以映射或包含“盖玻片”和“样品”这两个类。
当然,在不脱离本发明的范围的情况下,前述特征和以下将要说明的特征不仅可以以给定的组合使用,还可以以其他组合使用或单独使用。
附图说明
下面示例性地参照附图更详细地解释本发明,附图还公开了本发明的基本特征。在图中:
图1示出用于执行用于生成和分析概览对比度图像的方法的装置,
图2示出适合于此的显微镜的结构,
图3示出照明的细节,
图4示出随机照明图案的生成,
图5示出两个互补的棋盘型照明,
图6示出具有不同颜色的棋盘型照明,
图7示出照明元件的十字形分布,
图8示出照明元件的半瞳孔分布,
图9示出具有照明图案的区段的扫描移动,
图10-12示出从具有静态照明图案的概览原始图像生成概览对比度图像。
具体实施方式
首先,图1概述了一种结构,利用该结构可以生成样品载体1和/或布置在样品载体1上的样品的概览对比度图像。在这种情况下,样品载体1至少部分地布置在检测光学单元2的焦点中,并且以二维阵列形的照明图案3在透射光中被照明。为了生成概览对比度图像,首先利用样品载体1的不同照明来检测至少两个概览原始图像。为此,在此例如使用平面检测器4,检测光学单元2在其上成像。检测光学单元2可以是具有较小放大倍率的显微镜物镜,但优选是相机的物镜,其能够对物场的较大区域成像,该物场理想地在概览中包括整个样品载体1。相应地,在这种情况下平面检测器4是相机的传感器,例如CMOS芯片。根据配置并且特别是取决于照明的选择,平面检测器4仅记入强度,例如在白色照明的情况下,或者将强度分成不同的颜色通道,例如红(R)、绿(G)和蓝(B)。类似于不同的颜色,也可以使用相应的也记入偏振的传感器来考虑照明中的不同偏振,并且用于分离成不同的通道。
根据图案的类型和照明的类型,同时或先后记录概览原始图像,其中对于每个像素记入相应的强度值。然后将概览原始图像提供给计算单元5,以计算出概览对比度图像。在计算单元5中,根据要从概览对比度图像中提取的信息并且可选地还根据照明选择计算算法,通过所述计算算法基于至少两个概览原始图像计算出概览对比度图像。然后将概览对比度图像提供给图像评估单元6,在图像评估单元6中根据要从概览对比度图像中提取的信息来选择图像评估算法,通过所述图像评估算法最终提取信息。这些信息被传送到控制单元7,该控制单元相应地对其进行进一步处理并且例如以高通量方法由显微分析排除这样的多孔:其中概览对比度图像的评估表明所述多孔没有正确填充,例如包含有缺陷的样品或气泡等。当然,概览对比度图像也可以在屏幕上显示给使用者,所述屏幕与图像评估单元6或控制单元7连接并且可以是所述单元的一部分,从而用户可以手动执行相应的设置。计算单元5、图像评估单元6和控制单元7可以一起集成在PC中作为硬件和/或软件。
如已经结合图1的描述所指出的,该方法也可以利用现有的显微镜容易地执行。特别合适的是使用LED阵列进行照明的显微镜,此时照明图案3通过所述阵列的LED产生。在图2中示例性地示出了这样的显微镜,其用于例如角照明显微术(AIM)。样品载体1在这里通过LED阵列8被照明,检测光学单元2在此例如包括两个透镜,在所述两个透镜之间布置有用于折叠光轴的偏转镜9。通过分束器10将一部分光引导到平面检测器4上,同时将另一部分光通过透镜11导向到目镜12上,使得概览原始图像也可以由一个观察者观察到。相机和照明设备可以特别好地定位在反向显微镜支架上,这通过例如将借以生成照明图案3的LED阵列8布置在准备用于透射光照明的臂上方并将相机放置在样品下方、例如物镜转盘上来进行。
为了生成照明图案3,优选使用优选具有相同尺寸的照明元件的阵列。作为照明元件可以使用例如LED、OLED、光纤,即其端部或出射面作为有源光源,或者是照明的DMD(数字微镜器件)或其他空间光调制器的元件作为无源照明元件。如果下文中例如将LED称为光源,则这仅用直观的解释,并不明确排除使用其他可能的照明元件阵列。
概览原始图像的记录通过具有平面检测器4的相机进行;照相机的物镜如图1所示聚焦在样品载体1上,并对准照明图案3或样品载体1后面的照明,该照明图案或样品载体后面的照明不在焦点上。在这种情况下,可以使用具有物镜的相机,该物镜具有大的物场并且不是远心的。在样品载体1和照明图案3之间不必放置额外的光学元件来操纵照明,所述照明图案例如可以配置为LED阵列。通常,检测光学单元2或平面检测器4与样品载体1之间以及样品载体1与照明图案3之间的距离分别可以在0.5cm和10cm之间的范围内选择,但是尤其可以更大,以便必要时检测整个样品载体1。
原则上,所述距离也可以自由选择,只要满足各种条件:(i)样品载体1必须位于检测光学单元2的焦平面内;(ii)待分析的样品载体1的结构——例如盖玻片的边缘——仍可以通过相机分辨;(iii)通过照明图案3生成的结构必须在由平面检测器4记入的图像上是可识别的,即各个照明元件必须是可区分的并且有利地覆盖整个待分析的结构,这可能受到照明元件阵列的尺寸、照明元件的尺寸及其彼此距离的相应选择的影响,因此例如LED的阵列非常适合于大的结构,例如样品载体。如果它们没有完全覆盖结构,则可以在相应校准的情况下生成组合的概览对比度图像。
下面参考图3更详细地解释照明,其中示例性地使用LED用作照明元件。在此,从照明图案3中仅示例性地挑出了一个LED 13,其布置在样品载体1的后面。距离是随意选择的,实际上照明图案3可以布置得更远。然而,直接布置在样品载体1的后面允许布置在焦平面附近,从而改善各个照明元件的分辨率。
使用非远心的检测光学单元2进行记录。每个接入的LED 13根据样品的视场区域用作明视场或暗视场照明。对于第一场区域14,将LED 13直接布置在样品或样品载体的后面,在此透射光分量占主导,使得LED 13对于该第一场区域14用作明视场照明并生成相应的明视场对比度。然而,对于LED 13旁边的第二场区域15,LED 13用作暗视场照明并且可以用于生成暗视场对比度。如果要在明视场模式下生成概览对比度图像,则可以任选地在照明元件阵列和样品载体1之间引入一个散射盘,因为漫射光源对于明视场对比度是有利的,但对于暗视场对比度不是这样。散射盘可以分别引入,但是它也可以永久地定位在光路中,并且可切换,使得只有在接通散射盘时才发生光扩散。通过生成具有不同照明的概览原始图像——这特别是可以通过不同的照明图案3来实现,可以提取样品载体1以及样品本身的明视场和/或暗视场信息,并在概览对比度图像中呈现。
根据要提取的信息选择不同的照明。这些信息通常包括样品载体的类型,例如样品载体是小玻璃板意义上的普通玻片还是简单的皮氏培养皿,还是具有多个开口微皿的多孔样品载体,或是具有不同的封闭样品腔室的样品载体(腔室玻片),所述腔室玻片因此设有盖玻片。在样品载体1上经常给出样品号,例如通过手写标记,但是更常见是用条形码或QR码编码,其可以结合相应的数据库解释。特别是当使用具有多个样品腔室或微皿的样品载体时,要识别可能的样品区域。另外还要能够识别样品,并且能够识别出瑕疵,例如气泡、污染或空样品腔室。此外,要能够识别浸没液体的存在及其形式、体积和位置。
在通过用于图像处理的算法从概览对比度图像自动提取了所需的信息后,可以根据任务自动或半自动地执行以下步骤。作为例子,这里要提到选择要检查多孔板中的哪个微皿,这可以自动地或完全由PC进行,而无需使用者再次通过目镜观察,但是其中也可以呈现完整样品载体1的概览图像。
下面将参考图4-12描述不同的照明和适合于此的计算算法。为了举例说明,在这里总是使用LED阵列,但是同样可以容易地使用其他照明元件,例如上面作为示例提到的。
第一种可能性在于通过不同的照明图案3来生成不同的照明,该照明图案根据要提取的信息来选择。这样的照明图案在图4-9中示出。
例如,可以随机地生成不同的照明图案3。这在图4中示出,六个小图示出了不同的照明图案,其中LED阵列17的LED 16发射白光并且被随机地接通或断开。在接通状态下,它们显示为小圆圈,在断开状态下将它们省略,以清楚地标明不同的照明图案。
生成随机照明图案3的一种简单的可能性在于使用脉冲宽度调制的照明元件,其脉冲宽度被选择为比用于记录概览原始图像的检测器单元的积分时间长,其中该选择还可以确定指定积分时间来进行。在相机的积分时间内,于是一些LED被接通而其他LED被断开,因为LED 16之间的脉冲宽度调制不同步。在这种情况下,LED阵列17的LED 16不必可单独控制或切换。
当然也可以将照明元件单独或成组地控制,并切换至不同的照明图案。在这种情况下,照明元件的第一部分切换为发光,并且照明元件的至少一个第二部分切换为不发光或者不发射另一颜色的光或者发射另一偏振的光。在生成图4中的随机照明图案的情况下,为每个照明图案3随机选择照明元件的第一部分。照明元件的第二部分不发光。为了能够生成高质量的概览对比度图像,需要相对多的概览原始图像,使得通常需要几秒钟来记录概览原始图像。通过照明元件的第二部分不断开而是发出另一颜色的光,可以缩短该时间,从而同时记录两个概览原始图像,然后将它们按颜色分开。
根据计算算法,概览对比度图像既可以在暗视场模式下也可以在明视场模式下生成,所述算法在此例如可以基于针对明视场对比度图像的顶帽变换或针对暗视场对比度图像的黑帽变换,其分别具有随后的逐像素最大投影,其中两个变换可以均等地应用于概览原始图像,从而既可以在明视场模式下也可以在暗视场模式下生成概览对比度图像。在这种照明的情况下可以使玻璃边缘、即样品载体1的边沿或盖玻片变得清晰可见,它们与实际样品相比具有高对比度。
使用随机照明图案时必须记录相对较多的图像(通常在30到50之间)以在概览对比度图像中获得令人满意的对比度,而其他照明图案涉及少得多的图像。这样的图案在图5和图6中示出,它们是棋盘型图案。在这种情况下,接通和断开的照明元件(LED 16)具有棋盘型分布,接通的照明元件的第一部分例如对应于棋盘的白色区域,断开的LED 16的第二部分对应于黑场。需要两个概览原始图像,它们用彼此互补的、即反转的照明图案生成。这两种棋盘图案示于图5中。照明元件的第一部分由接通的LED 16形成,并且每行每列中仅每隔一个LED 16接通。在此,在两个照明图案的右侧照明图案中,在左侧图像中断开的LED 16接通,反之亦然。在此,照明图案可以在整个LED阵列17上或仅在样品载体1的关心的区域上延伸,以减少总的光量并且不会不必要地加载样品。棋盘型照明可特别用于在暗视场模式下使用概览对比度图像,作为计算算法在此尤其使用最小投影中的基于逐像素投影的分级投影算法。仅需要两个概览原始图像,并且该方法为样品载体1和样品区域(例如盖玻片的玻璃边缘)以及样品本身都提供了很好的对比度。
在使用如图5所示的照明图案时,可以使用带有单色LED的LED阵列17,该LED发出例如白光或基色R、G、B中的一种光;为了进行检测,可以使用以彩色或单色方式记入的平面检测器。
如果照明元件的第一部分发光而照明元件的第二部分不发光,则在图5所示的情况下,需要两个必须先后记录的概览原始图像,以生成概览对比度图像。但是,概览原始图像也可以用相机同时记录,然后分离,如果照明元件的所有部分发出的光的偏振成对地彼此不同的话。为了生成棋盘型照明图案,在此可以使用LED阵列17,该LED阵列与图案相应地设置有互补的偏振滤光器,所述偏振滤光器在行和列中交替。偏振滤光器也可以是可切换的。以这种方式,可以通过一次记录生成两个概览原始图像,并且只需随后分离,为此还必须检测偏振。
另一种可能性在于,照明元件的所有部分发出成对彼此不同颜色的光,也就是说例如在照明元件的四个部分的情况下,每个部分都发出不同颜色的光。在图6中再次参照棋盘型照明图案对此进行说明。照明元件的第一部分在此包括蓝色LED 18,它因此发出蓝色波长范围内的光,而照明元件的第二部分包括红色LED 19,即发出红色波长范围内的光的LED。两个网格彼此嵌套,使得在LED阵列17上呈现红色-蓝色棋盘。样品载体1用该照明图案照明,并拍摄已经包括两个必需的概览原始图像的记录。通过按颜色通道将记录分离,获得各个概述原始图像。根据相机的配置,也就是说根据颜色通道的数量以及LED阵列17的LED13的数量,也可以将三个或更多个图案彼此嵌套,借此将样品或者样品载体1同时照明。理想地,在这种情况下LED阵列17的LED 16和用于记录的相机的颜色通道彼此匹配,在没有进一步措施的情况下通常可以使用红、绿、蓝三原色通道,因为即使发出白光的LED也是由红、绿、蓝子LED组合而成的。
代替棋盘形的照明图案,也可以使用其他照明图案,其中与随机分布不同,照明元件的第一部分以及相应的第二部分和可能还有的其他部分具有有规律的分布。图7显示了这样的示例,即所谓的十字图案,其中生成四个不同的照明图案,并且相应地需要四个概览原始图像。此处的对比度比棋盘型照明图案略微提高。使用半瞳孔图案时同样需要四个单独的概览原始图像,如图8所示。为了生成概览原始图像,将LED阵列17分为两半,于是照明元件的第一部分位于一半中,而已断开的照明元件的第二部分位于另一半中。以与其互补的分布记录第二概览原始图像,也就是说如果首先照明元件的第一部分填充了LED阵列17上的左半部分,那么对于第二概览原始图像将填充右半部分。通过将LED阵列分为上半部分和下半部分,即采用垂直于第一划分方向的划分方向,则生成另外两个概览原始图像。在具有竖直元件的透明样品载体的情况下,特别是在所谓的腔室玻片或透明多孔板的情况下,这样可以实现高对比度。优选在暗视场模式下生成概览对比度图像,为此使用基于逐像素投影的计算算法,优选分级投影算法。在这种情况下,概述原始图像被逐像素地比较,并且根据投影条件为概览对比度图像中的相应位置选择像素之一的强度值。
在该方法的另一种配置中,利用以下事实:每个发射白光的LED由三个单独的、彼此相邻的子LED形成,所述子LED分别以红、绿、蓝的不同原色发光。在此可以通过从原色中以不同角度照明来设置不同的照明,在此照明图案可以相同。在这种情况下,选择一种计算算法,利用该算法生成亮场模式下的概览对比度图像。
该方法的另一种配置在于仅在照明元件阵列的至少一个区段中生成照明图案3。然后通过阵列上至少一个区段的扫描移动来生成不同的照明。在这种情况下,将所述至少一个区段之外的照明元件切换成使得它们不发光。这在图9中以棋盘图案为例呈现,从中选择了四个LED 16的一个小区段,它以一系列图像或照明图案扫描一行,然后逐行在LED阵列17上移动。与结合图5描述的棋盘图案相比,这里需要更多的概览原始图像,对比度在质量方面是相当的。但是有利的是,通过LED阵列17发出的单位时间的光量与同时使用两个全图案时相比明显更小。因此降低了背景亮度,并且在概览原始图像中存在更少的干扰性反射。记录概览原始图像所需的时间可以通过例如将样品载体1的图像中在空间上远离的区域与带有照明图案的区段同时移动来减少,和/或在要移动的区段中生成分开记入的不同颜色的照明图案。
在在LED阵列17上方移动的区段中,还可以生成其他图案,例如除了一个以外所有LED 16都接通,使得该区段仅包括一个断开的LED,然后移动该区段。另一种可能性在于仅接通一个LED并关闭所有其他LED,并将此区段在阵列上方移动,并在此过程中记录概览原始图像。
在此,作为计算算法尤其可使用分级投影算法,特别是还按照最小投影,从而获得暗视场模式下的概览对比度图像。
通常可能需要过驱动相机上的明视场区域,以获得用于暗视场对比度的良好暗视场信号。为了随后的明视场记录,则可能必须在没有过驱动的明视场区域的情况下执行进一步的记录。
最后参考图10-12在下面解释该方法的另一种配置。在这种情况下,不同的照明不是用不同的照明图案生成的,而是通过样品载体1在两次记录之间相对于照明图案3横向移动生成的。关于图1,这对应于垂直于光轴的移动。在这种情况下可以使样品载体1相对于照明图案3移动,或者相反,但是也可以将两者相对于彼此移动。通常,仅样品载体1的移动更容易实现,因为它通常安装在可在所有三个空间方向上移动的平台上。LED阵列17的LED 16以固定的图案例如规则的网格切换。在两个概览原始图像之间,将照明图案3和/或样品载体1在正交于相机的光轴的平面中移动。在图10-12中,分别在照明图案3相对于样品载体1的四个不同定位中示出了不同的样品载体,它用LED阵列17和LED 16实现。作为样品载体,在图10中使用要使其可见的带有盖玻片21的玻片20,在图11中是多孔板22,要使其微皿23可见,在图12中样品载体是腔室载片24,要使其腔室25可见。在所有情况下,概览对比度图像显示在图的右侧。在此,既可以在明视场模式下也可以在暗视场模式下生成概览对比度图像。在暗视场模式下的概览对比度图像的情况下,作为计算算法使用的是最小投影(作为排序投影的特例),在明视场模式的概览对比度图像的情况下可以使用最大投影。为了补偿亮度差异,在此以及在必要的所有其他情况下,可以在计算之后进行阴影校正。在基于分段的计算的情况下,也可以在概览原始图像的计算之前进行阴影校正。
由于概览原始图像的记录之间的相对运动,为了计算算法的正确应用,必须知道样品载体或照明图案1如何在图像中运动。为此,需要相对于样品载体1或安装样品的平台校准相机或检测光学单元2,以便能够将样品载体坐标映射到图像坐标上,反之亦然。为此,代替样品载体,首先使用相同位置上的校准图案或将其夹紧在平台上。以这种方式,可以评价这样的映射——单应性,也就是说将二维平面映射到空间中的二维平面。当然也可行的是省去校准,如果可以通过图像分析或通过单独的测量系统确定相对运动的话,或者基于物镜参数和距离预先进行校准。
用随机照明图案确定的概览对比度图像在质量方面提供了最佳的对比度,尤其是在使用LED时,因为在动态图案(即其中图案发生变化)的情况下,断开的LED由于样品载体的反射可以提供相当强的背景信号。但是,通过相应的图像处理算法,例如采用深度学习算法,可以在评估中消除这些伪像,也就是说不考虑这些伪像。
在不相对于照明图案横向移动样品或样品载体1的情况下,使用随机图案生成不同的照明的另一种可能性在于,将以不同曝光度进行的多次记录组成的概览对比度图像按照HDR记录(HDR-高动态范围)类型组合在一起。可以从例如三个以不同曝光度记录的概览原始图像组合为概览对比度图像作为HDR图像。
在这种情况下,在计算概览对比度图像时,还可以考虑照明元件相对于样品或样品载体的位置,如结合图3所解释的。如果照明元件直接照明样品载体或样品,则使用明视场信息,否则使用暗视场信息。因此,概览对比度图像是明视场对比度和暗视场对比度的混合。
上面结合相对运动的校准描述的校准图案还可以用于对每个概览对比度图像中应用的图像中的几何畸变进行校正。另外,也可以通过计算扣除背景伪像。
在生成概览对比度图像之后,通过图像评估算法对其进行自动分析,优选使用基于深度学习的使用神经网络的算法。例如,识别样品载体的类型,样品载体也可以在图像中定位。如果样品载体具有标记,则同样可以从对比度图像中确定所述标记。对于样品或载体上的区域(例如可能包含样品的微皿)也是如此。通过用相应的图像评估算法识别气泡或其他伪像,特别是在包括在分开的容器中的多个样品的样品载体情况下,可以缩短存在这种伪像的情况下对样品载体使用的检查时间。最后,可以在浸没液体的情况下通过概览对比度图像的图像评估来识别浸没液滴的体积和形式,还可以得出与浸没液体中的污染有关的结论。
这些信息可以优选地通过图形手段在PC上显示给观察者或使用者,使得使用者可以使他的进一步行动适应于概览对比度图像的分析结果。在由使用者操作的情况下在某些情况下就足以向该使用者本人呈现概览对比度图像,但也可以将通过图像评估获得的信息用于特别是使用显微镜的样品检查的自动控制。提供给使用者的概览对比度图像可以使用控件在样品上导航以准备进一步的检查。但是,通过图像处理算法提取的概览对比度图像的信息也可以使后续的处理变得强大,该处理例如自动识别和定位样品载体例如玻片的相关结构,或样品载体上的样品如组织切片、生物体或细胞的相关结构,以设置样品在所有三个空间方向上的全自动粗定位。最后,提取的图像信息还可以实现更强大、更快和更高效的自动显微术,例如高通量显微镜检查,并在自动排除缺陷点的情况下具有较小的数据量和较短的记录时间。
附图标记列表
1 样品载体
2 检测光学单元
3 照明图案
4 平面检测器
5 计算单元
6 图像评估单元
7 控制单元
8 LED阵列
9 偏转镜
10 分束器
11 透镜
12 目镜
13 LED
14 第一场区域
15 第二场区域
16 LED
17 LED阵列
18 蓝色LED
19 红色LED
20 玻片
21 盖玻片
22 多孔板
23 微皿
24 腔室玻片
25 腔室

Claims (20)

1.一种用于生成和分析样品载体(1)和/或布置在样品载体(1)上的样品的概览对比度图像的方法,其中
将至少部分地布置在检测光学单元(2)的焦点中的样品载体(1)在透射光中以二维的、阵列形的照明图案(3)进行照明,
检测至少两个具有样品载体(1)的不同照明的概览原始图像,
根据要从概览对比度图像中提取的信息来选择计算算法,通过所述计算算法基于至少两个概览原始图像计算出概览对比度图像,
根据要从概览对比度图像中提取的信息选择图像评估算法,通过所述图像评估算法从概览对比度图像提取信息。
2.根据权利要求1所述的方法,其特征在于,使用优选地相同尺寸的照明元件的阵列来生成照明图案,其中至少两个概览原始图像中的各个照明元件分别能够彼此区分。
3.根据权利要求2所述的方法,其特征在于,作为照明元件,使用LED、OLED、光纤、被照明的DMD或SLM的元件。
4.根据权利要求1至3中任一项所述的方法,其特征在于,通过在两次记录之间将样品载体(1)相对于照明图案(3)横向移动或者将不同的曝光时间用于检测,来生成不同的照明。
5.根据权利要求4所述的方法,其特征在于,由单独的对比度图像组合成概览对比度图像,所述单独的对比度图像分别示出样品载体(1)和/或样品的不同区域。
6.根据权利要求2或3所述的方法,其特征在于,所述不同的照明通过不同的照明图案(3)生成,所述照明图案根据要提取的信息来选择。
7.根据权利要求6所述的方法,其特征在于,为了生成不同的照明图案(3),分别地或成组地控制所述照明元件,并切换成不同的照明图案(3),其中所述照明元件的第一部分切换成发光并且所述照明元件的至少一个第二部分切换成不发光或者发射另一颜色的光或者另一偏振的光。
8.根据权利要求7所述的方法,其特征在于,通过以下方式生成不同的照明图案(3):
a.为每个照明图案(3)随机选择照明元件的第一部分,或者
b.照明元件的第一部分在阵列中具有棋盘型或其他有规律的分布,优选十字形分布或半瞳孔分布。
9.根据权利要求8选项b所述的方法,其中,所述照明元件的所述第二部分不发光,其特征在于,以相互互补的照明图案(3)记录至少两个概览原始图像。
10.根据权利要求8选项b所述的方法,其中,所述照明元件的所有部分发射成对地彼此不同的颜色或偏振的光,其特征在于,在图像中同时记录与所述部分的数量对应的数量的概览原始图像,然后将其根据色彩通道或偏振分离。
11.根据权利要求6或7所述的方法,其中,作为照明元件使用LED(16)或OLED,其特征在于,通过使用脉冲宽度调制的照明元件来生成随机照明图案,所述照明元件的脉冲宽度被选择为比用于记录概览原始图像的检测器单元的积分时间更长。
12.根据权利要求6所述的方法,其特征在于,仅在照明元件阵列的至少一个区段中生成照明图案(3),并且通过阵列上的所述至少一个区段的扫描移动来生成不同的照明,其中所述至少一个区段以外的照明元件被切换为不发光。
13.根据权利要求6所述的方法,其中,所述照明元件配置为LED(16),其特征在于,LED(16)由三个单独的彼此相邻的子LED形成,所述子LED分别以不同的原色红、绿、蓝发光,并且通过原色中不同角度的照明设置不同的照明。
14.根据权利要求1至13中任一项所述的方法,其特征在于,根据所述照明方法的选择来选择用于在暗视场模式或明视场模式下生成概览对比度图像的计算算法。
15.根据权利要求14所述的方法,其特征在于,
所述计算算法基于逐像素投影,优选地基于等级投影或统计矩的投影,其中为了基于至少两个概览原始图像的堆栈生成概览对比度图像,将概览原始图像逐像素进行比较,并根据投影条件选择对于概览对比度图像中相应位置的像素之一的强度值,或者
所述计算算法基于具有后续逐像素投影的形态学操作,优选基于具有后续逐像素最大投影的顶帽变换或黑帽变换,或者
选择一种基于分段的计算算法,其中,首先对于概览原始图像的每个像素确定是否由照明元件直接对所述像素进行光照射,并且为了在暗视场对比度模式下生成概览对比度图像对其不予考虑。
16.根据权利要求2至15中任一项所述的方法,其特征在于,为了校正几何畸变,在记录概览原始图像之前通过校准图案的记录和评估来进行校准,其中,校准图案优选地用阵列的照明元件生成。
17.根据权利要求1至16中任一项所述的方法,其特征在于,在所述评估之前,从所述概览对比度图像去除干扰的背景信号。
18.一种用于生成和分析样品载体(1)和/或布置在样品载体(1)上的样品的概览对比度图像的方法,其中
对至少部分地布置在检测光学单元(2)的焦点中的样品载体(1)在透射光中用二维阵列形照明图案(3)进行照明,
其中,在阵列形照明图案(3)和样品载体(1)之间引入散射盘,或者将布置在那里的能够切换的散射盘切换为散射的,
在明视场模式下检测概览对比度图像,
根据要从概览对比度图像提取的信息来选择图像评估算法,通过所述图像评估算法从概览对比度图像提取信息。
19.根据权利要求1至18中任一项所述的方法,其特征在于,作为图像处理算法,选择机器学习算法,特别是深度学习算法,其优选地基于具有已知信息的概览对比度图像进行训练。
20.根据权利要求19所述的方法,其特征在于,
为了识别样品载体(1)的类型,使用基于卷积神经网络的深度学习算法,
为了定位样品载体(1)或样品的结构,进行语义分割,优选地使用基于全卷积网络的深度学习算法。
CN201880036369.4A 2017-05-30 2018-05-15 用于生成和分析概览对比度图像的方法 Pending CN110692006A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017111718.0A DE102017111718A1 (de) 2017-05-30 2017-05-30 Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
DE102017111718.0 2017-05-30
PCT/EP2018/062483 WO2018219632A1 (de) 2017-05-30 2018-05-15 Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes

Publications (1)

Publication Number Publication Date
CN110692006A true CN110692006A (zh) 2020-01-14

Family

ID=62455436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036369.4A Pending CN110692006A (zh) 2017-05-30 2018-05-15 用于生成和分析概览对比度图像的方法

Country Status (5)

Country Link
US (1) US11307398B2 (zh)
JP (1) JP7153418B2 (zh)
CN (1) CN110692006A (zh)
DE (1) DE102017111718A1 (zh)
WO (1) WO2018219632A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139894A (zh) * 2020-01-20 2021-07-20 卡尔蔡司显微镜有限责任公司 显微镜和确定显微镜的测量位置的方法
CN113554632A (zh) * 2021-07-30 2021-10-26 沭阳天勤工具有限公司 基于人工智能的浑浊水体中工件检测优化方法
CN113570650A (zh) * 2020-04-28 2021-10-29 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN114326074A (zh) * 2020-10-12 2022-04-12 卡尔蔡司显微镜有限责任公司 用于生成样品概览图像的方法和显微镜

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI699816B (zh) * 2017-12-26 2020-07-21 雲象科技股份有限公司 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
US10694113B1 (en) * 2019-05-01 2020-06-23 Xiris Automation Inc. Dark field illumination for laser beam delivery system
DE102019114117B3 (de) * 2019-05-27 2020-08-20 Carl Zeiss Microscopy Gmbh Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
DE102020101571A1 (de) 2020-01-23 2021-07-29 Carl Zeiss Meditec Ag Mikroskop
DE102020101572A1 (de) 2020-01-23 2021-07-29 Carl Zeiss Meditec Ag Mikroskop
US11689821B2 (en) * 2020-08-07 2023-06-27 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Incoherent Fourier ptychographic super-resolution imaging system with priors
DE102020210592A1 (de) 2020-08-20 2022-02-24 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers
EP3958036A1 (de) 2020-08-20 2022-02-23 Carl Zeiss Microscopy GmbH Verfahren und vorrichtung zum erzeugen eines übersichtskontrastbildes eines probenträgers in einem mikroskop
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123504A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
DE102020124416A1 (de) 2020-09-18 2022-03-24 Carl Zeiss Microscopy Gmbh Mikroskopiesystem, verfahren und computerprogramm zum ausrichten eines probenträgers
DE102020126602A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur bildsegmentierung
DE102020126598A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur verifizierung eines trainierten bildverarbeitungsmodells
DE102020126522A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur übersichtsbildauswertung
DE102020126610A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen von trainingsdaten
DE202020005560U1 (de) 2020-10-12 2021-09-02 Carl Zeiss Microscopy Gmbh Kalibrierplatte und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
US11610404B2 (en) * 2020-10-15 2023-03-21 Airamatrix Private Limited Methods and systems for tracking the location of a petri-dish
DE102021114038A1 (de) 2021-05-31 2022-12-01 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Überwachen von Mikroskopvorgängen
DE102022102219A1 (de) 2022-01-31 2023-08-03 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Bearbeiten von Übersichtsbildern
DE102022201258A1 (de) 2022-02-07 2023-08-10 Carl Zeiss Microscopy Gmbh Verfahren zur Separierung von Objekten
DE102022106435A1 (de) 2022-03-18 2023-09-21 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Bestimmen einer Orientierung eines Probenträgers
DE102022206025A1 (de) 2022-06-14 2023-12-14 Carl Zeiss Microscopy Gmbh Populationsklassifikation mittels Punktwolken-Merkmalen
DE102022209113A1 (de) 2022-09-01 2024-03-07 Carl Zeiss Microscopy Gmbh Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278558A (zh) * 2005-08-29 2008-10-01 3M创新有限公司 照明系统和集成该照明系统的投影系统
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
WO2016090331A1 (en) * 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
US20160216208A1 (en) * 2015-01-26 2016-07-28 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004638A (ja) 2009-06-24 2011-01-13 Nikon Corp 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
US8773526B2 (en) * 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
EP2656133B1 (en) * 2010-12-24 2018-04-11 Huron Technologies International Inc. Pathology slide scanner
DE102011114336A1 (de) * 2011-09-23 2013-03-28 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Durchlichtbeleuchtung für Lichtmikroskope und Mikroskopsystem
JP6219214B2 (ja) 2014-03-31 2017-10-25 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
DE102014110302B3 (de) 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
JP6357245B2 (ja) 2014-10-20 2018-07-11 株式会社日立製作所 光学分析装置及び生体分子解析装置
EP3374816A2 (en) 2015-11-11 2018-09-19 Scopio Labs Ltd. Computational microscopes and methods for generating an image under different illumination conditions
US20190384962A1 (en) * 2016-10-27 2019-12-19 Scopio Labs Ltd. Methods and systems for diagnostic platform
US11650405B2 (en) * 2019-11-15 2023-05-16 Scopio Labs Ltd. Microscope and method for computational microscopic layer separation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278558A (zh) * 2005-08-29 2008-10-01 3M创新有限公司 照明系统和集成该照明系统的投影系统
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
WO2016090331A1 (en) * 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
US20160216208A1 (en) * 2015-01-26 2016-07-28 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIKAI GUO等: "Fourier Ptychography for Brightfield, Phase, Darkfield, Reflective, Multi-slice, and Fluorescence Imaging", 《IEEE JOURNAL OF SELECTED TOPICS IN QUANTUM ELECTRONICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139894A (zh) * 2020-01-20 2021-07-20 卡尔蔡司显微镜有限责任公司 显微镜和确定显微镜的测量位置的方法
CN113570650A (zh) * 2020-04-28 2021-10-29 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN113570650B (zh) * 2020-04-28 2024-02-02 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
CN114326074A (zh) * 2020-10-12 2022-04-12 卡尔蔡司显微镜有限责任公司 用于生成样品概览图像的方法和显微镜
CN113554632A (zh) * 2021-07-30 2021-10-26 沭阳天勤工具有限公司 基于人工智能的浑浊水体中工件检测优化方法

Also Published As

Publication number Publication date
WO2018219632A1 (de) 2018-12-06
US20200088984A1 (en) 2020-03-19
JP2020522016A (ja) 2020-07-27
US11307398B2 (en) 2022-04-19
JP7153418B2 (ja) 2022-10-14
DE102017111718A1 (de) 2018-12-06

Similar Documents

Publication Publication Date Title
US11307398B2 (en) Method for generating and analyzing an overview contrast image
CN107526156B (zh) 光片显微镜以及用于运行光片显微镜的方法
KR102523559B1 (ko) 디지털 스캐닝 장치
JP2018511815A (ja) アレイレベルのフーリエ・タイコグラフィ撮像
US11086118B2 (en) Self-calibrating and directional focusing systems and methods for infinity corrected microscopes
US10809514B2 (en) Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
EP3446170B1 (en) lMAGING SYSTEM WITH ANCILLARY lMAGE DETECTOR FOR SAMPLE LOCATION
US11614363B2 (en) Digital pathology color calibration and validation
JP6395251B2 (ja) 光学顕微鏡システムおよびスクリーニング装置
US10955650B2 (en) Two pass macro image
KR20200041983A (ko) 실시간 오토포커스 포커싱 알고리즘
CN105278090B (zh) 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法
CN109643453A (zh) 用于基于模板的图像分析的系统和方法
CN105122113A (zh) 用于生成由多个子图像构成的目标体的合成图像的方法
CN110361382A (zh) 一种染色体扫描成像系统
JP6952891B2 (ja) 2×3および1×3スライド用のカルーセル
JP2023019080A (ja) 観察システム、プログラム、及び観察方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination