CN113874774A - 具有可重构传感器阵列的光学显微镜 - Google Patents
具有可重构传感器阵列的光学显微镜 Download PDFInfo
- Publication number
- CN113874774A CN113874774A CN201980094729.0A CN201980094729A CN113874774A CN 113874774 A CN113874774 A CN 113874774A CN 201980094729 A CN201980094729 A CN 201980094729A CN 113874774 A CN113874774 A CN 113874774A
- Authority
- CN
- China
- Prior art keywords
- control device
- sensor array
- optical microscope
- detector elements
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 238000005286 illumination Methods 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 25
- 210000001747 pupil Anatomy 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 24
- 238000005259 measurement Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010226 confocal imaging Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010791 quenching Methods 0.000 description 2
- 230000000171 quenching effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000004154 testing of material Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/4413—Type
- G01J2001/442—Single-photon detection or photon counting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种光学显微镜,包括用于照射样本(35)的光源(10)、由用于测量来自样本(35)的检测光(15)的光子计数检测器元件(61、62)组成的传感器阵列(60),以及用于控制传感器阵列(60)的控制设备(70)。控制设备(70)被配置为灵活地将光子计数检测器元件(62)合并读出一个或多个超像素(65)。
Description
技术领域
本公开涉及根据权利要求1序言的光学显微镜。本公开还涉及根据权利要求25序言的光学检测器和根据权利要求28序言的成像方法。
背景技术
光学显微镜用于各种应用,如生命科学或材料测试。特别地,共聚焦扫描显微镜是一种成熟的技术。用于共聚焦扫描显微镜中使用的电流传感器技术包括具有多铝基或GaASP光电阴极的光电倍增管,或包括GaASP光电阴极和APD(雪崩光电二极管)检测器的混合检测器。近期进展可以看到使用单光子雪崩二极管(SPAD),其提供高灵敏度,快速响应时间和低暗计数。基于Sheppardetal.,cf.Sheppard,C.J.Optik80,53–54(1988);以及Sheppard,C.J.,Mehta,S.B.&Heintzmann,R.Opt.Lett.38,2889–2892(2013)作出的工作,SPAD阵列允许可用于图像扫描技术(Airyscan)的点扩散函数(PSF)的空间采样。在某些应用中,PSF是旋转对称的,但通常可以使用任何光分布。
光子计数检测器元件或SPAD包括具有缺乏任何自由电荷载体的耗尽区域的接合点。在接合点处施加高于击穿电压的电压Vop。由SPAD吸收的光子可以能够在耗尽区域中注射载体,且因此,碰撞电离可能导致蔓延到二极管的其他区域的载体的雪崩,且可以被检测为光子计数。
为了检测以下光子,雪崩淬火。当二极管淬火时(即,由于碰撞电离而没有其他的电流,且二极管中没有自由载体),二极管处的电压将通过电流流过例如淬火电阻器来充电,且二极管准备好检测另一载体。
通用光学显微镜包括用于照射样本的光源和由光子计数检测器元件组成的,用于测量来自样本的检测光的传感器阵列。控制设备配置用于控制传感器阵列。光学元件可以布置用于将来自光源的照射光引导到样本,并用于将来自样本的检测光引导到传感器阵列。类似地,通用光学检测器包括由光子计数检测器元件组成的传感器阵列,以及用于控制传感器阵列的控制设备。通用成像方法包括用照射光照射样本的步骤,测量来自具有传感器阵列的样本的检测光,该传感器阵列包括光子计数检测器元件,并用控制设备控制传感器阵列。
US2016/0131883A1描述了一种具有多个雪崩光电二极管或PMTS的激光扫描显微镜。光纤用于将检测光引入单个光电二极管。PSF在空间上解析,因此允许执行上述图像扫描技术。由于数量相当低的光电二极管和用于将光引导到光电二极管的光纤,变焦光学器件通常用于使PSF的尺寸适应有限数量的光纤和传感器像素。用于调整PSF尺寸所需的变焦光学器件相当复杂,因此,由于所需的光学元件数量大,因此在可能对信号检测效率产生负面影响同时增加成本。
US2017/0176250A1描述了一种带有SPAD元件的传感器阵列,特别是用于距离测量。在这种情况下,传感器阵列的所有SPAD元件的输出线组合并读出单个输出。因此,每当任何一个SPAD元件测量撞击光子时,传感器阵列输出检测信号。该设计对某些应用提供了准确的结果,但它的输出线合并读出单个输出不允许在许多显微镜技术中使用此传感器阵列,例如上述PSF过采样技术。
本发明的目的是提供一种光学显微镜,光学检测器和成像方法,其提供特别高的图像质量,而没有过高的光学复杂性和成本。
发明内容
通过具有权利要求1的特征的光学显微镜,具有权利要求25的特征的光学检测器和如权利要求28所述的方法达到上述目的。
优选的实施例在从属权利要求中给出,以及在以下描述中,特别是与附图结合。
根据本发明,上述种类的光学显微镜和上述类型的光学检测器的特征在于,控制设备被配置用于将光子计数检测器元件灵活地合并读出到一个或多个超像素中。
根据本发明,上述方法具有至少通过将光子计数检测器元件灵活合并读出(bin)到一个或多个超像素的步骤中。尤其是可以使用本发明描述的光学显微镜的实施例来实现该方法。
下面描述的优选实施例,特别地,其描述了传感器阵列、控制设备、光学元件或光源,可应用于本发明的光学显微镜和光学检测器。
传统上,复杂的变焦光学器件用于调节撞击在传感器阵列上的光束的尺寸,使得光束充分填充传感器阵列。相反,本发明允许使传感器阵列适应撞击光斑的尺寸和特征。在PSF过采样模式的情况下,冲击传感器阵列上的光束(或光斑)的尺寸由PSF定义。空间地解析PSF允许获得高分辨率技术所需的信息。在空间解析PSF时需要足够数量的检测点,而不必要超过数据速率的合理约束的大量检测点。将光子计数探测器元件的输出线灵活地合并读出到可变数量的超像素中克服了这些问题。PSF越大(撞击在检测器阵列上的光斑),可以设置的超像素越大。在较小的光斑的情况下,可以将光撞击的检测器元件组合并读出更小的超像素(或一些检测器元件上也不被合并读出任何超像素),而在较低的光线功率下或者没有光撞击的其他探测器元件,可以被合并读出更大的超像素或被失活。本发明的构思允许精确测量光分布,而变焦光学器件(例如,变焦因子)的要求降低。同时,本发明构思可以在最大计数率和信噪比(SNR)中提供优点。
特别地,基于CMOSSPAD技术,每个检测器元件可以单独寻址,并且传感器阵列可以重构,以使得能够将每个单独像素(即,从光子计数检测器元件输出)结合(合并读出)到任何超像素中。因此,合并读出原则上独立于检测器元件位置。由此,控制设备可以被配置用于将连续(相邻)和/或非连续的光子计数检测器元件灵活地合并读出到同一超像素中。
在优选实施例中,光子计数检测器元件采用事件激活主动充电。相应的事件激活主动充电(电子)组件可被视为控制设备和/或传感器阵列的一部分。事件激活主动充电允许对每个探测器元件进行单独充电,即并非所有探测器元件都同时充电,而是仅对经历雪崩事件的特定探测器元件进行充电。与SPAD被动和时钟驱动的充电相比,这产生了对光的“非瘫痪”传感器响应,并提供了动态范围扩展。IvanMichelAntolovic等人在2018年8月20日出版的《光学快报22234》第26卷第17期“光子计数阵列的动态范围扩展”中给出了进一步的解释。
如果可重构的传感器阵列的灵活性不仅仅考虑合并读出,还考虑各个探测器元件的激活,可实现进一步的优点。这里的“激活”或“被激活”理解为指示检测器元件输出进一步处理的测量信号(光子计数率),而失活的检测器元件不会输出其他使用的测量信号。或者,“失活”可以指示检测元件没有使得其输出进一步处理的路由。在低强度光线撞击某些检测器元件的情况下,激活这些检测器元件可能确实由于暗噪声而劣化总SNR。在这种情况下,失活相关的检测器元件可以优选将它们组成一个或多个大型超像素。在检测光线功率低的情况下,可以优选将检测光集中在一个较小的光斑上,并仅激活相应的检测器元件。随着强度的增加,通过增加光斑尺寸并相应地增加激活区域,可以提高精度。换句话说,控制设备可以被配置为控制光学元件以减小传感器阵列上的检测光斑尺寸,并通过降低检测光线功率来减小激活区域。随着检测光线功率的增加,可以激活更多的检测器元件,这增加了最大计数率,并且通过更高的光子通量增加了SNR。
超像素通常被理解为一个或多个(或两个或更多个)检测器元件的输出的组合。用于采用更短的语言表达,本公开频繁地涉及合并读出超像素,该超像素应覆盖所有检测器元件,以将所有探测器元件合并读出超像素,但也可以包括某些(激活)检测器元件未合并读出的选项。
控制设备可以被配置为向每个超级像素分配相应的多位计数器。与从每个探测器元件单独传输测量数据相比,多位计数器降低了数据速率。每个多位计数器输出一个累加数,该累积数指示被合并读出各个超级像素中的所有检测器元件的计数光子。因此,数据速率可以从X[比特/秒]降低到X·N/(2N-1)[比特/秒],其中X表示超像素检测速率,N表示多位计数器的比特数。
控制设备(或控制设备的部件)和传感器阵列可构建在同一电路板和/或同一IC(集成电路)中。特别地,所述控制设备的部件可与同一IC中的传感器阵列一起构建,而控制设备的其他部件形成在IC外部,但与IC在同一电路板上。例如,多位计数器可以形成为片上多位计数器。每个光子计数检测器元件可经由各自的信号线连接到控制设备(即,在到达多位计数器之前连接到多位计数器或预处理单元)。这减少了控制设备外的最大必要数据带宽。
控制设备可以可变地设置超像素的数量和/或可以可变地合并读出一个超像素的像素数量设置。不同的同时使用的超像素也可以在其尺寸中变化。
以下描述控制设备的示例性电子实现。控制设备可以被配置为灵活地设置多达M个数量的超像素,而控制设备包括具有相同数量M个单位的处理单元。每个检测器元件与每个单元连接。如果检测器元件的数量是N,则每个单元可以具有n个输入线,每个输入线接收一个检测器元件的光子计数率。(更一般地,每个单元可以与至少几个但没必要所有的检测器元件连接。)每个单元包括多个开关(特别是用于每个检测器元件一个开关),以灵活地控制特定探测器元件输出的光子计数率是通过开关转发还是被阻塞。每个单元包括一个具有开关连接的组合电路。因此,根据开关的状态,可以灵活地控制哪些检测器元件连接到相同的组合电路。每个组合电路输出数据流指示用于通向该组合电路的各个开关闭合的那些检测器元件的所有光子计数率。
可以通过存储器,特别是各个1位存储器来控制每个开关,其中存储器的两个可能的状态定义了开关是闭合还是开启。
控制设备还可以包括具有多个独立的多位计数器的超像素计数器单元。每个组合电路与至少一个多位计数器连接。因此,多位计数器输出与连接到各个组合电路的所有检测器元件的光子计数率相对应的数字。在另一个变型中,每个组合电路连接到一对多位计数器。如果有M个组合电路,则多位计数器的总数可以是至少2M。一对多位计数器在交替相位中操作,即,当多位计数器中的一个计算从组合电路输入的光子计数率,另一个多位计数器已经读出,反之亦然。以这种方式,减少或避免了由于读出引起的时间延迟。
为了提供多达M个超像素,控制设备可以包括数量为M的独立组合电路和至少数量为M(优选2M)的多位计数器。如果N指示检测器元件的数量,则每个组合电路包括多达N个与检测器元件连接的可编程开关。M小于可编程开关的数量,且小于N。可编程开关和关联的1位存储器的总数可以是n·m。在操作中,在读出的多位计数器数量相应地减少的情况下,可能需要少于M的超像素。
控制设备可以根据光斑尺寸信息设置传感器阵列的合并读出和/或激活区域,即,单独地激活和失活每个检测器元件。光斑尺寸信息通常可以是指示传感器阵列上的预期光分布或尺寸的任何信息或假设。该信息可以基于先前的测量或参考测量。附加地或替代地,光斑尺寸信息可以(至少部分地)自当前使用的照射波长和/或当前使用的物镜导出。照射波长影响PSF尺寸,特别地,其可以增加随着照射波长的增加而增加。详细说明如何依赖PSF尺寸(故取决于波长)设置激活区域和合并读出如下所述。PSF尺寸也受到物镜的回孔径的影响。回孔径越小,PSF尺寸越大。在一些实施例中,传感器阵列的激活区域增加和/或每个超像素的检测元件(平均)数量通过增加的照射波长和/或当物镜改变为具有更小回孔径的物镜而增加,反之亦然,即激活区域和/或每个超像素的平均检测器元件数量随着波长的减小和/或当物镜改变为具有更大的回孔径的物镜而减小。由于波长以及回孔径影响PSF尺寸,调节激活区域以及取决于这些因素的超像素可能是有利的。附加地或替代地,可以根据将样本部分成像在传感器阵列上的镜口率设置每个超像素的激活区域和/或检测器元件平均数量。此外,镜口率影响传感器阵列上的检测光斑尺寸。通过调整结合在同一超像素中的探测器元件的平均数量,所发送的数据流保持可管理,特别是恒定的,如下面进一步说明的那样。
控制设备可以被配置为向用户提供多个成像模式。用户可以选择一个成像模式,例如通过计算机。成像模式包括以下至少两个:PSF过采样模式,线(或阵列)扫描模式,场成像模式和共聚焦检测模式,如下所述。根据所选择的成像模式设置合并读出或可选的激活传感器区域。此外,根据成像模式调整光学元件,如下面进一步描述的。
PSF过采样模式(图像扫描模式)
控制设备可被配置为执行PSF过采样模式(也称为图像扫描模式)。照射光聚焦于样本点,并且从样本点发射的检测光(例如,荧光)聚焦于传感器阵列,传感器阵列布置在被照射的样本平面的共轭平面中。可以在瞳平面中设置针孔。检测光在传感器阵列上形成检测光斑。光斑的大小和强度分布代表了PSF。光斑直径可理解为1埃利斑直径。在PSF过采样模式中,可以设置超像素,使得相邻超像素之间的中心到中心距离最多为0.2埃利斑直径。这确保了足够数量的检测点用于空间解析PSF。此外,传感器阵列的激活区域根据PSF尺寸进行设置。在一些实施例中,有激活传感器区域面积随着PSF尺寸的增大而增大。特别地,可将激活区域设置为等于PSF尺寸(即,传感器阵列上的PSF或光斑尺寸)的尺寸或直径(在10%或20%余量内)。另外或可选地,超像素的数量可以根据PSF尺寸来设置。合并读出到同一超像素中的光子计数检测器元件的数量也可以根据PSF尺寸进行设置。随着PSF尺寸的增加,合并读出到同一超像素中的检测器元件的数量可以增加,特别是为了避免过高的数据速率。可调整组合检测器元件的数量,以使得由控制设备输出的数据速率(即,包括所获取的超像素的测量数据的数据)不超过预定义的最大速率和/或恒定,即,精确恒定或在预定义范围内(例如10%或20%)恒定。这确保了足够数量的数据点用于采样/空间解析PSF,同时避免了过高的数据速率。还可以根据需要的最大计数率来设置要合并读出相同超像素的检测器元件的数目。所需的最大计数率越大,合并读出同一超像素的检测器元件更多。如果不考虑计数率的下限,则最大计数率可视为传感器的动态范围。然而,由于暗计数率可以定义单个探测器元件的光子计数率的下限,因此组合多个探测器元件会导致最小计数率的增加,因此可能不会增加动态范围,同时仍会增加最大计数率。
同时使用的超像素的尺寸和形状可以变化。如果PSF在其中心具有(或预期会有)最大值,则一个或多个中心超像素可以小于外部超像素。
线扫描模式和阵列扫描模式
该控制设备还可以被配置以执行线扫描模式(或更一般的:阵列扫描模式)。在线扫描模式中,由细长照射光斑照射样本,例如,通过使用圆柱形透镜聚焦照射光到样本上。该照射导致在传感器阵列上的细长的检测光斑。控制设备将光子计数探测器元件合并读出在一起,使得形成在沿横向于或垂直于所述细长的检测光斑的细长超像素。例如,如果细长的检测光斑形成传感器阵列上的列,然后一行或多行的检测器元件合并读出到相同的超像素(其中行和列是相互垂直)。未被细长的检测光斑照射的检测器元件可以被激活。因此,用于行扫描模式中的合并读出模式相较于PSF过采样模式中使用的合并读出模式具有显著变化。
在线扫描模式中,在样本上扫描细长的照射光束,其中扫描方向横向或垂直于细长照射光斑的纵向。在该扫描期间使用传感器阵列连续记录多次测量,并且从这些测量计算样本图像。
原则上,还可以使用除了细长的照射光斑的其他照射形状,同时在线扫描模式中关于减少扫描时间和图像采集时间上提供类似的优点。这种阵列扫描模式使用除点或线之外的照射光模式。例如,可以使用网格或多条线作为照射光模式在样本上扫描。
在阵列扫描模式下,在样本上同时扫描多个照射光斑。多个照射光斑可具有圆形、纵向或任何其他通用形状。
场成像模式
例如,可以使用场成像模式来记录与使用其他描述的成像模式记录的样本图像相比具有降低的分辨率或SNR的概览图像。在场成像模式下,采用传感器阵列记录样本的宽场图像。因此,可将光学元件移除或插入照射和/或检测光束路径中,以确保不仅仅照射一个样本点,并确保样本平面(而非瞳平面)成像到传感器阵列上。激活区域可以跨越整个传感器阵列,或者可以根据镜口率或变焦设置进行设置。合并读出可用于降低输出数据速率。在不同的场成像模式中,可连续记录不同样本部分的多个宽场图像,然后将其缝合在一起以形成概览图像。
共聚焦检测模式
控制设备还可以被配置为执行共聚焦检测模式,而没有PSF过采样。在共聚焦检测模式中,照射光聚焦到样本点上,并且从该样本点发射的检测光被引导到传感器阵列。相同的目的用于将照射光聚焦到样本上并从样本接收检测光。针孔可以布置在瞳平面中。可能需要尽可能精确地测量撞击检测器阵列上的所有检测光,无需空间分辨率。在这种情况下,所有激活的光子计数检测器元件可以合并读出一个超像素。在此操作模式下没有PSF过采样,一个超像素就足够了。尽管如此,在传统的检测器上使用多个光子计数检测器元件(SPAD)并随后将它们合并读出到一个超像素中具有显着的优点:SPAD在测量低强度光线时无与伦比。在较高的光线强度下,单个SPAD可能饱和;在其空置时间(当光子检测后的电压尚未恢复超过二极管的击穿电压),单个SPAD不能检测另一个光子。然而,通过使用具有多个SPAD的传感器阵列,可以增加最大计数率。因此,SPAD阵列可以在动态范围或最大计数率中提高准确率而没有主要缺点。
调整光学元件
控制设备还可以被配置为根据所选择的成像模式调节光学元件,例如透镜和反射镜。在共聚焦检测模式中,可以调节光学元件,例如,移动或变形,以使传感器阵列上的强度分布均匀化。特别地,光学元件可以进入检测光的光束路径,用于瞳成像在传感器阵列上。此外,可以调节或移动光学元件以调节传感器阵列上的检测光斑的尺寸。因此,光学系统被配置为在样本平面成像和瞳成像之间切换到同一传感器阵列上。瞳图像可以具有比样本图像更均匀的强度分布(例如,在仅仅样本点被照射的情况下)。因此,可能优选瞳成像到传感器阵列上。与传统设置相比,由于使用了SPAD阵列,在单个检测器元件上没有过度的强度峰值的均匀强度分布具有更大的相关性。如果撞击光功率相当高,则瞳图像应均匀地填充传感器区域以优化SNR。如果撞击检测光的光线功率相当低,则可以优选将光线集中在较少数量的检测元件上,从而增加照射检测元件上的强度。否则,弱信号强度将被检测器元件的暗噪声掩盖。因此,至少在检测光的一定功率范围内,控制涉笔可以调节传感器阵列上的检测光斑尺寸,使得光斑尺寸随着光束功率的增加而增加。传感器阵列的激活区域随着该光斑尺寸调整相对应地调整。
在共聚焦成像模式和/或PSF过采样成像模式中,还可以进行检测光斑尺寸的调整以避免检测器元件的饱和或SNR的增加。如果检测器元件上的强度超过预定阈值(例如,上述输出光子计数率与撞击强度线性成比例),则可以增加检测光斑尺寸,并且反过来降低了每个探测器元件的撞击光功率。
为了调节检测光斑(或瞳图像)的尺寸,可以调节成像镜头使其将检测光聚焦在传感器阵列附近。例如,可以移动成像镜头以相对于传感器阵列移动焦平面。传感器阵列离焦点越远,检测光斑变得越大。根据成像镜头的设计,成像镜头也可以通过变形或以其他方式调节,而不是移动,例如,在自适应液体透镜的情况下。
与共聚焦成像模式相反,在PSF过采样模式中,将光学元件调整以将样本点成像至传感器阵列,以记录PSF上的空间信息。因此,从共聚焦检测模式到PSF过采样模式的改变可能意味着从瞳成像到传感器阵列上的样本平面成像的变化。通过将伯特兰透镜插入/移动进/出检测光的光束路径中来影响这种变化,例如通过移动伯特兰透镜或将检测光重定向到伯特兰透镜。或者,用于设置相位分布或SLM(空间光线调制器)的相位掩模可以布置在照射或检测光瞳平面中。特别地,SLM可以由可调节的微透镜,衍射光学元件,诸如数字微镜设备的可调节反射镜的阵列形成,或可控液晶阵列。SLM可以类似地调整光斑尺寸和/或强度分布。
此外,可以根据所选择的成像模式调节或插入照射光束路径中的光学元件。例如,在PSF过采样模式或共聚焦成像模式中,照射光应聚焦到样本点上,而宽场成像模式需要较大的样本区域被照射,并且线扫描模式可能需要引入圆柱形透镜。
用于FLIM的调整
本发明的显微镜也非常适合于FLIM(荧光寿命成像显微镜)。SPAD提供了一个有利于FLIM测量的高分辨率。为了确定荧光寿命,用重复的光脉冲刺激荧光团。在每个脉冲之后,确定直到光子到达传感器阵列的时间跨度。由此产生光子到达时间的直方图,从中产生荧光寿命。使用高强度脉冲来测量更多数量的光子并降低所需的测量时间将是有益的。然而,随着强度的增加,第二个光子可能会达到一SPAD在同一SPAD已经注册第一个光子不久后。第一光子的检测需要一个空置时间,在该时间内SPAD不能注意到第二光子。因此,光子到达时间的直方图将倾向于或偏向于更短的时间,这就是所谓的堆积效应。通过使强度分布均匀化并增加传感器阵列上的光斑直径,可以用本发明的显微镜避免该缺点。这些措施降低了第二光子在其空置时间内撞击SPAD的概率。控制设备可以被配置为提供FLIM作为其他的成像模式,其中随着检测光强度的增加,检测光斑尺寸增加并且可选地实现瞳成像以使强度分布均匀化。可以将超像素连接到时间-数字转换器以在每个激光周期检测多个光子。
其他的实施例
控制设备可以被配置为提示用户输入成像参数,特别是所需的分辨率,帧率和/或SNR。然后,根据用户的输入,控制设备调整传感器阵列的合并读出和激活区域,以及如上所述的可选的光学元件。特别地,可以将合并读出和激活区域设置为,根据所需的帧速率限制结果数据速率。由于来自控制设备的用于传输数据的带宽已知,所需的帧速率可以转换为从控制设备输出的数据速率的上限。合并读出和激活区域会影响结果数据的量,因此可以调整以符合数据速率的要求。
通过自适应合并读出,进一步的优点在于平衡空间分辨率和采集速度。为了从图像扫描显微镜实现的增加的分辨率中受益,需要恒定的SNR。如果信号强度(例如,传感器阵列上的强度)太低,则采集速率通常必须降低以增加SNR。然而,自适应像素合并读出允许降低分辨率,以支持所需的采集速度。信号强度可以是,例如,光子计数率,且可以源于先前的测量(在样本的扫描期间)或参考测量。
控制设备还可以被配置为通过调整合并读出来保持输出数据速率恒定(即,完全恒定或恒定在预定义限制内,例如10%或20%),特别是当传感器阵列的激活区域改变时。例如,物镜的变化可能导致传感器阵列上的检测光斑的尺寸的变化,因此可以使激活区域适应新的光斑尺寸,并且反过来使合并读出适应新的激活区域尺寸,特别是保持数据速率恒定。超像素的数量可以保持恒定但是可以使用不同的合并读出模式。用于超像素的多位计数器的比特数可以变化,但是也有可能是超像素数量的变化,以确保恒定的数据速率。
随着光线强度的增加,光子在其空置期间撞击检测器元件的概率增加,并因此保持不被注意。因此,检测器元件的测量结果在非常高的强度下产生负面影响。为了应对该问题,可以调整检测器元件的灵敏度,例如,通过调整其高于击穿电压的过电压。撞击传感器阵列的光斑通常不是均匀的光分布。特别是在PSF过采样模式中,撞击光斑可以在其中心具有最大强度和朝向其外部区域的强度降低。因此,中央检测器元件的灵敏度可以设置为与外检测器元件的灵敏度不同的水平。特别地,可以在相同超像素的光子计数检测器元件之间设置不同的敏感性。可以根据传感器阵列上的所需强度分布,例如,基于关于PSF的假设或基于参考测量来设置敏感度。
从检测器元件到控制设备的不同长度的信号线可以导致不同超像素的输出数据流之间的定时延迟。控制设备可以被配置为调整或补偿这些定时延迟。校准矩阵可以保存在控制设备的存储器中并用于这种效果。
控制设备可以包括多个物理输出线,其中每个输出线与各个超像素相关联。然后,输出线的数量可以对应于可以同时使用的最大超像素数。作为示例,输出线的数量可以在检测器元件数量的10%和40%之间。
可以在光子计数检测器阵列上同时测量两个或更多个光斑。不同的PSF可以适用于不同的光斑,因此光斑可以在传感器阵列上具有不同的尺寸。可以将用于较大光斑的超像素比较小光斑的超像素设置为包括更多的检测器元件。
可以提供一个扫描仪且配置成用照射光扫描样本和/或将检测光引向传感器阵列。例如,在扫描期间可以调节根据从特定样本区域发射的光线量合并读出。在扫描期间获取的信息可用于在扫描继续时调整合并读出。在这种在线适应中,也可以调节其他参数,例如,SPAD的敏感度或照射光强度。
特别地,所描述的光学显微镜可以形成为(激光)扫描显微镜。可选地或另外地,它可以配置为宽场显微镜。所描述的传感器阵列和控制单元在许多应用中产生所描述的优点,其中任何物体被照射,并且测量来自物体的检测光。本发明还可以应用于其他传感器设备,其不一定需要显微镜,例如在材料分析,相机或监控系统,天文学或生产监督方面。
光学显微镜可以通过包括样本架和物镜来定义,特别是将图像距离设定为无限远的无限远物镜。它还可以包括具有管透镜的管,该管透镜布置在物镜后面的光束路径中,即物镜和检测器阵列之间,用于将光线从物镜聚焦到(中间)图像平面中。与其他光学系统相反,光学显微镜产生至少一个中间图像平面。它可以进一步包括光源可以连接的照射端口,例如一个或多个激光器。从样本发射的检测光可以是任何种类的,例如荧光或磷光光,通过其他机制散射或受样本影响的照射光,或者以至少部分地由照射光引起的其他原因从样本发射的光线。通常,由于与照射无关的影响,也可以发射样本光。
光学显微镜可以包括布置成引导或聚焦到样本上的照射光的物镜。特别的,物镜可以布置成接收从样本发射的检测光并引导该检测光朝向传感器阵列。通常,可以使用不同的照射和检测物镜。光学显微镜还可以包括布置在物镜和照射源之间的扫描仪。控制设备控制扫描仪执行在照射光在样本上扫描下的样本的扫描。可选地,扫描仪还可以将来自物镜的检测光引导到光子计数检测器阵列(去扫描设置)。扫描仪可以被理解为配置成可调节偏转光束的设备。它可以包括一个或多个可移动的光学元件,例如,反射镜,透镜或棱镜。或者,也可以基于声光效应可调节地偏转照射光。
PSF可以理解为定义光学显微镜或光学系统如何引导照射光和检测光。特别地,PSF可以被视为由照射PSF和检测PSF组成,其中照射PSF定义光源的点如何将被成像在样本平面中,且检测PSF定义了样本平面的点如何在传感器阵列的平面上成像。如在此使用的,检测器阵列上的检测光斑尺寸也可以称为图像扫描技术或共聚焦成像中的PSF尺寸。
为简洁起见,用于的光子计数检测器元件也称为“检测器元件”,尤其是SPAD(单光子雪崩二极管),特别地在所谓的盖革模式中操作。在盖革模式中,将电压VOP施加在SPAD的二极管处,其通过过量的偏置电压超过二极管的击穿电压。因此,光子吸收可能导致电荷雪崩,从而导致可数事件。传感器阵列可以相应地称为SPAD阵列。
控制设备可以包括诸如FPGA或可以形成为单个单元或作为分布式系统的处理单元的电子元件。控制设备的功能可以实现为软件和/或硬件。特别地,控制设备或其部件可以被布置为传感器阵列旁边的片上单元。还可以通过与光学显微镜的其他组件通过网络通信的服务器或计算机应用程序提供控制设备的部件。
在扫描模式中,样本点可以被定义为样本的被照射的部分,检测器元件在像素停留时间期间对其进行光子计数。在像素停留时间失效后,扫描仪照射样本的另一部分,该部分被定义为下一个样本点。
为了更容易理解,在本公开中经常使用表达“光斑”,以指样本或传感器阵列上的光分布。更一般地,“光斑”可以被理解为任何光分布,例如环形模式,一条或多条线或多个斑点或环。
本发明的检测器可用于本文所述的光学显微镜。或者,检测器可以是其他光学测量装置的一个部件,例如,用于距离测量,质量控制,监控,在便携式/手持设备中,在医疗设备或作为车辆传感器中。可选地,检测器可以与本文所述的光学元件以及用于照射对象的光源组合使用,且检测器可以被布置成测量来自该对象的光。本发明的光学显微镜的不同实施方案的预期用途导致本发明方法的变体。类似地,本发明的光学显微镜可以配置成执行本发明的描述的示例性方法。特别地,控制设备可以被配置为控制光学显微镜的传感器阵列或其他组件以执行本文所述的方法步骤。
附图说明
通过以下描述与示意图结合的描述,更好地理解本发明和本发明的各种其他特征和优点,这仅通过示例示出而不是限制,其中相同的附图标记可以参考相似或基本上相似的组件:
图1示出了根据本发明的光学显微镜的实施例示意图,
图2示出了图1的光学显微镜传感器阵列在第一种设置下的示意图;
图3示出了图1的光学显微镜传感器阵列在使用合并读出的第二个设置下的示意图;
图4示出了图1的光学显微镜传感器阵列在使用合并读出的第三个设置下的示意图;
图5示出了图1的光学显微镜传感器阵列在使用合并读出的第四个设置下的示意图;
图6示出了图1的光学显微镜传感器阵列在使用合并读出的第五个设置下的示意图;
图7示出了图1的光学显微镜传感器阵列在使用合并读出的第六个设置下的示意图;
图8示出了图1的光学显微镜传感器阵列在使用合并读出的第七个设置下的示意图;
图9示出了图1的光学显微镜传感器阵列在使用合并读出的第八个设置下的示意图;
图10示出了图1的光学显微镜传感器阵列在使用合并读出的第九个设置下的示意图;
图11示出了本发明的光显微镜的传感器阵列和控制单元的示意图;以及
图12示出了说明本发明方法的示意性流程图。
具体实施方式
图1示意性地示出了本发明的光学显微镜100的实施例。
光学显微镜100包括发射照射光12的光源10。光源10可以包括,例如,一个或多个激光器。示例性光学显微镜100形成为激光扫描显微镜。它包括具有一个或多个可移动反射镜或其他可移动的光学元件的扫描仪25,以在样本35上扫描照射光12。光学元件23,24可用于通过扫描仪25引导来自光源10的照射光12至物镜30。物镜30将照射光12聚焦到样本点上,并且由于由扫描仪25引起的扫描运动,连续照射不同的样本点。使用扫描仪25设置的照射光的两个连续光束路径用附图标记12a和12b表示。
样本35发射可以例如是荧光或磷光光的检测光15。照射光12可以脉冲,并且特别是可以导致在样本35中的颗粒的多光子激发。从而,检测光15仅从小样本点发射并且具有与照射光12不同(尤其更小)的波长。
在所描绘的去扫描设置中,检测光15通过物镜30,扫描仪25和光学元件23,24引导至与照射光12相同的光束路径上。分束器22用于空间分离来自照射光12的检测光15,作为举例的,光束分离器22可以被配置为根据其波长传输或反射撞击光。然后,检测光15通过其他的光学元件31,32,33,34被引导到传感器阵列60。用于共聚焦设计的可选针孔18可以布置在中间图像平面中。
控制设备70控制传感器阵列60,光学元件33和34,光源10和扫描仪25,并且还可以被配置为控制光学显微镜100的其他组件。这些组件可以共同称为光学组件,其是光学显微镜100的一个部件,但是通常也可以在其他成像系统中使用。
图1-4中示出了传感器阵列60的放大示意图,与控制设备一起,形成可以被视为本发明的一个独立方面,可以在光学显微镜或另一光测量装置中实现的检测器。这样,本发明的控制设备的实施例可以由在图1中所示的传感器阵列60和控制设备70来形成,而无需在光学显微镜的其它组件。现在转到图2至图4所示,传感器阵列60包括多个在一个二维阵列彼此相邻地布置的单光子检测元件61,例如六边形或矩形排列。特别地,单光子计数检测器元件61可以形成SPAD阵列(单光子雪崩二极管)。检测光碰撞在传感器阵列60上形成一个检测光斑16,如虚线圈所示。所述控制设备被配置控制设备被配置为单独激活或失活检测元件61,失活检测元件以白色显示,并用参考标志63表示。仅仅被激活的检测元件输出进一步处理的测量值(即光子计数率),例如计算样本的图像或确定PSF。所述控制设备被进一步配置为将任何数量的检测器元件61灵活合并读出或结合为一个超像素。一个超像素包括或与输出包含检测器元件的累积光子计数率的多比特计数器相连。超像素的数目和在每个超像素中检测器元件的数量可以通过控制设备来灵活地设置。
在图2的示例中,由检测光斑16照射的检测器元件62被激活而不是被合并读出,导致三十七个光子计数速率。如图2所示,失活相当数量的非照射检测器元件是有利的。由激活的检测器元件62定义的传感器阵列60的区域也被称为“激活区域”。
图3示出了其中几个激活的检测器元件62被合并读出超像素65。每个超像素65包括7个检测器元件62。超像素65用不同的填充图案示出(斜杠,方格,菱形等)。同样未照射的检测器元件63被失活。在图3中的检测光斑16大于图2中的,因此,更多的检测器元件62被激活;然而,由于合并读出进入19个超像素65,仅输出19个光子计数率,因此数据速率相当低。
作为另一个示例,图4示出了所有或几乎所有检测器元件61被照射、被激活并合并读出几个超级像素65的情况。这允许在仍然使用所有或几乎所有检测器元件61的光子计数率的同时降低数据速率。
图5示出了检测光斑/分配16照射检测器阵列60的部件的情况。检测器阵列60的激活区域被调整以匹配检测光斑16。合并读出模式被设置为包括一个中央超像素65和几个周向环形超像素65。如果PSF是旋转不变的,则环形超像素65特别适用。环形超像素65的直径不同。在所示的示例中,每个环的厚度由一层检测器元件61定义;;然而,可替代得,外环可以是较厚的,因此包括两层或更多层的检测器元件61。
在图6中所示的另一个合并读出配置中,设置了不同尺寸的超像素。中心点周围的内超像素可以具有比远离中心点的超像素65a-65d更小的尺寸。
在图7所示的示例中,检测器阵列60被分成四个象限,构成各个超像素65a-65d。超像素65a-65d可以直接彼此边界相邻或者可以通过非激活检测器元件63分开。图8示出了使用不同形状的用于超像素的合并读出模式。内部区域被分成几个类似尺寸的超像素65c,65d,例如几个圆形或六边形超像素65c,65d。外部区域被分成环形超像素65a,65b。环形超像素65a可以设置为具有比更靠近环中心的环形超像素65b更大的厚度。
图9示出了可以与线形照射一起使用的合并读出模式。如果在样本平面中产生一个或多个纵向照射光斑,例如使用一个或多个柱面透镜,则一个或多个纵向检测光斑16A、16B可以形成在检测器阵列60上。在图9中,检测器元件的多个相邻行(或线)被合并读出到相同的超区域中。因此,每个超像素65A和65B具有线条形状,其中线条的粗细可以灵活设置。图9的超像素65A、65B也可以与其他照射模式一起使用,例如,在检测光根据其波长被分散的情况下选择特定波长部分。
图10进一步说明了合并读出模式的灵活性。没有必要仅将相邻的检测器元件合并读出到相同的超像素中。相反,超像素65B或65C可以由远距离检测器元件组成。例如,第一超像素65A可以形成一条线,第二超像素65B可以由彼此间隔开的两组探测器元件形成,并且第三超像素65C可以由几个彼此间隔开的单独的探测器形成。一个或多个这样的超像素可用于校准测量,而其他超像素分配给实际样本测量。相关性测量,特别是对于不同样本位置,可以用包括远距离探测器元件的超像素来执行。
控制设备70被配置为设置合并读出模式和激活区域以增加SNR,将数据速率保持在可接受的边界内并确保期望的帧速率(这需要每帧有限的数据量)。此外,控制设备70能够修改传感器阵列60上的检测光斑16的尺寸并影响检测光斑16内的强度分布。为此,控制设备70调节显微镜的光学元件。在解释有利的合并读出和激活模式之前,将首先描述这种调整。
如图1所示,检测光15的光束路径中的光学元件33、34是可调的,以影响检测光15。光学元件34可以是传感器阵列60前面的成像透镜。它将检测光15聚焦到传感器阵列60上,产生图2-4所示的检测光斑。通过调整光学元件34,检测光15的焦点相对于传感器阵列60移动。因此,检测光斑失焦并因此被放大(如图1A所示)。光学元件34可以在检测光15的传播方向上移动;但是,光学元件34可以在检测光15的传播方向上移动。可选地,光学元件34可以是变形以改变焦点位置的可调节(液体)透镜。
光学元件33可以是伯特兰透镜33。在图1和图1A所示的情况下,伯特兰透镜33移出检测光15的光线路线。控制设备可以将伯特兰透镜33移入检测光15的光线路径,导致图1B所示的情况。伯特兰透镜33将瞳平面成像到传感器阵列60的平面中。调整光学元件34反过来会导致传感器阵列60上产生的检测光斑的尺寸发生变化。图1B具有与图1不同且通常更均匀的强度分布的检测光斑。此外,在图1B所示的情况下,检测光束光斑的尺寸可以有效地变化。
图11示意性地示出了本发明的光学显微镜的实施例的传感器阵列60和控制单元70的架构。传感器阵列60包括多个N1·N2探测器元件,因此被配置为输出多个N1·N2光子计数率,例如经由各自的信号线,到处理单元71。处理单元71是控制设备70的一部件并且与传感器阵列60一起形成在同一IC中或在同一电路板上。处理单元71包括数量为M的独立单元71a。一个这样的单元71a的设计在图11中示意性地示出。其余单元71a可以类似地形成。单元71a包括组合电路71d,每个检测器元件经由各自对应的开关71c连接到组合电路71d。因此,每个单元71a具有一些N1·N2条输入线和相同数量的开关71c以灵活地控制哪些检测器元件连接到组合电路71d。组合电路71d输出表示接收信号的组合信号。组合电路71d可以仅具有通向超像素计数器单元72的一条输出线。组合电路71d可以实现为具有由检测器元件输出控制的上拉或下拉驱动器的共享总线,为或函数,为异或函数或任何其他组合函数。每个开关71c可以通过各自的存储器71b来控制,该存储器71b可以具有1位(指示各个开关71c的“开”和“关”状态)。因此,每个组合电路71d可以包括多个N1·N2个1位存储器71b。每个开关71c可以实现为与门或并行PMOS+NMOS组合。单独的存储器元件可以连接在一起以形成移位寄存器。组合电路71d的输出通向超像素计数器单元72。因此从处理单元71有M条输出线,其中M小于N1·N2乘积。超像素计数器单元72包括每个组合电路71d至少一个、优选地两个多位计数器。通过用于每个组合电路71d的至少一个多位计数器,超像素计数器单元72能够输出光子计数率,该光子计数率指示通过各个开关71c连接到相应的组合电路71d的所有检测器元件的组合光子计数率。
如果超像素计数器单元72包括每个组合电路71d的两个多位计数器,则在停留时间期间并行计数和读出成为可能。这意味着,当一个多位计数器被读出(并且不计算相应组合电路接收和输出的更多信号)时,连接到同一组合电路的另一个多位计数器被激活以对该组合电路接收和输出的信号进行计数。这减少了由于顺序读出而在超像素之间的停留时间的任何延迟。
多位计数器的读出可以是顺序的,其中仅读出所有多位计数器(以及因此所有超像素)的一部分以降低数据速率。
参照图12解释了所描述的显微镜的灵活性和利用控制设备设置的优选操作模式的有利效果。图12示出了说明本发明的示例性方法的步骤的流程图。除非另有说明,这些步骤可以由控制设备执行,特别是通过调整上述组件(例如,光学元件、光源和传感器阵列)。
在步骤S1中,向用户提供或显示成像模式和成像参数的选择。根据用户的选择,该方法继续选择的成像模式S2、S6、S11或S15。
如果选择“PSF过采样模式”S2,则该方法继续步骤S3-S5。这些步骤的顺序可以变化,一些或所有步骤可以同时进行,或者可以省略一个或两个步骤。在步骤S3中,调整光学元件33、34以将样本平面清晰地成像到传感器阵列60上。如上所述,可以去除用于瞳成像的伯特兰透镜并且可以设置可调聚焦透镜使得在传感器阵列上产生样本平面清晰的图像。清晰的图像构成了具有指示系统的PSF的大小和强度分布的检测光斑。根据检测光束的强度/功率,在步骤S3中进一步调整光学元件33、34以将传感器阵列60上的检测光斑尺寸调整为合适的尺寸。过大的强度会导致探测器元件饱和,即它们的输出光子计数率偏离与撞击光子速率或强度的线性关系。饱和阈值可以定义为光强度,高于该光强度输出光子计数率偏离与撞击光强度的线性关系超过10%。为了避免饱和,控制光学元件33、34以随着检测光束功率的增加而增加检测光斑尺寸,从而保持每个检测器元件的强度低于饱和阈值。在步骤S4中,根据传感器阵列上的检测光斑尺寸设置传感器阵列的激活区域。特别地,激活区域可以以不大于例如PSF尺寸的20%或30%的偏差来匹配光斑尺寸。现在根据所选的成像参数,例如所需的帧速率,步骤S5,设置探测器元件到超像素的合并读出。来自控制单元用于数据传输所需的帧速率和最大带宽影响或定义了可以在停留时间期间输出的测量数据的上限阈值。超像素数量设置为对应(或不超过)所述上限阈值。
如果选择“共焦检测模式”S6,则该方法继续步骤S7-S10。同样,步骤S7-S10的顺序可以变化,可以同时执行一些或所有步骤,并且可以省略这些步骤中的一个或多个。在步骤S7和S8中,调整光学元件33、34以根据检测光束的功率或能量设置光斑尺寸,并使传感器阵列上的强度分布均匀。减小光斑尺寸意味着用更大的强度或光功率照射较少数量的检测器元件。对于低强度,探测器元件的暗噪声很重要,因此如果光斑尺寸减小,它可能会增加SNR。相反,对于大强度,探测器元件可能会饱和(其输出光子计数率不再线性取决于撞击强度;此外,总SNR会恶化)。因此,对于大强度,增加光斑尺寸以避免检测器元件上的过高强度。因此,控制设备可以使用预定义函数,该函数计算根据光束功率或能量(其被计算或先前测量)要设置的光斑尺寸。随着强度的增加,该函数输出要设置的光斑尺寸也随之增加。在共焦检测模式中,仅检测器元件的总输出是相关的,而不分析检测器元件上的强度分布。因此,检测器元件上的强度分布可能会受到影响以满足其他标准:特别是,为了避免一些检测器元件由于强度过大而饱和,调整光学元件33、34以使得强度分布更均匀。由于不使用来自单个探测器元件的空间信息,因此不需要传感器阵列上的清晰图像。因此,如上所述,可以调节聚焦透镜34以改变光斑尺寸,并且可以可选地使用伯特兰透镜33来产生瞳图像(其可以具有更均匀的强度分布)并影响光斑尺寸。与允许在保持清晰成像的同时调整光斑尺寸的变焦光学器件相比,仅使用两个光学元件33、34的调整明显不那么复杂,从而可能减少光损失并降低成本。由于SPAD传感器阵列60提供的灵活性,使用这种简化的光学器件成为可能。上述步骤S7和S8可以作为一个步骤来执行。在接下来的步骤S9中,设置激活区域以匹配传感器阵列上的光斑尺寸。或者,可以将激活区域尺寸设置为比光斑尺寸大,例如最多为光斑尺寸的20%的余量。在更简单的变体中,可以激活所有检测器元件。在步骤S10中,所有激活的检测器元件被合并读出到相同的超像素中。因此,超像素的输出值是所有激活的探测器元件的组合光子计数率。此过程降低了数据速率,同时不会丢失与共焦成像相关的信息。
如果选择“线扫描模式”S11,则该方法继续步骤S12-S14。同样,步骤S12-S14的顺序可以变化,可以同时执行一些或所有步骤,或者可以省略这些步骤中的一个或多个。在线扫描模式下,调整照射光束路径中的光学器件以在待检查的样本平面中提供照射线。例如,柱面透镜可以插入到照射光束路径中。在步骤S12中,调整光学元件33、34以将样本平面清晰地成像到传感器阵列上。当样本的一条线或细长区域被照射时,检测光从该被照射的样本区域发射并且导致传感器阵列上的细长或线形检测光斑。在步骤S13中,根据细长的检测光斑设置激活区域,使得至少一些未发光的检测器元件被失活。特别是,只有被照射的检测器元件被激活。步骤S14设置合并读出模式。在垂直于细长检测光斑的纵向方向的方向上彼此相邻的检测器元件分别被合并读出到相同的超像素中。相比之下,纵向上彼此相邻的检测器元件不会合并读出到相同的超像素中(或者,仅将纵向上的两个或三个相邻的检测器元件合并读出在一起以进一步提高帧速率,以分辨率为代价)。
如果选择了“场扫描/成像模式”S15,则该方法继续步骤S16-S19。在步骤S16中,调整光学元件以将样本平面清晰地成像到传感器阵列上。在步骤S17中,设置宽视场照射,与例如PSF过采样模式S2或共焦检测模式S6相比,其中照射被设置为使得仅样本点被照射。接下来,在步骤S18中,激活区域被设置为对应于传感器阵列上的照射区域,这可能取决于当前插入的物镜、宽视野照射尺寸或变焦设置。在步骤S19中,设置可以例如根据当前变焦位置来选择的合并模式。.
在上述方法的变体中,可以提供除光学元件33、34之外的其他光学元件并调整以改变光斑尺寸和/或光分布。其他变体可以提供额外的成像模式或并非所有描述的三种成像模式。
本发明的方法、检测器和光学显微镜提供了特别好的成像质量,同时提供了大的灵活性,而无需复杂且成本密集的变焦光学器件。
参考符号列表
10 光源
12 照射光
12A,12B 照射光12的光线路径
15 检测光
16,16A,16B 传感器阵列上的检测光点(尺寸)/PSF60
18 针孔
22 分束器
23,24 光学元件
25 扫描仪
30 物镜
31,32 光学元件
33 光学元件,伯特兰透镜
34 光学元件,可调透镜
35 样本
60 传感器阵列
61 光子计数探测器元件
62 激活的光子计数探测器元件
63 失活的光子计数探测器元件
65,65A-65D 超像素
70 控制设备
71 控制设备70的处理单元
71a 处理单元71
71b 单元71a的存储器
71c 单元71a的开关
71d 单元71a的组合电路
100 光学显微镜
N1·N2 探测器元件61的数量;处理单元71的输入行数
M 单元71a数;处理单元71的输出线数
S1-S19 方法步骤
Claims (28)
1.一种光学显微镜,包括
-用于照射样本(35)的光源(10),
-传感器阵列(60)由用于测量来自样本(35)的检测光(15)的光子计数检测器元件(61、62)组成,并且
-用于控制传感器阵列(60)的控制设备(70),
其特征在于
控制设备(70)被配置为灵活地将光子计数探测器元件(62)合并读出一个或多个超像素(65)。
2.根据权利要求1所述的光学显微镜,其中
控制设备(70)被配置为可变地设置超像素(65)的数量,并且可变地设置合并读出到一个超像素(65)中的光子计数检测器元件(62)的数量。
3.根据权利要求1或2所述的光学显微镜,其中
控制设备(70)或控制设备(70)的部件和传感器阵列(60)构建在相同的电路板上和/或在相同的集成电路中,
每个光子计数检测器元件(61-63)通过各自的信号线连接到控制设备(70),并且控制设备(70)被配置为向每个超像素(65)分配相应的多位计数器。
4.根据前述权利要求中任一项所述的光学显微镜,还包括用于调节所述传感器阵列(60)上的检测光(15)的光斑尺寸(16)的可调光学元件(33、34),
其中控制设备(70)被配置为
-调整传感器阵列(60)的激活区域,
-控制光学元件(33、34)以减小传感器阵列(60)上的检测光斑尺寸(16)并随着检测光(15)的功率减小而减小传感器阵列(60)的激活区域。
5.根据前述权利要求中任一项所述的光学显微镜,其中
控制设备(70)被设置为用于根据检测光斑尺寸(16)的信息设置传感器阵列(60)的合并读出和激活区域。
6.根据前述权利要求中任一项所述的光学显微镜,其中
控制设备(70)被配置为随着照射波长的增加和/或当当前使用的物镜更换为具有较小回孔径的物镜时,增加传感器阵列(60)的激活区域和每个超像素(65)的光子计数检测器元件(61、62)的平均数量,反之亦然,和/或取决于数值孔径。
7.根据前述权利要求中任一项所述的光学显微镜,
其中控制设备(70)被配置用于PSF过采样模式(S2),其中
-根据传感器阵列(60)上的PSF尺寸(16)设置传感器阵列(60)的激活区域,
-根据PSF尺寸(16)设置超像素(65)的数量,和/或
-根据期望的最大计数率设置合并读出到同一超像素(65)中的光子计数检测器元件(61、62)的数量。
8.根据前述权利要求所述的光学显微镜,
其中控制设备(70)被配置为在PSF过采样模式(S2)中,随着PSF尺寸(16)增加合并读出到同一超像素(65)中的光子计数探测器元件(61、62)的数量,使得控制设备(70)输出的数据速率不超过预定的最大速率和/或恒定。
9.根据权利要求7或8所述的光学显微镜,
其中控制设备(70)被配置为在PSF过采样模式(S2)下设置超像素(65),使得相邻超像素(65)之间的中心到中心距离至多为0.2埃利斑直径。
10.根据前述权利要求中任一项所述的光学显微镜,
其中控制设备(70)被配置为线扫描模式(S11),其中
-样本(35)被细长的照射光束照射,导致传感器阵列(60)上的细长检测光斑,以及
-控制设备(70)将光子计数检测器元件(61、62)合并读出在一起,使得细长超像素(65)在垂直于细长检测光斑的方向上形成。
11.根据前述权利要求中任一项所述的光学显微镜,
控制设备(70)被配置用于共聚焦检测模式(S6),其中所有激活的光子计数检测器元件(61、62)被合并读出到一个超像素(65)中。
12.根据前述权利要求中任一项所述的光学显微镜,
其中控制设备(70)被配置为阵列扫描模式,其中用多个照射点照射样本(35),并且光子计数检测器元件(61、62)的激活区域和合并读出取决于设置的照射设置.
13.根据权利要求7-12中任一权利要求所述的光学显微镜,
其中,控制设备(70)被配置成在PSF过采样模式(S2)或共聚焦检测模式(S6)下,基于撞击光强度调整检测器阵列(60)上的检测光斑大小(16),以避免光子计数检测器元件(61、62)饱和并增加SNR。
14.根据权利要求7-13中任一权利要求所述的光学显微镜,
其中,所述控制设备(70)被配置用于
-向用户提供多个成像模式(S2、S6、S11、S15),其中成像模式(S2、S6、S11、S15)包括PSF过采样模式(S2)、共聚焦检测模式(S6)、线或阵列扫描模式(S11)和场成像模式(S15)中的至少两个,以及
-根据选择的成像模式(S2、S6、S11、S15),设置光子计数检测器元件(61、62)的合并读出。
15.根据上述权利要求所述的光学显微镜,其中
控制设备(70)被配置成根据所选择的成像模式(S2、S6、S11)调整光学显微镜的光学元件(33、34):
-在共聚焦检测模式(S6)中,调整光学元件(33、34)以均匀化传感器阵列(60)上的强度分布,特别是通过在传感器阵列(60)上设置瞳成像以及调整传感器阵列(60)上的检测光斑尺寸(16);
-在PSF过采样模式(S2)中,调整光学元件(33、34)以将样本点成像到传感器阵列(60)上,以在PSF上记录空间信息。
16.根据上述权利要求所述的光学显微镜,其中
一个光学元件(33)是伯特兰透镜(33),另一个光学元件(34)是成像透镜(34),以及
控制设备(70)被配置为:
-通过将是伯特兰透镜(33)插入检测光(15)的光线路径来设置瞳成像,以及-通过调整将检测光(15)聚焦到传感器阵列(60)附近的成像透镜(34)的焦距来调整检测光斑尺寸(16)。
17.根据前述权利要求中任一项所述的光学显微镜,其中
控制设备(70)被配置为-提示用户输入所需的帧速率,以及
-调整传感器阵列(60)的合并读出和激活区域以根据所需的帧速率限制结果数据速率。
18.根据前述权利要求中任一项所述的光学显微镜,其中
控制设备(70)被配置为当传感器阵列(60)的激活区域改变时通过调整合并读出来保持输出数据速率恒定。
19.根据前述权利要求中任一项所述的光学显微镜,其中
为了提供最大数量的M个可灵活设置的超像素,控制设备(70)包括具有M个单元(71a)的处理单元(71),其中每个单元(71a)包括各自的组合电路(71d),组合电路(71d)通过可编程开关(71c)与光子计数检测器元件(61)连接,其中每个组合电路(71d)输出指示,到组合电路(71d)的相应开关(71c)闭合的所有检测器元件(61),的联合光子计数率的信号流。
20.根据前述权利要求所述的光学显微镜,其中
控制设备(70)包括超像素计数器单元(72),其具有M条输入线,每条输入线连接到组合电路(71d)的相应输出,并且
M条输入线的每一条分别引向超像素计数器单元(72)的至少一个多位计数器。
21.根据前述权利要求所述的光学显微镜,其中
超像素计数器单元(72)的每个组合电路包括两个多位计数器,其中M条输入线中的每一条引出一对多位计数器,其中多位计数器对中的一个被读出,同时另一个多位计数器计算传入的光子计数率。
22.根据前述权利要求中任一项所述的光学显微镜,其中
控制设备(70)被配置为用于根据校准矩阵调整不同超像素(65)的输出数据流之间的时间延迟。
23.根据前述权利要求中任一项所述的光学显微镜,
进一步包括:
-扫描仪(25)被配置为用照射光(12)扫描样本(35)并将检测光(15)导向传感器阵列(60),
其中,控制设备(70)被配置为在扫描期间,特别是基于在同一扫描期间获取的信息来调整合并读出。
24.根据前述权利要求中任一项所述的光学显微镜,
其中控制设备(70)被配置为在相同超像素(65)的光子计数检测器元件(61、62)之间设置不同的灵敏度。
25.一种光学检测器,包括
由光子计数检测器元件(61、62)组成的传感器阵列(60),和
用于控制传感器阵列(60)的控制设备(70),
其特征在于
控制设备(70)被配置为灵活地将光子计数探测器元件(62)合并读出一个或多个超像素(65)。
26.根据权利要求25所述的光检测器,还包括
用于每个光子计数检测器元件(61、62)的事件激活主动充电组件。
27.根据权利要求25或26所述的光检测器,
其中控制设备(70)被配置为灵活地将连续和/或不连续的光子计数探测器元件(61)合并读出到同一个超像素(65)中。
28.一种成像方法,包括:
-用照射光(12)照射样本(35),
-使用由光子计数检测器元件(61、62)组成的传感器阵列(60)测量来自样本(35)的检测光(15),并且
-用控制设备(70)控制传感器阵列(60),
其特征在于
灵活地将光子计数检测器元件(62)合并读出为一个或多个超像素(65
控制设备(70)被配置为可变地设置超像素(65)的数量,并且可变地设置合并读出到一个超像素(65)中的光子计数检测器元件(62)的数量。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2019/058991 WO2020207571A1 (en) | 2019-04-09 | 2019-04-09 | Light microscope with reconfigurable sensor array |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113874774A true CN113874774A (zh) | 2021-12-31 |
Family
ID=66240078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980094729.0A Pending CN113874774A (zh) | 2019-04-09 | 2019-04-09 | 具有可重构传感器阵列的光学显微镜 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220206275A1 (zh) |
EP (1) | EP3953756A1 (zh) |
JP (2) | JP7478322B2 (zh) |
CN (1) | CN113874774A (zh) |
WO (1) | WO2020207571A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018127281A1 (de) * | 2018-10-31 | 2020-04-30 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zur Mikroskopie |
JP2024506808A (ja) * | 2021-02-11 | 2024-02-15 | クオリティー ヴィジョン インターナショナル インコーポレイテッド | バーチャルズームレンズ |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050057749A1 (en) * | 1998-08-21 | 2005-03-17 | Surromed, Inc. | Novel optical architectures for microvolume laser-scanning cytometers |
US20070152130A1 (en) * | 2005-12-30 | 2007-07-05 | General Electric Company | System and method for utilizing an autofocus feature in an automated microscope |
EP1860480A1 (en) * | 2006-05-25 | 2007-11-28 | Olympus Corporation | Confocal microscope and multiphoton excitation microscope |
US20120162754A1 (en) * | 2010-12-22 | 2012-06-28 | Mirko Liedtke | Pinhole for a Confocal Laser Scanning Microscope |
CN105556370A (zh) * | 2013-08-15 | 2016-05-04 | 卡尔蔡司显微镜有限责任公司 | 高分辨率扫描显微术 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK0941466T3 (da) * | 1996-11-27 | 2004-03-01 | Max Planck Gesellschaft | Metode og anordning til bestemmelse af forudbestemte egenskaber af målpartikler i et prøvemedium |
WO2012154333A1 (en) * | 2011-04-07 | 2012-11-15 | The Uwm Research Foundation, Inc. | High speed microscope with spectral resolution |
JP6205140B2 (ja) * | 2013-03-01 | 2017-09-27 | オリンパス株式会社 | 走査型レーザ顕微鏡装置 |
JP6408796B2 (ja) * | 2014-06-11 | 2018-10-17 | オリンパス株式会社 | レーザ顕微鏡装置 |
LU92664B1 (de) * | 2015-02-24 | 2016-08-25 | Leica Microsystems | Vorrichtung und verfahren zum detektieren von licht |
US10332930B2 (en) | 2015-12-21 | 2019-06-25 | Stmicroelectronics (Research & Development) Limited | Single photon avalanche diode (SPAD) array including distributed or tree for readout |
-
2019
- 2019-04-09 JP JP2021552205A patent/JP7478322B2/ja active Active
- 2019-04-09 CN CN201980094729.0A patent/CN113874774A/zh active Pending
- 2019-04-09 US US17/602,086 patent/US20220206275A1/en active Pending
- 2019-04-09 EP EP19718614.1A patent/EP3953756A1/en active Pending
- 2019-04-09 WO PCT/EP2019/058991 patent/WO2020207571A1/en unknown
-
2023
- 2023-12-01 JP JP2023203642A patent/JP2024028812A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050057749A1 (en) * | 1998-08-21 | 2005-03-17 | Surromed, Inc. | Novel optical architectures for microvolume laser-scanning cytometers |
US20070152130A1 (en) * | 2005-12-30 | 2007-07-05 | General Electric Company | System and method for utilizing an autofocus feature in an automated microscope |
EP1860480A1 (en) * | 2006-05-25 | 2007-11-28 | Olympus Corporation | Confocal microscope and multiphoton excitation microscope |
US20120162754A1 (en) * | 2010-12-22 | 2012-06-28 | Mirko Liedtke | Pinhole for a Confocal Laser Scanning Microscope |
CN105556370A (zh) * | 2013-08-15 | 2016-05-04 | 卡尔蔡司显微镜有限责任公司 | 高分辨率扫描显微术 |
Also Published As
Publication number | Publication date |
---|---|
US20220206275A1 (en) | 2022-06-30 |
JP7478322B2 (ja) | 2024-05-07 |
WO2020207571A1 (en) | 2020-10-15 |
EP3953756A1 (en) | 2022-02-16 |
JP2022537617A (ja) | 2022-08-29 |
JP2024028812A (ja) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11372223B2 (en) | High-resolution scanning microscopy | |
JP2024028812A (ja) | 再構成可能センサアレイを備えた光学顕微鏡 | |
US8503076B2 (en) | Apparatus for the detection of light in a scanning microscope | |
CN102879088B (zh) | 用于探测光的装置和方法 | |
EP2686700B1 (de) | Messvorrichtung zur messung einer entfernung zwischen der messvorrichtung und einem zielobjekt mit hilfe optischer messstrahlung | |
US5469251A (en) | Apparatus for detecting fluorescence of particles in a fluid and analyzing the particles | |
CN102549381B (zh) | 光学距离测量装置 | |
DE102016114432A1 (de) | Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts | |
US11966036B2 (en) | Light microscope and microscopy method | |
US20080204766A1 (en) | Method and microscope device for observing a moving specimen | |
US20120162754A1 (en) | Pinhole for a Confocal Laser Scanning Microscope | |
Buchholz et al. | Widefield high frame rate single-photon SPAD imagers for SPIM-FCS | |
US20220247962A1 (en) | Optical measurement device and optical measurement system | |
US20200300978A1 (en) | Dynamic range improvements in lidar applications | |
JP7365649B2 (ja) | 光子計数検出器素子を備える光学顕微鏡および撮像方法 | |
US20230288687A1 (en) | Method and light microscope with a plurality of arrays of photon-counting detector elements | |
CN109313327B (zh) | 显微镜和显微成像方法 | |
DE202016104285U1 (de) | Optoelektronischer Sensor zur Erfassung eines Objekts | |
JPH0918772A (ja) | 顕微鏡画像解析装置 | |
KR20180062412A (ko) | 광학현미경의 광 검출방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |