CN111512141A - 用于照亮粒子的设备以及用于粒子成像的系统和方法 - Google Patents

用于照亮粒子的设备以及用于粒子成像的系统和方法 Download PDF

Info

Publication number
CN111512141A
CN111512141A CN201880083259.3A CN201880083259A CN111512141A CN 111512141 A CN111512141 A CN 111512141A CN 201880083259 A CN201880083259 A CN 201880083259A CN 111512141 A CN111512141 A CN 111512141A
Authority
CN
China
Prior art keywords
light
fluid channel
light beam
array
particles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880083259.3A
Other languages
English (en)
Other versions
CN111512141B (zh
Inventor
刘诚迅
D·韦克吕斯
N·范瑞伦
A·尤特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of CN111512141A publication Critical patent/CN111512141A/zh
Application granted granted Critical
Publication of CN111512141B publication Critical patent/CN111512141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N15/1436Optical arrangements the optical arrangement forming an integrated apparatus with the sample container, e.g. a flow cell
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0465Particular recording light; Beam shape or geometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1454Optical arrangements using phase shift or interference, e.g. for improving contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/35Transverse intensity distribution of the light beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/16Optical waveguide, e.g. optical fibre, rod

Landscapes

  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种用于照亮粒子的设备(110),包括:被布置在衬底(114)上的光波导(112;412a、412b;512a、512b);被配置成输出形成片状形状的光束(150;450a、450b;550a、550b)的输出耦合器(118),该片状形状具有在第一方向上的延伸大于粒子尺寸的横截面;以及被布置在所述衬底(114)上的流体通道(116;416;516),所述流体通道用于沿着所述流体通道(116;416;516)的纵向方向引导粒子流;其中该光束(150;450a、450b;550a、550b)的片状形状被布置在流体通道(116;416;516)内,并且该光束(150;450a、450b;550a、550b)的横截面的第一方向与流体通道(116;416;516)的纵向方向成一角度。一种用于对该粒子进行成像的系统(100),包括该设备、光检测元件(132;432a、432b;532)的阵列(130;430a、430b;530)、以及透镜(120),该透镜将光会聚到该阵列(130;430a、430b;530)以使得每一个光检测元件(132;432a、432b;532)检测源自流体通道(116;416;516)中的对应位置的光。

Description

用于照亮粒子的设备以及用于粒子成像的系统和方法
技术领域
本发明构思涉及一种用于照亮流体通道中的粒子的设备。本发明构思还涉及一种用于粒子成像的系统和方法。
背景技术
在流式细胞仪中,细胞悬浮在流体流中,该流体流可以经过电子检测设备。流式细胞仪可以允许每秒同时分析数千个粒子的多个物理和化学特性。流式细胞仪通常可用于细胞计数和细胞分选。然而,流式细胞仪可能无法获得细胞的形态。
另一方面,显微术可以生成细胞图像,并允许以比在流式细胞术中获得的空间分辨率更高的空间分辨率来确定细胞的详细信息,诸如确定细胞形态。然而,显微术可能受限于非常低的细胞吞吐量。
图像细胞仪获取流式细胞仪中快速流动的细胞的细胞图像。图像细胞仪是综合了细胞显微术(信息丰富但吞吐量低)和常规流式细胞仪(吞吐量高但信息受限)的优点的新兴技术。
然而,当前的图像细胞仪技术需要专用的慢速成像器或者复杂的光学系统。结果,细胞成像吞吐量对于实际应用仍然不足,实际应用可能需要每秒对10000个细胞进行成像或更高。此外,当前系统中所涉及的复杂光学器件意味着仪器昂贵且使用麻烦。
图像细胞仪的示例在Han Y.、Lo Y.-H.发表在2015年第五期Scientific Reports上的“Imaging Cells in Flow Cytometer Using Spatial-Temporal Transformation(在流式细胞仪中使用时空变换来进行细胞成像)”中提供。该方法将数学算法和空间滤波器用作给予流式细胞仪成像能力所需的唯一硬件。在流式细胞仪中使用光电倍增管检测器,而不是CCD或者成像系统中找到的任何百万像素相机,来获取快速移动的细胞的高质量图像,由此以与现有细胞仪完全兼容的方式获得高吞吐量。
然而,该装置仍然很笨重,并且在多个光路上需要多个光学元件。此外,应用的吞吐量可能仍需要提高。
发明内容
本发明构思的目的是使得能够对粒子进行成像以使得可获取具有高空间分辨率的图像,同时允许高粒子吞吐量。
本发明构思的这些和其他目的由如在独立权利要求中限定的本发明来至少部分地满足。优选实施例在从属权利要求中陈述。
根据第一方面,提供了一种用于照亮流体通道中的粒子的设备,该设备包括:被布置在衬底上的光波导;被配置成输出来自光波导的光以形成光束的输出耦合器,其中该光束形成片状形状以使得在距该输出耦合器一距离处该光束具有在第一方向上的延伸大于粒子尺寸的横截面;以及被布置在该衬底上的流体通道,该流体通道用于沿着该流体通道的纵向方向引导粒子流通过该流体通道;其中该光波导和该流体通道彼此相关地布置以使得在距该输出耦合器所述距离处的光束被布置在流体通道内,其中该光束的横截面的第一方向与该流体通道的纵向方向成一角度。
归因于本发明,提供了一种用于照亮粒子的紧凑装置。该装置可用于对粒子进行成像以使该粒子可以用高空间分辨率成像。此外,可使得成像能够具有高吞吐量以使得粒子通过流体通道的速度可以非常高。
通过将流体通道和光波导布置在同一衬底上,提供了紧凑装置照明。光波导可以使用半导体工艺来形成在衬底上,这适合大规模生产并且使得能够小型化以形成小尺寸装置。而且,流体通道可通过直接在衬底上制造限定流体通道的结构来形成在衬底上,或者流体通道被单独制造并且然后绑定到包括光波导的衬底。
光束形成片状形状意味着光束可选择性地照亮粒子或粒子的一部分。片状形状可(沿着流体通道中的粒子流的方向)限定被照亮的厚度。这意味着照明可选择流体通道中的与照明光相互作用的部分并因此可选择该部分以供成像。
这可有利地与包括一排或数排光检测元件的图像传感器相组合。该图像传感器因此不需要从光检测元件的大型阵列读出光强度值。相反,将提供光强度值以供读出的每一个光检测元件可以与其自己的读出元件(例如,模数转换器)相关联。这意味着光检测元件所检测到的光强度方面的图像信息的读出可被非常快速地执行,并因此可允许在具有通过流体通道的高吞吐量的同时进行成像。
如此处所使用的,术语“光束形成片状形状”应被解释为光束具有大致矩形的横截面并且横截面在该光束通过流体通道的传播方向上是相对均匀的。应理解,横截面不一定完全是矩形,而是在横截面的边缘处倒圆。此外,应理解,横截面不一定完全是均匀的。相反,横截面可以在流体通道中稍微缩小或稍微扩大,或者甚至首先在流体通道内朝流体通道内的最小横截面缩小,然后在流体通道内扩大。
该设备可用于照亮任何种类的无机或有机粒子、人造或天然粒子。例如,聚苯乙烯粒子、氧化硅粒子、金属粒子、磁性粒子、生物细胞、细菌、病毒、细胞外囊泡或相同或不同粒子的聚集体可由该设备照亮以允许对粒子进行成像。
根据一实施例,输出耦合器被配置成输出光,其中光束具有在第一方向上具有大延伸而在第二方向上具有小延伸的横截面,小延伸小于粒子的尺寸。
归因于光束的横截面具有大于粒子尺寸的大延伸且小于粒子尺寸的小延伸,光束可照亮穿过粒子的切片。这意味着照明可选择粒子的与照明光相互作用的部分并因此可选择该部分以供成像。
由此,照明选择穿过粒子的、在特定时间点成像的切片。与粒子相互作用的光可以透射到单排或数排光检测元件上以用于快速读取光信息。这意味着当粒子移动通过流体通道时,可以按非常快速的方式对该粒子的切片序列进行照明和成像,以使得所成像的切片序列可随后形成粒子的完整图像。
由此,用于照亮粒子的设备使得能够以高空间分辨率进行粒子成像,同时允许高粒子吞吐量。例如,在一个实施例中,可使用从光检测元件的1MHz读出,这可允许使用0.5μm分辨率的0.5m/s的粒子流速。
根据一实施例,光束的第一方向与流体通道的纵向方向垂直。
这意味着流动通过流体通道的粒子将穿过光束以使得粒子的整个横截面(在与粒子移动垂直的方向上)可被光束照亮。因此,粒子的整个横截面可被照亮并成像。
光束可被布置成使得光束的第一方向主要延伸穿过流体通道的中心。这可以是有利的,因为如果光与流体通道的侧壁相互作用,则该光可影响对流体通道中的粒子的成像。
然而,光束的第一方向不一定完全与流体通道的纵向方向垂直。第一方向可以照亮不垂直于粒子移动的粒子横截面。
第一方向可被配置成与流体通道的纵向方向成一角度。这意味着第一方向不应平行于流体通道的纵向方向。然而,如果第一方向与流体通道的纵向方向之间的角度接近0,则光束可能需要具有大延伸以使得整个粒子横截面(垂直于流体方向或流体通道的纵向方向)将在粒子流经流体通道时由该光束照亮。第一方向可以与流体通道的纵向方向成45-135°范围内的角度。
换言之,根据一实施例,光束的横截面的第一方向上的延伸基本上横跨流体通道的横截面从流体通道的第一侧壁延伸至该流体通道的与第一侧壁相对的第二侧壁。该延伸不一定垂直于流体通道的纵向方向,但可形成第一和第二侧壁之间的线以使得流动通过流体通道的粒子的整个横截面仍可被照亮。
根据一实施例,光波导和流体通道被彼此相关地布置以使得来自输出耦合器的光束通过流体通道的光入射壁进入该流体通道以便向该流体通道的与光入射壁相对的光出射壁传播,并且其中光束具有在光入射壁和光出射壁之间的、在整个流体通道中具有大延伸和小延伸的横截面。
这意味着光束可具有穿过流体通道的光入射壁和光出射壁之间的整个横截面的相对均匀且片状的形状。因此,光入射壁和光出射壁之间的粒子的位置将不影响粒子成像的可能性。此外,光束将不会不同地照亮不同的“高度”(即,粒子中的在光束的传播方向上的不同位置)以使得光束对粒子中特定高度的信息没有选择性。然而,应意识到,粒子的处在更远离输出耦合器(即,沿着光束的传播)的部分可能由于光在到达这一位置之前与粒子的其他部分相互作用而被遮挡。
根据一实施例,该设备进一步包括被布置在衬底上的透镜,其中该透镜被配置成接收由与流体通道中的粒子相互作用的光束引发的光并会聚接收到的光。
该透镜可被配置成将源自粒子中的一位置的光定向至单个点。由此,即使来自粒子中的一位置的光以较大角度散布(例如,通过可被定向至宽角度范围的所引发的荧光),该光也可由该透镜采集并被定向至单个点。这意味着在图像平面中,特定点(其中可放置光检测元件)可对应于粒子中的特定位置。
通过在衬底上布置透镜,可提供包括光波导、流体通道和透镜的紧凑包装。而且,透镜和光波导以及流体通道之间的关系可被明确限定以使得透镜将正确地会聚接收到的光。
然而,应认识到,透镜可以与衬底分开提供。透镜由此可以是成像装置的一部分,其中该透镜被单独安装。成像装置可以在预设装备中交付或者可由要执行粒子成像的用户来设置。
根据一实施例,流体通道被布置在衬底上的光波导之上,并且透镜被布置在该流体通道上。
这意味着堆叠可由光波导、流体通道和透镜形成。堆叠式装置可促成该设备的制造,因为不同部件可以在衬底上的不同层中形成。
然而,应认识到,光波导和流体通道以及也可能的透镜,可被形成在衬底的共同表面上,以使得它们被布置在衬底上的共同平面中。这意味着光可由输出耦合器输出以便在该公共平面中传播通过流体通道。
还应认识到,另外地或另选地,透镜和光波导可被布置与流体通道相关的共同侧。这意味着可检测到被流体通道中的粒子后向散射的光。如果光束引发荧光,则可检测到大致向后朝着粒子接收光束的方向发射的荧光。或许可以由被布置在流体通道的相关于光波导的相对侧以及流体通道的相关于光波导的共同侧两者上的检测器来检测光。
根据一实施例,光波导是第一光波导,而输出耦合器是被配置成形成第一光束的第一输出耦合器,并且其中该设备进一步包括第二光波导以及用于形成第二光束的第二输出耦合器,该第二光束形成片状形状以使得在距第二输出耦合器一距离处,该第二光束具有在第一方向上具有大延伸且在第二方向上具有小延伸的横截面。
这意味着可提供多个光束以用于照亮粒子。光束可具有不同特性以使得能够在粒子成像中获取关于粒子的更多信息。
根据一实施例,第一光波导被配置成引导第一波长的光,而第二波导被配置成引导不同于第一波长的第二波长的光。由此,粒子可使用不同波长来成像,以使得可以为成像提供光谱分辨率或者可引发不同物质的荧光。
根据一实施例,第一输出耦合器被布置成输出第一光束以通过光入射壁在流体通道的第一横截面处进入流体通道,并且第二输出耦合器被布置成输出第二光束以通过光入射壁在该流体通道的处于第一横截面下游的第二横截面处进入该流体通道。
这意味着粒子可以在粒子流动通过流体通道时由第一和第二光束顺序地照亮。因此,基于第一和第二光束的照明和成像可以是分开的,这可促成照明和成像的设置,因为光束将不会相互干扰并且将不会影响使用第一和第二光束的相应成像。
根据一实施例,第一光束的片状形状被配置成照亮粒子的第一部分,并且第二光束的片状形状被配置成照亮流体通道的第二部分,其中流体通道的第一和第二部分不相交。
这意味着第一光束引发的光和第二光束引发的光在空间上是分隔开的,这可促成通过成像器的简单设置来检测到所引发的光,例如通过使用光检测元件的第一和第二阵列,每一个阵列专用于检测分别由第一和第二光束引发的光。
根据另一实施例,第一光束的片状形状朝着从流体通道的光入射壁到光出射壁的第二横截面倾斜,并且其中第二光束的片状形状朝着从流体通道的光入射壁到光出射壁的第一横截面倾斜,以使得第一光束和第二光束将在该流体通道的中心部分处相交。
这意味着第一和第二光束可以在粒子的共同位置处照亮粒子。因此,粒子可被同时照亮。由此,相比于顺序照明,粒子不可以在使用第一和第二光束的照明之间调节或以其他方式改变其定向。因此,基于第一和第二光束的粒子图像可被更容易地比较。
第一和第二光束的光的不同特性可用于以稍微不同的方式定向已经与粒子相互作用的光。由此,衍射透镜可以与两个不同波长的光束一起被用来取决于光的波长来将光定向至图像平面中的不同位置。这可使得能够在两个光束照亮粒子时同时对粒子进行成像。
根据第二方面,提供了一种用于粒子成像的系统,所述系统包括:根据第一方面的用于照亮粒子的设备;以及光检测元件阵列,其中该光检测元件阵列被配置成使得每一个光检测元件检测源自流体通道中的对应位置的光。
该第二方面的效果和特征在很大程度上类似于上文结合第一方面所描述的那些效果和特征。关于第一方面所提及的各实施例在很大程度上与第二方面相兼容。
第一方面的用于照亮粒子的设备特别适于在用于粒子成像的系统中使用。该系统可以包括或可以不包括透镜,该透镜可以与该设备的衬底集成并因此可被认为是该设备的一部分,或者可以与衬底分开。此外,该系统可包括光检测元件阵列,其中该阵列相关于该设备的流体通道来布置以使得每一个光检测元件检测源自流体通道中的特定位置的光。这意味着每一个光检测元件对应于来自特定位置的光,并且由光检测元件阵列获取的光强度可用于对粒子进行成像。
该系统可被配置成进行全息成像。由此,光检测元件阵列可被配置成基于由粒子衍射的物体光以及未被衍射的参考光来检测干涉图案。干涉图案可被光检测元件阵列获取,然后所获取的干涉图案可被重构以确定粒子的图像。
该系统可被配置成用于同轴数字全息摄影,其中参考光基于不受影响地通过粒子的光束的光。同轴数字全息摄影可以是有用的,其中绝大部分对于光是透明的粒子可被成像。因此,大量的光不受物体的影响,从而可以形成干涉图案。
该系统可替换地被配置成用于离轴数字全息摄影。在这种情况下,参考光的单独光束被配置成在参考路径中传播以到达光检测元件阵列,其中该参考路径规避粒子以使得参考束不受粒子影响地通过参考路径。参考光束可基于与照亮粒子的光束共用的源,以使得物体光和参考光可以彼此相干。
在全息摄影中,可能无需使用透镜来聚焦光。然而,根据一替代方案,该系统可包括透镜,该透镜用于将光会聚到光检测元件阵列并且用于控制到达阵列中的光检测元件的光的源头。
由此,根据第二方面的实施例,提供了一种用于粒子成像的系统,所述系统包括:根据第一方面的用于照亮粒子的设备;光检测元件阵列;以及透镜,该透镜被配置成接收由与流体通道中的粒子相互作用的光束引发的光并将接收到的光会聚到该光检测元件阵列,以使得每一个光检测元件检测源自流体通道中的对应位置的光。
光检测元件阵列可被进一步配置成接收距透镜特定距离的光。这意味着焦点外的光可被阻挡以至于无法到达光检测元件阵列并且可提供共焦成像以提高所获取的图像的光学分辨率和/或对比度。
该系统可以包括限定窄狭缝的阻挡元件,该窄狭缝用于使光通过并朝向光检测元件阵列以提供共焦成像。例如,该系统可以包括布置在光检测元件阵列附近的不透明薄片,其中在该不透明薄片中提供透明狭缝以使光通过并朝向光检测元件阵列。根据一替代方案,光检测元件的尺寸可限定到达相应的光检测元件以提供共焦成像的光。每一个光检测元件可以至少在垂直于一排阵列的方向上具有小延伸,这可有助于在透镜焦点外的光不到达光检测元件。
该设备、透镜(如果有)以及光检测元件阵列可被安装在共同的外壳或布置中,以使得提供具有该设备、透镜(如果有)和该阵列之间的正确关系的准备好的装备。该准备好的装备由此可被制造并以即用状态被交付给用户。然而,应认识到,该系统的各部件可作为单独部件交付和/或制造,并且可由接收制造好的部件并交付准备好的装备的组装方组装和/或可由终端用户组装,以形成适用于粒子成像的系统。
光检测元件阵列可以是一维的。这意味着可提供一排光检测元件。该排中的光检测元件可以例如被形成为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光传感器,其中来自每个光检测元件的光强度可以由相应的电路读出,以使得可以非常快地执行对该排光检测元件的读出。例如,与每一个光检测元件相关联的读出电路可包括用于将所获取的光强度转换成数字值的模数转换器。这一装置可达到1MHz或更大的读出速度是可行的。
然而,应认识到,光检测元件阵列不一定是一维的。例如,两排平行的光检测元件可以与平行排的相对侧上的读出电路相关联,以使得这两排平行的光检测元件被布置在两排读出电路之间。
根据一实施例,光检测元件阵列可包括用于检测光强度的数排,其中每一排可以与对应的读出电路相关联以使得能够对检测到的光强度进行快速读出。
例如,已经与粒子相互作用的光是“移动的”信号,因为细胞正在流动。这意味着在沿着粒子流的纵向方向上可存在高斯光分布。高斯光分布可使用例如不同排中的被布置成对应于沿着流体通道的纵向方向的三个位置的三个光检测元件来确定。由这三个光检测元件逐个或同时获取的信号可用于检测高斯光分布以提高信号读取准确性。
此外,在阵列中具有多排光检测元件的另一优点是阵列中的第一排可用于检测流体通道中的粒子的存在,这可触发该阵列中的第二排和/或第三排以启动读出用于进行粒子成像。
根据一实施例,该系统包括一种设备,该设备包括第一光波导和第二光波导,其中光检测元件阵列是第一阵列,并且该系统进一步包括第二光检测元件阵列,其中第一阵列被配置成接收由与流体通道中的粒子相互作用的第一光束引发的光,并且第二阵列被配置成接收由与流体通道中的粒子相互作用的第二光束引发的光。
第一和第二阵列中的每一者可以是一维光检测元件阵列。然而,如以上所讨论的,第一和第二阵列可包括多排光检测元件。
由第一光束和第二光束引发的光可以在空间上分隔开,例如通过第一光束和第二光束被布置成在流体通道的不同纵向位置照亮该流体通道。由此,第一和第二光检测元件阵列可以在空间上分隔开。
然而,如以上所讨论的,第一和第二光束可被布置成在流体通道的中心部分相交。通过使用衍射透镜以及第一和第二光束的不同光波长,第一和第二阵列仍可在空间上分隔开以便分别接收由第一和第二光束引发的光。然而,第一和第二阵列然后可被布置成彼此非常靠近。例如,第一和第二照亮各自可以是一维阵列,它们被布置成彼此平行且彼此非常靠近。在这种情况下,第一和第二阵列可以与平行阵列的相对侧上的读出电路相关联,并且第一和第二阵列也可被认为物理地形成单个二维阵列。然而,来自第一和第二阵列中的每一则的输出可被单独处理以使得能够基于两个不同波长来形成单独图像。应认识到,此类单独图像稍后可作为两个不同通道或以另一种方式组合成合成图像。
在一个实施例中,该设备被配置成使得第一和第二光束不被同时发射。由此,即使第一和第二光波导和输出耦合器被布置成使得光束将相交,也一次发射仅仅一个光束。由此,光束可促成来自流体通道中的共同位置的测量,即使这些测量不是同时执行的。应认识到,有了这一装置,单个光检测元件阵列可用于检测由第一光束引发的光以及由第二光束引发的光。
该系统可被进一步配置成用于并行粒子成像。由此,可提供多个流体通道以使得该多个流体通道中的粒子的成像可被同时执行。
该系统由此可配备多个光波导,以使得如上所述的光束可被输出到该多个流体通道中的每一者中。光波导可以与单个光源相关联,该光源可将光输入每个光波导以照亮多个流体通道中的粒子。替换地,每一个光波导可以与单独的光源相关联。
该系统可包括单独的光检测元件阵列,这些单独的光检测元件阵列用于检测来自不同流体通道中的粒子的光。然而,根据一实施例,该系统可被设置成使得单个光检测元件阵列被用来检测源自不同流体通道的光。
在一实施例中,可提供大型一维光检测元件阵列,以使得不同的光检测元件被配置成检测来自不同流体通道的光。在另一实施例中,可提供二维光检测元件阵列,以使得光检测元件阵列中的不同排被配置成检测来自不同流体通道的光。应认识到,光检测元件阵列可以按其他方式被配置成检测来自不同流体通道的光。
根据一实施例,该系统进一步包括用于将激发光从光束中移除并使光束引发的荧光通过的滤光器。
这意味着该系统被适配成用于荧光测量。滤光器由此可防止任何激发光到达光检测元件阵列,以使得该激发光不会干扰荧光测量。
根据一实施例,该系统进一步包括处理单元,该处理单元被配置成接收由光检测元件阵列记录的光强度序列并组合接收到的序列以用于形成二维粒子图像,所记录的光强度序列是在粒子移动通过流体通道时获取的。
光检测元件阵列可获取粒子的切片或横截面的图像。由该阵列获取的图像序列(诸如由一维阵列获取的线序列)由此可由处理单元组合以形成二维图像。
根据第三方面,提供了一种用于粒子成像的方法,所述方法包括:照亮移动通过流体通道的粒子,所述粒子通过光束照亮,所述光束形成片状形状以使得在所述流体通道内的一位置所述光束具有在第一方向上具有大延伸且在第二方向上具有小延伸的横截面,所述大延伸大于所述粒子的尺寸,且所述小延伸小于粒子的尺寸;由光检测元件阵列来接收与所述流体通道中的粒子相互作用的光束所引发的光以使得每一个光检测元件检测源自所述流体通道中的对应位置的光;由该阵列中的每一个光检测元件来记录接收到的光强度以用于形成所述粒子的一部分的图像信息。
该第三方面的效果和特征在很大程度上类似于上文结合第一和第二方面所描述的那些效果和特征。所提及的与第一和第二方面相关的各实施例在很大程度上与第三方面相兼容。
根据该方法,照明光束的片状形状控制流体通道的被照亮的部分。然后,使用光检测元件阵列来检测光强度并且对流体通道的被照亮的部分进行成像。光检测元件阵列可允许例如通过包括单排或数排光检测元件来非常快速地读出。这意味着粒子的一部分可以按非常快的方式成像。因此,该方法允许通过流体通道的高流速,同时允许该流体通道中的粒子被成像。
该方法可用于如以上讨论的全息摄影成像,其中光检测元件阵列可基于被衍射和未被衍射的光来检测干涉图案。然而,根据一替代方案,该方法可用于检测由透镜聚焦到光检测元件阵列的光。
由此,根据第三方面的实施例,提供了一种用于粒子成像的方法,所述方法包括:照亮移动通过流体通道的粒子,所述粒子通过光束照亮,所述光束形成片状形状以使得在所述流体通道内的一位置所述光束具有在第一方向上具有大延伸且在第二方向上具有小延伸的横截面,所述大延伸大于所述粒子的尺寸,且所述小延伸小于粒子的尺寸;由透镜来接收与所述流体通道中的粒子相互作用的光束所引发的光并将接收到的光会聚到光检测元件阵列,以使得每一个光检测元件检测源自所述流体通道中的对应位置的光;由该阵列中的每一个光检测元件来记录接收到的光强度以用于形成所述粒子的一部分的图像信息。
根据一实施例,该方法进一步包括在粒子移动通过流体通道时获取所记录的光强度序列并组合接收到的序列以用于形成粒子的二维图像。
从光检测元件阵列的每一帧(或行)读出可提供粒子的一部分的图像信息。通过针对多个连续帧拼接图像信息,可以形成整个粒子的图像。
对所记录的光强度序列的获取可以与通过流体通道的流速同步。由此,由该阵列获取的顺序帧(或行)可表示粒子的相邻部分。
附图说明
通过以下参考附图的说明性和非限制性的详细描述,将更好地理解本发明构思的以上以及其他目的,特征和优点。在附图中,除非另有说明,否则相似的附图标记将用于相似的元件。
图1a是根据第一实施例的用于粒子成像的系统的示意图。
图1b是根据第二实施例的用于粒子成像的系统的示意图。
图1c是示出根据第一实施例的用于粒子成像的系统中的共焦成像的示意图。
图1d是用于实现共焦成像的阻挡元件的示意图。
图1e是根据第二实施例的用于使用全息摄影来进行粒子成像的系统的示意图。
图1f是将用于离轴全息成像的光束的示意图。
图2是示出移动通过流体通道的细胞的成像的示意图。
图3a-c是示出流体通道中的光束的形状的示意图。
图4是根据第三实施例的用于粒子成像的系统的示意图。
图5是根据第四实施例的用于粒子成像的系统的示意图。
图6是用于粒子成像的方法的流程图。
具体实施方式
现在参照图1a,将描述用于粒子成像的系统100。该系统包括用于照亮粒子的设备110、用于会聚已经与粒子相互作用的光的透镜120、以及用于检测接收到的光强度的光检测元件132的阵列130。
将在以下更详细地描述的用于照亮粒子的设备110可包括被布置在衬底114上的光波导112以及也被布置在该衬底上的流体通道116。携带粒子的流体流可传输通过流体通道116。光波导112可以设置有输出耦合器118,该输出耦合器用于从光波导112中形成光束并将该光束定向至流体通道116。
设备110可进一步包括用于将光接收到光波导112中的输入耦合器119。输入耦合器119可被配置成接收来自外部光源140的光并且可被配置成将来自光源140的光耦合到光波导112中。可以在输入耦合器119之下布置反射镜以用于改善光到光波导112中的耦合。
光源140可以是激光,该激光可促成从光波导中提供明确限定的光束。
光源140可以与对准机构相关联,该对准机构用于将入射光束的位置和角度调整至输入耦合器119以确保耦合损耗被最小化或减少。
输出耦合器118可被配置成使得具有片状形状的光束150可被形成在流体通道116中。光束150由此可选择流体通道116中的将被照亮的部分。
输入耦合器119和输出耦合器118各自可由光栅形成。这可使得能够使光转向,并且还可促成离开耦合器的光束成形。然而,应认识到,输入耦合器119和输出耦合器118可由其他结构形成。例如,至少输入耦合器119可由反射表面形成,该反射表面可使得来自外部光源140的光转向至光波导112。
光束150可形成通过流体通道116的薄片,该薄片与流体通道116的纵向方向成一角度。例如,该薄片可以垂直于流体通道116的纵向方向。片状形状可具有在流体通道的侧壁之间延伸的第一方向以使得该第一方向限定光束的宽度。该宽度可以大于粒子尺寸,并且可被布置在流体通道116的侧壁之间的中心部分中。这意味着光束150将不会与流体通道的侧壁相互作用,这原本可能导致对粒子成像的干扰。
通过流体通道116中的光束150进行照明意味着流动通过流体通道116的粒子将穿过光束150的薄片,并且该粒子的整个宽度(如在流体通道的侧壁之间延伸)将被光束150照亮。光束150的薄片在垂直于第一方向的第二方向上还可以是非常薄的,该第二方向可以沿着流体通道116的纵向方向。
光束150的厚度由此可选择由光束150在一时刻成像的粒子横截面。然而,应认识到,光束150的厚度可以更粗厚,甚至超过粒子尺寸。这可意味着对流体通道116的被照亮的部分的选择不是非常详细的,并且可以只提供粗糙的粒子成像,主要允许沿着光束150的第一方向的细节被辨别。
然而,在一实施例中,光束150的薄片可以小于粒子尺寸,并且在一些实施例中比粒子尺寸小得多。这意味着光束150可选择粒子的特定横截面。光束150的布置有助于选择粒子的将在一时间点成像的部分。
透镜120可以与其上形成光波导112和流体通道116的衬底114集成。根据另一实施例,透镜120可以在距流体通道116的一距离处被单独布置。透镜120可以是例如微型菲涅耳透镜,该微型菲涅耳透镜可特别适于被布置在衬底114上。还应认识到,透镜120可包括一起形成透镜系统的多个光学元件。
透镜120可被配置成接收由与流体通道16中的粒子相互作用的光束150引发的光。透镜120可被配置成接收被粒子定向至相对较大的立体角的光。透镜120可被进一步配置成将接收到的光会聚到图像平面。由此,源自粒子上的一点的光将被聚焦到该图像平面上的单个点上。
光检测元件132的阵列130可被布置在该图像平面中,以使得每一个光检测元件132都可接收到来自物体上的特定点的光。由此,光检测元件132的阵列可提供图像信息,这些图像信息一起形成被照亮的粒子部分的图像。
该阵列中的光检测元件132可以例如被形成为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光传感器,其中光检测元件132被配置成累积电荷或生成与接收到的光强度相关的电压。
在光检测元件132中接收到的光强度的表示可以使用读出电路134来从光检测元件132中读出。每一个光检测元件132可以与专用于该光检测元件132的对应电路相关联,以使得对光检测元件132的阵列130中的信息的读出可被非常快地执行。
光检测元件132的阵列130可以相对较小,包括单排或数排光检测元件132。这意味着每一个光检测元件132可以与专用读出电路134相关联,而不损害阵列130的所需空间分辨率。
归因于光束150被布置成选择流体通道116中的将在特定时间点成像的部分,光检测元件132的阵列130可以配置有简单结构以使得能够非常快地读出阵列130中的图像信息。这还意味着可以在流体通道116中使用高吞吐量。
读出电路134可以被连接到处理单元136以处理阵列130获取的图像信息。读出电路134可包括模数转换器(ADC),例如与每一个光检测元件132相关联的一个ADC。由此,处理单元136可接收所检测到的光强度的数字表示,这可促成对图像信息的处理。
处理单元136可以用硬件实现或者被实现为软件和硬件的任何组合。处理单元136的功能的至少一部分可以例如被实现为在通用计算机上执行的软件。系统100由此可包括诸如中央处理单元(CPU)之类的一个或多个处理单元,该一个或多个处理单元可执行一个或多个计算机程序的指令以实现所需功能。
处理单元136可替换地被实现为被布置在例如嵌入式系统的固件,或者被实现为专门设计的处理单元,诸如专用集成电路(ASIC)或场可编程门阵列(FPGA)。
系统100可被实现为提供预定义分析装置的分析装备,其中该系统100的组件相互之间以明确定义和预设的关系来被布置。这意味着用于照亮粒子的设备110、透镜120和光检测元件132的阵列130可被安装在共同的壳体160或布置中,以使得提供具有设备110、透镜120和阵列130之间的正确关系的准备好的装备。该准备好的装备由此可被制造并以即用状态被交付给用户。当将要使用该装备时,用户只需将要分析的流体引至流体通道116中以允许该装备开始分析流体通道116中的粒子。
然而,应认识到,系统100可由终端用户基于适于在该系统110中使用的部件来设置。由此,用户可收到在用于照亮粒子的设备110的衬底114上具有或不具有集成透镜120的设备110。用户然后可使用常规光学器件和阵列130(诸如光检测元件132的一维阵列130)来设置系统100以用于粒子成像。
系统100可用于获取明场、暗场和/或荧光图像。系统100的设置可以例如相对于光束150与滤光器组170的角度来被适配成进行相应类型的成像。
可以在照明光束150由透镜120在照亮粒子后采集时获取明场图像。
可以在照明光束150倾斜或者阵列130以某种方式被布置成偏离光束150的传播方向时获取暗场图像。由此,阵列130采取侧向散射光,而非主要的照明光束150。
如对于暗场成像,倾斜的照明光束150也可用于荧光成像。此外,从粒子发射且由透镜120会聚的光可进一步穿过滤光器170以移除(散射的)激发光分量。
滤光器170通常可以是组合式陷波滤光器和带通滤光器滤光器170可以与设备110分开布置,以便例如被安装在壳体160中的恰当位置。
经滤光的光可由另一透镜结构(未示出)重新聚焦以将该光适当地聚焦到光检测元件132的阵列130上。
现在参照图1b,系统300可用于获取既被前向散射又被后向散射的光。另外地或另选地,可检测在流体通道116之上或之下的方向上引发的荧光。
系统300可包括透镜320、滤光器370和光检测元件332的阵列330,如上所述。此外,系统300可包括具有用于输出光束350的输出耦合器318的光波导312以及流体通道316,如上所述。
然而,系统300还可包括透镜380,该透镜被集成在衬底314上并被布置在光波导312和流体通道316之下。因此,该透镜380和光波导312被布置在与流体通道316相关的共同侧。这意味着由流体通道316中的粒子在向后方向上发射的光可由透镜380以与透镜320相似的方式接收和会聚,透镜320被布置在流体通道316的与光波导312相关的相对侧。
此外,系统300还可包括衬底上的在透镜380下的滤光器382和光检测元件386的阵列384,以确保以与如上所述的基于向后发射的光的粒子成像相似的方式检测与流体通道316中的粒子相互作用的向后方向上的光。
系统300还可包括反射镜388或者可被配置成阻挡由流体通道316中的粒子直接反射的光的其他元件。反射光的强度(例如,荧光成像中的激发波长)可以比用于粒子成像的感兴趣光高得多。因此,反射镜388可用于防止直接反射的光到达透镜380和阵列384。相比于顶部阵列330的设置(可被布置成由于光束350在流体通道中倾斜而不接收激发波长),底部阵列384可被布置成显著地更靠近流体通道316,因为阵列384可被集成在衬底314上。由此,可需要反射镜388以使得荧光能够不被淹没在高强度的反射光中。
系统300可包括用于从两侧对流体通道316中的粒子进行成像的顶部检测器330和底部检测器384。
处理单元336可被配置成从两个阵列330、384接收图像信息以处理阵列330、384获取的图像信息。这可用于基于从粒子上方和下方获取的图像信息来形成两张粒子图像或者组合成单个图像表示。
应认识到,系统300根本无需包括顶部检测器330,而是只检测来自流体通道316中的粒子的向后方向上的光。
还应认识到,透镜380、滤光器382和光检测元件386的阵列384中的一者或多者不一定被集成在衬底上。相反,如果衬底是透明的,则向后方向上的光可逸出衬底,并且可允许与衬底分开安装透镜380、滤光器382和阵列384中的任一者。
现在参照图1c,系统100和/或系统3000可被设置成用于共焦成像。尽管在此仅仅就前向散射光的检测进行阐述,但应认识到共焦成像也可用于检测后向散射光,如以上参照图1b讨论的。另外地或另选地,可检测在流体通道116、316之上或之下的方向上引发的荧光。
在图1c中,系统100是相关于流体通道116的纵长横截面示出的,这意味着只示出了与所示特定横截面相关联的单个光检测元件132。
系统100可以包括限定窄狭缝192的阻挡元件190,该窄狭缝用于使光通过并朝向光检测元件阵列以提供共焦成像。
阻挡元件190的实施例在图1d中透视地示出。阻挡元件190可由其中提供狭缝192的薄片形成,光可以穿过该狭缝朝着光检测元件132的阵列130传递。
如图1c所示,在透镜120的焦点之外的光(如由点线示出)将被阻挡元件190阻挡,而来自透镜120的焦点的光将穿过狭缝192以到达光检测元件132,如由虚线示出的。这意味着可由系统100提供提高的光学分辨率和/或对比度。
根据一替代方案,光检测元件132的尺寸可限定到达光检测元件132以提供共焦成像的光。由此,图1c所示的光检测元件的尺寸(即,在垂直于阵列130的这排的方向上的尺寸)可以如此小以确保透镜120的焦点之外的光不会到达光检测元件132。
现在参照图1e,系统700可用于全息摄影。由此,相比于以上讨论的系统100、300,系统700无需包括任何透镜。
相反,光检测元件732的阵列730可被配置成接收基于由粒子衍射的物体光和参考光的干涉图案。由此,光检测元件732的阵列730可获取干涉图案,该干涉图案可由读出电路734读出并被提供给处理单元736以基于所获取的干涉图案来重构粒子图像。
系统700可包括具有输出耦合器718的光波导712,该输出耦合器用于用于输出光束750并在流体通道716中提供光束750,如上所述。
如图1e所示,系统700可提供粒子的同轴数字全息摄影。
类似于该系统的上述实施例,光束750可作为聚焦光片在流体通道716中形成。光片750由此可限定在其中聚焦光片的线(其中光片的厚度是最小的)。这条线可提供粒子的一维截面。流动通过光片焦点的粒子由此被光束750剖切以使得仅仅粒子的窄横截面与该光相互作用。来自该横截面的散射/非散射光被光检测元件732的阵列730检测到。阵列730可包括与该光片对齐的单排以使得该排与该光片的聚焦线对齐。
相同的光束750可提供“参考”光以用于基于照明光的非散射部分来形成干涉图案。因此,为了获取干涉图案可只需单个光束750,该干涉图案允许重构粒子图像。这一配置提供了简易性,因为可使用单个光束750。
然而,根据一替代方案,系统700可被设置成用于离轴数字全息摄影。由此,如图1f所示,系统700可以为参考光提供单独的光路。例如,光波导712可将光分叉成两个路径并输出参考光束752,该参考光束可以不与粒子相互作用。
参考光束752可以通过单独光片形成结构来形成,诸如光波导712的单独分支中的附加输出耦合器。参考光束752不得与流体通道716中的粒子相互作用并且可以在光的阵列730上提供均匀的光分布。参考光束752例如可被形成在流体通道716的稍微外侧以使其免于与粒子相互作用。参考光束752也被定向成照亮光检测元件732的同一阵列730,该阵列730还接收来自光束750的已被粒子散射的光。由此,干涉图案可由光检测元件732的阵列730基于来自光束750的散射光以及来自参考光束752的光来获取。该干涉图案然后可用于重构粒子图像。
现在参照图2,光检测元件132的阵列130可被配置成在粒子移动通过流体通道116时获取所记录的光强度序列,而不管使用哪一个光学装置,如以上参照图1-f讨论的。由此,处理单元136可接收由阵列130检测到的光强度表示序列。所检测到的光强度的每一表示(诸如从阵列130读出的帧或行)可形成图像的一部分,并且处理单元136可被配置成组合接收到的序列以形成二维粒子图像。
如图2所示,示出了沿着流动方向A流动通过流体通道116的细胞200的俯视图,可由输入耦合器118将光束150的薄光片投射到流体通道116中。该光片照亮流动的细胞200。所引发的散射信号和/或荧光信号可由透镜120会聚并由阵列130采集,或者干涉图案可由阵列730采集。
由于光片非常薄,因此可由该光片在一时刻照亮小的细胞片段。来自该小片段的信号被阵列130获取。当阵列130快速且持续地读出时,整个细胞200在它流动通过该光片时被逐段成像。最后,可由处理单元136联接该片段序列,并由此可构造细胞图像210。
仅仅作为说明性示例,在使用透镜120的实施例中,将描述可由系统100获得的高吞吐量和空间分辨率。这些吞吐量和空间分辨率数值不应以任何方式被理解为是限制性特征,而是应仅仅用作阐明系统100可允许细胞200通过流体通道116的高吞吐量,同时允许以高空间分辨率对细胞200进行成像。
光检测元件132的阵列130可以是线扫描仪,其目前是可用的。阵列130的所需尺寸(即,该阵列130中的光检测元件132的数量)将取决于要成像的区域的大小。例如,如果光束150的宽度跨越60μm并且需要0.5μm空间分辨率,则将需要包括超过120个光检测元件132的阵列130。
考虑到放大率,光检测元件132的尺寸可能需要小于透镜系统给出的分辨率。例如,该系统的数值孔径NA可被确定为NA=n*sinθ,其中n是透镜120在其中工作的介质的折射率(如果将透镜布置在基板114上,则大约为1.5),且θ是可以进入透镜120的光锥的最大半角,即描述被透镜120接受并被聚焦到阵列130的光的角度范围。使用π/4的角度θ,数值孔径NA=1.5sin(Pi/4)≈1.06。
该系统的分辨率R可被表达为R=0.61*λ/NA,其中λ是光的波长。在600nm的光波长下,分辨率变为R=0.61×(600nm)/NA≈345.3nm。此外,使用系统放大率50,这意味着光检测元件的尺寸可能需要最大为17.26μm,这恰好在可用的线扫描仪的尺寸之内。
应当捕获并读出检测到的光强度的速率将取决于通过流体通道116的流速。由于需要短曝光时间,因此高流速还可有助于最小化图像模糊。例如,可以使用具有1MHz线扫描速率的线扫描仪。通过流体通道116的所允许的最大速度v可被表达为v=d*f,其中d是可以允许细胞200在所获取的连续线之间移动的距离,并且f是线扫描速率。在0.5μm的分辨率下,因此距离d为0.5μm,通过流体通道116的流速的最大速度v=0.5μm*1MHz=0.5m/s。这可对应于每秒10000个细胞的吞吐量,这取决于细胞大小。
然而,较低的流速可有助于提高信号质量。因此,流速可能需要在平衡成像灵敏度和清晰度的情况下进行选择。
现在参照图3a-c,将进一步描述光束150。输出耦合器118被设计成使得形成如图3a所示的薄光片以照亮流体通道116中通过的细胞200。在流体通道116中的细胞200被照亮的位置,光片可以非常薄(例如,0.5微米)。光束150可具有片状形状,该片状形状在特定高度和宽度范围内延伸,例如高度和宽度尺寸中的每一者延伸细胞200的1.5倍直径。在该片状形状内,光束可以非常薄。
参照图3b,示出了流体通道116的侧视图,光束150的片状形状的高度指代流体通道116的光入射壁和光出射壁之间的延伸。如果流体通道116被布置在光波导112上,则光入射壁将会是流体通道116的底壁,而光出射壁将会是流体通道116的顶壁。然而,如果光波导112和流体通道116被形成在共同表面上,则光入射壁和光出射壁可以是流体通道116的相对侧壁。
光束150可以相关于流体通道116倾斜,以使得光束150从流体通道116的光入射壁到光出射壁的传播方向不会分别沿着光入射壁或光出射壁的法线,如图3b中的角α所示。如果角度α不同于0°,则光束150可以被定向成远离到达阵列130,这可以是有益的,因为所检测到的光不被淹没在来自光束150的光强度直射光中。在一实施例中,角度α可以在0-45°的范围内。
参照图3c,示出了流体通道116的俯视图,光束150的片状形状的宽度指代流体通道116的不是光入射壁和光出射壁的壁之间的延伸。光束150可具有一宽度以使得细胞200的整个片段或横截面将在该细胞200穿过光束150时被光束150照亮。
光束150的片状形状的宽度可以与流体通道中的流动方向垂直地延伸。然而,该宽度不一定横切于或垂直于流动方向A,而是可以与流体通道116的纵向方向成角度β,例如在45-135°的范围内。如果角度β不同于0°,则光束150也可以被定向成远离到达阵列130,这可以是有益的,因为所检测到的光不被淹没在来自光束150的光强度直射光中。
光束可被布置成使得光束150的宽度在流体通道116的中心部分中延伸。由此,光束150可以不照亮流体通道116的靠近侧壁的部分,即流体通道116的不是光入射壁和光出射壁的壁。这可以是有利的,因为如果光与流体通道116的侧壁相互作用,则该光可影响对流体通道116中的粒子的成像。
此外,光束150的片状形状可具有垂直于光束150的宽度和高度的方向上的厚度。光束150的厚度可以基本上沿着流体通道116中的流动方向(取决于流体通道116的宽度和纵向方向之间的角度β),并由此可限定细胞200的被一次成像的片段的厚度。
应认识到,光束150的厚度可以相对较厚,例如甚至大于细胞200的直径大小,诸如大至细胞200的直径大小的数倍。这可以例如一维阵列130或者具有极少数排的阵列130相组合,这可确保一次成像细胞200的仅仅一个片段。然而,由于到达光检测元件132的来自细胞200的相邻片段(将不被成像)的光的干扰,可降低成像质量。作为替代方案,可使用相对较厚的光束150来提供对流体通道116的流动方向上的细胞200的相对粗略的成像。
对于细胞成像可能需要多色荧光图像,这可使用具有相同或更大量的发射波长的多个激发波长来实现。
现在参照图4,将描述可用于多色荧光成像的系统400。然而,系统400可用于任何类型的成像,其中使用多个光束。
系统400包括第一光波导412a和第二光波导412b。光波导各自可具有输入耦合器和输出耦合器,并且可以与两个不同的外部光源相关联。外部光源可提供不同波长的光,以使得第一光波导412a可输出第一波长的第一光束450a,并且第二光波导412b可输出不同于第一波长的第二波长的第二光束450b。光束450a、450b中的每一者可形成如以上针对光束150讨论的片状形状。
根据一个实施例,系统400可被配置成对流体通道416中的粒子进行空间差异化激发。两个光束450a、450b被布置成平行并沿着流体通道416的纵向方向照亮流体通道416的不同部分。
如果光束450a、450b被布置成彼此足够接近,则同一透镜420(如果使用透镜)可被共享以将由与粒子相互作用的光束450a、450b引发的光投射到图像平面。
由于两个光束450a、450b在沿着流体通道416的两个不同位置照亮粒子,因此光检测元件阵列可能需要包括光检测元件432a的第一阵列430a以及光检测元件432b的第二阵列430b。阵列430a、430b中的每一者可包括例如一维阵列,并且可以按如以上针对阵列130讨论的任何方式配置。
第一阵列430a由此可检测第一光束450a引发的光,并且第二阵列430b由此可检测第二光束450b引发的光。阵列430a、430b可被配置成将图像信息输出到共同的处理单元436或者各自处理来自单个阵列430a、430b的信息的两个不同的处理单元。两个阵列430a、430b所获取的图像信息可被组成和单个图像,例如作为该单个图像内的两个不同的色彩通道。
现在参照图5,将描述可用于多色荧光成像的另一系统500。然而,系统500可用于任何类型的成像,其中使用多个光束。
系统500也包括第一光波导512a和第二光波导512b。光波导各自可具有输入耦合器和输出耦合器,并且可以与两个不同的外部光源相关联。外部光源可提供不同波长的光,以使得第一光波导512a可输出第一波长的第一光束550a,并且第二光波导512b可输出不同于第一波长的第二波长的第二光束550b。光束550a、550b中的每一者可形成如以上针对光束150讨论的片状形状。
系统500可被配置成在流体通道516中的共同位置激发该流体通道516中的粒子。两个光束550a、550b被布置成从空间上分隔开的光波导512a、512b朝向彼此倾斜,以使得光束550a、550b将彼此相交,例如在流体通道516的光入射壁和光出射壁之间的中心部分中彼此相交。
由于粒子的激发在流体通道516中的共同位置处发生,因此光束550a、550b引发的光可由透镜520投射到图像平面中的共同平面。
这意味着光检测元件532的单个阵列530可足以检测光束550a、550b引发的光。
无论使用系统400还是系统500,因为多个发射波长可被投射向光检测元件的(诸)阵列430a、430b;530,因此可能需要多色滤光器470;570来移除激发波长分量并使得发射光束分隔开。
将由光检测元件的(诸)阵列430a、430b;530检测的发射光束可以在空间或时间上分隔开。在使用衍射透镜的情况下,不同波长的发射光可被投射向不同角度并最终被光检测元件的不同阵列检测到。由此,在系统500中可使用衍射透镜来使得光束550a、550b所引发的发射光束分隔开,并使得能够在同一阵列(具有转用于每一个发射光束的各排)中或甚至在不同阵列中单独地检测发射光束。
替换地,还可采用典型的分束技术来将多色发射光投射到不同阵列。
根据另一实施例,激发光束550a、550b可以在时域上分隔开。该时间上的分隔可以与光检测元件阵列对发射光束的滤波和检测同步。
例如,多个滤色镜之间的切换可以在该多个滤色镜被安装在旋转盘上时被非常快地执行。滤色镜切换信号可触发多个光束550a、550b两者的输出以切换开/关,并且可触发光检测元件532的阵列530检测光。激发光的开/关切换可以例如由脉冲式激光器或者由微机电系统镜或声调制器来实现。
根据上述任一实施例的系统可被进一步配置成用于并行粒子成像。由此,可提供多个流体通道以使得该多个流体通道中的粒子的成像可被同时执行。
由此,可以在共同衬底上提供多个等同的系统。每一个系统可单独用于相应的流体通道中的粒子成像。
该系统由此可配备多个光波导,以使得如上所述的光束可被输出到该多个流体通道中的每一者中。
然而,光波导(针对不同的流体通道)可以与单个光源相关联,而不是作为共同衬底上的单独系统,该光源可将光输入到每一个光波导以照亮多个流体通道中的粒子。
该系统可包括单独的光检测元件阵列,这些单独的光检测元件阵列用于检测来自不同流体通道中的粒子的光。然而,根据一实施例,该系统可被设置成使得单个光检测元件阵列被用来检测源自不同流体通道的光。
在一实施例中,可提供大型一维光检测元件阵列,以使得该阵列中的不同光检测元件被配置成检测来自不同流体通道的光。在另一实施例中,可提供二维光检测元件阵列,以使得光检测元件阵列中的不同排被配置成检测来自不同流体通道的光。应认识到,光检测元件阵列可以按其他方式被配置成检测来自不同流体通道的光。
现在参照图6,将描述用于粒子成像的方法。该方法可使用上述系统100、300、400、500、700中的任一者来执行。
该方法包括照亮602移动通过流体通道的粒子。该粒子通过形成如上所述的片状形状的光束来照亮。由此,粒子照明可选择粒子的正被照亮并因此可以在一时间点成像的部分。
该方法进一步包括由光检测元件阵列来接收604与流体通道中的粒子相互作用的光束所引发的光。该光可以通过或不通过透镜,该透镜可将接收到的光会聚到光检测元件阵列以使得每一个光检测元件检测源自流体通道中的对应位置的光。
该方法进一步包括由该阵列中的每一个光检测元件来记录606接收到的光强度以形成粒子的一部分的图像信息。
每一个光检测元件可以与读出电路相关联以使得由光检测元件检测到的光强度可以按非常快的方式读出。归因于光束照明被布置成选择流体通道中的将在特定时间点成像的部分,光检测元件阵列可以配置有简单结构以使得能够非常快地读出该阵列中的图像信息。
因此,粒子的片段可以在一时间点成像,并且该方法可允许流体通道中的高流速,同时仍允许粒子的使光通过的每一个顺序片段由该阵列成像。这还意味着可以在流体通道中使用高吞吐量。
该方法可进一步包括在粒子移动通过流体通道时获取608所记录的光强度序列。
此外,该方法可包括组合610所记录的光强度的所获取的序列。序列中的所记录的每一组光强度可对应于表示粒子片段的图像信息。由此,通过组合所记录的光强度的所获取的序列,可形成粒子的二维图像。
在上文中,主要参考有限数量的示例描述了本发明构思。然而,如本领域技术人员容易理解的,在由所附权利要求书限定的本发明构思的范围内,除了上面公开的示例以外的其他示例同样是可能的。
例如,尽管用于照亮粒子的设备被描述为具有一个或两个光波导,但应认识到可使用甚至附加的光波导,其中每一个光波导可被配置成输出唯一波长。光波导可用于提供在空域或时域上分开的光束。

Claims (15)

1.一种用于照亮流体通道(116;416;516)中的粒子的设备(110),所述设备包括:
被布置在衬底(114)上的光波导(112;412a、412b;512a、512b);
输出耦合器(118),所述输出耦合器被配置成输出来自所述光波导(112;412a、412b;512a、512b)的光以形成光束(150;450a、450b;550a、550b),其中所述光束(150;450a、450b;550a、550b)形成片状形状以使得在距所述输出耦合器(118)的一距离处所述光束(150;450a、450b;550a、550b)具有在第一方向上具有大于粒子尺寸的延伸的横截面;以及
流体通道(116;416;516),其被布置在所述衬底(114)上以用于沿着所述流体通道(116;416;516)的纵向方向引导粒子流通过所述流体通道(116;416;516);
其中所述光波导(112;412a、412b;512a、512b)和所述流体通道(116;416;516)被彼此相关地布置以使得距所述输出耦合器(118)所述距离的所述光束(150;450a、450b;550a、550b)被布置在所述流体通道(116;416;516)内,其中所述光束(150;450a、450b;550a、550b)的横截面的第一方向与所述流体通道(116;416;516)的纵向方向成一角度。
2.如权利要求1所述的设备,其特征在于,所述输出耦合器(118)被配置成输出光,其中所述光束(150;450a、450b;550a、550b)具有在所述第一方向上具有大延伸而在第二方向上具有小延伸的横截面,所述小延伸小于粒子的尺寸。
3.如权利要求1或2所述的设备,其特征在于,所述光束(150;450a、450b;550a、550b)的第一方向垂直于所述流体通道(116;416;516)的纵向方向。
4.如前述权利要求中的任一项所述的设备,其特征在于,所述光束(150;450a、450b;550a、550b)的横截面的第一方向上的延伸基本上横跨所述流体通道(116;416;516)的横截面从所述流体通道(116;416;516)的第一侧壁延伸到所述流体通道(116;416;516)的与所述第一侧壁相对的第二侧壁。
5.如前述权利要求中的任一项所述的设备,其特征在于,所述光波导(112;412a、412b;512a、512b)和所述流体通道(116;416;516)被彼此相关地布置以使得来自所述输出耦合器(118)的所述光束(150;450a、450b;550a、550b)通过所述流体通道(116;416;516)的光入射壁进入所述流体通道(116;416;516)以便向所述流体通道(116;416;516)的与所述光入射壁相对的光出射壁传播,并且其中所述光束(150;450a、450b;550a、550b)具有在所述光入射壁和所述光出射壁之间的、在整个流体通道(116;416;516)中具有大延伸和小延伸的横截面。
6.如前述权利要求中的任一项所述的设备,其特征在于,所述设备(110)进一步包括被布置在所述衬底(114)上的透镜(120),其中所述透镜(120)被配置成接收由与所述流体通道(116;416;516)中的粒子相互作用的所述光束(150;450a、450b;550a、550b)引发的光并会聚接收到的光。
7.如前述权利要求中的任一项所述的设备,其特征在于,所述光波导(112;412a、412b;512a、512b)是第一光波导(412a;512a),并且所述输出耦合器(118)是被配置成形成第一光束(450a;550a)的第一输出耦合器,并且其中所述设备(110)进一步包括第二光波导(412b;512b)以及用于形成第二光束(450b;550b)的第二输出耦合器,所述第二光束(450b;550b)形成片状形状以使得在距所述第二输出耦合器一距离处,所述第二光束(450b;550b)具有在第一方向上具有大延伸且在第二方向上具有小延伸的横截面。
8.如权利要求7所述的设备,其特征在于,所述第一输出耦合器被布置成输出所述第一光束(450a;550a)以通过光入射壁在所述流体通道(416;516)的第一横截面处进入所述流体通道(416;516),并且所述第二输出耦合器被布置成输出所述第二光束(450b;550b)以通过所述光入射壁在所述流体通道(416;516)的处于所述第一横截面下游的第二横截面处进入所述流体通道(416;516)。
9.如权利要求7所述的设备,其特征在于,所述第一光束(550a)的片状形状从所述流体通道(516)的所述光入射壁到光出射壁朝向所述第二横截面倾斜,并且其中所述第二光束(550b)的片状形状从所述流体通道(516)的所述光入射壁到所述光出射壁朝向所述第一横截面倾斜,以使得所述第一光束(550a)和第二光束(550b)将在所述流体通道(516)的中心部分处相交。
10.一种用于粒子成像的系统(100),所述系统包括:
如前述权利要求中的任一项所述的用于照亮粒子的设备(110);以及
光检测元件(132;432a、432b;532)的阵列(130;430a、430b;530),其中光检测元件(132;432a、432b;532)的所述阵列(130;430a、430b;530)被配置成使得每一个光检测元件(132;432a、432b;532)检测源自所述流体通道(116;416;516)中的对应位置的光。
11.如权利要求10所述的系统,其特征在于,所述系统(100)包括如权利要求7所述的设备,所述设备包括第一光波导(412a;512a)和第二光波导(412b;512b),其中光检测元件(132;432a、432b;532)的阵列(130;430a、430b;530)是第一阵列(430a),并且所述系统(100)进一步包括光检测元件(432b)的第二阵列(430b),其中所述第一阵列(430a)被配置成接收由与所述流体通道(416)中的粒子相互作用的所述第一光束(450a)引发的光,并且所述第二阵列(430b)被配置成接收由与所述流体通道(416)中的粒子相互作用的所述第二光束(450b)引发的光。
12.如权利要求10或11所述的系统,其特征在于,进一步包括滤光器(170;470;570),所述滤光器(170;470;570)用于从所述光束(150;450a、450b;550a、550b)中移除激发光并使得由所述光束(150;450a、450b;550a、550b)引发的荧光通过。
13.如权利要求10-12中的任一项所述的系统,其特征在于,进一步包括处理单元(136),所述处理单元(136)被配置成接收由所述光检测元件(132;432a、432b;532)的所述阵列(130;430a、430b;530)记录的光强度序列,并组合接收到的序列以用于形成所述粒子的二维图像,所记录的光强度序列是在所述粒子移动通过所述流体通道(116;416;516)时获取的。
14.一种用于粒子成像的方法,所述方法包括:
照亮(602)移动通过流体通道(116;416;516)的粒子,所述粒子通过光束(150;450a、450b;550a、550b)照亮,所述光束(150;450a、450b;550a、550b)形成片状形状以使得在所述流体通道(116;416;516)内的一位置处,所述光束(150;450a、450b;550a、550b)具有在第一方向上具有大延伸而在第二方向上具有小延伸的横截面,所述大延伸大于所述粒子的尺寸,而所述小延伸小于所述粒子的尺寸;
由光检测元件(132;432a、432b;532)的阵列(130;430a、430b;530)接收(604)由与所述流体通道(116;416;516)中的粒子相互作用的所述光束(150;450a、450b;550a、550b)引发的光,以使得每一个光检测元件(132;432a、432b;532)检测源自所述流体通道(116;416;516)中的对应位置的光;
由所述阵列(130;430a、430b;530)中的所述光检测元件(132;432a、432b;532)中的每一者来记录(606)接收到的光强度以形成所述粒子的一部分的图像信息。
15.如权利要求14所述的方法,其特征在于,进一步包括在所述粒子移动通过所述流体通道(116;416;516)时获取(608)所记录的光强度序列,并组合(610)接收到的序列以用于形成所述粒子的二维图像。
CN201880083259.3A 2017-12-22 2018-12-19 用于照亮粒子的设备以及用于粒子成像的系统和方法 Active CN111512141B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17210475.4 2017-12-22
EP17210475 2017-12-22
PCT/EP2018/085719 WO2019121836A1 (en) 2017-12-22 2018-12-19 A device for illuminating a particle, and a system and a method for particle imaging

Publications (2)

Publication Number Publication Date
CN111512141A true CN111512141A (zh) 2020-08-07
CN111512141B CN111512141B (zh) 2023-09-26

Family

ID=60811944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880083259.3A Active CN111512141B (zh) 2017-12-22 2018-12-19 用于照亮粒子的设备以及用于粒子成像的系统和方法

Country Status (4)

Country Link
US (1) US11307133B2 (zh)
EP (1) EP3729052B1 (zh)
CN (1) CN111512141B (zh)
WO (1) WO2019121836A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3988921A1 (en) * 2020-10-23 2022-04-27 Sysmex Corporation Flow cytometer and method of flow cytometry

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685213A (zh) * 2002-10-07 2005-10-19 英国国防部 波导结构
CN101072997A (zh) * 2003-08-14 2007-11-14 塞通诺米公司 用于粒子分类系统的光学检测器
CN101189502A (zh) * 2005-06-06 2008-05-28 粒子监测系统有限公司 具有改进的图像传感器阵列的粒子计数器
CN102472702A (zh) * 2009-07-07 2012-05-23 索尼公司 微流体装置
CN203337547U (zh) * 2013-06-27 2013-12-11 中国科学院苏州生物医学工程技术研究所 一种紧凑型单光源多通道流式分析仪
CN103492585A (zh) * 2011-04-06 2014-01-01 即时生物检测有限公司 微生物检测装置和方法
CN103558665A (zh) * 2013-11-15 2014-02-05 上海理工大学 光波导脉冲耦合器及其制造方法
US8941062B2 (en) * 2010-11-16 2015-01-27 1087 Systems, Inc. System for identifying and sorting living cells
WO2017055290A1 (en) * 2015-09-28 2017-04-06 Politecnico Di Milano Optofluidic device
CN106796322A (zh) * 2014-09-09 2017-05-31 贺利氏石英玻璃股份有限两合公司 具有沿纤芯中心的中空通道以用于接收样本的光纤
CN107111066A (zh) * 2014-12-29 2017-08-29 Imec 非营利协会 用于执行无透镜成像的设备和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249341B1 (en) 1999-01-25 2001-06-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
WO2018054852A1 (en) 2016-09-22 2018-03-29 Imec Vzw Particle detection using thin lenses

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685213A (zh) * 2002-10-07 2005-10-19 英国国防部 波导结构
CN101072997A (zh) * 2003-08-14 2007-11-14 塞通诺米公司 用于粒子分类系统的光学检测器
CN101189502A (zh) * 2005-06-06 2008-05-28 粒子监测系统有限公司 具有改进的图像传感器阵列的粒子计数器
CN102472702A (zh) * 2009-07-07 2012-05-23 索尼公司 微流体装置
US8941062B2 (en) * 2010-11-16 2015-01-27 1087 Systems, Inc. System for identifying and sorting living cells
CN103492585A (zh) * 2011-04-06 2014-01-01 即时生物检测有限公司 微生物检测装置和方法
CN203337547U (zh) * 2013-06-27 2013-12-11 中国科学院苏州生物医学工程技术研究所 一种紧凑型单光源多通道流式分析仪
CN103558665A (zh) * 2013-11-15 2014-02-05 上海理工大学 光波导脉冲耦合器及其制造方法
CN106796322A (zh) * 2014-09-09 2017-05-31 贺利氏石英玻璃股份有限两合公司 具有沿纤芯中心的中空通道以用于接收样本的光纤
CN107111066A (zh) * 2014-12-29 2017-08-29 Imec 非营利协会 用于执行无透镜成像的设备和方法
WO2017055290A1 (en) * 2015-09-28 2017-04-06 Politecnico Di Milano Optofluidic device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENDRIK DESCHOUT 等: "On-chip light sheet illumination enables diagnostic size and concentration measurements of membrane vesicles in biofluids", vol. 6, no. 3, pages 1741 - 1747, XP055560843, DOI: 10.1039/C3NR04432G *
KATHLEEN E. BATES 等: "Optics-Integrated Microfluidic Platforms for Biomolecular Analyses", vol. 110, no. 110, pages 1684 - 1697, XP055560852, DOI: 10.1016/j.bpj.2016.03.018 *

Also Published As

Publication number Publication date
WO2019121836A1 (en) 2019-06-27
US11307133B2 (en) 2022-04-19
EP3729052B1 (en) 2022-03-16
EP3729052A1 (en) 2020-10-28
CN111512141B (zh) 2023-09-26
US20210364409A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US11372223B2 (en) High-resolution scanning microscopy
JP5160158B2 (ja) 画像化システム及びその方法
US9864182B2 (en) High-resolution scanning microscopy
JPH08338807A (ja) 分光装置
JP2001500986A (ja) 微小画像結像システム
US7826049B2 (en) Inspection tools supporting multiple operating states for multiple detector arrangements
JP2016500849A (ja) 光学顕微鏡および顕微鏡観察方法
KR20140027113A (ko) 도광 픽셀
JP2003520954A (ja) 細胞などの小移動物体の撮像・分析パラメータ
JP2019532360A (ja) 顕微鏡の検出光のための光学グループ、顕微鏡法のための方法、及び顕微鏡
US8633432B2 (en) Reflective focusing and transmissive projection device
JP2007528028A (ja) 異なる焦点に合わせられた画像を生成する光学システム
JPH0743307A (ja) イメージングフローサイトメータ
US11041756B2 (en) Method and apparatus of filtering light using a spectrometer enhanced with additional spectral filters with optical analysis of fluorescence and scattered light from particles suspended in a liquid medium using confocal and non confocal illumination and imaging
JP2014524589A (ja) 照明アレイを備えるレーザ走査顕微鏡
US7190514B2 (en) Confocal scanning microscope
KR20230128002A (ko) 스캐닝 산란 계측 오버레이 측정
CN111512141B (zh) 用于照亮粒子的设备以及用于粒子成像的系统和方法
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
CN107907521A (zh) 微流控检测系统
JPH0224535A (ja) 粒子解析装置
JP2009533700A (ja) 複数のシャッタ素子を備えた画像化装置
CA2401614C (en) Imaging and analyzing parameters of small moving objects such as cells
WO2023248561A1 (ja) 生体試料分析システム、及び生体試料分析方法
EP4116777A1 (en) An imaging system and a method for imaging a sample

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant