CN112816447B - 基于二维频率空间编码的多光子激发成像系统及成像方法 - Google Patents
基于二维频率空间编码的多光子激发成像系统及成像方法 Download PDFInfo
- Publication number
- CN112816447B CN112816447B CN202011615956.4A CN202011615956A CN112816447B CN 112816447 B CN112816447 B CN 112816447B CN 202011615956 A CN202011615956 A CN 202011615956A CN 112816447 B CN112816447 B CN 112816447B
- Authority
- CN
- China
- Prior art keywords
- frequency
- excitation
- dimensional
- frequency space
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6419—Excitation at two or more wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种基于二维频率空间编码的多光子激发成像系统及成像方法,二维偏转装置通过改变第一激发光束的偏转角度,形成二维频率空间编码激光束点阵。二维频率空间编码激光束点阵中,每一个激光束点对应的光束载波频率与其它激光束点对应的光束载波频率之间存在射频偏移。移频装置对第二激发光束的载波频率进行频率偏移,用以将第二激发光束频率进行的频率偏移量位于射频段内的频率偏移量。通过移频装置可以对第二激发光束的频率进行调节,起到抑制低频和零频的作用。通过二维频率空间编码激光束点阵与移频光束形成的组合光束,可以实现对样品内不同位置处的荧光团进行点阵式的激发,解决了传统生物荧光成像系统的成像速度偏低的问题。
Description
技术领域
本发明涉及生物荧光成像技术领域,特别是涉及一种基于二维频率空间编码的多光子激发成像系统及成像方法。
背景技术
生物荧光成像技术在生物医学领域具有广泛的应用,如获取细胞的形貌特征、细胞化学特性、细胞物质分布特性,研究细胞内、细胞间的物质交换的动态过程。生物荧光成像过程通过激发生物样品不同位置处的荧光团,并收集对应位置处的荧光信号来重构生物样品的荧光图像。
然而,传统的生物荧光成像系统对于采集生物样品中荧光团标记的物质的高速动态过程仍具有不小的挑战性。传统的生物荧光成像系统中采用的逐点扫描或者逐线扫描激发生物样品内的荧光团的方式重构样品的荧光图像,使得传统生物荧光成像系统的成像速度偏低。
发明内容
基于此,有必要提供一种成像速度高的基于二维频率空间编码的多光子激发成像系统及成像方法。
一种基于二维频率空间编码的多光子激发成像系统。所述基于二维频率空间编码的多光子激发成像系统包括激光发射装置、第一偏振分束装置、二维偏转装置、移频装置以及合束装置。所述激光发射装置用于发出脉冲激发光束。所述第一偏振分束装置用于将所述脉冲激发光束进行分束,形成第一激发光束与第二激发光束。所述二维偏转装置用于改变所述第一激发光束的偏转角度,形成二维频率空间编码激光束点阵。所述移频装置用于对所述第二激发光束进行移频,形成移频光束。所述合束装置用于将所述二维频率空间编码激光束点阵与所述移频光束进行空间叠加,形成组合光束。所述组合光束照射至样品用于激发所述样品内的荧光团,产生多个荧光信号。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括第一中继光学组件与第二中继光学组件。所述第一中继光学组件用于改变所述二维频率空间编码激光束点阵的传输方向,引导所述二维频率空间编码激光束点阵至所述合束装置。所述第二中继光学组件用于改变所述移频光束的传输方向,引导所述移频光束至所述合束装置。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括射频信号发生装置。所述射频信号发生装置用于产生射频调制信号。所述二维偏转装置与所述射频信号发生装置连接,用于根据所述射频调制信号,将所述第一激发光束转换成所述二维频率空间编码激光束点阵。所述移频装置与所述射频信号发生装置连接,用于根据所述射频调制信号对所述第二激发光束进行移频。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括第二偏振分束装置与光电监控装置。所述第二偏振分束装置用于将所述组合光束进行分束,形成第一子组合光束与第二子组合光束。所述光电监控装置用于监控所述第一子组合光束的强度分布信息与时频信息。所述第二子组合光束照射至所述样品用于激发所述样品内的荧光团产生所述多个荧光信号。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括照明光学组件。所述照明光学组件用于接收所述第二子组合光束。经所述照明光学组件后的所述第二子组合光束照射至所述样品。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括探测装置与成像装置。所述探测装置包括多个点探测器,用于并行探测所述多个荧光信号,并将所述多个荧光信号转换为一一对应的多个电信号。所述成像装置用于对所述多个电信号进行荧光成像处理,重构所述样品的荧光图像。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括滤波装置。所述滤波装置用于对所述组合光束中未被吸收的光束进行过滤,使得所述多个荧光信号传输至所述探测装置。
在一个实施例中,所述第二中继光学组件包括第一半波片、第一反射镜、第二半波片与扩束镜。所述第一半波片用于对所述移频光束的方向进行改变。所述第一反射镜用于对经所述第一半波片后的所述移频光束进行反射。所述第二半波片用于对经所述第一反射镜后的所述移频光束的方向进行改变。所述扩束镜用于对经所述第二半波片后的所述移频光束的光斑面积进行放大。经所述扩束镜后的所述移频光束传输至所述合束装置。
在一个实施例中,所述第一中继光学组件包括第二反射镜与第一凸透镜。所述第二反射镜用于对所述二维频率空间编码激光束点阵进行反射。所述第一凸透镜用于对经所述第二反射镜后的所述二维频率空间编码激光束点阵进行会聚。经所述第一凸透镜后的所述二维频率空间编码激光束点阵传输至所述合束装置。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统还包括第三中继光学组件。所述第三中继光学组件用于改变所述脉冲激发光束的传输方向,引导所述脉冲激发光束至所述第一偏振分束装置。
在一个实施例中,所述第三中继光学组件包括第二凸透镜、第三凸透镜、第三反射镜以及第三半波片。所述第二凸透镜用于对所述脉冲激发光束进行会聚。所述第三凸透镜用于对经所述第二凸透镜后的所述脉冲激发光束进行会聚。所述第三反射镜用于对经所述第三凸透镜后的所述脉冲激发光束进行反射。所述第三半波片用于对经所述第三反射镜后的所述脉冲激发光束的方向进行改变。经所述第三半波片后的所述脉冲激发光束传输至所述第一偏振分束装置。
在一个实施例中,本申请提供一种基于二维频率空间编码的多光子激发成像方法。所述基于二维频率空间编码的多光子激发成像方法采用上述实施例中任一项所述基于二维频率空间编码的多光子激发成像系统进行成像。
上述基于二维频率空间编码的多光子激发成像系统,所述激光发射装置发出的所述脉冲激发光束具有适合于激发至少一个荧光团的中心频率,可以激发所述样品内的荧光团,以产生荧光信号。所述脉冲激发光束包括本地振荡器光束,即所述第一激发光束与所述第二激发光束都包括本地振荡器光束。
请参阅图2,所述二维偏转装置通过改变所述第一激发光束的偏转角度,形成所述二维频率空间编码激光束点阵。所述二维频率空间编码激光束点阵中,每一个激光束点对应的光束载波频率与其它激光束点对应的光束载波频率之间存在射频偏移,也可以理解为所述二维频率空间编码激光束点阵中各个激光束点的光束载波频率都不相同。此时,所述二维频率空间编码激光束点阵中激光束点的位置可以由对应光束载波频率与本地振荡器光束的载波频率(未经过所述二维偏转装置之前的所述第一激发光束)之间的相对频率偏移量(相对频移量)所决定。
所述移频装置对所述第二激发光束的载波频率进行频率偏移,用以将所述第二激发光束频率进行的频率偏移量位于射频段内的频率偏移量,以方便后续进行探测分析。此时,通过所述移频装置可以对所述第二激发光束的频率进行调节。从而,当所述合束装置将所述二维频率空间编码激光束点阵与所述移频光束进行空间叠加形成所述组合光束时,起到抑制低频和零频的作用。
所述合束装置接收所述二维频率空间编码激光束点阵与所述移频光束,并通过光束的空间叠加,形成所述组合光束。所述样品为生物样品,至少部分与荧光团相关联,从而使得所述组合光束通过多光子激发所述样品不同位置处的荧光团,以产生多个荧光信号。
通过所述二维频率空间编码激光束点阵与所述移频光束形成的所述组合光束,可以实现对所述样品内不同位置处的荧光团进行点阵式的激发。此时,所述组合光束中所述二维频率空间编码激光束点阵照射的所述样品的每一个荧光团位置产生的荧光辐射(荧光信号),会形成所述二维频率空间编码激光束点阵与所述移频光束之间的载波频率差所决定的荧光辐射拍频信号,进而可以获知所述样品的相关信息。
因此,通过所述基于二维频率空间编码的多光子激发成像系统,可以实现对所述样品内不同位置处的荧光团进行点阵式的激发,可以一次实现对多个荧光团进行激发。从而,解决了传统生物荧光成像系统采用逐点扫描或者逐线扫描激发生物样品内的荧光团方法导致的成像速度偏低的问题,提高了成像速度,节省了时间。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图2为本申请提供的一个实施例中二维声光偏转器生成二维频率空间编码激光束点阵的示意图。
图3为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图4为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图5为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图6为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图7为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的荧光成像原理图。
图8为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
图9为本申请提供的一个实施例中基于二维频率空间编码的多光子激发成像系统的结构示意图。
附图标记说明:
基于二维频率空间编码的多光子激发成像系统100、激光发射装置10、第三中继光学组件110、第二凸透镜111、第三凸透镜112、第三反射镜113、第三半波片114、第一偏振分束装置20、第四半波片210、二维偏转装置30、移频装置40、合束装置50、样品60、第一中继光学组件710、第二反射镜711、第一凸透镜712、第二中继光学组件720、第一半波片721、第一反射镜722、第二半波片723、扩束镜724、凹透镜7242、第六凸透镜7241、射频信号发生装置80、第二偏振分束装置910、光电监控装置920、探测装置930、成像装置940、滤波装置950、照明光学组件960、第四凸透镜961、第一物镜962、第七凸透镜963、第二物镜970、第五凸透镜980。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一电阻称为第二电阻,且类似地,可将第二电阻称为第一电阻。第一电阻和第二电阻两者都是电阻,但其不是同一电阻。
可以理解,以下实施例中的“连接”,如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递,则应理解为“电连接”、“通信连接”等。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时,在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。
请参阅图1,本申请提供一种基于二维频率空间编码的多光子激发成像系统100。所述基于二维频率空间编码的多光子激发成像系统100包括激光发射装置10、第一偏振分束装置20、二维偏转装置30、移频装置40以及合束装置50。所述激光发射装置10用于发出脉冲激发光束。所述第一偏振分束装置20用于将所述脉冲激发光束进行分束,形成第一激发光束与第二激发光束。所述二维偏转装置30用于改变所述第一激发光束的偏转角度,形成二维频率空间编码激光束点阵。所述移频装置40用于对所述第二激发光束进行移频,形成移频光束。所述合束装置50用于将所述二维频率空间编码激光束点阵与所述移频光束进行空间叠加,形成组合光束。所述组合光束照射至样品60用于激发所述样品60内的荧光团,产生多个荧光信号。
本实施例中,所述激光发射装置10发出的所述脉冲激发光束具有适合于激发至少一个荧光团的中心频率,可以激发所述样品60内的荧光团,以产生荧光信号。所述脉冲激发光束包括本地振荡器光束,即所述第一激发光束与所述第二激发光束都包括本地振荡器光束。
请参阅图2,所述二维偏转装置30通过改变所述第一激发光束的偏转角度,形成所述二维频率空间编码激光束点阵。所述二维频率空间编码激光束点阵中,每一个激光束点对应的光束载波频率与其它激光束点对应的光束载波频率之间存在射频偏移,也可以理解为所述二维频率空间编码激光束点阵中各个激光束点的光束载波频率都不相同。此时,所述二维频率空间编码激光束点阵中激光束点的位置可以由对应光束载波频率与本地振荡器光束的载波频率(未经过所述二维偏转装置30之前的所述第一激发光束)之间的相对频率偏移量(相对频移量)所决定。
所述移频装置40对所述第二激发光束的载波频率进行频率偏移,用以将所述第二激发光束频率进行的频率偏移量位于射频段内的频率偏移量,以方便后续进行探测分析。此时,通过所述移频装置40,可以对所述第二激发光束的频率进行调节。从而,当所述合束装置50将所述二维频率空间编码激光束点阵与所述移频光束进行空间叠加形成所述组合光束时,起到抑制低频和零频的作用。
所述合束装置50接收所述二维频率空间编码激光束点阵与所述移频光束,并通过光束的空间叠加,形成所述组合光束。所述样品60为生物样品,至少部分与荧光团相关联,从而使得所述组合光束通过多光子激发所述样品60不同位置处的荧光团,以产生多个荧光信号。
通过所述二维频率空间编码激光束点阵与所述移频光束形成的所述组合光束,可以实现对所述样品60内不同位置处的荧光团进行点阵式的激发。此时,所述组合光束中所述二维频率空间编码激光束点阵照射的所述样品60的每一个荧光团位置产生的荧光辐射(荧光信号),会形成所述二维频率空间编码激光束点阵与所述移频光束之间的载波频率差所决定的荧光辐射拍频信号,进而可以获知所述样品60的相关信息。
因此,通过所述基于二维频率空间编码的多光子激发成像系统100,可以实现对所述样品60内不同位置处的荧光团进行点阵式的激发,可以一次实现对多个荧光团进行激发。从而,解决了传统生物荧光成像系统采用逐点扫描或者逐线扫描激发生物样品内的荧光团导致的成像速度偏低的问题,提高了成像速度,节省了时间。
在一个实施例中,所述样品60中的荧光团的激发方式可以为单光子激光、双光子激光、三光子激光中的一种或者多种。所述组合光束照射至所述样品60内的荧光团,产生荧光辐射(荧光信号)可以为双光子信号、三光子信号中的一种或者多种。
在一个实施例中,所述激光发射装置10为高重复率超快激光器,为近红外波段的飞秒脉冲激光器,具体地可以为半导体飞秒激光器、固体飞秒激光器、光纤飞秒激光器等。其中,所述高重复率超快激光器的输出脉冲的基频重复频率>500MHz,脉冲宽度<500fs,单脉冲能量>1nJ。所述高重复率超快激光器输出脉冲中心波长位于976nm、1064nm、1596nm或1782nm等,且输出脉冲中心波长具有20nm到400nm的波长调谐范围。
请参阅图3,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第一中继光学组件710与第二中继光学组件720。所述第一中继光学组件710用于改变所述二维频率空间编码激光束点阵的传输方向,引导所述二维频率空间编码激光束点阵至所述合束装置50。所述第二中继光学组件720用于改变所述移频光束的传输方向,引导所述移频光束至所述合束装置50。
本实施例中,通过所述第一中继光学组件710可以改变所述二维频率空间编码激光束点阵的传输方向,引导至所述移频光束至所述合束装置50进行合束。通过所述第二中继光学组件720可以改变所述移频光束的传输方向,引导至所述移频光束至所述合束装置50进行合束。此时,通过所述第一中继光学组件710与所述第二中继光学组件720对光路进行调节,使得所述基于二维频率空间编码的多光子激发成像系统100的结构更加灵活、紧凑,降低了占用空间,有利于集成。
请参阅图4,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括射频信号发生装置80。所述射频信号发生装置80用于产生射频调制信号。所述二维偏转装置30与所述射频信号发生装置80连接,用于根据所述射频调制信号,将所述第一激发光束转换成所述二维频率空间编码激光束点阵。所述移频装置40与所述射频信号发生装置80连接,用于根据所述射频调制信号对所述第二激发光束进行移频。
本实施例中,所述射频信号发生装置80可以为射频信号发生器,所述移频装置40为声光频移器,具有驱动功率低,频移量高,频率稳定,占用空间小的特点。所述射频信号发生器产生射频调制信号,并将所述射频调制信号应用于所述声光偏转器与所述声光频移器。
所述二维偏转装置30为二维声光偏转器,可以同时对所述第一激发光束进行水平方向与竖直方向的光束偏转。光束偏转的角度取决于所述射频调制信号的频率值。其中,所述二维偏转装置30可以包括同时接收水平、竖直两个方向的声光偏转器,或者由两个声光偏转器正交放置的实现二维声光偏转的组合式器件(如图2所示)。
其中,所述射频信号发生装置80产生叠加多个谐波成分的驱动信号,以此来驱动所述二维偏转装置30。所述第一激发光束经过所述二维偏转装置30之后会形成激光束点阵。因此,注入所述声光偏转器的所述射频调制信号为多个正弦信号的叠加信号,以形成所述二维频率空间编码激光束点阵(可参见图2)。此时,所述二维频率空间编码激光束点阵在Fx方向和Fy方向形成多个激光束点,每个激光束点对应一个位置,体现一个频率,如f11、f12、f13、f21、f23等。
所述声光频移器对所述第二激发光束施加的频率量位于10MHz到250MHz的频率范围内。此时,所述声光频移器根据所述射频调制信号,对所述第二激发光束施加的频率,进行移频,形成所述移频光束。
在一个实施例中,所述第二激发光束(未经过所述移频装置40)与所述移频光束(经过所述移频装置40)之间存在频率偏移量。所述二维频率空间编码激光束点阵中激光束点对应的光束载波频率与本地振荡器光束的载波频率(未经过所述二维偏转装置30之前的所述第一激发光束)之间存在频率偏移量。两者形成的频率偏移量不相同。
在一个实施例中,所述二维频率空间编码激光束点阵中,激光束点对应的光束载波频率与本地振荡器光束的载波频率(未经过所述二维偏转装置30之前的所述第一激发光束)的最大频率偏移量小于荧光团吸收光谱的半高全宽。优选地,所述二维频率空间编码激光束点阵中,激光束点对应的光束载波频率与本地振荡器光束的载波频率的频率偏移量位于10MHz到250MHz的频率范围内。所述二维频率空间编码激光束点阵中,相邻激光束点之间对应的光束载波频率差位于0.01MHz到4MHz之间。
请参阅图5,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第二偏振分束装置910与光电监控装置920。所述第二偏振分束装置910用于将所述组合光束进行分束,形成第一子组合光束与第二子组合光束。所述光电监控装置920用于监控所述第一子组合光束的强度分布信息与时频信息。所述第二子组合光束照射至所述样品60用于激发所述样品60内的荧光团产生所述多个荧光信号。
本实施例中,所述第二偏振分束装置910与所述第一偏振分束装置20为偏振分束器。在使用声光频移器与声光偏转器进行激光束调制和偏转的场合,需要注意激光束的偏振方向。通过所述第二偏振分束装置910与所述第一偏振分束装置20为偏振分束器的设置,以此来指定各偏振的激光束,可以避免偏振方向的改变导致的衍射效率降低的问题。
所述光电监控装置920为电荷耦合元件及常见光电探测器,用于分别监控所述第一子组合光束的强度分布信息及时频信息。并以所述第一子组合光束作为参考光束,实现对照射至所述样品60的所述第二子组合光束进行监控。
请参阅图6,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括探测装置930与成像装置940。所述探测装置930包括多个点探测器,用于并行探测所述多个荧光信号,并将所述多个荧光信号转换为一一对应的多个电信号。所述成像装置940用于对所述多个电信号进行荧光成像处理,重构所述样品60的荧光图像。
本实施例中,所述探测装置930包括多个点探测器,通过多个点探测器分别并行探测所述多个荧光信号,进而实现对所述多个荧光信号进行光电转换。由于多个不同的荧光信号分别被不同的频率进行了标记,所以不同位置处的荧光信号可以在后续的频域处理过程中,用以区分不同位置处的荧光强度,实现频率强度-空间荧光强度的映射过程。因此,通过多个点探测器并行探测所述多个荧光信号,可以获取所述多个荧光信号的信息,加速读取光电信号的过程,缩短探测时间。具体地,所述点探测器可以为雪崩光电二极管、光电倍增管等。通过所述探测装置930完成时域荧光信号的生成过程。其中,所述光电探测器的带宽需要有效覆盖所述射频调制信号内所有的频率成分,带宽位于1Hz到1GHz的频率范围内。所述成像装置940可以为微控制单元、计算机等。
所述第二子组合光束照射至所述样品60,可以实现对所述样品60内不同位置处的荧光团进行点阵式的激发,产生所述多个荧光信号(荧光辐射)。通过所述探测装置930对所述样品60内不同位置处的荧光团产生的荧光辐射进行接收,并将转换成一一对应的多个电信号(时域荧光信号)。所述成像装置940接收所述多个电信号(时域荧光信号),并对所述多个电信号(时域荧光信号)进行荧光成像处理、完成频率空间映射成像过程,生成所述样品60对应的荧光图像。
所述成像装置940对所述电信号(时域荧光信号)进行傅里叶变换,实现对所述电信号(时域荧光信号)的频率解复用,以确定所述荧光辐射拍频信号(所述二维频率空间编码激光束点阵与所述移频光束之间的载波频率差决定)。同时,通过所述荧光辐射拍频信号,可以与所述二维频率空间编码激光束点阵的二维空间位置进行关联,实现荧光信号频域强度到荧光信号二维空间强度的映射过程,从而生成所述样品60对应的荧光图像。所述荧光辐射拍频信号的频率差取决于所述第二子组合光束中所述二维频率空间编码激光束点阵对应的激光束点处的载波频率差。
其中,请参阅图7,图7中(a)为所述样品60。图7中(b)中空间编码示意图,(b)中二维矩阵背景为所述二维频率空间编码激光束点阵形成。图7中(c)为解码与重构示意图。所述二维频率空间编码激光束点阵中每一个激光束点对应的光束载波频率不同,从而使得每个空间位置有差异,以此实现对所述样品60的不同位置进行标记。此时,所述成像装置940通过计算每个荧光辐射拍频信号对应的频率幅值,即可获取所述荧光图像中对应的空间位置的像素值。从而,通过多个荧光辐射拍频信号实现对所述荧光成像的重构。
因此,通过多个点探测器和所述成像装置940,可以实现和所述二维频率空间编码激光束点阵的荧光激发方式相关联的探测方式。此时,通过多个点探测器并行探测所述多个荧光信号,并将所述多个荧光信号转换为一一对应的所述多个电信号,并传输至所述成像装置940,从而在频域中完成频率强度-空间荧光强度的映射过程来重构所述样品60的荧光图像。进而,本申请中所述基于二维频率空间编码的多光子激发成像系统100不存在荧光信号串扰的问题,解决了面探测器探测成像系统的串扰问题。
请参阅图8,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括滤波装置950。所述滤波装置950用于对所述组合光束中未被吸收的光束进行过滤,使得所述多个荧光信号传输至所述探测装置930。
本实施例中,所述滤波装置950为荧光滤波器。所述荧光滤波器为带通滤波片组,用于滤出一路或者多路荧光信号。所述荧光滤波器设置于所述荧光信号(荧光辐射)的光路上,用于滤出含有所述样品60信息的荧光信号,将其余光信号进行滤除。此时,通过所述滤波装置950对所述组合光束中未被吸收的光束进行过滤(可以理解为所述组合光束照射至所述样品60时,会有一部分组合光束激发所述样品60内的荧光团产生多个荧光信号,另一部分组合光束没有激发所述样品60内的荧光团,一同照射至所述第二物镜970),以使得所述多个荧光信号通过,并被所述探测装置930探测。从而,可以获得更加准确的所述多个荧光信号,以用于实现对所述荧光成像的重构。
请参阅图9,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第二物镜970。所述第二物镜970用于对所述荧光信号进行收集,并传输至所述滤波装置950进行滤波。
请参阅图9,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第五凸透镜980。
本实施例中,所述第五凸透镜980设置于所述第一子组合光束的光路上,用以对所述第一子组合光束进行会聚,并传输至所述光电监控装置920,监控所述第一子组合光束的强度分布信息及时频信息。
请参阅图9,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括照明光学组件960。所述照明光学组件960用于接收所述第二子组合光束。经所述照明光学组件960后的所述第二子组合光束照射至所述样品60。
本实施例中,通过所述照明光学组件960将所述第二子组合光束引导至所述样品60。从而,所述第二子组合光束照射至所述样品60,对所述样品60内不同位置处的荧光团进行点阵式的激发,产生所述荧光信号(荧光辐射)。
请参阅图9,在一个实施例中,所述照明光学组件960包括第四凸透镜961、第七凸透镜963与第一物镜962。
本实施例中,通过所述四凸透镜961对所述第二子组合光束进行会聚平行光束。经所述四凸透镜961会聚平行后照射至所述第七凸透镜963。所述第七凸透镜963用于将经所述四凸透镜961后的所述第二子组合光束转换成平行光束。从而,依次经过所述第四凸透镜961与所述第七凸透镜963之后,将所述第二子组合光束的光斑直径变小,以适配所述第一物镜962的入瞳孔径,使得所述第一物镜962能接收所有的激发光束。通过所述第一物镜962,将所述第二子组合光束引导照射至所述样品60,以激发所述样品60内的荧光团,产生所述多个荧光信号。
请参阅图9,在一个实施例中,所述第二中继光学组件720包括第一半波片721、第一反射镜722、第二半波片723与扩束镜724。所述第一半波片721用于对所述移频光束的方向进行改变。所述第一反射镜722用于对经所述第一半波片721后的所述移频光束进行反射。所述第二半波片723用于对经所述第一反射镜722后的所述移频光束的方向进行改变。所述扩束镜724用于对经所述第二半波片723后的所述移频光束的光斑面积进行放大。经所述扩束镜724后的所述移频光束传输至所述合束装置50。
本实施例中,所述第一半波片721用于对所述移频光束的方向进行改变,可以实现对偏振光进行旋转。所述第一反射镜722用于对光路进行反射,改变光路的传播路径。所述第二半波片723用于对所述移频光束的方向进行改变,可以实现对偏振光进行旋转。所述扩束镜724用于扩大所述移频光束的光斑面积,使得所述移频光束的光斑经扩束后,能有效覆盖所述二维频率空间编码激光束点阵,实现光束组合。
通过所述第一半波片721、所述第一反射镜722、所述第二半波片723与所述扩束镜724,可以改变所述移频光束的传输方向,引导至所述移频光束至所述合束装置50进行合束。从而,使得所述基于二维频率空间编码的多光子激发成像系统100的结构更加灵活、紧凑,降低了占用空间,有利于集成。
请参阅图9,在一个实施例中,所述扩束镜724包括凹透镜7242与第六凸透镜7241。
本实施例中,通过所述凹透镜7242对所述移频光束进行性扩散,并通过所述第六凸透镜7241进行会聚,以改变所述移频光束的直径和发散角,使得所述移频光束的光斑进行扩束,能有效覆盖所述二维频率空间编码激光束点阵。
请参阅图9,在一个实施例中,所述第一中继光学组件710包括第二反射镜711与第一凸透镜712。所述第二反射镜711用于对所述二维频率空间编码激光束点阵进行反射。所述第一凸透镜712用于对经所述第二反射镜711后的所述二维频率空间编码激光束点阵进行会聚。经所述第一凸透镜712后的所述二维频率空间编码激光束点阵传输至所述合束装置50。
本实施例中,所述第二反射镜711用于对所述二维频率空间编码激光束点阵进行反射,改变点阵的传播路径。所述第一凸透镜712用于对所述二维频率空间编码激光束点阵进行会聚,引导至所述移频光束至所述合束装置50进行合束。从而,使得所述基于二维频率空间编码的多光子激发成像系统100的结构更加灵活、紧凑,降低了占用空间,有利于集成。
请参阅图9,在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第三中继光学组件110。所述第三中继光学组件110用于改变所述脉冲激发光束的传输方向,引导所述脉冲激发光束至所述第一偏振分束装置20。所述第三中继光学组件110包括第二凸透镜111、第三凸透镜112、第三反射镜113以及第三半波片114。所述第二凸透镜111用于对所述脉冲激发光束进行会聚。所述第三凸透镜112用于对经所述第二凸透镜111后的所述脉冲激发光束进行会聚。所述第三反射镜113用于对经所述第三凸透镜112后的所述脉冲激发光束进行反射。所述第三半波片114用于对经所述第三反射镜113后的所述脉冲激发光束的方向进行改变。经所述第三半波片114后的所述脉冲激发光束传输至所述第一偏振分束装置20。
本实施例中,通过所述第二凸透镜111与所述第三凸透镜112,对所述脉冲激发光束进行会聚,引导至所述第三反射镜113。通过所述第三反射镜113对所述脉冲激发光束进行反射,改变所述脉冲激发光束的传播路径。通过所述第二凸透镜111、所述第三凸透镜112、所述第三反射镜113以及所述第三半波片114改变所述脉冲激发光束的传输方向,引导所述脉冲激发光束至所述第一偏振分束装置20。从而,使得所述基于二维频率空间编码的多光子激发成像系统100的结构更加灵活、紧凑,降低了占用空间,有利于集成。
在一个实施例中,所述基于二维频率空间编码的多光子激发成像系统100还包括第四半波片210。本实施例中,通过所述第四半波片210可以对经所述第一偏振分束装置20形成的所述第二激发光束进行旋转,改变所述第二激发光束的方向。
在一个实施例中,本申请提供一种基于二维频率空间编码的多光子激发成像方法。所述基于二维频率空间编码的多光子激发成像方法采用上述实施例中任一项所述基于二维频率空间编码的多光子激发成像系统100进行成像。
本实施例中,所述基于二维频率空间编码的多光子激发成像方法采用所述基于二维频率空间编码的多光子激发成像系统100,可以实现对所述样品60内不同位置处的荧光团进行点阵式的激发,对所述样品60进行荧光成像,解决了传统方法中逐点扫描或者逐线扫描激发生物样品内的荧光团导致的成像速度偏低的问题,提高了成像速度,节省了时间。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于二维频率空间编码的多光子激发成像系统,其特征在于,包括:
激光发射装置(10),用于发出脉冲激发光束;
第一偏振分束装置(20),用于将所述脉冲激发光束进行分束,形成第一激发光束与第二激发光束,所述第一激发光束包括本地振荡器光束;
射频信号发生装置(80),用于产生射频调制信号;
二维偏转装置(30),所述二维偏转装置(30)与所述射频信号发生装置(80)连接,用于根据所述射频调制信号,改变所述第一激发光束的偏转角度,将所述第一激发光束转换成所述二维频率空间编码激光束点阵;
移频装置(40),所述移频装置(40)与所述射频信号发生装置(80)连接,用于根据所述射频调制信号对所述第二激发光束进行移频形成移频光束;
合束装置(50),用于将所述二维频率空间编码激光束点阵与所述移频光束进行空间叠加,形成组合光束;
所述组合光束照射至样品(60),用于激发所述样品(60)内的荧光团,产生多个荧光信号。
2.根据权利要求1所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,还包括:
第一中继光学组件(710),用于改变所述二维频率空间编码激光束点阵的传输方向,引导所述二维频率空间编码激光束点阵至所述合束装置(50);
第二中继光学组件(720),用于改变所述移频光束的传输方向,引导所述移频光束至所述合束装置(50)。
3.根据权利要求1所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,还包括:
第二偏振分束装置(910),用于将所述组合光束进行分束,形成第一子组合光束与第二子组合光束;
光电监控装置(920),用于监控所述第一子组合光束的强度分布信息与时频信息;
所述第二子组合光束照射至所述样品(60),用于激发所述样品(60)内的荧光团,产生所述多个荧光信号。
4.根据权利要求3所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,还包括:
照明光学组件(960),用于接收所述第二子组合光束;
经所述照明光学组件(960)后的所述第二子组合光束照射至所述样品(60)。
5.根据权利要求1所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,还包括:
探测装置(930),包括多个点探测器,用于并行探测所述多个荧光信号,并将所述多个荧光信号转换为一一对应的多个电信号;
成像装置(940),用于对所述多个电信号进行荧光成像处理,重构所述样品(60)的荧光图像;
滤波装置(950),用于对所述组合光束中未被吸收的光束进行过滤,使得所述多个荧光信号传输至所述探测装置(930)。
6.根据权利要求2所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,所述第二中继光学组件(720)包括:
第一半波片(721),用于对所述移频光束的方向进行改变;
第一反射镜(722),用于对经所述第一半波片(721)后的所述移频光束进行反射;
第二半波片(723),用于对经所述第一反射镜(722)后的所述移频光束的方向进行改变;
扩束镜(724),用于对经所述第二半波片(723)后的所述移频光束的光斑面积进行放大;
经所述扩束镜(724)后的所述移频光束传输至所述合束装置(50)。
7.根据权利要求2所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,所述第一中继光学组件(710)包括:
第二反射镜(711),用于对所述二维频率空间编码激光束点阵进行反射;
第一凸透镜(712),用于对经所述第二反射镜(711)后的所述二维频率空间编码激光束点阵进行会聚;
经所述第一凸透镜(712)后的所述二维频率空间编码激光束点阵传输至所述合束装置(50)。
8.根据权利要求1所述的基于二维频率空间编码的多光子激发成像系统,其特征在于,还包括:
第三中继光学组件(110),用于改变所述脉冲激发光束的传输方向,引导所述脉冲激发光束至所述第一偏振分束装置(20);
所述第三中继光学组件(110)包括:
第二凸透镜(111),用于对所述脉冲激发光束进行会聚;
第三凸透镜(112),用于对经所述第二凸透镜(111)后的所述脉冲激发光束进行会聚;
第三反射镜(113),用于对经所述第三凸透镜(112)后的所述脉冲激发光束进行反射;
第三半波片(114),用于对经所述第三反射镜(113)后的所述脉冲激发光束的方向进行改变;
经所述第三半波片(114)后的所述脉冲激发光束传输至所述第一偏振分束装置(20)。
9.一种基于二维频率空间编码的多光子激发成像方法,其特征在于,采用权利要求1-8中任一项所述的基于二维频率空间编码的多光子激发成像系统进行成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011615956.4A CN112816447B (zh) | 2020-12-30 | 2020-12-30 | 基于二维频率空间编码的多光子激发成像系统及成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011615956.4A CN112816447B (zh) | 2020-12-30 | 2020-12-30 | 基于二维频率空间编码的多光子激发成像系统及成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112816447A CN112816447A (zh) | 2021-05-18 |
CN112816447B true CN112816447B (zh) | 2022-02-15 |
Family
ID=75855655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011615956.4A Active CN112816447B (zh) | 2020-12-30 | 2020-12-30 | 基于二维频率空间编码的多光子激发成像系统及成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112816447B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111624774B (zh) * | 2020-06-30 | 2023-04-11 | 京东方科技集团股份有限公司 | 增强现实显示光学系统及显示方法 |
CN116106524B (zh) * | 2023-04-11 | 2023-08-25 | 深圳市帝迈生物技术有限公司 | 血液分析装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1658300A (zh) * | 2004-02-18 | 2005-08-24 | Tdk株式会社 | 光学头、光学再生装置和光学记录及再生装置 |
CN1783260A (zh) * | 2004-09-03 | 2006-06-07 | 索尼株式会社 | 光拾取器及光盘装置 |
CN102354046A (zh) * | 2011-07-04 | 2012-02-15 | 上海理工大学 | 一种多路频分复用荧光共焦显微成像技术实现方法 |
CN103399413A (zh) * | 2013-07-30 | 2013-11-20 | 浙江大学 | 基于双螺旋光束的样品轴向漂移检测及补偿方法和装置 |
CN103773681A (zh) * | 2014-01-22 | 2014-05-07 | 浙江大学 | 神经细胞紫外光刺激阵列的产生装置 |
CN108474728A (zh) * | 2015-10-13 | 2018-08-31 | 欧米伽生物系统股份有限公司 | 多模态荧光成像流式细胞术系统 |
CN109188667A (zh) * | 2018-08-10 | 2019-01-11 | 国家纳米科学中心 | 多光束阵列多光子重扫描显微成像装置 |
CN109196333A (zh) * | 2016-05-27 | 2019-01-11 | 威里利生命科学有限责任公司 | 用于4-d高光谱成像的系统和方法 |
CN110168351A (zh) * | 2016-10-30 | 2019-08-23 | 维也纳大学 | 使用多路复用的扫描时间聚焦的高速深部组织成像系统 |
CN210401823U (zh) * | 2020-02-28 | 2020-04-24 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种基于阵列照明的自适应图像扫描显微装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227127B2 (en) * | 2004-10-06 | 2007-06-05 | Peter Saggau | High speed microscope with three-dimensional laser beam scanning including acousto-optic deflector for controlling the lateral position and collimation of the light beam |
-
2020
- 2020-12-30 CN CN202011615956.4A patent/CN112816447B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1658300A (zh) * | 2004-02-18 | 2005-08-24 | Tdk株式会社 | 光学头、光学再生装置和光学记录及再生装置 |
CN1783260A (zh) * | 2004-09-03 | 2006-06-07 | 索尼株式会社 | 光拾取器及光盘装置 |
CN102354046A (zh) * | 2011-07-04 | 2012-02-15 | 上海理工大学 | 一种多路频分复用荧光共焦显微成像技术实现方法 |
CN103399413A (zh) * | 2013-07-30 | 2013-11-20 | 浙江大学 | 基于双螺旋光束的样品轴向漂移检测及补偿方法和装置 |
CN103773681A (zh) * | 2014-01-22 | 2014-05-07 | 浙江大学 | 神经细胞紫外光刺激阵列的产生装置 |
CN108474728A (zh) * | 2015-10-13 | 2018-08-31 | 欧米伽生物系统股份有限公司 | 多模态荧光成像流式细胞术系统 |
CN109196333A (zh) * | 2016-05-27 | 2019-01-11 | 威里利生命科学有限责任公司 | 用于4-d高光谱成像的系统和方法 |
CN110168351A (zh) * | 2016-10-30 | 2019-08-23 | 维也纳大学 | 使用多路复用的扫描时间聚焦的高速深部组织成像系统 |
CN109188667A (zh) * | 2018-08-10 | 2019-01-11 | 国家纳米科学中心 | 多光束阵列多光子重扫描显微成像装置 |
CN210401823U (zh) * | 2020-02-28 | 2020-04-24 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种基于阵列照明的自适应图像扫描显微装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112816447A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10365221B2 (en) | Raman spectrum plane imaging device | |
CN110836876B (zh) | 一种基于饱和泵浦-受激辐射探测的超分辨显微方法及系统 | |
CN112816447B (zh) | 基于二维频率空间编码的多光子激发成像系统及成像方法 | |
CN110632045B (zh) | 一种产生并行超分辨焦斑的方法和装置 | |
CN102798622B (zh) | 一种基于强度差分的三维超分辨显微方法和装置 | |
US8097864B2 (en) | System, method and computer-accessible medium for providing wide-field superresolution microscopy | |
CN104634766B (zh) | 一种基于泵浦‑探针技术的超分辨装置和方法 | |
CN105467572B (zh) | 单波长实现多光子脉冲sted-spim显微系统 | |
CN111650180B (zh) | 一种基于信号编码和空间压缩的拉曼光谱成像系统 | |
CN106996918B (zh) | 一种基于光子学技术的太赫兹成像系统 | |
CN110954523B (zh) | 一种双光子扫描结构光显微成像方法及装置 | |
CN111202499A (zh) | 快速高效自适应光学补偿的受激拉曼散射成像系统和方法 | |
CN110579462B (zh) | 一种基于高重频飞秒激光的时间分辨宽谱cars光谱成像装置 | |
CN105510290A (zh) | 光子重组的非线性超分辨显微方法及装置 | |
CN104614318A (zh) | 一种快速的超分辨显微成像方法和装置 | |
CN112649415B (zh) | 三光束自同步高速扫频光纤激光拉曼扫描成像系统及方法 | |
CN114895450B (zh) | 基于二次谐波的超分辨显微成像系统及成像方法 | |
CN107529625A (zh) | 一种用于实时观测微纳瞬变现象的连续/突发双模超快成像方法 | |
CN212489863U (zh) | 一种快速高效自适应光学补偿的受激拉曼散射成像系统 | |
CN115656129A (zh) | 一种荧光发射比率超分辨成像方法 | |
CN107478628A (zh) | 一种基于光子重组的双光子荧光显微方法及装置 | |
CN116183496A (zh) | 基于面阵cmos相机的超快泵浦探测瞬态吸收成像系统 | |
CN116009017A (zh) | 一种基于光谱时空双编码的非视域成像系统与方法 | |
CN117783071A (zh) | 一种三维荧光信号编码超分辨显微成像方法 | |
CN102866137B (zh) | 一种二维超分辨显微方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |