CN105849616A - 紧凑型显微镜 - Google Patents

紧凑型显微镜 Download PDF

Info

Publication number
CN105849616A
CN105849616A CN201480071321.9A CN201480071321A CN105849616A CN 105849616 A CN105849616 A CN 105849616A CN 201480071321 A CN201480071321 A CN 201480071321A CN 105849616 A CN105849616 A CN 105849616A
Authority
CN
China
Prior art keywords
light
compact
microscope
support component
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480071321.9A
Other languages
English (en)
Other versions
CN105849616B (zh
Inventor
阿基里弗斯·卡帕尼迪斯
景博
罗伯特·克劳弗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oxford University Innovation Ltd
Original Assignee
Oxford University Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49767190&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105849616(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Oxford University Innovation Ltd filed Critical Oxford University Innovation Ltd
Priority to CN201910398093.0A priority Critical patent/CN110068921B/zh
Publication of CN105849616A publication Critical patent/CN105849616A/zh
Application granted granted Critical
Publication of CN105849616B publication Critical patent/CN105849616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0008Microscopes having a simple construction, e.g. portable microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0088Inverse microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Accessories Of Cameras (AREA)

Abstract

一种紧凑型显微镜,包括外壳,支撑元件,位于所述外壳内并且由支撑元件支撑的主光学支撑元件,支撑元件和主光学支撑元件之间的至少一个隔振支座,照明部分,物镜系统,安装在主光学支撑元件上的样品台,用于将照明光束从照明部分向样品台引导的照明光学系统,以及用于从样品台接收返回光并将返回光传输到检测设备的返回光学系统,其中,所述照明光学系统和返回光学系统被安装在主光学支撑元件上。

Description

紧凑型显微镜
技术领域
本申请涉及一种紧凑型显微镜,一种包括紧凑型显微镜和照明源模块的系统,一种显微镜聚焦控制系统和一种控制显微镜聚焦的方法。
背景技术
光学显微和光谱学包括大量的技术和应用。示例性技术包括微分干涉相衬、相差和暗视场显微,吸收显微,相干干涉显微,拉曼光谱和显微,以及基于荧光的技术,例如荧光共振能量转移(FRET)光谱,荧光寿命成像、光谱偏振和各向异性显微,多色、交变激光激发显微,基于单粒子定位和结构照明的超高分辨率显微。
对于许多应用,显微镜系统必须极为稳定、避免振动和其他外部影响、精确对准和控制、能够检测特别弱的信号、以及操作安全。商业上可用的系统以及针对特定应用的定制显微系统昂贵且尺寸和重量大,且因此不可便携,然而要求大量的基础设施、维修成本、操作者培训和定制软件,以及因此而来的巨大的总成本。
发明内容
根据本发明的第一个方面,提供了一个紧凑型显微镜,包括外壳,支撑元件,位于所述外壳内并且由支撑元件支撑的主光学支撑元件,支撑元件和主光学支撑元件之间的至少一个隔振支座,安装在主光学支撑元件上的样品台,用于从样品台接收返回光并将返回光传输到检测设备的返回光学系统,其中,所述返回光学系统被安装在主光学支撑元件上。
紧凑型显微镜可具有安装在主光学支撑元件上的物镜系统。
紧凑型显微镜还可以包括照明部分和照明光学系统,照明光学系统用于将来自照明部分的照明光束引导到样品台上的样品,其中,照明光学系统被安装在主光学支撑元件上。
照明光学系统的至少一部分和返回光学系统可以位于紧凑型显微镜的不同平面。优选地,不同平面由主光学支撑元件或第二光学支撑元件的不透明部分分开。
所述检测设备可以由主光学支撑元件支撑。
照明光学系统和返回光学系统的至少一部分可以包括由主光学支撑元件支撑的第二光学支撑元件。
照明部分可以包括用于接收连接到光源的光纤的连接件。
所述检测设备可以包括光电检测器。
所述检测设备可以包括成像设备。
照明部分可以包括功率计。
照明光学系统可以包括光束整形光学元件以控制照明光束的形状。
照明光学系统可以包括至少一个光阑以控制照明光束的形状。
返回光学系统可被操作为将返回光分离成至少第一波长带和第二波长带。
紧凑型显微镜包括成像设备时,返回光学系统可引导第一波长带的返回光到成像设备的第一区域,引导第二波长带的返回光到成像设备的第二区域。
样品台可以是可移动的。
紧凑型显微镜还可以包括聚焦稳定光束光学系统以将聚焦稳定光束引导到物镜系统。
紧凑型显微镜系统可以包括聚焦控制器,所述聚焦控制器可被操作以接收来自物镜系统的聚焦稳定光束的参考图像,接收聚焦稳定光束的后继图像,并根据参考图像和后继图像控制样品台。
照明光束为脉冲时,后继图像可以在照明光束的脉冲之间被获取。
根据本发明的第二方面,提供一种显微镜系统,包括根据本发明的第一方面的紧凑型显微镜和照明源模块,紧凑型显微镜的照明光学系统和照明源模块由光纤连接。
照明源模块包括激光源。
照明源模块可以包括第一激光源、第二激光源和光束结合光学系统,第一激光源用于产生具有第一波长的第一照明光束,第二激光源用于产生具有第二波长的第二照明光束,光束结合光学系统用于将第一照明光束和第二照明光束传输到光纤。
照明源模块可以包括聚焦稳定光束激光源和聚焦稳定光束光纤以将聚焦稳定光束传输到紧凑型显微镜。
根据本发明的第三方面,提供一种显微镜聚焦控制系统,包括可移动的样品台,物镜系统,用于将聚焦稳定光束引导到物镜系统的聚焦稳定光束光学系统,成像设备,用于将光返回到成像设备的返回光学系统,以及控制系统,该控制系统具有来自物镜系统的聚焦稳定光束的参考图像,可被操作以接收聚焦稳定光束的后继图像,并根据参考图像和后继图像控制样品台。
控制系统可被操作以控制样品台以使得后继图像和参考图像匹配。
根据本发明的第四方面,提供一种控制显微镜聚焦的方法,包括储存聚焦稳定光束的参考图像,传输聚焦稳定光束到显微镜的物镜系统,接收聚焦稳定光束的后继图像,以及根据参考图像和后继图像控制显微镜的样品台。
该方法可以包括控制样品台以使得后继图像和参考图像匹配。
附图说明
本发明的实施例仅参照附图通过示例的方式被描述,其中:
图1是应用本发明的紧凑型显微镜的立体图;
图2是图1的紧凑型显微镜的示意性截面图;
图2a是图2的紧凑型显微镜的照明部分的说明;
图2b是图1的紧凑型显微镜的主光学支撑元件的可选支撑的平面图;
图3a是和图1的紧凑型显微镜一起使用的照明源模块的示意性说明;
图3b和3c是双色宽视场荧光显微的返回光学路径的可选示例;
图4是用于双色宽视场荧光显微的图1中的紧凑型显微镜内的光束路径的立体图;
图5是图4的紧凑型显微镜内的另一光束路径的立体图;
图6是形成在图4和5的紧凑型显微镜的成像设备的图像的示例;
图7a和7b是应用本发明的另一紧凑型显微镜的立体图;
图8a到8d是图7a和7b的紧凑型显微镜的主光学支撑元件的立体图;
图9a到9d是图7a和7b的紧凑型显微镜的构造的示意图;
图9e是图9b到9d的光学构造的立体图;
图10a是图7a和7b的紧凑型显微镜的第二光学支撑元件的立体图;
图10b是安装在图8a到8d的主光学支撑元件中的图7a和7b中的紧凑型显微镜的第二光学支撑元件的立体图;
图11a是图7a和7b的紧凑型显微镜的积分镜支座的截面图;
图11b是图7a和7b的紧凑型显微镜的另一积分镜支座的截面图;
图12是和应用本发明的紧凑型显微镜一起使用的物镜台的侧视图;
图13是说明聚焦控制系统操作的框图;
图14示出了使用图13的聚焦控制系统的多个示例参考图像;
图15示出了单色、双色、三色宽视场荧光显微的检测路径的示例;
图16是双色共焦荧光显微的光学路径的示例;
图17是荧光偏振显微的光学路径的示例;
图18是明场干涉散射显微的光学路径的示例;
图19a和19b是同步的双色宽视场荧光显微和暗视场显微的光学路径的示例。
具体实施方式
现在具体、详细地参考附图,要强调的是,所示的细节是通过举例的方式示出并仅用于本发明的优选实施例的说明性讨论的目的,并且是为了提供被认为是本发明的原理和概念方面的最有用和容易理解的描述而呈现。在这方面,没有试图示出除对于本发明的基本理解是必要的之外的更详细的结构细节,结合附图关于本发明的几种形式可以怎样应用在实践中的描述对本领域技术人员是显而易见的。
在详细解释本发明的至少一个实施例之前,应当理解的是,本发明并不限于应用到在以下描述中阐述或在附图中说明的部件的布置和构造的细节中。本发明可应用于其它实施例或以各种方式被实践或执行。此外,应当理解,这里采用的措辞和术语是为了描述的目的,而不应被视为限制。
实施例一:
应用本发明的紧凑型显微镜在图1中以10示出。显微镜10具有外壳11,完全围住显微镜的光学路径。外壳11包括开口盖11a以提供进入如下所述的样品台的入口。优选地,外壳11的侧壁和顶壁是可拆卸的以允许访问显微镜10里的部件。在本实施例中,外壳11极其紧凑,长24cm,深21.5cm,高15cm,使显微镜具有大约一张A4纸的占地面积和大约8升的体积。可以想象外壳11里不使用的空间的进一步减小将允许显微镜的尺寸在无需其他主要设计变化的情况下被进一步减小到23cm×16cm×15cm,甚至可以在部件和光学路径的适宜设计下被进一步最小化。可便携性允许显微镜很容易被重置或重定位,或者甚至被放置于被控制的环境例如冰箱中,或者具有特殊大气成分例如用于PH敏感的哺乳动物细胞培养的二氧化碳水平被控制的培养箱中。
开口盖11a可以被互锁以在开口盖打开时切断照明部分或避免照明部分工作。如果外壳11避免光从显微镜里逃逸,显微镜能够因此成为I类激光产品且可以在任何地方被使用,而不受限于例如激光受控区域。
显微镜10的截面图在图2中被示出。位于外壳11里的是以12示出的支撑元件。在本实施例中,支撑元件12包括具有安装支架14的多个直柱13,安装支架14一般在直柱13的中点。尽管在本实施例中支撑元件12是分立结构,支撑元件也可以和外壳11一体设置。
为了支撑光学部件,设有主光学支撑元件16。优选地,主光学支撑元件16是由尺寸稳定的材料例如铝、钛或者因瓦合金块、或者由碳光纤或其他制备的材料制成的单个连续紧凑件。在本实施例中,主光学支撑元件16为矩形板,尽管任何其他的几何形状或不规则形状可以适宜地被用于容纳外壳11里的其他部件或系统。主光学支撑元件16也可以被铸造或加工为具有用于已就位或一体设置的光学部件的支架,以提高稳定性、减小部件错位的可能性。
主光学支撑元件16通过保持在直柱13的安装支架14里的隔振支座15被支撑在直柱13上。在本实施例中,隔振支座15包括凝胶聚合物贴片以提供充分的振动隔离,但是任何合适的支座均可以被使用。而且,外壳11设有橡胶脚垫17以接合支撑表面,从而进一步减小传递的振动。如果需要,可以设有其他的隔振部件,抑或外壳11和/或支撑元件12或其一部分可以包括隔振材料。如图2b的可选实施例中所述,主光学支撑元件16’被支撑在凝胶涂覆钛杆15’上,凝胶涂覆钛杆15’被接收在主光学支撑元件16’的通道16a’里。杆15’的端部15a’被接收在橡胶支座17’里,橡胶支座17’支撑在外壳12’的内表面上的凹部18’里。在另一可选实施例中,主光学支撑元件可以被活动隔振部件支撑,例如调节空气活塞。
在本实施例中,凝胶聚合物贴片15用作具有大约10Hz截止频率的低通阻尼材料。主支撑结构16的长度和宽度选择小的,同时保持材料的中等厚度以使得模态频率远高于1kHz,例如如果铝用作主支撑结构。本实施例中的照相机具有100Hz的全帧读出频率。因此,由于这些特征频率的幅度的不同顺序,所以外力不能有效地激发任何模态频率,且由于高模态频率,任何激发频率的幅度都较小,在模态频率下的任何振动对于照相机的数据采集时间尺度均是无关紧要的。
由图2明显地,部件可以被安装到主光学支撑元件16的相对侧。主光学支撑元件具有第一侧、最高侧16a和第二侧、最低侧16b。安装在第一侧、最高侧16a上的是物镜系统18和样品台19。样品台19被放置以支撑物镜18上的样品托20使得样品21成像。样品台19具有横向定位器19a以及Z轴定位器19b,横向定位器19a用于允许样品21在X-Y平面被移动,Z轴定位器19b用于使样品托20能相对于物镜系统18竖直移动。优选地,定位器19a、19b为具有低机械位移和间隙的压电摩擦驱动,且可以在相对大的距离上(几厘米)以纳米精度被自动控制,允许样品在大量区域成像。压电摩擦驱动允许纳米级步进,在大约1到100纳米之间的步进取决于使用的驱动。这使得显微镜适宜自动化操作,横向位置可被操作以依次将样品的不同区域带入物镜视场以自动进行大量测量。除了聚焦显微镜,Z轴位置的控制也允许在不同平面例如穿过细胞进行测量。
照明部分一般以22示出,安装在主光学支撑元件16的第一侧16a,在图2a中有更多细节。照明部分22可以包括激光器、LED或灯、或多个源,或如本实施例,可以包括接收光纤的连接件以连接到单独的照明源模块。通过使用单独的照明源模块,显微镜可以借由提供不同的源适用于不同的技术或应用。如图2a所示,光纤连接器23接收并保持光纤24。照明光束25穿过圆柱透镜26a,26b以整形和准直光束。可调光阑27进一步整形光束,然后宽视场透镜28提供聚焦在物镜系统18的后焦面上的会聚光束。分束器29转移大约不到10%的光到功率计30以允许监控光束功率并降低由光束密度波动导致的结果数据中的噪声。然后镜子32引导照明光束25通过光阑16c。如下所讨论的,对于一些应用,需要调节或替换透镜28以提供准直的或发散的照明光束,或者聚焦在光学路径其他一些点上的照明光束。
在主光学支撑元件16的第二侧、下侧16b上,镜子33,34引导照明光束25穿过光阑16d到物镜系统18,照明光束25被聚焦在物镜系统18的后焦面上用于宽视场成像以均匀地照明样品21,或者被物镜系统18借由进入物镜系统18的后光阑的准直光聚焦在样品21上用于共聚显微。照明部分22和镜子33,34被统称为照明光学系统。对于其他应用,其它部件可以被用在照明光学系统中。例如,镜子34可以是二色镜、分束器、小型镜,或被完全省略。镜子33能够是可移动的或可平移的以改变照明角度,例如用于全内反射显微。
来自样品21的返回光一般以35示出。返回光穿过镜子34。如果镜子34是二色镜,则二色镜34的特性被选择为使得照明光束25的波长或波长范围被反射而返回光穿过。在镜子34之后,返回光被镜子36引导到检测设备37。检测设备37包括适宜的检测器或照相机(或所需的超过一个检测器或照相机)和对于需要的应用合适的光学部件。检测设备具有连接件38以允许数据被传送到控制系统或计算机。引导返回光到检测设备的光学部件以及检测设备里的光学部件被统称为返回光学系统。对于其他应用,其他部件可以被用在返回光学系统中。
这本实施例中,通过将部件安装在单个主光学支撑元件上,靠近主光学支撑元件表面,且将主光学支撑元件支撑在隔振支座上,显微镜对外部力和温度及其他环境条件变化的敏感性大大减小。主光学支撑元件的两侧用于光学路径以及使用和主光学支撑元件表面高度相近的光束使得部件被包括在相对紧凑的体积里。在本实施例中,光束高度在距离主光学支撑元件表面大约10mm到30mm之间。将物镜和样品托安装在主光学支撑元件的一侧以及将照明光学系统和返回光学系统的至少一部分安装在相对侧从进入返回光束路径起减小了杂散光反射。主光学支撑元件两侧的光学元件的位置允许所有部件保持可访问的。
图2和2a中示出的构造是一般构造且可以适用于期望的显微技术。现以示例的方式参照图3a到6描述双色宽视场荧光显微镜的构造。图3a是照明源模块的示意图,图3b和3c示出了可选的简单返回光学系统,图4和图5是显微镜10里的光束路径的立体图。相当于图2和2a中的元件用相同的标号标记。
在双色宽视场荧光显微中,样品21以荧光分子标记,该荧光分子在两个激发波长之一吸收光然后发出荧光。因此在本实施例中,照明光束更精确地被视为激发光束。
如图3a所示,照明源模块一般以40示出。照明源模块40包括第一激光源41以及第二激光源42,第一激光源41用于产生具有第一波长的第一照明光束41a,第二激光源42用于产生具有第二波长的第二照明光束42a。光束结合光学系统43将第一照明光束41a和第二照明光束42a结合在一起并将光耦合进光纤24。在本实施例中,第一波长为640nm,第二波长为532nm。照明光束41a、42a可以是脉冲以用于交替激光激发显微,脉冲被定时以使得光束脉冲不重叠。可选地,照明源模块40可以具有功率计以代替功率计27或除了功率计27外还具有功率计。图3a也示出了聚焦稳定光束源59,用于产生以下将更详细地描述的耦合进单模光纤61a的聚焦稳定光束60。对于双色显微,两个照明光束可以同时打开。激发清理滤波器位于光束线中以仅仅使主照明激光波长通过。
图3b到5中的检测设备包括2D照相机,在本实施例中,为CMOS照相机37’,尽管根据应用可以使用CCD或EMCCD照相机。返回光学路径包括用于通过波长分离返回光的光学元件。如图5中所示,照明光学路径大体如图2a所示。
返回光的路径在图3b和4中示出。返回光穿过在本应用中为二色镜的镜子34,并被镜子3引导。然后光束穿过分离二色镜38a。分离二色镜38a反射返回光中波长在545nm到620nm范围内的绿色荧光。波长大于656nm的红色光穿过镜子38b且被镜子38b反射。红色和绿色返回光束被引导到CMOS照相机37’的不同区域。在图3b和4的实施例中,绿色光束和红色光束通过聚焦透镜39e,分别借由分离镜39c,39d向CMOS照相机37’反射。本实施例中的绿色和红色光束在照相机37’之前穿过彼此,以使得光束靠近透镜39e的中心通过透镜39e,带来的像差较小。镜子38a,38b,39c,39d允许图像可控地定位于CMOS照相机37’的不同区域。由CMOS照相机37’获得的帧的示例在图6中以50示出,其中对应一个波长或波长范围的图像51位于帧左侧,对应另一波长或波长范围的图像52位于帧右侧。在本实施例中,位于右侧的红色通道里的信号示出较小的明亮信号,因为图像示出微弱的自“绿色”荧光到“红色”荧光的荧光共振能量转移。返回光分离为不同的波长带和检测器的不同区域使得技术混合能同时使用,例如散射和荧光。发射清理滤波器的使用阻挡了波长为照明激光波长的光到达检测设备。
图3c示出了镜子39c,39d,透镜39e以及CMOS照相机37’的一个可选构造,其中如图所见,和图3b所示的180゜的反射相反,光学路径一般从左到右行进。附图意在说明,依据在主光学支撑元件16上布置光学路径和部件以获得紧凑系统的最有效的方法,可以选择不同的光学路径。
实施例二:
现在参照图7到11b描述紧凑型显微镜的第二个实施例。如图7a和7b所示,以200示出的紧凑型显微镜包括大体为平面的支撑元件201,该支撑元件201支撑主光学支撑元件202。主光学支撑元件202由支撑元件201通过隔振支座203支撑。此外,支撑元件201下表面上具有隔振脚垫204以保持紧凑型显微镜200置于其上的潜在不稳定的工作表面,从而进一步减小传递的振动。
如图7a和7b所示,紧凑型显微镜200进一步包括由支撑元件201支撑但物理上不同于主光学支撑元件202且未连接到主光学支撑元件202的外壳205。外壳205用于将显微镜的光学元件与环境影响和外部光隔离,以及保护使用者免受显微镜里的有害光强的影响。和第一个实施例一样,如果需要,外壳205可以设有互锁入口开口盖以提供进入样品台的入口。
现在参照图8a到8d更加详细地描述主光学支撑元件202。在这些附图中,主光学支撑元件202以位于支撑元件201上示出,但是省略了以下将描述的外壳205和第二光学支撑元件。和图1到6中所示的紧凑型显微镜实施例相反,在本实施例中,主光学支撑元件202是设计来将光学部件容纳在多平面构造中,比相对来说简单的平面主光学支撑元件允许更紧凑的布置。主光学支撑元件202具有两个部分,一般以210示出的照相机支撑部分和一般以211示出的光学支撑部分。光学支撑部分211包括容积212以在许多第二光学支撑元件里接收光学部件。容积212的上部213成形为(适于)接收物镜台,以下将详细描述。主光学支撑元件202还包括积分镜支座以接收镜子,如以下详细描述的,镜子用于引导光从显微镜镜筒透镜到照相机。本实施例中的主光学支撑元件202包括刚性附接到彼此的四个加工部件,然而任何合适的制作和装配方法均可以使用。虽然将主光学支撑元件制作成一个单个部件是有可能的,但是使用多个元件实现了模块化(例如允许不同的照相机的使用或者在镜筒透镜和照相机之间操纵信号)且使得加工部件更容易。
紧凑型显微镜200的布局在图9a到9e中按比例以示意图示出。图9a是按比例示出光学布置和照相机的相对布置和尺寸的俯视图。隔振支座203的位置被示出以做参考,在本实施例中,每侧的总占地面积大约为180mm。显微镜光学部件布局为使得光学布置的尺寸为146mm×90mm,这一目的通过将多层光学元件堆在另一层顶上或紧挨着另一层实现。
如图9a到9e可见,光学元件布置于三个平面,下平面220,上平面221以及垂直平面222。大体上,照明光学系统位于下平面220和垂直平面222里,接收光学系统位于上平面221里。如图9b所示,下平面220包括光接收部分223,以从来自合适光源的多个光纤接收光,例如和图3a相似的照明源模块。光纤以225a到225f示出。从光纤225c到225f接收的光穿过各自的一对圆柱透镜226和与图2a中的光阑27相似的光阑227。正如图2a中的实施例,为了提供具有期待的轮廓的光束,在本实施例中即大体矩形的光束形状,而不要求复杂性和光学元件,因此减小了需求空间。一系列二色镜228沿共同的路径229反射光束,由此,结合的光束碰撞镜子230a,230b并朝向第一向上反射镜231被引导,第一向上反射镜231位于平面222内且向上反射结合的光束。
多个光电二极管232被放置以接收穿过二色镜228的光,以使得到达显微镜的每个光束的各自的功率能够被测量。有利地,不需要额外的分束器来允许每个光束的功率的测定,因而最大化可用的动率并减少了对另外的部件的需要。
来自光纤225a,225b的光和来自光纤225c到225f的光隔开接收。接收的光通过聚焦透镜226a引导且由镜子233a、233b、233c向竖直平面222里的第二向上反射镜234引导。镜子233b可以是二色镜。
竖直平面222里的光学元件在图9d和9e中示出。反射自第一向上反射镜231的光被宽视场透镜单元235接收。光由宽视场透镜235a聚焦并被镜子236朝向二色镜240继而镜子239横向引导,镜子239将会聚光束反射进物镜,由此在物镜的后焦面形成聚焦,准直的光从物镜的前焦面透出。宽视场透镜单元235包括可以自动或手动控制以改变透镜235a的位置的压电致动器237。压电致动器237平移透镜235a和镜子236以使得从透镜235a到物镜的距离保持为常量。这是对于短焦距透镜235a的特别要求,但是到物镜的恒定距离对于使用长焦距的透镜的大显微镜不是关键。压电致动器允许透镜235a为全内反射显微调节照明。来自第二向上反射镜234的光碰撞熔融二氧化硅窗238并被简单地引导到镜子239并进入物镜台300。因为熔融二氧化硅窗238在相关波长区域是透明的且进行了抗反射涂覆,所以从第一向上反射镜231引导的光损失极小。熔融二氧化硅的使用最小化了由从镜子231通过窗口传递的光产生的荧光。
在本实施例中,来自照明样品平面里的较大面积(例如120μm×60μm)、要求更多功率的向上反射镜231的会聚光需要极小的传输损失,而对于来自照明较小面积(例如1μm×1μm)、要求较小功率的向上反射镜234的准直光,高反射损失是可以接受的。对于其他的应用,可以使用其他部件例如二色镜代替熔融二氧化硅窗。
从样品和物镜301返回的光继而被镜子239和二色镜240引导至在图9c中示出的接收光学系统。接收光学部分包括取决于显微镜使用的技术或功能的可以被移除或应用的241区域里的模块化元件。在本实施例中,模块241包括和图3c中相似的光学布置,其中来自样品的两个波长范围内的返回光被分离为两个空间上偏置的光束且被引导至镜筒透镜250。输出光束被保持在积分镜支座214里的镜子251和保持在积分镜支座215里的镜子252引导到照相机。偏置光束带来图6中所示的输出图像,其中图像51和52对应于不同的波长或波长范围且偏置为图像帧的两个分开的部分。
再次地,很明显,图9b到9e的几何形状是可修改的,仅仅输入光纤225a到225f的子集需要根据需求使用,返回光学模块241可以根据需求替换。唯一的要求是进入和离开模块241的光束被聚焦到无穷以使替换容易。
图10a和10b说明了第二光学支撑元件。第一个第二光学支撑元件261具有连接件261a以接收光纤225c到225f且包括透镜226,光阑227和镜子228和230a。第二个第二光学支撑元件262支撑第一和第二向上反射镜231,234。相似地,第三个第二光学支撑元件263包括连接器(未示出)以接收光纤225a,225b,透镜232和镜子233a,233b,233c。第四个第二光学支撑元件264保持包括宽视场透镜235a,压电致动器237和镜子236的宽视场透镜单元235。二氧化硅窗238由单独的第二光学支撑元件保持到位,镜子239直接被主光学支撑元件202保持。第五个第二光学支撑元件265将接收光学系统241作为一个单元或一组子模块提供。如图10b所示,这些部件中的每一个均被接收在主光学支撑元件202的容积212里,大体填满容积212,由此提供了所需的模块化且可修改的刚性且精确对准的构造。如果必要,容积212没有被第二光学支撑模块占据的部分可以被实心或空心的填充块占据以提供额外的刚度。同时,由于许多光阑被要求允许光束传播,因此显微镜充满了孔,使其自然地成为刚性的、质量轻的、空的结构,减小了由自重导致的变形。有利地,不同的平面被主光学支撑元件或第二光学支撑元件的不透明部分分开。
图11a和11b更详细地示出了积分镜支座214。如图11a可见,积分镜支座214包括竖直延伸的槽270。包括直角通道的光束光阑以271示出。竖直槽270成形为使得其深度大于光束光阑271的深度以提供下支撑台阶272。镜子251的大小使得其接合下支撑台阶272,延伸穿过光束光阑271并接合光束光阑271上方的槽270的上唇部274。位于镜子251和槽270的后壁276之间的弹簧275保持镜子到位。弹簧施加恒定的、温度不敏感的、垂直于光学元件对准的表面的力。积分镜支座215使用了相似的构造,除了槽270成形为使得镜子252垂直于而非平行于对准表面被引入且被合适的锁紧元件保持到位,锁紧元件压缩弹簧。因此,每个积分镜支座214,215都有各自的镜子被保持住的表面,该表面被加工过程永久性地限定且不能被改变,因此不可能对不准。除了限定对准表面,加工过程同时产生了入口端口,由此镜子和弹簧能够被插入。由于镜子和对准表面物理接触且密封光传播出的加工光阑,所以也提供了隔尘。尽管图中仅示出了积分镜支座214,215,主光学支撑元件和第二光学支撑元件合适的其他地方使用了相似的积分镜支座。
物镜台
图12中更详细地示出了物镜台300。物镜台300支撑显微镜物镜301。物镜台300包括安装移动台304、例如主要由铝制成的因瓦合金基板302。移动台304支撑并移动因瓦合金样品托305且允许调节样品托305相对于显微镜物镜301的三维空间位置。台304通过和台相同材料制成的板303连接到因瓦合金板302。第一安装点306连接铝板303和因瓦合金基板302,使得安装点306和台304的前面307对准。连接铝板303和因瓦合金302的第二、向后安装点308允许铝板303和因瓦合金302之间的相对滑动。因瓦合金板被安装在主光学支撑结构的凹部213且通过第一固定安装点302a和第二安装点(未示出)被固定到主光学支撑结构202,第一固定安装点302a和物镜的轴线对准,第二安装点允许铝制主光学支撑结构202和因瓦合金板302之间的相对滑动。移动台304具有三个压电摩擦马达,分别以309a,309b,309c示出。
因此物镜301相对于主光学支撑结构202和安装在其中的光学系统被保持在固定的位置。物镜台300的构造允许移动台304的热膨胀、样品托的膨胀、以及连接物镜和移动台304的材料的膨胀的补偿。
移动台304的热膨胀的补偿通过使铝板303的固定安装点306位于铝制移动台304的下面实现,固定安装点306和移动台304的面307对准,面307和因瓦合金样品托305接触。因此,如果铝制移动台304向左膨胀,铝板303就会向右膨胀,相对于面307的膨胀总量是相等的,因此将会抵消。当台304从中心位置朝向或远离物镜移动且面307和固定安装点306不对齐时,补偿不会完全抵消相对膨胀。然而,这种几何形状将会将移动减到最小,且移动从台304在默认位置时的0线性增加到台的范围的极限(比靠近中心位置的位置使用的少)时的较小的最大值。
以这种几何形状,因瓦合金部分在物镜301和面307之间的热膨胀和样品托305的热膨胀幅度相等但是相对于样品托305的热膨胀,由此物镜301和保持在样品托305上的样品之间的相对移动被抵消。固定安装点302a确保物镜301保持就位,同时滑动安装允许因瓦合金基板相对于主光学支撑元件202膨胀或收缩。
尽管此处物镜台300包括因瓦合金和铝制部件,很明显台可以包括由期望的其他材料制成的部件。两对零件应该具有相匹配的热膨胀系数,第一对是样品托和物镜安装板,第二对是移动台和板303。物镜台可以用于任何其他合适的显微镜,不仅是此处描述的示例,且可以包括样品托移动期望的自由度所需的一个或任意数量的致动器。
聚焦控制
聚焦控制系统可以通过控制样品托305的位置保持样品相对于物镜301的焦点的轴向位置。
为实现此目的,聚焦稳定光纤连接件提供了聚焦稳定光束。在第一个紧凑型显微镜的实施例中,图2,3a和4说明了显微镜聚焦控制系统。聚焦稳定光纤连接件61提供了聚焦稳定光束60,在本例中聚焦稳定光纤连接件61连接到单模光纤61a以从照明源模块40里的聚焦稳定光束激光源59传递光。聚焦稳定光束60被透镜62准直且被镜子63和二色镜34引导到物镜系统。镜子63,34以相对于光学轴线25的某角度将聚焦稳定光束60引导进入物镜系统18。聚焦稳定光纤连接件61,透镜62,镜子63和二色镜34被统称为聚焦稳定光束光学系统。
在第二个紧凑型显微镜的实施例中,光纤225a,225b之一可以被用作聚焦稳定光纤连接件。在本例中,聚焦稳定光束被如上讨论的镜子233a,233b,233c和234引导至物镜301。
聚焦稳定光束的波长能够被选择以使得样品不被光影响(例如如果样品包括荧光分子的非偏振光)。优选地,聚焦稳定光束仅在样品没有成像时活跃。物镜系统将聚焦稳定光束聚焦在盖玻片和样品介质之间的界面,其中一部分光在界面被反射。光束在和激发激光相同的路径进入物镜,但是光束被准直以使得当盖玻片/样品介质界面在物镜的前焦面上时大概的聚焦点在成像平面(在照相机上)可见。由于物镜的高数值孔径,光束被强烈的会聚,以使得界面的任何远离聚焦面的移动都会导致反射图像显著变宽。从照明区域散射的光将会被返回光光学系统返回到检测设备,图像能够在检测设备被捕获。反射的图像将会有取决于物镜和界面之间距离的大小、形状和位置。为了控制聚焦,该系统和方法比较了参考图像和后继图像。
第一种操作聚焦稳定系统的方法是焦点锁定模式。在样品被原始地正确地定位后,聚焦稳定光束能够被传递到物镜系统且参考图像被保存。如果样品的位置相对于物镜移动,在随后捕获的图像中照明区域也会改变外观。由此,在移到另一个视场之后,后继图像被捕获。如果这与参考图像不同,Z轴定位器被迭代操作。Z轴位置将会根据参考图像和后继图像之间的计算的不同改变,另一个后继图像被捕获。再次地,计算不同且执行另一Z轴定位步骤。以此方式,系统将会以几个步骤会聚在原来的焦点上。可以以任何合适的方式计算图像之间的不同。
在第二种操作聚焦稳定系统的方式中,储存参考图像可以包括储存参考图像的堆栈,每个参考图像对应已知的不同的竖直位置。这可以用于将样品移动到期望的Z轴位置或者确定样品的Z轴位置。当期望移动样品到期望的Z轴位置,对应那个Z轴位置的参考图像能够被检索且和上述过程相似的迭代过程被执行,获取后继图像并以较小的步长移动Z轴定位器直到后继图像会聚到期望的参考图像上。可选地,样品的Z轴位置能够通过捕获后继图像并决定哪个参考图像最好地匹配后继图像来决定。
当装置制造或校准时,参考图像或图像堆栈可以被储存。附加的或替换参考图像可以在显微镜操作期间在任何合适的点被捕获,例如在开始采集之前如果由于样品或显微镜系统的变化需要新的焦面或者参考图像变得和正确的焦点不兼容。后继图像可以用作后续操作的参考图像。
图13中以320说明了示例方法。如步骤321所示,聚焦光束的图像被捕获。在步骤322,确定了参考图像的最高的归一化互相关最大值(NCCM)。NCCM是一种捕获的图像和参考图像彼此有多相似的测量,其中完全相似为1分,毫不相似为0分。这样的算法对反射图案的形状而非对其强度或在照相机上的位置敏感。
正如箭头323所示,如果最高的NCCM小于0.5,那么在步骤324中样品台305关于当前的Z轴位置以增加的范围被移动,重复的图像被捕获,直到对于任何参考图像的互相关测量均大于0.5的图像被发现。一旦该步骤完成,该方法前进到步骤326,可选地,如箭头325所示,如果最高NCCM大于0.5但是参考图像不是来自设置点,也可以直接从步骤322前进到步骤326。在步骤326,使用相对大的200nm的步长沿着设置点的方向移动台直到互相关测量大于0.9或者穿过设置点。完成步骤326之后或者如果最高的NCCM在0.5和0.99之间且属于设置点参考图像直接在步骤322之后,在微调阶段327,使用从100mm到10nm减小长度的步长使NCCM被最大化。当NCCM被最大化,如328所示程序完成。如果获得的图像和参考图像的NCCM最初大于0.99,如箭头329所示,那么自动聚焦程序立即结束。图14中示出了一组参考图像示例,其中中央的图340a代表设置点。340b到340d的一系列图表示逐渐变低的样品位置的图像。相似地,参考图像340e到340g是产生自太高的样品位置的图像。由此,如图13所说明的,聚焦设备将会发现和聚焦光束获得的图像匹配地最好的图像,然后向设置点调节Z位置即这个过程将会迭代直至聚焦光束获得的图像有效地对应基准设置点图像340a。在步骤321聚焦光束获得的图像和捕获图像340a到340g的任何一个都不足够相似时,表明样品位置在捕获图像的范围之外,该过程将继续移动样品位置直到如323和324所示和储存的参考图像之一足够相似的聚焦光束的图像被捕获。
因此显微镜聚焦控制系统能够在显微镜10的长时间操作期间保持稳定的样品位置。聚焦用时小于1秒且实现了纳米级精确度。这种自动聚焦方法不要求额外的用于参考光束的光电检测器,且能够使用非常低的光束质量、功率和功率稳定性的激光。本实施例中,由于单模光纤未经聚焦透镜低效地连接到光纤61a,所以聚焦稳定光束的功率极低,且因此体现了最小的风险。光纤连接透镜的缺少也去除了对激光相对于单模光纤的(再)对准的需要。
在实验中,样品被固定在玻璃基板上,通过将视场移动到还没有被激发激光曝光的新的区域以记录独立的数据集常常是可能的和期望的。由于盖玻片大约几微米的厚度变化以及样品台的不规则运动,在获取新视场之前的重聚焦步骤通常是必要的。聚焦控制系统允许这种移动和重聚焦步骤被自动执行。例如,样品能够以螺旋模式被移动以记录多个视场。在每个视场被激发激光曝光前,聚焦控制将样品带到预先限定的轴向位置。由于聚焦稳定光束的光是从牢固地连接在显微镜的基本光学支撑元件上的光纤的端部发射的,且用于聚焦稳定光束的准直透镜和光束转向镜缺少任何用于调节的自由度,所以光束的角稳定性被改善。使用主照相机而非使用专用传感器来检测聚焦稳定光束的图像再一次减少了需求的部件数量。
作为控制聚焦并允许移动到用户期望的平面的另一个方法,玻片/样品介质界面被设置为设置点且不允许用户改变。然后聚焦控制机构将界面移动到聚焦面,继而压电台(具有~1nm精确度)的位置传感器用于远离界面向期望的位置导航。换言之,界面用作用于相对其移动的起始点,该起始点可以消除由用户记录参考图像的需要并将界面建立为限定好的坐标系统的原始平面。
可选的光学构造
图15到19b中说明了显微镜可以怎样被适用于其他应用的示例。有利地,紧凑型显微镜200可以通过设有合适的第五个第二光学支撑模块265而适用于这些构造中的任一个。
图15a到15c示出了适用于单-双或三色宽视场荧光显微的返回光学系统的构造。通用的设备在图15a中以400示出,其中光束直接被透镜401聚焦在照相机437上。在图15b中,相当于图3b和3c的光学路径,二色镜402将返回光分到第一和第二波长带。第一波长带的光穿过二色镜402且被镜子403和404反射穿过第一带通滤波器405。第二波长范围的光被二色镜402和镜子406反射且通过带通滤波器407。这两个得到的光束空间上被偏置且被聚焦在照相机437的不同区域上。在进一步的变化中,如图15c所示,镜子403被另一个二色镜408代替。第三波长范围的光穿过二色镜402,408和长通滤波器409,这三束得到的光束被聚焦在照相机437的分隔的偏置区域。
图16说明了显微镜用于双色荧光共聚显微的使用,一个示例性的光学路径以410示出。该应用中的检测设备包括一对光电检测器411a,411b,以及特别是具有高检测灵敏度的雪崩光电二极管。激发光束412包括如上讨论的两个波长带的光且被准直。物镜系统将照明光聚焦在样品21上。返回的荧光穿过二色镜413且被镜子414引导向检测设备。第一波长带的光被长通二色镜415反射,穿过带通滤波器416且被透镜417聚焦在第一光电检测器411a上。第二波长带的光穿过二色镜415且被镜子418反射,穿过长通滤波器419且被透镜420聚焦在第二光电检测器411b上。
图17以430示出了用于荧光偏振显微的返回光学路径。返回荧光431穿过发射滤波器432,返回光被偏振分束器433分入不同的偏振部件。镜子434,435,436引导不同的偏振光束通过透镜438,不同的光束被聚焦在成像设备437’的偏置区域上。
图18以440示出了亮视场相干散射(iSCAT)显微的构造。照明光束441稍微会聚。照明光束441穿过分束器442,分束器442引导一些照明光束到物镜系统18,照明样品21的区域。光束止挡443吸收照明光束441直接穿过分束器442的那部分。从样品21散射的照明光和从样品载玻片的界面反射的照明光干涉。反射的光通过分束器442返回且被镜子444反射并由透镜445聚焦在成像设备437上。
图19a和19b分别以450a和450b示出了同步暗视场显微和多色宽视场显微的光学路径。在450b,小椭圆镜451将会聚照明光反射到物镜的光学轴线上的后焦面,使得反射的照明光在光学轴线上返回且再次被镜子451反射出检测路径。在450a,小镜子452在其后光阑边缘将会聚照明光反射到物镜的后焦面。照明光在玻片/样品界面全内反射(TIR)并在后光阑的与上述边缘直径相对的边缘返回,照明光被另一个小镜子453引导向吸收元件454。后者的几何形状需要具有足够高数值孔径的油浸物镜。
在每个可选的实施例中,二色镜的系统和滤波器将荧光和散射光从返回光中分开并引导各种波长带到成像设备437的不同区域。双带二色镜455被选择以使得第一和第二波长带的荧光穿过二色镜455,同时散射光被反射。散射光被镜子456反射,通过双激光线通滤波器457和透镜458,并被聚焦到成像设备437的第一区域上。长通二色镜459将荧光分离为第一和第二波长带,荧光分别穿过长通滤波器460和带通滤波器461且被聚焦在成像设备437的第二和第三区域上。
很明显,显微镜聚焦控制系统适合用于任何其他类型的显微镜,不仅仅是上述紧凑型显微镜的实施例。如果合适,聚焦控制系统可以具有和显微镜的主检测器分隔的自己的成像设备。
适应性
此处描述的紧凑型显微镜有利之处在于其提供了宽视场成像最期待的方面:低样品移动,高振动稳定性,单分子检测灵敏度,紧凑、稳健、便携和低成本外形因素下的自动化和高通量。
光学路径被设计来提供尽可能最高的检测效率,且尽可能的紧凑。对于单个阵列传感器上的多通道成像,该设计不要求图像形成在切割图像的狭缝光阑的平面里。这通常由将图像放入阵列传感器的矩形区域上来完成。相反,上述紧凑型显微镜使用成形的仅照明待检测区域的入射光束。像散透镜和合适的光阑可以用于限定入射光束的宽度和长度。和其他通道分离的光学系统相比,本系统移除了检测路径对对两个透镜和可调节的狭缝光阑的需要,提高了检测效率并节省了空间和部件成本。
分开的照明源模块的设置的有利之处在于其从显微镜外壳移除了部件以允许外壳变得更小,且其避免了来自激光或支撑设备的热加热显微镜外壳和外壳内的温度敏感样品。分开的照明源模块也提供适应性,为了改变显微镜功能,能够很容易地提供并通过光纤链路连接不同的照明源模块。多种允许显微镜连接到多个照明部分的连接件可以被提供,或者为了平行操作或降低多种显微镜可以被连接到单个照明源模块。激光源可以是连续波或任何脉冲源的结合,包括双激光激发、三激光激发或复杂脉冲序列,例如具有交替单和双激光激发的序列。在使用光纤之处,光纤可以以已知的方式操作,例如通过加热或机械弯曲、拉伸或挤压,以产生均匀的照明光。控制电子设备也可以设置为照明源模块的一部分,包括例如电源、压电驱动器、激光驱动器、信号和输入/输出硬件,以及光纤挤压压电驱动器。这意味着,例如,为了将显微镜运用到特定的实验,仅仅合适的照明源模块和第二光学支撑模块(需要时)被连接到紧凑型显微镜是必要的。
可选地或另外,如果希望的话,照明源模块或者源可以设置在显微镜外壳里。可以提供任何合适的检测器,或检测器组,以及对应的返回光学系统来将显微镜运用到期望的功能。尽管以上描述的是单物镜系统,但如果需要显微镜可以包括两个或更多个物镜系统。尽管此处描述的显微镜具有物镜系统,但在一些应用中物镜系统可以被其他光采集元件例如反射式物镜系统代替。显微镜光学元件和物镜台的模块性质允许这样的改变。
有利地,显微镜可以设有传感器以检测和记录测量参数,例如温度、湿度、压力、大气组成、加速、电磁场以及位置。来自传感器的信息能够用于显微镜外壳内部或外部的带有控制系统的反馈系统中,以实现期望的精确的测量条件。例如,安装在主光学支撑元件上的温度控制单元能够加热或冷却整个显微镜(以及外壳里的空气)到一定的温度。借助适宜的温度控制,显微镜能够用作培养箱,特别是在样品必须在一定的温度下被保持时。已知的正常的显微镜的方法仅仅是使用物镜加热器以将样品保持在需要的温度下。这将不可避免的导致显微镜和样品之间的温度梯度,温度梯度会导致显微镜的移动以及样品中的温度对流。通过保持整个环境在需要的温度下,可以减小或消除这些问题。内部大气也可以被调节。例如,将二氧化碳线连接到显微镜以及将气体调节器和环境传感器的反馈相连可以使得显微镜作为哺乳动物细胞培养箱。显微镜软件也能够使用传感器信息来判断测量的质量,以及如果必要的话舍弃无效的测量。记录的传感器信息也有助于测量的再现性。
显微镜在照明和检测选择、检查的样本和浓度方案的角度是非常有适应能力和灵活的。例如,各种照明部分能够被使用:单波长连续激光器、具有皮秒到秒时域的调制的脉冲激发源,具有使用不同调制方法(例如电子开/关调制、斩波器、声光调制器、声光可调滤波器、电光调制)调制的多种调制激光的复杂激发方案。在一些情况下,显微镜甚至能够在缺少照明部分时工作,例如在化学发光化合物的情形中(负责荧光发射的状态是由化学反应产生)。显微镜能够适于容纳具有多种形式的样品,例如含有发光化合物的溶液,具有固定化分子的盖玻片,包含荧光分子的流式细胞,具有固定的哺乳动物细胞或组织样本的载玻片。尽管显微镜具有检测单个分子的灵敏度,其也可以在在单个或多个光谱发射通道里查看平均强度的高浓度模式下工作。从检测的角度,点源检测形式例如共聚显微(通过聚焦的激光束照明的衍射限制量被聚焦的点检测器上如雪崩光电二极管检测器,APD)或宽视场成像(试样平面的大面积成像在2D检测器上例如CCD、EMCCD和sCMOS照相机)能够被实现。除了荧光和荧光寿命成像能力,发射路径上的滤波器的仔细选择和适当的几何形状能够促成散射测量。激光波长或波长可以被选择为诱导样品中的变化,例如触发样品中的光化学或(光)物理过程例如荧光团(通过UV激光)的光活化或受激发射,荧光团的化学和量子状态的控制,以及局部温度变化(通过聚焦红外激光器)。多个源的使用允许根据需要引导多个波长的光到样品或到同一样品的不同区域。
显微镜系统非常适合于附带合适的控制和分析软件的自动化,其中硬件控制,数据采集和存储和可视化过程紧密结合。合适的软件可以提供自动化的数据采集,实时分析,智能数据分析,所以很少或不需要用户交互、实时数据可视化和报告。在广泛的应用范围中,许多信号可以同时在单视场中测量。借助压电摩擦驱动器,所述样品能够被平移几厘米,使得数以千计的视场可以以完全自动化的方式被测量,并行发生数据分析和解释。一个非常大的数据集可以在很短的时间内收集和处理。一个这样的显微镜或这种显微镜的阵列可用于高通量,大规模并行多维筛选应用,诸如用于药物环境中。
带来本发明的工作已经接受了欧盟第七框架计划(FP7/2007-2013)下的欧洲研究委员会的基金/ERC赠款协议n°261227。
在以上描述中,实施方式是示例或本发明的实施。“一个实施例”,“实施例”或“一些实施例”的各种出现不一定都指代相同的实施例。
虽然本发明的各种特征可在单个实施例的情况下被描述,这些特征也可以单独地或以任何合适的组合提供。相反,尽管为了清楚本发明可以在单独的实施例的情况下描述,本发明也可以在单个实施例中实现。
此外,需要理解的是,本发明可以以各种方式被执行或实践,并且本发明可以在除了上述的说明中列出的实施例之外的其它实施例中实施。
除非另有定义,本文所使用的技术和科学术语的含义是本发明所属的领域的普通技术人员之一的通常理解。

Claims (27)

1.一种紧凑型显微镜,包括:
外壳,
支撑元件,
位于外壳内且由支撑元件支撑的主光学支撑元件,
位于支撑元件和主光学支撑元件之间的至少一个隔振支座,
安装在主光学支撑元件上的样品台,
用于从样品台接收返回光并将返回光传输到检测设备的返回光学系统,
其中,返回光学系统安装在主光学支撑元件上。
2.根据权利要求1所述的紧凑型显微镜,具有安装在主光学支撑元件上的物镜系统。
3.根据权利要求1或2所述的紧凑型显微镜,具有照明部分和照明光学系统,照明光学系统用于将来自照明部分的照明光束引导到样品台,其中,照明光学系统被安装在主光学支撑元件上。
4.根据权利要求3所述的紧凑型显微镜,其中,照明光学系统的至少一部分和返回光学系统位于紧凑型显微镜的不同平面。
5.根据权利要求4所述的紧凑型显微镜,其中,检测设备由主光学支撑元件支撑。
6.根据权利要求3到5中任一项所述的紧凑型显微镜,其中,照明光学系统和返回光学系统的至少一部分包括由主光学支撑元件支撑的第二光学支撑元件。
7.根据权利要求3到6中任一项所述的紧凑型显微镜,其中,照明部分包括用于接收连接到光源的光纤的连接件。
8.根据权利要求3到7中任一项所述的紧凑型显微镜,其中,所述检测设备包括光电检测器。
9.根据权利要求3到7中任一项所述的紧凑型显微镜,其中,所述检测设备包括成像设备。
10.根据权利要求3到9中任一项所述的紧凑型显微镜,其中,所述照明部分包括功率计。
11.根据权利要求3到10中任一项所述的紧凑型显微镜,其中,照明光学系统包括光束整形光学元件以控制照明光束的形状。
12.根据权利要求11所述的紧凑型显微镜,其中,照明光学系统包括至少一个光阑以控制照明光束的形状。
13.根据权利要求3到12任一项所述的紧凑型显微镜,其中,返回光学系统可被操作为将返回光分离成至少第一波长带和第二波长带。
14.根据直接或间接从属于权利要求8的权利要求13所述的紧凑型显微镜,其中,返回光学系统引导第一波长带的返回光到成像设备的第一区域,引导第二波长带的返回光到成像设备的第二区域。
15.根据前述权利要求的任一项所述的紧凑型显微镜,其中,样品台是可移动的。
16.根据权利要求15所述的紧凑型显微镜,还包括聚焦稳定光束光学系统以将聚焦稳定光束引导到物镜系统。
17.根据权利要求16所述的紧凑型显微镜系统,包括具有聚焦稳定光束的参考图像的聚焦控制器,所述聚焦控制器可被操作以接收来自物镜系统的聚焦稳定光束的后继图像并根据参考图像和后继图像控制样品台。
18.根据权利要求17所述的紧凑型显微镜系统,其中,照明光束为脉冲,后继图像在照明光束的脉冲之间被获取。
19.根据权利要求17或18所述的紧凑型显微镜系统,其中,聚焦稳定光束的后继图像从光检测设备接收。
20.一种显微镜系统,包括根据前述任一权利要求所述的紧凑型显微镜和照明源模块,紧凑型显微镜的照明光学系统和照明源模块由光纤连接。
21.根据权利要求20所述的显微镜系统,其中,所述照明源模块包括激光源。
22.根据权利要求21所述的显微镜系统,其中,所述照明源模块包括第一激光源、第二激光源和光束结合光学系统,第一激光源用于产生具有第一波长的第一照明光束,第二激光源用于产生具有第二波长的第二照明光束,光束结合光学系统用于将第一照明光束和第二照明光束传输到光纤。
23.根据直接或间接从属于权利要求16的权利要求21或22所述的显微镜系统,其中,照明源模块包括聚焦稳定光束激光源和聚焦稳定光束光纤以将聚焦稳定光束传输到紧凑型显微镜。
24.一种显微镜聚焦控制系统,包括:
可移动的样品台,
物镜系统,
聚焦稳定光束光学系统,用于将聚焦稳定光束引导到物镜系统,
成像设备,
返回光学系统,用于将光返回到成像设备,
以及控制系统,所述控制系统可被操作以从物镜系统接收聚焦稳定光束的参考图像,接收聚焦稳定光束的后继图像,并根据参考图像和后继图像控制样品台。
25.根据权利要求24所述的显微镜聚焦控制系统,其中,控制系统可被操作以控制样品台以使得后继图像和参考图像匹配。
26.一种控制显微镜聚焦的方法,包括:
储存聚焦稳定光束的参考图像,
传输聚焦稳定光束到显微镜的物镜系统,
接收聚焦稳定光束的后继图像,以及
根据参考图像和后继图像控制显微镜的样品台。
27.根据权利要求26所述的方法,包括控制样品台以使得后继图像和参考图像匹配。
CN201480071321.9A 2013-10-25 2014-10-27 紧凑型显微镜 Active CN105849616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398093.0A CN110068921B (zh) 2013-10-25 2014-10-27 紧凑型显微镜

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1318919.6 2013-10-25
GBGB1318919.6A GB201318919D0 (en) 2013-10-25 2013-10-25 Compact microscope
PCT/IB2014/065639 WO2015059682A1 (en) 2013-10-25 2014-10-27 Compact microscope

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910398093.0A Division CN110068921B (zh) 2013-10-25 2014-10-27 紧凑型显微镜

Publications (2)

Publication Number Publication Date
CN105849616A true CN105849616A (zh) 2016-08-10
CN105849616B CN105849616B (zh) 2019-06-07

Family

ID=49767190

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910398093.0A Active CN110068921B (zh) 2013-10-25 2014-10-27 紧凑型显微镜
CN201480071321.9A Active CN105849616B (zh) 2013-10-25 2014-10-27 紧凑型显微镜

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910398093.0A Active CN110068921B (zh) 2013-10-25 2014-10-27 紧凑型显微镜

Country Status (7)

Country Link
US (2) US10330904B2 (zh)
EP (2) EP3842850A1 (zh)
JP (1) JP6632536B2 (zh)
CN (2) CN110068921B (zh)
CA (2) CA2928712C (zh)
GB (2) GB201318919D0 (zh)
WO (1) WO2015059682A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168348A (zh) * 2017-01-05 2019-08-23 伊鲁米那股份有限公司 模块化光学分析系统和方法
CN110612054A (zh) * 2017-03-07 2019-12-24 启艺光学两合公司 在插管的远端具有盖的内窥镜
CN111694141A (zh) * 2019-03-15 2020-09-22 布鲁克光学有限公司 红外显微镜
CN112567282A (zh) * 2018-08-20 2021-03-26 美天施生物科技有限两合公司 显微镜设备
CN113155826A (zh) * 2020-01-07 2021-07-23 深圳华大智造科技有限公司 检测装置
CN113330300A (zh) * 2018-11-19 2021-08-31 诺威量测设备股份有限公司 集成测量系统
CN113777768A (zh) * 2021-10-13 2021-12-10 大连理工大学 基于3d打印制造的显微成像及光学传感物联网系统
CN114035311A (zh) * 2021-11-23 2022-02-11 上海中珂光镊科技有限公司 一种光镊显微镜

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201318919D0 (en) 2013-10-25 2013-12-11 Isis Innovation Compact microscope
CN104570315B (zh) * 2014-12-30 2017-06-27 中国科学院西安光学精密机械研究所 一种基于结构照明的彩色三维层析显微成像系统及方法
GB201507021D0 (en) 2015-04-24 2015-06-10 Isis Innovation Compact microscope
DE102016110743B4 (de) * 2016-06-10 2018-07-05 Airbus Ds Optronics Gmbh Optronische Sensorvorrichtung und lagestabilisierte Plattform
GB2552195A (en) * 2016-07-13 2018-01-17 Univ Oxford Innovation Ltd Interferometric scattering microscopy
EP3351992B1 (en) * 2017-01-24 2019-10-23 Horiba France SAS Micro-spectrometry measurement method and system
US10712545B2 (en) * 2017-03-07 2020-07-14 The United States Of America As Represented By The Secretary, Department Of Health And Human Services Systems and methods for conducting contact-free thickness and refractive-index measurements of intraocular lenses using a self-calibrating dual confocal microscopy system
WO2018174244A1 (ja) * 2017-03-23 2018-09-27 アトナープ株式会社 光学ヘッドおよび計測装置
US10422984B2 (en) * 2017-05-12 2019-09-24 Applied Materials, Inc. Flexible mode scanning optical microscopy and inspection system
US10809513B2 (en) * 2017-06-06 2020-10-20 United Arab Emirates University Functionalized optical lens and method of manufacturing
US10571334B2 (en) * 2017-12-15 2020-02-25 Horiba Instruments Incorporated System and method for selective resolution for concave grating spectrometer
WO2020009186A1 (ja) * 2018-07-06 2020-01-09 北海道公立大学法人札幌医科大学 観察装置
GB201819029D0 (en) 2018-11-22 2019-01-09 Cambridge Entpr Ltd Optical microscopy
US10816784B1 (en) * 2019-06-19 2020-10-27 Refeyn Ltd Interferometric scattering microscopy methods and systems
CZ2019637A3 (cs) * 2019-10-11 2020-12-09 Ăšstav fotoniky a elektroniky AV ÄŚR, v.v.i. Termooptický prostorový modulátor světla
GB202010411D0 (en) 2020-07-07 2020-08-19 Cambridge Entpr Ltd Interferometric scattering optical microscopy
CN112114423A (zh) * 2020-09-01 2020-12-22 安徽医科大学 一种便携式全自动多模态显微成像装置
WO2022149162A1 (en) * 2021-01-06 2022-07-14 Scopgenx Private Limited A compact portable multimodal microscopy
CN112859315A (zh) * 2021-01-11 2021-05-28 北京大学 一种多色双模式结构光照明显微成像系统及其成像方法
JP2022170900A (ja) * 2021-04-30 2022-11-11 株式会社キーエンス 分析装置
CN114764185B (zh) * 2021-05-10 2023-12-15 锘海生物科学仪器(上海)有限公司 一种卡槽安装方式的废液池

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2465197Y (zh) * 2001-02-13 2001-12-12 徐延安 扫描隧道显微镜测试台
US20030103662A1 (en) * 2001-12-05 2003-06-05 Finkbeiner Steven M. Robotic microscopy systems
CN1782777A (zh) * 2004-12-03 2006-06-07 株式会社其恩斯 荧光显微镜
CN102782557A (zh) * 2010-02-12 2012-11-14 徕卡显微系统复合显微镜有限公司 扫描显微镜和用于光学扫描一个或多个样本的方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4893914A (en) 1988-10-12 1990-01-16 The Micromanipulator Company, Inc. Test station
WO1996021160A1 (en) 1993-12-27 1996-07-11 Hypervision, Inc. Transportable image emission microscope
GB2299238B (en) 1995-03-22 1997-06-11 Audix Communications Limited Loudspeaker and loudspeaker system
CH690384A5 (de) 1995-03-24 2000-08-15 Zeiss Carl Fa Computerunterstütztes Video-Mikroskop.
CN100356163C (zh) 1996-08-16 2007-12-19 Ge保健尼亚加拉公司 用于分析井板、凝胶和斑点的数字成像系统
DE19733195B4 (de) 1997-08-01 2006-04-06 Carl Zeiss Jena Gmbh Hoch-Kompaktes Laser Scanning Mikroskop mit integriertem Kurzpuls Laser
CA2318892A1 (en) 1998-01-27 1999-07-29 Wisconsin Alumni Research Foundation Signal enhancement for fluorescence microscopy
US6974938B1 (en) * 2000-03-08 2005-12-13 Tibotec Bvba Microscope having a stable autofocusing apparatus
JP3794670B2 (ja) 2000-04-28 2006-07-05 株式会社日立国際電気 顕微鏡のオートフォーカス方法及び装置
EP1428169B1 (en) * 2002-02-22 2017-01-18 Olympus America Inc. Focusable virtual microscopy apparatus and method
JP2003241079A (ja) 2002-02-22 2003-08-27 Mitsutoyo Corp 画像観察装置
JP4439815B2 (ja) * 2002-08-22 2010-03-24 株式会社トプコン 手術用顕微鏡
JP4121849B2 (ja) * 2002-12-26 2008-07-23 オリンパス株式会社 欠陥検査装置及び欠陥検査方法
US7799559B2 (en) * 2003-10-24 2010-09-21 Olympus Corporation Culture microscope apparatus
JP4740554B2 (ja) * 2004-05-12 2011-08-03 オリンパス株式会社 培養顕微鏡装置
JP2006123375A (ja) * 2004-10-29 2006-05-18 Pentel Corp ボールペン
JP2006162765A (ja) * 2004-12-03 2006-06-22 Keyence Corp 倒立型蛍光顕微鏡
JP4970869B2 (ja) * 2005-09-12 2012-07-11 オリンパス株式会社 観察装置および観察方法
EP1930717B1 (en) * 2005-09-29 2019-06-19 Olympus Corporation Focal position determining method and apparatus
JP2007127524A (ja) 2005-11-04 2007-05-24 Olympus Corp 多光子励起型観察装置および多光子励起型観察用光源装置
JP2007183435A (ja) 2006-01-06 2007-07-19 Keyence Corp 顕微鏡装置
WO2007123744A2 (en) * 2006-03-31 2007-11-01 Solexa, Inc. Systems and devices for sequence by synthesis analysis
DE102006027836B4 (de) 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
KR20090069165A (ko) 2006-08-04 2009-06-29 아이코니시스 인코포레이티드 현미경 외장 시스템
EP1959292A3 (en) * 2007-02-13 2009-06-17 Olympus Corporation Laser microscope
JP5047669B2 (ja) * 2007-04-04 2012-10-10 オリンパス株式会社 走査型共焦点顕微鏡装置
US8027083B2 (en) * 2007-04-20 2011-09-27 International Business Machines Corporation Contact microscope using point source illumination
US7936454B2 (en) 2007-10-05 2011-05-03 Burt Jay Beardsley Three mirror anastigmat spectrograph
US7897942B1 (en) * 2007-12-20 2011-03-01 Kla-Tencor Corporation Dynamic tracking of wafer motion and distortion during lithography
DE102008018864B4 (de) 2008-04-15 2022-01-05 Carl Zeiss Microscopy Gmbh Mikroskop mit Haltefokus-Steuerung
CN201242612Y (zh) * 2008-06-12 2009-05-20 复旦大学 稳态激光泵浦上转换发光显微镜
US8040513B2 (en) 2008-06-18 2011-10-18 Till I.D. Gmbh Dual emission microscope
WO2010108038A2 (en) 2009-03-18 2010-09-23 University Of Utah Research Foundation A microscopy system and method for creating three dimensional images using probe molecules
US8174761B2 (en) 2009-06-10 2012-05-08 Universitat Heidelberg Total internal reflection interferometer with laterally structured illumination
DE102009029831A1 (de) * 2009-06-17 2011-01-13 W.O.M. World Of Medicine Ag Vorrichtung und Verfahren für die Mehr-Photonen-Fluoreszenzmikroskopie zur Gewinnung von Informationen aus biologischem Gewebe
DE102009044983A1 (de) 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
JP5577885B2 (ja) * 2010-06-28 2014-08-27 ソニー株式会社 顕微鏡及び合焦点方法
US8481904B2 (en) * 2011-01-07 2013-07-09 Daniel R. Marshall Autofocus system with stray light compensation
JP5888498B2 (ja) 2012-01-31 2016-03-22 横河電機株式会社 顕微鏡装置
US10359614B2 (en) * 2012-07-03 2019-07-23 Advanced Animal Diagnostics, Inc. Diagnostic apparatus
US9632303B2 (en) * 2012-11-26 2017-04-25 Osaka University Optical microscope, and autofocus device for optical microscope
GB201318919D0 (en) 2013-10-25 2013-12-11 Isis Innovation Compact microscope

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2465197Y (zh) * 2001-02-13 2001-12-12 徐延安 扫描隧道显微镜测试台
US20030103662A1 (en) * 2001-12-05 2003-06-05 Finkbeiner Steven M. Robotic microscopy systems
CN1782777A (zh) * 2004-12-03 2006-06-07 株式会社其恩斯 荧光显微镜
CN102782557A (zh) * 2010-02-12 2012-11-14 徕卡显微系统复合显微镜有限公司 扫描显微镜和用于光学扫描一个或多个样本的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168348A (zh) * 2017-01-05 2019-08-23 伊鲁米那股份有限公司 模块化光学分析系统和方法
US11408828B2 (en) 2017-01-05 2022-08-09 Illumina, Inc. Modular optical analytic systems and methods
CN110168348B (zh) * 2017-01-05 2022-09-20 伊鲁米那股份有限公司 模块化光学分析系统和方法
CN110612054A (zh) * 2017-03-07 2019-12-24 启艺光学两合公司 在插管的远端具有盖的内窥镜
CN112567282A (zh) * 2018-08-20 2021-03-26 美天施生物科技有限两合公司 显微镜设备
CN112567282B (zh) * 2018-08-20 2023-08-29 美天施生物科技有限两合公司 显微镜设备
CN113330300A (zh) * 2018-11-19 2021-08-31 诺威量测设备股份有限公司 集成测量系统
CN111694141A (zh) * 2019-03-15 2020-09-22 布鲁克光学有限公司 红外显微镜
US11714272B2 (en) 2019-03-15 2023-08-01 Bruker Optics Gmbh & Co. Kg IR microscope
CN113155826A (zh) * 2020-01-07 2021-07-23 深圳华大智造科技有限公司 检测装置
CN113777768A (zh) * 2021-10-13 2021-12-10 大连理工大学 基于3d打印制造的显微成像及光学传感物联网系统
CN114035311A (zh) * 2021-11-23 2022-02-11 上海中珂光镊科技有限公司 一种光镊显微镜

Also Published As

Publication number Publication date
US10330904B2 (en) 2019-06-25
GB2535141B (en) 2018-12-19
CN110068921B (zh) 2022-05-03
WO2015059682A1 (en) 2015-04-30
EP3060954B1 (en) 2021-08-04
CN110068921A (zh) 2019-07-30
JP2016541027A (ja) 2016-12-28
US20160266362A1 (en) 2016-09-15
GB2535141A (en) 2016-08-17
US11169366B2 (en) 2021-11-09
CA3171581A1 (en) 2015-04-30
US20190324238A1 (en) 2019-10-24
EP3060954A1 (en) 2016-08-31
GB201500860D0 (en) 2015-03-04
JP6632536B2 (ja) 2020-01-22
EP3842850A1 (en) 2021-06-30
GB201318919D0 (en) 2013-12-11
CN105849616B (zh) 2019-06-07
CA2928712A1 (en) 2015-04-30
CA2928712C (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN105849616A (zh) 紧凑型显微镜
CN102914861B (zh) 扫描共焦显微术中的改进以及与之相关的改进
US11703673B2 (en) Compact microscope
US8994807B2 (en) Microscopy system and method for creating three dimensional images using probe molecules
CN102782557B (zh) 扫描显微镜和用于光学扫描一个或多个样本的方法
US20120287244A1 (en) Non-coherent light microscopy
CN105556280A (zh) 用于3d多尺度显微术的具有集成微镜的微构造表面
Larson et al. Design and construction of a multiwavelength, micromirror total internal reflectance fluorescence microscope
SA118390415B1 (ar) مضيء خط ليزر لإجراء تسلسل عالي الإنتاجية
EP3293559A1 (en) Microscope
EP2884324B1 (en) Observation device
EP3757647A1 (en) Multi-view light-sheet microscope with an optical arm combiner
US20160041099A1 (en) Light sheet fluorescence and differential interference contrast microscope
Bravo-Zanoguera et al. Dynamic autofocus for continuous-scanning<? xpp qa?> time-delay-and-integration image acquisition<? xpp qa?> in automated microscopy
Krushinsky et al. Upgrade of the fiber-fed spectrograph of the Kourovka Astronomical Observatory
Niederauer et al. The K2: Open-source simultaneous triple-color TIRF microscope for live-cell and single-molecule imaging
CN105737986A (zh) 多功能显微共焦光谱仪
CN104083146A (zh) 一种生物神经环路活体成像系统
Meijering et al. Implementation of 3D Multi-Color Fluorescence Microscopy in a Quadruple Trap Optical Tweezers System
CN116430569A (zh) 照明装置、扫描成像方法和全内反射显微成像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB02 Change of applicant information

Address after: oxford

Applicant after: University of Oxford science and Technology Innovation Co., Ltd.

Address before: oxford

Applicant before: ISIS Innovaton Ltd.

COR Change of bibliographic data
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant