CN110632749A - 用于以影像导引的显微照射的显微镜系统及方法 - Google Patents

Abstract

本发明提供了一种显微镜系统及方法，用于影像引导的显微照射。显微镜系统包括显微镜、照射组件、摄像组件、第一处理模块、和第二处理模块。显微镜包括载台，其用以装载样本。摄像组件可包括相机。前述处理模块与显微镜及摄像组件及照射组件耦接。处理模块控制摄像组件，使得相机撷取样本在第一视野下的至少一影像。前述影像被传送至前述处理模块，并且由第一处理模块基于一预设条件自动且实时地进行处理，以定义出影像中的目标区域，且从而获得与目标区域有关的坐标信息。与目标区域有关的坐标信息自动地传送至处理模块，且此处理模块根据所接收到的与目标区域有关的坐标信息来控制照射组件来对样本的目标区域进行照射。

Description

用于以影像导引的显微照射的显微镜系统及方法

技术领域

本发明是关于一种用于在一样本上照射图案的系统及方法，特别是关于一种用于在大量的视野下高速且连续地照射不同图案的显微镜系统及方法。

背景技术

目前有在样本(例如生物样本)的特定位置处上照射图案的需求。例如在某些亚细胞区域处的分子光漂白、在限定位置处的荧光团的光活化、光遗传学、指定细胞器内活性氧的光触发释放、或细胞的限定结构特征中的光诱导蛋白质标记的处理均需要图案照射。对于某些应用，上述处理的图案可能需要通过显微镜影像所定义。某些应用还需要处理足够的样本、添加高通量要求以重复多个区域中的处理。能够执行这种自动化基于影像的局部光触发处理的系统很少见。

处理蛋白质、脂质或核酸的一个例子是将它们标记以用于分离和鉴定。经标记的蛋白质、脂质或核酸可以使用例如质谱仪或测序仪等其他系统所分离和鉴定。由Kevin CHadley等人在2015年提出的STOMP(空间目标光学微型蛋白质组学)是一种使用市售双光子系统的手动操作的技术，但缺乏达到本发明的高通量能力的主要组件。使用激光切割广泛用于分离组织或细胞培养物的一部分的激光捕获显微切割(LCM)系统在缺乏高通量能力之外也不具有本发明可以实现的轴向精度。

发明内容

有鉴于上述目的，本发明提供了以影像导引的系统和方法，能够在样本上照射不同图案。换句话说，这样的系统和方法能根据用户所定义的显微影像特征来处理高通量的蛋白质、脂质、核酸或生物化学物质，以在目标区域中进行调节，转化，分离或鉴定，并广泛地应用于细胞或组织样本研究中。凭借光学、光化学、图像处理和机电设计的独特整合，本文所提供的系统及方法能够以每个视野300毫秒的速度实现影像导引照射，这点是现有技术(如STOMP或LCM)仍无法实现的。但是这个速度对于在合理的时间内收集足够的生物分子样本是必要的。举例而言，本文所提供的系统及方法能够在10小时的照射时间内收集到足够的蛋白质样品，供后续进行蛋白质组学分析。本发明藉由独特的设计策略，与任何现有技术有极大的不同。

此系统可以包括一显微镜、一摄像光源、一数字相机、一第一处理模块、一第二处理模块(例如现场可编程门阵列(FPGA)单元或特定应用集成电路(ASIC))、一照射光源、一快门、一图案照射装置(例如一对电流计扫描镜、一数字微镜装置(DMD)或一空间光调控器(SLM)、一显微镜载台以及一自动聚焦装置。处理模块被编程为抓取相机影像，并基于用户所定义的准则实时地处理所抓取到的影像，以决定或定义出欲照射的样本位置。接着，处理模块是被编程来控制快门和扫描镜，以将照射光源一次一个地引导到这些位置。当处理模块装载有集成记忆单元(例如DRAM)的时候，集成记忆单元会提供快速处理和传送影像数据所必需的数据储存空间，以实现快速处理。一个处理模块(例如计算器)分别控制一摄像光源、一自动聚焦装置，以及用于摄像、维持聚焦和改变视野的一显微镜载台。摄像、图像处理、照射和载台移动系通过软件或韧体程序来协调，以实现快速且高通量的影像引导照射。飞秒激光器可以当作照射光源，来产生用于高轴向照射精度的双光子效应。影像的处理准则可以是基于显微影像的形态、强度、对比度或特定特征。图像处理的方式可以是通过例如定限、侵蚀、滤波或人工智能训练的语义分割法的实时图像处理技术所完成。本文所提供的系统及方法，其速度和高通量的本质使得其能够收集大量特定位置的样本，以用于光诱导分子标记、光转换、或蛋白质组学、转录组学和代谢组学研究。

为了达到以上目的，本发明提供一种显微镜系统，用于影像引导的显微照射。此显微镜系统包括一显微镜、一照射组件、一摄像组件及一处理模块。显微镜包括一载台，其用以装载一样本。摄像组件可包括一可控的相机，且可控的相机可被安装在显微镜上或与显微镜的光路对齐(即安装于光路中)。照射组件可包括一图案照射装置。处理模块与显微镜、摄像组件及照射组件耦接。处理模块控制摄像组件，使得相机撷取样本在第一视野下的至少一影像。一个或多个影像被传送至处理模块，并且由处理模块基于一预设的准则自动且实时地进行处理，以定义出影像中的一目标区域，且从而获得与目标区域有关的一坐标信息。目标区域有关的坐标信息被自动地传送至处理模块，并且处理模块根据所获得到的与目标区域有关的坐标信息来控制照射组件的图案照射装置来对样本的目标区域进行照射。

为了达到以上目的，本发明也提供另一种显微镜系统，用于影像引导的显微照射。此显微镜系统包括一显微镜、一照射组件、一摄像组件、一第一处理模块、一第二处理模块。显微镜包括一载台，其用以装载一样本。摄像组件可包括一可控的相机，且可控的相机可被安装在显微镜上或与显微镜的光路对齐。照射组件可包括一图案照射装置。第一处理模块与显微镜及摄像组件耦接。第二处理模块与照射组件及第一处理模块耦接。第一处理模块控制摄像组件，使得相机撷取样本在一第一视野下的至少一影像。一个或多个影像被传送至第一处理模块，并且由第一处理模块基于一预设的准则自动实时地进行处理，以定义出影像中的一目标区域，且从而获得与目标区域有关的一坐标信息。与目标区域有关的坐标信息自动地传送至第二处理模块，且第二处理模块根据所接收到的与目标区域有关的坐标信息来控制照射组件的图案照射装置来对样本的目标区域进行照射。

为了达到以上目的，本发明更提供另一种显微镜系统。此显微镜系统包括一显微镜、一照射组件、一第一处理模块、一第二处理模块。显微镜包括一载台，其用以装载一样本。摄像组件可包括一可控的相机，且可控的相机可被安装在显微镜上或与显微镜的光路对齐。照射组件可包括一图案照射装置。第一处理模块与显微镜及摄像组件耦接。第二处理模块与照射组件、相机及第一处理模块耦接，且第二处理模块包括一记忆单元。第一处理模块控制摄像组件，第二处理模块控制相机，使得相机撷取样本在一第一视野下的至少一影像。一个或多个影像被传送至第二处理模块的记忆单元。接着一个或多个影像由第二处理模块基于一预设的准则自动实时地进行处理，以定义出影像中的一目标区域，且从而获得与所述目标区域有关的一坐标信息。第二处理模块根据所接收到的与目标区域有关的坐标信息来控制照射组件的图案照射装置来对样本的目标区域进行照射。

为了达到以上目的，本发明也提供另一种显微镜方法，用于影像引导的显微照射。此显微镜方法包括以下(a)至(d)的步骤：(a)由一处理模块启动一摄像组件的一相机，以撷取一样本在一第一视野下的至少一影像，其中样本被装载在一显微镜的一载台上；(b)将样本的一个或多个影像自动传送至处理模块；(c)基于一预设的准则，由处理模块自动且实时地进行样本的图像处理，以定义出影像中的一目标区域并获得与目标区域有关的一坐标信息；以及(d)由处理模块根据所获取到的坐标信息来控制一照射组件来对样本中的目标区域进行照射。

为了达到以上目的，本发明更提供一种显微镜方法，用于影像引导的显微照射。此显微镜方法包括以下(a)至(e)的步骤：(a)由一第一处理模块启动一摄像组件的一相机，以获取一样本在一第一视野下的至少一影像，其中样本被装载在一显微镜的一载台上；(b)将样本的一个或多个影像自动传送至第一处理模块；(c)基于一预设的准则，由第一处理模块自动且实时地进行样本的图像处理，以定义出影像中的一目标区域并获得与目标区域有关的一坐标信息；(d)将与目标区域有关的坐标信息自动传送至一第二处理模块；以及(e)由第二处理模块根据所接收到的坐标信息来控制一照射组件来对样本中的目标区域进行照射。

为了达到以上目的，本发明也提供另一种显微镜方法，用于影像引导的显微照射。此显微镜方法包括以下(a)至(d)的步骤：(a)由一第一处理模块控制一摄像组件以及由一第二处理模块启动摄像组件的一相机，以获取一样本在一第一视野下的至少一影像，其中样本被装载在一显微镜的一载台上；(b)将样本的一个或多个影像自动传送至第二处理模块的一记忆单元；(c)基于一预设的准则，由第二处理模块自动且实时地进行样本的图像处理，以定义出影像中的一目标区域并获得与目标区域有关的一坐标信息；以及(d)由第二处理模块根据所接收到的坐标信息来控制一照射组件来对样本中的目标区域进行照射。

在一实施例中，在目标区域被完全照射之后，第一处理模块控制显微镜的载台移动至位于第一视野之后的一第二视野。

在一实施例中，在移动至下一个视野后，此方法还依序重复前述的一个或多个摄像步骤、前述的一个或多个的图像处理步骤、以及前述的一个或多个的照射处理步骤，直到所有指定视野的目标区域都完成照射。

在一实施例中，图像处理的方式是以例如定限、侵蚀、滤波或人工智能训练的语义分割法的实时图像处理技术所完成。

在一实施例中，摄像组件包括一摄像光源、一第一快门、及可控的相机。此摄像光源提供一摄像光线，经由一摄像光路以在拍摄所述样本时对所述样本照光。第一快门，沿着摄像光路，是设置在摄像光源及显微镜之间。可控的相机是设置在显微镜上或摄像光路中。

在一实施例中，照射组件包括一照射光源及图案照射装置。照射光源提供一照射光线，经由一照射光路以照射样本。图案照射装置包括至少一对扫描镜及一第二快门、一数字微镜装置或一空间光调控器；沿着所述照射光路，所述图案照射装置是设置在照射光源及显微镜之间。

为了使用本发明的系统和方法，可以在培养基中用光敏剂和化学试剂制备细胞或组织样本。在一视野下，进行显微影像的拍摄及/或撷取。接着，使用图像处理程序来处理被撷取出的影像，以在样本(例如蛋白质、脂质、核酸或其他生物化学物质)上定义出预计被照射的位置(例如通过使用双光子照射光源的光化学反应来进行光激活或处理)。然后，计算机将目标点的坐标传送至扫描镜以进行局部照射。举例而言，当需要进行光化学反应时，事先添加在目标区域中的光敏剂会被照射光线所提供的激发能量所激发，让化学试剂与照射区域中的蛋白质、脂质、核酸或生化物质进行反应。然后重复地控制显微镜载台移动到下一个视野，以重复这个影像引导的光转换处理步骤，直到经处理的样本已足够。

此系统和方法的高通量处理能力可以下述方式来实现和促进：藉由对扫描镜、快门装置、与摄像方法进行优化选择，以及藉由对实时图像处理方式和对图案照射装置、显微镜载台及快门装置的控制方式进行优化设计。例如，包含FPGA或ASIC组件的可编程或依实际需求而定制出的电子芯片，将可让系统优化。这种把软件、韧件、硬件和光学器件的整合方式，使得本发明具有有别于其他现有技术的高通量处理能力。

因此，本发明提供了一种显微镜系统和方法，用于影像引导的显微照射。此显微镜系统和方法可以利用单一一个处理模块或两个独立的处理模块(即，第一处理模块和第二处理模块)，来同时控制用于拍摄样本的至少一个影像的摄像组件以及控制用于照射样本的照射组件。此外，第二处理模块可与第一处理模块通信连接并且接收样本上的目标点的坐标(即，样本影像中的「目标区域」，并且由第一处理模块进行处理)以便快速地控制照射组件来对样品上的目标点进行照射。因此，本发明的影像引导系统和方法实现了一种高通量处理方法，能够在连续且大量的视野下(对样本)照射不同的图案。

附图说明

图1A是根据本发明一实施例的影像导引显微镜系统的示意图。

图1B是根据图1A所示的影像导引显微镜系统中光路的示意图。

图1C是根据本发明另一实施例的影像导引显微图像处理方法的流程示意图，其系利用如图1A所示的影像导引显微镜系统。

图1D是图1B、图2B与图3B中所示的图案照射装置示意图。

图2A是根据本发明另一实施例的影像导引显微镜系统的示意图。

图2B是根据图2A所示的影像导引显微镜系统中光路的示意图。

图2C是根据本发明另一实施例的影像导引显微图像处理方法的流程示意图，其系利用如图2A所示的影像导引显微镜系统。

图3A是根据本发明又一实施例的影像导引显微镜系统的示意图。

图3B是根据图3A所示的影像导引显微镜系统中光路的示意图。

图3C是根据本发明又一实施例的影像导引显微图像处理方法的流程示意图，其系利用如图3A所示的影像导引显微镜系统。

图4A与图4B为根据本文一实验例的图像处理方式所得到的影像，其显示了经定义出的压力颗粒(stress granules)区域。

图5为本文所提供的光蛋白质体学研究方法的示意图。

具体实施方式

以下将参照相关附图，说明依本发明所提供的各种实施例，其中相同的组件将以相同的参照符号加以说明。

本文所提及的所有文献的全文皆藉由引用的方式并入本文，如同每个文献或专利申请案被具体地及个别指明以引用方式并入本文中。当并入的参考文献中术语的定义或用法与本文中提供的术语的定义相违背时，以本文所提供的术语定义为准，而不采用该参考文献中的术语的定义。

需要说明的是，本发明各实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如所附的各附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也会相应的随之改变。

除非上下文另外明确指出，用于本文中以及随后的权利要求中，的术语「一」(a、an)及「该」(the)的含义包括复数形式。而且，除非上下文另外明确指出，用于本文描述中的术语「在...中」(in)，的含义包括「在...中」(in)和「在...上」(on)。

除非上下文有相反之意，否则本文阐述的所有范围应被解释为包括它们的端点，并且开放式范围应被解释为仅包括商业上可行的值。同样地，除非上下文有相反之意，否则所有列出的数值均应视为包含在其其间的数值。

本文对数值范围的列举仅是用来作为单独提及落入该范围内的每个单独数值的简略表达方式。除非本文另有指示，数值范围中的每个数值都视为说明书有明文揭露，如同它在本文中单独地被列举一样。除非在本文另有指示或者与上下文明显矛盾，本文描述的所有方法可以以任何合适的顺序进行。针对本文中的某些实施例提供的任何和所有例子或示例性用语(举例而言，「例如」)的使用仅意在更适当地说明本发明，而不是对本发明所要求保护的范围构成限制。说明书中的任何用语都不应将任何未载明于权利要求中的条件解释为表示对实施本发明来说其为不可或缺的组件。

本文中各实施例所提供的系统与方法，可关于以高通量的方式处理，例如(但不限于)，蛋白质、脂质、核酸或生化物质，其包含有一设像光源、一光激活(photosensitizing)光源、一图案照射装置(例如一组双轴高速检流扫描振镜(galvanometric scanningmirrors))、一显微镜、一自动聚焦装置、一高精度显微镜载台、一高灵敏度数字相机、一控制工作站(或一个人计算机)、一处理模块(例如现场可编程门阵列(FPGA)芯片)，以及一软件程序，软件程序是用来控制相机、处理影像、控制载台、以及控制光路。因此，本文的其中一个目的，是在于有荧光标记或是依结构特征所标记出的细胞影像特定区域中，进行蛋白质、脂质、核酸或生化物质的处理。除此之外，本文的另一个目的则是藉由高通量标定及纯化的方式，收集大量的蛋白质、脂质、或核酸；将其以质谱仪或核酸定序仪分析来于指定(影像)区域中找出特定生物标记，接着进行蛋白质组学、代谢组学或转录组学研究。

根据本发明中某些实施例所提供的系统及方法，是先拍摄荧光染色或是明视野(Brightfield)影像。接着，耦接在系统上的计算机自动地以例如定限、侵蚀、滤波或人工智能训练的语义分割法等方式对所拍到的影像进行图像处理，依据操作人员所设定的条件(或准则)来定义(或决定)出预计处理的区域或位置点。利用一高速扫描系统来进行图案照射，以在前述区域或位置点上照射光激活光，藉此处理在照射区域中的蛋白质、脂质、核酸，或生化物质。在某一实施例中，图案照射装置可包含数字微镜装置(digital micromirrordevice，DMD)或空间光调控器(spatial light modulator，SLM)。光诱发处理(Photo-induced processing)可藉由使用包含光敏剂(photosensitizer，例如核黄素(riboflavin)、孟加拉国玫瑰红(Rose Bengal)或是如单重态氧发生蛋白(miniSOG)或Killer Red等光敏化蛋白)以及用于标记的化学试剂(例如酚、芳香基迭氮(aryl azide)化合物、二苯基甲酮(benzophenone)、Ru(bpy)₃ ²⁺、或前述化合物的衍生物)来达成。标记基团可与生物素等标记粘接试剂(tagging reagents)共轭接合，生物素等标记粘接试剂是用于蛋白纯化或是核酸萃取。光敏剂、标记试剂以及标记粘接试剂可为各自独立的分子，或者是同一个分子但同时具有前述三种功能。空间控制的照光可以让标记试剂共价接合在氨基酸、脂质、核酸或其他生化物质上，而经前述标记的方子则可经过纯化而用于质谱仪分析。脱氧核醣核酸(RNA)则可以其关联蛋白共同被拉出(pulldown)，接着以进行脱氧核醣核酸定序(RNAseq)或是反转录-聚合酶连锁反应(RTPCR)。由于取得足量的脱氧核醣核酸或是蛋白才能降低在测量结果中的背景值，所以本系统的主要目的即在于进行有效且高通量的标记。

本文数个示例性的实施例，说明如下。

根据本文的一实施例，其亦为一种显微镜系统，用于影像引导的显微照射。请参考图1A及图1B。本实施例的显微镜系统包括显微镜10、摄像组件12、照射组件11、以及处理模块13a。显微镜10包括物镜102与载台101。载台101用以装载样本S。摄像组件12可包括一(可控的)相机121、摄像光源122、自动对焦装置123以及第一快门124。请进一步参考图1B与图1D。照射组件11可包括照射光源111与图案照射装置117。图案照射装置117可包括至少一第二快门112、一透镜模块113(例如中继透镜113a与113b、四分之一波板113c)、至少一对扫描镜115与扫描透镜116。在一实施态样中，数字微镜装置或空间光调控器可用来作为图案照射装置117。

在本实施例中，处理模块13a与显微镜10、摄像组件12及照射组件11耦接。处理模块13a可以是一计算机、一工作站，或计算机中的中央处理单元(CPU)，其能够执行设计用来操控本系统的软件。

处理模块13a控制摄像组件12，使得相机121撷取样本S在第一视野下的至少一影像。而前述影像(一个或多个)被传送至处理模块13a，并且由处理模块13a基于一预设条件或准则自动且实时地进行处理，以定义出影像S中的一目标区域，从而获得与目标区域有关的坐标信息。接着，处理模块13a根据所接收到的与目标区域有关的坐标信息来控制照射组件11来对样本S的目标区域进行照射。并且，在目标区域被完全照射之后，处理模块13a控制显微镜10的载台101移动至位于第一视野之后的第二视野。

在本实施例中，摄像光源122提供一摄像光线，经由一摄像光路以在拍摄样本S时对所述样本S照光。第一快门124，沿着摄像光路，是设置在摄像光源122及显微镜10之间。

此外，照射光源111提供一照射光线，经由一照射光路以照射样本S。图案照射装置117，沿着所述照射光路，是设置在照射光源111及显微镜10之间。

请参考图1C，其是根据本实施例影像导引显微图像处理方法的流程示意图。其为本文所提供的影像导引方法较为详细的例子，但本发明并不以此为限。图1C所示的方法，其流程包含如下所示的步骤S11'至S23'。

简单来说，在步骤S11’中，操作人员把显微镜10的载台101移动至开始位置。在步骤S12’中，处理模块13a开启第一快门124。在步骤S13'中，处理模块13a启动相机121以撷取或拍摄样本S的影像。接着，在步骤S14'中，处理模块13a关闭第一快门124。在步骤S15'中，相机121将影像数据传送给处理模块13a。在步骤S16'中，处理模块13a进行图像处理，以获得预计被照射的目标位置的XY坐标数组(亦即样本S的「目标区域」)。在步骤S17'中，处理模块13a将坐标数组传送至信号转换器(例如DAC)17，以将其转换成模拟电压讯号。在步骤S18'中，模拟电压讯号则是被传送至XY扫描振镜115，以将照射光导引至目标点上。在步骤S19'中，处理模块13a开启第二快门112。在步骤S20'中，处理模块13a关闭第二快门112。在步骤S21'中，系统会确认是否所有的目标位置点都被照射光照射过。换句话说，若目标位置点还没有全数被照射光照射过，则流程会回到步骤S18'中，而处理模块13a在此时将会控制XY扫描振镜115把照射光导引至下一个目标点上、开启/关闭第二快门112(步骤S19'与S20')。一旦所有在XY坐标数组中所代表的位置点都被照射光照射过，流程会进到下一步骤中。在步骤S22'中，处理模块13a会控制显微镜10的载台101移动至下一个视野。在步骤S23'中，系统会确认是否所有的视野都经过处理。如果样本S所有的视野都被处理过，则结束流程。若否，则流程会回到步骤S12'中，开始进行下一轮的摄影、图像处理、照光，以及在处理过每个视野后的载台移动。换句话说，系统在每一个视野(FOV)下会执行同样的轮序：摄影、图像处理、照光，以及载台移动，直到有足够的样本区域被照射过为止。

在本实施例中，图像处理的方式可以是通过实时图像处理技术所完成，其例如定限、侵蚀、滤波或人工智能训练的语义分割法。

由于本实施例的显微图像处理方法中各组件组成、变化态样以及与其他组件之间的连接关系，可参考前述其他实施例，在此不再赘述。

本文提供另一实施例，其亦为一种显微镜系统，用于影像引导的显微照射。本系统包含另外一个处理模块，以增进图像处理效能，其将于下文中进行较为详细说明。请参考图2A及图2B。图2A是根据本发明一实施例的影像导引显微镜系统的示意图。图2B是根据图2A所示的影像导引显微镜系统中光路的示意图。

如图2A与2B所示，显微镜系统1，用于影像引导的显微照射，包括显微镜10、照射组件11、摄像组件12、第一处理模块13以及第二处理模块14。显微镜系统1是设计用来拍摄样本一或多个影像，且利用这个或这些影像来定义或决定在样本上预计照射的图案，其可快速地(例如，在300毫秒内)对一张影像执行完所有步骤，并在短时间内(例如，10小时)完成整个蛋白质组学的照射程序。

显微镜10包括物镜102与载台101。载台101用以装载样本S。显微镜10的载台101可以是高精度显微镜载台。

摄像组件12可包括一相机121、摄像光源122、自动对焦装置123以及第一快门124。相机121是设置在显微镜10上。详细来说，相机121是经由目镜103而与显微镜10耦接。自动对焦装置123则与相机121耦接，并且受控以在拍摄样本S的影像时协助进行一自动对焦程序。摄像光源122，提供一摄像光线(如图2A中从摄像组件12至物镜102之间的灰色区域所示)，经由一摄像光路(如图2A在灰色区域所示的摄像光线中以空白箭头所标示的路径)对所述样本S进行照光。第一快门124，沿着摄像光路，是设置在摄像光源122及显微镜10之间。摄像光源122可以是钨卤素灯、弧光灯、金属卤化物灯、LED灯、雷射光，或前述多种光源的组合。第一快门124的快门时间可以随着摄像光源121的类型而变化。以LED光源为例，第一快门124的快门时间为20微秒。

如果想要进行双色成像，则第一色光的快门会先被关闭，然后第二色光的快门会被第一处理模块13打开。这种流程可能额外需要40微秒。然后，相机121用另一个20毫秒的曝光时间来拍摄另一个图像。接着，第一处理模块13会关闭第二色光的快门。

在本实施例中，请再参考图2B与图1D，照射组件11可包括照射光源111与图案照射装置117。图案照射装置117可包括第二快门112、透镜模块113(例如中继透镜113a与113b、四分之一波板113c)、至少一对扫描镜115与扫描透镜116。在一实施态样中，数字微镜装置或空间光调控器可用来作为图案照射装置117。照射光源111提供一照射光线(如图2A中从照射组件11至物镜102之间的空白箭头所示)经由一照射光路对样本S进行照射。第二快门112，沿着照射光路，设置在照射光源111和显微镜10之间。一对扫描镜115，沿着照射光路，设置在第二快门112和显微镜10之间。相机121可以是高性能的学术研究用相机，例如是具有高量子效率(quantum efficiency)的sCMOS相机或是EMCCD相机，以实现短曝光时间。举例来说，为了要让后续处理的影像有足够的亮度，曝光时间可以是20毫秒。

第一处理模块13与显微镜10以及摄像组件12耦接。详细来说，第一处理模块13耦接并控制相机121、摄像光源122、第一快门124、自动对焦装置123，以及显微镜10的载台101，以进行摄像、保持对焦和变换视野。第一处理模块13可以是一计算机、工作站，或一计算机的中央处理单元(CPU)，其能够执行设计用来操控本系统的软件。第一处理模块13启动相机121拍摄或撷取样本S在某一视野(FOV)下的影像。此外，相机121可藉由一USB埠或一Camera Link与第一处理模块13连接。本系统的控制和图像处理程序将在以下段落中详细说明。

在本实施例中，第二处理模块14是与照射组件11以及第一处理模块13耦接。详细来说，第二处理模块14是耦接并藉此控制图案照射装置(pattern illumination device)117(以及第二快门112与一对扫描镜)，以对第一处理模块13所定义出的目标区域中的位置点进行照射。第二处理模块14可以是FPGA、ASIC基板、另一个中央处理单元，或是另一台计算机。本系统的控制和图像处理程序将在以下段落中详细说明。

简单来说，显微镜系统1的操控方式如下。第一处理模块13控制摄像组件12，使得相机121撷取样本S在一第一视野下的至少一影像。前述影像(一个或多个)被传送至第一处理模块13，并且由第一处理模块13基于一预设条件(或准则)自动且实时地进行处理，以定义出影像中的目标区域，并且从而获得与目标区域有关的坐标信息。图像处理所用到的运算法是事先独立设计好，其利用例如定限(thresholding)、侵蚀(erosion)、滤波(filtering)或人工智能训练的语义分割法(artificial intelligence trainedsemantic segmentation method)。接着，与目标区域有关的坐标信息自动地传送至第二处理模块14。第二处理模块14则根据所接收到的与目标区域有关的坐标信息来控制照射组件11来对样本S的目标区域进行照射(亦即，对目标区域内的目标位置点照光)。并且，在目标区域被完全照射(或者所有的目标位置点都被照过光)之后，第一处理模块13控制显微镜10的载台101移动至下一个视野(即第二视野)。移动至下一个视野后，此方法依序重复上述摄像流程、图像处理流程、以及照射处理流程，直到所有指定视野的目标区域都完成照射。

此外，本文也提供另一实施例，是一种显微图像处理方法，用于影像引导的显微照射。本实施例的显微图像处理方法，系利用前述实施例所提供的显微镜系统，其包括以下(a)至(e)的步骤：(a)由第一处理模块13启动摄像组件12的相机121，以获取样本S在第一视野下的至少一影像，其中样本S被装载在显微镜10的载台101上；(b)将样本S的一个或多个影像自动传送至第一处理模块13；(c)基于一预设条件或准则，由第一处理模块13自动且实时地进行样本S的图像处理，以定义出影像中的目标区域并获得与目标区域有关的坐标信息；(d)将与目标区域有关的坐标信息自动传送至第二处理模块14；以及，(e)由第二处理模块14根据所接收到的坐标信息来控制照射组件11来对样本S中的目标区域进行照射。此外，在本实施例中，在目标区域被完全照射(或者所有的目标位置点都被照过光)之后，本方法还包含以下步骤：由第一处理模块13控制显微镜10的载台101移动至位于第一视野之后的下一个视野(即第二视野)。

本实施例所使用的显微镜系统1与前述实施例实质相同，其细部构造、组件构成，以及变化态样，在此不再重复赘述。

请参考图2C，其是根据本实施例显微图像处理的流程示意图。其为本实施例所提供的影像导引方法较为详细的例子，但本发明并不以此为限。图2C所示的方法，其流程包含如下所示的步骤S11至S23。

在步骤S11中，操作人员把显微镜10的载台101移动至开始位置。

在步骤S12中，第一处理模块13开启第一快门124。

在步骤S13中，第一处理模块13启动相机121以撷取或拍摄样本S的影像。

在步骤S14中，第一处理模块13关闭第一快门124。

在步骤S15中，相机121将影像数据传送给第一处理模块13。在照相机121拍摄或撷取样本S的影像后，此时其具有该影像的数据，例如，是2048x2048像素且各像素为16位的一张影像，其大小相当于约0.5兆字节(Megabytes)。接着，该数据会传送到第一处理模块13，完成前述的数据传送的时间可能小于1毫秒(ms)。

在步骤S16中，第一处理模块13会进行图像处理，并获得预计被照射的目标位置的XY坐标数组(亦即样本S的「目标区域」)。换句话说，在收到从相机121所传来的影像数据后，第一处理模块13的中央处理单元会执行图像处理流程，以决定或定义出在样本S上预计被照射光源所照射(或者是，激活、照光，或是光激活)的目标区域(或目标位置点)。目标区域或目标位置点可依用户定义，其可为细胞核、核仁、粒线体，或其他任何胞器或次胞器的位置。其亦可为欲寻找的蛋白质，例如肌球蛋白V(myosin V)、上皮钙粘蛋白(E-cadherin)、p53，或其他任何种类的蛋白质。其可为形态特征，例如长于2微米(micrometer)的初级纤毛，或是星状体旁边的微管。其亦可为在特定时点下的区域，例如分裂中的细胞核。其也可以是由双色摄像所定义的特征，例如蛋白质A和蛋白质B的共存点(colocation sites)，或靠近中心体的肌动蛋白丝。

此时，将有许多等着由第一处理模块13处理的图像处理动作需要进行。其可以使用现有的处理方式或是其组合来实现前述各种不同的影像处里需求。例如，利用定限(thresholding)、侵蚀(erosion)、扩张(dilation)、边界侦测(edge detection)、滤波(filtering)、分割(segmentation)或转换(transformation)，来定义出目标区域，也可利用经人工智能训练的语义分割法(artificial intelligence trained semanticsegmentation method)来进行。前述处理动作会受到影像质量所影响，因此条件会随着个案情况来调整。原则上，所有的处理动作都是基于矩阵的线性代数运算。由于不同图像所处理的目标有不同的复杂程度，此步骤所需的时间也各不相同。进行简单的定限(thresholding)处理动作，每一影像需时2毫秒，而进行复杂的处理动作组合，每一影像可能需时100毫秒。进行一系列的处理动作，会需要空间来存放矩阵的多个副本，因此可能需要利用具有DRAM的FPGA基板来作为第二处理模块14。

此外，照射光源111与用来摄像的摄像光源122不同。本实施例所用的照射光源111仅用于对在经过步骤S16中进行图像处理步骤所定义出来的目标区域进行照光。对样本S影像中所选出的区域进行照光有许多潜在性的应用。举例来说，研究人员可以实现光激活分子标记、光转换，或是根据在这些目标区域中所产生的光化学反应来进行该些分子的蛋白质组学(proteomics)、转录组学(transcriptomics)和代谢组学(metabolomics)研究。如下所述，目标区域的照射是藉由逐点扫描(point scanning)所实现。换句话说，照射光源111可为雷射，而逐点扫描是经由扫描镜115(例如检流扫描振镜，galvanometer mirrors)来达成。亦即，其与共轭焦显微镜的设置类似。若使用者需要精准控制的轴向照光，其可使用双光子显微术。在此情况下，其可以飞秒雷射来作为照射光源111。

此外，如图2A、2B与1D所示，照光的光路起始于照射光源111。第二快门112对于这种照射光源111来说是必要的。为了要达到高切换速度的点照光，机械快门可能不够。使用者可利用声光调制器(acousto-optic modulator，AOM)或电光调制器(electro opticmodulator，EOM)来实现所要求的高速。例如，AOM的上升/下降时间可以达到25奈秒(nanosecond)，对本实施例中的方法和系统来说是够快的。在第二快门112之后，可以用一对中继透镜113a和113b来调整光束大小。在中继透镜113a和113b之后，设置四分之一波片113c将有助于让光束产生圆偏振。接着，照射光抵达成对的扫描镜(即XY扫描镜)115，藉此将照射光一次一个地导引到目标位置点。之后，照射光经过扫描透镜116和管状透镜(包括在显微镜中，此处未绘示)和显微镜10的物镜102来照射至样品S的目标位置点。高数值孔径(NA)的物镜102可能需要有足够的光强度才能进行光化学反应或光转化。

在经过步骤S16的图像处理后，所输出的是涵盖目标区域的欲照射位置点的XY-坐标数组(二维数组)，目标区域则是依用户定义。每个视野(FOV)的照光点数量可以根据使用者所设置的条件而变化。在某些情况下，每个FOV可能有1000个点。在这种情况下，前述的输出会具有1000对的浮点数。图4A和图4B为根据本文一实验例的图像处理方式所得到的影像，其显示了经定义出的压力颗粒(stress granules)区域。

现在，继续说明本方法的流程。在步骤S17中，第二处理模块14将坐标数组传送至信号转换器(例如数字-模拟转换器(digital-analog convertor，DAC))17，以将其转换成模拟电压讯号。

在步骤S18中，模拟电压讯号则是被传送至XY扫描振镜115，以将照射光导引至目标点上。

在步骤S17与S18中，对于每对XY坐标来说，会计算出驱动XY扫描振镜115至指定位置的对应角度与电压。而对于前述1000个目标位置点的照明是一次照明一个。这些位置点的照明顺序可以利用轨迹规划方式来优化，对访问所有点所需的总时间进行最小化。举例来说，利用解决旅行商问题的方法来进行轨迹规划(例如，参见Lawler等人的「TheTraveling Salesman Problem:A Guided Tour of Combinatorial Optimization」)。接着，由第二处理模块14将这1000对浮点数的电压传送到信号转换器17处，信号转换器17会将数字数值转换为模拟信号。之后，模拟信号被传送到XY扫描振镜115，并且驱动XY扫描振镜115以导引至第一个要照明的目标位置点。扫描振镜的响应时间可以达到5微秒。

在步骤S19中，第二处理模块14开启第二快门112。

在步骤S20中，第二处理模块14关闭第二快门112。

在步骤S19中，第二处理模块14控制第二快门112的电压并开启它。用户可以将电压值指定在某个数值，以降低照射光源的功率至适用于光化学反应或光转换的标准。如果第二快门112无法将功率降低至指定值，使用者可以增加一个偏振分光器(polarizationbeam splitter)和一个半波片来降低功率。照光时间是依光化学反应或光转化的需要来决定。举例来说，某个反应可能需要100微秒。在经过这段照射时间之后，在步骤S20中，第二处理模块14会关闭第二快门112。

在步骤S21中，系统会确认是否所有的目标位置点都被照射光照射过。换句话说，若目标位置点还没有全数被照射光照射过，则流程会回到步骤S18中，而第二处理模块14在此时将会控制XY扫描振镜115把照射光导引至下一个目标点上、控制开启/关闭第二快门112(步骤S19与S20)。一旦所有在XY坐标数组中所代表的位置点(例如，前述的1000个目标位置点)都被照射光照射过，流程会进到下一步骤中。总和计算，照射前述1000的目标位置点可能需时100毫秒。

在步骤S22中，第一处理模块13会控制显微镜10的载台101移动至下一个视野。在此步骤中，第一处理模块13会控制显微镜10的载台101移动至下一个(旁边的)视野。载台移动需时2毫秒。

在步骤S23中，系统会确认是否所有的视野都经过处理。如果样本S所有的视野都被处理过，则结束流程。若否，则流程会回到步骤S12中，开始进行下一轮的摄影、图像处理、照光，以及在处理过每个视野后的载台移动。换句话说，系统在每一个视野(FOV)下会执行同样的轮序：摄影、图像处理、照光，以及载台移动，直到有足够的样本区域被照射过为止。换句话说，系统会照射多个视野(FOV)，已产生足够多量的光化学反应或光转化。一般来说，每一轮序有300毫秒即可。

此外，若是光转化分子(photoconverted molecule)的浓度需求为10飞摩尔(femtomolar，fmol)，则相当于需要有6x109个分子。假设对每个照明点来说，照射光量足以把50个分子进行光转化，这对光学分辨率(直径约是250奈米)来说是可能的，因此，使用者需要照1.2x108个目标点(等于6x109/50)。在每个视野有1000个照射点的情况下，使用者需要照射1.2x105个视野。若是每个视野需时300毫秒，则总共需要约10小时(3.6x104秒)才能进行足够量的反应。前述耗时相当于3D打印的时间。如果不对每个步骤耗用的时间进行优化，则处理过程的总耗用时间会变得不切实际。

由于本实施例的显微图像处理方法中各组件组成、变化态样以及与其他组件之间的连接关系，可参考前述其他实施例，在此不再赘述。

同样的，本文亦提供另一实施例，其亦为一种显微镜系统，用于影像引导的显微照射。本实施例的显微镜系统与前述实施例所描述的大致相同。请参考图3A及图3B。在本实施例中，显微镜系统1包括显微镜10、照射组件11、摄像组件12、第一处理模块13以及第二处理模块14。显微镜10包括载台101、物镜102与目镜103。载台101用以装载样本S。请再参考图3B与图1D，照射组件11可包括照射光源111与图案照射装置117。图案照射装置117可包括至少一第二快门112、至少一中继透镜(例如中继透镜113a与113b)、四分之一波板113c、至少一对扫描镜115与扫描透镜116。在一实施态样中，数字微镜装置或空间光调控器可用来作为图案照射装置117。摄像组件12可包括一相机121、摄像光源122、自动对焦装置123以及第一快门124。相机121是设置在显微镜10上或摄像光路中。

与前述实施例所描述的系统不同之处在于，本实施例中的第一处理模块13耦接于显微镜10的载台101以及摄像组件12的摄像光源122及第一快门124。但是，本实施例的第二处理模块14则是具有一记忆单元141并耦接于相机121、照射组件11以及第一处理模块13。换句话说，在本实施例中，相机121是由第二处理模块14来控制，而非地处理模块(亦即，计算机)13。若有影像数据高速传输及处理的需求，相机121可经由Camera Link与第二处理模块14连接。记忆单元141可以是随机存取内存(RAM)、闪存(flash ROM)，或是硬盘(harddrive)。随机存取内存可以是动态随机存取内存(DRAM)、静态随机存取内存(SRAM)，或是零电容随机存取内存(zero-capacitor random access memory，Z-RAM)。

因此，本实施例的显微镜系统1其操控方式如下。第一处理模块13控制摄像组件12，而第二处理模块14控制相机121，使得相机121撷取样本S在一第一视野下的至少一影像。前述影像(一个或多个)自动地被传送至第二处理模块14的记忆单元141。基于一预设条件(或准则)，第二处理模块14自动且实时地对影像进行处理，以定义出影像中的目标区域，并且从而获得与目标区域有关的坐标信息。接着，第二处理模块14则根据所接收到的与目标区域有关的坐标信息来控制照射组件11来对样本S的目标区域进行照射(亦即，对目标区域内的目标位置点照光)。

本实施例所使用的显微镜系统1与前述实施例大致相同，其细部构造、组件构成，以及变化态样，在此不再重复赘述。

此外，本文也提供另一实施例，是一种显微图像处理方法，用于影像引导的显微照射。本实施例的显微图像处理方法与前述实施例中所描述的大致相同。请参考图3A、图3B与图1D，本实施例的显微图像处理方法包括以下(a)至(d)的步骤：(a)由第一处理模块13控制摄像组件12而由第二处理模块14启动摄像组件12的相机121，以获取样本S在第一视野下的至少一影像，其中样本S被装载在显微镜10的载台101上；(b)将样本S的一个或多个影像自动传送至第二处理模块14的记忆单元141；(c)基于一预设条件或准则，由第二处理模块14自动且实时地进行样本S的图像处理，以定义出影像中的目标区域并获得与目标区域有关的坐标信息；以及，(d)由第二处理模块14根据所获得到的坐标信息来控制照射组件11来对样本S中的目标区域进行照射。

请参考图3C，其是根据本文实施例所提供的影像导引显微图像处理方法的流程示意图。其为本文所提供的影像导引方法较为详细的例子，但本发明并不以此为限。图3C所示的方法，其流程包含如下所示的步骤S11'至S23'。

简单来说，在步骤S11’中，操作人员把显微镜10的载台101移动至开始位置。在步骤S12’中，第一处理模块13开启第一快门124。在步骤S13'中，第二处理模块14启动相机121以撷取或拍摄样本S的影像。接着，在步骤S14'中，第一处理模块13关闭第一快门124。在步骤S15'中，相机121将影像数据传送给第二处理模块14的记忆单元(例如DRAM)141。在步骤S16'中，由第二处理模块14进行图像处理，以获得预计被照射的目标位置的XY坐标数组(亦即样本S的「目标区域」)。在步骤S17'中，第二处理模块14将坐标数组传送至信号转换器(例如DAC)17，以将其转换成模拟电压讯号。在步骤S18'中，模拟电压讯号则是被传送至XY扫描振镜115，以将照射光导引至目标点上。在步骤S19'中，第二处理模块14开启第二快门112。在步骤S20'中，第二处理模块14关闭第二快门112。在步骤S21'中，系统会确认是否所有的目标位置点都被照射光照射过。换句话说，若目标位置点还没有全数被照射光照射过，则流程会回到步骤S18'中，而第二处理模块14在此时将会控制XY扫描振镜115把照射光导引至下一个目标点上、开启/关闭第二快门112(步骤S19'与S20')。一旦所有在XY坐标数组中所代表的位置点都被照射光照射过，流程会进到下一步骤中。在步骤S22'中，第一处理模块13会控制显微镜10的载台101移动至下一个视野。在步骤S23'中，系统会确认是否所有的视野都经过处理。如果样本S所有的视野都被处理过，则结束流程。若否，则流程会回到步骤S12'中，开始进行下一轮的摄影、图像处理、照光，以及在处理过每个视野后的载台移动。换句话说，系统在每一个视野(FOV)下会执行同样的轮序：摄影、图像处理、照光，以及载台移动，直到有足够的样本区域被照射过为止。

由于本实施例的显微图像处理方法中各组件组成、变化态样以及与其他组件之间的连接关系，可参考前述其他实施例，在此不再赘述。

以下利用数个实验例来描述本发明的实际应用。

实验例一：本文的系统和方法可用于显示细胞核的蛋白质组，其方法学如图5所示。首先，以抗-核孔复合体蛋白抗体进行染色，使细胞核成像。拍摄影像后，进行图像处理分析，产生预计要由光敏化光源扫描的坐标点。接着，控制检流计扫描振镜来扫描这些坐标点。照射光会导致光敏剂释放出自由基，并因此致使扫描区域中氨基酸的生物素化。在大量视野下进行摄像被和照光，以生成足够的生物素化样品。接着，纯化出被生物素化的氨基酸，并以质谱仪来鉴定细胞核的蛋白质组。利用本文的系统及方法进行生物素化样品的蛋白质组学分析，并且，如下表1中所示，以这种高通量光致生物素化的方式来鉴定核蛋白质。

表1：本文方法所发现最高分数的核蛋白质

表1的实验条件如下。固定：以甲醇固定12小时。裂解缓冲液：乳癌裂解缓冲液：100mM Tris-HCl pH＝7.5、100mM DTT、4％SDS、1x EDTA-free PIC。结合缓冲液：稀释过的裂解缓冲液，具有1.6％的SDS、40mM的DTT、500mM的NaCl。标记用珠：Pierce高容量链霉亲和素琼脂珠。冲提液：1x的样本液。

实验例二：本文的系统和方法可用于鉴定细胞中压力颗粒(stress granules)的蛋白质。首先，以压力颗粒标记物，如G3BP1，将压力颗粒染色，并拍摄影像。取得影像后，对影像进行图像处理分析，以产生预计要由光敏话光源来扫描的一系列点坐标。本文能够开发一种图像处理算法，以精确地检测压力颗粒的位置，裨便进一步进行蛋白质组学研究，如图4A和图4B所示。

实验例三：本文的系统和方法可用于分辨出具有癌症干细胞标志物(例如CD44)和不具有癌干细胞标志物的的癌细胞中蛋白质的差异。为了区分癌细胞和癌症干细胞的差异，本实施例的方案与上述实验例1大致相同，只是本实验例中系将干细胞标记用于成像。

实验例四：本文的系统和方法可以应用于活体细胞和动物模型的研究(亦即体内(in vivo)试验)中。其系进行活体细胞摄像或体内(in vivo)试验摄像，而不是以抗体进行染色，且其光敏化照射系根据活体细胞或动物的影像来进行。

本发明的主要优点是能够实现由细胞影像所引导的高通量、高精度的光诱导处理。因此，本文的系统与方法可以基于使用者所定义的次细胞特征来特别处理目标区域中的蛋白质、脂质、核酸或生物化学物质。在需要进行蛋白质组分析时，也可以将经标记的蛋白质、脂质或核酸以质谱法进行纯化和鉴定。习知的类似技术无法达到本发明的高通量和高精度能力。因此，本文所提供的是目前唯一可用以达到收集足够的生物分子样品所需的速度和精度要求的系统及方法，其系经由影像引导而用于蛋白质组学研究或生物医学研究。

在一实施例中，本文的系统可以用来执行光烧蚀(photoablation)或光漂白(photobleaching)。光敏剂可用于产生活性氧(ROS)物质。举例来说，孟加拉国玫瑰红(RoseBengal)可以用来产生单线态氧(singlet oxygen)，其为一种活性氧物质。单线态氧是高度反应性的，其可以损伤生物分子，而在体内达到光漂白或光烧蚀。本文的系统可以在培养细胞或组织中，对大量细胞同时进行次细胞等级的光烧蚀(但是习知技术无法达成)，并且也可以应用于光照治疗。

在一实施例中，本文的系统可以用来执行光调节反应。举例来说，定向生物正交配体束缚法(directed bioorthogonal ligand tethering，BOLT)已可用于实现蛋白质功能的选择性抑制，例如藉由经过修饰的激酶在体内试验中来控制磷酸化。利用上述实施例所提供的系统和方法，可对大量细胞进行次细胞等级的光调节反应。

本发明的某些实施例，自动进行光敏化和处理生物分子的系统和方法，具有以下优点和效果。

首先，在本发明的某些实施例中，提出了一种优于化学标记方法(APEX)的光标记方法，其系因本发明某些实施例所提供的系统和/或方法能够更精确地指定欲标记的特征，而不是仅依亲和力高低来进行所有的标记。用户可以指定目标，并在相同区域中使用本文的系统来区分和标记出不同组的蛋白质。因此，它在基于形态学其他特征找到蛋白质组学方面具有优势，这种优势是APEX无法达成的。

其次，本发明某些实施例所提供的系统和方法优于STOMP：本发明的高通量处理能力是STOMP无法实现的，因其标记速度受到限制。对于低浓度(或含量)的蛋白质，STOMP的速度太慢，而本发明可以在短时间内(例如几个小时)为每个细胞中具有低拷贝数的蛋白质取得足量的样品。由于整合了图像处理、载台扫描和检流扫描振镜控制，本发明某些实施例所示的系统具有速度和特异性优势。

第三，本发明某些实施例还具有可以标记多组蛋白质的优选试剂。与miniSOG等化学标记方法(仅能标记几组蛋白质的)相比，本发明某些实施例所提供的系统和方法可以标记指定区域中的所有蛋白质。此外，本文的系统和方法可以通过软件进行设计，以对复杂形状的区域进行标记。

综上所述，本发明提供了一种显微镜系统和方法，用于影像引导的显微照射。本文的显微镜系统和方法可以利用两个独立的处理模块(即，第一处理模块和第二处理模块)，来同时控制摄像组件，以拍摄样本的至少一个影像，以及控制照射组件来照射样本。此外，第二处理模块可与第一处理模块通信连接并且接收样本上的目标点的坐标(即，样本影像中的「目标区域」，并且由第一处理模块进行处理)以便快速地控制照射组件来对样品上的目标点进行照射。因此，本文的影像引导系统和方法实现了一种高通量处理流程，能够在连续且大量的视野下(对样本)照射不同的图案。

以上所述仅为举例性，而非为限制性的。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于后附的权利要求中。

Claims (24)

1.一种显微镜系统，用于影像引导的显微照射，包括：

一显微镜，包括一物镜及一载台，其中所述载台用以装载一样本；

一摄像组件，包括一可控的相机；

一照射组件，包括一图案照射装置；以及

一处理模块，其与所述显微镜、所述摄像组件及所述照射组件耦接，

其中所述处理模块控制所述摄像组件，使得所述相机撷取所述样本在一第一视野下的至少一影像，所述至少一影像被传送至所述处理模块并且由所述处理模块基于一预设的准则自动且实时地进行处理，以定义出所述影像中的一目标区域并从而获得与所述目标区域有关的一坐标信息，并且所述处理模块根据所获得的与所述目标区域有关的所述坐标信息来控制所述照射组件的所述图案照射装置来对所述样本的所述目标区域进行照射。

2.如权利要求1所述的显微镜系统，其中在所述目标区域被完全照射之后，所述处理模块控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

3.如权利要求1所述的显微镜系统，其中所述摄像组件包括：

一摄像光源，其提供的一摄像光线，经由一摄像光路以在拍摄所述样本时对所述样本照光；

一第一快门，沿着所述摄像光路，是设置在所述摄像光源及所述显微镜之间；以及

所述可控的相机，是设置在所述显微镜上或所述摄像光路中。

4.如权利要求1所述的显微镜系统，其中所述照射组件包括：

一照射光源，其提供一照射光线，经由一照射光路以照射所述样本；以及

所述图案照射装置，其中所述图案照射装置包括至少一对扫描镜及一第二快门、一数字微镜装置(DMD)或一空间光调控模块(SLM)；沿着所述照射光路，所述图案照射装置是设置在所述照射光源及所述显微镜之间。

5.一种显微镜系统，用于影像引导的显微照射，包括

一显微镜，包括一物镜及一载台，其中所述载台用以装载一样本；

一摄像组件，包括一可控的相机；

一照射组件，包括一图案照射装置；

一第一处理模块，其与所述显微镜及所述摄像组件耦接；以及

一第二处理模块，其与所述照射组件及所述第一处理模块耦接，

其中所述第一处理模块控制所述摄像组件，使得所述相机撷取所述样本在一第一视野下的至少一影像，所述一个或多个影像被传送至所述第一处理模块并且由所述第一处理模块基于一预设的准则自动实时地进行处理，以定义出所述影像中的一目标区域，且从而获得与所述目标区域有关的一坐标信息，且与所述目标区域有关的所述坐标信息被自动传送至所述第二处理模块，所述第二处理模块根据所接收到的与所述目标区域有关的所述坐标信息来控制所述照射组件的所述图案照射装置来对所述样本的所述目标区域进行照射。

6.如权利要求5所述的显微镜系统，其中在所述目标区域被完全照射之后，所述第一处理模块控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

7.如权利要求5所述的显微镜系统，其中所述摄像组件包括：

一摄像光源，其提供一摄像光线，经过一摄像光路以在拍摄所述样本时对所述样本照光；

一第一快门，沿着所述摄像光路，是设置在所述摄像光源及所述显微镜之间；以及

所述可控的相机，是设置在所述显微镜上或所述摄像光路中。

8.如权利要求5所述的显微镜系统，其中所述照射组件更包括：

一照射光源，其提供穿过一照射光路的一照射光线以照射所述样本；以及

所述图案照射装置，其中所述图案照射装置包括至少一对扫描镜及一第二快门、一数字微镜装置或一空间光调控模块；沿着所述照射光路，所述图案照射装置是设置在所述照射光源及所述显微镜之间。

9.一种显微镜系统，用于影像引导的显微照射，包括

一显微镜，包括一物镜及一载台，其中所述载台用以装载一样本；

一摄像组件，包括一可控的相机；

一照射组件，包括一图案照射装置；

一第一处理模块，其与所述显微镜及所述摄像组件耦接；以及

一第二处理模块，其与所述照射组件、所述相机及所述第一处理模块耦接，

其中所述第一处理模块控制所述摄像组件，且所述第二处理模块控制所述相机，使得所述相机撷取所述样本在一第一视野下的至少一影像，所述至少一影像被自动传送至第二处理模块的所述记忆单元，接着所述至少一影像由所述第二处理模块基于一预设的准则自动且实时地进行处理，以定义出所述影像中的一目标区域，且所述第二处理模块从而获得与所述目标区域有关的一坐标信息，且所述第二处理模块根据所接收到的与所述目标区域有关的所述坐标信息来控制所述照射组件的所述图案照射装置来对所述样本的所述目标区域进行照射。

10.如权利要求9所述的显微镜系统，其中在所述目标区域被完全照射之后，所述第一处理模块控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

11.如权利要求9所述的显微镜系统，其中所述摄像组件包括：

一摄像光源，其提供一摄像光线，经由一摄像光路以在摄像所述样本时对所述样本照光；

一第一快门，沿着所述摄像光路，是设置在所述摄像光源及所述显微镜之间；以及

所述可控的相机，是设置在所述显微镜上或所述摄像光路中。

12.如权利要求9所述的显微镜系统，其中所述照射组件更包括：

一照射光源，其提供一照射光线，经由一照射光路以照射所述样本；以及

所述图案照射装置，其中所述图案照射装置包括至少一对扫描镜及一第二快门、一数字微镜装置或一空间光调控器；沿着所述照射光路，所述图案照射装置是设置在所述照射光源及所述显微镜之间。

13.一种显微图像处理方法，用于影像引导的显微照射，包括以下步骤：

经由一处理模块启动一摄像组件的一相机，以撷取一样本在一第一视野的下的至少一影像，其中所述样本被装载在一显微镜的一载台上；

将所述样本的一个或多个影像自动传送至所述处理模块；

基于一预设的准则，由所述处理模块自动且实时地进行所述样本的图像处理，以定义出所述影像中的一目标区域并获得与所述目标区域有关的一坐标信息；以及

由所述处理模块根据所获取到的所述坐标信息来控制一照射组件来对所述样本中的所述目标区域进行照射。

14.如权利要求13所述的显微图像处理方法，其中在所述目标区域被完全照射之后，所述方法更包括一步骤：由所述处理模块来控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

15.如权利要求14所述的显微图像处理方法，其中在移动至所述下一个视野后，所述方法还依序重复如权利要求13及14所述的步骤，直到所有指定视野的目标区域都完成照射。

16.如权利要求13所述的显微图像处理方法，其中图像处理的方式是定限(thresholding)、侵蚀、滤波，或经人工智能训练的语义分割法。

17.一种显微图像处理方法，用于影像引导的显微照射，包括以下步骤：

经由一第一处理模块启动一摄像组件的一相机，以获取一样本在一第一视野下的至少一影像，其中所述样本被装载在一显微镜的一载台上；

将所述样本的一个或多个影像自动传送至所述第一处理模块；

基于一预设的准则，由所述第一处理模块自动且实时地进行所述样本的图像处理，以定义出所述影像中的一目标区域并获得与所述目标区域有关的一坐标信息；

将与所述目标区域有关的所述坐标信息自动传送至一第二处理模块；以及

由所述第二处理模块根据所接收到的所述坐标信息来控制一照射组件来对所述样本中的所述目标区域进行照射。

18.如权利要求17所述的显微图像处理方法，其中在所述目标区域被完全照射之后，所述方法更包括一步骤：由所述第一处理模块来控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

19.如权利要求18所述的显微图像处理方法，其中所述载台在移动至下一个视野后，所述方法还依序重复如权利要求17及18所述的步骤，直到所有指定视野的目标区域都完成照射。

20.如权利要求17所述的显微图像处理方法，其中图像处理的方式是定限、侵蚀、滤波，或经人工智能训练的语义分割法。

21.一种显微图像处理方法，用于影像引导的显微照射，包括以下步骤：

经由一第一处理模块控制一摄像组件以及通过一第二处理模块启动所述摄像组件的一相机，以获取一样本在一第一视野下的至少一影像，其中所述样本被装载在一显微镜的一载台上；

将所述样本的一个或多个影像自动传送至所述第二处理模块的一记忆单元；

基于一预设的准则，由所述第二处理模块自动且实时地进行所述样本的图像处理，以定义出所述影像中的一目标区域并获得与所述目标区域有关的一坐标信息；以及

由所述第二处理模块根据所接收到的所述坐标信息来控制一照射组件来对所述样本中的所述目标区域进行照射。

22.如权利要求21所述的显微图像处理方法，其中在所述目标区域被完全照射之后，所述方法更包括一步骤：控制所述显微镜的所述载台移动至一第二视野，所述第二视野是在所述第一视野之后。

23.如权利要求22所述的显微图像处理方法，其中在所述载台移动至下一个视野后，所述方法还依序重复如权利要求21及22所述的步骤，直到所有指定视野的目标区域都完成照射。

24.如权利要求21所述的显微图像处理方法，其中图像处理的方式是定限、侵蚀、滤波，或经人工智能训练的语义分割法。

Images