CN115475335A - 光遗传控制系统及其控制方法 - Google Patents

光遗传控制系统及其控制方法 Download PDF

Info

Publication number
CN115475335A
CN115475335A CN202210935805.XA CN202210935805A CN115475335A CN 115475335 A CN115475335 A CN 115475335A CN 202210935805 A CN202210935805 A CN 202210935805A CN 115475335 A CN115475335 A CN 115475335A
Authority
CN
China
Prior art keywords
image
module
micro
bright field
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210935805.XA
Other languages
English (en)
Inventor
金帆
夏爱国
陈盈妙
郦野
高超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210935805.XA priority Critical patent/CN115475335A/zh
Publication of CN115475335A publication Critical patent/CN115475335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M31/00—Means for providing, directing, scattering or concentrating light
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/06—Means for regulation, monitoring, measurement or control, e.g. flow regulation of illumination
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q3/00—Condition responsive control processes

Landscapes

  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Analytical Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cell Biology (AREA)
  • Computer Hardware Design (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本申请提供了一种光遗传控制系统及其控制方法，该系统包括：图像采集模块，用于获取活性微生物样品的连续时刻的明场图像；数据处理模块，用于对连续时刻的明场图像进行图像预处理，得到包含有目标细胞的表型信息的图像；微投影模块，用于对上述图像预处理后的图像进行调制，并将调制后的图像投影到显微镜模块，活性微生物样品在显微镜模块中的成像与调制后的图像对应；数据处理模块还用于生成同步信号，控制光源模块、图像采集模块和微投影模块同步工作。该方案通过将图像追踪和显微镜成像光刺激结合起来，从而方便精确定位和追踪目标细胞，以及观察目标细胞的变化，从而实现对活性微生物样品的目标细胞连续的光操控。

Description

光遗传控制系统及其控制方法
技术领域
本申请属于光学实验技术领域，尤其涉及一种光遗传控制系统及其控制方法。
背景技术
光遗传控制主要是指将光遗传学线路导入实验个体内，通过表达或者生产相应的光受体组件，给与实验个体不同的光照实现对实验个体生理状态或者基因表达的控制。
传统的光遗传学的控制实验往往是针对大的实验个体的体内或体外实验，或者对大的实验个体的组织样品进行实验，不适用于细菌等具有运动性和快速生长的活性微生物的实验。
对于细菌等微生物群体，传统的光遗传的控制实验是在试管中摇菌时或者在琼脂板上单克隆生长时用光全局地控制细菌或者细胞群体的响应。但是由于细菌细胞的异质性，在单个细胞尺度上基因的表达或者细菌的表型呈现不一样。虽然可以将光聚焦在显微镜样品上实现对局部样品的光控制，但此类方案只适用于上述组织样品等静态样本的光遗传控制，并不适用于细菌等具有运动性和快速生长的活性微生物样品。此外，在长期的连续培养中，细菌的生理状态和位置均在变化。
因此如何实现对细菌等活性微生物的光遗传控制的准确性，是亟待解决的技术问题。
发明内容
本申请实施例提供一种光遗传控制系统及其控制方法，能够提高对细菌等活性微生物的光遗传控制的准确性。
第一方面，本申请实施例提供了一种光遗传控制系统，该系统包括光源模块、图像采集模块、微投影模块、显微镜模块和数据处理模块；其中，
光源模块的输出端与微投影模块的输入端连接；光源模块用于提供光刺激照明；
图像采集模块的输入端与显微镜模块的输出端连接；图像采集模块的输出端与数据处理模块的输入端连接；图像采集模块用于获取活性微生物样品的连续时刻的明场图像；
数据处理模块的输出端与微投影模块的输入端连接；数据处理模块用于：对连续时刻的明场图像进行图像预处理，得到明场图像对应的预处理后的图像，该预处理后的图像中包含有活性微生物样品中目标细胞在连续时刻的表型信息和；
微投影模块的输出端与显微镜模块的输入端连接；微投影模块用于：接收来自于数据处理模块的预处理后的图像；对预处理后的图像进行调制，得到调制后的图像，该调制后的图像以光斑承载，为光斑中的图案成像；将调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与调制后的图像对应；
数据处理模块还用于：生成同步信号，用于控制光源模块、图像采集模块与微投影模块同步工作。
在其中一个实施例中，上述连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻；上述表型信息包括静态信息和过程信息；数据处理模块具体用于：
接收来自于图像采集模块的第一时刻的明场图像，第一时刻的明场图像是在第一时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第一时刻的明场图像进行图像预处理，得到第一时刻的预处理后的图像；
从第一时刻的预处理后的图像中提取出目标细胞在第一时刻的静态信息；
将第一时刻的预处理后的图像发送给微投影模块，用于微投影模块执行调制操作；
接收来自于图像采集模块的第二时刻的明场图像，第二时刻的明场图像是在第二时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第二时刻的明场图像进行图像预处理，得到第二时刻的预处理后的图像；
从第二时刻的预处理后的图像中提取出目标细胞在第二时刻的静态信息；
对第一时刻的明场图像和第二时刻的明场图像进行追踪分析，得到目标细胞的过程信息。
在其中一个实施例中，微投影模块包括微投影芯片、透镜和同轴放大光路；
微投影芯片的输入端与光源模块的输出端以及数据处理模块的输出端连接；微投影芯片的输出端与同轴放大电路的输入端连接；微投影芯片用于对来自于数据处理模块的预处理后的图像进行调制，得到调制后的图像；
透镜的输入端与同轴放大电路的输出端连接；透镜的输出端与显微镜模块的输入端连接；
同轴放大光路，用于接收来自于微投影芯片的调制后的图像，并将调制后的图像经过透镜投影到显微镜模块的物镜视场中。
在其中一个实施例中，微投影芯片为DMD芯片；或者，微投影芯片包括空间光调制器、第一起偏镜和第二起偏镜；
第一起偏镜设置在空间光调制器之前，是空间光调制器的起偏镜；第二起偏镜设置在空间光调制器之后，是空间光调制器后的线偏振分束立方；
空间光调制器，用于从数据传输模块接收预处理后的图像，并对预处理后的图像进行相位调制，得到图案化的光斑，该光斑中的图案成像即为调制后的图像。
在其中一个实施例中，光源模块包括激光光源和多模光纤；
激光光源的输出端与多模光纤的输入端连接；激光光源用于生成多个波长的激光；
多模光纤的输出端与微投影模块的输入端连接；多模光纤用于对多个波长的激光进行耦合，形成激光光斑；激光光斑经过扩束后用于照射活性微生物样品。
在其中一个实施例中，多个波长包括分别对应红、绿、蓝三种颜色分量的波长。
在其中一个实施例中，同步信号还用于：控制马达震动，马达震动时，带动多模光纤的盘卷抖动。通过同步信号控制马达的震动起始时间，让多模光纤抖动，能够使得光照视场均衡化。
在其中一个实施例中，同步信号用于：控制光源模块与微投影模块同步工作，照亮目标细胞，同时控制图像采集模块对活性微生物样品进行拍摄，得到明场图像。
在其中一个实施例中，同步信号用于：控制图像采集模块，光源模块与微投影模块同步工作，得到宽场荧光图像。
在其中一个实施例中，静态信息包括长度、位置、大小或荧光强度中的至少一项；过程信息包括生长分裂信息或位置变化信息中的至少一项。
第二方面，本申请实施例提供了一种光遗传控制方法，包括：获取活性微生物样品在连续时刻的多个明场图像，上述多个明场图像是在对活性微生物样品中的目标细胞进行光刺激时拍摄得到的；对多个明场图像进行处理，得到目标细胞在连续时刻的表型信息；根据目标细胞在连续时刻的表型信息，对目标细胞进行光遗传控制。
第二方面中的控制方法可以利用第一方面的控制系统执行。
在其中一个实施例中，表型信息包括静态信息和过程信息；在对多个明场图像进行处理，得到活性生物样品中目标细胞在连续时刻的表型信息时，可以包括：
对多个明场图像进行图像预处理，得到多个预处理后的明场图像，多个预处理后的明场图像中包含有静态信息；
分别从多个预处理后的明场图像中，提取目标细胞在连续时刻的静态信息；
对多个预处理后的明场图像进行追踪分析，得到目标细胞在连续时刻的过程信息。
在其中一个实施例中，连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻，在根据目标细胞在连续时刻的表型信息，对目标细胞进行光遗传控制时，可以包括：
根据目标细胞从第一时刻到第二时刻之间的过程信息，定位目标细胞在第二时刻时在活性微生物样品中的位置；根据该位置对目标细胞进行光遗传控制。
在其中一个实施例中，上述控制方法还可以包括：
利用微投影模块对预处理后的图像进行调制，得到调制后的图像，调制后的图像为光斑中的图案成像；
将调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与调制后的图像对应，使得在同一时刻，目标细胞在预处理后的图像中的位置与目标细胞在活性微生物样品中的位置一致。
在其中一个实施例中，在利用微投影模块对预处理后的图像进行调制，得到调制后的图像时，可以包括：对预处理后的图像进行相位调制，得到光斑中的图案成像。
在其中一个实施例中，上述控制方法还可以包括：
在连续时刻生成同步信号，同步信号用于在连续时刻控制光源模块、微投影模块和图像处理模块同步工作；
在获取活性微生物样品在连续时刻的多个明场图像时，可以包括：
在同步信号的触发下，控制光源模块和微投影模块照亮活性微生物样品的同时，控制图像处理模块采集活性微生物样品的明场图像。
在其中一个实施例中，同步信号还用于在连续时刻控制马达同步工作，上述控制方法还包括：
在同步信号的触发下，控制马达震动，当马达震动时，带动光源模块中的多模光纤的盘卷抖动。
在其中一个实施例中，静态信息包括长度、位置、大小或荧光强度中的至少一项；过程信息包括生长分裂信息或位置变化信息中的至少一项。
第三方面，本申请实施例提供了一种光遗传控制系统的控制方法，该控制系统为第一方面的控制系统，该控制方法包括：
图像采集模块获取活性微生物样品的连续时刻的明场图像；
数据处理模块对连续时刻的明场图像进行处理，得到活性微生物样品中目标细胞在连续时刻的表型信息和明场图像对应的预处理后的图像；
微投影模块对预处理后的图像进行调制，得到调制后的图像；将调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与调制后的图像对应；
数据处理模块在每个时刻生成同步信号，用于控制光源模块、图像采集模块与微投影模块同步工作。
在其中一个实施例中，上述连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻；上述表型信息包括静态信息和过程信息；上述数据处理模块对连续时刻的明场图像进行处理，得到活性微生物样品中目标细胞在连续时刻的表型信息和明场图像对应的预处理后的图像，包括：
接收来自于图像采集模块的第一时刻的明场图像，第一时刻的明场图像是在第一时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第一时刻的明场图像进行图像处理，得到目标细胞在第一时刻的静态信息，以及得到第一时刻的预处理后的图像；
将第一时刻的预处理后的图像发送给微投影模块；
接收来自于图像采集模块的第二时刻的明场图像，第二时刻的明场图像是在第二时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第二时刻的明场图像进行图像处理，得到目标细胞在第二时刻的静态信息，以及第二时刻的预处理后的图像；
对第一时刻的明场图像和第二时刻的明场图像进行追踪分析，得到目标细胞的过程信息。
在其中一个实施例中，同步信号还用于：控制马达震动，马达震动时，带动多模光纤的盘卷抖动。在这种实现方式中，可以通过同步信号控制马达的震动起始时间，让多模光纤抖动，从而使得光照视场均衡化。
在其中一个实施例中，同步信号具体用于：控制光源模块与微投影模块同步工作，照亮目标细胞，同时控制图像采集模块对活性微生物样品进行拍摄，得到明场图像。
在其中一个实施例中，同步信号还用于：控制图像采集模块，光源模块与投影模块同步工作，得到宽场荧光图像。
在其中一个实施例中，静态信息包括长度、位置、大小或荧光强度中的至少一项；过程信息包括生长分裂信息或位置变化信息中的至少一项。
第四方面，本申请实施例提供了一种终端设备，包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第二方面或第三方面及其任意一种实现方式的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第二方面或第三方面及其任意一种实现方式的方法。
本申请实施例与现有技术相比存在的有益效果是：主要利用微投影模块将活性微生物样品的明场图像进行调制后，使得显微镜的物镜视场呈现的图像与调制后的明场图像的位置对应，从而方便定位目标细胞和提取目标细胞的信息。该方案通过将图像和显微镜成像对应起来，使得显微镜中看到的目标细胞的位置、图像中目标细胞的像素位置都对应了真实的目标细胞的位置。从而方便精确定位和追踪目标细胞，以及观察目标细胞的变化。图像采集模块采集连续时刻的明场图像，数据处理模块对连续时刻的明场图像进行综合分析，也就是追踪，得到连续时刻的目标细胞的表型信息。且通过同步信号控制几个模块同步工作。因此能够实现单细胞级别的光遗传控制，能够对于细菌等运动性强且生长快速的活性微生物的光遗传学实验的准确控制。
也就是说，该方案通过将图像追踪和显微镜成像光刺激结合起来，从而方便精确定位和追踪目标细胞，以及观察目标细胞的变化，从而实现对活性微生物样品的目标细胞连续的光操控。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1是本申请实施例的一种光遗传控制系统的示意性结构图。
图2是本申请实施例的另一种光遗传控制系统的示意性结构图。
图3是本申请实施例的同步信号的同步控制示意图。
图4是本申请实施例的一种光遗传控制方法的示意性流程图。
图5是本申请实施例的一种光遗传控制系统的控制方法的示意性流程图。
图6是本申请实施例的另一种光遗传控制系统的控制方法的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
图1是本申请实施例的一种光遗传控制系统的示意性结构图。如图1所述，该系统100包括光源模块110、微投影模块120、数据处理模块130、图像采集模块140和显微镜模块150。
光源模块110的输出端与微投影模块120的输入端连接。光源模块110用于提供光刺激照明，具体而言通过微投影模块120为显微镜模块150的操作台上的活性微生物样品提供光刺激照明，也可以理解为，光源模块110用于照亮活性微生物样品中的细胞。
图像采集模块140的输入端与显微镜模块150的输出端连接；图像采集模块140的输出端与数据处理模块130的输入端连接。图像采集模块140用于获取活性微生物样品的明场图像，例如可以获取不同时刻的明场图像。在一个例子中，图像采集模块140获取多个连续时刻的明场图像。例如T1时刻和T2时刻分别获取一个明场图像，T1时刻和T2时刻是连续的先后两个时刻。
微投影模块120的输入端还与数据处理模块130的输出端连接；微投影模块120的输出端与显微镜模块150的输入端连接。
微投影模块120可以用于对明场图像进行调制，得到调制后的明场图像，以及将调制后的明场图像传输给显微镜模块150。该调制后的明场图像是图案化的光斑。在一个例子中，微投影模块120对来自于数据处理模块的明场图像进行调制，得到调制后的图像，即图案化的光斑。微投影模块120还将调制后的图像投影到显微镜模块中的物镜视场中。来自于数据处理模块130的明场图像就是数据处理模块130对图像采集模块140上传的明场图像进行图像预处理后得到的图像，因此可以称之为明场图像的预处理后的图像，或者明场图像进行图像预处理后的图像。
也就是说，数据处理模块130可以用于对来自于图像采集模块110的明场图像进行图像预处理，得到预处理后的图像，这些预处理后的图像中包含有目标细胞的表型信息。因此，数据处理模块130还可以进一步从预处理后的图像中提取这些表型信息。
图像预处理例如可以是利用图像背景矫正和图像识别等一系列图像处理算法，得到此时刻样本中细胞的实心轮廓信息。通过这些轮廓信息就能够提取出细胞的位置、大小等表型信息。
活性微生物样品在显微镜模块中的成像与微投影模块调制后的明场图像对应。也就是说，显微镜中看到的样品中某个细胞的位置、调制后的图像中该细胞的像素位置都对应了真实的该细胞在样品中的位置。
目标细胞可以理解为活性微生物样品中希望观察的活性细胞，或者说连续光遗传控制的细胞。
在一个例子中，数据处理模块130对连续时刻的明场图像进行图像预处理，得到预处理后的图像，这些预处理后的图像中包含有活性微生物样品中目标细胞在连续时刻的表型信息。例如，第一时刻和第二时刻是两个连续时刻，第二时刻晚于第一时刻，就可以对第一时刻的明场图像进行处理得到第一时刻的表型信息中的大小、位置、荧光强度等静态信息；对第二时刻的明场图像进行处理得到第二时刻的表型信息中的大小、位置、荧光强度等静态信息；综合分析两个时刻的明场图像还可以得到目标细胞的过程信息，例如，从第一时刻到第二时刻之间目标细胞的位置变化信息和生长分裂信息等过程信息。
可选地，表型信息可以包括静态信息和过程信息(运动信息)。静态信息可以包括长度、位置、大小或荧光强度中的至少一项。过程信息可以包括生长分裂信息、位置变化信息等信息。过程信息可以理解为是在实验过程中产生的动态信息或者称之为运动信息，例如细胞的生长、细胞的分裂、细胞的移动(也就是细胞在不同时刻发生了位置变化)这种，都是随着时间才能推断出来的信息。
在这个例子中，数据处理模块130还可以进一步提取上述预处理后的图像中的表型信息。例如，可以提取每个时刻的静态信息，还可以提取连续时刻之间的过程信息。
数据处理模块130还用于生成同步信号，该同步信号用于控制光源模块、微投影模块和图像采集模块同步工作。例如，在光源模块和微投影模块同步照亮目标细胞的同时，图像采集模块同步采集明场图像或宽场荧光图像。
可选地，同步信号还可以用于控制马达同步工作，使得马达震动带动光源模块110中的多模光纤抖动，使得光照视场均衡化。该部分内容会在下文中详细介绍，为了简洁，此处不再赘述。
显微镜模块150用于观察活性微生物样品的生物特性，可以理解为用于实验员进行显微观察。显微镜模块150可以看作是显微镜光路系统/装置，也就是说包括显微镜及其配件。
在本申请实施例中，活性微生物样品是指活性微生物的样品。也就是说，是运动性、变化较快的微生物。也可以称之为活性微生物样品。活性微生物样品可以包括细菌、单细胞生物等能在显微镜下观察的活性生物。这与传统方案中的动物或者动物组织存在本质区别。
图1所示系统，主要利用微投影模块将活性微生物样品的明场图像进行调制后，使得显微镜的物镜视场呈现的图像与调制后的明场图像的位置对应，从而方便定位目标细胞和提取目标细胞的信息。该方案通过将图像和显微镜成像对应起来，使得显微镜中看到的目标细胞的位置、图像中目标细胞的像素位置都对应了真实的目标细胞的位置。从而方便精确定位和追踪目标细胞，以及观察目标细胞的变化。因此能够实现单细胞级别的光遗传控制，能够对于细菌等运动性强且生长快速的活性微生物的光遗传学实验的准确控制。
图2是本申请实施例的另一种光遗传控制系统的示意性结构图。图2可以看作是图1所示系统的一个具体示例。
图2中的虚线用于表示光路传输通道，也就是说，光路信息在不同模块或元器件之间的传输路线。图2中的带箭头的实线，用于表示数据传输通道及其方向，主要包括图像数据和同步信号，以及设备参数等。例如，相机141和上位机131之间，相机141可以把拍摄的图像传输给上位机131，上位机131可以设置相机141的参数，还可以向相机141发送同步信号控制其工作状态。又例如，上位机131和激光光源111之间，上位机131可以向激光光源111发送同步信号控制其工作状态。为了简洁，不再逐一列举。
在一种实现方式中，如图2所示，光源模块110包括激光光源111和多模光纤112。激光光源111的输出端与多模光纤112的输入端连接；激光光源111用于生成多个波长的激光；多模光纤112的输出端与微投影模块120的输入端连接；多模光纤112用于对多个波长的激光进行耦合和扩束，形成激光光斑；激光光斑用于照射活性微生物样品。
在一个例子中，光源模块110还可以包括扩束装置113。多模光纤112的输出端与扩束装置113的输入端连接，扩束装置113的输出端与微投影模块120的输入端连接。多模光纤112输出的激光光束经过扩束装置113的扩束之后形成一定面积的激光光斑。
在一个例子中，上述多个波长包括分别对应红(R)、绿(G)、蓝(B)三种颜色分量的波长。可选地，可以488nm、561nm、640nm或者445nm、515nm、640nm波长的激光作为对应RGB三基本色的照明波长。
在一种实现方式中，如图2所示，微投影模块120包括微投影芯片121、透镜122和同轴放大光路123。微投影芯片121的输入端也是微投影模块120的输入端，与光源模块110的输出端以及数据处理模块130的输出端连接。微投影芯片121的输出端与同轴放大电路123的输入端连接。同轴放大光路123的输出端与透镜122的输入端连接；透镜122的输出端与显微镜模块150的输入端连接。
应理解，透镜是一种可以不区分两端使用的配件，所以输入端和输出端只是相对而言，可以互换。
微投影芯片121用于对来自于数据处理模块130的明场图像进行调制。在一个例子中，微投影芯片121对接收到的预处理后的图像进行调制，得到调制后的图像；同轴放大光路123用于将调制后的图像投影到显微镜模块150的物镜视场中。
在一种实现方式中，微投影芯片121可以为数字微镜元件(Digital MicromirrorDevice，DMD)芯片。
在另一种实现方式中，如图2所示，微投影芯片121包括第一起偏镜121-1、空间光调制器121-2和第二起偏镜121-3。
第一起偏镜121-1设置在空间光调制器121-2之前，是空间光调制器121-2的起偏镜。起偏镜的作用是使得进入空间光调制器121-2的光确保是单偏振方向。
在一个例子中，第一起偏镜121-1为偏振分光(polarization beam splitter，PBS)棱镜。
在一个例子中，第一起偏镜121-1用于接收来自于光源模块110的激光光斑，并将该激光光斑传输给空间光调制器121-2。
空间光调制器121-2用于从数据处理模块130接收明场图像，并对该明场图像进行相位调制，得到图案化的光斑，该图案化的光斑中的图案成像即为调制后的明场图像。也就是说，调制后的图像是以光斑承载的，或者说调制后的图像以光斑为载体进行投影，光斑中的图案就是调制后的图像。在一个例子中，空间光调制器121-2从数据处理模块130接收明场图像对应的预处理后的图像，并对预处理后的图像进行相位调制，得到图案化的光斑。
可选地，该相位调制可以是0或者180度的相位调制。
进入空间光调制器121-2的光必须确保是单偏振方向，这会影响到投影图案的对比度，是关键的一步。因此需要起偏镜和空间光调制器组合使用。
微投影模块120采用RGB彩色激光投影的方法实现。RGB彩色图的激光投影实际是通过R、G、B三种颜色波长的激光分别实现对图像中R、G、B三种颜色分量的投影。空间光调制器121-2输出的LED信号包含R、G、B三种颜色分量，以此信号分别跟控制激光光源的信号做‘与’。为兼顾宽场荧光照明需求，以488纳米(nm)、561nm、640nm或者445nm、515nm、640nm波长的激光作为RGB三基本色的照明波长。将LED的R分量与控制信号‘与’连通激光640nm，LED的G分量与控制信号‘与’连通激光561nm，LED的B分量与控制信号‘与’连通激光488nm。另一种组合光可类似的实现RGB彩色图的投影。
光遗传控制显微镜可实现与传统荧光显微镜一样的功能，空间光调制器像素全白的图案即可作为宽场荧光照明，与标准的多模光纤组成的荧光照明不同的是：因为空间光调制器的工作原理，此方法提供的照明会有50％光损失。在本申请实施例中，可以通过控制多模光纤抖动，使照明光视场相对均匀，避免出现高斯光束照明不均匀的情况。也就是说，通过将多模光纤盘卷，以及利用马达的震动带动多模光纤盘卷的抖动，从而使得光照视场均衡化。
可选地，可以利用上述同步信号同步控制马达的启动。
下面以一个具体例子，介绍光源模块110与微投影模块120、显微镜模块150的协同工作。多个激光组成的光源(即激光光源111提供的多个波长的激光)经过耦合光路进入方芯的多模光纤112，经过物镜，望远镜放大光路，将光纤的方芯成像到显微镜模块150的物镜焦距上，即空间光调制器121-2调制后的光斑投影的位置。出射光斑比空间光调制器121-2的芯片尺寸略大，确保光斑不会过大而加大光功率损失，同时光斑不会过小影响到光路调节。可选地，多模光纤纤芯尺寸可以为:0.2x0.2毫米(mm)，NA＝0.14。可选地，物镜可以是NA＝0.14的4倍物镜。可选地，望远镜放大光路可以是10x望远镜放大光路。可选地，出射光斑比空间光调制器121-2的芯片尺寸可以大3毫米左右。应理解，本领域技术人员也可以按需选择其他具体数值，不存在数值限定，此外，多模光纤的纤芯形状可以是上述方芯也可以不是方芯，例如圆芯，不存在限定。
第二起偏镜121-3设置在空间光调制器121-2之后，空间光调制器121-2后的线偏振分束立方；用于将调制后的明场图像传输给同轴放大光路123。
在一种实现方式中，第二起偏镜121-3可以为PBS棱镜。
在一个例子中，PBS棱镜的消光比为1000：1。空间光调制器121-2也可用其他合适的棱镜作为起偏镜。消光比越大投影对比度越高。空间光调制器121-2调制后的图案经过同轴放大光路123后进入显微镜模块150中高倍物镜的后焦面中，最终投射到显微镜视场中。应理解，本领域技术人员也可以按需选择其他消光比，不存在数值限定。
如图2所示，数据处理模块130包括上位机131。在本申请实施例中，数据处理模块130可以利用电脑、PC机、上位机、服务器、智能终端或云端设备等任意一种能够进行图像处理和生成控制信号的装置/设备。图2以上位机为例进行介绍。
在一种实现方式中，上述连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻；上述表型信息包括静态信息和过程信息；数据处理模块130在对连续时刻的明场图像进行处理时，包括以下操作：
接收来自于图像采集模块的第一时刻的明场图像，第一时刻的明场图像是在第一时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第一时刻的明场图像进行图像处理，得到目标细胞在第一时刻的静态信息，以及得到第一时刻的预处理后的图像；
将第一时刻的预处理后的图像发送给微投影模块；
接收来自于图像采集模块的第二时刻的明场图像，第二时刻的明场图像是在第二时刻的同步信号的触发下，图像采集模块拍摄得到的；
对第二时刻的明场图像进行图像处理，得到目标细胞在第二时刻的静态信息，以及第二时刻的预处理后的图像；
对第一时刻的明场图像和第二时刻的明场图像进行追踪分析，得到目标细胞的过程信息。
在一个例子中，上位机131对来自于图像采集模块140的明场图像进行图像背景矫正和图像识别等一系列图像处理算法的处理，得到的图像中包括细胞的实心轮廓信息，这些信息被保存到上位机131的存储器中。对得到的细胞实心轮廓信息进行二值化处理，转化成二值图像，即光照目标实心轮廓区域为1，其他黑暗区域为0。并对二值化图像进行图像分割处理，得到此时刻的细胞掩模版，此时图像是2048x2048像素的1bit图像。将细胞掩模版经过转换矩阵后变成适合微投影芯片121尺寸(1536×2048)的二值图像并经过微投影芯片121的调制，输出到显微镜模块150的视场中。微投影芯片121通过USB或者HDMI接口控制，图像的传输可通过Windows API函数编程输出，类比实现8bit灰度图像的传输控制。
在一个例子中，上位机131用于生成同步信号，该同步信号具体用于：控制光源模块110同步照亮目标细胞，同时控制图像采集模块140对活性微生物样品进行拍摄，得到明场图像。
在另一个例子中，同步信号用于：控制图像采集模块140，光源模块110与微投影模块120同步工作，得到宽场荧光图像。
在又一个例子中，同步信号还用于：控制马达震动，马达震动时，带动多模光纤的盘卷抖动。通过同步信号控制马达的震动起始时间，让多模光纤抖动，能够使得光照视场均衡化。
在又一个例子中，系统的同步性由逻辑信号控制，主要控制相机141(图像采集模块140的一例)，激光光源111和空间光调制器121-2(微投影芯片121的一例)同步。具体如图3所示，空间光调制器121-2的8bit灰度图像和1bit黑白图像均由控制电路输出逻辑信号，系统的同步性以此逻辑信号为中断输出相机141和激光光源111的控制逻辑信号。相机141以空间光调制器121-2的第一个上升沿作为触发开始；当空间光调制器121-2为高电平时，激光光源111处于高电平状态；当空间光调制器121-2为低电平状态时，激光光源111处于低电平状态。具体流程为：上位机131向相机141发送拍摄命令，同步逻辑信号触发，激光光源111与空间光调制器121-2同时处于高电平状态和相机141得到上升沿信号，开始工作；激光光源111和相机141工作完成后，处于低电平状态。图3所示马达114用于让多模光纤112抖动使得光线均匀。马达114可以独立于光源模块110。图3所示其他照明光源115例如可以包括为显微镜模块150提供照明的光源。如图3所示，上位机131通过同步控制中心，对相机141、马达114、空间光调制器121-2、激光光源111和其他照明光源115进行控制。该同步控制中心可以是集成在上位机131中的控制模块，也可以是独立于上位机131在一种实现方式中，如图2所示图像采集模块140为相机141。但应理解图像采集模块140也可以是摄像机、录像机或图像扫描设备等能够对样品进行拍摄，获取样品图像的装置/设备。
图4是本申请实施例的一种光遗传控制方法的示意性流程图。图4所述的控制方法可以利用上述光遗传控制系统中的各个模块执行。下面对图4各个步骤进行介绍。
S401、获取活性微生物样品在连续时刻的多个明场图像。
其中，上述多个明场图像是在对活性微生物样品中的目标细胞进行光刺激时拍摄得到的。
目标细胞可以在初始时刻选定，也可以是在光遗传控制期间的某个时刻选定，不存在限定。
步骤S401可以利用上述图像采集模块140执行。对目标细胞的光刺激则可以由上述光源模块110执行。
在一种实现方式中，上述控制方法还可以包括：在连续时刻生成同步信号，同步信号用于在连续时刻控制光源模块、微投影模块和图像处理模块同步工作。则在这种实现方式下，在执行步骤S401时，可以包括：在同步信号的触发下，控制光源模块和微投影模块照亮活性微生物样品的同时，控制图像处理模块采集活性微生物样品的明场图像。
在这种实现方式中，主要通过同步信号的同步控制实现了拍照、光刺激和光调制的同步，也就是系统中各个模块的同步工作。
在一个例子中，该同步信号还用于在连续时刻控制马达同步工作，上述控制方法还包括：在同步信号的触发下，控制马达震动，当马达震动时，带动光源模块中的多模光纤的盘卷抖动。
在这个例子中，在上述同步工作期间，马达同步震动，能够使得光源模块110在同步工作期间提供的光更好。
S402、对多个明场图像进行处理，得到目标细胞在连续时刻的表型信息。
步骤S402可以利用上述数据处理模块130执行。
如上所述，表型信息可以包括静态信息和过程信息，相关内容可以参照上文描述，不再重复。
在一种实现方式中，S402可以包括：
S402-1、对多个明场图像进行图像预处理，得到多个预处理后的明场图像，多个预处理后的明场图像中包含有静态信息。
S402-2、分别从多个预处理后的明场图像中，提取目标细胞在连续时刻的静态信息。
S402-3、对多个预处理后的明场图像进行追踪分析，得到目标细胞在连续时刻的过程信息。
S403、根据目标细胞在连续时刻的表型信息，对目标细胞进行光遗传控制。
步骤S403可以由数据处理模块130执行。
对目标细胞进行追踪可以理解为确定每个时刻细胞的位置变化，假设连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻，可以是根据目标细胞从第一时刻到第二时刻之间的过程信息，定位目标细胞在第二时刻时在活性微生物样品的位置。当得到该位置后，就可以根据该位置定位到目标细胞，对目标细胞进行光遗传控制，即继续对目标细胞进行光刺激，重复上述连续时刻的各个步骤。
在一种实现方式中，上述控制方法还可以包括：利用微投影模块对预处理后的图像进行调制，得到调制后的图像，调制后的图像为光斑中的图案成像；将调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与调制后的图像对应，使得在同一时刻，目标细胞在预处理后的图像中的位置与目标细胞在活性微生物样品中的位置一致。
在这种实现方式中，通过微投影模块120的调制，使得在同一时刻目标细胞在预处理后的图像中的位置与目标细胞在活性微生物样品中的位置一致，所以在步骤S403中就可以根据连续时刻的过程信息，推断出目标细胞的位置变化，从而从图像中找出目标细胞的当前位置，且该位置就是对应了目标细胞在样品中的当前位置。当下一时刻对样品中目标细胞进行光刺激的时候，就可以找到目标细胞的新位置。
在一种实现方式中，在利用微投影模块120对预处理后的图像进行调制时，可以包括：对预处理后的图像进行相位调制，得到光斑中的图案成像。例如可以进行0或180度相位调制。
图5是本申请实施例的一种光遗传控制系统的控制方法的示意性流程图。图5所述的光遗传控制系统可以是上述任意一种光遗传控制系统。下面对图5各个步骤进行介绍。图5中T1和T2表示两个连续的时刻，且T2是T1的下一时刻。
S501、在同步信号的触发下，图像采集模块获取活性微生物样品的T1时刻的明场图像。
该步骤S501可以由图像采集模块110执行。
步骤S501可以看作是步骤S401中在同步信号的触发下获取连续时刻的明场图像的一个示例。
S502、数据处理模块对T1时刻的明场图像进行图像预处理，得到T1时刻的预处理后的图像，以及得到活性微生物样品中目标细胞在T1时刻的表型信息。
T1时刻的预处理后的图像就是对T1时刻的明场图像进行上述图像预处理之后得到的图像。
活性微生物样品中目标细胞在T1时刻的表型信息主要包括长度、位置、大小、荧光强度等静态信息。目标细胞可以根据预处理后的图像中细胞的清晰度，细胞的上述表型信息，从样品中确定出一个或多个目标细胞。
该步骤S502可以由数据处理模块130执行。
步骤S502可以看作是步骤S402的一个示例。
S503、微投影模块接收并调制T1时刻的预处理后的明场图像，得到T1时刻的调制后的图像，并将T1时刻的调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与T1时刻的调制后的图像对应。
该步骤S503可以由微投影模块120执行。
步骤S503可以看作是图4所示方法中利用微投影模块对预处理后的图像进行调制和将调制后的图像投影到显微镜模块中的物镜视场中的操作的一个示例。
T1时刻S504、生成同步信号，用于控制光源模块、微投影模块和相机在下一时刻同步工作。
该步骤S504可以由数据处理模块130执行。
步骤S504可以看作是图4所示方法中，在连续时刻生成同步信号，同步信号用于在连续时刻控制光源模块、微投影模块和图像处理模块同步工作的操作的一个示例。
S505、在光源模块和微投影模块同步照亮目标细胞时，图像采集模块同步获取T2时刻的明场图像。
应注意，该步骤中照亮的是目标细胞，而不是整个样品。
该步骤S505可以由图像采集模块110执行。
步骤S505可以看作是步骤S401中在同步信号的触发下获取连续时刻的明场图像的一个示例。
S506、数据处理模块对T2时刻的明场图像进行调制，得到T2时刻的预处理后的图像，并得到目标细胞在T2时刻的表型信息，以及得到目标细胞从T1时刻到T2时刻的过程信息。
T2时刻的预处理后的图像就是对T2时刻的明场图像进行上述图像处理之后得到的图像。
目标细胞在T2时刻的表型信息主要包括长度、位置、大小、荧光强度等静态信息。
通过综合分析T1时刻的明场图像和T2时刻的明场图像，能够得到目标细胞从T1时刻到T2时刻的过程信息。该过程信息可以包括生长分裂信息或位置变化信息。例如T1时刻的某个目标细胞，在T2时刻变为两个。又例如，T1时刻的某个目标细胞在T2时刻变大了。又例如T1时刻的某个目标细胞在T2时刻位置变了等运动情况。
该步骤S506可以由数据处理模块130执行。
步骤S506可以看作是步骤S402的一个示例，具体而言是步骤S402-1至步骤S402-3的一个示例。
当得到了上述过程信息，就可以执行步骤S403的操作，确定T2时刻目标细胞的位置，以便于进行下一时刻的光遗传控制。
还应理解，T2时刻的目标细胞可以通过T1时刻的图像和T2时刻的图像追踪得到，而T1时刻的目标细胞则可以是通过T1时刻的前一时刻的图像和T1时刻的图像追踪得到，以此类推，不再赘述。
S507、微投影模块接收并调制T2时刻的预处理后的明场图像，得到T2时刻的调制后的图像，并将T2时刻的调制后的图像投影到显微镜模块中的物镜视场中，活性微生物样品在显微镜模块中的成像与T2时刻的调制后的图像对应。
该步骤S507可以由微投影模块120执行。
步骤S507可以看作是图4所示方法中利用微投影模块对预处理后的图像进行调制和将调制后的图像投影到显微镜模块中的物镜视场中的操作的一个示例。
S508、生成同步信号，用于控制光源模块、微投影模块和相机在下一时刻同步工作。
T2时刻该步骤S508可以由数据处理模块130执行。
步骤S508可以看作是图4所示方法中，在连续时刻生成同步信号，同步信号用于在连续时刻控制光源模块、微投影模块和图像处理模块同步工作的操作的一个示例。
可以看出，步骤S501-S504和步骤S505-S508分别对应T1时刻和T2时刻的相同操作流程。步骤S501-S504是在T1时刻获取图像、调制和确定目标细胞，生成同步信号为下一时刻做准备。步骤S506-S508是在T2时刻获取目标细胞的图像、调制和再次确定目标细胞，生成同步信号为下一时刻做准备。从而实现对于目标细胞的连续光遗传控制。
本申请实施例的控制方法能够实现单细胞级别的连续光遗传控制，主要通过对于明场图像的调制，使得显微镜中的成像以及拍摄的图像均对应真实的细胞位置，方便找到目标细胞和有针对性的对目标细胞进行光遗传控制。
在图4至图6所示控制方法的一种实现方式中，显微镜拍摄的明场图像将预先保存在计算机内存中，在tn时刻采集到当前时刻的图像进行实时图像处理和识别后，与前tn-1时刻的图像进行联合处理，采用图像连通区域算法对多个时间维度的目标细菌或者细胞进行空间上的追踪。图像联合处理后，计算机自动获取当前时刻目标细菌或者细胞的表型信息。表型信息既可以包括目标细菌或者的细胞的静态信息：如长度，位置，大小，荧光强度等；也可以包括目标细菌或者细胞的过程信息，如生长分裂信息、位置变化信息等。实验人员根据实际实验需求进行表型信息的实时筛选，并在计算机中实时分析所筛选的信息。实验人员根据实时筛选的信息判断下一步实验进程。该方法对计算机的性能要求较强，计算机的图像处理能力决定了显微镜采集图像的时间间隔与筛选信息的分析速度。该实现方式可以看作是数据处理模块对图像进行图像处理的一个流程示例。tn时刻对应第二时刻，tn-1时刻对应第一时刻。
图6是本申请实施例的另一种光遗传控制系统的控制方法的示意性流程图。图6所示控制方法可以看作是图5所示控制方法的一个具体示例。下面对图6各个步骤进行介绍。
S601、计算机控制显微镜完成明场图像拍摄。
该步骤S601中的计算机可以看作是数据处理模块130的一个具体示例，显微镜为显微镜模块150的组成部分，该显微镜中集成了图像采集模块110，且图像采集模块110为相机111。因此，步骤S601是数据处理模块140控制图像采集模块110采集样品的明场图像的示例。步骤S601可以看作是步骤S501的一个示例。
在一种实现方式中，S601可以包括：通过计算机设置相机和LED明场光源的参数，使相机进入准备拍摄状态。在准备完成后由计算机发送指令生成同步控制信号，同步控制信号是脉冲序列的形式，该脉冲信号控制LED明场光源和相机完成拍摄的同步。也可由外部的脉冲信号触发生成同步控制信号，并输出脉冲序列，完成上述同步。
LED明场光源可以看作是光源模块110的一个组成部分的一个示例。
S602、步骤S601中所拍摄的明场图像进行实时图像处理并缓存在内存中。
在一种实现方式中，S602可以包括：所拍摄的该时刻的图像返回到计算机的处理器，经过图像背景矫正和图像识别等一系列图像处理算法，得到此时刻该细胞的实心轮廓信息，这些信息被保存到计算机存储器中。
S603、对目标细胞的识别与选择(生成细胞掩模版)。
对步骤S602中得到的细胞实心轮廓信息进行二值化处理，转化成二值图像，即光照目标实心轮廓区域为1，其他黑暗区域为0。并对二值化图像进行图像分割处理，得到此时刻的细胞掩模版，此时图像是2048x2048像素的1bit图像。
S604、掩模版转换与传输。
将步骤S603中得到的细胞掩模版经过转换矩阵后变成适合空间光调制器芯片尺寸(1536×2048)的二值图像并经过空间光调制器的调制，输出到显微镜光路的视场中。空间光调制器通过USB或者HDMI接口控制，图像的传输可通过Windows API函数编程输出，类比实现8bit灰度图像的传输控制。
S602-S604可以看作是步骤S502的一个具体示例。
S605、同步控制。
具体而言是，使得相机，激光光源与空间光调制器同步。计算机激发同步控制信号，使相机，激光光源与空间光调制器同步。激光光源同步照亮显微镜光路的视场，即激光光源同步照亮此时刻的目标细胞。
S605可以看作是S504的一个具体示例。
返回到步骤S601，显微镜完成下一时刻单细胞的明场图像拍摄。再次经过步骤S602、S603、S604、S605的过程，激光光源同步照亮下一时刻的目标细胞，实现下一时刻的单细胞连续光遗传控制。重复按照步骤S601、S602、S603、S604、S605运行，即实现连续时刻的单细胞光遗传控制。该重复过程可以看作是S506-S508的一个示例。
S606、实现连续单细胞光遗传控制后可选择进行宽场荧光拍摄。
步骤S606主要是在本申请实施例的光遗传控制的基础上进行光遗传学研究。因此S606不是本申请光遗传学控制方法的必备步骤，在循环执行步骤S601-S605之后，除了可以执行步骤S606进行荧光拍摄，还可以将表型信息上传到后续模块进行进一步处理，也可以执行其他实验等，不存在限定。
在一种实现方式中，可以利用类似于上述同步信号的方式，同步控制宽场荧光图像的拍摄。也就是说，可以利用数据处理模块生成同步信号，控制光源模块、微投影模块和图像采集模块同步工作，拍摄宽场荧光图像。
应理解，该同步信号与上述连续光遗传控制过程中的同步信号不是同时产生。例如可能在一个时刻生成的同步信号是用来拍摄明场图像的，在另一个时刻生成的同步信号是用来同步拍摄宽场荧光图像的。
此外，图6中未示出微投影模块的调制过程，该步骤为步骤S604之后的步骤，S604将处理后的图像传输给微投影模块，进行调制后再投影到显微镜模块，然后之后步骤S605同步控制下一时刻的光遗传操作流程。
本实例中所展示的宽场荧光拍摄功能与普通宽场荧光显微镜的拍摄功能是一样的。设置好所需要的时间周期、荧光通道、感兴趣的视野与Z轴，即可进行该拍摄功能。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (18)

1.一种光遗传控制系统，其特征在于，所述系统包括光源模块、微投影模块、数据处理模块、图像采集模块和显微镜模块；
所述光源模块的输出端与所述微投影模块的输入端连接；所述光源模块用于提供光刺激照明；
所述图像采集模块的输入端与所述显微镜模块的输出端连接；所述图像采集模块的输出端与所述数据处理模块的输入端连接；所述图像采集模块用于获取活性微生物样品的连续时刻的明场图像；
所述数据处理模块的输出端与所述微投影模块的输入端连接；所述数据处理模块用于：
对所述连续时刻的明场图像进行图像预处理，得到所述明场图像对应的预处理后的图像，所述预处理后的图像中包含有所述活性微生物样品中目标细胞在连续时刻的表型信息；
所述微投影模块的输出端与所述显微镜模块的输入端连接；所述微投影模块用于：
接收来自于所述数据处理模块的所述预处理后的图像；
对所述预处理后的图像进行调制，得到调制后的图像，所述调制后的图像以光斑承载，为所述光斑中的图案成像；
将所述调制后的图像投影到显微镜模块中的物镜视场中，所述活性微生物样品在所述显微镜模块中的成像与所述调制后的图像对应；
所述数据处理模块还用于：
生成同步信号，用于控制所述光源模块、所述图像采集模块与所述微投影模块同步工作。
2.如权利要求1所述的系统，其特征在于，所述连续时刻包括第一时刻和第二时刻，第二时刻晚于第一时刻；所述表型信息包括静态信息和过程信息；
所述数据处理模块具体用于：
接收来自于所述图像采集模块的第一时刻的所述明场图像，第一时刻的所述明场图像是在第一时刻的所述同步信号的触发下，所述图像采集模块拍摄得到的；
对第一时刻的所述明场图像进行图像预处理，得到第一时刻的所述预处理后的图像；
从第一时刻的所述预处理后的图像中提取出所述目标细胞在第一时刻的静态信息；
将第一时刻的所述预处理后的图像发送给所述微投影模块，用于所述微投影模块执行调制操作；
接收来自于所述图像采集模块的第二时刻的所述明场图像，第二时刻的所述明场图像是在第二时刻的所述同步信号的触发下，所述图像采集模块拍摄得到的；
对第二时刻的所述明场图像进行图像预处理，得到第二时刻的所述预处理后的图像；
从第二时刻的所述预处理后的图像中提取出所述目标细胞在第二时刻的静态信息；
对第一时刻的所述明场图像和第二时刻的所述明场图像进行追踪分析，得到所述目标细胞的过程信息。
3.如权利要求2所述的系统，其特征在于，所述微投影模块包括微投影芯片、透镜和同轴放大光路；
所述微投影芯片的输入端与所述光源模块的输出端以及所述数据处理模块的输出端连接；所述微投影芯片的输出端与所述同轴放大电路的输入端连接；所述微投影芯片用于对来自于所述数据处理模块的所述预处理后的图像进行调制，得到所述调制后的图像；
所述透镜的输入端与所述同轴放大电路的输出端连接；所述透镜的输出端与所述显微镜模块的输入端连接；
所述同轴放大光路，用于接收来自于所述微投影芯片的所述调制后的图像，并将所述调制后的图像经过所述透镜投影到所述显微镜模块的物镜视场中。
4.如权利要求3所述的系统，其特征在于，所述微投影芯片为DMD芯片；或者，所述微投影芯片包括空间光调制器、第一起偏镜和第二起偏镜；
所述第一起偏镜设置在所述空间光调制器之前，是所述空间光调制器的起偏镜；所述第二起偏镜设置在所述空间光调制器之后，是所述空间光调制器后的线偏振分束立方；
所述空间光调制器，用于从所述数据处理模块接收所述预处理后的图像，并对所述预处理后的图像进行相位调制，得到图案化的光斑，所述图案化的光斑中的图案成像即为所述调制后的图像。
5.如权利要求1所述的系统，其特征在于，所述光源模块包括激光光源和多模光纤；
所述激光光源的输出端与所述多模光纤的输入端连接；所述激光光源用于生成多个波长的激光；
所述多模光纤的输出端与所述微投影模块的输入端连接；所述多模光纤用于对所述多个波长的激光进行耦合和扩束，形成激光光斑；所述激光光斑用于照射所述活性微生物样品中的所述目标细胞。
6.如权利要求5所述的系统，其特征在于，所述多个波长包括分别对应红、绿、蓝三种颜色分量的波长。
7.如权利要求5所述的系统，其特征在于，所述同步信号还用于：
控制马达震动，所述马达震动时，带动所述多模光纤的盘卷抖动。
8.如权利要求1至7中任一项所述的系统，其特征在于，所述同步信号具体用于：控制所述光源模块与所述微投影模块同步工作，照亮所述目标细胞；同时控制所述图像采集模块对所述活性微生物样品进行拍摄，得到所述明场图像。
9.如权利要求1至7中任一项所述的系统，其特征在于，所述同步信号还用于：
控制所述图像采集模块，所述光源模块与所述微投影模块同步工作，得到宽场荧光图像。
10.如权利要求2至4中任一项所述的系统，其特征在于，所述静态信息包括长度、位置、大小或荧光强度中的至少一项；所述过程信息包括生长分裂信息或位置变化信息中的至少一项。
11.一种光遗传控制方法，其特征在于，包括：
获取活性微生物样品在连续时刻的多个明场图像，所述多个明场图像是在对所述活性微生物样品中的目标细胞进行光刺激时拍摄得到的；
对所述多个明场图像进行处理，得到所述目标细胞在所述连续时刻的表型信息；
根据所述目标细胞在所述连续时刻的表型信息，对所述目标细胞进行光遗传控制。
12.如权利要求11所述的控制方法，其特征在于，所述表型信息包括静态信息和过程信息；所述对所述多个明场图像进行处理，得到所述活性生物样品中目标细胞在所述连续时刻的表型信息，包括：
对所述多个明场图像进行图像预处理，得到多个预处理后的明场图像，所述多个预处理后的明场图像中包含有所述静态信息；
分别从所述多个预处理后的明场图像中，提取所述目标细胞在所述连续时刻的静态信息；
对所述多个预处理后的明场图像进行追踪分析，得到所述目标细胞在所述连续时刻的过程信息。
13.如权利要求12所述的控制方法，其特征在于，所述连续时刻包括第一时刻和第二时刻，所述第二时刻晚于所述第一时刻，所述根据所述目标细胞在所述连续时刻的表型信息，对所述目标细胞进行光遗传控制，包括：
根据所述目标细胞从所述第一时刻到所述第二时刻之间的过程信息，定位所述目标细胞在所述第二时刻时在所述活性微生物样品中的位置；
根据所述位置，对所述目标细胞进行光遗传控制。
14.如权利要求12所述的控制方法，其特征在于，所述控制方法还包括：
利用微投影模块对所述预处理后的图像进行调制，得到调制后的图像，所述调制后的图像以光斑承载，为光斑中的图案成像；
将所述调制后的图像投影到显微镜模块中的物镜视场中，所述活性微生物样品在所述显微镜模块中的成像与所述调制后的图像对应，使得在同一时刻，所述目标细胞在所述预处理后的图像中的位置与所述目标细胞在所述活性微生物样品中的位置一致。
15.如权利要求14所述的控制方法，其特征在于，所述利用微投影模块对所述预处理后的图像进行调制，得到调制后的图像，包括：
对所述预处理后的图像进行相位调制，得到所述光斑中的图案成像。
16.如权利要求14或15所述的控制方法，其特征在于，所述控制方法还包括：
在所述连续时刻生成同步信号，所述同步信号用于在所述连续时刻控制光源模块、所述微投影模块和图像处理模块同步工作；
所述获取活性微生物样品在连续时刻的多个明场图像，包括：
在同步信号的触发下，控制所述光源模块和所述微投影模块照亮所述活性微生物样品的同时，控制所述图像处理模块采集所述活性微生物样品的明场图像。
17.如权利要求16所述的控制方法，其特征在于，所述同步信号还用于在所述连续时刻控制马达同步工作，所述控制方法还包括：
在所述同步信号的触发下，控制马达震动，当所述马达震动时，带动所述光源模块中的多模光纤的盘卷抖动。
18.如权利要求12至15中任一项所述的控制方法，其特征在于，所述静态信息包括长度、位置、大小或荧光强度中的至少一项；所述过程信息包括生长分裂信息或位置变化信息中的至少一项。
CN202210935805.XA 2022-08-04 2022-08-04 光遗传控制系统及其控制方法 Pending CN115475335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210935805.XA CN115475335A (zh) 2022-08-04 2022-08-04 光遗传控制系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210935805.XA CN115475335A (zh) 2022-08-04 2022-08-04 光遗传控制系统及其控制方法

Publications (1)

Publication Number Publication Date
CN115475335A true CN115475335A (zh) 2022-12-16

Family

ID=84421015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210935805.XA Pending CN115475335A (zh) 2022-08-04 2022-08-04 光遗传控制系统及其控制方法

Country Status (1)

Country Link
CN (1) CN115475335A (zh)

Similar Documents

Publication Publication Date Title
CN102854615B (zh) 一种对显微切片的全自动扫描系统及方法
CN104570315B (zh) 一种基于结构照明的彩色三维层析显微成像系统及方法
US8982454B2 (en) Microscope and filter inserting method
ATE285590T1 (de) Methode und vorrichtung zur aufnahme dreidimensionaler abbildungen von schwebend gehaltenen mikroobjekten unter verwendung hochauflösender mikroskopie
JP2008139488A (ja) 顕微鏡装置
US11906724B2 (en) Apparatuses, systems and methods for generating color video with a monochrome sensor
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
US20110001815A1 (en) Microscope apparatus
US11487095B2 (en) Optical microscope and system including illumination to change function of biomaterial
JP2010216919A (ja) 画像撮像装置及びそれを備えた細胞画像解析システム
JP2023534366A (ja) 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN115475335A (zh) 光遗传控制系统及其控制方法
US20180039059A1 (en) Microscope system
CN112992336A (zh) 一种病理智能诊断系统
US20230123767A1 (en) System, method, and recording medium for evaluating stem cell differentiation
JP2021140032A (ja) 信号取得装置、信号取得システム、及び信号取得方法
JP3627020B2 (ja) 三次元透過型顕微鏡システムおよび画像表示方法
US11668917B2 (en) Haptic feedback microscope
WO2022050109A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
US7158294B2 (en) Laser scanning confocal microscope apparatus, image recording method, and recording medium
CN103175780A (zh) 大尺度生物组织连续切片的自动化成像系统
CN203385649U (zh) 大尺度生物组织连续切片的自动化成像系统
JP3584685B2 (ja) 画像処理装置
EP2157466A1 (en) Confocal microscope device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination