CN113009680B - 一种用于超分辨成像的多通道成像系统和方法 - Google Patents
一种用于超分辨成像的多通道成像系统和方法 Download PDFInfo
- Publication number
- CN113009680B CN113009680B CN202110266042.XA CN202110266042A CN113009680B CN 113009680 B CN113009680 B CN 113009680B CN 202110266042 A CN202110266042 A CN 202110266042A CN 113009680 B CN113009680 B CN 113009680B
- Authority
- CN
- China
- Prior art keywords
- channel
- image
- images
- signal
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012984 biological imaging Methods 0.000 claims abstract description 11
- 239000003550 marker Substances 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000001228 spectrum Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 102000034287 fluorescent proteins Human genes 0.000 description 8
- 108091006047 fluorescent proteins Proteins 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 230000003834 intracellular effect Effects 0.000 description 3
- 210000003463 organelle Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000011324 bead Substances 0.000 description 2
- 239000011325 microbead Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- IPWKGIFRRBGCJO-IMJSIDKUSA-N Ala-Ser Chemical group C[C@H]([NH3+])C(=O)N[C@@H](CO)C([O-])=O IPWKGIFRRBGCJO-IMJSIDKUSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000695 excitation spectrum Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种用于超分辨成像的多通道成像系统和方法，该系统包括：多色激光模块，其根据Laser信号，切换触发对应的单色激光器发出激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；相机，其接收荧光信号，并转化成包含多个单通道的原始图像；上位机，其融合所有单通道图像，得到多通道图像；空间光调制器，其根据下位机的触发信号，输出第一高电平信号；相机还根据捕获到高电平信号，进入全局曝光工作状态，输出第二高电平信号；下位机，其发出触发信号以及用于根据读取到第二高电平信号后，根据不同的成像通道输出Laser信号。
Description
技术领域
本发明涉及一种多通道成像及图像配准方法，特别是关于一种用于超分辨成像的多通道成像系统和方法。
背景技术
超分辨成像技术是一类利用荧光效应突破光学显微镜分辨率极限(约200nm)的显微成像技术。按照原理主要可分为采用单分子定位技术的PALM/STORM、采用受激辐射理论的STED以及采用结构光照明的SIM。这些超分辨技术能够实现1～100nm量级的成像分辨率，为生命科学研究提供了强有力的工具。
在超分辨显微镜中，为了同时获取样本不同细胞器或胞内结构的信息，往往会对样本用两种或两种以上的荧光蛋白分别标记不同细胞器或胞内结构，然后分别用对应波长的激光激发样本中的不同荧光蛋白，并快速切换激光，不同荧光蛋白会发出不同谱段的荧光，最后被相机接收成像，从而获得样本不同细胞器或胞内结构的荧光图像。但是由于荧光蛋白都有一个激发谱段范围，一种荧光蛋白对应的激光可能也会部分激发另一种荧光蛋白，这会引起荧光串扰，影响成像质量。因此要将不同荧光蛋白发出的荧光从空间上或时间上分离。
发明内容
本发明的目的在于提供一种用于超分辨成像的多通道成像系统和方法，其能够实现超分辨显微镜中的多通道荧光分离及图像配准和融合。
为实现上述目的，本发明提供一种超分辨显微镜多通道成像系统，该系统包括：
多色激光模块，其包括至少两台单色激光器，所述单色激光器用于根据Laser信号，切换触发对应的所述单色激光器发出激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；
相机，其用于接收所述荧光信号，并转化成包含多个单通道的原始图像；
上位机，其包括图像融合模块，所述图像融合模块用于融合所有单通道图像，得到多通道图像；
空间光调制器，其用于根据接收到来自于下位机的触发信号后，按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号；所述相机还用于根据捕获到所述高电平信号后，进入全局曝光工作状态，并输出第二高电平信号；
下位机，其包括时序控制模块，所述时序控制模块用于发出所述触发信号以及用于根据读取到所述第二高电平信号后，根据不同的成像通道输出所述Laser信号。
进一步地，所述系统还包括：
图像分频器，其用于将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域；
其中，所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定；
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。
进一步地，所述上位机还包括图像配准模块，所述图像配准模块具体包括：
分割单元，其用于根据所述预设单通道图像的大小以及中心点坐标或校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像；
误差设置单元，其用于预设配准误差容限；
配准偏差计算单元，其用于计算所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限；
第一校正单元，其用于固定一所述单通道图像的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并将校正后的所述单通道图像的中心点坐标输送给所述分割单元；
变换单元，其用于将所述第一校正单元固定中心点坐标的所述单通道图像作为模板，并将所述其它单通道图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵；
第二校正单元，其用于利用所述几何变换矩阵将对应所述模板之外的所述其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同；
边缘修正单元，其用于根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值去除所述其它单通道图像的四周边缘，使输出的所有的所述单通道图像大小相同且边缘对齐。
进一步地，所述配准偏差计算单元采用如下特征点计算方法或相位相关计算方法获得所述特征点的配准偏差；
其中，所述特征点计算方法具体包括：
估计一所述单通道图像中的荧光标记物的数量n；
利用角点计算方法，计算检测各单通道图像中的n个角点的坐标值；
计算所述模板分别与所述原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差；
所述相位相关计算方法具体包括：
将各所述单通道图像按照时间轴进行平均处理，并去除各所述单通道图像的背景；
对预处理后的各所述单通道图像进行傅里叶变换，得到对应的频谱；
计算所述模板分别与所述其它单通道图像之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差。
进一步地，所述系统还包括：
滤光片转轮，其用于将不同的单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域；
所述下位机还包括同步信号切换模块，所述同步信号切换模块用于根据所述第一高电平信号同步切换所述滤光片转轮，以供所述对应波长的激光产生的一所述单通道的荧光信号在预设时间间隔通过所述滤光片转轮。
本发明还提供一种超分辨显微镜多通道成像方法，该方法包括：
步骤1，根据Laser信号，切换触发对应的单色激光激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；
步骤2，通过相机接收所述荧光信号，并转化成包含多个单通道的原始图像；
步骤3，融合所有单通道图像，得到多通道图像；
其中，所述步骤1中Laser信号采用时序控制方法获得，所述时序控制方法具体包括：
步骤11，根据接收到来自于下位机的触发信号后，空间光调制器按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号；
步骤12，根据捕获到所述第一高电平信号后，所述相机进入全局曝光工作状态，并输出第二高电平信号；
步骤13，根据读取到所述第二高电平信号后，所述下位机根据不同的成像通道输出所述Laser信号。
进一步地，步骤2之前还包括：
步骤5，通过图像分频器，将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域；
其中，所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定；
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。
进一步地，所述步骤3的图像融合之前还包括如下步骤提供的图像配准方法：
步骤31，根据所述预设单通道图像的大小以及中心点坐标或校正后的校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像；
步骤32，预设配准误差容限；
步骤33，计算各所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限；
步骤34，固定一所述单通道图像的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并利用校正后的所述单通道图像的中心点坐标，返回步骤31；
步骤35，将所述步骤34固定中心点坐标的所述单通道图像作为模板，并将所述其它单通道图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵；
步骤36，利用所述几何变换矩阵将对应所述模板之外的所述其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同；
步骤37，根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值去除所述其它单通道图像的四周边缘，使输出的各所述单通道图像大小相同且边缘对齐。
进一步地，所述步骤33采用如下特征点计算方法或相位相关计算方法获得所述特征点的配准偏差；
其中，所述特征点计算方法具体包括：
步骤3311，估计一所述单通道图像中的荧光标记物的数量n；
步骤3312，利用角点计算方法，计算检测各所述单通道图像中的n个角点的坐标值；
步骤3313，计算所述模板分别与所述原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差；
所述相位相关计算方法具体包括：
步骤3321，将各所述单通道图像按照时间轴进行平均处理，并去除各所述单通道图像的背景；
步骤3322，对所述步骤2231得到的各所述单通道图像进行傅里叶变换，得到对应的频谱；
步骤3323，利用下式计算所述模板分别与所述其它单通道图像之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差：
式中，C0-i表示所述模板对应的通道0与所述其它原始图像中的所述单通道图像对应的通道i之间的互功率谱，Fi表示通道i的频谱，
表示F0的共轭，F0表示通道0的频谱。
进一步地，步骤2之前还包括：
步骤4，通过滤光片转轮，将不同的单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域；
所述步骤13还包括：
所述下位机还根据所述第一高电平信号同步切换所述滤光片转轮，以供所述对应波长的激光产生的一所述单通道的荧光信号在预设时间间隔通过所述滤光片转轮。
本发明将多色激光激发的荧光图像在空间或时间上分开，分别在相机探测区域成像，然后获取不同通道的图像，在上位机中分开显示，最后进行图像融合获得包含不同通道荧光信息的彩色图像。
附图说明
图1为图1采用图像分频器的空分方法的系统原理图。
图2为图1采用滤光片转轮的时分方法的系统原理图。
图3为本发明实施例提供的用于超分辨成像的多通道成像及图像配准融合方法的流程示意图。
图4为本发明实施例提供的超分辨成像多通道成像配准流程框图。
图5为本发明实施例提供的超分辨显微镜多通道成像时序图。
图6为图5的时序控制框架结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1和图2所示，本发明实施例提供的超分辨显微镜多通道成像系统包括超分辨显微镜、相机、上位机、空间光调制器和下位机。
超分辨显微镜包括多色激光模块、激光路和显微镜镜架，用于对生物成像样本进行超越光学分辨率极限(约200nm)的精细成像。具体地，多色激光模块包括多台单色激光器，每一台单色激光器能够产生特定波长的激光，比如：多色激光模块可以包括四台单色激光器，分别是可产生波长为405nm激光的第一单色激光器、可产生波长为488nm激光的第二单色激光器、可产生波长为561nm激光的第三单色激光器、以及可产生波长为637nm激光的第四单色激光器。也可以根据需要，增设其它波长的单色激光器的数量，或者减少现有波长的单色激光器的数量。
多色激光模块中的单色激光器，所述单色激光器用于根据Laser信号，切换触发对应的所述单色激光器发出激发生物成像样本中的荧光标记物的单色激光，单色激光经过激光路，从而实现不同波长激光的自动切换。例如：如图5和图6所示，下位机(FPGA)发出ALaser信号给第一单色激光器，并在第一个时间间隔内打开第一单色激光器，然后关掉第一单色激光器；再发出BLaser信号给第二单色激光器，在第二个时间间隔内打开第二单色激光器，然后关掉第二单色激光器，以此类推，依次发出CLaser信号给第三单色激光器和发出DLaser信号给第四单色激光器。
单色激光被调制成能够进行超分辨成像的结构光，进入显微镜镜架，并经由显微镜镜架上的物镜出射，照射放置于显微镜镜架的载物台上的由多种荧光标记物标记好的生物成像样本，对生物成像样本中的荧光标记物进行激发，产生所述对应波长的单通道的荧光信号。于是，生物成像样本被不断切换的不同波长激光照射，不同种类的荧光标记物被依次激活，发出不同波段的荧光，每一个波段对应一个单通道。为了减小图像配准误差，这个超分辨显微镜多通道成像配准方法采用100nm大小的四色荧光微珠。与实际生物细胞样本而言，荧光微珠结构稳定，信号强，是一种理想的检测样本。
相机用于接收所述荧光信号，并转化成包含多个单通道的原始图像，比如，图1和图2中包含单通道A、单通道B和单通道C的原始图像。再将原始图像输送给上位机。
上位机包括图像融合模块，所述图像融合模块用于融合所有单通道图像，得到多通道图像。例如，图1和图2中的M代表多通道图像，其为包含不同通道荧光信息的彩色图像。
如图5和图6所示，空间光调制器用于根据接收到来自于下位机的触发信号后，按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号。预先存储的图案根据超分辨显微镜的成像原理，用MATLAB程序生成并加载到空间光调制器中。稳定状态空间光调制器每次刷新图案时都会经过一小段时间后才会稳定显示图案，此时空间光调制器会输出高电平信号。
相机还用于根据捕获到第一高电平信号后，进入全局曝光工作状态。在此全局曝光期间，相机输出第二高电平信号。其中，捕获可以理解为相机在低电平时一直处于等待状态，一收到第一高电平，立即进入曝光状态。
下位机采用的是FPGA，其包括时序控制模块，所述时序控制模块用于发出所述触发信号以及用于读取到第二高电平信号。下位机在读取到第二高电平信号后，根据不同的成像通道输出Laser信号，多色激光模块中的对应的单色激光器在接收到Laser信号后，发射出激光，由此完成超分辨显微镜多通道成像。通过FPGA按照一定的成像时序触发各个器件，以此来实现多通道成像。
在一个实施例中，参考图1，超分辨显微镜多通道成像系统还包括图像分频器，图像分频器用于将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域，得到包含多个单通道的原始图像。
由于超分辨显微镜的视场一般较小，相机探测区域可以同时容纳多个通道的荧光图像，并保证不发生重叠。通过设置相机采集区域大小，保证相机采集区域覆盖各通道荧光照射区域，同时宽度尽可能小，以保证相机成像速率。
其中，所所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定。例如：对于图1和图2中的单通道A、单通道B和单通道C，根据图像分频器的总体图像像素大小为长2048个像素、宽520个像素，且最终单个通道图像需求大小为长512像素、宽512像素时，则设置单通道A、单通道B和单通道C的图像大小均为长512像素、宽512像素。
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。比如，当图像分频器的原始图像大小为长2048个像素、宽520个像素时，设置单通道A中心点的横纵坐标为【340，260】，设置单通道B中心点坐标为【1023，260】，设置单通道C中心点坐标为【1708，260】；或者当图像分频器的原始图像大小为长2048个像素、宽128个像素时，设置单通道A中心点的横纵坐标为【340，64】，设置单通道B中心点坐标为【1023，64】，设置单通道C中心点坐标为【1708，64】。
采用图像分频器即采用空分方法，下位机需要控制不同波长激光的切换，以获得一次超分辨重构所需的原始帧数(2D SIM 9张、3D SIM 15张)后切换到下一个波长激光的激发。也就是说，按照预先设置的间隔时间，下位机在第一个时间间隔内打开第一单色激光器，然后关掉第一单色激光器，再在第二个时间间隔内打开第二单色激光器，然后关掉第二单色激光器，以此类推。
在一个实施例中，空分法中，图3和图4所示，所述上位机还包括图像配准模块，用于将原始图像分割出不同的单通道图像。所述图像配准模块具体包括分割单元、误差设置单元、配准偏差计算单元、第一校正单元、变换单元、第二校正单元和边缘修正单元。其中：
分割单元用于根据所述预设单通道图像的大小以及中心点坐标或校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像。比如，假设图像分频器图像记为I0，当I0大小为长2048个像素、宽520个像素时，将I0(85:1:595,5:1:516)的像素块分配给单通道A，记为IA，其中，85＝340-512/2+1,595＝340+512/2,5＝260-512/2+1,516＝260+512/2。同理，可以将I0(768:1:1729,5:1:516)分配给单通道B，记为IB，将I0(1453:1:1964,5:1:516)分配给单通道C，记为IC，其它情况类似。
误差设置单元用于预设配准误差容限。例如：预设的配准误差容限为半径长度r＝5个像素的圆形区域范围。需要说明的是，预设的配准误差容限的大小由图像分频器和相机所获得各个单通道图像误差的大小确定。预设的配准误差容限区域范围所形成的形状选择圆形更能够表示方向的随机性。
配准偏差计算单元用于计算各所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限。
所述配准偏差计算单元可以采用如下特征点计算方法获得所述特征点的配准偏差：
估计一单通道图像中的荧光标记物的数量n。
利用利用Harris算子、Susan算子或Moravec算子等角点计算方法，计算检测各所述单通道图像中的n个角点的坐标值。其中，角点指的是图像中灰度梯度值和梯度方向的变化速率都很高的点，也就是配准所使用的特征点信息。对于拍摄的荧光微珠图像，刚好对应了各个通道中荧光微珠分布的具体信息。
计算所述模板分别与原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差，记为(δxk,δyk)，δxk表示所述模板与单通道k的图像的特征点的横坐标的平均偏差，δyk表示所述模板与单通道k的图像的特征点的纵坐标的平均偏差。其中，平均时，仅统计坐标偏差小于配准误差容限r的特征点。所述模板为原始图像中的一被固定中心点坐标的单通道图像，被固定中心点坐标的单通道图像一般选择激光波长最小的单通道图像。以长2048个像素、宽520个像素的原始图像为例，横轴可以理解为该图像的长度方向，纵轴可以理解为该图像的宽度方向，原点则为该图像左上角第一个像素。但不限于此。
所述配准偏差计算单元采用如下相位相关计算方法获得所述特征点的配准偏差；
将各单通道图像按照时间轴进行平均处理，并去除(比如Mallat小波变换)各单通道图像的背景。因此，可以避免因为低信噪比造成的误差，以及避免背景荧光的干扰。其中，小波变换操作时，去除一阶低频分量，保持高阶分量。进一步地，为了提高配准精度，利用理查德-路西(Richard-Lucy Deconvolution)对图像进行盲解卷积，迭代处理3到7次，得到预处理后的图像I′A、I′B、I′C。其中，时间轴可以理解为显微镜相机拍摄的二维的时间序列图像，即XY-T三轴。平均处理具体是指将二维图像按照时间序列进行算数平均，比如将第1到100张二维图像的像素灰度值相加，再除以100。
对预处理后的各单通道图像进行傅里叶变换，得到对应的频谱。
计算所述模板分别与所述其它原始图像的通道之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差。
其中，互功率谱的计算公式为：
式中，C0-i表示所述模板对应的通道0与所述其它单通道图像对应的通道i之间的互功率谱，Fi表示通道i的频谱，
表示F0的共轭，F0表示通道0的频谱。
例如：对预处理后的图像I′A、I′B、I′C进行傅里叶变换，得到对应的频谱FA、FB、FC，所述模板对应的通道A与其它单通道图像对应的通道B之间的互功率谱CA-B和通道A与其它单通道图像对应的通道C之间的互功率谱CA-C表示为：
其中，
为FA的共轭。
对CA-B、CA-C进行反傅里叶变换，从变换得到的图像矩阵中寻找最大值的坐标(δxB，δyB)、(δxC，δyC)，即分别为通道A与通道B之间的配准偏差，通道A与通道C之间的配准偏差。
第一校正单元用于固定模板的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并将校正后的所述单通道的中心点坐标输送给所述分割单元。
例如：固定通道A对应的模板的中心点坐标不变，按照(δxB，δyB)、(δxC，δyC)，平移修正通道B对应的单通道图像与修正通道C对应的单通道图像的中心点坐标位置，即：通道B对应的单通道图像的中心点坐标修正为【1023+δxB，260+δyB】，通道C对应的单通道图像的中心点坐标修正为【1708+δxC，260+δyC】。然后与分割单元相似，利用校正后的通道B对应的单通道图像的中心点坐标【1023+δxB，260+δyB】和通道C对应的单通道图像的修正为【1708+δxC，260+δyC】，重新分割通道C对应的单通道图像和通道C对应的单通道图像。
变换单元用于根据模板，并将所述其它原始图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵。
第二校正单元用于利用所述几何变换矩阵将对应所述模板之外的所述其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同。
如果显微镜系统存在成像像差，那么不同的单通道图像会在不同空间位置出现不相同的畸变，因此，通过变换单元和第二校正单元，除了可以按各通道中心对总体图像进行像素块分配方式的分割外，还可校正不同单通道图像各处的畸变，使最终输出的单通道图像在空间位置上能很好的对应。根据几何变换矩阵对所述其它单通道图像进行校正，并将校正后的单通道图像补零填充至大小与所述模板大小相同。
边缘修正单元用于根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值(比如：10～20个像素)去除所述其它单通道图像的四周边缘，使输出的各所述单通道图像大小相同且边缘对齐。
在一个实施例中，超分辨显微镜多通道成像系统还包括滤光片转轮，滤光片转轮用于将多个单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域。
采用滤光片转轮即采用时分方法，可替代与上述实施例中的空分法。在时分方法中，通过滤光片转轮的作用是保证每个时刻只有一种荧光蛋白发出的荧光通过，实现多通道荧光信号的时间分离。
所述下位机还包括同步信号切换模块，所述同步信号切换模块用于根据第一高电平信号同步切换所述滤光片转轮，以供所述对应波长的激光产生的一所单通道的荧光信号在预设时间间隔通过所述滤光片转轮，保证控制不同波长激光切换和滤光片转轮切换在时间上的同步性。
本发明实施例提供的超分辨显微镜多通道成像方法包括：
步骤1，根据Laser信号，切换触发对应的单色激光激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；
步骤2，通过相机接收所述荧光信号，并转化成包含多个单通道的原始图像；
步骤3，融合所有单通道图像，得到多通道图像；
其中，所述步骤1中Laser信号采用时序控制方法获得，所述时序控制方法具体包括：
步骤11，根据接收到来自于下位机的触发信号后，空间光调制器按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号；
步骤12，根据捕获到所述第一高电平信号后，所述相机进入全局曝光工作状态，并输出第二高电平信号；
步骤13，根据读取到所述第二高电平信号后，所述下位机根据不同的成像通道输出所述Laser信号。
在一个实施例中，步骤2之前还包括：
步骤5，通过图像分频器，将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域；
其中，所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定；
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。
在一个实施例中，步骤3的图像融合之前还包括如下步骤提供的图像配准方法：
步骤31，根据所述预设单通道图像的大小以及中心点坐标或校正后的校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像；
步骤32，预设配准误差容限；
步骤33，计算各所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限；
步骤34，固定一单通道图像的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并利用校正后的所述单通道图像的中心点坐标，返回步骤31；
步骤35，将所述步骤34固定中心点坐标的所述单通道图像作为模板，并将所述其它单通道图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵；
步骤36，利用所述几何变换矩阵将对应所述模板之外的所述其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同；
步骤37，根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值去除所述其它单通道图像的四周边缘，使输出的各所述单通道图像大小相同且边缘对齐。
在一个实施例中，述步骤33采用如下特征点计算方法或相位相关计算方法获得所述特征点的配准偏差；
其中，所述特征点计算方法具体包括：
步骤3311，估计一单通道图像中的荧光标记物的数量n；
步骤3312，利用角点计算方法，计算检测各所述单通道图像中的n个角点的坐标值；
步骤3313，计算所述模板分别与所述原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差；
所述相位相关计算方法具体包括：
步骤3321，将各所述单通道图像按照时间轴进行平均处理，并去除各所述单通道图像的背景；
步骤3322，对所述步骤2231得到的各所述单通道图像进行傅里叶变换，得到对应的频谱；
步骤3323，利用下式计算所述模板分别与所述其它单通道图像之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差：
式中，C0-i表示所述模板对应的通道0与所述其它原始图像中的所述单通道图像对应的通道i之间的互功率谱，Fi表示通道i的频谱，
表示F0的共轭，F0表示通道0的频谱。
在一个实施例中，步骤2之前还包括：
步骤4，通过滤光片转轮，将不同的单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域；
所述步骤13还包括：
所述下位机还根据所述第一高电平信号同步切换所述滤光片转轮，以供所述对应波长的激光产生的一单通道的荧光信号在预设时间间隔通过所述滤光片转轮。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种超分辨显微镜多通道成像系统，其特征在于，包括：
多色激光模块，其包括至少两台单色激光器，所述单色激光器用于根据Laser信号，切换触发对应的所述单色激光器发出激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；
相机，其用于接收所述荧光信号，并转化成包含多个单通道的原始图像；
上位机，其包括图像融合模块，所述图像融合模块用于融合所有单通道图像，得到多通道图像；
空间光调制器，其用于根据接收到来自于下位机的触发信号后，按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号；所述相机还用于根据捕获到所述高电平信号后，进入全局曝光工作状态，并输出第二高电平信号；
下位机，其包括时序控制模块，所述时序控制模块用于发出所述触发信号以及用于根据读取到所述第二高电平信号后，根据不同的成像通道输出所述Laser信号；
所述上位机还包括图像配准模块，所述图像配准模块具体包括：
分割单元，其用于根据预设单通道图像的大小以及中心点坐标或校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像；
误差设置单元，其用于预设配准误差容限；
配准偏差计算单元，其用于计算所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限；
第一校正单元，其用于固定一所述单通道图像的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并将校正后的所述单通道图像的中心点坐标输送给所述分割单元；
变换单元，其用于将所述第一校正单元固定中心点坐标的所述单通道图像作为模板，并将其它所述单通道图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵；
第二校正单元，其用于利用所述几何变换矩阵将对应所述模板之外的其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同；
边缘修正单元，其用于根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值去除所述其它单通道图像的四周边缘，使输出的所有的所述单通道图像大小相同且边缘对齐。
2.如权利要求1所述的超分辨显微镜多通道成像系统，其特征在于，还包括：
图像分频器，其用于将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域；
其中，所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定；
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。
3.如权利要求1所述的超分辨显微镜多通道成像系统，其特征在于，所述配准偏差计算单元采用如下特征点计算方法或相位相关计算方法获得所述特征点的配准偏差；
其中，所述特征点计算方法具体包括：
估计一所述单通道图像中的荧光标记物的数量n；
利用角点计算方法，计算检测各单通道图像中的n个角点的坐标值；
计算所述模板分别与所述原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差；
所述相位相关计算方法具体包括：
将各所述单通道图像按照时间轴进行平均处理，并去除各所述单通道图像的背景；
对预处理后的各所述单通道图像进行傅里叶变换，得到对应的频谱；
计算所述模板分别与所述其它单通道图像之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差。
4.如权利要求1所述的超分辨显微镜多通道成像系统，其特征在于，还包括：
滤光片转轮，其用于将不同的单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域；
所述下位机还包括同步信号切换模块，所述同步信号切换模块用于根据所述第一高电平信号同步切换所述滤光片转轮，以供所述滤光片转轮对应波长的激光产生的一所述单通道的荧光信号在预设时间间隔通过所述滤光片转轮。
5.一种超分辨显微镜多通道成像方法，其特征在于，包括：
步骤1，根据Laser信号，切换触发对应的单色激光激发生物成像样本中的荧光标记物的单色激光，产生对应单通道的荧光信号；
步骤2，通过相机接收所述荧光信号，并转化成包含多个单通道的原始图像；
步骤3，融合所有单通道图像，得到多通道图像；
其中，所述步骤1中Laser信号采用时序控制方法获得，所述时序控制方法具体包括：
步骤11，根据接收到来自于下位机的触发信号后，空间光调制器按照其内存中预先存储的图案自动依次刷新，并在每个图案处于稳定状态时，输出第一高电平信号；
步骤12，根据捕获到所述第一高电平信号后，所述相机进入全局曝光工作状态，并输出第二高电平信号；
步骤13，根据读取到所述第二高电平信号后，所述下位机根据不同的成像通道输出所述Laser信号；
所述步骤3的图像融合之前还包括如下步骤提供的图像配准方法：
步骤31，根据预设单通道图像的大小以及中心点坐标或校正后的校正后的所述原始图像中单通道图像中心点坐标，按像素块分配的方式分割各所述单通道图像；
步骤32，预设配准误差容限；
步骤33，计算各所述原始图像中各单通道图像的特征点的配准偏差，所述特征点的配准偏差小于所述配准误差容限；
步骤34，固定一所述单通道图像的中心点坐标，根据所述配准偏差，校正其它所述单通道图像的中心点坐标位置，并利用校正后的所述单通道图像的中心点坐标，返回步骤31；
步骤35，将所述步骤34固定中心点坐标的所述单通道图像作为模板，并将其它所述单通道图像进行平移、旋转、尺度变换和仿射变换，获得几何变换矩阵；
步骤36，利用所述几何变换矩阵将对应所述模板之外的其它单通道图像进行校正，并将校正后的所述其它单通道图像补零填充至大小与对应所述模板大小相同；
步骤37，根据所述其它单通道图像的四周边缘与对应所述模板的差异，按照预设像素值去除所述其它单通道图像的四周边缘，使输出的各所述单通道图像大小相同且边缘对齐。
6.如权利要求5所述的超分辨显微镜多通道成像方法，其特征在于，步骤2之前还包括：
步骤5，通过图像分频器，将多个单通道的荧光信号按照预设单通道图像的大小以及中心点坐标投射到所述相机的探测区域；
其中，所述预设单通道图像的大小根据所述图像分频器的总体图像像素大小以及最终单个通道图像需求大小确定；
所述预设单通道图像的中心点坐标按照所述各单通道对应的在所述图像分频器原始数据的空间位置确定。
7.如权利要求5所述的超分辨显微镜多通道成像方法，其特征在于，所述步骤33采用如下特征点计算方法或相位相关计算方法获得所述特征点的配准偏差；
其中，所述特征点计算方法具体包括：
步骤3311，估计一所述单通道图像中的荧光标记物的数量n；
步骤3312，利用角点计算方法，计算检测各所述单通道图像中的n个角点的坐标值；
步骤3313，计算所述模板分别与所述原始图像中其它单通道图像的特征点的横坐标和纵坐标的平均偏差，作为所述特征点的配准偏差；
所述相位相关计算方法具体包括：
步骤3321，将各所述单通道图像按照时间轴进行平均处理，并去除各所述单通道图像的背景；
步骤3322，对所述步骤3321得到的各所述单通道图像进行傅里叶变换，得到对应的频谱；
步骤3323，利用下式计算所述模板分别与所述其它单通道图像之间的互功率谱，并将计算得到的所述互功率谱进行反傅里叶变换，并从反傅里叶变换后得到的图像矩阵中寻找最大值的坐标，作为所述特征点的配准偏差：
式中，C0-i表示所述模板对应的通道0与其他所述 原始图像中的所述单通道图像对应的通道i之间的互功率谱，Fi表示通道i的频谱，
表示F0的共轭，F0表示通道0的频谱。
8.如权利要求5所述的超分辨显微镜多通道成像方法，其特征在于，步骤2之前还包括：
步骤4，通过滤光片转轮，将不同的单通道的荧光信号按照时间先后顺序投射到所述相机的相同探测区域；
所述步骤13还包括：
所述下位机还根据所述第一高电平信号同步切换所述滤光片转轮，以供所述滤光片转轮对应波长的激光产生的一所述单通道的荧光信号在预设时间间隔通过所述滤光片转轮。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110266042.XA CN113009680B (zh) | 2021-03-11 | 2021-03-11 | 一种用于超分辨成像的多通道成像系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110266042.XA CN113009680B (zh) | 2021-03-11 | 2021-03-11 | 一种用于超分辨成像的多通道成像系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113009680A CN113009680A (zh) | 2021-06-22 |
| CN113009680B true CN113009680B (zh) | 2021-11-05 |
Family
ID=76405310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110266042.XA Active CN113009680B (zh) | 2021-03-11 | 2021-03-11 | 一种用于超分辨成像的多通道成像系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113009680B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114577771B (zh) * | 2022-03-11 | 2023-07-04 | 广州超视计生物科技有限公司 | 一种多路片层光全自动对准装置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像系统及其方法 |
| CN108734695A (zh) * | 2017-04-14 | 2018-11-02 | 希森美康株式会社 | 荧光图像分析装置、荧光图像的图像处理方法及计算机程序 |
| CN110132910A (zh) * | 2019-04-01 | 2019-08-16 | 中国科学院上海光学精密机械研究所 | 基于光场多维信息融合显微超分辨成像装置和成像方法 |
| CN111610621A (zh) * | 2020-01-19 | 2020-09-01 | 北京大学 | 一种双模态显微成像系统和方法 |
| CN112075925A (zh) * | 2020-09-21 | 2020-12-15 | 北京脑科学与类脑研究中心 | 基于散斑原理的荧光成像照明装置、成像系统及成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201701296D0 (en) * | 2017-01-26 | 2017-03-15 | Univ College Cork - Nat Univ Of Ireland | Smart coded access optical sensor |
-
2021
- 2021-03-11 CN CN202110266042.XA patent/CN113009680B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734695A (zh) * | 2017-04-14 | 2018-11-02 | 希森美康株式会社 | 荧光图像分析装置、荧光图像的图像处理方法及计算机程序 |
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像系统及其方法 |
| CN110132910A (zh) * | 2019-04-01 | 2019-08-16 | 中国科学院上海光学精密机械研究所 | 基于光场多维信息融合显微超分辨成像装置和成像方法 |
| CN111610621A (zh) * | 2020-01-19 | 2020-09-01 | 北京大学 | 一种双模态显微成像系统和方法 |
| CN112075925A (zh) * | 2020-09-21 | 2020-12-15 | 北京脑科学与类脑研究中心 | 基于散斑原理的荧光成像照明装置、成像系统及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113009680A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7153418B2 (ja) | オーバビューコントラスト画像を生成及び解析する方法 | |
| US9435993B2 (en) | Three dimensional microscopy imaging | |
| US20230253073A1 (en) | System for acquisition and processing of multiplexed fluorescence in-situ hybridization images | |
| CN108271410B (zh) | 成像系统以及使用所述成像系统的方法 | |
| US10215975B2 (en) | Method and/or system for stabilization, tracking, and/or control of microscopic systems | |
| US9523844B2 (en) | Whole slide fluorescence scanner | |
| US10580128B2 (en) | Whole slide multispectral imaging systems and methods | |
| US11960073B2 (en) | System and method for template-based image analysis | |
| US9426363B2 (en) | Image forming apparatus image forming method and image sensor | |
| US11614363B2 (en) | Digital pathology color calibration and validation | |
| CN108169887B (zh) | 3d多焦面结构光快速显微成像系统及方法 | |
| US11403861B2 (en) | Automated stain finding in pathology bright-field images | |
| US20050232477A1 (en) | Defect inspection apparatus and defect inspection method | |
| CN113009680B (zh) | 一种用于超分辨成像的多通道成像系统和方法 | |
| CN115060367B (zh) | 基于显微高光谱成像平台的全玻片数据立方体采集方法 | |
| CN104516098B (zh) | 一种显微装置及成像方法 | |
| JP2005352543A (ja) | テンプレートマッチング装置 | |
| JP2022136051A (ja) | マルチスペクトル顕微鏡システムおよびマルチスペクトル顕微鏡システムを用いて第１の画像と第２の画像とを位置合わせする方法 | |
| WO2019140434A2 (en) | Overlapping pattern differentiation at low signal-to-noise ratio | |
| WO2019140430A1 (en) | Pattern detection at low signal-to-noise ratio with multiple data capture regimes | |
| EP3516683B1 (en) | Method for defocus detection | |
| CN114018150B (zh) | 一种数字全息显微测量装置及其控制方法 | |
| US20240328948A1 (en) | Systems and methods for fluorescence microscopy channel crosstalk mitigation | |
| JP2006090961A (ja) | ３次元計測装置、３次元計測方法、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220712 Address after: Room 302, building B, No. 136, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong 510530 Patentee after: Guangzhou chaoshiji Biotechnology Co.,Ltd. Address before: 510535 Room 201, building B1, 136 Kaiyuan Avenue, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Guangdong Guangdong Hong Kong Macao Dawan District Collaborative Innovation Research Institute Patentee before: Guangzhou chaoshiji Biotechnology Co., Ltd |
|
| TR01 | Transfer of patent right |