CN116539575A - 一种线照明调制多色层析成像系统 - Google Patents
一种线照明调制多色层析成像系统 Download PDFInfo
- Publication number
- CN116539575A CN116539575A CN202310411103.6A CN202310411103A CN116539575A CN 116539575 A CN116539575 A CN 116539575A CN 202310411103 A CN202310411103 A CN 202310411103A CN 116539575 A CN116539575 A CN 116539575A
- Authority
- CN
- China
- Prior art keywords
- pixel row
- illumination
- image
- channel
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 138
- 238000003325 tomography Methods 0.000 title claims abstract description 39
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 title description 2
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 32
- 230000028161 membrane depolarization Effects 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 14
- 238000003702 image correction Methods 0.000 claims description 12
- 238000007493 shaping process Methods 0.000 claims description 9
- 230000008054 signal transmission Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000000799 fluorescence microscopy Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 239000002344 surface layer Substances 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012632 fluorescent imaging Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000000295 emission spectrum Methods 0.000 description 3
- 102000034287 fluorescent proteins Human genes 0.000 description 3
- 108091006047 fluorescent proteins Proteins 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开一种线照明调制多色层析成像系统,属于多色层析成像技术领域,包括:线照明调制模块,包括m个单色光源和调制光路,每个光束经过调制形成一个照明线光斑,m个通道的照明线光斑叠加形成m色线照明光;探测模块,将m色线照明光激发的q个通道的信号分为p+1组,其中,当q为偶数时,p+1组均为双通道信号组,当q为奇数时,p组为双通道信号组,剩下一组为单通道信号组,每个双通道信号组中对应的两个通道的照明线光斑的位置参数之间距离为0.5个像素的整数倍;扫描成像模块,采用多元探测器连续扫描成像,获得n张图像,每张图像对应一行像素;图像解调模块,将同一双通道信号组的两个对称像素行的混合图像进行消减处理,从混合图像中解调出单色图像。本发明实现同步多色层析成像。
Description
技术领域
本发明涉及多色层析成像技术领域,特别涉及一种线照明调制多色层析成像系统。
背景技术
使用不同颜色的荧光团选择性标记生物组织中的不同结构,并利用多色显微成像技术同时获取多色信号,能够更好地解析生物组织中细胞、细胞器与分子之间的空间关系和相互作用。
目前的多色层析成像方法通常利用二向色镜将各个通道的信号在空间上进行分离,并传递到不同的黑白相机上进行探测,但这种方法存在一些问题:从常用的宽场成像显微镜获取的图像有较强的离焦背景干扰信号,对于发射谱相互重叠的荧光团,通过二向色镜无法完全分离不同通道的信号,因此会存在通道间的串扰;采用多个黑白相机进行探测,各个通道的图像在横向上存在偏移,在轴向上存在探测焦面的差异,因此需要对原始图像进行复杂的配准处理;每个通道都需要一个单独的黑白相机,受限于系统的体积大小和复杂程度,多色层析成像的通道数量受到限制;系统的制作成本随着黑白相机的数量增多而升高。
发明内容
为了解决现有的多色成像方法通道数量有限、系统结构复杂、系统成本较高、获取的多色图像有较强的离焦背景信号等技术问题,本发明实施例提供了一种线照明调制多色层析成像系统,所述技术方案如下:
所述线照明调制多色层析成像系统包括:
线照明调制模块,包括m个单色光源和调制光路,每个所述单色光源发出的光束的波长不同;每个所述光束经过所述调制光路形成一个在物镜焦面上聚焦的照明线光斑,所述照明线光斑在所述物镜焦面上照明强度在第一方向上呈高斯分布,所述第一方向与所述照明线光斑的延伸方向垂直,m个光束的所述照明线光斑叠加形成m色线照明光,所述m≥3,且为正整数,所述m色线照明光激发产生q个通道的信号,每个通道的信号的波长不同,所述q≥m;
探测模块,用于将所述q个通道的信号分为p+1组,p=floor(q/2)-1,所述p+1组信号分别被p+1个多元探测器接收,所述照明线光斑的位置参数位于探测其所激发信号的多元探测器的像素行的中央或相邻像素行的交线上,当q为奇数时,p组为双通道信号组,剩下一组为单通道信号组,当q为偶数时,所述p+1组均为双通道信号组,所述单通道信号组仅包含一个通道的信号,所述双通道信号组包含两个通道的信号,所述两个通道的信号由不同波长的照明线光斑激发,所述照明线光斑的位置参数之间距离为0.5个像素的正整数倍;
扫描成像模块,用于采用具有n行像素的多元探测器沿所述第一方向连续扫描成像,所述多元探测器获得n张图像,每张所述图像对应一行像素,所述n≥3,且为正整数,其中,所述双通道信号组对应的所述多元探测器获得的是混合图像,所述单通道信号组对应的所述多元探测器获得的是单色图像;
图像解调模块,用于将同一所述双通道信号组的两个对称像素行的混合图像进行消减处理,从所述混合图像中解调出单色图像,两个所述对称像素行关于所述双通道信号组的一通道的照明线光斑的位置参数对称。
进一步地,探测模块包括探测成像光路,所述探测成像光路包括沿信号传递方向依次设置的p个二向色镜,q个通道的信号每经过一个二向色镜被分离出两个通道的信号,所述分离出两个通道的信号被对应的多元探测器接收。
进一步地,所述调制光路包括用于将光束整形成线光束的整形光路,用于调节每个照明线光斑的位置参数的位置调节光路,以及用于将所述照明线光斑叠加形成m色线照明光的投影光路。
进一步地,所述整形光路包括用于将m个光源合束的第一二向色镜组,以及沿合束后光束传递方向依次设置的第一扩束镜、第二扩束镜和柱透镜,所述第一二向色镜组包括m-1个二向色镜,m-1个所述二向色镜沿第一光源传递方向布置,其余的每个光源通过一个所述二向色镜汇入所述第一光源形成合束光。
进一步地,图像解调模块包括:
通道选取单元,用于选取一个通道为目标通道,另一个通道为辅助通道;
像素行确定单元,用于确定关于所述辅助通道的位置参数对称的第一像素行和第二像素行;
图像修正单元,用于对所述第二像素行的混合图像进行去偏校正;
图像解调单元,用于根据所述第一像素行的混合图像和去偏校正后的所述第二像素行的混合图像,得到所述目标通道的单色图像。
进一步地,图像修正单元包括:
卷积核获取子单元,用于获取所述第一像素行和所述第二像素行之间的去偏校正卷积核;
卷积核修正子单元,用于利用所述去偏校正卷积核对所述第二像素行的混合图像进行去偏校正。
进一步地,卷积核获取子单元用于:
在仅开启辅助通道照明光束的情况下,获取所述第一像素行的单色图像和所述第二像素行的单色图像;
对所述第一像素行的单色图像和所述第二像素行的单色图像进行傅里叶变换,获得所述第一像素行的频域图像和所述第二像素行的频域图像;
将所述第一像素行的频域图像和所述第二像素行的频域图像相除后进行傅里叶逆变换,得到所述去偏校正卷积核。
进一步地,卷积核获取子单元用于:
计算所述第一像素行的有效点扩散函数和所述第二像素行的有效点扩散函数;
将所述第一像素行的有效点扩散函数和所述第二像素行的有效点扩散函数进行傅里叶变化,获得所述第一像素行的光学传递函数和所述第二像素行的光学传递函数;
将所述第一像素行的光学传递函数和所述第二像素行的光学传递函数相除后进行傅里叶逆变换,得到所述去偏校正卷积核。
进一步地,图像修正单元包括:
平移参数获取子单元,用于获取所述第一像素行和所述第二像素行之间的平移参数;
平移修正子单元,用于利用所述平移参数对所述第二像素行的混合图像进行去偏校正。
进一步地,线照明调制多色层析成像系统还包括驱动模块,用于驱动所述样本在相互垂直的三个方向上作相对运动。
本发明实施例提供的技术方案带来的有益效果至少包括:
本发明提供了一种线照明调制多色层析成像系统,在成像系统探测端将探测光分离成多组信号,每组信号中含有两个通道的信号,每组信号被一个多元探测器探测。对于每个多元探测器探测的双色混合图像,利用消减处理进行解调,得到各通道对应的单色图像。相比于传统仅使用二向色镜分离探测光,每个单色通道对应一个多元探测器的多色成像方法,本发明实现了多通道的多色成像,减少了多元探测器的数量,降低了系统成本和复杂度。同时,对于各组信号中的双通道信号,采用多个像素行进行探测成像,各个通道间的图像为天然配准关系,无需进行额外的配准处理。另外,独特的解调算法提升了系统的多色层析成像能力。在荧光成像中,本线照明调制多色层析成像系统利用不同波长的照明光差异性激发不同种颜色的信号,避免了发射谱串扰的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明线照明调制多色层析成像系统的功能模块图;
图2是本发明的线照明调制多色层析成像的光路结构示意图;
图3是本发明中各多元探测器(探测双通道信号时)上线照明光分布示意图;
图4是本发明的扫描成像模块的功能模块图;
图5是本发明的样本成像采集过程示意图;
图6是本发明的三维成像示意图;
图7是本发明的一种图像修正单元的功能模块图;
图8是本发明的另一种图像修正单元的功能模块图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供了一种线照明调制多色层析成像系统,包括线照明调制模块10、探测模块20、扫描成像模块30和图像解调模块40。
线照明调制模块10包括m个(m≥3,m为正整数)单色光源和调制光路,每个单色光源发出的光束的波长不同,每个光束经过调制光路形成在物镜焦平面上聚焦的照明线光斑,并且该照明线光斑在物镜焦面上照明强度在第一方向上呈高斯分布,第一方向与照明线光斑的延伸方向垂直。m个光束的照明线光斑叠加形成m色线照明光。m色线照明光激发产生q个通道的信号,每个通道的信号的波长不同,所述q≥m。
探测模块20用于将q个通道的信号分为p+1组,p=floor(q/2)-1(floor(·)表示向下取整),p+1组信号分别被p+1个多元探测器接收,照明线光斑的位置参数位于探测其所激发信号的多元探测器的像素行的中央或相邻像素行的交线上。当q为奇数时,p组为双通道信号组,剩下一组为单通道信号组,单通道信号组仅包含一个通道的信号;当q为偶数时,p+1组均为双通道信号组,双通道信号组包含两个通道的信号,两个通道的信号由不同波长的照明线光斑激发,照明线光斑的位置参数之间距离为0.5个像素的正整数倍。
扫描成像模块30用于采用具有n(n≥3)行像素的多元探测器沿第一方向连续扫描成像,每个多元探测器可获得n张图像,每张图像对应一行像素。其中,双通道信号组对应的多元探测器获得的是混合图像,单通道信号组对应的多元探测器获得的是单色图像。
图像解调模块40,用于将同一双通道信号组的两个对称像素行的混合图像进行消减处理,从混合图像中解调出单色图像,其中,两个对称像素行关于双通道信号组的一通道的照明线光斑的位置参数对称。
本发明实施例提供的线照明调制多色层析成像系统,在成像系统探测端将探测光分离成多组信号,每组信号中含有两个通道的信号,每组信号被一个多元探测器探测。对于每个多元探测器探测的双色混合图像,利用消减处理进行解调,得到各通道对应的单色图像。相比于传统仅使用二向色镜分离探测光,每个单色通道对应一个多元探测器的多色成像方法,本发明实现了多通道的多色成像,减少了多元探测器的数量,降低了系统成本和复杂度。同时,对于各组中的双通道信号,采用多个像素行进行探测成像,各个通道间的图像为天然配准关系,无需进行额外的配准处理。另外,独特的解调算法提升了系统的多色层析成像能力。在荧光成像中,本线照明调制多色层析成像系统利用不同波长的照明光差异性激发不同种颜色的信号,避免了发射谱串扰的问题。
需要说明的是,本线照明调制多色层析成像系统中的单色光源指的是波长一定的光源,既可以是单色激光光源,也可以是单色LED(Light-emitting diode,发光二极管)光源,还可以是宽谱光源配合窄波滤波片获得的单色光源。另外,本线照明调制多色层析成像系统可以适用于荧光显微成像,也可以适用于非荧光显微成像(即照明波长与探测波长相同)的多种场景,本申请不对此进行限制。
进一步地,由于m色线照明光可以激发产生q种不同颜色(波长)的信号,q≥m,因此,本系统适用于每种波长的照明线光斑可激发1种或多种颜色(波长)信号的情况。例如,对于在荧光成像中,当m种波长的照明线光斑中每种有且仅激发样本上一种颜色的荧光信号,或者当在非荧光成像(照明波长与探测波长相同)中,此时q=m,本系统能够使用;又例如,在荧光成像中,当m种波长照明线光斑中存在一种或者多种波长的照明线光斑可以同时激发多种颜色荧光信号,且每种荧光信号有且只被一种波长的照明线光斑激发时(此时q>m),本方法同样适用。对于后一种情况,系统中同一波长照明线光斑激发的多种荧光信号分别被不同多元探测器探测,即每个多元探测器上探测的两种荧光信号由不同波长的照明线光斑激发。
进一步地,调制光路包括用于将光束整形成线光束的整形光路、用于调节每个照明线光斑位置参数的位置调节光路、用于将照明线光斑叠加形成m色线照明光的投影光路。
参照图2,为本申请的线照明调制多色层析成像在荧光显微成像中的光路结构,整形光路包括用于将m个激光光源合束的第一二向色镜组3.1、3.2、……、3.(m-1),以及沿合束后光束传递方向依次设置的第一扩束镜4、第二扩束镜5和柱透镜12。位置调节光路位于第二扩束镜5和柱透镜12之间,包括第二二向色镜组6.1、6.2、……、6.(m-1)、第三二向色镜组7.1、7.2、……、7.(m-1)、第一反射镜8、第二反射镜9、第三反射镜10和第四反射镜11,光束每经过第二二向色镜组中的一个二向色镜分离出一条光路,分离出的光路经过第三二向色镜组中的对应二向色镜进行合束,通过第二二向色镜组后的剩余光束经由第一反射镜8、第二反射镜9进入第三二向色镜组进行合束,合束光通过第三反射镜10和第四反射镜11可以调节合束光中各个激光光束线光斑的位置参数的位置。投影光路包括照明筒镜13、物镜14和第四二向色镜17(在非荧光成像中,需更换为半反半透分束器或其它可实现对照射其上的光即可反射又可透射的器件),用于将所述照明线光斑叠加形成多色线照明光。
具体地,第一二向色镜组3.1、3.2、……、3.(m-1)沿激光光束传递方向布置,第二激光光源2.1、第三激光光源2.2、……、第m激光光源2.(m-1)发出的激光光束通过第一二向色镜组中的一个二向色镜汇入第一激光光源1发出的激光光束形成合束光,并由第一扩束镜4和第二扩束镜5进行扩束,接着利用第二二向色镜组6.1、6.2、……、6.(m-1)将不同通道的照明光束彼此分离并分别进入不同的光路,光束经过第二二向色镜6.1分离出的光路经过第三二向色镜7.1后进行合束,通过第二二向色镜6.1后的剩余光束经过第二二向色镜6.2再次分离,分离出的光路经过第三二向色镜7.2、7.1后进行合束,通过第二二向色镜6.2后的剩余光束经过第二二向色镜6.3再次分离,分离出的光路经过第三二向色镜7.3、7.2、7.1后进行合束,以此类推,光束通过第二二向色镜6.(m-1)被分离出的光路通过第三二向色镜7.(m-1)、……、7.2、7.1后进行合束,剩余光束经由第一反射镜8、第二反射镜9进入第三二向色镜7.(m-1)、……、7.2、7.1进行合束。合束后的光束通过柱透镜12整形为线光束,第三反射镜10、第四反射镜11可以调节合束光中各个激光光束线光斑的位置参数的位置,合束光经由照明筒镜13、第四二向色镜17和物镜14,将线光束投射到物镜焦平面上,用于激发电动平移台16上样本15的q种信号。
探测模块20包括探测成像光路,探测成像光路包括沿信号传递方向依次设置的p个二向色镜,q个通道的信号每经过一个二向色镜被分离出两个通道的信号,分离出两个通道的信号被对应的多元探测器接收。当q为奇数时,p组信号含有两个通道的信号,剩余的一组信号含有一个通道的信号,当q为偶数时,p+1组信号中每组信号含有两个通道的信号。
本实施例中的多元探测器可以是具有Sub-array(子阵列)或ROI(Region ofinterest,感兴趣区)功能的面阵CCD(Charge-coupled device,电荷耦合元件)或面阵CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机,也可采用具有面阵模式功能的线阵CCD或线阵CMOS相机。
进一步地,参照图2,探测成像光路包括物镜14、第四二向色镜17、沿信号传递方向依次设置的第五二向色镜组18.1、18.2、……、18.p、探测筒镜组19.1、19.2、……、19.p、19.(p+1)、发射滤光片组20.1、20.2、……、20.p、20.(p+1)(在非荧光成像中,不需要发射滤光片组)和多元探测器组21.1、21.2、……、21.p、21.(p+1)。m个通道的信号每经过一个第五二向色镜被分离出两个通道的信号,经过相应的探测筒镜和发射滤光片被多元探测器接收进行成像。
具体地,信号经过物镜14和第四二向色镜17后,被第五二向色镜组18.1、18.2、……、18.p分离为p+1组信号。具体地,q种信号经过第五二向色镜18.1后,分离出2个通道的信号,经探测筒镜19.1、发射滤光片20.1后被多元探测器21.1接收进行成像,通过第五二向色镜18.1后剩余的q-2种信号经过第五二向色镜18.2后,再分离出2个通道的信号,经探测筒镜19.2、发射滤光片20.2后被多元探测器21.2接收进行成像,以此类推,通过第五二向色镜18.2后的q-4种信号依次被第五二向色镜18.3、18.4、……、18.p分离出2个通道的信号,随后依次经过相应的探测筒镜和发射滤光片被多元探测器接收进行成像。通过第五二向色镜18.p后剩余的1种或2种信号随后经过探测筒镜19.(p+1)、发射滤光片20.(p+1)后被多元探测器21.(p+1)接收进行成像。
为了方便后续解调,对于含有两个通道信号的多元探测器,每个通道照明线光斑位置参数需位于探测该通道信号的多元探测器的像素行的中央或相邻像素行的交线上,且各多元探测器中对应的2个通道照明线光斑的位置参数之间距离为0.5个像素在物空间对应宽度的正整数倍。
具体地,可先调节第三反射镜10或第四反射镜11任意一个或者两个的角度,使从第二二向色镜6.1、第三二向色镜7.1上透射波长的照明线光斑位移至指定位置,接着调节第二二向色镜6.2和第三二向色镜7.2任意一个或者两个的角度,调整从第二二向色镜6.2和第三二向色镜7.2上反射波长的照明线光斑的位置参数,接着调节第二二向色镜6.3和第三二向色镜7.3任意一个或者两个的角度,调整从第二二向色镜6.3和第三二向色镜7.3上反射波长的照明线光斑的位置参数,依次类推,按顺序调节第二二向色镜组和第三二向色镜组中剩余二向色镜的角度,调整从其上反射波长的照明线光斑的位置参数,最后调节第一反射镜8和第二反射镜9任意一个或者两个的角度,调整从其上反射波长的照明线光斑的位置参数。
在另一些实施例中,调制光路可由不同发射波长的线状LED直接生成不同波长的线光束,然后在经过投影光路投射到物镜焦面。通过调节不同线状LED的位置即可改变物镜焦面照明线光斑的位置参数。
如图3展示了在各多元探测器上探测双通道信号时线照明光分布示意图,命名各多元探测器上探测的2个通道信号分别为通道1和通道2,通道1和通道2线照明光束的照明强度在x方向上成高斯分布,多元探测器的成像区域为8个像素行,每个光束经过调制光路在物镜焦面上聚焦的照明线光斑的位置参数不同。如图3(A)所示,通道1的照明线光斑在x方向上的最亮点位于第4像素行和第5像素行的交线上,即通道1的照明线光斑位置参数位于第4像素行和第5像素行的交线上,同理,通道2的照明线光斑位置参数位于第5像素行和第6像素行的交线上;如图3(B)所示,通道1的照明线光斑位置参数位于第4像素行的中央,通道2的照明线光斑位置参数位于第5像素行的中央;如图3(C)所示,通道1的照明线光斑位置参数位于第4像素行和第5像素行的交线上,通道2的照明线光斑位置参数位于第5像素行的中央。
另外,当q为奇数时,p+1个多元探测器中有且只有1个多元探测器获取单通道信号,对该通道的照明线光斑位置参数没有以上要求,即不需要位于像素行的中央或相邻像素行的交线上。
进一步地,参照图4,扫描成像模块30包括:
扫描单元301,用于采用具有n行像素的多元探测器沿第一方向连续扫描成像,所述n≥3,且为正整数;
图像块获取单元302,获取每个所述多元探测器按时间顺序所得的一个样本的每帧图像中的第i个像素行的条带图像块;
拼接单元303,将每个所述多元探测器获取的一个样本的每帧图像中的第i个像素行的条带图像块依次拼接获得第i像素行的图像,i∈n。
具体地,扫描单元301采用p+1个多元探测器沿第一方向连续扫描成像,图像块获取单元302和拼接单元303对每个多元探测器探测的图像分别处理。其中,双通道信号组对应的多元探测器获得的是双色混合图像,单通道信号组对应的多元探测器获得的是单色图像。
图5为本发明的样本成像采集过程示意图,下面结合图5对扫描成像模块30的功能进行介绍。为了便于后续的图像解调,本实施例中各个多元探测器的成像区域为沿x方向布置的n个像素行,样本的运动方向也沿x方向,从而便于样本在不同像素下分别扫描成像,在各个多元探测器上实现同步的双色成像。
在成像采集过程中,三维电动平移台16带动样本15沿着x方向匀速运动,且各多元探测器的单帧曝光时间与样本15移动一个像素在物空间对应宽度的时间相等。对于任意一个多元探测器来说,若设定任意一像素行在一帧图像中对应的图像为一个条带图像块,则该像素行在多帧图像中对应的多个条带图像块为该样本的各个部分的依次连续成像。对这些按时间顺序所得的连续成像得到的条带图像块进行拼接,即可得到n个像素行分别对应的混合图像,每张混合图像对应一像素行,每张混合图像中包含两个通道的信号,其中,n≥3,且为正整数。具体地,从n个像素行中选取第i像素行,获取按时间顺序所得的一个样本的每帧图像中的第i像素行的条带图像块,并将一个样本的每帧图像中的第i像素行的条带图像块依次拼接获得第i像素行的混合图像。
进一步地,本发明的线照明调制多色层析成像系统还包括驱动模块50,用于驱动样本在相互垂直的三个方向上作相对运动。
具体地,参照图6,为本发明的三维成像示意图,将样本设定为四个表层,每个表层分隔为4个样本条,三维电动平移台16带动样本15沿着x方向运动,对第一样本条成像,然后沿着y方向移动一个样本条的宽度,接着沿着-x方向运动,对第二样本条成像,不断循环上述过程,完成对第三样本条和第四样本条的成像。完成第一表层的扫描成像后,三维电动平移台16带动样本15沿着z方向移动一段距离,使样本的焦点深度由第一表层改变至第二表层,同样地,三维电动平移台16带动样本15再沿着x方向运动,对样本的第二表层进行成像,如此往复循环,可实现样本的三维成像。
如前所述,通过探测模块20中的p个二向色镜,已将q个通道的信号按照不同的探测波段分成了p+1组。当q为奇数时,p组是每组信号含有两个通道的信号的双通道信号组,剩余的一组是仅含有一个通道的信号的单通道信号组,当q为偶数时,p+1组是每组信号含有两个通道的信号的双通道信号组。其中,双通道信号组对应的多元探测器获得的是双色混合图像,单通道信号组对应的多元探测器探测的是单色图像。单通道信号组探测到图像本身为单色图像,在这不做过多说明。只需要解调双通道信号组探测的双色混合图像,使其分离成单色图像,即可得到m个通道单色图像。接下来介绍可对双通道信号组的探测器探测的双色混合图像进行解调的方法。
以下主要说明荧光成像情况下的解调原理与解调过程。非荧光成像解调原理与解调过程与荧光成像的解调原理与解调过程基本相同,主要区别是探测波长的不同,致使系统有效PSF有细微不同,可以忽略不计,仍适用此方法。
与线扫描共聚焦显微镜的成像原理类似,本方法中每一像素行对应的混合图像为系统的有效PSF(point spread function,点扩散函数)和样本上信号分布的卷积,其中,系统的有效PSF为照明系统PSF和探测系统PSF的乘积。
以单个多元探测器探测的单个通道的荧光信号为例,第j个通道在第i像素行的有效PSF为:
其中,表示照明PSF,/>表示探测PSF,i表示成像区域上各个像素行的序号,j表示荧光蛋白的种类序号,也表示通道序号,x,y,z代表三维物空间各个方向的坐标,bi,j表示第i像素行与第j通道照明线光斑位置参数之间的距离。
因此,多元探测器中第i像素行获得的混合图像中所包含的第j个通道的信号可表示为:
其中,fj(x,y,z)表示样本上第j种荧光蛋白的相对浓度分布,“*”表示卷积运算。从公式(2)可以看出,样本的荧光信号受到照明系统PSF和探测系统PSF的共同调制。
进一步地,参照图1,图像解调模块40包括:
通道选取单元401,用于选取一个通道为目标通道,另一个通道为辅助通道;
像素行确定单元402,用于确定关于所述辅助通道的位置参数对称的第一像素行和第二像素行;
图像修正单元403,用于对所述第二像素行的混合图像进行去偏校正;
图像解调单元404,用于根据所述第一像素行的混合图像和去偏校正后的所述第二像素行的混合图像,得到所述目标通道的单色图像。
对于单个多元探测器探测的双色混合图像来说,首先,通过通道选取单元401,选取一个通道为目标通道,另一个通道为辅助通道。在公式(1)中,无论是照明PSF,还是探测PSF,其在各个z平面的强度分布都是旋转对称的,所以对于任一通道,关于线光斑位置参数对称的两个像素行的有效PSF形状是近似相同的(这两个对称像素行的成像焦点深度相同、调制强度相同),因此这两个对称像素行获取的该通道图像也近似相同
另外,由于两个通道的线光斑存在错位,关于辅助通道的线光斑位置参数对称的两个像素行,在目标通道的线光斑的作用下,会形成不同强度的调制。因此,通过像素行确定单元402,选取辅助通道中关于线光斑位置参数对称的两个像素行,为第一像素行和第二像素行,然后对第一像素行和第二像素行的混合图像进行消减处理,即可从混合图像中解调出对应目标通道的荧光信号的单色图像。
具体地,消减处理的过程包括:通过图像修正单元403对第二像素行的混合图像进行去偏校正,然后通过图像解调单元404根据第一像素行对应的混合图像和去偏校正后的第二像素行的混合图像,得到目标通道的单色图像。
以图3(A)所示照明情况为例,通道1的线光斑位置参数位于第4像素行和第5像素行的交线上,通道2的线光斑位置参数位于第5像素行和第6像素行的交线上。由于通道2的第5像素行和第6像素行关于通道2的线光斑中心对称,因此可通过对通道2的第5像素行和第6像素行对应的混合图像进行处理,消去通道2的信号,从而获得通道1的单色图像。
在一些实施例中,还可以选取通道2中第4像素行和第7像素行、第3像素行和第8像素行进行混合图像解调,获得通道1的单色图像。
在一些实施例中,还可以将多对像素行解调出的通道1的单色图像相加,以提高解调图像的信噪比。
同样地,图3(B)中通道2的第4像素行和第6像素行关于线光斑位置参数对称,因此,可通过对通道2的第4像素行和第6像素行对应的混合图像进行处理,消去通道2的信号,获得通道1的单色图像。图3(C)中通道2的第4像素行和第6像素行关于线光斑位置参数对称,因此,可通过对通道2的第4像素行和第6像素行对应的混合图像进行处理,消去通道2的信号,获得通道1的单色图像。
进一步地,根据公式(2),第5像素行和第6像素行对应的混合图像可以表示为:
I5(x,y,z)=h5,1(x,y,z)*f1(x,y,z)+h5,2(x,y,z)*f2(x,y,z) (3)
I6(x,y,z)=h6,1(x,y,z)*f1(x,y,z)+h6,2(x,y,z)*f2(x,y,z) (4)
在公式(3)和公式(4)中,通道2在第5像素行和第6像素行上的有效PSFh5,2(x,y,z)与h6,2(x,y,z)在3维空间的形状关于通道2的线光斑中心对称(图3(A)所示照明情况),因此,第5像素行和第6像素行对应的混合图像中通道2的图像是近似相同的,只存在微小的偏移。为了尽可能消除混合图像中的通道2信号,需要先对混合图像进行去偏校正。
进一步地,如图7所示,图像修正单元403包括:
卷积核获取子单元4031,用于获取所述第一像素行和所述第二像素行之间的去偏校正卷积核;
卷积核修正子单元4032,用于利用所述去偏校正卷积核对所述第二像素行的混合图像进行去偏校正。
在一些实施例中,辅助通道中第一像素行和第二像素行之间的去偏校正卷积核可通过理论计算得到。
具体地,可以通过以下方式实现:
S101,计算第一像素行的有效点扩散函数和第二像素行的有效点扩散函数;
S102,将第一像素行的有效点扩散函数和第二像素行的有效点扩散函数进行傅里叶变化,获得第一像素行的光学传递函数和第二像素行的光学传递函数;
S103,将第一像素行的光学传递函数和第二像素行的光学传递函数相除后进行傅里叶逆变换,得到去偏校正卷积核。
在一些实施例中,去偏校正卷积核可通过实验方式得到。
具体地,可以通过以下方式实现:
S201,在仅开启辅助通道照明光束的情况下,获取第一像素行的单色图像和第二像素行的单色图像;
S202,对第一像素行的单色图像和第二像素行的单色图像进行傅里叶变换,获得第一像素行的频域图像和第二像素行的频域图像;
S203,将第一像素行的频域图像和第二像素行的频域图像相除后进行傅里叶逆变换,得到去偏校正卷积核。
下面以图3(A)所示照明情况为例,对解调过程进行详细的说明,将通道1作为目标通道,通道2作为辅助通道,选取通道2中的第5像素行和第6像素行对应的混合图像进行解调。
为了获取通道2的去偏校正卷积核,先只开启通道2的激光对样本进行照明,此时相机采集到只包含通道2荧光信号的单色图像,第5像素行和第6像素行获取的单色图像可分别表示为:
I5,2(x,y,z)=h5,2(x,y,z)*f2(x,y,z) (5)
I6,2(x,y,z)=h6,2(x,y,z)*f2(x,y,z) (6)
对以上原始空间域单色图像进行傅里叶变换,得到其频域图像,分别表示为:
O5,2(u,v,w)=H5,2(u,v,w)×F2(u,v,w) (7)
O6,2(u,v,w)=H6,2(u,v,w)×F2(u,v,w) (8)
其中,H5,2(u,v,w)、H6,2(u,v,w)和F2(u,v,w)分别表示h5,2(x,y,z)、h6,2(x,y,z)和f2(x,y,z)的傅里叶变换。将第5像素行和第6像素行的频域图像相除后做傅里叶逆变换,即可得到去偏校正的卷积核:
用该去偏校正卷积核作用于图像时,卷积前后的图像之间主要存在x方向的位移变化,而图像中各个位置的信号强度没有发生明显变化。只要照明光束相对于相机的位置没有发生变化,该去偏校正卷积核不随样本位置的不同发生改变。
获取去偏校正卷积核后,利用去偏校正卷积核对第二像素行的混合图像进行去偏校正。具体地,是将第6像素行采集的原始空间域图像和去偏校正卷积核进行卷积,即可得到校正了偏移的第6像素行的空间域图像:
最后,将第5像素行采集的原始空间域图像减去去偏校正后的第6像素行图像,即可获得只包含通道1荧光信号的图像,即:
其中,g1(x,y,z)表示解调出的通道1的图像。
在公式(11)中,解调出来的单色图像包含了调制项h5,1(x,y,z)和h6,1(x,y,z),可分别写做:
/>
从这两个公式可以得出,在焦面附近,和/>存在错位,在不同的x坐标处,它们之间的值存在着明显的差异。而在离焦位置,照明PSF迅速衰减为均匀照明,即:
当z处于离焦位置 (14)
另外,卷积核K56(x,y,z)不会改变卷积对象的强度值。所以在离焦位置时,公式(11)中的调制项进一步表示为:
h5,1(x,y,z)-h6,1(x,y,z)*K56(x,y,z)≈0,当z处于离焦位置 (15)
该公式表明,通过公式(11)解调出的单色图像中,离焦背景得到了抑制,图像具有了层析能力。通过本发明的线照明调制双色层析成像系统,在实现双色成像的同时,提高了成像系统轴向分辨率和层析能力,适合于对厚样本进行双色三维成像。
上述实施例给出了获取三维去偏校正卷积核,并利用该卷积核在三维空间中做双色信号解调的方法,在一些实施例中,为了提高解调的计算速度,也可以在二维平面上进行双色解调。
对于单通道来说,相机每一像素行对应的照明PSF只在x方向上发生位移,所以有效PSF主要在x方向上发生变化,可以对公式(9)中去偏校正卷积核做进一步近似简化处理,即:
其中O5,2(u,v)和O6,2(u,v)分别为I5,2(x,y)和I6,2(x,y)的傅里叶变换,I5,2(x,y)和I6,2(x,y)为只开启通道2的激光对样本进行照明,相机第5像素行和第6像素行获取的通道2的二维图像。H5,2(u,v)和H6,2(u,v)分别为h5,2(x,y)和h6,2(x,y)的傅里叶变换,h5,2(x,y)和h6,2(x,y)分别表示通道2在第5像素行和第6像素行的二维有效PSF(焦面的PSF)。因此,在单通道照明时,只需获取单层的二维图像,然后利用公式(16)计算出二维的去偏校正卷积核。利用该二维去偏校正卷积核即可解调出双色混合图像中通道1的二维图像,
其中I5(x,y)和I6(x,y)分别表示相机第5像素行和第6像素行获取的二维双色混合图像;h5,1(x,y)和h6,1(x,y)分别表示通道1在第5像素行和第6像素行的二维有效PSF(焦面的PSF);f1(x,y)表示二维平面上第1种荧光蛋白的相对浓度分布。
在一些实施例中,对第二像素行对应的混合图像进行去偏校正的过程还可以通过平移处理实现,参照图8,图像修正单元403还包括:
平移参数获取子单元4033,用于获取所述第一像素行和所述第二像素行之间的平移参数;
平移修正子单元4034,用于利用所述平移参数对所述第二像素行的混合图像进行去偏校正。
具体地,可直接对第6像素行的混合图像做平移处理,然后通过第5像素行和第6像素行相减,解调出通道1的单色图像,即:
g1(x,y)=I5(x,y)-I6(x+d1,y) (18)
其中,d1表示第5像素行和第6像素行对应的混合图像中通道2对应的荧光信号之间的偏移距离。
上述实施例描述了通道1的单色图像解调过程,对于通道2的图像解调过程与上述步骤类似。参照图3(A)所示照明情况,首先获取通道1单色照明时,第4像素行和第5像素行的混合图像之间的去偏校正卷积核,然后通过该去偏校正卷积核消除双通道照明时第4像素行和第5像素行的混合图像中通道1对应的荧光信号之间的偏移。由于通道2的线照明光强度第5像素行大于第4像素行,最后用去偏校正之后的第5像素行的混合图像减去第4像素行的混合图像,解调出通道2的单色图像。
本方法在单个多元探测器上实现同步的双色层析成像同时,结合二向色镜和多个多元探测器,进一步提升了系统的多色成像能力,降低了系统复杂度和系统成本。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种线照明调制多色层析成像系统,其特征在于,所述线照明调制多色层析成像系统包括:
线照明调制模块,包括m个单色光源和调制光路,每个所述单色光源发出的光束的波长不同;每个所述光束经过所述调制光路形成一个在物镜焦面上聚焦的照明线光斑,所述照明线光斑在所述物镜焦面上照明强度在第一方向上呈高斯分布,所述第一方向与所述照明线光斑的延伸方向垂直,m个光束的所述照明线光斑叠加形成m色线照明光,所述m≥3,且为正整数;所述m色线照明光激发产生q个通道的信号,每个通道的信号的波长不同,所述q≥m;
探测模块,用于将所述q个通道的信号分为p+1组,所述p=floor(q/2)-1,所述p+1组信号分别被p+1个多元探测器接收,所述照明线光斑的位置参数位于探测其所激发信号的多元探测器的像素行的中央或相邻像素行的交线上;当q为奇数时,所述p组为双通道信号组,剩下一组为单通道信号组,当q为偶数时,所述p+1组均为双通道信号组,所述单通道信号组仅包含一个通道的信号,所述双通道信号组包含两个通道的信号,所述两个通道的信号由不同波长的照明线光斑激发,所述照明线光斑的位置参数之间距离为0.5个像素的正整数倍;
扫描成像模块,用于采用具有n行像素的多元探测器沿所述第一方向连续扫描成像,所述多元探测器获得n张图像,每张所述图像对应一行像素,所述n≥3,且为正整数,其中,所述双通道信号组对应的所述多元探测器获得的是混合图像,所述单通道信号组对应的所述多元探测器获得的是单色图像;
图像解调模块,用于将同一所述双通道信号组的两个对称像素行的混合图像进行消减处理,从所述混合图像中解调出单色图像,两个所述对称像素行关于所述双通道信号组的一通道的照明线光斑的位置参数对称。
2.根据权利要求1所述的线照明调制多色层析成像系统,其特征在于,探测模块包括探测成像光路,所述探测成像光路包括沿信号传递方向依次设置的p个二向色镜,q个通道的信号每经过一个二向色镜被分离出两个通道的信号,所述分离出两个通道的信号被对应的多元探测器接收。
3.根据权利要求1所述的线照明调制多色层析成像系统,其特征在于,所述调制光路包括用于将光束整形成线光束的整形光路,用于调节每个照明线光斑的位置参数的位置调节光路,以及用于将所述照明线光斑叠加形成m色线照明光的投影光路。
4.根据权利要求3所述的线照明调制多色层析成像系统,其特征在于,所述整形光路包括用于将m个光源合束的第一二向色镜组,以及沿合束后光束传递方向依次设置的第一扩束镜、第二扩束镜和柱透镜,所述第一二向色镜组包括m-1个二向色镜,m-1个所述二向色镜沿第一光源传递方向布置,其余的每个光源通过一个所述二向色镜汇入所述第一光源形成合束光。
5.根据权利要求1所述的线照明调制多色层析成像系统,其特征在于,图像解调模块包括:
通道选取单元,用于选取一个通道为目标通道,另一个通道为辅助通道;
像素行确定单元,用于确定关于所述辅助通道的位置参数对称的第一像素行和第二像素行;
图像修正单元,用于对所述第二像素行的混合图像进行去偏校正;
图像解调单元,用于根据所述第一像素行的混合图像和去偏校正后的所述第二像素行的混合图像,得到所述目标通道的单色图像。
6.根据权利要求5所述的线照明调制多色层析成像系统,其特征在于,图像修正单元包括:
卷积核获取子单元,用于获取所述第一像素行和所述第二像素行之间的去偏校正卷积核;
卷积核修正子单元,用于利用所述去偏校正卷积核对所述第二像素行的混合图像进行去偏校正。
7.根据权利要求6所述的线照明调制多色层析成像系统,其特征在于,卷积核获取子单元用于:
在仅开启辅助通道照明光束的情况下,获取所述第一像素行的单色图像和所述第二像素行的单色图像;
对所述第一像素行的单色图像和所述第二像素行的单色图像进行傅里叶变换,获得所述第一像素行的频域图像和所述第二像素行的频域图像;
将所述第一像素行的频域图像和所述第二像素行的频域图像相除后进行傅里叶逆变换,得到所述去偏校正卷积核。
8.根据权利要求6所述的线照明调制多色层析成像系统,其特征在于,卷积核获取子单元用于:
计算所述第一像素行的有效点扩散函数和所述第二像素行的有效点扩散函数;
将所述第一像素行的有效点扩散函数和所述第二像素行的有效点扩散函数进行傅里叶变化,获得所述第一像素行的光学传递函数和所述第二像素行的光学传递函数;
将所述第一像素行的光学传递函数和所述第二像素行的光学传递函数相除后进行傅里叶逆变换,得到所述去偏校正卷积核。
9.根据权利要求5所述的线照明调制多色层析成像系统,其特征在于,图像修正单元包括:
平移参数获取子单元,用于获取所述第一像素行和所述第二像素行之间的平移参数;
平移修正子单元,用于利用所述平移参数对所述第二像素行的混合图像进行去偏校正。
10.根据权利要求1~4任一项所述的线照明调制多色层析成像系统,其特征在于,所述线照明调制多色层析成像系统还包括驱动模块,用于驱动样本在相互垂直的三个方向上作相对运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310411103.6A CN116539575A (zh) | 2023-04-17 | 2023-04-17 | 一种线照明调制多色层析成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310411103.6A CN116539575A (zh) | 2023-04-17 | 2023-04-17 | 一种线照明调制多色层析成像系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116539575A true CN116539575A (zh) | 2023-08-04 |
Family
ID=87446127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310411103.6A Pending CN116539575A (zh) | 2023-04-17 | 2023-04-17 | 一种线照明调制多色层析成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116539575A (zh) |
-
2023
- 2023-04-17 CN CN202310411103.6A patent/CN116539575A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10042149B2 (en) | Multi-focal structured illumination microscopy systems and methods | |
JP2005292839A (ja) | スリット共焦点顕微鏡およびその作動方法 | |
US10156711B2 (en) | Multi-focal structured illumination microscopy systems and methods | |
US11106026B2 (en) | Scanning microscope for 3D imaging using MSIA | |
US11086113B2 (en) | Multi-focal structured illumination microscopy systems and methods | |
ES2928577T3 (es) | Barrido en Z fijo bidimensional y tridimensional | |
CN110023813B (zh) | 多焦结构化照明显微系统和方法 | |
JP4905356B2 (ja) | ライン走査型共焦点顕微鏡装置 | |
US6590612B1 (en) | Optical system and method for composing color images from chromatically non-compensated optics | |
US20200358946A1 (en) | Methods and Systems for Single Frame Autofocusing Based on Color-Multiplexed Illumination | |
CN116539575A (zh) | 一种线照明调制多色层析成像系统 | |
CN116593434A (zh) | 一种线照明调制双色层析成像系统 | |
AU2019373533B2 (en) | High-throughput optical sectioning imaging method and imaging system | |
CN107850766A (zh) | 用于光学显微镜中的图像处理的系统和方法 | |
CN111650739B (zh) | 基于dmd的单帧曝光快速三维荧光成像系统及方法 | |
CN116609305A (zh) | 一种线照明调制多色成像系统 | |
US20220043245A1 (en) | Method and device for scanning a sample | |
US20220373777A1 (en) | Subpixel line scanning | |
JP2019204026A (ja) | 顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |