CN112129702B - 多模态信号采集装置及方法、激光影像系统 - Google Patents
多模态信号采集装置及方法、激光影像系统 Download PDFInfo
- Publication number
- CN112129702B CN112129702B CN202010977384.8A CN202010977384A CN112129702B CN 112129702 B CN112129702 B CN 112129702B CN 202010977384 A CN202010977384 A CN 202010977384A CN 112129702 B CN112129702 B CN 112129702B
- Authority
- CN
- China
- Prior art keywords
- signal
- spectrum
- fad
- spectral
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims abstract description 99
- 230000003595 spectral effect Effects 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 230000001678 irradiating effect Effects 0.000 claims abstract description 8
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 claims description 59
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 13
- 238000002189 fluorescence spectrum Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 claims 11
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- VWWQXMAJTJZDQX-UYBVJOGSSA-N flavin adenine dinucleotide Chemical compound C1=NC2=C(N)N=CN=C2N1[C@@H]([C@H](O)[C@@H]1O)O[C@@H]1CO[P@](O)(=O)O[P@@](O)(=O)OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C2=NC(=O)NC(=O)C2=NC2=C1C=C(C)C(C)=C2 VWWQXMAJTJZDQX-UYBVJOGSSA-N 0.000 description 74
- 235000019162 flavin adenine dinucleotide Nutrition 0.000 description 74
- 239000011714 flavin adenine dinucleotide Substances 0.000 description 74
- 229940093632 flavin-adenine dinucleotide Drugs 0.000 description 74
- BAWFJGJZGIEFAR-NNYOXOHSSA-N NAD zwitterion Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP([O-])(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 BAWFJGJZGIEFAR-NNYOXOHSSA-N 0.000 description 48
- 229950006238 nadide Drugs 0.000 description 48
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 239000005515 coenzyme Substances 0.000 description 1
- 230000037149 energy metabolism Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/636—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited using an arrangement of pump beam and probe beam; using the measurement of optical non-linear properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
- G01J3/4406—Fluorescence spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Nonlinear Science (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请涉及一种多模态信号采集装置及方法、激光影像系统，用于采集激光脉冲照射在样品上产生的多模态信号，该装置包括独立通道采集模块和光谱信号处理装置；独立通道采集模块内设有多个独立的光谱信号采集通道，每个光谱信号采集通道分别对应多模态信号中的特定波段的光谱信号；各个光谱信号采集通道分别采集多模态信号，并从多模态信号中滤出对应的特定波段的光谱信号，并将该光谱信号发送至光谱信号处理装置；光谱信号处理装置分别接收各个光谱信号采集通道采集的光谱信号，并分别将各个光谱信号进行成像及叠加输出；该技术对各个模态下采集光谱信号进行了有效分离，提升后续成像系统的成像效果。
Description
技术领域
本申请涉及激光技术领域，尤其是一种多模态信号采集装置及方法、激光影像系统。
背景技术
在激光非线性显微技术中，使用特殊光谱的激光光源，如在中国专利申请201710916860.3中，使用激光光源为飞秒激光脉冲，通过光学组件将飞秒激光脉冲照射到样品上，激光信号与样品作用后形成多模态信号，然后通过信号采集装置采集多模态信号，得到多种非线性分子影像模态。
然而在常用技术方案中，多模态信号包含了多种波段的光谱，包括激光脉冲的谐波和荧光信号，当采集装置对这些光谱信号进行采集时，不同波段的光谱信息存在重叠，难以分离；而如果采用每种模态顺序采集的技术方案，则常常会引入校准偏差，影响了成像效果。
发明内容
本申请的目的旨在解决上述的技术缺陷之一，特别是成像校准偏差和影响成像效果的缺陷，提供一种多模态信号采集装置及方法、激光影像系统。
一种多模态信号采集装置，用于采集激光脉冲照射在样品上产生的多模态信号，包括：相互连接的独立通道采集模块和光谱信号处理装置；
所述独立通道采集模块内设有多个独立的光谱信号采集通道，每个光谱信号采集通道分别对应多模态信号中的特定波段的光谱信号；
在将特定波段的激光脉冲照射在样品上产生多模态信号后，各个所述光谱信号采集通道分别采集所述多模态信号，并从所述多模态信号中滤出对应的特定波段的光谱信号，并将该光谱信号发送至所述光谱信号处理装置；
所述光谱信号处理装置分别接收各个光谱信号采集通道采集的光谱信号，并分别将各个光谱信号进行成像及叠加输出。
在一个实施例中，所述独立通道采集模块包括多组并列设置的光学器件，每个光学器件对应一个独立的光谱信号采集通道；其中，所述光学器件包括分光镜或滤镜。
在一个实施例中，所述多模态信号包括：激光脉冲的谐波信号、FAD分子和NADH分子产生的荧光光谱信号；所述光谱信号采集通道分别对应为谐波信号采集通道、FAD信号采集通道和NADH信号采集通道。
在一个实施例中，所述光谱信号处理装置还用于对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号。
在一个实施例中，所述光谱信号处理装置去卷积分离处理包括如下公式：
TFAD＝HFAD-a×HNADH
式中，TFAD为FAD信号采集通道中纯净的FAD荧光信号，HFAD为FAD信号采集通道的总信号，a为设定系数，HNADH为NADH信号采集通道的总信号。
一种多模态信号采集方法，用于采集激光脉冲照射在样品上产生的多模态信号，包括：
利用多个独立的光谱信号采集通道分别采集所述多模态信号；
从所述多模态信号中滤出对应的特定波段的光谱信号；其中，每个光谱信号采集通道分别对应多模态信号中的一种特定波段的光谱信号；
分别获取各个光谱信号采集通道采集的光谱信号，并分别将各个光谱信号进行成像及叠加输出。
在一个实施例中，在激光脉冲照射在样品上之前，还包括：
将包含多种不同波段的激光脉冲照射在样品上，使得所述激光脉冲在与所述样品相互作用后产生波段不重叠的多模态信号。
在一个实施例中，所述的多模态信号采集方法还包括：
对激光脉冲进行光谱调节，调节激光脉冲的光谱信号的波段范围，使得激光脉冲在与所述样品相互作用后产生的谐波信号与样品的荧光分子的光谱范围不重叠。
一种激光影像系统，包括：激光光源、光谱调节模块以及上述的多模态信号采集装置；
所述激光光源用于产生激光脉冲；
所述光谱调节模块用于调节所述激光脉冲的光谱范围得到包含多个波段的激光脉冲，并将激光脉冲照射在样品上产生波段不重叠的多模态信号；
所述多模态信号采集装置用于通过独立的多个光谱信号采集通道分别采集所述多模态信号，并滤出特定波段的光谱信号进行成像处理。
在一个实施例中，所述光谱调节模块还用于从所述激光脉冲中分离出各种波段的光谱信号，对所述光谱信号的波段进行光谱调节，使得所述激光脉冲在与所述样品相互作用后产生波段不重叠的多模态信号。
上述多模态信号采集装置及方法、激光影像系统的技术方案，通过控制激光光源将特定波段的激光脉冲照射在样品上产生包含多种不同波段的多模态信号，设置了对应的独立光谱通道采集这些多模态信号，使得不同模态下的光谱信号能够被同时采集，对各个模态下采集光谱信号进行了有效分离，避免了成像中的校准偏差，使得各个模态光谱信号所对应的分子或结构信息在图像上处于正交，提升后续成像系统的成像效果。
另外，在使用激光脉冲之前，通过对激光光源输出的激光脉冲进行光谱调节，生成多种不同波段的光谱信号，确保激光脉冲的波段范围使得激光脉冲在与所述样品相互作用后产生的谐波信号与样品的荧光分子的光谱范围不重叠；平衡了激发激光脉冲的光谱信号，在实现了有效和高效积分荧光分子产生荧光信号基础上，保证了各种模态下光谱信号的有效分离。
再者，对于FAD和NADH，利用FAD信号采集通道和NADH信号采集通道采集FAD荧光信号和NADH荧光信号，对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，通过简单运算方式即可去除FAD荧光信号中的NADH荧光信号干扰得到纯净的FAD荧光信号；提高了采集信号处理速度，提升了成像效率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是图1是本申请的多模态信号采集装置结构示意图；
图2是独立通道采集模块结构示意图；
图3是本申请的多模态信号采集方法流程图；
图4是本申请的激光影像系统结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
参考图1，图1是本申请的多模态信号采集装置结构示意图；该多模态信号采集装置，用于采集激光脉冲照射在样品上产生的多模态信号，如利用飞秒激光脉冲来对样品检测场景中，主要包括：相互连接的独立通道采集模块和光谱信号处理装置。如图1中，在该采集场景中，由激光光源产生飞秒激光脉冲，飞秒激光脉冲通过相应的光学器件导出，照射在样品平台上的样品上，该飞秒激光脉冲与样品的分子相互作用，产生波段不重叠或者部分重叠多模态信号；一般情况下，多模态信号包括谐波和特定分子的荧光信号，谐波可以分为二次谐波、三次谐波甚至四次谐波以上，各个通道的谐波波段不重叠，对于特定分子的荧光信号，由于分子特性可能存在部分重叠。
通过独立通道采集模块来采集这些多模态信号，对于独立通道采集模块，其内设有多个独立的光谱信号采集通道，如图1中通道1-N，N≥2，每个光谱信号采集通道分别对应多模态信号中的特定波段的光谱信号。
在工作过程中，激光光源将包含多种特定波段的激光脉冲照射在样品上，激光脉冲与样品相互作用，产生包含多种不同波段的多模态信号，各个光谱信号采集通道分别采集多模态信号，并从多模态信号中滤出对应的特定波段的光谱信号，并将该光谱信号发送至光谱信号处理装置；光谱信号处理装置分别接收各个光谱信号采集通道采集的光谱信号，并分别将各个光谱信号进行成像及叠加输出。
上述实施例的方案，通过控制激光光源将特定波段的激光脉冲照射在样品上产生包含多种不同波段的多模态信号，设置了对应的独立光谱通道采集这些多模态信号，使得不同模态下的光谱信号能够被同时采集，对各个模态下采集光谱信号进行了有效分离，使得各个模态光谱信号所对应的分子或结构信息在图像上处于正交，提升后续成像系统的成像效果。
下面结合附图阐述本申请技术方案更多实施例。
在一个实施例中，参考图2，图2是独立通道采集模块结构示意图，该独立通道采集模块包括多组并列设置的光学器件，每个光学器件对应一个独立的光谱信号采集通道；其中，所述光学器件包括分光镜或滤镜。
具体的，每个独立通道设置一个光学器件进行光谱信号，如分光镜、滤镜等，每个光学器件都是滤出特定波段的光谱信号，滤除其他波段光谱信号；如图2中，设置了5组并列的分光镜1-5,对应为5个采集通道,可以独立采集5个不重叠波段的光谱信号。
在一个实施例中，本申请还设计了针对于FAD(Flavin adenine dinucleotide，黄素腺嘌呤二核苷酸)信号和NADH(Nicotinamide adenine dinucleotide，尼克酰胺腺嘌呤二核苷酸)信号的采集方案。常用观察FAD和NADH分子都是采用不同光学过程，如分别采用双光子和三光子荧光物理过程激发后采集信号，本申请采用相同的物理过程，避免中间过程的偏差和变量，因此可以在此基础上，提供一种根据信号比例关系对采集的光谱信号进行去卷积分离，从算法上分离FAD和NADH的光谱信号强度。
具体的，由于非线性光谱信号的波段，一部分与组织分子自身特性相关，比如自体荧光分子发出的荧光波段与荧光分子自身的分子式和结构相关，而另一部分是与激发的激光光源的波段相关，比如与激光脉冲的谐波信号，其波段与激光脉冲波段成倍数关系。
如上所述，本申请的多模态信号可以包括：
本实施例中，多模态信号可以包括激光脉冲的谐波信号、FAD分子和NADH分子产生的荧光光谱信号等。对应的，光谱信号采集通道分别对应为谐波信号(二次谐波、三次谐波甚至四次谐波以上)采集通道、FAD信号采集通道和NADH信号采集通道。对于不重叠的谐波信号通过独立的通道采集，对于存在部分重叠的FAD和NADH荧光信号，通过其他方式进行处理。
具体的，和细胞能量代谢直接相关的辅酶分子，可能具有重大的临床意义，实际采集方案中，通过独立的采集通道能够避免了各个通道的光谱信号之间的相互影响，而由于分子自身特性影响，FAD分子和NADH分子的荧光光谱具有部分重合，但FAD信号和NADH信号具体采集的波段是已知的，因此在已知波段中两者的光学信号存在函数关系，据此，通过对FAD分子和NADH分子对应的采集通道的光谱信号进行分离处理，以避免相互之间影响。
基于对FAD荧光信号和NADH荧光信号的研究，在NADH采集通道内不存在FAD荧光信号；而在FAD采集通道内则存在NADH荧光信号，因此需要对FAD采集通道内的光谱信号进行分离，以从FAD信号中排除NADH荧光信号的干扰。
基于此，光谱信号处理装置通过相应算法，对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号。
具体的，光谱信号处理装置去卷积分离处理可以包括如下公式：
TFAD＝HFAD-a×HNADH
式中，TFAD为FAD信号采集通道中纯净的FAD荧光信号，HFAD为FAD信号采集通道的总信号，a为设定系数，HNADH为NADH信号采集通道的总信号。
在前述通过对激光脉冲的不同波段的光谱信号进行调节，基本上可以避免各个采集通道的光谱信号之间相互影响，但由于荧光光谱是由分子本身特性决定的，经过检测FAD和NADH这两种分子的荧光光谱仍然存在部分重合。
而且在选择的NADH的采集通道光谱范围内，没有FAD的荧光信号，但在FAD采集通道的光谱范围内，存在NADH的荧光信号的干扰。本申请的技术方案，通过对FAD采集通道里的采集的光谱信号进行去卷积分离，从算法上分离FAD和NADH的光谱信号强度。
本申请的方案，利用了实测中NADH采集通道和FAD采集通道中的NADH信号存在的比例关系。通过前述对光谱信号的波段调节，在保证FAD采集通道中采集的FAD信号和NADH信号都和激光峰值功率的n(n≥2)次方成正比的情况下，可以确保FAD信号和NADH信号有加和意义，即可通过上述计算公式将FAD通道中的FAD和NADH混合信号去卷积，分离出纯净的FAD信号。
下面阐述本申请的多模态信号采集方法的实施例。
参考图3所示，图3是本申请的多模态信号采集方法流程图，用于采集激光脉冲照射在样品上产生的多模态信号，主要包括如下步骤：
S101，利用多个独立的光谱信号采集通道分别采集所述多模态信号；
S102，从所述多模态信号中滤出对应的特定波段的光谱信号；其中，每个光谱信号采集通道分别对应多模态信号中的一种特定波段的光谱信号；
S103，分别获取各个光谱信号采集通道采集的光谱信号，并分别将各个光谱信号进行成像及叠加输出。
上述实施例的方案，通过控制激光光源将特定波段的激光脉冲照射在样品上产生包含多种不同波段且波段不重叠或者部分重叠的多模态信号，设置了对应的独立光谱通道采集这些多模态信号，使得不同模态下的光谱信号能够被同时采集，对各个模态下采集光谱信号进行了有效分离，避免了成像中的校准偏差，使得各个模态光谱信号所对应的分子或结构信息在图像上处于正交，提升后续成像系统的成像效果。
在一个实施例中，在激光脉冲照射时，可以将包含多种不同波段的激光脉冲照射在样品上产生多模态信号。进一步的，对于激光脉冲产生过程中，在激光脉冲照射在样品上之前，可以对激光光源输出的激光脉冲进行光谱调节，以产生包含多种不同波段的光谱信号；调节激光脉冲的波段范围，使得激光脉冲在与所述样品相互作用后产生的谐波信号与样品的荧光分子的光谱范围不重叠。
进一步的，多模态信号采集方法还可以通过相应算法，对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号。
具体的，光谱信号处理装置去卷积分离处理可以包括如下公式：
TFAD＝HFAD-a×HNADH
式中，TFAD为FAD信号采集通道中纯净的FAD荧光信号，HFAD为FAD信号采集通道的总信号，a为设定系数，HNADH为NADH信号采集通道的总信号。
对于FAD荧光信号和NADH荧光信号的采集方案，与前述的多模态信号采集装置实施例方案一致，在此不再赘述。
下面阐述本申请激光影像系统的实施例。
参考图4，图4是本申请的激光影像系统结构示意图，本申请的激光影像系统，包括：激光光源、光谱调节模块以及上述任意实施例的多模态信号采集装置，其中，所述多模态信号采集装置主要包括独立通道采集模块和光谱信号处理装置。
系统工作中，激光光源用于产生激光脉冲；光谱调节模块用于调节所述激光脉冲的光谱范围得到包含多个特定波段的激光脉冲，并将激光脉冲照射在样品上产生波段不重叠的多模态信号；信号采集装置用于通过独立的多个光谱信号采集通道分别采集所述多模态信号，并滤出特定波段的光谱信号进行成像处理；其中，独立通道采集模块采集多模态信号并从中滤出对应的特定波段的光谱信号；光谱信号处理装置将各个光谱信号进行成像及叠加输出。
对于光谱调节模块，还可以用于从激光脉冲中分离出各种波段的光谱信号，对所述光谱信号的波段进行光谱调节，使得所述激光脉冲在与所述样品相互作用后产生波段不重叠的多模态信号。具体的，可以利用包含液晶空间光调制器的脉冲整形器来进行光谱调节，通过控制激光脉冲的光谱强度或/和光谱相位，来实现对波段的选择。
本实施例的技术方案，在应用激光脉冲来产生多模态信号时，首先利用光谱调节模块对激光光源产生的激光脉冲进行光谱调节，生成包含1个或多个特定波段的激光脉冲，将这些特定波段的激光脉冲聚焦在样品上，激光脉冲在与所述样品相互作用后产生多模态信号，然后在采集多模态信号时，利用独立的多个光谱信号采集通道来采集相应波段的光谱信号，使得不同模态下的光谱信号能够被同时采集，对各个模态下采集光谱信号进行了有效分离，使得各个模态光谱信号所对应的分子或结构信息在图像上处于正交，具有良好的成像效果。
另外，通过利用本申请前述实施例提供的多模态信号采集装置，还可以通过简单计算过程对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号。
本申请提供的激光影像系统，多模态信号包括光谱范围为570纳米至630纳米的二次谐波信号、光谱范围为343纳米至405纳米的三次谐波信号、光谱范围为510纳米至565纳米的荧光光谱信号、光谱范围为410纳米至490纳米的荧光光谱信号以及光谱范围为640纳米至723纳米的非线性拉曼信号。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种多模态信号采集装置，用于采集激光脉冲照射在样品上产生的多模态信号，其特征在于，包括：相互连接的独立通道采集模块和光谱信号处理装置；
所述独立通道采集模块内设有多个独立的光谱信号采集通道，每个光谱信号采集通道分别对应多模态信号中的特定波段的光谱信号；所述多模态信号包括FAD分子和NADH分子产生的荧光光谱信号；所述光谱信号采集通道包括FAD信号采集通道和NADH信号采集通道；
在将特定波段的激光脉冲照射在样品上产生多模态信号后，各个所述光谱信号采集通道分别采集所述多模态信号，并从所述多模态信号中滤出对应的特定波段的光谱信号，并将该光谱信号发送至所述光谱信号处理装置；
所述光谱信号处理装置分别接收各个光谱信号采集通道采集的光谱信号，对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号，并分别将各个光谱信号进行成像及叠加输出。
2.根据权利要求1所述的多模态信号采集装置，其特征在于，所述独立通道采集模块包括多组并列设置的光学器件，每个光学器件对应一个独立的光谱信号采集通道；其中，所述光学器件包括分光镜或滤镜。
3.根据权利要求1所述的多模态信号采集装置，其特征在于，所述多模态信号还包括：激光脉冲的谐波信号；
所述光谱信号采集通道还包括：谐波信号采集通道。
4.根据权利要求1所述的多模态信号采集装置，其特征在于，所述光谱信号处理装置去卷积分离处理包括如下公式：
TFAD＝HFAD-a×HNADH
式中，TFAD为FAD信号采集通道中纯净的FAD荧光信号，HFAD为FAD信号采集通道的总信号，a为设定系数，HNADH为NADH信号采集通道的总信号。
5.一种多模态信号采集方法，用于采集激光脉冲照射在样品上产生的多模态信号，其特征在于，包括：
利用多个独立的光谱信号采集通道分别采集所述多模态信号；所述多模态信号包括FAD分子和NADH分子产生的荧光光谱信号；所述光谱信号采集通道包括FAD信号采集通道和NADH信号采集通道；
从所述多模态信号中滤出对应的特定波段的光谱信号；其中，每个光谱信号采集通道分别对应多模态信号中的一种特定波段的光谱信号；
分别获取各个光谱信号采集通道采集的光谱信号，对FAD分子荧光采集通道采集的光谱信号进行去卷积分离处理，分离FAD荧光信号和NADH荧光信号的光谱信号强度，去除FAD荧光信号中的NADH荧光信号干扰，得到纯净的FAD荧光信号，并分别将各个光谱信号进行成像及叠加输出。
6.根据权利要求5所述的多模态信号采集方法，其特征在于，在激光脉冲照射在样品上之前，还包括：
将包含多种不同波段的激光脉冲照射在样品上，使得所述激光脉冲在与所述样品相互作用后产生波段不重叠的多模态信号。
7.根据权利要求6所述的多模态信号采集方法，其特征在于，还包括：
对激光脉冲进行光谱调节，调节激光脉冲的光谱信号的波段范围，使得激光脉冲在与所述样品相互作用后产生的谐波信号与样品的荧光分子的光谱范围不重叠。
8.一种激光影像系统，其特征在于，包括：激光光源、光谱调节模块以及权利要求1-4任一项的多模态信号采集装置；
所述激光光源用于产生激光脉冲；
所述光谱调节模块用于调节所述激光脉冲的光谱范围得到包含多个波段的激光脉冲，并将激光脉冲照射在样品上产生波段不重叠的多模态信号；
所述多模态信号采集装置用于通过独立的多个光谱信号采集通道分别采集所述多模态信号，并滤出特定波段的光谱信号进行成像处理。
9.根据权利要求8所述的激光影像系统，其特征在于，所述光谱调节模块还用于从所述激光脉冲中分离出各种波段的光谱信号，对所述光谱信号的波段进行光谱调节，使得所述激光脉冲在与所述样品相互作用后产生波段不重叠的多模态信号。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010977384.8A CN112129702B (zh) | 2020-09-16 | 2020-09-16 | 多模态信号采集装置及方法、激光影像系统 |
| JP2022570364A JP2023540157A (ja) | 2020-09-16 | 2021-09-08 | マルチモード信号収集装置及び方法、レーザー画像システム |
| PCT/CN2021/117247 WO2022057711A1 (zh) | 2020-09-16 | 2021-09-08 | 多模态信号采集装置及方法、激光影像系统 |
| EP21868536.0A EP4198493A4 (en) | 2020-09-16 | 2021-09-08 | DEVICE AND METHOD FOR DETECTING MULTIMODAL SIGNALS AND LASER IMAGE SYSTEM |
| US18/026,135 US20230288334A1 (en) | 2020-09-16 | 2021-09-08 | Multimodal signal acquisition device and method, and laser image system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010977384.8A CN112129702B (zh) | 2020-09-16 | 2020-09-16 | 多模态信号采集装置及方法、激光影像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112129702A CN112129702A (zh) | 2020-12-25 |
| CN112129702B true CN112129702B (zh) | 2022-08-26 |
Family
ID=73845974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010977384.8A Active CN112129702B (zh) | 2020-09-16 | 2020-09-16 | 多模态信号采集装置及方法、激光影像系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230288334A1 (zh) |
| EP (1) | EP4198493A4 (zh) |
| JP (1) | JP2023540157A (zh) |
| CN (1) | CN112129702B (zh) |
| WO (1) | WO2022057711A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112129702B (zh) * | 2020-09-16 | 2022-08-26 | 飞秒激光研究中心（广州）有限公司 | 多模态信号采集装置及方法、激光影像系统 |
| CN114330488A (zh) * | 2021-11-19 | 2022-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种多模态数据处理方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946093A (en) * | 1998-08-19 | 1999-08-31 | Met One, Inc. | Particle detection system and method employing an upconversion laser |
| CN101254091B (zh) * | 2007-02-28 | 2010-08-18 | 深圳大学 | 一种视网膜成像的方法 |
| US8360321B2 (en) * | 2007-04-02 | 2013-01-29 | Fio Corporation | System and method of deconvolving multiplexed fluorescence spectral signals generated by quantum dot optical coding technology |
| CN101504370B (zh) * | 2009-03-17 | 2011-06-15 | 福建师范大学 | 对细胞和细胞外间质成分进行同时无损探测的装置 |
| CN101650299B (zh) * | 2009-09-19 | 2011-06-29 | 福建师范大学 | 高对比度、高分辨率非线性光谱成像探测装置 |
| US10222335B2 (en) * | 2010-10-27 | 2019-03-05 | The Regents Of The University Of California | Phasor method to fluorescence lifetime microscopy to discriminate metabolic state of cells in living tissue |
| CN102621121B (zh) * | 2012-04-24 | 2014-01-01 | 福建师范大学 | 生物组织内源性成分的多模式多光子显微成像装置 |
| WO2015161045A1 (en) * | 2014-04-16 | 2015-10-22 | President And Fellows Of Harvard College | Non-linear imaging systems and methods for assisted reproductive technologies |
| WO2016118557A1 (en) * | 2015-01-20 | 2016-07-28 | President And Fellows Of Harvard College | Assessing metabolic condition of sperm |
| CN104614353B (zh) * | 2015-01-28 | 2017-05-10 | 中国科学院半导体研究所 | 基于双通道的多光谱荧光成像显微系统和方法 |
| US10656089B2 (en) * | 2016-04-01 | 2020-05-19 | Black Light Surgical, Inc. | Systems, devices, and methods for time-resolved fluorescent spectroscopy |
| CN105877711B (zh) * | 2016-04-26 | 2019-01-18 | 吉林亚泰中科医疗器械工程技术研究院股份有限公司 | 一种皮肤疾病多模态成像检测系统 |
| CN107462336B (zh) * | 2017-09-30 | 2019-01-22 | 飞秒激光研究中心（广州）有限公司 | 一种飞秒激光多模态分子影像系统 |
| US20190167116A1 (en) * | 2017-11-15 | 2019-06-06 | Yu Chen | Optical redox imaging systems and methods |
| CN210055952U (zh) * | 2019-01-31 | 2020-02-14 | 北京超维景生物科技有限公司 | 可变焦腔体内窥镜探测装置及激光扫描腔体内窥镜 |
| CN112129702B (zh) * | 2020-09-16 | 2022-08-26 | 飞秒激光研究中心（广州）有限公司 | 多模态信号采集装置及方法、激光影像系统 |
-
2020
- 2020-09-16 CN CN202010977384.8A patent/CN112129702B/zh active Active
-
2021
- 2021-09-08 JP JP2022570364A patent/JP2023540157A/ja active Pending
- 2021-09-08 WO PCT/CN2021/117247 patent/WO2022057711A1/zh unknown
- 2021-09-08 US US18/026,135 patent/US20230288334A1/en active Pending
- 2021-09-08 EP EP21868536.0A patent/EP4198493A4/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4198493A1 (en) | 2023-06-21 |
| EP4198493A4 (en) | 2023-08-23 |
| WO2022057711A1 (zh) | 2022-03-24 |
| US20230288334A1 (en) | 2023-09-14 |
| CN112129702A (zh) | 2020-12-25 |
| JP2023540157A (ja) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112129702B (zh) | 多模态信号采集装置及方法、激光影像系统 | |
| JP7117794B2 (ja) | フェムト秒レーザーマルチモーダル分子イメージングシステム | |
| EP2304411B1 (en) | Method and device for optically examining the interior of turbid media | |
| US9068949B2 (en) | System and method for multiplex spectroscopic imaging | |
| Kong et al. | Rapid confocal Raman imaging using a synchro multifoci-scan scheme for dynamic monitoring of single living cells | |
| US20100020318A1 (en) | 3-Color multiplex cars spectrometer | |
| JP2013113623A5 (ja) | 誘導ラマン散乱計測装置および誘導ラマン散乱計測方法 | |
| ATE253862T1 (de) | Krebsdiagnose durch laserinduzierte differential- normierte fluoreszenz | |
| WO2006007065A2 (en) | Method and apparatus for dark field chemical imaging | |
| EP2037255B1 (en) | Spectrum observation method and spectrum observation system | |
| JP6075963B2 (ja) | 蛍光観察方法及び蛍光観察装置 | |
| US8440959B2 (en) | Method and apparatus for automated spectral calibration | |
| Zhou et al. | Multispectral fluorescence lifetime imaging device with a silicon avalanche photodetector | |
| WO2016143084A1 (ja) | 光計測装置及び光計測方法 | |
| CN215866392U (zh) | 一种超分辨荧光高光谱显微成像系统 | |
| CN106404723B (zh) | 一种二次谐波高分辨率成像方法及系统 | |
| Pompidor et al. | A new on-axis micro-spectrophotometer for combining Raman, fluorescence and UV/Vis absorption spectroscopy with macromolecular crystallography at the Swiss Light Source | |
| JP2019090767A (ja) | 光測定装置 | |
| CN106950686A (zh) | 一种近红外荧光倒置显微镜系统及其应用 | |
| CN106679810A (zh) | 一种前向相干增强反斯托克斯拉曼光谱仪 | |
| WO2022224489A1 (ja) | 試料観察装置及び試料観察方法 | |
| CN114994017B (zh) | 一种相干反斯托克斯拉曼散射显微成像装置及方法 | |
| JP2010078559A (ja) | 蛍光分析装置および方法 | |
| CN108287021B (zh) | 一种双通道超光谱显微成像装置及获取不同阶段光谱信息方法 | |
| WO2011068479A1 (en) | Fluorescence excitation-emission matrices (eem) spectroscopy system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |