CN111474150A - 一种sted超分辨图像背景噪声差分抑制方法 - Google Patents
一种sted超分辨图像背景噪声差分抑制方法 Download PDFInfo
- Publication number
- CN111474150A CN111474150A CN202010282739.1A CN202010282739A CN111474150A CN 111474150 A CN111474150 A CN 111474150A CN 202010282739 A CN202010282739 A CN 202010282739A CN 111474150 A CN111474150 A CN 111474150A
- Authority
- CN
- China
- Prior art keywords
- image
- fluorescence
- sted
- super
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001629 suppression Effects 0.000 title claims abstract description 10
- 230000005284 excitation Effects 0.000 claims abstract description 38
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 230000002093 peripheral effect Effects 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 238000011426 transformation method Methods 0.000 claims abstract description 5
- 230000001105 regulatory effect Effects 0.000 claims abstract description 3
- 238000011156 evaluation Methods 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 6
- 230000002401 inhibitory effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 28
- 230000005855 radiation Effects 0.000 description 10
- 230000002269 spontaneous effect Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 238000000386 microscopy Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005281 excited state Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000005283 ground state Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010870 STED microscopy Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 108020001507 fusion proteins Proteins 0.000 description 1
- 102000037865 fusion proteins Human genes 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010869 super-resolution microscopy Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6471—Special filters, filter wheel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种STED超分辨图像背景噪声差分抑制方法。所述的STED超分辨图像背景噪声差分抑制方法通过获取STED超分辨原始荧光图像，依据外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，使用灰度反转变换的方法，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像，进行差分运算处理，提高原始超分辨图像的质量。超分辨成像装置包括激发光模块、损耗光模块、扫描模块以及荧光信号探测模块。同时本发明在具体实施过程中提出将超分辨成像技术与像质评价技术相结合，调控损耗光功率，进一步降低因损耗不完全等原因引发的荧光背景噪声，在提升成像质量的同时节约成本、简化系统，具有较好的可行性。
Description
技术领域
本发明属于光学显微技术领域，具体涉及一种STED超分辨图像背景噪声差分抑制方法，用来提高STED超分辨图像质量。
背景技术
在光学成像系统中，由于衍射极限的存在，光学显微镜能够达到的极限分辨率在200nm左右，通常无法满足对于纳米尺度结构的观测。为了能够突破光学衍射极限，同时在低损伤情况下观察生物样品甚至是活体样品，研究人员提出了一系列的远场光学超分辨显微成像方法。其中较为主流的有受激辐射损耗显微术(Stimulated Emission Depletion,STED)、光激活定位显微术(Photoactivated Localization Microscopy,PALM)、随机光学重建显微术(Stochastic Optical Reconstruction Microscopy,STORM)、结构光照明显微术(Structure Illumination Microscopy,SIM)。超分辨技术为生物医学领域提供了强有力的研究工具，相关研究人员于2014年获得了诺贝尔化学奖。
受激辐射损耗显微术因具有实时成像、分辨率高等优点而被广泛应用。其原理是利用两束激光进行照射，一束光作为激发光，另一束光作为损耗光。激发光使电子跃迁到激发态，通过自发辐射的方式发射出荧光，而被调制成涡旋空心型的损耗光使处于激发光斑外围的电子以受激发射的方式回到基态，抑制荧光发射，如图6所示。其中激发光光斑中心区域荧光发射不受损耗光的影响，将继续通过自发辐射发射出荧光，经过滤光处理后由探测器收集获得超分辨荧光图像。此方法有效地减小样品的荧光发光面积，压缩成像系统的点扩散函数，从而提高成像的分辨率。
然而，STED作为一种在生物领域广泛应用的工具，技术上依然存在许多限制的地方。目前STED的附加背景噪声是一个不可避免的问题，这对图像的分辨率与对比度都有一定的影响(如图4(a)所示：Gao Peng,et al."Background suppression in fluorescencenanoscopywith stimulated emission double depletion."Nature Photonics 11.3(2017):163)。背景噪声来源主要分为两种：一是由于损耗光强度较低使得外围区域荧光未被完全损耗，环形区域还有部分荧光残留；二是损耗光波长接近激发区，当损耗光光强过大时由于反斯托克斯激发效应产生背景荧光。
抑制STED超分辨图像背景噪声方法的基本思路是通过获取荧光背景图像进行差分优化，其中背景图像的获取手段是方法的关键。目前许多关于STED超分辨背景噪声抑制方法的研究工作，在获取荧光背景图像的手段上，大多是根据背景噪声的产生特性，使用物理手段进行探测与估计。其中受激发射双光束损耗(Stimulated Emission DoubleDepletion,STEDD)技术最具有代表性。STEDD的原理是用三束脉冲激光分时段照射样品，前两束高斯型激发光和环形损耗光用于常规的STED超分辨荧光成像，经过特定时延后加入第三束高斯型的损耗光，提取荧光背景噪声，再通过图像加权差分的方式去除掉背景噪声。STEDD虽然在抑制STED荧光噪声上起到一定的效果，但使用的光路复杂、需要三束光耦合以及严格的时序控制，存在调试困难、成本较高等问题。类似的通过物理手段探测估计背景图像的方法，在实际操作中也都面临相同的困境。
针对损耗光引发的未完全损耗和反斯托克斯激发效应，产生的荧光背景噪声问题，目前还需要开发一些有效、简单且低成本的方法来解决这个问题。
发明内容
本发明为了解决受激发射损耗显微术中由于损耗光引发的一些荧光背景噪声问题，提出了一种低成本、无需增加光路复杂度的荧光差分抑制背景噪声的方法。
STED图像中由于荧光损耗不完全以及损耗激光反斯托克斯激发产生额外背景噪声，因此对于损耗光光强需要在完全损耗荧光和避免反斯托克斯激发之间寻求一定的平衡，优化损耗光光强来提升成像效果。我们提出的STED成像装置结合数字图像分析技术，通过调整损耗光光强，扫描多幅STED超分辨荧光图像，计算图像评价函数数值，经过比较确定一定范围内能获得最佳评价因子的损耗光光强。在此损耗光功率下扫描，为后续荧光背景差分过程提供一个信噪比更好的STED超分辨图像，便于利用图像中信号和噪声差异构造背景图像。
理想的STED超分辨成像中，排除不完全损耗与反斯托克斯激发的干扰，激发光外围区域的荧光信号能被完全抑制，激发光点扩散函数被有效压缩。然而在实际操作中，即使在损耗光光强经过优化以后，由于各种因素的限制，外围荧光信号依然很难彻底消除，STED超分辨成像饱受噪声困扰。依据外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，本发明提出借助灰度反转的方法，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像，进行差分优化。与前面提到的物理手段获取背景信号图像相比，本发明的背景构造方法基于数字信号图像处理，无需复杂的实验系统，操作简便。
同时本发明还会根据不同图像进行调整，具有良好的适应性。通过对背景构造公式中的调节因子a、b进行调整，得到一系列背景信号图像并进行差分处理，逐一计算图像的评价函数数值，从而得到评价函数Q与调节因子a、b之间的函数关系图，筛选出图像评价函数取最大值时的a、b值，便可获得优化效果最佳的超分辨图像。
对于STED超分辨图像，目前主流的荧光背景噪声抑制方法，如STEDD技术，虽然噪声处理上能取得一定的效果，但是光路系统复杂，成本高昂，需要严格的时序管理，对于一般的光学实验室而言操作难度大。本发明提出的抑制超分辨图像荧光背景噪声的方法，能够有效解决此前技术存在的问题。
本发明的目的是通过下述技术方案实现的：
一种STED超分辨图像背景噪声差分抑制方法，包括以下步骤：
1、激光器输出第一束连续激光，通过滤光片及空间滤波系统滤波后，经高数值孔径的物镜聚焦到荧光材料，通过电子自发辐射跃迁发射荧光；
2、激光器输出第二束连续激光，通过滤光片及空间滤波系统滤波后，经过半波片及1/4波片组合模块调整偏振，再通过0～2π涡旋相位板调制形成涡旋空心型光束，使用分光棱镜将激发光和损耗光同轴耦合，实现荧光的受激辐射损耗；
3、荧光材料发射的信号，经过物镜收集，通过滤光片筛选出荧光信号，由光电倍增管(PMT)进行探测，获得扫描点处的荧光强度信号，再通过XY方向扫描，获得完整的荧光超分辨图像；
4、通过调整损耗光光强，扫描多幅STED超分辨荧光图像并代入图像评价函数进行计算，经过比较确定一定范围内评价函数取最大值时的损耗光光强，在此损耗光光强下扫描，提升原始超分辨荧光图像质量；
5、对于在最佳损耗光光强下采集的超分辨图像，依据外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，使用灰度反转变换的方法，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像，通过原图像与构造的背景图像差分运算，提高超分辨图像的质量。
6、调节参数，提升优化效果。对背景信号构造公式中的参数进行调节，在不同参数下构造不同的背景图像并进行差分运算，选取最佳优化效果的STED超分辨图像。
下面对上述步骤中的具体细节进行详细介绍。
步骤1所述的空间滤波系统是由两个凸透镜组成的4f系统，在共焦面处放置针孔滤波器，可以滤除TEM00模以外的杂散光。
步骤1所述的半波片和1/4波片组合模块的作用是将线偏振的激光转化为圆偏振光。然后圆偏振光经过0～2π涡旋相位板被调制成涡旋空心光。相比于线偏振光或椭圆偏振光，圆偏振光经过涡旋相位板调制可获得能量分布更为均匀的涡旋空心型损耗光。
步骤2所述的损耗光作用原理是对高能级电子诱导实现受激辐射，使电子快速回到低能级，损耗与激发光光斑重叠区域的自发辐射荧光。
步骤2所述的耦合激发光和损耗光，是校准激发光和损耗光光路的中心，只有当两束光中心严格重合时才能有效损耗光斑重叠区域的自发辐射荧光，压缩点扩散函数，提高成像分辨率。
步骤3所述的滤光筛选主要通过二向色镜对不同波段荧光反射和透射原理，将激发光、损耗光、受激辐射荧光与自发辐射荧光分离，再通过带通滤光片进行进一步荧光过滤。
步骤4所述的评价函数表达式如下：
其中FFT表示傅里叶变换符号，fsted(x,y)表示超分辨荧光信号强度分布，W(ξ,η)表示频率权重函数。
ξ,η表示图像中各自方向频域空间的频率大小，ξmax和ηmax表示各自方向频率空间内最大频率值，根据奈奎斯特采样定律，采样频率是信号最大频率的两倍。
δη和δξ表示图像中单个像素的空间尺寸，在采集二维图像传感器设计中，在两个维度的采样率是相同
而图像二维傅里叶频谱中各自方向的频率可以表示
因此W(ξ,η)的表达式能进一步化简为
rξ和rη表示不同方向向量的大小，rξmax和rηmax表示不同方向向量最大值；评价函数的值越大表示图像高频分量越多，激发中心区域荧光信号越强，荧光背景噪声受到抑制；
步骤5所述的对荧光信号进行加权运算，并进一步分离背景噪声，主要包括以下几个步骤：
(1)依据外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，使用灰度反转变换的方法，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像：
其中a，b代表调节因子，fbg(x,y)表示构造的荧光背景噪声强度图像，fsted(x,y)表示原始STED超分辨荧光图像强度分布，max表示取最大灰度值，min表示取最小灰度值；
(2)构造荧光背景噪声强度之后，通过差分运算方式：fsig(x,y)＝fsted(x,y)-fbg(x,y)，分离出激发中心区域有效荧光信号。
步骤6所述的调节参数，提升优化效果，主要包括以下几个步骤：
(1)对背景图像构造公式中的调节因子a、b进行调整，构造不同的背景信号图像，并获取对应差分优化图像。调节因子的作用在于构造合适的背景噪声强度，具体的取值范围由图像灰度的量化等级决定；
(2)引入图像评价函数，对前面获取的不同调节因子下的优化图像逐一计算函数值。因为激发中心有效荧光信号属于高频信号，而背景噪声属于低频信号，所以荧光图像评价函数通过计算图像高频信号的权重可以评估图像质量，函数公式如下：
其中FFT表示傅里叶变换符号，fsig(x,y)表示差分获得的图像强度分布，W(ξ,η)表示频率权重函数。
ξ,η表示图像中各自方向频域空间的频率大小，ξmax和ηmax表示各自方向频率空间内最大频率值，根据奈奎斯特采样定律，采样频率是信号最大频率的两倍。
δη和δξ表示图像中单个像素的空间尺寸，在采集二维图像传感器设计中，在两个维度的采样率是相同
而图像二维傅里叶频谱中各自方向的频率可以表示
因此W(ξ,η)的表达式能进一步化简为
rξ和rη表示不同方向向量的大小，rξmax和rηmax表示不同方向向量最大值；评价函数的值越大表示图像高频分量越多，激发中心区域荧光信号越强，荧光背景噪声受到抑制；
(3)经过以上计算获得图像评价函数Q与调节因子a、b之间的函数关系图，容易筛选出图像评价函数取最大值时的a、b值，从而获取最佳优化效果的STED超分辨图像。
步骤5所述的利用荧光信号和背景噪声的差异，以图像的强度值作为权重进行加权运算构造背景噪声，是与STED超分辨技术相结合的手段。理想情况下，STED成像中激发光外围区域荧光信号能被完全损耗，但实际上在不完全损耗与反斯托克斯激发的影响下无法实现完美的效果。因此我们通过构造背景噪声差分优化的方法，使实验中获得的STED图像更趋近于理想STED图像的强度分布。
本发明采用的受激发射损耗超分辨成像装置，包括：
激发光模块：由激发激光光源，第一滤光片与第一空间滤波系统组成；
损耗光模块：由输出功率可控的损耗激光光源，第二滤光片，第二空间滤波系统、半波片、1/4波片、0～2π涡旋相位板与分光棱镜组成；
扫描模块：由扫描振镜、扫描透镜与镜筒透镜组成；
荧光信号探测模块：由高数值孔径物镜、二向色镜、第三滤光片、聚焦透镜与PMT成像系统组成。
本发明所述的成像系统包括超分辨成像系统和控制系统。通过对成像系统扫描的超分辨荧光图像进行评估，由控制系统对损耗光功率进行不断优化，最终获取质量最优的原始超分辨荧光图像。
本发明对比已有技术具有以下优势:
1、将自动控制技术与STED超分辨成像技术相结合，通过自动控制系统，给定初始值、步长与范围，自动调节损耗光光强，实现自动化多次扫描超分辨荧光图像；
2、通过简便的数字图像处理方法，构造出背景噪声图像进行差分运算，相比其他需要搭建复杂系统的方法，本发明在有效抑制超分辨荧光背景噪声的同时，成本较低，操作容易；
3、结合了相关的先进算法技术，引入图像评价因子的计算，为超分辨荧光图像质量提供了评价标准，从而提高方法的可靠性。
附图说明
图1为本发明受激辐射损耗显微成像光路示意图；
图2为本发明系统控制损耗光功率输出处理流程图；
图3为本发明一种STED超分辨图像背景噪声差分抑制方法的算法处理流程；
图4(a)为采集原始STED超分辨荧光图；
图4(b)为本发明荧光差分抑制荧光背景噪声方法处理后，不同权值(a＝6，b＝5)，(a＝24，b＝9)时构造的背景图像；
图4(c)为本发明荧光差分抑制荧光背景噪声方法处理后，评价因子Q＝0.3186，Q＝0.3203时差分图像；
图5为本发明中在一定范围设置不同权值处理后运算出的图像评价参考因子Q；
图6为STED超分辨成像的基本原理示意图。
其中图1具体细节为：1—第一激光器、2—第一滤光片、3—第一空间滤波系统、4—第二激光器、5—第二滤光片、6—第二空间滤波系统、7—半波片、8—1/4波片、9—0～2π涡旋相位板、10—反射镜、11—分光棱镜、12—扫描振镜、13—扫描透镜、14—镜筒透镜、15—二向色镜、16—高倍物镜、17—第三滤光片、18—聚焦透镜、19—PMT成像系统
具体施例方式
下面结合附图和施例对本发明进一步说明。但并不代表对本发明技术方案的限制。
本发明为了解决受激发射损耗显微术中由于损耗光引发的荧光背景噪声问题，提出了一种低成本、无需添加复杂光路的荧光差分抑制背景噪声的方法。
如图1、2所示，受激发射损耗显微超分辨成像过程为：
(1)第一激光器1输出的连续激光作为激发光，将荧光材料中的基态电子激发到高能级的激发态，产生自发辐射荧光。激光器输出的激光可能存在部分干扰信号，光斑质量可能存在缺陷，故先通过第一滤光片2及第一空间滤波系统3提升激发光斑的质量及单色性，再通过分光棱镜11引入扫描光路之中；
(2)第二激光器4输出的连续激光作为损耗光，主要是让激发态电子通过受激辐射的方式返回到低能级，抑制自发辐射荧光。光束通过第二滤光片5和第二空间滤波系统6进行整形滤波，提高损耗光斑质量。然后通过半波片7和1/4波片8，其中半波片改变激光的偏振方向，当偏振方向与1/4波片的快(慢)轴成45°时，线偏振光被调制为圆偏振光。再通过0～2π涡旋相位板9，将损耗光斑调制成涡旋空心光束，再经过反射镜10与分光棱镜11将激发光与损耗光进行同轴耦合；
(3)同轴耦合后的激发光束和损耗光束，经过扫描振镜12，实现二维平面扫描。然后经过扫描透镜13和镜筒透镜14，减小由于光束角度改变引起的像差。光束再经过二向色镜15反射，由数值孔径为1.35放大倍数为60倍的油镜16进行聚焦，照射样品。之后产生的自发辐射和受激辐射两种信号，经过二向色镜15和滤光片17，过滤出自发辐射的超分辨荧光信号；
(4)超分辨荧光信号通过聚焦透镜18收集，进入PMT成像系统，记录扫描点位置处的荧光信号，之后由扫描振镜12和PMT成像系统19配合，获取完整的STED超分辨荧光图；
(5)获取的STED超分辨荧光图，代入图像评价函数Q计算出函数值。在给定初始值、步长与范围下，系统调节第二激光器4的输出功率，多次扫描成像并计算相应图像评价函数数值，计算公式如下：
得到图像评价函数Q取最大值时的损耗光光强后，在此损耗光光强下进行扫描成像，提高原始超分辨荧光图像质量。
如图3所示，基于STED超分辨图像中荧光信号与背景噪声区域的强度差异，依据图像灰度值加权运算，构造出荧光背景噪声图像，通过差分构造的背景图像，进一步获得高信噪比的荧光超分辨图像，实施过程如下：
(1)从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像：
(2)通过差分运算方式，分离出激发中心荧光信号：
fsig(x,y)＝fsted(x,y)-fbg(x,y)
(4)对背景图像构造公式中的调节因子a、b进行调整，构造不同的背景信号图像，并获取对应差分优化图像。；
(5)引入图像评价函数，对上面获取的不同调节因子下的优化图像逐一计算函数值：
(6)经过以上计算获得图像评价函数Q与调节因子a、b之间的函数关系图，容易筛选出图像评价函数取最大值时的a、b值，从而获取最佳优化效果的STED超分辨图像。
如图4(a)所示，使用mGarnet-RITA融合蛋白对细胞骨架进行标记，再进行成像获得原始STED超分辨荧光图像。如图4(b)所示，设置不同调节因子a,b，构造荧光背景噪声。如图4(c)所示，通过差分运算方式，分离出激发中心区域荧光信。从实验图像中可看出原始STED荧光图像具有较强的荧光背景噪声，经过本发明方法处理后，荧光背景噪声得到抑制。
如图5所示，通过计算图像评价函数可知，使用不同调节因子a,b对差分处理后的图像具有较大影响。通过优化调节因子，可以更进一步提升STED超分辨图像质量。
本发明作为一种STED超分辨图像背景噪声差分抑制方法还可以进行变化、修饰，但不局限于上述施例的限制。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换、替代以及改型。
Claims (3)
1.一种STED超分辨图像背景噪声差分抑制方法，包括以下步骤：
S1模拟构造背景信号荧光图像，并进行差分运算。针对在传统STED超分辨成像中高斯型激发光与涡旋空心型损耗光重叠后，外围区域由于损耗光未完全损耗与反斯托克斯激发产生的背景荧光信号，依据外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，使用灰度反转变换的方法，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像，通过原图像与背景荧光图像差分运算后，可以获得高对比度的STED超分辨图像。
S2调节参数，提升优化效果。对背景信号构造公式中的参数进行调节，在不同参数下构造不同的背景图像并进行差分运算，选取最佳优化效果的STED超分辨图像。优化效果由计算图像高频信号权重的图像评价函数进行量化评估。
2.根据权利要求书1中所述的STED超分辨图像背景噪声差分抑制方法，其特征在于，所述步骤S1中，模拟构造背景信号荧光图像，并进行差分优化，主要包括以下步骤：
S1.1基于STED外围损耗光引发的背景信号和激发光中心区域荧光信号存在的强度差异，通过灰度反转变换的方法，以图像的强度值作为权重对原图像进行加权运算，从原图像中构造出一幅与STED强度分布规律相适应的的背景荧光图像，运算方法如下：
其中a，b代表调节因子，fbg(x,y)表示构造的荧光背景噪声强度图像，fsted(x,y)表示原始STED超分辨荧光图像强度分布，max表示取最大灰度值，min表示取最小灰度值；
S1.2构造荧光背景噪声强度之后，通过下式对原图像与背景信号图像进行差分运算：
fsig(x,y)＝fsted(x,y)-fbg(x,y)
分离出有效荧光信号，获得高对比度的STED超分辨图像。
3.根据权利要求书1中所述的STED超分辨图像背景噪声差分抑制方法，其特征在于，所述步骤S2中，调节参数，提升优化效果，主要包括以下步骤：
S2.1对S1.1公式中的调节因子a、b进行调整，构造不同情况下的背景信号图像，并获取对应差分优化图像。调节因子的作用在于构造合适的背景噪声强度，具体的取值范围由图像灰度的量化等级决定；
S2.2引入图像评价函数，对S2.1中获取的不同调节因子下的优化图像逐一计算函数值。因为激发中心有效荧光信号属于高频信号，而背景噪声属于低频信号，所以荧光图像评价函数通过计算图像高频信号的权重可以评估图像质量，函数公式如下：
其中FFT表示傅里叶变换符号，fsig(x,y)表示差分获得的图像强度分布，W(ξ,η)表示频率权重函数，。
ξ,η表示图像中各自方向频域空间的频率大小，ξmax和ηmax表示各自方向频率空间内最大频率值，根据奈奎斯特采样定律，采样频率是信号最大频率的两倍。
δη和δξ表示图像中单个像素的空间尺寸，在采集二维图像传感器设计中，在两个维度的采样率是相同
而图像二维傅里叶频谱中各自方向的频率可以表示
因此W(ξ,η)的表达式能进一步化简为
rξ和rη表示不同方向向量的大小，rξmax和rηmax表示不同方向向量最大值；评价函数的值越大表示图像高频分量越多，激发中心区域荧光信号越强，荧光背景噪声受到抑制；
S2.3经过S2.2的计算获得图像评价函数Q与调节因子a、b之间的函数关系图，容易筛选出图像评价函数取最大值时的a、b值，从而获取最佳优化效果的STED超分辨图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010282739.1A CN111474150B (zh) | 2020-04-08 | 2020-04-08 | 一种sted超分辨图像背景噪声差分抑制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010282739.1A CN111474150B (zh) | 2020-04-08 | 2020-04-08 | 一种sted超分辨图像背景噪声差分抑制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111474150A true CN111474150A (zh) | 2020-07-31 |
| CN111474150B CN111474150B (zh) | 2022-03-22 |
Family
ID=71751845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010282739.1A Active CN111474150B (zh) | 2020-04-08 | 2020-04-08 | 一种sted超分辨图像背景噪声差分抑制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111474150B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112304954A (zh) * | 2020-10-20 | 2021-02-02 | 西安工程大学 | 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法 |
| CN115541553A (zh) * | 2022-11-25 | 2022-12-30 | 哈尔滨星云医学检验所有限公司 | 一种用于生物特征信息提取的输入和输出集成系统 |
| WO2023284637A1 (zh) * | 2021-07-14 | 2023-01-19 | 复旦大学 | 一种基于图像梯度方差分析的序列图像超分辨修正方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313723A (zh) * | 2011-06-20 | 2012-01-11 | 河海大学 | 偏振光激发显微联合超分辨率重建的成像方法与装置 |
| CN102542540A (zh) * | 2011-12-31 | 2012-07-04 | 华中科技大学 | 一种基于pde的红外图像背景抑制方法 |
| US20150226950A1 (en) * | 2012-08-23 | 2015-08-13 | Isis Innovation Limited | Stimulated emission depletion microscopy |
| EP3230784A1 (fr) * | 2014-12-09 | 2017-10-18 | Bioaxial SAS | Procédé et dispositif de mesure optique |
| US20170351080A1 (en) * | 2014-12-23 | 2017-12-07 | Commissariat à l'énergie atomique et aux énergies alternatives | Imaging method, and system, for obtaining a super-resolution image of an object |
| CN107490568A (zh) * | 2017-08-09 | 2017-12-19 | 四川大学 | 基于受激发射损耗特性的超分辨率显微成像装置和方法 |
| CA2978123A1 (en) * | 2017-09-05 | 2019-03-05 | Peter Vokhmin | Real time multichannel sted microscopy system |
| WO2019077556A1 (en) * | 2017-10-19 | 2019-04-25 | Fondazione Istituto Italiano Di Tecnologia | STIMULATED EMITTING MICROSCOPY METHOD (STED) WITH HIGH SPACE RESOLUTION |
| CN110068560A (zh) * | 2019-04-17 | 2019-07-30 | 深圳大学 | 一种受激辐射损耗超分辨成像系统及方法 |
| CN110752013A (zh) * | 2019-10-29 | 2020-02-04 | 山东大学 | 一种宫颈癌激光图像的数据预处理系统 |
-
2020
- 2020-04-08 CN CN202010282739.1A patent/CN111474150B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313723A (zh) * | 2011-06-20 | 2012-01-11 | 河海大学 | 偏振光激发显微联合超分辨率重建的成像方法与装置 |
| CN102542540A (zh) * | 2011-12-31 | 2012-07-04 | 华中科技大学 | 一种基于pde的红外图像背景抑制方法 |
| US20150226950A1 (en) * | 2012-08-23 | 2015-08-13 | Isis Innovation Limited | Stimulated emission depletion microscopy |
| EP3230784A1 (fr) * | 2014-12-09 | 2017-10-18 | Bioaxial SAS | Procédé et dispositif de mesure optique |
| US20170351080A1 (en) * | 2014-12-23 | 2017-12-07 | Commissariat à l'énergie atomique et aux énergies alternatives | Imaging method, and system, for obtaining a super-resolution image of an object |
| CN107490568A (zh) * | 2017-08-09 | 2017-12-19 | 四川大学 | 基于受激发射损耗特性的超分辨率显微成像装置和方法 |
| CA2978123A1 (en) * | 2017-09-05 | 2019-03-05 | Peter Vokhmin | Real time multichannel sted microscopy system |
| WO2019077556A1 (en) * | 2017-10-19 | 2019-04-25 | Fondazione Istituto Italiano Di Tecnologia | STIMULATED EMITTING MICROSCOPY METHOD (STED) WITH HIGH SPACE RESOLUTION |
| CN110068560A (zh) * | 2019-04-17 | 2019-07-30 | 深圳大学 | 一种受激辐射损耗超分辨成像系统及方法 |
| CN110752013A (zh) * | 2019-10-29 | 2020-02-04 | 山东大学 | 一种宫颈癌激光图像的数据预处理系统 |
Non-Patent Citations (2)
| Title |
|---|
| JONG-CHAN LEE ET AL.: "Accurate Background Subtraction in STED Nanoscopy by Polarization Switching", 《ACS PHOTONICS》 * |
| 侯尚国 等: "基于时间门技术的纳米显微镜原理及应用", 《中国科学：化学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112304954A (zh) * | 2020-10-20 | 2021-02-02 | 西安工程大学 | 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法 |
| WO2023284637A1 (zh) * | 2021-07-14 | 2023-01-19 | 复旦大学 | 一种基于图像梯度方差分析的序列图像超分辨修正方法 |
| CN115541553A (zh) * | 2022-11-25 | 2022-12-30 | 哈尔滨星云医学检验所有限公司 | 一种用于生物特征信息提取的输入和输出集成系统 |
| CN115541553B (zh) * | 2022-11-25 | 2023-03-14 | 哈尔滨星云医学检验所有限公司 | 一种用于生物特征信息提取的输入和输出集成系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111474150B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111474150B (zh) | 一种sted超分辨图像背景噪声差分抑制方法 | |
| US20230349812A1 (en) | Fluorescence Imaging Flow Cytometry With Enhanced Image Resolution | |
| CN110346340B (zh) | 基于波前传感器的机器学习快速像差测量系统与方法 | |
| CN110389119B (zh) | 基于机器学习的快速自适应光学扫描显微成像系统与方法 | |
| CN110146473B (zh) | 一种轴向超分辨的双光子荧光显微装置及方法 | |
| CN111521596B (zh) | 荧光差分超分辨成像方法及成像系统 | |
| RU2747129C1 (ru) | Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе | |
| CN107192702B (zh) | 分光瞳激光共焦cars显微光谱测试方法及装置 | |
| Pully et al. | Hybrid Rayleigh, Raman and two‐photon excited fluorescence spectral confocal microscopy of living cells | |
| JP2012504252A5 (zh) | ||
| CN114895450B (zh) | 基于二次谐波的超分辨显微成像系统及成像方法 | |
| CN103163106A (zh) | 一种基于受激发射损耗的超分辨荧光寿命成像方法和装置 | |
| CN111024659B (zh) | 一种基于并行探测的多图像重建显微成像方法和装置 | |
| CN115656130B (zh) | 一种荧光发射比率三维超分辨成像方法 | |
| CN108982428A (zh) | 椭球反射镜照明自适应谐波共焦显微测量方法 | |
| CN115656129A (zh) | 一种荧光发射比率超分辨成像方法 | |
| CN107478628A (zh) | 一种基于光子重组的双光子荧光显微方法及装置 | |
| CN215339511U (zh) | 一种扫描式显微高光谱成像系统 | |
| CN113624731A (zh) | 一种超分辨荧光高光谱显微成像系统 | |
| CN111678898B (zh) | 基于宽带受激辐射的时间分辨光学生物检测设备及其检测成像方法 | |
| CN111208635B (zh) | 一种图像扫描显微成像系统及方法 | |
| CN111938581A (zh) | 一种使用高低频探头配合的轴向高分辨光声成像方法及系统 | |
| CN111077078A (zh) | 一种结合自适应再扫描技术的双光子显微成像系统 | |
| CN114076751B (zh) | 一种基于点扫描策略的超分辨显微成像方法 | |
| RU2579640C1 (ru) | Конфокальный спектроанализатор изображений |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |