CN116542852A - 基于tv-sim重建的超分辨fret成像方法、系统及介质 - Google Patents
基于tv-sim重建的超分辨fret成像方法、系统及介质 Download PDFInfo
- Publication number
- CN116542852A CN116542852A CN202310355646.0A CN202310355646A CN116542852A CN 116542852 A CN116542852 A CN 116542852A CN 202310355646 A CN202310355646 A CN 202310355646A CN 116542852 A CN116542852 A CN 116542852A
- Authority
- CN
- China
- Prior art keywords
- super
- resolution
- fret
- channel
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002866 fluorescence resonance energy transfer Methods 0.000 title claims abstract description 138
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000001228 spectrum Methods 0.000 claims abstract description 81
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 39
- 206010070834 Sensitisation Diseases 0.000 claims abstract description 20
- 230000008313 sensitization Effects 0.000 claims abstract description 18
- 238000000926 separation method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000000691 measurement method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 23
- 239000004973 liquid crystal related substance Substances 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 17
- 230000005284 excitation Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000010791 quenching Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 239000013612 plasmid Substances 0.000 claims description 5
- 230000000171 quenching effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000005314 correlation function Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims 1
- 210000004895 subcellular structure Anatomy 0.000 abstract description 4
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000010869 super-resolution microscopy Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009878 intermolecular interaction Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种基于TV‑SIM重建的超分辨FRET成像方法、系统及介质，方法为：将供受体样品经过结构光调制获取三通道原始图像数据组；使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；进行参数估计得到结构光的波矢量、调制深度及初相位；进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，完成后进行逆傅里叶变换得到空域下的三通道超分辨图像数据；采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。本发明将TV‑SIM重建与FRET成像方法相结合，实现亚细胞结构的超分辨成像，同时保持重建图像与原始图像的线性关系从而进行FRET定量分析。
Description
技术领域
本发明属于超分辨FRET成像的技术领域，具体涉及一种基于TV-SIM重建的超分辨FRET成像方法、系统及介质。
背景技术
荧光共振能量转移(FRET)显微成像技术是在活细胞中检测分子结构与互作事件不可或缺的技术手段，其可以在活细胞中实时定量分析纳米尺度分子基本物化过程，被广泛的应用于研究分子间的相互作用。由于常规荧光显微镜的衍射极限，不能直接测得亚细胞结构的图像；而超分辨显微术虽然能够更精细地观测亚细胞空间结构，但获得实际的分子分辨率还要相差一个数量级，所以无法解析活细胞中1-10nm尺度的动态分子事件。融合超分辨显微术和FRET技术，以超分辨率的方法获得分子结构和功能信息，将有效提升FRET技术在亚细胞器尺度下的成像质量和分析能力，实现亚细胞器尺度分子事件更精细的分析研究。目前的超分辨FRET大多数处于定性研究阶段，这种定性研究只能在某一程度揭示问题，且依赖于实验设备和测量系统；由于没有一个固定的比较标准，定性研究不利于不同实验室之间的交流，从而限制了超分辨FRET的发展。所以，进行定量的超分辨FRET显微成像是目前生物学迫切需要的技术。
近年来，基于结构光激发的超分辨显微术(SR-SIM)的重建算法取得了巨大的突破。SR-SIM成像在算法重建过程中会产生各种伪影，这些伪影会不仅会导致成像分辨率低，还能影响原始图像与重建图像的线性关系。传统的维纳(WIENER)重建算法通常需要有足够高的信噪比(SNR)原始图像来区分真正的超分辨图像信号和伪影；然而更高的SNR需要更强的激光强度或更长的曝光时间，这会带来更大的光毒性和更快的光漂白。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于TV-SIM重建的超分辨FRET成像方法、系统及介质，通过将TV-SIM重建与FRET成像相结合，实现亚细胞结构的超分辨成像，同时保持重建图像与原始图像的线性关系从而进行FRET定量分析，使活细胞动态超分辨定量SIM-FRET成像成为可能。
为了达到上述目的，本发明一方面采用基于TV-SIM重建的超分辨FRET成像方法，包括下述步骤：
将供受体样品经过结构光调制，获取三通道原始图像数据组；
使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的三通道超分辨图像数据；
采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
作为优选的技术方案，所述获取三通道原始图像数据组，具体为：
通过多色结构光照明超分辨显微成像系统获取基于通道敏化强度测量法的三通道原始图像数据组，包括在受体激发下受体通道收集的荧光强度在供体激发下受体通道收集的荧光强度/>和在供体激发下供体通道收集的荧光强度/>其中r＝(x，y)为荧光图像像素的空间坐标，d＝1，2，3为结构光的方向角数，/>为第d方向角下结构光的初相位；
所述每一组图像数据组为不同方向角和不同相位的余弦结构光照明的宽场荧光图像，所述结构光表示为：
其中，cd为第d方向角下结构光的调制深度，Pd为第d方向角下结构光的波矢量；
所述每一组图像数据组同一方向角上的不同相位的相位差相等。
作为优选的技术方案，所述频域下对应的频谱，表示为：
其中，d为结构光的方向角数；为在第d方向角下第n个相位；k为荧光图像像素在频域下的坐标；g(k)为原始图像的频域分布；cd为d方向角下的结构光调制深度；Pd为d方向角下的结构光波矢量；H(k)为多色结构光照明超分辨显微成像系统的光学传递函数；
将同一方向角下三个不同相位结构光的频谱进行联立，简化为线性方程组：
其中，M为可逆矩阵，表示为：
为d方向角下第1个相位，即初相位；n为相位数量。
作为优选的技术方案，所述得到结构光的波矢量、调制深度和初相位，具体为：
在某一方向角的线性方程组两边同时乘以M矩阵的逆矩阵M-1，得到频谱成分方程组：
其中，C0(k)为0级频谱，表示光学传递函数H(k)截止频率内的中低频成分；C-1(k)为-1级频谱，C+1(k)为+1级频谱；C-1(k)和C+1(k)包含光学传递函数H(k)截止频率外的高频成分，也包含一部分光学传递函数H(k)截止频率内的中频成分；
利用重叠频谱的相关性，假设C-1(k)在频域里移动照明频率矢量+p′d，结合频谱成分方程组，C-1(k)乘以光传递函数H(k)后的-1级频谱C′-1(p′d)表示为：
同时，将C0(k)乘以H(k+p′d)得：
C′0(p′d)＝C0(k)H(k+p′d)＝[g(k)·H(k)]·H(k+p′d)
当且仅当照明频率矢量等于结构光波矢量p′d＝Pd时，互相关函数C(p′d)达到最大值，其具体定义为：
在每个频率点对两个频谱成分的比值进行线性回归：
从回归结果中估计调制深度cd和初相位的值；
同理求得其他方向角的波矢量、初相位和调制深度。
作为优选的技术方案，所述根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，具体为：
根据计算出的结构光波矢量、初相位和调制深度，分离结构光的频谱，得：
其中，为分离后0级频谱分量；/>为分离后-1级频谱分量；/>为分离后+1级频谱分量；m0、m-1、m+1分别对应/>的0、-1和+1阶，/>为分离后的各频谱分量；
然后对分离后的频谱进行搬移，由傅里叶变换性质得到：
同样地，按照mpd方向对SR-SIM系统的光学传递函数H(k)进行移动，得到Hm(k+mpd)：
其中表示傅立叶变换，/>表示逆傅里叶变换。
作为优选的技术方案，所述基于全变分正则的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据，具体为：
在多色结构光照明超分辨显微成像系统成像过程中，使用全变分TV正则项约束的SIM显微镜重建方法对三通道原始图像数据组进行超分辨重建，得到优化问题：
其中，是全变分TV正则化项，用于定义原始图像数据在点(x，y，z)的变化量，s为重建后的超分辨荧光图像；/>是数据保真项；μ为相对权重，是一个大于零的常数；/>表示卷积，sd，m表示对应d方向和m阶的样本荧光强度，hd，m为多色结构光照明超分辨显微成像系统的点扩散函数；
采用Split Bregman方法引入新的变量来近似表示重建图像s的梯度，将优化问题变换为两个变量的无约束优化问题，表示为：
其中，β为惩罚因子，为辅助变量；
使用高斯-塞德尔迭代法对无约束优化问题进行求解，再进行逆傅里叶变换，得到空域下的三通道超分辨图像数据表示为：
使用shrink算子求解得到W，表示为：
其中，n为迭代次数，为差分运算，W、b为辅助变量，β为惩罚因子，H(k+mpd)为的共轭，X为通道，包括受体激发受体发射通道AA、供体激发受体发射通道DA以及供体激发供体发射通道DD。
作为优选的技术方案，所述测量得到结构光超分辨下的FRET效率和FRET供受体浓度比，公式为：
其中，为受体敏化发射荧光强度，SDA为DA通道下重建的FRET超分辨图像，SAA为AA通道下重建的FRET超分辨图像，SDD为DD通道下重建的FRET超分辨图像，ESIM为结构光超分辨下的FRET效率，/>为结构光超分辨下的FRET供受体浓度比，G为敏化淬灭转化因子，ksIM为供受体浓度转化因子，a、b、c、d为系统串扰系数。
作为优选的技术方案，所述敏化淬灭转化因子G，供受体浓度转化因子ksIM，系统串扰系数a、g、c、d通过制备两种不同固定FRET效率、供受体浓度比为1∶1的标准质粒样本以及单独转染供体和受体质粒样本进行测定。
另一方面提供一种基于TV-SIM重建的超分辨FRET成像系统，应用于上述的基于TV-SIM重建的超分辨FRET成像方法，包括图像获取模块、频谱提取模块、参数估计模块、图像成像模块及数据测量模块；
所述图像获取模块用于将供受体样品经过结构光调制，获取三通道原始图像数据组；
所述频谱提取模块用于使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
所述参数估计模块用于对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
所述图像成像模块用于根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据；
所述数据测量模块用于采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
本发明还提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于TV-SIM重建的超分辨FRET成像方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明在多色结构光照明超分辨显微成像系统成像过程中采用全变分TV正则项约束对FRET三通道原始数据进行超分辨重建；与维纳SIM-FRET方法相比，本发明更能保持原始图像与重建图像的荧光强度线性关系，进而满足定量FRET计算荧光强度的保真度的要求；同时通过全变分TV正则化去除原始图像的随机噪声伪像，过滤一部分噪声的同时还能去除一些FRET假阳性信号，使FRET效率E计算结果更准确，进一步表现出本发明的方法在FRET成像的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于TV-SIM重建的超分辨FRET成像方法的流程图，其中Δs＜T是迭代停止条件，Δs＝(sn+1-sn)/sn是迭代误差，T是迭代条件阈值，通常为一个非常小的常数，sn为n次迭代的重建图像；sn+1为n+1次迭代的重建图像。
图2为本发明实施例中单通道FRET仿真数据的超分辨重建结果示意图；其中图2(a)为仿真模型的真值结果，图2(b)为宽场重建的结果，图2(c)为线性维纳重建的结果，图2(d)为TV-SIM重建的结果，图2(e)为宽场、维纳重建和TV-SIM重建的结构相似度。
图3为本发明实施例中FRET效率E和供受体浓度比Rc结果示意图；其中图3(a)为宽场重建的结果，图3(b)为线性维纳重建的结果，图3(c)为TV-SIM重建的结果。
图4为本发明实施例中本方法在不同噪声水平下的FRET效率E效果示意图，其中左侧为TV-SIM重建效果示意图，右侧为维纳重建效果示意图，图4(a)为噪声水平5％的FRET效率E效果示意图，图4(b)为噪声水平10％的FRET效率E效果示意图，图4(c)为噪声水平20％的FRET效率E效果示意图，图4(d)为噪声水平40％的FRET效率E效果示意图。
图5为本发明实施例中基于TV-SIM重建的超分辨FRET成像系统的方框图；
图6为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
全变分(TV)去噪方法有着优良的去噪功能，其根据荧光图像的连续性先验信息，在组装频带时引入TV正则项来抑制重建超分辨图像中的伪影；对比维纳滤波重建，在低信噪比情况下，全变分结构光照明显微镜(TV-SIM)重建的超分辨图像有着更少的伪影和更高的信噪比。将TV-SIM与FRET结合，不仅能实现亚细胞结构的超分辨成像，还能保持重建图像与原始图像的线性关系从而进行FRET的定量分析，使活细胞动态超分辨定量SIM-FRET成像成为可能。
如图1所示，本实施例提供基于TV-SIM重建的超分辨FRET成像方法，包括下述步骤：
S1、将活细胞样品经过调制的结构光进行照明，获取三通道原始图像数据组；
具体的，通过多色结构光照明超分辨显微成像SR-SIM系统获取基于通道敏化强度测量法(E-FRET法)的三通道原始图像数据组，包括在受体激发下受体通道收集的荧光强度在供体激发下受体通道收集的荧光强度/>和在供体激发下供体通道收集的荧光强度/>其中r＝(x，y)为荧光图像像素的空间坐标，d＝1，2，3为结构光的方向角数，/>为d方向角下结构光的初相位；每一组图像数据组为不同方向角和不同相位的余弦结构光照明的宽场荧光图像，并且每一组图像数据组同一方向角上的不同相位的相位差相等；结构光表示为：
其中，cd为第d方向角下结构光的调制深度，Pd为第d方向角下结构光的波矢量。
本实施例中包括三个不同方向的结构光方向角d1、d2和d3，每一结构光方向角下包括三个不同相位，相位差设定为2π/3，以d1方向为例，即每一组得到9张结构光调制的宽场荧光图像，则DD、DA、AA三通道共采集27张结构光调制的宽场荧光图像。
S2、使用傅里叶变换将FRET三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
具体的，以d1方向为例，则频域下对应的频谱表示为：
将上式联立简化为以下线性方程组：
其中，M为可逆矩阵，表示为：
为d1方向角下第1个相位，即初相位，i为虚部。
S3、对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
在求解上述频谱时，需要知道结构光的波矢量、调制深度及初相位，因此进行参数估计，具体为：
同理以d1方向为例，在线性方程组两边同时乘以乘以M矩阵的逆矩阵M-1，得到频谱成分方程组：
其中，C0(k)为0级频谱，表示光学传递函数H(k)截止频率内的中低频成分；C-1(k)为-1级频谱，C+1(k)为+1级频谱；C-1(k)和C+1(k)包含光学传递函数H(k)截止频率外的高频成分，也包含一部分光学传递函数H(k)截止频率内的中频成分；这意味着C-1(k)、C+1(k)与C0(k)有一部分中频成分是重叠的；
因此利用重叠频谱的相关性，假设C-1(k)在频域里移动照明频率矢量结合频谱成分方程组，C-1(k)乘以光传递函数H(k)的-1级频谱/>表示为：
同时，将C0(k)乘以得：
当且仅当照明频率矢量等于结构光波矢量时，互相关函数/>达到最大值，其具体定义为：
可以发现两个频率之间相差了复数/>在每个频率点对两个频率成分的比值进行线性回归(LR)：
从回归结果中估计d1方向角下结构光的调制深度和初相位/>的值；
同理，其他两个方向角d2、d3的波矢量初相位/>和调制深度也如是求得。
S4、根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据；
具体的，根据计算出的结构光波矢量、初相位和调制深度，分离结构光的频谱，得：
其中，为分离后0级频谱分量；/>为分离后-1级频谱分量；/>为分离后+1级频谱分量；m0、m-1、m+1分别对应/>的0、-1和+1阶，/>为分离后的各频谱分量；
此时中高频成分仍然处于截止频率内，所以还需要把它们移到正确的位置，由傅里叶变换性质得到：
同样地，按照mpd方向对SR-SIM系统的光学传递函数H(k)进行移动，得到Hm(k+mpd)：
其中表示傅立叶变换，/>表示逆傅里叶变换。
SR-SIM系统成像过程可以使用全变分TV正则项约束的SIM显微镜重建(TV-SIM)方法对三通道原始图像数据组进行超分辨重建，得到优化问题：
其中，是全变分TV正则化项，用于定义原始图像数据在点(x，y，z)的变化量，对其积分将是物的总变化量，s为重建后的超分辨荧光图像；第二项，即/>是数据保真项；μ为相对权重，通常是一个大于零的常数；/>表示卷积，sd，m表示对应d方向和m阶的样本荧光强度，hd，m为多色结构光照明超分辨显微成像系统的点扩散函数；
由于L1项，即全变分TV正则化项会导致传统梯度求解速度很慢，因此本申请采用Split Bregman方法，引入新的变量来近似表示重建图像s的梯度，将优化问题变换为两个变量的无约束优化问题，表示为：
其中，β为惩罚因子，为辅助变量；
使用高斯-塞德尔迭代法对无约束优化问题进行求解，再进行逆傅里叶变换，得到空域下的三通道超分辨图像数据表示为：
使用shrink算子求解得到W，表示为：
其中，n为迭代次数，为差分运算，W、b为辅助变量，β为惩罚因子，H(k+mpd)为的共轭，X为通道，包括受体激发受体发射通道AA、供体激发受体发射通道DA以及供体激发供体发射通道DD。
S5、采用通道敏化强度测量法对空域下的FRET三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
具体的，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比，公式为：
其中，为受体敏化发射荧光强度，SDA为DA通道下重建的FRET超分辨图像，SAA为AA通道下重建的FRET超分辨图像，SDD为DD通道下重建的FRET超分辨图像，ESIM为结构光的超分辨下的FRET效率，/>为结构光超分辨下的FRET供受体浓度比，G为敏化淬灭转化因子，kSIM为供受体浓度转化因子，a、g、c、d为系统串扰系数。
进一步的，敏化淬灭转化因子G，供受体浓度转化因子kSIM，系统串扰系数a、b、c、d通过制备两种不同固定FRET效率、供受体浓度比为1∶1的标准质粒样本以及单独转染供体和受体质粒样本进行测定。针对不同的FRET供受体及FRET测量系统，a、b、c、d、G、kSIM等系统参数也有所不同，在本实施例中通过预先测量获得a＝0、b＝0、c＝0、d＝0.8、G＝5、kSIM＝0.69。
为了进一步直观展示出基于TV-SIM重建的超分辨FRET成像方法的效果，本实施例通过与传统宽场FRET、维纳滤波的超分辨SIM-FRET的结果进行定量对比，构建了一个仿真模型；该模型假设固定FRET效率为30％和供受体浓度比为1∶1的供受体全部分布在放射状星型图案的白色区域内，其他黑色区域的FRET效率为0，放射状星型图案可以通过中心密集到边缘稀疏的空间分布很好的仿真出供受体在实际生物样本中既有稀疏又有密集的分布特性；为了贴近显微成像真实的成像过程，本实施例采用和实际系统一致的参数来模拟结构光照明调制FRET样本，再用点扩散函数PSF对结构光照明调制的真值结果图像进行卷积，最后根据FRET三通道参数来仿真三通道原始图像数据组。
图2为上述模型单通道超分辨重建的结果示意图，从左至右为AA、DA、DD通道；其中图2(a)为仿真模型的真值结果，图2(b)为宽场重建的结果，图3(c)为线性维纳重建的结果，图2(d)为本实施例中TV-SIM重建的结果图，图2(e)为宽场、维纳重建和TV-SIM重建的结构相似度；从图中对比可以看出，TV-SIM有超分辨重建的效果，并且具有较高的峰值信噪比和结构相似度。
图3为上述模型三通道超分辨重建后基于E-FRET方法的FRET效率E和供受体浓度比Rc结果示意图；其中图3(a)为宽场重建的结果，图3(b)为线性维纳重建的结果，图3(c)为TV-SIM重建的结果；从图3(a)、图3(b)、图3(c)中对比可以看出，本发明实施例的基于TV-SIM重建的超分辨FRET成像方法的FRET效率E和供受体比浓度Rc更接近真值，对原始图像荧光强度的保真度更好，这说明基于前向模型TV-SIM的去噪与反卷积运算为线性运算。
图4为本发明实施例方法在不同噪声水平下的FRET效率E效果示意图；其中左侧为TV-SIM重建效果示意图，右侧为维纳重建效果示意图，图4(a)为噪声水平5％的FRET效率E效果示意图，图4(b)为噪声水平10％的FRET效率E效果示意图，图4(c)为噪声水平20％的FRET效率E效果示意图，图4(d)为噪声水平40％的FRET效率E效果示意图；从图4对比图可知，对比基于维纳重建的FRET成像，在不同噪声水平下本发明TV-SIM重建的超分辨FRET成像方法的FRET效率E误差更小，这说明噪声会带来FRET假阳性信号，而TV-SIM过滤一部分噪声的同时还能去除一些FRET假阳性信号，使FRET效率E计算结果更准确，进一步表现出本发明的方法在FRET成像的鲁棒性更高。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于TV-SIM重建的超分辨FRET成像方法相同的思想，本发明还提供基于TV-SIM重建的超分辨FRET成像系统，该系统可用于执行上述基于TV-SIM重建的超分辨FRET成像方法。为了便于说明，基于TV-SIM重建的超分辨FRET成像系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，本发明另一个实施例提供了一种基于TV-SIM重建的超分辨FRET成像系统，包括图像获取模块、频谱提取模块、参数估计模块、图像成像模块及数据测量模块；
其中，图像获取模块用于将供受体样品经过结构光调制，获取三通道原始图像数据组；
频谱提取模块用于使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
参数估计模块用于对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
图像成像模块用于根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据；
数据测量模块用于采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
此外，上述实施例的基于TV-SIM重建的超分辨FRET成像系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于TV-SIM重建的超分辨FRET成像系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
如图6所示，在一个实施例中，提供了一种计算机可读存储介质，存储有程序于存储器中，所述程序被处理器执行时，实现所述的基于TV-SIM重建的超分辨FRET成像方法，具体为：
将供受体样品经过结构光调制，获取三通道原始图像数据组；
使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的三通道超分辨图像数据；
采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于TV-SIM重建的超分辨FRET成像方法，其特征在于，包括下述步骤：
将供受体样品经过结构光调制，获取三通道原始图像数据组；
使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的三通道超分辨图像数据；
采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
2.根据权利要求1所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述获取三通道原始图像数据组，具体为：
通过多色结构光照明超分辨显微成像系统获取基于通道敏化强度测量法的三通道原始图像数据组，包括在受体激发下受体通道收集的荧光强度在供体激发下受体通道收集的荧光强度/>和在供体激发下供体通道收集的荧光强度/>其中r＝(x,y)为荧光图像像素的空间坐标，d＝1,2,3为结构光的方向角数，/>为第d方向角下结构光的初相位；
所述每一组图像数据组为不同方向角和不同相位的余弦结构光照明的宽场荧光图像，所述结构光表示为：
其中，cd为第d方向角下结构光的调制深度，Pd为第d方向角下结构光的波矢量；
所述每一组图像数据组同一方向角上的不同相位的相位差相等。
3.根据权利要求2所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述频域下对应的频谱，表示为：
其中，d为结构光的方向角数；为在第d方向角下第n个相位；k为荧光图像像素在频域下的坐标；g(k)为原始图像的频域分布；cd为d方向角下的结构光调制深度；Pd为d方向角下的结构光波矢量；H(k)为多色结构光照明超分辨显微成像系统的光学传递函数；
将同一方向角下三个不同相位结构光的频谱进行联立，简化为线性方程组：
其中，M为可逆矩阵，表示为：
为d方向角下第1个相位，即初相位；n为相位数量。
4.根据权利要求3所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述得到结构光的波矢量、调制深度和初相位，具体为：
在某一方向角的线性方程组两边同时乘以M矩阵的逆矩阵M-1，得到频谱成分方程组：
其中，C0(k)为0级频谱，表示光学传递函数H(k)截止频率内的中低频成分；C-1(k)为-1级频谱，C+1(k)为+1级频谱；C-1(k)和C+1(k)包含光学传递函数H(k)截止频率外的高频成分，也包含一部分光学传递函数H(k)截止频率内的中频成分；
利用重叠频谱的相关性，假设C-1(k)在频域里移动照明频率矢量+p′d，结合频谱成分方程组，C-1(k)乘以光传递函数H(k)后的-1级频谱C′-1(p′d)表示为：
同时，将C0(k)乘以H(k+p′d)得：
C′0(p′d)＝C0(k)H(k+p′d)＝[g(k)·H(k)]·H(k+p′d)
当且仅当照明频率矢量等于结构光波矢量p′d＝Pd时，互相关函数C(p′d)达到最大值，其具体定义为：
在每个频率点对两个频谱成分的比值进行线性回归：
从回归结果中估计调制深度cd和初相位的值；
同理求得其他方向角的波矢量、初相位和调制深度。
5.根据权利要求4所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，具体为：
根据计算出的结构光波矢量、初相位和调制深度，分离结构光的频谱，得：
其中，为分离后0级频谱分量；/>为分离后-1级频谱分量；/>为分离后+1级频谱分量；m0、m-1、m+1分别对应/>的0、-1和+1阶，/>为分离后的各频谱分量；
然后对分离后的频谱进行搬移，由傅里叶变换性质得到：
同样地，按照mpd方向对SR-SIM系统的光学传递函数H(k)进行移动，得到Hm(k+mpd)：
其中表示傅立叶变换，/>表示逆傅里叶变换。
6.根据权利要求5所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据，具体为：
在多色结构光照明超分辨显微成像系统成像过程中，使用全变分TV正则项约束的SIM显微镜重建方法对三通道原始图像数据组进行超分辨重建，得到优化问题：
其中，是全变分TV正则化项，用于定义原始图像数据在点(x,y,z)的变化量，s为重建后的超分辨荧光图像；/>是数据保真项；μ为相对权重，是一个大于零的常数；/>表示卷积，sd,m表示对应d方向和m阶的样本荧光强度，hd,m为多色结构光照明超分辨显微成像系统的点扩散函数；
采用Split Bregman方法引入新的变量来近似表示重建图像s的梯度，将优化问题变换为两个变量的无约束优化问题，表示为：
其中，β为惩罚因子，为辅助变量；
使用高斯-塞德尔迭代法对无约束优化问题进行求解，再进行逆傅里叶变换，得到空域下的三通道超分辨图像数据表示为：
使用shrink算子求解得到W，表示为：
其中，n为迭代次数，为差分运算，W、b为辅助变量，β为惩罚因子，H(k+mpd)为的共轭，X为通道，包括受体激发受体发射通道AA、供体激发受体发射通道DA以及供体激发供体发射通道DD。
7.根据权利要求6所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述测量得到结构光超分辨下的FRET效率和FRET供受体浓度比，公式为：
其中，为受体敏化发射荧光强度，SDA为DA通道下重建的FRET超分辨图像，SAA为AA通道下重建的FRET超分辨图像，SDD为DD通道下重建的FRET超分辨图像，ESIM为结构光超分辨下的FRET效率，/>为结构光超分辨下的FRET供受体浓度比，G为敏化淬灭转化因子，kSIM为供受体浓度转化因子，a、b、c、d为系统串扰系数。
8.根据权利要求7所述的基于TV-SIM重建的超分辨FRET成像方法，其特征在于，所述敏化淬灭转化因子G，供受体浓度转化因子kSIM，系统串扰系数a、b、c、d通过制备两种不同固定FRET效率、供受体浓度比为1：1的标准质粒样本以及单独转染供体和受体质粒样本进行测定。
9.基于TV-SIM重建的超分辨FRET成像系统，其特征在于，应用于权利要求1-8中任一项所述的基于TV-SIM重建的超分辨FRET成像方法，包括图像获取模块、频谱提取模块、参数估计模块、图像成像模块及数据测量模块；
所述图像获取模块用于将供受体样品经过结构光调制，获取三通道原始图像数据组；
所述频谱提取模块用于使用傅里叶变换将三通道原始图像数据组从空域转换为频域，并提取频域下对应的频谱；
所述参数估计模块用于对三通道原始图像数据组进行参数估计，得到结构光的波矢量、调制深度及初相位；
所述图像成像模块用于根据求得的结构光波矢量、调制深度及初相位进行频谱分离及频谱搬移，再基于全变分正则项的迭代反卷积进行频谱融合，迭代完成后进行逆傅里叶变换，得到空域下的FRET三通道超分辨图像数据；
所述数据测量模块用于采用通道敏化强度测量法对空域下的三通道超分辨图像进行数据处理，测量得到结构光超分辨下的FRET效率和FRET供受体浓度比。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的基于TV-SIM重建的超分辨FRET成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310355646.0A CN116542852A (zh) | 2023-04-06 | 2023-04-06 | 基于tv-sim重建的超分辨fret成像方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310355646.0A CN116542852A (zh) | 2023-04-06 | 2023-04-06 | 基于tv-sim重建的超分辨fret成像方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116542852A true CN116542852A (zh) | 2023-08-04 |
Family
ID=87449616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310355646.0A Pending CN116542852A (zh) | 2023-04-06 | 2023-04-06 | 基于tv-sim重建的超分辨fret成像方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542852A (zh) |
-
2023
- 2023-04-06 CN CN202310355646.0A patent/CN116542852A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Van Kempen et al. | A quantitative comparison of image restoration methods for confocal microscopy | |
| CN108062744B (zh) | 一种基于深度学习的质谱图像超分辨率重建方法 | |
| Henrot et al. | Fast positive deconvolution of hyperspectral images | |
| CN111308682B (zh) | 基于结构光照明的超分辨重构方法 | |
| CN111145089A (zh) | 高保真图像重构方法、系统、计算机设备和存储介质 | |
| US11680914B2 (en) | Methods and systems for 3D structure estimation using non-uniform refinement | |
| CN107180411A (zh) | 一种图像重构方法及系统 | |
| Zhou et al. | W2S: microscopy data with joint denoising and super-resolution for widefield to SIM mapping | |
| CN113256772A (zh) | 一种基于视角转换的双角度光场高分辨重构系统及方法 | |
| WO2024082607A1 (zh) | 基于主成分分析的结构光照明显微成像方法 | |
| WO2021242741A2 (en) | Method and system for quantitative three dimensional measurement of density, anisotropy, and orientation without label | |
| CN116542852A (zh) | 基于tv-sim重建的超分辨fret成像方法、系统及介质 | |
| CN115839936B (zh) | 一种基于锁相探测的结构光照明超分辨显微成像重构方法 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
| Hussain et al. | Performance comparison of wavelet families for noise reduction and intensity thresholding in Fourier Ptychographic microscopy | |
| CN111476125A (zh) | 基于生成对抗网络的三维荧光显微信号去噪方法 | |
| CN115293981B (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
| Rooms et al. | Simultaneous degradation estimation and restoration of confocal images and performance evaluation by colocalization analysis | |
| Haq et al. | Block-based compressed sensing of MR images using multi-rate deep learning approach | |
| CN114913065A (zh) | 基于空间共定位掩模过滤的超分辨sim-fret图像重建方法 | |
| CN114638761A (zh) | 一种高光谱图像全色锐化方法、设备及介质 | |
| CN116402678B (zh) | 超分辨结构光照明显微镜的频谱优化直接重建方法 | |
| Falahkheirkhah et al. | A deep learning framework for morphologic detail beyond the diffraction limit in infrared spectroscopic imaging | |
| CN116362970A (zh) | 一种fret敏化通道超分辨sim图像重构参数的估计方法及系统 | |
| Luo et al. | Reduction in required volume of imaging data and image reconstruction time for adaptive‐illumination Fourier ptychographic microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |