CN110161667B - 一种基于压缩感知超分辨显微成像方法 - Google Patents
一种基于压缩感知超分辨显微成像方法 Download PDFInfo
- Publication number
- CN110161667B CN110161667B CN201910452890.2A CN201910452890A CN110161667B CN 110161667 B CN110161667 B CN 110161667B CN 201910452890 A CN201910452890 A CN 201910452890A CN 110161667 B CN110161667 B CN 110161667B
- Authority
- CN
- China
- Prior art keywords
- matrix
- super
- resolution
- measurement matrix
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于压缩感知超分辨显微成像方法,属于超分辨荧光显微成像领域。本发明将压缩感知应用到荧光显微镜中,利用荧光信号具有天然稀疏性的特点,通过对基于PSF的测量矩阵左乘优化矩阵,从而实现对测量矩阵的优化,使它严格满足压缩感知条件中测量矩阵非相干性的要求;优化后的矩阵能够最大限度的利用压缩感知实现单帧超分辨显微成像;本发明无须改变现有的荧光显微系统,通过对荧光显微图像的后处理来实现超分辨。
Description
技术领域
本发明属于超分辨显微成像领域,本发明涉及基于压缩感知的超分辨显微成像方法。
背景技术
荧光显微镜因其具有无损、非接触、高特异性、高灵敏和高活体友好等特点在生命科学领域有着巨大的作用,但由于光学衍射极限的限制,传统的光学显微镜不能观测到小于光波长半宽尺寸的结构和特征(200-300nm)。如今,越来越多的超分辨荧光显微技术的出现打破光学“衍射极限”。现有的超分辨显微技术主要被分为两大类:1)空间光调制,主要通过改变激发方式或照明模式对目标进行光场调制来实现超分辨成像,例如受激发射损耗荧光显微技术STED和结构光显微技术SIM,在成像过程中,这些方法主要通过点扫描或复杂照明方式来获得一张超分辨图像,硬件上直接限制了成像速度。2)荧光分子信号的变化调制,主要通过荧光分子的自身固有性质或光诱导来获得荧光信号的随机闪烁和涨落特性来实现单分子定位或关联成像,例如随机光学重构显微技术STORM和基于光学涨落信号的超分辨显微技术SOFI,在成像过程中,虽然是基于宽场显微镜,不需要采取扫描方式,但为了获得荧光信号随着时间光的闪烁和涨落信息,往往需要采集几千到上万帧图像来重构一张超分辨图像。因此,目前的超分辨显微技术因其成像速度慢而无法有效的对活细胞和动态过程实现快速成像。
压缩感知(Compressed Sensing,CS)理论提供了一种新型信号重构方法,它可以利用信号的稀疏性在低采样率的情况下通过求解优化问题准确重构原始信号,并实现单幅超分辨成像。利用压缩感知主要满足两个条件:(1)信号是稀疏的或变换后稀疏;(2)测量矩阵的随机性,满足有限等距(RIP)条件。只有满足上述条件,才能利用压缩感知实现超分辨成像,其超分辨能力已经被Candès严格的数学证明,分辨力可以提高2倍。并且该方法已经有效的应用在了ISAR、MRI、CT和鬼成像等领域。目前已经有利用压缩感知来提高STORM单帧密度从而减少采样帧数的方法,单帧的密度相比传统STORM可以提高15倍。如专利号CN201510960385.0公开了一种通过对点扩散函数组成的测量矩阵和显微镜采集得到的低分辨图像处理,从而得到高分辨率的重构图像的方法。本发明所述的方法:通过把点扩散函数一维化,构成向量,并将各个高分辨网格中心的点扩散函数向量按顺序组成测量矩阵,然后对测量矩阵和基于显微镜采用记录相机记录到的低分辨图像做处理。最后通过压缩感知重构算法重构得到高分辨图像。但由于利用的测量矩阵是点扩散函数(PSF)形成的,没有严格满足RIP条件,所以并没有利用压缩感知来实现超分辨,只是起到压缩采样的作用。并且,现有的PSF模型可分为两大类:基于几何光学的PSF模型和基于波动光学的PSF模型,由于显微光场成像系统衍射无法忽略,同时系统中微透镜阵列的引入,导致现有的基于几何光学和波动光学的PSF模型均不适用于光场显微结构速效成像中PSF的确定,虽然可通过反卷积进行成像三维重建,反卷积算法主要有线性反卷积法、Lucy-Richardson(L-R)算法和盲反卷积法,但线性反卷积法对噪声敏感度高且无法复原高频信息,重建精度低;盲反卷积法需在迭代重建的同时更新PSF,计算量大,耗时长;L-R算法需要结合泊松噪声统计标准、反卷积迭代推演,过程复杂。
另外,专利号CN201610394908.4公开了一种基于压缩感知的淡水藻类全息图像增强与重建方法,该方案先利用S-G滤波器对图像进行滤波和增强对比度处理;之后利用基于压缩感知的超分辨率重建方法提高处理后图像的分辨率;再利用角谱全息再现方法结合自动对焦测距的方法对全息图进行全息再现获得包含实际物象的全息再现图;利用孪生像迭代消除方法消除再现图像中残留的孪生像形成的噪声。并且该技术方案提出通过基于压缩感知 (Compressive Sensing,CS)的单幅图像的超分辨率重建方法提高全息图像的分辨率。但该发明无透镜全息成像装置获取淡水藻类全息图像和Savitzky-Golay平滑滤波器(简称S-G滤波器) 和直方图均衡化去除图像噪声和增强图像对比度,而非超分辨率的重建方法,缺少对重建方法的研究。
发明内容
本发明为了解决上述技术问题,提供了一种基于压缩感知的超分辨显微成像方法。
具体采用如下技术方案实现的:
一种基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M,并采用求解矩阵的互相关系数,判断重构准确性;
步骤三:更新测量矩阵;
步骤四:更新优化矩阵P;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像。
所述测量矩阵A满足约束等距(RIP)条件。
所述目标矩阵E为完全不相干的单位矩阵、被证明与任意稀疏字典不相关的高斯随机矩阵、等角紧框架(ETF)的变型中任意一种。
所述压缩感知重构算法采用如下计算方式之一:1)贪婪方法;2)松弛方法;3)非凸算法;4)软、硬迭代阈值;5)贝叶斯压缩感知(BCS)重构算法。
所述贪婪方法包括匹配追踪(MP)、正交匹配追踪(OMP)。
所述松弛方法包括投影梯度稀疏重构算法(GPSR)、基追踪算法(BP)。
进一步的,上述基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M,N表示探测器的像素数,M表示重构的超分辨图像的像素数,A矩阵每一列表示不同位置下的原始信号在探测器上形成的PSF;
步骤二:优化测量矩阵;由于直接对A矩阵进行优化在光学系统中无法实现,因此通过对A矩阵左乘优化矩阵P构建新的测量矩阵D,即D=PA;获得互相关度矩阵其中由D矩阵单位化得到;G矩阵中非对角元素表示D矩阵任意两列列向量之间的内积,即互相关系数;优化的过程就是G趋向于E的过程,即F表示误差容忍;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像。
与现有技术相比,本发明创造的有益效果是:
本发明将压缩感知应用到荧光显微成像中,利用荧光信号具有天然稀疏性的特点,实现单帧超分辨成像;优化基于PSF的测量矩阵,使它严格满足压缩感知条件中测量矩阵随机性的要求,最大限度的利用压缩感知实现单帧超分辨显微成像;本发明还具有无须改变现有显微系统,使得测量矩阵服从压缩感知的约束等距条件,提高看压缩感知的重构能力。
本发明采用求解矩阵的互相关系数来评价测量矩阵A,降低了判断RIP性质的复杂性、分析困难性;矩阵列向量间的互相关系数越小,说明不同位置的信号越容易被区分,压缩感知分辨能力越好,重构准确度越高。由于基于PSF的测量矩阵A列向量之间的互相关系数很高,导致利用A矩阵重构无法实现超分辨,因此对测量矩阵A进行优化,降低测量矩阵的互相关性,有助于提高压缩感知分辨能力和重构准确度,解决基于PSF的测量矩阵A列向量之间的互相关系数很高,导致利用A矩阵重构无法实现超分辨的问题。
本发明通过优化测量矩阵,降低D的列向量之间的相关性,即G的非对角元素全为0或趋向于0,这就获得优化的目标矩阵E,使得E可以是完全不相干的单位矩阵,也可以是被证明与任意稀疏字典不相关的高斯随机矩阵,或是等角紧框架(ETF)的变型,进而实现针对不同的目标矩阵对测量矩阵有不同的优化效果,对显微成像具有不同的超分辨能力。
附图说明
图1为具体方法步骤示意图;
图2为优化后测量矩阵A’与优化前矩阵A互相关系数分布曲线;
图3为分别对优化后矩阵A’和优化前矩阵A利用压缩感知进行重构,重构结果与荧光图像Y和原始图像X0对比。
具体实施方式
下面对本发明的具体实施方式作进一步的详细说明。对于所属技术领域的技术人员而言,从对本发明的详细说明中,本发明的特征和优点将显而易见。
实施例1
根据图1的具体方法步骤示意图,具体实施方式如下:
一、构建基于PSF的测量矩阵AN×M,N表示探测器的像素数,M表示需要重构的超分辨图像的像素数,A矩阵每一列表示不同位置下的原始信号在探测器上形成的PSF;
四、更新优化矩阵P。通过直接求伪逆矩阵获得更新后的P,即P=DA+,其中A+为A的伪逆矩阵;
五、利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’,即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)重构原始信号X,再将X二维化获得超分辨显微图像。重构算法利用投影梯度稀疏重构算法(GPSR);
实施例2
一种基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M;
步骤三:更新测量矩阵;
步骤四:更新优化矩阵P;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像;
所述测量矩阵A满足约束等距(RIP)条件;
所述压缩感知重构算法采用如下计算方式之一:1)贪婪方法;2)松弛方法;3)非凸算法;4)软、硬迭代阈值;5)贝叶斯压缩感知(BCS)重构算法;
所述贪婪方法包括匹配追踪(MP)、正交匹配追踪(OMP);
所述松弛方法包括投影梯度稀疏重构算法(GPSR)、基追踪算法(BP)。
实施例3
一种基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M,N表示探测器的像素数,M表示需要重构的超分辨图像的像素数,A矩阵每一列表示不同位置下的原始信号在探测器上形成的PSF;
步骤二:优化测量矩阵;由于直接对A矩阵进行优化在光学系统中无法实现,因此需要通过对A矩阵左乘优化矩阵P构建新的测量矩阵D,即D=PA;获得互相关度矩阵其中由D矩阵单位化得到;G矩阵中非对角元素表示D矩阵任意两列列向量之间的内积,即互相关系数;优化的过程就是G趋向于E的过程,即F表示误差容忍;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像。
实施例4
一种基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M;
步骤三:更新测量矩阵;
步骤四:更新优化矩阵P;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像;
所述测量矩阵A满足约束等距(RIP)条件;
所述更新测量矩阵,利用阈值函数,使误差容忍F小于设定的误差值F0,从而不断更新D;
所述压缩感知重构算法采用如下计算方式之一:贪婪方法;
所述贪婪方法为匹配追踪(MP);
实施例5
一种基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M;
步骤三:更新测量矩阵;
步骤四:更新优化矩阵P;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’, 即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像;
所述测量矩阵A满足约束等距(RIP)条件;
所述更新优化矩阵P,通过直接求伪逆矩阵获得P=DA+,其中A+为A的伪逆矩阵;
所述压缩感知重构算法为松弛方法;
所述松弛方法为投影梯度稀疏重构算法(GPSR)。
实验验证效果:通过比较优化后的测量矩阵A’与优化前矩阵A的任意两列互相关系数分布曲线,如图2所示,优化后的测量矩阵任意两列互相关系数普遍降低,主要分布在0~0.2;这说明优化后的矩阵A’更符合压缩感知约束条件;
如图3所示,生成两个相距很近的原始信号X0,获得实际探测到的荧光图像Y,分别对Y 利用优化后的矩阵A’和A利用压缩感知进行重构获得X’和X,将重构结果与荧光图像Y对比可知,利用矩阵A进行重构不具有超分辨能力,而利用矩阵A’进行重构可实现超分辨成像。
在此有必要指出的是,以上实施例和试验例仅限于对本发明的技术方案做进一步的阐述和理解,不能理解为对本发明的技术方案做进一步的限定,本领域技术人员作出的非突出实质性特征和显著进步的发明创造,仍然属于本发明的保护范畴。
Claims (4)
1.一种基于压缩感知的超分辨显微成像方法,其特征在于,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M,并采用求解矩阵的互相关系数,判断重构准确性;N表示探测器的像素数,M表示重构的超分辨图像的像素数,A矩阵每一列表示不同位置下的原始信号在探测器上形成的PSF;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’,即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1 s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像。
2.如权利要求1所述基于压缩感知的超分辨显微成像方法,其特征在于,所述测量矩阵A满足约束等距(RIP)条件。
3.如权利要求1所述基于压缩感知的超分辨显微成像方法,其特征在于,所述目标矩阵E为完全不相干的单位矩阵、被证明与任意稀疏字典不相关的高斯随机矩阵、等角紧框架(ETF)的变型中任意一种。
4.如权利要求1-3任一项所述基于压缩感知的超分辨显微成像方法,其特征在于,上述基于压缩感知的超分辨显微成像方法,包括如下步骤:
步骤一:构建基于PSF的测量矩阵AN×M,N表示探测器的像素数,M表示重构的超分辨图像的像素数,A矩阵每一列表示不同位置下的原始信号在探测器上形成的PSF;
步骤二:优化测量矩阵;由于直接对A矩阵进行优化在光学系统中无法实现,因此通过对A矩阵左乘优化矩阵P构建新的测量矩阵D,即D=PA;获得互相关度矩阵其中由D矩阵单位化得到;G矩阵中非对角元素表示D矩阵任意两列列向量之间的内积,即互相关系数;优化的过程就是G趋向于E的过程,即F表示误差容忍;
步骤五:利用更新后的P分别对A和实际探测到的荧光成像Y左乘,分别获得A’和Y’,即A′=PA,Y′=PY;最后根据压缩感知理论min||X||1 s.t.Y′=A′X(PY=PAX)利用压缩感知重构算法重构原始信号X;再将X二维化获得超分辨显微图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910452890.2A CN110161667B (zh) | 2019-07-12 | 2019-07-12 | 一种基于压缩感知超分辨显微成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910452890.2A CN110161667B (zh) | 2019-07-12 | 2019-07-12 | 一种基于压缩感知超分辨显微成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110161667A CN110161667A (zh) | 2019-08-23 |
CN110161667B true CN110161667B (zh) | 2020-11-06 |
Family
ID=67629497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910452890.2A Active CN110161667B (zh) | 2019-07-12 | 2019-07-12 | 一种基于压缩感知超分辨显微成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110161667B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091511B (zh) * | 2019-12-17 | 2023-05-26 | 广西科技大学 | 一种用于显微图像的广谱去噪方法 |
CN117031768B (zh) * | 2023-08-18 | 2024-01-30 | 江苏金视传奇科技有限公司 | 一种单次曝光的彩色无透镜成像方法及系统 |
-
2019
- 2019-07-12 CN CN201910452890.2A patent/CN110161667B/zh active Active
Non-Patent Citations (4)
Title |
---|
压缩感知中二进制测量矩阵的构造与优化;席海强;《信息科技辑》;20170228(第02期);全文 * |
压缩感知实现快速超分辨荧光显微成像;李文文,刘书朋,王中阳等;《激光技术》;20160610;全文 * |
基于压缩感知的二维联合超分辨 ISAR 成像算法;吴敏;《电子信息学报》;20140131;第36卷(第1期);全文 * |
基于随机采样的超高分辨率成像中快速压缩感知分析;王中阳等;《红外与激光工程》;20170228;第46卷(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110161667A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Orieux et al. | Bayesian estimation for optimized structured illumination microscopy | |
Studer et al. | Compressive fluorescence microscopy for biological and hyperspectral imaging | |
Henrot et al. | Fast positive deconvolution of hyperspectral images | |
Pronina et al. | Microscopy image restoration with deep wiener-kolmogorov filters | |
CN101865673B (zh) | 一种微观光场采集与三维重建方法及装置 | |
US20220198611A1 (en) | Microscopy with Near-Ideal sCMOS Camera | |
CN110161667B (zh) | 一种基于压缩感知超分辨显微成像方法 | |
Bai et al. | Imaging enhancement of light-sheet fluorescence microscopy via deep learning | |
Sanghvi et al. | Photon limited non-blind deblurring using algorithm unrolling | |
Cascarano et al. | Recursive deep prior video: a super resolution algorithm for time-lapse microscopy of organ-on-chip experiments | |
CN116721017A (zh) | 自监督显微图像超分辨处理方法和系统 | |
Chen et al. | Image enhancement in lensless inline holographic microscope by inter-modality learning with denoising convolutional neural network | |
Song et al. | 3D localization for light-field microscopy via convolutional sparse coding on epipolar images | |
Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
Verinaz-Jadan et al. | Shift-invariant-subspace discretization and volume reconstruction for light field microscopy | |
CN111598792B (zh) | 基于非局部正则化的相位恢复方法和装置 | |
CN110009575B (zh) | 基于稀疏表示的红外图像条带噪声抑制方法 | |
Rasal et al. | Mixed Poisson Gaussian noise reduction in fluorescence microscopy images using modified structure of wavelet transform | |
Wieslander et al. | TEM image restoration from fast image streams | |
Solanki et al. | An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation | |
CN106952233B (zh) | 荧光多分子定位方法、装置以及超分辨成像方法、系统 | |
Min et al. | Grid-free localization algorithm using low-rank Hankel matrix for super-resolution microscopy | |
Chang et al. | Denoising of scanning electron microscope images for biological ultrastructure enhancement | |
CN114119421A (zh) | 一种多段式荧光显微信号增强系统及其训练方法 | |
Wu et al. | Fourier ptychographic reconstruction with denoising diffusion probabilistic models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |