CN109884056B - 一种基于优化结构探测函数的显微成像方法 - Google Patents

一种基于优化结构探测函数的显微成像方法 Download PDF

Info

Publication number
CN109884056B
CN109884056B CN201910161694.XA CN201910161694A CN109884056B CN 109884056 B CN109884056 B CN 109884056B CN 201910161694 A CN201910161694 A CN 201910161694A CN 109884056 B CN109884056 B CN 109884056B
Authority
CN
China
Prior art keywords
detection function
structure detection
error
image
standard sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910161694.XA
Other languages
English (en)
Other versions
CN109884056A (zh
Inventor
倪赫
邹丽敏
李博
尹哲
谭久彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910161694.XA priority Critical patent/CN109884056B/zh
Publication of CN109884056A publication Critical patent/CN109884056A/zh
Application granted granted Critical
Publication of CN109884056B publication Critical patent/CN109884056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于优化结构探测函数的显微成像方法，涉及结构探测显微成像技术领域，为解决现有方法其不能充分提高成像分辨率，实现超分辨成像的问题，包括步骤一、将扫探测光斑光强分布与结构探测函数相乘；步骤二、将图像中的每个像素的灰度值求和；步骤三、重复步骤一和步骤二；步骤四、将步骤三中标准样品所有采样点的数值归一化；步骤五、比较获得每一像素点的灰度值误差；步骤六、将每一像素点的误差的平方平方作为基准误差，将基准误差求和作为在当前结构探测函数下的误差，将当前结构探测函数下的误差反向传递至结构探测函数部分；步骤七、迭代训练得到最优结构探测函数，从而得到超分辨图像，本方法可充分提高成像分辨率，实现超分辨成像。

Description

一种基于优化结构探测函数的显微成像方法
技术领域
本发明涉及结构探测显微成像技术领域，具体涉及一种优化结构探测函数的方法。
背景技术
光学显微术是一种历史悠久且十分重要的无破坏性技术，被广泛应用于生物和材料科学等领域。
2009年，美国哈佛大学谢晓亮、JeffW.Lichtman课题组在NanoLetters杂志上发表论文，提出扫描图案探测显微技术，通过将探测调制和非解扫单元探测器完成的空间累积成像相结合来实现空间调制。仿真分析得出，在荧光非相干成像情况下，横向分辨率均可达到普通显微系统的2倍。
专利号：ZL201510868029.6描述的一种超分辨结构探测共焦相干成像装置及其成像方法，其将结构探测成像方法与共焦相干显微系统相结合,提高了共焦相干成像系统的空间截止频率,拓宽空间频域带宽,从而改善了成像系统横向分辨力，但其不能充分提高成像分辨率，实现超分辨成像。
发明内容
本发明的目的是：针对现有技术的缺陷。提供一种基于优化结构探测函数的显微成像方法，充分提高成像分辨力，实现超分辨成像。
本发明采用如下技术方案实现：一种基于优化结构探测函数的显微成像方法，包括以下步骤：
步骤一、在扫描显微成像系统中，将扫描标准样品采样点得到的探测光斑光强分布与随机生成的结构探测函数相乘，得到一个新的图像；
步骤二、将步骤一中得到的图像中的每个像素的灰度值求和后得到灰度和值；
步骤三、重复步骤一和步骤二求得标准样品所有采样点的灰度和值；
步骤四、将步骤三中标准样品所有采样点的数值归一化至0—255区间内，作为重构图像对应采样点的光强灰度值，得到重构图像；
步骤五、将重构图像与标准样品逐点比较获得每一像素点的灰度值误差；
步骤六、将步骤五中重构图像每一像素点的误差的平方作为基准误差，将基准误差求和作为在当前结构探测函数下的误差，将当前结构探测函数下的误差进行反向传递至结构探测函数部分，调整结构探测函数；
步骤七、通过迭代训练，得到最优结构探测函数；然后将最优结构探测函数带入步骤一中替换随机生成的结构探测函数，并经过步骤二、步骤三和步骤四得到重构图像，即超分辨图像。
本发明具有如下有益效果：本发明通过利用误差向结构探测函数的反向传播，不断地通过误差对当前结构探测函数的梯度调整结构探测函数，降低重构图像与标准样品的误差。从而求解结构探测函数最优解，通过图像重构得到超分辨图像，提高了基于结构探测的显微成像分辨率，实现超分辨成像。
附图说明
图1是本发明的原理框图。
具体实施方式
具体实施方式一：下面结合图1具体说明本实施方式。本实施方式一种基于优化结构探测函数的显微成像方法，包括以下步骤：
步骤一、在扫描显微成像系统中，将扫描标准样品采样点得到的探测光斑光强分布与随机生成的结构探测函数相乘，得到一个新的图像；
步骤二、将步骤一中得到的图像中的每个像素的灰度值求和后得到灰度和值；
步骤三、重复步骤一和步骤二求得标准样品所有采样点的灰度和值；
步骤四、将步骤三中标准样品所有采样点的数值归一化至0—255区间内，作为重构图像对应采样点的光强灰度值，得到重构图像；
步骤五、将重构图像与标准样品逐点比较获得每一像素点的灰度值误差；
步骤六、将步骤五中重构图像每一像素点的误差的平方作为基准误差，将基准误差求和作为在当前结构探测函数下的误差，将当前结构探测函数下的误差进行反向传递至结构探测函数部分，调整结构探测函数；
步骤七、通过迭代训练，得到最优结构探测函数；然后将最优结构探测函数带入步骤一中替换随机生成的结构探测函数，并经过步骤二、步骤三和步骤四得到重构图像，即超分辨图像。
通过将标准样品的重构图像与标准样品逐点比较获得的误差反向传播，实现对结构探测函数的调整，从而实现最优结构探测函数的求取。在激光扫描显微成像系统中，将扫描标准样品得到的探测光斑光强分布与结构探测函数相乘后再求和，将重构图像与标准样品逐点比较获得每一点的灰度值误差，将整幅图像每一点的误差的平方求和作为在当前结构探测函数下的误差，并将误差进行反向传递至结构探测函数部分，据此调整结构探测函数从而降低重构图像与标准样品的误差，通过迭代训练，最终实现最优结构探测函数的求取。进而能用最优结构探测函数实现更高分辨率的结构探测超分辨成像。
每个扫描标准样品采样点得到的探测光斑光强通过步骤一和步骤二得到其对应的数值，所有采样点的数值重新排列得到重构图像的排列顺序与对标准样品的扫描顺序是一致的。
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式中所述步骤一中，假设在扫描显微成像系统中，光斑的图像采集区域为m行n列的像素区域，标准样品在显微成像过程中，扫描显微成像系统实现对标准样品的U×V个点的采样；在采样点ij处获得的探测光斑图像的光强分布为Sij，在m×n的像素区域中，第x行y列的像素的光强为
Figure BDA0001984872480000031
该像素所对应的结构探测函数为mxy，探测光斑的光强分布与结构探测函数相乘后再求和可得重构图像在采样点ij处的光强imageij，因此图像的重构由如下公式实现；
Figure BDA0001984872480000032
imageij为重构图像在采样点ij处的光强灰度值，1≤x≤m,1≤y≤n。
具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式中在所述步骤五中，重构图像与标准样品在采样点ij处的基准误差errorij可由如下公式求得，因为灰度值的差值有正有负，因此取平方避免抵消；
Figure BDA0001984872480000033
objectij为标准样品在采样点ij处的光强灰度值的真值，errorij是重构图像与标准样品在采样点ij处的基准误差。
具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式中对于标准样品U×V的采样区域，当前结构探测函数下的误差Error由如下公式求得：
Figure BDA0001984872480000034
1≤i≤U,1≤j≤V。
具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式中所述步骤六中，将求得的总误差Error反向传递至结构探测函数，据此调整结构探测函数总误差Error对当前结构探测函数的梯度，即结构探测函数的调整量为：
Figure BDA0001984872480000041
具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式中依据反向的误差，调整后的结构探测函数通过如下公式实现；
Figure BDA0001984872480000042
其中
Figure BDA0001984872480000043
为第t次调整时坐标点x,y处的像素点采用的结构探测函数，
Figure BDA0001984872480000044
为第t次调整后坐标点x,y处的像素点的结构探测函数，r是用来控制调整幅度大小的正整数比例因子。
虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。

Claims (1)

1.一种基于优化结构探测函数的显微成像方法，其特征在于包括以下步骤：
步骤一、在扫描显微成像系统中，将扫描标准样品采样点得到的探测光斑光强分布与随机生成的结构探测函数相乘，得到一个新的图像；
步骤二、将步骤一中得到的图像中的每个像素的灰度值求和后得到灰度和值；
步骤三、重复步骤一和步骤二求得标准样品所有采样点的灰度和值；
步骤四、将步骤三中标准样品所有采样点的数值归一化至0—255区间内，作为重构图像对应采样点的光强灰度值，得到重构图像；
步骤五、将重构图像与标准样品逐点比较获得每一像素点的灰度值误差；
步骤六、将步骤五中重构图像每一像素点的误差的平方作为基准误差，将基准误差求和作为在当前结构探测函数下的误差，将当前结构探测函数下的误差进行反向传递至步骤一中结构探测函数部分，调整结构探测函数；
步骤七、通过步骤一至步骤六进行迭代训练，得到最优结构探测函数；然后将最优结构探测函数带入步骤一中替换随机生成的结构探测函数，并经过步骤二、步骤三和步骤四得到重构图像，即超分辨图像；
所述步骤一中，假设在扫描显微成像系统中，光斑的图像采集区域为m行n列的像素区域，标准样品在显微成像过程中，扫描显微成像系统实现对标准样品的U×V个点的采样；在采样点ij处获得的探测光斑图像的光强分布为Sij，在m×n的像素区域中，第x行y列的像素的光强为
Figure FDA0003123886770000011
该像素所对应的结构探测函数为mxy，探测光斑的光强分布与结构探测函数相乘后再求和可得重构图像在采样点ij处的光强imageij，图像的重构为：
Figure FDA0003123886770000012
imageij为重构图像在采样点ij处的光强灰度值，1≤x≤m,1≤y≤n；
所述步骤六中，重构图像与标准样品在采样点ij处的基准误差errorij为：
Figure FDA0003123886770000013
objectij为标准样品在采样点ij处的光强灰度值的真值，errorij是重构图像与标准样品在采样点ij处的基准误差；
所述步骤六中，在标准样品U×V的采样区域，当前结构探测函数下的误差Error为：
Figure FDA0003123886770000021
1≤i≤U,1≤j≤V；
所述步骤六中，将求得的总误差Error反向传递至结构探测函数，据此调整结构探测函数总误差Error对当前结构探测函数的梯度，即结构探测函数的调整量为：
Figure FDA0003123886770000022
调整后的结构探测函数为；
Figure FDA0003123886770000023
其中
Figure FDA0003123886770000024
为第t次调整时坐标点x,y处的像素点采用的结构探测函数，
Figure FDA0003123886770000025
为第t次调整后坐标点x,y处的像素点的结构探测函数，r是用来控制调整幅度大小的正整数比例因子。
CN201910161694.XA 2019-03-04 2019-03-04 一种基于优化结构探测函数的显微成像方法 Active CN109884056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910161694.XA CN109884056B (zh) 2019-03-04 2019-03-04 一种基于优化结构探测函数的显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910161694.XA CN109884056B (zh) 2019-03-04 2019-03-04 一种基于优化结构探测函数的显微成像方法

Publications (2)

Publication Number Publication Date
CN109884056A CN109884056A (zh) 2019-06-14
CN109884056B true CN109884056B (zh) 2021-10-08

Family

ID=66930547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161694.XA Active CN109884056B (zh) 2019-03-04 2019-03-04 一种基于优化结构探测函数的显微成像方法

Country Status (1)

Country Link
CN (1) CN109884056B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483752A (zh) * 2014-12-23 2015-04-01 中国科学院光电研究院 一种反射式数字成像系统的设计方法
CN104541193A (zh) * 2012-07-05 2015-04-22 新加坡国立大学 光学显微镜和及其控制方法
CN105319195A (zh) * 2015-11-30 2016-02-10 哈尔滨工业大学 一种超分辨结构探测阵列共焦荧光成像装置及其成像方法
CN105758799A (zh) * 2015-11-30 2016-07-13 哈尔滨工业大学 一种超分辨阵列虚拟结构光照明成像装置及其成像方法
CN106767400A (zh) * 2016-11-23 2017-05-31 哈尔滨工业大学 基于空间光调制器的结构探测共焦显微成像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541193A (zh) * 2012-07-05 2015-04-22 新加坡国立大学 光学显微镜和及其控制方法
CN104483752A (zh) * 2014-12-23 2015-04-01 中国科学院光电研究院 一种反射式数字成像系统的设计方法
CN105319195A (zh) * 2015-11-30 2016-02-10 哈尔滨工业大学 一种超分辨结构探测阵列共焦荧光成像装置及其成像方法
CN105758799A (zh) * 2015-11-30 2016-07-13 哈尔滨工业大学 一种超分辨阵列虚拟结构光照明成像装置及其成像方法
CN106767400A (zh) * 2016-11-23 2017-05-31 哈尔滨工业大学 基于空间光调制器的结构探测共焦显微成像方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Lateral resolution enhancement of confocal microscopy based on structured detection method with spatial light modulator;He Ni 等;《Optics Express》;20170206;第25卷(第3期);第2872-2882页 *
Rapid super-resolution confocal microscopy through virtual structured detection based on serial scanning in array;Limin Zou 等;《Applied Optics》;20180220;第57卷(第6期);第1373-1377页 *
一种新的快速收敛的反向传播算法;武妍 等;《同济大学学报(自然科学版)》;20040831;第32卷(第8期);第1092-1095页 *
单光线聚焦光斑数字扫描成像技术研究;尹哲;《中国博士学位论文全文数据库 信息科技辑》;20170215(第2期);第1-93页 *
基于空间光调制器的多模光纤出射光斑聚焦目标函数研究;尹哲 等;《中国激光》;20150731;第42卷(第7期);第1-6页 *
基于结构探测原理的共焦超分辨方法研究;王宝凯;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20160215(第2期);第1-59页 *

Also Published As

Publication number Publication date
CN109884056A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
JP2013542468A (ja) 走査型投影レンズレス顕微鏡システム
Shechtman et al. Observation of live chromatin dynamics in cells via 3D localization microscopy using Tetrapod point spread functions
Van de Linde Single-molecule localization microscopy analysis with ImageJ
Chakrova et al. Adaptive illumination reduces photobleaching in structured illumination microscopy
Heintzmann et al. Calibrating photon counts from a single image
Kiss et al. Deconvolution of potentiometric SECM images recorded with high scan rate
Krüger et al. Tomographic STED microscopy
Pan et al. Adaptive-window angular spectrum algorithm for near-field ptychography
CN108254340B (zh) 基于线偏振调制的扫描显微镜
CN107621463A (zh) 图像重建方法、装置及显微成像装置
Wang et al. Rapid, artifact-reduced, image reconstruction for super-resolution structured illumination microscopy
CN104931466B (zh) 基于列处理的plif浓度场标定方法
CN109884056B (zh) 一种基于优化结构探测函数的显微成像方法
Bozzini et al. In situ soft X-ray dynamic microscopy of electrochemical processes
CN107909578A (zh) 基于六边形拼接算法的光场图像重聚焦方法
Sätzler et al. Resolution improvement by 3‐D reconstructions from tilted views in axial tomography and confocal theta microscopy
CN115619646B (zh) 一种深度学习的亚五十纳米结构光照明超分辨成像方法
Malivert et al. Active image optimization for lattice light sheet microscopy in thick samples
Tao et al. Spatially correlated coherent diffractive imaging method
CN115841423A (zh) 一种基于深度学习的宽场照明荧光超分辨显微成像方法
CN114913065A (zh) 基于空间共定位掩模过滤的超分辨sim-fret图像重建方法
CN114740008A (zh) 一种超分辨晶圆缺陷检测系统
Le Gall et al. Imaging of bacterial chromosome organization by 3D Super-Resolution microscopy
Wang et al. Deep learning super‐resolution electron microscopy based on deep residual attention network
EP4057320A1 (en) Observation method by means of scanning transmission electron microscope, scanning transmission electron microscope system, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant