CN116912087A - 基于多焦点结构光照明显微镜的超分辨图像空域重构方法 - Google Patents
基于多焦点结构光照明显微镜的超分辨图像空域重构方法 Download PDFInfo
- Publication number
- CN116912087A CN116912087A CN202310654416.4A CN202310654416A CN116912087A CN 116912087 A CN116912087 A CN 116912087A CN 202310654416 A CN202310654416 A CN 202310654416A CN 116912087 A CN116912087 A CN 116912087A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- illumination
- lattice
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000002073 fluorescence micrograph Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000001000 micrograph Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004621 scanning probe microscopy Methods 0.000 description 2
- 238000010869 super-resolution microscopy Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种基于多焦点结构光照明显微镜的超分辨图像重构方法，通过记录完整的样品荧光图像，估测照明光，滤除离焦信号及重构得到超分辨图像，在硬件无需改动的条件下，可以进一步提升超分辨显微图像的成像效果，对比目前通行的MSIM图像重构方法，可实现对结构光照明显微镜超分辨图像的快速重构。
Description
技术领域
本发明涉及一种荧光超分辨显微镜的图像空域重构方法，尤其是涉及一种基于多焦点结构光照明显微镜的超分辨图像空域重构方法。
背景技术
出于生命科学研究的需要，荧光超分辨显微镜的研究填补了普通光学显微镜分辨能力受限于衍射极限的困难。其作为介于普通光学显微镜和电子显微镜之间的一种技术，需要对观察样品进行荧光标记，这产生了斯托克斯位移并导致成像分辨率的降低。且不同的超分辨显微技术方案，需要在时间分辨率和空间分辨率等技术特征间做出权衡。而作为超分辨显微镜代表性的三种显微技术之一的结构光照明显微镜(StructuredIllumination Microscopy，SIM)，它的优势在于使用了宽场照明的方式，对荧光物质或荧光标记无特殊要求，因此它具有成像速度快和对样品的光损伤小的特点，可以实现活细胞动态成像效果。而多焦点结构光照明显微镜(Multifocal Structured IlluminationMicroscopy，MSIM)的概念最早作为图像扫描显微镜(Image Scanning Microscopy，ISM)的并行版本被提出，同样可以看作一种宽场照明SIM显微镜。但MSIM却获得了更好的厚样品切片层析成像的能力，相关综述文献报道过2D-SIM穿透厚度为10-20μm，MSIM穿透厚度为50μm。
继承自图像扫描显微镜(Image Scanning Microscopy，ISM)的图像重构则是使用像素重分布方法(Pixel reassignment，PR)，虽然在理论上可实现扩展横向分辨率到原始图像倍的效果，但该图像重构方法处理图像计算复杂度高，速度较慢，不利于超分辨显微实时观察活样品的需求，且会牺牲边缘视场。
因此针对目前的MSIM重构方法，如果期望能在较好的超分辨效果前提下实现更好的图像处理速度，就需要一种优化运算性能的快速超分辨重构方法。
发明内容
本发明的目的就是针对现有的多焦点结构光照明显微镜在超分辨图像重构速度方面存在的问题提出一种快速超分辨图像重构方法，以更快的处理运算速度实现更好的超分辨显微效果。
本发明的技术解决方案是：一种基于多焦点结构光照明显微镜的超分辨图像重构方法，该方法包括以下步骤：
步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；
步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频域空间中的相位信息获得不同照明光的位移向量；根据上述的晶格向量、偏移向量和位移向量三个光照参数估测得到照明光；
步骤3)滤除离焦信号：使用步骤2)得到照明光去点乘原始的图像矩阵数据，对得到的点乘结果求均值，以滤除非焦面信号；
步骤4)重构得到超分辨图像：对步骤3)滤除离焦信号后的图像使用等效卷积核做反卷积处理，得到重构后的超分辨图像。
与现有技术对比，本发明优点为：在硬件无需改动的条件下，使用本发明的方法可以进一步提升超分辨显微图像的成像效果，对比目前通行的MSIM图像重构方法，可实现对结构光照明显微镜超分辨图像的快速重构。在Intel CoreTM i5-1135G7处理器,2.4GHz主频,4核心；16GB内存；MATLAB 2021b环境中测试：原始图像点乘照明光需要0.034s，而反卷积处理最多也仅需要1.85s，相比同样配置下像素重排算法需要的6.67s，运算速度和超分辨成像效果得到均衡的提升。
优选地，使用等效卷积核做反卷积处理是使用维纳滤波器进行处理。
优选地，所述的使用等效卷积核做反卷积处理是使用FISTA滤波器进行处理，此时，所述的FISTA滤波器设置的迭代次数为：100～500，设置的正则化约束项系数为：0.01～0.3。
附图说明
图1是本发明方法的的整体流程图；
图2是本发明方法实施例中示例的点乘操作示意图，其中(a)表示步骤1记录的原始图像中的一帧，(b)表示原始图像(a)对应的照明光，(c)表示原始图像(a)与照明光(b)点乘的结果；
图3为本发明实施例使用本发明的方法重建的微管样品图像，其中(a)表示荧光样品对应的宽场图像，(b)表示步骤3点乘后求均值的结果，(c)表示使用传统像素重分布算法重建的结果，(d)表示对图像(b)进行FISTA滤波的结果。
具体实施方式
以下结合附图和具体实例对本发明做进一步的描述。
实例例：一种基于多焦点结构光照明显微镜的超分辨图像重构方法，该方法包括以下步骤：
步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；
步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频域空间中的相位信息获得不同照明光的位移向量；根据上述的晶格向量、偏移向量和位移向量三个光照参数估测得到照明光；
步骤3)滤除离焦信号：使用步骤2)得到照明光去点乘原始的图像矩阵数据，对得到的点乘结果求均值，以滤除非焦面信号；
步骤4)重构得到超分辨图像：对步骤3)滤除离焦信号后的图像使用等效卷积核做反卷积处理，得到重构后的超分辨图像。
使用等效卷积核做反卷积处理可以使用维纳滤波器或FISTA滤波器进行处理。使用维纳滤波器和FISTA都有着很好的去模糊效果，维纳滤波因为相对结构简单，经过一次计算就有很好的去卷积和滤波效果，所以运算很短时间就能得出结果，使用此方法可以提升计算速度。而FISTA需要经过上百次迭代去获得更理想的效果，所以计算机的性能越好或者使用执行效率更高的语言编译运算性能会更理想。
FISTA滤波使用梯度下降法去逼近较理想的去模糊效果，其原理如下：
其中ρ代表样品的真实荧光图像，y代表光照与原始图像点乘后的平均值，hequ代表与图像y相对应的等效点扩散函数；λ是正则项参数，以约束先验信息的权重。
FISTA滤波器要设置迭代次数和正则化约束项系数，通过调试不仅要充分去卷积，同时也不能过优化导致丢失图像信息。将FISTA滤波器的迭代次数设置为：100～500，而正则化约束项系数与图像本身及信噪比有关，将其设置为0.01～0.3。
MSIM是图像扫描显微镜(ISM)平行成像的改进，它在照明光生成时同样使用针孔去滤除离焦的干扰光束，如在后期重构使用数字针孔就可以实现切片层析成像的效果。
因为需要样品数据中的照明模式信息实现本重构方法的效果，所以使用了晶格结构光估测程序，该程序可以从原始的MSIM图像中得到结构光照明信息。获取到照明光场数据之后，就可以对原始数据点乘照明光并求均值，从而获取到图像更清晰、噪点被压制的图像数据。如果在此基础上进一步使用等效PSF(卷积核)对其进行滤波处理，可以得到样品信息更完整的超分辨图像。
测试时使用了微光样品拍摄的数据，其中新的成像模型如下：
本发明中对进行滤波处理的PSF卷积核是宽场PSF的平方，其中/>表示原始数据与照明光点乘求均值的结果，m代表光照次数的索引，/>代表步骤1中第m次光照照射后记录的原始图像数据，/>代表第m次光照，/>与/>中间的圆圈符号代表点乘。
从图3中可能看出，图3b是照明光与原始图像矩阵点乘后求均值的结果，较原始宽场图像滤除了离焦信号并获得空间分辨率的提升，而图3d为使用FISTA算法对图3b进行滤波处理的结果，可以看出分辨率得到了进一步提高。
Claims (4)
1.一种基于多焦点结构光照明显微镜的超分辨图像重构方法，其特征在于该方法包括以下步骤：
步骤1)记录完整的样品荧光图像：使用MSIM的结构照明光激发样品当中的荧光分子，调整照明焦点的位置并扫描记录样品的荧光信号，直到记录完成得到完整的样品荧光图像，将该样品荧光图像对应的矩阵数据作为原始的图像矩阵数据；
步骤2)估测照明光：将步骤1)得到的样品荧光图像变换到频域空间，求解其幅值的均值，然后进行带通滤波，将带通滤波后的结果定位三个空间频率最低的峰值作为基向量，用这组基向量的和与差构造所有的晶格向量点，然后将频域空间中的晶格向量转换到空域，得到照明光的晶格向量；使用上述晶格向量构造一幅晶格点阵图像，将步骤1)记录的第一幅图像进行滤波以去除探测器中的坏点，然后将滤波后的图像以每个晶格点为中心分割为一组子图，对这组子图求平均值，找到最亮的像素点，将最亮的像素点与子图中心点的距离作为偏移向量；根据步骤1)记录的图像频域空间中的相位信息获得不同照明光的位移向量；根据上述的晶格向量、偏移向量和位移向量三个光照参数估测得到照明光；
步骤3)滤除离焦信号：使用步骤2)得到照明光去点乘原始的图像矩阵数据，对得到的点乘结果求均值，以滤除非焦面信号；
步骤4)重构得到超分辨图像：对步骤3)滤除离焦信号后的图像使用等效卷积核做反卷积处理，得到重构后的超分辨图像。
2.如权利要求1所述的一种基于多焦点结构光照明显微镜的超分辨图像重构方法，其特征在于使用等效卷积核做反卷积处理是使用维纳滤波器进行处理。
3.如权利要求2所述的一种基于多焦点结构光照明显微镜的超分辨图像重构方法，其特征在于所述的使用等效卷积核做反卷积处理是使用FISTA滤波器进行处理。
4.如权利要求3所述的一种基于多焦点结构光照明显微镜的超分辨图像重构方法，其特征在于所述的FISTA滤波器设置的迭代次数为：100～500，设置的正则化约束项系数为：0.01～0.3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310654416.4A CN116912087A (zh) | 2023-06-05 | 2023-06-05 | 基于多焦点结构光照明显微镜的超分辨图像空域重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310654416.4A CN116912087A (zh) | 2023-06-05 | 2023-06-05 | 基于多焦点结构光照明显微镜的超分辨图像空域重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912087A true CN116912087A (zh) | 2023-10-20 |
Family
ID=88365711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310654416.4A Pending CN116912087A (zh) | 2023-06-05 | 2023-06-05 | 基于多焦点结构光照明显微镜的超分辨图像空域重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912087A (zh) |
-
2023
- 2023-06-05 CN CN202310654416.4A patent/CN116912087A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145089B (zh) | 高保真图像重构方法、系统、计算机设备和存储介质 | |
| Sarder et al. | Deconvolution methods for 3-D fluorescence microscopy images | |
| KR101174130B1 (ko) | 초해상도 향상 처리장치 및 방법 | |
| EP3105736B1 (en) | Method for performing super-resolution on single images and apparatus for performing super-resolution on single images | |
| CN114998471B (zh) | 基于RecNet模型的磁粒子成像重建方法 | |
| CN111458317B (zh) | 一种直接结构光照明超分辨显微重建方法 | |
| CN115984107B (zh) | 自监督多模态结构光显微重建方法和系统 | |
| CN118134818B (zh) | 基于荧光玻片的扫描和ai荧光图像处理方法及其应用 | |
| Huang et al. | Image super-resolution via deep dilated convolutional networks | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN109785234B (zh) | 一种拉曼成像方法、系统以及装置 | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| Satti et al. | DIBS: Distance-and intensity-based separation filter for high-density impulse noise removal | |
| CN116912087A (zh) | 基于多焦点结构光照明显微镜的超分辨图像空域重构方法 | |
| CN110161667B (zh) | 一种基于压缩感知超分辨显微成像方法 | |
| CN108717685B (zh) | 一种增强图像分辨率的方法及系统 | |
| CN116402681A (zh) | 一种基于像素重排列的自监督结构光显微重建方法和系统 | |
| CN103325103B (zh) | 高分辨率图像复原方法及系统 | |
| CN112967268B (zh) | 基于光场的数字光学层析方法和装置 | |
| CN103116882A (zh) | 高分辨率图像复原的坐标参数获取方法及系统 | |
| CN112597836B (zh) | 一种太阳低振幅振荡信号的放大方法 | |
| CN116402678B (zh) | 超分辨结构光照明显微镜的频谱优化直接重建方法 | |
| Atibi et al. | Image Reconstruction in Structured Illumination Microscopy Using The Plug-and-Play Methods | |
| CN118134766B (zh) | 红外视频超分辨率重建方法、装置及设备 | |
| CN110852945B (zh) | 一种生物样本高分辨率图像获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |