CN105528761A - 一种显微图像的超分辨重构方法 - Google Patents

一种显微图像的超分辨重构方法 Download PDF

Info

Publication number
CN105528761A
CN105528761A CN201610029332.1A CN201610029332A CN105528761A CN 105528761 A CN105528761 A CN 105528761A CN 201610029332 A CN201610029332 A CN 201610029332A CN 105528761 A CN105528761 A CN 105528761A
Authority
CN
China
Prior art keywords
spread function
point spread
resolution
true picture
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610029332.1A
Other languages
English (en)
Other versions
CN105528761B (zh
Inventor
程涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Science and Technology
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610029332.1A priority Critical patent/CN105528761B/zh
Publication of CN105528761A publication Critical patent/CN105528761A/zh
Application granted granted Critical
Publication of CN105528761B publication Critical patent/CN105528761B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

一种显微图像的超分辨重构方法，属于显微镜超分辨重构技术领域，提供了通过插值处理提高图像重构质量的方法。本发明所述的方法：通过采用不同分辨率记录相机采集由于点扩散函数导致的弥散图像，然后通过插值处理得到近似高分辨率弥散图像，然后基于与近似高分辨率弥散图像相适应的点扩散函数测量矩阵，通过压缩感知重构算法重构出高质量的图像。本发明为显微镜超分辨重构走向实用化奠定了基础。

Description

一种显微图像的超分辨重构方法
技术领域
本发明属于显微镜技术领域，具体提供了一种显微图像的超分辨重构方法。
背景技术
尽管随机光学重建显微(stochasticopticalreconstructionmicroscopy，STORM)可获得纳米分辨率的荧光图像，但也存在图像采集速度慢、采集过程复杂、图像重构速度慢、重构算法复杂、时间分辨率低等缺点。而且重构效果受稀疏激发时荧光分子分布情况的影响很大，当相邻荧光分子较近时空间分辨率会降低。压缩感知技术的出现为解决STORM和(F)PALM等的问题和缺点提供了可能。
点扩散函数(PointSpreadFunction，PSF)是一个无限小物点通过光学系统(例如显微镜)在像平面处的光强分布函数。光学系统的成像过程就是物函数与PSF的卷积，如果对物函数和PSF作离散化处理，那么物函数与PSF的卷积就转化为两个离散向量的内积。基于这一原理，采用PSF构成压缩感知的测量矩阵，以低分辨STORM原始图像叠加后的合成图像作为测量数据，采用压缩感知算法就可重构出，最终得到高分辨率图像。
发明内容
本发明为了解决显微图像重构效果差的问题，特提供了一种显微图像的超分辨重构方法。
本发明是通过下述方案予以实现的：一种显微图像的超分辨重构方法，所述方法的过程为：
步骤一：通过高斯函数或贝塞尔函数拟合显微镜的点扩散函数，通过显微镜的低分辨记录相机记录真实图像X的低分辨图像Y，X∈RN×N，Y∈RM×M，N≥4M，M和N都是自然数；
步骤二：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个低分辨记录相机记录的低分辨图像Y上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φj，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φ，其中Φj是Φ的第j列；
步骤三：基于双三次插值法，对低分辨率图像Y做插值处理，得到插值后的近似高分辨率图像Yha，并将Yha一维化成yha，Yha∈R2M×2M，
步骤四：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个高分辨记录相机记录的高分辨图像Yh上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φjh，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φh，其中Φjh是Φh的第j列；
步骤五：通过传统的信号重构算法重构超分辨率图像x：
min||x||0s.t.yha＝Φhx；
步骤六：把一维图像x二维化成X。
本发明通过显微镜的低分辨记录相机记录真实图像X的低分辨图像Y,并对之做插值处理，然后通过Φh重构真实图像。本发明所述的方法不但降低了记录相机的分辨率要求，而且改善了图像重构效果，在图像处理、超分辨、视频分析、雷达遥感、通信编码、数字音频等领域有着广泛的应用前景。
附图说明
图1是具体实施方式一所述的一种显微图像的超分辨重构方法的流程图；图2是应用具体实施方式插值前后重构效果的分子密度与信噪比的关系图；图3是应用具体实施方式插值前后重构效果的分子密度与定位精度的关系图；图4是应用具体实施方式插值前后重构效果的分子密度与死别绿的关系图。
具体实施方式
具体实施方式一：根据说明书附图1具体说明本实施方式。一种显微图像的超分辨重构方法，所述方法的过程为：
步骤一：通过高斯函数或贝塞尔函数拟合显微镜的点扩散函数，通过显微镜的低分辨记录相机记录真实图像X的低分辨图像Y，X∈RN×N，Y∈RM×M，N≥4M，M和N都是自然数；
步骤二：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个低分辨记录相机记录的低分辨图像Y上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φj，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φ，其中Φj是Φ的第j列；
步骤三：基于双三次插值法，对低分辨率图像Y做插值处理，得到插值后的近似高分辨率图像Yha，并将Yha一维化成yha，Yha∈R2M×2M，
步骤四：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个高分辨记录相机记录的高分辨图像Yh上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φjh，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φh，其中Φjh是Φh的第j列；
步骤五：通过传统的信号重构算法重构超分辨率图像x：
min||x||0s.t.yha＝Φhx；
步骤六：把一维图像x二维化成X。
具体实施方式二：本具体实施方式是对具体实施方式一所述的一种显微图像的超分辨重构方法的进一步说明，步骤一中低分辨记录相机的可以是市场上能够买到的任意分辨率相机，“低分辨”只是相对于“高分辨”真实图像X而言。
具体实施方式三：本具体实施方式是对具体实施方式一所述的一种显微图像的超分辨重构方法的进一步说明，步骤物所述的传统的信号重构算法，指的是压缩感知领域的任意重构算法。
具体实施方式四：下面结合图2—图4具体说明本实施方式。本实施方式是采用不同分子密度的STORM图像，比较其各500次实验后的平均值。图2-图4中带标记的是做插值处理前的重构效果曲线，带标记的是做插值处理后的重构效果曲线。
实验结果如图2-图4所示。由图2可见，插值处理后信噪比曲线远远好于插值处理前；由图3可见，插值处理后定位精度曲线尽管与插值处理前几乎重合；由图4可见，插值处理后识别率曲线远远好于插值处理前。因此总体的重构效果得到提高。

Claims (1)

1.一种显微图像的超分辨重构方法，其特征是：所述方法的过程为：
步骤一：通过高斯函数或贝塞尔函数拟合显微镜的点扩散函数，通过显微镜的低分辨记录相机记录真实图像X的低分辨图像Y，X∈RN×N，Y∈RM×M，N≥4M，M和N都是自然数；
步骤二：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个低分辨记录相机记录的低分辨图像Y上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φj，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φ，其中Φj是Φ的第j列；
步骤三：基于双三次插值法，对低分辨率图像Y做插值处理，得到插值后的近似高分辨率图像Yha，并将Yha一维化成yha，Yha∈R2M×2M，
步骤四：以真实图像X每个像素中心为点扩散函数的源点，计算点扩散函数在各个高分辨记录相机记录的高分辨图像Yh上的数值，然后按行或列首尾相接，形成一基于点扩散函数的列向量Φjh，基于真实图像X每个像素中心的点扩散函数的列向量按照所有真实图像X每个像素中点行或列首位相接构成基于点扩散函数的矩阵Φh，其中Φjh是Φh的第j列；
步骤五：通过传统的信号重构算法重构超分辨率图像x：
min||x||0s.t.yha＝Φhx；
步骤六：把一维图像x二维化成X。
CN201610029332.1A 2016-01-18 2016-01-18 一种显微图像的超分辨重构方法 Expired - Fee Related CN105528761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610029332.1A CN105528761B (zh) 2016-01-18 2016-01-18 一种显微图像的超分辨重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610029332.1A CN105528761B (zh) 2016-01-18 2016-01-18 一种显微图像的超分辨重构方法

Publications (2)

Publication Number Publication Date
CN105528761A true CN105528761A (zh) 2016-04-27
CN105528761B CN105528761B (zh) 2018-08-10

Family

ID=55770968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610029332.1A Expired - Fee Related CN105528761B (zh) 2016-01-18 2016-01-18 一种显微图像的超分辨重构方法

Country Status (1)

Country Link
CN (1) CN105528761B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408516A (zh) * 2016-09-19 2017-02-15 程涛 一种定向遥感的数据采集和重构方法
CN109741327A (zh) * 2019-01-15 2019-05-10 湖北中医药高等专科学校 一种检测水体细菌数量的荧光显微计数方法
CN115113308A (zh) * 2022-07-06 2022-09-27 重庆大学 一种具有角放大功能的超分辨成像透镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750678A (zh) * 2012-06-18 2012-10-24 西北工业大学 基于自然图像统计稀疏模型的单帧图像超分辨重建方法
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN104751425A (zh) * 2015-03-25 2015-07-01 北京工商大学 基于空间变化点扩散函数的荧光显微图像重建方法及系统
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750678A (zh) * 2012-06-18 2012-10-24 西北工业大学 基于自然图像统计稀疏模型的单帧图像超分辨重建方法
CN103136727A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于梯度一致性与各向异性正则化的超分辨图像重建方法
CN104751425A (zh) * 2015-03-25 2015-07-01 北京工商大学 基于空间变化点扩散函数的荧光显微图像重建方法及系统
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEI ZHU 等: "Faster STORM Using Compressed Sensing", 《NATURE METHODS》 *
程涛: "压缩感知的等效二维稀疏变换", 《半导体光电》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408516A (zh) * 2016-09-19 2017-02-15 程涛 一种定向遥感的数据采集和重构方法
CN106408516B (zh) * 2016-09-19 2019-09-20 广西科技大学 一种定向遥感的数据采集和重构方法
CN109741327A (zh) * 2019-01-15 2019-05-10 湖北中医药高等专科学校 一种检测水体细菌数量的荧光显微计数方法
CN115113308A (zh) * 2022-07-06 2022-09-27 重庆大学 一种具有角放大功能的超分辨成像透镜
CN115113308B (zh) * 2022-07-06 2024-05-14 重庆大学 一种具有角放大功能的超分辨成像透镜

Also Published As

Publication number Publication date
CN105528761B (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
Wu et al. Light field reconstruction using deep convolutional network on EPI
Wang et al. Light field image super-resolution using deformable convolution
Zheng et al. Crossnet: An end-to-end reference-based super resolution network using cross-scale warping
US9251565B2 (en) Hyper-resolution imaging
WO2007042596A1 (es) Método de deconvolución ciega y superresolución para secuencias y conjuntos de imágenes, y sus aplicaciones
Joshi et al. Super-resolution imaging: use of zoom as a cue
CN109447930B (zh) 小波域光场全聚焦图像生成算法
CN105528761A (zh) 一种显微图像的超分辨重构方法
CN107392986B (zh) 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法
CN106558021B (zh) 基于超分辨率技术的视频增强方法
Al Ismaeil et al. Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR)
Jia et al. Super-resolution with deep adaptive image resampling
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
Karimi et al. A survey on super-resolution methods for image reconstruction
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions
Alam et al. Light field extraction from a conventional camera
Wu et al. Super-resolution image restoration for microlens array imaging system
Barnard et al. High-resolution iris image reconstruction from low-resolution imagery
Hao et al. Super-Resolution Degradation Model: Converting High-Resolution Datasets to Optical Zoom Datasets
Jain et al. Video super-resolution for mixed resolution stereo
Shih et al. Generating high-resolution image and depth map using a camera array with mixed focal lengths
Aydin et al. Volumetric super-resolution of multispectral data
Canh et al. Multi-resolution kronecker compressive sensing
Faramarzi et al. Space-time super-resolution from multiple-videos
Rivadeneira et al. Multi-Image Super-Resolution for Thermal Images.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180615

Address after: 545006 mailbox No. 30, Guangxi science and Technology University, No. 268, East Ring Road, Central District, Liuzhou, the Guangxi Zhuang Autonomous Region

Applicant after: Guangxi University of Science and Technology

Address before: 545006 mailbox No. 30, Guangxi science and Technology University, No. 268, East Ring Road, Central District, Liuzhou, the Guangxi Zhuang Autonomous Region

Applicant before: Cheng Tao

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180810

Termination date: 20190118

CF01 Termination of patent right due to non-payment of annual fee