CN111461975B - 光纤束超分辨成像方法、系统、计算机设备和存储介质 - Google Patents
光纤束超分辨成像方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111461975B CN111461975B CN202010187146.7A CN202010187146A CN111461975B CN 111461975 B CN111461975 B CN 111461975B CN 202010187146 A CN202010187146 A CN 202010187146A CN 111461975 B CN111461975 B CN 111461975B
- Authority
- CN
- China
- Prior art keywords
- image
- fiber bundle
- sample
- super
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 59
- 239000013307 optical fiber Substances 0.000 title claims abstract description 47
- 239000000835 fiber Substances 0.000 claims abstract description 84
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Astronomy & Astrophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种光纤束超分辨成像、系统、计算机设备和存储介质，属于光纤束成像领域，方法包括：经由光纤束获取多幅不同结构光照射的样品荧光图像；计算获得宽场图像；计算获得低分辨率样品图像；计算每幅样品荧光图像对应的光纤束结构光照射图像；计算协方差图像和其光学传递函数；计算重构超分辨样品图像。本发明不仅能够去除光纤束图像存在的蜂窝状结构，而且将超分辨的概念应用于光纤束成像中，实现高分辨成像。
Description
技术领域
本发明属于光纤束成像领域，特别涉及一种光纤束超分辨成像方法、系统、计算机设备和存储介质。
背景技术
光纤束在内窥镜成像中发挥了重要作用，为活体内一系列疾病的诊断提供了细胞水平可视化的途径。通常，光纤束包含大量的光纤纤芯(通常高达30000个)，这些纤芯可以同时传输和获取光学信号。然而，纤芯间距(即包层)会导致所获取图像上出现明显蜂窝状图案，从而降低图像的质量和成像分辨率。
目前常用的方法是利用高斯滤波(如论文“Pixelation effect removal fromfiber bundle probe based optical coherence tomography imaging”)或线性插值(如中国专利CN107678153A提出的光纤束图像处理方法和装置)的方法来去除图像的蜂窝状结构，但由于采样不足的原因，上述方法无法获得图像中包层隐藏下的样本信息。另一种方法是利用多个光纤束图像(如论文“Elimination of honeycomb patterns in fiber bundleimaging by a superimposition method”)来恢复纤芯间距的图像信息，多个图像序列通常是通过利用样品与光纤束之间的亚像素位移来获得的，如果能够精确确定不同图像间的移动距离，则会因为过采样而获得图像分辨率的增强。然而上述方法只是实现了多幅图像的融合与拼接，无法突破现有成像系统的衍射极限。
发明内容
本发明的目的在于提高光纤束成像的分辨率，并将超分辨的概念应用于光纤束成像。
实现本发明目的的技术解决方案为：一种光纤束超分辨成像方法，所述方法包括以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
进一步地，所述经由光纤束获取N幅不同结构光照射的样品荧光图像，具体通过移动光纤束或旋转光纤束实现。
进一步地，所述求取每幅样品荧光图像对应的光纤束结构光照射图像，具体过程包括：
将N幅样品荧光图像In(r)进行叠加并取平均获得宽场图像Iave(r)；其中In(r)表示第n幅样品荧光图像，r表示图像空间坐标，n＝1,2,…,N；
求取低分辨率样品图像OLR(r),计算公式为：
式中，
和
分别表示傅里叶变换和傅里叶反变换，h(r)表示光纤束成像系统的点扩散函数，β表示图像复原因子，β＞0；
利用图像复原算法计算目标函数获得In(r)对应的光纤束结构光照射图像Pn(r)；其中所述目标函数为：
其中，
式中，
表示光纤束结构光照射图像Pn(r)的频谱，u表示频率，ucf表示光纤束成像系统的截止频率。
进一步地，所述基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像，具体过程包括：
求取协方差图像Icov(r)，计算公式为：
Icov(r)＝<ΔIn(r)ΔPn(r)>n＝<[In(r)-<In(r)>n][Pn(r)-〈Pn(r)>n]>n
式中，<>表示求平均操作；
求取协方差图像Icov(r)的光学传递函数OTFcov(u)，计算公式为：
求取重构超分辨样品图像OSR(r)，计算公式为：
式中，conj表示取复共轭操作，ε表示图像复原因子，ε＞0。
一种光纤束超分辨成像系统，所述系统包括：
第一图像模块，用于利用光纤束获取N幅不同结构光照射的样品荧光图像；
第二图像模块，用于求取每幅样品荧光图像对应的光纤束结构光照射图像；
第三图像模块，用于基于第一图像模块和第二图像模块的输出，利用图像重构算法获取超分辨样品图像。
进一步地，所述系统还包括驱动模块，用于驱动第一图像模块中的光纤束移动或旋转。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
本发明与现有技术相比，其显著优点为：不仅能够去除光纤束图像存在的蜂窝状结构，而且将超分辨的概念应用于光纤束成像中，实现高分辨成像，能突破现有成像系统的衍射极限。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中光纤束超分辨成像方法的流程图。
图2为一个实施例中光纤束宽场成像和超分辨成像结果图，其中图(a1)为宽场呈现结果，图(a2)为图(a1)中心矩形框对应的放大图，图(b1)为图(a1)对应的重构超分辨成像结果，图(b2)为图(b1)中心矩形框对应的放大图。
图3为一个实施例中光纤束超分辨成像系统的结构图。
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种光纤束超分辨成像方法，该方法包括：
步骤S01，经由光纤束获取N幅不同结构光照射的样品荧光图像；
这里，光纤束包含多个光纤，由于光纤间信息的损失，在样品表面会产生蜂窝状结构的照明光场，使样品表面的荧光蛋白分子发射荧光，并由光纤束所接收获得荧光图像。
荧光图像In(r)表示为：
式中，h(r)为光纤束成像系统的点扩散函数，
代表卷积操作，Pn(r)为荧光图像In(r)所对应的光纤束结构光照射图像，O(r)为待测样品表面荧光的光场分布。
步骤S02，求取每幅样品荧光图像对应的光纤束结构光照射图像；
步骤S03，基于样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
上述光纤束超分辨成像方法，是通过获取样品荧光图像及其对应的光纤束结构光照射图像，之后利用图像重构算法获取超分辨样品图像。其中，通过采集多幅图像能够恢复纤芯间距的图像信息，如此，在实现在去除光纤束图像蜂窝状结构的同时提高光纤束成像的分辨率，以将超分辨的概念应用于光纤束成像中。
进一步地，在其中一个实施例中，上述步骤S01经由光纤束获取N幅不同结构光照射的样品荧光图像，具体通过移动光纤束或旋转光纤束实现。
这里，通过移动或旋转光纤束，改变照射样品表面的照射光的分布结构。
进一步地，在其中一个实施例中，上述步骤S02求取每幅样品荧光图像对应的光纤束结构光照射图像，具体过程包括：
步骤S021，将N幅样品荧光图像In(r)进行叠加并取平均获得宽场图像Iave(r)；其中In(r)表示第n幅样品荧光图像，r表示图像空间坐标，n＝1,2,…,N；
步骤S022，求取低分辨率样品图像OLR(r),计算公式为：
式中，
和
分别表示傅里叶变换和傅里叶反变换，h(r)表示光纤束成像系统的点扩散函数，β表示图像复原因子，β＞0；这里，β的值可以为经验值，也可以为经多次实验评估出的最优值。
步骤S023，利用图像复原算法计算目标函数获得In(r)对应的光纤束结构光照射图像Pn(r)；其中目标函数为：
其中，
式中，
表示光纤束结构光照射图像Pn(r)的频谱，u表示频率，ucf表示光纤束成像系统的截止频率。
这里，ΠC(Pn)的公式主要用于限制照射图像的频谱范围，将其限制在光纤束成像系统的截止频率范围内。
示例性地，在其中一个实施例中，上述计算目标函数可以利用梯度下降法等算法实现。
进一步地，在其中一个实施例中，上述步骤S03基于样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像，具体过程包括：
步骤S031，求取协方差图像Icov(r)，计算公式为：
Icov(r)＝<ΔIn(r)ΔPn(r)>n＝<[In(r)-<In(r)>n][Pn(r)-<Pn(r)>n]>n
式中，<>表示求平均操作；
这里，协方差图像反应了两个图像间的相关性。光纤束结构光照射图像Pn(r)是位置r的随机变量，样品荧光图像In(r)也是位置r的随机变量，由上述In(r)的等式可以看出，Pn(r)与In(r)之间的协方差结果表示与待测样品表面光场分布O(r)的相似性，因此利用协方差图像可以计算重构获得O(r)。
步骤S032，求取协方差图像Icov(r)的光学传递函数OTFcov(u)，具体过程包括：
光纤束结构光照射图像Pn(r)可以表示为：
式中，tn(r)为光纤束表面结构原始图像。光纤束结构光照射图像的协方差可以表示为：
式中，αt为一常数变量。则相应协方差图像Icov(r)可以表示为：
因此，光学传递函数OTFcov(u)可以表示为：
步骤S033，求取重构超分辨样品图像OSR(r)，计算公式为：
式中，conj表示取复共轭操作，ε表示图像复原因子，ε＞0。这里，ε的值可以为经验值，也可以为经多次实验评估出的最优值。
作为一种具体示例，令上述N＝16，β＝ε＝0.001，对本发明进行实验验证，获得光纤束宽场成像结果和重构的超分辨率图像如图2所示。由图可以看出，本发明不仅能够去除光纤束图像存在的蜂窝状结构，而且能实现高分辨成像。
在一个实施例中，结合图3，提供了一种光纤束超分辨成像系统，该系统包括：
第一图像模块101，用于利用光纤束获取N幅不同结构光照射的样品荧光图像；
第二图像模块102，用于求取每幅样品荧光图像对应的光纤束结构光照射图像；
第三图像模块103，用于基于第一图像模块和第二图像模块的输出，利用图像重构算法获取超分辨样品图像。
进一步地，在其中一个实施例中，系统还包括驱动模块104，用于驱动第一图像模块中的光纤束移动或旋转。
这里，驱动模块可以采用压电驱动器PZT，带动光纤束实现可控位移。
进一步地，在其中一个实施例中，上述第二图像模块包括：
第一计算单元，用于将N幅样品荧光图像In(r)进行叠加并取平均获得宽场图像Iave(r)；其中In(r)表示第n幅样品荧光图像，r表示图像空间坐标，n＝1,2,…,N；
第二计算单元，用于求取低分辨率样品图像OLR(r),计算公式为：
式中，
和
分别表示傅里叶变换和傅里叶反变换，h(r)表示光纤束成像系统的点扩散函数，β表示图像复原因子，β＞0；
第三计算单元，用于利用图像复原算法计算目标函数获得In(r)对应的光纤束结构光照射图像Pn(r)；其中目标函数为：
其中，
式中，
表示光纤束结构光照射图像Pn(r)的频谱，u表示频率，ucf表示光纤束成像系统的截止频率。
进一步地，在其中一个实施例中，上述第三图像模块包括：
第四计算单元，用于求取协方差图像Icov(r)，计算公式为：
Icov(r)＝<ΔIn(r)ΔPn(r)>n＝<[In(r)-<In(r)>n][Pn(r)-<Pn(r)>n]>n
式中，<>表示求平均操作；
第五计算单元，用于求取协方差图像Icov(r)的光学传递函数OTFcov(u)，计算公式为：
第六计算单元，用于求取重构超分辨样品图像OSR(r)，计算公式为：
式中，conj表示取复共轭操作，ε表示图像复原因子，ε＞0。
关于光纤束超分辨成像系统的具体限定可以参见上文中对于光纤束超分辨成像方法的限定，在此不再赘述。上述光纤束超分辨成像系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多系统数据融合数据过程中需要用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多系统数据融合方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
关于每一步的具体限定可以参见上文中对于光纤束超分辨成像方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像。
关于每一步的具体限定可以参见上文中对于光纤束超分辨成像方法的限定，在此不再赘述。
综上，本发明通过采集多幅由模糊和噪声所引起的高分辨图像退化处理后的低分辨率图像，利用照明端和检测端的光纤像素化结构信息，通过算法重构，实现光纤束高分辨成像，将超分辨的概念应用于光纤束成像。且在实现高分辨率的同时，能够去除光纤束图像存在的蜂窝状结构。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种光纤束超分辨成像方法，其特征在于，所述方法包括以下步骤：
经由光纤束获取N幅不同结构光照射的样品荧光图像；
求取每幅样品荧光图像对应的光纤束结构光照射图像；
基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像；
所述求取每幅样品荧光图像对应的光纤束结构光照射图像，具体过程包括：
将N幅样品荧光图像In(r)进行叠加并取平均获得宽场图像Iave(r)；其中In(r)表示第n幅样品荧光图像，r表示图像空间坐标，n＝1,2,…,N；
求取低分辨率样品图像OLR(r),计算公式为：
式中，
和
分别表示傅里叶变换和傅里叶反变换，h(r)表示光纤束成像系统的点扩散函数，β表示图像复原因子，β＞0；
利用图像复原算法计算目标函数获得In(r)对应的光纤束结构光照射图像Pn(r)；其中所述目标函数为：
其中，
式中，
表示光纤束结构光照射图像Pn(r)的频谱，u表示频率，ucf表示光纤束成像系统的截止频率。
2.根据权利要求1所述的光纤束超分辨成像方法，其特征在于，所述经由光纤束获取N幅不同结构光照射的样品荧光图像，具体通过移动光纤束或旋转光纤束实现。
3.根据权利要求2所述的光纤束超分辨成像方法，其特征在于，所述基于所述样品荧光图像和光纤束结构光照射图像，利用图像重构算法获取超分辨样品图像，具体过程包括：
求取协方差图像Icov(r)，计算公式为：
Icov(r)＝<ΔIn(r)ΔPn(r)>n＝<[In(r)-<In(r)>n][Pn(r)-<Pn(r)>n]>n
式中，<>表示求平均操作；
求取协方差图像Icov(r)的光学传递函数OTFcov(u)，计算公式为：
求取重构超分辨样品图像OSR(r)，计算公式为：
式中，conj表示取复共轭操作，ε表示图像复原因子，ε＞0。
4.一种光纤束超分辨成像系统，其特征在于，所述系统包括：
第一图像模块，用于利用光纤束获取N幅不同结构光照射的样品荧光图像；
第二图像模块，用于求取每幅样品荧光图像对应的光纤束结构光照射图像；
第三图像模块，用于基于第一图像模块和第二图像模块的输出，利用图像重构算法获取超分辨样品图像；
所述第二图像模块包括：
第一计算单元，用于将N幅样品荧光图像In(r)进行叠加并取平均获得宽场图像Iave(r)；其中In(r)表示第n幅样品荧光图像，r表示图像空间坐标，n＝1,2,…,N；
第二计算单元，用于求取低分辨率样品图像OLR(r),计算公式为：
式中，
和
分别表示傅里叶变换和傅里叶反变换，h(r)表示光纤束成像系统的点扩散函数，β表示图像复原因子，β＞0；
第三计算单元，用于利用图像复原算法计算目标函数获得In(r)对应的光纤束结构光照射图像Pn(r)；其中所述目标函数为：
其中，
式中，
表示光纤束结构光照射图像Pn(r)的频谱，u表示频率，ucf表示光纤束成像系统的截止频率。
5.根据权利要求4所述的光纤束超分辨成像系统，其特征在于，所述系统还包括驱动模块，用于驱动第一图像模块中的光纤束移动或旋转。
6.根据权利要求5所述的光纤束超分辨成像系统，其特征在于，所述第三图像模块包括：
第四计算单元，用于求取协方差图像Icov(r)，计算公式为：
Icov(r)＝<ΔIn(r)ΔPn(r)>n＝<[In(r)-<In(r)>n][Pn(r)-<Pn(r)>n]>n
式中，<>表示求平均操作；
第五计算单元，用于求取协方差图像Icov(r)的光学传递函数OTFcov(u)，计算公式为：
第六计算单元，用于求取重构超分辨样品图像OSR(r)，计算公式为：
式中，conj表示取复共轭操作，ε表示图像复原因子，ε＞0。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010187146.7A CN111461975B (zh) | 2020-03-17 | 2020-03-17 | 光纤束超分辨成像方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010187146.7A CN111461975B (zh) | 2020-03-17 | 2020-03-17 | 光纤束超分辨成像方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461975A CN111461975A (zh) | 2020-07-28 |
| CN111461975B true CN111461975B (zh) | 2021-04-23 |
Family
ID=71680806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010187146.7A Active CN111461975B (zh) | 2020-03-17 | 2020-03-17 | 光纤束超分辨成像方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461975B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298711B (zh) * | 2021-05-11 | 2024-05-31 | 中国科学院苏州生物医学工程技术研究所 | 一种光纤束多帧图像超分辨重建方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104515759A (zh) * | 2014-12-16 | 2015-04-15 | 中国科学院苏州生物医学工程技术研究所 | 非线性结构光照明显微成像方法及系统 |
| CN105662317A (zh) * | 2015-12-31 | 2016-06-15 | 中国科学院苏州生物医学工程技术研究所 | 结构光照明显微成像技术的应用及光纤镜 |
| CN107621463A (zh) * | 2017-10-16 | 2018-01-23 | 南京亘瑞医疗科技有限公司 | 图像重建方法、装置及显微成像装置 |
| CN110455218A (zh) * | 2019-09-18 | 2019-11-15 | 广州计量检测技术研究院 | 光纤端面干涉校准标样及校准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706626B2 (en) * | 2005-12-20 | 2010-04-27 | Carestream Health, Inc. | Digital image reconstruction using inverse spatial filtering |
-
2020
- 2020-03-17 CN CN202010187146.7A patent/CN111461975B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104515759A (zh) * | 2014-12-16 | 2015-04-15 | 中国科学院苏州生物医学工程技术研究所 | 非线性结构光照明显微成像方法及系统 |
| CN105662317A (zh) * | 2015-12-31 | 2016-06-15 | 中国科学院苏州生物医学工程技术研究所 | 结构光照明显微成像技术的应用及光纤镜 |
| CN107621463A (zh) * | 2017-10-16 | 2018-01-23 | 南京亘瑞医疗科技有限公司 | 图像重建方法、装置及显微成像装置 |
| CN110455218A (zh) * | 2019-09-18 | 2019-11-15 | 广州计量检测技术研究院 | 光纤端面干涉校准标样及校准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111461975A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3942518B1 (en) | Systems and methods for image processing | |
| Zanella et al. | Towards real-time image deconvolution: application to confocal and STED microscopy | |
| Fan et al. | Adaptive denoising method for Fourier ptychographic microscopy | |
| US8041142B2 (en) | Method and device for reconstructing images | |
| US7646938B2 (en) | Method and system for super-resolution of confocal images acquired through an image guide, and device used for implementing such a method | |
| KR20210155397A (ko) | 딥 러닝 기반 컬러 홀로그램 현미경검사를 위한 시스템 및 방법 | |
| WO2019148024A1 (en) | Systems and methods to reduce scattering in temporal focusing multiphoton microscopy | |
| Bai et al. | Imaging enhancement of light-sheet fluorescence microscopy via deep learning | |
| CN111415312A (zh) | 共聚焦内窥镜图像处理方法、系统和计算机设备 | |
| CN110349237B (zh) | 基于卷积神经网络的快速体成像方法 | |
| CN115293981B (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
| CN111461975B (zh) | 光纤束超分辨成像方法、系统、计算机设备和存储介质 | |
| CN115984107B (zh) | 自监督多模态结构光显微重建方法和系统 | |
| CN108318464A (zh) | 一种超分辨荧光波动显微成像方法、装置及存储介质 | |
| CN113917677B (zh) | 一种三维超分辨率光片显微成像方法和显微镜 | |
| KR102561360B1 (ko) | 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 | |
| Ponti et al. | Image restoration using gradient iteration and constraints for band extrapolation | |
| Yoo et al. | 3D image reconstruction from multi-focus microscope: axial super-resolution and multiple-frame processing | |
| CN116338945A (zh) | 用于多光子成像的数字自适应光学方法及装置 | |
| de Vieilleville et al. | Alternating direction method of multipliers applied to 3d light sheet fluorescence microscopy image deblurring using gpu hardware | |
| CN110348569B (zh) | 基于卷积神经网络的实时光学层析方法和系统 | |
| CN115586164A (zh) | 一种基于快照时间压缩的光片显微成像系统及方法 | |
| Ye et al. | Compressive confocal microscopy: 3D reconstruction algorithms | |
| CN111292361A (zh) | 光纤束图像处理方法、系统、计算机设备和存储介质 | |
| CN113298711B (zh) | 一种光纤束多帧图像超分辨重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200728 Assignee: SHENYANG SHENDA ENDOSCOPE Co.,Ltd. Assignor: Suzhou Institute of Biomedical Engineering and Technology Chinese Academy of Sciences Contract record no.: X2020980005472 Denomination of invention: Fiber bundle super resolution imaging method, system, computer equipment and storage medium License type: Common License Record date: 20200827 |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |