CN110060214A - 一种用于傅里叶叠层显微成像技术的图像增强方法 - Google Patents
一种用于傅里叶叠层显微成像技术的图像增强方法 Download PDFInfo
- Publication number
- CN110060214A CN110060214A CN201910292963.6A CN201910292963A CN110060214A CN 110060214 A CN110060214 A CN 110060214A CN 201910292963 A CN201910292963 A CN 201910292963A CN 110060214 A CN110060214 A CN 110060214A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- brightness
- lighting source
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003475 lamination Methods 0.000 title claims abstract description 20
- 238000005286 illumination Methods 0.000 claims abstract description 67
- 238000012937 correction Methods 0.000 claims description 15
- 238000003491 array Methods 0.000 claims 2
- 230000002708 enhancing effect Effects 0.000 abstract description 7
- 239000004615 ingredient Substances 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 2
- 230000009897 systematic effect Effects 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于傅里叶叠层显微成像技术的图像增强方法，属于显微成像领域。本发明实现方法为，基于FPM系统选择照明光源及照明光源控制平台，根据不同的观察需求确定不同角度入射光的光强大小，并用相应的控制平台调整光强，实现照明光强不均匀误差补偿、提高采集图像的信噪比、增强图像细节等不同目的。本发明通过硬件调控不同位置照明光光强大小，代替了算法补偿或图像校正的过程，在图像采集之前提高了图像的信噪比。此外，本发明能任意调节不同位置照明光光强大小，可以根据观察者的不同需要增强或抑制图像不同频率成分，能满足不同的观察需求。
Description
技术领域
本发明涉及一种用于傅里叶叠层显微成像技术的图像增强方法，属于显微成像领域。
背景技术
显微成像技术是利用光学系统或电子光学系统设备，观察肉眼所不能分辨的微小物体形态结构及其特性的技术。在细胞学、生物学、医学等方面应用广泛。在传统显微成像系统中，往往需要在高空间分辨率与大视场之间进行取舍，要实现分辨率提高，就需要缩小视场。文献《Wide-field,high-resolution Fourier ptychographic microscopy》中提出的傅里叶叠层显微成像技术(FPM)通过计算重构的方式突破成像系统的物理限制，是一种能够同时实现大视场、超分辨率成像的显微成像技术。
就目前研究表明，FPM采用亮度一致的照明光提供不同角度的平面波并分别对样品进行照明，理想情况下各个角度的照明光到达样本进的光强大小应一致，恢复出的各子频率分量之间保持样本各部分原有的频率比例关系。但是实际情况下，由于数值孔径的影响，在不同角度照明光下拍摄的图像有明场图像和暗场图像，样本的高频信息一般包含在暗场图像中，但暗场图像的强度值明显低于明场图像强度值，这会导致一些高频信息被淹没在噪声中，此外，不同角度的照明光到达样本光照强度大小不同，入射光线与法线夹角越大，最终到达样本表面的光强越小，这也会破坏高低频区域原有的比例关系，高频区域信息被弱化，以上两种因素都会导致包含样本高频信息的图像信噪比降低，高频部分重构效果较差，图像细节丢失，此外，某些情况下观察者更注重图像高频细节信息，低频信息需要被弱化，上述情况显然不符合该要求。
目前解决上述问题的方法主要是从算法上进行补偿或校正，比如文献《Adaptivedenoising method for Fourier ptychographic microscopy》中对采集的图像进行多种去噪处理，文献《Adaptive system correction for robust Fourier ptychographicimaging》中对采集的图像进行光强校正等等，但上述方法都是对采集后的图像进行的预处理或在后续合成算法中进行的优化。没有注重图像采集之前的优化操作。
发明内容
本发明的目的是为了解决采集的原始图像中存在噪声以及照明光强不一致误差的问题，提供一种用于傅里叶叠层显微成像技术的图像增强方法，该方法通过改变不同角度入射光照明光强大小进而改变采集图像的信噪比以及不同频率分量信息的比例，从而能够实现增强重构图像指定频率成分的效果，进而达到图像去噪和校正照明光强不一致误差的目的。
本发明的目的是通过以下技术方案实现的。
本发明提出了一种用于傅里叶叠层显微成像技术的图像增强方法，在FPM技术中，重构的高分辨率频谱扩展范围受噪声的限制，在频域中的某些较高频率范围，信号幅值低于噪声幅值，重构图像的信号信息就会被噪声信息覆盖，对于系统和探测器产生的噪声来说，部分噪声是不随着信号的强弱发生变化的，对于此类噪声，通过增强信号的强度即可提高信噪比，还有部分噪声也会随信号强度的增加，信噪比提升。通过调节FPM系统中的照明光源的亮度，使得所需部分的信号的幅值大于噪声的幅值，即可提高采集图像的信噪比，削弱噪声的影响。
此外，针对FPM系统中出现的照明光强不一致误差，也可以通过调整照明光强进行校正。
在FPM系统中，LED阵列或LCD板上每个灯的尺寸远小于灯到样本的距离，符合远场条件，此时，到达样本表面的光照度遵循距离平方反比定理，即点源对微面元的照度与点源的发光强度成正比，与点源到微面元的距离平方成反比。此外，到达样本表面的光照度还与辐射方向的倾角有关，根据上述定理，将入射方向为垂直入射的光到达样本表面的光照度记为I0，将入射方向与法线夹角为θ的入射光到达样本表面的光照度记为I1，计算得出I0与I1满足关系式：
Ii＝I0cos3θ (1)
其中，θ与LED阵列到样本的垂直距离h、点亮的LED灯距离中心LED灯的x方向的距离xi和y方向的距离yi有关，他们之间的关系为：
因此，当到达样本表面的照明光强相同时，LED阵列上每个LED灯的亮度应该不同，将入射方向为垂直入射的入射光对应的LED灯记为I0LED，将入射方向与法线夹角为θ的入射光对应的LED灯记为I1LED，二者的关系应满足：
IiLED＝I0LED/cos3θ (3)
当所述光源为LED光源时，可以改变通过LED的电流调节LED的亮度，但更为方便的调节方式是脉冲宽度调制(PWM)。LED灯的亮度与占空比有关，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，LED灯亮度较大，当占空比小时，LED灯亮度较小。通过脉冲宽度调制(PWM)的方式调节LED的占空比，可以调节LED灯的亮度。当所述光源为LCD光源时，也可通过类似的方式改变亮度。
若需要同时实现照明光强不一致误差校正与噪声消除，首先需要调节FPM系统中的照明光源的亮度，使得在频域中所需部分的信号的幅值大于噪声的幅值，即可提高采集图像的信噪比，削弱噪声的影响，下一步是按照公式(3)调整照明光强，使得各入射角度的照明光强在满足频域中所需部分的信号幅值大于噪声幅值的前提下，满足到达样本表面的光强大小一致的要求。
有益效果
1、本发明通过硬件调控不同位置照明光光强大小，代替了算法补偿或图像校正的过程，在采集图像之前提高了包含高频信息的图像的信噪比，防止图像高频信息淹没在噪声中，使扩展频谱突破了噪声的限制，与用算法提高图像信噪比的方式相比，前者得到的图像能保留更多样本的原始高频信息，且方法更为简单。
2、本发明能任意调节不同位置照明光光强大小，可以根据观察者的不同需要增强或抑制图像不同频率成分，能满足不同的观察需求，若观察者更注重图像的高频信息，可以增大与高频信息对应的位置的照明光光强，降低与低频信息对应的位置的照明光光强，使重构图像的高频信息更明显，图像高频信息增强。
3、本发明可以在图像采集之前实现照明光强不一致误差校正，通过构建误差模型，得出照明光入射角度与光源亮度的关系，根据该关系调整入射光亮度，实现了在图像采集之前完成照明光强不一致误差校正，更好地保留了各子频率分量之间保持样本各部分原有的频率比例关系，使重构结果更接近样本的原始真值。
附图说明
图1是LED阵列及其控制平台示意图；
图2为LED阵列上不同位置LED灯照射样本示意图；
图3是图像信噪比未经调整的重构图像；
图4是暗场图像信噪比经过提升的重构图像；
图5是照明光强不一致误差校正前的重构图像；
图6是照明光强不一致误差校正后的重构图像；
图7是包含噪声与照明光强不一致误差的重构图像；
图8是经过噪声消除与照明光强不一致误差校正的重构图像。
其中，1-采集卡，2-LED阵列，3-样本。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实施例对本发明做详细说明。
实施例1：
采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现FPM系统采集的低分辨率图像信噪比提高，使扩展频谱范围突破噪声的限制，增大频谱扩展区域，实现图像高频信息增强。本实施例采用的光源为LED阵列。参与照明的LED阵列大小为11×11，LED灯的间距为4mm，LED阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为sCMOS相机，成像的像元尺寸为2.75μm。LED阵列上不同位置的LED灯采集一张子孔径图像，每个子孔径图像的信噪比都不同，进行傅里叶变换之后，在某些子孔径频谱图中，信号频谱信息被淹没在噪声频谱信息之下，限制了高频频谱信息的扩展，采集的原始图像中包含的主要噪声有两种，分别是高斯噪声和散粒噪声，在采集的原始图像中，暗场图像信号强度值很低，甚至被淹没在噪声信号中，此时，重构图像的高频扩展区域受噪声限制。其中，高斯噪声与入射光强大小无关，所以当提高照明光强时，高斯噪声不变，但是信噪比会提高。此外，散粒噪声会随着入射光强增加而增加，但其信噪比也会提高。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以选择性提高暗场区域的照明强度，使各个子孔径频谱图中的信号幅值高于噪声幅值，实现频谱高频区域扩展，增强图像高频细节信息。
本实施例公开的可用于傅里叶叠层显微成像技术的图像增强方法，具体步骤如下：
步骤一：选择LED阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为LED阵列与数据采集卡的示意图，保证数据采集卡可以调控LED阵列上不同位置LED灯的强度大小。
步骤二：根据实验系统的物镜参数计算得出只有中心9张图像是明场图像，其余的都是暗场图像，暗场图像的信号幅值较低，需要进行亮度调整，将这些图像对应的LED灯亮度分别提升1.2-1.5倍不等，使得调整后的图像的样本信号幅值高于噪声幅值。
步骤三：按照步骤二的要求控制不同位置照明光光强大小，通过采集卡控制平台利用PWM方法调控LED阵列上不同位置LED灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，LED灯亮度较大，当占空比小时，LED灯亮度较小。对暗场图像通过增大占空比增大其照明亮度，使得每个子孔径图像在频域中信号幅值高于噪声幅值，提高图像信噪比，从而使频谱扩展范围突破噪声的限制。
步骤四：图像采集，LED阵列上不同位置的LED灯经过步骤三之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。
步骤五：图像重构，对采集的多张低分辨率图像进行FPM算法重构，选用经典的GS相位恢复算法进行超分辨率重构，包括以下几步：
[1]将LED阵列上中心LED灯拍摄的图像进行插值处理，作为空域初始估计值；
[2]将插值后的图像进行傅立叶变换得到频域初始估计值；
[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；
[4]保持目标复振幅图像相位信息不变，用LED阵列上对应位置LED灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；
[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；
[6]重复[3]-[5]步骤，完成所有子频谱更新；
[7]重复[3]-[6]步骤使结果收敛，得到图像高频信息增强的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。
步骤六：结果检验，图像信噪比未经调整的重构图像如图3所示，暗场图像信噪比经过提升的重构图像如图4所示，经过对比发现，信噪比经过提升的重构图像中噪声明显减少，质量得到提升。
实施例2：
采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现FPM系统照明光光强大小调整，从而校正照明光强不一致误差，最终实现重构的高分辨率图像高频细节信息增强，重构图像信息更接近原始真值。本实施例采用的光源为LED阵列。参与照明的LED阵列大小为11×11，LED灯的间距为4mm，LED阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为sCMOS相机，成像的像元尺寸为2.75μm。LED阵列上不同位置LED灯照射样本示意图如图2所示，实际实验中，LED阵列上不同位置LED灯提供强度一致的照明光，由于LED阵列上每个LED灯与样本的距离不同，到达样本表面的光强大小也不相同。将图2中垂直入射的光到达样本表面的光照度记为IE0，倾斜为θE的入射光到达样本表面的的光照度记为IE1，计算得出IE0与IE1满足关系式：IE1＝IE0cos3θE，可以看出，越偏移中心位置的LED灯提供的可成像光强越小，导致采集的包含高频信息的图像信噪比较低，高频信息被弱化。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以在采集图像之前对不同角度的入射光光强进行调整，使不同角度的入射光到达样本表面的光强大小一致，从而使重构图像各部分频率信息更接近原始样本信息，校正照明光强不一致误差。
本实施例公开的可用于傅里叶叠层显微成像技术的图像增强方法，具体步骤如如下：
步骤一：选择LED阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为LED阵列与数据采集卡的示意图，保证数据采集卡可以调控LED阵列上不同位置LED灯的强度大小。
步骤二：确定不同位置照明光需改变的光强大小，根据LED阵列上LED灯的不同位置与成像光强大小关系调整光照亮度，将LED阵列上中心LED灯发光强度大小记为I0E，将LED阵列上照明入射角度与法线成θE夹角的LED灯发光强度调整为IiE，二者满足IiE＝I0E/cos3θE的关系式。即中心LED灯亮度为I0E，向外第一圈的LED灯亮度为I0E/0.997，向外第二圈的LED灯亮度为I0E/0.9883，以此类推。
步骤三：按照步骤二的光强大小关系，控制不同位置照明光光强大小，通过采集卡控制平台利用PWM方法调控LED阵列上不同位置LED灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，LED灯亮度较大，当占空比小时，LED灯亮度较小。按照LED阵列上LED灯的位置从内向外逐渐增大LED灯的占空比，逐渐增大LED灯的亮度，并用光强探测器探测验证光强。
步骤四：图像采集，LED阵列上不同位置的LED灯经过步骤三之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。
步骤五：图像重构，对采集的多张低分辨率图像进行FPM算法重构，选用经典的GS相位恢复算法进行超分辨率重构，包括以下几步：
[1]将LED阵列上中心LED灯拍摄的图像进行插值处理，作为空域初始估计值；
[2]将插值后的图像进行傅立叶变换得到频域初始估计值；
[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；
[4]保持目标复振幅图像相位信息不变，用LED阵列上对应位置LED灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；
[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；
[6]重复[3]-[5]步骤，完成所有子频谱更新；
[7]重复[3]-[6]步骤使结果收敛，得到照明光强不一致误差校正后的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。
步骤六：结果检验，照明光强不一致误差校正前的重构图像如图5所示，经过校正后的重构图像如图6所示，经过对比发现，校正后重构图像质量得到提升。
实施例3
采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现FPM系统照明光光强大小调整，可以同时实现照明光强不一致误差校正与噪声消除，最终实现重构的高分辨率图像各部分频率信息更接近真实值，同时高频信息增强。本实施例采用的光源为LED阵列。参与照明的LED阵列大小为11×11，LED灯的间距为4mm，LED阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为sCMOS相机，成像的像元尺寸为2.75μm。LED阵列上不同位置的LED灯采集一张子孔径图像，每个子孔径图像的信噪比都不同，进行傅里叶变换之后，在某些子孔径频谱图中，信号频谱信息被淹没在噪声频谱信息之下，限制了高频频谱信息的扩展，采集的原始图像中包含的主要噪声有两种，分别是高斯噪声和散粒噪声，二者都会随着照明光强提升信噪比提高。在采集的原始图像中，暗场图像信号强度值很低，甚至被淹没在噪声信号中。导致重构的高分辨率图像频谱扩展范围受噪声限制。此外，LED阵列上不同位置LED灯照射样本示意图如图2所示，实际实验中，LED阵列上不同位置LED灯提供强度一致的照明光，由于LED阵列上每个LED灯与样本的距离不同，到达样本表面的光强大小也不相同。越偏移中心位置的LED灯提供的可成像光强越小，导致采集的包含高频信息的图像信噪比较低，高频信息被弱化。系统中同时存在照明光强不一致误差与噪声的影响。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以选择性提高暗场区域的照明光强，使各个子孔径频谱图中的信号幅值高于噪声幅值，实现频谱高频区域扩展，增强图像高频细节信息，在此基础上，继续调整光强，使不同角度的入射光到达样本表面的光强大小一致，从而使重构图像各部分频率信息更接近原始样本信息，校正照明光强不一致误差。
步骤一：选择LED阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为LED阵列与数据采集卡的示意图，保证数据采集卡可以调控LED阵列上不同位置LED灯的强度大小。
步骤二：根据实验系统的物镜参数计算得出只有中心9张图像是明场图像，其余的都是暗场图像，暗场图像的信号幅值较低，需要进行亮度调整，将这些图像对应的LED灯亮度分别提升1.2-1.5倍不等，使得在频域中调整后的图像的样本信号幅值高于噪声幅值。
步骤三：确定不同位置照明光需改变的光强大小，根据LED阵列上LED灯的不同位置与成像光强大小关系调整光照亮度，将LED阵列上中心LED灯发光强度大小记为ILED0，将LED阵列上照明入射角度与法线成θLED夹角的LED灯发光强度调整为ILEDi，二者满足ILEDi＝ILED0/cos3θLED的关系式。即中心LED灯亮度为ILED0，向外第一圈的LED灯亮度为ILED0/0.997，向外第二圈的LED灯亮度为ILED0/0.9883，以此类推。
步骤四：经过步骤三的调整，检查此时光强是否满足步骤二中所述的频域中调整后的样本信息幅值高于噪声幅值的要求，如不满足，重复步骤二、三，直到满足要求。
步骤五：控制不同位置照明光光强大小，通过采集卡控制平台利用PWM方法调控LED阵列上不同位置LED灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，LED灯亮度较大，当占空比小时，LED灯亮度较小。按照步骤二、三所述关系调控LED灯的亮度，并用光强探测器探测验证光强。
步骤六：图像采集，LED阵列上不同位置的LED灯经过步骤五之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。
步骤七：图像重构，对采集的多张低分辨率图像进行FPM算法重构，选用经典的GS相位恢复算法进行超分辨率重构，包括以下几步：
[1]将LED阵列上中心LED灯拍摄的图像进行插值处理，作为空域初始估计值；
[2]将插值后的图像进行傅立叶变换得到频域初始估计值；
[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；
[4]保持目标复振幅图像相位信息不变，用LED阵列上对应位置LED灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；
[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；
[6]重复[3]-[5]步骤，完成所有子频谱更新；
[7]重复[3]-[6]步骤使结果收敛，得到图像高频信息增强同时照明光强不一致误差经过校正的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。
步骤八：结果检验，包含噪声与照明光强不一致误差的重构图像如图7所示，经过校正后的重构图像如图8所示，经过对比发现，校正后重构图像噪声影响明显降低，同时各频率部分的质量得到明显提升。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种用于傅里叶叠层显微成像技术的图像增强方法，其特征在于：通过调节FPM系统中的照明光源的亮度，即增强信号的强度，使得频域中所需部分的信号的幅值大于噪声的幅值，就能够提高采集图像的信噪比，削弱噪声的影响。
2.一种用于傅里叶叠层显微成像技术的图像增强方法，其特征在于：通过调整照明光强对FPM系统中出现的照明光强不均匀误差进行校正；
将入射方向为垂直入射的光到达样本表面的光照度记为I0，将入射方向与法线夹角为θ的入射光到达样本表面的光照度记为I1，计算得出I0与I1满足关系式：
I1＝I0 coS3 θ (1)
其中，θ与照明光源阵列到样本的垂直距离h、照明光源阵列上发光点距离阵列发光中心的x方向的距离xi和y方向的距离yi有关，他们之间的关系为：
调整照明光源阵列上不同位置发光点的亮度，使得到达样本表面的光强大小一致；将入射方向为垂直入射的入射光对应的照明光源阵列上的发光点亮度记为I0LED，将入射方向与法线夹角为θ的入射光对应的照明光源阵列上的发光点亮度记为IiLED，二者的关系应满足：
IiLED＝I0LED/cos3 θ (3)。
3.一种用于傅里叶叠层显微成像技术的图像增强方法，其特征在于：通过调节FPM系统中的照明光源的亮度，即增强信号的强度，能够同时实现噪声消除与照明光强不一致误差校正；调整光强使得所需部分的信号的幅值大于噪声的幅值，同时调整照明光源阵列上每个发光点的亮度，使其满足一定关系，能够实现信噪比提升，噪声削弱以及对FPM系统中出现的照明光强不均匀误差进行校正；
所述一定关系为：将入射方向为垂直入射的光到达样本表面的光照度记为E0，将入射方向与法线夹角为的入射光到达样本表面的光照度记为E1，计算得出E0与E1满足关系式：
其中，与照明光源到样本的垂直距离h0、点亮的照明光源阵列上的发光点距离阵列发光中心的x方向的距离xi0和距离y方向的距离yi0有关，他们之间的关系为：
将入射方向为垂直入射的入射光对应的照明光源阵列上的发光点亮度记为EOLED，将入射方向与法线夹角为的入射光对应的照明光源阵列上的发光点亮度记为EiLED，二者的关系应满足：
4.如权利要求1、2或3所述的一种用于傅里叶叠层显微成像技术的图像增强方法，其特征在于：所述照明光源为阵列光源。
5.如权利要求4所述的一种用于傅里叶叠层显微成像技术的图像增强方法，其特征在于：通过改变通过光源的电流调节光源的亮度；或者通过改变占空比调节光源的亮度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910292963.6A CN110060214A (zh) | 2019-04-12 | 2019-04-12 | 一种用于傅里叶叠层显微成像技术的图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910292963.6A CN110060214A (zh) | 2019-04-12 | 2019-04-12 | 一种用于傅里叶叠层显微成像技术的图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110060214A true CN110060214A (zh) | 2019-07-26 |
Family
ID=67317743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910292963.6A Pending CN110060214A (zh) | 2019-04-12 | 2019-04-12 | 一种用于傅里叶叠层显微成像技术的图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060214A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110568603A (zh) * | 2019-08-12 | 2019-12-13 | 清华大学 | 基于fpm的显微成像系统 |
| CN110579871A (zh) * | 2019-09-05 | 2019-12-17 | 杭州电子科技大学 | 基于傅里叶叠层显微成像的led照明优化方法及装置 |
| CN110942423A (zh) * | 2019-10-08 | 2020-03-31 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
| CN111062889A (zh) * | 2019-12-17 | 2020-04-24 | 北京理工大学 | 一种用于傅里叶叠层显微成像技术的光强校正方法 |
| CN112130306A (zh) * | 2020-09-17 | 2020-12-25 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
| CN114296228A (zh) * | 2021-12-31 | 2022-04-08 | 南京理工大学智能计算成像研究院有限公司 | 一种基于混合照明模式的高分辨率显微成像方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767534A (zh) * | 2016-12-30 | 2017-05-31 | 北京理工大学 | 基于fpm的立体显微系统和配套三维面形高分重构方法 |
| CN107102430A (zh) * | 2017-06-01 | 2017-08-29 | 暨南大学 | 用于傅里叶叠层显微成像的弧形光源扫描照明装置及方法 |
-
2019
- 2019-04-12 CN CN201910292963.6A patent/CN110060214A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767534A (zh) * | 2016-12-30 | 2017-05-31 | 北京理工大学 | 基于fpm的立体显微系统和配套三维面形高分重构方法 |
| CN107102430A (zh) * | 2017-06-01 | 2017-08-29 | 暨南大学 | 用于傅里叶叠层显微成像的弧形光源扫描照明装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| AN PAN ET AL.: "Subwavelength resolution Fourier ptychography with hemispherical digital condensers", 《OPTICS EXPRESS》 * |
| 孙佳嵩 等: "傅里叶叠层显微成像技术：理论、发展与应用", 《光学学报》 * |
| 杨佳琪 等: "傅里叶叠层显微术的照明光强校正研究", 《激光与光电子学进展》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110568603A (zh) * | 2019-08-12 | 2019-12-13 | 清华大学 | 基于fpm的显微成像系统 |
| CN110579871A (zh) * | 2019-09-05 | 2019-12-17 | 杭州电子科技大学 | 基于傅里叶叠层显微成像的led照明优化方法及装置 |
| CN110579871B (zh) * | 2019-09-05 | 2021-08-03 | 杭州电子科技大学 | 基于傅里叶叠层显微成像的led照明优化方法及装置 |
| CN110942423A (zh) * | 2019-10-08 | 2020-03-31 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
| CN110942423B (zh) * | 2019-10-08 | 2023-04-28 | 杭州电子科技大学 | 一种基于傅里叶叠层成像的远场超分辨率重建方法 |
| CN111062889A (zh) * | 2019-12-17 | 2020-04-24 | 北京理工大学 | 一种用于傅里叶叠层显微成像技术的光强校正方法 |
| CN111062889B (zh) * | 2019-12-17 | 2023-10-24 | 北京理工大学 | 一种用于傅里叶叠层显微成像技术的光强校正方法 |
| CN112130306A (zh) * | 2020-09-17 | 2020-12-25 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
| CN112130306B (zh) * | 2020-09-17 | 2022-02-18 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
| CN114296228A (zh) * | 2021-12-31 | 2022-04-08 | 南京理工大学智能计算成像研究院有限公司 | 一种基于混合照明模式的高分辨率显微成像方法 |
| CN114296228B (zh) * | 2021-12-31 | 2024-01-23 | 南京理工大学智能计算成像研究院有限公司 | 一种基于混合照明模式的高分辨率显微成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060214A (zh) | 一种用于傅里叶叠层显微成像技术的图像增强方法 | |
| CN110599433B (zh) | 一种基于动态场景的双曝光图像融合方法 | |
| US7480452B2 (en) | System and method for image capturing | |
| JP6490029B2 (ja) | 物体の複数の個別画像から１つの組み合わせ画像を生成する顕微鏡及び方法 | |
| CN110057319B (zh) | 一种大范围反射率变化物体的高速三维测量方法 | |
| US7085430B2 (en) | Correcting geometric distortion in a digitally captured image | |
| CN107864342B (zh) | 图像亮度调节方法及装置 | |
| US20100053415A1 (en) | Digital presenter | |
| US9824853B2 (en) | Electron microscope device and imaging method using same | |
| TW201105958A (en) | Method of measuring measurement target | |
| JP2004159292A (ja) | ダイナミックレンジ拡張画像合成に用いる画像を生成するための方法 | |
| JPWO2016171090A1 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN108288258A (zh) | 一种针对恶劣天气条件下的低质图像增强方法 | |
| EP3186776A1 (de) | Bildaufnahmevorrichtung und verfahren zur bildaufnahme | |
| WO2017163427A1 (ja) | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム | |
| CN110312957A (zh) | 焦点检测设备、焦点检测方法和焦点检测程序 | |
| US20140285620A1 (en) | Stereo image processing apparatus and method thereof | |
| CN105744262A (zh) | 可校正光源的检测系统及其光源校正方法 | |
| CN110290313B (zh) | 一种引导自动对焦设备失焦的方法 | |
| US11256078B2 (en) | Continuous scanning for localization microscopy | |
| CN106102553A (zh) | 内窥镜系统、内窥镜系统的工作方法 | |
| JP2014146615A (ja) | 荷電粒子顕微鏡装置および画像撮像方法 | |
| Thakare et al. | Comparative analysis of various underwater image enhancement techniques | |
| JP2020003793A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
| RJ01 | Rejection of invention patent application after publication |