CN111062895B - 一种基于多视场分割的显微图像复原方法 - Google Patents
一种基于多视场分割的显微图像复原方法 Download PDFInfo
- Publication number
- CN111062895B CN111062895B CN201911198038.3A CN201911198038A CN111062895B CN 111062895 B CN111062895 B CN 111062895B CN 201911198038 A CN201911198038 A CN 201911198038A CN 111062895 B CN111062895 B CN 111062895B
- Authority
- CN
- China
- Prior art keywords
- image
- field
- restored
- restoration
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 title claims abstract description 27
- 230000007704 transition Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 12
- 230000015556 catabolic process Effects 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多视场分割的显微图像复原方法，对待复原的显微图像进行多视场分割，将其分为中心视场块、边界视场块、边角视场块三类，利用各视场位置物镜测量得到的子午和弧矢MTF数据，结合高斯模糊退化模型，得到高斯型的PSF能量初步估计形式，并将其作为模糊核先验信息引入后续复原过程；构建梯度正则化约束复原方程，通过交替迭代求解开展有效的复原图像求解，利用各视场分割块边界的扩展，并利用加权渐变系数，开展精细化像素值处理，实现了重叠过度区域的像素值确定，最终得到了整幅完成的全视场复原显微图像，优点是复原效果好，运行效率高，可以适用于数码显微成像硬件系统的后处理软件集成。
Description
技术领域
本发明涉及计算机图像处理技术，尤其涉及一种基于多视场分割的显微图像复原方法。
背景技术
显微镜通过光学系统使被观察对象得到放大，让人们从微观形态认识和研究对象的特性，自问世以来，已经深入应用到许多方面。随着电子数码显微成像技术的不断发展，数字化的显微图像的应用场景越来越多，电子显微图像也有着越来越广泛的应用。光学显微成像是一个链路化退化的过程，成像链路中每个环节所引入的误差和造成的成像退化都会对目标物体的信息提取能力产生影响，从而造成成像质量的退化。因此，需要提出有效的显微图像复原技术，将其作为电子显微成像系统的后处理手段，应用于显微成像硬件系统。
图像复原是在已知成像系统点扩散函数(Point Spread Function，PSF)的情况下采用数学算法来恢复原始图像的真实面目。并且有时候，在一般成像条件下，我们对系统的成像信息是不能很好掌握的，即PSF是未知的，需要事先探测与分析获取。近年来提出了一些显微图像复原技术模型，主要可以分为以下几种：1)代数复原法，如最小二乘法等；2)统计模型法，如贝叶斯框架模型等；3)分析复原手段，如变分法及衍生出的多特征混合模型。为从数学理论上求解,反卷积问题被转变为能量最小化方程,通过图像统计与迭代求解相结合获得最优解。但显微复原算法往往还是面临计算速度慢、参数复杂、复原效果有限等问题。
结合电子显微成像硬件系统的特性，显微复原技术需要同时兼顾效果和速度两方面的要求，既能提升图像分辨率，同时又可较快获得计算结果。真实显微成像系统中，不同视场的光学退化PSF差异明显，复原算法设计需要从考虑显微成像视场中退化PSF非空间一致性的特点，采用多退化因子开展反卷积复原，并且能够结合显微图像先验知识构建能量方程，开展有效的复原结果求解。
发明内容
本发明所要解决的技术问题是提供一种基于多视场分割的显微图像复原方法，复原效果好，运行效率高，可以适用于数码显微成像硬件系统的后处理软件集成。
本发明解决上述技术问题所采用的技术方案为：一种基于多视场分割的显微图像复原价方法，包括如下步骤：
(1)显微图像多视场区域分割：将输入的待复原显微图像定义为g，其图像尺寸为M×N，对图像g进行多视场区域分割，将其分为3×3，共9个不同的矩形视场区域，其中分割原则是按照图像两条边长的
和
处为分割位置进行图像视场分割，将图像g分为三个类型图像分块：第一类：得到1个中心视场分块，大小为
第二类：得到4个边界视场分块，其中2个边界视场分块大小为
2个边界视场分块大小为
第三类：得到4个边角视场分块，大小为
(2)初步估计各类型视场点扩散函数：针对步骤(1)中的三类分块区域，采用光学传递函数测试仪，测量得到显微物镜中心视场、边界视场和边角视场三个视场角度下的调制传递函数MTF测试数据，分别对应所拍摄图像中三个类型图像分块所在的视场角度，分为子午面MTF和弧矢面MTF(Modulation Transfer Function)，根据高斯模糊模型，估计高斯模糊核半径，估计得到三类分块区域对应视场的初步点扩散函数PSF，并将其作为模糊核先验信息引入后续复原过程，通过快速复原迭代，得到准确优化的模糊核结果和复原图像；
(3)建立梯度正则化约束复原方法，构建显微图像反卷积复原约束能量方程如下：
其中，g表示显微镜拍摄得到待复原图像，o表示复原后的清晰图像，H是步骤(2)得到的对应视场初步估计的点扩散函数PSF，J(o)表示复原后的清晰图像o的梯度正则化约束项，λ表示J(o)约束项正则化能量参数因子，其取值范围为[0.001,0.1]，
表示点扩散函数PSF能量约束因子，η表示对应的加权参数因子,取值范围为[0.01,0.1]；
其中，梯度正则化约束项J(o)构建如下：
其中，q表示复原后的清晰图像o中的任意像素值，
和
分别是图像水平方向和竖直方向的一阶梯度算子，
和
分别为清晰图像o在像素q位置处的水平方向和竖直方向一阶梯度值，
为清晰图像o在像素q位置处的一阶梯度值，count{ }表示复原后的清晰图像o中一阶梯度不为0的像素个数；
对反卷积复原约束能量方程开展交替迭代求解，分别建立复原后的清晰图像o和点扩散函数H的交替求解分式，表示为：
对于复原后的清晰图像的求解，引入两个辅助参考变量(w,v)，来交替迭代求解能量约束方程，将其改写为：
其中，J(w,v)＝count{q||wq|+|vq|≠0}，w和v分别对应是
和
的参考变量，wq和vq是第q个像素位置处所对应的参考变量，σ是辅助参考变量的平衡参数，初始σ0＝2λ，每一次迭代σ是变化的，σi＝uσi-1，其中i为迭代次数，u为伸缩系数，取值范围为[2,4]。通过交替迭代得到(w,v)和复原后的清晰图像o的解，具体步骤如下：
3－1)固定复原后的清晰图像o，迭代优化辅助参考变量(w,v)，将能量方程改写为：
将上式改写为：
当|wq|+|vq|≠0时，η(|wq|+|vq|)＝1；否则，η(|wq|+|vq|)＝0，得到：
通过逐个像素计算得到(w,v)；
3－2)固定辅助参考变量(w,v)，迭代优化复原后的清晰图像o，将能量方程改写为：
对上式求导，即令
得到
利用快速傅里叶变换，得到优化的复原后的清晰图像o，式中，T为转置；
结合交替迭代得到的图像o，构建针对PSF的梯度域的正则化表示形式：
同样通过求导，并利用快速傅里叶变换，得到优化的点扩散函数H；
通过上述交替迭代求解，最终得到复原的显微图像，将步骤(2)中初步估计得到的退化图像PSF的能量分布形式作为模糊核先验信息输入步骤(3)的求解过程，通过3-4次交替迭代，得到复原后的清晰图像o；
利用梯度正则化约束复原方法对各图像分块进行反卷积复原，得到各图像分块的复原后的清晰图像；
(4)分割块边界扩展，消除拼接缝：
根据步骤(1)的分块，将各分块边界外延扩展，使得相邻子块有一定的重叠区域，外延像素大小设置为[d/2]+1，d为反卷积PSF矩阵大小，[]表示近似取整操作；
(5)边界扩展过度区域像素值确定：
利用步骤(4)中的分块边界外延，确定显微图像各视场图像分块的区域大小，最后拼接得到整个视场的复原后的清晰图像。
步骤(2)中估计得到三类分块区域对应视场的初步点扩散函数PSF的具体方法为：对于确定的视场角度，测量得到的子午和弧矢MTF数据，其数据格式为1行m列，其中m表示传递函数测试仪的频域采样个数，每列数据代表了从低频到高频的各频域采样点MTF测试数据值。根据成像传感器CMOS的采样频率，对子午和弧矢两个方向的MTF数据进行插值，以满足频率单位的匹配，完成从MTF测试采样频率到传感器像素频率的转换；分别估计子午和弧矢方向MTF下降至0.1时，所对应的采样频率值，记为f1和f2，并结合传感器像元尺寸，将其变换到空域，得到f1和f2所对应的模糊核扩散像素尺寸r1和r2；求取子午和弧矢两个方向的平均值，即r＝(r1+r2)/2，将该数值作为高斯模糊核的半径估计数值，根据高斯模糊模型，得到初步估计的高斯型PSF能量分布。
在步骤(5)中，对于相邻像素的外延过度区域开展精细化像素值处理，设相邻子块重叠区域像素为L个像素，相邻子块分别为Xk和Yk，重叠区域精细化像素为Zk，得到过度区域对应位置k(k＝1,..,L)的像素值：
对于有中心分块的四个角落，有四个分块像素重叠，则采用重叠区域加和取平均的方式处理，利用加权渐变系数，实现重叠过度区域的像素值确定，最终得到整幅完整的全视场复原显微图像。
与现有技术相比，本发明的优点在于对待复原的显微图像进行多视场分割，将其分为中心视场块、边界视场块、边角视场块三类，利用各视场位置物镜测量得到的子午和弧矢MTF数据，结合高斯模糊退化模型，得到高斯型的PSF能量初步估计形式，并将其作为模糊核先验信息引入后续复原过程；构建梯度正则化约束复原方程，通过交替迭代求解开展有效的复原图像求解，利用各视场分割块边界的扩展，并利用加权渐变系数，开展精细化像素值处理，实现了重叠过度区域的像素值确定，最终得到了整幅完成的全视场复原显微图像。
本发明利用显微图像视场分割，提出了一种显微图像反卷积复原方法，其主要思路是：
1、考虑到显微物镜的光学特性，不同的视场角所对应的成像系统退化PSF差异较大，采用了多视场分割块处理，进行分视场复原。
显微物镜系统退化函数PSF呈中心堆成，不同的视场角度位置，MTF分布差异明显，若采用单一PSF开展全局复原，会导致局部区域复原过度或复原不足。利用分视场复原，对不同的视场角所在的分块区域分别复原,然后将各视场结果拼接得到完整的复原图像，可以有效提升提供复原算法效率和复原结果质量。
2、利用高斯模糊模型，得到初步的PSF能量分布形式，并将其作为模糊核先验信息引入后续复原过程，构建梯度正则化约束复原方法框架，通过复原约束能量方程交替迭代求解，快速得到高质量的复原结果。
高斯类型模糊核较为接近显微光学系统PSF退化过程，利用物镜MTF测试数据，初步得到各视场的PSF能量分布，作为模糊核先验信息引入后续复原过程，可大大提高复原迭代效率，快速收敛至最优结果。引入L0梯度范数正则化约束，同时引入模糊核能量惩罚项因子，用于防止PSF求解的过度拟合。建立反卷积复原框架，通过交替迭代求解开展有效的复原图像求解，即可快速得到显微图像复原结果。
3、利用相邻子块区域外延，采用过度区域像素精细化处理，实现整画幅的复原。
由于相邻图像区域反卷积的PSF不同，加之反卷积算法在图像边缘会缺失一定的能量像素值，就会导致临近图像块之间产生拼接缝。对于相邻像素边沿进行拓展外沿，在过度重叠区域，为避免像素值剧烈变化，开展精细化像素值处理。利用加权渐变系数，实现了重叠过度区域的像素值确定，最终得到了整幅完成的全视场复原显微图像。
附图说明
图1为本发明的显微图多视场分割示意图；其中，图1(a)为多视场分割方式示意图，图1(b)为分块边界拓展的示意图；
图2为不同视角下PSF初步估计能量分布图；其中，图2(a)为中心视场分块位置对应的PSF初步估计；图2(b)为边界视场分块位置对应的PSF初步估计；图2(c)为边角视场分块位置对应的PSF初步估计；
图3为复原结果对比图；其中，图3(a)为退化显微图像；图3(b)为经过本发明的方法复原的显微图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
实施例：一种基于多视场分割的显微图像复原价方法，包括如下步骤：
(1)显微图像多视场区域分割：将输入的待复原显微图像定义为g，其图像尺寸为M×N，对图像g进行多视场区域分割，将其分为3×3，共9个不同的矩形视场区域，其中分割原则是按照图像两条边长的
和
处为分割位置进行图像视场分割，将图像g分为三个类型图像分块：第一类：得到1个中心视场分块，大小为
第二类：得到4个边界视场分块，其中2个边界视场分块大小为
2个边界视场分块大小为
第三类：得到4个边角视场分块，大小为
(2)初步估计各类型视场点扩散函数：针对步骤(1)中的三类分块区域，采用光学传递函数测试仪，测量得到显微物镜中心视场、边界视场和边角视场三个视场角度下的调制传递函数MTF测试数据，分别对应所拍摄图像中三个类型图像分块所在的视场角度，分为子午面MTF和弧矢面MTF(Modulation Transfer Function)，根据高斯模糊模型，估计高斯模糊核半径，估计得到三类分块区域对应视场的初步点扩散函数PSF，并将其作为模糊核先验信息引入后续复原过程，通过快速复原迭代，得到准确优化的模糊核结果和复原图像；
估计得到三类分块区域对应视场的初步点扩散函数PSF的具体方法为：对于确定的视场角度，测量得到的子午和弧矢MTF数据，其数据格式为1行m列，其中m表示传递函数测试仪的频域采样个数，每列数据代表了从低频到高频的各频域采样点MTF测试数据值。根据成像传感器CMOS的采样频率，对子午和弧矢两个方向的MTF数据进行插值，以满足频率单位的匹配，完成从MTF测试采样频率到传感器像素频率的转换；分别估计子午和弧矢方向MTF下降至0.1时，所对应的采样频率值，记为f1和f2，并结合传感器像元尺寸，将其变换到空域，得到f1和f2所对应的模糊核扩散像素尺寸r1和r2；求取子午和弧矢两个方向的平均值，即r＝(r1+r2)/2，将该数值作为高斯模糊核的半径估计数值，根据高斯模糊模型，得到初步估计的高斯型PSF能量分布；
(3)建立梯度正则化约束复原方法，构建显微图像反卷积复原约束能量方程如下：
其中，g表示显微镜拍摄得到待复原图像，o表示复原后的清晰图像，H是步骤(2)得到的对应视场初步估计的点扩散函数PSF，J(o)表示复原后的清晰图像o的梯度正则化约束项，λ表示J(o)约束项正则化能量参数因子，其取值范围为[0.001,0.1]，
表示点扩散函数PSF能量约束因子，η表示对应的加权参数因子,取值范围为[0.01,0.1]；
其中，梯度正则化约束项J(o)构建如下：
其中，q表示复原后的清晰图像o中的任意像素值，
和
分别是图像水平方向和竖直方向的一阶梯度算子，
和
分别为清晰图像o在像素q位置处的水平方向和竖直方向一阶梯度值，
为清晰图像o在像素q位置处的一阶梯度值，count{ }表示复原后的清晰图像o中一阶梯度不为0的像素个数；
对反卷积复原约束能量方程开展交替迭代求解，分别建立复原后的清晰图像o和点扩散函数H的交替求解分式，表示为：
对于复原后的清晰图像的求解，引入两个辅助参考变量(w,v)，来交替迭代求解能量约束方程，将其改写为：
其中，J(w,v)＝count{q||wq|+|vq|≠0}，w和v分别对应是
和
的参考变量，wq和vq是第q个像素位置处所对应的参考变量，σ是辅助参考变量的平衡参数，初始σ0＝2λ，每一次迭代σ是变化的，σi＝uσi-1，其中i为迭代次数，u为伸缩系数，取值范围为[2,4]。通过交替迭代得到(w,v)和复原后的清晰图像o的解，具体步骤如下：
3－1)固定复原后的清晰图像o，迭代优化辅助参考变量(w,v)，将能量方程改写为：
将上式改写为：
当|wq|+|vq|≠0时，η(|wq|+|vq|)＝1；否则，η(|wq|+|vq|)＝0，得到：
通过逐个像素计算得到(w,v)；
3－2)固定辅助参考变量(w,v)，迭代优化复原后的清晰图像o，将能量方程改写为：
对上式求导，即令
得到
利用快速傅里叶变换，得到优化的复原后的清晰图像o，式中，T为转置；
结合交替迭代得到的图像o，构建针对PSF的梯度域的正则化表示形式：
同样通过求导，并利用快速傅里叶变换，得到优化的点扩散函数H；
通过上述交替迭代求解，最终得到复原的显微图像，将步骤(2)中初步估计得到的退化图像PSF的能量分布形式作为模糊核先验信息输入步骤(3)的求解过程，通过3-4次交替迭代，得到复原后的清晰图像o；
利用梯度正则化约束复原方法对各图像分块进行反卷积复原，得到各图像分块的复原后的清晰图像；
(4)分割块边界扩展，消除拼接缝：
根据步骤(1)的分块，将各分块边界外延扩展，使得相邻子块有一定的重叠区域，外延像素大小设置为[d/2]+1，d为反卷积PSF矩阵大小，[]表示近似取整操作；
(5)边界扩展过度区域像素值确定：
利用步骤(4)中的分块边界外延，确定显微图像各视场图像分块的区域大小，对于相邻像素的外延过度区域开展精细化像素值处理，设相邻子块重叠区域像素为L个像素，相邻子块分别为Xk和Yk，重叠区域精细化像素为Zk，得到过度区域对应位置k(k＝1,..,L)的像素值：
对于有中心分块的四个角落，有四个分块像素重叠，则采用重叠区域加和取平均的方式处理，利用加权渐变系数，实现重叠过度区域的像素值确定，最后拼接得到整个视场的复原后的清晰图像。
示例1：图1(a)为显微图像视场分割示意图，将图像分割为1个中心视场分块，4个边界视场分块，4个边角视场分块，图1(b)为在图1(a)分块的基础上，进行边界拓展重叠的示意图，拓展像素大小设置为[d/2]+1，d为反卷积PSF矩阵大小，[]表示近似取整操作。重叠区域能够很好的消除不同分块PSF不同所带来的拼接缝，通过重叠过度区域像素精细化处理，实现整幅图像的高质量复原。
图2为不同视角下PSF初步估计的能量分布图。可以看到不同视场位置，PSF差异明显，若采用同一个PSF开展全局复原，会造成局部区域复原不完整或复原过度。同时，中心视场能量集中度更好，退化较弱，边缘视场能量更为扩散，退化更为严重。采用本发明的分割复原，能够显著提升复原质量。同时，将PSF初步估计作为模糊核先验信息引入后续复原算法，可以大大提升迭代效率，快速得到复原结果。
图3为复原结果对比结果，相比退化图像，复原结果明显提升了显微图像的空间分辨率和清晰度，效果较好。开展了客观评价数值比较，引入
Brenner,Tenengrad和SMD作为客观评价指标，具体计算方法表示如下：
这三种客观评价指标，其数值越大表示图像细节越丰富，图像质量越好。同时，对比了几种复原算法的效果，包括Levin方法，TV方法，RL方法，具体客观评价数据如下表所示：
表1不同复原方法客观评价数值
由表1评价数值可以看到，本发明具有更大的客观评价数值，表明复原图像结果更为优异。
Claims (3)
1.一种基于多视场分割的显微图像复原价方法，其特征在于，包括如下步骤：
(1)显微图像多视场区域分割：将输入的待复原显微图像定义为g，其图像尺寸为M×N，对图像g进行多视场区域分割，将其分为3×3，共9个不同的矩形视场区域，其中分割原则是按照图像两条边长的
和
处为分割位置进行图像视场分割，将图像g分为三个类型图像分块：第一类：得到1个中心视场分块，大小为
第二类：得到4个边界视场分块，其中2个边界视场分块大小为
2个边界视场分块大小为
第三类：得到4个边角视场分块，大小为
(2)初步估计各类型视场点扩散函数：针对步骤(1)中的三类分块区域，采用光学传递函数测试仪，测量得到显微物镜中心视场、边界视场和边角视场三个视场角度下的调制传递函数MTF测试数据，分别对应所拍摄图像中三个类型图像分块所在的视场角度，分为子午面MTF和弧矢面MTF，根据高斯模糊模型，估计高斯模糊核半径，估计得到三类分块区域对应视场的初步点扩散函数PSF，并将其作为模糊核先验信息引入后续复原过程，通过快速复原迭代，得到准确优化的模糊核结果和复原图像；
(3)建立梯度正则化约束复原方法，构建显微图像反卷积复原约束能量方程如下：
其中，g表示显微镜拍摄得到待复原图像，o表示复原后的清晰图像，H是步骤(2)得到的对应视场初步估计的点扩散函数PSF，J(o)表示复原后的清晰图像o的梯度正则化约束项，λ表示J(o)约束项正则化能量参数因子，其取值范围为[0.001,0.1]，
表示点扩散函数PSF能量约束因子，η表示对应的加权参数因子,取值范围为[0.01,0.1]；
其中，梯度正则化约束项J(o)构建如下：
其中，q表示复原后的清晰图像o中的任意像素值，
和
分别是图像水平方向和竖直方向的一阶梯度算子，
和
分别为清晰图像o在像素q位置处的水平方向和竖直方向一阶梯度值，
为清晰图像o在像素q位置处的一阶梯度值，count{}表示复原后的清晰图像o中一阶梯度不为0的像素个数；
对反卷积复原约束能量方程开展交替迭代求解，分别建立复原后的清晰图像o和点扩散函数H的交替求解分式，表示为：
对于复原后的清晰图像的求解，引入两个辅助参考变量(w,v)，来交替迭代求解能量约束方程，将其改写为：
其中，J(w,v)＝count{q||wq|+|vq|≠0}，w和v分别对应是
和
的参考变量，wq和vq是第q个像素位置处所对应的参考变量，σ是辅助参考变量的平衡参数，初始σ0＝2λ，每一次迭代σ是变化的，σi＝uσi-1，其中i为迭代次数，u为伸缩系数，取值范围为[2,4]， 通过交替迭代得到(w,v)和复原后的清晰图像o的解，具体步骤如下：
3－1)固定复原后的清晰图像o，迭代优化辅助参考变量(w,v)，将能量方程改写为：
将上式改写为：
当|wq|+|vq|≠0时，η(|wq|+|vq|)＝1；否则，η(|wq|+|vq|)＝0，得到：
通过逐个像素计算得到(w,v)；
3－2)固定辅助参考变量(w,v)，迭代优化复原后的清晰图像o，将能量方程改写为：
对上式求导，即令
得到
利用快速傅里叶变换，得到优化的复原后的清晰图像o，式中，T为转置；
结合交替迭代得到的图像o，构建针对PSF的梯度域的正则化表示形式：
同样通过求导，并利用快速傅里叶变换，得到优化的点扩散函数H；
通过上述交替迭代求解，最终得到复原的显微图像，将步骤(2)中初步估计得到的退化图像PSF的能量分布形式作为模糊核先验信息输入步骤(3)的求解过程，通过3-4次交替迭代，得到复原后的清晰图像o；
利用梯度正则化约束复原方法对各图像分块进行反卷积复原，得到各图像分块的复原后的清晰图像；
(4)分割块边界扩展，消除拼接缝：
根据步骤(1)的分块，将各分块边界外延扩展，使得相邻子块有一定的重叠区域，外延像素大小设置为[d/2]+1，d为反卷积PSF矩阵大小，[]表示近似取整操作；
(5)边界扩展过度区域像素值确定：
利用步骤(4)中的分块边界外延，确定显微图像各视场图像分块的区域大小，最后拼接得到整个视场的复原后的清晰图像。
2.如权利要求1所述的一种基于多视场分割的显微图像复原价方法，其特征在于，步骤(2)中估计得到三类分块区域对应视场的初步点扩散函数PSF的具体方法为：对于确定的视场角度，测量得到的子午和弧矢MTF数据，其数据格式为1行m列，其中m表示传递函数测试仪的频域采样个数，每列数据代表了从低频到高频的各频域采样点MTF测试数据值； 根据成像传感器CMOS的采样频率，对子午和弧矢两个方向的MTF数据进行插值，以满足频率单位的匹配，完成从MTF测试采样频率到传感器像素频率的转换；分别估计子午和弧矢方向MTF下降至0.1时，所对应的采样频率值，记为f1和f2，并结合传感器像元尺寸，将其变换到空域，得到f1和f2所对应的模糊核扩散像素尺寸r1和r2；求取子午和弧矢两个方向的平均值，即r＝(r1+r2)/2，将该数值作为高斯模糊核的半径估计数值，根据高斯模糊模型，得到初步估计的高斯型PSF能量分布。
3.如权利要求1所述的一种基于多视场分割的显微图像复原价方法，其特征在于，在步骤(5)中，对于相邻像素的外延过度区域开展精细化像素值处理，设相邻子块重叠区域像素为L个像素，相邻子块分别为Xk和Yk，重叠区域精细化像素为Zk，得到过度区域对应位置k(k＝1,..,L)的像素值：
对于有中心分块的四个角落，有四个分块像素重叠，则采用重叠区域加和取平均的方式处理，利用加权渐变系数，实现重叠过度区域的像素值确定，最终得到整幅完整的全视场复原显微图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198038.3A CN111062895B (zh) | 2019-11-29 | 2019-11-29 | 一种基于多视场分割的显微图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198038.3A CN111062895B (zh) | 2019-11-29 | 2019-11-29 | 一种基于多视场分割的显微图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062895A CN111062895A (zh) | 2020-04-24 |
| CN111062895B true CN111062895B (zh) | 2022-07-12 |
Family
ID=70299248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911198038.3A Active CN111062895B (zh) | 2019-11-29 | 2019-11-29 | 一种基于多视场分割的显微图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062895B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055256B (zh) * | 2020-09-16 | 2023-03-24 | 聚好看科技股份有限公司 | 一种全景图像的图像处理方法及显示设备 |
| CN113077395B (zh) * | 2021-03-26 | 2023-10-24 | 东北大学 | 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 |
| CN113674170A (zh) * | 2021-08-13 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751425A (zh) * | 2015-03-25 | 2015-07-01 | 北京工商大学 | 基于空间变化点扩散函数的荧光显微图像重建方法及系统 |
| CN108431938A (zh) * | 2016-01-01 | 2018-08-21 | 科磊股份有限公司 | 使用图像重建以用于缺陷检测的系统及方法 |
| CN108848302A (zh) * | 2018-05-24 | 2018-11-20 | 杭州电子科技大学 | 一种显微成像采集、控制与自动处理系统及处理方法 |
| CN110097509A (zh) * | 2019-03-26 | 2019-08-06 | 杭州电子科技大学 | 一种局部运动模糊图像的复原方法 |
-
2019
- 2019-11-29 CN CN201911198038.3A patent/CN111062895B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751425A (zh) * | 2015-03-25 | 2015-07-01 | 北京工商大学 | 基于空间变化点扩散函数的荧光显微图像重建方法及系统 |
| CN108431938A (zh) * | 2016-01-01 | 2018-08-21 | 科磊股份有限公司 | 使用图像重建以用于缺陷检测的系统及方法 |
| CN108848302A (zh) * | 2018-05-24 | 2018-11-20 | 杭州电子科技大学 | 一种显微成像采集、控制与自动处理系统及处理方法 |
| CN110097509A (zh) * | 2019-03-26 | 2019-08-06 | 杭州电子科技大学 | 一种局部运动模糊图像的复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Microscopic imaging quality improvement through L0 gradient constraint model based on multi-fields of view analysis》;Jufeng Zhao等;《Micron》;20190629;全文 * |
| 《Total variation regularized deconvolution for extended depth of field microscopy》;Ramzi N. Zahreddine等;《Applied Optics》;20150313;第54卷(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062895A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ju et al. | IDGCP: Image dehazing based on gamma correction prior | |
| US11610082B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| CN111062895B (zh) | 一种基于多视场分割的显微图像复原方法 | |
| Fang et al. | A variational approach for pan-sharpening | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
| Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| CN110070539A (zh) | 基于信息熵的图像质量评价方法 | |
| CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Mishra et al. | Self-FuseNet: data free unsupervised remote sensing image super-resolution | |
| Wen et al. | Hybrid BM3D and PDE filtering for non-parametric single image denoising | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| Holzschuh et al. | Realistic galaxy images and improved robustness in machine learning tasks from generative modelling | |
| Huang et al. | SIDNet: a single image dedusting network with color cast correction | |
| Duran et al. | A demosaicking algorithm with adaptive inter-channel correlation | |
| Stent et al. | Precise deterministic change detection for smooth surfaces | |
| CN114549373A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
| Sun et al. | A hybrid demosaicking algorithm for area scan industrial camera based on fuzzy edge strength and residual interpolation | |
| CN109961393A (zh) | 基于插值和迭代优化算法的亚像素配准与拼接技术 | |
| CN107977967B (zh) | 一种面向视角合成的无参考图像质量评价方法 | |
| Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging | |
| Chen et al. | Remote Sensing Image Super-Resolution with Residual Split Attention Mechanism | |
| CN106530259B (zh) | 一种基于多尺度散焦信息的全聚焦图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |