CN110390659B - 应用于明视野显微镜的全聚焦图像成像方法和装置 - Google Patents
应用于明视野显微镜的全聚焦图像成像方法和装置 Download PDFInfo
- Publication number
- CN110390659B CN110390659B CN201910708096.XA CN201910708096A CN110390659B CN 110390659 B CN110390659 B CN 110390659B CN 201910708096 A CN201910708096 A CN 201910708096A CN 110390659 B CN110390659 B CN 110390659B
- Authority
- CN
- China
- Prior art keywords
- image
- full
- sequence
- focus
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 45
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000339 bright-field microscopy Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明实施例公开了一种应用于明视野显微镜的全聚焦图像成像方法，包括：采集图像形成序列图像；将序列图像进行图像融合，得到初始全聚焦图像；以初始全聚焦图像为初始值，反解求出景深图和采样距离，更新点扩散函数，依据更新后的点扩散函数，采用反卷积的方式，得到序列图像的最终全聚焦图像。一方面，本发明创造性的在不需要知晓任何成像系统参数，即可对(欠)采集的图像序列实现全聚焦图像复原，以及景深图和采样距离估计。第二方面，本发明还能够有效去除两个聚焦面之间的失焦模糊，同时消除图像融合造成的块效应，从而得到更高质量的全聚焦图像。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种应用于明视野显微镜的全聚焦图像成像方法和装置。
背景技术
目前全聚焦图像成像方式主要包括两类：基于多重聚焦图像融合的全聚焦算法和基于成像模型的反卷积算法。
早期的多重聚焦图像融合算法依赖于聚焦测度来决定对图像序列实行加权平均的权重大小，可以在空间域或者变换域实现图像融合。Pertuz等综述并分析比较了30多种聚焦测度。常用的聚焦测度包括图像梯度(一阶或高阶)，图像方差，小波系数，离散余弦变换系数，以及图像统计量等等。聚焦测度高度依赖于局部邻域大小，由于局部邻域同时包含模糊像素和聚焦的清晰像素，融合的图像不可避免地会呈现出一定量的块融合效应。近期由国内学者提出的基于像素的多重聚焦融合方法，包括引导滤波融合(GFF，guided filterfusion)，稠密尺度不变特征变换(DSIFT，dense scale-invariant feature)，卷积神经网络(CNN，convolutional neural network)等能够更好地保持空间一致性从而减少块效应，其表现达到了多重聚焦融合方法的全球领先水平。然而，对于液基细胞扫描而言，采集几十层甚至上百层图像是极为耗时的，通常实际情况不超过5层。对于欠采样的图像序列，由于加权平均的固有缺陷，多重融合聚焦算法无法消除存在于位于两个聚焦平面之间的失焦模糊。因此，基于多重聚焦的图像融合方法，由于图像序列欠采样，难以实现对液基细胞波玻片的明视野显微镜全聚焦成像。
基于成像模型的反卷积算法，充分考虑了模糊图像序列生成的物理过程，通过引入全聚焦图像和景深图的先验知识，能够同时估计出样本的景深图和全聚焦图像，并且有效地去除位于两个聚焦平面之间的失焦模糊。
Rajagopalan和Chaudhuri通过把景深图和全聚焦图像建立马尔科夫模型，利用标定好的成像系统参数，实现全聚焦图像复原和景深图估计。清华大学戴琼海教授研究组提出先通过相对模糊方法估计一个初始景深图，然后引入总变分和稀疏先验来迭代修复景深图和全聚焦图像。需要指出的是，以上两种方法是通过改变成像系统的焦距实现模糊序列图像采集，应用于日常摄影的普通相机，与明视野显微镜全聚焦成像的图像采集过程有很大的区别。Aguet等提出了基于2.5维高斯模糊模型的明视野显微镜景深拓展方法。该方法需要人为设定一个光学常量，并且知道采集过程中每张图像的聚焦面到物镜镜头的距离(精确到微米)。由于在液基细胞玻片成像中获取这些参数是十分困难和而且难以保证精度的，因此该方法对实际应用来说是比较困难的。
发明内容
本发明实施例提供如下技术方案：
根据本发明实施例的第一方面提供了一种应用于明视野显微镜的全聚焦图像成像方法，包括：
采集若干张图像，形成序列图像；
将所述序列图像进行图像融合，得到初始全聚焦图像；
依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到景深图和采样距离；
其中，gl(u,v)为第l张采集图像在像素坐标(u,v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，zl为图像坐标系下的采样距离，d(u,v)为图像坐标系下样本坐标点(u,v)到镜头的距离，m为行坐标位移，n为列坐标位移，nl为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；
依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像方法中，将采集的序列图像进行图像融合，得到初始全聚焦图像，包括：
根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u,v)为初始全聚焦图像在图像坐标(u,v)处的像素值，wl(u,v)为第l张采集图像在像素(u,v)处的权重。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像方法中，依据反解得到的所述景深图和所述采样距离，更新点扩散函数，包括：
依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x,y,v)为点扩散函数。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像方法中，采集若干张图像，形成序列图像，包括：
沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
根据本发明实施例的第一方面提供了一种应用于明视野显微镜的全聚焦图像成像装置，包括：
序列图像形成模块，用于将采集若干张图像形成序列图像；
第一图像处理模块，用于将所述序列图像进行图像融合，得到初始全聚焦图像；
第二图像处理模块，用于依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述序列图像的景深图和采样距离；
其中，gl(u,v)为第l张采集图像在像素坐标(u,v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，zl为图像坐标系下的采样距离，d(u,v)为图像坐标系下样本坐标点(u,v)到镜头的距离，m为行坐标位移，n为列坐标位移，nl为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；
第三图像处理模块，用于依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
第四图像处理模块，用于依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像装置中，将采集的序列图像进行图像融合，得到初始全聚焦图像，包括：
根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u,v)为初始全聚焦图像在图像坐标(u,v)处的像素值，wl(u,v)为第l张采集图像在像素(u,v)处的权重。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像装置中，依据反解得到的所述景深图和所述采样距离，更新点扩散函数，包括：
依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x,y,v)为点扩散函数。
进一步地，所述的应用于明视野显微镜的全聚焦图像成像装置中，采集若干张图像，形成序列图像，包括：
沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
根据本发明实施例的第三方面提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的应用于明视野显微镜的全聚焦图像成像方法的步骤。
根据本发明实施例的第四方面提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4任一所述的应用于明视野显微镜的全聚焦图像成像方法的步骤。
本发明实施例具有如下优点：
本发明实施例公开了一种应用于明视野显微镜的全聚焦图像成像方法，包括：采集若干张图像，形成序列图像；将所述序列图像进行图像融合，得到初始全聚焦图像；依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述图像序列的景深图和采样距离；依据反解得到的所述景深图和所述采样距离，更新点扩散函数；依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。一方面，本发明创造性在于不需要知晓任何成像系统参数(不需要添加额外的硬件，如激光测距仪器)，即可对(欠)采集的图像序列实现全聚焦图像复原，以及景深图和采样距离估计。第二方面，本发明还能够有效去除两个聚焦面之间的失焦模糊，同时消除图像融合造成的块效应，从而得到更高质量的全聚焦图像。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本申请实施例所提供的应用于明视野显微镜的全聚焦图像成像方法的流程图；
图2为本申请实施例所提供的应用于明视野显微镜的全聚焦图像成像装置的结构示意图；
图3为本申请实施例所提供的一种计算机设备的结构示意图；
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本申请可适用的应用场景做出介绍。本申请可适用于对在不需要知道任何图像采集参数的条件下，仅从(欠)采集的图像序列中实现对全聚焦图像、景深图和采样距离的估计。
现有技术中，明视野显微镜景深场受限，无法在维持高分辨前提条件下，实现对样本的全聚焦成像。基于多重聚焦的图像融合方法无法对欠采样的图像序列实现全聚焦成像，而现有的基于模型的反卷积方法要么不适用于明视野显微镜，要么需要过多参数测定而难以在实际过程中应用。明视野显微镜图像的成像模型涉及到采样距离和一个光学常量等未知参数，获取这些参数在实际应用中是难以实现的或者十分昂贵的。
本申请提供了一种应用于明视野显微镜的全聚焦图像成像方法，在不需要知道任何图像采集参数的条件下，仅从(欠)采集的图像序列中实现对全聚焦图像、景深图和采样距离的估计。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种应用于明视野显微镜的全聚焦图像成像方法进行详细介绍。
实施例一
参见图1所示，为本申请实施例所提供的一种应用于明视野显微镜的全聚焦图像成像方法的流程示意图，该方法包括如下步骤：
S101.采集若干张图像，形成序列图像；
具体地，沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
示例性的，图像采集设备可为相机、录像机等，通过上述图像采集设备对样本进行拍摄，得到样本的一系列图像，将这些图像形成，特别是对明视野显微镜呈现出的图像的采集。
以明视野显微镜下的图像为例，明视野显微镜下图像序列生成模型的矩阵向量形式为：
gl＝Hlf+nl,l∈[1,L] (4)；
其中，
表示全聚焦图像，
表示第l个采集图像，Hl表示对应于第l次采集点扩散函数构成的N×M模糊矩阵，nl表示零均值独立同分布的高斯噪声。
S102.将所述序列图像进行图像融合，得到初始全聚焦图像；
根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u,v)为初始全聚焦图像在图像坐标(u,v)处的像素值，wl(u,v)为第l张采集图像在像素(u,v)处的权重。
S103.依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述序列图像的景深图和采样距离；
其中，gl(u,v)为第l张采集图像在像素坐标(u,v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，zl为图像坐标系下的采样距离，d(u,v)为图像坐标系下样本坐标点(u,v)到镜头的距离，m为行坐标位移，n为列坐标位移，nl为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；
S104.依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
具体地，依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x,y,v)为点扩散函数。
S105.依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
为了便于理解，以下对上述方法做具体阐述：
通常点扩散函数可以假设为如下高斯型函数，
其中，η0是一个小的常数，作用在于避免分母为零，η1≈sF2/Ad(z-F)为待标定的光学常量，取决于多个系统参数，包括光学系统的分辨率s、景深场d、采样距离z、焦距F和数值孔径A等等。
经研究发现，光学常量对于点扩散函数估计并不影响，可以把光学常量融合到景深图和采样距离中，将世界坐标系下的采样距离和景深图转化到图像平面坐标系，同样可以准确估计点扩散函数，从而得到全聚焦图像。因此，首次提出无参数高斯型点扩散函数成像模型(见公式(6))，在不需要知道任何图像采集参数的条件下，仅从采集的图像序列中可以实现全聚焦图像、景深图和采样距离估计。
需要指出的是，η0是一个小的常数，作用是为了避免分母为零，因此，公式(6)是无参数的。将公式(6)代入公式(7)中，得到基于无参数高斯型点扩散函数成像模型，即公式(1)所示；
其中，
表示景深图，{zl}表示采样距离，h表示点扩散函数(通常为高斯型函数)。
假设明视野显微镜的成像模型为公式(8)的形式，构造如下目标函数：
其中，
表示梯度微分算子，λf和λd表示正则化权重，分别用于提升图像和景深图光滑度。通过寻找目标函数(8)的极小值点，就可以得到全聚焦图像以及景深图和采样距离。具体地，采用交替最小化的技术方案，即固定住变量全聚焦图像f，然后联合估计景深图d和采样距离z；利用当前估计的景深图d和采样距离z作为常量来求解全聚焦图像f，如此反复，直到目标函数收敛。
首先，固定ft，得到关于景深图d和采样距离z的目标函数(9)；
通过链式法则，可以得到关于景深图d的梯度计算公式为：
其中，
类似的，可以得到关于z的梯度计算公式为：
利用梯度计算公式(10)-(13)，可以采用梯度下降的线搜索方法，获得问题(9)的最优解。
其次，固定当前估计的景深图d和采样距离z，求解如下最小化问题：
其中，p为[0.6,0.8]之间的常数，t代表迭代索引。
可以采用迭代加权最小二乘法求解，需要交替更新权重(15)和求解线性方程组(16)，具体如下：
Hl T为Hl的转置矩阵。
由于最小化问题(8)是一个非凸的最优化问题，良好的变量初始化，一方面有利于避免糟糕的局部极值点，另一方面可以减少计算量。变量全聚焦图像f的初始化通过一种基于局部总变分测度的图像融合方法快速地实现，具体步骤如下：
第一步，计算块总变分
其中s为均值滤波器，PTV为一个图像块的总变分，通过均值滤波器s卷积TV(g)得到；
第二歩，计算wmax(u,v)＝PTVlmax(u,v)(u,v)，其中，
wmax(u,v)表示所有通道中最大的块总变分，lmax(u,v)为像素坐标(u，v)处的块总变分最大的通道，l为通道索引；
第三步，极化
第四步，归一化
k为通道索引。
第五步，图像融合
实施例二
基于同一发明构思，本申请实施例中还提供了与应用于明视野显微镜的全聚焦图像成像方法对应的装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述应用于明视野显微镜的全聚焦图像成像方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
本申请实施例提出了一种应用于明视野显微镜的全聚焦图像成像装置，如图2所示的是一种应用于明视野显微镜的全聚焦图像成像装置的结构示意图。
参见图2所示，本申请实施例所提供的应用于明视野显微镜的全聚焦图像成像装置，包括：
序列图像形成模块201，用于将采集若干张图像形成序列图像；
第一图像处理模块202，用于将所述序列图像进行图像融合，得到初始全聚焦图像；
第二图像处理模块203，用于依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述序列图像的景深图和采样距离；
其中，gl(u,v)为第l张采集图像在像素坐标(u,v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，zl为图像坐标系下的采样距离，d(u,v)为图像坐标系下样本坐标点(u,v)到镜头的距离，m为行坐标位移，n为列坐标位移，nl为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；
第三图像处理模块204，用于依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
第四图像处理模块205，用于依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
优选地，将采集的序列图像进行图像融合，得到初始全聚焦图像，包括：
根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u,v)为初始全聚焦图像在图像坐标(u,v)处的像素值，wl(u,v)为第l张采集图像在像素(u,v)处的权重。
优选地，依据反解得到的所述景深图和所述采样距离，更新点扩散函数，包括：
依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x,y,v)为点扩散函数。
优选地，采集若干张图像，形成序列图像，包括：
沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述应用于明视野显微镜的全聚焦图像成像方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述应用于明视野显微镜的全聚焦图像成像方法。
对应于图1中的应用于明视野显微镜的全聚焦图像成像方法，本申请实施例还提供了一种计算机设备，如图3所示，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述应用于明视野显微镜的全聚焦图像成像方法的步骤。
具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器1000存储的计算机程序时，能够执行上述应用于明视野显微镜的全聚焦图像成像方法。
本申请实施例所提供的应用于明视野显微镜的全聚焦图像成像方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (8)
1.一种应用于明视野显微镜的全聚焦图像成像方法，其特征在于，包括：
采集若干张图像，形成序列图像；
将所述序列图像进行图像融合，得到初始全聚焦图像；其中，根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u，v)为初始全聚焦图像在图像坐标(u，v)处的像素值，w1(u，v)为第l张采集图像在像素(u，v)处的权重，g1(u，v)为第1张采集图像在像素坐标(u，v)处的像素值；
依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述序列图像的景深图和采样距离；
其中，g1(u，v)为第l张采集图像在像素坐标(u，v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，z1为图像坐标系下的采样距离，d(u，v)为图像坐标系下样本坐标点(u，v)到镜头的距离，m为行坐标位移，n为列坐标位移，n1为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；f为全聚焦图像，f(u-x，v-y)表示对f(u，v)按位移向量(-x，-y)的偏移；
依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
2.根据权利要求1所述的应用于明视野显微镜的全聚焦图像成像方法，其特征在于，依据反解得到的所述景深图和所述采样距离，更新点扩散函数，包括：
依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x，y，v)为点扩散函数。
3.根据权利要求1所述的应用于明视野显微镜的全聚焦图像成像方法，其特征在于，采集若干张图像，形成序列图像，包括：
沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
4.一种应用于明视野显微镜的全聚焦图像成像装置，其特征在于，包括：
序列图像形成模块，用于将采集若干张图像形成序列图像；
第一图像处理模块，用于将所述序列图像进行图像融合，得到初始全聚焦图像；其中，根据所述序列图像和公式(2)得到所述初始全聚焦图像；
其中，f0(u，v)为初始全聚焦图像在图像坐标(u，v)处的像素值，w1(u，v)为第l张采集图像在像素(u，v)处的权重，g1(u，v)为第l张采集图像在像素坐标(u，v)处的像素值；
第二图像处理模块，用于依据所述序列图像和公式(1)，利用初始全聚焦图像，通过反解得到所述序列图像的景深图和采样距离；
其中，g1(u，v)为第l张采集图像在像素坐标(u，v)处的像素值，η0为常数，x为行坐标位移，y为列坐标位移，u为图像行坐标，v为图像列坐标，z1为图像坐标系下的采样距离，d(u，v)为图像坐标系下样本坐标点(u，v)到镜头的距离，m为行坐标位移，n为列坐标位移，n1为成像系统所决定的噪声，l为采集图像序列号，L为采集图像的总数量；f为全聚焦图像，f(u-x，v-y)表示对f(u，v)按位移向量(-x，-y)的偏移；
第三图像处理模块，用于依据反解得到的所述景深图和所述采样距离，更新点扩散函数；
第四图像处理模块，用于依据更新后的所述点扩散函数，采用反卷积的方式，得到所述序列图像的最终全聚焦图像。
5.根据权利要求4所述的应用于明视野显微镜的全聚焦图像成像装置，其特征在于，依据反解得到的所述景深图和所述采样距离，更新点扩散函数，包括：
依据所述景深图和所述采样距离，根据公式(3)更新所述点扩散函数；
其中，h(x，y，v)为点扩散函数。
6.根据权利要求4所述的应用于明视野显微镜的全聚焦图像成像装置，其特征在于，采集若干张图像，形成序列图像，包括：
沿图像采集设备的光轴移动样本或所述采集设备的镜头，得到若干张所述样本的图像，将所述图像形成序列图像。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至3任一所述的应用于明视野显微镜的全聚焦图像成像方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至3任一所述的应用于明视野显微镜的全聚焦图像成像方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910708096.XA CN110390659B (zh) | 2019-08-01 | 2019-08-01 | 应用于明视野显微镜的全聚焦图像成像方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910708096.XA CN110390659B (zh) | 2019-08-01 | 2019-08-01 | 应用于明视野显微镜的全聚焦图像成像方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390659A CN110390659A (zh) | 2019-10-29 |
| CN110390659B true CN110390659B (zh) | 2021-02-26 |
Family
ID=68288268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910708096.XA Active CN110390659B (zh) | 2019-08-01 | 2019-08-01 | 应用于明视野显微镜的全聚焦图像成像方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390659B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110824689B (zh) * | 2019-11-01 | 2022-02-18 | 南京理工大学 | 全自动显微图像景深拓展系统及其方法 |
| CN111242880B (zh) * | 2019-12-30 | 2023-05-02 | 广州市明美光电技术有限公司 | 一种用于显微镜的多景深图像叠加方法、设备及介质 |
| CN115052077B (zh) * | 2022-06-13 | 2023-09-22 | 中亿启航数码科技(北京)有限公司 | 一种扫描装置及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1166935A1 (en) * | 2000-06-23 | 2002-01-02 | Sewon Tech Co., Ltd. | Saw blade with noise prevention means and method for manufacturing same |
| CN102957852A (zh) * | 2012-07-19 | 2013-03-06 | 中国人民解放军国防科学技术大学 | 基于编码孔径的折反射全聚焦成像方法与装置 |
-
2019
- 2019-08-01 CN CN201910708096.XA patent/CN110390659B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390659A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390659B (zh) | 应用于明视野显微镜的全聚焦图像成像方法和装置 | |
| Pertuz et al. | Analysis of focus measure operators for shape-from-focus | |
| Kee et al. | Modeling and removing spatially-varying optical blur | |
| Carlavan et al. | Sparse Poisson noisy image deblurring | |
| Li et al. | Nonnegative mixed-norm preconditioning for microscopy image segmentation | |
| Mahmood et al. | Nonlinear approach for enhancement of image focus volume in shape from focus | |
| Namboodiri et al. | On defocus, diffusion and depth estimation | |
| Mahmood et al. | Optimal depth estimation by combining focus measures using genetic programming | |
| JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
| Ben Hadj et al. | Space variant blind image restoration | |
| Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
| Hansen et al. | Super resolution digital image correlation (SR-DIC): an alternative to image stitching at high magnifications | |
| Ruan et al. | Adaptive total variation based autofocusing strategy in ptychography | |
| Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
| Ali et al. | Incorporating structural prior for depth regularization in shape from focus | |
| CN116824070B (zh) | 一种基于深度图像的实时三维重建方法及系统 | |
| Lee et al. | Optimizing image focus for 3D shape recovery through genetic algorithm | |
| Gao et al. | Variable exponent regularization approach for blur kernel estimation of remote sensing image blind restoration | |
| CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 | |
| Zhou et al. | Parameter-free Gaussian PSF model for extended depth of field in brightfield microscopy | |
| JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
| Debarnot et al. | Deepblur: Blind identification of space variant psf | |
| Favaro | Shape from focus and defocus: Convexity, quasiconvexity and defocus-invariant textures | |
| Rajagopalan et al. | MRF model-based identification of shift-variant point spread function for a class of imaging systems | |
| CN114170109A (zh) | 基于mems的条纹结构光的图像降噪方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 901, tower 1, Shenye Jinyuan Building, Qingshuihe 1st Road, Qingshuihe street, Luohu District, Shenzhen City, Guangdong Province Applicant after: YIPUSEN HEALTH TECHNOLOGY (SHENZHEN) Co.,Ltd. Address before: 518000 Room 7A01, Building A, Shenzhen Bay Science and Technology Eco-Park, Shahexi Road, Nanshan District, Shenzhen City, Guangdong Province Applicant before: YIPUSEN HEALTH TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |