CN111551117A - 显微图像焦点漂移距离的测量方法及系统、计算机设备 - Google Patents

显微图像焦点漂移距离的测量方法及系统、计算机设备 Download PDF

Info

Publication number
CN111551117A
CN111551117A CN202010353676.4A CN202010353676A CN111551117A CN 111551117 A CN111551117 A CN 111551117A CN 202010353676 A CN202010353676 A CN 202010353676A CN 111551117 A CN111551117 A CN 111551117A
Authority
CN
China
Prior art keywords
image
focal stack
focus
coherent
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010353676.4A
Other languages
English (en)
Other versions
CN111551117B (zh
Inventor
谷秀娟
向北海
许会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Guokezhitong Technology Co ltd
Original Assignee
Hunan Guokezhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Guokezhitong Technology Co ltd filed Critical Hunan Guokezhitong Technology Co ltd
Priority to CN202010353676.4A priority Critical patent/CN111551117B/zh
Publication of CN111551117A publication Critical patent/CN111551117A/zh
Application granted granted Critical
Publication of CN111551117B publication Critical patent/CN111551117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种显微图像焦点漂移距离的测量方法，包括获取显微图像序列；计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离。本发明提供的方法仅通过单幅图像即可实现焦点漂移距离的测量，速度快、精度高、卷积神经网络模型的鲁棒性强。

Description

显微图像焦点漂移距离的测量方法及系统、计算机设备
技术领域
本发明涉及显微成像技术领域，尤其是一种显微图像焦点漂移距离的测量方法及系统、计算机设备。
背景技术
对于各种数字显微镜的高通量应用来说，在很长一段时间内维持显微图像的聚焦状态是一项关键的任务。许多生物实验涉及利用显微镜对样本进行长时间或大空间尺度的显微成像，这使得样本很难持续聚焦。
对于大空间尺度的显微成像应用，在扫描和拼接多个显微镜视野以形成高内容、高分辨率的显微图像时，由于样本形状的变化或载物台表面的不平整，需要对每个视野重新聚焦来获得清晰的全视野图像。
对于长时间的显微成像应用，在一段时间内(数小时或数天)观察一个样本时，由于热波动会引起焦点漂移现象，需要进行焦点漂移测量来保持连续聚焦状态。例如，在研究细胞的动态过程中，活细胞显微成像是必不可少的技术，由于细胞的生长，介质的流动或温度变化引起的涌动，成像的细胞样本随着时间从焦平面位置偏移，出现焦点漂移现象，为了维持样本长时间的准确聚焦，需要进行焦点漂移测量，并进行实时校正，从而不断采集样本的清晰显微图像。
现有广泛使用的焦点漂移测量方法是基于激光器反射的方法，激光器发出的光束经过参考表面被反射回来，进而计算焦点的位置，该方法计算的是参考表面和物镜之间的距离，而不是样本与物镜之间的距离，样本或容器壁厚度的任何变化会导致计算的焦点位置发生错误。因此，急需一种快速、准确的焦点漂移测量方法。
发明内容
本发明提供一种显微图像焦点漂移距离的测量方法及系统、计算机设备，用于克服现有技术中误差较大等缺陷。
为实现上述目的，本发明提出一种显微图像焦点漂移距离的测量方法，包括：
获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离。
为实现上述目的，本发明还提出一种显微图像焦点漂移距离的测量系统，包括：
图像获取模块，用于获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
聚焦位置获取模块，用于计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
图像处理模块，用于根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
模型训练模块，用于利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
测量模块，用于利用训练好的卷积神经网络模型测量待测显微图像焦点漂移距离。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
与现有技术相比，本发明的有益效果有：
1、本发明提供的显微图像焦点漂移距离的测量方法，利用训练好的卷积神经网络模型对输入的显微图像进行焦点漂移距离的测量，输出的焦点漂移距离值可直接控制显微镜物镜移动到清晰的聚焦位置，完成自动聚焦过程，采集到清晰的显微图像。本发明提供的方法仅通过单幅图像即可实现焦点漂移距离的测量，速度快、精度高、卷积神经网络模型的鲁棒性强。
2、本发明提供的显微图像焦点漂移距离的测量方法，通过计算非相干焦栈图像的径向平均对数功率谱来获得显微镜物镜的聚焦位置，因为只有当显微镜物镜处于聚焦位置时，显微图像的相干性才会降低，进而才能采集到清晰的显微图像。因此，本发明通过计算非相干焦栈图像的径向平均对数功率谱来量化非相干焦栈图像的清晰度，从而可快速、准确地找到显微镜物镜的聚焦位置。
3、本发明提供的显微图像焦点漂移距离的测量方法，利用相干焦栈图像进行卷积神经网络模型的训练，因为在相干光源下采集的显微图像即使在失焦状态也能保持图像的锐度特征，通过相干焦栈图像对卷积神经网络模型进行训练可使该卷积神经网络模型能将显微图像的特征映射到正确的焦点漂移距离，而不需要考虑需采集显微图像的样本本身的结构细节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的显微图像焦点漂移距离的测量方法的流程图；
图2为本发明实施例中采用的卷积神经网络模型的结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种显微图像焦点漂移距离的测量方法，如图1所示，包括：
101：获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
相干焦栈图像，在相干光源模式下采集得到。
非相干焦栈图像，在非相干光源模式下采集得到。
102：计算每张非相干焦栈图像的径向平均对数功率谱值，根据径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
图像的功率谱是指将图像进行傅里叶变换后，得到的傅里叶振幅谱的平方，进行对数运算，径向平均是指等长度的波矢量功率的平均值，是一个统计平均值。
103：根据聚焦位置，对每张相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
104：利用训练集对预先构建的卷积神经网络模型进行训练，利用验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
105：利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离。
在其中一个实施例中，对于步骤101，获取显微图像序列，包括：
001：在显微镜物镜的景深范围内，控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张相干焦栈图像和一张非相干焦栈图像，构成一组相干焦栈图像和一组非相干焦栈图像；
002：重复上一步骤(即重复步骤001)，从若干个相互独立的细胞培养实验中采集多组相干焦栈图像和多组非相干焦栈图像；多组相干焦栈图像和多组非相干焦栈图像构成显微图像序列。
在某个实施例中，以M个相互独立的细胞培养实验为样本，利用高通量显微镜采集N组焦栈图像。每组焦栈图像的采集方法为：
控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张相干焦栈图像和一张非相干焦栈图像，构成一组相干焦栈图像和一组非相干焦栈图像；本实施例中，Z轴焦距的跨度为60μm，步长为1μm，这样每组相干焦栈图像和每组非相干焦栈图像均包括61张焦栈图像。
本实施例中，所述高通量显微镜的光源采用一个可编程的准圆顶LED阵列，该LED阵列提供了一种灵活的光源模式切换方法。本实施例中采用两种光源模式：单个LED构成的相干光源和多个LED灯构成的非相干光源，分别在这两种光源模式下采集N组焦栈图像，得到N组相干焦栈图像和N组非相干焦栈图像。
在下一个实施例中，对于步骤102，计算每张所述非相干焦栈图像的径向平均对数功率谱值P，计算公式如下：
Figure BDA0002472742570000061
式中，F(u,v)为图像f(x,y)的傅里叶变换，x,y是图像f(x,y)的像素坐标，u,v为F(u,v)的频域坐标；M和N分别为频域变量u和v的最大值。
当显微镜物镜处于聚焦位置时，显微图像的相干性才会降低，进而才能采集到清晰的显微图像。因此，本实施例通过计算非相干焦栈图像的径向平均对数功率谱来量化非相干焦栈图像的清晰度，从而可快速、准确地找到显微镜物镜的聚焦位置。
在另一个实施例中，对于步骤102，根据径向平均对数功率谱值，获得显微镜物镜的聚焦位置的方法为：
201：根据径向平均对数功率谱值，拟合非相干焦栈图像的清晰度曲线；
202：在清晰度曲线中寻找峰值，所述峰值对应的非相干焦栈图像的显微镜物镜在显微镜Z轴的位置为显微镜物镜的聚焦位置。
在下一个实施例中，对于步骤103，根据聚焦位置，对每张相干焦栈图像进行标记的方法为：
301：将在聚焦位置处采集的相干焦栈图像标记为0μm；
302：将其他张相干焦栈图像的采集位置距所述聚焦位置的Z轴距离作为焦点漂移距离，用所述焦点漂移距离标记对应的相干焦栈图像。
本实施例中，将位于聚焦位置下方的采集位置采集的显微图像标记为负值，将位于聚焦位置上方的采集位置采集的显微图像标记为正值。
在某个实施例中，对于步骤103，将标记后的相干焦栈图像划分为训练集和验证集，具体为：
将标记后的相干焦栈图像随机划分为训练集和验证集，训练集占80％，验证集占20％。
在某个实施例中，对于步骤104，预先构建的卷积神经网络模型中的第一个全连接模块中的全连接层级联有显微图像的图像亮度特征、图像对比度特征以及前一个显微镜物镜视野的聚焦位置。
本实施例采用的卷积神经网络模型在其第一个全连接模块中的全连接层级联有显微图像的图像亮度特征、图像对比度特征以及前一个显微镜物镜视野的聚焦位置。由于卷积神经网络模型只能输入固定大小的图像，因此需先将显微图像分割成统一大小的图像子块，再将该图像子块输入模型内进行测量，此时模型提取的图像子块特征缺失了对显微图像的全局表示，因此本发明通过图像亮度特征和图像对比度特征来弥补显微图像全局信息缺失，以提高本发明方法的精确度；此外，由于在连续的显微图像采集过程中，相邻的视野之间需采集显微图像的样本状态变化极小，因此可利用前一个显微镜物镜视野的聚焦位置来指导当前视野的聚焦位置测量，以提高测量的精度和准确性。
在另一个实施例中，对于步骤104，利用训练集对预先构建的卷积神经网络模型进行训练，所述卷积神经网络模型如图2所示，依次包括三个卷积模块(c1、c2、c3)、两个全连接模块(f1、f2)和一个回归层(Regression output)；
每个卷积模块依次包括一个卷积层、一个激活层和一个最大池化层；本实施例中，卷积层(conv1、conv2、conv3)的卷积核尺寸均为10×10，步长为1；激活层(activate1、activate2、activate3)均采用非线性校准单元(ReLU)对卷积层的输出进行非线性处理；最大池化层(maxpool1、maxpool2、maxpool3)的卷积核尺寸均为5×5，步长为5；
每个所述全连接模块依次包括一个全连接层和一个dropout层；第一个所述全连接模块(f1)中的全连接层(fc1)级联有显微图像的图像亮度特征Vf、图像对比度特征Cf以及前一个显微镜物镜视野的聚焦位置Ff。本实施例中，dropout1层和dropout2层的概率分别为0.7和0.5；
本实施例中，回归层为卷积神经网络模型的输出层，用于输出显微图像的焦点漂移距离。
本实施例中，在将训练集和验证集输入卷积神经网络模型之前，需先将训练集和验证集中的每张相干焦栈图像分割成互不重叠的大小为224×224的若干个图像子块，再将训练集中的图像子块分成多个图像集(每个图像集包含10～50张图像子块)，将训练集中的多个图像集输入神经网络进行训练；然后将验证集中的图像子块分成多个图像集(每个图像集包含10～50张图像子块)，将验证集中的多个图像集输入神经网络进行验证。
在另一个实施例中，图像亮度特征Vf的计算方式为：
将显微图像从RGB颜色空间转换到HSV颜色空间；
在HSV颜色空间中，V分量为显微图像的亮度信息，通过计算所述V分量在整个显微图像中的平均值，得到显微图像的图像亮度特征；
所述图像对比度特征Cf的计算公式如下：
Figure BDA0002472742570000091
式中，i，j分别为相邻两个像素的灰度值；δ(i,j)为相邻像素间的灰度差；Pδ(i,j)为相邻像素间灰度差为δ的分布概率。
本实施例中，对于训练集和验证集，手动标注每张相干焦栈图像的前一个显微镜物镜视野的聚焦位置Ff。
在某一实施例中，卷积神经网络模型的具体训练过程为：
将训练集中的相干焦栈图像分割成互不重叠的大小为224×224的若干个图像子块。将这些图像子块组成多个图像集(每个图像集包含10～50张图像子块)，将这些图像集依次输入卷积神经网络进行训练。
利用均值为0、标准差为0.1的随机高斯分布初始化卷积神经网络模型的权值，偏置最初设置为0.1，利用随机梯度下降法(SGM)对卷积神经网络模型的权值进行学习，使卷积神经网络模型输出的焦点漂移距离与实际焦点漂移距离之间的差异最小化。设定初始学习率为10-4，本实施例采取边训练边验证的策略，当输入验证集后模型输出的错误开始增加时，模型训练终止。
为了增加训练模型的鲁棒性，对采集的显微图像，提取其中心区域的1120×1120大小的感兴趣区域，将该感兴趣区域分割成若干个224×224大小的图像子块，进行模型的训练。这样的好处是：采集到的显微图像包含大量的空白区域，这些空白区域会影响模型的训练精度，考虑到显微图像内容丰富的区域主要在其中心区域，故分割出中心区域进行模型训练，以提高模型的精度。
在下一个实施例中，对于步骤105，利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离的测量方法为：
501：起始时刻，在待测的显微成像系统内，控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张相干焦栈图像，获得一组相干焦栈图像；利用Tenengard算法计算每张所述相干焦栈图像的清晰度值，记最大清晰度值对应的相干焦栈图像的显微镜物镜位置为初始聚焦位置F0；
502：下一时刻，在初始聚焦位置F0处采集一张相干焦栈图像，计算该相干焦栈图像的图像亮度特征Vf和图像对比度特征Cf；将该相干焦栈图像分割成若干个大小相同的图像子块；
503：将初始聚焦位置F0、图像亮度特征Vf、图像对比度特征Cf和图像子块输入训练好的卷积神经网络模型进行测量，获得各个图像子块的焦点漂移距离；
504：从各个图像子块的焦点漂移距离中剔除异常值，然后计算图像子块的焦点漂移距离的平均值，所述平均值则为待测的显微图像焦点漂移距离。
选择剔除异常值的原因是，有些图像子块包含的区域大部分是空白区域，那么这些图像子块的预测结果是不可靠的，进而会导致整个图像的测量结果发生错误。
本发明还提出一种显微图像焦点漂移距离的测量系统，包括：
图像获取模块，用于获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
聚焦位置获取模块，用于计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
图像处理模块，用于根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
模型训练模块，用于利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
测量模块，用于利用训练好的卷积神经网络模型测量待测显微图像焦点漂移距离。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种显微图像焦点漂移距离的测量方法，其特征在于，包括：
获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离。
2.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，获取显微图像序列，包括：
在显微镜物镜的景深范围内，控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张相干焦栈图像和一张非相干焦栈图像，构成一组相干焦栈图像和一组非相干焦栈图像；
重复上一步骤，从若干个相互独立的细胞培养实验中采集多组相干焦栈图像和多组非相干焦栈图像；多组所述相干焦栈图像和多组所述非相干焦栈图像构成显微图像序列。
3.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，计算每张所述非相干焦栈图像的径向平均对数功率谱值，计算公式如下：
Figure FDA0002472742560000021
式中，F(u,v)为图像f(x,y)的傅里叶变换，x,y是图像f(x,y)的像素坐标，u,v为F(u,v)的频域坐标；M和N分别为频域变量u和v的最大值。
4.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置的方法为：
根据所述径向平均对数功率谱值，拟合非相干焦栈图像的清晰度曲线；
在所述清晰度曲线中寻找峰值，所述峰值对应的非相干焦栈图像的显微镜物镜在显微镜Z轴的位置为显微镜物镜的聚焦位置。
5.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，根据所述聚焦位置，对每张所述相干焦栈图像进行标记的方法为：
将在所述聚焦位置处采集的相干焦栈图像标记为0μm；
将其他张相干焦栈图像的采集位置距所述聚焦位置的Z轴距离作为焦点漂移距离，用所述焦点漂移距离标记对应的相干焦栈图像。
6.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，利用所述训练集对预先构建的卷积神经网络模型进行训练，所述卷积神经网络模型依次包括三个卷积模块、两个全连接模块和一个回归层；
每个所述卷积模块依次包括一个卷积层、一个激活层和一个最大池化层；
每个所述全连接模块依次包括一个全连接层和一个dropout层；第一个所述全连接模块中的全连接层级联有显微图像的图像亮度特征、图像对比度特征以及前一个显微镜物镜视野的聚焦位置。
7.如权利要求6所述的显微图像焦点漂移距离的测量方法，其特征在于，所述图像亮度特征的计算方式为：
将显微图像从RGB颜色空间转换到HSV颜色空间；
在HSV颜色空间中，V分量为显微图像的亮度信息，通过计算所述V分量在整个显微图像中的平均值，得到显微图像的图像亮度特征；
所述图像对比度特征的计算公式如下：
Figure FDA0002472742560000031
式中，i，j分别为相邻两个像素的灰度值；δ(i,j)为相邻像素间的灰度差；Pδ(i,j)为相邻像素间灰度差为δ的分布概率。
8.如权利要求1所述的显微图像焦点漂移距离的测量方法，其特征在于，利用训练好的卷积神经网络模型测量待测的显微图像焦点漂移距离的测量方法为：
起始时刻，在待测的显微成像系统内，控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动，在显微镜物镜移动的每个位置采集一张相干焦栈图像，获得一组相干焦栈图像；利用Tenengard算法计算每张所述相干焦栈图像的清晰度值，记最大清晰度值对应的相干焦栈图像的显微镜物镜位置为初始聚焦位置；
下一时刻，在所述初始聚焦位置处采集一张相干焦栈图像，计算所述相干焦栈图像的图像亮度特征和图像对比度特征；将所述相干焦栈图像分割成若干个大小相同的图像子块；
将所述初始聚焦位置、所述图像亮度特征、所述图像对比度特征和所述图像子块输入训练好的卷积神经网络模型进行测量，获得各个图像子块的焦点漂移距离；
从各个图像子块的焦点漂移距离中剔除异常值，然后计算图像子块的焦点漂移距离的平均值，所述平均值则为待测的显微图像焦点漂移距离。
9.一种显微图像焦点漂移距离的测量系统，其特征在于，包括：
图像获取模块，用于获取显微图像序列，所述显微图像序列包括若干相干焦栈图像和非相干焦栈图像；
聚焦位置获取模块，用于计算每张所述非相干焦栈图像的径向平均对数功率谱值，根据所述径向平均对数功率谱值，获得显微镜物镜的聚焦位置；
图像处理模块，用于根据所述聚焦位置，对每张所述相干焦栈图像进行标记；将标记后的相干焦栈图像划分为训练集和验证集；
模型训练模块，用于利用所述训练集对预先构建的卷积神经网络模型进行训练，利用所述验证集对训练后的卷积神经网络模型进行验证，获得训练好的卷积神经网络模型；
测量模块，用于利用训练好的卷积神经网络模型测量待测显微图像焦点漂移距离。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述方法的步骤。
CN202010353676.4A 2020-04-29 2020-04-29 显微图像焦点漂移距离的测量方法及系统、计算机设备 Active CN111551117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010353676.4A CN111551117B (zh) 2020-04-29 2020-04-29 显微图像焦点漂移距离的测量方法及系统、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010353676.4A CN111551117B (zh) 2020-04-29 2020-04-29 显微图像焦点漂移距离的测量方法及系统、计算机设备

Publications (2)

Publication Number Publication Date
CN111551117A true CN111551117A (zh) 2020-08-18
CN111551117B CN111551117B (zh) 2021-07-20

Family

ID=72000309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010353676.4A Active CN111551117B (zh) 2020-04-29 2020-04-29 显微图像焦点漂移距离的测量方法及系统、计算机设备

Country Status (1)

Country Link
CN (1) CN111551117B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112798504A (zh) * 2020-12-07 2021-05-14 西安电子科技大学 大视场高通量流式细胞分析系统及分析方法
CN112836422A (zh) * 2020-12-31 2021-05-25 电子科技大学 干涉与卷积神经网络混合方案测量方法
CN113438413A (zh) * 2021-05-27 2021-09-24 长春迈克赛德医疗科技有限公司 一种有形成分分析仪的自动聚焦方法
CN116259053A (zh) * 2023-05-15 2023-06-13 西南科技大学 基于卷积神经网络的医学显微图像成像焦点预测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093200A2 (en) * 2000-11-13 2002-11-21 Kla-Tencor Corporation Advanced phase shift inspection method
CN2562208Y (zh) * 2002-01-11 2003-07-23 金宝电子工业股份有限公司 相机的自动对焦机构
CN101191979A (zh) * 2006-11-28 2008-06-04 华晶科技股份有限公司 自动对焦方法及系统
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN102589463A (zh) * 2012-01-10 2012-07-18 合肥工业大学 二维和三维一体化成像测量系统
CN105301865A (zh) * 2014-07-28 2016-02-03 奥宝科技股份有限公司 自动聚焦系统
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN109410158A (zh) * 2018-08-21 2019-03-01 西安电子科技大学 一种基于卷积神经网络的多焦点图像融合方法
CN110806636A (zh) * 2018-07-20 2020-02-18 奥林巴斯软成像解决方案公司 显微镜分析方法
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093200A2 (en) * 2000-11-13 2002-11-21 Kla-Tencor Corporation Advanced phase shift inspection method
CN2562208Y (zh) * 2002-01-11 2003-07-23 金宝电子工业股份有限公司 相机的自动对焦机构
CN101191979A (zh) * 2006-11-28 2008-06-04 华晶科技股份有限公司 自动对焦方法及系统
CN101387734A (zh) * 2007-09-14 2009-03-18 三星电子株式会社 用于自动聚焦的方法和设备
CN102589463A (zh) * 2012-01-10 2012-07-18 合肥工业大学 二维和三维一体化成像测量系统
CN105301865A (zh) * 2014-07-28 2016-02-03 奥宝科技股份有限公司 自动聚焦系统
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN110806636A (zh) * 2018-07-20 2020-02-18 奥林巴斯软成像解决方案公司 显微镜分析方法
CN109410158A (zh) * 2018-08-21 2019-03-01 西安电子科技大学 一种基于卷积神经网络的多焦点图像融合方法
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAWAR, KARISHMA: "Deep learning approaches for video-based anomalous activity detection", 《WORLD WIDE WEB-INTERNET AND WEB INFORMATION SYSTEMS 》 *
李奇: "数字自动对焦技术的理论及实现方法研究", 《中国优秀博士学位论文库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112798504A (zh) * 2020-12-07 2021-05-14 西安电子科技大学 大视场高通量流式细胞分析系统及分析方法
CN112836422A (zh) * 2020-12-31 2021-05-25 电子科技大学 干涉与卷积神经网络混合方案测量方法
CN112836422B (zh) * 2020-12-31 2022-03-18 电子科技大学 干涉与卷积神经网络混合方案测量方法
CN113438413A (zh) * 2021-05-27 2021-09-24 长春迈克赛德医疗科技有限公司 一种有形成分分析仪的自动聚焦方法
CN113438413B (zh) * 2021-05-27 2022-04-12 长春迈克赛德医疗科技有限公司 一种有形成分分析仪的自动聚焦方法
CN116259053A (zh) * 2023-05-15 2023-06-13 西南科技大学 基于卷积神经网络的医学显微图像成像焦点预测方法
CN116259053B (zh) * 2023-05-15 2023-07-21 西南科技大学 基于卷积神经网络的医学显微图像成像焦点预测方法

Also Published As

Publication number Publication date
CN111551117B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN111551117B (zh) 显微图像焦点漂移距离的测量方法及系统、计算机设备
US20230342925A1 (en) System and method for calculating focus variation for a digital microscope
TWI774863B (zh) 用於獲得一對準晶粒對晶粒檢測影像之方法，用於半導體晶粒對晶粒檢測影像中之非暫時性電腦可讀儲存媒體，及半導體晶粒對晶粒檢測系統
KR20090018711A (ko) 무한 보정 현미경의 자동 포커싱을 위한 방법 및 장치
CN113267258B (zh) 红外测温方法、装置、设备、智能巡检机器人及存储介质
CN109767425B (zh) 机器视觉光源均匀性评估装置及方法
US20220046180A1 (en) Deep Learning Model for Auto-Focusing Microscope Systems
CN111008945A (zh) 基于机器学习的多像质参数自适应像差矫正方法及装置
CN211627931U (zh) 一种用于显微镜的实时自动对焦系统
Ivanov et al. DeepFocus: a deep learning model for focusing microscope systems
CN109580182B (zh) 基于布儒斯特定律的曲面光学元件折射率测量方法和装置
CN113569679B (zh) 测量断裂伸长率的方法、装置和系统
CN115236093B (zh) 光学检测系统、其控制方法、电子设备及存储介质
CN114659455B (zh) 一种用于测量细丝直径的衍射条纹识别处理方法
CN113923445B (zh) 用于移轴成像条件下的光场相机校准方法及系统
CN113624358B (zh) 用于光热反射显微热成像的三维位移补偿方法及控制装置
KR20070091236A (ko) 결함 입자 측정 장치 및 결함 입자 측정 방법
US20220172327A1 (en) Method for correcting abnormal point cloud
KR101882696B1 (ko) 초점가변 검경으로 구성된 자동검사시스템의 객담 도말시료 검사 방법
Burla et al. Fourier descriptors for defect indication in a multiscale and multisensor measurement system
CN113655610B (zh) 用于光热反射显微热成像的自动对焦方法及控制装置
CN116259053B (zh) 基于卷积神经网络的医学显微图像成像焦点预测方法
CN110807768A (zh) 一种基于mtf的遥感图像质量评价方法
CN117197224B (zh) 一种基于残差网络的拉曼光谱仪自适应聚焦装置和方法
CN108875124B (zh) 提取共焦轴向响应曲线峰值位置的极大值补偿算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant