CN111007661A - 一种基于深度学习的显微图像自动聚焦方法及装置 - Google Patents

一种基于深度学习的显微图像自动聚焦方法及装置 Download PDF

Info

Publication number
CN111007661A
CN111007661A CN201911212136.8A CN201911212136A CN111007661A CN 111007661 A CN111007661 A CN 111007661A CN 201911212136 A CN201911212136 A CN 201911212136A CN 111007661 A CN111007661 A CN 111007661A
Authority
CN
China
Prior art keywords
image
deep learning
microscopic
images
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911212136.8A
Other languages
English (en)
Other versions
CN111007661B (zh
Inventor
张泰�
王军华
许会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Guokezhitong Technology Co ltd
Original Assignee
Hunan Guokezhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Guokezhitong Technology Co ltd filed Critical Hunan Guokezhitong Technology Co ltd
Priority to CN201911212136.8A priority Critical patent/CN111007661B/zh
Publication of CN111007661A publication Critical patent/CN111007661A/zh
Application granted granted Critical
Publication of CN111007661B publication Critical patent/CN111007661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的显微图像自动聚焦方法及装置，该自动聚焦方法采用深度学习技术，对待聚焦图像进行图像清晰度评估，同时获取待聚焦图像在最清晰聚焦面的近焦区还是远焦区，进而给出调焦过程需要移动的方向，最终获得聚焦好的图像。本发明提供的方法避免了自动聚焦过程中反复移动带来的回程误差，在保证聚焦精度的同时，大大提高了聚焦的速度。

Description

一种基于深度学习的显微图像自动聚焦方法及装置
技术领域
本发明涉及图像处理与模式识别技术领域，尤其是一种基于深度学习的显微图像自动聚焦方法及装置。
背景技术
基于图像处理的自动聚焦算法由于具有速度快、精度高、成本低和体积小等优点，已经成为了现代自动聚焦技术发展的主流。现有的基于图像处理的自动聚焦技术主要包括两类：离焦深度法(IDA)和对焦深度法(IFA)。离焦深度法(IDA)是指建立光学系统的离焦模型，对离焦图像进行分析处理后，计算出弥散斑大小，进而获得深度信息，它的缺点是精度不够，误差较大，还需要精确的相机特性参数。对焦深度法(IFA)是指建立在搜索过程上，对需要采集的图像的清晰度进行评价，找到评价值最大时镜头的坐标。对焦深度法主要涉及对焦评价函数的选择、对焦窗口的选择以及对焦搜索策略的制定，其中对焦搜索策略对聚焦性能的优劣起着决定性的作用，目前的大部分对焦搜索策略都存在通用性较差，速率较慢的缺点，不适用于精度较高的显微镜自动聚焦。
现有的方法，如一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法(公布号CN105652429)，根据细胞载玻片情况选择扫描路径；在机器学习阶段，计算出变步爬山法的步长、门限值以及低灰度值统计法的阈值；在聚焦阶段，选定聚焦策略，经过试探判断焦点方向后进行移动，最后到达焦点位置完成聚焦。但是，该方法存在速率较慢的问题。如一种基于机器学习的光学显微镜自动聚焦方法(公布号CN109507792)，利用光学显微镜采集图片并计算图片的原始特征和组合特征，基于原始特征和组合特征，利用回归树构成的随机森林结合设置的阈值进行迭代训练，得到显微镜需要移动的方向和步长。该基于深度学习的方法计算了大量的特征，虽然在聚焦精度上有较大的提升，但确大大增加了聚焦所需的时间。
因此，现有的自动聚焦技术存在聚焦精度低、聚焦速度慢、计算量大、计算速度慢、通用性差、成本高以及体积大等问题。
发明内容
本发明提供一种基于深度学习的显微图像自动聚焦方法及装置，用于克服现有技术中聚焦精度低、聚焦速度慢、计算量大、计算速度慢、通用性差、成本高以及体积大等缺陷，实现聚焦方法的聚焦精度高、聚焦速度快、计算量较小、计算速度快、通用性好、成本较低以及体积较小。
为实现上述目的，本发明提出一种基于深度学习的显微图像自动聚焦方法，包括：
获取若干原始显微图像；
基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；
输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
为实现上述目的，本发明还提出一种基于深度学习的显微图像自动聚焦装置，包括：
图像获取模块，用于获取若干原始显微图像；
图像处理模块，用于基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
模型训练模块，用于利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
图像自动聚焦模块，用于利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
与现有技术相比，本发明的有益效果有：
1、本发明提供的基于深度学习的显微图像自动聚焦方法，采用深度学习技术，对待聚焦图像进行图像清晰度评估，同时获取待聚焦图像在最清晰聚焦面的近焦区还是远焦区，进而给出调焦过程需要移动的方向，避免了自动聚焦过程中反复移动带来的回程误差，在保证聚焦精度的同时，大大提高了聚焦的速度，节约了成本。
2、本发明提供的基于深度学习的显微图像自动聚焦装置，包括图像获取模块、图像处理模块、模型训练模块和图像自动聚焦模块，采用深度学习的方法，无需选择复杂的聚焦评价函数和设计复杂的聚焦搜索算法，降低了装置的计算量，提高了聚焦的速度，使得装置的可扩展性强，有利于全自动聚焦装置的实现，具有非常重要的应用价值；此外，本装置采用“光、机、电、算”一体化设计思想，将显微成像、精密机械设计、运动控制、图像识别、人机交互等技术进行适配处理和综合优化，使得装置体积得到了显著压缩，这对提升装置的紧凑程度和便携性具有很好的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于深度学习的显微图像自动聚焦方法的流程图；
图2为本发明中训练集和测试集的具体生成过程流程图；
图3为实施例中深度学习模型的具体结构图；
图4为本发明提供的基于深度学习的显微图像自动聚焦装置结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于深度学习的显微图像自动聚焦方法，如图1所示，包括：
101获取若干原始显微图像；
102基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
103利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
104利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；
105输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
在101中，所述原始显微图像为利用显微图像采集设备在不同焦距下拍摄的显微图像。即：
首先固定X、Y轴位置，沿显微图像采集设备载物平台的Z轴移动，每移动一次，玻片扫描影像分析系统软件拍摄一张原始显微图像Ii(x,y)，共拍摄A张原始显微图像，其中i的取值范围为1至A，A的取值范围是500至1000。然后，在上述每一个Z轴位置下，分别沿载物平台上玻片X轴或Y轴方向移动载物平台，每沿X轴或Y轴方向移动一次拍摄一张图像，从而获得一组显微图像(沿Z轴移动一次+沿X轴或Y轴方向移动一次获得的2张显微图像记为一组)。本实施例共采集50组数据，得到N张原始显微图像。
本实施例中，显微图像采集设备采用由光学系统、XYZ三轴高精度移动平台以及图像采集相机组成的数字显微镜。
本实施例中，采集的原始显微图像是经染色后的玻片细胞标本图像。在原始显微图像采集过程中保留采集到的玻片空白区域图像。
在102中，本发明主要针对的是数字显微镜采集的玻片标本显微图像，考虑到显微成像噪声小的特点，选取Laplacian(拉普拉斯)梯度和SMD(灰度差分绝对值之和)灰度方差作为图像清晰度特征。
采用图像的Laplacian梯度特征和SMD灰度方差特征作为深度学习模型的输入，采用图像边缘轮廓与灰度方差作为特征描述子描述聚焦图像和非聚焦图像之间的差异，使得训练出来的模型具有更高的聚焦精度。
所述训练集和测试集的具体生成过程如图2所示，为：
1021基于Laplacian梯度计算每张原始显微图像的图像清晰度特征
Figure BDA0002298425470000071
基于SMD灰度方差计算每张原始显微图像的图像清晰度特征
Figure BDA0002298425470000072
得到所述若干原始显微图像的特征集合
Figure BDA0002298425470000073
N为正整数，N≤N；
Laplacian梯度采用Laplacian算子提取图像的梯度值，所述图像清晰度特征
Figure BDA0002298425470000074
计算公式如下：
Figure BDA0002298425470000075
Figure BDA0002298425470000076
式中，
Figure BDA0002298425470000077
为基于Laplacian梯度的图像清晰度特征；f(x,y)是显微图像f对应像素点(x,y)的灰度值；*为卷积操作；L为Laplacian算子；Q和P分别为行数和列数。
当完全聚焦时，图像最清晰，图像中的高频分量也最多，故可将灰度变化作为图像清晰度评价的依据。所述图像清晰度特征
Figure BDA0002298425470000078
计算公式如下：
Figure BDA0002298425470000079
式中，
Figure BDA00022984254700000710
为基于SMD灰度方差的图像清晰度特征；f(x,y)为显微图像f对应像素点(x,y)的灰度值；f(x+1,y)为显微图像第x+1行、第y列像素的灰度值，f(x,y-1)为显微图像第x行、第y-1列像素的灰度值；Q和P分别为行数和列数。
对在101中采集到的N张原始显微图像，分别基于Laplacian梯度和SMD灰度方差计算获得每张原始显微图像的图像清晰度特征
Figure BDA0002298425470000081
和
Figure BDA0002298425470000082
并将所述N张原始显微图像的这两种图像清晰度特征进行形式表示，从而获得所述N张原始显微图像的特征集合
Figure BDA0002298425470000083
N为正整数。
1022基于显微镜载物平台需沿平台获取每张原始显微图像到移动至聚焦最清晰位置时的移动距离值s，并对所述移动距离值s进行归一化处理，得到每张原始显微图像的标签yN，从而获得所述若干原始显微图像的标签集合Y＝{y1,y2,....,yN}，N为正整数；
显微镜载物平台Z轴的上、下移动由系统控制，系统初始时设置好每次移动的步长，将载物台初始位置假定为1，Z轴每移动一次，位置加1，位置值为1,2,...,n，这样就采集到了不同位置(即不同焦平面)下的原始显微图像。假定最佳聚焦面的位置是10，那么初始位置下采集的原始图像对应的距离值s为10-1＝9。
当移动距离值s＞0，表示当前输出图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动，此时标签yN＝1；
当移动距离值s＜0，表示当前输出图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动，此时标签yN＝-1；
当移动距离值s＝0，表示当前输出图像已准确聚焦，此时标签yN＝0；
即：
Figure BDA0002298425470000084
1023所述N张原始显微图像的特征集合X，标签集合Y构成的集合{X，Y}形成深度学习模型的图像集，并将所述图像集随机的划分为训练集和测试集。
划分训练集和测试集时，考虑到深度学习模型训练需要较大的图像样本，因此在将图像集进行划分时，训练集的图像要比测试集的图像数量多。
在103中，本发明采用的深度学习模型是轻量级深层神经网络模型。相比于传统的卷积神经网络模型，本实施例采用的深度学习模型提出了新的网络框架模型，实现了参数优化，可通过减少参数来进行模型压缩。
所述深度学习模型依次包括：
输入层，用于将输入的显微图像转换成灰度图像；
特征提取与处理层，用于提取输入的显微图像的特征，并用于降低特征的维度；
输出层，用于对显微图像特征进行分类以输出标签值。
所述特征提取与处理层包括若干层交叉分布的卷积处理层和池化层；所述输出层为1层softmax层。
所述卷积处理层包括若干卷积层和若干fire多卷积层；
所述池化层包括若干最大池化层和若干平均池化层；
本实施例中深度学习模型(即轻量级深层神经网络模型)如图3所示，共16层，包括1个输入层，2个卷积层，3个最大池化层，1个平均池化层，8个fire多卷积层和1个softmax层。
输入层，用于将输入的RGB三通道图像转换成灰度图像，如果输入的图像大小不是224×224，输入层可以自动裁减缩放图像大小为224×224。
输入原始显微图像大小为224×224×3，其中3表示输入的是3通道的RGB(代表红、绿、蓝三个通道的颜色)图像。
特征提取与处理层，包括10个卷积层(2个卷积层、8个fire多卷积层)和4个池化层(3个最大池化层、1个平均池化层)交叉分布(具体分布见图3)。
卷积层，用于提取输入显微图像的不同特征，低层卷积层能提取一些低级的特征，如边缘、线条和角等层级，高层卷积层能从低级特征中迭代提取更复杂的特征。每个卷积层的输出都将进行激活函数处理，用于将卷积层输出的特征空间通过激活函数非线性映射到另个空间。因为激活函数都是非线性的，可将卷积层输出的线性特征加入非线性因素，提升模型的表达能力。
池化层，用于降低卷积层输出特征图的维度，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
输出层，为softmax层。
2个卷积层(convl)的卷积核尺寸分别为7×7和1×1，步长分别为2和1，特征图数量依次为96和1000；
3个最大池化层(maxpool)的卷积核尺寸为3×3，步长为2，特征图数量依次为96、256和512；
每个fire多卷积层包括1个squeeze卷积层和2个expand卷积层，squeeze卷积层中卷积核尺寸为1×1，expand卷积层卷积核尺寸分别为1×1和3×3，该expand卷积层对输入的显微图像在边界补充的像素数量为1；8个fire多卷积层(fire2、fire3、fire4、fire5、fire6、fire7、fire8和fire9)的特征图像数量依次为128、128、256、384、384、512和512；
平均池化层(avgpool)的卷积核尺寸为13×13，步长为1，输出维数为1000；
softmax层采用softmax作为激活函数，将平均池化层输入的向量计算输出标签值，完成分类任务。
本实施例所用的轻量级深层神经网络模型提出的新的网络框架模型是指本实施例使用的轻量级深层神经网络模型加入了fire多卷积层。每层所述fire多卷积层运行三次多通道卷积操作，即在1个squeeze层和2个expand层各计算1次多通道卷积，计算公式如下：
Figure BDA0002298425470000111
式中，Fg(x,y,z)为多通道卷积输出特征矩阵中的元素；F(x,y,z)为多通道输入特征矩阵中的元素；x,y分别为特征矩阵中的第x行、第y列，z为特征矩阵中的第z个通道；H(a,b,c)为多通道卷积核中的元素，a,b分别为卷积核中的第a行、第b列，c为多通道卷积核中的第c个通道；I为多通道输入特征矩阵的大小；J为多通道卷积核的大小。
fire多卷积层的输出特征矩阵同样会被ReLU函数激活。
最大池化层将对输入的特征矩阵进行下采样操作，
U(x′,y′,z′)＝max(max(0,Fg(x+m,y+n,z+k))) (6)
式中，U(x′,y′,z′)为最大池化层输出特征矩阵中的元素；m，n，k为[0，ΔI]中的整数，ΔI是下采样的步长；Fg(x,y,z)为多通道卷积输出特征矩阵中的元素，x,y分别为特征矩阵中的第x行、第y列，z为特征矩阵中的第z个通道。
本发明采用的深度学习模型将池化采样层操作延后，可以给卷积层提供更大的激活图，更大的激活图保留了更多的信息，可以提供更高的分类准确率。同时，本发明提供的深度学习模型本身就采用模型压缩技术，实现了参数的优化，使得训练出来的模型很小，可以在FPGA或嵌入式硬件上部署。
深度学习模型(即轻量级深层神经网络模型)在本质上是一种输入到输出的映射，其能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对其进行训练，其就能具有输入到输出之间的映射能力。
本实施例中采用的训练方式是，将深度学习模型安装在Ubuntu16.0系统上的Pytorch环境进行训练。具体做法是：将在102中生成的训练集作为深度学习模型的输入，然后进行卷积、激活、最大池化、多层卷积、平均池化等操作，完成输入信息在模型中的前向传播，最后采用softmax完成分类输出。在训练过程中，初始学习率设置为0.04，在训练过程中线性降低学习率以使训练的模型更佳精确。
在104中，将在102中生成的测试集输入103训练好的深度学习模型中，经过该训练好的深度学习模型后输出与测试集内每张显微图像一一对应的标签类别(1，-1，0)。
若输出标签值不为零，则根据输出标签值的正负可以控制显微镜载物平台沿Z轴的哪个方向移动。
在105中，将104中输出标签为1或-1图像相对应的显微镜载物平台需沿平台Z轴向上或向下移动后，用上述显微图像采集设备重新采集图像，并将重新采集的图像再次输入训练好的深度学习模型中进行分类，若输出为0，则结束操作；若输出不为0，则继续进行“将显微镜载物平台需沿平台Z轴向上或向下移动后，用上述显微图像采集设备重新采集图像，并将重新采集的图像再次输入训练好的深度学习模型中进行分类”的操作，直至输出为0。
本发明方法采用深度学习策略实现快速自动聚焦，相比于现有的自动聚焦算法(需要进行反复的对比搜索，才能找到最佳的聚焦面)，本发明仅需一次就能判断输入图像是否在最佳聚焦面，并能根据输出控制显微镜往最佳聚焦面方向移动，省去了繁琐的对比搜索过程，大大节省了自动聚焦时间。
本发明还提出一种基于深度学习的显微图像自动聚焦装置，如图4所示，包括：
图像获取模块，用于获取若干原始显微图像；
图像处理模块，用于基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
模型训练模块，用于利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
图像自动聚焦模块，用于利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的显微图像自动聚焦方法，其特征在于，包括：
获取若干原始显微图像；
基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；
输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
2.如权利要求1所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述原始显微图像为利用显微图像采集设备在不同焦距下拍摄的显微图像。
3.如权利要求1所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述训练集和测试集的具体生成过程为：
基于Laplacian梯度计算每张原始显微图像的图像清晰度特征
Figure FDA0002298425460000011
基于SMD灰度方差计算每张原始显微图像的图像清晰度特征
Figure FDA0002298425460000012
得到所述若干原始显微图像的特征集合
Figure FDA0002298425460000013
N为正整数；
基于显微镜载物平台需沿平台获取每张原始显微图像到移动至聚焦最清晰位置时的移动距离值s，并对所述移动距离值s进行归一化处理，得到每张原始显微图像的标签yN，从而获得所述若干原始显微图像的标签集合Y＝{y1,y2,....,yN}，N为正整数；
所述若干原始显微图像的特征集合X，标签集合Y构成的集合{X，Y}形成深度学习模型的图像集，并将所述图像集随机的划分为训练集和测试集。
4.如权利要求3所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述图像清晰度特征
Figure FDA0002298425460000021
计算公式如下：
Figure FDA0002298425460000022
Figure FDA0002298425460000023
式中，
Figure FDA0002298425460000024
为基于Laplacian梯度的图像清晰度特征；f(x,y)是显微图像f对应像素点(x,y)的灰度值；*为卷积操作；L为Laplacian算子；Q和P分别为行数和列数；
所述图像清晰度特征
Figure FDA0002298425460000025
计算公式如下：
Figure FDA0002298425460000026
式中，
Figure FDA0002298425460000027
为基于SMD灰度方差的图像清晰度特征；f(x,y)为显微图像f对应像素点(x,y)的灰度值；f(x+1,y)为显微图像第x+1行、第y列像素的灰度值，f(x,y-1)为显微图像第x行、第y-1列像素的灰度值；Q和P分别为行数和列数。
5.如权利要求1所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述深度学习模型为轻量级深层神经网络模型，依次包括：
输入层，用于将输入的显微图像转换成灰度图像；
特征提取与处理层，用于提取输入的显微图像的特征，并用于降低特征的维度；
输出层，用于对显微图像特征进行分类以输出标签值。
6.如权利要求5所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述特征提取与处理层包括若干层交叉分布的卷积处理层和池化层；所述输出层为1层softmax层。
7.如权利要求6所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述卷积处理层包括若干卷积层和若干fire多卷积层；
所述fire多卷积层包括1个squeeze层和2个expand层，用于对输入的特征矩阵进行多通道卷积操作，
Figure FDA0002298425460000031
式中，Fg(x,y,z)为多通道卷积输出特征矩阵中的元素；F(x,y,z)为多通道输入特征矩阵中的元素；x,y分别为特征矩阵中的第x行、第y列，z为特征矩阵中的第z个通道；H(a,b,c)为多通道卷积核中的元素，a,b分别为卷积核中的第a行、第b列，c为多通道卷积核中的第c个通道；I为多通道输入特征矩阵的大小；J为多通道卷积核的大小。
8.如权利要求6所述的基于深度学习的显微图像自动聚焦方法，其特征在于，所述池化层包括若干最大池化层和若干平均池化层；
所述最大池化层用于对输入的特征矩阵进行下采样操作，
U(x′,y′,z′)＝max(max(0,Fg(x+m,y+n,z+k))) (5)
式中，U(x′,y′,z′)为最大池化层输出特征矩阵中的元素；m，n，k为[0，ΔI]中的整数，ΔI是下采样的步长；Fg(x,y,z)为多通道卷积输出特征矩阵中的元素。
9.一种基于深度学习的显微图像自动聚焦装置，其特征在于，包括：
图像获取模块，用于获取若干原始显微图像；
图像处理模块，用于基于图像清晰度特征将所述若干原始显微图像分成训练集和测试集；
模型训练模块，用于利用训练集对搭建的深度学习模型进行训练，以确定所述深度学习模型的权重参数和输入到输出的映射关系；
图像自动聚焦模块，用于利用训练好的深度学习模型对测试集进行自动聚焦，若输出标签值为-1，则当前图像处于近焦区，显微镜载物平台需沿平台Z轴向下移动；若输出标签值为1，则当前图像处于远焦区，显微镜载物平台需沿平台Z轴向上移动；若输出标签值为0，则图像已准确聚焦；输出标签值为-1和1的图像，将显微镜载物平台需沿平台Z轴向下或向上移动后，再次获取图像并输入训练好的深度学习模型进行自动聚焦，直至输出的标签值为0。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述方法的步骤。
CN201911212136.8A 2019-12-02 2019-12-02 一种基于深度学习的显微图像自动聚焦方法及装置 Active CN111007661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911212136.8A CN111007661B (zh) 2019-12-02 2019-12-02 一种基于深度学习的显微图像自动聚焦方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911212136.8A CN111007661B (zh) 2019-12-02 2019-12-02 一种基于深度学习的显微图像自动聚焦方法及装置

Publications (2)

Publication Number Publication Date
CN111007661A true CN111007661A (zh) 2020-04-14
CN111007661B CN111007661B (zh) 2022-02-22

Family

ID=70112491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911212136.8A Active CN111007661B (zh) 2019-12-02 2019-12-02 一种基于深度学习的显微图像自动聚焦方法及装置

Country Status (1)

Country Link
CN (1) CN111007661B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552069A (zh) * 2020-04-21 2020-08-18 中国人民解放军国防科技大学 一种基于深度强化学习的显微图像自动聚焦方法及系统
CN111551117A (zh) * 2020-04-29 2020-08-18 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
CN111629147A (zh) * 2020-06-04 2020-09-04 中国科学院长春光学精密机械与物理研究所 基于卷积神经网络的自动调焦方法及系统
CN111626933A (zh) * 2020-05-14 2020-09-04 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及系统
CN111626936A (zh) * 2020-05-22 2020-09-04 湖南国科智瞳科技有限公司 一种显微图像的快速全景拼接方法及系统
CN112381896A (zh) * 2020-11-13 2021-02-19 湖南国科智瞳科技有限公司 一种显微图像的亮度校正方法及系统、计算机设备
CN112433339A (zh) * 2020-12-10 2021-03-02 济南国科医工科技发展有限公司 基于随机森林的显微镜精细对焦方法
CN112650014A (zh) * 2020-12-24 2021-04-13 四川长虹电器股份有限公司 投影设备调焦马达回程误差的计算方法及投影控制系统
CN113588798A (zh) * 2021-07-28 2021-11-02 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN113741021A (zh) * 2021-07-19 2021-12-03 南方医科大学南方医院 一种显微镜自动调焦方法及装置
GB2595873A (en) * 2020-06-09 2021-12-15 Ffei Ltd A method for analysing scanning efficacy
CN116432435A (zh) * 2023-03-29 2023-07-14 浙江大学 一种基于显微视觉的微力估计方法
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117689892A (zh) * 2024-02-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375651A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备
CN108427961A (zh) * 2018-02-11 2018-08-21 陕西师范大学 基于卷积神经网络的合成孔径聚焦成像深度评估方法
WO2019103909A1 (en) * 2017-11-21 2019-05-31 The Regents Of The University Of California Portable microscopy device with enhanced image performance using deep learning and methods of using the same
CN109902577A (zh) * 2019-01-25 2019-06-18 华中科技大学 一种轻量级手势检测卷积神经网络模型的构建方法及应用
CN109936696A (zh) * 2019-02-28 2019-06-25 深圳大学 基于神经网络的光纤端面自动对焦的方法和相关装置
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375651A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备
WO2019103909A1 (en) * 2017-11-21 2019-05-31 The Regents Of The University Of California Portable microscopy device with enhanced image performance using deep learning and methods of using the same
CN108427961A (zh) * 2018-02-11 2018-08-21 陕西师范大学 基于卷积神经网络的合成孔径聚焦成像深度评估方法
CN109902577A (zh) * 2019-01-25 2019-06-18 华中科技大学 一种轻量级手势检测卷积神经网络模型的构建方法及应用
CN109936696A (zh) * 2019-02-28 2019-06-25 深圳大学 基于神经网络的光纤端面自动对焦的方法和相关装置
CN110248101A (zh) * 2019-07-19 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENBO REN 等: "Learning-based nonparametric autofocusing for", 《OPTICA》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552069A (zh) * 2020-04-21 2020-08-18 中国人民解放军国防科技大学 一种基于深度强化学习的显微图像自动聚焦方法及系统
CN111551117A (zh) * 2020-04-29 2020-08-18 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
CN111551117B (zh) * 2020-04-29 2021-07-20 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
CN111626933A (zh) * 2020-05-14 2020-09-04 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及系统
CN111626933B (zh) * 2020-05-14 2023-10-31 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及系统
CN111626936A (zh) * 2020-05-22 2020-09-04 湖南国科智瞳科技有限公司 一种显微图像的快速全景拼接方法及系统
CN111626936B (zh) * 2020-05-22 2023-05-12 湖南国科智瞳科技有限公司 一种显微图像的快速全景拼接方法及系统
CN111629147A (zh) * 2020-06-04 2020-09-04 中国科学院长春光学精密机械与物理研究所 基于卷积神经网络的自动调焦方法及系统
GB2595873A (en) * 2020-06-09 2021-12-15 Ffei Ltd A method for analysing scanning efficacy
GB2595873B (en) * 2020-06-09 2023-01-25 Ffei Ltd A method for analysing scanning efficacy
CN112381896A (zh) * 2020-11-13 2021-02-19 湖南国科智瞳科技有限公司 一种显微图像的亮度校正方法及系统、计算机设备
CN112433339B (zh) * 2020-12-10 2022-04-15 济南国科医工科技发展有限公司 基于随机森林的显微镜精细对焦方法
CN112433339A (zh) * 2020-12-10 2021-03-02 济南国科医工科技发展有限公司 基于随机森林的显微镜精细对焦方法
CN112650014A (zh) * 2020-12-24 2021-04-13 四川长虹电器股份有限公司 投影设备调焦马达回程误差的计算方法及投影控制系统
CN113741021A (zh) * 2021-07-19 2021-12-03 南方医科大学南方医院 一种显微镜自动调焦方法及装置
CN113741021B (zh) * 2021-07-19 2024-01-16 南方医科大学南方医院 一种显微镜自动调焦方法及装置
CN113588798A (zh) * 2021-07-28 2021-11-02 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN113588798B (zh) * 2021-07-28 2024-02-09 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN116432435A (zh) * 2023-03-29 2023-07-14 浙江大学 一种基于显微视觉的微力估计方法
CN116432435B (zh) * 2023-03-29 2024-02-09 浙江大学 一种基于显微视觉的微力估计方法
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117132646B (zh) * 2023-10-26 2024-01-05 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117689892A (zh) * 2024-02-02 2024-03-12 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法
CN117689892B (zh) * 2024-02-02 2024-04-09 中国科学院长春光学精密机械与物理研究所 遥感影像焦面的判别方法

Also Published As

Publication number Publication date
CN111007661B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN111007661B (zh) 一种基于深度学习的显微图像自动聚焦方法及装置
KR20200057618A (ko) 불균형 예측을 위한 전경-배경-인식 앳로우즈 다중스케일 네트워크
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN111083365B (zh) 一种最佳焦平面位置快速检测方法及装置
JP2022510622A (ja) 画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN106709421B (zh) 一种基于变换域特征和cnn的细胞图像识别分类方法
CN108600638B (zh) 摄像机自动调焦系统及方法
CN111126385A (zh) 一种可变形活体小目标的深度学习智能识别方法
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN109671031B (zh) 一种基于残差学习卷积神经网络的多光谱图像反演方法
CN106031148A (zh) 成像设备，成像设备中自动对焦的方法以及对应计算机程序
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
Jin et al. Learning to see through reflections
CN113902698A (zh) 一种基于智能视觉控制的无人机云台渐进式目标对焦方法
CN113538545B (zh) 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
CN113237881B (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN111462005A (zh) 处理显微图像的方法、装置、计算机设备及存储介质
WO2013025173A1 (en) A method and system for tracking motion of microscopic objects within a three-dimensional volume
CN112069735B (zh) 一种基于非对称像差的全切片数字成像高精度自动聚焦法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
GB2610426A (en) System and method for identifying and counting biological species

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant