CN111552069A - 一种基于深度强化学习的显微图像自动聚焦方法及系统 - Google Patents

一种基于深度强化学习的显微图像自动聚焦方法及系统 Download PDF

Info

Publication number
CN111552069A
CN111552069A CN202010314902.8A CN202010314902A CN111552069A CN 111552069 A CN111552069 A CN 111552069A CN 202010314902 A CN202010314902 A CN 202010314902A CN 111552069 A CN111552069 A CN 111552069A
Authority
CN
China
Prior art keywords
focusing
microscopic image
module
depth
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010314902.8A
Other languages
English (en)
Inventor
翟永平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010314902.8A priority Critical patent/CN111552069A/zh
Publication of CN111552069A publication Critical patent/CN111552069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度强化学习的显微图像自动聚焦方法,先根据深度强化学习构建显微图像自动聚焦的训练器,再通过该训练器训练构建的深度Q网络模型,通过训练器和深度Q网络模型的联合使用将现有的被动自动聚焦技术中两个独立部分融合成一体,输入待处理的显微图像,采用一种端到端的学习方法直接对显微图像进行处理,输出Q值从而获得对应的聚焦运动。本发明的方法可有效弱化聚焦评价函数和搜索策略对聚焦性能的影响,同时通过将现有的被动自动聚焦技术中两个独立部分的融合可有效提高聚焦精度和聚焦速度。

Description

一种基于深度强化学习的显微图像自动聚焦方法及系统
技术领域
本发明涉及图像处理技术领域,尤其是一种基于深度强化学习的显微图像自动聚焦方法及系统。
背景技术
自动聚焦是利用显微图像进行细胞检测与识别的首要步骤,且广泛应用于各种疾病的诊断,例如:宫颈癌、结核病等。自动聚焦技术可以分为两大类:主动自动聚焦技术和被动自动聚焦技术。目前大多数自动聚焦方法都是基于被动自动聚焦技术,该被动自动聚焦技术包含两个独立的部分:一是聚焦评价函数,利用聚焦评价函数可计算待评价显微图像的聚焦程度,即图像的清晰度。现有方法中,聚焦评价函数对聚焦性能的影响较大,即对聚焦评价函数的设置要求较高。二是搜索策略,采用搜索策略迭代移动显微镜物镜,以找到聚焦评价值最大时显微镜物镜的位置。搜索策略对聚焦性能的优劣起着决定性的作用,现有的大部分聚焦搜索策略都存在通用性差,算法复杂,搜索时间长,不适用于高精度的显微镜自动聚焦。
因此,现有的自动聚焦技术普遍存在聚焦精度低、聚焦速度慢等问题,亟需一种快速、精准、通用性好的显微图像自动聚焦技术。
发明内容
本发明提供一种基于深度强化学习的显微图像自动聚焦方法及系统,用于克服现有技术中聚焦精度低、聚焦速度慢等缺陷。
为实现上述目的,本发明提出一种基于深度强化学习的显微图像自动聚焦方法,包括:
获取显微图像序列;
根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
为实现上述目的,本发明还提出一种基于深度强化学习的显微图像自动聚焦系统,包括:
图像采集模块,用于获取显微图像序列;
训练器构建模块,用于根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
模型训练模块,用于利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
自动聚焦模块,用于利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
为实现上述目的,本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
与现有技术相比,本发明的有益效果有:
本发明提供的基于深度强化学习的显微图像自动聚焦方法,先根据深度强化学习构建显微图像自动聚焦的训练器,再通过该训练器训练构建的深度Q网络模型,通过训练器和深度Q网络模型的联合使用将现有的被动自动聚焦技术中两个独立部分融合成一体,输入待处理的显微图像,采用一种端到端的学习方法直接对显微图像进行处理,输出Q值从而获得对应的聚焦运动。本发明的方法可有效弱化聚焦评价函数和搜索策略对聚焦性能的影响,同时通过将现有的被动自动聚焦技术中两个独立部分的融合可有效提高聚焦精度和聚焦速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于深度强化学习的显微图像自动聚焦方法流程图;
图2为深度强化学习的基本原理示意图;
图3为本发明实施例中的深度Q网络模型结构图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种基于深度强化学习的显微图像自动聚焦方法,如图1所示,包括:
101获取显微图像序列;
102根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
103利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
深度Q网络模型采用DQN算法,DQN算法融合了神经网络和Q learning的方法。
104利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
本发明提供的基于深度强化学习的显微图像自动聚焦方法中,基于深度强化学习,采用一种端到端的方式,从视觉输入中直接学习自动聚焦策略,采用该策略使显微镜物镜移动到聚焦清晰的位置。
深度强化学习的基本原理如图2所示。由图可知,深度强化学习的基本原理可以表示为一个闭环:智能体(Agent)从离散化的动作空间中选取某个聚焦动作at,并将该聚焦动作at传递给环境(Environment);环境执行该聚焦动作at(Execute at),并触发状态表示从st转换到st+1,同时返回一个奖励rt和一个新的观察xt(本发明中,观察xt为显微镜中实时获取的显微图像)。
从深度强化学习的基本原理可知,深度强化学习的关键在于状态空间、动作空间、奖励函数以及Q函数的设计:
(1)状态空间:
对于本发明的显微图像自动聚焦方法,状态空间包括不同的状态表示st,所述状态表示st即为训练器的输入。
(2)动作空间:
对于本发明的显微图像自动聚焦方法,动作空间包括不同的聚焦动作at
(3)奖励函数:
奖励函数输出的奖励rt指导智能体的学习过程,当输出的rt值较高时,智能体将前一个聚焦动作作为一个好的策略,反之,则训练失败或在很大程度上影响训练速度。进一步地,奖励函数在提供训练终止条件方面也是至关重要的。
(4)Q函数:
深度强化学习的关键就是学习一种动作执行策略,并采用一种函数对当前策略进行描述。通常采用Q函数来描述当前策略,本发明训练一种深度Q网络模型作为描述最佳策略的最优Q函数(DQN)。
在其中一个实施例中,对于步骤101,获取显微图像序列,包括:
在显微镜物镜的景深范围内,控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动,在显微镜物镜移动的每个位置采集一张显微图像,构成一组显微图像;
控制显微镜物镜移动到新的视野,重复上一步骤,再采集一组显微图像;
控制显微镜物镜移动到若干不同的视野,采集若干组显微图像,所述若干组显微图像构成显微图像序列。
在某个实施例中,显微镜物镜的景深范围为-10μm到10μm,步长(即移动间距)恒定为0.5μm,这样,每组显微图像共包含40张显微图像。
在另一个实施例中,对于步骤102,根据深度强化学习构建显微图像自动聚焦的训练器,包括:
根据深度强化学习,构建包括智能模块和评价模块的显微图像自动聚焦的训练器;所述智能模块根据深度强化学习中的智能体(Agent)进行构建;
所述智能模块的输入为状态表示,输出为聚焦动作;所述状态表示包括起始状态表示和一般状态表示st,所述起始状态表示为连续2帧显微图像构成的序列(起始状态表示st={xt,xt-1}),所述一般状态表示为连续2帧显微图像xt以及所述显微图像对应的聚焦动作at构成的序列(一般状态表示st={xt,at,xt-1,at-1});所述聚焦动作包括5个离散化聚焦动作,5个所述离散化聚焦动作分别为粗正步、细正步、终止步、细负步和粗负步;
所述评价模块通过奖励函数对所述智能模块的输出进行评价;所述评价的结果包括正奖励和负奖励,若评价结果为正奖励,则结束训练,若评价结果为负奖励,则继续训练。
本实施例中,起始状态表示(连续2帧显微图像),在训练预先构建的深度Q网络模型时,在初始化时,输入起始状态表示,利用贪婪策略以ε概率选取两个随机的动作分别对应上述两帧图像;再采用连续2帧显微图像xt以及所述显微图像对应的聚焦动作at构成的序列作为一般状态表示,输入训练器对深度Q网络模型进行训练,可有效提高深度Q网络模型的精度。相比现有的设计聚集评价函数从图像中计算清晰度值,将高维的视觉图像输入网络,利用网络从大尺寸的图像中提取高层的特征表示,本发明的方法可以更好的描述聚焦程度,且不随显微图像内容的变化而变化,使聚焦程度过程更鲁棒。
进一步地,考虑到在小邻域内,两帧显微图像的细微差别反映了显微镜失焦的方向,因此,采用连续两帧的显微图像作为输入。
本实施例中,采用由粗到细的思想设计离散化的动作空间,在自动聚焦过程中,可快速、精准地收敛到最佳聚焦位置。
在某个实施例中,粗步(粗正步、粗负步)和细步(细正步、细负步)的移动步长分别为3μm和0.5μm。
在下一个实施例中,所述奖励函数的计算公式为
reward=α·(current_focus-max_focus)+β (1)
式中,α为权重系数;current_focus为当前帧显微图像的聚焦评价值;max_focus为当前视野下聚焦评价值中的最大值;β为100或-100,若当前帧显微图像的聚焦评价值大于设定阈值时β=100,否则β=-100。
在某个实施例中,所述设定阈值为与当前帧显微图像xt同一视野下所有聚焦评价值中最大值的0.9倍,在当前帧显微图像xt的聚焦评价值大于该设定阈值时β=100,即评价的结果为正奖励,此时智能模块停止运行,训练结束;在当前帧显微图像xt的聚焦评价值小于等于该设定阈值时β=-100,即评价的结果为负奖励,此时智能模块继续运行,训练继续。评价模块给出负奖励,表明显微镜物镜执行智能模块输出的聚焦动作at后采集的新的显微图像xt+1超出显微镜景深范围或停留在一个模糊的视野下。
在下一个实施例中,所述聚焦评价值F为LAP聚焦评价值FLAP与ATEN聚焦评价值FATEN的和,即F=FLAP+FATEN
所述LAP聚焦评价值的计算公式为
Figure BDA0002459158890000081
式中,FLAP为当前帧显微图像的LAP聚焦评价值;g(m,n)为像素点位置(m,n)的图像强度值,像素点位置包括(m-1,n)、(m+1,n)、(m,n-1)、(m,n+1)和(m,n);
所述ATEN聚焦评价值的计算公式为
Figure BDA0002459158890000082
式中,FATEN为当前帧显微图像的ATEN聚焦评价值;g(m,n)为像素点位置(m,n)的图像强度值;S和S′(此处为大写字母S)分别为Sobel算子的卷积核及其转置。
在某个实施例中,Sobel算子的卷积核
Figure BDA0002459158890000083
在下一个实施例中,对于步骤103,构建的深度Q网络模型如图3所示,依次包括四个卷积层(conv1、conv2、conv3、conv4)、一个reshape层和两个全连接层(fc1、fc2);
每个所述卷积层均包含一个卷积操作、一个批处理归一化操作和一个校正的线性单元,每个所述卷积层后面均设置有一个最大池化层。
所述reshape层将第四个卷积层输出的多维矩阵reshape成一个256的向量。
reshape层的输出经过两个具有256个节点的全连接层,对最后一个全连接层的输出采用矩阵乘法输出每个动作的对应的Q值,输出的向量大小为5×1。
如图3所示,当深度Q网络模型的输入为一般状态表示时,则模型的输入包括连续2帧显微图像xt,xt+1以及所述显微图像xt,xt+1对应的聚焦动作at,at+1。显微图像xt,xt+1从第一个卷积层顶部输入模型;聚焦动作at,at+1从第二个卷积层底部输入模型,模型利用矩阵的乘法和平铺(tile)操作,将这两个动作转换成与输入的显微图像xt,xt+1的向量具有相同大小的向量,然后将该向量与第二个卷积层底部的输出向量进行级联。
本实施例中,深度Q网络模型的第一个卷积层(conv1)的卷积核尺寸为8×8,步长为4;第二个卷积层(conv2)的卷积核尺寸为6×6,步长为2;第三个卷积层(conv3)的卷积核尺寸为4×4,步长为1;第四个卷积层(conv4)的卷积核尺寸为3×3,步长为1。
四个卷积层(conv1、conv2、conv3、conv4)的特征图数量分别为32、64、64、64。
在下一个实施例中,所述深度Q网络模型通过最小化损失函数更新模型的权重,所述最小化损失函数为:
Lii)=E[(yi-Q(s,a;θi))2] (4)
yi=Es′[rt+γmaxa′Q(s′,a′;θi-1)|s,a] (5)
式中,θi为学习过程中的网络参数;E[.]为Bellman方程;Es′[.]为基于s的下一个连续2帧显微图像的Bellman方程;Q(s,a;θi)与Q(s′,a′;θi-1)为Q函数;yi为第i次迭代的目标Q值;rt为奖励函数输出的奖励值;γ为折扣因子;s和a分别为连续2帧显微图像状态表示和对应的聚焦动作;s′,a′分别为基于s和a的下一个连续2帧显微图像和对应的聚焦动作。注:公式(4)和(5)中的s为小写字母s。
在另一个实施例中,对于步骤103,利用所述显微图像序列和所述训练器,训练预先构建的深度Q网络模型,包括:
301将预先构建的深度Q网络模型加载到所述训练器的智能模块内,初始化所述深度Q网络模型,随机生成所述深度Q网络模型的权重;
还包括初始化智能模块内的回放内存模块D,其大小为N;
302将所述显微图像序列输入所述训练器的智能模块内,利用所述显微图像序列和所述训练器优化所述深度Q网络模型的权重,具体操作包括:
3021从步骤101获取的显微图像序列中随机选取一组显微图像,从所述一组显微图像中随机选取连续2帧显微图像xt,xt+1作为训练的起始状态表示,所述一组显微图像中连续2帧显微图像以及所述显微图像对应的聚焦动作构成的序列{xt,at,xt+1,at+1}作为训练的一般状态表示;所述一组显微图像中包括若干一般状态表示;
3022起始状态表示输入所述智能模块,采用贪婪策略以ε概率选取两个随机的聚焦动作at作为智能模块的输出;
3023一般状态表示输入所述智能模块,深度Q网络模型将对所述一般状态表示进行处理输出各个聚焦动作at对应的Q值,所述智能模块将向所述评价模块输出最大Q值对应的聚焦动作at;控制显微镜物镜执行所述聚焦动作at,并在聚焦动作at后的位置采集一张新的显微图像;所述评价模块将通过所述新的显微图像对智能模块输出的聚焦动作at进行评价并输出评价结果,从而获得一个{st,at,rt,st+1}序列;
3024利用所述一组显微图像中的一般状态表示,迭代步骤3024,获得多个{st,at,rt,st+1}序列,将所有{st,at,rt,st+1}序列存储在回放内存模块D中;从回放内存模块D中随机抽取一个minibatch,执行梯度下降,更新深度Q网络模型中的参数;
3025利用步骤101获取的显微图像序列中的其他组显微图像,重复步骤3021~3024,获得训练好的深度Q网络模型。
在下一个实施例中,对于步骤104,在实际的测试过程中,从显微镜Z轴连续聚焦范围内的随机位置开始,采用贪婪策略以ε概率随机选取一个聚焦动作at,控制显微镜物镜执行该聚焦动作at,得到一个新的观察xt(即采集一张新的显微图像),将xt和at输入到训练后的深度Q网络模型中,输出各个聚焦动作(粗正步、细正步、终止步、细负步和粗负步)对应的Q值(Q values),选取最大Q值对应的聚焦动作at+1,控制显微镜物镜执行该聚焦动作at+1,得到一个新的观察xt+1(即采集一张新的显微图像),将xt+1和at+1输入到训练后的深度Q网络模型中,输出各个聚焦动作对应的Q值(Q values),选取最大Q值对应的聚焦动作at+2,进入下一轮迭代,重复该过程,直到选取的聚焦动作类型为终止步,完成自动聚焦。
本发明还提出一种基于深度强化学习的显微图像自动聚焦系统,包括:
图像采集模块,用于获取显微图像序列;
训练器构建模块,用于根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
模型训练模块,用于利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
自动聚焦模块,用于利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度强化学习的显微图像自动聚焦方法,其特征在于,包括:
获取显微图像序列;
根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
2.如权利要求1所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,获取显微图像序列,包括:
在显微镜物镜的景深范围内,控制显微镜物镜以恒定速度等间距的沿显微镜Z轴移动,在显微镜物镜移动的每个位置采集一张显微图像,构成一组显微图像;
控制显微镜物镜移动到新的视野,重复上一步骤,再采集一组显微图像;
控制显微镜物镜移动到若干不同的视野,采集若干组显微图像,所述若干组显微图像构成显微图像序列。
3.如权利要求2所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,根据深度强化学习构建显微图像自动聚焦的训练器,包括:
根据深度强化学习,构建包括智能模块和评价模块的显微图像自动聚焦的训练器;
所述智能模块的输入为状态表示,输出为聚焦动作;所述状态表示包括起始状态表示和一般状态表示,所述起始状态表示为连续2帧显微图像构成的序列,所述一般状态表示为连续2帧显微图像以及所述显微图像对应的聚焦动作构成的序列;所述聚焦动作包括5个离散化聚焦动作,5个所述离散化聚焦动作分别为粗正步、细正步、终止步、细负步和粗负步;
所述评价模块通过奖励函数对所述智能模块的输出进行评价;所述评价的结果包括正奖励和负奖励,若评价结果为正奖励,则结束训练,若评价结果为负奖励,则继续训练。
4.如权利要求3所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,所述奖励函数的计算公式为
reward=α·(current_focus-max_focus)+β (1)
式中,α为权重系数;current_focus为当前帧显微图像的聚焦评价值;max_focus为当前视野下聚焦评价值中的最大值;β为100或-100,若当前帧显微图像的聚焦评价值大于设定阈值时β=100,否则β=-100。
5.如权利要求3所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,所述聚焦评价值为LAP聚焦评价值与ATEN聚焦评价值的和;
所述LAP聚焦评价值的计算公式为
Figure FDA0002459158880000021
式中,FLAP为当前帧显微图像的LAP聚焦评价值;g(m,n)为像素点位置(m,n)的图像强度值,像素点位置包括(m-1,n)、(m+1,n)、(m,n-1)、(m,n+1)和(m,n);
所述ATEN聚焦评价值的计算公式为
Figure FDA0002459158880000031
式中,FATEN为当前帧显微图像的ATEN聚焦评价值;g(m,n)为像素点位置(m,n)的图像强度值;S和S′分别为Sobel算子的卷积核及其转置。
6.如权利要求3所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,所述深度Q网络模型依次包括四个卷积层、一个reshape层和两个全连接层;
每个所述卷积层均包含一个卷积操作、一个批处理归一化操作和一个校正的线性单元,每个所述卷积层后面均设置有一个最大池化层。
7.如权利要求6所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,所述深度Q网络模型通过最小化损失函数更新模型的权重,所述最小化损失函数为:
Lii)=E[(yi-Q(s,a;θi))2] (4)
yi=Es′[rt+γmaxa′Q(s′,a′;θi-1)|s,a] (5)
式中,θi为学习过程中的网络参数;E[.]为Bellman方程;Es′[.]为基于s的下一个连续2帧显微图像的Bellman方程;Q(s,a;θi)与Q(s′,a′;θi-1)为Q函数;yi为第i次迭代的目标Q值;rt为奖励函数输出的奖励值;γ为折扣因子;s和a分别为连续2帧显微图像状态表示和对应的聚焦动作;s′,a′分别为基于s和a的下一个连续2帧显微图像和对应的聚焦动作。
8.如权利要求7所述的基于深度强化学习的显微图像自动聚焦方法,其特征在于,利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型,包括:
将预先构建在所述智能模块内的深度Q网络模型初始化,随机生成所述深度Q网络模型的权重;
将所述显微图像序列输入所述训练器的智能模块内,利用所述显微图像序列和所述训练器优化所述深度Q网络模型的权重。
9.一种基于深度强化学习的显微图像自动聚焦系统,其特征在于,包括:
图像采集模块,用于获取显微图像序列;
训练器构建模块,用于根据深度强化学习构建显微图像自动聚焦的训练器;所述训练器包括智能模块和评价模块;所述智能模块用于对状态表示进行处理向所述评价模块输出聚焦动作;所述评价模块通过构建的奖励函数对所述智能模块输出的聚焦动作进行评价;
模型训练模块,用于利用所述显微图像序列和所述训练器,训练预先构建在所述智能模块内的深度Q网络模型;
自动聚焦模块,用于利用训练好的深度Q网络模型对待聚焦显微图像进行自动聚焦。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~8中任一项所述方法的步骤。
CN202010314902.8A 2020-04-21 2020-04-21 一种基于深度强化学习的显微图像自动聚焦方法及系统 Pending CN111552069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314902.8A CN111552069A (zh) 2020-04-21 2020-04-21 一种基于深度强化学习的显微图像自动聚焦方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314902.8A CN111552069A (zh) 2020-04-21 2020-04-21 一种基于深度强化学习的显微图像自动聚焦方法及系统

Publications (1)

Publication Number Publication Date
CN111552069A true CN111552069A (zh) 2020-08-18

Family

ID=72002935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314902.8A Pending CN111552069A (zh) 2020-04-21 2020-04-21 一种基于深度强化学习的显微图像自动聚焦方法及系统

Country Status (1)

Country Link
CN (1) CN111552069A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540456A (zh) * 2020-12-03 2021-03-23 重庆奥亚医疗器械有限公司 一种基于仿人清晰度判定的显微镜精密自动对焦方法
CN112662551A (zh) * 2020-12-29 2021-04-16 上海药明生物医药有限公司 一种细胞培养控制方法以及系统
CN113741021A (zh) * 2021-07-19 2021-12-03 南方医科大学南方医院 一种显微镜自动调焦方法及装置
CN114839789A (zh) * 2022-05-20 2022-08-02 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116851A1 (ja) * 2016-12-21 2018-06-28 株式会社ニコン 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
CN109873948A (zh) * 2019-01-30 2019-06-11 中国地质大学(武汉) 一种光学显微镜智能自动聚焦方法、设备及存储设备
US20200029012A1 (en) * 2017-01-03 2020-01-23 University Of Connecticut Single-Frame Autofocusing Using Multi-LED Illumination
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116851A1 (ja) * 2016-12-21 2018-06-28 株式会社ニコン 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
US20200029012A1 (en) * 2017-01-03 2020-01-23 University Of Connecticut Single-Frame Autofocusing Using Multi-LED Illumination
CN109873948A (zh) * 2019-01-30 2019-06-11 中国地质大学(武汉) 一种光学显微镜智能自动聚焦方法、设备及存储设备
CN111007661A (zh) * 2019-12-02 2020-04-14 湖南国科智瞳科技有限公司 一种基于深度学习的显微图像自动聚焦方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REDONDO,R. ETC: "Evaluation of autofocus measures for microscopy images of biopsy and cytology", 《ICO22,SPIE》 *
XIAOFAN YU ETC: "A Robotic Auto-Focus System based on Deep Reinforcement Learning", 《ICARCV》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540456A (zh) * 2020-12-03 2021-03-23 重庆奥亚医疗器械有限公司 一种基于仿人清晰度判定的显微镜精密自动对焦方法
CN112662551A (zh) * 2020-12-29 2021-04-16 上海药明生物医药有限公司 一种细胞培养控制方法以及系统
CN113741021A (zh) * 2021-07-19 2021-12-03 南方医科大学南方医院 一种显微镜自动调焦方法及装置
CN113741021B (zh) * 2021-07-19 2024-01-16 南方医科大学南方医院 一种显微镜自动调焦方法及装置
CN114839789A (zh) * 2022-05-20 2022-08-02 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置
CN114839789B (zh) * 2022-05-20 2023-09-12 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置

Similar Documents

Publication Publication Date Title
CN111552069A (zh) 一种基于深度强化学习的显微图像自动聚焦方法及系统
Liu et al. Progressive neural architecture search
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
CN110874578B (zh) 一种基于强化学习的无人机视角车辆识别追踪方法
EP3933693B1 (en) Object recognition method and device
Bengio et al. Curriculum learning
JP4546157B2 (ja) 情報処理方法、情報処理装置、撮像装置
Jayaraman et al. End-to-end policy learning for active visual categorization
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN110096202B (zh) 一种基于深度强化学习的轻量级图像自动裁剪系统及方法
CN112362066A (zh) 一种基于改进的深度强化学习的路径规划方法
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
CN111352419B (zh) 基于时序差分更新经验回放缓存的路径规划方法及系统
CN113497925A (zh) 一种投影对焦方法及投影对焦装置
US11610129B2 (en) System and method for multiscale deep equilibrium models
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
CN110287829A (zh) 一种结合深度q学习和注意模型的视频人脸识别方法
CN114581486A (zh) 基于全卷积孪生网络多层特征的模板更新目标跟踪算法
CN109558898B (zh) 一种基于深度神经网络的高置信度的多选择学习方法
JP2015114172A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN113744195B (zh) 一种基于深度学习的hRPE细胞微管自动检测方法
CN113326932B (zh) 基于物体检测的物体操作指令跟随学习方法及装置
CN111445024B (zh) 一种医学影像识别训练方法
CN112989088B (zh) 一种基于强化学习的视觉关系实例学习方法
Wang et al. Modeling cell migration with convolutional neural network and deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200818

RJ01 Rejection of invention patent application after publication