CN105652429A - 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 - Google Patents
一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 Download PDFInfo
- Publication number
- CN105652429A CN105652429A CN201610165283.4A CN201610165283A CN105652429A CN 105652429 A CN105652429 A CN 105652429A CN 201610165283 A CN201610165283 A CN 201610165283A CN 105652429 A CN105652429 A CN 105652429A
- Authority
- CN
- China
- Prior art keywords
- length
- image
- value
- slide glass
- carrier table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,本发明涉及基于机器学习的显微镜细胞载玻片扫描自动聚焦方法。本发明的目的是为了解决现有聚焦速度慢、计算量大、计算速度慢的问题。具体过程为:一、开始;二、根据载玻片情况选择螺旋扫描、蛇形扫描或随机蛇形扫描以及待扫描区域的数量;三、计算出低灰度值统计法的阈值、门限和三个步长大小;四、按照选择扫描方式控制载物平台沿XY轴移动到下一个待采集图像区域;五、控制载物平台到达焦点;摄像头采集当前区域图像;六、判断采集当前区域图像数量是否满足步骤二中待扫描区域的数量,若满足,则执行七,若没满足,则执行四;七、结束。本发明应用于显微镜聚焦领域。
Description
技术领域
本发明涉及基于机器学习的显微镜细胞载玻片扫描自动聚焦方法。
背景技术
显微镜在病理检查中起着重要作用,无论是做细胞病理还是组织病理,医生都需要将相应的标本制成载玻片并染色,然后置于显微镜下观察得出结论。传统的人工阅片方法给医生带来了繁重的劳动,而且容易造成误诊。近年来,随着仪器自动化、智能化的发展,自动阅片技术开始出现并迅速发展。该技术通过计算机控制显微镜连续移动并拍摄清晰的镜下图像,然后进行分析识别后列出异常细胞。由于引入了自动控制和机器学习,这一技术能协助医生,有效降低医生的工作强度,提高医生的诊断精度。
自动阅片的关键技术之一是扫描载玻片以获得清晰图像。包括两个重要的方面:扫描和聚焦。扫描的目的在于控制显微镜平台移动,使得镜头遍历载玻片上被扫描区域的各个位置。聚焦的目的在于控制平台上下移动以拍摄到清晰的图像。
在扫描策略方面,目前采用的方法是人工辅助找到焦点,扫描的方式单一。在聚焦方面,目前的显微镜聚焦方法主要可以分为两大类:第一类是主动聚焦方法通过测量镜头与被拍摄物体之间距离,然后将镜头移动到焦点位置达到聚焦的目的。这类方法通常要依赖于测距方法,其复杂度高,成本大,难以实现。第二类被动方法以图像信号为反馈,通过计算图像清晰度并比较不同位置图像清晰度的变化趋势实现自动聚焦。随着图像处理技术的进步,被动聚焦技术被广泛应用于显微镜自动显微镜中。
影响显微镜聚焦算法的两个重要因素是清晰度评价函数和焦点位置搜索方法。在清晰度评价函数方面,目前广泛使用的评价函数有绝对方差函数、平面微分平方和函数、拉普拉斯算子等评价函数。存在的问题是,由于这些函数适用范围不具有针对性,因此对于细胞载玻片的聚焦,不同的函数的焦点位置也不相同,不能满足现在聚焦精度的要求。由于不必要的计算量过多,使得每次聚焦的速度大大减慢,不能满足聚焦速度的要求。在焦点搜索方法方面,典型的方法有爬山搜索法,从初始位置移动,比较移动前后位置的值,来判定是否处于“爬山”状态,确定方向后继续移动,直至出现小于当前位置的值后确定到达焦点位置。全局搜索法,既以一定的步长在一定的调焦范围从一端逐步搜索到另一端,然后得出焦点位置。这两种方法均存在的问题是,固定的步长会加大聚焦移动的步数和计算的次数,因而影响聚焦的速度。随着技术的更新,现所使用的设备均以更换至高清摄像头,分辨率高,采集的图片尺寸大,这更加加重了现有聚焦评价函数的计算时间。因此提出了一种能保证聚焦精度前提下的高速聚焦方法具有重要的意义。
发明内容
本发明的目的是为了解决现有聚焦速度慢、计算量大、计算速度慢的问题,而提出一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法。
上述的发明目的是通过以下技术方案实现的:
步骤一、开始;
步骤二、根据载玻片情况选择螺旋扫描、蛇形扫描或随机蛇形扫描以及待扫描区域的数量;
由用户根据载玻片中细胞数量决定扫描方式;载玻片中细胞数量稀疏,选择螺旋扫描;载玻片中细胞数量较多且制片均匀,选择蛇形扫描;需要在三分钟内完成快速扫片,选择随机蛇形扫描;
步骤三、在进行载玻片全片扫描前,通过控制载物平台按步骤二选择的扫描方式沿XY轴移动,在载玻片上随机选择5个区域采样,每个区域通过聚焦得到一张最清晰照片,然后根据5张最清晰照片计算出低灰度值统计法(LGV)的阈值、变步爬山法聚焦策略中的门限和控制载物平台沿Z轴移动的三个步长大小,三个步长分别为:最小步长s1,小步长s2,大步长s3;并控制载物平台移动到载玻片中心点;
步骤四、按照步骤二选择扫描方式控制载物平台沿XY轴移动到下一个待采集图像区域;
步骤五、通过控制载物平台沿Z轴移动,改变载玻片到物镜之间的距离并使用变步爬山法,结合步骤三和步骤四,搜索步骤四中待采集图像的焦点位置,分为两个部分;
第一个部分是寻找焦点位置阶段,通过对当前Z轴位置图像使用灰度零值评价函数(GZV)计算,来确定焦点位置所在方向以及到焦点位置的大致距离,并采用变步爬山法策略修改Z轴移动步长的大小,然后移动到焦点附近位置;
第二个部分是确定焦点位置,采用Z轴移动的最小步长和LGV来确定焦点位置,并控制载物平台到达焦点;摄像头采集当前区域图像;
这一步骤是聚焦的核心,前几步是移动平台到待采集图像的区域,这一步是聚焦,就是将通过改变载玻片到物镜的距离让图像变得清晰,图像最清晰的位置就是焦点位置。
步骤六、判断采集当前区域图像数量是否满足步骤二中待扫描区域的数量,若满足,则执行步骤七,若没满足,则执行步骤四;
步骤七、结束。
发明效果
本发明提供了一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法。首先在扫描路径规划阶段,根据细胞载玻片情况确定选择扫描路径;然后在学习阶段,得到变步爬山法的步长、门限值以及低灰度值统计法的阈值;在聚焦阶段,首先使用灰度零值法判断当前位置以确定使用哪种聚焦策略,如果当前位置处于距离焦点较远处时,使用灰度零值法并使用大步长,经过试探判断焦点方向后进行移动,当位置处于焦点附近时选用较小步长,使用低灰度值统计法,经过试探判断焦点方向后进行移动,最后到达焦点位置聚焦完成。通过本发明所提供的方法能够实现显微镜的快速扫描载玻片和自动聚焦。提出的两种评价函数计算量小,计算速度快,与拉普拉斯算法相比,80张图片计算速度从52秒减少到2秒。变步爬山法与传统的爬山法相比可减少5-10次的移动速度。单次聚焦时间缩短为1.8秒左右。
附图说明
图1是门限位置图;
图2是聚焦评价函数与步长和门限的关系图;
图3是聚焦位置;
图4是聚焦过程图;
图5为本发明流程图。
具体实施方式
具体实施方式一:结合图5说明本实施方式,本实施方式的一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,具体是按照以下步骤制备的:
步骤一、开始;
步骤二、根据载玻片情况选择螺旋扫描、蛇形扫描或随机蛇形扫描以及待扫描区域的数量;
由用户根据载玻片中细胞数量决定扫描方式;载玻片中细胞数量稀疏,选择螺旋扫描;载玻片中细胞数量较多且制片均匀,选择蛇形扫描;需要在三分钟内完成快速扫片,选择随机蛇形扫描;
步骤三、在进行载玻片全片扫描前,通过控制载物平台按步骤二选择的扫描方式沿XY轴移动,在载玻片上随机选择5个区域采样,每个区域通过聚焦得到一张最清晰照片,然后根据5张最清晰照片计算出低灰度值统计法(LGV)的阈值、变步爬山法聚焦策略中的门限和控制载物平台沿Z轴移动的三个步长大小,三个步长分别为:最小步长s1,小步长s2,大步长s3;并控制载物平台移动到载玻片中心点;
步骤四、按照步骤二选择扫描方式控制载物平台沿XY轴移动到下一个待采集图像区域;
步骤五、通过控制载物平台沿Z轴移动,改变载玻片到物镜之间的距离并使用变步爬山法,结合步骤三和步骤四,搜索步骤四中待采集图像的焦点位置,分为两个部分;
第一个部分是寻找焦点位置阶段,通过对当前Z轴位置图像使用灰度零值评价函数(GZV)计算,来确定焦点位置所在方向以及到焦点位置的大致距离,并采用变步爬山法策略修改Z轴移动步长的大小,然后移动到焦点附近位置;
第二个部分是确定焦点位置,采用Z轴移动的最小步长和LGV来确定焦点位置,并控制载物平台到达焦点;摄像头采集当前区域图像;
这一步骤是聚焦的核心,前几步是移动平台到待采集图像的区域,这一步是聚焦,就是将通过改变载玻片到物镜的距离让图像变得清晰,图像最清晰的位置就是焦点位置。
步骤六、判断采集当前区域图像数量是否满足步骤二中待扫描区域的数量,若满足,则执行步骤七,若没满足,则执行步骤四;
步骤七、结束。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤二中随机蛇形扫描的具体过程为:
随机蛇形扫描中随机概率P是由每次扫描区域的数量而定,公式为:
其中,q是步骤二确定的待扫描区域的数量,A是载玻片可扫描的区域数量;
在进行蛇形移动过程中,每一个位置扫描之前都进行一次概率预判,概率预判过程为:生成一个0~1之间的随机数,如果小于P则为预判选中,反之为预判不选中,如果预判为选中,则对此区域进行扫描,否则跳过扫描,并控制载物平台按步骤二选择的扫描方式沿XY轴移动至下一个待采集图像区域。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述步骤三中在进行载玻片全片扫描前,通过控制载物平台按步骤二选择的扫描方式沿XY轴移动,在载玻片上随机选择5个区域采样,每个区域通过聚焦得到一张最清晰照片,然后根据5张最清晰照片计算出低灰度值统计法(LGV)的阈值、变步爬山法聚焦策略中的门限和控制载物平台沿Z轴移动的三个步长大小,三个步长分别为:最小步长s1,小步长s2,大步长s3;具体过程为:
步骤三一、通过控制载物平台沿Z轴上下移动到载玻片有效图像附近,设定为起始位置,从起始位置开始上下搜索,找到一张最清晰的图像,继续将载物平台上升移动,直到图像完全模糊,然后用电子显微镜最小有效步长S控制载物平台沿Z轴向下移动一个最小有效步长S的距离,并采集每次移动后的图像,直到图像完全模糊即可停止移动,共采集N幅图像,并控制载物平台回归起始位置;
步骤三二、找到N幅图像中每一幅图像的最小灰度值,获得一个集合{h1,h2,h3…hk…hn},hk为第k张图像的最小灰度值,选取其中最大值hi作为低灰度值统计法(LGV)的阈值T,1≤k≤n,1≤i≤n;
步骤三三、使用低灰度值统计法(LGV)计算N幅图像中每幅图像LGV的值,可获得集合{V1,V2,V3…Vn},并找出最大值Vi,1≤i≤n;
步骤三四、取从Vi到Vj之间的元素,其中,j>i且Vj<Vi,通过比较判断Vi到Vj之间的元素是否单调,其中,j>i且Vj<Vi;
单调是判断元素是否严格按照从小到大,或者从大到小排列。
如果不单调,利用栅栏法去掉从Vi到Vj之间元素的一半,并将电子显微镜最小有效步长S增大2倍,重复步骤三四;
如果单调,则电子显微镜最小有效步长S为变步爬山法聚焦策略中的最小步长s1,执行步骤三五;
步骤三五、通过控制电子显微镜载物平台沿XY轴移动,分别在载玻片中心点以及载玻片除中心点外的四个随机位置利用低灰度值统计法(LGV)聚焦采集五张清晰的图像,然后控制载物平台移动到载玻片中心点;
步骤三六、对五张清晰的图像进行灰度零值评价函数(GZV)计算,获得一个集合{g1,g2,g3,g4,g5},计算其中的均值得到G,G=(g1+g2+g3+g4+g5)/5;设置G1=G+20作为小步长的门限;G2=G+45作为大步长的门限;
所述,g1为对五张清晰的图像中的第一张进行灰度零值评价函数计算的结果,g2为对五张清晰的图像中的第二张进行灰度零值评价函数计算的结果,g3为对五张清晰的图像中的第三张进行灰度零值评价函数计算的结果,g4为对五张清晰的图像中的第四张进行灰度零值评价函数计算的结果,g5为对五张清晰的图像中的第五张进行灰度零值评价函数计算的结果;
步骤三七、通过对步骤三一中采集N幅图像进行GZV计算得到如图1的聚焦曲线图,根据G1、G2的值得到四个随机位置的四个聚焦位置X4>X3>X2>X1,其中X2与X3之间距离的一半为小步长s1,X1与X4之间距离的一半为步长s2;如图1可见,在聚焦过程中,如果当前位置在X2与X3之间步长为s1,在X1与X2或者X3与X4之间步长为s2,聚焦位置小于X1或者大于X4步长为s3(在X1左侧或者X4右侧步长为s2);
s为显微镜最小有效步长,s1为聚焦策略最小步长,s2为聚焦策略小步长,s3为聚焦策略大步长。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述,电子显微镜最小有效步长S是给定的,不同显微镜的有效步长不同,现所使用的显微镜最小有效步长S是1um;
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述步骤三中低灰度值统计法(LGV)是通过计算图像中灰度值小于T的像素点的个数;
计算公式为:
其中,m、n是图像的长和宽,f(i,j)是对应坐标像素点的灰度值,T为低灰度值统计法(LGV)的阈值,x为灰度值;f1(x)为分段函数,i为该像素点对应图像中的行数,j为该像素点对应图像中的列数。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:所述步骤五中通过控制载物平台沿Z轴移动,改变载玻片到物镜之间的距离并使用变步爬山法,结合步骤三和步骤四搜索步骤四中待采集图像的焦点位置,分为两个部分;
第一个部分是寻找焦点位置阶段,通过对当前Z轴位置图像使用灰度零值评价函数(GZV)计算,来确定焦点位置所在方向以及到焦点位置的大致距离,并采用变步爬山法策略修改Z轴移动步长的大小,然后移动到焦点附近位置;
第二个部分是确定焦点位置,采用Z轴移动的最小步长和LGV来;确定焦点位置,并控制载物平台到达焦点;摄像头采集当前区域图像;
这一步骤是聚焦的核心,前几步是移动平台到待采集图像的区域,这一步是聚焦,就是将通过改变载玻片到物镜的距离让图像变得清晰,图像最清晰的位置就是焦点位置。
具体过程为:
步骤五一、摄像头采集当前显微镜载物平台距离物镜的相对位置Z1的图像,并计算出此图像的GZV值g1,根据变步爬山法确定步长的大小,如果g1>G2,则步长为s3,跳转至步骤五二;如果G1<g1<G2,则步长为s2,跳转至步骤五二;如果g1<G1,则步长为s1,跳转至步骤五四;
其中位置Z1是上一个扫描区域通过聚焦后Z轴停留的位置;在这里我解释一下,步骤四的移动控制的是载物平台的XY方向,不改变Z轴的位置,所以步骤五的位置是上一个扫描区域通过聚焦后Z轴停留的位置。
所述,GZV为灰度零值评价函数;
步骤五二、通过电机控制显微镜载物平台沿Z轴向上移动一个步长到距离物镜的相对位置Z2,摄像机采集当前位置Z2的图像,并计算出此图像的GZV的值g2,如果g2大于g1则改变默认方向为下;如果g2小于等于g1,则默认方向为上;跳转至步骤五三;
其中位置Z2是相对Z1向上移动一个步长的位置,也就是Z2=Z1+步长;
步骤五三、向默认方向控制显微镜载物平台沿Z轴移动一个步长,步长大小由步骤五一决定,并采集当前位置图像计算出GZV的值g3,根据变步爬山法确定步长的大小;如果g3<G1,则步长为s1,跳转至步骤五四;如果g3>G2,则步长为s3,重复步骤五三;如果G1<g3<G2,则步长为s2,重复步骤五三;
步骤五四、摄像机采集当前显微镜载物平台距离物镜的相对位置Z3的图像,并计算出LGV的值L3,并根据变步爬山法确定步长的大小为s1;跳转至步骤五五;
步骤五五、向默认方向控制显微镜载物平台沿Z轴移动一个步长s1到Z4,采集图像并计算出其LGV的值L4,如果L4大于L3则不改变默认方向;否则改变默认方向并移动一个步长s1回到原来位置Z3;跳转至步骤五六;
步骤五六、通过控制显微镜载物平台沿Z轴向默认方向移动一个步长s1,并使用LGV计算出对应的值Li,i为第i个位置;跳转至步骤五七;
步骤五七、如果出现Ln第n个位置的LGV值大于Ln-1第n-1个位置的LGV值,则重复步骤五六,直到出现Ln第n个位置的LGV值小于Ln-1第n-1个位置的LGV值,控制显微镜载物平台沿Z轴向默认方向的反向移动一个步长s1回到上一个位置Ln-1,此位置为焦点位置,聚焦结束,并控制载物平台到达焦点;摄像头采集当前区域图像。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是:所述GZV(灰度零值评价函数)是通过计算图像中未出现的灰度值的个数;
计算公式为:
其中,H(i)表示灰度值为i的像素点个数。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八:本实施方式与具体实施方式一至七之一不同的是:所述变步爬山法是一种结合两种聚焦函数即灰度零值评价函数(GZV)和低灰度值统计法(LGV)以及三种步长的搜索策略;
变步长爬山法的步长一共有三种:
第一种情况是当前位置处于焦点附近时,也就是当前位置图像计算的GZV值小于G1时,聚焦函数采用低灰度值统计法,步长选用s3;
第二种情况是当前位置远离焦点但是依然能够看到图像的区域,也就是当前位置图像计算的GZV值小于G2大于G1,聚焦函数采用灰度零值比较法,步长选用s2;
第三种情况是当前位置离焦点更远的地方,只能隐约看到图像的区域,也就是当前位置图像计算的GZV值大于G2,聚焦函数采用灰度零值比较法,步长选用s1。
其它步骤及参数与具体实施方式一至七之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法具体是按照以下步骤制备的:
为了更加清楚地说明本发明的实施例的目的、技术方案和优点更加清楚,下面结合附图对本发明进行进一步说明。
本发明的一个实施例子为:
此发明应用到我们自行研发的“癌细胞自动检测仪”中,该系统有PC机、全自动显微镜、全高清摄像机、以及细胞分析软件组成。
该系统中的自动全片扫描部分应用了我们上述发明“一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法”,首先用户将细胞载玻片安放在载物台上之,并根据载玻片的制片情况选择一种扫描路径,然后启动扫描,进入学习阶段,具体步骤如下:
S1、显微镜的载物台将移动到预定位置,从预设位置开始上下搜索,找到一张清晰的图像,继续将物镜上升到焦点之上,然后用最小的有效步长s,控制物镜向下移动一个步长的距离,并采集每次移动后的图像,直到图像完全模糊即可停止移动,并回归预设位置。
S2、通过计算获得N幅图片中出现过最小的灰度值h,可以获得一个集合{h1,h2,h3…hn},选取其中最大值hi作为LGV的阈值T。
S3、使用LGV计算每幅图片的值,可获得集合{V1,V2,V3…Vn},并找出最大值Vi。
S4、取从Vi到Vj(j>i且Vj<Vi)之间的元素,判断每幅图片LGV的值是否单调。如果不单调,利用栅栏法去掉一半,并将步长s增大2倍。重复S4直到单调为止,得到最后的s作为微调聚焦的步长。
S5、通过控制平台移动,分别在载玻片中心点以及中心点周围四个随即位置利用LGV聚焦采集五张清晰的图像。
S6、通过对采样图片使用GZV函数计算,可以获得一个集合{g1,g2,g3,g4,g5},计算其中的均值得到G。G1=G+20作为小步长的门限。G2=G+45作为大步长的门限。
S7、通过对之前获得的N副照片使用GZV计算得到如图1的聚焦曲线图,其中X2与X3之间距离的一半为小步长s1,X1与X4之间距离的一半为大步长s2。如图1可见,在聚焦过程中,如果当前位置在X2与X3之间步长为s,在X1与X2或者X3与X4之间步长为s1,在X1左侧或者X4右侧步长为s2。聚焦评价函数与步长和门限的关系如图2所示。
其中步骤S2中的低灰度值统计法(LGV),是通过计算该图像中灰度值小于T的像素点的个数。
计算公式为:
其中,H(i)表示灰度值为i的像素点个数。
其中步骤S6中的灰度零值法(GZV),是通过计算该图像中未出现的灰度值的个数。
计算公式为:
其中,m、n是图像的长和宽,f(i,j)是对应坐标像素点的灰度值,T为阈值,x为灰度值;f1(x)为分段函数。
确定阈值、步长和门限后,进入扫描聚焦阶段。首先移动至所选扫描方式的预设位置,开始聚焦,然后采样,再移动至下一个位置,直至全部扫描结束。
其中聚焦的具体步骤如下:
S1、采集当前位置Z1的图像计算出GZV的值g1,如果g1>G2,则步长为s2,跳转至S2;如果G2<g1<G1,则步长为s1,跳转至S2;如果g1>G1,则步长为s,跳转至S4。
S2、通过电机控制Z轴使物镜向上移动到Z2,采集图像并计算出GZV的值g2,如果g2大于g1则改变默认方向为下,否则默认方向为上。
S3、向默认方向控制物镜移动一个步长,采集当前位置图像计算出GZV的值,根据门限确定步长的大小。重复S3直到其GZV得到的值达到微调聚焦的门限。
S4、采集当前位置Z3的图像计算出LGV的值L3。
S5、通过电机控制Z轴使物镜以步长s向上移动到Z4,采集图像并计算出其LGV的值L4,如果L4大于L3则不改变默认方向;否则改变默认方向并移动s步长回到原来位置Z3。
S6、通过电机控制Z轴使物镜以步长s向默认方向移动一个步长s,并使用LGV计算出对应的值Ln。
S7、如果出现的值Ln大于Ln-1则重复S5,直到出现Ln小于Ln-1,控制Z轴是物镜向默认方向的反向移动一个步长s回到位置Ln-1,此位置为焦点位置,聚焦结束。聚焦位置如图3所示。
聚焦过程如图4所示。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法具体是按照以下步骤进行的:
步骤一、开始;
步骤二、根据载玻片情况选择螺旋扫描、蛇形扫描或随机蛇形扫描以及待扫描区域的数量;
步骤三、在进行载玻片全片扫描前,通过控制载物平台按步骤二选择的扫描方式沿XY轴移动,在载玻片上随机选择至少5个区域采样,每个区域通过聚焦得到一张最清晰照片,然后根据5张最清晰照片计算出低灰度值统计法的阈值、变步爬山法的门限和控制载物平台沿Z轴移动的三个步长大小,三个步长分别为:最小步长s1,小步长s2,大步长s3;并控制载物平台移动到载玻片中心点;
步骤四、按照步骤二选择扫描方式控制载物平台沿XY轴移动到下一个待采集图像区域;
步骤五、通过控制载物平台沿Z轴移动,改变载玻片到物镜之间的距离并使用变步爬山法,结合步骤三和步骤四,搜索步骤四中待采集图像的焦点位置,确定焦点位置,并控制载物平台到达焦点;摄像头采集当前区域图像;
步骤六、判断采集当前区域图像数量是否满足步骤二中待扫描区域的数量,若满足,则执行步骤七,若没满足,则执行步骤四;
步骤七、结束聚焦。
2.根据权利要求1所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述步骤二中随机蛇形扫描的具体过程为:
随机蛇形扫描中随机概率P是由每次扫描区域的数量而定,公式为:
其中,q是步骤二确定的待扫描区域的数量,A是载玻片可扫描的区域数量;
在进行蛇形移动过程中,每一个位置扫描之前都进行一次概率预判,概率预判过程为:生成一个0~1之间的随机数,如果小于P则为预判选中,反之为预判不选中,如果预判为选中,则对此区域进行扫描,否则跳过扫描,并控制载物平台按步骤二选择的扫描方式沿XY轴移动至下一个待采集图像区域。
3.根据权利要求2所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述步骤三中在进行载玻片全片扫描前,通过控制载物平台按步骤二选择的扫描方式沿XY轴移动,在载玻片上随机选择5个区域采样,每个区域通过聚焦得到一张最清晰照片,然后根据5张最清晰照片计算出低灰度值统计法的阈值、变步爬山法的门限和控制载物平台沿Z轴移动的三个步长大小,三个步长分别为:最小步长s1,小步长s2,大步长s3;具体过程为:
步骤三一、通过控制载物平台沿Z轴移动到载玻片,设定为起始位置,从起始位置开始搜索,找到一张最清晰的图像,继续将载物平台上升移动,直到图像完全模糊,然后用电子显微镜最小有效步长S控制载物平台沿Z轴向下移动一个最小有效步长S的距离,并采集每次移动后的图像,直到图像完全模糊即可停止移动,共采集N幅图像,并控制载物平台回归起始位置;
步骤三二、找到N幅图像中每一幅图像的最小灰度值,获得一个集合{h1,h2,h3…hk…hn},hk为第k张图像的最小灰度值,选取其中最大值hi作为低灰度值统计法的阈值T,1≤k≤n,1≤i≤n;
步骤三三、使用低灰度值统计法计算N幅图像中每幅图像LGV的值,可获得集合{V1,V2,V3…Vn},并找出最大值Vi,1≤i≤n;
步骤三四、取从Vi到Vj之间的元素,其中,j>i且Vj<Vi,通过比较判断Vi到Vj之间的元素是否单调,其中,j>i且Vj<Vi;
如果不单调,利用栅栏法去掉从Vi到Vj之间元素的一半,并将电子显微镜最小有效步长S增大2倍,重复步骤三四;
如果单调,则电子显微镜最小有效步长S为变步爬山法中的最小步长s1,执行步骤三五;
步骤三五、通过控制电子显微镜载物平台沿XY轴移动,分别在载玻片中心点以及载玻片除中心点外的四个随机位置利用低灰度值统计法聚焦采集五张清晰的图像,然后控制载物平台移动到载玻片中心点;
步骤三六、对五张清晰的图像进行灰度零值评价函数计算,获得一个集合{g1,g2,g3,g4,g5},计算其中的均值得到G,G=(g1+g2+g3+g4+g5)/5;设置G1=G+20作为小步长的门限;G2=G+45作为大步长的门限;
所述,g1为对五张清晰的图像中的第一张进行灰度零值评价函数计算的结果,g2为对五张清晰的图像中的第二张进行灰度零值评价函数计算的结果,g3为对五张清晰的图像中的第三张进行灰度零值评价函数计算的结果,g4为对五张清晰的图像中的第四张进行灰度零值评价函数计算的结果,g5为对五张清晰的图像中的第五张进行灰度零值评价函数计算的结果;
步骤三七、通过对步骤三一中采集N幅图像进行GZV计算得到聚焦曲线图,根据G1、G2的值得到四个随机位置的四个聚焦位置X4>X3>X2>X1,其中X2与X3之间距离的一半为小步长s1,X1与X4之间距离的一半为步长s2;在聚焦过程中,如果当前位置在X2与X3之间步长为s1,在X1与X2或者X3与X4之间步长为s2,聚焦位置小于X1或者大于X4步长为s3;
S为显微镜最小有效步长,s1为最小步长,s2为小步长,s3为大步长。
4.根据权利要求3所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述电子显微镜最小有效步长S是1um。
5.根据权利要求4所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述步骤三中低灰度值统计法是通过计算图像中灰度值小于T的像素点的个数;
计算公式为:
其中,m、n是图像的长和宽,f(i,j)是对应坐标像素点的灰度值,T为低灰度值统计法的阈值,x为灰度值;f1(x)为分段函数,i为该像素点对应图像中的行数,j为该像素点对应图像中的列数。
6.根据权利要求5所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述步骤五中通过控制载物平台沿Z轴移动,改变载玻片到物镜之间的距离并使用变步爬山法,结合步骤三和步骤四搜索步骤四中待采集图像的焦点位置;确定焦点位置,并控制载物平台到达焦点;摄像头采集当前区域图像;具体过程为:
步骤五一、摄像头采集当前显微镜载物平台距离物镜的相对位置Z1的图像,并计算出此图像的GZV值g1,根据变步爬山法确定步长的大小,如果g1>G2,则步长为s3,跳转至步骤五二;如果G1<g1<G2,则步长为s2,跳转至步骤五二;如果g1<G1,则步长为s1,跳转至步骤五四;
其中位置Z1是上一个扫描区域通过聚焦后Z轴停留的位置;
所述,GZV为灰度零值评价函数;
步骤五二、通过电机控制显微镜载物平台沿Z轴向上移动一个步长到距离物镜的相对位置Z2,摄像机采集当前位置Z2的图像,并计算出此图像的GZV的值g2,如果g2大于g1则改变默认方向为下;如果g2小于等于g1,则默认方向为上;跳转至步骤五三;
其中位置Z2是相对Z1向上移动一个步长的位置;
步骤五三、向默认方向控制显微镜载物平台沿Z轴移动一个步长,步长大小由步骤五一决定,并采集当前位置图像计算出GZV的值g3,根据变步爬山法确定步长的大小;如果g3<G1,则步长为s1,跳转至步骤五四;如果g3>G2,则步长为s3,重复步骤五三;如果G1<g3<G2,则步长为s2,重复步骤五三;
步骤五四、摄像机采集当前显微镜载物平台距离物镜的相对位置Z3的图像,并计算出LGV的值L3,并根据变步爬山法确定步长的大小为s1;跳转至步骤五五;
步骤五五、向默认方向控制显微镜载物平台沿Z轴移动一个步长s1到Z4,采集图像并计算出其LGV的值L4,如果L4大于L3则不改变默认方向;否则改变默认方向并移动一个步长s1回到原来位置Z3;跳转至步骤五六;
步骤五六、通过控制显微镜载物平台沿Z轴向默认方向移动一个步长s1,并使用LGV计算出对应的值Li,i为第i个位置;跳转至步骤五七;
步骤五七、如果出现Ln第n个位置的LGV值大于Ln-1第n-1个位置的LGV值,则重复步骤五六,直到出现Ln第n个位置的LGV值小于Ln-1第n-1个位置的LGV值,控制显微镜载物平台沿Z轴向默认方向的反向移动一个步长s1回到上一个位置Ln-1,此位置为焦点位置,聚焦结束,并控制载物平台到达焦点;摄像头采集当前区域图像。
7.根据权利要求6所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述GZV是通过计算图像中未出现的灰度值的个数;
计算公式为:
其中,H(i)表示灰度值为i的像素点个数。
8.根据权利要求7所述一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法,其特征在于:所述变步爬山法是一种结合两种聚焦函数即灰度零值评价函数和低灰度值统计法以及三种步长的搜索策略;
变步爬山法的步长一共有三种:
当前位置图像计算的GZV值小于G1时,聚焦函数采用低灰度值统计法,步长选用s3;
当前位置图像计算的GZV值小于G2大于G1,聚焦函数采用灰度零值比较法,步长选用s2;
当前位置图像计算的GZV值大于G2,聚焦函数采用灰度零值比较法,步长选用s1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610165283.4A CN105652429B (zh) | 2016-03-22 | 2016-03-22 | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610165283.4A CN105652429B (zh) | 2016-03-22 | 2016-03-22 | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105652429A true CN105652429A (zh) | 2016-06-08 |
CN105652429B CN105652429B (zh) | 2018-07-17 |
Family
ID=56495258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610165283.4A Active CN105652429B (zh) | 2016-03-22 | 2016-03-22 | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105652429B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107505698A (zh) * | 2017-07-17 | 2017-12-22 | 中国家用电器研究院 | 一种生物的识别计数装置及方法 |
CN107995521A (zh) * | 2017-12-07 | 2018-05-04 | 南京熊猫电子制造有限公司 | 一种用于智能阅片的医疗显示器一体机控制系统 |
CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技(武汉)有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
CN109087356A (zh) * | 2018-06-29 | 2018-12-25 | 齐鲁工业大学 | 基于机器视觉的医学载玻片的识别定位方法、系统及装置 |
CN109085695A (zh) * | 2018-08-08 | 2018-12-25 | 杭州上池科技有限公司 | 一种用于平面样本快速对焦拍照的方法 |
CN109507792A (zh) * | 2018-12-27 | 2019-03-22 | 湖南品信生物工程有限公司 | 一种基于机器学习的光学显微镜自动聚焦方法 |
CN109612992A (zh) * | 2018-11-26 | 2019-04-12 | 深圳辉煌耀强科技有限公司 | 一种宫颈脱落细胞涂片的快速扫描方法及其系统 |
CN110476101A (zh) * | 2017-06-13 | 2019-11-19 | 谷歌有限责任公司 | 用于病理学的增强现实显微镜 |
DE102018219867A1 (de) * | 2018-11-20 | 2020-05-20 | Leica Microsystems Cms Gmbh | Lernender Autofokus |
CN111474103A (zh) * | 2019-01-24 | 2020-07-31 | 武汉兰丁医学高科技有限公司 | 一种骨髓细胞载玻片自动聚焦扫描方法及系统 |
CN113438413A (zh) * | 2021-05-27 | 2021-09-24 | 长春迈克赛德医疗科技有限公司 | 一种有形成分分析仪的自动聚焦方法 |
CN113822877A (zh) * | 2021-11-17 | 2021-12-21 | 武汉中导光电设备有限公司 | Aoi设备显微镜缺陷检测图片质量评价方法及系统 |
CN113984765A (zh) * | 2021-11-15 | 2022-01-28 | 东莞市迈聚医疗科技有限公司 | 一种血液或寄生虫的检测分析方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281384A (ja) * | 1996-04-17 | 1997-10-31 | Citizen Watch Co Ltd | オートフォーカス制御装置 |
CN101814129A (zh) * | 2009-02-19 | 2010-08-25 | 中国科学院自动化研究所 | 自动对焦的远距离虹膜图像获取装置、方法和识别系统 |
CN102998787A (zh) * | 2012-07-24 | 2013-03-27 | 中华人民共和国南京出入境检验检疫局 | 一种显微镜下纤维横截面切片对焦数字图像获取方法 |
US20140313313A1 (en) * | 2000-05-03 | 2014-10-23 | Leica Biosystems Imaging, Inc. | Fully automatic rapid microscope slide scanner |
CN104181685A (zh) * | 2014-07-29 | 2014-12-03 | 杭州卓腾信息技术有限公司 | 基于显微镜的数字切片自动聚焦装置及其方法 |
CN105158892A (zh) * | 2015-08-27 | 2015-12-16 | 镇江超纳仪器有限公司(中外合资) | 一种实现干涉测量快速聚焦的方法 |
-
2016
- 2016-03-22 CN CN201610165283.4A patent/CN105652429B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281384A (ja) * | 1996-04-17 | 1997-10-31 | Citizen Watch Co Ltd | オートフォーカス制御装置 |
US20140313313A1 (en) * | 2000-05-03 | 2014-10-23 | Leica Biosystems Imaging, Inc. | Fully automatic rapid microscope slide scanner |
CN101814129A (zh) * | 2009-02-19 | 2010-08-25 | 中国科学院自动化研究所 | 自动对焦的远距离虹膜图像获取装置、方法和识别系统 |
CN102998787A (zh) * | 2012-07-24 | 2013-03-27 | 中华人民共和国南京出入境检验检疫局 | 一种显微镜下纤维横截面切片对焦数字图像获取方法 |
CN104181685A (zh) * | 2014-07-29 | 2014-12-03 | 杭州卓腾信息技术有限公司 | 基于显微镜的数字切片自动聚焦装置及其方法 |
CN105158892A (zh) * | 2015-08-27 | 2015-12-16 | 镇江超纳仪器有限公司(中外合资) | 一种实现干涉测量快速聚焦的方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110476101A (zh) * | 2017-06-13 | 2019-11-19 | 谷歌有限责任公司 | 用于病理学的增强现实显微镜 |
US11594024B2 (en) | 2017-06-13 | 2023-02-28 | Google Llc | Augmented reality microscope for pathology |
CN107505698B (zh) * | 2017-07-17 | 2024-01-12 | 中国家用电器研究院 | 一种生物的识别计数装置及方法 |
CN107505698A (zh) * | 2017-07-17 | 2017-12-22 | 中国家用电器研究院 | 一种生物的识别计数装置及方法 |
CN107995521A (zh) * | 2017-12-07 | 2018-05-04 | 南京熊猫电子制造有限公司 | 一种用于智能阅片的医疗显示器一体机控制系统 |
CN109087356A (zh) * | 2018-06-29 | 2018-12-25 | 齐鲁工业大学 | 基于机器视觉的医学载玻片的识别定位方法、系统及装置 |
CN108982500B (zh) * | 2018-07-03 | 2020-07-14 | 怀光智能科技(武汉)有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技(武汉)有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
CN109085695A (zh) * | 2018-08-08 | 2018-12-25 | 杭州上池科技有限公司 | 一种用于平面样本快速对焦拍照的方法 |
DE102018219867A1 (de) * | 2018-11-20 | 2020-05-20 | Leica Microsystems Cms Gmbh | Lernender Autofokus |
DE102018219867B4 (de) * | 2018-11-20 | 2020-10-29 | Leica Microsystems Cms Gmbh | Lernender Autofokus |
US11971529B2 (en) | 2018-11-20 | 2024-04-30 | Leica Microsystems Cms Gmbh | Learning autofocus |
CN109612992A (zh) * | 2018-11-26 | 2019-04-12 | 深圳辉煌耀强科技有限公司 | 一种宫颈脱落细胞涂片的快速扫描方法及其系统 |
CN109612992B (zh) * | 2018-11-26 | 2021-07-23 | 深圳辉煌耀强科技有限公司 | 一种宫颈脱落细胞涂片的快速扫描方法及其系统 |
CN109507792B (zh) * | 2018-12-27 | 2021-07-06 | 湖南品信生物工程有限公司 | 一种基于机器学习的光学显微镜自动聚焦方法 |
CN109507792A (zh) * | 2018-12-27 | 2019-03-22 | 湖南品信生物工程有限公司 | 一种基于机器学习的光学显微镜自动聚焦方法 |
CN111474103A (zh) * | 2019-01-24 | 2020-07-31 | 武汉兰丁医学高科技有限公司 | 一种骨髓细胞载玻片自动聚焦扫描方法及系统 |
CN113438413B (zh) * | 2021-05-27 | 2022-04-12 | 长春迈克赛德医疗科技有限公司 | 一种有形成分分析仪的自动聚焦方法 |
CN113438413A (zh) * | 2021-05-27 | 2021-09-24 | 长春迈克赛德医疗科技有限公司 | 一种有形成分分析仪的自动聚焦方法 |
CN113984765A (zh) * | 2021-11-15 | 2022-01-28 | 东莞市迈聚医疗科技有限公司 | 一种血液或寄生虫的检测分析方法 |
CN113822877A (zh) * | 2021-11-17 | 2021-12-21 | 武汉中导光电设备有限公司 | Aoi设备显微镜缺陷检测图片质量评价方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105652429B (zh) | 2018-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105652429A (zh) | 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法 | |
CN103175469B (zh) | 增强型边缘聚焦工具及利用该工具的聚焦方法 | |
US20120236120A1 (en) | Automatic stereological analysis of biological tissue including section thickness determination | |
CN104820328B (zh) | 一种基于离焦模型曲线计算准焦位置的快速自动对焦方法 | |
CN105938243A (zh) | 一种tft-lcd检测中多倍率显微镜快速对焦方法 | |
CN111007661A (zh) | 一种基于深度学习的显微图像自动聚焦方法及装置 | |
CN105049723B (zh) | 基于离焦量差异定性分析的自动对焦方法 | |
CN111462075B (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 | |
CN106341596B (zh) | 一种聚焦方法和装置 | |
DE102009029478A1 (de) | System und Verfahren für einen schnellen ungefähren Fokus | |
CN108345085A (zh) | 聚焦方法和聚焦系统 | |
CN103257510A (zh) | 一种快速自动调焦方法 | |
CN107390356A (zh) | 基于激光光斑图像自动聚焦的方法 | |
CN103354599A (zh) | 一种应用于动光源场景的自动聚焦方法和装置 | |
CN109361849A (zh) | 一种自动对焦的算法 | |
CN110324536A (zh) | 一种用于显微相机的图像变化自动感知对焦方法 | |
CN101545774B (zh) | 基于单图像的距离测定方法 | |
CN106878617B (zh) | 一种对焦方法及系统 | |
CN109671031A (zh) | 一种基于残差学习卷积神经网络的多光谱图像反演方法 | |
CN111474103B (zh) | 一种骨髓细胞载玻片自动聚焦扫描方法及系统 | |
CN116149041A (zh) | 一种基于深度学习的裂像自动对焦方法 | |
CN117579814B (zh) | 基于对焦检测的镜头快速检测方法 | |
CN111505793A (zh) | 基于方差和全局搜索策略的显微操作自动聚焦方法及系统 | |
CN117555123B (zh) | 一种电子显微镜自动对焦方法及装置 | |
CN113744195A (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210204 Address after: 518000 1-5 / F, building 1, Tangtou Nangang No.3 Industrial Park, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN DONGHUI PRECISION MECHANICAL & ELECTRICAL Co.,Ltd. Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY |