CN111474103B

CN111474103B - 一种骨髓细胞载玻片自动聚焦扫描方法及系统

Info

Publication number: CN111474103B
Application number: CN201910069049.5A
Authority: CN
Inventors: 庞宝川; 陈哲; 柳家胜; 刘娟; 孙小蓉
Original assignee: Wuhan Lanting Intelligent Medicine Co ltd
Current assignee: Wuhan Lanting Intelligent Medicine Co ltd
Priority date: 2019-01-24
Filing date: 2019-01-24
Publication date: 2023-04-07
Anticipated expiration: 2039-01-24
Also published as: CN111474103A

Abstract

本发明供开了一种基于骨髓细胞载玻片自动聚焦扫描方法及系统，将实现多个骨髓涂片自动化聚焦扫描，形成数字化图像，可以通过网络实现同一骨髓涂片异地阅片。本发明中一种骨髓细胞载玻片自动聚焦扫描方法通过特定的图像清晰度计算方式计算图像清晰度作为图像反馈信号调整骨髓细胞聚焦成像的焦点所在位置，快速实现骨髓细胞成像的聚焦过程，可以克服现有扫描聚焦系统数字化的速度和成像清晰度无法兼顾的问题。

Description

一种骨髓细胞载玻片自动聚焦扫描方法及系统

技术领域

本发明涉及医疗病理分析技术领域，具体为一种骨髓细胞载玻片自动聚焦扫描方法及系统。

背景技术

在传统病理诊断中病理医生通过人眼在显微镜下观察骨髓涂片中的白细胞种类和数量，为各类白血病提供诊断依据，是一个非常复杂、繁琐、耗时的任务，且容易受主观因素影响。随着计算机辅助方法的快速发展及相关计算硬件的更新迭代，使得计算机自动分析辅助诊断成为可能，计算机自动分析辅助诊断的基础就是骨髓细胞载玻片的数字化。骨髓细胞载玻片的数字化的过程包括聚焦、扫描、拼接成像三个步骤，其中聚焦算法的复杂度决定了扫描速度的快慢、精度决定了成像后的清晰度。

由于骨髓图像载玻片制片涂层厚薄不一，染色质量的高低不同，导致骨髓图像载玻片扫描数字化的过程中同一视野内所有细胞可能无法同时清晰从而影响后期骨髓细胞图像数字化后的图像拼接结果以及一系列相关计算机辅助诊断流程。现有的聚焦算法无法在保证速度的情况下同时保证数字化后图像中感兴趣区域的清晰度。

发明内容

本发明的目的在于提供一种骨髓细胞载玻片自动聚焦扫描方法及系统，以针对现有技术中骨髓细胞载玻片数字化的速度和成像清晰度无法很好兼顾的问题。

为实现上述目的，本发明提供如下技术方案：一种骨髓细胞载玻片自动聚焦扫描方法，该方法包括以下步骤：

步骤1、根据待扫描区域坐标(StartX,StartY,Width,Height)及视野间距(X_dist,Y_Dist)计算需要扫描的视野数目，得到横向X方向需要扫描的列数ColNums和纵向Y方向扫描的行数RowNums；

步骤2、随机生成合适的起始点(X_Start,Y_Start)记为起始视野的坐标；

步骤3、从起始点(X_Start,Y_Start)开始按照预定扫描方式进行全片扫描，全片扫描时当前视野所在初始焦点位置将根据8邻域中已扫描区域的焦点位置进行预估计，然后通过变长StepChange来寻找清晰度极值点获取真实焦点位置。

进一步，所述的步骤2中随机生成的起始点还包括以下步骤：

2-a)设置实数Seed为0；

2-b)实数seed加1，使用随机函数生成一个位于待扫描区域(StartX,StartY,Width,Height)的种子点(RanX,RanY)；

2-c)使物镜移动到种子点(RanX,RanY)，对当前视野进行粗聚焦，每次Z轴方向位移OffsetZ与当前视野清晰度Sharpness相关，Offset＝(1-Sharpness)*Step1，方向与清晰度差一致，若找到焦平面即清晰度Sharpness>LowRanges，则进行下一步；否则当seed<10时转步骤2-b)，当seed>＝10时转步骤2-f)；

2-d)在焦平面进行细聚焦，每次Z轴方向位移OffsetZ与当前视野清晰度Sharpness相关，Offset＝(1-Sharpness)*Step2,方向与清晰度差一致，通过计算聚焦后采集的视野图像的清晰度，取清晰度为极值点的Z轴位移为当前图像焦点所在位置；

2-e)标记种子点(RanX,RanY)所在视野为已扫描区域，记录焦点所在Z轴位移；

2-f)由于无法找到焦平面，此样本需要人为干预调整参数进行扫描，此次扫描失败。

进一步，所述的步骤3中变长StepChange的初始值与当前视野图像8邻域中已扫描区域的焦点位置有关，具体的关联如下：

3-a)设置变长StepChange为0，当前视野记为NowField；

3-b)寻找8邻域中已扫描区域的个数及其对应焦点位置，相对应记为FocusNums，{FocusPosition1,FocusPosition2,…,FocusPositionN}；

3-c)当FocusNums为1时，StepChange更新为FocusPosition1；

3-d)当FocusNums为2时，StepChange更新为X方向或者是Y方向邻域的焦点位置；

3-e)当FocusNums为4时，StepChange更新为邻域中4个焦点位置的平均值；

进一步，该方法通过特定的图像清晰度计算方法计算图像清晰度作为图像反馈信号调整骨髓细胞聚焦成像的焦点所在位置，快速实现骨髓细胞成像的聚焦过程，所述的图像清晰度计算方法，还包括以下步骤：

Focus-1)将原始RGB图像转换成灰度图像GrayImg；

Focus-2)对灰度图像GrayImg进行小波变换，得到近似分量cA、水平细节分量cH、垂直细节分量cV和对角细节分量cD；

Focus-3)按照公式1计算权重W；

W＝cH²+cV² (1)

Focus-4)将图像横纵方向按照小波变换后的尺寸下采样，生成下采样图DownsampleImg；

Focus-5)计算下采样图DownsampleImg的平均强度MeanIntensity及相邻像素的方差NeighborVariance；

Focus-6)按照公式2计算权重Weight，Smallconstant为一个较小的常数，防止除数为0，此处设置为1e-4；

Focus-7)利用sobel算子得到下采样图DownsampleImg的边缘图像EdgeImg；

Focus-8)按照公式3更新边缘图像EdgeImg；

Edgelmg＝Edgelmg＊W⁴＊Weight (3)

Focus-9)计算清晰度Sharpness；

Focus-9-a)当EdgeImg全为0时，Sharpness等于0；否则执行下一步；

Focus-9-b)计算不同波段的对数能量，得到近似能量cAE、水平能量cHE、垂直能量cVE和对角能量cDE；

Focus-9-c)按照公式4更新清晰度Sharpness；

一种骨髓细胞载玻片自动聚焦扫描系统，所述的该系统包括载玻片自动模块、参数初始化模块、扫描模块、实时化显示模块及扫描虚拟化显示模块：

所述的载玻片自动模块：自动从待处理骨髓细胞载玻片凹槽中取出一张骨髓细胞载玻片，读取载玻片二维码内的待扫描区域的信息(StartX,StartY,Width,Height)确定待扫描区域，且当前载玻片扫描结束后自动移动控制台将骨髓细胞载玻片放入已处理载玻片凹槽。

所述的参数初始化模块：主要包括1)设置扫描时视野区域的重叠度OverLap，避免因硬件设备的误差产生成像后部分断裂的现象，设置扫描时的视野间距(X_dist,Y_Dist)，控制控制台切换视野时的在X、Y方向的移动步长；

2)控制台复位；

3)自动扫描相关参数自动化，还包括以下步骤：

a)白平衡调节：随机生成一个当前待扫描区域的视野，采用骨髓细胞自动聚焦方法进行聚焦，当此时视野内细胞面积少于Low_Limit，进行白平衡调节，使得成像图像色度更接近于显微镜成像色度；否则移动扫描位置直至完成白平衡调节；

b)光强调节：计算当前视野内细胞数是否高于Low_Limit，是则调节曝光值Exposure使得光强处于正常范围Normal_Range，否则移动扫描位置直至完成光强调节；

4)设定扫描方式，包括蛇形、稀疏行，环形，默认扫描方式为蛇形扫描；

所述的扫描模块：以当前视野所在位置为扫描起始点，使用骨髓细胞自动扫描聚焦方法进行待扫描区域的扫描工作；

所述的实时化显示模块：将当前视野图像显示在实时视野区，实时显示扫描过程中采集的图像，方便观察扫描过程中是否聚焦清晰；

所述的扫描虚拟化显示模块：在扫描虚拟区显示需要扫描的视野数目，未扫描区域显示标记为白色，将已扫描的小方格标记为颜色ColorLabel，正在扫描区域标记为红色。

进一步，所述的载玻片自动模块中待处理骨髓细胞载玻片凹槽中骨髓细胞载玻片数量默认为20。

进一步，所述的参数初始化模块步骤1)中重叠度OverLap，默认为10％，视野间距(X_dist,Y_Dist)，默认为(100,90)。

进一步，所述的参数初始化模块步骤3a)中Low_Limit取值为30％，步骤3b)中正常范围Normal_Range取值为[180,210]。

进一步，所述的扫描虚拟化显示模块中颜色ColorLabel默认为深蓝色。

本发明和以前的技术相比，具有如下优点和显著优势：

本发明将实现多个骨髓涂片自动化聚焦扫描，形成数字化图像，可以通过网络实现同一骨髓涂片异地阅片，实现扫描界面可视化，实时监测扫描时的视野图像，完成骨髓图片的批量自动扫描，实现快速准确聚焦。还通过特定的图像清晰度计算方式，计算图像清晰度作为图像反馈信号调整骨髓细胞聚焦成像的焦点所在位置，聚焦骨髓细胞时可以根据当前图像的清晰度确定焦点移动步长及方向，快速实现骨髓细胞成像的聚焦过程，可以克服现有扫描聚焦系统数字化的速度和成像清晰度无法兼顾的问题。

附图说明

图1为本发明骨髓细胞载玻片自动聚焦扫描方法及系统的流程图；

图2为本发明骨髓细胞载玻片自动聚焦扫描方法及系的模块示意图；

图3为本发明中所述的图像清晰度计算方法的流程图；

图4为本发明实施方式中的骨髓图像(sharpness＝0.7221)；

图5为本发明实施方式中的骨髓图像(sharpness＝0.7015)；

图6为本发明实施方式中的骨髓图像(sharpness＝0.5031)；

图7为本发明实施方式中的骨髓图像(sharpness＝0.4825)；

图8为本发明实施方式中的骨髓图像(sharpness＝0.4204)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-8，本发明提供如下技术方案：一种骨髓细胞载玻片自动聚焦扫描方法，包括如下步骤：

同时，所述的步骤2中随机生成的起始点还包括以下步骤：

2-a)设置实数Seed为0；

所述的步骤3中变长StepChange的初始值与当前视野图像8邻域中已扫描区域的焦点位置有关，具体的关联如下：

3-a)设置变长StepChange为0，当前视野记为NowField；

3-c)当FocusNums为1时，StepChange更新为FocusPosition1；

该方法通过特定的图像清晰度计算方法计算图像清晰度作为图像反馈信号调整骨髓细胞聚焦成像的焦点所在位置，快速实现骨髓细胞成像的聚焦过程，所述的图像清晰度计算方法，还包括以下步骤：

Focus-1)将原始RGB图像转换成灰度图像GrayImg；

Focus-3)按照公式1计算权重W；

W＝cH²+cV² (1)

Focus-8)按照公式3更新边缘图像EdgeImg；

Edgelmg＝Edgelmg＊W⁴＊Weight (3)

Focus-9)计算清晰度Sharpness；

Focus-9-a)当EdgeImg全为0时，Sharpness等于0；否则执行下一步；

Focus-9-c)按照公式4更新清晰度Sharpness；

一种骨髓细胞载玻片自动聚焦扫描系统，该系统包括载玻片自动模块、参数初始化模块、扫描模块、实时化显示模块及扫描虚拟化显示模块：

所述的载玻片自动模块：自动从待处理骨髓细胞载玻片凹槽中取出一张骨髓细胞载玻片，读取载玻片二维码内的待扫描区域的信息(StartX,StartY,Width,Height)确定待扫描区域，且当前载玻片扫描结束后自动移动控制台将骨髓细胞载玻片放入已处理载玻片凹槽；所述的载玻片自动模块中待处理骨髓细胞载玻片凹槽中骨髓细胞载玻片数量默认为20。

所述的参数初始化模块：主要包括1)设置扫描时视野区域的重叠度OverLap，避免因硬件设备的误差产生成像后部分断裂的现象，设置扫描时的视野间距(X_dist,Y_Dist)，控制控制台切换视野时的在X、Y方向的移动步长；所述的重叠度OverLap，默认为10％，视野间距(X_dist,Y_Dist)，默认为(100,90)。

2)控制台复位；

3)自动扫描相关参数自动化，还包括以下步骤：

a)白平衡调节：随机生成一个当前待扫描区域的视野，采用骨髓细胞自动聚焦方法进行聚焦，当此时视野内细胞面积少于Low_Limit，进行白平衡调节，使得成像图像色度更接近于显微镜成像色度；否则移动扫描位置直至完成白平衡调节；所述的Low_Limit取值为30％；

b)光强调节：计算当前视野内细胞数是否高于Low_Limit，是则调节曝光值Exposure使得光强处于正常范围Normal_Range，否则移动扫描位置直至完成光强调节；所述的正常范围Normal_Range取值为[180,210]

所述的扫描虚拟化显示模块：在扫描虚拟区显示需要扫描的视野数目，未扫描区域显示标记为白色，将已扫描的小方格标记为颜色ColorLabel，正在扫描区域标记为红色，且扫描虚拟化显示模块中颜色ColorLabel默认为深蓝色。

本领域技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种骨髓细胞载玻片自动聚焦扫描方法，其特征在于，该方法包括以下步骤：

所述步骤2中随机生成的起始点包括以下步骤：

2-a)设置实数Seed为0；

2-b)实数seed加1，使用随机函数生成一个位于待扫描区域

(StartX,StartY,Width,Height)的种子点(RanX,RanY)；

2-f)由于无法找到焦平面，此样本需要人为干预调整参数进行扫描，此次扫描失败；

步骤3、从起始点(X_Start,Y_Start)开始按照预定扫描方式进行全片扫描，全片扫描时当前视野所在初始焦点位置将根据8邻域中已扫描区域的焦点位置进行预估计，然后通过变长StepChange来寻找清晰度极值点获取真实焦点位置；

所述步骤3中变长StepChange的初始值与当前视野图像8邻域中已扫描区域的焦点位置有关，具体的关联如下：

3-a)设置变长StepChange为0，当前视野记为NowField；

3-b)寻找8邻域中已扫描区域的个数及其对应焦点位置，相对应记为FocusNums，{FocusPosition1，FocusPosition2，…，FocusPositionN}；

3-c)当FocusNums为1时，StepChange更新为FocusPosition1；

3-e)当FocusNums为4时，StepChange更新为邻域中4个焦点位置的平均值。

2.根据权利要求1所述的骨髓细胞载玻片自动聚焦扫描方法，其特征在于：该方法通过特定的图像清晰度计算方法计算图像清晰度作为图像反馈信号调整骨髓细胞聚焦成像的焦点所在位置，快速实现骨髓细胞成像的聚焦过程，所述图像清晰度计算方法，还包括以下步骤：

Focus-1)将原始RGB图像转换成灰度图像GrayImg；

Focus-3)按照公式1计算权重W；

W＝cH²+cV² (1)

Focus-4)将图像横纵方向按照小波变换后的尺寸下采样，生成下采样图

DownsampleImg；

Focus-6)按照公式2计算权重Weight，Smallconstant为一个较小的常数，

防止除数为0，此处设置为1e-4；

Focus-8)按照公式3更新边缘图像EdgeImg；

EdgeImg＝Edgelmg＊W⁴*Weight (3)

Focus-9)计算清晰度Sharpness；

Focus-9-a)当EdgeImg全为0时，Sharpness等于0；否则执行下一步；

Focus-9-c)按照公式4更新清晰度Sharpness；

3.一种采用权利要求1～2任一项所述的骨髓细胞自动扫描聚焦方法的骨髓细胞载玻片自动聚焦扫描系统，其特征在于：所述该系统包括载玻片自动模块、参数初始化模块、扫描模块、实时化显示模块及扫描虚拟化显示模块：

所述载玻片自动模块：自动从待处理骨髓细胞载玻片凹槽中取出一张骨髓细胞载玻片，读取载玻片二维码内的待扫描区域的信息(StartX,StartY,Width,Height)确定待扫描区域，且当前载玻片扫描结束后自动移动控制台将骨髓细胞载玻片放入已处理载玻片凹槽。

所述参数初始化模块：主要包括1)设置扫描时视野区域的重叠度OverLap，避免因硬件设备的误差产生成像后部分断裂的现象，设置扫描时的视野间距(X_dist,Y_Dist)，控制控制台切换视野时的在X、Y方向的移动步长；

2)控制台复位；

3)自动扫描相关参数自动化，还包括以下步骤：

所述扫描模块：以当前视野所在位置为扫描起始点，使用骨髓细胞自动扫描聚焦方法进行待扫描区域的扫描工作；

所述实时化显示模块：将当前视野图像显示在实时视野区，实时显示扫描过程中采集的图像，方便观察扫描过程中是否聚焦清晰；

所述扫描虚拟化显示模块：在扫描虚拟区显示需要扫描的视野数目，未扫描区域显示标记为白色，将已扫描的小方格标记为颜色ColorLabel，正在扫描

区域标记为红色。

4.根据权利要求3所述的骨髓细胞载玻片自动聚焦扫描系统，其特征在于：所述载玻片自动模块中待处理骨髓细胞载玻片凹槽中骨髓细胞载玻片数量默认为20。

5.根据权利要求3所述的骨髓细胞载玻片自动聚焦扫描系统，其特征在于：所述参数初始化模块步骤1)中重叠度OverLap，默认为10％，视野间距(X_dist,Y_Dist)，默认为(100,90)。

6.根据权利要求3所述的骨髓细胞载玻片自动聚焦扫描系统，其特殊在于，所述参数初始化模块步骤3a)中Low_Limit取值为30％，步骤3b)中正常范围Normal_Range取值为[180,210]。

7.根据权利要求3所述的骨髓细胞载玻片自动聚焦扫描系统，其特殊在于:所述扫描虚拟化显示模块中颜色ColorLabel默认为深蓝色。