CN108982500A - 一种宫颈液基细胞学智能辅助阅片方法和系统 - Google Patents

Abstract

本发明提供了一种用于液基细胞病理学的智能辅助阅片方法及系统，属于医学图像处理技术领域。方法为：进行全玻片扫描，获得单张全玻片数字化显微图像；对全玻片数字化图像进行识别和分类，标记病变细胞区和重叠细胞区作为可疑标记区，以可疑标记区为中心生成探查区；移动玻片将探查区逐一送入成像视场内，进行多层面三维成像。系统包括电控二维载物台、Z轴移动单元、玻片读码单元、显微镜、成像单元、三维成像，并将成像结果传送给图像处理控制台。本发明只对预选的探查区进行多层面成像，既提供了完整的三维信息，又极大地减小了每张玻片的总成像时间，无需病理阅片医生进行全玻片浏览和找寻病变细胞，提高阅片效率。

Description

一种宫颈液基细胞学智能辅助阅片方法和系统

技术领域

本发明涉及病理切片显微成像及智能识别领域，具体涉及一种宫颈液基细胞学智能辅助阅片方法和系统。

背景技术

宫颈液基细胞病理学检查是宫颈癌筛查的重要方法。传统上，宫颈液基细胞病理学玻片都是在显微镜下由病理医生进行检查和复核。由于病理学玻片面积远大于显微镜成像视野，一张宫颈液基细胞玻片的检查是比较费时的，而在检查之后对病变区进行复核，则几乎需要花费同等的精力来找到病变细胞所在区域。

为了提高细胞病理学检查的效率，可以通过对细胞病理学玻片进行全玻片扫描数字化，再通过算法对全玻片数字化图像进行智能分割、识别和分类。但是相关的算法仍在发展中，其有效性和可靠性还不足以完全替代病理医生。因为扫描时间的限制，全玻片扫描数字化图像通常不会进行多层面的三维成像，而是只采集单一层面的图像。当需要病理医生进行复核时，全玻片扫描的数字化图像因为只有单一二维平面的信息，对一些细胞重叠区，以及部分较难判断的疑似病变区，单纯从数字图像上难以获得更多图像信息，还需要借助显微镜下复核的办法。并且玻片数字化图像和镜下复核之间并没有有机地联系起来，难以为镜下复核提供方便和对照。

发明内容

针对现有技术存在的问题，本发明目的是提供一种用于液基细胞病理学的智能辅助阅片方法及系统，本发明只对预选的探查区进行多层面成像，既提供了完整的三维信息，又极大地减小了每张玻片的总成像时间，无需病理阅片医生进行全玻片浏览和找寻病变细胞，提高阅片效率。

为实现本发明的技术目的，本发明采用如下的技术方案：

一种用于液基细胞病理学的智能辅助阅片方法，包括如下步骤：

(1)对液基细胞玻片进行全玻片扫描，获得单张全玻片数字化显微图像；

(2)对全玻片数字化显微图像进行识别和分类，标记病变细胞区和重叠细胞区作为可疑标记区；

(3)分别以各可疑标记区为中心生成探查区，探查区由若干相邻的成像视野组成，其范围包含可疑标记区；

(4)移动液基细胞玻片将探查区逐一送入成像视场内，对各探查区进行预设厚度和步进的多层面三维成像。

进一步地，对探查区按照可疑程度大小排序,筛选可疑程度靠前的探查区进行多层面三维成像。

一种用于液基细胞病理学的智能辅助阅片系统，包括

电控二维载物台，安装于显微镜上，电连接图像处理控制台，用于接收图像处理控制台的平面位置指令，将其承载的液基细胞玻片平面移动至指令指定平面位置；

Z轴移动单元，连接显微镜z轴调焦机构，电连接图像处理控制台，用于接收图像处理控制台的纵向位置指令和调焦指令，依据纵向位置指令带动电控二维载物台纵向移动，使得液基细胞玻片纵向移动至指令指定纵向位置；还依据调焦指令控制显微镜z轴调焦机构进行调焦；

玻片读码单元，位于电控二维载物台上方，用于读取玻片标识码并传送给图像处理控制台；

显微镜，位于电控二维载物台上方，用于放大其视场内的玻片区域；

成像单元，位于电控二维载物台上方，用于对放大后的玻片进行单层全玻片成像或多层面三维成像，并将成像结果传送给图像处理控制台；

图像处理控制台，用于接收玻片标识码，以建立对应的液基细胞玻片图像及相关信息的文件结构；向电控二维载物台发送实现全玻片成像的位移指令，向成像单元发送单层成像指令，以使得电控二维载物台和成像单元配合完成单层全玻片成像；在单层全玻片扫描图像中自动识别病变细胞区和重叠细胞区作为可疑标记区，以可疑标记区为中心生成探查区；向电控二维载物台发送实现探查区成像的平面位移指令，向Z轴移动单元发送实现探查区成像的纵向位移指令和调焦指令，向成像单元发送多层面三维成像指令，使得电控二维载物台、Z轴移动单元和成像单元配合完成探查区的预设厚度和步进的多层面三维成像。

进一步地，所述图像处理控制台控制完成单层全玻片成像的具体实施过程为：

控制电控二维载物台移动玻片到显微镜物镜的下方；先通过显微镜物镜的定位区确定玻片移动的坐标原点，之后对玻片样本区选定多个区域进行自动聚焦，插值生成焦平面分布图，并记录各个聚焦平面的电控调焦位置；

图像处理控制台根据玻片样本区的大小以及所记录的电控调焦位置，生成位置移动指令序列，并将指令序列发送给电控二维载物台和z轴移动单元；

指令序列中的每一指令用于控制电控二维载物台和z轴移动单元成像将玻片移动至一个显微成像视野，再控制成像单元进行该显微成像视野的显微图像的拍摄，并记录所拍摄的图像；指令序列中的全部指令将控制玻片依次移动到各个显微成像视野并进行各显微成像视野的显微图像的拍摄；

各显微成像视野逐一相邻，并有一定的重叠区，全部显微成像视野连接起来，覆盖玻片的样本所在区；

通过将所拍摄的各显微成像视野的显微图像进行图像拼接，实现对玻片的单层全玻片扫描成像。

进一步地，所述图像处理控制台控制完成多层面三维成像的具体实施过程为：

图像处理控制台控制电控二维载物台将玻片移动至第一探查区所在的平面位置，控制Z轴移动单元送至第一探查区所在的纵向位置；

控制成像单元完成第一探查区的预定步进和层数的多层面三维扫描成像；

判定是否完成所有探查区的三维扫描成像，如果未完成，将玻片移动到下一个探查区，直至所有探查区的三维扫描成像完成。

进一步地，图像处理控制台还包括用户交互界面，提供用户对探查区的三维图像浏览功能，接收外部输入的探查区分类信息。

进一步地，所述Z轴移动单元包括显微镜z轴调焦机构、电机及电机控制器,电机通过联轴器连接显微镜z轴调焦机构，电机控制器电连接至图像处理控制台，接收图像处理控制台发送的纵向位置指令，驱动电机工作，通过显微镜z轴调焦机构的传动，使固定在显微镜上的电控二维载物台整体纵向移动到指定纵向位置。

进一步地，所述玻片读码单元包括相机、照明模块及通信模块，图像处理控制台发送位置指令给电控二维载物台，使其承载的玻片移动到玻片读码单元中相机的成像视野范围内，相机自动聚焦并对玻片标识码位置拍照，通过通信模块将图像传送给图像处理控制台，照明模块用于为牌照提供光源。

进一步地，所述成像单元为彩色相机。

本发明有如下有益效果：

通过预选若干探查区，无需病理阅片医生进行全玻片浏览和找寻病变细胞，可提高阅片效率。

通过对智能算法预选的探查区获取其多层面的三维显微图像，一方面可以提供更为丰富的信息，便于病理阅片医生直接在电脑屏幕上进行快速浏览，另一方面提高阅片效率，如果全玻片进行多层面成像，则每张玻片的成像时间将非常耗时。通过只对预选的探查区进行多层面成像，既提供了完整的三维信息，又极大地减小了每张玻片的总成像时间。

通过保存预选探查区的三维图像，探查区的智能标记信息和人工更新的标记信息，可以方便阅片结果的交流和复核。

系统记录预选探查区的坐标信息，在复核时可以将显微镜下的玻片自动定位至预选探查区，便于病理阅片医生在目镜下对玻片进行人工观察。病理阅片医生也可同时在显示屏上观察对应的数字化图像。

附图说明

图1为细胞病理学辅助阅片整体系统组成图。

图2为液基细胞玻片示意图。

图3为玻片数字化图像智能识别其选区三维扫描成像流程图，其中，图3(a)为三维成像效果示意图，图3(b)为三维扫描成像方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明辅助阅片思路是：首先对液基细胞玻片进行全玻片扫描；运用图像处理算法自动识别病变细胞区和重叠细胞区，标记为可疑标记区；以可疑标记区为中心生成探查区；移动液基细胞玻片将探查区逐一送入成像视场内，对各探查区进行预设厚度和步进的多层面三维成像。

图1给出了实现上述技术思路的宫颈液基细胞病理学辅助阅片系统。系统包括玻片盒1及其中的玻片取片和上片装置，电控二维载物台7、Z轴移动单元9、玻片读码和成像单元8、显微镜2和图像处理控制台5。

电控二维载物台7，安装于显微镜2上，位于显微镜物镜11下方，电连接图像处理控制台5。Z轴移动单元9，连接显微镜z轴调焦机构12，电连接图像处理控制台5。玻片读码单元和成像单元8均位于电控二维载物台7上方，可安装于显微镜壳体上。

电控二维载物台7用于接收图像处理控制台5的平面位置指令，将其承载的液基细胞玻片平面移动至指令指定位置。电控二维载物台7包括电机驱动的二维电控平移台，以及电机控制器4。电机控制器4电连接至图像处理控制台5，图像处理控制台发送平面位置指令，由电机控制器4接收并驱动二维电控平移台中的电机，使二维电控平移台移动到指定的位置。

Z轴移动单元9，用于接收图像处理控制台5的纵向位置指令和调焦指令，依据纵向位置指令带动电控二维载物台整体纵向移动，使得液基细胞玻片纵向移动至指令指定位置；依据调焦指令控制显微镜z轴调焦机构12进行调焦，以便后续的三维成像。Z轴移动单元9由显微镜z轴调焦机构12，电机及其控制器4等组成。电机通过联轴器连接显微镜z轴调焦机构12，电机控制器4电连接至图像处理控制台5，接收图像处理控制台发送的纵向位置指令，并驱动电机工作，通过显微镜z轴调焦机构12的传动，使固定在显微镜上的电控二维载物台7整体纵向移动到指定位置。

玻片读码单元8用于读取玻片标识码并传送给图像处理控制台。所述玻片读码单元8包括相机、照明模块及通信模块，图像处理控制台5发送位置指令给电控二维载物台7，使其承载的玻片移动到玻片读码单元8中相机的成像视野范围内，相机自动聚焦并对玻片标识码位置拍照，通过通信模块将图像传送给图像处理控制台，照明模块用于为牌照提供光源。

显微镜用于放大其视场内的玻片区域。显微镜2包括物镜11及物镜转换器15、目镜13、成像器件8、显微镜z轴调焦机构12，二维载物台固定结构14。二维载物台7安装在显微镜固定机构14之上，可以通过显微镜z轴调焦机构12的传动，整体沿z向移动。物镜转换器15可以同时安装两个以上物镜11。

成像单元8用于对放大后的玻片进行单层全玻片成像或多层面三维成像，并将成像结果传送给图像处理控制台。成像单元优选彩色相机的，相机的曝光时间可调，并且可以通过外部触发信号控制其曝光和成像的时序。

图像处理控制台5主要用于图像处理和整个系统协调控制。首先控制电控二维载物台7和成像单元8配合完成单层全玻片成像，再在单层全玻片扫描图像中进行图像处理自动识别病变细胞区和重叠细胞区作为可疑标记区，以可疑标记区为中心生成探查区；最后控制电控二维载物台7、Z轴移动单元9和成像单元8配合完成探查区的预设厚度和步进的多层面三维成像。除此之外，图像处理控制台5用于接收玻片标识码，以建立对应的液基细胞玻片图像及相关信息的文件结构。

图2为液基细胞玻片示意图，包括玻片识别码区21、定位区22和细胞样本区23。玻片识别码区21包括玻片的识别码以及文本标签，也可以只包括文本标签。定位区22为位于玻片上固定位置的多个特定图样。玻片放置到显微镜载物台上时，通过对几个标志区进行成像，确定其中心坐标，从而定出移动该玻片的坐标原点。细胞样本区位于玻片上固定的位置，因此在进行全玻片扫描成像时，在确定好移动的坐标原点后，细胞样本区的扫描位置和扫描范围也是基本确定的，无需人为干预确定扫描成像的范围。显微镜根据定位区图样，确定玻片坐标起点。对每个探查区，显微镜会自动将玻片定位到该探查区，同时软件调用并显示该探查区的三维图像。

液基细胞玻片装载在玻片盒中，通过玻片盒1中的上片系统，取出玻片盒中的一张玻片放置在电控二维载物台上。载物台移动玻片10，先由玻片读码单元8读取玻片10上的玻片标识码21，将玻片标识码发送至图像处理控制台5用于建立数字图像及相关信息的文件结构。

通过载物台7移动玻片到显微镜物镜的下方。先通过玻片10的定位区22确定玻片移动的坐标原点。之后对玻片样本区23选定多个区域进行自动聚焦，插值生成焦平面分布图，并记录各个聚焦平面的电控调焦位置。图像处理控制台5根据玻片样本区的大小以及所记录的电控调焦位置，生成位置移动指令序列，并将指令序列发送给电控二维载物台7和z轴移动单元9。指令序列中的每一指令用于控制电控二维载物台7和z轴移动单元9将玻片移动至一个显微成像视野，再控制成像单元8进行该显微成像视野的显微图像的拍摄，并记录所拍摄的图像。指令序列中的全部指令将控制玻片依次移动到各个显微成像视野并进行各显微成像视野的显微图像的拍摄。各显微成像视野逐一相邻，并有一定的重叠区，全部显微成像视野连接起来，覆盖玻片的样本所在区。通过将所拍摄的各显微成像视野的显微图像进行图像拼接，多分辨率图像生成等操作，实现对玻片10的单层全玻片扫描成像，并保存单层全玻片扫描成像结果。

图3为根据玻片数字化图像进行智能选区，并对选取区进行多层面三维成像的流程图和效果示意图。具体步骤如下：

31：获取玻片的单层面全玻片扫描数字化图像后，图像处理控制台5运行图象处理软件，读取全玻片扫描数字化图像。

32：软件自动识别并标记数字化图像中的可疑区。可疑区包括病变细胞区和重叠细胞区。其中病变细胞区存在有因病变导致的形态异常的细胞，而重叠细胞区内存在细胞相互重叠堆积的情况。

33：对标记的可疑区按疑似程度进行排序，选出排序靠前的若干可疑区。以可疑区为中心生成探查区，探查区由若干相邻的显微成像视野组成，探查区的大小覆盖整个可疑区，输出探查区大小和位置信息。

34：控制载物台7将玻片10移动至第一探查区所在xy位置；再通过z轴移动单元9纵向移动载物台7使玻片的纵向位置处于第一探查区所对应焦平面位置。所述焦平面位置为前述单层全玻片扫描成像时所记录的探查区所对应焦平面位置。

35：对第一探查区进行预定步进和层数的多层面三维扫描成像，如图3右图所示。步骤34所确定焦平面位置处于多层面三维扫描成像的中间层。

36：是否完成指定的若干探查区的三维扫描成像，如果未完成，将玻片移动到下一个探查区，再重复步骤35-36。

37：完成所有探查区三维扫描成像，保存各探查区的三维图像至全玻片数字化图像的同一文件结构下。

完成玻片探查区三维成像后，载物台将玻片10移至靠近玻片盒1的位置，由玻片盒1中的上片装置取回玻片放回玻片盒中，再从玻片盒1中取出下一张玻片，放置到载物台7上。之后重复上述步骤，依次获取玻片盒1中其他玻片的单层全玻片扫描图像及智能识别探查区的多层面三维图像。

在进行复核时，病理阅片医生从系统电脑中调取已经完成图像采集的玻片数据，在软件界面中对探查区的三维图像进行快速浏览，并确认该探查区的智能分类信息是否正确。对于分类错误的探查区，可以通过软件更新其分类信息。探查区的智能标记信息以及更新的分类信息均被作为历史分类记录保存下来，并与该玻片的其他图像数据相关联。

对于需要进行显微镜下复核的玻片，可将挑选出的玻片装入玻片盒1。玻片盒1中的上片系统依次将玻片放在电控载物台上。对每一张玻片，首先由玻片读码单元8识别玻片标识21，再通过玻片上的定位区22确定移动玻片的坐标原点。与此同时，辅助阅片软件根据玻片标识21调取该玻片对应的图像文件和标记区信息。通过显微镜操作控制面板3，逐个选择对应玻片的可疑探查区，载物台7和z轴移动单元9将玻片自动定位到选中的探查区，并在控制面板的显示屏上显示探查区的分类信息。辅助阅片软件也打开并在显示屏6上显示所选探查区的三维图像。阅片医生通过目镜13在显微镜2下观察探查区的图像，也可通过屏幕6再次观察探查区的数字图像。阅片医生可以对有问题的区域更新其标注和分类，软件会保存新的标注和分类信息，作为历史标记信息的一部分进行保存。

所述实现识别和分类等功能的图像处理软件可采用现有技术中任意一种算法，譬如经过细胞图像训练的深度学习算法等等。由于是现有技术，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于液基细胞病理学的智能辅助阅片方法，其特征在于，包括如下步骤：

(1)对液基细胞玻片进行全玻片扫描，获得单张全玻片数字化显微图像；

(2)对全玻片数字化显微图像进行识别和分类，标记病变细胞区和重叠细胞区作为可疑标记区；

(3)分别以各可疑标记区为中心生成探查区，探查区由若干相邻的成像视野组成，其范围包含可疑标记区；

(4)移动液基细胞玻片将探查区逐一送入成像视场内，对各探查区进行预设厚度和步进的多层面三维成像。

2.根据权利要求1所述的用于液基细胞病理学的智能辅助阅片方法，其特征在于，对探查区按照可疑程度大小排序,筛选可疑程度靠前的探查区进行多层面三维成像。

3.一种用于液基细胞病理学的智能辅助阅片系统，其特征在于，包括

电控二维载物台，安装于显微镜上，电连接图像处理控制台，用于接收图像处理控制台的平面位置指令，将其承载的液基细胞玻片平面移动至指令指定平面位置；

Z轴移动单元，连接显微镜z轴调焦机构，电连接图像处理控制台，用于接收图像处理控制台的纵向位置指令和调焦指令，依据纵向位置指令带动电控二维载物台纵向移动，使得液基细胞玻片纵向移动至指令指定纵向位置；还依据调焦指令控制显微镜z轴调焦机构进行调焦；

玻片读码单元，位于电控二维载物台上方，用于读取玻片标识码并传送给图像处理控制台；

显微镜，位于电控二维载物台上方，用于放大其视场内的玻片区域；

成像单元，位于电控二维载物台上方，用于对放大后的玻片进行单层全玻片成像或多层面三维成像，并将成像结果传送给图像处理控制台；

图像处理控制台，用于接收玻片标识码，以建立对应的液基细胞玻片图像及相关信息的文件结构；向电控二维载物台发送实现全玻片成像的位移指令，向成像单元发送单层成像指令，以使得电控二维载物台和成像单元配合完成单层全玻片成像；在单层全玻片扫描图像中自动识别病变细胞区和重叠细胞区作为可疑标记区，以可疑标记区为中心生成探查区；向电控二维载物台发送实现探查区成像的平面位移指令，向Z轴移动单元发送实现探查区成像的纵向位移指令和调焦指令，向成像单元发送多层面三维成像指令，使得电控二维载物台、Z轴移动单元和成像单元配合完成探查区的预设厚度和步进的多层面三维成像。

4.根据权利要求3所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，所述图像处理控制台控制完成单层全玻片成像的具体实施过程为：

控制电控二维载物台移动玻片到显微镜物镜的下方；先通过显微镜物镜的定位区确定玻片移动的坐标原点，之后对玻片样本区选定多个区域进行自动聚焦，插值生成焦平面分布图，并记录各个聚焦平面的电控调焦位置；

图像处理控制台根据玻片样本区的大小以及所记录的电控调焦位置，生成位置移动指令序列，并将指令序列发送给电控二维载物台和z轴移动单元；

指令序列中的每一指令用于控制电控二维载物台和z轴移动单元成像将玻片移动至一个显微成像视野，再控制成像单元进行该显微成像视野的显微图像的拍摄，并记录所拍摄的图像；指令序列中的全部指令将控制玻片依次移动到各个显微成像视野并进行各显微成像视野的显微图像的拍摄；

各显微成像视野逐一相邻，并有一定的重叠区，全部显微成像视野连接起来，覆盖玻片的样本所在区；

通过将所拍摄的各显微成像视野的显微图像进行图像拼接，实现对玻片的单层全玻片扫描成像。

5.根据权利要求3所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，所述图像处理控制台控制完成多层面三维成像的具体实施过程为：

图像处理控制台控制电控二维载物台将玻片移动至第一探查区所在的平面位置，控制Z轴移动单元送至第一探查区所在的纵向位置；

控制成像单元完成第一探查区的预定步进和层数的多层面三维扫描成像；

判定是否完成所有探查区的三维扫描成像，如果未完成，将玻片移动到下一个探查区，直至所有探查区的三维扫描成像完成。

6.根据权利要求3或4或5所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，图像处理控制台还包括用户交互界面，提供用户对探查区的三维图像浏览功能，接收外部输入的探查区分类信息。

7.根据权利要求3或4或5所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，所述Z轴移动单元包括显微镜z轴调焦机构、电机及电机控制器,电机通过联轴器连接显微镜z轴调焦机构，电机控制器电连接至图像处理控制台，接收图像处理控制台发送的纵向位置指令，驱动电机工作，通过显微镜z轴调焦机构的传动，使固定在显微镜上的电控二维载物台整体纵向移动到指定纵向位置。

8.根据权利要求3或4或5所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，所述玻片读码单元包括相机、照明模块及通信模块，图像处理控制台发送位置指令给电控二维载物台，使其承载的玻片移动到玻片读码单元中相机的成像视野范围内，相机自动聚焦并对玻片标识码位置拍照，通过通信模块将图像传送给图像处理控制台，照明模块用于为牌照提供光源。

9.根据权利要求3或4或5所述的用于液基细胞病理学的智能辅助阅片系统，其特征在于，所述成像单元为彩色相机。