CN110717908A - 病理图片的处理方法 - Google Patents

Abstract

本发明公开了病理图片的处理方法，包括图像采集：1)对病理玻片进行完整扫描获取到数字化病理图像；2)将数字化病理图像勾画出病变区域，并将勾画区域的位置生成xml格式的文件进行保存；3)生成一个与数字化病理图像的分辨率一致的大掩膜图像；图像处理：设置切图的图片分辨率，并对数字化病理图像和大掩膜图像切图，得到一一对应的小病理图和小掩膜图的位置；计算每个小掩膜图的像素平均值P，并设定阈值G，只保存P≥G所对应的小病理图；若P＜G，所对应的小病理图则丢弃，其中P,G取值范围均是0到1。本发明对数字化病理图像，能够基于深度学习技术使用GPU并行计算与统计，降低传统病理抽样统计的误差，提高病理诊断的效率与准确率。

Description

病理图片的处理方法

技术领域

本发明涉及医学处理手段的技术领域，具体涉及一种病理图片的处理方法的技术。

背景技术

慢性鼻窦炎伴鼻息肉(CRSwNP)细分为嗜酸性粒细胞性鼻息肉(eCRSwNP)和非嗜酸性粒细胞性鼻息肉(neCRSwNP)两个亚型。嗜酸性粒细胞性鼻息肉(eCRSwNP)对激素治疗敏感，而非嗜酸性粒细胞性鼻息肉(neCRSwNP)则对大环内脂类抗生素治疗敏感。临床上，对于如何界定嗜酸性粒细胞性鼻息肉(eCRSwNP)和非嗜酸性粒细胞性鼻息肉(neCRSwNP)，病理科医生通常随机采取患者鼻息肉玻片标本的10个400X视野下嗜酸性粒细胞占比的平均值，并以10％为截点值这一诊断标准，得出分类诊断(≥10％为嗜酸性慢性鼻窦炎，＜10％为非嗜酸性慢性鼻窦炎)。但是，由于一个玻片标本通常包含数百上千的视野，会有较大抽样差异。此外，不同医生因为经验不同，或者同一个医生不同时间，随机选取视野所得到的抽样估计值也不尽相同，即人工随机抽样计数还可能存在测量偏差。如果要避免抽样误差，就需要对整个玻片标本嗜酸性粒细胞占炎症细胞比例的进行完整统计，才能得到比较精确的平均值从而得出诊断结果，然而这种方法病理科医生需要花费约4小时才能完整统计一个玻片标本，时间成本和人力成本极高，临床上不可行。

由此可见，现有临床上使用的随机抽样的诊断方法存在统计偏差的问题；病理医生人工统计整个玻片花费时间长的问题，即病理科医生需要花费2～4小时才能完整统计一个玻片标本，时间成本极高。如何减少统计偏差，如何快速统计玻片标本成为业界的技术难题。中国专利申请号201811501870.1，名称为一种细胞病理玻片分类方法、系统、设备、存储介质，该专利也试着对病理玻片的处理效率和准确率加以提高，但是，该专利没有考虑到一张数字病理玻片约2～4GB，当前GPU无法直接处理。该专利提出了采用分割步骤，即将所述数字细胞病理图片分割成多个图块，但是如何进行分割，该专利依然没有给出相应的行之有效的技术，如何进行分割，何去何留，直接影响到后续机器学习的效率以及准确率。

发明内容

为了解决现有技术的不足，本发明提供一种病理图片的处理方法，对整个病理玻片进行完整扫描获取到的数字化病理图像进行分割处理，从而能够基于GPU并行计算，实现对整个玻片进行完整统计，降低抽样误差，提高后续机器学习的效率以及准确率。

本发明通过以下技术方案来实现：

病理图片的处理方法，包括下列步骤：

图像采集：

1)对病理玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0；

图像处理：

设置切图的图片分辨率，一般设置的格式256*256,512*512,1024*1024三种，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G，所对应的小病理图；若小掩膜图的像素的平均值P＜G，所对应的小病理图则丢弃；阈值G越接近1，则保存的小病理图中病变区域占比越高，阈值G越接近0，则保存的小病理图中病变区域占比越低。其中P,G取值范围均是0到1，一般G设置为0.8或0.8以上；所述大掩膜图、小掩膜图就是指mask图像，所述mask图像是将所述数字化病理图像的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来。

图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysisplatform,即自动玻片分析平台。

图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成所述大掩膜图像。

图像处理中采用开源的openslide软件进行切图处理。

所述设置切图的图片分辨率包括有256*256格式、512*512格式与1024*1024格式。

所述阈值G：0.8≤G＜1。

本发明的有益效果是：

本发明是对整个玻片进行完整扫描，鉴于一张数字病理玻片约2～4GB，分辨率对应约上亿个像素点(几万*几万)，当前GPU无法直接处理的情况下，通过本发明切图算法，对数字病理玻片的前期分割处理，即将一张数字病理分割为数百至数千张任意分辨率的小图片(patch)，便能够基于GPU并行计算，从而在极短时间内完成任务，由于是对整个玻片进行完整统计，故显著降低了抽样误差。

附图说明

图1为本发明病理WSI勾画示意图；

图2为本发明生成的mask示意图即掩膜图；

图3为本发明流程图(一)；

图4为本发明流程图(二)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种病理图片的处理方法，包括下列步骤：

图像采集：

1)对病理玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的mask图像即大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0。

图像处理：

设置切图的图片分辨率，一般设置的格式256*256,512*512,1024*1024三种，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G，所对应的小病理图；若小掩膜图的像素的平均值P＜G，所对应的小病理图则丢弃；阈值G越接近1，则保存的小病理图中病变区域占比越高，阈值G越接近0，则保存的小病理图中病变区域占比越低。其中P,G取值范围均是0到1，一般0.8≤G＜1；小掩膜图与大掩膜图像均是mask图像，mask图像即是将所述数字化病理图像的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来。阈值G就是像素平均值P的取值范围，为便于表述而给出的一个专业术语。

图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysisplatform,即自动玻片分析平台。图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成大掩膜图像。图像处理中采用开源的openslide软件进行切图处理。

下面结合附图更加详细说明。

首先通过开源的ASAP(Automated silde analysis platform,自动玻片分析平台)软件，由病理科医生对数字化病理图像(WSI，whole slide image)勾画出病变区域，如图1为病理WSI勾画示意图，即勾画区域：曲线围成的区域；勾画区域的位置由生成的xml格式的文件保存。

接下来，调用ASAP自带的“multiresolutionimageinterface”库(https://github.com/computationalpathologygroup/ASAP)，根据xml生成大掩膜图，如图2为生成掩膜示意图，掩膜图白色区域(勾画区域)对应的像素值为1，黑色的其他区域对应的像素值为0，整个掩膜图的分辨率与WSI图即数字病理玻片(whole slide image)相同。

接着用开源的“openslide”库(https://openslide.org/)读取WSI，和对应的大掩膜图，并按照设置的分辨率如512*512分别对WSI和对应的大掩膜图进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置是一一对应的。

最后，按照设定的小图片分辨率，用滑动窗口将原始的WSI及对应的大掩膜图切成数个小病理图片和小掩膜图片，分别计算每个小掩膜图的像素平均值P(范围0到1)，并设定阈值G(范围0到1)，并只保存小掩膜图像素的平均值P≥G所对应的小病理图，而小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃。

综合运用以上方法，这样就能够对一张原始的WSI图，在医生把需要分析的区域勾出后，自动进行生成掩膜，切图，最后只保存感兴趣区域的小病理图，方便后面的深度学习算法模块处理。

本发明通过下述模块完成：以慢性鼻窦炎鼻息肉玻片为例进行描述。

图像采集模块：首先得到慢性鼻窦炎鼻息肉玻片的数字化病理图像(WSI，wholeslide image)。倍数≥400倍，分辨率≥20000*20000像素。然后病理科医生通过开源的ASAP软件，勾画出鼻息肉玻片中固有层的区域，通过XML格式的文件进行保存。

图像预处理模块：基于ASAP软件再次读取XML文件，生成一个与原数字病理图像分辨率一致的掩膜图像层，如图2，掩膜层即前述的掩膜图的像素设为1，掩膜层区域以外设为0。然后采用滑动窗口按照分辨率为1024*1024，或者512*512的窗口依次对整个数字病理图像进行扫描，计算掩膜层该窗口的平均像素值P(范围0到1)，及设定的阈值G，一般0.8≤G＜1，若G≥0.8，则调用opensilde软件(https://openslide.org/)对该掩膜窗口对应的病理数字图像进行切图得到相应的小图片即小病理图并保存。

如图3是本发明实施例的流程图：鼻息肉手术，制作病理玻片，数字病理扫描仪数字化后的WSI影像，即数字病理玻片图像。图4中简洁而言是(1)慢性鼻窦炎鼻息肉玻片数字图像；(2)对鼻息肉玻片数字图像进行勾画、生成小图片即小病理图。

总之，本发明将传统玻片通过数字病理扫描仪数字化后的WSI影像通常有2～4GB，最大分辨率对应约上亿个像素点，首先通过开源的ASAP软件，由病理科医生勾画出感兴趣区域(ROI区域)，生成xml文件，然后用multiresolutionimageinterface库生成此区域对应的掩膜(mask)，接着用开源的openslide库确定需要切图的放大倍数(level)及图片分辨率，最后按照确定的level及分辨率在mask区域自动切图，比如一张数字病理WSI的ROI区域在level＝0时可以自动切出数千到上万张256*256分辨率的图片，方便后面的深度学习算法模块处理。

以上所述仅为发明较佳的实施例，并非因此限制本发明的申请专利范围，所以凡运用本发明说明书及图示内容所作出的等效结构变化，均包含在本发明的保护范围内。

Claims (6)

1.一种病理图片的处理方法，其特征在于包括下列步骤：

图像采集：

1)对数字病理玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0；

图像处理：

设置切图的图片分辨率，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G，所对应的小病理图；若小掩膜图的像素的平均值P＜G，所对应的小病理图则丢弃，其中P,G取值范围均是0到1；

所述大掩膜图、小掩膜图就是指mask图像，所述mask图像是将所述数字化病理图像中的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来。

2.根据权利要求1所述病理图片的处理方法，其特征在于：图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysis platform,即自动玻片分析平台。

3.根据权利要求1所述病理图片的处理方法，其特征在于：图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成所述大掩膜图像。

4.根据权利要求1所述病理图片的处理方法，其特征在于：图像处理中采用开源的openslide软件进行切图处理。

5.根据权利要求1所述病理图片的处理方法，其特征在于：所述设置切图的图片分辨率包括有256*256格式、512*512格式与1024*1024格式。

6.根据权利要求1所述病理图片的处理方法，其特征在于所述阈值G：0.8≤G＜1。

Images