CN110728666B - 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 - Google Patents

Abstract

本发明公开了基于数字病理玻片进行慢性鼻窦炎的分型方法，包括下列步骤：图像采集，对慢性鼻窦炎鼻息肉玻片获取到数字化病理图像并进行勾画，生成大掩膜图像；图像预处理，得到小病理图和小掩膜图；建立训练集数据；建立深度学习量化预测模块，采用Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，去掉此模型最后一层全连接层FC，并增加一层全连接层FC且其内只有一个神经元，不采用任何激活函数，设置损失函数采用均方误差MSE，设置学习率lr；整合玻片上所有小病理图片的嗜酸性粒细胞比例值，得到最终辅助诊断结果。本发明还公开了其系统。本发明通过学习训练快速得到病理图片上的嗜酸性粒细胞占比值，给出客观的、准确性高的辅助诊断结果。

Description

基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统

技术领域

本发明涉及医学处理手段的技术领域，具体涉及一种基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统的技术。

背景技术

慢性鼻窦炎(CRS)在临床上可分为不伴鼻息肉(CRSsNP)和伴鼻息肉(CRSwNP)两类。慢性鼻窦炎伴鼻息肉(CRSwNP)又细分为嗜酸性粒细胞性鼻息肉(eCRSwNP)和非嗜酸性粒细胞性鼻息肉(neCRSwNP)两个亚型。嗜酸性粒细胞性鼻息肉(eCRSwNP)对激素治疗敏感，而非嗜酸性粒细胞性鼻息肉(neCRSwNP)则对大环内脂类抗生素治疗敏感。临床上，对于如何界定嗜酸性粒细胞性鼻息肉(eCRSwNP)和非嗜酸性粒细胞性鼻息肉(neCRSwNP)，病理科医生通常随机采取患者鼻息肉玻片标本的10个高倍镜视野下嗜酸性粒细胞占比的平均值，并以10％为截点值这一诊断标准，得出分类诊断(≥10％为嗜酸性慢性鼻窦炎，＜10％为非嗜酸性慢性鼻窦炎)。

但是，由于一个玻片标本通常包含数百上千的视野，标本不同位置的嗜酸性粒细胞占炎症细胞的比例会有较大抽样差异。申请人前期研究结果也表明，随机选取10个视野的抽样估计值与标本总体的真实值确实存在不少抽样误差。一个标本包含的视野越多，抽样误差也会越大。此外，不同医生因为经验不同，或者同一个医生不同时间，随机选取视野所得到的抽样估计值也不尽相同，即人工随机抽样计数还可能存在测量偏差。

对整个玻片标本进行嗜酸性粒细胞占炎症细胞比例的统计能够更加准确的诊断，避免抽样误差，然而病理科医生需要花费2～4小时才能完整统计一个玻片标本，时间成本极高。

临床上诊断慢性鼻窦炎，现阶段完全依靠病理科医生的经验，缺少一种客观的、较高的准确性和时效性的辅助诊断方法及其系统。

发明内容

为了解决现有技术的不足，本发明提供一种基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统，通过学习训练快速准确得到病理图片上的嗜酸性粒细胞占比值，给出客观的、准确性高的辅助诊断结果。

本发明通过以下技术方案来实现：

基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于包括下列步骤：

图像采集：

1)对慢性鼻窦炎鼻息肉玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0；

图像预处理：

设置切图的图片分辨率，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G所对应的小病理图；若小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃，其中P,G取值范围均是0到1；所述大掩膜图、小掩膜图就是指mask图像，所述mask图像是将所述数字化病理图像中的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来；

设计训练数据集：每张小病理图片记做X，统计每张小病理图片的嗜酸性粒细胞个数及所有炎症细胞个数，嗜酸性粒细胞占炎症细胞的比例＝嗜酸性粒细胞个数/所有炎症细胞个数，统计的嗜酸性粒细胞数目N，非嗜酸性粒细胞数目M，每张图片对应的嗜酸性粒细胞比例S计算为：S＝N/(N+M)，取值范围0％～100％，其中没有嗜酸性粒细胞为0％，全是嗜酸性粒细胞为100％，对前述的所有小病理图片，按照设定的比例分成训练集数据和测试集数据；

建立深度学习量化预测模块：首先，采用深度学习keras框架下的Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，该模型最后一层全连接层FC，有进行分类的神经元，并且采用softmax激活函数，去掉此模型所述的最后一层全连接层FC，并增加一层全连接层FC，该新增全连接层FC只有一个神经元，不采用任何激活函数，然后设置InceptionV3的模型的损失函数loss＝‘mse’,即采用均方误差MSE，设置学习率lr，用ImageNet数据集训练得到的开源参数对InceptionV3模型进行参数初始化，最后用步骤(2)所述训练集数据重新训练InceptionV3模型的参数，训练次数设定为n轮，每一轮均用所述测试集数据进行测试，将测试图片输入当前得到的模型进行预测得到嗜酸性粒细胞比例的预测值P1，并将所述预测值P1与测试数据的真实标签值即所述嗜酸性粒细胞比例S，计算平均绝对误差MAE，即每个图片的所述预测值P1与所述嗜酸性粒细胞比例S之差的绝对值的平均值；将n轮中MAE最小时对应的模型参数进行保存，从而得到嗜酸性粒细胞占比模型，所述n为自然数，n大于1，按照前述训练次数的要求进行训练；整合玻片上所有小病理图片的嗜酸性粒细胞比例值，得到慢性鼻窦炎鼻息肉玻片的最终辅助诊断结果：设定玻片由N张小病理图片组成，N为自然数，分别由所述嗜酸性粒细胞占比模型训练得到每张小病理图片的嗜酸性粒细胞占比值Si，i为(1,N)，则该玻片最终诊断结果为N个值的平均值，D＝∑Si/N。

图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysisplatform,即自动玻片分析平台；图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成所述大掩膜图像；图像处理中采用开源的openslide软件进行切图处理。

所述设置切图的图片分辨率包括有256*256格式、512*512格式与1024*1024格式。

所述阈值G：0.8≤G＜1。

利用所述得到的嗜酸性粒细胞占比模型对鼻息肉数字病理图像中任何一个分辨率不超过1024*1024的小病理图片给出嗜酸性粒细胞比例值，范围是0％～100％。

建立深度学习量化预测模块中，按下表进行设计：

表中conv表示卷积核为卷积层，pool表示池化层，Inception代表模型模块，FC代表全连接层，softmax代表分类的激活函数，(3*3)代表卷积核大小，(8*8)代表池化核的大小，1000代表1000个神经元，1代表1个神经元。

一种基于所述基于数字病理玻片进行慢性鼻窦炎的分型方法的系统，其特征在于包括下列模块：

图像采集模块：对慢性鼻窦炎鼻息肉玻片进行完整扫描获取到数字化病理图像WSI，通过开源的自动玻片分析平台ASAP软件，勾画出病变区域得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

图像预处理模块：设置切图的图片分辨率，读取所述数字化病理图像和大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G所对应的小病理图；若小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃，其中P,G取值范围均是0到1，所述大掩膜图、小掩膜图就是指mask图像，所述mask图像是将所述数字化病理图像中的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来；

训练数据集设计模块：针对每张小病理图进行统计嗜酸性粒细胞数目N，非嗜酸性粒细胞数目M，每张图片对应的嗜酸性粒细胞比例S计算为：S＝N/(N+M)，取值范围0％～100％，其中没有嗜酸性粒细胞为0％，全是嗜酸性粒细胞为100％，对前述的所有小病理图片，按照设定的比例分成训练集数据和测试集数据；

深度学习量化预测模块：采用深度学习keras框架下的Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，该模型最后一层全连接层FC，有进行分类的神经元，并且采用softmax激活函数，去掉此模型所述的最后一层全连接层FC，并增加一层全连接层FC，该新增全连接层FC只有一个神经元，不采用任何激活函数；设置InceptionV3的模型的损失函数loss＝‘mse’,即采用均方误差MSE，设置学习率lr，用ImageNet数据集训练得到的开源参数对InceptionV3模型进行参数初始化；用所述训练集数据重新训练InceptionV3模型的参数，训练次数设定为n轮，每一轮均用所述测试集数据进行测试，将测试图片输入当前得到的模型进行预测得到嗜酸性粒细胞比例的预测值P1，并将所述预测值P1与测试数据的真实标签值即所述嗜酸性粒细胞比例S，计算平均绝对误差MAE，即每个图片的所述预测值P1与所述嗜酸性粒细胞比例S之差的绝对值的平均值；将n轮中MAE最小时对应的模型参数进行保存，从而得到嗜酸性粒细胞占比模型，所述n为自然数，n大于1时，按照前述训练次数的要求进行训练；

结果输出模块：利用所述得到的嗜酸性粒细胞占比模型对鼻息肉数字病理图像中每一个小病理图片给出嗜酸性粒细胞比例值，整合所有小病理图片的嗜酸性粒细胞比例值，得到慢性鼻窦炎鼻息肉玻片的最终辅助诊断结果。

本发明的有益效果是：

本发明的核心由于是利用鼻息肉病理图片建立了嗜酸性粒细胞占比模型，因此只要将鼻息肉制作成玻片，然后通过数字病理仪扫描得到WSI图，将WSI进行切图，得到小病理图片，由所述嗜酸性粒细胞占比模型训练得到每张小病理图片的嗜酸性粒细胞占比值Si,i为(1,N)，则该玻片最终诊断结果为N个值的平均值，D＝∑Si/N，故可以通过学习训练，快速准确得到病理图片上的嗜酸性粒细胞占比值。

鉴于现有临床病理学采用对慢性鼻窦炎鼻息肉玻片标本进行随机抽样得出的诊断可能存在漏诊及误诊这一现状，本发明采用监督式深度学习回归算法，能够基于数字病理玻片对慢性鼻窦炎患者进行准确且快速地诊断，判断其是否为嗜酸性。根据临床实际比较，本发明的辅助诊断结果与“金标准”完全符合，而临床上现有的随机抽样的方法有20％以上的可能性存在漏诊或误诊。另一方面，本发明所述系统能够在5分钟内得出对整个鼻息肉玻片的诊断结果，而医生需要花费2～4小时，因此本发明所述系统具有很高效率。最后，本发明所述系统支持外地医院远程阅片，远程诊断，可以大幅度提高基层医联体医院的鼻息肉病理诊断水平，具有极强的社会效益。

附图说明

图1为本发明流程图；

图2为本发明系统图；

图3为本发明系统模块示意图；

图4为本发明病理WSI勾画示意图。

图5为本发明生成的mask示意图即掩膜图；

图6为本发明诊断正确对比图；

图7为本发明慢性鼻窦炎深度学习流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于数字病理玻片进行慢性鼻窦炎的分型方法，主要包括下列技术措施：

(一)病理图片的处理，包括下列步骤：

图像采集：

1)对慢性鼻窦炎鼻息肉玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的mask图像即大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0。

图像处理：

设置切图的图片分辨率，一般设置的格式256*256,512*512,1024*1024三种，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G所对应的小病理图；若小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃；阈值G越接近1，则保存的小病理图中病变区域占比越高，阈值G越接近0，则保存的小病理图中病变区域占比越低。其中P,G取值范围均是0到1，一般0.8≤G＜1；小掩膜图与大掩膜图像均是mask图像，mask图像即是将所述数字化病理图像的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来。阈值G就是像素平均值P的取值范围，为便于表述而给出的一个专业术语。

图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysisplatform,即自动玻片分析平台。图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成大掩膜图像。图像处理中采用开源的openslide软件进行切图处理。

下面结合附图更加详细说明。

首先通过开源的ASAP(Automated silde analysis platform,自动玻片分析平台)软件，由病理科医生对数字化病理图像(WSI，whole slide image)勾画出病变区域，如图4为病理WSI勾画示意图，即勾画区域：曲线围成的区域；勾画区域的位置由生成的xml格式的文件保存。

接下来，调用ASAP自带的“multiresolutionimageinterface”库(https://github.com/computationalpathologygroup/ASAP)，根据xml生成大掩膜图，如图5为生成的mask示意图即掩膜图，掩膜图白色区域(勾画区域)对应的像素值为1，黑色的其他区域对应的像素值为0，整个掩膜图的分辨率与WSI图即数字病理玻片(whole slide image)相同。

接着用开源的“openslide”库(https://openslide.org/)读取WSI，和对应的大掩膜图，并按照设置的分辨率如512*512分别对WSI和对应的大掩膜图进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置是一一对应的。

最后，按照设定的小图片分辨率，用滑动窗口将原始的WSI及对应的大掩膜图切成数个小病理图片和小掩膜图片，分别计算每个小掩膜图的像素平均值P(范围0到1)，并设定阈值G(范围0到1)，并只保存小掩膜图像素的平均值P≥G所对应的小病理图，而小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃。

简而言之，本发明病理图片的处理，即是自动切图算法：将传统玻片通过数字病理扫描仪数字化后的WSI影像通常有2～4GB，最大分辨率对应约上亿个像素点。首先通过开源的ASAP软件，请病理科医生勾画出感兴趣区域(ROI区域)，生成xml文件，然后用multiresolutionimageinterface库生成此区域对应的掩膜(mask)，接着用开源的openslide库确定需要切图的放大倍数(level)及图片分辨率，最后按照按照确定的level及分辨率在mask区域自动切图，比如一张数字病理WSI的ROI区域在level＝0时可以自动切出数千到上万张256*256分辨率的图片。

综合运用以上方法，这样就能够对一张慢性鼻窦炎鼻息肉玻片的原始的WSI图，在医生把需要分析的区域勾出后，自动进行生成掩膜，切图，最后只保存感兴趣区域的小病理图，方便后面的深度学习训练模块处理。

上述病理图片的处理方法，通过下列模块处理：

图像采集模块：首先得到慢性鼻窦炎鼻息肉玻片的数字化病理图像(WSI，wholeslide image)。倍数≥400倍，分辨率≥20000*20000像素。然后病理科医生通过开源的ASAP软件，勾画出鼻息肉玻片中固有层的区域，通过XML格式的文件进行保存。

图像预处理模块：基于ASAP软件再次读取XML文件，生成一个与原数字病理图像分辨率一致的掩膜图像层，如图2，掩膜层即前述的掩膜图的像素设为1，掩膜层区域以外设为0。然后采用滑动窗口按照分辨率为1024*1024，或者512*512的窗口依次对整个数字病理图像进行扫描，计算掩膜层该窗口的平均像素值P(范围0到1)，及设定的阈值G，一般0.8≤G＜1，若G≥0.8，则调用opensilde软件(https://openslide.org/)对该掩膜窗口对应的病理数字图像进行切图得到相应的小图片即小病理图并保存。保存的小图片分辨率为1024*1024，或者512*512。

总之，本发明将传统玻片通过数字病理扫描仪数字化后的WSI影像通常有2～4GB，最大分辨率对应约上亿个像素点，首先通过开源的ASAP(Automated silde analysisplatform,自动玻片分析平台，https://github.com/computationalpathologygroup/ ASAP)软件，由病理科医生勾画出感兴趣区域(ROI区域)，生成xml文件，然后用multiresolutionimageinterface库生成此区域对应的掩膜(mask)，接着用开源的openslide(https://openslide.org/)库确定需要切图的放大倍数(level)及图片分辨率，最后按照确定的level及分辨率在mask区域自动切图，比如一张数字病理WSI的ROI区域在level＝0时可以自动切出数千到上万张256*256分辨率的图片，方便后面的深度学习算法模块处理。

(二)利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法，包括下列步骤：

(1)数据准备：通过前述病理图片的处理得到数字化病理图像WSI的小病理图片；

(2)数据标记：每张小病理图片记做x，统计每张小病理图片的嗜酸性粒细胞个数及所有炎症细胞个数，嗜酸性粒细胞占炎症细胞的比例＝嗜酸性粒细胞个数/所有炎症细胞个数，统计的嗜酸性粒细胞数目N，非嗜酸性粒细胞数目M，每张图片对应的嗜酸性粒细胞比例S计算为：S＝N/(N+M)，取值范围0％～100％，其中没有嗜酸性粒细胞为0％，全是嗜酸性粒细胞为100％，对前述的所有小病理图片，按照设定的比例分成训练集数据和测试集数据，最为常用的训练集数据和测试集数据的设定比例是9:1或8:2，本比例设计，仅仅是举例，根据实际情况进行设置；

(3)建模算法：首先，采用深度学习keras框架下的Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，该模型最后一层全连接层FC，有1000个神经元，采用softmax激活函数，用于对自然界1000类进行分类，然后去掉此模型最后一层，并增加一层全连接层FC，该新增全连接层FC只有一个神经元，不采用任何激活函数，然后设置InceptionV3的模型的损失函数loss＝‘mse’,即采用均方误差MSE(mean square error)，设置学习率lr＝0.0008(经验值)，用ImageNet数据集(此数据集是开源的非医学数据集)训练得到的开源参数对InceptionV3模型进行参数初始化(在keras框架汇中以hdf5格式存在)，最后用所述训练集数据重新训练InceptionV3模型的参数，训练次数设定为训练次数设定为n轮，所述n为自然数，n大于1，按照前述训练次数的要求进行训练，例如训练次数设定为50-200轮或其它设计值，每一轮均用所述测试集数据进行测试，将测试图片输入当前得到的模型(参数)进行预测得到嗜酸性粒细胞比例的预测值P1，并将预测值P1与测试数据的真实标签值S即所述嗜酸性粒细胞比例S，计算平均绝对误差MAE(mean absoluteerror)，即每个图片的预测值P1与真实标签值S之差的绝对值的平均值。将100轮中MAE最小时对应的模型参数以hdf5格式进行保存，从而得到一个嗜酸性粒细胞占比模型。

利用所述得到的嗜酸性粒细胞占比模型对鼻息肉数字病理图像中每一个分辨率不超过1024*1024的小病理图片给出嗜酸性粒细胞比例值，范围是0％～100％。

步骤(3)建模算法中，按下表进行设计：

表中conv表示卷积核为卷积层，pool表示池化层，Inception代表模型模块，FC代表全连接层，softmax代表分类的激活函数，(3*3)代表卷积核大小，(8*8)代表池化核的大小，1000代表1000个神经元，1代表1个神经元。

整合玻片上所有小图片的嗜酸性粒细胞比例值，得到玻片的最终辅助诊断结果，设定玻片由N张小病理图片组成，N为自然数，分别由所述嗜酸性粒细胞占比模型训练得到每张小病理图片的嗜酸性粒细胞占比值Si,i为(1,N)，则该玻片最终诊断结果为N个值的平均值，D＝∑Si/N。N为1时，表示挑选1张小病理图片，实际中是有很多小病理图片组成，通过平均值D会得到更加准确的结果。

可见本发明采用监督式深度学习方法，数据是鼻息肉数字病理WSI经过切图模块得到的众多图片，每张图片X都可由三名病理科医生统计得到嗜酸性粒细胞占炎症细胞的比例值，将这个值作为此图片的标签y，将这样的一对(x,y)数据输入深度学习算法进行训练得到模型。具体算法是首先，采用开源的Inception V3(https://keras.io/ applications/#inceptionv3)模型，并加载此模型在ImageNet(http://www.image- net.org/)数据集上已经训练好的参数，可以对自然界1000类物体进行分类，然后，采用迁移学习技术，去掉此模型最后一层，并增加只包含一个神经元的全连接层，不采用激活函数，损失函数改为均方差(MSE)，学习率(lr)设为0.0008，采用此回归算法建立一个可预测鼻息肉病理图片的嗜酸性粒细胞占比的模型。

采用了上述监督式深度学习回归算法建立了人工智能模型，对每个小图片(patch)的嗜酸性粒细胞占炎症细胞比例进行预测，最后综合所有小图片(patch)得到患者一张数字病理图片的最终嗜酸性粒细胞占炎症细胞比例。

本发明基于数字病理玻片(whole slide image)，能够对整个玻片进行完整扫描，鉴于一张数字病理玻片约2～4GB，当前GPU无法直接处理，利用本发明的切图算法，可将一张数字病理分割为数百至数千张任意分辨率的小图片(patch)，其次，采用监督式深度学习回归算法建立了人工智能模型即嗜酸性粒细胞占比模型对每个小图片(patch)的嗜酸性粒细胞占炎症细胞比例进行预测，最后综合所有小图片(patch)得到患者一张数字病理图片的最终嗜酸性粒细胞占炎症细胞比例。

图1为本发明流程图，鼻息肉手术；制作病理玻片；数字病理扫描仪数字化后的WSI影像，即数字病理玻片图像；切图后得到的数百至数千张任意分辨率的小图片(patch)，即图片(1)、图片(2)、图片(3)...；监督式深度学习回归模型即所述嗜酸性粒细胞占比的模型；利用所述嗜酸性粒细胞占比的模型进行学习训练得到预测值，即预测(1)、预测(2)、预测(3)...；最后，得到基于数字病理玻片的诊断结果。

图3为本发明系统模块示意图；(1)慢性鼻窦炎鼻息肉玻片数字图像；(2)对鼻息肉玻片数字图像进行勾画、生成小图片即小病理图；(3)基于深度学习量化预测模块即利用所述嗜酸性粒细胞占比模型，对每个小图片预测嗜酸性粒细胞数目占比；(4)结果输出模块，综合所有小图片预测结果得出最终结果。

如图6，诊断正确对比图：横轴代表参与测试的患者(共16人)，纵轴是嗜酸性粒细胞占比值(取值范围是0％～100％)，红色水平的虚线指的是临床诊断标准(≥10％为嗜酸性鼻窦炎，＜为非嗜酸性)。患者的鼻息肉嗜酸性粒细胞的真实值是金标准(蓝色线)，通过本发明预测的(黄色线)均能准确诊断患者，而在医生随机选择10个视野小图片诊断时(黑点)，有可能存在误诊(红圈)或漏诊(漏诊)。

针对图6的诊断正确对比图，下面更加详细描述：基于数字病理玻片整体统计，能够更准确的诊断患者是否为嗜酸性慢性鼻窦炎，而传统临床诊断方法由于是抽样统计可能存在漏诊和误诊(尤其是在10％的诊断分界线附近)。

横轴是16个患者，纵轴是嗜酸性粒细胞占比，红色虚线是10％的诊断线，高于它代表诊断为嗜酸性，低于它代表非嗜酸性，蓝色线是医生对整个玻片统计后得出的真实的嗜酸性粒细胞占比值，橙色是本发明的深度学习的方法得到的嗜酸性粒细胞占比值，每个病人对应50个黑点，每个黑点代表从医生随机选择10个位置进行抽样统计。举例：对于ID为6的患者，真实的(蓝色)值是小于10％，本发明的方法得出的值也是小于10％，因此都是正确诊断为非嗜酸性患者，然而对于医生随机抽样(黑点)，有的黑点却超过了10％，代表误诊为嗜酸性。同样，对于ID为8的患者，真实的(蓝色)值是大于10％，本发明的方法得出的值也是大于10％，因此都是正确诊断为嗜酸性患者，然而对于医生随机抽样(黑点)，有个黑点却低于10％，代表误诊为非嗜酸性。

如图7，是将小图片1和小图片2输入慢性鼻窦炎深度学习预测模型，输出将分别得到小图片1和小图片2的嗜酸性粒细胞占比值。

下面是三种方法所需时间对比表，采用现有的医生随机抽样10个点所需时间约12分钟，采用医生人工对整个玻片进行完整统计所需时间约150分钟，而采用我们的深度学习的方法对整个玻片进行统计只需要约5分钟。

综上所述，本发明有如下优点：

本发明第一个优点是：基于数字病理玻片整体统计，能够更准确的诊断患者是否为嗜酸性慢性鼻窦炎，而传统临床诊断方法由于是抽样统计可能存在漏诊和误诊(尤其是在10％的诊断分界线附近)。

本发明第二个优点是：基于Nvidia-DGX的GPU超算平台，可以实现5分钟内完成一个数字病理玻片的完成统计，而病理科医生需要2～4小时，具有极高时效性。

本发明第三个优点是：如图2，外地医院玻片与本院玻片的应用图，本院利用光纤高速互联网，可以为基层医疗机构即外地医院进行慢性鼻窦炎数字病理玻片远程阅片，远程诊断，提高基层医疗机构慢性鼻窦炎诊断能力。

以上所述仅为发明较佳的实施例，并非因此限制本发明的申请专利范围，所以凡运用本发明说明书及图示内容所作出的等效结构变化，均包含在本发明的保护范围内。

Claims (7)

1.一种基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于包括下列步骤：

图像采集：

1)对慢性鼻窦炎鼻息肉玻片进行完整扫描获取到数字化病理图像；

2)将所述数字化病理图像勾画出病变区域，从而得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

3)生成一个与所述数字化病理图像的分辨率一致的大掩膜图像，并根据所述xml对其进行赋值，xml区域内为1，区域外为0，即勾画区域对应的像素值为1，其他区域对应的像素值为0；

图像预处理：

设置切图的图片分辨率，读取所述数字化病理图像和所述大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G所对应的小病理图；若小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃，其中P,G取值范围均是0到1；

所述大掩膜图、小掩膜图均指mask图像，mask图像是将所述数字化病理图像中的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来；

设计训练数据集：每张小病理图片记做X，统计每张小病理图片的嗜酸性粒细胞个数及所有炎症细胞个数，嗜酸性粒细胞占炎症细胞的比例＝嗜酸性粒细胞个数/所有炎症细胞个数，统计的嗜酸性粒细胞数目N，非嗜酸性粒细胞数目M，每张图片对应的嗜酸性粒细胞比例S计算为：S＝N/(N+M)，取值范围0％～100％，其中没有嗜酸性粒细胞为0％，全是嗜酸性粒细胞为100％，对前述的所有小病理图片，按照设定的比例分成训练集数据和测试集数据；

建立深度学习量化预测模块：首先，采用深度学习keras框架下的Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，该模型最后一层全连接层FC，其内有进行分类的神经元，并且采用softmax激活函数，去掉此模型所述的最后一层全连接层FC，并增加一层全连接层FC，新增全连接层FC只有一个神经元，不采用任何激活函数，然后设置InceptionV3的模型的损失函数loss＝‘mse’,即采用均方误差MSE，设置学习率lr，用ImageNet数据集训练得到的开源参数对InceptionV3模型进行参数初始化，最后用所述训练集数据重新训练InceptionV3模型的参数，训练次数设定为n轮，每一轮均用所述测试集数据进行测试，将测试图片输入当前得到的模型进行预测得到嗜酸性粒细胞比例的预测值P1，并将所述预测值P1与测试数据的真实标签值即所述嗜酸性粒细胞比例S，计算平均绝对误差MAE，即每个图片的所述预测值P1与所述嗜酸性粒细胞比例S之差的绝对值的平均值；将n轮中MAE最小时对应的模型参数进行保存，从而得到嗜酸性粒细胞占比模型，所述n为自然数，且n大于1，按照前述训练次数的要求进行训练；

整合玻片上所有小病理图片的嗜酸性粒细胞比例值，得到慢性鼻窦炎鼻息肉玻片的最终辅助诊断结果：设定所述慢性鼻窦炎鼻息肉玻片由N张小病理图片组成，N为自然数，分别由所述嗜酸性粒细胞占比模型训练得到每张小病理图片的嗜酸性粒细胞占比值Si，i为(1,N)，则该玻片最终诊断结果为N个值的平均值，D＝∑Si/N。

2.根据权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于：

图像采集中步骤2)中使用开源的ASAP进行勾画，形成曲线围成的区域，所述勾画出病变区域的位置是指所述曲线的位置，所述ASAP是Automated silde analysis platform,即自动玻片分析平台；图像采集中步骤3)中调用ASAP自带的“multiresolutionimageinterface”库，生成所述大掩膜图像；图像预处理中采用开源的openslide软件进行切图处理。

3.根据权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于：所述设置切图的图片分辨率包括有256*256格式、512*512格式与1024*1024格式。

4.根据权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于所述阈值G：0.8≤G＜1。

5.根据权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于：利用所述得到的嗜酸性粒细胞占比模型对鼻息肉数字病理图像中任何一个分辨率不超过1024*1024的小病理图片给出嗜酸性粒细胞比例值，范围是0％～100％。

6.根据权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法，其特征在于：建立深度学习量化预测模块中，按下表进行设计：

表中conv表示卷积核为卷积层，pool表示池化层，Inception代表模型模块，FC代表全连接层，softmax代表分类的激活函数，(3*3)代表卷积核大小，(8*8)代表池化核的大小，1000代表1000个神经元，1代表1个神经元。

7.一种基于权利要求1所述基于数字病理玻片进行慢性鼻窦炎的分型方法的系统，其特征在于包括下列模块：

图像采集模块：对慢性鼻窦炎鼻息肉玻片进行完整扫描获取到数字化病理图像WSI，通过开源的自动玻片分析平台ASAP软件，勾画出病变区域得到勾画区域，并将所述勾画区域的位置生成xml格式的文件进行保存；

图像预处理模块：设置切图的图片分辨率，读取所述数字化病理图像和大掩膜图像，并按照所述设置的切图的图片分辨率分别对所述数字化病理图像和所述大掩膜图像进行切图，分别得到小病理图和小掩膜图，并且小病理图和小掩膜图的位置一一对应；计算每个小掩膜图的像素平均值P，并设定阈值G，并只保存小掩膜图的像素的平均值P≥G所对应的小病理图；若小掩膜图的像素的平均值P＜G所对应的小病理图则丢弃，其中P,G取值范围均是0到1，所述大掩膜图、小掩膜图就是指mask图像，所述mask图像是将所述数字化病理图像中的病变区域的轮廓信息在坐标系中由x、y坐标值表示出来；

训练数据集设计模块：针对每张小病理图进行统计嗜酸性粒细胞数目N，非嗜酸性粒细胞数目M，每张图片对应的嗜酸性粒细胞比例S计算为：S＝N/(N+M)，取值范围0％～100％，其中没有嗜酸性粒细胞为0％，全是嗜酸性粒细胞为100％，对前述的所有小病理图片，按照设定的比例分成训练集数据和测试集数据；

深度学习量化预测模块：采用深度学习keras框架下的Inception V3模型及其在ImageNet数据集上进行训练得到模型参数，该模型最后一层全连接层FC，有进行分类的神经元，并且采用softmax激活函数，去掉此模型所述的最后一层全连接层FC，并增加一层全连接层FC，新增全连接层FC只有一个神经元，不采用任何激活函数；设置InceptionV3的模型的损失函数loss＝‘mse’,即采用均方误差MSE，设置学习率lr，用ImageNet数据集训练得到的开源参数对InceptionV3模型进行参数初始化；用所述训练集数据重新训练InceptionV3模型的参数，训练次数设定为n轮，每一轮均用所述测试集数据进行测试，将测试图片输入当前得到的模型进行预测得到嗜酸性粒细胞比例的预测值P1，并将所述预测值P1与测试数据的真实标签值即所述嗜酸性粒细胞比例S，计算平均绝对误差MAE，即每个图片的所述预测值P1与所述嗜酸性粒细胞比例S之差的绝对值的平均值；将n轮中MAE最小时对应的模型参数进行保存，从而得到嗜酸性粒细胞占比模型，所述n为自然数，n大于1，按照前述训练次数的要求进行训练；

结果输出模块：利用所述得到的嗜酸性粒细胞占比模型对鼻息肉数字病理图像中每一个小病理图片给出嗜酸性粒细胞比例值，整合所有小病理图片的嗜酸性粒细胞比例值，得到慢性鼻窦炎鼻息肉玻片的最终辅助诊断结果。

Images