CN111798416A - 基于病理图像与深度学习的肾小球智能检测方法及系统 - Google Patents

Abstract

本发明属于肾脏数字病理图像的智能辅助阅片技术领域；传统算法和已知的深度学习算法需要进行较多的人工预处理才能实现感兴趣区域的分类或检测，缺乏有效的细粒度病理图像检测算法，本发明将Faster R‑CNN方法应用于该感兴趣区域的检测，基于Faster R‑CNN提供一种针对肾病理图像的肾小球智能检测方法及系统；在深度神经网络中实现图像数据增强过程，通过提取同类别图像的特征，计算图像与已提取特征之间的相关性，使目标检测的生成推荐区域过程更具有针对性，实现感兴趣区域的定位、检测，并返回整张切片上肾小球的个数的系统，在病理图像上进行细粒度目标检测时，算法收敛速度更快，检测结果更准确，更具有针对性，实现辅助阅片的功能。

Description

基于病理图像与深度学习的肾小球智能检测方法及系统

技术领域

本发明涉及肾脏数字病理图像的智能辅助阅片系统，更具体的说，涉及一种基于病理图像与深度学习的肾组织感兴趣区域智能检测方法及系统。

背景技术

慢性肾病(CKD)会导致肾功能逐渐丧失，导致终末期肾病，需要透析或肾移植。我国目前慢性肾脏病患者达到有一亿两千万，患病率为10.8％。在我国，发生于肾小球肾炎的慢性肾病患者最多，占40%。慢性肾病一般早期症状不明显，到了晚期肾功能衰竭，危害病人的生命。然而多数类型的慢性肾病，例如肾小球疾病在临床上的表现均为血尿、蛋白尿等症状，并无其他特异性的临床表现，因此，肾活检组织病理检查是确诊慢性肾病类型的金标准。

病理医师在对肾病理组织切片进行诊断时，肾小球、小动脉及肾小管的形态和个数都对疾病的诊断起到关键性作用。因此，病理医师需要对同一个病例的常见五种染色切片进行对照查看，且对每种染色切片上所有感兴趣区域要逐一进行确认。

在当前病理医师匮乏的严峻的情形下，急需一个肾脏病理智能辅助阅片系统，辅助病理医师完成大量重复性的简单工作——定位一张载玻片上的所有肾小球、小动脉及肾小管萎缩区域，统计正常肾小球和硬化肾小球的数量及肾小管萎缩区域的面积，使得病理医师可以将大量时间分配在疑难杂症等复杂的工作上。而目前无论国内还是国外，关注在肾脏病理图像上的人工智能阅片诊断系统的研发工作都是相对较少的。而且病理图像还有一个特点——细粒度图像，既不同类别的待检测目标之间的差别不大，与背景差别也不大，因此常见的目标检测方法于病理图像效果并不显著。

目前传统算法或已知的深度学习算法，必须是在对数字病理图像进行较多的人工预处理的情况下，才能实现对肾病理图像上感兴趣区域的分类或检测；过去的算法没有针对细粒度图像的特点，缺乏有效的细粒度病理图像检测算法；且不能返回整张病理图像上肾小球的位置、个数，是否有硬化肾小球或肾小管萎缩区域。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于病理图像与深度学习的肾小球智能检测方法及系统，该发明提出了可实现细粒度识别的深度卷积神经网络算法，通过提取同类别图像的特征，再计算图像与已提取特征之间的相关性，得到数量更少、准确率更高的锚点，使目标检测的生成推荐区域过程更具有针对性，得到收敛速度更快、结果更准确的算法，本发明实现感兴趣区域（正常肾小球、硬化肾小球、小动脉、肾小管萎缩区域）的定位、检测，并返回整张切片上肾小球的个数的系统，实现了辅助阅片的功能。

为实现上述目的，本发明提供了如下技术方案：

一种基于病理图像与深度学习的肾小球智能检测系统，包括图像预处理模块、图像检测模型训练模块和结果输出模块，其中：图像预处理模块对肾病理图像进行格式转换、患者信息脱敏、图片阈值分割去背景和图像剪裁的预处理；图像检测训练模块基于目标检测网络Faster R-CNN，针对肾病理图像的细粒度检测，通过使用已有图像对肾病理图像感兴趣区域的检测算法进行训练，获取分类验证精度Accuracy高于阈值的模型；结果输出模块对待检测的肾病理图像进行感兴趣区域的检测并输出肾病理图像的检测结果。

进一步，图像检测训练模块的模型的验证精度Accuracy的阈值为95%。

一种基于病理图像与深度学习的肾小球智能检测方法，包括以下步骤：

步骤1. 获取肾组织切片四种常见染色，然后使用载玻片扫描仪对切片进行扫描，获得数字肾病理图像数据Data；

步骤2. 对步骤1中所获取的图像数据Data进行图像预处理，获得用于细粒度图像识别的图像数据Data_T及其对应的包括类别信息和位置信息的真实标签信息GT_T；

步骤3. 采用细粒度深度神经网络对图像数据Data_T进行训练，获得检测肾脏感兴趣区域的模型Model_f和对应的深度网络模型参数Model_t；

步骤4. 将待检测的肾病理图像进行感兴趣区域的检测，通过结果输出模块输出检测结果。

进一步，步骤2包括以下步骤：

步骤2.1. 对图像进行格式转换，得到已转换为TIFF或SVS图像格式的图像F，删除切片标签图层，得到患者信息脱敏的图像A，并以切片编码对图像A进行命名；

步骤2.2. 使用OpenSlide包获得不同分辨率的图像A：通过调整OpenSlide的缩放级别level_count，分别获得图像A压缩倍数为1倍及2倍的图像，将图像A的所有不同压缩倍数的图像记为图像数据Data_T；

步骤2.3. 利用阈值图像分割方法保留病理图像中有组织部分的图像，去除空白部分图像，获得只包含主要组织的图像B；

步骤2.4. 将步骤2.3中获取的图像B裁剪为多个小图像，生成1000*1000像素的若干图像块C，相邻的图像块C的重叠区域为200个像素点，超出图像B不够1000个像素的区域以黑色填充；

步骤2.5. 对裁剪后的步骤2.4得到的图像块C进标注，获得带标注信息的图像数据Data_T以及真实标签信息GT_T。

进一步，步骤3包括以下步骤：

步骤3.1. 将图像数据Data分为两部分：训练集Data_train和验证集Data_validation；

步骤3.2. 使用深度残差神经网络ResNet50作为基础网络，获得具有自然图像目标检测能力的基础网络Model_1；

步骤3.3. 将训练集Data_train中所有图像调整至统一大小，获得数据集Data_train1，使用基础网络Model_1对数据集Data_train1进行特征提取，获得数据集Data_train1的卷积特征图F1，卷积特征图的长、宽、深大小为P*Q*N；

步骤3.4. 在步骤3.3获取的卷积特征图F1上，将真实标签信息GT_T中的标注位置信息映射到卷积特征图F1上并标注出感兴趣区域，在标注的所有类别的感兴趣区域中提取同类别感兴趣区域的卷积特征图F2，通过主成分分析法（PCA）分析卷积特征图F2，获得每个类别对应的一个特征向量F3；

步骤3.5. 分别计算感兴趣区域四个类别的特征向量F3与卷积特征图F1的协方差矩阵Co（P*Q），在卷积特征图F1中选择协方差矩阵Co中大于0.5的值的位置作为锚点，每个锚点生成9个图像，所有锚点生成的图像作为推荐区域特征图F_RP；

步骤3.6. 每个推荐区域特征图F_RP通过一个分类卷积层和一个回归卷积层输出5个预测值，包括感兴趣区域或背景的分数和第一次修正推荐区域特征图F_RP的边界框预测值，通过5个预测值计算包括类别信息的区域特征图F_RP与真实标注信息GT_T的交并比系数IoU1，以及包括位置信息的所有推荐区域特征图F_RP图像两两之间的交并比系数IoU2，获得筛选后推荐区域特征图F_RP1的类别信息和位置信息，计算推荐区域网络Model_2的分类损失Loss_C1和回归损失Loss_R1；

步骤3.7. 将步骤3.6生成的推荐区域特征图F_RP1及其对应的5个预测值和卷积特征图F1共同输入结果检测网络Model_3，对步骤3.6中边界框的预测值进行修正，得到推荐区域的最终分类结果以及目标的位置信息；根据预测的分类结果和目标的位置信息与真实标签信息GT_T计算结果检测网络Model_3的分类损失Loss_C2和回归损失Loss_R2，计算Model_f的总损失Loss，Loss=λ₁Loss_C1+λ₂Loss_R1+λ₃Loss_C2+λ₄Loss_R2，其中，λ_i为平衡四种损失的权重（i=1,2,3,4）；通过随机梯度下降算法对深度神经模型初始参数Model_t0的参数进行优化，获得深度神经模型参数Model_t1；

步骤3.8. 使用验证集Data_validation对深度神经模型参数Model_t1进行验证，若分类验证精度Accuracy＞0.95或训练期数（epoch）达到200次时，停止训练，获得经过训练后的深度神经网络模型参数Model_t；否则重复步骤3继续下一轮训练。

进一步，步骤3.5中每个锚点生成的9个图像中包括3种不同像素的图像，3种像素大小分别为128个像素、256个像素、512个像素，每种像素的图像包括3种推荐区域长宽比，分别为1:2，2:1，1:1。

进一步，步骤4包括以下步骤：

步骤4.1 通过步骤2获得待检测的图像T，输入深度神经网络模型Model_t的基础网络Model_1中，计算卷积特征图TF1；

步骤4.2计算卷积特征图TF1与步骤3.4中的特征向量F3的协方差矩阵TC，按步骤3.5获取图像T的推荐区域特征图TF_RP；

步骤4.3计算步骤4.2的推荐区域特征图TF_RP的边界框及类别的置信度得分，通过非极大值抑制，获得推荐区域特征图；

步骤4.4将步骤4.3的结果送入结果检测网络Model_3，得到推荐区域的类别置信度得分及校正后的边界框位置信息，得到目标检测的结果；

步骤4.5 根据步骤4.4中的目标的位置信息，从待检测的图像T中裁剪、保存并输出，同时将检测出的目标的边界框和类别绘制在新的高分辨率图像中，压缩后保存并输出。

进一步，非极大值抑制的阈值为0.7。

综上所述，发明具有以下有益效果：

本发明采用了基于细粒度识别的、可实现全自动目标检测的深度卷积神经网络，实现了数字肾脏病理图像上感兴趣区域（检测目标为正常肾小球、硬化肾小球、小动脉、肾小管萎缩区域）的目标检测；本发明在使用过程中不需要大量的预处理工作，在深度神经网络中实现图像数据增强过程，实现了端到端的输出，减少算法操作过程中的人为干预，只需将数字病理图像的格式转换为可用的svs或tiff格式；针对数字病理图像为细粒度图的特点，基于目标检测算法深度学习网络Faster R-CNN，提出新的推荐感兴趣区域算法，更关注图像上细微的目标，在病理图像上进行细粒度目标检测时，算法收敛速度更快，检测结果更准确，更具有针对性；本发明开发了能够实现感兴趣区域（正常肾小球、硬化肾小球、小动脉、肾小管萎缩区域）的定位、检测是否为以上感兴趣区域，并返回整张切片上感兴趣区域的面积、数目及类别相关信息的系统，实现了真正意义上的辅助阅片的功能。

附图说明

图1为本发明流程图。

图2为本发明的病理辅助阅片系统流程示意图。

图3为感兴趣区域的普通肾小球示意图。

图4为感兴趣区域的硬化肾小球示意图。

图5为感兴趣区域的小动脉示意图。

图6为感兴趣区域的肾小管萎缩示意图。

图7为本发明的肾小球智能检测系统输出的所有感兴趣区域的高分辨率结果示意图。

图8为本发明的肾小球智能检测系统中感兴趣区域识别结果压缩图。

图9为图8中A区域的局部放大图。

图10为图8中B区域的局部放大图。

图11为图8中C区域的局部放大图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

一种基于病理图像与深度学习的肾小球智能检测系统，包括图像预处理模块、图像检测模型训练模块和结果输出模块，其中：

图像预处理模块主要针对病理图像的特征对采集到的病理图像进行预处理，使得病理图像可被深度学习算法的训练、验证及测试阶段所采用，是由可批量处理的Python代码实现的。图像预处理模块对肾病理图像完成格式转换、患者信息脱敏、图片阈值分割去背景和图像剪裁的操作，预处理过程主要包括肾病理图像的图片格式转换、患者信息脱敏、图片阈值分割去背景、图像裁剪，其中图片格式转换是将扫描仪获得的私有格式的图片转换为通用的KFB或TIFF格式；患者信息脱敏是指去掉图像的标签层；采用均值法阈值分割进行图片阈值分割去背景；图像裁剪将待检测图像裁剪为固定大小的图像块。待检测的肾病理图像经过图像预处理模块处理后，便于图像检测模型的训练和检测。

图像检测模型训练模块主要是基于目标检测网络Faster R-CNN，针对肾病理图像的细粒度检测，提出一个针对肾病理图像的感兴趣区域检测算法，通过改进Faster R-CNN中RPN网络对锚点（Anchor）的选择方式进行改进：原始锚点的选择方式是将卷积特征图（长宽为P*Q）上所有P*Q个点都作为锚点，本发明通过主成分分析法，获得待检测目标的准确特征，再通过计算协方差，将相关度更高的点选择为锚点，减少了特征图的锚点的数量，降低了计算量，而且本发明提取相同类别图像的特征，在进行目标检测时更具针对性。使用肾病理图像及标签对感兴趣区域检测算法进行训练，获得验证精度Accuracy高于95%的深度神经网络模型作为检测模型，图像检测模型训练模块是通过搭建的基于Faster R-CNN 的深度神经网络实现的。

结果输出模块对待检测的肾病理图像进行感兴趣区域的检测并输出肾病理图像的检测结果，待检测的肾病理图像经图像预处理模块和图像检测模型训练模块完成图像预处理和图像检测后，获得已标注出感兴趣区域类别和位置信息的图像，并返回只包含感兴趣区域的高分辨率的图像。

本发明提供了一种基于病理图像与深度学习的肾小球智能检测方法，包括以下步骤：

步骤1. 获取肾组织切片四种常见染色，然后使用载玻片扫描仪对切片进行扫描，获得数字肾病理图像数据Data。

步骤2. 对步骤1中所获取的图像数据Data进行图像预处理，获得用于细粒度图像识别的图像数据Data_T及其对应的包括类别信息和位置信息的真实标签信息GT_T，真实标签信息GT_T（Ground Truth）由医生等专业人士标注，包括类别信息和位置信息，包括以下步骤：

步骤2.1. 对图像进行格式转换，得到已转换为TIFF或SVS图像格式的图像F，本步骤中采用的无损转换，一般认为图像在转换过程中没有信息损失；图像F中含有多层信息，其中一个图层为切片标签，标签内容包括医院名称，切片编码及患者姓名。在Python环境下读入图像F，删除切片标签图层，得到患者信息脱敏的图像A，并以切片编码对图像A进行命名。

步骤2.2. 使用OpenSlide包获得不同分辨率的图像A：步骤2.1中图像A的放大倍数为40倍，通过调整OpenSlide的参数缩放级别level_count，当level_count=0时，图像不缩放，本发明中取level_count=1，2，分别获得图像A压缩倍数为1倍及2倍的图像；将图像A的所有不同压缩倍数的图像记为图像数据Data_T，图像数据Data_T包含三个不同分辨率的数据，本步骤扩充了图像数据Data_T的数据量，增加了图像数据Data_T的数据多样性。

步骤2.3 利用阈值图像分割方法保留病理图像中有组织部分的图像，去除空白部分图像，阈值图像分割方法具体操作过程为：对图像求灰度均值AG，即所有像素灰度值之和除以像素点的数量，保留图像上所有像素值小于灰度均值AG的点，获得只包含主要组织的图像B。

步骤2.4 将步骤2.3中获取的只保留主要组织的图像B裁剪为多个小图像，生成图像大小为1000*1000像素的若干图像块C，裁剪时相邻的图像块C的重叠区域为200个像素点，超出图像B不够1000个像素的区域以黑色填充。

步骤2.5 对裁剪后的步骤2.4得到的图像C进标注，获得带标注信息的图像数据Data_T以及真实标签信息GT_T。真实标签信息GT_T保存在xml文件中，包括类别信息与位置信息。肾病理图像采用准像素级标注方法，即在需要识别的感兴趣区域上标注长方形的bounding box（边界框），需要标注的感兴趣区域的标签分为：正常肾小球、FSGS（硬化肾小球）、小动脉、肾小管萎缩区域。

步骤3. 采用细粒度深度神经网络对图像数据Data_T及真实标签信息GT_T进行训练，获得检测肾脏感兴趣区域的模型Model_f和对应的深度网络模型参数Model_t，模型Model_f包括三部分，第一部分：用于提取图像的特征的基础网络Model_1，基础网络Model_1选择的是残差神经网络ResNet50，并且已在百万级自然图像库ImageNet上进行预训练，因此在图像库ImageNet中自然图像的分类验证精度达95%。ResNet50结构由1个输入块与4个残差块组成，输入块包含一个7×7大小的卷积层和一个3×3大小的最大池化层；每一个残差块都由不同个数的卷积块组成。一个卷积块包括三层：变维卷积层（卷积核大小为1×1）、固定卷积组成（卷积核大小为3×3）变维卷积层（卷积核大小为1×1）；不同残差块的卷积块个数不同，卷积块中每一层的卷积核个数不同，使得图像在经过ResNet50后，获得长宽减少，深度增加的长、宽、深为P*Q*N的卷积特征图。

第二部分：推荐区域网络Model_2，主要包括可实现步骤3.4-3.6的网络，用于生成感兴趣区域；Model_2由一个变维卷积层（卷积核大小为1×1）、一个SoftMax函数层、一个区域推荐块构成。区域推荐块的内容是计算同类目标的卷积特征图、计算卷积特征图之间的协方差。根据协方差矩阵和设定的阈值获得可生产推荐区域的锚点。

第三部分：结果检测网络Model_3，主要对推荐区域进行分类和回归，产生目标检测结果。结果检测网络Model_3由一个池化层（ROIPooling）以及两个全连接层构成。RoIPooling层负责收集推荐区域，并计算出整合后的推荐区域特征图。Rol pooling层有2个输入：基础网络Model_1的卷积特征图，推荐区域网络Model_2输出的推荐区域特征图的分类和位置预测结果。通过两个全连接层，输出两个结果，第一层结果为分类结果，第一层结果结合SoftMax函数，得到最终得位置预测结果。

在网络的训练的过程中，模型Model_f的参数都进行了调整，模型训练包括以下步骤：

步骤3.1. 将图像数据Data分为两部分：训练集Data_train和验证集Data_validation，训练集和验证集的划分比例为4:1。

步骤3.2. 使用深度残差神经网络ResNet50作为基础网络，并在自然图像库ImageNet的数据集上进行预训练，获得对自然图像库ImageNet中的图像具有自然图像目标检测能力的基础网络Model_1。

步骤3.3 将训练集Data_train中所有图像统一调整大小为512*512像素大小的数据集Data_train1，对于数据集Data_train1采用分批训练， batch_size（批大小）为32，在分批处理时，对每一batch（批）数据单独进行数据增强，图像数据增强内容具体包括（1）平移：分别水平平移及竖直平移128个像素；（2）水平反转；（3）垂直翻转；（4）仿射变换：将每张图像分别旋转90°、180°、270°，使每一批的图像数据及其对应的标签数据集扩大至8倍。使用基础网络Model_1对数据集Data_train1进行特征提取，获得数据集Data_train1的卷积特征图F1，卷积特征图的长、宽、深大小为P*Q*N，即N个长宽为P*Q的特征图。

步骤3.4 在步骤3.3获取的卷积特征图F1上，将真实标签信息GT_T中的标注位置信息映射到卷积特征图F1上并标注出感兴趣区域，识别的感兴趣区域有四个类别，即肾小球、硬化肾小球、小动脉、肾小管萎缩的区域，每个类别都有一个对应的特征向量F3，在标注的所有类别的感兴趣区域中提取同类别感兴趣区域的卷积特征图F2，通过主成分分析法（PCA）分析卷积特征图F2，获得每个类别对应的一个特征向量F3，共有四个特征向量F3（1*N维）。

步骤3.5 分别计算感兴趣区域四个类别的特征向量F3与卷积特征图F1的协方差矩阵Co（P*Q），选择协方差矩阵Co中大于0.5的值的位置，在卷积特征图F1中选择相应的位置作为锚点，每个锚点生成3种不同像素大小的图像，像素大小分别为128个像素、256个像素、512个像素；每种像素分别有3种长宽比的推荐区域，分别为1:2，2:1，1:1；每个锚点共生成9张图像，所有锚点生成的图像作为推荐区域特征图F_RP。

步骤3.6. 将推荐区域特征图F_RP送入两个卷积层，其中第一个卷积层用于分类获得类别信息，第二个卷积层用于回归获得位置信息，分类卷积层输出的一个预测值为感兴趣区域或背景的分数，回归卷积层则输出四个预测值为第一次修正推荐区域特征图F_RP的边界框预测值，每个推荐区域特征图F_RP通过两个卷积层后共输出5个预测值，通过5个预测值计算包括类别信息的区域特征图F_RP与真实标注信息GT_T的交并比系数IoU1，以及包括位置信息的所有推荐区域特征图F_RP图像两两之间的交并比系数IoU2，获得筛选后推荐区域特征图F_RP1的类别信息和位置信息，计算推荐区域网络Model_2的分类损失Loss_C1和回归损失Loss_R1。

式中，A和B代表推荐区域特征图中计算交并比系数IoU的两个图像的面积。

非极大值抑制：按照所有的推荐区域的置信度得分进行排序，选取置信度得分最高的推荐区域，遍历剩余所有推荐区域计算面积重叠度IoU，若IoU>0.7，则代表两个推荐区域大概率检测的为同一目标，保留置信度得分更高的推荐区域特征图，删除置信度得分低的推荐区域特征图。遍历一遍后再从剩余的区域特征图中选取未处理的、置信度得分最高的推荐区域，重复上过程。若所有推荐区域之间的交并比系数IoU不足0.7的，则选取交并比系数IoU最大的推荐区域特征图，通过非极大值抑制去掉重复的推荐区域，保留下数量更少、质量更高的第一次修正位置后的推荐区域特征图F_RP1。IoU1>0.5的推荐区域特征图作为正样本，IoU1<0.3的推荐区域特征图作为负样本，无法计算IoU1的既不是正样本也不是负样本，不参与后续的训练；正样本的数目为128，若不足128，则用负样本填充。IoU2为所有推荐区域特征图F_RP图像两两之间的交并比系数，主要通过非极大值抑制方法得到，保留IoU2>0.7的候选框，若不足0.7，则保留IoU2最大的候选框，即为推荐区域特征图F_RP1。

步骤3.7. 将步骤3.6生成的推荐区域特征图F_RP1及其对应的5个预测值和卷积特征图F1共同输入结果检测网络Model_3。结果检测网络Model_3包含一个ROIPooling层，以及两层全连接层，输入的推荐区域特征图F_RP经过ROIPooling层后实现了固定长度的卷积特征输出。卷积特征在经过两层全连接层后，展开为用于分类或回归的特征向量，其中每个全连接层包含4096个神经元，都使用了激活函数ReLu（线性整流函数）和dropout层（随机失活），dropout率为0.5；最后，两个全连接层完成对每个候选区域分类，输出为正常肾小球、FSGS（硬化肾小球）、小动脉、肾小管萎缩区域这四个类别的概率得分及第二次修正位置的4个边界框预测值。两个全连接层的结果结合SoftMax函数则实现了对每个推荐区域位置的精修，即对步骤3.6中边界框预测值的进行修正，得到推荐区域的最终分类结果以及目标的位置信息。根据预测的分类结果和目标的位置信息与真实标签信息GT_T计算结果检测网络Model_3的分类损失Loss_C2和回归损失Loss_R2，计算Model_f的总损失Loss，Loss=λ₁Loss_C1+λ₂Loss_R1+λ₃Loss_C2+λ₄Loss_R2，其中，λ_i为平衡四种损失的权重（i=1,2,3,4），Loss_C1和Loss_C2采用交叉熵损失，Loss_R1和Loss_R2为位置偏移量的损失；通过随机梯度下降算法对深度神经模型初始参数Model_t0的参数进行优化，获得深度神经模型参数Model_t1。

步骤3.8.使用验证集Data_validation对模型Model_f的深度神经网络模型参数Model_t1进行验证，训练深度神经网络模型参数Model_1，并对预测结果计算损失误差，若验证精度Accuracy≤0.95时，使用数据集Data_train1对深度神经模型参数Model_1进行下一轮的训练，继续对深度神经模型参数Model_t1的参数进行调整，直到预测结果的验证精度Accuracy＞0.95或训练期数（epoch）达到200次时停止训练；否则重复步骤3继续下一轮训练。训练时迭代次数为10000次，使用动量梯度下降法更新权重，动量因子为0.9，学习率为0.001。在每个激活函数前用到了批量标准化（BN，Batch Normalization），使输出的数据均值接近于0，标准差接近1，BN层与激活函数的组合函数为y =S（BN（ωx）+β），其中BN（▪）是批量标准化函数，y =S（▪）为激活函数层所使用的激活函数，ω为权重，β为偏置项；BN层的使用能够加速收敛，控制过拟合，允许网络使用较大的学习率，对深层网络模型有较好的效果，共迭代100个epoch（期），1期代表训练所有的数据集Data_train1训练一遍，每训练完一个epoch后，都使用验证集Data_validation对模型Model_f进行验证，最终获得经过训练后的深度神经模型参数Model_t。

步骤4. 将待检测的肾病理图像进行感兴趣区域检测，通过结果输出模块输出检测结果，包括以下步骤：

步骤4.1 通过步骤2获得待检测的图像T，输入检测肾脏感兴趣区域的模型Model_f的基础网络Model_1中，计算图像T的卷积特征图TF1。

步骤4.2 计算卷积特征图TF1与步骤3.4中的特征向量F3的协方差矩阵TC，按步骤3.5获取图像T的推荐区域特征图TF_RP。

步骤4.3 计算步骤4.2的推荐区域特征图TF_RP的边界框及类别的置信度得分，采用非极大值抑制，在有重叠的推荐区域中，保留置信度得分最高的类别，避免了同一个物体被重复识别的情况，即当两个推荐区域的边界框的重叠率大于非极大值抑制的阈值时，保留置信度得分最大的边界框，获得推荐区域特征图，非极大值抑制的阈值为0.7。

步骤4.4 将步骤4.3的结果送入结果检测网络Model_3，得到推荐区域的类别置信度得分及校正后的边界框位置信息，得到目标检测的结果：取类别置信度数值最大的类别为候选框的类别输出，边界框位置为检测目标的位置输出。

步骤4.5 根据步骤4.4中的目标的位置信息，从步骤2.1得到的高分辨率图像中裁剪、保存并输出，同时将检测出的目标的边界框和类别绘制在新的高分辨率图像中，压缩后保存并输出。

在一些实施方式中，步骤1所述的四种常见染色为肾病理常见染色：HE（苏木素伊红），MASSON，PAS（过碘酸雪夫染色），PASM（过碘酸六胺银染色），且均为本领域技术人员公知的技术手段；免疫组化的染色对象可以选自组织或细胞，具体如结缔组织细胞核、细胞质、细胞骨架；也可以为具体某种蛋白或某(些)段核酸片段的染色信息；或者为对某种类型的糖类、脂类以及类淀粉蛋白等进行染色。

在一些实施方式中，步骤1所述的高分辨率的数字病理图像是指在载玻片扫描时物镜以不小于20倍的倍数进行扫描获得的图像，分辨率为0.25mm/像素。

在一些实施方式中，所采用的肾病理切片的诊断报告主要包含：微小病变、膜性肾病、肾小球硬化三种疾病诊断。

在一些实施方式中，计算分类验证精度Accuracy的计算方法为：正确预测的样本数占总预测样本数的比值。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于病理图像与深度学习的肾小球智能检测系统，其特征在于：包括图像预处理模块、图像检测模型训练模块和结果输出模块，其中：所述图像预处理模块对肾病理图像进行格式转换、患者信息脱敏、图片阈值分割去背景和图像剪裁的预处理；所述图像检测训练模块基于目标检测网络Faster R-CNN，针对肾病理图像的细粒度检测，通过使用已有图像对肾病理图像感兴趣区域的检测算法进行训练，获取分类验证精度Accuracy高于阈值的模型；所述结果输出模块对待检测的肾病理图像进行感兴趣区域的检测并输出肾病理图像的检测结果。

2.根据权利要求1所述的基于病理图像与深度学习的肾小球智能检测系统，其特征在于：所述图像检测训练模块的模型的验证精度Accuracy的阈值为95%。

3.一种基于病理图像与深度学习的肾小球智能检测方法，其特征在于：包括以下步骤：

步骤1. 获取肾组织切片四种常见染色，然后使用载玻片扫描仪对切片进行扫描，获得数字肾病理图像数据Data；

步骤2. 对步骤1中所获取的图像数据Data进行图像预处理，获得用于细粒度图像识别的图像数据Data_T及其对应的包括类别信息和位置信息的真实标签信息GT_T；

步骤3. 采用细粒度深度神经网络对图像数据Data_T进行训练，获得检测肾脏感兴趣区域的模型Model_f和对应的深度网络模型参数Model_t；

步骤4. 将待检测的肾病理图像进行感兴趣区域的检测，通过结果输出模块输出检测结果。

4.根据权利要求3所述的基于病理图像与深度学习的肾小球智能检测方法，其特征在于：所述步骤2包括以下步骤：

步骤2.1. 对图像进行格式转换，得到已转换为TIFF或SVS图像格式的图像F，删除切片标签图层，得到患者信息脱敏的图像A，并以切片编码对图像A进行命名；

步骤2.2. 使用OpenSlide包获得不同分辨率的图像A：通过调整OpenSlide的缩放级别level_count，分别获得图像A压缩倍数为1倍及2倍的图像，将图像A的所有不同压缩倍数的图像记为图像数据Data_T；

步骤2.3. 利用阈值图像分割方法保留病理图像中有组织部分的图像，去除空白部分图像，获得只包含主要组织的图像B；

步骤2.4. 将步骤2.3中获取的图像B裁剪为多个小图像，生成1000*1000像素的若干图像块C，相邻的图像块C的重叠区域为200个像素点，超出图像B不够1000个像素的区域以黑色填充；

步骤2.5. 对裁剪后的步骤2.4得到的图像块C进标注，获得带标注信息的图像数据Data_T以及真实标签信息GT_T。

5.根据权利要求3所述的基于病理图像与深度学习的肾小球智能检测方法，其特征在于：所述步骤3包括以下步骤：

步骤3.1. 将图像数据Data分为两部分：训练集Data_train和验证集Data_validation；

步骤3.2. 使用深度残差神经网络ResNet50作为基础网络，获得具有自然图像目标检测能力的基础网络Model_1；

步骤3.3. 将训练集Data_train中所有图像调整至统一大小，获得数据集Data_train1，使用基础网络Model_1对数据集Data_train1进行特征提取，获得数据集Data_train1的卷积特征图F1，卷积特征图的长、宽、深大小为P*Q*N；

步骤3.4. 在步骤3.3获取的卷积特征图F1上，将真实标签信息GT_T中的标注位置信息映射到卷积特征图F1上并标注出感兴趣区域，在标注的所有类别的感兴趣区域中提取同类别感兴趣区域的卷积特征图F2，通过主成分分析法（PCA）分析卷积特征图F2，获得每个类别对应的一个特征向量F3；

步骤3.5. 分别计算感兴趣区域四个类别的特征向量F3与卷积特征图F1的协方差矩阵Co（P*Q），在卷积特征图F1中选择协方差矩阵Co中大于0.5的值的位置作为锚点，每个锚点生成9个图像，所有锚点生成的图像作为推荐区域特征图F_RP；

步骤3.6. 每个推荐区域特征图F_RP通过一个分类卷积层和一个回归卷积层输出5个预测值，包括感兴趣区域或背景的分数和第一次修正推荐区域特征图F_RP的边界框预测值，通过5个预测值计算包括类别信息的区域特征图F_RP与真实标注信息GT_T的交并比系数IoU1，以及包括位置信息的所有推荐区域特征图F_RP图像两两之间的交并比系数IoU2，获得筛选后推荐区域特征图F_RP1的类别信息和位置信息，计算推荐区域网络Model_2的分类损失Loss_C1和回归损失Loss_R1；

步骤3.7. 将步骤3.6生成的推荐区域特征图F_RP1及其对应的5个预测值和卷积特征图F1共同输入结果检测网络Model_3，对步骤3.6中边界框的预测值进行修正，得到推荐区域的最终分类结果以及目标的位置信息；根据预测的分类结果和目标的位置信息与真实标签信息GT_T计算结果检测网络Model_3的分类损失Loss_C2和回归损失Loss_R2，计算Model_f的总损失Loss，Loss=λ₁Loss_C1+λ₂Loss_R1+λ₃Loss_C2+λ₄Loss_R2，其中，λ_i为平衡四种损失的权重（i=1,2,3,4）；通过随机梯度下降算法对深度神经模型初始参数Model_t0的参数进行优化，获得深度神经模型参数Model_t1；

步骤3.8. 使用验证集Data_validation对深度神经模型参数Model_t1进行验证，若分类验证精度Accuracy＞0.95或训练期数（epoch）达到200次时，停止训练，获得经过训练后的深度神经网络模型参数Model_t；否则重复步骤3继续下一轮训练。

6.根据权利要求3或5所述的基于病理图像与深度学习的肾小球智能检测方法，其特征在于：所述步骤3.5中每个锚点生成的9个图像中包括3种不同像素的图像，3种像素大小分别为128个像素、256个像素、512个像素，每种像素的图像包括3种推荐区域长宽比，分别为1:2，2:1，1:1。

7.根据权利要求3所述的基于病理图像与深度学习的肾小球智能检测方法，其特征在于：所述步骤4包括以下步骤：

步骤4.1 通过步骤2获得待检测的图像T，输入深度神经网络模型Model_t的基础网络Model_1中，计算卷积特征图TF1；

步骤4.2计算卷积特征图TF1与步骤3.4中的特征向量F3的协方差矩阵TC，按步骤3.5获取图像T的推荐区域特征图TF_RP；

步骤4.3计算步骤4.2的推荐区域特征图TF_RP的边界框及类别的置信度得分，通过非极大值抑制，获得推荐区域特征图；

步骤4.4将步骤4.3的结果送入结果检测网络Model_3，得到推荐区域的类别置信度得分及校正后的边界框位置信息，得到目标检测的结果；

步骤4.5 根据步骤4.4中的目标的位置信息，从待检测的图像T中裁剪、保存并输出，同时将检测出的目标的边界框和类别绘制在新的高分辨率图像中，压缩后保存并输出。

8.根据权利要求3或7所述的基于病理图像与深度学习的肾小球智能检测方法，其特征在于：所述非极大值抑制的阈值为0.7。

Images