CN109961059A - 检测肾脏感兴趣组织区域的方法及系统 - Google Patents

Abstract

本发明涉及针对医疗病理的人工智能诊断领域，具体而言，涉及一种检测肾脏感兴趣组织区域的方法及系统。本发明包括训练过程和识别过程两部分；训练过程使用Mask R‑CNN学习已标记的肾脏染色标本待检测图像得到模型；识别过程为找出感兴趣组织区域的轮廓线，然后产生每个轮廓线内所包含的所有视野；再使用上述模型获得掩膜，进而提取肾脏感兴趣组织区域的相关信息。本发明基于深度学习，通过对大量已有的影像数据和临床诊断数据训练人工智能系统，使其具备诊断疾病的能力，辅助临床诊断，快速，高效率，高稳定性探测，可有效降低漏诊误诊的概率。

Description

检测肾脏感兴趣组织区域的方法及系统

技术领域

本发明涉及针对医疗病理的人工智能诊断领域，具体而言，涉及一种检测肾脏感兴趣组织区域的方法及系统。

背景技术

慢性肾脏病(Chronic kidney diseases,CKD)是全球范围内严重危害人类健康的常见病和多发病，在中国，CKD的发病率高达10.8％，给社会和家庭带来沉重的经济负担。

CKD病人可能表现为血尿、蛋白尿、高血压等，其症状隐匿且特异性不高，因此活检肾组织切片的病理检查是大多数慢性原发/继发肾小球肾炎诊断不可或缺的金标准，包括糖尿病肾病、狼疮肾等等，其中特别是IgA肾病、膜性肾病、局灶节段性肾小球硬化、微小病变病等常见的原发性肾小球疾病，病理检查甚至是其唯一的诊断标准。不做肾活检，这些病人的诊断是不能建立的，更无法制定下一步的治疗方案。

众所周知，肾脏疾病的病理诊断需要有业务娴熟、技术精湛的病理专科医生。想要做出准确的诊断，病理专科医生必须在大量的检查信息上进行判断。通常情况下，病理医生负责审查病理切片上可见的所有生物组织，但是每个患者有很多病理切片，经过40倍放大后每个切片上都有100多亿的像素(10+gigapixels)。想象一下要浏览1000多百万像素的图片，还要为每个像素负责。这需要阅读大量的数据，但是病理专科医生的时间往往是不够的。

与此同时，一个经验丰富的临床病理医生的平均培训时间大概是十年，也就是说，大概需要整整十年的培训时间，一个刚毕业的住院医师才能逐渐成长为一个熟练的病理科医生，而且，病理科医生往往需要掌握全身各脏器的组织学特征，每天工作繁重，既有低效率高强度的重复劳动，也有需要基于多年工作经验的独立判断，责任重大却收入低微，导致现在全球各地都面临着临床病理医生资源匮乏的问题。由于许多医务工作者因工作压力和退休条件提高而退出医疗行业，世界卫生组织估计到2035年，全球医疗保健行业将会出现1,290万的医务工作者缺口，其中病理医生的缺口尤为严重。

国内外在肾脏病理人工智能辅助诊断系统的研发上非常少，且非常初步和原始。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于提出一种基于多任务卷积神经网络的肾脏感兴趣组织区域识别方法，以解决现有技术中的图像识别方法识别准确率和识别效率较低的技术问题。

本发明的另一目的在于提供一种用于执行上述方法的系统。

为了实现本发明的上述目的，特采用以下技术方案：

本发明涉及一种肾脏感兴趣组织区域检测模型的训练方法，所述方法包括如下步骤：

步骤1:获取参考肾脏染色标本图像；

步骤2:对所述肾脏染色标本图像中的感兴趣组织区域进行标注，得到标注后的肾脏染色标本图像；

步骤3:基于标注后的肾脏染色标本图像和标注信息，训练得到肾脏感兴趣组织区域检测模型；

所述检测模型为Mask R-CNN深度学习网络得到模型。

根据本发明的一方面，本发明还涉及一种检测肾脏感兴趣组织区域的方法，包括：

A)获取目标肾脏染色标本图像，找出感兴趣组织区域的轮廓线，然后产生每个轮廓线内所包含的所有视野；

B)使用权利要求1或2所述方法建立的检测模型，对所述视野进行识别，获得每个视野内所包含的感兴趣组织区域的掩膜；

C)对所述掩膜执行非极大值抑制算法，滤除掩膜重叠的地方；

D)根据掩膜提取步骤A)中所述肾脏染色标本待检测图像上对应的感兴趣组织区域，提取肾脏感兴趣组织区域的相关信息。

根据本发明的一方面，本发明还涉及用于执行如上所述方法的系统，其包括选自：

i)图像数据获得单元：用于获得肾脏染色标本待检测图像；

ii)掩膜处理单元：使用权利要求1或2所述训练方法建立的检测模型，用于获得每个视野内所包含的感兴趣组织区域的掩膜；

iii)图像数据库构建单元：用于对所述图像数据获得单元提供的图像进行数据分类、整理，构建图像数据库；

iv)图像处理与分析单元：用于将所述图像数据获得单元和/或所述图像数据库构建单元所输入的数据进行处理与分析；

所述处理与分析包括：二值化、灰度化、切割图像、协同所述模型进行掩膜、轮廓线提取与分析、图像标注、显著性检测中的一种或多种；

v)输出单元：用于将所述图像处理与分析单元所得数据进行输出并显示。

本发明基于深度学习，通过对大量已有的影像数据和临床诊断数据训练人工智能系统，使其具备诊断疾病的能力，辅助临床诊断，快速，高效率，高稳定性探测，可有效降低漏诊误诊的概率。

采用通过对已有各类肾小球、肾小管疾病患者以及正常健康肾组织病理切片的扫描、标注、识别、学习和再循环的过程，开发出医学专家系统，可对已有肾组织病理切片中肾组织内的肾小球数量、肾小球体积、肾小球内细胞数量、新月体形成、肾小管厚度等指标进行准确评价，建立适用于肾小球肾炎、肾小管疾病的病理辅助诊断系统，减轻病理科医生及肾脏科医生的工作负担，提高工作效率。基于深度学习，通过对大量已有的影像数据和临床诊断数据训练人工智能系统，使其具备诊断疾病的能力，辅助临床诊断，降低漏诊误诊的概率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例中全图视野选择的示意图；

图2为本发明一个实施例中肾脏病理辅助诊断的操作流程示意图；

图3为本发明一个实施例中肾脏识别模型的建立流程示意图。

具体实施方式

为使本发明更明显易懂，兹以优选实施方式作详细说明如下。应理解，这些实施方式或实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明涉及一种肾脏感兴趣组织区域检测模型的训练方法，所述方法包括如下步骤：

步骤1:获取参考肾脏染色标本图像；

步骤2:对所述肾脏染色标本图像中的感兴趣组织区域进行标注，得到标注后的肾脏染色标本图像；

步骤3:基于标注后的肾脏染色标本图像和标注信息，训练得到肾脏感兴趣组织区域检测模型；

所述检测模型为Mask R-CNN深度学习网络得到模型。

R-CNN是Region-based Convolutional Neural Networks的缩写，中文翻译是基于区域的卷积神经网络，是一种结合区域提名(Region Proposal)和卷积神经网络(CNN)的目标检测方法。

在一些实施方式中，所述参考肾脏染色标本图像经过像素二值化处理。

在一些实施方式中，步骤1中的图像在10倍率视野下获取。

在一些实施方式中，步骤3中损失loss下降到0.4则停止训练。

可以将标注后的肾脏染色标本图像作为待训练的肾脏感兴趣组织区域检测模型的输入，将标注肾脏染色标本图像的标注信息作为待训练的肾脏感兴趣组织区域检测模型的输出，训练得到肾脏感兴趣组织区域检测模型。

在一些实施方式中，在训练时将输入信息分为预测集和训练集，在训练结束后，在测试集中验证所述模型的有效性，若验证不通过，则转入步骤2增加更多的标注数据；若验证通过，则训练结束；

在一些实施方式中，若测试集的平均AP值(mean Average Precision，mAP)<0.95则验证不通过；若平均AP值≥0.95则验证通过。

根据需要，mAP值的阈值也可以设置为0.99或0.999等。

根据本发明的一方面，本发明还涉及一种检测肾脏感兴趣组织区域的方法，包括：

A)获取目标肾脏染色标本图像，找出感兴趣组织区域的轮廓线，然后产生每个轮廓线内所包含的所有视野；

B)使用如上所述训练方法建立的检测模型，对所述视野进行识别，获得每个视野内所包含的感兴趣组织区域的掩膜；

C)对所述掩膜执行非极大值抑制算法，滤除掩膜重叠的地方；

D)根据掩膜提取步骤A)中所述肾脏染色标本待检测图像上对应的感兴趣组织区域，提取肾脏感兴趣组织区域的相关信息。

在一些实施方式中，所述目标肾脏染色标本图像经过灰度化处理

在一些实施方式中，步骤C)和D)在10倍率的图像下进行操作。

在一些实施方式中，所述感兴趣组织区域的轮廓线在1倍率下进行确定，为阈值大于180且每个轮廓所包含的扩阔点大于200的轮廓线。

在一些实施方式中，所述肾脏染色标本的染色方法选自免疫组织化学、ISH、FISH、HE染色等本领域技术人员公知的技术手段。

在一些具体的实施方式中，免疫组化或免疫荧光的染色对象可以选自组织或细胞，具体如结缔组织细胞核、细胞质、细胞骨架；也可以为具体某种蛋白或某(些)段核酸片段的染色信息；或者为对某种类型的糖类、脂类以及类淀粉蛋白等进行染色。

在一些实施方式中，所述肾脏染色标本为正常或病理肾脏标本。

在本申请中，若无特殊说明，则“感兴趣组织区域”至少包括肾小囊、肾小球、远曲小管、近曲小管、小动脉、新月体中的一种或多种。

在一些实施方式中，在步骤D)中，所述肾脏感兴趣组织区域的相关信息选自下列信息的一项或多项：

肾小囊：细胞核数量、周长、面积、圆度；

肾小球：细胞核数量、周长、面积、空腔占比、圆度、包氏囊细胞数量、有无新月体；

近曲小管、远曲小管、小动脉：细胞核数量、面积、周长、圆度。

其中，为避免歧义，所述肾脏感兴趣组织区域的相关信息选自“一项”的情况例如提取近曲小管周长信息；

所述肾脏感兴趣组织区域的相关信息选自“多项”的情况例如提取肾小囊面积、肾小球面积、肾小球包氏囊细胞数量、近曲小管面积以及小动脉圆度信息。

在一些实施方式中，在步骤D)中，所述肾脏感兴趣组织区域的相关信息包括细胞核数量；

所述细胞核数量为阈值大于“平均亮度-18～-22，或-20”的轮廓数量。

根据本发明的一方面，本发明还涉及用于执行如上所述方法的系统，其包括：

i)图像数据获得单元：用于获得肾脏染色标本待检测图像；

ii)掩膜处理单元：使用权利要求1或2所述训练方法建立的检测模型，用于获得每个视野内所包含的感兴趣组织区域的掩膜；

iii)图像数据库构建单元：用于对所述图像数据获得单元提供的图像进行数据分类、整理，构建图像数据库；

iv)图像处理与分析单元：用于将所述图像数据获得单元和/或所述图像数据库构建单元所输入的数据进行处理与分析；

所述处理与分析包括：二值化、灰度化、切割图像、协同所述模型进行掩膜、轮廓线提取与分析、图像标注、显著性检测中的一种或多种；

v)输出单元：用于将所述图像处理与分析单元所得数据进行输出并显示。

下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市购获得的常规产品。

实施例

步骤一：使用医学病理切片扫描仪，对肾脏切片进行扫面，获取大量的数字化肾脏组织切片。

步骤二：肾脏识别模型建立，其中有四步个步骤：

1、在10倍率的数字化肾脏组织切片上选取650*650*3的图像视野，每张切片上选取3个图像视野。

2、每个视野进行如下操作：先对肾小囊、肾小球、远曲小管、近曲小管、小动脉、新月体这五类组织分别赋予0,1,2,3,4,5这五个类别编号。然后生成6张650*650*1的图像，图像上的所有像素值是0，并以0,1,2,3,4,5对图像进行标号，图像的标号和组织的类别号相对应。在每个标号的图像上将相应类别的组织的像素值置1。

3、将上一步获取的标注数据按7:3的比例将标注的视野分为训练集和测试集，用训练集训练maskrcnn深度学习网络，将损失loss下降到0.4则停止训练。

4、在测试集中验证模型的有效性，若测试集MAP低于0.95，转入第二步，增加更多的标注数据，若测试集MAP大于等于0.95，则模型验证完毕，进入下一步流程。

该步骤的流程示意图如图3所示。

步骤三：肾脏病理的全图识别，其中有三步，

1、全图视野的选择：先在1倍率下将整张切片图转为单同道的灰度图，找出阈值大于180且每个轮廓所包含的扩阔点大于200的轮廓线，然后根据轮廓线在10倍率的切片图像上，以步长400，650*650的视野，迭代产生每个轮廓线内所包含的所有视野(如图1所示)。

2、用步骤二所获得的模型，对所有的视野进行组织识别。获得每个视野内所包含的肾小囊，肾小球，近曲小管，远曲小管、小动脉及新月体的掩膜。

3、在10倍率的切片全图上，对所有的掩膜执行非极大值抑制算法，滤除掩膜重叠的地方。

该步骤的流程示意图如图2所示。

步骤四：输出辅助诊断信息。

1、根据掩膜提取10倍率图像上对应的组织，然后转灰度图，提取阈值大于“平均亮度-20”的轮廓，数轮廓的数量作为相应组织的细胞核数量。

2、对肾小囊提取细胞核数量、周长面积及圆率。肾小球提取细胞核数量、周长面积、空腔占比、包氏囊细胞数量、有无新月体及圆率信息。对近曲小管、远曲小管、小动脉统一提取细胞核数量，面积周长及圆率信息。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种肾脏感兴趣组织区域检测模型的训练方法，其特征在于，包括：

步骤1:获取参考肾脏染色标本图像；

步骤2:对所述肾脏染色标本图像中的感兴趣组织区域进行标注，得到标注后的肾脏染色标本图像；

步骤3:基于标注后的肾脏染色标本图像和标注信息，训练得到肾脏感兴趣组织区域检测模型；

所述检测模型为Mask R-CNN深度学习网络得到模型；

优选的，所述参考肾脏染色标本图像经过像素二值化处理。

2.根据权利要求1所述的训练方法，其特征在于，在训练时将输入信息分为预测集和训练集，在训练结束后，在测试集中验证所述模型的有效性，若验证不通过，则转入步骤2增加更多的标注数据；若验证通过，则训练结束；

优选的，若测试集的平均AP值<0.95则验证不通过；若平均AP值≥0.95则验证通过。

3.一种检测肾脏感兴趣组织区域的方法，其特征在于，包括：

A)获取目标肾脏染色标本图像，找出感兴趣组织区域的轮廓线，然后产生每个轮廓线内所包含的所有视野；

B)使用权利要求1或2所述方法建立的检测模型，对所述视野进行识别，获得每个视野内所包含的感兴趣组织区域的掩膜；

C)对所述掩膜执行非极大值抑制算法，滤除掩膜重叠的地方；

D)根据掩膜提取步骤A)中所述肾脏染色标本待检测图像上对应的感兴趣组织区域，提取肾脏感兴趣组织区域的相关信息；

优选的，所述目标肾脏染色标本图像经过灰度化处理。

4.根据权利要求3所述的方法，其特征在于，所述感兴趣组织区域的轮廓线在1倍率下进行确定，阈值大于180且每个轮廓所包含的扩阔点大于200的轮廓线。

5.根据权利要求3所述的方法，其特征在于，所述肾脏染色标本的染色方法选自免疫组织化学、ISH、FISH、HE染色。

6.根据权利要求3所述的方法，其特征在于，所述肾脏染色标本为正常或病理肾脏标本。

7.根据权利要求3所述的方法，其特征在于，所述感兴趣组织区域选自肾小囊、肾小球、远曲小管、近曲小管、小动脉、新月体中的一种或多种。

8.根据权利要求7所述的方法，其特征在于，在步骤D)中，所述肾脏感兴趣组织区域的相关信息选自下列信息的一项或多项：

肾小囊：细胞核数量、周长、面积、圆度；

肾小球：细胞核数量、周长、面积、空腔占比、圆度、包氏囊细胞数量、有无新月体；

近曲小管、远曲小管、小动脉：细胞核数量、面积、周长、圆度。

9.根据权利要求3或8所述的方法，其特征在于，在步骤D)中，所述肾脏感兴趣组织区域的相关信息包括细胞核数量；

所述细胞核数量为阈值大于“平均亮度-18～-22”的轮廓数量。

10.用于执行权利要求3～9任一项所述方法的系统，其包括：

i)图像数据获得单元：用于获得肾脏染色标本待检测图像；

ii)掩膜处理单元：使用权利要求1或2所述训练方法建立的检测模型，用于获得每个视野内所包含的感兴趣组织区域的掩膜；

iii)图像数据库构建单元：用于对所述图像数据获得单元提供的图像进行数据分类、整理，构建图像数据库；

iv)图像处理与分析单元：用于将所述图像数据获得单元和/或所述图像数据库构建单元所输入的数据进行处理与分析；

所述处理与分析包括：二值化、灰度化、切割图像、协同所述模型进行掩膜、轮廓线提取与分析、图像标注、显著性检测中的一种或多种；

v)输出单元：用于将所述图像处理与分析单元所得数据进行输出并显示。