CN113160175B - 一种基于级联网络的肿瘤淋巴管浸润检测方法 - Google Patents

Abstract

本发明涉及一种基于级联网络的肿瘤淋巴管浸润检测方法，提出提出通过利用淋巴管浸润检测模型与难分样本挖掘网络级联的结构完成对D2‑40免疫组化数字病理全场图中淋巴管浸润区域的自动化检测，为了实现难分样本挖掘网络对检测网络输出结果进行过滤后，可以尽可能地降低假阳都的数量而真阳不发生漏检这一目的，难分样本挖掘网络需要学习假阳和真阳的特征，而深度学习网络是通过数据来学习特征的，所以重点就落在如何获取具有代表性的数据，也就是假阳过滤步骤中的S70中的3）、4）步对于训练数据的选取，通过选取的两类数据训练分类模型，得到难分样本挖掘模型。

Description

一种基于级联网络的肿瘤淋巴管浸润检测方法

技术领域

本发明涉及免疫组化图像处理领域，特别是涉及一种基于级联网络的肿瘤淋巴管浸润检测方法。

背景技术

时至今日，癌症仍是人类健康的“头号杀手”，也是中国人群重大的公共健康问题之一。根据2015年《中国癌症统计》的估算，我国癌症患者已高达429.2万，死亡癌症患者达281.4万。2018年，全球预计增加1810万癌症新病例，960万人因此死亡。癌症转移是癌症致死最重要的原因，恶性肿瘤转移的三大途径包括血道转移、淋巴道转移和直接蔓延，其中淋巴道转移又是癌转移的主要途径，而淋巴管浸润（Lymphatic Invasion,LI）又是淋巴道转移的重要表现形式之一，而且，LI早已被确定为大多数癌症的重要预后指标。LI是指在显微镜下发现肿瘤区组织切片的小淋巴管的管壁受侵、破坏或管腔内有癌栓形成。在临床中，通常采用免疫组化染色技术制作组织切片，其中，单克隆抗体D2-40可以选择性标记淋巴管内皮细胞，是一种可靠的免疫组化染色技术。

随着全切片图像的采集和处理方面技术的发展，高质量的数字病理切片逐渐在科研及临床中的应用改变了传统的病理阅片模式。与此同时，基于人工智能的定量分析算法以及深度学习算法在数字病理切片的分析中也展现出了巨大的潜力。相比于传统的病理诊断，人工智能辅助数字病理诊断具有诸多优势。首先，训练深度学习模型的时间和投入远小于培养有经验的病理医生，成本较低。其次，对于绝大多数的病理诊断，尤其是判读标准较主观的病变，常存在观察者间偏差和观察者内偏差，影响诊断结果的准确性，而人工智能辅助数字病理切片诊断具有诊断速度块、客观性强和准确率高等优点。此外，人工智能阅片具有较高的一致性和可重复性，并且通过学习更多的病例可以取得更好的性能。最后，人工智能辅助数字病理诊断，可以增强地区之间，不同病理医生之间的诊断一致性。

因为与常规的图片不同，一张数字病理切片的像素巨大，可以达到数十亿的大小，目前，普遍使用的方法是将全场数字病理切片子区域化，然后对每一块子区域分别进行分类来判断该子区域中是否包含待检测的目标。但是，这样的方法容易导致定位准确性的损失，医生只能得到一个模糊的位置信息。

发明内容

本发明的目的在于提出一种基于目标检测的分析方法，对于D2-40免疫组化全场数字病理切片，利用目标检测算法自动检测出其中的癌栓和淋巴管壁破损，实现切片的自动化分析。

本发明通过以下技术方案来实现上述目的：一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，

S10，获取D2-40免疫组化数字病理全场图；

S20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；

S30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；

S40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；

S50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；

S60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；

S70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；采用难分样本挖掘网络对截取到的所述可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：

1）获取1024*1024像素大小的属于正常组织区域的第二小图；

2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类别包括正常组织、癌栓以及淋巴管壁破损；

3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；

4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；

5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型。

S80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。

进一步的，S50，采用淋巴管浸润检测模型检测每个所述第一小图的第一位置信息和第一细分类型，所述淋巴管浸润检测模型的建立包括以下步骤：

1)选取1张D2-40免疫组化数字病理全场图，在所述病理全场图上标注出淋巴管浸润区域；

2)对1）中所述的免疫组化数字病理全场图进行缩放，使得所述病理全场图的MPP值为0.48；

3)以每个标注的淋巴管浸润区域为中心，截取1024*1024像素大小的小图作为训练数据；

4）以所述训练数据对FPN+Faster RCNN目标检测网络进行训练，得到淋巴管浸润检测模型。

进一步的，所述淋巴管浸润检测模型的预测结果中，首先截取所有在癌栓类或者淋巴管壁破损类上的预测概率大于0.6的建议区域，然后再输入所述难分样本挖掘模型中，根据所述难分样本挖掘模型输出的预测概率判断所述建议区域是否属于真正的淋巴管浸润区域，当所述难分样本挖掘网络输出的预测概率中，假阳类的预测概率小于0.5时，所述建议区域属于真正的淋巴管浸润区域。

进一步的，所述S10，选取低倍视野下的D2-40免疫组化数字病理全场图，所述数字病理全场图的MPP=3.84。

进一步的，所述S20，包括：

1)将所述数字病理全场图转化为灰度图；

2)计算大津法阈值；

3)将所述灰度图中像素值大于所述大津法阈值的像素值置1，像素值小于所述大津法阈值的像素值置0，从而生成组织区域的二值分割图像，其中组织区域的灰度值都为1，非组织区域的灰度值都为0；

4)对所述二值分割图像进行优化，删除部分零散且面积小于设定值的组织区域，获取独立组织区域；

5)通过边缘检测方法，获取所述独立组织区域中的轮廓坐标；

6)将所述轮廓坐标都乘以8，将所述独立组织区域坐标对应到MPP=0.48的图像上。

进一步的，为了对结果进行量化，通过收集600张1024*1024像素大小的D2-40免疫组化数字病理图像进行了实验，每张图像中都淋巴管浸润区域由专业的病理医生进行标注,采用四折交叉验证的方式进行实验，并以召回率和平均准确率作为实验的评价指标,召回率用于衡量淋巴浸润区域的检出率，即阳性检测结果中，“真阳性”的百分比，测试集中淋巴管浸润区域被检出的越多，召回率越高,平均准确率用于衡量检测结果的准确率，为预测正确的样本占总样本的百分比,我们以FPN目标检测网络作为基线，与基于FPN目标检测网络的级联网络结构进行对比，从而得到实验结果，采用级联网络的分析方法后，虽然会在降低假阳的同时使部分淋巴管浸润区域被漏检，导致召回率降低,但是，检测结果的平均准确率却有大幅度提升，证明此方法可以有效的降低检测结果中的假阳数量。

与现有技术相比，本发明的有益效果如下：本申请提出通过利用淋巴管浸润检测模型与难分样本挖掘网络级联的结构完成对D2-40免疫组化数字病理全场图中淋巴管浸润区域的自动化检测，本申请对D2-40免疫组化数字病理图像采用四折交叉验证的方式进行实验，并以召回率和平均准确率作为实验评价指标，通过与仅使用检测网络进行分析的方式对比，本申请可以显著降低检测结果中假阳的数量。为了实现难分样本挖掘网络对检测网络输出结果进行过滤后，可以尽可能地降低假阳都的数量而真阳不发生漏检这一目的，难分样本挖掘网络需要学习假阳和真阳的特征，而深度学习网络是通过数据来学习特征的，所以重点就落在如何获取具有代表性的数据，也就是假阳过滤步骤中的S70中的3）、4）步对于训练数据的选取，通过选取的两类数据训练分类模型，得到难分样本挖掘模型。

附图说明

图1是本发明基于级联网络的肿瘤淋巴管浸润检测方法流程图；

图2是S20-S40的图像变化示意；

图3是对比实验结果图；

图4是S70步骤图；

图5是量化对比实验结果图。

具体实施方式

下面结合附图对本发明作进一步说明：

一种基于级联网络的肿瘤淋巴管浸润检测方法，如图1、图2所示，包括以下步骤：

S10，获取D2-40免疫组化数字病理全场图；

S20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；

S30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；

S40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；

S50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；

S60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；

S70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；

S80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。

在数字病理全场图中，可以调整MPP值来获得不同的放大倍数下的数字病理全场图，较大的MPP值表示当前处于低倍视野下，较小的MPP值表示处于高倍视野下。在一张D2-40免疫组化数字病理全场图中，可能只有部分区域包含有效的组织区域，其他部分为无效的空白区域。数据处理过程在低倍视野下进行，低倍视野下的数字病理全场图像素较小，进行分析时计算成本较低，但已经可以对组织区域和非组织区域的空白区域进行区分。在低倍视野下获得组织区域的位置后，再映射到高倍视野上，然后将去掉大部分空白区域的高倍野图像小图化，进行更加精细的淋巴管浸润检测任务。

具体地，本实施例中，选取低倍视野下的D2-40免疫组化数字病理全场图，数字病理全场图的MPP=3.84。首先采用大津法分割出切片中的有效组织区域。包括：

1)将D2-40免疫组化数字病理全场图转化为灰度图；

2)计算大津法阈值；

3)将灰度图中像素值大于大津法阈值的像素值置1，像素值小于大津法阈值的像素值置0，从而生成组织区域的二值分割图像，其中组织区域的灰度值都为1，非组织区域的灰度值都为0；

4)对二值分割图像进行优化，删除部分零散且面积小于设定值的组织区域，获取独立组织区域；

5)通过边缘检测方法，获取独立组织区域中的轮廓坐标；

6)将轮廓坐标都乘以8，将独立组织区域坐标对应到MPP=0.48的图像上；

7)计算每个独立组织区域的外切矩形坐标，以外切矩形框选的组织区域作为矩形子图，后续的操作只在这些包含组织区域的矩形子图中进行。

但是，每个包含组织区域的矩形子图的像素仍然十分巨大，难以直接采用更精细的检测方法对其中的淋巴管浸润区域进行检测。所以，在分割出矩形子图后，本申请继续采用滑动窗口的方式对这些矩形子图进行小图化处理，拆分成固定大小（1024*1024像素）的且互不重叠的多个第一小图，本实施例采用淋巴管浸润检测模型检测每个所述第一小图的第一位置信息和第一细分类型，淋巴管浸润检测模型的建立包括以下步骤：

1)选取张D2-40免疫组化数字病理全场图，在所述病理全场图上标注出淋巴管浸润区域；

2)对1）中的数字病理全场图进行缩放，使得所述病理全场图的MPP值为0.48；

3)以每个标注的淋巴管浸润区域为中心，截取1024*1024像素大小的小图作为训练数据；

4）以所述训练数据对FPN+Faster RCNN目标检测网络进行训练，得到淋巴管浸润检测模型。

具体的检测过程包括以下步骤：

1）将第一小图送入预训练的特征网络中（如ResNet等），即构建特征提取网络；

2）构建对应的top-down网络，即对预训练后的特征网络再进行卷积池化操作，将一组卷积、池化操作看做一个阶段的话，这样的阶段连续进行三次，得到三个不同大小的特征图fm1、fm2、fm3；再对最小的特征图进行两次上采样操作，将fm1、fm2、fm3通过1*1的卷积进行降维处理后再与上采样得到的对应卷积层进行元素相加的操作，得到特征图fm4，fm5、fm6；

3）在fm4，fm5、fm6上面分别进行建议区域生成操作，建议区域是对淋巴管浸润位置的假设，在本实施例中，采用建议区域生成网络（Region Proposal Network，RPN）来完成，RPN会输出建议区域的的坐标信息以及长和宽等尺度信息；

4）将上一步获得的建议区域分别输入到特征图fm4，fm5、fm6上面分别进行ROIPool操作（固定为7x7的特征），得到固定尺度大小的特征向量；

5）将上一步获得的特征向量输入两个1024层的全连接网络层，然后分两个支路，连接对应的分类层和回归层；最终，分类层输出建议区域的第一细分类型，回归层输出建议区域的坐标信息，其中第一细分类型包括正常组织、癌栓以及淋巴管壁破损，分类层会输出类似[0.05,0.25,0.8]这样的概率向量，根据最大值来判断建议区域的类型；回归层输出[34,55,104,99],分别为建议区域左上角x坐标，左上角y坐标，右下角x坐标，右下角y坐标。可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域。

采用难分样本挖掘网络对截取到的可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：

1）获取1024*1024像素大小的属于正常组织区域的第二小图；

2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类型包括正常组织、癌栓以及淋巴管壁破损；

3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；

4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；

5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型。

具体地，在淋巴管浸润检测模型的预测结果中，首先截取所有在癌栓类或者淋巴管壁破损类区域上的预测概率大于0.6的建议区域，然后再输入难分样本挖掘模型中，根据难分样本挖掘模型输出的预测概率判断建议区域是否属于真正的淋巴管浸润区域，当所述难分样本挖掘网络输出的预测概率中，假阳类的预测概率小于0.5时，所述建议区域属于真正的淋巴管浸润区域。

本申请的核心是提出通过利用淋巴管浸润检测模型与难分样本挖掘网络级联的结构完成对D2-40免疫组化数字病理全场图中淋巴管浸润区域的自动化检测。与仅使用检测网络进行分析的方式相比，本申请可以显著降低检测结果中假阳的数量。如何保证难分样本挖掘网络对检测网络输出结果进行过滤后，可以尽可能地降低假阳的数量而真阳不发生漏检是一个难点，为了实现这一目的，难分样本挖掘网络需要学习假阳和真阳的特征，而深度学习网络是通过数据来学习特征的，所以重点就落在如何获取具有代表性的数据，也就是S70中的3）、4）步对于训练数据的选取。（S70的技术效果多一点支撑）

本申请选取了D2-40免疫组化数字病理全场图进行对比实验，如图3所示，图3中的a)中的框框代表医生标注的实际的淋巴管浸润区域，图3中的b)中的框框代表淋巴管浸润检测模型检测到的淋巴管浸润区域，图3中的c)中的框框代表加入难分样本挖掘网络后输出的淋巴管浸润区域，可明显看出通过添加难分样本挖掘网络，检测结果中的假阳结果数量有了显著降低。

为了对结果进行量化，通过收集600张1024*1024像素大小的D2-40免疫组化数字病理图像进行了实验，每张图像中都淋巴管浸润区域由专业的病理医生进行标注。采用四折交叉验证的方式进行实验，并以召回率和平均准确率作为实验的评价指标。召回率用于衡量淋巴浸润区域的检出率，即阳性检测结果中，“真阳性”的百分比，测试集中淋巴管浸润区域被检出的越多，召回率越高。平均准确率用于衡量检测结果的准确率，为预测正确的样本占总样本的百分比。我们以FPN目标检测网络作为基线，与基于FPN目标检测网络的级联网络结构进行对比，从而得到实验结果，如图5）所示，采用级联网络的分析方法后，虽然会在降低假阳的同时使部分淋巴管浸润区域被漏检，导致召回率降低。但是，检测结果的平均准确率却有大幅度提升，证明此方法可以有效的降低检测结果中的假阳数量。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，

S10，获取D2-40免疫组化数字病理全场图；

S20，对所述数字病理全场图进行数据预处理，并分割出预处理后图像上的多个独立组织区域；

S30，计算分割出的每个所述独立组织区域的外切矩形，以所述外切矩形框选的组织区域作为矩形子图；

S40，采用滑动窗口的方式对所述矩形子图进行小图化处理，将每个所述矩形子图拆分成固定大小且互不重叠的多个第一小图；

S50，检测每个所述第一小图的第一位置信息和第一细分类型，所述第一细分类型包括正常组织、癌栓以及淋巴管壁破损；

S60，根据所述第一位置信息，对检测到的可疑淋巴管浸润区域进行截取，所述可疑淋巴管浸润区域包括第一细分类型为癌栓和淋巴管壁破损的区域；

S70，对截取到的所述可疑淋巴管浸润区域进行二次确认，过滤其中的假阳性结果，输出淋巴管浸润区域；采用难分样本挖掘网络对截取到的所述可疑淋巴管浸润区域进行二次确认，难分样本挖掘网络的建立包括以下步骤：

1）获取1024*1024像素大小的属于正常组织区域的第二小图；

2）将所述第二小图送入淋巴管浸润检测模型，所述淋巴管浸润检测模型输出第二小图中存在的淋巴管浸润区域的第二位置信息和第二细分类别，所述第二细分类别包括正常组织、癌栓以及淋巴管壁破损；

3）根据所述第二位置信息，将第二细分类别为癌栓和淋巴管壁破损的区域截取出来作为第一类训练数据，所述第一类训练数据属于假阳类型；

4）获取1024*1024像素大小的属于淋巴管浸润区域的第三小图，作为第二类训练数据；

5）利用所述第一类训练数据和第二类训练数据训练一个分类模型，得到难分样本挖掘模型；

S80，计算所述淋巴管浸润区域在所述数字病理全场图中的位置，并在所述数字病理全场图中以矩形框的形式进行标注显示。

2.根据权利要求1所述的一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，所述S50，采用淋巴管浸润检测模型检测每个所述第一小图的第一位置信息和第一细分类型，所述淋巴管浸润检测模型的建立包括以下步骤：

1)选取1张D2-40免疫组化数字病理全场图，在所述病理全场图上标注出淋巴管浸润区域；

2)对1）中所述的免疫组化数字病理全场图进行缩放，使得所述病理全场图的MPP值为0.48；

3)以每个标注的淋巴管浸润区域为中心，截取1024*1024像素大小的小图作为训练数据；

4）以所述训练数据对FPN+Faster RCNN目标检测网络进行训练，得到淋巴管浸润检测模型。

3.根据权利要求2所述的一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，所述淋巴管浸润检测模型的预测结果中，首先截取所有在癌栓类或者淋巴管壁破损类上的预测概率大于0.6的建议区域，然后再输入所述难分样本挖掘模型中，根据所述难分样本挖掘模型输出的预测概率判断所述建议区域是否属于真正的淋巴管浸润区域，当所述难分样本挖掘网络输出的预测概率中，假阳类的预测概率小于0.5时，所述建议区域属于真正的淋巴管浸润区域。

4.根据权利要求1所述的一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，所述S10，选取低倍视野下的D2-40免疫组化数字病理全场图，所述数字病理全场图的MPP=3.84。

5.根据权利要求4所述的一种基于级联网络的肿瘤淋巴管浸润检测方法，其特征在于，所述S20，包括：

1)将所述数字病理全场图转化为灰度图；

2)计算大津法阈值；

3)将所述灰度图中像素值大于所述大津法阈值的像素值置1，像素值小于所述大津法阈值的像素值置0，从而生成组织区域的二值分割图像，其中组织区域的灰度值都为1，非组织区域的灰度值都为0；

4)对所述二值分割图像进行优化，删除部分零散且面积小于设定值的组织区域，获取独立组织区域；

5)通过边缘检测方法，获取所述独立组织区域中的轮廓坐标；

6)将所述轮廓坐标都乘以8，将所述独立组织区域坐标对应到MPP=0.48的图像上。

Images