CN110400287B - 结直肠癌ihc染色图像肿瘤侵袭边缘和中心的检测系统及方法 - Google Patents

Abstract

本发明公开了一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统及方法，系统包括组织类别分类模块、肿瘤侵袭边缘定位模块和肿瘤中心区域定位模块；肿瘤侵袭边缘的定位模块按以下步骤进行：根据临床经验，先把存在与肿瘤区域和非肿瘤区域的组织分别用黑色和白色表示，再使用聚类算法纠正被误分类的子图像块，最后找出两个颜色区域的交界线的坐标，并适当把交界线沿垂直方向扩张设定的距离，完成肿瘤侵袭边缘的定位；肿瘤中心区域定位模块按以下步骤进行：对肿瘤区域分割得到的子图像块进行细胞计数，选择细胞密度最大的区域作为肿瘤中心区域。本发明可实现自动地检测结直肠癌IHC染色图像肿瘤侵袭边缘和中心。

Description

结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统及 方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统及方法。

背景技术

结直肠癌是最常见的癌症类型之一，在采用数字化工作流程对结直肠癌的定量免疫评分当中，需要计算结直肠癌免疫组织化学染色数字病理图像中的肿瘤中心区域和肿瘤侵袭边缘中CD3阳性T淋巴细胞和CD8阳性细胞毒性T淋巴细胞的密度，因此自动检测结直肠癌免疫组化图像的肿瘤侵袭边缘和肿瘤中心区域具有很大的意义。虽然在临床常规工作中人工评估组织学切片仍然是必不可少的，但自动化的图像处理可以提供肿瘤组织切片的定量和高通量分析。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统及方法，可实现自动地检测结直肠癌IHC染色图像肿瘤侵袭边缘和中心，可以在很大程度上节约直肠癌的定量免疫评分工作的时间成本和人力成本。

为了达到上述目的，本发明采用以下技术方案：

本发明提供的一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统，包括组织类别分类模块、肿瘤侵袭边缘定位模块和肿瘤中心区域定位模块；

所述组织类别分类模块，用于确定直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况；

所述肿瘤侵袭边缘定位模块，用于根据直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况，确定肿瘤区域与非肿瘤区域的分界线的位置以及肿瘤侵袭边缘的位置；

所述肿瘤中心区域定位模块，用于寻找肿瘤中心区域的位置。

作为优选的技术方案，所述组织类别分类模块包括：子图像生成模块和子图像识别模块；

所述子图像生成模块，采用有重叠区域的滑动窗口将原始图像分为若干RGB子图像块；

所述子图像识别模块，用已经预训练好的机器学习模型来判断每一个子图像块的组织类别。

作为优选的技术方案，所述机器学习模型通过下述方式进行训练：

已由专业的病理医生在用于训练的结直肠癌免疫组织化学染色数字病理图像上圈画出11类不同类型的组织类别，分别是背景区域，正常腺体，淋巴，肌肉，脂肪，肿瘤上皮，肿瘤间质，粘膜下层，粘液区域，坏死区域，然后在每一类组织区域中截取出若干设定大小的子图像块作为训练样本，接着对训练样本提取手工特征构建特征向量，并使用支持向量机模型来构建分类器。

作为优选的技术方案，所述肿瘤侵袭边缘定位模块包括：组织分类模块、错误消除模块以及坐标处理模块；

所述组织分类模块，用于根据组织类别存在于肿瘤区域还是非肿瘤区域，把子图像块的类别再进行组织二分类，把存在于肿瘤区域的组织用黑色表示，把存在于正常区域的组织用白色表示；

所述错误消除模块，用于消除错误分类的子图像块的影响，然后找出黑色区域和白色区域的分界线坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

所述坐标处理模块，用于找出两个颜色区域的交界线的坐标，并适当把交界线沿垂直方向扩张设定的距离，完成肿瘤侵袭边缘的定位。

作为优选的技术方案，所述肿瘤中心区域定位模块包括：分割模块、细胞计数模块以及汇总模块；

所述分割模块，用于将肿瘤区域分割为若干的子图像块；

所述细胞计数模块，用于取每一个子图像块的H通道进行细胞计数；

所述汇总模块，用于汇总统计，把子图像块按细胞密度排序并取细胞密度最大的前10个子图像块的位置标为肿瘤中心区域。

本发明还提供了一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统的边缘检测方法，包括下述步骤：

将结直肠癌免疫组织化学染色数字病理图像分割为若干个子图像块，再利用机器学习算法来对每个子图像块进行组织分类，最后将结果汇总得到结直肠癌免疫组化图像的各种组织的分布状况；

根据组织类别存在于肿瘤区域还是非肿瘤区域，把子图像块的类别再进行组织二分类，把存在于肿瘤区域的组织用黑色表示，把存在于正常区域的组织用白色表示；

消除错误分类的子图像块的影响，然后找出黑色区域和白色区域的分界线坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

适当把交界线沿垂直方向扩张设定的距离，完成肿瘤侵袭边缘的定位，具体为：

在得出肿瘤区域和非肿瘤区域的分界线坐标序列之后，对坐标序列进行等间隔的采样得到新的坐标序列；

作出新坐标序列的相邻两坐标点连线的中垂线，并在中垂线上找出距离两坐标点的中点为N的两个点的坐标；

重复上述得到两个坐标点的步骤，并光滑连接得到的坐标点，得到分布在肿瘤区域和非肿瘤区域交界线两边的两条曲线，也就是肿瘤侵袭边缘的两条边缘线，选取这两条边缘线中间的区域作为肿瘤侵袭边缘。

作为优选的技术方案，完成组织二分类和颜色标记的图像，使用如下述方法之一消除错误分类的子图像块的影响：

第一种：把黑色区域中的白色孔洞填充为黑色；接着进行颜色反转，然后再将黑色区域中的白色孔洞填充为黑色，找出黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

第二种：分别找出二值图像中互不所有相连的界线的坐标集合，并选择最大的坐标集合作为肿瘤区域与非肿瘤区域的分界线坐标集合；

第三种：以坐标原点为起点，使用大小为150*150的滑动窗口依次沿图像坐标的横轴滑动，当到达最右端时再以(0，150)为起点依次沿图像坐标的横轴滑动，以此类推直至遍历整一个图像，统计滑动窗口内0和1像素点的个数，把个数较多的像素值赋给新图像中对应的区域，找出新图像中黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标。

作为优选的技术方案，两条边缘线交叉的方法具体为：

设新坐标序列相邻两坐标的前一个为(x1，y1)，后一个为(x2，y2)，其中一条肿瘤侵袭边缘线对应的点坐标为(x，y)，

当满足x2>x1且y2>y1，x2<x1且y2>y1,，x2＝x1且y2>y1这三个条件中的其中一个时，(x，y)取中垂线上的两个点中横坐标较小的一个；

当满足x2>x1且y2<y1，x2<x1且y2<y1，x2＝x1且y2<y1这三个条件中的其中一个时，(x，y)取中垂线上两个点中横坐标较大的一个；

当x2>x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较大的一个；

当x2＜x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较小的一个。

作为优选的技术方案，采用五点光滑法进行光滑连接，具体为：

假设肿瘤侵袭边界上的离散样本点为(X_i，Y_i)，i＝1，2，......n，n是离散样本点的数量，那么区间(X_i，Y_i)上的光滑曲线段的函数表达式为：Y＝f(X)＝C₃(X-X_i)³+C₂(X-X_i)²+C₁(X-X_i)¹+C₀，其中C₀，C₁，C₂，C₃的值由下面的方程组确定：

Y_i＝f(X_i)

Y_i+1＝f(X_i+1)

Y′(X_i)＝t_i

Y′(X_i+1)＝t_i+1

其中：

本发明还提供了一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统的中心检测方法，包括下述步骤：

将结直肠癌免疫组织化学染色数字病理图像分割为若干个子图像块，再利用机器学习算法来对每个子图像块进行组织分类，最后将结果汇总得到结直肠癌免疫组化图像的各种组织的分布状况；

将肿瘤区域分割为若干的子图像块；

取每一个子图像块的H通道进行细胞计数；

汇总统计，把子图像块按细胞密度排序并取细胞密度最大的前10个子图像块的位置标为肿瘤中心区域。

本发明与现有技术相比，具有如下优点和有益效果：

目前在临床常规工作对结直肠癌的定量免疫评分流程中，需要先人工选定肿瘤中心区域和肿瘤侵袭边缘，再计算其中CD3阳性T淋巴细胞和CD8阳性细胞毒性T淋巴细胞的密度。人工选定肿瘤中心区域和肿瘤侵袭边缘是一项重复而繁杂的工作，需要耗费大量的人力和时间。因此本专利提出的结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统及方法，可实现自动地检测结直肠癌IHC染色图像肿瘤侵袭边缘和中心，可以在很大程度上节约直肠癌的定量免疫评分工作的时间成本和人力成本。

附图说明

图1为本发明方法的流程图；

图2为计算肿瘤侵袭边缘区的边线坐标的示意图；

图3为本发明实现肿瘤侵袭边缘定位的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明实施例中所用的样本来自广东省人民医院，且上述实验均不是在活体样本上所做的实验，不直接作用于人体本身，本实验通过了广东省人民医院伦理委员会，且已获得患者知情同意。

如图1所示，本发明提供一种结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统，包括组织类别分类模块、肿瘤侵袭边缘定位模块和肿瘤中心区域定位模块；

所述组织类别分类模块，用于确定直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况；

所述肿瘤侵袭边缘定位模块，用于根据直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况，确定肿瘤区域与非肿瘤区域的分界线的位置以及肿瘤侵袭边缘的位置；

所述肿瘤中心区域定位模块，用于寻找肿瘤中心区域的位置。

其中，组织分类模块包括子图像生成模块和子图像识别模块。

进一步地，所述子图像生成模块：采用有重叠区域的滑动窗口将原始图像分为若干150*150像素的RGB子图像块；

进一步地，要识别子图像块首先要获取训练样本并训练分类器，在本实施例当中，已由专业的病理医生在用于训练的结直肠癌免疫组织化学染色数字病理图像上圈画出11类不同类型的组织，分别是背景区域，正常腺体，淋巴，肌肉，脂肪，肿瘤上皮，肿瘤间质，粘膜下层，粘液区域，坏死区域，然后在每一类组织区域中截取出若干150*150大小的子图像块作为训练样本，接着对训练样本提取手工特征构建特征向量，本实施例使用支持向量机模型来构建分类器。

进一步地，用已经训练好的分类器对从待检测肿瘤侵袭边缘的免疫组织化学染色数字病理图像中截取出的所有150*150大小的子图像块进行分类，并将分类结果汇总得到每一类组织在原图像中的分布状况。

在已经确定结直肠癌免疫组织化学染色数字病理图像中的组织分布的基础上，找出肿瘤区域与非肿瘤区域的交界线的步骤如下：根据临床经验，把存在于肿瘤区域的组织用黑色像素表示，把存在于非肿瘤区域的组织用黑色像素表示，并把误分类导致的黑色区域中的白色区域和白色区域中的黑色区域去掉，然后找出黑色区域与白色区域的交界线的坐标作为肿瘤区域与非肿瘤区域的分界线坐标。

由于分类器的分类准确率不能达到百分之百，所以要对误分类的区域进行处理，步骤如下：

第一种：先把黑色区域中的白色孔洞填充为黑色；接着进行颜色反转，然后再将黑色区域中的白色孔洞填充为黑色。找出黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

第二种：分别找出二值图像中互不所有相连的界线的坐标集合，并选择最大的坐标集合作为肿瘤区域与非肿瘤区域的分界线坐标集合；

第三种：以坐标原点为起点，使用大小为150*150的滑动窗口依次沿图像坐标的横轴滑动，并统计滑动窗口内0和1像素点的个数，把个数较多的像素值赋给新图像中对应的区域，找出新图像中黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标。

如图2、图3所示，确定肿瘤侵袭边缘的两条边线的步骤如下：1)在得出肿瘤区域和非肿瘤区域的分界线坐标序列之后，对坐标序列进行等间隔的采样得到新的坐标序列；2)作出新坐标序列的相邻两坐标点连线的中垂线，并在中垂线上找出距离两坐标点的中点为30的两个点的坐标；3)重复步骤2)并光滑连接步骤2)中得到的坐标点，可以得到分布在肿瘤区域和非肿瘤区域交界线两边的两条曲线，也就是肿瘤侵袭边缘的两条边缘线；4)识别淋巴滤泡，包括收集训练样本，提取手工特征，训练分类器和识别淋巴滤泡；5)把两条边缘线中间含有淋巴滤泡的区域剔除。

避免作出的肿瘤侵袭边缘的两条边缘线交叉的实施步骤如下：为了便于阐述，这里设新坐标序列相邻两坐标的前一个为(x1，y1)，后一个为(x2，y2)，其中一条肿瘤侵袭边缘线对应的点坐标为(x，y)。则该方法的特征在于：1)当满足x2＞x1且y2＞y1，x2＜x1且y2＞y1，，x2＝x1且y2＞y1这三个条件中的其中一个时，(x，y)取中垂线上的两个点中横坐标较小的一个；2)当满足x2＞x1且y2＜y1，x2＜x1且y2＜y1，x2＝x1且y2＜y1这三个条件中的其中一个时，(x，y)取中垂线上两个点中横坐标较大的一个；3)当x2＞x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较大的一个；4)当x2＜x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较小的一个。

平滑肿瘤侵袭边缘界线的步骤如下：假设肿瘤侵袭边界上的离散样本点为(X_i，Y_i)，i＝1，2，......n，n是离散样本点的数量，那么区间(X_i，Y_i)上的光滑曲线段的函数表达式为：Y＝f(X)＝C₃(X-X_i)³+C₂(X-X_i)²+C₁(X-X_i)¹+C₀，其中C₀，C₁，C₂，C₃的值由下面的方程组确定：

Y_i＝f(X_i)

Y_i+1＝f(X_i+1)

Y′(X_i)＝t_i

Y′(X_i+1)＝t_i+1

其中：

找出结直肠癌免疫组织化学染色数字病理图像中的肿瘤中心区域的实施步骤如下：1)将肿瘤区域分割为若干150*150大小的子图像块；2)取每一个子图像块的H通道进行细胞计数；4)识别淋巴滤泡，包括收集训练样本，提取手工特征，训练分类器和识别淋巴滤泡；5)汇总统计，把子图像块按细胞密度排序并取细胞密度最大且不含淋巴滤泡的前10个子图像块的位置标为肿瘤中心区域。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.结直肠癌IHC染色图像肿瘤侵袭的边缘检测方法，其特征在于，包括下述步骤：

将结直肠癌免疫组织化学染色数字病理图像分割为若干个子图像块，再利用机器学习算法来对每个子图像块进行组织分类，最后将结果汇总得到结直肠癌免疫组化图像的各种组织的分布状况；

根据组织类别存在于肿瘤区域还是非肿瘤区域，把子图像块的类别再进行组织二分类，把存在于肿瘤区域的组织用黑色表示，把存在于正常区域的组织用白色表示；

消除错误分类的子图像块的影响，然后找出黑色区域和白色区域的分界线坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

适当把交界线沿垂直方向扩张设定的距离，完成肿瘤侵袭边缘的定位，具体为：

在得出肿瘤区域和非肿瘤区域的分界线坐标序列之后，对坐标序列进行等间隔的采样得到新的坐标序列；

作出新坐标序列的相邻两坐标点连线的中垂线，并在中垂线上找出距离两坐标点的中点为N的两个点的坐标；

重复上述得到两个坐标点的步骤，并光滑连接得到的坐标点，得到分布在肿瘤区域和非肿瘤区域交界线两边的两条曲线，也就是肿瘤侵袭边缘的两条边缘线，选取这两条边缘线中间的区域作为肿瘤侵袭边缘；

采用五点光滑法进行光滑连接，具体为：

假设肿瘤侵袭边界上的离散样本点为(X_i，Y_i)，i＝1，2，......n，n是离散样本点的数量，那么区间(X_i，Y_i)上的光滑曲线段的函数表达式为：Y＝f(X)＝C₃(X-X_i)³+C₂(X-X_i)²+C₁(X-X_i)¹+C₀，其中C₀，C₁，C₂，C₃的值由下面的方程组确定：

Y_i＝f(X_i)

Y_i+1＝f(X_i+1)

Y′(X_i)＝t_i

Y′(X_i+1)＝t_i+1

其中：

2.根据权利要求1所述的边缘检测方法，其特征在于，完成组织二分类和颜色标记的图像，使用如下述方法之一消除错误分类的子图像块的影响：

第一种：把黑色区域中的白色孔洞填充为黑色；接着进行颜色反转，然后再将黑色区域中的白色孔洞填充为黑色，找出黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

第二种：分别找出二值图像中互不相连的界线的坐标集合，并选择最大的坐标集合作为肿瘤区域与非肿瘤区域的分界线坐标集合；

第三种：以坐标原点为起点，使用大小为150*150的滑动窗口依次沿图像坐标的横轴滑动，当到达最右端时再以(0，150)为起点依次沿图像坐标的横轴滑动，以此类推直至遍历整一个图像，统计滑动窗口内0和1像素点的个数，把个数较多的像素值赋给遍历后图像中对应的区域，找出遍历后图像中黑色和白色的边界坐标作为肿瘤区域与非肿瘤区域的分界线坐标。

3.根据权利要求1所述的边缘检测方法，其特征在于，避免做出的肿瘤侵袭边缘的两条边缘线交叉的方法具体为：

设新坐标序列相邻两坐标的前一个为(x1，y1)，后一个为(x2，y2)，其中一条肿瘤侵袭边缘线对应的点坐标为(x，y)，

当满足x2>x1且y2>y1，x2<x1且y2>y1，x2＝x1且y2>y1这三个条件中的其中一个时，(x，y)取中垂线上的两个点中横坐标较小的一个；

当满足x2>x1且y2<y1，x2<x1且y2<y1，x2＝x1且y2<y1这三个条件中的其中一个时，(x，y)取中垂线上两个点中横坐标较大的一个；

当x2>x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较大的一个；

当x2<x1且y2＝y1时，(x，y)取中垂线上的两个点中纵坐标比较小的一个。

4.结直肠癌IHC染色图像肿瘤侵袭的中心检测方法，其特征在于，应用于权利要求1-3中任一项所述边缘检测方法，共同完成对结直肠癌IHC染色图像肿瘤侵袭的检测，所述中心检测方法包括下述步骤：

将结直肠癌免疫组织化学染色数字病理图像分割为若干个子图像块，再利用机器学习算法来对每个子图像块进行组织分类，最后将结果汇总得到结直肠癌免疫组化图像的各种组织的分布状况；

将肿瘤区域分割为若干的子图像块；

取每一个子图像块的H通道进行细胞计数；

汇总统计，把子图像块按细胞密度排序并取细胞密度最大的前10个子图像块的位置标为肿瘤中心区域。

5.结直肠癌IHC染色图像肿瘤侵袭边缘和中心的检测系统，其特征在于，应用于上述权利要求1-3中任一项所述的边缘检测方法或权利要求4所述的中心检测方法，包括组织类别分类模块、肿瘤侵袭边缘定位模块和肿瘤中心区域定位模块；

所述组织类别分类模块，用于确定直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况；

所述肿瘤侵袭边缘定位模块，用于根据直肠癌免疫组织化学染色数字病理图像中不同类型的组织的分布状况，确定肿瘤区域与非肿瘤区域的分界线的位置以及肿瘤侵袭边缘的位置；

所述肿瘤中心区域定位模块，用于寻找肿瘤中心区域的位置。

6.根据权利要求5所述的检测系统，其特征在于，所述组织类别分类模块包括：子图像生成模块和子图像识别模块；

所述子图像生成模块，采用有重叠区域的滑动窗口将原始图像分为若干RGB子图像块；

所述子图像识别模块，用已经预训练好的机器学习模型来判断每一个子图像块的组织类别。

7.根据权利要求6所述的检测系统，其特征在于，所述机器学习模型通过下述方式进行训练：

已由专业的病理医生在用于训练的结直肠癌免疫组织化学染色数字病理图像上圈画出11类不同类型的组织类别，分别是背景区域，正常腺体，淋巴，肌肉，脂肪，肿瘤上皮，肿瘤间质，粘膜下层，粘液区域，坏死区域，然后在每一类组织区域中截取出若干设定大小的子图像块作为训练样本，接着对训练样本提取手工特征构建特征向量，并使用支持向量机模型来构建分类器。

8.根据权利要求5所述的检测系统，其特征在于，所述肿瘤侵袭边缘定位模块包括：组织分类模块、错误消除模块以及坐标处理模块；

所述组织分类模块，用于根据组织类别存在于肿瘤区域还是非肿瘤区域，把子图像块的类别再进行组织二分类，把存在于肿瘤区域的组织用黑色表示，把存在于正常区域的组织用白色表示；

所述错误消除模块，用于消除错误分类的子图像块的影响，然后找出黑色区域和白色区域的分界线坐标作为肿瘤区域与非肿瘤区域的分界线坐标；

所述坐标处理模块，用于找出两个颜色区域的交界线的坐标，并适当把交界线沿垂直方向扩张设定的距离，完成肿瘤侵袭边缘的定位。

9.根据权利要求5所述的检测系统，其特征在于，所述肿瘤中心区域定位模块包括：分割模块、细胞计数模块以及汇总模块；

所述分割模块，用于将肿瘤区域分割为若干的子图像块；

所述细胞计数模块，用于取每一个子图像块的H通道进行细胞计数；

所述汇总模块，用于汇总统计，把子图像块按细胞密度排序并取细胞密度最大的前10个子图像块的位置标为肿瘤中心区域。

Images