CN112270683B

CN112270683B - 一种ihc数字预览图识别和组织前景分割方法及系统

Info

Publication number: CN112270683B
Application number: CN202011531625.2A
Authority: CN
Inventors: 余莉; 韩方剑; 黄少冰
Original assignee: Ningbo Lanxi Biotechnology Co ltd
Current assignee: Lansi (Ningbo) Intelligent Technology Co.,Ltd.
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2021-04-02
Anticipated expiration: 2040-12-23
Also published as: CN112270683A

Abstract

本发明公开了一种IHC数字预览图识别和组织前景分割方法及系统，本发明包括针对输入的IHC数字预览图，提取包含组织部分和杂质部分的二值掩膜图M1；将二值掩膜图M1中所有的连通域划分为大面积连通域轮廓集合q _b和小面积连通域轮廓集合q _s；针对大面积连通域轮廓集合q _b中的每一个连通域轮廓，将其对应到原始的IHC数字预览图中的对应区域，提取对应区域的特征并将特征通过机器学习模型分类去除杂质的连通域轮廓、留下组织的连通域轮廓。本发明能针对染色很浅、前景组织的颜色跟玻片背景几乎接近的IHC数字预览图分割出组织前景，具有识别准确度高、识别效果很好的优点。

Description

一种IHC数字预览图识别和组织前景分割方法及系统

技术领域

本发明涉及数字图像处理领域、生物医学工程技术领域以及显微病理成像领域，具体涉及一种IHC数字预览图识别和组织前景分割方法及系统。

背景技术

为了全自动扫描数字玻片的整个过程，尽量减少扫描仪的载物台的行程，缩短扫描全程的时间，扫描仪的首要任务就是完成玻片上的组织的预览和范围确认，减少空白区域加入到扫描行程中；这就要求要尽量完好地识别到真正的组织区域，去除其他杂质引起的伪影的干扰；因此完成好数字玻片扫描仪的首要任务，对数字玻片准确地预览识别，是非常重要的；对于HE染色的数字玻片，其染色比较深，前景和背景易于区分，其余杂质的颜色也比较浅，跟HE染色的组织之间的颜色差别也比较大，因此也比较容易识别得到，因此采用比较传统的简单的图像处理方法即可很好地将前景组织提取出来；另外对于TCT这种用于细胞筛查的数字玻片，由于是采用机器制作，因此形状很规则，可以提前利用先验信息知识，也能很好地将对应组织前景图像从整张数字玻片中识别出来。

免疫组化染色的数字玻片所呈现出来的组织较其他的数字玻片效果不一致；免疫组化的染色很浅，很多时候前景组织的颜色跟玻片背景几乎接近，加之很多杂质所呈现得到的颜色各方面跟情景组织是基本一致的，导致用一般的图像处理方法很难提取到比较满意的效果，常规识别过程，要不就是容易把其他杂质也处理成情景组织，要不就是真正的组织前景识别不全，很难获得有效的识别效果。这就说明传统的简单的图像处理对免疫组化的数字玻片的处理失效，需要进一步采用更加突破思维性的方法。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种IHC数字预览图识别和组织前景分割方法及系统，本发明能针对染色很浅、前景组织的颜色跟玻片背景几乎接近的IHC数字预览图分割出组织前景，具有识别准确度高、识别效果很好的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种IHC数字预览图识别和组织前景分割方法，包括：

1）针对输入的IHC数字预览图，提取包含组织部分和杂质部分的二值掩膜图M1；

2）根据预设的面积阈值T1，将二值掩膜图M1中所有的连通域划分为大面积连通域轮廓集合q _b和小面积连通域轮廓集合q _s；

3）针对大面积连通域轮廓集合q _b中的每一个连通域轮廓，将其对应到原始的IHC数字预览图中的对应区域，提取对应区域的特征并将特征通过机器学习模型分类去除杂质的连通域轮廓、留下组织的连通域轮廓。

可选地，步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1之前还包括对输入的IHC数字预览图采用高斯滤波器进行降噪处理以去除突兀点的步骤。

可选地，步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1的步骤包括：将IHC数字预览图进行图像变换得到灰度图G1，并将IHC数字预览图从RGB图像分别转换到LAB颜色空间和HSV颜色空间，再提取LAB颜色空间的L通道图像L1、HSV颜色空间的Hue通道图像H1；将灰度图G1、L通道图像L1、Hue通道图像H1分别进行自动阈值分割得到对应的二值图，再对得到的三张二值图进行与操作，得到包含组织部分和杂质部分的二值掩膜图M1。

可选地，步骤2）之后、步骤3）之前还包括将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤。

可选地，所述将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤包括：针对任意一对大面积连通域、小面积连通域：根据R=Sr/r计算大面积连通域、小面积连通域之间的相对引力R，其中Sr为大面积连通域、小面积连通域之间的相对面积，r为大面积连通域、小面积连通域之间的区域质心之间的距离；将相对引力R大于预设阈值的小面积连通域加入大面积连通域轮廓集合q _b。

可选地，所述大面积连通域、小面积连通域之间的相对面积的计算式为：Sr=Sb/Ss，其中Sb指大面积连通域的面积，Ss指小面积连通域的面积，所述大面积连通域、小面积连通域之间的区域质心之间的距离的计算式为：

上式中，

和

分别表示大面积连通域质心的X和Y坐标，

和

分别表示小面积连通域质心的X和Y坐标，且采用连通域轮廓的所有坐标的平均值表示为质心坐标。

可选地，步骤3）中提取对应区域的特征包括RGB颜色分量、纹理特征和灰度熵。

可选地，步骤3）之后还包括对所有组织的连通域轮廓扫描区域边界生成预览框图的步骤：首先检测每一个组织的连通域轮廓，获取包含连通域轮廓的最小矩形的左上角坐标和右上角坐标：

{(xl _i,yt _i ),( xr _i, yb _i) | i=0,1,2,…,M-1}

上式中，(xl _i,yt _i )包含第i个组织的连通域轮廓的最小矩形的左上角坐标，(xr _i, yb _i )为第i个组织的连通域轮廓的最小矩形的右上角坐标，M为组织的连通域轮廓的总数量；然后根据xl _final=min{xl _i}、yt _final=min{ yt _i }、xr _final=max{ xr _i }、yb _final=max{ yb _i }求得最终的扫描矩形范围左上角和右下角坐标分别为(xl _final,yt _final)和( xr _final,yb _final)，然后在原始的IHC数字预览图中生成最终的扫描矩形范围图框得到预览框图。

此外，本发明还提供一种IHC数字预览图识别和组织前景分割系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述IHC数字预览图识别和组织前景分割方法的步骤，或者该存储器中存储有被编程或配置以执行所述IHC数字预览图识别和组织前景分割方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述IHC数字预览图识别和组织前景分割方法的计算机程序。

和现有技术相比，本发明具有下述优点：本发明包括针对输入的IHC数字预览图，提取包含组织部分和杂质部分的二值掩膜图M1；根据预设的面积阈值T1，将二值掩膜图M1中所有的连通域划分为大面积连通域轮廓集合q _b和小面积连通域轮廓集合q _s；针对大面积连通域轮廓集合q _b中的每一个连通域轮廓，将其对应到原始的IHC数字预览图中的对应区域，提取对应区域的特征并将特征通过机器学习模型分类去除杂质的连通域轮廓、留下组织的连通域轮廓，对所有组织的连通域轮廓扫描区域边界生成预览框图，通过二值掩膜图M1和自动阈值分割与机器学习模型分类相结合，能针对染色很浅、前景组织的颜色跟玻片背景几乎接近的IHC数字预览图分割出组织前景，能够高效去除背景其他杂质虚假组织点，极大提升免疫组化数字玻片预览图中相关组织前景识别的准确率，从而达到有效分割免疫组化数字玻片预览图中的组织前景部分，具有识别准确度高、识别效果很好的优点。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例中输入的原始IHC数字预览图。

图3为本发明实施例中得到的二值掩膜图M1。

图4为本发明实施例中得到的初始的大面积连通域轮廓集合q _b。

图5为本发明实施例中得到的最终的大面积连通域轮廓集合q _b。

图6为本发明实施例中得到的组织的连通域轮廓。

图7为本发明实施例中得到的最终的预览框图。

具体实施方式

如图1所示，本实施例IHC数字预览图识别和组织前景分割方法包括：

1）针对输入的IHC数字预览图（如图2所示），提取包含组织部分和杂质部分的二值掩膜图M1（如图3所示）；其中，输入的IHC数字预览图可采用数字玻片扫描仪拍摄得到免疫组化组织图像数字玻片得到；

作为一种可选的实施方式，为了进行降噪处理提高组织部分和杂质部分的识别精确度，本实施例步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1之前还包括对输入的IHC数字预览图采用高斯滤波器进行降噪处理以去除突兀点的步骤。

提取包含组织部分和杂质部分的二值掩膜图M1可以有多种方式，作为一种可选的实施方式，步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1的步骤包括：将IHC数字预览图进行图像变换得到灰度图G1，并将IHC数字预览图从RGB图像分别转换到LAB颜色空间和HSV颜色空间，再提取LAB颜色空间的L通道图像L1、HSV颜色空间的Hue通道图像H1；将灰度图G1、L通道图像L1、Hue通道图像H1分别进行自动阈值分割得到对应的二值图，再对得到的三张二值图进行与操作，得到包含组织部分和杂质部分的二值掩膜图M1。通过灰度图G1、L通道图像L1、Hue通道图像H1进行自动阈值分割得到对应的二值图并进行与操作，能够有效提升提取组织部分和杂质部分的准确度。

由于IHC预览图中的组织颜色很浅，很多情况会在大面积组织连通域周围会出现面积比较小的零星的组织连通域，作为一种可选的实施方式，为了提升小面积连通域的检测准确度，本实施例步骤2）之后、步骤3）之前还包括将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤。

由于IHC预览图中的组织颜色很浅，很多情况会在大面积组织连通域周围会出现面积比较小的零星的组织连通域，为了进一步区分出是组织部分还是零散的杂质点，定义一个大面积连通域对一个小面积连通域的相对引力。因此，本实施例中将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤包括：针对任意一对大面积连通域、小面积连通域：根据R=Sr/r计算大面积连通域、小面积连通域之间的相对引力R，其中Sr为大面积连通域、小面积连通域之间的相对面积（用相对面积可以进一步表示大面积的连通域对小面积的连通域的吸附作用），r为大面积连通域、小面积连通域之间的区域质心之间的距离；将相对引力R大于预设阈值的小面积连通域加入大面积连通域轮廓集合q _b。

其中，大面积连通域、小面积连通域之间的相对面积的计算式为：Sr=Sb/Ss，其中Sb指大面积连通域的面积，Ss指小面积连通域的面积，且大面积连通域、小面积连通域之间的区域质心之间的距离的计算式为：

上式中，

和

分别表示大面积连通域质心的X和Y坐标，

和

分别表示小面积连通域质心的X和Y坐标，且采用连通域轮廓的所有坐标的平均值表示为质心坐标，即：

上式中没有上标b和s，是因为其同时适用于大面积连通域、小面积连通域。其中，x _i和y _i分别表示轮廓上的序号为i的坐标点，N表示轮廓上的坐标点数；根据相对引力的定义，当相对面积Sr越大，连通域质心距离r越小时，相对引力R越大。利用相对引力R，去除掉分辨在空间的其他零散的，设定相对引力阈值，计算每一个在小面积连通域轮廓集合q _s中的小面积连通域到每一个在大面积连通域轮廓集合q _b中大面积连通域的相对引力，一旦大于阈值，则将小面积区域轮廓从小面积连通域轮廓集合q _s剔除，加入到大面积连通域轮廓集合q _b当中，否则先保留在小面积连通域轮廓集合q _s当中。图4为初始的大面积连通域轮廓集合q _b，重复上述步骤2~3次，将所有满足的连通域轮廓集中到了大面积连通域轮廓集合q _b当中，剩下在小面积连通域轮廓集合q _s的则是一些零散的杂散点，可直接去除，得到剩下的连通域如下图5所示，图5为本实施例中将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b后得到的最终的大面积连通域轮廓集合q _b。

本实施例中，步骤3）中采用的机器学习模型为支持向量机（简称SVM），此外也可以根据需要其他机器学习模型。对大面积连通域轮廓集合q _b的每一个连通域轮廓进行分类，利用支持向量机SVM分类识别是否是真正的组织前景图，还是一些有杂质引起的伪影。

本实施例中，步骤3）中提取对应区域的特征包括RGB颜色分量、纹理特征和灰度熵，其中纹理特征主要采用灰度共生矩阵。在使用支持向量机SVM之前，需要针对支持向量机SVM进行训练，使其建立对应区域的特征、分类结果（杂质的连通域轮廓、组织的连通域轮廓）之间的映射关系，具体包括：先利用原有扫描拍摄得到的大量数字玻片预览图作为原始数据库，对原始数据库中的所有数字玻片扫描获得IHC数字预览图，然后采用前述步骤1）～3）的方法提取大面积连通域轮廓集合q _b中的每一个连通域轮廓的特征，并附加分类结果的标签，构成训练数据集；再通过训练数据集分成训练、验证和测试集，利用训练集和验证集完成支持向量机SVM的训练和优化，得到最佳分类器，并采用测试集进行测试。

本实施例中，步骤3）之后还包括对所有组织的连通域轮廓扫描区域边界生成预览框图的步骤：首先检测每一个组织的连通域轮廓，获取包含连通域轮廓的最小矩形的左上角坐标和右上角坐标：

{(xl _i,yt _i ),( xr _i, yb _i) | i=0,1,2,…,M-1}

上式中，(xl _i,yt _i )包含第i个组织的连通域轮廓的最小矩形的左上角坐标，(xr _i, yb _i )为第i个组织的连通域轮廓的最小矩形的右上角坐标，M为组织的连通域轮廓的总数量；然后根据xl _final=min{xl _i}、yt _final=min{ yt _i }、xr _final=max{ xr _i }、yb _final=max{ yb _i }求得最终的扫描矩形范围左上角和右下角坐标分别为(xl _final,yt _final)和( xr _final,yb _final)，然后在原始的IHC数字预览图中生成最终的扫描矩形范围图框得到预览框图。此外，步骤3）之后还可已根据需要切割出预览框图，从而获得单独的组织前景图。最终，本实施例中得到的组织的连通域轮廓如图6所示，得到的最终的预览框图如图7所示。

综上所述，本实施例IHC数字预览图识别和组织前景分割方法利用传统图像处理和机器学习中的SVM分类方法，提取各个连通域轮廓对应的原始图像的特征、包括RGB颜色特征、灰度共生矩阵纹理特征和灰度熵特征，利用这些图像特征，对每个连通域进行分类，区分得到真正的组织连通域和杂质等连通域产生的伪影，并将这些伪影剔除掉；而且，本实施例IHC数字预览图识别和组织前景分割方法借助万有引力概念，引入大面积连通域对小面积连通域的吸附的相对引力概念，进一步区分得到大面积组织连通域周围的零星组织连通域和一些零散的杂质点形成的伪影，采用相对引力的概念，判断识别出哪些是大面积组织连通域周围的小面积连通域，还是其他一些零散杂质伪影，减少后续进行SVM分类判断的连通域，从而能针对染色很浅、前景组织的颜色跟玻片背景几乎接近的IHC数字预览图分割出组织前景，能够高效去除背景其他杂质虚假组织点，极大提升免疫组化数字玻片预览图中相关组织前景识别的准确率，从而达到有效分割免疫组化数字玻片预览图中的组织前景部分，具有识别准确度高、识别效果很好的优点。

此外，本实施例还提供一种IHC数字预览图识别和组织前景分割系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述IHC数字预览图识别和组织前景分割方法的步骤，或者该存储器中存储有被编程或配置以执行前述IHC数字预览图识别和组织前景分割方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述IHC数字预览图识别和组织前景分割方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种IHC数字预览图识别和组织前景分割方法，其特征在于，包括：

3）针对大面积连通域轮廓集合q _b中的每一个连通域轮廓，将其对应到原始的IHC数字预览图中的对应区域，提取对应区域的特征并将特征通过机器学习模型分类去除杂质的连通域轮廓、留下组织的连通域轮廓；

步骤2）之后、步骤3）之前还包括将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤；所述将大面积连通域轮廓集合q _b中的大面积连通域周围出现的部分小面积连通域加入大面积连通域轮廓集合q _b的步骤包括：针对任意一对大面积连通域、小面积连通域：根据R=Sr/r计算大面积连通域、小面积连通域之间的相对引力R，其中Sr为大面积连通域、小面积连通域之间的相对面积，r为大面积连通域、小面积连通域之间的区域质心之间的距离；将相对引力R大于预设阈值的小面积连通域加入大面积连通域轮廓集合q _b。

2.根据权利要求1所述的IHC数字预览图识别和组织前景分割方法，其特征在于，步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1之前还包括对输入的IHC数字预览图采用高斯滤波器进行降噪处理以去除突兀点的步骤。

3.根据权利要求1所述的IHC数字预览图识别和组织前景分割方法，其特征在于，步骤1）中提取包含组织部分和杂质部分的二值掩膜图M1的步骤包括：将IHC数字预览图进行图像变换得到灰度图G1，并将IHC数字预览图从RGB图像分别转换到LAB颜色空间和HSV颜色空间，再提取LAB颜色空间的L通道图像L1、HSV颜色空间的Hue通道图像H1；将灰度图G1、L通道图像L1、Hue通道图像H1分别进行自动阈值分割得到对应的二值图，再对得到的三张二值图进行与操作，得到包含组织部分和杂质部分的二值掩膜图M1。

4.根据权利要求1所述的IHC数字预览图识别和组织前景分割方法，其特征在于，所述大面积连通域、小面积连通域之间的相对面积的计算式为：Sr=Sb/Ss，其中Sb指大面积连通域的面积，Ss指小面积连通域的面积，所述大面积连通域、小面积连通域之间的区域质心之间的距离的计算式为：

上式中，

和

分别表示大面积连通域质心的X和Y坐标，

和

5.根据权利要求1所述的IHC数字预览图识别和组织前景分割方法，其特征在于，步骤3）中提取对应区域的特征包括RGB颜色分量、纹理特征和灰度熵。

6.根据权利要求1所述的IHC数字预览图识别和组织前景分割方法，其特征在于，步骤3）之后还包括对所有组织的连通域轮廓扫描区域边界生成预览框图的步骤：首先检测每一个组织的连通域轮廓，获取包含连通域轮廓的最小矩形的左上角坐标和右上角坐标：

{(xl _i,yt _i ),( xr _i, yb _i) | i=0,1,2,…,M-1}

上式中，(xl _i,yt _i )包含第i个组织的连通域轮廓的最小矩形的左上角坐标，(xr _i,yb _i)为第i个组织的连通域轮廓的最小矩形的右上角坐标，M为组织的连通域轮廓的总数量；然后根据xl _final=min{xl _i}、yt _final=min{ yt _i }、xr _final=max{ xr _i }、yb _final=max{ yb _i }求得最终的扫描矩形范围左上角和右下角坐标分别为(xl _final,yt _final)和( xr _final, yb _final)，然后在原始的IHC数字预览图中生成最终的扫描矩形范围图框得到预览框图。

7.一种IHC数字预览图识别和组织前景分割系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～6中任意一项所述IHC数字预览图识别和组织前景分割方法的步骤，或者该存储器中存储有被编程或配置以执行权利要求1～6中任意一项所述IHC数字预览图识别和组织前景分割方法的计算机程序。

8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～6中任意一项所述IHC数字预览图识别和组织前景分割方法的计算机程序。