CN112508860A - 一种免疫组化图像核阳性的人工智能判读方法及系统 - Google Patents

Abstract

本发明公开了一种免疫组化图像核阳性的人工智能判读方法及系统，本发明包括对HE图分类识别得到癌组织预测概率分布图，提取概率值超过选取阈值参数的得到高度疑似癌组织区域的图块索引值、并映射到配准后的IHC图，提取IHC图中的癌组织区域图块；对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计，累加所有癌组织区域图块中统计得到的核阳性细胞数和非核阳性细胞数，最终求出核阳性率。本发明能够实现对免疫组化癌组织区域的核阳性率的自动定量计算分析，在保证核阳性率计算结果准确的前提下，减去医生进行人工计数细胞的大量重复繁杂工作，大幅度提高核阳性率的计算效率，高效辅助医生完成免疫组化核阳性分析过程。

Description

一种免疫组化图像核阳性的人工智能判读方法及系统

技术领域

本发明涉及数字图像处理领域、生物医学工程技术领域以及显微病理自动分析领域，具体涉及一种免疫组化图像核阳性的人工智能判读方法及系统。

背景技术

免疫组化技术的快速发展以及取得的长足的进步 在肿瘤病理诊断、鉴别以及预后等多个领域看到越来越多的免疫组化分析技术的身影， 使其成为医生在常规病理诊断工作不可或缺的重要诊断工具；但是免疫组化技术中涉及到的核阳性率、尤其是ki67、ER、PR等指标的计算，需要医生手动计数大量的核阳性细胞和非核阳性细胞，这种工作简单，而且重复，但需要耗费医生大量的时间去完成细胞数的统计，这个过程极为单调，且繁杂，很耗医生精力。如果能由计算机系统自动完成整个核阳性率的计算分析过程，那将使医生从这种单调而繁杂的工作中解放出来，减少不必要的精力耗费，大大提高医生的工作效率。

近年来，随着深度学习技术在生物医疗病理领域的深入耕耘，基于人工智能的医疗领域蓬勃发展，传统的图像处理技术手段结合新的深度学习技术，在医疗领域也取得了长足的进步，但在处理过程中，大部分都是直接针对单图像进行分析的，有只针对HE（苏木精-伊红）显微组织病理数字全景图（简称HE图）进行分析的，也有利用图像处理手段直接对IHC（免疫组化）显微组织病理数字全景图（简称IHC图）进行分析的，但是没有直接将二者联系在一起，通过图像配准等技术手段在联合HE图、IHC图，利用深度学习等人工智能技术，全自动完成从病理辅助判读到最终的免疫组化核阳性率的定量分析。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种免疫组化图像核阳性的人工智能判读方法及系统，本发明能够实现对免疫组化癌组织区域的核阳性率的自动定量计算分析，在保证核阳性率计算结果准确的前提下，减去医生进行人工计数细胞的大量重复繁杂工作，大幅度提高核阳性率的计算效率，高效辅助医生完成免疫组化核阳性分析过程。

为了解决上述技术问题，本发明采用的技术方案为：

一种免疫组化图像核阳性的人工智能判读方法，包括：

S1）对HE图采用深度卷积神经网络进行癌组织分类识别，得到癌组织预测概率分布图；

S2）提取癌组织预测概率分布图中概率值超过选取阈值参数的得到高度疑似癌组织区域的图块索引值；将高度疑似癌组织区域的图块索引值映射到与HE图配准后的IHC图，提取出IHC图中对应的癌组织区域图块；

S3）对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计，累加所有癌组织区域图块中统计得到的核阳性细胞数和非核阳性细胞数。

可选地，步骤S1）之前还包括训练深度卷积神经网络的步骤：

S1-1）利用现有的HE图制作训练、验证和测试数据集；

S1-2）利用制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试深度卷积神经网络，最终得到优化好的深度卷积神经网络，使其建立了HE图、癌组织预测概率分布图之间的映射关系。

可选地，步骤S1-1）中制作训练、验证和测试数据集的步骤包括：获取原始数据集，针对原始数据集中的每一个数据样本，先获取该数据样本的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图，然后根据得到的掩膜图去映射得到该数据样本的金字塔模型底层分辨率最高的图层中的图块，最终将提取出的图块构建训练、验证和测试数据集。

可选地，步骤S1）对HE图采用深度卷积神经网络进行癌组织分类识别的步骤包括：对HE图的金字塔顶层分辨率最低的图层，进行图像预处理提取出组织的前景图部分作为掩膜图，先获取该HE图的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图，然后根据得到的掩膜图去映射得到该HE图的金字塔模型底层分辨率最高的图层中的图块，将每一个提取得到的图块送入到训练优化好的深度卷积神经网络对应输出一个判断是否是癌组织的概率值，从而最终得到由所有图块的是否是癌组织的癌组织预测概率构成的癌组织预测概率分布图。

可选地，步骤S2）之前还包括将IHC图与HE图配准的步骤：

S2-1）基于SIFT特征匹配算法，将IHC图的金字塔模型顶层分辨率最低的图层、HE图的金字塔模型顶层分辨率最低的图层进行配准，得到对应的配准参数，包括旋转角度、缩放比例和平移量；

S2-2）将配准参数分别应用于IHC图的金字塔模型底层分辨率最高的图层、HE图的金字塔模型底层分辨率最高的图层进行配准，从而完成IHC图与HE图配准。

可选地，步骤S3）中对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计时，对单个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计的步骤包括：

S3.1）将该癌组织区域图块进行预处理；

S3.2）利用分水岭算法对预处理后的癌组织区域图块分割为癌组织前景和背景区域；

S3.3）对癌组织前景通过自动阈值分割、图像膨胀腐蚀操作，找到每个细胞核的轮廓；

S3.4）根据细胞核的特性，将细胞核区分为核阳性细胞核和非核阳性细胞核，对核阳性细胞核和非核阳性细胞核计数，得到该癌组织区域图块的核阳性细胞数和非核阳性细胞数。

可选地，步骤S3.1）的预处理包括：利用颜色解卷积的方法进行染色通道分离和颜色归一化处理。

可选地，步骤S3）中还包括输出细胞核的核阳性率的步骤，且细胞核的核阳性率的计算函数表达式为：

H _rate =∑ ^N _i=1 S _1,i /∑ ^N _i=1(S _1,i +S _2,i )

上式中，H _rate 为细胞核的核阳性率，N为癌组织区域图块的数量，S _1,i 为第i个癌组织区域图块中的核阳性细胞数，S _2,i 为第i个癌组织区域图块中的非核阳性细胞数。

此外，本发明还提供一种免疫组化图像核阳性的人工智能判读系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述免疫组化图像核阳性的人工智能判读方法的步骤，或者该存储器中存储有被编程或配置以执行所述免疫组化图像核阳性的人工智能判读方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述免疫组化图像核阳性的人工智能判读方法的计算机程序。

和现有技术相比，本发明具有下述优点：本发明包括对HE图分类识别得到癌组织预测概率分布图，提取概率值超过选取阈值参数的得到高度疑似癌组织区域的图块索引值、并映射到配准后的IHC图，提取出IHC图中对应的癌组织区域图块；对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计，累加所有癌组织区域图块中统计得到的核阳性细胞数和非核阳性细胞数，最终求出核阳性率。本发明能够实现对免疫组化癌组织区域的核阳性率的自动定量计算分析，在保证核阳性率计算结果准确的前提下，减去医生进行人工计数细胞的大量重复繁杂工作，大幅度提高核阳性率的计算效率，高效辅助医生完成免疫组化核阳性分析过程。

附图说明

图1为本发明实施例方法的基本流程图。

图2为本发明实施例中训练深度卷积神经网络的原理示意图。

图3为本发明实施例中制作训练、验证和测试数据集的原理示意图。

图4为本发明实施例中生成癌组织预测概率分布图的原理示意图。

图5为本发明实施例中图像配准的原理示意图。

图6为本发明实施例方法的基本原理示意图。

图7为本发明实施例中单个癌组织区域图块的处理流程。

具体实施方式

如图1和图6所示，本实施例免疫组化图像核阳性的人工智能判读方法包括：

S1）对HE图采用深度卷积神经网络进行癌组织分类识别，得到癌组织预测概率分布图；

S2）提取癌组织预测概率分布图中概率值超过选取阈值参数的得到高度疑似癌组织区域的图块索引值；将高度疑似癌组织区域的图块索引值映射到与HE图配准后的IHC图，提取出IHC图中对应的癌组织区域图块；

S3）对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计，累加所有癌组织区域图块中统计得到的核阳性细胞数和非核阳性细胞数。

本实施例中，步骤S1）中的深度卷积神经网络采用ResNet卷积神经网络。

如图2所示，本实施例中步骤S1）之前还包括训练深度卷积神经网络的步骤：

S1-1）利用现有的HE图制作训练、验证和测试数据集；

S1-2）利用制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试深度卷积神经网络，最终得到优化好的深度卷积神经网络，使其建立了HE图、癌组织预测概率分布图之间的映射关系。

如图3所示，步骤S1-1）中制作训练、验证和测试数据集的步骤包括：获取原始数据集，针对原始数据集中的每一个数据样本，先获取该数据样本的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图（组织前景图），然后根据得到的掩膜图去映射得到该数据样本的金字塔模型底层分辨率最高的图层中的图块（这样可以省略掉背景空白部分），最终将提取出的图块构建训练、验证和测试数据集。

如图4所示，本实施例步骤S1）对HE图采用深度卷积神经网络进行癌组织分类识别的步骤包括：对HE图的金字塔顶层分辨率最低的图层，进行图像预处理提取出组织的前景图部分作为掩膜图，先获取该HE图的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图，然后根据得到的掩膜图去映射得到该HE图的金字塔模型底层分辨率最高的图层中的图块，将每一个提取得到的图块送入到训练优化好的深度卷积神经网络对应输出一个判断是否是癌组织的概率值，从而最终得到由所有图块的是否是癌组织的癌组织预测概率构成的癌组织预测概率分布图。最终得到的癌组织预测概率分布图中，空白部分的概率为0，颜色越深的地方表示是癌组织区域的概率越大。

如图5所示，步骤S2）之前还包括将IHC图与HE图配准的步骤：

S2-1）基于SIFT特征匹配算法，将IHC图的金字塔模型顶层分辨率最低的图层、HE图的金字塔模型顶层分辨率最低的图层进行配准，得到对应的配准参数，包括旋转角度、缩放比例和平移量；

S2-2）将配准参数分别应用于IHC图的金字塔模型底层分辨率最高的图层、HE图的金字塔模型底层分辨率最高的图层进行配准，从而完成IHC图与HE图配准。

如图6所示，在将IHC图与HE图配准后，获取IHC图对应于AI识别之后得到热力图中的癌组织区域，该部分区域对应需要进行统计核阳性率癌组织区域，在医生选取阈值参数（热力图中的概率值超过阈值部分认为是高度疑似癌组织区域）确认之后，得到相应的高度疑似癌组织区域的图块索引值，然后根据以配准得到的配准参数，将在热力图中得到的高度疑似癌组织区域的图块索引值映射到免疫组化全景图中，获取对应的在免疫组化全景图中对应的癌组织区域图块。对每块需要进行核阳性率统计的图片块，进行癌细胞中的核阳性细胞数和非核阳性细胞数统计，即可获得核阳性细胞数和非核阳性细胞数的统计结果。

如图7所示，步骤S3）中对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计时，对单个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计的步骤包括：

S3.1）将该癌组织区域图块进行预处理；

S3.2）利用分水岭算法对预处理后的癌组织区域图块分割为癌组织前景和背景区域；

S3.3）对癌组织前景通过自动阈值分割、图像膨胀腐蚀操作，找到每个细胞核的轮廓；

S3.4）根据细胞核的特性，将细胞核区分为核阳性细胞核和非核阳性细胞核，对核阳性细胞核和非核阳性细胞核计数，得到该癌组织区域图块的核阳性细胞数和非核阳性细胞数。

本实施例中，步骤S3.1）的预处理包括：利用颜色解卷积的方法进行染色通道分离和颜色归一化处理。

本实施例中，步骤S3）中还包括输出细胞核的核阳性率的步骤，且细胞核的核阳性率的计算函数表达式为：

H _rate =∑ ^N _i=1 S _1,i /∑ ^N _i=1(S _1,i +S _2,i )

上式中，H _rate 为细胞核的核阳性率，N为癌组织区域图块的数量，S _1,i 为第i个癌组织区域图块中的核阳性细胞数，S _2,i 为第i个癌组织区域图块中的非核阳性细胞数。

综上所述，本实施例免疫组化图像核阳性的人工智能判读方法利用到深度卷积神经网络癌组织区域分类技术、快速SIFT特征匹配配准技术、通道颜色解卷积和图像分割等技术，全自动快速完成免疫组化癌组织区域的核阳性率计算分析，解决医生需要手动计算免疫组化癌组织区域的核阳性率计算分析问题，有效辅助医生减少大量重复繁杂的计算工作；本实施例免疫组化图像核阳性的人工智能判读方法采用基于金字塔模型的SIFT快速特征匹配方法，对HE图和IHC图进行配准，迅速完成对旋转角度、缩放比例和平移量等配准参数的提取；基于SIFT的特征匹配方法，配准速度缓慢，尤其是如果直接针对底层高分辨全景图进行配准时，速度极其慢， 基于此采用基于金字塔模型的SIFT快速特征匹配方法，采用高层分辨率低的图像完成配准，然后再将配准提取得到的旋转角度、缩放比例和平移量等参数直接饮用到底层分辨率高的大图，完成HE图块和IHC图块的一一配对，从而将已识别分类为癌组织区域的HE图块映射到对应的IHC图块中，快速找到IHC图中的癌组织区域；本实施例免疫组化图像核阳性的人工智能判读方法在进行核阳性细胞和非核阳性细胞识别统计时，采用颜色解卷积和归一化进行预处理、通过分水岭分割算法分割出组织前景图，再对分割得到的组织前景图进行自动阈值分割、经膨胀腐蚀等操作后，找到每个细胞核的轮廓、在通过颜色、形状等特性，区分得到核阳性细胞核和非核阳性细胞核区域，从而快速完成癌组织区域的核阳性细胞核区域和非核阳性细胞核区域的统计，完成核阳性率的快速计算分析。

此外，本实施例还提供一种免疫组化图像核阳性的人工智能判读系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述免疫组化图像核阳性的人工智能判读方法的步骤，或者该存储器中存储有被编程或配置以执行前述免疫组化图像核阳性的人工智能判读方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述免疫组化图像核阳性的人工智能判读方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种免疫组化图像核阳性的人工智能判读方法，其特征在于，包括：

S1）对HE图采用深度卷积神经网络进行癌组织分类识别，得到癌组织预测概率分布图；

S2）提取癌组织预测概率分布图中概率值超过选取阈值参数的得到高度疑似癌组织区域的图块索引值；将高度疑似癌组织区域的图块索引值映射到与HE图配准后的IHC图，提取出IHC图中对应的癌组织区域图块；

S3）对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计，累加所有癌组织区域图块中统计得到的核阳性细胞数和非核阳性细胞数，并求得核阳性率。

2.根据权利要求1所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S1）之前还包括训练深度卷积神经网络的步骤：

S1-1）利用现有的HE图制作训练、验证和测试数据集；

S1-2）利用制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试深度卷积神经网络，最终得到优化好的深度卷积神经网络，使其建立了HE图、癌组织预测概率分布图之间的映射关系。

3.根据权利要求2所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S1-1）中制作训练、验证和测试数据集的步骤包括：获取原始数据集，针对原始数据集中的每一个数据样本，先获取该数据样本的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图，然后根据得到的掩膜图去映射得到该数据样本的金字塔模型底层分辨率最高的图层中的图块，最终将提取出的图块构建训练、验证和测试数据集。

4.根据权利要求3所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S1）对HE图采用深度卷积神经网络进行癌组织分类识别的步骤包括：对HE图的金字塔顶层分辨率最低的图层，进行图像预处理提取出组织的前景图部分作为掩膜图，先获取该HE图的金字塔模型顶层分辨率最低的图层，对该图层提取出组织的前景图部分作为掩膜图，然后根据得到的掩膜图去映射得到该HE图的金字塔模型底层分辨率最高的图层中的图块，将每一个提取得到的图块送入到训练优化好的深度卷积神经网络对应输出一个判断是否是癌组织的概率值，从而最终得到由所有图块的是否是癌组织的癌组织预测概率构成的癌组织预测概率分布图。

5.根据权利要求1所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S2）之前还包括将IHC图与HE图配准的步骤：

S2-1）基于SIFT特征匹配算法，将IHC图的金字塔模型顶层分辨率最低的图层、HE图的金字塔模型顶层分辨率最低的图层进行配准，得到对应的配准参数，包括旋转角度、缩放比例和平移量；

S2-2）将配准参数分别应用于IHC图的金字塔模型底层分辨率最高的图层、HE图的金字塔模型底层分辨率最高的图层进行配准，从而完成IHC图与HE图配准。

6.根据权利要求2所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S3）中对各个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计时，对单个癌组织区域图块进行癌细胞中核阳性细胞数和非核阳性细胞数统计的步骤包括：

S3.1）将该癌组织区域图块进行预处理；

S3.2）利用分水岭算法对预处理后的癌组织区域图块分割为癌组织前景和背景区域；

S3.3）对癌组织前景通过自动阈值分割、图像膨胀腐蚀操作，找到每个细胞核的轮廓；

S3.4）根据细胞核的特性，将细胞核区分为核阳性细胞核和非核阳性细胞核，对核阳性细胞核和非核阳性细胞核计数，得到该癌组织区域图块的核阳性细胞数和非核阳性细胞数。

7.根据权利要求6所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S3.1）的预处理包括：利用颜色解卷积的方法进行染色通道分离和颜色归一化处理。

8.根据权利要求1所述的免疫组化图像核阳性的人工智能判读方法，其特征在于，步骤S3）中还包括输出细胞核的核阳性率的步骤，且细胞核的核阳性率的计算函数表达式为：

H _rate =∑ ^N _i=1 S _1,i /∑ ^N _i=1(S _1,i +S _2,i )

上式中，H _rate 为细胞核的核阳性率，N为癌组织区域图块的数量，S _1,i 为第i个癌组织区域图块中的核阳性细胞数，S _2,i 为第i个癌组织区域图块中的非核阳性细胞数。

9.一种免疫组化图像核阳性的人工智能判读系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述免疫组化图像核阳性的人工智能判读方法的步骤，或者该存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述免疫组化图像核阳性的人工智能判读方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述免疫组化图像核阳性的人工智能判读方法的计算机程序。

Images