CN113011257A - 一种乳腺癌免疫组化人工智能判读方法 - Google Patents

一种乳腺癌免疫组化人工智能判读方法 Download PDF

Info

Publication number
CN113011257A
CN113011257A CN202110170428.0A CN202110170428A CN113011257A CN 113011257 A CN113011257 A CN 113011257A CN 202110170428 A CN202110170428 A CN 202110170428A CN 113011257 A CN113011257 A CN 113011257A
Authority
CN
China
Prior art keywords
breast cancer
nuclear
microscopic
immunohistochemical
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110170428.0A
Other languages
English (en)
Inventor
胡哲煜
欧阳取长
谢宁
阳剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Cancer Hospital
Original Assignee
Hunan Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Cancer Hospital filed Critical Hunan Cancer Hospital
Priority to CN202110170428.0A priority Critical patent/CN113011257A/zh
Publication of CN113011257A publication Critical patent/CN113011257A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供的一种乳腺癌免疫组化人工智能判读方法，包括以下步骤：第一步，采用深度卷积神经网络完成对HE显微组织病理数字全景图进行乳腺癌组织分类识别；第二步，基于金字塔模型，对HE和IHC显微乳腺癌组织病理数字全景图之间进行快速精准配准；第三步，通过计算得出免疫组化核阳性率；本发明提供一种乳腺癌免疫组化人工智能判读方法，能够实现对免疫组化乳腺癌组织区域的核阳性率的自动定量计算分析，在保证核阳性率计算结果准确的前提下，减去医生进行人工计数细胞的大量重复繁杂工作，大幅度提高核阳性率的计算效率，高效辅助医生完成免疫组化核阳性分析过程。

Description

一种乳腺癌免疫组化人工智能判读方法
技术领域
本发明涉及医疗图像处理技术领域，具体为一种乳腺癌免疫组化人工智能判读方法。
背景技术
乳腺癌是严重威胁女性健康的最常见的癌症之一，也是女性癌症死亡的第二大主要原因。根据2019年我国最新乳腺癌数据报告,我国女性乳腺癌每年发病约为30.4万，发病例数和死亡例数分别占全球发病和死亡的11.2％和9.2％,在世界范围位居前列，并以每年2％左右的速度增长，可见乳腺癌已成为对我国女性健康威胁最大的恶性肿瘤。在过去十几年里，乳腺癌在检测和治疗方面取得了令人兴奋的进展，美国乳腺癌平均5年生存率为90％，然而中国只有73.1％，因此，提高我国乳腺癌患者率生存率是目前面临的一个巨大挑战，而提供高质量的乳腺癌早期检测，精准的个体化治疗服务和对复发病人的预测评估，则是提高乳腺癌患者5-10年生存率的关键因素。
免疫组织化学(Immunohistochemistry)又称免疫细胞化学，它是组织化学的分支，它是用标记的特异性抗体(或抗原)对组织内抗原(或抗体)的分布进行组织和细胞原位检测技术，作为一种成熟、可靠，经济性强且广泛应用的技术手段。但是目前对免疫组化的判读均为人工半定量判读，判读的结果往往随机性强，人为干扰大，客观性差。如果能够有一种全新的客观、精准的方法来对免疫组化结果判读，在进行肿瘤坏死率评估的同时，判读一些特异性蛋白的表达(诸如：ER、PR、VEGFR、PDL-1、PD-1、KI67等)，做为肿瘤组织精准评估的一部分，这将对后继选择分子靶向治疗药物提供重要的参考。诸如在乳腺癌组织标本中，IHC方法检测雌激素受体(ER)，孕激素受体(PgR)，人表皮生长因子受体2(HER2)和Ki-67的表达已成为病理诊断中的常规项目，应用这四个标准的免疫组化检测定量值(IHC4评分)结合临床病理肿瘤等级，大小，淋巴结，患者年龄和治疗等因素，可以预测激素受体(HR)阳性、HER2阴性、淋巴结未扩散的乳腺癌患者经内分泌治疗后的复发风险，称为乳腺癌免疫组化”IHC4预测模型“，其预测远端长达10年。但是免疫组化技术中涉及到的核阳性率，尤其是ki67、ER、PR、AR等指标的计算，需要医生手动计数大量的核阳性细胞和非核阳性细胞，这种虽然工作简单，而且重复，但需要耗费医生大量的时间去完成细胞数的统计，这个过程极为单调，且繁杂，很耗费医生精力。如果能由计算机系统自动完成整个核阳性率的计算分析过程，那将使医生从这种单调而繁杂的工作中解放出来，减少不必要的精力耗费，大大提高医生的工作效率。
近年来，随着深度学习技术在生物医疗病理领域的深入耕耘，基于人工智能的医疗领域蓬勃发展，传统的图像处理技术手段结合新的深度学习技术，在医疗领域也取得了长足的进步，但在处理过程中，大部分都是直接针对单图像进行分析的，有些是只针对HE病理图进行分析的，有些是利用图像处理手段直接对免疫组化(IHC)病理图进行分析的，但是没有直接将二者联系在一起，通过图像配准等技术手段在联合HE和IHC组织病理图，利用深度学习等人工智能技术，全自动完成从病理辅助判读到最终的免疫组化核阳性率的定量分析。
发明内容
针对现有技术存在的上述问题，本发明提供一种乳腺癌免疫组化人工智能判读方法，能够实现对免疫组化乳腺癌组织区域的核阳性率的自动定量计算分析，在保证核阳性率计算结果准确的前提下，减去医生进行人工计数细胞的大量重复繁杂工作，大幅度提高核阳性率的计算效率，高效辅助医生完成免疫组化核阳性分析过程。
为实现上述发明目的，本发明采用的技术方案如下：
一种乳腺癌免疫组化人工智能判读方法，包括以下步骤：
第一步，采用深度卷积神经网络完成对HE显微组织病理数字全景图进行乳腺癌组织分类识别；
第二步，基于金字塔模型，对HE和IHC显微乳腺癌组织病理数字全景图之间进行快速精准配准；
第三步，通过计算得出免疫组化核阳性率。
在其中一个实施例中，所述第一步具体为：
1)利用现有的HE显微乳腺癌组织病理数字全景图进行数据集制作，得到训练、验证和测试数据集；
2)利用上述制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试经过训练后的深度卷积神经网络，得到最终优化后的深度卷积神经网络；
3)利用最终优化后的深度卷积神经网络，对单张显微乳腺癌组织病理数字全景图进行癌组织区域预测，得到乳腺癌组织预测概率分布图。
在其中一个实施例中，所述第二步具体为：
1)采用基于金字塔模型的SIFT快速特征匹配方法，将位于金字塔模型高层分辨率较小的图层进行配准，得到相应的配准参数；
2)利用已经得到的配准参数，将其应用到位于金字塔模型底层的图像，完成对HE显微组织病理数字全景图和IHC显微组织病理数字全景图中的每一个图片块的一一配对过程。
在其中一个实施例中，所述第三步具体为：
1)在完成HE和IHC显微组织病理数字全景图之间的特征匹配之后，获取IHC显微组织病理数字全景图对应于AI识别生成的热力图中的癌组织区域，该区域为需要进行统计核阳性率的癌组织区域；
2)通过热力图一一对应得到IHC显微组织病理数字全景图中全部需要进行核阳性率统计的图片块；
3)对上述需要进行核阳性率统计的图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计；
4)分别对全部的图片块中的核阳性细胞数和非核阳性细胞数进行统计；
5)设定需要统计的癌组织图片块总共为N块，任意一个癌组织图片块中统计得到的核阳性细胞数和非核阳性分别为和，其中,则最终通过下述公式计算
Figure BDA0002938738070000031
在其中一个实施例中，对所述图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计的方法如下：
1)将经识别配准之后得到的IHC中对应的癌组织图片块，利用颜色解卷积的方法，进行染色通道分离和颜色归一化处理；
2)利用分水岭算法，对经预处理之后的图片块进行分割，分离得到癌组织前景和背景区域；
3)通过自动阈值分割和图像膨胀腐蚀操作后，找到每个细胞核的轮廓；
4)根据图像的颜色和形状，区分得到核阳性细胞核和非核阳性细胞核；
5)分别统计得到核阳性细胞数和非核阳性细胞数。
在其中一个实施例中，所述配准参数包括旋转角度、缩放比例和平移量。
与现有技术相比，本发明提供的一种乳腺癌免疫组化人工智能判读方法，具有以下优点：
1.本发明利用深度卷积神经网络乳腺癌组织区域分类技术、快速SIFT特征匹配配准技术、通道颜色解卷积和图像分割等技术，全自动快速的完成免疫组化癌组织区域的核阳性率计算分析，解决医生需要手动计算免疫组化乳腺癌组织区域的核阳性率计算分析问题，有效辅助医生以减少其大量的重复繁杂的计算工作；
2.本发明采用基于金字塔模型的SIFT快速特征匹配方法，对HE显微组织病理数字全景图和IHC显微组织病理数字全景图进行配准，迅速完成对旋转角度、缩放比例和平移量等配准参数的提取；采用基于金字塔模型的SIFT快速特征匹配方法，采用高层分辨率低的图像先完成配准，然后再将配准提取得到的旋转角度、缩放比例和平移量等参数直接应用到底层分辨率高的大图，完成HE显微组织病理数字全景图块和IHC显微组织病理数字全景图块之间的一一配对，从而将已识别分类为癌组织区域的HE显微组织病理数字全景图块映射到对应的IHC显微组织病理数字全景图块中，快速找到IHC显微组织病理数字全景图中的乳腺癌组织区域；
3.本发明在进行核阳性细胞和非核阳性细胞识别统计时，采用颜色解卷积和归一化进行预处理、通过分水岭分割算法分割出组织前景图，再对分割得到的组织前景图进行自动阈值分割、经膨胀腐蚀等操作后，找到每个细胞核的轮廓、在通过颜色、形状等特性，区分得到核阳性细胞核和非核阳性细胞核区域，从而快速完成乳腺癌组织区域内的核阳性细胞数量和非核阳性细胞数量的统计，以完成核阳性率的快速计算分析。
附图说明
图1为本发明中数据集的制作过程示意图；
图2为本发明中最终优化后的深度卷积神经网络的制作过程示意图；
图3为本发明中热力图的制作过程示意图；
图4为本发明中HE显微组织病理数字全景图和IHC显微组织病理数字全景图的配对过程流程示意图；
图5为本发明中癌组织区域确认流程示意图；
图6为本发明中核阳性细胞数和非核阳性细胞数的统计流程示意图。
具体实施方式
一种乳腺癌免疫组化人工智能判读方法，包括以下步骤：
第一步，采用深度卷积神经网络完成对HE显微组织病理数字全景图进行乳腺癌组织分类识别；
在本实施例中，所述第一步具体为：
1)利用现有的HE显微乳腺癌组织病理数字全景图进行数据集制作，得到训练、验证和测试数据集；
2)利用上述制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试经过训练后的深度卷积神经网络，得到最终优化后的深度卷积神经网络；
3)利用最终优化后的深度卷积神经网络，对单张显微乳腺癌组织病理数字全景图进行癌组织区域预测，得到乳腺癌组织预测概率分布图。
第二步，基于金字塔模型，对HE和IHC显微乳腺癌组织病理数字全景图之间进行快速精准配准；
在本实施例中，所述第二步具体为：
1)采用基于金字塔模型的SIFT快速特征匹配方法，将位于金字塔模型高层分辨率较小的图层进行配准，得到相应的配准参数，所述配准参数包括旋转角度、缩放比例和平移量等；
2)利用已经得到的配准参数，将其应用到位于金字塔模型底层的图像，完成对HE显微组织病理数字全景图和IHC显微组织病理数字全景图中的每一个图片块的一一配对过程。
第三步，通过计算得出免疫组化核阳性率。
在本实施例中，所述第三步具体为：
1)在完成HE和IHC显微组织病理数字全景图之间的特征匹配之后，获取IHC显微组织病理数字全景图对应于AI识别生成的热力图中的癌组织区域，该区域为需要进行统计核阳性率的癌组织区域；
2)通过热力图一一对应得到IHC显微组织病理数字全景图中全部需要进行核阳性率统计的图片块；
3)对上述需要进行核阳性率统计的图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计；
4)分别对全部的图片块中的核阳性细胞数和非核阳性细胞数进行统计；
5)设定需要统计的癌组织图片块总共为N块，任意一个癌组织图片块中统计得到的核阳性细胞数和非核阳性分别为和，其中,则最终通过下述公式计算
Figure BDA0002938738070000061
在本实施例中，对需要进行核阳性率统计的图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计的方法如下：
1)将经识别配准之后得到的IHC中对应的癌组织图片块，利用颜色解卷积的方法，进行染色通道分离和颜色归一化处理；
2)利用分水岭算法，对经预处理之后的图片块进行分割，分离得到癌组织前景和背景区域；
3)通过自动阈值分割和图像膨胀腐蚀操作后，找到每个细胞核的轮廓；
4)根据图像的颜色和形状，区分得到核阳性细胞核和非核阳性细胞核；
5)分别统计得到核阳性细胞数和非核阳性细胞数。
本发明所提供的一种乳腺癌免疫组化人工智能判读方法具体过程如下：
1.AI识别
1.1首先是数据集生成，数据集分为训练、验证和测试数据集；将所有的WSI(全视野数字切片)按照7:2:1随机分成训练集、验证集和测试集；如图1所示，每一张WSI(全视野数字切片)都存储成金字塔文件格式，指定样本集时，先取较顶层的图像进行图像分割，得到组织区域，并依此，索引得到底层图像的区域，切取制成相应的训练、验证和测试数据集。
1.2深度卷积神经网络的训练和测试过程如图2所示，首先采用训练数据集和验证数据集进行深度卷积神经网络的训练，网络架构采用ResNet网络，得到优化好的训练网络之后，进行深度卷积神经网络测试，得到最终优化后的深度卷积神经网络以及相应的ROC曲线，测试准确率高达97.7％。
1.3.对于单张WSI(全视野数字切片)的预测过程如图3所示，对整张WSI(全视野数字切片)进行推断，得到热力图，表示每个区域是否为肿瘤的概率，颜色越深的地方，表明是癌组织的概率越大。
2.基于金字塔模型的快速精准配准流程
基于SIFT的特征匹配方法，完成HE组织图像和IHC组织图像之间的匹配。采用SIFT的配准准确率高，但缺点就是匹配过程缓慢，特别是当参考图像和待配准图像尺寸比较大的时候，速度更慢；因此没必要采用整张WSI HE组织图像和IHC组织图像，HE组织图像和IHC组织图像都是采用金字塔文件格式存储，因此可以先采用位于金字塔中高层的较小的图层先进行SIFT配准，得到对应的配准参数；而HE和IHC之间由于玻片制取时，切取的组织实际上大小形状都很相似，因此配准时只需要提取旋转角度、缩放比例和平移量等参数，便可以实现由HE组织图像到IHC组织图像的配准过程；在获取配准参数之后，提取对应的旋转角度、缩放比例和平移量应用于位于金字塔底层的图像，完成HE组织图像和IHC组织图像的每一个区域一一配对的过程；对应的示意图流程如图4所示。
3.ki67核阳性指标计算
在完成HE和IHC组织图像特征匹配之后，可以获取IHC对应于由AI识别得到的肿瘤组织区域的部分图像区域，并认定该部分IHC即为对应的癌组织区域，对应需要进行ki67核阳性细胞与全体细胞的统计，在IHC组织区域中，对应于AI识别到的每个区域都进行相应的细胞核区域统计，并完成ki67核阳性率计算；对应的过程图5所示。
对需要进行核阳性率统计的图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计的方法如下：
1)将经识别配准之后得到的IHC中对应的癌组织图片块，利用颜色解卷积的方法，进行染色通道分离和颜色归一化处理；
2)利用分水岭算法，对经预处理之后的图片块进行分割，分离得到癌组织前景和背景区域；
3)通过自动阈值分割和图像膨胀腐蚀操作后，找到每个细胞核的轮廓；
4)根据图像的颜色和形状，区分得到核阳性细胞核和非核阳性细胞核；
5)分别统计得到核阳性细胞数和非核阳性细胞数；具体流程如图6所示。
Ki-67是一种核蛋白，除了G0期，Ki-67是表达于细胞周期所有时相的细胞增殖的核标记物。有研究报道Ki-67的表达与肿瘤细胞增殖有关，是反应肿瘤细胞增殖活性的重要指标。对预测乳腺癌预后及指导治疗具有重要意义。用免疫组化的方法检测肿瘤细胞核抗原Ki-67是目前临床上乳腺癌病理检测最常用的方法。Ki-67指数是指细胞核着色肿瘤细胞数占肿瘤细胞数的百分比，有手工计数法、目测法以及计算机软件自动计数法来评价Ki-67表达。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种乳腺癌免疫组化人工智能判读方法，其特征在于，包括以下步骤：
第一步，采用深度卷积神经网络完成对HE显微组织病理数字全景图进行乳腺癌组织分类识别；
第二步，基于金字塔模型，对HE和IHC显微乳腺癌组织病理数字全景图之间进行快速精准配准；
第三步，通过计算得出免疫组化核阳性率。
2.根据权利要求1所述的一种乳腺癌免疫组化人工智能判读方法，其特征在于，所述第一步具体为：
1)利用现有的HE显微乳腺癌组织病理数字全景图进行数据集制作，得到训练、验证和测试数据集；
2)利用上述制作得到的训练和验证数据集进行深度卷积神经网络训练，然后再经测试数据集测试经过训练后的深度卷积神经网络，得到最终优化后的深度卷积神经网络；
3)利用最终优化后的深度卷积神经网络，对单张显微乳腺癌组织病理数字全景图进行癌组织区域预测，得到乳腺癌组织预测概率分布图。
3.根据权利要求2所述的一种乳腺癌免疫组化人工智能判读方法，其特征在于，所述第二步具体为：
1)采用基于金字塔模型的SIFT快速特征匹配方法，将位于金字塔模型高层分辨率较小的图层进行配准，得到相应的配准参数；
2)利用已经得到的配准参数，将其应用到位于金字塔模型底层的图像，完成对HE显微组织病理数字全景图和IHC显微组织病理数字全景图中的每一个图片块的一一配对过程。
4.根据权利要求3所述的一种乳腺癌免疫组化人工智能判读方法，其特征在于，所述第三步具体为：
1)在完成HE和IHC显微组织病理数字全景图之间的特征匹配之后，获取IHC显微组织病理数字全景图对应于AI识别生成的热力图中的癌组织区域，该区域为需要进行统计核阳性率的癌组织区域；
2)通过热力图一一对应得到IHC显微组织病理数字全景图中全部需要进行核阳性率统计的图片块；
3)对上述需要进行核阳性率统计的图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计；
4)分别对全部的图片块中的核阳性细胞数和非核阳性细胞数进行统计；
5)设定需要统计的癌组织图片块总共为N块，任意一个癌组织图片块中统计得到的核阳性细胞数和非核阳性分别为S1，i和S2，i，其中i＝1，2，3...，N,则最终通过下述公式计算得到的核阳性率为：
Figure FDA0002938738060000021
5.根据权利要求4所述的一种乳腺癌免疫组化人工智能判读方法，其特征在于，对所述图片块进行癌细胞中的核阳性细胞数和非核阳性细胞数进行统计的方法如下：
1)将经识别配准之后得到的IHC中对应的癌组织图片块，利用颜色解卷积的方法，进行染色通道分离和颜色归一化处理；
2)利用分水岭算法，对经预处理之后的图片块进行分割，分离得到癌组织前景和背景区域；
3)通过自动阈值分割和图像膨胀腐蚀操作后，找到每个细胞核的轮廓；
4)根据图像的颜色和形状，区分得到核阳性细胞核和非核阳性细胞核；
5)分别统计得到核阳性细胞数和非核阳性细胞数。
6.根据权利要求3所述的一种乳腺癌免疫组化人工智能判读方法，其特征在于，所述配准参数包括旋转角度、缩放比例和平移量。
CN202110170428.0A 2021-02-08 2021-02-08 一种乳腺癌免疫组化人工智能判读方法 Withdrawn CN113011257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170428.0A CN113011257A (zh) 2021-02-08 2021-02-08 一种乳腺癌免疫组化人工智能判读方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170428.0A CN113011257A (zh) 2021-02-08 2021-02-08 一种乳腺癌免疫组化人工智能判读方法

Publications (1)

Publication Number Publication Date
CN113011257A true CN113011257A (zh) 2021-06-22

Family

ID=76385172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170428.0A Withdrawn CN113011257A (zh) 2021-02-08 2021-02-08 一种乳腺癌免疫组化人工智能判读方法

Country Status (1)

Country Link
CN (1) CN113011257A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591919A (zh) * 2021-06-29 2021-11-02 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN116973571A (zh) * 2023-07-28 2023-10-31 上海市闵行区中心医院 基于深度学习的胃肠癌细胞智能检测方法、系统、介质及设备
WO2024011400A1 (zh) * 2022-07-12 2024-01-18 福州迈新生物技术开发有限公司 生成用于计算浸润性乳腺癌细胞Ki-67计数的训练数据的方法、存储设备和试剂盒

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591919A (zh) * 2021-06-29 2021-11-02 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN113591919B (zh) * 2021-06-29 2023-07-21 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
WO2024011400A1 (zh) * 2022-07-12 2024-01-18 福州迈新生物技术开发有限公司 生成用于计算浸润性乳腺癌细胞Ki-67计数的训练数据的方法、存储设备和试剂盒
CN116973571A (zh) * 2023-07-28 2023-10-31 上海市闵行区中心医院 基于深度学习的胃肠癌细胞智能检测方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
US11030744B2 (en) Deep learning method for tumor cell scoring on cancer biopsies
Saha et al. Her2Net: A deep framework for semantic segmentation and classification of cell membranes and nuclei in breast cancer evaluation
US8712142B2 (en) Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading
Veta et al. Breast cancer histopathology image analysis: A review
CN113011257A (zh) 一种乳腺癌免疫组化人工智能判读方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN110929789A (zh) 基于多期ct影像分析的肝肿瘤自动分类方法及装置
US20220351379A1 (en) Non-tumor segmentation to support tumor detection and analysis
US20220351860A1 (en) Federated learning system for training machine learning algorithms and maintaining patient privacy
US20220180518A1 (en) Improved histopathology classification through machine self-learning of "tissue fingerprints"
CN109740626A (zh) 基于深度学习的乳腺癌病理切片中癌症区域的检测方法
Zafar et al. Detection of tumour infiltrating lymphocytes in CD3 and CD8 stained histopathological images using a two-phase deep CNN
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Ström et al. Pathologist-level grading of prostate biopsies with artificial intelligence
CN112990214A (zh) 一种医学图像特征识别预测模型
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
Nguyen et al. An effective deep learning architecture combination for tissue microarray spots classification of h&e stained colorectal images
Pradhan et al. Data Fusion of Histological and Immunohistochemical Image Data for Breast Cancer Diagnostics using Transfer Learning.
CN116630680B (zh) 一种x线摄影联合超声的双模态影像分类方法及系统
Razavi et al. An automated and accurate methodology to assess ki-67 labeling index of immunohistochemical staining images of breast cancer tissues
Li et al. Computer-aided detection breast cancer in whole slide image
CN113222928B (zh) 一种尿细胞学人工智能尿路上皮癌识别系统
CN115690056A (zh) 基于her2基因检测的胃癌病理图像分类方法及系统
Kuo et al. Automated assessment in HER-2/neu immunohistochemical expression of breast cancer
CN115101150A (zh) 一种普外科临床用肿瘤手术的标本收集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210622

WW01 Invention patent application withdrawn after publication