CN113689950B - 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 - Google Patents

肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 Download PDF

Info

Publication number
CN113689950B
CN113689950B CN202110793757.0A CN202110793757A CN113689950B CN 113689950 B CN113689950 B CN 113689950B CN 202110793757 A CN202110793757 A CN 202110793757A CN 113689950 B CN113689950 B CN 113689950B
Authority
CN
China
Prior art keywords
liver cancer
tumor
neural network
blood vessel
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110793757.0A
Other languages
English (en)
Other versions
CN113689950A (zh
Inventor
刘再毅
杨尚青
居胜红
孟祥盼
赵可
梁长虹
潘细朋
彭嘉铭
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital
Original Assignee
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital filed Critical Guangdong General Hospital
Priority to CN202110793757.0A priority Critical patent/CN113689950B/zh
Publication of CN113689950A publication Critical patent/CN113689950A/zh
Application granted granted Critical
Publication of CN113689950B publication Critical patent/CN113689950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了肝癌IHC染色图的血管分布模式的识别方法、系统和存储介质，包括下述步骤：获取肝癌IHC染色图；划定感兴趣区域，并划分为不同的血管分布模式；根据划分结果，切分出带血管类别标签的数据集，并用于卷积神经网络分类器的训练和验证；用训练好的卷积神经网络分类器对肝癌IHC染色图中的不同血管分布模式进行分类并生成概率分布热力图；使用颜色反卷积提取血管壁区域并计算血管壁占肿瘤面积比。本发明通过识别肝癌肿瘤内部的不同血管分布模式，用概率分布热力图的形式展现出来，同时还量化出血管壁占肿瘤面积比这一预后因子，有利于研究肝癌的肿瘤内部不同血管形态与患者存活率和复发率之间的关系，辅助临床医生对肝癌患者进行诊断和治疗。

Description

肝癌IHC染色图的血管分布模式的识别方法、系统和存储介质
技术领域
本发明属于数字病理学和深度学习的技术领域，具体涉及一种肝癌IHC染色图的血管分布模式识别方法、系统和存储介质。
背景技术
肝细胞癌HCC是世界上最常见的恶性肿瘤之一，是全球死亡数第二高的癌症，而早期转移是导致肝细胞癌高复发率和高死亡率的重要原因。近年的研究新发现了一种普遍存在于肝细胞癌症肿瘤中的血管分布模式，即肿瘤包绕型血管VETC。VETC这一结构会使包裹在内皮中的整个肿瘤簇可以直接释放到血流中，从而大大增加肿瘤发生转移的概率。VETC的出现预示着肝细胞癌更高的转移和复发率，研究表明VETC可作为存活率和复发率的独立预测因子。因此，识别VETC在肿瘤内部的存在情况与分布模式具有重大的临床意义，有助于对肝癌患者进行更加可靠的预后分析。
然而，VETC作为一种癌症组织的形态学特征，其在肿瘤中的分布情况需要人工地对肝癌免疫组化IHC染色图进行全面评估才有可能得到。这一过程既耗费时间和人力，同时得到的评估结果也往往具有主观性强、全面性差的问题。
目前，人工智能技术特别是深度学习技术已经在生物医学图像处理领域取得大量成果。然而，还没有公开的方法致力于解决血管分布模式如VETC的识别问题。使用深度学习的方法构建模型来识别VETC，这能够帮助医生对肿瘤内部不同组织结构的空间异质性进行分析，能够辅助临床医生更好地判断患者体内肝细胞癌的易转移性，从而有助于对肝癌患者进行预后分析，制定更加合适的治疗方案。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种肝癌IHC染色图的血管分布模式的识别方法、系统和存储介质。利用数字病理学和深度学习的分类算法，可实现自动地从肝癌IHC染色图中识别肿瘤内存在的不同血管分布模式，并生成不同血管分布模式的概率分布热力图，直观地展示肿瘤内部组织结构的空间分布情况。
为了达到上述目的，本发明采用以下技术方案:
本发明一方面提供了一种肝癌IHC染色图的血管分布模式的识别方法，包括下述步骤：
收集肝癌患者癌变区域组织的病理切片图像，染色处理得到肝癌IHC染色病理切片，再对所述肝癌IHC染色病理切片进行数字化得到肝癌IHC染色图；
在所述肝癌IHC染色图中划定感兴趣区域，并将所述感兴趣区域划分为不同的血管分布模式，得到数据集，其中，所述的不同的血管分布模式包括肿瘤包绕型血管、肿瘤毛细血管和正常组织；
根据所述数据集，切分出训练集和测试集，对所述训练集进行数据增强处理，另从所述训练集中划分出验证集，其中，所述训练集用于训练卷积神经网络分类器，所述验证集用于内部验证卷积神经网络分类器的分类性能，所述测试集用于进一步外部测试卷积神经网络分类器的分类性能；
使用所述训练集训练卷积神经网络分类器，并使用所述验证集对卷积神经网络分类器的性能进行内部验证，然后在所述测试集上对卷积神经网络分类器的性能进行最终验证，得到训练好的卷积神经网络分类器；
使用所述训练好的卷积神经网络分类器对所述肝癌IHC染色图中不同的血管分类模式进行分类，并将分类结果汇集成RGB颜色空间下的概率分布热力图；
使用颜色反卷积算法提取血管壁区域求得血管壁面积，根据所述分类结果求得肿瘤区域面积，通过计算得到血管壁占肿瘤面积比。
作为优选的技术方案，所述肝癌IHC染色图是依照免疫组织化学原理使用染色剂对血管壁细胞表面的一种名为CD34的蛋白进行抗原抗体匹配染色所得。
作为优选的技术方案，所述感兴趣区域划分为不同的血管分布模式，得到数据集，具体为：将所述感兴趣区域通过无重叠地切分为一系列的子图像块得到，并且根据划分结果，为每个子图像块添加一个标签，得到数据集，所述标签为肿瘤包绕型血管、肿瘤毛细血管和正常组织中的一种，所述子图像块的大小设定为10x倍率下的相应像素。
作为优选的技术方案，所述训练集和验证集来自相同病人的肝癌IHC染色图并使用十折交叉验证的方法进行划分，所述测试集来自于与所述训练集和验证集不同的病人的肝癌IHC染色图，其中所述十折交叉验证的步骤具体为：
1)将从同一病人的肝癌IHC染色图中得到的一系列图像块随机、等量地划分为十组；
2)选取十组中的一组作为验证集，剩余的九组合并后作为训练集，其中，所述训练集用来训练卷积神经网络分类器，所述验证集用来对卷积神经网络分类器的效果进行内部验证；
3)重复执行上述2)，每次选用不同的组作为验证集，并重复十次；
4)选择十次实验中内部验证的结果来调整卷积神经网络分类器模型的超参数，使得分类器在验证集上的效果尽可能好；
5)针对经过合适调整的卷积神经网络分类器，使用十折交叉验证中所用到的全部数据集来重新进行一次训练，得到最优的卷积神经网络分类器；
6)在独立于训练集和验证集的测试集中，评估检验所得到的最优卷积神经网络分类器的性能好坏。
作为优选的技术方案，所述使用所述训练集训练所述卷积神经网络分类器，具体为：使用机器学习技术领域的深度学习模型构建卷积神经网络分类器，采用在大型公共图像数据库ImageNet上进行过预训练的卷积神经网络VGG16作为初始模型，设置训练方案和超参数，随后使用所述训练集对初始模型进行训练，训练时卷积神经网络的每一层的权重都被设置为可更新的。
作为优选的技术方案，对所述肝癌IHC染色图进行滑动窗口操作，利用所述训练好的卷积神经网络分类器对每个滑动窗口区域进行分类，最后汇集分类结果得到不同血管分布模式在肝癌IHC染色图上的概率分布热力图，具体步骤为：
1)通过数字图像处理方法技术，在1x倍率下对所述肝癌IHC染色图像依次进行降采样、灰度化、高斯模糊、阈值分割、形态学闭操作、孔洞填充操作，从而生成肝癌IHC染色图有组织区域的掩模；
2)将1x倍率下的掩模放大10倍以匹配肝癌IHC染色图大小，在有组织区域即掩模的有效区域中，通过滑动窗口操作，每次在肝癌IHC染色图中截取相应像素大小的正方形图像块，其中，所述滑动窗口采用非重叠滑窗，即滑动窗口的步长像素等于图像块边长像素；
3)将所述图像块送入所述训练好的卷积神经网络分类器中，对每个图像块输出一个所属血管分布模式的概率分布结果；
4)将所述概率分布结果，与所述肝癌IHC染色图空间位置相对应地汇集成概率分布热力图，对于某一图像块，若卷积神经网络分类器输出的概率分布结果中正常组织的概率大于0.5，则将概率分布热力图对应位置填涂为RGB颜色通道下的颜色A，反之则根据卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管和肿瘤毛细血管的概率，将对应位置填涂为RGB颜色通道下的颜色B，其中A与B的值如下：
A＝[255,0,0]
Figure BDA0003162016690000051
其中，PVETC指卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管的概率值，PCLV指卷积神经网络分类器输出的概率分布结果中肿瘤毛细血管的概率值。
作为优选的技术方案，所述计算血管壁与肿瘤面积比的具体步骤为：
1)在所述肝癌IHC染色图中的10x倍率下使用非重叠滑动窗口操作，每次截取相应像素大小的正方形图像块，并将图像块送入所述训练好的卷积神经网络分类器中，判断是否是肿瘤包绕型血管结构或肿瘤毛细血管结构，是则认为该图像块属于肿瘤区域并将其保存；
2)对保存好的所有肿瘤区域的图像块依次应用颜色反卷积算法提取其中的血管壁组织，其中，应用所述颜色反卷积算法时，将OD矩阵设置为H&DAB染色空间，具体取值为：
MODx＝[0.650，0.268，0]；
MODy＝[0.704，0.570，0]；
MODz＝[0.286，0.776，0]；
取DAB通道的输出即为血管壁组织；
3)通过对所有肿瘤区域的图像块应用阈值分割获得血管壁组织的区域掩模，将区域掩模像素点求和得到血管壁组织的面积值；
4)通过下述公式计算血管壁占肿瘤区域面积比：
Figure BDA0003162016690000061
其中，RatioVT为血管壁占肿瘤区域面积比，Vesseli为单个图像块中血管壁组织的面积，PatchSize为单个图像块的大小，取值为设定大小图像块的边长像素，n为属于肿瘤区域的图像块的总数。
本发明另一方面还提供了一种肝癌IHC染色图的血管分布模式的识别系统，应用于所述肝癌IHC染色图的血管分布模式的识别方法，包括数字化接受模块、图像预处理模块、分类器训练模块、张量运算加速模块、计算输出模块、后处理及显示模块；
所述数字化接收模块，用于接收所述肝癌IHC染色病理切片并进行数字化得到肝癌IHC染色图；
所述图像预处理模块，用于在肝癌IHC染色图上提取出有组织区域，并在有组织区域中划定感兴趣区域，划分不同的血管分布模式，得到数据集，切分出训练集和测试集，对所述训练集进行数据增强，再从训练集中划分出验证集；
所述分类器训练模块，以卷积神经网络VGG16模型为初始模型，使用所述图像预处理模块中得到的训练集进行训练，得到训练好的卷积神经网络分类器；
所述张量运算加速模块，通过硬件支持，使用cuda并行计算架构，依靠显卡加速张量的运算，帮助整套系统实现超高性能运作；
所述计算输出模块，对肝癌IHC染色图进行滑动窗口操作，并通过所述训练好的卷积神经网络分类器对每个滑动窗口区域分类并得到概率分布结果，并汇集所述概率分布结果输出成概率分布热力图；使用所述训练好的卷积神经网络分类器判断肿瘤区域，并利用颜色反卷积算法提取血管壁组织的面积值，计算输出血管壁占肿瘤区域面积比；
所述后处理及显示模块，将所述概率分布热力图和所述血管壁占肿瘤面积比进行可视化处理，并将最终结果输出于显示设备上或通过打印设备将其打印。
本发明又一方面提供了一种计算机可读存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现所述的肝癌IHC染色图的血管分布模式的识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
目前临床常规工作对肝癌IHC染色图的信息提取不够彻底，缺乏对肿瘤内部不同组织结构的空间异质性的分析，VETC作为肝细胞癌内部普遍存在的一种血管分布模式，对癌细胞的转移具有重大的促进作用，可作为存活率和复发率的独立预测因子。因此本专利提出一种肝癌IHC染色图的血管分布模式的识别方法，使用深度学习的方法构建模型来帮助识别VETC在肿瘤内部的存在情况与分布模式，并进行直观定性展示和客观定量衡量，帮助医生对肿瘤内部不同组织结构的空间异质性进行分析，能够辅助临床医生更好地判断患者体内肝细胞癌的易转移性，从而有助于对肝癌患者进行预后分析，制定更加合适的治疗方案，有重大的临床意义。
附图说明
图1为本发明实施例肝癌IHC染色图的血管分布模式的识别方法的流程图；
图2为肝癌IHC染色图切分为图像块并添加标签示意图；
图3为通过数字图像处理方法生成有组织区域掩模过程示意图；
图4为使用滑动窗口在有组织区域提取有效图像块的示意图；
图5为概率分布热力图生成结果的示意图；
图6为颜色反卷积提取血管壁区域结果的示意图；
图7为本发明实施例肝癌IHC染色图的血管分布模式的识别系统的结构示意图；
图8为本发明实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请中的实施例及附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1所示，本实施例为肝癌IHC染色图的血管分布模式的识别方法，包括下述步骤：
首先，收集肝癌患者癌变区域组织的病理切片图像，染色处理得到肝癌IHC染色病理切片，再对所述肝癌IHC染色病理切片进行数字化得到肝癌IHC染色图，本实施例采用的染色处理是依照免疫组织化学原理，使用DAB染色剂对血管壁细胞表面的一种名为CD34的蛋白进行抗原抗体匹配染色。
进一步的，如图2所示，在肝癌IHC染色图中划定感兴趣区域，并将所述感兴趣区划分为不同的血管分布模式，这一划分结果会作为为数据集添加标签的依据以及衡量卷积神经网络分类器效果的标准，其中，所述的不同血管分布模式包括肿瘤包绕型血管、肿瘤毛细血管和正常组织。
进一步的，通过将所述感兴趣区域切分为一系列大小设定为224*224像素的图像块，并且根据上述的划分结果，为每个图像块添加一个标签，标签为肿瘤包绕型血管、肿瘤毛细血管和正常组织中的一个，至此带有标签的数据集得以制作完成。
进一步的，根据得到的数据集，切分为训练集和测试集，再从训练集中划分出验证集，其中，所述训练集用于训练卷积神经网络分类器，所述验证集用于内部验证卷积神经网络分类器的分类性能，所述测试集用于近一步外部测试卷积神经网络分类器的分类性能；
进一步的，为了达到数据增强进而提高网络泛化性的目的，将已得到的训练集中的每一张图像块，以顺时针进行三次旋转几何变换，旋转角度依次为90度、180度、270度，将旋转后的结果添加到训练集中，使得训练集的数据量增加为原来的4倍。
进一步的，所述从训练集中划分出验证集所遵循的规则为：所述训练集和验证集来自相同病人的肝癌IHC染色图并使用十折交叉验证的方法进行划分，所述测试集来自于与所述训练集和验证集不同的病人的肝癌IHC染色图，另外为保证卷积神经网络分类器的正常收敛，要将训练集中三种不同标签的样本数量加以平衡，以其中可获得样本数最少的那一类样本的数量为基准，对剩余两类以随机抽样的方式进行欠采样，挑选数量相近的样本；所述十折交叉验证，首先将从同一病人的肝癌IHC染色图中得到的一系列图像块随机、等量地划分为十组，然后选取十组中的一组作为验证集，剩余的九组合并后作为训练集，其中，所述训练集用来训练卷积神经网络分类器，所述验证集用来对卷积神经网络分类器的效果进行内部验证，重复执行，每次选用不同的组作为验证集，并重复十次，接着选择十次实验中内部验证的结果来调整卷积神经网络分类器模型的超参数，使得分类器在验证集上的效果尽可能好，针对经过合适调整的卷积神经网络分类器，使用十折交叉验证中所用到的全部数据集来重新进行一次训练，得到最优的卷积神经网络分类器，最后在独立于训练集和验证集的测试集中，评估检验所得到的最优卷积神经网络分类器的性能好坏。
进一步的，使用机器学习技术领域的深度学习模型构建卷积神经网络分类器，采用在大型公共图像数据库ImageNet上进行过预训练的卷积神级网络VGG16作为初始模型，选择的训练方案和超参数设置具体为：
1)使用Adam算法作为更新模型参数时的优化函数；
2)使用小批量梯度下降法MBGD作为训练方案；
3)将超参数mini-batch(batch-size)大小设置为64；
4)epoch的大小设置为16；
5)前8个epoch的学习率设置为1.0E-04、后8个epoch的学习率设置为1.0E-05；
6)使用交叉熵计算损失函数；
7)使用L2正则化以及drop-out训练策略来增强网络的泛化性；
随后使用所述的训练集对初始模型进行训练，训练时卷积神经网络的每一层的权重都被设置为可更新的。
进一步的，为了得到不同血管分布模式在肝癌IHC染色图上的概率分布热力图，首先通过数字图像处理方法技术，对在1x倍率下对肝癌IHC染色图依次进行降采样、灰度化、高斯模糊、阈值分割、形态学闭操作、孔洞填充等一系列操作，生成肝癌IHC染色图有组织区域的掩模，如图3所示。
进一步的，如图4所示，将1x倍率下的掩模放大10倍以匹配肝癌IHC染色图大小，通过非重叠滑动窗口操作在掩模的有效区域中以224像素的步长依次滑动，每次在肝癌IHC染色图中截取224*224像素大小的图像块，并将得到的图像块送入训练好的卷积神经网络分类器中，对每个图像块输出一个所属血管分布模式的概率分布结果。
进一步的，将输出的概率分布结果与肝癌IHC染色图空间位置相对应地汇集成概率分布热力图。对于某一图像块，若卷积神经网络分类器输出的概率分布结果中正常组织的概率大于0.5，则将概率分布热力图对应位置填涂为RGB颜色通道下的颜色A，反之则根据分类器输出的概率分布结果中肿瘤包绕型血管和肿瘤毛细血管的概率，将该位置填涂为RGB颜色通道下的颜色B，其中A与B的值如下：
A＝[255,0,0]
Figure BDA0003162016690000111
其中，PVETC指卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管的概率值，PCLV指卷积神经网络分类器输出的概率分布结果中肿瘤毛细血管的概率值，生成的概率分布热力图结果如图5所示。
进一步的，将10x倍率下的肝癌IHC染色图中，使用非重叠滑动窗口操作，每次截取224*224像素大小的图像块，并将图像块送入训练好的卷积神经网络分类器中，判断是否是肿瘤包绕型血管结构或肿瘤毛细血管结构，是则认为该图像块属于肿瘤区域并将其保存，对保存好的所有肿瘤区域的图像块依次应用颜色反卷积算法提取其中的血管壁组织，并将OD矩阵设置为H&DAB染色空间，具体取值为：
MODx＝[0.650，0.268，0]；
MODy＝[0.704，0.570，0]；
MODz＝[0.286，0.776，0]；
从输出结果的DAB通道中取得提取的血管壁组织，提取结果如图6所示，并对所有肿瘤区域的图像块应用阈值分割获得血管壁组织的区域掩膜，将区域掩膜像素点求和得到血管壁组织的面积值；
最后，用下列公式计算血管壁占肿瘤区域面积比：
Figure BDA0003162016690000121
其中，RatioVT为血管壁占肿瘤区域面积比，Vesseli为单个图像块中血管壁组织的面积，PatchSize为单个图像块的大小，取值为224，n为属于肿瘤区域的图像块的总数。
如图7所示，在另一个实施例中，提供了肝癌IHC染色图的血管分布模式的识别系统，该系统包括数字化接受模块、图像预处理模块、分类器训练模块、张量运算加速模块、计算输出模块、后处理及显示模块；
所述数字化接收模块，用于接收肝癌IHC染色病理切片并进行数字化得到肝癌IHC染色图；
所述图像预处理模块，用于在肝癌IHC染色图上提取出有组织区域，并在有组织区域中划定感兴趣区域，划分不同的血管分布模式，得到数据集，切分出训练集和测试集，对所述训练集进行数据增强，再从训练集中划分出验证集；
所述分类器训练模块，以卷积神经网络VGG16模型为初始模型，使用所述图像预处理模块中得到的训练集进行训练，得到训练好的卷积神经网络分类器；
所述张量运算加速模块，通过硬件支持，使用cuda并行计算架构，依靠显卡加速张量的运算，帮助整套系统实现超高性能运作；
所述计算输出模块，对肝癌IHC染色图进行滑动窗口操作，并通过所述训练好的卷积神经网络分类器对每个滑动窗口区域分类并得到概率分布结果，并汇集所述概率分布结果输出概率分布热力图；使用所述训练好的卷积神经网络分类器判断肿瘤区域，并利用颜色反卷积算法提取血管壁组织的面积值，计算血管壁占肿瘤区域面积比；
所述所处理及显示模块，将所述概率分布热力图和所述血管壁占肿瘤面积比进行可视化处理，并将最终结果输出于显示设备上或通过打印设备将其打印。
在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的肝癌IHC染色图的血管分布模式的识别方法。
如图8所示，在本申请的另一个实施例中，还提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现肝癌IHC染色图的血管分布模式的识别方法，具体为：
接收肝癌IHC染色病理切片并进行数字化得到肝癌IHC染色图；
在肝癌IHC染色图上提取出有组织区域并划定感兴趣区域，划分不同的血管分布模式，得到数据集，切分出训练集和测试集，对训练集进行数据增强，再从训练集中划分出验证集；
以卷积神经网络VGG16模型为初始模型，使用训练集进行训练，得到训练好的卷积神经网络分类器；
通过硬件支持，使用cuda并行计算架构，依靠显卡加速张量的运算，帮助整套系统实现超高性能运作；
对肝癌IHC染色图进行滑动窗口操作并使用训练好的卷积神经网络分类器进行分类得到概率分布结果，输出概率分布热力图；使用训练好的卷积神经网络分类器判断肿瘤区域，并利用非重叠滑动窗口操作和颜色反卷积算法，计算血管壁占肿瘤区域面积比并保存；
将概率分布热力图和血管壁占肿瘤区域面积比进行可视化处理，最终结果输出于显示设备或通过打印设备将其打印。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。
本发明可以利用数字病理学和深度学习的分类算法，实现自动地从肝癌IHC染色图中识别肿瘤内不同的血管分布模式，并生成不同血管分布模式的概率分布热力图，直观地展示肿瘤内部组织结构的空间分布情况，帮助医生对肿瘤内部不同组织结构的空间异质性进行分析，更进一步还能对肿瘤包绕型血管的分布做具体的量化，计算出血管壁占肿瘤面积比这一预后因子，这有利于进一步地研究肝癌的肿瘤内部不同血管形态占比与患者存活率和复发率之间的关系，能够辅助临床医生更好地判断患者体内肝细胞癌的易转移性，从而有助于对肝癌患者进行预后分析。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.肝癌IHC染色图的血管分布模式的识别方法，其特征在于，包括下述步骤：
收集肝癌患者癌变区域组织的病理切片图像，染色处理得到肝癌IHC染色病理切片，再对所述肝癌IHC染色病理切片进行数字化得到肝癌IHC染色图；
在所述肝癌IHC染色图中划定感兴趣区域，并将所述感兴趣区域划分为不同的血管分布模式，得到数据集，其中，所述的不同的血管分布模式包括肿瘤包绕型血管、肿瘤毛细血管和正常组织；
根据所述数据集，切分出训练集和测试集，对所述训练集进行数据增强处理，另从所述训练集中划分出验证集，其中，所述训练集用于训练卷积神经网络分类器，所述验证集用于内部验证卷积神经网络分类器的分类性能，所述测试集用于进一步外部测试卷积神经网络分类器的分类性能；
使用所述训练集训练卷积神经网络分类器，并使用所述验证集对卷积神经网络分类器的性能进行内部验证，然后在所述测试集上对卷积神经网络分类器的性能进行最终验证，得到训练好的卷积神经网络分类器；
使用所述训练好的卷积神经网络分类器对所述肝癌IHC染色图中不同的血管分类模式进行分类，并将分类结果汇集成RGB颜色空间下的概率分布热力图；具体为：
通过数字图像处理方法技术，在1x倍率下对所述肝癌IHC染色图像依次进行降采样、灰度化、高斯模糊、阈值分割、形态学闭操作、孔洞填充操作，从而生成肝癌IHC染色图有组织区域的掩模；
将1x倍率下的掩模放大10倍以匹配肝癌IHC染色图大小，在有组织区域即掩模的有效区域中，通过滑动窗口操作，每次在肝癌IHC染色图中截取相应像素大小的正方形图像块，其中，所述滑动窗口采用非重叠滑窗，即滑动窗口的步长像素等于图像块边长像素；
将所述图像块送入所述训练好的卷积神经网络分类器中，对每个图像块输出一个所属血管分布模式的概率分布结果；
将所述概率分布结果，与所述肝癌IHC染色图空间位置相对应地汇集成概率分布热力图，对于某一图像块，若卷积神经网络分类器输出的概率分布结果中正常组织的概率大于0.5，则将概率分布热力图对应位置填涂为RGB颜色通道下的颜色A，反之则根据卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管和肿瘤毛细血管的概率，将对应位置填涂为RGB颜色通道下的颜色B，其中A与B的值如下：
A＝[255,0,0]
Figure FDA0003633904670000021
其中，PVETC指卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管的概率值，PCLV指卷积神经网络分类器输出的概率分布结果中肿瘤毛细血管的概率值；
使用颜色反卷积算法提取血管壁区域求得血管壁面积，根据所述分类结果求得肿瘤区域面积，通过计算得到血管壁占肿瘤面积比，所述计算得到血管壁占肿瘤面积比的具体步骤为：
在所述肝癌IHC染色图中的10x倍率下使用非重叠滑动窗口操作，每次截取相应像素大小的正方形图像块，并将图像块送入所述训练好的卷积神经网络分类器中，判断是否是肿瘤包绕型血管结构或肿瘤毛细血管结构，是则认为该图像块属于肿瘤区域并将其保存；
对保存好的所有肿瘤区域的图像块依次应用颜色反卷积算法提取其中的血管壁组织，其中，应用所述颜色反卷积算法时，将OD矩阵设置为H&DAB染色空间，具体取值为：
MODx＝[0.650，0.268，0]；
MODy＝[0.704，0.570，0]；
MODz＝[0.286，0.776，0]；
取DAB通道的输出即为血管壁组织；
通过对所有肿瘤区域的图像块应用阈值分割获得血管壁组织的区域掩模，将区域掩模像素点求和得到血管壁组织的面积值；
通过下述公式计算血管壁占肿瘤区域面积比：
Figure FDA0003633904670000031
其中，RatioVT为血管壁占肿瘤区域面积比，Vesseli为单个图像块中血管壁组织的面积，PatchSize为单个图像块的大小，取值为设定大小图像块的边长像素，n为属于肿瘤区域的图像块的总数。
2.根据权利要求1所述肝癌IHC染色图的血管分布模式的识别方法，其特征在于，所述肝癌IHC染色图是依照免疫组织化学原理使用染色剂对血管壁细胞表面的一种名为CD34的蛋白进行抗原抗体匹配染色所得。
3.根据权利要求1所述肝癌IHC染色图的血管分布模式的识别方法，其特征在于，所述感兴趣区域划分为不同的血管分布模式，得到数据集，具体为：将所述感兴趣区域通过无重叠地切分为一系列的子图像块得到，并且根据划分结果，为每个子图像块添加一个标签，得到数据集，所述标签为肿瘤包绕型血管、肿瘤毛细血管和正常组织中的一种，所述子图像块的大小设定为10x倍率下的相应像素。
4.根据权利要求1所述肝癌IHC染色图的血管分布模式的识别方法，其特征在于，所述训练集和验证集来自相同病人的肝癌IHC染色图并使用十折交叉验证的方法进行划分，所述测试集来自于与所述训练集和验证集不同的病人的肝癌IHC染色图，其中所述十折交叉验证的步骤具体为：
1)将从同一病人的肝癌IHC染色图中得到的一系列图像块随机、等量地划分为十组；
2)选取十组中的一组作为验证集，剩余的九组合并后作为训练集，其中，所述训练集用来训练卷积神经网络分类器，所述验证集用来对卷积神经网络分类器的效果进行内部验证；
3)重复执行上述2)，每次选用不同的组作为验证集，并重复十次；
4)选择十次实验中内部验证的结果来调整卷积神经网络分类器模型的超参数，使得分类器在验证集上的效果尽可能好；
5)针对经过合适调整的卷积神经网络分类器，使用十折交叉验证中所用到的全部数据集来重新进行一次训练，得到最优的卷积神经网络分类器；
6)在独立于训练集和验证集的测试集中，评估检验所得到的最优卷积神经网络分类器的性能好坏。
5.根据权利要求1所述肝癌IHC染色图的血管分布模式的识别方法，其特征在于，所述使用所述训练集训练所述卷积神经网络分类器，具体为：使用机器学习技术领域的深度学习模型构建卷积神经网络分类器，采用在大型公共图像数据库ImageNet上进行过预训练的卷积神经网络VGG16作为初始模型，设置训练方案和超参数，随后使用所述训练集对初始模型进行训练，训练时卷积神经网络的每一层的权重都被设置为可更新的。
6.肝癌IHC染色图的血管分布模式的识别系统，其特征在于，应用于权利要求1-5中任一项所述肝癌IHC染色图的血管分布模式的识别方法，包括数字化接收模块、图像预处理模块、分类器训练模块、张量运算加速模块、计算输出模块、后处理及显示模块；
所述数字化接收模块，用于接收所述肝癌IHC染色病理切片并进行数字化得到肝癌IHC染色图；
所述图像预处理模块，用于在肝癌IHC染色图上提取出有组织区域，并在有组织区域中划定感兴趣区域，划分不同的血管分布模式，得到数据集，切分出训练集和测试集，对所述训练集进行数据增强，再从训练集中划分出验证集；
所述分类器训练模块，以卷积神经网络VGG16模型为初始模型，使用所述图像预处理模块中得到的训练集进行训练，得到训练好的卷积神经网络分类器；
所述张量运算加速模块，通过硬件支持，使用cuda并行计算架构，依靠显卡加速张量的运算，帮助整套系统实现超高性能运作；
所述计算输出模块，对肝癌IHC染色图进行滑动窗口操作，并通过所述训练好的卷积神经网络分类器对每个滑动窗口区域分类并得到概率分布结果，并汇集所述概率分布结果输出成概率分布热力图；使用所述训练好的卷积神经网络分类器判断肿瘤区域，并利用颜色反卷积算法提取血管壁组织的面积值，计算输出血管壁占肿瘤区域面积比；
所述输出概率分布热力图具体为：
通过数字图像处理方法技术，在1x倍率下对所述肝癌IHC染色图像依次进行降采样、灰度化、高斯模糊、阈值分割、形态学闭操作、孔洞填充操作，从而生成肝癌IHC染色图有组织区域的掩模；
将1x倍率下的掩模放大10倍以匹配肝癌IHC染色图大小，在有组织区域即掩模的有效区域中，通过滑动窗口操作，每次在肝癌IHC染色图中截取相应像素大小的正方形图像块，其中，所述滑动窗口采用非重叠滑窗，即滑动窗口的步长像素等于图像块边长像素；
将所述图像块送入所述训练好的卷积神经网络分类器中，对每个图像块输出一个所属血管分布模式的概率分布结果；
将所述概率分布结果，与所述肝癌IHC染色图空间位置相对应地汇集成概率分布热力图，对于某一图像块，若卷积神经网络分类器输出的概率分布结果中正常组织的概率大于0.5，则将概率分布热力图对应位置填涂为RGB颜色通道下的颜色A，反之则根据卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管和肿瘤毛细血管的概率，将对应位置填涂为RGB颜色通道下的颜色B，其中A与B的值如下：
A＝[255,0,0]
Figure FDA0003633904670000051
其中，PVETC指卷积神经网络分类器输出的概率分布结果中肿瘤包绕型血管的概率值，PCLV指卷积神经网络分类器输出的概率分布结果中肿瘤毛细血管的概率值；
所述计算得到血管壁占肿瘤面积比的具体步骤为：
在所述肝癌IHC染色图中的10x倍率下使用非重叠滑动窗口操作，每次截取相应像素大小的正方形图像块，并将图像块送入所述训练好的卷积神经网络分类器中，判断是否是肿瘤包绕型血管结构或肿瘤毛细血管结构，是则认为该图像块属于肿瘤区域并将其保存；
对保存好的所有肿瘤区域的图像块依次应用颜色反卷积算法提取其中的血管壁组织，其中，应用所述颜色反卷积算法时，将OD矩阵设置为H&DAB染色空间，具体取值为：
MODx＝[0.650，0.268，0]；
MODy＝[0.704，0.570，0]；
MODz＝[0.286，0.776，0]；
取DAB通道的输出即为血管壁组织；
通过对所有肿瘤区域的图像块应用阈值分割获得血管壁组织的区域掩模，将区域掩模像素点求和得到血管壁组织的面积值；
通过下述公式计算血管壁占肿瘤区域面积比：
Figure FDA0003633904670000061
其中，RatioVT为血管壁占肿瘤区域面积比，Vesseli为单个图像块中血管壁组织的面积，PatchSize为单个图像块的大小，取值为设定大小图像块的边长像素，n为属于肿瘤区域的图像块的总数；
所述后处理及显示模块，将所述概率分布热力图和所述血管壁占肿瘤面积比进行可视化处理，并将最终结果输出于显示设备上或通过打印设备将其打印。
7.一种计算机可读存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-5任一项所述的肝癌IHC染色图的血管分布模式的识别方法。
CN202110793757.0A 2021-07-14 2021-07-14 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 Active CN113689950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793757.0A CN113689950B (zh) 2021-07-14 2021-07-14 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793757.0A CN113689950B (zh) 2021-07-14 2021-07-14 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113689950A CN113689950A (zh) 2021-11-23
CN113689950B true CN113689950B (zh) 2022-07-05

Family

ID=78576990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793757.0A Active CN113689950B (zh) 2021-07-14 2021-07-14 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113689950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116230214B (zh) * 2023-05-08 2023-08-01 浙江大学滨江研究院 Hcc及vetc辅助诊断装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492711A (zh) * 2018-12-07 2019-03-19 杭州电子科技大学 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法
CN110390678A (zh) * 2019-06-14 2019-10-29 广东省人民医院(广东省医学科学院) 一种结直肠癌ihc染色图像的组织类型分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492711A (zh) * 2018-12-07 2019-03-19 杭州电子科技大学 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法
CN110390678A (zh) * 2019-06-14 2019-10-29 广东省人民医院(广东省医学科学院) 一种结直肠癌ihc染色图像的组织类型分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的肿瘤细胞图像的识别研究;朱泽钦;《中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑》;20200715(第07期);第E072-23页 *

Also Published As

Publication number Publication date
CN113689950A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
Ahmad et al. Classification of breast cancer histology images using transfer learning
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN109300136B (zh) 一种基于卷积神经网络的危及器官自动分割方法
CN111462042A (zh) 癌症预后分析方法及系统
JP2023544466A (ja) Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置
Nateghi et al. A deep learning approach for mitosis detection: application in tumor proliferation prediction from whole slide images
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
Ikromjanov et al. Whole slide image analysis and detection of prostate cancer using vision transformers
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN112990214A (zh) 一种医学图像特征识别预测模型
Li et al. [Retracted] Automated Diagnosis and Localization of Melanoma from Skin Histopathology Slides Using Deep Learning: A Multicenter Study
Zhang et al. Automatic detection of invasive ductal carcinoma based on the fusion of multi-scale residual convolutional neural network and SVM
Phillips et al. Segmentation of prognostic tissue structures in cutaneous melanoma using whole slide images
Beevi et al. Detection of mitotic nuclei in breast histopathology images using localized ACM and Random Kitchen Sink based classifier
Aslam et al. Liver-tumor detection using CNN ResUNet
Cao et al. Automatic segmentation of pathological glomerular basement membrane in transmission electron microscopy images with random forest stacks
CN113689950B (zh) 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质
CN110390678B (zh) 一种结直肠癌ihc染色图像的组织类型分割方法
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN112508860B (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
Alzubaidi et al. Multi-class breast cancer classification by a novel two-branch deep convolutional neural network architecture
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant