CN112990214A - 一种医学图像特征识别预测模型 - Google Patents

一种医学图像特征识别预测模型 Download PDF

Info

Publication number
CN112990214A
CN112990214A CN202110195183.7A CN202110195183A CN112990214A CN 112990214 A CN112990214 A CN 112990214A CN 202110195183 A CN202110195183 A CN 202110195183A CN 112990214 A CN112990214 A CN 112990214A
Authority
CN
China
Prior art keywords
image
network
segmentation
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110195183.7A
Other languages
English (en)
Inventor
徐军
谢嘉伟
闫朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110195183.7A priority Critical patent/CN112990214A/zh
Publication of CN112990214A publication Critical patent/CN112990214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

本发明公开了一种医学图像特征识别预测模型，步骤如下：构建基于深度卷积神经网络的多组织分割模型，从样本库中获取数据并提取图像特征，通过基于金字塔上采样获得图像分割结果，将不同组织区域之间分割开；构建基于深度卷积神经网络的细胞检测模型，首先放大倍数进行取块，然后对取出来的小块的图像进行标准化；送入到回归检测模块中去对每一个小块中的图像进行检测，然后对检测出来的细胞级联深度分类网络来得到感兴趣目标；构建可视化亚视觉模块，使用特征选择方法与交叉验证结合的方法对所有不同组织区域与感兴趣对象中的特征进行选择最具有预测能力的特征。本发明对病理图像进行多组织分割并对细胞精确识别，通过亚视觉特征辅助医生阅片。

Description

一种医学图像特征识别预测模型
技术领域
本发明属于图像识别技术领域，具体涉及一种医学图像特征识别预测模型。
背景技术
在过去的十多年里，随着人民日益增长的物质生活水平以及日渐加速的生活节奏，恶性 肿瘤在人群中的发生率呈逐年增高的趋势。传统的癌症诊断与分析的方法通常依赖于病理科 医生对癌症病理图像样本中的几个指标进行人工测定与定性，这些指标包括了肿瘤的分期、 腺癌的腺体分化等级以及一些基于免疫组化的分子标志物如针对乳腺癌患者的雌激素受体、 HER2以及针对前列腺癌的特异性抗原CaP等。根据具有多年医学经验的医生发现，在传统的 医学诊断分析过程中存在着以下几个关键问题，首先传统的病理学诊断依靠的是肉眼以及光 学显微镜，这里不可避免的存在着较大主、客观偏差。该偏差产生的原因主要来自于三个方 面，一是病理科医生自身存在的经验方面的差异，二是医生在阅片过程中会存在视觉疲劳， 三是成像设备、环境光等因素的影响。其次，传统病理学诊断的过程中，虽然经验丰富的医 生能较为客观地参考病理切片图像中的各种指标参数从而制定治疗策略。但是，这种基于病 理指南的诊断过程非常依赖医生对理论知识的融会贯通和阅片过程中所积累的经验。考虑到 当前地区间发展不均衡的状况，优秀的医疗资源同样也有着较大的分布差异，较为优异的医 生和技师往往都处于东南部发达地区。因此，诸般限制导致了临床医生在对患者的肿瘤进行 评估上存在着较大的困难。
肝内胆管癌(Intrahepatic Cholangiocarcinoma，ICC)是一种起源自肝内胆管上皮细胞的一 种相对少见的恶性肿瘤(约占消化系统恶性肿瘤的3％)，与之相对应的还有发生在肝门部的 肝门部胆管癌和围肝门部之外的肝外胆管癌也称远端胆管癌肝内胆管癌作为以一种相对少见 的恶性肿瘤，近些年来其发病率有着逐年增高的趋势。其中ICC的大体分型大致分为肿块性， 管内生长型，管周浸润型三种，其中肿块型占比最多，约占60％-80％。组织病理学显示，ICC 存在着腺癌、腺鳞癌等多种组织细胞类型，其中大多数为腺癌，病理表现为管状或乳头状， 具有丰富的纤维间质组织，并伴有局部钙化。亚洲地区患者潜在的危险因素一般包括乙肝， 原发性硬化性胆管炎，肝吸虫病等。目前常用的ICC分期评价系统如其他常见的消化系统系 统肿瘤相类似，有LCSGJ和AJCC/UICC分期。然而，有许多文献报道出使用TNM分期来对患 者的生存进行分期，并依照分期结果提供治疗方案却并没有显著延长患者的生存期，同时也 有文献指出已经伴有淋巴节转移的情况下进行淋巴清扫，对患者的生存依旧没有产生明显影 响。
针对组织病理图像中复杂的组织微环境，传统的组织分割和细胞检测方法很难实现精确 的识别与定位。由于病理图像自身的数据量十分庞大，对于复杂度较低的传统模型而言，很 容易就会达到性能瓶颈。深度学习作为一种表征学习方法，能够很到地从大量数据中捕获特 定的图像特征模式，恰好可以适用于组织病理图像的情境中去。因此，使用基于深度学习的 语义分割和细胞检测模型对于该数字病理图像处理有着先天的优势。
此外，单纯的对组织和细胞进行识别是不足以支持、辅助临床医生为患者的生存时间以 及生存风险进行定性和定量的，也从而无法为患者制定精准有效的治疗策略。在计算机视觉 领域内，图像的“亚视觉”特征指的是人肉眼无法总结出的一系列特征。病理科医生往往很难 从如此巨大的图像数据(十万亿像素级别)中对各种微小的图像特征进行完整和全面的综合。 利用这类“亚视觉”特征，可以对肿瘤的形态等多种因素进行定量化描述。将特定的临床问题 转化为计算机所能“理解”的计算目标，结合“亚视觉”特征定量描述和基于机器学习的特征工 程，可以对患者疾病的预后问题建模。利用该模型，可以辅助医生探究肿瘤的侵袭性和对患 者的预后判断提供帮助。
发明内容
本发明针对现有技术中的不足，提供一种医学图像特征识别预测模型，基于深度卷积神 经网络的多组织分割框架以及细胞检测技术。同时基于分割和检测的结果，进一步地结合病 理医生的实际经验设计并提取了“亚视觉”特征，并利用设计并提取出来的特征辅助医生对 图像内的风险区域进行量化评估。
为实现上述目的，本发明采用以下技术方案：
一种医学图像特征识别预测模型，包括如下步骤：
构建基于深度卷积神经网络的多组织分割模型，从样本库中获取数据并提取图像特征， 通过金字塔上采样获得图像分割结果，将不同组织区域之间分割开；
构建基于深度卷积神经网络的细胞检测模型，首先放大倍数进行取块，然后对取出来的 小块的图像进行标准化；送入到回归检测模块中去对每一个小块中的图像进行检测，然后对 检测出来的细胞级联深度分类网络来得到感兴趣对象；
构建可视化亚视觉模块，使用特征选择方法与交叉验证结合的方法对所有不同组织区域 与感兴趣对象中的特征进行选择，选择最具有预测能力的特征。
为优化上述技术方案，采取的具体措施还包括：
进一步地，多组织分割模型的图像分割方法包括如下步骤：
1)首先将对图像数据处理，包含颜色归一化、低质量数据筛出；
2)数据分块，将完整的图像数据按照滑动窗的方式分块成小patch，便于深度网络进行 分割计算，同时保证滑动窗有重叠避免边缘预测产生的棋盘效应；
3)将所有的patch按顺序送入深度网络中，获得输出，深度网络架构包括UNet、DeepLabv3+以及SegNet分割网络的结合；
4)其中Unet结构中的跨层连接保证了浅层语义特征和深层细节信息的融合；跨层连接 中的部分卷积模块保证了编、解码模块的特征的一致性；金字塔上采样模块保证了上采样过 程中的感受野同时减少了计算量；
5)网络输出结果为一张与输入等大小的预测图像，各个像素的结果表示了该像素的所属 的组织类别；
6)最后将所有的数据进行拼接完成全图的多组织分割。
进一步地，将不同组织区域之间分割开包括分割肿瘤组织区域、疑似坏死组织区域、肝 脏区域以及其他区域。
进一步地，细胞检测模型的检测方法为：
1)对输入数据进行数据预处理：z-score标准化、H&E图像颜色归一化；
2)将预处理后的输入数据送入一个面向细胞回归检测模块训练好的基于UNet的深度网 络结构的多组织分割模型中去；获得网络的概率输出，利用sigmoid将输出的概率图的值压 缩到0-1；
3)最后利用阈值过滤并去除非感兴趣区域；
4)生成最后的细胞检测框。
进一步地，回归检测模块进行图像检测包括：
1)利用细胞显著性构建数据集并训练基于细胞中心检测模型；
2)用一个编码网络对输入图像进行特征提取；
3)解码网络对特征进行特征到标签空间的映射；
4)对输出的结果做sigmoid，保留高概率的细胞中心位置。
进一步地，图像数据预处理过程如下：
1)对HE图像颜色、明度、饱和度进行色彩归一化；
2)对HE图像数据的RGB颜色通道的值进行z-score归一化到0-1，减少深度网络模型 的计算。
进一步地，亚视觉模块中，对所有不同组织区域与感兴趣对象中的特征进行选择的方法 如下，
在整体训练集中，选择n维特征向量，对选择出来的n维特征向量做m次3折交叉验证， m小于n；其中每一次交叉验证的过程为：
1)随机选2/3的特征数据作为交叉验证的训练集，剩下的1/3为交叉验证测试集；
2)在步骤1)构建的数据集中使用t-test、mRMR结合LDA、SVM线性核与SVM RBF 核、BaggedC4.5四种分类器所构成的8种不同的组合进行训练和测试；
3)在m次实验中，选出步骤2)中性能较好的组合方式以及所选出的具有较好预测力的 三个特征。
进一步地，四种分类器所构成的8种不同的组合为，mRMR+LDA，mRMR+高斯核SVM，mRMR+线性核SVM，mRMR+BaggingC4.5，t-test+LDA，t-test+高斯核SVM，t-test+线性核SVM，t-test+BaggingC4.5。
进一步地，在整体训练集中，选择352维特征向量，对选择出来的352维特征向量做100 次3折交叉验证；352维特征分别为细胞总体分布的Graph特征51维，局部细胞聚类特征26 维，形态学特征25维，间质方向性特征2维，纹理特征240维，成分统计特征2维，淋巴浸润特征2维。
进一步地，使用选择出来的特征对图像中的风险区域的风险进行定量化评估。
本发明的有益效果是：
1.本发明设计了一个新的多组织分割网络，能够适用于大数据量情况下的病例图像的多 组织分割；
2.本发明基于传统的SSAE等细胞检测方法，本发明设计了一套全新的基于深度卷积网 络细胞两步检测流程，有较好的拓展性能，可以应用于多种细胞的检测精确识别；
3.本发明提出了基于计算机图像的“亚视觉”特征提取以及特征选择、分类器的组合框架 可以辅助医生来定量化地评估图像中的风险区域。
4.本发明采用的“亚视觉”特征是可以可视化的，因此，可视化的特征可以辅助病理医 生阅片过程。
附图说明
图1是本发明的多组织分割模型示意图。
图2是本发明的细胞检测模型示意图。
图3是本发明的模型整体示意图。
图4是本发明的可视化展示图像特征示意图。
图5是本发明实施例中对图像中的风险区域的风险进行定量化评估分类性能曲线图。
图6是本发明实施例中在OS和DFS分析下的对图像中的风险区域的风险进行定量化评 估曲线图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
如附图所示，本发明提供了一种医学图像特征识别预测模型，包括如下步骤：
构建基于深度卷积神经网络的多组织分割模型。本发明实施例中提出一个基于肝内胆管 癌数字化组织病理图像和深度学习的多组织分割模型，其整体的流程图网络框架如图1所示。
语义分割模型的构建、训练以及部署测试如图2。早期的深度学习分割模型是基于逐像 素分类的方法，如文献等。该方法的是基于特定像素区域所属的类别可以由周围一个小窗内 的所有像素构成的小块来进行判定的思想。这类利用小窗在图像上滑动结合深度分类模型的 方法称为滑动窗分割模型，对比传统基于支持向量机(SVM)、随机森林(RF)等分类方法 结合传统图像特征的算法而言有着更高的精度。但是，该方法的局限性在于逐像素预测固然 可以获得更好的结果，可对应所产生的计算和存储的冗余量是非常大的(左右相邻的两个像 素的小窗内信息是有近50％是重复的)。如果为了减少计算冗余而加大滑动窗的步长却会极大 地丧失图像的预测精度(物体边界不清)。此外，滑窗的大小与预测精度之间也存在着同样的 制约关系。
本发明实施例采用的网络结构整体如U-Net类似的编码解码结构。骨架网络(编码部分) 是可以随意选择，其核心目的在于对图像特征的提取，而解码部分的核心目的在于利用编码 网络提取到的所有图像特征，使用特定方法进行上采样从而获得最终的分割结果。借鉴了 UNet、DeepLabv3+以及SegNet等分割网络的网架结构，本发明的分割模型的上采样部分采 用了编码解码结构。在上采样结构使用了联合金字塔上采样(Joint PyramidUp-sampling，JPU) 来替代堆叠空洞卷积以通过减少一定计算量达到类似的性能。
具体步骤如下：1)首先将对图像数据处理，包含颜色归一化、低质量数据筛出；
2)数据分块，将完整的图像数据按照滑动窗的方式分块成小patch，便于深度网络进行 分割计算，同时保证滑动窗有重叠避免边缘预测产生的棋盘效应；
3)将所有的patch按顺序送入深度网络中，获得输出，深度网络架构包括UNet、DeepLabv3+以及SegNet分割网络的结合；
4)其中Unet结构中的跨层连接保证了浅层语义特征和深层细节信息的融合；跨层连接 中的部分卷积模块保证了编、解码模块的特征的一致性；金字塔上采样模块保证了上采样过 程中的感受野同时减少了计算量；
5)网络输出结果为一张与输入等大小的预测图像，各个像素的结果表示了该像素的所属 的组织类别；
6)最后将所有的数据进行拼接完成全图的多组织分割。
本发明还提出了构建基于深度卷积神经网络的细胞检测模型。实施例中提出了一个基于 肝内胆管癌数字化组织病理图像和深度学习的t淋巴细胞检测模型，其中整体流程图网络框 架如图2所示。
在医学图像的目标检测领域，常见的检测对象一般是细胞，而这类对象通常而言虽然存 在一定的大小差异，但是总体上更多的是形态上的变化。因此，如SSAE等基于固定大小滑 动窗的方法，在乳腺癌细胞检测上取得了较好的检测性能。但是，采用这类滑动窗的办法实 际上是很耗费时间的，在FCN没有被提出以前，普遍的做法是使用滑动窗结合分类器的思想 来近似实现图像分割的，这不可避免地会存在较多的冗余计算。在细胞检测问题上同样存在 着这样的困难，因此提出了一种基于细胞显著性的细胞检测流程。具体的流程如图2。
首先在400x的放大倍数下进行取块，然后对取出来的小块的图像进行一定的标准化，然 后送入到回归检测模块(如图2e-h所示)中去对每一个小块中的细胞进行检测，然后对检测 出来的细胞级联一个深度分类网络(AlexNet)来实现对t淋巴细胞的判断。
传统的对象检测模型，如YOLO，SSD等，所使用的标记通常为物体的标 记框，即涵盖了对象所在图像位置以及对象大小信息。在本发明实施例涉及的细 胞检测流程中，检测对象一致为细胞(但是细胞有不一样的类别)，固然不同细 胞存在着一定大小上的差异，但是从总体上看，这种差异性是较小的，同类最大 的细胞与最小的细胞差异性也仅有1至2倍。同时，由于肿瘤本身是存在较快的 细胞增殖速度，因此细胞间的重叠显得尤其明显，这将会使得对细胞边框的回归 产生较大困难。一个启发性的设计是，在一定区域内是否存在细胞的置信度，总 是随着细胞中心逐渐下降的。基于这个思想，本专利尝试搭建了如图2所示的基 于细胞显著性的检测模型。该检测模块与传统的目标检测模型的一个显著优势在于传统的目标检测模型在对重叠细胞的识别过程中往往存在较多的假阴性(即漏 检)，而本发明设计的检测思路对医生的判断无论是在漏检和误检(假阳性)上 的都有高的帮助表现。
该检测模型的具体流程为：
1)对输入数据进行一定的数据预处理(z-score标准化、H&E图像颜色归一化等)；
2)将输入数据送入一个面向细胞回归检测任务训练好的基于UNet的深度网络结构中去 (结构如图1所示)；
3)获得网络的概率输出如图2e所示，利用sigmoid将输出的概率图的值压缩到0-1可视 化结果如图2f所示；
4)最后利用阈值过滤并利用一些图像的形态学处理去除一定的(非感兴趣区域)假阳性 检测区域，结果如图2h所示，图中的记结果为检测到的细胞中心区域。
5)根据图2h生成最后的细胞检测框。
回归检测模块主要是解决细胞之间会存在粘连，导致常规方法无法准确地对每一个细胞 个体进行识别的问题，回归检测模块进行图像检测包括：
1)利用细胞显著性构建数据集并训练基于细胞中心检测模型；
2)用一个编码网络对输入图像进行特征提取；
3)解码网络对特征进行特征到标签空间的映射；
4)对输出的结果做sigmoid，保留高概率的细胞中心位置。
本发明还构建了可视化亚视觉模块。实施例中构建了一个基于“亚视觉”特征提取的风 险预测模型。
借助上述方法可以对全景病理图像中的多种组织和特定类型的细胞进行检测识别，借此 可以验证部分临床经验在预测患者生存问题上的有效性。例如从t淋巴细胞的角度入手，肉 眼很难对细胞的分布做出一个量化总结，专业病理科医生常用“聚集在巢团周围”、“散落分布 于肿瘤周边”等描述，而这些定性的描述很难被经验不丰富的病理科医生所理解(多少细胞在 周围才算聚集)，这便是阅片经验将造成的诊断差异。同样，这样的描述也很难以计算机的思 维去进行理解。而将这些日常化的描述量化为特征值，便是数字病理组学的根本任务所在。 针对ICC全景图像中对多种组织的分割以及t淋巴细胞的检测识别。在获得了全景图像中的 肿瘤组织区域、坏死区域、肝脏区域、间质区域以及淋巴细胞所在的位置之后，本文从六个 角度构建了7组共352维特征分别为细胞总体分布的Graph特征51维，局部细胞聚类特征 26维，形态学特征25维，间质方向性特征2维，纹理特征240维，成分统计特征2维，淋 巴浸润特征2维，具体如下表1所示。
表1
Figure BDA0002945606900000071
Figure BDA0002945606900000081
图4为部分特征的可视化展示，其中(a)为淋巴细胞的德劳伦三角形，(b)为纹理特征， (c)为腺体形态学特征，(d)为肿瘤浸润淋巴细胞相关特征，(e)为间质方向性特征，(f)为细胞核、细胞质像素强度特征(纹理特征之一)。
使用特征选择方法结合100次3折交叉验证对352维特征进行特征选择，选出的特征如 下表2所示。
表2
Figure BDA0002945606900000082
最后，本发明的一个实施例中将这3个特征应用到测试集上画出风险KM曲线，评估风 险预测性能如图5分类性能曲线所示，(a)为总生存(OS)和无疾病生存(DFS)分析下的ROC曲线，(b)为三个特征构成的3维可视图，colorbar为预测的生存风险概率。图6为我 们的模型在(a)OS和(b)DFS分析下的生存曲线图，各自对应p值在95％置信区间内是有 区分能力的。其中，图6(a)、(b)中上面的曲线均为low risk曲线，下面的一条曲线均为 highrisk曲线。
使用特征选择方法与交叉验证结合的方法对所有不同组织区域与感兴趣对象中的特征进 行选择，选择最具有预测能力的特征。
在本发明的一个实施例中，实施步骤如下：
1.对实物切片进行数字化扫描；
2.采用一定的方法(HistoQC)对数字化成像质量进行评估，筛去质量较差的切片；
3.对所有数据进行一定的预处理，确保切片颜色、明度、饱和度等色彩参数一致；
4.使用基于深度卷积神经网络的多组织语义分割框架实现其中的多种组织的分割(包含 但不仅限于肿瘤、坏死等常见组织)；
5.使用基于深度卷积神经网络的细胞检测模型实现对t淋巴细胞进行检测；
6.构建“亚视觉”特征集；
7.使用特征选择方法+交叉验证对特征集中的特征进行选择x，找到最具有预测能力的特 征(特征选择方法包含但不仅限于mrmr，ttest等)；
8.使用分类器以及选择出来的特征对患者的生存进行预测(分类器包含但不仅限于决策 树等)。
其中，低质量切片的定义为：
1.切片污渍、气泡较少，污染区域不超过整张切片组织区域的10％，且不在主要分析部 位；
2.扫描对焦清晰或不清晰区域不超过20％；
3.染色正常，与其他其他已纳入的数字化切片颜色总体差异不大；
4.切片厚薄均匀，过厚和过薄的组织不超过整张切片组织区域的10％，且位置不在主要 分析部位。
预处理的过程大致为：
1.对HE图像颜色、明度、饱和度进行色彩归一化；
2.对HE图像数据的RGB颜色通道的值进行z-score归一化到0-1，减少深度网络模型的 计算。
x特征性选择的过程大致如下：
在整体训练集中，选择n维特征向量，对选择出来的n维特征向量做m次3折交叉验证， m小于n；在本发明的实施例中，对选择出来的352维特征向量做100次3折交叉验证，在提高表征模型的性能的同时减少计算量。其中每一次的过程为：
1.随机选2/3的特征数据作为交叉验证的训练集，剩下的1/3为交叉验证测试集；
2.在步骤1构建的数据集中使用t-test，mRMR结合LDA，SVM(线性核与RBF核)，BaggingC4.5四种分类器所构成的8种不同的组合(mRMR+LDA，mRMR+高斯核SVM， mRMR+线性核SVM，mRMR+BaggingC4.5，t-test+LDA，t-test+高斯核SVM，t-test+线性核 SVM，t-test+BaggingC4.5)进行训练和测试；
3.在100次实验中，选出过程2中性能较好的组合方式以及所选出的特征top3如上表2 所示。
本发明实施例设计了一个新的多组织分割网络，能够适用于大数据量情况下的肝内胆管 癌的多组织分割。基于传统的SSAE等细胞检测方法，本发明设计了一套全新的基于深度卷 积网络的t淋巴细胞两步检测流程，有较好的拓展性能，可以应用于多种细胞的检测精确识 别。提出了基于计算机图像的“亚视觉”特征提取以及特征选择、分类器的组合框架可以定量 化地预测肝内胆管癌患者的生存状况。采用的“亚视觉”特征是可以可视化的，因此，可视化 的特征可以辅助病理医生在阅片过程中对肿瘤形成新的认识，从而进一步了解疾病的原理。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种医学图像特征识别预测模型，其特征在于，包括如下步骤：
构建基于深度卷积神经网络的多组织分割模型，从样本库中获取数据并提取图像特征，通过基于金字塔上采样的解码模块获得图像分割结果，将不同组织区域之间分割开；
构建基于深度卷积神经网络的细胞检测模型，首先放大倍数进行取块，然后对取出来的小块的图像进行标准化；送入到回归检测模块中去对每一个小块中的图像进行检测，然后对检测出来的细胞级联深度分类网络来得到感兴趣对象；
构建可视化亚视觉模块，使用特征选择方法与交叉验证结合的方法对所有不同组织区域与感兴趣对象中的特征进行选择，选择最具有预测能力的特征。
2.根据权利要求1所述的医学图像特征识别预测模型，其特征在于，多组织分割模型的图像分割方法包括如下步骤：
1)首先将对图像数据处理，包含颜色归一化、低质量数据筛出；
2)数据分块，将完整的图像数据按照滑动窗的方式分块成小patch，便于深度网络进行分割计算，同时保证滑动窗有重叠避免边缘预测产生的棋盘效应；
3)将所有的patch按顺序送入深度网络中，获得输出，深度网络架构包括UNet、DeepLabv3+以及SegNet分割网络的结合；
4)其中Unet结构中的跨层连接保证了浅层语义特征和深层细节信息的融合；跨层连接中的部分卷积模块保证了编、解码模块的特征的一致性；金字塔上采样模块保证了上采样过程中的感受野同时减少了计算量；
5)网络输出结果为一张与输入等大小的预测图像，各个像素的结果表示了该像素的所属的组织类别；
6)最后将所有的数据进行拼接完成全图的多组织分割。
3.根据权利要求1所述的医学图像特征识别预测模型，其特征在于，将不同组织区域之间分割开包括分割肿瘤组织区域、疑似坏死组织区域、肝脏区域以及其他区域。
4.根据权利要求1所述的医学图像特征识别预测模型，其特征在于，细胞检测模型的检测方法为：
1)对输入数据进行数据预处理：z-score标准化、H&E图像颜色归一化；
2)将预处理后的输入数据送入一个面向细胞回归检测模块训练好的基于UNet的深度网络结构的多组织分割模型中去；获得网络的概率输出，利用sigmoid将输出的概率图的值压缩到0-1；
3)最后利用阈值过滤并去除非感兴趣区域；
4)生成最后的细胞检测框。
5.根据权利要求4所述的医学图像特征识别预测模型，其特征在于，回归检测模块进行图像检测包括：
1)利用细胞显著性构建数据集并训练基于细胞中心检测模型；
2)用一个编码网络对输入图像进行特征提取；
3)解码网络对特征进行特征到标签空间的映射；
4)对输出的结果做sigmoid，保留高概率的细胞中心位置。
6.根据权利要求4所述的医学图像特征识别预测模型，其特征在于，图像数据预处理过程如下：
1)对HE图像颜色、明度、饱和度进行色彩归一化；
2)对HE图像数据的RGB颜色通道的值进行z-score归一化到0-1，减少深度网络模型的计算。
7.根据权利要求1所述的医学图像特征识别预测模型，其特征在于，亚视觉模块中，对所有不同组织区域与感兴趣对象中的特征进行选择的方法如下，
在整体训练集中，选择n维特征向量，对选择出来的n维特征向量做m次3折交叉验证，m小于n；其中每一次交叉验证的过程为：
1)随机选2/3的特征数据作为交叉验证的训练集，剩下的1/3为交叉验证测试集；
2)在步骤1)构建的数据集中使用t-test、mRMR结合LDA、SVM线性核与SVM RBF核、BaggedC4.5四种分类器所构成的8种不同的组合进行训练和测试；
3)在m次实验中，选出步骤2)中性能较好的组合方式以及所选出的具有较好预测力的三个特征。
8.根据权利要求7所述的医学图像特征识别预测模型，其特征在于，四种分类器所构成的8种不同的组合为，mRMR+LDA，mRMR+高斯核SVM，mRMR+线性核SVM，mRMR+BaggingC4.5，t-test+LDA，t-test+高斯核SVM，t-test+线性核SVM，t-test+BaggingC4.5。
9.根据权利要求7所述的医学图像特征识别预测模型，其特征在于，在整体训练集中，选择352维特征向量，对选择出来的352维特征向量做100次3折交叉验证；352维特征分别为细胞总体分布的Graph特征51维，局部细胞聚类特征26维，形态学特征25维，间质方向性特征2维，纹理特征240维，成分统计特征2维，淋巴浸润特征2维。
10.根据权利要求1所述的医学图像特征识别预测模型，其特征在于，使用选择出来的特征对图像中的风险区域的风险进行定量化评估。
CN202110195183.7A 2021-02-20 2021-02-20 一种医学图像特征识别预测模型 Pending CN112990214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110195183.7A CN112990214A (zh) 2021-02-20 2021-02-20 一种医学图像特征识别预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110195183.7A CN112990214A (zh) 2021-02-20 2021-02-20 一种医学图像特征识别预测模型

Publications (1)

Publication Number Publication Date
CN112990214A true CN112990214A (zh) 2021-06-18

Family

ID=76394130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110195183.7A Pending CN112990214A (zh) 2021-02-20 2021-02-20 一种医学图像特征识别预测模型

Country Status (1)

Country Link
CN (1) CN112990214A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395932A (zh) * 2020-06-22 2021-02-23 钢铁研究总院 一种金属材料中显微组织全视场定量统计分布表征方法
CN113658152A (zh) * 2021-08-24 2021-11-16 平安科技（深圳）有限公司 脑卒中风险的预测设备、方法、计算机设备及存储介质
CN113793306A (zh) * 2021-08-23 2021-12-14 上海派影医疗科技有限公司 一种基于分片处理的乳腺病理图像识别检测方法与系统
CN115578564A (zh) * 2022-10-25 2023-01-06 北京医准智能科技有限公司 实例分割模型的训练方法、装置、电子设备及存储介质
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统
CN117765533B (zh) * 2024-02-22 2024-04-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谢嘉伟: "基于病理图像分析的肝内胆管癌生存预测模型", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, no. 02, pages 3 *
骆小飞;徐军;陈佳梅;: "基于逐像素点深度卷积网络分割模型的上皮和间质组织分割", 自动化学报, no. 11, pages 138 - 148 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395932A (zh) * 2020-06-22 2021-02-23 钢铁研究总院 一种金属材料中显微组织全视场定量统计分布表征方法
CN113793306A (zh) * 2021-08-23 2021-12-14 上海派影医疗科技有限公司 一种基于分片处理的乳腺病理图像识别检测方法与系统
CN113658152A (zh) * 2021-08-24 2021-11-16 平安科技（深圳）有限公司 脑卒中风险的预测设备、方法、计算机设备及存储介质
CN113658152B (zh) * 2021-08-24 2023-06-30 平安科技（深圳）有限公司 脑卒中风险的预测设备、方法、计算机设备及存储介质
CN115578564A (zh) * 2022-10-25 2023-01-06 北京医准智能科技有限公司 实例分割模型的训练方法、装置、电子设备及存储介质
CN115578564B (zh) * 2022-10-25 2023-05-23 北京医准智能科技有限公司 实例分割模型的训练方法、装置、电子设备及存储介质
CN117765533A (zh) * 2024-02-22 2024-03-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统
CN117765533B (zh) * 2024-02-22 2024-04-26 天津医科大学第二医院 一种用于口腔黏膜癌预测的图像处理方法及系统

Similar Documents

Publication Publication Date Title
Mohanakurup et al. Breast cancer detection on histopathological images using a composite dilated Backbone Network
CN112435243A (zh) 一种全切片数字病理图像的自动分析系统及方法
US8712142B2 (en) Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading
CN112990214A (zh) 一种医学图像特征识别预测模型
CN111402267B (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
CN111462042A (zh) 癌症预后分析方法及系统
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN113256634B (zh) 基于深度学习的宫颈癌tct切片排阴方法和系统
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
KR20210079132A (ko) 서포트 벡터 머신을 이용한 전립선암의 등급 분류 방법
CN112703531A (zh) 生成组织图像的注释数据
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
Taher et al. Identification of lung cancer based on shape and color
Zhang et al. Mammographic mass detection by bilateral analysis based on convolution neural network
CN115880245A (zh) 一种基于自监督的乳腺癌疾病分类方法
Tang et al. Intelligent segmentation and recognition method of breast cancer based on digital image processing technology
CN115954100A (zh) 胃癌病理图像智能辅助诊断系统
CN113222928B (zh) 一种尿细胞学人工智能尿路上皮癌识别系统
CN113870194A (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
CN112258480A (zh) 一种基于点标注的弱监督腺体实例分割方法
Çayır et al. Patch-based approaches to whole slide histologic grading of breast cancer using convolutional neural networks
Inamdar et al. A Novel Attention based model for Semantic Segmentation of Prostate Glands using Histopathological Images
Ravi et al. Machine Learning-based Classification and Analysis of Breast Cancer Pathological Images
CN117036343B (zh) 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination