CN118135564A - 多模态融合提高术中3cm以下肺腺癌浸润性诊断方法 - Google Patents

多模态融合提高术中3cm以下肺腺癌浸润性诊断方法 Download PDF

Info

Publication number
CN118135564A
CN118135564A CN202410293037.1A CN202410293037A CN118135564A CN 118135564 A CN118135564 A CN 118135564A CN 202410293037 A CN202410293037 A CN 202410293037A CN 118135564 A CN118135564 A CN 118135564A
Authority
CN
China
Prior art keywords
model
image
histology
feature
lung adenocarcinoma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410293037.1A
Other languages
English (en)
Inventor
金阳
谭学耘
汪速飞
夏慧
曹雅淇
潘峰
杨炼
詹娜
黄博
周敏
周萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji Medical College of Huazhong University of Science and Technology
Original Assignee
Tongji Medical College of Huazhong University of Science and Technology
Filing date
Publication date
Application filed by Tongji Medical College of Huazhong University of Science and Technology filed Critical Tongji Medical College of Huazhong University of Science and Technology
Publication of CN118135564A publication Critical patent/CN118135564A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及医疗诊断技术领域,具体涉及多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,诊断步骤为:S1、采集胸部CT平扫数据后,使用肺结节CT影像AI辅助诊断系统对目标肺结节进行分割;S2、在python上使用影像组学特征提取软件包PyRadiomics,提取影像组学特征;S3、使用谷歌Colab平台提供用于分割、特征提取、模型训练与性能评估的加速器,从分割后的数据中提取100个影像组学特征。本发明通过整合年龄、术前嗜酸性粒细胞计数、影像组学和冰冻切片病理特征,建立了预测术中3cm以下肺腺癌浸润状态的多模态融合模型,可以激发人们对部署标准化和自动化的多模态数据收集的兴趣,并且在其他疾病中有广泛的应用。

Description

多模态融合提高术中3cm以下肺腺癌浸润性诊断方法
技术领域
本发明属于医疗诊断技术领域,具体为多模态融合提高术中3cm以下肺腺癌浸润性诊断方法。
背景技术
随着高分辨率CT的广泛应用,越来越多3cm以下的肺腺癌被发现,由国际肺癌研究协会、美国胸科学会与欧洲呼吸学会提出的两种新的肺腺癌分类,即原位腺癌和微浸润腺癌,引起了胸外科医生和病理学家的兴趣,这两类通常被称为腺癌的浸润前阶段,多项研究表明,AIS和MIA患者切除后的5年无病生存率为100%,但是浸润性腺癌患者的5年疾病特异性生存率较差,复发风险较高,目前许多医学专业人士提出了适当的有限切除方式,包括楔形切除和肺段切除,是AIS与MIA的有效治疗方法,此外,与肺叶切除相比,亚肺叶切除可以更好地维持肺功能,为后续发生原发性肺癌时再次切除提供了可能,然而,肺叶切除术仍然是大多数IA的标准治疗,术中冰冻切片诊断是确定AIS、MIA和IA以及指导3cm以下肺腺癌手术策略的有效方法,然而,根据一些调查,使用术中冰冻切片诊断AIS或MIA患者的一致率仅为63.24%,浸润前分期和小于1cm的结节诊断更具挑战性,在这些病例中错误更常见,对此,我们提出了多模态融合提高术中3cm以下肺腺癌浸润性诊断方法。
发明内容
针对现有技术的不足,本发明提供了多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,以解决以上技术问题。
为实现上述目的,本发明提供如下技术方案:多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,诊断步骤为:
S1、采集胸部CT平扫数据后,使用肺结节CT影像AI辅助诊断系统对目标肺结节进行分割;
S2、在python上使用影像组学特征提取软件包PyRadiomics,提取影像组学特征;
S3、使用谷歌Colab平台提供用于分割、特征提取、模型训练与性能评估的加速器,从分割后的数据中提取100个影像组学特征;
S4、将提取的100个影像组学特征采用z-score归一化处理;
S5、采用所选特征在包含761人的训练集中建立出单模态影像组学模型,并在433人的影像测试集中对该模型进行测试;
S6、对模型进行五折交叉验证,最后通过逻辑回归得出一个线性方程,从而获得Rad-score。
优先地,S4步骤中z-score归一化用以消除因其范围不同而产生的潜在偏倚情况,采用t检验特征选择评估每个特征在区分不同类型肺结节中的统计学意义,选择p值为0.01的阈值来识别信息量最大的特征,采用L1正则化的最小绝对收缩和选择算子逻辑回归。
优先地,S3步骤中影像组学特征包括14个特征形状、18个特征一阶统计量、14个特征灰度依赖矩阵、22个特征灰度共生矩阵、16个特征灰度游程矩阵与16个特征灰度大小区域矩阵。
优先地,S5步骤中单模态影像组学模型建立方式预先将数据集划分为训练集与验证集,采用EfficientNet B5模型作为神经网络骨架,应用迁移学习来训练权重,利用交叉熵损失,使用随机梯度下降法进行优化,将WSI分割成小的连续块,每个块具有统一的1000×1000像素分辨率,这些块被输入到预训练和微调的EfficientNet B5模型中,模型生成所有块的概率分布,将其分为5个病理类别,包括“空白”、“正常”、“AIS”、“MIA”和“IA”,在1个WSI的全部计数中删除空白块,将正常、AIS、MIA、IA块的数量分别表示为n1、n2、n3、n4,计算3个比例使用逻辑回归来建立单模态病理模型。
优先地,AIS、MIA与IA块的计算公式为:
其中n1、n2、n3与n4表示为正常、AIS、MIA、IA块的数量。
优先地,EfficientNet B5模型为深度神经网络结构,用以保持模型效率的同时提高图像分类任务的性能,EfficientNet B5模型通过优化网络的深度、宽度与分辨率来提高模型的性能;迁移学习通过已经学到的知识来解决新任务,从一个任务或数据集中学到的模型参数或特征表示,作为新任务或数据集的起点或辅助,从而加速新任务的训练过程。
优先地,S4步骤中的z-score归一化计算公式为:
Z=(x-u)/a
其中Z表示为标准化后的值,x表示为原始数据,u表示为原始数据的均值,a表示为原始数据的标准差。
优先地,S6步骤中的五折交叉验证包括数据集划分、模型训练与测试、性能度量与结果汇总,其中数据集划分是将数据集均匀划分为五个子集,模型训练与测试依次选择其中一个子集作为测试集,其他四个子集作为训练集,进行评估,重复五次,结果汇总是将五次测试的性能度量结果取平均值,来得到模型的最终性能评估。
与现有技术相比,本发明的有益效果如下:
本发明通过整合年龄、术前嗜酸性粒细胞计数、影像组学和冰冻切片病理特征,建立了预测术中3cm以下肺腺癌浸润状态的多模态融合模型,其中用于分析冰冻切片WSI的方法,一方面聚焦于最有代表性和信息量最大的图像部分来训练分类器,另一方面,块的分类避免了耗时的手动勾画肿瘤感兴趣区域的过程,并在不丢失整体特征的情况下提高了准确性,更重要的是,使用逻辑回归这一经典且广泛使用的机器学习方法,三种模态的信息可以很容易地整合在一起,可以激发人们对部署标准化和自动化的多模态数据收集的兴趣,并且在其他疾病中有广泛的应用。
附图说明
图1为本发明诊断步骤框架图;
图2使用最小绝对收缩进行影像组学特征选择和基于所选特征的Rad-score直方图;
图3为训练集和测试集的ROC曲线和校准曲线显示单模态影像组学模型(A)和单模态病理模型(B)的性能图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种技术方案:多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,诊断步骤为:
S1、采集胸部CT平扫数据后,使用肺结节CT影像AI辅助诊断系统对目标肺结节进行分割;
S2、在python上使用影像组学特征提取软件包PyRadiomics,提取影像组学特征;
S3、使用谷歌Colab平台提供用于分割、特征提取、模型训练与性能评估的加速器,从分割后的数据中提取100个影像组学特征;
S4、将提取的100个影像组学特征采用z-score归一化处理;
S5、采用所选特征在包含761人的训练集中建立出单模态影像组学模型,并在433人的影像测试集中对该模型进行测试;
S6、对模型进行五折交叉验证,最后通过逻辑回归得出一个线性方程,从而获得Rad-score。
进一步的,S4步骤中z-score归一化用以消除因其范围不同而产生的潜在偏倚情况,采用t检验特征选择评估每个特征在区分不同类型肺结节中的统计学意义,选择p值为0.01的阈值来识别信息量最大的特征,采用L1正则化的最小绝对收缩和选择算子逻辑回归。
进一步的,S3步骤中影像组学特征包括14个特征形状、18个特征一阶统计量、14个特征灰度依赖矩阵、22个特征灰度共生矩阵、16个特征灰度游程矩阵与16个特征灰度大小区域矩阵。
进一步的,S5步骤中单模态影像组学模型建立方式预先将数据集划分为训练集与验证集,采用EfficientNet B5模型作为神经网络骨架,应用迁移学习来训练权重,利用交叉熵损失,使用随机梯度下降法进行优化,将WSI分割成小的连续块,每个块具有统一的1000×1000像素分辨率,这些块被输入到预训练和微调的EfficientNet B5模型中,模型生成所有块的概率分布,将其分为5个病理类别,包括“空白”、“正常”、“AIS”、“MIA”和“IA”,在1个WSI的全部计数中删除空白块,将正常、AIS、MIA、IA块的数量分别表示为n1、n2、n3、n4,计算3个比例使用逻辑回归来建立单模态病理模型。
进一步的,AIS、MIA与IA块的计算公式为:
其中n1、n2、n3与n4表示为正常、AIS、MIA、IA块的数量。
进一步的,EfficientNet B5模型为深度神经网络结构,用以保持模型效率的同时提高图像分类任务的性能,EfficientNet B5模型通过优化网络的深度、宽度与分辨率来提高模型的性能;迁移学习通过已经学到的知识来解决新任务,从一个任务或数据集中学到的模型参数或特征表示,作为新任务或数据集的起点或辅助,从而加速新任务的训练过程。
交叉熵损失具有以下优点:
衡量细微差异,交叉熵损失能够衡量预测概率分布与真实概率分布之间的差异,即使两个分布非常接近,交叉熵损失也能够捕捉到它们之间的细微差别,这使得模型在训练过程中能够更准确地调整参数,以更好地拟合数据;
凸优化问题,当使用交叉熵损失作为优化目标时,优化问题通常可以被转化为凸优化问题,凸优化问题具有全局最优解,这意味着使用梯度下降等优化算法可以更容易地找到全局最优解,避免陷入局部最优解;
快速收敛,相比于均方误差损失等其他损失函数,交叉熵损失通常能够更快地收敛到最优解,这是因为交叉熵损失对于模型参数的梯度与激活函数的导数无关,从而避免了梯度消失或梯度爆炸的问题,使得模型在训练过程中能够更稳定地收敛;
适用于多分类问题,交叉熵损失可以很容易地扩展到多分类问题中,对于多分类问题,可以将输出层的神经元数量设置为类别的数量,并使用softmax函数将输出转换为概率分布,然后,可以使用交叉熵损失来衡量预测概率分布与真实概率分布之间的差异;
易于实现和调试,交叉熵损失的计算相对简单,并且容易在各种深度学习框架中实现,此外,由于交叉熵损失对于模型参数的梯度具有明确的数学表达式,因此也更容易进行调试和分析;
随机梯度下降法具有以下优点:
计算效率高,由于每次迭代只使用一个样本来计算梯度并更新模型参数,随机梯度下降法的计算效率非常高,这使得随机梯度下降法能够在大规模数据集上快速收敛;
内存占用少,由于每次只处理一个样本,随机梯度下降法的内存占用相对较小,这使得随机梯度下降法能够处理超出内存限制的大规模数据集,而不需要将整个数据集加载到内存中;
能够逃离局部最优解,由于随机梯度下降法的随机性,它有可能跳出局部最优解,从而找到全局最优解,这是因为随机梯度下降法在搜索过程中引入了更多的随机性,使得模型参数有机会跳出当前的局部最优区域;
适用于非凸函数,对于非凸函数,随机梯度下降法通常能够找到一个较好的局部最优解,有时甚至是全局最优解,这使得随机梯度下降法在许多实际应用中表现出色,尤其是在深度学习领域;
在线学习能力,随机梯度下降法支持在线学习,即当新数据样本不断涌现时,随机梯度下降法能够快速地学习并更新模型;
具有一定的鲁棒性,随机梯度下降法对于数据中的噪声和异常值具有一定的鲁棒性,尤其是当训练集规模较大时,这是因为随机梯度下降法每次只关注一个样本,对于个别噪声或异常值的影响较小。
进一步的,S4步骤中的z-score归一化计算公式为:
Z=(x-u)/a
其中Z表示为标准化后的值,x表示为原始数据,u表示为原始数据的均值,a表示为原始数据的标准差。
进一步的,S6步骤中的五折交叉验证包括数据集划分、模型训练与测试、性能度量与结果汇总,其中数据集划分是将数据集均匀划分为五个子集,模型训练与测试依次选择其中一个子集作为测试集,其他四个子集作为训练集,进行评估,重复五次,结果汇总是将五次测试的性能度量结果取平均值,来得到模型的最终性能评估;
五折交叉验证的优点包括:
更可靠的性能估计,通过多次随机划分数据集并取平均值,可以减小模型性能评估的随机性,提供更可靠的性能估计。
更好的泛化能力,模型在多次不同的训练和测试集上进行训练和评估,有助于更好地了解模型的泛化能力,即模型对新数据的适应能力。
其中影像组学特征包括14个特征形状、18个特征一阶统计量、14个特征灰度依赖矩阵、22个特征灰度共生矩阵、16个特征灰度游程矩阵与16个特征灰度大小区域矩阵,具体形式如下表所示。
下表为100个影像组学特征表
诊断操作数据
从收集的20倍放大全玻片图像中,随机选择数据集,包括1220张病理图像块,1000×1000像素,由一名有经验的医生将其分为5类,包括空白组、正常组、AIS组、MIA组和IA组,采用7:3的分割方式分为训练集和验证集,采用EfficientNet B5模型作为神经网络骨架,EfficientNet是目前最先进的卷积神经网络CNN架构之一,因其联合应用深度可分离卷积和挤压激励SE模块而闻名,它通过使用一种新型的复合缩放算法来优化深度、宽度和分辨率,实现了模型大小和性能之间的最佳平衡;
应用迁移学习来利用IMAGENET1K_V1中预训练的权重,进一步微调网络以用于病理诊断任务,数据增强策略包括将大小调整为224×224、自动分段策略、随机水平翻转和补丁删除来增强泛化,在最终分类器层之前采用0.5阈值概率的退出策略,利用交叉熵损失,使用随机梯度下降法进行优化,特定学习率为0.001,批处理大小为30,训练100个周期,学习率调度使用OneCycleLR模型在云GPU平台上训练,模型选择准则优先考虑最小化验证集的损失,以防止过拟合,每个WSI在20倍放大时的尺寸均高达100,000×100,000像素,对应的分辨率为0.25μm/像素,为了确保与训练的网络的互用性,这些WSI被分割成小的连续块,每个块具有统一的1000×1000像素分辨率,这些块随后被输入到预训练和微调的EfficientNet B5模型中,然后,该模型生成所有块的概率分布,将其分为5个病理类别,包括“空白”、“正常”、“AIS”、“MIA”和“IA”,在1个WSI的全部计数中删除空白块,将正常、AIS、MIA、IA块的数量分别表示为n1、n2、n3、n4,计算3个比例使用逻辑回归来建立单模态病理模型,该模型在761人的训练集和230人的病理测试集中AUC值分别为0.867,0.859;
采用单因素和多因素分析筛选肺腺癌患者的临床指标,显示,年龄和嗜酸性粒细胞计数与浸润性肺腺癌的发生风险增加相关;
多模态融合模型由Rad-score、三种病理比例和临床指标采用logistic回归建立,在761人的训练集中AUC值达到0.924;
本发明整合年龄、术前嗜酸性粒细胞计数、影像组学和冰冻切片病理特征,建立了预测术中3cm以下肺腺癌浸润状态的多模态融合模型,其中用于分析冰冻切片WSI的方法,一方面聚焦于最有代表性和信息量最大的图像部分来训练分类器,另一方面,块的分类避免了耗时的手动勾画肿瘤感兴趣区域的过程,并在不丢失整体特征的情况下提高了准确性,更重要的是,使用逻辑回归这一经典且广泛使用的机器学习方法,三种模态的信息可以很容易地整合在一起,本研究提供的工作流程和软件可以激发人们对部署标准化和自动化的多模态数据收集的兴趣,并且在其他疾病中有广泛的应用。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于,诊断步骤为:
S1、采集胸部CT平扫数据后,使用肺结节CT影像AI辅助诊断系统对目标肺结节进行分割;
S2、在python上使用影像组学特征提取软件包PyRadiomics,提取影像组学特征;
S3、使用谷歌Colab平台提供用于分割、特征提取、模型训练与性能评估的加速器,从分割后的数据中提取100个影像组学特征;
S4、将提取的100个影像组学特征采用z-score归一化处理;
S5、采用所选特征在包含761人的训练集中建立出单模态影像组学模型,并在433人的影像测试集中对该模型进行测试;
S6、对模型进行五折交叉验证,最后通过逻辑回归得出一个线性方程,从而获得Rad-score。
2.根据权利要求1所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于:S4步骤中z-score归一化用以消除因其范围不同而产生的潜在偏倚情况,采用t检验特征选择评估每个特征在区分不同类型肺结节中的统计学意义,选择p值为0.01的阈值来识别信息量最大的特征,采用L1正则化的最小绝对收缩和选择算子逻辑回归。
3.根据权利要求1所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于:S3步骤中影像组学特征包括14个特征形状、18个特征一阶统计量、14个特征灰度依赖矩阵、22个特征灰度共生矩阵、16个特征灰度游程矩阵与16个特征灰度大小区域矩阵。
4.根据权利要求1所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于:S5步骤中单模态影像组学模型建立方式预先将数据集划分为训练集与验证集,采用EfficientNet B5模型作为神经网络骨架,应用迁移学习来训练权重,利用交叉熵损失,使用随机梯度下降法进行优化,将WSI分割成小的连续块,每个块具有统一的1000×1000像素分辨率,这些块被输入到预训练和微调的EfficientNet B5模型中,模型生成所有块的概率分布,将其分为5个病理类别,包括“空白”、“正常”、“AIS”、“MIA”和“IA”,在1个WSI的全部计数中删除空白块,将正常、AIS、MIA、IA块的数量分别表示为n1、n2、n3、n4,计算3个比例使用逻辑回归来建立单模态病理模型。
5.根据权利要求4所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于,AIS、MIA与IA块的计算公式为:
其中n1、n2、n3与n4表示为正常、AIS、MIA、IA块的数量。
6.根据权利要求4所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于:EfficientNet B5模型为深度神经网络结构,用以保持模型效率的同时提高图像分类任务的性能,EfficientNet B5模型通过优化网络的深度、宽度与分辨率来提高模型的性能;迁移学习通过已经学到的知识来解决新任务,从一个任务或数据集中学到的模型参数或特征表示,作为新任务或数据集的起点或辅助,从而加速新任务的训练过程。
7.根据权利要求1所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于,S4步骤中的z-score归一化计算公式为:
Z=(x-u)/a
其中Z表示为标准化后的值,x表示为原始数据,u表示为原始数据的均值,a表示为原始数据的标准差。
8.根据权利要求1所述的多模态融合提高术中3cm以下肺腺癌浸润性诊断方法,其特征在于:S6步骤中的五折交叉验证包括数据集划分、模型训练与测试、性能度量与结果汇总,其中数据集划分是将数据集均匀划分为五个子集,模型训练与测试依次选择其中一个子集作为测试集,其他四个子集作为训练集,进行评估,重复五次,结果汇总是将五次测试的性能度量结果取平均值,来得到模型的最终性能评估。
CN202410293037.1A 2024-03-14 多模态融合提高术中3cm以下肺腺癌浸润性诊断方法 Pending CN118135564A (zh)

Publications (1)

Publication Number Publication Date
CN118135564A true CN118135564A (zh) 2024-06-04

Family

ID=

Similar Documents

Publication Publication Date Title
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN113257413A (zh) 基于深度学习的癌症预后生存预测方法、设备及存储介质
CN116188423B (zh) 基于病理切片高光谱图像的超像素稀疏解混检测方法
CN112183557A (zh) 基于胃癌组织病理图像纹理特征的msi预测模型构建方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114580501A (zh) 骨髓细胞分类方法、系统、计算机设备及存储介质
CN116912240B (zh) 基于半监督学习的突变tp53免疫学检测方法
CN113420793A (zh) 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法
US20220304617A1 (en) System and method for diagnosing small bowel cleanliness
Huang et al. HEp-2 cell images classification based on textural and statistic features using self-organizing map
yahia Ibrahim et al. An enhancement technique to diagnose colon and lung cancer by using double CLAHE and deep learning
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN114970862B (zh) 一种基于多实例知识蒸馏模型的pdl1表达水平预测方法
Swarna et al. Detection of Colon Cancer Using Inception V3 and Ensembled CNN Model
Rungruangbaiyok et al. Chromosome image classification using a two-step probabilistic neural network.
CN118135564A (zh) 多模态融合提高术中3cm以下肺腺癌浸润性诊断方法
Alzu'bi et al. A new approach for detecting eosinophils in the gastrointestinal tract and diagnosing eosinophilic colitis.
CN114240929A (zh) 一种色差检测方法及装置
CN113889235A (zh) 一种三维医学影像无监督特征抽取系统
George et al. Cancer tissues recognition system using box counting method and artificial neural network
CN108304546B (zh) 一种基于内容相似度和Softmax分类器的医学图像检索方法
CN113971984A (zh) 分类模型构建方法及装置、电子设备、存储介质
EP3895060A1 (en) Classification of cell nuclei

Legal Events

Date Code Title Description
PB01 Publication