CN115439473B - 一种基于交互分组注意机制的多期相占位分类方法 - Google Patents
一种基于交互分组注意机制的多期相占位分类方法 Download PDFInfo
- Publication number
- CN115439473B CN115439473B CN202211373349.0A CN202211373349A CN115439473B CN 115439473 B CN115439473 B CN 115439473B CN 202211373349 A CN202211373349 A CN 202211373349A CN 115439473 B CN115439473 B CN 115439473B
- Authority
- CN
- China
- Prior art keywords
- hcc
- phase
- data
- liver
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于交互分组注意机制的多期相占位分类方法,包括:多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证,其中HCC判断模型可以处理多期相的图像数据,实现了对占位是否是HCC的分类的判断。能够实现判断输入的多期相图像的是HCC还是非HCC,能够避免由于尺寸差异和占位临近导致误截造成的误判、拥有更好的“快进快出”特征提取能力。
Description
技术领域
本发明属于深度学习对医学图像分类技术领域,涉及一种基于交互分组注意机制的多期相占位分类方法。
背景技术
原发性肝癌中最常见的为原发性肝细胞肝癌(hepatocellular carcinoma,HCC),是全世界癌症相关死亡率的第三大常见原因,因HCC与其他种类肝脏病变的治疗及预后存在差异,因此术前进行病灶的分类研究显得尤为重要。
现有技术方面,深度学习属于机器学习的研究方向,对于样本数据的内在规律及表示层次进行学习,并能自动的从简单特征中提取更加复杂的特征,深度学习最具代表性的一类方法是深度神经网络,神经网络试图模拟大脑神经元层的活动,以学习如何识别数据中的复杂模式。随着医学成像技术和计算机技术的不断发展和进步,医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段,深度学习(Deeplearning ,DL),特别是深度卷积神经网络(Convolutional neural networks ,CNNs)已经迅速发展成为医学图像分析的研究热点,它能够从医学图像数据中自动提取隐含的疾病诊断特征。
近年来,深度学习在肝癌图像分类方面取得了重大进展,但是尽管对于肝癌的相关工作有了一定进展,对于HCC及其他肝脏病变图像的分类方法还存在空缺。在处理图像的分类上,对医生来说,通过对比动脉期和动脉期图像的明暗变化更易辨别和勾画HCC病灶,通过观察病灶形态和包膜信息以初步判断病灶的类别,因此使用多期相CT图像进行HCC分类研究,有着重要的临床意义。
当前的HCC病灶分类模型很少,通常使用ResNet作为骨干网络来提取特征,而ResNet本质上是对之前层级中已提取特征的复用,提取的特征中冗余度比较高,并且ResNet网络结构参数过多,训练时间长。在特征提取上,ResNet网络未能对不同期相图像进行特征交互提取,尤其是无法通过对比交互动脉期和动脉期图像的密度变化,从而造成特征提取效果不明显,且边缘包膜和形态信息不明显,对于分类过程中的占位特征提取效率低,因此造成分类准确度降低,分类过程冗余,随着层数增加特征提取效果变差。
在特征提取网络的输入选择上,现有技术通常使用二维单/多期相图像或三维单期相图像的网络模型进行训练。二维单期相图像会导致信息缺失,二维多期相图像虽然对比信息更为丰富,但由于肝脏病灶通常为三维数据,降维的单层CT图像需要经过冗繁的切片选择前处理,并且无法包含足够的空间特征,此外三维单期相图像无法学习到不同期相特征对比的信息。现有技术针对多期相图像关于HCC及其他肝脏病变的分类多只应用了有关影像组学的方法,少量应用了基于二维医学图像的深度学习分类方法,本发明着眼于三维多期相图像在深度学习领域进行HCC及其他肝脏病变的图像分类,解决了上诉提到的问题。
本发明提出了一种基于深度学习的多期相图像HCC分类方法,该发明基于多期相的迁移学习及多期相融合互注意改进的卷积神经分类网络分类方法,在深度学习领域达到了很好的区分肝细胞癌(HCC)与其他肝脏病变图像的效果。该方法使用自适应窗宽窗位设计进行图像预处理,改进的ResNet网络对不同期相的输入图像进行学习,并通过MFIFM模块(Multi-phase mutual attention fusion module,多期相互注意融合模块)提升HCC与非HCC的特征区分,从而提升分类准确性,实现不同种类病变和HCC的分类。
发明内容
本发明的目的是提供一种基于交互分组注意机制的多期相占位分类方法,可以实现不同种类病变和HCC的分类。
本发明所采用的技术方案是,
一种基于交互分组注意机制的多期相占位分类方法,包括:多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证;
预处理具体包括以下步骤:
S1、采集患者的多期相CT图像数据;采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜;并对采集到的多期相CT图像数据进行预处理,预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理;
步骤S1具体包括以下步骤:
S11、多期相CT图像数据中包括至少两个期相,使用其中一个期相的空间位置为标准,对其它期相进行配准;配准完成后,使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样;
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘,得到肝区多期相数据;
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜,
步骤S13具体包括以下步骤:
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标,
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息;当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1,当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2,从而获取所有孤立目标标签,将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序;
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理;
步骤S133具体包括以下步骤:
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,得到的均值灰化多期相数据;
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息,获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长,将该外接Bounding box的最大边长延长到1.5倍;以外接Bounding box的中心坐标不变的准则,更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息;
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪,然后将裁剪得到的多期相数据的体素缩放为约定尺寸,得到裁缩多期相数据;通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定,得到带标签的裁缩多期相数据;
S1334、生成假阳性多期相数据,具体过程为:
将肝脏HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,并对均值灰化后的数据进行随机裁剪,得到约定尺寸的假阳性多期相数据,将假阳性多期相数据绑定标签信息为0,得到带标签的假阳性多期相数据;
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪,具体过程为:统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围,计算0.05-99.5百分比的HU值的范围作为窗宽窗位,以确定目标HU值范围,并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪,得到约定尺寸的带标签的待增强多期相数据;至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束;
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化;
S141.利用公式(1)对S142的带标签的待增强多期相数据进行Z-score归一化,得到带标签的归一化多期相数据;
公式(1)如下:
(1)
其中为图像中像素的HU值,为所有像素HU值的均值,为所有像素的标准差;
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计,并进行数据增强,增强后标签比例约为1:1:1;
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强,得到最终带标签的多期相数据,将该多期相数据按照8:2的比例进行随机划分,依次得到训练集、测试集;最终带标签的多期相数据包括至少两个期相;最终带标签的多期相数据绑定的标签为真实标签;
S2、构建多期相HCC判断模型;
步骤S2的多期相HCC判断模型是骨干网络模型,多期相HCC判断模型包括与期相数量相同的若干条编码路径,编码路径分别对各个期相的图像进行输入和处理,编码路径结构均相同,两两互为对称放置,每两条相邻的编码路径的中间均连接有若干MFIFM模块,编码路径输出端和MFIFM模块的输出端均连接到同一个拼接融合分类路径;拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层;
编码路径均是基于迁移学习的ResNet编码路径,编码路径的起始均是一个3D 卷积下采样层,该3D 卷积下采样层下面经过3个瓶颈结构再连接到下一个3D 卷积下采样层,如此重复布置若干个3D卷积下采样层,直到最下层的3D 卷积下采样层结束,最下层的3D卷积下采样层下方不再连接3个瓶颈结构;每条编码路径的3D 卷积下采样层的数量保持一致;MFIFM模块的数量与编码路径中的3D 卷积下采样层的数量相同的;每两条相邻的编码路径中每个经过3D 卷积下采样层处理后得到的特征图均输入到位于编码路径中间的与3D卷积下采样层所对应的MFIFM模块中;经过该层MFIFM模块融合处理后的融合特征图经过卷积下采样输入到下一层的MFIFM模块中进行融合处理;
经过每条编码路径中最下层的3D 卷积下采样层处理后得到的特征图和最下层的MFIFM模块处理的融合特征图均输入到concat拼接模块进行拼接融合计算,该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连,输入结果,进行后续判断;
S3、网络模型的训练,具体步骤如下:将训练集的数据输入多期相HCC判断模型中进行训练,训练集的数据输入到HCC判断模型中,得到预测值;
将该预测值与S143的实际标签值进行比较,通过公式(2)计算损失值;公式(2)是CrossEntropyLoss交叉熵损失函数,具体如下:
(2)
其中:为模型的输出,即预测值;为真实标签;
将损失值用Adam优化方法对分类网络模型进行权重参数的优化,减少损失值,使分类网络模型具有更高的分类准确性;
通过调整网络模型参数以更好拟合数据集,通过循环迭代训练,保存在验证集上验证损失最小的最优网络模型权重;
S4、利用测试集对HCC判断模型进行测试。
进一步地,3D 卷积下采样层的结构为:3D卷积3×3×3,3Dmaxpooling2×2×2,BN+ReLU;瓶颈结构的步长为1。
本发明的有益效果是
1、通常进行HCC图像的分类时,多使用经过筛选的2D图像,或进行多期相的2D图像的通道合并,或进行单期相(动脉期)的2.5D相邻多切片,或使用包含周围组织的小体积。本发明使用包含周围组织的3D体积,最大程度保留病变的多期相图像信息和空间形态信息,并且在裁剪周围组织信息前,对其他占位进行灰化操作,从而避免由于尺寸差异和占位临近导致误截造成的误判。
2、 使用双路线迁移ResNet和融合模块构成的融合网络进行特征提取,其骨干网络通过两条ResNet路线分别学习特征,并通过融合模块进行互注意,从而实现了HCC病灶与其他肝脏病变的分类。
3、使用新的图像预处理方法对凸显特征影响明显的窗宽窗位进行自适应设置,去除掉大部分干扰信息,并降低网络训练难度。
4、 多期相的特征融合模块提取并学习了不同期相目标区域与周围组织的特征对比,在特征程度上学习了HCC的“快进快出”典型表现,降低网络训练难度。
5、 使用迁移学习增加模型收敛效率。
附图说明
图1是本发明中的多期相HCC判断模型结构示意图;
图2是本发明中的瓶颈结构示意图;
图3是本发明中的MFIFM模块的结构示意图;
图4是本中的GAM模块的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于交互分组注意机制的多期相占位分类方法,包括:多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证;
预处理具体包括以下步骤:
S1、采集患者的多期相CT图像数据;采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜;并对采集到的多期相CT图像数据进行预处理,预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理;
步骤S1中的预处理具体包括以下步骤:
S11、多期相CT图像数据中包括至少两个期相,使用其中一个期相的空间位置为标准,对其它期相进行配准;配准完成后,使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样;本实施例选取动脉期图像和静脉期图像;
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘,得到肝区多期相数据;
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜,
步骤S13具体包括以下步骤:
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标,
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息;当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1,当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2,从而获取所有孤立目标标签,将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序;
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理;
步骤S133具体包括以下步骤:
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,得到的均值灰化多期相数据;
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息,获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长,将该外接Bounding box的最大边长延长到1.5倍;以外接Bounding box的中心坐标不变的准则,更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息;
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪,然后将裁剪得到的多期相数据的体素缩放为约定尺寸,得到裁缩多期相数据;通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定,得到带标签的裁缩多期相数据;
S1334、生成假阳性多期相数据,具体过程为:
将肝脏HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,并对均值灰化后的数据进行随机裁剪,得到约定尺寸的假阳性多期相数据,将假阳性多期相数据绑定标签信息为0,得到带标签的假阳性多期相数据;
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪,具体过程为:统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围,计算0.05-99.5百分比的HU值的范围作为窗宽窗位,以确定目标HU值范围,并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪,得到约定尺寸的带标签的待增强多期相数据;至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束;由此可见本发明使用包含周围组织的3D体积,最大程度保留病变的多期相图像信息和空间形态信息,并且在裁剪周围组织信息前,对其他占位进行灰化操作,从而避免由于尺寸差异和占位临近导致误截造成的误判。使用新的图像预处理方法对凸显特征影响明显的窗宽窗位进行自适应设置,去除掉大部分干扰信息,并降低网络训练难度。
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化;
S141.利用公式(1)对S142的带标签的待增强多期相数据进行Z-score归一化,得到带标签的归一化多期相数据;
公式(1)如下:
(1)
其中为图像中像素的HU值,为所有像素HU值的均值,为所有像素的标准差;
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计,并进行数据增强,增强后标签比例约为1:1:1;
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强,得到最终带标签的多期相数据,将该多期相数据按照8:2的比例进行随机划分,依次得到训练集、测试集;最终带标签的多期相数据包括至少两个期相;最终带标签的多期相数据绑定的标签为真实标签;
S2、构建多期相HCC判断模型;
如图1所示,所述的步骤S2的多期相HCC判断模型是骨干网络模型,所述的多期相HCC判断模型包括与期相数量相同的若干条编码路径,所述的编码路径分别对各个期相的图像进行输入和处理,所述的编码路径结构均相同,两两互为对称放置,每条编码器包含若干编码器;每两条相邻的编码器中间均连接有若干MFIFM模块(Multiphase FeatureInteraction Fusion Module,多期相特征交互融合模块);经过该层MFIFM模块融合处理后的融合特征图经过若干反卷积层输入到拼接融合分类路径中进行融合处理;经过每个MFIFM模块处理的融合特征图均经过若干反卷积层输入到拼接融合分类路径进行拼接融合计算;所述的拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层;
编码路径均是基于迁移学习的ResNet编码路径,所述的编码路径的起始均是一个3D 卷积下采样层,该3D 卷积下采样层下面经过若干ResNet Block结构再连接到下一个3D卷积下采样层,每个ResNet Block结构如图2所示,图中m标识通道数;如此重复布置若干个3D卷积下采样层,直到最下层的3D 卷积下采样层结束,所述的最下层的3D 卷积下采样层下方不再连接若干ResNet Block;每条编码路径的3D 卷积下采样层的数量保持一致;MFIFM模块的数量与编码路径中的编码块的数量相同的;每两条相邻的编码路径中每个编码块得到的特征图均输入到位于编码路径中间的与编码块所对应的MFIFM模块中;第一个MFIFM模块的输出端均经过一个卷积层并concat,第二个MFIFM模块到最后一个MFIFM模块的输出端均分别经过若干反卷积层并concat,从而将所有的MFIFM模块的输出特征图统一为约定特征尺寸,连接到同一个拼接融合分类路径,该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连,输入结果,进行后续判断;
每一个瓶颈结构如图2所示:Bottleneck(瓶颈层)是两端为点卷积,中间为核心权重卷积的Block结构,在Block头尾存在一条快捷恒等映射,Bottleneck由于核心权重卷积的通道数变小,可以在增加模型深度的同时,大幅减少计算量。
所述的MFIFM模块的结构如图3所示:两个期相的特征图、相减后卷积,并记为;两个期相的特征图、相加后卷积记为;将、拼接并卷积,记为,对于首个MFIFM将、、拼接得到;有C个通道,然后将输入GAM(GroupAttention modules,分组注意模块),GAM将所有输入通道C分为K裂变,得到每个裂变通道为;每个裂变内进行分组卷积,分为G组,每个分组直线的通道数为,每组进行点卷积和3×3×3卷积,将分组卷积后的特征图加和并进行全局池化,经过两层全连接(FC)第二层FC处理之后得到G个一维数组,对该裂变内的全部一维数组进行Softmax操作得到软注意权重,并将所软注意权重与原分组(1~G)支线3×3×3卷积后的结果相乘,得到软注意力乘积结果;并将G个分组的软注意力乘积结果相加作为该裂变(1~K)的输出;将所有裂变的输出拼接并使用点卷积融合,最后外接GAM的输入进行残差连接得到GAM的输出;是每个运算中的权重;MFIFM模块中的运算公式如下:
;
;
;
;
对于GAM分组注意模块的运算如下:
输入,
进行k组裂变,裂变后的每组,;
;
针对第j组的输入,将其定义为U;
裂变后,进行G组分组,分组后每组,
;
分组后,对于每个:
;
之后,将所有的进行融合:
;
池化过程如下:为的每一个通道,池化后得到,
;
全连接共有两层,第一层,第二层,
;
进行Softmax操作得到软注意权重;其后的操作如下:
,
;
“将所有裂变的输出拼接并使用点卷积融合,最后外接GAM的输入进行残差连接得到GAM的输出”的过程表示如下:
;
S3、网络模型的训练,具体步骤如下:将训练集的数据输入多期相HCC判断模型中进行训练,训练集的数据输入到HCC判断模型中,得到预测值;
将该预测值与S143的实际标签值进行比较,通过公式(2)计算损失值;公式(2)是CrossEntropyLoss交叉熵损失函数,具体如下:
(2)
其中:为模型的输出,即预测值;为真实标签;
将损失值用Adam优化方法对分类网络模型进行权重参数的优化,减少损失值,使分类网络模型具有更高的分类准确性;
通过调整网络模型参数以更好拟合数据集,通过循环迭代训练,保存在验证集上验证损失最小的最优网络模型权重;
S4、利用测试集对HCC判断模型进行测试。
进一步地,进一步地,3D 卷积下采样层的结构为:3D卷积3×3×3,3Dmaxpooling2×2×2,BN+ReLU;瓶颈结构的步长为1。
Claims (2)
1.一种基于交互分组注意机制的多期相占位分类方法,其特征在于,包括:多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证;
所述的预处理具体包括以下步骤:
S1、采集患者的多期相CT图像数据;采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜;并对采集到的多期相CT图像数据进行预处理;所述的步骤S1具体包括以下步骤:
S11、多期相CT图像数据中包括至少两个期相,使用其中一个期相的空间位置为标准,对其它期相进行配准;配准完成后,使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样;
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘,得到肝区多期相数据;
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜,
所述的步骤S13具体包括以下步骤:
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标,
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息;当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1,当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2,从而获取所有孤立目标标签,将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序;
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理;
所述的步骤S133具体包括以下步骤:
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,得到的均值灰化多期相数据;
S1332、通过步骤S132中得到的孤立目标的外接Bounding box坐标信息,获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长,将该外接Bounding box的最大边长延长到1.5倍;以外接Bounding box的中心坐标不变的准则,更新外接Bounding box坐标信息得到倍增外接Bounding box坐标信息;
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪,然后将裁剪得到的多期相数据的体素缩放为约定尺寸,得到裁缩多期相数据;通过步骤S132中孤立目标标签信息与裁缩多期相数据绑定,得到带标签的裁缩多期相数据;
S1334、生成假阳性多期相数据,具体过程为:
将肝脏HCC占位区域和非HCC占位区域作为一个整体,进行均值灰化,并对均值灰化后的数据进行随机裁剪,得到约定尺寸的假阳性多期相数据,将假阳性多期相数据绑定标签信息设置为0,得到带标签的假阳性多期相数据;
S1335、对S1332中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪,具体过程为:统计对S1332中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围,计算0.05-99.5百分比的HU值的范围作为窗宽窗位,以确定目标HU值范围,并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪,得到约定尺寸的带标签的待增强多期相数据;至此对S132中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束;
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化;
S141.利用公式(1)对S1334的带标签的待增强多期相数据进行Z-score归一化,得到带标签的归一化多期相数据;
所述的公式(1)如下:
Z=(x-μ)/σ(1)
其中x为图像中像素的HU值,μ为所有像素HU值的均值,σ为所有像素的标准差;
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计,并进行数据增强,增强后标签比例为1:1:1;
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强,得到最终带标签的多期相数据,将该多期相数据按照8:2的比例进行随机划分,依次得到训练集、测试集;所述的最终带标签的多期相数据包括至少两个期相;最终带标签的多期相数据绑定的标签为真实标签;
S2、构建多期相HCC判断模型;
所述的步骤S2的多期相HCC判断模型是骨干网络模型,所述的多期相HCC判断模型包括与期相数量相同的若干条编码路径,所述的编码路径分别对各个期相的图像进行输入和处理,所述的编码路径结构均相同,两两互为对称放置,每条编码路径包含若干编码器;每两条相邻的编码路径中间均连接有若干MFIFM模块;第一个MFIFM模块的输出端均经过一个卷积层并concat,第二个MFIFM模块到最后一个MFIFM模块的输出端均分别经过若干反卷积层并concat,从而将所有的MFIFM模块的输出特征图统一为约定特征尺寸,连接到同一个拼接融合分类路径;所述的拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D卷积下采样层;
编码路径均是基于迁移学习的ResNet编码路径,所述的编码路径的起始均是一个3D卷积下采样层,该3D卷积下采样层下面经过若干ResNet Block结构再连接到下一个3D卷积下采样层;如此重复布置若干个3D卷积下采样层,直到最下层的3D卷积下采样层结束,所述的最下层的3D卷积下采样层下方不再连接若干ResNet Block;每条编码路径的3D卷积下采样层的数量保持一致;MFIFM模块的数量与编码路径中的编码块的数量相同的;每两条相邻的编码路径中每个编码块得到的特征图均输入到位于编码路径中间的与编码块所对应的MFIFM模块中;经过该层MFIFM模块融合处理后的融合特征图经过若干反卷积层输入到拼接融合分类路径中进行融合处理;经过每个MFIFM模块处理的融合特征图均经过若干反卷积层输入到拼接融合分类路径进行拼接融合计算,该计算结果经过若干个瓶颈结构与若干个3D卷积下采样层相连,输入结果,进行后续判断;
S3、网络模型的训练,具体步骤如下:将训练集的数据输入多期相HCC判断模型中进行训练,训练集的数据输入到多期相HCC判断模型中,得到预测值;
将该预测值与S143的真实标签进行比较,通过公式(2)计算损失值;公式(2)是CrossEntropyLoss交叉熵损失函数,具体如下:
其中:y′i为模型的输出,即预测值;yi为真实标签;
将损失值用Adam优化方法对分类网络模型进行权重参数的优化,减少损失值,使分类网络模型具有更高的分类准确性;
通过调整网络模型参数以更好拟合数据集,通过循环迭代训练,保存在验证集上验证损失最小的最优网络模型权重;
S4、利用测试集对多期相HCC判断模型进行测试。
2.如权利要求1所述的一种基于交互分组注意机制的多期相占位分类方法,其特征在于,所述的3D卷积下采样层的结构为:3D卷积3×3×3,3Dmaxpooling2×2×2,BN+ReLU;瓶颈结构的步长为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211373349.0A CN115439473B (zh) | 2022-11-04 | 2022-11-04 | 一种基于交互分组注意机制的多期相占位分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211373349.0A CN115439473B (zh) | 2022-11-04 | 2022-11-04 | 一种基于交互分组注意机制的多期相占位分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115439473A CN115439473A (zh) | 2022-12-06 |
CN115439473B true CN115439473B (zh) | 2023-04-07 |
Family
ID=84253094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211373349.0A Active CN115439473B (zh) | 2022-11-04 | 2022-11-04 | 一种基于交互分组注意机制的多期相占位分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115439473B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117520903A (zh) * | 2023-12-05 | 2024-02-06 | 上海韶脑传感技术有限公司 | 一种基于Transformer的半脑脑电运动想象分类算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658105A (zh) * | 2021-07-21 | 2021-11-16 | 杭州深睿博联科技有限公司 | 一种3d肝脏病灶检测方法及装置 |
CN114419111A (zh) * | 2021-11-26 | 2022-04-29 | 复影(上海)医疗科技有限公司 | 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统 |
CN114830175A (zh) * | 2019-12-20 | 2022-07-29 | 基因泰克公司 | 利用医学图像的自动肿瘤识别与分割 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014044854A1 (en) * | 2012-09-21 | 2014-03-27 | Integragen | A method for prognosis of global survival and survival without relapse in hepatocellular carcinoma |
AU2019263869A1 (en) * | 2018-05-03 | 2020-11-26 | Grail, Inc. | Size-tagged preferred ends and orientation-aware analysis for measuring properties of cell-free mixtures |
CN112927799B (zh) * | 2021-04-13 | 2023-06-27 | 中国科学院自动化研究所 | 融合多示例学习和多任务深度影像组学的生存期分析系统 |
CN113657503A (zh) * | 2021-08-18 | 2021-11-16 | 上海交通大学 | 一种基于多模态数据融合的恶性肝肿瘤分类方法 |
-
2022
- 2022-11-04 CN CN202211373349.0A patent/CN115439473B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114830175A (zh) * | 2019-12-20 | 2022-07-29 | 基因泰克公司 | 利用医学图像的自动肿瘤识别与分割 |
CN113658105A (zh) * | 2021-07-21 | 2021-11-16 | 杭州深睿博联科技有限公司 | 一种3d肝脏病灶检测方法及装置 |
CN114419111A (zh) * | 2021-11-26 | 2022-04-29 | 复影(上海)医疗科技有限公司 | 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115439473A (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
CN112150442A (zh) | 基于深度卷积神经网络及多实例学习的新冠诊断系统 | |
Zhao et al. | 3D graph anatomy geometry-integrated network for pancreatic mass segmentation, diagnosis, and quantitative patient management | |
CN113362295A (zh) | 基于自监督密集卷积神经网络的肝脏肿瘤识别方法 | |
CN115439473B (zh) | 一种基于交互分组注意机制的多期相占位分类方法 | |
CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
Feng et al. | Mutual-complementing framework for nuclei detection and segmentation in pathology image | |
CN114119525A (zh) | 一种细胞医学图像分割的方法和系统 | |
CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
Dou et al. | Automatic lesion detection with three-dimensional convolutional neural networks | |
CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
CN114494289A (zh) | 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法 | |
Nayan et al. | Mediastinal lymph node detection and segmentation using deep learning | |
Chen et al. | Adaptive Cross Entropy for ultrasmall object detection in Computed Tomography with noisy labels | |
Ren et al. | Towards automated polyp segmentation using weakly-and semi-supervised learning and deformable transformers | |
CN111476802B (zh) | 一种医学图像分割与肿瘤检测方法,设备及可读存储介质 | |
CN115564770B (zh) | 一种基于深度卷积网络模型的多期相占位分类方法 | |
Xu et al. | Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network | |
Nie et al. | Semantic-guided encoder feature learning for blurry boundary delineation | |
Le et al. | RRc-UNet 3D for lung tumor segmentation from CT scans of Non-Small Cell Lung Cancer patients | |
US20220287647A1 (en) | Disease classification by deep learning models | |
CN114882282A (zh) | 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |