CN115439473A - 一种基于交互分组注意机制的多期相占位分类方法 - Google Patents

一种基于交互分组注意机制的多期相占位分类方法 Download PDF

Info

Publication number
CN115439473A
CN115439473A CN202211373349.0A CN202211373349A CN115439473A CN 115439473 A CN115439473 A CN 115439473A CN 202211373349 A CN202211373349 A CN 202211373349A CN 115439473 A CN115439473 A CN 115439473A
Authority
CN
China
Prior art keywords
hcc
phase
data
liver
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211373349.0A
Other languages
English (en)
Other versions
CN115439473B (zh
Inventor
王博
赵威
申建虎
张伟
徐正清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Precision Diagnosis Medical Technology Co ltd
Original Assignee
Beijing Precision Diagnosis Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Precision Diagnosis Medical Technology Co ltd filed Critical Beijing Precision Diagnosis Medical Technology Co ltd
Priority to CN202211373349.0A priority Critical patent/CN115439473B/zh
Publication of CN115439473A publication Critical patent/CN115439473A/zh
Application granted granted Critical
Publication of CN115439473B publication Critical patent/CN115439473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于交互分组注意机制的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证，其中HCC判断模型可以处理多期相的图像数据，实现了对占位是否是HCC的分类的判断。能够实现判断输入的多期相图像的是HCC还是非HCC，能够避免由于尺寸差异和占位临近导致误截造成的误判、拥有更好的“快进快出”特征提取能力。

Description

一种基于交互分组注意机制的多期相占位分类方法
技术领域
本发明属于深度学习对医学图像分类技术领域，涉及一种基于交互分组注意机制的多期相占位分类方法。
背景技术
原发性肝癌中最常见的为原发性肝细胞肝癌(hepatocellular carcinoma,HCC)，是全世界癌症相关死亡率的第三大常见原因，因HCC与其他种类肝脏病变的治疗及预后存在差异，因此术前进行病灶的分类研究显得尤为重要。
现有技术方面，深度学习属于机器学习的研究方向，对于样本数据的内在规律及表示层次进行学习，并能自动的从简单特征中提取更加复杂的特征，深度学习最具代表性的一类方法是深度神经网络，神经网络试图模拟大脑神经元层的活动，以学习如何识别数据中的复杂模式。随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段，深度学习(Deeplearning ,DL)，特别是深度卷积神经网络(Convolutional neural networks ,CNNs)已经迅速发展成为医学图像分析的研究热点，它能够从医学图像数据中自动提取隐含的疾病诊断特征。
近年来，深度学习在肝癌图像分类方面取得了重大进展，但是尽管对于肝癌的相关工作有了一定进展，对于HCC及其他肝脏病变图像的分类方法还存在空缺。在处理图像的分类上，对医生来说，通过对比动脉期和动脉期图像的明暗变化更易辨别和勾画HCC病灶，通过观察病灶形态和包膜信息以初步判断病灶的类别，因此使用多期相CT图像进行HCC分类研究，有着重要的临床意义。
当前的HCC病灶分类模型很少，通常使用ResNet作为骨干网络来提取特征，而ResNet本质上是对之前层级中已提取特征的复用，提取的特征中冗余度比较高，并且ResNet网络结构参数过多，训练时间长。在特征提取上，ResNet网络未能对不同期相图像进行特征交互提取，尤其是无法通过对比交互动脉期和动脉期图像的密度变化，从而造成特征提取效果不明显，且边缘包膜和形态信息不明显，对于分类过程中的占位特征提取效率低，因此造成分类准确度降低，分类过程冗余，随着层数增加特征提取效果变差。
在特征提取网络的输入选择上，现有技术通常使用二维单/多期相图像或三维单期相图像的网络模型进行训练。二维单期相图像会导致信息缺失，二维多期相图像虽然对比信息更为丰富，但由于肝脏病灶通常为三维数据，降维的单层CT图像需要经过冗繁的切片选择前处理，并且无法包含足够的空间特征，此外三维单期相图像无法学习到不同期相特征对比的信息。现有技术针对多期相图像关于HCC及其他肝脏病变的分类多只应用了有关影像组学的方法，少量应用了基于二维医学图像的深度学习分类方法，本发明着眼于三维多期相图像在深度学习领域进行HCC及其他肝脏病变的图像分类，解决了上诉提到的问题。
本发明提出了一种基于深度学习的多期相图像HCC分类方法，该发明基于多期相的迁移学习及多期相融合互注意改进的卷积神经分类网络分类方法，在深度学习领域达到了很好的区分肝细胞癌（HCC）与其他肝脏病变图像的效果。该方法使用自适应窗宽窗位设计进行图像预处理，改进的ResNet网络对不同期相的输入图像进行学习，并通过MFIFM模块（Multi-phase mutual attention fusion module，多期相互注意融合模块）提升HCC与非HCC的特征区分，从而提升分类准确性，实现不同种类病变和HCC的分类。
发明内容
本发明的目的是提供一种基于交互分组注意机制的多期相占位分类方法，可以实现不同种类病变和HCC的分类。
本发明所采用的技术方案是，
一种基于交互分组注意机制的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证；
预处理具体包括以下步骤：
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理，预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理；
步骤S1具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
步骤S133具体包括以下步骤：
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式（1）对S142的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
公式（1）如下：
Figure 640083DEST_PATH_IMAGE001
（1）
其中
Figure 439412DEST_PATH_IMAGE002
为图像中像素的HU值，
Figure 775846DEST_PATH_IMAGE003
为所有像素HU值的均值，
Figure 268008DEST_PATH_IMAGE004
为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例约为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
S2、构建多期相HCC判断模型；
步骤S2的多期相HCC判断模型是骨干网络模型，多期相HCC判断模型包括与期相数量相同的若干条编码路径，编码路径分别对各个期相的图像进行输入和处理，编码路径结构均相同，两两互为对称放置，每两条相邻的编码路径的中间均连接有若干MFIFM模块，编码路径输出端和MFIFM模块的输出端均连接到同一个拼接融合分类路径；拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层；
编码路径均是基于迁移学习的ResNet编码路径，编码路径的起始均是一个3D 卷积下采样层，该3D 卷积下采样层下面经过3个瓶颈结构再连接到下一个3D 卷积下采样层，如此重复布置若干个3D卷积下采样层，直到最下层的3D 卷积下采样层结束，最下层的3D卷积下采样层下方不再连接3个瓶颈结构；每条编码路径的3D 卷积下采样层的数量保持一致；MFIFM模块的数量与编码路径中的3D 卷积下采样层的数量相同的；每两条相邻的编码路径中每个经过3D 卷积下采样层处理后得到的特征图均输入到位于编码路径中间的与3D卷积下采样层所对应的MFIFM模块中；经过该层MFIFM模块融合处理后的融合特征图经过卷积下采样输入到下一层的MFIFM模块中进行融合处理；
经过每条编码路径中最下层的3D 卷积下采样层处理后得到的特征图和最下层的MFIFM模块处理的融合特征图均输入到concat拼接模块进行拼接融合计算，该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连，输入结果，进行后续判断；
S3、网络模型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到HCC判断模型中，得到预测值；
将该预测值与S143的实际标签值进行比较，通过公式（2）计算损失值；公式（2）是CrossEntropyLoss交叉熵损失函数，具体如下：
Figure 546849DEST_PATH_IMAGE005
（2）
其中：
Figure 149869DEST_PATH_IMAGE006
为模型的输出，即预测值；
Figure 606389DEST_PATH_IMAGE007
为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重；
S4、利用测试集对HCC判断模型进行测试。
进一步地，3D 卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，BN+ReLU；瓶颈结构的步长为1。
本发明的有益效果是
1、通常进行HCC图像的分类时，多使用经过筛选的2D图像，或进行多期相的2D图像的通道合并，或进行单期相（动脉期）的2.5D相邻多切片，或使用包含周围组织的小体积。本发明使用包含周围组织的3D体积，最大程度保留病变的多期相图像信息和空间形态信息，并且在裁剪周围组织信息前，对其他占位进行灰化操作，从而避免由于尺寸差异和占位临近导致误截造成的误判。
2、 使用双路线迁移ResNet和融合模块构成的融合网络进行特征提取，其骨干网络通过两条ResNet路线分别学习特征，并通过融合模块进行互注意，从而实现了HCC病灶与其他肝脏病变的分类。
3、使用新的图像预处理方法对凸显特征影响明显的窗宽窗位进行自适应设置，去除掉大部分干扰信息，并降低网络训练难度。
4、 多期相的特征融合模块提取并学习了不同期相目标区域与周围组织的特征对比，在特征程度上学习了HCC的“快进快出”典型表现，降低网络训练难度。
5、 使用迁移学习增加模型收敛效率。
附图说明
图1是本发明中的多期相HCC判断模型结构示意图；
图2是本发明中的瓶颈结构示意图；
图3是本发明中的MFIFM模块的结构示意图；
图4是本中的GAM模块的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于交互分组注意机制的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证；
预处理具体包括以下步骤：
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理，预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理；
步骤S1中的预处理具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；本实施例选取动脉期图像和静脉期图像；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
步骤S133具体包括以下步骤：
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；由此可见本发明使用包含周围组织的3D体积，最大程度保留病变的多期相图像信息和空间形态信息，并且在裁剪周围组织信息前，对其他占位进行灰化操作，从而避免由于尺寸差异和占位临近导致误截造成的误判。使用新的图像预处理方法对凸显特征影响明显的窗宽窗位进行自适应设置，去除掉大部分干扰信息，并降低网络训练难度。
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式（1）对S142的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
公式（1）如下：
Figure 3873DEST_PATH_IMAGE001
（1）
其中
Figure 44379DEST_PATH_IMAGE002
为图像中像素的HU值，
Figure 185510DEST_PATH_IMAGE003
为所有像素HU值的均值，
Figure 496537DEST_PATH_IMAGE004
为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例约为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
S2、构建多期相HCC判断模型；
如图1所示，所述的步骤S2的多期相HCC判断模型是骨干网络模型，所述的多期相HCC判断模型包括与期相数量相同的若干条编码路径，所述的编码路径分别对各个期相的图像进行输入和处理，所述的编码路径结构均相同，两两互为对称放置，每条编码器包含若干编码器；每两条相邻的编码器中间均连接有若干MFIFM模块（Multiphase FeatureInteraction Fusion Module，多期相特征交互融合模块）；经过该层MFIFM模块融合处理后的融合特征图经过若干反卷积层输入到拼接融合分类路径中进行融合处理；经过每个MFIFM模块处理的融合特征图均经过若干反卷积层输入到拼接融合分类路径进行拼接融合计算；所述的拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层；
编码路径均是基于迁移学习的ResNet编码路径，所述的编码路径的起始均是一个3D 卷积下采样层，该3D 卷积下采样层下面经过若干ResNet Block结构再连接到下一个3D卷积下采样层，每个ResNet Block结构如图2所示，图中m标识通道数；如此重复布置若干个3D卷积下采样层，直到最下层的3D 卷积下采样层结束，所述的最下层的3D 卷积下采样层下方不再连接若干ResNet Block；每条编码路径的3D 卷积下采样层的数量保持一致；MFIFM模块的数量与编码路径中的编码块的数量相同的；每两条相邻的编码路径中每个编码块得到的特征图均输入到位于编码路径中间的与编码块所对应的MFIFM模块中；第一个MFIFM模块的输出端均经过一个卷积层并concat，第二个MFIFM模块到最后一个MFIFM模块的输出端均分别经过若干反卷积层并concat，从而将所有的MFIFM模块的输出特征图统一为约定特征尺寸，连接到同一个拼接融合分类路径，该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连，输入结果，进行后续判断；
每一个瓶颈结构如图2所示：Bottleneck（瓶颈层）是两端为点卷积，中间为核心权重卷积的Block结构，在Block头尾存在一条快捷恒等映射，Bottleneck由于核心权重卷积的通道数变小，可以在增加模型深度的同时，大幅减少计算量。
所述的MFIFM模块的结构如图3所示：两个期相的特征图
Figure 379435DEST_PATH_IMAGE008
、
Figure 657970DEST_PATH_IMAGE009
相减后卷积，并记 为
Figure 353525DEST_PATH_IMAGE010
;两个期相的特征图
Figure 768326DEST_PATH_IMAGE011
、
Figure 22458DEST_PATH_IMAGE012
相加后卷积记为
Figure 522710DEST_PATH_IMAGE013
；将
Figure 818693DEST_PATH_IMAGE011
、
Figure 605777DEST_PATH_IMAGE014
拼接并卷积，记为
Figure 515964DEST_PATH_IMAGE015
,对于 首个MFIFM将
Figure 316561DEST_PATH_IMAGE016
、
Figure 914770DEST_PATH_IMAGE017
、
Figure 54896DEST_PATH_IMAGE015
拼接得到
Figure 716077DEST_PATH_IMAGE018
；
Figure 190921DEST_PATH_IMAGE018
有C个通道，然后将
Figure 828707DEST_PATH_IMAGE019
输入GAM（Group Attention modules，分组注意模块），GAM将所有输入通道C分为K裂变，得到每个裂变通道 为
Figure 321874DEST_PATH_IMAGE020
;每个裂变内进行分组卷积，分为G组，每个分组直线的通道数为
Figure 652492DEST_PATH_IMAGE021
，每组进行 点卷积和3×3×3卷积，将分组卷积后的特征图加和并进行全局池化，经过两层全连接(FC) 第二层FC处理之后得到G个一维数组，对该裂变内的全部一维数组进行Softmax操作得到软 注意权重，并将所软注意权重与原分组(1~G)支线3×3×3卷积后的结果相乘，得到软注意 力乘积结果；并将G个分组的软注意力乘积结果相加作为该裂变（1~K）的输出；将所有裂变 的输出拼接并使用点卷积融合，最后外接GAM的输入进行残差连接得到GAM的输出
Figure 614632DEST_PATH_IMAGE022
；
Figure 506976DEST_PATH_IMAGE023
是 每个运算中的权重；MFIFM模块中的运算公式如下：
Figure 418431DEST_PATH_IMAGE024
；
Figure 106901DEST_PATH_IMAGE025
；
Figure 805605DEST_PATH_IMAGE026
；
Figure 972144DEST_PATH_IMAGE027
；
对于GAM分组注意模块的运算如下：
输入
Figure 3685DEST_PATH_IMAGE028
，
进行k组裂变，裂变后的每组
Figure 115254DEST_PATH_IMAGE029
，
Figure 786407DEST_PATH_IMAGE030
；
Figure 772948DEST_PATH_IMAGE031
；
针对第j组的输入
Figure 845946DEST_PATH_IMAGE032
,将其定义为U；
裂变后，进行G组分组，分组后每组
Figure 187804DEST_PATH_IMAGE033
，
Figure 96985DEST_PATH_IMAGE034
；
分组后，对于每个
Figure 605327DEST_PATH_IMAGE035
：
Figure 50608DEST_PATH_IMAGE036
；
之后，将所有的
Figure 64832DEST_PATH_IMAGE037
进行融合：
Figure 710577DEST_PATH_IMAGE038
;
池化过程如下：
Figure 271877DEST_PATH_IMAGE039
为
Figure 319467DEST_PATH_IMAGE040
的每一个通道，池化后得到
Figure 442275DEST_PATH_IMAGE041
，
Figure 575316DEST_PATH_IMAGE042
；
全连接共有两层，第一层
Figure 5554DEST_PATH_IMAGE043
，第二层
Figure 455121DEST_PATH_IMAGE044
,
Figure 512945DEST_PATH_IMAGE045
；
进行Softmax操作得到软注意权重
Figure 867703DEST_PATH_IMAGE046
;其后的操作如下：
Figure 537849DEST_PATH_IMAGE047
，
Figure 91191DEST_PATH_IMAGE048
；
“将所有裂变的输出拼接并使用点卷积融合，最后外接GAM的输入进行残差连接得 到GAM的输出
Figure 311126DEST_PATH_IMAGE049
”的过程表示如下：
Figure 966230DEST_PATH_IMAGE050
;
S3、网络模型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到HCC判断模型中，得到预测值；
将该预测值与S143的实际标签值进行比较，通过公式（2）计算损失值；公式（2）是CrossEntropyLoss交叉熵损失函数，具体如下：
Figure 627018DEST_PATH_IMAGE051
（2）
其中：
Figure 284133DEST_PATH_IMAGE006
为模型的输出，即预测值；
Figure 637754DEST_PATH_IMAGE007
为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重；
S4、利用测试集对HCC判断模型进行测试。
进一步地，进一步地，3D 卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，BN+ReLU；瓶颈结构的步长为1。

Claims (2)

1.一种基于交互分组注意机制的多期相占位分类方法，其特征在于，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证；
所述的预处理具体包括以下步骤：
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理，预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理；
所述的步骤S1具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
所述的步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
所述的步骤S133具体包括以下步骤：
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Bounding box坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式（1）对S142的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
所述的公式（1）如下：
Figure 510590DEST_PATH_IMAGE001
（1）
其中
Figure 121700DEST_PATH_IMAGE002
为图像中像素的HU值，
Figure 22791DEST_PATH_IMAGE003
为所有像素HU值的均值，
Figure 352141DEST_PATH_IMAGE004
为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例约为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；所述的最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
S2、构建多期相HCC判断模型；
所述的步骤S2的多期相HCC判断模型是骨干网络模型，所述的多期相HCC判断模型包括与期相数量相同的若干条编码路径，所述的编码路径分别对各个期相的图像进行输入和处理，所述的编码路径结构均相同，两两互为对称放置，每条编码器包含若干编码器；每两条相邻的编码器中间均连接有若干MFIFM模块；第一个MFIFM模块的输出端均经过一个卷积层并concat，第二个MFIFM模块到最后一个MFIFM模块的输出端均分别经过若干反卷积层并concat，从而将所有的MFIFM模块的输出特征图统一为约定特征尺寸，连接到同一个拼接融合分类路径；所述的拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D卷积下采样层；
编码路径均是基于迁移学习的ResNet编码路径，所述的编码路径的起始均是一个3D卷积下采样层，该3D 卷积下采样层下面经过若干ResNet Block结构再连接到下一个3D 卷积下采样层，每个ResNet Block结构如图2所示，图中m标识通道数；如此重复布置若干个3D卷积下采样层，直到最下层的3D 卷积下采样层结束，所述的最下层的3D 卷积下采样层下方不再连接若干ResNet Block；每条编码路径的3D 卷积下采样层的数量保持一致；MFIFM模块的数量与编码路径中的编码块的数量相同的；每两条相邻的编码路径中每个编码块得到的特征图均输入到位于编码路径中间的与编码块所对应的MFIFM模块中；经过该层MFIFM模块融合处理后的融合特征图经过若干反卷积层输入到拼接融合分类路径中进行融合处理；经过每个MFIFM模块处理的融合特征图均经过若干反卷积层输入到拼接融合分类路径进行拼接融合计算，该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连，输入结果，进行后续判断；
S3、网络模型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到HCC判断模型中，得到预测值；
将该预测值与S143的实际标签值进行比较，通过公式（2）计算损失值；公式（2）是CrossEntropyLoss交叉熵损失函数，具体如下：
Figure 862626DEST_PATH_IMAGE005
（2）
其中：
Figure 141291DEST_PATH_IMAGE006
为模型的输出，即预测值；
Figure 462551DEST_PATH_IMAGE007
为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重；
S4、利用测试集对HCC判断模型进行测试。
2.如权利要求1所述的一种基于交互分组注意机制的多期相占位分类方法，其特征在于，所述的3D 卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，BN+ReLU；瓶颈结构的步长为1。
CN202211373349.0A 2022-11-04 2022-11-04 一种基于交互分组注意机制的多期相占位分类方法 Active CN115439473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211373349.0A CN115439473B (zh) 2022-11-04 2022-11-04 一种基于交互分组注意机制的多期相占位分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211373349.0A CN115439473B (zh) 2022-11-04 2022-11-04 一种基于交互分组注意机制的多期相占位分类方法

Publications (2)

Publication Number Publication Date
CN115439473A true CN115439473A (zh) 2022-12-06
CN115439473B CN115439473B (zh) 2023-04-07

Family

ID=84253094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211373349.0A Active CN115439473B (zh) 2022-11-04 2022-11-04 一种基于交互分组注意机制的多期相占位分类方法

Country Status (1)

Country Link
CN (1) CN115439473B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769131A (zh) * 2012-09-21 2015-07-08 英特盖根公司 用于在肝细胞癌中预后整体存活和无复发存活的方法
US20190341127A1 (en) * 2018-05-03 2019-11-07 The Chinese University Of Hong Kong Size-tagged preferred ends and orientation-aware analysis for measuring properties of cell-free mixtures
CN112927799A (zh) * 2021-04-13 2021-06-08 中国科学院自动化研究所 融合多示例学习和多任务深度影像组学的生存期分析系统
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN113658105A (zh) * 2021-07-21 2021-11-16 杭州深睿博联科技有限公司 一种3d肝脏病灶检测方法及装置
CN114419111A (zh) * 2021-11-26 2022-04-29 复影(上海)医疗科技有限公司 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统
CN114830175A (zh) * 2019-12-20 2022-07-29 基因泰克公司 利用医学图像的自动肿瘤识别与分割

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104769131A (zh) * 2012-09-21 2015-07-08 英特盖根公司 用于在肝细胞癌中预后整体存活和无复发存活的方法
US20190341127A1 (en) * 2018-05-03 2019-11-07 The Chinese University Of Hong Kong Size-tagged preferred ends and orientation-aware analysis for measuring properties of cell-free mixtures
CN114830175A (zh) * 2019-12-20 2022-07-29 基因泰克公司 利用医学图像的自动肿瘤识别与分割
CN112927799A (zh) * 2021-04-13 2021-06-08 中国科学院自动化研究所 融合多示例学习和多任务深度影像组学的生存期分析系统
CN113658105A (zh) * 2021-07-21 2021-11-16 杭州深睿博联科技有限公司 一种3d肝脏病灶检测方法及装置
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN114419111A (zh) * 2021-11-26 2022-04-29 复影(上海)医疗科技有限公司 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁立华等: "多层螺旋CT行肝脏增强后多期扫描对肝细胞癌病灶检出率的影响分析", 《胃肠病学和肝病学杂志》 *

Also Published As

Publication number Publication date
CN115439473B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN109063710B (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN113362295A (zh) 基于自监督密集卷积神经网络的肝脏肿瘤识别方法
Zhao et al. 3D graph anatomy geometry-integrated network for pancreatic mass segmentation, diagnosis, and quantitative patient management
Xie et al. SERU: A cascaded SE‐ResNeXT U‐Net for kidney and tumor segmentation
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114119525A (zh) 一种细胞医学图像分割的方法和系统
Feng et al. Mutual-complementing framework for nuclei detection and segmentation in pathology image
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
Dou et al. Automatic lesion detection with three-dimensional convolutional neural networks
CN115439473B (zh) 一种基于交互分组注意机制的多期相占位分类方法
Sun et al. Signet ring cells detection in histology images with similarity learning
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN115564770B (zh) 一种基于深度卷积网络模型的多期相占位分类方法
Ren et al. Towards automated polyp segmentation using weakly-and semi-supervised learning and deformable transformers
US20220287647A1 (en) Disease classification by deep learning models
CN115797378A (zh) 基于几何交并比损失的前列腺轮廓分割方法
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
Le et al. RRc-UNet 3D for lung tumor segmentation from CT scans of Non-Small Cell Lung Cancer patients
CN114418949A (zh) 基于三维u型网络与通道注意力的肺结节检测方法
CN114565631A (zh) 一种基于双层卷积网络和掩码细化的植物叶片精细分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant