CN115564770B - 一种基于深度卷积网络模型的多期相占位分类方法 - Google Patents

一种基于深度卷积网络模型的多期相占位分类方法 Download PDF

Info

Publication number
CN115564770B
CN115564770B CN202211408691.XA CN202211408691A CN115564770B CN 115564770 B CN115564770 B CN 115564770B CN 202211408691 A CN202211408691 A CN 202211408691A CN 115564770 B CN115564770 B CN 115564770B
Authority
CN
China
Prior art keywords
phase
hcc
data
liver
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211408691.XA
Other languages
English (en)
Other versions
CN115564770A (zh
Inventor
王博
赵威
申建虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Precision Diagnosis Medical Technology Co ltd
Original Assignee
Beijing Precision Diagnosis Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Precision Diagnosis Medical Technology Co ltd filed Critical Beijing Precision Diagnosis Medical Technology Co ltd
Priority to CN202211408691.XA priority Critical patent/CN115564770B/zh
Publication of CN115564770A publication Critical patent/CN115564770A/zh
Application granted granted Critical
Publication of CN115564770B publication Critical patent/CN115564770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积网络模型的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证，其中HCC判断模型可以处理多期相的图像数据，实现了对占位是否是HCC的分类的判断。能够实现判断输入的多期相图像的是HCC还是非HCC，能够避免由于尺寸差异和占位临近导致误截造成的误判、拥有更好的“快进快出”特征提取能力。

Description

一种基于深度卷积网络模型的多期相占位分类方法
技术领域
本发明涉及医学图像处理和人工智能技术领域，涉及一种基于深度卷积网络模型的多期相占位分类方法。
背景技术
原发性肝癌中最常见的为原发性肝细胞肝癌(hepatocellular carcinoma,HCC)，是全世界癌症相关死亡率的第三大常见原因， HCC与其他种类肝脏病变的治疗及预后存在差异，因此术前进行病灶的分类研究显得尤为重要。
现有技术方面，深度学习属于机器学习的研究方向，对于样本数据的内在规律及表示层次进行学习，并能自动的从简单特征中提取更加复杂的特征，深度学习最具代表性的一类方法是深度神经网络，神经网络试图模拟大脑神经元层的活动，以学习如何识别数据中的复杂模式。随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段，深度学习(Deeplearning ,DL)，特别是深度卷积神经网络(Convolutional neural networks ,CNNs)已经迅速发展成为医学图像分析的研究热点，它能够从医学图像数据中自动提取隐含的疾病诊断特征。
近年来，深度学习在肝癌图像分类方面取得了重大进展，但是尽管对于肝癌的相关工作有了一定进展，对于HCC及其他肝脏病变图像的分类方法还存在空缺。在处理图像的分类上，对医生来说，通过对比动脉期和动脉期图像的明暗变化更易辨别和勾画HCC病灶，通过观察病灶形态和包膜信息以初步判断病灶的类别，因此使用多期相CT图像进行HCC分类研究，有着重要的临床意义。
当前的HCC病灶分类模型很少，通常使用ResNet作为骨干网络来提取特征，而ResNet本质上是对之前层级中已提取特征的复用，提取的特征中冗余度比较高，并且ResNet网络结构参数过多，训练时间长。在特征提取上，ResNet网络未能对不同期相图像进行特征交互提取，尤其是无法通过对比交互动脉期和动脉期图像的密度变化，从而造成特征提取效果不明显，且边缘包膜和形态信息不明显，对于分类过程中的占位特征提取效率低，因此造成分类准确度降低，分类过程冗余，随着层数增加特征提取效果变差。
在特征提取网络的输入选择上，现有技术通常使用二维单/多期相图像或三维单期相图像的网络模型进行训练。二维单期相图像会导致信息缺失，二维多期相图像虽然对比信息更为丰富，但由于肝脏病灶通常为三维数据，降维的单层CT图像需要经过冗繁的切片选择前处理，并且无法包含足够的空间特征，此外三维单期相图像无法学习到不同期相特征对比的信息=。现有技术针对多期相图像关于HCC及其他肝脏病变的分类多只应用了有关影像组学的方法，少量应用了基于二维医学图像的深度学习分类方法，本发明着眼于三维多期相图像在深度学习领域进行HCC及其他肝脏病变的图像分类，解决了上诉提到的问题。
发明内容
本发明的目的是提供一种基于深度卷积网络模型的多期相占位分类方法，可以实现占位的HCC与非HCC分类。该发明基于多期相的迁移学习及多期相融合互注意改进的卷积神经分类网络分类方法，在深度学习领域达到了很好的区分肝细胞癌（HCC）与其他肝脏病变图像的效果。该方法使用自适应窗宽窗位设计进行图像预处理，改进的ResNet网络对不同期相的输入图像进行学习，并通过MMA模块（Multi-phase mutual attention fusionmodule，多期相互注意融合模块）提升HCC与非HCC的特征区分，从而提升分类准确性，实现不同种类病变和HCC的分类。
本发明所采用的技术方案是，
一种基于深度卷积网络模型的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证；
预处理具体包括以下步骤：
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理，预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理；
步骤S1具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
步骤S133具体包括以下步骤：
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式（1）对S142的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
公式（1）如下：
                          （1）
其中为图像中像素的HU值，为所有像素HU值的均值，为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例约为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
 S2、构建多期相HCC判断模型；
 步骤S2的多期相HCC判断模型是骨干网络模型，多期相HCC判断模型包括与期相数量相同的若干条编码路径，编码路径分别对各个期相的图像进行输入和处理，编码路径结构均相同，两两互为对称放置，每两条相邻的编码路径的中间均连接有若干MMA模块，编码路径输出端和MMA模块的输出端均连接到同一个拼接融合分类路径；拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层；
编码路径均是基于迁移学习的ResNet编码路径，编码路径的起始均是一个3D 卷积下采样层，该3D 卷积下采样层下面经过3个瓶颈结构再连接到下一个3D 卷积下采样层，如此重复布置若干个3D卷积下采样层，直到最下层的3D 卷积下采样层结束，最下层的3D卷积下采样层下方不再连接3个瓶颈结构；每条编码路径的3D 卷积下采样层的数量保持一致；MAA模块的数量与编码路径中的3D 卷积下采样层的数量相同的；每两条相邻的编码路径中每个经过3D 卷积下采样层处理后得到的特征图均输入到位于编码路径中间的与3D卷积下采样层所对应的MAA模块中；经过该层MMA模块融合处理后的融合特征图经过卷积下采样输入到下一层的MMA模块中进行融合处理；
经过每条编码路径中最下层的3D 卷积下采样层处理后得到的特征图和最下层的MMA模块处理的融合特征图均输入到concat拼接模块进行拼接融合计算，该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连，输入结果，进行后续判断；
S3、网络模型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到HCC判断模型中，得到预测值；
将该预测值与S143的实际标签值进行比较，通过公式（2）计算损失值；公式（2）是CrossEntropyLoss交叉熵损失函数，具体如下：
    （2）
其中：为模型的输出，即预测值；为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重；
S4、利用测试集对HCC判断模型进行测试。
进一步地，3D 卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，s=2+BN+ReLU；瓶颈结构的步长为1。
本发明的有益效果是
通常进行HCC图像的分类时，多使用经过筛选的2D图像，或进行多期相的2D图像的通道合并，或进行单期相（动脉期）的2.5D相邻多切片，或使用包含周围组织的小体积。本发明使用包含周围组织的3D体积，最大程度保留病变的多期相图像信息和空间形态信息，并且在裁剪周围组织信息前，对其他占位进行灰化操作，从而避免由于尺寸差异和占位临近导致误截造成的误判。
附图说明
图1是本发明中的多期相HCC判断模型结构示意图；
图2是本发明中的瓶颈结构示意图；
图3是本发明中的MMA模块的结构示意图；
图4是本发明实施例中的多期相HCC判断模型结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于深度卷积网络模型的多期相占位分类方法，包括：多期相肝脏占位分割CT图像预处理、HCC判断模型构建、HCC判断模型训练、HCC判断模型的测试验证；
预处理具体包括以下步骤：
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理，预处理中肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜参与预处理；
步骤S1中的预处理具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；本实施例选取动脉期图像和静脉期图像；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
步骤S133具体包括以下步骤：
S1331、将非孤立目标的HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S133中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Boundingbox坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S133中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S133中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；由此可见本发明使用包含周围组织的3D体积，最大程度保留病变的多期相图像信息和空间形态信息，并且在裁剪周围组织信息前，对其他占位进行灰化操作，从而避免由于尺寸差异和占位临近导致误截造成的误判。
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式（1）对S142的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
公式（1）如下：
                     （1）
其中为图像中像素的HU值，为所有像素HU值的均值，为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例约为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
S2、构建多期相HCC判断模型；
如图1所示步骤S2的多期相HCC判断模型是骨干网络模型，多期相HCC判断模型包括与期相数量相同的若干条编码路径，编码路径分别对各个期相的图像进行输入和处理，编码路径结构均相同，两两互为对称放置，每两条相邻的编码路径的中间均连接有若干MMA模块，MMA模块的结构如图3所示；编码路径输出端和MMA模块的输出端均连接到同一个拼接融合分类路径；拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D 卷积下采样层；
编码路径均是基于迁移学习的ResNet编码路径，编码路径的起始均是一个3D 卷积下采样层，该3D 卷积下采样层下面经过3个瓶颈结构再连接到下一个3D 卷积下采样层，每个瓶颈结构如图2所示，图中的m表示输入通道数；如此重复布置若干个3D卷积下采样层，直到最下层的3D 卷积下采样层结束，最下层的3D 卷积下采样层下方不再连接3个瓶颈结构；每条编码路径的3D 卷积下采样层的数量保持一致；MAA模块的数量与编码路径中的3D卷积下采样层的数量相同的；每两条相邻的编码路径中每个经过3D 卷积下采样层处理后得到的特征图均输入到位于编码路径中间的与3D 卷积下采样层所对应的MAA模块中；经过该层MMA模块融合处理后的融合特征图经过卷积下采样输入到下一层的MMA模块中进行融合处理；如图4所示，本实施例选取两个期相，对应两个编码路径，输入分别是动脉期图像和静脉期图像；
经过每条编码路径中最下层的3D 卷积下采样层处理后得到的特征图和最下层的MMA模块处理的融合特征图均输入到concat拼接模块进行拼接融合计算，该计算结果经过若干个瓶颈结构与若干个3D 卷积下采样层相连，输入结果，进行后续判断；
S3、网络模型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到HCC判断模型中，得到预测值；
将该预测值与S143的实际标签值进行比较，通过公式（2）计算损失值；公式（2）是CrossEntropyLoss交叉熵损失函数，具体如下：
    （2）
其中：为模型的输出，即预测值；为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重；
S4、利用测试集对HCC判断模型进行测试。
进一步地，3D 卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，s=2+BN+ReLU；瓶颈结构的步长为1。

Claims (2)

1.一种基于深度卷积网络模型的多期相占位分类方法，其特征在于，包括：多期相肝脏占位分割CT图像预处理、多期相HCC判断模型构建、多期相HCC判断模型训练、多期相HCC判断模型的测试验证；
S1、采集患者的多期相CT图像数据；采集患者的肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜；并对采集到的多期相CT图像数据进行预处理；
所述的步骤S1具体包括以下步骤：
S11、多期相CT图像数据中包括至少两个期相，使用其中一个期相的空间位置为标准，对其它期相进行配准；配准完成后，使用三阶spline插值结合最近邻插值对多期相CT图像数据、肝脏区域掩膜、肝脏HCC占位区域掩膜、肝脏非HCC占位区域掩膜进行重采样；
S12、将经过步骤S11重采样之后的肝脏区域掩膜与经过步骤S11重采样之后的多期相CT图像数据相乘，得到肝区多期相数据；
S13、遍历所有肝脏HCC占位区域掩膜和肝脏非HCC占位区域掩膜，
所述的步骤S13具体包括以下步骤：
S131、使用skimage第三方库标记步骤S11重采样之后的肝脏HCC占位区域掩膜或肝脏非HCC占位区域掩膜中的所有孤立目标，
S132、通过skimage第三方库获取所有孤立目标的外接Bounding box坐标信息、孤立目标的体素数量信息；当遍历的掩膜为肝脏HCC占位区域掩膜时获取该孤立目标标签为1，当遍历的掩膜为肝脏非HCC占位区域掩膜时获取该孤立目标标签为2，从而获取所有孤立目标标签，将孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表按照孤立目标的体素数量由大到小排序；
S133、对步骤S132中孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表进行遍历处理；
所述的步骤S133具体包括以下步骤：
S1331、将非孤立目标的肝脏HCC占位区域和肝脏非HCC占位区域作为一个整体，进行均值灰化，得到的均值灰化多期相数据；
S1332、通过步骤S132中得到的孤立目标的外接Bounding box坐标信息，获取该外接Bounding box的中心坐标及该外接Bounding box的最大边长，将该外接Bounding box的最大边长延长到1.5倍；以外接Bounding box的中心坐标不变的准则，更新外接Bounding box坐标信息得到倍增外接Bounding box坐标信息；
S1333、利用倍增外接Bounding box坐标信息对步骤S1331得到的均值灰化多期相数据进行裁剪，然后将裁剪得到的多期相数据的体素缩放为约定尺寸，得到裁缩多期相数据；通过步骤S132中孤立目标标签信息与裁缩多期相数据绑定，得到带标签的裁缩多期相数据；
S1334、生成假阳性多期相数据，具体过程为：
将肝脏HCC占位区域和非HCC占位区域作为一个整体，进行均值灰化，并对均值灰化后的数据进行随机裁剪，得到约定尺寸的假阳性多期相数据，将假阳性多期相数据绑定标签信息设置为0，得到带标签的假阳性多期相数据；
S1335、对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据进行窗宽窗位裁剪，具体过程为：统计对S1333中的带标签的裁缩多期相数据及S1334中的带标签的假阳性多期相数据内像素点的HU值的范围，计算0.05-99.5百分比的HU值的范围作为窗宽窗位，以确定目标HU值范围，并对带标签的裁缩多期相数据和带标签的假阳性多期相数据进行裁剪，得到约定尺寸的带标签的待增强多期相数据；至此对S132中所有符合要求的孤立目标的外接Bounding box坐标信息及孤立目标标签信息列表遍历结束；
S14、对步骤S13中所有在S1335得到的带标签的待增强多期相数据进行数据增强与归一化；
S141.利用公式(1)对S1335的带标签的待增强多期相数据进行Z-score归一化，得到带标签的归一化多期相数据；
所述的公式(1)如下：
Z＝(x-μ)/σ        (1)
其中为x图像中像素的HU值，μ为所有像素HU值的均值，σ为所有像素的标准差；
S142、对步骤S141中的带标签的归一化多期相数据中的标签信息进行统计，并进行数据增强，增强后标签比例为1:1:1；
S143、随机叠加高斯噪声、高斯模糊、对比度增强、gamma增强、镜像翻转中的增强方法对带标签的归一化多期相数据进行数据增强，得到最终带标签的多期相数据，将该多期相数据按照8:2的比例进行随机划分，依次得到训练集、测试集；所述的最终带标签的多期相数据包括至少两个期相；最终带标签的多期相数据绑定的标签为真实标签；
S2、构建多期相HCC判断模型；
所述的步骤S2的多期相HCC判断模型是骨干网络模型，所述的多期相HCC判断模型包括与期相数量相同的若干条编码路径，所述的编码路径分别对各个期相的图像进行输入和处理，所述的编码路径结构均相同，两两互为对称放置，每两条相邻的编码路径的中间均连接有若干MMA模块，编码路径输出端和MMA模块的输出端均连接到同一个拼接融合分类路径；
所述的拼接融合分类路径包括concat拼接模块、若干个瓶颈结构、若干个3D卷积下采样层；所述的编码路径均是基于迁移学习的ResNet编码路径，所述的编码路径的起始均是一个3D卷积下采样层，该3D卷积下采样层下面经过3个瓶颈结构再连接到下一个3D卷积下采样层，如此重复布置若干个3D卷积下采样层，直到最下层的3D卷积下采样层结束，所述的最下层的3D卷积下采样层下方不再连接3个瓶颈结构；每条编码路径的3D卷积下采样层的数量保持一致；所述的MMA模块的数量与编码路径中的3D卷积下采样层的数量相同的；每两条相邻的编码路径中每个经过3D卷积下采样层处理后得到的特征图均输入到位于编码路径中间的与3D卷积下采样层所对应的MMA模块中；经过该层MMA模块融合处理后的融合特征图经过卷积下采样输入到下一层的MMA模块中进行融合处理；
经过每条编码路径中最下层的3D卷积下采样层处理后得到的特征图和最下层的MMA模块处理的融合特征图均输入到concat拼接模块进行拼接融合计算，该计算结果经过若干个瓶颈结构与若干个3D卷积下采样层相连，输入结果，进行后续判断；
S3、多期相HCC判断模2型的训练，具体步骤如下：将训练集的数据输入多期相HCC判断模型中进行训练，训练集的数据输入到多期相HCC判断模型中，得到预测值；
将该预测值与S143的真实标签进行比较，通过公式(2)计算损失值；公式(2)是CrossEntropy Loss交叉熵损失函数，具体如下：
Figure FDA0004090191700000031
其中：y′i为模型的输出，即预测值；yi为真实标签；
将损失值用Adam优化方法对分类网络模型进行权重参数的优化，减少损失值，使分类网络模型具有更高的分类准确性；
通过调整网络模型参数以更好拟合数据集，通过循环迭代训练，保存在验证集上验证损失最小的最优网络模型权重参数；
S4、利用测试集对多期相HCC判断模型进行测试。
2.如权利要求1所述的一种基于深度卷积网络模型的多期相占位分类方法，其特征在于，所述的3D卷积下采样层的结构为：3D卷积3×3×3,3Dmaxpooling2×2×2，s＝2+BN+ReLU；瓶颈结构的步长为1。
CN202211408691.XA 2022-11-11 2022-11-11 一种基于深度卷积网络模型的多期相占位分类方法 Active CN115564770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211408691.XA CN115564770B (zh) 2022-11-11 2022-11-11 一种基于深度卷积网络模型的多期相占位分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211408691.XA CN115564770B (zh) 2022-11-11 2022-11-11 一种基于深度卷积网络模型的多期相占位分类方法

Publications (2)

Publication Number Publication Date
CN115564770A CN115564770A (zh) 2023-01-03
CN115564770B true CN115564770B (zh) 2023-04-18

Family

ID=84770654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211408691.XA Active CN115564770B (zh) 2022-11-11 2022-11-11 一种基于深度卷积网络模型的多期相占位分类方法

Country Status (1)

Country Link
CN (1) CN115564770B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419111A (zh) * 2021-11-26 2022-04-29 复影(上海)医疗科技有限公司 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统
CN114723669A (zh) * 2022-03-08 2022-07-08 同济大学 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2898094A1 (en) * 2012-09-21 2015-07-29 Integragen A method for prognosis of global survival and survival without relapse in hepatocellular carcinoma
US11809523B2 (en) * 2021-02-18 2023-11-07 Irida Labs S.A. Annotating unlabeled images using convolutional neural networks
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419111A (zh) * 2021-11-26 2022-04-29 复影(上海)医疗科技有限公司 基于mri影像的原发性肝细胞癌病灶筛查和分割方法及系统
CN114723669A (zh) * 2022-03-08 2022-07-08 同济大学 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法

Also Published As

Publication number Publication date
CN115564770A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
US10949714B2 (en) Assigning a semantically meaningful label to a digital image
CN109063710B (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
Kaynig et al. Neuron geometry extraction by perceptual grouping in ssTEM images
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN113344951B (zh) 一种边界感知双重注意力引导的肝段分割方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN108010013A (zh) 一种肺ct图像肺结节检测方法
US20230005140A1 (en) Automated detection of tumors based on image processing
Feng et al. Mutual-complementing framework for nuclei detection and segmentation in pathology image
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
Matejek et al. Biologically-constrained graphs for global connectomics reconstruction
CN115439473B (zh) 一种基于交互分组注意机制的多期相占位分类方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
CN114494289A (zh) 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
Dou et al. Automatic lesion detection with three-dimensional convolutional neural networks
CN115564770B (zh) 一种基于深度卷积网络模型的多期相占位分类方法
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
Chen et al. Adaptive Cross Entropy for ultrasmall object detection in Computed Tomography with noisy labels
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
CN111415350B (zh) 一种用于检测宫颈病变的阴道镜图像识别方法
CN114463320A (zh) 一种磁共振成像脑胶质瘤idh基因预测方法及系统
Xu et al. Correlation via synthesis: End-to-end image generation and radiogenomic learning based on generative adversarial network
CN116777893B (zh) 一种基于乳腺超声横纵切面特征结节的分割与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant