CN112785605A - 基于语义迁移的多时相ct图像肝肿瘤分割方法 - Google Patents

基于语义迁移的多时相ct图像肝肿瘤分割方法 Download PDF

Info

Publication number
CN112785605A
CN112785605A CN202110102974.0A CN202110102974A CN112785605A CN 112785605 A CN112785605 A CN 112785605A CN 202110102974 A CN202110102974 A CN 202110102974A CN 112785605 A CN112785605 A CN 112785605A
Authority
CN
China
Prior art keywords
layer
network
liver tumor
segmentation
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110102974.0A
Other languages
English (en)
Other versions
CN112785605B (zh
Inventor
李阳阳
徐珊珊
缑水平
童诺
刘豪锋
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110102974.0A priority Critical patent/CN112785605B/zh
Publication of CN112785605A publication Critical patent/CN112785605A/zh
Application granted granted Critical
Publication of CN112785605B publication Critical patent/CN112785605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于语义迁移的多时相CT图像肝肿瘤分割方法，主要解决现有技术中肝肿漏检及肝肿瘤分割性能差的问题。其方案是：从所有病例中取按8：2比例分为训练集和测试集；构建多时相肝肿瘤语义分割网络M，使用训练集中门静脉期数据对其进行训练，得到训练好的门静脉期肝肿瘤分割网络V；对训练好的网络进行语义迁移，取训练集中病例的动脉期和延迟期数据分别对语义迁移后的网络进行微调，分别得到动脉期肝肿瘤分割网络A和延迟期肝肿瘤分割网络D的参数；利用各期肝肿瘤分割网络参数，对测试集中各期图像进行肝肿瘤分割。本发明能有效将增强CT多期图像的肝肿瘤分割出来，提高了肿瘤分割性能，可用于增强CT医学图像的肝脏肿瘤分割。

Description

基于语义迁移的多时相CT图像肝肿瘤分割方法
技术领域
本发明属于图像处理技术领域，特别涉及一种多时相CT图像中肝肿瘤的分割方法，可用于增强CT医学图像的肝肿瘤识别。
背景技术
肝癌是最常见的肿瘤疾病之一，计算机断层扫描CT和磁共振图像MRI中可见的病变是原发性和继发性肝肿瘤疾病早期诊断的重要标志物。肝脏CT图像中的肿瘤分割可用于评估病患的肿瘤负荷、计划治疗、预测和监测临床反应，是肝癌患者诊断、治疗和随访的关键步骤。目前，人工识别癌病变组织是一项困难且耗时的工作，精确可靠的自动分割方法可以提高临床场景中的工作效率，减轻临床医生的工作量。
增强CT通过人体静脉注入造影剂可清楚显示病变的血供情况，在反映肝脏病理形态方面有优越表现，因此临床上多采用增强CT技术获得多时相图像来检测肝肿瘤。病患在静脉注射造影剂后30秒左右拍摄动脉期图像，此时肝实质强化不明显，与肝肿瘤对比不明显，肿瘤边界不清晰；60-90秒左右拍摄门静脉期图像，此时肝实质呈最大强化，与肝肿瘤对比明显，肿瘤边界清晰；3-5分钟左右拍摄延迟期图像，此时肝实质强化明显，与肝肿瘤对比较明显，肿瘤边界较清晰。不同类型的肿瘤表现不同，有些肿瘤如肝转移瘤会在延迟期图像呈现最清晰边界。不同放射科医生拍摄各期图像的时间节点有差异，会导致肿瘤在门静脉期图像上边界非最清晰。这些情况会对患者的肝肿瘤检测效果产生不利影响。
在肝肿瘤分割中，目前常用的两类分割方法是基于卷积神经网络实现的，第一类仅利用门静脉期图像进行肝肿瘤分割网络的训练，第一类是将多期图像堆叠后输入分割网络辅助门静脉期图像肝肿瘤分割网络的训练。这两类方法均存在各自的不足，其中第一类方法会影响在其它期图像中边界最清晰的肿瘤的分割效果，且不同医生拍摄各期图像的起始时间不同，只分析门静脉期图像的分割结果容易发生肿瘤漏检。第二种方法中各期图像中器官及肝肿瘤发生形变，直接将多期图像堆叠会给网络训练带来难度，影响肝肿瘤分割效果。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于语义迁移的多时相CT图像肝肿瘤分割方法，以对增强CT中各期图像进行分割，减少肝肿瘤的漏检，提高对肝肿瘤的分割性能。
为实现上述目的，本发明的技术方案包括如下：
1)从收集到的所有病例中随机取80％病例的增强CT图像数据及其对应的肝肿瘤标签作为训练集，剩下的20％的病例数据作为测试集；
2)构建多时相肝肿瘤语义分割网络M：
设计由6个编码块和为5个池化层交错组成编码器；
设计由5个解码块和5个上采样层交错组成解码器；
将编码器、解码器与一个卷积层和一个激励层依次级联，得到多时相肝肿瘤语义分割网络M；
3)用训练集中含有肝肿瘤的门静脉期图像及其对应的肝肿瘤标签对构建的分割网络进行训练，得到训练好的门静脉期肝肿瘤分割网络V；
4)对训练好的门静脉期肝肿瘤分割网络进行语义迁移，即将训练好的门静脉期肝肿瘤分割网络中的编码器参数冻结，得到语义迁移网络T；
5)利用训练集对语义迁移网络T进行微调，得到训练好的动脉期肝肿瘤分割网络A的参数和延迟期肝肿瘤分割网络D的参数：
5a)从训练集中取病例的动脉期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行训练，得到训练好的动脉期肝肿瘤分割网络A的参数；
5b)从训练集中取病例的延迟期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行训练，得到训练好的延迟期肝肿瘤分割网络D的参数；
6)对测试集中增强CT各期图像的肝肿瘤进行分割：
6a)将3)得到的网络V的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中门静脉期图像输入到该网络，完成门静脉期图像肝肿瘤的分割；
6b)将5)得到的网络A的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中动脉期图像输入到该网络，完成动脉期图像肝肿瘤的分割；
6c)将5)得到的网络D的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中延迟期图像输入到该网络，完成延迟期图像肝肿瘤的分割。
本发明与现有技术相比具有以下优点：
1、本发明通过语义迁移将门静脉期肝肿瘤分割任务中的语义信息迁移到动脉期及延迟期图像肝肿瘤分割任务中，避免了类似语义信息的重复训练，提高了训练动脉期及延迟期图像肝肿瘤分割网络参数的效率，同时提高了动脉期和延迟期图像中肝肿瘤的分割性能。
2、本发明通过多时相语义分割网络能将增强CT中三期图像的肝肿瘤分割出来，有利于临床上对三期图像的肿瘤分割结果进行分析，可降低病患肝肿瘤的漏诊。
附图说明
图1是本发明的实现流程图；
图2是本发明中多时相肝肿瘤语义分割网络M的结构示意图；
图3是本发明多时相肝肿瘤语义分割网络M中的编码块结构示意图；
图4是本发明多时相肝肿瘤语义分割网络M中的解码块结构示意图；
图5是一个病例增强CT的对应的门静脉期图像；
图6是用本发明对图5中的门静脉期图像进行肝肿瘤分割后得到的结果图；
图7是将图6的分割结果标记到图5上的示意图；
图8是同一病例的增强CT对应的动脉期图像；
图9是用本发明对图8中的动脉期图像进行肝肿瘤分割后得到的结果图；
图10是将图9的分割结果标记到图8上的示意图；
图11是同一病例的增强CT对应的延迟期图像；
图12是用本发明对图11中的延迟期图像进行肝肿瘤分割后得到的结果图；
图13是将图12的分割结果标记到图11上的示意图。
具体实施方式
以下结合附图对本发明的实施例和效果做进一步说明。
参照图1，本发明基于语义迁移的多时相CT图像肝肿瘤分割方法，实现步骤如下：
步骤1：选取图像。
从收集到的所有病例中随机取80％的病人的增强CT图像数据及其对应的肝肿瘤标签作为训练集，剩下的20％的病人的数据作为测试集。
步骤2：构建多时相肝肿瘤语义分割网络M。
参照图2，本步骤是将编码器、解码器与一个卷积层和一个激励层依次级联，得到多时相肝肿瘤语义分割网络M。该卷积层的卷积核大小为3×3，滑动步长为1，卷积核个数为2；该激励层采用Sigmoid激励函数对上层的卷积结果进行激励；该编码器由6个编码块和为5个池化层交错组成，该解码器由5个解码块和5个上采样层交错组成。其中6个编码块和5个解码块的结构参数如下：
参照图3，所述6个编码块中的每个编码块依次包括如下5层结构：
第一层为卷积层，卷积核大小为3×3，滑动步长为1；
第二层为激励层，激励函数为修正线性单元函数，用于对第1层的输出特征图进行激励；
第三层为卷积层，卷积核大小为3×3，滑动步长为1，卷积核个数与第一层的相同；
第四层为激励层，激励函数为修正线性单元函数，用于对第3层的输出特征图进行激励；
第五层为丢弃层，丢弃率为0.5，该层由网络深度决定是否使用；
这6个编码块中每个编码块第一层卷积层的卷积核个数不同，即
第一个编码块第一层卷积层的卷积核个数为32；
第二个编码块第一层卷积层的卷积核个数为64；
第三个编码块第一层卷积层的卷积核个数为128；
第四个编码块第一层卷积层的卷积核个数为256；
第五个编码块第一层卷积层的卷积核个数为512；
第六个编码块第一层卷积层的卷积核个数为1024；
这6个编码块中第四个、第五个和第六个编码块使用丢弃层。
参照图4，所述5个解码块中的每个解码块依次包括如下5层结构：
第1层为特征融合层，用于将上层的输出特征图和分辨率相同的编码块输出特征图进行通道方向上的融合操作；
第2层为卷积层，卷积核大小为3×3，滑动步长为1；
第3层为激励层，激励函数为修正线性单元函数，用于对第二层的输出特征图进行激励；
第4层为卷积层，卷积核大小为3×3，滑动步长为1，卷积核个数与第二层的相同；
第5层为激励层，激励函数为修正线性单元函数，用于对第四层的输出特征图进行激励；
这5个解码块中每个解码块的第二层卷积层的卷积核个数不同，即
第1个解码块第2层卷积层的卷积核个数为512；
第2个解码块第2层卷积层的卷积核个数为256；
第3个解码块第2层卷积层的卷积核个数为128；
第4个解码块第2层卷积层的卷积核个数为64；
第5个解码块第2层卷积层的卷积核个数为32。
该解码器中的上采样层，包括如下3个阶段：
第1阶段，用于对上层的输出进行双线性插值方式的上采样；
第2阶段，用于对第1阶段的上采样结果进行卷积运算，卷积核大小为2×2，滑动步长为1，卷积核个数是上采样层的输入特征图通道数的1/2；
第3阶段，用于对第2阶段的卷积结果进行激励，激励函数为修正线性单元函数。
步骤3:利用训练集对步骤2构建的多时相肝肿瘤语义分割网络M进行训练，得到训练好的门静脉期肝肿瘤分割网络V。
3.1)对步骤2构建的多时相肝肿瘤语义分割网络M的参数进行随机初始化，设置训练的最大迭代次数为100；
3.2)训练时损失函数使用Combo Loss函数，其公式如下：
Figure BDA0002916676680000051
其中，n表示输入图像的总像素点数；
gi是输入图像对应的肿瘤标签第i个像素点的值；
pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；
ε为常数，ε＝1。
3.3)输入训练集中的门静脉期图像及相应的肝肿瘤标签，得到中间分割结果；
3.4)对3.3)得到的中间分割结果和对应的肿瘤标签利用Combo Loss函数计算损失值，利用该损失值以反向传播方式更新多时相肝肿瘤语义分割网络M的所有参数，以使网络对输入的门静脉期图像生成更接近其肿瘤标签的中间分割结果；
3.5)重复执行步骤3.4)，直到训练达到设置的最大迭代次数时停止，得到训练好的门静脉期肝肿瘤分割网络V。
步骤4：将训练好的门静脉期肝肿瘤分割网络V中编码器参数进行冻结，即固定网络中编码器的参数，使其在后面的步骤中不进行更新，得到语义迁移网络T，该网络可保留编码器提取肝肿瘤语义信息的能力。
步骤5：利用训练集对语义迁移网络T进行微调，得到动脉期肝肿瘤分割网络A的参数。
所述利用训练集对语义迁移网络T进行微调是指：从训练集中取病例的动脉期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行如下训练：
5.1)设置训练的最大迭代次数为50，训练时损失函数使用步骤3.2)中的ComboLoss函数；
5.2)将取得的动脉期图像及对应的肝肿瘤标签输入到语义迁移网络T，得到中间分割结果；
5.3)对5.2)得到的中间分割结果和对应的肿瘤标签利用Combo Loss函数计算损失值，利用该损失值以反向传播方式对语义迁移网络T中的编码器、卷积层和激励层参数进行更新，参数更新后的语义迁移网络T对输入的动脉期图像生成更接近其肿瘤标签的中间分割结果；
5.4)重复执行步骤5.3)，直到达到设置的最大迭代次数时停止，即得到微调后的动脉期肝肿瘤分割网络A的参数。
步骤6：利用训练集对语义迁移网络T进行微调，得到延迟期肝肿瘤分割网络D的参数。
所述利用训练集对语义迁移网络T进行微调是指：从训练集中取病例的延迟期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行训练，实现如下：
6.1)设置训练的最大迭代次数为50，训练时损失函数使用步骤3.2)中的ComboLoss函数；
6.2)将取得的延迟期图像及对应的肝肿瘤标签输入到语义迁移网络T，得到中间分割结果；
6.3)对6.2)得到的中间分割结果和对应的肿瘤标签利用Combo Loss函数计算损失值，利用该损失值以反向传播方式对语义迁移网络T中的编码器、卷积层和激励层参数进行更新，参数更新后的语义迁移网络T对输入的延迟期图像生成更接近其肿瘤标签的中间分割结果；
6.4)重复执行步骤6.3)，直到达到设置的最大迭代次数时停止，即得到微调后的延迟期肝肿瘤分割网络D的参数。
步骤7：根据上述得到的网络的参数对测试集中增强CT的各期图像进行肝肿瘤分割。
7.1)将门静脉期肝肿瘤分割网络V的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，再将测试集中的门静脉期图像输入到该网络中，完成对门静脉期图像肝肿瘤的分割；
7.2)将动脉期肝肿瘤分割网络A的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，再将测试集中的动脉期图像输入到该网络中，完成对动脉期图像肝肿瘤的分割；
7.3)将延迟期肝肿瘤分割网络D的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，再将测试集中的延迟期图像输入到该网络，完成对延迟期图像肝肿瘤的分割。
本发明的效果通过以下仿真实现。
仿真1，将门静脉期肝肿瘤分割网络V的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，将图5所示的病人的增强CT门静脉期图像输到该网络，得到的肝肿瘤分割结果，如图6所示。
仿真2，将图6的分割结果标记到图5上，结果如图7。从图7可以看出，本发明能有效地将门静脉期图像中的肝肿瘤分割出来。
仿真3，将动脉期肝肿瘤分割网络A的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，将图8所示的病人的增强CT动脉期图像输入网络，得到的肝肿瘤分割结果，如图9所示。
仿真4，将图9的分割结果标记到图8上，结果如图10。从图10可见，本发明通过语义迁移将门静脉期肝肿瘤分割任务中的语义信息迁移到动脉期图像肝肿瘤分割任务中，能实现动脉期肝肿瘤的有效分割。
仿真5，将延迟期肝肿瘤分割网络D的参数赋值给步骤2建立的多时相肝肿瘤语义分割网络M，将图11所示的病人的增强CT延迟期图像输入网络，得到的肝肿瘤分割结果，如图12所示。
仿真6，将图12的分割结果标记到图11上，结果如图13。从图13可见，本发明通过语义迁移将门静脉期肝肿瘤分割任务中的语义信息迁移到延迟期图像肝肿瘤分割任务中，能实现延迟期肝肿瘤的有效分割。

Claims (8)

1.一种基于语义迁移的多时相CT图像肝肿瘤分割方法，其特征在于，包括如下：
1)从收集到的所有病例中随机取80％病例的增强CT图像数据及其对应的肝肿瘤标签作为训练集，剩下的20％的病例数据作为测试集；
2)构建多时相肝肿瘤语义分割网络M：
设计由6个编码块和为5个池化层交错组成编码器；
设计由5个解码块和5个上采样层交错组成解码器；
将编码器、解码器与一个卷积层和一个激励层依次级联，得到多时相肝肿瘤语义分割网络M；
3)用训练集中含有肝肿瘤的门静脉期图像及其对应的肝肿瘤标签对构建的分割网络进行训练，得到训练好的门静脉期肝肿瘤分割网络V；
4)对训练好的门静脉期肝肿瘤分割网络进行语义迁移，即将训练好的门静脉期肝肿瘤分割网络中的编码器参数冻结，得到语义迁移网络T；
5)利用训练集对语义迁移网络T进行微调，得到训练好的动脉期肝肿瘤分割网络A的参数和延迟期肝肿瘤分割网络D的参数：
5a)从训练集中取病例的动脉期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行训练，得到训练好的动脉期肝肿瘤分割网络A的参数；
5b)从训练集中取病例的延迟期图像及对应的肝肿瘤标签输入到语义迁移网络T，对该网络中的解码器、卷积层和激励层进行训练，得到训练好的延迟期肝肿瘤分割网络D的参数；
6)对测试集中增强CT各期图像的肝肿瘤进行分割：
6a)将3)得到的网络V的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中门静脉期图像输入到该网络，完成门静脉期图像肝肿瘤的分割；
6b)将5)得到的网络A的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中动脉期图像输入到该网络，完成动脉期图像肝肿瘤的分割；
6c)将5)得到的网络D的参数先赋值给2)构建的多时相肝肿瘤语义分割网络M，再将测试集中延迟期图像输入到该网络，完成延迟期图像肝肿瘤的分割。
2.根据权利要求1所述的方法，其特征在于：
所述6个编码块中的每个编码块依次包括如下5层结构：
第一层为卷积层，卷积核大小为3×3，滑动步长为1；
第二层为激励层，激励函数为修正线性单元函数，用于对第1层的输出特征图进行激励；
第三层为卷积层，卷积核大小为3×3，滑动步长为1，卷积核个数与第一层的相同；
第四层为激励层，激励函数为修正线性单元函数，用于对第3层的输出特征图进行激励；
第五层为丢弃层，丢弃率为0.5，该层由网络深度决定是否使用；
所述6个编码块中每个编码块第一层卷积层的卷积核个数不同，即分别为32、64、128、256、512、1024，这6个编码块中第四个、第五个和第六个编码块使用丢弃层。
3.根据权利要求1所述的方法，其特征在于：
所述5个解码块中的每个解码块依次包括如下5层结构：
第一层为特征融合层，用于将上层的输出特征图和分辨率相同的编码块输出特征图进行通道方向上的融合操作；
第二层为卷积层，卷积核大小为3×3，滑动步长为1；
第三层为激励层，激励函数为修正线性单元函数，用于对第二层的输出特征图进行激励；
第四层为卷积层，卷积核大小为3×3，滑动步长为1，卷积核个数与第二层的相同；
第五层为激励层，激励函数为修正线性单元函数，用于对第四层的输出特征图进行激励；
所述5个解码块中每个解码块的第二层卷积层的卷积核个数不同，即分别为512、256、128、64、32。
4.根据权利要求1所述的方法，其中2)中的上采样层，包括如下3个阶段：
第1阶段，用于对上层的输出进行双线性插值方式的上采样；
第2阶段，用于对第1阶段的上采样结果进行卷积运算，卷积核大小为2×2，滑动步长为1，卷积核个数是上采样层的输入特征图通道数的1/2；
第3阶段，用于对第2阶段的卷积结果进行激励，激励函数为修正线性单元函数。
5.根据权利要求1所述的方法，其中2)中解码器后接的卷积层，其卷积核大小为3×3，滑动步长为1，卷积核个数为2，激励层采用Sigmoid激励函数对上层的卷积结果进行激励。
6.根据权利要求1所述的方法，其中3)训练分割网络与5)微调分割网络时使用的损失函数均使用Combo Loss函数，其公式如下：
Figure FDA0002916676670000031
其中，α与β均为加权系数，α＝0.3，β＝0.8；
n表示输入图像的总像素点数；
gi是输入图像对应的肿瘤标签第i个像素点的值；
pi是输入图像输入网络后得到的分割结果的第i个像素点的预测值；
ε为常数，ε＝1。
7.根据权利要求1所述的方法，其中5a)中从训练集中取动脉期图像及对应的肝肿瘤标签对语义迁移网络T中的解码器、卷积层和激励层进行训练，实现如下：
5a1)设置训练的最大迭代次数为50，将动脉期图像及对应的肝肿瘤标签输入到语义迁移网络T，得到中间分割结果；
5a2)对5a1)获得的中间分割结果与输入动脉期图像对应的肿瘤标签利用Combo Loss函数计算损失值，利用该损失值以反向传播方式对语义迁移网络T中的编码器、卷积层和激励层的参数进行更新，使得语义迁移网络T对输入动脉期图像生成的中间分割结果更接近其肿瘤标签；
5a3)重复执行5a2)，直到达到设置的最大迭代次数，得到训练好的动脉期肝肿瘤分割网络A的参数。
8.根据权利要求1所述的方法，其中5b)中从训练集中取延迟期图像及对应的肝肿瘤标签对语义迁移网络T中的解码器、卷积层和激励层进行训练，实现如下：
5b1)设置训练的最大迭代次数为50，将病例的延迟期图像及对应的肝肿瘤标签输入到语义迁移网络T，得到中间分割结果；
5b2)对5b1)获得的中间分割结果与输入延迟期图像对应的肿瘤标签利用Combo Loss函数计算损失值，利用该损失值以反向传播方式对语义迁移网络T中的编码器、卷积层和激励层的参数进行更新，使得语义迁移网络T对输入延迟期图像生成的中间分割结果更接近其肿瘤标签；
5b3)重复执行5b2)，直到达到设置的最大迭代次数，得到训练好的延迟期肝肿瘤分割网络D的参数。
CN202110102974.0A 2021-01-26 2021-01-26 基于语义迁移的多时相ct图像肝肿瘤分割方法 Active CN112785605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102974.0A CN112785605B (zh) 2021-01-26 2021-01-26 基于语义迁移的多时相ct图像肝肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102974.0A CN112785605B (zh) 2021-01-26 2021-01-26 基于语义迁移的多时相ct图像肝肿瘤分割方法

Publications (2)

Publication Number Publication Date
CN112785605A true CN112785605A (zh) 2021-05-11
CN112785605B CN112785605B (zh) 2023-07-28

Family

ID=75757729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102974.0A Active CN112785605B (zh) 2021-01-26 2021-01-26 基于语义迁移的多时相ct图像肝肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN112785605B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205150A (zh) * 2021-05-21 2021-08-03 东北大学 一种基于多时相融合的多任务分类系统及方法
CN116543166A (zh) * 2023-07-04 2023-08-04 北京科技大学 一种早期脑部肿瘤分割方法及系统
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492309A (zh) * 2018-01-21 2018-09-04 西安电子科技大学 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492309A (zh) * 2018-01-21 2018-09-04 西安电子科技大学 基于迁移卷积神经网络的磁共振图像中静脉血管分割方法
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
WO2020108525A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统、存储介质及计算机设备
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
张家兵;张耀;徐洪丽;沈舒宁;王冬;刘同波;刘坤;王彬华;: "基于深度监督残差网络的肝脏及肝肿瘤分割", 集成技术, no. 03 *
徐婷宜;朱家明;李祥健;: "基于全卷积网络的肝脏CT语义分割", 软件工程, no. 06 *
徐胜舟;程时宇;: "基于全卷积神经网络迁移学习的乳腺肿块图像分割", 中南民族大学学报(自然科学版), no. 02 *
段杰;崔志明;沈艺;冯威;吴宏杰;冯雨晴;: "一种改进FCN的肝脏肿瘤CT图像分割方法", 图学学报, no. 01 *
马金林;邓媛媛;马自萍;: "肝脏肿瘤CT图像深度学习分割方法综述", 中国图象图形学报, no. 10 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205150A (zh) * 2021-05-21 2021-08-03 东北大学 一种基于多时相融合的多任务分类系统及方法
CN113205150B (zh) * 2021-05-21 2024-03-01 东北大学 一种基于多时相融合的多任务分类系统及方法
CN116543166A (zh) * 2023-07-04 2023-08-04 北京科技大学 一种早期脑部肿瘤分割方法及系统
CN116543166B (zh) * 2023-07-04 2023-09-05 北京科技大学 一种早期脑部肿瘤分割方法及系统
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法
CN116563358B (zh) * 2023-07-07 2023-09-22 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Also Published As

Publication number Publication date
CN112785605B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN112785605A (zh) 基于语义迁移的多时相ct图像肝肿瘤分割方法
Meng et al. Multiscale dense convolutional neural network for DSA cerebrovascular segmentation
Shen et al. Coronary arteries segmentation based on 3D FCN with attention gate and level set function
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
He et al. HCTNet: A hybrid CNN-transformer network for breast ultrasound image segmentation
CN111667478B (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
Zhang et al. LU-NET: An improved U-Net for ventricular segmentation
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Wang et al. MMNet: A multi-scale deep learning network for the left ventricular segmentation of cardiac MRI images
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN111932512B (zh) 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法
CN116309651B (zh) 一种基于单图深度学习的内窥镜图像分割方法
CN110619635A (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN113935951A (zh) 一种三通道级联SEU-Nets肝肿瘤分割方法
CN115131369A (zh) 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
Jahangard et al. U-net based architecture for an improved multiresolution segmentation in medical images
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN116309507A (zh) 注意力机制下对ctp进行特征融合的ais病灶预测方法
CN114596319B (zh) 基于Boosting-Unet分割网络的医学影像分割方法
Balasubramanian et al. C, K.; Selvaraj, J. APESTNet with Mask R-CNN for Liver Tumor Segmentation and Classification. Cancers 2023, 15, 330
CN115272363B (zh) 一种重建颈动脉三维图像的方法、装置及存储介质
Zheng et al. A comparison of U-Net series for CT pancreas segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant