CN113112454A - 一种基于任务动态学习部分标记的医学图像分割方法 - Google Patents

一种基于任务动态学习部分标记的医学图像分割方法 Download PDF

Info

Publication number
CN113112454A
CN113112454A CN202110304416.2A CN202110304416A CN113112454A CN 113112454 A CN113112454 A CN 113112454A CN 202110304416 A CN202110304416 A CN 202110304416A CN 113112454 A CN113112454 A CN 113112454A
Authority
CN
China
Prior art keywords
image
segmentation
task
representing
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110304416.2A
Other languages
English (en)
Other versions
CN113112454B (zh
Inventor
夏勇
张建鹏
谢雨彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110304416.2A priority Critical patent/CN113112454B/zh
Publication of CN113112454A publication Critical patent/CN113112454A/zh
Application granted granted Critical
Publication of CN113112454B publication Critical patent/CN113112454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于任务动态学习部分标记的医学图像分割方法，实现多器官和肿瘤的分割。该方法首先采用卷积神经网络搭建一个编码解码模块，以医学图像作为输入，提取图像的高级语义特征。接着通过一个任务编码模块，将不同任务对应的数据集进行编码，生成的one‑hot编码作为其任务先验。然后设计了一个控制器，以one‑hot编码和图像本身的特征为条件，为每一个图像生成特定任务的卷积核。最后，生成的卷积核在解码模块得到的特征图上进行卷积操作，得到对应任务的分割结果。本发明的分割模型可以在一个简单的分割网络下，高效地实现多个器官、多个肿瘤的同时分割并且能够巧妙地整合多个数据集的资源，能够实现更通用、泛化能力更强的多器官和肿瘤分割。

Description

一种基于任务动态学习部分标记的医学图像分割方法
技术领域
本发明属于图像处理技术领域，具体涉及一种医学图像分割方法。
背景技术
医学图像分割是计算机视觉和医学影像分析领域共同关注的难题，其主要挑战在于标注代价高昂而导致的标注数据量不足、标注单一的问题。当前公开的医学图像数据集往往只提供一种类别器官或肿瘤的标注，即部分标注，而没有一个公开的大型全标注多器官数据集。比如LiTS肝脏及肿瘤分割数据集中，只提供了肝脏及其肿瘤的分割标注，其他的器官和肿瘤被简单当做背景处理。当前的主流医学图像分割模型均采用“一对一”的设计范式，即一个模型只能解决某一个数据集上提供标注的器官或肿瘤分割任务，粗暴地将其他的器官或肿瘤当做背景处理。当前亟需一种分割方法，不仅能够整合多个数据集，而且能够有效地解决其部分标记问题。
发明内容
为了克服现有技术的不足，本发明提供了一种基于任务动态学习部分标记的医学图像分割方法，实现多器官和肿瘤的分割。该方法首先采用卷积神经网络搭建一个编码解码模块，以医学图像作为输入，提取图像的高级语义特征。接着通过一个任务编码模块，将不同任务对应的数据集进行编码，生成的one-hot编码作为其任务先验。然后设计了一个控制器，以one-hot编码和图像本身的特征为条件，为每一个图像生成特定任务的卷积核。最后，生成的卷积核在解码模块得到的特征图上进行卷积操作，得到对应任务的分割结果。本发明的分割模型可以在一个简单的分割网络下，高效地实现多个器官、多个肿瘤的同时分割并且能够巧妙地整合多个数据集的资源，能够实现更通用、泛化能力更强的多器官和肿瘤分割。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：采用编码解码器提取图像的特征；
采用卷积神经网络构建编码-解码器；
给定图像Xij，i表示图像数据集的索引，j表示数据集i里图像的索引；将图像Xij输入编码器生成图像Xij的高级语义特征Fij＝fE(Xij；θE)，fE(.)表示编码器，θE表示编码器参数；再输入解码器通过上采样操作将图像Xij恢复到原始分辨率，得到预分割特征Mij＝fD(Xij；θD)，fD(.)表示解码器，θD表示解码器参数；
步骤2：对图像的部分标注信息进行任务编码；
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码，1表示带有标注，0表示没有标注；
步骤3：以任务编码作为条件，设计控制器为每一幅图像生成相应任务的卷积核参数；
所述控制器为单层卷积层或多个卷积层堆叠而成；
对图像高级语义特征Fij进行全局平均池化操作，再和任务编码Tij进行级联操作后输入控制器，得到图像Xij的动态卷积核，具体表示如下：
Figure BDA0002987515900000021
其中，
Figure BDA0002987515900000022
表示控制器，GAP(.)表示全局平均池化，
Figure BDA0002987515900000023
表示控制器的参数；生成的卷积核ωij被划分为三组，ωij→{ωij1,ωij2，ωij3}，ωij1，ωij2，ωij3分别对应三个卷积层；
步骤4：利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作，得到相应任务的分割图，具体表示如下：
Pij＝((Mij*ωij1)*ωij2)*ωij3
其中，*表示卷积操作，Pij表示图像Xij在第i个任务上的分割结果；
步骤5：每一个器官和相应肿瘤的分割均被视为二值分割问题，使用部分标记数据集中提供的任务标注作为监督信号，采用Dice loss和二值交叉熵损失函数作为损失函数，在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型，对应的优化公式为：
Figure BDA0002987515900000024
其中，θ表示整个分割模型的参数，Yij图像Xij的部分标注，
Figure BDA0002987515900000025
表示损失函数，f(.)表示模型的前向计算，ni表示第i个部分标记数据集中图像的个数；
得到最终的基于任务动态学习部分标记的医学图像分割模型。
本发明的有益效果如下：
由于采用了基于任务动态学习的策略，本发明的分割模型可以在一个简单的分割网络下，高效地实现多个器官、多个肿瘤的同时分割，而不再需要基于“一对一”模式下训练多个任务特定的分割网络。另外，本发明能够巧妙地整合多个数据集的资源，能够实现更通用、泛化能力更强的多器官和肿瘤分割。
附图说明
图1为本发明方法中的医学图像分割模型结构示意图.
具体实施方式
下面对本发明进一步说明。
一种基于任务动态学习部分标记的医学图像分割方法，包括以下步骤：
步骤1：采用编码解码器提取图像的特征；
采用卷积神经网络构建编码-解码器；
给定图像Xij，i表示图像数据集的索引，j表示数据集i里图像的索引；将图像Xij输入编码器生成图像Xij的高级语义特征Fij＝fE(Xij；θE)，fE(.)表示编码器，θE表示编码器参数；再输入解码器通过上采样操作将图像Xij恢复到原始分辨率，得到预分割特征Mij＝fD(Xij；θD)，fD(.)表示解码器，θD表示解码器参数；
步骤2：对图像的部分标注信息进行任务编码；
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码，其中1表示带有标注，0表示没有标注；
步骤3：以任务编码作为条件，设计控制器为每一幅图像生成相应任务的卷积核参数；
所述控制器为单层卷积层或多个卷积层堆叠而成；
由于编码器顶部的图像特征分辨率不为1，通过对图像高级语义特征Fij进行全局平均池化操作进行降维表示，再和任务编码Tij进行级联操作后输入控制器，得到图像Xij的动态卷积核，具体表示如下：
Figure BDA0002987515900000031
其中，
Figure BDA0002987515900000032
表示控制器，GAP(.)表示全局平均池化，
Figure BDA0002987515900000033
表示控制器的参数；生成的卷积核ωij被划分为三组，ωij→{ωij1,ωij2,ωij3}，ωij1,ωij2,ωij3分别对应三个卷积层；
步骤4：利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作，得到相应任务的分割图，具体表示如下：
Pij＝((Mij*ωij1)*ωij2)*ωij3
其中，*表示卷积操作，Pij表示图像Xij在第i个任务上的分割结果；
步骤5：每一个器官和相应肿瘤的分割均被视为二值分割问题，使用部分标记数据集中提供的任务标注作为监督信号，采用Dice loss和二值交叉熵损失函数作为损失函数，在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型，对应的优化公式为：
Figure BDA0002987515900000041
其中，θ表示整个分割模型的参数，Yij图像Xij的部分标注，
Figure BDA0002987515900000042
表示损失函数，f(.)表示模型的前向计算，ni表示第i个部分标记数据集中图像的个数；
得到最终的基于任务动态学习部分标记的医学图像分割模型。

Claims (1)

1.一种基于任务动态学习部分标记的医学图像分割方法，其特征在于，包括以下步骤：
步骤1：采用编码解码器提取图像的特征；
采用卷积神经网络构建编码-解码器；
给定图像Xij，i表示图像数据集的索引，j表示数据集i里图像的索引；将图像Xij输入编码器生成图像Xij的高级语义特征Fij＝fE(Xij；θE)，fE(.)表示编码器，θE表示编码器参数；再输入解码器通过上采样操作将图像Xij恢复到原始分辨率，得到预分割特征Mij＝fD(Xij；θD)，fD(.)表示解码器，θD表示解码器参数；
步骤2：对图像的部分标注信息进行任务编码；
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码，1表示带有标注，0表示没有标注；
步骤3：以任务编码作为条件，设计控制器为每一幅图像生成相应任务的卷积核参数；
所述控制器为单层卷积层或多个卷积层堆叠而成；
对图像高级语义特征Fij进行全局平均池化操作，再和任务编码Tij进行级联操作后输入控制器，得到图像Xij的动态卷积核，具体表示如下：
Figure FDA0002987515890000011
其中，
Figure FDA0002987515890000012
表示控制器，GAP(.)表示全局平均池化，
Figure FDA0002987515890000013
表示控制器的参数；生成的卷积核ωij被划分为三组，ωij→{ωij1,ωij2,ωij3}，ωij1,ωij2,ωij3分别对应三个卷积层；
步骤4：利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作，得到相应任务的分割图，具体表示如下：
Pij＝((Mij*ωij1)*ωij2)*ωij3
其中，*表示卷积操作，Pij表示图像Xij在第i个任务上的分割结果；
步骤5：每一个器官和相应肿瘤的分割均被视为二值分割问题，使用部分标记数据集中提供的任务标注作为监督信号，采用Diceloss和二值交叉熵损失函数作为损失函数，在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型，对应的优化公式为：
Figure FDA0002987515890000021
其中，θ表示整个分割模型的参数，Yij图像Xij的部分标注，
Figure FDA0002987515890000022
表示损失函数，f(.)表示模型的前向计算，ni表示第i个部分标记数据集中图像的个数；
得到最终的基于任务动态学习部分标记的医学图像分割模型。
CN202110304416.2A 2021-03-22 2021-03-22 一种基于任务动态学习部分标记的医学图像分割方法 Active CN113112454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110304416.2A CN113112454B (zh) 2021-03-22 2021-03-22 一种基于任务动态学习部分标记的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110304416.2A CN113112454B (zh) 2021-03-22 2021-03-22 一种基于任务动态学习部分标记的医学图像分割方法

Publications (2)

Publication Number Publication Date
CN113112454A true CN113112454A (zh) 2021-07-13
CN113112454B CN113112454B (zh) 2024-03-19

Family

ID=76711470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110304416.2A Active CN113112454B (zh) 2021-03-22 2021-03-22 一种基于任务动态学习部分标记的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN113112454B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717907A (zh) * 2019-10-06 2020-01-21 浙江大学 一种基于深度学习的手部肿瘤智能检测方法
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
WO2020142077A1 (en) * 2018-12-31 2020-07-09 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN112216371A (zh) * 2020-11-20 2021-01-12 中国科学院大学 多路多尺度并联编解码网络图像分割方法、系统及介质
CN112241966A (zh) * 2020-09-21 2021-01-19 西北大学 多任务多分类的胸部器官分割模型建立、分割方法及系统
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020142077A1 (en) * 2018-12-31 2020-07-09 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN110717907A (zh) * 2019-10-06 2020-01-21 浙江大学 一种基于深度学习的手部肿瘤智能检测方法
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN112241966A (zh) * 2020-09-21 2021-01-19 西北大学 多任务多分类的胸部器官分割模型建立、分割方法及系统
CN112216371A (zh) * 2020-11-20 2021-01-12 中国科学院大学 多路多尺度并联编解码网络图像分割方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段杰;崔志明;沈艺;冯威;吴宏杰;冯雨晴;: "一种改进FCN的肝脏肿瘤CT图像分割方法", 图学学报, no. 01 *

Also Published As

Publication number Publication date
CN113112454B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN113850825B (zh) 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
AU2019200270B2 (en) Concept mask: large-scale segmentation from semantic concepts
CN113705588B (zh) 基于卷积自注意力模块的孪生网络目标跟踪方法与系统
Zhou et al. Contextual ensemble network for semantic segmentation
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
WO2022105125A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN109034248B (zh) 一种基于深度学习的含噪声标签图像的分类方法
CN113393370A (zh) 中国书法文字图像风格迁移的方法、系统、智能终端
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN116912257B (zh) 基于深度学习的混凝土路面裂缝识别方法及存储介质
CN111401156A (zh) 基于Gabor卷积神经网络的图像识别方法
CN116304307A (zh) 一种图文跨模态检索网络训练方法、应用方法及电子设备
CN114445620A (zh) 一种改进Mask R-CNN的目标分割方法
Zhou et al. Frequency-aware feature aggregation network with dual-task consistency for RGB-T salient object detection
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN117152438A (zh) 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法
CN112733861A (zh) 基于u型残差网络的文本擦除和抠字方法
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
CN113112454B (zh) 一种基于任务动态学习部分标记的医学图像分割方法
Hashim et al. An Optimized Image Annotation Method Utilizing Integrating Neural Networks Model and Slantlet Transformation
CN115601744A (zh) 一种车身与车牌颜色相近的车牌检测方法
Chung et al. Filter pruning by image channel reduction in pre-trained convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant