CN113487579A - 自动勾画模型的多模态迁移方法 - Google Patents

自动勾画模型的多模态迁移方法 Download PDF

Info

Publication number
CN113487579A
CN113487579A CN202110803451.9A CN202110803451A CN113487579A CN 113487579 A CN113487579 A CN 113487579A CN 202110803451 A CN202110803451 A CN 202110803451A CN 113487579 A CN113487579 A CN 113487579A
Authority
CN
China
Prior art keywords
data
modal
image
training
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110803451.9A
Other languages
English (en)
Other versions
CN113487579B (zh
Inventor
魏军
陈昌秀
沈烁
田孟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Vision Medical Technology Co ltd
Original Assignee
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Vision Medical Technology Co ltd filed Critical Perception Vision Medical Technology Co ltd
Priority to CN202110803451.9A priority Critical patent/CN113487579B/zh
Publication of CN113487579A publication Critical patent/CN113487579A/zh
Application granted granted Critical
Publication of CN113487579B publication Critical patent/CN113487579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动勾画模型的多模态迁移方法，包括：采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画。对采集到的数据，将各模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，用于训练一个多模态重构网络。第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像，用于对重构网络进行图像分割的迁移训练。借此，本发明只需要在一个模态的影像数据上进行金标准的勾画，即可让训练的自动勾画模型适应多个模态的影像数据。

Description

自动勾画模型的多模态迁移方法
技术领域
本发明是关于图像处理领域、深度学习领域和医疗领域，特别是关于一种自动勾画模型的多模态迁移方法。
背景技术
当前自动勾画模型已经在放疗中获得了广泛应用且得到临床医生的认可，但是临床中不同诊疗阶段医生要用的影像数据可能是不同模态的。由于不同模态的医学影像成像原理不同，其所提供的关于人体解剖或组织的信息不同，所呈现的特征和纹理差异较大，基于某一个模态训练的自动分割模型难以直接应用到其他模态数据上。针对这个问题，已有解决方案包括，一是采集大量各个模态的数据并进行人工标注，然后针对每一个模态数据都训练一个自动勾画模型；二是基于配准的方法，即只训练一个针对特定模态影像的自动勾画模型，然后将特定模态影像与目标模态影像进行配准，这样在特定模态影像上得到的勾画结果可直接转移到目标模态影像上。三是基于生成对抗网络GAN的原理，在对某一模态数据训练自动勾画模型时，加入其它模态的数据，利用判别器判别从自动勾画模型生成的特征或勾画结果是来自原模态还是其它模态，如此交互训练的方式，可以让自动勾画模型在仅有原模态金标的情况下，也可以对其他模态数据进行勾画，但是GAN网络的训练过程极不稳定，且难以收敛到最优点，导致自动勾画模型迁移到其他模态时分割精度不够。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种自动勾画模型的多模态迁移方法，只需要在一个模态的影像数据上进行勾画，即可完成多模态影像勾画模型的训练，且可以在极少量标注数据的情况下，训练出精度较高的自动勾画模型。
为实现上述目的，本发明提供了一种自动勾画模型的多模态迁移方法，包括：采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画。对采集到的数据，将每个病例的其他模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像。利用第一批训练数据，训练一个多模态重构网络，将输入的多模态影像映射到第一模态M1，让多模态重构网络学习到各个模态独有的特征以及模态间共有的特征。利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，进行自动勾画任务的训练，输入各模态影像数据，输出多通道的概率图，通道数为应临床靶区的类别数加1或为要勾画的危及器官数目加1。
在本发明的一实施方式中，临床靶区为GTV/CTV/PTV。
在本发明的一实施方式中，采集一批多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画包括：采集一批病人的所有临床影像数据，包括CT、CBCT、MRI、PET，并挑选其中20％的样本，在这些数据的其中一个模态影像M1上进行金标准的勾画，勾画的区域可以是GTV/CTV/PTV等临床靶区，也可以是脑干、颞叶、眼球、晶状体等危及器官。
在本发明的一实施方式中，对采集到的数据，将每个病例的其他模态与另第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本，输入为各模态的影像数据，金标为与之匹配的M1影像数据，第二批训练集包括挑选的20％样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像包括：采用rigid或者affine刚性配准方法将每个病例的其他模态与第一模态M1进行配准对齐，使得每个病例的其他模态影像Mn与M1处在同一个空间坐标系上。对所有数据进行预处理，包括：空间分辨率归一化、方向归一化、感兴趣区域裁剪、灰度归一化等预处理，所有样本的其他模态Mn与对应的M1构成第一批训练数据，挑选出的所有模态与对应的勾画好的靶区或器官的二值图构成第二批训练数据。
在本发明的一实施方式中，利用第一批训练数据，训练一个多模态重构网络，将输入其他模态Mn映射到第一模态M1，让该网络学习各模态的影像特征，包括：搭建一个多输入的深度卷积神经网络，网络结构在Unet模型的基础上，改进为多输入多分支的结构，N种模态的数据，对应N个输入分支，且每个分支由3个卷积下采样模块组成，卷积下采样模块为卷积模块与maxPooling串联而成，而卷积模块包含2个卷积层、1个ReLu激活层、1个batchNormalization层，所述的N个输入分支构成Unet的编码部分，解码部分由3个典型的卷积模块与上采样交替构成，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构任务的学习。在该阶段，利用结构相性SSIM loss和L1 loss来训练多模态重构网络：
L＝-∑SSIM(x,y)-λL1
其中，SSIM为结构相似性指数，用来衡量图像失真的程度，其计算方式如下：
Figure BDA0003163215440000031
其中，x和y分别表示2个单通道图像，μx和μy分别表示x和y的局部平均值，σx和σy分别对应x和y的局部标准差，σxy表示x和y的局部协方差，C1和C2为常数；这些局部统计量的计算方式为取一个N*N的方形窗、计算窗内的统计值，将该方形窗逐像素滑动遍历整个图像，然后取平均，得到了全局SSIM。L1为一阶矩，计算方式为：L1＝∑|x-y|。在该阶段的训练中，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构的学习，训练过程中网络既能提取到各模态独特的影像特征，也能学习到各模态之间的共有特征。
在本发明的一实施方式中，利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，输入为各模态影像数据，输出为多通道的概率图，通道数对应临床靶区的类别数加1或为要勾画的危及器官数目加1，包括：网络的输入通道不变，在网络的输出之前加上softmax激活层，使得输出为对应各勾画目标的概率图，在该阶段的训练中，用第二批数据对多模态重构模型进行finetuning，输入为各模态影像数据，输出为对应勾画目标的概率图，输出与第二批数据的金标准进行比较，计算Dice相似度损失函数Dice loss：
Figure BDA0003163215440000041
其中，P为网络输出的概率图，G为金标；利用Dice loss对模型进行分割任务的训练；对任意模态的输入数据，训练好的模型能够输出对应勾画目标的概率图，对所述概率图取阈值0.5，可以得到对应勾画目标的二值图像，对二值图像进行轮廓线提取，即完成目标靶区或目标器官的勾画。
与现有技术相比，根据本发明的自动勾画模型的多模态迁移方法，具有如下有益效果：
1、本发明只需要在一个模态的影像数据上进行勾画，即可完成多模态影像勾画模型的训练；
2、本发明利用大量的同病人的多模态影像数据进行模态重建的训练，然后对模态重建模型进行分割任务的迁移学习，可以在极少量标注数据的情况下，训练出精度较高的自动勾画模型。
附图说明
图1是根据本发明一实施方式的自动勾画模型的多模态迁移方法的流程示意图；
图2是根据本发明一实施方式的自动勾画模型的多模态迁移方法的网络结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
图1是根据本发明一实施方式的自动勾画模型的多模态迁移方法的流程示意图。图2是根据本发明一实施方式的自动勾画模型的多模态迁移方法的网络结构示意图。
如图1至图2所示，根据本发明优选实施方式的自动勾画模型的多模态迁移方法包括：S1，采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区(GTV/CTV/PTV)或危及器官的勾画。
S2，对采集到的数据，将每个病例的其他模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本，输入为其他模态Mn影像数据，金标为对齐的M1的影像数据，第二批训练集是挑选的少部分样本，输入为其他模态影像数据，金标为对应的临床靶区或危及器官的二值图像。
S3，利用第一批训练数据，首先训练一个多模态重构网络，将输入其他模态Mn映射到第一模态M1，让该网络学习到各个模态的影像特征。
S4，然后利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，学习任务从模态重构迁移为图像分割，此时，模型输入为各个模态影像数据，输出为多通道的概率图，通道数对应临床靶区的类别数加1或为要勾画的危及器官数目加1。由于在第一阶段的训练中，模型已经很好的学习了各模态影像的数据特征，因此只用极少量的标注数据训练出勾画精度满足临床要求的自动勾画模型。
进一步，采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区(GTV/CTV/PTV)或危及器官的勾画，包括以下特征：
采集一批病人的所有临床影像数据，包括CT、CBCT、MRI、PET等各种模态，并挑选其中20％的样本，在这些数据的其中一个模态影像M1上进行金标准的勾画，勾画的区域可以是GTV/CTV/PTV等临床靶区，也可以是脑干、颞叶、眼球、晶状体等危及器官。
进一步，对采集到的数据，将每个病例的其他模态与另第一模态M1进行配准对齐，然后预处理成2批训练集，第一批训练集包括所采集的全部样本，输入为各模态的影像数据，金标为与之匹配的M1影像数据，第二批训练集包括挑选的20％样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像，包括以下特征：
采用rigid或者affine等刚性配准方法将每个病例的其他模态与第一模态M1进行配准对齐，使得每个病例的其他模态影像Mn与M1处在同一个空间坐标系上。
对所有数据进行预处理，包括：空间分辨率归一化、方向归一化、感兴趣区域裁剪、灰度归一化等预处理，所有样本的其他模态Mn与对应的M1构成第一批训练数据，挑选出的勾画了金标的所有模态与对应的靶区或器官二值图构成第二批数据。
进一步，利用第一批训练数据，首先训练一个多模态重构网络，将输入的其他模态Mn映射到第一模态M1，让该网络学习各模态的影像特征，包括：
搭建一个多输入的深度卷积神经网络，网络结构在Unet模型的基础上，改进为多输入多分支的结构。N种模态的数据，对应N个输入分支。每个分支由3个卷积下采样模块组成，卷积下采样模块即卷积模块(Conv Block)与maxPooling串联而成，而每个卷积模块包含2个卷积层、一个ReLu激活层、一个batchNormalization层。所述的N个输入分支构成Unet的编码部分，解码部分由3个典型的卷积模块与上采样交替构成。网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构的学习。
利用结构相性SSIM loss和L1 loss来训练多模态重构网络:
L＝-∑SSIM(x,y)-λL1
其中，SSIM为结构相似性指数，通常用来衡量图像失真的程度，其计算方式如下：
Figure BDA0003163215440000071
其中，x和y分别表示2个单通道图像，μx和μy分别表示x和y的局部平均值，σx和σy分别对应x和y的局部标准差，σxy表示x和y的局部协方差，C1和C2为常数。这些局部统计量(局部平均值、局部标准差以及局部协方差)的计算方式为取一个N*N的方形窗、计算窗内的统计值。将该方形窗逐像素滑动遍历整个图像，然后取平均，得到了全局SSIM。
L1为一阶矩，计算方式为：L1＝∑|x-y|。
在该阶段的训练中，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构的学习，训练过程中网络既能提取到各模态独特的影像特征，也能学习到各模态之间的共有特征。
进一步，利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，输入为各模态影像数据，输出为多通道的概率图，通道数对应临床靶区的类别数加1或为要勾画的危及器官数目加1。由于在第一阶段的训练中，模型已经很好的学习了各模态影像的数据特征，因此只用极少量的标注数据可训练出勾画精度满足临床要求的多模态影像自动勾画模型，包括：
网络的输入通道不变，但是在网络的输出之前加上softmax激活层，使得输出为对应各勾画目标的概率图。在该阶段的训练中，用第二批数据进行模型迁移学习的训练，输入为各模态影像数据，输出为对应勾画目标的概率图，输出与第二批数据的金标准进行比较，计算Dice相似度损失函数Dice loss：
Figure BDA0003163215440000081
其中，P为网络输出的概率图，G为金标。
利用Dice loss对模型进行勾画任务的训练，在该阶段中，深度学习网络的学习任务从上述的多模态重构迁移为多模态自动勾画任务，由于在多模态重构中，网络已经提取到了各个模态的特征，因此在自动勾画任务的学习中，只需要极少量的金标数据。
进一步，经过迁移学习训练好的自动勾画模型，可以对输入的任意模态影像数据，输出对应目标靶区或目标器官的概率图，对所述概率图取一个阈值，一般为0.5，可以得到对应勾画目标的二值图像，对二值图像进行轮廓线提取，即可完成目标靶区或目标器官的勾画。
总之，本发明的本发明的自动勾画模型的多模态迁移方法具有如下有益效果：
1、本发明只需要在一个模态的影像数据上进行勾画，即可完成多模态影像勾画模型的训练；
2、本发明利用大量的同病人的多模态影像数据进行模态重建的训练，然后对模态重建模型进行分割任务的迁移学习，可以在极少量标注数据的情况下，训练出精度较高的自动勾画模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种自动勾画模型的多模态迁移方法，其特征在于，包括：
采集一批病人的多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画；
对采集到的数据，将每个病例的其他模态与第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本的所有模态影像，输入为其他模态的影像数据，金标为对齐的M1影像数据，第二批训练集是挑选的少部分样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像；
利用第一批训练数据，训练一个多模态重构网络，将输入的多模态影像映射到第一模态M1，让多模态重构网络学习到各个模态独有的特征以及模态间共有的特征；
利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，学习任务从模态重构迁移为自动分割，输入各模态影像数据，输出多通道的概率图，通道数为临床靶区的类别数加1或为要勾画的危及器官数目加1，每个通道表示各像素属于对应的临床靶区或危及器官的概率。
2.如权利要求1所述的自动勾画模型的多模态迁移方法，其特征在于，所述临床靶区为GTV/CTV/PTV。
3.如权利要求2所述的自动勾画模型的多模态迁移方法，其特征在于，所述采集一批多模态数据，并挑选其中少部分样本在其中的一个模态M1上进行临床靶区或危及器官的勾画包括：
采集一批病人的所有临床影像数据，包括CT、CBCT、MRI、PET，并挑选其中20％的样本，在这些数据的其中一个模态影像M1上进行金标准的勾画，勾画的区域可以是GTV/CTV/PTV等临床靶区，也可以是脑干、颞叶、眼球、晶状体等危及器官。
4.如权利要求1所述的自动勾画模型的多模态迁移方法，其特征在于，对采集到的数据，将每个病例的其他模态与另第一模态M1进行配准对齐，然后预处理成两批训练集，第一批训练集包括所采集的全部样本，输入为各模态的影像数据，金标为与之匹配的M1影像数据，第二批训练集包括挑选的20％样本，输入为所有模态的影像数据，金标为对应的临床靶区或危及器官的二值图像包括：
采用rigid或者affine刚性配准方法将每个病例的其他模态与第一模态M1进行配准对齐，使得每个病例的其他模态影像Mn与M1处在同一个空间坐标系上；
对所有数据进行预处理，包括：空间分辨率归一化、方向归一化、感兴趣区域裁剪、灰度归一化等预处理，所有样本的其他模态Mn与对应的M1构成第一批训练数据，挑选出的所有模态与对应的勾画好的靶区或器官的二值图构成第二批训练数据。
5.如权利要求1所述的自动勾画模型的多模态迁移方法，其特征在于，利用第一批训练数据，训练一个多模态重构网络，将输入其他模态Mn映射到第一模态M1，让该网络学习各模态的影像特征，包括：
搭建一个多输入的深度卷积神经网络，网络结构在Unet模型的基础上，改进为多输入多分支的结构，N种模态的数据，对应N个输入分支，且每个分支由3个卷积下采样模块组成，卷积下采样模块为卷积模块与maxPooling串联而成，而卷积模块包含2个卷积层、1个ReLu激活层、1个batchNormalization层，所述的N个输入分支构成Unet的编码部分，解码部分由3个典型的卷积模块与上采样交替构成，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构任务的学习；
在该阶段，利用结构相性SSIMloss和L1 loss来训练多模态重构网络：
L＝-∑SSIM(x,y)-λL1
其中，SSIM为结构相似性指数，用来衡量图像失真的程度，其计算方式如下：
Figure FDA0003163215430000031
其中，x和y分别表示2个单通道图像，μx和μy分别表示x和y的局部平均值，σx和σy分别对应x和y的局部标准差，σxy表示x和y的局部协方差，C1和C2为常数；这些局部统计量的计算方式为取一个N*N的方形窗、计算窗内的统计值，将该方形窗逐像素滑动遍历整个图像，然后取平均，得到了全局SSIM。
L1为图像一阶矩，计算方式为：L1＝∑|x-y|；
在该阶段的训练中，网络将输入的各个模态数据进行编码重构为伪M1图像，进行模态重构的学习，训练过程中网络既能提取到各模态独特的影像特征，也能学习到各模态之间的共有特征。
6.如权利要求1所述的自动勾画模型的多模态迁移方法，其特征在于，利用第二批训练数据，对训练好的多模态重构网络进行迁移学习，学习任务从模态重构迁移为图像分隔。此时，输入为各模态影像数据，输出为多通道的概率图，通道数对应临床靶区的类别数加1或为要勾画的危及器官数目加1，包括：
网络的输入通道不变，在网络的输出之前加上softmax激活层，使得输出为对应各勾画目标的概率图，在该阶段的训练中，用第二批数据对多模态重构模型进行finetuning，输入为各模态影像数据，输出为对应勾画目标的概率图，输出与第二批数据的金标准进行比较，计算Dice相似度损失函数Diceloss：
Figure FDA0003163215430000032
其中，P为网络输出的概率图，G为金标；
利用Diceloss对模型进行分割任务的训练；
对任意模态的输入数据，训练好的模型能够输出对应勾画目标的概率图，对所述概率图取阈值0.5，可以得到对应勾画目标的二值图像，对二值图像进行轮廓线提取，即完成目标靶区或目标器官的勾画。
CN202110803451.9A 2021-07-14 2021-07-14 自动勾画模型的多模态迁移方法 Active CN113487579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803451.9A CN113487579B (zh) 2021-07-14 2021-07-14 自动勾画模型的多模态迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803451.9A CN113487579B (zh) 2021-07-14 2021-07-14 自动勾画模型的多模态迁移方法

Publications (2)

Publication Number Publication Date
CN113487579A true CN113487579A (zh) 2021-10-08
CN113487579B CN113487579B (zh) 2022-04-01

Family

ID=77939025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803451.9A Active CN113487579B (zh) 2021-07-14 2021-07-14 自动勾画模型的多模态迁移方法

Country Status (1)

Country Link
CN (1) CN113487579B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894191A (zh) * 2023-09-11 2023-10-17 亦康（北京）医药科技有限公司 算法模型训练、匹配方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108460813A (zh) * 2018-01-02 2018-08-28 沈阳东软医疗系统有限公司 一种靶区勾画方法和装置
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108460813A (zh) * 2018-01-02 2018-08-28 沈阳东软医疗系统有限公司 一种靶区勾画方法和装置
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
祁玉晓: ""基于多模态医学影像的鼻咽癌辅助诊疗系统"", 《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》 *
黄浦: ""基于注意力机制的神经网络技术研究及应用"", 《中国优秀博硕士学位论文全文数据库（博士） 基础科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894191A (zh) * 2023-09-11 2023-10-17 亦康（北京）医药科技有限公司 算法模型训练、匹配方法、装置、电子设备及介质
CN116894191B (zh) * 2023-09-11 2023-12-01 亦康（北京）医药科技有限公司 算法模型训练、匹配方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113487579B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN109035263B (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109166133B (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN113516210B (zh) 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置
CN110555835B (zh) 一种脑片图像区域划分方法及装置
WO2022001237A1 (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN107680110B (zh) 基于统计形状模型的内耳三维水平集分割方法
CN113298855B (zh) 基于自动勾画的图像配准方法
CN109509193B (zh) 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN113487579B (zh) 自动勾画模型的多模态迁移方法
CN114187293B (zh) 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
CN113288193B (zh) 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统
CN117218453B (zh) 一种不完备多模态医学影像学习方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN113379757B (zh) 用于训练脑影像分割模型的方法及脑影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant