CN114332102A - 基于分离表示的脑肿瘤图像生成与分割联合学习方法 - Google Patents
基于分离表示的脑肿瘤图像生成与分割联合学习方法 Download PDFInfo
- Publication number
- CN114332102A CN114332102A CN202111680466.7A CN202111680466A CN114332102A CN 114332102 A CN114332102 A CN 114332102A CN 202111680466 A CN202111680466 A CN 202111680466A CN 114332102 A CN114332102 A CN 114332102A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- content
- domain
- features
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000926 separation method Methods 0.000 title claims abstract description 20
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 19
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于分离表示的脑肿瘤图像生成与分割联合学习方法。基于分离表示将共享的内容和域特定样式特征分离出来，通过将提取的内容特征与分割任务相连接，能够有效提高脑肿瘤图像合成与分割的效果。通过对缺失模态的合成，无需在所有可能的模态子集上训练模型，复杂性相对更小，所需的训练时间更少。该网络模型可以灵活地处理随机一个或多个缺失域，使模型在输入任何多模态子集时都具有鲁棒性。
Description
技术领域
本发明属于图像生成与分割领域，具体涉及一种基于分离表示的脑肿瘤图像生成与分割联合学习方法。
背景技术
在多模态脑肿瘤自动分割研究中，训练模型时往往需要一组完整的模态数据。然而在临床实践中，由于扫描成本、时间、扫描仪的可用性和患者的舒适度等原因，在大多数情况下，多模态MRI子集可能会被临床数据中常见的运动伪影、较差的对比噪声比和信噪比破坏，导致一些患者缺少某些成像扫描。对于这些稀有而有价值的数据，在训练过程中仅仅丢弃不完整的样本是代价高昂的，而且用缺失的域输入进行测试也是不可行的。目前，已经提出了许多方法来处理医学图像分割中缺失的模态，这些方法可以大致分为三类:
(1)在模态的所有可能子集上训练模型，这是复杂且耗时的；
(2)合成缺失的模态，然后使用完整的成像模态来进行分割，而这需要额外的网络来进行合成。利用多模态的集合信息可以潜在地改善合成结果，但模型必须有特定数量的输入模态与输出模态，并且合成的质量会直接影响分割性能。
(3)目前有些研究学习将所有输入模态嵌入到一个共享的潜在空间中，通过融合这些潜在信息以学习共享特征表示，将其投影到分割空间。这种方法比前两种方法更有效，因为它不需要学习多模态的许多可能子集，并且不会受到合成模态质量的影响。然而，不同的MRI模态的强度分布不同，具有模态特异性的外观，因此对不同模态的特征进行统计学上的融合，可能无法获得理想的模态共享特征表示。
如上所述，现有技术存在以下的缺点：
(1)许多基于深度学习的多模态脑肿瘤分割算法均是在完整模态数据上进行，而在临床实践中，模态组数据往往是不完整的，当数据中包含不完整模态实例时算法将变得无效。
(2)针对多模态数据的不完整性问题，现有的技术在所有可能的模态子集上训练模型，这种方法复杂且耗时；
(3)还有的技术对合成缺失的模态，然后使用完整的成像模态集合进行分割，这种分割方法的性能取决于合成图像的质量，难以实现较好的鲁棒性；
(4)此外，还有融合潜在空间中的可用模态来学习共享特征，然后将其投影到分割空间。然而，这些方法大多集中在如何融合多种形式的特征上，而没有从分离表示的角度进行研究。
针对现有技术存在的缺点，本发明需要解决以下技术问题：
(1)当前大多数深度学习的方法在多模态数据不完整时难以正常工作的问题；
(2)减少方法的复杂性，减少网络训练时间；
(3)如何让网络模型更具有鲁棒性，能够灵活处理随机一个或者多个缺失域
(4)解决如何有效脑肿瘤图像合成与分割的效果的技术问题。
发明内容
本发明的目的在于克服上述缺陷，提供一种基于分离表示的脑肿瘤图像生成与分割联合学习方法。
为实现上述目的，本发明的技术方案是：一种基于分离表示的脑肿瘤图像生成与分割联合学习方法，包括：
设计一个基于分离表示的生成与分割网络，在训练过程中随机对一个或者多个模态的图像进行缺失处理，从而实现灵活地处理一组随机缺失的领域；基于分离表示的生成与分割网络还将提取的内容特征与分割任务相结合；
通过引入内容约束编码器，准确地提取出独立于模式的共享解剖结构特征；
添加强化分离的相似性损失，通过对损失函数的改进，进一步提升分割的性能。
1.在本发明一实施例中，所述基于分离表示的生成与分割网络，设计缺失模态情况下的生成与分割网络框架，包含域共享的内容编码器Ec与域特定的属性编码器Ea，所述基于分离表示的生成与分割网络具体如下：
将4个不同域{X1，X2，X3，X4}中的样本图像x1∈X1，x2∈X2，x3∈X3，x4∈X4分别提取域特定的属性特征
并从所有现有域中提取域共享内容特征c＝Ec(x1，x2，x3，x4)；属性特征表示特定于i域的图像外观信息，内容特征表示大脑解剖结构的形态信息；
在图像生成过程中，从先验高斯分布中对属性特征进行随机采样，通过与内容特征集成生成图像
其中
表示对应i域图像的生成器，利用图像一致性损失函数
其中
表示期望，p(xi)是域Xi(1≤i≤4)中的数据分布，使用L1损失来优化生成的多个域图像；并利用潜在一致性损失函数
来约束属性特征与内容特征重建后的一致性，其中p(ai)包含每个域中的域特定特征，例如不同的图像对比度，内容分布p(c)包含不同大脑对象的解剖结构相关特征；此外，在域共享的内容编码器后添加分割解码器，以生成输入图像的分割结果；通过同时优化合成损失和分割Dice损失，基于分离表示的生成与分割网络能够自适应地学习如何生成缺失图像以提高分割性能，并且在输入任何多模子集时具有鲁棒性。
在本发明一实施例中，所述内容约束编码器即基于一致性学习形状先验的内容约束编码器，具体如下：
内容约束编码器将分割金标准y作为输入，从标签中学习形状先验；通过损失函数
在特征空间中分析脑肿瘤图像的内容特征
与标签特征
的解剖结构一致性，同时利用损失函数
保证内容约束编码器的有效性，其中
为编码器输出的分割标签。
在本发明一实施例中，所述强化分离的相似性损失具体如下：
在基于分离表示的生成与分割网络中属性特征与内容特征之间可能会发生重叠，这导致学习到的共享内容特征仍然受域偏差的影响；假设同一模态下不同患者的属性特征比同一个患者不同模态的属性特征更相似，因此类间距离
立比类内距离
大，其中p、q表示不同患者，i、j表示不同模态；通过设计基于Triple损失函数Lsim＝max(margin+dpos-dneg，0)来优化基于分离表示的生成与分割网络，利用margin鼓励类间距离与类内距离相差边距大小。
相较于现有技术，本发明具有以下有益效果：
(1)本发明提出的多模态图像合成和分割框架能够解决目前大多数深度学习的方法在多模态数据不完整时难以正常工作的问题；
(2)本提案通过对缺失模态的合成，无需在所有可能的模态子集上训练模型各种复杂性相对更小，所需的训练时间更少；
(3)该网络模型可以灵活地处理随机一个或多个缺失域，使模型在输入任何多模态子集时都具有鲁棒性。
(4)本发明基于分离表示将共享的内容和域特定属性特征分离出来，通过将提取的内容特征与分割任务相连接，能够有效提高脑肿瘤图像合成与分割的效果。
附图说明
图1为基于分离表示的生成与分割网络框图；
图2为基于一致性学习形状先验的内容约束编码器；
图3为强化分离的相似性损失的示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
多模式MRI可以为分析胶质瘤的不同亚区提供补充信息。然而，大脑的解剖结构与多模态MRI相同。当多域数据可用时，通过学习将图像分解为共享内容特征和特定样式特征是有意义的。因此本发明提出了一种基于分离表示的脑肿瘤分割网络。整体设计如下：
首先设计了一个基于分离表示的生成与分割网络，在训练过程中不需要假设一组固定的缺失区域，而是随机对一个或者多个模态的图像进行缺失处理，从而实现灵活地处理一组随机缺失的领域。该网络还将提取的内容特征与分割任务相结合，进一步提高了提取内容特征的准确性。这样，多域图像的分离表示可以帮助脑肿瘤图像的合成和分割。
其次，通过引入内容约束编码器，该模型能够准确地提取出独立于模式的共享解剖结构特征。不仅进一步提高了网络提取脑肿瘤解剖结构的准确性，还提高了分割的精度。
最后，还添加了强化分离的相似性损失，通过对损失函数的改进，进一步提升分割的性能。
具体如下：
(1)基于分离表示的生成与分割网络
如图1所示，本发明所设计的缺失模态情况下的生成与分割网络框架，包含域共享的内容编码器Ec与域特定的属性编码器Ea。首先将4个不同域{X1，X2，X3，X4}中的样本图像x1∈X1，x2∈X2，x3∈X3，x4∈X4分别提取域特定的属性特征
并从所有现有域中提取域共享内容特征c＝Ec(x1，x2，x3，x4)；属性特征表示特定于i域的图像外观信息，内容特征表示大脑解剖结构的形态信息。
在图像生成过程中，从先验高斯分布中对属性特征进行随机采样，通过与内容特征集成生成图像
其中
表示对应i域图像的生成器，利用图像一致性损失函数
其中
表示期望，p(xi)是域Xi(1≤i≤4)中的数据分布，使用L1损失来优化生成的多个域图像。并利用潜在一致性损失函数
来约束属性特征与内容特征重建后的一致性，其中p(ai)包含每个域中的域特定特征，例如不同的图像对比度，内容分布p(c)包含不同大脑对象的解剖结构相关特征。此外，在内容编码器后添加分割解码器，以生成输入图像的分割结果。通过同时优化合成损失和分割Dice损失，该模型能够自适应地学习如何生成缺失图像以提高分割性能，并且在输入任何多模子集时具有鲁棒性。
(2)基于一致性学习形状先验的内容约束编码器
形状先验在分割任务中十分重要。如图2所示，本发明利用一个额外的自编码器分支对标签空间上的形状先验进行自编码。内容约束编码器将分割金标准y作为输入，从标签中学习形状先验；通过损失函数
在特征空间中分析脑肿瘤图像的内容特征
与标签特征
的解剖结构一致性，同时利用损失函数
保证内容约束编码器的有效性，其中
为编码器输出的分割标签。不仅进一步提高了网络提取脑肿瘤解剖结构的准确性，还提高了分割的精度。
(3)强化分离的相似性损失
实际上，在基于分离表示的网络中属性特征与内容特征之间可能会发生重叠，这导致学习到的共享内容特征仍然受域偏差的影响。假设同一模态下不同患者的属性特征比同一个患者不同模态的属性特征更相似，如图3所示，因此类间距离
应比类内距离
大，其中p，q表示不同患者，i，j表示不同模态。通过设计基于Triple损失函数Lsim＝max(margin+dpos-dneg，0)来优化基于分离表示的生成与分割网络，利用margin鼓励类间距离与类内距离相差边距大小。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (4)
1.一种基于分离表示的脑肿瘤图像生成与分割联合学习方法，其特征在于，包括：
设计一个基于分离表示的生成与分割网络，在训练过程中随机对一个或者多个模态的图像进行缺失处理，从而实现灵活地处理一组随机缺失的领域；基于分离表示的生成与分割网络还将提取的内容特征与分割任务相结合；
通过引入内容约束编码器，准确地提取出独立于模式的共享解剖结构特征；
添加强化分离的相似性损失，通过对损失函数的改进，进一步提升分割的性能。
2.根据权利要求1所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法，其特征在于，所述基于分离表示的生成与分割网络，设计缺失模态情况下的生成与分割网络框架，包含域共享的内容编码器Ec与域特定的属性编码器Ea，所述基于分离表示的生成与分割网络具体如下：
将4个不同域{X1,X2,X3,X4}中的样本图像x1∈X1,x2∈X2,x3∈X3,x4∈X4分别提取域特定的属性特征
并从所有现有域中提取域共享内容特征c＝Ec(x1,x2,x3,x4)；属性特征表示特定于i域的图像外观信息，内容特征表示大脑解剖结构的形态信息；
在图像生成过程中，从先验高斯分布中对属性特征进行随机采样，通过与内容特征集成生成图像
其中
表示对应i域图像的生成器，利用图像一致性损失函数
其中
表示期望，p(xi)是域Xi(1≤i≤4)中的数据分布，使用L1损失来优化生成的多个域图像；并利用潜在一致性损失函数
来约束属性特征与内容特征重建后的一致性，其中p(ai)包含每个域中的域特定特征，内容分布p(c)包含不同大脑对象的解剖结构相关特征；此外，在域共享的内容编码器后添加分割解码器，以生成输入图像的分割结果；通过同时优化合成损失和分割Dice损失，基于分离表示的生成与分割网络能够自适应地学习如何生成缺失图像以提高分割性能，并且在输入任何多模子集时具有鲁棒性。
3.根据权利要求1所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法，其特征在于，所述内容约束编码器即基于一致性学习形状先验的内容约束编码器，具体如下：
内容约束编码器将分割金标准y作为输入，从标签中学习形状先验；通过损失函数
在特征空间中分析脑肿瘤图像的内容特征
与标签特征
的解剖结构一致性，同时利用损失函数
保证内容约束编码器的有效性，其中
为编码器输出的分割标签。
4.根据权利要求2所述的基于分离表示的脑肿瘤图像生成与分割联合学习方法，其特征在于，所述强化分离的相似性损失具体如下：
在基于分离表示的生成与分割网络中属性特征与内容特征之间可能会发生重叠，这导致学习到的共享内容特征仍然受域偏差的影响；假设同一模态下不同患者的属性特征比同一个患者不同模态的属性特征更相似，因此类间距离
应比类内距离
大，其中p、q表示不同患者，i、j表示不同模态；通过设计基于Triple损失函数Lsim＝max(margin+dpos-dneg,0)来优化基于分离表示的生成与分割网络，利用margin鼓励类间距离与类内距离相差边距大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680466.7A CN114332102A (zh) | 2021-12-31 | 2021-12-31 | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680466.7A CN114332102A (zh) | 2021-12-31 | 2021-12-31 | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332102A true CN114332102A (zh) | 2022-04-12 |
Family
ID=81022899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111680466.7A Pending CN114332102A (zh) | 2021-12-31 | 2021-12-31 | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332102A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113496495A (zh) * | 2021-06-25 | 2021-10-12 | 华中科技大学 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
| CN113706558A (zh) * | 2021-09-06 | 2021-11-26 | 联想(北京)有限公司 | 图像分割方法、装置及计算机设备 |
| US20210397966A1 (en) * | 2020-06-18 | 2021-12-23 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
-
2021
- 2021-12-31 CN CN202111680466.7A patent/CN114332102A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| US20210397966A1 (en) * | 2020-06-18 | 2021-12-23 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113496495A (zh) * | 2021-06-25 | 2021-10-12 | 华中科技大学 | 可缺失输入的医学图像分割模型建立方法及分割方法 |
| CN113706558A (zh) * | 2021-09-06 | 2021-11-26 | 联想(北京)有限公司 | 图像分割方法、装置及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄立勤: ""关于视频图像多目标跟踪优化研究"", 《计算机仿真》, 30 September 2020 (2020-09-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Karatzas et al. | ICDAR 2011 robust reading competition-challenge 1: reading text in born-digital images (web and email) | |
| CN111476805A (zh) | 一种基于多重约束的跨源无监督域适应分割模型 | |
| Zhang et al. | A comprehensive survey on segment anything model for vision and beyond | |
| Gao et al. | Enabling data diversity: efficient automatic augmentation via regularized adversarial training | |
| Liu et al. | Gmm-unit: Unsupervised multi-domain and multi-modal image-to-image translation via attribute gaussian mixture modeling | |
| Fu et al. | A multi-task learning model with adversarial data augmentation for classification of fine-grained images | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| Shen et al. | CDTD: A large-scale cross-domain benchmark for instance-level image-to-image translation and domain adaptive object detection | |
| CN113361646A (zh) | 基于语义信息保留的广义零样本图像识别方法及模型 | |
| Xiao et al. | An extended attention mechanism for scene text recognition | |
| Baraheem et al. | Image synthesis: a review of methods, datasets, evaluation metrics, and future outlook | |
| Chung et al. | Emerging research directions of deep learning for pathology image analysis | |
| Zhang et al. | A survey on multimodal-guided visual content synthesis | |
| Neff et al. | Generative adversarial networks to synthetically augment data for deep learning based image segmentation | |
| Zhang et al. | Extracting regions of interest in biomedical images | |
| CN114332102A (zh) | 基于分离表示的脑肿瘤图像生成与分割联合学习方法 | |
| Ma et al. | Rethinking super-resolution as text-guided details generation | |
| Bartz et al. | Synthesis in style: Semantic segmentation of historical documents using synthetic data | |
| Liu et al. | Structure-aware unsupervised tagged-to-cine MRI synthesis with self disentanglement | |
| Hognon et al. | Contrastive image adaptation for acquisition shift reduction in medical imaging | |
| Khan et al. | Face recognition via multi-level 3D-GAN colorization | |
| Gong et al. | Unattached irregular scene text rectification with refined objective | |
| Tamrin et al. | Simultaneous detection of regular patterns in ancient manuscripts using GAN-Based deep unsupervised segmentation | |
| Kawano et al. | TAG: Guidance-free Open-Vocabulary Semantic Segmentation | |
| CN111275778A (zh) | 人脸简笔画生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |