CN114004817A - 一种分割网络半监督训练方法、系统、设备及存储介质 - Google Patents

一种分割网络半监督训练方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114004817A
CN114004817A CN202111296424.3A CN202111296424A CN114004817A CN 114004817 A CN114004817 A CN 114004817A CN 202111296424 A CN202111296424 A CN 202111296424A CN 114004817 A CN114004817 A CN 114004817A
Authority
CN
China
Prior art keywords
network
image
segmentation
prior
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111296424.3A
Other languages
English (en)
Other versions
CN114004817B (zh
Inventor
李少捷
杨烜
杨博乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111296424.3A priority Critical patent/CN114004817B/zh
Publication of CN114004817A publication Critical patent/CN114004817A/zh
Application granted granted Critical
Publication of CN114004817B publication Critical patent/CN114004817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，涉及一种分割网络半监督训练方法、系统、设备及存储介质。针对有监督训练方法依赖大量标记数据和先验知识在半监督训练中利用不充分问题，利用U‑Net分割网络作为编码器和预训练的条件生成网络作为解码器组成编码‑解码的神经网络，通过生成对抗的方式预训练条件生成网络使得网络往正确方向学习；提出了心脏图像通过仿射变换进行配准来提高与先验信息的匹配程度，同时提出了惩罚损失项和感兴趣区域重构误差损失项来有效抑制心脏图像复杂背景的干扰。除了预训练条件生成网络需要少量标记数据外，其余部分不再需要标记数据，从而只需要少量标记数据就可以训练准确的心脏图像分割网络，以定量评估心室容积等重要临床指标。

Description

一种分割网络半监督训练方法、系统、设备及存储介质
技术领域
本发明属于图像处理技术领域，涉及一种心脏图像多目标分割神经网络的半监督训练方法，尤其涉及一种分割网络半监督训练方法、系统、设备及存储介质。
背景技术
利用心脏影像分析其解剖结构在心脏疾病诊断中具有重要作用，是心脏疾病诊断与制定治疗方案的重要手段。心脏磁共振成像是一种非侵入性成像技术，可以可视化心脏内部和周围的结构，这是心脏评估的黄金标准。对心脏磁共振成像通过语义分割的方式可以得到左心室、右心室以及心室壁等重要目标，进而用于定量评估心室容积、射血分数等重要临床指标，这为心血管疾病的诊断和治疗提供了巨大帮助。
现有的有监督训练方法依赖大量标注数据和网络泛化能力不强的缺点成为医学图像分割领域的瓶颈之一。近年来，许多基于卷积神经网络的心脏自动分割方法被提出并在心脏分割任务中取得了出色的分割精度，但这些方法大多使用有监督学习方法来训练网络，导致训练过程依赖大量标注数据，而这些数据的标注往往需要大量的时间和专业知识；此外，裁剪、几何变换等数据增强技术虽然可以增加训练数据量，但其多样性仍然有限，不能代表实际数据分布，导致网络预测的泛化能力有限，这已经成了医学图像分割领域的一大挑战。
针对有监督训练方法依赖大量标注数据以及网络泛化能力有限的问题，已经提出了几种机器学习方法来克服这一挑战，包括迁移学习、自监督学习、GAN和半监督学习。其中，迁移学习在大型数据集上训练模型，然后在小型数据集上对它们进行微调，这样网络即使在数据有限的情况下也能快速收敛；自监督学习旨在从未标记的数据中学习数据的有用底层表示，它首先使用自我监督训练，然后在具有少量标签的下游任务中进行有监督微调训练；基于GAN的方法包括生成合成注释图像以增加训练数据集和使用对抗性损失函数来学习网络预测结果与语义标签之间的误差；半监督学习涉及少量标记数据和大量未标记数据，旨在通过标记数据与未标记数据之间的解剖关系来对标签与预测结果之间的语义关系进行建模。
先验知识可以在半监督学习中作为独立信息直接指导神经网络的训练和预测过程，因此将先验信息引入半监督学习对于心脏自动分割很有吸引力。先前的相关工作将分割任务建模为离散表示学习问题，即将网络分割结果建模成离散潜在变量并使用先验来约束潜在变量的分布，同时借鉴变分自动编码的思想将分割网络作为编码器、将根据分割结果生成近似输入图像的生成器作为解码器，通过重构图像和输入图像之间的重构误差作为损失函数来训练分割网络。根据这样的建模，构建的神经网络只需要先验和输入图像即可对分割网络进行训练。
先前的相关工作使用简单的解码器和简单的目标损失函数对分割网络进行半监督训练，这对于心脏数据这类具有复杂背景的医学图像并不适用。先前的相关工作使用简单的全连接层作为解码器，这无法重构复杂的心脏图像，而不合理的重构图像会使得目标损失函数无法评估编码器的分割性能，从而导致编码器无法往正确的方向学习；同时，先前的工作对先验不执行配准会导致先验失去约束作用，因为临床上的心脏图像往往在形态大小上存在较大差异，使用固定的先验无法描述所有心脏图像的先验分布，这会使得先验失去应有的解剖意义；此外，先前的工作只是将先验知识运用在计算与分割网络预测结果之间的KL散度上来实现约束目的，这并没有完全利用先验信息，进一步探索充分利用先验信息的训练方法成为医学图像分割领域的一个重要方向。
发明内容
本发明主要目的在于，提供一种心脏图像多目标分割神经网络的半监督训练方法、系统、设备及存储介质，以解决现有心脏图像分割方法依赖大量标注数据和泛化能力有限的问题，同时为半监督训练方法充分利用先验信息提供一种新的思路。
本发明采用以下技术方案实现：
一种分割网络半监督训练方法，包括以下步骤：
步骤1)、通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
步骤2)、获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络；
步骤3)、构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
步骤4)、通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果；
步骤5)、将所述预测分割结果输入所述条件生成网络，以生成重构图像；
步骤6)、根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
步骤7)、根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
步骤8)、判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤4)。
作为本发明的进一步方案，步骤1)中，通过仿射变换将标签图像以及所有训练图像对齐，包括通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐，以及通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐。
进一步的，步骤1)中，以图像互信息最大化为目标函数，通过旋转、平移的仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐，以保证所有训练图像与先验的解剖位置相对应。
进一步的，步骤2)中，获取少量的心脏图像及对应分割结果的标记数据，无需依赖大量标注数据来训练网络，避免训练过程依赖大量标注数据导致需要耗费大量的时间和专业知识，利用少量心脏图像和对应分割结果作为标记数据，预训练即可获得条件生成网络。
步骤2)中，利用少量心脏图像和对应的语义分割图通过生成对抗的方式预训练条件生成网络，所述条件生成网络以所述语义分割图为条件输入生成对应的重构图像，由鉴别器对心脏图像和对应的重构图像进行鉴别生成损失函数，根据所述损失函数计算损失函数关于条件生成网络和鉴别器网络参数的梯度并根据所述梯度更新条件生成网络和鉴别器的网络参数，从而通过生成对抗的方式预训练条件生成网络。
进一步的，步骤4)中，所述U-Net分割网络进行图像分割的所述心脏图像为心脏MR图像，即心脏核磁共振检查图像；并基于gumbel-softmax的采样对所述预测概率图进行随机采样得到预测分割结果。
进一步的，步骤4)中，设所述惩罚损失项为Lp，其计算公式如下：
Figure BDA0003336723010000041
其中，ε是超参数，所述惩罚损失项用于惩罚所述U-Net分割网络预测的不合理像素从而保证所述U-Net分割网络生成具有解剖学意义的分割结果。
进一步地，所述步骤6)中，设所述感兴趣区域重构误差损失项为Lrec，其计算公式如下：
Figure BDA0003336723010000051
其中，NΩ是所述心脏MR图像的像素数，σ2是xROI和
Figure BDA0003336723010000052
的全局均方误差，xROI和
Figure BDA0003336723010000053
是所述心脏MR图像和所述重构图像中对应所述先验背景概率不为1的部分，即感兴趣区域；对于所述心脏MR图像和重构图像上的每个像素z转换成感兴趣区域的对应像素zROI所采用的转换公式如下：
Figure BDA0003336723010000054
其中，p(z)是所述先验在z像素处的背景概率。
进一步地，所述步骤7)中，设所述整体损失函数为Ltotal，其计算公式如下：
Ltotal＝Lrec+LKL+ωLp
其中，LKL是所述KL散度损失项，ω是控制所述惩罚损失项权重的超参数。
本发明还包括一种分割网络半监督训练系统，所述分割网络半监督训练系统采用前述分割网络半监督训练方法充分利用先验信息进行心脏图像分割训练；所述分割网络半监督训练系统包括先验生成模块、网络构建模块、计算量化模块、总体损失函数计算模块以及判断模块。
所述先验生成模块，用于通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
所述网络构建模块，用于获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络，构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
所述计算量化模块，用于通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果，将所述预测分割结果输入所述条件生成网络，以生成重构图像；
所述总体损失函数计算模块，用于根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项，并根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
所述判断模块，用于判断迭代次数是否达到设置值。
本发明还包括一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的分割网络半监督训练方法。
本发明还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述的分割网络半监督训练方法。
本发明提供的技术方案，具有如下有益效果：
本发明提供的针对网络训练依赖大量标记数据以及泛化能力有限和先验知识在半监督训练中利用不充分问题，利用心脏图像多目标分割神经网络的半监督训练方法，提出使用以生成对抗的方式预训练的条件生成网络作为语义图像生成器，为了充分利用先验信息提出了心脏MR图像通过仿射变换进行配准以提高与先验信息的匹配程度，同时提出了惩罚损失项和感兴趣区域重构误差损失项来有效抑制心脏图像复杂背景的干扰。将功能更强大的条件生成网络作为解码器可以从离散的潜在变量中生成更复杂的重构图像，这有利于通过损失函数评估编码器的预测性能从而通过梯度的反向传播鼓励编码器往正确的方向学习；将心脏图像通过仿射变换进行配准能够使先验与编码器的预测保持一致，这不仅降低了网络训练的难度同时使先验具备解剖结构上的指导作用；感兴趣区域重构误差损失项关注的是目标区域而不是整个图片，这鼓励解码器生成更具解剖学意义的重构图像，同时惩罚损失项用于惩罚与先验信息不一致的编码器输出，这两项损失函数能够抑制复杂背景的干扰，让网络的训练具备注意力机制以关注感兴趣区域的分割与重构。
利用心脏图像多目标分割神经网络的半监督训练方法，能够化解现有网络训练依赖大量标记数据和医学图像领域标记数据匮乏的矛盾，同时基于变分自动编码器的训练方式使得训练得到的网络具备更强的泛化能力；对先验的充分利用使得先验信息能够对半监督训练发挥更强大的指导作用。心脏图像多目标分割神经网络的半监督训练方法能够在标记数据有限的情况下训练得到与有监督学习精度相当的分割网络，这为心脏自动分割技术提供了新的思路。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一种分割网络半监督训练方法的流程图。
图2为本发明一个实施例中分割网络半监督训练系统的系统框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。
本发明针对网络训练依赖大量标记数据以及泛化能力有限和先验知识在半监督训练中利用不充分问题，利用心脏图像多目标分割神经网络的半监督训练方法，提供的一种分割网络半监督训练方法、系统、设备及存储介质，使用以生成对抗的方式预训练的条件生成网络作为语义图像生成器，为了充分利用先验信息提出了心脏MR图像通过仿射变换进行配准以提高与先验信息的匹配程度，同时提出了惩罚损失项和感兴趣区域重构误差损失项来有效抑制心脏图像复杂背景的干扰；其中，本发明中，分割网络半监督训练方法包括如下步骤：
步骤1)、通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
步骤2)、获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络；
步骤3)、构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
步骤4)、通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果；
步骤5)、将所述预测分割结果输入所述条件生成网络，以生成重构图像；
步骤6)、根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
步骤7)、根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
步骤8)、判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤4)。
本发明能够化解现有网络训练依赖大量标记数据和医学图像领域标记数据匮乏的矛盾，同时基于变分自动编码器的训练方式使得训练得到的网络具备更强的泛化能力，对先验的充分利用使得先验信息能够对半监督训练发挥更强大的指导作用。
下面结合具体实施例对本发明的技术方案作进一步的说明：
本发明第一实施例提供了一种心脏图像多目标分割神经网络的半监督训练方法。参见图1所示，该心脏图像多目标分割神经网络的半监督训练方法包括如下步骤：
步骤A1：通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐并计算每个像素的概率分布以生成先验。
需要特别说明的是，先验从给定的心脏MR图像和语义标签对
Figure BDA0003336723010000091
生成，其中，N是带有语义标签的图像对数量，gi是xi的对应语义标签，gi上的每个像素都被分配了一种组织类型，例如背景、LV、MYO、RV。为了生成先验，从图像对
Figure BDA0003336723010000092
中选取一个图像对{xrefer,grefer}作为参考图像对，将其余心脏MR图像xi与参考图像xrefer通过仿射变换配准左心室中心和左、右心室中心之间的连线，并记录相应的仿射参数；通过仿射参数对对应的标签进行仿射变换，对仿射变换后的标签进行平均来生成先验；所述先验上每个像素的先验分布是独立的且每个像素是一个L维向量对应该像素属于各种组织类型的先验概率，其中L是组织类型的数量。
步骤A2：通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐。
需要特别说明的是，以图像互信息最大化为目标函数，通过旋转、平移的仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐，以保证所有训练图像与先验的解剖位置相对应。
步骤A3：利用少量心脏图像和对应分割结果的标记数据以生成对抗的方式预训练条件生成网络。
需要特别说明的是，通过添加一个鉴别器与条件生成器网络成生成对抗的训练方式，条件生成网络以语义分割图作为条件输入生成对应的重构图像，由鉴别器对对应的心脏图像和重构图像进行鉴别生成损失函数，根据损失函数计算损失函数关于条件生成网络和鉴别器网络参数的梯度并根据该梯度更新条件生成网络和鉴别器的网络参数，从而以生成对抗的方式预训练条件生成网络。
步骤A4：构建U-Net分割网络和所述条件生成网络组成编码-解码的神经网络。
需要特别说明的是，编码-解码的神经网络将U-Net分割网络作为编码器，以条件生成网络作为解码器。编码器以心脏MR图像为输入，输出预测概率图；解码器以编码器预测概率图处理后的预测分割结果作为输入，输出重构图像。
步骤A5：计算所述U-Net分割网络对所述心脏MR图像进行图像分割得到的预测概率图与所述先验之间的KL散度损失项，同时根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，利用Gumbel-Softmax对所述预测概率图进行随机采样得到预测分割结果。
需要特别说明的是，U-Net分割网络通过搜索路径和扩展路径两部分对输入的心脏MR图像进行处理，搜索路径用于捕捉输入心脏MR图像中的上下文信息，扩展路径用于对需要分割的目标区域进行精准定位，U-Net分割网络输出与输入同等分辨率的预测概率图，预测概率图上的每个像素都是一个L维的向量，对应每种组织类型的概率，其中L是组织类型的数量。
通过计算U-Net分割网络的预测概率图与先验之间的KL散度损失项来对网络施加先验约束，设所述KL散度损失项为LKL，其计算公式如下：
Figure BDA0003336723010000111
其中Ω是所述心脏MR图像的所有像素，Pred(sj|x)是以x作为输入的所述U-Net分割网络的预测概率图在j像素处的概率分布，p(sj)是所述先验在j像素处的概率分布，H(Pred(sj|x),p(sj))是所述Pred(sj|x)和p(sj)之间的交叉熵，H(Pred(sj|x))是所述Pred(sj|x)的边际熵。
设所述惩罚损失项为Lp，其计算公式如下：
Figure BDA0003336723010000112
其中ε是超参数，通过惩罚损失项对预测概率图中的不合理像素进行惩罚以保证U-Net分割网络生成符合解剖意义的分割结果。
在本实施例中，Gumbel-softmax作为一种重新参数化技巧，通过对预测概率图进行随机采样得到预测分割结果，且可以保证梯度的反向传播。
步骤A6：所述预测分割结果输入所述条件生成网络生成重构图像。
步骤A7：根据所述先验计算所述重构图像和所述心脏MR图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项。
需要特别说明的是，通过添加关注感兴趣区域的重构误差损失项来抑制心脏图像复杂背景对重构误差的干扰，设所述感兴趣区域重构误差损失项为Lrec，其计算公式如下：
Figure BDA0003336723010000113
其中，NΩ是所述心脏MR图像的像素数，σ2是xROI和
Figure BDA0003336723010000114
的全局均方误差，xROI和
Figure BDA0003336723010000121
是所述心脏MR图像和重构图像中对应所述先验背景概率不为1的部分，即感兴趣区域；对于所述心脏MR图像和所述重构图像上的每个像素z转换成感兴趣区域的对应像素zROI所采用的转换公式如下：
Figure BDA0003336723010000122
其中，p(z)是所述先验在z像素处的背景概率。
步骤A8：根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项来计算总体损失函数。
在本实施例中，设所述整体损失函数为Ltotal，其计算公式如下：
Ltotal＝Lrec+LKL+ωLp
其中LKL是所述KL散度损失项，ω是控制所述惩罚损失项权重的超参数。
步骤A9：判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络，否则，转步至步骤A10；
步骤A10：计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤A5。
需要特别说明的是，假设第i个网络参数为wi，计算
Figure BDA0003336723010000123
则网络参数wi调整为Δw′i＝wi+γΔwi，其中γ是学习速率，根据自适应随机梯度下降算法自动确定。
本发明提供了一种分割网络半监督训练方法，以生成对抗的方式预训练的条件生成网络作为语义图像生成器，为了充分利用先验信息提出了心脏MR图像通过仿射变换进行配准以提高与先验信息的匹配程度，同时提出了惩罚损失项和感兴趣区域重构误差损失项来有效抑制心脏图像复杂背景的干扰。将功能更强大的条件生成网络作为解码器可以从离散的潜在变量中生成更复杂的重构图像，这有利于通过损失函数评估编码器的预测性能从而通过梯度的反向传播鼓励编码器往正确的方向学习；将心脏图像通过仿射变换进行配准能够使先验与编码器的预测保持一致，这不仅降低了网络训练的难度同时使先验具备解剖结构上的指导作用；感兴趣区域重构误差损失项关注的是目标区域而不是整个图片，这鼓励解码器生成更具解剖学意义的重构图像，同时惩罚损失项用于惩罚与先验信息不一致的编码器输出，这两项损失函数能够抑制复杂背景的干扰，让网络的训练具备注意力机制以关注感兴趣区域的分割与重构。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种分割网络半监督训练系统，包括先验生成模块100、网络构建模块200、计算量化模块300、总体损失函数计算模块400以及判断模块500。其中：
所述先验生成模块100，用于通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
所述网络构建模块200，用于获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络，构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
所述计算量化模块300，用于通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果，将所述预测分割结果输入所述条件生成网络，以生成重构图像；
所述总体损失函数计算模块400，用于根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项，并根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
所述判断模块500，用于判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果。
在本实施例中，分割网络半监督训练系统在执行时采用如前述的一种分割网络半监督训练方法的步骤，因此，本实施例中对分割网络半监督训练系统的运行过程不再详细介绍。
在一个实施例中，在本发明的实施例中还提供了一种计算机设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的分割网络半监督训练方法，该处理器执行指令时实现上述方法实施例中的步骤：
步骤A1：通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐并计算每个像素的概率分布以生成先验；
步骤A2：通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐；
步骤A3：利用少量心脏图像和对应分割结果的标记数据以生成对抗的方式预训练条件生成网络；
步骤A4：构建U-Net分割网络和所述条件生成网络组成编码-解码的神经网络；
步骤A5：计算所述U-Net分割网络对所述心脏MR图像进行图像分割得到的预测概率图和所述先验之间的KL散度损失项，同时根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，利用Gumbel-Softmax对所述预测概率图进行随机采样得到预测分割结果；
步骤A6：所述预测分割结果输入所述条件生成网络生成重构图像；
步骤A7：根据所述先验计算所述重构图像和所述心脏MR图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
步骤A8：根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项来计算总体损失函数；
步骤A9：判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络，否则，转步至步骤A10；
步骤A10：计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤A5。
在一个实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述的分割网络半监督训练方法，所述分割网络半监督训练方法的实施例中的步骤为：
步骤A1：通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐并计算每个像素的概率分布以生成先验；
步骤A2：通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐；
步骤A3：利用少量心脏图像和对应分割结果的标记数据以生成对抗的方式预训练条件生成网络；
步骤A4：构建U-Net分割网络和所述条件生成网络组成编码-解码的神经网络；
步骤A5：计算所述U-Net分割网络对所述心脏MR图像进行图像分割得到的预测概率图和所述先验之间的KL散度损失项，同时根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，利用Gumbel-Softmax对所述预测概率图进行随机采样得到预测分割结果；
步骤A6：所述预测分割结果输入所述条件生成网络生成重构图像；
步骤A7：根据所述先验计算所述重构图像和所述心脏MR图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
步骤A8：根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项来计算总体损失函数；
步骤A9：判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络，否则，转步至步骤A10；
步骤A10：计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤A5。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机指令表征的计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
非易失性存储器可包括只读存储器、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器或动态随机存取存储器等。
综上所述，本发明提供的针对网络训练依赖大量标记数据以及泛化能力有限和先验知识在半监督训练中利用不充分问题，利用心脏图像多目标分割神经网络的半监督训练方法，提出使用以生成对抗的方式预训练的条件生成网络作为语义图像生成器，为了充分利用先验信息提出了心脏MR图像通过仿射变换进行配准以提高与先验信息的匹配程度，同时提出了惩罚损失项和感兴趣区域重构误差损失项来有效抑制心脏图像复杂背景的干扰。将功能更强大的条件生成网络作为解码器可以从离散的潜在变量中生成更复杂的重构图像，这有利于通过损失函数评估编码器的预测性能从而通过梯度的反向传播鼓励编码器往正确的方向学习；将心脏图像通过仿射变换进行配准能够使先验与编码器的预测保持一致，这不仅降低了网络训练的难度同时使先验具备解剖结构上的指导作用；感兴趣区域重构误差损失项关注的是目标区域而不是整个图片，这鼓励解码器生成更具解剖学意义的重构图像，同时惩罚损失项用于惩罚与先验信息不一致的编码器输出，这两项损失函数能够抑制复杂背景的干扰，让网络的训练具备注意力机制以关注感兴趣区域的分割与重构。
利用心脏图像多目标分割神经网络的半监督训练方法，能够化解现有网络训练依赖大量标记数据和医学图像领域标记数据匮乏的矛盾，同时基于变分自动编码器的训练方式使得训练得到的网络具备更强的泛化能力；对先验的充分利用使得先验信息能够对半监督训练发挥更强大的指导作用。心脏图像多目标分割神经网络的半监督训练方法能够在标记数据有限的情况下训练得到与有监督学习精度相当的分割网络，这为心脏自动分割技术提供了新的思路。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分割网络半监督训练方法，其特征在于，包括：
步骤1)、通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
步骤2)、获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络；
步骤3)、构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
步骤4)、通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果；
步骤5)、将所述预测分割结果输入所述条件生成网络，以生成重构图像；
步骤6)、根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项；
步骤7)、根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；
步骤8)、判断迭代次数是否达到设置值，若是，则结束，所述U-Net分割网络即为心脏多目标分割神经网络；若否，则计算整体损失函数关于所述编码-解码的神经网络参数的导数，并根据此调整所述神经网络参数，并返回步骤4)。
2.如权利要求1所述的分割网络半监督训练方法，其特征在于：所述通过仿射变换将标签图像以及所有训练图像对齐，包括通过仿射变换将标签图像左心室中心对齐且左、右心室中心连线对齐，以及通过仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐；其中，步骤1)中，以图像互信息最大化为目标函数，通过旋转、平移的仿射变换将所有训练图像左心室中心对齐且左、右心室中心连线对齐。
3.如权利要求1或2所述的分割网络半监督训练方法，其特征在于：步骤2)中，利用少量心脏图像和对应的语义分割图通过生成对抗的方式预训练条件生成网络，所述条件生成网络以所述语义分割图为条件输入生成对应的重构图像，由鉴别器对心脏图像和对应的重构图像进行鉴别生成损失函数，根据所述损失函数计算损失函数关于条件生成网络和鉴别器网络参数的梯度并根据所述梯度更新条件生成网络和鉴别器的网络参数，从而通过生成对抗的方式预训练条件生成网络。
4.如权利要求1所述的分割网络半监督训练方法，其特征在于：步骤4)中，所述U-Net分割网络进行图像分割的所述心脏图像为心脏MR图像，即心脏核磁共振检查图像；并基于gumbel-softmax的采样对所述预测概率图进行随机采样得到预测分割结果。
5.如权利要求4所述的分割网络半监督训练方法，其特征在于：步骤4)中，设所述惩罚损失项为Lp，计算公式如下：
Figure FDA0003336722000000021
其中，ε是超参数，所述惩罚损失项用于惩罚所述U-Net分割网络预测的不合理像素以保证所述U-Net分割网络生成具有解剖学意义的分割结果。
6.如权利要求5所述的分割网络半监督训练方法，其特征在于：所述步骤6)中，设所述感兴趣区域重构误差损失项为Lrec，计算公式如下：
Figure FDA0003336722000000022
其中，NΩ是所述心脏MR图像的像素数，2是xROI和
Figure FDA0003336722000000023
的全局均方误差，xROI和
Figure FDA0003336722000000024
是所述心脏MR图像和所述重构图像中对应所述先验背景概率不为1的部分，即感兴趣区域；对于所述心脏MR图像和重构图像上的每个像素z转换成感兴趣区域的对应像素zROI所采用的转换公式如下：
Figure FDA0003336722000000031
其中，p(z)是所述先验在z像素处的背景概率。
7.如权利要求6所述的分割网络半监督训练方法，其特征在于：所述步骤7)中，设所述整体损失函数为Ltotal，计算公式如下：
Ltotal＝Lrec+LKL+ωLp
其中，LKL是所述KL散度损失项，ω是控制所述惩罚损失项权重的超参数。
8.一种分割网络半监督训练系统，其特征在于：所述分割网络半监督训练系统采用权利要求1-7中任意一项所述分割网络半监督训练方法充分利用先验信息进行心脏图像分割训练；所述分割网络半监督训练系统包括：
先验生成模块，用于通过仿射变换将标签图像以及所有训练图像对齐，并计算所述标签图像每个像素的概率分布以生成先验；
网络构建模块，用于获取心脏图像及对应分割结果的标记数据，以生成对抗的方式预训练得到条件生成网络，构建U-Net分割网络与所述条件生成网络组成编码-解码的神经网络；
计算量化模块，用于通过所述U-Net分割网络对所述心脏图像进行图像分割，计算得到预测概率图和所述先验之间的KL散度损失项，并根据所述先验对所述预测概率图中的不合理像素计算惩罚损失项，对所述预测概率图进行随机采样得到预测分割结果，将所述预测分割结果输入所述条件生成网络，以生成重构图像；
总体损失函数计算模块，用于根据所述先验计算所述重构图像和所述心脏图像中先验背景概率不为1的部分所对应的感兴趣区域重构误差损失项，并根据所述KL散度损失项、惩罚损失项和感兴趣区域重构误差损失项计算总体损失函数；以及
判断模块，用于判断迭代次数是否达到设置值。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任一所述的分割网络半监督训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一所述的分割网络半监督训练方法。
CN202111296424.3A 2021-11-03 2021-11-03 一种分割网络半监督训练方法、系统、设备及存储介质 Active CN114004817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111296424.3A CN114004817B (zh) 2021-11-03 2021-11-03 一种分割网络半监督训练方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296424.3A CN114004817B (zh) 2021-11-03 2021-11-03 一种分割网络半监督训练方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114004817A true CN114004817A (zh) 2022-02-01
CN114004817B CN114004817B (zh) 2024-04-02

Family

ID=79927010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296424.3A Active CN114004817B (zh) 2021-11-03 2021-11-03 一种分割网络半监督训练方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114004817B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693830A (zh) * 2022-05-27 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 医学影像的多器官分割、模型训练方法、设备及介质
CN114863104A (zh) * 2022-05-05 2022-08-05 哈尔滨工业大学 一种基于标签分布学习的图像分割方法
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN117409326A (zh) * 2023-12-13 2024-01-16 山东锋士信息技术有限公司 基于自适应加权损失和对抗干扰器的遥感异常检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737379A (zh) * 2012-06-07 2012-10-17 中山大学 一种基于自适应学习的ct图像分割方法
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
WO2020120238A1 (en) * 2018-12-12 2020-06-18 Koninklijke Philips N.V. System and method for providing stroke lesion segmentation using conditional generative adversarial networks
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737379A (zh) * 2012-06-07 2012-10-17 中山大学 一种基于自适应学习的ct图像分割方法
WO2020120238A1 (en) * 2018-12-12 2020-06-18 Koninklijke Philips N.V. System and method for providing stroke lesion segmentation using conditional generative adversarial networks
CN113424222A (zh) * 2018-12-12 2021-09-21 皇家飞利浦有限公司 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
辛月兰;张晓华;汪西莉;: "图割与非线性统计形状先验的图像分割", 计算机工程与科学, no. 03, 15 March 2015 (2015-03-15) *
金兰依;郭树旭;马树志;刘晓鸣;孙长建;李雪妍;: "基于半监督阶梯网络的肝脏CT影像分割", 吉林大学学报(信息科学版), no. 02, 15 March 2018 (2018-03-15) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863104A (zh) * 2022-05-05 2022-08-05 哈尔滨工业大学 一种基于标签分布学习的图像分割方法
CN114863104B (zh) * 2022-05-05 2023-08-08 哈尔滨工业大学 一种基于标签分布学习的图像分割方法
CN114693830A (zh) * 2022-05-27 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 医学影像的多器官分割、模型训练方法、设备及介质
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115115512B (zh) * 2022-06-13 2023-10-03 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN117409326A (zh) * 2023-12-13 2024-01-16 山东锋士信息技术有限公司 基于自适应加权损失和对抗干扰器的遥感异常检测方法
CN117409326B (zh) * 2023-12-13 2024-04-19 山东锋士信息技术有限公司 基于自适应加权损失和对抗干扰器的遥感异常检测方法

Also Published As

Publication number Publication date
CN114004817B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
US11557036B2 (en) Method and system for image registration using an intelligent artificial agent
CN114004817B (zh) 一种分割网络半监督训练方法、系统、设备及存储介质
Gilbert et al. Generating synthetic labeled data from existing anatomical models: an example with echocardiography segmentation
CN110475505A (zh) 利用全卷积网络的自动分割
Krebs et al. Probabilistic motion modeling from medical image sequences: application to cardiac cine-MRI
Li et al. Recurrent aggregation learning for multi-view echocardiographic sequences segmentation
US20220101537A1 (en) Systems and methods for motion estimation
Krebs et al. Learning a generative motion model from image sequences based on a latent motion matrix
CN112070685A (zh) Hifu治疗系统的动态软组织运动预测的方法
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
CN116402865A (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
CN115115828A (zh) 数据处理方法、装置、程序产品、计算机设备和介质
Du et al. Weakly-supervised 3D medical image segmentation using geometric prior and contrastive similarity
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
US11693919B2 (en) Anatomy-aware motion estimation
US11403761B2 (en) Probabilistic motion model for generating medical images or medical image sequences
Ossenberg-Engels et al. Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames
US20220130524A1 (en) Method and Systems for Predicting a Stream of Virtual Topograms
Ge et al. Echoquan-net: direct quantification of echo sequence for left ventricle multidimensional indices via global-local learning, geometric adjustment and multi-target relation learning
Vázquez Romaguera et al. Personalized respiratory motion model using conditional generative networks for MR-guided radiotherapy
CN117649422B (zh) 多模态图像分割模型的训练方法和多模态图像分割方法
CN117974693A (zh) 图像分割方法、装置、计算机设备和存储介质
Zhou Deformable Image Registration Using Attentional Generative Adversarial Networks
Fadil et al. Deep learning segmentation of the left ventricle in structural cmr: Towards a fully automatic multi-scan analysis
Cheng et al. A Generative Framework for Predicting Myocardial Strain from Cine-Cardiac Magnetic Resonance Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant