CN113706558A - 图像分割方法、装置及计算机设备 - Google Patents

图像分割方法、装置及计算机设备 Download PDF

Info

Publication number
CN113706558A
CN113706558A CN202111040061.7A CN202111040061A CN113706558A CN 113706558 A CN113706558 A CN 113706558A CN 202111040061 A CN202111040061 A CN 202111040061A CN 113706558 A CN113706558 A CN 113706558A
Authority
CN
China
Prior art keywords
missing
modal
image
complete
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111040061.7A
Other languages
English (en)
Inventor
王艺昕
田疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111040061.7A priority Critical patent/CN113706558A/zh
Publication of CN113706558A publication Critical patent/CN113706558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种图像分割方法、装置及计算机设备，本申请预先通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到能够实现对缺失模态样本图像的高精度分割处理的图像分割模型，这样，在实际应用中，医疗设备对待检测对象进行MRI扫描，获得至少一个模态样本图像后，即便未获得完整模态样本图像，将其输入该图像分割模型进行分割处理，也能够得到高精准度的图像分割结果，确定出目标对象区域，如脑肿瘤区域，满足应用场景的图像分割需求。

Description

图像分割方法、装置及计算机设备
技术领域
本申请主要涉及图像处理技术领域，更具体地说是涉及一种图像分割方法、装置及计算机设备。
背景技术
脑肿瘤已经成为一种比较常见且发病率较高的疾病，目前通常是采用磁共振成像(Magnetic Resonance Imaging，MRI)方式进行脑部检查，获得多种模态MRI图像，结合图像分割技术，来识别出如增强肿瘤、瘤周水肿、坏死和无增强的肿瘤核等类别的肿瘤区域，以辅助医疗人员评估疾病状态和制定相应的治疗计划。
然而，在实际临床环境中，往往会因如设备损坏、设置不正确、扫描时间有限等各种因素，导致部分模态MRI图像无法使用或丢失，这种情况下，利用基于完整模态MRI图像训练得到的图像分割模型，对获得的缺失模态MRI图像进行处理，得到的图像分割结果的精准度较低，尤其是缺失模态较多的情况下，分割出的肿瘤区域很难满足应用需求。
发明内容
有鉴于此，本申请提供了一种图像分割方法，所述方法包括：
获取待检测对象的至少一个模态图像；
将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
输出所述待检测对象的图像分割结果。
可选的，所述对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，包括：
获取样本对象的完整模态样本图像和缺失模态样本图像；
将所述完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；其中，所述第一特征向量是指所述第一分割网络的第一特征提取网络中不同特征层输出的特征向量；所述完整模态特征向量是指所述第一特征提取网络输出的特征向量；所述完整预测概率图是指所述第一分割网络输出的分类预测概率图；
将所述缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；其中，所述第二特征向量是指所述第二分割网络的第二特征提取网络的不同特征层输出的特征向量；所述缺失模态特征向量是指所述第二特征提取网络输出的特征向量；所述缺失预测概率图是指所述第二分割网络输出的分类预测概率图；
将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练；
若满足训练结束条件，将训练后的网络结构确定为图像分割模型。
可选的，所述将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练，至少包括以下一种：
对所述第一特征向量和所述第二特征向量进行互信息学习，以恢复所述缺失模态样本图像的模态特征信息；
对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，以增加所述完整模态特征向量和所述缺失模态特征向量之间特征分布的一致性；
对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，以减小所述完整模态样本图像与所述缺失模态样本图像之间的熵图差异；
分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，以减小不同图像分割结果之间的差异。
可选的，所述对所述第一特征向量和所述第二特征向量进行互信息学习，包括：
对同一特征层输出的所述第一特征向量和所述第二特征向量进行互信息计算，得到相应特征层的模态互信息；
调用互信息损失函数，对所述模态互信息进行损失计算，得到模态互信息损失值；
依据所述模拟互信息损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
可选的，所述对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，包括：
将所述完整模态特征向量和所述缺失模态特征向量输入第一判别网络，基于特征对抗损失函数进行对抗训练，得到本次训练的特征对抗损失值；
依据所述特征对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
可选的，所述对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，包括：
获取所述完整预测概率图的完整模态熵图，以及所述缺失预测概率图的缺失模态熵图；
将所述完整模态熵图和所述缺失模态熵图输入第二判别网络，基于熵对抗损失函数进行对抗训练，得到本次训练的熵对抗损失值；
依据所述熵对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
可选的，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，包括：
依据所述完整预测概率图，获得所述完整模态样本图像的完整图像分割结果；
依据所述缺失预测概率图，获得所述缺失模态样本图像的缺失图像分割结果；
利用分割损失函数，分别获取所述完整图像分割结果的完整分割损失值，以及所述缺失图像分割结果的缺失分割损失值；
依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
可选的，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，还包括：
获取所述缺失预测概率图相对于所述完整预测概率图的预测概率损失值；
所述依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练，包括：
依据所述预测概率损失值、所述完整分割损失值和所述缺失分割损失值，调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
又一方面，本申请还提出了一种图像分割装置，所述装置包括：
图像获取模块，用于获取待检测对象的至少一个模态图像；
图像分割处理模块，用于将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
图像分割结果输出模块，用于输出所述待检测对象的图像分割结果。
又一方面，本申请还提出了一种计算机设备，所述计算机设备包括至少一个存储器和至少一个处理器，其中：
所述存储器，用于存储实现如上述的图像分割方法的程序；
所述处理器，用于加载执行所述存储器存储的所述程序，实现如上述的图像分割方法。
由此可见，本申请提供了一种图像分割方法、装置及计算机设备，本申请预先通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到能够实现对缺失模态样本图像的高精度分割处理的图像分割模型，这样，在实际应用中，医疗设备对待检测对象进行MRI扫描，获得至少一个模态样本图像后，即便未获得完整模态样本图像，将其输入该图像分割模型进行分割处理，也能够得到高精准度的图像分割结果，确定出目标对象区域，如脑肿瘤区域，满足应用场景的图像分割需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提出的图像分割方法的一可选示例的流程示意图；
图2为本申请提出的图像分割方法中，图像分割模型的训练方法的一可选示例的流程示意图；
图3为本申请提出的图像分割方法中，图像分割模型的训练方法的又一可选示例的流程示意图；
图4为本申请提出的图像分割方法中，图像分割模型的训练方法的又一可选示例的流程示意图；
图5为本申请提出的图像分割方法中，图像分割模型的训练方法的又一可选示例的流程示意图；
图6为本申请提出的图像分割方法中，图像分割模型的训练方法的又一可选示例的流程示意图；
图7为本申请提出的图像分割装置的一可选示例的结构示意图；
图8为本申请提出的图像分割装置的又一可选示例的结构示意图；
图9为本申请提出的图像分割装置的又一可选示例的结构示意图；
图10为适用于本申请提出的图像分割方法的计算机设备的一可选示例的硬件构示意图；
图11为适用于本申请提出的图像分割方法的一可选应用场景的系统结构示意图；
图12为适用于本申请提出的图像分割方法的又一可选应用场景的系统结构示意图。
具体实施方式
针对背景技术部分的描述，为了能够实现对缺失模态图像的精准图像分割，得到场景所需的图像分割结果，如脑肿瘤区域位置和大小等，在训练图像分割模型阶段，可以从完整模态图像学习共同表征，推理分析出适用于所有可能的模态缺失情况的通用图像分割模型，但在较多模态缺失的情况下，这种处理方式得到的图像分割结果准确性很低。对此，提出针对不同模态缺失情况，训练相适应的图像分割模型，用于实现对这种缺失模态图像的分割处理，得到高精度的图像分割结果。然而，针对单一模态图像的模型训练很容易产生偏差，也并未从完整模态以及不同层次的特征中学习到相应模态的域知识，这将会导致训练得到的图像分割模型的准确性较低。
为了提高图像分割网络的分割精准度，且能够使其适用于各种缺失模态图像的分割处理，本申请提出采用无监督领域自适应(Unsupervised Domain Adaptation，UDA)方式，实现完整模态样本图像与缺失模态样本图像之间的对抗协同训练学习，补充彼此的域表示和特征表示，不仅可以剔除完整模态样本图像中与目标任务无关的信息，而且能够恢复缺失模态样本图像中所缺失的模态特征信息，以间接方式使两个域数据分布差异最小化，从而使学习到的图像分割模型在缺失模态域下，具有与在完整模态下相同的分割精度，实现无监督跨域自适应医学图像中目标对象(如脑肿瘤等)的精准分割，解决缺失模态图像因模态类别不完整导致分割精准度较低的技术问题。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，所以，为了便于描述，附图中仅示出了与有关发明相关的部分，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文实施例的描述中，本申请实施例中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
而且，除非上下文明确提示例外情形，本申请中如“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的设备所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为本申请提出的图像分割方法的一可选示例的流程示意图，该方法可以由计算机设备执行，该计算机设备可以是服务器或者具有一定处理能力的终端，如智能手机、平板电脑、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、机器人、台式计算机、各种智能医疗设备等电子设备；服务器可以是独立的物理服务器，也可以是多台物理服务器构成的服务器集群；还可以是能够实现云计算的云服务器等，服务器可以通过无线通信网络或有线通信网络与电子设备进行通信，满足应用场景下的数据交互需求，实现过程可以结合应用场景确定，本申请实施例在此不做详述。
如图1所示，本实施例提出的图像分割方法可以包括但并不局限于以下步骤：
步骤S11，获取待检测对象的至少一个模态图像；
在医学应用下，如在脑肿瘤诊断及治疗应用场景下，为了精准定位肿瘤位置，识别肿瘤大小等信息，以辅助医疗人员可以据此评估肿瘤状态，制定合适的治疗方案，通常可以采用磁共振成像(Magnetic Resonance Imaging，MRI)方式对脑部进行医学扫描检查，获得不同的组织对比视图和空间分辨率的医学影像，即获取如Flair(Fluid attenuatedinversion recovery，磁共振成像液体衰减反转恢复序列)、T1、T1ce以及T2等多种模态下的扫描序列图像，以通过比较不同造影剂水平下多种模态图像，提高图像分割精度，可靠且精准地从图像中分割出脑肿瘤区域，甚至是脑肿瘤区域中的如gd增强肿瘤、瘤周水肿、坏死和无增强的肿瘤核等不同子区域。
因此，在实际应用中，确定所要采集的模态类别后，可以据此对医疗设备进行相应配置，以使其对患者的患病器官(即待检测对象)进行扫描，可以得到相应模态下的MRI图像序列，以此记录该模态下的器官特征，以便后续可以结合不同模态下的医学图像序列分析结果，确定待检测对象的病灶位置和大小等。其中，由于成像设备及其扫描角度等方面存在差异，对于不同模态下扫描到的MRI图像序列可以配准至同一角度，并将同一模态下的MRI图像序列能够提供的患者病变部位特征融合至一张图像上显示，以便医疗人员观察。所以说，本申请中的各模态图像可以是由扫描到的相应模态的MRI图像序列配准融合处理得到的，下文不再赘述，且本申请对该配准融合实现过程本申请不做限制。
示例性的，如通过T1模态图像可以查看解剖情况；通过T2模态图像可以查看病变，如病灶所处位置和大小等；通过Flair模态图像可以查看病灶边缘；通过T1ce模态图像的分析可以查看肿瘤内情况，鉴别肿瘤和非肿瘤性病变。结合这四种模态图像的分析，可以精准定位肿瘤位置和大小。需要说明，本申请对成像设备对待检测对象进行医学扫描，得到的模态图像的类别不做限制，并不局限于上文列举的四种模态(即四个图像类别)，可以依据实际需求确定。
结合上文描述，在连接计算机设备的成像设备对待检测对象进行医疗扫描的实际应用中，本申请以MRI扫描方式为例进行说明，结合上文描述，可能会因临床环境中可能出现的设备自身或外部环境等方面的因素，导致成像设备无法扫描得到实际所需的几种模态图像，而是扫描到其中的一种或多种模态图像，导致连接成像设备的计算机设备得到的是待检测对象的缺失模态图像。本申请对获取不同模态MRI图像的成像设备数量和类型不做限制，可视情况而定。
需要说明，本申请实施例中，成像设备扫描到任一模态图像序列后，可以直接发送至计算机设备进行配准融合处理，得到相应模态下的医学图像，记为相应的模态图像；在一些实施例中，若成像设备具有一定数据处理能力，也可以由该成像设备自身对扫描到的多模态图像序列进行配准融合处理，再将处理得到的相应模态图像发送至计算机设备等，本申请对步骤S11的实现方法不做限制。
步骤S12，将至少一个模态图像包含的磁共振成像图像输入图像分割模型进行分割处理，得到待检测对象的图像分割结果；
其中，图像分割模型可以用于实现对输入图像的分割处理，以识别出目标对象所在区域位置和大小等信息，本申请实施例中，为了能够使得该图像分割模型可以精准从缺失模态图像中，识别出待检测对象的目标区域，如脑肿瘤区域，在训练该图像分割模型期间，将通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到该图像分割模型。结合上述分析，该完整模态样本图像可以是指满足样本对象的模态类别要求的多模态样本图像，如包含上文列举的Flair、T1、T1ce以及T2这四种模态图像，即针对待检测对象的四个维度下的医学图像；相应地，上述缺失模态样本图像是指未满足模态类别要求的至少一个模态样本图像，如包含上述四种模态中的一个或两个或三个模态的医学图像等。
应该理解的是，对于上述完整模态样本图像和缺失模态样本图像，可以是指按照上文描述的配准融合处理方法，对相应模态样本图像序列进行配准融合处理后的MRI图像，实现过程本申请不做详述。
结合上文本申请发明构思的相关描述，由于本申请训练图像分割模型过程中，构建了获得丰富的模态信息的完整模态分割路径，以及生成特定模态表示的缺失模态分割路径，通过UDA方式，实现该完整模态分割路径和缺失模态分割路径之间的耦合学习，实现从完整模态到缺失模态的信息转移，补充彼此的域表示和特征表示，弥合完整模态分割路径与缺失模态分割路径之间的域差异，恢复缺失模态样本图像中所缺失的模态特征，并使得缺失模态样本图像的潜在语义空间特征(即特征提取网络中高层特征)分布对齐，从而使得训练后用于实现缺失模态图像分割处理的图像分割网络的分割结果，与用于实现完整模态图像分割处理的图像分割网络的分割结果基本一致，即实现缺失模态图像的高精准地分割处理。
其中，领域自适应方式是人工智能中一种迁移学习技术，即针对解决源域集(即本申请完整模态样本图像)和目标域(即本申请的缺失模态样本图像)分布偏移(domainshift)的机器学习算法，通过学习源域和目标域的域不变(domain invariant)特征，从而在目标域没有标签或少量标签的情况下，将从源域学到的分类器应用于目标域，实现对目标域的分类识别，得到所需目标对象的分割区域，本申请对如何利用领域自适应方式，实现图像分割模型的训练的过程不做详述，可以参照但并不局限于下文实施例相应部分的描述。
步骤S13，输出待检测对象的图像分割结果。
继上文描述，本申请按照上文描述的模型训练构思，保证训练得到的图像分割模型能够适用于缺失各模态的医学图像的高精准度地图像分割处理，所以，在实际应用中，计算机设备获取的待检测对象的医学图像，无论是完整模态图像，还是缺失某一个或多个模态的缺失模态图像，将其输入上述训练得到的图像分割模型，可以高精准的确定出相应模态图像下的目标对象区域，得到所需高精准度的图像分割结果，如识别出脑肿瘤区域的位置和大小，为后续肿瘤评估和治疗提供可靠依据。
在本申请提出的又一些实施例中，本申请还可以检测输出的图像分割结果是否满足应用需求，若不满足，可以适应性调整图像分割模型的网络参数，按照具有调整后的网络参数的图像分割模型，继续对获取的至少一个模态图像进行分割处理，得到满足应用需求的图像分割结果。可见，在利用预训练的图像分割模型的应用中，可以依据应用结构继续对图像分割模型进行优化，以提高图像分割模型的分割精度，后续应用中可以调用优化后的图像分割模型进行图像分割处理。关于图像分割模型的优化实现方法本申请不做限制。
综上，本申请实施例中，预先通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到能够实现对缺失模态图像的高精度分割处理的图像分割模型，这样，在实际应用中，医疗设备对待检测对象进行MRI扫描，获得至少一个模态图像后，即便未获得完整模态图像，将其输入该图像分割模型进行分割处理，也能够得到高精准度的图像分割结果，确定出目标对象区域，如脑肿瘤区域，满足应用场景的图像分割需求。
参照图2，为本申请提出的图像分割方法的又一可选示例的流程示意图，该方法可以对上文实施例中用于图像分割处理的图像分割模型的训练过程进行描述，但并不局限于本实施例描述的这种模型训练方法。且对于图像分割模型的训练过程，可以由服务器或具有一定数据处理能力的电子设备执行，本申请对图像分割模型的训练场景不做限制，可视情况而定。如图2所示，图像分割模型的训练实现过程可以包括但并不局限于：
步骤S21，获取样本对象的完整模态样本图像和缺失模态样本图像；
结合上文对本申请模型训练的技术构思的相关描述，在获取训练样本时，确定某一样本对象，如某脑肿瘤患者的脑部等，可以按照上文描述的方式，获取该样本对象的完整模态样本图像，如上文列举的四种模态下各自对应的MRI图像，以及缺失某一种或多种模态的缺失模态样本图像，如上文列举的一种、两种或三种模态下的MRI图像，本申请对这些样本医学图像的获取方法不做详述，为了提高模型训练可靠性和分割精度，对于同一样本对象可以获取多种缺失模态样本图像。
步骤S22，将完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；
步骤S23，将缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；
本申请实施例的实际应用中，在训练图像分割模型时，可以按照上文对本申请提出的图像分割模型的训练构思，构建初始对抗协同网络，参照图3所示的模型训练过程示意图，针对完整模态样本图像和缺失模态样本图像分别构建相应的初始分割网络，为了方便描述，将两个初始分割网络可以分别记为第一分割网络和第二分割网络，本申请对初始分割网络的构建方法及其结构不做限制，可视情况而定。
在一些实施例中，上述分割网络可以采用编码器-解码器的全卷积神经网络网络结构，依据处理功能可以分为特征提取网络和分类预测网络，该特征提取网络可以包括特征编码器和特征解码器，特征编码器可以包括多个卷积层和最大池化层，以实现对输入的不同模态样本图像的低级细节特征和高级语义特征的逐层提取，特征解码器可以通过上卷积、特征迁移和卷积操作，将高级语义特征与低级细节特征逐层融合，以使分类预测网络可以据此实现对像素类别的预测，得到像素类别预测概率图。
基于上述分析，本申请可以将第一分割网络包含的特征提取网络记为第一特征提取网络，将第二分割网络包含的特征提取网络记为第二特征提取网络，这样，将上述获取的不同类别的医学图像(即不同模态样本图像)，分别输入各自对应的分割网络中的特征提取网络后，该特征提取网络中不同卷积层将会对输入图像进行特征提取，如肿瘤MRI特征提取，特征提取实现过程不做详述。为了方便后续描述，本申请将第一特征提取网络的不同特征层输出的特征向量记为第一特征向量，同理，将第二特征提取网络的不同特征层输出的特征向量记为第二特征向量。
经过不同卷积层对输入图像的逐层特征提取，上述第一特征提取网络最终输出具有特定尺寸的特征向量，其可以表征输入的完整模态样本图像的特征，可以将该特征向量记为完整模态特征向量；同理，将上述第二特征提取网络最终输出具有特定尺寸的特征向量，其可以表征输入的缺失模态样本图像的特征，可以将该特征向量记为缺失模态特征向量。
之后，对于各特征提取网络输出的特征向量，可以继续由相应的特征解码器进行处理，如上述分析，可以得到不同模态图像的分类预测概率分布图，即某一模态样本图像中不同像素点所属类别预测概率分布图，可以将完整模态样本图像对应的多个分类预测概率分布图进行融合，得到完整预测概率图，其可以表示相应像素点的类别预测结果，由此确定出哪些像素点属于目标对象，如哪些像素点属于脑肿瘤，哪些像素点属于正常织等，本申请对分类预测概率分布图的表示方式不做限制。
同理，对于缺失模态样本图像对应的缺失模态特征向量进行解码处理，得到的缺失预测概率图，即缺失模态样本图像的分类预测概率分布图，本申请对分割网络如何实现输入图像的特征提取，以及据此实现类别标签预测，得到相应概率分布图的实现过程不做详述。
应该理解，由于缺失模态样本图像包含的待检测对象的模态信息并不完整，通过分割网络对其进行处理，得到的各卷积层输出的特征向量，最终池化层输出的缺失模态特征向量，以及缺失预测概率图，与分割网络对输入的完整模态样本图像进行处理，得到的相应信息是存在一定差异的。由于对完整模态样本图像进行分割处理，得到的图像分割结果更符合实际需求，本申请在模型训练过程中，可以将上述完整模态分割路径处理过程中产生的各信息作为指导信息，通过与缺失模态分割路径处理过程中产生的相应信息进行比对，实现对整个网络参数的调整，以减小完整模态分割路径和缺失模态分割路径处理中相应信息间的差异，提高缺失模态分割路径所得图像分割结果的精准度。
步骤S24，将第一特征向量、第二特征向量、完整模态特征向量、缺失模态特征向量、完整预测概率图以及缺失预测概率图输入协同训练网络进行训练；
步骤S25，检测是否满足训练结束条件，若否，进入步骤S26；若是，执行步骤S27；
步骤S26，调整网络参数，按照调整后的网络参数继续进行对抗协同训练；
步骤S27，将训练后的网络结构确定为图像分割模型。
结合上文对本申请提出的模型训练构思的相关描述，本申请可以利用构建的协同训练网络，对上文完整模态分割路径和缺失模态分割路径各自处理得到的信息进行协同训练，以利用每次训练结果实现对网络参数的调整，从而利用具有调整后的网络参数的对抗协同网络继续对上述样本医学图像进行处理，如此循环处理，直至训练结果满足训练结束条件，可以将最终训练得到的第二分割网络确定为图像分割模型，用于实现对缺失模态图像的高精准地分割处理，得到满足应用需求的分割结果。
需要说明，本申请对上述协同训练网络的网络结构，以及整个协同对抗网络(如上述第一分割网络、第二分割网络和协同训练网络等)的迭代训练的实现方法不做限制，每一次迭代训练的实现过程类似，每一次训练完后，若未满足训练结束条件，实现对网络参数的调整后，可以返回步骤S22继续执行。其中，训练结束条件可以包括但并不局限于：训练的迭代次数达到迭代次数阈值；本次训练得到的总损失值小于损失阈值，或训练得到的损失值稳定不便等，可依据场景需求来确定训练结束条件的内容。
在本申请实际应用中，结合输入协同训练网络的信息类别，该协同训练网络可以包括三个子网络，基于相应的损失函数，实现对分别对于完整模态样本图像和缺失模态样本图像的同一类别信息的处理，得到相应的损失值，表示同一类别的两个信息之间的差异大小，以便后续可以据此调整网络参数，降低后续训练结果的损失值，本申请对这三个子网络的结构不做限制，可视情况而定。
在一些实施例中，在协同训练网络对输入的各类信息处理过程中，可以利用互信息知识传递技术，对完整模态分割路径与缺失模态分割路径，特征提取网络输出的各特征向量进行互信息计算，通过变分信息最大化方式，弥补缺失模态样本图像提取到的相关特征信息，以提高后续据此实现的缺失模态样本图像分割结果的可靠性和准确性。
此外，协同训练网络还可以结合对抗学习技术，将获取的完整模态分割路径中处理得到完整模态特征向量(或完整预测概率图)，以及缺失模态分割路径中处理得到的缺失模态特征向量(或缺失预测概率图)输入同一判别网络，实现该判别网络与相应生成网络之间的对抗学习，通过不断调整网络参数，使得判别网络越来越无法区分两个输入信息，即减小了缺失模态特征向量与完整模态特征向量之间的差异，进而使得基于缺失模态特征向量得到的图像分割结果越来越准确。本申请对对抗学习网络的构建方法和结构不做限制，可视情况而定。
其中，在上述对抗学习过程中，可以利用相应损失函数，计算判别网络输出的预测值与真实值之间的差异，即获取相应的损失值，以结合该损失值实现网络参数的调整。本申请对损失函数的类别不做限制，可视情况而定，且在调整网络参数时，可以采用如随机梯度下降(stochastic gradient descent，SGD)、自适应时刻估计方法(Adaptive MomentEstimation，Adam)等方式降低损失值，不断优化网络结构，直至满足训练结束条件。
综上所述，本申请在训练图像分割模型过程中，直接利用样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练实现，无需人工标注分类标签，节省了人工成本，提高了模型训练效率。且在对抗协同训练过程中，本申请不仅利用完整模态样本图像和缺失模态样本图像各自的预测概率图，实现协同对抗训练，而且还考虑各自特征提取网络输出的不同特征层的特征向量，以及最终得到的特征向量，结合特征信息的比对结果，实现网络参数的调整，弥补特征提取网络对缺失模态样本图像提取的特征信息所缺失的模态信息，提高模型训练效率和可靠性。
参照图4，为本申请提出的图像分割方法的又一可选示例的流程示意图，本申请实施例可以是对上文描述的图像分割模型训练实现方法的一可选细化实现方法，但并不局限于这种细化实现方法，该方法可以由计算机设备执行，如图4所示，该方法可以包括：
步骤S31，获取样本对象的完整模态样本图像和缺失模态样本图像；
步骤S32，将完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；
步骤S33，将缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；
关于步骤S31～步骤S33的实现过程，可以参照上文实施例相应部分的描述，本实施例不做赘述。
步骤S34，对同一特征层输出的第一特征向量和第二特征向量进行互信息学习，以恢复缺失模态样本图像的模态特征信息；
本申请实施例中，结合上文描述的整个对抗协同网络的训练实现过程，在完整模态分割路径处理过程中，可能会包含与任务无关的信息，提出通过缺失模态分割路径进行多余信息的对齐方式，来提出无关信息的不利影响。为了实现该目的，本申请可以采用模态互信息知识转移学习，来保持这两个分割路径之间的高度互信息。基于此，本申请可以构建深度图互信息模型，实现对完整模态样本图像和缺失模态样本图像的无监督训练过程中，各编码器的同一特征层输出的不同特征向量之间的互信息的计算，通过最大化互信息来实现该模型的训练，本申请对步骤S34的实现方法不做限制，可以理解，通过最大化互信息学习，可以实现从完整模态特征信息到缺失模态信息的转移，逐渐从不同特征层恢复缺失模态最相关的知识，提高第二分割网络对缺失模态样本图像的特征提取完整性。
步骤S35，对完整模态特征向量和缺失模态特征向量进行对抗训练，以提高完整模态特征向量和缺失模态特征向量之间特征分布的一致性；
继上文描述，本申请提出利用对抗学习方式来解决领域自适应问题，结合对抗学习的工作原理，本申请可以将各分割网络中的特征提取网络看作是一个生成网络，这样，通过两个生成网络分别对输入的完整模态样本图像和缺失模态样本图像进行特征提取，得到相应的完整模态特征向量和缺失模态特征向量，之后，可以输入这两个生成网络共享的一个判别网络，对这两个特征向量进行判别预测其属于缺失模态样本图像或完整模态样本图像，据此构建相应的对抗损失，用于指示调整网络参数，利用具有调整后的网络参数的生成网络继续进行特征提取，试图生成高层特征来混淆判别网络的判别结果，这样，经过两个生成网络与判别网络之间的对抗学习，可以使得完整模态特征向量和缺失模态特征向量之间的特征分布逐渐对齐，即增加完整模态特征向量和缺失模态特征向量之间特征分布的一致性。
需要说明，本申请对上述判别网络的网络结构不做限制，如可以包括但并不局限于基于神经网络构建的判别器，可以依据实际需求确定。对于上述步骤S35的对抗训练方法并不局限于上文描述的生成对抗学习方式实现，且本申请对上述步骤S34和步骤S35的执行顺序不做限制，优选的，可以依据各自输入信息的获取顺序执行，但并不局限于此。
另外，应该理解的是，在对整个对抗协同网络的一次训练过程中，可以按照上述步骤S34和步骤S35的学习方式，获得一次互信息学习，得到完整模态样本图像与缺失模态样本图像之间的模态特征互信息，以及一次对抗学习得到的完整模态特征向量和缺失模态特征向量之间的对抗损失值，以便后续基于模态特征互信息、对抗损失值等信息，实现对抗协同网络的迭代训练，得到训练后的图像分割模型。
步骤S36，对完整预测概率图和缺失预测概率图进行熵对抗训练，以减小完整模态样本图像与缺失模态样本图像之间的熵图差异；
对于两个分割网络预测得到的完整模态样本图像的完整预测概率图，以及缺失模态样本图像的缺失预测概率图，该完整预测概率图的精准度较高，本申请可以将精准度更高的完整预测概率图作为监督信号，来缩小完整模态分割路径和缺失模态分割路径之间的域差异，即减小完整图像分割结果与缺失图像分割结果之间的域差异，相当于是提高了分割网络对缺失模态样本图像的分割结果的准确性。
因此，对于上述像素级的预测结果，本申请提出采用熵对抗学习的方式获取熵对抗损失，以此调整网络参数。具体可以采用熵映射的方式对分割网络输出的预测概率图进行处理，得到相应的信息熵，通常情况下，该信息熵的数值越大，说明相应预测结果的可信度越低，本申请对信息熵的计算实现过程不做详述。通过对抗学习方式对缺失模态样本图像分割预测结果的信息熵，和完整模态样本图像分割预测结果的信息熵进行处理，能够使得缺失模态学习的信息熵分布逐渐接近于完整模态学习的信息熵，即逐渐减小完整模态样本图像与缺失模态样本图像之间的熵图差异，实现信息熵的最小化，得到高精准度的图像分割结果。
其中，在本申请的熵对抗学习过程中，可以将上述第一分割网络和第二分割网络分别看成两个生成网络，构建针对这两个生成网络的判别网络，以便对这两个生成网络输出的预测概率图进行熵判别，即判别输入的预测概率图属于完整模态样本图像的分类预测概率分布图，还是属于缺失模态样本图像的分类预测概率分布图，实现过程本申请实施例不做详述。
在整个协同对抗学习网络的对抗学习过程中，可以按照上文步骤S34、步骤S35以及步骤S36描述的三种学习方式，分别从完整模态样本图像和缺失模态样本图像的不同层面上的信息进行迁移学习，逐渐优化第二分割网络对缺失模态样本图像的分割处理过程，提高所得图像分割结果的精准度和可靠性。其中，在每一次学习过程中，可以结合但并不局限于这三种学习方式各自得到的损失值，如对得到的三个损失值求和/加权求和等，依据得到的总损失值实现对整个网络参数的调整，尤其是对第二分割网络的网络参数调整，实现过程本申请实施例不做详述。
步骤S37，分别对完整预测概率图和缺失预测概率图进行处理，得到相应的完整图像分割结果和缺失图像分割结果；
步骤S38，依据完整图像分割结果和缺失图像分割结果各自的分割损失进行迭代训练，以减小完整图像分割结果和缺失图像分割结果之间的差异；
继上文对第一分割网络和第二分割网络对各自输入图像的处理过程的描述，在得到各分割网络中的判别网络预测出，相应输入图像中不同像素点的分类预测概率分布图之后，可以据此得到该输入图像的图像分割结果，如确定输入图像中肿瘤区域位置、大小、肿瘤类别等信息，实现对分割网络如何实现对输入图像的分割处理，得到相应的图像分割结果的实现过程不做详述。
应该理解，本申请得到的完整图像分割结果比缺失图像分割结果的准确性要高，但往往并未满足图像分割精度要求，为了进一步提高各自的图像分割精准度，本申请可以分别获取这两个图像分割结果的分割损失，以便依据该分割损失以及上文得到的其他损失，来调整网络参数，实现对整个对抗协同网络的迭代训练，本申请对上述分割损失的计算实现方法不做限制。
在本申请提出的又一些实施例中，本申请还可以直接获取完整预测概率图和缺失预测概率图，或者是映射得到的相应完整置信图和缺失置信图之间的损失值，之后，结合上文得到的多种损失值，得到对抗协同网络一次学习的总损失值，实现对对抗协同网络的网络参数的调整，优化抗协同网络结构，提高图像分割精准度。本申请对上述各损失值的计算方法，以及如何利用各损失值优化网络结构的实现方法不做限制，可视情况而定。
步骤S39，检测到满足训练结束条件，将训练后的网络结构确定为图像分割模型。
结合上述分析，将完整模态样本图像和缺失模态样本图像输入对抗协同网络进行每一次学习，均可以按照上文描述的方式，从输入图像的不同方面的信息进行学习，得到相应的损失值，经过求和得到本次学习的总损失值，据此实现对该对抗协同网络的优化，再利用优化的对抗协同网络执行下一次学习，如此循环，直至训练结果满足训练结束条件，可以将训练后的协同对抗网络确定为图像分割模型，用于实现对实际采集到的待检测对象的至少一个模态样本图像的分割处理，得到高精准度的图像分割结果。
需要说明，对于本申请对抗协同网络的一次学习方法，包括但并不局限于上文步骤S34～步骤S38描述的多种学习方式，在实际应用中，根据场景需要，也可以由其中的一种、任意两种或三种组合的学习方式，实现抗协同网络的迭代训练，实现过程可以结合上文实施例相应步骤的描述，本申请在此不做一一举例详述。
参照图5，为本申请提出的图像分割方法的又一可选示例的流程示意图，本申请实施例可以是对上文描述的图像分割模型训练实现方法的又一可选细化实现方法，如图5所示，该方法可以包括：
步骤S41，获取样本对象的完整模态样本图像和缺失模态样本图像；
步骤S42，将完整模态样本图像输入协同对抗网络中的第一分割网络进行特征提取，获得不同特征层输出的第一特征向量，以及该完整模态样本图像的完整模态特征向量；
步骤S43，将缺失模态样本图像输入协同对抗网络中的第二分割网络进行特征提取，获得不同特征层输出的第二特征向量，以及该缺失模态样本图像的缺失模态特征向量；
步骤S44，对同一特征层输出的第一特征向量和第二特征向量进行互信息计算，得到相应特征层的模态互信息；
步骤S45，调用互信息损失函数，对模态互信息进行损失计算，得到模态互信息损失值；
结合上文实施例相应部分的描述，参照图6所示的模型训练方法示意图，第一分割网络和第二分割网络各自的特征提取网络(即编码器)，通常由多个不同尺度的卷积层构成，经过这多个卷积层对输入图像的逐层特征提取，可以得到表征不同维度信息的特征向量，若将同一卷积层(即特征层)得到的第一特征向量和第二特征向量，作为一个特征向量对，经过k个卷积层的特征提取，可以得到K对特征向量，记为{(m(k)、u(k))}Kk＝1，m(k)可以表示第k个卷积层输出的第一特征向量，u(k)可以表示第k个卷积层输出的第二特征向量，本申请对K的取值不做限制，可视情况而定。
结合互信息计算原理，本申请可以按照但并不局限于：第k个卷积层输出的第一特征向量m(k)与第二特征向量u(k)之间的模态互相信息MI(m(k),u(k))＝H(m(k))-H(m(k)|u(k))这种互信息计算方式，获得每一特征层的模态互信息，H(m(k))可以表示的熵运算，即第一特征向量m(k)的信息熵，计算方法本申请不做限制。H(m(k)|u(k))表示条件熵运算，即在缺失模态样本图像的第二特征向量u(k)表征的缺失模态特征已知的情况下，给完整模态样本图像的第一特征向量m(k)表征的完整模态特征带来多少损失，即度量在相应特征层的完整模态特征信息的不确定性的减少，从而实现m(k)与u(k)的互信息，本申请对第一特征向量和第二特征向量之间的互信息计算过程不做详述。
为了实现不同特征层的互信息模块的优化，本申请可以配置相应的互信息损失函数，用以计算本次各特征层互信息计算得到的模态互信息损失值，以便后续进行对抗协同网络优化时，可以依据该模拟互信息损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。其中，互信息损失函数可以包括但并不局限于：
Figure BDA0003248953520000201
上述公式(1)中，∑表示求和运算，即对从第一特征层到第K特征层的K个特征层各自对应的模态互信息进行求和，本申请实施例在此采用加权求和的方式，获取模态互信息损失值LMI，γk可以表示第k个特征层的模态互信息的权重，本申请对不同特征层的权重数值不做限制，可视情况而定。
步骤S46，将完整模态特征向量和缺失模态特征向量输入第一判别网络，基于特征对抗损失函数进行对抗训练，得到本次训练的特征对抗损失值；
结合上文实施例相应部分的描述，上述第一分割网络的第一特征提取网络，以及第二分割网络的第二特征提取网络，可以看作是针对第一判别网络Dkn的两个生成网络Gkn，依据这两个生成网络Gkn输出的完整模态特征向量和缺失模态特征向量，实现两个生成网络Gkn与该第一判别网络Dkn的对抗学习，实现过程本申请不做详述。应该理解的是，通过这种对抗学习方式，将会使得两个生成网络Gkn输出的模态特征向量之间的特征分布越来越一致，尤其是缩小高层语义特征分布的差异，使得第一判别网络Dkn的越来越无法区分两个输入。
其中，在依据完整模态特征向量和缺失模态特征向量，实现生成对抗网络的每一次对抗学习时，可以利用特征对抗损失函数，获得相应的特征对抗损失值，以依据该特征对抗损失值调整网络参数，进而按照调整后的网络参数继续进行对抗协同训练。可选的，该特征对抗损失函数可以包括但并不局限于：
Figure BDA0003248953520000202
在上述公式(2)中，Rm可以表示完整模态样本图像的完整模态特征向量，Ru可以表示缺失模态样本图像的缺失模态特征向量，
Figure BDA0003248953520000203
可以表示完整模态样本图像Xm与缺失模态样本图像Xu的本次对抗训练的特征对抗损失值，log()可以表示取对数运算，Dkn(Ru)可以表示缺失模态特征向量Ru的判别结果，Dkn(Rm)可以表示完整模态特征向量Rm的判别结果，本申请对损失函数涉及到的熵运算计算过程不做详述，可以根据实际需要选择相对熵或交叉熵计算方法，获取所需的对抗损失值，并不局限于公式(2)记载的对抗损失计算方法。
步骤S47，基于完整模态特征向量进行分类预测，得到完整模态样本图像的完整预测概率图；基于缺失模态特征向量进行分类预测，得到缺失模态样本图像的缺失预测概率图；
在本申请实施例中，执行上述步骤S42、步骤S43后，可以直接执行步骤S47，无需等待上述步骤S44～步骤S46的执行，也可以就是，上述模态互信息损失值、特征对抗损失值的计算，与获取预测概率图的执行过程并不冲突，为了提高模型训练效率，可以同时执行，也可以根据需要顺次执行，本申请对其执行顺序不做限制。
结合上文对分割网络的描述，本申请可以采用深度编码器-解码器结构的分割网络，如图6所示，各编码器对相应的输入图像进行编码处理，即特征提取处理，得到相应的模态特征向量后，可以继续由解码器继续解码融合处理，得到相应模态样本图像中各像素点的类别标签的预测概率分布，记为相应的预测概率图，以便后续据此得到相应输入图像的分割结果。
在一些实施例中，本申请也可以直接基于相应的模态特征向量进行分类预测，得到像素级别的置信图，由其表征相应像素点是肿瘤区域的预测概率值，本申请对置信图的获取方法及其表示方式不做限制。
步骤S48，获取完整预测概率图的完整模态熵图，以及缺失预测概率图的缺失模态熵图；
本申请采用熵对抗学习方式，使得对缺失模态样本图像分割处理得到的熵分布，与对完整模态样本图像分割处理得到的熵分布逐渐接近，实现熵最小化。所以，在两个分割网络得到相应输入图像的预测概率图后，可以采用熵映射计算方法，计算不同像素点的信息熵，获取相应输入图像的熵图I。该熵映射计算方法(即信息熵计算方法)可以包括但并不局限于：
Figure BDA0003248953520000211
上述公式(3)中，I可以表示(h，w)坐标下的像素点的信息熵，P(h,w,v)可以表示相应位置像素点属于肿瘤(即病灶等目标对象)区域的概率质量函数，可以认为是预测该位置像素点属于肿瘤像素点的概率值。利用上述公式(3)的熵映射方式，本申请可以计算得到完整模态熵图
Figure BDA0003248953520000221
以及缺失模态熵图
Figure BDA0003248953520000222
本申请对熵图获取过程不做详述。
步骤S49，将完整模态熵图和缺失模态熵图输入第二判别网络，基于熵对抗损失函数进行对抗训练，得到本次训练的熵对抗损失值；
结合上文对熵对抗学习的相关描述，上述第一分割网络和第二分割网络可以看作是第二判别网络Gen的两个生成网络Gen，本申请通过对抗学习，试图使得第二判别网络Gen混淆输入的完整模态熵图和缺失模态熵图，来逐渐缩小两者之间的域差异，实现熵最小化。
其中，在上述熵对抗学习中，可以利用如下公式(4)所示的熵对抗损失函数，实现上述两个生成网络Gen和第二判别网络Gen的优化，达到熵对抗学习目的，进而完整整个对抗协同网络的迭代训练。
Figure BDA0003248953520000223
可见，公式(4)与公式(2)的运算方式类似，
Figure BDA0003248953520000224
可以表示完整模态样本图像Xm与缺失模态样本图像Xu的本次对抗训练的熵对抗损失值，
Figure BDA0003248953520000225
可以表示第二判别网络对缺失模态熵图
Figure BDA0003248953520000226
的判别结果，
Figure BDA0003248953520000227
可以表示第二判别网络对完整模态熵图
Figure BDA0003248953520000228
的判别结果。
步骤S410，获取缺失预测概率图相对于完整预测概率图的预测概率损失值；
如上述分析，第一分割网络对完整模态样本图像进行分割处理，得到的完整预测概率图的准确性，高于第二分割网络对缺失模态样本图像进行分割处理，得到的缺失预测概率图的准确性，所以，本申请实施例可以将完整预测概率图作为监督信号，计算缺失预测概率图的损失值，记为预测概率损失值，如可以采用相对熵损失函数进行计算，但并不局限于此。
步骤S411，依据完整预测概率图，获得完整模态样本图像的完整图像分割结果；依据缺失预测概率图，获得所述缺失模态样本图像的缺失图像分割结果；
本申请对分割网络如何依据所得到预测概率图，得到相应输入图像的图像分割结果的实现方法不做详述。可以理解，该图像分割结果可以包括肿瘤区域的位置、大小、类别等信息，具体内容可视情况而定。
步骤S412，利用分割损失函数，分别获取完整图像分割结果的完整分割损失值，以及缺失图像分割结果的缺失分割损失值；
本申请实施例中，可以利用真实分割结果，实现对完整图像分割结果和缺失图像分割结果各自的损失计算，所采用的分割损失函数可以包括但并不局限于相对熵损失函数、交叉熵损失函数、逻辑回归等，可以依据实际情况确定。
步骤S413，对模态互信息损失值、特征对抗损失值、熵对抗损失值、预测概率损失值、完整分割损失值和缺失分割损失值进行求和运算，得到协同对抗网络的本次训练的总损失值；
步骤S414，依据该总损失值，调整协同对抗网络的网络参数，按照调整后的网络参数继续对协同对抗网络进行训练，直至满足训练结束条件，将训练后的协同对抗网络确定为图像分割模型。
本申请实际应用中，可以按照但并不局限于上文描述的方法，即采用互信息、特征对抗学习、熵对抗学习、判别损失计算等一种或多种组合方式，对完整模态样本图像以及缺失模态样本图像各自的分割过程中，生成的相应信息进行处理，得到相应的损失值，从而结合这多个损失值，实现对协同对抗网络的优化，得到所需的图像分割模型。本申请对上述总损失值的求和方式不做限制，可以直接进行加法运算得到，也可以依据实际需求对各损失值进行加权求和得到，本申请不做举例详述。
其中，在依据该总损失值，调整协同对抗网络的网络参数的实现过程中，可以采用如梯度下降等网络优化方法实现，本申请对步骤S414的实现方法不做限制，可视情况而定。
综上，在本申请实施例提出协同对抗网络的训练过程中，为了提升缺失模态分割路径对缺失模态样本图像的学习能力，提出采用熵对抗学习方式，训练针对两个分割路径的判别网络可以基于熵映射预测域标签，弥合两个分割路径之间的预测概率的域差异；并训练针对两个特征提取网络的判别网络，区分高层特征向量，以鼓励知识对齐，降低两个特征提取网络输出的特征向量的差异；此外，还通过最大化互信息方式，对两个特征提取网络中同一特征层输出的特征信息进行互信息学习，从多个层次上恢复从缺失模态样本图像提取的相关特征，从而提高缺失模态样本图像的图像分割结果的精准度。
需要说明，本申请在训练协同对抗网络，获得图像分割模型的过程中，所采用的提升缺失模态学习能力的处理方式，包括但并不局限于上段描述的几种学习方式；且在实际应用中，可以依据实际需求，可以在基于上述图像分割结果的判别损失进行网络迭代训练的基础上，增加上文描述的一种、任意两种或三种学习方式，来提高模型训练效率和准确性，实现过程可以结合上文实施例相应步骤的描述，本申请不做一一举例详述。
参照图7，为本申请提出的图像分割装置的一可选示例的结构示意图，如图7所示，该装置可以包括：
图像获取模块11，用于获取待检测对象的至少一个模态图像；
图像分割处理模块12，用于将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；
其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
图像分割结果输出模块13，用于输出所述待检测对象的图像分割结果。
为了训练得到图像分割模型，上述装置还可以包括：
图像分割模型训练模块，用于通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，得到图像分割模型；
在一些实施例中，如图8所示，该图像分割模型训练模块可以包括：
样本图像获取单元141，用于获取样本对象的完整模态样本图像和缺失模态样本图像；
第一图像分割处理单元142，用于将所述完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；其中，所述第一特征向量是指所述第一分割网络的第一特征提取网络中不同特征层输出的特征向量；所述完整模态特征向量是指所述第一特征提取网络输出的特征向量；所述完整预测概率图是指所述第一分割网络输出的分类预测概率图；
第二图像分割处理单元143，用于将所述缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；其中，所述第二特征向量是指所述第二分割网络的第二特征提取网络的不同特征层输出的特征向量；所述缺失模态特征向量是指所述第二特征提取网络输出的特征向量；所述缺失预测概率图是指所述第二分割网络输出的分类预测概率图；
协同训练单元144，用于将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练；
图像分割模型确定单元145，用于若满足训练结束条件，将训练后的网络结构确定为图像分割模型。
在一些实施例中，如图9所示，上述协同训练单元144至少可以包括以下至少一个训练子单元：
第一训练子单元1441，用于对所述第一特征向量和所述第二特征向量进行互信息学习，以恢复所述缺失模态样本图像的模态特征信息；
第二训练子单元1442，用于对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，以增加所述完整模态特征向量和所述缺失模态特征向量之间特征分布的一致性；
第三训练子单元1443，用于对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，以减小所述完整模态样本图像与所述缺失模态样本图像之间的熵图差异；
第四训练子单元1444，用于分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，以减小不同图像分割结果之间的差异。
在本申请提出的又一些实施例中，上述第一训练子单元1441可以包括：
互信息计算单元，用于对同一特征层输出的所述第一特征向量和所述第二特征向量进行互信息计算，得到相应特征层的模态互信息；
模态互信息损失值得到单元，用于调用互信息损失函数，对所述模态互信息进行损失计算，得到模态互信息损失值；
第一调整单元，用于依据所述模拟互信息损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
可选的，上述第二训练子单元1442可以包括：
特征对抗损失值得到单元，用于将所述完整模态特征向量和所述缺失模态特征向量输入第一判别网络，基于特征对抗损失函数进行对抗训练，得到本次训练的特征对抗损失值；
第二调整单元，用于依据所述特征对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
可选的，上述第三训练子单元143可以包括：
熵图获取单元，用于获取所述完整预测概率图的完整模态熵图，以及所述缺失预测概率图的缺失模态熵图；
熵对抗损失值得到单元，用于将所述完整模态熵图和所述缺失模态熵图输入第二判别网络，基于熵对抗损失函数进行对抗训练，得到本次训练的熵对抗损失值；
第三调整单元，用于依据所述熵对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
可选的，上述第四训练子单元144可以包括：
完整图像分割结果获得单元，用于依据所述完整预测概率图，获得所述完整模态样本图像的完整图像分割结果；
缺失图像分割结果获得单元，用于依据所述缺失预测概率图，获得所述缺失模态样本图像的缺失图像分割结果；
分割损失获取单元，用于利用分割损失函数，分别获取所述完整图像分割结果的完整分割损失值，以及所述缺失图像分割结果的缺失分割损失值；
第四调整单元，用于依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练；所述网络参数包括所述第二分割网络的网络参数。
可选的，上述第四训练子单元144还可以包括：
预测概率损失值获取单元，用于获取所述缺失预测概率图相对于所述完整预测概率图的预测概率损失值；
基于此，上述第四调整单元具体用于依据所述预测概率损失值、所述完整分割损失值和所述缺失分割损失值，调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
需要说明，若装置存在上述第一调整单元、第二调整单元、第三调整单元和第四调整单元中的多个调整单元，在其执行过程中，将对接收到的各损失值求和，得到整个网络的总损失值，再据此调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。
本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的图像分割方法的各个步骤。
参照图10，为适用于本申请提出的图像分割方法的计算机设备的一可选示例的硬件结构示意图，该计算机设备可以的设备类型可以包括但并不局限于上文实施例相应部分的描述，可以依据图像分割场景需求确定计算机设备类型。本申请以计算机设备为服务器为例进行说明，如图10所示，该计算机设备可以包括至少一个存储器21和至少一个处理器22，其中：
存储器21可以用于存储实现上述各方法实施例描述的图像分割方法的程序；处理器22可以加载并执行存储器存储的该程序，以实现上述相应方法实施例描述的图像分割方法的各个步骤，具体实现过程可以参照上述实施例相应部分的描述，不再赘述。
在实际应用中，存储器21和处理器22可以连接通信总线，通过该通信总线实现相互之间，以及与计算机设备的其他结构组成之间的数据交互，具体可以根据实际需求确定，本申请不做详述。
本申请实施例中，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器22，可以为中央处理器(CentralProcessing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。本申请对上述存储器21和处理器22的结构及其型号不做限定，可以根据实际需求灵活调整。
应该理解，在计算机设备为终端的情况下，该计算机设备还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入设备；如显示器、扬声器、振动机构、灯等至少一个输出设备；天线、移动通信模组、电源管理模组、各种传感器模组等更多部件，并不局限于图10所示的计算机设备结构，可以依据图像分割应用场景确定，本申请不做一一列举。
结合上文各实施例描述的图像分割方法，在本申请提出的又一些实施例中，参照图11所示的一可选应用场景的系统结构示意图，上述图像分割模型的训练过程，可以由服务器执行，在医疗设备(即终端)获取成像设备扫描到的至少一个模态的序列MRI图像后，对其进行配准融合处理，得到至少一个模态图像后，可以从服务器调用预训练的图像分割模型，将该至少一个模态图像输入该图像分割模型，输出待检测对象的图像分割结果。
在又一些实施例中，如图12所示，成像设备也可以直接将扫描到的待检测对象的至少一个模态的序列MRI图像，通过无线通信网络或有线通信网络，发送至服务器，以使服务器按照上文描述的图像分割方法，来获得待检测对象的图像分割结果，再将其反馈至预设终端输出，如发送至医疗人员的终端设备输出待检测对象的图像分割结果，本申请对图像分割方法的应用场景的系统架构不做限制，可视情况而定。
最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备、系统而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像分割方法，所述方法包括：
获取待检测对象的至少一个模态图像；
将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
输出所述待检测对象的图像分割结果。
2.根据权利要求1所述的方法，所述对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练，包括：
获取样本对象的完整模态样本图像和缺失模态样本图像；
将所述完整模态样本图像输入第一分割网络，获得第一特征向量、完整模态特征向量以及完整预测概率图；其中，所述第一特征向量是指所述第一分割网络的第一特征提取网络中不同特征层输出的特征向量；所述完整模态特征向量是指所述第一特征提取网络输出的特征向量；所述完整预测概率图是指所述第一分割网络输出的分类预测概率图；
将所述缺失模态样本图像输入第二分割网络，获得第二特征向量、缺失模态特征向量以及缺失预测概率图；其中，所述第二特征向量是指所述第二分割网络的第二特征提取网络的不同特征层输出的特征向量；所述缺失模态特征向量是指所述第二特征提取网络输出的特征向量；所述缺失预测概率图是指所述第二分割网络输出的分类预测概率图；
将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练；
若满足训练结束条件，将训练后的网络结构确定为图像分割模型。
3.根据权利要求2所述的方法，所述将所述第一特征向量、所述第二特征向量、所述完整模态特征向量、所述缺失模态特征向量、所述完整预测概率图以及所述缺失预测概率图输入协同训练网络进行训练，至少包括以下一种：
对所述第一特征向量和所述第二特征向量进行互信息学习，以恢复所述缺失模态样本图像的模态特征信息；
对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，以增加所述完整模态特征向量和所述缺失模态特征向量之间特征分布的一致性；
对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，以减小所述完整模态样本图像与所述缺失模态样本图像之间的熵图差异；
分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，以减小不同图像分割结果之间的差异。
4.根据权利要求3所述的方法，所述对所述第一特征向量和所述第二特征向量进行互信息学习，包括：
对同一特征层输出的所述第一特征向量和所述第二特征向量进行互信息计算，得到相应特征层的模态互信息；
调用互信息损失函数，对所述模态互信息进行损失计算，得到模态互信息损失值；
依据所述模拟互信息损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
5.根据权利要求3所述的方法，所述对所述完整模态特征向量和所述缺失模态特征向量进行对抗训练，包括：
将所述完整模态特征向量和所述缺失模态特征向量输入第一判别网络，基于特征对抗损失函数进行对抗训练，得到本次训练的特征对抗损失值；
依据所述特征对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
6.根据权利要求3所述的方法，所述对所述完整预测概率图和所述缺失预测概率图进行熵对抗训练，包括：
获取所述完整预测概率图的完整模态熵图，以及所述缺失预测概率图的缺失模态熵图；
将所述完整模态熵图和所述缺失模态熵图输入第二判别网络，基于熵对抗损失函数进行对抗训练，得到本次训练的熵对抗损失值；
依据所述熵对抗损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
7.根据权利要求3所述的方法，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，包括：
依据所述完整预测概率图，获得所述完整模态样本图像的完整图像分割结果；
依据所述缺失预测概率图，获得所述缺失模态样本图像的缺失图像分割结果；
利用分割损失函数，分别获取所述完整图像分割结果的完整分割损失值，以及所述缺失图像分割结果的缺失分割损失值；
依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
8.根据权利要求7所述的方法，所述分别对所述完整预测概率图和所述缺失预测概率图进行处理，依据得到的相应图像分割结果的判别结果进行迭代训练，还包括：
获取所述缺失预测概率图相对于所述完整预测概率图的预测概率损失值；
所述依据所述完整分割损失值和所述缺失分割损失值调整网络参数，按照调整后的网络参数继续进行对抗协同训练，包括：
依据所述预测概率损失值、所述完整分割损失值和所述缺失分割损失值，调整网络参数，按照调整后的网络参数继续进行对抗协同训练。
9.一种图像分割装置，所述装置包括：
图像获取模块，用于获取待检测对象的至少一个模态图像；
图像分割处理模块，用于将所述至少一个模态图像输入图像分割模型进行分割处理，得到所述待检测对象的图像分割结果；其中，所述图像分割模型是通过对样本对象的完整模态样本图像和缺失模态样本图像进行对抗协同训练得到的；所述完整模态样本图像是指满足所述样本对象的模态类别要求的多模态样本图像；所述缺失模态样本图像是指未满足所述模态类别要求的至少一个模态样本图像；
图像分割结果输出模块，用于输出所述待检测对象的图像分割结果。
10.一种计算机设备，所述计算机设备包括至少一个存储器和至少一个处理器，其中：
所述存储器，用于存储实现如权利要求1～8任一项所述的图像分割方法的程序；
所述处理器，用于加载执行所述存储器存储的所述程序，实现如权利要求1～8任一项所述的图像分割方法。
CN202111040061.7A 2021-09-06 2021-09-06 图像分割方法、装置及计算机设备 Pending CN113706558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040061.7A CN113706558A (zh) 2021-09-06 2021-09-06 图像分割方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040061.7A CN113706558A (zh) 2021-09-06 2021-09-06 图像分割方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN113706558A true CN113706558A (zh) 2021-11-26

Family

ID=78660621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040061.7A Pending CN113706558A (zh) 2021-09-06 2021-09-06 图像分割方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113706558A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332102A (zh) * 2021-12-31 2022-04-12 福州大学 基于分离表示的脑肿瘤图像生成与分割联合学习方法
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
WO2023207416A1 (zh) * 2022-04-27 2023-11-02 腾讯科技（深圳）有限公司 图像补全方法、装置、设备及存储介质
CN117218515A (zh) * 2023-09-19 2023-12-12 人民网股份有限公司 一种目标检测方法、装置、计算设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332102A (zh) * 2021-12-31 2022-04-12 福州大学 基于分离表示的脑肿瘤图像生成与分割联合学习方法
CN114468977A (zh) * 2022-01-21 2022-05-13 深圳市眼科医院 一种眼科视力检查数据收集分析方法、系统及计算机存储介质
WO2023207416A1 (zh) * 2022-04-27 2023-11-02 腾讯科技（深圳）有限公司 图像补全方法、装置、设备及存储介质
CN117218515A (zh) * 2023-09-19 2023-12-12 人民网股份有限公司 一种目标检测方法、装置、计算设备和存储介质
CN117218515B (zh) * 2023-09-19 2024-05-03 人民网股份有限公司 一种目标检测方法、装置、计算设备和存储介质

Similar Documents

Publication Publication Date Title
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
CN113706558A (zh) 图像分割方法、装置及计算机设备
US20200074634A1 (en) Recist assessment of tumour progression
US20180060722A1 (en) Machine learning method and apparatus based on weakly supervised learning
CN111402228A (zh) 图像检测方法、装置和计算机可读存储介质
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
Wolterink et al. Generative adversarial networks: a primer for radiologists
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN109492547B (zh) 一种结节识别方法、装置和存储介质
Kori et al. Zero shot learning for multi-modal real time image registration
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
JP7086878B2 (ja) 学習装置、学習方法、プログラムおよび認識装置
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
Liu et al. A novel spatiotemporal attention enhanced discriminative network for video salient object detection
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
Ding et al. Combining feature correspondence with parametric chamfer alignment: hybrid two-stage registration for ultra-widefield retinal images
CN115409843B (zh) 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法
WO2021191438A1 (en) Determining image similarity by analysing registrations
CN111199256A (zh) 图像优化网络的训练方法、图像处理方法及装置
WO2021121631A1 (en) Correcting segmentation of medical images using a statistical analysis of historic corrections
CN113128278A (zh) 一种图像识别方法及装置
CN113723523B (zh) 医学影像的处理方法、装置、计算机设备及存储介质
CN117275649B (zh) 文档病历图片的排序方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination